في العام الماضي ، الإنترنت شركة البنية التحتية CloudFlare أدوات إطلاق تمكين عملائها من حظر كاشطات الذكاء الاصطناعى. اليوم اتخذت الشركة معركتها ضد الإذن تجسد عدة خطوات أخرى. لقد تحولت إلى حظر زحف الذكاء الاصطناعى افتراضيًا لعملائها ويتقدمون إلى الأمام مع برنامج الدفع لكل زحف يتيح للعملاء فرض رسوم على شركات الذكاء الاصطناعى لكشط مواقع الويب الخاصة بهم.
قامت زحفات الويب بشبابة الإنترنت للحصول على معلومات لعقود من الزمن. بدونهم ، سيخسر الناس الأدوات ذات الأهمية على الإنترنت ، من بحث Google إلى أرشيف الإنترنت لا يقدر بثمن عمل الحفظ الرقمي. لكن طفرة الذكاء الاصطناعى أنتجت طفرة مقابلة في زحفات الويب التي تركز على الذكاء الاصطناع تقليد هجوم DDOSو خوادم توتر و يطرق المواقع الإلكترونية في وضع عدم الاتصال. حتى عندما تتمكن مواقع الويب من التعامل مع النشاط المتزايد ، فإن الكثير لا تريد AI Crawlers يقومون بتخليص محتواهم ، وخاصة المنشورات الإخبارية التي تطالب شركات الذكاء الاصطناعى بالدفع لاستخدام عملهم. تقول دانييل كوفي ، الرئيس والمدير التنفيذي لحلف وسائل الإعلام التجاري ، الذي يمثل عدة آلاف منافذ أمريكا الشمالية: “لقد نحاول بحماية أنفسنا بشكل محموم”.
حتى الآن ، يخبر رئيس Cloudflare’s AI Control و Privacy ومنتجات الوسائط ، Wired ، أن أكثر من مليون موقع على شبكة الإنترنت قد قام بتنشيط أدوات عرقلة AI الأقدم. الآن سيكون لدى الملايين الآخرين خيار الحفاظ على حظر الروبوت باعتباره افتراضيًا. يقول CloudFlare أيضًا أنه يمكنه تحديد حتى “الظل” الكاشطات التي لم يتم نشرها من قبل شركات الذكاء الاصطناعي. لاحظت الشركة أنها تستخدم مزيجًا خاصًا من التحليل السلوكي ، وبصمات الأصابع ، والتعلم الآلي لتصنيف وفصل الروبوتات من الذكاء الاصطناعي عن الروبوتات “الجيدة”.
يساعد معيار الويب المستخدم على نطاق واسع يسمى بروتوكول استبعاد الروبوتات ، الذي يتم تنفيذه غالبًا من خلال ملف Robots.txt ، للناشرين على حظر الروبوتات على أساس كل حالة على حدة ، ولكن بعد ذلك ليس مطلوبًا من الناحية القانونية ، وهناك هناك الكثير من الأدلة أن بعض شركات الذكاء الاصطناعى تحاول التهرب من الجهود لحظر الكاشطات. يقول كوفي: “يتم تجاهل Robots.txt”. وفق تقرير من منصة ترخيص المحتوى Tollbit ، التي توفر سوقها الخاص للناشرين للتفاوض مع شركات الذكاء الاصطناعى على الوصول إلى BOT ، لا يزال Drgsing AI في ارتفاع – بما في ذلك الكشط الذي يتجاهل Robots.txt. وجد Tollbit أن أكثر من 26 مليون خبشة تجاهل البروتوكول في مارس 2025 وحده.
في هذا السياق ، قد يكون تحول CloudFlare إلى الحجب افتراضيًا حاجزًا كبيرًا على الكاشطات الخفية ويمكن أن يمنح الناشرين المزيد من النفوذ للتفاوض ، سواء من خلال برنامج الدفع لكل زحف أو غير ذلك. يقول الرئيس التنفيذي لشركة Atlantic (والمحرر السابق في رئيس السلك): “قد يغير هذا بشكل كبير ديناميكية القوة. حتى هذه النقطة ، لم تكن شركات الذكاء الاصطناعى تحتاج إلى دفع لمحتوى الترخيص ، لأنهم يعرفون أنه يمكنهم أخذها دون عواقب”. “سيتعين عليهم الآن التفاوض ، وسيصبحون ميزة تنافسية لشركات الذكاء الاصطناعى التي يمكن أن تتعامل مع المزيد من الناشرين والأفضل.”
تبدأ براتا، التي تدير محرك البحث من الذكاء الاصطناعى GIST.AI ، وافق على المشاركة في برنامج الدفع لكل زحف ، وفقًا للرئيس التنفيذي والمؤسس بيل جروس. يقول جروس: “نعتقد اعتقادا راسخا أنه ينبغي تعويض جميع منشئي المحتوى والناشرين عند استخدام محتوىهم في إجابات الذكاء الاصطناعي”.
بالطبع ، يبقى أن نرى ما إذا كان اللاعبون الكبار في مساحة الذكاء الاصطناعى سيشاركون في برنامج مثل الدفع لكل زحف ، وهو في بيتا. (رفضت CloudFlare تسمية المشاركين الحاليين.) لقد ضربت شركات مثل Openai صفقات الترخيص من خلال مجموعة متنوعة من شركاء النشر ، بما في ذلك الشركة الأم Wired Condé Nast ، ولكن لم يتم الكشف عن تفاصيل محددة لهذه الاتفاقيات ، بما في ذلك ما إذا كانت الاتفاقية تغطي الوصول إلى الروبوت.
وفي الوقت نفسه ، هناك نظام بيئي كامل عبر الإنترنت دروس حول كيفية التهرب من أدوات حجب Cloudflare التي تهدف إلى كاشفات الويب. مع انتشار الحظر الافتراضي ، من المحتمل أن تستمر هذه الجهود. يؤكد CloudFlare على أن العملاء الذين يرغبون في السماح للروبوتات بالكشم دون عوائق سيكونون قادرين على إيقاف تشغيل إعداد الحظر. يقول ألين: “كل الحظر اختياري تمامًا وبالتقدير لكل مستخدم فردي”.
اترك تعليقاً