يؤدي الزحف المتكرر بواسطة برامج زحف OpenAI إلى تعطل موقع الويب الخاص بالنموذج ثلاثي الأبعاد لجسم الإنسان - مقالة AI

في الآونة الأخيرة، تعرض موقع Trilegangers، وهو موقع أوكراني يركز على نماذج الجسم البشري ثلاثية الأبعاد، لهجوم مروري غير مسبوق، مما تسبب في تعطل خادمه. هذا الموقع مخصص لتزويد الفنانين ومطوري الألعاب ببيانات ضخمة من النماذج البشرية ثلاثية الأبعاد، ومع ذلك، فهو يواجه مشكلة بسبب الزحف المتكرر بواسطة زاحف OpenAI GTBot.

وفقًا لموظفي Trilegangers، على الرغم من أن اتفاقية استخدام موقع الويب تحظر بوضوح الزحف والاستخدام غير المصرح به، إلا أن ملف robots.txt لم يتم إعداده بشكل صحيح لمنع وصول الزاحف، مما أدى في النهاية إلى التحميل الزائد على الخادم. وفقًا لسجلات الخادم، بدأ زاحف GTTBot الخاص بـ OpenAI عشرات الآلاف من الطلبات من خلال أكثر من 600 عنوان IP مختلف، مما أدى إلى عدم عمل موقع الويب بشكل صحيح، على غرار هجوم رفض الخدمة الموزعة (DDoS).

ذكر OpenAI في وصف الزاحف الخاص به أنه إذا كان موقع الويب لا يريد أن يقوم GTBot بالزحف إلى المحتوى، فيجب تعيينه في ملف robots.txt. ومع ذلك، فإن Trilegangers لم يدركوا ذلك، مما أدى إلى مأزقهم الحالي. على الرغم من أن ملف robots.txt ليس متطلبًا قانونيًا، إذا ذكر موقع الويب أن الاستخدام غير المصرح به محظور، فقد يظل سلوك زحف GTBot ينتهك اللوائح ذات الصلة.

بالإضافة إلى ذلك، نظرًا لاستخدام خوادم Amazon AWS، زاد أيضًا استهلاك Trilegangers لعرض النطاق الترددي وحركة المرور بشكل حاد، مما أدى إلى زيادة ضغط التكلفة عليها. استجابةً لهذه الحالة الطارئة، اتخذت شركة Trilegangers إجراءات لإعداد ملف robots.txt الصحيح ومنعت وصول العديد من برامج الزحف بما في ذلك GTBot عبر Cloudflare. ومن المتوقع أن يؤدي هذا الأسلوب إلى تخفيف العبء على الخادم بشكل فعال وحماية موقع الويب بشكل طبيعي عملية.

وقد لفتت هذه الحادثة الانتباه إلى سلوك برامج زحف الويب، خاصة في سياق التطور المتزايد لتكنولوجيا الذكاء الاصطناعي، حيث أصبحت كيفية الموازنة بين تطبيق التكنولوجيا وحماية حقوق الطبع والنشر موضوعًا يستحق التأمل.