Perayapan yang sering dilakukan oleh perayap OpenAI menyebabkan situs web model 3D tubuh manusia mogok - artikel AI

Baru-baru ini, Trilegangers, situs web Ukraina yang berfokus pada model 3D manusia, mengalami serangan lalu lintas yang belum pernah terjadi sebelumnya, menyebabkan servernya mogok. Situs web ini didedikasikan untuk menyediakan data model 3D tubuh manusia dalam jumlah besar kepada seniman 3D dan pengembang game. Namun, situs ini bermasalah karena seringnya dirayapi oleh crawler GPTBot OpenAI.

Menurut staf Trilegangers, meskipun perjanjian penggunaan situs web dengan jelas melarang perayapan dan penggunaan yang tidak sah, file robots.txt tidak dikonfigurasi dengan benar untuk mencegah akses perayap, yang pada akhirnya menyebabkan server kelebihan beban. Menurut log server, perayap GPTBot OpenAI memulai puluhan ribu permintaan melalui lebih dari 600 alamat IP berbeda, mengakibatkan situs web tidak berfungsi dengan baik, mirip dengan serangan penolakan layanan terdistribusi (DDoS).

OpenAI menyebutkan dalam deskripsi perayapnya bahwa jika situs web tidak ingin GPTBot merayapi konten, konten tersebut perlu disetel di file robots.txt. Namun, para Trileganger gagal menyadari hal ini, sehingga menyebabkan kesulitan mereka saat ini. Meskipun file robots.txt bukan merupakan persyaratan hukum, jika situs web menyatakan bahwa penggunaan tidak sah dilarang, perilaku perayapan GPTBot mungkin masih melanggar peraturan terkait.

Selain itu, karena penggunaan server Amazon AWS, konsumsi bandwidth dan lalu lintas Trileganger juga meningkat tajam, sehingga menambah tekanan biaya. Menanggapi keadaan darurat ini, Trilegangers telah mengambil tindakan untuk menyiapkan file robots.txt yang benar dan memblokir akses ke berbagai crawler termasuk GPTBot melalui Cloudflare operasi normal.

Kejadian ini telah menarik perhatian pada perilaku web crawler. Apalagi dalam konteks semakin berkembangnya teknologi AI, bagaimana menyeimbangkan penerapan teknologi dan perlindungan hak cipta telah menjadi topik yang patut direnungkan.