Частое сканирование сканерами OpenAI приводит к сбою веб-сайта 3D-модели человеческого тела - статья об искусственном интеллекте

Недавно Trilegangers, украинский веб-сайт, посвященный 3D-моделям человеческого тела, подвергся беспрецедентной трафиковой атаке, которая привела к сбою его сервера. Этот веб-сайт предназначен для предоставления 3D-художникам и разработчикам игр огромных данных о 3D-моделях человека. Однако он находится в беде из-за частого сканирования сканером OpenAI GPTBot.

По словам сотрудников Trilegangers, хотя соглашение об использовании веб-сайта четко запрещает несанкционированное сканирование и использование, файл robots.txt не был должным образом настроен для предотвращения доступа сканеров, что в конечном итоге привело к перегрузке сервера. Согласно журналам сервера, сканер OpenAI GPTBot инициировал десятки тысяч запросов через более чем 600 различных IP-адресов, в результате чего веб-сайт не работал должным образом, что похоже на распределенную атаку типа «отказ в обслуживании» (DDoS).

OpenAI упомянул в описании своего сканера, что если веб-сайт не хочет, чтобы GPTBot сканировал контент, это необходимо настроить в файле robots.txt. Однако Трилегангеры этого не осознали, что привело к их нынешнему затруднительному положению. Хотя файл robots.txt не является юридическим требованием, если на веб-сайте указано, что несанкционированное использование запрещено, поведение сканирования GPTBot все равно может нарушать соответствующие правила.

Кроме того, из-за использования серверов Amazon AWS потребление полосы пропускания и трафика Trilegangers также резко возросло, что привело к дополнительному ценовому давлению. В ответ на эту чрезвычайную ситуацию Trilegangers приняла меры по настройке правильного файла robots.txt и заблокировала доступ различных сканеров, включая GPTBot, через Cloudflare. Ожидается, что этот подход эффективно снизит нагрузку на сервер и защитит веб-сайт от нормальной работы. операция.

Этот инцидент привлек внимание к поведению веб-сканеров. Особенно в контексте растущего развития технологий искусственного интеллекта вопрос о том, как сбалансировать применение технологий и защиту авторских прав, стал темой, заслуживающей размышления.