El rastreo frecuente por parte de los rastreadores de OpenAI provoca que el sitio web del modelo 3D del cuerpo humano falle: artículo de AI

Recientemente, Trilegangers, un sitio web ucraniano centrado en modelos humanos en 3D, sufrió un ataque de tráfico sin precedentes que provocó la caída de su servidor. Este sitio web está dedicado a proporcionar a los artistas 3D y desarrolladores de juegos datos masivos de modelos 3D del cuerpo humano. Sin embargo, tiene problemas debido al rastreo frecuente por parte del rastreador GPTBot de OpenAI.

Según el personal de Trilegangers, aunque el acuerdo de uso del sitio web prohíbe claramente el rastreo y el uso no autorizados, el archivo robots.txt no se configuró correctamente para evitar el acceso del rastreador, lo que finalmente provocó que el servidor se sobrecargara. Según los registros del servidor, el rastreador GPTBot de OpenAI inició decenas de miles de solicitudes a través de más de 600 direcciones IP diferentes, lo que provocó que el sitio web no funcionara correctamente, similar a un ataque distribuido de denegación de servicio (DDoS).

OpenAI mencionó en la descripción del rastreador que si el sitio web no desea que GPTBot rastree el contenido, debe configurarlo en el archivo robots.txt. Sin embargo, los Trilegangers no se dieron cuenta de esto, lo que los llevó a su situación actual. Aunque un archivo robots.txt no es un requisito legal, si el sitio web ha declarado que está prohibido el uso no autorizado, el comportamiento de rastreo de GPTBot aún puede violar las regulaciones pertinentes.

Además, debido al uso de servidores Amazon AWS, el consumo de ancho de banda y tráfico de Trilegangers también ha aumentado considerablemente, lo que le genera una presión de costos adicional. En respuesta a esta emergencia, Trilegangers tomó medidas para configurar el archivo robots.txt correcto y bloqueó el acceso a una variedad de rastreadores, incluido GPTBot, a través de Cloudflare. Se espera que este enfoque alivie efectivamente la carga en el servidor y proteja el sitio web. funcionamiento normal.

Este incidente ha llamado la atención sobre el comportamiento de los rastreadores web. Especialmente en el contexto del creciente desarrollo de la tecnología de inteligencia artificial, cómo equilibrar la aplicación de la tecnología y la protección de los derechos de autor se ha convertido en un tema que vale la pena reflexionar.