O rastreamento frequente por rastreadores OpenAI faz com que o site do modelo 3D do corpo humano trave – artigo AI

Recentemente, o Trilegangers, um site ucraniano focado em modelos 3D do corpo humano, sofreu um ataque de tráfego sem precedentes, causando o travamento de seu servidor. Este site é dedicado a fornecer a artistas 3D e desenvolvedores de jogos enormes dados de modelos 3D humanos. No entanto, ele está com problemas devido ao rastreamento frequente pelo rastreador GPTBot da OpenAI.

De acordo com a equipe da Trilegangers, embora o contrato de uso do site proíba claramente o rastreamento e o uso não autorizado, o arquivo robots.txt não foi configurado corretamente para impedir o acesso do rastreador, o que acabou levando à sobrecarga do servidor. De acordo com os registros do servidor, o rastreador GPTBot da OpenAI iniciou dezenas de milhares de solicitações por meio de mais de 600 endereços IP diferentes, resultando no mau funcionamento do site, semelhante a um ataque distribuído de negação de serviço (DDoS).

A OpenAI mencionou na descrição do rastreador que se o site não quiser que o GPTBot rastreie o conteúdo, ele precisará ser definido no arquivo robots.txt. No entanto, os Trilegangers não perceberam isso, levando à situação atual. Embora um arquivo robots.txt não seja um requisito legal, se o site declarar que o uso não autorizado é proibido, o comportamento de rastreamento do GPTBot ainda poderá violar os regulamentos relevantes.

Além disso, devido ao uso de servidores Amazon AWS, o consumo de largura de banda e tráfego da Trilegangers também aumentou acentuadamente, trazendo pressão adicional de custos para ela. Em resposta a esta emergência, Trilegangers tomou medidas para configurar o arquivo robots.txt correto e bloquear o acesso de vários rastreadores, incluindo GPTBot, por meio do Cloudflare. Espera-se que essa abordagem alivie efetivamente a carga no servidor e proteja o site normalmente. operação.

Este incidente chamou a atenção para o comportamento dos rastreadores da web. Especialmente no contexto do crescente desenvolvimento da tecnologia de IA, como equilibrar a aplicação da tecnologia e a proteção dos direitos autorais tornou-se um tópico que vale a pena ponderar.