OpenAI 크롤러의 빈번한 크롤링으로 인해 인체 3D 모델 웹사이트가 중단됩니다 - AI 기사

최근 인체 3D 모델에 초점을 맞춘 우크라이나 웹사이트 Trilegangers는 전례 없는 트래픽 공격을 받아 서버가 다운되었습니다. 이 웹사이트는 3D 아티스트와 게임 개발자에게 대규모 인간 3D 모델 데이터를 제공하는 데 전념하고 있지만 OpenAI의 크롤러인 GPTBot의 잦은 크롤링으로 인해 어려움을 겪고 있습니다.

Trilegangers 직원에 따르면 웹사이트의 사용 계약에서는 무단 크롤링 및 사용을 명백히 금지하고 있지만 robots.txt 파일은 크롤러 액세스를 방지하기 위해 제대로 설정되지 않았으며 결과적으로 서버에 과부하가 발생했습니다. 서버 로그에 따르면 OpenAI의 GPTBot 크롤러는 600개 이상의 서로 다른 IP 주소를 통해 수만 건의 요청을 시작하여 분산 서비스 거부(DDoS) 공격과 유사하게 웹 사이트가 제대로 작동하지 않게 되었습니다.

OpenAI는 크롤러 설명에서 웹사이트가 GPTBot가 콘텐츠를 크롤링하는 것을 원하지 않는 경우 robots.txt 파일에 설정해야 한다고 언급했습니다. 그러나 Trilegangers는 이것을 깨닫지 못했고 현재의 곤경에 이르렀습니다. robots.txt 파일이 법적 요구사항은 아니지만 웹사이트에서 무단 사용이 금지된다고 명시된 경우 GPTBot의 크롤링 동작은 여전히 ​​관련 규정을 위반할 수 있습니다.

또한 Amazon AWS 서버 사용으로 인해 Trilegangers의 대역폭 및 트래픽 소비도 급격히 증가하여 추가적인 비용 압박을 가져왔습니다. 이러한 긴급 상황에 대해 Trilegangers는 올바른 robots.txt 파일을 설정하기 위한 조치를 취하고 Cloudflare를 통해 GPTBot을 포함한 다양한 크롤러의 액세스를 차단했습니다. 이러한 접근 방식은 서버의 부하를 효과적으로 완화하고 정상적인 웹 사이트를 보호할 것으로 예상됩니다. 작업.

이번 사건으로 인해 웹 크롤러의 행태가 주목을 받게 되었고, 특히 AI 기술의 발전이 가속화되는 상황에서 기술 적용과 저작권 보호의 균형을 어떻게 맞출 것인가가 고민거리로 떠올랐습니다.