OpenAI クローラーによる頻繁なクローリングにより人体 3D モデルの Web サイトがクラッシュする - AI 記事

最近、人体の 3D モデルに焦点を当てたウクライナの Web サイト Trilegangers が前例のないトラフィック攻撃を受け、サーバーがクラッシュしました。この Web サイトは、3D アーティストやゲーム開発者に大量の人物 3D モデル データを提供することを目的としていますが、OpenAI のクローラー GPTBot による頻繁なクローリングにより、障害が発生しています。

Trilegangers のスタッフによると、Web サイトの利用規約では不正なクロールと使用が明確に禁止されているにもかかわらず、robots.txt ファイルがクローラーのアクセスを防ぐように適切に設定されておらず、最終的にサーバーが過負荷になったという。サーバーのログによると、OpenAI の GPTBot クローラーが 600 以上の異なる IP アドレスを通じて数万件のリクエストを開始し、その結果、分散型サービス拒否 (DDoS) 攻撃と同様に、Web サイトが適切に機能しなくなりました。

OpenAI は、クローラーの説明の中で、Web サイトが GPTBot にコンテンツをクロールさせたくない場合は、robots.txt ファイルで設定する必要があると述べています。しかし、トライレガンガーはそれに気づいていなかったことが、現在の窮状につながった。 robots.txt ファイルは法的要件ではありませんが、Web サイトに不正使用が禁止されていると記載されている場合でも、GPTBot のクローリング動作は関連する規制に違反する可能性があります。

さらに、Amazon AWS サーバーの使用により、Trilegangers の帯域幅とトラフィックの消費量も急増し、さらなるコスト圧力をもたらしています。この緊急事態に対応して、Trilegangers は適切な robots.txt ファイルを設定し、Cloudflare を介して GPTBot を含むさまざまなクローラーのアクセスをブロックする措置を講じました。このアプローチにより、サーバーの負荷が効果的に軽減され、通常の Web サイトが保護されることが期待されます。手術。

この事件により、特に AI 技術の発展を背景に、技術の応用と著作権保護のバランスをどう取るかが検討に値するテーマとなっています。