Häufiges Crawlen durch OpenAI-Crawler führt zum Absturz der Website zum 3D-Modell des menschlichen Körpers – AI-Artikel

Kürzlich erlitt Trilegangers, eine ukrainische Website, die sich auf menschliche 3D-Modelle konzentriert, einen beispiellosen Verkehrsangriff, der zum Absturz ihres Servers führte. Diese Website ist darauf ausgerichtet, 3D-Künstlern und Spieleentwicklern umfangreiche 3D-Modelldaten des menschlichen Körpers zur Verfügung zu stellen. Sie ist jedoch aufgrund des häufigen Crawlings durch den OpenAI-Crawler GPTBot in Schwierigkeiten.

Laut den Mitarbeitern von Trilegangers verbietet die Nutzungsvereinbarung der Website zwar eindeutig unbefugtes Crawlen und Verwenden, die robots.txt-Datei wurde jedoch nicht ordnungsgemäß eingerichtet, um den Crawler-Zugriff zu verhindern, was letztlich zu einer Überlastung des Servers führte. Laut Serverprotokollen initiierte der GPTBot-Crawler von OpenAI Zehntausende Anfragen über mehr als 600 verschiedene IP-Adressen, was dazu führte, dass die Website nicht ordnungsgemäß funktionierte, ähnlich einem Distributed Denial of Service (DDoS)-Angriff.

OpenAI erwähnte in seiner Crawler-Beschreibung, dass dies in der robots.txt-Datei festgelegt werden muss, wenn die Website nicht möchte, dass GPTBot Inhalte crawlt. Den Trilegangers war dies jedoch nicht klar, was zu ihrer aktuellen misslichen Lage führte. Obwohl eine robots.txt-Datei nicht gesetzlich vorgeschrieben ist, kann das Crawling-Verhalten von GPTBot dennoch gegen die einschlägigen Vorschriften verstoßen, wenn die Website angegeben hat, dass eine unbefugte Nutzung verboten ist.

Darüber hinaus ist durch den Einsatz von Amazon AWS-Servern auch der Bandbreiten- und Datenverkehrverbrauch von Trilegangers stark gestiegen, was zusätzlichen Kostendruck mit sich bringt. Als Reaktion auf diesen Notfall hat Trilegangers Maßnahmen ergriffen, um die richtige robots.txt-Datei einzurichten und den Zugriff auf verschiedene Crawler, einschließlich GPTBot, über Cloudflare zu blockieren. Dieser Ansatz soll die Belastung des Servers effektiv verringern und die Website schützen normaler Betrieb.

Dieser Vorfall hat die Aufmerksamkeit auf das Verhalten von Webcrawlern gelenkt. Insbesondere im Zusammenhang mit der zunehmenden Entwicklung der KI-Technologie ist die Frage, wie Technologieanwendung und Urheberrechtsschutz in Einklang gebracht werden können, zu einem Thema geworden, das es wert ist, darüber nachzudenken.