In einem Bericht verabschiedet sich Heise mit einem Nachruf auf robots.txt, die legendäre Textdatei, die seit 1994 als unscheinbare Wächterin des Internets diente. Sie regelte, welche Inhalte von Webcrawlern indexiert werden durften – und basierte vollständig auf freiwilligem Respekt.
Drei Jahrzehnte lang funktionierte dieses Prinzip, bis die KI-Ära anbrach: Immer mehr Unternehmen ignorierten robots.txt und nutzten Website-Inhalte massenhaft für das Training ihrer Modelle. Laut Cloudflare erreichten KI-Crawler 2025 ein extremes Crawl-zu-Referral-Verhältnis von bis zu 73.000:1 – millionenfache Datenabfragen ohne Gegenleistung.
Mit Cloudflares Entscheidung im Juli 2025, KI-Bots standardmäßig zu blockieren, wurde das Ende offiziell: Ein Protokoll, das auf Vertrauen basierte, wurde durch technische Barrieren ersetzt.
robots.txt (1994–2025) steht damit sinnbildlich für den Wandel des Internets – von einer kooperativen Gemeinschaft hin zu einer industriellen Datenmine, in der Offenheit durch Kontrolle ersetzt wurde.
