Das Ende der digitalen Höflichkeit: robots.txt ist tot

In einem Bericht verabschiedet sich Heise mit einem Nachruf auf robots.txt, die legendäre Textdatei, die seit 1994 als unscheinbare Wächterin des Internets diente. Sie regelte, welche Inhalte von Webcrawlern indexiert werden durften – und basierte vollständig auf freiwilligem Respekt.

Drei Jahrzehnte lang funktionierte dieses Prinzip, bis die KI-Ära anbrach: Immer mehr Unternehmen ignorierten robots.txt und nutzten Website-Inhalte massenhaft für das Training ihrer Modelle. Laut Cloudflare erreichten KI-Crawler 2025 ein extremes Crawl-zu-Referral-Verhältnis von bis zu 73.000:1 – millionenfache Datenabfragen ohne Gegenleistung.

Mit Cloudflares Entscheidung im Juli 2025, KI-Bots standardmäßig zu blockieren, wurde das Ende offiziell: Ein Protokoll, das auf Vertrauen basierte, wurde durch technische Barrieren ersetzt.

robots.txt (1994–2025) steht damit sinnbildlich für den Wandel des Internets – von einer kooperativen Gemeinschaft hin zu einer industriellen Datenmine, in der Offenheit durch Kontrolle ersetzt wurde.

Tags :

Related Posts

Bonify meldet möglichen Zugriff auf Identifizierungsdaten

Das Finanz-Startup bonify informiert über einen Sicherheitsvorfall, bei dem Kriminelle Zugriff auf bestimmte Identifizierungsdaten eines Teils der Nutzer erlangt haben könnten. Betroffen sind Daten aus „Face-to-Face“-Autorisierungen über einen externen Dienstleister, darunter Ausweisdaten, Adressdaten sowie Fotos oder Videos.

Read More

Datenleck bei Discord: Ausweisfotos von 70.000 Nutzern betroffen

Discord hat ein Datenleck bestätigt, bei dem rund 70.000 Nutzer:innen betroffen sein könnten. Ursache war ein Angriff auf einen externen Kundenservice-Dienstleister, über den auch Altersverifikationen abgewickelt wurden. Dabei wurden mutmaßlich Fotos von Ausweisdokumenten entwendet.

Read More

Cyberangriff auf Engel & Völkers-Lizenznehmer mit Datenabfluss

Ende September 2025 wurde ein lokaler Lizenznehmer des Immobilienunternehmens Engel & Völkers in Südwestfalen Ziel eines Cyberangriffs, wie auf dem Blog von Günther Born berichtet wurde. Dabei verschafften sich Unbekannte Zugriff auf Teile der Kundendatenbank und entwendeten persönliche Informationen wie Namen, Adressen, Kontaktdaten sowie Angaben zu Immobilienanfragen und Vertragsunterlagen.

Read More