Cloudflare bietet nun eine Block-Möglichkeit gegen KI-Crawler
Cloudflare hat eine neue Funktion eingeführt, die es Nutzern ermöglicht, spezifische Kategorien von Bots zuzulassen oder zu blockieren, einschließlich KI-Crawlern. Diese Neuerung richtet sich an alle Cloudflare-Nutzer, unabhängig vom gewählten Plan.
Mit dem wachsenden Einsatz generativer KI-Technologien ist die Kontrolle über die Nutzung von Daten durch KI-Unternehmen wichtiger geworden. Cloudflare bietet Website-Betreibern nun eine einfache Möglichkeit, unerwünschte KI-Crawler zu blockieren und deren Zugriffsrechte klar zu definieren.
Die neuen Kategorien umfassen unter anderem:
- Suchmaschinen-Crawler
- Aggregatoren
- AI-Crawler
- Seitenvorschauen
- Werbung
- Akademische Forschung
- Barrierefreiheit
- Feed-Fetcher
- Sicherheit
- Webhooks
Mit den neuen Bot-Kategorien können Nutzer gezielte Maßnahmen ergreifen, z.B.:
- Content-Schutz: Blockieren von AI-Bots, während Suchmaschinen-Crawler zugelassen werden.
- Social Media: Bereitstellung vereinfachter Seitenversionen für Seitenvorschau-Dienste.
- Sicherheitsverstärkung: Zulassung nur verifizierter Webhook-Dienste für Online-Shops.