KI-Crawler blockieren: welche robots.txt-Regel passt

Die robots.txt dieser Seite, abgerufen am 03.10.2026:

# www.cyberscale.io
User-agent: *
Allow: /
Disallow: /app/login.html
Disallow: /app/passwort-neu.html
Disallow: /.netlify/

Sitemap: https://www.cyberscale.io/sitemap.xml

Keine Zeile für GPTBot, keine für ClaudeBot. Das ist eine Entscheidung, keine Nachlässigkeit, und der Grund steht in diesem Beitrag: Wer alle KI-Crawler sperrt, verhindert Training, das ohnehin schwer zu verhindern ist, und verzichtet nebenbei auf Erwähnungen mit Link in ChatGPT und Perplexity. Die Kopiervorlagen aus Foren sperren beides in einem Aufwasch.

Drei Sorten Crawler, eine Datei#

Hinter den Namen stecken drei verschiedene Aufgaben, und die meisten Anleitungen unterscheiden sie nicht.

Trainingssammler laden Inhalte, damit daraus Modellgewichte werden: GPTBot, ClaudeBot, CCBot. Was sie holen, taucht nicht als Link in einer Antwort auf. Wer sie sperrt, verliert keine Sichtbarkeit.

Index-Crawler bauen den durchsuchbaren Index, aus dem die Antwortmaschine sich bedient: OAI-SearchBot, Claude-SearchBot, PerplexityBot. OpenAI schreibt dazu, dass Seiten, die OAI-SearchBot aussperren, in den Suchantworten von ChatGPT nicht angezeigt werden; Perplexity beschreibt PerplexityBot als den Crawler, der Websites in Perplexity-Ergebnissen auffindbar und verlinkt macht.

Abrufer im Moment der Frage holen eine einzelne Seite, weil gerade ein Mensch danach gefragt hat: ChatGPT-User, Claude-User, Perplexity-User. Hier landet dein Text unmittelbar in der Antwort.

Wer alles sperrt, trifft alle drei Gruppen. Warum die Erwähnungen etwas wert sind, steht in In ChatGPT gefunden werden.

Wer anklopft, laut Anbieterdokumentation#

Alle Angaben am 03.10.2026 an der verlinkten Dokumentation geprüft. Die Namen ändern sich; vor dem Kopieren nachsehen.

Quellen: OpenAI, Overview of OpenAI Crawlers, Anthropic, Crawler und robots.txt, Google, Common Crawlers, Perplexity, Crawlers, Common Crawl, CCBot, Apple, About Applebot.

Google und Apple haben die KI-Nutzung sauber vom Suchindex getrennt: Google-Extended und Applebot-Extended sind reine Schalter. Du sperrst das Training, ohne die Suche anzufassen.

Was draußen steht: 120 Tiroler robots.txt#

In eigener Sache eine Zählung vom 03.10.2026: Ich habe /robots.txt von 140 Tiroler Domains aus meiner Akquise-Liste (115 Betriebe, 25 Tourismusverbände) einmal per curl abgerufen, passiv und nur diese eine Datei. Nur Summen, keine Namen.

Die Debatte um KI-Crawler ist in dieser Stichprobe nicht angekommen. 115 von 120 Dateien erwähnen keinen einzigen der Namen aus der Tabelle, und die vier, die es tun, erlauben ihn ausdrücklich, vermutlich aus einer CMS-Vorlage. Für die Entscheidung heißt das: Wer nichts tut, ist in Haltung 1 unten, ob gewollt oder nicht.

Die drei Haltungen als Datei#

Die robots.txt liegt unter https://deine-domain.de/robots.txt und gilt nur für diesen Host und dieses Protokoll (RFC 9309, Abschnitt 2.3). Subdomains brauchen eine eigene.

Haltung 1, alles zulassen. Keine Regel für KI-Crawler. Die Voreinstellung, wenn nichts dasteht, und für die meisten Websites die richtige.

Haltung 2, Training sperren, Antworten zulassen. Die Variante, die die meisten meinen:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: CCBot
Disallow: /

Haltung 3, alles sperren. Sinnvoll nur, wenn Inhalte aus einem anderen Grund nicht in fremden Antworten auftauchen sollen: Lizenzmodell, Mandantendaten, Archiv hinter einer Bezahlschranke. Dann kommen OAI-SearchBot, Claude-SearchBot, PerplexityBot und die Abrufer dazu.

Drei Regeln aus RFC 9309, an denen Dateien regelmäßig scheitern: Ein Crawler befolgt genau eine Gruppe; trifft er auf einen Block mit seinem Namen, ignoriert er die Gruppe unter User-agent: * vollständig, Ausnahmen müssen also wiederholt werden. Pfade sind groß- und kleinschreibungsempfindlich, Namen nicht. Bei widersprüchlichen Regeln gewinnt die längere Pfadangabe, bei gleicher Länge Allow. Ein Disallow: / unter dem Stern sperrt auch Googlebot und Bingbot; der Stern ist nie der Ort für eine KI-Entscheidung.

Nachsehen, wer tatsächlich kommt#

Bevor du sperrst, lohnt das Server-Protokoll. Bei einer Apache- oder nginx-Logdatei:

grep -ioE 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|PerplexityBot|CCBot|Bytespider' access.log | sort | uniq -c | sort -rn

Dieselbe Zeile zwei Wochen nach der Änderung noch einmal, dann siehst du, wer sich an die Regel hält. Ein Name im User-Agent ist frei wählbar; Common Crawl und Perplexity veröffentlichen deshalb ihre IP-Bereiche. Wer auf Serverebene sperrt, prüft gegen die, nicht gegen die Zeichenkette.

Wo die robots.txt aufhört#

Sie ist eine Bitte. Google formuliert in der Einführung zur robots.txt, dass sie kein Mechanismus ist, um eine Seite aus der Suche herauszuhalten, und dass die Befolgung beim Crawler liegt. Bei den Abrufern, die auf eine Nutzerfrage hin eine Seite öffnen, beschreiben die Anbieter das als Nutzeraktion, nicht als Crawling. Was technisch sperrt, ist eine Regel eine Ebene tiefer:

if ($http_user_agent ~* "(GPTBot|CCBot|Bytespider)") { return 403; }

Auch das greift nur, solange der Bot sich ehrlich meldet. Und keine Sperre holt etwas zurück: Was in ein trainiertes Modell eingeflossen ist, bleibt dort. Eine Regel wirkt ab heute. Ob deine Datei sauber ausgeliefert wird, zeigt das SEO-Audit ohne Anmeldung. Zur verwandten Datei llms.txt, die keinen Zugriff regelt, sondern ein Inhaltsverzeichnis ist, siehe llms.txt.

Stand 03.10.2026. Anbieterdokumentation abgerufen, eigene robots.txt und 140 Tiroler Domains am selben Tag per curl geprüft (Rohdaten: robots-140-2026-10-03.tsv).