KI-Crawler in der robots.txt: welche es gibt, was sie tun und wie du entscheidest

Drei Arten von KI-Crawlern

Wenn von "KI-Crawlern" die Rede ist, werden drei sehr verschiedene Dinge in einen Topf geworfen. Die großen Anbieter trennen sie inzwischen selbst, mit eigenen Kennungen (User-Agent-Tokens) in der robots.txt:

Die Grundsatzfrage lautet also nicht "KI ja oder nein", sondern: Willst du als Quelle in KI-Antworten auftauchen, und willst du, dass deine Texte in Modelle einfließen? Beides lässt sich bei den meisten Anbietern getrennt steuern.

Wichtig vorab: Die robots.txt ist eine Bitte, keine Sperre. Google schreibt selbst, dass seriöse Crawler sie beachten, andere aber womöglich nicht, und dass sie kein Mittel ist, um eine Seite aus Google herauszuhalten (Google Search Central: Einführung in robots.txt, abgerufen am 30.10.2026).

Die Crawler im Einzelnen

Alle Angaben stammen aus der Dokumentation der Anbieter, abgerufen am 30.10.2026.

OpenAI: OAI-SearchBot, ChatGPT-User, GPTBot

OpenAI schreibt: "Each setting is independent of the others." (OpenAI: Overview of OpenAI Crawlers, abgerufen am 30.10.2026)

• OAI-SearchBot ist für die Suche in ChatGPT zuständig. Gesperrte Seiten erscheinen nicht in Suchantworten, höchstens als reiner Navigationslink. Änderungen wirken nach etwa 24 Stunden.
• ChatGPT-User ruft Seiten auf, wenn Nutzer etwas anstoßen: "Because these actions are initiated by a user, robots.txt rules may not apply."
• GPTBot sammelt Inhalte, die für das Training verwendet werden können. Eine Sperre heißt: kein Training generativer Basismodelle mit diesen Inhalten.

Anthropic: Claude-SearchBot, Claude-User, ClaudeBot

Auch Anthropic trennt Suche, Nutzerabruf und Training (Anthropic Help Center, abgerufen am 30.10.2026):

• Claude-SearchBot: Eine Sperre kann Sichtbarkeit und Genauigkeit in Suchergebnissen verringern.
• Claude-User: Eine Sperre verhindert Abrufe, wenn Nutzer Claude etwas fragen.
• ClaudeBot: Eine Sperre signalisiert, dass künftige Inhalte nicht ins Training sollen.

Laut Anthropic beachten alle seine Bots die robots.txt, die Sperre muss auf jeder Subdomain einzeln stehen, und eine Sperre per IP-Adresse wirkt nicht verlässlich, weil die Bots die robots.txt dann nicht mehr lesen können.

Perplexity: PerplexityBot und Perplexity-User

PerplexityBot zeigt und verlinkt Websites in den Suchergebnissen und wird laut Perplexity nicht für das Training von Basismodellen genutzt. Perplexity-User ruft auf Nutzeranfrage ab: "this fetcher generally ignores robots.txt rules." (Perplexity: Perplexity Crawlers, abgerufen am 30.10.2026)

Google: Google-Extended ist nicht die Google-Suche

Google-Extended ist kein eigener Crawler, sondern ein Steuerzeichen: Es regelt, ob Inhalte für das Training künftiger Gemini-Modelle und für das Grounding in Gemini-Apps und auf Vertex AI genutzt werden. "Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search." (Google Search Central: Google's common crawlers, abgerufen am 30.10.2026)

Für AI Overviews und den KI-Modus der Google-Suche gelten dagegen die Regeln für Googlebot und die Snippet-Steuerung mit nosnippet, data-nosnippet, max-snippet oder noindex (Google Search Central: AI features and your website, abgerufen am 30.10.2026). Zusätzlich gibt es seit 2026 einen Schalter in der Search Console, der die Website aus diesen KI-Funktionen herausnimmt; laut Google ist er kein Ranking-Signal für die normale Suche (Google Blog, abgerufen am 30.10.2026).

Apple: Applebot-Extended

"Applebot-Extended does not crawl webpages." Es regelt nur, ob Inhalte, die Applebot ohnehin abruft, ins Training von Apples Basismodellen dürfen; die Apple-Suche bleibt davon unberührt. Nennt deine robots.txt Applebot nicht, folgt er den Regeln für Googlebot (Apple Support: About Applebot, abgerufen am 30.10.2026).

Microsoft Bing und Copilot: kein eigenes KI-Token

Microsoft steuert über Robots-Meta-Tags statt über ein eigenes Token: noarchive hält eine Seite aus Chat-Antworten und Training heraus, nocache erlaubt nur URL, Titel und Snippet (Bing Webmaster Blog, September 2023, abgerufen am 30.10.2026). Der Beitrag spricht noch von "Bing Chat"; ob die heutigen Richtlinien das für Copilot genauso sagen, ließ sich nicht am Original prüfen. Wer bingbot sperrt, sperrt die Bing-Suche mit.

Common Crawl und Meta

CCBot baut das frei zugängliche Archiv von Common Crawl (Common Crawl: CCBot, abgerufen am 30.10.2026). Common Crawl selbst nennt kein KI-Training, aber jeder kann das Archiv weiterverwenden; wir ordnen CCBot deshalb bei den Trainings-Crawlern ein. meta-externalagent crawlt laut Meta "for use cases such as training foundation AI models or improving products"; der Abrufer meta-externalfetcher kann die robots.txt laut Meta umgehen (Meta for Developers: Meta Web Crawlers, abgerufen am 30.10.2026).

Übersicht: 13 Kennungen und was eine Sperre bewirkt

Diese 13 Kennungen prüft auch das SEO-Audit von Helferlain (Stand der Liste: 28.10.2026).

Drei Haltungen mit Beispiel-Einträgen

Die Beispiele gehen von einer Website aus, die einen internen Bereich unter /intern/ für alle Crawler sperrt. Ersetze Pfade und Domain durch deine eigenen.

Haltung 1: alles erlauben

Du brauchst keine eigenen Gruppen für KI-Crawler. Jeder Crawler, für den keine eigene Gruppe existiert, folgt der Gruppe mit User-agent: *.

User-agent: *
Disallow: /intern/

Sitemap: https://www.example.de/sitemap.xml

Haltung 2: Training sperren, Suche und Nutzer-Abrufe erlauben

Die Trainings-Kennungen kommen in eine gemeinsame Gruppe. Mehrere User-agent-Zeilen über denselben Regeln sind nach RFC 9309 zulässig. Wichtig: Die Gruppe muss auch alle Sperren enthalten, die sonst unter * stehen, hier also /intern/. Bei Disallow: / ist das automatisch der Fall.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: meta-externalagent
Disallow: /

User-agent: *
Disallow: /intern/

Sitemap: https://www.example.de/sitemap.xml

Bedenke bei Google-Extended: Die Sperre betrifft nicht nur das Training, sondern auch die Fundierung von Antworten in den Gemini-Apps. Wenn dir Sichtbarkeit in Gemini wichtig ist, lass Google-Extended zu.

Haltung 3: alle KI-Crawler sperren, klassische Suche behalten

Hier kommen auch die Such- und Nutzer-Kennungen der KI-Dienste dazu. Googlebot und bingbot bleiben erlaubt, sonst verschwindest du aus Google und Bing.

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: GPTBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: ClaudeBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: meta-externalagent
Disallow: /

User-agent: *
Disallow: /intern/

Sitemap: https://www.example.de/sitemap.xml

Drei Grenzen dieser Haltung: ChatGPT-User und Perplexity-User halten sich nach Aussage ihrer Anbieter nicht unbedingt an die robots.txt. AI Overviews und der KI-Modus von Google lassen sich nicht per robots.txt abschalten, ohne die Google-Suche gleich mit zu verlieren; dafür gibt es den Schalter in der Search Console und die Snippet-Regeln. Für Copilot gilt Entsprechendes mit noarchive im Robots-Meta-Tag. Wer wirklich alles sperrt, also User-agent: * mit Disallow: /, verschwindet aus allen Suchmaschinen, die sich an die Regeln halten.

Typische Fehler

Eine eigene Gruppe hebelt die Sterngruppe aus

Dieser Fehler fällt beim Lesen der Datei kaum auf. Nach RFC 9309 sucht ein Crawler die Gruppe, deren User-agent zu seiner Kennung passt, ohne auf Groß- und Kleinschreibung zu achten. Gibt es mehrere passende Gruppen, werden sie zusammengeführt. Die Gruppe mit * gilt nur, wenn keine passende Gruppe existiert (RFC 9309, Abschnitt 2.2.1, abgerufen am 30.10.2026).

Ein Beispiel, wie es oft vorkommt:

User-agent: *
Disallow: /intern/
Disallow: /anfragen/

User-agent: GPTBot
Allow: /

Gemeint war: "GPTBot ausdrücklich willkommen." Tatsächlich darf GPTBot jetzt auch /intern/ und /anfragen/ lesen, denn für ihn gilt nur noch seine eigene Gruppe. Abhilfe: In jeder eigenen Gruppe die Sperren aus der Sterngruppe wiederholen, oder die eigene Gruppe weglassen, wenn sie nichts anderes regelt als *.

Veraltete oder fehlende Kennungen

Viele robots.txt-Dateien enthalten noch anthropic-ai oder Claude-Web. Die aktuelle Hilfeseite von Anthropic nennt nur ClaudeBot, Claude-SearchBot und Claude-User; die beiden älteren Kennungen kommen dort nicht mehr vor. Wer damals Anthropic gesperrt hat, sollte die Regeln auf die drei heutigen Kennungen umstellen. Umgekehrt fehlen in älteren Dateien oft die neueren Such- und Nutzer-Kennungen ganz.

Google-Extended mit der Google-Suche verwechseln

Wer Google-Extended sperrt, um aus AI Overviews herauszukommen, erreicht das nicht; Google-Extended betrifft die Google-Suche laut Google nicht. Wer stattdessen Googlebot sperrt, verliert die Google-Suche komplett.

Googlebot-Regeln gelten auch für Apple

Hast du eine eigene Gruppe für Googlebot, aber keine für Applebot, übernimmt Applebot die Googlebot-Regeln. Das ist meist gewollt, manchmal aber eine Überraschung.

Sperre per Firewall statt robots.txt

Wer Bots über IP-Adressen oder eine Firewall abweist, verhindert, dass sie die robots.txt überhaupt lesen. Anthropic rät deshalb ausdrücklich davon ab. Umgekehrt gilt: Steht ein Crawler in der robots.txt auf "erlaubt", wird aber vom Server oder einem Bot-Schutz abgewiesen, ist er faktisch trotzdem gesperrt.

Regeln, die du nicht selbst geschrieben hast

Cloudflare kann eine verwaltete robots.txt erzeugen. Ist das eingeschaltet, setzt Cloudflare seine Einträge vor deine eigene Datei und liefert beides zusammen aus; im Beispiel der Dokumentation werden unter anderem GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot und meta-externalagent gesperrt (Cloudflare Docs: Managed robots.txt, abgerufen am 30.10.2026). In deiner Datei im CMS siehst du davon nichts. Maßgeblich ist immer, was unter /robots.txt tatsächlich ausgeliefert wird.

Ungeduld

Änderungen wirken nicht sofort. Nach RFC 9309 sollen Crawler eine zwischengespeicherte robots.txt nicht länger als 24 Stunden nutzen; OpenAI nennt etwa 24 Stunden für die Suche, Perplexity bis zu 24 Stunden, Meta ebenfalls bis zu 24 Stunden.

Wie du es prüfst

1. Ausgelieferte Datei ansehen. Rufe https://deine-domain.de/robots.txt im Browser auf, nicht die Datei im CMS. Nur so siehst du Einträge, die ein CDN oder ein Plugin ergänzt. Wiederhole das für jede Subdomain.
2. Für jede Kennung die zuständige Gruppe bestimmen. Gibt es eine Gruppe mit ihrem Namen? Dann gilt nur diese. Sonst gilt *. Prüfe, ob dabei Sperren verloren gehen.
3. Kennungen abgleichen. Vergleiche die Namen in deiner Datei mit der Übersicht oben und streiche veraltete Einträge.
4. Google-Seite prüfen. Der robots.txt-Bericht in der Search Console zeigt, welche robots.txt-Dateien Google gefunden hat, wann sie zuletzt abgerufen wurden und welche Fehler es gibt (Search Console-Hilfe: robots.txt-Bericht, abgerufen am 30.10.2026). Für andere Anbieter sagt er nichts.
5. Server-Logs lesen. Dort siehst du, welche Kennungen wirklich kommen. Weil sich jeder Bot als GPTBot ausgeben kann, veröffentlichen mehrere Anbieter Listen ihrer IP-Bereiche, mit denen du echte Abrufe von gefälschten unterscheidest, zum Beispiel openai.com/gptbot.json, openai.com/searchbot.json, openai.com/chatgpt-user.json, claude.com/crawling/bots.json, www.perplexity.ai/perplexitybot.json, www.bing.com/toolbox/bingbot.json und index.commoncrawl.org/ccbot.json (alle am 30.10.2026 erreichbar).

Wie die Datei llms.txt dazu passt und warum sie mit der robots.txt nichts zu tun hat, steht in llms.txt: was die Datei kann, was nicht, und ob sie sich lohnt.

Wo Helferlain hier steht

Das SEO-Audit von Helferlain prüft im Bereich KI-Sichtbarkeit, ob 13 KI- und Such-Crawler deine Website laut robots.txt lesen dürfen, darunter die Kennungen von OpenAI, Anthropic, Perplexity, Google-Extended, Applebot-Extended, Bing, Common Crawl und Meta. Dazu prüft es, ob es eine llms.txt gibt und ob Inhalte nur per JavaScript erscheinen. Mehr dazu auf der Seite SEO-Audit und im kostenlosen Website-Check.