Der KI-Crawler-Check zeigt dir, ob deine robots.txt die Crawler von ChatGPT, Claude, Perplexity, Google und Bing zulässt oder aussperrt. Gib deine Domain ein. Du siehst für elf Crawler einzeln, ob sie deine Startseite abrufen dürfen und welche Regel dafür gilt.
Warum zählt die robots.txt für KI-Antworten?
Ein KI-System kann deine Website nur dann als Quelle nennen, wenn sein Crawler sie abrufen darf. OpenAI schreibt in seiner Dokumentation, dass Seiten, die den Crawler OAI-SearchBot ausschließen, in den Suchantworten von ChatGPT nicht angezeigt werden.[1] Anthropic und Perplexity dokumentieren für ihre Crawler ebenfalls, dass sie die robots.txt beachten.[2][3]
Viele Sperren entstehen unbemerkt, etwa durch eine alte Regel für alle Crawler, ein Sicherheits-Plugin oder eine Voreinstellung des Hosters.
Welche Crawler prüft der Check?
| Crawler | Anbieter | Wofür |
|---|---|---|
| OAI-SearchBot | OpenAI | Suchfunktion von ChatGPT |
| GPTBot | OpenAI | Training der Modelle |
| ChatGPT-User | OpenAI | Abruf, wenn ein Nutzer ihn auslöst |
| Claude-SearchBot | Anthropic | Suchfunktion von Claude |
| ClaudeBot | Anthropic | Training der Modelle |
| Claude-User | Anthropic | Abruf, wenn ein Nutzer ihn auslöst |
| PerplexityBot | Perplexity | Index für Perplexity-Antworten |
| Perplexity-User | Perplexity | Abruf, wenn ein Nutzer ihn auslöst |
| Googlebot | Google-Suche inklusive AI Overviews und AI Mode | |
| Google-Extended | Training und Grounding in anderen Google-Systemen | |
| Bingbot | Microsoft | Bing-Suche, Grundlage für Microsoft Copilot |
Fett markiert sind die Such-Crawler. Sie entscheiden darüber, ob deine Seiten in Antworten als Quelle auftauchen können. Google steuert die KI-Funktionen der Suche über den normalen Googlebot. Der Eintrag Google-Extended betrifft laut Google das Training und Grounding in anderen Google-Systemen.[4]
Wie liest du das Ergebnis?
- Erlaubt: Der Crawler darf deine Website abrufen. Sind nur technische Adressen ausgeschlossen, etwa Warenkorb, Verwaltung oder Adressen mit Parametern, gilt das ebenfalls als erlaubt und steht als Hinweis dabei.
- Teilweise gesperrt: Die Startseite ist frei, einzelne inhaltliche Bereiche sind ausgeschlossen. Prüfe, ob wichtige Seiten darunter sind.
- Gesperrt: Der Crawler darf die Startseite nicht abrufen.
- Unklar: Die robots.txt war nicht lesbar, etwa wegen eines Serverfehlers.
Für jeden Crawler steht dabei, ob eine eigene Regel gilt oder die allgemeine Regel für alle Crawler. Eine eigene Regel hat Vorrang.
Wie sperrst du das Training und erlaubst die Suche?
OpenAI behandelt beide Einstellungen unabhängig voneinander.[1] Wenn du in der ChatGPT-Suche erscheinen willst, deine Inhalte aber nicht fürs Training freigeben möchtest, sieht das so aus:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /Die Hintergründe zu allen Crawlern stehen in llms.txt und robots.txt für AI-Crawler.
Was prüft der Check nicht?
Der Check liest nur die robots.txt und bewertet die Startseite. Er erkennt nicht, ob eine Firewall, ein CDN oder ein Meta-Tag Crawler aussperrt. Er sagt auch nichts darüber, ob ein KI-System dich tatsächlich nennt. Ein freier Zugang ist die Voraussetzung dafür, keine Garantie.
Ob du bei den Fragen deiner Zielgruppe genannt wirst, zeigt der kostenlose KI-Sichtbarkeits-Report. Die weiteren Schritte stehen in Website für KI optimieren: 8 Schritte.
Quellen
- [1] OpenAI: "Overview of OpenAI Crawlers", developers.openai.com (abgerufen 12. Oktober 2026)
- [2] Anthropic: "Does Anthropic Crawl Data From The Web, And How Can Site Owners Block Crawlers?", support.claude.com
- [3] Perplexity: "Perplexity Crawlers", docs.perplexity.ai
- [4] Google Search Central: "AI features and your website", developers.google.com (abgerufen 12. Oktober 2026)
Häufige Fragen
Wie prüfe ich, ob GPTBot auf meiner Website gesperrt ist?
Gib deine Domain in den KI-Crawler-Check ein. Er liest deine robots.txt und zeigt für GPTBot und zehn weitere Crawler, ob sie deine Startseite abrufen dürfen. Von Hand geht es über deinedomain.de/robots.txt: Suche dort nach einem Abschnitt für GPTBot oder für alle Crawler mit einer Disallow-Regel.
Muss ich GPTBot erlauben, um in ChatGPT gefunden zu werden?
Nein. Für die Suchfunktion von ChatGPT ist laut OpenAI der Crawler OAI-SearchBot zuständig. GPTBot sammelt Inhalte für das Training der Modelle. Beide lassen sich unabhängig voneinander erlauben oder sperren.
Was passiert, wenn meine Website keine robots.txt hat?
Dann gibt es keine Einschränkungen. Alle Crawler dürfen die Website abrufen. Eine robots.txt brauchst du nur, wenn du etwas ausschließen willst.
Erkennt der Check auch Sperren durch eine Firewall?
Nein. Der Check liest nur die robots.txt. Blockiert eine Firewall, ein CDN oder ein Sicherheits-Plugin bestimmte Crawler, siehst du das in den Zugriffsprotokollen deines Servers.
Werde ich von ChatGPT genannt, wenn alle Crawler erlaubt sind?
Nicht automatisch. Der freie Zugang ist nur die Voraussetzung. Ob ein KI-System dich nennt, hängt von deinen Inhalten und von deiner Bekanntheit in anderen Quellen ab.
