robots.txt und llms.txt werden in GEO-Ratgebern oft in einem Atemzug genannt – dabei ist nur einer der beiden Mechanismen nachweislich wirksam. GPTBot, ClaudeBot und PerplexityBot bestätigen offiziell, dass sie robots.txt befolgen. Für llms.txt gibt es dagegen keine einzige Bestätigung eines KI-Anbieters, dass die Datei die Zitierauswahl beeinflusst – Google sagt sogar explizit das Gegenteil.
Was macht robots.txt technisch?
robots.txt ist ein seit den 1990ern etablierter Web-Standard: eine einfache Textdatei im Root-Verzeichnis deiner Domain, die Crawlern mitteilt, welche Bereiche sie besuchen dürfen und welche nicht. Jeder seriöse Bot identifiziert sich mit einem eigenen User-Agent-Namen und ruft vor dem Crawlen zuerst diese Datei ab. Genau darüber funktioniert die Steuerung von KI-Crawlern – nicht über ein neues, KI-spezifisches Format, sondern über den jahrzehntealten Standard.
Wie GPTBot, ClaudeBot und PerplexityBot robots.txt tatsächlich behandeln
Alle drei großen KI-Anbieter dokumentieren offiziell, dass ihre Crawler robots.txt-Regeln respektieren – mit eigenen User-Agent-Namen, die du gezielt ansprechen kannst:
| Anbieter | Bot | Zweck |
|---|---|---|
| OpenAI | GPTBot | Trainingsdaten für GPT-Modelle |
| OAI-SearchBot / ChatGPT-User | ChatGPT-Suche bzw. Live-Abruf bei Nutzerfragen | |
| Anthropic | ClaudeBot | Trainingsdaten für Claude-Modelle |
| Claude-SearchBot / Claude-User | Suchqualität bzw. Live-Abruf bei Nutzerfragen | |
| Perplexity | PerplexityBot | Indexierung für Perplexity-Antworten (kein Training) |
| Perplexity-User | Live-Abruf bei Nutzerfragen |
Eine wichtige Nuance: Die "-User"-Bots werden erst ausgelöst, wenn ein Nutzer live eine Frage stellt – sie crawlen nicht autonom im Hintergrund. Perplexity schreibt in der eigenen Dokumentation explizit, dass Perplexity-User robots.txt-Regeln "in der Regel ignoriert", weil der Abruf an eine konkrete Nutzeranfrage gebunden ist, keine autonome Indexierung. OpenAI schreibt für ChatGPT-User ähnlich, dass robots.txt-Regeln möglicherweise nicht gelten, weil ein Nutzer die Aktion auslöst.[4] Für Anthropic liegt dazu keine ebenso explizite Aussage vor – gehe bei Claude-User also nicht automatisch von derselben Ausnahme aus, ohne es selbst zu prüfen.
Beispiel: robots.txt dieser Seite
Diese Website erlaubt aktuell pauschal alle User-Agents, GPTBot, ClaudeBot und PerplexityBot eingeschlossen:
User-agent: *
Allow: /
Sitemap: https://www.ki-gefunden-werden.de/sitemap.xmlWillst du einzelne KI-Crawler gezielt steuern statt pauschal alle zuzulassen, sieht das so aus – etwa um GPTBot vom Training auszuschließen, aber OAI-SearchBot für die ChatGPT-Suche weiter zuzulassen:
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /Was ist llms.txt und welches Problem sollte es lösen?
Die Idee stammt von Jeremy Howard (Answer.AI, fast.ai) und wurde im September 2024 unter llmstxt.org veröffentlicht: eine Markdown-Datei im Root-Verzeichnis, die einem KI-Modell eine kuratierte, kurze Übersicht der wichtigsten Seiten liefert.[1] Das ursprüngliche Problem war ein anderes, als die meisten GEO-Ratgeber heute suggerieren: Kontextfenster von Sprachmodellen sind zu klein für ganze Websites, und das Umwandeln von HTML mit Navigation, Werbung und JavaScript in sauberen Text ist fehleranfällig – besonders relevant für Entwicklungsumgebungen, in denen ein Coding-Assistent schnell auf Dokumentation zugreifen soll. Verbreitung fand das Format vor allem über Doku-Plattformen wie Mintlify, die llms.txt automatisch für gehostete Entwicklerdokumentationen erzeugen.
Wie ist eine llms.txt aufgebaut?
Laut dem Vorschlag liegt die Datei unter /llms.txt im Root-Verzeichnis deiner Domain und ist in Markdown geschrieben.[1] Die Reihenfolge der Bausteine ist festgelegt:
- Eine H1-Überschrift mit dem Namen der Website oder des Projekts. Das ist das einzige Pflichtelement.
- Ein Blockzitat mit einer kurzen Zusammenfassung: Wer bist du, was bietest du an.
- Optional weiterer Fließtext ohne Überschriften, etwa Hinweise zum Lesen der Seite.
- H2-Abschnitte mit Linklisten. Jeder Eintrag ist ein Markdown-Link, auf Wunsch gefolgt von einem Doppelpunkt und einer kurzen Notiz.
- Ein Abschnitt namens „Optional" hat eine Sonderbedeutung: Die Links darin darf ein Tool weglassen, wenn nur wenig Kontext zur Verfügung steht.
Als Gerüst sieht das so aus:
# Name deines Unternehmens
> Ein bis zwei Sätze: Was du anbietest und für wen.
## Angebote
- [Leistung A](https://www.deinedomain.de/leistung-a): Kurzbeschreibung
- [Leistung B](https://www.deinedomain.de/leistung-b): Kurzbeschreibung
## Wissen
- [Fachartikel](https://www.deinedomain.de/blog/artikel): Worum es geht
## Optional
- [Über uns](https://www.deinedomain.de/ueber-uns)Der Vorschlag empfiehlt außerdem, wichtige Seiten zusätzlich als reine Markdown-Version anzubieten, erreichbar unter derselben URL mit angehängtem .md.[1]
Was ist llms-full.txt?
llms-full.txt ist eine Variante, die vor allem Doku-Plattformen einsetzen. Statt einer Linkliste steht dort der vollständige Inhalt in einer einzigen Markdown-Datei. Der Vorschlag auf llmstxt.org beschreibt die llms.txt; llms-full.txt hat sich daneben als Konvention verbreitet. Für eine Unternehmenswebsite gilt dieselbe Einschränkung wie für die llms.txt: Eine bestätigte Wirkung auf die Zitatauswahl von ChatGPT, Claude oder Perplexity gibt es nicht.
llms.txt erstellen: Schritt für Schritt
- Wähle die wichtigsten Seiten aus. Angebot, Kontakt und die Fachartikel, die dein Thema am besten erklären. Eine kurze, kuratierte Liste ist der Sinn der Datei, kein vollständiges Inhaltsverzeichnis.
- Schreibe die Datei in Markdown nach dem Aufbau oben: H1, Blockzitat, dann H2-Abschnitte mit Links und kurzen Notizen.
- Lege sie als
llms.txtim Root-Verzeichnis ab, sodass sie als reine Textdatei abrufbar ist. - Prüfe den Abruf im Browser:
deinedomain.de/llms.txtmuss den Text direkt anzeigen. - Halte sie aktuell. Eine llms.txt mit veralteten Angeboten oder toten Links ist schlechter als keine.
llms.txt, robots.txt, sitemap.xml: Der Unterschied
| Datei | Zweck | Format | Bestätigte Wirkung |
|---|---|---|---|
| robots.txt | Regelt, welche Crawler welche Bereiche abrufen dürfen | Textdatei mit Regeln pro User-Agent | Ja, GPTBot, ClaudeBot und PerplexityBot befolgen sie laut Anbietern |
| sitemap.xml | Listet die URLs deiner Website für Suchmaschinen auf | XML | Ja, wird von Suchmaschinen wie Google gelesen |
| llms.txt | Kuratierte Kurzübersicht für Sprachmodelle | Markdown | Nein, keine bestätigte Nutzung für die Zitatauswahl |
Nutzt irgendein KI-System llms.txt tatsächlich, um dich zu zitieren?
Nach aktuellem Kenntnisstand: nein, nicht bestätigt. Google schreibt in seinem im Juli 2026 aktualisierten offiziellen Leitfaden ausdrücklich, dass die eigene Suche keine llms.txt-Dateien nutzt.[2] Auf Nachfrage in einem Reddit-Thread brachte es Googles John Mueller im Juni 2026 auf den Punkt: Die Datei existiere seit Jahren, doch kein KI-System nutze sie – was das wohl bedeute, sei "pure Spekulation".[3]
Eine Verwechslung, die häufig passiert: OpenAI und Perplexity nutzen auf ihren eigenen Entwickler-Dokumentationsseiten tatsächlich eine llms.txt – als Inhaltsverzeichnis, über das Tools die verfügbaren Doku-Seiten auflisten können.[4][5] Das ist aber ein anderer Anwendungsfall: Es sagt nichts darüber aus, ob GPTBot, ChatGPT-User, ClaudeBot oder PerplexityBot beim Crawlen deiner Website deine llms.txt lesen und auswerten, wenn sie entscheiden, wen sie in einer Antwort zitieren. Eine offizielle Bestätigung dafür gibt es von keinem der drei Anbieter.
Beispiel: llms.txt dieser Seite
Diese Website hat trotzdem eine llms.txt – als kuratierte, kurze Übersicht für den Fall, dass ein Tool sie doch einmal liest, mit geringem Pflegeaufwand:
# Hans Gülker – KI-Sichtbarkeits-Report für B2B-Unternehmen
> Hans Gülker bietet einen automatisierten KI-Sichtbarkeits-Report
> (GEO/AI-SEO) für B2B-Unternehmen an [...]
## Angebote
- KI-Sichtbarkeits-Report — Die Diagnose (kostenlos) [...]
## Blog
- [Was ist AEO?](https://www.ki-gefunden-werden.de/blog/was-ist-aeo): [...]Solltest du trotzdem eine llms.txt anlegen?
Das ist eine ehrliche Abwägung, keine klare Empfehlung: Der Aufwand ist gering – eine kurze, gepflegte Markdown-Datei –, und es gibt keine Hinweise auf negative Effekte. Bau aber keine Erwartung auf, dass sie deine Sichtbarkeit bei ChatGPT, Claude oder Perplexity kurzfristig messbar verbessert. Der ehrlichste Grund, sie trotzdem anzulegen: Klarheit für Menschen, die deine Struktur schnell verstehen wollen, und eine gewisse Zukunftssicherheit, falls sich die Nutzung durch KI-Systeme doch noch ändert.
Was du wirklich tun solltest
- Prüfe zuerst dein robots.txt. Am schnellsten geht das mit dem kostenlosen KI-Crawler-Check. Das ist der einzige der beiden Mechanismen mit bestätigter Wirkung – stelle sicher, dass du GPTBot, ClaudeBot und PerplexityBot nicht versehentlich aussperrst, wenn du sichtbar sein willst.
- Bau eine llms.txt aus Hygiene-Gründen, nicht aus Erwartung. Geringer Aufwand, aber ohne bestätigten GEO-Effekt.
- Investiere die eigentliche Zeit in Inhalt und Struktur. Beide Dateien regeln nur den Zugang – ob ein KI-System dich am Ende zitiert, entscheidet weiterhin die inhaltliche Substanz deiner Seite.
Quellen
- [1] Jeremy Howard, Answer.AI: "The /llms.txt file", llmstxt.org (September 2024)
- [2] Google Search Central: "Google's Guide to Optimizing for Generative AI Features on Google Search", zuletzt aktualisiert 10. Juli 2026
- [3] John Mueller (Google), zitiert nach Search Engine Journal: "Google Says LLMs.txt Is 'Purely Speculative' For Now" (2. Juni 2026)
- [4] OpenAI: "Overview of OpenAI Crawlers", developers.openai.com
- [5] Perplexity: "Perplexity Crawlers", docs.perplexity.ai
- [6] Anthropic: "Does Anthropic Crawl Data From The Web, And How Can Site Owners Block Crawlers?", support.claude.com
Häufige Fragen
Nutzt ChatGPT meine llms.txt-Datei, um zu entscheiden, ob es mich zitiert?
Dafür gibt es keine bestätigte Quelle. OpenAI nutzt auf der eigenen Entwicklerdokumentation zwar selbst eine llms.txt als Inhaltsverzeichnis, das ist aber ein anderer Anwendungsfall als GPTBot oder ChatGPT-User, die fremde Websites crawlen. Eine offizielle Aussage, dass diese Crawler llms.txt-Dateien fremder Seiten auswerten, liegt nicht vor.
Blockiert robots.txt zuverlässig, dass KI-Systeme meine Inhalte crawlen?
Für autonome Crawler wie GPTBot, ClaudeBot und PerplexityBot ja – alle drei Anbieter bestätigen in ihrer offiziellen Dokumentation, dass sie robots.txt-Regeln befolgen. Bei Bots, die im Moment einer Nutzeranfrage live eine einzelne Seite abrufen (etwa Perplexity-User), gilt das laut Perplexitys eigener Doku nicht zuverlässig, weil der Abruf an eine konkrete Nutzerfrage gebunden ist.
Schadet eine llms.txt-Datei, wenn ich sie trotzdem anlege?
Nein, der Aufwand ist gering und es gibt keine Hinweise auf negative Effekte. Du solltest nur keine Erwartungshaltung aufbauen, dass sie deine Zitierhäufigkeit bei ChatGPT, Claude oder Perplexity messbar erhöht – dafür fehlt bislang jeder Beleg.
Was ist der wichtigste technische Hebel, um AI-Crawler überhaupt an meine Inhalte zu lassen?
Ein sauber konfiguriertes robots.txt, das GPTBot, ClaudeBot und PerplexityBot nicht versehentlich blockiert – das ist der einzige der beiden Mechanismen mit offiziell bestätigter Wirkung. Alles Weitere (Content-Qualität, Struktur, Belegbarkeit) entscheidet erst danach, ob ein System dich tatsächlich zitiert.
Wo muss die llms.txt liegen?
Im Root-Verzeichnis deiner Domain, erreichbar unter deinedomain.de/llms.txt. Sie ist in Markdown geschrieben und beginnt mit einer H1-Überschrift, dem einzigen Pflichtelement. Danach folgen ein kurzes Blockzitat und H2-Abschnitte mit Linklisten.
Was ist der Unterschied zwischen llms.txt und llms-full.txt?
Die llms.txt ist eine kurze, kuratierte Linkliste der wichtigsten Seiten. Die llms-full.txt enthält den vollständigen Inhalt in einer einzigen Markdown-Datei und wird vor allem von Doku-Plattformen eingesetzt. Für beide gibt es keine bestätigte Wirkung auf die Zitatauswahl von KI-Systemen.
