KI-Crawler: was du in der robots.txt für GPTBot, ClaudeBot und PerplexityBot erlauben solltest
Aktualisiert: 4. August 2026
Wenn deine robots.txt KI-Crawler blockiert, erreicht dein Inhalt die Modelle nie und du bist in ihren Antworten unsichtbar. Damit sie dich sehen, erlaube ausdrücklich die wichtigsten: GPTBot und OAI-SearchBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot und Google-Extended. Das sind wenige Zeilen mit unmittelbarer Wirkung.
Welcher Bot macht was
Sie tun nicht dasselbe, und die Unterscheidung ist wichtig, wenn du entscheidest, was du erlaubst:
- GPTBot — sammelt Inhalte für das Training der OpenAI-Modelle.
- OAI-SearchBot — speist die Live-Suche von ChatGPT (das beeinflusst, was Nutzer heute sehen).
- ChatGPT-User — greift zu, wenn ein Nutzer ChatGPT ausdrücklich bittet, deine Seite zu öffnen.
- ClaudeBot — das Pendant von Anthropic für Claude.
- PerplexityBot — für die Antwortmaschine von Perplexity.
- Google-Extended — kein Crawler, sondern ein Schalter, der steuert, ob deine Inhalte in Googles KI-Produkten verwendet werden.
Das Problem, das du nicht siehst
Viele Websites blockieren diese Bots, ohne es zu wissen: durch die Voreinstellung eines Security-Plugins, eine CDN-Einstellung oder eine aus dem Netz kopierte robots.txt.
Das Ergebnis ist lautlos — keine Fehlermeldung, du tauchst schlicht nie in den Antworten auf. Das solltest du vor allem anderen prüfen.
Beispiel einer robots.txt, die KI erlaubt
Die Logik ist einfach: eine Gruppe pro Bot mit ausdrücklicher Erlaubnis. Für die wichtigsten:
- User-agent: GPTBot / Allow: /
- User-agent: OAI-SearchBot / Allow: /
- User-agent: ChatGPT-User / Allow: /
- User-agent: ClaudeBot / Allow: /
- User-agent: PerplexityBot / Allow: /
- User-agent: Google-Extended / Allow: /
- Und vergiss die Sitemap:-Zeile mit der vollständigen URL deiner Sitemap nicht.
Muss ich alle erlauben?
Das ist eine geschäftliche, keine technische Entscheidung. Wenn du davon lebst, dass Kunden dich finden, lautet die Antwort fast immer ja — die Bots zu blockieren macht dich genau dort unsichtbar, wohin sich die Suche verlagert.
Hast du kostenpflichtige Inhalte oder ein Archiv, das nicht ins Training soll, kannst du die Such-Bots (OAI-SearchBot, PerplexityBot) erlauben und die Trainings-Bots einschränken. Ein legitimer Mittelweg.
Was du jetzt prüfen solltest
- Öffne deine Website mit /robots.txt am Ende und lies, was dort steht.
- Such nach Disallow-Einträgen für die oben genannten User-Agents.
- Stell sicher, dass eine Sitemap-Zeile vorhanden ist.
- Prüfe auch CDN oder Firewall — sie können Bots blockieren, bevor diese die robots.txt erreichen.
Häufige Fragen
Wenn ich die Bots erlaube, „stehlen“ sie meine Inhalte?
Sie nutzen sie, um Antworten zu erzeugen, oft mit Quellenangabe. Die praktische Frage lautet: möchtest du erwähnt werden oder dein Wettbewerber? Für die meisten Unternehmen wiegt die Sichtbarkeit mehr.
Ist die robots.txt bindend?
Sie ist eine Konvention, an die sich die großen Anbieter halten. Sie ist keine technische Sperre — für echtes Blocken brauchst du Regeln auf Server- oder CDN-Ebene.
Wie schnell zeigt sich die Änderung?
Das Entsperren ist Voraussetzung, keine Garantie. Die Bots müssen erneut crawlen und die Modelle sich aktualisieren — rechne mit Wochen bis Monaten.
Sieh, wo du in der KI stehst — kostenlos
Das kostenlose Micro-Audit zeigt dir in 2 Minuten, ob ChatGPT dich für deine eigenen Keywords nennt.
Kostenlosen Check starten →