KI-Crawler, SSR-Parität und robots.txt kostenlos prüfen
Prüfen Sie in 5 Sekunden, ob OAI-SearchBot, PerplexityBot und Claude an Ihrer Server-Firewall vorbeikommen, wie viel Inhalt ohne JavaScript sichtbar bleibt, und laden Sie eine saubere robots.txt herunter.
Kurzantwort
Damit ChatGPT, Perplexity und Claude Ihr Unternehmen als Quelle zitieren können, müssen drei technische Ebenen zusammenspielen: Ihre robots.txt muss KI-Suchbots (OAI-SearchBot, PerplexityBot, Claude-SearchBot) zulassen, Ihre Server-Firewall (WAF/CDN) muss mit HTTP 200 statt einer 403-Sperre antworten und Ihr Server muss Texte, Tabellen sowie JSON-LD direkt im HTML (Server-Side Rendering) ohne Browser-JavaScript ausliefern. Unser Tool prüft alle drei Punkte in einem Durchlauf.
Das prüft der KI-Crawler-Check kostenlos
Sofort im Browser, ohne E-Mail
- Gesamtwert von 0 bis 100 für KI-Erreichbarkeit, Antwortzeit (TTFB) und HTML-Vollständigkeit
- SSR-Content-Parität: sichtbare Wörter ohne JavaScript, H1/H2-Struktur, Tabellen, Links, JSON-LD und SPA-Warnung
- Aufgeteilte 12-Bot-Matrix nach KI-Suche, Nutzer-Agenten und reinen Trainings-Scrapern
- Warnung bei 403-WAF-Konflikten, wenn die robots.txt den Zugriff erlaubt, das CDN ihn aber blockiert
- Kopierfertiger 1-Klick robots.txt-Generator sowie ein dynamisches SVG-Prüfsiegel ab 70 Punkten
Kein E-Mail-Gate: Alle Messwerte, Tabellen und generierten Konfigurationsdateien stehen sofort bereit.
KI-Suchbots, Nutzer-Agenten und Trainings-Scraper richtig trennen
Viele Unternehmen im DACH-Raum haben zwischen 2023 und 2025 pauschal alle KI-User-Agents in ihrer robots.txt gesperrt, um ihre Texte vor dem Modelltraining zu schützen. Wer diese pauschale Sperre heute beibehält, schließt sich selbst aus den Antworten von ChatGPT Search, Perplexity und Claude aus. Die großen Anbieter trennen ihre Bots inzwischen klar nach Aufgabe:
Offizielle Rollen der wichtigsten KI-Crawler und empfohlene Einstellung in der robots.txt
| Bot User-Agent | Anbieter & Gruppe | Technische Funktion | Empfehlung |
|---|---|---|---|
| OAI-SearchBot | OpenAI (Suche) | Indexiert Seiten für klickbare Quellenlinks in ChatGPT Search; kein Modelltraining | Allow: / |
| PerplexityBot | Perplexity (Suche) | Baut den Suchindex und die Quellenkarten in Perplexity auf | Allow: / |
| Claude-SearchBot | Anthropic (Suche) | Indexiert Webseiten für Antworten mit Quellenangabe in Claude | Allow: / |
| ChatGPT-User | OpenAI (Agent) | Ruft Seiten live ab, wenn Nutzer im Chat gezielt nach einer Adresse oder Leistung fragen | Allow: / |
| GPTBot | OpenAI (Training) | Sammelt öffentliche Webtexte für das Training künftiger OpenAI-Modelle | Optional Disallow: / |
| ClaudeBot | Anthropic (Training) | Sammelt Trainingsdaten für Anthropic-Sprachmodelle | Optional Disallow: / |
| Google-Extended | Google (Training) | Steuert Gemini-Training ohne Auswirkung auf klassische Google-Rankings | Optional Disallow: / |
Quellen: Offizielle Crawler-Dokumentationen von OpenAI, Perplexity, Anthropic und Google Search Central (Stand: November 2026).
Wie Sie über die reine Freischaltung hinaus gezielt Zitierungen und Markenempfehlungen in Sprachmodellen aufbauen, erläutern wir auf unserer Leistungsseite Generative Engine Optimization (GEO).
Warum Server-Side Rendering (SSR) über KI-Zitierungen entscheidet
Googlebot rendert JavaScript-lastige Websites in einem zweiten Schritt mit einer echten Chromium-Instanz. KI-Crawler wie OAI-SearchBot, PerplexityBot und ClaudeBot sind auf minimale Antwortzeiten ausgelegt: Sie laden ausschließlich das initiale HTTP-Dokument und werten das rohe HTML sofort aus.
- Risiko bei Single-Page-Applications: Reine React- oder Vue-Anwendungen ohne Server-Rendering liefern im Quelltext nur ein leeres Grundgerüst ohne Überschriften, Preise oder Leistungsbeschreibungen.
- Aufgeblähte Baukästen und Page-Builder: Schwere CMS-Templates schieben hunderte Kilobyte Inline-CSS und Skripte vor den eigentlichen Inhalt, sodass Vergleichstabellen außerhalb des Crawl-Fensters landen.
- Vorteil von Next.js mit SSR: Server-Side Rendering liefert in rund 100 bis 200 ms vollständig ausgezeichnetes HTML samt
H1-H3, Datentabellen undJSON-LDaus.
Den vollständigen Architekturvergleich lesen Sie unter Next.js vs. WordPress für SEO & KI sowie programmierte Website oder Homepage-Baukasten. Unsere Pakete inklusive Booster Pack (590 € netto/Monat mit neuer Next.js-Website ohne Setup-Gebühr) finden Sie unter SEO Kosten & Pakete.
Stille 403-WAF-Sperren beheben: wenn die Firewall Ihre robots.txt überstimmt
Ein Blick in die /robots.txt allein genügt nicht. In technischen Audits sehen wir regelmäßig Mittelstands-Websites mit vorbildlichem Allow: /, deren Webserver oder vorgeschaltetes CDN Anfragen von PerplexityBot und OAI-SearchBot dennoch hart mit HTTP 403 Forbidden abweist.
Drei Schritte zur Behebung eines 403-Konflikts
- Cloudflare Bot Fight Mode prüfen: Kontrollieren Sie unter Security - Bots / Events, ob automatisierte Schutzregeln verifizierte KI-Suchcrawler blockieren.
- Sicherheits-Plugins und Hosting-WAF: Prüfen Sie Wordfence, Solid Security oder ModSecurity-Regeln Ihres Hosters auf gesperrte IP-Netze von OpenAI, Perplexity und Anthropic.
- Erneut testen und ergänzen: Sobald alle Suchbots in Gruppe 1 Statuscode 200 liefern, erstellen Sie ergänzend Ihr Verzeichnis im llms.txt Generator und prüfen Sie weitere On-Page-Faktoren im kostenlosen SEO Audit.
Weitere kostenlose Tools
- Kostenloser SEO AuditPunktzahl von 1 bis 100 und Fehlerliste für bis zu 25 Unterseiten
- llms.txt Generatorllms.txt aus Ihrer Sitemap und Zugriffstest für 9 KI-Bots und Bingbot
- Domain Authority CheckerWert von 0 bis 100 aus dem Link-Graphen von Common Crawl und Vergleich mit bis zu 3 Konkurrenten
- SEO-Rechner & ROIEntgangenen Gewinn in Euro ohne Google Top 3 und KI-Antworten sowie Amortisationsmonat berechnen
- Redaktionsplan VorlageContent-Kalender für 3 Monate, Themenspeicher und Auswertung in der Search Console
- SEO Checkliste50 Punkte für Technik, On-Page SEO, lokale Sichtbarkeit, KI-Tauglichkeit und Messung
- Keyword Recherche VorlageVon Suchbegriffen über Google-Top-10-Cluster bis zur fertigen Seiten- und URL-Zuordnung
- E-E-A-T Checkliste36 Prüfpunkte zu Anbietertransparenz, Autoren, Erfahrung und Reputation als PDF
- Schema Markup Beispiele7 kopierfertige JSON-LD Vorlagen (Organization, LocalBusiness, Article, Product) mit Checkliste
- KI-Sichtbarkeit prüfenNennen ChatGPT, Gemini, Perplexity, Claude und AI Overviews Ihr Unternehmen?
- Website-Relaunch-MockupNeuer KI-Startseiten-Entwurf für Desktop und Mobilgerät in 1-3 Minuten aus Ihren Inhalten
- Core Web Vitals Vergleich28-Tage-CrUX-Daten (LCP, INP, CLS), CMS-Plugin-Röntgen und Konkurrenz-Vergleich in Sekunden
- GEO-Zitierbarkeit prüfen6 RAG-Kriterien für H2/H3-Antwortblöcke, AI-Overview-Vorschau und 1:1-Konkurrenzvergleich
- 301-Weiterleitungen & hreflang4 Host-Varianten auf Ketten testen, Canonical abgleichen und A-B-Hreflang-Rücklinks prüfen
- IndexNow & Bing-KI-PrüferIndexNow-Schlüssel (.txt + GitHub Action), Bingbot-/OAI-SearchBot-Test und Sitemap-lastmod-Prüfung
- JSON-LD Entitäts-Graph ValidatorSchema-@graph als SVG visualisieren, @id, USt-IdNr./HRB und sameAs prüfen und Vorlage kopieren
- NAP-Prüfer & Bewertungs-QRHTML-Kontaktdaten mit LocalBusiness-JSON-LD abgleichen, 5★-Lücke berechnen und SVG-QR laden
- SEO Report VorlageMonatsbericht auf Zahlenbasis mit Search Console, GA4, KI-Sichtbarkeit und Maßnahmenplan als PDF
- SEO Wettbewerbsanalyse Vorlage5 Prüffelder für Google, Maps, KI-Antworten, Inhalte und Autorität als PDF-Arbeitsblatt
- SEO Strategie Vorlage12-Monats-Plan mit Zielen, Keyword-Clustern, Quartals-Roadmap und Budget als PDF
- Website Relaunch ChecklistePrüfpunkte vor, am und nach dem Go-Live inklusive 301-Weiterleitungsplan als PDF
- SEO Vertrag Checkliste12 Vertragsklauseln zu Kündigungsfrist, Google-Konten, Nutzungsrechten und Links als PDF
- Google Unternehmensprofil Checkliste40 Prüfpunkte zu Verifizierung, Kategorien, NAP-Daten, Bewertungen und Maps-Pflege als PDF
- Briefing Vorlage für Texter10 Briefing-Felder mit Suchintention, Top-5-Analyse, Gliederung und Abnahme-Checkliste als PDF
- Content Audit VorlageURL-Inventar mit Search Console und GA4, 5-Kriterien-Scorecard und Entscheidungsplan als PDF
- Interne Verlinkung VorlageHub-and-Spoke-Cluster, Ankertext-Register und Quartals-Audit verwaister Seiten als PDF
- Website Briefing VorlageLastenheft in 12 Teilen mit Seitenbaum, Technik, Core Web Vitals, 301-Migration und Budget als PDF
- SEO Ausschreibung Vorlage (RFP)Angebotsanfrage mit Leistungsmatrix, 12 Pflichtfragen an Agenturen und Scorecard als PDF
Häufige Fragen zu KI-Crawlern, SSR-Parität und robots.txt
Ja. OpenAI trennt das Modelltraining strikt von der Websuche: GPTBot sammelt Texte für künftige Sprachmodelle, während OAI-SearchBot Seiten für die ChatGPT-Suche indexiert und ChatGPT-User einzelne URLs live während einer Nutzerfrage abruft. Unsere Vorlage „Empfohlen“ sperrt GPTBot, ClaudeBot und Google-Extended, lässt aber OAI-SearchBot, PerplexityBot und Claude-SearchBot offen.
Die Datei robots.txt ist lediglich ein Hinweis für kooperative Crawler, keine Server-Konfiguration. Sicherheitsmechanismen wie der Cloudflare Bot Fight Mode, Wordfence in WordPress oder ModSecurity beim Hoster blockieren Anfragen mit dem User-Agent PerplexityBot oder OAI-SearchBot häufig auf Netzwerkebene mit Statuscode 403, bevor der Bot Ihr HTML überhaupt zu sehen bekommt.
Nein. Während Googlebot einen aufwendigen Chromium-Renderer betreibt, rufen KI-Suchbots in der Regel nur das rohe Server-HTML ab und führen keine React-, Vue- oder Angular-Pakete im Browser aus. Liefert eine Single-Page-Application ohne JavaScript nur ein leeres <div id="root"> aus, sehen KI-Systeme weder Überschriften noch Leistungstabellen.
Cloudflare prüft verifizierte Bots anhand der offiziellen IP-Netze und ASN-Nummern von OpenAI, Perplexity, Microsoft und Google. Fragt ein externes Prüftool denselben User-Agent von einer anderen IP-Adresse an, antwortet Cloudflare schützend mit 403. Wir kennzeichnen dies neutral, weil der echte Crawler vom Anbieter-Server durchgelassen wird, sofern keine explizite Bot-Sperre aktiv ist.
Nein. Eine /llms.txt ist ein freiwilliges Inhaltsverzeichnis im Markdown-Format (llmstxt.org) und überstimmt weder ein Disallow in der robots.txt noch eine 403-Sperre Ihrer WAF oder fehlendes Server-Side Rendering. Erst wenn Suchbots Statuscode 200 und vollständiges HTML erhalten, entfaltet die /llms.txt ihren Nutzen als strukturierte Navigationshilfe.
Quellen
- OpenAI: Overview of OpenAI Crawlers (GPTBot, OAI-SearchBot, ChatGPT-User, Englisch) (Abruf: 18.11.2026)
- Perplexity: PerplexityBot und Perplexity-User Dokumentation (Englisch) (Abruf: 18.11.2026)
- Anthropic: ClaudeBot und Claude-SearchBot Dokumentation (Englisch) (Abruf: 18.11.2026)
- Google Search Central: Google-Extended und Google-Crawler (Abruf: 18.11.2026)
- Cloudflare Docs: Verified Bots, IP-Prüfung und Bot Fight Mode (Englisch) (Abruf: 18.11.2026)
- llmstxt.org: Spezifikation für /llms.txt v2 (Englisch) (Abruf: 18.11.2026)
Sie haben ein Projekt? Lassen Sie es uns kalkulieren.
Füllen Sie das kurze Formular aus. Sie erhalten innerhalb von 24 Stunden ein Angebot, das auf Ihr Vorhaben zugeschnitten ist.
WAS SIE NACH DEM ABSENDEN ERHALTEN
- Konkretes Angebot und Prioritätenplan in ≤ 24 Std. an Werktagen
- Schnellprüfung von Indexierungsfehlern, Keywords und KI-Sichtbarkeit Ihrer Domain
- Antwort direkt vom betreuenden SEO-Spezialisten - ohne Vertrieb
- Büro: ul. Grzybowska 5A, 00-132 Warschau
- Telefon: 518 815 055
- E-mail: kontakt@ai-seo-company.pl
- Öffnungszeiten: Mo-Sa 7:00-23:00 Uhr, sonntags geschlossen
- NIP: 5253090237
- Antwortzeit: Innerhalb von 24 Stunden an Werktagen, meist schneller