KI-Crawler, SSR-Parität und robots.txt kostenlos prüfen

Prüfen Sie in 5 Sekunden, ob OAI-SearchBot, PerplexityBot und Claude an Ihrer Server-Firewall vorbeikommen, wie viel Inhalt ohne JavaScript sichtbar bleibt, und laden Sie eine saubere robots.txt herunter.

Beispiel: ,

Kostenlos, ohne Anmeldung und ohne E-Mail: prüft parallel Ihre robots.txt-Regeln, den echten HTTP-Statuscode Ihrer Server-Firewall für 15 KI- und Such-Bots, die ohne JavaScript sichtbaren Inhalte (SSR-Parität) und erzeugt eine fertige robots.txt-Datei.

Kurzantwort

Damit ChatGPT, Perplexity und Claude Ihr Unternehmen als Quelle zitieren können, müssen drei technische Ebenen zusammenspielen: Ihre robots.txt muss KI-Suchbots (OAI-SearchBot, PerplexityBot, Claude-SearchBot) zulassen, Ihre Server-Firewall (WAF/CDN) muss mit HTTP 200 statt einer 403-Sperre antworten und Ihr Server muss Texte, Tabellen sowie JSON-LD direkt im HTML (Server-Side Rendering) ohne Browser-JavaScript ausliefern. Unser Tool prüft alle drei Punkte in einem Durchlauf.

Das prüft der KI-Crawler-Check kostenlos

Sofort im Browser, ohne E-Mail

  • Gesamtwert von 0 bis 100 für KI-Erreichbarkeit, Antwortzeit (TTFB) und HTML-Vollständigkeit
  • SSR-Content-Parität: sichtbare Wörter ohne JavaScript, H1/H2-Struktur, Tabellen, Links, JSON-LD und SPA-Warnung
  • Aufgeteilte 12-Bot-Matrix nach KI-Suche, Nutzer-Agenten und reinen Trainings-Scrapern
  • Warnung bei 403-WAF-Konflikten, wenn die robots.txt den Zugriff erlaubt, das CDN ihn aber blockiert
  • Kopierfertiger 1-Klick robots.txt-Generator sowie ein dynamisches SVG-Prüfsiegel ab 70 Punkten

Kein E-Mail-Gate: Alle Messwerte, Tabellen und generierten Konfigurationsdateien stehen sofort bereit.

KI-Suchbots, Nutzer-Agenten und Trainings-Scraper richtig trennen

Viele Unternehmen im DACH-Raum haben zwischen 2023 und 2025 pauschal alle KI-User-Agents in ihrer robots.txt gesperrt, um ihre Texte vor dem Modelltraining zu schützen. Wer diese pauschale Sperre heute beibehält, schließt sich selbst aus den Antworten von ChatGPT Search, Perplexity und Claude aus. Die großen Anbieter trennen ihre Bots inzwischen klar nach Aufgabe:

Offizielle Rollen der wichtigsten KI-Crawler und empfohlene Einstellung in der robots.txt

Bot User-AgentAnbieter & GruppeTechnische FunktionEmpfehlung
OAI-SearchBotOpenAI (Suche)Indexiert Seiten für klickbare Quellenlinks in ChatGPT Search; kein ModelltrainingAllow: /
PerplexityBotPerplexity (Suche)Baut den Suchindex und die Quellenkarten in Perplexity aufAllow: /
Claude-SearchBotAnthropic (Suche)Indexiert Webseiten für Antworten mit Quellenangabe in ClaudeAllow: /
ChatGPT-UserOpenAI (Agent)Ruft Seiten live ab, wenn Nutzer im Chat gezielt nach einer Adresse oder Leistung fragenAllow: /
GPTBotOpenAI (Training)Sammelt öffentliche Webtexte für das Training künftiger OpenAI-ModelleOptional Disallow: /
ClaudeBotAnthropic (Training)Sammelt Trainingsdaten für Anthropic-SprachmodelleOptional Disallow: /
Google-ExtendedGoogle (Training)Steuert Gemini-Training ohne Auswirkung auf klassische Google-RankingsOptional Disallow: /

Quellen: Offizielle Crawler-Dokumentationen von OpenAI, Perplexity, Anthropic und Google Search Central (Stand: November 2026).

Wie Sie über die reine Freischaltung hinaus gezielt Zitierungen und Markenempfehlungen in Sprachmodellen aufbauen, erläutern wir auf unserer Leistungsseite Generative Engine Optimization (GEO).

Warum Server-Side Rendering (SSR) über KI-Zitierungen entscheidet

Googlebot rendert JavaScript-lastige Websites in einem zweiten Schritt mit einer echten Chromium-Instanz. KI-Crawler wie OAI-SearchBot, PerplexityBot und ClaudeBot sind auf minimale Antwortzeiten ausgelegt: Sie laden ausschließlich das initiale HTTP-Dokument und werten das rohe HTML sofort aus.

  • Risiko bei Single-Page-Applications: Reine React- oder Vue-Anwendungen ohne Server-Rendering liefern im Quelltext nur ein leeres Grundgerüst ohne Überschriften, Preise oder Leistungsbeschreibungen.
  • Aufgeblähte Baukästen und Page-Builder: Schwere CMS-Templates schieben hunderte Kilobyte Inline-CSS und Skripte vor den eigentlichen Inhalt, sodass Vergleichstabellen außerhalb des Crawl-Fensters landen.
  • Vorteil von Next.js mit SSR: Server-Side Rendering liefert in rund 100 bis 200 ms vollständig ausgezeichnetes HTML samt H1-H3, Datentabellen und JSON-LD aus.

Den vollständigen Architekturvergleich lesen Sie unter Next.js vs. WordPress für SEO & KI sowie programmierte Website oder Homepage-Baukasten. Unsere Pakete inklusive Booster Pack (590 € netto/Monat mit neuer Next.js-Website ohne Setup-Gebühr) finden Sie unter SEO Kosten & Pakete.

Stille 403-WAF-Sperren beheben: wenn die Firewall Ihre robots.txt überstimmt

Ein Blick in die /robots.txt allein genügt nicht. In technischen Audits sehen wir regelmäßig Mittelstands-Websites mit vorbildlichem Allow: /, deren Webserver oder vorgeschaltetes CDN Anfragen von PerplexityBot und OAI-SearchBot dennoch hart mit HTTP 403 Forbidden abweist.

Drei Schritte zur Behebung eines 403-Konflikts

  1. Cloudflare Bot Fight Mode prüfen: Kontrollieren Sie unter Security - Bots / Events, ob automatisierte Schutzregeln verifizierte KI-Suchcrawler blockieren.
  2. Sicherheits-Plugins und Hosting-WAF: Prüfen Sie Wordfence, Solid Security oder ModSecurity-Regeln Ihres Hosters auf gesperrte IP-Netze von OpenAI, Perplexity und Anthropic.
  3. Erneut testen und ergänzen: Sobald alle Suchbots in Gruppe 1 Statuscode 200 liefern, erstellen Sie ergänzend Ihr Verzeichnis im llms.txt Generator und prüfen Sie weitere On-Page-Faktoren im kostenlosen SEO Audit.

Weitere kostenlose Tools

Häufige Fragen zu KI-Crawlern, SSR-Parität und robots.txt

Ja. OpenAI trennt das Modelltraining strikt von der Websuche: GPTBot sammelt Texte für künftige Sprachmodelle, während OAI-SearchBot Seiten für die ChatGPT-Suche indexiert und ChatGPT-User einzelne URLs live während einer Nutzerfrage abruft. Unsere Vorlage „Empfohlen“ sperrt GPTBot, ClaudeBot und Google-Extended, lässt aber OAI-SearchBot, PerplexityBot und Claude-SearchBot offen.

Die Datei robots.txt ist lediglich ein Hinweis für kooperative Crawler, keine Server-Konfiguration. Sicherheitsmechanismen wie der Cloudflare Bot Fight Mode, Wordfence in WordPress oder ModSecurity beim Hoster blockieren Anfragen mit dem User-Agent PerplexityBot oder OAI-SearchBot häufig auf Netzwerkebene mit Statuscode 403, bevor der Bot Ihr HTML überhaupt zu sehen bekommt.

Nein. Während Googlebot einen aufwendigen Chromium-Renderer betreibt, rufen KI-Suchbots in der Regel nur das rohe Server-HTML ab und führen keine React-, Vue- oder Angular-Pakete im Browser aus. Liefert eine Single-Page-Application ohne JavaScript nur ein leeres <div id="root"> aus, sehen KI-Systeme weder Überschriften noch Leistungstabellen.

Cloudflare prüft verifizierte Bots anhand der offiziellen IP-Netze und ASN-Nummern von OpenAI, Perplexity, Microsoft und Google. Fragt ein externes Prüftool denselben User-Agent von einer anderen IP-Adresse an, antwortet Cloudflare schützend mit 403. Wir kennzeichnen dies neutral, weil der echte Crawler vom Anbieter-Server durchgelassen wird, sofern keine explizite Bot-Sperre aktiv ist.

Nein. Eine /llms.txt ist ein freiwilliges Inhaltsverzeichnis im Markdown-Format (llmstxt.org) und überstimmt weder ein Disallow in der robots.txt noch eine 403-Sperre Ihrer WAF oder fehlendes Server-Side Rendering. Erst wenn Suchbots Statuscode 200 und vollständiges HTML erhalten, entfaltet die /llms.txt ihren Nutzen als strukturierte Navigationshilfe.

Sie haben ein Projekt? Lassen Sie es uns kalkulieren.

Füllen Sie das kurze Formular aus. Sie erhalten innerhalb von 24 Stunden ein Angebot, das auf Ihr Vorhaben zugeschnitten ist.

WAS SIE NACH DEM ABSENDEN ERHALTEN

  • Konkretes Angebot und Prioritätenplan in ≤ 24 Std. an Werktagen
  • Schnellprüfung von Indexierungsfehlern, Keywords und KI-Sichtbarkeit Ihrer Domain
  • Antwort direkt vom betreuenden SEO-Spezialisten - ohne Vertrieb
  • Büro: ul. Grzybowska 5A, 00-132 Warschau
  • Telefon: 518 815 055
  • E-mail: kontakt@ai-seo-company.pl
  • Öffnungszeiten: Mo-Sa 7:00-23:00 Uhr, sonntags geschlossen
  • NIP: 5253090237
  • Antwortzeit: Innerhalb von 24 Stunden an Werktagen, meist schneller
Lieber telefonieren? Rufen Sie an518 815 055

Ohne Vertrieb - ein SEO-Spezialist antwortet in ≤ 24 Std. · kostenloses Angebot

Paket und Quelle (optional)

Verantwortlich für Ihre Daten ist AI SIGNALS COMPANY Prosta Spółka Akcyjna (Marke: AI SEO COMPANY), ul. Grzybowska 12/14 lok. B-3, 00-132 Warschau, Polen. Wir verarbeiten die Formulardaten, um Ihre Anfrage zu beantworten und ein Angebot vorzubereiten. Wir senden sie per E-Mail an unser Team (E-Mail-Dienstleister: Resend) und speichern sie in einer Google-Tabelle. Nur wenn Sie im Cookie-Banner der Marketing-Einwilligung zugestimmt haben, übermittelt Ihr Browser nach dem Absenden an Google ein Anfrage-Ereignis mit gehashter E-Mail-Adresse, um die Wirkung von Werbung zu messen. Sie haben das Recht auf Auskunft, Berichtigung und Löschung Ihrer Daten sowie auf Widerspruch gegen die Verarbeitung. Einzelheiten finden Sie in der Datenschutzerklärung.

Wir antworten innerhalb von 24 Stunden an Werktagen. Ohne Vertriebsmitarbeiter: Es antwortet die Person, die das SEO umsetzt.

Projekt anfragen →