Tester robotów AI, parzystości SSR i kreator pliku robots.txt
Wklej adres strony i w 5 sekund sprawdź, czy OAI-SearchBot, PerplexityBot oraz Claude przechodzą przez Twoją zaporę serwerową, ile treści widzą bez JavaScriptu i pobierz gotowy plik robots.txt.
Krótka odpowiedź
Żeby ChatGPT, Perplexity i Claude mogły zacytować Twoją firmę, muszą zadziałać naraz trzy warstwy techniczne: plik robots.txt musi wpuszczać boty wyszukiwania AI (OAI-SearchBot, PerplexityBot, Claude-SearchBot), zapora serwerowa WAF/CDN musi zwracać kod HTTP 200 zamiast blokady 403, a serwer musi podawać treść i JSON-LD w czystym HTML (SSR) bez czekania na wykonanie JavaScriptu. Nasz tester weryfikuje wszystkie trzy punkty jednocześnie.
Co dostajesz za darmo
Od razu na ekranie, bez podawania e-maila
- Ogólny wynik gotowości AI w skali 0-100 łączący dostępność botów, TTFB i kompletność HTML
- Miernik parzystości treści SSR bez JavaScriptu: liczba słów, nagłówki H1/H2, tabele, linki, JSON-LD oraz wykrywanie szkieletu SPA
- Macierz 12 robotów podzielona na wyszukiwarki AI, agenty użytkownika oraz scrapery treningowe LLM
- Wykrywanie konfliktów 403 WAF, gdy robots.txt pozwala wejść, ale serwer lub CDN wycina zapytanie
- Kreator pliku robots.txt jednym kliknięciem oraz dynamiczna odznaka SVG dla domen z wynikiem od 70 pkt
Zero bramki e-mail: pełną macierz 12 botów, diagnozę SSR i wygenerowany plik robots.txt pobierasz od razu.
Wyszukiwarki AI, agenty użytkownika a scrapery treningowe
W latach 2023-2025 tysiące firm wklejało hurtową blokadę wszystkich botów AI do pliku robots.txt, chcąc chronić artykuły przed kopiowaniem. W 2026 roku taka reguła po cichu wycina firmę z odpowiedzi zakupowych w ChatGPT Search, Perplexity i Claude. Dostawcy modeli rozdzielili swoje crawlery na trzy niezależne grupy:
Podział najważniejszych robotów AI według dokumentacji dostawców i zalecana reguła w robots.txt
| User-Agent bota | Dostawca i grupa | Za co odpowiada w praktyce | Zalecana reguła |
|---|---|---|---|
| OAI-SearchBot | OpenAI (Wyszukiwanie) | Buduje indeks wyszukiwarki ChatGPT i klikalne cytowania; nie służy do trenowania modeli | Allow: / |
| PerplexityBot | Perplexity (Wyszukiwanie) | Indeksuje strony do odpowiedzi i kart źródeł w Perplexity | Allow: / |
| Claude-SearchBot | Anthropic (Wyszukiwanie) | Indeksuje strony do odpowiedzi z cytowaniem źródła w Claude | Allow: / |
| ChatGPT-User | OpenAI (Agent) | Pobiera stronę na żywo, gdy użytkownik pyta o konkretny adres lub ofertę w oknie czatu | Allow: / |
| GPTBot | OpenAI (Trening) | Pobiera publiczne teksty do trenowania kolejnych generacji modeli OpenAI | Można dać Disallow: / |
| ClaudeBot | Anthropic (Trening) | Zbiera korpus treningowy dla modeli językowych Claude | Można dać Disallow: / |
| Google-Extended | Google (Trening) | Steruje udziałem treści w treningu Gemini bez wpływu na pozycje w wyszukiwarce Google | Można dać Disallow: / |
Źródła: dokumentacja OpenAI Crawlers, Perplexity Crawlers, Anthropic Support oraz Google Search Central (weryfikacja: listopad 2026).
Odblokowanie robotów to fundament techniczny. Jak budować wzmianki zewnętrzne, strukturę odpowiedzi i cytowania marki w modelach, pokazujemy na stronie usługi pozycjonowanie w AI (GEO).
Dlaczego parzystość SSR kontra JavaScript decyduje o cytowaniach w AI
Klasyczny Googlebot uruchamia zasobożerny silnik Chromium (Web Rendering Service), dzięki czemu potrafi z opóźnieniem przeczytać strony budowane w przeglądarce. Roboty AI - takie jak OAI-SearchBot, PerplexityBot czy ClaudeBot - pobierają wyłącznie surowy dokument HTML z pierwszego zapytania HTTP i nie wykonują paczek JavaScript.
- Pułapka aplikacji SPA (React/Vue CSR): Jeśli serwer wysyła pusty kontener
<div id="root">, a oferta doczytuje się dopiero w przeglądarce klienta, bot AI widzi pustą kartkę bez nagłówków i cennika. - Narzut ciężkich kreatorów w CMS: Motywy z rozbudowanymi page builderami potrafią wygenerować setki kilobajtów stylów inline zanim w kodzie pojawi się pierwszy akapit oferty, przez co tabele i FAQ wypadają poza limit okna pobierania bota.
- Przewaga Next.js (Server-Side Rendering): Renderowanie po stronie serwera zwraca w ułamku sekundy gotowy, semantyczny HTML z nagłówkami
H1-H3, tabelami porównawczymi i pełnym grafemJSON-LD.
Szczegółowe zestawienie obu architektur znajdziesz w analizie Next.js vs WordPress pod SEO i AI. Nowe serwisy kodujemy w usłudze projektowania stron internetowych, a w pakiecie Booster Pack (zobacz cennik pozycjonowania, 2 500 zł netto miesięcznie) budujemy nową stronę w Next.js za 0 zł opłaty startowej.
Cicha blokada 403 WAF: gdy robots.txt mówi Tak, a serwer odpowiada Nie
Samo sprawdzenie pliku /robots.txt nie wystarcza. W audytach technicznych regularnie spotykamy strony z wzorowym wpisem Allow: /, których serwer albo CDN odrzuca zapytania PerplexityBot i OAI-SearchBot kodem HTTP 403 Forbidden.
Jak usunąć konflikt 403 na zaporze
- Cloudflare Bot Fight Mode: Wejdź w panelu Cloudflare do zakładki Security - Bots / Events i sprawdź, czy tryb Super Bot Fight Mode nie blokuje zweryfikowanych crawlerów AI.
- Wtyczki zabezpieczające i WAF hostingu: Sprawdź logi Wordfence, Solid Security lub reguły ModSecurity u hostingodawcy pod kątem odrzuconych zakresów ASN należących do OpenAI, Perplexity i Anthropic.
- Uzupełnij nawigację dla modeli: Po odblokowaniu kodów 200 wygeneruj plik indeksowy w naszym darmowym narzędziu generator llms.txt i sprawdź resztę błędów technicznych w darmowym audycie SEO.
Inne darmowe narzędzia
- Darmowy audyt SEOocena 1-100 i lista błędów dla do 25 podstron
- Sprawdzarka AI visibilityczy ChatGPT, Gemini, Perplexity, Claude i przegląd AI w Google wymieniają Twoją firmę
- Kalkulator strat bez SEOile zysku miesięcznie tracisz bez TOP 3 w Google i poleceń w AI
- Makieta strony internetowejnowa strona główna z AI w 1-3 minuty, z Twoich treści
- Generator llms.txtplik llms.txt z mapy strony i test dostępu 9 botów AI i Bingbot
- Autorytet domenywynik 0-100 z grafu linków Common Crawl i porównanie z maksymalnie 3 konkurentami
- Porównywarka Core Web Vitalsdane Chrome UX Report z 28 dni (LCP, INP, CLS), rentgen wtyczek CMS i pojedynek z konkurentem
- Audytor cytowalności GEO6 kryteriów RAG dla bloków H2/H3, symulacja wycinka w AI Overviews i porównanie z konkurentem
- Inspektor przekierowań 301 i hreflang4 warianty http/www, łańcuchy skoków, canonical, zwrotność hreflang i gotowe reguły serwera
- Generator IndexNow i test Bingklucz IndexNow (.txt + GitHub Actions), dostęp Bingbot i OAI-SearchBot oraz entropia lastmod
- Walidator grafu encji JSON-LDwizualizacja @graph w SVG, kotwice @id, NIP/KRS/VAT-UE, sameAs i połączony szablon schema
- Skaner NAP i generator QR opiniispójność NAP między HTML a LocalBusiness JSON-LD, kalkulator opinii 5★ i wektorowy kod QR
- Wszystkie darmowe narzędzia i szablonypełna lista razem z szablonami SEO do pobrania
Najczęstsze pytania o roboty AI, parzystość SSR i robots.txt
Tak. OpenAI rozdziela te role na osobne roboty: GPTBot zbiera dane do trenowania przyszłych modeli językowych, natomiast OAI-SearchBot buduje indeks wyszukiwarki ChatGPT, a ChatGPT-User pobiera stronę w trakcie rozmowy użytkownika. W naszym kreatorze robots.txt wariant „Rekomendowana” blokuje GPTBot, ClaudeBot i Google-Extended, ale zostawia otwarte drzwi dla OAI-SearchBot, PerplexityBot i Claude-SearchBot.
Plik robots.txt to tylko deklaracja tekstowa, a nie ustawienie serwera. Zapory sieciowe (np. Cloudflare Bot Fight Mode, Wordfence w WordPressie, ModSecurity na hostingu współdzielonym) potrafią odrzucić zapytanie HTTP z nagłówkiem PerplexityBot lub OAI-SearchBot kodem 403 zanim robot przeczyta treść strony. W efekcie właściciel firmy myśli, że strona jest otwarta na AI, podczas gdy serwer wycina ruch u samego wejścia.
Większość crawlerów AI pobiera wyłącznie surową odpowiedź HTML z serwera i nie uruchamia przeglądarki Chromium do wykonania kodu React, Vue ani Angular. Jeśli Twoja strona działa jako SPA (Client-Side Rendering) i bez JavaScriptu zwraca pusty znacznik <div id="root">, miernik parzystości SSR pokaże niski wynik, a modele językowe nie zobaczą nagłówków, cenników ani tabel.
Cloudflare i wybrane sieci CDN weryfikują prawdziwe roboty wyszukiwarek po oficjalnych zakresach adresów IP i numerach ASN dostawców (OpenAI, Perplexity, Microsoft, Google). Gdy zewnętrzny tester przedstawia się tym samym User-Agentem z innego adresu IP, Cloudflare celowo odpowiada kodem 403 lub wyzwaniem. Oznaczamy to neutralnie, bo prawdziwy bot z oficjalnej sieci dostawcy przejdzie przez taką regułę, o ile nie włączono pełnej blokady AI.
Nie. Plik /llms.txt to pomocniczy spis najważniejszych adresów w formacie Markdown (propozycja ze strony llmstxt.org). Nie nadpisuje zakazu Disallow w robots.txt, nie omija blokady 403 na zaporze WAF i nie wypełni pustego HTML-a w aplikacji SPA. Najpierw odblokuj boty wyszukiwania AI i zadbaj o renderowanie serwerowe (SSR), a plik /llms.txt dodaj jako uporządkowaną mapę treści.
Źródła
- OpenAI: Overview of OpenAI Crawlers (GPTBot, OAI-SearchBot, ChatGPT-User) (odczyt: 18.11.2026)
- Perplexity: PerplexityBot i Perplexity-User (odczyt: 18.11.2026)
- Anthropic: ClaudeBot i Claude-SearchBot (odczyt: 18.11.2026)
- Google Search Central: Google-Extended i crawlery Google (odczyt: 18.11.2026)
Masz projekt na oku? Wyceńmy go!
Wypełnij krótki formularz, a przygotujemy dedykowaną propozycję współpracy w 24h.
CO DOSTAJESZ PO WYSŁANIU
- Konkretną wycenę i plan priorytetów w ≤ 24 h w dni robocze
- Szybki przegląd błędów indeksacji, fraz i widoczności w AI Twojej domeny
- Odpowiedź bezpośrednio od specjalisty SEO prowadzącego projekt - bez handlowca
- Biuro: ul. Grzybowska 5A, 00-132 Warszawa
- Telefon: 518 815 055
- E-mail: kontakt@ai-seo-company.pl
- Godziny otwarcia: pn-sob 7:00-23:00, niedziela nieczynne
- NIP: 5253090237
- Czas odpowiedzi: Do 24 h w dni robocze, zwykle szybciej