Перевірка AI-кравлерів
Введіть домен, щоб побачити, яким AI-кравлерам дозволяє доступ його robots.txt, а яким — ні. Перевірка охоплює кравлерів ChatGPT, Claude, Perplexity, Gemini, Copilot і Meta AI та показує, чого насправді коштує блокування кожного: заблокувати навчального кравлера й пошукового — зовсім різні наслідки.
Та сама перевірка показує, чи публікує сайт llms.txt і які sitemap оголошено в robots.txt.
Оновлено в серпні 2026
Як користуватися
- 1
Введіть домен
Введіть адресу сайту — достатньо example.com, схема необовʼязкова. Перевірка читає публічний robots.txt сайту.
- 2
Прочитайте три групи
Кравлери AI-пошуку вирішують, чи можуть вас цитувати у відповідях. Навчальні кравлери — чи піде ваш текст у навчання моделей. Класичні індексні кравлери — чи існуєте ви в Google і Bing узагалі.
- 3
Перевірте правило, яке вирішило
Для кожного заблокованого кравлера показано конкретний рядок robots.txt і те, звідки він узявся: з власної групи чи із загальної групи *.
Як читати результат
robots.txt — це прохання, а не замок. Він описує, про що сайт просить кравлерів. Добросовісні кравлери його дотримуються; той, хто ігнорує, тут не зʼявиться, і жоден публічний інструмент не доведе протилежне.
«Правил немає» означає «дозволено»: robots.txt дозволяє все, що прямо не заборонено. Сайт без robots.txt відкритий повністю.
Блокування навчального кравлера (GPTBot, Google-Extended, ClaudeBot) не прибирає вас із AI-відповідей — за це відповідають пошукові кравлери. А блокування Googlebot прибирає і з пошуку Google, і з AI Overviews.
Часті запитання
- Чи варто блокувати AI-кравлерів?
- Залежить від того, що ви продаєте. Якщо видимість важливіша за захист контенту, залишайте кравлерів AI-пошуку (OAI-SearchBot, PerplexityBot, ChatGPT-User) дозволеними. Поширений компроміс — блокувати навчальних, але дозволяти пошукових.
- Чим GPTBot відрізняється від OAI-SearchBot?
- GPTBot збирає дані для навчання моделей OpenAI. OAI-SearchBot формує індекс, з якого цитує пошук ChatGPT. Блокування GPTBot виключає вас із навчання; блокування OAI-SearchBot — із відповідей.
- Чи впливає Google-Extended на позиції в Google?
- Ні. Google-Extended керує лише навчанням і обґрунтуванням Gemini. За звичайне сканування й ранжування в пошуку відповідає Googlebot.
- Чи зберігає інструмент сайти, які я перевіряю?
- Ні. Сервер завантажує публічний robots.txt, розбирає його, повертає результат і нічого не зберігає.