Перевірка AI-кравлерів
Введіть домен, щоб побачити, яким AI-кравлерам дозволяє доступ його robots.txt, а яким — ні. Перевірка охоплює кравлерів ChatGPT, Claude, Perplexity, Gemini, Copilot і Meta AI та показує, чого насправді коштує блокування кожного: заблокувати навчального кравлера й пошукового — зовсім різні наслідки.
Та сама перевірка показує, чи публікує сайт llms.txt і які sitemap оголошено в robots.txt.
Перевірка AI-кравлерів
Наш сервер завантажує публічну сторінку, яку ви вказали, і не зберігає її копії.
Як користуватися
- 01
Введіть домен
Введіть адресу сайту — достатньо example.com, схема необовʼязкова. Перевірка читає публічний robots.txt сайту.
- 02
Прочитайте три групи
Кравлери AI-пошуку вирішують, чи можуть вас цитувати у відповідях. Навчальні кравлери — чи піде ваш текст у навчання моделей. Класичні індексні кравлери — чи існуєте ви в Google і Bing узагалі.
- 03
Перевірте правило, яке вирішило
Для кожного заблокованого кравлера показано конкретний рядок robots.txt і те, звідки він узявся: з власної групи чи із загальної групи *.
Як читати результат
robots.txt — це прохання, а не замок. Він описує, про що сайт просить кравлерів. Добросовісні кравлери його дотримуються; той, хто ігнорує, тут не зʼявиться, і жоден публічний інструмент не доведе протилежне.
«Правил немає» означає «дозволено»: robots.txt дозволяє все, що прямо не заборонено. Сайт без robots.txt відкритий повністю.
Блокування навчального кравлера (GPTBot, Google-Extended, ClaudeBot) не прибирає вас із AI-відповідей — за це відповідають пошукові кравлери. А блокування Googlebot прибирає і з пошуку Google, і з AI Overviews.
Бути доступним для сканування — перший крок. Потрапляти в цитати — сама робота.
Seonix знаходить запитання, які ваші покупці ставлять пошуковикам і AI-асистентам, публікує на вашому сайті сторінки з відповідями та показує, де ваш бренд з'являється у видачі Google і відповідях ChatGPT.
SEO на автопілоті для вашого сайту
Seonix досліджує, пише й публікує статті — і стежить за технічною стороною — хоч би де жив ваш сайт.
Сайти на WordPress
Безкоштовний плагін Seonix підключається в один клік: статті публікуються як нативні пости, а SEO-виправлення та llms.txt плагін бере на себе.
Автоматизація SEO для WordPressSaaS-продукти
Ваш AI-агент підключає застосунок до Seonix одним промтом; далі статті під реальні запити публікуються на вашому домені за розкладом.
SEO для SaaS на автопілотіСамописні сайти
WordPress не потрібен: сайт відкриває один невеликий ендпоінт, і статті з'являються як нативні сторінки у вашому дизайні.
SEO для самописних сайтівЧасті запитання
Чи варто блокувати AI-кравлерів?
Чим GPTBot відрізняється від OAI-SearchBot?
Чи впливає Google-Extended на позиції в Google?
Чи зберігає інструмент сайти, які я перевіряю?
Інші безкоштовні інструменти
AI SEO Checker
Чи можуть ChatGPT, Perplexity і Google AI Overviews прочитати й процитувати вашу сторінку? Оцінка й головні виправлення.
Генератор llms.txt
Створіть валідний за специфікацією llms.txt, який показує моделям, які ваші сторінки важливі.
Генератор robots.txt
Створіть robots.txt із правилами для GPTBot та інших AI-кравлерів і перевірте будь-який URL.
