SeonixSeonix
AI-пошук · GEO та AEO

Генератор robots.txt

Оберіть, яким кравлерам дозволено читати ваш сайт, — і генератор складе для нього валідний robots.txt. Щоб заблокувати AI-кравлера, достатньо двох рядків — User-agent: GPTBot, а під ним Disallow: /. Генератор так само згрупує всіх заблокованих кравлерів, залишить Google і Bing на спільних правилах і додасть sitemap у кінці.

Почніть із готового набору: рекомендований блокує кравлерів, що збирають дані для навчання моделей, але пропускає пошукових і тих, що формують AI-відповіді. Потім перевірте будь-який URL — на згенерованому файлі або на живому robots.txt будь-якого сайту.

БезкоштовноБез реєстраціїПрацює у браузеріОновлено в жовтні 2026

Генератор robots.txt

Файл збирається у вашому браузері. «Завантажити з сайту» просить наш сервер прочитати публічний robots.txt — нічого не зберігається.

Почніть із готового набору

Оберіть найближчу до вашої політику, а потім змініть правила для окремих кравлерів нижче.

AI- і пошукові кравлери

Кожен заблокований кравлер отримує Disallow: / для всього сайту. Дозволеним окреме правило не потрібне: вони виконують шляхи, задані для всіх кравлерів.

AI-пошук і відповіді

Завантажують сторінки, які асистенти цитують або відкривають на прохання користувача. Заблокуєте — вас не цитуватимуть.

Заблоковано 0 з 5

  • OAI-SearchBotOpenAI

    Формує індекс, з якого цитує пошук ChatGPT. Блокування прибирає вас із відповідей ChatGPT.

  • ChatGPT-UserOpenAI

    Завантажує сторінку, коли користувач прямо просить ChatGPT відкрити ваше посилання. Блокування ламає це завантаження на вимогу.

  • Claude-UserAnthropic

    Завантажує сторінку, коли користувач Claude прямо просить ваше посилання.

  • PerplexityBotPerplexity

    Індексує сторінки, які Perplexity цитує у відповідях. Блокування прибирає вас із його цитувань.

  • AmazonbotAmazon

    Живить відповіді Alexa та AI-функції Amazon.

Навчання моделей

Збирають тексти для навчання AI-моделей. Їхнє блокування не впливає на позиції в Google і Bing.

Заблоковано 7 з 7

  • GPTBotOpenAI

    Збирає сторінки для навчання моделей OpenAI. Блокування не пускає вас у навчальні дані, але не впливає на цитування в пошуку ChatGPT.

  • ClaudeBotAnthropic

    Кравлер Anthropic для навчальних даних моделей.

  • Google-ExtendedGoogle

    Керує використанням вашого контенту для навчання та обґрунтування Gemini. На звичайне ранжування в Google це НЕ впливає.

  • Applebot-ExtendedApple

    Керує використанням контенту для навчання Apple Intelligence. Звичайне індексування Applebot — окремо.

  • meta-externalagentMeta

    Кравлер Meta для AI-продуктів і навчання моделей.

  • BytespiderByteDance

    Кравлер ByteDance. Його часто блокують за ігнорування очікуваної частоти сканування; поза екосистемою TikTok втрати від блокування невеликі.

  • CCBotCommon Crawl

    Архів Common Crawl опосередковано живить багато відкритих датасетів і моделей.

Класичний пошуковий індекс

Власні кравлери Google і Bing. AI Overviews і Copilot будуються на цих індексах, тож блокування прибирає вас і з пошуку, і з цих відповідей.

Заблоковано 0 з 2

  • GooglebotGoogle

    Класичний кравлер Google. AI Overviews будуються на цьому індексі, тож блокування прибирає вас і з пошуку, і з AI Overviews.

  • BingbotMicrosoft

    Кравлер Bing. Відповіді Microsoft Copilot спираються на індекс Bing.

Шляхи для всіх кравлерів

Ці правила потрапляють у групу User-agent: * і діють для всіх дозволених кравлерів. Один шлях на рядок.

* означає будь-які символи, а $ — кінець URL, як у /*.pdf$

Знову відкриває частину закритої теки. Перемагає довше, точніше правило.

Sitemap

Повний URL вашого XML-sitemap, щоб кравлери знаходили всі сторінки.

Параметри файлу

robots.txt
# Generated with seonix.ai

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: Bytespider
User-agent: CCBot
Disallow: /

User-agent: *
Disallow:

Завантажте його в корінь сайту, щоб він відкривався за адресою yourdomain.com/robots.txt

Конфліктів немає: Googlebot і Bingbot можуть сканувати сайт, а кравлери AI-пошуку дозволені.
Додайте URL sitemap, щоб кравлери знаходили всі сторінки, навіть ті, на які ще ніщо не посилається.

Уже завантажили? Перевірте живий файл у «Перевірці AI-кравлерів»

Тестер robots.txt

Перевіряємо: згенерований файл

Перевірте, чи може кравлер завантажити URL за цими правилами і який рядок це вирішує.

Заблоковано

GPTBot не може сканувати /

Вирішальне правило
Disallow: /
Застосована група
User-agent: GPTBot (власна група)
Як це працює

Як користуватися

  1. 01

    Оберіть набір правил

    Дозвольте всіх кравлерів, заблокуйте лише навчання AI (рекомендований компроміс) або всіх AI-кравлерів. Потім перемикайте окремих кравлерів між «Дозволити» і «Заблокувати».

  2. 02

    Додайте шляхи та sitemap

    Перелічіть теки, куди не слід заходити жодному кравлеру, як-от /admin/ чи /cart/, винятки, які всередині них треба відкрити, і повний URL вашого XML-sitemap.

  3. 03

    Перевірте перед публікацією

    У тестері оберіть кравлера й шлях — і побачите, чи дозволено доступ і який рядок це вирішує. Там же можна завантажити живий robots.txt будь-якого сайту.

  4. 04

    Покладіть файл у корінь сайту

    Завантажте robots.txt і розмістіть його в корені домену, щоб він відкривався за адресою yourdomain.com/robots.txt. Деінде кравлери його не шукають.

Чесно про межі

Що robots.txt може, а чого — ні

robots.txt — це прохання, а не замок. Добросовісні кравлери його дотримуються; бота, який його ігнорує, можна зупинити лише на рівні сервера, CDN чи файрвола.

Блокування URL не прибирає його з результатів пошуку: Google усе одно може показати заблоковану сторінку, знайдену за посиланнями, — просто без опису. Щоб сторінки не було в індексі, дозвольте її сканувати й додайте метатег noindex або заголовок X-Robots-Tag.

Файл публічний — будь-хто може відкрити yourdomain.com/robots.txt, — тож згадка приватної теки лише привертає до неї увагу. Захищайте закриті розділи паролем, а не Disallow.

Параметра crawl-delay тут немає, бо Google цю директиву ігнорує. До того ж robots.txt діє лише для хоста, на якому лежить, тож кожному піддомену потрібен власний файл.

Усе працює у вашому браузері. Єдиний виняток — необовʼязкова кнопка «Завантажити із сайту» в тестері: наш сервер читає публічний robots.txt цього сайту, повертає його і нічого не зберігає.

Seonix робить це на автопілоті

Seonix помічає помилки в robots.txt, перш ніж вони коштуватимуть вам трафіку

Безкоштовний аудит сайту від Seonix помічає AI-кравлерів, заблокованих у robots.txt, robots.txt, що блокує sitemap, відсутній robots.txt і метатеги, які обмежують використання сторінок AI. А далі Seonix знаходить, що шукають ваші покупці, і за розкладом публікує на вашому сайті статті з відповідями — більш ніж 50 мовами.

Проаналізувати сайт безкоштовно
Для вашого стеку

SEO на автопілоті для вашого сайту

Seonix досліджує, пише й публікує статті — і стежить за технічною стороною — хоч би де жив ваш сайт.

Сайти на WordPress

Безкоштовний плагін Seonix підключається в один клік: статті публікуються як нативні пости, а SEO-виправлення та llms.txt плагін бере на себе.

Автоматизація SEO для WordPress

SaaS-продукти

Ваш AI-агент підключає застосунок до Seonix одним промтом; далі статті під реальні запити публікуються на вашому домені за розкладом.

SEO для SaaS на автопілоті

Самописні сайти

WordPress не потрібен: сайт відкриває один невеликий ендпоінт, і статті з'являються як нативні сторінки у вашому дизайні.

SEO для самописних сайтів
Також дляShopifyWebflowWixGhost

Часті запитання

Як заблокувати GPTBot у robots.txt?

Додайте групу з рядком User-agent: GPTBot, а під ним — Disallow: /. GPTBot лише збирає дані для навчання моделей OpenAI, тож його блокування не прибирає вас із пошуку ChatGPT — там працює OAI-SearchBot. Щоб заблокувати кількох AI-кравлерів одразу, вкажіть кожного в окремому рядку User-agent над одним спільним Disallow: /.

Чи варто блокувати AI-кравлерів?

Блокуйте навчальних кравлерів, якщо не хочете, щоб ваші тексти використовували для навчання моделей, і залишайте дозволеними кравлерів AI-пошуку, якщо хочете, щоб вас цитували в AI-відповідях, — саме так працює рекомендований набір. Якщо заблокувати всіх AI-кравлерів, вас не буде у відповідях пошуку ChatGPT і Perplexity, а AI Overviews від Google і далі спиратимуться на звичайний індекс Googlebot.

Чи зупиняє robots.txt навчання AI?

Так, для кравлерів, які його дотримуються, і лише надалі. Блокування GPTBot, ClaudeBot, Google-Extended чи CCBot повідомляє цим компаніям, що відтепер ваші сторінки не можна використовувати для навчання. Уже зібрані тексти це не прибирає, а кравлера, що ігнорує robots.txt, доведеться блокувати на сервері чи в CDN.

Де має лежати файл robots.txt?

У корені хоста: https://yourdomain.com/robots.txt. Кравлери шукають його лише там — robots.txt у підпапці ігнорується, — а кожному піддомену, як-от blog.yourdomain.com, потрібен свій. Назва — robots.txt малими літерами, формат — звичайний текст.

Чим robots.txt відрізняється від noindex?

robots.txt керує скануванням, а noindex — індексацією. Сторінка, заблокована в robots.txt, усе одно може потрапити в результати, якщо на неї посилаються інші сторінки: кравлер її не завантажує і не бачить noindex. Щоб прибрати сторінку з пошуку, дозвольте сканування й додайте <meta name="robots" content="noindex"> або заголовок X-Robots-Tag: noindex.
Безкоштовні інструменти

Інші безкоштовні інструменти

Усі безкоштовні інструменти
AI-пошук · GEO та AEO

AI SEO Checker

Чи можуть ChatGPT, Perplexity і Google AI Overviews прочитати й процитувати вашу сторінку? Оцінка й головні виправлення.

Перевіряє живу сторінкуВідкрити
AI-пошук · GEO та AEO

Перевірка AI-кравлерів

Побачте, яким AI-кравлерам дозволяє ваш robots.txt і чого коштує блокування кожного.

Перевіряє живу сторінкуВідкрити
AI-пошук · GEO та AEO

Генератор llms.txt

Створіть валідний за специфікацією llms.txt, який показує моделям, які ваші сторінки важливі.

Працює у браузеріВідкрити