Сайти блокують ботів для навчання ШІ більш ніж учетверо частіше, ніж пошукових

Що ми побачили

• За назвою ботів для навчання блокують у 5,3 раза частіше

  1 744 сайтів повністю блокують за назвою бота для навчання, а 330 пошукового бота чи бота відповідей. Якщо врахувати User-agent: *, розрив становить 4,5 раза.

• Той самий поділ видно в межах однієї компанії

  GPTBot заблоковано на 8,0% сайтів, а OAI-SearchBot на 0,7%. ClaudeBot має 7,4%, Claude-SearchBot 0,5%.

• Значну частину дає один шаблон

  35,8% блокувань навчання за назвою припадає на файли з керованим блоком Cloudflare. Без цих файлів частки становлять 8,2% і 2,1%.

• Більшість тих, хто блокує, не чіпають пошук ШІ

  1 414 сайтів (9,9%) блокують за назвою ботів для навчання й лишають відкритими всіх пошукових ботів і ботів відповідей. Навпаки роблять менш ніж 30.

• Великі платформи блокують набагато частіше

  Серед 124 великих платформ, які ми рахували окремо, 54,8% блокують за назвою бота для навчання, а 32,3% пошукового.

• Позиція майже не впливає, тип сторінки більше

  Сайти, що дійшли до топ-3: 12,8% блокують ботів для навчання. Лише на позиціях 4–10: 11,8%. Сайти переважно з порівняннями: 16,4%. Переважно з головними сторінками: 7,9%.

Цифри для цитування

Цитуйте будь-яку цифру з посиланням на цю сторінку. Колонка джерела вказує на відповідні рядки в CSV.

Як ми вимірювали

1. Взяли список сайтів

   Ми почали з 16 399 сайтів із цих топ-10. Прибрали 46, що належать Seonix, клієнтам або відвідувачам, які аналізували свій сайт. 133 великих платформ, як-от соцмережі й маркетплейси, виділили в окрему групу, і лишилося 16 220.

2. Запитали кожен сайт один раз

   3 листопада 2026 ми надіслали один запит до /robots.txt і один до /llms.txt, інших сторінок не відкривали. Не більше 20 сайтів одночасно, ліміт 10 секунд, до 3 переспрямувань, без повторів. Наш збирач представлявся як SeonixResearch/1.0.

3. Прочитали правила

   Ми застосували стандартні правила robots.txt. Бот виконує власну групу, якщо вона є, а інакше групу User-agent: *. Повне блокування означає Disallow: / без жодного дозволу. Файли, що блокують корінь, але дозволяють частину шляхів, рахуємо окремо.

4. Поділили ботів за завданням

   Навчання і збір даних: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Bytespider, meta-externalagent, Amazonbot. Пошук і відповіді: OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User. Ми спиралися на те, що публікує кожен оператор, там, де він це публікує.

5. Позначали шаблон лише за надійною ознакою

   Файл вважається керованим блоком Cloudflare лише тоді, коли містить точний коментар із документації Cloudflare: BEGIN Cloudflare Managed content. Копії без нього рахуються як власні правила сайту.

6. Застосували поріг публікації

   Лише узагальнені дані, без назв сайтів і жодного числа менше 30. Сирі відповіді лишаються в нас і не публікуються.

Що обмежує ці дані

• Це не весь інтернет. Список походить із комерційних запитів, підібраних для 23 сайтів, які користуються Seonix, і з DuckDuckGo. Сайти, що ранжуються деінде, можуть поводитися інакше.
• Це прохання, а не факт. Боти можуть ігнорувати robots.txt, а сайт може блокувати їх на фаєрволі, чого це дослідження не бачить. Ми не надсилали запитів від імені ботів ШІ.
• Недоступний не означає відкритий. 496 сайтів відмовили нам у файлі, і це нічого не каже про їхні правила для ботів ШІ. Ці сайти та інші збої не входять у жодну частку блокування.
• Відсутній файл означає, що блокування немає, але ми рахуємо його окремо. 448 сайтів не мали файлу, а 479 віддали вебсторінку. Вони теж поза частками, тож із ними кожна частка була б трохи меншою.
• Шаблон мало каже про намір. Ми бачимо, що файл містить блок Cloudflare, але не знаємо, хто його ввімкнув і навіщо.
• Хости, а не компанії. Піддомен рахується окремим сайтом, а 165 запитів після переспрямування завершилися на іншому хості.
• Мітки перетинаються. Google-Extended також стосується відповідей Gemini Apps, що спираються на пошук, і не впливає на Google Search. Amazonbot має кілька завдань, серед них навчання ШІ. Типи сторінок визначено за адресами й заголовками.
• Один момент часу. Це один збір за один день, тож тренду він не показує.

Також виміряно: llms.txt

3 604 із 14 875 сайтів, що дали чітку відповідь (24,2%), мають коректний llms.txt: щонайменше 100 символів, заголовок і посилання. Це необов'язкова домовленість. Ми не вимірювали, чи використовує її хоч одна система ШІ.