OAI-SearchBot и GPTBot: что именно задаёт robots.txt
Разница между краулерами OpenAI для поиска, обучения и пользовательских запросов; как проверить robots.txt и журналы без обещаний о попадании в ответы.
Коротко
OAI-SearchBot связан с поисковыми функциями ChatGPT, GPTBot — с обходом содержимого, которое может использоваться для обучения, а ChatGPT-User запускается действиями пользователя. Правила независимы и не гарантируют, что сайт попадёт в ответ.
Разрешить «AI-ботов» или запретить «AI-ботов» — слишком грубая постановка. Сначала определите, хотите ли вы управлять автоматическим обходом для поисковой функции, использованием содержимого для обучения или доступом по конкретному запросу пользователя.
Коротко
У OpenAI есть несколько User-agent с разными задачами. Правило для одного робота не следует автоматически переносить на остальные:
| User-agent | Задача по документации OpenAI | На что влияет правило |
|---|---|---|
OAI-SearchBot | Обход для поисковых функций ChatGPT | Доступ к сайту для поискового сценария |
GPTBot | Обход материалов, которые могут использоваться для обучения базовых моделей | Указание об использовании содержимого для обучения |
ChatGPT-User | Получение страницы по действию пользователя в ChatGPT или Custom GPT | Не является автоматическим поисковым обходом; robots.txt может не применяться |
Актуальные назначения и сетевые диапазоны публикует документация OpenAI по краулерам. Перед настройкой сверяйте имена и инструкции именно там: User-agent и инфраструктура со временем могут обновляться.
Что можно контролировать через robots.txt
robots.txt — публично доступный набор правил для совместимых роботов. Он сообщает, какие пути сайту разрешено или запрещено обходить конкретному User-agent. Это не механизм авторизации и не защита закрытых данных: конфиденциальные разделы нужно закрывать доступом на сервере.
Настройки OAI-SearchBot и GPTBot независимы. Владелец может выбрать разные правила для поискового обхода и использования содержимого для обучения. При этом разрешение поискового бота не означает, что сайт будет показан в каждом подходящем ответе: выбор источников остаётся за системой.
Пример ниже иллюстрирует только разделение политик. Его нельзя копировать без проверки всего файла и бизнес-решения о доступе:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
Учитывайте остальные группы User-agent, правила CDN/WAF и ограничения сервера. Если инфраструктура блокирует запрос до приложения, запись в robots.txt сама по себе не откроет доступ.
Как проверить настройки
- Зафиксируйте цель. Отдельно решите про поисковое отображение и обучение моделей.
- Проверьте фактический файл. Откройте
https://ваш-домен/robots.txt, убедитесь в статусе 200 и отсутствии конфликтующих групп. - Проверьте все уровни доступа. Правила CDN, WAF, хостинга и сервера могут блокировать запросы независимо от robots.txt.
- Сверяйте User-agent и IP по официальному источнику. Обычная строка User-agent может быть подделана; анализируйте опубликованные сетевые диапазоны и журналы.
- После изменения повторите проверку. OpenAI сообщает, что обновление поискового доступа может занять около суток; это не гарантированный срок обработки для любой инфраструктуры.
- Наблюдайте журналы. Ищите реальные запросы к страницам и ответы сервера, а не только наличие строки в конфигурации.
Для ChatGPT-User нельзя делать вывод о доступе по одному лишь файлу robots.txt: OpenAI указывает, что такие запросы запускаются действием пользователя и могут не подпадать под эти правила.
Типичные ошибки
- Закрыть общий раздел
GPTилиAIпо wildcard и случайно затронуть нужные сценарии. - Считать, что
Allowгарантирует индексацию, цитирование или трафик. - Принимать любой запрос с подходящим User-agent за подлинный бот.
- Использовать robots.txt как способ скрыть персональные или закрытые материалы.
- Менять правила сразу на нескольких доменах и не сохранять исходную версию.
Инструмент Генератор robots.txt для поисковиков и AI-краулеров помогает собрать правила и заметить конфликты. Итог всё равно нужно сверить с документацией поставщика и проверить в фактическом ответе сайта.
Источник
- OpenAI: Overview of OpenAI Crawlers — назначение роботов, User-agent, сетевые диапазоны и управление поисковым обходом.
- Google Search Central: robots.txt introduction — общие принципы и ограничения robots.txt.
Нужно проверить доступ AI-краулеров?
Разберём цели, фактический robots.txt, правила CDN и записи серверных логов.
FAQ
Если разрешить OAI-SearchBot, сайт появится в ChatGPT Search?+
Нет гарантии показа. Разрешение даёт краулеру доступ согласно правилам сайта, но само по себе не гарантирует индексацию или появление ссылки в конкретном ответе.
GPTBot и OAI-SearchBot — один и тот же робот?+
Нет. OpenAI описывает их как независимые настройки: OAI-SearchBot используется для поисковых функций, GPTBot — для сбора содержимого, которое может применяться для обучения базовых моделей.
Запрет в robots.txt действует на ChatGPT-User?+
OpenAI описывает ChatGPT-User как пользовательский запрос, а не автоматический краулинг; правила robots.txt могут к таким действиям не применяться.
