Robots.txt для поисковиков и AI-краулеров
Настройте доступ обычных поисковых роботов, AI Search, обучения моделей и user-triggered агентов без смешения разных сценариев.
Инструмент
robots.txt управляет crawling, но не является механизмом авторизации или защиты конфиденциальных данных. Crawler registry проверен 21.10.2026.
Что делает
Генератор разделяет четыре сценария: обычная поисковая индексация, AI Search, обучение моделей и доступ по действию пользователя. Для crawler’ов в реестре указаны назначение, официальный источник и дата проверки.
Поиск и обучение — разные сценарии
OAI-SearchBot и GPTBot — разные сущности. Разрешение поисковому crawler не означает разрешение использования контента для обучения. Аналогично, Google-Extended не управляет включением сайта в Google Search, а задаёт отдельный контроль использования контента в продуктах Gemini.
Для кого
- Владельцам сайтов, которые хотят контролировать доступ AI-агентов к контенту
- SEO-специалистам, настраивающим индексацию для GEO-стратегии
- Разработчикам, которым нужен корректный robots.txt без ручного написания директив
- Юристам и контент-менеджерам, ограничивающим использование материалов в обучении моделей
Как использовать
- Укажите URL вашего сайта и путь к sitemap.xml.
- Выберите стратегию: открытый коммерческий сайт, защита контента или Custom.
- Добавьте Disallow-правила для служебных разделов: /admin, /cart, /search, /api.
- Скопируйте сгенерированный файл и загрузите в корень сайта.
- Проверьте доступность по адресу https://ваш-сайт.ru/robots.txt.
Проверка существующего файла
Во вкладке «Проверить существующий» можно вставить robots.txt вручную. Инструмент ищет wildcard-блокировку /, отсутствие абсолютного Sitemap и блокировку известных crawler’ов. Он не загружает чужой файл по URL и не отправляет содержимое на сервер.
Примеры
Public commercial website — поисковая индексация и AI Search разрешены, а обучение моделей настраивается отдельно. Подходит для публичного экспертного сайта.
Content protection — поисковая индексация и AI Search остаются доступными, а training-crawlers блокируются. Это отдельное решение о повторном использовании контента.
Custom — каждая группа настраивается отдельно, если бизнесу нужно различать поисковый доступ, обучение и пользовательские запросы.
Частые ошибки
- Размещение robots.txt не в корне домена — файл не будет найден роботами
- Блокировка CSS и JS через Disallow — ухудшение рендеринга и индексации
- Использование robots.txt вместо noindex для закрытия страниц — robots.txt не гарантирует исключение из индекса
- Забытый sitemap — роботы дольше находят новые страницы
- Копирование чужого robots.txt без адаптации под структуру своего сайта
FAQ
Нужно ли блокировать AI-краулеров в robots.txt?+
Зависит от стратегии. Если вы продвигаетесь в AI-поиске (GEO), открывайте доступ. Если защищаете контент от обучения моделей — блокируйте соответствующих ботов.
Где разместить файл robots.txt?+
Файл должен лежать в корне сайта: https://example.com/robots.txt. Он должен отдаваться с кодом 200 и типом text/plain.
Связанные услуги
Следующий шаг
Хотите понять, где сайт теряет трафик, заявки и деньги?
Разберём данные, найдём точки роста и составим план действий.