Перейти к основному содержанию

Поисковые боты OpenAI

Ичи03.10.2026Поисковые ботыботыGPTBotopenaichatgptOAI-SearchBotChatGPT-UserOAI-AdsBotОколо 4 минОколо 1229 слов

Поисковые боты OpenAI

Проверено по официальным источникам 20 сентября 2026 года. Это дата проверки документации, не дата запуска OAI-AdsBot.

Четыре разные роли

Не объединяйте все запросы OpenAI в одно правило «разрешить ChatGPT» или «запретить AI».

User-AgentНазначениеЧто учитывать при ограничении
GPTBotСбор контента, который может использоваться для обучения базовых моделейЗапрет выражает отказ от такого использования при обходе GPTBot; не заменяет защиту данных
OAI-SearchBotПоиск ChatGPTУправляет автоматическим поисковым обходом, а не обучением
ChatGPT-UserДействия по запросу пользователяНе автоматический поисковый обход; правила robots.txt могут не применяться
OAI-AdsBotПроверка страниц, переданных как рекламные объявления в ChatGPTНужен рекламодателю для проверки landing page; не используется для обучения базовых моделей

Источник ролей: Overview of OpenAI Crawlers. Разрешение бота не гарантирует одобрение объявления или появление сайта в поиске.

Бот OAI-AdsBot

По документации OpenAI, OAI-AdsBot посещает страницы, переданные как реклама, проверяет их безопасность и может использовать содержимое для определения релевантности объявления. Это не универсальный бот обучения.

Опубликованный User-Agent:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

В инструкции для рекламодателей OpenAI требует доступ для OAI-AdsBot и рекомендует дополнительно разрешать OAI-SearchBot. Изображения товарного фида тоже должны быть доступны OAI-SearchBot, в том числе на отдельном CDN-домене. Разрешать GPTBot для этого не требуется.

Назначение бота GPTBot

Настройка GPTBot независима от поиска: можно запретить обучающий обход и оставить доступ поисковому и рекламному ботам. Disallow не является гарантией удаления ранее полученного контента и не блокирует клиентов, которые игнорируют протокол.

Из прежнего личного опыта: GPTBot создавал большую нагрузку на слабый сервер с блогом. При заданном Crawl-delay наблюдалось более 50 тысяч запросов за сутки. Это историческое наблюдение автора, не актуальный замер или универсальная квота OpenAI. Для реального ограничения нагрузки нужны правила сервера/CDN и наблюдение за ответами, а не только Crawl-delay.

Настройка robots.txt

Ниже — фрагменты для адаптации, а не замена всего robots.txt. Сначала сохраните действующие правила и проверьте конкретные URL. Сам файл не является механизмом авторизации: закрытые данные защищают на уровне приложения и инфраструктуры. См. RFC 9309.

Разрешить поиск и рекламу, запретить обучающий обход

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /private/

User-agent: OAI-AdsBot
Allow: /
Disallow: /private/

/private/ — пример, не полный список чувствительных путей. Специфичная группа бота не наследует автоматически ограничения из User-agent: *: перенесите нужные ограничения в каждую применимую группу. При совпадении нескольких правил пути действует наиболее специфичное; учитывайте также объединение групп одного бота по RFC 9309.

Разрешить рекламному боту только нужные пути

Этот вариант заменяет, а не дополняет группу OAI-AdsBot из предыдущего примера:

User-agent: OAI-AdsBot
Disallow: /
Allow: /offers/
Allow: /assets/

Проверьте landing page, конечный URL после редиректов и ресурсы, необходимые для её чтения. Для другого хоста, например images.example.com, проверяются его собственные robots.txt и защита. Не объединяйте пример с уже существующим Allow: / для того же бота: иначе ограничение потеряет смысл.

Для полного запрета OAI-AdsBot оставьте только Disallow: / в его группе, без конфликтующих разрешений. Это может помешать проверке рекламных страниц; настройки остальных ботов рассматриваются отдельно.

Бот ChatGPT-User

Этот User-Agent относится к пользовательским действиям, а не к поисковому индексированию. OpenAI отдельно предупреждает, что robots.txt может не применяться к таким запросам. Для управления поисковым обходом используйте OAI-SearchBot; для закрытия приватного содержимого — аутентификацию и проверку прав, не один Disallow.

Бот OAI-SearchBot

OAI-SearchBot обслуживает поиск ChatGPT. Отказ от его обхода может исключить сайт из поисковых ответов, но не обязательно из навигационных ссылок. По документации OpenAI адаптация поисковых систем к изменению robots.txt может занимать около 24 часов. Этот срок не является SLA проверки рекламы или OAI-AdsBot.

Актуальные IP-диапазоны и проверка подлинности

Статические IP-снимки 2023–2024 годов из прежней версии статьи заменены ссылками на официальные JSON. Они не должны использоваться как действующий allowlist.

БотОфициальный список
OAI-AdsBotadsbot.json
OAI-SearchBotsearchbot.json
GPTBotgptbot.json
ChatGPT-Userchatgpt-user.json

User-Agent легко подменить. Для исключения из антибот-проверки сопоставляйте идентификатор бота с проверкой провайдера защиты либо фактическим IP и опубликованными диапазонами. Не закрепляйте случайный IP из access log и не привязывайте правило к одной версии User-Agent.

За reverse proxy сначала настройте доверенные прокси: произвольный X-Forwarded-For не доказывает исходный адрес. Получение JSON, проверка непустого списка CIDR, просмотр diff и применение firewall-правил должны быть разными этапами. При ошибке загрузки сохраняйте прежний проверенный список, а не открывайте доступ всем.

WAF, CDN и защита приложения

OpenAI указывает, что OAI-AdsBot верифицирован Cloudflare. Но это не отчёт о конфигурации вашей зоны. Verified bots Cloudflare и правила доступа нужно проверять отдельно.

Исключение должно касаться установленного бота, нужных публичных URL и конкретной мешающей проверки. Не отключайте глобально WAF, DDoS-защиту, авторизацию или все ограничения по одному совпадению User-Agent. Условия публикации рекламы не требуют открывать административную панель: выберите публичную landing page без приватных данных.

Практическая последовательность диагностики:

СимптомЧто проверить
403Событие WAF/CDN, IP/гео-ограничение, права на объект и блокировки приложения
429Лимиты частоты и размер партии объявлений; не отключать защиту без оценки нагрузки
200, но бот не видит страницуТело ответа: CAPTCHA, JS challenge, форма входа или пустая оболочка вместо контента
Цикл или неподходящий редиректКаждый хост цепочки, конечную страницу, отсутствие обязательного приложения или входа
Фид не обрабатывается при доступной страницеОтдельный домен изображений, его правила для OAI-SearchBot и фактическое чтение объектов

После исправления доступа проверьте новую попытку в логах и повторно отправьте объявление на проверку, если его статус не обновился. Не рассчитывайте на ручной обход проверки службой поддержки. Основание: рекомендации OpenAI рекламодателям.

Диагностика HTTP без изменения сервера

Проверяйте свои URL. Пример делает GET, сохраняет заголовки и тело в отдельный локальный каталог, не передаёт cookies или токены и не меняет WAF. Для изображения из фида повторите проверку с его URL и User-Agent OAI-SearchBot из актуальной документации.

#!/usr/bin/env bash
set -euo pipefail

url='https://example.com/offers/example/'
ua='Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot'
workdir="$(mktemp -d)"
printf 'Результаты: %s\n' "$workdir"

# HTTP-ошибки сохраняются для диагностики; сетевые/TLS-ошибки завершают скрипт.
curl --silent --show-error --location --max-redirs 5 \
  --connect-timeout 10 --max-time 30 \
  --proto '=https' --proto-redir '=https' \
  --user-agent "$ua" \
  --dump-header "$workdir/headers.txt" \
  --output "$workdir/body.bin" \
  --write-out 'HTTP=%{http_code}\nURL=%{url_effective}\nTYPE=%{content_type}\n' \
  "$url"

Просмотрите заголовки и содержимое ответа, затем удалите диагностические файлы. Не публикуйте без очистки Set-Cookie, query-параметры, приватные адреса или содержимое логов.

curl -A не имитирует настоящий запрос OpenAI: исходный IP остаётся вашим, JavaScript не выполняется, robots.txt автоматически не проверяется. 200 здесь не доказывает доступность для настоящего бота; 403 может быть ожидаемым результатом проверки подлинности. Подтверждение — запрос проверенного бота в edge/origin-логах и результат повторной проверки объявления.

Связанные материалы и источники