У разных AI-сервисов разные механизмы доступа к сайту. Нельзя считать, что все названия из robots.txt являются реальными HTTP User-Agent строками.

Особенно важно различать:

• GPTBot и ClaudeBot — crawler'ы с HTTP User-Agent;
• Google-CloudVertexBot — crawler Google для Agent Search / Vertex AI сценариев;
• Google-Extended — product token для robots.txt, без отдельной HTTP User-Agent строки.

AI Mode является частью Google Search. Для него нет отдельного robots.txt-токена, который позволял бы оставить страницу в обычном Google и одновременно запретить её только для AI Mode.

Google использует несколько разных механизмов, и каждый решает свою задачу:

Задача	Инструмент	Что произойдёт
Не сканировать URL для Google Search	robots.txt для Googlebot	Googlebot не загружает содержимое, но URL иногда может остаться в индексе без нормального сниппета
Удалить страницу из Google	noindex	После повторного сканирования страница исключается из поиска
Оставить страницу в поиске, но запретить текстовый сниппет	nosnippet	Текст и видео-превью не показываются; содержимое не используется как прямой ввод для AI Overviews и AI Mode
Ограничить размер текстового фрагмента	max-snippet:N	Google может использовать не более указанного количества символов
Исключить отдельный участок страницы	data-nosnippet	Выбранный текст не используется в сниппете
Задать правила для PDF или другого не-HTML файла	X-Robots-Tag	Директивы передаются HTTP-заголовком
Ограничить обучение и grounding некоторых AI-систем Google вне Search	Google-Extended	Не влияет на включение и ранжирование страницы в Google Search, включая AI Mode