20 августа 2026 года Google добавил Google-CloudVertexBot в официальный список crawler'ов. Он используется не обычным Google Search, а когда владелец сайта или приложения просит Google обходить сайт для построения Vertex AI / Agent Search.
Это важное отличие: появление Google-CloudVertexBot в логах само по себе не означает изменение индекса Google Search и не связано напрямую с ранжированием.
Причина блокировки бота довольно простая - большая нагрузка на сайт. У меня небольшой сайт на движке Wiki, посещаемость тоже небольшая. Поэтому и хостинг один из самых дешевых.
Вот и выходило, что посещяемость сайта 100 человек в день, а бот одномоментно создавал 5к-10к посещений. Из-за этого хостер присылал предупреждение, что высокая нагрузка на сервер.
UserAgent:
Mozilla/5.0 (compatible; Barkrowler/0.9; +https://babbar.tech/crawler)
У разных AI-сервисов разные механизмы доступа к сайту. Нельзя считать, что все названия из robots.txt являются реальными HTTP User-Agent строками.
Особенно важно различать:
GPTBot и ClaudeBot — crawler'ы с HTTP User-Agent;Google-CloudVertexBot — crawler Google для Agent Search / Vertex AI сценариев;Google-Extended — product token для robots.txt, без отдельной HTTP User-Agent строки.GPTBot используется, чтобы сделать базовые модели генеративного ИИ более полезными и безопасными. Он используется для сканирования контента, который может быть использован при обучении базовых моделей генеративного ИИ. Запрет на использование GPTBot означает, что контент сайта не следует использовать при обучении базовых моделей генеративного ИИ.
На GitHub есть большой список подозрительных HTTP User-Agent строк: