Генеративные ИИ‑платформы активно сканируют сайты для обучения своих моделей. Если не ограничить доступ, боты могут создавать ненужную нагрузку и использовать ваш контент без разрешения. Ниже приведены простые инструкции, как отключить доступ GPTBot, ClaudeBot и Google‑Extended.
Причина блокировки бота довольно простая - большая нагрузка на сайт. У меня небольшой сайт на движке Wiki, посещаемость тоже небольшая. Поэтому и хостинг один из самых дешевых.
Вот и выходило, что посещяемость сайта 100 человек в день, а бот одномоментно создавал 5к-10к посещений. Из-за этого хостер присылал предупреждение, что высокая нагрузка на сервер.
UserAgent:
Mozilla/5.0 (compatible; Barkrowler/0.9; +https://babbar.tech/crawler)
GPTBot используется, чтобы сделать базовые модели генеративного ИИ более полезными и безопасными. Он используется для сканирования контента, который может быть использован при обучении базовых моделей генеративного ИИ. Запрет на использование GPTBot означает, что контент сайта не следует использовать при обучении базовых моделей генеративного ИИ.
На GitHub наткнулся на список подозрительных User Agents.
Вот ссылка на список
Может кому интересно будет. Хотел сюда выложить, но список большой и страница будет долго грузиться. Да и на GitHub по идее будет актуальный список.
