На GitHub наткнулся на список подозрительных User Agents.

Вот ссылка на список

Может кому интересно будет. Хотел сюда выложить, но список большой и страница будет долго грузиться. Да и на GitHub по идее будет актуальный список.

UserAgent:

Mozilla/5.0 (compatible; Barkrowler/0.9; +https://babbar.tech/crawler)

Основные характеристики:

• Тип бота: Поисковик
• Версия: 0.9
• Следование robots.txt
• Следование задержке обхода
• Отсутствие фиксированного диапазона IP-адресов
• Обратный DNS-суффикс: babbar.eu

Назначение бота GPTBot

GPTBot используется, чтобы сделать базовые модели генеративного ИИ более полезными и безопасными. Он используется для сканирования контента, который может быть использован при обучении базовых моделей генеративного ИИ. Запрет на использование GPTBot означает, что контент сайта не следует использовать при обучении базовых моделей генеративного ИИ.

Для чего

Причина блокировки бота довольно простая - большая нагрузка на сайт. У меня небольшой сайт на движке Wiki, посещаемость тоже небольшая. Поэтому и хостинг один из самых дешевых.

Вот и выходило, что посещяемость сайта 100 человек в день, а бот одномоментно создавал 5к-10к посещений. Из-за этого хостер присылал предупреждение, что высокая нагрузка на сервер.