Поисковый бот Babbar

UserAgent:

Mozilla/5.0 (compatible; Barkrowler/0.9; +https://babbar.tech/crawler)

Основные характеристики:

• Тип бота: Поисковик
• Версия: 0.9
• Следование robots.txt
• Следование задержке обхода
• Отсутствие фиксированного диапазона IP-адресов
• Обратный DNS-суффикс: babbar.eu

Что делает Barkrowler на вашем сайте?

Barkrowler сканирует URL-адреса, найденные на общедоступных страницах, и посещает каждую страницу, которая где-то публично цитируется. Даже если страница перенаправлена (301) или отсутствует (404), мы продолжаем попытки её сканирования, чтобы убедиться, что это не временное состояние или неисправный веб-сервер.

Работа с robots.txt

Barkrowler уважает ваш robots.txt файл, используя набор инструментов crawler Commons и следуя запретам.

Как увеличить интервал между запросами?

У нас есть политика вежливости: 5 секунд между двумя запросами на одном хосте и 2.5 секунды между двумя запросами на одном IP-адресе одного домена. Вы можете увеличить задержку обхода в robots.txt:

User-agent: barkrowler
Crawl-Delay: [delayInSec]

Как запретить сканирование?

Вы можете запретить сканирование части или всего сайта с помощью директивы disallow в robots.txt. Например, чтобы запретить доступ к разделу администратора WordPress:

User-agent: barkrowler
Disallow: /wp-admin/

Что происходит с просматриваемым контентом?

Просмотренный контент не сохраняется в базе данных, мы храним только ссылки и мета-информацию о веб-страницах. Именные данные не сохраняются.

Блокировка бота

Иногда ваш сайт может ошибочно блокировать Barkrowler, принимая его за DDOS-атаку или перебор. В таких случаях бот может быть временно занесен в черный список. Вы можете попробовать внести его в белый список в плагине или связаться с нами для решения проблемы.