Фокси Форум

Очередной ламповый форум для вебмастеров о seo, заработке в интернете, создании сайтов, дорвеях, партнерках, крипте, ботах и антиботах.

Mik Foxi Mik Foxi · UserID: 2 · Рег: 07.05.2020
Mik Foxi
Mik Foxi
UserID: 2
Рег: May 07, 2020
Тема: AhrefsBot - как запретить или разрешить бота.

Ahrefs - сервис анализа SEO параметров сайта (анализ контента, исходящих ссылок и прочего), проверить можно как свои сайты, так и сайты конкурентов. Это хорошо, проверять конкурентов, но и ваш сайт тоже чей-то конкурент. Потому с одной стороны бота проверяльщика этого сервиса надо блокировать, но с другой может понадобится и разрешить его боту попасть на сайт.

UserAgent у них примерно такой: Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)

PTR запись вида: *.ahrefs.com

По умолчанию этот бот не пройдет антибот защиту. Если вам нужно пустить бота AhrefsBot на свой сайт, защищенный антиботом, то нужно добавить в конфиг антибота строку:

$ab_se['AhrefsBot'] = array('.ahrefs.com');

Что интересно, западные вебмастера часто ставят антибот на свои сайты именно для того, чтобы запретить Ahrefs боту и аналогичным сервисам анализировать контент их сайта, а в рунете популярно считать AhrefsBot белым ботом и пускать его на сайт.

2 июля 2021 в 13:21
Служба поддержки форума: Telegram: @MikFoxi, Email: admin@mikfoxi.com