Фокси Форум
Очередной ламповый форум для вебмастеров о seo, заработке в интернете, создании сайтов, дорвеях, партнерках, крипте, ботах и антиботах.
Рег: May 07, 2020
Тема: AhrefsBot - как запретить или разрешить бота.
Ahrefs - сервис анализа SEO параметров сайта (анализ контента, исходящих ссылок и прочего), проверить можно как свои сайты, так и сайты конкурентов. Это хорошо, проверять конкурентов, но и ваш сайт тоже чей-то конкурент. Потому с одной стороны бота проверяльщика этого сервиса надо блокировать, но с другой может понадобится и разрешить его боту попасть на сайт.
UserAgent у них примерно такой: Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)
PTR запись вида: *.ahrefs.com
По умолчанию этот бот не пройдет антибот защиту. Если вам нужно пустить бота AhrefsBot на свой сайт, защищенный антиботом, то нужно добавить в конфиг антибота строку:
$ab_se['AhrefsBot'] = array('.ahrefs.com');Что интересно, западные вебмастера часто ставят антибот на свои сайты именно для того, чтобы запретить Ahrefs боту и аналогичным сервисам анализировать контент их сайта, а в рунете популярно считать AhrefsBot белым ботом и пускать его на сайт.