Фокси Форум

Очередной ламповый форум для вебмастеров о seo, заработке в интернете, создании сайтов, дорвеях, партнерках, крипте, ботах и антиботах.

Mik Foxi Mik Foxi · UserID: 2 · Рег: 07.05.2020
Mik Foxi
Mik Foxi
UserID: 2
Рег: May 07, 2020
Тема: SemrushBot - запретить боту доступ к сайту или разрешить?

SEMrush - это сервис для анализа своего сайта и сайтов конкурентов. Полезная штука, когда изучаешь свой сайт или сайты конкурентов, но когда Ваш сайт начинают исследовать сеошники и маркетологи конкурентов то SEMrushBot может серьезно мешать, он создает лишнюю нагрузку на сайт и сервер, ну и палить свои фишки оптимизации не каждый захочет.

UserAgent у них примерно такой: Mozilla/5.0 (compatible; SemrushBot/3~bl; +http://www.semrush.com/bot.html)

PTR запись вида: crawl16.bl.semrush.com

По умолчанию этот бот не пройдет антибот защиту. Если вам нужно пустить бота SemrushBot на свой сайт, защищенный антиботом, то нужно добавить в конфиг строку:

$ab_se['SemrushBot'] = array('.semrush.com');

Что интересно, западные вебмастера часто ставят антибот на свои сайты именно для того, чтобы запретить SemrushBot боту и аналогам анализировать контент их сайта, а в рунете популярно считать SemrushBot белым ботом и пускать его на сайт.

2 июля 2021 в 13:34
Служба поддержки форума: Telegram: @MikFoxi, Email: admin@mikfoxi.com