Фокси Форум
Очередной ламповый форум для вебмастеров о seo, заработке в интернете, создании сайтов, дорвеях, партнерках, крипте, ботах и антиботах.
Рег: May 07, 2020
Тема: Снижаем антиботом нагрузку на сервер, экономим трафик. Реальный кейс.
Обратились сегодня с проблемой, что на сервере, который в DigitalOcean подозрительно большой расход трафика и нагрузка которой вообще быть не должно, а трафик на сервере лимитирован, перерасход трафика - плати дополнительно и не дешево.
Сайт небольшой, со статьями и новостями, защищенный Cloudflare, статика (стили и картинки) кэшировались там же, но это не особо помогало, было много запросов к динамическому контенту (html страницам). Запросы явно от парсеров (как просто обходящих постранично, так и прокси дорвеев, парсящих-проксирующих на лету все целиком), много анализаторов в логе типа AhrefsBot, SemrushBot и прочих похожих. Cloudflare без доп настроек правил фаервола это все без проблем пропускает.
Подключаем антибот... и проблема решена. Статистика было и стало говорит сама за себя, антибот был подключен в 15.22:
Потом нагрузка еще больше упала, но переделывать скриншоты уже лень. Также в яндекс метрике статистика станет красивее, меньше ботовых запросов с отказами, но об этом клиент уже завтра радостный поделится скорее всего :-)