Фокси Форум

Очередной ламповый форум для вебмастеров о seo, заработке в интернете, создании сайтов, дорвеях, партнерках, крипте, ботах и антиботах.

Mik Foxi Mik Foxi · UserID: 2 · Рег: 07.05.2020
Mik Foxi
Mik Foxi
UserID: 2
Рег: May 07, 2020
Тема: Снижаем антиботом нагрузку на сервер, экономим трафик. Реальный кейс.

Обратились сегодня с проблемой, что на сервере, который в DigitalOcean подозрительно большой расход трафика и нагрузка которой вообще быть не должно, а трафик на сервере лимитирован, перерасход трафика - плати дополнительно и не дешево.

Сайт небольшой, со статьями и новостями, защищенный Cloudflare, статика (стили и картинки) кэшировались там же, но это не особо помогало, было много запросов к динамическому контенту (html страницам). Запросы явно от парсеров (как просто обходящих постранично, так и прокси дорвеев, парсящих-проксирующих на лету все целиком), много анализаторов в логе типа AhrefsBot, SemrushBot и прочих похожих. Cloudflare без доп настроек правил фаервола это все без проблем пропускает.

Подключаем антибот... и проблема решена. Статистика было и стало говорит сама за себя, антибот был подключен в 15.22:

Потом нагрузка еще больше упала, но переделывать скриншоты уже лень. Также в яндекс метрике статистика станет красивее, меньше ботовых запросов с отказами, но об этом клиент уже завтра радостный поделится скорее всего :-)

23 июля 2021 в 17:30
Служба поддержки форума: Telegram: @MikFoxi, Email: admin@mikfoxi.com