Фокси Форум
Очередной ламповый форум для вебмастеров о seo, заработке в интернете, создании сайтов, дорвеях, партнерках, крипте, ботах и антиботах.
Рег: May 13, 2020
Тема: Анализ ботов
Проанализировал лог на 3ёх серваках за 3 дня, на то, как часто боты проверяют наличие админки и других признаков вордпресс.
Фильтр выбрал такой %/wp-%. И вот что получил. (Многие боты не дошли до проверки из-за фильтров nginx и в правилах).
a) общее количество ботов
b) боты искавшие признаки вордпресс
1. a)7889 - b)1435
2. a)21618 - b)2156
3. a)18292 - b)2686
Думаю, если снять фильтры, то там процент сильно больше будет.
Рег: May 07, 2020
# 1
Re: Анализ ботов
В антиботе запретить в конфиге доступ с пустым языком, чтоб они в логе не сохранялись и норм, большинство этих проверяльщиков отвалятся.
Рег: May 07, 2020
# 2
Re: Анализ ботов
Забыл, еще банить потиху самых активных и наглых PTR хостингов. Чекеры оттуда часто идут. С амазонов всяких.
Рег: Jun 09, 2020
# 3
Re: Анализ ботов
Mik Foxi, активно баню хостинги.
Рег: May 07, 2020
# 4
Re: Анализ ботов
Запустил на сервере старые домены, на которых тестил антибота раньше, изображая что у меня вордпресс. Ботов ломятся до сих пор кучи, к wp-includes/wlwmanifest.xml и прочим файлам, на 404 ошибке повесил антибота чтоб посмотреть.
Рег: May 13, 2020
# 5
Re: Анализ ботов
Эти результаты с учётом фильтров. С языком ходят полно.

Рег: May 13, 2020
# 6
Re: Анализ ботов
В общем, если не юзаете вордпресс и в путях нет упоминания /wp-
в конфиг nginx прописать
location ~* /wp-.* {
deny all;
}
Таким образом все чекеры wp пойдут лесом.
Рег: May 13, 2020
# 7
Re: Анализ ботов
Тогда уже не deny all; а лучше return 444;
Но никуда они не пойдут, они чекают еще много папок и файлов и не только в поисках wordpress, еще ищут joomla, pma и другие движки и скрипты. Думаю лучше если у вас нету этих скриптов, то отдавать статичную html ошибку 404, а не от движка, чтоб сэкономить ресурсы и не делать лишних запросов к базе данных.
Рег: May 07, 2020
# 8
Re: Анализ ботов
Adams SMI, если стоит антибот, то можно и от движка юзать 404 скрипт. Зато будешь видеть кто и чего ломится.
Рег: May 13, 2020
# 9
Re: Анализ ботов
Adams SMI,
Если всё правильно настроено, то будет отдаваться.

Я говорю конкретно о чекерах wp (вордпресс ) , а не об остальных движках. При чём тут они?
Я привёл статистику запросов к этим файлам.
Рег: May 07, 2020
# 10
Re: Анализ ботов
0-0, 444 лучше, чем 403, это сильно экономит ресурсы сервера.
Рег: May 13, 2020
# 11
Re: Анализ ботов
Про ресурсы не знал. Ок, тогда так.
location ~* /wp-.* {
return 444;
}
Сейчас в логе вообще нет этих чекеров.
Рег: May 13, 2020
# 12
Re: Анализ ботов
Дабы боты не ломились на ip адрес сервера, и если нет желания, чтобы сайт вообще открывался по ip.
if ($http_host ~ "\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}") {
return 444;
}
Рег: May 07, 2020
# 13
Re: Анализ ботов
0-0, создай для ip адреса отдельную запись в nginx как отдельный сайт, это самое правильное решение.
Рег: May 13, 2020
# 14
Re: Анализ ботов
Битрикс часто ищут. Можно добавить
location ~* /(wp-.*|bitrix)/ {
return 444;
}
Рег: May 13, 2020
# 15
Re: Анализ ботов
Точнее будет так
location ~* (/wp-.*|/bitrix/) {
return 444;
}
Рег: May 07, 2020
# 16
Re: Анализ ботов
0-0, если собирать эти списки - там сотни таких стандартных урлов, которые чекают, не сильно много смысла их блочить если их у тебя все равно нету.
Рег: May 13, 2020
# 17
Re: Анализ ботов
Mik Foxi,
Конкретно эти, сильно много чекают. Я предыдущее правило поставил, так в логе моментом пошли wp-login.php. Последней регуляркой всё поправилось.