Фокси Форум

Очередной ламповый форум для вебмастеров о seo, заработке в интернете, создании сайтов, дорвеях, партнерках, крипте, ботах и антиботах.

0-0 0-0 · UserID: 11 · Рег: 13.05.2020
0-0
0-0
UserID: 11
Рег: May 13, 2020
Тема: Анализ ботов

Проанализировал лог на 3ёх серваках за 3 дня, на то, как часто боты проверяют наличие админки и других признаков вордпресс.

Фильтр выбрал такой %/wp-%. И вот что получил. (Многие боты не дошли до проверки из-за фильтров nginx и в правилах).

a) общее количество ботов

b) боты искавшие признаки вордпресс

1. a)7889 - b)1435

2. a)21618 - b)2156

3. a)18292 - b)2686

Думаю, если снять фильтры, то там процент сильно больше будет.

13 июня 2020 в 04:01
Mik Foxi Mik Foxi · UserID: 2 · Рег: May 07, 2020
Mik Foxi
Mik Foxi
UserID: 2
Рег: May 07, 2020
PostID: 91
# 1
Re: Анализ ботов

В антиботе запретить в конфиге доступ с пустым языком, чтоб они в логе не сохранялись и норм, большинство этих проверяльщиков отвалятся.

13 июня 2020 в 10:33
Mik Foxi Mik Foxi · UserID: 2 · Рег: May 07, 2020
Mik Foxi
Mik Foxi
UserID: 2
Рег: May 07, 2020
PostID: 94
# 2
Re: Анализ ботов

Забыл, еще банить потиху самых активных и наглых PTR хостингов. Чекеры оттуда часто идут. С амазонов всяких.

13 июня 2020 в 12:15
LoL LoL · UserID: 22 · Рег: Jun 09, 2020
LoL
LoL
UserID: 22
Рег: Jun 09, 2020
PostID: 95
# 3
Re: Анализ ботов

Mik Foxi, активно баню хостинги.

13 июня 2020 в 12:19
Mik Foxi Mik Foxi · UserID: 2 · Рег: May 07, 2020
Mik Foxi
Mik Foxi
UserID: 2
Рег: May 07, 2020
PostID: 97
# 4
Re: Анализ ботов

Запустил на сервере старые домены, на которых тестил антибота раньше, изображая что у меня вордпресс. Ботов ломятся до сих пор кучи, к wp-includes/wlwmanifest.xml и прочим файлам, на 404 ошибке повесил антибота чтоб посмотреть.

13 июня 2020 в 12:32
0-0 0-0 · UserID: 11 · Рег: May 13, 2020
0-0
0-0
UserID: 11
Рег: May 13, 2020
PostID: 99
# 5
Re: Анализ ботов

Эти результаты с учётом фильтров. С языком ходят полно.

13 июня 2020 в 13:47
0-0 0-0 · UserID: 11 · Рег: May 13, 2020
0-0
0-0
UserID: 11
Рег: May 13, 2020
PostID: 100
# 6
Re: Анализ ботов

В общем, если не юзаете вордпресс и в путях нет упоминания /wp-

в конфиг nginx прописать

location ~* /wp-.* {

deny all;

}

Таким образом все чекеры wp пойдут лесом.

13 июня 2020 в 15:51
Adams SMI Adams SMI · UserID: 10 · Рег: May 13, 2020
Adams SMI
Adams SMI
UserID: 10
Рег: May 13, 2020
PostID: 104
# 7
Re: Анализ ботов

Таким образом все чекеры wp пойдут лесом.

Тогда уже не deny all; а лучше return 444;

Но никуда они не пойдут, они чекают еще много папок и файлов и не только в поисках wordpress, еще ищут joomla, pma и другие движки и скрипты. Думаю лучше если у вас нету этих скриптов, то отдавать статичную html ошибку 404, а не от движка, чтоб сэкономить ресурсы и не делать лишних запросов к базе данных.

13 июня 2020 в 16:55
Mik Foxi Mik Foxi · UserID: 2 · Рег: May 07, 2020
Mik Foxi
Mik Foxi
UserID: 2
Рег: May 07, 2020
PostID: 106
# 8
Re: Анализ ботов

Adams SMI, если стоит антибот, то можно и от движка юзать 404 скрипт. Зато будешь видеть кто и чего ломится.

13 июня 2020 в 16:57
0-0 0-0 · UserID: 11 · Рег: May 13, 2020
0-0
0-0
UserID: 11
Рег: May 13, 2020
PostID: 107
# 9
Re: Анализ ботов

Adams SMI,

Если всё правильно настроено, то будет отдаваться.

Я говорю конкретно о чекерах wp (вордпресс ) , а не об остальных движках. При чём тут они?

Я привёл статистику запросов к этим файлам.

13 июня 2020 в 17:07
Mik Foxi Mik Foxi · UserID: 2 · Рег: May 07, 2020
Mik Foxi
Mik Foxi
UserID: 2
Рег: May 07, 2020
PostID: 108
# 10
Re: Анализ ботов

0-0, 444 лучше, чем 403, это сильно экономит ресурсы сервера.

13 июня 2020 в 17:18
0-0 0-0 · UserID: 11 · Рег: May 13, 2020
0-0
0-0
UserID: 11
Рег: May 13, 2020
PostID: 109
# 11
Re: Анализ ботов

Про ресурсы не знал. Ок, тогда так.

location ~* /wp-.* {

return 444;

}

Сейчас в логе вообще нет этих чекеров.

13 июня 2020 в 17:30
0-0 0-0 · UserID: 11 · Рег: May 13, 2020
0-0
0-0
UserID: 11
Рег: May 13, 2020
PostID: 113
# 12
Re: Анализ ботов

Дабы боты не ломились на ip адрес сервера, и если нет желания, чтобы сайт вообще открывался по ip.

if ($http_host ~ "\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}") {

return 444;

}

14 июня 2020 в 13:31
Mik Foxi Mik Foxi · UserID: 2 · Рег: May 07, 2020
Mik Foxi
Mik Foxi
UserID: 2
Рег: May 07, 2020
PostID: 114
# 13
Re: Анализ ботов

0-0, создай для ip адреса отдельную запись в nginx как отдельный сайт, это самое правильное решение.

14 июня 2020 в 13:40
0-0 0-0 · UserID: 11 · Рег: May 13, 2020
0-0
0-0
UserID: 11
Рег: May 13, 2020
PostID: 132
# 14
Re: Анализ ботов

Битрикс часто ищут. Можно добавить

location ~* /(wp-.*|bitrix)/ {

return 444;

}

17 июня 2020 в 00:40
0-0 0-0 · UserID: 11 · Рег: May 13, 2020
0-0
0-0
UserID: 11
Рег: May 13, 2020
PostID: 133
# 15
Re: Анализ ботов

Точнее будет так

location ~* (/wp-.*|/bitrix/) {

return 444;

}

17 июня 2020 в 02:01
Mik Foxi Mik Foxi · UserID: 2 · Рег: May 07, 2020
Mik Foxi
Mik Foxi
UserID: 2
Рег: May 07, 2020
PostID: 134
# 16
Re: Анализ ботов

0-0, если собирать эти списки - там сотни таких стандартных урлов, которые чекают, не сильно много смысла их блочить если их у тебя все равно нету.

17 июня 2020 в 10:15
0-0 0-0 · UserID: 11 · Рег: May 13, 2020
0-0
0-0
UserID: 11
Рег: May 13, 2020
PostID: 135
# 17
Re: Анализ ботов

Mik Foxi,

Конкретно эти, сильно много чекают. Я предыдущее правило поставил, так в логе моментом пошли wp-login.php. Последней регуляркой всё поправилось.

17 июня 2020 в 11:47
Служба поддержки форума: Telegram: @MikFoxi, Email: admin@mikfoxi.com