Фокси Форум

Очередной ламповый форум для вебмастеров о seo, заработке в интернете, создании сайтов, дорвеях, партнерках, крипте, ботах и антиботах.

Mik Foxi Mik Foxi · UserID: 2 · Рег: 07.05.2020
Mik Foxi
Mik Foxi
UserID: 2
Рег: May 07, 2020
Тема: URL запрещён к индексированию тегом noindex

URL запрещён к индексированию тегом noindex.

Изменился статус страниц в поиске у сайта.

Старый статус: В поиске

Новый статус: Запрещено элементом noindex

Сегодня пришло от Яндекса. Заметил обращения в логе Антибота с кривой подсети 141.8.183.0/24 со статусом FAKE, которая не валидировалась по цепочке ip-ptr-ip. Если тоже есть такое, то добавить в 1 таблицу правил антибота в разрешенные вручную.

9 февраля 2026 в 09:11
LoL LoL · UserID: 22 · Рег: Jun 09, 2020
LoL
LoL
UserID: 22
Рег: Jun 09, 2020
PostID: 973
# 1
Re: URL запрещён к индексированию тегом noindex

Нашел у себя несколько записей FAKE By rule (user-agent part): yandex.com , добавил правило.

9 февраля 2026 в 10:08
SerЖ SerЖ · UserID: 298 · Рег: Mar 05, 2025
SerЖ
SerЖ
UserID: 298
Рег: Mar 05, 2025
PostID: 974
# 2
Re: URL запрещён к индексированию тегом noindex

Если у меня в выборке по правилам FAKE By rule (user-agent part): yandex.com только selectel датацентр, это же реально фейк?

9 февраля 2026 в 10:10
Mik Foxi Mik Foxi · UserID: 2 · Рег: May 07, 2020
Mik Foxi
Mik Foxi
UserID: 2
Рег: May 07, 2020
PostID: 975
# 3
Re: URL запрещён к индексированию тегом noindex

SerЖ: Если у меня в выборке по правилам FAKE By rule (user-agent part): yandex.com только selectel датацентр, это же реально фейк?

Да, у легитимного яндекс бота asname: Edge Technology Plus Beograd

9 февраля 2026 в 10:11
Иван Иван · UserID: 406 · Рег: Feb 09, 2026
Иван
Иван
UserID: 406
Рег: Feb 09, 2026
PostID: 976
# 4
Re: URL запрещён к индексированию тегом noindex

Сегодня при проверки мобильности в яндекс вебмастере яндекс выдал по скрину "Sorry, your request has been denied" и потом как раз так же в статистике появился FAKE

Mozilla/5.0 (iPhone; CPU iPhone OS 15_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.4 Mobile/15E148 Safari/604.1 (compatible; YandexMobileBot/3.0; +http://yandex.com/bots)

Я так теперь понял что все же это не фейк?

Подскажите для чайника - как и где добавить в исключения этого бота, что бы он его пропускал?

9 февраля 2026 в 14:41
Mik Foxi Mik Foxi · UserID: 2 · Рег: May 07, 2020
Mik Foxi
Mik Foxi
UserID: 2
Рег: May 07, 2020
PostID: 977
# 5
Re: URL запрещён к индексированию тегом noindex

Иван: Я так теперь понял что все же это не фейк?

Если это видишь именно в яндекс вебмастере, а не в постороннем сервисе проверки, то настоящий, в логе антибота найди запрос посмотри какая подсеть, если из стартпоста, 141.8.183.* то в антиботе в первую таблицу правил добавить в allow в виде: 141.8.183.0/24

10 февраля 2026 в 11:07
LoL LoL · UserID: 22 · Рег: Jun 09, 2020
LoL
LoL
UserID: 22
Рег: Jun 09, 2020
PostID: 982
# 6
Re: URL запрещён к индексированию тегом noindex

Что интересно, раньше 141.8.183.0/24 была уже в белом списке. Сейчас она в FAKE попадает после того как автоудалится. Т.е. подсеть старая, получается только недавно они испортили у нее PTR?

13 февраля 2026 в 10:17
Mik Foxi Mik Foxi · UserID: 2 · Рег: May 07, 2020
Mik Foxi
Mik Foxi
UserID: 2
Рег: May 07, 2020
PostID: 985
# 7
Re: URL запрещён к индексированию тегом noindex

LoL: Т.е. подсеть старая, получается только недавно они испортили у нее PTR?

возможно там появились новые отдельные ip с кривой настройкой.

13 февраля 2026 в 10:25
Служба поддержки форума: Telegram: @MikFoxi, Email: admin@mikfoxi.com