Фокси Форум
Очередной ламповый форум для вебмастеров о seo, заработке в интернете, создании сайтов, дорвеях, партнерках, крипте, ботах и антиботах.
Рег: May 07, 2020
Тема: URL запрещён к индексированию тегом noindex
URL запрещён к индексированию тегом noindex.
Изменился статус страниц в поиске у сайта.
Старый статус: В поиске
Новый статус: Запрещено элементом noindex
Сегодня пришло от Яндекса. Заметил обращения в логе Антибота с кривой подсети 141.8.183.0/24 со статусом FAKE, которая не валидировалась по цепочке ip-ptr-ip. Если тоже есть такое, то добавить в 1 таблицу правил антибота в разрешенные вручную.

Рег: Jun 09, 2020
# 1
Re: URL запрещён к индексированию тегом noindex
Нашел у себя несколько записей FAKE By rule (user-agent part): yandex.com , добавил правило.
Рег: Mar 05, 2025
# 2
Re: URL запрещён к индексированию тегом noindex
Если у меня в выборке по правилам FAKE By rule (user-agent part): yandex.com только selectel датацентр, это же реально фейк?
Рег: May 07, 2020
# 3
Re: URL запрещён к индексированию тегом noindex
Да, у легитимного яндекс бота asname: Edge Technology Plus Beograd
Рег: Feb 09, 2026
# 4
Re: URL запрещён к индексированию тегом noindex
Сегодня при проверки мобильности в яндекс вебмастере яндекс выдал по скрину "Sorry, your request has been denied" и потом как раз так же в статистике появился FAKE
Mozilla/5.0 (iPhone; CPU iPhone OS 15_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.4 Mobile/15E148 Safari/604.1 (compatible; YandexMobileBot/3.0; +http://yandex.com/bots)
Я так теперь понял что все же это не фейк?
Подскажите для чайника - как и где добавить в исключения этого бота, что бы он его пропускал?
Рег: May 07, 2020
# 5
Re: URL запрещён к индексированию тегом noindex
Если это видишь именно в яндекс вебмастере, а не в постороннем сервисе проверки, то настоящий, в логе антибота найди запрос посмотри какая подсеть, если из стартпоста, 141.8.183.* то в антиботе в первую таблицу правил добавить в allow в виде: 141.8.183.0/24
Рег: Jun 09, 2020
# 6
Re: URL запрещён к индексированию тегом noindex
Что интересно, раньше 141.8.183.0/24 была уже в белом списке. Сейчас она в FAKE попадает после того как автоудалится. Т.е. подсеть старая, получается только недавно они испортили у нее PTR?
Рег: May 07, 2020
# 7
Re: URL запрещён к индексированию тегом noindex
возможно там появились новые отдельные ip с кривой настройкой.