Фокси Форум
Очередной ламповый форум для вебмастеров о seo, заработке в интернете, создании сайтов, дорвеях, партнерках, крипте, ботах и антиботах.
Рег: Jun 20, 2020
Тема: URL запрещён к индексированию
Подскажите в чем может быть проблема? Яндекс и другие поисковики не хотят индексировать сайт. Яндекс вот что пишет -
http://xxxxxxxx.online Страница обходится роботом, но отсутствует в поиске.
Последний обход:N / a URL запрещён к индексированию тегом noindex
На субдомен стоит запрет индексации (<meta name="robots" content="noindex" />)
На основной стоит <meta name="robots" content="noarchive" />
Что не так я делаю?
Рег: May 07, 2020
# 1
Re: URL запрещён к индексированию
В яндексе вебмастере: Инструменты - Проверка ответа сервера.
Проверь что он получается. В антиботе не запрещал доступ к яндексу?
Рег: Jun 20, 2020
# 2
Re: URL запрещён к индексированию
Mik Foxi,
Код статуса HTTP 200 OK
В начале страницы:
<meta name="robots" content="noarchive" />
<!DOCTYPE html>
<html lang="ru">
<head>
<meta charset="utf-8">
нет, все по умолчанию.
Рег: Jun 20, 2020
# 3
Рег: May 07, 2020
# 4
Re: URL запрещён к индексированию
tibo_07, так а тело страницы, разверни там в яндексе вкладку, ты что там видишь?
Рег: Jun 20, 2020
# 5
Re: URL запрещён к индексированию
Mik Foxi,
Тега Noindex нет, или еще что то может запрещать?
Рег: May 07, 2020
# 6
Re: URL запрещён к индексированию
tibo_07, robots.txt, ну и хз вообще что там в сайте может еще запрещать )
Рег: Jun 20, 2020
# 7
Re: URL запрещён к индексированию
В robots.txt все нормально, на сайте тоже,
а где в антиботе смотреть запрет?
Рег: May 07, 2020
# 8
Re: URL запрещён к индексированию
tibo_07, в конфиге ты не запретил яндекс бота?
в вебмастере просмотреть как яндекс бот ты видишь контент сайта? значит яндекс норм имеет доступ.
Рег: Jun 20, 2020
# 9
Re: URL запрещён к индексированию
Mik Foxi,
Дальше этой заглушки на сайт никакие сервисы и поисковики не пускает
Рег: May 07, 2020
# 10
Re: URL запрещён к индексированию
tibo_07, в админке антибота в логе ты ip юзеров видишь или своего сервера?
то что пейджспид не проходит это норм, он и не должен проходить, т.к. это ботовый запрос ))
Рег: Jun 20, 2020
# 11
Re: URL запрещён к индексированию
Mik Foxi,
Вот что вижу http://joxi.ru/gmvRE8nfqExBqm
Рег: May 07, 2020
# 12
Re: URL запрещён к индексированию
tibo_07, ну выглядит все норм. ипы юзерские реальные антибот видит. хз в чем косяк, пиши в личку в телегу, может быстрее разберемся.