Фокси Форум

Очередной ламповый форум для вебмастеров о seo, заработке в интернете, создании сайтов, дорвеях, партнерках, крипте, ботах и антиботах.

Tibo_07 Tibo_07 · UserID: 25 · Рег: 20.06.2020
Tibo_07
Tibo_07
UserID: 25
Рег: Jun 20, 2020
Тема: URL запрещён к индексированию

Подскажите в чем может быть проблема? Яндекс и другие поисковики не хотят индексировать сайт. Яндекс вот что пишет -

http://xxxxxxxx.online Страница обходится роботом, но отсутствует в поиске.

Последний обход:N / a URL запрещён к индексированию тегом noindex

На субдомен стоит запрет индексации (<meta name="robots" content="noindex" />)

На основной стоит <meta name="robots" content="noarchive" />

Что не так я делаю?

20 июня 2020 в 10:15
Mik Foxi Mik Foxi · UserID: 2 · Рег: May 07, 2020
Mik Foxi
Mik Foxi
UserID: 2
Рег: May 07, 2020
PostID: 143
# 1
Re: URL запрещён к индексированию

В яндексе вебмастере: Инструменты - Проверка ответа сервера.

Проверь что он получается. В антиботе не запрещал доступ к яндексу?

20 июня 2020 в 10:34
Tibo_07 Tibo_07 · UserID: 25 · Рег: Jun 20, 2020
Tibo_07
Tibo_07
UserID: 25
Рег: Jun 20, 2020
PostID: 144
# 2
Re: URL запрещён к индексированию

Mik Foxi,

Код статуса HTTP 200 OK

В начале страницы:

<meta name="robots" content="noarchive" />

<!DOCTYPE html>

<html lang="ru">

<head>

<meta charset="utf-8">

В антиботе не запрещал доступ к яндексу?

нет, все по умолчанию.

20 июня 2020 в 10:38
Tibo_07 Tibo_07 · UserID: 25 · Рег: Jun 20, 2020
Tibo_07
Tibo_07
UserID: 25
Рег: Jun 20, 2020
PostID: 145
# 3
Re: URL запрещён к индексированию
20 июня 2020 в 10:45
Mik Foxi Mik Foxi · UserID: 2 · Рег: May 07, 2020
Mik Foxi
Mik Foxi
UserID: 2
Рег: May 07, 2020
PostID: 146
# 4
Re: URL запрещён к индексированию

tibo_07, так а тело страницы, разверни там в яндексе вкладку, ты что там видишь?

20 июня 2020 в 11:13
Tibo_07 Tibo_07 · UserID: 25 · Рег: Jun 20, 2020
Tibo_07
Tibo_07
UserID: 25
Рег: Jun 20, 2020
PostID: 147
# 5
Re: URL запрещён к индексированию

Mik Foxi,

Тега Noindex нет, или еще что то может запрещать?

20 июня 2020 в 11:20
Mik Foxi Mik Foxi · UserID: 2 · Рег: May 07, 2020
Mik Foxi
Mik Foxi
UserID: 2
Рег: May 07, 2020
PostID: 148
# 6
Re: URL запрещён к индексированию

tibo_07, robots.txt, ну и хз вообще что там в сайте может еще запрещать )

20 июня 2020 в 11:51
Tibo_07 Tibo_07 · UserID: 25 · Рег: Jun 20, 2020
Tibo_07
Tibo_07
UserID: 25
Рег: Jun 20, 2020
PostID: 149
# 7
Re: URL запрещён к индексированию

В robots.txt все нормально, на сайте тоже,

В антиботе не запрещал доступ к яндексу?

а где в антиботе смотреть запрет?

20 июня 2020 в 11:55
Mik Foxi Mik Foxi · UserID: 2 · Рег: May 07, 2020
Mik Foxi
Mik Foxi
UserID: 2
Рег: May 07, 2020
PostID: 150
# 8
Re: URL запрещён к индексированию

tibo_07, в конфиге ты не запретил яндекс бота?

в вебмастере просмотреть как яндекс бот ты видишь контент сайта? значит яндекс норм имеет доступ.

20 июня 2020 в 12:15
Tibo_07 Tibo_07 · UserID: 25 · Рег: Jun 20, 2020
Tibo_07
Tibo_07
UserID: 25
Рег: Jun 20, 2020
PostID: 151
# 9
Re: URL запрещён к индексированию

Mik Foxi,

Дальше этой заглушки на сайт никакие сервисы и поисковики не пускает

http://joxi.ru/4Ak31y5to7MVYA

20 июня 2020 в 13:19
Mik Foxi Mik Foxi · UserID: 2 · Рег: May 07, 2020
Mik Foxi
Mik Foxi
UserID: 2
Рег: May 07, 2020
PostID: 152
# 10
Re: URL запрещён к индексированию

tibo_07, в админке антибота в логе ты ip юзеров видишь или своего сервера?

то что пейджспид не проходит это норм, он и не должен проходить, т.к. это ботовый запрос ))

20 июня 2020 в 13:29
Tibo_07 Tibo_07 · UserID: 25 · Рег: Jun 20, 2020
Tibo_07
Tibo_07
UserID: 25
Рег: Jun 20, 2020
PostID: 153
# 11
Re: URL запрещён к индексированию

Mik Foxi,

Вот что вижу http://joxi.ru/gmvRE8nfqExBqm

20 июня 2020 в 13:37
Mik Foxi Mik Foxi · UserID: 2 · Рег: May 07, 2020
Mik Foxi
Mik Foxi
UserID: 2
Рег: May 07, 2020
PostID: 154
# 12
Re: URL запрещён к индексированию

tibo_07, ну выглядит все норм. ипы юзерские реальные антибот видит. хз в чем косяк, пиши в личку в телегу, может быстрее разберемся.

20 июня 2020 в 13:41
Служба поддержки форума: Telegram: @MikFoxi, Email: admin@mikfoxi.com