Фокси Форум

Очередной ламповый форум для вебмастеров о seo, заработке в интернете, создании сайтов, дорвеях, партнерках, крипте, ботах и антиботах.

Mik Foxi Mik Foxi · UserID: 2 · Рег: 07.05.2020
Mik Foxi
Mik Foxi
UserID: 2
Рег: May 07, 2020
Тема: PTR fetch.tunnel.googlezip.net и /.well-known/traffic-advice

Боты с PTR-записью fetch.tunnel.googlezip.net связаны с инфраструктурой Google, а точнее с функцией предварительной загрузки (prefetching) веб-страниц, используемой в браузере Chrome. Это не "боты" в традиционном смысле, как, например, поисковые краулеры Googlebot, а часть механизма, предназначенного для ускорения загрузки страниц для пользователей.

На самом деле практической пользы и ускорения нету в этом проксировании (даже сами гугловцы ожидают ускорение толи в 3% случаев, толи у 3% посетителей, при переходе посетителя из выдачи Гугла в Хром браузере, судя по найденным обсуждениям в интернете). А вред есть - увеличение нагрузки на сервер изза дополнительных бесполезных запросов к нему от гугл серверов, засирание логов сервера, логов антибота, а также посетителю, перешедшему с Гугла нужно не 1 раз, а 2 раза проходить антибота, т.к. первый запрос идет с IP адресов Гугла и без cookie, а потом уже полноценный запрос с IP посетителя.

fetch.tunnel.googlezip.net — это домен (PTR), используемый в рамках технологии Chrome Privacy Preserving Prefetch Proxy. Она была разработана Google для Android-версии Chrome и направлена на улучшение скорости загрузки страниц. Когда пользователь открывает страницу (например, через поиск Google), Chrome может заранее загружать ссылки, которые, вероятно, будут открыты, через прокси-серверы Google. Эти запросы исходят с IP-адресов, связанных с fetch.tunnel.googlezip.net.

Если в настройках браузера посетителей стоит: Настройки - Производительность - Предзагрузка страниц, то Chrome будет (не всегда, только в каком то проценте случаев) предварительно загружать страницы, которые вы с высокой вероятностью посетите...

От этого в логах сервера могут появляться запросы сначала от User-Agent Chrome Privacy Preserving Prefetch Proxy к файлу /.well-known/traffic-advice и сразу же запрос к странице сайта от подсетей 72.14.201.0/24 и 193.186.4.0/24, но уже с User-Agent обычного браузера.

Начало изучения этого вопроса в теме: https://foxi.biz/viewtopic.php?id=275

Моя текущая актуальная версия этого будет тут. В будущем буду актуализировать этот пост при появлении новых результатов.

Чтобы прекратить все это безобразие, нужно сделать это:

Создать директорию (именно с точкой в начале имени) и файл (именно такой, без расширения):

/.well-known/traffic-advice

Содержащий json контент:

[{"user_agent": "prefetch-proxy", "disallow": true}]

Чтобы получилось как тут: https://foxi.biz/.well-known/traffic-advice

Настроить правильную отдачу серверных заголовков для этого файла (без этого файл правил скорее всего будет считаться не рабочим и игнорироваться запрет в нем).

Для NGINX:

location /.well-known/traffic-advice {

default_type "application/trafficadvice+json; charset=utf-8";

}

Для Apache в .htaccess:

<Files "traffic-advice">

ForceType application/trafficadvice+json

Header set Content-Type "application/trafficadvice+json"

</Files>

Если используется Cloudflare, то в WAF создать разрешающее правило, чтобы запрос к этому URL не блокировался. К нему будет обращаться гугловский бот с именем: Chrome Privacy Preserving Prefetch Proxy

Проверить правильность составления файла можно чекером: https://traffic-advice-checkup.netlify.app/ Если все ок, то результат будет таким:

После этих настроек через некоторое время (у меня заняло это часов 6) должен прекратить ходить googlezip бот и портить статистику.

Но бот проверяльщик правил будет периодически ходить на адрес /.well-known/traffic-advice:

20 марта 2025 в 12:59 (изменено: 14 августа 2025 в 16:48)
SerЖ SerЖ · UserID: 298 · Рег: Mar 05, 2025
SerЖ
SerЖ
UserID: 298
Рег: Mar 05, 2025
PostID: 695
# 1
Re: PTR fetch.tunnel.googlezip.net и /.well-known/traffic-advice

А если просто блокировать tunnel.googlezip.net?

8 апреля 2025 в 14:46
Mik Foxi Mik Foxi · UserID: 2 · Рег: May 07, 2020
Mik Foxi
Mik Foxi
UserID: 2
Рег: May 07, 2020
PostID: 697
# 2
Re: PTR fetch.tunnel.googlezip.net и /.well-known/traffic-advice

SerЖ: А если просто блокировать tunnel.googlezip.net?

Это неправильный подход. При блокировке надо код 403 или какой нибудь такой. и хз в итоге кому там что будет гугл показывать. Лучше настроить по инструкции отключение таких запросов.

8 апреля 2025 в 14:56
LoL LoL · UserID: 22 · Рег: Jun 09, 2020
LoL
LoL
UserID: 22
Рег: Jun 09, 2020
PostID: 707
# 3
Re: PTR fetch.tunnel.googlezip.net и /.well-known/traffic-advice

Сделал, запросы с .v4.fetch.tunnel.googlezip.net исчезли и самый прикол - в 4 раза уменьшилось количество с AdBlock, было под 40%, стало в районе 10%. Есть у кого такой же эффект?

9 апреля 2025 в 11:43
LoL LoL · UserID: 22 · Рег: Jun 09, 2020
LoL
LoL
UserID: 22
Рег: Jun 09, 2020
PostID: 708
# 4
Re: PTR fetch.tunnel.googlezip.net и /.well-known/traffic-advice

у меня googlezip.net изначально был в белом списке по подсети в 1 таблице антибота.

9 апреля 2025 в 11:44
Mik Foxi Mik Foxi · UserID: 2 · Рег: May 07, 2020
Mik Foxi
Mik Foxi
UserID: 2
Рег: May 07, 2020
PostID: 711
# 5
Re: PTR fetch.tunnel.googlezip.net и /.well-known/traffic-advice

LoL: Есть у кого такой же эффект?

да у меня тоже снизилось.

9 апреля 2025 в 16:22
Служба поддержки форума: Telegram: @MikFoxi, Email: admin@mikfoxi.com