Фокси Форум
Очередной ламповый форум для вебмастеров о seo, заработке в интернете, создании сайтов, дорвеях, партнерках, крипте, ботах и антиботах.
Рег: May 07, 2020
Тема: PTR fetch.tunnel.googlezip.net и /.well-known/traffic-advice
Боты с PTR-записью fetch.tunnel.googlezip.net связаны с инфраструктурой Google, а точнее с функцией предварительной загрузки (prefetching) веб-страниц, используемой в браузере Chrome. Это не "боты" в традиционном смысле, как, например, поисковые краулеры Googlebot, а часть механизма, предназначенного для ускорения загрузки страниц для пользователей.
На самом деле практической пользы и ускорения нету в этом проксировании (даже сами гугловцы ожидают ускорение толи в 3% случаев, толи у 3% посетителей, при переходе посетителя из выдачи Гугла в Хром браузере, судя по найденным обсуждениям в интернете). А вред есть - увеличение нагрузки на сервер изза дополнительных бесполезных запросов к нему от гугл серверов, засирание логов сервера, логов антибота, а также посетителю, перешедшему с Гугла нужно не 1 раз, а 2 раза проходить антибота, т.к. первый запрос идет с IP адресов Гугла и без cookie, а потом уже полноценный запрос с IP посетителя.
fetch.tunnel.googlezip.net — это домен (PTR), используемый в рамках технологии Chrome Privacy Preserving Prefetch Proxy. Она была разработана Google для Android-версии Chrome и направлена на улучшение скорости загрузки страниц. Когда пользователь открывает страницу (например, через поиск Google), Chrome может заранее загружать ссылки, которые, вероятно, будут открыты, через прокси-серверы Google. Эти запросы исходят с IP-адресов, связанных с fetch.tunnel.googlezip.net.
Если в настройках браузера посетителей стоит: Настройки - Производительность - Предзагрузка страниц, то Chrome будет (не всегда, только в каком то проценте случаев) предварительно загружать страницы, которые вы с высокой вероятностью посетите...
От этого в логах сервера могут появляться запросы сначала от User-Agent Chrome Privacy Preserving Prefetch Proxy к файлу /.well-known/traffic-advice и сразу же запрос к странице сайта от подсетей 72.14.201.0/24 и 193.186.4.0/24, но уже с User-Agent обычного браузера.
Начало изучения этого вопроса в теме: https://foxi.biz/viewtopic.php?id=275
Моя текущая актуальная версия этого будет тут. В будущем буду актуализировать этот пост при появлении новых результатов.
Чтобы прекратить все это безобразие, нужно сделать это:
Создать директорию (именно с точкой в начале имени) и файл (именно такой, без расширения):
/.well-known/traffic-adviceСодержащий json контент:
[{"user_agent": "prefetch-proxy", "disallow": true}]Чтобы получилось как тут: https://foxi.biz/.well-known/traffic-advice
Настроить правильную отдачу серверных заголовков для этого файла (без этого файл правил скорее всего будет считаться не рабочим и игнорироваться запрет в нем).
Для NGINX:
location /.well-known/traffic-advice {
default_type "application/trafficadvice+json; charset=utf-8";
}
Для Apache в .htaccess:
<Files "traffic-advice">
ForceType application/trafficadvice+json
Header set Content-Type "application/trafficadvice+json"
</Files>
Если используется Cloudflare, то в WAF создать разрешающее правило, чтобы запрос к этому URL не блокировался. К нему будет обращаться гугловский бот с именем: Chrome Privacy Preserving Prefetch Proxy
Проверить правильность составления файла можно чекером: https://traffic-advice-checkup.netlify.app/ Если все ок, то результат будет таким:

После этих настроек через некоторое время (у меня заняло это часов 6) должен прекратить ходить googlezip бот и портить статистику.
Но бот проверяльщик правил будет периодически ходить на адрес /.well-known/traffic-advice:

Рег: Mar 05, 2025
# 1
Re: PTR fetch.tunnel.googlezip.net и /.well-known/traffic-advice
А если просто блокировать tunnel.googlezip.net?
Рег: May 07, 2020
# 2
Re: PTR fetch.tunnel.googlezip.net и /.well-known/traffic-advice
Это неправильный подход. При блокировке надо код 403 или какой нибудь такой. и хз в итоге кому там что будет гугл показывать. Лучше настроить по инструкции отключение таких запросов.
Рег: Jun 09, 2020
# 3
Re: PTR fetch.tunnel.googlezip.net и /.well-known/traffic-advice
Сделал, запросы с .v4.fetch.tunnel.googlezip.net исчезли и самый прикол - в 4 раза уменьшилось количество с AdBlock, было под 40%, стало в районе 10%. Есть у кого такой же эффект?
Рег: Jun 09, 2020
# 4
Re: PTR fetch.tunnel.googlezip.net и /.well-known/traffic-advice
у меня googlezip.net изначально был в белом списке по подсети в 1 таблице антибота.
Рег: May 07, 2020
# 5
Re: PTR fetch.tunnel.googlezip.net и /.well-known/traffic-advice
да у меня тоже снизилось.