Фокси Форум
Очередной ламповый форум для вебмастеров о seo, заработке в интернете, создании сайтов, дорвеях, партнерках, крипте, ботах и антиботах.
Рег: May 07, 2020
Тема: Cloudflare боролась со скрейперами, а теперь сама выпустила API для парсинга сайтов.
Cloudflare, годами боровшаяся с парсерами и ботами, неожиданно выпустила API /crawl - инструмент, который упрощает сбор данных с сайтов.
Теперь достаточно одного API-запроса: Cloudflare сама загружает страницу, рендерит ее и возвращает содержимое в HTML, Markdown или JSON. Плюс автоматически достает ссылки и ключевые элементы страницы.
То есть то, для чего раньше нужны были парсеры, браузерная автоматизация и отдельные скрипты, теперь можно сделать намного проще.
Ирония в том, что один из главных игроков на рынке антибот-защиты фактически сделал парсинг удобнее.
Рег: Aug 05, 2025
# 1
Re: Cloudflare боролась со скрейперами, а теперь сама выпустила API для парсинга сайтов.
Как его заблокировать в антибот? CF не использую.