Фокси Форум

Очередной ламповый форум для вебмастеров о seo, заработке в интернете, создании сайтов, дорвеях, партнерках, крипте, ботах и антиботах.

Mik Foxi Mik Foxi · UserID: 2 · Рег: 07.05.2020
Mik Foxi
Mik Foxi
UserID: 2
Рег: May 07, 2020
Тема: Cloudflare боролась со скрейперами, а теперь сама выпустила API для парсинга сайтов.

Cloudflare, годами боровшаяся с парсерами и ботами, неожиданно выпустила API /crawl - инструмент, который упрощает сбор данных с сайтов.

Теперь достаточно одного API-запроса: Cloudflare сама загружает страницу, рендерит ее и возвращает содержимое в HTML, Markdown или JSON. Плюс автоматически достает ссылки и ключевые элементы страницы.

То есть то, для чего раньше нужны были парсеры, браузерная автоматизация и отдельные скрипты, теперь можно сделать намного проще.

Ирония в том, что один из главных игроков на рынке антибот-защиты фактически сделал парсинг удобнее.

13 марта 2026 в 20:17 (изменено: 13 марта 2026 в 21:20)
Ilya Ilya · UserID: 364 · Рег: Aug 05, 2025
Ilya
Ilya
UserID: 364
Рег: Aug 05, 2025
PostID: 1018
# 1
Re: Cloudflare боролась со скрейперами, а теперь сама выпустила API для парсинга сайтов.

Как его заблокировать в антибот? CF не использую.

14 марта 2026 в 09:33
Служба поддержки форума: Telegram: @MikFoxi, Email: admin@mikfoxi.com