Firecrawl

API для скрейпинга сайтов и превращения веба в данные для LLM

firecrawl.dev ↗
 Публичный пост

Что это

Firecrawl — сервис и API для сбора веб-контента: скрейпинг отдельных страниц, краулинг сайтов по ссылкам с учётом robots.txt, построение карты сайта и поиск с полным контентом результатов. Обрабатывает JavaScript-рендеренные страницы, парсит PDF и DOCX, отдаёт результат в чистом markdown или структурированном JSON, а не в сыром HTML. Есть отдельная функция взаимодействия со страницей — клики, заполнение форм, навигация перед извлечением данных.

Для участника клуба это готовый блок для пайплайнов автоматизации и вайб-кодинга: можно за один вызов API получить данные сайта в формате, который сразу скармливается модели, без написания парсеров на BeautifulSoup или Puppeteer. Подходит для сборки RAG-баз знаний, мониторинга цен и контента конкурентов, обогащения лидов данными с сайтов, автоматического сбора материалов для генерации контента. Хорошо интегрируется в n8n и агентные скрипты через REST API и официальные SDK.

По утверждению разработчиков, markdown-вывод получается заметно компактнее исходного HTML по числу токенов, что снижает расходы на LLM при последующей обработке скрейпленных данных.

Возможности

  • Scrape: одна страница в markdown, JSON, HTML или скриншот
  • Crawl: обход всего сайта по ссылкам с учётом robots.txt
  • Map: быстрое построение карты URL сайта без полного скрейпинга
  • Search: поиск в интернете с возвратом полного контента найденных страниц
  • Interact: клики, заполнение форм и навигация по странице перед извлечением
  • Рендеринг JavaScript-страниц и парсинг PDF, DOCX
  • REST API и официальные SDK (Python, Node.js) для встраивания в пайплайны и n8n
  • Open-source ядро с возможностью самостоятельного хостинга

Цена: Free: 1000 кредитов/мес, 2 параллельных запроса. Hobby $16/мес — 5000 кредитов, 5 параллельных. Standard $83/мес — 100000 кредитов, 50 параллельных. Growth $333/мес — 500000 кредитов, 100 параллельных. Scale $599/мес — 1000000 кредитов, 150 параллельных. Enterprise — индивидуально. Scrape/Crawl/Map = 1 кредит/страница, Search = 2 кредита/10 результатов, Interact = 2 кредита/минуту.

Разбираем в материалах Академии

Откомментируйте первым 👇

😎

Автор поста открыл его для большого интернета, но комментирование и движухи доступны только участникам Клуба

Что вообще здесь происходит?


Войти  или  Вступить в Клуб