Многие люди, занимающиеся AI-приложениями, сначала увлекаются моделью.

Но когда продукт действительно начинает работать, они понимают, что сложность часто не в «генерации», а в «получении данных».
Firecrawl, который сегодня быстро набирает звёзды в GitHub Trending, в сущности решает эту проблему.
Сегодня он снова получил 834 звезды, общее количество достигло 146 тысяч.
Одно предложение для понимания:
Это не обычный краулер, а инструмент, который преобразует содержимое веб-страниц в контекст, который AI легче «переварить».
Например:
Поиск веб-страниц
Извлечение основного текста
Преобразование в Markdown
Вывод в структурированном JSON
Даже возможность сначала взаимодействовать, а затем извлекать содержимое
Ценность таких инструментов не в фразе «собирать веб-страницы».
А в том, что они заполняют самый грязный, надоедливый, но неизбежный уровень инфраструктуры в AI-приложениях:
Стабильная поставка модели информации из реального мира.
Я всё больше убеждаюсь, что в будущем разница между многими AI-продуктами будет не только в модели,
но и в способности постоянно получать чистый, пригодный для использования, низкошумный внешний контекст.
Ссылка на проект:

Если вы занимаетесь агентами, поиском, RAG, автоматизированным сбором информации, такие проекты вряд ли обойдёте. Если интересно, можете установить и попробовать.