多くの人がAIアプリケーションを作る時、最初に競争するのはモデルです。

しかし、実際に製品を形にしてみると、難所は往々にして「生成」ではなく「データ取得」にあることがわかります。
今日のGitHub Trendingで急上昇しているFirecrawlは、まさにこの問題を解決するものです。
今日もさらに834 stars増え、総starsは146kに達しました。
一言で理解するなら：
これは普通のクローラーではなく、ウェブページの内容をAIがより取り込みやすいコンテキストに直接整理するものです。
例えば：
Web検索
本文抽出
Markdown変換
構造化JSON出力
さらには、まずインタラクションを行ってから内容を抽出することも可能です。
こうしたツールの価値は、「ウェブページを取得する」という3文字ではありません。
むしろ、AIアプリケーションにおいて最も厄介で面倒だが、避けて通れないインフラ層を補完する点にあります：
現実世界の情報を安定してモデルに供給することです。
私はますます、将来の多くのAI製品の差はモデル自体だけではなく、
クリーンで利用可能でノイズの少ない外部コンテキストを継続的に取得できるかどうかにあると感じています。
プロジェクトアドレス：

もしあなたがAgent、検索、RAG、自動情報収集をやっているなら、こうしたプロジェクトは基本的に避けて通れません。興味があればインストールして試してみてください。