Cloudflareによると、このインフラ大手は最近、すべてのAI企業は2026年9月15日までに検索エンジンクローラーとAIトレーニングクローラーを分離しなければならず、さもなければ完全にブロックされると発表しました。世界のWebトラフィックの約20%を管理するCloudflareは、2026年前半に自動ボットトラフィックがすでに人間のトラフィックを超えたことを示すデータを引用しました。これは、業界アナリストが1年後に起きると予測していた転換点です。
Googleは、検索市場シェア90%のために最も大きな影響を受けます。現在、Googlebotをインデックス作成とGeminiモデルのトレーニングの両方に使用しているためです。同社は、インデックスされたページの20%へのアクセスを失うか、クローラーを分離してAIトレーニングデータ不足のリスクを負うかの選択を迫られています。対照的に、OpenAIはすでにGPTBotをトレーニングデータ収集用に、ChatGPT-UserをリアルタイムのWebクエリ用に分割しています。
