根据 Cloudflare 披露，这家基础设施巨头近日宣布，所有 AI 公司必须在 2026 年 9 月 15 日前将搜索引擎爬虫与 AI 训练爬虫分离，否则将面临全面封禁。管理全球约 20% 网络流量的 Cloudflare 援引数据称，2026 年上半年自动化机器人流量已超过人类流量——这一拐点比行业分析师预测的时间提前了一年。
谷歌因占据 90% 的搜索市场份额而面临最大冲击，目前其同时使用 Googlebot 进行索引以及训练其 Gemini 模型。该公司必须选择要么失去对 20% 索引页面的访问权限，要么分离爬虫却面临 AI 训练数据短缺的风险。相比之下，OpenAI 已实现 GPTBot（用于训练数据采集）与 ChatGPT-User（用于实时网络查询）的分离。
