四大AI公司采纳统一爬虫退出标准

2026年10月31日，据 The Verge 报道，OpenAI、Google、Microsoft 和 Anthropic 表示将采用一种基于 robots.txt 的新标准，让出版商可以一次性声明是否允许 AI 抓取，不必再逐家设置。四家公司的落地节奏并不一致：Anthropic 已采纳该信号；Google 和 Microsoft 计划明年支持；OpenAI 称将在“未来几个月”实施。Microsoft 还表示将提供更细粒度的控制，让出版商可以选择退出 AI 训练或 AI grounding（即引导模型指向经验证的来源以减少幻觉），并说明无论网站作何选择，其仍会出现在 Bing 搜索结果中。报道提到，该消息此前由 Search Engine Roundtable 报道。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。