OpenAI、Google、微软、Anthropic 支持 robots.txt 统一 AI 训练退出信号
2026 年 10 月 30 日，四家 AI 公司宣布支持一个跨厂商的 robots.txt 训练偏好信号：网站写一组 User-Agent: __usage_ai-training 规则，就能一次性向参与厂商表达是否允许用于 AI 训练，不必再逐个屏蔽爬虫。Anthropic 已采用，OpenAI 称未来几个月实施，Google 和微软目标 2027 年。该方案目前是 IETF 个人草案，尚非正式标准。
据 The Verge 2026 年 10 月 30 日报道，OpenAI、Google、微软和 Anthropic 表示将采用一个新的共享信号，让网站发布者一次性向多家 AI 公司表达训练偏好，而不必像过去那样针对每家公司的爬虫分别设置。报道称，四家公司表示在遇到该共享标记时会限制其 AI 爬虫访问网站；Meta 传播负责人 Andy Stone 表态支持，但没有说明 Meta 是否会遵守。
这个信号来自 Anthropic 标准技术负责人 Kevin Kelley 于 10 月 30 日提交的 IETF 互联网草案。做法是在 robots.txt 里写普通的分组规则，用 User-Agent: __usage_ai-training 这一“policy token”按路径声明是否允许用于 AI 训练，例如 Disallow: / 表示整站不同意、再用 Allow 放行个别目录。草案不新增任何指令或语法，User-Agent: * 通配组不得被视为匹配该标记。草案页面注明，这是个人提交的互联网草案，未获 IETF 背书，没有正式标准地位。
Google 在 Search Central 博客中表示，若网站用该标记选择退出训练且没有单独写 Google-Extended 规则，Google 计划视同网站禁止了 Google-Extended；Google-Extended 等各公司自有控制继续有效，可与共同信号叠加使用，并目标与其他 AI 厂商在 2027 年支持这一控制。Google 称该提案与欧盟 AI 法案下通用 AI 模型行为准则把 robots.txt 视为主要机器可读偏好表达方式的做法一致。
实施时间各家不同：据 Verge，Anthropic 已经采用该信号，Google 与微软计划明年支持，OpenAI 表示会在“未来几个月”实施。微软还称将提供更细的控制，让发布者分别选择退出 AI 训练或 AI grounding（让模型引用已验证来源以减少幻觉），且网站是否出现在 Bing 搜索结果不受这些偏好影响。
来源
- Supporting a shared AI training control for websites — Google Search Central Blog
- Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal-00) — IETF Datatracker
- The biggest names in AI are backing a new way to opt out of scraping — The Verge