OpenAI、谷歌、微软、Anthropic联合背书:一行robots.txt,对所有AI训练说「不」

10月30日,AI行业迎来一个少有的「四方同日」时刻:谷歌、微软、OpenAI三家公司先后发文,Anthropic的标准负责人则向互联网工程任务组(IETF)提交了一份技术草案,四家第一次在同一条规则上对齐——网站只要在robots.txt里写一次共享的「策略令牌」__usage_ai-training,就能向所有参与厂商统一表达「不要拿我的内容去训练生成式AI模型」。过去三年,出版商想退出AI训练,得给每家公司的爬虫各写一套规则;现在,最大的几家模型厂商第一次承认:网站只说一次,各家都要听懂。
一行配置说了什么
先看这份信号长什么样。按Anthropic标准技术负责人Kevin Kelley提交给IETF的草案(draft-kelley-aipref-training-preference-signal-00),网站想全站退出训练,只需在robots.txt里加一个组:User-Agent: __usage_ai-training 配 Disallow: /。草案没有发明新语法,路径匹配规则全部沿用2022年的robots排除协议RFC 9309,令牌前的双下划线是为了让现有解析器不容易误匹配。它也可以做到路径级精细控制:比如全站退出训练、但放行新闻资料包目录。
User-agent: __usage_ai-training
Disallow: /
# 全站退出训练,但放行新闻资料包
User-agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
四家的承诺和时间表
四家的承诺和时间表并不一致。微软最细:除读取共享信号外,还推出页面级的AI Training与AI Grounding控制,2027年2月1日开始执行;谷歌计划把它视同禁用Google-Extended,目标2027年初;OpenAI承诺在「未来几个月」内遵守,但强调这是「自愿努力」;Anthropic则表示已按草案开始实现支持。需要提醒的是,这份草案目前还是个人提交,未经IETF正式背书,2027年5月3日到期,除非被修订或采纳。
三条最容易被误读的细则
有三条细则最容易被误读。第一,通配符不算数:User-agent: * 的通用组不会被解释为匹配该策略令牌,想表达偏好必须明写__usage_ai-training。第二,它管用途、不管抓取:爬虫能不能来仍由针对其名字的规则决定,「不想被训练」和「不想被抓」是两套规则。第三,默认是允许:不写就等于没说不;而且信号没有追溯力,网站今天加上退出,管不住厂商以前已经抓走的内容。法新社转述的数据也提醒大家别高估约束力——第三方监测机构TollBit称,约15%的AI抓取者访问过网站明令禁止的URL。
退出不等于许可:版权仍需交易层
更关键的是边界:退出不等于许可。共享信号提供的是技术退出通道,不是版权许可制度——内容能否被授权、以什么价格授权,仍要靠合同和交易层来完成。覆盖面也有缺口:Meta只表态支持、未承诺读取;亚马逊、苹果都不在承诺方之列。robots.txt从来都是君子协定而非技术围墙,新信号只是让协定的措辞统一了,没有给它装上锁。但方向是明确的:AI数据治理正从企业政策文本,向协议化、标准化的方向前移。
GEO视角:允许与退出,决定你在AI答案里的可见度
对做GEO(生成式引擎优化)的人来说,这件事的分量在另一端:允许与退出,直接决定你在AI答案里的可见度。谷歌明确说,用共享令牌退出训练、又没单独写Google-Extended的网站,会被视同禁用Google-Extended——而Google-Extended恰好也管Gemini应用里的引用资格;换句话说,「只想退出训练、不想退出引用」这个组合,在谷歌这里目前没有单一开关。微软则把grounding(用实时网页支撑AI回答)单独做成页面级控制,选了限制,官方原话是「品牌在AI回答里的可见度会下降」。AI时代的分发逻辑已经变了:你的内容进不进语料池,决定模型认不认识你;允不允许被引用,决定AI答问题时提不提到你。这两件事第一次被放到了同一个文件里管理。
三件马上能做的事
落到执行,三件事可以马上做。第一,体检robots.txt:看清现在挡了哪些爬虫、有没有误用通配符表达训练偏好,等厂商执行期到了再补就来不及了。第二,想清楚立场:训练、grounding、引用是三个可以分开决策的选项,内容方要按自己的商业模式选组合,而不是一刀切。第三,盯住执行窗口:微软2027年2月1日、谷歌2027年初、OpenAI未来几个月,把日历标上,届时拿主流模型跑一遍品牌问答,验证自己的信号有没有被读到、被遵守。规则写进robots.txt只是第一步,被AI读懂并且被遵守,才算真正生效。(文 / AI30媒体部 | 最后更新:2026年11月1日)



