谷歌、Anthropic、OpenAI和微软承诺遵守robots.txt新指令，规范生成式AI训练数据抓取

谷歌、Anthropic、OpenAI和微软承诺遵守一项正在审议中的新robots.txt指令。该指令由Anthropic标准技术负责人Kevin Kelley撰写，目前由互联网标准组织IETF审议，旨在让发布者通过统一信号指定其内容是否可用于生成式AI训练。

OpenAI和谷歌在公告中解释，网站所有者目前需要为每家AI公司分别识别爬虫并单独设置规则，新方案将改为由多家AI公司共同识别和遵守同一信号。发布者可在robots.txt文件中新增用户代理“__usage_ai-training”，配合Disallow与Allow指令控制抓取范围，例如允许抓取网站的新闻素材或媒体资料区域，同时阻止面向AI训练的内容收集。

这一指令不会完全禁止爬虫，也不会让网页从谷歌搜索中消失。谷歌将其视为约束“Google-Extended”用户代理的停止信号，该代理用于爬取网站内容训练Gemini模型。此外，新指令无法撤销各家公司过去已完成的抓取，仅对未来的抓取行为生效。

Anthropic已开始支持该指令；微软计划于2027年2月1日支持；谷歌预计在2027年初支持；OpenAI则承诺在未来数月内实施。