根据IT之家发布的报道，人工智能行业的四家头部企业近日联合推进了一项旨在规范网络内容抓取的新标准。参与此次行动的机构包括OpenAI、谷歌、微软以及Anthropic，它们正试图简化网站运营者拒绝人工智能爬虫抓取数据的流程。

按照IT之家的说法，这项由Anthropic技术负责人Kevin Kelley向互联网工程任务组（IETF）提出的方案，将直接集成在网站原有的robots.txt文件中。过去，网站所有者如果希望阻止不同的人工智能模型训练自身系统，往往需要逐一对应各家企业的规则进行繁琐设置。而根据新机制，内容发布方只需进行一次性操作，即可向多家科技企业统一传达他们对数据使用的具体偏好。

背景与行业影响

长期以来，数字内容创作者、新闻机构与人工智能开发商之间关于数据版权的摩擦不断升级，各大平台在获取免费训练素材与保护创作者权益之间寻找平衡点已成当务之急。正如我们在关于多家科技巨头向媒体承诺：将出台新方案，禁止抓取新闻内容用以训练AI模型的深度报道中所指出，版权方对于自身作品被无偿用于大模型训练的担忧持续存在。此次四大巨头联手推出统一的退出标准，虽然在技术层面回应了业界的呼声，但也暴露出科技巨头在如何定义和执行数据抓取规则上仍然占据着主导地位。

从分析角度来看，这一标准的落地将实质性改变网站所有者管理数字资产的方式，降低中小型内容发布方的技术门槛和维权成本。然而，由于该机制本质上仍依赖于科技企业自身的合规意愿，其实际执行效果以及是否能从根本上缓解版权焦虑，依然需要持续观察。未来需要关注的是，互联网工程任务组是否会正式采纳该提案，以及其他中小型人工智能公司是否会跟进这一统一的退出规范。

Sources: IT之家