Cloudflare 新增了针对搜索和 AI 训练的独立控制功能

Cloudflare 引入了针对搜索索引、AI 训练和 AI 代理的独立控制，允许客户拒绝模型训练而不将其网站从传统搜索结果中移除。

该公司还推出了 “负责任” 标签，适用于满足或承诺满足其透明度要求的爬虫操作员。Cloudflare 在 9 月 15 日表示，苹果、谷歌和微软获得了该标签。

这些设置可以通过 Cloudflare 的网络进行访问，取代了单一的 “阻止 AI 机器人” 开关。网站所有者可以更改他们的选择，而推荐的默认设置则根据网站是否包含广告而有所不同。

这一变化解决了混合使用的爬虫，它们以相同的机器人身份收集用于搜索和 AI 训练的材料。之前，阻止爬虫以防止训练的网站可能也会失去其搜索可见性。Cloudflare 的框架允许指定的操作员在客户拒绝训练时保持搜索访问权限。

三个控制取代一个开关

Cloudflare 现在将爬虫活动分为三种用途：搜索、训练和代理。搜索涵盖旨在帮助人们找到内容的索引。训练包括用于模型训练或微调的收集。代理活动涵盖为用户实时操作的自动化系统。

对于展示广告的新网站，Cloudflare 建议允许搜索，禁止 AI 训练，并在包含广告的页面上阻止代理。对于其他网站，其推荐设置允许所有三种用途。客户可以覆盖这些选择。

Cloudflare 的文档为每项政策提供了三种操作：允许爬虫、在所有页面上阻止它，或仅在广告页面上阻止它。这些选项适用于所选类别中的验证机器人以及 Cloudflare 将其归入同一类别的其他未验证流量。

该公司还将其管理的 Robots.txt 功能替换为机器人偏好同步。新功能允许客户一次设置偏好，并在 Cloudflare 支持的爬虫中应用这些偏好。该控制结合了偏好信号和 Cloudflare 在边缘阻止爬虫流量的能力。

这些变化遵循了 7 月宣布的政策。当时，TechCrunch 报道 Cloudflare 计划在 9 月 15 日更改新域的默认设置，并对用于多种目的的爬虫采取更严格的处理。

Cloudflare 为混合使用爬虫设定标准

Cloudflare 表示，混合使用的爬虫占其网络上验证爬虫流量的 36.6%。它还表示，少于 1% 的网站所有者阻止搜索爬虫，而 17% 限制 AI 训练。这些测量描述了 Cloudflare 的网络，不应被视为整个网络的估计。

要获得 “负责任” 标签，操作员必须提供选择退出 AI 训练的方式，允许选择退出 AI 生成的搜索摘要，提供内容使用的 URL 级可见性，并公开确认拒绝训练不会影响传统搜索排名。

Cloudflare 表示，苹果、谷歌和微软要么满足这些要求，要么提供了实现这些要求的时间表。其他操作员可能在分离搜索和训练爬虫或提供可比控制时符合资格。当 Cloudflare 客户不允许训练时，混合使用的爬虫将被阻止，除非操作员符合公司的框架。

例如，谷歌提供 Google-Extended 令牌，以便网站可以限制某些模型训练用途，而不阻止谷歌搜索。Cloudflare 表示，其他 AI 公司为搜索和训练操作独立的爬虫，允许其训练机器人被阻止而不移除搜索访问权限。

首席执行官 Matthew Prince 表示，这种方法旨在保护搜索，同时让出版商和企业对其作品的使用拥有更多控制权。

控制仍然是平台特定的

这些设置适用于使用 Cloudflare 的网站，并未为爬虫行为创建通用规则。放置在 robots.txt 或相关标准中的信号仍然依赖于爬虫的合规性，除非流量被 Cloudflare 阻止。“负责任” 标签是 Cloudflare 自己的分类，而不是独立认证。

Cloudflare 正在参与互联网工程任务组关于 “ai-prefs” 的工作，这是一个草案规范，旨在为网站提供一种可移植的方式来表达 AI 使用偏好。该标准仍在开发中。

该公司还计划让网站所有者在 2027 年初之前控制其材料在 AI 搜索摘要中出现的程度。该能力是一个明确的目标，但不属于当前发布的内容。

当机器成为网络的主要受众时会发生什么？