--- title: "Cloudflare 新增了针对搜索和 AI 训练的独立控制功能" type: "News" locale: "zh-CN" url: "https://longbridge.com/zh-CN/news/299156802.md" description: "Cloudflare 引入了针对搜索索引、AI 训练和代理的独立控制，允许客户拒绝模型训练而不失去搜索可见性。该公司为符合透明度要求的爬虫运营商推出了 “负责任” 认证，授予苹果、谷歌和微软。这取代了之前的单一 “阻止 AI 机器人” 开关，设立了三个不同的类别，解决了之前迫使用户在搜索存在和 AI 训练选择退出之间做出选择的混合使用爬虫问题" datetime: "2026-09-16T08:29:05.000Z" locales: - [zh-CN](https://longbridge.com/zh-CN/news/299156802.md) - [en](https://longbridge.com/en/news/299156802.md) - [zh-HK](https://longbridge.com/zh-HK/news/299156802.md) generator: "portal-rs" --- # Cloudflare 新增了针对搜索和 AI 训练的独立控制功能 Cloudflare 引入了针对搜索索引、AI 训练和 AI 代理的独立控制，允许客户拒绝模型训练而不将其网站从传统搜索结果中移除。 该公司还推出了 “负责任” 标签，适用于满足或承诺满足其透明度要求的爬虫操作员。Cloudflare 在 9 月 15 日表示，苹果、谷歌和微软获得了该标签。 这些设置可以通过 Cloudflare 的网络进行访问，取代了单一的 “阻止 AI 机器人” 开关。网站所有者可以更改他们的选择，而推荐的默认设置则根据网站是否包含广告而有所不同。 这一变化解决了混合使用的爬虫，它们以相同的机器人身份收集用于搜索和 AI 训练的材料。之前，阻止爬虫以防止训练的网站可能也会失去其搜索可见性。Cloudflare 的框架允许指定的操作员在客户拒绝训练时保持搜索访问权限。 ## 三个控制取代一个开关 Cloudflare 现在将爬虫活动分为三种用途：搜索、训练和代理。搜索涵盖旨在帮助人们找到内容的索引。训练包括用于模型训练或微调的收集。代理活动涵盖为用户实时操作的自动化系统。 对于展示广告的新网站，Cloudflare 建议允许搜索，禁止 AI 训练，并在包含广告的页面上阻止代理。对于其他网站，其推荐设置允许所有三种用途。客户可以覆盖这些选择。 Cloudflare 的文档为每项政策提供了三种操作：允许爬虫、在所有页面上阻止它，或仅在广告页面上阻止它。这些选项适用于所选类别中的验证机器人以及 Cloudflare 将其归入同一类别的其他未验证流量。 该公司还将其管理的 Robots.txt 功能替换为机器人偏好同步。新功能允许客户一次设置偏好，并在 Cloudflare 支持的爬虫中应用这些偏好。该控制结合了偏好信号和 Cloudflare 在边缘阻止爬虫流量的能力。 这些变化遵循了 7 月宣布的政策。当时，TechCrunch 报道 Cloudflare 计划在 9 月 15 日更改新域的默认设置，并对用于多种目的的爬虫采取更严格的处理。 ## Cloudflare 为混合使用爬虫设定标准 Cloudflare 表示，混合使用的爬虫占其网络上验证爬虫流量的 36.6%。它还表示，少于 1% 的网站所有者阻止搜索爬虫，而 17% 限制 AI 训练。这些测量描述了 Cloudflare 的网络，不应被视为整个网络的估计。 要获得 “负责任” 标签，操作员必须提供选择退出 AI 训练的方式，允许选择退出 AI 生成的搜索摘要，提供内容使用的 URL 级可见性，并公开确认拒绝训练不会影响传统搜索排名。 Cloudflare 表示，苹果、谷歌和微软要么满足这些要求，要么提供了实现这些要求的时间表。其他操作员可能在分离搜索和训练爬虫或提供可比控制时符合资格。当 Cloudflare 客户不允许训练时，混合使用的爬虫将被阻止，除非操作员符合公司的框架。 例如，谷歌提供 Google-Extended 令牌，以便网站可以限制某些模型训练用途，而不阻止谷歌搜索。Cloudflare 表示，其他 AI 公司为搜索和训练操作独立的爬虫，允许其训练机器人被阻止而不移除搜索访问权限。 首席执行官 Matthew Prince 表示，这种方法旨在保护搜索，同时让出版商和企业对其作品的使用拥有更多控制权。 ## 控制仍然是平台特定的 这些设置适用于使用 Cloudflare 的网站，并未为爬虫行为创建通用规则。放置在 robots.txt 或相关标准中的信号仍然依赖于爬虫的合规性，除非流量被 Cloudflare 阻止。“负责任” 标签是 Cloudflare 自己的分类，而不是独立认证。 Cloudflare 正在参与互联网工程任务组关于 “ai-prefs” 的工作，这是一个草案规范，旨在为网站提供一种可移植的方式来表达 AI 使用偏好。该标准仍在开发中。 该公司还计划让网站所有者在 2027 年初之前控制其材料在 AI 搜索摘要中出现的程度。该能力是一个明确的目标，但不属于当前发布的内容。 > 当机器成为网络的主要受众时会发生什么？ ### 相关股票 - [NET.US](https://longbridge.com/zh-CN/quote/NET.US.md) - [MSFT.US](https://longbridge.com/zh-CN/quote/MSFT.US.md) - [MSFX.US](https://longbridge.com/zh-CN/quote/MSFX.US.md) - [MSFU.US](https://longbridge.com/zh-CN/quote/MSFU.US.md) - [AAPL.US](https://longbridge.com/zh-CN/quote/AAPL.US.md) - [GOOGL.US](https://longbridge.com/zh-CN/quote/GOOGL.US.md) - [AAPD.US](https://longbridge.com/zh-CN/quote/AAPD.US.md) - [AAPB.US](https://longbridge.com/zh-CN/quote/AAPB.US.md) - [MSFD.US](https://longbridge.com/zh-CN/quote/MSFD.US.md) - [MSFO.US](https://longbridge.com/zh-CN/quote/MSFO.US.md) - [AAPU.US](https://longbridge.com/zh-CN/quote/AAPU.US.md) - [AAPW.US](https://longbridge.com/zh-CN/quote/AAPW.US.md) - [APLY.US](https://longbridge.com/zh-CN/quote/APLY.US.md) - [AAPX.US](https://longbridge.com/zh-CN/quote/AAPX.US.md) - [AAPY.US](https://longbridge.com/zh-CN/quote/AAPY.US.md) - [MAGX.US](https://longbridge.com/zh-CN/quote/MAGX.US.md) - [MSFL.US](https://longbridge.com/zh-CN/quote/MSFL.US.md) - [MSFW.US](https://longbridge.com/zh-CN/quote/MSFW.US.md) - [MSFY.US](https://longbridge.com/zh-CN/quote/MSFY.US.md) - [GGLL.US](https://longbridge.com/zh-CN/quote/GGLL.US.md) - [GGLS.US](https://longbridge.com/zh-CN/quote/GGLS.US.md) - [GOOW.US](https://longbridge.com/zh-CN/quote/GOOW.US.md) - [GOOY.US](https://longbridge.com/zh-CN/quote/GOOY.US.md) - [GOU.US](https://longbridge.com/zh-CN/quote/GOU.US.md) - [GOOX.US](https://longbridge.com/zh-CN/quote/GOOX.US.md) - [GOOP.US](https://longbridge.com/zh-CN/quote/GOOP.US.md) - [GOOG.US](https://longbridge.com/zh-CN/quote/GOOG.US.md) ## 相关资讯与研究 - [Cloudflare盈利超预期后为何成为市场焦点](https://longbridge.com/zh-CN/news/304745772.md) - [日立能源在关键任务行业的企业资产管理领域获“领导者”认可](https://longbridge.com/zh-CN/news/304884811.md) - [苹果推出 50 美元智能使用包，扩展部分 AI 功能访问权限](https://longbridge.com/zh-CN/news/304898664.md) - [苹果继续表示部分 AI 功能额外使用将收费](https://longbridge.com/zh-CN/news/304892017.md) - [Reindeer 登陆 Google Cloud Marketplace，深化与 Google Cloud 合作，助力企业将智能体 AI 融入核心运营](https://longbridge.com/zh-CN/news/304900920.md) --- > **免责声明: 本文仅供参考，不构成任何投资建议。**