我是 LongbridgeAI，我可以總結文章信息。Cloudflare 引入了針對搜索索引、AI 訓練和代理的獨立控制，允許客户拒絕模型訓練而不失去搜索可見性。該公司為符合透明度要求的爬蟲運營商推出了 “負責任” 認證，授予蘋果、谷歌和微軟。這取代了之前的單一 “阻止 AI 機器人” 開關，設立了三個不同的類別，解決了之前迫使用户在搜索存在和 AI 訓練選擇退出之間做出選擇的混合使用爬蟲問題
Cloudflare 引入了針對搜索索引、AI 訓練和 AI 代理的獨立控制，允許客户拒絕模型訓練而不將其網站從傳統搜索結果中移除。
該公司還推出了 “負責任” 標籤，適用於滿足或承諾滿足其透明度要求的爬蟲操作員。Cloudflare 在 9 月 15 日表示，蘋果、谷歌和微軟獲得了該標籤。
這些設置可以通過 Cloudflare 的網絡進行訪問，取代了單一的 “阻止 AI 機器人” 開關。網站所有者可以更改他們的選擇，而推薦的默認設置則根據網站是否包含廣告而有所不同。
這一變化解決了混合使用的爬蟲，它們以相同的機器人身份收集用於搜索和 AI 訓練的材料。之前，阻止爬蟲以防止訓練的網站可能也會失去其搜索可見性。Cloudflare 的框架允許指定的操作員在客户拒絕訓練時保持搜索訪問權限。
三個控制取代一個開關
Cloudflare 現在將爬蟲活動分為三種用途：搜索、訓練和代理。搜索涵蓋旨在幫助人們找到內容的索引。訓練包括用於模型訓練或微調的收集。代理活動涵蓋為用户實時操作的自動化系統。
對於展示廣告的新網站，Cloudflare 建議允許搜索，禁止 AI 訓練，並在包含廣告的頁面上阻止代理。對於其他網站，其推薦設置允許所有三種用途。客户可以覆蓋這些選擇。
Cloudflare 的文檔為每項政策提供了三種操作：允許爬蟲、在所有頁面上阻止它，或僅在廣告頁面上阻止它。這些選項適用於所選類別中的驗證機器人以及 Cloudflare 將其歸入同一類別的其他未驗證流量。
該公司還將其管理的 Robots.txt 功能替換為機器人偏好同步。新功能允許客户一次設置偏好，並在 Cloudflare 支持的爬蟲中應用這些偏好。該控制結合了偏好信號和 Cloudflare 在邊緣阻止爬蟲流量的能力。
這些變化遵循了 7 月宣佈的政策。當時，TechCrunch 報道 Cloudflare 計劃在 9 月 15 日更改新域的默認設置，並對用於多種目的的爬蟲採取更嚴格的處理。
Cloudflare 為混合使用爬蟲設定標準
Cloudflare 表示，混合使用的爬蟲佔其網絡上驗證爬蟲流量的 36.6%。它還表示，少於 1% 的網站所有者阻止搜索爬蟲，而 17% 限制 AI 訓練。這些測量描述了 Cloudflare 的網絡，不應被視為整個網絡的估計。
要獲得 “負責任” 標籤，操作員必須提供選擇退出 AI 訓練的方式，允許選擇退出 AI 生成的搜索摘要，提供內容使用的 URL 級可見性，並公開確認拒絕訓練不會影響傳統搜索排名。
Cloudflare 表示，蘋果、谷歌和微軟要麼滿足這些要求，要麼提供了實現這些要求的時間表。其他操作員可能在分離搜索和訓練爬蟲或提供可比控制時符合資格。當 Cloudflare 客户不允許訓練時，混合使用的爬蟲將被阻止，除非操作員符合公司的框架。
例如，谷歌提供 Google-Extended 令牌，以便網站可以限制某些模型訓練用途，而不阻止谷歌搜索。Cloudflare 表示，其他 AI 公司為搜索和訓練操作獨立的爬蟲，允許其訓練機器人被阻止而不移除搜索訪問權限。
首席執行官 Matthew Prince 表示，這種方法旨在保護搜索，同時讓出版商和企業對其作品的使用擁有更多控制權。
控制仍然是平台特定的
這些設置適用於使用 Cloudflare 的網站，並未為爬蟲行為創建通用規則。放置在 robots.txt 或相關標準中的信號仍然依賴於爬蟲的合規性，除非流量被 Cloudflare 阻止。“負責任” 標籤是 Cloudflare 自己的分類，而不是獨立認證。
Cloudflare 正在參與互聯網工程任務組關於 “ai-prefs” 的工作，這是一個草案規範，旨在為網站提供一種可移植的方式來表達 AI 使用偏好。該標準仍在開發中。
該公司還計劃讓網站所有者在 2027 年初之前控制其材料在 AI 搜索摘要中出現的程度。該能力是一個明確的目標，但不屬於當前發佈的內容。
當機器成為網絡的主要受眾時會發生什麼？