根據 Cloudflare 的博客，該公司已向所有客户提供了 “阻止 AI 訓練” 設置。根據 PANews 的報道，該設置允許網站在被搜索引擎索引的同時拒絕其內容用於 AI 模型訓練，從而解決了搜索和訓練依賴同一爬蟲所帶來的權衡問題。Cloudflare 還引入了 “負責任” 的爬蟲操作員認證。要獲得認證，操作員必須提供訓練和 AI 摘要的選擇退出選項，披露 URL 級別的索引狀態，並承諾選擇退出訓練不會影響搜索排名。蘋果、谷歌、微軟、亞馬遜、Anthropic、Meta 和 OpenAI 獲得了這一認證。Cloudflare 表示，大約 17% 的網站啓用了某種形式的阻止訓練機制，而阻止搜索爬蟲的網站不到 1%。