<p>當 Cloudflare 在週一指控 AI 搜索引擎 Perplexity 偷偷抓取網站，同時忽視網站特定的阻止方法時，這並不是一個簡單的 AI 網絡爬蟲失控的案例。</p>
<p>許多人為 Perplexity 辯護。他們認為，儘管 Perplexity 訪問網站違背了網站所有者的意願，但這種行為是可以接受的。隨着 AI 代理湧入互聯網，這無疑將成為一個爭議：代理在代表用户訪問網站時，應該被視為機器人嗎？還是像人類一樣進行相同的請求？</p>
<p>Cloudflare 以向數百萬個網站提供反機器人爬蟲和其他網絡安全服務而聞名。基本上，Cloudflare 的測試案例涉及設置一個從未被任何機器人抓取過的新域名的新網站，設置一個專門阻止 Perplexity 已知 AI 爬蟲的 robots.txt 文件，然後詢問 Perplexity 關於該網站內容的問題。結果 Perplexity 回答了這個問題。</p>
<p>Cloudflare 的研究人員發現，當其網絡爬蟲被阻止時，AI 搜索引擎使用了 “一個旨在模擬 macOS 上 Google Chrome 的通用瀏覽器”。Cloudflare 首席執行官 Matthew Prince 在 X 上發佈了這項研究，寫道：“一些所謂的 ‘聲譽良好’ 的 AI 公司更像是朝鮮黑客。是時候揭露、羞辱並嚴厲阻止他們了。”</p>
<p>但許多人不同意 Prince 對此行為的評估，認為這並不是實際的不當行為。在 X 和 Hacker News 上為 Perplexity 辯護的人指出，Cloudflare 似乎記錄的是 AI 在用户詢問特定網站時訪問了一個特定的公共網站。</p>
<p>“如果我作為一個人請求一個網站，那麼我應該看到內容，” 一位 Hacker News 用户寫道，並補充道，“為什麼代表我訪問網站的 LLM 會在法律上與我的 Firefox 瀏覽器處於不同的類別？”</p>
<p>Perplexity 的發言人此前向 TechCrunch 否認這些機器人是公司的，並稱 Cloudflare 的博客文章是對 Cloudflare 的銷售宣傳。然後在週二，Perplexity 發佈了一篇博客為自己辯護（並普遍攻擊 Cloudflare），聲稱這種行為來自於他們偶爾使用的第三方服務。</p>
<p>Techcrunch 事件</p>
<p>舊金山 |2025 年 10 月 27-29 日</p>
<p>但 Perplexity 的帖子核心與其在線辯護者的呼籲相似。</p>
<p>“自動爬蟲和用户驅動獲取之間的區別不僅僅是技術上的——而是關於誰可以訪問開放網絡上的信息，” 帖子中寫道。“這一爭議揭示了 Cloudflare 的系統在區分合法的 AI 助手和實際威脅方面根本不夠充分。”</p>
<p>Perplexity 的指控也並不完全公平。Prince 和 Cloudflare 用來指責 Perplexity 方法的一個論點是 OpenAI 的行為並不相同。</p>
<p>“OpenAI 是一個遵循這些最佳實踐的領先 AI 公司示例。他們尊重 robots.txt，並且不試圖規避 robots.txt 指令或網絡級別的阻止。而 ChatGPT Agent 正在使用新提議的開放標準 Web Bot Auth 簽署 http 請求，” Prince 在他的帖子中寫道。</p>
<p>Web Bot Auth 是一個由互聯網工程任務組開發的 Cloudflare 支持的標準，旨在創建一種加密方法來識別 AI 代理的網絡請求。</p>
<p>這一辯論發生在機器人活動重塑互聯網之際。正如 TechCrunch 之前報道的那樣，尋求抓取大量內容以訓練 AI 模型的機器人已成為一種威脅，尤其是對較小的網站。</p>
<p>在互聯網歷史上，機器人活動首次超過了人類活動，AI 流量佔超過 50%，根據 Imperva 上個月發佈的《惡意機器人報告》。大部分活動來自 LLM。但報告還發現，惡意機器人現在佔所有互聯網流量的 37%。這些活動包括從持續抓取到未經授權的登錄嘗試。</p>
<p>在 LLM 出現之前，互聯網普遍接受網站可以並且應該阻止大多數機器人活動，因為這些活動往往是惡意的，使用 CAPTCHA 和其他服務（如 Cloudflare）。網站也有明確的激勵與特定的良好行為者合作，例如 Googlebot，通過 robots.txt 指導其不應索引的內容。Google 索引了互聯網，這為網站帶來了流量。</p>
<p>現在，LLM 正在吞噬越來越多的流量。Gartner 預測到 2026 年，搜索引擎的流量將下降 25%。目前，人類傾向於在 LLM 最有價值的網站鏈接上點擊，這正是他們準備進行交易的時候。</p>
<p>但如果人類如科技行業預測的那樣採用代理——安排我們的旅行、預訂晚餐和為我們購物——網站是否會通過阻止它們來損害自己的商業利益？在 X 上的辯論完美地捕捉了這一困境：</p>
<p>“當我給 Perplexity 提出請求/任務時，我希望它代表我訪問任何公共內容！” 一位用户在回應 Cloudflare 指責 Perplexity 時寫道。</p>
<p>“如果網站所有者不想這樣呢？他們只是希望你直接訪問主頁，查看他們的內容，” 另一位用户爭辯道，指出創建內容的網站所有者希望獲得流量和潛在的廣告收入，而不是讓 Perplexity 來獲取。</p>
<p>“這就是為什麼我認為 ‘代理瀏覽’ 真的很難實現——比人們想的要複雜得多。大多數網站所有者只會選擇阻止。” 一位第三方預測道。</p>

<p>Cloudflare 指控 AI 搜索引擎 Perplexity 在忽視其阻止方法的情況下抓取網站，這引發了許多人的辯護。批評者認為，代表用户訪問網站的行為應被視為人類請求。Perplexity 聲稱這種行為來自第三方服務，而 Cloudflare 的首席執行官對此進行了批評，並將其與 OpenAI 的做法進行了對比。這場爭議突顯了區分合法 AI 助手和威脅的挑戰，因為機器人活動日益重塑互聯網格局</p>

<p>When Cloudflare accused AI search engine Perplexity of stealthily scraping websites on Monday, while ignoring a site’s specific methods to block it, this wasn’t a clear-cut case of an AI web crawler gone wild.</p>
<div class="lb-trans"><p>當 Cloudflare 在週一指控 AI 搜索引擎 Perplexity 偷偷抓取網站，同時忽視網站特定的阻止方法時，這並不是一個簡單的 AI 網絡爬蟲失控的案例。</p>
</div><p>Many people came to Perplexity’s defense. They argued that Perplexity accessing sites in defiance of the website owner’s wishes, while controversial, is acceptable. And this is a controversy that will certainly grow as AI agents flood the internet: Should an agent accessing a website on behalf of its user be treated like a bot? Or like a human making the same request?</p>
<div class="lb-trans"><p>許多人為 Perplexity 辯護。他們認為，儘管 Perplexity 訪問網站違背了網站所有者的意願，但這種行為是可以接受的。隨着 AI 代理湧入互聯網，這無疑將成為一個爭議：代理在代表用户訪問網站時，應該被視為機器人嗎？還是像人類一樣進行相同的請求？</p>
</div><p>Cloudflare is known for providing anti-bot crawling and other web security services to millions of websites. Essentially, Cloudflare’s test case involved setting up a new website with a new domain that had never been crawled by any bot, setting up a robots.txt file that specifically blocked Perplexity’s known AI crawling bots, and then asking Perplexity about the website’s content. And Perplexity answered the question.</p>
<div class="lb-trans"><p>Cloudflare 以向數百萬個網站提供反機器人爬蟲和其他網絡安全服務而聞名。基本上，Cloudflare 的測試案例涉及設置一個從未被任何機器人抓取過的新域名的新網站，設置一個專門阻止 Perplexity 已知 AI 爬蟲的 robots.txt 文件，然後詢問 Perplexity 關於該網站內容的問題。結果 Perplexity 回答了這個問題。</p>
</div><p>Cloudflare researchers found the AI search engine used “a generic browser intended to impersonate Google Chrome on macOS” when its web crawler itself was blocked. Cloudflare CEO Matthew Prince posted the research on X, writing, “Some supposedly ‘reputable’ AI companies act more like North Korean hackers. Time to name, shame, and hard block them.”</p>
<div class="lb-trans"><p>Cloudflare 的研究人員發現，當其網絡爬蟲被阻止時，AI 搜索引擎使用了 “一個旨在模擬 macOS 上 Google Chrome 的通用瀏覽器”。Cloudflare 首席執行官 Matthew Prince 在 X 上發佈了這項研究，寫道：“一些所謂的 ‘聲譽良好’ 的 AI 公司更像是朝鮮黑客。是時候揭露、羞辱並嚴厲阻止他們了。”</p>
</div><p>But many people disagreed with Prince’s assessment that this was actual bad behavior. Those defending Perplexity on sites like X and Hacker News pointed out that what Cloudflare seemed to document was the AI accessing a specific public website when its user asked about that specific website.</p>
<div class="lb-trans"><p>但許多人不同意 Prince 對此行為的評估，認為這並不是實際的不當行為。在 X 和 Hacker News 上為 Perplexity 辯護的人指出，Cloudflare 似乎記錄的是 AI 在用户詢問特定網站時訪問了一個特定的公共網站。</p>
</div><p>“If I as a human request a website, then I should be shown the content,” one person on Hacker News wrote, adding, “why would the LLM accessing the website on my behalf be in a different legal category as my Firefox web browser?”</p>
<div class="lb-trans"><p>“如果我作為一個人請求一個網站，那麼我應該看到內容，” 一位 Hacker News 用户寫道，並補充道，“為什麼代表我訪問網站的 LLM 會在法律上與我的 Firefox 瀏覽器處於不同的類別？”</p>
</div><p>A Perplexity spokesperson previously denied to TechCrunch that the bots were the company’s and called Cloudflare’s blog post a sales pitch for Cloudflare. Then on Tuesday, Perplexity published a blog in its defense (and generally attacking Cloudflare), claiming the behavior was from a third-party service it uses occasionally.</p>
<div class="lb-trans"><p>Perplexity 的發言人此前向 TechCrunch 否認這些機器人是公司的，並稱 Cloudflare 的博客文章是對 Cloudflare 的銷售宣傳。然後在週二，Perplexity 發佈了一篇博客為自己辯護（並普遍攻擊 Cloudflare），聲稱這種行為來自於他們偶爾使用的第三方服務。</p>
</div><p>Techcrunch event</p>
<div class="lb-trans"><p>Techcrunch 事件</p>
</div><p>San Francisco|October 27-29, 2025</p>
<div class="lb-trans"><p>舊金山 |2025 年 10 月 27-29 日</p>
</div><p>But the crux of Perplexity’s post made a similar appeal as its online defenders did.</p>
<div class="lb-trans"><p>但 Perplexity 的帖子核心與其在線辯護者的呼籲相似。</p>
</div><p>“The difference between automated crawling and user-driven fetching isn’t just technical — it’s about who gets to access information on the open web,” the post said. “This controversy reveals that Cloudflare’s systems are fundamentally inadequate for distinguishing between legitimate AI assistants and actual threats.”</p>
<div class="lb-trans"><p>“自動爬蟲和用户驅動獲取之間的區別不僅僅是技術上的——而是關於誰可以訪問開放網絡上的信息，” 帖子中寫道。“這一爭議揭示了 Cloudflare 的系統在區分合法的 AI 助手和實際威脅方面根本不夠充分。”</p>
</div><p>Peplexity’s accusations aren’t exactly fair, either. One argument that Prince and Cloudflare used for calling out Perplexity’s methods was that OpenAI doesn’t behave in the same way.</p>
<div class="lb-trans"><p>Perplexity 的指控也並不完全公平。Prince 和 Cloudflare 用來指責 Perplexity 方法的一個論點是 OpenAI 的行為並不相同。</p>
</div><p>“OpenAI is an example of a leading AI company that follows these best practices. They respect robots.txt and do not try to evade either a robots.txt directive or a network level block. And ChatGPT Agent is signing http requests using the newly proposed open standard Web Bot Auth,” Prince wrote in his post.</p>
<div class="lb-trans"><p>“OpenAI 是一個遵循這些最佳實踐的領先 AI 公司示例。他們尊重 robots.txt，並且不試圖規避 robots.txt 指令或網絡級別的阻止。而 ChatGPT Agent 正在使用新提議的開放標準 Web Bot Auth 簽署 http 請求，” Prince 在他的帖子中寫道。</p>
</div><p>Web Bot Auth is a Cloudflare-supported standard being developed by the Internet Engineering Task Force that hopes to create a cryptographic method for identifying AI agent web requests.</p>
<div class="lb-trans"><p>Web Bot Auth 是一個由互聯網工程任務組開發的 Cloudflare 支持的標準，旨在創建一種加密方法來識別 AI 代理的網絡請求。</p>
</div><p>The debate comes as bot activity reshapes the internet. As TechCrunch has previously reported, bots seeking to scrape massive amounts of content to train AI models have become a menace, especially to smaller sites.</p>
<div class="lb-trans"><p>這一辯論發生在機器人活動重塑互聯網之際。正如 TechCrunch 之前報道的那樣，尋求抓取大量內容以訓練 AI 模型的機器人已成為一種威脅，尤其是對較小的網站。</p>
</div><p>For the first time in the internet’s history, bot activity is currently outstripping human activity online, with AI traffic accounting for over 50%, according to Imperva’s Bad Bot report released last month. Most of that activity is coming from LLMs. But the report also found that malicious bots now make up 37% of all internet traffic. That’s activity that includes everything from persistent scraping to unauthorized login attempts.</p>
<div class="lb-trans"><p>在互聯網歷史上，機器人活動首次超過了人類活動，AI 流量佔超過 50%，根據 Imperva 上個月發佈的《惡意機器人報告》。大部分活動來自 LLM。但報告還發現，惡意機器人現在佔所有互聯網流量的 37%。這些活動包括從持續抓取到未經授權的登錄嘗試。</p>
</div><p>Until LLMs, the internet generally accepted that websites could and should block most bot activity given how often it was malicious by using CAPTCHAs and other services (such as Cloudflare). Websites also had a clear incentive to work with specific good actors, such as Googlebot, guiding it on what not to index through robots.txt. Google indexed the internet, which sent traffic to sites.</p>
<div class="lb-trans"><p>在 LLM 出現之前，互聯網普遍接受網站可以並且應該阻止大多數機器人活動，因為這些活動往往是惡意的，使用 CAPTCHA 和其他服務（如 Cloudflare）。網站也有明確的激勵與特定的良好行為者合作，例如 Googlebot，通過 robots.txt 指導其不應索引的內容。Google 索引了互聯網，這為網站帶來了流量。</p>
</div><p>Now, LLMs are eating an increasing amount of that traffic. Gartner predicts that search engine volume will drop by 25% by 2026. Right now humans tend to click website links from LLMs at the point they are most valuable to the website, which is when they are ready to conduct a transaction.</p>
<div class="lb-trans"><p>現在，LLM 正在吞噬越來越多的流量。Gartner 預測到 2026 年，搜索引擎的流量將下降 25%。目前，人類傾向於在 LLM 最有價值的網站鏈接上點擊，這正是他們準備進行交易的時候。</p>
</div><p>But if humans adopt agents as the tech industry predicts they will — to arrange our travel, book our dinner reservations, and shop for us — would websites hurt their business interests by blocking them? The debate on X captured the dilemma perfectly:</p>
<div class="lb-trans"><p>但如果人類如科技行業預測的那樣採用代理——安排我們的旅行、預訂晚餐和為我們購物——網站是否會通過阻止它們來損害自己的商業利益？在 X 上的辯論完美地捕捉了這一困境：</p>
</div><p>“I WANT perplexity to visit any public content on my behalf when I give it a request/task!” wrote one person in response to Cloudflare calling Perplexity out.</p>
<div class="lb-trans"><p>“當我給 Perplexity 提出請求/任務時，我希望它代表我訪問任何公共內容！” 一位用户在回應 Cloudflare 指責 Perplexity 時寫道。</p>
</div><p>“What if the site owners don’t want it? they just want you [to] directly visit the home, see their stuff” argued another, pointing out that the site owner who created the content wants the traffic and potential ad revenue, not to let Perplexity take it.</p>
<div class="lb-trans"><p>“如果網站所有者不想這樣呢？他們只是希望你直接訪問主頁，查看他們的內容，” 另一位用户爭辯道，指出創建內容的網站所有者希望獲得流量和潛在的廣告收入，而不是讓 Perplexity 來獲取。</p>
</div><p>“This is why I can’t see ‘agentic browsing’ really working — much harder problem than people think. Most website owners will just block,” a third predicted.</p>
<div class="lb-trans"><p>“這就是為什麼我認為 ‘代理瀏覽’ 真的很難實現——比人們想的要複雜得多。大多數網站所有者只會選擇阻止。” 一位第三方預測道。</p>
</div>

在 CloudFlare‘點名批評’Perplexity 之後，一些人正在為其辯護