<p>当 Cloudflare 在周一指控 AI 搜索引擎 Perplexity 偷偷抓取网站，同时忽视网站特定的阻止方法时，这并不是一个简单的 AI 网络爬虫失控的案例。</p>
<p>许多人为 Perplexity 辩护。他们认为，尽管 Perplexity 访问网站违背了网站所有者的意愿，但这种行为是可以接受的。随着 AI 代理涌入互联网，这无疑将成为一个争议：代理在代表用户访问网站时，应该被视为机器人吗？还是像人类一样进行相同的请求？</p>
<p>Cloudflare 以向数百万个网站提供反机器人爬虫和其他网络安全服务而闻名。基本上，Cloudflare 的测试案例涉及设置一个从未被任何机器人抓取过的新域名的新网站，设置一个专门阻止 Perplexity 已知 AI 爬虫的 robots.txt 文件，然后询问 Perplexity 关于该网站内容的问题。结果 Perplexity 回答了这个问题。</p>
<p>Cloudflare 的研究人员发现，当其网络爬虫被阻止时，AI 搜索引擎使用了 “一个旨在模拟 macOS 上 Google Chrome 的通用浏览器”。Cloudflare 首席执行官 Matthew Prince 在 X 上发布了这项研究，写道：“一些所谓的 ‘声誉良好’ 的 AI 公司更像是朝鲜黑客。是时候揭露、羞辱并严厉阻止他们了。”</p>
<p>但许多人不同意 Prince 对此行为的评估，认为这并不是实际的不当行为。在 X 和 Hacker News 上为 Perplexity 辩护的人指出，Cloudflare 似乎记录的是 AI 在用户询问特定网站时访问了一个特定的公共网站。</p>
<p>“如果我作为一个人请求一个网站，那么我应该看到内容，” 一位 Hacker News 用户写道，并补充道，“为什么代表我访问网站的 LLM 会在法律上与我的 Firefox 浏览器处于不同的类别？”</p>
<p>Perplexity 的发言人此前向 TechCrunch 否认这些机器人是公司的，并称 Cloudflare 的博客文章是对 Cloudflare 的销售宣传。然后在周二，Perplexity 发布了一篇博客为自己辩护（并普遍攻击 Cloudflare），声称这种行为来自于他们偶尔使用的第三方服务。</p>
<p>Techcrunch 事件</p>
<p>旧金山 |2025 年 10 月 27-29 日</p>
<p>但 Perplexity 的帖子核心与其在线辩护者的呼吁相似。</p>
<p>“自动爬虫和用户驱动获取之间的区别不仅仅是技术上的——而是关于谁可以访问开放网络上的信息，” 帖子中写道。“这一争议揭示了 Cloudflare 的系统在区分合法的 AI 助手和实际威胁方面根本不够充分。”</p>
<p>Perplexity 的指控也并不完全公平。Prince 和 Cloudflare 用来指责 Perplexity 方法的一个论点是 OpenAI 的行为并不相同。</p>
<p>“OpenAI 是一个遵循这些最佳实践的领先 AI 公司示例。他们尊重 robots.txt，并且不试图规避 robots.txt 指令或网络级别的阻止。而 ChatGPT Agent 正在使用新提议的开放标准 Web Bot Auth 签署 http 请求，” Prince 在他的帖子中写道。</p>
<p>Web Bot Auth 是一个由互联网工程任务组开发的 Cloudflare 支持的标准，旨在创建一种加密方法来识别 AI 代理的网络请求。</p>
<p>这一辩论发生在机器人活动重塑互联网之际。正如 TechCrunch 之前报道的那样，寻求抓取大量内容以训练 AI 模型的机器人已成为一种威胁，尤其是对较小的网站。</p>
<p>在互联网历史上，机器人活动首次超过了人类活动，AI 流量占超过 50%，根据 Imperva 上个月发布的《恶意机器人报告》。大部分活动来自 LLM。但报告还发现，恶意机器人现在占所有互联网流量的 37%。这些活动包括从持续抓取到未经授权的登录尝试。</p>
<p>在 LLM 出现之前，互联网普遍接受网站可以并且应该阻止大多数机器人活动，因为这些活动往往是恶意的，使用 CAPTCHA 和其他服务（如 Cloudflare）。网站也有明确的激励与特定的良好行为者合作，例如 Googlebot，通过 robots.txt 指导其不应索引的内容。Google 索引了互联网，这为网站带来了流量。</p>
<p>现在，LLM 正在吞噬越来越多的流量。Gartner 预测到 2026 年，搜索引擎的流量将下降 25%。目前，人类倾向于在 LLM 最有价值的网站链接上点击，这正是他们准备进行交易的时候。</p>
<p>但如果人类如科技行业预测的那样采用代理——安排我们的旅行、预订晚餐和为我们购物——网站是否会通过阻止它们来损害自己的商业利益？在 X 上的辩论完美地捕捉了这一困境：</p>
<p>“当我给 Perplexity 提出请求/任务时，我希望它代表我访问任何公共内容！” 一位用户在回应 Cloudflare 指责 Perplexity 时写道。</p>
<p>“如果网站所有者不想这样呢？他们只是希望你直接访问主页，查看他们的内容，” 另一位用户争辩道，指出创建内容的网站所有者希望获得流量和潜在的广告收入，而不是让 Perplexity 来获取。</p>
<p>“这就是为什么我认为 ‘代理浏览’ 真的很难实现——比人们想的要复杂得多。大多数网站所有者只会选择阻止。” 一位第三方预测道。</p>

<p>Cloudflare 指控 AI 搜索引擎 Perplexity 在忽视其阻止方法的情况下抓取网站，这引发了许多人的辩护。批评者认为，代表用户访问网站的行为应被视为人类请求。Perplexity 声称这种行为来自第三方服务，而 Cloudflare 的首席执行官对此进行了批评，并将其与 OpenAI 的做法进行了对比。这场争议突显了区分合法 AI 助手和威胁的挑战，因为机器人活动日益重塑互联网格局</p>

<p>When Cloudflare accused AI search engine Perplexity of stealthily scraping websites on Monday, while ignoring a site’s specific methods to block it, this wasn’t a clear-cut case of an AI web crawler gone wild.</p>
<div class="lb-trans"><p>当 Cloudflare 在周一指控 AI 搜索引擎 Perplexity 偷偷抓取网站，同时忽视网站特定的阻止方法时，这并不是一个简单的 AI 网络爬虫失控的案例。</p>
</div><p>Many people came to Perplexity’s defense. They argued that Perplexity accessing sites in defiance of the website owner’s wishes, while controversial, is acceptable. And this is a controversy that will certainly grow as AI agents flood the internet: Should an agent accessing a website on behalf of its user be treated like a bot? Or like a human making the same request?</p>
<div class="lb-trans"><p>许多人为 Perplexity 辩护。他们认为，尽管 Perplexity 访问网站违背了网站所有者的意愿，但这种行为是可以接受的。随着 AI 代理涌入互联网，这无疑将成为一个争议：代理在代表用户访问网站时，应该被视为机器人吗？还是像人类一样进行相同的请求？</p>
</div><p>Cloudflare is known for providing anti-bot crawling and other web security services to millions of websites. Essentially, Cloudflare’s test case involved setting up a new website with a new domain that had never been crawled by any bot, setting up a robots.txt file that specifically blocked Perplexity’s known AI crawling bots, and then asking Perplexity about the website’s content. And Perplexity answered the question.</p>
<div class="lb-trans"><p>Cloudflare 以向数百万个网站提供反机器人爬虫和其他网络安全服务而闻名。基本上，Cloudflare 的测试案例涉及设置一个从未被任何机器人抓取过的新域名的新网站，设置一个专门阻止 Perplexity 已知 AI 爬虫的 robots.txt 文件，然后询问 Perplexity 关于该网站内容的问题。结果 Perplexity 回答了这个问题。</p>
</div><p>Cloudflare researchers found the AI search engine used “a generic browser intended to impersonate Google Chrome on macOS” when its web crawler itself was blocked. Cloudflare CEO Matthew Prince posted the research on X, writing, “Some supposedly ‘reputable’ AI companies act more like North Korean hackers. Time to name, shame, and hard block them.”</p>
<div class="lb-trans"><p>Cloudflare 的研究人员发现，当其网络爬虫被阻止时，AI 搜索引擎使用了 “一个旨在模拟 macOS 上 Google Chrome 的通用浏览器”。Cloudflare 首席执行官 Matthew Prince 在 X 上发布了这项研究，写道：“一些所谓的 ‘声誉良好’ 的 AI 公司更像是朝鲜黑客。是时候揭露、羞辱并严厉阻止他们了。”</p>
</div><p>But many people disagreed with Prince’s assessment that this was actual bad behavior. Those defending Perplexity on sites like X and Hacker News pointed out that what Cloudflare seemed to document was the AI accessing a specific public website when its user asked about that specific website.</p>
<div class="lb-trans"><p>但许多人不同意 Prince 对此行为的评估，认为这并不是实际的不当行为。在 X 和 Hacker News 上为 Perplexity 辩护的人指出，Cloudflare 似乎记录的是 AI 在用户询问特定网站时访问了一个特定的公共网站。</p>
</div><p>“If I as a human request a website, then I should be shown the content,” one person on Hacker News wrote, adding, “why would the LLM accessing the website on my behalf be in a different legal category as my Firefox web browser?”</p>
<div class="lb-trans"><p>“如果我作为一个人请求一个网站，那么我应该看到内容，” 一位 Hacker News 用户写道，并补充道，“为什么代表我访问网站的 LLM 会在法律上与我的 Firefox 浏览器处于不同的类别？”</p>
</div><p>A Perplexity spokesperson previously denied to TechCrunch that the bots were the company’s and called Cloudflare’s blog post a sales pitch for Cloudflare. Then on Tuesday, Perplexity published a blog in its defense (and generally attacking Cloudflare), claiming the behavior was from a third-party service it uses occasionally.</p>
<div class="lb-trans"><p>Perplexity 的发言人此前向 TechCrunch 否认这些机器人是公司的，并称 Cloudflare 的博客文章是对 Cloudflare 的销售宣传。然后在周二，Perplexity 发布了一篇博客为自己辩护（并普遍攻击 Cloudflare），声称这种行为来自于他们偶尔使用的第三方服务。</p>
</div><p>Techcrunch event</p>
<div class="lb-trans"><p>Techcrunch 事件</p>
</div><p>San Francisco|October 27-29, 2025</p>
<div class="lb-trans"><p>旧金山 |2025 年 10 月 27-29 日</p>
</div><p>But the crux of Perplexity’s post made a similar appeal as its online defenders did.</p>
<div class="lb-trans"><p>但 Perplexity 的帖子核心与其在线辩护者的呼吁相似。</p>
</div><p>“The difference between automated crawling and user-driven fetching isn’t just technical — it’s about who gets to access information on the open web,” the post said. “This controversy reveals that Cloudflare’s systems are fundamentally inadequate for distinguishing between legitimate AI assistants and actual threats.”</p>
<div class="lb-trans"><p>“自动爬虫和用户驱动获取之间的区别不仅仅是技术上的——而是关于谁可以访问开放网络上的信息，” 帖子中写道。“这一争议揭示了 Cloudflare 的系统在区分合法的 AI 助手和实际威胁方面根本不够充分。”</p>
</div><p>Peplexity’s accusations aren’t exactly fair, either. One argument that Prince and Cloudflare used for calling out Perplexity’s methods was that OpenAI doesn’t behave in the same way.</p>
<div class="lb-trans"><p>Perplexity 的指控也并不完全公平。Prince 和 Cloudflare 用来指责 Perplexity 方法的一个论点是 OpenAI 的行为并不相同。</p>
</div><p>“OpenAI is an example of a leading AI company that follows these best practices. They respect robots.txt and do not try to evade either a robots.txt directive or a network level block. And ChatGPT Agent is signing http requests using the newly proposed open standard Web Bot Auth,” Prince wrote in his post.</p>
<div class="lb-trans"><p>“OpenAI 是一个遵循这些最佳实践的领先 AI 公司示例。他们尊重 robots.txt，并且不试图规避 robots.txt 指令或网络级别的阻止。而 ChatGPT Agent 正在使用新提议的开放标准 Web Bot Auth 签署 http 请求，” Prince 在他的帖子中写道。</p>
</div><p>Web Bot Auth is a Cloudflare-supported standard being developed by the Internet Engineering Task Force that hopes to create a cryptographic method for identifying AI agent web requests.</p>
<div class="lb-trans"><p>Web Bot Auth 是一个由互联网工程任务组开发的 Cloudflare 支持的标准，旨在创建一种加密方法来识别 AI 代理的网络请求。</p>
</div><p>The debate comes as bot activity reshapes the internet. As TechCrunch has previously reported, bots seeking to scrape massive amounts of content to train AI models have become a menace, especially to smaller sites.</p>
<div class="lb-trans"><p>这一辩论发生在机器人活动重塑互联网之际。正如 TechCrunch 之前报道的那样，寻求抓取大量内容以训练 AI 模型的机器人已成为一种威胁，尤其是对较小的网站。</p>
</div><p>For the first time in the internet’s history, bot activity is currently outstripping human activity online, with AI traffic accounting for over 50%, according to Imperva’s Bad Bot report released last month. Most of that activity is coming from LLMs. But the report also found that malicious bots now make up 37% of all internet traffic. That’s activity that includes everything from persistent scraping to unauthorized login attempts.</p>
<div class="lb-trans"><p>在互联网历史上，机器人活动首次超过了人类活动，AI 流量占超过 50%，根据 Imperva 上个月发布的《恶意机器人报告》。大部分活动来自 LLM。但报告还发现，恶意机器人现在占所有互联网流量的 37%。这些活动包括从持续抓取到未经授权的登录尝试。</p>
</div><p>Until LLMs, the internet generally accepted that websites could and should block most bot activity given how often it was malicious by using CAPTCHAs and other services (such as Cloudflare). Websites also had a clear incentive to work with specific good actors, such as Googlebot, guiding it on what not to index through robots.txt. Google indexed the internet, which sent traffic to sites.</p>
<div class="lb-trans"><p>在 LLM 出现之前，互联网普遍接受网站可以并且应该阻止大多数机器人活动，因为这些活动往往是恶意的，使用 CAPTCHA 和其他服务（如 Cloudflare）。网站也有明确的激励与特定的良好行为者合作，例如 Googlebot，通过 robots.txt 指导其不应索引的内容。Google 索引了互联网，这为网站带来了流量。</p>
</div><p>Now, LLMs are eating an increasing amount of that traffic. Gartner predicts that search engine volume will drop by 25% by 2026. Right now humans tend to click website links from LLMs at the point they are most valuable to the website, which is when they are ready to conduct a transaction.</p>
<div class="lb-trans"><p>现在，LLM 正在吞噬越来越多的流量。Gartner 预测到 2026 年，搜索引擎的流量将下降 25%。目前，人类倾向于在 LLM 最有价值的网站链接上点击，这正是他们准备进行交易的时候。</p>
</div><p>But if humans adopt agents as the tech industry predicts they will — to arrange our travel, book our dinner reservations, and shop for us — would websites hurt their business interests by blocking them? The debate on X captured the dilemma perfectly:</p>
<div class="lb-trans"><p>但如果人类如科技行业预测的那样采用代理——安排我们的旅行、预订晚餐和为我们购物——网站是否会通过阻止它们来损害自己的商业利益？在 X 上的辩论完美地捕捉了这一困境：</p>
</div><p>“I WANT perplexity to visit any public content on my behalf when I give it a request/task!” wrote one person in response to Cloudflare calling Perplexity out.</p>
<div class="lb-trans"><p>“当我给 Perplexity 提出请求/任务时，我希望它代表我访问任何公共内容！” 一位用户在回应 Cloudflare 指责 Perplexity 时写道。</p>
</div><p>“What if the site owners don’t want it? they just want you [to] directly visit the home, see their stuff” argued another, pointing out that the site owner who created the content wants the traffic and potential ad revenue, not to let Perplexity take it.</p>
<div class="lb-trans"><p>“如果网站所有者不想这样呢？他们只是希望你直接访问主页，查看他们的内容，” 另一位用户争辩道，指出创建内容的网站所有者希望获得流量和潜在的广告收入，而不是让 Perplexity 来获取。</p>
</div><p>“This is why I can’t see ‘agentic browsing’ really working — much harder problem than people think. Most website owners will just block,” a third predicted.</p>
<div class="lb-trans"><p>“这就是为什么我认为 ‘代理浏览’ 真的很难实现——比人们想的要复杂得多。大多数网站所有者只会选择阻止。” 一位第三方预测道。</p>
</div>

在 CloudFlare‘点名批评’Perplexity 之后，一些人正在为其辩护