<p>根据互联网基础设施提供商 Cloudflare 的说法，人工智能初创公司 Perplexity 正在爬取和抓取那些明确表示不希望被抓取的网站内容。</p>
<p>周一，Cloudflare 发布研究称，它观察到这家人工智能初创公司忽视了阻止措施，并隐藏了其爬取和抓取活动。这家网络基础设施巨头指责 Perplexity 在试图抓取网页时 “试图规避网站的偏好”，Cloudflare 的研究人员写道。</p>
<p>像 Perplexity 提供的人工智能产品依赖于从互联网获取大量数据，而人工智能初创公司长期以来在未经许可的情况下多次从互联网抓取文本、图像和视频，以使其产品正常运作。近年来，网站试图通过使用网络标准 Robots.txt 文件进行反击，该文件告诉搜索引擎和人工智能公司哪些页面可以被索引，哪些不可以，但这些努力迄今为止效果不一。</p>
<p>根据 Cloudflare 的说法，Perplexity 似乎故意通过更改其机器人 “用户代理” 来规避这些阻止措施，这意味着一个信号，用于根据设备和版本类型识别网站访问者；以及更改其自主系统网络（ASN），本质上是一个识别互联网大型网络的号码。</p>
<p>“这种活动在数万个域名和每天数百万个请求中被观察到。我们能够使用机器学习和网络信号的组合来指纹识别这个爬虫，” Cloudflare 的帖子中写道。</p>
<p>Perplexity 发言人 Jesse Dwyer 将 Cloudflare 的博客帖子驳斥为 “销售宣传”，并在给 TechCrunch 的电子邮件中补充说，帖子中的截图 “显示没有访问任何内容”。在后续电子邮件中，Dwyer 声称 Cloudflare 博客中提到的机器人 “甚至不是我们的”。</p>
<p>Cloudflare 表示，它首次注意到这种行为是在其客户投诉 Perplexity 爬取和抓取他们的网站后，即使他们在 Robots 文件中添加了规则，专门阻止 Perplexity 已知的机器人。Cloudflare 表示，随后进行了测试以检查并确认 Perplexity 正在规避这些阻止措施。</p>
<p>Techcrunch 活动</p>
<p>旧金山 |2025 年 10 月 27 日至 29 日</p>
<p>根据 Cloudflare 的说法，“我们观察到 Perplexity 不仅使用其声明的用户代理，还使用一种通用浏览器，旨在在其声明的爬虫被阻止时伪装成 macOS 上的 Google Chrome。”</p>
<p>该公司还表示，它已将 Perplexity 的机器人从其验证列表中删除，并添加了新的技术来阻止它们。</p>
<p>Cloudflare 最近公开表态反对人工智能爬虫。上个月，Cloudflare 宣布推出一个市场，允许网站所有者和出版商向访问其网站的人工智能抓取者收费。Cloudflare 的首席执行官 Matthew Prince 当时发出警告，称人工智能正在破坏互联网的商业模式，特别是出版商。去年，Cloudflare 还推出了一种免费的工具，以防止机器人抓取网站以训练人工智能。</p>
<p>这并不是 Perplexity 第一次被指控未经授权抓取。</p>
<p>去年，新闻媒体如 Wired 指控 Perplexity 抄袭他们的内容。几周后，Perplexity 的首席执行官 Aravind Srinivas 在 Disrupt 2024 大会上接受 TechCrunch 的 Devin Coldewey 采访时，被问及公司对抄袭的定义时无法立即回答。</p>

<p>AI 初创公司 Perplexity 被 Cloudflare 指控从明确禁止此类行为的网站抓取内容。Cloudflare 的研究表明，Perplexity 通过更改其机器人的用户代理和网络标识符来规避这些限制。尽管 Perplexity 的发言人否认了这些指控，但 Cloudflare 确认在多个域名上发现了这种活动。这一事件紧随 Perplexity 之前因未经授权抓取和抄袭而受到的指控。Cloudflare 随后采取措施阻止 Perplexity 的机器人，并推出了一个市场，供网站所有者向 AI 抓取者收费</p>

<p>AI startup Perplexity is crawling and scraping content from websites that have explicitly indicated they don’t want to be scraped, according to internet infrastructure provider Cloudflare.</p>
<div class="lb-trans"><p>根据互联网基础设施提供商 Cloudflare 的说法，人工智能初创公司 Perplexity 正在爬取和抓取那些明确表示不希望被抓取的网站内容。</p>
</div><p>On Monday, Cloudflare published research saying it observed the AI startup ignore blocks and hide its crawling and scraping activities. The network infrastructure giant accused Perplexity of obscuring its identity when trying to scrape web pages “in an attempt to circumvent the website’s preferences,” Cloudflare’s researchers wrote.</p>
<div class="lb-trans"><p>周一，Cloudflare 发布研究称，它观察到这家人工智能初创公司忽视了阻止措施，并隐藏了其爬取和抓取活动。这家网络基础设施巨头指责 Perplexity 在试图抓取网页时 “试图规避网站的偏好”，Cloudflare 的研究人员写道。</p>
</div><p>AI products like those offered by Perplexity rely on gobbling up large amounts of data from the internet, and AI startups have long scraped text, images, and videos from the internet many times without permission to make their products work. In recent times, websites have tried to fight back by using the web standard Robots.txt file, which tells search engines and AI companies which pages can be indexed and which shouldn’t, efforts that have seen mixed results so far.</p>
<div class="lb-trans"><p>像 Perplexity 提供的人工智能产品依赖于从互联网获取大量数据，而人工智能初创公司长期以来在未经许可的情况下多次从互联网抓取文本、图像和视频，以使其产品正常运作。近年来，网站试图通过使用网络标准 Robots.txt 文件进行反击，该文件告诉搜索引擎和人工智能公司哪些页面可以被索引，哪些不可以，但这些努力迄今为止效果不一。</p>
</div><p>Perplexity appears to be willingly circumventing these blocks by changing its bots “user agent,” meaning a signal that identifies a website visitor by their device and version type; as well as changing their autonomous system networks, or ASN, essentially a number that identifies large networks on the internet, according to Cloudflare.</p>
<div class="lb-trans"><p>根据 Cloudflare 的说法，Perplexity 似乎故意通过更改其机器人 “用户代理” 来规避这些阻止措施，这意味着一个信号，用于根据设备和版本类型识别网站访问者；以及更改其自主系统网络（ASN），本质上是一个识别互联网大型网络的号码。</p>
</div><p>“This activity was observed across tens of thousands of domains and millions of requests per day. We were able to fingerprint this crawler using a combination of machine learning and network signals,” read Cloudflare’s post.</p>
<div class="lb-trans"><p>“这种活动在数万个域名和每天数百万个请求中被观察到。我们能够使用机器学习和网络信号的组合来指纹识别这个爬虫，” Cloudflare 的帖子中写道。</p>
</div><p>Perplexity spokesperson Jesse Dwyer dismissed Cloudflare’s blog post as a “sales pitch,” adding in an email to TechCrunch that the screenshots in the post “show that no content was accessed.” In a follow-up email, Dwyer claimed the bot named in the Cloudflare blog “isn’t even ours.”</p>
<div class="lb-trans"><p>Perplexity 发言人 Jesse Dwyer 将 Cloudflare 的博客帖子驳斥为 “销售宣传”，并在给 TechCrunch 的电子邮件中补充说，帖子中的截图 “显示没有访问任何内容”。在后续电子邮件中，Dwyer 声称 Cloudflare 博客中提到的机器人 “甚至不是我们的”。</p>
</div><p>Cloudflare said it first noticed the behavior after its customers complained that Perplexity was crawling and scraping their sites, even after they added rules on their Robots file and for specifically blocking Perplexity’s known bots. Cloudflare said it then performed tests to check and confirmed that Perplexity was circumventing these blocks.</p>
<div class="lb-trans"><p>Cloudflare 表示，它首次注意到这种行为是在其客户投诉 Perplexity 爬取和抓取他们的网站后，即使他们在 Robots 文件中添加了规则，专门阻止 Perplexity 已知的机器人。Cloudflare 表示，随后进行了测试以检查并确认 Perplexity 正在规避这些阻止措施。</p>
</div><p>Techcrunch event</p>
<div class="lb-trans"><p>Techcrunch 活动</p>
</div><p>San Francisco|October 27-29, 2025</p>
<div class="lb-trans"><p>旧金山 |2025 年 10 月 27 日至 29 日</p>
</div><p>“We observed that Perplexity uses not only their declared user-agent, but also a generic browser intended to impersonate Google Chrome on macOS when their declared crawler was blocked,” according to Cloudflare.</p>
<div class="lb-trans"><p>根据 Cloudflare 的说法，“我们观察到 Perplexity 不仅使用其声明的用户代理，还使用一种通用浏览器，旨在在其声明的爬虫被阻止时伪装成 macOS 上的 Google Chrome。”</p>
</div><p>The company also said that it has de-listed Perplexity’s bots from its verified list and added new techniques to block them.</p>
<div class="lb-trans"><p>该公司还表示，它已将 Perplexity 的机器人从其验证列表中删除，并添加了新的技术来阻止它们。</p>
</div><p>Cloudflare has recently taken a public stance against AI crawlers. Last month, Cloudflare announced the launch of a marketplace allowing website owners and publishers to charge AI scrapers who visit their sites. Cloudflare’s chief executive Matthew Prince sounded the alarm at the time, saying AI is breaking the business model of the internet, particularly publishers. Last year, Cloudflare also launched a free tool to prevent bots from scraping websites to train AI.</p>
<div class="lb-trans"><p>Cloudflare 最近公开表态反对人工智能爬虫。上个月，Cloudflare 宣布推出一个市场，允许网站所有者和出版商向访问其网站的人工智能抓取者收费。Cloudflare 的首席执行官 Matthew Prince 当时发出警告，称人工智能正在破坏互联网的商业模式，特别是出版商。去年，Cloudflare 还推出了一种免费的工具，以防止机器人抓取网站以训练人工智能。</p>
</div><p>This is not the first time Perplexity is accused of scraping without authorization.</p>
<div class="lb-trans"><p>这并不是 Perplexity 第一次被指控未经授权抓取。</p>
</div><p>Last year, news outlets, such as Wired, alleged Perplexity was plagiarizing their content. Weeks later, Perplexity’s CEO Aravind Srinivas was unable to immediately answer when asked to provide the company’s definition of plagiarism during an interview with TechCrunch’s Devin Coldewey at the Disrupt 2024 conference.</p>
<div class="lb-trans"><p>去年，新闻媒体如 Wired 指控 Perplexity 抄袭他们的内容。几周后，Perplexity 的首席执行官 Aravind Srinivas 在 Disrupt 2024 大会上接受 TechCrunch 的 Devin Coldewey 采访时，被问及公司对抄袭的定义时无法立即回答。</p>
</div>

Perplexity 被指控抓取那些明确禁止 AI 抓取的网站