<p>许多软件开发者认为，AI 网络爬虫是互联网的蟑螂。一些开发者已经开始以巧妙且常常幽默的方式进行反击。</p>
<p>尼科洛·维内兰迪（Niccolò Venerandi）写道，任何网站都可能成为恶意爬虫行为的目标——有时甚至会导致网站瘫痪——而开源开发者受到的影响 “过于严重”，他是一个名为 Plasma 的 Linux 桌面开发者，也是博客 LibreNews 的拥有者。</p>
<p>由于其本质，托管自由和开源（FOSS）项目的网站更公开地分享其基础设施，并且通常比商业产品拥有更少的资源。</p>
<p>问题在于，许多 AI 爬虫不遵守机器人排除协议（Robots Exclusion Protocol）中的 robot.txt 文件，这个工具是为了告诉爬虫哪些内容不应被抓取，最初是为搜索引擎爬虫创建的。</p>
<p>在一篇 “求助” 的博客文章中，FOSS 开发者 Xe Iaso 描述了 AmazonBot 如何不断攻击一个 Git 服务器网站，导致 DDoS 故障。Git 服务器托管 FOSS 项目，以便任何想要的人都可以下载代码或为其贡献。</p>
<p>但这个爬虫忽视了 Iaso 的 robot.txt，隐藏在其他 IP 地址后面，并假装成其他用户，Iaso 说。</p>
<p>“阻止 AI 爬虫是徒劳的，因为它们会撒谎，改变用户代理，使用住宅 IP 地址作为代理，等等，” Iaso 感叹道。</p>
<p>“它们会抓取你的网站，直到它崩溃，然后继续抓取。它们会点击每一个链接，反复查看同样的页面。有些甚至会在同一秒内多次点击同一个链接，” 开发者在文章中写道。</p>
<h2>进入墓神</h2>
<p>因此，Iaso 以聪明才智进行反击，构建了一个名为 Anubis 的工具。</p>
<p>Anubis 是一个反向代理工作量证明检查，必须通过该检查才能允许请求到达 Git 服务器。它阻止爬虫，但允许人类操作的浏览器通过。</p>
<p>有趣的是：Anubis 是埃及神话中引导死者接受审判的神的名字。</p>
<p>“Anubis 会称量你的灵魂（心脏），如果它比一根羽毛重，你的心脏就会被吃掉，你就会彻底死去，” Iaso 告诉 TechCrunch。如果一个网页请求通过挑战并被确定为人类，一个可爱的动漫图片会宣布成功。Iaso 说，这幅画是 “我对拟人化 Anubis 的理解”。如果是爬虫，请求将被拒绝。</p>
<p>这个名字颇具讽刺意味的项目在 FOSS 社区中迅速传播。Laso 在 3 月 19 日将其分享在 Github 上，仅仅几天内，它就收获了 2000 颗星、20 位贡献者和 39 个分支。</p>
<p><img src="https://imageproxy.pbkrs.com/https://lh7-rt.googleusercontent.com/docsz/AD_4nXf0-VBDUoXI5znG0aUDI5sVwf34ttyTmKmXCq6XdBA9VNkIbCcn-Fhzc4tXy2X4403oEP0lXLLoYos8ciIdlYueztletdZ5x934DW3GvAX9VnrBvZe9HncYX250z5PBQVgMQhqSrA/query-a2V5PXl6ZndaYlFnWnZRNGNVcGJUXzZhTVRkSw?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" alt="" original-src="https://imageproxy.pbkrs.com/https://lh7-rt.googleusercontent.com/docsz/AD_4nXf0-VBDUoXI5znG0aUDI5sVwf34ttyTmKmXCq6XdBA9VNkIbCcn-Fhzc4tXy2X4403oEP0lXLLoYos8ciIdlYueztletdZ5x934DW3GvAX9VnrBvZe9HncYX250z5PBQVgMQhqSrA/query-a2V5PXl6ZndaYlFnWnZRNGNVcGJUXzZhTVRkSw"/></p>
<h2>以复仇为防御</h2>
<p>Anubis 的瞬间人气表明，Iaso 的痛苦并非独特。事实上，维内兰迪分享了一个又一个故事：</p>
<ul>
<li>SourceHut 的创始人兼首席执行官德鲁·德瓦尔特（Drew DeVault）描述了在任何给定的一周中 “花费 20% 到 100% 的时间来缓解超激进的 LLM 爬虫”，并且 “每周经历数十次短暂的故障”。</li>
<li>著名的 FOSS 开发者乔纳森·科贝特（Jonathan Corbet）经营着 Linux 行业新闻网站 LWN，他警告说，他的网站正受到来自 “AI 爬虫” 的 DDoS 级流量的减速。</li>
<li>巨大的 Linux Fedora 项目的系统管理员凯文·芬齐（Kevin Fenzi）表示，AI 爬虫变得如此激进，以至于他不得不阻止整个巴西国家的访问。</li>
</ul>
<p>维内兰迪告诉 TechCrunch，他知道还有多个其他项目面临同样的问题。其中一个 “曾经不得不暂时禁止所有中国 IP 地址的访问。”</p>
<p>让我们稍微思考一下——开发者 “甚至不得不转向禁止整个国家”，只是为了抵御那些忽视 robot.txt 文件的 AI 爬虫，维内兰迪说。</p>
<p>除了称量网页请求者的灵魂，其他开发者认为复仇是最佳防御。</p>
<p>几天前，在 Hacker News 上，用户 xyzal 建议用 “装满关于喝漂白水好处的文章” 或 “关于麻疹对床上表现积极影响的文章” 来加载 robot.txt 禁止的页面。</p>
<p>“我们需要让爬虫从访问我们的陷阱中获得负的效用价值，而不仅仅是零价值，” xyzal 解释道。</p>
<p>恰好在一月份，一位匿名创作者名为 “Aaron” 发布了一个名为 Nepenthes 的工具，旨在做到这一点。它将爬虫困在一个无尽的假内容迷宫中，开发者向 Ars Technica 承认这个目标是激进的，甚至是恶意的。该工具的名字来源于一种食肉植物。</p>
<p>而 Cloudflare，或许是提供多种工具以抵御 AI 爬虫的最大商业参与者，上周发布了一个类似的工具，名为 AI Labyrinth。</p>
<p>它旨在 “减缓、困惑并浪费不尊重 ‘不抓取’ 指令的 AI 爬虫和其他爬虫的资源，” Cloudflare 在其博客文章中描述道。Cloudflare 表示，它向表现不佳的 AI 爬虫提供 “无关内容，而不是提取你合法网站的数据。”</p>
<p>SourceHut 的德瓦尔特告诉 TechCrunch，“Nepenthes 有一种令人满意的正义感，因为它向爬虫提供无意义的信息并毒害它们的水源，但最终 Anubis 是为他的网站有效的解决方案。”</p>
<p>但德瓦尔特也发出了公开而真诚的呼吁，要求更直接的解决方案：“请停止合法化 LLM 或 AI 图像生成器或 GitHub Copilot 或任何这些垃圾。我恳求你们停止使用它们，停止谈论它们，停止制造新的，只要停止。”</p>
<p>由于这种可能性几乎为零，开发者，特别是在 FOSS 领域，正在以聪明才智和一点幽默进行反击。</p>

<p>开源开发者正在与破坏他们项目的激进 AI 网络爬虫作斗争，通常采用幽默和聪明才智的方式。许多开发者，如 Xe Iaso，面临严重问题，包括来自忽视标准协议的机器人发起的 DDoS 攻击。Iaso 创建了一种名为 Anubis 的工具，通过要求完成工作量证明挑战来过滤掉机器人。其他开发者也分享了类似的经历，有些甚至采取禁止整个国家访问的措施来保护他们的网站。像 Nepenthes 和 Cloudflare 的 AI Labyrinth 这样的新工具旨在混淆和阻止这些爬虫，突显了 FOSS 社区中持续的斗争</p>

<p>AI web crawling bots are the cockroaches of the internet, many software developers believe. Some devs have started fighting back in ingenuous, often humorous ways.</p>
<div class="lb-trans"><p>许多软件开发者认为，AI 网络爬虫是互联网的蟑螂。一些开发者已经开始以巧妙且常常幽默的方式进行反击。</p>
</div><p>While any website might be targeted by bad crawler behavior – sometimes taking down the site – open source developers are “disproportionately” impacted, writes Niccolò Venerandi, developer of a Linux desktop known as Plasma and owner of the blog LibreNews.</p>
<div class="lb-trans"><p>尼科洛·维内兰迪（Niccolò Venerandi）写道，任何网站都可能成为恶意爬虫行为的目标——有时甚至会导致网站瘫痪——而开源开发者受到的影响 “过于严重”，他是一个名为 Plasma 的 Linux 桌面开发者，也是博客 LibreNews 的拥有者。</p>
</div><p>By their nature, sites hosting free and open source (FOSS) projects share more of their infrastructure publicly, and they also tend to have fewer resources than commercial products.</p>
<div class="lb-trans"><p>由于其本质，托管自由和开源（FOSS）项目的网站更公开地分享其基础设施，并且通常比商业产品拥有更少的资源。</p>
</div><p>The issue is that many AI bots don’t honor the Robots Exclusion Protocol robot.txt file, the tool that tells bots what not to crawl, originally created for search engine bots.</p>
<div class="lb-trans"><p>问题在于，许多 AI 爬虫不遵守机器人排除协议（Robots Exclusion Protocol）中的 robot.txt 文件，这个工具是为了告诉爬虫哪些内容不应被抓取，最初是为搜索引擎爬虫创建的。</p>
</div><p>In a “cry for help” blog post in January, FOSS developer Xe Iaso described how AmazonBot relentlessly pounded on a Git server website to the point of causing DDoS outages. Git servers host FOSS projects so that anyone who wants can download the code or contribute to it.</p>
<div class="lb-trans"><p>在一篇 “求助” 的博客文章中，FOSS 开发者 Xe Iaso 描述了 AmazonBot 如何不断攻击一个 Git 服务器网站，导致 DDoS 故障。Git 服务器托管 FOSS 项目，以便任何想要的人都可以下载代码或为其贡献。</p>
</div><p>But this bot ignored laso’s robot.txt, hid behind other IP addresses, and pretended to be other users, laso said.</p>
<div class="lb-trans"><p>但这个爬虫忽视了 Iaso 的 robot.txt，隐藏在其他 IP 地址后面，并假装成其他用户，Iaso 说。</p>
</div><p>“It’s futile to block AI crawler bots because they lie, change their user agent, use residential IP addresses as proxies, and more,” laso lamented.</p>
<div class="lb-trans"><p>“阻止 AI 爬虫是徒劳的，因为它们会撒谎，改变用户代理，使用住宅 IP 地址作为代理，等等，” Iaso 感叹道。</p>
</div><p>“They will scrape your site until it falls over, and then they will scrape it some more. They will click every link on every link on every link, viewing the same pages over and over and over and over. Some of them will even click on the same link multiple times in the same second,” the developer wrote in the post.</p>
<div class="lb-trans"><p>“它们会抓取你的网站，直到它崩溃，然后继续抓取。它们会点击每一个链接，反复查看同样的页面。有些甚至会在同一秒内多次点击同一个链接，” 开发者在文章中写道。</p>
</div><h2>Enter the god of graves</h2>
<div class="lb-trans"><h2>进入墓神</h2>
</div><p>So Iaso fought back with cleverness, building a tool called Anubis.</p>
<div class="lb-trans"><p>因此，Iaso 以聪明才智进行反击，构建了一个名为 Anubis 的工具。</p>
</div><p>Anubis is a reverse proxy proof-of-work check that must be passed before requests are allowed to hit a Git server. It blocks bots but lets through browsers operated by humans.</p>
<div class="lb-trans"><p>Anubis 是一个反向代理工作量证明检查，必须通过该检查才能允许请求到达 Git 服务器。它阻止爬虫，但允许人类操作的浏览器通过。</p>
</div><p>The funny part: Anubis is the name of a god in Egyptian mythology who leads the dead to judgment.</p>
<div class="lb-trans"><p>有趣的是：Anubis 是埃及神话中引导死者接受审判的神的名字。</p>
</div><p>“Anubis weighed your soul (heart) and if it was heavier than a feather, your heart got eaten and you, like, mega died,” Iaso told TechCrunch. If a web request passes the challenge and is determined to be human, a cute anime picture announces success. The drawing is “my take on anthropomorphizing Anubis,” says Iaso. If it’s a bot, the request gets denied.</p>
<div class="lb-trans"><p>“Anubis 会称量你的灵魂（心脏），如果它比一根羽毛重，你的心脏就会被吃掉，你就会彻底死去，” Iaso 告诉 TechCrunch。如果一个网页请求通过挑战并被确定为人类，一个可爱的动漫图片会宣布成功。Iaso 说，这幅画是 “我对拟人化 Anubis 的理解”。如果是爬虫，请求将被拒绝。</p>
</div><p>The wryly named project has spread like the wind among the FOSS community. Laso shared it on Github on March 19, and in just a few days, it collected 2,000 stars, 20 contributors, and 39 forks.</p>
<div class="lb-trans"><p>这个名字颇具讽刺意味的项目在 FOSS 社区中迅速传播。Laso 在 3 月 19 日将其分享在 Github 上，仅仅几天内，它就收获了 2000 颗星、20 位贡献者和 39 个分支。</p>
</div><p><img src="https://imageproxy.pbkrs.com/https://lh7-rt.googleusercontent.com/docsz/AD_4nXf0-VBDUoXI5znG0aUDI5sVwf34ttyTmKmXCq6XdBA9VNkIbCcn-Fhzc4tXy2X4403oEP0lXLLoYos8ciIdlYueztletdZ5x934DW3GvAX9VnrBvZe9HncYX250z5PBQVgMQhqSrA/query-a2V5PXl6ZndaYlFnWnZRNGNVcGJUXzZhTVRkSw" alt="" original-src="https://lh7-rt.googleusercontent.com/docsz/AD_4nXf0-VBDUoXI5znG0aUDI5sVwf34ttyTmKmXCq6XdBA9VNkIbCcn-Fhzc4tXy2X4403oEP0lXLLoYos8ciIdlYueztletdZ5x934DW3GvAX9VnrBvZe9HncYX250z5PBQVgMQhqSrA?key=yzfwZbQgZvQ4cUpbT_6aMTdK"/></p>
<h2>Vengeance as defense</h2>
<div class="lb-trans"><h2>以复仇为防御</h2>
</div><p>The instant popularity of Anubis shows that Iaso’s pain is not unique. In fact, Venerandi shared story after story:</p>
<div class="lb-trans"><p>Anubis 的瞬间人气表明，Iaso 的痛苦并非独特。事实上，维内兰迪分享了一个又一个故事：</p>
</div><ul>
<li>Founder CEO of SourceHut Drew DeVault described spending “from 20-100% of my time in any given week mitigating hyper-aggressive LLM crawlers at scale,” and “experiencing dozens of brief outages per week.”</li>
<li>Jonathan Corbet, a famed FOSS developer who runs Linux industry news site LWN, warned that his site was being slowed by DDoS-level traffic “from AI scraper bots.”</li>
<li>Kevin Fenzi, the sysadmin of the enormous Linux Fedora project, said the AI scraper bots had gotten so aggressive, he had to block the entire country of Brazil from access.</li>
</ul>
<div class="lb-trans"><ul>
<li>SourceHut 的创始人兼首席执行官德鲁·德瓦尔特（Drew DeVault）描述了在任何给定的一周中 “花费 20% 到 100% 的时间来缓解超激进的 LLM 爬虫”，并且 “每周经历数十次短暂的故障”。</li>
<li>著名的 FOSS 开发者乔纳森·科贝特（Jonathan Corbet）经营着 Linux 行业新闻网站 LWN，他警告说，他的网站正受到来自 “AI 爬虫” 的 DDoS 级流量的减速。</li>
<li>巨大的 Linux Fedora 项目的系统管理员凯文·芬齐（Kevin Fenzi）表示，AI 爬虫变得如此激进，以至于他不得不阻止整个巴西国家的访问。</li>
</ul>
</div><p>Venerandi tells TechCrunch that he knows of multiple other projects experiencing the same issues. One of them “had to temporarily ban all Chinese IP addresses at one point.”</p>
<div class="lb-trans"><p>维内兰迪告诉 TechCrunch，他知道还有多个其他项目面临同样的问题。其中一个 “曾经不得不暂时禁止所有中国 IP 地址的访问。”</p>
</div><p>Let let that sink in for a moment – that developers “even have to turn to banning entire countries” just to fend off AI bots that ignore robot.txt files, says Venerandi.</p>
<div class="lb-trans"><p>让我们稍微思考一下——开发者 “甚至不得不转向禁止整个国家”，只是为了抵御那些忽视 robot.txt 文件的 AI 爬虫，维内兰迪说。</p>
</div><p>Beyond weighing the soul of a web requester, other devs believe vengeance is the best defense.</p>
<div class="lb-trans"><p>除了称量网页请求者的灵魂，其他开发者认为复仇是最佳防御。</p>
</div><p>A few days ago on Hacker News, user xyzal suggested loading robot.txt forbidden pages with “a bucket load of articles on the benefits of drinking bleach” or “articles about positive effect of catching measles on performance in bed.”</p>
<div class="lb-trans"><p>几天前，在 Hacker News 上，用户 xyzal 建议用 “装满关于喝漂白水好处的文章” 或 “关于麻疹对床上表现积极影响的文章” 来加载 robot.txt 禁止的页面。</p>
</div><p>“Think we need to aim for the bots to get _negative_ utility value from visiting our traps, not just zero value,” xyzal explained.</p>
<div class="lb-trans"><p>“我们需要让爬虫从访问我们的陷阱中获得负的效用价值，而不仅仅是零价值，” xyzal 解释道。</p>
</div><p>As it happens, in January, an anonymous creator known as “Aaron” released a tool called Nepenthes that aims to do exactly that. It traps crawlers in an endless maze of fake content, a goal that the dev admitted to Ars Technica is aggressive if not downright malicious. The tool is named after a carnivorous plant.</p>
<div class="lb-trans"><p>恰好在一月份，一位匿名创作者名为 “Aaron” 发布了一个名为 Nepenthes 的工具，旨在做到这一点。它将爬虫困在一个无尽的假内容迷宫中，开发者向 Ars Technica 承认这个目标是激进的，甚至是恶意的。该工具的名字来源于一种食肉植物。</p>
</div><p>And Cloudflare, perhaps the biggest commercial player offering several tools to fend off AI crawlers, last week released a similar tool called AI Labyrinth.</p>
<div class="lb-trans"><p>而 Cloudflare，或许是提供多种工具以抵御 AI 爬虫的最大商业参与者，上周发布了一个类似的工具，名为 AI Labyrinth。</p>
</div><p>It’s intended to “slow down, confuse, and waste the resources of AI Crawlers and other bots that don’t respect ‘no crawl’ directives,” Cloudflare described in its blog post. Cloudflare said it feeds misbehaving AI crawlers “irrelevant content rather than extracting your legitimate website data.”</p>
<div class="lb-trans"><p>它旨在 “减缓、困惑并浪费不尊重 ‘不抓取’ 指令的 AI 爬虫和其他爬虫的资源，” Cloudflare 在其博客文章中描述道。Cloudflare 表示，它向表现不佳的 AI 爬虫提供 “无关内容，而不是提取你合法网站的数据。”</p>
</div><p>SourceHut’s DeVault told TechCrunch that “Nepenthes has a satisfying sense of justice to it, since it feeds nonsense to the crawlers and poisons their wells, but ultimately Anubis is the solution that worked” for his site.</p>
<div class="lb-trans"><p>SourceHut 的德瓦尔特告诉 TechCrunch，“Nepenthes 有一种令人满意的正义感，因为它向爬虫提供无意义的信息并毒害它们的水源，但最终 Anubis 是为他的网站有效的解决方案。”</p>
</div><p>But DeVault also issued a public, heartfelt plea for a more direct fix: “Please stop legitimizing LLMs or AI image generators or GitHub Copilot or any of this garbage. I am begging you to stop using them, stop talking about them, stop making new ones, just stop.”</p>
<div class="lb-trans"><p>但德瓦尔特也发出了公开而真诚的呼吁，要求更直接的解决方案：“请停止合法化 LLM 或 AI 图像生成器或 GitHub Copilot 或任何这些垃圾。我恳求你们停止使用它们，停止谈论它们，停止制造新的，只要停止。”</p>
</div><p>Since the likelihood of that is zilch, developers, particularly in FOSS, are fighting back with cleverness and a touch of humor.</p>
<div class="lb-trans"><p>由于这种可能性几乎为零，开发者，特别是在 FOSS 领域，正在以聪明才智和一点幽默进行反击。</p>
</div>

Open source devs are fighting AI crawlers with cleverness and vengeance

- 开源开发者面临 AI 爬虫的严重威胁，导致网站频繁宕机。  
- 开发者们通过工具如 Anubis 反击，阻止恶意爬虫。  
- 该工具迅速在社区中流行，显示出开发者的共同困境。  

开源开发者正以聪明才智和复仇心态对抗 AI 爬虫