<p>許多軟件開發者認為，AI 網絡爬蟲是互聯網的蟑螂。一些開發者已經開始以巧妙且常常幽默的方式進行反擊。</p>
<p>尼科洛·維內蘭迪（Niccolò Venerandi）寫道，任何網站都可能成為惡意爬蟲行為的目標——有時甚至會導致網站癱瘓——而開源開發者受到的影響 “過於嚴重”，他是一個名為 Plasma 的 Linux 桌面開發者，也是博客 LibreNews 的擁有者。</p>
<p>由於其本質，託管自由和開源（FOSS）項目的網站更公開地分享其基礎設施，並且通常比商業產品擁有更少的資源。</p>
<p>問題在於，許多 AI 爬蟲不遵守機器人排除協議（Robots Exclusion Protocol）中的 robot.txt 文件，這個工具是為了告訴爬蟲哪些內容不應被抓取，最初是為搜索引擎爬蟲創建的。</p>
<p>在一篇 “求助” 的博客文章中，FOSS 開發者 Xe Iaso 描述了 AmazonBot 如何不斷攻擊一個 Git 服務器網站，導致 DDoS 故障。Git 服務器託管 FOSS 項目，以便任何想要的人都可以下載代碼或為其貢獻。</p>
<p>但這個爬蟲忽視了 Iaso 的 robot.txt，隱藏在其他 IP 地址後面，並假裝成其他用户，Iaso 説。</p>
<p>“阻止 AI 爬蟲是徒勞的，因為它們會撒謊，改變用户代理，使用住宅 IP 地址作為代理，等等，” Iaso 感嘆道。</p>
<p>“它們會抓取你的網站，直到它崩潰，然後繼續抓取。它們會點擊每一個鏈接，反覆查看同樣的頁面。有些甚至會在同一秒內多次點擊同一個鏈接，” 開發者在文章中寫道。</p>
<h2>進入墓神</h2>
<p>因此，Iaso 以聰明才智進行反擊，構建了一個名為 Anubis 的工具。</p>
<p>Anubis 是一個反向代理工作量證明檢查，必須通過該檢查才能允許請求到達 Git 服務器。它阻止爬蟲，但允許人類操作的瀏覽器通過。</p>
<p>有趣的是：Anubis 是埃及神話中引導死者接受審判的神的名字。</p>
<p>“Anubis 會稱量你的靈魂（心臟），如果它比一根羽毛重，你的心臟就會被吃掉，你就會徹底死去，” Iaso 告訴 TechCrunch。如果一個網頁請求通過挑戰並被確定為人類，一個可愛的動漫圖片會宣佈成功。Iaso 説，這幅畫是 “我對擬人化 Anubis 的理解”。如果是爬蟲，請求將被拒絕。</p>
<p>這個名字頗具諷刺意味的項目在 FOSS 社區中迅速傳播。Laso 在 3 月 19 日將其分享在 Github 上，僅僅幾天內，它就收穫了 2000 顆星、20 位貢獻者和 39 個分支。</p>
<p><img src="https://imageproxy.pbkrs.com/https://lh7-rt.googleusercontent.com/docsz/AD_4nXf0-VBDUoXI5znG0aUDI5sVwf34ttyTmKmXCq6XdBA9VNkIbCcn-Fhzc4tXy2X4403oEP0lXLLoYos8ciIdlYueztletdZ5x934DW3GvAX9VnrBvZe9HncYX250z5PBQVgMQhqSrA/query-a2V5PXl6ZndaYlFnWnZRNGNVcGJUXzZhTVRkSw?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" alt="" original-src="https://imageproxy.pbkrs.com/https://lh7-rt.googleusercontent.com/docsz/AD_4nXf0-VBDUoXI5znG0aUDI5sVwf34ttyTmKmXCq6XdBA9VNkIbCcn-Fhzc4tXy2X4403oEP0lXLLoYos8ciIdlYueztletdZ5x934DW3GvAX9VnrBvZe9HncYX250z5PBQVgMQhqSrA/query-a2V5PXl6ZndaYlFnWnZRNGNVcGJUXzZhTVRkSw"/></p>
<h2>以復仇為防禦</h2>
<p>Anubis 的瞬間人氣表明，Iaso 的痛苦並非獨特。事實上，維內蘭迪分享了一個又一個故事：</p>
<ul>
<li>SourceHut 的創始人兼首席執行官德魯·德瓦爾特（Drew DeVault）描述了在任何給定的一週中 “花費 20% 到 100% 的時間來緩解超激進的 LLM 爬蟲”，並且 “每週經歷數十次短暫的故障”。</li>
<li>著名的 FOSS 開發者喬納森·科貝特（Jonathan Corbet）經營着 Linux 行業新聞網站 LWN，他警告説，他的網站正受到來自 “AI 爬蟲” 的 DDoS 級流量的減速。</li>
<li>巨大的 Linux Fedora 項目的系統管理員凱文·芬齊（Kevin Fenzi）表示，AI 爬蟲變得如此激進，以至於他不得不阻止整個巴西國家的訪問。</li>
</ul>
<p>維內蘭迪告訴 TechCrunch，他知道還有多個其他項目面臨同樣的問題。其中一個 “曾經不得不暫時禁止所有中國 IP 地址的訪問。”</p>
<p>讓我們稍微思考一下——開發者 “甚至不得不轉向禁止整個國家”，只是為了抵禦那些忽視 robot.txt 文件的 AI 爬蟲，維內蘭迪説。</p>
<p>除了稱量網頁請求者的靈魂，其他開發者認為復仇是最佳防禦。</p>
<p>幾天前，在 Hacker News 上，用户 xyzal 建議用 “裝滿關於喝漂白水好處的文章” 或 “關於麻疹對牀上表現積極影響的文章” 來加載 robot.txt 禁止的頁面。</p>
<p>“我們需要讓爬蟲從訪問我們的陷阱中獲得負的效用價值，而不僅僅是零價值，” xyzal 解釋道。</p>
<p>恰好在一月份，一位匿名創作者名為 “Aaron” 發佈了一個名為 Nepenthes 的工具，旨在做到這一點。它將爬蟲困在一個無盡的假內容迷宮中，開發者向 Ars Technica 承認這個目標是激進的，甚至是惡意的。該工具的名字來源於一種食肉植物。</p>
<p>而 Cloudflare，或許是提供多種工具以抵禦 AI 爬蟲的最大商業參與者，上週發佈了一個類似的工具，名為 AI Labyrinth。</p>
<p>它旨在 “減緩、困惑並浪費不尊重 ‘不抓取’ 指令的 AI 爬蟲和其他爬蟲的資源，” Cloudflare 在其博客文章中描述道。Cloudflare 表示，它向表現不佳的 AI 爬蟲提供 “無關內容，而不是提取你合法網站的數據。”</p>
<p>SourceHut 的德瓦爾特告訴 TechCrunch，“Nepenthes 有一種令人滿意的正義感，因為它向爬蟲提供無意義的信息並毒害它們的水源，但最終 Anubis 是為他的網站有效的解決方案。”</p>
<p>但德瓦爾特也發出了公開而真誠的呼籲，要求更直接的解決方案：“請停止合法化 LLM 或 AI 圖像生成器或 GitHub Copilot 或任何這些垃圾。我懇求你們停止使用它們，停止談論它們，停止製造新的，只要停止。”</p>
<p>由於這種可能性幾乎為零，開發者，特別是在 FOSS 領域，正在以聰明才智和一點幽默進行反擊。</p>

<p>開源開發者正在與破壞他們項目的激進 AI 網絡爬蟲作鬥爭，通常採用幽默和聰明才智的方式。許多開發者，如 Xe Iaso，面臨嚴重問題，包括來自忽視標準協議的機器人發起的 DDoS 攻擊。Iaso 創建了一種名為 Anubis 的工具，通過要求完成工作量證明挑戰來過濾掉機器人。其他開發者也分享了類似的經歷，有些甚至採取禁止整個國家訪問的措施來保護他們的網站。像 Nepenthes 和 Cloudflare 的 AI Labyrinth 這樣的新工具旨在混淆和阻止這些爬蟲，突顯了 FOSS 社區中持續的鬥爭</p>

<p>AI web crawling bots are the cockroaches of the internet, many software developers believe. Some devs have started fighting back in ingenuous, often humorous ways.</p>
<div class="lb-trans"><p>許多軟件開發者認為，AI 網絡爬蟲是互聯網的蟑螂。一些開發者已經開始以巧妙且常常幽默的方式進行反擊。</p>
</div><p>While any website might be targeted by bad crawler behavior – sometimes taking down the site – open source developers are “disproportionately” impacted, writes Niccolò Venerandi, developer of a Linux desktop known as Plasma and owner of the blog LibreNews.</p>
<div class="lb-trans"><p>尼科洛·維內蘭迪（Niccolò Venerandi）寫道，任何網站都可能成為惡意爬蟲行為的目標——有時甚至會導致網站癱瘓——而開源開發者受到的影響 “過於嚴重”，他是一個名為 Plasma 的 Linux 桌面開發者，也是博客 LibreNews 的擁有者。</p>
</div><p>By their nature, sites hosting free and open source (FOSS) projects share more of their infrastructure publicly, and they also tend to have fewer resources than commercial products.</p>
<div class="lb-trans"><p>由於其本質，託管自由和開源（FOSS）項目的網站更公開地分享其基礎設施，並且通常比商業產品擁有更少的資源。</p>
</div><p>The issue is that many AI bots don’t honor the Robots Exclusion Protocol robot.txt file, the tool that tells bots what not to crawl, originally created for search engine bots.</p>
<div class="lb-trans"><p>問題在於，許多 AI 爬蟲不遵守機器人排除協議（Robots Exclusion Protocol）中的 robot.txt 文件，這個工具是為了告訴爬蟲哪些內容不應被抓取，最初是為搜索引擎爬蟲創建的。</p>
</div><p>In a “cry for help” blog post in January, FOSS developer Xe Iaso described how AmazonBot relentlessly pounded on a Git server website to the point of causing DDoS outages. Git servers host FOSS projects so that anyone who wants can download the code or contribute to it.</p>
<div class="lb-trans"><p>在一篇 “求助” 的博客文章中，FOSS 開發者 Xe Iaso 描述了 AmazonBot 如何不斷攻擊一個 Git 服務器網站，導致 DDoS 故障。Git 服務器託管 FOSS 項目，以便任何想要的人都可以下載代碼或為其貢獻。</p>
</div><p>But this bot ignored laso’s robot.txt, hid behind other IP addresses, and pretended to be other users, laso said.</p>
<div class="lb-trans"><p>但這個爬蟲忽視了 Iaso 的 robot.txt，隱藏在其他 IP 地址後面，並假裝成其他用户，Iaso 説。</p>
</div><p>“It’s futile to block AI crawler bots because they lie, change their user agent, use residential IP addresses as proxies, and more,” laso lamented.</p>
<div class="lb-trans"><p>“阻止 AI 爬蟲是徒勞的，因為它們會撒謊，改變用户代理，使用住宅 IP 地址作為代理，等等，” Iaso 感嘆道。</p>
</div><p>“They will scrape your site until it falls over, and then they will scrape it some more. They will click every link on every link on every link, viewing the same pages over and over and over and over. Some of them will even click on the same link multiple times in the same second,” the developer wrote in the post.</p>
<div class="lb-trans"><p>“它們會抓取你的網站，直到它崩潰，然後繼續抓取。它們會點擊每一個鏈接，反覆查看同樣的頁面。有些甚至會在同一秒內多次點擊同一個鏈接，” 開發者在文章中寫道。</p>
</div><h2>Enter the god of graves</h2>
<div class="lb-trans"><h2>進入墓神</h2>
</div><p>So Iaso fought back with cleverness, building a tool called Anubis.</p>
<div class="lb-trans"><p>因此，Iaso 以聰明才智進行反擊，構建了一個名為 Anubis 的工具。</p>
</div><p>Anubis is a reverse proxy proof-of-work check that must be passed before requests are allowed to hit a Git server. It blocks bots but lets through browsers operated by humans.</p>
<div class="lb-trans"><p>Anubis 是一個反向代理工作量證明檢查，必須通過該檢查才能允許請求到達 Git 服務器。它阻止爬蟲，但允許人類操作的瀏覽器通過。</p>
</div><p>The funny part: Anubis is the name of a god in Egyptian mythology who leads the dead to judgment.</p>
<div class="lb-trans"><p>有趣的是：Anubis 是埃及神話中引導死者接受審判的神的名字。</p>
</div><p>“Anubis weighed your soul (heart) and if it was heavier than a feather, your heart got eaten and you, like, mega died,” Iaso told TechCrunch. If a web request passes the challenge and is determined to be human, a cute anime picture announces success. The drawing is “my take on anthropomorphizing Anubis,” says Iaso. If it’s a bot, the request gets denied.</p>
<div class="lb-trans"><p>“Anubis 會稱量你的靈魂（心臟），如果它比一根羽毛重，你的心臟就會被吃掉，你就會徹底死去，” Iaso 告訴 TechCrunch。如果一個網頁請求通過挑戰並被確定為人類，一個可愛的動漫圖片會宣佈成功。Iaso 説，這幅畫是 “我對擬人化 Anubis 的理解”。如果是爬蟲，請求將被拒絕。</p>
</div><p>The wryly named project has spread like the wind among the FOSS community. Laso shared it on Github on March 19, and in just a few days, it collected 2,000 stars, 20 contributors, and 39 forks.</p>
<div class="lb-trans"><p>這個名字頗具諷刺意味的項目在 FOSS 社區中迅速傳播。Laso 在 3 月 19 日將其分享在 Github 上，僅僅幾天內，它就收穫了 2000 顆星、20 位貢獻者和 39 個分支。</p>
</div><p><img src="https://imageproxy.pbkrs.com/https://lh7-rt.googleusercontent.com/docsz/AD_4nXf0-VBDUoXI5znG0aUDI5sVwf34ttyTmKmXCq6XdBA9VNkIbCcn-Fhzc4tXy2X4403oEP0lXLLoYos8ciIdlYueztletdZ5x934DW3GvAX9VnrBvZe9HncYX250z5PBQVgMQhqSrA/query-a2V5PXl6ZndaYlFnWnZRNGNVcGJUXzZhTVRkSw" alt="" original-src="https://lh7-rt.googleusercontent.com/docsz/AD_4nXf0-VBDUoXI5znG0aUDI5sVwf34ttyTmKmXCq6XdBA9VNkIbCcn-Fhzc4tXy2X4403oEP0lXLLoYos8ciIdlYueztletdZ5x934DW3GvAX9VnrBvZe9HncYX250z5PBQVgMQhqSrA?key=yzfwZbQgZvQ4cUpbT_6aMTdK"/></p>
<h2>Vengeance as defense</h2>
<div class="lb-trans"><h2>以復仇為防禦</h2>
</div><p>The instant popularity of Anubis shows that Iaso’s pain is not unique. In fact, Venerandi shared story after story:</p>
<div class="lb-trans"><p>Anubis 的瞬間人氣表明，Iaso 的痛苦並非獨特。事實上，維內蘭迪分享了一個又一個故事：</p>
</div><ul>
<li>Founder CEO of SourceHut Drew DeVault described spending “from 20-100% of my time in any given week mitigating hyper-aggressive LLM crawlers at scale,” and “experiencing dozens of brief outages per week.”</li>
<li>Jonathan Corbet, a famed FOSS developer who runs Linux industry news site LWN, warned that his site was being slowed by DDoS-level traffic “from AI scraper bots.”</li>
<li>Kevin Fenzi, the sysadmin of the enormous Linux Fedora project, said the AI scraper bots had gotten so aggressive, he had to block the entire country of Brazil from access.</li>
</ul>
<div class="lb-trans"><ul>
<li>SourceHut 的創始人兼首席執行官德魯·德瓦爾特（Drew DeVault）描述了在任何給定的一週中 “花費 20% 到 100% 的時間來緩解超激進的 LLM 爬蟲”，並且 “每週經歷數十次短暫的故障”。</li>
<li>著名的 FOSS 開發者喬納森·科貝特（Jonathan Corbet）經營着 Linux 行業新聞網站 LWN，他警告説，他的網站正受到來自 “AI 爬蟲” 的 DDoS 級流量的減速。</li>
<li>巨大的 Linux Fedora 項目的系統管理員凱文·芬齊（Kevin Fenzi）表示，AI 爬蟲變得如此激進，以至於他不得不阻止整個巴西國家的訪問。</li>
</ul>
</div><p>Venerandi tells TechCrunch that he knows of multiple other projects experiencing the same issues. One of them “had to temporarily ban all Chinese IP addresses at one point.”</p>
<div class="lb-trans"><p>維內蘭迪告訴 TechCrunch，他知道還有多個其他項目面臨同樣的問題。其中一個 “曾經不得不暫時禁止所有中國 IP 地址的訪問。”</p>
</div><p>Let let that sink in for a moment – that developers “even have to turn to banning entire countries” just to fend off AI bots that ignore robot.txt files, says Venerandi.</p>
<div class="lb-trans"><p>讓我們稍微思考一下——開發者 “甚至不得不轉向禁止整個國家”，只是為了抵禦那些忽視 robot.txt 文件的 AI 爬蟲，維內蘭迪説。</p>
</div><p>Beyond weighing the soul of a web requester, other devs believe vengeance is the best defense.</p>
<div class="lb-trans"><p>除了稱量網頁請求者的靈魂，其他開發者認為復仇是最佳防禦。</p>
</div><p>A few days ago on Hacker News, user xyzal suggested loading robot.txt forbidden pages with “a bucket load of articles on the benefits of drinking bleach” or “articles about positive effect of catching measles on performance in bed.”</p>
<div class="lb-trans"><p>幾天前，在 Hacker News 上，用户 xyzal 建議用 “裝滿關於喝漂白水好處的文章” 或 “關於麻疹對牀上表現積極影響的文章” 來加載 robot.txt 禁止的頁面。</p>
</div><p>“Think we need to aim for the bots to get _negative_ utility value from visiting our traps, not just zero value,” xyzal explained.</p>
<div class="lb-trans"><p>“我們需要讓爬蟲從訪問我們的陷阱中獲得負的效用價值，而不僅僅是零價值，” xyzal 解釋道。</p>
</div><p>As it happens, in January, an anonymous creator known as “Aaron” released a tool called Nepenthes that aims to do exactly that. It traps crawlers in an endless maze of fake content, a goal that the dev admitted to Ars Technica is aggressive if not downright malicious. The tool is named after a carnivorous plant.</p>
<div class="lb-trans"><p>恰好在一月份，一位匿名創作者名為 “Aaron” 發佈了一個名為 Nepenthes 的工具，旨在做到這一點。它將爬蟲困在一個無盡的假內容迷宮中，開發者向 Ars Technica 承認這個目標是激進的，甚至是惡意的。該工具的名字來源於一種食肉植物。</p>
</div><p>And Cloudflare, perhaps the biggest commercial player offering several tools to fend off AI crawlers, last week released a similar tool called AI Labyrinth.</p>
<div class="lb-trans"><p>而 Cloudflare，或許是提供多種工具以抵禦 AI 爬蟲的最大商業參與者，上週發佈了一個類似的工具，名為 AI Labyrinth。</p>
</div><p>It’s intended to “slow down, confuse, and waste the resources of AI Crawlers and other bots that don’t respect ‘no crawl’ directives,” Cloudflare described in its blog post. Cloudflare said it feeds misbehaving AI crawlers “irrelevant content rather than extracting your legitimate website data.”</p>
<div class="lb-trans"><p>它旨在 “減緩、困惑並浪費不尊重 ‘不抓取’ 指令的 AI 爬蟲和其他爬蟲的資源，” Cloudflare 在其博客文章中描述道。Cloudflare 表示，它向表現不佳的 AI 爬蟲提供 “無關內容，而不是提取你合法網站的數據。”</p>
</div><p>SourceHut’s DeVault told TechCrunch that “Nepenthes has a satisfying sense of justice to it, since it feeds nonsense to the crawlers and poisons their wells, but ultimately Anubis is the solution that worked” for his site.</p>
<div class="lb-trans"><p>SourceHut 的德瓦爾特告訴 TechCrunch，“Nepenthes 有一種令人滿意的正義感，因為它向爬蟲提供無意義的信息並毒害它們的水源，但最終 Anubis 是為他的網站有效的解決方案。”</p>
</div><p>But DeVault also issued a public, heartfelt plea for a more direct fix: “Please stop legitimizing LLMs or AI image generators or GitHub Copilot or any of this garbage. I am begging you to stop using them, stop talking about them, stop making new ones, just stop.”</p>
<div class="lb-trans"><p>但德瓦爾特也發出了公開而真誠的呼籲，要求更直接的解決方案：“請停止合法化 LLM 或 AI 圖像生成器或 GitHub Copilot 或任何這些垃圾。我懇求你們停止使用它們，停止談論它們，停止製造新的，只要停止。”</p>
</div><p>Since the likelihood of that is zilch, developers, particularly in FOSS, are fighting back with cleverness and a touch of humor.</p>
<div class="lb-trans"><p>由於這種可能性幾乎為零，開發者，特別是在 FOSS 領域，正在以聰明才智和一點幽默進行反擊。</p>
</div>

Open source devs are fighting AI crawlers with cleverness and vengeance

- 開源開發者面臨 AI 爬蟲的嚴重威脅，導致網站頻繁宕機。  
- 開發者們通過工具如 Anubis 反擊，阻止惡意爬蟲。  
- 該工具迅速在社區中流行，顯示出開發者的共同困境。  

開源開發者正以聰明才智和復仇心態對抗 AI 爬蟲