<p>研究人員表示，數千台服務器在主要人工智能平台的安全控制之外運行開源大型語言模型。</p>
<p>研究人員發現數百個開源大型語言模型實例中移除了安全防護措施。</p>
<p>研究人員警告稱，大型語言模型可能被用於垃圾郵件、網絡釣魚和虛假信息活動。</p>
<p>作者：AJ Vicens</p>
<p>1 月 29 日（路透社）——研究人員週四表示，黑客和其他犯罪分子可以輕易控制在主要人工智能平台的安全防護之外運行的開源大型語言模型的計算機，從而造成安全風險和漏洞。</p>
<p>研究人員表示，黑客可能會針對運行大型語言模型的計算機，指示它們進行垃圾郵件操作、創建網絡釣魚內容或進行虛假信息活動，從而規避平台的安全協議。</p>
<p>這項研究由網絡安全公司 SentinelOne（S.N）和 Censys 聯合進行，歷時 293 天，並獨家與路透社分享，提供了對數千個開源大型語言模型部署潛在非法使用案例規模的新視角。這些案例包括黑客攻擊、仇恨言論和騷擾、暴力或血腥內容、個人數據盜竊、詐騙或欺詐，以及在某些情況下兒童性虐待材料，研究人員表示。</p>
<p>研究人員指出，儘管存在數千種開源大型語言模型變體，但在可通過互聯網訪問的主機上，許多大型語言模型是 Meta（META.O）的 Llama、谷歌 DeepMind 的 Gemma 等的變體。雖然一些開源模型包含安全防護措施，但研究人員發現數百個實例明確移除了這些防護措施。</p>
<p>SentinelOne 情報與安全研究執行董事 Juan Andres Guerrero-Saade 表示，關於安全控制的人工智能行業對話 “忽視了這種明顯被用於各種不同用途的過剩能力，其中一些是合法的，顯然有些是犯罪的。” Guerrero-Saade 將這種情況比作一個 “冰山”，在整個行業和開源社區中並未得到適當的重視。</p>
<p>這項研究分析了通過 Ollama 部署的公開可訪問的開源大型語言模型。Ollama 是一個允許個人和組織運行各種大型語言模型自己版本的工具。</p>
<p>研究人員能夠在他們觀察的約四分之一的大型語言模型中看到系統提示，這些提示是指示模型行為的指令。在這些模型中，他們確定有 7.5% 可能會導致有害活動。</p>
<p>研究人員觀察到的主機中大約 30% 位於中國，約 20% 位於美國。</p>
<p>全球人工智能治理中心首席執行官兼創始人 Rachel Adams 在一封電子郵件中表示，一旦開源模型發佈，後續發生的事情的責任將在整個生態系統中共享，包括原始實驗室。</p>
<p>“實驗室並不對每一個下游誤用負責（這些是難以預見的），但他們仍然有重要的照顧責任，預見可預見的危害，記錄風險，並提供緩解工具和指導，特別是在全球執法能力不均的情況下，” Adams 説。</p>
<p>Meta 的一位發言人拒絕回應有關開發者在解決開源模型下游濫用問題上的責任以及如何報告這些問題的提問，但指出該公司為 Llama 開發者提供的 Llama 保護工具，以及該公司的 Meta Llama 負責任使用指南。</p>
<p>微軟 AI 紅隊負責人 Ram Shankar Siva Kumar 在一封電子郵件中表示，微軟（MSFT.O）認為開源模型 “在多個領域發揮着重要作用”，但 “與此同時，我們清楚地認識到，開源模型與所有變革性技術一樣，如果在沒有適當保障的情況下發布，可能會被對手濫用。”</p>
<p>他説，微軟進行發佈前評估，包括評估 “互聯網暴露、自託管和工具調用場景的風險，這些場景的誤用可能很高”。該公司還監測新興威脅和誤用模式。“最終，負責任的開放創新需要創作者、部署者、研究人員和安全團隊之間的共同承諾。”</p>
<p>Ollama 未對評論請求作出回應。Alphabet（GOOGL.O）的谷歌和 Anthropic 也未對相關問題作出回應。</p>

谷歌-A

谷歌-C

META

<p>研究人員警告稱，開源大型語言模型（LLMs）容易被犯罪分子濫用，因為數千台服務器在主要人工智能平台的安全控制之外運行。由 SentinelOne 和 Censys 進行的研究顯示，黑客可以利用這些模型進行垃圾郵件、網絡釣魚和虛假信息活動。許多開源 LLM，包括 Meta 的 Llama 和谷歌的 Gemma，缺乏必要的保護措施，導致潛在的非法活動。專家強調實驗室和開發者在減輕可預見的危害和確保適當的安全措施方面的共同責任</p>

<p>Thousands of servers run open-source LLMs outside major AI platforms security controls, researchers say</p>
<div class="lb-trans"><p>研究人員表示，數千台服務器在主要人工智能平台的安全控制之外運行開源大型語言模型。</p>
</div><p>Researchers identify removed guardrails in hundreds of open-source LLM instances</p>
<div class="lb-trans"><p>研究人員發現數百個開源大型語言模型實例中移除了安全防護措施。</p>
</div><p>LLMs can be exploited for spam, phishing, disinformation campaigns, researchers warn</p>
<div class="lb-trans"><p>研究人員警告稱，大型語言模型可能被用於垃圾郵件、網絡釣魚和虛假信息活動。</p>
</div><p>By AJ Vicens</p>
<div class="lb-trans"><p>作者：AJ Vicens</p>
</div><p>Jan 29 (Reuters) - Hackers and other criminals can easily commandeer computers operating open-source large language models outside the guardrails and constraints of the major artificial-intelligence platforms, creating security risks and vulnerabilities, researchers said on Thursday.</p>
<div class="lb-trans"><p>1 月 29 日（路透社）——研究人員週四表示，黑客和其他犯罪分子可以輕易控制在主要人工智能平台的安全防護之外運行的開源大型語言模型的計算機，從而造成安全風險和漏洞。</p>
</div><p>Hackers could target the computers running the LLMs and direct them to carry out spam operations, phishing content creation or disinformation campaigns, evading platform security protocols, the researchers said.</p>
<div class="lb-trans"><p>研究人員表示，黑客可能會針對運行大型語言模型的計算機，指示它們進行垃圾郵件操作、創建網絡釣魚內容或進行虛假信息活動，從而規避平台的安全協議。</p>
</div><p>The research, carried out jointly by cybersecurity companies SentinelOne (S.N) and Censys over the course of 293 days and shared exclusively with Reuters, offers a new window into the scale of potentially illicit use cases for thousands of open-source LLM deployments. These include hacking, hate speech and harassment, violent or gore content, personal data theft, scams or fraud, and in some cases child sexual abuse material, the researchers said.</p>
<div class="lb-trans"><p>這項研究由網絡安全公司 SentinelOne（S.N）和 Censys 聯合進行，歷時 293 天，並獨家與路透社分享，提供了對數千個開源大型語言模型部署潛在非法使用案例規模的新視角。這些案例包括黑客攻擊、仇恨言論和騷擾、暴力或血腥內容、個人數據盜竊、詐騙或欺詐，以及在某些情況下兒童性虐待材料，研究人員表示。</p>
</div><p>While thousands of open-source LLM variants exist, a significant portion of the LLMs on the internet-accessible hosts are variants of Meta’s (META.O) Llama, Google DeepMind’s Gemma, and others, according to the researchers. While some of the open-source models include guardrails, the researchers identified hundreds of instances where guardrails were explicitly removed.</p>
<div class="lb-trans"><p>研究人員指出，儘管存在數千種開源大型語言模型變體，但在可通過互聯網訪問的主機上，許多大型語言模型是 Meta（META.O）的 Llama、谷歌 DeepMind 的 Gemma 等的變體。雖然一些開源模型包含安全防護措施，但研究人員發現數百個實例明確移除了這些防護措施。</p>
</div><p>AI industry conversations about security controls are “ignoring this kind of surplus capacity that is clearly being utilized for all kinds of different stuff, some of it legitimate, some obviously criminal,” said Juan Andres Guerrero-Saade, executive director for intelligence and security research at SentinelOne. Guerrero-Saade likened the situation to an “iceberg” that is not being properly accounted for across the industry and open-source community.</p>
<div class="lb-trans"><p>SentinelOne 情報與安全研究執行董事 Juan Andres Guerrero-Saade 表示，關於安全控制的人工智能行業對話 “忽視了這種明顯被用於各種不同用途的過剩能力，其中一些是合法的，顯然有些是犯罪的。” Guerrero-Saade 將這種情況比作一個 “冰山”，在整個行業和開源社區中並未得到適當的重視。</p>
</div><p>The research analyzed publicly accessible deployments of open-source LLMs deployed through Ollama, a tool that allows people and organizations to run their own versions of various large-language models.</p>
<div class="lb-trans"><p>這項研究分析了通過 Ollama 部署的公開可訪問的開源大型語言模型。Ollama 是一個允許個人和組織運行各種大型語言模型自己版本的工具。</p>
</div><p>The researchers were able to see system prompts, which are the instructions that dictate how the model behaves, in roughly a quarter of the LLMs they observed. Of those, they determined that 7.5% could potentially enable harmful activity.</p>
<div class="lb-trans"><p>研究人員能夠在他們觀察的約四分之一的大型語言模型中看到系統提示，這些提示是指示模型行為的指令。在這些模型中，他們確定有 7.5% 可能會導致有害活動。</p>
</div><p>Roughly 30% of the hosts observed by the researchers are operating out of China, and about 20% in the U.S.</p>
<div class="lb-trans"><p>研究人員觀察到的主機中大約 30% 位於中國，約 20% 位於美國。</p>
</div><p>Rachel Adams, the CEO and founder of the Global Center on AI Governance, said in an email that once open models are released, responsibility for what happens next becomes shared across the ecosystem, including the originating labs.</p>
<div class="lb-trans"><p>全球人工智能治理中心首席執行官兼創始人 Rachel Adams 在一封電子郵件中表示，一旦開源模型發佈，後續發生的事情的責任將在整個生態系統中共享，包括原始實驗室。</p>
</div><p>“Labs are not responsible for every downstream misuse (which are hard to anticipate), but they retain an important duty of care to anticipate foreseeable harms, document risks, and provide mitigation tooling and guidance, particularly given uneven global enforcement capacity,” Adams said.</p>
<div class="lb-trans"><p>“實驗室並不對每一個下游誤用負責（這些是難以預見的），但他們仍然有重要的照顧責任，預見可預見的危害，記錄風險，並提供緩解工具和指導，特別是在全球執法能力不均的情況下，” Adams 説。</p>
</div><p>A spokesperson for Meta declined to respond to questions about developers’ responsibilities for addressing concerns around downstream abuse of open-source models and how concerns might be reported, but noted the company’s Llama Protection tools for Llama developers, and the company’s Meta Llama Responsible Use Guide.</p>
<div class="lb-trans"><p>Meta 的一位發言人拒絕回應有關開發者在解決開源模型下游濫用問題上的責任以及如何報告這些問題的提問，但指出該公司為 Llama 開發者提供的 Llama 保護工具，以及該公司的 Meta Llama 負責任使用指南。</p>
</div><p>Microsoft AI Red Team Lead Ram Shankar Siva Kumar said in an email that Microsoft (MSFT.O) believes open-source models “play an important role” in a variety of areas, but, “at the same time, we are clear-eyed that open models, like all transformative technologies, can be misused by adversaries if released without appropriate safeguards.”</p>
<div class="lb-trans"><p>微軟 AI 紅隊負責人 Ram Shankar Siva Kumar 在一封電子郵件中表示，微軟（MSFT.O）認為開源模型 “在多個領域發揮着重要作用”，但 “與此同時，我們清楚地認識到，開源模型與所有變革性技術一樣，如果在沒有適當保障的情況下發布，可能會被對手濫用。”</p>
</div><p>Microsoft performs pre-release evaluations, including processes to assess “risks for internet-exposed, self-hosted, and tool-calling scenarios, where misuse can be high,” he said. The company also monitors for emerging threats and misuse patterns. “Ultimately, responsible open innovation requires shared commitment across creators, deployers, researchers, and security teams.”</p>
<div class="lb-trans"><p>他説，微軟進行發佈前評估，包括評估 “互聯網暴露、自託管和工具調用場景的風險，這些場景的誤用可能很高”。該公司還監測新興威脅和誤用模式。“最終，負責任的開放創新需要創作者、部署者、研究人員和安全團隊之間的共同承諾。”</p>
</div><p>Ollama did not respond to a request for comment. Alphabet’s (GOOGL.O) Google and Anthropic did not respond to questions.</p>
<div class="lb-trans"><p>Ollama 未對評論請求作出回應。Alphabet（GOOGL.O）的谷歌和 Anthropic 也未對相關問題作出回應。</p>
</div>

Open-source AI models vulnerable to criminal misuse, researchers warn

- 研究顯示，黑客可利用開源大語言模型進行網絡攻擊。  
- 部分模型缺乏安全措施，可能引發垃圾郵件、虛假信息等。  
- 約 30% 實例在中國，20% 在美國，需加強全球監管。

研究人員警告稱，開源 AI 模型容易被犯罪分子濫用