<p>研究人员表示，数千台服务器在主要人工智能平台的安全控制之外运行开源大型语言模型。</p>
<p>研究人员发现数百个开源大型语言模型实例中移除了安全防护措施。</p>
<p>研究人员警告称，大型语言模型可能被用于垃圾邮件、网络钓鱼和虚假信息活动。</p>
<p>作者：AJ Vicens</p>
<p>1 月 29 日（路透社）——研究人员周四表示，黑客和其他犯罪分子可以轻易控制在主要人工智能平台的安全防护之外运行的开源大型语言模型的计算机，从而造成安全风险和漏洞。</p>
<p>研究人员表示，黑客可能会针对运行大型语言模型的计算机，指示它们进行垃圾邮件操作、创建网络钓鱼内容或进行虚假信息活动，从而规避平台的安全协议。</p>
<p>这项研究由网络安全公司 SentinelOne（S.N）和 Censys 联合进行，历时 293 天，并独家与路透社分享，提供了对数千个开源大型语言模型部署潜在非法使用案例规模的新视角。这些案例包括黑客攻击、仇恨言论和骚扰、暴力或血腥内容、个人数据盗窃、诈骗或欺诈，以及在某些情况下儿童性虐待材料，研究人员表示。</p>
<p>研究人员指出，尽管存在数千种开源大型语言模型变体，但在可通过互联网访问的主机上，许多大型语言模型是 Meta（META.O）的 Llama、谷歌 DeepMind 的 Gemma 等的变体。虽然一些开源模型包含安全防护措施，但研究人员发现数百个实例明确移除了这些防护措施。</p>
<p>SentinelOne 情报与安全研究执行董事 Juan Andres Guerrero-Saade 表示，关于安全控制的人工智能行业对话 “忽视了这种明显被用于各种不同用途的过剩能力，其中一些是合法的，显然有些是犯罪的。” Guerrero-Saade 将这种情况比作一个 “冰山”，在整个行业和开源社区中并未得到适当的重视。</p>
<p>这项研究分析了通过 Ollama 部署的公开可访问的开源大型语言模型。Ollama 是一个允许个人和组织运行各种大型语言模型自己版本的工具。</p>
<p>研究人员能够在他们观察的约四分之一的大型语言模型中看到系统提示，这些提示是指示模型行为的指令。在这些模型中，他们确定有 7.5% 可能会导致有害活动。</p>
<p>研究人员观察到的主机中大约 30% 位于中国，约 20% 位于美国。</p>
<p>全球人工智能治理中心首席执行官兼创始人 Rachel Adams 在一封电子邮件中表示，一旦开源模型发布，后续发生的事情的责任将在整个生态系统中共享，包括原始实验室。</p>
<p>“实验室并不对每一个下游误用负责（这些是难以预见的），但他们仍然有重要的照顾责任，预见可预见的危害，记录风险，并提供缓解工具和指导，特别是在全球执法能力不均的情况下，” Adams 说。</p>
<p>Meta 的一位发言人拒绝回应有关开发者在解决开源模型下游滥用问题上的责任以及如何报告这些问题的提问，但指出该公司为 Llama 开发者提供的 Llama 保护工具，以及该公司的 Meta Llama 负责任使用指南。</p>
<p>微软 AI 红队负责人 Ram Shankar Siva Kumar 在一封电子邮件中表示，微软（MSFT.O）认为开源模型 “在多个领域发挥着重要作用”，但 “与此同时，我们清楚地认识到，开源模型与所有变革性技术一样，如果在没有适当保障的情况下发布，可能会被对手滥用。”</p>
<p>他说，微软进行发布前评估，包括评估 “互联网暴露、自托管和工具调用场景的风险，这些场景的误用可能很高”。该公司还监测新兴威胁和误用模式。“最终，负责任的开放创新需要创作者、部署者、研究人员和安全团队之间的共同承诺。”</p>
<p>Ollama 未对评论请求作出回应。Alphabet（GOOGL.O）的谷歌和 Anthropic 也未对相关问题作出回应。</p>

谷歌-A

谷歌-C

META

<p>研究人员警告称，开源大型语言模型（LLMs）容易被犯罪分子滥用，因为数千台服务器在主要人工智能平台的安全控制之外运行。由 SentinelOne 和 Censys 进行的研究显示，黑客可以利用这些模型进行垃圾邮件、网络钓鱼和虚假信息活动。许多开源 LLM，包括 Meta 的 Llama 和谷歌的 Gemma，缺乏必要的保护措施，导致潜在的非法活动。专家强调实验室和开发者在减轻可预见的危害和确保适当的安全措施方面的共同责任</p>

<p>Thousands of servers run open-source LLMs outside major AI platforms security controls, researchers say</p>
<div class="lb-trans"><p>研究人员表示，数千台服务器在主要人工智能平台的安全控制之外运行开源大型语言模型。</p>
</div><p>Researchers identify removed guardrails in hundreds of open-source LLM instances</p>
<div class="lb-trans"><p>研究人员发现数百个开源大型语言模型实例中移除了安全防护措施。</p>
</div><p>LLMs can be exploited for spam, phishing, disinformation campaigns, researchers warn</p>
<div class="lb-trans"><p>研究人员警告称，大型语言模型可能被用于垃圾邮件、网络钓鱼和虚假信息活动。</p>
</div><p>By AJ Vicens</p>
<div class="lb-trans"><p>作者：AJ Vicens</p>
</div><p>Jan 29 (Reuters) - Hackers and other criminals can easily commandeer computers operating open-source large language models outside the guardrails and constraints of the major artificial-intelligence platforms, creating security risks and vulnerabilities, researchers said on Thursday.</p>
<div class="lb-trans"><p>1 月 29 日（路透社）——研究人员周四表示，黑客和其他犯罪分子可以轻易控制在主要人工智能平台的安全防护之外运行的开源大型语言模型的计算机，从而造成安全风险和漏洞。</p>
</div><p>Hackers could target the computers running the LLMs and direct them to carry out spam operations, phishing content creation or disinformation campaigns, evading platform security protocols, the researchers said.</p>
<div class="lb-trans"><p>研究人员表示，黑客可能会针对运行大型语言模型的计算机，指示它们进行垃圾邮件操作、创建网络钓鱼内容或进行虚假信息活动，从而规避平台的安全协议。</p>
</div><p>The research, carried out jointly by cybersecurity companies SentinelOne (S.N) and Censys over the course of 293 days and shared exclusively with Reuters, offers a new window into the scale of potentially illicit use cases for thousands of open-source LLM deployments. These include hacking, hate speech and harassment, violent or gore content, personal data theft, scams or fraud, and in some cases child sexual abuse material, the researchers said.</p>
<div class="lb-trans"><p>这项研究由网络安全公司 SentinelOne（S.N）和 Censys 联合进行，历时 293 天，并独家与路透社分享，提供了对数千个开源大型语言模型部署潜在非法使用案例规模的新视角。这些案例包括黑客攻击、仇恨言论和骚扰、暴力或血腥内容、个人数据盗窃、诈骗或欺诈，以及在某些情况下儿童性虐待材料，研究人员表示。</p>
</div><p>While thousands of open-source LLM variants exist, a significant portion of the LLMs on the internet-accessible hosts are variants of Meta’s (META.O) Llama, Google DeepMind’s Gemma, and others, according to the researchers. While some of the open-source models include guardrails, the researchers identified hundreds of instances where guardrails were explicitly removed.</p>
<div class="lb-trans"><p>研究人员指出，尽管存在数千种开源大型语言模型变体，但在可通过互联网访问的主机上，许多大型语言模型是 Meta（META.O）的 Llama、谷歌 DeepMind 的 Gemma 等的变体。虽然一些开源模型包含安全防护措施，但研究人员发现数百个实例明确移除了这些防护措施。</p>
</div><p>AI industry conversations about security controls are “ignoring this kind of surplus capacity that is clearly being utilized for all kinds of different stuff, some of it legitimate, some obviously criminal,” said Juan Andres Guerrero-Saade, executive director for intelligence and security research at SentinelOne. Guerrero-Saade likened the situation to an “iceberg” that is not being properly accounted for across the industry and open-source community.</p>
<div class="lb-trans"><p>SentinelOne 情报与安全研究执行董事 Juan Andres Guerrero-Saade 表示，关于安全控制的人工智能行业对话 “忽视了这种明显被用于各种不同用途的过剩能力，其中一些是合法的，显然有些是犯罪的。” Guerrero-Saade 将这种情况比作一个 “冰山”，在整个行业和开源社区中并未得到适当的重视。</p>
</div><p>The research analyzed publicly accessible deployments of open-source LLMs deployed through Ollama, a tool that allows people and organizations to run their own versions of various large-language models.</p>
<div class="lb-trans"><p>这项研究分析了通过 Ollama 部署的公开可访问的开源大型语言模型。Ollama 是一个允许个人和组织运行各种大型语言模型自己版本的工具。</p>
</div><p>The researchers were able to see system prompts, which are the instructions that dictate how the model behaves, in roughly a quarter of the LLMs they observed. Of those, they determined that 7.5% could potentially enable harmful activity.</p>
<div class="lb-trans"><p>研究人员能够在他们观察的约四分之一的大型语言模型中看到系统提示，这些提示是指示模型行为的指令。在这些模型中，他们确定有 7.5% 可能会导致有害活动。</p>
</div><p>Roughly 30% of the hosts observed by the researchers are operating out of China, and about 20% in the U.S.</p>
<div class="lb-trans"><p>研究人员观察到的主机中大约 30% 位于中国，约 20% 位于美国。</p>
</div><p>Rachel Adams, the CEO and founder of the Global Center on AI Governance, said in an email that once open models are released, responsibility for what happens next becomes shared across the ecosystem, including the originating labs.</p>
<div class="lb-trans"><p>全球人工智能治理中心首席执行官兼创始人 Rachel Adams 在一封电子邮件中表示，一旦开源模型发布，后续发生的事情的责任将在整个生态系统中共享，包括原始实验室。</p>
</div><p>“Labs are not responsible for every downstream misuse (which are hard to anticipate), but they retain an important duty of care to anticipate foreseeable harms, document risks, and provide mitigation tooling and guidance, particularly given uneven global enforcement capacity,” Adams said.</p>
<div class="lb-trans"><p>“实验室并不对每一个下游误用负责（这些是难以预见的），但他们仍然有重要的照顾责任，预见可预见的危害，记录风险，并提供缓解工具和指导，特别是在全球执法能力不均的情况下，” Adams 说。</p>
</div><p>A spokesperson for Meta declined to respond to questions about developers’ responsibilities for addressing concerns around downstream abuse of open-source models and how concerns might be reported, but noted the company’s Llama Protection tools for Llama developers, and the company’s Meta Llama Responsible Use Guide.</p>
<div class="lb-trans"><p>Meta 的一位发言人拒绝回应有关开发者在解决开源模型下游滥用问题上的责任以及如何报告这些问题的提问，但指出该公司为 Llama 开发者提供的 Llama 保护工具，以及该公司的 Meta Llama 负责任使用指南。</p>
</div><p>Microsoft AI Red Team Lead Ram Shankar Siva Kumar said in an email that Microsoft (MSFT.O) believes open-source models “play an important role” in a variety of areas, but, “at the same time, we are clear-eyed that open models, like all transformative technologies, can be misused by adversaries if released without appropriate safeguards.”</p>
<div class="lb-trans"><p>微软 AI 红队负责人 Ram Shankar Siva Kumar 在一封电子邮件中表示，微软（MSFT.O）认为开源模型 “在多个领域发挥着重要作用”，但 “与此同时，我们清楚地认识到，开源模型与所有变革性技术一样，如果在没有适当保障的情况下发布，可能会被对手滥用。”</p>
</div><p>Microsoft performs pre-release evaluations, including processes to assess “risks for internet-exposed, self-hosted, and tool-calling scenarios, where misuse can be high,” he said. The company also monitors for emerging threats and misuse patterns. “Ultimately, responsible open innovation requires shared commitment across creators, deployers, researchers, and security teams.”</p>
<div class="lb-trans"><p>他说，微软进行发布前评估，包括评估 “互联网暴露、自托管和工具调用场景的风险，这些场景的误用可能很高”。该公司还监测新兴威胁和误用模式。“最终，负责任的开放创新需要创作者、部署者、研究人员和安全团队之间的共同承诺。”</p>
</div><p>Ollama did not respond to a request for comment. Alphabet’s (GOOGL.O) Google and Anthropic did not respond to questions.</p>
<div class="lb-trans"><p>Ollama 未对评论请求作出回应。Alphabet（GOOGL.O）的谷歌和 Anthropic 也未对相关问题作出回应。</p>
</div>

Open-source AI models vulnerable to criminal misuse, researchers warn

- 研究显示，黑客可利用开源大语言模型进行网络攻击。  
- 部分模型缺乏安全措施，可能引发垃圾邮件、虚假信息等。  
- 约 30% 实例在中国，20% 在美国，需加强全球监管。

研究人员警告称，开源 AI 模型容易被犯罪分子滥用