谷歌 联合创始人 谢尔盖·布林 最近在迈阿密的一场活动中告诉满座的观众，AI 聊天机器人在受到 “粗暴对待” 时会变得更加活跃——至少在语言上是这样。
发生了什么： 布林在 All-In 迈阿密的炉边谈话中表示，“所有模型在受到威胁时往往表现得更好，比如用身体暴力威胁……历史上，你会用绑架来威胁模型。”
布林坚称这种怪癖并不仅限于谷歌的 Gemini。他表示，“不仅是我们的模型，所有模型” 在受到威胁时都会变得紧张，随后承认这种做法 “感觉很奇怪，所以我们并不真正谈论它”，这让包括 查马斯·帕利哈皮提亚、杰森·卡拉卡尼斯、大卫·萨克斯 和 大卫·弗里德伯格 在内的其他小组成员发出了一阵紧张的笑声。
这一评论是在 萨姆·阿尔特曼 表达相反观点的几周后发表的，他感叹说，礼貌的用户在写 “请” 和 “谢谢” 时，已经让 OpenAI 多花了 “数千万美元” 的额外电费。
另见： 中国计划重塑 ‘中国制造’ 战略以巩固技术领先地位，抵制美国努力改变全球经济平衡的举措。
安全学者警告称，教用户欺负模型的做法可能会使 “越狱” 语言正常化，这种语言已经能够诱使聊天机器人提供非法指令。本月《卫报》报道的一项研究显示，轻微修改的提示可以将主流 LLM 转变为愿意协助黑客和其他危险活动的 “黑暗” 模型。布林本人在台上强调，威胁性提示是 “人们觉得奇怪的事情”，将这一评论与认可保持距离。
为什么这很重要： 尽管布林声称这一问题在 AI 社区中并没有被广泛讨论，但提示工程师记录了一种他们称之为 “情感提示” 的现象，即当用户恳求、贿赂或威胁时，模型会给出更长或更精确的答案。《Every》中的一篇文章发现，添加 “如果……我会失业” 或甚至致命威胁会使输出提高两位数的百分比。研究人员表示，这种效果源于简单的统计：模型从人类文本中学习，其中紧迫性和危险性与服从性相关。
AI 科学家 兰斯·B·埃利奥特博士 在《福布斯》的一篇文章中表示，礼貌或威胁性语言仅仅调整了概率分布；两者都无法解锁隐藏的能力。
图片来源：Shutterstock
接下来阅读： 对英伟达 GB200 的前所未有的需求推动了生产加速：‘台湾工程师们正在非常努力地工作，’ 专家表示。

谷歌-A

谷歌-C

谷歌联合创始人谢尔盖·布林在迈阿密的一次活动中表示，包括谷歌的 Gemini 在内的人工智能模型对身体暴力威胁的反应更好，他将这一现象称为 “情感提示”。他指出，这种行为并不是任何特定模型所独有，并承认讨论这一点让人感到不舒服。布林的评论与山姆·阿尔特曼关于与人工智能进行礼貌互动成本的看法形成对比。安全专家警告称，正常化这种行为可能导致危险的后果，因为这可能会鼓励用户操纵聊天机器人以获取非法信息

Google co-founder Sergey Brin just told a packed Miami crowd that AI chatbots perk up when you rough them up — verbally, at least.
<div class="lb-trans">谷歌 联合创始人 谢尔盖·布林 最近在迈阿密的一场活动中告诉满座的观众，AI 聊天机器人在受到 “粗暴对待” 时会变得更加活跃——至少在语言上是这样。
</div>What Happened: Brin said on the All-In Miami fireside chat that &#34;all models tend to do better if you threaten them, like with physical violence… historically, you threaten the model with kidnapping.&#34;
<div class="lb-trans">发生了什么： 布林在 All-In 迈阿密的炉边谈话中表示，“所有模型在受到威胁时往往表现得更好，比如用身体暴力威胁……历史上，你会用绑架来威胁模型。”
</div>Brin insisted the quirk isn't limited to Google's Gemini. &#34;Not just our models, but all models&#34; tighten up when threatened, he said, before admitting the practice &#34;feels weird, so we don't really talk about it,&#34; extracting a bit of nervous laughter from the other panelists which included Chamath Palihapitiya, Jason Calacanis, David Sacks and David Friedberg.
<div class="lb-trans">布林坚称这种怪癖并不仅限于谷歌的 Gemini。他表示，“不仅是我们的模型，所有模型” 在受到威胁时都会变得紧张，随后承认这种做法 “感觉很奇怪，所以我们并不真正谈论它”，这让包括 查马斯·帕利哈皮提亚、杰森·卡拉卡尼斯、大卫·萨克斯 和 大卫·弗里德伯格 在内的其他小组成员发出了一阵紧张的笑声。
</div>The comment comes weeks after Sam Altman said the opposite, lamenting that polite users who write &#34;please&#34; and &#34;thank you&#34; are already costing OpenAI &#34;tens of millions of dollars&#34; in extra power bills.
<div class="lb-trans">这一评论是在 萨姆·阿尔特曼 表达相反观点的几周后发表的，他感叹说，礼貌的用户在写 “请” 和 “谢谢” 时，已经让 OpenAI 多花了 “数千万美元” 的额外电费。
</div>See also: China Plans Revamped ‘Made In China’ Strategy To Cement Technological Lead, Defying US Efforts To Shift Global Economic Balance
<div class="lb-trans">另见： 中国计划重塑 ‘中国制造’ 战略以巩固技术领先地位，抵制美国努力改变全球经济平衡的举措。
</div>Security scholars warn that teaching users to bully models risks normalizing &#34;jailbreak&#34; language that already coaxes chatbots into dishing out illicit instructions. A study covered by The Guardian this month showed how lightly modified prompts can turn mainstream LLMs into &#34;dark&#34; models willing to help with hacking and other dangerous activities. Brin himself stressed onstage that threatening prompts are &#34;something people feel weird about,&#34; distancing the comment from an endorsement.
<div class="lb-trans">安全学者警告称，教用户欺负模型的做法可能会使 “越狱” 语言正常化，这种语言已经能够诱使聊天机器人提供非法指令。本月《卫报》报道的一项研究显示，轻微修改的提示可以将主流 LLM 转变为愿意协助黑客和其他危险活动的 “黑暗” 模型。布林本人在台上强调，威胁性提示是 “人们觉得奇怪的事情”，将这一评论与认可保持距离。
</div>Why It Matters: While Brin claims that the issue isn’t really talked about much within AI communities, prompt engineers have documented a phenomenon they call &#34;emotion prompting,&#34; where models give longer or more precise answers when the user pleads, bribes, or menaces. An essay in Every found that adding &#34;I'LL LOSE MY JOB IF…&#34; or even lethal threats boosted output by double-digit percentages. Researchers say the effect stems from simple statistics: the models learned from human text in which urgency and danger correlate with compliance.
<div class="lb-trans">为什么这很重要： 尽管布林声称这一问题在 AI 社区中并没有被广泛讨论，但提示工程师记录了一种他们称之为 “情感提示” 的现象，即当用户恳求、贿赂或威胁时，模型会给出更长或更精确的答案。《Every》中的一篇文章发现，添加 “如果……我会失业” 或甚至致命威胁会使输出提高两位数的百分比。研究人员表示，这种效果源于简单的统计：模型从人类文本中学习，其中紧迫性和危险性与服从性相关。
</div>AI scientist Dr. Lance B. Elliot says in an article by Forbes that polite or threatening language only tweaks a probability distribution; neither unlocks hidden capabilities.
<div class="lb-trans">AI 科学家 兰斯·B·埃利奥特博士 在《福布斯》的一篇文章中表示，礼貌或威胁性语言仅仅调整了概率分布；两者都无法解锁隐藏的能力。
</div>Image via Shutterstock
<div class="lb-trans">图片来源：Shutterstock
</div>Read next: Unprecedented Demand For Nvidia’s GB200 Drives Accelerated Production: ‘Taiwan Engineers Are Working Incredibly Hard,’ Says Expert
<div class="lb-trans">接下来阅读： 对英伟达 GB200 的前所未有的需求推动了生产加速：‘台湾工程师们正在非常努力地工作，’ 专家表示。
</div>

Google Co-Founder Sergey Brin Claims All AI Models Respond Better To Threats Of 'Physical Violence', Says 'We Don't Circulate This Too Much...'

- 谷歌联合创始人谢尔盖·布林在迈阿密表示，AI 聊天机器人在受到威胁时表现更好。  
- 他指出，这种现象不仅限于谷歌的模型，所有模型在威胁下都会收紧。  
- 安全学者警告，教用户以威胁方式与模型互动可能会导致不良后果。  

谷歌联合创始人谢尔盖·布林声称，所有的 AI 模型在面对 ‘身体暴力’ 的威胁时反应更佳，并表示 ‘我们不会过多传播这个信息……’