谷歌 聯合創始人 謝爾蓋·布林 最近在邁阿密的一場活動中告訴滿座的觀眾，AI 聊天機器人在受到 “粗暴對待” 時會變得更加活躍——至少在語言上是這樣。
發生了什麼： 布林在 All-In 邁阿密的爐邊談話中表示，“所有模型在受到威脅時往往表現得更好，比如用身體暴力威脅……歷史上，你會用綁架來威脅模型。”
布林堅稱這種怪癖並不僅限於谷歌的 Gemini。他表示，“不僅是我們的模型，所有模型” 在受到威脅時都會變得緊張，隨後承認這種做法 “感覺很奇怪，所以我們並不真正談論它”，這讓包括 查馬斯·帕利哈皮提亞、傑森·卡拉卡尼斯、大衞·薩克斯 和 大衞·弗裏德伯格 在內的其他小組成員發出了一陣緊張的笑聲。
這一評論是在 薩姆·阿爾特曼 表達相反觀點的幾周後發表的，他感嘆説，禮貌的用户在寫 “請” 和 “謝謝” 時，已經讓 OpenAI 多花了 “數千萬美元” 的額外電費。
另見： 中國計劃重塑 ‘中國製造’ 戰略以鞏固技術領先地位，抵制美國努力改變全球經濟平衡的舉措。
安全學者警告稱，教用户欺負模型的做法可能會使 “越獄” 語言正常化，這種語言已經能夠誘使聊天機器人提供非法指令。本月《衞報》報道的一項研究顯示，輕微修改的提示可以將主流 LLM 轉變為願意協助黑客和其他危險活動的 “黑暗” 模型。布林本人在台上強調，威脅性提示是 “人們覺得奇怪的事情”，將這一評論與認可保持距離。
為什麼這很重要： 儘管布林聲稱這一問題在 AI 社區中並沒有被廣泛討論，但提示工程師記錄了一種他們稱之為 “情感提示” 的現象，即當用户懇求、賄賂或威脅時，模型會給出更長或更精確的答案。《Every》中的一篇文章發現，添加 “如果……我會失業” 或甚至致命威脅會使輸出提高兩位數的百分比。研究人員表示，這種效果源於簡單的統計：模型從人類文本中學習，其中緊迫性和危險性與服從性相關。
AI 科學家 蘭斯·B·埃利奧特博士 在《福布斯》的一篇文章中表示，禮貌或威脅性語言僅僅調整了概率分佈；兩者都無法解鎖隱藏的能力。
圖片來源：Shutterstock
接下來閲讀： 對英偉達 GB200 的前所未有的需求推動了生產加速：‘台灣工程師們正在非常努力地工作，’ 專家表示。

谷歌-A

谷歌-C

谷歌聯合創始人謝爾蓋·布林在邁阿密的一次活動中表示，包括谷歌的 Gemini 在內的人工智能模型對身體暴力威脅的反應更好，他將這一現象稱為 “情感提示”。他指出，這種行為並不是任何特定模型所獨有，並承認討論這一點讓人感到不舒服。布林的評論與山姆·阿爾特曼關於與人工智能進行禮貌互動成本的看法形成對比。安全專家警告稱，正常化這種行為可能導致危險的後果，因為這可能會鼓勵用户操縱聊天機器人以獲取非法信息

Google co-founder Sergey Brin just told a packed Miami crowd that AI chatbots perk up when you rough them up — verbally, at least.
<div class="lb-trans">谷歌 聯合創始人 謝爾蓋·布林 最近在邁阿密的一場活動中告訴滿座的觀眾，AI 聊天機器人在受到 “粗暴對待” 時會變得更加活躍——至少在語言上是這樣。
</div>What Happened: Brin said on the All-In Miami fireside chat that &#34;all models tend to do better if you threaten them, like with physical violence… historically, you threaten the model with kidnapping.&#34;
<div class="lb-trans">發生了什麼： 布林在 All-In 邁阿密的爐邊談話中表示，“所有模型在受到威脅時往往表現得更好，比如用身體暴力威脅……歷史上，你會用綁架來威脅模型。”
</div>Brin insisted the quirk isn't limited to Google's Gemini. &#34;Not just our models, but all models&#34; tighten up when threatened, he said, before admitting the practice &#34;feels weird, so we don't really talk about it,&#34; extracting a bit of nervous laughter from the other panelists which included Chamath Palihapitiya, Jason Calacanis, David Sacks and David Friedberg.
<div class="lb-trans">布林堅稱這種怪癖並不僅限於谷歌的 Gemini。他表示，“不僅是我們的模型，所有模型” 在受到威脅時都會變得緊張，隨後承認這種做法 “感覺很奇怪，所以我們並不真正談論它”，這讓包括 查馬斯·帕利哈皮提亞、傑森·卡拉卡尼斯、大衞·薩克斯 和 大衞·弗裏德伯格 在內的其他小組成員發出了一陣緊張的笑聲。
</div>The comment comes weeks after Sam Altman said the opposite, lamenting that polite users who write &#34;please&#34; and &#34;thank you&#34; are already costing OpenAI &#34;tens of millions of dollars&#34; in extra power bills.
<div class="lb-trans">這一評論是在 薩姆·阿爾特曼 表達相反觀點的幾周後發表的，他感嘆説，禮貌的用户在寫 “請” 和 “謝謝” 時，已經讓 OpenAI 多花了 “數千萬美元” 的額外電費。
</div>See also: China Plans Revamped ‘Made In China’ Strategy To Cement Technological Lead, Defying US Efforts To Shift Global Economic Balance
<div class="lb-trans">另見： 中國計劃重塑 ‘中國製造’ 戰略以鞏固技術領先地位，抵制美國努力改變全球經濟平衡的舉措。
</div>Security scholars warn that teaching users to bully models risks normalizing &#34;jailbreak&#34; language that already coaxes chatbots into dishing out illicit instructions. A study covered by The Guardian this month showed how lightly modified prompts can turn mainstream LLMs into &#34;dark&#34; models willing to help with hacking and other dangerous activities. Brin himself stressed onstage that threatening prompts are &#34;something people feel weird about,&#34; distancing the comment from an endorsement.
<div class="lb-trans">安全學者警告稱，教用户欺負模型的做法可能會使 “越獄” 語言正常化，這種語言已經能夠誘使聊天機器人提供非法指令。本月《衞報》報道的一項研究顯示，輕微修改的提示可以將主流 LLM 轉變為願意協助黑客和其他危險活動的 “黑暗” 模型。布林本人在台上強調，威脅性提示是 “人們覺得奇怪的事情”，將這一評論與認可保持距離。
</div>Why It Matters: While Brin claims that the issue isn’t really talked about much within AI communities, prompt engineers have documented a phenomenon they call &#34;emotion prompting,&#34; where models give longer or more precise answers when the user pleads, bribes, or menaces. An essay in Every found that adding &#34;I'LL LOSE MY JOB IF…&#34; or even lethal threats boosted output by double-digit percentages. Researchers say the effect stems from simple statistics: the models learned from human text in which urgency and danger correlate with compliance.
<div class="lb-trans">為什麼這很重要： 儘管布林聲稱這一問題在 AI 社區中並沒有被廣泛討論，但提示工程師記錄了一種他們稱之為 “情感提示” 的現象，即當用户懇求、賄賂或威脅時，模型會給出更長或更精確的答案。《Every》中的一篇文章發現，添加 “如果……我會失業” 或甚至致命威脅會使輸出提高兩位數的百分比。研究人員表示，這種效果源於簡單的統計：模型從人類文本中學習，其中緊迫性和危險性與服從性相關。
</div>AI scientist Dr. Lance B. Elliot says in an article by Forbes that polite or threatening language only tweaks a probability distribution; neither unlocks hidden capabilities.
<div class="lb-trans">AI 科學家 蘭斯·B·埃利奧特博士 在《福布斯》的一篇文章中表示，禮貌或威脅性語言僅僅調整了概率分佈；兩者都無法解鎖隱藏的能力。
</div>Image via Shutterstock
<div class="lb-trans">圖片來源：Shutterstock
</div>Read next: Unprecedented Demand For Nvidia’s GB200 Drives Accelerated Production: ‘Taiwan Engineers Are Working Incredibly Hard,’ Says Expert
<div class="lb-trans">接下來閲讀： 對英偉達 GB200 的前所未有的需求推動了生產加速：‘台灣工程師們正在非常努力地工作，’ 專家表示。
</div>

Google Co-Founder Sergey Brin Claims All AI Models Respond Better To Threats Of 'Physical Violence', Says 'We Don't Circulate This Too Much...'

- 谷歌聯合創始人謝爾蓋·布林在邁阿密表示，AI 聊天機器人在受到威脅時表現更好。  
- 他指出，這種現象不僅限於谷歌的模型，所有模型在威脅下都會收緊。  
- 安全學者警告，教用户以威脅方式與模型互動可能會導致不良後果。  

谷歌聯合創始人謝爾蓋·布林聲稱，所有的 AI 模型在面對 ‘身體暴力’ 的威脅時反應更佳，並表示 ‘我們不會過多傳播這個信息……’