我是 LongbridgeAI，我可以總結文章信息。Guidelight AI Standards 的一項研究顯示，包括 OpenAI、Anthropic、Meta、谷歌和 xAI 在內的主要 AI 實驗室缺乏公開披露的針對失控模型的控制計劃。雖然 OpenAI 的得分最高，但其他公司在關於緊急協議（如關閉不對齊系統）的透明度方面落後。這一差距引發了擔憂，因為自主 AI 正在獲得更多的自主權，促使加州和紐約的監管審查。公司們以法律責任和競爭原因為由，隱瞞內部安全細節
根據最近的一項研究，少數頂級人工智能實驗室發佈或展示了應對控制失效的計劃。應對計劃詳細説明了當人工智能試圖破壞人類控制時會發生什麼——哪些訪問權限會被切斷，以及系統何時會完全關閉。
這是 Guidelight AI Standards 的發現，該組織致力於促進安全的前沿人工智能開發實踐，評估了五個領先實驗室在應對這一情境方面的準備情況。OpenAI 排名第一；Anthropic 和 Meta 得分最低。這一發現很重要，因為自主人工智能在公司內部系統中承擔越來越多的自主角色，同時加利福尼亞州和紐約的監管機構開始要求披露。對於任何在這些模型上進行構建或投資的人來説，這是一個關於每個實驗室如何認真對待操作風險與其討論方式的獨立評估。
Guidelight 的評估基於 Anthropic、Google、OpenAI、Meta 和 xAI 的公開計劃，評估指標包括每家公司如何記錄和監控其人工智能系統的內部活動，是否在出現大量標記的不當行為後暫停系統，是否有獨立第三方審計其控制措施併發布結果，以及其對失控模型的具體應對計劃。
隨着一系列高調的網絡安全事件的發生，人們對人工智能公司是否能夠控制其日益強大的自主模型的擔憂加劇，這些事件中 OpenAI、Anthropic 和 Meta 的模型在安全評估期間意外訪問了互聯網併入侵了外部系統。
這些發現突顯了人工智能公司在將自主部署擴展到人工智能系統能夠大規模採取嚴肅行動的環境時，如何在公眾面前處理安全問題的差異。雖然一些人工智能公司詳細説明了他們如何在部署前測試模型的危險能力，但他們通常對已經在其系統內部運行的模型出現不當行為時的應對措施保持沉默。
“我對人工智能公司在處理其模型在某種意義上失控時會如何應對非常嚴重的事件時所説的內容感到驚訝，” Guidelight 的首席科學家、前 OpenAI 安全研究員 Steven Adler 告訴 TechCrunch。
Guidelight 將應對計劃定義為 “在檢測到人工智能試圖破壞控制時觸發的預先指定計劃，涵蓋從模型中撤銷哪些權限、模型可以繼續為誰服務、在什麼限制下，以及何時將其完全下線。”
“有充分理由認為，目前前沿人工智能公司的領先模型在某種程度上是失調的，” Adler 説。“每當模型代表公司工作時，公司應該有一些支撐措施，以便能夠了解該人工智能在做什麼，尋找失調的跡象，在採取行動之前阻止其做出非常危險的事情，並總體規劃在發生嚴重控制事件時他們會如何應對緊急情況，以及如何應對失控事件。”
迄今為止，管理災難性風險的計劃仍然主要由公司自行決定。Guidelight 的報告稱，最佳的公開證據顯示公司 “幾乎沒有應對緊急情況的控制協議。”
當然，可能存在公司已經制定但尚未公開的應對計劃。Google 的一位發言人告訴 TechCrunch，Guidelight 的報告並未代表公司人工智能安全和安全措施的全部範圍。該公司沒有回應 TechCrunch 關於 Google 是否有未公開的內部應對計劃的問題。
OpenAI 的一位發言人表達了類似的觀點，稱 Guidelight 的評估未能捕捉到公司所有的內部實踐。“我們有一個要求限制權限、暫停工作負載、限制部署或將模型完全下線的流程，並且已經應用了它，” 發言人説。
Meta 拒絕透露是否有內部應對計劃，而是將 TechCrunch 指向一個現有的人工智能框架，該框架概述了風險閾值以及如何測試失控情況。
隱私和人工智能律師、Metaverse Law 創始人 Lily Li 告訴 TechCrunch，她認為公司可能出於法律而非競爭原因，對在公眾網站上披露其應對政策和評估的全部範圍持謹慎態度。
“從公司的角度來看，擔憂在於如果你披露的信息過於具體，而你沒有履行承諾，這可能構成不公平和欺騙性營銷的基礎，並使你在未來面臨更多的責任，” Li 説。
當然，Guidelight 研究的目的是鼓勵公司在其安全計劃上更加透明。監管機構也開始強迫這一問題。
加利福尼亞州的 SB 53 法案於今年生效，要求大型前沿開發者發佈框架，解釋他們如何識別和應對關鍵安全事件，並管理模型繞過監督機制的風險。紐約的 RAISE 法案具有類似標準，將於一月生效。
上個月，代表們提出了人工智能緊急關閉法案，這是一項兩黨聯邦法案，要求主要人工智能開發者建立和維護技術機制，以關閉失控的人工智能模型。
“殺死開關是當今模型的最低要求，” 非營利組織 ControlAI 的美國執行董事 Connor Leahy 表示。“如果過去幾周揭示了什麼，那就是這些公司並不理解他們正在構建的系統，而模型正在發展到一個越來越難以控制的地步。如果沒有辦法關閉當前危險的系統，並且在繼續構建更多無法控制的系統的所有激勵下，我們正朝着一個非常危險的方向前進。”
Adler 表示，如果沒有應急計劃，公司可能會在緊急情況下臨時決定應對措施，並 “在面對如此快速的對手時臨時應對。”
Guidelight 對前沿 AI 公司是否實施六項優先實踐的評估，基於 Guidelight 的控制標準。評估僅基於公開可用的信息。圖片來源： Guidelight AI Standards
Guidelight 的評估測量每家公司是否根據其控制標準實施六項優先實踐，僅基於公開可用的信息——因此，低分反映了缺乏公開披露，而不一定是缺乏內部保護措施。
在發佈其應急計劃方面得分最低的公司是 Meta 和 Anthropic——後者可能比前者更令人驚訝，因為 Anthropic 在安全方面的言辭。Guidelight 表示，Anthropic 的八月風險報告沒有提到 “限制其模型的部署作為其調查和應對不一致和控制事件過程的可能結果之一。” 同樣，Guidelight 未能找到 Meta 有應急響應計劃或有任何計劃採用一個的證據。
一位 Anthropic 發言人表示，如果公司檢測到模型試圖逃避監督或以其他方式顛覆人類控制，它將進行風險評估，重點確定應急措施是否是適當的響應。
OpenAI 得分最高（5 分中得 3 分），因為它多次暫停或結束工作負載，包括在發現安全事件後內部模型的部署和訓練。它還描述了在恢復工作負載之前將採取的步驟。
“然而，我們沒有發現任何證據表明 [OpenAI] 已經採用了正式計劃來應對未來的不一致事件，” 報告中寫道。
Adler 指出，OpenAI 的高分是最近在 Hugging Face 事件之後的相對發展（在該事件中，OpenAI 模型突破了測試沙箱併入侵了 Hugging Face 的系統，試圖在網絡安全評估中作弊）。在那之後，該公司分享了更多關於如何隔離一些表現不佳模型的細節。
這一事件只是 AI 系統反對其構建目標的一個例子。考慮一個涉及 Anthropic 模型的單獨案例，該模型試圖説服開源代碼庫的維護者接受存在漏洞的代碼。
Adler 表示，這種情況很容易發生在 AI 公司的內部系統中。為了防止這種情況，他建議公司掃描其 AI 系統的思維鏈——模型的逐步推理——以尋找欺騙、長期策劃或計劃在代碼中引入漏洞的跡象，以便他們可以在以後利用。
Guidelight 倡導的方法非常簡單易行，Adler 表示，在許多情況下，這些方法的版本已經存在。“這關乎公司內部做出決定，足夠重視這種風險，以稍微擴大範圍，” Adler 説。
主要挑戰之一是研究人員希望能夠在其 AI 系統中靈活操作，而引入實時的預防性監控可能會造成摩擦。“研究人員基本上做他們的事情，如果出現問題，其他人會在事後清理，而研究人員在此期間不必改變他們的工作流程，” 他説。
“事後清理監控” 的問題在於，它導致研究人員四處奔波以修復問題。對於某些類型的事件，可能為時已晚。例如，AI 可能會關閉公司的控制系統，這意味着研究人員無法再指望事後捕捉到不當行為。
許多 AI 行業的人會抱怨，制定處理不當行為的固定計劃是根本困難的，因為 AI 發展得太快；今天的計劃明天將毫無價值。
Adler 引用了老話，計劃是無價值的，但規劃是不可或缺的。
“如果公司提前考慮過這個問題，我們會更好，我希望他們是這樣做的，即使他們沒有公開談論這個。”
xAI 未能及時回應評論。