「語言混雜」造成？OpenAI o3-mini 被曝大量使用中文推理

OpenAI 在 1 日推出最新研發的輕量級人工智慧模型 o3-mini，不過國外網友發現，在沒有使用者干預的情況下，竟大量地使用中文進行推理，更有意思的是，即使用俄語去提問，o3-mini-high 也會用中文去思考。不禁讓國外網友懷疑，是不是 OpenAI 在「偷師」大陸的 DeepSeek 模型。大陸財經媒體《華爾街見聞》報導，網友質問 OpenAI 執行長奧特曼和 OpenAI，o3-mini 到底為什麼要用中文進行推理？網友 Annalisa Fernandez 則表示，或許中文才是 LLM（大型語言模型）的「靈魂語言」。報導稱，這並不是 OpenAI 的模型首次發生這種現象，早在 2024 年 2 月，就有開發者在 OpenAI 開發者社區上發布過類似的問題，不過是混合了其他語言；在推理模型方面，OpenAI o1 也存在類似的問題。事實上，這種「語言混雜」（language mixing）現象在其它 AI 模型中也有發現，例如谷歌的 Gemini 會混雜德語。加拿大亞伯達大學助理教授、AI 研究員古茲迪亞爾（Matthew Guzdial）指出，「模型並不知道什麼是語言，也不知道語言之間有什麼不同，因為對它來說這些都只是文本。」實際上，模型眼中的語言，和一般人理解的完全不同。模型並不直接處理單詞，而是處理 tokens（符元）。以「fantastic」為例，它可以作為一個完整的 token；可以拆成「fan」、「tas」、「tic」3 個 token；也可以完全拆散，每個字母都是一個 token。但這種拆分方式也會帶來一些誤會。許多分詞器看到空格就認為是新詞的開始，但實際上不是所有語言都用空格分詞，例如中文。DeepSeek 在論文中對這一現象進行了分析。研究團隊發現，當強化學習提示詞涉及多種語言時，思維鏈常常出現語言混雜的現象。目前，「語言混雜」還亟待解決。畢竟 DeepSeek-R1 也只是針對中文和英文進行優化，在處理其它語言的查詢時，也可能出現語言混雜問題。OpenAI 在 1 日推出最新研發的輕量級人工智慧模型 o3-mini。不過有國外網友發現，在沒有使用者干預的情況下，它會大量使用中文進行推理。國外網友懷疑，是不是 OpenAI 在「偷師」大陸的 DeepSeek 模型？（法新社）