<p>新瓜，主角是昨天剛剛發佈的 Meta 旗艦大模型——Llama 4。</p>
<h2>內部爆料：性能不達標，壓力下欲 “優化” 結果？</h2>
<p>首先引爆討論的是一篇來自 “一畝三分地” 論壇的帖子，發帖人自稱是參與 Llama 4 訓練的內部員工，並表示已因此辭職。</p>
<p><img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/d39a1506-38a3-4465-a039-a300c7502052.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="945" height="2048" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/d39a1506-38a3-4465-a039-a300c7502052.png"/></p>
<p>帖子內容信息量很大，主要説了幾點：</p>
<ol>
<li>
<section>1. <strong>性能瓶頸：</strong> 儘管團隊反覆努力訓練，Llama 4 的內部模型性能始終無法達到開源 SOTA（State-of-the-Art，頂尖水平）基準，差距明顯。</section>
</li>
<li>
<section>2. <strong>“曲線救國” 策略：</strong> 公司領導層提出，在訓練後期，將各種基準測試的 “測試集” 數據混入訓練或微調數據中。這樣做的目的很直接——在各項指標上達成目標，交出一份 “看起來很美” 的成績單</section>
</li>
<li>
<section>3. <strong>Deadline 壓力：</strong> 這個 “刷分” 任務有明確的時間線——4 月底。如果屆時無法達成目標，後果可能很嚴重</section>
</li>
<li>
<section>4. <strong>用户反饋不佳：</strong> Llama 4 發佈後（帖子發佈於模型剛發佈時），X 和 Reddit 上已有不少用户反饋，實際測試效果非常糟糕</section>
</li>
<li>
<section>5. <strong>學術底線與辭職：</strong> 發帖人表示，自己有學術背景，無法接受這種 “為了達標而污染測試數據” 的做法，因此提交了辭職，並明確要求不要將自己的名字寫入 Llama 4 的技術報告</section>
</li>
<li>
<section>6. <strong>高管動向（帖中提及）：</strong> 帖子還提到，Meta 的 AI 副總裁（VP of AI）也因類似原因辭職。（博主注：此為帖子單方面説法，需注意辨別）</section>
</li>
</ol>
<p>這篇帖子迅速引發了圈內關注，大家都在討論這種做法是否違背了 AI 研發的基本誠信</p>
<p>這是後續，真實情況還有待於觀察</p>
<p><img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/6779a455-548d-450f-8eea-3b68d6a7e2bf.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="945" height="2048" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/6779a455-548d-450f-8eea-3b68d6a7e2bf.png"/></p>
<h2>外部觀察：TechCrunch 質疑測試版本 “誤導性”</h2>
<p>無獨有偶，知名科技媒體 TechCrunch 也發文，標題直指 Meta 新 AI 模型的性能測試 “有點誤導人”。</p>
<p>TechCrunch 的文章主要聚焦於 Llama 4（即 Maverick）在著名的人類評估排行榜 LM Arena 上的表現。Maverick 確實取得了第二名的好成績，但這背後似乎另有隱情：</p>
<p><img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/d130328a-b740-4dc9-9a89-844172db6e9f.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="779" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/d130328a-b740-4dc9-9a89-844172db6e9f.png"/></p>
<ol>
<li>
<section>1. <strong>版本差異：</strong> Meta 提交給 LM Arena 進行測試評估的 Maverick 版本，和公開發布給開發者使用的版本，可能不是同一個</section>
</li>
<li>
<section>2. <strong>官方標註：</strong> Meta 在發佈公告和 Llama 官網上其實也提到了這一點。他們明確説明，用於 LM Arena 測試的是一個 “實驗性的聊天版本”，或者標註為 “專門針對對話場景優化的 Llama 4 Maverick”</section>
</li>
<li>
<section>3. <strong>“為榜單優化” 的問題：</strong> TechCrunch 指出，雖然 LM Arena 本身並非完美的評測工具，但過去 AI 公司通常不會（至少不公開承認）專門為了提升榜單排名而特供一個優化版本。Meta 這次的做法，相當於針對基準測試優化了一個版本去打榜，卻給開發者提供了未經特別優化的 “基礎版”</section>
</li>
<li>
<section>4. <strong>誤導開發者：</strong> 這種操作會讓開發者難以根據榜單排名準確預估模型在自己實際應用場景中的真實表現。基準測試雖然有侷限，但本應提供一個相對公平的參考</section>
</li>
<li>
<section>5. <strong>行為差異：</strong> X 平台上的研究人員也發現，公開下載的 Maverick 版本，和在 LM Arena 上測試的版本行為確實不同。榜單上的那個版本更喜歡用表情符號（emoji），回答也明顯更囉嗦</section>
</li>
</ol>
<h2>一些 Llama 4 的實測</h2>
<p>號稱千萬上下文的召回率，上下文的實際表現，遠低於預期</p>
<p><img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/a61d4df9-9065-45e1-b126-d12148ad5b14.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="1039" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/a61d4df9-9065-45e1-b126-d12148ad5b14.png"/></p>
<p>Llama 4 Maverick 在 aider 多語言編碼基準測試中得分為實測僅為 16%</p>
<p><img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/ce6e4383-41ab-49f9-8cdf-c6af0f12a31d.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="661" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/ce6e4383-41ab-49f9-8cdf-c6af0f12a31d.png"/></p>
<p><span style="color: #b3b3b3">本文來源：AI 寒武紀，原文標題：《大瓜來了！Llama 4 陷刷榜爭議：“內部員工” 發帖控訴，測評版本被指特供？》</span></p><div>風險提示及免責條款</div>
          <div>
            市場有風險，投資需謹慎。本文不構成個人投資建議，也未考慮到個別用户特殊的投資目標、財務狀況或需要。用户應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資，責任自負。
          </div>