<p>新瓜，主角是昨天刚刚发布的 Meta 旗舰大模型——Llama 4。</p>
<h2>内部爆料：性能不达标，压力下欲 “优化” 结果？</h2>
<p>首先引爆讨论的是一篇来自 “一亩三分地” 论坛的帖子，发帖人自称是参与 Llama 4 训练的内部员工，并表示已因此辞职。</p>
<p><img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/d39a1506-38a3-4465-a039-a300c7502052.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="945" height="2048" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/d39a1506-38a3-4465-a039-a300c7502052.png"/></p>
<p>帖子内容信息量很大，主要说了几点：</p>
<ol>
<li>
<section>1. <strong>性能瓶颈：</strong> 尽管团队反复努力训练，Llama 4 的内部模型性能始终无法达到开源 SOTA（State-of-the-Art，顶尖水平）基准，差距明显。</section>
</li>
<li>
<section>2. <strong>“曲线救国” 策略：</strong> 公司领导层提出，在训练后期，将各种基准测试的 “测试集” 数据混入训练或微调数据中。这样做的目的很直接——在各项指标上达成目标，交出一份 “看起来很美” 的成绩单</section>
</li>
<li>
<section>3. <strong>Deadline 压力：</strong> 这个 “刷分” 任务有明确的时间线——4 月底。如果届时无法达成目标，后果可能很严重</section>
</li>
<li>
<section>4. <strong>用户反馈不佳：</strong> Llama 4 发布后（帖子发布于模型刚发布时），X 和 Reddit 上已有不少用户反馈，实际测试效果非常糟糕</section>
</li>
<li>
<section>5. <strong>学术底线与辞职：</strong> 发帖人表示，自己有学术背景，无法接受这种 “为了达标而污染测试数据” 的做法，因此提交了辞职，并明确要求不要将自己的名字写入 Llama 4 的技术报告</section>
</li>
<li>
<section>6. <strong>高管动向（帖中提及）：</strong> 帖子还提到，Meta 的 AI 副总裁（VP of AI）也因类似原因辞职。（博主注：此为帖子单方面说法，需注意辨别）</section>
</li>
</ol>
<p>这篇帖子迅速引发了圈内关注，大家都在讨论这种做法是否违背了 AI 研发的基本诚信</p>
<p>这是后续，真实情况还有待于观察</p>
<p><img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/6779a455-548d-450f-8eea-3b68d6a7e2bf.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="945" height="2048" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/6779a455-548d-450f-8eea-3b68d6a7e2bf.png"/></p>
<h2>外部观察：TechCrunch 质疑测试版本 “误导性”</h2>
<p>无独有偶，知名科技媒体 TechCrunch 也发文，标题直指 Meta 新 AI 模型的性能测试 “有点误导人”。</p>
<p>TechCrunch 的文章主要聚焦于 Llama 4（即 Maverick）在著名的人类评估排行榜 LM Arena 上的表现。Maverick 确实取得了第二名的好成绩，但这背后似乎另有隐情：</p>
<p><img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/d130328a-b740-4dc9-9a89-844172db6e9f.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="779" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/d130328a-b740-4dc9-9a89-844172db6e9f.png"/></p>
<ol>
<li>
<section>1. <strong>版本差异：</strong> Meta 提交给 LM Arena 进行测试评估的 Maverick 版本，和公开发布给开发者使用的版本，可能不是同一个</section>
</li>
<li>
<section>2. <strong>官方标注：</strong> Meta 在发布公告和 Llama 官网上其实也提到了这一点。他们明确说明，用于 LM Arena 测试的是一个 “实验性的聊天版本”，或者标注为 “专门针对对话场景优化的 Llama 4 Maverick”</section>
</li>
<li>
<section>3. <strong>“为榜单优化” 的问题：</strong> TechCrunch 指出，虽然 LM Arena 本身并非完美的评测工具，但过去 AI 公司通常不会（至少不公开承认）专门为了提升榜单排名而特供一个优化版本。Meta 这次的做法，相当于针对基准测试优化了一个版本去打榜，却给开发者提供了未经特别优化的 “基础版”</section>
</li>
<li>
<section>4. <strong>误导开发者：</strong> 这种操作会让开发者难以根据榜单排名准确预估模型在自己实际应用场景中的真实表现。基准测试虽然有局限，但本应提供一个相对公平的参考</section>
</li>
<li>
<section>5. <strong>行为差异：</strong> X 平台上的研究人员也发现，公开下载的 Maverick 版本，和在 LM Arena 上测试的版本行为确实不同。榜单上的那个版本更喜欢用表情符号（emoji），回答也明显更啰嗦</section>
</li>
</ol>
<h2>一些 Llama 4 的实测</h2>
<p>号称千万上下文的召回率，上下文的实际表现，远低于预期</p>
<p></p>
<p>Llama 4 Maverick 在 aider 多语言编码基准测试中得分为实测仅为 16%</p>
<p><img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/ce6e4383-41ab-49f9-8cdf-c6af0f12a31d.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="661" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/ce6e4383-41ab-49f9-8cdf-c6af0f12a31d.png"/></p>
<p><span style="color: #b3b3b3">本文来源：AI 寒武纪，原文标题：《大瓜来了！Llama 4 陷刷榜争议：“内部员工” 发帖控诉，测评版本被指特供？》</span></p><div>风险提示及免责条款</div>
          <div>
            市场有风险，投资需谨慎。本文不构成个人投资建议，也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。
          </div>