<p>众所周知，老黄不仅卖铲子（GPU），还自己下场开矿（造模型）。</p>
<p>英伟达最新推出的<strong>Llama Nemotron Super v1.5</strong>开源模型就专为复杂推理和 agnet 任务量身打造。</p>
<p>模型在科学、数学、编程及 agent 任务中实现 SOTA 表现的同时，<strong>还将吞吐量提升至前代的 3 倍，且可在单卡高效运行，实现更准、更快、更轻的 “既要又要还要”。</strong></p>
<section><img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/70ed7de9-49d5-4aaa-bbe3-47debb28a8cc.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="488" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/70ed7de9-49d5-4aaa-bbe3-47debb28a8cc.png"/></section>
<p>这是怎么做到的？</p>
<h2>模型介绍</h2>
<p>Llama Nemotron Super v1.5 是 Llama-3.3-Nemotron-Super-49B-V1.5 的简称。它是 Llama-3.3-Nemotron-Super-49B-V1 的升级版本（该模型是 Meta 的 Llama-3.3-70B-Instruct 的衍生模型），专为复杂推理和智能体任务设计。</p>
<h3>模型架构</h3>
<p>Llama Nemotron Super v1.5<strong>采用神经架构搜索（Neural Architecture Search，NAS）</strong>，使该模型在<strong>准确率和效率</strong>之间实现了良好的平衡，将吞吐量的提升有效转化为更低的运行成本。</p>
<p>（注：NAS 的目标是通过搜索算法从大量的可能架构中找到最优的神经网络结构，利用自动化方法替代人工设计神经网络架构，从而提高模型的性能和效率。）</p>
<section><img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/5d905ac8-89aa-409b-8b1e-8e1575e39a3c.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="553" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/5d905ac8-89aa-409b-8b1e-8e1575e39a3c.png"/></section>
<p>在 Llama Nemotron Super v1.5 中，NAS 算法生成了<strong>非标准、非重复的网络模块（blocks）</strong>。相较于传统的 Transformer，其包含以下两类变化：</p>
<ul>
<li><strong>跳过注意力机制（Skip attention）：在某些模块中，直接跳过了注意力层，或者只用一个线性层来代替。</strong>
<section></section>
</li>
<li><strong>可变前馈网络（Variable FFN）：在前馈网络（Feedforward Network）中，不同模块采用了不同的扩展/压缩比。</strong></li>
</ul>
<section></section>
<p>由此，模型通过跳过 attention 或改变 FFN 宽度以减少 FLOPs，从而在资源受限时更高效地运行模型。</p>
<p>之后，研究团队还对原始的 Llama 模型（Llama 3.3 70B Instruct）进行了逐模块的蒸馏（block-wise distillation），通过对每个模块构造多个变体，并在所有模块结构中搜索组合，从而构建一个模型。</p>
<p>使它<strong>既能满足在单个 H100 80GB 显卡上的吞吐量和内存要求，又尽量减少性能损失。</strong></p>
<h2>训练与数据集</h2>
<p>模型首先在 FineWeb、Buzz-V1.2 和 Dolma 三个数据集共 400 亿个 token 的训练数据上进行了知识蒸馏（knowledge distillation，KD)，重点关注英语单轮和多轮聊天。</p>
<p>在后训练阶段，模型通过结合监督微调（SFT）和强化学习（RL）的方法，以进一步提升模型在代码、数学、推理和指令遵循等关键任务上的表现。</p>
<p>这些数据既包括来自公开语料库的题目，也包含人工合成的问答样本，其中部分题目配有开启和关闭推理的答案，旨在增强模型对推理模式的辨别能力。</p>
<p>英伟达表示数据集将在未来几周内发布。</p>
<p>总的来说，Llama Nemotron Super V1.5 是一个通过 NAS 自动优化架构、精简计算图的 Llama 3.3 70B Instruct 变体。它针对单卡运行场景做了结构简化、知识蒸馏训练与后训练，兼顾高准确性、高吞吐量与低资源占用，特别适合英语对话类任务及编程任务的部署。</p>
<p>此外，在部署方面，英伟达延续了其一贯的生态优势：</p>
<blockquote>
<p>我们的 AI 模型专为在 NVIDIA GPU 加速系统上运行而设计和/或优化。通过充分利用 NVIDIA 的硬件（如 GPU 核心）和软件框架（如 CUDA 库），相比仅依赖 CPU 的方案，模型在训练和推理阶段实现了显著的速度提升。</p>
</blockquote>
<p>该模型<strong>现已开源</strong>。开发者可以在 build.nvidia.com 体验 Llama Nemotron Super v1.5 或直接从 Hugging Face 下载模型。</p>
<h2>One more thing</h2>
<p>作为英伟达最新发布的开源大语言模型，Llama Nemotron Super v1.5 隶属于英伟达 Nemotron 生态，该生态集成了大语言模型、训练与推理框架、优化工具和企业级部署方案，旨在实现高性能、可控性强、易于扩展的生成式 AI 应用开发。</p>
<section><img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/df6ee810-4077-4a7e-92e9-bfefa7c9fea6.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="448" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/df6ee810-4077-4a7e-92e9-bfefa7c9fea6.png"/></section>
<p>为满足不同场景需求与用户定位，英伟达在此生态的基础上推出了三个不同定位的大语言模型系列——Nano、Super 和 Ultra。</p>
<section><img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/f1955622-1ac1-4aea-8894-4ed1bf6c6551.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="389" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/f1955622-1ac1-4aea-8894-4ed1bf6c6551.png"/></section>
<p>其中，Nano 系列针对成本效益和边缘部署，适合部署在边缘设备（如移动端、机器人、IoT 设备等）或成本敏感型场景（比如本地运行、离线场景、商业小模型推理）。</p>
<p>Super 系列则针对单个 GPU 上平衡的精度和计算效率，它可以在一张高性能 GPU（如 H100）上运行，不需要多卡或大型集群。它的精度比 Nano 高，但比 Ultra 小巧，适合企业开发者或中型部署。我们上面提到的 Llama Nemotron Super v1.5 就属于这一系列。</p>
<p>Ultra 则致力于数据中心的最大精度，专为在<strong>数据中心、超算集群、多张 GPU</strong>上运行而设计，面向<strong>复杂推理、大规模生成、高保真对话</strong>等对精度要求极高的任务。</p>
<p>目前，Nemotron 已获得 SAP、ServiceNow、Microsoft、Accenture、CrowdStrike、Deloitte 等企业支持或集成使用，用于构建面向企业级流程自动化和复杂问题解决的 AI 智能体平台。</p>
<p>此外，在 Amazon Bedrock Marketplace 中也能通过 NVIDIA NIM 微服务调用 Nemotron 模型，简化部署流程，支持云端、混合架构等多种运营方案。</p>
<p><span style="color: #808080">本文作者：量子位，来源：量子位，原文标题：《英伟达全新开源模型：三倍吞吐、单卡可跑，还拿下推理 SOTA》</span></p><div>风险提示及免责条款</div>
          <div>
            市场有风险，投资需谨慎。本文不构成个人投资建议，也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。
          </div>

英伟达

2 倍做多英伟达 ETF - GraniteShares

南方两倍做多英伟达

南方两倍做空英伟达

英伟达期权收益策略 ETF - YieldMax

1 倍做空英伟达 ETF - Direxion

2 倍做多 NVDA ETF - T-Rex

2 倍做空 NVDA ETF - T-Rex

半导体 3 倍做多 - Direxion

<p>英伟达推出 Llama Nemotron Super v1.5 开源模型，专为复杂推理和智能体任务设计。该模型在科学、数学、编程等领域实现 SOTA 表现，吞吐量提升至前代的 3 倍，且可在单卡高效运行。采用神经架构搜索（NAS）技术，优化了准确率和效率，降低了运行成本。模型架构中包含跳过注意力机制和可变前馈网络，提升了性能和效率。</p>

- 英伟达推出 Llama Nemotron Super v1.5 开源模型，专为复杂推理和 agent 任务设计。  
- 模型在科学、数学、编程等领域实现 SOTA 表现，吞吐量提升至前代的 3 倍。  
- 该模型现已开源，适合单卡高效运行，支持多种企业级应用。  