<div id="readability-page-1"><p>OpenAI 可能即将发布的开源大模型的详细技术细节来了，以下是根据泄露信息整理</p> <p><img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/91ae19b9-6233-40bf-9a16-628834be6101.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="1230" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/91ae19b9-6233-40bf-9a16-628834be6101.png"/></p> <h2>模型架构：1200 亿参数的混合专家模型（MoE）</h2> <p>据爆料，OpenAI 可能会发布两款模型：</p> <p>一款 1200 亿（120B）参数的混合专家（MoE）模型：其在推理时仅激活约 50-60 亿（5B/6B）参数。这意味着它能在保持巨大知识容量的同时，实现极高的推理效率，大幅降低运行成本</p> <p>一款 200 亿（20B）参数的稠密模型：作为更小巧、更易于部署的版本</p> <p>目前来看，这两款模型将专注于文本处理，暂时不涉及多模态能力</p> <h2>训练技术：或采用 Float4 与 英伟达最新 Blackwell 芯片</h2> <p>为了极致的效率，模型可能采用了 Float4 进行训练或量化。这是一种非常激进的量化方案，可以极大地压缩模型体积并提升运算速度</p> <p>据推测，这可能是借助英伟达最新发布的 Blackwell 架构 GPU 完成的，因为该系列芯片原生支持 Float4 运算。另一种可能性是，模型在训练后通过 训练后量化（PTQ）技术压缩到了 Float4</p> <h2>激活函数：带范围限制的 SwiGLU</h2> <p>为了配合 Float4 量化，模型可能采用了 SwiGLU 激活函数，并对其输出范围进行了 裁剪，限制在 -7 到 7 之间</p> <p>这类似于经典的 ReLU6 函数，其目的是为了消除激活值中的极端异常值，确保数值分布更稳定，从而降低量化过程中带来的精度损失。这对于 Float4 这种低精度格式至关重要</p> <h2>上下文窗口：通过 YaRN 技术扩展至 128K</h2> <p>模型将拥有 128K 的超长上下文窗口，但它并非从头开始训练的。据推测，该模型的基础上下文窗口为 4K，之后在训练中途采用 YaRN 等技术将其无缝扩展至 128K</p> <h2>注意力机制：滑动窗口注意力（SWA）与注意力汇聚（Attention Sinks）</h2> <p>为了高效处理 128K 的长文本，模型采用了两大关键技术：</p> <p>滑动窗口注意力（SWA）：窗口大小为 128。这意味着在计算注意力时，每个词元（token）只需关注其邻近的 128 个词元，从而将计算复杂度从二次方降低到线性级别</p> <p>注意力汇聚（Attention Sinks）：为了解决 SWA 会遗忘早期重要信息的问题，模型引入了注意力汇聚技术。该技术强制模型始终关注最开始的几个（例如 4 或 8 个）关键 token，确保模型在处理长序列时不会失忆。NVIDIA 的 TensorRT-LLM 也已支持此功能</p> <h2>底层架构：融合 Llama/Mixtral 特点并使用偏置项</h2> <p>模型的基础架构很可能借鉴了 Llama 和 Mixtral 等成功的开源模型。关键特征包括：</p> <p>合并的 QKV 矩阵：将注意力机制中的查询（Q）、键（K）、值（V）矩阵合并，以优化计算效率</p> <p>广泛使用偏置项（Biases）：与一些模型（如 Llama）去掉偏置项的做法不同，该模型似乎在所有模块（包括 MLP、注意力层甚至 MoE 的路由层）都保留了偏置项，这可能有助于提升模型的拟合能力</p> <p><span></span>AI 寒武纪<span>，原文标题：《OpenAI 开源模型泄露：六大技术细节》</span></p><p>风险提示及免责条款</p>           <p>市场有风险，投资需谨慎。本文不构成个人投资建议，也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。</p></div>

OpenAI

英伟达

<p>OpenAI 即将发布的开源大模型技术细节泄露，包括一款 1200 亿参数的混合专家模型和一款 200 亿参数的稠密模型。前者在推理时激活约 50-60 亿参数，提升推理效率并降低成本。模型可能采用 Float4 训练技术，使用英伟达 Blackwell 芯片，激活函数为裁剪后的 SwiGLU，支持 128K 的上下文窗口，采用滑动窗口注意力机制。</p>

- OpenAI 可能发布 1200 亿参数的混合专家模型和 200 亿参数的稠密模型。  
- 模型采用 Float4 训练，支持 128K 上下文窗口，使用滑动窗口注意力。  
- 文章提醒投资风险，内容不构成个人投资建议。  