华尔街明星基金经理、方舟投资管理公司的 CEO“木头姐” 凯茜·伍德（Cathie Wood) 最近接受媒体采访时直言，她减持套现约 450 万美元的英伟达股票，在她看来未来对英伟达 GPU 芯片的需求并没有预期的那般火热，英伟达将面临更多的竞争。
木头姐称，看看科技巨头们，比如 Meta、亚马逊、Alphabet，它们都在开发自己的 AI 芯片。它们更加专业化，目的性更为明确，而英伟达的芯片则更加通用。
“木头姐” 话音刚落，Groq LPU(Language Processing Units 语言处理单元) 芯片惊艳亮相，号称 “性价比高英伟达 100 倍”（芯片的速度比英伟达 GPU 快 10 倍，但价格和耗电量都仅为英伟达的十分之一），再加上谷歌自研 AI 芯片 TPU设计者的光环，不少人直呼：英伟达的劲敌出现了。
根据 Groq 官网的介绍，LPU 是一种专为 AI 推理所设计的芯片。不同于英伟达 GPU 需要依赖高速数据传输，Groq 称，他们的 LPU 芯片在系统中没有采用高带宽存储器（HBM），而是选择使用 SRAM，速度比 GPU 所用的存储器快约 20 倍。
Groq 公司更是 “喊话” 英伟达称，在执行推理任务中 LPU 可以取代 GPU，通过其专用化的设计，LPU 能够为特定的 AI 应用提供优化的性能和能效比。
<h2>Groq 的效益成本问题才是关键</h2>
<div>
原阿里技术副总裁贾扬清发文分析称，要保证 LPU 和 H100 同样吞吐量，就需要更多的卡，而一张 LPU 卡仅有 230MB 的内存，且售价超 2 万美元，在运行 Llama-2 70b 模型时，需要 305 张 Groq 卡才足够，而用 H100 则只需要 8 张卡。
从目前的价格来看，这意味着在同等吞吐量下，Groq 的硬件成本是 H100 的 40 倍，能耗成本是 10 倍。如果运营三年，Groq 的硬件采购成本为 1144 万美元，运营成本为 76.2 万美元。相比起来，8 卡 H100 的硬件采购成本是 30 万美元，运营成本是 7.2 万美元。
但华为 “天才少年” 左鹏飞在知乎上发文反驳了贾扬清的说法，左鹏飞认为大家混淆了售卖价和成本价。应该以 Groq 自己生产卡的成本价来计算推理成本。虽然 Groq 卡的售卖价是 2 万美金，但其成本价非常低，预计每卡成本在 1200 美金左右。
左鹏飞直言，GPU 的成本大头则在 HBM，但 Groq 直接丢掉了 HBM，可以按 SRAM 的成本价估算卡成本。按 1200 美金/卡的成本计算，500 张 Groq 卡的总成本是 60 万美金。Groq 公司拿这 60 万美金只能采购两台英伟达 H100。两台英伟达 H100 能跑出 500 tokens/s 的性能吗？
</div>
<h2>Groq 如何降低成本？</h2>
分析指出，毫无疑问，按照当前硬件成本，Groq LPU 服务器比英伟达要贵得多，一方面正如左鹏飞所言 LPU 卡的官方售价虚高，而另一个关键点在于，LPU 的架构比较适用于有大量用户并发访问的场景，通过高吞吐大并发的做法将单个用户的单次请求成本显著降下来。
这就不得不提到 LPU 底层独特架构，不同于传统的 CPU 和 GPU 架构，Groq 从头设计了一个张量流处理器 (TSP) 架构， 以加速人工智能、机器学习和高性能计算中的复杂工作负载。
每个 TSP 都还具有网络交换的功能，可直接通过网络与其他 TSP 交换信息，无需依赖外部的网络设备，这种设计提高了系统的并行处理能力和效率。
<img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/b6c1343c-f1bd-4ffd-95ec-a583927a1309.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="509" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/b6c1343c-f1bd-4ffd-95ec-a583927a1309.png"/>
而 Groq 闪电般的响应速度迅速引爆互联网讨论，而 “快” 的关键则在于，LPU 没有采用 HBM，而是使用 SRAM，而这种设计也能够显著提高吞吐量。
这意味着 LPU 无需像使用高带宽存储器（HBM）的 GPU 那样频繁地从内存中加载数据。这一特点不仅有助于避免 HBM 短缺的问题，还能有效降低成本。
因此，由于 AI 的推理计算，相较于模型训练需要的数据量远小，Groq 的 LPU 因此更节能。在执行推理任务时，它从外部内存读取的数据更少，消耗的电量也低于英伟达的 GPU。
但有分析指出，Groq 闪电般的速度是建立在很有限的单卡吞吐能力，SRAM 还有两个特点，第一是面积大，第二是功耗高。在同容量情况下，SRAM 的面积是 DRAM 的 5 倍-6 倍以上，而面积就是成本，所以 SRAM 按单位面积算，并不便宜。
<h2>AI 芯片的主战场将由训练转向推理？</h2>
在 Groq LPU 推出之前，大模型训练和推理都是基于英伟达 GPU 来设计，采用的 CUDA 软件技术栈。而 Groq LPU 的 “一夜走红” 也让市场开始推断风向变了，AI 芯片的主战场将由训练转向推理。
在 AI 领域，工作任务有两大类：训练和推理。训练阶段对大规模的计算力和内存容量有着极高的需求，但对于访问速度的依赖相对较小。推理阶段则截然不同，AI 模型必须以极致的速度运行，目的是为了能够向终端用户提供尽可能多的 Token，以此来加快回应用户指令的速度。
有分析认为，未来一年 AI 推理市场将大幅增长，相较于 AI 训练，AI 推理与用户终端场景需求更加紧密，训练后的大模型需要通过 AI 推理服务于实际的场景，目前基于英伟达 GPU 的 AI 推理方案依然成本高企，在性能、时延等方面影响用户使用体验。
这一次 Groq 之所以突然爆发，也是因为 Groq 搭载的 Llama2 或 Mistreal 模型的云服务上线，如果 Groq LPU 推理芯片可以从硬件上解决性能和成本问题，让 AI 推理服务大规模部署，或许未来会有更多的 AI 推理类应用落地。
<img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/aa62e091-5159-436c-bab7-1da4b9e90d81.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="602" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/aa62e091-5159-436c-bab7-1da4b9e90d81.png"/>
分析认为，英伟达 A100 采用的 Ampere 架构设计为广泛的计算任务提供支持，包括但不限于机器学习。A100 的 Tensor Core 技术和对多种数据类型的支持确实为深度学习提供了强大的加速，但 TSP 的专门优化使其在机器学习任务上可能提供更优的性能和能效比。
由于高能效比，Groq 就想到了把 TSP 变成专用集成电路，也就是 ASIC。ASIC 的特点在于特定的应用或算法进行了高度优化，以实现最佳性能、最低功耗和最小面积等目标。由于它们专门用于执行一种或一组相关任务，因此在完成这些任务时往往比非定制化的芯片更高效，特别是在推理领域。
数据显示，目前，数据中心定制芯片市场约为 300 亿美元，当更多可替代英伟达 GPU 的新一代专用推理芯片出现在数据中心，而基于云端的 AI 训练芯片的增长或许会逐渐放缓，这或许也是英伟达为什么要开始进军定制芯片市场的重要原因。
<h2>推理芯片公司试图从英伟达 GPU 庞大市场里分一杯羹</h2>
媒体汇总了目前处于竞争最前线的 12 家公司。这些初创企业平均历史只有五年，融资额度最高的已有 7.2 亿美元，而他们未来或许都有可能成为英伟达 “王位” 的有力挑战者。
<img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/d988c89f-7a8c-4940-9355-8d122857ae53.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="1257" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/d988c89f-7a8c-4940-9355-8d122857ae53.png"/>

英伟达

Groq 的爆火或许暗示 AI 芯片的主战场将由训练测转向推理测，当更多可替代英伟达 GPU 的新一代专用推理芯片出现，英伟达的 “王位” 还保得住吗？

木头姐为何抛售、Groq 为何轰动？以及想要 “弯道超车” 英伟达的 12 家独角兽