@SemiAnalysis的投资观点、原创帖子与市场讨论

@SemiAnalysis1 小时前

Spec Decoding (DSpark) 终于在 vLLM 中支持了 Pipeline Parallelism！！🔥 许多 GPU 贫困/无产阶级用户一直呼吁此功能，但直到近期 Kimi K3 的 2.8T 参数规模冲击 GPU 中产阶级（B200），该功能才得以实现！

在此更改之前，需要使用 Pipeline Parallelism 的 GPU 穷人，由于其权重无法完全放入单个服务器，因此无法利用 DSpark。

感谢 yongqinwang-cmd & Inferact 在 vLLM 中实现了这一功能！

@

@SemiAnalysis昨天 20:06

TPU 推理外部化正全速推进

InferenceX，每美元性能提升高达 50%

TPU 堆栈快速外部化，客户群不断增长

Ironwood、TPUv8i，缩小 CUDA 护城河

@

@SemiAnalysis8月31日 17:06

NVIDIA LPU 支持三种解耦推理模式：

1. Rubin Prefill + LPU Decode，实现最快的交互速度

2. Rubin Prefill + Rubin Decode Attention + LPU Decode FFN，适用于曲线中段

3. Rubin Prefill + Rubin Decode Verification + LPU Drafter，适用于曲线中左侧

对于低交互场景，原始 Rubin 仍占优势。期待在 AgentX 等开源智能体基准测试中看到 Rubin + LPU 的性能曲线。

@

@SemiAnalysis8月27日 13:06

突发新闻：AMD 中层管理人员正在浪费 20 多名工程师的时间，试图通过一个名为 “ATOM 推理引擎” 的无用副项目来扩张自己的势力范围并获取晋升，而不是将精力投入到 Meta/xAI 等实际客户使用的推理引擎（如 SGLang/vLLM）上。

数十名 AMD 工程师，包括首席工程师和 AMD 院士，已私下向我们反映，由于办公室政治以及 AMD 部分中层管理人员的支持，他们被阻止内部讨论对中层管理人员将 20 多名全职工程师的时间浪费在几乎没有客户的副项目上的担忧。参与该副项目的工程师都是 10 倍效率工程师，本应致力于 vLLM/SGLang 等客户引擎的开发。

中层管理人员会试图引用生产环境中唯一使用该引擎的客户——阿里巴巴的 Qwen——来应对质疑，但深入挖掘后发现，这只是一个以有限规模部署 ATOM 的边缘业务企业部门，而非主要的 Qwen 业务部门。

AMD 管理层从支持 vLLM/SGLang 等生产引擎的客户工程师手中抽调资源及有限的内部 GPU 研发集群，用于扩张其势力范围和玩弄办公室政治，这对 AMD 工程师来说是极其不尊重的行为。

@

@SemiAnalysis8月24日 17:06

我们已 extensively 撰文分析，预计中的 AI IT 和 AI 数据中心资本支出将推动创纪录的资金需求，并导致债务发行量以前所未有的速度增长。到今年年底，AI 累计终身资本支出将达到近 3 万亿美元，我们预计这一数字在 2020 年代末将增长至 1.1 万亿美元以上，未偿还的 AI 债务总额将达到 7 万亿美元以上。2026 年将成为 AI 债务融资成为第二大资产相关债务市场的元年，仅次于美国住宅抵押贷款市场。这也是 AI 相关债务发行总量占美国固定收益发行总量比例首次低于 10% 的最后一年（包括州债和联邦债券、MBS/RMBS、公司债、机构债、市政债和 ABS）。(1/3)🧵

@

@SemiAnalysis8月15日 14:06

很高兴看到来自热门中国社交媒体应用（@xiaohongshu，英文名为 RedNote）的 @dotsstudioai 加入开源社区！❤️ 团队仍在日常使用中测试该模型，以评估其实际质量，或者是否达到了评估的最高水平。

无论如何，看到另一家公司加入开源社区总是令人欣喜的！

@

@SemiAnalysis8月10日 21:06

不同的操作系统和微架构如何影响终端用户使用代理式 AI 的体验？

我们分析了 291 万条实际的 Claude 工具使用响应以找出答案。

根据我们的数据，Linux 在执行 shell 命令时通常比 Windows 快约 3 倍。（1/2）🧵

@

@SemiAnalysis8月10日 17:06

NPO 在从可插拔向真正 CPO（共封装光学）过渡的阶段提供了一种中间解决方案。与绕过当前 CPO 生产及可靠性挑战的 CPO 相比，NPO 具有一定的优势，同时保留了 CPO 提供的大部分好处。

优点：

🟠 更好的可维护性（现场可更换）

🟠 更小的故障影响范围（影响范围仅限于单个 NPO 模块）

🟠 更易于组装（光引擎与交换机 ASIC/XPU 分开封装）

让我们看看 NPO 在架构上如何与 CPO 区分开来。(1/3)🧵

@

@SemiAnalysis8月9日 17:06

这是互动诱饵 & 激进观点 🚨《波西·杰克逊》在叙事方面比《奥德赛》更好。《奥德赛》是克里斯托弗·诺兰最糟糕的电影之一。叙事如此糟糕，以至于他们不得不通过添加 IMAX 70mm 摄像机来分散观众的注意力。

另外提醒一下那些没有幸好在 IMAX 70mm 胶片上观看的你们，你们错过了电影 40% 的内容。

@

@SemiAnalysis8月6日 23:22

AMD 的大部分顶级 AI 工程师（追求 10 倍回报的）都在上海 🔥。这包括 AMD 的 MoRI 集体、UMBP KV-cache 卸载和池化团队，其解耦应用的前端部署工程团队，以及其他理解如何从第一性原理出发进行推理工程的 AMD 团队。

ROCm 软件栈中许多最重要的组件是在中国大陆开发的。

@

@SemiAnalysis8月6日 00:02

美国的数据中心之争迄今为止一直贯穿县议会和市议会。但这一局面在 7 月 14 日结束，当时州长凯西·霍楚尔签署了第 62 号行政命令，使纽约成为首个实施数据中心暂停令的州。(1/5)🧵

@

@SemiAnalysis8月5日 01:26

SemiAnalysis 数据中心团队追踪所有数据中心站点。数据中心团队开始注意到新建项目缺少发电机组。数据中心团队检查了工业模型，目前追踪到 15GW+ 的产能没有配备发电机组、没有中央 UPS，或者两者都没有。(1/3)🧵

@

@SemiAnalysis8月4日 16:56

Claude 使用工具的频率是多少？

我们分析了收集的 227 万条 Claude 回复以找出答案。

Opus 模型显示出从 Opus 4.6 到 Opus 4.8 工具调用量呈明显的下降趋势。然而，Fable 5 在这一模式中脱颖而出，其平均每次回复的工具调用量为 1.00，而 Opus 4.8 为 0.76，Opus 5 为 0.79。（1/2）🧵

@

@SemiAnalysis8月4日 02:06

我们认为，MI455 是首款已知搭载有源硅互连（LSI）桥接器的芯片，该桥接器用于 CoWoS-L 封装内的 chiplet-to-chiplet 链路。

在 CoWoS-L 短暂的历史中，这些桥接器始终是无源的：仅由布线和电容器组成，别无其他。有源 LSI 则包含真实的电路。在 ISSCC 2026 上，台积电演示了带有低功耗中继器的有源桥接器，可在信道中间再生信号。

为何重要：一旦桥接器分担了信号完整性的负担，顶层 Die 上的 PHY 层就能以近乎零的能耗显著缩小规模，从而释放出先进制程硅片和边缘区域，用于计算和内存。

表明这是量产产品而非研究车辆的关键线索是：台积电展示的中介层与 MI455 完全匹配。包括两个基础 Die、十二个 HBM4 堆栈和两个 IO Die。

@

@SemiAnalysis8月1日 17:06

AMD MI355X vLLM 在 Kimi K2.5（与 XAI Cursor Composer 2.5 相同的模型架构）上击败了 B200 vLLM。🚀🚨

这使用了来自 @GPU_MODE 社区的 AMD 上游内核。我们在下面进行解释 👇 1/6🧵

@

@SemiAnalysis7月31日 17:06

磷化铟 (InP) 激光器突然引起了所有人的兴趣，因为它突然成为计算中更具战略性的组件之一。随着光连接越来越接近封装，每个光引擎和激光源都不可避免地运行在 InP 激光器上。但供应跟不上需求，特别是对于支持近封装光连接的连续波 (CW) 分布式反馈 (DFB) 激光器。（1/2）🧵

@

@SemiAnalysis7月30日 13:06

你是否曾好奇，为什么 PCB（印制电路板）行业的人总是把 “M8” 或 “M9” 像魔法咒语一样随口挂在嘴边？

“M” 源自松下电气（Panasonic）的 Megtron 系列——长期以来，该系列一直是低损耗、高速覆铜板（CCL）的行业标杆。

从 Megtron 4 到 Megtron 8，每一代产品都逐步降低了介电损耗因子（Df），这意味着在高频下信号损失更少。

由于 Megtron 设定了行业标准，它已成为性能层级的行业通用术语，而不再仅仅是松下独有的零件编号。如今说 “M8 级”，仅仅意味着 “符合 Megtron 8 的电学规格”——无论是由松下、EMC 还是 Doosan 制造。

随着 AI 服务器对 SerDes 速度要求越来越高，高端 CCL 已成为关键的瓶颈材料。这使得它成为整个硬件供应链中竞争最激烈、增长最快的细分市场之一。

@

@SemiAnalysis7月30日 02:04

@GPU_MODE 干得漂亮 🚨 启动 110 万美元 AMD 内核黑客松。GPUMODE Readonflow 团队的核函数将端到端 MI355X 性能提升了 2 倍以上。我们在下面解释这些优化措施。1/4🧵

@

@SemiAnalysis7月29日 22:14

乐高数据中心的狂野西部

人人都说它们是模块化的，

供应商的说法站得住脚吗？

扎克伯格的帐篷，AWS 的胡迪尼魔术，

追踪到 60GW+ 的模块化容量，

完整的供应商格局映射，

Vertiv 每兆瓦的内容提升 2 倍

@

@SemiAnalysis7月27日 21:04

AMD 与 OpenAI 和 Meta 的权证交易通常被描述为股权甜头。算一下账，这些看起来更像是与计算本身价格相匹配的回扣，对 OpenAI 的折扣高达 105%。(1/3)🧵

@

@SemiAnalysis7月23日 02:45

Vera Rubin NVL72 与 GB200 NVL72 对比？推理总拥有成本 (TCO) 及架构分析：

Rubin LUT 张量核心，Feynman，

机架级规模，每兆瓦性能，每美元性能，

软件改进，公开 Rubin 软件，

PyTorch，vLLM，OpenAI Triton

立即阅读：

@

@SemiAnalysis7月21日 19:52

警报🚨🚨：META 定制的 AMD MI400 系列芯片尺寸仅为普通 MI455X 芯片的一半。它针对推荐系统工作负载和每美元内存带宽进行了 “优化”。它将使用约 144GB 的 HBM，而不是 432GB。我们在下方详细拆解👇️ 1/7🧵

@

@SemiAnalysis7月21日 13:32

数据中心历来会在现场配备往复式发动机作为应急备用电源，在电网中断时启动，每年仅运行数十小时。这一角色正在发生变化，因为往复式发动机正越来越多地被重新定位为基荷电源，为数据中心提供全天候能源。我们估计，往复式发动机原始设备制造商（如卡特彼勒、INNIO、康明斯）今年已签约供应约 1 GW 的离网电力，2027 年和 2028 年每年的供应量将超过 4 GW。我们的 SemiAnalysis 能源模型按原始设备制造商和项目跟踪这些离网合同。然而，这与未来的机遇相比只是九牛一毛。(1/3)🧵

@

@SemiAnalysis7月20日 20:21

AMD @sgl_project 团队在启用夜间分离式服务 CI 以提高代码质量方面做得非常出色！正如我们之前解释的那样，它已经发现并阻止了 2 个重大错误到达客户手中 👇️ 1/7🧵

@

@SemiAnalysis7月17日 22:51

类似于对 DeepSeek R1 的恐慌，一些缺乏知识的人认为 Kimi K3 使用线性注意力（KDA）对 NVIDIA、HBM、DRAM 和网络不利，因为其 KV-cache 需求相对较低。事实恰恰相反，我们在下面解释原因。👇️ 1/8🧵