警报🚨🚨🚨:AMD 的 @AnushElangovan 及其团队在 Kimi K3 Agentic Inference 上实现了比 B200 高出多达 2 倍的每美元性能!这得益于各种软件优化工作,包括调整 AITER 内核和 MonoKernel 解码。
此外,MI355X 每台服务器拥有 2304GB 的 HBM,这使得它能够避免跨越缓慢的 8x400Gbit/s 服务器间扩展网络,而 B200 由于 HBM 不足 1.5TB 则需要进行这种跨越。
感谢 Anush、Peng Sun、Ramine、Emad 以及 vLLM 团队在这项出色工作中的卓越贡献!

