Groq CEO 最新访谈:明年底将部署 150 万个 LPU,占据全球推理需求半壁江山

华尔街见闻
2024.04.18 09:03
portai
我是 PortAI,我可以总结文章信息。

Groq CEO Jonathan 表示,明年底将部署 150 万个 LPU 芯片,占据全球推理需求的一半以上,未来推理市场的份额将大幅增长。Groq 的芯片在推理速度和成本上具有数倍优势,相比英伟达擅长 AI 训练但在推理方面存在局限。Groq 的创新架构实现性能提升,避免受制于供应链。AI 推理对延迟非常敏感,每 100 毫秒的改善可带来用户参与度提升。未来 1-2 年,Groq 将部署 150 万个推理芯片,可能占全球一半的推理算力。