
Verkor 推出行业首个 TurboQuant LLM 推理加速器硅知识产权
最近的消息是,一款名为 VerTQ 的新加速器芯片被推出,该芯片结合了谷歌的 TurboQuant 算法。这款创新芯片成功地将大型语言模型的 KV 缓存内存使用量减少了令人印象深刻的 4.3 倍。值得注意的是,尽管减少了内存使用量,它仍然能够维持甚至提升所支持模型的性能。特别的是,VerTQ 是由 Conductor 2.0 自主开发的,这是 Verkor 的一个次要项目。

最近的消息是,一款名为 VerTQ 的新加速器芯片被推出,该芯片结合了谷歌的 TurboQuant 算法。这款创新芯片成功地将大型语言模型的 KV 缓存内存使用量减少了令人印象深刻的 4.3 倍。值得注意的是,尽管减少了内存使用量,它仍然能够维持甚至提升所支持模型的性能。特别的是,VerTQ 是由 Conductor 2.0 自主开发的,这是 Verkor 的一个次要项目。