
Verkor 推出行業首個 TurboQuant LLM 推理加速器硅知識產權
最近的消息是,一款名為 VerTQ 的新加速器芯片被推出,該芯片結合了谷歌的 TurboQuant 算法。這款創新芯片成功地將大型語言模型的 KV 緩存內存使用量減少了令人印象深刻的 4.3 倍。值得注意的是,儘管減少了內存使用量,它仍然能夠維持甚至提升所支持模型的性能。特別的是,VerTQ 是由 Conductor 2.0 自主開發的,這是 Verkor 的一個次要項目。

最近的消息是,一款名為 VerTQ 的新加速器芯片被推出,該芯片結合了谷歌的 TurboQuant 算法。這款創新芯片成功地將大型語言模型的 KV 緩存內存使用量減少了令人印象深刻的 4.3 倍。值得注意的是,儘管減少了內存使用量,它仍然能夠維持甚至提升所支持模型的性能。特別的是,VerTQ 是由 Conductor 2.0 自主開發的,這是 Verkor 的一個次要項目。