TriAttention: Efficient Long Reasoning with Trigonometric KV Compression
TriAttention: 有效长推理的三角KV压缩
机构 * MIT(麻省理工学院) ; NVIDIA(英伟达) ; ZJU(浙江大学)
AI总结 TriAttention通过三角序列利用KV集中性,提升长推理效率,实现2.5倍吞吐量和10.7倍KV内存节省。
Comments Code is available at https://github.com/WeianMao/triattention