AVQ-Attention: Adaptive Vector-Quantized Attention
AVQ注意力:自适应向量量化注意力
机构 * QUVA Lab, University of Amsterdam(QUVA实验室,阿姆斯特丹大学) ; AMLab, Informatics Institute, University of Amsterdam(AMLab,阿姆斯特丹大学信息学院) ; AI4Science Lab, University of Amsterdam(AI4Science实验室,阿姆斯特丹大学) ; Korteweg-de Vries Institute for Mathematics, University of Amsterdam(科特韦格 - 德弗里斯数学研究所,阿姆斯特丹大学) ; Qualcomm AI Research(高通人工智能研究公司) ; FunAI Lab, University of Technology Nuremberg(FunAI实验室,纽伦堡工业大学)
AI总结 研究针对Transformer模型注意力机制计算瓶颈,提出自适应向量量化(AVQ)注意力,基于注意力重要性分配码本容量,前向传播识别重要代码并用子码字细化,开发相关实现,保持\(\mathcal{O}(MN)\)复杂度,提升精度-效率权衡。
Comments Accepted at ECCV 2026