RAVE: 重新分配大型多模态模型中的视觉注意力
RAVE: Re-Allocating Visual Attention in Large Multimodal Models
AI总结：
针对大型多模态模型中标准注意力机制存在的跨模态误分配和视觉内不平衡问题，提出轻量级成对门控机制RAVE，通过学习查询-键偏置重新分配视觉注意力，在多个多模态基准上平均提升3个百分点，尤其对感知密集型任务效果显著。
摘要：
大型多模态模型（LMMs）继承了预训练语言骨干网络的自注意力机制，但标准注意力可能表现出次优的分配，包括文本和视觉证据之间的跨模态误分配以及视觉令牌之间的视觉内不平衡。我们提出RAVE（重新分配视觉注意力），一种轻量级成对门控机制，它为预softmax注意力分数添加一个学习到的查询-键偏置，该偏置基于预RoPE查询和键特征。RAVE不需要对骨干网络进行架构修改，并且可以与模型的其余部分进行端到端训练。在一系列多模态基准测试中，RAVE比标准注意力平均提升3个百分点，在感知密集型任务（包括多语言OCR、图表理解、文档VQA和场景文本VQA）上提升最大，这些任务中准确的视觉定位至关重要。
英文摘要：
Large multimodal models (LMMs) inherit the self-attention mechanism of pretrained language backbones, yet standard attention can exhibit suboptimal allocation, including cross-modal misallocation between textual and visual evidence and intra-visual imbalance among visual tokens. We propose RAVE (Re-Allocating Visual Attention), a lightweight pair-gating mechanism that adds a learned query-key bias to pre-softmax attention scores over visual keys, derived from pre-RoPE query and key features. RAVE requires no architectural modification to the backbone and can be trained end-to-end with the rest of the model. Across a suite of multimodal benchmarks, RAVE improves over standard attention by an average of 3 points, with the largest gains on perception-intensive tasks -- including multilingual OCR, chart understanding, document VQA, and scene text VQA -- where accurate visual grounding is critical.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
