MATCH: Modulating Attention via In-Context Retrieval for Long-Context Transformers
MATCH: 通过上下文检索调制注意力用于长上下文Transformer
机构 * Huawei Canada(华为加拿大) ; McGill University(麦吉尔大学) ; Université de Montréal(蒙特利尔大学) ; Huawei Equal Contribution(华为同等贡献)
AI总结 提出MATCH框架,通过高效检索系统动态集成上下文信息来增强稀疏注意力机制,在长上下文任务中提升性能并保持效率。
Comments ACL 2026 Main Conference