Speculative Decoding with a Speculative Vocabulary
基于推测词汇的推测解码
机构 * University of Sheffield（谢菲尔德大学） ； Samsung AI Center（三星人工智能中心）
AI总结 本文提出SpecVocab方法，通过动态选择词汇子集提升推测解码效率，实现比EAGLE-3更高的吞吐量。
Comments Findings of ACL 2026
期刊&会议
ACL
Annual Meeting of the Association for Computational Linguistics · 会议 · Natural Language Processing
PASs-MoE: Mitigating Misaligned Co-drift among Router and Experts via Pathway Activation Subspaces for Continual Learning
PASs-MoE：通过路径激活子空间减轻路由器与专家之间的错位协同漂移以进行持续学习
机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； National University of Singapore（新加坡国立大学） ； Southeast University, Nanjing, China（南京东南大学） ； Wuhan AI Research, Wuhan, China（武汉人工智能研究院）
AI总结 研究持续指令调整中多模态大语言模型的问题，提出基于路径激活子空间的固定容量PASs - MoE - LoRA方法，含PAS引导的重新加权和PAS感知的秩稳定，实验表明该方法在准确性和抗遗忘性上优于基线和变体且不增参数。
Comments Published in the Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026), Volume 1: Long Papers. 14 pages. Code is available at https://github.com/yueluoshuangtian/PASs-MoE
Journal ref Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 31959--31972, San Diego, California, United States, July 2026. Association for Computational Linguistics
Learn to Memorize: Scalable Continual Learning in Semiparametric Models with Mixture-of-Neighbors Induction Memory
学习记忆：基于邻居混合归纳记忆的半参数模型中的可扩展持续学习
机构 * State Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机科学学院，北京大学） ； Microsoft（微软公司） ； Microsoft Research Asia（微软亚洲研究院）
AI总结 研究半参数语言模型中记忆缺乏学习能力的问题，提出将非参数记忆重新概念化为可学习的邻居混合归纳记忆（MoNIM），融入模型信息流，经实验验证其能提升半参数语言模型的可扩展性和持续学习性能。
Comments 15 pages, 5 figures
Journal ref Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 28517-28531, Vienna, Austria. Association for Computational Linguistics, 2025
