Microsoft（微软）

Sliding-window beats linear attention

滑动窗口注意力优于线性注意力

Alexia Jolicoeur-Martineau, Rhea Sanjay Sukthanker, Pashmina Cameron, Emy Gervais

机构 * Microsoft（微软公司） ； Applied Sciences Group (ASG)（应用科学集团（ASG）） 纠错

AI总结 本研究对比发现，带汇点的滑动窗口注意力（SWA）性能优于后训练的线性注意力模型，在长上下文推理任务中性能高2-10倍，且无需后训练、成本低，推荐用SWA替代线性注意力模型。

CultureConverse: A Multilingual Multi-turn Simulation Harness for Culturally Grounded Assistance in East and Southeast Asia

CultureConverse：面向东亚与东南亚文化适配助手的多语言多轮模拟工具包

Bryan Chen Zhengyu Tan, Weihua Zheng, Thong T. Doan, Bich Ngoc Doan, Jia Wang Peh, Xiaoyuan Yi, Jing Yao, Xing Xie, Nancy F. Chen, Zhengyuan Liu, JinYeong Bak, Wafi Shamdi, Soo Kai Chie, Liew Yu Siong, Aina Azyyati Binti Mohamad Rezal, Lew Yan Yan Vanessa, Huadan Wu, Dylan Raharja, Nadya Yuki Wangsajaya, Akane Fukushige, Kazushi Kato, Koji Inoue, Tatsuya Kawahara, Jaehyung Seo, Dongjun Kim, Seungyoon Lee, Zi Haur Pang, Rui Yang Tan, Charibeth Ko Cheng, Maria Regina Justina Estuar, Jann Railey Montalan, Pham Minh Duc, Roy Ka-Wei Lee

机构 * Singapore University of Technology and Design (SUTD)（新加坡科技设计大学） ； Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局） ； École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院） ； Microsoft Research Asia (MSRA)（微软亚洲研究院） ； Sungkyunkwan University (SKKU)（成均馆大学） ； Universiti Brunei Darussalam (UBD)（文莱大学） ； China University of Petroleum (East China)（中国石油大学（华东）） ； Nanyang Technological University (NTU)（南洋理工大学） ； Kyoto University（京都大学） ； Konkuk University（建国大学） ； Upstage AI 纠错

AI总结 本研究推出CultureConverse多语言多轮模拟工具包，构建含14610个基准回合的数据集，评估18个模型发现GPT-5 mini表现最优，微调后模型在文化相关任务上性能提升。

Comments EMNLP 2026