You Only Index Once: Cross-Layer Sparse Attention with Shared Routing
仅索引一次:具有共享路由的跨层稀疏注意力
机构 * Microsoft Research(微软研究院) ; Tsinghua University(清华大学)
AI总结 提出跨层稀疏注意力(CLSA),通过共享KV缓存和路由索引,在保持token稀疏注意力精度的同时减少路由开销,显著提升长上下文LLM的解码效率。
大厂专区
仅索引一次:具有共享路由的跨层稀疏注意力
机构 * Microsoft Research(微软研究院) ; Tsinghua University(清华大学)
AI总结 提出跨层稀疏注意力(CLSA),通过共享KV缓存和路由索引,在保持token稀疏注意力精度的同时减少路由开销,显著提升长上下文LLM的解码效率。
超越语义组织:记忆作为长时程智能体的执行状态管理
机构 * University of Science and Technology of China(中国科学技术大学) ; Microsoft(微软) ; Nanjing University(南京大学) ; University of California, San Diego(加州大学圣地亚哥分校)
AI总结 针对长时程任务中智能体依赖执行状态而非语义相似性的问题,提出MAGE(记忆作为智能体引导的探索),通过层次状态树管理交互,实现状态完整性和错误隔离,在MemoryArena上任务成功率提升7.8-20.4个百分点,token消耗降低55.1%。
Comments 16 pages
ADK Arena: 通过LLM即开发者评估智能体开发工具包
机构 * The Ohio State University(俄亥俄州立大学) ; Microsoft(微软)
AI总结 提出LLM-as-a-Developer方法,通过自动化流水线ADK Arena评估51个Python ADK框架,发现框架间生成成本差异达5.6倍,但无单一框架占优,且文档、源码和参数知识可相互替代。
Comments Work in Progress
形式概念格是基于概念学习的好语义支架
机构 * Amazon, India(亚马逊(印度)) ; Microsoft Research(微软研究院)
AI总结 本文利用形式概念分析中的概念格作为语义支架,指导神经网络在不同深度层次学习分层结构的概念表示,从而提升可解释性和干预效果。
Comments Accepted at ICML 2026
实践中对智能体系统的人类监督:考察使用软件代理的开发者的监督工作、挑战与启发式方法
机构 * Microsoft Redmond USA(微软红mond美国)
AI总结 通过访谈17位经验丰富的开发者,探索人类对自主软件代理的监督实践,发现四种监督工作形式(先验控制、协同规划、实时监控、事后审查),并总结监督挑战与应对策略。
物理的隐形之手:当视频扩散模型知道的比它们展示的更多
机构 * University of Bristol(布里斯托大学) ; McGill University(麦吉尔大学) ; Mila–Quebec AI Institute(魁北克AI研究院) ; Microsoft Research(微软研究院) ; University of Calgary(卡尔加里大学)
AI总结 通过逆向扩散过程探测视频扩散模型的潜在轨迹,发现物理合理性可以从扩散变换器状态中线性解码,准确率达81.27%,表明物理有意义的表示是生成式去噪的副产品。
OpenWebRL: 揭秘视觉网络代理的在线多轮强化学习
机构 * UIUC(伊利诺伊大学香槟分校) ; Microsoft(微软)
AI总结 提出OpenWebRL框架,通过在线多轮强化学习在真实网站上训练视觉网络代理,以4B参数模型在基准测试中达到开源最优,并与闭源系统竞争。
Comments 36 pages, 11 figures
通过扩散模型生成图状规则用于知识图谱推理
机构 * Laboratory for Big Data and Decision(大数据与决策实验室) ; National University of Defense Technology(国防科技大学) ; National Key Laboratory of Information Systems Engineering(信息系统工程国家重点实验室) ; Microsoft Corporation(微软公司) ; College of Computer Science and Technology(计算机科学与技术学院)
AI总结 提出GRiD框架,利用扩散模型将图状规则发现转化为以目标关系为条件的离散生成过程,结合监督预训练和强化学习优化,实现知识图谱补全中图状规则的高效挖掘。
Comments accepted by KDD 26
模型比较与交叉验证的相对不稳定性
机构 * Department of Statistics, Harvard University, Cambridge, MA, USA(哈佛大学统计系) ; Microsoft Research New England, Cambridge, MA, USA(微软研究院新英格兰分部)
AI总结 研究指出即使个体稳定的模型在比较时也可能产生相对不稳定的结果,挑战了交叉验证推断的有效性,特别指出Lasso和软阈值化在最有利的学习条件下仍会导致无效的交叉验证推断。
消除基于大语言模型的推荐系统中的域外推荐:一种统一视角
机构 * College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机科学与软件工程学院) ; Microsoft Research Asia(微软亚洲研究院)
AI总结 本文提出RecLM框架,通过统一架构整合三种 grounding 方法,系统比较了基于嵌入检索、约束生成和离散项生成的推荐方法,有效消除域外推荐并提升了推荐准确性。
Comments 20 pages
扩展神经元,而非参数
机构 * University of Washington(华盛顿大学) ; Microsoft Research(微软研究院)
AI总结 通过增加神经元数量而不增加非零参数总数,减少特征干扰,从而提高网络性能,并在多种模型中验证了有效性。
Comments Accepted to the 43rd International Conference on Machine Learning (ICML 2026). 9 pages, 6 figures. Code available at https://github.com/Shavit-Lab/Expand-Neurons