MoNE: Replacing Redundant Experts with Lightweight Novices for Structured Pruning of MoE
MoNE: 用轻量级新手替代冗余专家实现MoE的结构化剪枝
机构 * National University of Singapore(新加坡国立大学)
AI总结 MoNE通过用轻量级新手替代冗余专家,实现高效且稳健的MoE结构化剪枝,显著提升模型压缩效果。
Comments Accepted by ICLR 2026
期刊&会议
International Conference on Learning Representations · 会议 · Machine Learning
MoNE: 用轻量级新手替代冗余专家实现MoE的结构化剪枝
机构 * National University of Singapore(新加坡国立大学)
AI总结 MoNE通过用轻量级新手替代冗余专家,实现高效且稳健的MoE结构化剪枝,显著提升模型压缩效果。
Comments Accepted by ICLR 2026
逆虚拟试穿:从着装个体生成多类产品风格图像
机构 * University of Trento(特伦托大学) ; University of Modena and Reggio Emilia(摩德纳和雷吉奥艾米利亚大学) ; University of Pisa(比萨大学)
AI总结 TEMU-VTOFF通过文本增强和多模态注意力机制,解决虚拟脱衣任务中细节丢失和视觉歧义问题,实现高质量多类产品图像生成。
Comments Accepted at ICLR 2026
SHE-LoRA: 选择性同态加密用于异构LoRA的联邦调优
AI总结 SHE-LoRA通过整合选择性同态加密与LoRA技术,在跨设备环境中实现高效且隐私保护的LLM联邦调优,显著降低通信和加密开销,同时保持性能与抗攻击能力。
Comments ICLR 2026
视觉-语言模型能否在现实世界中回答面对面问题?
机构 * Qualcomm AI Research(高通人工智能研究)
AI总结 本文提出了一种新的数据集IVD,用于评估视觉-语言模型在现实世界中回答面对面问题的能力,并通过微调减少与人类表现的差距。
Comments ICLR 2026 paper
VideoMind: 一种用于时序 grounded 视频推理的链式 LoRA 代理
机构 * The Hong Kong Polytechnic University(香港理工大学) ; National University of Singapore(新加坡国立大学)
AI总结 VideoMind 提出了一种基于角色的链式 LoRA 机制,用于提升视频时序 grounded 推理的效率与灵活性。
Comments ICLR 2026 Camera Ready
探索通过跨层概念实现的视觉提示调优可解释性
机构 * School of Computer Science and Technology, Tongji University(同济大学计算机科学与技术学院) ; Microsoft Research Asia(微软亚洲研究院) ; School of Telecommunication and Engineering, Xidian University(西安电子科技大学电信与工程学院)
AI总结 本文提出可解释视觉提示调优框架,通过跨层概念原型提升视觉提示的可解释性与性能。
Comments ICLR 2026, 21 pages, 13 figures
Ambig-SWE: 交互式代理以克服软件工程中的不充分性
机构 * Language Technologies Institute, Carnegie Mellon University(语言技术研究所,卡内基梅隆大学)
AI总结 Ambig-SWE研究LLM代理在交互式代码生成中处理不充分指令的能力,通过检测不充分性、提问澄清和利用交互提升性能,发现交互能显著提高74%的性能。
Comments 22 pages, 7 figures, Accepted at ICLR 2026
我们是否正确地测量图神经网络中的过度平滑现象?
机构 * School of Mathematics and Maxwell Institute University of Edinburgh(数学系和麦克斯韦研究所爱丁堡大学) ; Gran Sasso Science Institute(格兰萨索科学研究所) ; Scuola Normale Superiore(正常大学)
AI总结 本文提出通过特征表示的数值或有效秩来测量图神经网络中的过度平滑现象,而非传统基于能量的指标,并通过实验和理论分析证明了该方法的有效性。
Comments Accepted into ICLR 2026
vCache: 验证的语义提示缓存
机构 * University of California, Berkeley(加州大学伯克利分校) ; Technical University of Munich(慕尼黑技术大学) ; ETH Zurich(苏黎世联邦理工学院) ; Stanford University(斯坦福大学)
AI总结 vCache是一种具有用户定义误差率保证的验证语义缓存,通过在线学习算法动态优化阈值,实现更高的缓存命中率和更低的错误率。
Comments ICLR 2026 (accepted)
xLSTM缩放定律:具有线性时间复杂度的竞争力表现
机构 * ELLIS Unit Linz, Institute for Machine Learning, JKU Linz, Austria(林茨ELLIS单位、机器学习研究所、JKU林茨,奥地利) ; NXAI GmbH, Linz, Austria(林茨NXAI公司,奥地利)
AI总结 xLSTM在保持竞争力的同时,展现出线性时间复杂度和更优的缩放性能,优于Transformer架构。
Comments Accepted at ICLR 2026. Code and data available at https://github.com/NX-AI/xlstm_scaling_laws
Revela:通过语言建模进行密集检索器学习
机构 * Technical University of Darmstadt(达姆施塔特技术大学) ; University of Washington(华盛顿大学) ; Carnegie Mellon University(卡内基梅隆大学) ; Microsoft(微软) ; Tencent AI Lab(腾讯人工智能实验室)
AI总结 Revela通过语言建模方法实现自监督检索器学习,无需标注数据即可在多个基准上超越监督模型。
Comments Accepted to ICLR 2026 (Oral). Camera-ready version
学习权重参数以训练数据归因
机构 * EPFL(苏黎世联邦理工学院) ; Stony Brook University(史蒂文斯理工学院) ; UNC Charlotte(北卡罗来纳大学夏洛特分校)
AI总结 本文提出一种无需标注标签即可直接从数据学习参数重要性权重的方法,提升训练数据归因的准确性与细粒度分析能力。
Comments 31 pages
Journal ref ICLR 2026
视觉规划:只用图像来思考
机构 * Language Technology Lab, University of Cambridge(剑桥大学语言技术实验室) ; Google(谷歌公司)
AI总结 本文提出视觉规划范式,通过图像进行推理,优于纯文本推理,在视觉导航任务中表现更优。
Comments ICLR 2026 (Oral)
多神经元凸松弛的表达性
机构 * Department of Computer Science(计算机科学系) ; Department of Information Technology and Electrical Engineering(信息科技与电气工程系)
AI总结 本研究首次严格分析了多神经元松弛的表达性,发现其本质上不完整,但通过增加神经元或划分输入域可实现完整性,为认证鲁棒性提供了新方向。
Comments ICLR'26
统一形式解释:一种复杂性理论的视角
机构 * The Hebrew University of Jerusalem(海法大学) ; Nanyang Technological University(南洋理工大学)
AI总结 本文从复杂性理论视角提出统一框架,揭示解释计算的复杂性由单调性、次模性和超模性等属性决定,并在全局可解释性设置中证明多项式时间算法,而在局部设置中计算变得NP难。
Comments To appear in ICLR 2026
注入噪声的流匹配用于离线到在线强化学习
机构 * KAIST(韩国科学技术院)
AI总结 本文提出FINO方法,通过注入噪声的流匹配提升离线到在线强化学习的样本效率,结合熵引导采样平衡探索与利用,实现更高效的策略优化。
Comments ICLR 2026 camera-ready
少剪多折:通过投影几何视角进行模型压缩
AI总结 通过投影几何视角,研究发现模型折叠在无需重新训练的情况下能更有效地压缩神经网络,尤其在中等至高等压缩水平下表现更优。
Comments Accepted by ICLR 2026
跨体态离线强化学习用于异构机器人数据集
机构 * The University of Tokyo(东京大学) ; RIKEN Center for Advanced Intelligence Project(理化学研究所先进情报项目中心)
AI总结 本文提出跨体态离线强化学习方法,通过整合离线强化学习与跨体态学习,提升异构机器人数据集的预训练效果,有效解决次优数据带来的冲突问题。
Comments ICLR 2026
流Actor-Critic用于离线强化学习
机构 * KAIST(韩国科学技术院) ; UNIST(全南大学)
AI总结 本文提出流Actor-Critic方法,通过结合流模型提升离线强化学习中策略的表达能力,以应对复杂多模式数据分布,实现新的性能突破。
Comments Accepted to ICLR 2026
MIRA: 集成记忆的强化学习智能体与有限LLM指导
机构 * University of Southern California(南加州大学) ; Carnegie Mellon University(卡内基梅隆大学)
AI总结 MIRA通过集成记忆图减少对LLM的依赖,提升稀疏奖励环境中的强化学习性能。
Comments International Conference on Learning Representations (ICLR'26)
突破相关性平台期:关于基于注意力的回归器优化与容量限制的研究
机构 * Computer Science and Engineering Department University of Texas at Arlington(计算机科学与工程系得克萨斯大学阿灵顿分校)
AI总结 本文提出ECA模型,通过理论驱动的机制突破基于注意力的回归器中PCC平台期,提升相关性的同时保持MSE性能。
Comments Accepted by ICLR 2026
理解语言模型中转向向量的不可靠性:几何预测器与线性近似的局限性
AI总结 该研究探讨了语言模型中转向向量的可靠性问题,发现训练数据和行为表示对转向效果有显著影响,提出几何预测器和非线性近似方法以提升稳定性。
Comments Master's Thesis, University of Tübingen. 89 pages, 34 figures. Portions of this work were published at the ICLR 2025 Workshop on Foundation Models in the Wild (see arXiv:2505.22637)
社会交互语言模型间的神经同步
机构 * Peking University(北京大学) ; Eastern Institute of Technology(东部技术研究所) ; University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
AI总结 研究通过分析社会交互语言模型间的神经同步,探讨其社会行为表现与神经同步的关联性,揭示了人类与语言模型社会互动的内在相似性。
Comments Accepted at ICLR 2026
生成模型的市场游戏:均衡、福利与战略进入
机构 * The Ohio State University(俄亥俄州立大学)
AI总结 本文提出三层市场游戏模型,研究生成模型市场中的均衡存在条件、福利影响及战略进入机制。
Comments Published as a conference paper at ICLR 2026
UrbanGS: 一种适用于几何准确大规模场景重建的可扩展高效架构
机构 * Hangzhou International Innovation Institute, Beihang University(北京航空航天大学杭州国际创新研究院) ; Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能研究院) ; School of Software, Beihang University(北京航空航天大学软件学院) ; State Key Laboratory of Media Convergence and Communication, Communication University of China(中国传媒大学媒体融合与传播国家重点实验室) ; Department of Computer Science, National University of Singapore(新加坡国立大学计算机科学系) ; Control Science and Engineering, Shandong University(山东大学控制科学与工程学院) ; Artificial Intelligence Research Center, Lobachevsky State University(洛夫奇夫斯基国立大学人工智能研究中心)
AI总结 UrbanGS通过深度一致的D-正则化模块和空间自适应高斯剪枝策略,实现了大规模城市场景的高精度重建。
Comments ICLR 2026
任务向量跨预训练模型传输的梯度符号遮蔽
机构 * University of Modena and Reggio Emilia(摩德纳和雷吉奥艾米利亚大学) ; Vector Institute(向量研究所) ; University of Toronto(多伦多大学)
AI总结 GradFix通过近似梯度符号结构,利用少量标记样本实现任务向量跨预训练模型的高效转移,提升多任务和多源模型性能。
Comments Accepted at ICLR 2026
超越简单图:多目标路由的神经网络多图方法
机构 * Chalmers University of Technology(查尔姆斯理工大学) ; University of Gothenburg(哥德堡大学)
AI总结 本文提出两种神经网络方法,用于解决多图的多目标路由问题,通过自回归选择边或简化图结构,展示出在多图路由中的有效性。
Comments Accepted by ICLR 2026, Final Camera-Ready Version. 34 pages, 6 Figures
数据蒸馏用于记忆数据:软标签可以泄露未见的教师知识
机构 * Freya Behrens Statistical Physics of Computation Laboratory, École polytechnique fédérale de Lausanne (EPFL), Switzerland(弗雷娅·贝亨斯 统计物理计算实验室,瑞士联邦理工学院(EPFL)) ; Lenka Zdeborová Statistical Physics of Computation Laboratory, École polytechnique fédérale de Lausanne (EPFL), Switzerland(伦卡·兹德博罗娃 统计物理计算实验室,瑞士联邦理工学院(EPFL))
AI总结 本研究通过软标签蒸馏揭示了学生模型能有效学习并准确预测未见过的记忆数据,其效果依赖于温度参数,且在不同网络和数据设置下均保持稳定。
Comments 9 pages, 21 figures
Journal ref ICLR 2026
PonderLM:在连续空间中预训练语言模型以进行思考
机构 * LUMIA Lab(LUMIA实验室) ; Shanghai Jiao Tong University(上海交通大学) ; Institute for Advanced Algorithms Research Shanghai(上海高级算法研究所) ; Shanghai Innovation Institute(上海创新研究院)
AI总结 PonderLM通过在连续空间中引入思考过程,提升语言模型的认知处理能力,实验表明其在多个基准测试中优于现有模型。
Comments ICLR 2026
Mod-Adapter:通过调制适配器实现无需微调的多概念个性化
机构 * School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院) ; Kolors Team, Kuaishou Technology(快手科技Kolors团队) ; Shenzhen Loop Area Institute, Shenzhen, China(深圳循环区研究所) ; Guangdong Key Laboratory of Big Data Analysis and Processing, Guangzhou, China(广东大数据分析与处理重点实验室) ; South China University of Technology, Guangzhou, China(华南理工大学)
AI总结 本文提出Mod-Adapter方法,通过调制适配器实现无需微调的多概念个性化,有效定制物体和抽象概念,提升生成质量。
Comments Accepted by ICLR 2026, project page: https://weizhi-zhong.github.io/Mod-Adapter