ICLR

Multi-Head Low-Rank Attention

多头低秩注意力

Songtao Liu, Hongwu Peng, Zhiwei Zhang, Zhengyu Chen, Yue Guo

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； University of Connecticut（康涅狄格大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

AI总结 本研究提出多头低秩注意力机制，通过高效4路张量并行解码，显著提升大型语言模型的解码速度和性能。

Comments Accepted by ICLR 2026

Consistent Low-Rank Approximation

一致低秩近似

David P. Woodruff, Samson Zhou

AI总结 本文提出了一种一致低秩近似算法，通过最小化回退实现对动态数据流的低秩近似，理论分析与实验验证展示了其有效性。

Comments ICLR 2026

LongRLVR: Long-Context Reinforcement Learning Requires Verifiable Context Rewards

长上下文强化学习需要可验证的上下文奖励

Guanzheng Chen, Michael Qizhe Shieh, Lidong Bing

机构 * National University of Singapore（国立新加坡大学） ； MiroMind AI ； absolute AI 纠错

AI总结 LongRLVR通过引入可验证的上下文奖励，解决长上下文强化学习中因稀疏奖励导致的梯度消失问题，显著提升大语言模型的推理能力。

Comments ICLR 2026

Learning from Synthetic Data Improves Multi-hop Reasoning

通过合成数据学习提升多跳推理能力

Anmol Kabra, Yilun Yin, Albert Gong, Kamilė Stankevičiūtė, Dongyoung Go, Johann Lee, Katie Z. Luo, Carla P. Gomes, Kilian Q. Weinberger

机构 * Cornell University（康奈尔大学） ； University of Cambridge（剑桥大学） ； Stanford University（斯坦福大学） 纠错

AI总结 本研究通过规则生成的合成数据提升LLM多跳推理能力，发现合成数据能有效训练模型组成知识，从而在现实问答任务中表现更优。

Comments Accepted to ICLR 2026

Scaling Laws of SignSGD in Linear Regression: When Does It Outperform SGD?

在线性回归中SignSGD的缩放规律：何时能优于SGD？

Jihwan Kim, Dogyoon Song, Chulhee Yun

AI总结 本文研究了SignSGD在在线性回归中的缩放规律，揭示其在特定条件下优于SGD的机制。

Comments Accepted at ICLR 2026, 89 pages, 25 figures

Never Saddle for Reparameterized Steepest Descent as Mirror Flow

重新参数化最速下降法作为镜像流的不可鞍点性

Tom Jacobs, Chao Zhou, Rebekka Burkholz

AI总结 本文通过引入最速镜像流理论，揭示了最速下降法在微调中优于SGD的原因，主要在于其促进鞍点逃逸和特征学习的双重机制。

Journal ref The Fourteenth International Conference on Learning Representations (2026)

MMR-Life: Piecing Together Real-life Scenes for Multimodal Multi-image Reasoning

MMR-Life: 组合真实场景以进行多模态多图像推理

Jiachun Li, Shaoping Huang, Zhuoran Jin, Chenlong Zhang, Pengfei Cao, Yubo Chen, Kang Liu, Jun Zhao

机构 * School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所认知与决策智能复杂系统重点实验室） ； School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学交叉学科学院） 纠错

AI总结 MMR-Life是一个评估多模态多图像推理能力的综合基准，通过现实场景中的多图像信息整合和多种推理类型测试，揭示了现有模型在复杂推理任务中的挑战和性能差异。

Comments Accepted by ICLR 2026, 78 pages, 60 figures

Protection against Source Inference Attacks in Federated Learning

在联邦学习中防止源推断攻击

Andreas Athanasiou, Kangsoo Jung, Catuscia Palamidessi

AI总结 本文提出了一种基于参数级洗牌与残差数系统的新方法，有效防止联邦学习中的源推断攻击，同时保持模型准确性。

Journal ref ICLR 2026

AMemGym: Interactive Memory Benchmarking for Assistants in Long-Horizon Conversations

AMemGym：用于长时对话中助手的交互式记忆基准测试

Cheng Jiayang, Dongyu Ru, Lin Qiu, Yiyang Li, Xuezhi Cao, Yangqiu Song, Xunliang Cai

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Meituan（美团） 纠错

AI总结 AMemGym通过交互式环境实现长时对话中助手的内存管理优化，揭示现有内存系统性能差距并推动策略自我进化。

Comments Accepted to ICLR 2026

Ignore All Previous Instructions: Jailbreaking as a de-escalatory peace building practise to resist LLM social media bots

忽略此前所有指令：将‘禁锢’视为一种缓和和平建设的实践，以抵抗大语言模型社交媒体机器人

Huw Day, Adrianna Jezierska, Jessica Woodgate

机构 * School of Engineering Maths & Technology University of Bristol（工程数学与科技学院 英国布里斯托尔大学） ； Business School University of Bristol（商学院 英国布里斯托尔大学） ； School of Computer Science University of Bristol（计算机科学学院 英国布里斯托尔大学） 纠错

AI总结 本文提出将‘禁锢’作为一种非暴力的缓和和平建设实践，通过用户与疑似LLM账号的互动来对抗大语言模型社交媒体机器人。

Comments Accepted to ICLR 2026 AI for peace workshop

Diagnosing Generalization Failures from Representational Geometry Markers

从表征几何标记诊断泛化失败

Chi-Ning Chou, Artem Kirsanov, Yao-Yuan Yang, SueYeon Chung

机构 * Flatiron Institute（Flatiron研究所） ； Harvard University（哈佛大学） ； Google DeepMind（谷歌DeepMind） 纠错

AI总结 通过分析表征几何标记，研究发现任务相关几何属性可预测模型在分布外数据上的泛化能力，为模型选择和AI可解释性提供新方向。

Comments Published in the International Conference on Learning Representations (ICLR), 2026

ToProVAR: Efficient Visual Autoregressive Modeling via Tri-Dimensional Entropy-Aware Semantic Analysis and Sparsity Optimization

ToProVAR：通过三维熵感知语义分析和稀疏优化实现高效的视觉自回归建模

Jiayu Chen, Ruoyu Lin, Zihao Zheng, Jingxin Li, Maoliang Li, Guojie Luo, Xiang Chen

机构 * School of Computer Science, Peking University（北京大学计算机科学学院） ； School of Electronics Engineering and Computer Science, Peking University（北京大学电子工程与计算机科学学院） ； National Key Laboratory for Multimedia Information Processing, Peking University（北京大学多媒体信息处理国家重点实验室） 纠错

AI总结 ToProVAR通过三维熵感知语义分析和稀疏优化，提升视觉自回归模型的生成效率和质量。

Comments ToProVAR is honored to be accepted by ICLR 2026

HalluGuard: Demystifying Data-Driven and Reasoning-Driven Hallucinations in LLMs

HalluGuard: 解密数据驱动和推理驱动的LLM幻觉

Xinyue Zeng, Junhong Lin, Yujun Yan, Feng Guo, Liang Shi, Jun Wu, Dawei Zhou

机构 * CS Department Virginia Tech（弗吉尼亚理工学院计算机科学系） ； EECS Department MIT（麻省理工学院电子工程与计算机科学系） ； CS Department Dartmouth College（达特茅斯学院计算机科学系） ； Statistics Department Virginia Tech（弗吉尼亚理工学院统计学系） ； CS Department Michigan State University（密歇根州立大学计算机科学系） 纠错

AI总结 HalluGuard通过统一理论框架和NTK评分方法，系统识别LLM中的数据驱动和推理驱动幻觉，实现高精度检测。

Comments Accepted by The Fourteenth International Conference on Learning Representations (ICLR'26)

AgentMath: Empowering Mathematical Reasoning for Large Language Models via Tool-Augmented Agent

AgentMath: 通过工具增强代理赋能大语言模型的数学推理

Haipeng Luo, Huawen Feng, Qingfeng Sun, Can Xu, Kai Zheng, Yufei Wang, Tao Yang, Han Hu, Yansong Tang

AI总结 AgentMath通过整合语言模型和代码解释器，提升大语言模型在复杂数学问题上的推理能力，实现高效训练和高准确率。

Comments This paper has been accepted to ICLR 2026

A Single Architecture for Representing Invariance Under Any Space Group

一种适用于任意空间群的单一架构

Cindy Y. Zhang, Elif Ertekin, Peter Orbanz, Ryan P. Adams

机构 * Department of Computer Science, Princeton University（普林斯顿大学计算机科学系） ； Department of Mechanical Science and Engineering, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校机械科学与工程系） ； Gatsby Computational Neuroscience Unit, University College London（伦敦大学学院计算神经科学单元） 纠错

AI总结 本文提出了一种能够自动适应任何空间群的机器学习架构，通过构建对称适应的傅里叶基来实现对称不变性，从而提高材料属性预测和零样本学习的性能。

Comments 24 pages, 7 figures. ICLR 2026

Benchmarking Overton Pluralism in LLMs

对大语言模型中Overton多元主义的基准测试

Elinor Poole-Dayan, Jiayi Wu, Taylor Sorensen, Jiaxin Pei, Michiel A. Bakker

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Brown University（布朗大学） ； University of Washington（华盛顿大学） ； Stanford University（斯坦福大学） 纠错

AI总结 本文提出OVERTONBENCH框架，通过集合覆盖度量评估大语言模型中多元观点的代表性，揭示模型在多元主义对齐上的改进空间。

Comments Paper accepted to ICLR 2026

Sample-efficient and Scalable Exploration in Continuous-Time RL

在连续时间强化学习中实现高效且可扩展的探索

Klemens Iten, Lenart Treven, Bhavya Sukhija, Florian Dörfler, Andreas Krause

机构 * ETH Zürich（苏黎世联邦理工学院） 纠错

AI总结 本文提出COMBRL算法，通过结合外在奖励和模型不确定性，实现连续时间强化学习中的高效样本利用和可扩展性。

Comments 28 pages, 8 figures, 6 tables. Published as a conference paper at ICLR 2026

VisJudge-Bench: Aesthetics and Quality Assessment of Visualizations

VisJudge-Bench: 可视化美学与质量评估

Yupeng Xie, Zhiyang Zhang, Yifan Wu, Sirong Lu, Jiayi Zhang, Zhaoyang Yu, Jinlin Wang, Sirui Hong, Bang Liu, Chenglin Wu, Yuyu Luo

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； DeepWisdom（深智科技） ； Université de Montréal & Mila（蒙特利尔大学及Mila） 纠错

AI总结 VisJudge-Bench提出首个可视化质量评估基准，通过VisJudge模型显著提升对可视化美学和质量的判断精度。

Comments 62 pages, 27 figures, 8 tables. Accepted at ICLR 2026

Optimistic Task Inference for Behavior Foundation Models

乐观任务推断用于行为基础模型

Thomas Rupf, Marco Bagatella, Marin Vlastelica, Andreas Krause

机构 * ETH Zürich（苏黎世联邦理工学院） ； Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所） 纠错

AI总结 OpTI-BFM通过测试时与环境的交互，优化奖励函数推断，减少数据和计算开销。

Comments ICLR 2026

SMOTE and Mirrors: Exposing Privacy Leakage from Synthetic Minority Oversampling

SMOTE与镜子：揭示合成少数族过采样中的隐私泄露

Georgi Ganev, Reza Nazari, Rees Davison, Amir Dizche, Xinmin Wu, Ralph Abbey, Jorge Silva, Emiliano De Cristofaro

AI总结 本文揭示SMOTE在生成合成数据时存在隐私泄露问题，通过构建DistinSMOTE和ReconSMOTE两种攻击，证明其非隐私性并呼吁重新评估其在隐私敏感应用中的使用。

Comments Published at the 14th International Conference on Learning Representations (ICLR 2026). Please cite the ICLR version

Is It Thinking or Cheating? Detecting Implicit Reward Hacking by Measuring Reasoning Effort

这是思考还是作弊？通过测量推理努力来检测隐式奖励黑客

Xinpeng Wang, Nitish Joshi, Barbara Plank, Rico Angell, He He

机构 * LMU Munich（慕尼黑莱茵河大学） ； New York University（纽约大学） ； MCML 纠错

AI总结 TRACE通过测量推理努力检测隐式奖励黑客，通过截断推理链并评估预期奖励来识别模型利用漏洞的行为，提升数学和编码任务的监控效果。

Comments ICLR 2026 Oral Presentation

LVTINO: LAtent Video consisTency INverse sOlver for High Definition Video Restoration

LVTINO：用于高清视频修复的潜在视频一致性逆求解器

Alessio Spagnoletti, Andrés Almansa, Marcelo Pereyra

AI总结 LVTINO是一种基于视频一致性模型的高清视频修复逆求解器，通过无需自动微分的条件机制实现高效高质量的视频重建。

Comments 30 pages, 16 figures. The Fourteenth International Conference on Learning Representations, ICLR 2026

Doubly-Robust LLM-as-a-Judge: Externally Valid Estimation with Imperfect Personas

双重鲁棒的LLM-as-a-Judge：具有不完美人设的外部有效性估计

Luke Guerdan, Justin Whitehouse, Kimberly Truong, Kenneth Holstein, Zhiwei Steven Wu

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

AI总结 本研究提出双重鲁棒的LLM-as-a-Judge框架，通过结合不完美的'人设'评分与受抽样偏差影响的人类评分，实现对外部有效性评估的可靠估计。

Comments ICLR 2026 Camera Ready

Re4: Scientific Computing Agent with Rewriting, Resolution, Review and Revision

Re4: 具有重写、推理、审查和修订的科学计算代理

Ao Cheng, Lei Zhang, Guowei He

AI总结 Re4提出一种基于重写、推理、审查和修订机制的科学计算代理，通过协作框架提升代码生成的可靠性与准确性。

Comments 31 pages, 31 figures, Presented at the ICLR 2026 Workshop on AI and Partial Differential Equations (AI&PDE)

Concept-TRAK: Understanding how diffusion models learn concepts through concept-level attribution

Concept-TRAK: 通过概念层面的归因理解扩散模型如何学习概念

Yonghyun Park, Chieh-Hsin Lai, Satoshi Hayakawa, Yuhta Takida, Naoki Murata, Wei-Hsiang Liao, Woosung Choi, Kin Wai Cheuk, Junghyun Koo, Yuki Mitsufuji

机构 * University of Pennsylvania（宾夕法尼亚大学） ； SONY AI（索尼人工智能） ； Sony Group Corporation（索尼集团） 纠错

AI总结 Concept-TRAK通过概念层面归因方法，提升扩散模型对特定概念的解释能力，适用于图像生成中的版权与透明性问题。

Comments This paper has been accepted at ICLR 2026

SPIRAL: Self-Play on Zero-Sum Games Incentivizes Reasoning via Multi-Agent Multi-Turn Reinforcement Learning

SPIRAL：通过多智能体多轮强化学习进行零和游戏的自我对战以促进推理

Bo Liu, Leon Guertler, Simon Yu, Zichen Liu, Penghui Qi, Daniel Balcells, Mickel Liu, Cheston Tan, Weiyan Shi, Min Lin, Wee Sun Lee, Natasha Jaques

机构 * National University of Singapore（新加坡国立大学） ； Northeastern University（东北大学） ； Sea AI Lab（Sea AI 实验室） ； Centre for Frontier AI Research (CFAR), A*STAR（前沿人工智能研究中心（CFAR），A*STAR） ； Plastic Labs ； University of Washington（华盛顿大学） 纠错

AI总结 SPIRAL通过多智能体多轮强化学习在零和游戏中促进推理，展示了模型在多个基准测试中的显著性能提升。

Comments Accepted at ICLR 2026. Code: https://github.com/spiral-rl/spiral

Branched Schrödinger Bridge Matching

分支薛定谔桥匹配

Sophia Tang, Yinuo Zhang, Alexander Tong, Pranam Chatterjee

AI总结 BranchSBM 通过学习分支薛定谔桥，解决多路径表面导航、细胞命运分叉建模及细胞响应模拟中的挑战。

Comments Published at ICLR 2026. (Proceedings of the 14th International Conference on Learning Representations, Rio de Janeiro, Brazil)

Hyperbolic Aware Minimization: Implicit Bias for Sparsity

双曲意识最小化：隐式偏置用于稀疏性

Tom Jacobs, Advait Gadhikar, Celia Rubio-Madrigal, Rebekka Burkholz

AI总结 本文提出双曲意识最小化方法，通过交替优化步骤与双曲镜像步骤提升模型稀疏性，缓解逆度量瓶颈，提高泛化性能。

Comments 38 pages, 12 figures

Journal ref The Fourteenth International Conference on Learning Representations (2026)

Plan and Budget: Effective and Efficient Test-Time Scaling on Reasoning Large Language Models

计划与预算：在推理大语言模型中实现有效且高效的测试时扩展

Junhong Lin, Xinyue Zeng, Jie Zhu, Song Wang, Julian Shun, Jun Wu, Dawei Zhou

AI总结 Plan-and-Budget通过分解复杂查询并动态分配token预算，提升大语言模型在推理任务中的效率与准确性。

Comments This work has been accepted to the ICLR 2026 (International Conference on Learning Representations)

Exploiting Low-Dimensional Manifold of Features for Few-Shot Whole Slide Image Classification

利用特征的低维流形进行少样本全滑动图像分类

Conghao Xiong, Zhengrui Guo, Zhe Xu, Yifei Zhang, Raymond Kai-Yu Tong, Si Yong Yeo, Hao Chen, Joseph J. Y. Sung, Irwin King

机构 * The Chinese University of Hong Kong（香港中文大学） ； Centre of AI in Medicine, Singapore（新加坡人工智能医学中心） ； The Hong Kong University of Science and Technology（香港科学大学） ； Nanyang Technological University（南洋理工大学） ； Lee Kong Chian School of Medicine, Nanyang Technological University（南洋理工大学Lee Kong Chian医学学院） ； MedVisAI Lab, Singapore（新加坡MedVisAI实验室） 纠错

AI总结 本文提出Manifold Residual块，通过几何意识的残差学习方法，解决少样本全滑动图像分类中的过拟合问题，实现更高效的模型性能。

Comments Accepted to ICLR 2026