ICML

Unsupervised Disentanglement Without Compromises : How Functional Orthogonality Enforces Identifiability

无监督解缠无需妥协：函数正交性如何强制可识别性

Mathieu Cyrille Simon, Pascal Frossard, Christophe De Vleeschouwer

机构 * EPFL, LTS4 laboratory, Lausanne, Switzerland（瑞士洛桑联邦理工学院，LTS4实验室，洛桑，瑞士） 纠错

AI总结 从函数视角出发，通过生成映射雅可比的正交性约束实现无监督解缠，证明该条件在无需统计独立或因果假设下保证非线性生成模型的可识别性，实验验证了理论有效性。

Comments Accepted at ICML 2026

Two-Layer Linear Auto-Regressive Models Estimate Latent States

两层线性自回归模型估计潜在状态

Yahya Sattar, Sunmook Choi, Leo Maynard-Zhang, Yassir Jedra, Maryam Fazel, Sarah Dean

机构 * Cornell（康奈尔大学） ； Washington（华盛顿大学） ； Imperial College London（伦敦帝国理工学院） ； Amazon（亚马逊） 纠错

AI总结 本文证明两层线性自回归模型通过经验风险最小化训练时，能近似卡尔曼滤波，恢复潜在状态估计，并提供有限样本保证。

Comments ICML 2026

Skip a Layer or Loop It? Learning Program-of-Layers in LLMs

跳过一层还是循环它？学习LLM中的层程序

Ziyue Li, Yang Li, Tianyi Zhou

机构 * Ziyue Li, Yang Li, Tianyi Zhou（李子悦、李阳、周天毅） 纠错

AI总结 本文提出PoLar方法，通过轻量级预测网络学习为每个输入动态跳过或重复预训练层，在数学推理任务上以更少层数提升准确率。

Comments Accepted at ICML 2026. Substantially extends arXiv:2507.07996. Updated DART-Math experiments by removing duplicate examples; conclusions remain unchanged. Code: https://github.com/tianyi-lab/PoLar

Lagrangian Perturbation Diffusion Steering: Latent Reinforcement Learning for Generative Policies

拉格朗日扰动扩散引导：用于生成策略的潜在强化学习

Hikmet Simsir, Ozgur S. Oguz

机构 * University of Michigan（密歇根大学） 纠错

AI总结 提出拉格朗日扰动扩散引导（LP-DS），通过学习紧凑的噪声空间扰动来微调冻结的生成策略，利用拉格朗日信任区域目标优化，在保持潜在先验约束的同时提升下游价值，在多个基准上实现样本效率和回报提升。

Comments Accepted as a regular paper at ICML 2026

Towards Understanding Modality Interaction in Multimodal Language Models via Partial Information Decomposition

通过部分信息分解理解多模态语言模型中的模态交互

Wanlong Fang, Tianle Zhang, Wen Tao, Alvin Chan

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

AI总结 引入部分信息分解（PID）框架，分离感官和语言输入的独特、冗余和协同贡献，揭示多模态大模型中的模态使用模式，并扩展至三模态系统。

Comments Accepted by ICML 2026

Convex Basins in Single-Index Model Loss Landscapes: Applications to Robust Recovery under Strong Adversarial Corruption

单索引模型损失景观中的凸盆地：强对抗性腐败下的鲁棒恢复应用

Santanu Das, Sagnik Chatterjee, Jatin Batra

机构 * School of Technology and Computer Science, Tata Institute of Fundamental Research, Mumbai, India（技术与计算机科学学院，印度塔塔基础研究机构，孟买） 纠错

AI总结 针对具有重尾噪声和对抗性腐败的单索引模型，提出首个基于凸盆地结构的鲁棒恢复算法，实现近线性样本和时间复杂度。

Comments Accepted at ICML 2026

Robust Filter Attention: Self-Attention as Precision-Weighted State Estimation

鲁棒滤波注意力：自注意力作为精度加权状态估计

Peter Racioppo

机构 * Independent Researcher, Los Angeles, CA, USA（独立研究者，美国加利福尼亚州洛杉矶） 纠错

AI总结 提出鲁棒滤波注意力（RFA），将自注意力建模为基于线性随机微分方程的状态估计，在语言建模中实现优于RoPE的困惑度与零样本外推稳定性。

Comments Accepted to ICML 2026

Coupled Training with Privileged Information and Unlabeled Data

基于特权信息与未标记数据的联合训练

Jiahao Shi, Omar Hagrass, Jason M. Klusowski

机构 * Department of Electrical and Computer Engineering, Princeton University（普林斯顿大学电子与计算机工程系） ； Department of Operations Research and Financial Engineering, Princeton University（普林斯顿大学运筹学与金融工程系） 纠错

AI总结 提出一种联合训练方法，同时学习利用训练时特权信息和测试时可用输入的模型，避免两阶段方法中弱噪声信息误导部署模型，并通过理论保证和实验验证其鲁棒性优于标准两阶段基线。

Comments 37 pages, 6 figures. Accepted to ICML 2026

How Many Different Outputs Can a Transformer Generate?

变换器能生成多少种不同的输出？

Maxime Meyer, Mario Michelessa, Caroline Chaux, Vincent Y. F. Tan

机构 * Department of Mathematics, National University of Singapore, Singapore, 117543（新加坡国立大学数学系） ； School of Computing, National University of Singapore, Singapore, 117543（新加坡国立大学计算学院） ； Aix Marseille Univ, CNRS, I2M, Marseille, France（法国马赛大学、国家科学研究中心、I2M研究所） ； Department of Electrical and Computer Engineering, National University of Singapore（新加坡国立大学电子与计算机工程系） 纠错

AI总结 研究如何利用变换器架构中的少量特性来准确预测其能生成的不同序列数量，包括定性和定量分析，并提供基于提示长度的上限，实验证明在不同架构和模型大小下该上限紧致于10倍以内。分析还解释了之前在简单序列任务（如复制和填塞）中观察到的变换器经验性失败现象。

Comments ICML 2026 Oral

BESplit: Bias-Compensated Split Federated Learning with Evidential Aggregation

BESplit: 偏差补偿分割联邦学习与证据聚合

Yuhan Xie, Chen Lyu, Jingrong Huang

机构 * MoE Key Laboratory of Interdisciplinary Research of Computation（交叉计算与经济学 interdisciplinary 研究 MOE 重点实验室） ； Shanghai University of Finance（上海财经大学） 纠错

AI总结 本文提出BESplit框架，通过证据聚合和偏差补偿协作来解决非独立同分布数据下分割联邦学习的偏差优化和收敛不稳定问题，提升了模型的准确性和效率。

Journal ref Proceedings of the Forty-Third International Conference on Machine Learning (ICML), 2026

AgentPSO: Evolving Agent Reasoning Skill via Multi-agent Particle Swarm Optimization

AgentPSO: 通过多智能体粒子群优化进化智能体推理能力

Hyunmin Hwang, Jaemin Kim, Choonghan Kim, Hangeol Chang, Jong Chul Ye

机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） 纠错

AI总结 AgentPSO通过多智能体粒子群优化框架，使智能体在任务中进化推理能力，通过结合自身经验与群体最优技能，提升个体与集体推理性能，实验证明其优于静态单智能体和测试时多智能体方法。

Comments The 3rd AI for Math Workshop at the 43rd International Conference on Machine Learning (ICML), Seoul, South Korea, 2026

Hybrid Policy Distillation for LLMs

混合策略蒸馏用于大语言模型

Wenhong Zhu, Ruobing Xie, Rui Wang, Pengfei Liu

机构 * Department of Computer Science（计算机科学系） ； Engineering, Shanghai Jiao Tong University（上海交通大学工程学院） ； Shanghai Innovation Institute（上海创新研究院） ； Large Language Department, Tencent（腾讯大语言部门） 纠错

AI总结 本文提出混合策略蒸馏方法，结合正反KL散度优势，提升模型生成能力和效率，验证了其在多种任务中的有效性。

Comments ICML 2026

Symmetry Reveals Layerwise Dynamics: How Transformers Perform In-Context Classification

对称性揭示逐层动力学：Transformer如何执行上下文分类

Patrick Lutz, Themistoklis Haris, Arjun Chandra, Aditya Gangrade, Venkatesh Saligrama

机构 * Boston University, Departments of Computer Science 纠错

AI总结 通过强制特征和标签排列等变性，从Transformer中提取出显式的深度索引递归更新规则，揭示了上下文分类的几何驱动算法。

Comments appears in the Proceedings of the 43rd International Conference on Machine Learning (ICML '26)

Characterization of Gaussian Universality Breakdown in High-Dimensional Empirical Risk Minimization

高维经验风险最小化中高斯普适性破坏的表征

Chiheb Yaakoubi, Cosme Louart, Malik Tiomoko, Zhenyu Liao

机构 * School of Data Science, The Chinese University of Hong Kong, Shenzhen, China ； Huawei Noah's Ark Lab, Huawei Technologies, Paris, France ； School of Electronic Information ； Communications, Huazhong University of Science \& Technology, China 纠错

AI总结 通过将凸高斯极小极大定理推广到非高斯数据，刻画了高维经验风险最小化估计量的渐近分布，揭示了高斯普适性的适用范围与局限。

Comments 28 pages, 3 figures, 1 table

Journal ref ICML 2026

SimulCost: A Cost-Aware Benchmark and Toolkit for Automating Physics Simulations with LLMs

SimulCost: 一个用于自动化物理模拟的代价感知基准与工具包

Yadi Cao, Sicheng Lai, Jiahe Huang, Yang Zhang, Zach Lawrence, Rohan Bhakta, Izzy F. Thomas, Mingyun Cao, Chung-Hao Tsai, Zihao Zhou, Yidong Zhao, Hao Liu, Alessandro Marinoni, Alexey Arefiev, Rose Yu

机构 * University of California San Diego（加州大学圣地亚哥分校） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Peking University（北京大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； California Institute of Technology（加州理工学院） ； ETH Zurich（苏黎世联邦理工学院） 纠错

AI总结 针对现有LLM评估忽略工具使用代价的问题，提出SimulCost基准，通过单轮和多轮参数调优任务比较LLM与传统扫描方法在准确性和计算代价上的表现，发现LLM在高精度任务中初始猜测不可靠且多轮模式效率更低。

Comments post conference revision version at ICML; update: removed CGYRO due to bug in cases search. Will add back soon

A solvable high-dimensional model where nonlinear autoencoders learn structure invisible to PCA while test loss misaligns with generalization

一个可解的高维模型，其中非线性自编码器学习到结构对PCA不可见，而测试损失与泛化不一致

Vicente Conde Mendes, Lorenzo Bardone, Cédric Koller, Jorge Medina Moreira, Vittorio Erba, Emanuele Troiani, Lenka Zdeborová

机构 * Statistical Physics of Computation Laboratory, École polytechnique fédérale de Lausanne (EPFL)（计算统计物理实验室，瑞士联邦理工学院（EPFL）） 纠错

AI总结 本文提出一个高维模型，展示非线性自编码器能学习线性方法如PCA无法捕捉的结构，尽管其测试损失与泛化性能不一致。

Journal ref ICML 2026

What Does Preference Learning Recover from Pairwise Comparison Data?

成对比较数据中的偏好学习恢复了什么？

Rattana Pukdee, Maria-Florina Balcan, Pradeep Ravikumar

机构 * Machine Learning Department, Carnegie Mellon University, Pittsburgh, USA（卡内基梅隆大学机器学习系） 纠错

AI总结 本文通过条件偏好分布（CPRD）形式化成对比较数据中的偏好信息，分析了Bradley-Terry模型在数据违反假设时的恢复能力，并揭示了影响样本效率的关键因素（边界和连通性）。

Journal ref ICML 2026

Universal One-third Time Scaling in Learning Peaked Distributions

学习尖峰分布中的普适三分之一时间缩放

Yizhou Liu, Ziming Liu, Cengiz Pehlevan, Jeff Gore

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 本文通过理论分析和实验验证，揭示了使用softmax和交叉熵学习尖峰分布时，损失和梯度呈幂律衰减，导致损失时间缩放指数为1/3的普适瓶颈，为神经缩放现象提供了机理解释。

Comments Camera-ready version, ICML 2026

Diving into Kronecker Adapters: Component Design Matters

深入Kronecker适配器：组件设计至关重要

Jiayu Bai, Danchen Yu, Zhenyu Liao, TianQi Hou, Feng Zhou, Robert C. Qiu, Zenan Ling

机构 * School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息学院） ； Huawei（华为） ； Center for Applied Statistics and School of Statistics, Renmin University of China（中国人民大学应用统计中心和统计学院） 纠错

AI总结 本文通过分析Kronecker适配器的组件维度和数量，提出组件设计的Kronecker适配器（CDKA），并给出参数预算感知的配置指南和训练稳定策略，实验证明其有效性。

Comments Accepted by ICML 2026

HybridFlow: Resource-Adaptive Subtask Routing for Efficient Edge-Cloud LLM Inference

HybridFlow: 适应资源的子任务路由用于高效的边缘-云LLM推理

Jiangwen Dong, Jiayu Li, Tianhang Zheng, Wanyu Lin

AI总结 HybridFlow通过动态资源适应的子任务路由框架，提升边缘-云LLM推理的效率与准确性。

Comments Accepted by ICML 2026

Embedding Trust: Semantic Isotropy Predicts Nonfactuality in Long-Form Text Generation

嵌入信任：语义各向同性预测长文本生成中的非事实性

Dhrupad Bhardwaj, Julia Kempe, Tim G. J. Rudner

机构 * New York University（纽约大学） ； University of Toronto（多伦多大学） 纠错

AI总结 该研究提出通过语义各向同性（单位球面上归一化文本嵌入的均匀程度）评估LLMs生成长文本的可信度，其方法无需标注数据等，在多领域仅用少量样本预测非事实性的表现优于现有信号。

Comments Published in Proceedings of the 43rd International Conference on Machine Learning (ICML 2026)

OBCache: Optimal Brain KV Cache Pruning for Efficient Long-Context LLM Inference

OBCache: 面向高效长上下文LLM推理的最优脑KV缓存剪枝

Yuzhe Gu, Xiyu Liang, Jiaojiao Zhao, Enmao Diao

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 提出OBCache框架，将缓存驱逐形式化为逐层结构化剪枝问题，基于最优脑损伤理论量化令牌显著性，通过输出感知分数改进现有驱逐策略，在长上下文任务中提升准确性。

Comments ICML 2026

Bend the Basics: Degradation-Aware Deformable Tokenization for All-in-One Image Restoration

基础适配：面向全场景图像恢复的退化感知可变形分词

Zihao He, Yunfeng Wu, Xinchao Wang, Songhua Liu

AI总结 本文提出FIT模型，通过全流程退化感知设计及任务分词丢弃策略，在五组图像恢复基准上实现最优性能，较现有方法提升0.5~1.1 dB，可适配各类退化图像恢复任务。

Comments 16 pages, 12 figures. Accepted to ICML 2026

Journal ref Proceedings of the 43rd International Conference on Machine Learning (ICML 2026), PMLR 306, 2026

Faster Query-Key Learning Sharpens Attention in Self-Attention Models

更快的查询-键学习强化自注意力模型中的注意力机制

Rahul Vashisht, Harish G. Ramaswamy

AI总结 该研究通过分析自注意力模型的查询-键与输出-值回路的参数化，发现更快的查询-键学习可强化注意力、提升可解释性，且预测性能相当。

Comments Accepted to the 43rd International Conference on Machine Learning (ICML 2026)

Suppress and Diversify: Refining Robust Pathways for Corruption Robustness

抑制与多样化：优化针对自然图像损坏的鲁棒路径

Jiangang Yang, Wenhui Shi, Xiaoran Xu, Wenyue Chong, Luqing Luo, Jing Xing, Jian Liu

AI总结 该研究针对自然图像损坏的模型鲁棒性问题，提出非侵入式方法S&D，通过选择并多样化鲁棒路径提升性能，在多场景多任务中展现出广泛有效性。

Comments Accepted at ICML 2026

TRACE: A Multi-Layer Benchmark for Human AI Controller Coordination Under Drift and Failure

TRACE：漂移与故障下人机控制器协调的多层基准

Joshua Zuniga, Srinivasan Subramanian, Ramya Madhuri Narapureddy, Md Abdullah Al Hafiz Khan

AI总结 该研究构建了名为TRACE的多层基准，向ALFRED轨迹注入受控漂移，经实验验证其可有效识别归因漂移，且重型注意力模型在该符号基准上无优势。

Comments This work was accepted for presentation and publication at the 25th IEEE International Conference on Machine Learning and Applications (ICMLA 2026)

From Welfare to Utility: Generalized Objectives in Budget-Feasible Procurement

从福利到效用：预算可行采购中的广义目标

Alon Eden, Kira Goldner, Eldar Kerner, Thodoris Tsilivis

AI总结 研究预算可行采购问题的机制设计，针对买家效用、社会福利等广义目标，提出了最优和近似最优机制，包括无先验和贝叶斯设置下的常数因子近似。

Comments Accepted at the Forty-third International Conference on Machine Learning (ICML 2026). Version 2: Corrected alphabetical author order, changed proofs of Proposition 1 and Lemma 6; Main conclusions unchanged. Version 3: Metadata author order fix

Compositional Behavioral Semantics for State Abstraction in Reinforcement Learning

强化学习中状态抽象的组成性行为语义

Yivan Zhang, Ziyan Luo, Manuel Baltieri

机构 * The University of Tokyo（东京大学） ； Mila - Quebec Artificial Intelligence Institute（魁北克人工智能研究所） ； McGill University（麦吉尔大学） ； Araya Inc., Tokyo, Japan（日本东京阿雷亚公司） ； University of Sussex（Sussex大学） 纠错

AI总结 提出统一框架，通过局部一步系统动态描述组成性地定义行为语义，证明行为结构在抽象与具体系统间的安全迁移，并构建具有可靠性保证的定量度量。

Comments International Conference on Machine Learning 2026

DisPOSE: Projected Polystochastic Diffusion for Self-Supervised Multi-View 3D Human Pose Estimation

DisPOSE: 投影多随机扩散用于自监督多视图3D人体姿态估计

Tony Danjun Wang, Tolga Birdal, Nassir Navab, Lennart Bastian

机构 * Imperial College London（伦敦帝国学院） ； Technical University of Munich（慕尼黑技术大学） 纠错

AI总结 提出DisPOSE框架，将多视图人员分配问题建模为多随机张量空间上的生成扩散过程，通过可微Sinkhorn投影和超图卷积解码器实现自监督3D人体姿态估计，在标准数据集和手术室遮挡场景中表现优异。

Comments Accepted at ICML 2026

Beyond Structural Symmetries: Linear Mode Connectivity via Neuron Identifiability

超越结构对称性：通过神经元可辨识性实现线性模式连通性

Vincent Bürgin, Daniel Herbst, Ya-Wei Eileen Lin, Stefanie Jegelka

机构 * DeepMind, London, UK（伦敦英国深Mind公司） ； University of Cambridge（剑桥大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 本文通过提出有效函数类理论框架并形式化神经元可辨识性，揭示了神经网络中即使结构不对称也存在大量近似等价解，并展示了神经元可辨识性如何无需先验对齐即可实现表示合并及线性低损失路径。

Comments Accepted at ICML 2026