ICML

Path-conditioned training: a principled way to rescale ReLU neural networks

路径条件训练：一种缩放ReLU神经网络的原则性方法

Arthur Lebeurrier, Titouan Vayer, Rémi Gribonval

机构 * Université de Lyon（里昂大学） ； CNRS（法国国家科学研究中心） 纠错

AI总结 本文提出一种基于路径提升框架的几何准则来缩放ReLU网络参数，通过最小化该准则实现核对齐，从而加速训练。

Journal ref Proceedings of the 43rd International Conference on Machine Learning (ICML 2026), Seoul, South Korea, PMLR 306 (2026)

Fixed Budget is No Harder Than Fixed Confidence in Best-Arm Identification up to Logarithmic Factors

固定预算在最佳臂识别中不比固定置信度难（对数因子范围内）

Kapilan Balagopalan, Yinan Li, Yao Zhao, Tuan Nguyen, Anton Daitche, Houssam Nassif, Kwang-Sung Jun

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Washington（华盛顿大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

AI总结 本文提出元算法FC2FB，将固定置信度算法转化为固定预算算法，证明固定预算的样本复杂度在log因子内不高于固定置信度。

Journal ref International Conference on Machine Learning (ICML'26), Seoul, Korea, 2026

The Cost of Learning Under Multiple Change Points

多个变化点下的学习成本

Tomer Gafni, Garud Iyengar, Assaf Zeevi

AI总结 针对多变化点在线学习问题，提出选择性检测算法ATC，实现近乎极小化最优的遗憾界。

Comments A version of this work has been accepted for publication in the Proceedings of the 43rd International Conference on Machine Learning (ICML 2026), Seoul, South Korea

AlgoVeri: An Aligned Benchmark for Verified Code Generation on Classical Algorithms

AlgoVeri：面向经典算法的验证代码生成对齐基准

Haoyu Zhao, Ziran Yang, Jiawei Li, Deyuan He, Zenan Li, Chi Jin, Venugopal V. Veeravalli, Aarti Gupta, Sanjeev Arora

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 为解决跨范式验证代码生成评估缺乏统一方法的问题，提出AlgoVeri基准，在Dafny、Verus和Lean三种语言上评估77个经典算法的验证代码生成，揭示不同验证系统的能力差距。

Comments Accepted to ICML 2026, 32 pages

Vision Transformer Finetuning Benefits from Non-Smooth Components

视觉变换器微调受益于非平滑组件

Ambroise Odonnat, Laetitia Chapel, Romain Tavenard, Ievgen Redko

机构 * Noah's Ark Lab（诺亚 ark 实验室） ； Univ. Rennes 2, Inria（里昂二大学，法国国家信息与自动化研究所） 纠错

AI总结 本文通过分析视觉变换器组件的可塑性（即输出对输入变化的敏感度），发现高可塑性（低平滑性）的注意力模块和前馈层在微调中表现更好，挑战了平滑性有利的传统观点。

Comments Accepted at ICML 2026

Can Large Language Models Generalize Procedures Across Representations?

大型语言模型能否跨表示泛化过程？

Fangru Lin, Valentin Hofmann, Xingchen Wan, Weixing Wang, Zifeng Ding, Anthony G. Cohn, Janet B. Pierrehumbert

机构 * Stanford University（斯坦福大学） 纠错

AI总结 研究大型语言模型在代码、图与自然语言等不同表示间泛化过程的能力，提出两阶段强化学习课程来弥合差距。

Comments Accepted at ICML 2026

Bounded Hyperbolic Tangent: A Stable and Efficient Alternative to Pre-Layer Normalization in Large Language Models

有界双曲正切：大型语言模型中预层归一化的稳定高效替代方案

Hoyoon Byun, Youngjun Choi, Taero Kim, Sungrae Park, Kyungwoo Song

机构 * Yonsei University（延世大学） ； Upstage AI 纠错

AI总结 提出BHyT，通过有界双曲正切和数据驱动的输入约束替代Pre-LN，在保持稳定性的同时提升训练和推理效率。

Comments Accepted to ICML 2026

Making Expert Reasoning Learnable with Self-Distillation

通过自蒸馏使专家推理可学习

Ethan Mendes, Jungsoo Park, Alan Ritter

机构 * Georgia Institute of Technology, Atlanta, Georgia（佐治亚理工学院，亚特兰大，佐治亚州） 纠错

AI总结 提出分布对齐模仿学习（DAIL），通过两步自蒸馏方法弥合专家解决方案与模型分布之间的差距，利用少量高质量专家数据显著提升大语言模型的推理能力。

Comments ICML 2026

PersistBench: When Should Long-Term Memories Be Forgotten by LLMs?

PersistBench: 大型语言模型何时应忘记长期记忆？

Sidharth Pulipaka, Oliver Chen, Manas Sharma, Taaha S Bajwa, Vyas Raina, Ivaxi Sheth

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 提出 PersistBench 基准，评估 LLM 长期记忆带来的跨域泄露和记忆诱导的谄媚安全风险，发现主流模型失败率高达 53% 和 97%。

Comments 76 pages, 34 figures, ICML (2026)

On the Expressive Power of Permutation-Equivariant Weight-Space Networks

关于置换等变权重空间网络的表达能力

Adir Dayan, Yam Eitan, Haggai Maron

机构 * Technion -- Israel Institute of Technology（技术ion-以色列理工学院） ； NVIDIA Research（NVIDIA研究） 纠错

AI总结 本文系统研究置换等变权重空间网络的表达能力，证明主流网络表达能力等价，并在温和假设下建立权重空间和函数空间的普适性，指导模型改进实现34%性能提升。

Comments Accepted as a spotlight paper at ICML 2026

L$^3$: Large Lookup Layers

L$^3$：大型查找层

Albert Tseng, Christopher De Sa

机构 * Department of Computer Science, Cornell University（康奈尔大学计算机科学系） 纠错

AI总结 提出Large Lookup Layer (L$^3$)，通过静态基于token的路由聚合每个token的嵌入，实现稀疏性，在语言建模和下游任务中优于稠密模型和等稀疏MoE。

Comments ICML 2026

Optimal Transport under Group Fairness Constraints

群体公平约束下的最优运输

Linus Bleistein, Mathieu Dagréou, Francisco Andrade, Thomas Boudou, Aurélien Bellet

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 针对最优运输中的群体公平问题，提出通过修正Sinkhorn算法实现完美公平，并开发两种松弛策略（惩罚OT和双层优化学习成本）以平衡公平与匹配质量，给出理论保证和实证结果。

Comments Accepted at ICML 2026 (spotlight)

Tuning the Implicit Regularizer of Masked Diffusion Language Models: Enhancing Generalization via Insights from $k$-Parity

调整掩码扩散语言模型的隐式正则化器：通过$k$-奇偶问题的见解增强泛化能力

Jianhao Huang, Baharan Mirzasoleiman

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

AI总结 本文通过$k$-奇偶问题研究掩码扩散语言模型的泛化特性，理论分解其目标函数为信号和噪声两部分，并利用噪声作为隐式正则化器，通过优化掩码概率分布显著提升模型性能。

Comments ICML 2026

Fixed Aggregation Features Can Rival GNNs

固定聚合特征可媲美GNN

Celia Rubio-Madrigal, Rebekka Burkholz

机构 * Celia Rubio-Madrigal ； Rebekka Burkholz 纠错

AI总结 提出固定聚合特征（FAFs）方法，将图学习转化为表格问题，通过非训练聚合特征结合表格模型，在多数基准上达到或超越GNN性能。

Comments Accepted at ICML 2026

Identifying and Correcting Label Noise for Robust GNNs via Influence Contradiction

通过影响矛盾识别和纠正标签噪声以实现鲁棒图神经网络

Wei Ju, Wei Zhang, Siyu Yi, Zhengyang Mao, Yifan Wang, Jingyang Yuan, Zhiping Xiao, Ziyue Qiao, Ming Zhang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 提出ICGNN方法，利用图扩散矩阵计算影响矛盾分数（ICS）检测噪声标签，并通过邻居预测软策略纠正噪声标签，结合伪标签提升鲁棒性。

Comments Accepted by Proceedings of the 43rd International Conference on Machine Learning (ICML 2026)

Learning Randomized Reductions

学习随机归约

Ferhat Erata, Orr Paradise, Thanos Typaldos, Timos Antonopoulos, ThanhVu Nguyen, Shafi Goldwasser, Ruzica Piskac

机构 * Yale University, USA（耶鲁大学） ； EPFL, Switzerland（瑞士联邦理工学院） ； George Mason University, USA（乔治·梅onn大学） 纠错

AI总结 提出 Bitween 框架自动学习随机自归约（RSR），通过线性回归、遗传编程等后端和 LLM 代理，在 80 个函数中分别发现 54% 和 80% 的 RSR，包括首个 sigmoid 归约。

Comments Accepted at ICML 2026 (Spotlight). 9 pages main text + appendix

Journal ref Proceedings of the 43rd International Conference on Machine Learning, PMLR 306, 2026

T2AV-Compass: Towards Unified Evaluation for Text-to-Audio-Video Generation

T2AV-Compass：迈向文本到音频-视频生成的统一评估

Zhe Cao, Tao Wang, Jiaming Wang, Yanghai Wang, Yuanxing Zhang, Jiahao Wang, Jialu Chen, Miao Deng, Yubin Guo, Chenxi Liao, Yize Zhang, Zhaoxiang Zhang, Jiaheng Liu

机构 * NJU-LINK Team, Nanjing University（南京大学NJU-LINK团队） ； Kling Team, Kuaishou Technology（快手技术 Kling 团队） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

AI总结 提出T2AV-Compass基准，通过分类学驱动的500个复杂提示和双层次评估框架（客观信号指标+主观MLLM评判），系统评估文本到音频-视频生成模型，发现现有模型在跨模态对齐和指令遵循方面显著不足。

Comments 41 pages, 13 figures, 12 tables. Accepted at ICML 2026

Risk and cross validation in ridge regression with correlated samples

带相关样本的岭回归中的风险与交叉验证

Alexander Atanasov, Jacob A. Zavatone-Veth, Cengiz Pehlevan

机构 * Department of Physics, Harvard University（哈佛大学物理系） ； Center for Brain Science, Harvard University（哈佛大学脑科学中心） ； Society of Fellows, Harvard University（哈佛大学 fellows 会） ； John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保罗森工程与应用科学学院） ； Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University（哈佛大学自然与人工智能研究学院） 纠错

AI总结 利用随机矩阵理论和自由概率，研究了数据点具有任意相关性时岭回归的渐近风险，并提出了修正的广义交叉验证估计器CorrGCV，同时扩展到测试点与训练集相关的情况。

Comments 50 pages, 19 figures. v4: ICML 2025 camera-ready. v5: Fix typo in statement of Theorem 5. v6: typos corrected, to appear in 2026 JSTAT Machine Learning focus collection

Journal ref International Conference on Machine Learning (2025), https://proceedings.mlr.press/v267/atanasov25a.html

Adaptive Minds: Empowering Agents with LoRA-as-Tools

自适应心智：将LoRA作为工具赋予智能体能力

Pavan C Shekar, Aswanth Krishnan

AI总结 提出将LoRA适配器作为可调用工具的框架，通过路由和智能体推理聚合多个专业适配器的优势，在30个适配器库中达到98.3%路由准确率，并在九类任务上显著提升性能。

Comments 13 pages, 3 figures, 9 tables. ICML 2026 CompLearn Workshop camera-ready (non-archival). Code: https://github.com/qpiai/adaptive-minds

Accuracy-First Rényi Differential Privacy and Post-Processing Immunity

精度优先的Rényi差分隐私与后处理免疫性

Ossi Räisä, Antti Koskela, Antti Honkela

AI总结 本文针对精度优先视角下的差分隐私，识别并弥补了后处理免疫性的缺失，提出了一种基于Rényi差分隐私且具有后处理免疫性的新定义，并开发了实用工具，应用于合成数据生成和图像分类器微调。

Journal ref In proceedings of ICML 2026

Model-Preserving Adaptive Rounding

模型保持的自适应舍入

Albert Tseng, Zhaofeng Sun, Christopher De Sa

机构 * Department of Computer Science, Cornell University（康奈尔大学计算机科学系） 纠错

AI总结 提出一种直接考虑网络输出误差的自适应舍入量化算法YAQA，通过理论分析给出首个端到端误差界，并利用Kronecker分解近似Hessian矩阵，在无推理开销下实现优于GPTQ/LDLQ约30%的误差降低。

Comments ICML 2026

Customizing the Inductive Biases of Softmax Attention using Structured Matrices

使用结构化矩阵定制软注意力机制的归纳偏置

Yilun Kuang, Noah Amsel, Sanae Lotfi, Shikai Qiu, Andres Potapczynski, Andrew Gordon Wilson

机构 * University of Cambridge（剑桥大学） 纠错

AI总结 针对标准注意力机制在低维投影信息损失和缺乏距离依赖偏置的问题，提出基于块张量列（BTT）和连续多级低秩（MLR）结构化矩阵的高秩评分函数，在上下文回归、语言建模和长程时间序列预测中提升性能。

Comments ICML 2025. Code available at https://github.com/YilunKuang/structured-attention

Graph-R1: Towards Agentic GraphRAG Framework via End-to-end Reinforcement Learning

Graph-R1：通过端到端强化学习实现智能图RAG框架

Haoran Luo, Haihong E, Guanting Chen, Qika Lin, Yikai Guo, Fangzhi Xu, Zemin Kuang, Meina Song, Xiaobao Wu, Yifan Zhu, Luu Anh Tuan

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 提出Graph-R1，首个通过端到端强化学习的智能图RAG框架，采用轻量知识超图构建、多轮智能体-环境交互检索和端到端奖励机制，在推理准确性、检索效率和生成质量上优于传统图RAG和强化学习增强RAG方法。

Comments Accepted by ICML 2026 main conference

Journal ref ICML 2026

AutoNumerics-Zero: Automated Discovery of State-of-the-Art Mathematical Functions

AutoNumerics-Zero：自动发现最先进的数学函数

Esteban Real, Mirko Rossini, Connal de Souza, Manav Garg, Moritz Firsching, Quoc V. Le, Yao Chen, Akhil Verghese, Ekin Dogus Cubuk, David H. Park

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 本文通过符号回归的进化方法，在不依赖任意精度的情况下，自动发现比传统方法更高效的数学函数近似程序，例如一个10操作的程序逼近指数函数达到14位有效数字。

Comments v2: Accepted to the International Conference on Machine Learning (ICML 2026); added results, clarified framing, and added proofs

A Dynamical Systems Perspective on Nesterov Acceleration

从动力系统角度看待Nesterov加速法

Michael Muehlebach, Michael I. Jordan

机构 * Electrical Engineering and Computer Science Department, UC Berkeley, Berkeley, California, USA（加州大学伯克利分校电子工程与计算机科学系） 纠错

AI总结 本文提出一个动力系统框架来理解Nesterov加速梯度方法，通过分析连续时间动力学和离散化过程，揭示了曲率依赖的阻尼项是加速现象的核心，并建立了离散和连续时间动力学之间的联系。

Comments 11 pages, 4 figures, to appear in the Proceedings of the 36th International Conference on Machine Learning

The Natural Language of Actions

动作的自然语言

Guy Tennenholtz, Shie Mannor

机构 * Faculty of Electrical Engineering, Technion Institute of Technology, Israel（电气工程学院，技术学院，以色列） 纠错

AI总结 本文提出Act2Vec框架，用于学习基于上下文的动作表示以提升强化学习性能，通过将相似动作分组并利用动作间的关系来改进Q值近似和状态表示。

Comments Published in the proceedings of the 36th International Conference on Machine Learning (ICML 2019)

Control Regularization for Reduced Variance Reinforcement Learning

减少方差的强化学习中的控制正则化

Richard Cheng, Abhinav Verma, Gabor Orosz, Swarat Chaudhuri, Yisong Yue, Joel W. Burdick

机构 * California Institute of Technology, Pasadena, CA（加州理工学院） ； University of Michigan, Ann Arbor, MI（密歇根大学） ； Rice University, Houston, TX（Rice大学） 纠错

AI总结 本文提出了一种功能正则化方法，用于减少连续控制中强化学习的方差，通过正则化深度策略的行为与先验策略相似，从而在偏倚-方差权衡中实现更稳定的动态稳定性和更高效的训练。

Comments Appearing in ICML 2019

Fault Diagnosis Method Based on Scaling Law for On-line Refrigerant Leak Detection

基于缩放定律的故障诊断方法用于在线制冷剂泄漏检测

Shun Takeuchi, Takahiro Saito

机构 * Machine Discovery Technology Project Artificial Intelligence Laboratory Fujitsu Laboratories Ltd., Kanagawa, Japan ； Machine Learning Technology Project Artificial Intelligence Laboratory Fujitsu Laboratories Ltd., Kanagawa, Japan 纠错

AI总结 本文提出了一种基于物理建模和空调系统控制机制的制冷剂泄漏故障诊断方法，通过推导与制冷剂泄漏相关的缩放定律，使模型能够适用于不同配置的空调系统，利用实验室的小规模离线故障测试数据估计缩放指数，并通过真实数据验证，证明了该方法在早期泄漏检测中的有效性。

Comments 8 pages, 6 figures

Journal ref 2018 17th IEEE International Conference on Machine Learning and Applications (ICMLA)

Non-linear motor control by local learning in spiking neural networks

通过局部学习在脉冲神经网络中实现非线性运动控制

Aditya Gilra, Wulfram Gerstner

机构 * School of Computer and Communication Sciences（计算机与通信科学学院） ； Brain-Mind Institute, School of Life Sciences（脑科学与生命科学研究所） 纠错

AI总结 本文提出了一种基于反馈的在线局部学习权重（FOLLOW）方法，用于训练异构脉冲神经网络，以控制双臂并重现期望的状态轨迹，核心贡献是通过局部可塑性规则学习逆模型以实现非线性动力学控制。

Journal ref Proceedings of the 35th International Conference on Machine Learning, PMLR 80:1773-1782, 2018

Tensor Balancing on Statistical Manifold

张量统计流形上的平衡

Mahito Sugiyama, Hiroyuki Nakahara, Koji Tsuda

AI总结 本文提出了一种高效的张量平衡算法，通过将张量视为概率分布，在统计流形上进行投影，利用Moebius inversion公式获得梯度，实现二次收敛，显著提高了计算效率。

Comments 19 pages, 5 figures, accepted to the 34th International Conference on Machine Learning (ICML 2017)