ICML

Customizing the Inductive Biases of Softmax Attention using Structured Matrices

使用结构化矩阵定制软注意力机制的归纳偏置

Yilun Kuang, Noah Amsel, Sanae Lotfi, Shikai Qiu, Andres Potapczynski, Andrew Gordon Wilson

机构 * University of Cambridge（剑桥大学） 纠错

AI总结 针对标准注意力机制在低维投影信息损失和缺乏距离依赖偏置的问题，提出基于块张量列（BTT）和连续多级低秩（MLR）结构化矩阵的高秩评分函数，在上下文回归、语言建模和长程时间序列预测中提升性能。

Comments ICML 2025. Code available at https://github.com/YilunKuang/structured-attention

Graph-R1: Towards Agentic GraphRAG Framework via End-to-end Reinforcement Learning

Graph-R1：通过端到端强化学习实现智能图RAG框架

Haoran Luo, Haihong E, Guanting Chen, Qika Lin, Yikai Guo, Fangzhi Xu, Zemin Kuang, Meina Song, Xiaobao Wu, Yifan Zhu, Luu Anh Tuan

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 提出Graph-R1，首个通过端到端强化学习的智能图RAG框架，采用轻量知识超图构建、多轮智能体-环境交互检索和端到端奖励机制，在推理准确性、检索效率和生成质量上优于传统图RAG和强化学习增强RAG方法。

Comments Accepted by ICML 2026 main conference

Journal ref ICML 2026

AutoNumerics-Zero: Automated Discovery of State-of-the-Art Mathematical Functions

AutoNumerics-Zero：自动发现最先进的数学函数

Esteban Real, Mirko Rossini, Connal de Souza, Manav Garg, Moritz Firsching, Quoc V. Le, Yao Chen, Akhil Verghese, Ekin Dogus Cubuk, David H. Park

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 本文通过符号回归的进化方法，在不依赖任意精度的情况下，自动发现比传统方法更高效的数学函数近似程序，例如一个10操作的程序逼近指数函数达到14位有效数字。

Comments v2: Accepted to the International Conference on Machine Learning (ICML 2026); added results, clarified framing, and added proofs

A Dynamical Systems Perspective on Nesterov Acceleration

从动力系统角度看待Nesterov加速法

Michael Muehlebach, Michael I. Jordan

机构 * Electrical Engineering and Computer Science Department, UC Berkeley, Berkeley, California, USA（加州大学伯克利分校电子工程与计算机科学系） 纠错

AI总结 本文提出一个动力系统框架来理解Nesterov加速梯度方法，通过分析连续时间动力学和离散化过程，揭示了曲率依赖的阻尼项是加速现象的核心，并建立了离散和连续时间动力学之间的联系。

Comments 11 pages, 4 figures, to appear in the Proceedings of the 36th International Conference on Machine Learning

The Natural Language of Actions

动作的自然语言

Guy Tennenholtz, Shie Mannor

机构 * Faculty of Electrical Engineering, Technion Institute of Technology, Israel（电气工程学院，技术学院，以色列） 纠错

AI总结 本文提出Act2Vec框架，用于学习基于上下文的动作表示以提升强化学习性能，通过将相似动作分组并利用动作间的关系来改进Q值近似和状态表示。

Comments Published in the proceedings of the 36th International Conference on Machine Learning (ICML 2019)

Control Regularization for Reduced Variance Reinforcement Learning

减少方差的强化学习中的控制正则化

Richard Cheng, Abhinav Verma, Gabor Orosz, Swarat Chaudhuri, Yisong Yue, Joel W. Burdick

机构 * California Institute of Technology, Pasadena, CA（加州理工学院） ； University of Michigan, Ann Arbor, MI（密歇根大学） ； Rice University, Houston, TX（Rice大学） 纠错

AI总结 本文提出了一种功能正则化方法，用于减少连续控制中强化学习的方差，通过正则化深度策略的行为与先验策略相似，从而在偏倚-方差权衡中实现更稳定的动态稳定性和更高效的训练。

Comments Appearing in ICML 2019

Fault Diagnosis Method Based on Scaling Law for On-line Refrigerant Leak Detection

基于缩放定律的故障诊断方法用于在线制冷剂泄漏检测

Shun Takeuchi, Takahiro Saito

机构 * Machine Discovery Technology Project Artificial Intelligence Laboratory Fujitsu Laboratories Ltd., Kanagawa, Japan ； Machine Learning Technology Project Artificial Intelligence Laboratory Fujitsu Laboratories Ltd., Kanagawa, Japan 纠错

AI总结 本文提出了一种基于物理建模和空调系统控制机制的制冷剂泄漏故障诊断方法，通过推导与制冷剂泄漏相关的缩放定律，使模型能够适用于不同配置的空调系统，利用实验室的小规模离线故障测试数据估计缩放指数，并通过真实数据验证，证明了该方法在早期泄漏检测中的有效性。

Comments 8 pages, 6 figures

Journal ref 2018 17th IEEE International Conference on Machine Learning and Applications (ICMLA)

Non-linear motor control by local learning in spiking neural networks

通过局部学习在脉冲神经网络中实现非线性运动控制

Aditya Gilra, Wulfram Gerstner

机构 * School of Computer and Communication Sciences（计算机与通信科学学院） ； Brain-Mind Institute, School of Life Sciences（脑科学与生命科学研究所） 纠错

AI总结 本文提出了一种基于反馈的在线局部学习权重（FOLLOW）方法，用于训练异构脉冲神经网络，以控制双臂并重现期望的状态轨迹，核心贡献是通过局部可塑性规则学习逆模型以实现非线性动力学控制。

Journal ref Proceedings of the 35th International Conference on Machine Learning, PMLR 80:1773-1782, 2018

Tensor Balancing on Statistical Manifold

张量统计流形上的平衡

Mahito Sugiyama, Hiroyuki Nakahara, Koji Tsuda

AI总结 本文提出了一种高效的张量平衡算法，通过将张量视为概率分布，在统计流形上进行投影，利用Moebius inversion公式获得梯度，实现二次收敛，显著提高了计算效率。

Comments 19 pages, 5 figures, accepted to the 34th International Conference on Machine Learning (ICML 2017)

Learning Functions in Large Networks requires Modularity and produces Multi-Agent Dynamics

在大规模网络中学习函数需要模块化并产生多智能体动态

C. H. Huck Yang, Rise Ooi, Tom Hiscock, Victor Eguiluz, Jesper Tegnér

AI总结 本文研究了生物网络中是否存在更大的动态网络模组，并通过梯度下降机器学习和遗传算法来学习这些模组，发现学习能力受限于稳定性约束，从而强调了模块化在网络系统中的重要性。

Comments Accepted at the Joint ICML and IJCAI Workshop on Computational Biology (ICML-IJCAI WCB) to be held in Stockholm SWEDEN, 2018. Referring to accepted-papers?authuser=0" target="_blank" rel="noopener">https://sites.google.com/view/wcb2018/accepted-papers?authuser=0 update the team-learning figure

A Broader View on Bias in Automated Decision-Making: Reflecting on Epistemology and Dynamics

对自动化决策中偏见的更广泛视角：反思认识论与动态性

Roel Dobbe, Sarah Dean, Thomas Gilbert, Nitin Kohli

机构 * Department of Electrical Engineering and Computer Sciences, University of California Berkeley, USA（加州大学伯克利分校电气工程与计算机科学系） ； Department of Rhetoric, University of California Berkeley, USA（加州大学伯克利分校修辞学系） ； School of Information, University of California Berkeley, USA（加州大学伯克利分校信息学院） 纠错

AI总结 本文探讨自动化决策中偏见的根源，将技术偏见视为认识论问题，新兴偏见视为动态反馈现象，强调需反思认识论并采用价值敏感设计方法改进决策系统。

Comments Presented at the 2018 Workshop on Fairness, Accountability and Transparency in Machine Learning during ICML 2018, Stockholm, Sweden

Sketched Ridge Regression: Optimization Perspective, Statistical Perspective, and Model Averaging

草图岭回归：优化视角、统计视角和模型平均

Shusen Wang, Alex Gittens, Michael W. Mahoney

机构 * International Computer Science Institute and Department of Statistics University of California at Berkeley（国际计算机科学研究所和统计学系加州大学伯克利分校） ； Computer Science Department Rensselaer Polytechnic Institute（计算机科学系拉特格斯理工学院） 纠错

AI总结 本文从优化和统计角度研究了草图和Hessian草图在矩阵岭回归中的影响，发现经典草图能近似最优解，而Hessian草图则不同。通过理论和实验表明，模型平均可显著降低真实与草图解间的风险差距。

Comments To appear in Journal of Machine Learning Research, 2018. A short version has appeared in International Conference on Machine Learning (ICML), 2017

Journal ref Journal of Machine Learning Research, 19, pp1-50, 2018

Variational Policy for Guiding Point Processes

变分策略用于引导点过程

Yichen Wang, Grady Williams, Evangelos Theodorou, Le Song

AI总结 本文提出基于最优测度和变分推断的凸优化框架，用于设计点过程的最优控制策略，以更高效准确地引导系统状态。

Comments ICML 2017

Breaking Locality Accelerates Block Gauss-Seidel

打破局部性加速块高斯-塞德尔

Stephen Tu, Shivaram Venkataraman, Ashia C. Wilson, Alex Gittens, Michael I. Jordan, Benjamin Recht

AI总结 本文研究了在随机坐标采样下块高斯-塞德尔算法的加速效果，发现非加速的高斯-塞德尔在随机坐标采样下表现优于固定分块的加速版本，提出了新的数据依赖参数并验证了其在大规模机器学习中的有效性。

Comments Presented at the 34th International Conference on Machine Learning (ICML 2017)

An Efficient, Sparsity-Preserving, Online Algorithm for Low-Rank Approximation

一种高效、保持稀疏性的在线低秩近似算法

David G. Anderson, Ming Gu

AI总结 本文提出了一种高效的SRLU因子分解算法，用于低秩矩阵近似，通过理论分析和实验验证，展示了其在计算效率和近似质量上的竞争力。

Journal ref Proceedings of the 34th International Conference on Machine Learning, 70: 156-165 (2017)

On the Sampling Problem for Kernel Quadrature

关于核二次求积的采样问题

Francois-Xavier Briol, Chris J. Oates, Jon Cockayne, Wilson Ye Chen, Mark Girolami

机构 * University of Warwick, Department of Statistics（沃里克大学统计系） ； Imperial College London, Department of Mathematics（伦敦帝国理工学院数学系） ； Newcastle University, School of Mathematics（新castle大学数学系） ； University of Technology Sydney, School of Mathematical（悉尼技术大学数学与物理科学学院） ； The Alan Turing Institute for Data Science（数据科学阿尔图里研究所） 纠错

AI总结 本文探讨了核二次求积中采样分布对收敛速率的影响，提出基于自适应温度调节和序列蒙特卡罗的自动方法，显著降低积分误差。

Comments To appear at Thirty-fourth International Conference on Machine Learning (ICML 2017)

Journal ref Proceedings of the 34th International Conference on Machine Learning, PMLR 70:586-595, 2017

Adaptive Consensus ADMM for Distributed Optimization

自适应共识ADMM用于分布式优化

Zheng Xu, Gavin Taylor, Hao Li, Mario Figueiredo, Xiaoming Yuan, Tom Goldstein

机构 * University of Maryland, College Park（马里兰大学 College Park分校） ； United States Naval Academy, Annapolis（美国海军学院 安纳波利斯分校） ； Hong Kong Baptist University, Hong Kong（香港 Baptist大学） 纠错

AI总结 本文提出自适应共识ADMM方法，通过为每个节点定制参数提升分布式优化性能，并证明其O(1/k)收敛速率。

Comments ICML 2017

Provable Alternating Gradient Descent for Non-negative Matrix Factorization with Strong Correlations

可证明的非负矩阵分解交替梯度下降法用于强相关性情况

Yuanzhi Li, Yingyu Liang

机构 * Princeton University（普林斯顿大学） 纠错

AI总结 本文提出了一种简单的交替梯度下降算法，证明在强相关性下能有效恢复真实特征矩阵，并展示了其在噪声下的鲁棒性。

Comments Accepted to the International Conference on Machine Learning (ICML), 2017

Stochastic Variance Reduction Methods for Policy Evaluation

基于随机方差缩减的方法用于策略评估

Simon S. Du, Jianshu Chen, Lihong Li, Lin Xiao, Dengyong Zhou

AI总结 本文提出基于线性函数逼近的策略评估方法，通过将经验策略评估问题转化为二次凸-凹鞍点问题，并设计了双变量批量梯度方法及两种随机方差缩减算法，实现线性缩放和线性收敛。

Comments Accepted by ICML 2017

Faster Eigenvector Computation via Shift-and-Invert Preconditioning

通过移位和倒置预条件化加速特征向量计算

Dan Garber, Elad Hazan, Chi Jin, Sham M. Kakade, Cameron Musco, Praneeth Netrapalli, Aaron Sidford

AI总结 本文提出更快的算法和改进的样本复杂度，用于估计矩阵Σ的顶部特征向量，通过分离gap依赖性和非零元素数量，改进了经典幂方法和Lanczos方法，并在在线估计中利用方差降低样本复杂度。

Comments Appearing in ICML 2016. Combination of work in arXiv:1509.05647 and arXiv:1510.08896

Low-rank tensor completion: a Riemannian manifold preconditioning approach

低秩张量补全：黎曼流形预条件方法

Hiroyuki Kasai, Bamdev Mishra

AI总结 本文提出了一种基于黎曼流形预条件的方法用于具有秩约束的张量补全问题，通过引入新的黎曼度量利用最小二乘结构和Tucker分解的对称性，开发出预条件非线性共轭梯度和随机梯度下降算法，实验表明其在不同数据集上优于现有方法。

Comments The 33rd International Conference on Machine Learning (ICML 2016). arXiv admin note: substantial text overlap with arXiv:1506.02159

Doubly Robust Off-policy Value Evaluation for Reinforcement Learning

强化学习中的双重鲁棒离策略价值评估

Nan Jiang, Lihong Li

AI总结 本文提出一种双重鲁棒估计器，用于离策略价值评估，兼顾无偏性和低方差性，并在基准问题中验证其有效性。

Comments 14 pages; 4 figures; ICML 2016

Quasi-Monte Carlo Feature Maps for Shift-Invariant Kernels

准蒙特卡洛特征映射用于移不变核

Haim Avron, Vikas Sindhwani, Jiyan Yang, Michael Mahoney

AI总结 本文提出用准蒙特卡洛方法改进随机傅里叶特征映射，以加速大规模数据集上核方法的训练和测试速度，通过低差异序列减少积分误差。

Comments A short version of this paper has been presented in ICML 2014

A General Analysis of the Convergence of ADMM

ADMM收敛性的通用分析

Robert Nishihara, Laurent Lessard, Benjamin Recht, Andrew Packard, Michael I. Jordan

AI总结 本文基于Lessard等人(2014)提出的框架，证明了当目标函数中一项强凸时ADMM的线性收敛性，并给出了参数选择的实用方法及收敛率的上下界。

Comments 10 pages, 6 figures

Journal ref International Conference on Machine Learning 32, 2015

Margins, Kernels and Non-linear Smoothed Perceptrons

边距、核与非线性平滑感知机

Aaditya Ramdas, Javier Peña

AI总结 本文研究了在RKHS中寻找非线性分类函数的问题，提出了一种加速平滑算法，具有与经典核感知机相似的收敛特性，并给出了在无分类器存在时的分离定理。

Comments 17 pages, published in the proceedings of the International Conference on Machine Learning, 2014

Journal ref Ramdas, Aaditya, and Javier Pena. "Margins, kernels and non-linear smoothed perceptrons." Proceedings of the 31st International Conference on Machine Learning (ICML-14). 2014

Spectral Clustering via the Power Method -- Provably

通过幂法进行谱聚类--可证明的

Christos Boutsidis, Alex Gittens, Prabhanjan Kambadur

AI总结 本文提出通过幂法计算谱聚类的近似特征向量，证明少量迭代即可获得近优划分。

Comments ICML 2015, to appear

Spectral Compressed Sensing via Structured Matrix Completion

通过结构矩阵补全的谱压缩感知

Yuxin Chen, Yuejie Chi

AI总结 本文提出基于结构矩阵补全的增强矩阵补全算法，用于从少量时域样本中恢复谱稀疏对象，通过核范数最小化实现完美恢复，且在信息理论极限附近具有鲁棒性和超分辨率应用能力。

Comments accepted to International Conference on Machine Learning (ICML 2013)

Journal ref Journal of Machine Learning Research, W&CP 28 (3) :414-422, 2013

Quantile Regression for Large-scale Applications

分位数回归在大规模应用中的方法

Jiyan Yang, Xiangrui Meng, Michael W. Mahoney

AI总结 本文提出一种近线性时间复杂度的随机算法，用于解决大规模分位数回归问题，通过低失真子空间保持嵌入提升计算效率，适用于超大规模数据集。

Comments 35 pages; long version of a paper appearing in the 2013 ICML. Version to appear in the SIAM Journal on Scientific Computing