Fast and Faster Convergence of SGD for Over-Parameterized Models and an Accelerated Perceptron
University of British Columbia（不列颠哥伦比亚大学）；INRIA（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
现代机器学习专注于高度表达的模型，这些模型能够完全拟合或插值数据，从而实现零训练损失。对于这样的模型，我们证明了常见的损失函数的随机梯度满足强增长条件。在此条件下，我们证明了恒定步长随机梯度下降（SGD）与Nesterov加速匹配的确定性加速方法的收敛速度的凸和强凸函数。我们还表明，这一条件意味着SGD可以找到一个一阶稳定点，有效的全梯度下降在非凸设置。在插值条件下，我们进一步证明了所有具有有限和结构的光滑损失函数满足一个较弱的增长条件。在这个较弱的条件下，我们证明了具有常数步长的SGD在强凸和凸的情况下都达到了确定性收敛速度。在额外的假设下，上述结果使我们能够证明使用平方铰链损失的随机感知器算法的k次迭代的O（1/k^2）错误界。最后，我们验证了我们的理论研究结果与合成和真实数据集上的实验。
2019-04-05 cs.LG stat.ML
Doubly Accelerated Methods for Faster CCA and Generalized Eigendecomposition
Institute for Advanced Study（高等研究院）；Princeton University（普林斯顿大学）
我们研究了$k$ -GenEV，找到顶部$k$广义特征向量的问题，和$k$ -CCA，在典型相关分析中找到顶部$k$向量的问题。我们提出了算法$\mathtt{LazyEV}$和$\mathtt{LazyCCA}$来解决这两个问题的运行时间线性依赖于输入大小和$k$。此外，我们的算法是双重加速的：我们的运行时间只取决于矩阵条件数的平方根，和特征间隙的平方根。这是$k$ -GenEV或$k$ -CCA的第一个此类结果。我们还提供了第一个无间隙的结果，它提供的运行时间依赖于$1/\sqrt{\varepsilon}$，而不是本征间隙。
2016-11-26 cs.DS cs.LG math.OC
An Accelerated Doubly Stochastic Gradient Method with Faster Explicit Model Identification
University of Pittsburgh（匹兹堡大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
针对稀疏正则化损失最小化问题，提出加速双随机梯度下降（ADSGD）方法，通过消除非活动系数实现显式模型识别，理论证明线性收敛与识别速率，实验验证其高效性。
2022-08-11 cs.LG stat.ML
Accelerated Gradient Descent for Faster Convergence with Minimal Overhead
IST, ULisboa（里斯本大学理工学院）；Old Dominion University（老 Dominion 大学）
本文提出CT-AGD算法，通过捕捉局部曲率加速一阶方法，减少训练周期，与Adam等自适应方法具有相似的存储和计算开销。
2026-05-15 cs.LG
Scalable Mean-Variance Portfolio Optimization via Subspace Embeddings and GPU-Friendly Nesterov-Accelerated Projected Gradient
本文提出基于sketch的因子降维和GPU加速的Nesterov加速投影梯度算法，解决大规模约束均方差投资组合优化问题，通过子空间嵌入、谱截断和岭稳定化构建有效因子，并在GPU上高效求解，实验显示其在真实数据上运行时间显著减少。
2026-04-03 cs.CE cs.DC cs.LG
Image Reconstruction for Accelerated MR Scan with Faster Fourier Convolutional Neural Networks
Tiandatz Technology Co. Ltd.（天达智科技有限公司）；Beijing Friendship Hospital, Capital Medical University（首都医科大学附属北京友谊医院）
本文提出FasterFC卷积算子及基于它的二维VarNet与三维FAS-Net，通过扩展空间-k空间全局感受野提升加速MRI重建质量。
2023-06-05 cs.CV cs.LG eess.IV
Faster Accelerated First-order Methods for Convex Optimization with Strongly Convex Function Constraints
Shanghai University of Finance and Economics（上海财经大学）；Shanghai Jiao Tong University（上海交通大学）
在本文中，我们介绍了快速加速原始对偶法，以最小化一个凸函数的强凸函数的约束。在我们的工作之前，最好的复杂性界限是$\mathcal{O}(1/{\varepsilon})$，不管约束函数的强凸性。目前还不清楚强凸性假设是否可以实现更好的收敛结果。为了解决这个问题，我们开发了新的技术，逐步估计拉格朗日函数的强凸性。我们的方法，第一次，有效地利用约束强凸性，获得了改进的复杂性$\mathcal{O}(1/\sqrt{\varepsilon})$。该速率与强凸-凹鞍点优化的复杂度下界相匹配，因此是阶数最优的。我们展示了我们的方法在稀疏诱导约束优化，特别是谷歌的个性化PageRank问题的优越性能。此外，我们表明，重新启动的版本所提出的方法可以有效地确定最优解的稀疏模式在有限数量的步骤，结果似乎有独立的意义。
2024-11-27 cs.LG math.OC
Leverage Score Sampling for Faster Accelerated Regression and ERM
Computer Science, Princeton University（普林斯顿大学计算机科学系）；University of Washington, Seattle（华盛顿大学西雅图分校）；Microsoft Research, India（微软研究院印度）；Stanford University（斯坦福大学）
给定一个矩阵$\mathbf{A}\in\mathbb{R}^{n\times d}$和一个向量$b \in\mathbb{R}^{d}$，我们展示了如何计算一个$ε$ -近似解的回归问题$ \min_{x\in\mathbb{R}^{d}}\frac{1}{2} \|\mathbf{A} x - b\|_{2}^{2} $在时间$ \tilde{O} ((n+\sqrt{d\cdotκ_{\text{sum}}})\cdot s\cdot\logε^{-1}) $，其中$κ_{\text{sum}}=\mathrm{tr}\left(\mathbf{A}^{\top}\mathbf{A}\right)/λ_{\min}(\mathbf{A}^{T}\mathbf{A})$和$s$是最大数量的非零条目中的一行$\mathbf{A}$。我们的算法改进了以前的最佳运行时间的$ \tilde{O} ((n+\sqrt{n \cdotκ_{\text{sum}}})\cdot s\cdot\logε^{-1})$。我们通过杠杆分数抽样技术，近点方法和加速坐标下降的精心组合来实现我们的结果。我们的方法不仅匹配以前的方法的性能，但进一步提高时，杠杆分数的行是小的（多对数因子）。我们还提供了一个非线性推广这些结果，提高了运行时间解决更广泛的一类ERM问题。
2017-11-22 cs.LG math.OC stat.ML
Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation
Stanford University（斯坦福大学）；University of British Columbia（不列颠哥伦比亚大学）；Amii（阿米研究院）
本文提出广义随机Nesterov加速方法的新收敛分析，在插值条件下将强增长常数依赖从ρ降至√ρ，加速任意期望充分进展的随机梯度方法。
2025-01-23 cs.LG math.OC
Faster Mean-shift: GPU-accelerated clustering for cosine embedding-based cell segmentation and tracking
Dartmouth College（达特茅斯学院）；Vanderbilt University（范德堡大学）；PAII Inc.（PAII公司）
近年来，基于单阶段嵌入的深度学习算法在细胞分割和跟踪中获得了越来越多的关注。与传统的“分割-关联”两阶段算法相比，单阶段算法不仅能够同时实现一致的实例细胞分割和跟踪，而且在区分边界和重叠区域上的模糊像素时具有更好的性能。然而，基于嵌入的算法的部署受到慢推理速度的限制（例如，每帧大约1-2分钟）。在这项研究中，我们提出了一种新的快速均值漂移算法，它解决了基于嵌入的细胞分割和跟踪的计算瓶颈。与以往GPU加速的快速均值漂移算法不同，提出了一种新的在线种子优化策略（OSOP），自适应地确定最小种子数，加快计算速度，节省GPU内存。通过ISBI细胞跟踪挑战的四个队列的嵌入模拟和经验验证，与最先进的基于嵌入的细胞实例分割和跟踪算法相比，所提出的更快的均值漂移算法实现了7-10倍的加速。与其他GPU基准测试相比，我们的Faster Mean-shift算法还实现了最高的计算速度，并优化了内存消耗。Faster Mean-shift算法是一种即插即用的模型，可用于其他基于像素嵌入的医学图像聚类分析。（即插即用模型已公开：https：//github.com/masqm/Faster-Mean-Shift）
2021-04-20 cs.CV cs.LG eess.IV
Accelerated Quasi-Newton Proximal Extragradient: Faster Rate for Smooth Convex Optimization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出 A-QPNE 方法，仅用梯度即在无约束光滑凸优化中取得随维度和迭代数变化的加速收敛速率，并首次从理论上证明拟牛顿型方法优于 NAG。
2023-06-03 cs.LG math.OC stat.ML
Stochastic Subspace Descent Accelerated via Bi-fidelity Line Search
Department of Applied Mathematics（应用数学系）；University of Colorado Boulder（科罗拉多大学博尔德分校）；Smead Aerospace Engineering Sciences Department（斯梅德航空航天工程科学系）
本文提出双保真随机子空间下降算法（BF-SSD），通过结合低保真和高保真函数评估构建代理模型以加速零阶优化中的步长线搜索，在减少高保真评估次数的同时显著提升了大规模高维问题的优化性能。
2025-11-01 cs.LG math.OC
Scalable Iterative Algorithm for Robust Subspace Clustering
子空间聚类（SC）是一种流行的高维数据降维方法，它推广了主成分分析（PCA）。最近，已经提出了几种方法来提高PCA和SC的鲁棒性，但大多数方法在计算上非常昂贵，特别是对于高维大规模数据。在本文中，我们开发了更快的迭代算法SC，将鲁棒性使用{ \em非平方} $\ell_2$规范的目标。用于优化目标的已知实现将是昂贵的，这是由于两个单独的目标的替代优化：最佳聚类成员分配和鲁棒子空间选择，而一个过程的替代更快的代理可能会导致收敛失败。为了解决这个问题，我们使用一个简化的过程，需要有效的矩阵向量乘法子空间更新，而不是解决一个昂贵的特征向量问题，在每次迭代，除了释放嵌套的强大的PCA循环。我们证明了所提出的算法单调收敛到一个局部最小的近似保证，例如，它实现了鲁棒PCA目标的2-近似。在我们的实验中，所提出的算法被证明比已知的优化相同目标的算法收敛速度快一个数量级，并且在MNIST数据集的准确性和运行时间方面优于先前的子空间聚类方法。
2015-06-05 cs.DS cs.LG
RAPID: Rapidly Accelerated Proximal Gradient Algorithms for Convex Minimization
Boston University（波士顿大学）
本文提出了一种新的加速邻近梯度（APG）算法。为了最小化一个凸函数$f(\mathbf{x})$，我们的算法在APG中的每个邻近梯度步骤之后引入一个简单的线搜索步骤，使得在固定变量$\mathbf{x}$的情况下，双凸函数$f(θ\mathbf{x})$在标量变量$θ>0$上最小化。我们提出了两种新的方法来构建辅助变量的APG的基础上的中间解决方案的最近梯度和线搜索步骤。我们证明了在任意迭代步长$t (t\geq1)$，我们的算法可以达到一个更小的上限之间的差距的当前和最优的目标值比传统的APG方法，如FISTA，使它在实践中收敛速度更快。事实上，我们的算法可以潜在地应用于许多重要的凸优化问题，如稀疏线性回归和核支持向量机。我们的实验结果清楚地表明，我们的算法收敛速度比APG在上述所有的应用程序，甚至与一些复杂的求解器。
2014-06-18 cs.LG math.OC stat.ML
Accelerated MR Elastography Using Learned Neural Network Representation
University of Iowa（爱荷华大学）
研究旨在开发深度学习方法，从高度欠采样数据实现快速高分辨率磁共振弹性成像。核心方法是将深度神经网络表示作为线性子空间模型的非线性扩展，结合多种先验和损失学习权重。主要贡献是能有效重建图像，刚度估计与全采样数据相当，证明该方法可行性。
2026-07-14 cs.CV cs.LG eess.SP
GPU-Accelerated Counterfactual Regret Minimization
University of Toronto（多伦多大学）
本文将反事实后悔最小化重构为适合GPU并行的矩阵与向量运算，以更高内存占用换取显著加速，并在多类博弈中大幅超越 OpenSpiel 的 Python 与 C++ 实现。
2024-12-02 cs.GT cs.LG
Implementation of a modified Nesterov's Accelerated quasi-Newton Method on Tensorflow
Shizuoka University（静冈大学）；Shonan Institute of Technology（湘南工科大学）
最近的研究将Nesterov的加速梯度方法用于加速基于梯度的训练。Nesterov的加速拟牛顿（NAQ）方法已被证明大大提高收敛速度相比，传统的拟牛顿方法。本文在Tensorflow上实现了非凸优化的NAQ。对原NAQ算法提出了两个改进，以保证算法的全局收敛性和消除线振荡。标准的非凸函数逼近基准问题和微波电路建模问题的性能评估所提出的算法- mNAQ。结果表明，与AdaGrad、RMSProp、Adam等一阶优化算法和拟牛顿法等二阶优化算法相比，改进算法具有更好的收敛性和更快的收敛速度.
2019-10-21 cs.LG stat.ML
A Group Norm Regularized Factorization Model for Subspace Segmentation
Soochow University（苏州大学）；University of Science and Technology of China（中国科学技术大学）；State Grid Corporation（国家电网公司）
子空间分割假设数据来自不同子空间的并集，分割的目的是将数据划分到相应的子空间中。低秩表示（Low-rank representation，LRR）是一种经典的谱型子空间分割方法，即首先通过求解LRR模型得到亲和矩阵，然后进行谱聚类进行分割。本文在LRR模型的基础上提出了一种用于子空间分割的群范数正则化因子分解模型（GNRFM），并设计了一种求解该模型的加速增广拉格朗日算法（AALM）。具体地说，我们采用群范数正则化使因子矩阵的列稀疏化，从而达到低秩的目的，这意味着不需要奇异值分解（SVD），大大降低了每一步的计算复杂性。我们通过使用不同的LRR模型获得亲和矩阵，然后分别对不同的合成噪声数据集和真实数据集进行聚类测试。与传统的模型和算法相比，该方法具有更快的速度和更强的抗噪声能力，从而得到更好的聚类结果。此外，数值结果表明，我们的算法收敛速度快，只需要大约10次迭代。
2020-07-14 cs.LG stat.ML
Acceleration and Implicit Regularization in Gaussian Phase Retrieval
Brandeis University（布兰戴斯大学）
本文研究高斯相位恢复问题中的加速优化方法，证明带有Polyak或Nesterov动量的梯度方法具有与梯度下降相似的隐式正则化，从而在非凸性中保持强凸和平滑，实现比梯度下降更快的收敛速率。
2023-11-21 cs.LG math.OC math.ST
Fast Dimension Independent Private AdaGrad on Publicly Estimated Subspaces
Google Research（谷歌研究院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google Research - Brain（谷歌研究院-大脑团队）
我们重新讨论了具有不同隐私的经验风险最小化（ERM）问题。我们表明，嘈杂的AdaGrad，适当的知识和条件的子空间，从梯度可以得出，实现了遗憾相比，传统的AdaGrad加上一个控制良好的长期由于噪声。我们展示了$O(\text{Tr}(G_T)/T)$的收敛速度，其中$G_T$捕获梯度子空间的几何形状。由于$\text{Tr}(G_T)=O(\sqrt{T})$，我们可以获得更快的速度为凸函数和Lipschitz函数，相比之下，$O(1/\sqrt{T})$率实现了已知版本的噪声（随机）梯度下降与可比的噪声方差。特别是，我们表明，如果梯度位于一个已知的常数秩子空间，并假设算法访问的信封边界衰减的灵敏度，可以实现更快的收敛到一个多余的经验风险的$\tilde O(1/εn)$，其中$ε$是隐私预算和$n$的样本数。让$p$成为问题维度，这个结果意味着，通过运行噪声Adagrad，我们可以在$T=(εn)^{2/(1+2α)}$迭代中绕过DP-SGD界$\tilde O(\sqrt{p}/εn)$，其中$α\geq 0$是控制梯度范数衰减的参数，而不是$T=ε^2n^2$的SGD所达到的速率。我们的结果与一般的凸函数在约束和无约束的最小化。一路上，我们做了一个扰动分析的独立利益的嘈杂AdaGrad。我们对私人ERM问题的效用保证是嘈杂的AdaGrad的遗憾保证的必然结果。
2021-01-30 cs.LG stat.ML
Streaming Krylov-Accelerated Stochastic Gradient Descent
Lehigh University（莱斯大学）
本文提出 SKA-SGD，利用流式 Gauss-Seidel 投影、Chebyshev 基 Krylov 子空间和 AMD GPU HIP 实现加速病态随机优化，以 O(s^2) 复杂度获得近机器精度后向误差，并显著优于 SGD 与 Adam。
2025-05-11 cs.LG cs.NA math.NA
CANITA: Faster Rates for Distributed Convex Optimization with Communication Compression
KAUST（阿卜杜拉国王科技大学）
由于分布式和联邦学习中的高通信成本，依赖于压缩通信的方法变得越来越流行。此外，理论上和实际上性能最好的梯度型方法总是依赖于某种形式的加速/动量来减少通信的数量（更快的收敛），例如，Nesterov的加速梯度下降（Nesterov，1983，2004）和Adam（Kingma和Ba，2014）。为了结合通信压缩和收敛加速的优点，我们提出了一种基于ANITA（Li，2021）的\emph{compressed and accelerated}梯度方法用于分布式优化，我们称之为CANITA。我们的CANITA实现了\emph{first accelerated rate} $O\bigg(\sqrt{\Big(1+\sqrt{\frac{ω^3}{n}}\Big)\frac{L}ε} + ω\big(\frac{1}ε\big)^{\frac{1}{3}}\bigg)$，其改进了DIANA的现有技术的非加速速率$O\left((1+\fracω{n})\frac{L}ε + \frac{ω^2+ω}{ω+n}\frac{1}ε\right)$（Khaled等人，2020），其中$ε$是目标误差，$L$是目标的平滑参数，$n$是机器/设备的数量，$ω$是压缩参数（较大的$ω$意味着可以应用更多的压缩，没有压缩意味着$ω=0$）。我们的研究结果表明，只要设备$n$的数量很大（在分布式/联邦学…
2021-11-07 cs.DC cs.DS cs.LG
Implicit Regularization of Accelerated Methods in Hilbert Spaces
Università degli Studi di Genova（热那亚大学）；Machine Learning Genoa Center（热那亚机器学习中心）；Massachusetts Institute of Technology（麻省理工学院）；Istituto Italiano di Tecnologia（意大利技术研究院）
研究了Hilbert空间中线性最小二乘问题的加速梯度下降方法的学习性质。我们分析了Nesterov加速度和重球的一个变体的隐式正则化性质，相应的学习误差界。我们的研究结果表明，加速可以提供更快的偏差衰减比梯度下降，但也遭受更不稳定的行为。因此，通常不能期望加速相对于梯度下降提高学习精度，而是期望加速以减少的计算实现相同的精度。数值模拟验证了我们的理论结果。我们的分析是基于研究适当的多项式引起的加速动力学和结合频谱技术与浓度不等式。
2019-12-16 cs.LG math.OC math.SP
Nesterov Accelerated Shuffling Gradient Method for Convex Optimization
Cornell University（康奈尔大学）；IBM Research（IBM研究院）
本文提出了求解凸有限和极小化问题的Nesterov加速洗牌梯度算法（NASG）。我们的方法集成了传统的Nesterov的加速动量与不同的洗牌采样方案。我们表明，我们的算法有一个改进率的$\mathcal{O}(1/T)$使用统一的洗牌计划，其中$T$是时代的数量。该速度优于凸区域中的任何其他洗牌梯度法。我们的收敛性分析不需要有界域或有界梯度条件的假设。对于随机洗牌方案，我们进一步提高了收敛界。当采用某些初始条件时，我们证明了我们的方法在解的小邻域附近收敛得更快。数值模拟证明了算法的有效性。
2022-06-13 cs.LG math.OC stat.ML
GPUTOK: GPU Accelerated Byte Level BPE Tokenization
New York University（纽约大学）
GPUTOK提出基于GPU的字节级BPE分词器，通过优化算法和内存管理，显著提升分词速度，同时保持输出质量，适用于长上下文推理任务。
2026-03-03 cs.AI cs.CL cs.DC
ChemBOMAS: Accelerated BO in Chemistry with LLM-Enhanced Multi-Agent System
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Tongji University（同济大学）；The University of Hong Kong（香港大学）；Fudan University（复旦大学）
ChemBOMAS提出LLM增强的多智能体系统，通过数据驱动伪数据生成与知识驱动搜索空间划分协同加速化学贝叶斯优化，实现最高5倍效率提升。
2025-11-10 cs.LG
Faster Acceleration for Steepest Descent
Purdue University（普渡大学）
针对非欧光滑凸优化问题，提出一种基于$\textit{differing}$范数下原对偶序列与插值参数耦合的新型加速一阶方法，突破了最速下降的维度依赖障碍，显著降低了迭代复杂度。
2025-06-17 cs.LG math.OC stat.ML
Identifying Policy Gradient Subspaces
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Hertie Institute for Clinical Brain Research（赫蒂临床脑研究所）；Institute for Computer Engineering, University of Heidelberg（海德堡大学计算机工程学院）
本文评估了深度策略梯度方法中梯度子空间的存在性，证明尽管数据分布变化，子空间仍存在，为高效强化学习（如改进探索或二阶优化）提供了方向。
2024-03-18 cs.LG
Coordinating Distributed Example Orders for Provably Accelerated Training
Cornell University（康奈尔大学）
针对分布式训练中示例顺序优化问题，提出CD-GraB方法，利用核稀疏化思想将GraB的可证明加速优势扩展到分布式环境，实现线性加速并优于分布式RR。
2023-12-21 cs.DC cs.LG math.OC
Acceleration of Subspace Learning Machine via Particle Swarm Optimization and Parallel Processing
University of Southern California（南加州大学）；Army Research Laboratory（陆军研究实验室）；Mira Costa Highschool（米拉科斯塔高中）
基于决策树（DT）分类和回归思想的子空间学习机（SLM）最近被提出来在一般分类和回归任务中提供更高的性能。其性能的提高是以较高的计算复杂性为代价的。在这项工作中，我们研究了两种方法来加速SLM。首先，我们采用粒子群优化（PSO）算法，以加快搜索的判别维数表示为当前维度的线性组合。在线性组合中搜索最优权重的计算量很大。它是通过在原始SLM的概率搜索。通过PSO加速SLM需要少10-20倍的迭代。其次，我们利用并行处理在SLM的实现。实验结果表明，加速SLM方法实现了577的训练时间的加速因子，同时保持了原始SLM的分类/回归性能相当。
2022-08-15 cs.LG
