A Modular Analysis of Provable Acceleration via Polyak's Momentum: Training a Wide ReLU Network and a Deep Linear Network
Georgia Institute of Technology（佐治亚理工学院）
在梯度下降方法中描述所谓的“动量”动态被广泛用于神经网络训练，因为已经广泛观察到，至少在经验上，它通常导致显著更快的收敛。同时，在文献中很少有理论保证来解释这种明显的加速效应。即使对于经典的强凸二次型问题，已有的结果也只是证明了Polyak动量的线性加速率是渐近的。在本文中，我们首先回顾了二次问题，并证明了一个非渐近的加速线性率的Polyak的动量。然后，我们证明了Polyak的动量在训练一层宽的ReLU网络和深度线性网络时实现了加速，这可能是文献中研究优化和深度学习的两个最流行的规范模型。Du等人2019和Wu等人2019的先前工作表明，使用香草梯度下降，并使用过度参数化，在$t$迭代后，误差衰减为$(1- Θ(\frac{1}{ κ'}))^t$，其中$κ'$是Gram矩阵的条件数。我们的结果表明，在适当选择参数的情况下，Polyak的动量有一个速率为$(1-Θ(\frac{1}{\sqrt{κ'}}))^t$ .对于深度线性网络，Hu et al. 2020的先前工作表明，香草梯度下降的速率为$(1-Θ(\frac{1}κ))^t$，其中$κ$是数据矩阵的条件数。我们的结果表明，加速率$(1- Θ(\frac{1}{\sqrtκ}))^t$是由Polyak的动量实现。在这项工作中的所有结果是从模块化分析，这可以是独立的利益。这项工作证明动量确实可以加速神经网络的训练。
2021-06-10 cs.LG math.OC stat.ML
Continuized Acceleration for Quasar Convex Functions in Non-Convex Optimization
Yale University（耶鲁大学）
类星体凸性是一个条件，允许一些一阶方法有效地最小化函数，即使优化景观是非凸的。以前的作品开发近最佳的加速算法，最小化这一类的功能，但是，他们需要一个子程序的二进制搜索结果在多次调用梯度评估在每次迭代，因此梯度评估的总数不匹配一个已知的下界。在这项工作中，我们表明，最近提出的连续Nesterov加速可以应用于最小化类星体凸函数，并达到最佳的上限，以高的概率。此外，我们发现训练广义线性模型（GLM）的目标函数满足类星体凸性，这拓宽了相关算法的适用范围，而非凸学习中类星体凸性的已知实例在文献中很少.我们还表明，如果一个光滑的和一点强凸，Polyak-Lojasiewicz，或二次增长函数满足类星体凸，然后达到加速线性速率最小化的功能是可能的，在一定条件下，而加速一般不知道这些类的功能。
2023-02-15 cs.LG math.OC
On the Effectiveness of the z-Transform Method in Quadratic Optimization
Inria（法国国家信息与自动化研究所）；PSL Research University（巴黎文理研究大学）
本文利用z变换方法分析线性模型和优化算法的渐近行为，从梯度下降到Nesterov加速和随机梯度下降，展示了其有效性和多功能性。
2026-09-09 cs.LG math.OC
Perfect Parallelization in Mini-Batch SGD with Classical Momentum Acceleration
University of Michigan（密歇根大学）
本文提出了一种通用的小批量优化理论，展示了经典动量对梯度小批量大小的加速比例关系，从而实现小批量计算的完美并行化。
2026-05-18 cs.LG
Gradient descent with momentum --- to accelerate or to super-accelerate?
Maynooth University（梅努斯大学）；Max-Planck Institute for the Physics of Complex Systems（马克斯·普朗克复杂系统物理研究所）
我们考虑梯度下降与“动量”，损失函数最小化在机器学习中广泛使用的方法。该方法通常与“Nesterov加速度”一起使用，这意味着梯度不是在参数空间中的当前位置处评估，而是在一步之后的估计位置处评估。在这项工作中，我们表明，该算法可以通过延长这种“加速”-通过使用在估计位置的梯度几步，而不是仅仅提前一步。在这种“超加速”算法中，人们向前看的距离由一个新的超参数决定。考虑单参数二次型损失函数，可以精确计算和解析估计超加速度的最优值。我们明确表明，超加速的动量算法是有益的，不仅对于这个理想化的问题，而且对于几个合成损失景观和MNIST分类任务与神经网络。超加速也很容易纳入自适应算法，如RMSProp或亚当，并显示，以改善这些算法。
2020-01-17 cs.LG math.OC stat.ML
Understanding How Over-Parametrization Leads to Acceleration: A case of learning a single teacher neuron
Yale University（耶鲁大学）；Georgia Institute of Technology（佐治亚理工学院）
过度参数化已成为深度学习中的一种流行技术。据观察，通过过度参数化，较大的神经网络需要比较小的神经网络更少的训练迭代来实现一定程度的性能-即过度参数化导致优化加速。然而，尽管过参数化被广泛使用，现在很少有理论可以解释由于过参数化的加速度。在本文中，我们建议通过研究一个简单的问题来理解它。具体来说，我们考虑存在具有二次激活的单个教师神经元的设置，其中通过使多个学生神经元学习从教师神经元生成的数据来实现过度参数化。我们证明，过参数化有助于梯度下降产生的搜索进入附近的全局最优解，实现零测试误差更快。另一方面，我们还指出了一个问题，关于过度参数化的必要性，并研究了如何缩放的输出神经元的影响收敛时间。
2021-09-27 cs.LG stat.ML
Which Algorithmic Choices Matter at Which Batch Sizes? Insights From a Noisy Quadratic Model
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Research（谷歌研究院）；DeepMind（深度思维）
增加批量大小是加速神经网络训练的一种流行方法，但超过某些临界批量大小，更大的批量大小会产生收益递减。在这项工作中，我们研究了如何关键批量的基础上的优化算法，包括加速和预处理，通过两个不同的镜头的属性变化：大规模的实验，和一个简单的噪声二次模型（NQM）的分析。我们的实验表明，优化算法，采用预处理，特别是亚当和K-FAC，导致更大的临界批量比随机梯度下降的势头。我们还证明了NQM捕获了真实神经网络训练的许多基本特征，尽管使用起来非常简单。NQM使用预处理优化器预测我们的结果，使用加速梯度下降的先前结果，以及围绕最佳学习率和大批量训练的其他结果，使其成为生成有关神经网络优化的可测试预测的有用工具。
2019-10-28 cs.LG stat.ML
Krylov Subspace Acceleration for First-Order Splitting Methods in Convex Quadratic Programming
Department of Engineering Science, University of Oxford（牛津大学工程系）
本文提出了一种基于Krylov子空间的加速方案，用于提升一阶方法在凸二次规划中的性能，避免了Anderson加速方法的病态问题，尤其在最优控制和高精度求解中表现更优。
2026-04-08 math.OC
GPU Acceleration of ADMM for Large-Scale Quadratic Programming
乘子交替方向法是求解结构凸优化问题的一种有效的算子分裂方法。由于其相对较低的每次迭代计算成本和利用问题数据稀疏性的能力，它特别适合于大规模优化。然而，该方法仍然可能花费过长的时间来计算非常大的问题实例的解决方案。尽管ADMM是可并行的，但在实际实现中很少使用此功能。在本文中，我们利用图形处理单元（GPU）的并行计算架构，以加速ADMM。我们建立我们的求解器上的OSQP，一个国家的最先进的实现ADMM的二次规划。我们的开源CUDA C实现已经在许多大规模问题上进行了测试，并被证明比CPU实现快两个数量级。
2020-06-08 math.OC
Average-case Acceleration Through Spectral Density Estimation
Google Research（谷歌研究院）；Samsung SAIT AI Lab（三星综合技术院人工智能实验室）
我们开发了一个框架的平均情况下分析随机二次问题，并得出算法，根据这种分析是最佳的。这产生了一类新的方法，实现加速给定的模型的Hessian的特征值分布。我们开发了显式算法的均匀，马琴科-帕斯托尔，和指数分布。这些方法是基于动量的算法，其超参数可以在不知道Hessian最小奇异值的情况下估计，与经典的加速方法如Nesterov加速和Polyak动量相反。通过对二次和逻辑斯谛回归问题的经验基准，我们确定了所提出的方法优于经典（最坏情况）加速方法的制度。
2023-02-20 cs.LG math.OC
QOCO-GPU: A Quadratic Objective Conic Optimizer with GPU Acceleration
本文提出一个基于GPU加速的QOCO求解器，采用对偶内点法解决二次目标二次锥规划问题，通过cuDSS库实现稀疏LDL分解，并开发CUDA内核提升性能，实现CPU与GPU后端的统一代码库。
2026-03-31 math.OC
Generalized Framework for Nonlinear Acceleration
非线性加速算法使用过去迭代中包含的信息来改进迭代法（例如梯度下降）的性能。然而，它们的效率仍然没有完全理解，即使在二次的情况下。在本文中，我们澄清的收敛性分析，给出了一般性质，共享几类非线性加速：安德森加速（和变种），拟牛顿法（如Broyden Type-I或Type-II，SR 1，DFP，和BFGS）和Krylov方法（共轭梯度，MINRES，GMRES）。特别是，我们提出了一个通用的家庭的算法，包含所有以前的方法，并证明其最佳的收敛速率时，最小化二次函数。我们还提出了多割线更新的拟牛顿法上面列出的。我们提供了一个Matlab代码实现的算法。
2019-03-20 math.OC
Anderson Acceleration Without Restart: A Novel Method with $n$-Step Super Quadratic Convergence Rate
提出一种无需重启即可保证数值稳定性的新型Anderson加速方法，包含贪心与随机版本，并证明了其具有$n$步超二次收敛速率，实验验证了其快速收敛性。
2024-03-25 math.OC
Super-Acceleration with Cyclical Step-sizes
我们开发了一个收敛率分析的动量周期步长。我们证明了在机器学习中对Hessians谱间隙的一些假设下，循环步长可以证明比恒定步长更快。更确切地说，我们开发了一个收敛速度分析二次目标，提供最佳参数，并表明循环学习率可以提高传统的较低的复杂性界限。我们进一步提出了一个系统的方法来设计最佳的一阶方法，二次最小化与给定的谱结构。最后，我们提供了一个局部收敛速度分析超出二次最小化的方法，并说明我们的研究结果，通过最小二乘和逻辑斯谛回归问题的基准。
2022-05-09 math.OC
Nonmonotone Globalization for Anderson Acceleration via Adaptive Regularization
针对Anderson加速（AA）的不稳定与停滞问题，提出基于非单调信赖域框架、自适应二次正则化及定制接受机制的AA全局化方法，兼具全局与AA同等局部收敛性，经数值实验验证有效。
2023-05-02 cs.NA math.NA math.OC
The Quadratic Cycle Cover Problem: special cases and efficient bounds
二次圈覆盖问题是寻找一组访问所有节点的节点不相交圈，使得连续弧之间的交互成本之和最小化的问题。本文研究了二次圈覆盖问题的线性化问题及相关的下界。特别是，我们推导出各种充分条件的二次成本矩阵是线性化的，并使用这些条件来计算边界。我们还展示了如何使用一个充分条件的线性化内的迭代定界过程。在每一步中，我们的算法计算的最佳等价表示的二次成本矩阵和其最佳线性化矩阵的线性化给定的充分条件。此外，我们表明，经典的Gilmore-Lawler型界属于家庭的线性化为基础的界限，因此适用于上述的迭代重新表述技术。我们还证明了这种迭代方法得到的线性化向量满足常值性质。当同时考虑质量和效率时，这里引入的边界中的最佳边界优于现有的下界。
2019-11-30 math.OC
An Accelerated Lyapunov Function for Polyak's Heavy-Ball on Convex Quadratics
1964年，波利亚克证明了最简单的动量法--重球法（Heavy-ball method）可以加速强凸问题在解附近的收敛。虽然Nesterov后来开发了一个全球加速版本，但Polyak的原始算法仍然更简单，并且在深度学习等应用中得到了更广泛的应用。尽管如此受欢迎，但Heavy-ball是否也是全局加速的问题尚未得到完全回答，也没有提供令人信服的反例。这在很大程度上是由于难以找到一个有效的李雅普诺夫函数：事实上，大多数证明重球加速在强凸二次设置依赖于特征值参数。我们的研究采用了一种不同的方法：通过简谐振子的二次不变量来研究动量。通过利用Stormer-Verlet积分器的修正Hamilton，我们能够构造一个Lyapunov函数，证明在凸二次问题的情况下Heavy-ball的速度为O（1/k^2）.这是一个有希望的第一步，有可能证明波利亚克的动量方法的加速，我们希望它能激发在这一领域的进一步研究。
2023-01-14 math.OC
On the asymptotic convergence and acceleration of gradient methods
我们考虑一类梯度法的渐近性态，其中包括最速下降法和最小梯度法作为特例。证明了该族中的每一种方法都将在两个方向之间渐近曲折。给出了目标值、梯度范数和步长的渐近收敛结果。为了加速梯度法族，我们进一步利用步长的谱性质来打破重叠模式。特别地，通过对二维严格凸二次函数的极小化问题施加有限终止条件，得到了一种新的步长。结果表明，对于一般的二次函数，所提出的步长渐近收敛于Hessian最大特征值的倒数。此外，基于这一谱特性，我们提出了一个周期性的梯度法结合Barzilai-Borwein方法。与最近一些成功的梯度法的数值比较表明，我们的新方法是非常有前途的。
2019-08-19 math.OC
On the acceleration of the Barzilai-Borwein method
Barzilai-Borwein（BB）梯度法是求解大规模无约束优化问题的有效方法，具有精度适中的优点，并且易于推广到求解大范围的约束最优化问题。在本文中，我们提出了一个新的步长，以加快BB方法，要求有限终止，以最小化二维强凸二次函数。结合这一新的步长，我们发展了求解一般强凸二次函数极小化问题的自适应非单调BB步长和一定单调步长的梯度法.此外，通过引入非单调线搜索和梯度投影技术，我们将这些新的梯度法推广到求解一般光滑无约束和有界约束优化问题。大量的数值实验表明，我们的策略，适当插入单调梯度步骤的非单调BB方法可以显着提高其性能，新的方法可以优于最成功的梯度下降方法在最近的文献中发展。
2020-01-08 math.OC
SDP-based bounds for the Quadratic Cycle Cover Problem via cutting plane augmented Lagrangian methods and reinforcement learning
本文研究了二次圈覆盖问题（QCCP），该问题的目标是在有向图中找到一个节点不相交的圈覆盖，并且相邻弧之间的交互代价最小。我们得到几个半定规划（SDP）松弛，并使用面部减少，使这些严格可行的。我们调查的非平凡之间的关系的变换矩阵中使用的减少和图的结构，这是利用一个有效的算法，构造这个矩阵的任何实例的问题。为了解决我们的松弛，我们提出了一个算法，利用Dykstra的投影算法，将增广拉格朗日方法到一个切割平面框架。我们的算法是适合于解决SDP松弛与大量的切割平面。计算结果表明，我们的SDP边界和我们的高效切割平面算法优于其他QCCP边界的方法从文献中。最后，我们提供了几种基于SDP的上界技术，其中一种是顺序Q学习方法，它利用了我们在强化学习环境中的SDP松弛解决方案。
2021-02-18 math.OC
A quadratic-order problem kernel for the traveling salesman problem parameterized by the vertex cover number
该研究针对图形旅行商问题，提出以顶点覆盖数为参数的二次阶问题核，保证近似解的可传递性。
2023-10-11 cs.DM cs.DS math.OC
Polynomial Acceleration of Alternating Projections: Chebyshev Acceleration, Convergence Rates, and Retractions
University of Science and Technology of China（中国科学技术大学）
提出FPMA框架，通过多项式加速（如切比雪夫加速）提升交替投影在光滑流形附近的收敛速度，并建立局部R线性收敛与收缩性质，显著改善小弗里德里希角下的性能。
2026-10-06 cs.NA math.NA math.OC
Objective acceleration for unconstrained optimization
Mathematical Institute, University of Oxford（牛津大学数学研究所）
本文提出了一种新的目标加速方法O-ACCEL，通过在实数空间子空间上最小化目标函数的近似值来加速无约束优化过程，并证明其在二次目标时退化为线性系统的全正交化方法，与L-BFGS和N-CG相比表现出竞争力。
2018-05-30 cs.NA math.NA math.OC
Representations of quadratic combinatorial optimization problems: A case study using the quadratic set covering problem
二次组合最优化问题（QCOP）的目标函数可以由两个数据点表示，二次成本矩阵Q和线性成本向量c。对于相同的QCOP，对（Q，c）的不同但等价的表示在文献中是众所周知的。研究论文经常指出，在不失一般性的情况下，我们假设Q是对称的，或上三角形或半正定的，等等。流行的通用0-1 QCOP求解器，如GUROBI和CPLEX，并没有提出Q和c的首选表示。我们的实验分析表明，GUROBI更喜欢上三角表示的矩阵Q，而CPLEX更喜欢对称表示在统计上显着的方式。等价表示虽然保持了最优性，但它们可能会改变由各种下界方案获得的相应下界值。对于自然的下界的QCOP，对称表示产生更严格的界限，一般。CPLEX和GUROBI在启发式模式下运行时的等效表示的效果也进行了探索。此外，我们回顾了各种等价表示的QCOP从文献中有理论基础被视为强大的，并提供新的理论见解，产生这样的等价表示利用常值属性和对角化（线性化）的QCOP实例。
2018-02-23 cs.DM math.OC
Anderson Acceleration for Linearly Converging SQP-Type Methods
University of Freiburg（弗赖堡大学）
本文研究了安德森加速在约束优化中的应用，特别是SQP方法，展示了其在提升局部收敛性方面的有效性，并通过数值实验验证了其改进作用。
2026-04-16 math.OC
Bounded Integer Quadratic Programming through Parallelepiped Covers and Discrete Convic Optimization
提出精确算法，通过细化平行六面体覆盖与离散凸优化，在多项式时间内求解有界有理多面体上的任意有理二次整数规划，并扩展至无界情形。
2026-09-17 math.OC
Restarted Reflected Halpern Acceleration for Augmented Primal-Dual Methods
Beijing International Center for Mathematical Research, Peking University（北京大学北京国际数学研究中心）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Alibaba US, DAMO Academy（阿里巴巴美国达摩院）
针对线性约束复合凸优化问题，提出统一增广原始-对偶框架，采用反射Halpern加速，证明KKT残差和非遍历O(1/k)界，并展示有限识别和线性收敛。
2026-06-16 math.OC
Global Convergence and Acceleration for Single Observation Gradient Free Optimization
本文聚焦单样本同步扰动随机逼近（1SPSA）无梯度优化方法，提出保障任意初始条件下收敛的算法改进方案与加速收敛的新探索策略，并通过算例验证理论及未改进1SPSA在二次目标下可能发散的问题。
2025-09-04 math.OC
Hidden Convexity via Symmetric Displacement Covers: Mixed-Integer Quadratic Programming and Integer Cubic Programming in Fixed Dimension
Grado Department of Industrial and Systems Engineering, Virginia Tech（弗吉尼亚理工大学工业与系统工程系）
本文证明固定维数下有理三次多项式在整数点上的精确最小化可多项式求解，通过结合精确恒等式与整数查询分离预言机等技巧，并解释了三次为方法自然边界的原因。
2026-09-25 math.OC
Arrangement of level sets of quadratic constraints and its relation to nonconvex quadratic optimization problems
本文研究了一类特殊的非凸二次规划，当约束函数的水平集{ \it not}排列{ \it}时，它具有两个（可能是不定的）二次约束.它表明，在文件中，这类问题承认强对偶紧SDP松弛后，没有假设原始或对偶斯莱特条件。我们的结果涵盖了叶和张在2003年的发展和广义置信域子问题（GTRS）作为特例。通过新颖的几何观点和一些简单的例子，我们可以解释为什么当约束的水平集确实是交替排列时，问题变得非常困难。
2020-12-18 math.OC
An extended sequential quadratic method with extrapolation
本文提出带外推的扩展序列二次方法（ESQM_e），用于求解差凸优化问题，融合Nesterov外推加速，在KL性质下证明收敛，并实验验证其优于基本ESQM和SCP_ls。
2023-12-25 math.OC
Uniform Quadratic Optimization and Extensions
一致二次优化问题（UQ）是一个具有相同黑塞矩阵的非凸二次约束二次规划（QCQP）问题。基于二阶锥规划（SOCP）的松弛方法，建立了（UQ）强对偶的一个新的充分条件，并将其推广到（QCQP）.该结果不仅覆盖了文献中的几个著名结果，而且部分地回答了一些公开问题.对于凸约束非凸问题，提出了一种基于（SOCP）的改进近似算法。我们的近似界是维数无关的。作为应用，我们建立了求多个球相交的切比雪夫中心问题的第一近似界。
2015-08-05 math.OC
