Higher-Order Accelerated Methods for Faster Non-Smooth Optimization
Princeton University(普林斯顿大学);Google AI Princeton(谷歌人工智能普林斯顿分部);Georgia Tech(佐治亚理工学院);Microsoft Research Redmond(微软研究院雷德蒙德分院)
通过高阶加速方法,我们为各种\emph{non-smooth}最优化问题提供了改进的收敛速度。在$\ell_\infty$回归的情况下,我们实现了$O(ε^{-4/5})$迭代复杂性,打破了$O(ε^{-1})$障碍,目前为止,为以前的方法。我们到达一个类似的速度为问题的$\ell_1$ -SVM,超越了可达到的一阶方法与非光滑非强凸问题的Oracle访问。我们进一步展示了如何通过引入高阶正则化来实现更快的速率。我们的研究结果依赖于高阶光滑凸优化的近最优加速方法的最新进展。特别是,我们扩展Nesterov的平滑技术表明,标准的softmax近似不仅在通常意义上是光滑的,而且\emph{higher-order}光滑。有了这个观察在手,我们提供了高阶加速技术产生更快的速度为\emph{non-smooth}优化的第一个例子,尽我们所知。
2019-06-04 cs.LG math.OC stat.ML
Accelerated, Optimal, and Parallel: Some Results on Model-Based Stochastic Optimization
Stanford University(斯坦福大学)
我们扩展的近似邻近点(aProx)家庭的基于模型的方法来解决随机凸优化问题,包括随机次梯度,邻近点,束方法,到小批量和加速设置。要做到这一点,我们提出了具体的基于模型的算法和加速计划,我们提供非渐近收敛的保证,这是为了最佳的所有问题相关的常数,并提供线性加速minibatch大小,同时保持理想的鲁棒性特征(例如步长)的aProx家庭。此外,我们还展示了改进的收敛速度和匹配的下界识别新的基本常数的“插值”问题,其重要性在统计机器学习的增长,这,例如,给出了交替投影的并行化策略。我们证实了我们的理论结果与实证测试,以证明准确的建模,加速,和minimizing提供的收益。
2021-01-07 cs.LG math.OC stat.ML
Accelerated Riemannian Optimization: Handling Constraints with a Prox to Bound Geometric Penalties
Zuse Institute Berlin(柏林祖斯研究所);Technische Universität Berlin(柏林工业大学)
我们提出了一种全局加速的一阶方法,用于在广泛的一类Hadamard流形中优化光滑和(强或非)测地线凸函数。我们实现了与Nesterov加速梯度下降相同的收敛速度,直到乘法几何惩罚和对数因子。至关重要的是,我们可以强制我们的方法保持在我们定义的紧致集内。现有的完全加速的作品\emph{resort to assuming},他们的算法的迭代停留在一些预先指定的紧集,除了两个有限的适用性的前方法。对于我们的流形,这解决了[KY22]中关于获得全局广义加速度而不迭代地停留在可行集中的公开问题。在我们的解决方案中,我们设计了一个加速的黎曼不精确邻近点法,这是一个结果,是未知的,甚至与精确访问的邻近算子,是独立的利益。对于光滑函数,我们证明了我们可以在一定直径的黎曼球上用一阶方法不精确地实现逼近步骤,这足以进行全局加速优化。
2023-01-13 cs.LG math.OC
Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping
MIPT(莫斯科物理技术学院);HSE(高等经济学院);ICS RAS(俄罗斯科学院系统编程研究所)
本文提出了一种新的加速随机一阶方法--剪切SSTM,用于求解随机梯度中带重尾分布噪声的光滑凸随机最优化问题,并给出了该方法的第一个高概率复杂度界,填补了带重尾噪声的随机最优化理论的空白.我们的方法是基于加速随机梯度下降(SGD)和随机梯度裁剪的一个特殊的变种。我们将我们的方法扩展到强凸的情况下,并证明了新的复杂性界限,在这种情况下优于国家的最先进的结果。最后,我们扩展了我们的证明技术,并推导出第一个非平凡的高概率复杂性界的SGD裁剪没有轻尾假设的噪声。
2020-10-23 cs.LG math.OC
Nesterov Accelerated Shuffling Gradient Method for Convex Optimization
Cornell University(康奈尔大学);IBM Research(IBM研究院)
本文提出了求解凸有限和极小化问题的Nesterov加速洗牌梯度算法(NASG)。我们的方法集成了传统的Nesterov的加速动量与不同的洗牌采样方案。我们表明,我们的算法有一个改进率的$\mathcal{O}(1/T)$使用统一的洗牌计划,其中$T$是时代的数量。该速度优于凸区域中的任何其他洗牌梯度法。我们的收敛性分析不需要有界域或有界梯度条件的假设。对于随机洗牌方案,我们进一步提高了收敛界。当采用某些初始条件时,我们证明了我们的方法在解的小邻域附近收敛得更快。数值模拟证明了算法的有效性。
2022-06-13 cs.LG math.OC stat.ML
Gauges and Accelerated Optimization over Smooth and/or Strongly Convex Sets
该研究针对光滑和/或强凸集上的可行性与约束优化问题,提出基于Minkowski规范平方性质的无投影一阶加速方法,仅用线搜索和法向量计算即可达到最优加速收敛速率。
2025-10-01 cs.LG math.OC
Accelerated Algorithms for a Class of Optimization Problems with Equality and Box Constraints
本文针对带等式与盒约束的凸优化问题,提出一种引入时变增益的新型高阶调节器,在保证约束任意时刻可行的同时实现加速收敛,并用数值例子验证理论结果。
2023-05-08 cs.LG math.OC
Lower Bounds and Accelerated Algorithms for Bilevel Optimization
The Ohio State University(俄亥俄州立大学)
由于双层优化在现代机器学习问题中的广泛应用,近年来引起了人们越来越多的关注。尽管最近的研究已经描述了几种流行算法的收敛速度,但仍不清楚这些收敛速度可以进一步提高多少。在本文中,我们从两个角度来解决这个基本问题。首先,我们分别给出了强凸-强凸和凸-强凸双层优化问题的$\widetildeΩ(\frac{1}{\sqrt{μ_x}μ_y})$和$\widetilde Ω\big(\frac{1}{\sqrtε}\min\{\frac{1}{μ_y},\frac{1}{\sqrt{ε^{3}}}\}\big)$的第一个已知的复杂性下界。其次,我们提出了一个加速的双层优化命名为AccBiO,我们提供了第一个已知的复杂性界限,而没有梯度有界性假设(这是在现有的分析)在上述两个几何形状。当有界梯度假设成立时,我们还提供了比现有复杂度更严格的上限。我们表明AccBiO实现了最佳结果(即,上限和下限匹配到对数因子)。有趣的是,我们在这两种几何下的下界都大于极大极小优化的相应最优复杂度,证明了双层优化比极大极小优化更具挑战性。
2022-01-28 cs.LG math.OC stat.ML
Accelerated Distributed Optimization with Compression and Error Feedback
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);Universität des Saarlandes(萨尔大学)
本文提出 ADEF 算法,将 Nesterov 加速、收缩压缩、误差反馈与梯度差压缩相结合,在一般凸区域下首次实现了带收缩压缩的随机分布式优化的加速收敛,并降低了通信成本。
2025-03-29 cs.LG math.OC
Proximal Quasi-Newton Methods for Regularized Convex Optimization with Linear and Accelerated Sublinear Convergence Rates
Dept. of Industrial and Systems Engineering, Lehigh University, Bethlehem, PA, USA(工业与系统工程系,莱维大学,伯灵顿,宾夕法尼亚州,美国)
本文研究了正则化凸优化中近似拟牛顿方法的收敛性,分析了强凸情况下精确与不精确设置的收敛性质,并探讨了加速变体的实用性与性能。
2017-10-17 cs.LG cs.NA math.NA
ADOM: Accelerated Decentralized Optimization Method for Time-Varying Networks
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
我们提出了ADOM -一个加速的方法,光滑和强凸分散优化随时间变化的网络。ADOM使用双oracle,即,我们假设可以访问各个损失函数的Fenchel共轭的梯度。在一个常数因子下,它的通信复杂度与加速Nesterov梯度法(Nesterov,2003)的通信复杂度相同。据我们所知,只有Rogozin等人(2019)的算法具有类似性质的收敛速度。然而,他们的算法在非常严格的假设下收敛,即网络变化的次数不能大于迭代次数的大于微小百分比。这一假设在实际中很难满足,因为网络拓扑结构的变化通常是无法控制的。相比之下,ADOM只需要网络在整个时间内保持连接。
2021-02-18 cs.LG math.OC
A unified variance-reduced accelerated gradient method for convex optimization
Georgia Institute of Technology(佐治亚理工学院);Tsinghua University(清华大学);IBM Almaden Research Center(IBM阿尔马登研究中心)
我们提出了一种新的随机增量梯度算法,即方差减少加速梯度(Varag),有限和优化。配备了一个统一的步长政策,调整自己的值的条件数,瓦拉格表现出统一的最优收敛速度,直接解决光滑凸有限和问题,而不管他们的强凸性。此外,Varag是第一个加速的随机增量梯度法,受益于数据保真度项的强凸性,以实现最佳的线性收敛。它还建立了一个最佳的线性收敛速率,解决了广泛的一类问题,只满足一定的误差界条件,而不是强凸性。瓦拉格也可以扩展到解决随机有限和问题。
2019-10-30 cs.DS cs.LG math.OC
Optimal Adaptive and Accelerated Stochastic Gradient Descent
Shanghai University of Finance and Economics(上海财经大学);Georgia Institute of Technology(佐治亚理工学院)
随机梯度下降(\textsc{Sgd})方法是训练机器学习和深度学习模型中最强大的优化工具。此外,加速度(a.k.a.动量)方法和对角缩放(a.k.a.自适应梯度)方法是改善\textsc{Sgd}慢收敛性的两种主要技术。虽然实证研究已经证明了结合这两种技术的潜在优势,但这些方法是否可以达到随机最优化的最佳收敛速度仍然是未知的。在本文中,我们提出了一类新的自适应和加速随机梯度下降方法,并证明了他们表现出最佳的采样和迭代复杂性的随机最优化。更具体地说,我们表明,对角缩放,最初设计用于改善香草随机梯度,可以被纳入加速随机梯度下降,以实现平滑随机最优化的最佳收敛速度。我们还表明,动量,除了被称为加快确定性优化的收敛速度,也为我们提供了新的方法来设计非均匀和积极的移动平均计划在随机最优化。最后,我们提出了一些启发式方法,有助于实现自适应加速随机梯度下降方法,并进一步提高其在机器学习和深度学习中的实际性能。
2018-10-01 cs.LG stat.ML
Accelerated stochastic first-order method for convex optimization under heavy-tailed noise
Department of Mathematics, Linköping University, Sweden(林雪平大学数学系);Department of Industrial and Systems Engineering, University of Minnesota, USA(明尼苏达大学工业与系统工程系)
针对重尾噪声下的凸复合优化问题,本文提出一种无需梯度裁剪或归一化的加速随机近端次梯度方法,证明其在光滑、弱光滑及非光滑等情况下均具有普遍最优的一阶预言机复杂度,并通过数值实验验证了理论结果。
2026-09-22 cs.AI cs.LG math.OC
Gradient-Variation Online Adaptivity for Accelerated Optimization with Hölder Smoothness
本文研究了Hölder平滑函数的在线学习,设计了无需预知平滑参数的梯度变分在线学习算法,通过在线到批处理转换及检测程序,首次为离线强凸优化提出了一种在平滑与非平滑机制下均具最优或近最优收敛的通用加速方法。
2025-11-04 cs.LG math.OC
Accelerated Stochastic Quasi-Newton Optimization on Riemann Manifolds
Ohio State University(俄亥俄州立大学)
我们提出了一个L-BFGS优化算法在黎曼流形使用小批量随机方差减少技术的快速收敛与恒定的步长,而不诉诸线搜索方法设计,以满足沃尔夫条件。给出了流形上强凸函数的一个新的收敛性证明,并讨论了非凸函数的收敛性。我们讨论了几种方法来获得用于计算梯度与逆Hessian的乘积的校正对,并实证地证明了它们在计算对称正定矩阵的Karcher均值和大规模数据矩阵的前导特征值的合成实验中的使用。我们将我们的方法与VR-PCA进行了比较,对于后一个实验,以及两种情况下的黎曼SVRG,并在一系列数据集上显示了强收敛结果。
2017-05-22 cs.LG math.DG math.OC
Empirical and computer-aided robustness analysis of long-step and accelerated methods in smooth convex optimization
Mathematical Engineering Department, UCLouvain(UCLouvain数学工程系)
本文通过性能估计方法从理论与实验两方面分析一阶优化方法在梯度相对不精确时的鲁棒性,发现长步长与加速方法理论上不鲁棒,提出缩短因子改进保证,并验证加速方法实际鲁棒性优于预期。
2025-06-30 cs.LG math.OC
An Accelerated Communication-Efficient Primal-Dual Optimization Framework for Structured Machine Learning
Lehigh University(理海大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
分布式优化算法对于在超大规模数据集上训练机器学习模型至关重要。然而,他们经常遇到通信瓶颈。针对这一问题,提出了一种通信效率高的原始-对偶坐标上升框架(CoCoA)及其改进的CoCoA+,在求解Lipschitz连续损失的经验风险最小化问题时,其收敛速度达到了$\mathcal{O}(1/t)$.在本文中,CoCoA+的一个加速变体,提出并证明具有收敛速度$\mathcal{O}(1/t^2)$方面减少次优。该速率的分析也值得注意,因为收敛速度界限涉及的常数(除极端情况外)与之前为CoCoA+提供的常数相比显著降低。数值实验的结果表明,加速可以导致显着的性能增益。
2017-11-14 cs.LG math.OC
Faster Accelerated First-order Methods for Convex Optimization with Strongly Convex Function Constraints
Shanghai University of Finance and Economics(上海财经大学);Shanghai Jiao Tong University(上海交通大学)
在本文中,我们介绍了快速加速原始对偶法,以最小化一个凸函数的强凸函数的约束。在我们的工作之前,最好的复杂性界限是$\mathcal{O}(1/{\varepsilon})$,不管约束函数的强凸性。目前还不清楚强凸性假设是否可以实现更好的收敛结果。为了解决这个问题,我们开发了新的技术,逐步估计拉格朗日函数的强凸性。我们的方法,第一次,有效地利用约束强凸性,获得了改进的复杂性$\mathcal{O}(1/\sqrt{\varepsilon})$。该速率与强凸-凹鞍点优化的复杂度下界相匹配,因此是阶数最优的。我们展示了我们的方法在稀疏诱导约束优化,特别是谷歌的个性化PageRank问题的优越性能。此外,我们表明,重新启动的版本所提出的方法可以有效地确定最优解的稀疏模式在有限数量的步骤,结果似乎有独立的意义。
2024-11-27 cs.LG math.OC
Accelerated Zeroth-Order and First-Order Momentum Methods from Mini to Minimax Optimization
University of Pittsburgh(匹兹堡大学);Simon Fraser University(西蒙弗雷泽大学)
在本文中,我们提出了一类用于非凸极小优化和极小极大优化的加速零阶和一阶动量方法。具体来说,我们提出了一个新的加速零阶动量(ACC-ZOM)的黑盒小优化方法,只有功能值可以获得。此外,我们证明了我们的Acc-ZOM方法实现了较低的查询复杂度为$\tilde{O}(d^{3/4}ε^{-3})$寻找一个$ε$ -平稳点,这提高了最好的已知结果的一个因素的$O(d^{1/4})$,其中$d$表示的可变尺寸。特别是,我们的Acc-ZOM不需要在现有的零阶随机算法所需的大批量。同时,我们提出了一个加速零阶动量下降上升(ACC-ZOMDA)方法的黑箱极小极大优化,其中只有函数值可以得到。我们的Acc-ZOMDA获得了低查询复杂度的$\tilde{O}((d_1+d_2)^{3/4}κ_y^{4.5}ε^{-3})$,而不需要大批量寻找一个$ε$ -平稳点,其中$d_1$和$d_2$表示可变尺寸和$κ_y$是条件数。此外,我们提出了一个加速的一阶动量下降上升(Acc-MDA)方法的极小极大优化,其显式梯度是可访问的。我们的Acc-MDA实现了$\tilde{O}(κ_y^{4.5}ε^{-3})$的低梯度复杂性,而不需要大批量来寻找$ε$ -稳定点。特别是,我们的Acc-MDA可以获得具有批量大小$O(κ_y^4)$的$\tilde{O}(κ_y^{2.5}ε^{-3})$的较低梯度复杂度,这将…
2022-01-17 cs.CV cs.LG math.OC
Accelerated Primal-Dual Algorithms for Distributed Smooth Convex Optimization over Networks
Zhejiang University(浙江大学);Purdue University(普渡大学)
本文提出了一种新的家庭的原始对偶为基础的分布式算法,光滑,凸,多智能体优化网络,只使用梯度信息和八卦通信。该算法还可以在计算和通信上采用加速。我们提供了一个统一的分析,他们的收敛速度,测量的Bregman距离相关的鞍点改造的分布式最优化问题。当采用加速,速率被证明是最佳的,在这个意义上,它匹配(根据建议的度量)现有的复杂性下界的分布式算法适用于这样一类问题,只使用梯度信息和八卦通信。分布式最小二乘回归问题的初步数值结果表明,该算法相比现有的分布式计划毫不逊色。
2020-03-03 cs.DC cs.LG math.OC
Accelerated Algorithms for Convex and Non-Convex Optimization on Manifolds
University of Notre Dame(圣母大学);University of Rochester(罗切斯特大学);University of Hong Kong(香港大学);Duke University(杜克大学)
我们提出了一个通用的计划,解决凸和非凸流形上的优化问题。其中心思想是,通过增加一个倍数的平方收缩距离的目标函数的问题,我们“凸”的目标函数,并解决了一系列的凸子问题的优化过程。流形上优化的关键挑战之一是难以验证目标函数的复杂性,例如,目标函数是凸的还是非凸的,以及非凸的程度。我们所提出的算法适应目标函数的复杂程度。我们表明,当目标函数是凸的,该算法可证明收敛到最优,并导致加速收敛。当目标函数为非凸时,算法将收敛到一个稳定点。我们提出的方法统一的见解Nesterov的原始想法,加速梯度下降算法的最新发展,在欧几里德空间的优化算法。我们展示了我们的算法在几个流形优化任务上的实用性,例如估计球体上的内在和外在Fréchet均值以及应用于Netflix评级数据集的Grassmann流形的低秩矩阵分解。
2020-10-18 cs.LG math.OC stat.CO
Symmetry Teleportation for Accelerated Optimization
University of California, San Diego(加州大学圣迭戈分校);IBM Research(IBM研究院);Northeastern University(东北大学)
现有的基于梯度的优化方法在最小化损失函数的方向上局部地更新参数。我们研究了一种不同的方法,对称隐形传态,它允许参数在损失水平集上旅行很大的距离,以提高后续步骤的收敛速度。隐形传态利用了优化问题中损失景观的对称性。本文给出了最优化和多层神经网络中测试函数的损失不变群作用,证明了隐形传态提高收敛速度的必要条件。我们还表明,我们的算法是密切相关的二阶方法。实验表明,隐形传态提高了梯度下降和AdaGrad的收敛速度,包括测试函数,多层回归和MNIST分类的几个优化问题。
2023-01-04 cs.LG
Accelerated nonlinear primal-dual hybrid gradient methods with applications to supervised machine learning
Brown University(布朗大学)
线性原-对偶混合梯度法(PDHG)是一种将具有鞍点结构的凸优化问题分解为更小的子问题的一阶方法。与大多数分裂方法不同,这些子问题通常可以有效地解决,因为它们涉及简单的操作,如矩阵向量乘法或邻近映射,这些操作可以快速进行数值计算。这一优点的代价是,线性PDHG方法需要精确的步长参数的问题在手边,以实现最佳的收敛速度。不幸的是,这些步长参数对于计算大规模最优化问题(例如机器学习中的那些)来说通常是非常昂贵的。这个问题使得简单的线性PDHG方法不适合于此类问题,并且它也被大多数一阶最优化方法所共享。为了解决这个问题,我们介绍了加速非线性PDHG方法,实现了最佳的收敛速度与步长参数,是简单而有效的计算。我们证明了严格的收敛结果,包括结果的强凸或光滑的问题上的无限维自反巴拿赫空间。我们说明了我们的方法的效率上$\ell_{1}$约束逻辑斯谛回归和熵正则化矩阵对策。我们的数值实验表明,非线性PDHG方法是相当快的竞争方法。
2022-04-03 cs.LG math.OC math.ST
Accelerated Parallel Optimization Methods for Large Scale Machine Learning
Princeton University(普林斯顿大学);AT&T Labs - Research(AT&T实验室研究院)
在不同的机器学习应用中,高维数据的数量不断增长,这就需要更高效和可扩展的优化算法。在这项工作中,我们考虑结合两种技术,并行和Nesterov的加速,设计更快的算法L1正则化损失。我们首先简化了BOOM,一个变种的梯度下降,并研究它在一个统一的框架,这使我们不仅可以提出一个精细的测量稀疏性,以改善BOOM,但也表明,BOOM是可证明的慢于FISTA。接下来我们讨论并行坐标下降方法,然后提出了Shotgun的一个高效加速版本,将收敛速度从$O(1/t)$提高到$O(1/t^2)$。与以前的工作相比,我们的算法具有简洁的形式和分析,并且还允许以统一的方式研究多个连接的工作。
2014-11-25 cs.LG
Accelerated Sparse Recovery via Gradient Descent with Nonlinear Conjugate Gradient Momentum
本文利用非线性共轭梯度自适应动量加速稀疏恢复优化,针对可微及非光滑加可微两类问题,采用固定步长和算子分裂,以凸ℓ1和非凸ℓ1-ℓ2为例验证效率。
2023-04-05 math.OC stat.CO
First order optimization methods based on Hessian-driven Nesterov accelerated gradient flow
提出了一种新的动态惯性牛顿系统--Hessian-driven Nesterov加速梯度流(H-NAG)。通过裁剪的李雅普诺夫函数建立了连续轨迹的收敛性,并提出了新的一阶加速最优化方法。结果表明,对于凸和强凸目标,(半)隐格式总是能达到线性速率,而显格式具有最优(加速)速率。特别是,Nesterov的最佳方法是从我们的H-NAG流的显式方案中恢复的。此外,还提出了求解复合最优化问题的加速分裂算法。
2019-12-24 math.OC
Differentially Private Accelerated Optimization Algorithms
Sabancı University(萨班哲大学);Erasmus University(伊拉斯姆斯大学);Rutgers University(罗格斯大学)
我们提出了两类差分私有优化算法的著名的加速一阶方法。第一种算法受Polyak的重球方法的启发,采用平滑方法来减少差分隐私所需的梯度步长上的累积噪声。第二类算法是基于Nesterov的加速梯度法及其最近的多阶段变体。我们提出了一个噪声划分机制的Nesterov的方法的迭代,以改善算法的错误行为。借助动力系统分析技术,对重球法和Nesterov加速梯度法进行了收敛速度分析。最后,我们得出结论,我们的数值实验表明,所提出的算法具有优势,比著名的差分隐私算法。
2020-08-05 cs.CR cs.LG math.OC
From differential equation solvers to accelerated first-order methods for convex optimization
从常微分方程求解者的角度分析了求解凸优化问题的加速一阶方法的收敛性。从加速机制与常微分方程解的$A$ -稳定性之间的联系出发,导出了一个新的动力系统--Nesterov加速梯度流,并证明了裁剪的Lyapunov函数随解的轨迹呈指数衰减.数值离散,然后考虑和收敛速度建立通过一个统一的离散李雅普诺夫函数。所提出的微分方程求解器方法不仅可以覆盖现有的加速方法,如FISTA,Güler的近似算法和Nesterov的加速梯度法,但也产生新的算法,复合凸优化,具有加速收敛速度。
2022-02-28 math.OC
Non accelerated efficient numerical methods for sparse quadratic optimization problems and its generalizations
研究了具有l1-范数的原始梯度法和条件梯度法(两种方法都是非加速的)。我们表明,这些方法可以优于众所周知的加速方法的某些类稀疏二次问题。此外,我们还讨论了一些推广。
2016-07-11 math.OC
Accelerated Inexact First-Order Methods for Solving Nonconvex Composite Optimization Problems
本论文的重点是发展和分析加速和不精确的一阶方法来解决或找到各种非凸复合优化(NCO)问题的稳定点。主要工具来自于变分和凸分析,主要结果是迭代复杂性界的形式,以及这些界与文献中其他界的比较。
2021-12-26 math.OC
Accelerating Perturbed Stochastic Iterates in Asynchronous Lock-Free Optimization
The Chinese University of Hong Kong(香港中文大学)
我们表明,随机加速可以在扰动的随机加速框架下实现(Mania等人,2017)在异步无锁优化,这导致有限和目标的最佳增量梯度复杂度。我们证明了我们的新的加速方法需要相同的线性加速条件,现有的非加速方法。我们的核心算法发现是一种新的具有稀疏更新的加速SVRG变体。实证结果验证了我们的理论研究结果。
2021-09-30 cs.LG math.OC stat.ML
Accelerated Primal-Dual Mirror Dynamics for Centrailized and Distributed Constrained Convex Optimization Problems
本文研究了两种原-对偶镜像动力学加速算法,分别用于求解具有仿射约束和闭凸集约束的光滑和非光滑凸优化问题。在光滑情形下,提出了一种基于加速镜下降和原-对偶框架的加速原-对偶镜动力学方法(APDMD),并利用李雅普诺夫分析方法推导了原-对偶间隙、可行性测度和目标函数值随APDMD轨迹的加速收敛性质.然后,我们将APDMD扩展为两种分布式动力学方法,分别处理两类分布式光滑最优化问题,即,分布式约束一致性问题(DCCP)和分布式扩展单调优化(DEMO)与加速收敛保证。此外,在非光滑情形下,我们提出了一种光滑加速原对偶镜像动力学方法(SAPDMD),该方法利用光滑近似技术和上述APDMD。通过选取适当的光滑逼近参数,证明了SAPDMD的原-对偶间隙、目标函数值和可行性测度具有与APDMD相同的加速收敛性质.之后,我们提出了两个平滑加速分布式动力学方法来处理非光滑DEMO和DCCP,以获得加速和有效解。最后,数值实验证明了所提出的加速镜动力学方法的有效性。
2022-09-14 math.OC
Accelerated Forward-Backward Optimization using Deep Learning
我们提出了几种具有收敛保证的深度学习加速优化求解器。我们使用的想法,从分析加速的向前向后的计划,如FISTA,但不是经典的方法证明收敛的参数的选择,如步长,我们显示收敛时,在一个特定的集合中选择的更新。我们不是使用某种预定义的方法在这个集合中挑选一个点,而是训练一个深度神经网络来挑选最佳更新。最后,我们表明,该方法适用于几种情况下的光滑和非光滑优化,并显示优越的结果,建立加速求解器。
2021-05-11 math.OC
Integration Methods and Accelerated Optimization Algorithms
我们表明,加速最优化方法可以看作是特殊情况下的多步积分计划从数值分析,适用于梯度流方程。在这方面的最新进展相比,这里考虑的微分方程是基本的梯度流,我们表明,多步计划允许集成这个微分方程使用较大的步长,从而直观地解释加速结果。
2017-02-22 math.OC
Accelerated meta-algorithm for convex optimization
我们提出了一个加速的元算法,它允许获得加速方法的凸无约束极小化在不同的设置。作为一般计划的应用,我们提出了几乎最优的方法,最小化光滑函数与Lipschitz导数的任意阶,以及光滑极小极大最优化问题。所提出的元算法比文献中的元算法更通用,并且允许在多种设置中获得更好的收敛速度和实际性能。
2020-11-04 math.OC
Variational Image Motion Estimation by Accelerated Dual Optimization
光流估计是计算机视觉中最有趣的问题之一,它估计两幅连续图像之间像素位移的基本信息。针对全变分正则化光流估计这一具有挑战性的非光滑最优化问题,提出了一种高效的对偶优化框架。在理论上,提出的对偶优化框架带来了一个优雅的变分分析给定的困难最优化问题,同时提出了一个有效的算法方案,而不直接处理相应的非光滑数值。通过引入有效的预处理器与多尺度实现,所提出的加速双重优化方法实现了竞争力的图像运动估计结果,与国家的最先进的方法相比。此外,我们表明,所提出的预条件可以保证实现的数值方案的收敛性与高效率。
2021-10-02 math.OC
Accelerated Prox-Level Methods for Unknown Piecewise-Smooth Optimization II: Function-constrained Optimization
Purdue University(普渡大学)
本文提出重启式惩罚APEX算法,用于求解未知分段光滑的凸函数约束优化问题,该算法可在无需知晓增长模或精确惩罚系数的情况下达到最优预言复杂度,还能生成界定最优性间隙与约束违反量的新可验证证书。
2026-09-04 math.OC
Dynamical Primal-Dual Accelerated Method with Applications to Network Optimization
针对一类带仿射等式约束的凸优化问题,提出了一种带阻尼系数的连续时间原-对偶加速算法。本文分析了该方法中参数的临界值,并证明了通过选择合适的参数,以对偶间隙函数表示的收敛速率为$O(\tfrac{1}{t^2})$。据我们所知,这是第一个连续时间的原始-对偶加速方法,可以获得最优的速度。然后将该方法应用于两个网络最优化问题,一个带一致性约束的分布式最优化问题和一个分布式扩展单变量最优化问题,得到了两种不同的分布式算法。最后,通过数值模拟验证了该方法的有效性.
2022-02-15 math.OC
A feasible smoothing accelerated projected gradient method for nonsmooth convex optimization
针对非光滑凸优化,提出一种保证变量可行性的光滑加速投影梯度方法,通过Lyapunov函数证明$O(k^{-1}\log k)$收敛率,并在桁架鲁棒柔顺度优化中验证。
2023-12-12 math.OC
Accelerated primal-dual methods for linearly constrained convex optimization problems
提出了一个求解仿射约束凸优化的加速原-对偶动力系统,并给出了一类具有非遍历收敛速度的原-对偶方法。在连续层,建立了一个新的指数衰减的李雅普诺夫函数,在离散层,依次考虑了连续模型的隐式、半隐式和显式数值离散,从而得到了求解线性约束最优化问题的新的加速原-对偶方法.这些方案中的子问题的特殊结构被用来开发有效的内部求解器。此外,通过一个定制的离散李雅普诺夫函数,证明了非遍历收敛速度的原始-对偶间隙,原始目标残差和可行性违反。此外,我们的方法也被应用到分散的分布式优化快速和有效解。
2022-04-09 math.OC
Accelerated Infeasibility Detection of Constrained Optimization and Fixed-Point Iterations
随着一阶最优化方法成为解决大规模最优化问题的首选方法,正在构建基于一阶算法的优化求解器。这样的通用求解器必须鲁棒地检测不可行的或错误指定的问题实例,但这样做的一阶方法的计算复杂性还没有被正式研究。在这项工作中,我们的特点是最佳加速率的不可行性检测。我们表明,标准的不动点迭代达到$\mathcal{O}(1/k^2)$和$\mathcal{O}(1/k)$率,分别在归一化迭代和不动点残差收敛到无穷大位移向量,而加速的不动点迭代达到$\mathcal{O}(1/k^2)$和$\tilde{\mathcal{O}}(1/k^2)$率。然后,我们提供了一个匹配的复杂度下界,以建立$Θ(1/k^2)$确实是最佳的加速率。
2023-03-28 math.OC
GPU-accelerated dynamic nonlinear optimization with ExaModels and MadNLP
本研究利用ExaModels自动微分工具与MadNLP内点求解器,结合基于NVIDIA cuDSS的混合线性求解器实现GPU加速动态非线性优化,在经典精馏柱最大算例上将单迭代时间缩短24倍。
2024-09-12 math.OC
Accelerated differential inclusion for convex optimization
本文提出了一个求解无约束凸优化的二阶微分包含。在连续水平下,得到了解的存在性,并得到了一个新的李雅普诺夫函数随解的轨迹指数衰减。然后在离散层,基于连续模型的数值离散化,提出了两种非精确邻近点法,并通过离散的李雅普诺夫函数建立了新的收敛速度。
2022-02-28 math.OC
Accelerated Convex Optimization with Stochastic Gradients: Generalizing the Strong-Growth Condition
本文给出了随机梯度不减慢Nesterov加速梯度法收敛速度的一个充分条件。新的条件具有Schmidt \& Roux的强增长条件作为特例,并且它还允许我们(i)对具有约束的问题进行建模,以及(ii)设计新类型的预言机(例如,有限和问题的预言,如SAGA)。我们的结果是通过重新访问Nesterov的加速算法,并在不改变基本的一阶方法的情况下,设计随机预言机是有用的。
2022-07-24 math.OC
Adaptive Accelerated Gradient Descent Methods for Convex Optimization
University of California, Irvine(加州大学尔湾分校)
本文提出A$^2$GD方法,通过自适应步长和动量加速,在凸优化中实现更高效的梯度下降算法。
2026-02-08 math.OC
Accelerated Gradient Methods for Geodesically Convex Optimization: Tractable Algorithms and Convergence Analysis
本文扩展Nesterov加速梯度方法,提出首个用于黎曼测地凸优化的完全加速一阶算法,在标准假设下达到与欧氏空间相同的迭代复杂度,并利用度量扭曲引理和势函数完成收敛性分析。
2025-08-09 math.OC
On Accelerated Methods in Optimization
在凸优化中,存在{ \em加速}现象,其中我们可以提高某些基于梯度的算法的收敛速度。我们可以在Nesterov的加速梯度下降法、加速镜像下降法和加速正则化牛顿法等方法中观察到这种现象。在本文中,我们表明,家庭的高阶梯度法在离散时间(广义梯度下降)对应于家庭的一阶重标度梯度流在连续时间。另一方面,{ \em加速}高阶梯度法(广义加速镜像下降法)族对应于连续时间中的二阶微分方程族,每个微分方程族都是拉格朗日泛函族的欧拉-拉格朗日方程。我们还研究了Nesterov拉格朗日量的指数变量,它对应于Nesterov的重新启动计划的推广,并实现了离散时间的线性收敛速率。最后,我们证明了拉格朗日族在时间膨胀(加速时间作用下的轨道)下是封闭的,这表明了拉格朗日加速观在优化中的普遍性。
2015-09-11 math.OC
A universal accelerated primal-dual method for convex optimization problems
提出了一种求解仿射约束凸优化问题的加速一阶原-对偶方法。它可以处理Lipschitz和Hölder梯度,但不需要知道目标函数的平滑度。在线搜索部分,它使用动态递减的参数,并产生近似的Lipschitz常数与适度的大小。此外,基于适当的离散李雅普诺夫函数和一些微分/差分不等式的紧衰减估计,建立了一个通用的最优混合型收敛速度.一些数值试验证实了所提出的方法的有效性。
2022-11-08 math.OC
Boosting Accelerated Proximal Gradient Method with Adaptive Sampling for Stochastic Composite Optimization
本文提出带自适应采样的 adaNAPG 算法以增强随机复合优化中的 NAPG,并证明其达到最优迭代与样本复杂度,且迭代序列满足中心极限定理。
2025-07-24 math.OC
Accelerated Prox-Level Methods for Unknown Piecewise-Smooth Optimization I: Convex Optimization
School of Industrial Engineering, Purdue University(普渡大学工业工程学院)
针对未知分段光滑凸函数在二次增长条件下的优化问题,提出加速近端水平方法APEX,实现最优一阶复杂度并提供可验证终止证书。
2026-06-02 math.OC
Accelerated Particle Swarm Optimization and Support Vector Machine for Business Optimization and Applications
业务优化变得越来越重要,因为所有的业务活动都旨在在有限的资源和适当的约束条件下最大限度地提高产品和服务的利润和性能。支持向量机和元分析的最新发展显示了这些技术的许多优点。特别地,粒子群优化现在被广泛用于解决棘手的最优化问题。在本文中,我们使用最近开发的加速粒子群算法和非线性支持向量机的组合,形成一个框架,解决业务最优化问题。我们首先将所提出的APSO-SVM应用于生产优化,然后将其用于收入预测和项目调度。我们还进行了一些参数研究,并讨论了建议的元启发式SVM的优点。
2012-03-29 math.OC
An Accelerated Asynchronous Distributed Method for Convex Constrained Optimization Problems
考虑了一类带有局部非线性凸约束的多智能体协作共识最优化问题,其中只有通过边连接的智能体可以直接通信,因此最优共识决策位于这些私有集的交集中.我们开发了一个异步分布式加速原始对偶法来解决所考虑的问题。该计划是第一个异步方法,这类问题的最佳收敛保证,据我们所知。特别是,我们提供了一个最佳的收敛速度的$\mathcal{O(1/K)}$次优,不可行性,共识违反。
2023-02-21 math.OC
Accelerated Backward Forward Method for Convex Optimization
Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence, University of Groningen(格罗宁根大学伯努利数学、计算机科学与人工智能研究所)
本文提出一种加速反向前向方法用于求解凸组合优化问题,通过调整近端算子位置,证明了在凸和强凸情况下函数值的快速收敛性和线性收敛性。
2026-04-29 math.OC