Accelerated Gradient Descent by Concatenation of Stepsize Schedules
School of Data Science, Fudan University（复旦大学数据科学学院）；School of Data Science, Shanghai Key Laboratory for Contemporary Applied Mathematics, Fudan University（复旦大学数据科学学院，上海市当代应用数学重点实验室）
本文提出了一种通过拼接步长调度来加速梯度下降的方法，实现了更高效的收敛率和更优的常数性能。
2026-02-14 math.OC
Non-stationary Douglas-Rachford and alternating direction method of multipliers: adaptive stepsizes and convergence
TU Braunschweig（布伦瑞克工业大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文重新审视经典Douglas-Rachford方法用于求解两个最大单调算子之和的零点问题，提出了一种自适应步长规则，通过分析线性情况并开发出无需调整步长的策略，证明了非平稳DR方案在可和增量步长序列下的收敛性，并由此推导出相关的非平稳交替方向乘数法（ADMM），并通过数值实验验证了所提方法的效率。
2018-09-27 cs.NA math.NA math.OC
Halpern-Accelerated Majorized ADMM with Optimal Non-Ergodic Convergence under Degenerate Preconditioning
Dongguan University of Technology（东莞理工学院）；Peking University（北京大学）；Northeastern University（东北大学）
本文提出一种Halpern加速的majorized ADMM，允许不定近端项，在退化预条件下实现最优非遍历收敛，并通过数值实验验证其残差衰减与优势。
2026-10-01 cs.NA math.NA math.OC
ADMM for Nonconvex Optimization under Minimal Continuity Assumption
本文提出IPDS-ADMM算法，在仅要求目标函数单块连续的宽松条件下求解多块非凸复合优化问题，通过递增惩罚与递减平滑策略，实现了O(ε^{-3})的预言机复杂度，并在稀疏PCA实验中验证了有效性。
2025-03-31 math.OC
GMRES-Accelerated ADMM for Quadratic Objectives
Massachusetts Institute of Technology（麻省理工学院）
本文研究了在强凸二次目标的等式约束问题中，利用GMRES加速ADMM方法以提高收敛速度，证明该方法在迭代次数上具有更优的性能。
2018-08-28 cs.NA math.NA math.OC
ADMM and Accelerated ADMM as Continuous Dynamical Systems
最近，人们对使用动力系统的工具来分析简单优化算法（如梯度下降和加速变量）的行为越来越感兴趣。本文加强了这种联系，推导出的微分方程模型的连续极限产生的迭代序列的交替方向法的乘数，以及加速的变化。我们采用李雅普诺夫直接法分析了动力系统临界点的稳定性，并得到了相应的收敛速度。
2018-08-01 math.DS math.OC
Convergence Analysis of A Proximal Linearized ADMM Algorithm for Nonconvex Nonsmooth Optimization
本文考虑一种近似线性化交替方向乘子法（PL-ADMM）来求解线性约束非凸和可能的非光滑最优化问题。通过在原始更新中使用变尺度邻近项和在乘子更新中使用超松弛步长，将该算法推广。证明了该方法生成的序列是有界的，其极限点是临界点。在强大的Kurdyka-{Eschojasiewicz}性质下，我们证明了序列具有有限长度从而收敛，并且我们驱动了它的收敛速度。
2021-07-03 math.OC
An Inexact Accelerated Stochastic ADMM for Separable Convex Optimization
提出了一种求解带线性约束的结构可分凸优化问题的非精确加速随机交替方向法（AS-ADMM）格式。目标函数是一个可能非光滑的凸函数和一个光滑函数的和，光滑函数是许多分量凸函数的平均。具有这种结构的问题经常出现在机器学习和数据挖掘应用中。AS-ADMM结合了ADMM和使用方差缩减技术的随机梯度法的思想。其中一个ADMM子问题采用线性化技术，而类似的线性化可以引入其他子问题。对于一个指定的选择的算法参数，它示出的目标误差和约束违反是$\mathcal{O}(1/k)$相对于外部迭代$k$的数量。在强凸性假设下，期望误差线性收敛到零。还讨论了AS-ADMM的线性化变体和增量采样策略。随机和确定性ADMM算法的数值实验表明，AS-ADMM可以特别有效的大数据应用中出现的结构化优化。
2020-10-24 math.OC
Adaptive SGD with Line-Search and Polyak Stepsizes: Nonconvex Convergence and Accelerated Rates
本文提出了一种适用于非凸优化的自适应SGD方法，通过线搜索和Polyak步长实现了O(1/√T)和O(1/T)的收敛速率。
2025-12-01 math.OC stat.ML
Restarted Accelerated Primal-Dual Algorithms with Adaptive Stepsizes for Nonlinear Conic Constrained Convex Optimization
Penn State University（宾夕法尼亚州立大学）；University of Chicago（芝加哥大学）
针对非线性锥约束凸优化问题（含二次约束二次规划），提出带回溯的自适应步长重启加速原始-对偶算法，利用一阶信息和矩阵-向量乘积，在KKT映射度量次正则性下证明全局线性收敛，数值实验显示非单调自适应步长和GPU加速效果显著。
2026-09-30 math.OC
Accelerated ADMM: Automated Parameter Tuning and Improved Linear Convergence
Università di Bologna（博洛尼亚大学）；University of Stuttgart（斯图加特大学）
本文提出了一种改进的加速ADMM算法，通过自动参数调节和积分二次约束方法，提升了强凸问题的线性收敛速率，并在LASSO回归中得到验证。
2026-07-31 cs.SY eess.SY math.OC
An accelerated semi-proximal ADMM with applications to multi-block sparse optimization problems
本文提出一种加速的半近端ADMM（AsPADMM），通过外推和递增惩罚参数实现O(1/K)非遍历收敛，并应用于多块稀疏优化，显著提升收敛速度。
2025-05-27 math.OC
A Distributed Accelerated Preconditioned ADMM for Solving Quadratically Regularized Optimal Transport on Bipartite Graphs
Sun Yat-sen University（中山大学）
针对二部图上二次正则化最优传输问题，提出分布式加速预条件ADMM（DAP-ADMM），实现全局收敛与非遍历O(1/k)界，并通过无求解器投影和自适应惩罚机制加速收敛。
2026-10-08 cs.DC math.OC
Distributed Synthesis Using Accelerated ADMM
针对受外界干扰的大规模连续时间系统，提出了一种凸分布优化算法来综合鲁棒控制器。给定一个大规模的系统，而不是解决较大的集中式综合任务，我们分解成一组较小的综合问题的局部子系统与给定的互连拓扑结构。因此，合成问题被约束到由互连拓扑结构决定的稀疏模式。为此，对于每个子系统，我们解决了一个局部耗散不等式，然后检查整个系统的小增益条件。为了最小化干扰的影响，我们考虑了$\mathrm{H}_\infty$综合问题。我们使用加速交替方向法乘法器（ADMM）的分布式综合方法的实例与收敛速度$O(\frac{1}{k^2})$与$k$是迭代次数。
2018-02-28 math.OC
Douglas-Rachford splitting and ADMM for nonconvex optimization: Accelerated and Newton-type linesearch algorithms
针对非凸优化中DRS和ADMM受病态条件与问题规模限制的问题，提出两种结合拟牛顿方向的线搜索算法，保留原收敛性且提升收敛速度与鲁棒性，采用Broyden方向可实现超线性收敛。
2021-11-03 math.OC
Douglas-Rachford splitting and ADMM for nonconvex optimization: tight convergence results
虽然最初设计和分析的凸问题，交替方向法的乘法器（ADMM）和它的近亲，道格拉斯-拉赫福德分裂（DRS）和道格拉斯曼-拉赫福德分裂（PRS），已被观察到表现非常好，当应用于某些类别的结构化非凸最优化问题。然而，部分整体收敛的结果，在非凸设置最近才出现。在本文中，我们展示了如何道格拉斯-Rachford包络（DRE），在2014年推出，可以用来统一和大大简化的理论，设计ADMM，DRS和PRS的整体收敛保证适用于非凸问题的限制条件较少，较大的步长和过松弛因子比以前已知的。事实上，当超松弛因子在$(0,2]$范围内时，我们的界是紧的. ADMM的分析使用了一个通用的原始等价与DRS，概括了已知的对偶算法。
2018-11-09 math.OC
Accelerated Objective Gap and Gradient Norm Convergence for Gradient Descent via Long Steps
本研究针对L-光滑凸优化问题，提出两种略异于silver步长的长步长梯度下降策略，分别实现目标间隙与平方梯度范数的$O(N^{-1.2716\dots})$收敛，改进了现有结果。
2024-04-12 math.OC
A New Lineserach for Accelerated Composite Minimization
Delft University of Technology（代尔夫特理工大学）；University of Toronto（多伦多大学）；Rotterdam School of Management, Erasmus University（伊拉斯姆斯大学鹿特丹管理学院）
本文提出了一种基于函数评估的新线搜索步长规则，用于加速和非加速梯度下降，适用于复合最小化和非凸最小化问题。
2026-09-04 math.OC
Stepsize Hedging: an Alternative Mechanism for Accelerating Gradient Descent
UPenn（宾夕法尼亚大学）；LIDS - MIT（麻省理工学院电气工程和计算机科学实验室）
本文通过步长对冲机制，证明仅通过选择更好的步长即可加速梯度下降，并介绍了其原理。
2026-06-02 cs.DS math.OC
LEAF: A Learning-Enabled ADMM Framework for Accelerated Convex Optimization
University of Central Florida（中佛罗里达大学）
提出LEAF框架，通过输入凸神经网络学习Moreau包络来加速凸优化，降低模型复杂度并保持收敛性，实验显示比最先进求解器快一个数量级。
2026-06-08 cs.LG cs.SY eess.SY
An Accelerated Stochastic ADMM for Nonconvex and Nonsmooth Finite-Sum Optimization
本文提出加速随机ADMM算法ASVRG-ADMM，针对非凸非光滑有限和优化问题，建立了次线性收敛速率，并在KL性质下证明其线性收敛，实验验证其优于现有方法。
2023-07-03 math.OC
A Nonsmooth Dynamical Systems Perspective on Accelerated Extensions of ADMM
最近，人们对连续时间动力系统和最优化方法之间的联系产生了极大的兴趣，特别是在光滑和无约束问题的加速方法方面。在本文中，我们将这一观点扩展到非光滑和约束问题，通过获得微分包含与新的加速变体的交替方向法的乘法器（ADMM）。通过李雅普诺夫分析，我们得出这些动力系统在不同的设置，说明了一个有趣的衰减与常数阻尼策略之间的权衡收敛速度。我们还得到修改后的方程捕捉细粒度的细节，这些方法，提高了稳定性和保持领先的顺序收敛速度。将一般的非线性等式和不等式约束与奇异扰动理论相结合，推广到一般的非线性等式和不等式约束。
2023-01-17 math.OC stat.ML
Accelerated Nonconvex ADMM with Self-Adaptive Penalty for Rank-Constrained Model Identification
本文针对秩约束模型辨识问题，提出一种基于增广拉格朗日函数一阶分析的自适应惩罚更新策略，并结合Anderson加速方案，有效加速了非凸ADMM的收敛并降低了对惩罚参数调节的依赖。
2023-09-08 cs.SY eess.SY math.OC
Accelerating Proximal Gradient Descent via Silver Stepsizes
本文证明 silver 步长调度可加速投影和近端梯度下降，在约束和复合凸优化中达到渐近最优速率，匹配普通梯度下降的 silver 收敛率，关键技术是递归粘合与拉普拉斯结构平方和证书的结合。
2025-06-23 cs.DS math.OC
A Unified Inexact Stochastic ADMM for Composite Nonconvex and Nonsmooth Optimization
提出统一的不精确随机ADMM框架以求解复合非凸非光滑优化，涵盖多种现有算法并设计新的加速混合随机ADMM，证明其次线性与线性收敛，实验验证了有效性。
2024-03-04 math.OC
A Safeguarded Accelerated Proximal ADMM Algorithm for Solving Structured Cardinality Penalized Optimization Problems
School of Mathematics, Harbin Institute of Technology（哈尔滨工业大学数学学院）
本文针对结构化基数惩罚优化问题，提出带保障加速近端ADMM算法，证明其收敛性并建立收敛速率，经信号与图像去噪实验验证了有效性。
2026-10-14 math.OC
Learning-Accelerated ADMM for Distributed Optimal Power Flow
National Renewable Energy Laboratory（国家可再生能源实验室）；University of Colorado at Boulder（科罗拉多大学博尔德分校）
提出了一种新的数据驱动的方法，以加快收敛的交替方向法的乘数（ADMM）求解分布式直流最优潮流（DC-OPF）的线路之间的独立的网络分区共享。该方法利用给定系统在不同负载下ADMM轨迹的先前观测值，训练递归神经网络（RNN）来预测对偶变量和共识变量的收敛值。给出了一种新的系统负载实现，少量的初始ADMM迭代作为输入，以推断收敛值，并直接注入到迭代。我们的经验表明，这些值到ADMM迭代的在线注入加速收敛的分区14，118和2848总线测试系统在不同的负载情况下的一个重要因素。所提出的方法有几个优点：它保持了共识ADMM中固有的私有决策变量的安全性;推理速度快，因此可以用于在线设置; RNN生成的预测可以显着提高收敛时间，但通过构造，永远不会导致不可行的ADMM子问题;它可以很容易地集成到现有的软件实现中。虽然我们专注于ADMM制定分布式DC-OPF在本文中，所提出的想法自然扩展到其他分布式最优化问题。
2020-09-15 cs.LG cs.SY eess.SY
On the Duality Gap Convergence of ADMM Methods
本文提供了一个对偶间隙收敛分析的标准ADMM以及线性化版本的ADMM。结果表明，在适当的条件下，这两种方法实现线性收敛。然而，标准ADMM实现了比线性化ADMM更快的加速收敛速度。一个简单的数值例子来说明收敛行为的差异。
2015-09-08 math.OC
An Accelerated Linearized Alternating Direction Method of Multipliers
提出了一种新的加速线性化乘子交替方向法（ADMM）的框架。该方法的基本思想是在线性化ADMM中加入多步加速方案。我们证明了，对于求解一类带线性约束的凸复合优化问题，AADMM的收敛速率优于线性化ADMM，因为它们依赖于光滑分量的Lipschitz常数。此外，AADMM能够处理的情况下，可行域是无界的，只要相应的鞍点问题有一个解决方案。并提出了一种实用的回溯算法。
2014-02-11 math.OC
Acceleration by Stepsize Hedging I: Multi-Step Descent and the Silver Stepsize Schedule
本文证明仅通过精心设计的 Silver 步长调度即可加速梯度下降，无需改变算法，实现介于未加速与 Nesterov 加速之间的最优收敛速率，并推测该速率在步长调度中达到最优。
2023-09-14 cs.DS math.OC
Adaptive Riemannian ADMM for Nonsmooth Optimization: Optimal Complexity without Smoothing
针对紧致黎曼子流形上的光滑与非光滑凸复合优化问题，提出无需平滑非光滑项的自适应 ARADMM，每次迭代仅需一次梯度求值和一次近端更新，并达到 O(ε^-3) 的最优 KKT 复杂度。
2025-10-21 math.OC
Acceleration by Stepsize Hedging II: Silver Stepsize Schedule for Smooth Convex Optimization
本文证明白银步长调度可直接用于光滑凸优化，使梯度下降以 $O(ε^{-0.7864})$ 次迭代达到 $ε$-极小点，复杂度介于非加速与 Nesterov 加速之间。
2023-09-28 math.OC
Understanding the convergence of the preconditioned PDHG method: a view of indefinite proximal ADMM
原对偶混合梯度算法是求解极小极大问题的一种常用算法，在许多领域都有着广泛的应用。为了提高PDHG算法在不同应用场景下的适用性和效率，重点研究了预处理PDHG（PrePDHG）算法，该算法是一个涵盖PDHG、乘子交替方向法（ADMM）等方法的框架。在关键参数不能进一步改进的情况下，给出了PrePDHG的最优收敛条件，填补了PrePDHG收敛性理论的空白，并得到了PrePDHG的遍历和非遍历次线性收敛速度.通过建立PrePDHG和不定近端ADMM之间的等价性，实现了理论分析。此外，我们还讨论了PrePDHG中邻近矩阵的各种选择，并得到了一些有趣的结果。例如，将对角PrePDHG的收敛条件改进为紧收敛，将平衡增广拉格朗日方法的对偶步长由$1$扩大为$4/3$，并探索了一种对称Gauss-Seidel迭代的平衡增广拉格朗日方法.通过对矩阵对策、Birkhoff多面体投影、推土机距离和CT重建的数值计算，验证了PrePDHG的有效性和优越性。
2023-01-08 math.OC
Accelerated linearized alternating direction method of multipliers with Nesterov extrapolation
针对两块线性约束复合凸优化问题，本文利用 Nesterov 外推提出两类加速线性化 ADMM，在强凸与 Lipschitz 梯度条件下取得 O(1/k^2) 非遍历收敛率。
2024-05-10 math.OC
On the Linear Convergence of the Alternating Direction Method of Multipliers
本文分析了乘子交替方向法求解两个或多个具有线性约束的非光滑凸可分函数之和的收敛速度。ADMM的先前分析通常假设目标函数是仅定义在两个可分离变量块上的两个凸函数的和，即使该算法在三个或更多块的数值实验中工作良好。此外，没有目标函数中没有强凸性的ADMM的收敛速率分析。本文证明了极小化任意多个凸可分函数之和的ADMM的全局线性收敛。这一结果解决了块数大于2或不存在强凸性时ADMM收敛性的一个关键问题。它也意味着线性收敛的ADMM的几个当代应用，包括LASSO，集团LASSO和稀疏集团LASSO没有任何强的凸性假设。我们的证明是基于估计的距离从一个双可行解的最佳的双解决方案集的范数的某个最近的残差，并要求双步长足够小。
2013-03-26 math.OC math.ST stat.TH
GPU-Accelerated Sequential Quadratic Programming Algorithm for Solving ACOPF
本研究开发了一种基于GPU并行计算的SQP算法，通过ADMM分解ACOPF的二次规划子问题，在较大规模算例中显著缩短了求解时间。
2023-10-19 math.OC
Accelerating preconditioned ADMM via degenerate proximal point mappings
该研究将近邻项为凸二次的pADMM重构为退化PPM，并融合Halpern与快速Krasnosel'skiĭ-Mann迭代进行加速，获得更优非遍历收敛速率和数值表现。
2024-12-07 math.OC
Accelerated nonlinear primal-dual hybrid gradient methods with applications to supervised machine learning
Brown University（布朗大学）
线性原-对偶混合梯度法（PDHG）是一种将具有鞍点结构的凸优化问题分解为更小的子问题的一阶方法。与大多数分裂方法不同，这些子问题通常可以有效地解决，因为它们涉及简单的操作，如矩阵向量乘法或邻近映射，这些操作可以快速进行数值计算。这一优点的代价是，线性PDHG方法需要精确的步长参数的问题在手边，以实现最佳的收敛速度。不幸的是，这些步长参数对于计算大规模最优化问题（例如机器学习中的那些）来说通常是非常昂贵的。这个问题使得简单的线性PDHG方法不适合于此类问题，并且它也被大多数一阶最优化方法所共享。为了解决这个问题，我们介绍了加速非线性PDHG方法，实现了最佳的收敛速度与步长参数，是简单而有效的计算。我们证明了严格的收敛结果，包括结果的强凸或光滑的问题上的无限维自反巴拿赫空间。我们说明了我们的方法的效率上$\ell_{1}$约束逻辑斯谛回归和熵正则化矩阵对策。我们的数值实验表明，非线性PDHG方法是相当快的竞争方法。
2022-04-03 cs.LG math.OC math.ST
Resource-Aware Discretization of Accelerated Optimization Flows
本文处理的问题，离散化加速优化流，同时保持其收敛性能。受到资源感知控制在数字系统上开发高效闭环反馈实现的成功的启发，我们将系统的最后采样状态视为要感知的资源。由此产生的可变步长离散时间算法保留设计所需的减少其连续时间的李雅普诺夫证书。我们的算法设计采用了各种概念和技术，从资源感知控制，在目前的情况下，有有趣的并行与离散时间实现的优化算法。这些措施包括衍生物和性能为基础的触发器，以监测的演变的李雅普诺夫函数作为一种方式来确定算法的步长，利用采样信息，以提高算法的性能，并采用高阶保持使用更准确的积分器的原始动态。在整个文件中，我们说明了我们的方法上一个新引入的连续时间动态称为重球动态位移梯度，但这里提出的想法具有广泛的适用性，其他全球渐近稳定流赋予了李雅普诺夫证明。
2020-09-19 math.OC
On the (linear) convergence of Generalized Newton Inexact ADMM
本文提出GeNI-ADMM统一框架，分析非精确ADMM的收敛性，给出标准与强凸下的速率，并解决随机化加速变体的收敛开放问题。
2025-06-18 math.OC
Distributed Proximal Splitting Algorithms with Rates and Acceleration
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
我们分析了几个通用的邻近分裂算法，以及适合于大规模的凸非光滑最优化。我们推导出次线性和线性收敛的结果与新的利率的函数值次优或距离的解决方案，以及新的加速版本，使用不同的步长。此外，我们还提出了这些算法的分布式变体，这些算法也可以加速。虽然大多数现有的结果是遍历的，我们的nonergodic结果显着拓宽了我们的理解原始对偶优化算法。
2022-01-27 cs.LG cs.NA math.NA
Simple Stepsize for Quasi-Newton Methods with Global Convergence Guarantees
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（Mohamed bin Zayed大学人工智能学院）；Moscow Institute of Physics and Technology (MIPT)（莫斯科物理技术研究所）；Innopolis University（Innopolis大学）；Skoltech
本文提出一种简单步长调度，使拟牛顿方法在凸函数上获得 ${O}(1/k)$ 全局收敛速度，并在Hessian近似精度受控时达到 ${O}(1/k^2)$ 加速收敛，同时开发了保持全局收敛保证的自适应变体。
2025-08-27 cs.LG math.OC
Universality of AdaGrad Stepsizes for Stochastic Optimization: Inexact Oracle, Acceleration and Variance Reduction
本文针对仅能通过可能有偏的随机梯度预言机访问的近似光滑凸复合优化问题，提出基于AdaGrad步长的基础与加速自适应梯度方法，并统一证明了其在方差有界、隐式方差缩减及显式SVRG型方差缩减三种情形下均达到最优复杂度。
2024-06-10 math.OC
Accelerated Gradient Methods for Nonconvex Nonlinear and Stochastic Programming
在本文中，我们推广了著名的Nesterov的加速梯度（AG）方法，原来设计的凸光滑优化，解决非凸和可能的随机最优化问题。我们证明，通过适当地指定的步长政策，AG方法表现出最好的已知收敛速率解决一般非凸光滑最优化问题，通过使用一阶信息，类似于梯度下降法。然后，我们考虑一类重要的复合最优化问题，并表明AG方法可以解决他们一致，即，通过使用与凸情形中相同的积极步长策略，即使问题变成非凸的。我们证明了AG方法具有最佳的收敛速率，如果复合问题是凸的，并提高了最好的已知的收敛速率，如果问题是非凸的。在AG方法的基础上，我们还提出了新的非凸随机逼近方法，并证明了它们可以提高非凸随机最优化的一些现有的收敛速度。据我们所知，这是第一次的收敛性的AG方法已建立解决非凸非线性规划在文献中。
2013-10-14 math.OC
SuperADMM: Solving Quadratic Programs Faster with Dynamic Weighting ADMM
本研究提出加速ADMM算法superADMM，通过单约束动态加权迭代更新求解二次规划，配套稳定性分析与参数调优方法，C语言实现支持多语言调用，性能优于现有主流求解器。
2025-06-13 math.OC
Fast convergence of dynamical ADMM via time scaling of damped inertial dynamics
在本文中，我们提出了一个二阶时间连续动态系统的快速收敛保证，以解决仿射约束的结构凸极小化问题的希尔伯特设置。该系统是与增广拉格朗日制定的最小化问题。相应的动力学发挥作用的三个一般的时变参数，每个特定的属性，并分别与粘性阻尼，外推和时间缩放。通过适当地调整这些参数，我们开发了一个李雅普诺夫分析，它提供了快速收敛性能的值和可行性差距。这些结果自然会为开发相应的加速ADMM算法铺平道路，通过时间离散化获得。
2021-03-23 math.OC
ADMM-based Distributed State Estimation for Power Systems: Evaluation of Performance
近年来，电力系统状态估计的分布式算法受到了广泛的关注。除了诸如分解、原始问题的并行化和没有中央计算单元的优点之外，分布式状态估计还可以用于局部信息隐私原因，因为要传输的唯一信息是相邻区域的边界状态。在本文中，我们提出了一些新的方法来加快基于ADMM的分布式状态估计算法，利用最优化理论的一些最新成果。我们还深入分析了理论和实际性能，得出结论，加速方法优于现有的。通过一个可扩展的例子上的实验验证了理论上的考虑。
2020-07-06 math.OC
A lower bound for stepsize-based acceleration of gradient descent
Tsinghua University（清华大学）；University of Pennsylvania（宾夕法尼亚大学）；Wharton School（沃顿商学院）
该研究针对光滑凸优化中仅靠步长调度加速的普通梯度下降，证明其最后一次迭代收敛速度的下界为$Ω(T^{-1.9319})$，说明仅步长调整无法让GD达到最优$O(T^{-2})$收敛速度，证明由GPT-5.6 Sol Pro在作者指导下完成。
2026-08-12 cs.LG math.OC stat.ML
An over-relaxed ADMM for separable convex programming and its applications to statistical learning
本文提出一种带松弛步准则的过松弛ADMM，证明了其全局收敛性和O(1/t)收敛率，并在Lasso和稀疏逆协方差选择问题上验证了其显著优于经典和松弛定制ADMM的性能。
2024-01-09 math.OC
A conditional-gradient-based single-loop augmented Lagrangian method for inequality constrained optimization
School of Mathematical Sciences, South China Normal University（华南师范大学数学科学学院）；Department of Applied Mathematics, The Hong Kong Polytechnic University（香港理工大学应用数学系）；Department of Mathematics and Statistics, James Madison University（詹姆斯麦迪逊大学数学与统计系）
本文提出了一种基于条件梯度的单循环增广拉格朗日方法，用于解决具有多个光滑凸不等式约束的优化问题，通过分析两种标准步长规则下的收敛速度，证明了该方法在该类问题中的最优复杂度，并在特定条件下实现了加速收敛。
2026-05-21 math.OC
Self-adaptive ADMM for semi-strongly convex problems
针对半强凸优化问题，提出可自适应更新惩罚参数的 ADMM，证明 O(1/k^2)、线性及迭代点收敛，并结合部分近似点方法扩展到非半强凸情形。
2023-09-30 math.OC
Open Problem: Anytime Convergence Rate of Gradient Descent
Weizmann Institute of Science（魏茨曼科学研究所）
该开放问题针对光滑凸目标下仅靠调整步长加速的普通梯度下降会长期产生大误差的现象，探讨是否存在可在任意停止时刻加速梯度下降经典$\u212a(1/T)$收敛速率的步长策略。
2024-06-19 cs.LG math.OC
Differentially Private ADMM Algorithms for Machine Learning
Xidian University（西安电子科技大学）
本文针对许多机器学习问题，研究了基于梯度扰动的差分私有交替方向乘子方法（ADMM）。对于具有（非）光滑正则化的光滑凸损失函数，我们提出了第一个具有$(ε,δ)$ -差分隐私（$(ε,δ)$ -DP）性能保证的差分隐私ADMM（DP-ADMM）算法。从理论分析的角度出发，利用高斯机制和Rényi差分隐私（RDP）与DP的转换关系，对算法进行了全面的隐私分析。然后，我们建立了一个新的准则来证明所提出的算法，包括DP-ADMM的收敛性。我们还给出了我们的DP-ADMM的效用分析。此外，我们提出了一个加速DP-ADMM（DP-AccADMM）与Nesterov的加速技术。最后，在真实数据集上进行了数值实验，对比分析了两种算法的隐私-效用权衡，结果表明，当隐私预算$ε$大于阈值时，DP-AccADMM比DP-ADMM收敛更快，且具有更好的效用.
2020-10-31 cs.AI cs.CR cs.DS
Factor-$\sqrt{2}$ Acceleration of Accelerated Gradient Methods
优化梯度法（OGM）提供了一个因素- $\sqrt{2}$加速Nesterov的著名加速梯度法在凸（但非强凸）设置。然而，这种改进的加速机制尚未得到很好的理解; OGM的先前分析依赖于计算机辅助证明方法，因此尽管可以验证和正确，但对人类来说是不透明的。在这项工作中，我们提出了一个新的分析OGM的基础上的李雅普诺夫函数和线性耦合。这些分析是在没有计算机帮助的情况下开发和呈现的，并且是人类可以理解的。此外，我们推广OGM的加速机制，并获得一个因素- $\sqrt{2}$加速比在其他设置：加速与一个简单的合理的步长，强凸设置，和镜像下降设置。
2021-05-24 math.OC
