Policy-based Primal-Dual Methods for Concave CMDP with Variance Reduction
Department of Industrial Engineering and Operations Research, UC Berkeley（加州大学伯克利分校工业工程与运筹学系）；Department of Mechanical Engineering, UC Berkeley（加州大学伯克利分校机械工程系）
针对凹约束马尔可夫决策过程，提出方差缩减的原始-对偶策略梯度算法，利用隐藏凹性实现全局收敛，并证明其收敛速率与样本复杂度，通过悲观项实现零约束违反。
2024-05-26 cs.LG math.OC
Stochastic Variance Reduced Primal Dual Algorithms for Empirical Composition Optimization
University of Florida（佛罗里达大学）；Tencent AI Lab（腾讯人工智能实验室）
我们考虑一个一般的经验组合最优化问题，其中存在存在的非线性损失函数内外的经验平均值。这样的问题在各种机器学习应用中都很有趣，并且不能通过标准方法（如随机梯度下降）直接解决。我们采取了一种新的方法来解决这个问题，通过重新制定原来的最小化目标到一个等效的最小-最大目标，它带来了所有的经验平均值，原来的非线性损失函数内。我们利用重组问题的丰富结构，并开发了一个随机的原始对偶法，SVRPDA-I，有效地解决问题。我们对该算法进行了广泛的理论分析，得到了该算法的收敛速度、计算复杂度和存储复杂度。特别是，该算法收敛于线性速率时，问题是强凸的。此外，我们还开发了一个近似版本的算法，命名为SVRPDA-II，这进一步降低了内存需求。最后，我们评估我们提出的算法在几个现实世界的基准，实验结果表明，所提出的算法显着优于现有的技术。
2019-10-31 cs.LG math.OC
Accelerated nonlinear primal-dual hybrid gradient methods with applications to supervised machine learning
Brown University（布朗大学）
线性原-对偶混合梯度法（PDHG）是一种将具有鞍点结构的凸优化问题分解为更小的子问题的一阶方法。与大多数分裂方法不同，这些子问题通常可以有效地解决，因为它们涉及简单的操作，如矩阵向量乘法或邻近映射，这些操作可以快速进行数值计算。这一优点的代价是，线性PDHG方法需要精确的步长参数的问题在手边，以实现最佳的收敛速度。不幸的是，这些步长参数对于计算大规模最优化问题（例如机器学习中的那些）来说通常是非常昂贵的。这个问题使得简单的线性PDHG方法不适合于此类问题，并且它也被大多数一阶最优化方法所共享。为了解决这个问题，我们介绍了加速非线性PDHG方法，实现了最佳的收敛速度与步长参数，是简单而有效的计算。我们证明了严格的收敛结果，包括结果的强凸或光滑的问题上的无限维自反巴拿赫空间。我们说明了我们的方法的效率上$\ell_{1}$约束逻辑斯谛回归和熵正则化矩阵对策。我们的数值实验表明，非线性PDHG方法是相当快的竞争方法。
2022-04-03 cs.LG math.OC math.ST
Parameter Tuning with Generalization Guarantees for GPU-Accelerated Linear Programming
Siddharth Prasad；Dravyansh Sharma
针对GPU加速线性规划求解器PDLP的超参数调优，基于数据驱动算法设计理论，首次给出学习步长、原始权重等超参数的样本复杂度保证，并通过实验验证了调优必要性。
2026-06-07 cs.LG math.OC
Fast Algorithms for Computational Optimal Transport and Wasserstein Barycenter
UC Berkeley（加州大学伯克利分校）
我们提供了理论复杂性分析的新算法来计算两个离散的概率分布之间的最佳运输（OT）的距离，并证明其良好的实际性能比国家的最先进的原始-对偶算法和他们的能力，在解决其他问题的大规模，如Wasserstein重心问题的多个概率分布。首先，我们介绍了计算OT距离的\emph{accelerated primal-dual randomized coordinate descent}（APDRCD）算法。我们提供了它的复杂性上界$\bigOtil(\frac{n^{5/2}}{\varepsilon})$，其中$n$代表这些概率测度的原子数，$\varepsilon > 0$是所需的精度。这个复杂性界匹配OT问题的原始-对偶算法的最佳已知复杂性，包括自适应原始-对偶加速梯度下降（APDGD）和自适应原始-对偶加速镜像下降（APDAMD）算法。然后，通过大量的实验研究，证明了APDRCD算法优于APDAGD和APDAMD算法，并提出了一种贪婪算法\emph{accelerated primal-dual greedy coordinate descent}（APDGCD），进一步提高了算法的实际性能.最后，我们将APDRCD和APDGCD算法推广到分布式算法，用于计算多个概率分布的Wasserstein重心。
2020-06-15 cs.DS cs.LG stat.ML
Stochastic Primal-Dual Method for Empirical Risk Minimization with $\mathcal{O}(1)$ Per-Iteration Complexity
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）；University of California, Davis（加州大学戴维斯分校）；University of Rochester（罗切斯特大学）
带线性预测的正则化经验风险最小化问题是机器学习中经常出现的问题。在本文中，我们提出了一个新的随机原始-对偶方法来解决这类问题。与现有的方法不同，我们提出的方法在每次迭代中只需要O（1）操作。我们还开发了一个方差减少变量的算法，线性收敛。数值实验表明，我们的方法比现有的，如近端SGD，SVRG和SAGA高维问题的速度。
2018-11-03 cs.LG math.OC
Accelerating Distributed Optimization: A Primal-Dual Perspective on Local Steps
Argonne National Laboratory（阿贡国家实验室）；Wayne State University（韦恩州立大学）
在分布式机器学习中，跨具有不同数据分布的多个代理的有效训练提出了重大挑战。即使使用集中式协调器，实现最佳通信复杂性的当前算法通常需要大的小批量或在梯度复杂性上妥协。在这项工作中，我们解决了强凸，凸和非凸目标的集中和分散设置。我们首先证明了一个基本的原始-对偶方法，（加速）梯度上升多随机梯度下降（GA-MSGD），适用于分布式优化的拉格朗日固有地包含本地更新，因为运行随机梯度下降的原始变量的内部循环不需要间智能体通信。值得注意的是，对于强凸目标，（加速）GA-MSGD在通信轮次中实现线性收敛，尽管拉格朗日仅在对偶变量中是线性的。这是由于对偶变量被限制在耦合矩阵的跨度上的结构性质，使得对偶问题是强凹的。当与Catalyst框架集成时，我们的方法在各种设置中实现了接近最佳的通信复杂性，而不需要小批量。
2024-08-11 cs.DC cs.LG math.OC
Nearly Optimal Linear Convergence of Stochastic Primal-Dual Methods for Linear Programming
The University of Chicago（芝加哥大学）
本文提出一种结合方差缩减与重启的随机原始-对偶算法，用于线性规划，实现高概率线性收敛，并设计高效坐标随机预言机，证明其收敛速率近最优。
2023-12-29 cs.LG math.OC
Sharper Rates for Separable Minimax and Finite Sum Optimization via Primal-Dual Extragradient Methods
Stanford University（斯坦福大学）
我们设计了几个基本类的优化问题的加速算法，提高了速度。我们的算法都建立在与通过[CST 21]最近提出的相对Lipschitzness分析原始-对偶超梯度方法相关的技术基础上。(1)可分离极小极大优化本文研究了可分极小极大优化问题$\min_x \max_y f(x) - g(y) + h(x, y)$，其中$f$和$g$具有光滑性和强凸性参数$(L^x, μ^x)$，$(L^y, μ^y)$，$h$是凸凹的，且具有$(Λ^{xx}, Λ^{xy}, Λ^{yy})$ -分块算子范数有界Hessian.我们提供了一个算法梯度查询复杂度$\tilde{O}\left(\sqrt{\frac{L^{x}}{μ^{x}}} + \sqrt{\frac{L^{y}}{μ^{y}}} + \frac{Λ^{xx}}{μ^{x}} + \frac{Λ^{xy}}{\sqrt{μ^{x}μ^{y}}} + \frac{Λ^{yy}}{μ^{y}}\right)$。值得注意的是，对于具有双线性耦合的凸-凹极大极小问题（例如，二次型），其中$Λ^{xx} = Λ^{yy} = 0$，我们的速率匹配[ZHZ 19]的下界。(2)有限和优化。我们研究有限和优化问题$\min_x \frac{1}{n}\sum_{i\in[n]} f_i(x)$，其中每个$f_i$是$L_i$ -光滑的，整个问题是$μ$…
2022-02-09 cs.DS cs.LG math.OC
Variance Reduction via Accelerated Dual Averaging for Finite-Sum Optimization
Tsinghua-Berkeley Shenzhen Institute, Tsinghua University（清华大学-伯克利深圳学院，清华大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）
本文介绍了有限和凸优化问题的一种简化统一的方法，称为\emph{Variance Reduction via Accelerated Dual Averaging (VRADA)}。在一般的凸和强凸的设置，VRADA可以达到$O\big(\frac{1}{n}\big)$ -精确的解决方案，在$O(n\log\log n)$数量的随机梯度评估，提高了最有名的结果$O(n\log n)$，其中$n$是样本的数量。同时，VRADA匹配的一般凸设置的下限到一个$\log\log n$因子，并匹配的下限在两个制度$n\le Θ(κ)$和$n\gg κ$的强凸设置，其中$κ$表示的条件数。VRADA不仅改进了已有的结果，而且同时满足上述所有下界，对于一般凸和强凸情形，VRADA的算法实现和收敛性分析更加统一和简化.潜在的新方法，如VRADA中的新初始化策略，可能会引起独立的兴趣。通过在真实数据集上的实验，我们证明了VRADA在大规模机器学习问题上优于现有方法的良好性能。
2021-03-07 cs.LG math.OC
A unified variance-reduced accelerated gradient method for convex optimization
Georgia Institute of Technology（佐治亚理工学院）；Tsinghua University（清华大学）；IBM Almaden Research Center（IBM阿尔马登研究中心）
我们提出了一种新的随机增量梯度算法，即方差减少加速梯度（Varag），有限和优化。配备了一个统一的步长政策，调整自己的值的条件数，瓦拉格表现出统一的最优收敛速度，直接解决光滑凸有限和问题，而不管他们的强凸性。此外，Varag是第一个加速的随机增量梯度法，受益于数据保真度项的强凸性，以实现最佳的线性收敛。它还建立了一个最佳的线性收敛速率，解决了广泛的一类问题，只满足一定的误差界条件，而不是强凸性。瓦拉格也可以扩展到解决随机有限和问题。
2019-10-30 cs.DS cs.LG math.OC
Adaptive Accelerated (Extra-)Gradient Methods with Variance Reduction
Boston University（波士顿大学）；Northeastern University（东北大学）
本文主要研究一般凸情形下的有限和凸优化问题。近年来，方差缩减（VR）方法及其加速变体的研究取得了令人兴奋的进展。然而，在现有的VR算法中使用的步长通常取决于平滑度参数，该平滑度参数通常是未知的并且需要在实践中进行调整。为了解决这个问题，我们提出了两种新的自适应VR算法：自适应方差减少加速外梯度（AdaVRAE）和自适应方差减少加速梯度（AdaVRAG）。我们的算法不需要光滑参数的知识。AdaVRAE使用$\mathcal{O}\left(n\log\log n+\sqrt{\frac{nβ}ε}\right)$梯度评估，AdaVRAG使用$\mathcal{O}\left(n\log\log n+\sqrt{\frac{nβ\logβ}ε}\right)$梯度评估，以获得$\mathcal{O}(ε)$次优解，其中$n$是有限和中的函数数，$β$是平滑参数。该结果与非自适应VR方法的最佳收敛速度相匹配，并且它改进了现有技术的自适应VR方法AdaSVRG的收敛。我们展示了优越的性能，我们的算法与以前的方法相比，在现实世界的数据集上的实验。
2022-01-28 cs.DS cs.LG math.OC
Doubly Accelerated Stochastic Variance Reduced Dual Averaging Method for Regularized Empirical Risk Minimization
NTT DATA Mathematical Systems Inc.（NTT DATA 数理系统公司）；The University of Tokyo（东京大学）
在本文中，我们发展了一个新的加速随机梯度法有效地解决凸正则化经验风险最小化问题的小批量设置。小批量的使用正在成为机器学习社区的黄金标准，因为小批量设置稳定了梯度估计，并且可以很容易地利用并行计算。我们提出的方法的核心是我们新的“双加速”技术和方差减少技术的结合。我们从理论上分析了我们提出的方法，并表明，我们的方法大大提高了以前的加速随机方法的小批量效率，基本上只需要大小$\sqrt{n}$小批量实现非强凸和强凸目标的最佳迭代复杂度，其中$n$是训练集的大小。此外，我们表明，即使在非小批量设置，我们的方法实现了最好的已知的收敛速度为非强和强凸的目标。
2017-09-19 cs.LG math.OC stat.ML
Variance-reduced accelerated methods for decentralized stochastic double-regularized nonconvex strongly-concave minimax problems
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出去中心化随机双正则非凸强凹极小极大问题的方差缩减加速方法VRLM，通过拉格朗日乘子消除共识约束，实现最优样本与通信复杂度，并首次提供收敛保证。
2026-10-05 cs.LG math.OC
Primal Acceleration of Newton's Method
Cornell University（康奈尔大学）
提出一种仅用原始变量、每次迭代仅解一个线性系统的直接加速牛顿法，其函数残差收敛速率达 $O(1/k^3)$，可扩展至任意几何与复合优化问题。
2026-08-24 cs.AI cs.LG math.OC
Stochastic Smoothed Primal-Dual Algorithms for Nonconvex Optimization with Linear Inequality Constraints
University of British Columbia（不列颠哥伦比亚大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出单循环随机平滑原始-对偶算法求解带线性不等式约束的非凸优化问题，基于 Moreau 包络的非精确梯度下降框架，达到最优 O(ε⁻⁴) 样本复杂度，并可借助方差缩减改进至 O(ε⁻³)，避免子问题和大批量。
2025-04-10 cs.LG math.OC
On a Combination of Alternating Minimization and Nesterov's Momentum
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Institute for Information Transmission Problems RAS（俄罗斯科学院信息传输问题研究所）；Weierstrass Institute for Applied Analysis and Stochastics（魏尔斯特拉斯应用分析与随机研究所）
交替最小化（AM）方法在求解凸优化和非凸优化问题的许多应用中实际上是有效的。另一方面，Nesterov的加速梯度法是凸优化理论上最优的一阶方法。在本文中，我们结合AM和Nesterov的加速，提出了一个加速交替最小化算法。我们证明了$1/k^2$收敛速度的凸问题的目标和$1/k$的平方梯度范数的非凸问题，其中$k$是迭代计数器。我们的方法不需要任何知识，既不是凸性的问题，也不是函数参数，如Lipschitz常数的梯度，即它是自适应的凸性和光滑性，是一致最优的光滑凸和非凸问题。进一步，我们发展了它的原始-对偶修改的强凸问题的线性约束，并证明了相同的$1/k^2$的原始目标残差和约束的可行性。
2021-09-15 cs.LG math.OC
Faster Accelerated First-order Methods for Convex Optimization with Strongly Convex Function Constraints
Shanghai University of Finance and Economics（上海财经大学）；Shanghai Jiao Tong University（上海交通大学）
在本文中，我们介绍了快速加速原始对偶法，以最小化一个凸函数的强凸函数的约束。在我们的工作之前，最好的复杂性界限是$\mathcal{O}(1/{\varepsilon})$，不管约束函数的强凸性。目前还不清楚强凸性假设是否可以实现更好的收敛结果。为了解决这个问题，我们开发了新的技术，逐步估计拉格朗日函数的强凸性。我们的方法，第一次，有效地利用约束强凸性，获得了改进的复杂性$\mathcal{O}(1/\sqrt{\varepsilon})$。该速率与强凸-凹鞍点优化的复杂度下界相匹配，因此是阶数最优的。我们展示了我们的方法在稀疏诱导约束优化，特别是谷歌的个性化PageRank问题的优越性能。此外，我们表明，重新启动的版本所提出的方法可以有效地确定最优解的稀疏模式在有限数量的步骤，结果似乎有独立的意义。
2024-11-27 cs.LG math.OC
Accelerated Variance Reduced Block Coordinate Descent
Zhejiang University（浙江大学）
在大数据时代，由于对在\emph{ultra-high}维空间中具有\emph{a large number of samples}的问题获得\emph{highly accurate solutions}的需求，具有快速收敛、小数据访问数量和低每次迭代复杂度的算法特别有利。现有的算法缺乏这些品质中的至少一种，因此在处理这种大数据挑战时效率低下。在本文中，我们提出了一种方法享受所有这些优点与加速收敛速度$O(\frac{1}{k^2})$。在超过100万个特征的大规模数据集上进行了实验研究，以证明我们的方法在实践中的有效性。
2016-11-13 cs.LG stat.ML
Accelerated Variance Reduced Stochastic ADMM
The Chinese University of Hong Kong（香港中文大学）
近年来，许多方差缩减的随机交替方向乘子法（ADMM）方法（例如，SAG-ADMM、SDCA-ADMM和SVRG-ADMM）在强凸问题的线性收敛速度等方面取得了令人兴奋的进展。然而，一般凸问题的最佳已知收敛速度是O（1/T），而加速批处理算法的收敛速度是O（1/T^2），其中$T$是迭代次数。因此，现有的随机ADMM和批处理算法之间的收敛速度仍然存在差距。为了弥补这一差距，我们引入了动量加速技巧批量优化到随机方差降低梯度ADMM（SVRG-ADMM），这导致了加速（ASVRG-ADMM）方法。然后针对强凸和一般凸情形设计了两种不同的动量项更新规则。我们证明了ASVRG-ADMM对强凸问题线性收敛。ASVRG-ADMM算法除了具有较低的迭代复杂度外，还将一般凸问题的收敛速度从O（1/T）提高到O（1/T^2）。实验结果表明了ASVRG-ADMM算法的有效性。
2017-07-11 cs.LG stat.ML
Accelerated Primal-Dual Mirror Dynamics for Centrailized and Distributed Constrained Convex Optimization Problems
本文研究了两种原-对偶镜像动力学加速算法，分别用于求解具有仿射约束和闭凸集约束的光滑和非光滑凸优化问题。在光滑情形下，提出了一种基于加速镜下降和原-对偶框架的加速原-对偶镜动力学方法（APDMD），并利用李雅普诺夫分析方法推导了原-对偶间隙、可行性测度和目标函数值随APDMD轨迹的加速收敛性质.然后，我们将APDMD扩展为两种分布式动力学方法，分别处理两类分布式光滑最优化问题，即，分布式约束一致性问题（DCCP）和分布式扩展单调优化（DEMO）与加速收敛保证。此外，在非光滑情形下，我们提出了一种光滑加速原对偶镜像动力学方法（SAPDMD），该方法利用光滑近似技术和上述APDMD。通过选取适当的光滑逼近参数，证明了SAPDMD的原-对偶间隙、目标函数值和可行性测度具有与APDMD相同的加速收敛性质.之后，我们提出了两个平滑加速分布式动力学方法来处理非光滑DEMO和DCCP，以获得加速和有效解。最后，数值实验证明了所提出的加速镜动力学方法的有效性。
2022-09-14 math.OC
Unrolled Neural Networks for Constrained Optimization
Department of Electrical and Systems Engineering, University of Pennsylvania（电气与系统工程系，宾夕法尼亚大学）
本文提出了一种基于展开神经网络的约束优化方法，通过约束学习实现对偶上升动力学，有效解决混合整数二次规划和无线网络功率分配问题。
2026-10-14 cs.LG
Accelerated Random-Sweep Gibbs Sampling for Gaussian Graphical Models via Dual Normal Factor Graphs
University of Oxford（牛津大学）；UPC（加泰罗尼亚理工大学）；University of Toronto（多伦多大学）
该研究针对带薄膜先验的高斯图模型，通过对偶正态因子图加快随机扫描吉布斯采样的收敛速度，建立了原始与对偶模型协方差关系，实验验证了理论结果。
2026-08-03 cs.IT cs.LG math.IT
Dissipativity Theory for Accelerating Stochastic Variance Reduction: A Unified Analysis of SVRG and Katyusha Using Semidefinite Programs
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
近年来，在求解凸有限和问题的随机规划算法中，减小梯度估计方差的技术受到了广泛的关注。通过利用耗散性理论从控制，我们提供了一个新的视角两个重要的方差减少算法：SVRG和它的直接加速变种喀秋莎。我们的观点提供了一个物理直观的理解SVRG类方法的行为，通过能量守恒的原则。这里讨论的工具，使我们能够自动化的SVRG类方法的收敛性分析，通过捕捉他们的基本性质，在小的半定程序服从标准的分析和计算技术。我们的方法恢复现有的SVRG和喀秋莎的收敛结果，并将理论推广到其他参数的选择。我们还讨论了我们的方法如何补充线性耦合技术。我们的观点相结合，导致更好地理解有限和问题的加速方差减少随机方法。
2018-06-10 cs.LG math.OC stat.ML
Accelerated primal-dual methods for linearly constrained convex optimization problems
提出了一个求解仿射约束凸优化的加速原-对偶动力系统，并给出了一类具有非遍历收敛速度的原-对偶方法。在连续层，建立了一个新的指数衰减的李雅普诺夫函数，在离散层，依次考虑了连续模型的隐式、半隐式和显式数值离散，从而得到了求解线性约束最优化问题的新的加速原-对偶方法.这些方案中的子问题的特殊结构被用来开发有效的内部求解器。此外，通过一个定制的离散李雅普诺夫函数，证明了非遍历收敛速度的原始-对偶间隙，原始目标残差和可行性违反。此外，我们的方法也被应用到分散的分布式优化快速和有效解。
2022-04-09 math.OC
Accelerated Dual-Averaging Primal-Dual Method for Composite Convex Minimization
WeBank AI Group（微众银行AI集团）；Tencent Inc.（腾讯公司）；University of California, Davis（加州大学戴维斯分校）；The Hong Kong University of Science and Technology（香港科技大学）
双平均型方法由于其促进解结构（例如，稀疏性）有效地。本文提出了一种新的求解复合凸函数最小化问题的加速双平均原始对偶法。我们还得到了一个随机版本的方法，解决了经验风险最小化，其优势在处理稀疏数据的理论和经验证明。
2020-01-15 cs.LG math.OC stat.ML
Primal-dual Learning for the Model-free Risk-constrained Linear Quadratic Regulator
Tsinghua University（清华大学）
风险感知控制，虽然有希望解决意外事件，需要一个已知的精确的动力学模型。在这项工作中，我们提出了一个无模型的框架来学习风险感知控制器，重点是线性系统。我们制定它作为一个离散时间无限时域LQR问题的状态预测方差约束。为了解决这个问题，我们用反馈增益对来参数化策略，并利用原始-对偶方法来优化它，只使用数据。我们首先研究了拉格朗日函数的优化景观，并建立了强的对偶性，尽管它的非凸性。此外，我们发现拉格朗日函数具有重要的局部梯度优势属性，然后利用它来开发一个收敛的随机搜索算法来学习对偶函数。此外，我们提出了一个具有全局收敛性的原始-对偶算法来学习最优策略-乘子对。最后，我们通过模拟验证我们的结果。
2021-05-30 cs.LG cs.SY eess.SY
Primal-dual Accelerated Mirror-Descent Method for Constrained Bilinear Saddle-Point Problems
本文提出一种时变原始-对偶加速镜像下降算法，用于求解约束双线性鞍点问题，实现$O(1/t^2)$收敛率，并衍生出面向分布式优化和零和博弈的两种加速变体。
2024-10-03 math.OC
A universal accelerated primal-dual method for convex optimization problems
提出了一种求解仿射约束凸优化问题的加速一阶原-对偶方法。它可以处理Lipschitz和Hölder梯度，但不需要知道目标函数的平滑度。在线搜索部分，它使用动态递减的参数，并产生近似的Lipschitz常数与适度的大小。此外，基于适当的离散李雅普诺夫函数和一些微分/差分不等式的紧衰减估计，建立了一个通用的最优混合型收敛速度.一些数值试验证实了所提出的方法的有效性。
2022-11-08 math.OC
Inertial accelerated primal-dual algorithms for non-smooth convex optimization problems with linear equality constraints
Chongqing University（重庆大学）；Chongqing Technology and Business University（重庆工商大学）；Sunway University（双威大学）
本文提出一种基于二阶微分系统的时间缩放的惯性加速对偶算法，用于求解具有线性等式约束的非光滑凸优化问题，证明了该算法在对偶间隙、可行性违反和目标残差上的快速收敛性，并通过数值实验验证了其有效性。
2026-03-05 math.OC
Dynamical Primal-Dual Accelerated Method with Applications to Network Optimization
针对一类带仿射等式约束的凸优化问题，提出了一种带阻尼系数的连续时间原-对偶加速算法。本文分析了该方法中参数的临界值，并证明了通过选择合适的参数，以对偶间隙函数表示的收敛速率为$O(\tfrac{1}{t^2})$。据我们所知，这是第一个连续时间的原始-对偶加速方法，可以获得最优的速度。然后将该方法应用于两个网络最优化问题，一个带一致性约束的分布式最优化问题和一个分布式扩展单变量最优化问题，得到了两种不同的分布式算法。最后，通过数值模拟验证了该方法的有效性.
2022-02-15 math.OC
Decentralized and Parallel Primal and Dual Accelerated Methods for Stochastic Convex Programming Problems
介绍了求解分散凸优化问题的原始和对偶随机梯度预言方法。无论是原始和双重预言机，所提出的方法是最佳的通信步骤的数量。然而，对于目标的所有类，每个节点的Oracle调用的数量方面的最优性只发生到对数因子和平滑的概念。通过使用mini-technique，我们表明，所提出的方法与随机预言可以在每个节点上额外并行化。所考虑的算法可以应用于许多数据科学问题和反问题。
2021-02-10 math.OC
Accelerated Primal Dual Method for a Class of Saddle Point Problem with Strongly Convex Component
本文提出了一种简单的原始对偶方法DPD，它是求解一类具有或不具有强凸分支的鞍点问题的灵活框架。该方法有线性化形式LDPD和精确化形式EDPD。DPD的每次迭代通过简单的邻近映射顺序地更新对偶变量和原始变量，并通过外推来细化对偶变量。光滑或强凸原始分量的收敛性分析恢复了以前的最先进的结果，而强凸对偶分量的收敛性分析获得了原始对偶间隙的完全加速$O(1/k^2)$。通过对高斯噪声和椒盐噪声图像的全变差图像去模糊实验，证明了利用对偶分量的强凸性实现全变差加速的有效性。
2019-07-14 math.OC
Primal-dual accelerated gradient methods with small-dimensional relaxation oracle
本文提出了一种新的加速梯度下降算法。该方法不需要目标函数的任何信息，用精确线搜索来加速收敛，对凸和非凸目标函数都能收敛于已知的下界，具有原-对偶性质，并可应用于非欧几里德问题。据我们所知，这是第一个这样的方法同时拥有所有上述性质。我们还提出了一个通用的版本的方法，这是适用于非光滑问题。我们演示了在实践中如何通过考虑具有简单结构（例如线性约束）的凸优化问题来有效地使用线搜索和原始二元性的结合。
2019-05-12 math.OC
Accuracy Certificates for Convex Optimization at Accelerated Rates via Primal-Dual Averaging
University of Rochester（罗切斯特大学）
本文提出基于简单对偶平均的算法，通过计算可得的最优性证书，实现非渐近收敛保证，证明了三种平均方法在加速率上的证书复杂度。
2026-04-20 math.OC
Accelerated primal dual fixed point algorithm
本文提出加速原始对偶不动点（APDFP）方法，采用Nesterov加速求解含非光滑项与线性算子的复合优化问题，将部分原始对偶间隙的收敛速度提升至O(1/k^2)，并通过图引导逻辑回归与CT图像重建实验验证了其高效性。
2025-11-01 math.OC
A Simple Stochastic Variance Reduced Algorithm with Fast Convergence Rates
The Chinese University of Hong Kong（香港中文大学）；Xidian University（西安电子科技大学）
近年来，在随机方差约化梯度方法的研究中取得了令人兴奋的进展（例如，SVRG，SAGA），它们的加速变体（例如，喀秋莎）以及它们在许多不同环境中的扩展（例如，在线、稀疏、异步、分布式）。其中，加速方法具有改进的收敛速度，但具有复杂的耦合结构，这使得它们难以扩展到更多的设置（例如，稀疏和异步）。在本文中，我们介绍了一个简单的随机方差减少算法（MiG），它享有最好的已知的强凸和非强凸问题的收敛速度。此外，我们还提出了其有效的稀疏和异步的变种，并从理论上分析其收敛速度在这些设置。最后，广泛的实验，各种机器学习问题，如逻辑回归，以说明在串行和异步设置的实际改进。
2018-06-28 cs.LG stat.ML
Unifying Variational View of Accelerated Primal-Dual Methods
William E. Boeing Department of Aeronautics and Astronautics, University of Washington（华盛顿大学威廉E.波音航空航天系）
本文提出统一变分框架，通过ELR原理生成加速原始-对偶流，涵盖镜像与ADMM特例，并证明指数收敛，扩展至概率分布优化。
2026-09-15 math.OC
Accelerated Distributed Primal-Dual Dynamics using Adaptive Synchronization
本文提出了一种自适应的原始-对偶动力学多智能体系统的分布式优化。所提出的动态结合了自适应同步法，加强了耦合代理的原始变量之间的互连强度，给定的法律加速所提出的动态鞍点解的收敛。由此产生的动态表示为一个反馈互联网络系统，证明是被动的。利用所提出的动态的无源性特性与混合动力系统的LaSalle不变原理，建立鞍点解的渐近收敛和稳定性。进一步分析了原动力学的收敛速率，建立了原动力学的较强收敛界，证明了原动力学在自适应同步下实现了加速收敛。使用L2增益分析和收敛速率和鲁棒性之间的相关性的建议动态的鲁棒性进行量化。通过将其应用于分布式最小二乘和分布式支持向量机问题，证明了所提出的动态的有效性。
2019-05-02 math.OC
A Stochastic Variance-reduced Accelerated Primal-dual Method for Finite-sum Saddle-point Problems
本文提出了一种求解具有有限和结构和非双线性耦合函数的凸凹鞍点问题的带Bregman距离的方差缩减原始对偶法。这种类型的问题通常出现在机器学习和对策论中。在一些标准假设下，证明了该算法分别以$O\left(\frac{\sqrt n}ε\right)$和$O\left(\frac{n}{\sqrt ε}+\frac{1}{ε^{1.5}}\right)$的预言复杂度收敛，其中$n$是函数分量的个数.与现有的方法相比，我们的框架产生了显着的改善所需的原始-对偶梯度样本的数量，以实现$ε$ -原始-对偶差距的准确性。我们测试了我们的方法求解分布鲁棒最优化问题，以显示算法的有效性。
2021-06-01 math.OC
Accelerated Primal-Dual Algorithm for Distributed Non-convex Optimization
本文研究了非凸问题分布式优化算法的加速收敛问题。我们提出了一个分布式的原始-对偶随机梯度下降~（SGD）配备了“强力球”方法来加速。我们表明，该算法实现了一般光滑（可能非凸）费用函数的线性加速收敛速度$\mathcal{O}(1/\sqrt{nT})$。我们通过在MNIST数据集上训练两层全连接神经网络和卷积神经网络，与最先进的分布式SGD算法和集中式SGD算法进行比较，通过数值实验证明了该算法的效率。
2021-10-13 math.OC
Non-ergodic convergence rate of an inertial accelerated primal-dual algorithm for saddle point problems
针对具有复合结构的凸-凹鞍点问题，提出基于Nesterov外推的惯性加速原始-对偶算法，证明其非遍历收敛速率为$\mathcal{O}(1/k^2)$，数值实验验证了算法效率。
2024-04-16 math.OC
GPU-Accelerated Primal Heuristics for Mixed Integer Programming
本研究提出融合GPU加速的混合整数规划原始启发式算法，通过GPU加速PDLP求解器、新增探测缓存并优化多种前沿启发式算法，在MIPLIB2017基准上显著提升了可行解数量与目标质量。
2025-10-30 cs.DC math.OC
Accelerated primal-dual methods with enlarged step sizes and operator learning for nonsmooth optimal control problems
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）；The University of Hong Kong（香港大学）；Nankai University（南开大学）
针对非光滑PDE约束最优控制问题，提出用更大步长或算子学习加速原始-对偶方法，前者保持收敛性，后者用神经网络替代PDE求解，显著降低计算成本，初步实验验证有效。
2023-07-25 cs.LG cs.NA math.NA
A Chebyshev-Accelerated Primal-Dual Method for Distributed Optimization
我们考虑一个分布式最优化问题在网络的代理，旨在最小化一个全球目标函数，这是当地的凸和复合费用函数的总和。为此，我们提出了一个分布式Chebyshev加速原始对偶法，以实现更快的遍历收敛速度。在标准分布式原始对偶法中，向全局最优值（即，相应拉格朗日函数中的鞍点）直接受到表示通信图的拉普拉斯矩阵的特征值的影响。在本文中，我们使用Chebyshev矩阵多项式来生成八卦矩阵，其频谱特性导致更快的收敛速度，同时允许完全分布式的实现。因此，所提出的算法需要更少的梯度更新的成本代理之间的额外的几轮通信。我们说明了所提出的算法在分布式信号恢复问题的性能。我们的模拟表明，如何使用Chebyshev矩阵多项式可以用来提高收敛速度的原始对偶法在通信网络，特别是在网络的频谱特性差，通过贸易的本地计算的通信轮。
2018-10-15 math.OC
Construction and Iteration-Complexity of Primal Sequences in Alternating Minimization Algorithms
在求解原型约束凸优化的交替极小化算法（AMA）中，引入了一种新的加权平均算法，该算法利用“Fenchel型”算子来恢复原始解.我们的方法结合了\cite{Tseng1991}中经典的AMA思想和Nesterov的函数平滑技术，而不需要目标函数的强凸性。我们提出了一种新的非加速的原始-对偶AMA方法，并在目标残差和可行性间隙上估计了它的原始收敛速度。然后，我们将Nesterov的加速步骤到这个算法，并获得一个新的加速原始-对偶AMA变种赋予严格的收敛速度保证。我们证明了该算法的最坏情况下的迭代复杂度是最优的（在一阶黑盒模型的意义上），而不施加充分的强凸性假设的目标。
2020-08-08 math.OC
An accelerated primal-dual flow for linearly constrained multiobjective optimization
本文提出一种连续时间的加速多目标原始-对偶流方法，通过引入新评价函数和Lyapunov函数分析其指数衰减率，并设计隐式-显式离散方案证明次线性收敛率。
2025-11-05 cs.NA math.NA math.OC
A Unified Primal-Dual Recipe for Accelerating Three-Operator Splitting Methods
KAUST（阿卜杜拉国王科技大学）
提出一种统一的Bregman原对偶框架，通过Chambolle-Pock算法导出四种加速变体（ACV-I/II和APDTR-I/II），并利用Lyapunov分析建立光滑和非光滑情形下的迭代复杂度，消除了先前工作的限制性假设。
2026-05-26 math.OC
Two Adaptive Accelerated Golden Ratio Primal--Dual Algorithms With an Application to Poisson Imaging Problem
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；The University of Melbourne（墨尔本大学）
研究结构化凸优化问题，改进自适应扩展黄金比例原始对偶算法，证明原始步长上限冗余，无需步长上限、线搜索等，建立线性收敛，开发加速变体并证明遍历\(\mathcal O(1/N^2)\)收敛速度，数值实验验证方法有效性。
2026-08-04 math.OC
Numerical methods in large-scale optimization: inexact oracle and primal-dual analysis
这是一个简短的总结，已经发表的结果加速第一和零阶最优化方法，以及加速方法的问题与线性约束。这个简短的摘要是获得俄罗斯联邦科学博士学位的要求。详情见导言中所列的文件。
2020-09-08 math.OC
Adaptive Accelerated Mirror Descent in Primal and Dual Spaces
University of California, Irvine（加州大学尔湾分校）
提出自适应加速镜像下降（AAMD）方法，结合非线性预处理、加速和镜像几何自适应，通过累积Lyapunov扰动预算实现稳定加速，证明了对偶相对光滑/凸性下的加速收敛和凸目标的O(1/k^2)速率。
2026-06-01 math.OC
Variance Reduction via Primal-Dual Accelerated Dual Averaging for Nonsmooth Convex Finite-Sums
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们研究了结构化非光滑凸有限和优化，它广泛地出现在机器学习应用中，包括支持向量机和最小绝对偏差。对于这个问题的原始-对偶公式，我们提出了一种新的算法称为\emph{Variance Reduction via Primal-Dual Accelerated Dual Averaging (\vrpda)}。在非光滑和一般凸设置中，\vrpda ~具有根据原始-对偶间隙的总体复杂度$O(nd\log\min \{1/ε, n\} + d/ε)$，其中$n$表示样本的数量，$d$表示原始变量的维度，并且$ε$表示期望的精度。在非光滑和强凸的情况下，\vrpda ~的整体复杂性在原始-对偶间隙和最优解与最优解之间的距离方面都变成了$O(nd\log\min\{1/ε, n\} + d/\sqrtε)$. \vrpda ~的这两个结果都以更简单和直接的方式显着改善了最先进的复杂性估计，即非光滑和一般凸设置的$O(nd\log \min\{1/ε, n\} + \sqrt{n}d/ε)$和非光滑和强凸设置的$O(nd\log \min\{1/ε, n\} + \sqrt{n}d/\sqrtε)$。此外，这两个复杂性都优于\emph{lower}边界的一般凸有限和，缺乏特定的（共同的）结构，我们认为。我们的理论结果得到了数值实验的支持，证实了\vrpda ~的竞争力的性能相比，国家的最先进的。
2021-04-07 cs.LG cs.NA math.NA
A Nesterov-Accelerated Primal-Dual Splitting Algorithm for Convex Nonsmooth Optimization
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
本文提出APAPC算法，通过整合Nesterov动量提升对偶方法的收敛性，实现非光滑优化问题的O(1/t²)次线性收敛及线性收敛。
2026-10-09 math.OC
Robust Accelerated Primal-Dual Methods for Computing Saddle Points
本文提出随机加速原始-对偶（SAPD）算法求解强凸-强凹鞍点问题，通过优化步长和动量参数实现收敛速率与噪声鲁棒性的Pareto最优权衡，并给出重启策略及在分布鲁棒逻辑回归上的验证。
2024-09-01 math.OC
