Accelerated primal-dual methods with enlarged step sizes and operator learning for nonsmooth optimal control problems
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）；The University of Hong Kong（香港大学）；Nankai University（南开大学）
针对非光滑PDE约束最优控制问题，提出用更大步长或算子学习加速原始-对偶方法，前者保持收敛性，后者用神经网络替代PDE求解，显著降低计算成本，初步实验验证有效。
2023-07-25 cs.LG cs.NA math.NA
Adaptive Quasi-Newton and Anderson Acceleration Framework with Explicit Global (Accelerated) Convergence Rates
针对拟牛顿和Anderson加速方法全局收敛率长期缺失的问题，提出自适应框架，在温和假设下获得融合梯度下降与三次正则化牛顿法的显式非渐近收敛率，并含凸函数加速版本，数值实验优于l-BFGS。
2023-11-14 cs.NA math.NA math.OC
Variance Reduction via Primal-Dual Accelerated Dual Averaging for Nonsmooth Convex Finite-Sums
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们研究了结构化非光滑凸有限和优化，它广泛地出现在机器学习应用中，包括支持向量机和最小绝对偏差。对于这个问题的原始-对偶公式，我们提出了一种新的算法称为\emph{Variance Reduction via Primal-Dual Accelerated Dual Averaging (\vrpda)}。在非光滑和一般凸设置中，\vrpda ~具有根据原始-对偶间隙的总体复杂度$O(nd\log\min \{1/ε, n\} + d/ε)$，其中$n$表示样本的数量，$d$表示原始变量的维度，并且$ε$表示期望的精度。在非光滑和强凸的情况下，\vrpda ~的整体复杂性在原始-对偶间隙和最优解与最优解之间的距离方面都变成了$O(nd\log\min\{1/ε, n\} + d/\sqrtε)$. \vrpda ~的这两个结果都以更简单和直接的方式显着改善了最先进的复杂性估计，即非光滑和一般凸设置的$O(nd\log \min\{1/ε, n\} + \sqrt{n}d/ε)$和非光滑和强凸设置的$O(nd\log \min\{1/ε, n\} + \sqrt{n}d/\sqrtε)$。此外，这两个复杂性都优于\emph{lower}边界的一般凸有限和，缺乏特定的（共同的）结构，我们认为。我们的理论结果得到了数值实验的支持，证实了\vrpda ~的竞争力的性能相比，国家的最先进的。
2021-04-07 cs.LG cs.NA math.NA
Primal-dual Accelerated Mirror-Descent Method for Constrained Bilinear Saddle-Point Problems
本文提出一种时变原始-对偶加速镜像下降算法，用于求解约束双线性鞍点问题，实现$O(1/t^2)$收敛率，并衍生出面向分布式优化和零和博弈的两种加速变体。
2024-10-03 math.OC
A universal accelerated primal-dual method for convex optimization problems
提出了一种求解仿射约束凸优化问题的加速一阶原-对偶方法。它可以处理Lipschitz和Hölder梯度，但不需要知道目标函数的平滑度。在线搜索部分，它使用动态递减的参数，并产生近似的Lipschitz常数与适度的大小。此外，基于适当的离散李雅普诺夫函数和一些微分/差分不等式的紧衰减估计，建立了一个通用的最优混合型收敛速度.一些数值试验证实了所提出的方法的有效性。
2022-11-08 math.OC
Inertial accelerated primal-dual algorithms for non-smooth convex optimization problems with linear equality constraints
Chongqing University（重庆大学）；Chongqing Technology and Business University（重庆工商大学）；Sunway University（双威大学）
本文提出一种基于二阶微分系统的时间缩放的惯性加速对偶算法，用于求解具有线性等式约束的非光滑凸优化问题，证明了该算法在对偶间隙、可行性违反和目标残差上的快速收敛性，并通过数值实验验证了其有效性。
2026-03-05 math.OC
Dynamical Primal-Dual Accelerated Method with Applications to Network Optimization
针对一类带仿射等式约束的凸优化问题，提出了一种带阻尼系数的连续时间原-对偶加速算法。本文分析了该方法中参数的临界值，并证明了通过选择合适的参数，以对偶间隙函数表示的收敛速率为$O(\tfrac{1}{t^2})$。据我们所知，这是第一个连续时间的原始-对偶加速方法，可以获得最优的速度。然后将该方法应用于两个网络最优化问题，一个带一致性约束的分布式最优化问题和一个分布式扩展单变量最优化问题，得到了两种不同的分布式算法。最后，通过数值模拟验证了该方法的有效性.
2022-02-15 math.OC
Accelerated Primal-Dual Proximal Block Coordinate Updating Methods for Constrained Convex Optimization
Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of Minnesota（明尼苏达大学）
本文提出了一种加速的对偶 primal-dual 块坐标更新方法，用于解决多块变量的线性约束凸优化问题，通过随机选择块变量实现 O(1/t) 收敛率，并在强凸情况下达到 O(1/t²) 收敛，且在独立块变量时可实现线性收敛。
2017-11-20 cs.NA math.NA math.OC
Decentralized and Parallel Primal and Dual Accelerated Methods for Stochastic Convex Programming Problems
介绍了求解分散凸优化问题的原始和对偶随机梯度预言方法。无论是原始和双重预言机，所提出的方法是最佳的通信步骤的数量。然而，对于目标的所有类，每个节点的Oracle调用的数量方面的最优性只发生到对数因子和平滑的概念。通过使用mini-technique，我们表明，所提出的方法与随机预言可以在每个节点上额外并行化。所考虑的算法可以应用于许多数据科学问题和反问题。
2021-02-10 math.OC
Accelerated Primal Dual Method for a Class of Saddle Point Problem with Strongly Convex Component
本文提出了一种简单的原始对偶方法DPD，它是求解一类具有或不具有强凸分支的鞍点问题的灵活框架。该方法有线性化形式LDPD和精确化形式EDPD。DPD的每次迭代通过简单的邻近映射顺序地更新对偶变量和原始变量，并通过外推来细化对偶变量。光滑或强凸原始分量的收敛性分析恢复了以前的最先进的结果，而强凸对偶分量的收敛性分析获得了原始对偶间隙的完全加速$O(1/k^2)$。通过对高斯噪声和椒盐噪声图像的全变差图像去模糊实验，证明了利用对偶分量的强凸性实现全变差加速的有效性。
2019-07-14 math.OC
Primal-dual accelerated gradient methods with small-dimensional relaxation oracle
本文提出了一种新的加速梯度下降算法。该方法不需要目标函数的任何信息，用精确线搜索来加速收敛，对凸和非凸目标函数都能收敛于已知的下界，具有原-对偶性质，并可应用于非欧几里德问题。据我们所知，这是第一个这样的方法同时拥有所有上述性质。我们还提出了一个通用的版本的方法，这是适用于非光滑问题。我们演示了在实践中如何通过考虑具有简单结构（例如线性约束）的凸优化问题来有效地使用线搜索和原始二元性的结合。
2019-05-12 math.OC
Accuracy Certificates for Convex Optimization at Accelerated Rates via Primal-Dual Averaging
University of Rochester（罗切斯特大学）
本文提出基于简单对偶平均的算法，通过计算可得的最优性证书，实现非渐近收敛保证，证明了三种平均方法在加速率上的证书复杂度。
2026-04-20 math.OC
Accelerated primal dual fixed point algorithm
本文提出加速原始对偶不动点（APDFP）方法，采用Nesterov加速求解含非光滑项与线性算子的复合优化问题，将部分原始对偶间隙的收敛速度提升至O(1/k^2)，并通过图引导逻辑回归与CT图像重建实验验证了其高效性。
2025-11-01 math.OC
Accelerated Primal-Dual Methods for Convex-Strongly-Concave Saddle Point Problems
Southern Methodist University（南卫理公会大学）
针对凸-强凹鞍点问题，提出单循环加速线性化原始-对偶方法（ALPD）及其非精确版本，通过结合加速梯度下降特性克服次优依赖，在半线性和一般非线性耦合下实现最优或显著改善的梯度复杂度。
2023-05-18 cs.LG math.OC
Unifying Variational View of Accelerated Primal-Dual Methods
William E. Boeing Department of Aeronautics and Astronautics, University of Washington（华盛顿大学威廉E.波音航空航天系）
本文提出统一变分框架，通过ELR原理生成加速原始-对偶流，涵盖镜像与ADMM特例，并证明指数收敛，扩展至概率分布优化。
2026-09-15 math.OC
GPU-Accelerated Primal Heuristics for Mixed Integer Programming
本研究提出融合GPU加速的混合整数规划原始启发式算法，通过GPU加速PDLP求解器、新增探测缓存并优化多种前沿启发式算法，在MIPLIB2017基准上显著提升了可行解数量与目标质量。
2025-10-30 cs.DC math.OC
Accelerated Distributed Primal-Dual Dynamics using Adaptive Synchronization
本文提出了一种自适应的原始-对偶动力学多智能体系统的分布式优化。所提出的动态结合了自适应同步法，加强了耦合代理的原始变量之间的互连强度，给定的法律加速所提出的动态鞍点解的收敛。由此产生的动态表示为一个反馈互联网络系统，证明是被动的。利用所提出的动态的无源性特性与混合动力系统的LaSalle不变原理，建立鞍点解的渐近收敛和稳定性。进一步分析了原动力学的收敛速率，建立了原动力学的较强收敛界，证明了原动力学在自适应同步下实现了加速收敛。使用L2增益分析和收敛速率和鲁棒性之间的相关性的建议动态的鲁棒性进行量化。通过将其应用于分布式最小二乘和分布式支持向量机问题，证明了所提出的动态的有效性。
2019-05-02 math.OC
Accelerated Dual-Averaging Primal-Dual Method for Composite Convex Minimization
WeBank AI Group（微众银行AI集团）；Tencent Inc.（腾讯公司）；University of California, Davis（加州大学戴维斯分校）；The Hong Kong University of Science and Technology（香港科技大学）
双平均型方法由于其促进解结构（例如，稀疏性）有效地。本文提出了一种新的求解复合凸函数最小化问题的加速双平均原始对偶法。我们还得到了一个随机版本的方法，解决了经验风险最小化，其优势在处理稀疏数据的理论和经验证明。
2020-01-15 cs.LG math.OC stat.ML
A Stochastic Variance-reduced Accelerated Primal-dual Method for Finite-sum Saddle-point Problems
本文提出了一种求解具有有限和结构和非双线性耦合函数的凸凹鞍点问题的带Bregman距离的方差缩减原始对偶法。这种类型的问题通常出现在机器学习和对策论中。在一些标准假设下，证明了该算法分别以$O\left(\frac{\sqrt n}ε\right)$和$O\left(\frac{n}{\sqrt ε}+\frac{1}{ε^{1.5}}\right)$的预言复杂度收敛，其中$n$是函数分量的个数.与现有的方法相比，我们的框架产生了显着的改善所需的原始-对偶梯度样本的数量，以实现$ε$ -原始-对偶差距的准确性。我们测试了我们的方法求解分布鲁棒最优化问题，以显示算法的有效性。
2021-06-01 math.OC
Accelerated Primal-Dual Algorithm for Distributed Non-convex Optimization
本文研究了非凸问题分布式优化算法的加速收敛问题。我们提出了一个分布式的原始-对偶随机梯度下降~（SGD）配备了“强力球”方法来加速。我们表明，该算法实现了一般光滑（可能非凸）费用函数的线性加速收敛速度$\mathcal{O}(1/\sqrt{nT})$。我们通过在MNIST数据集上训练两层全连接神经网络和卷积神经网络，与最先进的分布式SGD算法和集中式SGD算法进行比较，通过数值实验证明了该算法的效率。
2021-10-13 math.OC
An extra gradient Anderson-accelerated algorithm for pseudomonotone variational inequalities
Harbin Institute of Technology（哈尔滨工业大学）；The Hong Kong Polytechnic University（香港理工大学）
提出一种结合线搜索额外梯度与Anderson加速的算法，在无Lipschitz连续性和压缩性假设下保证全局收敛并加速收敛，数值实验验证其有效性。
2026-05-26 math.OC
Non-ergodic convergence rate of an inertial accelerated primal-dual algorithm for saddle point problems
针对具有复合结构的凸-凹鞍点问题，提出基于Nesterov外推的惯性加速原始-对偶算法，证明其非遍历收敛速率为$\mathcal{O}(1/k^2)$，数值实验验证了算法效率。
2024-04-16 math.OC
A Chebyshev-Accelerated Primal-Dual Method for Distributed Optimization
我们考虑一个分布式最优化问题在网络的代理，旨在最小化一个全球目标函数，这是当地的凸和复合费用函数的总和。为此，我们提出了一个分布式Chebyshev加速原始对偶法，以实现更快的遍历收敛速度。在标准分布式原始对偶法中，向全局最优值（即，相应拉格朗日函数中的鞍点）直接受到表示通信图的拉普拉斯矩阵的特征值的影响。在本文中，我们使用Chebyshev矩阵多项式来生成八卦矩阵，其频谱特性导致更快的收敛速度，同时允许完全分布式的实现。因此，所提出的算法需要更少的梯度更新的成本代理之间的额外的几轮通信。我们说明了所提出的算法在分布式信号恢复问题的性能。我们的模拟表明，如何使用Chebyshev矩阵多项式可以用来提高收敛速度的原始对偶法在通信网络，特别是在网络的频谱特性差，通过贸易的本地计算的通信轮。
2018-10-15 math.OC
Construction and Iteration-Complexity of Primal Sequences in Alternating Minimization Algorithms
在求解原型约束凸优化的交替极小化算法（AMA）中，引入了一种新的加权平均算法，该算法利用“Fenchel型”算子来恢复原始解.我们的方法结合了\cite{Tseng1991}中经典的AMA思想和Nesterov的函数平滑技术，而不需要目标函数的强凸性。我们提出了一种新的非加速的原始-对偶AMA方法，并在目标残差和可行性间隙上估计了它的原始收敛速度。然后，我们将Nesterov的加速步骤到这个算法，并获得一个新的加速原始-对偶AMA变种赋予严格的收敛速度保证。我们证明了该算法的最坏情况下的迭代复杂度是最优的（在一阶黑盒模型的意义上），而不施加充分的强凸性假设的目标。
2020-08-08 math.OC
A Unified Primal-Dual Recipe for Accelerating Three-Operator Splitting Methods
KAUST（阿卜杜拉国王科技大学）
提出一种统一的Bregman原对偶框架，通过Chambolle-Pock算法导出四种加速变体（ACV-I/II和APDTR-I/II），并利用Lyapunov分析建立光滑和非光滑情形下的迭代复杂度，消除了先前工作的限制性假设。
2026-05-26 math.OC
Accelerated first-order primal-dual proximal methods for linearly constrained composite convex programming
University of Alabama（阿拉巴马大学）
本文提出两种加速方法解决线性约束的复合凸优化问题，通过线性化和近似项简化子问题，实现O(1/t)或O(1/t²)收敛性，优于现有方法。
2016-06-29 cs.NA math.NA math.OC
Two Adaptive Accelerated Golden Ratio Primal--Dual Algorithms With an Application to Poisson Imaging Problem
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；The University of Melbourne（墨尔本大学）
研究结构化凸优化问题，改进自适应扩展黄金比例原始对偶算法，证明原始步长上限冗余，无需步长上限、线搜索等，建立线性收敛，开发加速变体并证明遍历\(\mathcal O(1/N^2)\)收敛速度，数值实验验证方法有效性。
2026-08-04 math.OC
Accelerated Primal-Dual Gradient Method for Smooth and Convex-Concave Saddle-Point Problems with Bilinear Coupling
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本文研究了凸-凹鞍点问题$\min_x \max_y f(x) + y^T \mathbf{A} x - g(y)$，其中$f(x)$和$g(y)$是光滑的凸函数.我们提出了一种用于解决该问题的加速原始-对偶梯度法（APDG），实现了（i）在强凸-强凹区域中的最佳线性收敛速率，匹配较低的复杂度界限（Zhang等人，2021），以及（ii）当函数$f(x)$和$g(y)$中只有一个是强凸或者甚至它们都不是强凸时的加速线性收敛速率。最后，在不要求强凸性或强收敛性的条件下，得到了一般光滑凸凹鞍点问题$\min_x \max_y F(x,y)$的线性收敛算法。
2022-03-09 cs.LG math.OC
Numerical methods in large-scale optimization: inexact oracle and primal-dual analysis
这是一个简短的总结，已经发表的结果加速第一和零阶最优化方法，以及加速方法的问题与线性约束。这个简短的摘要是获得俄罗斯联邦科学博士学位的要求。详情见导言中所列的文件。
2020-09-08 math.OC
Adaptive Accelerated Mirror Descent in Primal and Dual Spaces
University of California, Irvine（加州大学尔湾分校）
提出自适应加速镜像下降（AAMD）方法，结合非线性预处理、加速和镜像几何自适应，通过累积Lyapunov扰动预算实现稳定加速，证明了对偶相对光滑/凸性下的加速收敛和凸目标的O(1/k^2)速率。
2026-06-01 math.OC
A Nesterov-Accelerated Primal-Dual Splitting Algorithm for Convex Nonsmooth Optimization
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
本文提出APAPC算法，通过整合Nesterov动量提升对偶方法的收敛性，实现非光滑优化问题的O(1/t²)次线性收敛及线性收敛。
2026-10-09 math.OC
Robust Accelerated Primal-Dual Methods for Computing Saddle Points
本文提出随机加速原始-对偶（SAPD）算法求解强凸-强凹鞍点问题，通过优化步长和动量参数实现收敛速率与噪声鲁棒性的Pareto最优权衡，并给出重启策略及在分布鲁棒逻辑回归上的验证。
2024-09-01 math.OC
Restarted Accelerated Primal-Dual Algorithms with Adaptive Stepsizes for Nonlinear Conic Constrained Convex Optimization
Penn State University（宾夕法尼亚州立大学）；University of Chicago（芝加哥大学）
针对非线性锥约束凸优化问题（含二次约束二次规划），提出带回溯的自适应步长重启加速原始-对偶算法，利用一阶信息和矩阵-向量乘积，在KKT映射度量次正则性下证明全局线性收敛，数值实验显示非单调自适应步长和GPU加速效果显著。
2026-09-30 math.OC
An Accelerated Communication-Efficient Primal-Dual Optimization Framework for Structured Machine Learning
Lehigh University（理海大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
分布式优化算法对于在超大规模数据集上训练机器学习模型至关重要。然而，他们经常遇到通信瓶颈。针对这一问题，提出了一种通信效率高的原始-对偶坐标上升框架（CoCoA）及其改进的CoCoA+，在求解Lipschitz连续损失的经验风险最小化问题时，其收敛速度达到了$\mathcal{O}(1/t)$.在本文中，CoCoA+的一个加速变体，提出并证明具有收敛速度$\mathcal{O}(1/t^2)$方面减少次优。该速率的分析也值得注意，因为收敛速度界限涉及的常数（除极端情况外）与之前为CoCoA+提供的常数相比显著降低。数值实验的结果表明，加速可以导致显着的性能增益。
2017-11-14 cs.LG math.OC
DWIFOB: A Dynamically Weighted Inertial Forward-Backward Algorithm for Monotone Inclusions
提出一种新的求解结构单调包含问题的动态加权惯性前后向算法（DWIFOB）。该方案利用了[26]中的全局收敛的带偏差的向前向后算法作为基础，并将其与Anderson加速中使用的外推技术相结合，以改善局部收敛。我们还提出了一个全球收敛的原始-对偶的DWIFOB变体，并数值比较其性能的原始-对偶方法的Chambolle-Pock和Tikhonov正则化版本的安德森加速应用到同一个问题。在我们所有的数值计算中，DWIFOB的原始-对偶变体优于Chambolle-Pock算法。此外，我们的数值实验表明，我们提出的方法是更强大的正则化安德森加速，它可能无法收敛，算法参数敏感。这些数值实验突出表明，我们的方法表现非常好，同时仍然是强大和可靠的。
2022-02-28 math.OC
Accelerated Bregman Primal-Dual methods applied to Optimal Transport and Wasserstein Barycenter problems
本文讨论了混合原始-对偶（HPD）型算法近似求解离散最优输运（OT）和Wasserstein重心（WB）问题的效率，有和没有熵正则化。我们的第一个贡献是分析表明，这些方法产生的最先进的收敛速度，无论是理论上和实践中。接下来，我们将Malitsky和Pock在2018年提出的带有线插值的HPD算法扩展到对偶空间具有Bregman散度的设置，并且对偶函数相对于Bregman核是强凸的。这种扩展产生了一种新的方法OT和WB问题的基础上平滑的目标，也实现了最先进的收敛速度。最后，我们引入了一个新的Bregman分歧的基础上缩放的熵函数，使算法数值稳定，减少平滑，导致稀疏的解决方案OT和WB问题。我们补充我们的研究结果与数值实验和比较。
2022-08-30 math.OC
Anderson Accelerated Douglas-Rachford Splitting
研究了具有线性等式约束的非光滑凸优化问题，其中目标函数只能通过其邻近算子来逼近。这个问题出现在许多不同的领域，如统计学习，计算成像，电信和最优控制。为了解决这个问题，我们提出了一个安德森加速道格拉斯-Rachford分裂（A2 DR）算法，我们显示无论是全球收敛或提供一个证书的不可行性/无界性在非常温和的条件下。应用于块可分离的目标，A2 DR部分并行，使其步骤可以并行进行，产生一个算法，是快速和可扩展的多个处理器。我们描述了一个开源的实现，并展示了其性能的广泛的例子。
2020-11-17 math.OC
High Probability and Risk-Averse Guarantees for a Stochastic Accelerated Primal-Dual Method
本文研究随机强凸-强凹鞍点问题，为SAPD建立高概率收敛保证、极限协方差公式与紧下界，并从CVaR、EVaR和$χ^2$-散度角度分析风险规避权衡。
2023-07-14 math.OC
An Anderson-accelerated stochastic extragradient method for stochastic variational inequalities
The Hong Kong Polytechnic University（香港理工大学）；Harbin Institute of Technology（哈尔滨工业大学）
提出一种Anderson加速的随机外梯度算法，在随机逼近框架下求解随机变分不等式，证明在采样算子非伪单调时算法几乎必然收敛，并建立次线性收敛率和最优oracle复杂度。
2026-05-26 math.OC
Accelerated Primal-Dual Algorithms for Distributed Smooth Convex Optimization over Networks
Zhejiang University（浙江大学）；Purdue University（普渡大学）
本文提出了一种新的家庭的原始对偶为基础的分布式算法，光滑，凸，多智能体优化网络，只使用梯度信息和八卦通信。该算法还可以在计算和通信上采用加速。我们提供了一个统一的分析，他们的收敛速度，测量的Bregman距离相关的鞍点改造的分布式最优化问题。当采用加速，速率被证明是最佳的，在这个意义上，它匹配（根据建议的度量）现有的复杂性下界的分布式算法适用于这样一类问题，只使用梯度信息和八卦通信。分布式最小二乘回归问题的初步数值结果表明，该算法相比现有的分布式计划毫不逊色。
2020-03-03 cs.DC cs.LG math.OC
Anderson Accelerated Operator Splitting Methods for Convex-nonconvex Regularized Problems
针对凸-非凸（CNC）正则化问题计算具挑战性且研究不足的问题，提出Anderson加速的算子分裂方法求解带CNC正则化的最小二乘问题，证明全局收敛性并展示实际加速效果。
2025-02-20 math.OC stat.CO
Primal-dual extragradient methods for nonlinear nonsmooth PDE-constrained optimization
本文研究了Chambolle-Pock原始对偶法在求解函数空间间非线性算子的非光滑最优化问题中的推广。在包括相应原-对偶最优性条件的度量规律性在内的技术条件下，证明了局部收敛性。我们还表明收敛Nesterov型加速变量提供的功能的一部分是强凸的。我们证明了加速算法的适用性，$L^1$ -和$L^\infty$ -拟合项以及状态约束最优控制问题的反问题的例子，在引入（任意小，仍然不光滑）Moreau-Yosida正则化后，可以保证收敛。数值算例验证了这一点。
2017-03-15 math.OC
Accelerated Primal-dual Scheme for a Class of Stochastic Nonconvex-concave Saddle Point Problems
本文针对目标函数满足 Polyak-Łojasiewicz 条件的非凸-凹鞍点问题，提出了一种单循环加速原始-对偶算法，在随机和确定性环境下分别实现了 $\mathcal O(ε^{-4})$ 和 $\mathcal O(ε^{-2})$ 的收敛速率。
2023-09-11 math.OC
Accelerated Stochastic Algorithms for Convex-Concave Saddle-Point Problems
提出了求解一类凸凹鞍点问题的随机一阶原始对偶法。当鞍函数关于原变量是强凸的时，我们给出了该问题的第一个随机重新启动方案。当梯度噪声服从亚高斯分布时，我们的重新启动方案的预言复杂度严格优于任何现有的方法，即使在确定性的情况下。此外，对于每个感兴趣的问题参数，只要存在下界，我们的重新启动方案的预言复杂性是最优的或接近最优的（对数因子）。该方案中所用的子程序本身就是一种新的随机算法，它是针对鞍函数在原始变量中是非强凸的问题而开发的。该算法基于原始-对偶混合梯度框架，实现了最先进的预言复杂度，并且可能具有独立的兴趣。
2021-04-10 math.OC
A Variance-Reduced Stochastic Accelerated Primal Dual Algorithm
Rutgers Business School（罗格斯商学院）；Penn State University（宾夕法尼亚州立大学）
在这项工作中，我们考虑强凸强凹（SCSC）鞍点（SP）问题$\min_{x\in\mathbb{R}^{d_x}}\max_{y\in\mathbb{R}^{d_y}}f(x,y)$，其中$f$是$L$-光滑的，$f(.,y)$是$μ$-强凸的每个$y$，和$f(x,.)$是$μ$-强凹的每个$x$。在机器学习中，在稳健的经验风险最小化（ERM）的背景下，例如$\textit{distributionally robust}$ ERM，经常出现这样的问题，其中使用小批量数据点来估计部分梯度。假设我们可以访问无偏随机一阶预言，我们认为Zhang等人[2021]最近针对SCSC SP问题引入的随机加速原始对偶（SAPD）算法是一种针对梯度噪声的鲁棒方法。特别地，当动量参数被设置为零时，SAPD恢复众所周知的随机梯度下降上升（SGDA）作为特殊情况，并且当动量参数被适当地调谐时，即，将$κ\triangleq L/μ$依赖性从SGDA的$κ^2$改善为$κ$。我们提出了有效的方差减少战略SAPD的基础上Richardson-Romberg外推，并表明我们的方法在实践中和理论上提高SAPD。
2022-02-19 cs.LG math.OC
A Mixing-Accelerated Primal-Dual Proximal Algorithm for Distributed Nonconvex Optimization
本文提出分布式混合加速原始对偶近端算法MAP-Pro，通过类增广拉格朗日函数与时变混合多项式实现非凸优化，证明了次线性及P-Ł条件下的线性收敛性，结合Chebyshev加速可提升性能，数值实验验证其收敛与通信效率优势。
2024-03-10 cs.SY eess.SY math.OC
Transformed Primal-Dual Methods For Nonlinear Saddle Point Systems
研究了一类非线性光滑鞍点系统的变换原-对偶（TPD）流。对偶变量的流包含一个强凸的Schur补。通过证明强李雅普诺夫性质，得到了系统鞍点的指数稳定性.采用隐式Euler、显式Euler、隐式-显式和Gauss-Seidel方法，对TPD流动进行加速超松弛，得到了几种TPD迭代。推广到对称TPD迭代，在正则化函数为强凸的假设下，对凹凸鞍点系统保持线性收敛速率。增广拉格朗日方法的有效性可以解释为非强凸性的正则化和Schur补的预处理。算法和收敛性分析关键取决于原始变量和对偶变量的空间的适当的内积。一个清晰的收敛性分析与非线性不精确内部求解器。
2023-02-01 cs.NA math.NA math.OC
Anderson Acceleration in Nonsmooth Problems: Local Convergence via Active Manifold Identification
School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）；Peng Cheng Laboratory（鹏城实验室）
本文研究具有积极流形识别性质的非光滑优化算法的Anderson加速技术，在驻点处具有积极流形的假设下证明了算法的局部R-线性收敛速率，并通过数值实验验证了其稳健性能。
2024-10-15 cs.LG cs.NA math.NA
Descent Properties of an Anderson Accelerated Gradient Method With Restarting
本文研究带重启的 Anderson 加速梯度方法的局部下降性质，证明其能比普通梯度法更快降低目标函数值，为 AA 在非凸优化中的收敛分析提供新视角。
2023-09-25 math.OC
An Accelerated Primal Dual Algorithm with Backtracking for Decentralized Constrained Optimization
Pennsylvania State University（宾夕法尼亚州立大学）；Rutgers University（罗格斯大学）
本文提出了一种带回溯的分布式加速对偶算法，用于解决去中心化约束优化问题，实现了最优收敛速率。
2026-03-05 math.OC
Improved Rate of First Order Algorithms for Entropic Optimal Transport
本文改进了求解熵正则化最优输运问题的一阶算法。近似最优输运（OT）的结果速率已从$\widetilde{O}({n^{2.5}}/ε)$提高到$\widetilde{O}({n^2}/ε)$，其中$n$是问题大小，$ε$是精度水平。特别地，我们提出了一个加速原始-对偶随机镜像下降算法与方差减少。这种特殊的设计有助于我们提高速度相比，其他加速原始对偶法。我们进一步提出了一个批处理版本的随机算法，通过并行计算提高了计算性能。为了比较，我们证明了随机Sinkhorn算法的计算复杂性为$\widetilde{O}({n^2}/{ε^2})$，这是慢于我们的加速原始-对偶随机镜像算法。使用合成和真实数据进行实验，结果与我们的理论速率相匹配。我们的算法可能会激发更多的研究，以开发加速原始对偶法，解决OT率$\widetilde{O}({n^2}/ε)$。
2023-01-23 math.OC stat.ML
Accelerated nonlinear primal-dual hybrid gradient methods with applications to supervised machine learning
Brown University（布朗大学）
线性原-对偶混合梯度法（PDHG）是一种将具有鞍点结构的凸优化问题分解为更小的子问题的一阶方法。与大多数分裂方法不同，这些子问题通常可以有效地解决，因为它们涉及简单的操作，如矩阵向量乘法或邻近映射，这些操作可以快速进行数值计算。这一优点的代价是，线性PDHG方法需要精确的步长参数的问题在手边，以实现最佳的收敛速度。不幸的是，这些步长参数对于计算大规模最优化问题（例如机器学习中的那些）来说通常是非常昂贵的。这个问题使得简单的线性PDHG方法不适合于此类问题，并且它也被大多数一阶最优化方法所共享。为了解决这个问题，我们介绍了加速非线性PDHG方法，实现了最佳的收敛速度与步长参数，是简单而有效的计算。我们证明了严格的收敛结果，包括结果的强凸或光滑的问题上的无限维自反巴拿赫空间。我们说明了我们的方法的效率上$\ell_{1}$约束逻辑斯谛回归和熵正则化矩阵对策。我们的数值实验表明，非线性PDHG方法是相当快的竞争方法。
2022-04-03 cs.LG math.OC math.ST
Near-optimal tensor methods for minimizing the gradient norm of convex functions and accelerated primal-dual tensor methods
针对对偶目标具有Lipschitz p阶导数的线性等式约束凸优化问题，提出两种近最优张量方法：基于对偶梯度范数最小化的方法及直接加速原始-对偶张量方法，分别给出改进复杂度界，并在逻辑回归、熵正则化最优传输等实验中验证性能。
2023-08-10 math.OC
Deterministic and Stochastic Accelerated Gradient Method for Convex Semi-Infinite Optimization
本文提出一种用于凸半无限规划的原始-对偶加速梯度方法，包含动量上升与下降更新，并扩展至随机预言机场景，给出了ε-最优解的迭代复杂度。
2024-07-21 math.OC
