A Primal Dual Active Set with Continuation Algorithm for the \ell^0-Regularized Optimization Problem
针对压缩感知中经常出现的\ell^0 -正则化最小二乘问题，提出了一种原始对偶活动集延拓算法。该算法将原对偶有效集方法与正则化参数的延拓策略相结合。在每次内迭代中，它首先从原始变量和对偶变量中识别出活动集，然后通过求解定义在活动集上的（通常很小的）最小二乘问题来更新原始变量，从中可以显式地更新对偶变量。在感测矩阵上的某些条件下，即，互相关性质或约束等距性质以及噪声水平，建立了算法的有限步整体收敛性。大量的数值例子来说明该算法的效率和精度和收敛性分析。
2014-03-03 cs.IT math.IT math.OC
Fast Rates and Strong Convergence of Tikhonov-Regularized Mixed-Order Primal-Dual Dynamics for Linearly Constrained Optimization Without Eventual Ball Conditions
School of Mathematical Sciences, University of Electronic Science and Technology of China（电子科技大学数学科学学院）
本文提出带隐式Hessian阻尼的Tikhonov正则化混合阶原始-对偶动力学，在无最终球条件下证明强收敛并给出快速速率，改进临界情形的衰减估计并解答开放问题。
2026-09-09 math.OC
Continuous Dual Maximizers for Fixed-Reference Entropy-Regularized Wasserstein Barycenters
University of Florida（佛罗里达大学）
针对固定参考熵正则化Wasserstein重心问题，证明了在紧致度量空间上对偶问题存在连续极大化势函数，并建立了最优计划与重心的存在唯一性及显式密度，完善了原始-对偶理论。
2026-09-18 math.OC
Tikhonov-Regularized Second-Order Primal-Dual Dynamics for Convex-Concave Bilinear Saddle Point Problems
University of Electronic Science and Technology of China（电子科技大学）
本文提出一种通用的Tikhonov正则化二阶动力系统，用于解决凸-凹双曲正交问题，通过分析收敛性与数值实验验证了其有效性。
2026-08-28 math.DS math.OC
Running Primal-Dual Gradient Method for Time-Varying Nonconvex Problems
本文考虑了一个随时间演化的非凸最优化问题，并讨论了正则化原始-对偶梯度法跟踪KKT轨迹的综合与分析.所提出的正则化原始-对偶梯度法是以运行方式实现的，在这个意义上，底层的最优化问题在算法的迭代过程中发生变化。对于一类费用和约束条件为二次连续可微的问题，在推广的Mangasarian-Fromovitz约束规格下，给出了运行算法跟踪KKT轨迹的充分条件.此外，渐近界的跟踪误差（作为一个函数的KKT轨迹的时变性）。一个连续时间版本的算法，作为一个系统的微分包含的框架，也被认为是解析收敛结果。对于连续时间情形，给出了KKT轨迹不分叉或不合并的一组充分条件。一个现实世界的应用程序的启发说明性的数值结果。
2018-12-03 math.OC
A Memory-efficient Algorithm for Large-scale Sparsity Regularized Image Reconstruction
针对具有非光滑正则化项的凸图像重建问题，提出了一种节省内存的一阶变量分裂算法。该算法是基于一个原始-对偶的方法，其中一个对偶变量更新使用的步骤的弗兰克-沃尔夫算法，而不是典型的近端点步骤中使用的其他原始对偶法。我们表明，在某些情况下，这导致在一个算法的内存需求远远低于其他一阶方法的基础上邻近映射。我们证明了稀疏视图的X射线计算机断层扫描（CT）重建与非光滑边缘保持正则化的问题上的算法，并显示竞争力的运行时间与其他国家的最先进的算法，同时使用更少的内存。
2019-03-31 math.OC
Primal Methods for Constrained Variational Inequalities: Optimal Rates, Feasibility Trade-offs, and Lower Bounds
Tiangong University（天津工业大学）；University of Hertfordshire（赫特福德大学）；Sefako Makgatho Health Sciences University（塞法科·马卡托健康科学大学）；Zhejiang Normal University（浙江师范大学）；China Medical University（中国医科大学）；Academy of Romanian Scientists（罗马尼亚科学院）
本文提出约束变分不等式的原始方法理论，给出最优收敛速率、可行性权衡及下界，并设计OPCGM等算法达到最优复杂度。
2026-09-29 math.OC
Coordinate Descent Face-Off: Primal or Dual?
随机坐标下降（RCD）方法是通过最小化正则化经验风险来训练线性预测器的最新算法。当示例数量（$n$）远大于特征数量（$d$）时，常见策略是将RCD应用于对偶问题。另一方面，当特征的数量远大于样本的数量时，直接将RCD应用于原始问题是有意义的。在本文中，我们提供了第一次联合研究这两种方法时，适用于L2正则化ERM。首先，我们通过严格的分析表明，对于密集数据，上述直觉是完全正确的。然而，我们发现，对于稀疏和结构化的数据，原始RCD可以显着优于双RCD，即使$d \ll n$，反之亦然，双RCD可以比原始RCD快得多，即使$n \ll d$。此外，我们发现，令人惊讶的是，一个单一的采样策略最大限度地减少（约束）的迭代次数和整体预期的复杂性的RCD。请注意，后一种复杂性度量还考虑了迭代的平均成本，这取决于数据的结构和稀疏性以及所采用的采样策略。我们证实了我们的理论预测，使用大量的实验与合成和真实的数据集。
2016-05-29 math.OC
Deterministic Policy Gradient Primal-Dual Methods for Continuous-Space Constrained MDPs
King Juan Carlos University（胡安·卡洛斯国王大学）；University of Pennsylvania（宾夕法尼亚大学）
针对连续空间约束MDPs计算确定性最优策略的难题，提出具有非渐近收敛性的D-PGPD算法，通过二次正则化原始-对偶更新求解，并在机器人导航和流体控制实验中验证有效性。
2025-04-04 cs.AI math.OC
Primal-Dual Rates and Certificates
IBM Research（IBM研究院）；ETH Zürich（苏黎世联邦理工学院）；Lehigh University（理海大学）
我们提出了一个算法独立的框架，以装备现有的优化方法与原始双重证书。这种证书和相应的收敛率保证对于从业者诊断进展非常重要，特别是在机器学习应用中。我们得到了新的原始-对偶收敛速度，例如，Lasso以及许多L1，弹性网络，群Lasso和TV正则化问题。该理论适用于任何范数正则化的广义线性模型。我们的方法提供了有效的可计算的二元差距，这是全球性的定义，而不修改原来的问题在感兴趣的区域。
2016-06-02 cs.LG math.OC
On the Convergence of Primal-Dual Proximal Incremental Aggregated Gradient Algorithms
在本文中，我们适应近似增量聚合梯度法的鞍点问题，这是由解耦线性变换的正则化经验风险极小化模型。首先，提出了带外推的原始-对偶近端增量聚集（PD-PIAG）方法。证明了平均迭代序列的原对偶间隙次线性收敛于0，且迭代序列收敛于某个鞍点。在$f$和$h^\ast$的强凸性下，证明了迭代序列线性收敛于鞍点。然后，我们提出了一个没有外推的PD-PIAG方法。在$f$的强凸性下，证明了迭代序列的原始-对偶间隙是次线性收敛的。
2019-11-13 math.OC
Decentralized Algorithms for Wasserstein Barycenters
本文从计算和统计两个方面研究离散概率测度的Wasserstein重心问题。统计重点是估计样本量的措施，必要的计算近似Fréchet平均值（重心）的概率分布与给定的精度。对于经验风险最小化方法，还研究了正则化的问题，并提出了一种新的正则化，与二次正则化相比，它有助于更好的复杂性界限。计算的重点是开发用于计算Wasserstein重心的算法：可以以分散方式执行的原始和对偶算法。对偶方法的动机是熵正则化Wasserstein距离及其导数的对偶公式化的封闭形式，而原始公式化仅在某些情况下具有封闭形式的表达，例如，Gaussian measures.此外，与返回熵正则化Wasserstein距离的梯度的原始预言机相比，可以以更便宜的价格计算返回熵正则化Wasserstein距离的对偶表示的梯度的对偶预言机。在这种情况下，双oracle调用的数量也将更少，即，原始神谕调用次数的平方根。这解释了一阶对偶方法在Wasserstein重心问题中的成功应用。
2021-10-25 math.OC
A regularized Interior Point Method for sparse Optimal Transport on Graphs
本文提出一种利用原-对偶正则化的定制内点法，通过稀疏化正规牛顿方程高效求解稀疏图上的大规模最优传输问题，并证明了内层算法的多项式收敛性，数值实验显示其优于网络单纯形求解器。
2023-07-11 math.OC
Extracting Dual Solutions via Primal Optimizers
本文提出将正则化凸-凹极小极大问题的原始黑盒优化器转换为对偶算法的递归正则化方法，并在矩阵博弈、CVaR DRO 和凸函数驻点问题上取得最优或改进复杂度。
2024-12-04 cs.DS math.OC
DWIFOB: A Dynamically Weighted Inertial Forward-Backward Algorithm for Monotone Inclusions
提出一种新的求解结构单调包含问题的动态加权惯性前后向算法（DWIFOB）。该方案利用了[26]中的全局收敛的带偏差的向前向后算法作为基础，并将其与Anderson加速中使用的外推技术相结合，以改善局部收敛。我们还提出了一个全球收敛的原始-对偶的DWIFOB变体，并数值比较其性能的原始-对偶方法的Chambolle-Pock和Tikhonov正则化版本的安德森加速应用到同一个问题。在我们所有的数值计算中，DWIFOB的原始-对偶变体优于Chambolle-Pock算法。此外，我们的数值实验表明，我们提出的方法是更强大的正则化安德森加速，它可能无法收敛，算法参数敏感。这些数值实验突出表明，我们的方法表现非常好，同时仍然是强大和可靠的。
2022-02-28 math.OC
Stochastic Primal-Dual Proximal ExtraGradient Descent for Compositely Regularized Optimization
UC Berkeley（加州大学伯克利分校）；National University of Defense Technology（国防科技大学）；Stanford University（斯坦福大学）；National University of Singapore（新加坡国立大学）
我们考虑了广泛的正则化随机极小化问题的两个正则化项，其中之一是由一个线性函数。该优化模型抽象了人工智能和机器学习中的许多重要应用，例如融合Lasso，融合Logistic回归和一类图引导正则化最小化。这个模型的计算挑战有两个方面。一方面，与组合正则化项或期望目标函数相关联的邻近映射的封闭形式解是不可用的。另一方面，当输入数据样本的数量相当大时，目标中期望的全梯度的计算是非常昂贵的。为了解决这些问题，我们提出了一个随机变量的额外梯度型方法，即\textsf{Stochastic Primal-Dual Proximal ExtraGradient descent (SPDPEG)}，并分析其收敛性的凸和强凸目标。对于一般的凸目标，由\textsf{SPDPEG}产生的一致平均迭代以$O(1/\sqrt{t})$速率按期望收敛。而对于强凸目标，由\textsf{SPDPEG}产生的一致和非一致平均迭代分别以$O(\log(t)/t)$和$O(1/t)$速率收敛.所提出的算法的速度的顺序是已知的，以匹配一阶随机算法的最佳收敛速度。融合逻辑回归和图引导正则化逻辑回归问题的实验表明，该算法的性能非常有效，并始终优于其他竞争算法。
2018-02-01 cs.LG math.OC stat.ML
Entropic regularization of continuous optimal transport problems
我们分析连续的最优输运问题，在所谓的康托洛维奇形式，在那里我们寻求一个运输计划之间的两个边缘是欧几里得空间的紧凑子集的概率测度。我们考虑正则化的情况下与负熵的勒贝格测度，这引起了人们的注意，因为它可以解决非常简单的Sinkhorn算法。我们首先分析了正则化问题的经典Fenchel对偶的背景下，并得出一个强的对偶结果的前对偶问题的空间中的连续函数。然而，这个问题可能不允许最小化，这阻止获得原始-对偶最优性条件。然后，我们表明，原始的问题是自然分析的Orlicz空间中的功能与有限熵的意义上说，熵正则化的问题承认一个最小的当且仅当边缘有有限的熵。然后，我们在相应的对偶空间中导出一个对偶问题，对于这个对偶问题，可以用纯变分的方法证明其存在性，并导出原始对偶最优性条件。对于边缘不具有有限熵，我们最终显示伽玛收敛的正则化问题与平滑边缘的原始Kantorovich问题。
2020-06-15 math.OC
Primal-dual dynamics featuring Hessian-driven damping and variable mass for convex optimization problems
Chongqing Key Laboratory of Statistical Intelligent Computing and Monitoring, College of Mathematics and Statistics, Chongqing Technology and Business University（重庆工商大学数学与统计学院，统计智能计算与监测重庆市重点实验室）
本文提出一种新的Tikhonov正则化对偶动力系统，通过可变质量与Hessian驱动阻尼解决带线性等式约束的凸优化问题，通过Lyapunov分析证明轨迹强收敛于最优解并获得对偶间隙、目标残差和可行性违反的收敛速率。
2026-03-31 math.OC
Asynchronous Multi-Agent Primal-Dual Optimization
我们提出了一个框架，异步解决凸优化问题的代理网络的存在下，一个集中的云计算机增强。该框架使用Tikhonov正则化的原始-对偶方法，其中代理更新系统的原始变量，云更新其对偶变量。为了最小化对系统的协调要求，允许代理之间的通信和计算时间是任意的，只要它们满足温和的条件。从代理到云的通信同样在没有任何时间协调的情况下进行。然而，我们要求云保持双变量的值在代理之间同步，并提供了一个反例，证明这种同步水平确实是收敛所必需的。在原始和对偶空间中提供了收敛速度估计，并给出了仿真结果，证明了该算法的操作和收敛性。
2016-10-13 math.OC
Fast Primal-Dual Gradient Method for Strongly Convex Minimization Problems with Linear Constraints
本文考虑了一类目标函数为强凸的最优化问题，其可行集由简单凸集与由若干线性等式和不等式约束给出的集的交给出.许多应用中的最优化问题都可以用这种形式表示，例如熵线性规划，岭回归，弹性网，正则化最优输运等。我们将快速梯度法应用于对偶问题，使其成为原始-对偶问题，从而不仅允许解决对偶问题，而且构造原问题的近最优和近可行解。我们还证明了一个定理的收敛速度为所提出的算法的目标函数和线性约束不可行。
2016-05-10 math.OC
Convergence Analysis of Quantized Primal-dual Algorithm in Network Utility Maximization Problems
研究了网络效用最大化问题的量化原始对偶法的渐近性和非渐近性，其中一组智能体在线性约束下最大化各自凹目标函数之和.在渐近的情况下，我们使用的信息理论的概念，微分熵功率建立普遍的联合原始对偶，原始和对偶变量的指数收敛速度的最佳实现量化方案下的下界。这些结果提供了指数收敛速度，代理目标函数，通信比特率，代理和约束的数量之间的权衡。在非渐近的情况下，我们得到了联合原始对偶，原始和对偶变量的均方距离的下界从任何有限时间的最优解。无论使用何种量化方案，这些界限都成立。
2016-04-22 math.OC
Tikhonov regularization of second-order plus first-order primal-dual dynamical systems for separable convex optimization
本文提出Tikhonov正则化的二阶加一阶原始-对偶动力系统，用于可分离凸优化，通过Lyapunov分析证明收敛性并数值验证优于现有方法。
2025-03-14 math.OC
A Distributed Quasi-Newton Algorithm for Primal and Dual Regularized Empirical Risk Minimization
National University of Singapore（新加坡国立大学）；Wisconsin Institute for Discovery（威斯康星发现研究所）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们提出了一个通信和计算效率的分布式优化算法，使用二阶信息解决经验风险最小化（ERM）问题的非光滑正则项。我们的算法是适用于原始和双重ERM问题。目前的二阶和拟牛顿方法，这个问题要么不工作，以及在分布式设置或工作，只有特定的正则化。我们的算法使用连续二次近似的光滑部分，我们描述了如何保持近似的（广义）海森和有效地解决子问题的分布式方式。当应用于分布式对偶ERM问题时，与仅采用Hessian的块对角部分的现有技术不同，我们的方法能够利用全局曲率信息，因此速度更快。所提出的方法具有全局线性收敛的广泛的非强凸问题，包括最常用的ERM，从而需要较低的通信复杂性。它还收敛于非凸问题，因此有可能用于深度学习等应用。计算结果表明，我们的方法显着改善了通信成本和运行时间比目前最先进的方法。
2019-12-12 cs.LG math.OC stat.ML
A Note on Optimization Formulations of Markov Decision Processes
本文总结了马尔可夫决策过程研究中使用的优化公式。我们考虑标准和熵正则化设置下的贴现和未贴现过程。对于每一个设置，我们首先总结了原始，对偶，和原始对偶问题的线性规划制定。然后，我们详细介绍了这些问题和其他配方的马尔可夫决策过程，如贝尔曼方程和政策梯度法之间的联系。
2020-12-17 math.OC
Primal-dual proximal bundle and conditional gradient methods for convex problems
本文提出原始-对偶近端束方法求解凸非光滑复合优化与鞍点问题，建立迭代复杂度，发现与条件梯度的对偶性，并验证其优于次梯度方法。
2025-09-25 math.OC
Last-Iterate Convergent Policy Gradient Primal-Dual Methods for Constrained MDPs
University of Pennsylvania（宾夕法尼亚大学）；University of Virginia（弗吉尼亚大学）；University of Maryland, College Park（马里兰大学帕克分校）
本文针对约束马尔可夫决策过程，提出RPG-PD和OPG-PD两种单时间尺度策略梯度原始-对偶算法，首次建立了策略末迭代的非渐近收敛性结果。
2024-01-17 cs.LG cs.SY eess.SY
A primal-dual fixed point algorithm for multi-block convex minimization
本文推广了文献[5]中提出的一种原始-对偶不动点算法（PDFP）来求解信号处理和成像科学中出现的两类可分离多块最小化问题。这项工作显示了应用PDFP算法的多块问题的灵活性，并说明如何实际和完全解耦的计划，可以得出，特别是对于大规模问题的并行实现。并与乘子的交替方向法（ADMM）进行了比较。通过带约束的稀疏正则化最小二乘模型的经典算例，我们展示了如何通过不同的方法将问题分解得到不同的算法。特别是，对于一类线性约束问题，这是非常感兴趣的多块ADMM的上下文中，可以解决PDFP的收敛性保证。最后，通过实验验证了PDFP算法所得到的几种方案的性能。
2016-02-01 math.OC
A Stochastic Bregman Primal-Dual Splitting Algorithm for Composite Optimization
研究了求解实自反巴拿赫空间上凸凹鞍点问题的随机一阶原始-对偶方法，该方法利用Bregman发散和相对光滑性假设，在算法中考虑了梯度项计算的随机误差.证明了在较弱的假设下，遍历序列的每一个几乎必然弱簇点都是期望中的一个鞍点，且收敛速度为O（1/k）.在稍微严格的假设下，我们证明了逐点迭代几乎必然弱收敛到一个鞍点。在对目标函数作较强的凸性假设和对Bregman发散熵作全凸性假设的条件下，我们建立了逐点迭代几乎必然强收敛于一个鞍点的定理.我们的框架是通用的，并不需要强凸性的熵诱导Bregman分歧的算法。数值应用被认为包括熵正则化Wasserstein重心问题和正则化反问题的单纯形。
2021-12-22 math.OC stat.ML
Accuracy Certificates for Convex Optimization at Accelerated Rates via Primal-Dual Averaging
University of Rochester（罗切斯特大学）
本文提出基于简单对偶平均的算法，通过计算可得的最优性证书，实现非渐近收敛保证，证明了三种平均方法在加速率上的证书复杂度。
2026-04-20 math.OC
Near-optimal tensor methods for minimizing the gradient norm of convex functions and accelerated primal-dual tensor methods
针对对偶目标具有Lipschitz p阶导数的线性等式约束凸优化问题，提出两种近最优张量方法：基于对偶梯度范数最小化的方法及直接加速原始-对偶张量方法，分别给出改进复杂度界，并在逻辑回归、熵正则化最优传输等实验中验证性能。
2023-08-10 math.OC
A Two-Timescale Primal-Dual Framework for Reinforcement Learning via Online Dual Variable Guidance
Department of Computer Science University of Konstanz（康斯坦茨大学计算机科学系）；Department of Economics University of St.Gallen（圣加尔登大学经济学系）
本文提出PGDA-RL算法，结合正则化线性规划与随机逼近理论，解决正则化马尔可夫决策过程，实现双时间尺度分解与在线策略更新，证明其收敛性与有限时间保证。
2026-04-14 cs.LG math.OC
A Primal-Dual Approach to Constrained Markov Decision Processes
在许多运营管理问题中，我们需要在满足一定约束条件的情况下顺序地做出决策，以使成本最小化。研究这类问题的一种建模方法是约束马尔可夫决策过程（CMDP）。在求解CMDP以获得良好的操作策略时，存在两个关键挑战：一个是过大的状态空间和动作空间;另一个是难以计算的转换核。在这项工作中，我们开发了一个基于采样的原始对偶法来解决CMDPs。我们的方法交替应用正则化策略迭代来改进策略和次梯度上升来保持约束。在较弱的正则性条件下，我们证明了算法以速率$ O(\log(T)/\sqrt{T})$收敛，其中T是迭代次数。当CMDP具有弱耦合结构时，我们的方法可以通过嵌入式分解大大降低问题的维数。我们将该算法应用到两个重要的应用弱耦合结构：多产品库存管理和多类队列调度，并表明它产生的控制，优于最先进的物流。
2021-01-26 math.OC
Primal-Dual Error Bounds and KKT Metric Subregularity in Convex Composite Optimization
School of Mathematics and Statistics, Beijing Institute of Technology（北京理工大学数学与统计学院）；Beijing Key Laboratory on MCAACI/Key Laboratory of Mathematical Theory and Computation in Information Security, Beijing Institute of Technology（北京理工大学计算机辅助设计与图形学北京市重点实验室/信息安全数学理论与计算北京市重点实验室）
本文针对凸复合优化问题，引入约化原始-对偶KKT映射，建立了其度量次正则性与原始、对偶局部误差界的等价关系，并统一应用于多类模型。
2026-10-07 math.OC
Golden ratio primal-dual algorithm with linesearch
黄金比例原始对偶法（GRPDA）是求解结构凸优化问题的经典Arrow-Hurwicz方法的一种新变体，其目标函数由两个闭正常凸函数之和组成，其中一个函数包含一个线性变换的复合函数.在本文中，我们提出了一种GRPDA，它不仅不需要谱范数的线性变换，但也允许自适应和潜在的更大的步长的线性搜索策略。在每一个行扫描步骤中，仅需要更新对偶变量，并且因此对于许多特殊但重要的应用，它是相当便宜的并且不需要任何额外的矩阵-向量乘法，例如，正则化最小二乘问题整体收敛和${\cal O}(1/N)$遍历收敛速度的原始-对偶间隙函数的结果建立，其中$N$表示的迭代计数器。当其中一个分量函数是强凸的时，通过自适应地选择一些算法参数，可以得到更快的${\cal O}(1/N^2)$遍历收敛速度结果.此外，当两个分量函数都是强凸时，得到了非遍历线性收敛结果。矩阵对策和LASSO问题的数值实验表明了所提出的线搜索策略的有效性。
2021-05-15 math.OC
Stochastic Primal-Dual Method for Empirical Risk Minimization with $\mathcal{O}(1)$ Per-Iteration Complexity
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）；University of California, Davis（加州大学戴维斯分校）；University of Rochester（罗切斯特大学）
带线性预测的正则化经验风险最小化问题是机器学习中经常出现的问题。在本文中，我们提出了一个新的随机原始-对偶方法来解决这类问题。与现有的方法不同，我们提出的方法在每次迭代中只需要O（1）操作。我们还开发了一个方差减少变量的算法，线性收敛。数值实验表明，我们的方法比现有的，如近端SGD，SVRG和SAGA高维问题的速度。
2018-11-03 cs.LG math.OC
Adaptive Similar Triangles Method: a Stable Alternative to Sinkhorn's Algorithm for Regularized Optimal Transport
在本文中，我们的动机是两个重要的应用：熵正则化的最优输运问题和道路或IP交通需求矩阵估计的熵模型。这两种方法都是求解一类特殊的带有线性等式约束的最优化问题，其目标函数为一个熵正则化子和一个线性函数之和。众所周知，当熵正则化参数很小时，基于Sinkhorn方法（也称为RSA或平衡方法）的最先进的求解器可能无法工作。我们将上述最优化问题看作是一般强凸优化问题的一个特例，该问题具有线性约束。我们提出了一个新的算法来解决这类问题。我们的方法是基于过渡到对偶问题。首先，我们提出了一种新的加速梯度法，梯度的Lipschitz常数的自适应选择。然后，我们应用这种方法的对偶问题，并显示，如何重建一个近似解的原始问题的可证明的收敛速度。我们证明了率$O(1/k^2)$，$k$是迭代计数器，无论是原始目标残差的绝对值和约束不可行。我们的方法具有类似的Sinkhorn的方法的每次迭代的复杂性，但更快，更稳定的数值，当正则化参数是小的。我们通过数值实验说明了我们的方法的优势，为上述两个应用。我们表明，存在一个阈值，这样，当正则化参数小于这个阈值，我们的方法优于辛霍恩的方法在计算时间方面。
2017-09-26 math.OC
A Coordinate Descent Primal-Dual Algorithm with Large Step Size and Possibly Non Separable Functions
本文介绍了一种坐标下降的版本的Vendel-Condat算法。通过坐标下降，我们的意思是每次迭代时只更新原始迭代和对偶迭代的坐标子集，其他坐标保持为过去的值。我们的方法使我们能够解决最优化问题的组合可微函数，约束以及不可分离和不可微的正则化。我们表明，我们的算法产生的序列收敛到一个鞍点的问题的利害关系，比以前的方法更广泛的参数值。特别是，步长的条件取决于可微函数梯度的坐标方向Lipschitz常数，这是经典坐标下降在适用时表现良好的主要特征。然后，我们证明了一个次线性的收敛速率在一般情况下和一个线性的收敛速率，如果目标具有强凸性。我们说明了该算法的性能的全变分正则化最小二乘回归问题和大规模的支持向量机问题。
2018-02-02 math.OC
A fast Primal-Dual-Active-Jump method for minimization in $\operatorname{BV}((0,T);\mathbb{R}^d)$
分析了区间$I$上有界变差的$\mathbb{R}^d$值函数空间上极小化问题的求解方法。所提出的方法依赖于分段常数迭代。在每次迭代中，该算法交替提出一个新的点，在该点上允许不连续，并优化其跳跃的幅度以及偏移。在一般情况下，得到了目标函数值的次线性$\mathcal{O}(1/k)$收敛速度。在对偶变量的附加结构假设下，对于某些$ζ<1$，这可以改进为局部线性收敛速率$\mathcal{O}(ζ^k)$。此外，在这种情况下，对于$L^1(I;\mathbb{R}^d)$中的迭代可以预期相同的速率。
2021-06-01 math.OC
Technical Report: Distributed Asynchronous Large-Scale Mixed-Integer Linear Programming via Saddle Point Computation
我们通过分布式异步鞍点计算求解大规模混合整数线性规划。这是由于MILP能够在多代理自治中建模问题，例如，多机器人系统中具有避碰约束的任务分配和轨迹规划问题。为了解决MILP，我们放松它与非线性程序近似，其精度收紧代理的数量增加相对于耦合约束的数量。接下来，我们形成一个等价的拉格朗日鞍点问题，然后在原始空间和对偶空间中正则化拉格朗日，以创建一个正则化的拉格朗日是强凸-强凹的。然后，我们开发了一个并行算法来计算正则化拉格朗日的鞍点。该算法将问题划分为原始或对偶决策变量的标量或子向量块，并且在原始和对偶变量的计算和通信中显示出容忍冗余。给出了收敛到鞍点的次优界和收敛速度。次优性界包括（i）正则化拉格朗日量引起的正则化误差和（ii）原始MILP和其松弛形式的解之间的次优性间隙。仿真结果说明了这些理论在实践中的发展，并表明松弛和正则化一起得到的解决方案的质量只有轻微的影响。
2022-11-21 math.OC
Solving the L1 regularized least square problem via a box-constrained smooth minimization
本文对L1正则化最小二乘问题提出了一个等价的光滑极小化方法。所提出的问题是一个凸盒约束光滑最小化，允许应用快速最优化方法找到它的解决方案。进一步研究了L1正则化最小二乘问题的“对偶的对偶是原始的”性质。光滑问题的求解器提出，并显示其亲和力的近端梯度。最后，对L1和全变差正则化问题进行了实验，并给出了相应的结果。
2021-10-20 cs.CV math.OC
Primal-Dual Block Frank-Wolfe
UT Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊）
我们提出了一个变种的Frank-Wolfe算法解决一类稀疏/低秩优化问题。我们的公式包括弹性网络，正则化支持向量机和相位恢复作为特殊情况。提出的原始-对偶块Frank-Wolfe算法在保持线性收敛速度的同时降低了每次迭代的代价。我们的方法的每次迭代成本取决于解决方案的结构复杂性（即稀疏性/低秩），而不是环境维度。我们的经验表明，我们的算法优于最先进的方法（多类）分类任务。
2019-06-06 cs.LG math.OC stat.ML
Online Primal-Dual Methods with Measurement Feedback for Time-Varying Convex Optimization
本文讨论了基于反馈的在线算法的设计和分析，控制系统或网络系统的性能目标和工程约束，可能会随着时间的推移而演变。新兴的时变凸优化形式主义是利用模型的最佳操作轨迹的系统，以及明确的本地和网络级的操作约束。与现有的批处理和前馈优化方法不同，算法的设计利用了原始-对偶投影梯度法的在线实现;然而，梯度步骤被适当地修改以适应来自系统的以测量形式的反馈-因此，术语“具有反馈的在线优化”。“凭借这种方法，所得到的算法可以处理系统状态和输出的代数表示中的模型失配，它们避免了对外源输入的普遍测量，并且它们自然地适合于分布式实现。在适当的假设下，建立了基于动态后悔的分析收敛性声明。此外，当基于反馈的在线算法的合成是基于正则化拉格朗日函数，Q-线性收敛到时变最优化问题的解决方案。
2019-03-06 math.OC
A golden ratio primal-dual algorithm for structured convex optimization
设计、分析和测试了一种求解结构凸优化问题的黄金比例原始对偶法（GRPDA），其中目标函数是两个闭正常凸函数之和，其中一个函数包含一个线性变换的复合函数. GRPDA保留了经典原始对偶法（PDA）的所有有利特征，即，原始变量和对偶变量以Gauss-Seidel方式更新，并且每次迭代成本由两个分量函数和两个矩阵-向量乘法的邻近点映射的评估来支配。与传统的PDA相比，GRPDA的新颖之处在于它是基于基本上整个迭代轨迹的凸组合构造的。我们发现，GRPDA收敛在一个更广泛的参数范围内比经典的PDA，只要倒数的凸组合参数是有界的黄金分割比，这解释了算法的名称。基于原始-对偶间隙函数，建立了O（1/N）遍历收敛速度的结果，其中N表示迭代次数。当原问题或对偶问题为强凸问题时，构造了一个加速GRPDA，将遍历收敛速度从O（1/N）提高到O（1/N2）.此外，我们证明了正则化最小二乘和线性等式约束问题的凸组合参数的倒数可以从黄金分割率扩展到2，同时可以采取松弛步骤。通过对LASSO、非负最小二乘和极大极小矩阵对策问题的数值计算，并与现有算法进行比较，验证了本文算法的有效性.
2020-08-29 math.OC
Efficient and robust high-dimensional sparse logistic regression via nonlinear primal-dual hybrid gradient algorithms
逻辑斯谛回归是一种广泛使用的统计模型，用于描述数据集中二元响应变量和预测变量之间的关系。它通常用于机器学习，以识别重要的预测变量。这个任务，变量选择，通常相当于拟合由$\ell_1$和$\ell_{2}^{2}$惩罚的凸组合正则化的逻辑斯谛回归模型。由于现代大数据集可能包含数十万到数十亿个预测变量，因此变量选择方法依赖于高效和强大的优化算法来执行。然而，最先进的变量选择算法传统上并不是为了处理大数据集而设计的;它们要么规模很小，要么容易产生不可靠的数值结果。因此，在无法获得足够且昂贵的计算资源的情况下对大数据集执行变量选择仍然具有挑战性。在本文中，我们提出了一个非线性的原始对偶法，解决这些缺点。具体而言，我们提出了一种迭代算法，可证明计算的解决方案，逻辑斯谛回归问题的正则化弹性净罚款在$O(T(m,n)\log(1/ε))$操作，其中$ε\in (0,1)$表示的公差和$T(m,n)$表示的算术运算的数量与$m$样本，每个包括$n$功能的数据集上执行矩阵向量乘法。这一结果改善了一阶优化方法，如经典的原始-对偶混合梯度或向前-向后分裂方法的$O(\min(m^2n,mn^2)\log(1/ε))$的已知复杂性界。
2021-12-28 cs.LG math.OC
Hamiltonian Primal-Dual Policy Reinforcement Learning for Derivative-Free Model-Based Control
The Pennsylvania State University（宾夕法尼亚州立大学）
针对无法获取导数的基于模型控制难题，提出HPDPO框架，通过前向模拟与哈密尔顿对偶结构结合，在多类控制问题上复现了参考结果，验证了其有效性。
2026-10-14 math.OC
Drago: Primal-Dual Coupled Variance Reduction for Faster Distributionally Robust Optimization
University of Washington（华盛顿大学）；University of Wisconsin（威斯康星大学）
针对含闭合凸不确定性集的惩罚分布式鲁棒优化（DRO）问题，提出随机原对偶算法Drago，结合循环与随机组件及正则化原更新实现对偶方差减少，在强凸-强凹DRO问题上获线性收敛速率，数值基准验证了理论结果。
2025-02-11 cs.LG math.OC stat.ML
Convergence Analysis of Hessian-Damped Tikhonov Regularized Dynamics with Oscillation Control for Convex-Concave Bilinear Saddle Point Problems
School of Mathematical Sciences, University of Electronic Science and Technology of China（电子科技大学数学科学学院）
本文提出一种通用的二阶原始对偶动力系统，结合Tikhonov正则化和Hessian驱动阻尼，用于求解凸凹双线性鞍点问题。通过构造Lyapunov函数分析了系统的渐近收敛性，证明了轨迹强收敛于最小范数解，并抑制了振荡。
2026-05-12 math.DS math.OC
A Nonconvex Proximal Splitting Algorithm under Moreau-Yosida Regularization
我们解决高度非凸，非光滑的复合最优化问题，其目标包括一个Moreau-Yosida正则化项。经典的非凸邻近分裂算法，如非凸ADMM，对这样的问题类缺乏收敛性。为了克服这一困难，在这项工作中，我们考虑一个提升的Moreau-Yosida正则化模型的变体，并提出了一种新的多块原始对偶法，本质上稳定的双块。我们提供了一个全收敛分析，我们的算法，并确定各自的最优资格下，原始模型的平稳收敛。在数值上，我们证明了Moreau-Yosida正则化模型的相关性以及我们的算法在鲁棒回归以及联合特征选择和半监督学习上的效率。
2018-02-26 math.OC
Non-Euclidean dual gradient ascent for entropically regularized linear and semidefinite programming
提出一种基于 von Neumann 熵正则化与对偶梯度上升的优化框架，在半定规划与线性规划中实现了维度无关的收敛速率与计算缩放。
2025-07-01 cs.NA math.NA math.OC
Tikhonov Regularized Iterative Methods for Nonlinear Problems
考虑实希尔伯特空间中的单调包含问题。近似分裂算法是求解该问题的一种常用方法，在较弱的假设条件下，近似分裂算法通常具有弱收敛性。研究者假设所考虑的算子具有强凸性或强单调性等强条件来证明算法的强收敛性。Mann迭代法和正规S-迭代法是求解不动点问题的常用方法。利用Tikhonov正则化方法，提出了一种新的基于正规S-迭代法的公共不动点算法，在不假设强凸性和强单调性的情况下，证明了所生成的序列强收敛于公共不动点集.在已有的不动点算法的基础上，我们提出了一种与Tikhonov正则化相结合的求解单调包含问题的前向后型算法和Douglas-Rachford算法.此外，我们考虑了目前非常流行的结构复杂的单调包含问题。我们还提出了一个强收敛的前向后型原始对偶法和一个Douglas-Rachford型原始对偶法来解决单调包含问题。最后，我们进行了一个数值实验来解决图像去模糊问题。
2022-05-04 math.FA math.OC
On the Relationship Between CoCoA and ADMM for Distributed Empirical Risk Minimization
Department of Industrial & Systems Engineering, University of Wisconsin–Madison（工业与系统工程系，威斯康星大学麦迪逊分校）
本文从统一原始-对偶视角揭示CoCoA与ADMM两类分布式ERM算法的内在联系，证明岭正则化下CoCoA等价于特定近端ADMM方案，并给出ADMM型方法的统一收敛分析和早停准则。
2026-06-28 cs.LG math.OC stat.ML
Distributed Regularized Dual Gradient Algorithm for Constrained Convex Optimization over Time-Varying Directed Graphs
研究了多智能体协作时变网络上的分布式最优化问题，其中每个智能体都有自己的决策变量，这些决策变量的设置应使其个体目标在局部约束和全局耦合约束下最小化.基于推和协议和对偶分解，设计了一种分布式正则化对偶梯度算法，该算法在时变有向图中实现，只需要通信矩阵的列随机性.通过在相应的拉格朗日函数上增加一个二次正则项，我们首先得到了拉格朗日乘子的上界，与大多数基于原-对偶的方法相比，该方法不需要构造包含对偶最优集的紧集.对强凸目标函数，本文方法的收敛速度达到了$\mathcal{O}(\ln T/T)$阶，其中$T$为迭代次数.此外，还给出了约束违反的显式界。最后，通过对网络效用最大化问题的数值计算，验证了算法的有效性。
2018-05-21 math.OC
Primal-dual multigrid methods for nonsmooth optimization
MODEMAT Research Center in Mathematical Modeling and Optimization（数学建模与优化模式研究中心）；Department of Mathematics, Escuela Politécnica Nacional (EPN)（国家理工大学数学系）；Department of Mathematics and Statistics, University of Helsinki（赫尔辛基大学数学与统计系）
针对优化领域中非光滑形式的极小化问题，本研究结合原始-对偶算法与多重网格技术，提出非光滑原始-对偶相容条件及部分线性化线搜索程序，在全变分正则化逆成像问题上验证了方法的有效性，可求解前向-后向多重网格方法无法处理的问题。
2026-08-06 cs.NA math.NA math.OC
A Primal Dual Active Set Algorithm with Continuation for Compressed Sensing
压缩感知的成功本质上依赖于有效地找到欠定线性系统的近似稀疏解的能力。本文通过将原对偶有效集策略与延拓技术（在正则化参数上）相结合，提出了求解稀疏促进$\ell_1$ -正则化最小二乘问题的一种有效算法。在有效集策略中，我们首先从原始变量和对偶变量中确定有效集，然后通过在有效集上求解一个低维最小二乘问题来更新原始变量和对偶变量，这使得算法非常高效。连续化技术使算法全局收敛，在限制等距性（RIP）下具有可证明的全局收敛性。此外，我们采用两种替代方法，即，修正的差异原则和贝叶斯信息准则，选择正则化参数。数值实验表明，我们的算法是非常有竞争力的国家的最先进的算法在精度和效率。
2013-12-26 cs.IT math.IT math.OC
