A New Primal-Dual Algorithm with Convex Combination and Extrapolation for Convex-Concave Saddle Point Problems with Nonlinear Coupling Term
School of Mathematics and Statistics, Guizhou University（贵州大学数学与统计学院）；School of Science, Lanzhou University of Technology（兰州理工大学理学院）
针对带非线性耦合项的凸-凹鞍点问题，提出一种结合凸组合和外推策略的原始-对偶算法PDAce，通过在线性化点处计算雅可比矩阵并将外推移至映射空间，消除非线性残差项，实现无需线搜索的全局收敛，收敛率为O(1/N)，加速版本aPDAce在强凸条件下达到O(1/N^2)甚至线性收敛。
2026-06-15 math.OC
A note on the convergence of the monotone inclusion version of the primal-dual hybrid gradient algorithm
该研究将Chambolle和Pock的原始-对偶混合梯度（PDHG）算法收敛性证明直接拓展到单调包含场景，完善了该算法的理论适用范围。
2023-11-07 cs.NA math.NA math.OC
Accelerated Bregman Primal-Dual methods applied to Optimal Transport and Wasserstein Barycenter problems
本文讨论了混合原始-对偶（HPD）型算法近似求解离散最优输运（OT）和Wasserstein重心（WB）问题的效率，有和没有熵正则化。我们的第一个贡献是分析表明，这些方法产生的最先进的收敛速度，无论是理论上和实践中。接下来，我们将Malitsky和Pock在2018年提出的带有线插值的HPD算法扩展到对偶空间具有Bregman散度的设置，并且对偶函数相对于Bregman核是强凸的。这种扩展产生了一种新的方法OT和WB问题的基础上平滑的目标，也实现了最先进的收敛速度。最后，我们引入了一个新的Bregman分歧的基础上缩放的熵函数，使算法数值稳定，减少平滑，导致稀疏的解决方案OT和WB问题。我们补充我们的研究结果与数值实验和比较。
2022-08-30 math.OC
Primal-Dual algorithms for Abstract convex functions with respect to quadratic functions
Warsaw University of Technology（华沙理工大学）；Systems Research Institute, PAS（波兰科学院系统研究所）
本文提出了一种针对抽象凸函数与二次函数关系的对偶算法，并通过数值实验验证了其收敛性。
2026-01-11 cs.NA math.NA math.OC
Primal-dual algorithm for weakly convex functions under sharpness conditions
针对弱凸复合优化问题，本文提出改进对偶间隙函数，并在其尖锐性条件下确定原始-对偶算法在鞍点附近的收敛区域，且通过数值算例及图像去噪、去模糊应用验证结果。
2024-10-28 cs.NA math.NA math.OC
New convergence analysis of a primal-dual algorithm with large stepsizes
本文考虑了一个用Fréchet可微$f$和$l^*$极小化$f(x)+h\square l(Ax)$的原始对偶法.这种原始对偶法在文献中有两个名称：基于邻近算子的原始对偶固定点算法（PDFP $^2$ O）和邻近交替预测-校正算法（PAPC）。在本文中，我们证明了它的收敛性的步长比现有的一个较弱的条件。在附加的假设下，证明了它的线性收敛.此外，我们证明了这个条件（步长的上界）是紧的，不能被削弱。这一结果也恢复了最近提出的正不定线性增广拉格朗日方法。此外，我们将这一结果应用到一个分散的共识算法PG-EXTRA，并推导出最弱收敛条件。
2021-01-31 cs.NA math.NA math.OC
Nonlinear preconditioned primal-dual method for a class of structured minimax problems
提出带投影的非线性预处理原始-对偶框架，通过定制预处理算子与构建分离超空间，求解非凸非凹非光滑鞍点问题，证明其收敛性并涵盖现有方法。
2024-01-10 cs.NA math.NA math.OC
On the Complexity Analysis of the Primal Solutions for the Accelerated Randomized Dual Coordinate Ascent
对偶一阶方法是求解大规模约束凸优化问题的基本方法。然而，当恢复原始解时，我们需要$T(ε^{-2})$迭代来获得$ε$ -最优原始解，当我们将算法应用于具有$T(ε^{-1})$迭代的非强凸对偶问题以获得$ε$ -最优对偶解时，其中$T(x)$可以是$x$或$\sqrt{x}$。本文证明了对于加速随机对偶坐标上升，原解和对偶解的迭代复杂性具有相同的$O\left(\frac{1}{\sqrtε}\right)$数量级。当对偶函数进一步满足二次函数增长条件时，通过在任意时间段重新启动算法，即使条件数未知，我们也建立了原解和对偶解的线性迭代复杂度。当应用于正则化的经验风险最小化问题时，我们证明了$O\left(n\log n+\sqrt{\frac{n}ε}\right)$在原始空间和对偶空间中的迭代复杂性，其中$n$是样本数。与基于平滑/正则化或催化剂还原的方法相比，我们的结果去掉了$\left(\log \frac{1}ε\right)$因子。据我们所知，这是第一次建立了基于对偶坐标上升的随机算法在原空间中的最优$O\left(\sqrt{\frac{n}ε}\right)$迭代复杂度。我们还建立了一些非光滑损失问题的加速线性复杂度，即，最小一乘偏差和SVM。
2019-08-15 cs.NA math.NA math.OC
Chambolle-Pock's Primal-Dual Method with Mismatched Adjoint
Chambolle和Pock的原始-对偶方法是一种广泛使用的求解各种最优化问题的算法，这些问题被写成凸-凹鞍点问题。每个更新步骤涉及前向线性算子及其伴随算子的应用。然而，在实际应用中，如计算机断层扫描，它往往是计算上有利的，以取代伴随算子的计算更有效的近似。这导致算法中的伴随失配。在强凸情形下，本文分析了Chambolle-Pock原对偶方法在非匹配伴随存在下的收敛性。我们提出了一个上界的原始解的错误，并推导出步长和温和的条件下，收敛到一个不动点仍然是有保证的。此外，我们显示线性收敛类似的Chambolle-Pock的原始-对偶方法的结果没有伴随失配。此外，我们说明了我们的研究结果的学术和现实世界的启发应用。
2022-10-12 cs.NA math.NA math.OC
An accelerated primal-dual flow for linearly constrained multiobjective optimization
本文提出一种连续时间的加速多目标原始-对偶流方法，通过引入新评价函数和Lyapunov函数分析其指数衰减率，并设计隐式-显式离散方案证明次线性收敛率。
2025-11-05 cs.NA math.NA math.OC
Primal-dual block-proximal splitting for a class of non-convex problems
我们开发了块结构适应的原始对偶法的非凸非光滑优化问题，其目标可以写为组合物$G(x)+F(K(x))$的非光滑块可分凸函数$G$和$F$与非线性Lipschitz可可微算子。我们的方法是改进的非线性原始-对偶邻近分裂方法，这样的问题没有块结构，这本身是基于原始-对偶邻近分裂方法的Chambolle和Pock凸问题。我们提出了个人的步长参数和加速规则的原始和对偶块的问题。这使得它们能够通过适应问题的结构来更快地收敛。对于迭代到临界点的平方距离，我们在不同的条件和步长参数的选择下显示了局部$O(1/N)$，$O(1/N^2)$和线性速率。最后，我们证明了实际的逆问题的方法的性能：扩散张量成像和电阻抗断层扫描。
2020-04-22 cs.NA math.NA math.OC
Convergence Properties of a Randomized Primal-Dual Algorithm with Applications to Parallel MRI
随机原始-对偶混合梯度（SPDHG）由Chambolle等人（2018）提出，是解决一些非光滑大规模最优化问题的有效算法。本文证明了它对凸但不一定是强凸泛函的几乎必然收敛。我们还研究了它的应用程序的并行磁共振成像重建，以测试性能的SPDHG。我们的数值结果表明，在一定范围内的设置SPDHG收敛速度显着快于它的确定性对应。
2021-03-31 cs.NA math.NA math.OC
Accelerated primal-dual dynamics and algorithms for convex optimization with nonlinear inequality constraints
School of Science, Xihua University（西华大学理学院）
针对带非线性不等式约束的凸优化，提出首个Nesterov型原始-对偶乘子框架，构造带Nesterov型消失阻尼的连续时间动力学并导出不精确加速算法，证明其可达𝒪(t⁻²)及𝒪(k⁻²)的收敛速率。
2026-09-23 cs.NA math.NA math.OC
Adaptive proximal algorithms for convex optimization under local Lipschitz continuity of the gradient
KU Leuven（鲁汶大学）；Kyushu University（九州大学）；AWS AI Labs（亚马逊云科技人工智能实验室）
提出自适应近端梯度法adaPG和自适应原始-对偶算法adaPD及其变体，利用局部光滑模量估计实现无回溯步长自适应，处理非光滑项，数值实验验证其优于现有方法。
2024-03-13 cs.LG math.OC
A mirror inertial forward-reflected-backward splitting: Global convergence and linesearch extension beyond convexity and Lipschitz smoothness
针对相对光滑性下的结构化非凸最小化问题，本文提出带对偶空间惯性步、允许负惯性值的Bregman惯性前向-反射-后向分裂算法，通过新乘积空间包络函数结合广义凹KL性质证明全局收敛性与速率，并给出线搜索扩展。
2022-12-03 math.OC
New Primal-Dual Algorithm for Convex Problems
本文提出一种基于两个新近端项的原始-对偶算法，用于凸-凹鞍点问题，实现O(1/N)收敛，强凸时加速至O(1/N^2)，并引入线搜索策略，实验验证其有效性。
2025-04-23 math.OC
Canonical Primal-Dual Method for Solving Non-convex Minimization Problems
University of Ballarat（巴拉瑞特大学）；The Australian National University（澳大利亚国立大学）
提出一种基于规范对偶理论的新原始-对偶算法，将非凸最小化问题重构为凸-凹鞍点优化问题，并通过二次扰动原始-对偶方法求解，数值实验表明性能优于现有方法。
2012-12-28 cs.DS cs.NA math.NA
Variance Reduction via Primal-Dual Accelerated Dual Averaging for Nonsmooth Convex Finite-Sums
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们研究了结构化非光滑凸有限和优化，它广泛地出现在机器学习应用中，包括支持向量机和最小绝对偏差。对于这个问题的原始-对偶公式，我们提出了一种新的算法称为\emph{Variance Reduction via Primal-Dual Accelerated Dual Averaging (\vrpda)}。在非光滑和一般凸设置中，\vrpda ~具有根据原始-对偶间隙的总体复杂度$O(nd\log\min \{1/ε, n\} + d/ε)$，其中$n$表示样本的数量，$d$表示原始变量的维度，并且$ε$表示期望的精度。在非光滑和强凸的情况下，\vrpda ~的整体复杂性在原始-对偶间隙和最优解与最优解之间的距离方面都变成了$O(nd\log\min\{1/ε, n\} + d/\sqrtε)$. \vrpda ~的这两个结果都以更简单和直接的方式显着改善了最先进的复杂性估计，即非光滑和一般凸设置的$O(nd\log \min\{1/ε, n\} + \sqrt{n}d/ε)$和非光滑和强凸设置的$O(nd\log \min\{1/ε, n\} + \sqrt{n}d/\sqrtε)$。此外，这两个复杂性都优于\emph{lower}边界的一般凸有限和，缺乏特定的（共同的）结构，我们认为。我们的理论结果得到了数值实验的支持，证实了\vrpda ~的竞争力的性能相比，国家的最先进的。
2021-04-07 cs.LG cs.NA math.NA
Two Adaptive Accelerated Golden Ratio Primal--Dual Algorithms With an Application to Poisson Imaging Problem
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；The University of Melbourne（墨尔本大学）
研究结构化凸优化问题，改进自适应扩展黄金比例原始对偶算法，证明原始步长上限冗余，无需步长上限、线搜索等，建立线性收敛，开发加速变体并证明遍历\(\mathcal O(1/N^2)\)收敛速度，数值实验验证方法有效性。
2026-08-04 math.OC
Fenchel-Moreau Conjugation Inequalities with Three Couplings and Application to Stochastic Bellman Equation
给定“原始”集和“对偶”集之间的两个耦合，我们证明了一个一般性的蕴涵，它将一个涉及“原始”集的不等式与一个涉及“对偶”集的反向不等式联系起来.更准确地说，给定两个“原始”集合$\PRIMAL$、$\PRIMALBIS$和两个“对偶”集合$\DUAL$、$\DUALBIS$，以及两个{耦合}函数\(\PRIMAL \overset{\coupling}{\leftrightarrow} \DUAL \)和\(\PRIMALBIS \overset{\couplingbis}{\leftrightarrow} \DUALBIS \)。我们定义了一个新的耦合\(\SumCoupling{\coupling}{\couplingbis} \)之间的“原始”产品集$\PRIMAL \times \PRIMALBIS$和“对偶”产品集$\DUAL \times \DUALBIS$。然后，我们考虑任何二元函数\(\kernel : \PRIMAL \times \PRIMALBIS \to \barRR \)和一元函数\(\fonctionprimal : \PRIMAL \to \barRR \)和\(\fonctionprimalbis : \PRIMALBIS \to \barRR \)，所有定义在“原始”集。我们证明，\(\fonctionprimal\np{\primal} \geq …
2018-09-10 math.OC
Playing with Duality: An Overview of Recent Primal-Dual Approaches for Solving Large-Scale Optimization Problems
Laboratoire d’Informatique Gaspard Monge（加斯帕尔·蒙日信息实验室）；CNRS（法国国家科学研究中心）
本文综述了近期用于解决大规模优化问题的对偶方法，探讨了对偶问题在信号处理、计算机视觉和机器学习中的应用，强调了对偶算法在求解凸优化和离散问题中的优势。
2014-12-03 cs.CV cs.LG cs.NA
A primal dual variational formulation suitable for a large class of non-convex problems in optimization
在这篇文章中，我们开发了一个新的原始对偶变分公式适用于一个大类的非凸变分问题。这些结果是通过凸分析、对偶理论、勒让德变换概念以及原始变量和对偶变量之间的关系等基本工具得到的。这里的新颖之处在于，对偶公式也是为原始变量建立的，但是具有关于临界点的大的域区域。最后，我们正式证明了在局部极值的情况下，原始和对偶公式之间没有对偶间隙。
2019-09-03 math.OC
The primal-dual hybrid gradient method reduces to a primal method for linearly constrained optimization problems
本文证明了对于线性约束最优化问题，Chambolle和Pock [3]分析的原始-对偶混合梯度算法可以写成完全原始算法。这使我们能够证明收敛的迭代，即使在退化的情况下，当线性系是不一致的，或当强对偶不成立。我们还获得了新的收敛速度，似乎改善现有的文献中。对于一个分散的分布式优化，我们表明，新的计划是更有效的比原来的。
2019-05-24 math.OC
When Does Primal Interior Point Method Beat Primal-dual in Linear Optimization?
本文证明纯原始内点法凭借其缩放矩阵的稳定性，可在接近收敛阶段利用预条件迭代求解器加速正规方程求解，从而在线性优化中超越原始-对偶内点法。
2024-11-24 math.OC
Accelerated primal-dual methods for linearly constrained convex optimization problems
提出了一个求解仿射约束凸优化的加速原-对偶动力系统，并给出了一类具有非遍历收敛速度的原-对偶方法。在连续层，建立了一个新的指数衰减的李雅普诺夫函数，在离散层，依次考虑了连续模型的隐式、半隐式和显式数值离散，从而得到了求解线性约束最优化问题的新的加速原-对偶方法.这些方案中的子问题的特殊结构被用来开发有效的内部求解器。此外，通过一个定制的离散李雅普诺夫函数，证明了非遍历收敛速度的原始-对偶间隙，原始目标残差和可行性违反。此外，我们的方法也被应用到分散的分布式优化快速和有效解。
2022-04-09 math.OC
A primal dual variational formulation and a multi-duality principle for a non-linear model of plates
本文为Kirchhoff-Love非线性板模型建立了一个新的原始对偶公式。首先通过对偶形式建立了一个包含全局最优性充分条件的对偶原理。在这一点上，我们强调这个第一对偶原理是特别适合的情况下，其中的膜应力张量是负定的。在第二步中，从这样一个一般原则，我们开发了一个原始的对偶变分制剂，其中还包括相应的充分条件的全局最优性。结果是基于标准工具的凸分析和一个众所周知的Toland直流优化的结果。最后，在最后一节中，我们给出了一个多重对偶原理以及原始和对偶公式的临界点之间的定性关系。我们正式证明了在局部极值的情况下，这种原始和对偶公式之间没有对偶差距。
2020-05-13 math.OC
A Survey of Adwords Problem With Small Bids In a Primal-dual Setting: Greedy Algorithm, Ranking Algorithm and Primal-dual Training-based Algorithm
AdWords问题一直是一个有趣的互联网广告问题。有很多方法可以解决Adwords问题，包括贪婪算法，平衡算法和缩放出价算法，也称为MSVV。在这个调查中，我将回顾在原始-对偶设置下不同输入模型的Adwords问题，以及小出价假设。在第一节中，我将重点研究具有对抗性排序模型的Adwords，并利用对偶性证明了贪婪算法和MSVV算法的有效性。接下来，我将研究一种基于原始-对偶训练的算法，用于IID模型的Adwords问题。
2019-10-31 cs.DS math.OC
Can Primal Methods Outperform Primal-dual Methods in Decentralized Dynamic Optimization?
本文研究了多智能体网络上的分散动态最优化问题。每个智能体拥有一个时变的局部目标函数，所有智能体的目标是协同跟踪漂移的全局最优解，最小化所有局部目标函数的总和。分散动态最优化问题可以用原始方法或原始-对偶方法求解，当问题退化为静态时，已有文献证明原始-对偶方法优于原始方法。这促使我们问：在分散式动态最优化中，原始对偶方法一定比原始方法好吗？为了回答这个问题，我们调查和比较原始方法，扩散，和原始-对偶方法，分散梯度跟踪（DGT）的收敛特性。理论分析表明，在一定的动态设置扩散可以优于DGT。我们发现，DGT和扩散显着影响的漂移和最佳梯度的大小，分别。此外，我们发现，DGT是更敏感的网络拓扑结构，一个坏连接的网络可以大大恶化其收敛性能。这些结论为在不同的应用场景中选择合适的动态算法提供了指导。数值实验验证了理论分析的正确性。
2020-03-02 math.OC
Asymptotic convergence of constrained primal-dual dynamics
利用稳定性分析中的经典概念研究了求解约束凹最优化问题的原-对偶动力学的渐近收敛性质。我们提供了一个例子，排除了采用混合自动机的不变原理来研究渐近收敛的可能性，激发了这项研究的需要。我们理解的解决方案的原始对偶动力学在Caratheodory意义上，并描述其存在性，唯一性和连续性的初始条件。利用不连续Caratheodory系统的不变原理，证明了原-对偶优化器在原-对偶动力学下是全局渐近稳定的，并且动力学的每个解都收敛于一个优化器.
2015-10-07 math.OC
Accelerated Primal Dual Method for a Class of Saddle Point Problem with Strongly Convex Component
本文提出了一种简单的原始对偶方法DPD，它是求解一类具有或不具有强凸分支的鞍点问题的灵活框架。该方法有线性化形式LDPD和精确化形式EDPD。DPD的每次迭代通过简单的邻近映射顺序地更新对偶变量和原始变量，并通过外推来细化对偶变量。光滑或强凸原始分量的收敛性分析恢复了以前的最先进的结果，而强凸对偶分量的收敛性分析获得了原始对偶间隙的完全加速$O(1/k^2)$。通过对高斯噪声和椒盐噪声图像的全变差图像去模糊实验，证明了利用对偶分量的强凸性实现全变差加速的有效性。
2019-07-14 math.OC
First-order primal-dual methods for nonsmooth nonconvex optimisation
我们提供了一个概述的原始对偶法的非光滑和非凹凸鞍点问题。这围绕着一个新的分析方法，使用Bregman分歧制定简化的收敛条件。
2020-08-05 math.OC
Primal-dual mirror descent for the stochastic programming problems with functional constraints
针对带函数约束的凸优化问题，提出了原始-对偶随机镜像下降算法。我们得到的收敛速率的大偏差的概率。
2017-07-30 math.OC
Convergence Analysis of Quantized Primal-dual Algorithm in Network Utility Maximization Problems
研究了网络效用最大化问题的量化原始对偶法的渐近性和非渐近性，其中一组智能体在线性约束下最大化各自凹目标函数之和.在渐近的情况下，我们使用的信息理论的概念，微分熵功率建立普遍的联合原始对偶，原始和对偶变量的指数收敛速度的最佳实现量化方案下的下界。这些结果提供了指数收敛速度，代理目标函数，通信比特率，代理和约束的数量之间的权衡。在非渐近的情况下，我们得到了联合原始对偶，原始和对偶变量的均方距离的下界从任何有限时间的最优解。无论使用何种量化方案，这些界限都成立。
2016-04-22 math.OC
A primal dual formulation through a proximal approach for non-convex variational optimization
本文开发了一个原始对偶制定的原始近似方法适用于一个大类的非凸模型的变分法。通过标准工具的泛函分析，凸分析和对偶理论的结果，并施加到Ginzburg-Landau型模型。最后，在最后两节中，我们给出了模型的最优性条件和另一个对偶原理。
2021-07-25 math.OC
Inertial primal-dual methods for linear equality constrained convex optimization problems
本文提出了一种求解线性等式约束凸优化问题的惯性加速原-对偶方法。当目标函数具有“非光滑+光滑”的复合结构时，通过对光滑个体函数进行线性化，并不精确地求解子问题，提出了一种不精确惯性原对偶方法.仅假设凸性，我们证明了所提出的方法享有$\mathcal{O}(1/k^2)$收敛速度的目标残差和可行性违反的原始模型。数值结果表明所提出的方法的有效性。
2021-06-29 math.OC
Totally Asynchronous Primal-Dual Convex Optimization in Blocks
提出了一种求解约束凸优化问题的并行原始对偶法。该算法是“基于块的”，因为原始和对偶变量的向量被划分成块，每个块仅由单个处理器更新。我们考虑四种可能的形式的通信：在更新原始变量，更新对偶变量，通信的原始变量，和通信的对偶变量。我们构建了一个家庭的明确的反例，以显示需要消除异步通信的对偶变量，虽然其他形式的同步是允许的，所有不需要限制延迟。一阶原始-对偶更新法的开发和证明是强大的。然后，我们推导出收敛速度的拉格朗日鞍点方面的操作代理执行，而不指定任何时间或模式，他们必须执行。这些收敛速度包括一个“模糊惩罚”，我们量化和目前的方法来减轻。数值结果说明了这些发展。
2022-05-03 math.OC
Fast primal-dual algorithm via dynamical system for a linearly constrained convex optimization problem
通过对具有阻尼$α/t$的二阶原-对偶动力系统进行时间离散，其中原变量只需要Nesterov意义下的惯性结构，提出了求解线性等式约束凸优化问题的一种快速原始对偶法.在适当的尺度条件下，我们证明了该算法对于目标残差和可行性违背具有快速的收敛速度，衰减速率最大可达$\mathcal{O}(1/k^{α-1})$.我们也研究了相应的原始-对偶动力系统的收敛性质，以更好地理解加速方案。最后，我们报告的数值实验，以证明所提出的算法的有效性。
2022-06-03 math.OC
A primal-dual flow for affine constrained convex optimization
针对仿射约束凸优化问题，提出了一种新的原始-对偶流。作为标准鞍点系统的一个改进，我们的原始-对偶流被证明具有指数衰减特性，在一个定制的李雅普诺夫函数。然后通过离散化得到两种原-对偶方法，并通过离散化的李雅普诺夫函数建立了全局非遍历线性收敛速率.而不是解决原始变量的子问题，我们应用半光滑牛顿迭代的子问题的乘数，提供了一些额外的属性，如半光滑性和稀疏性。特别地，对线性约束的$l_1$ - $l_2$最小化和基于全变分的图像去噪模型进行了数值试验。
2022-03-20 math.OC
Primal-dual method for searching equillibriums in mixed traffic assignment problems
我们考虑大型网络中交通流分布的混合模型（BMW模型，1954年和稳定动态模型，1999年）。我们建立了对偶问题，并考虑了对偶问题的原对偶镜像下降法。有两种方法可以恢复原始问题的解。第一种技术是基于“模型”的方法，第二个是基于拉格朗日乘子技术。这两种方法各有优缺点。我们讨论他们。
2018-08-15 math.OC
Primal and dual active-set methods for convex quadratic programming
提出了求解凸二次规划的计算方法。有效集方法被定义为一个特定的原始和对偶制定的QP一般等式约束和简单的下界的变量。在论文的第一部分，提出了两种方法，一个原始的和一个对偶。这些方法生成一系列的迭代，是可行的，相对于与原始对偶形式的最优性条件相关的等式约束。原始方法保持原始不等式的可行性，同时使对偶不等式的不可行性趋于零。对偶方法保持对偶不等式的可行性，同时移动到满足原始不等式。在这些方法中的每一个中，搜索方向满足由与适当的列基相关联的Hessian和约束分量形成的KKT方程组。的基础的组成是指定的有效集的策略，保证了非奇异性的每一组KKT方程。每一个建议的方法是一个传统的有效集方法的意义上说，一个初始的原始或双重可行点是必需的。在第二部分的文件中，它是如何解决的二次规划可以作为一个耦合对原始和对偶二次规划，同时转移的简单约束条件，并添加一个惩罚项的目标函数。任何传统的列基都可以成为这种移位惩罚问题的原始-对偶对的最优。然后使用原始或对偶移位问题的解更新移位。这种方法的一个明显的应用是求解移位的对偶QP，以定义原始的初始可行点（反之亦然）。一组凸问题的计算性能评估所提出的方法。
2015-12-30 math.OC
Distributed dual gradient methods and error bound conditions
本文提出了线性约束可分凸问题的分布式对偶梯度算法，并在不同的假设条件下分析了它们的收敛速率。在原目标函数的强凸性假设下，我们提出了两种分布式对偶快速梯度格式，证明了其对偶次优性的次线性收敛速率，以及原次优性和平均原序列或最后生成的原序列的可行性破坏。在原目标函数梯度Lipshitz连续的附加假设下，我们证明了该对偶问题的全局误差界类型性质，然后分析了一个对偶梯度方案，并推导出了该方案的全局线性收敛速率。对于对偶和原次优性以及原可行性违反。我们还提供了最优潮流问题的数值模拟。
2014-02-03 math.OC
Exploiting Strong Convexity from Data with Primal-Dual First-Order Algorithms
我们考虑了具有凸损失函数的线性预测的经验风险最小化问题。这类问题可以转化为凸-凹鞍点问题，因此非常适合于原始-对偶一阶算法。然而，原始对偶法通常需要显式强凸正则化以获得快速的线性收敛，并且所需的对偶邻近映射可能不允许封闭形式或有效解。在本文中，我们开发了批量和随机原始对偶法，可以利用强凸性的数据自适应，即使没有正则化，也能够实现线性收敛。我们还提出了自适应原始对偶法，不需要计算的对偶邻近映射，这是特别适合于逻辑斯谛回归的双自由的变种。
2017-03-07 math.OC stat.ML
Linear Convergence of Randomized Primal-Dual Coordinate Method for Large-scale Linear Constrained Convex Programming
线性约束凸规划有许多实际应用，包括支持向量机和机器学习投资组合问题。我们提出了随机原对偶坐标（RPDC）方法，这是Cohen和Zhu，1984和Zhao和Zhu，2019的一阶原对偶方法的随机坐标扩展，用于求解线性约束凸规划。我们随机选择一个基于均匀分布的变量块，线性化，并将Bregman样函数（核心函数）应用于所选块，以获得简单的并行原始-对偶分解。在强度量次正则条件下，证明了算法的几乎处处收敛性和期望O（1/t）收敛速度，以及期望线性收敛.最后，我们讨论了随机原始-对偶坐标方法的实现细节，并对支持向量机和机器学习组合问题进行了数值实验，以验证其线性收敛。
2020-08-29 math.OC
A Primal-Dual Method of Partial Inverses for Composite Inclusions
Spingarn的部分逆方法在非线性分析和优化中有许多应用。我们表明，它可以用来解决复合单调包含对偶，从而打开了一个新的应用范围的部分逆形式主义。所得到的原始-对偶分裂算法的多功能性说明通过应用程序结构单调包含和优化。
2013-10-04 math.OC
A universal convergence theorem for primal-dual penalty and augmented Lagrangian methods
本文提出一个普适收敛定理，统一并简化了非精确原始-对偶罚函数与增广拉格朗日方法的收敛性分析，并显著改进了若干现有方法的收敛结果。
2025-09-09 math.OC
Primal-dual optimization conditions for the robust sum of functions with applications
本文将对偶问题与DOI 10.1007/s11228-019-00515-2中引入的鲁棒和函数的任意线性扰动的最小化相关联。在适当的对偶性假设下，给出了原始最优解的存在性定理，刻画了原始-对偶最优集、原始最优集和对偶最优集的特征，并给出了鲁棒和函数的次微分公式.应用这些结果得到了次仿射函数（一类包含仿射函数的函数）的鲁棒和的简单公式，并得到了不相容凸不等式组存在最佳近似解的条件.
2019-11-06 math.OC
A Primal-Dual Smoothing Framework for Max-Structured Non-Convex Optimization
针对具有最大结构的非光滑非凸优化问题，提出原始-对偶平滑框架，分析两类平滑途径的梯度复杂度并改进现有最优预言机复杂度。
2023-07-17 math.OC
Non-Stationary First-Order Primal-Dual Algorithms with Faster Convergence Rates
本文提出了两种新的非平稳一阶原始对偶法来求解非光滑复合凸优化问题。与现有的原始-对偶方案的参数往往是固定的，我们的方法使用预定义的和动态的参数序列。我们证明了我们的第一个算法可以实现$\mathcal{O}(1/k)$收敛速度上的原始-对偶间隙，原始和对偶目标残差，其中$k$是迭代计数器。我们的速率是非遍历的（即，原始问题的最后一个序列和遍历（即，平均）序列的对偶问题，我们称之为半遍历率。通过修改步长更新规则，可以在原始目标残差上更快地提高该速率。当问题是强凸的，我们开发了第二个原始对偶法，表现出$\mathcal{O}(1/k^2)$收敛速度相同的三种类型的保证。再次通过修改步长更新规则，该速率在原始目标残差上变得更快。我们的原始对偶法是第一个实现这种快速的收敛速度保证温和的假设相比，现有的作品，尽我们所知。作为副产品，我们应用我们的算法来解决约束凸优化问题，并证明了相同的收敛速度的目标残差和可行性违反。我们仍然获得至少$\mathcal{O}(1/k^2)$率，即使当问题是“半强”凸。我们通过两个著名的数值例子验证我们的理论结果。
2020-07-10 math.OC
Strong asymptotic convergence of a slowly damped inertial primal-dual dynamical system controlled by a Tikhonov regularization term
本研究针对希尔伯特空间线性约束凸优化问题，提出带Tikhonov正则项的慢阻尼惯性原始-对偶动力系统，通过Lyapunov分析证明其轨迹强收敛至解集最小范数元并给出收敛速率，辅以数值实验验证理论。
2024-06-21 math.OC
Primal-dual dynamical systems with closed-loop control for convex optimization in continuous and discrete time
Chongqing University（重庆大学）；Chongqing Technology and Business University（重庆工商大学）；Sunway University（双威大学）
本文提出了一种带闭环控制的对偶动态系统，用于连续和离散时间下的凸优化问题，通过自适应步长的加速算法实现了快速收敛。
2026-02-28 math.OC
On the Convergence of Primal-Dual Proximal Incremental Aggregated Gradient Algorithms
在本文中，我们适应近似增量聚合梯度法的鞍点问题，这是由解耦线性变换的正则化经验风险极小化模型。首先，提出了带外推的原始-对偶近端增量聚集（PD-PIAG）方法。证明了平均迭代序列的原对偶间隙次线性收敛于0，且迭代序列收敛于某个鞍点。在$f$和$h^\ast$的强凸性下，证明了迭代序列线性收敛于鞍点。然后，我们提出了一个没有外推的PD-PIAG方法。在$f$的强凸性下，证明了迭代序列的原始-对偶间隙是次线性收敛的。
2019-11-13 math.OC
Convergence analysis of approximate primal solutions in dual first-order methods
对偶一阶方法是求解大规模凸优化问题的有力工具。虽然广泛的研究工作一直致力于研究其收敛性，明确的收敛速度的原始迭代只建立在全局Lipschitz连续的对偶梯度。这是一个相当严格的假设，不适用于几类重要的问题。在本文中，我们证明了原始收敛速度保证也可以得到的对偶梯度只有局部Lipschitz。我们分析的问题类承认一般的凸约束，包括非线性不等式，线性等式，和集合约束。作为一个近似的原始解决方案，我们采取最小的拉格朗日，计算时的对偶梯度。我们推导出这个近似原始解的误差界的对偶变量的误差，并建立收敛速度的对偶变量时，使用投影梯度或快速梯度法解决的对偶问题。通过结合这些结果，我们表明，次优性和不可行性的近似原始解迭代$k$不差于$O(1/\sqrt{k})$时，对偶问题的解决使用投影梯度法，和$O(1/k)$时，使用快速双梯度法。
2015-02-23 math.OC
Primal-dual splittings as fixed point iterations in the range of linear operators
本文研究实希尔伯特空间中带临界预条件的复合单调包含的松弛原始对偶法。我们的方法是基于新的结果上的渐近行为的Krasnosel'ski \u-Mann（KM）迭代定义的单调自伴线性算子的范围内。这些结果推广了以逼近不动点为目标的经典KM迭代的收敛性。我们证明了带有临界预条件子的松弛原始对偶法在具有非平凡核的特定单调自伴线性算子的值域内定义了KM迭代。然后，我们推导出我们的不动点的方法，原始-对偶迭代的范围内的线性算子的阴影弱收敛到这个向量子空间中的某个点，从我们得到的解决方案。这将（Condat 2013定理3.3）推广到包含临界预条件子的无限维松弛原始-对偶单调包含。道格拉斯-Rachford分裂（DRS）被解释为一个特殊的情况下，原始对偶法的步长是关键的，我们恢复经典的结果从这个新的角度来看。在全变差重建中，我们实现了带有临界预条件的松弛原始对偶法，并说明了它的灵活性和有效性。
2021-08-11 math.OC
Primal-Dual Gradient Flow Algorithm for Distributed Support Vector Machines
提出了一种求解分布式支持向量机（DSVM）问题的原始-对偶梯度流算法。一个网络的计算节点，每个携带一个子集的水平分区的大型数据集被认为是。节点被表示为动力系统与箭头Hurwicz-Uzawa梯度流动力学，来自拉格朗日函数的DSVM问题。首先证明了节点是无源动力系统。然后，利用Krasovskii型候选李雅普诺夫函数，证明了计算节点渐近收敛于最优原对偶解.
2018-09-10 math.OC
