Stochastic Primal-Dual Algorithms with Faster Convergence than $O(1/\sqrt{T})$ for Problems without Bilinear Structure
The University of Iowa（爱荷华大学）；Nanjing University（南京大学）
以往的研究随机原始对偶算法求解极小极大问题的收敛速度更快，严重依赖于双线性结构的问题，这限制了他们的适用范围狭窄的问题。本文的主要贡献是设计和分析新的随机原始对偶算法，使用混合的随机梯度更新和对数数量的确定性的双重更新解决一个家庭的凹凸问题，没有双线性结构假设。在原变量和对偶变量上所涉及的函数满足一定条件的情况下，得到了比随机梯度更新次数为$T$的$O(1/\sqrt{T})$更快的收敛速度.例如，对于一类原变量具有弱强凸性且对偶变量具有强凹函数的问题，算法的收敛速度为$O(1/T)$ .我们还研究了所提出的算法学习鲁棒模型和经验AUC最大化的有效性。
2019-12-18 cs.LG math.OC stat.ML
Primal-dual residual networks
TU Braunschweig（布伦瑞克工业大学）
在这项工作中，我们提出了一个深神经网络架构的原始-对偶分裂方法从凸优化的动机。我们从理论上证明了导出的结构和剩余网络之间存在着密切的关系，并在数值实验中进一步研究了这种联系。此外，我们展示了我们的方法可以用来展开优化算法的某些问题的硬约束。使用语音去量化的例子，我们表明，我们的方法可以优于经典的分裂方法时，都适用于相同的任务。
2018-06-15 cs.LG math.OC stat.ML
ELF: Federated Langevin Algorithms with Primal, Dual and Bidirectional Compression
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
联邦采样算法最近在机器学习和统计学领域得到了广泛的应用。本文研究了这种算法的变种称为误差反馈Langevin算法（ELF）。特别是，我们分析了EF 21和EF 21-P的组合与联邦朗之万蒙特卡洛。我们提出了三种算法：P-ELF，D-ELF和B-ELF，分别使用原始，对偶和双向压缩器。在Log-Sobolev不等式下分析了所提出的方法，并给出了非渐近收敛保证.
2023-03-08 cs.LG math.OC stat.ML
Stochastic Primal-Dual Coordinate Method for Regularized Empirical Risk Minimization
我们考虑一个一般的凸优化问题与正则化的经验风险最小化的线性预测。问题结构允许我们将其重新表述为一个凹凸鞍点问题。我们提出了一种随机原始-对偶坐标（SPDC）方法，该方法在随机选择的对偶变量上最大化和原始变量上最小化之间交替。对原始变量执行外推步骤以获得加速的收敛速度。我们还开发了一个小批量版本的SPDC方法，便于并行计算，并与加权采样概率的对偶变量，这具有更好的复杂性比均匀采样非归一化数据的扩展。无论是理论上还是经验上，我们都证明了SPDC方法比几种最先进的最优化方法具有相当或更好的性能。
2015-09-09 math.OC stat.ML
Exploiting Strong Convexity from Data with Primal-Dual First-Order Algorithms
我们考虑了具有凸损失函数的线性预测的经验风险最小化问题。这类问题可以转化为凸-凹鞍点问题，因此非常适合于原始-对偶一阶算法。然而，原始对偶法通常需要显式强凸正则化以获得快速的线性收敛，并且所需的对偶邻近映射可能不允许封闭形式或有效解。在本文中，我们开发了批量和随机原始对偶法，可以利用强凸性的数据自适应，即使没有正则化，也能够实现线性收敛。我们还提出了自适应原始对偶法，不需要计算的对偶邻近映射，这是特别适合于逻辑斯谛回归的双自由的变种。
2017-03-07 math.OC stat.ML
A Primal-Dual Algorithmic Framework for Constrained Convex Minimization
我们提出了一个原始-对偶算法框架，以获得一个典型的约束凸优化问题的近似解，并严格表征常见的结构假设如何影响数值效率。我们的主要分析技术提供了一个新的视角Nesterov的过度差距技术在一个结构化的方式，并将其与平滑和原始对偶方法。例如，通过选择一个对偶平滑策略和一个中心点，我们的框架包括分解算法，增广拉格朗日以及交替方向法的乘数方法作为其特殊情况下，并提供最佳的收敛速度的原始目标残差以及原始可行性间隙的迭代。
2015-03-03 math.OC stat.ML
Linear Convergence of Randomized Primal-Dual Coordinate Method for Large-scale Linear Constrained Convex Programming
线性约束凸规划有许多实际应用，包括支持向量机和机器学习投资组合问题。我们提出了随机原对偶坐标（RPDC）方法，这是Cohen和Zhu，1984和Zhao和Zhu，2019的一阶原对偶方法的随机坐标扩展，用于求解线性约束凸规划。我们随机选择一个基于均匀分布的变量块，线性化，并将Bregman样函数（核心函数）应用于所选块，以获得简单的并行原始-对偶分解。在强度量次正则条件下，证明了算法的几乎处处收敛性和期望O（1/t）收敛速度，以及期望线性收敛.最后，我们讨论了随机原始-对偶坐标方法的实现细节，并对支持向量机和机器学习组合问题进行了数值实验，以验证其线性收敛。
2020-08-29 math.OC
Mini-Batch Primal and Dual Methods for SVMs
University of Edinburgh（爱丁堡大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
我们解决的问题，使用小批量随机优化的支持向量机。我们发现，相同的数量，谱范数的数据，控制的并行化加速获得原始随机次梯度下降（SGD）和随机双坐标上升（SCDA）的方法，并使用它来获得新的变种的小批量SDCA。我们的保证，这两种方法表示在原来的非光滑原始问题的基础上的铰链损失。
2013-03-10 cs.LG math.OC
Fenchel-Moreau Conjugation Inequalities with Three Couplings and Application to Stochastic Bellman Equation
给定“原始”集和“对偶”集之间的两个耦合，我们证明了一个一般性的蕴涵，它将一个涉及“原始”集的不等式与一个涉及“对偶”集的反向不等式联系起来.更准确地说，给定两个“原始”集合$\PRIMAL$、$\PRIMALBIS$和两个“对偶”集合$\DUAL$、$\DUALBIS$，以及两个{耦合}函数\(\PRIMAL \overset{\coupling}{\leftrightarrow} \DUAL \)和\(\PRIMALBIS \overset{\couplingbis}{\leftrightarrow} \DUALBIS \)。我们定义了一个新的耦合\(\SumCoupling{\coupling}{\couplingbis} \)之间的“原始”产品集$\PRIMAL \times \PRIMALBIS$和“对偶”产品集$\DUAL \times \DUALBIS$。然后，我们考虑任何二元函数\(\kernel : \PRIMAL \times \PRIMALBIS \to \barRR \)和一元函数\(\fonctionprimal : \PRIMAL \to \barRR \)和\(\fonctionprimalbis : \PRIMALBIS \to \barRR \)，所有定义在“原始”集。我们证明，\(\fonctionprimal\np{\primal} \geq …
2018-09-10 math.OC
A New Randomized Primal-Dual Algorithm for Convex Optimization with Optimal Last Iterate Rates
针对一类非光滑约束凸优化问题，提出了一种新的统一随机块坐标原始对偶法，该算法涵盖了文献中已有的不同变量和模型设置.我们证明了我们的算法达到最佳的$\mathcal{O}(n/k)$和$\mathcal{O}(n^2/k^2)$收敛速度（直到一个常数因子）在两种情况下：一般凸性和强凸性，分别，其中$k$是迭代计数器和n是块坐标的数量。我们的收敛速度是通过三个标准：原始目标残差和原始可行性违反，双重目标残差，和原始-对偶期望差距。此外，我们对原始问题的速度是在最后一个序列上。我们的对偶收敛保证还需要一个Lipschitz连续性假设。我们指定我们的算法来处理两个重要的特殊情况，我们的利率仍然适用。最后，我们验证了我们的算法在两个研究的数值例子，并比较它与现有的两种方法。我们的结果表明，所提出的方法具有令人鼓舞的性能在不同的实验。
2021-10-28 math.OC stat.ML
Primal-Dual Rates and Certificates
IBM Research（IBM研究院）；ETH Zürich（苏黎世联邦理工学院）；Lehigh University（理海大学）
我们提出了一个算法独立的框架，以装备现有的优化方法与原始双重证书。这种证书和相应的收敛率保证对于从业者诊断进展非常重要，特别是在机器学习应用中。我们得到了新的原始-对偶收敛速度，例如，Lasso以及许多L1，弹性网络，群Lasso和TV正则化问题。该理论适用于任何范数正则化的广义线性模型。我们的方法提供了有效的可计算的二元差距，这是全球性的定义，而不修改原来的问题在感兴趣的区域。
2016-06-02 cs.LG math.OC
A stochastic coordinate descent inertial primal-dual algorithm for large-scale composite optimization
考虑一种惯性原始对偶法，用于计算两个凸函数之和与另一个凸函数与一个连续线性算子的复合的极小化。利用坐标下降的思想，设计了一种随机坐标下降惯性原对偶分裂算法。此外，为了证明所提出的惯性算法的收敛性，我们首先构造了随机Krasnosel'skiii-Mann迭代算法的惯性版本，用于逼近非扩张算子的不动点集，并研究了它的收敛性。然后将随机Krasnosel'skiii-Mann迭代的惯性形式应用于邻近算子的合成，得到了随机坐标下降惯性原对偶分裂算法的收敛性.
2016-04-17 math.OC
A primal dual variational formulation suitable for a large class of non-convex problems in optimization
在这篇文章中，我们开发了一个新的原始对偶变分公式适用于一个大类的非凸变分问题。这些结果是通过凸分析、对偶理论、勒让德变换概念以及原始变量和对偶变量之间的关系等基本工具得到的。这里的新颖之处在于，对偶公式也是为原始变量建立的，但是具有关于临界点的大的域区域。最后，我们正式证明了在局部极值的情况下，原始和对偶公式之间没有对偶间隙。
2019-09-03 math.OC
A stochastic coordinate descent primal-dual algorithm with dynamic stepsize for large-scale composite optimization
本文考虑了两个凸函数之和与另一个凸函数与一个连续线性算子的复合的极小化问题。利用坐标下降的思想，设计了一种具有动态步长的随机坐标下降原对偶分裂算法。基于随机化的修正Krasnosel'skiii-Mann迭代和邻近算子的强非扩张性，我们证明了算法的收敛性.此外，我们给出了我们的方法的两个应用。
2016-04-14 math.OC
Stochastic Primal-Dual Coordinate Method for Nonlinear Convex Cone Programs
块坐标下降（BCD）方法及其变体在图像处理、机器学习、压缩感知等领域中被广泛应用于处理大规模无约束最优化问题，而非线性凸锥规划（NCCP）问题在耦合约束问题中具有重要的应用价值，但现有的块坐标下降方法难以解决这些问题.本文介绍了一种求解大规模非线性共形问题的随机原对偶坐标法。在这种方法中，我们根据均匀分布随机选择一组变量。线性化和Bregman样函数（核心函数）的随机选择的块允许我们得到简单的并行原始-对偶分解NCCP。证明了算法产生的序列几乎必然收敛于原问题的一个最优解。得到了两种不同概率（几乎必然和期望）的收敛速度。本文还导出了概率复杂度界。
2018-04-03 math.OC
The primal-dual hybrid gradient method reduces to a primal method for linearly constrained optimization problems
本文证明了对于线性约束最优化问题，Chambolle和Pock [3]分析的原始-对偶混合梯度算法可以写成完全原始算法。这使我们能够证明收敛的迭代，即使在退化的情况下，当线性系是不一致的，或当强对偶不成立。我们还获得了新的收敛速度，似乎改善现有的文献中。对于一个分散的分布式优化，我们表明，新的计划是更有效的比原来的。
2019-05-24 math.OC
Stochastic Primal-Dual Coordinate Method with Large Step Size for Composite Optimization with Composite Cone-constraints
我们引入了Cohen和Zhu（1984）以及Zhao和Zhu（2018）研究的一阶原始对偶方法的随机坐标扩展，以解决具有复合锥约束的复合优化（COCC）。在这种方法中，我们根据均匀分布随机选择一组变量。对随机选择的块的线性化和Bregman样函数（核心函数）允许我们得到简单的并行COCC原始-对偶分解。我们得到了几乎必然收敛性和O（1/t）的期望收敛速度.本文还导出了高概率复杂度界。
2019-05-02 math.OC
DSCOVR: Randomized Primal-Dual Block Coordinate Algorithms for Asynchronous Distributed Optimization
使用大数据的机器学习通常涉及大型最优化模型。对于机器集群上的分布式优化，所有模型参数（优化变量）的频繁通信和同步可能非常昂贵。一个有前途的解决方案是使用参数服务器来存储模型参数的不同子集，并使用本地数据集在不同的机器上异步更新它们。本文研究了具有凸损失函数的大型线性模型的分布式优化问题，提出了一类特别适合于参数服务器异步分布式实现的随机原-对偶块协调算法.特别是，我们的工作与鞍点制定这样的问题，它允许同时数据和模型分区，并利用其结构的双随机坐标优化与方差减少（DSCOVR）。与其他一阶分布式算法相比，我们表明，DSCOVR可能需要更少的整体计算和通信量，和更少或没有同步。我们讨论了DSCOVR算法的实现细节，并在工业分布式计算系统上进行了数值实验。
2017-10-13 math.OC stat.ML
A Fully Stochastic Primal-Dual Algorithm
提出了一种新的求解复合最优化问题的随机原始对偶法。假设进入最优化问题的所有函数/运算符都作为统计期望给出。这些期望是未知的，但通过i.i.d.随着时间的推移而揭示。实现。证明了该算法收敛于拉格朗日函数的一个鞍点。在单调算子理论的框架下，收敛性证明依赖于最近的结果随机向前向后算法涉及随机单调算子。考虑了随机线性约束下的凸优化问题。
2020-06-22 math.OC stat.ML
Block-coordinate primal-dual method for the nonsmooth minimization over linear constraints
本文研究了一类受线性约束的凸可分非光滑函数的极小化问题。我们提出的数值方法是Chambolle-Pock原始对偶法的块坐标扩展。我们证明了该方法的收敛性，而不诉诸假设，如光滑或强凸的目标，满秩条件的矩阵，强对偶性，甚至一致性的线性系。自由强加后一个假设允许收敛保证错误指定或嘈杂的系统。
2018-01-15 math.OC
When Does Primal Interior Point Method Beat Primal-dual in Linear Optimization?
本文证明纯原始内点法凭借其缩放矩阵的稳定性，可在接近收敛阶段利用预条件迭代求解器加速正规方程求解，从而在线性优化中超越原始-对偶内点法。
2024-11-24 math.OC
A Survey of Adwords Problem With Small Bids In a Primal-dual Setting: Greedy Algorithm, Ranking Algorithm and Primal-dual Training-based Algorithm
AdWords问题一直是一个有趣的互联网广告问题。有很多方法可以解决Adwords问题，包括贪婪算法，平衡算法和缩放出价算法，也称为MSVV。在这个调查中，我将回顾在原始-对偶设置下不同输入模型的Adwords问题，以及小出价假设。在第一节中，我将重点研究具有对抗性排序模型的Adwords，并利用对偶性证明了贪婪算法和MSVV算法的有效性。接下来，我将研究一种基于原始-对偶训练的算法，用于IID模型的Adwords问题。
2019-10-31 cs.DS math.OC
Accelerated primal-dual methods for linearly constrained convex optimization problems
提出了一个求解仿射约束凸优化的加速原-对偶动力系统，并给出了一类具有非遍历收敛速度的原-对偶方法。在连续层，建立了一个新的指数衰减的李雅普诺夫函数，在离散层，依次考虑了连续模型的隐式、半隐式和显式数值离散，从而得到了求解线性约束最优化问题的新的加速原-对偶方法.这些方案中的子问题的特殊结构被用来开发有效的内部求解器。此外，通过一个定制的离散李雅普诺夫函数，证明了非遍历收敛速度的原始-对偶间隙，原始目标残差和可行性违反。此外，我们的方法也被应用到分散的分布式优化快速和有效解。
2022-04-09 math.OC
A primal dual variational formulation and a multi-duality principle for a non-linear model of plates
本文为Kirchhoff-Love非线性板模型建立了一个新的原始对偶公式。首先通过对偶形式建立了一个包含全局最优性充分条件的对偶原理。在这一点上，我们强调这个第一对偶原理是特别适合的情况下，其中的膜应力张量是负定的。在第二步中，从这样一个一般原则，我们开发了一个原始的对偶变分制剂，其中还包括相应的充分条件的全局最优性。结果是基于标准工具的凸分析和一个众所周知的Toland直流优化的结果。最后，在最后一节中，我们给出了一个多重对偶原理以及原始和对偶公式的临界点之间的定性关系。我们正式证明了在局部极值的情况下，这种原始和对偶公式之间没有对偶差距。
2020-05-13 math.OC
Can Primal Methods Outperform Primal-dual Methods in Decentralized Dynamic Optimization?
本文研究了多智能体网络上的分散动态最优化问题。每个智能体拥有一个时变的局部目标函数，所有智能体的目标是协同跟踪漂移的全局最优解，最小化所有局部目标函数的总和。分散动态最优化问题可以用原始方法或原始-对偶方法求解，当问题退化为静态时，已有文献证明原始-对偶方法优于原始方法。这促使我们问：在分散式动态最优化中，原始对偶方法一定比原始方法好吗？为了回答这个问题，我们调查和比较原始方法，扩散，和原始-对偶方法，分散梯度跟踪（DGT）的收敛特性。理论分析表明，在一定的动态设置扩散可以优于DGT。我们发现，DGT和扩散显着影响的漂移和最佳梯度的大小，分别。此外，我们发现，DGT是更敏感的网络拓扑结构，一个坏连接的网络可以大大恶化其收敛性能。这些结论为在不同的应用场景中选择合适的动态算法提供了指导。数值实验验证了理论分析的正确性。
2020-03-02 math.OC
Asymptotic convergence of constrained primal-dual dynamics
利用稳定性分析中的经典概念研究了求解约束凹最优化问题的原-对偶动力学的渐近收敛性质。我们提供了一个例子，排除了采用混合自动机的不变原理来研究渐近收敛的可能性，激发了这项研究的需要。我们理解的解决方案的原始对偶动力学在Caratheodory意义上，并描述其存在性，唯一性和连续性的初始条件。利用不连续Caratheodory系统的不变原理，证明了原-对偶优化器在原-对偶动力学下是全局渐近稳定的，并且动力学的每个解都收敛于一个优化器.
2015-10-07 math.OC
A stochastic coordinate descent splitting primal-dual fixed point algorithm and applications to large-scale composite optimization
受Chen，Huang和Zhang最近的结果的启发，从基于邻近算子的不动点算法的角度考虑了求两个凸函数之和的极小值以及另一个凸函数与连续线性算子的复合的极小值问题.利用坐标下降的思想，设计了一种随机坐标下降分裂原始-对偶不动点算法.基于随机Krasnosel'skii mann迭代和邻近算子的强非扩张性质，我们证明了算法的收敛性。
2016-04-14 math.OC
Accelerated Primal Dual Method for a Class of Saddle Point Problem with Strongly Convex Component
本文提出了一种简单的原始对偶方法DPD，它是求解一类具有或不具有强凸分支的鞍点问题的灵活框架。该方法有线性化形式LDPD和精确化形式EDPD。DPD的每次迭代通过简单的邻近映射顺序地更新对偶变量和原始变量，并通过外推来细化对偶变量。光滑或强凸原始分量的收敛性分析恢复了以前的最先进的结果，而强凸对偶分量的收敛性分析获得了原始对偶间隙的完全加速$O(1/k^2)$。通过对高斯噪声和椒盐噪声图像的全变差图像去模糊实验，证明了利用对偶分量的强凸性实现全变差加速的有效性。
2019-07-14 math.OC
First-order primal-dual methods for nonsmooth nonconvex optimisation
我们提供了一个概述的原始对偶法的非光滑和非凹凸鞍点问题。这围绕着一个新的分析方法，使用Bregman分歧制定简化的收敛条件。
2020-08-05 math.OC
Primal-dual mirror descent for the stochastic programming problems with functional constraints
针对带函数约束的凸优化问题，提出了原始-对偶随机镜像下降算法。我们得到的收敛速率的大偏差的概率。
2017-07-30 math.OC
Convergence Analysis of Quantized Primal-dual Algorithm in Network Utility Maximization Problems
研究了网络效用最大化问题的量化原始对偶法的渐近性和非渐近性，其中一组智能体在线性约束下最大化各自凹目标函数之和.在渐近的情况下，我们使用的信息理论的概念，微分熵功率建立普遍的联合原始对偶，原始和对偶变量的指数收敛速度的最佳实现量化方案下的下界。这些结果提供了指数收敛速度，代理目标函数，通信比特率，代理和约束的数量之间的权衡。在非渐近的情况下，我们得到了联合原始对偶，原始和对偶变量的均方距离的下界从任何有限时间的最优解。无论使用何种量化方案，这些界限都成立。
2016-04-22 math.OC
A primal dual formulation through a proximal approach for non-convex variational optimization
本文开发了一个原始对偶制定的原始近似方法适用于一个大类的非凸模型的变分法。通过标准工具的泛函分析，凸分析和对偶理论的结果，并施加到Ginzburg-Landau型模型。最后，在最后两节中，我们给出了模型的最优性条件和另一个对偶原理。
2021-07-25 math.OC
A Primal Dual Active Set with Continuation Algorithm for the \ell^0-Regularized Optimization Problem
针对压缩感知中经常出现的\ell^0 -正则化最小二乘问题，提出了一种原始对偶活动集延拓算法。该算法将原对偶有效集方法与正则化参数的延拓策略相结合。在每次内迭代中，它首先从原始变量和对偶变量中识别出活动集，然后通过求解定义在活动集上的（通常很小的）最小二乘问题来更新原始变量，从中可以显式地更新对偶变量。在感测矩阵上的某些条件下，即，互相关性质或约束等距性质以及噪声水平，建立了算法的有限步整体收敛性。大量的数值例子来说明该算法的效率和精度和收敛性分析。
2014-03-03 cs.IT math.IT math.OC
Inertial primal-dual methods for linear equality constrained convex optimization problems
本文提出了一种求解线性等式约束凸优化问题的惯性加速原-对偶方法。当目标函数具有“非光滑+光滑”的复合结构时，通过对光滑个体函数进行线性化，并不精确地求解子问题，提出了一种不精确惯性原对偶方法.仅假设凸性，我们证明了所提出的方法享有$\mathcal{O}(1/k^2)$收敛速度的目标残差和可行性违反的原始模型。数值结果表明所提出的方法的有效性。
2021-06-29 math.OC
Totally Asynchronous Primal-Dual Convex Optimization in Blocks
提出了一种求解约束凸优化问题的并行原始对偶法。该算法是“基于块的”，因为原始和对偶变量的向量被划分成块，每个块仅由单个处理器更新。我们考虑四种可能的形式的通信：在更新原始变量，更新对偶变量，通信的原始变量，和通信的对偶变量。我们构建了一个家庭的明确的反例，以显示需要消除异步通信的对偶变量，虽然其他形式的同步是允许的，所有不需要限制延迟。一阶原始-对偶更新法的开发和证明是强大的。然后，我们推导出收敛速度的拉格朗日鞍点方面的操作代理执行，而不指定任何时间或模式，他们必须执行。这些收敛速度包括一个“模糊惩罚”，我们量化和目前的方法来减轻。数值结果说明了这些发展。
2022-05-03 math.OC
Fast primal-dual algorithm via dynamical system for a linearly constrained convex optimization problem
通过对具有阻尼$α/t$的二阶原-对偶动力系统进行时间离散，其中原变量只需要Nesterov意义下的惯性结构，提出了求解线性等式约束凸优化问题的一种快速原始对偶法.在适当的尺度条件下，我们证明了该算法对于目标残差和可行性违背具有快速的收敛速度，衰减速率最大可达$\mathcal{O}(1/k^{α-1})$.我们也研究了相应的原始-对偶动力系统的收敛性质，以更好地理解加速方案。最后，我们报告的数值实验，以证明所提出的算法的有效性。
2022-06-03 math.OC
A primal-dual flow for affine constrained convex optimization
针对仿射约束凸优化问题，提出了一种新的原始-对偶流。作为标准鞍点系统的一个改进，我们的原始-对偶流被证明具有指数衰减特性，在一个定制的李雅普诺夫函数。然后通过离散化得到两种原-对偶方法，并通过离散化的李雅普诺夫函数建立了全局非遍历线性收敛速率.而不是解决原始变量的子问题，我们应用半光滑牛顿迭代的子问题的乘数，提供了一些额外的属性，如半光滑性和稀疏性。特别地，对线性约束的$l_1$ - $l_2$最小化和基于全变分的图像去噪模型进行了数值试验。
2022-03-20 math.OC
Primal-dual method for searching equillibriums in mixed traffic assignment problems
我们考虑大型网络中交通流分布的混合模型（BMW模型，1954年和稳定动态模型，1999年）。我们建立了对偶问题，并考虑了对偶问题的原对偶镜像下降法。有两种方法可以恢复原始问题的解。第一种技术是基于“模型”的方法，第二个是基于拉格朗日乘子技术。这两种方法各有优缺点。我们讨论他们。
2018-08-15 math.OC
Primal and dual active-set methods for convex quadratic programming
提出了求解凸二次规划的计算方法。有效集方法被定义为一个特定的原始和对偶制定的QP一般等式约束和简单的下界的变量。在论文的第一部分，提出了两种方法，一个原始的和一个对偶。这些方法生成一系列的迭代，是可行的，相对于与原始对偶形式的最优性条件相关的等式约束。原始方法保持原始不等式的可行性，同时使对偶不等式的不可行性趋于零。对偶方法保持对偶不等式的可行性，同时移动到满足原始不等式。在这些方法中的每一个中，搜索方向满足由与适当的列基相关联的Hessian和约束分量形成的KKT方程组。的基础的组成是指定的有效集的策略，保证了非奇异性的每一组KKT方程。每一个建议的方法是一个传统的有效集方法的意义上说，一个初始的原始或双重可行点是必需的。在第二部分的文件中，它是如何解决的二次规划可以作为一个耦合对原始和对偶二次规划，同时转移的简单约束条件，并添加一个惩罚项的目标函数。任何传统的列基都可以成为这种移位惩罚问题的原始-对偶对的最优。然后使用原始或对偶移位问题的解更新移位。这种方法的一个明显的应用是求解移位的对偶QP，以定义原始的初始可行点（反之亦然）。一组凸问题的计算性能评估所提出的方法。
2015-12-30 math.OC
Distributed dual gradient methods and error bound conditions
本文提出了线性约束可分凸问题的分布式对偶梯度算法，并在不同的假设条件下分析了它们的收敛速率。在原目标函数的强凸性假设下，我们提出了两种分布式对偶快速梯度格式，证明了其对偶次优性的次线性收敛速率，以及原次优性和平均原序列或最后生成的原序列的可行性破坏。在原目标函数梯度Lipshitz连续的附加假设下，我们证明了该对偶问题的全局误差界类型性质，然后分析了一个对偶梯度方案，并推导出了该方案的全局线性收敛速率。对于对偶和原次优性以及原可行性违反。我们还提供了最优潮流问题的数值模拟。
2014-02-03 math.OC
A Primal-Dual Method of Partial Inverses for Composite Inclusions
Spingarn的部分逆方法在非线性分析和优化中有许多应用。我们表明，它可以用来解决复合单调包含对偶，从而打开了一个新的应用范围的部分逆形式主义。所得到的原始-对偶分裂算法的多功能性说明通过应用程序结构单调包含和优化。
2013-10-04 math.OC
A universal convergence theorem for primal-dual penalty and augmented Lagrangian methods
本文提出一个普适收敛定理，统一并简化了非精确原始-对偶罚函数与增广拉格朗日方法的收敛性分析，并显著改进了若干现有方法的收敛结果。
2025-09-09 math.OC
Primal-dual optimization conditions for the robust sum of functions with applications
本文将对偶问题与DOI 10.1007/s11228-019-00515-2中引入的鲁棒和函数的任意线性扰动的最小化相关联。在适当的对偶性假设下，给出了原始最优解的存在性定理，刻画了原始-对偶最优集、原始最优集和对偶最优集的特征，并给出了鲁棒和函数的次微分公式.应用这些结果得到了次仿射函数（一类包含仿射函数的函数）的鲁棒和的简单公式，并得到了不相容凸不等式组存在最佳近似解的条件.
2019-11-06 math.OC
A Primal-Dual Smoothing Framework for Max-Structured Non-Convex Optimization
针对具有最大结构的非光滑非凸优化问题，提出原始-对偶平滑框架，分析两类平滑途径的梯度复杂度并改进现有最优预言机复杂度。
2023-07-17 math.OC
Non-Stationary First-Order Primal-Dual Algorithms with Faster Convergence Rates
本文提出了两种新的非平稳一阶原始对偶法来求解非光滑复合凸优化问题。与现有的原始-对偶方案的参数往往是固定的，我们的方法使用预定义的和动态的参数序列。我们证明了我们的第一个算法可以实现$\mathcal{O}(1/k)$收敛速度上的原始-对偶间隙，原始和对偶目标残差，其中$k$是迭代计数器。我们的速率是非遍历的（即，原始问题的最后一个序列和遍历（即，平均）序列的对偶问题，我们称之为半遍历率。通过修改步长更新规则，可以在原始目标残差上更快地提高该速率。当问题是强凸的，我们开发了第二个原始对偶法，表现出$\mathcal{O}(1/k^2)$收敛速度相同的三种类型的保证。再次通过修改步长更新规则，该速率在原始目标残差上变得更快。我们的原始对偶法是第一个实现这种快速的收敛速度保证温和的假设相比，现有的作品，尽我们所知。作为副产品，我们应用我们的算法来解决约束凸优化问题，并证明了相同的收敛速度的目标残差和可行性违反。我们仍然获得至少$\mathcal{O}(1/k^2)$率，即使当问题是“半强”凸。我们通过两个著名的数值例子验证我们的理论结果。
2020-07-10 math.OC
Strong asymptotic convergence of a slowly damped inertial primal-dual dynamical system controlled by a Tikhonov regularization term
本研究针对希尔伯特空间线性约束凸优化问题，提出带Tikhonov正则项的慢阻尼惯性原始-对偶动力系统，通过Lyapunov分析证明其轨迹强收敛至解集最小范数元并给出收敛速率，辅以数值实验验证理论。
2024-06-21 math.OC
Primal-dual dynamical systems with closed-loop control for convex optimization in continuous and discrete time
Chongqing University（重庆大学）；Chongqing Technology and Business University（重庆工商大学）；Sunway University（双威大学）
本文提出了一种带闭环控制的对偶动态系统，用于连续和离散时间下的凸优化问题，通过自适应步长的加速算法实现了快速收敛。
2026-02-28 math.OC
On the Convergence of Primal-Dual Proximal Incremental Aggregated Gradient Algorithms
在本文中，我们适应近似增量聚合梯度法的鞍点问题，这是由解耦线性变换的正则化经验风险极小化模型。首先，提出了带外推的原始-对偶近端增量聚集（PD-PIAG）方法。证明了平均迭代序列的原对偶间隙次线性收敛于0，且迭代序列收敛于某个鞍点。在$f$和$h^\ast$的强凸性下，证明了迭代序列线性收敛于鞍点。然后，我们提出了一个没有外推的PD-PIAG方法。在$f$的强凸性下，证明了迭代序列的原始-对偶间隙是次线性收敛的。
2019-11-13 math.OC
Convergence analysis of approximate primal solutions in dual first-order methods
对偶一阶方法是求解大规模凸优化问题的有力工具。虽然广泛的研究工作一直致力于研究其收敛性，明确的收敛速度的原始迭代只建立在全局Lipschitz连续的对偶梯度。这是一个相当严格的假设，不适用于几类重要的问题。在本文中，我们证明了原始收敛速度保证也可以得到的对偶梯度只有局部Lipschitz。我们分析的问题类承认一般的凸约束，包括非线性不等式，线性等式，和集合约束。作为一个近似的原始解决方案，我们采取最小的拉格朗日，计算时的对偶梯度。我们推导出这个近似原始解的误差界的对偶变量的误差，并建立收敛速度的对偶变量时，使用投影梯度或快速梯度法解决的对偶问题。通过结合这些结果，我们表明，次优性和不可行性的近似原始解迭代$k$不差于$O(1/\sqrt{k})$时，对偶问题的解决使用投影梯度法，和$O(1/k)$时，使用快速双梯度法。
2015-02-23 math.OC
Primal-dual splittings as fixed point iterations in the range of linear operators
本文研究实希尔伯特空间中带临界预条件的复合单调包含的松弛原始对偶法。我们的方法是基于新的结果上的渐近行为的Krasnosel'ski \u-Mann（KM）迭代定义的单调自伴线性算子的范围内。这些结果推广了以逼近不动点为目标的经典KM迭代的收敛性。我们证明了带有临界预条件子的松弛原始对偶法在具有非平凡核的特定单调自伴线性算子的值域内定义了KM迭代。然后，我们推导出我们的不动点的方法，原始-对偶迭代的范围内的线性算子的阴影弱收敛到这个向量子空间中的某个点，从我们得到的解决方案。这将（Condat 2013定理3.3）推广到包含临界预条件子的无限维松弛原始-对偶单调包含。道格拉斯-Rachford分裂（DRS）被解释为一个特殊的情况下，原始对偶法的步长是关键的，我们恢复经典的结果从这个新的角度来看。在全变差重建中，我们实现了带有临界预条件的松弛原始对偶法，并说明了它的灵活性和有效性。
2021-08-11 math.OC
Primal-Dual Gradient Flow Algorithm for Distributed Support Vector Machines
提出了一种求解分布式支持向量机（DSVM）问题的原始-对偶梯度流算法。一个网络的计算节点，每个携带一个子集的水平分区的大型数据集被认为是。节点被表示为动力系统与箭头Hurwicz-Uzawa梯度流动力学，来自拉格朗日函数的DSVM问题。首先证明了节点是无源动力系统。然后，利用Krasovskii型候选李雅普诺夫函数，证明了计算节点渐近收敛于最优原对偶解.
2018-09-10 math.OC
Towards Totally Asynchronous Primal-Dual Convex Optimization in Blocks
提出了一种求解约束凸优化问题的并行原始对偶法。该算法是“基于块的”，因为原始和对偶变量的向量被划分成块，每个块仅由单个处理器更新。我们考虑四种可能的形式的通信：在更新原始变量，更新对偶变量，通信的原始变量，和通信的对偶变量。我们明确地构造了一个家庭的反例，以排除允许异步通信的对偶变量，虽然其他形式的异步通信是允许的，所有不需要限制延迟。一阶更新法的开发和被证明是鲁棒的。然后，我们推导出收敛速度的拉格朗日鞍点方面的操作代理执行，而不指定任何时间或模式，他们必须执行。这些收敛速度包含作为特殊情况的同步算法，并用于量化“延迟惩罚”。“数值结果说明了这些发展。
2020-08-29 math.OC
A Primal-Dual Quasi-Newton Method for Exact Consensus Optimization
我们引入原始-对偶拟牛顿（PD-QN）方法作为求解分散最优化问题的近似二阶方法。PD-QN方法对共识最优化问题的原始变量和对偶变量执行拟牛顿更新，以找到增广拉格朗日的最优点。通过优化增广拉格朗日量，PD-QN方法能够以线性收敛速率找到一致性问题的精确解。我们推导出完全分散的拟牛顿更新，近似二阶信息，以减少相对于对偶方法的计算负担，并使该方法在病态问题中相对于一阶方法更具鲁棒性。形式上建立了PD-QN的线性收敛速率，数值上显示了相对于现有对偶方法和原始-对偶方法的强大性能优势。
2019-07-10 math.OC
An Inexact Primal-Dual Smoothing Framework for Large-Scale Non-Bilinear Saddle Point Problems
该研究提出非精确原始-对偶一阶平滑框架及随机版本，求解带原始强凸性的非双线性鞍点问题，显著提升原始预言复杂度，适配多函数约束凸优化时达已知最优预言复杂度。
2023-07-24 math.OC
