Fenchel-Moreau Conjugation Inequalities with Three Couplings and Application to Stochastic Bellman Equation
给定“原始”集和“对偶”集之间的两个耦合,我们证明了一个一般性的蕴涵,它将一个涉及“原始”集的不等式与一个涉及“对偶”集的反向不等式联系起来.更准确地说,给定两个“原始”集合$\PRIMAL$、$\PRIMALBIS$和两个“对偶”集合$\DUAL$、$\DUALBIS$,以及两个{耦合}函数\(\PRIMAL \overset{\coupling}{\leftrightarrow} \DUAL \)和\(\PRIMALBIS \overset{\couplingbis}{\leftrightarrow} \DUALBIS \)。我们定义了一个新的耦合\(\SumCoupling{\coupling}{\couplingbis} \)之间的“原始”产品集$\PRIMAL \times \PRIMALBIS$和“对偶”产品集$\DUAL \times \DUALBIS$。然后,我们考虑任何二元函数\(\kernel : \PRIMAL \times \PRIMALBIS \to \barRR \)和一元函数\(\fonctionprimal : \PRIMAL \to \barRR \)和\(\fonctionprimalbis : \PRIMALBIS \to \barRR \),所有定义在“原始”集。我们证明,\(\fonctionprimal\np{\primal} \geq …
2018-09-10 math.OC
Technical Report: Distributed Asynchronous Large-Scale Mixed-Integer Linear Programming via Saddle Point Computation
我们通过分布式异步鞍点计算求解大规模混合整数线性规划。这是由于MILP能够在多代理自治中建模问题,例如,多机器人系统中具有避碰约束的任务分配和轨迹规划问题。为了解决MILP,我们放松它与非线性程序近似,其精度收紧代理的数量增加相对于耦合约束的数量。接下来,我们形成一个等价的拉格朗日鞍点问题,然后在原始空间和对偶空间中正则化拉格朗日,以创建一个正则化的拉格朗日是强凸-强凹的。然后,我们开发了一个并行算法来计算正则化拉格朗日的鞍点。该算法将问题划分为原始或对偶决策变量的标量或子向量块,并且在原始和对偶变量的计算和通信中显示出容忍冗余。给出了收敛到鞍点的次优界和收敛速度。次优性界包括(i)正则化拉格朗日量引起的正则化误差和(ii)原始MILP和其松弛形式的解之间的次优性间隙。仿真结果说明了这些理论在实践中的发展,并表明松弛和正则化一起得到的解决方案的质量只有轻微的影响。
2022-11-21 math.OC
A primal dual variational formulation suitable for a large class of non-convex problems in optimization
在这篇文章中,我们开发了一个新的原始对偶变分公式适用于一个大类的非凸变分问题。这些结果是通过凸分析、对偶理论、勒让德变换概念以及原始变量和对偶变量之间的关系等基本工具得到的。这里的新颖之处在于,对偶公式也是为原始变量建立的,但是具有关于临界点的大的域区域。最后,我们正式证明了在局部极值的情况下,原始和对偶公式之间没有对偶间隙。
2019-09-03 math.OC
The primal-dual hybrid gradient method reduces to a primal method for linearly constrained optimization problems
本文证明了对于线性约束最优化问题,Chambolle和Pock [3]分析的原始-对偶混合梯度算法可以写成完全原始算法。这使我们能够证明收敛的迭代,即使在退化的情况下,当线性系是不一致的,或当强对偶不成立。我们还获得了新的收敛速度,似乎改善现有的文献中。对于一个分散的分布式优化,我们表明,新的计划是更有效的比原来的。
2019-05-24 math.OC
When Does Primal Interior Point Method Beat Primal-dual in Linear Optimization?
本文证明纯原始内点法凭借其缩放矩阵的稳定性,可在接近收敛阶段利用预条件迭代求解器加速正规方程求解,从而在线性优化中超越原始-对偶内点法。
2024-11-24 math.OC
Accelerated primal-dual methods for linearly constrained convex optimization problems
提出了一个求解仿射约束凸优化的加速原-对偶动力系统,并给出了一类具有非遍历收敛速度的原-对偶方法。在连续层,建立了一个新的指数衰减的李雅普诺夫函数,在离散层,依次考虑了连续模型的隐式、半隐式和显式数值离散,从而得到了求解线性约束最优化问题的新的加速原-对偶方法.这些方案中的子问题的特殊结构被用来开发有效的内部求解器。此外,通过一个定制的离散李雅普诺夫函数,证明了非遍历收敛速度的原始-对偶间隙,原始目标残差和可行性违反。此外,我们的方法也被应用到分散的分布式优化快速和有效解。
2022-04-09 math.OC
A primal dual variational formulation and a multi-duality principle for a non-linear model of plates
本文为Kirchhoff-Love非线性板模型建立了一个新的原始对偶公式。首先通过对偶形式建立了一个包含全局最优性充分条件的对偶原理。在这一点上,我们强调这个第一对偶原理是特别适合的情况下,其中的膜应力张量是负定的。在第二步中,从这样一个一般原则,我们开发了一个原始的对偶变分制剂,其中还包括相应的充分条件的全局最优性。结果是基于标准工具的凸分析和一个众所周知的Toland直流优化的结果。最后,在最后一节中,我们给出了一个多重对偶原理以及原始和对偶公式的临界点之间的定性关系。我们正式证明了在局部极值的情况下,这种原始和对偶公式之间没有对偶差距。
2020-05-13 math.OC
Can Primal Methods Outperform Primal-dual Methods in Decentralized Dynamic Optimization?
本文研究了多智能体网络上的分散动态最优化问题。每个智能体拥有一个时变的局部目标函数,所有智能体的目标是协同跟踪漂移的全局最优解,最小化所有局部目标函数的总和。分散动态最优化问题可以用原始方法或原始-对偶方法求解,当问题退化为静态时,已有文献证明原始-对偶方法优于原始方法。这促使我们问:在分散式动态最优化中,原始对偶方法一定比原始方法好吗?为了回答这个问题,我们调查和比较原始方法,扩散,和原始-对偶方法,分散梯度跟踪(DGT)的收敛特性。理论分析表明,在一定的动态设置扩散可以优于DGT。我们发现,DGT和扩散显着影响的漂移和最佳梯度的大小,分别。此外,我们发现,DGT是更敏感的网络拓扑结构,一个坏连接的网络可以大大恶化其收敛性能。这些结论为在不同的应用场景中选择合适的动态算法提供了指导。数值实验验证了理论分析的正确性。
2020-03-02 math.OC
Asymptotic convergence of constrained primal-dual dynamics
利用稳定性分析中的经典概念研究了求解约束凹最优化问题的原-对偶动力学的渐近收敛性质。我们提供了一个例子,排除了采用混合自动机的不变原理来研究渐近收敛的可能性,激发了这项研究的需要。我们理解的解决方案的原始对偶动力学在Caratheodory意义上,并描述其存在性,唯一性和连续性的初始条件。利用不连续Caratheodory系统的不变原理,证明了原-对偶优化器在原-对偶动力学下是全局渐近稳定的,并且动力学的每个解都收敛于一个优化器.
2015-10-07 math.OC
Accelerated Primal Dual Method for a Class of Saddle Point Problem with Strongly Convex Component
本文提出了一种简单的原始对偶方法DPD,它是求解一类具有或不具有强凸分支的鞍点问题的灵活框架。该方法有线性化形式LDPD和精确化形式EDPD。DPD的每次迭代通过简单的邻近映射顺序地更新对偶变量和原始变量,并通过外推来细化对偶变量。光滑或强凸原始分量的收敛性分析恢复了以前的最先进的结果,而强凸对偶分量的收敛性分析获得了原始对偶间隙的完全加速$O(1/k^2)$。通过对高斯噪声和椒盐噪声图像的全变差图像去模糊实验,证明了利用对偶分量的强凸性实现全变差加速的有效性。
2019-07-14 math.OC
First-order primal-dual methods for nonsmooth nonconvex optimisation
我们提供了一个概述的原始对偶法的非光滑和非凹凸鞍点问题。这围绕着一个新的分析方法,使用Bregman分歧制定简化的收敛条件。
2020-08-05 math.OC
Primal-dual mirror descent for the stochastic programming problems with functional constraints
针对带函数约束的凸优化问题,提出了原始-对偶随机镜像下降算法。我们得到的收敛速率的大偏差的概率。
2017-07-30 math.OC
Convergence Analysis of Quantized Primal-dual Algorithm in Network Utility Maximization Problems
研究了网络效用最大化问题的量化原始对偶法的渐近性和非渐近性,其中一组智能体在线性约束下最大化各自凹目标函数之和.在渐近的情况下,我们使用的信息理论的概念,微分熵功率建立普遍的联合原始对偶,原始和对偶变量的指数收敛速度的最佳实现量化方案下的下界。这些结果提供了指数收敛速度,代理目标函数,通信比特率,代理和约束的数量之间的权衡。在非渐近的情况下,我们得到了联合原始对偶,原始和对偶变量的均方距离的下界从任何有限时间的最优解。无论使用何种量化方案,这些界限都成立。
2016-04-22 math.OC
A primal dual formulation through a proximal approach for non-convex variational optimization
本文开发了一个原始对偶制定的原始近似方法适用于一个大类的非凸模型的变分法。通过标准工具的泛函分析,凸分析和对偶理论的结果,并施加到Ginzburg-Landau型模型。最后,在最后两节中,我们给出了模型的最优性条件和另一个对偶原理。
2021-07-25 math.OC
Asynchronous parallel primal-dual block coordinate update methods for affinely constrained convex programs
近几年来,由于许多现代应用中涉及的超大数据以及多核机器和计算机集群的发展,异步(异步)并行计算方法激增。在优化问题中,大多数关于并行算法的工作都是针对无约束问题或具有块可分约束的问题。本文提出了一种基于块坐标更新(BCU)的求解具有不可分线性约束的凸问题的并行算法。该方法在单节点上运行,成为一种新的具有自适应步长的随机原始-对偶BCU算法。对于这些问题,Gauss-Seidel循环原始-对偶BCU需要强凸性才具有收敛性。相反,仅假设凸性,我们表明,所提出的算法产生的目标值序列的概率收敛到最优值和约束残差为零。此外,我们建立了遍历$O(1/k)$收敛结果,其中$k$是迭代次数。数值实验表明,该方法的有效性和显着优于同步并行的性能。
2019-10-15 cs.DC cs.NA math.NA
Inertial primal-dual methods for linear equality constrained convex optimization problems
本文提出了一种求解线性等式约束凸优化问题的惯性加速原-对偶方法。当目标函数具有“非光滑+光滑”的复合结构时,通过对光滑个体函数进行线性化,并不精确地求解子问题,提出了一种不精确惯性原对偶方法.仅假设凸性,我们证明了所提出的方法享有$\mathcal{O}(1/k^2)$收敛速度的目标残差和可行性违反的原始模型。数值结果表明所提出的方法的有效性。
2021-06-29 math.OC
Fast primal-dual algorithm via dynamical system for a linearly constrained convex optimization problem
通过对具有阻尼$α/t$的二阶原-对偶动力系统进行时间离散,其中原变量只需要Nesterov意义下的惯性结构,提出了求解线性等式约束凸优化问题的一种快速原始对偶法.在适当的尺度条件下,我们证明了该算法对于目标残差和可行性违背具有快速的收敛速度,衰减速率最大可达$\mathcal{O}(1/k^{α-1})$.我们也研究了相应的原始-对偶动力系统的收敛性质,以更好地理解加速方案。最后,我们报告的数值实验,以证明所提出的算法的有效性。
2022-06-03 math.OC
A primal-dual flow for affine constrained convex optimization
针对仿射约束凸优化问题,提出了一种新的原始-对偶流。作为标准鞍点系统的一个改进,我们的原始-对偶流被证明具有指数衰减特性,在一个定制的李雅普诺夫函数。然后通过离散化得到两种原-对偶方法,并通过离散化的李雅普诺夫函数建立了全局非遍历线性收敛速率.而不是解决原始变量的子问题,我们应用半光滑牛顿迭代的子问题的乘数,提供了一些额外的属性,如半光滑性和稀疏性。特别地,对线性约束的$l_1$ - $l_2$最小化和基于全变分的图像去噪模型进行了数值试验。
2022-03-20 math.OC
Primal-dual method for searching equillibriums in mixed traffic assignment problems
我们考虑大型网络中交通流分布的混合模型(BMW模型,1954年和稳定动态模型,1999年)。我们建立了对偶问题,并考虑了对偶问题的原对偶镜像下降法。有两种方法可以恢复原始问题的解。第一种技术是基于“模型”的方法,第二个是基于拉格朗日乘子技术。这两种方法各有优缺点。我们讨论他们。
2018-08-15 math.OC
Primal and dual active-set methods for convex quadratic programming
提出了求解凸二次规划的计算方法。有效集方法被定义为一个特定的原始和对偶制定的QP一般等式约束和简单的下界的变量。在论文的第一部分,提出了两种方法,一个原始的和一个对偶。这些方法生成一系列的迭代,是可行的,相对于与原始对偶形式的最优性条件相关的等式约束。原始方法保持原始不等式的可行性,同时使对偶不等式的不可行性趋于零。对偶方法保持对偶不等式的可行性,同时移动到满足原始不等式。在这些方法中的每一个中,搜索方向满足由与适当的列基相关联的Hessian和约束分量形成的KKT方程组。的基础的组成是指定的有效集的策略,保证了非奇异性的每一组KKT方程。每一个建议的方法是一个传统的有效集方法的意义上说,一个初始的原始或双重可行点是必需的。在第二部分的文件中,它是如何解决的二次规划可以作为一个耦合对原始和对偶二次规划,同时转移的简单约束条件,并添加一个惩罚项的目标函数。任何传统的列基都可以成为这种移位惩罚问题的原始-对偶对的最优。然后使用原始或对偶移位问题的解更新移位。这种方法的一个明显的应用是求解移位的对偶QP,以定义原始的初始可行点(反之亦然)。一组凸问题的计算性能评估所提出的方法。
2015-12-30 math.OC
Distributed dual gradient methods and error bound conditions
本文提出了线性约束可分凸问题的分布式对偶梯度算法,并在不同的假设条件下分析了它们的收敛速率。在原目标函数的强凸性假设下,我们提出了两种分布式对偶快速梯度格式,证明了其对偶次优性的次线性收敛速率,以及原次优性和平均原序列或最后生成的原序列的可行性破坏。在原目标函数梯度Lipshitz连续的附加假设下,我们证明了该对偶问题的全局误差界类型性质,然后分析了一个对偶梯度方案,并推导出了该方案的全局线性收敛速率。对于对偶和原次优性以及原可行性违反。我们还提供了最优潮流问题的数值模拟。
2014-02-03 math.OC
Linear Convergence of Randomized Primal-Dual Coordinate Method for Large-scale Linear Constrained Convex Programming
线性约束凸规划有许多实际应用,包括支持向量机和机器学习投资组合问题。我们提出了随机原对偶坐标(RPDC)方法,这是Cohen和Zhu,1984和Zhao和Zhu,2019的一阶原对偶方法的随机坐标扩展,用于求解线性约束凸规划。我们随机选择一个基于均匀分布的变量块,线性化,并将Bregman样函数(核心函数)应用于所选块,以获得简单的并行原始-对偶分解。在强度量次正则条件下,证明了算法的几乎处处收敛性和期望O(1/t)收敛速度,以及期望线性收敛.最后,我们讨论了随机原始-对偶坐标方法的实现细节,并对支持向量机和机器学习组合问题进行了数值实验,以验证其线性收敛。
2020-08-29 math.OC
A Primal-Dual Method of Partial Inverses for Composite Inclusions
Spingarn的部分逆方法在非线性分析和优化中有许多应用。我们表明,它可以用来解决复合单调包含对偶,从而打开了一个新的应用范围的部分逆形式主义。所得到的原始-对偶分裂算法的多功能性说明通过应用程序结构单调包含和优化。
2013-10-04 math.OC
A universal convergence theorem for primal-dual penalty and augmented Lagrangian methods
本文提出一个普适收敛定理,统一并简化了非精确原始-对偶罚函数与增广拉格朗日方法的收敛性分析,并显著改进了若干现有方法的收敛结果。
2025-09-09 math.OC
Primal-dual optimization conditions for the robust sum of functions with applications
本文将对偶问题与DOI 10.1007/s11228-019-00515-2中引入的鲁棒和函数的任意线性扰动的最小化相关联。在适当的对偶性假设下,给出了原始最优解的存在性定理,刻画了原始-对偶最优集、原始最优集和对偶最优集的特征,并给出了鲁棒和函数的次微分公式.应用这些结果得到了次仿射函数(一类包含仿射函数的函数)的鲁棒和的简单公式,并得到了不相容凸不等式组存在最佳近似解的条件.
2019-11-06 math.OC
An Accelerated Asynchronous Distributed Method for Convex Constrained Optimization Problems
考虑了一类带有局部非线性凸约束的多智能体协作共识最优化问题,其中只有通过边连接的智能体可以直接通信,因此最优共识决策位于这些私有集的交集中.我们开发了一个异步分布式加速原始对偶法来解决所考虑的问题。该计划是第一个异步方法,这类问题的最佳收敛保证,据我们所知。特别是,我们提供了一个最佳的收敛速度的$\mathcal{O(1/K)}$次优,不可行性,共识违反。
2023-02-21 math.OC
A Primal-Dual Smoothing Framework for Max-Structured Non-Convex Optimization
针对具有最大结构的非光滑非凸优化问题,提出原始-对偶平滑框架,分析两类平滑途径的梯度复杂度并改进现有最优预言机复杂度。
2023-07-17 math.OC
Non-Stationary First-Order Primal-Dual Algorithms with Faster Convergence Rates
本文提出了两种新的非平稳一阶原始对偶法来求解非光滑复合凸优化问题。与现有的原始-对偶方案的参数往往是固定的,我们的方法使用预定义的和动态的参数序列。我们证明了我们的第一个算法可以实现$\mathcal{O}(1/k)$收敛速度上的原始-对偶间隙,原始和对偶目标残差,其中$k$是迭代计数器。我们的速率是非遍历的(即,原始问题的最后一个序列和遍历(即,平均)序列的对偶问题,我们称之为半遍历率。通过修改步长更新规则,可以在原始目标残差上更快地提高该速率。当问题是强凸的,我们开发了第二个原始对偶法,表现出$\mathcal{O}(1/k^2)$收敛速度相同的三种类型的保证。再次通过修改步长更新规则,该速率在原始目标残差上变得更快。我们的原始对偶法是第一个实现这种快速的收敛速度保证温和的假设相比,现有的作品,尽我们所知。作为副产品,我们应用我们的算法来解决约束凸优化问题,并证明了相同的收敛速度的目标残差和可行性违反。我们仍然获得至少$\mathcal{O}(1/k^2)$率,即使当问题是“半强”凸。我们通过两个著名的数值例子验证我们的理论结果。
2020-07-10 math.OC
Strong asymptotic convergence of a slowly damped inertial primal-dual dynamical system controlled by a Tikhonov regularization term
本研究针对希尔伯特空间线性约束凸优化问题,提出带Tikhonov正则项的慢阻尼惯性原始-对偶动力系统,通过Lyapunov分析证明其轨迹强收敛至解集最小范数元并给出收敛速率,辅以数值实验验证理论。
2024-06-21 math.OC
Primal-dual dynamical systems with closed-loop control for convex optimization in continuous and discrete time
Chongqing University(重庆大学);Chongqing Technology and Business University(重庆工商大学);Sunway University(双威大学)
本文提出了一种带闭环控制的对偶动态系统,用于连续和离散时间下的凸优化问题,通过自适应步长的加速算法实现了快速收敛。
2026-02-28 math.OC
On the Convergence of Primal-Dual Proximal Incremental Aggregated Gradient Algorithms
在本文中,我们适应近似增量聚合梯度法的鞍点问题,这是由解耦线性变换的正则化经验风险极小化模型。首先,提出了带外推的原始-对偶近端增量聚集(PD-PIAG)方法。证明了平均迭代序列的原对偶间隙次线性收敛于0,且迭代序列收敛于某个鞍点。在$f$和$h^\ast$的强凸性下,证明了迭代序列线性收敛于鞍点。然后,我们提出了一个没有外推的PD-PIAG方法。在$f$的强凸性下,证明了迭代序列的原始-对偶间隙是次线性收敛的。
2019-11-13 math.OC
Convergence analysis of approximate primal solutions in dual first-order methods
对偶一阶方法是求解大规模凸优化问题的有力工具。虽然广泛的研究工作一直致力于研究其收敛性,明确的收敛速度的原始迭代只建立在全局Lipschitz连续的对偶梯度。这是一个相当严格的假设,不适用于几类重要的问题。在本文中,我们证明了原始收敛速度保证也可以得到的对偶梯度只有局部Lipschitz。我们分析的问题类承认一般的凸约束,包括非线性不等式,线性等式,和集合约束。作为一个近似的原始解决方案,我们采取最小的拉格朗日,计算时的对偶梯度。我们推导出这个近似原始解的误差界的对偶变量的误差,并建立收敛速度的对偶变量时,使用投影梯度或快速梯度法解决的对偶问题。通过结合这些结果,我们表明,次优性和不可行性的近似原始解迭代$k$不差于$O(1/\sqrt{k})$时,对偶问题的解决使用投影梯度法,和$O(1/k)$时,使用快速双梯度法。
2015-02-23 math.OC
Primal-dual splittings as fixed point iterations in the range of linear operators
本文研究实希尔伯特空间中带临界预条件的复合单调包含的松弛原始对偶法。我们的方法是基于新的结果上的渐近行为的Krasnosel'ski \u-Mann(KM)迭代定义的单调自伴线性算子的范围内。这些结果推广了以逼近不动点为目标的经典KM迭代的收敛性。我们证明了带有临界预条件子的松弛原始对偶法在具有非平凡核的特定单调自伴线性算子的值域内定义了KM迭代。然后,我们推导出我们的不动点的方法,原始-对偶迭代的范围内的线性算子的阴影弱收敛到这个向量子空间中的某个点,从我们得到的解决方案。这将(Condat 2013定理3.3)推广到包含临界预条件子的无限维松弛原始-对偶单调包含。道格拉斯-Rachford分裂(DRS)被解释为一个特殊的情况下,原始对偶法的步长是关键的,我们恢复经典的结果从这个新的角度来看。在全变差重建中,我们实现了带有临界预条件的松弛原始对偶法,并说明了它的灵活性和有效性。
2021-08-11 math.OC
Primal-Dual Gradient Flow Algorithm for Distributed Support Vector Machines
提出了一种求解分布式支持向量机(DSVM)问题的原始-对偶梯度流算法。一个网络的计算节点,每个携带一个子集的水平分区的大型数据集被认为是。节点被表示为动力系统与箭头Hurwicz-Uzawa梯度流动力学,来自拉格朗日函数的DSVM问题。首先证明了节点是无源动力系统。然后,利用Krasovskii型候选李雅普诺夫函数,证明了计算节点渐近收敛于最优原对偶解.
2018-09-10 math.OC
A Primal-Dual Quasi-Newton Method for Exact Consensus Optimization
我们引入原始-对偶拟牛顿(PD-QN)方法作为求解分散最优化问题的近似二阶方法。PD-QN方法对共识最优化问题的原始变量和对偶变量执行拟牛顿更新,以找到增广拉格朗日的最优点。通过优化增广拉格朗日量,PD-QN方法能够以线性收敛速率找到一致性问题的精确解。我们推导出完全分散的拟牛顿更新,近似二阶信息,以减少相对于对偶方法的计算负担,并使该方法在病态问题中相对于一阶方法更具鲁棒性。形式上建立了PD-QN的线性收敛速率,数值上显示了相对于现有对偶方法和原始-对偶方法的强大性能优势。
2019-07-10 math.OC
An Inexact Primal-Dual Smoothing Framework for Large-Scale Non-Bilinear Saddle Point Problems
该研究提出非精确原始-对偶一阶平滑框架及随机版本,求解带原始强凸性的非双线性鞍点问题,显著提升原始预言复杂度,适配多函数约束凸优化时达已知最优预言复杂度。
2023-07-24 math.OC
A Coordinate Descent Primal-Dual Algorithm and Application to Distributed Asynchronous Optimization
本文提出一种基于随机坐标下降的对偶优化算法,用于解决分布式异步优化问题,通过随机更新坐标实现共识。
2015-09-30 cs.DC cs.NA cs.SY
A primal-dual backward reflected forward splitting algorithm for structured monotone inclusions
本文提出一种原对偶后向反射前向分裂方法,用于求解实Hilbert空间中的结构化单调包含问题,支持算子非精确计算,并证明了在相应条件下的强收敛与弱收敛性。
2024-01-10 math.OC
Accelerated Primal-Dual Mirror Dynamics for Centrailized and Distributed Constrained Convex Optimization Problems
本文研究了两种原-对偶镜像动力学加速算法,分别用于求解具有仿射约束和闭凸集约束的光滑和非光滑凸优化问题。在光滑情形下,提出了一种基于加速镜下降和原-对偶框架的加速原-对偶镜动力学方法(APDMD),并利用李雅普诺夫分析方法推导了原-对偶间隙、可行性测度和目标函数值随APDMD轨迹的加速收敛性质.然后,我们将APDMD扩展为两种分布式动力学方法,分别处理两类分布式光滑最优化问题,即,分布式约束一致性问题(DCCP)和分布式扩展单调优化(DEMO)与加速收敛保证。此外,在非光滑情形下,我们提出了一种光滑加速原对偶镜像动力学方法(SAPDMD),该方法利用光滑近似技术和上述APDMD。通过选取适当的光滑逼近参数,证明了SAPDMD的原-对偶间隙、目标函数值和可行性测度具有与APDMD相同的加速收敛性质.之后,我们提出了两个平滑加速分布式动力学方法来处理非光滑DEMO和DCCP,以获得加速和有效解。最后,数值实验证明了所提出的加速镜动力学方法的有效性。
2022-09-14 math.OC
The operator splitting schemes revisited: primal-dual gap and degeneracy reduction by a unified analysis
我们重新审视了在最近的工作中提出的算子分裂方案[基于拉格朗日和原始对偶的算子分裂方案的一些扩展:统一的邻近点分析,冯雪,优化,2022,doi:10.1080/02331934.2022.2057309],并进一步在统一的邻近点框架下分析了这些算法的广义Bregman距离和原对偶间隙的收敛性。还原到一个简单的预解的可能性也讨论了利用结构和可能的退化的基本度量。
2023-02-19 math.OC
New Primal-Dual Algorithm for Convex Problems
本文提出一种基于两个新近端项的原始-对偶算法,用于凸-凹鞍点问题,实现O(1/N)收敛,强凸时加速至O(1/N^2),并引入线搜索策略,实验验证其有效性。
2025-04-23 math.OC
Inertial primal-dual dynamics with Hessian-driven damping and Tikhonov regularization for convex-concave bilinear saddle point problems
本文提出一种结合Hessian驱动阻尼和Tikhonov正则化的惯性对偶动力学方法,用于高效求解凸-凹双线性鞍点问题,并证明了其在收敛速度和轨迹强收敛方面的双重优势。
2025-07-15 math.OC
Accuracy Certificates for Convex Optimization at Accelerated Rates via Primal-Dual Averaging
University of Rochester(罗切斯特大学)
本文提出基于简单对偶平均的算法,通过计算可得的最优性证书,实现非渐近收敛保证,证明了三种平均方法在加速率上的证书复杂度。
2026-04-20 math.OC
Primal-Dual Error Bounds and KKT Metric Subregularity in Convex Composite Optimization
School of Mathematics and Statistics, Beijing Institute of Technology(北京理工大学数学与统计学院);Beijing Key Laboratory on MCAACI/Key Laboratory of Mathematical Theory and Computation in Information Security, Beijing Institute of Technology(北京理工大学计算机辅助设计与图形学北京市重点实验室/信息安全数学理论与计算北京市重点实验室)
本文针对凸复合优化问题,引入约化原始-对偶KKT映射,建立了其度量次正则性与原始、对偶局部误差界的等价关系,并统一应用于多类模型。
2026-10-07 math.OC
A Class of Randomized Primal-Dual Algorithms for Distributed Optimization
基于[Combettes,Pesquet,2014]中最近提出的随机块坐标向前-向后算法的预处理版本,设计了块坐标原始对偶法的几个变体,以解决各种单调包含问题。这些方法依赖于扫描块的变量,这些变量在每次迭代时根据随机规则被激活,并且它们允许在所涉及的操作符的评估中出现随机误差。然后,利用该框架推导出求解复合凸变分问题的块坐标原-对偶近似算法。所得到的算法实现可以用于降低计算复杂性和存储器需求。此外,我们表明,所提出的方法可用于开发新的异步分布式原始对偶法在多代理的上下文中。
2014-10-25 math.OC
Primal-Dual Incremental Gradient Method for Nonsmooth and Convex Optimization Problems
本文考虑了一类带锥约束的非光滑凸有限和问题。为了克服投影到约束集和计算全(子)梯度的挑战,我们引入了一个原始-对偶增量梯度方案,其中只有一个分量函数和两个约束用于更新每个原始-对偶子迭代循环顺序。我们证明了一个渐近次线性收敛速率的次优性和不可行性,这是一个改进的国家的最先进的增量梯度计划在这种情况下。数值结果表明,所提出的计划相比,以及竞争的方法。
2021-05-07 math.OC
Perturbed Fenchel Duality and Primal-Dual Convergence of First-Order Methods
本文基于扰动Fenchel对偶性质,推导了对偶平均法、束方法等更多一阶方法在凸优化中的原对偶收敛性,并提出鞍点问题的单割束方法且证明其收敛性。
2024-12-03 math.OC
Inertial accelerated primal-dual algorithms for non-smooth convex optimization problems with linear equality constraints
Chongqing University(重庆大学);Chongqing Technology and Business University(重庆工商大学);Sunway University(双威大学)
本文提出一种基于二阶微分系统的时间缩放的惯性加速对偶算法,用于求解具有线性等式约束的非光滑凸优化问题,证明了该算法在对偶间隙、可行性违反和目标残差上的快速收敛性,并通过数值实验验证了其有效性。
2026-03-05 math.OC
A dual-primal balanced augmented Lagrangian method for linearly constrained convex programming
最近,He和Yuan [arXiv:2108.08554,2021]针对具有线性约束的典型凸规划问题提出了一种平衡增广拉格朗日方法(ALM),通过平衡其子问题和改进其实现来改进原始ALM。在这个简短的说明中,我们提出了一个双原始版本的平衡ALM,它通过一个相反的双原始迭代顺序形式上更新了新的递归。该方法继承了原型平衡ALM的所有优点,并且可以在变分不等式的背景下进行收敛性分析。此外,它的数值效率是由基追踪问题证明。
2021-12-28 math.OC
Weak sharp minima for interval-valued functions and its primal-dual characterizations using generalized Hukuhara subdifferentiability
本文引入了凸区间值函数的弱锐极小的概念。为了确定一组凸IVF的WSM,我们提供了它的原始和对偶特征。原始特征以$gH$ -方向导数的形式给出。另一方面,为了得到对偶特征,我们提出了$I(\mathbb{R})^{n}$子集的支撑函数和$gH$ -凸IVF的次可微性的概念。此外,我们开发所需的$gH$ -次微分凸IVF。此后,通过使用建议的$gH$ -次微分,我们提供了一组凸IVF的WSM的对偶特征。
2021-09-23 math.OC
Comparison of Proximal First-Order Primal and Primal-Dual algorithms via Performance Estimation
针对信号/图像处理任务中算法选择难题,基于性能估计框架自动计算最坏情况性能,比较并加强多种一阶原始及原始-对偶算法的收敛结果。
2024-03-15 math.OC
Decentralized and Parallel Primal and Dual Accelerated Methods for Stochastic Convex Programming Problems
介绍了求解分散凸优化问题的原始和对偶随机梯度预言方法。无论是原始和双重预言机,所提出的方法是最佳的通信步骤的数量。然而,对于目标的所有类,每个节点的Oracle调用的数量方面的最优性只发生到对数因子和平滑的概念。通过使用mini-technique,我们表明,所提出的方法与随机预言可以在每个节点上额外并行化。所考虑的算法可以应用于许多数据科学问题和反问题。
2021-02-10 math.OC
A Two-timescale Primal-dual Algorithm for Decentralized Optimization with Compression
针对去中心化优化的通信效率问题,本文提出双时间尺度压缩原始-对偶TiCoPD算法,结合压缩差分共享、快时间尺度共识与慢时间尺度递归,实现恒定步长收敛及O(1/T)平稳性,并通过神经网络训练验证有效性。
2025-01-10 math.OC
Iteration complexity analysis of dual first order methods for conic convex programming
本文详细分析了求解锥凸问题的对偶一阶方法的迭代复杂性。当难以投影到凸约束描述的原始可行集上时,利用拉格朗日松弛法处理复杂的约束,然后利用对偶一阶算法求解相应的对偶问题。我们给出了对偶一阶算法(对偶梯度算法和快速梯度算法)的收敛性分析:我们提供了次线性或线性估计的原始次最优性和可行性违反所产生的近似原始解决方案。我们的分析依赖于Lipschitz性质的对偶函数的梯度或误差界的双重性质。此外,迭代复杂性分析是基于两种类型的近似原始解:最后原始序列或平均原始序列。
2015-03-13 math.OC