The Degenerate Variable Metric Proximal Point Algorithm and Adaptive Stepsizes for Primal-Dual Douglas-Rachford
本文将退化预条件邻近点法与变预条件的思想相结合,得到退化变度量邻近点法。将证明由此产生的迭代的弱收敛性。从退化变尺度邻近点法的角度出发,在已有的邻近点法结果的基础上,给出了一种变预条件的原始-对偶Douglas-Rachford方法,并证明了其弱收敛性.在此之后,我们推导出一个启发式如何选择这些不同的预条件,以提高收敛速度的方法。
2023-02-25 math.OC
Interior-proximal primal-dual methods
研究了一类鞍点问题的预条件逼近点方法,其中预条件子将整体逼近点方法转化为原始-对偶交替逼近点方法。这类似于Chambolle-Pock方法或ADMM。在我们的工作中,我们用对称锥上的障碍函数代替对偶步骤中的平方距离,同时使用标准(欧几里德)邻近步骤作为原始变量。我们证明了在非退化和简单的线性约束下,这种混合原始对偶法可以实现线性收敛原来的强凸问题,涉及二阶锥在其鞍点形式。在一般的对称锥上,我们只能给出一个$O(1/N)$速率。这些结果是基于估计的障碍函数的强凸性,延长与惩罚的对称锥的边界。
2018-08-22 math.OC
Randomized Primal-Dual Proximal Block Coordinate Updates
University of Minnesota(明尼苏达大学);University of Alabama(阿拉巴马大学)
本文提出了一种随机对偶近似代理块坐标更新框架,用于解决一般多块凸优化问题,证明了在目标函数和线性约束耦合下的O(1/t)收敛性,扩展了现有算法的收敛性质。
2017-01-24 cs.NA math.NA math.OC
Inertial, corrected, primal-dual proximal splitting
我们研究惯性版本的原始对偶近端分裂,也被称为Chambolle-Pock方法。我们的出发点是该方法的预处理近点公式。通过添加相应的反对称部分的相关单调算子,使用FISTA风格的间隙展开参数的校正,我们能够得到间隙估计,而不仅仅是遍历间隙估计。此外,基于向该校正器添加对角分量,我们能够将基于强凸性的加速度与惯性加速度相结合。我们测试我们提出的方法对图像处理和反问题的问题,稀疏傅立叶逆和正电子发射断层扫描获得收敛性的改善。
2020-02-12 math.OC
Accelerated Primal-Dual Proximal Block Coordinate Updating Methods for Constrained Convex Optimization
Rensselaer Polytechnic Institute(伦斯勒理工学院);University of Minnesota(明尼苏达大学)
本文提出了一种加速的对偶 primal-dual 块坐标更新方法,用于解决多块变量的线性约束凸优化问题,通过随机选择块变量实现 O(1/t) 收敛率,并在强凸情况下达到 O(1/t²) 收敛,且在独立块变量时可实现线性收敛。
2017-11-20 cs.NA math.NA math.OC
Proximal primal-dual best approximation algorithm with memory
提出了一种新的修正的原始-对偶近似最佳逼近方法来求解凸的不一定可微的最优化问题。该方法的新颖性依赖于通过考虑在定义当前时间的公式中的先前步骤中计算的迭代来引入内存。为此,我们考虑投影到当前以及以前的迭代的基础上产生的半空间的交叉点。为了计算这些投影,我们使用最近获得的多面体集上的投影机的封闭形式的表达式。所得到的算法具有记忆,继承了原来的最佳逼近近原始对偶法的强收敛性。此外,我们比较我们的算法与原始(非惯性)的帮助下,所谓的吸引力属性定义如下。图像重建问题的大量数值实验结果表明,包括内存到原始算法的优点。
2018-04-17 math.OC
Comparison of Proximal First-Order Primal and Primal-Dual algorithms via Performance Estimation
针对信号/图像处理任务中算法选择难题,基于性能估计框架自动计算最坏情况性能,比较并加强多种一阶原始及原始-对偶算法的收敛结果。
2024-03-15 math.OC
An accelerated primal-dual flow for linearly constrained multiobjective optimization
National Center for Applied Mathematics in Chongqing, Chongqing Normal University(重庆师范大学 重庆应用数学中心);School of Mathematical Sciences, Chongqing Normal University(重庆师范大学 数学科学学院);Chongqing Research Institute of Big Data, Peking University(北京大学 重庆大数据研究院)
本文提出一种连续时间的加速多目标原始-对偶流方法,通过引入新评价函数和Lyapunov函数分析其指数衰减率,并设计隐式-显式离散方案证明次线性收敛率。
2025-11-05 cs.NA math.NA math.OC
Primal-dual proximal splitting and generalized conjugation in non-smooth non-convex optimization
我们证明了困难的非凸非光滑最优化问题,如纳什均衡问题和各向异性以及各向同性Potts分割模型,可以写在广义共轭的凸泛函。这些,反过来,可以制定为鞍点问题,涉及凸非光滑泛函和一般光滑,但非双线性耦合项。然后,我们表明,通过详细的收敛性分析,概念上简单的扩展的原始-对偶邻近Chambolle和Pock分裂方法是适用于解决这些问题。在充分的局部强凸性假设的泛函-但仍然与非双线性耦合项-我们甚至证明了局部线性收敛的方法。我们说明这些理论结果数值上的上述示例问题。
2020-03-19 math.OC
Fast dual proximal gradient algorithms with rate $O(1/k^{1.5})$ for convex minimization
考虑由一个强凸函数和一个强凸函数组成的复合函数的极小化问题。快速双近端梯度(FDPG)方法以速率$O(1/k^2)$减小对偶函数,从而产生用于减小原始函数的速率$O(1/k)$。我们提出了一个广义FDPG方法,保证了$O(1/k^{1.5})$率的双近端梯度范数下降。通过将其与原始函数减少相关联,所提出的方法以改进的$O(1/k^{1.5})$速率减少原始函数。
2016-09-29 math.OC
A semi-proximal augmented Lagrangian based decomposition method for primal block angular convex composite quadratic conic programming problems
针对具有原始块角结构的凸复合二次锥规划问题,提出了一种基于半邻近增广拉格朗日分解的求解方法。使用我们的算法框架,我们能够自然地得到几个众所周知的增广拉格朗日分解方法的随机规划,如对角二次近似法的Mulvey和Ruszczyovski。此外,我们能够得到新的增强和推广这些众所周知的方法。我们还提出了一个半近似对称的高斯-赛德尔为基础的交替方向法的乘数解决相应的对偶问题。数值结果表明,我们的算法可以很好地执行,即使是非常大的情况下,原始块角凸QP问题。例如,一个具有多个$300,000$线性约束和$12,500,000$非负变量的实例在小于一分钟内求解,而Guesthouse花费了3个多小时,另一个具有多个$331,000$线性约束和$986,000$非负变量的实例{ \tt qp-gridgen 1}在大约5分钟内求解,而Guesthouse花费了35分钟以上。
2018-12-12 math.OC
A Smooth Double Proximal Primal-Dual Algorithm for a Class of Distributed Nonsmooth Optimization Problem
本文研究了一类分布式非光滑凸一致最优化问题。成本函数是局部费用函数的和,这些成本函数是凸的但非光滑的。每个局部费用函数由一个二次可微凸函数和两个下半连续凸函数组成。我们称这个问题为单光滑加双非光滑(SSDN)问题。在较弱的条件下,提出了一种分布式双邻近原-对偶优化算法。双邻近算子的设计是为了解决这两个非光滑函数之和的不可逼近性所带来的困难。此外,它还可以保证所提出的算法是局部Lipschitz连续的。在双邻近算子中引入一个辅助变量来估计第二类非光滑函数的次梯度。理论上,我们利用李雅普诺夫稳定性理论进行收敛性分析。结果表明,该算法能使状态在最优点达到一致.最后给出了非平凡的仿真结果,验证了该算法的有效性。
2018-08-16 math.OC
Relative Primal--Dual Gap Certificates for Operator-Composite Trust-Region Methods
George Mason University(乔治梅森大学)
针对算子复合信赖域方法,提出相对原始-对偶间隙证书,保证收敛性并给出复杂度界,通过半线性椭圆控制问题验证了方法的有效性。
2026-09-24 cs.NA math.AP math.NA
Exploiting Strong Convexity from Data with Primal-Dual First-Order Algorithms
我们考虑了具有凸损失函数的线性预测的经验风险最小化问题。这类问题可以转化为凸-凹鞍点问题,因此非常适合于原始-对偶一阶算法。然而,原始对偶法通常需要显式强凸正则化以获得快速的线性收敛,并且所需的对偶邻近映射可能不允许封闭形式或有效解。在本文中,我们开发了批量和随机原始对偶法,可以利用强凸性的数据自适应,即使没有正则化,也能够实现线性收敛。我们还提出了自适应原始对偶法,不需要计算的对偶邻近映射,这是特别适合于逻辑斯谛回归的双自由的变种。
2017-03-07 math.OC stat.ML
Consensus Planning with Primal, Dual, and Proximal Agents
Amazon Supply Chain Optimization Technologies(亚马逊供应链优化技术)
本文提出了一种允许不同类型的智能体协调的共识规划算法,结合了ADMM-like、对偶上升和线性化ADMM更新,实现了次线性及线性收敛性,并提供了实证结果。
2025-11-21 cs.MA math.OC
Accelerated primal-dual dynamical systems for convex optimization with nonlinear inequality constraints
School of Science, Xihua University(西华大学理学院)
针对带非线性不等式约束的凸优化,提出首个Nesterov型原始-对偶乘子框架,构造带Nesterov型消失阻尼的连续时间动力学并导出不精确加速算法,证明其可达𝒪(t⁻²)及𝒪(k⁻²)的收敛速率。
2026-11-10 cs.NA math.NA math.OC
On the Complexity Analysis of the Primal Solutions for the Accelerated Randomized Dual Coordinate Ascent
对偶一阶方法是求解大规模约束凸优化问题的基本方法。然而,当恢复原始解时,我们需要$T(ε^{-2})$迭代来获得$ε$ -最优原始解,当我们将算法应用于具有$T(ε^{-1})$迭代的非强凸对偶问题以获得$ε$ -最优对偶解时,其中$T(x)$可以是$x$或$\sqrt{x}$。本文证明了对于加速随机对偶坐标上升,原解和对偶解的迭代复杂性具有相同的$O\left(\frac{1}{\sqrtε}\right)$数量级。当对偶函数进一步满足二次函数增长条件时,通过在任意时间段重新启动算法,即使条件数未知,我们也建立了原解和对偶解的线性迭代复杂度。当应用于正则化的经验风险最小化问题时,我们证明了$O\left(n\log n+\sqrt{\frac{n}ε}\right)$在原始空间和对偶空间中的迭代复杂性,其中$n$是样本数。与基于平滑/正则化或催化剂还原的方法相比,我们的结果去掉了$\left(\log \frac{1}ε\right)$因子。据我们所知,这是第一次建立了基于对偶坐标上升的随机算法在原空间中的最优$O\left(\sqrt{\frac{n}ε}\right)$迭代复杂度。我们还建立了一些非光滑损失问题的加速线性复杂度,即,最小一乘偏差和SVM。
2019-08-15 cs.NA math.NA math.OC
Primal-Dual algorithms for Abstract convex functions with respect to quadratic functions
Warsaw University of Technology(华沙理工大学);Systems Research Institute, PAS(波兰科学院系统研究所)
本文提出了一种针对抽象凸函数与二次函数关系的对偶算法,并通过数值实验验证了其收敛性。
2026-01-11 cs.NA math.NA math.OC
Proximal Quasi-Newton Methods for Regularized Convex Optimization with Linear and Accelerated Sublinear Convergence Rates
Dept. of Industrial and Systems Engineering, Lehigh University, Bethlehem, PA, USA(工业与系统工程系,莱维大学,伯灵顿,宾夕法尼亚州,美国)
本文研究了正则化凸优化中近似拟牛顿方法的收敛性,分析了强凸情况下精确与不精确设置的收敛性质,并探讨了加速变体的实用性与性能。
2017-10-17 cs.LG cs.NA math.NA
Momentum and Stochastic Momentum for Stochastic Gradient, Newton, Proximal Point and Subspace Descent Methods
The University of Edinburgh(爱丁堡大学);King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Moscow Institute of Physics and Technology (MIPT)(莫斯科物理技术学院)
本文研究了几类具有重球动量的随机最优化算法。其中研究的方法有:随机梯度下降,随机牛顿,随机邻近点和随机对偶子空间上升。这是第一次研究这些方法中的几个动量变量。我们选择在上述所有方法都等效的环境中进行分析。我们证明了全局非渐近线性收敛速率的所有方法和各种措施的成功,包括原始函数值,原始迭代(在L2意义上),和对偶函数值。我们还表明,原始迭代收敛在L1意义上的加速线性速率。这是随机重球方法第一次显示线性速率(即,具有动量随机梯度下降法)。在较弱的条件下,我们建立了原始迭代的Cesaro平均的次线性收敛速度。此外,我们提出了一个新的概念,我们称之为随机动量,旨在减少执行动量步骤的成本。我们证明了线性收敛的随机方法与随机动量,并表明,在一些稀疏的数据制度和足够小的动量参数,这些方法享有更好的整体复杂性比方法与确定性动量。最后,我们对人工和真实数据集进行了广泛的数值测试,包括来自平均共识问题的数据。
2018-03-28 cs.LG cs.NA math.NA
Convex risk minimization via proximal splitting methods
Chemnitz University of Technology(开姆尼茨工业大学)
本文探讨了近端对偶分裂方法在投资组合优化中的应用,重点在于计算效用函数的近端点,以及通过条件风险值的对偶表示进行风险量化。
2013-04-29 cs.NA math.NA math.OC
Accelerated Primal-Dual Mirror Dynamics for Centrailized and Distributed Constrained Convex Optimization Problems
本文研究了两种原-对偶镜像动力学加速算法,分别用于求解具有仿射约束和闭凸集约束的光滑和非光滑凸优化问题。在光滑情形下,提出了一种基于加速镜下降和原-对偶框架的加速原-对偶镜动力学方法(APDMD),并利用李雅普诺夫分析方法推导了原-对偶间隙、可行性测度和目标函数值随APDMD轨迹的加速收敛性质.然后,我们将APDMD扩展为两种分布式动力学方法,分别处理两类分布式光滑最优化问题,即,分布式约束一致性问题(DCCP)和分布式扩展单调优化(DEMO)与加速收敛保证。此外,在非光滑情形下,我们提出了一种光滑加速原对偶镜像动力学方法(SAPDMD),该方法利用光滑近似技术和上述APDMD。通过选取适当的光滑逼近参数,证明了SAPDMD的原-对偶间隙、目标函数值和可行性测度具有与APDMD相同的加速收敛性质.之后,我们提出了两个平滑加速分布式动力学方法来处理非光滑DEMO和DCCP,以获得加速和有效解。最后,数值实验证明了所提出的加速镜动力学方法的有效性。
2022-09-14 math.OC
Primal Dual Interpretation of the Proximal Stochastic Gradient Langevin Algorithm
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
我们考虑对数凹概率分布的抽样任务。假设目标分布的势是复合的,\textit{i.e.},写为光滑凸项和可能取无穷大值的非光滑凸项的和。目标分布可以被看作是在Wasserstein空间(\textit{i.e.},概率测度的空间)上定义的库尔贝克-莱布勒散度的最小化。在本文的第一部分中,我们建立了这个极小化问题的一个强对偶结果。在本文的第二部分中,我们利用第一部分中提出的对偶间隙来研究近似随机梯度Langevin算法(PSGLA)的复杂性,PSGLA可以看作是投影Langevin算法的推广。我们的方法依赖于将PSGLA视为原始对偶算法,并涵盖了许多目标分布不完全支持的情况。特别是,我们表明,如果潜在的是强凸的,PSGLA的复杂性是$O(1/\varepsilon^2)$的2-瓦瑟斯坦距离。相比之下,投影朗之万算法的复杂性是$O(1/\varepsilon^{12})$的总变分时,潜在的凸。
2021-02-22 cs.LG math.OC stat.ML
Decomposing Linearly Constrained Nonconvex Problems by a Proximal Primal Dual Approach: Algorithms, Convergence, and Applications
本文针对光滑非凸线性约束最优化问题,提出了一种新的分解方法--邻近原始对偶法(Prox-PDA).所提出的方法是原始-对偶的基础上,其中的原始步骤最小化某些近似的增广拉格朗日的问题,和对偶步骤进行近似的对偶上升。在初始步骤中使用的近似能够分解变量块,使得可以通过利用问题结构来获得简单的子问题。理论上,我们证明了当增广拉格朗日量中的罚参数大于给定阈值时,Prox-PDA全局和次线性地收敛到稳态解集(即,在$\mathcal{O}(1/r)$的速率中,稳定性的某种度量降低,其中$r$是迭代计数器)。有趣的是,当将Prox-PDA的变体应用于分布式非凸优化问题(在连通的无向图上)时,所得算法与流行的EXTRA算法一致[Shi et al 2014],该算法仅在凸情况下工作。我们的分析表明,EXTRA及其变种全局次线性收敛到某些非凸分布最优化问题的平稳解。Prox-PDA有许多可能的扩展,我们提出了一个特定的扩展到某些非凸分布矩阵分解问题。
2016-04-02 cs.IT math.IT math.OC
Global exponential stability of primal-dual gradient flow dynamics based on the proximal augmented Lagrangian: A Lyapunov-based approach
University of Southern California(南加州大学)
针对一类带线性等式约束的非光滑复合最优化问题,利用基于Lyapunov的方法,建立了基于近似增广拉格朗日量的原始-对偶梯度流动力学的全局指数稳定性.当目标函数的可微部分是Lipschitz连续梯度的强凸函数,不可微部分是适当的、下半连续的和凸的,且线性约束中的矩阵是满行秩秩的时,结果成立.我们的二次李雅普诺夫函数推广最近的结果从强凸问题的仿射等式或不等式约束,以更广泛的一类复合最优化问题与非光滑正则化,它提供了一个最坏情况下的指数衰减率的下界。最后,我们使用计算实验来证明我们的收敛速度估计比现有的替代方案是不太保守的。
2019-10-02 cs.LG cs.SY eess.SY
A New Homotopy Proximal Variable-Metric Framework for Composite Convex Minimization
本文提出了两种新的思想,发展了求解一类复合凸优化问题的新的近似变度量法。第一个想法是一个新的参数化的最优性条件,使我们能够开发一类同伦近变度量法。我们表明,在适当的假设,如强凸型和光滑性,或自和谐,我们的新计划可以实现有限的全球迭代复杂性的界限。我们的第二个想法是一个原始-对偶-原始框架的近似牛顿方法,可以导致一些有用的计算功能的一个子类的非光滑复合凸优化问题。从原问题出发,构造了原问题的对偶问题,并利用同伦近似牛顿法求解该对偶问题。与其直接在对偶空间中求解子问题,我们建议将这个子问题对偶化,回到原始空间。由此产生的子问题共享一些相似性,促进了原问题的正则化,并导致一些计算上的优势。作为一个副产品,我们专门提出的算法来解决协方差估计问题。令人惊讶的是,我们的新算法不需要任何矩阵求逆或Cholesky分解,和函数评估,而它的作品在原始空间的稀疏结构,促进了正则化。几个应用的数值例子来说明我们的理论发展,并与国家的艺术比较。
2018-12-13 math.OC
An accelerated proximal gradient method for multiobjective optimization
针对无标量化多目标凸优化缺乏加速方法及收敛速率证明的问题,将FISTA推广为多目标加速近端梯度方法,通过特有子问题及其对偶求解实现$O(1/k^2)$全局收敛速率,并经数值实验验证。
2023-04-26 cs.NA math.NA math.OC
RandProx: Primal-Dual Optimization Algorithms with Randomized Proximal Updates
邻近分裂算法非常适合于解决大规模非光滑最优化问题,特别是机器学习中出现的问题。我们提出了一种新的原始对偶法,其中对偶更新是随机的,等价地,在问题中的函数之一的邻近算子被替换为随机预言。例如,在每次迭代中更新一些随机选择的对偶变量,而不是全部。或者,函数的邻近运算符仅以较小的概率被调用。一个非光滑的方差减少技术的实施,使算法找到一个确切的极小化的一般问题,涉及光滑和非光滑的功能,可能与线性算子组成。我们推导出线性收敛结果存在强凸性,这些结果是新的,即使在确定性的情况下,当我们的算法恢复到最近提出的原始-对偶戴维斯-尹算法。文献中的一些随机算法也被恢复为特定情况(例如,Point-SAGA)。但我们的随机化技术是通用的,包括许多超越采样和概率更新的无偏机制,包括压缩。由于收敛速度取决于原始和对偶收缩机制中最慢的一个,因此当使用随机性时,迭代复杂度可能保持不变。另一方面,可以显著降低计算复杂度。总的来说,随机性有助于获得更快的算法。这在随机梯度型算法中早已为人所知,我们的工作表明,这也完全适用于更一般的原始对偶设置。
2023-03-07 math.OC
New Primal-Dual Proximal Algorithm for Distributed Optimization
我们考虑一个网络的代理人,每个都有自己的私人成本组成的两个可能的非光滑的凸函数,其中之一是由一个线性算子的总和。在每次迭代中,每个代理执行本地计算,并且只能与其邻居通信。目标是最小化私有费用函数的总和,并在图上达成共识。我们提出了一个原始对偶法的基础上\emph{Asymmetric Forward-Backward-Adjoint}(AFBA),一个新的运营商分裂技术最近推出的两位作者。我们的算法包括Chambolle和Pock的方法作为一个特殊情况,并具有线性收敛速率时,费用函数分段线性二次。我们表明,我们的分布式算法很容易实现,而不需要执行矩阵求逆或内部循环。我们通过计算实验证明如何选择我们的算法的参数可以导致更大的步长,并产生更好的性能。
2017-03-12 math.OC
Accelerated primal-dual methods for linearly constrained convex optimization problems
提出了一个求解仿射约束凸优化的加速原-对偶动力系统,并给出了一类具有非遍历收敛速度的原-对偶方法。在连续层,建立了一个新的指数衰减的李雅普诺夫函数,在离散层,依次考虑了连续模型的隐式、半隐式和显式数值离散,从而得到了求解线性约束最优化问题的新的加速原-对偶方法.这些方案中的子问题的特殊结构被用来开发有效的内部求解器。此外,通过一个定制的离散李雅普诺夫函数,证明了非遍历收敛速度的原始-对偶间隙,原始目标残差和可行性违反。此外,我们的方法也被应用到分散的分布式优化快速和有效解。
2022-04-09 math.OC
The operator splitting schemes revisited: primal-dual gap and degeneracy reduction by a unified analysis
我们重新审视了在最近的工作中提出的算子分裂方案[基于拉格朗日和原始对偶的算子分裂方案的一些扩展:统一的邻近点分析,冯雪,优化,2022,doi:10.1080/02331934.2022.2057309],并进一步在统一的邻近点框架下分析了这些算法的广义Bregman距离和原对偶间隙的收敛性。还原到一个简单的预解的可能性也讨论了利用结构和可能的退化的基本度量。
2023-02-19 math.OC
Gradient flows and proximal splitting methods: A unified view on accelerated and stochastic optimization
优化是机器学习、统计学和许多应用科学学科的核心。它在物理学中也有很长的历史,从最小作用量原理到寻找无序系统的基态,如自旋玻璃。近似算法形成了一类广泛适用的方法,特别适合于非光滑、约束、大规模和分布式最优化问题。基本上有五个最近的算法目前已知:向前向后分裂,曾分裂,道格拉斯-Rachford,交替方向法的乘数,和最近的戴维斯-尹。与基于梯度的方法相比,这些方法具有更高的抽象层次,在非线性泛函分析中具有深厚的根基。我们证明了所有这些方法实际上都是单个微分方程的不同离散化,即可以追溯到柯西(1847)的简单梯度流。许多机器学习成功案例背后的一个重要方面依赖于“加速”一阶方法的收敛。我们表明,类似的离散化方案适用于牛顿方程的额外耗散力,我们称之为加速梯度流,使我们能够获得加速的变种,所有这些邻近的算法-其中大多数是新的,虽然一些恢复已知的情况下,在文献中。此外,我们将这些方法扩展到随机设置,使我们能够与朗之万和福克-普朗克方程的连接。类似的想法适用于梯度下降,重球和Nesterov的方法,它们更简单。因此,我们的结果提供了一个统一的框架,从几个重要的最优化方法是什么,但模拟经典耗散系统。
2021-05-10 cs.NA math.NA math.OC
A New Randomized Block-Coordinate Primal-Dual Proximal Algorithm for Distributed Optimization
本文提出了一种新的原始对偶法TriPD,用于极小化一个Lipschitz可微凸函数和两个可能非光滑的凸函数之和,其中一个凸函数由一个线性映射组成.我们设计了一个随机块坐标版本的算法收敛在相同的步长条件下的完整算法。它表明,无论是原来的,以及块坐标计划功能线性收敛速率时,所涉及的功能是分段线性二次,或当他们满足一定的二次增长条件(这是弱于强凸性)。此外,我们将开发的算法应用到图上的多智能体优化问题,从而获得新的同步和异步分布式方法。所提出的算法是完全分布式的意义上说,每个代理的更新和步长只依赖于本地信息。事实上,不需要事先进行全球协调。最后,我们展示了我们的算法在分布式编队控制中的应用。
2019-09-30 math.OC
Anderson Accelerated Primal-Dual Hybrid Gradient for solving LP
School of Mathematical Sciences, University of Southampton(南安普顿大学数学科学学院)
研究如何将安德森加速集成到PDHG方法来求解LP问题,提出AA-PDHG框架并建立其全局收敛性,给出过滤变体FAA-PDHG。实验表明AA-PDHG和FAA-PDHG比普通PDHG显著加速,确立安德森加速可替代重启机制。
2026-07-14 cs.NA math.NA math.OC
Accelerated Proximal Point Method for Maximally Monotone Operators
提出了一种求解极大单调算子的加速邻近点方法。证明是计算机辅助通过性能估计问题的方法。邻近点法包括各种著名的凸优化方法,如乘子邻近法和乘子交替方向法,因此所提出的加速具有广泛的应用。数值实验证明了加速行为。
2021-03-24 math.OC
Accelerated Dual-Averaging Primal-Dual Method for Composite Convex Minimization
WeBank AI Group(微众银行AI集团);Tencent Inc.(腾讯公司);University of California, Davis(加州大学戴维斯分校);The Hong Kong University of Science and Technology(香港科技大学)
双平均型方法由于其促进解结构(例如,稀疏性)有效地。本文提出了一种新的求解复合凸函数最小化问题的加速双平均原始对偶法。我们还得到了一个随机版本的方法,解决了经验风险最小化,其优势在处理稀疏数据的理论和经验证明。
2020-01-15 cs.LG math.OC stat.ML
Accelerated primal-dual methods with enlarged step sizes and operator learning for nonsmooth optimal control problems
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡大学);The University of Hong Kong(香港大学);Nankai University(南开大学)
针对非光滑PDE约束最优控制问题,提出用更大步长或算子学习加速原始-对偶方法,前者保持收敛性,后者用神经网络替代PDE求解,显著降低计算成本,初步实验验证有效。
2023-07-25 cs.LG cs.NA math.NA
A primal-dual dynamical approach to structured convex minimization problems
在本文中,我们提出了一个原始-对偶动力学的方法来最小化的结构凸函数组成的光滑项,非光滑项,和另一个非光滑项的组合与线性连续算子。在这个范围内,我们引入了一个动力系统,我们证明了它的轨迹渐近收敛到一个鞍点的拉格朗日的基本凸极小化问题的时间趋于无穷大。此外,我们提供率的违反可行性条件的遍历轨迹和收敛的目标函数沿这些遍历轨迹的极小值。显式时间离散的动力系统的结果在一个数值算法,这是一个组合的线性化的邻近方法的乘数和邻近ADMM算法。
2020-07-31 cs.NA math.DS math.NA
Interwoven SDP in Primal-Dual Proximal Splitting Methods for Adjustable Robust Convex Optimisation with SOS-Convex Polynomial Constraints
University of New South Wales(新南威尔士大学)
本文提出了一种基于SDP的对偶近端分裂方法,用于求解具有SOS-凸多项式约束的可调整鲁棒凸优化问题,展示了其在两阶段订货模型中的有效性。
2026-02-16 math.OC
Stochastic Primal-Dual Proximal ExtraGradient Descent for Compositely Regularized Optimization
UC Berkeley(加州大学伯克利分校);National University of Defense Technology(国防科技大学);Stanford University(斯坦福大学);National University of Singapore(新加坡国立大学)
我们考虑了广泛的正则化随机极小化问题的两个正则化项,其中之一是由一个线性函数。该优化模型抽象了人工智能和机器学习中的许多重要应用,例如融合Lasso,融合Logistic回归和一类图引导正则化最小化。这个模型的计算挑战有两个方面。一方面,与组合正则化项或期望目标函数相关联的邻近映射的封闭形式解是不可用的。另一方面,当输入数据样本的数量相当大时,目标中期望的全梯度的计算是非常昂贵的。为了解决这些问题,我们提出了一个随机变量的额外梯度型方法,即\textsf{Stochastic Primal-Dual Proximal ExtraGradient descent (SPDPEG)},并分析其收敛性的凸和强凸目标。对于一般的凸目标,由\textsf{SPDPEG}产生的一致平均迭代以$O(1/\sqrt{t})$速率按期望收敛。而对于强凸目标,由\textsf{SPDPEG}产生的一致和非一致平均迭代分别以$O(\log(t)/t)$和$O(1/t)$速率收敛.所提出的算法的速度的顺序是已知的,以匹配一阶随机算法的最佳收敛速度。融合逻辑回归和图引导正则化逻辑回归问题的实验表明,该算法的性能非常有效,并始终优于其他竞争算法。
2018-02-01 cs.LG math.OC stat.ML
A Proximal Alternating Direction Method of Multiplier for Linearly Constrained Nonconvex Minimization
考虑多面体上非凸可微函数的极小化问题。一个流行的原始-对偶一阶方法是对增广拉格朗日函数进行梯度投影迭代,然后使用约束残差更新对偶乘子向量。然而,数值例子表明,这种方法可以表现出“振荡”,可能不会收敛。在本文中,我们提出了一个接近的交替方向法的乘法器的多块版本的这个问题。该方法的显著特征是引入了“平滑”(即,指数加权)原始迭代序列,并且在每次迭代时,将以当前平滑原始迭代为中心的二次邻近项包含到增广拉格朗日函数中。在每次迭代中,得到的近端增广拉格朗日函数被不精确地最小化(经由梯度投影步骤),而使用线性约束的残差来更新对偶乘子向量。当原始和对偶步长足够小时,我们证明了适当的“平滑”可以稳定“振荡”,并且新的近似ADMM算法的迭代在一些温和的正则性条件下收敛到一个稳定点。当目标函数为二次函数时,证明了算法的线性收敛性.我们的证明是基于一个新的势函数和一个新的使用误差界。
2020-08-04 math.OC
A Mixing-Accelerated Primal-Dual Proximal Algorithm for Distributed Nonconvex Optimization
本文提出分布式混合加速原始对偶近端算法MAP-Pro,通过类增广拉格朗日函数与时变混合多项式实现非凸优化,证明了次线性及P-Ł条件下的线性收敛性,结合Chebyshev加速可提升性能,数值实验验证其收敛与通信效率优势。
2024-03-10 cs.SY eess.SY math.OC
Convergence analysis of a primal-dual optimization-by-continuation algorithm
本文提出一种原始-对偶连续优化算法,可在单次迭代中同时逼近不同参数权重下由可微项、邻近简单项及线性复合邻近简单项构成的凸代价函数的最小化子,并给出基于非精确变尺度方法的收敛性证明,统一推广了 Chambolle-Pock 原始-对偶算法和邻近梯度算法。
2024-10-03 cs.NA math.NA math.OC
Unifying restart accelerated gradient and proximal bundle methods
本文提出一种重启版 Nesterov 加速梯度法并证明其最优复杂度,同时将该方法与近似束方法统一纳入加速不精确近似点框架。
2025-01-07 math.OC
Variance Reduction via Primal-Dual Accelerated Dual Averaging for Nonsmooth Convex Finite-Sums
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们研究了结构化非光滑凸有限和优化,它广泛地出现在机器学习应用中,包括支持向量机和最小绝对偏差。对于这个问题的原始-对偶公式,我们提出了一种新的算法称为\emph{Variance Reduction via Primal-Dual Accelerated Dual Averaging (\vrpda)}。在非光滑和一般凸设置中,\vrpda ~具有根据原始-对偶间隙的总体复杂度$O(nd\log\min \{1/ε, n\} + d/ε)$,其中$n$表示样本的数量,$d$表示原始变量的维度,并且$ε$表示期望的精度。在非光滑和强凸的情况下,\vrpda ~的整体复杂性在原始-对偶间隙和最优解与最优解之间的距离方面都变成了$O(nd\log\min\{1/ε, n\} + d/\sqrtε)$. \vrpda ~的这两个结果都以更简单和直接的方式显着改善了最先进的复杂性估计,即非光滑和一般凸设置的$O(nd\log \min\{1/ε, n\} + \sqrt{n}d/ε)$和非光滑和强凸设置的$O(nd\log \min\{1/ε, n\} + \sqrt{n}d/\sqrtε)$。此外,这两个复杂性都优于\emph{lower}边界的一般凸有限和,缺乏特定的(共同的)结构,我们认为。我们的理论结果得到了数值实验的支持,证实了\vrpda ~的竞争力的性能相比,国家的最先进的。
2021-04-07 cs.LG cs.NA math.NA
Primal-dual Accelerated Mirror-Descent Method for Constrained Bilinear Saddle-Point Problems
本文提出一种时变原始-对偶加速镜像下降算法,用于求解约束双线性鞍点问题,实现$O(1/t^2)$收敛率,并衍生出面向分布式优化和零和博弈的两种加速变体。
2024-10-03 math.OC
A universal accelerated primal-dual method for convex optimization problems
提出了一种求解仿射约束凸优化问题的加速一阶原-对偶方法。它可以处理Lipschitz和Hölder梯度,但不需要知道目标函数的平滑度。在线搜索部分,它使用动态递减的参数,并产生近似的Lipschitz常数与适度的大小。此外,基于适当的离散李雅普诺夫函数和一些微分/差分不等式的紧衰减估计,建立了一个通用的最优混合型收敛速度.一些数值试验证实了所提出的方法的有效性。
2022-11-08 math.OC
Inertial accelerated primal-dual algorithms for non-smooth convex optimization problems with linear equality constraints
Chongqing University(重庆大学);Chongqing Technology and Business University(重庆工商大学);Sunway University(双威大学)
本文提出一种基于二阶微分系统的时间缩放的惯性加速对偶算法,用于求解具有线性等式约束的非光滑凸优化问题,证明了该算法在对偶间隙、可行性违反和目标残差上的快速收敛性,并通过数值实验验证了其有效性。
2026-03-05 math.OC
Dynamical Primal-Dual Accelerated Method with Applications to Network Optimization
针对一类带仿射等式约束的凸优化问题,提出了一种带阻尼系数的连续时间原-对偶加速算法。本文分析了该方法中参数的临界值,并证明了通过选择合适的参数,以对偶间隙函数表示的收敛速率为$O(\tfrac{1}{t^2})$。据我们所知,这是第一个连续时间的原始-对偶加速方法,可以获得最优的速度。然后将该方法应用于两个网络最优化问题,一个带一致性约束的分布式最优化问题和一个分布式扩展单变量最优化问题,得到了两种不同的分布式算法。最后,通过数值模拟验证了该方法的有效性.
2022-02-15 math.OC
Accelerated, Parallel and Proximal Coordinate Descent
本文提出了一种新的随机坐标下降法,用于极小化仅依赖于少量坐标的凸函数之和。我们的方法(APPROX)同时加速,并行和PROXALITY,这是第一次提出这样的方法。在处理器的数量等于坐标的数量的特殊情况下,该方法以速率$2\barω\bar{L} R^2/(k+1)^2 $收敛,其中$k$是迭代计数器,$\barω$是损失函数的平均可分性程度,$\bar{L}$是与坐标和中的各个函数相关联的Lipschitz常数的平均值,并且$R$是初始点到最小值的距离。我们表明,该方法可以实现,而不需要执行全维向量运算,这是现有的加速坐标下降法的主要瓶颈。事实上,该方法依赖于平均程度的可分性,而不是最大程度的可分性,可以归因于使用新的安全的大步长,从而改善预期的可分离过逼近(ESO)。这些都是独立的利益,并可以利用在所有现有的并行随机坐标下降算法的概念的基础上ESO。
2014-03-01 cs.DC cs.NA math.NA
Projective Splitting as a Warped Proximal Algorithm
我们证明了P.L. Combettes和J. Eckstein在他们的2018年数学课程中。论文可以被看作是最近提出的翘曲邻近算法的实例。
2021-06-04 math.OC
A Doubly Accelerated Inexact Proximal Point Method for Nonconvex Composite Optimization Problems
本文描述并建立了求解目标函数为$f+h$形式的非凸复合极小化问题的双加速非精确邻近点(D-AIPP)方法的迭代复杂性,其中$f$是梯度为Lipschitz连续的(可能非凸)可微函数,$h$是有界区域的闭凸函数. D-AIPP执行两种类型的迭代,即内部迭代和外部迭代。其外迭代对应于加速的不精确邻近点格式。它的内迭代是由加速复合梯度法执行的,用于不精确地求解在外迭代期间产生的凸邻近子问题。因此,D-AIPP采用内部加速度和外部加速度。
2018-12-18 math.OC
Primal-Dual Bundle Methods for Linear Equality-Constrained Problems
School of Automation and Intelligent Manufacturing, Southern University of Science and Technology(南方科技大学自动化与智能制造学院)
针对对偶上升法和乘子法因近端线性代理函数精度低导致收敛慢的问题,本文提出一类泛化性更强的新型原始-对偶束方法,证明了其收敛性,且实验验证该方法收敛更快、参数鲁棒性更优。
2025-11-18 math.OC
Accelerated Proximal Envelopes: Application to the Coordinate Descent Method
这篇文章致力于一个特殊的情况下,使用通用加速邻近包络,以获得计算效率的加速版本的方法,用于解决各种最优化问题设置。在本文中,我们提出了一个近似加速坐标下降法,实现了有效的迭代算法的复杂性,并允许一个利用问题的稀疏性。应用所提出的方法来优化SoftMax类函数的一个例子考虑,其中所描述的方法允许削弱依赖的计算复杂性的问题$n$的尺寸在$\mathcal{O}(\sqrt{n})$倍,并在实践中证明了一个更快的收敛速度与标准方法相比。
2021-01-12 math.OC