Primal-dual interior-point Methods for Semidefinite Programming from an algebraic point of view, or: Using Noncommutativity for Optimization
三十多年来,内点方法被证明对优化非常有用,从半定线性规划到圆锥规划(部分超越非凸);尽管事实上已经在半定情况下(即使强对偶成立)“困难”问题是已知的。我们阴影的光在非交换世界(半定规划),即“交换”路径,而令人惊讶的限制,并提出了一个新的家庭的求解器,能够使用充分丰富的“非交换”搜索方向:(原始)可行的内点方法。除了详细的基本讨论,我们说明了一些变种的“非交换”路径,并提供了一个简单的实现进一步(具体问题)的调查。
2020-02-24 math.OC
Distributed Primal-dual Interior-point Methods for Solving Loosely Coupled Problems Using Message Passing
在本文中,我们提出了一个分布式算法求解弦稀疏的松耦合问题,它依赖于原始-对偶内点方法。我们通过使用消息传递在每次迭代中分配计算来实现这一点。与现有的分布式算法相比,该算法需要更少的迭代次数来收敛到具有高精度的解。此外,它是可能的,以计算所需的迭代次数的上限,不像现有的方法,只取决于耦合结构的问题。我们使用一组数值例子来说明我们提出的方法的性能。
2015-06-29 math.OC
On the Differentiability of the Primal-Dual Interior-Point Method
针对原对偶内点法在主动不等式约束下导数不连续的问题,提出对数屏障松弛技术结合始终可行的ℓ₁惩罚凸二次规划求解算法,实现可并行的光滑可微求解器,已在机器人任务验证并开源JAX实现。
2024-06-18 math.OC
Interior-proximal primal-dual methods
研究了一类鞍点问题的预条件逼近点方法,其中预条件子将整体逼近点方法转化为原始-对偶交替逼近点方法。这类似于Chambolle-Pock方法或ADMM。在我们的工作中,我们用对称锥上的障碍函数代替对偶步骤中的平方距离,同时使用标准(欧几里德)邻近步骤作为原始变量。我们证明了在非退化和简单的线性约束下,这种混合原始对偶法可以实现线性收敛原来的强凸问题,涉及二阶锥在其鞍点形式。在一般的对称锥上,我们只能给出一个$O(1/N)$速率。这些结果是基于估计的障碍函数的强凸性,延长与惩罚的对称锥的边界。
2018-08-22 math.OC
A primal-dual interior-point relaxation method for nonlinear programs
我们证明了经典的对数障碍问题等价于一个特殊的对数障碍正松弛问题的障碍和标度参数。在此基础上,提出了一种求解非线性规划问题的线搜索原对偶内点松弛法。该方法不要求原迭代或对偶迭代都是邻域点,这与文献中已有的内点方法有显著的不同。为了保证算法的整体收敛,采用了一种新的既依赖于原始变量又依赖于对偶变量的对数障碍罚函数,其中罚参数自适应地更新。在不假设任何正则性条件的情况下,证明了只要障碍参数趋于零,我们的方法将终止于原问题的一个近似KKT点。本文给出了一些初步的数值结果,包括一个适定问题的结果,对于这个适定问题,许多线搜索内点方法都不能证明是全局收敛的;一个可行问题的结果,对于这个可行问题,LICQ和MFCQ不能保持在解上;以及CUTE集合的一些标准测试问题。这些结果表明,我们的算法不仅是有效的适定的可行问题,但也适用于一些不适定的可行问题,甚至一些不可行的问题。
2018-07-09 math.OC
A Primal-Dual Interior Point Method for a Novel Type-2 Second Order Cone Optimization Problem
本文定义了一种新的特殊二阶锥作为$k$型二阶锥。我们集中在$k=2$的情况下,它可以被视为SOCO与一个额外的{ \em复杂变量}。对于这个新的问题,我们制定了必要的先决条件,传统的SOCO以前的工作的基础上。然后,我们开发了一个原始-对偶内点算法求解2型二阶锥优化(SOCO)问题,基于一个家庭的核函数适合这种2型SOCO。最后,我们推导出我们的框架的以下迭代范围:\[\frac{L^γ}{θκγ} \left[2N ψ\left( \frac{\varrho \left(τ/4N\right)}{\sqrt{1-θ}}\right)\right]^γ\log \frac{3N}ε.\]
2019-12-18 math.OC
Primal-Dual Entropy Based Interior-Point Algorithms for Linear Optimization
在求解线性最优化的内点方法中,我们提出了一类基于原始对偶熵的搜索方向。我们表明,通过使用熵为基础的搜索方向的预测步骤的预测-校正算法与齐次自对偶嵌入,我们可以实现当前最佳的迭代复杂度界的线性最优化。然后,我们专注于一些宽邻域算法,并表明,在我们的家庭的熵为基础的搜索方向,我们可以找到最佳的搜索方向和步长的组合,通过执行一个平面搜索在每次迭代。为此,我们提出了一个启发式的平面搜索算法,以及一个确切的。最后,我们进行计算实验,研究基于熵的搜索方向的性能在广泛的邻域的中心路径,利用和不利用平面搜索算法。
2014-10-30 math.OC
On the behavior of Lagrange multipliers in convex and non-convex infeasible interior point methods
我们分析了由内点方法(IPM)在凸和非凸设置产生的序列。我们证明了移动的原始可行性在相同的速度作为障碍参数$μ$确保拉格朗日乘子序列保持有界,提供原始序列的极限点有一个拉格朗日乘子。此结果不需要约束规格。我们还保证IPM找到一个解决方案,满足严格互补性,如果存在。另一方面,如果原始可行性降低得太慢,则算法收敛到最小互补点;如果原始可行性降低得太快,并且拉格朗日乘子的集合是无界的,则拉格朗日乘子的范数趋于无穷大。我们的理论具有重要的意义,IPM的设计。具体来说,我们表明,IPOPT,一个算法,不仔细控制原始可行性有实际问题的双重乘数值增长到不必要的大值。相反,\citet*{hinder2018one}的单阶段IPM(一种控制原始可行性的算法,正如我们的理论所建议的那样)没有这样的问题。
2019-06-11 math.OC
Polynomial worst-case iteration complexity of quasi-Newton primal-dual interior point algorithms for linear programming
拟牛顿法是用于大规模数值优化的公知技术。他们在最优化问题中使用Hessian近似,在非线性方程组中使用Jacobian近似。在内点上下文中,拟牛顿算法计算与牛顿系统相关联的矩阵的低秩更新,而不是在每次迭代时从头开始计算。本文证明了线性规划的简化拟牛顿原对偶内点算法具有多项式最坏情况迭代复杂度。考虑了算法的可行和不可行情况,分析了中心路径的最常见邻域。据我们所知,这是第一次尝试为这些方法提供多项式最坏情况下的迭代复杂度界限。不出所料,当使用拟牛顿方向时获得的最坏情况的复杂度结果比采用牛顿方向时的结果更差。然而,拟牛顿更新是非常有吸引力的大规模最优化问题,其中分解矩阵的成本是远远高于解决线性系的成本。
2022-09-09 math.OC
On Metric Subregularity for Convex Constraint Systems by Primal Equivalent Conditions
本文主要研究由一个凸集值映射和一个凸约束子集定义的凸约束系统的度量次正则性。主要工作是利用相依锥和图导数给出度量次正则性的几个原等价条件。进一步证明了这些原等价条件可以刻画Zheng和Ng [SIAM J. Optim.,18(2007),pp. 437-460]。
2016-10-18 math.OC
Interior point methods in optimal control problems of affine systems: Convergence results and solving algorithms
本文针对控制仿射的最优控制问题提出内点方法,通过求解微分代数方程边值问题实现收敛,并给出原始及原始-对偶算法及数值验证。
2023-08-31 math.OC
A primal dual variational formulation suitable for a large class of non-convex problems in optimization
在这篇文章中,我们开发了一个新的原始对偶变分公式适用于一个大类的非凸变分问题。这些结果是通过凸分析、对偶理论、勒让德变换概念以及原始变量和对偶变量之间的关系等基本工具得到的。这里的新颖之处在于,对偶公式也是为原始变量建立的,但是具有关于临界点的大的域区域。最后,我们正式证明了在局部极值的情况下,原始和对偶公式之间没有对偶间隙。
2019-09-03 math.OC
On the asymptotic behavior of a higher-order extrapolation primal-dual interior-point method for nonlinear programming
本文研究非线性规划原始-对偶内点法中利用高阶导数信息进行轨迹外推的渐近收敛行为,证明足够高阶时仅靠外推即可达到障碍参数减小速率,并给出二次规划数值验证。
2025-07-02 math.OC
Inertial primal-dual methods for linear equality constrained convex optimization problems
本文提出了一种求解线性等式约束凸优化问题的惯性加速原-对偶方法。当目标函数具有“非光滑+光滑”的复合结构时,通过对光滑个体函数进行线性化,并不精确地求解子问题,提出了一种不精确惯性原对偶方法.仅假设凸性,我们证明了所提出的方法享有$\mathcal{O}(1/k^2)$收敛速度的目标残差和可行性违反的原始模型。数值结果表明所提出的方法的有效性。
2021-06-29 math.OC
A primal dual formulation through a proximal approach for non-convex variational optimization
本文开发了一个原始对偶制定的原始近似方法适用于一个大类的非凸模型的变分法。通过标准工具的泛函分析,凸分析和对偶理论的结果,并施加到Ginzburg-Landau型模型。最后,在最后两节中,我们给出了模型的最优性条件和另一个对偶原理。
2021-07-25 math.OC
Accelerated Primal Dual Method for a Class of Saddle Point Problem with Strongly Convex Component
本文提出了一种简单的原始对偶方法DPD,它是求解一类具有或不具有强凸分支的鞍点问题的灵活框架。该方法有线性化形式LDPD和精确化形式EDPD。DPD的每次迭代通过简单的邻近映射顺序地更新对偶变量和原始变量,并通过外推来细化对偶变量。光滑或强凸原始分量的收敛性分析恢复了以前的最先进的结果,而强凸对偶分量的收敛性分析获得了原始对偶间隙的完全加速$O(1/k^2)$。通过对高斯噪声和椒盐噪声图像的全变差图像去模糊实验,证明了利用对偶分量的强凸性实现全变差加速的有效性。
2019-07-14 math.OC
A Limiting Analysis on Regularization of Singular SDP and its Implication to Infeasible Interior-point Algorithms
我们考虑半定规划的原始对偶对,并假设它们是不适定的,即,原始和对偶都是弱可行或弱不可行的。在这种情况下,强对偶可能会崩溃,原始对偶和对偶可能会有一个非零的对偶间隙。然而,有任意的小扰动的问题数据,使扰动的原始对偶对强可行,从而零的对偶差距。在本文中,我们进行了渐近分析的最优值的扰动驱动到零。具体地说,我们固定两个正定矩阵(典型的是单位矩阵),并将原、对偶的相关仿射空间向这两个正定矩阵的方向以不同的比例稍微移动,使得扰动问题具有内部可行解,并分析了当扰动降为零时,扰动问题的最优值的行为.我们的分析的一个关键特征是,没有进一步的假设,如紧凑性或约束规格。结果表明,扰动问题的最优值收敛于原问题的原始和对偶最优值之间的值。最后,分析导致我们的相对令人惊讶的后果,不可行的内点算法SDP生成一个序列收敛到一个数之间的原始和双最优值,即使在存在一个非零的对偶间隙。我们期望,这个属性可能是特别有用的解决混合整数SDP与不可行的内点方法。
2022-10-24 math.OC
Interior Point Methods in Optimal Control
本文针对含纯状态与混合约束的最优控制问题,证明内点法对原始及对偶变量的收敛性且无需强凸性假设,并给出原始与原始-对偶两种求解算法。
2024-06-18 math.OC
Local convergence of primal-dual interior point methods for nonlinear semidefinite optimization using the Monteiro-Tsuchiya family of search directions
本文针对非线性半定优化提出采用 Monteiro–Tsuchiya 方向族的原始-对偶内点法,并在缩放矩阵的一般假设下证明其向 KKT 点的局部超线性收敛性。
2024-01-25 math.OC
Perturbed primal-dual dynamics with damping and time scaling coefficients for affine constrained convex optimization problems
在希尔伯特空间中,提出了一类仿射约束凸优化问题的原-对偶动力系统.几个阻尼系数,时间标度系数,和扰动项,因此被认为是。通过构造能量函数,我们研究了阻尼系数和时间尺度系数的不同选择下的收敛速度。我们的结果将无约束凸优化问题的惯性动力学方法推广到了仿射约束凸优化问题。
2021-06-25 math.OC
A primal-dual interior-point method capable of rapidly detecting infeasibility for nonlinear programs
借助于对数障碍增广拉格朗日函数,我们可以得到非线性规划的障碍问题的松弛变量的封闭解。由此,提出了一个两参数原始-对偶非线性系统,当其中一个参数为零时,该系统分别对应于非线性规划的Karush-Kuhn-Tucker点和不可行稳定点.基于这个独特的系统,我们提出了一个原始-对偶内点方法能够快速检测非线性规划的不可行性。该方法生成内点迭代而不截断步长。证明了当障碍参数趋于零时,该方法收敛于原问题的Karush-Kuhn-Tucker点。否则,尺度参数趋于零,并且该方法收敛到原问题的不可行稳定点或奇异稳定点。此外,我们的方法具有快速检测问题的不可行性的能力。在适当的条件下,当原问题可行时,该方法可以超线性或二次收敛到Karush-Kuhn-Tucker点;当原问题不可行时,该方法也可以超线性或二次收敛到不可行驻点.初步的数值结果表明,该方法在求解一些简单但困难的问题和CUTE集合中的标准测试问题时是有效的,其中在求解文献中提出的两个不可行问题和一个适定的可行反例时,证明了该方法的超线性收敛.
2018-07-08 math.OC
Accelerated primal-dual methods for linearly constrained convex optimization problems
提出了一个求解仿射约束凸优化的加速原-对偶动力系统,并给出了一类具有非遍历收敛速度的原-对偶方法。在连续层,建立了一个新的指数衰减的李雅普诺夫函数,在离散层,依次考虑了连续模型的隐式、半隐式和显式数值离散,从而得到了求解线性约束最优化问题的新的加速原-对偶方法.这些方案中的子问题的特殊结构被用来开发有效的内部求解器。此外,通过一个定制的离散李雅普诺夫函数,证明了非遍历收敛速度的原始-对偶间隙,原始目标残差和可行性违反。此外,我们的方法也被应用到分散的分布式优化快速和有效解。
2022-04-09 math.OC
Primal Characterizations of Error Bounds for Composite-convex Inequalities
本文讨论了一般函数误差界的基本条件。利用Bouligand切锥、Hadamard下方向导数和子集的Hausdorff-Pompeiu过剩,在适当的假设下,给出了几个误差界的充要条件充分条件.然后,我们利用这些原始结果来刻画复合凸函数(即凸函数与连续微分映射的复合)的误差界。证明了若映射在给定点处度量正则,则误差界的原始特征可由Bouligand切锥、方向导数和Hausdorff-Pompeiu过剩建立.同时给出了误差界模的精确估计。
2022-10-01 math.OC
A Primal-Dual Smoothing Framework for Max-Structured Non-Convex Optimization
针对具有最大结构的非光滑非凸优化问题,提出原始-对偶平滑框架,分析两类平滑途径的梯度复杂度并改进现有最优预言机复杂度。
2023-07-17 math.OC
Fast primal-dual algorithm via dynamical system for a linearly constrained convex optimization problem
通过对具有阻尼$α/t$的二阶原-对偶动力系统进行时间离散,其中原变量只需要Nesterov意义下的惯性结构,提出了求解线性等式约束凸优化问题的一种快速原始对偶法.在适当的尺度条件下,我们证明了该算法对于目标残差和可行性违背具有快速的收敛速度,衰减速率最大可达$\mathcal{O}(1/k^{α-1})$.我们也研究了相应的原始-对偶动力系统的收敛性质,以更好地理解加速方案。最后,我们报告的数值实验,以证明所提出的算法的有效性。
2022-06-03 math.OC
Primal-dual subgradient method for constrained convex optimization problems
本文考虑了一般的凸约束问题,其中函数既不是可微的,也不是Lipschitz连续的。我们的动机是在寻找一个简单的一阶方法来解决大范围的凸优化问题的最小要求。我们研究了加权对偶平均法(Nesterov,2009),并证明了它是一种最优方法。
2021-03-18 math.OC
Linear Convergence of Randomized Primal-Dual Coordinate Method for Large-scale Linear Constrained Convex Programming
线性约束凸规划有许多实际应用,包括支持向量机和机器学习投资组合问题。我们提出了随机原对偶坐标(RPDC)方法,这是Cohen和Zhu,1984和Zhao和Zhu,2019的一阶原对偶方法的随机坐标扩展,用于求解线性约束凸规划。我们随机选择一个基于均匀分布的变量块,线性化,并将Bregman样函数(核心函数)应用于所选块,以获得简单的并行原始-对偶分解。在强度量次正则条件下,证明了算法的几乎处处收敛性和期望O(1/t)收敛速度,以及期望线性收敛.最后,我们讨论了随机原始-对偶坐标方法的实现细节,并对支持向量机和机器学习组合问题进行了数值实验,以验证其线性收敛。
2020-08-29 math.OC
A primal-dual flow for affine constrained convex optimization
针对仿射约束凸优化问题,提出了一种新的原始-对偶流。作为标准鞍点系统的一个改进,我们的原始-对偶流被证明具有指数衰减特性,在一个定制的李雅普诺夫函数。然后通过离散化得到两种原-对偶方法,并通过离散化的李雅普诺夫函数建立了全局非遍历线性收敛速率.而不是解决原始变量的子问题,我们应用半光滑牛顿迭代的子问题的乘数,提供了一些额外的属性,如半光滑性和稀疏性。特别地,对线性约束的$l_1$ - $l_2$最小化和基于全变分的图像去噪模型进行了数值试验。
2022-03-20 math.OC
An Improved Primal-Dual Interior Point Solver for Model Predictive Control
提出了一种求解带有线性不等式约束的二次规划问题的原-对偶邻点(PDIP)方法。我们表明,求解器收敛(局部)二次MPC问题的次优解。PDIP求解器依赖于两个阶段:阻尼阶段和纯牛顿阶段。与最先进的PDIP方法相比,我们的求解器用基于Nesterov快速梯度法(DFG)的对偶求解器代替了初始阻尼牛顿相位(通常用于计算中等精度解),该对偶求解器以O(1/k^2)阶的次线性收敛速度收敛到中等精度解。与现有技术相比,在对偶空间中计算到纯牛顿相位的切换策略,以利用由DFG在第一相位中提供的对偶信息。去除阻尼牛顿相位具有额外的优点,即我们的求解器节省了回溯线搜索所需的计算工作量。所提出的求解器的有效性证明了2维离散时间不稳定系统和航空航天应用。
2017-09-19 math.OC
A Multiscale Primal-Dual Interior-Point Relaxation Method for Large-Scale Optimal Transport Problems
School of Mathematical Sciences and LPMC, Nankai University(南开大学数学科学学院和LPMC);State Key Laboratory of Mathematical Sciences, Academy of Mathematics and Systems Science, Chinese Academy of Sciences, and the University of Chinese Academy of Sciences(中国科学院数学与系统科学研究院和中国科学院大学)
针对大规模最优传输问题,提出多尺度原始-对偶内点松弛方法,通过多尺度框架与稀疏子问题求解降低内存需求,实验表明其效率与扩展性优于现有求解器。
2026-08-13 math.OC
Convergence Rates of Inertial Primal-Dual Dynamical Methods for Separable Convex Optimization Problems
本文针对一类线性等式约束的可分凸优化问题,提出了一个具有时间依赖正阻尼项的二阶连续原-对偶动力系统。利用李雅普诺夫函数方法,研究了该动力系统作为时间$t\to+\infty$的渐近性质.对于不同的阻尼系数的选择的收敛速度推导。我们还表明,所获得的结果是强大的外部扰动下。
2020-07-24 math.OC
Primal-Dual Incremental Gradient Method for Nonsmooth and Convex Optimization Problems
本文考虑了一类带锥约束的非光滑凸有限和问题。为了克服投影到约束集和计算全(子)梯度的挑战,我们引入了一个原始-对偶增量梯度方案,其中只有一个分量函数和两个约束用于更新每个原始-对偶子迭代循环顺序。我们证明了一个渐近次线性收敛速率的次优性和不可行性,这是一个改进的国家的最先进的增量梯度计划在这种情况下。数值结果表明,所提出的计划相比,以及竞争的方法。
2021-05-07 math.OC
Primal-Dual Error Bounds and KKT Metric Subregularity in Convex Composite Optimization
School of Mathematics and Statistics, Beijing Institute of Technology(北京理工大学数学与统计学院);Beijing Key Laboratory on MCAACI/Key Laboratory of Mathematical Theory and Computation in Information Security, Beijing Institute of Technology(北京理工大学计算机辅助设计与图形学北京市重点实验室/信息安全数学理论与计算北京市重点实验室)
本文针对凸复合优化问题,引入约化原始-对偶KKT映射,建立了其度量次正则性与原始、对偶局部误差界的等价关系,并统一应用于多类模型。
2026-10-07 math.OC
A dual-primal balanced augmented Lagrangian method for linearly constrained convex programming
最近,He和Yuan [arXiv:2108.08554,2021]针对具有线性约束的典型凸规划问题提出了一种平衡增广拉格朗日方法(ALM),通过平衡其子问题和改进其实现来改进原始ALM。在这个简短的说明中,我们提出了一个双原始版本的平衡ALM,它通过一个相反的双原始迭代顺序形式上更新了新的递归。该方法继承了原型平衡ALM的所有优点,并且可以在变分不等式的背景下进行收敛性分析。此外,它的数值效率是由基追踪问题证明。
2021-12-28 math.OC
Decentralized and Parallel Primal and Dual Accelerated Methods for Stochastic Convex Programming Problems
介绍了求解分散凸优化问题的原始和对偶随机梯度预言方法。无论是原始和双重预言机,所提出的方法是最佳的通信步骤的数量。然而,对于目标的所有类,每个节点的Oracle调用的数量方面的最优性只发生到对数因子和平滑的概念。通过使用mini-technique,我们表明,所提出的方法与随机预言可以在每个节点上额外并行化。所考虑的算法可以应用于许多数据科学问题和反问题。
2021-02-10 math.OC
Primal-dual subgradient methods for minimizing uniformly convex functions
讨论了强一致凸目标最优化问题的非欧确定性和随机算法。我们提供这些算法的性能和设计方法是自适应的目标的强或均匀凸性的参数的准确性界限:在迭代$N$的总次数是固定的情况下,其准确性一致,最多的对数在$N$因子与最佳算法的准确性。
2014-01-08 math.OC
A primal--dual interior-point method for nonsymmetric conic optimization with conjugate-free scaling
Nankai University(南开大学);Suzhou University of Science and Technology(苏州科技大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学)
该研究提出基于无共轭缩放的原始-对偶内点法,将其嵌入齐次自对偶预测-校正框架,改进了迭代复杂度界,在特定锥优化问题上性能与专用求解器QICS相当。
2026-08-11 math.OC
A New Primal-Dual Algorithm with Two Convex Combinations and Linesearch for General Convex-Concave Saddle-Point Problems
School of Mathematics and Statistics, Guizhou University(贵州大学数学与统计学院)
针对凸-凹鞍点问题中凸组合参数的理论与数值要求不一致问题,提出带两个凸组合和线搜索的NPDAL-n算法,该算法具全局收敛性,强凸时加速版本达最优收敛率。
2026-09-01 math.OC
Riemannian Interior Point Methods for Constrained Optimization on Manifolds
本文提出黎曼内点法,将原始-对偶内点法推广到流形约束优化,证明其局部超线性、二次及结合线搜索后的全局收敛性,并通过实验验证稳定性与效率。
2024-02-07 math.OC
Inertial primal-dual dynamics with Hessian-driven damping and Tikhonov regularization for convex-concave bilinear saddle point problems
本文提出一种结合Hessian驱动阻尼和Tikhonov正则化的惯性对偶动力学方法,用于高效求解凸-凹双线性鞍点问题,并证明了其在收敛速度和轨迹强收敛方面的双重优势。
2025-07-15 math.OC
Inertial accelerated primal-dual algorithms for non-smooth convex optimization problems with linear equality constraints
Chongqing University(重庆大学);Chongqing Technology and Business University(重庆工商大学);Sunway University(双威大学)
本文提出一种基于二阶微分系统的时间缩放的惯性加速对偶算法,用于求解具有线性等式约束的非光滑凸优化问题,证明了该算法在对偶间隙、可行性违反和目标残差上的快速收敛性,并通过数值实验验证了其有效性。
2026-03-05 math.OC
"Second-Order Primal'' + "First-Order Dual'' Dynamical Systems with Time Scaling for Linear Equality Constrained Convex Optimization Problems
二阶动力系统是求解最优化问题的重要工具,现有的研究主要集中在无约束最优化问题上。针对线性等式约束凸优化问题,提出了一个具有常粘性阻尼和时间尺度的惯性原-对偶动力系统,它由原变量的二阶常微分方程和对偶变量的一阶常微分方程组成.当尺度变换满足一定条件时,在不假设强凸性的情况下,证明了它的收敛性。当缩放指数增长时,甚至收敛速度也可以变成指数。我们还证明了所得到的动力系统的收敛性在小扰动下是保持的。
2022-05-20 math.OC
Weak sharp minima for interval-valued functions and its primal-dual characterizations using generalized Hukuhara subdifferentiability
本文引入了凸区间值函数的弱锐极小的概念。为了确定一组凸IVF的WSM,我们提供了它的原始和对偶特征。原始特征以$gH$ -方向导数的形式给出。另一方面,为了得到对偶特征,我们提出了$I(\mathbb{R})^{n}$子集的支撑函数和$gH$ -凸IVF的次可微性的概念。此外,我们开发所需的$gH$ -次微分凸IVF。此后,通过使用建议的$gH$ -次微分,我们提供了一组凸IVF的WSM的对偶特征。
2021-09-23 math.OC
A universal accelerated primal-dual method for convex optimization problems
提出了一种求解仿射约束凸优化问题的加速一阶原-对偶方法。它可以处理Lipschitz和Hölder梯度,但不需要知道目标函数的平滑度。在线搜索部分,它使用动态递减的参数,并产生近似的Lipschitz常数与适度的大小。此外,基于适当的离散李雅普诺夫函数和一些微分/差分不等式的紧衰减估计,建立了一个通用的最优混合型收敛速度.一些数值试验证实了所提出的方法的有效性。
2022-11-08 math.OC
Accelerated Primal-Dual Algorithm for Distributed Non-convex Optimization
本文研究了非凸问题分布式优化算法的加速收敛问题。我们提出了一个分布式的原始-对偶随机梯度下降~(SGD)配备了“强力球”方法来加速。我们表明,该算法实现了一般光滑(可能非凸)费用函数的线性加速收敛速度$\mathcal{O}(1/\sqrt{nT})$。我们通过在MNIST数据集上训练两层全连接神经网络和卷积神经网络,与最先进的分布式SGD算法和集中式SGD算法进行比较,通过数值实验证明了该算法的效率。
2021-10-13 math.OC
Asymmetric Long-Step Primal-Dual Interior-Point Methods with Dual Centering
本文提出一种基于对偶中心化的非对称长步原始-对偶内点法,用于求解对偶形式更简单的锥优化问题,在保证最佳多项式时间复杂度的同时显著降低半定优化的计算成本。
2025-03-13 math.OC
Totally Asynchronous Primal-Dual Convex Optimization in Blocks
提出了一种求解约束凸优化问题的并行原始对偶法。该算法是“基于块的”,因为原始和对偶变量的向量被划分成块,每个块仅由单个处理器更新。我们考虑四种可能的形式的通信:在更新原始变量,更新对偶变量,通信的原始变量,和通信的对偶变量。我们构建了一个家庭的明确的反例,以显示需要消除异步通信的对偶变量,虽然其他形式的同步是允许的,所有不需要限制延迟。一阶原始-对偶更新法的开发和证明是强大的。然后,我们推导出收敛速度的拉格朗日鞍点方面的操作代理执行,而不指定任何时间或模式,他们必须执行。这些收敛速度包括一个“模糊惩罚”,我们量化和目前的方法来减轻。数值结果说明了这些发展。
2022-05-03 math.OC
A New Primal-Dual Algorithm for a Class of Nonlinear Compositional Convex Optimization Problems
针对一类非光滑非线性组合凸极小化问题,提出了一种新的原始对偶法,该算法涵盖了许多已有的和全新的模型作为特例.我们的方法依赖于一个新的非凸势函数,Nesterov的加速计划,和自适应参数更新策略的组合。我们的算法是单循环的,具有较低的每次迭代的复杂度。在一般的凸性和温和的假设下,我们的算法通过三个不同的标准实现了$\mathcal{O}(1/k)$收敛速度:原始目标残差,对偶目标残差,和原始-对偶间隙,其中$k$是迭代计数器。我们的速率都是遍历的(即,在平均序列上)和非遍历(即,在最后一个序列上)。如果只有一个目标项是强凸的(或者等价地,它的共轭是$L$ -光滑的),这些收敛速度可以被加速到$\mathcal{O}(1/k^2)$。据我们所知,这是第一个算法实现最佳利率的原始最后一个序列的非线性组合凸最小化。作为一个副产品,我们指定我们的算法来解决一般的凸锥约束规划遍历和非遍历率保证。我们测试我们的算法,并比较它们与最近的两种方法的二进制分类和凹凸博弈模型。
2021-04-19 math.OC
Efficient primal-dual fixed point algorithm with dynamic stepsize for convex problems with applications to imaging restoration
从基于邻近算子的不动点算法的角度考虑了求一个凸函数与另一个凸函数与一个连续线性算子的和的极小化问题.基于邻近算子设计了一个具有动态步长的原-对偶不动点算法,并得到了每次迭代都有封闭解的方案。基于修正的Mann迭代和邻近算子的强非扩张性,我们证明了算法的收敛性。
2016-04-17 math.OC
Well-conditioned Primal-Dual Interior-point Method for Accurate Low-rank Semidefinite Programming
本文针对低秩 SDP 内点法中 Newton 子问题病态且预条件失效的问题,提出良态重构及配套预条件子,实现高精度下 O(n^3) 时间与 O(n^2) 内存复杂度。
2024-12-03 math.OC
A New Primal-Dual Algorithm with Convex Combination and Extrapolation for Convex-Concave Saddle Point Problems with Nonlinear Coupling Term
School of Mathematics and Statistics, Guizhou University(贵州大学数学与统计学院);School of Science, Lanzhou University of Technology(兰州理工大学理学院)
针对带非线性耦合项的凸-凹鞍点问题,提出一种结合凸组合和外推策略的原始-对偶算法PDAce,通过在线性化点处计算雅可比矩阵并将外推移至映射空间,消除非线性残差项,实现无需线搜索的全局收敛,收敛率为O(1/N),加速版本aPDAce在强凸条件下达到O(1/N^2)甚至线性收敛。
2026-06-15 math.OC
Primal-dual proximal bundle and conditional gradient methods for convex problems
本文提出原始-对偶近端束方法求解凸非光滑复合优化与鞍点问题,建立迭代复杂度,发现与条件梯度的对偶性,并验证其优于次梯度方法。
2025-09-25 math.OC
Exponential Convergence of Augmented Primal-dual Gradient Algorithms for Partially Strongly Convex Functions
本文证明了增广原始-对偶梯度算法在部分强凸函数下可实现全局指数收敛,并将该结果推广到分布式优化中的受限割线不等式条件,统一了多类算法的收敛性分析。
2025-03-11 math.OC
Tikhonov regularization of second-order plus first-order primal-dual dynamical systems for separable convex optimization
本文提出Tikhonov正则化的二阶加一阶原始-对偶动力系统,用于可分离凸优化,通过Lyapunov分析证明收敛性并数值验证优于现有方法。
2025-03-14 math.OC