Primal-dual mirror descent for the stochastic programming problems with functional constraints
针对带函数约束的凸优化问题，提出了原始-对偶随机镜像下降算法。我们得到的收敛速率的大偏差的概率。
2017-07-30 math.OC
Inertial primal-dual dynamics with Hessian-driven damping and Tikhonov regularization for convex-concave bilinear saddle point problems
本文提出一种结合Hessian驱动阻尼和Tikhonov正则化的惯性对偶动力学方法，用于高效求解凸-凹双线性鞍点问题，并证明了其在收敛速度和轨迹强收敛方面的双重优势。
2025-07-15 math.OC
Inertial Primal Dual Dynamics with Hessian-driven Damping for Saddle Point Problems
Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence, University of Groningen（格罗宁根大学伯努利数学、计算机科学与人工智能研究所）
该研究针对带双线性耦合的光滑鞍点问题提出两种含Hessian驱动阻尼的惯性原始对偶动力系统，推导了不同凸性条件下的收敛速率，并将其应用于仿射约束凸优化以补充现有结果。
2026-07-31 math.OC
Inertial Primal-Dual Dynamics Methods Featuring Implicit Hessian-Driven Damping for Convex Optimization Problems in Continuous and Discrete Time
Chongqing Technology and Business University（重庆工商大学）；Sichuan University（四川大学）；Sunway University（双威大学）
本文针对带线性等式约束的强凸优化问题，提出带隐式海森驱动阻尼的惯性原始-对偶动力学，推导对应的离散算法，证明其收敛速率与连续系统一致，还扩展到非光滑情形并通过数值实验验证。
2026-09-01 math.OC
Inertial Quasi-Newton Methods for Monotone Inclusion: Efficient Resolvent Calculus and Primal-Dual Methods
本文提出惯性拟牛顿前向-后向分裂算法求解单调包含问题，开发高效预解算子演算，证明收敛性，并实例化原始-对偶混合梯度方法，在图像处理中验证优越性能。
2024-03-15 math.OC
An inertial primal-dual fixed point algorithm for composite optimization problems
我们考虑惯性原始-对偶不动点算法（IPDFP）来计算以下问题（1.1）的最小化。这是一个完整的分裂方法，在这个意义上，非光滑函数通过其邻近算子单独处理。IPDFP的收敛性是通过将问题（1.1）转化为三个凸函数的和来获得的。这项工作汇集并显着扩展了几个经典的分裂方案，如Chambolle和Pock提出的原始对偶方法，以及Charles A.等设计的L1/TV图像去噪模型。该迭代算法用于求解图像处理中的不可微凸优化问题。实验结果表明，所提出的IPDFP迭代算法表现良好，相对于国家的最先进的方法。
2016-04-17 math.OC
Fast convergence rates and trajectory convergence of a Tikhonov regularized inertial primal\mbox{-}dual dynamical system with time scaling and vanishing damping
本文提出一种带有时间缩放和消失阻尼的Tikhonov正则化惯性原对偶动力系统求解Hilbert空间线性约束凸优化问题，证明了基于重缩放正则化参数衰减速度的快速收敛速率及轨迹强弱收敛性，并通过数值实验验证理论。
2024-04-23 math.OC
A stochastic coordinate descent primal-dual algorithm with dynamic stepsize for large-scale composite optimization
本文考虑了两个凸函数之和与另一个凸函数与一个连续线性算子的复合的极小化问题。利用坐标下降的思想，设计了一种具有动态步长的随机坐标下降原对偶分裂算法。基于随机化的修正Krasnosel'skiii-Mann迭代和邻近算子的强非扩张性，我们证明了算法的收敛性.此外，我们给出了我们的方法的两个应用。
2016-04-14 math.OC
Non-ergodic convergence rate of an inertial accelerated primal-dual algorithm for saddle point problems
针对具有复合结构的凸-凹鞍点问题，提出基于Nesterov外推的惯性加速原始-对偶算法，证明其非遍历收敛速率为$\mathcal{O}(1/k^2)$，数值实验验证了算法效率。
2024-04-16 math.OC
Inertial primal-dual algorithms for structured convex optimization
Chambolle & Pock（简称CPA）最近提出的结构凸优化的原始对偶法是一种非常有效和流行的算法。Chambolle和Pock在\cite{CP11}中以及Shefi和Teboulle在\cite{ST14}中指出，CPA及其变体与流行的乘子交替方向法（简称ADM）的预处理版本密切相关。在本文中，我们进一步澄清这种连接，并表明，CPAs产生完全相同的点序列与所谓的线性化ADM（简称LADM）适用于原始问题或其拉格朗日对偶，根据不同的更新顺序的原始和对偶变量在CPAs，只要LADM的初始点被适当地选择。LADM对初始点的依赖性可以通过关注算法的循环等价形式来放松。此外，利用这一事实，CPA是一个一般的加权邻近点方法的混合变分不等式制定的KKT系统，其中的权重矩阵是正定的参数条件下的应用程序，我们能够提出和分析的CPA的惯性变量。在一定的条件下，所提出的惯性CPA能保证全局点收敛、非渐近$O(1/k)$和渐近$o(1/k)$收敛速度，其中$k$表示迭代指标.最后，我们通过基于总变分最小化的压缩图像重建实验结果，证明了引入惯性外推步骤所带来的好处。
2014-09-10 math.OC
A stochastic coordinate descent splitting primal-dual fixed point algorithm and applications to large-scale composite optimization
受Chen，Huang和Zhang最近的结果的启发，从基于邻近算子的不动点算法的角度考虑了求两个凸函数之和的极小值以及另一个凸函数与连续线性算子的复合的极小值问题.利用坐标下降的思想，设计了一种随机坐标下降分裂原始-对偶不动点算法.基于随机Krasnosel'skii mann迭代和邻近算子的强非扩张性质，我们证明了算法的收敛性。
2016-04-14 math.OC
Primal-dual Accelerated Mirror-Descent Method for Constrained Bilinear Saddle-Point Problems
本文提出一种时变原始-对偶加速镜像下降算法，用于求解约束双线性鞍点问题，实现$O(1/t^2)$收敛率，并衍生出面向分布式优化和零和博弈的两种加速变体。
2024-10-03 math.OC
Tikhonov regularized inertial primal-dual dynamics for convex-concave bilinear saddle point problems
针对凸-凹双线性鞍点问题，提出含慢阻尼、外推和时间尺度参数的 Tikhonov 正则化二阶原始-对偶动力系统，并依据正则化参数消失速度建立收敛率与最小范数解强收敛性。
2024-09-09 math.OC
An inertial forward-backward-forward primal-dual splitting algorithm for solving monotone inclusion problems
引入并研究了一个逼近极大单调算子与单值单调Lipschitz算子和的零点集的惯性向前向后向前分裂算法的收敛性质.利用积空间方法，我们将其推广到线性组合与平行和型单调算子的混合包含问题的求解。我们以这种方式获得一个惯性向前向后向前原始对偶分裂算法的主要特点的事实，即在迭代方案中，所有的运营商分别访问通过向前或向后评估。我们也提出了变分的情况下，当一个人有兴趣在解决一个原始-对偶对凸优化问题与复杂的目标函数。
2014-02-21 math.FA math.OC
A Coordinate Descent Primal-Dual Algorithm with Large Step Size and Possibly Non Separable Functions
本文介绍了一种坐标下降的版本的Vendel-Condat算法。通过坐标下降，我们的意思是每次迭代时只更新原始迭代和对偶迭代的坐标子集，其他坐标保持为过去的值。我们的方法使我们能够解决最优化问题的组合可微函数，约束以及不可分离和不可微的正则化。我们表明，我们的算法产生的序列收敛到一个鞍点的问题的利害关系，比以前的方法更广泛的参数值。特别是，步长的条件取决于可微函数梯度的坐标方向Lipschitz常数，这是经典坐标下降在适用时表现良好的主要特征。然后，我们证明了一个次线性的收敛速率在一般情况下和一个线性的收敛速率，如果目标具有强凸性。我们说明了该算法的性能的全变分正则化最小二乘回归问题和大规模的支持向量机问题。
2018-02-02 math.OC
Adaptive Accelerated Mirror Descent in Primal and Dual Spaces
University of California, Irvine（加州大学尔湾分校）
提出自适应加速镜像下降（AAMD）方法，结合非线性预处理、加速和镜像几何自适应，通过累积Lyapunov扰动预算实现稳定加速，证明了对偶相对光滑/凸性下的加速收敛和凸目标的O(1/k^2)速率。
2026-06-01 math.OC
DWIFOB: A Dynamically Weighted Inertial Forward-Backward Algorithm for Monotone Inclusions
提出一种新的求解结构单调包含问题的动态加权惯性前后向算法（DWIFOB）。该方案利用了[26]中的全局收敛的带偏差的向前向后算法作为基础，并将其与Anderson加速中使用的外推技术相结合，以改善局部收敛。我们还提出了一个全球收敛的原始-对偶的DWIFOB变体，并数值比较其性能的原始-对偶方法的Chambolle-Pock和Tikhonov正则化版本的安德森加速应用到同一个问题。在我们所有的数值计算中，DWIFOB的原始-对偶变体优于Chambolle-Pock算法。此外，我们的数值实验表明，我们提出的方法是更强大的正则化安德森加速，它可能无法收敛，算法参数敏感。这些数值实验突出表明，我们的方法表现非常好，同时仍然是强大和可靠的。
2022-02-28 math.OC
Coordinate Descent Face-Off: Primal or Dual?
随机坐标下降（RCD）方法是通过最小化正则化经验风险来训练线性预测器的最新算法。当示例数量（$n$）远大于特征数量（$d$）时，常见策略是将RCD应用于对偶问题。另一方面，当特征的数量远大于样本的数量时，直接将RCD应用于原始问题是有意义的。在本文中，我们提供了第一次联合研究这两种方法时，适用于L2正则化ERM。首先，我们通过严格的分析表明，对于密集数据，上述直觉是完全正确的。然而，我们发现，对于稀疏和结构化的数据，原始RCD可以显着优于双RCD，即使$d \ll n$，反之亦然，双RCD可以比原始RCD快得多，即使$n \ll d$。此外，我们发现，令人惊讶的是，一个单一的采样策略最大限度地减少（约束）的迭代次数和整体预期的复杂性的RCD。请注意，后一种复杂性度量还考虑了迭代的平均成本，这取决于数据的结构和稀疏性以及所采用的采样策略。我们证实了我们的理论预测，使用大量的实验与合成和真实的数据集。
2016-05-29 math.OC
Primal-Dual Coordinate Descent for Nonconvex-Nonconcave Saddle Point Problems Under the Weak MVI Assumption
本文提出两种原始-对偶算法（NC-PDHG和NC-SPDHG）解决弱MVI假设下的非凸非凹鞍点问题，利用PEPit工具推导收敛性，实验验证了其高效性和线性收敛。
2025-06-18 math.OC
Smooth Primal-Dual Coordinate Descent Algorithms for Nonsmooth Convex Optimization
提出了一种新的适用于凸优化模板的随机坐标下降法。我们的分析依赖于一个新的组合的四个想法适用于原始-对偶间隙函数：平滑，加速，同伦和坐标下降与非均匀采样。因此，我们的方法具有第一个收敛速度保证之间的坐标下降法，这是最有名的各种常见的结构假设下的模板。我们提供了数值证据来支持的理论结果与国家的最先进的算法进行比较。
2017-11-09 math.OC stat.ML
Online Primal-Dual Mirror Descent under Stochastic Constraints
本文研究了具有随机约束的在线凸优化问题，其中目标函数是任意时变的，约束函数是独立同分布的.随着时间在每个时隙做出决策后，目标函数和约束函数都被揭示出来。最有名的预期后悔解决这样的问题是$\mathcal{O}(\sqrt{T})$，与决策变量的维数多项式的系数，并依赖于斯莱特条件（即内点假设的存在），这是限制性的，特别是排除处理等式约束。在本文中，我们表明，这样的斯莱特条件实际上是不需要的。我们提出了一个新的原始-对偶镜像下降算法，并表明，一个可以达到$\mathcal{O}(\sqrt{T})$遗憾和约束违反下一个弱得多的拉格朗日乘子假设，允许一般等式约束和显着放宽以前的斯莱特条件。在此过程中，对于决策包含在概率单纯形中的情况，我们将系数降低到仅对决策变量维度具有对数依赖性。这种依赖性在镜像血统的文献中早已为人所知，但在这种新的受约束的在线学习场景中似乎是新的。
2019-08-01 math.OC
Algorithms of Inertial Mirror Descent in Convex Problems of Stochastic Optimization
目标是修改由A.S. Nemirovsky和D.B. 1979年的Yudin。本文以连续时间内的确定性最优化问题为例，说明了一种新的惯性MD方法的思想。特别地，在欧几里德情况下，B.T.波利亚克意识到了。值得注意的是，新方法不使用额外的平均。介绍了惯性MD的一种离散算法。证明了目标函数误差的上界定理。
2017-05-02 math.OC
Generalized conditional subgradient and generalized mirror descent: duality, convergence, and symmetry
我们为凸最小化问题\[ \min_x \; \{f(Ax) + h(x)\}.\]提供了{ \em广义条件次梯度}算法和{ \em广义镜像下降}算法的新见解。如Bach在[{ \em SIAM J. Optim.}中所示，25（2015），pp. [115- 129]，将这两个算法中的任何一个应用于该问题等价于将另一个应用于其Fenchel对偶。我们利用这种对偶关系，开发新的上界和收敛结果之间的差距，这两个算法产生的原始和对偶迭代。我们还提出了一个新的{ \em原始-对偶混合}算法，该算法结合了条件次梯度和镜像下降算法的特点，以对称的方式解决原始和对偶问题。我们的算法和主要结果只依赖于$\partial f$和$\partial h^*$，$A$和$A^*$的可计算的神谕的可用性。
2019-06-03 math.OC
A Primal-Dual Gradient Descent Approach to the Connectivity Constrained Sensor Coverage Problem
本文研究连通性约束下的传感器覆盖问题，利用代数图论建立优化模型，并提出基于增广拉格朗日的梯度下降算法以处理非凸性，理论证明了收敛性，数值模拟验证了其能有效覆盖高优先级区域并满足连通性约束。
2025-04-05 math.OC
Perturbed primal-dual dynamics with damping and time scaling coefficients for affine constrained convex optimization problems
在希尔伯特空间中，提出了一类仿射约束凸优化问题的原-对偶动力系统.几个阻尼系数，时间标度系数，和扰动项，因此被认为是。通过构造能量函数，我们研究了阻尼系数和时间尺度系数的不同选择下的收敛速度。我们的结果将无约束凸优化问题的惯性动力学方法推广到了仿射约束凸优化问题。
2021-06-25 math.OC
Dual Descent ALM and ADMM
针对非凸约束优化，提出将对偶上升反转为对偶下降的原始-对偶算法（SDD-ADMM和UDD-ALM），分别达到最优或改进的迭代复杂度，并解决ADMM的长期局限。
2023-11-17 math.OC
A continuous perspective on the inertial corrected primal-dual proximal splitting
本文从连续视角重新诠释IC-PDPS算法，将其重建为半隐式欧拉格式，导出两个等价的二阶ODE模型，并用Lyapunov函数分析拉格朗日间隙的收敛性。
2024-05-23 cs.NA math.NA math.OC
Two-step inertial Bregman alternating structure-adapted proximal gradient descent algorithm for nonconvex and nonsmooth problems
针对实 Hilbert 空间中拟非扩张算子的多集分裂公共不动点问题，提出结合惯性技术与自适应步长的原始-对偶加速迭代算法，证明弱收敛并通过数值实验验证性能。
2023-06-07 math.OC
Gradient Descent Averaging and Primal-dual Averaging for Strongly Convex Optimization
Institute of Evaluation and Assessment Research, Academy of Military Science（军事科学院评估论证研究中心）；Command and Control Engineering College, Army Engineering University（陆军工程大学指挥控制工程学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
平均化方案在深度学习和传统机器学习中引起了广泛的关注。它实现了理论上的最优收敛，也提高了经验模型的性能。然而，对于强凸优化问题，目前还缺乏足够的收敛性分析。通常情况下，由于对数因子的存在，梯度下降方法关于最后一阶的收敛性（称为个体收敛性）不能达到最优。为了消除这个因素，我们首先开发梯度下降平均（GDA），这是一个通用的投影为基础的双重平均算法在强凸设置。我们进一步提出了原始-对偶平均强凸的情况下（SC-PDA），原始和对偶平均计划同时利用。我们证明了GDA产生的最佳收敛速度的输出平均，而SC-PDA得出的最佳个人收敛。在支持向量机和深度学习模型上的实验验证了理论分析的正确性和算法的有效性。
2021-01-17 cs.LG math.OC
Primal-Dual Stochastic Mirror Descent for MDPs
研究了无限时域马尔可夫决策过程的最优策略学习问题。为此，本文对具有Lipschitz连续泛函的凸规划问题提出了随机镜像下降的一种变形。一个重要的细节是使用函数约束的不精确值和计算对偶变量值的能力。我们分析了这种算法在一般情况下，并获得估计的收敛速度，不积累错误的操作过程中的方法。使用该算法，我们得到了第一个将平均奖励MDP与生成模型混合而不减少折扣MDP的并行算法。所提出的方法的主要特征之一是在分布式集中式设置中的低通信成本，即使是非常大的网络。
2022-02-27 math.OC stat.ML
Fast primal-dual algorithm via dynamical system for a linearly constrained convex optimization problem
通过对具有阻尼$α/t$的二阶原-对偶动力系统进行时间离散，其中原变量只需要Nesterov意义下的惯性结构，提出了求解线性等式约束凸优化问题的一种快速原始对偶法.在适当的尺度条件下，我们证明了该算法对于目标残差和可行性违背具有快速的收敛速度，衰减速率最大可达$\mathcal{O}(1/k^{α-1})$.我们也研究了相应的原始-对偶动力系统的收敛性质，以更好地理解加速方案。最后，我们报告的数值实验，以证明所提出的算法的有效性。
2022-06-03 math.OC
Random extrapolation for primal-dual coordinate descent
EPFL（洛桑联邦理工学院）；Télécom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎综合理工学院）
我们引入了一种随机外推的原始-对偶坐标下降法，该方法适应于数据矩阵的稀疏性和目标函数的有利结构。我们的方法只更新原始和对偶变量的一个子集与稀疏的数据，它使用大的步长与密集的数据，保留的好处，为每种情况下设计的具体方法。除了适应稀疏性，我们的方法达到快速收敛的保证在有利的情况下\textit{without any modifications}。特别地，我们证明了度量次正则下的线性收敛性，它适用于强凸-强凹问题和分段线性二次函数。在一般的凸-凹情形下，我们证明了序列的几乎必然收敛和原始-对偶间隙和目标值的最佳次线性收敛速度。数值证据证明了我们的方法在稀疏和密集环境中的最先进的经验性能，匹配和改进了现有的方法。
2020-07-13 cs.LG math.OC stat.ML
Inertial Accelerated Stochastic Mirror Descent for Large-Scale Generalized Tensor CP Decomposition
本文针对广义张量CP分解问题，提出基于Bregman距离的惯性加速分块随机镜像下降算法iTableSMD，证明了其O(ε^{-2})迭代复杂度和全局收敛性，并在真实数据上取得优于现有方法的性能。
2024-02-24 math.OC
Primal-dual method for searching equillibriums in mixed traffic assignment problems
我们考虑大型网络中交通流分布的混合模型（BMW模型，1954年和稳定动态模型，1999年）。我们建立了对偶问题，并考虑了对偶问题的原对偶镜像下降法。有两种方法可以恢复原始问题的解。第一种技术是基于“模型”的方法，第二个是基于拉格朗日乘子技术。这两种方法各有优缺点。我们讨论他们。
2018-08-15 math.OC
Improving Dynamic Regret in Distributed Online Mirror Descent Using Primal and Dual Information
我们考虑分布式在线优化的问题，一组学习者通过动态通信图连接。学习器的目标是以分布式的方式跟踪时变损失函数之和的全局最小值。我们提出了一种新的算法，称为分布式在线镜像下降与多个平均决策和梯度共识（DOMD-MADGC），这是基于镜像下降，但结合了多个共识平均迭代局部梯度以及局部决策。其关键思想是允许局部学习器收集足够量的全局信息，这使它们能够更准确地近似时变全局损失，从而使它们能够随着时间的推移密切跟踪动态全局最小值。我们证明了DOMD-MADGC的动态后悔是由路径长度上界的，路径长度定义为连续最小值之间的累积距离。由此产生的界限改善现有的分布式在线算法的界限，并消除了显式依赖$T$。
2021-12-07 cs.DC math.OC
Hamiltonian descent for composite objectives
在最优化中，原始问题和对偶问题之间的对偶差距是任何原始-对偶点的次优性的度量。在经典力学中，系统的运动方程可以从描述系统总能量的哈密顿函数导出。在本文中，我们考虑一个凸优化问题的总和的两个凸函数，有时被称为一个复合目标，我们确定的对偶差距是“能量”的系统。在哈密顿形式主义中，能量是守恒的，因此我们在标准运动方程中添加了一个压缩项，使得该能量线性减小（即，几何学上）与时间。这产生了原始变量和对偶变量中的连续时间常微分方程（ODE），其收敛到零对偶间隙，即，最优性这个常微分方程有几个有用的性质：它诱导了一个自然的算子分裂;在收敛时，它产生原始和对偶解;尽管只使用一阶信息，但它对仿射变换是不变的。我们提供了几个离散化这个常微分方程，其中一些是新的算法和其他对应于已知的技术，如交替方向法的乘法器（ADMM）。最后，我们用一些数值例子表明我们的方法的承诺。我们给出了一个例子，我们的技术可以解决凸二次最小化问题的数量级快于几个常用的梯度法，包括共轭梯度，当条件的问题是穷人。我们的框架提供了新的见解，以前已知的算法在文献中，以及提供一种技术来生成新的原始对偶法。
2019-11-17 math.OC
A stochastic inertial forward-backward splitting algorithm for multivariate monotone inclusions
我们提出了一个惯性向前向后分裂算法来计算两个单调算子之和的零点，允许在算子的计算中存在随机误差。更准确地说，我们建立了几乎必然收敛在实希尔伯特空间的序列的迭代到一个最优解。在此基础上，我们引入了两类新的求解复合单调包含结构方程组的随机惯性原对偶分裂方法，并证明了它们的收敛性。我们的结果推广到随机和惯性环境下的各种类型的结构单调包含问题和相应的算法解决方案。最小化问题的应用进行了讨论。
2015-07-03 math.OC
"Second-Order Primal'' + "First-Order Dual'' Dynamical Systems with Time Scaling for Linear Equality Constrained Convex Optimization Problems
二阶动力系统是求解最优化问题的重要工具，现有的研究主要集中在无约束最优化问题上。针对线性等式约束凸优化问题，提出了一个具有常粘性阻尼和时间尺度的惯性原-对偶动力系统，它由原变量的二阶常微分方程和对偶变量的一阶常微分方程组成.当尺度变换满足一定条件时，在不假设强凸性的情况下，证明了它的收敛性。当缩放指数增长时，甚至收敛速度也可以变成指数。我们还证明了所得到的动力系统的收敛性在小扰动下是保持的。
2022-05-20 math.OC
Non-ergodic Complexity of Convex Proximal Inertial Gradient Descents
近端惯性梯度下降算法是一种有效的组合优化算法，适用于广泛的机器学习问题。在本文中，我们重新审视该算法的计算复杂性，并提出其他新的结果，特别是对目标函数值的收敛速度。当目标函数是强制的时，证明了具有常数步长的近端惯性梯度下降的非遍历性O（1/k）速度.当目标函数不能保证稳定性时，我们证明了惯性参数递减的次线性速率。在目标函数满足最优强凸性条件（比强凸性条件弱得多）的情况下，证明了该算法的线性收敛性，其步长比以往文献大得多，且一般性强.我们还将我们的结果扩展到多块版本，并提出了计算复杂性。循环和随机指数选择策略被认为是。
2019-07-18 math.OC stat.ML
Linear Convergence of Primal-Dual Gradient Methods and their Performance in Distributed Optimization
在这项工作中，我们重新审视了经典的原始下降双上升梯度法用于解决等式约束最优化问题的增量实现。我们提供了一个简短的证明，建立了光滑强凸费用函数的算法的线性（指数）收敛性，并研究其关系到非增量实现。我们还研究了增广拉格朗日惩罚项对多智能体网络上聚合费用函数最小化分布式优化算法性能的影响。
2020-01-16 math.OC
Inertial Krasnoselskii-Mann Iterations
该研究证明惯性Krasnoselskii-Mann迭代对拟非扩张算子族的弱收敛性并给出非渐近残差速率估计，在拟压缩下获强收敛与线性收敛，阐明与非惯性情形的连续过渡关系，数值验证两类惯性算法性能更优。
2023-08-21 math.OC
A randomized intertial primal-dual fixed point algorithm for monotone inclusions
本文基于Nesterov的重球方法的改进，提出了一种求解一类单调包含问题的随机块坐标原始对偶不动点算法.这些方法依赖于在每次迭代时根据随机规则激活的变量块的扫描。为此，我们制定的惯性版本的Krasnosel'skiii-Mann算法近似的一个拟非扩张算子的不动点的集合，为此，我们还提供了一个详尽的收敛性分析。作为一个副产品，我们可以得到一些解决复合单调包含和凸极小化问题的块-坐标算子分裂方法。
2016-11-16 math.OC
Proximal primal-dual best approximation algorithm with memory
提出了一种新的修正的原始-对偶近似最佳逼近方法来求解凸的不一定可微的最优化问题。该方法的新颖性依赖于通过考虑在定义当前时间的公式中的先前步骤中计算的迭代来引入内存。为此，我们考虑投影到当前以及以前的迭代的基础上产生的半空间的交叉点。为了计算这些投影，我们使用最近获得的多面体集上的投影机的封闭形式的表达式。所得到的算法具有记忆，继承了原来的最佳逼近近原始对偶法的强收敛性。此外，我们比较我们的算法与原始（非惯性）的帮助下，所谓的吸引力属性定义如下。图像重建问题的大量数值实验结果表明，包括内存到原始算法的优点。
2018-04-17 math.OC
Accelerated Primal-Dual Algorithm for Distributed Non-convex Optimization
本文研究了非凸问题分布式优化算法的加速收敛问题。我们提出了一个分布式的原始-对偶随机梯度下降~（SGD）配备了“强力球”方法来加速。我们表明，该算法实现了一般光滑（可能非凸）费用函数的线性加速收敛速度$\mathcal{O}(1/\sqrt{nT})$。我们通过在MNIST数据集上训练两层全连接神经网络和卷积神经网络，与最先进的分布式SGD算法和集中式SGD算法进行比较，通过数值实验证明了该算法的效率。
2021-10-13 math.OC
Primal-dual accelerated gradient methods with small-dimensional relaxation oracle
本文提出了一种新的加速梯度下降算法。该方法不需要目标函数的任何信息，用精确线搜索来加速收敛，对凸和非凸目标函数都能收敛于已知的下界，具有原-对偶性质，并可应用于非欧几里德问题。据我们所知，这是第一个这样的方法同时拥有所有上述性质。我们还提出了一个通用的版本的方法，这是适用于非光滑问题。我们演示了在实践中如何通过考虑具有简单结构（例如线性约束）的凸优化问题来有效地使用线搜索和原始二元性的结合。
2019-05-12 math.OC
A Coordinate Descent Primal-Dual Algorithm and Application to Distributed Asynchronous Optimization
本文提出一种基于随机坐标下降的对偶优化算法，用于解决分布式异步优化问题，通过随机更新坐标实现共识。
2015-09-30 cs.DC cs.NA cs.SY
An inertial ADMM for a class of nonconvex composite optimization with nonlinear coupling constraints
本文针对一类具有非线性耦合约束的非凸多块优化问题，提出一种结合惯性技术和带松弛参数的非标准乘子更新规则的交替方向乘子法，并证明了算法的子序列收敛性与全局收敛性。
2024-02-21 math.OC
Fast Augmented Lagrangian Method in the convex regime with convergence guarantees for the iterates
在线性等式约束下，研究了一类具有Lipschitz连续梯度的连续可微凸函数的极小化问题。所提出的惯性算法是由Bot和Nguyen在[Bot，Nguyen，JDE，2021]中提出的具有渐近消失阻尼项的二阶原始-对偶动力系统的离散化产生的，并且它是根据与最小化问题相关的增广拉格朗日公式来制定的。我们考虑的惯性参数的一般设置涵盖了Nesterov，Chambolle-Dossal和Attouch-Cabot在文献中用于制定快速梯度法的三个经典规则。对于这些规则，我们获得了在凸政权的原始-对偶间隙，可行性措施，和目标函数值的顺序${\cal O}(1/k^{2})$的收敛速度。此外，我们证明了所产生的原始-对偶迭代序列收敛到一个原始-对偶解的一般设置，涵盖了后两个规则。这是第一个结果，它提供了一个快速算法产生的线性约束凸优化问题的迭代序列的收敛性，没有额外的假设，如强凸性。我们还强调，本文的所有收敛性结果与[Bot，Nguyen，JDE，2021]在连续设置中得到的结果是相容的。
2022-08-01 math.OC
Iterative regularization via dual diagonal descent
在线性反问题的背景下，我们提出并研究了一个一般的迭代正则化方法，允许考虑大类的正则化和数据拟合项。我们提出的算法是基于一个原始-对偶对角{下降}方法。我们的分析建立收敛性以及稳定性的结果。理论研究结果的补充与数值实验显示国家的最先进的性能。
2017-07-13 math.OC
Stochastic Primal-Dual Coordinate Method for Nonlinear Convex Cone Programs
块坐标下降（BCD）方法及其变体在图像处理、机器学习、压缩感知等领域中被广泛应用于处理大规模无约束最优化问题，而非线性凸锥规划（NCCP）问题在耦合约束问题中具有重要的应用价值，但现有的块坐标下降方法难以解决这些问题.本文介绍了一种求解大规模非线性共形问题的随机原对偶坐标法。在这种方法中，我们根据均匀分布随机选择一组变量。线性化和Bregman样函数（核心函数）的随机选择的块允许我们得到简单的并行原始-对偶分解NCCP。证明了算法产生的序列几乎必然收敛于原问题的一个最优解。得到了两种不同概率（几乎必然和期望）的收敛速度。本文还导出了概率复杂度界。
2018-04-03 math.OC
A Nesterov-Accelerated Primal-Dual Splitting Algorithm for Convex Nonsmooth Optimization
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
本文提出APAPC算法，通过整合Nesterov动量提升对偶方法的收敛性，实现非光滑优化问题的O(1/t²)次线性收敛及线性收敛。
2026-10-09 math.OC
Mirror Polyak and a Primal-Dual Lifting
INRIA, École Normale Supérieure（法国国家信息与自动化研究所，巴黎高等师范学院）；MILA, Université de Montréal（米拉人工智能研究中心，蒙特利尔大学）；CMCC, Federal University of ABC（气候变化、海洋和陆地交叉研究中心，ABC联邦大学）
该研究提出镜像Polyak方法，将Polyak步长的自适应特性扩展到镜像下降法，还通过凸对偶的提升形式，使镜像Polyak在结构化优化问题中无需知晓最优值即可达到对应保证。
2026-08-19 math.OC
An inertial alternating direction method of multipliers for solving a two-block separable convex minimization problem
乘子的交替方向法（ADMM）是求解信号和图像处理中出现的许多凸极小化模型的广泛使用的方法。本文提出了一个求解带线性等式约束的两块可分凸极小化问题的惯性ADMM。该算法是利用惯性Douglas-Rachford分裂算法对原问题的对偶问题进行分裂得到的。在无限维希尔伯特空间中研究了该算法的收敛性。此外，我们将该算法应用于鲁棒主成分追踪问题，并将其与其他最先进的算法进行比较。数值结果表明了该算法的优越性。
2021-04-01 math.OC
Lecture Notes: Convex Optimization
Graz University of Technology（格拉茨工业大学）
介绍格拉茨工业大学2026年凸优化课程笔记，涵盖数学预备知识、多种优化方法及最优传输简介，为凸优化学习提供全面资料。
2026-07-14 math.OC
