Fast dual proximal gradient algorithms with rate $O(1/k^{1.5})$ for convex minimization
考虑由一个强凸函数和一个强凸函数组成的复合函数的极小化问题。快速双近端梯度（FDPG）方法以速率$O(1/k^2)$减小对偶函数，从而产生用于减小原始函数的速率$O(1/k)$。我们提出了一个广义FDPG方法，保证了$O(1/k^{1.5})$率的双近端梯度范数下降。通过将其与原始函数减少相关联，所提出的方法以改进的$O(1/k^{1.5})$速率减少原始函数。
2016-09-29 math.OC
A primal dual formulation through a proximal approach for non-convex variational optimization
本文开发了一个原始对偶制定的原始近似方法适用于一个大类的非凸模型的变分法。通过标准工具的泛函分析，凸分析和对偶理论的结果，并施加到Ginzburg-Landau型模型。最后，在最后两节中，我们给出了模型的最优性条件和另一个对偶原理。
2021-07-25 math.OC
The Degenerate Variable Metric Proximal Point Algorithm and Adaptive Stepsizes for Primal-Dual Douglas-Rachford
本文将退化预条件邻近点法与变预条件的思想相结合，得到退化变度量邻近点法。将证明由此产生的迭代的弱收敛性。从退化变尺度邻近点法的角度出发，在已有的邻近点法结果的基础上，给出了一种变预条件的原始-对偶Douglas-Rachford方法，并证明了其弱收敛性.在此之后，我们推导出一个启发式如何选择这些不同的预条件，以提高收敛速度的方法。
2023-02-25 math.OC
Communication reduction in distributed optimization via estimation of the proximal operator
我们介绍了一个减少通信的分布式优化方案的基础上估计的解决方案，以一个接近的最小化问题。我们提出的设置涉及一组代理人协调的一个中央实体，在一个合作的框架中运作。代理解决隐藏在中央协调器中的最小化问题。该方案使协调器能够构造一个凸集，其中代理的优化器驻留，并迭代地细化每次查询的代理集。我们分析了质量的构造集显示它们的连接到ε-次微分的凸函数和表征其大小。我们证明了收敛结果的解决方案，这样的分布式最优化问题，我们设计了一个通信标准，嵌入该计划的乘法器（ADMM）的交替方向法。所开发的计划表明显着的通信减少时，应用到微电网设置。
2018-07-07 math.OC
Solving A Class of Nonsmooth Resource Allocation Problems with Directed Graphs though Distributed Smooth Multi-Proximal Algorithms
针对一类分布式非光滑资源分配问题，提出了两种分布式多邻近原始对偶法。在这些问题中，全局费用函数是局部凸函数和非光滑费用函数之和，每个代价函数由一个二次可微函数和多个非光滑函数组成。底层多智能体系统的通信图是有向和强连接的，但不一定是加权平衡的。多邻近分裂的设计是为了解决这些非光滑函数求和的不可逼近性所带来的困难。此外，它还可以保证所提出的算法的光滑性。在多邻近分裂中引入辅助变量，估计非光滑函数的次梯度。在理论上，利用李雅普诺夫稳定性理论和积分输入状态稳定性（iISS）理论进行了收敛性分析。结果表明，所提算法能使状态收敛到满足资源分配条件的最优点。
2020-03-16 math.OC
On the Convergence of Primal-Dual Proximal Incremental Aggregated Gradient Algorithms
在本文中，我们适应近似增量聚合梯度法的鞍点问题，这是由解耦线性变换的正则化经验风险极小化模型。首先，提出了带外推的原始-对偶近端增量聚集（PD-PIAG）方法。证明了平均迭代序列的原对偶间隙次线性收敛于0，且迭代序列收敛于某个鞍点。在$f$和$h^\ast$的强凸性下，证明了迭代序列线性收敛于鞍点。然后，我们提出了一个没有外推的PD-PIAG方法。在$f$的强凸性下，证明了迭代序列的原始-对偶间隙是次线性收敛的。
2019-11-13 math.OC
Loopless Proximal Riemannian Gradient EXTRA for Distributed Optimization on Compact Manifolds
School of Intelligent Engineering, Sun Yat-Sen University（中山大学智能工程学院）；Department of Automation, Tsinghua University（清华大学自动化系）；Department of Mechanical Engineering, University of Victoria（维多利亚大学机械工程系）；The Key Laboratory of Autonomous Intelligent Unmanned Systems, Harbin Institute of Technology（哈尔滨工业大学自主智能无人系统重点实验室）
本文提出PR-EXTRA算法，用于在紧致流形上求解分布式复合优化问题，通过单次通信和局部梯度计算实现次线性收敛。
2026-03-09 math.OC
Distributed Solutions for Loosely Coupled Feasibility Problems Using Proximal Splitting Methods
在本文中，我们考虑凸可行性问题的基础集是松散耦合的，我们提出了几个算法来解决这样的问题，在分布式方式。这些算法是通过将近似分裂方法应用于凸可行性问题的凸极小化重构而得到的。我们还提出了分布式收敛测试，使我们能够建立分布式的问题的可行性或不可行性，我们提供了收敛速度的结果。在问题可行且有界线性正则的假设下，这些收敛性结果以迭代到可行集的距离的形式给出，与经典投影方法的收敛性结果类似.在可行性问题是不可行的情况下，我们提供了收敛速度的结果，涉及某些误差界的收敛。
2013-06-28 math.OC
A Smooth Double Proximal Primal-Dual Algorithm for a Class of Distributed Nonsmooth Optimization Problem
本文研究了一类分布式非光滑凸一致最优化问题。成本函数是局部费用函数的和，这些成本函数是凸的但非光滑的。每个局部费用函数由一个二次可微凸函数和两个下半连续凸函数组成。我们称这个问题为单光滑加双非光滑（SSDN）问题。在较弱的条件下，提出了一种分布式双邻近原-对偶优化算法。双邻近算子的设计是为了解决这两个非光滑函数之和的不可逼近性所带来的困难。此外，它还可以保证所提出的算法是局部Lipschitz连续的。在双邻近算子中引入一个辅助变量来估计第二类非光滑函数的次梯度。理论上，我们利用李雅普诺夫稳定性理论进行收敛性分析。结果表明，该算法能使状态在最优点达到一致.最后给出了非平凡的仿真结果，验证了该算法的有效性。
2018-08-16 math.OC
Interior-proximal primal-dual methods
研究了一类鞍点问题的预条件逼近点方法，其中预条件子将整体逼近点方法转化为原始-对偶交替逼近点方法。这类似于Chambolle-Pock方法或ADMM。在我们的工作中，我们用对称锥上的障碍函数代替对偶步骤中的平方距离，同时使用标准（欧几里德）邻近步骤作为原始变量。我们证明了在非退化和简单的线性约束下，这种混合原始对偶法可以实现线性收敛原来的强凸问题，涉及二阶锥在其鞍点形式。在一般的对称锥上，我们只能给出一个$O(1/N)$速率。这些结果是基于估计的障碍函数的强凸性，延长与惩罚的对称锥的边界。
2018-08-22 math.OC
Inertial, corrected, primal-dual proximal splitting
我们研究惯性版本的原始对偶近端分裂，也被称为Chambolle-Pock方法。我们的出发点是该方法的预处理近点公式。通过添加相应的反对称部分的相关单调算子，使用FISTA风格的间隙展开参数的校正，我们能够得到间隙估计，而不仅仅是遍历间隙估计。此外，基于向该校正器添加对角分量，我们能够将基于强凸性的加速度与惯性加速度相结合。我们测试我们提出的方法对图像处理和反问题的问题，稀疏傅立叶逆和正电子发射断层扫描获得收敛性的改善。
2020-02-12 math.OC
Composite Optimization with Coupling Constraints via Dual Proximal Gradient Method with Applications to Asynchronous Networks
本文考虑了基于近似梯度法的多智能体网络中带耦合约束的复合最优化问题。在这个问题中，所有的代理人共同最小化的光滑和可能的非光滑部分组成的各个费用函数的总和。为此，我们推导出的对偶问题的概念Fenchel共轭，从而产生了双邻近梯度算法，允许不对称的个人解释的全球约束。然后，针对具有不同步长和通信时延的异步网络，提出了一种异步双邻近梯度算法。对于这两种算法，如果目标函数的非光滑部分结构简单，则只需通过简单的操作更新对偶变量，从而降低了整体的计算复杂性。通过求解一个电力市场社会福利最优化问题的数值模拟，验证了算法的有效性。
2021-08-27 math.OC
On the Linear Convergence Rate of the Distributed Block Proximal Method
在步长为常数、局部目标函数为强凸（可能为非光滑）的假设下，研究了最近发展起来的求解随机大数据凸优化问题的分布式块邻近法.这类问题出现在许多学习和分类问题中，其中，例如，强凸正则化函数包括在目标函数中，决策变量是非常高维的，并且采用大数据集。该算法产生局部估计块明智的更新和代理之间的通信。从（全球）最佳的预期距离，在成本值方面，线性衰减到一个恒定的值，这是成比例的选定的局部步长。一个涉及分类问题的数值例子证实了理论结果。
2020-03-04 math.OC
Distributed Proximal Gradient Algorithm for Partially Asynchronous Computer Clusters
随着数据量和模型规模的不断增长，容错、通信效率高、通用性强的分布式算法对于许多大规模机器学习应用的成功至关重要。在这项工作中，我们提出了m-PAPG，灵活的近端梯度算法在模型并行系统配备了部分异步通信协议的实现。工作机器与受控陈旧边界$s$异步通信，并以不同的频率运行。我们刻画了m-PAPG的各种收敛性质：1）在一般的非光滑非凸条件下，证明了m-PAPG生成的序列的每一个极限点都是目标函数的临界点; 2）在误差界的条件下，证明了函数值对每$s$步线性衰减; 3）在Kurdyka- $Ł$ ojasiewicz不等式下，证明了m-PAPG生成的序列在满足邻近利普希茨条件的条件下收敛于同一个临界点。
2017-04-11 math.OC
A distributed proximal splitting method with linesearch for locally Lipschitz gradients
针对多智能体凸-凹 min-max 优化，提出带分布式回溯线搜索的原始-对偶邻近梯度一阶算法，无需全局 Lipschitz 常数即可自适应调整步长，并将分析放宽至局部 Lipschitz 梯度。
2025-05-13 math.OC
Proximal primal-dual best approximation algorithm with memory
提出了一种新的修正的原始-对偶近似最佳逼近方法来求解凸的不一定可微的最优化问题。该方法的新颖性依赖于通过考虑在定义当前时间的公式中的先前步骤中计算的迭代来引入内存。为此，我们考虑投影到当前以及以前的迭代的基础上产生的半空间的交叉点。为了计算这些投影，我们使用最近获得的多面体集上的投影机的封闭形式的表达式。所得到的算法具有记忆，继承了原来的最佳逼近近原始对偶法的强收敛性。此外，我们比较我们的算法与原始（非惯性）的帮助下，所谓的吸引力属性定义如下。图像重建问题的大量数值实验结果表明，包括内存到原始算法的优点。
2018-04-17 math.OC
Distributed generalized Nash equilibria computation of monotone games via a preconditioned proximal point algorithm
本文研究了具有仿射耦合约束的单调对策的分布式广义纳什均衡（GNE）计算。每个局中人只能利用其局部目标函数、局部可行集和耦合约束的局部块，并且只能与其邻居进行通信。我们假设博弈具有单调伪次微分，没有Lipschitz连续性限制。我们分别针对等式和不等式仿射耦合约束设计了新的无中心分布式GNE搜索算法。对于等式情形，提出了一种近似乘子交替方向法;对于不等式情形，提出了一种并行分裂型算法。在这两种算法中，GNE寻求任务被分解为一个有序的NE计算的正则化子博弈和分布式更新的乘数和辅助变量，基于本地数据和本地通信。我们的两个双层GNE算法不需要指定内循环NE搜索算法，而且，只要求强单调子对策不精确求解。我们证明了它们的收敛性，表明这两个算法可以被看作是特定的情况下，预处理邻近点法}（PPPA）寻找零的单调算子。最后给出了应用实例和数值模拟。
2017-09-30 math.OC
Distributed Optimization with Coupling Constraints in Multi-Cluster Networks Based on Dual Proximal Gradient Method
在这项工作中，我们考虑解决一个分布式最优化问题在多智能体网络与多个集群。在每个集群中，参与的代理合作优化一个可分离的复合函数与一个共同的决策变量。同时，整个网络的全局费用函数被认为是与跨集群的仿射耦合约束相关联的。为了解决这个问题，我们提出了一种基于簇的对偶邻近梯度算法，当每个簇中的智能体在最优策略上达成一致并满足全局耦合约束时，全局费用函数得到优化.此外，该算法允许代理只与他们的近邻进行通信。文中讨论了该算法的计算复杂性，并保证了算法的遍历收敛速度为O（1/T）（T为迭代次数）。
2022-03-02 math.OC
Distributed constrained optimization and consensus in uncertain networks via proximal minimization
我们提供了一个统一的框架，分布式凸优化随时间变化的网络，在约束和不确定性的存在下，功能，通常在文献中单独处理。我们采用了近端最小化的角度来看，这种设置使我们能够绕过现有算法的困难，同时简化了底层的数学分析。我们开发了一个迭代算法，并显示收敛的结果计划的一些优化集中的问题。为了处理的情况下，代理人的约束集的影响，可能是共同的不确定性向量，我们遵循一个基于EQUIPO的方法，并提供概率保证所得到的解决方案的可行性。为此，我们提供了一个分布式实现的情况下的方法，允许代理使用不同的一组不确定性的情况下，在他们的局部最优化程序。我们的算法的有效性证明了通过一个数值例子相关的回归问题的正则化。
2017-05-23 math.OC
Delay-tolerant distributed Bregman proximal algorithms
针对机器学习中梯度非 Lipschitz 连续的优化问题，提出了一种适应任意集中式计算系统且能容忍任意长延迟的异步 Bregman 近端梯度算法，并在分布式 Poisson 逆问题上验证了其有效性。
2024-04-26 math.OC
On proximal augmented Lagrangian based decomposition methods for dual block-angular convex composite programming problems
对于具有对偶块角结构的凸复合规划问题，我们设计了基于非精确近似增广拉格朗日分解方法。我们的方法特别适合于凸二次规划问题所产生的随机规划模型。算法框架是基于在[Chen，Sun，Toh，Math. Prog. 161：237--270]的目标问题的对偶，以及最近开发的对称高斯-赛德尔分解定理的应用解决一个邻近的多块凸复合二次规划问题。算法设计中的关键问题首先是设计合适的近似项来分解目标问题的对偶变量块的计算，使每次迭代中的子问题更容易求解，其次是开发新的数值格式来有效地求解分解的子问题。我们的不精确增广拉格朗日分解方法有保证的收敛性。我们提出了一个应用所提出的算法的双重非负松弛的无容量限制的设施定位问题，以及两阶段的随机最优化问题。我们进行了大量的数值实验，以评估我们的方法对国家的最先进的求解器，如Guidelines和MOSEK的性能。此外，我们提出的算法也毫不逊色于著名的渐进式对冲算法的Rockafellar和Wets。
2023-03-13 math.OC
On the efficient computation of proximal operators of affine-constrained nonconvex functions
National University of Singapore（新加坡国立大学）；The University of Chicago（芝加哥大学）；Institute of Operations Research and Analytics, National University of Singapore（新加坡国立大学运筹与分析研究所）；Institute of Applied Mathematics, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院应用数学研究所）
本文提出了一种统一的对偶可表示框架，用于高效计算具有仿射约束的非凸函数的proximal算子，通过建立对偶问题和验证正则性条件，实现了快速收敛的优化方法。
2026-02-27 math.OC
Self-dual Smooth Approximations of Convex Functions via the Proximal Average
两个凸函数的近似平均已被证明是凸分析中的有用工具。本文将Goebel的自对偶光滑算子用近似平均表示，从而给出了自对偶性的一个简单证明。我们还提出了一种新的自对偶平滑算子。这两个运营商说明了平滑的范数。
2010-03-30 math.FA math.OC
A New Randomized Block-Coordinate Primal-Dual Proximal Algorithm for Distributed Optimization
本文提出了一种新的原始对偶法TriPD，用于极小化一个Lipschitz可微凸函数和两个可能非光滑的凸函数之和，其中一个凸函数由一个线性映射组成.我们设计了一个随机块坐标版本的算法收敛在相同的步长条件下的完整算法。它表明，无论是原来的，以及块坐标计划功能线性收敛速率时，所涉及的功能是分段线性二次，或当他们满足一定的二次增长条件（这是弱于强凸性）。此外，我们将开发的算法应用到图上的多智能体优化问题，从而获得新的同步和异步分布式方法。所提出的算法是完全分布式的意义上说，每个代理的更新和步长只依赖于本地信息。事实上，不需要事先进行全球协调。最后，我们展示了我们的算法在分布式编队控制中的应用。
2019-09-30 math.OC
An Asynchronous Distributed Proximal Gradient Method for Composite Convex Optimization
我们提出了一个分布式的一阶增广拉格朗日（DFAL）算法来最小化复合凸函数的和，其中的每一项和是属于一个节点的私有成本函数，只有通过边连接的节点可以直接相互通信。该最优化模型抽象了分布式传感和机器学习中的许多应用。我们证明了DFAL迭代的任何极限点都是最优的;对于任何$ε>0$，$ε$ -最优和$ε$ -可行解可以在$\mathcal{O}(\log(ε^{-1}))$ DFAL迭代中计算，这需要$\mathcal{O}(\frac{ψ_{\max}^{1.5}}{d_{\min}} ε^{-1})$近端梯度计算和每个节点的总通信，其中$ψ_{\max}$表示图拉普拉斯算子的最大特征值，$d_{\min}$是图的最小度。我们还提出了一个异步版本的DFAL通过将随机块坐标下降方法，并证明了DFAL的效率在大规模稀疏群LASSO问题。
2015-05-09 math.OC
Primal-dual proximal splitting and generalized conjugation in non-smooth non-convex optimization
我们证明了困难的非凸非光滑最优化问题，如纳什均衡问题和各向异性以及各向同性Potts分割模型，可以写在广义共轭的凸泛函。这些，反过来，可以制定为鞍点问题，涉及凸非光滑泛函和一般光滑，但非双线性耦合项。然后，我们表明，通过详细的收敛性分析，概念上简单的扩展的原始-对偶邻近Chambolle和Pock分裂方法是适用于解决这些问题。在充分的局部强凸性假设的泛函-但仍然与非双线性耦合项-我们甚至证明了局部线性收敛的方法。我们说明这些理论结果数值上的上述示例问题。
2020-03-19 math.OC
Distributed and Inexact Proximal Gradient Method for Online Convex Optimization
本文提出在线分布式近端梯度方法（DPGM），用于时变复合凸优化问题，并证明在通信噪声或量化等非精确条件下，跟踪误差受收敛线性系统上界约束，保证收敛到最优解邻域。
2021-04-01 math.OC
Proximal gradient descent on the smoothed duality gap to solve saddle point problems
本文提出最小化自中心平滑间隙以求解凸-凹鞍点问题，将其转化为最小化问题，算法最坏复杂度与重启平均原始对偶混合梯度法相当且在有利情形下线性收敛。
2025-11-05 math.OC
Distributed Normal Map-based Stochastic Proximal Gradient Methods over Networks
本文提出基于法映射的分布式随机近端梯度统一框架及 norM-DSGT 和 norM-ED 两种算法，在一般方差条件下达到与集中式方法可比的收敛速率，并给出与网络谱隙相关的瞬态时间上界。
2024-12-26 math.OC
Randomized dual proximal gradient for large-scale distributed optimization
在本文中，我们考虑分布式最优化问题，其中费用函数是可分离的（即，所有共享公共变量的可能非光滑函数的和），并且可以被分成强凸项和凸项。第二项通常用于编码约束或正则化解。我们提出了一个异步的，分布式优化算法在无向拓扑结构，基于最近的梯度更新的对偶问题。我们表明，通过适当的原始变量的选择，对偶问题是可分离的和对偶变量可以堆叠成单独的块。这使我们能够表明，一个分布式的八卦更新，可以通过一个随机块坐标的对偶函数的近端梯度。
2016-09-19 cs.DC math.OC
New Primal-Dual Proximal Algorithm for Distributed Optimization
我们考虑一个网络的代理人，每个都有自己的私人成本组成的两个可能的非光滑的凸函数，其中之一是由一个线性算子的总和。在每次迭代中，每个代理执行本地计算，并且只能与其邻居通信。目标是最小化私有费用函数的总和，并在图上达成共识。我们提出了一个原始对偶法的基础上\emph{Asymmetric Forward-Backward-Adjoint}（AFBA），一个新的运营商分裂技术最近推出的两位作者。我们的算法包括Chambolle和Pock的方法作为一个特殊情况，并具有线性收敛速率时，费用函数分段线性二次。我们表明，我们的分布式算法很容易实现，而不需要执行矩阵求逆或内部循环。我们通过计算实验证明如何选择我们的算法的参数可以导致更大的步长，并产生更好的性能。
2017-03-12 math.OC
A proximal dual semismooth Newton method for computing zero-norm penalized QR estimator
本文研究了高维零范数惩罚分位数回归估计的计算问题，定义为零范数惩罚校验损失函数的全局极小值。为了寻求一个理想的近似估计，我们重新制定这个NP难的问题作为一个等价的增广Lipschitz最优化问题，并利用其耦合结构，提出了一个多阶段的凸松弛方法（MSCRA\_PPA），其中每一步解决不精确的加权$\ell_1$ -正则化检查损失最小化问题的近似对偶半光滑牛顿方法。在强凸性约束条件下，通过建立各参数估计的误差界和统计意义下的线性收敛速度，为MSCRA PPA提供了理论保证.对模拟数据和实际数据的数值比较表明，MSCRA PPA不仅具有相当甚至更好的估计性能，而且所需的CPU时间要少得多。
2020-11-22 math.OC
Randomized Block Proximal Methods for Distributed Stochastic Big-Data Optimization
本文提出了一类新的求解有向图上随机大数据凸优化问题的分布式算法。在所述的设置中，决策变量的维数可以非常高，并且目标函数可以是非光滑的。一般算法包括两个主要步骤：共识步骤和对优化变量的单个块的更新，然后将其广播给邻居。三个特殊的情况下，所提出的方法，涉及特定的问题结构，然后提出。在一般情况下，证明了随机行随机阵上动态一致性算法的收敛性。然后，证明了该算法在期望值内收敛到最优费用。当使用递减（局部）步长时实现精确收敛，而当使用恒定步长时实现近似收敛。的收敛速度被证明是次线性的，并提供了一个明确的速度的情况下，恒定的步长。最后，该算法进行了测试的分布式分类问题，首先在合成数据，然后，在一个真正的，高维的，文本数据集。
2020-10-04 math.OC
Bregman Proximal Method for Efficient Communications under Similarity
本文提出一种基于Bregman近端映射的随机分布式方法，利用相似性在任意问题几何下求解单调及强单调变分不等式，达到最优通信复杂度并填补了现有研究空白。
2024-10-04 math.OC
A New Homotopy Proximal Variable-Metric Framework for Composite Convex Minimization
本文提出了两种新的思想，发展了求解一类复合凸优化问题的新的近似变度量法。第一个想法是一个新的参数化的最优性条件，使我们能够开发一类同伦近变度量法。我们表明，在适当的假设，如强凸型和光滑性，或自和谐，我们的新计划可以实现有限的全球迭代复杂性的界限。我们的第二个想法是一个原始-对偶-原始框架的近似牛顿方法，可以导致一些有用的计算功能的一个子类的非光滑复合凸优化问题。从原问题出发，构造了原问题的对偶问题，并利用同伦近似牛顿法求解该对偶问题。与其直接在对偶空间中求解子问题，我们建议将这个子问题对偶化，回到原始空间。由此产生的子问题共享一些相似性，促进了原问题的正则化，并导致一些计算上的优势。作为一个副产品，我们专门提出的算法来解决协方差估计问题。令人惊讶的是，我们的新算法不需要任何矩阵求逆或Cholesky分解，和函数评估，而它的作品在原始空间的稀疏结构，促进了正则化。几个应用的数值例子来说明我们的理论发展，并与国家的艺术比较。
2018-12-13 math.OC
On the convergence of the distributed proximal point algorithm
本文研究了分布式近端点算法在 Rd 上的收敛性与稳定性，给出了步长和代价函数的一般稳定条件，证明其以步长 η>0 指数收敛到最优解的 O(η) 邻域，并通过数值实验验证了理论结果。
2023-07-10 eess.SP math.OC
Distributed Scaled Proximal ADMM Algorithms for Cooperative Localization in WSNs
本文针对无线传感器网络协作定位中的大规模非凸非光滑优化问题，提出两种分布式缩放近端ADMM算法，在显著降低计算复杂度的同时实现全局收敛和更高定位精度，并在多种场景下验证了其优越性。
2023-08-07 math.OC
Projective Splitting as a Warped Proximal Algorithm
我们证明了P.L. Combettes和J. Eckstein在他们的2018年数学课程中。论文可以被看作是最近提出的翘曲邻近算法的实例。
2021-06-04 math.OC
Affine-coupled Distributed Optimization via Distributed Proximal Jacobian ADMM with Quantized Communication
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；University of Bologna（博洛尼亚大学）；KTH Royal Institute of Technology（皇家理工学院）；The Hong Kong University of Science and Technology（香港科技大学）
本文提出一种结合集中式近端雅可比交替方向乘子法与有限级量化共识方案的分布式算法，用于解决受限通信带宽下的分布式资源分配优化问题，证明其在凸目标函数下具有亚线性收敛性。
2026-04-16 cs.SY eess.SY math.OC
A Proximal Alternating Direction Method of Multiplier for Linearly Constrained Nonconvex Minimization
考虑多面体上非凸可微函数的极小化问题。一个流行的原始-对偶一阶方法是对增广拉格朗日函数进行梯度投影迭代，然后使用约束残差更新对偶乘子向量。然而，数值例子表明，这种方法可以表现出“振荡”，可能不会收敛。在本文中，我们提出了一个接近的交替方向法的乘法器的多块版本的这个问题。该方法的显著特征是引入了“平滑”（即，指数加权）原始迭代序列，并且在每次迭代时，将以当前平滑原始迭代为中心的二次邻近项包含到增广拉格朗日函数中。在每次迭代中，得到的近端增广拉格朗日函数被不精确地最小化（经由梯度投影步骤），而使用线性约束的残差来更新对偶乘子向量。当原始和对偶步长足够小时，我们证明了适当的“平滑”可以稳定“振荡”，并且新的近似ADMM算法的迭代在一些温和的正则性条件下收敛到一个稳定点。当目标函数为二次函数时，证明了算法的线性收敛性.我们的证明是基于一个新的势函数和一个新的使用误差界。
2020-08-04 math.OC
Proximal Stochastic Dual Coordinate Ascent
Hebrew University（希伯来大学）；Rutgers University（罗格斯大学）
我们介绍了一种近似的双坐标上升法。我们演示了如何派生的算法框架可以用于许多正则化的损失最小化问题，包括$\ell_1$正则化和结构化输出SVM。我们获得的收敛速度匹配，有时改善，国家的最先进的结果。
2012-11-12 cs.LG math.OC stat.ML
D-ripALM: A Tuning-friendly Decentralized Relative-Type Inexact Proximal Augmented Lagrangian Method
Sun Yat-sen University（中山大学）；Shenzhen Technology University（深圳理工大学）；The University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）
D-ripALM是一种适用于多智能体网络共识凸优化的去中心化算法，通过相对型误差准则提升调优友好性和数值鲁棒性。
2026-02-06 math.OC
Comparison of Proximal First-Order Primal and Primal-Dual algorithms via Performance Estimation
针对信号/图像处理任务中算法选择难题，基于性能估计框架自动计算最坏情况性能，比较并加强多种一阶原始及原始-对偶算法的收敛结果。
2024-03-15 math.OC
RandProx: Primal-Dual Optimization Algorithms with Randomized Proximal Updates
邻近分裂算法非常适合于解决大规模非光滑最优化问题，特别是机器学习中出现的问题。我们提出了一种新的原始对偶法，其中对偶更新是随机的，等价地，在问题中的函数之一的邻近算子被替换为随机预言。例如，在每次迭代中更新一些随机选择的对偶变量，而不是全部。或者，函数的邻近运算符仅以较小的概率被调用。一个非光滑的方差减少技术的实施，使算法找到一个确切的极小化的一般问题，涉及光滑和非光滑的功能，可能与线性算子组成。我们推导出线性收敛结果存在强凸性，这些结果是新的，即使在确定性的情况下，当我们的算法恢复到最近提出的原始-对偶戴维斯-尹算法。文献中的一些随机算法也被恢复为特定情况（例如，Point-SAGA）。但我们的随机化技术是通用的，包括许多超越采样和概率更新的无偏机制，包括压缩。由于收敛速度取决于原始和对偶收缩机制中最慢的一个，因此当使用随机性时，迭代复杂度可能保持不变。另一方面，可以显著降低计算复杂度。总的来说，随机性有助于获得更快的算法。这在随机梯度型算法中早已为人所知，我们的工作表明，这也完全适用于更一般的原始对偶设置。
2023-03-07 math.OC
Almost Sure Convergence of Random Projected Proximal and Subgradient Algorithms for Distributed Nonsmooth Convex Optimization
描述了两种分布式算法，使所有用户连接在一个网络上，以合作解决的问题，最小化的总和，所有用户的目标函数在所有用户的约束集的交集，其中每个用户有自己的私人非光滑凸目标函数和封闭的凸约束集，这是一些简单的，封闭的凸集的交集。一种算法使每个用户能够通过使用其目标函数的邻近算子和从简单的闭凸集中随机选择的一个集合上的度量投影来调整其估计。另一种是分布式随机投影算法，该算法通过使用用户的目标函数的次梯度而不是邻近算子来确定每个用户的估计。对这两种算法收敛性的研究表明，在一定的假设条件下，这两种算法所产生的所有用户的序列几乎必然收敛到同一个解。此外，对两种算法的收敛速度进行了分析，并讨论了使两种算法具有快速收敛性的步长序列的理想选择。具体的非光滑凸优化的数值比较支持了收敛性分析，并证明了两种算法的有效性。
2015-10-24 math.OC
Solving the Infinite-horizon Constrained LQR Problem using Accelerated Dual Proximal Methods
本文提出了一种求解无限时间约束线性二次调节问题的算法。我们采用一个流行的近端梯度计划，通常被称为前向向后分裂（FBS）的加速版本，并证明其收敛到我们的无限维设置的最优解。该算法的每次迭代只需要有限的内存，计算成本低，并且不使用终端不变集;因此，该算法可以应用于非常大尺寸的系统。加速带来了最佳的收敛速度O（1/k^2）的函数值和O（1/k）的原始迭代，并提出了一个实用的替代模型预测控制方案的设定点跟踪方法。此外，当真实系统受到干扰或建模误差的情况下，我们提出了一个有效的热启动程序，这显着减少了迭代次数时，该算法被应用于闭环。数值例子证明了这种方法。
2015-01-18 math.OC
A Proximal Point Dual Newton Algorithm for Solving Group Graphical Lasso Problems
无向图模型在学习大量变量之间的条件独立结构方面特别流行，其中观测值独立且相同地从同一分布中提取。然而，许多现代统计问题涉及分类数据或时变数据，它们可能遵循不同但相关的基本分布。为了同时学习相关图形模型的集合，已经提出了各种联合图形模型，其引起图形中的稀疏性和图形之间的相似性。在本文中，我们的目标是提出一个可实现的近点对偶牛顿算法（PPDNA）解决组图形Lasso模型，鼓励共享模式的稀疏跨图。虽然群图形Lasso正则化子是非多面体的，但我们提出的方法PPDNA的渐近超线性收敛可以通过利用与群图形Lasso模型相关联的Karush-Kuhn-Tucker解映射的局部Lipschitz连续性来获得。在实际数据集上的数值实验表明，PPDNA求解群图Lasso模型具有高效性和鲁棒性。
2020-08-17 math.OC
A Distributed Flexible Delay-tolerant Proximal Gradient Algorithm
我们开发和分析了分布式凸优化的异步算法时，目标写的光滑函数，本地每个工人，和一个非光滑函数的总和。与许多现有的方法不同，我们的分布式算法是可调的通信成本，延迟，机器的计算能力，和功能的平滑度的各种水平。一个独特的特点是，步长不依赖于通信延迟或机器的数量，这是非常可取的可扩展性。我们证明了算法在强凸情形下线性收敛，并保证了算法在非强凸情形下的收敛性。所得到的速率是相同的香草近端梯度算法在一些引入的历元序列，包含系统的延迟。我们提供了大规模机器学习问题的数值结果，以证明所提出的方法的优点。
2019-12-12 math.OC stat.ML
A Unifying Primal-Dual Proximal Framework for Distributed Nonconvex Optimization
School of Information Science and Technology, Shanghaitech University（上海科技大学信息科学与技术学院）；Shanghai Engineering Research Center of Energy Efficient and Custon AI IC（上海市能效与定制人工智能集成电路工程研究中心）
本文提出了一种统一的对偶近似 proximal 框架，用于解决分布式非凸优化问题，并通过实验验证了其在收敛速度和通信效率上的优势。
2026-03-10 math.OC
Generalized Proximal Smoothing for Phase Retrieval
在本文中，我们报告的广义邻近平滑（GPS）算法的相位恢复噪声数据的发展。GPS是一种基于优化的算法，在该算法中，我们放松了傅立叶幅度和对象约束。通过引入广义Moreau-Yosida正则化和热核光滑，我们放松了对象约束。我们能够很容易地处理相关的近端映射的对偶变量通过使用一个下卷积。我们还放宽幅度约束到最小二乘保真度项，其邻近映射是可用的。GPS分别在原始空间和对偶空间中的两个邻近映射之间交替迭代。利用数值模拟和实验数据，我们证明了GPS算法在收敛速度、相位恢复的一致性和对噪声的鲁棒性等方面都优于经典的相位恢复算法，如混合输入输出（HIO）和过采样平滑（OSS）。
2018-03-15 math.OC
Distributed Proximal Splitting Algorithms with Rates and Acceleration
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
我们分析了几个通用的邻近分裂算法，以及适合于大规模的凸非光滑最优化。我们推导出次线性和线性收敛的结果与新的利率的函数值次优或距离的解决方案，以及新的加速版本，使用不同的步长。此外，我们还提出了这些算法的分布式变体，这些算法也可以加速。虽然大多数现有的结果是遍历的，我们的nonergodic结果显着拓宽了我们的理解原始对偶优化算法。
2022-01-27 cs.LG cs.NA math.NA
Dual Newton Proximal Point Algorithm for Solution Paths of the L1-Regularized Logistic Regression
本文提出对偶牛顿近端点算法PPDNA求解带偏置项的L1正则化逻辑回归，利用二阶稀疏性降低子问题计算成本，并设计自适应筛选AS策略生成解路径，实验验证其优于现有二阶算法。
2023-10-30 math.OC
Asynchronous Distributed Optimization via Randomized Dual Proximal Gradient
Università del Salento（萨伦托大学）
本文提出基于对偶问题的近似梯度方法，通过选择合适的原变量副本，使对偶问题分离，并开发异步算法以实现非重叠块的分布式优化。
2016-06-24 cs.SY eess.SY math.OC
Interwoven SDP in Primal-Dual Proximal Splitting Methods for Adjustable Robust Convex Optimisation with SOS-Convex Polynomial Constraints
University of New South Wales（新南威尔士大学）
本文提出了一种基于SDP的对偶近端分裂方法，用于求解具有SOS-凸多项式约束的可调整鲁棒凸优化问题，展示了其在两阶段订货模型中的有效性。
2026-02-16 math.OC
