Stochastic Primal-Dual Coordinate Method with Large Step Size for Composite Optimization with Composite Cone-constraints
我们引入了Cohen和Zhu（1984）以及Zhao和Zhu（2018）研究的一阶原始对偶方法的随机坐标扩展，以解决具有复合锥约束的复合优化（COCC）。在这种方法中，我们根据均匀分布随机选择一组变量。对随机选择的块的线性化和Bregman样函数（核心函数）允许我们得到简单的并行COCC原始-对偶分解。我们得到了几乎必然收敛性和O（1/t）的期望收敛速度.本文还导出了高概率复杂度界。
2019-05-02 math.OC
On proximal augmented Lagrangian based decomposition methods for dual block-angular convex composite programming problems
对于具有对偶块角结构的凸复合规划问题，我们设计了基于非精确近似增广拉格朗日分解方法。我们的方法特别适合于凸二次规划问题所产生的随机规划模型。算法框架是基于在[Chen，Sun，Toh，Math. Prog. 161：237--270]的目标问题的对偶，以及最近开发的对称高斯-赛德尔分解定理的应用解决一个邻近的多块凸复合二次规划问题。算法设计中的关键问题首先是设计合适的近似项来分解目标问题的对偶变量块的计算，使每次迭代中的子问题更容易求解，其次是开发新的数值格式来有效地求解分解的子问题。我们的不精确增广拉格朗日分解方法有保证的收敛性。我们提出了一个应用所提出的算法的双重非负松弛的无容量限制的设施定位问题，以及两阶段的随机最优化问题。我们进行了大量的数值实验，以评估我们的方法对国家的最先进的求解器，如Guidelines和MOSEK的性能。此外，我们提出的算法也毫不逊色于著名的渐进式对冲算法的Rockafellar和Wets。
2023-03-13 math.OC
A semi-proximal augmented Lagrangian based decomposition method for primal block angular convex composite quadratic conic programming problems
针对具有原始块角结构的凸复合二次锥规划问题，提出了一种基于半邻近增广拉格朗日分解的求解方法。使用我们的算法框架，我们能够自然地得到几个众所周知的增广拉格朗日分解方法的随机规划，如对角二次近似法的Mulvey和Ruszczyovski。此外，我们能够得到新的增强和推广这些众所周知的方法。我们还提出了一个半近似对称的高斯-赛德尔为基础的交替方向法的乘数解决相应的对偶问题。数值结果表明，我们的算法可以很好地执行，即使是非常大的情况下，原始块角凸QP问题。例如，一个具有多个$300,000$线性约束和$12,500,000$非负变量的实例在小于一分钟内求解，而Guesthouse花费了3个多小时，另一个具有多个$331,000$线性约束和$986,000$非负变量的实例{ \tt qp-gridgen 1}在大约5分钟内求解，而Guesthouse花费了35分钟以上。
2018-12-12 math.OC
Zeroth-Order Stochastic Block Coordinate Type Methods for Nonconvex Optimization
我们研究（约束）非凸（复合）最优化问题的决策变量向量可以分为块的变量。随机分块投影法是一种处理这类问题的常用方法，它可以显著减少投影法的计算量。然而，这种强大的方法还没有被提出的情况下，一阶信息被禁止，只有零阶信息。在本文中，我们提出发展不同类别的零阶随机块坐标型方法。提出了零阶块坐标下降法（Z-BCD）求解无约束非凸最优化问题。对于复合优化问题，我们建立了零阶随机块镜下降法（ZH-BMD）及其相关的两阶段方法，以达到寻找$(ε,Λ)$ -解的复杂性界。此外，我们还建立了求解非凸（复合）优化问题的零阶随机块坐标条件梯度（BCCG）方法。与传统的随机逼近方法相比，该方法在每次迭代中只需要在一个随机块上求解线性规划子问题，而不需要在整个决策空间上求解投影子问题.在下文中，提出了近似的BCCG方法和相应的两阶段BCCG方法。这也是第一次，一个两阶段的BCCG方法已经发展到实现的$(ε, Λ)$ -解决非凸复合最优化问题。据我们所知，本文提出的结果是新的随机非凸（复合）优化文献。
2019-06-14 math.OC
Cyclic Block Coordinate Descent With Variance Reduction for Composite Nonconvex Optimization
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
非凸优化是解决许多机器学习问题的核心，在这些问题中通常会遇到块结构。在这项工作中，我们提出了非渐近梯度范数保证的非凸最优化问题的循环块坐标方法。我们的收敛性分析是基于梯度利普希茨条件的Mahalanobis规范，启发循环块坐标方法的最新进展。在确定性设置中，我们的收敛保证与（全梯度）梯度下降的保证相匹配，但梯度Lipschitz常数被定义为w.r.t.~ a Mahalanobis规范.在随机环境下，我们使用递归方差缩减来降低每次迭代的代价，并与当前最优随机全梯度法的运算复杂度相匹配，同时对有限和和无限和情况进行了统一的分析。我们证明了一个更快的线性收敛的结果时，Polyak-Pjojasiewicz（Pjs）条件成立。据我们所知，这项工作是第一个提供非渐近收敛保证-方差减少或不-循环块坐标方法在一般复合（光滑+非光滑）非凸设置。我们的实验结果证明了所提出的循环方案在训练深度神经网络方面的有效性。
2023-01-27 cs.LG math.OC
A Stochastic Block-coordinate Proximal Newton Method for Nonconvex Composite Minimization
School of Mathematical Sciences, Jiangsu University（江苏大学数学科学学院）；Center of Excellence for Generative AI, King Abdullah University of Science and Technology（阿卜杜拉国王科技大学生成式人工智能卓越中心）
本文提出一种随机块坐标近端牛顿方法，用于非凸复合最小化问题，通过强凸正则化二次子问题和回溯线搜索确保收敛性，并在不同条件下证明了超线性收敛率。
2026-03-24 math.OC
A block-coordinate descent framework for non-convex composite optimization. Application to sparse precision matrix estimation
Laboratoire J.A. Dieudonné（拉格朗日J.A.迪乌多夫实验室）；Université Côte d'Azur（蔚蓝海岸大学）
本文提出了一种通用的块坐标下降框架，用于解决非凸复合优化问题，并应用于稀疏精度矩阵估计，提供收敛保证和加速迭代次数。
2026-01-29 cs.LG math.OC
Iteration Complexity of Randomized Block-Coordinate Descent Methods for Minimizing a Composite Function
本文提出了一种随机块坐标下降法，用于极小化光滑和简单非光滑块可分凸函数之和，并证明了它在至多$O(\tfrac{n}ε \log \tfrac{1}ρ)$次迭代中以至少$1-ρ$的概率获得$ε$ -精确解，其中$n$是块的个数.对于强凸函数，该方法线性收敛。这将Nesterov [Efficiency of coordinate下降法on huge-scale最优化问题，CORE Discussion Paper #2010/2]的最近结果（其覆盖了光滑情况）扩展到复合最小化，同时将复杂度提高到4倍，并从对数项中去除$ε$。更重要的是，在上述工作中，作者实现的结果，通过应用该方法的正则化版本的目标函数与一个未知的缩放因子相比，我们表明，这是没有必要的，从而实现真正的迭代复杂性界限。在光滑的情况下，我们也允许任意的概率向量和非欧几里德范数。最后，我们证明了数值算法是能够解决大规模的$\ell_1$正则化最小二乘和支持向量机问题的十亿个变量。
2011-07-14 math.OC stat.ML
An Efficient Inexact Symmetric Gauss-Seidel Based Majorized ADMM for High-Dimensional Convex Composite Conic Programming
本文提出了一种求解一类高维凸复合锥最优化问题的不精确多块ADMM型一阶方法。该方法的设计结合了一个不精确的2块优化半邻近ADMM和最近的进展不精确对称高斯-赛德尔（SGS）技术解决多块凸复合二次规划，其目标包含一个非光滑项只涉及第一块变量。我们提出的方法的一个显著特点是（sGS-imsPADMM）的一个优点是，它只需要一个周期的不精确sGS方法，而不是一个未知数的周期，以解决所涉及的每个子问题。通过一些简单和可实现的容错准则，可以大大减少求解子问题的成本，并且每个sGS周期的前向扫描中的许多步骤通常可以跳过，这进一步有助于所提出的方法的效率。证明了算法的整体收敛和非遍历意义下的迭代复杂性，并对高维线性和凸二次SDP问题进行了初步的数值实验，这些问题具有大量的线性等式和不等式约束.结果表明，对于绝大多数测试问题，sGS-imsPADMM比直接扩展的多块ADMM快2 ~ 3倍，其积极步长为1.618，是目前求解多块线性和二次SDP问题的一阶方法中的基准，但其收敛性不能保证。
2016-03-17 math.OC
Global Complexity Bound of a Proximal ADMM for Linearly-Constrained Nonseperable Nonconvex Composite Programming
提出并分析了求解线性约束非凸最优化问题的阻尼邻近交替方向法（DP.ADMM），其中目标函数的光滑部分不可分. DP.ADMM的每次迭代包括：（i）部分邻近增广拉格朗日（AL）更新的序列，（ii）欠松弛拉格朗日乘子更新，以及（iii）检查AL函数的罚参数是否应该更新的新测试。在基本Slater条件下，对阻尼因子和欠松弛因子有一定的要求，证明了对于给定的数值公差$\varepsilon>0$，DP.ADMM在${\cal O}(\varepsilon^{-3})$迭代中获得了约束问题的一阶稳定点.本文的主要创新之一是，该方法的收敛性，而不需要任何秩的约束矩阵的假设。
2023-01-03 math.OC
Asynchronous Variance-reduced Block Schemes for Composite Nonconvex Stochastic Optimization: Block-specific Steplengths and Adapted Batch-sizes
我们考虑的期望值坐标明智$L_i$光滑非凸函数和非光滑块可分凸正则化的总和的最小化。我们提出了一个异步方差减少算法，在每次迭代中，一个单一的块被随机选择更新其估计由一个邻近的可变样本大小的随机梯度计划，而其余的块保持不变。值得注意的是，每个块采用根据其块特定的Lipschitz常数的步长，而块特定的批量大小是以随着该块被选择的（随机）次数以几何或多项式速率增长的速率更新的随机变量。我们证明了几乎每个样本路径的每个极限点都是平稳点，并建立了遍历非渐近速率$\mathcal{O}(1/K) $。迭代和预言复杂性，以获得$ε$ -平稳点被证明是$\mathcal{O}(1/ε)$和$\mathcal{O}(1/ε^2)$，分别。进一步证明了在$ μ$ -proximal Polyak-Proximojasiewicz（PL）条件下，当批量以几何速率增加时，次优性以{ \em几何}速率减小，而获得$ε$ -最优解的迭代和预言复杂性分别被证明为$\mathcal{O}( (L_{\rm max}/μ) \ln(1/ε))$和$\mathcal{O}\left((L_{\rm ave}/μ) (1/ε)^{1+c} \right)$ with $c\geq 0$.在追求不太积极的采样率，当批量大小增加的次数$v \geq 1$的多项式率，次优衰减在相应的多项式率，而迭代和预言复杂性，以获得$ε…
2020-02-19 math.OC
A Linearly Convergent Majorized ADMM with Indefinite Proximal Terms for Convex Composite Programming and Its Applications
研究凸组合最优化问题的一种优化的不定邻近项乘子交替方向法（iPADMM）.我们发现，优化的iPADMM的2块凸最优化问题的全局收敛的条件下较弱的文献中所使用的，并表现出线性收敛速率下的局部误差界条件。在此基础上，我们建立了一个基于对称Gaussian-Seidel的优化iPADMM的线性速度收敛结果，该算法是针对多块复合凸优化问题而设计的。此外，我们应用优化的iPADMM来解决不同类型的正则化逻辑斯谛回归问题。合成和真实数据集上的数值结果证明了优化的iPADMM的有效性，也说明了引入的不定邻近项的有效性。
2018-02-07 math.OC
Parallel coordinate descent methods for composite minimization: convergence analysis and error bounds
在本文中，我们提出了一个分布式版本的随机块坐标下降法，以最小化部分可分光滑凸函数和完全可分非光滑凸函数的总和。在光滑函数梯度块Lipschitz连续的假设下，证明了该方法具有次线性收敛速度。对于新引入的广义误差界函数类，得到了该方法的线性收敛速率。我们证明了这类广义误差界函数既包含全局/局部误差界函数，又包含光滑强凸函数.我们还表明，收敛速度的理论估计取决于随机选择的块的数量和一个自然的措施分离的目标函数。
2015-11-20 math.OC
Variable Metric Composite Proximal Alternating Linearized Minimization for Nonconvex Nonsmooth Optimization
本文提出了一个最小化两个块变量的目标函数的近似算法，该目标函数由三项组成：1）光滑函数; 2）非光滑函数，它是一个严格递增的凹可微函数和一个凸非光滑函数的组合; 3）耦合两个块变量的光滑函数。我们提出了一个变尺度复合近似交替线性化极小化（CPALM）来解决这类问题。建立在强大的Kurdyka-Eschojasiewicz属性，我们得到的收敛性分析，并建立由CPALM生成的每个有界序列全局收敛到一个临界点。我们证明了CPALM方法的并行磁共振图像重建问题。数值结果表明了该方法的可行性和有效性。
2022-09-14 math.OC
An Augmented Lagrangian Primal-Dual Semismooth Newton Method for Multi-Block Composite Optimization
本文针对带线性约束的多块凸复合优化问题，提出基于可微增广拉格朗日函数的ALPDSN半光滑牛顿法，证明其全局收敛与超线性收敛速率，数值实验验证了方法的高效性与鲁棒性。
2024-05-16 math.OC
An inertial ADMM for a class of nonconvex composite optimization with nonlinear coupling constraints
本文针对一类具有非线性耦合约束的非凸多块优化问题，提出一种结合惯性技术和带松弛参数的非标准乘子更新规则的交替方向乘子法，并证明了算法的子序列收敛性与全局收敛性。
2024-02-21 math.OC
A unified analysis of a class of proximal bundle methods for solving hybrid convex composite optimization problems
提出了一种基于一般束更新方案的求解混合凸复合优化（HCCO）问题的近似束（PB）框架，建立了PB框架中任一变体的迭代复杂度上界，并首次在HCCO背景下统一地给出了基于不同束更新方案的3种PB变体的迭代复杂度上界.虽然PB变体中的两个是通用的（即，它们的实现不需要与HCCO实例相关联的参数），另一个新提出的（据作者所知）不是HCCO实例，但具有生成简单的（即一次切割的）捆绑模型的优点。本文还提出了一个通用的自适应PB变体（这不一定是一个框架的实例）的基础上一切模型，并表明其迭代复杂度是相同的上述两个通用PB变体。
2023-03-27 math.OC
A Majorized-Generalized Alternating Direction Method of Multipliers for Convex Composite Programming
目标函数包含两个块且每个块为非光滑+光滑形式的线性约束凸组合规划问题在许多应用领域中经常出现。如果两个光滑项都是二次项，则利用基于对称高斯-赛德尔（sGS）技术的乘子邻近交替方向法（ADMM）可以有效地解决该问题。然而，在非二次情形下，SGS技术不能再使用，这导致非光滑+光滑的可分离结构不得不被忽略。在本文中，我们提出了一个广义ADMM，特别是使用优化技术，使相应的子问题更适合于有效的计算。在适当的条件下，证明了$(0,2)$中松弛因子的整体收敛.应用该算法求解了一类模拟凸复合最优化问题和一类稀疏协方差阵逆估计问题，结果表明该算法的有效性是明显的。
2021-11-24 math.OC
SSNCVX: A primal-dual semismooth Newton method for convex composite optimization problem
本文提出统一的半光滑牛顿法框架 SSNCVX 求解凸复合优化问题，通过增广拉格朗日对偶重构为鞍点问题，以单循环结构同时更新原始和对偶变量，在基准数据集上展现出优于现有求解器的鲁棒性与效率。
2025-09-15 math.OC
A Block Coordinate Descent Method for Nonsmooth Composite Optimization under Orthogonality Constraints
Shenzhen University of Advanced Technology (SUAT)（深圳先进技术大学（SUAT））
本文提出OBCD方法，通过块坐标下降解决非光滑目标和计算昂贵的非凸约束问题，证明其能到达任意可行点，并具有O(1/ε)的迭代复杂度。
2026-05-14 cs.LG cs.NA math.NA
An accelerated proximal PRS-SQP algorithm with dual ascent-descent procedures for smooth composite optimization
Guangxi Minzu University（广西民族大学）；National University of Defense Technology（国防科技大学）
针对光滑复合优化，本文提出带对偶上升-下降过程和混合加速的近端PRS-SQP算法，统一ALDA与ALDD，并在KL框架下证明更广加速因子下的可行性与收敛速率。
2026-09-30 math.OC
An Adaptive Proximal ADMM for Nonconvex Linearly Constrained Composite Programs
Oregon State University（俄勒冈州立大学）；Texas A&M University（德克萨斯农工大学）；Georgia Institute of Technology（佐治亚理工学院）；Federal University of Piauí（皮奥伊联邦大学）
本文提出一种自适应近端交替方向乘子法解决线性约束复合优化问题，假设目标函数光滑部分弱凸，非光滑部分凸且块分离。方法自适应于所有参数，允许每个块近端子问题近似求解，通过迭代步骤和自适应测试确定是否更新拉格朗日乘子和惩罚参数，无需约束矩阵秩假设，证明在迭代次数上达到最优复杂度。
2026-04-30 math.OC
A Majorized ADMM with Indefinite Proximal Terms for Linearly Constrained Convex Composite Optimization
本文提出了一种求解线性约束$2$ -块凸组合最优化问题的带不定邻近项的优化交替方向乘子法（ADMM），目标块为一个非光滑凸函数与一个光滑凸函数之和，$\min_{x \in {\cal X}, \; y \in {\cal Y}}\{p(x)+f(x) + q(y)+g(y)\mid A^* x+B^* y = c\}$。通过适当地选择不定邻近项，我们证明了所提出的方法对于步长$τ\in (0, (1+\sqrt{5})/2)$的整体收敛和$O(1/k)$遍历迭代复杂性。计算的好处，而不是目前的要求，半正定的ADMM框架内使用不确定的邻近项的数值也证明了。这为提高ADMM及其相关方法的实际性能开辟了一条新的途径。
2015-06-23 math.OC
Convergence Analysis of Generalized ADMM with Majorization for Linearly Constrained Composite Convex Optimization
本文将Xiao等[{ \tt Math. Prog.计算：2018}]针对两块线性约束复合凸规划问题，其中每个块都是“非光滑+二次”形式.然而，在非二次（但光滑）的情况下，这种方法可能会失败，除非不再使用“非光滑+光滑”的有利结构。本文旨在弥补这一缺陷，采用优化技术来逼近增广拉格朗日函数，从而将相应的子问题分解为若干个小问题，然后分别求解。此外，最近的对称高斯-赛德尔（SGS）分解定理保证了更大的子问题和这些较小的之间的等价性。本文着重于收敛性分析，即，我们证明所提出的方法产生的序列全局收敛到Karush-Kuhn-Tucker点所考虑的问题。最后，通过对一类模拟凸组合最优化问题的数值实验，验证了该方法的有效性。
2022-04-04 math.OC
An Augmented Lagrangian Approach to Composite Problems with a Random Linear Operator
针对随机线性映射下光滑与非光滑复合函数之和的最小化问题，提出结合增广拉格朗日框架、采样机制与自适应惩罚参数的方法，证明其生成序列的聚点几乎必然是临界点。
2024-11-28 math.OC
A globally convergent algorithm for nonconvex optimization based on block coordinate update
非凸最优化问题出现在计算科学和工程的许多领域中，并且可以通过各种算法（近似）求解。现有的算法通常只具有迭代的局部收敛或子序列收敛性。我们提出了一种算法的一般非凸优化配方，建立其整个的收敛序列的一个临界点，随着收敛速率，并数值证明其效率。特别地，我们考虑了非凸目标函数的极小化问题。它的变量可以被视为一个块或被划分为多个不相交的块。假设目标函数的每个不可微分量或每个约束应用于一个变量块。然而，目标函数的可微分量可以一起应用于一个或多个变量块。我们的算法通过最小化某个非线性代理来更新一个变量块。更新的顺序可以是确定性的，也可以在每轮中随机打乱。我们得到的收敛性的整个序列相当宽松的条件下，包括，特别是，Kurdyka-Eschojasiewicz（KL）条件，这是满足广泛的一类非凸/非光滑的应用。我们将收敛结果应用于非凸正则线性回归的坐标下降法和非负矩阵分解的一种改进的秩一留数迭代法。我们证明了这两种方法都具有整体收敛性。数值上，我们测试我们的算法上的非负矩阵和张量分解问题，随机洗牌，使避免局部解决方案。
2015-08-20 math.OC
A Proximal Gradient Method With Probabilistic Multi-Gossip Communications for Decentralized Composite Optimization
Suzhou University of Technology（苏州科技大学）；Southeast University（东南大学）；Purple Mountain Laboratories（紫金山实验室）
针对分散式光滑＋非光滑复合优化，提出概率局部更新与多Gossip通信的 MG-Skip，在强凸连通网络中以独立于拓扑和更新次数的步长获得可证明通信加速。
2025-09-27 cs.LG math.OC
Proximal bundle methods for hybrid weakly convex composite optimization problems
University of Rochester（罗切斯特大学）；Georgia Institute of Technology（佐治亚理工学院）
本文通过统一的近邻束框架研究了混合弱凸复合优化问题的迭代复杂度，提出易于验证的站稳性度量替代传统难以检查的站稳条件。
2026-10-19 math.OC
A flexible block-coordinate forward-backward algorithm for non-smooth and non-convex optimization
提出一种新的确定性块坐标下降框架，支持灵活更新规则，在非光滑非凸优化中保证收敛性，并在多级图像恢复中验证有效性。
2025-10-30 math.OC
HPR-QP: A dual Halpern Peaceman-Rachford method for solving large-scale convex composite quadratic programming
本文提出 HPR-QP 方法，通过受限 Wolfe 对偶、对称 Gauss-Seidel 更新、值域空间邻近算子及自适应重启策略，在 GPU 上显著提升大规模凸复合二次规划的求解速度与可扩展性。
2025-07-03 math.OC
Towards Totally Asynchronous Primal-Dual Convex Optimization in Blocks
提出了一种求解约束凸优化问题的并行原始对偶法。该算法是“基于块的”，因为原始和对偶变量的向量被划分成块，每个块仅由单个处理器更新。我们考虑四种可能的形式的通信：在更新原始变量，更新对偶变量，通信的原始变量，和通信的对偶变量。我们明确地构造了一个家庭的反例，以排除允许异步通信的对偶变量，虽然其他形式的异步通信是允许的，所有不需要限制延迟。一阶更新法的开发和被证明是鲁棒的。然后，我们推导出收敛速度的拉格朗日鞍点方面的操作代理执行，而不指定任何时间或模式，他们必须执行。这些收敛速度包含作为特殊情况的同步算法，并用于量化“延迟惩罚”。“数值结果说明了这些发展。
2020-08-29 math.OC
Stochastic Block BFGS: Squeezing More Curvature out of Data
我们提出了一种新的有限记忆随机块BFGS更新，将丰富的曲率信息的随机逼近方法。在我们的方法中，由它维护的逆黑塞矩阵的估计在每次迭代时使用黑塞矩阵的草图来更新，即，一个随机生成的压缩形式的海森。我们提出了几种绘制策略，提出了一种新的拟牛顿法，使用随机块BFGS更新结合方差减少方法SVRG计算批量随机梯度，并证明了所产生的方法的线性收敛。大规模的逻辑斯谛回归问题的数值试验表明，我们的方法是更强大的，大大优于当前国家的最先进的方法。
2016-03-31 math.OC
Totally Asynchronous Primal-Dual Convex Optimization in Blocks
提出了一种求解约束凸优化问题的并行原始对偶法。该算法是“基于块的”，因为原始和对偶变量的向量被划分成块，每个块仅由单个处理器更新。我们考虑四种可能的形式的通信：在更新原始变量，更新对偶变量，通信的原始变量，和通信的对偶变量。我们构建了一个家庭的明确的反例，以显示需要消除异步通信的对偶变量，虽然其他形式的同步是允许的，所有不需要限制延迟。一阶原始-对偶更新法的开发和证明是强大的。然后，我们推导出收敛速度的拉格朗日鞍点方面的操作代理执行，而不指定任何时间或模式，他们必须执行。这些收敛速度包括一个“模糊惩罚”，我们量化和目前的方法来减轻。数值结果说明了这些发展。
2022-05-03 math.OC
Composite Optimization with Coupling Constraints via Penalized Proximal Gradient Method in Partially Asynchronous Networks
本文研究了多智能体网络中具有线性耦合约束的复合最优化问题。在这个问题中，所有的代理人共同优化的全球复合成本函数，这是由光滑和非光滑组件的各个费用函数的线性和。为了解决这个问题，我们提出了一种异步惩罚邻近梯度（Asyn-PPG）算法，它是经典邻近梯度法的一种变体，考虑了代理的异步更新时刻和网络中的通信延迟。具体来说，我们考虑一个基于时隙的异步网络（SAN），其中整个时域被分割成连续的时隙，每个代理被允许在一个时隙期间通过访问他人的历史状态信息进行多次更新。此外，我们考虑了一组全局线性约束，并对更新算法施加一些违规处罚。通过Asyn-PPG算法，我们将证明，如果所有代理的惩罚系数在时隙结束时同步，并且Asyn-PPG算法的步长适当确定，则可以保证以O（1/K）（K是时隙的索引）的速度周期收敛。通过求解基于共识的分布式LASSO问题和电力市场中的社会福利最优化问题，验证了该算法的可行性。
2021-06-25 math.OC
Linear Rate Convergence of the Alternating Direction Method of Multipliers for Convex Composite Quadratic and Semi-Definite Programming
对求解线性约束凸组合最优化问题的乘子交替方向法的线性速度收敛性进行了全面的分析.在一定的误差界条件下，我们建立了一个更一般的半邻近ADMM的全局线性收敛速率，其对偶步长被限制在开区间$(0, (1+\sqrt{5})/2)$内。在我们的分析中，我们既不假设强凸性，也不假设严格互补性，除了一个误差界条件，这对凸复合二次规划自动成立。这种半近似ADMM包含了经典ADMM的优点，不仅解决了经典ADMM中子问题的潜在不可解性问题，而且具有高效处理多块凸优化问题的能力.我们将用凸复合二次规划和二次半定规划作为重要的应用来证明所得结果的意义。利用二阶变分分析中的新颖性，通过二阶充分最优性条件和严格的Robinson约束规格，对非线性凸半定最优化问题的孤立镇定性进行了完整的刻画，证明了半近似ADMM应用于两块和多块凸二次半定规划时的线性速度收敛性.
2015-08-10 math.OC
Iteration-complexity of a proximal augmented Lagrangian method for solving nonconvex composite optimization problems with nonlinear convex constraints
提出并分析了一种求解非线性$\cal K$ -凸约束光滑非凸复合最优化问题的近似增广拉格朗日（NL-IAPIAL）方法，约束相对于由闭合凸锥$\cal K$给出的阶是凸的。每个NL-IAPIAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度（ACG）方法，然后由拉格朗日乘子更新。在一些温和的假设下，证明了NL-IAPIAL在${\cal O}(\log(1/ρ)/ρ^{3})$内迭代中生成约束问题的近似稳态解，其中$ρ>0$是给定的容差.数值实验也说明了所提出的方法的计算效率。
2022-07-05 math.OC
Efficient Greedy Coordinate Descent for Composite Problems
EPFL（洛桑联邦理工学院）
随机坐标选择的坐标下降法是解决大规模最优化问题的一种有效方法。然而，在光滑问题上贪婪地选择最陡的坐标可以产生与维度$n$无关的收敛速度，并且需要多达$n$倍的更少的迭代。本文研究了基于次梯度的贪婪更新算法在一类非光滑组合问题中的应用，包括$L1$ -正则化问题、支持向量机及其相关应用。对于这些问题，我们提供（i）的第一个线性收敛速度独立的$n$，并表明，我们的贪婪更新规则提供了类似的光滑的情况下获得的加速比。这是以前被证明是真实的一个更强的贪婪坐标选择策略。此外，我们表明，（ii）我们的新的选择规则可以映射到实例的最大内积搜索，允许利用标准的最近邻算法，以加快实施。我们通过大量的数值实验证明了该方法的有效性。
2018-10-16 cs.LG math.OC stat.CO
Randomized block proximal damped Newton method for composite self-concordant minimization
Simon Fraser University（西蒙弗雷泽大学）
本文考虑复合自协调极小化问题，即极小化一个自协调函数$f$和一个（可能是非光滑的）真闭凸函数$g$的和. CSC极小化是路径跟踪内点法求解一类广泛的凸优化问题的基础。它在机器学习中也有许多应用。近端阻尼牛顿（PDN）方法已经在文献中得到了很好的研究，以解决这个问题，享受一个很好的迭代复杂度。考虑到在每次迭代时，这些方法通常需要评估或访问$f$的Hessian，并且还需要求解一个近似牛顿子问题，因此当应用于大规模问题时，每次迭代的成本可能非常高。受最近成功的块坐标下降法的启发，我们提出了一个随机块邻近阻尼牛顿（RBPDN）方法来解决CSC最小化。与PDN方法相比，RBPDN每次迭代的计算成本通常显著降低。对一类正则化逻辑斯谛回归问题的计算实验表明，RBPDN确实有希望解决大规模CSC极小化问题。文中还分析了RBPDN的收敛性。特别是，我们证明了RBPDN是全局收敛时，$g$是Lipschitz连续的。它也表明RBPDN享有局部线性收敛。此外，我们证明了对于一类$g$，包括$g$是Lipschitz可微的情形，RBPDN具有全局线性收敛.作为一个惊人的结果，它表明，经典的阻尼牛顿法[22，40]和PDN [31]这样的$g$是全局线性收敛，这是以前未知的文献。此外，这个结果可以用来锐化这些方法的现有迭代复杂度。
2016-07-01 cs.LG cs.NA math.NA
Efficient Regularized Proximal Quasi-Newton Methods for Large-Scale Nonconvex Composite Optimization Problems
具有复合函数的最优化问题由一个目标函数组成，该目标函数是一个光滑项和一个（凸）非光滑项之和。这种特殊的结构是利用类的近端梯度法和他们的一些推广，如近端牛顿和拟牛顿法。在本文中，我们提出了一个正则化的近似拟牛顿法，其主要特点是：（a）该方法全局收敛到稳定点，（b）全局化由正则化参数控制，不需要线搜索，（c）该方法可以基于简单的观察而非常有效地实现，该观察结合了最近用于计算准牛顿邻近算子和有限记忆拟牛顿更新的紧致表示。对凸和非凸组合最优化问题的数值算例表明，该方法优于现有的几种方法。
2022-10-14 math.OC
Fast and Interpretable Dynamics for Fisher Markets via Block-Coordinate Updates
我们考虑的问题，大规模的Fisher市场均衡计算通过可扩展的一阶优化方法。众所周知，市场均衡可以使用结构化凸规划来捕获，例如Eisenberg-Gale和Shmyrev凸规划。高性能的确定性全梯度一阶方法已经开发了这些程序。在本文中，我们开发了新的块坐标一阶方法计算费雪市场均衡，并表明，这些方法有解释为tâtonnement风格或比例响应风格的动态，无论是买家或项目出现一个在同一时间。我们重新制定这些凸规划，并解决他们使用近端块坐标下降法，一类方法，更新只有少量的坐标的决策变量在每次迭代。利用这些方法的收敛性分析的最新进展和平衡捕获凸规划的结构，我们建立了这些方法的快速收敛速度。
2023-03-01 cs.GT cs.MA math.OC
An Accelerated Inexact Dampened Augmented Lagrangian Method for Linearly-Constrained Nonconvex Composite Optimization Problems
提出并分析了求解线性约束非凸组合最优化问题的加速不精确阻尼增广拉格朗日（AIDAL）方法。AIDAL方法的每次迭代包括：（i）通过调用加速复合梯度（ACG）子例程不精确地求解阻尼近端增广拉格朗日（AL）子问题;（ii）应用阻尼和欠松弛拉格朗日乘子更新;以及（iii）使用新的测试来检查AL函数的罚参数是否应该增加。在几个温和的假设下，涉及阻尼因子和下松弛常数，它表明，AIDAL方法产生的约束问题的近似稳定点在${\cal O}(\varepsilon^{-5/2}\log\varepsilon^{-1})$迭代的ACG子程序，对于一个给定的公差$\varepsilon>0$。数值实验也显示了所提出的方法的计算效率。
2023-02-07 math.OC
Iteration-complexity of an inexact proximal accelerated augmented Lagrangian method for solving linearly constrained smooth nonconvex composite optimization problems
提出并建立了求解线性约束光滑非凸复合最优化问题的非精确近似加速增广拉格朗日（IPAAL）方法的迭代复杂度.每个IPAAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度（ACG）方法，然后由一个合适的拉格朗日乘子更新。结果表明，IPAAL生成一个近似的稳态解在最多${\cal O}(\log(1/ρ)/ρ^{3})$ ACG迭代，其中$ρ>0$是给定的公差。它还表明，以前的复杂性界可以锐化为${\cal O}(\log(1/ρ)/ρ^{2.5})$下额外的轻度更强的假设。上述界是在假设初始点既不可行，也不假设目标函数的复合项的域有界的条件下导出的。一些初步的数值结果来说明IPAAL方法的性能。
2020-06-14 math.OC
On the Linear Convergence Rate of Generalized ADMM for Convex Composite Programming
近年来，Eckstein \& Bertsekas [Math.Prog.，1992]在分析其理论收敛性方面引起了广泛的关注。本文致力于建立求解线性约束凸组合最优化问题的半近似GADMM（sPGADMM）的线性收敛速率。每个子问题所包含的半邻近项具有有效处理多块问题的能力。首先给出了sPGADMM产生的序列的一些重要不等式，然后在镇定假设下建立了局部线性收敛速率.作为副产品，整体收敛性质也进行了讨论。
2022-06-08 math.OC
A Block Successive Upper Bound Minimization Method of Multipliers for Linearly Constrained Convex Optimization
考虑线性耦合约束下光滑凸函数与可分非光滑凸函数之和的极小化问题。这种形式的问题出现在许多当代应用中，包括信号处理、无线网络和智能电网供应。出于这些应用程序的巨大规模，我们提出了一类新的一阶原始对偶法称为块连续上限最小化方法的乘数（BSUM-M）来解决这个家庭的问题。BSUM-M通过最小化原始问题的增广拉格朗日量的局部紧上界来连续更新原始变量块，然后以封闭形式对对偶变量进行梯度类型更新。我们表明，在一定的规律性条件下，当原始块变量更新的确定性或随机的方式，BSUM-M收敛到一组最优解。此外，在没有线性约束的情况下，我们证明了BSUM-M，它减少到块连续上限最小化（BSUM）方法，是能够线性收敛没有强凸性。
2014-01-28 math.OC
On the Equivalence of Inexact Proximal ALM and ADMM for a Class of Convex Composite Programming
本文证明了对于一类线性约束凸复合最优化问题，基于（不精确）对称Gauss-Seidel的优化多块近似交替方向法（ADMM）等价于{ \em不精确}近似增广拉格朗日方法（ALM）.这种等价性不仅为理解某些ADMM类算法提供了新的视角，而且为实现它们以获得更好的计算效率提供了有意义的指导。即使对于两个块的情况下，这种等价的副产品是由经典的ADMM产生的整个序列的收敛，其步长超过了$(1+\sqrt{5})/2$的常规上界，如果目标的一部分是线性的。这正是问题的设置，其中第一次收敛分析的ADMM进行了Gabay和Mercier在1976年，但即使在明显更强的假设，只有收敛的原始序列是已知的。一组说明性的例子来证明我们的结果可以用于应用的广度。通过求解大量线性和凸二次半定规划问题的数值实验，说明了本文所建立的理论结果对相应的实际实现的改进.
2019-01-28 math.OC
Adaptive Stochastic Optimisation of Nonconvex Composite Objectives
Technische Universität Berlin（柏林工业大学）；GT-ARC Gemeinnützige GmbH（GT-ARC公益有限责任公司）
本文提出并分析了一类广义随机复合镜像下降算法。与自适应步长，所提出的算法收敛，而不需要先验知识的问题。结合熵类更新生成函数，这些算法在具有最大范数的空间中执行梯度下降，这使我们能够利用高维问题的决策集的低维结构。与基于Rademacher分布和方差缩减技术的采样方法一起，所提出的算法保证了零阶优化问题的对数复杂度对维数的依赖。
2022-11-21 cs.LG math.OC
Distributed Submodular Minimization via Block-Wise Updates and Communications
Alma Mater Studiorum Università di Bologna（博洛尼亚大学）
在本文中，我们处理网络的计算代理与本地处理和相邻的通信能力，旨在解决（没有任何中央单元）的子模块最优化问题。费用函数是许多局部次模函数的和，并且网络中的每个代理仅可以访问和中的一个函数。在这种\emph{distributed}设置中，为了保护自己的隐私，代理与邻居通信，但不共享其本地费用函数。我们提出了一种分布式算法，在该算法中，代理诉诸Lovàsz扩展其本地次模函数和执行本地更新和通信的整个优化变量的单块。通过贪婪算法执行更新，该算法仅运行到计算出所选块为止，从而导致计算负担减少。所提出的算法收敛于期望值的最优成本的问题，和一个近似解的子模块化问题的阈值操作检索。作为一个应用程序，我们考虑分布式图像分割问题，其中每个代理只能访问整个图像的一部分。虽然代理不能分割整个图像本身，他们正确地完成任务，通过合作，通过提出的分布式算法。
2020-05-25 cs.LG math.CO math.OC
Asynchronous parallel primal-dual block coordinate update methods for affinely constrained convex programs
近几年来，由于许多现代应用中涉及的超大数据以及多核机器和计算机集群的发展，异步（异步）并行计算方法激增。在优化问题中，大多数关于并行算法的工作都是针对无约束问题或具有块可分约束的问题。本文提出了一种基于块坐标更新（BCU）的求解具有不可分线性约束的凸问题的并行算法。该方法在单节点上运行，成为一种新的具有自适应步长的随机原始-对偶BCU算法。对于这些问题，Gauss-Seidel循环原始-对偶BCU需要强凸性才具有收敛性。相反，仅假设凸性，我们表明，所提出的算法产生的目标值序列的概率收敛到最优值和约束残差为零。此外，我们建立了遍历$O(1/k)$收敛结果，其中$k$是迭代次数。数值实验表明，该方法的有效性和显着优于同步并行的性能。
2019-10-15 cs.DC cs.NA math.NA
Perturbed Proximal Gradient ADMM for Nonconvex Composite Optimization
PPG-ADMM通过引入扰动机制解决非凸复合优化问题，实现子线性收敛并提供更强的最优性保证。
2026-01-05 math.OC
A random coordinate descent algorithm for optimization problems with composite objective function and linear coupled constraints
本文提出了一种随机坐标下降法的变形，用于求解具有复合目标函数的线性约束凸优化问题。如果目标函数的光滑部分具有Lipschitz连续梯度，则我们证明了我们的方法在${\cal O}(N^2/ε)$迭代中获得$ε$ -最优解，其中$N$是块的数目。对于廉价的坐标导数的问题，我们表明，新的方法是基于全梯度信息的方法更快。文中还对收敛速度作了概率上的收敛速率分析。对于强凸函数，我们的方法线性收敛。大量的数值试验证实，在非常大的问题，我们的方法是更有效的数值比基于全梯度信息的方法。
2013-02-13 math.OC
A Scalable Frank-Wolfe based Augmented Lagrangian Method for Linearly Constrained Composite Convex Programming
本文研究了大规模线性约束复合凸优化问题，其目标函数为一个光滑函数和一个可能非光滑函数之和。我们提出了一个可扩展的\textbf{F}秩- \textbf{W} olfe基于\textbf{A}的增广\textbf{L}拉格朗日（FW-AL）方法来解决这个问题。在每一次迭代中，所提出的FW-AL方法采用FW方法（或其变体）在预先选定的公差内近似求解AL子问题{（具有固定的拉格朗日乘子）}，然后更新拉格朗日乘子。所提出的FW-AL方法非常适合于解决大规模问题，因为其每步的计算成本（基本上）与输入的大小呈线性关系。我们分析了所提出的FW-AL方法的非遍历收敛速度。
2015-10-12 math.OC
Adjoint-based SQP Method with Block-wise quasi-Newton Jacobian Updates for Nonlinear Optimal Control
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；University of California, Berkeley（加州大学伯克利分校）
本文提出了一种基于块状结构的两面一阶准牛顿更新公式改进的伴随法SQP算法，用于非线性模型预测控制中的非凸优化问题求解，并通过两个仿真案例展示了该算法的收敛性和计算性能。
2019-03-20 cs.SY eess.SY math.OC
Compressed Decentralized Proximal Stochastic Gradient Method for Nonconvex Composite Problems with Heterogeneous Data
首先，我们提出了一个分散的近端随机梯度跟踪方法（DProxSGT）的非凸随机复合问题，数据异构分布在多个工人在一个分散的连接网络。为了节省通信成本，我们扩展DProxSGT的压缩方法，通过压缩通信信息。这两种方法都只需要每个工人的$\mathcal{O}(1)$样本来进行每次邻近更新，这对于在训练深度神经网络时实现良好的泛化性能非常重要。通过对期望损失函数（但不是对每个样本函数）的平滑条件，所提出的方法可以实现最佳样本复杂度结果以产生近平稳点。训练神经网络的数值实验表明，我们的方法比大批量训练方法和动量方差减少方法具有更好的泛化性能，并且通过梯度跟踪方案处理异构数据的能力。
2023-02-28 math.OC
An adaptive superfast inexact proximal augmented Lagrangian method for smooth nonconvex composite optimization problems
提出了一种求解线性约束光滑非凸复合最优化问题的自适应超快近似增广拉格朗日（AS-PAL）方法。AS-PAL的每次迭代不精确地解决了一个可能的非凸近端增广拉格朗日（AL）子问题获得的一个积极的/自适应的选择接近步长的目的是大大提高其计算性能，其次是一个完整的拉格朗日乘子更新。与其他AL方法相比，AS-PAL的主要优点是它不需要参数的知识（例如，约束矩阵的大小，目标函数曲率等）与最优化问题相关联，由于其自适应性质，不仅在选择接近步长，而且在使用一个关键的自适应加速复合梯度变量来解决接近AL子问题。AS-PAL的速度和效率通过大量的计算实验证明，它可以解决许多情况下超过十倍的速度比其他国家的最先进的惩罚和AL方法，特别是当需要高精度。
2022-10-05 math.OC
