Using Subproblem Objective Gaps in Inexact Augmented Lagrangian and ADMM Algorithms, with Applications to Stochastic Mixed Integer Programming
Rutgers University(罗格斯大学)
研究随机混合整数规划问题,利用“部分强凸性”引理,在不精确增广拉格朗日和交替方向乘子法中用子问题目标间隙计算拉格朗日界,改进求解子问题准则,收敛分析更简单,且弗兰克 - 沃尔夫变体选择更自由。
2026-08-24 math.OC
SuperADMM: Solving Quadratic Programs Faster with Dynamic Weighting ADMM
本研究提出加速ADMM算法superADMM,通过单约束动态加权迭代更新求解二次规划,配套稳定性分析与参数调优方法,C语言实现支持多语言调用,性能优于现有主流求解器。
2025-06-13 math.OC
Extended ADMM and BCD for Nonseparable Convex Minimization Models with Quadratic Coupling Terms: Convergence Analysis and Insights
本文对具有二次耦合项的不可分极小化模型建立了乘子的近似交替方向法(ADMM)和块坐标下降法(BCD)的收敛性.本文提出的新的收敛结果回答了几个开放的问题,一直是相当多的讨论的主题。我们首先扩展2块近端ADMM线性约束的凸优化与耦合二次目标函数,理论上的理解是目前缺乏的一个领域,并证明了由近端ADMM产生的序列逐点收敛到一个原始-对偶解决方案对。将随机置换ADMM(RPADMM)应用于不可分多块凸优化,并证明了其对一类不可分二次规划问题的期望收敛性。当线性约束消失时,2-块邻近ADMM和RPADMM退化为2-块循环邻近BCD方法和随机排列BCD(RPBCD)。我们的研究提供了第一个2-块循环邻近BCD的收敛结果,而不假设迭代的有界性。我们还从理论上建立了凸二次优化的多块RPBCD的期望收敛性结果。此外,我们证明了RPBCD可能有一个更差的收敛速度比循环接近BCD 2块凸二次极小化问题。虽然RPADMM和RPBCD的结果仅限于二次极小化模型,但它们提供了一些有趣的见解:1)随机置换使ADMM和BCD对多块凸极小化问题更具鲁棒性; 2)循环BCD对“好”问题的性能可能优于RPBCD,因此RPBCD在求解一般凸优化问题时应谨慎应用。
2017-03-15 math.OC
Global Complexity Bound of a Proximal ADMM for Linearly-Constrained Nonseperable Nonconvex Composite Programming
提出并分析了求解线性约束非凸最优化问题的阻尼邻近交替方向法(DP.ADMM),其中目标函数的光滑部分不可分. DP.ADMM的每次迭代包括:(i)部分邻近增广拉格朗日(AL)更新的序列,(ii)欠松弛拉格朗日乘子更新,以及(iii)检查AL函数的罚参数是否应该更新的新测试。在基本Slater条件下,对阻尼因子和欠松弛因子有一定的要求,证明了对于给定的数值公差$\varepsilon>0$,DP.ADMM在${\cal O}(\varepsilon^{-3})$迭代中获得了约束问题的一阶稳定点.本文的主要创新之一是,该方法的收敛性,而不需要任何秩的约束矩阵的假设。
2023-01-03 math.OC
An over-relaxed ADMM for separable convex programming and its applications to statistical learning
本文提出一种带松弛步准则的过松弛ADMM,证明了其全局收敛性和O(1/t)收敛率,并在Lasso和稀疏逆协方差选择问题上验证了其显著优于经典和松弛定制ADMM的性能。
2024-01-09 math.OC
Exploiting Sparsity in the Coefficient Matching Conditions in Sum-of-Squares Programming using ADMM
本文提出了一种基于乘子交替方向法的一阶算法来求解由平方和规划引起的半定规划问题。我们利用的稀疏性的\emph{coefficient matching conditions} SOS程序时,制定在通常的单项基础,以减少计算成本的ADMM算法。我们的算法的每一次迭代需要一个投影到半正定锥和多个二次规划的封闭形式的解决方案的任何矩阵求逆的解决方案。我们的技术在开源MATLAB求解器SOSADMM中实现。SOS问题所产生的无约束多项式最小化和多项式系统的李雅普诺夫稳定性分析的数值实验显示速度相比,边界点求解器SeDuMi,和一阶求解器CDCS。
2017-05-18 math.OC
Consensus-ADMM for General Quadratically Constrained Quadratic Programming
非凸二次约束二次规划(QCQP)问题在信号处理、机器学习和无线通信中有着广泛的应用,尽管一般的QCQP是NP难的,并且一些有趣的特殊情况也是NP难的。本文提出了一种新的通用QCQP算法。该问题首先被重新表述为共识优化形式,其中的交替方向法的乘法器(ADMM)可以应用。重新制定是这样一种方式,每个子问题是一个QCQP只有一个约束(QCQP-1),这是有效地解决(非)凸性无关。核心组件经过精心设计,使整个算法更具可扩展性,包括求解QCQP-1的有效方法,内存高效实现,并行/分布式实现和智能初始化。该算法,然后在两个应用程序中进行测试:多播波束形成和相位检索。结果表明优于现有技术的方法的性能。
2016-07-07 math.OC
Linear Convergence Rate Analysis of Proximal Generalized ADMM for Convex Composite Programming
近似广义乘子交替方向法(p-GADMM)对于求解高维到中等精度的凸复合规划问题是非常有效的。这种方法的整体收敛已由Xiao,Chen & Li [Math. Program.计算:2018],但没有给出其收敛速度。人们可能想当然地认为,通过模仿近似ADMM可以很容易地证明收敛速度,但我们发现松弛点肯定会给理论分析带来许多困难。本文研究了它的收敛性,证明了p-GADMM产生的序列在一定条件下具有Q-线性收敛速率.我们要注意的是,子问题的邻近项必须是正定的,这在大多数实际实现中是非常常见的,尽管它似乎有点强。
2022-08-18 math.OC
On the Equivalence of Inexact Proximal ALM and ADMM for a Class of Convex Composite Programming
本文证明了对于一类线性约束凸复合最优化问题,基于(不精确)对称Gauss-Seidel的优化多块近似交替方向法(ADMM)等价于{ \em不精确}近似增广拉格朗日方法(ALM).这种等价性不仅为理解某些ADMM类算法提供了新的视角,而且为实现它们以获得更好的计算效率提供了有意义的指导。即使对于两个块的情况下,这种等价的副产品是由经典的ADMM产生的整个序列的收敛,其步长超过了$(1+\sqrt{5})/2$的常规上界,如果目标的一部分是线性的。这正是问题的设置,其中第一次收敛分析的ADMM进行了Gabay和Mercier在1976年,但即使在明显更强的假设,只有收敛的原始序列是已知的。一组说明性的例子来证明我们的结果可以用于应用的广度。通过求解大量线性和凸二次半定规划问题的数值实验,说明了本文所建立的理论结果对相应的实际实现的改进.
2019-01-28 math.OC
Last-iterate Convergence of ADMM on Multi-affine Quadratic Equality Constrained Problem
Technical University of Munich(慕尼黑工业大学)
本文研究了ADMM在多仿射二次等式约束问题中的收敛性,证明了在特定条件下ADMM具有线性收敛率,并通过机器人运动中的实例验证了理论结果。
2026-03-12 math.OC
Linear Rate Convergence of the Alternating Direction Method of Multipliers for Convex Composite Quadratic and Semi-Definite Programming
对求解线性约束凸组合最优化问题的乘子交替方向法的线性速度收敛性进行了全面的分析.在一定的误差界条件下,我们建立了一个更一般的半邻近ADMM的全局线性收敛速率,其对偶步长被限制在开区间$(0, (1+\sqrt{5})/2)$内。在我们的分析中,我们既不假设强凸性,也不假设严格互补性,除了一个误差界条件,这对凸复合二次规划自动成立。这种半近似ADMM包含了经典ADMM的优点,不仅解决了经典ADMM中子问题的潜在不可解性问题,而且具有高效处理多块凸优化问题的能力.我们将用凸复合二次规划和二次半定规划作为重要的应用来证明所得结果的意义。利用二阶变分分析中的新颖性,通过二阶充分最优性条件和严格的Robinson约束规格,对非线性凸半定最优化问题的孤立镇定性进行了完整的刻画,证明了半近似ADMM应用于两块和多块凸二次半定规划时的线性速度收敛性.
2015-08-10 math.OC
Local Linear Convergence of the Alternating Direction Method of Multipliers for Semidefinite Programming under Strict Complementarity
Harvard University(哈佛大学);University of Houston(休斯顿大学)
本文研究了交替方向乘子法在半正定规划中的局部线性收敛性,证明在严格互补性条件下,ADMM可实现局部线性收敛,且通过实验验证了其在多种SDP实例中的有效性。
2026-11-13 math.OC
On the Linear Convergence Rate of Generalized ADMM for Convex Composite Programming
近年来,Eckstein \& Bertsekas [Math.Prog.,1992]在分析其理论收敛性方面引起了广泛的关注。本文致力于建立求解线性约束凸组合最优化问题的半近似GADMM(sPGADMM)的线性收敛速率。每个子问题所包含的半邻近项具有有效处理多块问题的能力。首先给出了sPGADMM产生的序列的一些重要不等式,然后在镇定假设下建立了局部线性收敛速率.作为副产品,整体收敛性质也进行了讨论。
2022-06-08 math.OC
Managing Randomization in the Multi-Block Alternating Direction Method of Multipliers for Quadratic Optimization
乘子的交替方向法(ADMM)在求解大规模和目标可分约束优化问题中得到了广泛的关注。然而,ADMM的两块可变结构仍然限制了该方法的实际计算效率,因为即使对于线性和凸二次规划也至少需要一次大的矩阵分解。这个缺点可以通过在原始最优化问题中强制决策变量的多块结构来克服。不幸的是,具有两个以上块的多块ADMM不能保证收敛。另一方面,已经取得了两个积极的发展:第一,如果在每个循环回路中,一个随机置换的多个块的更新顺序,然后该方法收敛于期望求解任何线性方程组与任何数量的块。其次,即使当目标函数不可分时,这种随机排列的ADMM也适用于等式约束的凸二次规划。本文的目的是双重的。首先,我们通过开发随机组装的循环ADMM(RAC-ADMM),其中每个块中的决策变量是随机组装的,增加了更多的随机性到ADMM。我们讨论了RAC-ADMM的理论性质,并显示随机组装时,它会帮助和伤害,并制定了一个标准,以保证它几乎肯定收敛。其次,在RAC-ADMM理论的指导下,我们对随机生成的和大规模的基准二次最优化问题进行了多次数值测试,包括连续的、二进制的图划分和二次分配问题,以及选定的机器学习问题。数值实验表明,采用变量分组策略的RAC-ADMM在求解大多数二次最优化问题时,能显著提高计算效率。
2020-03-23 math.OC
MADAM: A parallel exact solver for Max-Cut based on semidefinite programming and ADMM
我们提出了MADAM,一个并行半定的精确求解器的最大切割,一个问题,找到一个给定的图中的最大重量的削减。该算法采用分支定界范式,以乘子的交替方向法为定界例程,求解由超度量不等式子集加强的基本半定松弛问题。新方法的优点是相对于不等式约束,对偶变量的更新规则的计算开销较小。我们提供的算法的理论收敛性,以及广泛的计算实验,这种方法,表明我们的算法优于目前最先进的方法。此外,通过结合串行算法的算法成分,我们开发了一个高效的分布式并行求解器基于MPI。
2021-04-23 math.OC
A Semismooth Newton Method for Fast, Generic Convex Programming
我们介绍了Newton-ADMM,一种快速锥优化方法。其基本思想是将乘子的交替方向法(ADMM)产生的连续迭代的残差看作一组不动点方程,然后使用非光滑牛顿法求解;我们将其基本思想应用于分裂锥求解器(SCS),这是一种解决一般圆锥曲线最优化问题的最先进方法。我们从理论上证明,通过扩展半光滑算子的理论,牛顿ADMM收敛迅速(即,二次)的解决方案;经验上,牛顿ADMM是显着快于SCS的一些问题。该方法也基本上没有调整参数,在适当的时候生成原始或对偶不可行性的证书,并且可以专门用于解决特定的凸问题。
2017-06-20 math.OC
A Linearly Convergent Majorized ADMM with Indefinite Proximal Terms for Convex Composite Programming and Its Applications
研究凸组合最优化问题的一种优化的不定邻近项乘子交替方向法(iPADMM).我们发现,优化的iPADMM的2块凸最优化问题的全局收敛的条件下较弱的文献中所使用的,并表现出线性收敛速率下的局部误差界条件。在此基础上,我们建立了一个基于对称Gaussian-Seidel的优化iPADMM的线性速度收敛结果,该算法是针对多块复合凸优化问题而设计的。此外,我们应用优化的iPADMM来解决不同类型的正则化逻辑斯谛回归问题。合成和真实数据集上的数值结果证明了优化的iPADMM的有效性,也说明了引入的不定邻近项的有效性。
2018-02-07 math.OC
ADMM for Convex Quadratic Programs: Q-Linear Convergence and Infeasibility Detection
本文分析了乘子的交替方向法(ADMM)求解具有线性等式和界约束的凸二次规划问题的收敛性。ADMM公式在等式约束QP和边界上的投影之间交替。在(i)目标投影到等式约束零空间上的Hessian(约化Hessian)的正定性和(ii)线性无关约束规格保持在最优解的假设下,我们得到了每次迭代收敛到解的收敛速率的上界.特别是,我们提供了一个明确的表征的收敛速率方面:(a)的特征值的减少海森,(b)之间的弗里德里希角的余弦的子空间跨越的等式约束和子空间跨越的梯度的组件,是积极的解决方案和(c)的距离不活动的组件的解决方案从边界。使用这种分析,我们表明,如果QP是可行的,迭代收敛在Q-线性速率,并规定ADMM步长参数的最佳设置。对于不可行的QP,我们证明了ADMM中的原始变量收敛于由等式约束定义的超平面和由边界定义的凸集之间的欧几里得距离的最小值。约束的乘数示出发散沿范围空间的等式约束。利用这种特性,我们还提出了ADMM的终止标准。最后通过数值算例对理论进行了实验验证。
2015-10-02 math.OC
A Bregman proximal linearized ADMM for fractional programming with nonlinear coupling constraints
China University of Mining and Technology(中国矿业大学);RMIT University(皇家墨尔本理工大学);Guangxi Minzu University(广西民族大学)
本文针对带非线性耦合约束的非凸分式规划问题,提出Bregman邻近线性化ADMM,证明其收敛性与收敛速率,数值实验验证了算法有效性。
2026-10-09 math.OC
A Low-Rank ADMM Splitting Approach for Semidefinite Programming
提出基于ADMM和矩阵分裂的低秩半定规划求解器LoRADS,通过热启动和动态增秩策略显著提升效率,在超大规模问题上展现优异性能。
2024-07-26 math.OC
Learning context-aware adaptive solvers to accelerate quadratic programming
KAIST(韩国科学技术院)
凸二次规划(QP)是数学优化的一个重要分支。乘子交替方向法是求解二次规划问题的一种成功方法。尽管ADMM在求解各种类型的QP中显示出有希望的结果,但已知其收敛速度高度依赖于步长参数$ρ$。由于没有设置$ρ$的一般规则,因此通常手动或手动调整。在本文中,我们提出了CA-ADMM(上下文感知自适应ADMM)),学习自适应调整$ρ$,以加速ADMM。CA-ADMM提取时空上下文,其捕获QP的原始变量和对偶变量的依赖性以及它们在ADMM迭代期间的时间演化。CA-ADMM基于提取的上下文选择$ρ$。通过大量的数值实验,我们验证了CA-ADMM有效地推广到具有不同大小和类别的看不见的QP问题(即,具有不同的QP参数结构)。此外,我们验证了CA-ADMM可以动态调整$ρ$考虑优化过程的阶段,以进一步加快收敛速度。
2022-11-22 cs.AI math.OC
A Learning-Based Inexact ADMM for Solving Quadratic Programs
School of Mathematics and Statistics, Nanjing University of Information Science and Technology(南京信息工程大学数学与统计学院)
本文提出用参数高效LSTM学习近似子问题解的神经加速非精确ADMM,证明其原对偶收敛性,并在QP求解中取得更高精度及相对Gurobi、SCS、OSQP最高7倍、28倍、22倍加速。
2026-11-03 math.OC
Towards Scalable Semidefinite Programming: Optimal Metric ADMM with A Worst-case Performance Guarantee
本文提出一种非欧几里得度量空间下的最优ADMM算法,通过可变度量捕获病态结构,实现半定规划的可扩展加速,并在QCQP问题上显著提升性能。
2024-03-18 math.OC
A Convergent 3-Block Semi-Proximal Alternating Direction Method of Multipliers for Conic Programming with $4$-Type of Constraints
本文的目的是设计一个有效的和收敛的交替方向法的乘数(ADMM)的解决方案,中等精度的圆锥规划问题的约束条件包括线性等式,线性不等式,非多面体锥和多面体锥。对于这类问题,可以将直接扩展的ADMM应用于其对偶,其可以写成目标函数中具有四个可分离块和耦合线性方程约束的凸规划的形式。事实上,直接扩展的ADMM,虽然可能在理论上发散,往往表现得更好的数值比它的许多变种理论收敛保证。理想情况下,人们应该找到一个收敛的变种,它至少是一样有效的直接扩展ADMM在实践中。我们实现了这一目标,通过设计一个收敛的半邻近ADMM(称为sPADMM 3c方便)的凸规划问题有三个可分离的块的目标函数的第三部分是线性的。在每次迭代时,所提出的sPADMM 3c采用一个特殊的块坐标下降(BCD)循环,其阶为$1 \rightarrow 3 \rightarrow 2 \rightarrow 3$,而不是在非收敛的直接扩展的$3$ -块ADMM中使用的通常的$1 \rightarrow 2 \rightarrow 3$ Gauss-Seidel BCD循环,用于更新可变块。对一类重要的带线性等式和/或不等式约束的双非负半定规划(SDP)问题的数值试验表明,对于绝大多数约为$550$的大规模问题,我们的收敛方法至少比单位步长的直接扩展ADMM快$20%$.
2014-12-01 math.OC
Optimal parameter selection for the alternating direction method of multipliers (ADMM): quadratic problems
乘子的交替方向法(ADMM)已成为一种强大的技术,用于大规模结构优化。尽管ADMM的收敛性能的许多最近的结果,算法参数的收敛时间的方法的影响的定量表征仍然缺乏。在本文中,我们找到了最佳的算法参数,最小化的ADMM迭代的收敛因子的上下文中的l2-正则化的最小化和约束二次规划。数值例子表明,我们的参数选择规则显着优于现有的替代品在文献中。
2014-04-12 math.DS math.OC
An Efficient Inexact Symmetric Gauss-Seidel Based Majorized ADMM for High-Dimensional Convex Composite Conic Programming
本文提出了一种求解一类高维凸复合锥最优化问题的不精确多块ADMM型一阶方法。该方法的设计结合了一个不精确的2块优化半邻近ADMM和最近的进展不精确对称高斯-赛德尔(SGS)技术解决多块凸复合二次规划,其目标包含一个非光滑项只涉及第一块变量。我们提出的方法的一个显著特点是(sGS-imsPADMM)的一个优点是,它只需要一个周期的不精确sGS方法,而不是一个未知数的周期,以解决所涉及的每个子问题。通过一些简单和可实现的容错准则,可以大大减少求解子问题的成本,并且每个sGS周期的前向扫描中的许多步骤通常可以跳过,这进一步有助于所提出的方法的效率。证明了算法的整体收敛和非遍历意义下的迭代复杂性,并对高维线性和凸二次SDP问题进行了初步的数值实验,这些问题具有大量的线性等式和不等式约束.结果表明,对于绝大多数测试问题,sGS-imsPADMM比直接扩展的多块ADMM快2 ~ 3倍,其积极步长为1.618,是目前求解多块线性和二次SDP问题的一阶方法中的基准,但其收敛性不能保证。
2016-03-17 math.OC
Alternating direction method of multipliers for convex programming: a lift-and-permute scheme
针对线性约束凸规划,提出了一种交替方向法的提升置换算法。它不仅包含了新发展的平衡增广拉格朗日方法及其对偶原变分,而且还包含了近似ADMM和Douglas-Rachford分裂算法。它有助于提出加速算法的最坏情况下的$O(1/k^2)$收敛速度的情况下,要最小化的目标函数是强凸的。
2022-03-30 math.OC
An Alternating Direction Method of Multipliers with the BFGS Update for Structured Convex Quadratic Optimization
乘子交替方向法是求解大范围凸问题的一种有效方法。在每次迭代中,经典的ADMM精确地解决了两个子问题。然而,在许多应用中,获得子问题的精确解是昂贵的或不可能的。为了克服这一困难,在子问题中加入了一些近似项。这类方法通常近似地解决原始子问题,因此需要更多的迭代。这一事实促使我们考虑,一个特殊的近端项可以导致一个更好的结果作为经典的ADMM。在本文中,我们提出了一个近端ADMM的正则化矩阵在近端项是由BFGS更新(或有限内存BFGS)在每次迭代。这些类型的矩阵使用目标函数的二阶信息。在一定的假设条件下证明了该方法的收敛性。数值结果表明,建议的近端ADMM的有效性。
2019-03-06 math.OC
An ADMM algorithm for solving a proximal bound-constrained quadratic program
University of California, Merced(加州大学默塞德分校)
考虑了一个由二次函数给出的近似算子,并给出了一个利用乘子交替方向法(ADMM)的优化算法。该算法是特别有效的,以解决一个集合的邻近运营商共享相同的二次型,或者如果二次规划是一个二进制二次问题的松弛。
2014-12-29 cs.LG math.OC stat.ML
Task Planning for Multiple Item Insertion using ADMM
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出用ADMM求解混合整数非线性规划的任务规划问题,将问题分解为非线性规划和混合整数规划迭代求解,收敛性优于非热启动方法,并在硬件上实现书籍插入书架。
2023-12-20 cs.RO math.OC
Burer-Monteiro ADMM for Large-scale SDPs
我们提出了一个双线性分解的Burer-Monteiro方法,并将其与半定规划乘子算法的标准交替方向法相结合。双线性分解将增广拉格朗日的次数从4次减少到2次,这使得每个子问题都是一个二次规划,因此计算效率很高。我们的方法是能够解决一类大规模的对角约束的SDP。我们证明了我们的ADMM算法全局收敛到一个一阶稳定点,并显示利用负曲率的算法收敛到一个点内的最佳目标值的$O(1-1/r)$。此外,该算法的邻近变体可以解决块对角约束的SDP与整体收敛到一阶稳定点。数值结果表明,无论是我们的ADMM算法和近端变体优于最先进的黎曼流形算法,并可以达到全局最优值经验。
2023-02-08 math.OC
GPU-Accelerated Sequential Quadratic Programming Algorithm for Solving ACOPF
本研究开发了一种基于GPU并行计算的SQP算法,通过ADMM分解ACOPF的二次规划子问题,在较大规模算例中显著缩短了求解时间。
2023-10-19 math.OC
A Distributed Accelerated Preconditioned ADMM for Solving Quadratically Regularized Optimal Transport on Bipartite Graphs
Sun Yat-sen University(中山大学)
针对二部图上二次正则化最优传输问题,提出分布式加速预条件ADMM(DAP-ADMM),实现全局收敛与非遍历O(1/k)界,并通过无求解器投影和自适应惩罚机制加速收敛。
2026-10-08 cs.DC math.OC
An ADMM-Based Interior-Point Method for Large-Scale Linear Programming
提出了一种求解超大型线性规划问题的内点方法。传统的IPM通常使用牛顿法来近似求解子问题,该子问题的目标是在每次迭代时最小化对数障碍罚函数。由于它与牛顿法的联系,IPM通常被归类为二阶方法--一种以牺牲可扩展性为代价的稳定性和准确性。实际上,计算牛顿步长相当于求解大型线性系,如果输入数据大小合理和/或稀疏和/或结构良好,则可以有效地实现该大型线性系。然而,如果上述前提失败,那么传统IPM的挑战仍然存在。为了应对这一挑战,一种方法是应用迭代过程,例如预条件共轭梯度法,来求解线性系。由于每次迭代得到的线性系不同,很难找到好的预条件子来达到整体求解效率。在本文中,提出了一种替代方法。在原对偶路径跟踪的框架下,我们采用乘子的交替方向法(ADMM)来近似最小化每次迭代的对数障碍罚函数,而不是应用牛顿法.该算法是一种基于ADMM的内点方法,本文简称为ABIP。新方法继承了IPM的稳定性和ADMM的可扩展性。由于其自对偶嵌入结构,ABIP被设置为解决任何LP,而不需要关于其可行性的先验知识。我们进行了大量的数值实验测试ABIP与大规模的LP从NETLIB和机器学习应用程序。结果表明,ABIP优于现有的LP求解器,包括SDPT 3,MOSEK,DSDP-CG和SCS。
2020-07-02 math.OC
Optimizing ADMM and Over-Relaxed ADMM Parameters for Linear Quadratic Problems
University of Birmingham(伯明翰大学);Qingdao University(青岛大学);Manchester Metropolitan University(曼彻斯特城市大学);Coventry University(考文垂大学);University of Hong Kong(香港大学);Guangzhou University(广州大学)
本文针对线性二次问题,提出了一种优化ADMM惩罚参数的一般方法和计算最优过松弛参数的闭式公式,并通过多种成像应用验证了其有效性。
2024-01-01 cs.CV math.OC math.SP
An ADMM Algorithm for MPC-based Energy Management in Hybrid Electric Vehicles with Nonlinear Losses
在本文中,我们提出了一个凸配方的模型预测控制(MPC)优化的能量管理的混合动力电动汽车,和一个交替方向法的乘法器(ADMM)算法的解决方案。我们开发了一个新的证明的凸性的问题,允许非线性动力学建模为线性系,然后证明ADMM的性能相比,动态规划(DP)通过仿真。结果表明,高达两个数量级的改善,解决方案的时间可比精度对DP。
2019-01-23 math.OC
Solving Quadratic Programs with Slack Variables via ADMM without Increasing the Problem Size
Toyota Research Institute(丰田研究院);Barnard College, Columbia University(哥伦比亚大学巴纳德学院);Dartmouth College(达特茅斯学院)
本文提出一种简单的ADMM方法,用于求解带松弛变量的二次规划问题,不增加原始问题规模,通过调整z更新的投影实现,证明其等价于应用ADMM到带有松弛变量的QP,实验显示方法更高效。
2026-07-21 cs.SY eess.SY math.OC
Distributed Optimal Gas-Power Flow Using Convex Optimization and ADMM
提出了一种基于凸优化的分布式算法来求解能量耦合配电系统多时段最优气电潮流。在配气系统侧,非凸Weymouth气体流动方程被转化为二次约束。最优气体流量(OGF)子问题的求解采用迭代二阶锥规划方法,其效率比传统的非线性方法高两个数量级。提出了一种基于凸二次规划的起爆方案,该方案有助于找到高质量的起爆点。在配电系统侧,对非凸支路潮流方程进行凸松弛,最优潮流(OPF)子问题转化为二阶锥规划。径向拓扑保证了紧密性。在分布式算法中,OGF和OPF独立求解,并通过交替方向乘子法(ADMM)协调。数值结果证实了显着增强的计算鲁棒性和效率相比,现有的集中式OGPF方法。
2016-10-15 math.OC
Convergence Analysis of Generalized ADMM with Majorization for Linearly Constrained Composite Convex Optimization
本文将Xiao等[{ \tt Math. Prog.计算:2018}]针对两块线性约束复合凸规划问题,其中每个块都是“非光滑+二次”形式.然而,在非二次(但光滑)的情况下,这种方法可能会失败,除非不再使用“非光滑+光滑”的有利结构。本文旨在弥补这一缺陷,采用优化技术来逼近增广拉格朗日函数,从而将相应的子问题分解为若干个小问题,然后分别求解。此外,最近的对称高斯-赛德尔(SGS)分解定理保证了更大的子问题和这些较小的之间的等价性。本文着重于收敛性分析,即,我们证明所提出的方法产生的序列全局收敛到Karush-Kuhn-Tucker点所考虑的问题。最后,通过对一类模拟凸组合最优化问题的数值实验,验证了该方法的有效性。
2022-04-04 math.OC
On the convergence properties of a majorized ADMM for linearly constrained convex optimization problems with coupled objective functions
本文研究了目标函数为耦合函数的线性约束凸优化问题的优化交替方向乘子法(ADMM)的收敛性.我们的收敛性分析依赖于广义中值定理,由于耦合目标函数的存在,该定理在正确控制交叉项方面起着重要作用。我们的结果特别表明,直接应用2-块ADMM与一个大的步长的线性约束凸优化问题与二次耦合目标函数是收敛的温和条件。我们还提供了几个迭代算法的复杂性结果。
2015-01-31 math.OC
Efficient differentiable quadratic programming layers: an ADMM approach
University of Toronto(多伦多大学)
神经网络架构的最新进展允许将凸优化问题无缝集成为端到端可训练神经网络中的可微层。然而,将中型和大型二次规划集成到深度神经网络架构中是具有挑战性的,因为通过边界点方法精确求解二次规划在变量数量方面具有最坏情况的立方复杂度。在本文中,我们提出了一种替代的网络层架构的基础上的交替方向法的乘法器(ADMM),是能够扩展到一个适度大量的变量的问题。后向微分是通过隐式微分修正定点迭代的残差映射来实现的。仿真结果表明ADMM层的计算优势,这对于中等规模的问题是大约一个数量级的速度比OptNet二次规划层。此外,我们的新的向后通过例程是有效的,从内存和计算的角度来看,在比较的基础上展开的分化或隐式分化的KKT最优性条件的标准方法。最后,我们从投资组合优化的集成预测和优化范例的例子。
2021-12-14 cs.AI cs.LG math.OC
Scalable Preconditioning of Block-Structured Linear Algebra Systems using ADMM
本文研究了块结构线性代数系统的迭代解法。这些系统是参数估计、最优控制、网络优化和随机规划等许多问题的核心计算瓶颈。我们的方法使用的Krylov求解器(GMRES),是预处理的交替方法的乘数(ADMM)。我们发现,这种ADMM-GMRES方法克服了著名的舒尔互补分解的问题,表现出高度的耦合的可扩展性问题。使用随机最优潮流问题中出现的线性系,包含多达200万个总变量和4,000个耦合变量,证明了该方法的有效性。我们发现ADMM-GMRES比Schur补分解快了近数量级。此外,我们证明了该方法是强大的增广拉格朗日罚参数的选择,这是一个关键的优势,直接使用ADMM。
2019-04-24 math.OC
An ADMM-Based Approach to Quadratically-Regularized Distributed Optimal Transport on Graphs
本文提出一种基于ADMM的分布式算法,用于在有向强连通图上求解带二次正则化的最优传输问题,并证明其在有无正则化情况下均收敛,实验验证了正则化对收敛性和稀疏性的影响及算法对拓扑变化的鲁棒性。
2025-07-06 cs.NA math.NA math.OC
A Generalized Alternating Direction Method of Multipliers with Semi-Proximal Terms for Convex Composite Conic Programming
本文提出了一种带半邻近项的广义乘子交替方向法(ADMM),用于求解一类凸复合锥最优化问题,其中有些问题是高维的,具有中等精度.我们的主要动机是,这种方法,加上适当选择的半邻近项,如最近的对称高斯-赛德尔技术的进步所产生的,是适用于解决这些问题。此外,所提出的方法,放松原始和对偶变量在一个自然的方式与一个松弛因子的间隔$(0,2)$,有可能提高经典的ADMM的性能。对各种双非负半定规划问题,无论有无不等式约束,进行了广泛的数值实验。结果表明,所有这些多块问题都可以逐次求解,且松弛步长的优势是明显的。
2018-01-16 math.OC
Local Second-Order Limit Dynamics of the Alternating Direction Method of Multipliers for Semidefinite Programming
School of Engineering and Applied Sciences, Harvard University(哈佛大学生物工程与应用科学学院)
本文提出了一种局部二次极限动力学框架,用于分析ADMM在半正定规划中的收敛行为,揭示了ADMM在缓慢收敛区域中的动态特性及影响因素。
2026-03-03 math.OC
Distributed Primal Outer Approximation Algorithm for Sparse Convex Programming with Separable Structures
提出了一种分布式原始外近似算法(DiPOA),用于求解具有可分离结构的稀疏凸规划(SCP)问题。DiPOA算法的开发包括将最近提出的松弛混合乘子交替方向法(RH-ADMM)算法嵌入到外近似(OA)算法中。我们还提出了两个主要的改进,以控制质量和切割平面的数量,近似非线性函数。特别地,RH-ADMM算法充当DiPOA算法内部的分布式数值引擎。DiPOA利用现代处理器的多核架构来加速优化算法。提出的分布式算法从应用方面使SCP在学习和控制问题中的解决方案具有实用性。本文最后对分布式稀疏逻辑斯谛回归和二次约束最优化问题的DiPOA算法进行了性能分析。最后,本文的结论与国家的最先进的优化求解器的数值比较。
2022-10-13 math.OC
A Majorized-Generalized Alternating Direction Method of Multipliers for Convex Composite Programming
目标函数包含两个块且每个块为非光滑+光滑形式的线性约束凸组合规划问题在许多应用领域中经常出现。如果两个光滑项都是二次项,则利用基于对称高斯-赛德尔(sGS)技术的乘子邻近交替方向法(ADMM)可以有效地解决该问题。然而,在非二次情形下,SGS技术不能再使用,这导致非光滑+光滑的可分离结构不得不被忽略。在本文中,我们提出了一个广义ADMM,特别是使用优化技术,使相应的子问题更适合于有效的计算。在适当的条件下,证明了$(0,2)$中松弛因子的整体收敛.应用该算法求解了一类模拟凸复合最优化问题和一类稀疏协方差阵逆估计问题,结果表明该算法的有效性是明显的。
2021-11-24 math.OC
Centering ADMM for the Semidefinite Relaxation of the QAP
提出Centering ADMM方法求解QAP的半定松弛,结合内点法中心化步骤与标准ADMM,证明其全局收敛性且数值实验验证了对部分实例的有效性。
2020-04-24 math.OC
A corrected semi-proximal ADMM for multi-block convex optimization and its application to DNN-SDPs
本文提出了一种修正的半近似乘子交替方向法(alternating direction method of multiplers,ADMM),用于求解一般的线性约束$p$ -块$(p\!\ge 3)$凸优化问题,旨在解决几乎所有现有的直接扩展ADMM的修正版本,虽然有收敛保证,但性能往往比没有收敛保证的直接扩展ADMM本身差得多的困境.具体地说,在每次迭代中,我们使用步长至少为$1$的多块半邻近ADMM作为预测步长,生成一个好的预测点,然后对预测点的中间$(p\!-\!2)$块进行尽可能小的校正。其中,多块半邻近ADMM的步长由当前半邻近ADMM步骤对于上一个校正步骤产生的步骤的不可行性比率自适应地确定。对于所提出的修正半近似ADMM,我们在一个温和的假设下建立了全局收敛性结果,并将其应用于一类重要的具有多个线性等式和/或不等式约束的双非负半定规划(DNN-SDP)问题.我们广泛的数值试验表明,修正的半近端ADMM优于直接扩展ADMM与步长$τ=1.618$和多块ADMM与高斯回代\cite{HTY12,HY13}。它在与直接扩展ADMM相当的计算时间内,对$70\%$测试实例所需迭代次数最少,对约1000个$40\%$测试问题,其迭代次数仅为多块高斯回代ADMM的迭代次数之和$67\%$.
2015-02-11 math.OC
GMRES-Accelerated ADMM for Quadratic Objectives
Massachusetts Institute of Technology(麻省理工学院)
本文研究了在强凸二次目标的等式约束问题中,利用GMRES加速ADMM方法以提高收敛速度,证明该方法在迭代次数上具有更优的性能。
2018-08-28 cs.NA math.NA math.OC
Fast Solution Methods for Convex Quadratic Optimization of Fractional Differential Equations
本文提出了一种求解凸二次分数阶微分方程(FDE)约束最优化问题的数值方法,该问题的状态和/或控制变量具有箱形约束。我们开发了一个交替方向法的乘数(ADMM)框架,它使用预处理Krylov子空间求解器所产生的子问题。后者使我们能够解决一系列的偏微分方程(PDE)的最优化问题的框约束,提出了空间-时间域,这是以前的国家的最先进的预处理器的范围。特别是,通过利用强大的广义局部Toeplitz(GLT)序列理论,我们表明,任何现有的GLT结构中存在的问题矩阵被ADMM保存,我们提出了一些预处理的方法,可以在求解器中使用,以证明该方法的一般性。着眼于凸二次规划与时间相关的2维FDE约束,我们推导出多级循环预条件,这可能是嵌入Krylov子空间方法,解决ADMM子问题。FDE的离散化版本涉及大型稠密线性系统。为了克服这一困难,我们设计了一种基于快速傅立叶变换(FFT)的递归线性代数。我们设法保持存储要求线性,相对于网格大小$N$,同时确保Krylov求解器每次迭代的顺序$N \log N$计算复杂性。我们实现了所提出的方法,并证明其可扩展性,通用性和效率,通过一系列的实验在不同的设置FDE最优化问题。
2020-10-06 math.OC
Warm-IP: A Path-Following ADMM Warm Start for Interior-Point Quadratic Programming
Memorial Sloan Kettering Cancer Center(纪念斯隆-凯特琳癌症中心);The University of Edinburgh(爱丁堡大学)
Warm-IP是结合ADMM路径追踪变体与原始-对偶IP方法的混合框架,在含60例肺癌的大规模放疗QP基准上,其求解速度与稳定性均显著优于MOSEK、Gurobi等现有求解器。
2026-10-12 math.OC physics.med-ph
Decentralized non-convex optimization via bi-level SQP and ADMM
Institute of Control Systems, Hamburg University of Technology(汉堡工业大学控制系统研究所);logarithmo GmbH & Co. KG(logarithmo有限公司)
针对分布式非凸优化,提出双层SQP方法,内层用ADMM求解二次问题,具有局部收敛保证,仅需解二次规划,在最优潮流问题上表现优异。
2025-10-17 cs.SY eess.SY math.OC
ADMM for Efficient Deep Learning with Global Convergence
George Mason University(乔治梅森大学)
乘法器的交替方向法(ADMM)已成功用于许多传统的机器学习应用中,并被认为是随机梯度下降(SGD)作为深度学习优化器的有用替代方案。然而,作为一个新兴的领域,仍然存在一些挑战,包括1)缺乏整体收敛保证,2)向解决方案的缓慢收敛,以及3)关于特征维度的立方时间复杂度。在本文中,我们提出了一种新的通过ADMM(dlADMM)进行深度学习的优化框架,以同时解决这些挑战。每层中的参数被向后更新,然后向前更新,使得每层中的参数信息被有效地交换。时间复杂度从三次降低到二次(潜在)特征维度通过一个专用的算法设计的子问题,提高他们利用迭代二次近似和回溯。最后,我们提供了第一个证明整体收敛的ADMM为基础的方法(dlADMM)在深度神经网络问题在温和的条件下。基准数据集上的实验表明,我们提出的dlADMM算法优于大多数的比较方法。
2021-07-06 cs.LG math.OC