Enhanced Sparsity by Non-Separable Regularization
本文提出了一种稀疏一维反褶积的凸方法，改进了L1范数正则化，标准的凸方法。为此，我们提出了一个稀疏诱导的不可分离非凸二元罚函数。它的目的是使凸制定病态线性反问题的二次数据保真度条款。新的惩罚克服了可分离正则化的局限性。我们展示了如何设置罚参数，以确保目标函数是凸的，并提供了一个明确的条件来验证预期的解决方案的最优性。我们提出了一个算法（前向后分裂的一个实例）稀疏反卷积使用新的惩罚。
2015-11-02 math.OC
A parameterized proximal point algorithm for separable convex optimization
本文提出了求解一类线性和凸约束可分凸规划问题的参数化邻近点法（P-PPA）。该算法是全局收敛的，最坏情况下的收敛速度为O（1/t）收敛速度，其中t表示迭代次数.通过合理选择算法参数，对一个由统计学习引起的稀疏最优化问题的数值实验表明，该算法的性能明显优于其他最先进的方法，如交替方向法和松弛邻近点法.
2018-12-10 math.OC
Graver basis and proximity techniques for block-structured separable convex integer minimization problems
考虑N重4块可分解整数规划，它同时推广了N重整数规划和N种情形的两阶段随机整数规划。在以前的工作[R。Hemmecke，M.克普河Weismartel，N重4块可分解整数规划优化的多项式时间算法，Proc. IPCO 2010，计算机科学讲义，第6080卷，Springer，2010，pp. 219- 229]，证明了对于固定的块但变量N，这些整数规划对于任何线性目标都是多项式时间可解的。我们将这一结果推广到可分凸目标函数的极小化问题。我们的算法结合了Graver基技术与邻近结果[D.S. Hochbaum和J.G. Shanthikumar，凸可分离优化不比线性最优化难多少，J. ACM 37（1990），843- 862]，它允许我们使用凸连续优化作为子程序。
2012-07-05 math.OC
Two-step Fixed-point proximity algorithms for multi-block separable convex problems
多块可分凸问题近年来受到了广泛的关注。这类最优化问题最小化具有线性约束的可分凸目标函数。算法的挑战来自于这样一个事实，即经典的交替方向法的乘法器（ADMM）的问题是不一定收敛。然而，据观察，ADMM在数值上优于它的许多变种，保证理论收敛。本文的目标是发展收敛和计算效率高的算法来解决多块可分凸问题。首先，我们利用目标函数中凸函数的邻近算子刻画了最优化问题的解。然后，我们设计了一个两步的不动点迭代计划解决这些问题的基础上的特征。进一步证明了迭代格式的收敛性，并证明了它在遍历意义和部分原始-对偶间隙意义下具有O（1/k）的收敛速度，其中k表示迭代次数.此外，我们推导出具体的两步不动点邻近算法（2SFPPA）从建议的迭代计划，并建立其整体收敛。数值实验表明，解决稀疏MRI问题的数值效率建议2SFPPA。
2016-08-17 math.OC
Fast Inexact Decomposition Algorithms For Large-Scale Separable Convex Optimization
本文提出了一种新的求解可分凸优化问题的不精确对偶分解算法。该算法结合了对偶拉格朗日分解、平滑和过度间隔三种技术。该算法在每次迭代中只需要一个原始步骤和两个对偶步骤，并允许不精确地并行求解每个分量的子问题。此外，算法参数自动更新，没有任何调整策略，在增广拉格朗日方法。我们分析了算法的收敛性，并估计了其$O(\frac{1}{\varepsilon})$最坏情况的复杂度。数值算例验证了理论结果。
2013-02-07 math.OC
Extensions of ADMM for Separable Convex Optimization Problems with Linear Equality or Inequality Constraints
由Glowinski和Marrocco提出的乘子的交替方向法（ADMM）是求解线性等式约束的两块可分凸优化问题的一个基准算法。它已经从各种角度进行了修改，指定和概括，以解决更具体或更复杂的应用问题。尽管它的通用性和惊人的普及，它仍然是未知的ADMM是否可以扩展到可分离的凸优化问题的线性不等式约束的约束。本文为如何将ADMM推广到两块和多块（两块以上）可分凸优化问题和线性不等式约束奠定了基础。从高层次和方法的角度来看，我们提出了一个统一的框架，算法设计和路线图的收敛性分析的背景下，变分不等式，基于它是可能的设计一系列具体的ADMM为基础的算法，可证明收敛的预测-校正结构。所提出的算法框架和收敛性分析路线图适用于各种具有不同可分性的凸优化问题，其中既可以包含线性等式约束，也可以包含线性不等式约束.分析是全面的，但可以提出初等数学，因此一般可以理解。
2021-07-14 math.OC
On construction of splitting contraction algorithms in a prediction-correction framework for separable convex optimization
在过去的十年中，我们在乘子的交替方向法的基础上，发展了一系列求解可分凸优化问题的分裂收缩算法。这些算法的收敛性进行了研究，在特定的模型定制的条件下，而这些条件可以在概念上抽象为两个通用的条件时，这些算法都统一为一个预测-校正框架。在本文中，反过来，我们展示了一个建设性的方式来指定通用的收敛保证条件，通过它可以自动生成新的分裂收缩算法。通过指定预测-校正框架，可以设计出更适合应用的分裂收缩算法，同时证明它们的收敛性是一个例程。
2022-04-25 math.OC
Inexact indefinite proximal ADMMs for 2-block separable convex programs and applications to 4-block DNNSDPs
本文研究了带线性约束的两块可分凸极小化问题，对于这类问题，用乘子的交替方向法（ADMM）求其子问题的精确解是不可能的或代价太高.这类结构化凸极小化问题通常出现在具有线性约束的三块或四块可分凸优化问题的两块重组求解中，或者出现在图像处理中的约束全变差超分辨率图像重建问题中。针对这些问题，我们提出了一种步长为$τ\in\!(0,\frac{\sqrt{5}+1}{2})$的非精确不确定邻近ADMM，并利用两个易于实现的不精确准则来控制子问题的解的精度，在不确定邻近项的温和假设下证明了算法的收敛性.我们将所提出的不精确不定近似ADMM应用于具有线性约束的三块或四块可分凸极小化问题，这些问题来自于一类重要的具有多个线性等式和/或不等式约束的双非负半定规划（DNNSDP）问题的对偶.数值结果表明，基于绝对误差准则的非精确不定邻近ADMM算法无论在迭代次数还是计算时间上，都与不保证收敛的步长为$τ=1.618$的直接扩展多块ADMM算法具有相当的性能.
2015-07-29 math.OC
Convexity and SOS-Convexity of Sum of Separable and Biquadratic Quartic Polynomials and Optimization
Indian Statistical Institute（印度统计研究所）
研究四次或更高次多元多项式凸性判定难题，引入 SPBQ 形式多项式，分析其凸性与 SOS 凸性联系，构造特殊例子，研究相关优化问题，相比一般 SOS 方法有计算优势，可用于凸多项式回归和流体动力学。
2026-07-28 math.OC
An inertial alternating direction method of multipliers for solving a two-block separable convex minimization problem
乘子的交替方向法（ADMM）是求解信号和图像处理中出现的许多凸极小化模型的广泛使用的方法。本文提出了一个求解带线性等式约束的两块可分凸极小化问题的惯性ADMM。该算法是利用惯性Douglas-Rachford分裂算法对原问题的对偶问题进行分裂得到的。在无限维希尔伯特空间中研究了该算法的收敛性。此外，我们将该算法应用于鲁棒主成分追踪问题，并将其与其他最先进的算法进行比较。数值结果表明了该算法的优越性。
2021-04-01 math.OC
Tikhonov regularization of second-order plus first-order primal-dual dynamical systems for separable convex optimization
本文提出Tikhonov正则化的二阶加一阶原始-对偶动力系统，用于可分离凸优化，通过Lyapunov分析证明收敛性并数值验证优于现有方法。
2025-03-14 math.OC
A unified differential equation solver approach for separable convex optimization: splitting, acceleration and nonergodic rate
该研究提出带时间重缩放的原始-对偶动力系统及统一离散 Lyapunov 分析，导出两类加速近似 ADMM，并证明非遍历最优混合型收敛速率。
2023-04-25 math.OC
An Inexact Accelerated Stochastic ADMM for Separable Convex Optimization
提出了一种求解带线性约束的结构可分凸优化问题的非精确加速随机交替方向法（AS-ADMM）格式。目标函数是一个可能非光滑的凸函数和一个光滑函数的和，光滑函数是许多分量凸函数的平均。具有这种结构的问题经常出现在机器学习和数据挖掘应用中。AS-ADMM结合了ADMM和使用方差缩减技术的随机梯度法的思想。其中一个ADMM子问题采用线性化技术，而类似的线性化可以引入其他子问题。对于一个指定的选择的算法参数，它示出的目标误差和约束违反是$\mathcal{O}(1/k)$相对于外部迭代$k$的数量。在强凸性假设下，期望误差线性收敛到零。还讨论了AS-ADMM的线性化变体和增量采样策略。随机和确定性ADMM算法的数值实验表明，AS-ADMM可以特别有效的大数据应用中出现的结构化优化。
2020-10-24 math.OC
A primal-dual fixed-point algorithm for minimization of the sum of three convex separable functions
图像处理和信号恢复中的许多问题都可以归结为三个凸可分函数之和的最小化问题。通常，目标函数包括具有Lipschitz连续梯度的光滑函数、线性复合非光滑函数和非光滑函数。在本文中，我们提出了一个原始-对偶不动点（PDFP）计划来解决上述问题。当非光滑函数可以通过其邻近算子（如$\ell_1$型正则化）求解时，该算法是一种完全分裂的对称格式，只涉及显式梯度算子和线性算子，不需要内迭代.我们研究了该算法的收敛性，并通过融合LASSO和图像恢复与非负约束和稀疏正则化的例子来说明它的效率。
2015-12-31 math.OC
Value Functions of Separable Convex Integer Programs are Periodically Convex
Eindhoven University of Technology（埃因霍温理工大学）
本文证明可分离凸整数规划的值函数在剩余类子域上是周期凸的，并利用Graver基技术将一维周期凸性推广到任意固定维数，从而导出块结构整数规划的固定参数可解算法。
2026-09-23 math.OC
The global linear convergence rate of the proximal version of the generalized alternating direction method of multipliers for separable convex programming
为了求解带线性约束的可分离凸优化问题，Eckstein和Bertsekas提出了广义乘子交替方向法（简称GADMM），它是乘子交替方向法的一种有效而简单的加速方案。最近，\textbf{Fang et. al}提出了广义乘子交替方向法的线性化版本（简称L-GADMM），其中一个子问题用线性化策略近似，并证明了其最坏情况下的$\mathcal{O}(1/t)$收敛速度，用遍历和非遍历意义下的迭代复杂度来衡量.本文介绍了广义乘子交替方向法（简称DL-GADMM）的双重线性化形式，其中$x$ -子问题和$y$ -子问题都用线性化策略逼近.基于误差界方法，我们建立了L-GADMM和DL-GADMM对于可分凸优化问题的线性收敛速率.本文的结果推广和改进了文献中的一些已知结果.
2022-11-16 math.OC
On linear convergence of a distributed dual gradient algorithm for linearly constrained separable convex problems
本文提出了求解线性约束可分凸问题的一个分布式对偶梯度算法，并分析了它的收敛速率。特别地，我们证明了在原目标函数的梯度具有强凸性和Lipshitz连续性的假设下，对偶问题具有全局误差界型性质.利用这一误差界的性质，我们设计了一个完全分布式的对偶梯度计划，即梯度计划的基础上加权步长，我们推导出全局线性收敛速率的双重和原始次优和原始可行违反。许多实际应用，如分布式模型预测控制，网络效用最大化或最优潮流，可以被视为线性约束可分离凸问题，文献中的对偶梯度型方法具有次线性收敛速度。在本文中，我们证明了第一次，事实上，我们可以实现线性收敛速率，这样的算法时，他们被用来解决这些应用。数值模拟也证实了我们的理论。
2014-09-30 math.OC
A rank-two relaxed parallel splitting version of the augmented Lagrangian method with step size in (0,2) for separable convex programming
增广拉格朗日方法（ALM）是求解具有线性约束的典型凸规划问题的经典方法，在各种科学计算领域有着广泛的应用。ALM的主要优点在于，可以利用$(0,2)$中的步长来进一步放宽用于更新对偶变量的步骤，并且该优点可以容易地导致ALM的数值加速。当一个可分离的凸规划问题进行了讨论，并考虑了相应的分裂版本的经典ALM，收敛可能无法得到保证，因此它似乎是不可能的，步长在$(0,2)$可以进行到松弛步骤更新的对偶变量。我们表明，对于一个并行分裂版本的ALM，步长在$(0,2)$可以保持进一步放松的原始和对偶变量，如果放松步骤是简单地纠正由秩2矩阵。因此，秩2松弛并行分裂版本的ALM与$(0,2)$的步长提出了可分离的凸规划问题。我们验证了新算法可以在数值上优于现有的同类算法显着通过测试一些应用程序。
2022-12-01 math.OC
Penalty decomposition derivative free method for the minimization of partially separable functions over a convex feasible set
本文提出一种罚分解无导数方法，用于在凸可行集上高效求解部分可分离函数的最小化问题，通过结合无导数线搜索方法，实现全局收敛性并验证其有效性。
2026-01-09 math.OC
Convergence analysis of accelerated algorithms via a mixed-order dynamical system for separable nonsmooth convex optimization
Chongqing Key Laboratory of Statistical Intelligent Computing and Monitoring, School of Mathematics and Statistics, Chongqing Technology and Business University（重庆工商大学数学与统计学院，统计智能计算与监测重庆市重点实验室）
本文研究了混合阶动态系统衍生的两种算法，用于解决包含两个非光滑复合结构目标函数的线性等式约束凸优化问题，提出新的双变量算法和分裂算法，并证明其非平稳收敛性及强收敛性。
2026-03-24 math.OC
Efficient parallel coordinate descent algorithm for convex optimization problems with separable constraints: application to distributed MPC
在本文中，我们提出了一个并行坐标下降算法求解光滑凸优化问题的可分离的约束，可能会出现，例如在分布式模型预测控制（MPC）的线性网络系统。我们的算法是基于块坐标下降并行更新，并有一个非常简单的迭代。在光滑凸优化的标准假设下，我们证明了新算法的（亚）线性收敛速率。此外，我们的算法使用本地信息，因此适合分布式实现。此外，它具有较低的迭代复杂度，这使得它适合嵌入式控制。基于这种新的并行算法，推导出一种MPC方案，使网络中的每个子系统都可以使用分布式和廉价的计算来计算可行的和稳定的控制输入。为了确保MPC方案的稳定性，我们使用来自分布式合成的终端成本公式。初步的数值试验表明，我们的优化算法比其他现有的方法有更好的性能。
2014-11-18 math.OC
Distributed Primal Outer Approximation Algorithm for Sparse Convex Programming with Separable Structures
提出了一种分布式原始外近似算法（DiPOA），用于求解具有可分离结构的稀疏凸规划（SCP）问题。DiPOA算法的开发包括将最近提出的松弛混合乘子交替方向法（RH-ADMM）算法嵌入到外近似（OA）算法中。我们还提出了两个主要的改进，以控制质量和切割平面的数量，近似非线性函数。特别地，RH-ADMM算法充当DiPOA算法内部的分布式数值引擎。DiPOA利用现代处理器的多核架构来加速优化算法。提出的分布式算法从应用方面使SCP在学习和控制问题中的解决方案具有实用性。本文最后对分布式稀疏逻辑斯谛回归和二次约束最优化问题的DiPOA算法进行了性能分析。最后，本文的结论与国家的最先进的优化求解器的数值比较。
2022-10-13 math.OC
Regularized Jacobi iteration for decentralized convex optimization with separable constraints
我们考虑多智能体，凸优化程序受到可分离的约束，每个代理的约束函数只涉及其本地的决策向量，而所有代理的决策向量耦合通过一个共同的目标函数。我们专注于一个正则化的所谓的雅可比算法分散计算在这样的问题。我们首先考虑的情况下，目标函数是二次的，并提供了一个不动点理论分析表明，该算法收敛到一个最小的集中式问题。此外，我们量化的潜在好处，这样一个迭代方案进行比较，它对缩放投影梯度算法。然后，我们考虑一般情况下，并表明，所有的极限点的建议迭代的最优解的集中问题。所提出的算法的有效性说明了将其应用到电动汽车的最佳充电的问题，在那里，相对于早期的方法，我们显示收敛到一个最佳的充电方案有限，可能很大，数量的车辆。
2017-04-04 math.OC
A Stochastic Variance Reduced Primal Dual Fixed Point Method For Linearly Constrained Separable Optimization
本文将随机方差约化梯度（SVRG）方法与文献[7]中提出的原始对偶不动点方法（PDFP）结合起来求解两个凸函数之和，其中一个凸函数是线性复合函数。这类问题通常出现在稀疏信号和图像重建中。所提出的SVRG-PDFP可以被视为Prox-SVRG [37]的推广，最初设计用于两个凸函数的和的最小化。基于一些标准的假设，我们提出了两个变体，一个是强凸的目标函数，另一个是一般凸的情况下。收敛性分析表明，对于一般凸目标函数，SVRG-PDFP的收敛速度为O（1/k）（k为迭代次数），对于k强凸情形，SVRG-PDFP的收敛速度为线性.机器学习和CT图像重建的数值例子表明了算法的有效性。
2020-07-23 math.OC
Bounding Duality Gap for Separable Problems with Linear Constraints
考虑了紧区域上的非凸函数之和的极小化问题，该问题受线性不等式和等式约束。近似解可以通过求解问题的凸化版本来找到，其中目标中的每个函数都被其凸包络所取代。我们提出了一个随机算法来解决的convexified问题，发现一个$ε$ -次优解的原始问题。在概率为1的情况下，$ε$由与问题中的最大积极约束数目成比例的项来约束。这个界不依赖于问题中变量的数量或目标中的项数。与以前的相关工作相比，我们的证明是建设性的，独立的，并给出了一个紧的界限。
2016-01-09 math.OC
Decomposition in conic optimization with partially separable structure
线性规划的分解技术很难推广到具有一般非多面体凸锥的锥最优化问题，因为锥不等式在变量之间引入了额外的非线性耦合。然而，在许多应用中，凸锥具有部分可分离的结构，这允许它们以更简单的低维锥来表征。最重要的例子是弦稀疏模式的稀疏半定规划。在这里，部分可分性来自于团分解定理，该定理描述了具有弦稀疏模式的半正定和半正定可完备矩阵。本文描述了一种利用部分分离性的二次曲线线性最优化的分解方法。该方法基于Spingarn的等式约束凸优化方法，结合一种快速的邻近点方法来计算邻近算子。
2013-06-01 math.OC
The Golden Ratio Proximal ADMM with Norm Independent Step-Sizes for Separable Convex Optimization
Indian Institute of Technology Madras（印度马德拉斯理工学院）；The University of Melbourne（墨尔本大学）
提出两种无需算子范数估计的黄金比例近端ADMM步长策略，证明全局收敛性和次线性收敛率，并通过数值实验验证其有效性。
2026-06-17 math.OC
Path-Following Gradient-Based Decomposition Algorithms For Separable Convex Optimization
提出了一种新的分解优化算法--\textit{path-following gradient-based decomposition}，用于求解可分凸优化问题.与文献中考虑的路径跟踪牛顿法不同，该算法不需要对目标函数作任何光滑性假设。这使我们能够处理更多的一般类的问题，在许多实际应用中比在路径跟踪牛顿方法。新算法是三种技术的组合，即平滑，拉格朗日分解和路径跟踪梯度框架。该算法将原问题分解成更小的子问题，通过使用对偶分解和平滑通过自洽障碍，更新的对偶变量使用路径跟踪梯度法，并允许一个并行解决的子问题。此外，算法参数自动更新，没有任何调整策略，在增广拉格朗日方法。证明了新算法的整体收敛性，并分析了其局部收敛速度。然后，我们利用Nesterov的加速方案对该算法进行了改进，得到了一个新的具有更好的局部收敛速度的算法。最后，我们提出了初步的数值试验，证实了理论的发展。
2012-09-20 math.OC
Generalized Symmetric ADMM for Separable Convex Optimization
乘子的交替方向法（ADMM）已被证明是求解线性约束可分凸优化的有效方法。本文提出了一种求解多块可分凸规划问题的广义对称ADMM（GS-ADMM），该算法以适当的步长两次更新Lagrange乘子。该GS-ADMM将数据划分为两个组变量，使得一个组由$p$块变量组成，而另一个组具有$q$块变量，其中$p \ge 1$和$q \ge 1$是两个整数。两个分组变量在{ \it Gauss-Seidel}方案中更新，而每个组内的变量在{ \it Jacobi}方案中更新，这将使其对于大数据设置非常有吸引力。通过在子问题中加入适当的近似项，我们指定了步长的取值范围，以保证GS-ADMM在最坏情况下以$O(1/t)$遍历收敛速度全局收敛。事实证明，我们的收敛域的步长是显着大于文献中的其他收敛域。因此，GS-ADMM在选择和使用更大的对偶变量步长方面更灵活和有吸引力。此外，还讨论和分析了GS-ADMM的两种特殊情况，即允许使用零惩罚项。通过对统计学习中稀疏矩阵最小化问题的数值实验，与现有方法进行了比较，结果表明该方法是有效的.
2018-12-10 math.OC
Eventual convexity for separable chance constraints with skewed generalized hyperbolic random variables
CNRS（法国国家科学研究中心）；Laboratory of signals and systems（信号与系统实验室）
本文证明了偏斜广义双曲随机变量下机会约束的最终凸性，通过密度α-递减性质获得精确凸重构，并数值验证了可行集凸性与计算可行性。
2026-09-15 math.OC math.PR
Sometimes, Convex Separable Optimization Is Much Harder than Linear Optimization, and Other Surprises
Hochbaum和Shanthikumar在1990年的一篇有影响力的论文中提出了一个普遍的观点，即“凸可分优化并不比线性优化难多少”[JACM 1990]。我们展示了两个基本类的混合整数（线性）的程序，违背这种直觉。即那些约束矩阵具有小系数和小原始或对偶树深度的约束矩阵：虽然线性优化很容易[Brand，Koutecklord，Ordyniak，AAAI 2021]，但我们证明了可分离凸优化要困难得多。此外，在纯整数和混合整数线性情况下，这两个类具有相同的参数化复杂度。我们表明，他们还表现得很不同的可分凸混合整数的情况下。我们的方法采用混合格雷弗基础介绍Hemmecke [数学。2003年]。我们给出了混合Graver基元范数的第一非平凡上下界。在以前的作品涉及的整数Graver基础上，这样的上限一直导致整数规划的有效算法。奇怪的是，这并没有发生在我们的案例中。事实上，我们甚至排除了这样的算法。
2021-11-15 cs.DM math.OC
An inexact perturbed path-following method for Lagrangian decomposition in large-scale separable convex optimization
本文在拉格朗日对偶分解的框架下，提出了一种求解大规模结构凸优化问题的不精确扰动路径跟踪算法。与文献中考虑的确切版本不同，我们允许一个解决原始问题不精确到一个给定的精度。不精确扰动算法允许使用近似黑塞矩阵和近似梯度向量来计算对偶问题的牛顿型方向。该算法分为两个阶段。第一阶段利用不精确扰动阻尼牛顿型迭代计算初始点，而第二阶段利用不精确扰动全步牛顿型迭代执行路径跟踪算法。我们分析了这两个阶段的收敛性，并估计了最坏情况下的复杂度。作为一种特殊情况，导出了拉格朗日松弛的精确路径跟踪算法，并估计了其最坏情况的复杂度。该变体与先前已知的方法相比具有一些差异。实施细节进行了讨论和数值结果报告。
2011-09-15 math.OC
An inexact version of the symmetric proximal ADMM for solving separable convex optimization
本文提出并分析了求解线性约束最优化问题的对称邻近交替方向法（ADMM）的一个不精确形式。基本上，该方法允许它的第一个子问题不精确地解决，以这种方式，一个相对近似的标准是满意的。根据迭代次数$k$，我们建立了该方法在加速度参数域上的全局$\mathcal{O} (1/ \sqrt{k})$逐点收敛速度和$\mathcal{O} (1/ {k})$各态历经收敛速度，这与精确情形下已知的最大收敛速度一致.由于对称邻近ADMM可以看作是一类ADMM的变种，新算法以及它的收敛速度推广，特别是在文献中的许多其他。数值实验说明了该方法的实际优势的报告。据我们所知，这项工作是第一个研究对称近端ADMM的不精确版本。
2020-06-04 math.OC
Enhancements of Discretization Approaches for Non-Convex Mixed-Integer Quadratically Constraint Quadratic Programming: Part I
本文针对非凸MIQCQP提出增强的HybS可分离MIP松弛与锯齿松弛，并通过理论分析和计算实验验证其紧致对偶界效果。
2023-08-17 math.OC
Relaxations for Non-Separable Cardinality/Rank Penalties
由于非凸性和不连续性，秩和基数惩罚在优化框架中很难处理。强近似一直是一个深入研究的课题，并提出了许多公式。其中大多数可以被描述为可分离的，这意味着它们基于大小对每个元素（或奇异值）应用惩罚，而不考虑联合分布。在本文中，我们提出了一类不可分的处罚，并给出了计算强松弛适合于优化的配方。在我们的分析中，我们首先给出的条件，确保全球最优解的放松是相同的原始（非放松）的目标。然后，我们展示了如何可以保证一个固定点是唯一的RIP假设下（尽管非凸的框架）。
2021-07-09 math.OC
Separable Convex Optimization with Nested Lower and Upper Constraints
我们研究了一个凸资源分配问题，其中分配的部分和被施加上下界。该模型与大范围的应用有关，包括生产计划、速度优化、分层抽样、支持向量机、投资组合管理和电信。我们提出了一个有效的无梯度分治算法，它使用单调性参数从递归调用中生成有效的边界，并根据子问题的信息消除链接约束。该算法不需要严格的凸性或可微性。它在$\mathcal{O}(n \log m \log \frac{n B}ε)$时间内产生连续问题的$ε$近似解，在$\mathcal{O}(n \log m \log B)$时间内产生整数解，其中$n$是决策变量的数量，$m$是约束的数量，$B$是资源约束。对于线性和二次情形，也实现了$\mathcal{O}(n \log m)$的复杂性。这些是迄今为止这个重要问题类已知的最好的复杂性。我们的实验分析证实了该方法的良好性能，它可以在几秒钟内为多达1，000，000个变量的问题提供最佳解决方案。支持向量有序回归问题的应用前景也进行了研究。
2018-09-08 math.OC
Convergence analysis of the direct extension of ADMM for multiple-block separable convex minimization
近年来，交替方向乘子法（ADMM）在许多领域得到了有效的应用，但当直接将其推广到目标函数为无耦合变量的$m\ge 3$函数的可分凸极小化问题的多块情形时，收敛性并不能得到保证.这一事实极大地推动了研究各种条件的模型和算法的参数，可以确保收敛的直接扩展的ADMM（简称为“e-ADMM”）。尽管在非常强的条件下（例如，至少$(m-1)$函数应该是强凸的），其他一些则集中在$m$的特殊情况下，在相对较温和的条件下，假设只有一个函数是强凸的。我们专注于扩展的收敛性分析，从$m=3$的情况下，更一般的情况下，$m\ge3$。也就是说，我们显示的情况下，$m\ge 3$与假设只有$(m-2)$功能是强凸的e-ADMM的收敛性，并建立其收敛速度在不同的情况下，如最坏情况下的收敛速度衡量的迭代复杂性和渐近线性收敛速率更强的假设。因此，收敛的e-ADMM的一般情况下的$m\ge 4$证明，这一结果似乎仍然是未知的，即使它是直观的情况下的$m=3$已知的结果。即使对于特殊情况的$m=3$，我们的收敛结果比现有的结果，特别是$m=3$的情况下导出的更一般。
2016-11-14 math.OC
Separable convex optimization problems with linear ascending constraints
研究了具有线性上升不等式和等式约束的可分凸优化问题。在原点处的函数斜率上的排序条件下，描述了一种在有限步内确定最优点的算法。最优值被证明是单调的约束参数的偏序。此外，最佳值是凸的这些参数。通信系统的优化激励的例子来说明该算法。
2007-07-16 cs.IT math.IT math.OC
High-Order Evaluation Complexity for Convexly-Constrained Optimization with Non-Lipschitzian Group Sparsity Terms
研究了非凸目标函数中包含非Lipschitz群稀疏项的部分可分凸约束优化问题的高阶计算复杂性.我们提出了一个使用$p$阶Taylor模型的部分可分离自适应正则化算法，并证明了该算法可以在至多O（<$^{-（p+1）/（p-q+1）}）个目标函数及其一阶p阶导数（无论它们是否存在）的求值中产生一个（Δ，δ）近似q阶稳定点。我们的模型使用了欧几里得范数函数的旋转对称性来建立非Lipschitz群稀疏项的Lipschitz近似，这些稀疏项由群ell_2-ell_a范数定义，a在（0，1）中。新的结果表明，部分可分离的结构和非Lipschitz群稀疏项的目标函数可能不会影响最坏情况下的评估复杂性顺序。
2019-02-27 math.OC
Symmetric separable convex resource allocation problems with structured disjoint interval bound constraints
受电动汽车充电调度启发，提出具有不相交区间界约束的对称可分凸资源分配问题，并设计了在区间数固定时多项式时间内求解的精确算法，且可扩展至整数变量。
2023-07-28 math.OC
Sparse Regularization by Smooth Non-separable Non-convex Penalty Function Based on Ultra-discretization Formula
针对ℓ₁范数稀疏优化解幅度偏小问题，提出基于超离散化公式的非凸非分离稀疏诱导惩罚函数ULPENS，可连续插值ℓ₁范数与非凸抑制函数，兼具光滑性与可控抑制性，经理论分析与数值实验验证有效性。
2025-09-24 eess.SP math.OC
On Solving Convex Optimization Problems with Linear Ascending Constraints
本文提出了两个求解线性上升约束凸优化问题的算法。当目标函数是可分的，我们提出了一个对偶方法，终止于有限的迭代次数。特别地，我们的对偶方法的最坏情况复杂度比Padakandla和Sundaresan [SIAM J. Optimization，20（2009），pp. 1185-1204]。然后，我们提出了一个梯度投影法来解决更一般的一类问题，其中的目标函数不一定是可分离的。数值实验表明，这两种算法在测试问题上都能很好地工作。
2014-09-25 math.OC
A Primal-Dual Parallel Method with $O(1/ε)$ Convergence for Constrained Composite Convex Programs
本文研究了大规模约束凸规划（可能是复合的和不可分的），由于Hessians和矩阵求逆的非光滑性或过高的计算和存储复杂性，通常难以用内点法或其他Newton型方法求解。相反，它们通常通过基于一阶梯度的方法或基于分解的方法来求解。传统的原始-对偶次梯度法，也称为Arrow-Hurwicz-Uzawa次梯度法，是一种具有$O(1/ε^2)$收敛时间的低复杂度算法。最近，Yu和Neely（2017）提出了一种新的拉格朗日对偶算法，具有更快的$O(1/ε)$收敛时间。然而，如果目标或约束函数不可分离，Yu和Neely（2017）中拉格朗日对偶方法的每次迭代都需要求解无约束凸规划，这可能具有巨大的复杂性。对一般约束凸规划提出了一个新的具有$O(1/ε)$收敛性的原-对偶算法。新算法的每一步迭代都可以并行实现，即使原问题是复合的和不可分离的。
2017-07-30 math.OC
Partially separable convexly-constrained optimization with non-Lipschitzian singularities and its complexity
针对目标函数中含有$q\in (0,1)$的非Lipschitz $\ell_q$ -范数正则项的部分可分凸约束非线性最优化问题，提出了一种基于高阶模型的自适应正则化算法.它表明，该算法使用$p$-阶泰勒模型的$p$奇数一般需要在最多$O(ε^{-(p+1)/p})$评估的目标函数及其衍生物（在他们被定义的点），以产生一个$ε$ -近似一阶临界点。这一结果是在泰勒模型的代价是要求可行集是“核中心”（包括约束约束和许多其他情况下的利益），或非Lipschitz模型，在通过的代价困难的计算步骤。由于该复杂性界限与已知的凸约束条件下纯Lipschitz最小化的复杂性界限相同[CartGoulToin 2016]，因此新结果表明，在目标函数中引入非Lipschitz奇点可能不会影响最差情况下的评估复杂性顺序。结果还表明，使用问题的部分可分结构（如果存在）也不会影响复杂性顺序。一个最终的（更坏的）复杂性界的情况下，泰勒模型与一个一般的凸可行集。
2017-04-23 cs.CC math.OC
Solving Multiple-Block Separable Convex Minimization Problems Using Two-Block Alternating Direction Method of Multipliers
Nanjing University（南京大学）；University of Minnesota（明尼苏达大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出将多块问题转换为双块问题以提升ADMM求解效率，推导出O(1/ε)迭代复杂度，并通过数值实验验证该方法在基追踪、鲁棒主成分分析等任务中的优越性。
2013-08-24 cs.NA math.NA math.OC
Two-stage stochastic algorithm for solving large-scale (non)-convex separable optimization problems under affine constraints
Université Paris-Saclay, CNRS, CentraleSupélec, Inria, Laboratoire des Signaux et Systèmes（巴黎萨克雷大学）；Fédération de Mathématiques de CentraleSupélec France（中央理工-高等电力学院数学联合会）；EDF R&D（法国电力集团研发中心）；Inria, Ecole Normale Supérieure, PSL Research University（法国国家信息与自动化研究所）
本文提出了一种两阶段随机算法，用于求解带仿射约束的大规模（非）凸分离优化问题，在凸情况下达到ε-最优解，非凸情况下获得近似解。
2026-02-06 math.OC
An over-relaxed ADMM for separable convex programming and its applications to statistical learning
本文提出一种带松弛步准则的过松弛ADMM，证明了其全局收敛性和O(1/t)收敛率，并在Lasso和稀疏逆协方差选择问题上验证了其显著优于经典和松弛定制ADMM的性能。
2024-01-09 math.OC
On Separable Quadratic Lyapunov Functions for Convex Design of Distributed Controllers
ETH Zürich（苏黎世联邦理工学院）；University of Oxford（牛津大学）
本文研究了在指定稀疏模式下设计稳定且最优静态控制器的问题，通过引入可分离二次李雅普诺夫函数的凸限制，改进了传统对角线李雅普诺夫函数的方法，从而提升可行性与性能，并通过数值示例验证了结果。
2019-03-11 cs.SY eess.SY math.OC
Faster Stochastic ADMM for Nonsmooth Composite Convex Optimization in Hilbert Space
School of Mathematics and Statistics, Lanzhou University（兰州大学数学与统计学院）；School of Mathematics, Jilin University（吉林大学数学学院）
本文提出一种随机交替方向乘子法用于解决Hilbert空间中非光滑复合和随机凸优化问题，证明了在强凸情况下算法的强收敛性，并展示了在强凸和一般凸情况下功能值和可行性违反的更快非平稳收敛率。
2026-05-15 math.OC
Bounding the separable rank via polynomial optimization
我们调查的问题有关的集$\mathcal{SEP}_d$组成的线性映射$ρ$作用于$\mathbb{C}^d\otimes \mathbb{C}^d$，可以被写为一个凸组合的秩一矩阵的形式$xx^*\otimes yy^*$。这种映射在量子信息论中被称为可分离的二分态，而不可分离的状态被称为纠缠态。特别是，我们介绍了可分离的秩$\mathrm{rank_{sep}}(ρ)$的界限，定义为最小数量的秩一状态$xx^*\otimes yy^*$进入分解的可分离状态$ρ$。我们的方法依赖于矩量法，并产生一个层次的半定为基础的下界，收敛到一个参数$τ_{\mathrm{sep}}(ρ)$，一个自然的凸化的组合参数$\mathrm{rank_{sep}}(ρ)$。一个显着的特点是利用正性约束$ρ-xx^*\otimes yy^* \succeq 0$施加多项式矩阵局部化映射的正性，平方和多项式矩阵的概念的对偶概念。我们的方法自然延伸到多部设置和真正的可分离的排名，它允许加强一些已知的界限完全正的排名。此外，我们指出如何时刻的方法也适用于定义的半定松弛的集合$\mathcal{SEP}_d$的层次，并允许给出新的证明，只使用工具，从矩理论，收敛结果的DPS层次（A.C.多赫蒂，P.A. Parrilo和F.M.斯佩达列里区分可分离态和纠缠态。物理修订版信函88（18）：187904，2002）…
2021-09-29 math.OC
Randomized sketch descent methods for non-separable linearly constrained optimization
本文研究了具有多个线性耦合约束的大规模光滑最优化问题。由于约束的不可分离性，不能保证任意的随机草图。因此，我们首先调查的充要条件和充分条件的草图采样有明确的算法。基于这些采样条件，我们开发了新的草图下降法，特别是随机草图下降和加速随机草图下降法，以解决一般光滑线性约束问题。据我们所知，这是随机草图下降算法的多个不可分离的线性约束的最优化问题的收敛性分析。在一般情况下，当目标函数是光滑的和非凸的，我们证明了非加速变量的次线性率在期望的适当的最优性措施。在光滑凸的情况下，我们推导出这两种算法，非加速和加速随机草图下降，次线性收敛速度的期望值的目标函数。另外，如果目标函数满足强凸性条件，则两种算法均线性收敛于期望值。在特殊情况下，复杂性边界是已知的一些特定的草图算法，如坐标下降法的最优化问题与一个单一的线性耦合约束，我们的理论恢复最知名的界限。我们还表明，当随机草图是素描坐标方向随机产生更好的结果比固定的选择规则。最后，我们提出了一些数值例子来说明我们的新算法的性能。
2018-08-07 math.OC
Explicit Stabilised Gradient Descent for Faster Strongly Convex Optimisation
介绍了强凸优化问题的龙格-库塔切比雪夫下降法（RKCD）。这种新的算法是基于显式稳定积分刚性微分方程，一类强大的数值计划，避免了严重的步长限制所面临的标准显式积分。对于优化二次函数和强凸函数，本文证明了RKCD几乎达到共轭梯度算法的最优收敛速度，并且RKCD的次优性随着二次函数的条件数的增加而减小.它是建立，这一最佳速率也获得了分区变体的RKCD适用于扰动的二次函数。此外，对一般强凸问题的数值实验表明，RKCD优于Nesterov的加速梯度下降。
2020-06-27 math.OC
The Proximal Alternating Minimization Algorithm for two-block separable convex optimization problems with linear constraints
Chemnitz University of Technology（开姆尼茨工业大学）；University of Vienna（维也纳大学）
本文提出近端交替最小化算法（Proximal AMA）以解决具有线性约束的两块可分离凸优化问题，通过引入变量度量诱导的近端项，将子问题转化为近端运算，验证了算法收敛性并展示了其在图像处理和机器学习中的应用效果。
2018-06-01 cs.NA math.NA math.OC
Algorithms for finding global and local equilibrium points of Nash-Cournot equilibrium models involving concave cost
本文研究了具有可分凹费用函数的纳什-古诺寡头均衡模型。与具有线性和凸费用函数的模型相比，在这些模型中，局部平衡点可能不是全局的。我们提出了算法，寻找全局和局部平衡点的模型具有可分离的凹费用函数。所提出的算法使用凸包络的可分离凹费用函数盒近似凹成本模型与仿射成本。后者等价于一个可以有效求解的强凸二次规划。为了得到更好的近似解，算法采用了一种只在凹变量空间中进行的自适应矩形二分法。大量随机数据的计算结果表明，所提出的全局平衡点算法对中等数量凹费用函数的模型是有效的，而局部平衡点算法对更大规模的模型是有效的。
2018-05-06 math.OC
