Solving Multiple-Block Separable Convex Minimization Problems Using Two-Block Alternating Direction Method of Multipliers
Nanjing University（南京大学）；University of Minnesota（明尼苏达大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出将多块问题转换为双块问题以提升ADMM求解效率，推导出O(1/ε)迭代复杂度，并通过数值实验验证该方法在基追踪、鲁棒主成分分析等任务中的优越性。
2013-08-24 cs.NA math.NA math.OC
An inexact version of the symmetric proximal ADMM for solving separable convex optimization
本文提出并分析了求解线性约束最优化问题的对称邻近交替方向法（ADMM）的一个不精确形式。基本上，该方法允许它的第一个子问题不精确地解决，以这种方式，一个相对近似的标准是满意的。根据迭代次数$k$，我们建立了该方法在加速度参数域上的全局$\mathcal{O} (1/ \sqrt{k})$逐点收敛速度和$\mathcal{O} (1/ {k})$各态历经收敛速度，这与精确情形下已知的最大收敛速度一致.由于对称邻近ADMM可以看作是一类ADMM的变种，新算法以及它的收敛速度推广，特别是在文献中的许多其他。数值实验说明了该方法的实际优势的报告。据我们所知，这项工作是第一个研究对称近端ADMM的不精确版本。
2020-06-04 math.OC
A parameterized proximal point algorithm for separable convex optimization
本文提出了求解一类线性和凸约束可分凸规划问题的参数化邻近点法（P-PPA）。该算法是全局收敛的，最坏情况下的收敛速度为O（1/t）收敛速度，其中t表示迭代次数.通过合理选择算法参数，对一个由统计学习引起的稀疏最优化问题的数值实验表明，该算法的性能明显优于其他最先进的方法，如交替方向法和松弛邻近点法.
2018-12-10 math.OC
Two-step Fixed-point proximity algorithms for multi-block separable convex problems
多块可分凸问题近年来受到了广泛的关注。这类最优化问题最小化具有线性约束的可分凸目标函数。算法的挑战来自于这样一个事实，即经典的交替方向法的乘法器（ADMM）的问题是不一定收敛。然而，据观察，ADMM在数值上优于它的许多变种，保证理论收敛。本文的目标是发展收敛和计算效率高的算法来解决多块可分凸问题。首先，我们利用目标函数中凸函数的邻近算子刻画了最优化问题的解。然后，我们设计了一个两步的不动点迭代计划解决这些问题的基础上的特征。进一步证明了迭代格式的收敛性，并证明了它在遍历意义和部分原始-对偶间隙意义下具有O（1/k）的收敛速度，其中k表示迭代次数.此外，我们推导出具体的两步不动点邻近算法（2SFPPA）从建议的迭代计划，并建立其整体收敛。数值实验表明，解决稀疏MRI问题的数值效率建议2SFPPA。
2016-08-17 math.OC
Frank-Wolfe meets Shapley-Folkman: a systematic approach for solving nonconvex separable problems with linear constraints
针对仿射约束下的可分非凸优化问题，提出结合Frank-Wolfe与Shapley-Folkman的两阶段方法，通过可行解逼近与Caratheodory表示精简构造原问题解，在凸和非凸定义域下均能恢复经典对偶间隙界。
2025-05-21 math.OC
Positive Maps and Separable Matrices
如果所有的正半定矩阵都映射到正半定矩阵，则实对称矩阵空间之间的线性映射是正的。一个实对称矩阵是可分的，如果它可以表示为正半定矩阵的克罗内克积之和。本文研究了线性映射的正性检验和矩阵的可分性检验。我们提出了数值算法，Lasserre型半定松弛的基础上，解决这些问题。为了检验线性映射的正性，我们构造了一个半定松弛族来极小化单位球面上的双二次型。我们发现，可以通过解决有限数量的这种半定松弛检测的积极性。为了检验矩阵的可分性，我们构造了一个半定松弛族。如果它不可分，我们可以得到一个数学证明;如果它是，我们可以得到一个分解的可分性。
2016-03-26 math.OC
Decentralized Nonlinear Feedback Design with Separable Control Contraction Metrics
The Australian Centre for Field Robotics（澳大利亚野外机器人中心）；School of Aerospace Mechanical and Mechatronical Engineering, The University of Sydney（悉尼大学航空航天机械与机电工程学院）
本文提出基于收缩理论的分布式控制器设计方法，通过求解凸优化问题实现非线性网络的指数收敛控制。
2016-09-23 cs.SY eess.SY math.OC
A non-parametric shape optimization approach for solving inverse problems in directed self-assembly of block copolymers
在这项工作中，我们考虑的逆问题，找到引导图案的形状，导致所需的自组装形态的嵌段共聚物熔体。具体而言，我们使用自洽场论建模聚合物自组装，并在非参数设置中导出所需和实际形态之间的失配对引导图案形状中的任意扰动的灵敏度。所获得的灵敏度用于优化的限制图案形状，使得期望的和实际的形态之间的失配最小化。所提出的算法的效率和鲁棒性证明了一些例子模板垂直互连访问。
2021-12-17 cond-mat.soft math.OC
On Solving Convex Optimization Problems with Linear Ascending Constraints
本文提出了两个求解线性上升约束凸优化问题的算法。当目标函数是可分的，我们提出了一个对偶方法，终止于有限的迭代次数。特别地，我们的对偶方法的最坏情况复杂度比Padakandla和Sundaresan [SIAM J. Optimization，20（2009），pp. 1185-1204]。然后，我们提出了一个梯度投影法来解决更一般的一类问题，其中的目标函数不一定是可分离的。数值实验表明，这两种算法在测试问题上都能很好地工作。
2014-09-25 math.OC
DC-DistADMM: ADMM Algorithm for Constrained Distributed Optimization over Directed Graphs
本文提出了一种求解具有公共决策变量、局部线性等式和不等式约束以及集合约束的多智能体分布式优化问题的算法，该算法具有收敛速度保证。\textcolor{black}{The algorithm accrues all the benefits of the Alternating Direction Method of Multipliers (ADMM) approach}。它还克服了现有方法的局限性，凸优化问题的线性不等式，等式和集合约束，允许有向通信拓扑。此外，该算法可以分布式综合。所开发的算法具有：（i）当各个函数是凸的但不一定是可微的时，$O(1/k)$的收敛速率，其中$k$是迭代计数器，以及（ii）当目标函数是光滑的并且在最优解处被限制为强凸的时，收敛到最优解的任意小邻域的几何速率。该算法的有效性进行评估，通过比较与国家的最先进的约束优化算法在解决一个约束分布式$\ell_1$正则化逻辑回归问题，和无约束优化算法在解决一个$\ell_1$正则化Huber损失最小化问题。此外，该算法的性能与其他算法在文献中，利用多个通信步骤的比较。
2022-08-24 cs.SY eess.SY math.OC
Scalable Two-Stage Stochastic Optimal Power Flow via Separable Approximation
本文提出SPAR-OPF框架解决电力系统两阶段随机优化问题，通过可分离分段线性近似价值函数并基于样本次梯度学习，经两种公式建模比较及统计方法评估，以分布式发电选址定容为例验证，精度超98%、最优性差距<1%且在大系统中高效可扩展。
2025-09-24 cs.SY eess.SY math.OC
Solving A Class of Nonsmooth Resource Allocation Problems with Directed Graphs though Distributed Smooth Multi-Proximal Algorithms
针对一类分布式非光滑资源分配问题，提出了两种分布式多邻近原始对偶法。在这些问题中，全局费用函数是局部凸函数和非光滑费用函数之和，每个代价函数由一个二次可微函数和多个非光滑函数组成。底层多智能体系统的通信图是有向和强连接的，但不一定是加权平衡的。多邻近分裂的设计是为了解决这些非光滑函数求和的不可逼近性所带来的困难。此外，它还可以保证所提出的算法的光滑性。在多邻近分裂中引入辅助变量，估计非光滑函数的次梯度。在理论上，利用李雅普诺夫稳定性理论和积分输入状态稳定性（iISS）理论进行了收敛性分析。结果表明，所提算法能使状态收敛到满足资源分配条件的最优点。
2020-03-16 math.OC
Inexact alternating direction multiplier methods for separable convex optimization
本文提出了一种非精确交替方向乘子法（ADMMs），用于求解一般的可分凸优化问题，其目标函数为光滑项和非光滑项之和，且带有线性约束.该方法包括线性化子问题，一个回代步骤，梯度或加速梯度技术。建立了整体收敛。当ADMM子问题没有封闭形式解或子问题的解是昂贵的时，该方法特别有用。基于图像重建问题的数值实验表明了所提方法的有效性。
2016-04-08 math.OC
Two-stage stochastic algorithm for solving large-scale (non)-convex separable optimization problems under affine constraints
Université Paris-Saclay, CNRS, CentraleSupélec, Inria, Laboratoire des Signaux et Systèmes（巴黎萨克雷大学）；Fédération de Mathématiques de CentraleSupélec France（中央理工-高等电力学院数学联合会）；EDF R&D（法国电力集团研发中心）；Inria, Ecole Normale Supérieure, PSL Research University（法国国家信息与自动化研究所）
本文提出了一种两阶段随机算法，用于求解带仿射约束的大规模（非）凸分离优化问题，在凸情况下达到ε-最优解，非凸情况下获得近似解。
2026-02-06 math.OC
Adaptive Benders decomposition and enhanced SDDP for multistage stochastic programs with block-separable multistage recourse
本文提出结合自适应Benders分解与增强型SDDP的算法，首次求解带块可分离多阶段追索权的多阶段随机规划问题，在电力系统投资规划案例中验证了其高效性，并指出风电随机建模的必要性。
2025-07-29 cs.SY eess.SY math.OC
Fast Inexact Decomposition Algorithms For Large-Scale Separable Convex Optimization
本文提出了一种新的求解可分凸优化问题的不精确对偶分解算法。该算法结合了对偶拉格朗日分解、平滑和过度间隔三种技术。该算法在每次迭代中只需要一个原始步骤和两个对偶步骤，并允许不精确地并行求解每个分量的子问题。此外，算法参数自动更新，没有任何调整策略，在增广拉格朗日方法。我们分析了算法的收敛性，并估计了其$O(\frac{1}{\varepsilon})$最坏情况的复杂度。数值算例验证了理论结果。
2013-02-07 math.OC
A preconditioned Forward-Backward method for partially separable SemiDefinite Programs
我们提出了半分散和分布式算法，设计通过一个预处理的向前向后操作分裂，解决大规模的，可分解的半定规划（SDP）。我们利用弦聚集稀疏模式假设的原始SDP，以获得一组相互耦合的SDPs上定义的半正定（PSD）锥的降维。我们表明，所提出的算法收敛到原来的SDP通过合理的计算成本迭代的解决方案。最后，我们比较了这两个算法的性能与其他文献中。
2019-11-17 cs.MA math.OC
Solving Dynamic Programming with Supremum Terms in the Objective and Application to Optimal Battery Scheduling for Electricity Consumers Subject to Demand Charges
本文研究了目标函数中含有上确界项时的动态规划问题。这些项可以表示与底层状态变量相关联的开销成本。具体地，这种形式的最优化问题可以用于表示电池的最优调度，例如用于受按需收费（基于电力消耗的最大速率的收费）的电力消费者的Tesla Powerwall。这些需求费用反映了公用事业建设和维护发电能力的成本。不幸的是，我们表明，动态规划问题的上确界条款不满足最优性原理。然而，我们也表明，上确界是一个特殊的情况下，类向前可分目标函数。为了解决动态规划问题，我们提出了一类具有前向可分离目标的最优化问题。然后，我们表明，在这个类中的任何问题，存在一个增广状态动态规划问题，满足最优性原理和解决方案，其中产生的解决方案，原来的前向可分离的问题。我们进一步推广这种方法的随机动态规划问题和应用结果的问题，最优的电池调度与需求费用使用基于数据库的随机模型的电力使用和太阳能发电的消费者。
2017-08-11 math.OC
A Fast Row-Stochastic Decentralized Method for Distributed Optimization Over Directed Graphs
针对有向图上的一致性优化，本文提出仅用行随机权重的FRSD算法，通过新颖动量项隐式实现梯度跟踪，在线性收敛的同时降低通信与存储开销。
2023-09-28 cs.SY eess.SY math.OC
Distributed Optimization via Adaptive Regularization for Large Problems with Separable Constraints
许多实际应用需要解决大型高维数据集的优化问题，这使得这些问题难以解决并且非常耗时。在本文中，我们提出了一个并行分布式算法，使用自适应正则化（PDAR）解决可分离约束的联合优化问题。正则化器是自适应的，并且取决于迭代之间的步长和迭代次数。理论上证明了算法收敛于最优解，并通过一个多智能体三箱资源分配问题的算例说明了算法的有效性.数值模拟表明，我们的算法收敛到相同的最优解，与其他分布式方法，显着减少计算时间。
2012-11-30 cs.DC math.OC
A Private and Finite-Time Algorithm for Solving a Distributed System of Linear Equations
本文研究了一个线性方程组，表示为$Ax = b$，这是水平分区（行在$A$和$b$）和存储在一个网络上的$m$设备连接在一个固定的有向图。我们设计了一个快速的分布式算法来解决这样一个分区的线性方程组线性方程组，此外，保护本地数据的隐私，对诚实，但好奇的对手，在网络中的大多数$τ$节点损坏。首先，我们提出了TITAN，privaTe有限时间平均一致性算法，用于解决一般平均共识问题的有向图，同时保护统计隐私的私人本地数据对诚实，但好奇的对手。其次，我们提出了一个分布式线性系统求解器，涉及每个代理/设备计算更新的基础上，本地私有数据，然后使用TITAN私有聚合。最后，我们证明了我们的求解器收敛到最小二乘解在有限轮随着统计隐私的局部线性方程组对一个诚实的，但好奇的对手提供的图形具有弱顶点连接至少$τ+1$。我们进行数值实验来验证我们的主张，并通过比较计算，通信和内存成本来比较我们的解决方案与最先进的方法。
2020-04-09 cs.CR cs.DC cs.SY
Bounding Duality Gap for Separable Problems with Linear Constraints
考虑了紧区域上的非凸函数之和的极小化问题，该问题受线性不等式和等式约束。近似解可以通过求解问题的凸化版本来找到，其中目标中的每个函数都被其凸包络所取代。我们提出了一个随机算法来解决的convexified问题，发现一个$ε$ -次优解的原始问题。在概率为1的情况下，$ε$由与问题中的最大积极约束数目成比例的项来约束。这个界不依赖于问题中变量的数量或目标中的项数。与以前的相关工作相比，我们的证明是建设性的，独立的，并给出了一个紧的界限。
2016-01-09 math.OC
Solving convex QPs with structured sparsity under indicator conditions
本文研究了由二元指示变量控制且受基数等条件约束的凸优化问题，将其表述为可分凸二次形式，并提出多项式时间近似算法与负面复杂性结果。
2024-11-18 cs.CC cs.DS math.OC
Accelerated Approximate Optimization of Multi-Commodity Flows on Directed Graphs
Stanford University（斯坦福大学）
本文提出了时间复杂度为$m^{1+o(1)}kε^{-1}$的算法，用于计算有向图上多商品流问题的近似解，并提供了改进的$\ell_{q, p}$-回归求解方法和复合$\ell_{1, \infty}$-回归转化技术。
2026-11-02 cs.DS math.OC
Distributed Primal Outer Approximation Algorithm for Sparse Convex Programming with Separable Structures
提出了一种分布式原始外近似算法（DiPOA），用于求解具有可分离结构的稀疏凸规划（SCP）问题。DiPOA算法的开发包括将最近提出的松弛混合乘子交替方向法（RH-ADMM）算法嵌入到外近似（OA）算法中。我们还提出了两个主要的改进，以控制质量和切割平面的数量，近似非线性函数。特别地，RH-ADMM算法充当DiPOA算法内部的分布式数值引擎。DiPOA利用现代处理器的多核架构来加速优化算法。提出的分布式算法从应用方面使SCP在学习和控制问题中的解决方案具有实用性。本文最后对分布式稀疏逻辑斯谛回归和二次约束最优化问题的DiPOA算法进行了性能分析。最后，本文的结论与国家的最先进的优化求解器的数值比较。
2022-10-13 math.OC
A new separable property of the joint numerical range of quadratic functions and its applications to the Smallest Enclosing Ball Problem
Tay Nguyen University（得农大学）；Vinh University（荣市大学）
本文研究一类二次函数联合数值范围的可分性，提出新集合$G(\Bbb R^n)^\bullet$，在秩条件为$n$时仍保持凸性，从而推动最小包围球问题的求解。
2025-10-18 math.OC
Convergence in Distribution of Randomized Algorithms: The Case of Partially Separable Optimization
本文用马尔可夫链理论分析部分分块可分优化中的分块随机算法，刻画马尔可夫算子正则性、分布收敛速率及高阶矩，并在随机分块 forward-backward 与 Douglas-Rachford 算法上验证。
2023-10-31 math.OC math.PR
Convergence analysis of accelerated algorithms via a mixed-order dynamical system for separable nonsmooth convex optimization
Chongqing Key Laboratory of Statistical Intelligent Computing and Monitoring, School of Mathematics and Statistics, Chongqing Technology and Business University（重庆工商大学数学与统计学院，统计智能计算与监测重庆市重点实验室）
本文研究了混合阶动态系统衍生的两种算法，用于解决包含两个非光滑复合结构目标函数的线性等式约束凸优化问题，提出新的双变量算法和分裂算法，并证明其非平稳收敛性及强收敛性。
2026-03-24 math.OC
D-ADMM: A Communication-Efficient Distributed Algorithm For Separable Optimization
本文提出了一种分布式算法--分布式乘子交替方向法（D-ADMM），用于求解由多个节点或代理组成的网络中的可分离最优化问题。在一个可分离的最优化问题中，在每个节点上都有一个私有的费用函数和一个私有的约束集。目标是最小化所有费用函数的和，将解约束在所有约束集的交集中。D-ADMM被证明收敛时，网络是二分或当所有的功能是强凸的，虽然在实践中，收敛观察，即使当这些条件不满足。我们使用D-ADMM来解决信号处理和控制中的以下问题：平均一致性，压缩感知和支持向量机。我们的模拟表明，D-ADMM需要更少的通信比国家的最先进的算法，以达到给定的精度水平。例如，在传感器网络中，具有低通信要求的算法是重要的，其中传感器通常是电池供电的，并且通信是最耗能的操作。
2013-04-22 math.OC
Efficient parallel coordinate descent algorithm for convex optimization problems with separable constraints: application to distributed MPC
在本文中，我们提出了一个并行坐标下降算法求解光滑凸优化问题的可分离的约束，可能会出现，例如在分布式模型预测控制（MPC）的线性网络系统。我们的算法是基于块坐标下降并行更新，并有一个非常简单的迭代。在光滑凸优化的标准假设下，我们证明了新算法的（亚）线性收敛速率。此外，我们的算法使用本地信息，因此适合分布式实现。此外，它具有较低的迭代复杂度，这使得它适合嵌入式控制。基于这种新的并行算法，推导出一种MPC方案，使网络中的每个子系统都可以使用分布式和廉价的计算来计算可行的和稳定的控制输入。为了确保MPC方案的稳定性，我们使用来自分布式合成的终端成本公式。初步的数值试验表明，我们的优化算法比其他现有的方法有更好的性能。
2014-11-18 math.OC
An Inexact Accelerated Stochastic ADMM for Separable Convex Optimization
提出了一种求解带线性约束的结构可分凸优化问题的非精确加速随机交替方向法（AS-ADMM）格式。目标函数是一个可能非光滑的凸函数和一个光滑函数的和，光滑函数是许多分量凸函数的平均。具有这种结构的问题经常出现在机器学习和数据挖掘应用中。AS-ADMM结合了ADMM和使用方差缩减技术的随机梯度法的思想。其中一个ADMM子问题采用线性化技术，而类似的线性化可以引入其他子问题。对于一个指定的选择的算法参数，它示出的目标误差和约束违反是$\mathcal{O}(1/k)$相对于外部迭代$k$的数量。在强凸性假设下，期望误差线性收敛到零。还讨论了AS-ADMM的线性化变体和增量采样策略。随机和确定性ADMM算法的数值实验表明，AS-ADMM可以特别有效的大数据应用中出现的结构化优化。
2020-10-24 math.OC
On linear convergence of a distributed dual gradient algorithm for linearly constrained separable convex problems
本文提出了求解线性约束可分凸问题的一个分布式对偶梯度算法，并分析了它的收敛速率。特别地，我们证明了在原目标函数的梯度具有强凸性和Lipshitz连续性的假设下，对偶问题具有全局误差界型性质.利用这一误差界的性质，我们设计了一个完全分布式的对偶梯度计划，即梯度计划的基础上加权步长，我们推导出全局线性收敛速率的双重和原始次优和原始可行违反。许多实际应用，如分布式模型预测控制，网络效用最大化或最优潮流，可以被视为线性约束可分离凸问题，文献中的对偶梯度型方法具有次线性收敛速度。在本文中，我们证明了第一次，事实上，我们可以实现线性收敛速率，这样的算法时，他们被用来解决这些应用。数值模拟也证实了我们的理论。
2014-09-30 math.OC
Mirror Prox Algorithm for Multi-Term Composite Minimization and Semi-Separable Problems
在本文中，我们开发了一个复合版本的镜像Prox算法求解凹凸鞍点问题和单调变分不等式的特殊结构，允许覆盖鞍点/变分类比通常所谓的“复合最小化”（最小化的总和的一个易于处理的非光滑和一般类型的光滑凸函数“好像”没有非光滑的组件在所有）。我们证明，复合镜近端继承了有利的（和不可改进的已经在大规模的双线性鞍点的情况下）$O(1/ε)$效率估计其原型。我们表明，所提出的方法可以自然地应用到拉索型问题与几个惩罚条款（例如，共同作用$\ell_1$和核范数正则化）和交替方向的方法中考虑的结构的问题，这意味着在这两种情况下的方法与$O(ε^{-1})$复杂性界限。
2014-05-21 cs.CC math.OC
Bilevel Distributed Optimization in Directed Networks
在无线传感器网络和大规模数据处理的新兴应用的动机，我们认为分布式优化有向网络中的代理本地通信他们的信息，他们的邻居合作最小化的全球费用函数。本文提出了一个新的统一的分布式约束最优化模型，它被描述为一个双层最优化问题。该模型涵盖了有向网络上广泛的现有问题，包括：（i）线性约束的分布式优化;（ii）有向网络上的分布式无约束非强凸优化。采用一种新的正则化松弛方法和梯度跟踪计划，我们开发了一个迭代正则化推挽梯度算法。我们建立了共识，并得出新的收敛速度报表的次优和不可行的生成的迭代求解双层模型。所提出的算法和在这项工作中获得的复杂性分析似乎是新的解决双层模型，也为两个子类的问题。所提出的算法的数值性能。
2021-03-19 math.OC
Distributed Fixed Point Method for Solving Systems of Linear Algebraic Equations
提出了一类求解线性方程组的迭代全分布不动点方法，使得网络中的每个智能体都持有系统的一个方程.在一个通用的有向，强连接的网络，我们证明了一个收敛结果类似于一个不动点方法在经典的，集中的，框架：所提出的方法收敛到线性方程组的线性方程组的解决方案在一个线性速率。我们进一步明确量化的线性系和网络参数的速率。接下来，我们证明了该算法可证明的工作条件下，随时间变化的有向网络的底层图形连接有界的迭代间隔，我们建立了一个线性收敛速率，以及此设置。一组数值结果，展示了现有的替代品的方法的实际效益。
2020-01-12 cs.NA math.NA math.OC
Condition Number Analysis of Logistic Regression, and its Implications for Standard First-Order Solution Methods
MIT Sloan School of Management（麻省理工学院斯隆管理学院）；University of California, Berkeley（加州大学伯克利分校）
逻辑斯谛回归是二分类中最流行的方法之一，其中模型参数的估计通过求解最大似然（ML）最优化问题来进行，并且ML估计被定义为该问题的最优解。当数据不可分时，ML估计量存在，而当数据可分时，ML估计量不存在。一阶方法是解决大规模逻辑斯谛回归问题的首选算法。在本文中，我们引入了一对条件数，衡量的程度的不可分离或可分离的一个给定的数据集在设置的二进制分类，我们研究这些条件数如何涉及和通知的性质和一阶方法的收敛保证。当训练数据是不可分离的，我们表明，不可分离的程度自然进入分析，并通知两个标准的一阶方法的属性和收敛保证：最速下降（对于任何给定的范数）和随机梯度下降。扩展巴赫的工作，我们还展示了如何进入分析的线性收敛的最速下降（不需要强凸性），以及随机梯度下降的自适应收敛的不可分离的程度。当训练数据是可分离的时，一阶方法相当奇怪地具有良好的经验成功，这在理论上还没有得到很好的理解。在可分离数据的情况下，我们演示了如何进入分析的$\ell_2$最速下降和随机梯度下降提供近似最大利润率的解决方案，以及相关的计算保证的可分离程度。这表明一阶方法可以在可分离的情况下产生统计上有意义的解，即使ML解不存在。
2018-10-20 cs.LG math.OC stat.CO
An inexact perturbed path-following method for Lagrangian decomposition in large-scale separable convex optimization
本文在拉格朗日对偶分解的框架下，提出了一种求解大规模结构凸优化问题的不精确扰动路径跟踪算法。与文献中考虑的确切版本不同，我们允许一个解决原始问题不精确到一个给定的精度。不精确扰动算法允许使用近似黑塞矩阵和近似梯度向量来计算对偶问题的牛顿型方向。该算法分为两个阶段。第一阶段利用不精确扰动阻尼牛顿型迭代计算初始点，而第二阶段利用不精确扰动全步牛顿型迭代执行路径跟踪算法。我们分析了这两个阶段的收敛性，并估计了最坏情况下的复杂度。作为一种特殊情况，导出了拉格朗日松弛的精确路径跟踪算法，并估计了其最坏情况的复杂度。该变体与先前已知的方法相比具有一些差异。实施细节进行了讨论和数值结果报告。
2011-09-15 math.OC
A Composite Decomposition Method for Large-Scale Global Optimization
East China University of Science and Technology（华东理工大学）；Southern University of Science and Technology（南方科技大学）；Westlake University（西湖大学）；Oklahoma State University（俄克拉荷马州立大学）
针对大规模全局优化中通用可分性分组方法计算复杂度高的问题，提出融合差分分组与通用可分性分组的复合可分性分组方法，通过逐步分解及两种创新方法，以更低复杂度实现更准确的变量分组。
2024-03-08 cs.LG cs.NE math.OC
The Proximal Alternating Minimization Algorithm for two-block separable convex optimization problems with linear constraints
Chemnitz University of Technology（开姆尼茨工业大学）；University of Vienna（维也纳大学）
本文提出近端交替最小化算法（Proximal AMA）以解决具有线性约束的两块可分离凸优化问题，通过引入变量度量诱导的近端项，将子问题转化为近端运算，验证了算法收敛性并展示了其在图像处理和机器学习中的应用效果。
2018-06-01 cs.NA math.NA math.OC
Randomized sketch descent methods for non-separable linearly constrained optimization
本文研究了具有多个线性耦合约束的大规模光滑最优化问题。由于约束的不可分离性，不能保证任意的随机草图。因此，我们首先调查的充要条件和充分条件的草图采样有明确的算法。基于这些采样条件，我们开发了新的草图下降法，特别是随机草图下降和加速随机草图下降法，以解决一般光滑线性约束问题。据我们所知，这是随机草图下降算法的多个不可分离的线性约束的最优化问题的收敛性分析。在一般情况下，当目标函数是光滑的和非凸的，我们证明了非加速变量的次线性率在期望的适当的最优性措施。在光滑凸的情况下，我们推导出这两种算法，非加速和加速随机草图下降，次线性收敛速度的期望值的目标函数。另外，如果目标函数满足强凸性条件，则两种算法均线性收敛于期望值。在特殊情况下，复杂性边界是已知的一些特定的草图算法，如坐标下降法的最优化问题与一个单一的线性耦合约束，我们的理论恢复最知名的界限。我们还表明，当随机草图是素描坐标方向随机产生更好的结果比固定的选择规则。最后，我们提出了一些数值例子来说明我们的新算法的性能。
2018-08-07 math.OC
Symmetric separable convex resource allocation problems with structured disjoint interval bound constraints
受电动汽车充电调度启发，提出具有不相交区间界约束的对称可分凸资源分配问题，并设计了在区间数固定时多项式时间内求解的精确算法，且可扩展至整数变量。
2023-07-28 math.OC
Solving Linear Programs with Sqrt(rank) Linear System Solves
我们提出了一个算法，给定一个线性规划的$n$变量，$m$约束，和约束矩阵$A$，计算一个$ε$ -近似解的$\tilde{O}(\sqrt{rank(A)}\log(1/ε))$迭代具有高概率。我们的方法的每次迭代包括求解$\tilde{O}(1)$线性系统和额外的近似线性时间计算，由于Renegar（1988）的迭代成本，与以前最快的方法相比，提高了$\tildeΩ((m/rank(A))^{1/2})$的因子。此外，我们提供了一个确定性的多项式时间可计算的$\tilde{O}(rank(A))$ -自协调的障碍函数的多面体，解决了一个悬而未决的问题Nesterov和Nemirovski（1994）的理论“通用障碍”的内点方法。应用我们的技术的线性规划制定的最大流产生一个$\tilde{O}(|E|\sqrt{|V|}\log(U))$时间算法解决最大流问题的有向图与$|E|$边，$|V|$顶点，和整数容量的大小最$U$。这改进了Goldberg和Rao（1998）以前实现的$O(|E|\min\{|E|^{1/2},|V|^{2/3}\}\log(|V|^{2}/|E|)\log(U))$的最快多项式运行时间。在求解稠密有向单位容量图的特殊情况下，我们的算法改进了Even和Tarjan（1975）和Karzanov（1973）之前实现的$O(|E|\min\{|E|^{1/2}…
2020-08-31 cs.DS math.OC
A Fast Proximal Gradient Algorithm for Decentralized Composite Optimization over Directed Networks
针对有向网络多智能体系统中的一致性优化问题，提出了一种快速分散算法，其中局部目标函数具有光滑+非光滑的复合形式，并且可能是非凸的.这类问题的例子包括分散压缩感知和约束二次规划问题，以及许多分散正则化问题。我们扩展现有的算法PG-EXTRA和ExtraPush到一个新的算法PG-ExtraPush复合共识优化有向网络。该算法利用PG-EXTRA中的邻近运算符来处理非平滑项，并采用ExtraPush中的推和协议来解决有向网络引入的偏差。在适当的步长下，我们证明了PG-ExtraPush算法在一些常规假设下以线性速度收敛到最优解。我们进行了一系列的数值实验，以证明所提出的算法的有效性。具体来说，通过适当的步长，PG-ExtraPush在大多数情况下执行线性速率，即使在一些非凸情况下，也比Subgradient-Push快得多，即使后者使用手动优化的步长。数值结果也验证了所建立的理论结果。
2017-03-26 cs.DC math.OC
Global Optimality in Separable Dictionary Learning with Applications to the Analysis of Diffusion MRI
Johns Hopkins University（约翰斯·霍普金斯大学）
稀疏字典学习是一种流行的方法，用于将信号表示为从数据中学习的字典中的几个元素的线性组合。在经典设置中，信号被表示为向量，并且字典学习问题被提出为矩阵分解问题，其中数据矩阵被近似分解为字典矩阵和系数的稀疏矩阵。然而，在计算机视觉和医学成像的许多应用中，信号更好地表示为矩阵或张量（例如图像或视频），其中利用数据的多维结构来学习更紧凑的表示可能是有益的。一种这样的方法是可分离字典学习，其中人们针对数据的不同维度学习单独的字典。然而，典型的公式涉及解决非凸优化问题，因此保证全局最优性仍然是一个挑战。在这项工作中，我们提出了一个框架，该框架建立在矩阵分解的最新发展基础上，为可分离字典学习提供了全局最优性的理论和数值保证。我们提出了一个算法来找到这样一个全球性的最优解，它交替以下本地下降步骤和检查证书的全局最优性。我们说明了我们的方法上的扩散磁共振成像（dMRI）数据，一种医学成像模式，测量水扩散沿多个角方向在每个体素的MRI体积。dMRI中的现有技术方法要么仅针对信号的角域学习字典，要么在某些情况下独立地学习空间和角字典。在这项工作中，我们应用所提出的可分离的字典学习框架来学习空间和角度的dMRI字典联合，并提供初步验证去噪幻影和真正的dMRI大脑数据。
2019-09-19 cs.LG math.OC
