An optimal algorithm for stochastic strongly-convex optimization
我们考虑随机凸优化与强凸（但不一定光滑）的目标。我们给出了一个算法，只执行梯度更新的最佳收敛速率。
2010-06-12 math.OC
Totally Asynchronous Primal-Dual Convex Optimization in Blocks
提出了一种求解约束凸优化问题的并行原始对偶法。该算法是“基于块的”，因为原始和对偶变量的向量被划分成块，每个块仅由单个处理器更新。我们考虑四种可能的形式的通信：在更新原始变量，更新对偶变量，通信的原始变量，和通信的对偶变量。我们构建了一个家庭的明确的反例，以显示需要消除异步通信的对偶变量，虽然其他形式的同步是允许的，所有不需要限制延迟。一阶原始-对偶更新法的开发和证明是强大的。然后，我们推导出收敛速度的拉格朗日鞍点方面的操作代理执行，而不指定任何时间或模式，他们必须执行。这些收敛速度包括一个“模糊惩罚”，我们量化和目前的方法来减轻。数值结果说明了这些发展。
2022-05-03 math.OC
Parallel Successive Convex Approximation for Nonsmooth Nonconvex Optimization
考虑最小化包含大量变量的光滑（可能非凸）和凸（可能非光滑）函数之和的问题。解决这个问题的一种流行方法是块坐标下降（BCD）方法，在每次迭代中，只有一个变量块被更新，而其余变量保持不变。随着多核并行处理技术发展的最新进展，希望通过允许在算法的每次迭代中同时更新多个块来并行化BCD方法。在这项工作中，我们提出了一个不精确的并行BCD方法，在每次迭代中，一个子集的变量被更新并行最小化凸近似的原始目标函数。我们研究了随机变量和循环变量选择规则的并行BCD方法的收敛性。我们分析了算法对凸和非凸目标函数的渐近和非渐近收敛行为。数值实验表明，对于Lasso极小化问题的一种特殊情况，循环块选择规则的性能优于随机化规则。
2014-10-31 math.OC
An Inertial Parallel and Asynchronous Fixed-Point Iteration for Convex Optimization
凸分解算法的两个吸引人的特点是操作的简单性和可并行结构的生成。原则上，这些方案要求所有坐标同时更新，即，它们通过构造而同步。在更新中引入并行性可以解决同步情况下出现的几个问题，如计算中的负载不平衡或通信链路故障。然而，据我们所知，还没有常见算法的异步版本与惯性加速技术相结合的实例。在这项工作中，我们提出了一个惯性异步和并行不动点迭代，从现有的凸优化算法的几个新版本的起源。从规范出发，坐标的更新的频率应遵守一些先验分布，我们提出了一个方案，唯一的要求是坐标更新在一个有界的时间间隔。我们证明了该计划所产生的迭代序列的收敛性在一个线性速率。所提出的方案的一个实例实施，以解决分布式优化负载分配问题，在智能电网设置和它的优越性，相对于非加速版本的说明。
2018-03-06 math.OC
A Block Successive Upper Bound Minimization Method of Multipliers for Linearly Constrained Convex Optimization
考虑线性耦合约束下光滑凸函数与可分非光滑凸函数之和的极小化问题。这种形式的问题出现在许多当代应用中，包括信号处理、无线网络和智能电网供应。出于这些应用程序的巨大规模，我们提出了一类新的一阶原始对偶法称为块连续上限最小化方法的乘数（BSUM-M）来解决这个家庭的问题。BSUM-M通过最小化原始问题的增广拉格朗日量的局部紧上界来连续更新原始变量块，然后以封闭形式对对偶变量进行梯度类型更新。我们表明，在一定的规律性条件下，当原始块变量更新的确定性或随机的方式，BSUM-M收敛到一组最优解。此外，在没有线性约束的情况下，我们证明了BSUM-M，它减少到块连续上限最小化（BSUM）方法，是能够线性收敛没有强凸性。
2014-01-28 math.OC
A Randomized Nonlinear Rescaling Method in Large-Scale Constrained Convex Optimization
我们提出了一个新的随机算法，用于解决具有大量约束（具有高概率）的凸优化问题。现有的方法，如边界点或牛顿型算法是很难适用于这样的问题，因为他们有昂贵的计算和存储要求的海森和矩阵求逆。我们的算法是基于非线性重标度（NLR），这是Griva和Polyak {[{Math. Program.，106（2）：237-259，2006}]}。NLR通过约束函数的变换引入一个等价的问题，对于给定的对偶变量，最小化相应的增广拉格朗日量，然后使用这个最小化器来更新下一次迭代的对偶变量。每次迭代的原始更新是无约束有限和最小化问题的解，其中项由当前对偶变量加权。我们使用随机一阶算法来进行这些原始更新，它们特别适合。特别地，我们使用缩放的对偶变量作为每个原始更新的采样分布，并且我们证明了该分布是所有概率分布中的最优分布。最后，我们证明了我们的算法的良好的数值性能。
2020-03-24 math.OC
Distributed Stochastic Optimization under Imperfect Information
我们考虑一个随机凸优化问题，需要最小化的总和错误指定的代理特定的期望值凸函数的集合特定的凸集的交集。这种误指定表现在一个参数的意义上，可以通过解决一个独特的随机凸学习问题。我们的兴趣在于分布式算法的发展，其中每个代理决策的基础上，其目标和可行性集的知识，同时学习其他代理的决策，通过与其本地邻居在随时间变化的连通图。虽然一个显着的研究机构目前存在的背景下，这些问题，我们认为，这个问题的错误指定的概括是重要的，并已看到很少的研究，如果在所有。因此，我们的重点在于同时解决这两个问题，通过一组联合计划，结合三个不同的步骤：（i）对齐步骤，其中每个代理更新其当前的信念，平均超过其邻居的信念;（ii）预计（随机）梯度步骤，其中每个代理进一步更新该平均估计;以及（iii）学习步骤，其中代理通过利用随机梯度步骤来更新它们对错误指定的参数的信念。在代理目标和强凸性的学习问题的假设下，我们表明，由这个集合的更新规则产生的序列几乎必然收敛到正确指定的随机凸优化问题和随机学习问题的解决方案，分别。
2015-09-20 math.OC
A flexible block-coordinate forward-backward algorithm for non-smooth and non-convex optimization
Laboratoire de Physique, ENSL, CNRS UMR 5672（物理实验室、里昂高等师范学校、法国国家科学研究中心）
提出一种新的确定性块坐标下降框架，支持灵活更新规则，在非光滑非凸优化中保证收敛性，并在多级图像恢复中验证有效性。
2025-10-30 math.OC
On convergence of a $q$-random coordinate constrained algorithm for non-convex problems
提出一种允许更新任意数量坐标的随机坐标下降算法，用于优化带线性约束和边界约束的非凸目标函数，证明了其收敛性，并验证了增加每次迭代更新坐标数能提升收敛速率。
2024-08-26 math.OC
AsySPA: An Exact Asynchronous Algorithm for Convex Optimization Over Digraphs
本文提出了一种新的精确分布式异步次梯度推进算法（AsySPA）来解决有向图上的加性成本优化问题，其中每个节点只能访问局部凸函数并以任意速率异步更新。具体来说，强连通有向图的每个节点不等待来自其他节点的更新，而是简单地通过使用从其内邻居获得的局部信息在任何有界时间间隔内开始新的更新。“精确”意味着AsySPA的每个节点都可以渐近收敛到相同的最优解，即使节点之间的更新速率不同，通信延迟有限。为了解决不均匀的更新率，我们设计了一个简单的机制，自适应调整步长每次更新在每个节点，这是从现有的作品有很大的不同。然后，我们构造了一个无延迟的增广系统来解决延迟和延迟，并通过提出一个广义次梯度算法来研究其收敛性，这显然有其自身的意义，并有助于我们明确地评估AsySPA的收敛速度。最后，我们从理论和仿真两个方面展示了AsySPA的优势。
2019-08-01 cs.DC math.OC
Rescaling nonsmooth optimization using BFGS and Shor updates
BFGS拟牛顿法，流行的光滑最小化，也证明了令人惊讶的有效性，在非光滑最优化。通过各种简单的例子和计算实验，我们探讨了如何BFGS矩阵更新改善局部度量与凸函数，即使在没有平滑和不使用线搜索。我们比较的BFGS和Shor r算法更新的行为。
2018-02-18 math.OC
Multiplicative Updates for Online Convex Optimization over Symmetric Cones
SUTD（新加坡科技设计大学）
本文提出对称锥乘法权重更新算法SCMWU，将乘法权重更新方法推广到任意对称锥的迹一元素集合上，并证明其无遗憾性质。
2023-07-06 cs.LG math.OC stat.ML
Communication Efficient Curvature Aided Primal-dual Algorithms for Decentralized Optimization
本文给出了求解分散凸组合问题的一族算法。我们考虑设置一个网络的代理，合作最小化一个全球目标函数组成的本地功能加上正则化。通过使用中间共识变量，我们消除了计算曲率引导更新时，代理之间的内部通信循环的需要。一个通用的计划，统一的分析过多的计算选择，包括梯度下降，牛顿更新，和BFGS更新。我们的分析建立了次线性收敛速度速率下的凸目标函数Lipschitz连续梯度，以及线性收敛速率时，进一步假设局部函数是强凸的。此外，我们明确地描述了由于曲率信息的加速度。最后但并非最不重要的是，我们提出了一个异步实现所提出的算法，它消除了对一个中央时钟的需要，与线性收敛速率建立在强凸目标下的预期。我们确定所提出的方法的有效性与基准数据集上的数值实验。
2023-02-11 math.OC
Age-of-Updates Optimization for UAV-assisted Networks
无人机（UAV）已被提出作为一种有前途的技术，用于从物联网设备收集数据并将其中继到网络。在这项工作中，我们感兴趣的情况下，数据定期更新，收集的更新时间敏感。特别是，如果不及时收集和分析数据更新，数据更新可能会失去价值。为了最大限度地提高数据的新鲜度，我们优化了一个新的性能指标，即更新周期（AoU）。我们的目标是仔细安排无人机的悬停位置和用户的关联，使AoU最小化。与现有的作品中的关联参数被认为是二进制变量，我们假设设备发送他们的更新根据概率分布。因此，不是优化确定性目标函数，而是用对概率分布的期望来代替目标函数。因此，在服务质量和能量约束下优化预期的AoU。原问题是非凸的，我们提出了一个等价的凸优化，我们解决了使用的邻域点方法。我们的仿真结果表明，所提出的方法对二进制关联的性能。
2022-09-12 math.OC
Mirror descent for constrained stochastic control problems
University of Edinburgh（爱丁堡大学）
本文提出连续时间镜像下降动力学求解约束随机控制问题，在哈密顿量凸性条件下证明线性或指数收敛，并给出基于模型和无模型的数值算法验证理论结果。
2026-09-09 math.OC
First-Order Sparse Convex Optimization: Better Rates with Sparse Updates
本文提出通过稀疏更新实现一阶方法在稀疏最优解下的线性收敛速度，提升运行效率并简化实现。
2026-03-19 cs.LG math.OC
Predictive Online Convex Optimization
University of California, Berkeley（加州大学伯克利分校）；University of Melbourne（墨尔本大学）；University of Toronto（多伦多大学）
在在线凸优化中，我们以未来梯度的估计值的形式引入未来信息。这是由电力系统中的需求响应激发的，其中关于当前回合的预测，例如，天气或负载的行为，可以用来改进仅通过过去的观察所做的预测。具体来说，我们引入了一个额外的预测步骤，遵循标准的在线凸优化步骤时，估计的梯度和下降方向的某些条件得到满足。我们表明，在这些条件下，没有任何假设的环境的可预测性，预测更新严格提高了标准更新的性能。对于不同的损失函数族，我们给出了两种类型的预测更新。我们提供了一个遗憾界，我们的预测在线凸优化算法。最后，我们将我们的框架应用到一个基于需求响应的例子中，该例子证明了其优于标准在线凸优化算法的性能。
2019-11-29 cs.LG math.OC
Self-Triggered Time-Varying Convex Optimization
提出了一种求解一类时变目标函数的凸优化问题的自触发算法。已知最优解的轨迹可由连续时间状态更新律渐近跟踪。不幸的是，实现这一点需要连续评估梯度和目标函数的逆Hessian，这不适合数字实现。或者，我们从自触发控制中汲取灵感，提出了一种策略，该策略自主地适应目标函数的计算时间，从而产生分段仿射状态更新法。该算法通过使用目标函数的高阶导数的已知上界预测梯度的时间演变来实现。我们所提出的方法保证收敛到任意小的邻域的最优轨迹在有限的时间内，而不会招致芝诺行为。我们用数值模拟来说明我们的框架。
2016-03-28 math.OC
Convergence Rates of Gradient Methods for Convex Optimization in the Space of Measures
研究了测度空间中$d$维流形上凸优化问题的Bregman梯度法的收敛速度。在基本的正则性假设下，我们证明了在迭代$k$的次优间隙是在$O(log(k)k^{--1})$的乘法更新，而它是在$O(k^{--q/(d+q)})$的添加剂更新的一些$q \in {1, 2, 4}$的目标函数的结构。我们灵活的证明策略，基于近似参数，使我们能够轻松地涵盖所有Bregman近端梯度法（PGM）及其加速（APGM）在各种几何形状下，如双曲熵和$L^p$发散。我们还证明了我们的分析与匹配下界的紧密性，并证实了低维问题的数值实验的理论结果。请注意，所有这些最优化方法都必须额外支付离散化的计算成本，这在$d$中可能是指数级的。
2023-03-14 math.OC
Adaptive Primal-Dual Stochastic Gradient Method for Expectation-constrained Convex Stochastic Programs
随机梯度法在求解随机最优化问题中得到了广泛的应用。大多数现有的工程假设没有限制或易于项目的限制。本文考虑带期望约束的凸随机最优化问题。对于这些问题，在可行集上执行投影通常是非常昂贵的。文献中的几个SGM可以应用于解决期望约束随机问题。提出了一种基于拉格朗日函数的原始-对偶型SGM。与现有的方法不同，我们的方法采用了自适应技术，以加快收敛。在每次迭代中，我们的方法查询拉格朗日函数的无偏随机次梯度，然后它更新的原始变量的自适应SGM更新和对偶变量的香草SGM更新。我们表明，所提出的方法具有$O(1/\sqrt{k})$的收敛速度的客观误差和约束违反。虽然收敛速度与现有的SGM相同，但我们观察到它在求解Neyman-Pearson分类和二次约束二次规划时的收敛速度明显快于现有的非自适应原始-对偶SGM和原始SGM。此外，我们修改所提出的方法来解决凹凸随机极大极小问题，我们执行自适应SGM更新的原始和对偶变量。利用原对偶间隙，证明了$O(1/\sqrt{k})$对求解Minimax问题的修正方法的收敛速度.
2021-12-31 math.OC
Generalized Symmetric ADMM for Separable Convex Optimization
乘子的交替方向法（ADMM）已被证明是求解线性约束可分凸优化的有效方法。本文提出了一种求解多块可分凸规划问题的广义对称ADMM（GS-ADMM），该算法以适当的步长两次更新Lagrange乘子。该GS-ADMM将数据划分为两个组变量，使得一个组由$p$块变量组成，而另一个组具有$q$块变量，其中$p \ge 1$和$q \ge 1$是两个整数。两个分组变量在{ \it Gauss-Seidel}方案中更新，而每个组内的变量在{ \it Jacobi}方案中更新，这将使其对于大数据设置非常有吸引力。通过在子问题中加入适当的近似项，我们指定了步长的取值范围，以保证GS-ADMM在最坏情况下以$O(1/t)$遍历收敛速度全局收敛。事实证明，我们的收敛域的步长是显着大于文献中的其他收敛域。因此，GS-ADMM在选择和使用更大的对偶变量步长方面更灵活和有吸引力。此外，还讨论和分析了GS-ADMM的两种特殊情况，即允许使用零惩罚项。通过对统计学习中稀疏矩阵最小化问题的数值实验，与现有方法进行了比较，结果表明该方法是有效的.
2018-12-10 math.OC
A unified analysis of a class of proximal bundle methods for solving hybrid convex composite optimization problems
提出了一种基于一般束更新方案的求解混合凸复合优化（HCCO）问题的近似束（PB）框架，建立了PB框架中任一变体的迭代复杂度上界，并首次在HCCO背景下统一地给出了基于不同束更新方案的3种PB变体的迭代复杂度上界.虽然PB变体中的两个是通用的（即，它们的实现不需要与HCCO实例相关联的参数），另一个新提出的（据作者所知）不是HCCO实例，但具有生成简单的（即一次切割的）捆绑模型的优点。本文还提出了一个通用的自适应PB变体（这不一定是一个框架的实例）的基础上一切模型，并表明其迭代复杂度是相同的上述两个通用PB变体。
2023-03-27 math.OC
Alternating Direction Method of Multipliers with Variable Metric Indefinite Proximal Terms for Convex Optimization
研究了线性约束凸优化问题的变尺度不定邻近项乘子邻近交替方向法。由于该方法的子问题易于求解，因此在许多应用领域中起着重要的作用。最近的研究表明，具有固定不定近似项的近似ADMM比具有半正定项的近似ADMM收敛速度快，且仍具有整体收敛的性质。另一方面，Gu和Yamashita研究了变度量半定邻近ADMM，其邻近项由BFGS更新生成。他们报告说，一个稍微不定矩阵也使算法在他们的数值实验中工作得很好。基于这一事实，我们考虑了一个变度量的不定邻近ADMM，并给出了关于邻近项的整体收敛的充分条件。此外，我们提出了一个新的不定邻近项的基础上的BFGS更新，可以满足条件的整体收敛。
2019-06-28 math.OC
Asynchronous parallel primal-dual block coordinate update methods for affinely constrained convex programs
近几年来，由于许多现代应用中涉及的超大数据以及多核机器和计算机集群的发展，异步（异步）并行计算方法激增。在优化问题中，大多数关于并行算法的工作都是针对无约束问题或具有块可分约束的问题。本文提出了一种基于块坐标更新（BCU）的求解具有不可分线性约束的凸问题的并行算法。该方法在单节点上运行，成为一种新的具有自适应步长的随机原始-对偶BCU算法。对于这些问题，Gauss-Seidel循环原始-对偶BCU需要强凸性才具有收敛性。相反，仅假设凸性，我们表明，所提出的算法产生的目标值序列的概率收敛到最优值和约束残差为零。此外，我们建立了遍历$O(1/k)$收敛结果，其中$k$是迭代次数。数值实验表明，该方法的有效性和显着优于同步并行的性能。
2019-10-15 cs.DC cs.NA math.NA
SSNCVX: A primal-dual semismooth Newton method for convex composite optimization problem
本文提出统一的半光滑牛顿法框架 SSNCVX 求解凸复合优化问题，通过增广拉格朗日对偶重构为鞍点问题，以单循环结构同时更新原始和对偶变量，在基准数据集上展现出优于现有求解器的鲁棒性与效率。
2025-09-15 math.OC
Single Loop Gaussian Homotopy Method for Non-convex Optimization
高斯同伦（GH）方法是一种通过逐渐减小参数值$t$，将待解问题从几乎凸问题转化为原目标问题，从而寻找非凸优化问题较好稳定点的方法。现有的基于GH的方法在每次更新$t$时重复调用迭代优化求解器来寻找稳定点，这导致了高的计算成本。我们提出了一种新的单循环框架GH方法（SLGH），更新参数$t$和优化决策变量在同一时间。计算复杂性分析进行SLGH算法在各种情况下：无论是梯度或梯度自由预言的GH函数可以获得确定性和随机设置。即使由于$t$而使待解决的问题逐渐改变，具有调谐超参数的SLGH的收敛速度也变得与梯度下降的收敛速度一致。在数值实验中，我们的SLGH算法表现出更快的收敛速度比现有的双环GH方法，同时优于基于梯度下降的方法，在寻找一个更好的解决方案。
2022-11-16 math.OC
A block-coordinate descent framework for non-convex composite optimization. Application to sparse precision matrix estimation
Laboratoire J.A. Dieudonné（拉格朗日J.A.迪乌多夫实验室）；Université Côte d'Azur（蔚蓝海岸大学）
本文提出了一种通用的块坐标下降框架，用于解决非凸复合优化问题，并应用于稀疏精度矩阵估计，提供收敛保证和加速迭代次数。
2026-01-29 cs.LG math.OC
Adaptive Accelerated Gradient Descent Methods for Convex Optimization
University of California, Irvine（加州大学尔湾分校）
本文提出A$^2$GD方法，通过自适应步长和动量加速，在凸优化中实现更高效的梯度下降算法。
2026-02-08 math.OC
Fast and Interpretable Dynamics for Fisher Markets via Block-Coordinate Updates
我们考虑的问题，大规模的Fisher市场均衡计算通过可扩展的一阶优化方法。众所周知，市场均衡可以使用结构化凸规划来捕获，例如Eisenberg-Gale和Shmyrev凸规划。高性能的确定性全梯度一阶方法已经开发了这些程序。在本文中，我们开发了新的块坐标一阶方法计算费雪市场均衡，并表明，这些方法有解释为tâtonnement风格或比例响应风格的动态，无论是买家或项目出现一个在同一时间。我们重新制定这些凸规划，并解决他们使用近端块坐标下降法，一类方法，更新只有少量的坐标的决策变量在每次迭代。利用这些方法的收敛性分析的最新进展和平衡捕获凸规划的结构，我们建立了这些方法的快速收敛速度。
2023-03-01 cs.GT cs.MA math.OC
Fast proximal algorithms for nonsmooth convex optimization
在\cite{Ouorou2019}中，我们利用Nesterov快速梯度概念\cite{Nesterov1983}对凸函数的Moreau-Yosida正则化进行了研究，在此基础上，我们设计了新的非光滑凸优化的近似算法。这些算法不需要捆绑机制来更新稳定中心，同时保持\cite{Ouorou2019}中建立的复杂度估计。我们报告了一些初步的计算结果，一些学术测试问题，给出了第一次估计他们的性能与经典的近端聚束法。
2020-03-19 math.OC
Meta-Learning Parameterized First-Order Optimizers using Differentiable Convex Optimization
University of California Berkeley（加州大学伯克利分校）
机器学习和控制中的传统优化方法严重依赖于一阶更新规则。为特定任务选择正确的方法和超参数通常涉及试错或从业者的直觉，这激发了元学习领域。我们提出了一个元学习框架，其中的内循环优化步骤涉及到解决可微凸优化（DCO），概括了广泛的家庭预先存在的更新规则。我们说明了这种方法的理论吸引力，它使一个家庭的线性最小二乘问题的一步优化，元学习者有足够的曝光类似的任务。DCO更新规则的各种实例化在一系列说明性实验设置上与常规优化器进行比较。
2023-03-29 cs.AI cs.LG math.OC
First-order methods for constrained convex programming based on linearized augmented Lagrangian function
一阶方法已广泛用于解决大规模问题。然而，许多现有的工作只考虑无约束或简单约束的问题。本文给出了求解约束凸规划的两个一阶方法，其中约束集由仿射方程和光滑非线性不等式表示。这两种方法都是基于经典的增广拉格朗日函数。它们以与增广拉格朗日方法（ALM）相同的方式更新乘数，但采用不同的原始变量更新。第一种方法在每次迭代时对原始变量执行单个邻近梯度步骤，第二种方法是第一种方法的块更新版本。对于第一种方法，我们证明了它的全局渐近收敛性以及全局次线性收敛性和局部线性收敛性;对于第二种方法，我们证明了它的全局次线性收敛性.数值实验进行了基追踪去噪和凸二次约束二次规划，以显示所提出的方法的经验性能。它们的数值行为与已有的理论结果十分吻合。
2017-11-21 cs.DS math.OC
Path-Following Gradient-Based Decomposition Algorithms For Separable Convex Optimization
提出了一种新的分解优化算法--\textit{path-following gradient-based decomposition}，用于求解可分凸优化问题.与文献中考虑的路径跟踪牛顿法不同，该算法不需要对目标函数作任何光滑性假设。这使我们能够处理更多的一般类的问题，在许多实际应用中比在路径跟踪牛顿方法。新算法是三种技术的组合，即平滑，拉格朗日分解和路径跟踪梯度框架。该算法将原问题分解成更小的子问题，通过使用对偶分解和平滑通过自洽障碍，更新的对偶变量使用路径跟踪梯度法，并允许一个并行解决的子问题。此外，算法参数自动更新，没有任何调整策略，在增广拉格朗日方法。证明了新算法的整体收敛性，并分析了其局部收敛速度。然后，我们利用Nesterov的加速方案对该算法进行了改进，得到了一个新的具有更好的局部收敛速度的算法。最后，我们提出了初步的数值试验，证实了理论的发展。
2012-09-20 math.OC
HPR-QP: A dual Halpern Peaceman-Rachford method for solving large-scale convex composite quadratic programming
本文提出 HPR-QP 方法，通过受限 Wolfe 对偶、对称 Gauss-Seidel 更新、值域空间邻近算子及自适应重启策略，在 GPU 上显著提升大规模凸复合二次规划的求解速度与可扩展性。
2025-07-03 math.OC
Hybrid Jacobian and Gauss-Seidel proximal block coordinate update methods for linearly constrained convex programming
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出混合雅可比和高斯-塞德尔块坐标更新方法，用于解决线性约束多块结构凸规划问题，通过选择合适的仿射混合矩阵实现理论收敛性，并在数值上优于随机对偶块坐标更新方法。
2018-01-03 cs.NA math.NA math.OC
SDP-based branch-and-bound for non-convex quadratic integer optimization
半定规划（SDP）松弛法已被广泛用于求解离散二次最优化问题，特别是二进制问题。对于具有框约束的一般非凸整数情况，分支定界算法Q-MIST已经由Buchheim和Wiegele（Math Program 141（1- 2）：435- 452，2013）提出，其基于用于最大割的公知的SDP松弛的扩展。为了求解得到的SDP，Q-MIST使用现成的内点算法。在本文中，我们提出了一个定制的坐标上升算法来解决这些SDP的对偶问题。基于Dong（SIAM J Optim 26（3）：1962- 1985，2016）的相关思想，它利用了SDP的特定结构，最重要的是约束矩阵的小秩。后者允许一个精确的线搜索和一个快速增量更新的逆矩阵，使整个算法可以实现在每次迭代的二次时间运行。此外，我们描述了如何将这种方法扩展到一定的二维坐标更新。最后，我们解释了如何将任意线性约束纳入这个框架，并评估我们的算法实验。
2019-01-29 math.OC
Splitting Proximal Point Algorithms for the Sum of Prox-Convex Functions
Great Bay University（大湾区大学）；Great Bay Institute for Advanced Study（大湾区高等研究院）；Instituto Federal do Piauí（皮奥伊联邦学院）；Universidad de Tarapacá（塔拉帕卡大学）；Electric Power University（电力大学）
本文提出两种分裂近端点算法用于求解近似凸函数和的最小化问题，并通过理论分析和实验验证了其收敛性与有效性。
2026-01-11 math.OC
Convergence of Distributed Adaptive Optimization with Local Updates
University of California, Berkeley（加利福尼亚大学伯克利分校）；Massachusetts Institute of Technology（麻省理工学院）
本文研究分布式自适应优化中局部更新的理论益处，首次证明凸和弱凸场景下Local SGDM与局部Adam可优于小批量对应方法，其分析通过新颖技术证明局部迭代收缩性，为局部更新优势提供关键理论支撑。
2025-02-12 cs.LG math.OC
Distributed proximal gradient algorithm for non-smooth non-convex optimization over time-varying networks
研究了具有非光滑正则化的分布式非凸优化问题，该问题在分散学习、估计和控制中有着广泛的应用。目标函数是不同的局部目标函数的和，这些局部目标函数由可微的（可能是非凸的）费用函数和非光滑的凸函数组成。针对时变多智能体网络上的非光滑非凸优化问题，提出了一种分布式近似梯度算法。每个智能体通过多步一致性算子和邻近算子更新局部变量估计。我们证明了生成的局部变量达到共识，收敛到一组临界点的收敛速度$O(1/T)$。最后，通过数值模拟验证了该算法的有效性.
2021-03-03 math.OC
Proximal bundle methods for hybrid weakly convex composite optimization problems
University of Rochester（罗切斯特大学）；Georgia Institute of Technology（佐治亚理工学院）
本文通过统一的近邻束框架研究了混合弱凸复合优化问题的迭代复杂度，提出易于验证的站稳性度量替代传统难以检查的站稳条件。
2026-10-19 math.OC
Primal-Dual Incremental Gradient Method for Nonsmooth and Convex Optimization Problems
本文考虑了一类带锥约束的非光滑凸有限和问题。为了克服投影到约束集和计算全（子）梯度的挑战，我们引入了一个原始-对偶增量梯度方案，其中只有一个分量函数和两个约束用于更新每个原始-对偶子迭代循环顺序。我们证明了一个渐近次线性收敛速率的次优性和不可行性，这是一个改进的国家的最先进的增量梯度计划在这种情况下。数值结果表明，所提出的计划相比，以及竞争的方法。
2021-05-07 math.OC
The Cyclic Block Conditional Gradient Method for Convex Optimization Problems
本文研究了一个光滑函数与一个具有特定可分形式的紧支撑非光滑项之和的优化凸问题。我们分析了块版本的广义条件梯度法时，块被选择在一个循环顺序。对于这类方法中常用的两种不同步长策略，建立了全局次线性收敛速率。与经典的条件梯度算法及其随机块算法的数值比较表明了循环块更新规则的有效性。
2015-09-25 math.OC
Guided Policy Search using Sequential Convex Programming for Initialization of Trajectory Optimization Algorithms
University of Washington（华盛顿大学）
本文针对轨迹优化对初始猜测敏感的问题，提出一种结合序贯凸规划轨迹更新与随机梯度下降策略更新的引导策略搜索方法，用于生成高质量初始轨迹，并在可重复使用火箭6自由度动力下降制导问题上验证了有效性。
2022-05-19 cs.RO math.OC
A New Primal-Dual Algorithm with Convex Combination and Extrapolation for Convex-Concave Saddle Point Problems with Nonlinear Coupling Term
School of Mathematics and Statistics, Guizhou University（贵州大学数学与统计学院）；School of Science, Lanzhou University of Technology（兰州理工大学理学院）
针对带非线性耦合项的凸-凹鞍点问题，提出一种结合凸组合和外推策略的原始-对偶算法PDAce，通过在线性化点处计算雅可比矩阵并将外推移至映射空间，消除非线性残差项，实现无需线搜索的全局收敛，收敛率为O(1/N)，加速版本aPDAce在强凸条件下达到O(1/N^2)甚至线性收敛。
2026-06-15 math.OC
Accelerated Primal Dual Method for a Class of Saddle Point Problem with Strongly Convex Component
本文提出了一种简单的原始对偶方法DPD，它是求解一类具有或不具有强凸分支的鞍点问题的灵活框架。该方法有线性化形式LDPD和精确化形式EDPD。DPD的每次迭代通过简单的邻近映射顺序地更新对偶变量和原始变量，并通过外推来细化对偶变量。光滑或强凸原始分量的收敛性分析恢复了以前的最先进的结果，而强凸对偶分量的收敛性分析获得了原始对偶间隙的完全加速$O(1/k^2)$。通过对高斯噪声和椒盐噪声图像的全变差图像去模糊实验，证明了利用对偶分量的强凸性实现全变差加速的有效性。
2019-07-14 math.OC
UGM: A Unified Framework and New Perspectives for Accelerated Gradient Methods in Smooth and Strongly Convex Optimization
Data Science and AI Institute, and Department of Applied Mathematics and Statistics, Johns Hopkins University（约翰斯·霍普金斯大学数据科学与人工智能研究所及应用数学与统计系）；School of Mathematics, Nanjing University（南京大学数学学院）
本文提出名为UGM的统一框架，将重球法与梯度下降结合，开发增强型加速梯度算法，经实验验证其在两类优化问题上性能优于基线方法。
2026-08-28 math.OC
A generic coordinate descent solver for nonsmooth convex optimization
我们提出了一个通用的坐标下降求解器的最小化的非光滑凸结构的目标。该方法特别适用于具有线性约束的问题。该实现利用了有效的残差更新，并自动确定哪些对偶变量应该被复制。为了提高效率，预先编译了一系列基本功能原子，Python中的建模语言允许用户在运行时将它们组合起来。因此，该算法可用于解决各种各样的问题，包括Lasso，稀疏多项式逻辑斯谛回归，线性和二次规划。
2019-09-26 math.OC
An Interior Point-Proximal Method of Multipliers for Convex Quadratic Programming
本文将不可行内点法（IPM）与邻近乘子法（PMM）相结合。所得到的算法（IP-PMM）被解释为一个原始-对偶正则IPM，适用于求解线性约束凸二次规划问题。我们将内点方法的几次迭代应用于邻近乘子方法的每个子问题。一旦找到PMM子问题的满意解，我们更新PMM参数，形成新的IPM邻域并重复此过程。在这个框架下，我们证明了多项式复杂性的算法，在标准的假设。据我们所知，这是原始-对偶正则化IPM的第一个多项式复杂度结果。该算法是指导使用一个单一的罚参数，即对数障碍。换句话说，我们表明，IP-PMM继承IPMs的多项式复杂性，以及严格的凸性的PMM子问题。罚参数的更新由IPM控制，因此是良好调整的，并且不依赖于所解决的问题。此外，我们研究的行为时，它被应用到一个不可行的问题，并确定了一个必要条件不可行的方法。后者用于构建不可行性检测机制。随后，我们提供了一个强大的实现所提出的算法，并测试了一组小到大规模的线性和凸二次规划问题。数值结果表明，在IPM中使用正则化的好处，以及该方法的可靠性。
2020-03-05 math.OC
BFGS-ADMM for Large-Scale Distributed Optimization
考虑一类分布式最优化问题，其中目标函数由强凸函数和光滑函数以及（可能非光滑）凸正则化子组成。假设一个多智能体网络，其中每个智能体拥有一个私有的费用函数，并与它的邻居合作，以计算最优的聚合目标。本文提出了一种准牛顿乘子交替方向法（ADMM），其中原始更新是用近似曲率信息不精确求解的。通过引入一个中间一致性变量，我们实现了一个块对角Hessian，它消除了在计算更新方向时网络内部通信环路的需要。我们建立了全局线性收敛的最佳原始-对偶解决方案，而不需要回溯线搜索，假设组件费用函数是强凸的Lipschitz连续梯度。真实数据集上的数值模拟表明了所提出的方法优于现有技术。
2021-09-30 math.OC
Iteration-complexity of a proximal augmented Lagrangian method for solving nonconvex composite optimization problems with nonlinear convex constraints
提出并分析了一种求解非线性$\cal K$ -凸约束光滑非凸复合最优化问题的近似增广拉格朗日（NL-IAPIAL）方法，约束相对于由闭合凸锥$\cal K$给出的阶是凸的。每个NL-IAPIAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度（ACG）方法，然后由拉格朗日乘子更新。在一些温和的假设下，证明了NL-IAPIAL在${\cal O}(\log(1/ρ)/ρ^{3})$内迭代中生成约束问题的近似稳态解，其中$ρ>0$是给定的容差.数值实验也说明了所提出的方法的计算效率。
2022-07-05 math.OC
Fast Inexact Decomposition Algorithms For Large-Scale Separable Convex Optimization
本文提出了一种新的求解可分凸优化问题的不精确对偶分解算法。该算法结合了对偶拉格朗日分解、平滑和过度间隔三种技术。该算法在每次迭代中只需要一个原始步骤和两个对偶步骤，并允许不精确地并行求解每个分量的子问题。此外，算法参数自动更新，没有任何调整策略，在增广拉格朗日方法。我们分析了算法的收敛性，并估计了其$O(\frac{1}{\varepsilon})$最坏情况的复杂度。数值算例验证了理论结果。
2013-02-07 math.OC
SLowcal-SGD: Slow Query Points Improve Local-SGD for Stochastic Convex Optimization
Technion（以色列理工学院）
针对异构分布式学习，提出SLowcal-SGD方法，通过定制慢查询技术，首次在理论上证明优于Minibatch-SGD和Local-SGD，有效缓解局部更新偏差。
2025-01-18 cs.LG math.OC
Augmented Lagrangian Optimization under Fixed-Point Arithmetic
在本文中，我们提出了一个不精确的增广拉格朗日方法（ALM）的优化凸和非光滑的目标函数的线性等式约束和框约束的误差是由于不动点的数据。为了防止数据溢出，我们还在乘数更新中引入了投影操作。我们从理论上分析了所提出的算法，并提供了收敛速度的结果和界的最优解的精度。由于迭代法经常需要解决原始子问题在ALM中，我们还提出了一个早期停止标准，是简单的嵌入式平台上实现，可用于问题，不是强凸的，并保证原始更新的精度。据我们所知，这是第一个不动点ALM，可以处理非光滑问题，数据溢出，并可以有效地和系统地利用迭代求解器在原始更新。效用最大化问题的数值模拟研究，说明所提出的方法。
2019-07-22 math.OC
Simulated annealing with hit-and-run for convex optimization: rigorous complexity analysis and practical perspectives for copositive programming
我们使用Abernethy和Hazan [arXiv 1507.02528v2，2015]建议的温度更新类型对Kalai和Vempala [Math of OR 31.2（2006）：253-266]的模拟退火算法进行了严格的复杂性分析。该算法只需要假设可行集的成员预言，我们证明了它返回一个解决方案在多项式时间内，这是近最优的高概率。此外，我们提出了一些修改，以提高该方法的实际性能，并提出了一些数值结果的测试问题，从共正规划。
2019-07-04 math.OC
