A nearly linearly convergent first-order method for nonsmooth functions with quadratic growth
针对具有二次增长的非光滑函数，本文提出一种源自 Goldstein 概念次梯度法的无参数一阶方法，可在多类非光滑非凸函数上实现局部近线性收敛。
2023-07-17 math.OC
Linearly Convergent Asynchronous Distributed ADMM via Markov Sampling
我们考虑的共识分布式最优化问题，并提出了一个异步版本的交替方向法的乘法器（ADMM）算法来解决它。“异步”部分在这里是指的事实，只有一个节点/处理器更新（即执行最小化步骤）在算法的每次迭代。通过模拟一个马尔可夫链来决定待更新节点的选择。对强凸连续可微函数类，证明了该算法具有期望的线性收敛性质。
2022-03-31 math.OC
A Linearly Convergent Doubly Stochastic Gauss-Seidel Algorithm for Solving Linear Equations and A Certain Class of Over-Parameterized Optimization Problems
考虑求解一般线性方程组$Ax=b$的经典问题。众所周知，当$A$既不是对角占优的也不是对称正定的时，Gauss-Seidel格式及其许多变体可能不收敛。我们能有一个线性收敛的G-S型算法，适用于{ \it any} $A$吗？在本文中，我们肯定地回答这个问题，提出了一个双随机G-S算法，可证明线性收敛（在均方误差意义下）的任何可行的线性系方程。算法设计的关键是引入{ \it非均匀双随机}格式，用于在每一步更新中选取方程和变量，并引入步长规则。这些技术还推广到用于解决具有任意$A$的线性可行性问题$A x\le b$的某些迭代交替投影算法，以及用于在机器学习中训练过参数化模型的高维最小化问题。我们的结果表明，一个精心设计的随机化方案可以使一个否则发散的G-S算法收敛。
2019-05-13 math.OC
A Linearly Convergent Projection-Free Algorithm for Smooth Convex Sets
针对光滑凸集上光滑强凸函数的极小化问题，提出用梯度计算和支撑切线计算替代昂贵的投影，实现线性收敛，且切线可通过\tilde{O}(d)个成员查询近似，突破了此前仅多面体等集能实现无投影线性收敛的局限。
2026-08-19 math.OC
A Linearly Convergent Robust Compressed Push-Pull Method for Decentralized Optimization
在现代多智能体网络的范例中，通信已经成为分散优化的主要瓶颈之一，其中大量的智能体参与最小化局部费用函数的平均值。在本文中，我们提出了一个强大的压缩推挽算法（RCPP），结合梯度跟踪和通信压缩。特别地，RCPP与更一般的压缩运算符类兼容，这些压缩运算符允许相对和绝对压缩错误。我们证明了RCPP在一般有向网络上对光滑的满足Polyak-Jasojasiewicz条件的目标函数具有线性收敛速率。数值算例验证了理论结果，并证明了所提出的算法的效率，灵活性和鲁棒性。
2023-03-13 math.OC
A Linearly Convergent Majorized ADMM with Indefinite Proximal Terms for Convex Composite Programming and Its Applications
研究凸组合最优化问题的一种优化的不定邻近项乘子交替方向法（iPADMM）.我们发现，优化的iPADMM的2块凸最优化问题的全局收敛的条件下较弱的文献中所使用的，并表现出线性收敛速率下的局部误差界条件。在此基础上，我们建立了一个基于对称Gaussian-Seidel的优化iPADMM的线性速度收敛结果，该算法是针对多块复合凸优化问题而设计的。此外，我们应用优化的iPADMM来解决不同类型的正则化逻辑斯谛回归问题。合成和真实数据集上的数值结果证明了优化的iPADMM的有效性，也说明了引入的不定邻近项的有效性。
2018-02-07 math.OC
Linearly convergent bilevel optimization with single-step inner methods
本文提出一种介于牛顿型全系统求解与隐函数处理之间的双层优化新方法，通过预处理使内层、伴随方程和外层交替更新，证明了线性收敛性，并在图像去噪和去卷积任务中验证了有效性。
2023-05-29 math.OC
An inexact proximal augmented Lagrangian framework with arbitrary linearly convergent inner solver for composite convex optimization
针对复合凸优化问题，提出了一种具有显式内问题终止规则的非精确近似增广拉格朗日框架。我们考虑任意线性收敛的内部求解器，特别是随机算法，使所得到的框架更可扩展性，面对不断增加的问题维度。每个子问题都不精确地解决了一个明确的和自适应的停止标准，而不需要设置一个先验的目标精度。当原始域和对偶域有界时，我们的方法分别在强凸和非强凸情况下，实现了$O(1/\sqrtε)$和$O(1/ε)$复杂性界的内部求解器迭代次数。在没有有界性假设的情况下，只需要增加对数项，上述两个复杂性界分别增加到$\tilde O(1/\sqrtε)$和$\tilde O(1/ε)$，对于获得$ε$-最优解和$ε$-KKT解，这两个复杂性界都成立.在我们提出的一般框架内，我们还获得了在相对光滑假设下，关于目标函数的可微分量的$\tilde O(1/ε)$和$\tilde O(1/{ε^2})$复杂性界。我们通过理论分析和数值实验表明，使用随机内求解器的大规模问题可能实现的计算加速。
2019-09-20 math.OC
Linearly Convergent Gradient-Free Methods for Minimization of Parabolic Approximation
求非凸函数的全局极小值值是现代最优化中最主要也是最困难的问题之一。在本文的第一部分中，我们考虑了一类“好”的非凸函数，它可以由一个抛物函数上下有界。我们表明，只使用零阶预言，可以获得线性速度$\log \left(\frac{1}{\varepsilon}\right)$找到的全局极小值上的立方体。第二部分的文件看起来在非凸问题略有不同的方式。我们假设最小化二次函数，但同时我们可以访问带有噪声的零阶预言，并且该噪声与到解的距离成正比。在文献中，处理无梯度方法的这种噪声假设是新的。我们表明，在这里也可以实现线性收敛速率。
2021-02-27 math.OC
Activity Identification and Local Linear Convergence of Forward--Backward-type methods
本文考虑一类Forward-Backward（FB）分裂方法，它包括几个变体（如惯性格式，FISTA），用于极小化两个真凸下半连续函数之和，其中一个函数具有Lipschitz连续梯度，另一个函数相对于光滑活动流形$\mathcal{M}$是部分光滑的.我们提出了一个统一的框架，在此框架下，我们表明，这类FB型算法（i）正确地识别活动流形在有限数量的迭代（有限活动识别），和（ii）然后进入一个局部线性收敛制度，我们精确地描述了底层的活动流形的结构。对于较简单的问题，涉及多面体函数，我们有限终止。我们还建立和解释为什么FISTA（收敛序列）局部振荡，可以比FB慢。这些结果可能有许多应用，包括在信号/图像处理，稀疏恢复和机器学习。事实上，所获得的结果解释了典型的行为，已观察到的数值在这些领域的许多问题，如套索，组套索，融合套索和核规范正则化仅举几例。
2018-01-03 math.OC
Linearly Convergent Frank-Wolfe with Backtracking Line-Search
机器学习中的结构化约束最近使Frank-Wolfe（FW）算法家族重新成为人们关注的焦点。经典FW算法的局部收敛性能较差，而Away-steps和Pairwise FW算法作为改进的FW算法已经出现，具有更快的收敛速度。然而，这些改进的变体遭受两个实际的限制：他们需要在每次迭代，以解决一个1维最小化问题，以设置步长，也需要弗兰克-沃尔夫线性子问题，以解决准确。在本文中，我们提出了变体的离开步骤和成对FW，同时解除这两个限制。所提出的方法设置的步长的基础上充分减少的条件，并且不需要先验知识的目标。此外，他们继承了所有良好的收敛性能的精确线搜索版本，包括线性收敛的强凸函数多面体。不同机器学习问题的基准测试说明了所提出的变体的巨大性能增益。
2022-09-08 math.OC
Linearly Convergent Away-Step Conditional Gradient for Non-strongly Convex Functions
考虑了在紧多面体集上极小化一个函数的问题，该函数是一个线性函数和一个强凸函数与一个线性变换的复合函数之和。Jaggi和Lacoste-Julien [14]表明，在没有附加线性项的情况下，在上述问题上使用的具有远离步骤的条件梯度法具有线性收敛速率，取决于可行集的所谓金字塔宽度。我们重新审视这一结果，并提供了一个变种的算法和分析，是基于简单的对偶参数，以及相应的误差界。这种新的分析（a）使得能够并入额外的线性项，（b）不需要输出可行集的线性映射的极值点的线性预言机，以及（c）取决于被称为“顶点-刻面距离常数”的新常数，其明确地表达在问题的参数和可行集的几何形状方面。这个常数代替了金字塔的宽度，这是很难评估的。
2015-04-20 math.OC
An Efficient Linearly Convergent Regularized Proximal Point Algorithm for Fused Multiple Graphical Lasso Problems
如今，分析来自不同类别或跨时间网格的数据已经引起了极大的兴趣。因此，通过引入图中的稀疏性和多个图之间的相似性，已经导出了用于同时学习图形模型的集合的各种多个图形模型。本文重点研究了融合的多图Lasso模型，它不仅鼓励共享稀疏模式，而且鼓励共享不同图之间的边值。为了求解该模型，我们提出了一种有效的正则化邻近点法，其中算法每次迭代的子问题由超线性收敛的半光滑牛顿法求解。为了实现半光滑牛顿法，我们推导了融合多重图Lasso正则化子的邻近映射的广义雅可比矩阵的显式表达式。与那些广泛使用的一阶方法不同，我们的方法通过半光滑牛顿方法大量利用了潜在的二阶信息。这不仅可以加快算法的收敛速度，而且提高了算法的鲁棒性。我们所提出的算法的效率和鲁棒性证明了一些国家的最先进的方法在合成和真实的数据集进行比较。本文的补充材料可在网上查阅。
2019-02-19 math.OC
DOT and DOP: Linearly Convergent Algorithms for Finding Fixed Points of Multi-Agent Operators
研究了有向非平衡多智能体网络上全局算子的分布式不动点寻找问题，其中全局算子是拟非扩张的，每个智能体只能部分地访问全局算子.讨论了两种情况，即全局算子是和可分的块可分的。对于第一种情况，全局算子是局部算子的和，假设局部算子是Lipschitz，每个局部算子都是每个个体Agent所私有的。针对这种情况，提出了一种分布式（或分散式）算法，称为分布式拟平均算子跟踪算法（DOT），并对其进行了严格的分析，证明了该算法在线性正则条件下能够以线性速率收敛到全局算子的不动点，这比现有凸优化文献中对费用函数的强凸性假设要弱.对于第二种情况，全局算子由一组局部块算子组成，这些局部块算子是Lipschitz算子，并且只能由每个个体代理访问。在此基础上，提出了一种分布式算法，称为分布式拟平均算子播放算法（DOP），并证明了在线性正则性条件下，该算法线性收敛于全局算子的一个不动点.上述研究问题为许多有趣的问题提供了一个统一的框架。作为例子，建议DOT和DOP被用来处理分布式优化和多人博弈下的部分决策信息。最后，数值例子来证实理论结果。
2021-07-11 math.OC
Linearly Convergent Variable Sample-Size Schemes for Stochastic Nash Games: Best-Response Schemes and Distributed Gradient-Response Schemes
本文研究了一个$N$ -局中人随机Nash对策，其中第一局中人$i$最小化一个复合目标$f_i(x) + r_i(x_i)$，其中$f_i$是期望值，$r_i$有一个有效的最优估计.在这方面，我们作出以下贡献。(i)在一个强单调性假设的级联梯度图，我们推导出（{ \bf最优}）率报表和Oracle的复杂性界限，建议可变样本量近端随机梯度响应（VS-PGR）计划;（ii）我们覆盖（VS-PGR）的共识阶段，以期发展分布式协议的聚合随机纳什博弈。值得注意的是，当样本量和共识步骤的数量在每次迭代增长在一个合适的速度，线性收敛速率可以实现;（iii）最后，根据一个合适的收缩属性与近端最佳响应（BR）地图，我们设计了一个可变的样本量近端BR（VS-PBR）计划，其中近端BR计算通过解决一个样本平均问题。如果计算样本平均值的批量大小以合适的速率提高，我们证明了所得到的迭代以线性速率收敛，并推导出预言机的复杂性。
2018-10-25 math.OC
A Globally Convergent LCL Method for Nonlinear Optimization
对于具有非线性约束的最优化问题，线性约束拉格朗日（LCL）方法顺序地最小化受线性化约束的拉格朗日函数。这些方法在解附近快速收敛，但从任意起点开始可能不可靠。众所周知的例子\MINOS \已证明对许多大型问题是有效的。它的成功促使我们提出一个全球收敛的变体。我们的稳定LCL方法具有两个重要性质：子问题总是可行的，他们可能会不精确地解决。这些功能在\MINOS中仅作为语法存在。新算法已在\Matlab中实现，可选择使用\MINOS或\SNOPT Fortran代码来求解线性约束子问题。只需要一阶导数。我们提出了数值计算结果的非线性子集的\COPS，\CUTE和HS测试问题集，其中包括许多大型的例子。结果表明，稳定的LCL程序的鲁棒性和效率。
2003-01-10 math.OC
Rank-Adaptive and Linearly Convergent Frank--Wolfe Method over Spectrahedron via Nonconvex Oracle
The Hong Kong Polytechnic University（香港理工大学）；Tsinghua University（清华大学）
本文提出一种秩自适应Frank--Wolfe方法，通过非凸谱Oracle和有效秩替代，在更新秩不超过最优秩时实现线性收敛，并保持低计算成本。
2026-09-09 math.OC
A Linearly Convergent Douglas-Rachford Splitting Solver for Markovian Information-Theoretic Optimization Problems
在这项工作中，我们提出了解决信息瓶颈（IB）和隐私漏斗（PF）问题的道格拉斯-Rachford分裂方法（DRS）。我们研究了一个一般的马尔可夫信息论拉格朗日，包括IB和PF到一个统一的框架。我们证明了线性收敛的建议求解器使用Kurdyka-Eschojasiewicz不等式。此外，我们的分析是超越IB和PF，并适用于任何凸-弱凸对目标。基于这些结果，我们开发了两种类型的线性收敛IB求解器，其中一种比现有求解器提高了收敛性能，而另一种可以独立于相关性压缩权衡。此外，我们的结果适用于PF，产生一类新的线性收敛PF求解器。从经验上讲，建议的IB求解器IB获得的解决方案是可比的Blahut-Arimoto为基础的基准和收敛的惩罚系数比现有的求解器的范围更广。对于PF，我们的非贪婪求解器可以比基于聚类的贪婪求解器更好地表征隐私效用权衡。
2022-10-23 cs.IT math.IT math.OC
A Linearly Convergent Algorithm for Rotationally Invariant $\ell_1$-Norm Principal Component Analysis
为了对含有异常值的数据集进行降维，$\ell_1$范数主成分分析（L1-PCA）作为传统PCA的一种典型的鲁棒性替代方法，近年来得到了广泛的应用。在这项工作中，我们考虑了旋转不变的L1-PCA，这是在文献中几乎没有研究。为了解决这个问题，我们提出了一个近似的交替线性化最小化方法与非线性外推求解其两块重组。此外，我们表明，所提出的方法至少线性收敛到一个限制的临界点的重新制定的问题。在给定步长的条件下，证明了该点是原问题的一个临界点。最后，我们在合成数据集和真实数据集上进行数值实验，以支持我们的理论发展并证明我们方法的有效性。
2022-10-26 eess.SP math.OC
A globally convergent fast iterative shrinkage-thresholding algorithm with a new momentum factor for single and multi-objective convex optimization
Kyoto University（京都大学）
凸复合优化（Convex-composite optimization）是一种最小化由可微函数和凸函数之和表示的目标函数的优化方法，广泛应用于机器学习和信号/图像处理中。快速迭代收缩保持算法（FISTA）是求解该问题的一种典型方法，具有$O(1 / k^2)$的整体收敛速度。最近，这已被扩展到多目标最优化，连同$O(1 / k^2)$的整体收敛率的证明。然而，它的动量因子是经典的，其迭代的收敛性尚未得到证明。在这项工作中，引入一些额外的超参数$(a, b)$，我们提出了另一种加速邻近梯度方法与一般的动量因子，这是新的单目标的情况下。我们表明，我们提出的方法也有一个整体收敛速度$O(1/k^2)$的任何$(a,b)$，并进一步生成的迭代序列收敛到一个弱Pareto解时，$a$是积极的，有限时间流形识别的一个基本属性。此外，我们报告的数值结果与各种$(a,b)$，表明这些选择中的一些给出了更好的结果比经典的动量因子。
2022-05-11 cs.LG math.OC
GPU-friendly and Linearly Convergent First-order Methods for Certifying Optimal $k$-sparse GLMs
本文提出了一种适用于GPU且线性收敛的一阶方法，用于高效证明稀疏GLMs的最优性，通过复合优化和对偶间隙理论提升计算效率。
2026-03-01 cs.LG math.OC
Linearly Convergent Algorithm with Variance Reduction for Distributed Stochastic Optimization
本文考虑了一个分布式随机强凸优化问题，其中连接在一个网络上的多个智能体的目标是合作地最小化所有智能体的局部费用函数的平均值。由于梯度估计的随机性和局部目标的分布性，目前还没有快速线性收敛的分布式算法。本文提出了一种新的分布式随机梯度跟踪算法，该算法通过增加采样梯度的批量大小来估计局部梯度。与一个无向连接的通信图和一个几何增加的批量大小，迭代收敛的平均几何速度（实现线性收敛）的最优解。建立了获得$ε$ -最优解的迭代、通信和预言复杂性。特别地，通信复杂度是$\mathcal{O}(\ln (1/ε))$，而预言复杂度（采样梯度的数量）是$\mathcal{O}(1/ε^2)$，其与集中式方法的数量级相同。因此，所提出的方案是通信高效的，而不需要额外的采样梯度。通过数值模拟验证了理论结果。
2020-02-14 cs.MA math.OC
A Linearly Convergent Proximal Gradient Algorithm for Decentralized Optimization
分散式优化是一个强大的范例，在工程和学习设计中找到应用。本文研究了具有非光滑正则项的分散复合最优化问题。已知大多数现有的基于梯度的邻近分散方法以次线性速率收敛到最优解，并且仍然不清楚这类方法是否可以实现全局线性收敛。为了解决这个问题，这项工作假设非光滑正则化项在所有网络代理中是共同的，这是许多机器学习问题的情况。在此条件下，我们设计了一个近似梯度分散算法，其不动点与期望的最小值重合。然后，我们提供了一个简洁的证明，建立其线性收敛。在没有非光滑项的情况下，我们的分析技术涵盖了众所周知的EXTRA算法，并提供了有用的界的收敛速度和步长。
2019-10-25 cs.DC math.OC
A Linearly Convergent Algorithm for Decentralized Optimization: Sending Less Bits for Free!
KAUST（沙特阿拉伯国王科技大学）；EPFL（洛桑联邦理工学院）
分散式最优化方法能够在没有中央协调器的情况下在设备上训练机器学习模型。在许多情况下，设备之间的通信需要能量和时间，并且形成整个系统的瓶颈。我们提出了一种新的随机一阶方法，通过将随机压缩算子应用于通信消息来解决通信瓶颈。通过将我们的方案与一种新的方差降低技术相结合，该技术在整个迭代过程中逐渐降低了注入的量化噪声的不利影响，我们获得了第一个仅使用压缩通信时在强凸分散问题上线性收敛的方案。我们证明，我们的方法可以解决的问题，没有任何增加的通信数量相比，基线不执行任何通信压缩，同时仍然允许一个显着的压缩因子，这取决于条件的问题和网络的拓扑结构。我们的主要理论研究结果得到了数值实验的支持。
2020-11-03 cs.LG math.OC
A Randomized Linearly Convergent Frank-Wolfe-type Method for Smooth Convex Minimization over the Spectrahedron
Technion - Israel Institute of Technology（技术学院-以色列理工学院）
本文提出了一种随机线性收敛的Frank-Wolfe型方法，用于在谱hedron上高效最小化平滑凸函数。
2026-03-02 cs.LG math.OC
Linearly convergent stochastic heavy ball method for minimizing generalization error
University of Edinburgh, United Kingdom（爱丁堡大学，英国）；KAUST, Kingdom of Saudi Arabia（王国沙特阿拉伯的KAUST）
本文首次证明了随机重力球方法的线性收敛性，通过固定步长的SGD步骤结合重力球动量项，专注于最小化期望损失而非有限和最小化。
2017-12-23 cs.LG cs.NA math.NA
On the convergence properties of a majorized ADMM for linearly constrained convex optimization problems with coupled objective functions
本文研究了目标函数为耦合函数的线性约束凸优化问题的优化交替方向乘子法（ADMM）的收敛性.我们的收敛性分析依赖于广义中值定理，由于耦合目标函数的存在，该定理在正确控制交叉项方面起着重要作用。我们的结果特别表明，直接应用2-块ADMM与一个大的步长的线性约束凸优化问题与二次耦合目标函数是收敛的温和条件。我们还提供了几个迭代算法的复杂性结果。
2015-01-31 math.OC
Learning to optimize with guarantees: a complete characterization of linearly convergent algorithms
School of Electrical Engineering and Computer Science, and Digital Futures, KTH Royal Institute of Technology, Sweden（电气工程与计算机科学学院及数字未来学院，瑞典皇家理工学院）；Australian Centre for Robotics and School of Aerospace, Mechanical and Mechatronic Engineering, The University of Sydney, Australia（澳大利亚机器人中心及航空航天、机械与机电工程学院，澳大利亚悉尼大学）；Department of Engineering Sciences, University of Oxford, United Kingdom（工程科学系，英国牛津大学）
本文研究了如何通过改进算法在特定问题分布下的平均性能，提出了一种线性收敛算法的完整表征方法，展示了如何通过基线算法和可训练的指数衰减修改来实现线性收敛，并在非凸、梯度主导函数、强凸函数和多面体可行集优化中验证了其有效性。
2026-06-04 cs.LG cs.SY eess.SY
Linearly Convergent Algorithms for Nonsmooth Problems with Unknown Smooth Regions
School of Industrial Engineering, Purdue University, USA（工业工程学院，普渡大学，美国）；Department of Mathematics, CIT, TU Munich, Germany（数学系，CIT，慕尼黑技术大学，德国）
针对未知分片划分的分片光滑优化，提出BL型方法实现QG条件下全局线性收敛，并给出无需问题参数的可验证终止准则与近无参数算法。
2026-10-15 cs.LG math.OC
A Linearly-Convergent Stochastic L-BFGS Algorithm
University of California, Berkeley（加州大学伯克利分校）
本文提出一种新的随机L-BFGS算法，证明了其在强凸和光滑函数上的线性收敛性，并展示了其在大规模凸优化问题中的高效性能。
2016-04-13 cs.LG cs.NA math.NA
A Globally Convergent Distributed Jacobi Scheme for Block-Structured Nonconvex Constrained Optimization Problems
针对高性能并行计算的需求，设计了一种求解线性耦合块结构非凸约束最优化问题的分布式并行算法.我们的算法进行雅可比型的增广拉格朗日函数的近端更新，只需要可分块非线性规划（NLP）问题的局部解。我们提供了一个便宜的，明确可计算的李雅普诺夫函数，使我们能够建立我们的算法，其迭代复杂性，以及简单，实用和理论上的收敛规则，自动调整其参数的全局和局部次线性收敛。这与现有的算法相比，非凸约束优化的基础上的交替方向法的乘法器，依赖于至少以下之一：高斯-赛德尔或顺序更新，全局解决方案的NLP问题，不可计算的李雅普诺夫函数，手动调整参数。数值实验展示了其在大规模问题上的优势，包括在168个时间段内对9000总线AC最优潮流测试用例进行多周期优化，并使用开源Julia代码在Summit超级计算机上解决。
2021-12-16 math.OC
A Fast Globally Linearly Convergent Algorithm for the Computation of Wasserstein Barycenters
我们考虑的问题计算Wasserstein重心的一组离散概率分布与有限的支持，发现许多领域，如统计，机器学习和图像处理。当重心的支撑点是预先指定的，这个问题可以建模为一个线性规划（LP）的问题，其大小可以是非常大的。为了处理这个大规模的LP，我们分析了其对偶问题的结构，这是可以想象的更容易处理，可以重新表述为一个结构良好的凸问题与3种块变量和耦合线性等式约束。然后，我们适应基于对称高斯-赛德尔的交替方向法的乘法器（sGS-ADMM）来解决由此产生的对偶问题，并建立其整体收敛和全局线性收敛速率。作为有效计算的一个关键组成部分，我们还展示了如何准确有效地解决所有涉及的子问题。这使得我们的方法适合于计算一个大规模的数据集上的Wasserstein重心，而不引入熵正则化项，因为通常是实践。此外，我们的sGS-ADMM可以用作交替最小化方法中的子程序，以计算重心时，它的支持点没有预先指定。在合成数据集和图像数据集上的数值结果表明，与现有的两种代表性方法和商业软件Guesthouse相比，该方法在求解大规模Wasserstein质心问题上具有很强的竞争力.
2020-12-26 math.OC stat.ML
Linear-memory and Decomposition-invariant Linearly Convergent Conditional Gradient Algorithm for Structured Polytopes
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
最近，一些工作表明，自然修改的经典条件梯度法（又名Frank-Wolfe算法）约束凸优化，可证明收敛线性速度时：i）的可行集是一个多面体，ii）的目标是光滑和强凸。然而，所有这些结果都有两个显著的缺点：由于需要存储显式的凸分解的当前迭代的大内存需求，因此，每次迭代的大运行时间开销，以及不利地依赖于维度的最坏情况下的收敛速度。在这项工作中，我们提出了一个新的条件梯度变量和相应的分析，改善了上述两个缺点。特别是：内存和计算开销在维度上都是线性的。此外，在情况下的最优解是稀疏的，新的收敛速度取代了一个因素，这是至少在以前的作品中的维度是线性的，与非零的最优解的数量的线性依赖。在我们的方法和相应的分析的核心，是一种新的方法来计算分解不变的远离步骤。虽然我们的理论保证不适用于任何多面体，但它们适用于几个重要的结构化多面体，这些多面体捕获了中心概念，如图中的路径，二部图中的完美匹配，结构化预测任务中出现的边缘分布等。我们的理论研究结果得到了经验证据的补充，这表明我们的方法提供了最先进的性能。
2016-05-20 cs.LG math.OC
Linearly convergent adjoint free solution of least squares problems by random descent
提出仅依赖前向求值、无需伴随映射的随机下降方法求解线性最小二乘问题，证明其线性收敛性，并在不适定反问题及数值实验中展现优于TFQMR和CGS等无转置方法的性能。
2023-09-14 cs.NA math.NA math.OC
Linearly convergent nonlinear conjugate gradient methods for a parameter identification problems
Khalifa University of Sciences and Technology（Khalifa大学）；New York University in Abu Dhabi（纽约大学阿布扎比分校）
本文提出了一种用于非线性微分方程系统参数估计反问题的通用描述，采用最优控制工具和状态约束进行求解，通过非线性共轭梯度方法实现线性收敛性分析。
2018-06-26 cs.NA math-ph math.MP
A Linearly Convergent Conditional Gradient Algorithm with Applications to Online and Stochastic Optimization
Technion - Israel Inst. of Tech.（以色列理工学院）
线性优化在算法上比非线性凸优化简单许多倍。线性优化拟阵多面体，匹配多面体和路径多面体的问题，我们有简单而有效的组合算法的例子，但其非线性凸对应更难，并承认显着效率较低的算法。这就激发了凸优化的计算模型，包括离线，在线和随机设置，使用线性优化预言机。在这个计算模型中，我们给出了几个新的结果，改善了以前的国家的最先进的。我们的主要结果是一个新的条件梯度算法光滑和强凸优化多面体集，执行只有一个单一的线性优化步骤，在每个迭代的域上，并享有线性收敛速度。这给出了一个指数级的改善收敛速度比以前的结果。基于这个新的条件梯度算法，我们给出了第一个算法的在线凸优化多面体集，只执行一个单一的线性优化步骤的域，同时有最佳的遗憾保证，回答一个悬而未决的问题Kalai和Vempala，Hazan和羽衣甘蓝。我们的在线算法也意味着条件梯度算法的非光滑和随机凸优化与投影（子）梯度方法相同的收敛速度。
2015-08-14 cs.LG math.OC stat.ML
A Local-Linearly Convergent Algorithm for Nonconvex Equality-Constrained Optimization
Lehigh University（理海大学）
本文拓展了梯度-本征步算法的分析，证明其在特定条件下具备局部线性收敛速率，还可作为子问题求解器应用于渐进采样策略，以优化大样本等式约束优化的样本复杂度。
2026-08-14 cs.LG math.OC stat.ML
Linear Convergence of Proximal Gradient Algorithm with Extrapolation for a Class of Nonconvex Nonsmooth Minimization Problems
本文研究了求一个Lipschitz可微函数与一个适当的闭凸函数之和的最小化问题的外推近似梯度算法。在[19]中用于分析邻近梯度算法收敛性的误差界条件下，我们证明存在一个阈值，使得如果选择的外推系数低于该阈值，则生成的序列$R$线性收敛到问题的稳定点。此外，相应的目标值序列也是$R$ -线性收敛的。此外，阈值降低到$1$凸问题，因此，我们得到的$R$ -线性收敛的序列所产生的FISTA与固定的重新启动。最后，我们提出了一些数值实验来说明我们的结果。
2016-08-01 math.OC stat.ML
A family of spectral gradient methods for optimization
提出了一类谱梯度法，其步长由长BB步长和短BB步长的凸组合决定.在最小二乘意义下，该族的每个成员都具有一定的拟牛顿性质。该族还包括其他一些梯度法作为其特例。证明了这类方法对二维严格凸二次型是$R$ -超线性收敛的。而且，该族在任意维情形下是$R$ -线性收敛的.数值结果表明，该族具有良好的应用前景。
2018-12-07 math.OC
Open Problem: Polynomial linearly-convergent method for geodesically convex optimization?
本文提出一般 Riemannian 流形上测地凸优化是否存在多项式线性收敛一阶方法的开放问题，并在常曲率情形给出类椭球算法。
2023-07-24 cs.CC cs.NA math.DG
Augmented L1 and Nuclear-Norm Models with a Globally Linearly Convergent Algorithm
本文研究了在稀疏优化的背景下添加一个光滑函数来“光滑”不可微目标函数的长期存在的思想，特别是$||x||_1+1/(2α)||x||_2^2$的最小化，其中$x$是一个向量，以及$||X||_*+1/(2α)||X||_F^2$的最小化，其中$X$是一个矩阵，$||X||_*$和$||X||_F$分别是$X$的核和Frobenius范数。我们表明，他们可以有效地恢复稀疏向量和低秩矩阵。特别是，他们享有准确和稳定的恢复保证类似于那些已知的最小化$||x||_1$和$||X||_*$的条件下的传感运营商，如其零空间属性，限制等距属性，球面截面属性，或RIP属性。为了恢复（几乎）稀疏向量$x^0$，最小化$||x||_1+1/(2α)||x||_2^2$几乎每当$α\ge 10||x^0||_\infty$时返回与最小化$||x||_1$（几乎）相同的解。在最小化$||X||_*+1/(2α)||X||_F^2$和最小化$||X||_*$以恢复（接近）低秩矩阵$X^0$（如果$α\ge 10||X^0||_2$）之间也保持相同的关系。此外，我们证明了线性化Bregman算法的最小化$||x||_1+1/(2α)||x||_2^2$受$Ax=b$享有全局线性收敛，只要一个非零解存在，我们给出了一个明确的收敛速度。收敛属性不需要解或$A$上的任何属性。据我们所知，这是一阶稀疏优化算法最著名的…
2013-03-14 cs.IT math.IT math.OC
WARPd: A linearly convergent first-order method for inverse problems with approximate sharpness conditions
École Normale Supérieure（巴黎高等师范学院）
从欠采样和噪声测量中重建信号是一个相当感兴趣的话题。Sharpness条件直接控制一阶方法的重启方案的恢复性能，而不需要强凸性等限制性假设。然而，它们在存在噪声或近似模型类（例如，近似稀疏性）。我们提供了一个一阶的方法：加权，加速和重新启动的原始-对偶（WARPd），基于原始-对偶迭代和一个新的restart-reweight计划。在一般的近似清晰度条件下，WARPd实现稳定的线性收敛到期望的矢量。许多令人感兴趣的问题都适合这个框架。例如，我们分析了压缩感知中的稀疏恢复、低秩矩阵恢复、矩阵完备、TV正则化、约束下的$\|Bx\|_{l^1}$最小化（一般$B$的$l^1$分析问题）以及混合正则化问题。我们展示了几个数量控制恢复性能也提供了明确的近似锐度常数。数值实验表明，WARPd与专业的最先进的方法相比，是非常适合解决大规模问题。我们还提出了一种基于平方根LASSO解码器的噪声盲变体。最后，我们将展示如何将WARPd展开为神经网络。这个逼近论的结果为逆问题的稳定和精确的神经网络提供了下界，并揭示了体系结构的选择。代码和示例库作为MATLAB软件包在线提供。
2021-10-24 cs.CV cs.IR cs.NA
An adaptive proximal point algorithm framework and application to large-scale optimization
研究了邻近点法（PPA）及其在误差界条件下的不精确推广，当邻近正则化参数大于误差界条件参数时，PPA保证全局线性收敛.我们提出了一种自适应广义邻近点法（AGPPA），它根据一些可实现的准则自适应地更新邻近正则化参数。我们表明，AGPPA实现线性收敛没有任何知识的误差界条件参数，和速度只不同的最佳的一个对数项。我们将AGPPA应用于凸极小化问题，并分析了算法的迭代复杂性界。我们的框架和复杂性的结果适用于任意线性收敛的内部求解器，并允许与任何局部快速收敛的方法的混合。我们通过应用AGPPA求解大规模线性规划（LP）问题来说明AGPPA的性能。由此产生的复杂性界有一个较弱的依赖霍夫曼常数和尺度的尺寸比线性ADMM。在数值实验中，我们的算法在获得中等精度的大规模LP问题的解决方案，表现出改善的性能。
2021-02-25 math.OC
Nonconvex Proximal Incremental Aggregated Gradient Method with Linear Convergence
本文研究了极小化L-光滑非凸分量函数与适当的闭凸函数之和的邻近增量聚集梯度算法。利用L-光滑性质和误差界条件，我们可以证明即使对于非凸极小化问题，PIAG方法仍然具有良好的线性收敛性质.为了说明这一点，我们首先证明了生成的序列全局收敛到平稳点集。然后，存在一个阈值，使得当步长小于该阈值时，目标函数值序列和目标点序列都是R-线性收敛的。
2018-04-07 math.OC
R-Linear Convergence of Limited Memory Steepest Descent
Fletcher提出的有限记忆最速下降法（LMSD）是Barzilai-Borwein“两点步长“策略在求解无约束最优化问题的最速下降法中的推广。众所周知，当Barzilai-Borwein策略用于极小化一个强凸二次型时，它给出了一个具有R-线性收敛速率的方法.本文将这一分析推广到LMSD，也推广到强凸二次型。特别是，它表明，该方法是R-线性收敛的历史长度参数的任何选择。数值实验的结果被提供来说明通过理论分析所揭示的方法的行为。
2016-10-12 math.OC
Convergence of Proximal Splitting Algorithms in CAT(k) Spaces and Beyond
在CAT（k）空间中，由prox映射（如：K-prox，Krasnoselsky-Mann松弛，非线性投影梯度）构造的公共不动点迭代在线性度量次正则性假设下局部线性收敛.对于线性收敛的不动点序列，线性度量次正则性在任何情况下都是必要的，因此结果是紧的。为了证明这一点，我们发展了一个不动点映射理论，它违反了p-一致凸空间中的非扩张性和固定非扩张性的通常假设。
2021-05-12 math.FA math.OC
Provably Convergent Decentralized Optimization over Directed Graphs under Generalized Smoothness
Department of Electrical and Computer Engineering, Clemson University（电气与计算机工程系，克莱姆森大学）
本文提出了一种在一般光滑性下具有证明收敛性的去中心化优化框架，通过梯度跟踪与裁剪技术，在无界梯度不一致性条件下实现更稳定的收敛性能。
2026-01-07 cs.LG math.OC
Innovation Compression for Communication-efficient Distributed Optimization with Linear Convergence
Tsinghua University（清华大学）；Nanyang Technological University（南洋理工大学）
在对等网络分布式优化中，信息压缩是降低通信代价的关键。提出了一种求解强凸优化问题的通信有效的线性收敛分布式（COLD）算法。通过压缩新息向量，这是决策向量和他们的估计之间的差异，COLD是能够实现线性收敛的一类$δ$压缩器。我们明确量化压缩如何影响的收敛速度，并表明COLD匹配其未压缩版本的相同速率。为了适应更广泛的压缩机，包括二进制量化器，我们进一步设计了一种新的动态缩放机制，并获得线性收敛Dyna-COLD。重要的是，我们的结果严格改进了量化共识问题的现有结果。数值实验证明了两种算法在不同压缩器下的优越性。
2021-05-14 cs.DC cs.LG cs.SY
Direct Spectral Acceleration of First-Order Methods for Saddle Point Problems with Bilinear Coupling
University of California, Berkeley（加州大学伯克利分校）
本文提出了一种直接谱加速方法，用于解决具有双线性耦合的 saddle 点问题，实现了最优线性收敛，无需 Chebyshev 内循环或双循环设计。
2026-02-27 math.OC
A Linearly Convergent Algorithm for Petz-Augustin Means with Applications to Computing Petz-Augustin Capacity and Equilibrium Prices in Fisher Markets
National Taiwan University（国立台湾大学）
研究阶数为α的Petz-Augustin均值的计算，提出首个具非渐近收敛保证的线性速率算法，并应用于计算Petz容量及求解Fisher市场均衡价格。
2026-10-20 cs.IT math.IT math.OC
A Globally Convergent Algorithm for Neural Network Parameter Optimization Based on Difference-of-Convex Functions
ETH Zurich（苏黎世联邦理工学院）；FAU Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；LMU Munich（慕尼黑大学）
本文针对单隐藏层神经网络参数优化，提出基于分块差分凸表示并结合分块坐标下降与DCA的全局收敛算法，并给出线性或更快收敛条件，数值实验验证其优于主流梯度求解器。
2024-01-15 cs.LG cs.NE math.OC
Global Complexity Analysis of Inexact Successive Quadratic Approximation methods for Regularized Optimization under Mild Assumptions
逐次二次逼近（SQA）是一种有效的数值方法，它能使光滑函数和凸函数之和最小化。近年来，人们对非精确SQA方法的迭代复杂性进行了分析。本文提出了一种基于四种线搜索的非精确SQA方法的算法框架，并在较温和的假设下分析了其全局复杂性。首先，我们证明了它的良定性和一些递减性质。其次，在二次增长条件和步长的一致正下界条件下，证明了函数值序列和非线性序列是线性收敛的。此外，我们得到了一个O（1/k）的复杂性没有二次增长条件，改善现有的O（1/k）的复杂性结果。最后，我们证明了局部梯度Lipschitz连续条件可以保证步长的一致正下界。
2018-08-13 math.OC
Convergence Analysis of Alternating Direction Method of Multipliers for a Family of Nonconvex Problems
乘子交替方向法（ADMM）在求解大规模线性约束最优化问题（凸或非凸）中有着广泛的应用。然而，当目标函数为非凸函数时，该算法的理论认识普遍缺乏。在本文中，我们分析了ADMM解决某些非凸的共识和共享问题的收敛性，并表明，经典的ADMM收敛到固定的解决方案，提供增广拉格朗日的罚参数选择足够大。对于共享问题，我们证明了ADMM是收敛的，无论可变块的数量。我们的分析不施加任何假设的算法产生的迭代，并广泛适用于许多ADMM变种，涉及近端更新规则和各种灵活的块选择规则。
2015-11-30 math.OC
Linear Convergence of Accelerated Stochastic Gradient Descent for Nonconvex Nonsmooth Optimization
本文研究了求解非凸非光滑最优化问题的随机梯度下降（SGD）方法，提出了一种结合方差缩减技术和Nesterov外推技术的加速SGD方法。此外，基于局部误差界条件，我们建立了该方法的线性收敛性，以获得非凸优化的稳定点。特别地，我们证明了不仅生成的序列线性收敛到问题的一个稳定点，而且相应的目标值序列也线性收敛。最后，数值实验验证了该方法的有效性.据我们所知，它首先证明了加速SGD方法线性收敛到非凸优化的局部极小值。
2019-02-14 cs.LG math.OC stat.ML
