A Linearly Convergent Doubly Stochastic Gauss-Seidel Algorithm for Solving Linear Equations and A Certain Class of Over-Parameterized Optimization Problems
考虑求解一般线性方程组$Ax=b$的经典问题。众所周知，当$A$既不是对角占优的也不是对称正定的时，Gauss-Seidel格式及其许多变体可能不收敛。我们能有一个线性收敛的G-S型算法，适用于{ \it any} $A$吗？在本文中，我们肯定地回答这个问题，提出了一个双随机G-S算法，可证明线性收敛（在均方误差意义下）的任何可行的线性系方程。算法设计的关键是引入{ \it非均匀双随机}格式，用于在每一步更新中选取方程和变量，并引入步长规则。这些技术还推广到用于解决具有任意$A$的线性可行性问题$A x\le b$的某些迭代交替投影算法，以及用于在机器学习中训练过参数化模型的高维最小化问题。我们的结果表明，一个精心设计的随机化方案可以使一个否则发散的G-S算法收敛。
2019-05-13 math.OC
A Linearly Convergent Projection-Free Algorithm for Smooth Convex Sets
针对光滑凸集上光滑强凸函数的极小化问题，提出用梯度计算和支撑切线计算替代昂贵的投影，实现线性收敛，且切线可通过\tilde{O}(d)个成员查询近似，突破了此前仅多面体等集能实现无投影线性收敛的局限。
2026-08-19 math.OC
A Linearly Convergent Robust Compressed Push-Pull Method for Decentralized Optimization
在现代多智能体网络的范例中，通信已经成为分散优化的主要瓶颈之一，其中大量的智能体参与最小化局部费用函数的平均值。在本文中，我们提出了一个强大的压缩推挽算法（RCPP），结合梯度跟踪和通信压缩。特别地，RCPP与更一般的压缩运算符类兼容，这些压缩运算符允许相对和绝对压缩错误。我们证明了RCPP在一般有向网络上对光滑的满足Polyak-Jasojasiewicz条件的目标函数具有线性收敛速率。数值算例验证了理论结果，并证明了所提出的算法的效率，灵活性和鲁棒性。
2023-03-13 math.OC
A Linearly Convergent Douglas-Rachford Splitting Solver for Markovian Information-Theoretic Optimization Problems
在这项工作中，我们提出了解决信息瓶颈（IB）和隐私漏斗（PF）问题的道格拉斯-Rachford分裂方法（DRS）。我们研究了一个一般的马尔可夫信息论拉格朗日，包括IB和PF到一个统一的框架。我们证明了线性收敛的建议求解器使用Kurdyka-Eschojasiewicz不等式。此外，我们的分析是超越IB和PF，并适用于任何凸-弱凸对目标。基于这些结果，我们开发了两种类型的线性收敛IB求解器，其中一种比现有求解器提高了收敛性能，而另一种可以独立于相关性压缩权衡。此外，我们的结果适用于PF，产生一类新的线性收敛PF求解器。从经验上讲，建议的IB求解器IB获得的解决方案是可比的Blahut-Arimoto为基础的基准和收敛的惩罚系数比现有的求解器的范围更广。对于PF，我们的非贪婪求解器可以比基于聚类的贪婪求解器更好地表征隐私效用权衡。
2022-10-23 cs.IT math.IT math.OC
A Linearly Convergent Majorized ADMM with Indefinite Proximal Terms for Convex Composite Programming and Its Applications
研究凸组合最优化问题的一种优化的不定邻近项乘子交替方向法（iPADMM）.我们发现，优化的iPADMM的2块凸最优化问题的全局收敛的条件下较弱的文献中所使用的，并表现出线性收敛速率下的局部误差界条件。在此基础上，我们建立了一个基于对称Gaussian-Seidel的优化iPADMM的线性速度收敛结果，该算法是针对多块复合凸优化问题而设计的。此外，我们应用优化的iPADMM来解决不同类型的正则化逻辑斯谛回归问题。合成和真实数据集上的数值结果证明了优化的iPADMM的有效性，也说明了引入的不定邻近项的有效性。
2018-02-07 math.OC
Hybrid Acceleration Scheme for Variance Reduced Stochastic Optimization Algorithms
随机方差缩减的最优化方法具有全局收敛性，但存在局部收敛慢的问题，特别是当需要中精度或高精度时。为了缓解这个问题，我们提出了一个优化算法-我们称之为一个混合加速计划-一类近似方差减少随机最优化算法。所提出的优化方案结合了快速局部收敛的算法，如拟牛顿法，与全局收敛的方差减少的随机算法，如SAGA或L-SVRG。我们的混合加速方法的整体收敛结果是基于特定的保障条件，需要满足一个步骤的局部快速收敛的方法被接受。我们证明了由混合加速方案产生的迭代序列几乎必然收敛到底层最优化问题的解。我们还提供了数值实验，显示显着改善的收敛性的混合加速计划相比，基本的随机方差减少优化算法。
2021-11-12 math.OC
Linearly convergent bilevel optimization with single-step inner methods
本文提出一种介于牛顿型全系统求解与隐函数处理之间的双层优化新方法，通过预处理使内层、伴随方程和外层交替更新，证明了线性收敛性，并在图像去噪和去卷积任务中验证了有效性。
2023-05-29 math.OC
An inexact proximal augmented Lagrangian framework with arbitrary linearly convergent inner solver for composite convex optimization
针对复合凸优化问题，提出了一种具有显式内问题终止规则的非精确近似增广拉格朗日框架。我们考虑任意线性收敛的内部求解器，特别是随机算法，使所得到的框架更可扩展性，面对不断增加的问题维度。每个子问题都不精确地解决了一个明确的和自适应的停止标准，而不需要设置一个先验的目标精度。当原始域和对偶域有界时，我们的方法分别在强凸和非强凸情况下，实现了$O(1/\sqrtε)$和$O(1/ε)$复杂性界的内部求解器迭代次数。在没有有界性假设的情况下，只需要增加对数项，上述两个复杂性界分别增加到$\tilde O(1/\sqrtε)$和$\tilde O(1/ε)$，对于获得$ε$-最优解和$ε$-KKT解，这两个复杂性界都成立.在我们提出的一般框架内，我们还获得了在相对光滑假设下，关于目标函数的可微分量的$\tilde O(1/ε)$和$\tilde O(1/{ε^2})$复杂性界。我们通过理论分析和数值实验表明，使用随机内求解器的大规模问题可能实现的计算加速。
2019-09-20 math.OC
Linearly Convergent Gradient-Free Methods for Minimization of Parabolic Approximation
求非凸函数的全局极小值值是现代最优化中最主要也是最困难的问题之一。在本文的第一部分中，我们考虑了一类“好”的非凸函数，它可以由一个抛物函数上下有界。我们表明，只使用零阶预言，可以获得线性速度$\log \left(\frac{1}{\varepsilon}\right)$找到的全局极小值上的立方体。第二部分的文件看起来在非凸问题略有不同的方式。我们假设最小化二次函数，但同时我们可以访问带有噪声的零阶预言，并且该噪声与到解的距离成正比。在文献中，处理无梯度方法的这种噪声假设是新的。我们表明，在这里也可以实现线性收敛速率。
2021-02-27 math.OC
A Linearly Convergent Algorithm for Rotationally Invariant $\ell_1$-Norm Principal Component Analysis
为了对含有异常值的数据集进行降维，$\ell_1$范数主成分分析（L1-PCA）作为传统PCA的一种典型的鲁棒性替代方法，近年来得到了广泛的应用。在这项工作中，我们考虑了旋转不变的L1-PCA，这是在文献中几乎没有研究。为了解决这个问题，我们提出了一个近似的交替线性化最小化方法与非线性外推求解其两块重组。此外，我们表明，所提出的方法至少线性收敛到一个限制的临界点的重新制定的问题。在给定步长的条件下，证明了该点是原问题的一个临界点。最后，我们在合成数据集和真实数据集上进行数值实验，以支持我们的理论发展并证明我们方法的有效性。
2022-10-26 eess.SP math.OC
Linearly convergent stochastic heavy ball method for minimizing generalization error
University of Edinburgh, United Kingdom（爱丁堡大学，英国）；KAUST, Kingdom of Saudi Arabia（王国沙特阿拉伯的KAUST）
本文首次证明了随机重力球方法的线性收敛性，通过固定步长的SGD步骤结合重力球动量项，专注于最小化期望损失而非有限和最小化。
2017-12-23 cs.LG cs.NA math.NA
GPU-friendly and Linearly Convergent First-order Methods for Certifying Optimal $k$-sparse GLMs
本文提出了一种适用于GPU且线性收敛的一阶方法，用于高效证明稀疏GLMs的最优性，通过复合优化和对偶间隙理论提升计算效率。
2026-03-01 cs.LG math.OC
Linearly Convergent Frank-Wolfe with Backtracking Line-Search
机器学习中的结构化约束最近使Frank-Wolfe（FW）算法家族重新成为人们关注的焦点。经典FW算法的局部收敛性能较差，而Away-steps和Pairwise FW算法作为改进的FW算法已经出现，具有更快的收敛速度。然而，这些改进的变体遭受两个实际的限制：他们需要在每次迭代，以解决一个1维最小化问题，以设置步长，也需要弗兰克-沃尔夫线性子问题，以解决准确。在本文中，我们提出了变体的离开步骤和成对FW，同时解除这两个限制。所提出的方法设置的步长的基础上充分减少的条件，并且不需要先验知识的目标。此外，他们继承了所有良好的收敛性能的精确线搜索版本，包括线性收敛的强凸函数多面体。不同机器学习问题的基准测试说明了所提出的变体的巨大性能增益。
2022-09-08 math.OC
Linearly Convergent Away-Step Conditional Gradient for Non-strongly Convex Functions
考虑了在紧多面体集上极小化一个函数的问题，该函数是一个线性函数和一个强凸函数与一个线性变换的复合函数之和。Jaggi和Lacoste-Julien [14]表明，在没有附加线性项的情况下，在上述问题上使用的具有远离步骤的条件梯度法具有线性收敛速率，取决于可行集的所谓金字塔宽度。我们重新审视这一结果，并提供了一个变种的算法和分析，是基于简单的对偶参数，以及相应的误差界。这种新的分析（a）使得能够并入额外的线性项，（b）不需要输出可行集的线性映射的极值点的线性预言机，以及（c）取决于被称为“顶点-刻面距离常数”的新常数，其明确地表达在问题的参数和可行集的几何形状方面。这个常数代替了金字塔的宽度，这是很难评估的。
2015-04-20 math.OC
Linearly-Convergent FISTA Variant for Composite Optimization with Duality
提出 FISTA 的新变体 C-FISTA，利用 Fenchel 对偶性证明其在更广泛的复合模型上实现全局线性收敛，并在组 Lasso 和组逻辑回归模型上优于现有求解器。
2023-07-28 math.OC
A Linearly Convergent Proximal Gradient Algorithm for Decentralized Optimization
分散式优化是一个强大的范例，在工程和学习设计中找到应用。本文研究了具有非光滑正则项的分散复合最优化问题。已知大多数现有的基于梯度的邻近分散方法以次线性速率收敛到最优解，并且仍然不清楚这类方法是否可以实现全局线性收敛。为了解决这个问题，这项工作假设非光滑正则化项在所有网络代理中是共同的，这是许多机器学习问题的情况。在此条件下，我们设计了一个近似梯度分散算法，其不动点与期望的最小值重合。然后，我们提供了一个简洁的证明，建立其线性收敛。在没有非光滑项的情况下，我们的分析技术涵盖了众所周知的EXTRA算法，并提供了有用的界的收敛速度和步长。
2019-10-25 cs.DC math.OC
A Linearly Convergent Algorithm for Decentralized Optimization: Sending Less Bits for Free!
KAUST（沙特阿拉伯国王科技大学）；EPFL（洛桑联邦理工学院）
分散式最优化方法能够在没有中央协调器的情况下在设备上训练机器学习模型。在许多情况下，设备之间的通信需要能量和时间，并且形成整个系统的瓶颈。我们提出了一种新的随机一阶方法，通过将随机压缩算子应用于通信消息来解决通信瓶颈。通过将我们的方案与一种新的方差降低技术相结合，该技术在整个迭代过程中逐渐降低了注入的量化噪声的不利影响，我们获得了第一个仅使用压缩通信时在强凸分散问题上线性收敛的方案。我们证明，我们的方法可以解决的问题，没有任何增加的通信数量相比，基线不执行任何通信压缩，同时仍然允许一个显着的压缩因子，这取决于条件的问题和网络的拓扑结构。我们的主要理论研究结果得到了数值实验的支持。
2020-11-03 cs.LG math.OC
An Efficient Linearly Convergent Regularized Proximal Point Algorithm for Fused Multiple Graphical Lasso Problems
如今，分析来自不同类别或跨时间网格的数据已经引起了极大的兴趣。因此，通过引入图中的稀疏性和多个图之间的相似性，已经导出了用于同时学习图形模型的集合的各种多个图形模型。本文重点研究了融合的多图Lasso模型，它不仅鼓励共享稀疏模式，而且鼓励共享不同图之间的边值。为了求解该模型，我们提出了一种有效的正则化邻近点法，其中算法每次迭代的子问题由超线性收敛的半光滑牛顿法求解。为了实现半光滑牛顿法，我们推导了融合多重图Lasso正则化子的邻近映射的广义雅可比矩阵的显式表达式。与那些广泛使用的一阶方法不同，我们的方法通过半光滑牛顿方法大量利用了潜在的二阶信息。这不仅可以加快算法的收敛速度，而且提高了算法的鲁棒性。我们所提出的算法的效率和鲁棒性证明了一些国家的最先进的方法在合成和真实的数据集进行比较。本文的补充材料可在网上查阅。
2019-02-19 math.OC
DOT and DOP: Linearly Convergent Algorithms for Finding Fixed Points of Multi-Agent Operators
研究了有向非平衡多智能体网络上全局算子的分布式不动点寻找问题，其中全局算子是拟非扩张的，每个智能体只能部分地访问全局算子.讨论了两种情况，即全局算子是和可分的块可分的。对于第一种情况，全局算子是局部算子的和，假设局部算子是Lipschitz，每个局部算子都是每个个体Agent所私有的。针对这种情况，提出了一种分布式（或分散式）算法，称为分布式拟平均算子跟踪算法（DOT），并对其进行了严格的分析，证明了该算法在线性正则条件下能够以线性速率收敛到全局算子的不动点，这比现有凸优化文献中对费用函数的强凸性假设要弱.对于第二种情况，全局算子由一组局部块算子组成，这些局部块算子是Lipschitz算子，并且只能由每个个体代理访问。在此基础上，提出了一种分布式算法，称为分布式拟平均算子播放算法（DOP），并证明了在线性正则性条件下，该算法线性收敛于全局算子的一个不动点.上述研究问题为许多有趣的问题提供了一个统一的框架。作为例子，建议DOT和DOP被用来处理分布式优化和多人博弈下的部分决策信息。最后，数值例子来证实理论结果。
2021-07-11 math.OC
A Randomized Linearly Convergent Frank-Wolfe-type Method for Smooth Convex Minimization over the Spectrahedron
Technion - Israel Institute of Technology（技术学院-以色列理工学院）
本文提出了一种随机线性收敛的Frank-Wolfe型方法，用于在谱hedron上高效最小化平滑凸函数。
2026-03-02 cs.LG math.OC
Learning to optimize with guarantees: a complete characterization of linearly convergent algorithms
School of Electrical Engineering and Computer Science, and Digital Futures, KTH Royal Institute of Technology, Sweden（电气工程与计算机科学学院及数字未来学院，瑞典皇家理工学院）；Australian Centre for Robotics and School of Aerospace, Mechanical and Mechatronic Engineering, The University of Sydney, Australia（澳大利亚机器人中心及航空航天、机械与机电工程学院，澳大利亚悉尼大学）；Department of Engineering Sciences, University of Oxford, United Kingdom（工程科学系，英国牛津大学）
本文研究了如何通过改进算法在特定问题分布下的平均性能，提出了一种线性收敛算法的完整表征方法，展示了如何通过基线算法和可训练的指数衰减修改来实现线性收敛，并在非凸、梯度主导函数、强凸函数和多面体可行集优化中验证了其有效性。
2026-06-04 cs.LG cs.SY eess.SY
Linearly Convergent Variable Sample-Size Schemes for Stochastic Nash Games: Best-Response Schemes and Distributed Gradient-Response Schemes
本文研究了一个$N$ -局中人随机Nash对策，其中第一局中人$i$最小化一个复合目标$f_i(x) + r_i(x_i)$，其中$f_i$是期望值，$r_i$有一个有效的最优估计.在这方面，我们作出以下贡献。(i)在一个强单调性假设的级联梯度图，我们推导出（{ \bf最优}）率报表和Oracle的复杂性界限，建议可变样本量近端随机梯度响应（VS-PGR）计划;（ii）我们覆盖（VS-PGR）的共识阶段，以期发展分布式协议的聚合随机纳什博弈。值得注意的是，当样本量和共识步骤的数量在每次迭代增长在一个合适的速度，线性收敛速率可以实现;（iii）最后，根据一个合适的收缩属性与近端最佳响应（BR）地图，我们设计了一个可变的样本量近端BR（VS-PBR）计划，其中近端BR计算通过解决一个样本平均问题。如果计算样本平均值的批量大小以合适的速率提高，我们证明了所得到的迭代以线性速率收敛，并推导出预言机的复杂性。
2018-10-25 math.OC
A Globally Convergent LCL Method for Nonlinear Optimization
对于具有非线性约束的最优化问题，线性约束拉格朗日（LCL）方法顺序地最小化受线性化约束的拉格朗日函数。这些方法在解附近快速收敛，但从任意起点开始可能不可靠。众所周知的例子\MINOS \已证明对许多大型问题是有效的。它的成功促使我们提出一个全球收敛的变体。我们的稳定LCL方法具有两个重要性质：子问题总是可行的，他们可能会不精确地解决。这些功能在\MINOS中仅作为语法存在。新算法已在\Matlab中实现，可选择使用\MINOS或\SNOPT Fortran代码来求解线性约束子问题。只需要一阶导数。我们提出了数值计算结果的非线性子集的\COPS，\CUTE和HS测试问题集，其中包括许多大型的例子。结果表明，稳定的LCL程序的鲁棒性和效率。
2003-01-10 math.OC
A Linearly-Convergent Stochastic L-BFGS Algorithm
University of California, Berkeley（加州大学伯克利分校）
本文提出一种新的随机L-BFGS算法，证明了其在强凸和光滑函数上的线性收敛性，并展示了其在大规模凸优化问题中的高效性能。
2016-04-13 cs.LG cs.NA math.NA
Rank-Adaptive and Linearly Convergent Frank--Wolfe Method over Spectrahedron via Nonconvex Oracle
The Hong Kong Polytechnic University（香港理工大学）；Tsinghua University（清华大学）
本文提出一种秩自适应Frank--Wolfe方法，通过非凸谱Oracle和有效秩替代，在更新秩不超过最优秩时实现线性收敛，并保持低计算成本。
2026-09-09 math.OC
A superlinearly convergent subgradient method for sharp semismooth problems
次梯度方法包括一类基本的非光滑最优化算法。经典的结果表明，某些次梯度方法对一般Lipschitz凸函数是次线性收敛的，而对远离解急剧增长的凸函数是线性收敛的。最近的工作，而且这些结果扩展到某些非凸问题。在这项工作中，我们试图提高这些算法的复杂性，问：是否有可能设计一个超线性收敛的次梯度法？我们提供了一个肯定的答案，这个问题的一个广泛的一类尖锐的半光滑函数。
2022-01-12 math.OC
Linearly Convergent Algorithms for Nonsmooth Problems with Unknown Smooth Regions
School of Industrial Engineering, Purdue University, USA（工业工程学院，普渡大学，美国）；Department of Mathematics, CIT, TU Munich, Germany（数学系，CIT，慕尼黑技术大学，德国）
针对未知分片划分的分片光滑优化，提出BL型方法实现QG条件下全局线性收敛，并给出无需问题参数的可验证终止准则与近无参数算法。
2026-10-15 cs.LG math.OC
Linearly convergent nonlinear conjugate gradient methods for a parameter identification problems
Khalifa University of Sciences and Technology（Khalifa大学）；New York University in Abu Dhabi（纽约大学阿布扎比分校）
本文提出了一种用于非线性微分方程系统参数估计反问题的通用描述，采用最优控制工具和状态约束进行求解，通过非线性共轭梯度方法实现线性收敛性分析。
2018-06-26 cs.NA math-ph math.MP
Linearly convergent adjoint free solution of least squares problems by random descent
提出仅依赖前向求值、无需伴随映射的随机下降方法求解线性最小二乘问题，证明其线性收敛性，并在不适定反问题及数值实验中展现优于TFQMR和CGS等无转置方法的性能。
2023-09-14 cs.NA math.NA math.OC
A Linearly Convergent Conditional Gradient Algorithm with Applications to Online and Stochastic Optimization
Technion - Israel Inst. of Tech.（以色列理工学院）
线性优化在算法上比非线性凸优化简单许多倍。线性优化拟阵多面体，匹配多面体和路径多面体的问题，我们有简单而有效的组合算法的例子，但其非线性凸对应更难，并承认显着效率较低的算法。这就激发了凸优化的计算模型，包括离线，在线和随机设置，使用线性优化预言机。在这个计算模型中，我们给出了几个新的结果，改善了以前的国家的最先进的。我们的主要结果是一个新的条件梯度算法光滑和强凸优化多面体集，执行只有一个单一的线性优化步骤，在每个迭代的域上，并享有线性收敛速度。这给出了一个指数级的改善收敛速度比以前的结果。基于这个新的条件梯度算法，我们给出了第一个算法的在线凸优化多面体集，只执行一个单一的线性优化步骤的域，同时有最佳的遗憾保证，回答一个悬而未决的问题Kalai和Vempala，Hazan和羽衣甘蓝。我们的在线算法也意味着条件梯度算法的非光滑和随机凸优化与投影（子）梯度方法相同的收敛速度。
2015-08-14 cs.LG math.OC stat.ML
A Local-Linearly Convergent Algorithm for Nonconvex Equality-Constrained Optimization
Lehigh University（理海大学）
本文拓展了梯度-本征步算法的分析，证明其在特定条件下具备局部线性收敛速率，还可作为子问题求解器应用于渐进采样策略，以优化大样本等式约束优化的样本复杂度。
2026-08-14 cs.LG math.OC stat.ML
A Fast Globally Linearly Convergent Algorithm for the Computation of Wasserstein Barycenters
我们考虑的问题计算Wasserstein重心的一组离散概率分布与有限的支持，发现许多领域，如统计，机器学习和图像处理。当重心的支撑点是预先指定的，这个问题可以建模为一个线性规划（LP）的问题，其大小可以是非常大的。为了处理这个大规模的LP，我们分析了其对偶问题的结构，这是可以想象的更容易处理，可以重新表述为一个结构良好的凸问题与3种块变量和耦合线性等式约束。然后，我们适应基于对称高斯-赛德尔的交替方向法的乘法器（sGS-ADMM）来解决由此产生的对偶问题，并建立其整体收敛和全局线性收敛速率。作为有效计算的一个关键组成部分，我们还展示了如何准确有效地解决所有涉及的子问题。这使得我们的方法适合于计算一个大规模的数据集上的Wasserstein重心，而不引入熵正则化项，因为通常是实践。此外，我们的sGS-ADMM可以用作交替最小化方法中的子程序，以计算重心时，它的支持点没有预先指定。在合成数据集和图像数据集上的数值结果表明，与现有的两种代表性方法和商业软件Guesthouse相比，该方法在求解大规模Wasserstein质心问题上具有很强的竞争力.
2020-12-26 math.OC stat.ML
Linear-memory and Decomposition-invariant Linearly Convergent Conditional Gradient Algorithm for Structured Polytopes
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
最近，一些工作表明，自然修改的经典条件梯度法（又名Frank-Wolfe算法）约束凸优化，可证明收敛线性速度时：i）的可行集是一个多面体，ii）的目标是光滑和强凸。然而，所有这些结果都有两个显著的缺点：由于需要存储显式的凸分解的当前迭代的大内存需求，因此，每次迭代的大运行时间开销，以及不利地依赖于维度的最坏情况下的收敛速度。在这项工作中，我们提出了一个新的条件梯度变量和相应的分析，改善了上述两个缺点。特别是：内存和计算开销在维度上都是线性的。此外，在情况下的最优解是稀疏的，新的收敛速度取代了一个因素，这是至少在以前的作品中的维度是线性的，与非零的最优解的数量的线性依赖。在我们的方法和相应的分析的核心，是一种新的方法来计算分解不变的远离步骤。虽然我们的理论保证不适用于任何多面体，但它们适用于几个重要的结构化多面体，这些多面体捕获了中心概念，如图中的路径，二部图中的完美匹配，结构化预测任务中出现的边缘分布等。我们的理论研究结果得到了经验证据的补充，这表明我们的方法提供了最先进的性能。
2016-05-20 cs.LG math.OC
A Stochastic Variance Reduced Primal Dual Fixed Point Method For Linearly Constrained Separable Optimization
本文将随机方差约化梯度（SVRG）方法与文献[7]中提出的原始对偶不动点方法（PDFP）结合起来求解两个凸函数之和，其中一个凸函数是线性复合函数。这类问题通常出现在稀疏信号和图像重建中。所提出的SVRG-PDFP可以被视为Prox-SVRG [37]的推广，最初设计用于两个凸函数的和的最小化。基于一些标准的假设，我们提出了两个变体，一个是强凸的目标函数，另一个是一般凸的情况下。收敛性分析表明，对于一般凸目标函数，SVRG-PDFP的收敛速度为O（1/k）（k为迭代次数），对于k强凸情形，SVRG-PDFP的收敛速度为线性.机器学习和CT图像重建的数值例子表明了算法的有效性。
2020-07-23 math.OC
Open Problem: Polynomial linearly-convergent method for geodesically convex optimization?
本文提出一般 Riemannian 流形上测地凸优化是否存在多项式线性收敛一阶方法的开放问题，并在常曲率情形给出类椭球算法。
2023-07-24 cs.CC cs.NA math.DG
WARPd: A linearly convergent first-order method for inverse problems with approximate sharpness conditions
École Normale Supérieure（巴黎高等师范学院）
从欠采样和噪声测量中重建信号是一个相当感兴趣的话题。Sharpness条件直接控制一阶方法的重启方案的恢复性能，而不需要强凸性等限制性假设。然而，它们在存在噪声或近似模型类（例如，近似稀疏性）。我们提供了一个一阶的方法：加权，加速和重新启动的原始-对偶（WARPd），基于原始-对偶迭代和一个新的restart-reweight计划。在一般的近似清晰度条件下，WARPd实现稳定的线性收敛到期望的矢量。许多令人感兴趣的问题都适合这个框架。例如，我们分析了压缩感知中的稀疏恢复、低秩矩阵恢复、矩阵完备、TV正则化、约束下的$\|Bx\|_{l^1}$最小化（一般$B$的$l^1$分析问题）以及混合正则化问题。我们展示了几个数量控制恢复性能也提供了明确的近似锐度常数。数值实验表明，WARPd与专业的最先进的方法相比，是非常适合解决大规模问题。我们还提出了一种基于平方根LASSO解码器的噪声盲变体。最后，我们将展示如何将WARPd展开为神经网络。这个逼近论的结果为逆问题的稳定和精确的神经网络提供了下界，并揭示了体系结构的选择。代码和示例库作为MATLAB软件包在线提供。
2021-10-24 cs.CV cs.IR cs.NA
Augmented L1 and Nuclear-Norm Models with a Globally Linearly Convergent Algorithm
本文研究了在稀疏优化的背景下添加一个光滑函数来“光滑”不可微目标函数的长期存在的思想，特别是$||x||_1+1/(2α)||x||_2^2$的最小化，其中$x$是一个向量，以及$||X||_*+1/(2α)||X||_F^2$的最小化，其中$X$是一个矩阵，$||X||_*$和$||X||_F$分别是$X$的核和Frobenius范数。我们表明，他们可以有效地恢复稀疏向量和低秩矩阵。特别是，他们享有准确和稳定的恢复保证类似于那些已知的最小化$||x||_1$和$||X||_*$的条件下的传感运营商，如其零空间属性，限制等距属性，球面截面属性，或RIP属性。为了恢复（几乎）稀疏向量$x^0$，最小化$||x||_1+1/(2α)||x||_2^2$几乎每当$α\ge 10||x^0||_\infty$时返回与最小化$||x||_1$（几乎）相同的解。在最小化$||X||_*+1/(2α)||X||_F^2$和最小化$||X||_*$以恢复（接近）低秩矩阵$X^0$（如果$α\ge 10||X^0||_2$）之间也保持相同的关系。此外，我们证明了线性化Bregman算法的最小化$||x||_1+1/(2α)||x||_2^2$受$Ax=b$享有全局线性收敛，只要一个非零解存在，我们给出了一个明确的收敛速度。收敛属性不需要解或$A$上的任何属性。据我们所知，这是一阶稀疏优化算法最著名的…
2013-03-14 cs.IT math.IT math.OC
On the convergence properties of a majorized ADMM for linearly constrained convex optimization problems with coupled objective functions
本文研究了目标函数为耦合函数的线性约束凸优化问题的优化交替方向乘子法（ADMM）的收敛性.我们的收敛性分析依赖于广义中值定理，由于耦合目标函数的存在，该定理在正确控制交叉项方面起着重要作用。我们的结果特别表明，直接应用2-块ADMM与一个大的步长的线性约束凸优化问题与二次耦合目标函数是收敛的温和条件。我们还提供了几个迭代算法的复杂性结果。
2015-01-31 math.OC
Diagonalisation SGD: Fast & Convergent SGD for Non-Differentiable Models via Reparameterisation and Smoothing
NTU Singapore（新加坡南洋理工大学）；Jane Street（简街资本）
本文提出对角化SGD，通过分段定义非可微函数并逐步提高平滑近似精度，在保证收敛到原始目标稳定点的同时实现低方差、快速稳定的优化。
2024-02-20 cs.AI cs.LG math.OC
A Globally Convergent Distributed Jacobi Scheme for Block-Structured Nonconvex Constrained Optimization Problems
针对高性能并行计算的需求，设计了一种求解线性耦合块结构非凸约束最优化问题的分布式并行算法.我们的算法进行雅可比型的增广拉格朗日函数的近端更新，只需要可分块非线性规划（NLP）问题的局部解。我们提供了一个便宜的，明确可计算的李雅普诺夫函数，使我们能够建立我们的算法，其迭代复杂性，以及简单，实用和理论上的收敛规则，自动调整其参数的全局和局部次线性收敛。这与现有的算法相比，非凸约束优化的基础上的交替方向法的乘法器，依赖于至少以下之一：高斯-赛德尔或顺序更新，全局解决方案的NLP问题，不可计算的李雅普诺夫函数，手动调整参数。数值实验展示了其在大规模问题上的优势，包括在168个时间段内对9000总线AC最优潮流测试用例进行多周期优化，并使用开源Julia代码在Summit超级计算机上解决。
2021-12-16 math.OC
Mini-Batch Stochastic Conjugate Gradient Algorithms with Minimal Variance
Beijing University of Posts and Telecommunications（北京邮电大学）；Zhejiang Gongshang University Hangzhou College of Commerce（浙江工商大学杭州商学院）；Chinese Academy of Sciences（中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出一种无偏且最小化方差的随机梯度估计，并将其应用于SCGA和CGVR两种随机共轭梯度算法，证明了线性收敛速率，实验表明新算法在岭回归中收敛更快。
2026-10-27 math.OC
Distributed stochastic projection-free solver for constrained optimization
针对大规模约束有限和优化问题，提出了一种分布式随机无投影算法。全局费用函数被分配给多个代理，每个代理计算其局部随机梯度并与其邻居通信以解决全局问题。随机梯度法计算量小，但由于随机采样引起的方差较大，收敛速度慢。为了构造一个收敛的分布式随机无投影算法，本文在Frank-Wolfe更新中引入了方差缩减技术和梯度跟踪技术。我们开发了一个抽样规则的方差减少技术，以减少随机梯度引入的方差。完整和严格的证明表明，所提出的分布式无投影算法收敛于次线性收敛速度，并享有优越的复杂性保证凸和非凸目标函数。通过比较仿真，我们证明了所提出的算法的收敛性和计算效率。
2022-04-22 cs.MA math.OC
A family of spectral gradient methods for optimization
提出了一类谱梯度法，其步长由长BB步长和短BB步长的凸组合决定.在最小二乘意义下，该族的每个成员都具有一定的拟牛顿性质。该族还包括其他一些梯度法作为其特例。证明了这类方法对二维严格凸二次型是$R$ -超线性收敛的。而且，该族在任意维情形下是$R$ -线性收敛的.数值结果表明，该族具有良好的应用前景。
2018-12-07 math.OC
Innovation Compression for Communication-efficient Distributed Optimization with Linear Convergence
Tsinghua University（清华大学）；Nanyang Technological University（南洋理工大学）
在对等网络分布式优化中，信息压缩是降低通信代价的关键。提出了一种求解强凸优化问题的通信有效的线性收敛分布式（COLD）算法。通过压缩新息向量，这是决策向量和他们的估计之间的差异，COLD是能够实现线性收敛的一类$δ$压缩器。我们明确量化压缩如何影响的收敛速度，并表明COLD匹配其未压缩版本的相同速率。为了适应更广泛的压缩机，包括二进制量化器，我们进一步设计了一种新的动态缩放机制，并获得线性收敛Dyna-COLD。重要的是，我们的结果严格改进了量化共识问题的现有结果。数值实验证明了两种算法在不同压缩器下的优越性。
2021-05-14 cs.DC cs.LG cs.SY
The Boosted DC Algorithm for linearly constrained DC programming
提升凸函数差分算法（Boosted Difference of Convex Functions，BDCA）是近年来提出的一种改进算法，它可以提高经典凸函数差分算法（Difference of Convex Functions，DCA）的性能。这种加速是通过DCA通过线搜索程序计算的点的外推步骤实现的。本文将BDCA算法推广到具有线性约束的凸函数差分问题，并证明了当可行集存在Slater点时，该算法生成的序列的每个聚点都是问题的Karush-Kuhn-Tucker点.当目标函数为二次函数时，我们证明了该算法产生的任何序列都是有界的且R-线性（几何）收敛的。最后，我们提出了一些数值实验，我们比较了DCA和BDCA的性能上的一些具有挑战性的问题：测试一个给定的矩阵，以解决一个范数和无穷范数信赖域子问题，并解决分段二次问题与框约束。我们的数值结果表明，这种新的扩展BDCA优于DCA。
2022-08-02 math.OC
A Linearly Convergent Algorithm for Petz-Augustin Means with Applications to Computing Petz-Augustin Capacity and Equilibrium Prices in Fisher Markets
National Taiwan University（国立台湾大学）
研究阶数为α的Petz-Augustin均值的计算，提出首个具非渐近收敛保证的线性速率算法，并应用于计算Petz容量及求解Fisher市场均衡价格。
2026-10-20 cs.IT math.IT math.OC
A Globally Convergent Algorithm for Neural Network Parameter Optimization Based on Difference-of-Convex Functions
ETH Zurich（苏黎世联邦理工学院）；FAU Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；LMU Munich（慕尼黑大学）
本文针对单隐藏层神经网络参数优化，提出基于分块差分凸表示并结合分块坐标下降与DCA的全局收敛算法，并给出线性或更快收敛条件，数值实验验证其优于主流梯度求解器。
2024-01-15 cs.LG cs.NE math.OC
Convergence of Proximal Splitting Algorithms in CAT(k) Spaces and Beyond
在CAT（k）空间中，由prox映射（如：K-prox，Krasnoselsky-Mann松弛，非线性投影梯度）构造的公共不动点迭代在线性度量次正则性假设下局部线性收敛.对于线性收敛的不动点序列，线性度量次正则性在任何情况下都是必要的，因此结果是紧的。为了证明这一点，我们发展了一个不动点映射理论，它违反了p-一致凸空间中的非扩张性和固定非扩张性的通常假设。
2021-05-12 math.FA math.OC
Asynchronous Stochastic Gradient Descent with Variance Reduction for Non-Convex Optimization
我们提供了第一个非凸优化的异步随机方差降低梯度（SVRG）下降算法的收敛速度的理论分析。最近的研究表明，基于异步随机梯度下降（SGD）算法的方差减少收敛于凸问题的线性收敛速度。然而，目前还没有工作来分析异步SGD方差缩减技术的非凸问题。在本文中，我们研究了SVRG的两个异步并行实现：一个是在分布式存储系统上，另一个是在共享存储系统上。我们提供的理论分析，这两种算法可以获得$O(1/T)$的收敛速度，和线性加速是可以实现的，如果工人的数量是上界。由于参考问题，V1、V2、V3已被撤回，请参考最新版本V4。
2016-12-20 cs.LG math.OC
Provably Convergent Decentralized Optimization over Directed Graphs under Generalized Smoothness
Department of Electrical and Computer Engineering, Clemson University（电气与计算机工程系，克莱姆森大学）
本文提出了一种在一般光滑性下具有证明收敛性的去中心化优化框架，通过梯度跟踪与裁剪技术，在无界梯度不一致性条件下实现更稳定的收敛性能。
2026-01-07 cs.LG math.OC
PMGT-VR: A decentralized proximal-gradient algorithmic framework with variance reduction
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Science and Technology of China（中国科学技术大学）；Hong Kong University of Science and Technology（香港科技大学）
本文考虑分散组合最优化问题。我们提出了一种新的分散方差减少近似梯度算法框架，称为PMGT-VR，它是基于多种技术的组合，包括多共识，梯度跟踪和方差减少。所提出的框架依赖于模仿集中式算法，我们证明了在这个框架下的算法实现收敛速度类似于他们的集中式同行。我们还描述和分析了两种代表性算法：PMGT-SAGA和PMGT-LSVRG，并将它们与现有的最先进的邻近算法进行比较。据我们所知，PMGT-VR是第一个线性收敛的分散随机算法，可以解决分散复合最优化问题。数值实验证明了算法的有效性。
2021-06-05 cs.AI math.OC
Variance Reduced Value Iteration and Faster Algorithms for Solving Markov Decision Processes
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
在本文中，我们提供了更快的算法近似求解折扣马尔可夫决策过程的多参数制度。给定一个折扣马尔可夫决策过程（DMDP）与$|S|$状态，$|A|$行动，折扣因子$γ\in(0,1)$，并在$[-M, M]$范围内的奖励，我们展示了如何计算$ε$ -最优策略，概率$1 - δ$在时间\[ \tilde{O}\left( \left(|S|^2 |A| + \frac{|S| |A|}{(1 - γ)^3} \right) \log\left( \frac{M}ε \right) \log\left( \frac{1}δ \right) \right) ~ . \]这一贡献反映了第一近线性时间，近线性收敛算法求解DMDP的中间值$γ$。我们还展示了如何获得改进的次线性时间算法，我们可以从$O(1)$时间的过渡函数的样本。在此假设下，我们提供了一个算法，计算$ε$ -最优策略的概率$1 - δ$在时间\[ \tilde{O} \left(\frac{|S| |A| M^2}{(1 - γ)^4 ε^2} \log \left(\frac{1}δ\right) \right) ~. \]最后，我们将这两个算法扩展到解决有限时域MDP。我们的算法改进了以前最好的近似计算最优政策的固定地平线MDP在多参数制度。有趣的是，我们通过对近似值迭代的仔细修改来获得我们的结果。我们展示了如何将经典的近似值迭代…
2020-12-23 cs.DS cs.LG math.OC
Divergence Results and Convergence of a Variance Reduced Version of ADAM
Industrial Engineering and Management Sciences, Northwestern University, Evanston, IL, USA, 60201（工业工程与管理科学，西北大学，伊利诺伊州埃文斯顿，60201）
本文提出了一种方差减少的ADAM变体，证明其在方差减少条件下收敛，解决了原始ADAM在特定问题上的发散问题。
2026-01-29 cs.LG math.OC
Delayed Projection Techniques for Linearly Constrained Problems: Convergence Rates, Acceleration, and Applications
Peking University（北京大学）
在这项工作中，我们研究了一类新的基于投影的线性约束问题（LCP）的算法，在统计，优化和机器学习中有很多应用。传统的基于原始梯度的LCP方法在每次（随机）梯度下降之后调用投影，导致所需的投影数量等于梯度下降（或总迭代）的数量。受分布式优化的最新进展的启发，我们提出了延迟投影技术，每隔一段时间调用一次投影，降低投影频率，提高投影效率。相应地，我们设计了一系列的随机方法的LCP使用的技术，包括方差减少的方法和加速的。我们从理论上证明了在强凸和一般凸情形下提高投影效率是可行的。我们的分析是简单和统一的，可以很容易地扩展到其他方法使用延迟投影。当我们的新算法应用到联邦优化，一个新兴的分布式优化和隐私保护的子域，我们不仅得到了一个方差减少联邦算法的收敛速度优于以往的作品，但也是第一个加速方法能够处理数据异构性的联邦优化固有的。
2021-01-05 cs.LG math.OC stat.ML
