Linear Convergence of Gradient and Proximal-Gradient Methods Under the Polyak-Łojasiewicz Condition
University of British Columbia（不列颠哥伦比亚大学）
1963年，Polyak提出了一个简单的条件，足以证明梯度下降的全局线性收敛速度。这个条件是同年提出的Jasojasiewicz不等式的一个特例，它不需要强凸性（甚至不需要凸性）。在这项工作中，我们表明，这个更古老的Polyak-Jasojasiewicz（PL）不等式实际上比过去25年中已经探索的显示线性收敛速度而没有强凸性的主要条件更弱。我们还使用PL不等式给出新的分析随机和贪婪的坐标下降方法，基于符号的梯度下降方法，和随机梯度方法在经典的设置（减少或不变的步长），以及方差减少设置。我们进一步提出了一个推广，适用于非光滑优化的近似梯度方法，导致这些方法的线性收敛的简单证明。在此过程中，我们给出了机器学习中各种问题的简单收敛结果：最小二乘法，逻辑回归，boosting，弹性反向传播，L1正则化，支持向量机，随机对偶坐标上升和随机方差缩减梯度方法。
2020-09-12 cs.LG math.OC stat.CO
Riemannian Stochastic Proximal Gradient Methods for Nonsmooth Optimization over the Stiefel Manifold
The University of Iowa（爱荷华大学）；University of California（加利福尼亚大学）；Pennsylvania State University（宾夕法尼亚州立大学）
由于在实践中的广泛应用，黎曼优化引起了人们的广泛关注。在文献中已经研究了黎曼随机一阶算法来解决黎曼流形上的大规模机器学习问题。然而，现有的大多数黎曼随机算法要求目标函数是可微的，并且它们不适用于目标函数是非光滑的情况。本文给出了Stiefel流形上极小化非光滑函数的两种黎曼随机逼近梯度法。这两种方法，称为R-ProxSGD和R-ProxSPB，是近端SGD和近端SpiderBoost在欧几里得设置到黎曼设置的推广。分析了算法的增量一阶预言（IFO）复杂度。具体地，R-ProxSPB算法在在线情况下找到具有$Ø(ε^{-3})$ IFO的$ε$ -平稳点，并且在有限和情况下找到具有$n$的$Ø(n+\sqrt{n}ε^{-2})$ IFO的$ε$-平稳点，其中$n$是目标中的被加数。在线稀疏PCA和鲁棒低秩矩阵补全的实验结果表明，我们提出的方法显着优于现有的方法，使用黎曼次梯度信息。
2022-03-21 cs.LG math.OC stat.ML
Online Hyperparameter Search Interleaved with Proximal Parameter Updates
University of Agder（阿格德尔大学）
显然需要有效的算法来调整统计学习方案的超参数，因为通常应用的搜索方法（例如具有N重交叉验证的网格搜索）是低效的和/或近似的。以前现有的算法，有效地搜索超参数依赖于平滑的成本函数不能应用于问题，如拉索回归。在这方面的贡献，我们开发了一个超参数优化方法，依赖于结构的近端梯度方法，不需要一个光滑的成本函数。这种方法被应用于留一法（LOO）验证的Lasso和Group Lasso，以产生高效的、数据驱动的超参数优化算法。数值实验证实了所提出的方法收敛到局部最优的LOO验证误差曲线，其近似的效率。
2020-04-06 cs.LG eess.SP stat.ML
Solving Non-Convex Non-Differentiable Min-Max Games using Proximal Gradient Method
University of Southern California（南加利福尼亚大学）
极小极大鞍点对策在机器学习和信号处理中有着广泛的应用。尽管它们具有广泛的适用性，但理论研究大多局限于特殊的凹凸结构。虽然最近的一些工作将这些结果推广到特殊的光滑非凸的情况下，我们的理解非光滑的情况下仍然是有限的。本文研究了当目标函数关于局中人的决策变量之一是（强）凸时的非光滑极大极小对策的特殊形式。我们证明了一个简单的多步近似梯度下降-上升算法收敛到$ε$ -一阶纳什均衡的最小-最大游戏的梯度评价是多项式的数量在$1/ε$。我们还将表明，我们的平稳性的概念是强于现有的文献中。最后，我们评估所提出的算法的性能，通过对抗攻击的LASSO估计。
2020-03-18 cs.GT cs.LG math.OC
Perspective Maximum Likelihood-Type Estimation via Proximal Decomposition
我们介绍了一个最优化模型的最大似然型估计（M-估计），推广了一大类现有的统计模型，包括Huber的伴随M-估计，欧文的Huber/Berhu伴随估计，缩放套索，支持向量机回归，和惩罚估计结构稀疏。该模型被称为透视M-估计，利用观察到的凸M-估计伴随规模以及各种正则化的透视功能的实例。这样的功能是服从邻近分析，这导致原则和可证明收敛的优化算法通过邻近分裂。使用基于对偶的几何方法，我们得到新的邻近算子的几个感兴趣的透视函数。合成和真实世界的数据的数值实验说明了所提出的框架的广泛适用性。
2018-10-05 math.ST stat.TH
Robust Low-rank Matrix Completion via an Alternating Manifold Proximal Gradient Continuation Method
University of California, Davis（加州大学戴维斯分校）
鲁棒低秩矩阵完备（RMC），或部分观测数据的鲁棒主成分分析，在计算机视觉、信号处理和机器学习应用中得到了广泛的研究。该问题的目的是将部分观测矩阵分解为低秩矩阵和稀疏矩阵的叠加，其中稀疏矩阵捕获矩阵的严重损坏的条目。一种广泛使用的解决RMC的方法是考虑凸公式，它最小化低秩矩阵的核范数（以促进低秩）和稀疏矩阵的l1范数（以促进稀疏性）。本文在低秩矩阵完备化和黎曼优化的基础上，将该问题转化为Grassmann流形上的非光滑黎曼优化问题。这种新的公式是可扩展的，因为低秩矩阵被分解为两个小得多的矩阵的乘法。然后，我们提出了一个交替流形近端梯度延拓（AManPGC）方法来解决所提出的新配方。该算法的收敛速度进行了严格的分析。对监控视频背景提取的合成数据和真实数据的数值结果表明，所提出的新公式和算法优于现有的几种流行方法。
2020-08-18 cs.LG math.OC stat.ML
An Extragradient-Based Alternating Direction Method for Convex Minimization
本文考虑了两个凸函数在线性连接约束下之和的极小化问题。经典的交替方向型方法通常假设两个凸函数具有相对容易的邻近映射。然而，统计学、图像处理等领域中的许多问题都具有这样的结构：当两个函数中的一个函数具有容易的邻近映射时，另一个函数是光滑凸的，但不具有容易的邻近映射。因此，不能应用经典的交替方向法。针对这一问题，本文提出了一种基于外梯度的交替方向法。在光滑函数具有Lipschitz连续梯度的假设下，我们证明了所提出的方法在$O(1/ε)$迭代内返回$ε$ -最优解。我们应用所提出的方法来解决一个新的统计模型称为融合逻辑斯谛回归。我们的数值实验表明，所提出的方法在解决测试问题时表现得很好。我们还测试了所提出的方法的性能，通过解决套索问题所产生的统计和比较的结果与现有的几个有效的解决这个问题，结果是非常令人鼓舞的。
2015-07-09 math.OC stat.ML
Matrix Completion via Nonconvex Regularization: Convergence of the Proximal Gradient Algorithm
Shanghai Jiao Tong University（上海交通大学）
在过去的十年中，矩阵完备化在机器学习和计算机视觉中引起了人们的极大兴趣。对于矩阵完备化中的低秩提升，核范数罚因其凸性而方便，但存在偏差问题。近年来，人们提出了各种使用非凸罚函数的算法，其中最有效的算法之一是近端梯度下降算法。对于非凸PGD算法，它是否收敛于局部极小点及其收敛速度还不清楚。本文对非凸情形下的PGD算法进行了非平凡分析。除了收敛到一个稳定点的广义非凸处罚，我们提供了更深入的分析一类流行的和重要的非凸处罚，具有不连续的阈值功能。对于这种惩罚，我们建立了PGD算法的有限秩收敛性，收敛到严格限制的局部极小点，并最终线性收敛速度。同时，收敛到一个局部极小值已被证明为硬阈值惩罚。我们的结果是第一次表明，非凸正则矩阵完备化只存在严格限制的局部极小点，并且PGD算法在一定条件下能够以最终线性速度收敛到这样的极小点。还通过实验对PGD算法进行了说明。代码可在https://github.com/FWen/nmc上获得。
2019-03-02 cs.LG math.OC stat.ML
Proximal Gradient Method with Extrapolation and Line Search for a Class of Nonconvex and Nonsmooth Problems
在本文中，我们考虑一类可能非凸，非光滑和非Lipschitz最优化问题在许多当代的应用，如机器学习，变量选择和图像处理。为了解决这类问题，我们提出了一个近似梯度法与外推和线搜索（PGels）。该方法基于一种特殊的势函数，成功地结合了外推法和非单调线搜索法这两种简单有效的邻近梯度法加速技术。由于线搜索，该方法允许更多的灵活性，在选择外推参数和更新他们自适应地在每次迭代，如果某一线搜索标准不满足。此外，通过适当的参数选择，我们的PGels减少到许多现有的算法。我们还表明，在一些温和的条件下，我们的线搜索准则是定义良好的，任何聚点的序列产生的PGels是我们的问题的一个稳定点。此外，通过假设目标函数的$Ł$ ojasiewicz指数，我们进一步分析了PGels的两种特殊情况的局部收敛速度，其中包括广泛使用的非单调邻近梯度法.最后，我们对$\ell_1$正则化逻辑斯谛回归问题和$\ell_{1\text{-}2}$正则化最小二乘问题进行了数值实验。我们的数值结果说明了PGEL的效率，并显示了结合两种加速技术的潜在优势。
2021-09-28 math.OC stat.ML
Scalable Robust Matrix Recovery: Frank-Wolfe Meets Proximal Methods
Department of Industrial Engineering and Operations Research, Columbia University（哥伦比亚大学工业工程与运筹学系）；Department of Electrical Engineering, Columbia University（哥伦比亚大学电气工程系）
本文提出了一种可扩展且高效的鲁棒矩阵恢复方法，结合Frank-Wolfe和近端方法，以线性复杂度解决压缩主成分追寻问题，通过秩一SVD更新低秩部分并处理稀疏项，验证了方法在视觉数据中的可扩展性。
2017-05-29 cs.CV cs.NA math.NA
Sparse Learning with Semi-Proximal-Based Strictly Contractive Peaceman-Rachford Splitting Method
在线性约束条件下，两个函数之和的最小化问题称为分裂问题。这种凸优化在机器学习问题中有着广泛的应用，如Lasso，Group Lasso和稀疏逻辑斯谛回归。Gu et al（2015）最近的一篇论文开发了一种基于半邻近的严格压缩的Scheman-Rachford分裂方法（SPB-SPRSM），它是He et al（2014）提出的严格压缩的Scheman-Rachford分裂方法（SPRSM）的扩展。SPB-SPRSM通过引入半邻近项和使用两种不同的松弛因子，与SPRSM和ADMM算法相比，尽管它们都有$O(1/t)$收敛速度，但SPB-SPRSM具有更灵活的适用性。在本文中，我们开发了一个随机版本的SPB-SPRSM算法，其中只有一个子集的样本（甚至一个样本）在每次迭代使用。由此产生的算法，随机SPB-SPRSM，是更灵活的比随机ADMM和其他ADMM为基础的算法在模拟和真实数据集。证明了$O(1/\sqrt{t})$算法在遍历意义下的收敛速度，这与随机ADMM算法在相同假设下的收敛速度是一致的。但如He等人（2014）所示，基于SPRSM的算法在应用中总是比ADMM收敛得更快，我们提出的算法也将保持这一优势。
2017-11-17 math.OC stat.CO
Inexact Proximal Gradient Methods for Non-convex and Non-smooth Optimization
University of Pittsburgh（匹兹堡大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
在机器学习研究中，近似梯度法是解决各种非光滑正则化优化问题的常用方法。当精确求解邻近算子很耗时，或者邻近算子没有解析解时，不精确邻近梯度法是非常重要的。然而，现有的不精确近似梯度方法只考虑凸问题。非凸情形下的不精确邻近梯度法的知识非常有限。此外，对于某些机器学习模型，仍然没有提出用于精确求解邻近算子的求解器。为了解决这个问题，在本文中，我们首先提出了三个不精确的邻近梯度算法，包括基本版本和Nesterov的加速版本。在此之后，我们提供了理论分析的基本版本和涅斯捷罗夫的加速版本。理论结果表明，我们的非精确近似梯度算法可以有相同的收敛速度，在非凸设置的精确近似梯度算法。最后，我们展示了我们的不精确近似梯度算法在三个有代表性的非凸学习问题上的应用。所有的实验结果证实了我们的新的不精确邻近梯度算法的优越性。
2018-09-08 cs.LG stat.ML
Lifted Proximal Operator Machines
Peking University（北京大学）
提出了一种新的前馈神经网络的优化训练方法。通过将激活函数重写为等价的邻近算子，将邻近算子作为惩罚加入到目标函数中，从而逼近前馈神经网络，我们称之为提升邻近算子机器（LPOM）。LPOM是块多凸在所有层的权重和激活。这允许我们使用块坐标下降来并行更新逐层权重和激活。最值得注意的是，我们只使用激活函数本身的映射，而不是它的导数，从而避免了基于梯度的训练方法中的梯度消失或爆破问题。因此，我们的方法适用于各种非减Lipschitz连续激活函数，它可以是饱和的和不可微的。LPOM不需要比逐层激活更多的辅助变量，因此使用与随机梯度下降（SGD）大致相同的内存量。我们进一步证明了更新逐层权重和激活的收敛性。在MNIST和CIFAR-10数据集上的实验证明了LPOM的优越性。
2018-11-05 cs.AI cs.LG math.OC
Double Machine Learning for Conditional Moment Restrictions: IV Regression, Proximal Causal Learning and Beyond
University of Oxford（牛津大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出DML-CMR，一种两阶段CMR估计量，通过双重/去偏机器学习框架减少偏差，在IV回归和近端因果学习等问题上实现O(N^{-1/2})的极小极大最优收敛速率，优于现有方法。
2025-06-23 cs.LG stat.ME stat.ML
Nonsmoothness in Machine Learning: specific structure, proximal identification, and applications
非平滑性通常是优化的诅咒;但有时也是一种祝福，特别是对于机器学习中的应用。在本文中，我们提出了机器学习中出现的非光滑最优化问题的具体结构，并说明了如何在实践中利用这种结构，用于压缩，加速或降维。我们特别注意的介绍，使其简洁，易于访问，既有简单的例子和一般的结果。
2020-11-10 eess.SP math.OC stat.ML
Statistical inference with implicit SGD: proximal Robbins-Monro vs. Polyak-Ruppert
Kakao Entertainment Corp.（Kakao娱乐公司）；Seoul National University（首尔大学）
隐式随机梯度下降（ISGD），一个近似的版本的SGD，是越来越多的文献中的兴趣，由于其稳定性（显式）SGD。本文深入分析了光滑凸函数ISGD的两种模式，即近似Robbins-Monro（CIMRM）和近似Poylak-Ruppert（CIMPR）过程，并将其用于模型参数的统计推断.具体来说，我们推导出非渐近点估计误差界的两个ESPRM和ESPPR迭代和他们的极限分布，并提出在线估计的渐近协方差阵，只需要一个单一的运行ISGD。后一种估计量用于构建模型参数的有效置信区间。我们的分析是免费的广义线性模型的假设，限制了前面的分析，并采用可行的程序。我们的在线协方差阵估计似乎是第一个这样的ISGD文献。
2022-06-28 cs.LG stat.CO stat.ML
Proximal gradient method for huberized support vector machine
Rice University（莱斯大学）；Siemens Corporate Research（西门子公司研究部）
支持向量机（SVM）已被用于各种各样的分类问题。原始的SVM使用铰链损失函数，这是不可微的，使得问题难以解决，特别是对于正则化的SVM，如$\ell_1$ -正则化。本文考虑了Huberized SVM（HSVM），它使用了可微近似的铰链损失函数。我们首先探讨使用的邻近梯度（PG）方法来解决二进制类HSVM（B-HSVM），然后将其推广到多类HSVM（M-HSVM）。在强凸性假设下，我们证明了算法的线性收敛性。此外，我们给出了一个关于解的支撑的有限收敛性结果，在此基础上，我们进一步用两阶段方法加速算法。我们提出了广泛的数值实验的合成和真实的数据集，证明了我们的方法优于一些国家的最先进的二进制和多类SVM的方法。
2015-11-30 cs.LG cs.NA math.NA
A Fast Proximal Point Method for Computing Exact Wasserstein Distance
Georgia Institute of Technology（佐治亚理工学院）；East China Normal University（华东师范大学）
瓦瑟斯坦距离在机器学习、随机规划和图像处理中发挥着越来越重要的作用。目前正在作出重大努力，以解决其高计算复杂性，一些导致近似或正规化的变化，如Sinkhorn距离。然而，正如我们将证明的，具有大正则化参数的正则化变化将在几个重要的机器学习应用中降低性能，并且小正则化参数将由于现有算法的数值稳定性问题而失败。我们通过开发一种不精确的近点方法来解决这一挑战，该方法用于精确的最优运输问题（IPOT），在每次迭代时使用概率单纯形的投影近似评估近端算子。该算法（a）在理论保证和鲁棒正则化参数选择的情况下收敛到精确的瓦瑟斯坦距离，（b）消除了数值稳定性问题，（c）具有与Sinkhorn相似的计算复杂度，（d）避免了应用于生成模型时的收缩问题。在此基础上，提出了一种新的基于IPOT的Wasserstein重心提取算法.
2019-06-24 cs.LG stat.ML
A Statistical Theory of Deep Learning via Proximal Splitting
在本文中，我们开发了一个统计理论和深度学习模型的实现。我们证明了一个优雅的变量分裂方案，用于交替方向乘法，优化了深度学习目标。我们允许非光滑的非凸正则化惩罚，以诱导参数权重的稀疏性。我们提供了传统的浅层统计模型，如主成分和切片逆回归和深层模型之间的联系。我们还定义了深度学习预测器的自由度和预测MSE标准，以执行模型选择来比较架构设计。我们专注于深度多类逻辑学习，尽管我们的方法应用更广泛。我们的研究结果表明，深度学习和近端分裂技术之间存在一种有趣且以前未被充分利用的关系。为了说明我们的方法，我们提供了一个多类logit分类分析费舍尔的虹膜数据，我们说明了我们的算法的收敛性。最后，我们总结了未来研究的方向。
2015-09-20 stat.ML
Optimizing Sparse Generalized Singular Vectors for Feature Selection in Proximal Support Vector Machines with Application to Breast and Ovarian Cancer Detection
Tufts University（塔夫茨大学）；Colorado State University（科罗拉多州立大学）
本研究提出基于ℓ₁范数和ℓ_q惩罚的稀疏GSVP求解方法，结合近端梯度下降与SVM构建特征选择分类框架，在乳腺癌和卵巢癌检测中用少量特征实现接近完美的平衡准确率。
2024-10-04 cs.LG cs.NA math.NA
On Quadratic Convergence of DC Proximal Newton Algorithm for Nonconvex Sparse Learning in High Dimensions
University of Minnesota（明尼苏达大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Princeton University（普林斯顿大学）；Georgia Institute of Technology（佐治亚理工学院）
提出了一种求解高维非凸正则化稀疏学习问题的DC近似牛顿算法。我们提出的算法集成了近似牛顿算法和基于凸规划差分的多阶段凸松弛算法，并且具有很强的计算和统计保证。具体地，通过利用稀疏建模结构/假设的复杂表征（即，局部约束强凸性和Hessian光滑性），证明了在凸松弛的每一阶段，算法均达到（局部）二次收敛，并最终在几次凸松弛后得到具有最优统计性质的稀疏近似局部最优解.数值实验支持我们的理论。
2018-02-15 cs.LG math.OC stat.ML
A Distributed Flexible Delay-tolerant Proximal Gradient Algorithm
我们开发和分析了分布式凸优化的异步算法时，目标写的光滑函数，本地每个工人，和一个非光滑函数的总和。与许多现有的方法不同，我们的分布式算法是可调的通信成本，延迟，机器的计算能力，和功能的平滑度的各种水平。一个独特的特点是，步长不依赖于通信延迟或机器的数量，这是非常可取的可扩展性。我们证明了算法在强凸情形下线性收敛，并保证了算法在非强凸情形下的收敛性。所得到的速率是相同的香草近端梯度算法在一些引入的历元序列，包含系统的延迟。我们提供了大规模机器学习问题的数值结果，以证明所提出的方法的优点。
2019-12-12 math.OC stat.ML
Combinatorial Preconditioners for Proximal Algorithms on Graphs
Department of Informatics, Technical University of Munich（慕尼黑工业大学信息学系）
我们提出了一种新的预处理技术的近端最优化方法，依赖于图算法来构建有效的预处理器。这样的组合预条件产生于将图划分为森林。我们证明了某些分解导致一个理论上最优的条件数。我们还展示了如何使用拟阵分区实现理想的分解，并提出了有效的贪婪的大规模问题的变种。再加上专门的解决方案，所产生的缩放近端子问题，预处理算法在机器学习和视觉应用中实现了有竞争力的性能。
2018-02-21 cs.LG math.OC stat.ML
An inexact subsampled proximal Newton-type method for large-scale machine learning
University of California（加利福尼亚大学）；University of Southern California（南加利福尼亚大学）；University of Michigan（密歇根大学）
本文提出一种快速近端牛顿型算法，通过子采样构造牛顿子问题，提升大规模优化效率，实验验证其在ℓ₁正则化逻辑回归中的优越性。
2017-08-28 cs.LG cs.NA math.NA
The Stochastic Proximal Distance Algorithm
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Duke University（杜克大学）
本文提出随机近端距离算法，将惩罚参数视为学习率，首次证明其收敛性并给出有限误差界与收敛速率刻画，实验显示其在常见学习任务上优于批量版本。
2024-09-06 cs.LG math.OC stat.ME
Minimax Kernel Machine Learning for a Class of Doubly Robust Functionals with Application to Proximal Causal Inference
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Pennsylvania（宾夕法尼亚大学）
Robins等人（2008）引入了一类影响函数（IF），可用于获得相应参数的双鲁棒矩函数。然而，该类别不包括干扰函数是积分方程的解的参数的IF。这些参数在因果推断领域特别重要，特别是在Tchetgen等人（2020）最近提出的近端因果推断框架中，该框架允许在存在潜在混杂因素的情况下估计因果效应。在本文中，我们首先扩展类罗宾斯等。包括双鲁棒IF中的滋扰功能是积分方程的解决方案。然后，我们证明了这些IF的双重鲁棒性可以用来构造滋扰函数的估计方程，这使得我们能够在不诉诸参数模型的情况下求解积分方程。我们框架的滋扰功能的估计作为一个极大极小优化问题。我们提供的滋扰功能和渐近线性的参数估计所需的条件的收敛速度。实验结果表明，我们提出的方法导致强大的和高性能的估计平均因果效应的近端因果推断框架。
2022-03-07 cs.LG econ.EM math.ST
A Model Parallel Proximal Stochastic Gradient Algorithm for Partially Asynchronous Systems
University of Alberta（阿尔伯塔大学）
大模型在现代机器学习场景中普遍存在，包括深度学习、推荐系统等，其可以具有数百万甚至数十亿个参数。并行算法已经成为解决大规模机器学习问题的重要技术。在本文中，我们提出了一个模型并行近似随机梯度算法，AsyB-ProxSGD，处理大模型使用模型并行块更新，同时处理大量的训练数据，使用近似随机梯度下降（ProxSGD）。在我们的算法中，工人节点与参数服务器异步通信，每个工人在每次迭代过程中只对一个模型参数块执行近似随机梯度。我们提出的算法推广ProxSGD的异步和模型并行设置。我们证明了AsyB-ProxSGD实现了$O(1/\sqrt{K})$的收敛速度下\emph{constant} minibatch大小的非凸问题的稳定点，其中$K$是块更新的总数。这个速度与广泛的类梯度算法的最佳收敛速度相匹配。此外，我们表明，当工人的数量是由$O(K^{1/4})$的限制，我们可以预期AsyB-ProxSGD实现线性加速工人的数量增加。我们在MXNet上实现了所提出的算法，并在涉及大模型大小和大量数据的真实数据集上展示了其收敛行为和近线性加速比。
2018-10-19 cs.LG stat.ML
Faster Gradient-Free Proximal Stochastic Methods for Nonconvex Nonsmooth Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Pittsburgh（匹兹堡大学）
最近梯度法在解决许多机器学习问题，特别是非光滑问题中发挥着重要作用。然而，在一些机器学习问题中，如强盗模型和黑盒学习问题，近端梯度法可能会失败，因为这些问题的显式梯度是困难的或不可行的。无梯度（零阶）方法可以解决这些问题，因为在优化中只需要目标函数值。最近，第一个零阶邻近随机算法被提出来解决非凸非光滑问题。然而，它的收敛速度是$O(\frac{1}{\sqrt{T}})$的非凸问题，这是显着低于零阶随机算法的最佳收敛速度$O(\frac{1}{T})$，其中$T$是迭代次数。为了填补这一空白，在本文中，我们提出了一类更快的零阶近似随机方法与SVRG和SAGA的方差减少技术，这是表示为ZO-ProxSVRG和ZO-ProxSAGA，分别。在理论分析中，我们解决的主要挑战，真正的梯度的无偏估计不持有在零阶的情况下，这是需要在以前的理论分析SVRG和SAGA。证明了ZO-ProxSVRG和ZO-ProxSAGA算法都具有$O(\frac{1}{T})$收敛速度。最后，实验结果表明，我们的算法具有更快的收敛速度比现有的零阶邻近随机算法。
2019-02-16 cs.LG math.OC stat.ML
Proximal Path-Specific Inference
National University of Singapore（新加坡国立大学）；Zhejiang University（浙江大学）
本文提出非参数识别策略，通过利用观察到的协变量作为代理变量，解决路径特异性效应中的未测量混杂问题，并提出四重稳健局部高效估计器。
2026-05-10 math.ST stat.ME stat.ML
UNLocBoX: A MATLAB convex optimization toolbox for proximal-splitting methods
凸优化是机器学习的一个重要工具，因为它的许多问题可以用公式表示为特定目标函数的最小化问题。虽然有各种各样的算法可用于解决凸问题，但我们可以说，关注可以处理大数据的高效，可扩展的方法变得越来越重要。当目标函数可以写成“简单”项的和时，邻近分裂方法是一个很好的选择。UNLocBoX是一个MATLAB库，实现了许多这些方法，旨在解决$\min_{x \in \mathbb{R}^N} \sum_{n=1}^K f_n(x).$形式的凸优化问题，它包含最新的求解器，如FISTA，Douglas-Rachford，SDMM以及原始对偶技术，如Chambolle-Pock和forward-backward-forward。它还包括一个广泛的列表，可以组合的常见的邻近运算符，允许快速实现各种各样的凸问题。
2016-12-27 cs.LG stat.ML
A Proximal Stochastic Gradient Method with Progressive Variance Reduction
考虑两个凸函数之和的极小化问题：一个是大量光滑分量函数的平均，另一个是允许简单邻近映射的一般凸函数。我们假设整个目标函数是强凸的。这些问题经常出现在机器学习中，称为正则化经验风险最小化。我们提出并分析了一种新的近似随机梯度法，它使用一个多阶段的计划，逐步减少随机梯度的方差。虽然该算法的每次迭代具有类似的成本作为经典的随机梯度法（或增量梯度法），我们表明，期望的目标值收敛到最优的几何速度。该方法的总体复杂度远低于近端全梯度法和标准近端随机梯度法。
2014-03-19 math.OC stat.ML
Proximal Newton-type methods for minimizing composite functions
Institute for Computational and Mathematical Engineering, Stanford University（斯坦福大学计算与数学工程研究所）；Department of Management Science and Engineering, Stanford University（斯坦福大学管理科学与工程系）
针对光滑函数与非光滑凸函数之和的优化问题，提出近端牛顿型方法，并证明其在不精确搜索方向下仍保持牛顿型方法的收敛性，统一了生物信息学、信号处理和统计学习中的多种流行方法。
2014-03-17 cs.DS cs.LG cs.NA
New nonasymptotic convergence rates of stochastic proximal pointalgorithm for convex optimization problems
University Bucharest（布加勒斯特大学）
最近的优化文献的大部门集中在过去十年的发展，逐步放松的假设下的约束凸模型的最优随机一阶计划。随机邻近点算法是将邻近点法应用于有噪声的随机最优化问题的一种迭代算法，其迭代过程与随机交替投影有关。受交替投影方法可扩展性的启发，我们从（线性）正则性假设出发，该假设通常用于凸可行性问题以保证随机交替投影方法的线性收敛，并分析了一个一般的弱线性正则性条件，该条件有利于随机邻近点方法的收敛速度提升.我们的应用程序包括许多非强凸函数类经常用于机器学习和统计。此外，在弱线性正则性假设下，我们保证$\mathcal{O}\left(\frac{1}{k}\right)$收敛速度的SPP，在距离最优集，只使用一个简单的组件集上的投影。当期望成本的最优集包含在每个功能部件的最优集中时，插值设置获得线性收敛。
2020-05-02 cs.LG math.OC stat.ML
Make Workers Work Harder: Decoupled Asynchronous Proximal Stochastic Gradient Descent
University of Science and Technology of China（中国科学技术大学）
异步并行优化算法用于解决大规模机器学习问题，近年来引起了学术界和工业界的广泛关注。本文提出了一种新的算法，解耦异步近端随机梯度下降（DAP-SGD），以最小化的目标函数，是多个经验损失的平均值和正则化项的组合。与传统的异步近似随机梯度下降（TAP-SGD），其中主进行大部分的计算负载，所提出的算法卸载的大部分计算任务从主工人，并离开主进行简单的加法运算。这种策略产生一个易于并行化的算法，其性能是合理的理论收敛性分析。具体地，当步长减小时，DAP-SGD实现$O(\log T/T)$速率，而当步长恒定时，DAP-SGD实现遍历$O(1/\sqrt{T})$速率，其中$T$是总迭代次数。
2016-05-21 cs.DC cs.LG math.OC
General Proximal Incremental Aggregated Gradient Algorithms: Better and Novel Results under General Scheme
National University of Defense Technology（国防科技大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
增量聚合梯度算法是网络优化和机器学习研究中的一种常用算法。然而，目前的收敛结果要求目标函数是强凸的。现有的收敛速度也仅限于线性收敛。由于数学技术的原因，算法中的步长受到强凸常数的限制，这可能使得步长很小（强凸常数可能很小）。在本文中，我们提出了一个通用的近似增量聚合梯度算法，它包含了各种现有的算法，包括基本的增量聚合梯度法。即使在一般格式下也证明了更好的收敛结果。本文给出的新结果包括：一般格式，非凸分析，函数值的次线性收敛速度，保证收敛的大步长，噪声存在时的收敛性，邻近增量聚合梯度算法的线搜索策略及其收敛性。
2019-10-11 cs.LG math.OC stat.ML
Non-ergodic Complexity of Convex Proximal Inertial Gradient Descents
近端惯性梯度下降算法是一种有效的组合优化算法，适用于广泛的机器学习问题。在本文中，我们重新审视该算法的计算复杂性，并提出其他新的结果，特别是对目标函数值的收敛速度。当目标函数是强制的时，证明了具有常数步长的近端惯性梯度下降的非遍历性O（1/k）速度.当目标函数不能保证稳定性时，我们证明了惯性参数递减的次线性速率。在目标函数满足最优强凸性条件（比强凸性条件弱得多）的情况下，证明了该算法的线性收敛性，其步长比以往文献大得多，且一般性强.我们还将我们的结果扩展到多块版本，并提出了计算复杂性。循环和随机指数选择策略被认为是。
2019-07-18 math.OC stat.ML
An Inexact Variable Metric Proximal Point Algorithm for Generic Quasi-Newton Acceleration
我们提出了一个不精确的可变度量邻近点算法，以加速基于梯度的优化算法。所提出的方案，称为QNing可以显着地应用于增量一阶方法，如随机方差减少梯度下降算法（SVRG）和其他随机增量优化算法。QNing也与复合目标兼容，这意味着当目标涉及稀疏诱导正则化时，它能够提供精确的稀疏解。当与有限内存BFGS规则相结合时，QNing对于解决高维优化问题特别有效，同时对于强凸问题具有最坏情况下的线性收敛速度。我们目前的实验结果，QNing提供了显着的改进竞争的方法，训练机器学习方法的大样本和高维度。
2019-01-29 math.OC stat.ML
ProMP: Proximal Meta-Policy Search
UC Berkeley（加州大学伯克利分校）；KIT（卡尔斯鲁厄理工学院）；Karlsruhe Inst. of Technology (KIT)（卡尔斯鲁厄理工学院）
Meta-强化学习（Meta-RL）中的信用分配仍然知之甚少。现有的方法要么忽略了信用分配的预适应行为或实现它的天真。这导致元训练过程中样本效率低下以及任务识别策略无效。对基于梯度的元强化学习中的信用分配进行了理论分析。在所获得的见解的基础上，我们开发了一种新的元学习算法，克服了不良信用分配和以前的困难，估计Meta策略梯度的问题。通过控制元策略搜索过程中预适应策略和适应策略的统计距离，该算法赋予元学习高效、稳定的性能。我们的方法带来了卓越的预适应策略行为，并在样本效率、挂钟时间和渐进性能方面始终优于之前的Meta-RL算法。
2022-02-11 cs.LG stat.ML
Asynchronous Delay-Aware Accelerated Proximal Coordinate Descent for Nonconvex Nonsmooth Problems
University of Central Florida（中佛罗里达大学）
非凸和非光滑问题最近在机器学习中引起了相当大的关注。然而，对于非凸和非光滑最优化问题，在保证一定性能的前提下，开发有效的方法仍然是一个挑战。近点坐标下降法（PCD）已被广泛应用于求解最优化问题，但对非凸环境下的PCD方法的认识非常有限。另一方面，异步最近坐标下降（APCD）最近受到了广泛的关注，以解决大规模的问题。然而，APCD算法的加速变体很少被研究。在本文中，我们扩展APCD方法的加速算法（AAPCD）的非光滑和非凸的问题，满足充分下降的性质，通过比较在最近的更新和线性外推点使用延迟感知动量值的函数值。据我们所知，我们是第一个提供随机和确定性加速扩展APCD算法一般非凸和非光滑问题，确保有界延迟和无界延迟的每一个极限点是一个临界点。利用Kurdyka-Lojasiewicz性质，我们将证明线性和次线性收敛速度的确定性AAPCD与有界延迟。数值结果表明，我们的算法在速度上的实际效率。
2019-02-05 cs.DC cs.LG math.OC
Generalized Dantzig Selector: Application to the k-support norm
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
本文提出了一种适用于线性模型的广义Dantzig矩阵（GDS），其中参数结构的任何范数编码都可以用于估计。我们调查计算和统计方面的GDS。基于共轭邻近算子，设计了一种灵活的非精确ADMM框架求解GDS，并根据单位范数球的高斯宽度和合适的估计误差集合，建立了估计误差的非渐近高概率界.此外，我们考虑一个非平凡的例子，GDS使用$k$支持范数。我们推导出一个有效的方法来计算$k$ -支持范数的邻近算子，因为现有的方法是不适用于这种设置。对于统计分析，我们提供了在GDS分析中所需的高斯宽度的上限，产生了第一个统计恢复保证估计与$k$支持规范。实验结果证实了我们的理论分析。
2015-02-02 cs.LG stat.ML
Orthant Based Proximal Stochastic Gradient Method for $\ell_1$-Regularized Optimization
Microsoft（微软）；Johns Hopkins University（约翰斯·霍普金斯大学）；Zhejiang University（浙江大学）；Georgia Institute of Technology（佐治亚理工学院）；University of Washington（华盛顿大学）；University of Denver（丹佛大学）
稀疏诱导正则化问题在机器学习应用中无处不在，从特征选择到模型压缩。在本文中，我们提出了一种新的随机方法-基于正交的邻近随机梯度法（OBProx-SG）-来解决可能是最流行的例子，即，L1正则化问题OBProx-SG方法包含两个步骤：（i）用于预测解的支持覆盖的邻近随机梯度步骤;以及（ii）用于通过正交面投影积极增强稀疏水平的正交步骤。与现有技术的方法相比，与Prox-SG、RDA和Prox-SVRG相比，OBProx-SG不仅能收敛到全局最优解（在凸情形下）或稳定点（在非凸情形下），而且能显著提高解的稀疏性。特别是在大量的凸问题上，OBProx-SG在稀疏性探索和目标值方面全面优于现有方法。此外，在非凸深度神经网络上的实验，例如，MobileNetV 1和ResNet 18通过在不牺牲泛化精度的情况下实现更高稀疏性的解决方案，进一步证明了其优越性。
2020-07-23 cs.LG math.OC stat.ML
Gradient flows and proximal splitting methods: A unified view on accelerated and stochastic optimization
优化是机器学习、统计学和许多应用科学学科的核心。它在物理学中也有很长的历史，从最小作用量原理到寻找无序系统的基态，如自旋玻璃。近似算法形成了一类广泛适用的方法，特别适合于非光滑、约束、大规模和分布式最优化问题。基本上有五个最近的算法目前已知：向前向后分裂，曾分裂，道格拉斯-Rachford，交替方向法的乘数，和最近的戴维斯-尹。与基于梯度的方法相比，这些方法具有更高的抽象层次，在非线性泛函分析中具有深厚的根基。我们证明了所有这些方法实际上都是单个微分方程的不同离散化，即可以追溯到柯西（1847）的简单梯度流。许多机器学习成功案例背后的一个重要方面依赖于“加速”一阶方法的收敛。我们表明，类似的离散化方案适用于牛顿方程的额外耗散力，我们称之为加速梯度流，使我们能够获得加速的变种，所有这些邻近的算法-其中大多数是新的，虽然一些恢复已知的情况下，在文献中。此外，我们将这些方法扩展到随机设置，使我们能够与朗之万和福克-普朗克方程的连接。类似的想法适用于梯度下降，重球和Nesterov的方法，它们更简单。因此，我们的结果提供了一个统一的框架，从几个重要的最优化方法是什么，但模拟经典耗散系统。
2021-05-10 cs.NA math.NA math.OC
Stochastic Proximal Gradient Algorithm with Minibatches. Application to Large Scale Learning Models
University of Bucharest（布加勒斯特大学）；The Research Institute of the University of Bucharest (ICUB)（布加勒斯特大学研究所（ICUB））
随机优化是大多数统计学习模型的核心。近年来，随机算法工具的大发展主要集中在近似梯度迭代上，以寻找非光滑（复合）总体风险函数的有效方法。通过最小化正则化风险来寻找最佳预测因子的复杂性在很大程度上被理解为简单的正则化，如$\ell_1/\ell_2$范数。然而，预测器所需的更复杂的属性需要高度困难的正则化器，如在分组套索或图形趋势滤波中使用的正则化器。在这一章中，我们开发和分析小批量变种的随机邻近梯度算法的一般复合目标函数的随机非光滑组件。我们提供迭代复杂度为常数和可变步长的政策获得，对于minibatch大小$N$，经过$\mathcal{O}(\frac{1}{Nε})$迭代$ε-$次优达到预期的二次距离最优解。对$\ell_2-$正则化支持向量机和参数稀疏表示问题的数值测试证实了理论行为，并超过了minibatch SGD性能。
2020-03-30 cs.LG cs.NA math.NA
The Wasserstein Proximal Gradient Algorithm
Wasserstein梯度流是定义最速下降曲线以最小化概率测度空间上的目标函数的连续时间动态（即，Wasserstein空间）。这一目标通常是一个分歧w.r.t.固定的目标分布。近年来，这些连续时间动力学已被用于研究旨在近似概率分布的机器学习算法的收敛性。然而，这些算法的离散时间行为可能不同于连续时间动态。此外，虽然离散梯度流已经在文献中提出，很少知道他们的最小化能力。在这项工作中，我们提出了一个向前向后（FB）离散计划，可以解决的情况下，目标函数是一个光滑和非光滑测地线凸项的总和。使用技术从凸优化和最优输运，我们分析了FB计划作为一个最小化算法的Wasserstein空间。更确切地说，我们表明，在温和的假设下，FB计划的收敛保证类似于在欧几里得空间的近端梯度算法。
2021-02-21 math.OC stat.ML
Quantization through Piecewise-Affine Regularization: Optimization and Statistical Guarantees
University of Pennsylvania（宾夕法尼亚大学）；Meta FAIR
本文研究分段仿射正则化（PAR）在监督学习中的优化与统计理论基础，证明过参数化下临界点具有量化特性，推导多种PAR的闭式近端映射及求解算法，并给出线性回归的统计保证。
2025-08-14 cs.AI cs.LG math.OC
Proximal Interacting Particle Langevin Algorithms
针对联合概率密度不可微的潜变量模型，提出近端交互粒子Langevin算法（PIPLA）进行参数估计，证明了非渐近界并在多种模型上验证了其有效性。
2025-05-29 math.OC stat.CO stat.ML
A Randomized Nonmonotone Block Proximal Gradient Method for a Class of Structured Nonlinear Programming
Simon Fraser University（西蒙弗雷泽大学）；Microsoft Research（微软研究院）
我们提出了一个随机非单调块邻近梯度（RNBPG）方法，用于最小化光滑（可能非凸）函数和块可分（可能非凸非光滑）函数之和。在每次迭代中，该方法根据任何规定的概率分布随机选取一个块，并通常解决几个相关的邻近子问题，通常具有封闭形式的解决方案，直到目标值取得一定的进展。与通常的随机块坐标下降法[23，20]相比，我们的方法具有非单调的味道，并使用可变步长，可以部分利用目标函数的光滑分量的局部曲率信息。我们证明了该方法解序列的任何聚点都是问题的一个稳定点{ \it almost surely}，并且该方法能够以很高的概率找到一个近似的稳定点.我们还建立了一个次线性的收敛速率的方法在最小期望平方范数的某些邻近梯度的迭代。当所考虑的问题是凸的，我们证明了RNBPG产生的期望目标值收敛到问题的最优值。在一些假设下，我们进一步建立了一个次线性和线性收敛速率的期望目标值产生的单调版本的RNBPG。最后，我们进行了一些初步的实验，以测试性能的RNBPG上的$\ell_1$正则化最小二乘问题和机器学习中的对偶SVM问题。计算结果表明，我们的方法大大优于随机块坐标{ \it下降}方法与固定或可变步长。
2015-03-21 cs.LG cs.NA math.NA
Randomized block proximal damped Newton method for composite self-concordant minimization
Simon Fraser University（西蒙弗雷泽大学）
本文考虑复合自协调极小化问题，即极小化一个自协调函数$f$和一个（可能是非光滑的）真闭凸函数$g$的和. CSC极小化是路径跟踪内点法求解一类广泛的凸优化问题的基础。它在机器学习中也有许多应用。近端阻尼牛顿（PDN）方法已经在文献中得到了很好的研究，以解决这个问题，享受一个很好的迭代复杂度。考虑到在每次迭代时，这些方法通常需要评估或访问$f$的Hessian，并且还需要求解一个近似牛顿子问题，因此当应用于大规模问题时，每次迭代的成本可能非常高。受最近成功的块坐标下降法的启发，我们提出了一个随机块邻近阻尼牛顿（RBPDN）方法来解决CSC最小化。与PDN方法相比，RBPDN每次迭代的计算成本通常显著降低。对一类正则化逻辑斯谛回归问题的计算实验表明，RBPDN确实有希望解决大规模CSC极小化问题。文中还分析了RBPDN的收敛性。特别是，我们证明了RBPDN是全局收敛时，$g$是Lipschitz连续的。它也表明RBPDN享有局部线性收敛。此外，我们证明了对于一类$g$，包括$g$是Lipschitz可微的情形，RBPDN具有全局线性收敛.作为一个惊人的结果，它表明，经典的阻尼牛顿法[22，40]和PDN [31]这样的$g$是全局线性收敛，这是以前未知的文献。此外，这个结果可以用来锐化这些方法的现有迭代复杂度。
2016-07-01 cs.LG cs.NA math.NA
Inexact and Stochastic Generalized Conditional Gradient with Augmented Lagrangian and Proximal Step
在本文中，我们提出并分析了不精确和随机版本的CGALP算法在作者的前一篇论文中，我们表示ICGALP，允许在几个重要的数量的计算错误。特别地，这允许人们以不精确的方式计算一些梯度、近似项和/或线性最小化预言，这有助于将算法实际应用于计算密集型设置，例如在机器学习问题中常见的高维（或可能无限）希尔伯特空间中。该算法能够解决复合极小化问题，涉及三个凸真下连续函数的和受到形式为$Ax=b$的仿射约束的一些有界线性算子$A$。目标函数中只有一个函数是可微的，另外两个函数是可达的prox算子和线性最小化预言。作为主要结果，我们显示收敛的拉格朗日的最佳和渐近可行的仿射约束，以及弱收敛的对偶变量的对偶问题的解决方案，所有的几乎必然的意义。对于拉格朗日值和可行性间隙，给出了逐点和遍历的几乎必然收敛率。数值实验验证了预测的收敛速度。
2020-05-11 math.OC stat.ML
