Sparse Transformer Architectures via Regularized Wasserstein Proximal Operator with $L_1$ Prior
Department of Mathematics, University of California, Los Angeles, CA, USA（加州大学洛杉矶分校数学系）；Department of Mathematics, University of South Carolina, Columbia, SC, USA（南卡罗来纳大学数学系）
本文利用带 $L_1$ 先验的正则化 Wasserstein 近端算子设计稀疏 Transformer，将数据分布先验嵌入网络结构，改善优化凸性与样本稀疏性，并在生成建模和贝叶斯逆问题中取得更高精度和更快收敛。
2025-10-18 cs.LG math.OC stat.ML
Wasserstein Proximal Coordinate Gradient Algorithms
针对多分布上的复合测地凸优化问题，提出带三种更新方案的WPCG算法，证明其在不同条件下的收敛速率，数值结果验证了理论结论。
2024-09-17 math.OC math.ST stat.TH
Tensor train based sampling algorithms for approximating regularized Wasserstein proximal operators
本文提出基于张量列车的采样算法，利用正则化Wasserstein近端算子逼近高维Langevin动力学概率密度演化，并在高斯情形下证明无偏性与线性收敛，数值实验显示其精度和收敛速度优于经典Langevin采样方法。
2025-03-12 cs.NA math.NA math.OC
A Proximal Stochastic Gradient Method with Progressive Variance Reduction
考虑两个凸函数之和的极小化问题：一个是大量光滑分量函数的平均，另一个是允许简单邻近映射的一般凸函数。我们假设整个目标函数是强凸的。这些问题经常出现在机器学习中，称为正则化经验风险最小化。我们提出并分析了一种新的近似随机梯度法，它使用一个多阶段的计划，逐步减少随机梯度的方差。虽然该算法的每次迭代具有类似的成本作为经典的随机梯度法（或增量梯度法），我们表明，期望的目标值收敛到最优的几何速度。该方法的总体复杂度远低于近端全梯度法和标准近端随机梯度法。
2014-03-19 math.OC stat.ML
Weak topology and Opial property in Wasserstein spaces, with applications to Gradient Flows and Proximal Point Algorithms of geodesically convex functionals
本文讨论了在可分Hilbert空间$H$上的有限二次矩Borel概率测度的Wasserstein空间$(\mathcal{P}_2(H),W_2)$中如何定义一个适当的弱拓扑概念.我们将证明这样的拓扑继承了Hilbert空间中通常的弱拓扑的许多特征，特别是测地凸闭集的弱闭性和弱收敛序列的Opial性质。我们将这一概念应用于$\mathcal{P}_2(H)$的弱闭子集中的非扩张映射的不动点的逼近以及下连续测地凸泛函$ϕ:\mathcal{P}_2(H)\to(-\infty,+\infty]$的极小值的逼近.特别地，我们将证明$ϕ$的Wasserstein梯度流的每一个解随着时间的推移到$+\infty$弱收敛到$ϕ$的极小值。类似地，如果$ϕ$也是沿广义测地线凸的，则由邻近点法生成的每个序列都收敛到$ϕ$关于$\mathcal{P}_2(H)$的弱拓扑的极小元。
2021-04-13 math.DS math.FA math.MG
On the Proximal Gradient Algorithm with Alternated Inertia
本文研究了具有惯性的邻近梯度算法的吸引性质。值得注意的是，我们表明，使用交替惯性产生单调递减的函数值，这与通常的加速近端梯度法。我们还提供了交替惯性的基础上局部几何性质的目标函数的算法的收敛速度。通过对几个扩展的讨论和对常见正则化问题的说明，将结果纳入透视。
2018-01-17 math.OC stat.ML
Linear convergence of proximal descent schemes on the Wasserstein space
Center for Advanced Intelligence Project, RIKEN, Tokyo, Japan（日本东京RIKEN先进智能研究中心）；School of Mathematical and Computer Sciences, Heriot-Watt University, Edinburgh, UK（赫瑞-瓦特大学数学与计算机科学学院）；Maxwell Institute for Mathematical Sciences, Edinburgh, UK（爱丁堡数学科学麦克斯韦研究所）；School of Mathematics, University of Edinburgh, UK（爱丁堡大学数学学院）；School of Mathematics, University of Edinburgh, UK, The Alan Turing Institute, UK（爱丁堡大学数学学院、英国艾伦·图灵研究所）
研究在瓦瑟斯坦空间优化熵正则化泛函的近端下降方法，利用平坦凸性假设、一致对数索伯列夫不等式和熵“三明治”引理，建立线性收敛性，避免对演化变分不等式离散时间调整，证明相对费希尔信息定义良好。
2026-07-22 cs.LG math.OC math.PR
Complexity of Block Coordinate Descent with Proximal Regularization and Applications to Wasserstein CP-dictionary Learning
University of Seoul（首尔大学）；University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
本文证明带近端正则化的块坐标下降法 BCD-PR 在非凸分块约束问题上具有 O(1/epsilon) 迭代复杂性，并据此提出对偶空间中求解 Wasserstein CP 字典学习的可证明高效算法。
2023-06-04 cs.AI cs.LG cs.NA
Converting ADMM to a Proximal Gradient for Efficient Sparse Estimation
在稀疏估计中，如融合套索和凸聚类，我们采用邻近梯度法或乘子的交替方向法（ADMM）来解决这个问题。在前一种情况下，包括矩阵划分需要时间，而在后一种情况下，已经开发了一种有效的方法，如FISTA（快速迭代收缩阈值算法）。本文在假定目标函数的导数为Lipschitz连续的前提下，给出了将ADMM解转化为近似梯度法的一般方法。然后，我们将其应用到稀疏估计问题，如稀疏凸聚类和趋势滤波，我们通过数值实验表明，我们可以获得显着的提高效率。
2022-03-26 math.OC stat.ML
Non-ergodic Complexity of Convex Proximal Inertial Gradient Descents
近端惯性梯度下降算法是一种有效的组合优化算法，适用于广泛的机器学习问题。在本文中，我们重新审视该算法的计算复杂性，并提出其他新的结果，特别是对目标函数值的收敛速度。当目标函数是强制的时，证明了具有常数步长的近端惯性梯度下降的非遍历性O（1/k）速度.当目标函数不能保证稳定性时，我们证明了惯性参数递减的次线性速率。在目标函数满足最优强凸性条件（比强凸性条件弱得多）的情况下，证明了该算法的线性收敛性，其步长比以往文献大得多，且一般性强.我们还将我们的结果扩展到多块版本，并提出了计算复杂性。循环和随机指数选择策略被认为是。
2019-07-18 math.OC stat.ML
Efficient proximal gradient algorithms for joint graphical lasso
我们考虑从稀疏数据中学习无向图模型。虽然已经提出了几种有效的算法，图形套索（GL），交替方向法的乘法器（ADMM）是主要的方法，采取有关联合图形套索（JGL）。我们提出了近端梯度程序，有和没有一个回溯选项的JGL。这些程序是一阶的，相对简单，子问题的解决有效地在封闭的形式。进一步证明了JGL问题解的有界性和算法中的迭代次数。数值结果表明，所提出的算法可以达到较高的精度和准确度，其效率是竞争的最先进的算法。
2021-07-16 math.OC stat.ML
Convergence of flow-based generative models via proximal gradient descent in Wasserstein space
Department of Mathematics, Duke University（杜克大学数学系）；Department of Physics and Department of Chemistry, Duke University（杜克大学物理系和化学系）；H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院H. Milton Stewart工业与系统工程学院）
本文提出 JKO flow 模型，通过在归一化流中实现 JKO 方案，并利用 Wasserstein 空间近端梯度下降的指数收敛性，证明了其生成数据分布的 KL 误差收敛保证。
2024-07-03 cs.LG math.OC math.ST
On proximal gradient mapping and its minimization in norm via potential function-based acceleration
以复合优化而闻名的近端梯度下降法可以完全用近端梯度映射的概念来描述。在本文中，我们强调了我们以前的两个发现邻近梯度映射-范数单调性和精细下降，我们能够扩展最近提出的基于势函数的框架从梯度下降到邻近梯度下降。
2022-12-14 math.OC
A Unified Analysis of Extra-gradient and Optimistic Gradient Methods for Saddle Point Problems: Proximal Point Approach
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们考虑解决鞍点问题的两个变种的梯度下降-上升算法，额外梯度（EG）和乐观梯度下降-上升（OGDA）方法。我们发现，这两个算法承认一个统一的分析作为近似的经典的近点法解决鞍点问题。这个观点使我们能够开发一个新的框架，分析EG和OGDA的双线性和强凸-强凹设置。此外，我们使用近点近似解释来概括OGDA在广泛参数范围内的结果。
2019-09-05 cs.LG math.OC stat.ML
A probabilistic incremental proximal gradient method
在本文中，我们提出了一种概率最优化方法，命名为概率增量邻近梯度（PIPG）方法，通过发展的概率解释的增量邻近梯度算法。我们明确地建模的增量近端梯度法的更新规则，并开发了一个系统的方法来传播的不确定性的解决方案估计迭代。PIPG算法采用贝叶斯滤波更新的形式，通过使用费用函数构造的状态空间模型。我们的框架使得有可能利用众所周知的精确或近似贝叶斯滤波器，如卡尔曼或扩展卡尔曼滤波器，解决大规模正则化最优化问题。
2019-06-19 math.OC stat.CO stat.ML
Upper and lower bounds of the value function for optimal control in the Wasserstein space
本文在Wasserstein空间中利用非光滑分析，通过$\u0003varepsilon$-次微分和超微分将值函数刻画为Bellman方程的严格粘性解，并证明连续次解和超解给出值函数的上下界，上界估计还提供了近似最优反馈策略。
2025-04-25 math.AP math.OC math.PR
Optimal Neural Network Approximation of Wasserstein Gradient Direction via Convex Optimization
Stanford University（斯坦福大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）；University of South Carolina（南卡罗来纳大学）
Wasserstein梯度方向的计算是后验抽样问题和科学计算的基础。有限样本的Wasserstein梯度的近似需要解决一个变分问题。我们研究具有平方ReLU激活的两层网络族中的变分问题，并推导出半定规划（SDP）松弛。这个SDP可以被看作是一个更广泛的函数族，包括两层网络的Wasserstein梯度的近似。通过求解凸SDP，我们得到了这类函数的Wasserstein梯度方向的最佳逼近。在COVID-19建模中的数值实验包括PDE约束贝叶斯推理和参数估计，证明了所提出的方法的有效性。
2022-05-26 cs.LG math.OC stat.ML
Computing Capacity-Cost Functions for Continuous Channels in Wasserstein Space
本文研究连续信道的容量-代价函数计算问题，通过将Wasserstein距离引入Blahut-Arimoto算法的近端项，提出了一种基于Wasserstein梯度下降的迭代算法，并统一应用于率失真函数的计算。
2025-03-02 cs.IT eess.SP math.IT
The Inexact Cyclic Block Proximal Gradient Method and Properties of Inexact Proximal Maps
本文扩展了循环块邻近梯度法的块可分离的复合最小化，允许不精确计算的梯度和邻近的地图。由此产生的算法，不精确的循环块近端梯度（I-CBPG）的方法，共享相同的收敛速度作为其精确计算的模拟提供了允许的误差下降足够快或被预先选择为足够小。我们提供的数值实验，展示了实际的计算优势的I-CBPG的近似误差的某些固定的公差，特别是一个动态降低的误差容限制度。我们在我们的$δ$ -第二Prox定理中建立了不精确的近端图评估和$δ$ -次梯度之间的紧密关系。这个定理形成了我们的收敛性分析的基础，使我们能够表明，不精确的梯度计算和其他概念的不精确的邻近映射计算可以归入一个统一的框架。
2022-01-03 math.OC
Primal Dual Interpretation of the Proximal Stochastic Gradient Langevin Algorithm
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
我们考虑对数凹概率分布的抽样任务。假设目标分布的势是复合的，\textit{i.e.}，写为光滑凸项和可能取无穷大值的非光滑凸项的和。目标分布可以被看作是在Wasserstein空间（\textit{i.e.}，概率测度的空间）上定义的库尔贝克-莱布勒散度的最小化。在本文的第一部分中，我们建立了这个极小化问题的一个强对偶结果。在本文的第二部分中，我们利用第一部分中提出的对偶间隙来研究近似随机梯度Langevin算法（PSGLA）的复杂性，PSGLA可以看作是投影Langevin算法的推广。我们的方法依赖于将PSGLA视为原始对偶算法，并涵盖了许多目标分布不完全支持的情况。特别是，我们表明，如果潜在的是强凸的，PSGLA的复杂性是$O(1/\varepsilon^2)$的2-瓦瑟斯坦距离。相比之下，投影朗之万算法的复杂性是$O(1/\varepsilon^{12})$的总变分时，潜在的凸。
2021-02-22 cs.LG math.OC stat.ML
Convergence rates of proximal gradient methods via the convex conjugate
给出了复合凸极小化问题的邻近梯度法和加速邻近梯度法的$O(1/k)$和$O(1/k^2)$收敛速度的新证明。新证明的关键是通过目标函数的凸共轭构造一个上界。
2018-01-09 math.OC
On the Convergence and Complexity of Proximal Gradient and Accelerated Proximal Gradient Methods under Adaptive Gradient Estimation
本文针对光滑部分难以精确求梯度的复合优化问题，提出基于自适应梯度估计的近端梯度法与加速近端梯度法，并在非凸、凸及强凸情形下证明其同时达到一阶方法的最优迭代复杂度与随机梯度评估复杂度。
2025-07-19 math.OC
An Inexact Riemannian Proximal Gradient Method
本文考虑了黎曼流形上的一个可微函数与一个非光滑函数之和的极小化问题。最近几年，近似梯度法及其不变量被推广到黎曼环境下求解这类问题。将近端标测推广到黎曼近端梯度法的黎曼设置导联版本的不同方法。然而，它们的收敛性分析都依赖于精确求解它们的黎曼邻近映射，这要么代价太高，要么不切实际。本文研究了一类不精确黎曼逼近梯度法的收敛性。证明了如果足够精确地求解邻近映射，则可以保证基于RiemannianKurdyka-Schojasiewicz性质的整体收敛和局部收敛速度。此外，还给出了黎曼邻近映射精确解的实用条件。作为副产品，在~[CMSZ 2020]中提出的Stiefel流形上的邻近梯度法可以被看作是不精确的黎曼邻近梯度法，只要邻近映射被求解到一定的精度。最后，对稀疏主成分分析进行了数值实验，以检验所提出的实用条件。
2021-11-14 math.OC
A Simple Convergence Analysis of Bregman Proximal Gradient Algorithm
本文给出了一个简单的Bregman距离近似梯度算法的收敛性分析，它比已有的结果提供了一个更严格的界。特别地，对于极小化一类凸目标函数的问题，我们证明了具有Bregman距离的邻近梯度算法可以看作是包含另一个Bregman距离的邻近点法.因此，基于Bregman距离的邻近梯度算法的收敛结果直接继承于基于Bregman距离的邻近点法的收敛结果，从而使收敛性分析更简单，收敛范围更小.我们进一步提出并分析了具有Bregman距离的最接近梯度算法的回溯线搜索变体。仿真结果表明，线搜索法显著提高了算法的收敛性能。
2017-12-17 math.OC
A General Family of Stochastic Proximal Gradient Methods for Deep Learning
KAIST（韩国科学技术院）；IBM T.J. Watson Research Center（IBM T.J. 沃森研究中心）；AITRICS
我们研究了正则化神经网络的训练，其中正则化器可以是非光滑和非凸的。我们提出了一个统一的框架随机近端梯度下降，我们术语ProxGen，允许任意的积极预条件和较低的半连续正则化。我们的框架包括标准的随机近端梯度方法，没有预条件作为特殊情况，这已被广泛研究，在各种设置。不仅如此，我们提出了两个重要的更新规则，超出了众所周知的标准方法作为我们的方法的副产品：（i）自适应随机梯度方法的$\ell_q$正则化（$0 \leq q \leq 1$）的第一个封闭形式的邻近映射，以及（ii）ProxQuant的修订版本，修复了原始方法的警告，用于特定于量化的正则化。我们分析了ProxGen的收敛性，并表明整个ProxGen家族在没有预条件的情况下具有与随机邻近梯度下降相同的收敛速度。我们还通过大量的实验经验表明，近端的方法相比，基于亚梯度的方法的优越性。有趣的是，我们的结果表明，非凸正则化的近似方法比凸正则化的方法更有效。
2020-07-15 cs.LG math.OC stat.ML
The proximal-proximal gradient algorithm
我们考虑最小化一个凸目标的问题，这个凸目标是光滑部分和Lipschitz连续梯度的和，以及一个非光滑部分。受各种应用的启发，我们着重研究了非光滑部分是一个真闭凸函数P和一个非零仿射映射的复合，且其邻近映射τP，τ> 0，易于计算的情形.在这种情况下，直接应用广泛使用的近似梯度算法并不一定会导致容易的子问题。鉴于此，我们提出了一种新的算法，近似-近似梯度算法，它允许容易的子问题。如果仿射映射只是恒等映射并且适当地选择步长，则我们的算法简化为近似梯度算法，并且它等效于将交替最小化算法[35]的变体应用于对偶问题。此外，它与不精确的近端梯度算法密切相关[29，33]。我们表明，从算法产生的整个序列收敛到一个最优解。我们还建立了迭代复杂度的上界。我们的随机实现问题和逻辑融合套索问题的数值实验表明，该算法表现相当不错的大规模的情况。
2013-08-27 math.OC
A New Exact Worst-Case Linear Convergence Rate of the Proximal Gradient Method
本文利用邻近梯度范数建立了邻近梯度法的一个新的精确最坏情况线性收敛速率，它补充了文[1]中的结果，并蕴含了一个精化的下降引理.基于新引理，在Polyak-Lojasiewicz不等式下，提高了目标函数精度的线性收敛速率.
2019-03-12 math.OC
Forward-Euler time-discretization for Wasserstein gradient flows can be wrong
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
该研究通过两个反例证明，用于模拟Wasserstein梯度流的前向欧拉时间离散化即使在KL散度等简单能量泛函情形下也可能失效，并解释了原因。
2024-06-12 cs.LG math.OC stat.ML
Proximal gradient-type method with generalized distance and convergence analysis without global descent lemma
The Institute of Statistical Mathematics, Japan（日本统计数学研究所）；Joint Support-Center for Data Science Research, Japan（日本数据科学研究联合支持中心）；Department of Mathematics, College of Science and Technology, Nihon University, Japan（日本大学理工学部数学科）
本文提出了一种无需全局下降引理的近端梯度型方法，用于解决非凸复合优化问题，同时提供了新的锥优化内梯度方法收敛性结果。
2026-04-08 math.OC
Efficient Inexact Proximal Gradient Algorithm for Nonconvex Problems
近似梯度算法是求解凸优化问题的一种常用算法。最近，它也被扩展到非凸问题，目前最先进的是非单调加速邻近梯度算法。然而，它通常在每次迭代中需要两个精确的近端步骤，并且当近端步骤昂贵时可能是低效的。在本文中，我们提出了一个有效的近端梯度算法，只需要一个不精确的（因此成本较低）在每次迭代的近端步骤。收敛到一个临界点的非凸问题的%仍然是有保证的，并有一个$O(1/k)$收敛速度，这是最好的速度为非凸问题的一阶方法。通过对多个问题的实验表明，该算法具有与现有算法相当的性能，但速度要快得多。
2017-05-23 math.OC
Proximal Gradient Algorithms under Local Lipschitz Gradient Continuity: A Convergence and Robustness Analysis of PANOC
复合优化为各种应用提供了一个强大的建模工具，并且通常通过近端梯度法来数值求解。本文考虑了目标函数的光滑部分仅在局部Lipschitz梯度连续条件下的完全非凸复合问题。我们研究了PANOC类型方法的自适应方案（Stella等人，在IEEE第56届CDC会议论文集，1939- 1944，2017），即只需要简单的近似梯度预言的加速线性搜索算法。虽然包括经典的近端梯度法，我们的理论结果涵盖了更广泛的一类算法，并提供收敛保证加速方法可能不精确计算的近端映射。这些发现也有显着的实际影响，因为它们扩大了现有的范围和性能，并可能在未来，通用优化软件调用PANOC作为内部求解器。
2022-04-18 math.OC
On the Interplay between Acceleration and Identification for the Proximal Gradient algorithm
在本文中，我们研究了加速和结构识别的邻近梯度算法之间的相互作用。我们报告和分析了几种情况下，这种相互作用对算法的行为（迭代振荡，结构损失等）产生负面影响。我们提出了一种通用的方法，驯服加速度时，结构识别可能处于危险之中，它的好处是从一个收敛速度，在某些条件下的加速近端梯度相匹配。我们的经验表明，所提出的方法是更稳定的子空间识别相比，加速近端梯度法，同时保持类似的功能减少。
2020-08-31 math.OC
Proximal Gradient methods with Adaptive Subspace Sampling
机器学习或信号处理中的许多应用涉及非光滑最优化问题。这种非光滑性给最优解带来了低维结构。在本文中，我们提出了一个随机化的近端梯度法利用这种潜在的结构。我们引入两个关键组件：i）随机子空间邻近梯度算法; ii）基于识别的子空间采样。他们的相互作用带来了显着的性能改善典型的学习问题的维度探索。
2020-04-28 math.OC
Proximal-Proximal-Gradient Method
在本文中，我们提出了近端-近端梯度法（PPG），一种新的最优化方法，是简单的实现和简单的并行化。PPG推广了近似梯度法和ADMM，并适用于写为许多可微和许多不可微凸函数之和的最小化问题。非可微函数可以耦合。此外，我们提出了一个相关的随机变化，我们称之为随机PPG（S-PPG）。S-PPG可以被解释为将MISO和MISO推广到许多耦合的不可微凸函数的和。我们提出了许多应用程序，可以受益于PPG和S-PPG，并证明这两种方法的收敛。PPG和S-PPG的一个关键优势是，与现有方法相比，它能够直接处理大量不可微不可分离函数，并且具有与函数数量无关的恒定步长。这种非递减步长允许它们快速。
2017-10-18 math.OC
Inclusive KL Gradient Flows: Otto-Wasserstein, Fisher-Rao-Gaussian, and Local-Estimator Dynamics
Department of Mathematics, KTH Royal Institute of Technology（数学系，皇家理工学院）
建立统一的包含性KL推理梯度流和PDF框架，表明最大均值差异最小化可视为含近似梯度估计器的包含性KL推理，还开发了直接针对包含性KL散度的梯度流，为高斯变分推理提供基础。
2026-07-07 cs.LG math.OC stat.ML
Wasserstein Proximal Algorithms for the Schrödinger Bridge Problem: Density Control with Nonlinear Drift
研究了具有非线性先验动力学的薛定谔桥问题。在控制理论的语言，这是一个问题的最小努力转向一个给定的联合状态密度函数（PDF）到另一个在有限的时间范围内，受控的随机微分演化的状态向量。对于一般的非线性漂移，我们减少SBP解决系统的向前和向后Kolmogorov偏微分方程（PDE），通过边界条件耦合，未知数是“薛定谔因子”-如此命名，因为他们的产品在任何时候都产生最佳的控制联合状态PDF在那个时候。我们表明，如果漂移是一个梯度向量场，或者是混合的保守-耗散性质，那么它是可能的，这些偏微分方程转化为一对初值问题（IVP）涉及相同的前向Kolmogorov算子。结合最近提出的一个不动点递归，是在希尔伯特度量收缩，这开辟了可能性，以数值求解的SBPs在这些情况下，通过计算薛定谔因子通过一个单一的IVP求解器相应的（不受控制的）前向Kolmogorov偏微分方程。对于上述两种类型的漂移，由这样的前向Kolmogorov偏微分方程生成的流反过来在联合PDF的流形上相对于合适的距离泛函具有梯度下降结构。我们采用了近端算法在我们以前的工作，利用这种几何观点，解决这些IVP和计算薛定谔因子通过加权分散点云演化的状态空间。我们提供了算法的细节，并说明了建议的框架，解决非线性先验动力学的SBPs的数值例子。
2021-03-15 cs.SY eess.SY math.OC
On the complexity of proximal gradient and proximal gradient-Newton-CG methods for $\ell_1$-regularized Optimization
School of Mathematical Sciences, Jiangsu University（江苏大学数学科学学院）
提出两种基于不同近似二阶稳定点定义的二阶方法，用于求解\(\ell_1\)正则化复合优化问题，并分析其迭代复杂度、操作复杂度及局部超线性收敛率，数值实验验证了有效性。
2026-09-10 math.OC
Proximal bundle algorithms for nonsmooth convex optimization via fast gradient smooth methods
我们提出了新的最小化非光滑凸函数的邻近聚束法。这些算法是从应用Nesterov快速梯度法光滑凸最小化所谓的Moreau-Yosida正则化$F_μ$的$f$ w.r. t。一些$μ>0$。由于$F_μ$的精确值和梯度很难评估，我们使用近似的邻近点，由于捆绑策略，以获得可实现的算法。这些算法之一出现作为一个特殊情况下的惯性近端算法的一个可实现的版本。我们给他们的复杂性估计的原始函数值，并报告一些初步的数值结果。
2020-03-06 math.OC
Snake: a Stochastic Proximal Gradient Algorithm for Regularized Problems over Large Graphs
LTCI, Télécom ParisTech, Université Paris-Saclay（巴黎萨克雷大学巴黎高科电信学院LTCI实验室）；CNRS / LIGM (UMR 8049), Université Paris-Est Marne-la-Vallée（法国国家科学研究中心/马恩-拉瓦雷大学LIGM实验室）
研究了大型非结构图上的正则化最优化问题，其中正则化项与图的几何结构有关。典型的正则化示例包括图上的全变差和拉普拉斯正则化。当应用邻近梯度算法来解决这个问题时，在图是没有循环的简单路径的特殊情况下，存在非常经济实惠的方法来实现邻近运算符（向后步骤）。在本文中，一个算法，简称为“蛇”，提出了解决一般图的正则化问题，利用这些快速的方法。该算法包括在图中适当地选择随机简单路径，并在这些简单路径上执行近似梯度算法。该算法是一种新的广义随机邻近梯度算法的一个实例，并证明了其收敛性。其中提供了趋势过滤和图形修复的应用。数值实验进行了大型图。
2017-12-19 cs.LG math.OC stat.ML
RAPID: Rapidly Accelerated Proximal Gradient Algorithms for Convex Minimization
Boston University（波士顿大学）
本文提出了一种新的加速邻近梯度（APG）算法。为了最小化一个凸函数$f(\mathbf{x})$，我们的算法在APG中的每个邻近梯度步骤之后引入一个简单的线搜索步骤，使得在固定变量$\mathbf{x}$的情况下，双凸函数$f(θ\mathbf{x})$在标量变量$θ>0$上最小化。我们提出了两种新的方法来构建辅助变量的APG的基础上的中间解决方案的最近梯度和线搜索步骤。我们证明了在任意迭代步长$t (t\geq1)$，我们的算法可以达到一个更小的上限之间的差距的当前和最优的目标值比传统的APG方法，如FISTA，使它在实践中收敛速度更快。事实上，我们的算法可以潜在地应用于许多重要的凸优化问题，如稀疏线性回归和核支持向量机。我们的实验结果清楚地表明，我们的算法收敛速度比APG在上述所有的应用程序，甚至与一些复杂的求解器。
2014-06-18 cs.LG math.OC stat.ML
Fast dual proximal gradient algorithms with rate $O(1/k^{1.5})$ for convex minimization
考虑由一个强凸函数和一个强凸函数组成的复合函数的极小化问题。快速双近端梯度（FDPG）方法以速率$O(1/k^2)$减小对偶函数，从而产生用于减小原始函数的速率$O(1/k)$。我们提出了一个广义FDPG方法，保证了$O(1/k^{1.5})$率的双近端梯度范数下降。通过将其与原始函数减少相关联，所提出的方法以改进的$O(1/k^{1.5})$速率减少原始函数。
2016-09-29 math.OC
Unifying restart accelerated gradient and proximal bundle methods
本文提出一种重启版 Nesterov 加速梯度法并证明其最优复杂度，同时将该方法与近似束方法统一纳入加速不精确近似点框架。
2025-01-07 math.OC
Faster Gradient-Free Proximal Stochastic Methods for Nonconvex Nonsmooth Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Pittsburgh（匹兹堡大学）
最近梯度法在解决许多机器学习问题，特别是非光滑问题中发挥着重要作用。然而，在一些机器学习问题中，如强盗模型和黑盒学习问题，近端梯度法可能会失败，因为这些问题的显式梯度是困难的或不可行的。无梯度（零阶）方法可以解决这些问题，因为在优化中只需要目标函数值。最近，第一个零阶邻近随机算法被提出来解决非凸非光滑问题。然而，它的收敛速度是$O(\frac{1}{\sqrt{T}})$的非凸问题，这是显着低于零阶随机算法的最佳收敛速度$O(\frac{1}{T})$，其中$T$是迭代次数。为了填补这一空白，在本文中，我们提出了一类更快的零阶近似随机方法与SVRG和SAGA的方差减少技术，这是表示为ZO-ProxSVRG和ZO-ProxSAGA，分别。在理论分析中，我们解决的主要挑战，真正的梯度的无偏估计不持有在零阶的情况下，这是需要在以前的理论分析SVRG和SAGA。证明了ZO-ProxSVRG和ZO-ProxSAGA算法都具有$O(\frac{1}{T})$收敛速度。最后，实验结果表明，我们的算法具有更快的收敛速度比现有的零阶邻近随机算法。
2019-02-16 cs.LG math.OC stat.ML
Inertial Proximal Incremental Aggregated Gradient Method
在本文中，我们介绍了一个惯性版本的近端增量聚合梯度法（PIAG）的光滑凸分量函数和一个可能的非光滑凸正则化函数的总和最小化。在理论上，我们证明了在步长不大于一个常数的条件下，惯性近似增量聚集收敛（iPIAG）方法在严格弱于强凸性的二次增长条件下具有全局线性收敛.此外，我们提出了两个数值实验表明，iPIAG优于原来的PIAG。
2017-12-18 math.OC
Flowing Datasets with Wasserstein over Wasserstein Gradient Flows
Université Paris-Saclay, Laboratoire de Mathématique d'Orsay（巴黎-萨克雷大学，奥赛数学实验室）
本文将带标签数据集建模为分布上的分布，提出 WoW 距离及其梯度流，并用于迁移学习和数据集蒸馏。
2025-06-09 cs.LG math.OC stat.ML
On the Complexity of Approximating Wasserstein Barycenter
我们研究的复杂性近似Wassertein重心的$m$离散措施，或直方图的大小$n$通过对比两种替代方法，都使用熵正则化。第一种方法是基于迭代Bregman投影（IBP）算法，我们的新的分析给出了一个复杂度界成正比的$\frac{mn^2}{\varepsilon^2}$近似原始的非正则重心。使用另一种基于加速梯度下降的方法，我们获得了与$\frac{mn^{2.5}}{\varepsilon} $成比例的复杂度。作为一个副产品，我们表明，在这两种方法中的正则化参数必须是成比例的$\varepsilon$，这将导致不稳定的两种算法时，所需的精度是高的。为了克服这个问题，我们提出了一种新的近似IBP算法，它可以被看作是一个近似的梯度法，它使用IBP在每一次迭代，使一个近似的步骤。我们还考虑了这些算法的可扩展性问题，从分布式优化的方法，并表明，第一个算法可以实现在一个集中的分布式设置（主/从），而第二个是服从一个更一般的分散的分布式设置与任意的网络拓扑结构。
2020-02-20 cs.DS math.OC
Inexact Proximal-Gradient Methods with Support Identification
我们考虑最小化一个目标函数的近似梯度法，该目标函数是一个光滑函数和一个非光滑凸函数的和。一个特点，区分我们的工作从大多数文献中是，我们假设相关的近端运营商不承认一个封闭形式的解决方案。为了应对这一挑战，我们研究了两个自适应和可实现的终止条件，决定如何准确地解决了近端梯度子问题。我们证明了所需的迭代次数为不精确的近端梯度法达到$τ> 0$近似一阶稳定点是$\mathcal{O}(τ^{-2})$，这匹配类似的结果，持有精确的子问题的解决方案时计算。此外，通过关注重叠组$\ell_1$正则化，我们提出了一个算法近似解决的近似梯度子问题，然后证明其迭代识别（渐近）的支持最优解。如果一个施加额外的控制，每个子问题的解决的准确性，我们给出了一个上界的最大迭代次数之前，得到一个最优解的支持。
2022-11-04 math.OC
Decomposable Norm Minimization with Proximal-Gradient Homotopy Algorithm
研究了范数正则化线性最小二乘问题的近似梯度同伦算法的收敛速度。同伦算法在一系列步骤中减少正则化参数，并在每一步使用近似梯度算法来解决问题。如果目标函数是强凸的，并且目标函数的光滑分量的梯度是Lipschitz连续的，则近似梯度算法具有线性的收敛速率。在许多应用中，这类问题中的目标函数不是强凸的，特别是当问题是高维的并且正则化子被选择为引起稀疏性或低维性时。我们证明了，如果线性采样矩阵满足一定的假设且正则化范数是可分解的，那么即使目标函数不是强凸的，近似梯度同伦算法也能收敛于\emph{linear rate}.我们的结果推广了关于$l_1$ -正则化最小二乘问题同伦算法线性收敛性的结果。数值实验支持理论收敛速度分析。
2016-09-27 math.OC
A proximal gradient method for control problems with nonsmooth and nonconvex control cost
研究了一种近似梯度法在非光滑非凸控制问题中的收敛性。在这里，我们专注于控制成本泛函，促进稀疏性，其中包括泛函的$L^p$型$p\in [0,1)$。我们证明了该方法的弱极限点的平稳性。这些性质弱于庞特里亚金的最大值原理和弱于$L$ -平稳性。
2020-07-22 math.OC
Boosting Accelerated Proximal Gradient Method with Adaptive Sampling for Stochastic Composite Optimization
本文提出带自适应采样的 adaNAPG 算法以增强随机复合优化中的 NAPG，并证明其达到最优迭代与样本复杂度，且迭代序列满足中心极限定理。
2025-07-24 math.OC
Exact worst-case convergence rates of the proximal gradient method for composite convex minimization
研究了逼近梯度法极小化光滑强凸函数与非光滑凸函数之和的最坏情况下的收敛速度。我们建立了精确的最坏情况下的收敛速度的近端梯度法在此设置为任何步长和不同的标准性能指标：目标函数的准确性，距离最优和剩余梯度范数。证明方法依赖于最近的发展，在性能估计的一阶方法的基础上半定规划。在近端梯度法的情况下，这种方法允许获得精确的和非渐近的最坏情况下的保证，在概念上非常简单，虽然显然是新的。在此过程中，我们讨论了如何用较弱的假设来代替强凸性，同时保持相应的收敛速度。我们还建立了相同的固定步长的政策是最佳的所有三个性能指标。最后，我们扩展最近的结果，最坏情况下的行为梯度下降精确线搜索到近端的情况。
2020-02-29 math.OC
Bregman Proximal Gradient Algorithm with Extrapolation for a class of Nonconvex Nonsmooth Minimization Problems
在本文中，我们考虑一个加速方法解决非凸和非光滑极小化问题。我们提出了一个Bregman邻近梯度算法与外推（BPGe）。该算法扩展并加速了Bregman近似梯度算法（BPG），它绕过了近似梯度算法（PG）所需的限制性全局Lipschitz梯度连续性假设。BPGe算法比最近提出的带外推的邻近梯度算法（PGe）具有更高的通用性，并且由于外推步骤的存在，BPGe比BPG算法收敛更快。通过对收敛性的分析，证明了在适当选取参数的情况下，BPGe产生的序列的任何极限点都是问题的平稳点。此外，在Kurdyka-{K}ojasiewicz性质的假设下，证明了BPGe生成的序列整体收敛于一个平稳点.最后，为了说明新方法BPGe的潜力，我们将其应用于两个重要的实际问题，出现在许多基本的应用（不满足全局Lipschitz梯度连续性假设）：泊松线性逆问题和二次逆问题。在测试中，加速的BPGe算法显示出更快的收敛结果，给出了一个有趣的新算法。
2019-04-25 math.OC
Linear Convergence of the Proximal Gradient Method for Composite Optimization Under the Polyak-Łojasiewicz Inequality and Its Variant
本文研究了复合函数在两类PL不等式下近端梯度法的线性收敛率，利用性能估计问题提供了新的显式收敛率或改进了复杂度界限，并通过数值实验验证了理论结果。
2025-06-30 math.OC
Convergence of the Iterates of the Stochastic Proximal Gradient Method
North Carolina State University（北卡罗来纳州立大学）
本文研究了随机近端梯度法在最小化两个凸函数之和中的收敛性，无需假设随机变量的有界性或方差控制，证明了迭代序列几乎处处收敛和均值收敛，应用于分类和凸可行性问题。
2026-04-15 math.OC
