A Unified Theory of Stochastic Proximal Point Methods without Smoothness
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
本文提出一个统一理论框架，在无光滑性假设下，通过参数化假设和单一定理，为随机近端点方法的多种变体（包括新提出的三种）建立线性收敛保证，并恢复现有方法的最优复杂度。
2024-05-24 cs.LG math.OC
Stochastic First-Order Methods with Non-smooth and Non-Euclidean Proximal Terms for Nonconvex High-Dimensional Stochastic Optimization
The University of Hong Kong（香港大学）；University of Florida（佛罗里达大学）
本文针对非凸高维随机优化提出维度不敏感的随机一阶方法DISFOMs，允许非光滑非欧几里得近端项，并证明其样本复杂度仅对数依赖于维度，显著优于线性依赖。
2024-09-29 cs.LG math.OC
Inexact Proximal Gradient Methods for Non-convex and Non-smooth Optimization
University of Pittsburgh（匹兹堡大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
在机器学习研究中，近似梯度法是解决各种非光滑正则化优化问题的常用方法。当精确求解邻近算子很耗时，或者邻近算子没有解析解时，不精确邻近梯度法是非常重要的。然而，现有的不精确近似梯度方法只考虑凸问题。非凸情形下的不精确邻近梯度法的知识非常有限。此外，对于某些机器学习模型，仍然没有提出用于精确求解邻近算子的求解器。为了解决这个问题，在本文中，我们首先提出了三个不精确的邻近梯度算法，包括基本版本和Nesterov的加速版本。在此之后，我们提供了理论分析的基本版本和涅斯捷罗夫的加速版本。理论结果表明，我们的非精确近似梯度算法可以有相同的收敛速度，在非凸设置的精确近似梯度算法。最后，我们展示了我们的不精确近似梯度算法在三个有代表性的非凸学习问题上的应用。所有的实验结果证实了我们的新的不精确邻近梯度算法的优越性。
2018-09-08 cs.LG stat.ML
Inexact Online Proximal-gradient Method for Time-varying Convex Optimization
University of Colorado Boulder（科罗拉多大学博尔德分校）；IBM Research Ireland（IBM爱尔兰研究院）
本文考虑了一种在线逼近梯度法来跟踪随时间连续演化的复合凸函数的极小值。在线近似梯度法是不精确的，在这个意义上：（i）它依赖于成本的平滑分量的近似一阶信息;以及（ii）近似算子（相对于非平滑项）只能计算到一定精度。在适当的假设下，建立了强凸费用函数的误差迭代的收敛性。另一方面，动态后悔的成本不是强凸的情况下，额外的假设下，该问题包括可行性集是紧凑的。边界用累积误差和最优解的路径长度表示。这表明如何分配资源以在梯度计算和邻近算子中的性能和精度之间取得平衡。
2020-04-22 cs.LG math.OC
Proximal and Federated Random Reshuffling
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
随机重排（RR），也称为无替换的随机梯度下降（SGD），是一种流行的和理论上有基础的有限和最小化方法。我们提出了两个新的算法：近端和联邦随机重排（ProxRR和FedRR）。第一个算法，ProxRR，解决复合凸有限和最小化问题，其中的目标是一个（潜在的非光滑）凸正则化和$n$光滑目标的平均值的总和。我们得到的第二个算法，FedRR，作为一个特殊的情况下ProxRR适用于重新制定的分布式问题，无论是同质或异构数据。我们研究了算法的收敛性能与常数和减少步长，并表明他们有相当大的优势，近端和本地SGD。特别是，我们的方法具有优越的复杂性和ProxRR评估的近端运营商每时代只有一次。当邻近算子的计算成本很高时，这个小的差异使得ProxRR比在每次迭代中评估邻近算子的算法快$n$倍。我们给出了实际优化任务的例子，其中邻近算子很难计算，ProxRR具有明显的优势。最后，我们证实了我们的结果与真实数据集上的实验。
2021-02-12 cs.LG math.OC
Stochastic Proximal Langevin Algorithm: Potential Splitting and Nonasymptotic Rates
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
提出了一种新的对数凹分布抽样算法--随机邻近朗之万算法（SPLA）。我们的方法是一个推广的Langevin算法的潜力表示为一个随机光滑项和多个随机非光滑项的总和。在每次迭代中，我们的分裂技术只需要访问一个随机梯度的光滑项和一个随机邻近算子的每个非光滑项。我们建立了光滑项的凸性和强凸性下的非渐近次线性和线性收敛速度，分别用库尔贝克-莱布勒散度和瓦瑟斯坦距离表示。我们说明了我们的抽样技术的效率，通过数值模拟贝叶斯学习任务。
2020-06-16 cs.LG math.OC math.ST
Smoothing proximal gradient method for general structured sparse regression
Carnegie Mellon University（卡内基梅隆大学）
我们研究的问题估计高维回归模型正则化的结构化稀疏诱导惩罚编码的输入或输出变量的先验结构信息。我们考虑两种广泛采用的这类惩罚作为激励的例子：（1）一般的群套索惩罚，从群套索惩罚推广;（2）图引导的融合套索惩罚，从融合套索惩罚推广。对于这两种类型的惩罚，由于其不可分离性和非光滑性，开发一个有效的优化方法仍然是一个具有挑战性的问题。在本文中，我们提出了一种通用的优化方法，平滑邻近梯度（SPG）方法，它可以解决结构稀疏回归问题的任何光滑凸损失下的结构稀疏诱导罚款的广泛频谱。我们的方法结合了一个有效的近端梯度方法的平滑技术。它的收敛速度明显快于标准的一阶方法，次梯度方法，并且比最广泛使用的邻域点方法更具可扩展性。我们的方法的效率和可扩展性的模拟实验和真实的遗传数据集上证明。
2012-06-29 cs.LG math.OC stat.AP
Sharper Analysis for Minibatch Stochastic Proximal Point Methods: Stability, Smoothness, and Deviation
Baidu Research（百度研究院）
随机邻近点（SPP）方法最近受到随机最优化的关注，其具有强的收敛保证和优于经典随机梯度下降（SGD）方法的鲁棒性，并且几乎不增加计算开销。在这篇文章中，我们研究了一个小批变体的SPP，即M-SPP，解决凸复合风险最小化问题。核心贡献是一组新的超额风险界限的M-SPP通过算法稳定性理论的镜头。特别是在光滑性和二次增长条件下，我们证明了具有小批量$n$和迭代次数$T$的M-SPP具有由$\mathcal{O}\left(\frac{1}{T^2}\right)$偏差衰减项和$\mathcal{O}\left(\frac{1}{nT}\right)$方差衰减项组成的期望中的快速收敛速度.在小- $n$ -大- $T$设置中，该结果通过揭示模型的噪声水平对收敛速度的影响而大大改进了SPP型方法的最佳已知结果。在互补的小- $T$ -大- $n$制度，我们提供了一个两阶段的扩展M-SPP实现可比的收敛速度。此外，我们推导出一个近紧的高概率（超过数据的随机性）的参数估计误差的采样无替换的M-SPP的变种。数值证据支持我们的理论预测时，充实到Lasso和逻辑斯谛回归模型。
2023-01-09 cs.LG math.OC stat.ML
Convergence Rate of the Last Iterate of Stochastic Proximal Algorithms
Department of Computer Science, University of British Columbia（计算机科学系，不列颠哥伦比亚大学）
本文研究了随机近似算法在处理加法复合凸优化问题时，最后迭代的收敛速度，证明了在组件凸性和光滑性条件下，收敛速度为~O(1/√T)，并适用于多任务和联邦学习中的图引导正则化。
2026-02-05 cs.LG math.OC stat.ML
Smoothing Proximal Gradient Method for General Structured Sparse Learning
School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）；Tepper School of Business, Carnegie Mellon University（卡内基梅隆大学泰珀商学院）
我们研究的问题，学习高维回归模型正则化的结构稀疏诱导惩罚编码的输入或输出侧的先验结构信息。我们考虑两种广泛采用的惩罚类型作为我们的激励示例：1）基于l1/l2混合范数惩罚的重叠组套索惩罚，以及2）图引导融合惩罚。对于这两种类型的惩罚，由于其不可分离性，开发一个有效的优化方法仍然是一个具有挑战性的问题。在本文中，我们提出了一个通用的优化方法，称为平滑邻近梯度方法，它可以解决结构稀疏回归问题的光滑凸损失和广泛的结构稀疏诱导惩罚。我们的方法是基于Nesterov的一般平滑技术。它实现了比标准的一阶方法，次梯度方法更快的收敛速度，并且比最广泛使用的邻域点方法更具可扩展性。数值结果表明，所提出的方法的效率和可扩展性。
2012-02-14 cs.LG stat.ML
Solving Non-Convex Non-Differentiable Min-Max Games using Proximal Gradient Method
University of Southern California（南加利福尼亚大学）
极小极大鞍点对策在机器学习和信号处理中有着广泛的应用。尽管它们具有广泛的适用性，但理论研究大多局限于特殊的凹凸结构。虽然最近的一些工作将这些结果推广到特殊的光滑非凸的情况下，我们的理解非光滑的情况下仍然是有限的。本文研究了当目标函数关于局中人的决策变量之一是（强）凸时的非光滑极大极小对策的特殊形式。我们证明了一个简单的多步近似梯度下降-上升算法收敛到$ε$ -一阶纳什均衡的最小-最大游戏的梯度评价是多项式的数量在$1/ε$。我们还将表明，我们的平稳性的概念是强于现有的文献中。最后，我们评估所提出的算法的性能，通过对抗攻击的LASSO估计。
2020-03-18 cs.GT cs.LG math.OC
From stability of Langevin diffusion to convergence of proximal MCMC for non-log-concave sampling
Univ. Bordeaux, CNRS, Bordeaux INP, IMB, UMR 5251（波尔多大学、法国国家科学研究中心、波尔多INP、IMB、UMR 5251）；ENS, CNRS, PSL University Paris（巴黎高等师范学院、法国国家科学研究中心、巴黎PSL大学）；LTCI, Télécom Paris, IP Paris, France（LTCI、巴黎电信学院、IP巴黎、法国）；Univ. Bordeaux, CNRS, INRIA, Bordeaux INP, IMB, UMR 5251（波尔多大学、法国国家科学研究中心、INRIA、波尔多INP、IMB、UMR 5251）
本文证明非凸势函数下离散 ULA 对漂移近似的稳定性，并结合 Moreau 包络首次给出 PSGLA 收敛证明，实验显示其后验采样收敛更快且保持图像恢复性能。
2025-08-29 cs.CV cs.LG stat.ML
A decentralized proximal-gradient method with network independent step-sizes and separated convergence rates
Michigan State University（密歇根州立大学）；Princeton University（普林斯顿大学）
针对一类具有光滑项和非光滑项的分散最优化问题，提出了一种新的近似梯度算法。具体地说，平滑和非平滑项分别由梯度和邻近更新处理。所提出的算法是密切相关的以前的算法，PG-EXTRA \cite{shi2015proximal}，但有一些优点。首先，代理使用不协调的步长，稳定的上界步长是独立的网络拓扑结构。步长取决于局部目标函数，并且它们可以与梯度下降的步长一样大。其次，对于不含非光滑项的特殊情形，在强凸性假设下，可以达到线性收敛。新算法的收敛速度与目标函数和网络的依赖性是分离的，其收敛速度与一般梯度下降法和一致平均法的典型收敛速度相当。我们提供了数值实验来证明所介绍的算法的有效性，并验证我们的理论发现。
2019-06-18 cs.DC cs.LG cs.NA
Sampling Complexity of TD and PPO in RKHS
School of Management, Shenzhen Polytechnic University（深圳职业技术大学管理学院）；School of Data Science, The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）数据科学学院）；School of Data Science, Fudan University（复旦大学数据科学学院）
本文在RKHS中解耦PPO的策略评估与改进，证明核TD评判器配合KL正则化自然梯度可实现最优$k^{-1/2}$收敛，并在控制任务中提升稳定性与样本效率。
2025-09-29 cs.LG
An Efficient Smoothing Proximal Gradient Algorithm for Convex Clustering
University of Miami（迈阿密大学）
聚类分析将数据组织成合理的分组，是理解和学习的基本模式之一。广泛使用的K-means和层次聚类方法可能由于局部最小值而显着次优。最近引入的凸聚类方法将聚类问题转化为凸优化问题，并保证了全局最优解。然而，现有的基于交替方向乘子法（ADMM）或交替最小化算法（AMA）的凸聚类算法需要大量的计算和存储空间，限制了它们的应用。在本文中，我们开发了一个非常有效的平滑近似梯度算法（SSTRA）的凸聚类。我们的Sphera比ADMM或AMA为基础的凸聚类算法快一到两个数量级。Sundra所需的内存空间比ADMM和AMA所需的内存空间少至少一个数量级。计算机模拟和实际数据分析表明，该算法优于几个著名的聚类算法，包括K-均值和层次聚类。该算法的高效性和优越性将有助于凸聚类的广泛应用。
2020-06-22 cs.LG stat.ME stat.ML
Mixing Time of the Proximal Sampler in Relative Fisher Information via Strong Data Processing Inequality
Yale University（耶鲁大学）
本文研究了强对数凹目标分布下 Proximal Sampler 算法的混合时间，通过建立高斯信道的强数据处理不等式，证明了相对 Fisher 信息的指数收敛速率及高精度迭代复杂度保证。
2025-06-28 cs.IT cs.LG math.IT
PRISMA: PRoximal Iterative SMoothing Algorithm
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Katholieke Universiteit Leuven（鲁汶大学）
受学习问题的启发，包括最大范数正则化矩阵完成和聚类，鲁棒PCA和稀疏逆协方差选择，我们提出了一种新的优化算法，用于最小化凸目标分解为三个部分：一个光滑的部分，一个简单的非光滑Lipschitz部分，和一个简单的非光滑非Lipschitz部分。我们使用的时变平滑策略，使我们能够获得保证，不依赖于事先知道的总迭代次数，也没有约束的域。
2012-11-18 cs.LG math.OC
A Proximal Algorithm for Sampling from Non-convex Potentials
我们研究与非凸电位，同时缺乏光滑性的采样问题。特别地，我们考虑目标分布，满足任意一个Atomic-Sobolev不等式或Poincaré不等式。而不是光滑的，潜在的假设是半光滑的或多个半光滑函数的总和。我们开发了一个采样算法，类似于近端算法优化这个具有挑战性的采样任务。我们的算法是基于一个特殊的情况下，吉布斯采样称为交替采样框架（ASF）。这项工作的关键贡献是一个实际的实现ASF的基础上拒绝采样的非凸和半光滑设置。本文将\cite{LiaChe21,LiaChe22}中的非光滑/半光滑对数凹分布的最新算法推广到非凸势的情形。在几乎所有的情况下，在这项工作中考虑的采样，我们的近端采样算法实现了更好的复杂性比所有现有的方法。
2023-02-20 cs.LG
A Proximal Algorithm for Sampling
Yale University（耶鲁大学）；Georgia Institute of Technology（佐治亚理工学院）
针对缺乏平滑性的凸或非凸势能采样问题，本文基于交替采样框架与 rejection sampling 提出一种近端采样算法，在多种情形下比现有方法取得更好的复杂度。
2023-06-30 cs.LG stat.ML
Perturbed Proximal Descent to Escape Saddle Points for Non-convex and Non-smooth Objective Functions
研究了非凸非光滑优化问题中的局部极小点问题。在严格鞍点的假设下，一阶方法得到了正结果。我们提出了第一个已知的结果的非光滑的情况下，这需要不同的分析和不同的算法。
2019-01-24 cs.LG math.OC stat.ML
Anderson Acceleration of Proximal Gradient Methods
Division of Decision and Control Systems, School of Electrical Engineering and Computer Science, KTH Royal Institute of Technology（瑞典皇家理工学院电气工程与计算机科学学院决策与控制系统分部）
安德森加速是一种成熟而简单的技术，用于加速具有无数应用的定点计算。以前的研究安德森加速优化只能提供收敛保证无约束和光滑的问题。这项工作介绍了新的方法，适应安德森加速（非光滑和约束）近端梯度算法。在一定的技术条件下，我们将已有的光滑不动点映射Anderson加速的局部收敛结果推广到所提出的格式。我们还分析证明，它是不可能的，在一般情况下，保证本地安德森加速的整体收敛。因此，我们提出了一个简单的计划稳定，结合了全球最坏情况下的保证，近端梯度法的局部适应和实际的安德森加速。
2020-06-15 cs.LG math.OC
Preconditioned Regularized Wasserstein Proximal Sampling
Department of Mathematics, University of California, Los Angeles（加州大学洛杉矶分校数学系）；Department of Mathematics, University of South Carolina（南卡罗来纳大学数学系）
本文提出一种预条件正则化Wasserstein近似采样方法，通过耦合各向异性热方程的Cole-Hopf变换得到核形式，用于从Gibbs分布中采样，并在二次势能情况下提供非渐近收敛分析。
2026-05-14 cs.LG math.OC stat.CO
Accelerated Regularized Wasserstein Proximal Sampling Algorithms
Department of Mathematics, University of California, Los Angeles, CA 90095（加州大学洛杉矶分校数学系）；Department of Mathematics, University of South Carolina, Columbia, SC 29208（南卡罗来纳大学数学系）
本文提出了一种加速的正则化Wasserstein近端采样算法，通过二阶分数ODE提升粒子混合效率，实现更快的收敛和更优的泛化性能。
2026-01-16 cs.LG math.OC stat.CO
Constrained and Composite Sampling via Proximal Sampler
Department of Computer Science, University of Rochester（计算机科学系，罗切斯特大学）；Goergen Institute for Data Science and Artificial Intelligence (GIDS-AI)（数据科学与人工智能研究所（GIDS-AI））
本文提出通过近端采样器解决约束和复合采样问题，利用epigraph变换和切割平面方法实现高效采样，无需了解约束集几何结构。
2026-02-16 cs.DS cs.LG math.OC
Stochastic proximal splitting algorithm for composite minimization
Research Center for Logic, Optimization and Security (LOS)（逻辑、优化与安全研究中心（LOS））；University of Bucharest（布加勒斯特大学）
在多个分支研究成果的支持下，一阶分裂算法成为结构非光滑最优化的核心。在大规模或噪声背景下，当只有目标函数的光滑部分的随机信息可用时，将邻近梯度格式扩展到随机预言机是基于非光滑部分的邻近可处理性，并且在文献中已经进行了深入的分析。然而，仍然存在差距所示的复合模型的非光滑项是不近端听话了。在这份说明中，我们解决复合最优化问题，其中只访问随机信息的光滑和非光滑组件的假设，使用随机邻近的一阶计划与随机邻近更新。我们提供了$\mathcal{O}\left( \frac{1}{k} \right)$的迭代复杂性（在期望的平方距离的最优集）的强凸性假设下的目标函数。经验行为的参数稀疏表示模型的数值试验说明。
2020-10-02 cs.LG math.OC
Alternating Diffusion for Proximal Sampling with Zeroth Order Queries
Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院）；Institute of High Performance Computing, Agency for Science, Technology and Research（科技研究局高性能计算研究所）；Centre for Frontier AI Research, Agency for Science, Technology and Research（科技研究局前沿人工智能研究中心）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）
本文提出一种仅利用零阶信息的近端采样器，通过直接模拟动力学而非拒绝采样，将中间粒子分布视为高斯混合分布，从而获得蒙特卡洛分数估计器，在等周条件下继承指数收敛性，并通过并行计算实现快速收敛。
2026-03-20 cs.LG stat.ML
A Proximal Stochastic Quasi-Newton Algorithm
Shanghai Jiao Tong University（上海交通大学）；Peking University（北京大学）；Nanjing University（南京大学）
本文讨论了两个凸函数之和的极小化问题：一个光滑函数和一个非光滑函数。进一步地，平滑部分可以由大量平滑分量函数的平均来表示，而非平滑部分配备有简单的邻近映射。我们提出了一个近似的随机二阶方法，这是有效的和可扩展的。该算法在函数的光滑部分引入了Hessian算子，并利用多级格式来减小随机梯度的方差。我们证明了我们的方法可以达到线性收敛速度。
2016-11-16 cs.LG stat.ML
Riemannian Proximal Sampler for High-accuracy Sampling on Manifolds
Rice University（莱斯大学）；University of California, Davis（加利福尼亚大学戴维斯分校）
提出黎曼近端采样器用于黎曼流形密度采样，依赖MBI和RHK预言机，建立KL散度O(log(1/ε))、总变差O(log²(1/ε))的高精度保证，给出预言机实现并通过数值验证有效性。
2025-02-11 cs.LG math.ST stat.ML
Smooth, Sparse, and Stable: Finite-Time Exact Skeleton Recovery via Smoothed Proximal Gradients
School of Management, University of Science and Technology of China（管理学院，中国科学技术大学）
本文提出平滑近端梯度算法SPG-AHOC，通过混合顺序无环约束在有限时间内精确恢复因果图结构，解决了连续优化与离散图结构之间的根本性挑战。
2026-01-26 cs.LG
Accelerated High-Accuracy Sampling from a Warm Start via the Proximal Bouncy Particle Sampler
Massachusetts Institute of Technology（麻省理工学院）；Yale University（耶鲁大学）；Duke University（杜克大学）
针对强凸光滑分布采样问题，提出近端弹跳粒子采样器，结合近端与弹跳粒子方法，从热启动以低梯度查询次数实现高精度采样。
2026-09-09 cs.DS cs.LG math.PR
Picard Proximal Monte Carlo for Parallel Bayesian Imaging with Score-Based Generative Priors
Johns Hopkins University（约翰斯·霍普金斯大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对贝叶斯成像逆问题采样成本高的痛点，提出基于近端朗之万动力学与Picard迭代的并行采样框架PiX-MC，实现50倍加速且保持重建质量
2026-08-19 cs.LG
Proximal-IMH: Proximal Posterior Proposals for Independent Metropolis-Hastings with Approximate Operators
Oden Institute for Computational Engineering and Sciences（奥登计算工程与科学研究所）
本文提出了一种改进的独立Metropolis-Hastings算法，通过引入辅助优化问题来消除近似后验分布中的偏差，从而在保持精确模型的同时提高稳定性和采样效率。
2026-05-17 cs.LG stat.CO
Reflected Proximal Dynamics for Accelerated High-Accuracy Log-Concave Sampling
Georgia Institute of Technology（佐治亚理工学院）
该研究针对对数凹采样问题，提出反射邻近动力学，开发两种实现，在热启动及消除热启动假设的情形下，均实现了更优的神谕查询复杂度，为高精度对数凹采样提供了新的有前景框架。
2026-10-14 cs.AI cs.LG math.ST
Proximal Policy Optimization for Amortized Discrete Sampling
HSE University（高等经济学院）；Constructor University（康斯特大学）；CMAP, CNRS, École polytechnique, IPP（CMAP，CNRS，巴黎综合理工学院，IPP）
本文在生成流网络框架下，推导了策略梯度算法并首次应用近端策略优化，提升了离散概率分布采样的收敛速度和数据效率。
2026-11-03 cs.AI cs.LG stat.ML
Effective Proximal Methods for Non-convex Non-smooth Regularized Learning
University of Connecticut（康涅狄格大学）；University of Houston（休斯顿大学）
稀疏学习是从高维数据中挖掘有用信息和模式的重要工具。非凸非光滑正则化学习问题是稀疏学习中的重要问题，近年来受到了广泛的关注。我们设计了一族随机邻近梯度方法，通过应用任意采样来解决具有非凸和非光滑正则化的经验风险最小化问题。这些方法在计算随机梯度时根据任意概率分布绘制小批量的训练样本。一个统一的分析方法来研究这些方法的收敛性和计算复杂性，使我们能够比较不同的采样方案。我们表明，独立的抽样方案往往提高性能比常用的均匀抽样方案。我们的新分析还得出了一个更严格的约束收敛速度的均匀采样比迄今为止最好的。经验评估表明，所提出的算法收敛速度比最先进的。
2020-10-21 cs.LG stat.ML
Enabling Token-wise Importance Sampling in Off-Policy RLVR with Proximal KL Regularization
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究针对带可验证奖励的离线策略强化学习（RLVR），提出Proximal KL方法，通过分离近端参考与采样策略、用有界未来KL信用替代PPO裁剪，在数学基准上较GRPO有更高准确率，且训练更稳定高效。
2026-10-14 cs.LG
A Proximal Zeroth-Order Algorithm for Nonconvex Nonsmooth Problems
University of Central Florida（中佛罗里达大学）
在本文中，我们专注于解决一类重要的非凸最优化问题，其中包括许多问题，如信号处理网络多智能体系统和分布式学习网络。针对局部目标函数是光滑但可能非凸的部分和非光滑但凸的部分在线性等式约束下之和的问题，提出了一种近似零阶原始对偶法（PZO-PDA），该算法考虑了问题的信息结构.该算法仅利用零阶信息（即，函数值），但是对于仅目标函数的噪声信息可访问的应用实现了灵活性，其中经典方法不能被应用。我们证明了PZO-PDA的收敛性和收敛速度。数值实验验证了理论结果。
2018-10-17 cs.LG math.OC stat.ML
Proximal Policy Optimization Smoothed Algorithm
近端策略优化（PPO）在策略搜索（强化学习的一个子领域）中产生了最先进的结果，其关键点之一是使用代理目标函数来限制每次策略更新时的步长。虽然这样的限制是有益的，该算法仍然遭受性能不稳定和优化效率低下的突然平坦的曲线。为了解决这个问题，我们提出了一个PPO的变种，命名为近端策略优化平滑算法（PPOS），其关键的改进是使用功能裁剪方法，而不是一个平面裁剪方法。通过与采用回滚裁剪方法的PPO和PPORB方法的比较，证明了该方法比其他PPO方法在每个时间步上都能进行更精确的更新。此外，我们表明，它在具有挑战性的连续控制任务中的性能和稳定性方面优于最新的PPO变体。
2020-12-04 cs.LG stat.ML
Proximal Newton-type methods for minimizing composite functions
Institute for Computational and Mathematical Engineering, Stanford University（斯坦福大学计算与数学工程研究所）；Department of Management Science and Engineering, Stanford University（斯坦福大学管理科学与工程系）
针对光滑函数与非光滑凸函数之和的优化问题，提出近端牛顿型方法，并证明其在不精确搜索方向下仍保持牛顿型方法的收敛性，统一了生物信息学、信号处理和统计学习中的多种流行方法。
2014-03-17 cs.DS cs.LG cs.NA
FlowLPS: Langevin-Proximal Sampling for Flow-based Inverse Problem Solvers
KAIST（韩国科学技术院）
本文提出 FlowLPS，一种基于 Langevin-近端采样的训练自由潜流逆问题求解器，通过少量 Langevin 更新和局部 MAP 风格近端细化，在保持测量一致性的同时提升感知质量。
2026-05-12 cs.AI cs.CV cs.LG
Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals
University of Cambridge（剑桥大学）；University of California, Los Angeles（加州大学洛杉矶分校）；University of South Carolina（南卡罗来纳大学）
针对势函数控制分布的采样问题，提出基于正则化Wasserstein近端算子的确定性MCMC方法，在收敛速度、维度依赖性、估计精度及贝叶斯模型训练上均表现优于现有朗之万类算法。
2023-10-02 cs.LG stat.CO stat.ML
Faster Sampling via Stochastic Gradient Proximal Sampler
Hong Kong University of Science and Technology（香港科技大学）；The University of Hong Kong（香港大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出随机近端采样器（SPS）用于非对数凹分布采样，基于SGLD和MALA实现两种变体，在总变差距离内达到ε-采样误差，梯度复杂度优于已知最佳结果至少$\tilde{\mathcal{O}}(d^{1/3})$因子，并通过实验验证了效率。
2024-05-27 cs.LG stat.ML
Proximal Langevin Algorithm: Rapid Convergence Under Isoperimetry
Georgia Institute of Technology（佐治亚理工学院）
研究了等周分布下概率分布$ν= e^{-f}$在$\mathbb{R}^n$上的抽样问题的近端Langevin算法。当$ν$满足log-Sobolev不等式（LSI）且$f$具有有界二阶和三阶导数时，证明了PLA在KL发散下的收敛保证.这改进了未调整的朗之万算法（Unadjusted Langevin Algorithm，缩写为EGA）的结果，并且与LSI（没有Metropolis滤波器）下的最快已知采样速率相匹配，对LSI常数具有更好的依赖性。证明了当有偏极限满足LSI或Poincaré不等式时，PLA在$q > 1$阶Rényi发散中的收敛保证.
2019-11-04 cs.DS cs.IT cs.LG
Decentralized Proximal Stochastic Gradient Langevin Dynamics
本文提出去中心化近端随机梯度兰格朗日动力学算法，用于在凸域内采样对数凹概率分布。通过共享的近端正则化约束，保证更新一致性。算法在2-瓦瑟斯坦距离下具有非渐近收敛性，并在合成和真实数据集上验证了其有效性。
2026-05-01 cs.LG math.PR stat.ML
Federated Smoothing Proximal Gradient for Quantile Regression with Non-Convex Penalties
Norwegian University of Science and Technology-NTNU（挪威科技大学）；Aalto University（阿尔托大学）
针对物联网分布式稀疏高维数据的隐私保护分析需求，提出融合平滑机制与近端梯度框架的联邦分位数回归算法FSPG，可高效处理非凸惩罚与非光滑损失，提升估计精度与收敛可靠性。
2024-08-13 cs.AI cs.LG
Online Proximal ADMM for Graph Learning from Streaming Smooth Signals
Pontificia Universidad Católica del Perú（秘鲁天主教大学）；University of Rochester（罗切斯特大学）
本文提出一种基于近端ADMM的在线图学习算法，用于从流式平滑信号中高效学习动态图结构，具有低内存消耗和次线性遗憾，并在实验中优于现有基线。
2024-09-19 cs.LG eess.SP
A Logarithmic Barrier Method For Proximal Policy Optimization
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Institude of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
近端策略优化（PPO）已被提出作为用于强化学习的一阶优化方法。需要注意的是，该方法采用了外部罚函数法，但通常情况下，当罚参数增大时，外部罚函数的极小值仅在极限内逼近可行。因此，这可能导致采样效率的低水平。该方法保留了PPO的优点，即易于实现和推广性好，我们称之为带障碍的近端策略优化（PPO-B）。具体地说，提出了一种新的代理目标与内部惩罚方法，以避免所带来的缺陷，外部惩罚方法。可以得出结论，PPO-B能够在采样效率方面优于PPO，因为PPO-B在Atari和Mujoco环境中的性能明显优于PPO。
2018-12-16 cs.LG stat.ML
ProFlow: Zero-Shot Physics-Consistent Sampling via Proximal Flow Guidance
University of Science；School of Mathematical Sciences, Fudan University, Shanghai 200433, China；Department of Electronic Engineering；Information Science, University of Science；School of Computing；Data Science, The University of Hong Kong；School of Mathematical Sciences, Fudan University, Shanghai 200433, China \& Shanghai Key Laboratory of Contemporary Applied Mathematics, Shanghai 200433, China
ProFlow通过近端引导框架实现零样本物理一致采样，有效平衡物理约束与生成先验的统计结构。
2026-01-28 cs.AI cs.LG cs.NA
Diffusion Posterior Proximal Sampling for Image Restoration
College of Computer Science, Sichuan University（四川大学计算机学院）；Heriot-Watt University（赫瑞瓦特大学）；Hong Kong University of Science and Technology（香港科技大学）
针对扩散图像复原中无条件生成范式导致的过度平滑问题，提出后验近端采样范式，通过测量一致样本选择、自适应候选数和测量信号初始化，在几乎不增加计算开销的情况下显著提升复原性能。
2024-08-06 cs.CV cs.LG eess.IV
A proximal gradient algorithm for composite log-concave sampling
Yale University（耶鲁大学）
本文提出一种近端梯度算法，用于采样复合对数凹分布，通过梯度和受限高斯 oracle 实现，在强凸和光滑条件下达到总变差距离误差 ε 的精度。
2026-10-16 cs.DS cs.LG math.ST
Bregman Proximal Langevin Monte Carlo via Bregman--Moreau Envelopes
Northwestern University（西北大学）
我们提出了有效的Langevin蒙特卡罗算法的采样分布的非光滑凸复合势，这是一个连续可微的功能和可能的非光滑功能的总和。我们设计这样的算法，利用凸分析和优化方法的最新进展，涉及布雷格曼分歧，即布雷格曼-莫罗信封和布雷格曼邻近算子，并在朗之万蒙特卡罗算法让人想起镜像下降。所提出的算法扩展现有的朗之万蒙特卡罗算法在两个方面-能够采样非光滑分布与镜像下降的算法，和使用更一般的布雷格曼-莫罗包络代替莫罗包络作为一个光滑的近似的非光滑的潜在的一部分。所提出的方案的一个特定的情况下，让人想起Bregman近端梯度算法。所提出的方法的效率与现有的朗之万蒙特卡罗方法是已知的执行不佳的各种采样任务说明。
2022-07-10 cs.LG stat.CO stat.ML
