Proximal Quasi-Newton Methods for Regularized Convex Optimization with Linear and Accelerated Sublinear Convergence Rates
Dept. of Industrial and Systems Engineering, Lehigh University, Bethlehem, PA, USA（工业与系统工程系，莱维大学，伯灵顿，宾夕法尼亚州，美国）
本文研究了正则化凸优化中近似拟牛顿方法的收敛性，分析了强凸情况下精确与不精确设置的收敛性质，并探讨了加速变体的实用性与性能。
2017-10-17 cs.LG cs.NA math.NA
Gradient Descent Methods for Regularized Optimization
Ss. Cyril and Methodius University in Skopje（斯科普里圣西里尔与圣美多德大学）；Macedonian Academy of Sciences and Arts（马其顿科学与艺术学院）
本文针对正则化优化问题综述了梯度下降与近端梯度下降方法，并提出一种基于局部Lipschitz常数估计的可变步长近端梯度下降新算法，在迭代次数和时间开销上均优于传统固定步长方法。
2024-12-28 cs.LG math.OC
Proximal Stochastic Dual Coordinate Ascent
Hebrew University（希伯来大学）；Rutgers University（罗格斯大学）
我们介绍了一种近似的双坐标上升法。我们演示了如何派生的算法框架可以用于许多正则化的损失最小化问题，包括$\ell_1$正则化和结构化输出SVM。我们获得的收敛速度匹配，有时改善，国家的最先进的结果。
2012-11-12 cs.LG math.OC stat.ML
A Fast Proximal Point Method for Computing Exact Wasserstein Distance
Georgia Institute of Technology（佐治亚理工学院）；East China Normal University（华东师范大学）
瓦瑟斯坦距离在机器学习、随机规划和图像处理中发挥着越来越重要的作用。目前正在作出重大努力，以解决其高计算复杂性，一些导致近似或正规化的变化，如Sinkhorn距离。然而，正如我们将证明的，具有大正则化参数的正则化变化将在几个重要的机器学习应用中降低性能，并且小正则化参数将由于现有算法的数值稳定性问题而失败。我们通过开发一种不精确的近点方法来解决这一挑战，该方法用于精确的最优运输问题（IPOT），在每次迭代时使用概率单纯形的投影近似评估近端算子。该算法（a）在理论保证和鲁棒正则化参数选择的情况下收敛到精确的瓦瑟斯坦距离，（b）消除了数值稳定性问题，（c）具有与Sinkhorn相似的计算复杂度，（d）避免了应用于生成模型时的收缩问题。在此基础上，提出了一种新的基于IPOT的Wasserstein重心提取算法.
2019-06-24 cs.LG stat.ML
Training L1-Regularized Models with Orthant-Wise Passive Descent Algorithms
Tencent AI Lab（腾讯人工智能实验室）
$L_1$正则化模型广泛用于稀疏回归或分类任务。在本文中，我们提出了正交明智的被动下降算法（OPDA）优化$L_1$正则化模型，作为一个改进的替代邻近算法，这是目前的标准工具，优化模型。OPDA使用一个随机方差缩减梯度（SVRG）来初始化下降方向，然后应用一种新的对齐算子来鼓励每个元素在一次迭代更新后保持相同的符号，从而使参数保持与以前相同的正体。它还显式地抑制每个元素的大小以施加稀疏性。拟牛顿更新可以用来合并曲率信息并加快速度。证明了OPDA在一般光滑强凸损失函数上的线性收敛速度。通过对$L_1$ -正则化逻辑回归和卷积神经网络进行实验，我们表明OPDA优于最先进的随机邻近算法，这意味着在训练稀疏模型方面有广泛的应用。
2018-02-22 cs.LG stat.ML
Decision-Aware Proximal Bridge Learning for Optimal Treatment Selection
Novartis（诺华）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Universidad Politécnica de Madrid（马德里理工大学）
本文提出了一种面向决策的近端桥学习方法，通过强调决策相关治疗区域并保留全局稳定性，解决了在近端因果推断中治疗选择和最优决策的不足。
2026-05-16 cs.LG
Stochastic Proximal Gradient Algorithm with Minibatches. Application to Large Scale Learning Models
University of Bucharest（布加勒斯特大学）；The Research Institute of the University of Bucharest (ICUB)（布加勒斯特大学研究所（ICUB））
随机优化是大多数统计学习模型的核心。近年来，随机算法工具的大发展主要集中在近似梯度迭代上，以寻找非光滑（复合）总体风险函数的有效方法。通过最小化正则化风险来寻找最佳预测因子的复杂性在很大程度上被理解为简单的正则化，如$\ell_1/\ell_2$范数。然而，预测器所需的更复杂的属性需要高度困难的正则化器，如在分组套索或图形趋势滤波中使用的正则化器。在这一章中，我们开发和分析小批量变种的随机邻近梯度算法的一般复合目标函数的随机非光滑组件。我们提供迭代复杂度为常数和可变步长的政策获得，对于minibatch大小$N$，经过$\mathcal{O}(\frac{1}{Nε})$迭代$ε-$次优达到预期的二次距离最优解。对$\ell_2-$正则化支持向量机和参数稀疏表示问题的数值测试证实了理论行为，并超过了minibatch SGD性能。
2020-03-30 cs.LG cs.NA math.NA
Asynchronous Stochastic Proximal Methods for Nonconvex Nonsmooth Optimization
University of Alberta（阿尔伯塔大学）；Wuhan University（武汉大学）
我们研究了求解具有凸但可能非光滑正则化子的非凸优化问题的随机算法，这些算法在许多实际的机器学习应用中有着广泛的应用。然而，与异步并行随机梯度下降（AsynSGD）算法相比，对非光滑正则化优化问题的随机算法行为的理解是有限的，特别是当目标函数是非凸的时候。为了填补这一理论空白，在本文中，我们提出并分析了异步并行随机邻近梯度（Asyn-ProxSGD）方法的非凸问题。我们建立了一个遍历收敛速度$O(1/\sqrt{K})$的建议Asyn-ProxSGD，其中$K$是模型上的更新次数，匹配目前已知的AsynSGD（光滑问题）的收敛速度。据我们所知，这是第一个工作，异步并行ProxSGD算法的非凸问题的收敛速度。此外，我们的研究结果也是第一个显示任何随机邻近方法的收敛性，而无需假设增加批量大小或使用额外的方差减少技术。我们在Parameter Server上实现了所提出的算法，并在两个真实世界的数据集上展示了其收敛行为和近线性加速，随着工人数量的增加。
2018-09-15 cs.LG
On the Relationship Between CoCoA and ADMM for Distributed Empirical Risk Minimization
Department of Industrial & Systems Engineering, University of Wisconsin–Madison（工业与系统工程系，威斯康星大学麦迪逊分校）
本文从统一原始-对偶视角揭示CoCoA与ADMM两类分布式ERM算法的内在联系，证明岭正则化下CoCoA等价于特定近端ADMM方案，并给出ADMM型方法的统一收敛分析和早停准则。
2026-06-28 cs.LG math.OC stat.ML
$L_1$-norm Regularized Indefinite Kernel Logistic Regression
School of Statistics and Data Science, Qufu Normal University（统计与数据科学学院，曲阜师范大学）；Dongfang College, ShanDong University of Finance and Economics（东方学院，山东财经大学）
核逻辑斯谛回归（KLR）是一种功能强大的分类方法，广泛应用于不同的领域。在许多现实世界的场景中，不定核比正定核捕获更多的特定于域的结构信息。提出了一种新的$L_1$ -范数正则化不定核逻辑斯谛回归（RIKLR）模型，该模型通过引入$L_1$ -范数惩罚函数来扩展已有的IKLR框架.这种正则化的引入增强了可解释性和推广性，同时将非光滑性和非凸性引入优化领域。为了解决这些挑战，理论上接地和计算效率的近端线性化算法的开发。在多个基准数据集上的实验结果表明，该方法在准确性和稀疏性方面都具有优异的性能。
2025-10-30 cs.LG stat.ML
A General Family of Stochastic Proximal Gradient Methods for Deep Learning
KAIST（韩国科学技术院）；IBM T.J. Watson Research Center（IBM T.J. 沃森研究中心）；AITRICS
我们研究了正则化神经网络的训练，其中正则化器可以是非光滑和非凸的。我们提出了一个统一的框架随机近端梯度下降，我们术语ProxGen，允许任意的积极预条件和较低的半连续正则化。我们的框架包括标准的随机近端梯度方法，没有预条件作为特殊情况，这已被广泛研究，在各种设置。不仅如此，我们提出了两个重要的更新规则，超出了众所周知的标准方法作为我们的方法的副产品：（i）自适应随机梯度方法的$\ell_q$正则化（$0 \leq q \leq 1$）的第一个封闭形式的邻近映射，以及（ii）ProxQuant的修订版本，修复了原始方法的警告，用于特定于量化的正则化。我们分析了ProxGen的收敛性，并表明整个ProxGen家族在没有预条件的情况下具有与随机邻近梯度下降相同的收敛速度。我们还通过大量的实验经验表明，近端的方法相比，基于亚梯度的方法的优越性。有趣的是，我们的结果表明，非凸正则化的近似方法比凸正则化的方法更有效。
2020-07-15 cs.LG math.OC stat.ML
MoSSP: A Momentum-Based Single-Loop Stochastic Penalty Method for Nonconvex Constrained DC-Regularized Optimization
School of Mathematical Sciences, Beihang University, Beijing 100191, China（北京航空航天大学数学学院）；School of Computer Science and Engineering, Sun Yat-sen University, Guangzhou 510006, China（中山大学计算机科学与工程学院）
提出MoSSP算法，一种基于动量的单环随机惩罚方法，用于解决具有非凸约束和DC正则化的随机优化问题，实现了O(ε^{-4})和O(ε^{-3})的oracle复杂度。
2026-05-28 cs.LG math.OC
Proximal Gradient Descent-Ascent: Variable Convergence under KŁ Geometry
University of Utah（犹他大学）；The Ohio State University（俄亥俄州立大学）
梯度下降-上升（GDA）算法在求解极小极大最优化问题中得到了广泛的应用。为了实现极小极大优化的收敛策略参数，GDA生成收敛变量序列而不是函数值或梯度范数的收敛序列是重要的。然而，GDA的变收敛性仅在凸几何下得到了证明，对一般的非凸极大极小优化缺乏理解。本文通过研究正则化非凸-强-凹极大极小优化的更一般的近似GDA的收敛性，填补了这一空白。具体来说，我们表明，近似GDA承认一个新的李雅普诺夫函数，单调下降的极大极小优化过程中，并推动变量序列的临界点。通过利用这个李雅普诺夫函数和参数化一般非凸函数的局部几何的Kesterian几何，我们正式建立了近似GDA到临界点$x^*$的变量收敛，即，$x_t\to x^*, y_t\to y^*(x^*)$。此外，在整个频谱的KALTH参数化的几何，我们表明，近端GDA实现不同类型的收敛速度，从次线性收敛到有限步收敛，这取决于与KALTH参数的几何形状。这是第一个关于非凸极大极小优化的变量收敛性的理论结果。
2021-02-17 cs.LG math.OC
Stochastic regularized majorization-minimization with weakly convex and multi-convex surrogates
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
随机优化最小化（SMM）是一类随机最优化算法，其通过采样新数据点并最小化目标函数的代理函数的递归平均来进行。代理需要是强凸的，一般非凸设置的收敛速度分析不可用。在本文中，我们提出了一个扩展的SMM代理人只允许是弱凸或块多凸，平均代理人近似最小化与近端正则化或块最小化内半径减小，分别。对于非独立同分布的一般非凸约束情形，数据样本，我们表明，所提出的算法的一阶最优性差距衰减率$O((\log n)^{1+ε}/n^{1/2})$的经验损失和$O((\log n)^{1+ε}/n^{1/4})$的预期损失，其中$n$表示处理的数据样本的数量。在一些附加的假设下，后者的收敛速度可以提高到$O((\log n)^{1+ε}/n^{1/2})$。作为推论，我们获得了一般非凸依赖数据设置下的各种最优化方法的第一收敛速度界：双平均投影梯度下降及其推广，近点经验风险最小化，和在线矩阵/张量分解算法。我们还提供了实验验证我们的结果。
2023-03-21 cs.LG math.OC stat.ML
Convergent Block Coordinate Descent for Training Tikhonov Regularized Deep Neural Networks
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
通过将ReLU函数提升到更高维的空间，我们开发了一种用于训练前馈深度神经网络（DNN）的光滑多凸公式。这使我们能够开发一个块坐标下降（BCD）训练算法，由一系列数值上表现良好的凸优化组成。利用凸分析中邻近点方法的思想，证明了该BCD算法将以一阶R-线性收敛速度全局收敛到一个稳定点。在MNIST数据库的实验中，使用该BCD算法训练的DNN始终比通过Caffe工具箱中的所有随机梯度下降（SGD）变体训练的相同DNN架构产生更好的测试集错误率。
2017-11-20 cs.CV cs.LG stat.ML
Accelerated Proximal Alternating Gradient-Descent-Ascent for Nonconvex Minimax Machine Learning
University of Utah（犹他大学）
交替梯度下降上升（AltGDA）是一种优化算法，已被广泛用于各种机器学习应用中的模型训练，其目的是解决非凸极大极小优化问题。然而，现有的研究表明，它遭受了高计算复杂性的非凸极大极小优化。在本文中，我们开发了一个单循环和快速AltGDA型算法，利用最近的梯度更新和动量加速来解决正则化非凸极大极小优化问题。通过利用动量加速技术，我们证明了该算法收敛到一个临界点在非凸极小极大优化，并实现了计算复杂度的顺序为$\mathcal{O}(κ^{\frac{11}{6}}ε^{-2})$，其中$ε$是所需的精度水平和$κ$是问题的条件数。{Such计算复杂度提高了单循环GDA和AltGDA算法的现有技术的复杂度（参见\Cref{table1}中的比较概要）}。我们通过对抗性深度学习的实验证明了我们的算法的有效性。
2022-05-19 cs.LG math.OC
RECAPP: Crafting a More Efficient Catalyst for Convex Optimization
Stanford University（斯坦福大学）；Tel Aviv University（特拉维夫大学）
加速的邻近点法（APPA），也称为“催化剂”，是从凸优化到近似邻近点计算（即，正则化最小化）。这种简化在概念上是优雅的，并产生强大的收敛速度保证。然而，这些速率具有由于需要高精度地计算每个近端点而产生的无关对数项。在这项工作中，我们提出了一种新的松弛误差标准加速近点（RECAPP），消除了高精度的子问题解决方案的需要。我们应用RECAPP两个典型的问题：有限和最大结构最小化。对于有限和问题，我们匹配最好的已知的复杂性，以前通过精心设计的特定问题的算法。为了最小化$\max_y f(x,y)$，其中$f$在$x$中是凸的，在$y$中是强凹的，我们通过对数因子改进了最知名的（基于催化剂的）约束。
2022-06-17 cs.DS cs.LG math.OC
Regularized Estimation and Feature Selection in Mixtures of Generalized Linear Experts
University of Science（胡志明市理工大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）；IRT SystemX（法国系统X技术研究所）；Dalat University（大叻大学）
针对预测变量众多或相关时广义线性专家混合模型最大似然拟合不稳定的问题，提出正则化最大似然框架，通过ℓ1惩罚和近端牛顿-EM算法实现同步参数估计与特征选择，在模拟和真实数据上有效恢复稀疏支持并提升预测与聚类精度。
2026-09-10 cs.LG stat.AP stat.ME
Lifted Proximal Operator Machines
Peking University（北京大学）
提出了一种新的前馈神经网络的优化训练方法。通过将激活函数重写为等价的邻近算子，将邻近算子作为惩罚加入到目标函数中，从而逼近前馈神经网络，我们称之为提升邻近算子机器（LPOM）。LPOM是块多凸在所有层的权重和激活。这允许我们使用块坐标下降来并行更新逐层权重和激活。最值得注意的是，我们只使用激活函数本身的映射，而不是它的导数，从而避免了基于梯度的训练方法中的梯度消失或爆破问题。因此，我们的方法适用于各种非减Lipschitz连续激活函数，它可以是饱和的和不可微的。LPOM不需要比逐层激活更多的辅助变量，因此使用与随机梯度下降（SGD）大致相同的内存量。我们进一步证明了更新逐层权重和激活的收敛性。在MNIST和CIFAR-10数据集上的实验证明了LPOM的优越性。
2018-11-05 cs.AI cs.LG math.OC
Learning Concave Bid Shading Strategies in Online Auctions via Measure-valued Proximal Optimization
onsemi；Meta Platforms, Inc.；Department of Aerospace Engineering, Iowa State University（Iowa State University）
本文提出一种用于第一价格拍卖的出价遮蔽策略，将其表述为测度值凸优化问题，通过正则化Wasserstein近端更新和数据驱动能量泛函调整参数分布，并证明了该问题存在闭式解。
2025-09-12 cs.AI cs.LG math.OC
An Algorithmic Framework of Variable Metric Over-Relaxed Hybrid Proximal Extra-Gradient Method
Tencent AI Lab（腾讯人工智能实验室）
针对极大单调算子包含问题，提出了一种新的具有整体收敛保证的变尺度超松弛混合邻近超梯度（VMOR-HPE）算法框架.给出了算法的迭代复杂度和局部线性收敛速率，从理论上证明了较大的过松弛步长有助于加速算法的收敛速度.具体地说，我们发现一大类原始和原始-对偶算子分裂算法都是VMOR-HPE的特例。因此，建议的框架提供了一个新的见解，这些运营商分裂算法。此外，我们将VMOR-HPE应用于线性等式约束多块复合凸优化的Karush-Kuhn-Tucker（KKT）广义方程，得到了一种新的算法，即带有预条件外梯度步长的非对称近端交替方向法，其中预条件度量由分块Barzilai-Borwein线搜索技术生成（PADMM-EBB）.我们还建立了PADMM-EBB的KKT残差方面的迭代复杂性。最后，我们应用PADMM-EBB处理非负对偶图的正则化低秩表示问题。在合成和真实数据集上的有希望的结果证实了PADMM-EBB的有效性。
2018-06-08 cs.LG cs.NA math.NA
Snake: a Stochastic Proximal Gradient Algorithm for Regularized Problems over Large Graphs
LTCI, Télécom ParisTech, Université Paris-Saclay（巴黎萨克雷大学巴黎高科电信学院LTCI实验室）；CNRS / LIGM (UMR 8049), Université Paris-Est Marne-la-Vallée（法国国家科学研究中心/马恩-拉瓦雷大学LIGM实验室）
研究了大型非结构图上的正则化最优化问题，其中正则化项与图的几何结构有关。典型的正则化示例包括图上的全变差和拉普拉斯正则化。当应用邻近梯度算法来解决这个问题时，在图是没有循环的简单路径的特殊情况下，存在非常经济实惠的方法来实现邻近运算符（向后步骤）。在本文中，一个算法，简称为“蛇”，提出了解决一般图的正则化问题，利用这些快速的方法。该算法包括在图中适当地选择随机简单路径，并在这些简单路径上执行近似梯度算法。该算法是一种新的广义随机邻近梯度算法的一个实例，并证明了其收敛性。其中提供了趋势过滤和图形修复的应用。数值实验进行了大型图。
2017-12-19 cs.LG math.OC stat.ML
On the Stochastic (Variance-Reduced) Proximal Gradient Method for Regularized Expected Reward Optimization
University of Maryland at College Park（马里兰大学帕克分校）
本文针对非 oblivious 设置下的正则化期望奖励优化问题，应用并分析随机近端梯度方法，并引入基于重要性采样的方差缩减技术（PAGE），将样本复杂度从 O(ε^{-4}) 改进至 O(ε^{-3})，为强化学习中的一般正则化奖励优化提供了新方法。
2024-08-19 cs.LG math.OC
Accelerated Proximal Stochastic Dual Coordinate Ascent for Regularized Loss Minimization
The Hebrew University（希伯来大学）；Rutgers University（罗格斯大学）；Baidu Inc.（百度公司）
本文提出一种正则化损失最小化问题的加速随机对偶坐标上升方法，并通过内-外迭代流程提升其效率，改进了支持向量机、逻辑回归等关键机器学习优化问题的理论结果。
2013-10-08 cs.LG cs.NA math.NA
Preconditioned Regularized Wasserstein Proximal Sampling
Department of Mathematics, University of California, Los Angeles（加州大学洛杉矶分校数学系）；Department of Mathematics, University of South Carolina（南卡罗来纳大学数学系）
本文提出一种预条件正则化Wasserstein近似采样方法，通过耦合各向异性热方程的Cole-Hopf变换得到核形式，用于从Gibbs分布中采样，并在二次势能情况下提供非渐近收敛分析。
2026-05-14 cs.LG math.OC stat.CO
Effective Proximal Methods for Non-convex Non-smooth Regularized Learning
University of Connecticut（康涅狄格大学）；University of Houston（休斯顿大学）
稀疏学习是从高维数据中挖掘有用信息和模式的重要工具。非凸非光滑正则化学习问题是稀疏学习中的重要问题，近年来受到了广泛的关注。我们设计了一族随机邻近梯度方法，通过应用任意采样来解决具有非凸和非光滑正则化的经验风险最小化问题。这些方法在计算随机梯度时根据任意概率分布绘制小批量的训练样本。一个统一的分析方法来研究这些方法的收敛性和计算复杂性，使我们能够比较不同的采样方案。我们表明，独立的抽样方案往往提高性能比常用的均匀抽样方案。我们的新分析还得出了一个更严格的约束收敛速度的均匀采样比迄今为止最好的。经验评估表明，所提出的算法收敛速度比最先进的。
2020-10-21 cs.LG stat.ML
Accelerated Regularized Wasserstein Proximal Sampling Algorithms
Department of Mathematics, University of California, Los Angeles, CA 90095（加州大学洛杉矶分校数学系）；Department of Mathematics, University of South Carolina, Columbia, SC 29208（南卡罗来纳大学数学系）
本文提出了一种加速的正则化Wasserstein近端采样算法，通过二阶分数ODE提升粒子混合效率，实现更快的收敛和更优的泛化性能。
2026-01-16 cs.LG math.OC stat.CO
Complexity-Regularized Proximal Policy Optimization
本文提出复杂度正则化的近端策略优化（CR-PPO），通过引入自调节复杂度项替代标准熵项，提升策略优化的鲁棒性和稳定性。
2026-03-05 cs.AI cs.LG
When the Merge Coefficient Stops Mattering: Proximity Regularized Merging for Continual LoRA Adaptation
本文提出近邻正则化合并（PRM），通过在任务向量训练中引入近端惩罚，使顺序LoRA合并更稳健，提升AAA性能，并揭示任务向量的可合并性对持续学习效果的关键作用。
2026-09-29 cs.LG
A Stochastic Proximal Method for Nonsmooth Regularized Finite Sum Optimization
Polytechnique Montreal（蒙特利尔理工学院）；Cornell University（康奈尔大学）
我们考虑训练一个深度神经网络与非光滑正则化检索稀疏和有效的子结构的问题。我们的正则化子只假设是下半连续和有界的。我们结合了自适应二次正则化方法与近端随机梯度原理，推导出一个新的求解器，称为SR 2，其收敛性和最坏情况下的复杂性建立没有知识或近似梯度的Lipschitz常数。我们制定了一个停止标准，确保适当的一阶平稳性措施收敛到零在一定条件下。我们建立了一个最坏情况下的迭代复杂度为$\mathcal{O}(ε^{-2})$，与ProxGEN等相关方法相匹配，其中学习率假设与Lipschitz常数相关。我们在CIFAR-10和CIFAR-100上训练的网络实例上进行的实验表明，SR 2始终比ProxGEN和ProxSGD等相关方法具有更高的稀疏性和准确性。
2022-06-16 cs.LG math.OC stat.ML
Sparse Transformer Architectures via Regularized Wasserstein Proximal Operator with $L_1$ Prior
Department of Mathematics, University of California, Los Angeles, CA, USA（加州大学洛杉矶分校数学系）；Department of Mathematics, University of South Carolina, Columbia, SC, USA（南卡罗来纳大学数学系）
本文利用带 $L_1$ 先验的正则化 Wasserstein 近端算子设计稀疏 Transformer，将数据分布先验嵌入网络结构，改善优化凸性与样本稀疏性，并在生成建模和贝叶斯逆问题中取得更高精度和更快收敛。
2025-10-18 cs.LG math.OC stat.ML
Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals
University of Cambridge（剑桥大学）；University of California, Los Angeles（加州大学洛杉矶分校）；University of South Carolina（南卡罗来纳大学）
针对势函数控制分布的采样问题，提出基于正则化Wasserstein近端算子的确定性MCMC方法，在收敛速度、维度依赖性、估计精度及贝叶斯模型训练上均表现优于现有朗之万类算法。
2023-10-02 cs.LG stat.CO stat.ML
Wasserstein Proximal Policy Gradient
Zhiyuan College, Shanghai Jiao Tong University, Shanghai 200240, China（上海交通大学紫阳学院）；School of Data Science, The Chinese University of Hong Kong, Shenzhen, Guangdong, China（香港中文大学（深圳）数据科学学院）；McCombs School of Business, The University of Texas at Austin, Austin, TX, USA（德克萨斯大学奥斯汀分校麦克拉姆商学院）
WPPG通过Wasserstein几何视角提出一种无需计算策略对数密度或梯度的策略梯度方法，实现连续动作空间下的高效强化学习
2026-03-03 cs.LG
Proximal Symmetric Non-negative Latent Factor Analysis: A Novel Approach to Highly-Accurate Representation of Undirected Weighted Networks
School of Computer Science and Technology, Dongguan University of Technology（东莞理工学院计算机科学与技术学院）
针对无向加权网络的对称、高维、不完整矩阵建模难题，提出融合近端项与自适应 ADMM/TPE 学习方案的 PSNL 模型，显著提升表示精度并保持高效计算。
2023-06-06 cs.LG
PRISMA: PRoximal Iterative SMoothing Algorithm
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Katholieke Universiteit Leuven（鲁汶大学）
受学习问题的启发，包括最大范数正则化矩阵完成和聚类，鲁棒PCA和稀疏逆协方差选择，我们提出了一种新的优化算法，用于最小化凸目标分解为三个部分：一个光滑的部分，一个简单的非光滑Lipschitz部分，和一个简单的非光滑非Lipschitz部分。我们使用的时变平滑策略，使我们能够获得保证，不依赖于事先知道的总迭代次数，也没有约束的域。
2012-11-18 cs.LG math.OC
A Bregman Proximal Viewpoint on Neural Operators
Université Jean Monnet Saint-Etienne（圣艾蒂安让·莫奈大学）；Sapienza University of Rome（罗马智慧大学）；IIT, Genova（热那亚意大利理工学院）；UCL, London（伦敦大学学院）
该研究提出从Bregman正则化优化视角理解神经算子，构建了含逆激活算子的Bregman神经算子，实验证明其变体傅里叶神经算子可训练更深更准确的模型。
2026-10-14 cs.LG
A Proximal Modified Quasi-Newton Method for Nonsmooth Regularized Optimization
GERAD and Department of Mathematics and Industrial Engineering, Polytechnique Montréal（GERAD和数学与工业工程系，蒙特利尔理工学院）
本文提出了一种改进的拟牛顿方法R2N，用于非光滑正则化优化，具有全局收敛性和高效求解能力。
2025-11-27 cs.LG math.OC
Stability and Generalization of lp-Regularized Stochastic Learning for GCN
University of Electronic Science and Technology of China（电子科技大学）；Northwestern Polytechnical University（西北工业大学）；Nanjing Audit University（南京审计大学）；Zhejiang Normal University（浙江师范大学）
本文提出一种ℓp正则化随机学习框架及SGD近端算法，量化GCN在平滑性与稀疏性间的权衡，并通过稳定性分析建立理论理解，实验验证了其有效性。
2023-06-20 cs.LG stat.ML
Scalable Nuclear-norm Minimization by Subspace Pursuit Proximal Riemannian Gradient
The University of Adelaide（阿德莱德大学）；Charles Sturt University（查尔斯特大学）
本文提出一种基于子空间追求的近端黎曼梯度方法，用于高效求解核范数正则化问题，避免大秩SVD，提升矩阵补全和子空间聚类等任务的性能。
2015-03-18 cs.LG cs.NA math.NA
Proximal Mapping for Deep Regularization
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
支撑深度学习成功的是有效的正则化，它允许对数据中的各种先验进行建模。例如，对抗性扰动的鲁棒性，以及多种模态之间的相关性。然而，大多数正则化器都是根据隐藏层输出来指定的，这些输出本身并不是优化变量。与通过模型权重间接优化它们的流行方法相比，我们建议将邻近映射作为一个新的层插入到深度网络中，直接显式地产生良好的正则化隐藏层输出。由此产生的技术显示连接到内核翘曲和辍学，和新的算法开发了强大的时间学习和多视图建模，都优于国家的最先进的方法。
2020-06-14 cs.LG stat.ML
Proximal Algorithms in Statistics and Machine Learning
University of Chicago（芝加哥大学）；University of Texas at Austin（得克萨斯大学奥斯汀分校）
在本文中，我们开发了统计学习的近似方法。邻近点算法在统计学和机器学习中用于获得复合函数的优化解是有用的。我们的方法利用封闭形式的解决方案的近端运营商和包络表示的基础上莫罗，向前向后，道格拉斯-Rachford和半二次包络。包络表示导致新的近端算法的复合目标函数，其中包括非光滑和非凸目标的统计优化。我们用正则化的Logistic和Poisson回归以及具有融合套索范数的非凸桥惩罚来说明我们的方法。我们提供了一个讨论的收敛性的非下降算法的加速和非凸函数。最后，我们为未来的研究提供了方向。
2015-05-30 cs.LG stat.ME stat.ML
SPIRAL: A superlinearly convergent incremental proximal algorithm for nonconvex finite sum minimization
KU Leuven（鲁汶大学）；Kyushu University（九州大学）
本文提出超线性收敛的增量近端算法SPIRAL，通过结合增量梯度更新与渐近不触发的线搜索，在温和假设下求解非凸有限和问题并实现超线性收敛，实验证明其与现有技术具竞争力。
2024-01-15 cs.LG math.OC
Efficient Proximal Mapping of the 1-path-norm of Shallow Networks
EPFL（洛桑联邦理工学院）
证明了浅神经网络的1-路范数的两个新的重要性质。首先，尽管它的非光滑性和非凸性，它允许一个封闭的形式近似算子，可以有效地计算，允许使用随机近似梯度型方法正则化的经验风险最小化。第二，当激活函数是可微的，它提供了一个上界的Lipschitz常数的网络。这样的界限比Lipschitz常数的平凡逐层乘积更紧，促使其用于训练对对抗性扰动鲁棒的网络。在实际实验中，我们说明了使用邻近映射的优点，我们比较了鲁棒性-准确性的权衡引起的1-路径范数，L1-范数和逐层约束的Lipschitz常数（Parseval网络）。
2020-07-15 cs.LG math.OC stat.ML
An inexact subsampled proximal Newton-type method for large-scale machine learning
University of California（加利福尼亚大学）；University of Southern California（南加利福尼亚大学）；University of Michigan（密歇根大学）
本文提出一种快速近端牛顿型算法，通过子采样构造牛顿子问题，提升大规模优化效率，实验验证其在ℓ₁正则化逻辑回归中的优越性。
2017-08-28 cs.LG cs.NA math.NA
Decentralized Proximal Stochastic Gradient Langevin Dynamics
本文提出去中心化近端随机梯度兰格朗日动力学算法，用于在凸域内采样对数凹概率分布。通过共享的近端正则化约束，保证更新一致性。算法在2-瓦瑟斯坦距离下具有非渐近收敛性，并在合成和真实数据集上验证了其有效性。
2026-05-01 cs.LG math.PR stat.ML
A Theory of Regularized Markov Decision Processes
Google Research（谷歌研究院）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
许多最近成功的（深度）强化学习算法利用正则化，通常基于熵或Kullback-Leibler散度。我们提出了一个一般的正则化马尔可夫决策过程的理论，概括这些方法在两个方向：我们考虑一个更大的类的正则化，我们认为一般修改的政策迭代方法，包括政策迭代和值迭代。该理论的核心构建块是正则化Bellman算子和Legendre-Fenchel变换的概念，Legendre-Fenchel变换是凸优化的经典工具。这种方法允许一般的算法方案的错误传播分析，其中（可能的变种）的经典算法，如信赖域策略优化，软Q学习，随机演员批评或动态策略编程的特殊情况。这也与近端凸优化，特别是镜像下降相关联。
2019-06-04 cs.LG stat.ML
On Quadratic Convergence of DC Proximal Newton Algorithm for Nonconvex Sparse Learning in High Dimensions
University of Minnesota（明尼苏达大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Princeton University（普林斯顿大学）；Georgia Institute of Technology（佐治亚理工学院）
提出了一种求解高维非凸正则化稀疏学习问题的DC近似牛顿算法。我们提出的算法集成了近似牛顿算法和基于凸规划差分的多阶段凸松弛算法，并且具有很强的计算和统计保证。具体地，通过利用稀疏建模结构/假设的复杂表征（即，局部约束强凸性和Hessian光滑性），证明了在凸松弛的每一阶段，算法均达到（局部）二次收敛，并最终在几次凸松弛后得到具有最优统计性质的稀疏近似局部最优解.数值实验支持我们的理论。
2018-02-15 cs.LG math.OC stat.ML
Proximal Policy Optimization for Amortized Discrete Sampling
HSE University（高等经济学院）；Constructor University（康斯特大学）；CMAP, CNRS, École polytechnique, IPP（CMAP，CNRS，巴黎综合理工学院，IPP）
本文在生成流网络框架下，推导了策略梯度算法并首次应用近端策略优化，提升了离散概率分布采样的收敛速度和数据效率。
2026-11-03 cs.AI cs.LG stat.ML
PARQ: Piecewise-Affine Regularized Quantization
Meta FAIR；University of Michigan（密歇根大学）；Meta Reality Labs
本研究提出PARQ分段仿射正则化量化方法，用凸分段仿射正则化促使模型参数离散化，通过AProx方法优化并证明收敛性，将STE解释为其渐近形式，在卷积与Transformer视觉任务上取得有竞争力的性能。
2025-03-19 cs.LG math.OC
KL property of exponent $1/2$ of $\ell_{2,0}$-norm and DC regularized factorizations for low-rank matrix recovery
South China University of Technology（华南理工大学）
本文研究秩正则化损失最小化问题的因式分解形式。为了满足只有粗略估计可用于真矩阵的秩的情况，将$\ell_{2,0}$范数正则化项添加到因子化的损失函数以自适应地降低秩;并且考虑因子分解中的模糊性，然后引入平衡项。对于最小二乘损失，在对采样算子的条件数作一定限制的假设下，建立了非光滑分解复合函数的指数$1/2$及其等价DC重构在其全局极小点集上的KL性质.我们还证实了理论研究结果，通过应用一个近似的线性化交替最小化方法的正则化因式分解。
2019-08-24 cs.LG math.OC stat.ML
Proximal methods for the latent group lasso penalty
Istituto Italiano di Tecnologia（意大利技术研究院）；MIT（麻省理工学院）；Università di Genova（热那亚大学）
我们考虑一个正则化的最小二乘问题，正则化的结构稀疏诱导规范，它扩展了通常的$\ell_1$和组套索惩罚，允许子集重叠。这样的正则化导致非光滑的问题，难以优化，我们在本文中提出了一个合适的版本的加速邻近方法来解决这些问题。我们证明了一个嵌套的过程，获得了一个加速的邻近方法与内部算法计算的邻近算子的收敛性。通过利用罚函数的几何性质，设计了一种新的有效集策略，使得内迭代速度较快，从而保证了整个算法的良好计算性能.我们的方法允许处理高维问题，而无需进行降维预处理，从而使最先进的方法具有更好的计算和预测性能，如在玩具和真实数据上的经验所示。
2012-09-03 cs.LG math.OC stat.ML
Predictive Coding with Bayesian Priors via Proximal Gradients
Department of Mechanical Engineering and Dynamical Neuroscience Program（机械工程与动力神经科学项目部）；UC Santa Barbara
将预测编码重新表述为应用于正则化最大后验目标的连续时间近端梯度下降，揭示了其与漏泄发放率网络的等价性，并推广到分层结构。
2026-06-06 cs.LG cs.SY eess.SY
Quantized Proximal Averaging Network for Analysis Sparse Coding
Indian Institute of Science（印度科学学院）
我们解决了分析稀疏编码问题，考虑到凸和非凸稀疏促进处罚的组合。多罚制定的结果在一个迭代算法，涉及近似平均。然后，我们将迭代算法展开为一个可训练的网络，便于学习稀疏性先验。我们还考虑了网络权重的量化。量化使神经网络在推理期间的内存和计算方面都变得高效，并且还使它们与低精度硬件部署兼容。我们的学习算法基于ADAM优化器的变体，其中量化器是前向传递的一部分，并且在对高精度权重进行簿记的同时，对损失函数的梯度进行对应于量化权重的评估。我们展示了压缩图像恢复和磁共振图像重建的应用程序。所提出的方法提供了优越的重建精度和质量比国家的最先进的展开技术和性能退化是最小的，即使当权重受到极端量化。
2021-05-13 cs.CV cs.LG
Super-Linear Convergence of Dual Augmented-Lagrangian Algorithm for Sparsity Regularized Estimation
The University of Tokyo（东京大学）；Tokyo Institute of Technology（东京工业大学）
我们分析了最近提出的正则化估计算法称为双增广拉格朗日（DAL）的收敛行为。我们的分析是基于一个新的解释DAL作为一个近端最小化算法。在一定条件下，我们证明了DAL在非渐近和全局意义下超线性收敛。由于在机器学习的背景下稀疏估计问题的特殊建模，我们所做的假设比传统的增广拉格朗日算法分析中所做的假设更温和，更自然。此外，新的解释使我们能够推广DAL各种稀疏估计问题。我们实验证实我们的分析在一个大规模的$\ell_1$正则化逻辑斯谛回归问题，并广泛比较DAL算法的效率，以前提出的算法在合成和基准数据集。
2011-01-02 cs.LG stat.ME stat.ML
