Global linear convergence of entropy-regularized softmax policy gradient beyond tabular MDPs
School of Mathematics(数学系)
本文研究连续状态和动作空间的无限时域熵正则化马尔可夫决策过程中策略梯度的全局收敛性,通过线性函数逼近的log-linear softmax策略,在$Q^π_τ$可实现性假设下建立非均匀Polyak--Łojasiewicz不等式,并识别两种特征机制下非均匀常数的有界性,证明正则化目标沿梯度流的全局线性收敛。
2026-05-24 cs.LG math.OC
A Regularized Online Newton Method for Stochastic Convex Bandits with Linear Vanishing Noise
School of Mathematical Sciences, Peking University(北京大学数学科学学院)
针对噪声随接近最优解线性减小的随机凸赌博机,提出正则化在线牛顿方法,实现多对数遗憾并推广至新噪声模型。
2025-01-19 cs.LG math.OC stat.ML
Residual Policy Gradient: A Reward View of KL-regularized Objective
University of California, Berkeley(加州大学伯克利分校)
本文提出残差策略梯度(RPG),将残差Q学习扩展到策略梯度方法,实现策略定制,并从奖励视角重新审视KL正则化目标,实验验证其有效性。
2025-05-23 cs.LG
Learning Nash Equilibria in Zero-Sum Stochastic Games via Entropy-Regularized Policy Approximation
Mastercard Corporation(万事达卡公司);Georgia Institute of Technology(佐治亚理工学院)
我们探讨使用政策近似,以减少零和随机博弈中学习纳什均衡的计算成本。我们提出了一种新的Q学习型算法,它使用一系列熵正则化的软策略来近似纳什策略在Q函数更新。我们证明了在一定条件下,通过更新正则化Q函数,算法收敛到一个纳什均衡。我们还证明了所提出的算法的能力,转移以前的训练经验,使代理能够快速适应新的环境。我们提供了一个动态的超参数调度方案,以进一步加快收敛。应用于一些随机游戏的实证结果验证了该算法收敛到纳什均衡,同时表现出一个主要的速度比现有的算法。
2021-06-27 cs.GT cs.LG cs.SY
Matryoshka Policy Gradient for Entropy-Regularized RL: Convergence and Global Optimality
University of Vienna(维也纳大学);The Ohio State University(俄亥俄州立大学)
本文提出Matryoshka策略梯度(MPG)算法,证明其在固定视野最大熵强化学习线性近似下的全局收敛性与最优策略唯一性,给出神经网络策略的全局最优判据并通过基准测试验证。
2024-10-07 cs.AI cs.LG
Deep Metric Tensor Regularized Policy Gradient
School of Engineering and Computer Science(工程与计算机科学学院);Victoria University of Wellington(惠灵顿维多利亚大学);National Institute of Water and Atmospheric Research(国家水与大气研究所)
本文提出一种深度度量张量正则化策略梯度算法,通过引入度量张量场将参数空间推广至黎曼流形,并利用度量张量深度神经网络最小化绝对散度以平滑策略梯度向量场,实验证明其显著优于未正则化的对应算法。
2023-05-18 cs.LG
Convergence of a L2 regularized Policy Gradient Algorithm for the Multi Armed Bandit
``Octav Mayer'' Institute of Mathematics of the Romanian Academy Bd. Carol I 8, Ia s i 700505, Romania CEREMADE, Universit\'e Paris Dauphine - PSL, CNRS, Paris, France;anonymous institute
本文研究了多臂老虎机中结合L2正则化和softmax参数化的策略梯度算法的收敛性,证明了其在适当假设下的收敛性,并通过实验展示了其在初始猜测远离解时的优势。
2026-01-05 cs.AI cs.DS cs.LG
Gradient Temporal-Difference Learning with Regularized Corrections
University of Alberta(阿尔伯塔大学);DeepMind
使用Q学习和时间差(TD)学习仍然很常见-即使它们存在分歧问题并且存在合理的梯度TD替代方案-因为分歧似乎很少,并且它们通常表现良好。然而,最近对大型神经网络学习系统的研究表明,不稳定性比以前认为的更常见。从业者面临着一个困难的困境:选择一个易于使用和高性能的TD方法,或更复杂的算法,更健全,但更难调整,但所有的非线性函数逼近或控制,但未探索。在本文中,我们介绍了一种新的方法,称为TD与正则化校正(TDRC),试图平衡易用性,可靠性和性能。当TD表现良好时,它的表现与TD一样好,但在TD发散的情况下是合理的。我们在一系列问题上对TDRC进行了实证研究,包括预测和控制,以及线性和非线性函数逼近,并可能首次表明梯度TD方法可能是TD和Q学习的更好替代方案。
2020-09-17 cs.AI cs.LG stat.ML
Entropy-regularized Gradient Estimators for Approximate Bayesian Inference
Department of Computer Science University of Texas, Austin(计算机科学系德克萨斯大学奥斯汀分校)
本文提出一种基于 Stein 算子度量近似 KL 散度与交叉熵梯度流的熵正则化估计器,用于高效生成贝叶斯后验多样本,并在分类任务和 Model-Based Reinforcement Learning 中验证了其有效性。
2025-05-28 cs.LG stat.ML
Equivalence Between Policy Gradients and Soft Q-Learning
OpenAI;UC Berkeley(加州大学伯克利分校)
无模型强化学习的两种主要方法是策略梯度方法和$Q$学习方法。$Q$ -学习方法在它们工作时可以是有效的和样本高效的,然而,还没有很好地理解它们为什么工作,因为根据经验,它们估计的$Q$ -值非常不准确。一个部分的解释可能是,$Q$ -学习方法正在秘密地实现策略梯度更新:我们表明,在熵正则化强化学习的设置中,$Q$ -学习和策略梯度方法之间存在精确的等价性,“软”(熵正则化)$Q$ -学习完全等价于策略梯度方法。我们还指出了$Q$ -学习方法和自然策略梯度方法之间的联系。在实验中,我们探索了$Q$的熵正则化版本-学习和策略梯度,我们发现它们在Atari基准测试中的表现与标准变体一样好(或略好于)。我们还表明,在实际环境中的等价性,通过构建一个$Q$的学习方法,密切匹配的A3 C的学习动态,而不使用目标网络或$ε$贪婪的探索时间表。
2018-10-14 cs.LG
Global Convergence of Wasserstein Policy Gradient for Entropy-Regularized Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文通过利用熵正则化强化学习的Bellman结构,证明了Wasserstein策略梯度(WPG)方法的全局收敛性,并建立了分布Polyak-Łojasiewicz条件。
2026-11-13 cs.LG
Entropy Regularized Reinforcement Learning for Zero-Sum Stochastic Differential Games in a Regime-Switching Jump-Diffusion Process
School of Mathematics and Statistics(数学与统计学学院);Department of Actuarial Studies and Business Analytics(精算学与商业分析系);School of Statistics, KLATASDS-MOE, China Inclusive Ageing Finance Research Center(统计学学院,KLATASDS-MOE,中国包容性老龄化金融研究中心);East China Normal University(华东师范大学)
针对随机微分博弈中参数误设和环境突变问题,提出分布控制方法,将最优策略建模为条件概率分布,并推导熵正则化零和随机微分博弈的耦合HJBI方程,通过Actor-Critic算法求解均衡策略。
2026-06-27 cs.LG
A Convergence Result for Regularized Actor-Critic Methods
在本文中,我们提出了一个概率1收敛证明,在适当的条件下,某一类演员批评算法的熵正则MDP使用随机逼近的机械找到近似解。为了获得这一总体结果,我们证明了使用线性近似架构时,一般正则化的政策评估的收敛性,并显示了熵正则化政策改进的收敛性。
2019-10-22 cs.LG stat.ML
Privacy-Constrained Policies via Mutual Information Regularized Policy Gradients
Stanford University(斯坦福大学)
本文提出在策略梯度框架中引入互信息正则化器,在最大化奖励的同时最小化动作对敏感状态的披露,并开发了基于模型和无模型的优化估计器,实验证明其在高维任务中能有效隐藏敏感状态。
2024-04-16 cs.CR cs.LG
On the Design of KL-Regularized Policy Gradient Algorithms for LLM Reasoning
University of California, Los Angeles(加州大学洛杉矶分校);Princeton University(普林斯顿大学);Tsinghua University(清华大学)
RPG通过统一KL正则化方法和改进的梯度估计,提升LLM推理准确率,实现稳定且可扩展的强化学习算法。
2026-02-19 cs.AI cs.CL cs.LG
Stochastic Variance-Reduced Cubic Regularized Newton Method
University of Virginia(弗吉尼亚大学)
提出了一种求解非凸优化问题的随机方差缩减的三次正则化牛顿法。我们的算法的核心是一个新的半随机梯度以及一个半随机Hessian,这是专门为立方正则化方法设计的。我们表明,我们的算法是保证收敛到一个$(ε,\sqrtε)$ -近似局部最小值内$\tilde{O}(n^{4/5}/ε^{3/2})$二阶Oracle调用,这优于国家的最先进的立方正则化算法,包括子采样立方正则化。我们的工作也揭示了应用方差减少技术高阶非凸优化方法。对各种非凸优化问题的深入实验支持了我们的理论。
2018-02-13 cs.LG math.OC
Regularized quasi-monotone method for stochastic optimization
本文将文献[2]中的拟单调方法应用于随机背景下的复合凸极小化问题。对于所提出的数值方案,我们得出的最佳收敛速度的最后一个周期,而不是平均,因为它是标准的次梯度方法。通过对l1正则化稳健线性回归的数值实验,证实了正则化拟单调方法个体收敛的理论保证。
2021-07-08 math.OC
Discretization error from regularized Reinforcement Learning to continuous-time stochastic control
Ecole Polytechnique(巴黎综合理工学院);Auburn University(奥本大学);University of California, Los Angeles(加州大学洛杉矶分校)
本文研究正则化离散时间强化学习与连续时间随机最优控制之间的离散化误差,分析其收敛速率以支撑探索性RL策略在连续时间环境中的稳定性与实现。
2026-04-23 math.OC
Regularized Stochastic Team Problems
本文介绍了正则化随机团队问题。在适当的假设下,证明了最佳对策算子存在唯一的不动点,这个唯一的不动点就是最优正则化决策规则.然后,我们建立了一个异步分布式算法来计算这个最优策略。我们还提供了一个界限,显示了如何在原来的随机团队问题的最佳正则化团队决策规则执行。
2020-11-06 cs.SY eess.SY math.OC
Stochastic dual averaging methods using variance reduction techniques for regularized empirical risk minimization problems
Tokyo Institute of Technology(东京工业大学);Japan Science and Technology Agency(日本科学技术振兴机构)
我们考虑一个复合凸最小化问题与正则化的经验风险最小化,这经常出现在机器学习。本文提出了两种新的随机梯度法,它们是基于方差缩减的随机对偶平均方法。我们的方法生成一个稀疏的解决方案比现有的方法,因为我们不需要采取的平均历史的解决方案。这在可解释性和概括性方面都是有利的。此外,我们的方法有理论支持的强和非强凸正则化,并实现现有的非加速随机梯度法之间的最佳收敛速度。
2016-03-08 cs.LG math.OC stat.ML
RES: Regularized Stochastic BFGS Algorithm
University of Pennsylvania(宾夕法尼亚大学)
RES是Broyden-Fletcher-Goldfarb-Shanno(BFGS)拟牛顿法的一种正则化随机形式,用于求解随机目标的凸优化问题.随机梯度下降算法的使用是广泛的,但在高维问题中,近似最优参数所需的迭代次数可能是禁止的。另一方面,二阶方法的应用是不切实际的,因为目标函数海森逆的计算会导致过多的计算成本。BFGS通过引入从有限梯度差计算的Hessian近似矩阵来修改梯度下降。RES利用随机梯度代替确定性梯度来确定下降方向和近似目标函数的曲率。由于随机梯度可以计算在可控的计算成本RES是可实现的,并保留其确定性同行的收敛速度的优势。收敛性结果表明,样本函数的Hessian特征值的上下界足以保证收敛到最优参数.数值实验表明,减少收敛时间相对于随机梯度下降算法和非正则化的随机版本的BFGS。RES的实施支持向量机的应用程序开发。
2014-01-29 cs.LG math.OC stat.ML
Stochastic Dual Coordinate Ascent Methods for Regularized Loss Minimization
Hebrew University(希伯来大学);Rutgers University(罗格斯大学)
随机梯度下降算法由于其强大的理论保证,已成为解决大规模有监督机器学习优化问题(如支持向量机)的热门方法。虽然密切相关的双坐标上升(DCA)方法已在各种软件包中实现,但迄今为止缺乏良好的收敛性分析。本文提出了一种新的分析随机双坐标上升(SDCA)显示,这类方法享有强大的理论保证,是可比的或更好的SGD。该分析证明了SDCA在实际应用中的有效性。
2013-01-30 cs.LG math.OC stat.ML
Extended Regularized Dual Averaging Methods for Stochastic Optimization
提出了一种求解正则化随机最优化问题的新算法--扩展正则化对偶平均法(XRDA),它推广了正则化对偶平均法(RDA)。该方法的主要新颖之处在于它允许灵活地控制向后步长。例如,RDA中使用的后向步长无限制地增长,而对于XRDA,后向步长可以保持有限制。我们的实验表明,额外的控制后向步长可以显着提高收敛速度的算法,同时保持所需的属性的迭代,如稀疏。理论上,我们表明,XRDA方法实现了相同的收敛速度RDA一般凸目标。
2022-07-13 math.OC
An accelerated first-order regularized momentum descent ascent algorithm for stochastic nonconvex-concave minimax problems
Shanghai University(上海大学);College of Sciences(理学院);Newtouch Center for Mathematics of Shanghai University(上海大学新接触数学中心)
针对随机非凸-凹极小极大问题,提出加速一阶正则化动量下降上升算法(FORMDA),其迭代复杂度达$\tilde{\mathcal{O}}(\varepsilon ^{-6.5})$,实现了单循环算法的已知最优复杂度界限。
2024-10-15 cs.LG math.OC stat.ML
Snake: a Stochastic Proximal Gradient Algorithm for Regularized Problems over Large Graphs
LTCI, Télécom ParisTech, Université Paris-Saclay(巴黎萨克雷大学巴黎高科电信学院LTCI实验室);CNRS / LIGM (UMR 8049), Université Paris-Est Marne-la-Vallée(法国国家科学研究中心/马恩-拉瓦雷大学LIGM实验室)
研究了大型非结构图上的正则化最优化问题,其中正则化项与图的几何结构有关。典型的正则化示例包括图上的全变差和拉普拉斯正则化。当应用邻近梯度算法来解决这个问题时,在图是没有循环的简单路径的特殊情况下,存在非常经济实惠的方法来实现邻近运算符(向后步骤)。在本文中,一个算法,简称为“蛇”,提出了解决一般图的正则化问题,利用这些快速的方法。该算法包括在图中适当地选择随机简单路径,并在这些简单路径上执行近似梯度算法。该算法是一种新的广义随机邻近梯度算法的一个实例,并证明了其收敛性。其中提供了趋势过滤和图形修复的应用。数值实验进行了大型图。
2017-12-19 cs.LG math.OC stat.ML
Simple Stochastic Gradient Methods for Non-Smooth Non-Convex Regularized Optimization
我们的工作主要集中在随机梯度法优化光滑非凸损失函数与非光滑非凸正则化。对这类问题的研究是相当有限的,直到最近没有非渐近收敛的结果已被报道。我们提出了两个简单的随机梯度算法,有限和一般的随机最优化问题,这具有优越的收敛复杂性相比,目前的最先进的。我们还比较了我们的算法的性能在实践中的经验风险最小化。
2019-05-14 math.OC
Locally Regularized Sparse Graph by Fast Proximal Gradient Descent
Arizona State University(亚利桑那州立大学)
针对原始稀疏图忽略数据几何信息的问题,提出支持正则化稀疏图(SRSG),通过支持正则化项鼓励局部平滑,并采用快速近端梯度下降求解,实验证明其在聚类上优于其他方法。
2024-09-25 cs.LG math.OC
Regularized Gradient Descent Ascent for Two-Player Zero-Sum Markov Games
Georgia Institute of Technology(佐治亚理工学院);Virginia Tech(弗吉尼亚理工大学)
研究了两人零和马尔可夫博弈的纳什均衡问题。由于其公式化为极大极小优化程序,解决该问题的自然方法是以交替方式相对于每个玩家执行梯度下降/上升。然而,由于底层目标函数的非凸性/非线性,对该方法的理论理解是有限的。在我们的论文中,我们考虑解决马尔可夫博弈的熵正则化的变体。正则化将结构引入优化景观,使解决方案更可识别,并允许更有效地解决问题。我们的主要贡献是表明,在适当的正则化参数的选择,梯度下降上升算法收敛到原来的非正则化问题的纳什均衡。我们明确地描述了我们的算法,大大提高了现有的收敛范围的梯度下降上升算法没有正则化的最后一个周期的有限时间性能。最后,我们补充的分析与数值模拟,说明加速收敛的算法。
2022-10-12 cs.LG math.OC
Regularized Gradient Clipping Provably Trains Wide and Deep Neural Networks
The University of Manchester(曼彻斯特大学);University of Liverpool(利物浦大学)
本文提出正则化梯度裁剪算法 δ-GClip,通过利用 PL* 条件设计步长调度,首次可证明地训练宽而深的神经网络至全局最优,并在现代 transformer 架构上验证了其竞争力。
2025-04-08 cs.LG math.OC
Nested Stochastic Algorithm for Generalized Sinkhorn distance-Regularized Distributionally Robust Optimization
本文针对广义Sinkhorn距离正则化的非凸分布鲁棒优化问题,推导出嵌套随机优化的对偶形式,提出嵌套SGD算法并证明其多项式复杂度,数值实验验证了算法的效率与鲁棒性。
2025-06-26 cs.LG math.OC stat.ML
Zeroth-Order Regularized Optimization (ZORO): Approximately Sparse Gradients and Adaptive Sampling
University of California, Los Angeles(加州大学洛杉矶分校);Damo Academy, Alibaba US(阿里巴巴美国达摩院);Xmotors AI(Xmotors人工智能公司)
我们考虑最小化高维目标函数的问题,其中可能包括一个正则化项,使用(可能有噪声)的功能评估。这种优化也被称为无导数优化、零阶优化或黑盒优化。我们提出了一种新的$\textbf{Z}$ eroth- $\textbf{O}$ rder $\textbf{R}$正则化的$\textbf{O}$优化方法,称为ZORO。当底层梯度在一个梯度上近似稀疏时,ZORO需要非常少的目标函数评估来获得减小目标函数的新梯度。我们实现这一点与自适应,随机梯度估计,其次是一个不精确的近似梯度方案。在一个新的近似稀疏梯度假设和各种不同的凸设置,我们显示(理论和经验)的收敛速度的ZORO是唯一的数学依赖于问题的维数。数值实验表明,ZORO优于现有的方法类似的假设,在合成和真实数据集。
2021-12-01 cs.LG math.OC
Entropy-Regularized Stochastic Games
在二人零和随机对策中,两个竞争的局中人在不确定性条件下进行决策,传统上一对最优策略由纳什均衡描述,并在局中人对环境的随机转移模型具有完全信息的假设下计算。然而,实施这种战略可能会使参与者容易受到环境中不可预见的变化的影响。在本文中,我们引入了熵正则化的随机对策,其中每个玩家的目标是最大化的因果熵的战略,除了其预期的回报。正则化项平衡了每个参与者的理性与其对过渡模型错误信息水平的信念。我们考虑熵正则化的$N$阶段和熵正则化的折扣随机对策,并建立在这两个游戏中的值的存在。此外,我们证明了充分的马尔可夫和平稳的混合策略,以达到价值,分别在$N$阶段和折扣游戏。最后,我们提出了算法,这是基于凸优化问题,计算的最优策略。在一个数值例子中,我们演示了所提出的方法的运动规划方案,并说明了预期收益的正则化项的效果。
2019-07-29 math.OC
Gradient Descent Finds the Cubic-Regularized Non-Convex Newton Step
考虑了三次项正则化的非凸二次型的极小化问题,该问题具有多个鞍点和局部极小点。尽管如此,我们证明,在温和的假设下,梯度下降近似的$\textit{global minimum}$内的$\varepsilon$的准确性在$O(\varepsilon^{-1}\log(1/\varepsilon))$步骤大$\varepsilon$和$O(\log(1/\varepsilon))$步骤小$\varepsilon$(相比,我们定义的条件数),最多对数依赖于问题的维度。当我们用梯度下降法来逼近正则化牛顿步时,我们的结果暗示了对一般光滑非凸函数的二阶稳定点的一个收敛速率。
2022-08-30 cs.DS math.OC
On the complexity of proximal gradient and proximal gradient-Newton-CG methods for $\ell_1$-regularized Optimization
School of Mathematical Sciences, Jiangsu University(江苏大学数学科学学院)
提出两种基于不同近似二阶稳定点定义的二阶方法,用于求解\(\ell_1\)正则化复合优化问题,并分析其迭代复杂度、操作复杂度及局部超线性收敛率,数值实验验证了有效性。
2026-09-10 math.OC
A Regularized Limited Memory Subspace Minimization Conjugate Gradient Method for Unconstrained Optimization
本文基于有限记忆技术和子空间最小共轭梯度法,提出了一种正则化有限记忆子空间最小共轭梯度法,它包含两种迭代方式。在SMCG迭代中,我们通过最小化近似二次模型或近似正则化模型来获得搜索方向。在RQN迭代中,结合正则化技术和BFGS方法,在子空间中采用了一种改进的正则化拟牛顿法,以提高算法的正交性。此外,设计了一些简单的加速准则和一种改进的初始步长选择策略,以提高算法的效率。此外,利用广义非单调线搜索,并在较弱的条件下证明了算法的整体收敛性。最后,数值结果表明,该算法比ASMCG_PR算法有明显的改进,并且优于CUTEr库的有限内存共轭梯度软件包CG_DESCENT(6.8)和CGOPT(2.0).
2023-01-07 math.OC
An Accelerated Proximal Coordinate Gradient Method and its Application to Regularized Empirical Risk Minimization
考虑两个凸函数之和的最小化问题:一个是光滑的,由梯度预言机给出,另一个是在坐标块上可分的,在每个块上有一个简单的已知结构.我们发展了一个加速的随机邻近坐标梯度(APCG)方法来最小化这样的凸复合函数。对于强凸函数,我们的方法实现了更快的线性收敛速率比现有的随机邻近坐标梯度法。没有强凸性,我们的方法享有加速的次线性收敛速度。我们展示了如何应用APCG方法来解决正则化经验风险最小化(ERM)问题,并设计有效的实现,避免全维向量运算。对于病态的ERM问题,我们的方法获得了改进的收敛速度比最先进的随机双坐标上升(SDCA)方法。
2014-07-04 math.OC
Regularized two-stage stochastic variational inequalities for Cournot-Nash equilibrium under uncertainty
将不确定性条件下的凸两阶段非合作多智能体博弈表示为两阶段随机变分不等式(SVI)。在标准假设下,给出了两阶段SVI解存在的充分条件,并提出了求解该问题的正则化样本平均逼近方法,证明了当正则化参数趋于零和样本量趋于无穷大时,该方法的收敛性.此外,我们的方法被应用到一个两阶段的随机生产和供应计划问题的同质商品在寡头垄断市场。基于原油市场历史数据的数值计算结果表明,两阶段SVI在描述采油剂的市场份额的有效性。
2019-07-17 math.OC
Doubly Accelerated Stochastic Variance Reduced Dual Averaging Method for Regularized Empirical Risk Minimization
NTT DATA Mathematical Systems Inc.(NTT DATA 数理系统公司);The University of Tokyo(东京大学)
在本文中,我们发展了一个新的加速随机梯度法有效地解决凸正则化经验风险最小化问题的小批量设置。小批量的使用正在成为机器学习社区的黄金标准,因为小批量设置稳定了梯度估计,并且可以很容易地利用并行计算。我们提出的方法的核心是我们新的“双加速”技术和方差减少技术的结合。我们从理论上分析了我们提出的方法,并表明,我们的方法大大提高了以前的加速随机方法的小批量效率,基本上只需要大小$\sqrt{n}$小批量实现非强凸和强凸目标的最佳迭代复杂度,其中$n$是训练集的大小。此外,我们表明,即使在非小批量设置,我们的方法实现了最好的已知的收敛速度为非强和强凸的目标。
2017-09-19 cs.LG math.OC stat.ML
A Proximal-Gradient Method for Solving Regularized Optimization Problems with General Constraints
Department of Industrial and Systems Engineering, Lehigh University(利哈伊大学工业与系统工程系)
本文提出了一种近端梯度法,用于求解带一般约束的正则化优化问题,通过分解策略和 merit 函数实现高效求解,并在多个测试问题中验证了方法的有效性。
2026-01-15 math.OC
Stochastic Primal-Dual Proximal ExtraGradient Descent for Compositely Regularized Optimization
UC Berkeley(加州大学伯克利分校);National University of Defense Technology(国防科技大学);Stanford University(斯坦福大学);National University of Singapore(新加坡国立大学)
我们考虑了广泛的正则化随机极小化问题的两个正则化项,其中之一是由一个线性函数。该优化模型抽象了人工智能和机器学习中的许多重要应用,例如融合Lasso,融合Logistic回归和一类图引导正则化最小化。这个模型的计算挑战有两个方面。一方面,与组合正则化项或期望目标函数相关联的邻近映射的封闭形式解是不可用的。另一方面,当输入数据样本的数量相当大时,目标中期望的全梯度的计算是非常昂贵的。为了解决这些问题,我们提出了一个随机变量的额外梯度型方法,即\textsf{Stochastic Primal-Dual Proximal ExtraGradient descent (SPDPEG)},并分析其收敛性的凸和强凸目标。对于一般的凸目标,由\textsf{SPDPEG}产生的一致平均迭代以$O(1/\sqrt{t})$速率按期望收敛。而对于强凸目标,由\textsf{SPDPEG}产生的一致和非一致平均迭代分别以$O(\log(t)/t)$和$O(1/t)$速率收敛.所提出的算法的速度的顺序是已知的,以匹配一阶随机算法的最佳收敛速度。融合逻辑回归和图引导正则化逻辑回归问题的实验表明,该算法的性能非常有效,并始终优于其他竞争算法。
2018-02-01 cs.LG math.OC stat.ML
Regularized Stochastic Dual Dynamic Programming for convex nonlinear optimization problems
我们定义了一个正则化的变形的对偶动态规划算法称为REDDP(正则化对偶动态规划)来解决非线性动态规划方程。我们将该算法推广到求解非线性随机动态规划方程。相应的算法,称为SDDP-REG,可以被看作是一个扩展的正则化的随机对偶动态规划(SDDP)算法最近推出的线性问题,研究较少的一般性中心。我们展示了REDDP和SDDP-REG的收敛性。我们评估了REDDP和SDDP-REG在具有直接交易成本和市场影响成本的投资组合模型上的表现。特别地,我们提出了一个风险中性的投资组合选择模型,它可以被视为一个多阶段的随机二阶锥规划。该公式的动机是市场影响成本对大型投资组合再平衡操作的影响。数值模拟表明,REDDP是快得多DDP的所有问题的情况下考虑(高达184倍快于DDP),SDDP-REG是更快的情况下,投资组合选择问题的市场影响成本测试和更快的风险中性的多阶段随机线性规划的情况下实施(8.2倍快)。
2020-05-01 math.OC
An Approximation-Based Regularized Extra-Gradient Method for Monotone Variational Inequalities
本文提出了一种求解单调变分不等式(VI)的广义超梯度格式,简称为基于逼近的正则超梯度法(ARE). ARE的第一步解决一个VI子问题的近似算子满足$p^{th}$阶Lipschitz界相对于原始映射,进一步耦合的梯度的$(p+1)^{th}$阶正则化。最佳的整体收敛是保证包括一个额外的额外的梯度步骤,而$p^{th}$阶超线性局部收敛,如果VI是强单调的。所提出的ARE是包容性和一般性的,在这个意义上,各种解决方案的方法可以制定在这个框架内作为不同的表现形式的近似,和他们的迭代复杂性将遵循通过在一个统一的方式。ARE框架与一阶方法有关,同时为开发专门用于结构化问题的高阶方法提供了可能性,这些方法保证了最佳迭代复杂性界限。
2022-10-10 math.OC
Riemannian Stochastic Variance-Reduced Cubic Regularized Newton Method for Submanifold Optimization
我们提出了一个随机方差缩减的三次正则牛顿算法来优化欧几里得空间的黎曼子流形上的有限和问题。该算法需要在每个历元开始时进行全梯度和Hessian更新,同时在每个历元内的迭代中进行随机方差减少更新。计算了$O(ε^{-3/2})$的迭代复杂度,得到了一个$(ε,\sqrtε)$ -二阶稳定点,即,当流形嵌入在欧几里得空间中时,建立了黎曼梯度范数上界为$ε$,黎曼Hessian最小特征值下界为$-\sqrtε$的点.此外,本文提出了一个计算上更吸引人的修改算法,只需要一个不精确的解决方案的立方正则牛顿子问题具有相同的迭代复杂度。该算法进行了评估,并与其他三个黎曼二阶方法在两个数值研究估计的逆尺度矩阵的多元t-分布的对称正定矩阵的流形上,估计球形流形上的线性分类器的参数。
2022-07-21 math.OC
Stochastic Optimization for Regularized Wasserstein Estimators
University of Cambridge(剑桥大学);Google Research(谷歌研究院);INRIA - DI, ENS, PSL Research University Paris(法国国家信息与自动化研究所 - 数据信息学部、巴黎高等师范学院、巴黎文理研究大学)
最优运输是优化中的一个基本问题,它允许在考虑几何方面的同时比较概率分布。它的最佳目标值,Wasserstein距离,提供了分布之间的重要损失,已在整个机器学习和统计的许多应用中使用。最近在这个问题上的算法进展及其正则化版本使这些工具越来越受欢迎。然而,现有的技术需要解决一个优化问题,以获得一个单一的梯度的损失,从而减慢一阶方法,以最大限度地减少损失的总和,这需要许多这样的梯度计算。在这项工作中,我们引入了一个算法来解决这个问题的正则化版本的Wasserstein估计,每一步的时间是次线性的自然尺寸的问题。我们引入了一个对偶公式,并使用可以直接从样本计算的随机梯度步骤对其进行优化,而无需在每个步骤中解决额外的优化问题。这样,估计和计算任务被联合执行。我们表明,该算法可以扩展到其他任务,包括估计Wasserstein重心。我们提供了理论保证,并说明我们的算法的性能与实验上的合成数据。
2020-02-20 cs.LG math.OC stat.ML
Inexact Variable Metric Stochastic Block-Coordinate Descent for Regularized Optimization
块坐标下降法是求解具有块可分结构的大规模正则化最优化问题的一种常用框架。现有的方法有几个局限性。他们通常假设子问题可以在每次迭代中精确求解,这在实际中通常限制子问题中的二次项是对角的,从而失去了高阶导数信息的大部分好处。此外,与平滑情况相比,块的非均匀采样尚未被证明可以提高正则化问题的收敛速度界限。本文提出了一种基于正则化二次子问题的不精确随机BCD方法,其中二次项可以从迭代到迭代而变化:一个“可变度量”。我们提供了一个详细的收敛性分析凸和非凸问题。我们的分析推广到正则化的情况下Nesterov的建议,以提高收敛的BCD块的Lipschitz常数成比例的采样。我们通过削弱对初始目标值的依赖性来提高凸情形下的收敛速度。实证结果还表明,使用可变指标会产生显著的效益。
2019-11-01 math.OC
Regularized Step Directions in Nonlinear Conjugate Gradient Methods
本文提出CGM的混合三次正则化方法,利用Shanno的无记忆BFGS重新表述推导出计算量同级的新正则化步长方向,在更少假设下实现全局收敛,数值实验表明其减少了迭代次数与运行时间。
2024-08-28 math.OC stat.CO
A Stochastic Iteratively Regularized Gauss-Newton Method
本文提出随机迭代正则化高斯-牛顿方法(SIRGNM),通过小批量随机草图化扩展经典反问题算法,在二维椭圆PDE实验中以相近精度显著降低计算时间。
2024-09-19 cs.NA math.NA math.OC
Stochastic Primal-Dual Coordinate Method for Regularized Empirical Risk Minimization
我们考虑一个一般的凸优化问题与正则化的经验风险最小化的线性预测。问题结构允许我们将其重新表述为一个凹凸鞍点问题。我们提出了一种随机原始-对偶坐标(SPDC)方法,该方法在随机选择的对偶变量上最大化和原始变量上最小化之间交替。对原始变量执行外推步骤以获得加速的收敛速度。我们还开发了一个小批量版本的SPDC方法,便于并行计算,并与加权采样概率的对偶变量,这具有更好的复杂性比均匀采样非归一化数据的扩展。无论是理论上还是经验上,我们都证明了SPDC方法比几种最先进的最优化方法具有相当或更好的性能。
2015-09-09 math.OC stat.ML
Faster stochastic cubic regularized Newton methods with momentum
本文提出带动量方差缩减的更快随机三次正则化牛顿方法,通过低误差梯度估计和动量海森估计降低计算成本,并在温和假设下证明迭代复杂度,实验表明其性能接近确定性CRN方法且显著优于一阶方法。
2025-07-17 math.OC
A Fast and Convergent Proximal Algorithm for Regularized Nonconvex and Nonsmooth Bi-level Optimization
University of Utah(犹他大学);Lawrence Livermore National Lab(劳伦斯利弗莫尔国家实验室)
许多重要的机器学习应用涉及正则化非凸双层优化。然而,现有的基于梯度的双层优化算法不能处理非凸或非光滑的正则化子,并且它们在非凸双层优化中具有很高的计算复杂度。在这项工作中,我们研究了一个近似梯度型算法,采用近似隐式微分(AID)计划的非凸双层优化可能非凸和非光滑正则化。特别地,该算法应用Nesterov的动量来加速AID中涉及的隐式梯度的计算。通过确定算法的内禀势函数,全面分析了算法的全局收敛性。特别是,我们正式建立了收敛的模型参数的临界点的双层问题,并获得了改进的计算复杂度$\mathcal{O}(κ^{3.5}ε^{-2})$的国家的最先进的结果。此外,我们分析了该算法的渐近收敛速度下的一类局部非凸几何的特点是一个Eschojasiewicz型梯度不等式。超参数优化实验表明了该算法的有效性。
2022-06-03 cs.LG math.OC
Non-asymptotic Analysis of Stochastic Methods for Non-Smooth Non-Convex Regularized Problems
随机邻近梯度(SPG)方法已广泛用于机器学习和统计中使用简单(可能非光滑)正则化器解决最优化问题。然而,据我们所知,没有非渐近收敛分析SPG存在的非凸优化与非光滑和非凸正则化。现有的SPG求解非光滑非凸问题的非渐近分析都要求非光滑正则化子是凸函数,因此不适用于非光滑非凸正则化问题.这项工作启动分析,以弥合这一差距,打开了大门,非渐近收敛分析的非光滑非凸正则化问题。我们分析了几个变种的小批量SPG方法最小化的非凸目标,包括一个光滑的非凸损失和非光滑的非凸正则化。我们的贡献是双重的:(i)我们表明,他们享有相同的复杂性,他们的同行解决凸正则化非凸问题方面找到一个近似的驻点;(ii)我们开发更实用的变种使用动态的小批量大小,而不是一个固定的小批量大小,而不需要目标精度水平的解决方案。我们的结果的意义是,他们改进的国家的最先进的结果解决非光滑非凸正则化问题。我们还实证证明了所考虑的SPG方法与其他同行的随机方法相比的有效性。
2019-11-18 math.OC
Orthant Based Proximal Stochastic Gradient Method for $\ell_1$-Regularized Optimization
Microsoft(微软);Johns Hopkins University(约翰斯·霍普金斯大学);Zhejiang University(浙江大学);Georgia Institute of Technology(佐治亚理工学院);University of Washington(华盛顿大学);University of Denver(丹佛大学)
稀疏诱导正则化问题在机器学习应用中无处不在,从特征选择到模型压缩。在本文中,我们提出了一种新的随机方法-基于正交的邻近随机梯度法(OBProx-SG)-来解决可能是最流行的例子,即,L1正则化问题OBProx-SG方法包含两个步骤:(i)用于预测解的支持覆盖的邻近随机梯度步骤;以及(ii)用于通过正交面投影积极增强稀疏水平的正交步骤。与现有技术的方法相比,与Prox-SG、RDA和Prox-SVRG相比,OBProx-SG不仅能收敛到全局最优解(在凸情形下)或稳定点(在非凸情形下),而且能显著提高解的稀疏性。特别是在大量的凸问题上,OBProx-SG在稀疏性探索和目标值方面全面优于现有方法。此外,在非凸深度神经网络上的实验,例如,MobileNetV 1和ResNet 18通过在不牺牲泛化精度的情况下实现更高稀疏性的解决方案,进一步证明了其优越性。
2020-07-23 cs.LG math.OC stat.ML
Online Regularized Nonlinear Acceleration
Princeton University(普林斯顿大学);INRIA(法国国家信息与自动化研究所);CentraleSupélec(巴黎中央理工-高等电力学院);CNRS(法国国家科学研究中心);École Normale Supérieure(巴黎高等师范学院)
正则化非线性加速(RNA)通过对梯度法等算法进行后处理迭代来估计函数的最小值。它可以被看作是安德森加速的正则化版本,安德森加速是数值分析的经典加速方案。新方案可证明地提高了固定步长梯度下降法的收敛速度,其经验性能可与拟牛顿法相媲美。然而,RNA不能加速更快的多步算法,如Nesterov的方法,并且在这种情况下经常出现分歧。在这里,我们调整RNA来克服这些问题,使我们的计划可以用于快速算法,如梯度法与动量。我们证明了一般凸极小化问题的二次型和渐近最优速率的最优复杂性界。此外,这一新方案在网上工作,即,外推解估计可以在每次迭代时重新注入,从而显著提高了经典加速方法的数值性能。
2019-06-21 cs.LG math.OC stat.ML
Half-Space Proximal Stochastic Gradient Method for Group-Sparsity Regularized Problem
利用组稀疏性进行优化对于增强加工学习应用中的模型可解释性是重要的,例如,特征选择、压缩感知和模型压缩。然而,对于大规模的随机训练问题,有效的组稀疏性探索通常很难实现。特别地,最先进的随机最优化算法通常仅生成稠密解。为了克服这一不足,我们提出了一种随机方法--半空间随机投影梯度(HSPG)方法来搜索解的高群体稀疏性,同时保持收敛性。通过简单的Prox-SG步骤初始化,HSPG方法依赖于一种新的半空间步骤,以大大提高稀疏水平。在数字上,HSPG证明了它在深度神经网络中的优越性,例如,VGG 16,ResNet 18和MobileNetV 1,通过计算更高的群体稀疏性,竞争目标值和泛化精度的解决方案。
2021-02-13 math.OC