DINGO: Distributed Newton-Type Method for Gradient-Norm Optimization
University of Queensland(昆士兰大学);International Computer Science Institute(国际计算机科学研究所)
针对分布式计算环境中函数和的优化问题,提出了一种新的通信高效的牛顿型算法,该算法比现有的类似算法具有多种优势。类似于牛顿-MR,我们的算法,DINGO,是通过优化梯度的范数作为代理函数。DINGO不对底层函数施加任何特定的形式,其应用范围远远超出凸性。此外,数据在计算环境中的分布可以是任意的。此外,DINGO的基本子问题是简单的线性最小二乘,对于它存在过多的有效算法。最后,DINGO涉及一些易于调整的超参数。此外,我们从理论上表明,DINGO是不敏感的超参数的选择,在梯度范数的严格减少是有保证的,无论选择的超参数。我们证明了我们的方法相比,其他相关算法的有效性,稳定性和多功能性的经验证据。
2019-12-02 cs.LG math.OC
Communication Efficient Distributed Optimization using an Approximate Newton-type Method
Toyota Technological Institute(丰田工业大学);Technion(以色列理工学院);Rutgers University(罗格斯大学);Baidu(百度)
我们提出了一种新的牛顿型方法的分布式优化,这是特别适合于随机优化和学习问题。对于二次型目标,该方法具有线性收敛速度,可证明\emph{improves}与数据大小,在合理的假设下,需要一个基本上恒定的迭代次数。我们提供了理论和经验证据的优势,我们的方法相比,其他方法,如单次参数平均和ADMM。
2014-05-13 cs.LG math.OC stat.ML
Augmented Newton Method for Optimization: Global Linear Rate and Momentum Interpretation
本文提出了求解无约束极小化问题的两种变形牛顿法。我们的方法利用优化技术,如罚款和增广拉格朗日方法,以产生新的变种的牛顿法,即罚款牛顿法和增广牛顿法。在这样做时,我们恢复几个著名的现有的牛顿方法的变种,如阻尼牛顿,Levenberg和Levenberg-Marquardt方法的特殊情况。此外,所提出的增广牛顿法可以解释为自适应重球动量的牛顿法。我们提供了整体收敛的结果,所提出的方法在温和的假设下,适用于各种各样的问题。所提出的方法可以被视为Karimireddy等人结果的惩罚和增广扩展。al [24].
2022-05-23 cs.LG cs.NA math.NA
Nys-Newton: Nyström-Approximated Curvature for Stochastic Optimization
RIKEN AIP(理化学研究所(RIKEN)计算科学中心(AIP));Kyoto University(京都大学)
二阶最优化方法是用于凸优化问题的最广泛使用的优化方法之一,并且最近已被用于优化诸如深度学习模型的非凸优化问题。广泛使用的二阶最优化方法,如拟牛顿法,通常通过使用割线方程近似Hessian来提供曲率信息。然而,割线方程由于使用一阶导数而在近似牛顿步骤时变得乏味。在这项研究中,我们提出了一个近似牛顿草图为基础的随机最优化算法的大规模经验风险最小化。具体来说,我们计算一个部分列的海森大小($d\times m$)与$m\ll d$随机选择的变量,然后使用\emph{Nyström method}更好地近似完整的海森矩阵。为了进一步降低每次迭代的计算复杂性,我们直接计算更新步长($Δ\boldsymbol{w}$),而不计算和存储完整的Hessian或其逆。然后,我们将我们的近似海森与随机梯度下降和随机方差-约化梯度法。对凸函数和非凸函数的数值实验结果表明,该方法能够获得更好的牛顿\textquotesingle方法的逼近,表现出与现有的一阶拟牛顿方法和随机拟牛顿方法相当的性能.此外,我们提供了一个理论上的凸函数的收敛性分析。
2022-01-29 cs.LG math.OC stat.ML
Information Newton's flow: second-order optimization method in probability space
Stanford University(斯坦福大学);University of California(加利福尼亚大学)
我们介绍了一个框架,牛顿流在概率空间与信息度量,命名为信息牛顿流。这里考虑两个信息度量,包括Fisher-Rao度量和Wasserstein-2度量。一个已知的事实是,过阻尼Langevin动力学对应于Kullback-Leibler(KL)发散的Wasserstein梯度流。将这一事实推广到瓦瑟斯坦牛顿流,我们得到牛顿的朗之万动力学。我们提供的例子牛顿的朗之万动力学在一维空间和高斯家庭。在数值实现方面,我们设计了仿射模型和再生核希尔伯特空间(RKHS)中的采样有效变分方法来逼近Wasserstein牛顿方向。我们还建立了所提出的信息牛顿法与近似方向的收敛结果。贝叶斯抽样问题的几个数值例子证明了所提出的方法的有效性。
2020-08-05 cs.LG math.OC stat.ML
Convergence of the Gauss-Newton method for convex composite optimization under a majorant condition
在初始点为拟正则点的假设下,利用优势条件给出了求解凸复合最优化问题的推广Gauss-Newton方法的一个新的半局部收敛性分析.在这个分析中,收敛的条件和证明被简化,通过使用一个简单的优势条件来定义区域,高斯-牛顿序列是“良好的表现”。
2011-07-19 math.OC
A Two-Phase Quasi-Newton Method for Optimization Problem
本文提出了一种求解无约束最优化问题的两阶段拟牛顿格式。在适当的假设下,证明了格式的整体收敛性质.在解的附近证明了该格式的超线性速率。通过数值计算和图解说明,证明了该方案较传统方案的优越性。
2018-07-29 math.OC
Efficient Regularized Proximal Quasi-Newton Methods for Large-Scale Nonconvex Composite Optimization Problems
具有复合函数的最优化问题由一个目标函数组成,该目标函数是一个光滑项和一个(凸)非光滑项之和。这种特殊的结构是利用类的近端梯度法和他们的一些推广,如近端牛顿和拟牛顿法。在本文中,我们提出了一个正则化的近似拟牛顿法,其主要特点是:(a)该方法全局收敛到稳定点,(b)全局化由正则化参数控制,不需要线搜索,(c)该方法可以基于简单的观察而非常有效地实现,该观察结合了最近用于计算准牛顿邻近算子和有限记忆拟牛顿更新的紧致表示。对凸和非凸组合最优化问题的数值算例表明,该方法优于现有的几种方法。
2022-10-14 math.OC
Network-GIANT: Fully distributed Newton-type optimization via harmonic Hessian consensus
University of Padova(帕多瓦大学);Maynooth University(梅努斯大学);Uppsala University(乌普萨拉大学)
针对分布式多智能体学习的全局损失最小化问题,提出结合梯度跟踪、牛顿迭代与共识平均的完全分布式牛顿型算法Network-GIANT,理论上证明其强凸光滑损失下半全局指数收敛,实验显示性能优于现有先进算法。
2023-07-19 cs.LG cs.MA math.OC
A Stochastic Newton Algorithm for Distributed Convex Optimization
Toyota Technological Institute at Chicago(芝加哥丰田理工学院);Weizmann Institute of Science(魏茨曼科学研究所)
我们提出并分析了均匀分布的随机凸优化的随机牛顿算法,其中每台机器可以计算相同的人口目标的随机梯度,以及随机Hessian向量乘积(人口目标的Hessian的独立无偏估计与任意向量的乘积),许多这样的随机计算在两轮通信之间进行。我们表明,与现有方法相比,我们的方法可以减少所需通信轮的数量和频率,而不会损害性能,通过证明准自协调目标的收敛保证(例如,逻辑斯谛回归),以及经验证据。
2021-10-07 cs.LG math.OC stat.ML
Gauss-Newton-type methods for bilevel optimization
本文研究了求解超定系统双层规划问题的Gauss-Newton型方法。为了进行,我们使用较低级别的价值函数重新制定的双层计划,并考虑必要的最优性条件在适当的假设。首先严格互补的上下层的可行性约束下,我们证明了收敛的高斯-牛顿型方法在计算点满足这些最优性条件下额外的易处理的资格条件。潜在的方法,以解决该方法的缺点,然后提出,导致替代品,如伪或平滑高斯-牛顿型方法的双层优化。我们的数值实验进行了124个例子,从最近发布的双层优化库(BOLIB)比较我们的方法在不同的情况下的性能,并表明这是一个易于处理的方法来解决连续变量的双层最优化问题。
2020-03-06 math.OC
Muon with Finite Newton-Schulz: The Smoothing Benefit in Nonsmooth Nonconvex Optimization
The University of Tokyo(东京大学);RIKEN(理化学研究所)
该研究针对大型语言模型预训练优化器Muon,证明带有限牛顿-舒尔茨迭代的Muon可通过平滑极映射提升非光滑非凸优化的收敛性,其样本复杂度达最优,且优于采用精确极因子更新的Muon。
2026-08-28 cs.LG math.OC stat.ML
Forward-backward truncated Newton methods for convex composite optimization
针对复合形式的凸非光滑最优化问题,提出了两种近似Newton-CG方法。该算法是基于一个重新制定的原始非光滑问题的无约束极小化的连续可微函数,即向前向后包络(FBE)。第一个算法是基于一个标准的线搜索策略,而第二个结合了相应的一阶方法的全局效率估计,同时实现快速的渐近收敛率。此外,它们在计算上是有吸引力的,因为每个牛顿迭代需要通常小维度的线性系的近似解。
2014-02-28 math.OC
Quasi-Newton method of Optimization is proved to be a steepest descent method under the ellipsoid norm
本文引入并推广经典 Cauchy-Schwartz 不等式,严格证明了无需计算 Hessian 且具超线性收敛速度的拟牛顿法在椭球范数下本质上是一种最速下降法。
2024-11-18 math.OC
Newton-type Methods for Minimax Optimization
University of Waterloo(滑铁卢大学);Waterloo AI Institute(滑铁卢人工智能研究所);Vector Institute(向量研究所);Borealis AI
微分游戏,特别是两个玩家的顺序零和游戏(又名。极大极小优化)已经成为应用科学中的重要建模工具,并且由于许多最近的应用(例如对抗训练、生成模型和强化学习)而重新引起了机器学习的兴趣。然而,现有的理论大多集中在凹凸函数,很少有例外。在这项工作中,我们提出了两个新的牛顿型算法的非凸-非凹极大极小优化。我们证明了他们的局部收敛在严格的局部极小极大点,这是全球解决方案的代理。我们认为,我们的牛顿型算法很好地补充现有的,(a)他们收敛速度更快,严格的本地极大极小点;(b)他们是更有效的问题时,是病态的;(c)他们的计算复杂性保持相似。我们通过训练本质上非凸和病态的GANs的实验验证了我们的牛顿型算法的有效性。我们的代码可在https://github.com/watml/min-max-2nd-order上获得。
2023-02-18 cs.LG math.OC stat.ML
Proximal Quasi-Newton Methods for Multiobjective Optimization Problems
针对无约束多目标最优化问题(简称UMOP),提出了几种新的近似拟牛顿法,其中每个目标函数是一个二次连续可微强凸函数和一个适当的下连续凸但不一定是可微函数之和.我们提出了近似BFGS方法,近似自缩放BFGS方法,和近似黄BFGS方法(UMOP)与线搜索和没有线搜索的情况下。在温和的假设下,我们证明了由这些算法产生的序列的每个聚点,如果存在的话,是(UMOP)的Pareto平稳点。此外,我们还介绍了它们在约束多目标最优化问题和鲁棒多目标最优化问题中的应用。特别地,对于鲁棒多目标最优化问题,我们证明了近似拟牛顿算法的子问题可以看作是带二次不等式约束的二次极小化问题。数值实验也验证了所提出的近似拟牛顿法的有效性。
2022-04-07 math.OC
Analysis of Newton-Raphson Consensus for multi-agent convex optimization under asynchronous and lossy communications
我们扩展了一个多代理凸优化算法牛顿-拉夫森共识的网络场景,涉及定向,异步和有损通信。我们从理论上分析了算法的稳定性和性能,特别是,提供充分条件,保证局部指数收敛的节点状态的全局集中式极小,即使在存在数据包丢失。最后,我们补充的理论分析与数值模拟,比较性能的牛顿-拉夫森共识对异步实现的分布式次梯度方法从开源数据库中提取的真实数据集。
2017-04-20 math.OC
Stochastic Quasi-Newton Methods for Nonconvex Stochastic Optimization
本文研究了非凸随机最优化的随机拟牛顿法,其中我们假设只有目标函数的梯度的随机信息可以通过随机一阶预言机(SFO)得到.首先,我们提出了求解非凸随机最优化的随机拟牛顿法的一般框架。建议的框架扩展了经典的拟牛顿法在确定性设置随机设置,我们证明了其几乎必然收敛平稳点。其次,我们提出了一类随机随机拟牛顿法的一般框架,其中算法进行的迭代次数是随机变量。分析了这类方法的最坏情况SFO调用复杂度。第三,我们提出了两个具体的方法,即随机阻尼BFGS方法和随机循环Barzilai-Borwein方法。最后,我们报告的数值结果来证明所提出的方法的效率。
2014-12-04 math.OC
Gradient Projection Newton Pursuit for Sparsity Constrained Optimization
基于硬阈值的算法在控制稀疏性和允许快速计算方面具有稀疏优化的各种优势。最近的研究表明,当牛顿型方法的技术集成,其数值性能可以得到惊人的改善。本文提出了一种梯度投影牛顿追踪算法,该算法主要采用硬阈值算子,仅在满足一定条件时才使用牛顿追踪。该算法能够在标准假设下全局收敛和二次收敛。当涉及到压缩感知问题时,强加的假设比许多最先进的算法要弱得多。此外,大量的数值实验证明了其与其他领先求解器相比的高性能。
2022-06-06 math.OC
Proximal Quasi-Newton Method for Composite Optimization over the Stiefel Manifold
针对Stiefel流形上的复合优化问题,提出名为ManPQN的黎曼近端拟牛顿法,证明其全局与局部线性收敛性并分析迭代复杂度,数值实验验证该方法可加速近端梯度法。
2025-01-16 math.OC
A Primal-Dual Quasi-Newton Method for Exact Consensus Optimization
我们引入原始-对偶拟牛顿(PD-QN)方法作为求解分散最优化问题的近似二阶方法。PD-QN方法对共识最优化问题的原始变量和对偶变量执行拟牛顿更新,以找到增广拉格朗日的最优点。通过优化增广拉格朗日量,PD-QN方法能够以线性收敛速率找到一致性问题的精确解。我们推导出完全分散的拟牛顿更新,近似二阶信息,以减少相对于对偶方法的计算负担,并使该方法在病态问题中相对于一阶方法更具鲁棒性。形式上建立了PD-QN的线性收敛速率,数值上显示了相对于现有对偶方法和原始-对偶方法的强大性能优势。
2019-07-10 math.OC
Non-Asymptotic Optimization and Generalization Bounds for Stochastic Gauss-Newton in Overparameterized Models
针对过参数化深度神经网络回归训练问题,分析带Levenberg-Marquardt阻尼和小批量采样的随机高斯-牛顿法,建立依赖批量大小、网络宽深的有限时间收敛界,推导基于均匀稳定性的非渐近泛化界,明确曲率等对泛化的影响及有利泛化条件。
2025-11-12 cs.LG math.OC stat.ML
Convergence of a Randomized Newton Method in Nonconvex Optimization
本文分析了一种结合牛顿算法与状态相关高斯噪声的随机牛顿方法,用于非凸优化中定位唯一全局极小值点,并证明了有界域下的全局几乎必然收敛性。
2026-09-10 math.OC
On a globally convergent semismooth* Newton method in nonsmooth nonconvex optimization
本文提出 GSSN 方法,结合近端梯度法保证全局收敛,利用 SCD semismooth* Newton 方法在弱假设下实现局部超线性收敛,并通过等式约束二次规划计算 Newton 方向,注重高效数值实现。
2025-01-24 math.OC
Variational discretization and semi-smooth Newton methods; implementation, convergence and globalization in pde constrained optimization with control constraints
当结合变分离散的数值概念和半光滑牛顿法求解带有控制约束的偏微分方程约束优化的数值解时,必须特别强调数值算法的实现、收敛性和全局性。在目前的工作中,我们解决所有这些问题。特别是,我们证明了快速局部收敛的算法,并提出了两种不同的全球化战略,适用于许多实际相关的数学设置。我们通过数值实验说明了我们的分析和算法研究结果。
2009-12-02 math.OC
The Quasi-Newton Method for the Composite Multiobjective Optimization Problems
本文针对复合多目标优化问题(CMOP)提出了结合Armijo线搜索的BFGS、自标度BFGS和Huang BFGS等新拟牛顿方法,并证明了算法生成序列的聚点为Pareto稳定点和最优点。
2023-09-10 math.OC
A Stochastic Quasi-Newton Method for Large-Scale Optimization
University of Colorado(科罗拉多大学);Northwestern University(西北大学);Google Research(谷歌研究院)
如何在随机逼近方法中引入曲率信息是一个具有挑战性的问题。直接应用经典的拟牛顿更新技术进行确定性优化会导致噪声曲率估计,对迭代的鲁棒性产生有害影响。在本文中,我们提出了一个随机拟牛顿法,是有效的,强大的和可扩展的。它采用经典的BFGS更新公式在其有限的内存形式,是基于观察,这是有益的,逐点收集曲率信息,并在定期的间隔,通过(子采样)海森矢量产品。这种技术不同于计算梯度差的经典方法,并且控制曲率估计的质量可能是困难的。我们提出的机器学习中出现的问题的数值结果表明,所提出的方法显示出很大的希望。
2015-02-18 cs.LG math.OC stat.ML
Adaptive Sampling Quasi-Newton Methods for Derivative-Free Stochastic Optimization
我们考虑随机零阶最优化问题,它出现在设置从模拟优化强化学习。我们提出了一种自适应采样拟牛顿法,我们估计的梯度的随机函数使用有限差分内一个共同的随机数框架。我们采用修改后的版本的范数检验和内积拟牛顿检验来控制样本量中使用的随机逼近。我们提供了初步的数值实验来说明所提出的方法的潜在性能优势。
2019-10-29 math.OC stat.ML
Proximal Diagonal Newton Methods for Composite Optimization Problems
本文提出一种基于对角度量的近端牛顿型方法,用于求解复合优化问题,理论分析与数值实验表明其在非凸情形下优于近端梯度法。
2023-10-10 math.OC
New Proximal Newton-Type Methods for Convex Optimization
本文对复合形式的凸优化问题提出了新的近似牛顿型方法。应用包括模型预测控制(MPC)和嵌入式MPC。我们的新方法在计算上是有吸引力的,因为它们不需要在每次迭代时评估Hessian,同时保持快速的收敛速度。更具体地说,我们证明了整体收敛性的保证和超线性收敛是在附近的最优解。我们还结合拟牛顿和不精确子问题求解方案,开发了几种实用的变型,并在一定条件下为它们提供了理论保证。在真实数据集上的实验结果证明了新方法的有效性和效率。
2020-07-18 math.OC
Newton-type method for bilevel programs with linear lower level problem and application to toll optimization
本文考虑一个下层线性问题的左扰动双层规划。然后,我们考虑Karush-Kuhn-Tucker重新制定的问题,并随后建立一个易于处理的最优化问题的线性约束的部分精确惩罚。最后,我们将该算法应用于交通网络中的最优收费问题,证明了该算法的收敛性和实际实现。
2020-10-22 math.OC
Newton's Method for Global Free Flight Trajectory Optimization
本文针对全局自由飞行轨迹优化问题,研究离散与连续优化结合方案中牛顿法的局部收敛性,并证明其在特定假设下可于极小点的足够大邻域内收敛。
2024-04-07 math.CA math.FA math.OC
Incremental Quasi-Newton Algorithms for Solving Nonconvex, Nonsmooth, Finite-Sum Optimization Problems
提出并测试了求解非凸、非光滑、有限和最优化问题的算法。特别是,算法提出和测试的上下文中产生的半监督机器学习的最优化问题制定。所有算法的共同特征是它们采用增量拟牛顿(IQN)策略,特别是增量BFGS(IBFGS)策略。一个应用IBFGS策略的问题直接,而其他应用IBFGS策略的差异凸重构,平滑逼近,或(强)凸局部逼近。实验表明,所有IBFGS方法在实践中表现良好,并且都优于最先进的捆绑方法。
2022-07-20 math.OC
A Newton-CG Algorithm with Complexity Guarantees for Smooth Unconstrained Optimization
我们考虑最小化的光滑非凸目标函数使用迭代算法的基础上牛顿法和线性共轭梯度算法,明确检测和使用负曲率方向的Hessian的目标函数。该算法密切跟踪20世纪80年代开发的牛顿共轭梯度程序,但包括增强功能,允许证明最坏情况下的复杂性结果收敛到满足近似一阶和二阶最优性条件的点。的复杂性结果匹配的最佳已知的结果在文献中的二阶方法。
2018-11-12 math.OC
Trust-Region Newton-CG with Strong Second-Order Complexity Guarantees for Nonconvex Optimization
非凸优化算法的最坏情况复杂性保证是一个越来越受关注的话题。已经提出了多个框架,实现了最知名的复杂性界限之间的广泛的一类一阶和二阶策略。这些方法通常主要是在考虑复杂性保证的情况下设计的,因此,它们偏离了在实践中被证明是最有效的算法。在本文中,我们考虑置信域牛顿法,最流行的一类算法解决非凸最优化问题。通过对原方案进行轻微修改,我们得到了两种方法-一种是基于精确子问题解决方案,另一种是利用不精确子问题解决方案,如在流行的“置信域牛顿共轭梯度”(置信域牛顿CG)方法-迭代和操作复杂性边界匹配上述一类一阶和二阶方法的最佳已知边界。由此产生的置信域牛顿-CG方法也保留了经典的置信域牛顿-CG,我们证明了一个标准的基准测试集上的数值比较有吸引力的实际行为。
2020-11-19 math.OC
A unified framework for inexact adaptive stepsizes in the gradient methods, the conjugate gradient methods and the quasi-Newton methods for strictly convex quadratic optimization
School of Mathematics and Statistics, Guizhou University(贵州大学数学与统计学院)
本文提出了一种统一框架,用于梯度法、共轭梯度法和拟牛顿法在严格凸二次优化中的不精确自适应步长,分析了其全局收敛性及收敛速率,并通过数值结果验证了其有效性。
2026-04-22 math.OC
A Quasi Newton Method for Uncertain Multiobjective Optimization Problems via Robust Optimization Approach
本文提出一种拟牛顿法求解任意有限不确定性集下不确定多目标优化问题的鲁棒对应问题,通过构造子问题确定下降方向,结合Armijo线搜索和修正BFGS公式,证明算法超线性收敛,并用数值实验验证其优于加权和方法。
2023-10-11 math.OC
A Distributed Cubic-Regularized Newton Method for Smooth Convex Optimization over Networks
Massachusetts Institute of Technology(麻省理工学院)
提出了一种求解网络上大规模凸优化的分布式正则化牛顿算法。该方法只需要本地计算和通信,适用于任意网络拓扑结构的联邦学习应用。当费用函数为凸函数且具有Lipschitz梯度和Hessian函数时,证明了$O(k^{{-}3})$的收敛速度,其中$k$为迭代次数.我们还提供了网络相关的界限,在算法的每一步所需的通信。我们提供了数值实验,验证我们的理论结果。
2020-07-07 cs.LG cs.MA math.OC
Newton-type Multilevel Optimization Method
受线性方程组多重网格方法的启发,提出了求解结构化最优化问题的多层最优化方法。多层方法对最优化模型的结构做了更多的假设,因此,它们优于单级方法,特别是对于大规模模型。多级最优化方法的令人印象深刻的性能是一个经验观察,迄今为止还没有提出理论解释。为了解决这个问题,我们研究了一个多层方法,这是由二阶方法的收敛性。我们采取的第一步,建立一个最优化问题的结构是如何与多级算法的收敛速度。
2019-11-26 math.OC
A Semismooth Newton based Augmented Lagrangian Method for Nonsmooth Optimization on Matrix Manifolds
研究了一类具有非光滑目标函数和非线性约束的流形最优化问题的增广拉格朗日方法。在流形上线性依赖为常数的条件下,证明了该方法收敛于非光滑流形最优化问题的一个稳定点。此外,我们提出了一个全球化的半光滑牛顿方法,有效地解决流形上的增广拉格朗日子问题。在适当的条件下,证明了流形半光滑牛顿法的局部超线性收敛。我们还证明了子流形上的半光滑性可以继承于环境流形上的半光滑性。最后,压缩模式和(约束)稀疏主成分分析的数值实验说明了所提出的方法的优点。
2022-07-19 math.OC
Adaptive Multilevel Newton: A Quadratically Convergent Optimization Method
UniDistance Suisse(瑞士远程大学);Oxford University(牛津大学);Imperial College London(伦敦帝国学院)
本文提出了一种自适应多级牛顿法,通过自动切换至全牛顿法实现二次收敛,实验证实其在强凸问题中优于传统牛顿法和梯度下降法。
2026-03-04 math.OC
From Convex Optimization to MDPs: A Review of First-Order, Second-Order and Quasi-Newton Methods for MDPs
本文综述了求解马尔可夫决策过程的经典算法与凸优化中基于梯度的经典算法之间的联系。其中一些联系可以追溯到20世纪80年代,但近年来它们的发展势头越来越大,并导致了求解MDP的更快算法。特别地,用于求解MDP的两个最流行的方法,值迭代和策略迭代,可以链接到凸优化中的一阶和二阶方法。此外,最近的结果在拟牛顿法导致新的算法MDP,如安德森加速。通过将MDP的算法明确地分为一阶、二阶和拟牛顿法,我们希望能更好地理解这些算法,并进一步扩展这种类比,以帮助基于凸优化的最新进展开发新的MDP算法。
2021-11-25 math.OC
Generalized Newton Algorithms for Tilt-Stable Minimizers in Nonsmooth Optimization
本文的目的是发展两个版本的广义牛顿法计算不仅是任意的局部极小值的非光滑最优化问题,但只是那些,它具有一个重要的稳定性称为倾斜稳定性。我们开始与无约束极小化的连续可微费用函数具有Lipschitzian梯度,并建议两个二阶算法的牛顿型:一个涉及的Lipschitzian梯度映射,和其他的基础上,后者的图形衍生物。然后,我们继续传播这些算法的最小化的扩展实值的prox-正则函数,同时以这种方式覆盖的问题的约束优化,通过使用Moreau算法。采用先进的技术,二阶变分分析和倾斜稳定性的特征,使我们能够建立在这两个算法的子问题的可解性,并证明其迭代的Q-超线性收敛。
2020-12-29 math.OC
Decentralized Approximate Newton Methods for Convex Optimization on Networked Systems
本文提出了一类求解网络系统上凸优化的分散近似牛顿(DEAN)方法,网络系统中的节点仅通过局部相互作用寻求使各自目标函数之和最小的一致性.所提出的DEAN算法允许每个节点重复执行局部近似牛顿更新,这利用跟踪全局牛顿方向和消散节点之间的差异。与大多数现有的二阶方法相比,在较少限制的问题假设下,DEAN算法使节点能够达成共识,可以任意接近最优。此外,对于一个特定的DEAN算法,节点线性收敛到一个显式的误差界的共同的次优解。最后,仿真结果表明DEAN在收敛速度,精度和效率方面具有竞争力的性能。
2020-11-28 math.OC
A Log-Barrier Newton-CG Method for Bound Constrained Optimization with Complexity Guarantees
我们描述了一个算法的基础上的对数障碍函数,牛顿法,和线性共轭梯度,获得一个近似极小的光滑函数的非负正交。我们开发的方法的复杂性,所需的精度和成本的一个单一的梯度评价的目标函数和/或矩阵向量乘法涉及的Hessian的目标方面的限制。该方法可以在不显式计算或存储Hessian的情况下实现。
2019-12-03 math.OC
A Stochastic Newton-type Method for Non-smooth Optimization
提出分析非光滑优化中随机牛顿型方法的新框架,利用停时Chernoff界推导迭代次数界限,无需无偏或有限方差假设,并在层析成像与图像去噪中验证。
2025-03-04 math.OC
A Newton-Type Active Set Method for Nonlinear Optimization with Polyhedral Constraints
提出了一种求解多面体约束下大规模极小化问题的牛顿型有效集算法。该算法由梯度投影步骤、约束矩阵零空间中的二阶牛顿型步骤和两步之间的分支规则组成。我们表明,所提出的方法渐近牛顿步骤时,积极约束是线性无关和一个强的二阶充分最优性条件举行。我们还表明,该方法在标准条件下具有二次收敛速率。数值实验说明了该算法的性能CUTEst和一类特定的问题,找到二阶稳定点是至关重要的。
2021-01-09 math.OC
A Quasi-Newton Method to Solve Uncertain Multiobjective Optimization Problems with Uncertainty Set of Finite Cardinality
针对不确定集基数有限的不确定多目标优化问题,提出一种结合集值优化划分集概念的拟牛顿迭代方法,证明其全局收敛与局部超线性收敛性,数值算例验证了方法有效性。
2025-05-20 math.OC
Quasi-Newton Optimization Methods For Deep Learning Applications
深度学习算法通常需要解决高度非线性和非凸无约束优化问题。解决大规模机器学习中优化问题的方法,如深度学习和深度强化学习(RL),通常限于一阶算法,如随机梯度下降(SGD)。虽然SGD迭代的计算成本很低,但它们的理论收敛速度很慢。此外,它们需要详尽的试错来微调许多学习参数。使用二阶曲率信息来寻找搜索方向可以帮助非凸优化问题更鲁棒的收敛。然而,计算大型问题的海森矩阵在计算上是不实际的。或者,拟牛顿方法构造海森矩阵的近似,以构建目标函数的二次模型。拟牛顿方法,如SGD,只需要一阶梯度信息,但它们可以导致超线性收敛,这使得它们成为SGD的有吸引力的替代品。有限记忆Broyden-Fletcher-Goldfarb-Shanno(L-BFGS)方法是构造正定Hessian逼近的最流行的拟牛顿方法之一。在这一章中,我们提出了有效的优化方法的基础上L-BFGS拟牛顿方法使用线搜索和信赖域策略。我们的方法通过使用梯度信息来计算Hessian近似的低秩更新,从而弥合了一阶和二阶方法之间的差距。我们提供了这些方法的正式收敛分析以及深度学习应用的经验结果,例如图像分类任务和ATARI 2600视频游戏集上的深度强化学习。我们的研究结果表明,一个强大的收敛与首选的泛化特性,以及快速的训练时间。
2019-09-04 cs.LG math.OC stat.ML
Complexity iteration analysis for strongly convex multi-objective optimization using a Newton path-following procedure
本文研究了强凸多目标最优化的迭代复杂性。我们讨论了这个问题的确切含义,并指出它是松散的定义,但最自然的概念是找到一组帕累托最优点跨越网格的标量化问题。我们得出,在大多数情况下,执行灵敏度为基础的路径跟踪后,获得一个解决方案是最优策略的迭代复杂度方面的这项任务。
2020-04-06 math.OC
A Newton-MR algorithm with complexity guarantees for nonconvex smooth unconstrained optimization
针对非凸光滑无约束优化,提出利用 MINRES 检测非正曲率并保持单调性的 Newton-MR 变体,给出一阶与二阶最坏情况复杂度保证,数值实验验证其性能。
2023-09-29 math.OC
An Adaptive Regularized Proximal Newton-Type Methods for Composite Optimization over the Stiefel Manifold
本文针对Stiefel流形上的复合优化问题,提出自适应二次正则化近端拟牛顿方法ARPQN和近端牛顿方法ARPN,分别建立了全局/局部线性收敛与局部超线性收敛性质,并通过数值实验验证了其有效性。
2025-02-10 math.OC
A Distributed Continuous-time Modified Newton-Raphson Algorithm
提出了一个求解具有有界Hessian的无约束凸优化问题的连续时间二阶优化算法。我们表明,这种替代算法具有可比的收敛速度的连续时间的牛顿-拉夫逊方法,但在结构上,它是服从一个更有效的分布式实现。我们提出了一个分布式实现我们提出的优化算法,并通过李雅普诺夫分析证明其收敛性。一个数值例子证明了我们的结果。
2021-05-20 math.OC
A Stochastic Quasi-Newton Method for Large-Scale Nonconvex Optimization with Applications
本文提出了一种新的随机版本的阻尼和正则化BFGS方法来解决上述问题。
2019-12-10 cs.NA math.NA math.OC