Stochastic Newton Proximal Extragradient Method
University of Michigan(密歇根大学)
本文提出随机牛顿近端外梯度方法,扩展HPE框架,在强凸优化中实现更快的全局线性收敛,并在$\ ilde{O}(κ)$次迭代内达到超线性速率,优于现有方法的$\ ilde{O}(κ^2)$次迭代。
2024-11-11 cs.LG math.OC stat.ML
A sparse semismooth Newton based proximal majorization-minimization algorithm for nonconvex square-root-loss regression problems
Zhejiang University City College(浙大城市学院);Southwest Jiaotong University(西南交通大学);The Hong Kong Polytechnic University(香港理工大学);National University of Singapore(新加坡国立大学)
本文考虑高维非凸平方根损失回归问题,并提出了一种近似优化最小化算法。我们的关键思想,使建议的PMM是有效的是开发一个稀疏半光滑牛顿方法来解决相应的子问题。利用下划线问题中的Kurdyka-Schojasiewicz性质,证明了PMM算法收敛于d-平稳点.我们还分析了算法中初始子问题的预言性质。大量的数值实验证明了所提出的PMM算法的高效率。
2020-05-27 cs.LG cs.NA math.NA
DC Proximal Newton for Non-Convex Optimization Problems
Université de Rouen(鲁昂大学);Université de Nice Sophia-Antipolis(尼斯索菲亚-安提波利斯大学);CNRS(法国国家科学研究中心);INSA de Rouen(鲁昂国立应用科学学院)
本文提出一种新的非凸优化算法,通过近端牛顿法处理非凸损失和正则化函数,理论分析证明其极限点为DC目标函数的 stationary points,实验显示其在高维转导学习中更高效。
2015-07-02 cs.LG cs.NA math.NA
An inexact subsampled proximal Newton-type method for large-scale machine learning
University of California(加利福尼亚大学);University of Southern California(南加利福尼亚大学);University of Michigan(密歇根大学)
本文提出一种快速近端牛顿型算法,通过子采样构造牛顿子问题,提升大规模优化效率,实验验证其在ℓ₁正则化逻辑回归中的优越性。
2017-08-28 cs.LG cs.NA math.NA
On Fast Convergence of Proximal Algorithms for SQRT-Lasso Optimization: Don't Worry About Its Nonsmooth Loss Function
University of Minnesota(明尼苏达大学);Johns Hopkins University(约翰斯·霍普金斯大学);Northwestern University(西北大学);Georgia Institute of Technology(佐治亚理工学院)
许多机器学习技术牺牲了方便的计算结构来获得估计鲁棒性和建模灵活性。然而,通过探索建模结构,我们发现这些“牺牲”并不总是需要更多的计算工作。为了揭示这种“免费午餐”现象,我们研究了平方根Lasso(SQRT-Lasso)型回归问题。具体来说,我们表明,非光滑的损失函数的SQRT-Lasso型回归缓解调整工作和增益自适应非均匀噪声,但不一定比Lasso在计算上更具挑战性。我们可以直接应用近似算法(例如近似梯度下降,近似牛顿和近似拟牛顿算法),而无需担心损失函数的非光滑性。理论上,我们证明了邻近算法结合路径优化计划享有快速收敛保证高概率。数值结果支持我们的理论。
2019-04-14 cs.LG math.OC stat.ML
Randomized block proximal damped Newton method for composite self-concordant minimization
Simon Fraser University(西蒙弗雷泽大学)
本文考虑复合自协调极小化问题,即极小化一个自协调函数$f$和一个(可能是非光滑的)真闭凸函数$g$的和. CSC极小化是路径跟踪内点法求解一类广泛的凸优化问题的基础。它在机器学习中也有许多应用。近端阻尼牛顿(PDN)方法已经在文献中得到了很好的研究,以解决这个问题,享受一个很好的迭代复杂度。考虑到在每次迭代时,这些方法通常需要评估或访问$f$的Hessian,并且还需要求解一个近似牛顿子问题,因此当应用于大规模问题时,每次迭代的成本可能非常高。受最近成功的块坐标下降法的启发,我们提出了一个随机块邻近阻尼牛顿(RBPDN)方法来解决CSC最小化。与PDN方法相比,RBPDN每次迭代的计算成本通常显著降低。对一类正则化逻辑斯谛回归问题的计算实验表明,RBPDN确实有希望解决大规模CSC极小化问题。文中还分析了RBPDN的收敛性。特别是,我们证明了RBPDN是全局收敛时,$g$是Lipschitz连续的。它也表明RBPDN享有局部线性收敛。此外,我们证明了对于一类$g$,包括$g$是Lipschitz可微的情形,RBPDN具有全局线性收敛.作为一个惊人的结果,它表明,经典的阻尼牛顿法[22,40]和PDN [31]这样的$g$是全局线性收敛,这是以前未知的文献。此外,这个结果可以用来锐化这些方法的现有迭代复杂度。
2016-07-01 cs.LG cs.NA math.NA
Accelerated Quasi-Newton Proximal Extragradient: Faster Rate for Smooth Convex Optimization
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出 A-QPNE 方法,仅用梯度即在无约束光滑凸优化中取得随维度和迭代数变化的加速收敛速率,并首次从理论上证明拟牛顿型方法优于 NAG。
2023-06-03 cs.LG math.OC stat.ML
Efficient Graph Laplacian Estimation by Proximal Newton
Ben-Gurion University(本-古里安大学)
针对拉普拉斯约束高斯马尔可夫随机场的图学习问题,采用非凸MCP惩罚替代ℓ₁范数以降低偏差,提出基于共轭梯度、预处理等技术的二阶近端牛顿求解器,在计算效率和学习准确率上均优于现有方法。
2024-04-12 cs.LG math.OC
PINS: Proximal Iterations with Sparse Newton and Sinkhorn for Optimal Transport
Department of Mathematics(数学系);University of Maryland(马里兰大学);University of Tennessee(田纳西大学);Department of Computer Science(计算机科学系)
PINS通过近端迭代结合稀疏牛顿和Sinkhorn算法,克服了最优传输中熵偏置 plateau 的限制,实现了更高的精度和效率。
2026-05-11 cs.LG math.OC
Momentum and Stochastic Momentum for Stochastic Gradient, Newton, Proximal Point and Subspace Descent Methods
The University of Edinburgh(爱丁堡大学);King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Moscow Institute of Physics and Technology (MIPT)(莫斯科物理技术学院)
本文研究了几类具有重球动量的随机最优化算法。其中研究的方法有:随机梯度下降,随机牛顿,随机邻近点和随机对偶子空间上升。这是第一次研究这些方法中的几个动量变量。我们选择在上述所有方法都等效的环境中进行分析。我们证明了全局非渐近线性收敛速率的所有方法和各种措施的成功,包括原始函数值,原始迭代(在L2意义上),和对偶函数值。我们还表明,原始迭代收敛在L1意义上的加速线性速率。这是随机重球方法第一次显示线性速率(即,具有动量随机梯度下降法)。在较弱的条件下,我们建立了原始迭代的Cesaro平均的次线性收敛速度。此外,我们提出了一个新的概念,我们称之为随机动量,旨在减少执行动量步骤的成本。我们证明了线性收敛的随机方法与随机动量,并表明,在一些稀疏的数据制度和足够小的动量参数,这些方法享有更好的整体复杂性比方法与确定性动量。最后,我们对人工和真实数据集进行了广泛的数值测试,包括来自平均共识问题的数据。
2018-03-28 cs.LG cs.NA math.NA
A Proximal Modified Quasi-Newton Method for Nonsmooth Regularized Optimization
GERAD and Department of Mathematics and Industrial Engineering, Polytechnique Montréal(GERAD和数学与工业工程系,蒙特利尔理工学院)
本文提出了一种改进的拟牛顿方法R2N,用于非光滑正则化优化,具有全局收敛性和高效求解能力。
2025-11-27 cs.LG math.OC
A Stochastic Variance Reduced Nesterov's Accelerated Quasi-Newton Method
Shonan Institute of Technology(湘南工科大学);Shizuoka University(静冈大学)
近年来,结合二阶曲率信息的算法在训练神经网络中变得流行。Nesterov的加速拟牛顿(NAQ)方法通过引入动量项和Nesterov的加速梯度向量,有效地加速了BFGS拟牛顿方法。针对大规模问题的训练,提出了一种随机形式的NAQ方法。然而,这种方法会引起高随机方差噪声。本文提出了一种全记忆形式(SVR-NAQ)和有限记忆形式(SVRLNAQ)的随机方差缩减Nesterov加速拟牛顿法。在Tensorflow中对四个基准问题-两个回归问题和两个分类问题-进行了性能评估。结果表明,改进的性能相比,传统的方法。
2019-10-17 cs.LG stat.ML
A proximal-proximal majorization-minimization algorithm for nonconvex tuning-free robust regression problems
Zhejiang University City College(浙大城市学院);Southwest Jiaotong University(西南交通大学);Zhejiang University(浙江大学)
针对非凸无调谐鲁棒回归问题,提出了一种近似-近似优化-最小化(PPMM)算法。其基本思想是应用邻近优化-最小化算法求解非凸问题,内子问题采用基于稀疏半光滑牛顿法的邻近点法求解。必须强调的是,算法设计的主要困难在于如何克服内子问题的奇异性困难。此外,我们还证明了PPMM算法收敛到一个d-平稳点。由于该问题的Kurdyka-Lojasiewicz(KL)性质,我们给出了PPMM算法的收敛速度。数值实验表明,我们提出的算法优于现有的国家的最先进的算法。
2021-06-25 cs.LG cs.NA math.NA
Implementation of a modified Nesterov's Accelerated quasi-Newton Method on Tensorflow
Shizuoka University(静冈大学);Shonan Institute of Technology(湘南工科大学)
最近的研究将Nesterov的加速梯度方法用于加速基于梯度的训练。Nesterov的加速拟牛顿(NAQ)方法已被证明大大提高收敛速度相比,传统的拟牛顿方法。本文在Tensorflow上实现了非凸优化的NAQ。对原NAQ算法提出了两个改进,以保证算法的全局收敛性和消除线振荡。标准的非凸函数逼近基准问题和微波电路建模问题的性能评估所提出的算法- mNAQ。结果表明,与AdaGrad、RMSProp、Adam等一阶优化算法和拟牛顿法等二阶优化算法相比,改进算法具有更好的收敛性和更快的收敛速度.
2019-10-21 cs.LG stat.ML
Provably Convergent Plug-and-Play Quasi-Newton Methods
University of Cambridge(剑桥大学);University of Bath(巴斯大学);Indian Institute of Technology, Kharagpur(印度理工学院卡拉格普尔分校);University of Birmingham(伯明翰大学)
本文提出一种基于近端去噪器的可证明收敛的拟牛顿即插即用方法,在宽松假设下加速收敛,实验显示比现有方法快2-8倍且重建质量相当。
2023-11-13 cs.CV cs.LG math.OC
Quasi-Newton Methods: A New Direction
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
本文通过将拟牛顿方法解释为贝叶斯线性回归的近似,揭示了经典算法的缺陷,并提出了一种新的非参数拟牛顿方法,在相似计算成本下更高效地利用信息。
2012-06-18 cs.LG cs.NA math.NA
Quasi-Newton Trust Region Policy Optimization
MERL(三菱电机研究实验室)
我们提出了一个信赖域策略优化方法,采用拟牛顿近似的海森,称为拟牛顿信赖域策略优化QNTRPO。梯度下降是连续控制的强化学习任务的实际算法。该算法在广泛的任务中用于强化学习时达到了最先进的性能。然而,该算法有一些缺点,包括:缺乏步长选择标准,收敛速度慢。我们调查使用的信赖域方法,使用狗腿步骤和拟牛顿近似的Hessian策略优化。我们通过数值实验证明,在广泛的具有挑战性的连续控制任务,我们的特定选择是有效的样本数量和提高性能
2019-12-26 cs.AI cs.LG cs.RO
A Quasi-Newton Method for Large Scale Support Vector Machines
University of Pennsylvania(宾夕法尼亚大学)
本文采用最近开发的正则化随机版本的Broyden,Fletcher,Goldfarb,和Shanno(BFGS)拟牛顿方法的解决方案的支持向量机分类问题。所提出的方法几乎肯定会收敛到最佳分类器的速度是线性的期望。数值结果表明,所提出的方法具有收敛速度下降的特征向量的维数平滑。
2014-02-20 cs.LG
A modified limited memory Nesterov's accelerated quasi-Newton
Shizuoka University(静冈大学);Shonan Institute of Technology(湘南工科大学);Hiroshima City University(广岛市立大学)
Nesterov的加速拟牛顿(L)NAQ方法已被证明在几个神经网络(NN)应用中使用Nesterov的加速梯度来加速传统的(L)BFGS拟牛顿法。然而,每次迭代计算两个梯度增加了计算成本。动量加速拟牛顿(MoQ)方法表明,Nesterov的加速梯度可以近似为过去梯度的线性组合。这个抽象的MoQ近似扩展到有限内存NAQ和函数逼近问题上的性能进行评估。
2021-12-01 cs.LG math.OC
IQN: An Incremental Quasi-Newton Method with Local Superlinear Convergence Rate
University of Pennsylvania(宾夕法尼亚大学)
考虑了极小化一个目标函数的问题,该目标函数可表示为一组$n$光滑强凸函数之和。本文提出的增量拟牛顿(IQN)方法属于随机增量方法族,其每次迭代的成本与$n$无关。IQN迭代是BFGS迭代的随机版本,它使用内存来减少随机逼近的方差。IQN的收敛性质弥补了确定性和随机拟牛顿法之间的差距。确定性拟牛顿法利用了使用目标梯度差来近似牛顿步骤的可能性。他们是有吸引力的,因为他们有一个较小的计算成本,每次迭代相对于牛顿的方法,并实现了超线性收敛速率下,通常的规律性假设。随机拟牛顿法利用随机梯度差代替实际梯度差。这使得它们每次迭代的计算成本与目标函数$n$的数量无关。然而,现有的随机拟牛顿法至多具有次线性或线性收敛。IQN是第一个随机拟牛顿法证明超线性收敛的最优解的局部邻域。IQN在三个方面不同于最先进的增量拟牛顿法:(i)使用变量、梯度和拟牛顿海森近似矩阵的聚合信息来减少梯度和海森近似的噪声。(ii)用泰勒展开式对每个函数进行的近似,其中线性项和二次项都是相对于同一根线计算的。(iii)使用循环方案来更新函数以代替随机选择例程。我们利用IQN的这些基本性质来建立它的局部超线性收敛速率。
2017-03-27 cs.LG math.OC