An Adaptive Stochastic Nesterov Accelerated Quasi Newton Method for Training RNNs
Shizuoka University（静冈大学）；Shonan Institute of Technology（湘南工业大学）
训练神经网络的一个常见问题是梯度消失和/或爆炸问题，这在递归神经网络（RNN）的训练中更为突出。因此，已经提出了几种用于训练RNN的算法。本文提出了一种新的自适应随机Nesterov加速拟牛顿（aSNAQ）方法来训练RNN。所提出的方法aSNAQ是一种加速方法，其使用Nesterov的梯度项以及二阶曲率信息。在Tensorflow中对基准序列建模问题进行了评估。结果表明，在保持低的每次迭代成本的同时，性能得到了改善，因此可以有效地用于训练RNN。
2019-09-09 cs.LG stat.ML
A Stochastic Quasi-Newton Method with Nesterov's Accelerated Gradient
Shizuoka University（静冈大学）；Shonan Institute of Technology（湘南工科大学）
在基于梯度的方法中消除二阶曲率信息已经显示出极大地改善收敛，尽管其计算强度。在本文中，我们提出了一个随机（在线）拟牛顿方法与Nesterov的加速梯度在其完全和有限的记忆形式解决大规模非凸优化问题的神经网络。在Tensorflow中对所提出的算法在基准分类和回归问题上的性能进行了评估。结果表明，改进的性能相比，经典的二阶oBFGS和oLBFGS方法和流行的一阶随机方法，如SGD和亚当。还说明了不同动量率和批量大小的性能。
2019-09-09 cs.LG stat.ML
Adaptive Sampling Quasi-Newton Methods for Derivative-Free Stochastic Optimization
我们考虑随机零阶最优化问题，它出现在设置从模拟优化强化学习。我们提出了一种自适应采样拟牛顿法，我们估计的梯度的随机函数使用有限差分内一个共同的随机数框架。我们采用修改后的版本的范数检验和内积拟牛顿检验来控制样本量中使用的随机逼近。我们提供了初步的数值实验来说明所提出的方法的潜在性能优势。
2019-10-29 math.OC stat.ML
Quasi-Newton Methods: A New Direction
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文通过将拟牛顿方法解释为贝叶斯线性回归的近似，揭示了经典算法的缺陷，并提出了一种新的非参数拟牛顿方法，在相似计算成本下更高效地利用信息。
2012-06-18 cs.LG cs.NA math.NA
Extra-Newton: A First Approach to Noise-Adaptive Accelerated Second-Order Methods
EPFL（洛桑联邦理工学院）
本文提出了一种通用的、自适应的二阶方法来极小化二阶光滑、凸函数。当预言机反馈是随机的且方差为$σ^2$时，该算法达到了$O(σ/ \sqrt{T})$收敛，当预言机反馈是确定性的时，该算法收敛到$O( 1 / T^3)$，其中$T$是迭代次数.我们的方法还内插这些速率，而不知道的性质的预言先验，这是使一个无参数的自适应步长，是无视的知识的平滑模量，方差界和直径的约束集。据我们所知，这是第一个通用的算法，这样的全球保证在二阶优化文献。
2022-12-12 cs.LG math.OC stat.ML
Quasi-Newton Trust Region Policy Optimization
MERL（三菱电机研究实验室）
我们提出了一个信赖域策略优化方法，采用拟牛顿近似的海森，称为拟牛顿信赖域策略优化QNTRPO。梯度下降是连续控制的强化学习任务的实际算法。该算法在广泛的任务中用于强化学习时达到了最先进的性能。然而，该算法有一些缺点，包括：缺乏步长选择标准，收敛速度慢。我们调查使用的信赖域方法，使用狗腿步骤和拟牛顿近似的Hessian策略优化。我们通过数值实验证明，在广泛的具有挑战性的连续控制任务，我们的特定选择是有效的样本数量和提高性能
2019-12-26 cs.AI cs.LG cs.RO
Online Learning Guided Curvature Approximation: A Quasi-Newton Method with Global Non-Asymptotic Superlinear Convergence
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
该研究针对现有拟牛顿法无法同时保证全局收敛与显式非渐近超线性速率的局限，结合混合邻近外梯度法与在线学习框架更新海森近似，首次提出具备该特性的全局收敛拟牛顿方法。
2023-07-25 cs.LG math.OC stat.ML
Stochastic Newton and Quasi-Newton Methods for Large Linear Least-squares Problems
我们描述了随机牛顿和随机拟牛顿方法，以有效地解决大型线性最小二乘问题，其中非常大的数据集带来了显着的计算负担（例如，该大小可能超过计算机存储器或实时收集数据）。在我们提出的框架中，在两个不同的框架中引入了随机性作为克服这些计算限制的手段，并考虑了可以利用结构和/或稀疏性的概率分布。给出了随机牛顿法和随机拟牛顿法近似一致性的理论结果。结果表明，特别是，随机牛顿迭代，与随机拟牛顿迭代，可能不会收敛到所需的最小二乘解。数值例子，包括极端学习机的例子，展示了这些方法的潜在应用。
2017-02-23 cs.NA math.NA stat.ML
A Stochastic Quasi-Newton Method for Large-Scale Optimization
University of Colorado（科罗拉多大学）；Northwestern University（西北大学）；Google Research（谷歌研究院）
如何在随机逼近方法中引入曲率信息是一个具有挑战性的问题。直接应用经典的拟牛顿更新技术进行确定性优化会导致噪声曲率估计，对迭代的鲁棒性产生有害影响。在本文中，我们提出了一个随机拟牛顿法，是有效的，强大的和可扩展的。它采用经典的BFGS更新公式在其有限的内存形式，是基于观察，这是有益的，逐点收集曲率信息，并在定期的间隔，通过（子采样）海森矢量产品。这种技术不同于计算梯度差的经典方法，并且控制曲率估计的质量可能是困难的。我们提出的机器学习中出现的问题的数值结果表明，所提出的方法显示出很大的希望。
2015-02-18 cs.LG math.OC stat.ML
A fast quasi-Newton-type method for large-scale stochastic optimisation
University of Newcastle（纽卡斯尔大学）；Uppsala University（乌普萨拉大学）
近年来，有限记忆拟牛顿法的随机自适应方法受到越来越多的关注，与纯梯度法相比，它可以通过引入二阶信息来提高收敛性。在这项工作中，我们提出了一个直接的最小二乘方法概念上类似于有限内存的拟牛顿法，但计算搜索方向略有不同的方式。这是通过保持低维的Cholesky因子以快速和数字鲁棒的方式实现的。这是结合随机线搜索依赖于履行沃尔夫条件的回溯方式，其中的步长自适应修改相对于优化进程。我们支持我们的新算法提供了几个理论结果，保证其性能。在现实世界的基准测试问题，表现出改进的结果相比，已经建立的方法。
2018-09-29 cs.LG math.OC stat.ML
adaQN: An Adaptive Quasi-Newton Algorithm for Training RNNs
Northwestern University（西北大学）
递归神经网络（RNN）是一种功能强大的模型，在几个模式识别问题上具有出色的性能。然而，由于众所周知的“消失/爆炸”梯度问题，RNN的训练是一项计算困难的任务。提出的用于训练RNN的算法要么不利用（或有限）曲率信息并且具有廉价的每次迭代复杂度，要么试图以增加每次迭代成本为代价获得显著的曲率信息。前一组包括对角缩放的一阶方法，如ADAGRAD和ADAM，而后者包括二阶算法，如Hessian-Free Newton和K-FAC。在本文中，我们提出了adaQN，一种用于训练RNN的随机拟牛顿算法。我们的方法保留了低的每次迭代成本，同时允许通过随机L-BFGS更新方案的非对角缩放。该方法采用了一种新的L-BFGS缩放初始化方案，并在存储和保留L-BFGS曲率对是明智的。我们在两个语言建模任务上进行了数值实验，结果表明adaQN与流行的RNN训练算法相比具有竞争力。
2016-02-23 cs.LG math.OC stat.ML
Large Scale Empirical Risk Minimization via Truncated Adaptive Newton Method
University of Pennsylvania（宾夕法尼亚大学）
我们考虑大规模的经验风险最小化（ERM）问题，其中问题的维度和变量的大小都很大。在这些情况下，大多数二阶方法是不可行的，因为在所有样本上计算Hessian和在高维中计算其逆的成本都很高。在本文中，我们提出了一种新的自适应样本量的二阶方法，它降低了计算的海森通过解决一系列的ERM问题对应的一个子集的样本，并使用截断的特征值分解，降低了计算的海森逆的成本。我们表明，虽然我们几何增加的训练集的大小在每个阶段，一个单一的迭代截断牛顿法是足够的，以解决新的ERM在其统计精度。此外，对于大量的样本样本个数，我们被允许在每个阶段的训练集的大小增加一倍，所提出的方法随后达到统计精度的完整的训练集大约在两个有效的通过。除了这个理论结果，我们经验表明，一些众所周知的数据集，建议截断自适应样本量算法优于随机替代解决ERM问题。
2017-05-22 cs.LG math.OC stat.ML
Enhance Curvature Information by Structured Stochastic Quasi-Newton Methods
在本文中，我们考虑随机二阶方法，以最小化有限和的非凸函数。一个重要的关键是找到一个巧妙的，但廉价的计划，纳入当地的曲率信息。由于真实黑塞矩阵往往是一个廉价部分和一个昂贵部分的组合，我们提出了一种结构化的随机拟牛顿法，尽可能多地使用部分Hessian信息。通过进一步利用拟牛顿近似的低秩结构或克罗内克积性质，计算拟牛顿方向是负担得起的。在适当的假设下，证明了算法的整体收敛和局部超线性收敛速率。逻辑斯谛回归、深度自动编码器网络和深度卷积神经网络的数值结果表明，我们提出的方法与最先进的方法相比具有相当的竞争力。
2021-03-25 math.OC stat.ML
Proximal Quasi-Newton Methods for Regularized Convex Optimization with Linear and Accelerated Sublinear Convergence Rates
Dept. of Industrial and Systems Engineering, Lehigh University, Bethlehem, PA, USA（工业与系统工程系，莱维大学，伯灵顿，宾夕法尼亚州，美国）
本文研究了正则化凸优化中近似拟牛顿方法的收敛性，分析了强凸情况下精确与不精确设置的收敛性质，并探讨了加速变体的实用性与性能。
2017-10-17 cs.LG cs.NA math.NA
Distributed quasi-Newton robust estimation under differential privacy
Beijing Normal University at Zhuhai（北京师范大学珠海校区）
针对隐私保护下含拜占庭机器的分布式计算问题，提出仅需传输五个向量的稳健拟牛顿估计算法，有效降低隐私预算与传输成本，实现最优收敛速率与渐近正态性。
2024-08-22 cs.LG math.ST stat.ML
Stochastic quasi-Newton with line-search regularization
在本文中，我们提出了一种新的拟牛顿算法用于随机优化。拟牛顿方法对确定性优化问题产生了巨大的影响，因为它们提供了快速收敛和计算上有吸引力的算法。本质上，这是通过基于观察一阶梯度来学习二阶（Hessian）信息来实现的。我们将这些想法扩展到随机设置，通过采用高度灵活的海森模型，并根据观察噪声梯度推断其值。此外，我们提出了一个随机对应的标准线搜索程序，并证明了这种组合的效用一般非线性状态空间模型的最大似然识别。
2019-09-03 cs.SY eess.SY stat.ML
Quasi-Newton Quasi-Monte Carlo for variational Bayes
Stanford University（斯坦福大学）
许多机器学习问题优化的目标必须用噪声来衡量。主要的方法是一阶随机梯度下降，在每一步使用一个或多个蒙特卡罗（MC）样本。在某些情况下，病态使二阶方法（如L-BFGS）更有效。我们研究使用随机准蒙特卡罗（RQMC）抽样这样的问题。当MC采样的均方根误差（RMSE）为$O(n^{-1/2})$时，则RQMC的RMSE为$o(n^{-1/2})$，在有利的设置中，该RMSE可以接近$O(n^{-3/2})$。我们证明，改进的采样精度直接转化为改进的优化。在我们对变分贝叶斯的实证研究中，使用随机L-BFGS的RQMC大大加快了优化速度，有时会找到比MC更好的参数值。
2021-04-21 cs.LG cs.NA math.NA
Adaptive Sampling Quasi-Newton Methods for Zeroth-Order Stochastic Optimization
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Argonne National Laboratory（阿贡国家实验室）
考虑了无梯度信息的无约束随机最优化问题。这些问题出现在从无导数模拟优化到强化学习的设置中。我们提出了一种自适应采样拟牛顿法，我们估计的梯度的随机函数使用有限差分内一个共同的随机数框架。我们开发了修改后的版本的范数测试和内积拟牛顿测试，以控制在随机逼近中使用的样本大小，并提供整体收敛结果的最优解的邻域。我们提出了模拟最优化问题的数值实验来说明所提出的算法的性能。当与经典的零阶随机梯度法相比，我们观察到，我们的策略，适应样本大小显着提高性能的随机函数评估所需的数量。
2021-09-24 cs.AI math.OC stat.ML
Proximal Quasi-Newton for Computationally Intensive L1-regularized M-estimators
我们考虑一类优化问题所产生的计算密集型L1-正则M-估计，其中的函数或梯度值是非常昂贵的计算。感兴趣的一个特定实例是用于学习条件随机场（CRF）的L1正则化MLE，条件随机场是用于各种结构化预测问题（例如序列标记、比对和使用标记分类法的分类）的一类流行的统计模型。CRF的L1正则化MLE优化起来特别昂贵，因为计算梯度值需要昂贵的推理步骤。在这项工作中，我们建议使用一个精心构造的近端拟牛顿算法，这样的计算密集型M-估计问题，我们采用了积极的活动集选择技术。在本文的一个关键贡献中，我们证明了即使在没有强凸性的情况下，通过利用强凸性的限制性变体，近似拟牛顿方法也是可证明超线性收敛的。在我们的实验中，所提出的算法收敛速度大大快于当前国家的最先进的序列标记和层次分类的问题。
2015-01-23 stat.ML
A Stochastic Extra-Step Quasi-Newton Method for Nonsmooth Nonconvex Optimization
本文提出了一种新的随机额外步拟牛顿法来求解一类非光滑非凸组合最优化问题。我们假设目标函数的光滑部分的梯度只能用随机预言机来近似。所提出的方法结合了一般的随机高阶步骤来自一个潜在的近端型不动点方程与额外的随机近端梯度步骤，以保证收敛。基于合适的步长范围，我们建立了整体收敛的平稳点的期望和扩展的方法使用方差减少技术进行了讨论。受大规模和大数据应用的启发，我们研究了一种随机坐标型拟牛顿格式，该格式可以生成廉价且易于处理的随机高阶方向。最后，该算法在大规模逻辑斯谛回归和深度学习问题上进行了测试，结果表明，它与其他最先进的方法相比毫不逊色。
2019-10-21 math.OC stat.ML
Riemannian stochastic quasi-Newton algorithm with variance reduction and its convergence analysis
The University of Electro-Communications（电气通信大学）；Tokyo University of Science（东京理科大学）
随机方差缩减算法最近变得流行，用于最小化大的但有限数量的损失函数的平均值。提出了一种具有方差缩减的黎曼随机拟牛顿算法（R-SQN-VR）。平均，添加和减去多个梯度的关键挑战是解决与收缩和矢量传输的概念。在收缩算子和向量迁移算子下，我们给出了R-SQN-VR在非凸函数和收缩凸函数上的收敛性分析。在对称正定流形上的Karcher均值计算和Grassmann流形上的低秩矩阵完备化上对该算法进行了评价。在所有情况下，该算法优于最先进的黎曼批处理和随机梯度算法。
2017-09-16 cs.LG cs.NA math.NA
Symmetric Rank-One Quasi-Newton Methods for Deep Learning Using Cubic Regularization
University of California, Merced（加州大学默塞德分校）
针对一阶方法未利用曲率易收敛到鞍点或差局部极小值、L-BFGS不适用于DNN非凸损失的问题，提出有限内存对称秩一拟牛顿法（允许不定海森近似）及改进自适应正则化三次方法，在自编码器和前馈网络上与先进方法对比验证性能。
2025-02-17 cs.IT cs.LG cs.NA
Quasi-Newton particle Metropolis-Hastings
Particle Metropolis-Hastings在一般非线性状态空间模型（SSM）中实现贝叶斯参数推断。然而，在许多实施方式中，使用随机游动建议，并且如果没有使用繁琐的导频运行正确地调谐，则这可能导致不良的混合。因此，我们考虑一个新的建议的启发，准牛顿算法，可以实现类似的（或更好的）混合较少的调整。与其他基于Hessian的建议相比，它的优点是它只需要估计对数后验的梯度。一个可能的应用是参数推断在具有挑战性的类SSM棘手的可能性。我们通过对咖啡期货合约的对数收益率进行建模，利用具有$α$稳定观测值的随机波动率模型，来验证这一应用和新建议的好处。
2015-09-02 q-fin.CP stat.CO stat.ML
