A globalization of L-BFGS and the Barzilai-Borwein method for nonconvex unconstrained optimization
该研究提出一种带新型谨慎更新机制的全局化L-BFGS方法,在弱假设下对非凸问题有全局线性收敛性,内存为零时可得到全局化BB方法,且参数足够小时与经典方法性能一致。
2024-09-11 math.OC
Sharpened Quasi-Newton Methods: Faster Superlinear Rate and Larger Local Convergence Neighborhood
非渐近分析的拟牛顿法获得牵引最近。特别是,一些工作已经建立了一个非渐近超线性率$\mathcal{O}((1/\sqrt{t})^t)$的(经典)BFGS方法,利用这一事实,其牛顿方向近似的误差接近零。此外,最近提出了BFGS的贪婪变体,其通过直接逼近Hessian而不是Newton方向来加速其收敛,并且实现了快速的局部平方收敛速率。唉,与BFGS为局部超线性速率所需的迭代次数相比,Greedy-BFGS的局部平方收敛需要更多的更新。这是由于在Greedy-BFGS中,Hessian被直接近似,并且牛顿方向近似可能不如BFGS的方向近似准确。在本文中,我们关闭这一差距,并提出了一种新的BFGS方法,具有两全其美,因为它利用了BFGS和贪婪BFGS的近似思想,以适当的近似牛顿方向和黑塞矩阵同时。我们的理论结果表明,我们的方法在收敛速度方面优于BFGS和Greedy-BFGS,而它达到了它的平方收敛速率与Greedy-BFGS相比,更少的步骤。各种数据集上的数值实验也证实了我们的理论发现。
2022-06-16 math.OC
A Noise-Tolerant Quasi-Newton Algorithm for Unconstrained Optimization
本文给出了求带误差的非线性函数极小值的BFGS和L-BFGS方法的推广。这项工作的动机是包含计算噪声的应用程序,采用低精度算法,或受到统计噪声。经典的BFGS和L-BFGS方法在这种情况下可能会失败,因为更新过程可能会被破坏,并且线搜索可能会表现得不稳定。所提出的方法解决了这些困难,并确保BFGS更新是稳定的,通过采用延长过程,间隔出的点,在收集梯度差。一个新的线搜索,旨在容忍错误,保证Armijo-Wolfe条件满足最合理的条件下,并与延长过程。对强凸函数,所提出的方法具有收敛性保证。的方法的详细实施,连同令人鼓舞的数值结果。
2021-09-09 math.OC
Counterexamples for BFGS-type methods under arbitrary strong Wolfe constants
本文针对任意强Wolfe参数构造了BFGS类方法在二维光滑非凸函数上发散的反例,证明其失效并非参数限制所致。
2026-09-10 math.OC
Quasi-Newton methods for minimizing a quadratic function subject to uncertainty
研究在梯度误差下最小化二次函数的拟牛顿方法,发现大误差时无记忆方法优于BFGS,基于机会约束的模型精度略高但成本更高。
2025-02-25 math.OC
Affine-Invariant Global Non-Asymptotic Convergence Analysis of BFGS under Self-Concordance
UT Austin(德克萨斯大学奥斯汀分校);Google Research(谷歌研究院)
本文在严格凸强自和谐条件下,无需强凸或Lipschitz假设,证明了BFGS在弱Wolfe线搜索下具有仿射不变的全局线性与超线性收敛,扩展了其非渐近理论。
2025-10-25 cs.NA math.NA math.OC
A Hybrid Quasi-Newton Projected-Gradient Method with Application to Lasso and Basis-Pursuit Denoise
本文提出了一种新的算法,用于Rn中多面体集上凸函数的优化。该算法扩展了谱投影梯度法,尽可能将有限内存BFGS迭代限制在当前人脸上。我们在适当的条件下证明了算法的收敛性,并将该算法应用于解决Lasso问题,从而通过van den Berg和Friedlander [SIAM Journal on Scientific Computing,31(2),2008]提出的寻根框架解决了基追踪去噪问题。该算法特别适用于简单区域,也可用于解决有界约束问题以及限制在单纯形的问题。
2016-11-16 math.OC
Generalized Framework for Nonlinear Acceleration
非线性加速算法使用过去迭代中包含的信息来改进迭代法(例如梯度下降)的性能。然而,它们的效率仍然没有完全理解,即使在二次的情况下。在本文中,我们澄清的收敛性分析,给出了一般性质,共享几类非线性加速:安德森加速(和变种),拟牛顿法(如Broyden Type-I或Type-II,SR 1,DFP,和BFGS)和Krylov方法(共轭梯度,MINRES,GMRES)。特别是,我们提出了一个通用的家庭的算法,包含所有以前的方法,并证明其最佳的收敛速率时,最小化二次函数。我们还提出了多割线更新的拟牛顿法上面列出的。我们提供了一个Matlab代码实现的算法。
2019-03-20 math.OC
Form and Function: Machine Unlearning as a Problem of Misaligned States
Second Street Labs, Detroit, MI, USA(第二街实验室,密歇根州底特律);Department of Statistics, University of Michigan, Ann Arbor, MI, USA(密歇根大学统计系,密歇根州安阿伯)
本文提出将在线L-BFGS的机器去学习问题建模为反事实状态对齐问题,通过引入状态感知度量和反事实 oracle 模型,证明去学习不仅仅是参数修正问题,还需要与可实现的反事实优化器状态对齐。
2026-05-17 cs.LG math.OC
Greedy Quasi-Newton Methods with Explicit Superlinear Convergence
本文研究了拟牛顿法的贪婪变形。它们基于Broyden族的某个子类的更新公式。特别是,这个子类包括众所周知的DFP,BFGS和SR1更新。然而,在对比的经典拟牛顿法,它使用的连续迭代的差异更新的Hessian近似,我们的方法应用的基向量,grenestly选择,以便最大限度地提高一定程度的进展。对于贪婪拟牛顿法,我们建立了一个显式的非渐近界的局部超线性收敛,其中包含一个收缩因子,依赖于迭代计数器的平方。我们还表明,这些方法产生的海森近似的偏差从确切的海森线性收敛到零。
2021-06-01 math.OC
Non-asymptotic Superlinear Convergence of Standard Quasi-Newton Methods
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文研究并证明了Broyden类拟牛顿算法的非渐近超线性收敛速率,这类拟牛顿算法包括Davidon-Fletcher-Powell(DFP)方法和Broyden-Fletcher-Goldfarb-Shanno(BFGS)方法.这些拟牛顿法的渐近超线性收敛速率在文献中已被广泛研究,但其显式有限时间局部收敛速度没有得到充分研究。本文在目标函数是强凸的、梯度是Lipschitz连续的、Hessian在最优解处是Lipschitz连续的条件下,给出了Broyden拟牛顿算法的有限时间(非渐近)收敛性分析.我们证明了在最优解的局部邻域内,由DFP和BFGS产生的迭代以超线性速率$(1/k)^{k/2}$收敛到最优解,其中$k$是迭代次数.当目标函数是自协调的时,我们也证明了一个类似的局部超线性收敛结果。几个数据集上的数值实验证实了我们的显式收敛速度界。我们的理论保证是第一个结果,提供了一个非渐近超线性收敛速率的拟牛顿法。
2021-11-30 cs.LG math.OC
Distributed Stochastic Subgradient Projection Algorithms for Convex Optimization
我们考虑一个分布式多智能体网络系统,其目标是最小化受一个共同的凸约束集的代理的凸目标函数的总和。每个代理维护一个重复序列,并将迭代传递给它的邻居。然后,每个代理将接收到的迭代的加权平均值与其自己的迭代次数相结合,并通过使用其自己的函数的次梯度信息(已知具有随机误差)和通过投影到约束集上来调整迭代次数。本文的目的是探讨随机次梯度误差对算法收敛性的影响。我们首先考虑算法的平均行为,然后以概率1和均方收敛。我们认为一般的随机误差,有一致有界的二阶矩,并获得的限制性能的算法,平均递减和非递减步长的界限。当误差的平均值减小时,我们证明了代理之间存在平均共识,并且平均收敛到最优函数值以减小步长。当平均误差足够快地减小时,我们将结果加强到一致性,并且迭代以概率1和均方收敛到最优解。
2008-11-16 math.OC
Deep Reinforcement Learning via L-BFGS Optimization
强化学习(RL)算法允许人工智能体改进其动作选择,从而增加其环境中的奖励体验。深度强化学习算法需要解决非凸和非线性无约束优化问题。用于解决深度RL中的优化问题的方法限于一阶算法类,例如随机梯度下降(SGD)。SGD方法的主要缺点是它们具有不逃逸鞍点的不良效果,并且它们的性能会受到病态的严重阻碍。此外,SGD方法需要详尽的试验和错误来微调许多学习参数。使用二阶导数信息可以提高收敛性能,但计算大规模问题的Hessian矩阵是不切实际的。拟牛顿法和SGD一样只需要一阶梯度信息,但它们可以构造Hessian矩阵的低秩近似,并导致超线性收敛。有限记忆Broyden-Fletcher-Goldfarb-Shanno(L-BFGS)方法是构造正定Hessian逼近的最流行的拟牛顿方法之一。在本文中,我们介绍了一种有效的优化方法,基于有限内存BFGS拟牛顿法使用线搜索策略-作为替代SGD方法。我们的方法通过继续使用梯度信息来计算低秩Hessian近似,从而弥合了一阶方法和二阶方法之间的差距。我们提供了正式的收敛性分析,以及经验的一个子集的经典ATARI 2600游戏的结果。我们的研究结果表明,具有较好的泛化特性,以及快速的训练时间和不需要的经验重放机制的鲁棒收敛。
2019-04-16 cs.AI cs.LG math.OC
Convergence of Extragradient SVRG for Variational Inequalities: Error Bounds and Increasing Iterate Averaging
研究变分不等式外梯度SVRG算法在弱于强单调性的误差界条件下的最后迭代线性收敛性,并扩展至弱锐性假设与递增迭代平均技术。
2023-12-30 cs.GT math.OC
Perturbed Iterate SGD for Lipschitz Continuous Loss Functions with Numerical Error and Adaptive Step Sizes
针对有限精度环境,研究扰动迭代SGD在数值误差与自适应步长下的收敛性,证明其渐近收敛至Clarke稳定点及期望非渐近收敛至近似稳定点。
2026-10-08 cs.LG math.OC
Convergence Rate of Inertial Forward-Backward Algorithms Based on the Local Error Bound Condition
“惯性向前向后算法”(IFB)是求解凸非光滑极小化问题的有力工具,它给出了著名的“快速迭代收缩阈值算法“(FISTA),该算法具有$O\left( {\frac{1}{k^2}} \right)$函数值整体收敛速度,但迭代不收敛;通过一个小的修改,一个加速IFB(FISTA\_CD)将函数值的收敛速度提高到了$o\left( {\frac{1}{k^2}} \right)$,并显示了迭代的弱收敛性。局部误差界条件在分析许多求解最优化问题的迭代方法的收敛速度时是非常有用的,而在实际应用中,大量具有特殊结构的问题往往满足误差界条件。当然,利用局部误差界条件来推导或提高迭代法的收敛速度是一种常用的方法。本文基于局部误差界条件,对IFB中的重要参数$t_k$提出了一个新的假设条件,并在Hilbert空间中建立了6个满足上述假设条件的$t_k$的IFB算法所产生的迭代的改进的函数值收敛速度和强收敛性.值得注意的是,在局部误差有界的条件下,我们证明了FISTA_CD迭代的强收敛性,并证明了FISTA_CD的函数值的收敛速度与参数$a,$的值有关,证明了具有上述$t_k$的IFB算法对任意正整数$p>1$都能达到次线性收敛速度$o\left( {\frac{1}{k^p}} \right)$.最后通过数值实验验证了我们的结论.
2022-02-24 math.OC
Bounds for the tracking error of first-order online optimization methods
该研究针对光滑时变优化问题,推导在线梯度下降的跟踪迭代误差精确结果,建立一阶框架通用下界并提出可达下界的长步方法,还分析了非强凸下正则化的作用并通过实验验证。
2020-10-06 math.OC
Optimized convergence of stochastic gradient descent by weighted averaging
在温和的假设下,如果所有迭代的算术平均值作为近似最优解返回,则随机梯度法渐近地实现最优收敛速率。然而,在没有随机噪声的情况下,所有迭代的算术平均值收敛到最优解的速度比迭代本身慢得多。而且在噪声存在的情况下,当考虑随机梯度法的有限终止时,算术平均值不一定是未知最优解的最佳可能逼近。本文的目的是确定最优策略在一个特别简单的情况下,一个强凸函数的最小化,i。I. D.噪声项和有限终止。根据SGD方法的某些参数,导出了随机误差和优化误差的显式公式。其目的是选择参数,使随机误差和优化误差都减少算术平均。这一目标无法实现;然而,通过允许随机误差的略微增加,可以选择参数,使得可以实现优化误差的显著减少。在仅使用中等数量的迭代或者当初始误差较大时,优化误差的这种减小对由随机梯度法生成的近似解具有强烈的影响。数值例子证实了理论结果,并建议推广到非二次目标函数是可能的。
2022-10-05 math.OC
Adaptive Finite-Difference Interval Estimation for Noisy Derivative-Free Optimization
最小化光滑非线性函数的常用方法是采用梯度的有限差分近似。虽然当函数评估中不存在错误时可以轻松执行,但当函数有噪声时,最佳选择需要有关函数的噪声水平和高阶导数的信息,而这些信息通常是不可用的。鉴于噪声水平的功能,我们提出了一个二分法搜索找到一个有限差分间隔的任何有限差分计划,平衡的截断误差,这是由泰勒级数近似的误差,和测量误差,这导致在函数评估的噪声。我们的程序产生可靠的估计,以低成本的有限差分区间,而不显式近似高阶导数。我们展示了一组测试问题的数值可靠性和准确性。当结合L-BFGS,我们得到了一个强大的方法,最大限度地减少噪音的黑盒函数,如所示的一个子集上的无约束CUTEst问题与合成添加噪声。
2022-03-22 math.OC
Quasi-Newton Optimization Methods For Deep Learning Applications
深度学习算法通常需要解决高度非线性和非凸无约束优化问题。解决大规模机器学习中优化问题的方法,如深度学习和深度强化学习(RL),通常限于一阶算法,如随机梯度下降(SGD)。虽然SGD迭代的计算成本很低,但它们的理论收敛速度很慢。此外,它们需要详尽的试错来微调许多学习参数。使用二阶曲率信息来寻找搜索方向可以帮助非凸优化问题更鲁棒的收敛。然而,计算大型问题的海森矩阵在计算上是不实际的。或者,拟牛顿方法构造海森矩阵的近似,以构建目标函数的二次模型。拟牛顿方法,如SGD,只需要一阶梯度信息,但它们可以导致超线性收敛,这使得它们成为SGD的有吸引力的替代品。有限记忆Broyden-Fletcher-Goldfarb-Shanno(L-BFGS)方法是构造正定Hessian逼近的最流行的拟牛顿方法之一。在这一章中,我们提出了有效的优化方法的基础上L-BFGS拟牛顿方法使用线搜索和信赖域策略。我们的方法通过使用梯度信息来计算Hessian近似的低秩更新,从而弥合了一阶和二阶方法之间的差距。我们提供了这些方法的正式收敛分析以及深度学习应用的经验结果,例如图像分类任务和ATARI 2600视频游戏集上的深度强化学习。我们的研究结果表明,一个强大的收敛与首选的泛化特性,以及快速的训练时间。
2019-09-04 cs.LG math.OC stat.ML
The stochastic Auxiliary Problem Principle in Banach spaces: measurability and convergence
随机辅助问题原理(APP)算法是一种通用的随机逼近(SA)算法,它将一个原始最优化问题的求解转化为一系列辅助问题的迭代求解。这个框架已被引入到设计分解协调方案,但也包括许多著名的SA算法,如随机梯度下降或随机镜像下降。我们研究的情况下,迭代位于巴拿赫空间的随机APP,我们认为一个附加的错误的计算的次梯度的目标。为了得到SA方案的收敛结果或效率估计,迭代必须是随机变量。这就是为什么我们证明了随机APP算法的迭代的可测性。然后,将收敛性结果从希尔伯特空间推广到巴拿赫空间.最后,我们得到的效率估计的函数值在平均序列的迭代或在最后一次迭代,后者是通过适应我们的框架修改Fej{é}r单调性的概念。
2022-05-20 math.OC
Nonsmooth optimization using Taylor-like models: error bounds, convergence, and termination criteria
我们考虑优化算法,连续最小化简单的泰勒样模型的目标函数。用于最小化凸函数和光滑映射的合成的高斯-牛顿型方法是常见的例子。我们的主要结果是任何这样的算法的步长和附近点的函数的斜率之间的明确关系。因此,我们(1)表明,步长可以可靠地用来终止算法,(2)证明,只要步长趋于零,每个极限点的迭代是固定的,和(3)显示的条件,类似于经典的二次增长,意味着步长线性约束的距离迭代的解决方案集。后一种所谓的误差界特性通常用于建立线性(或更快)收敛保证。当步长被替换为模型值减少的平方根时,类似的结果也成立。我们完成了扩展的文件时,模型被最小化只是不准确的。
2016-10-11 math.OC
Tight Analyses for Non-Smooth Stochastic Gradient Descent
University of British Columbia(不列颠哥伦比亚大学)
考虑最小化Lipschitz和强凸函数的问题,但不一定是可微的。我们证明了在随机梯度下降的$T$步骤之后,最终迭代的误差以高概率为$O(\log(T)/T)$。我们还构造了一个函数,从这个类的确定性梯度下降的最后一阶误差是$Ω(\log(T)/T)$。这表明上界是紧的,并且在这种设置下,随机梯度下降的最后一个周期具有与确定性梯度下降相同的一般错误率(具有高概率)。这解决了Shamir(2012)提出的两个未决问题。我们分析的中间步骤证明后缀平均方法以高概率实现误差$O(1/T)$,这是最佳的(对于任何一阶优化方法)。这改进了Rakhlin(2012)和Hazan和Kale(2014)的结果,两者都实现了错误$O(1/T)$,但仅在预期中,并且实现了$O(\log \log(T)/T)$的高概率错误界,这是次优的。我们证明类似的结果是Lipschitz和凸的功能,但不一定强凸或可微。在随机梯度下降的$T$步骤之后,最终迭代的误差以高概率为$O(\log(T)/\sqrt{T})$,并且存在确定性梯度下降的最终迭代的误差为$Ω(\log(T)/\sqrt{T})$的函数。
2018-12-13 cs.LG math.OC stat.ML
Almost-sure convergence of iterates and multipliers in stochastic sequential quadratic optimization
Lehigh University(里海大学)
本文针对带非线性等式约束的随机序列二次优化方法,证明了原问题迭代、拉格朗日乘子及平稳性度量的几乎必然收敛性,并利用乘子滑动平均消除随机梯度估计误差,辅以数值实验验证。
2023-08-07 cs.LG math.OC
On the Quadratic Convergence of the Cubic Regularization Method under a Local Error Bound Condition
本文考虑求二次连续可微函数极小值的三次正则化方法。虽然CR方法被广泛认为是一个全局收敛的变种牛顿法具有优越的迭代复杂性,其局部平方收敛现有的结果需要一个严格的非退化条件。我们证明了在比现有的非退化条件弱得多的局部误差界(EB)条件下,由CR方法产生的迭代序列至少Q-二次收敛到二阶临界点.这表明,增加一个立方正则化不仅装备牛顿法与显着的整体收敛性质,但也使它能够二次收敛,即使在退化的解决方案的存在。作为一个副产品,我们表明,没有假设凸性,建议EB条件是等价的二次增长条件,这可能是独立的利益。为了证明我们的收敛性分析的有用性和相关性,我们专注于两个具体的非凸最优化问题,出现在相位恢复和低秩矩阵恢复,分别证明,以压倒性的概率,由CR方法解决这两个问题所产生的迭代序列至少Q-二次收敛到一个全局最小值。我们还提出了CR方法应用于解决这两个问题时的数值结果,以支持和补充我们的理论发展。
2018-01-29 math.OC
Gradient Descent's Last Iterate is Often (slightly) Suboptimal
Weizmann Institute of Science(魏茨曼科学研究所);University of Toronto(多伦多大学)
本文研究了使用梯度下降或其随机变体进行凸Lipschitz函数最小化时最后迭代收敛性,证明了在无先验知识的情况下,无法避免在任何时间范围内具有多项对数因子的次优误差。
2026-10-27 cs.LG math.OC
Symmetric Rank-One Quasi-Newton Methods for Deep Learning Using Cubic Regularization
University of California, Merced(加州大学默塞德分校)
针对一阶方法未利用曲率易收敛到鞍点或差局部极小值、L-BFGS不适用于DNN非凸损失的问题,提出有限内存对称秩一拟牛顿法(允许不定海森近似)及改进自适应正则化三次方法,在自编码器和前馈网络上与先进方法对比验证性能。
2025-02-17 cs.IT cs.LG cs.NA
Last-Iterate Convergence of Clipped SGD with Linear Decay
School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院);National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Nanjing University(南京大学)
本文研究重尾噪声下Clipped SGD的最后迭代收敛性,针对不同目标函数及存在因果敌手的场景给出误差界,并提供对应下界。
2026-10-14 cs.LG math.OC
Last-Iterate Convergence of Optimistic Multiplicative Weight Update
King Abdullah University of Science and Technology(卡塔尔科学与技术大学)
本文证明乐观乘性权重更新(OMWU)在光滑凸-凹鞍点问题中以足够小的常数学习率渐近收敛,无需唯一性、严格互补性、误差界或接近解的初始化。
2026-06-11 cs.LG math.OC
Stochastic Second-Order Optimization via von Neumann Series
ETH Zürich(苏黎世联邦理工学院)
本文提出一种利用冯·诺依曼级数近似二阶信息的随机迭代算法,针对强凸和光滑函数提供收敛性保证,并在大规模线性模型训练中表现出色。
2017-04-13 cs.NA math.NA math.OC
Inexact subgradient methods for semialgebraic functions
针对含持续加性误差的非精确次梯度方法,本文在半代数非凸与凸情形下分析迭代邻近临界集的 O(ε^ρ) 误差尺度及平均迭代复杂度。
2025-05-13 math.OC stat.ML
Minimal error momentum Bregman-Kaczmarz
本文提出基于极小误差原理自适应选择动量参数的 Bregman-Kaczmarz 方法,证明其相比非加速方法具有改进的收敛性,并在数值实验中验证了实际加速效果。
2023-07-28 cs.NA math.NA math.OC
Inexact Augmented Lagrangian Methods for Conic Programs: Quadratic Growth and Linear Convergence
本文针对半定规划中原迭代收敛速率不明确的问题,通过建立严格互补条件下的二次增长与误差界性质,证明仅需严格互补和有界解集假设,增广拉格朗日方法的原、对偶迭代均线性收敛,解决了相关公开问题。
2024-10-30 cs.SY eess.SY math.OC
Decentralized Stochastic Subgradient-type Methods with Communication Compression for Nonsmooth Nonconvex Optimization
针对非光滑非凸分布式优化问题,提出统一框架整合多种带压缩的随机次梯度方法,证明全局收敛性,并开发基于符号正则化和梯度跟踪动量的新方法。
2026-07-03 cs.AI cs.LG math.OC
IQN: An Incremental Quasi-Newton Method with Local Superlinear Convergence Rate
University of Pennsylvania(宾夕法尼亚大学)
考虑了极小化一个目标函数的问题,该目标函数可表示为一组$n$光滑强凸函数之和。本文提出的增量拟牛顿(IQN)方法属于随机增量方法族,其每次迭代的成本与$n$无关。IQN迭代是BFGS迭代的随机版本,它使用内存来减少随机逼近的方差。IQN的收敛性质弥补了确定性和随机拟牛顿法之间的差距。确定性拟牛顿法利用了使用目标梯度差来近似牛顿步骤的可能性。他们是有吸引力的,因为他们有一个较小的计算成本,每次迭代相对于牛顿的方法,并实现了超线性收敛速率下,通常的规律性假设。随机拟牛顿法利用随机梯度差代替实际梯度差。这使得它们每次迭代的计算成本与目标函数$n$的数量无关。然而,现有的随机拟牛顿法至多具有次线性或线性收敛。IQN是第一个随机拟牛顿法证明超线性收敛的最优解的局部邻域。IQN在三个方面不同于最先进的增量拟牛顿法:(i)使用变量、梯度和拟牛顿海森近似矩阵的聚合信息来减少梯度和海森近似的噪声。(ii)用泰勒展开式对每个函数进行的近似,其中线性项和二次项都是相对于同一根线计算的。(iii)使用循环方案来更新函数以代替随机选择例程。我们利用IQN的这些基本性质来建立它的局部超线性收敛速率。
2017-03-27 cs.LG math.OC
ASTRO-DF: A Class of Adaptive Sampling Trust-Region Algorithms for Derivative-Free Stochastic Optimization
Purdue University(普渡大学);Virginia Tech(弗吉尼亚理工大学)
本文提出ASTRO-DF算法,通过自适应采样平衡采样误差与模型偏差,实现随机优化问题的几乎 surely 收敛到一阶临界点。
2016-10-20 cs.NA math.NA math.OC