Adaptive Sampling Quasi-Newton Methods for Zeroth-Order Stochastic Optimization
The University of Texas at Austin(得克萨斯大学奥斯汀分校);Argonne National Laboratory(阿贡国家实验室)
考虑了无梯度信息的无约束随机最优化问题。这些问题出现在从无导数模拟优化到强化学习的设置中。我们提出了一种自适应采样拟牛顿法,我们估计的梯度的随机函数使用有限差分内一个共同的随机数框架。我们开发了修改后的版本的范数测试和内积拟牛顿测试,以控制在随机逼近中使用的样本大小,并提供整体收敛结果的最优解的邻域。我们提出了模拟最优化问题的数值实验来说明所提出的算法的性能。当与经典的零阶随机梯度法相比,我们观察到,我们的策略,适应样本大小显着提高性能的随机函数评估所需的数量。
2021-09-24 cs.AI math.OC stat.ML
A Parameter-Free Zeroth-Order Algorithm for Decentralized Stochastic Convex Optimization
MIRIAI(莫斯科信息检索与分析研究所);Appied AI Institute(应用人工智能研究所)
本文提出一种去中心化POEM算法,通过双点平滑和自适应半径与步长规则,实现无需先验知识的去中心化随机凸优化。
2026-03-16 math.OC
ZO-AdaMM: Zeroth-Order Adaptive Momentum Method for Black-Box Optimization
University of Minnesota(明尼苏达大学);MIT-IBM Watson AI Lab, IBM Research(麻省理工学院-IBM沃森人工智能实验室,IBM研究院);Northeastern University(东北大学);Princeton University(普林斯顿大学)
自适应动量方法(AdaMM)利用过去的梯度同时更新下降方向和学习率,已成为解决机器学习问题的最流行的一阶优化方法之一。然而,AdaMM是不适合解决黑盒优化问题,显式梯度形式是困难的或不可行的。在本文中,我们提出了一个零阶AdaMM(ZO-AdaMM)算法,推广AdaMM的梯度自由制度。我们发现,ZO-AdaMM的凸和非凸优化的收敛速度大致是$O(\sqrt{d})$的一个因素比一阶AdaMM算法,其中$d$是问题的大小。特别是,我们提供了一个深刻的理解,为什么Mahalanobis距离事项的ZO-AdaMM和其他AdaMM类型的方法的收敛。作为一个副产品,我们的分析使第一步了解自适应学习率方法的非凸约束优化。此外,我们展示了两个应用程序,设计每图像和通用的对抗攻击从黑盒神经网络,分别。我们在ImageNet上进行了大量的实验,并根据经验表明,与$6$最先进的ZO优化方法相比,ZO-AdaMM收敛到高精度的解决方案要快得多。
2019-10-16 cs.LG math.OC stat.ML
LORENZA: Enhancing Generalization in Low-Rank Gradient LLM Training via Efficient Zeroth-Order Adaptive SAM
Bar-Ilan University(巴伊兰大学);Tel Aviv University(特拉维夫大学)
针对LLM微调泛化不足与内存受限问题,提出AdaZo-SAM(单梯度零阶SAM)及内存高效低秩版本LORENZA,实现全参数微调并提升泛化,附收敛保证。
2025-02-26 cs.LG math.OC stat.ML
High Probability Complexity Bounds for Adaptive Step Search Based on Stochastic Oracles
针对只能通过有偏、不精确随机零阶/一阶预言机获取信息的连续优化问题,提出一种自适应步长搜索算法,并给出非凸、凸及 PL 条件下迭代复杂度的高概率尾界。
2023-11-02 math.OC
Zeroth-Order Non-Convex Optimization for Cooperative Multi-Agent Systems with Diminishing Step Size and Smoothing Radius
针对带时延通信的协作多智能体零阶非凸分布式优化问题,提出一种基于递减步长和平滑参数的两点梯度估计器算法,实现了向一阶驻点的收敛,且无需局部成本函数的先验信息即可优化黑盒全局函数。
2024-01-08 math.OC
Joint Lower Bounds for Zeroth-Order Nonconvex Optimization on Euclidean Balls
Peking University(北京大学)
本文针对欧几里得查询球上的 Goldstein 平稳性,证明了随机零阶优化的联合下界,在维度、精度和样本复杂度上揭示了可解有界域实例的固有障碍。
2026-10-20 math.OC
ConMeZO: Adaptive Descent-Direction Sampling for Gradient-Free Finetuning of Large Language Models
Department of Computer Science, ETH Zurich(苏黎世联邦理工学院计算机科学系);Amazon AGI Labs(亚马逊人工智能实验室)
ConMeZO通过适应性方向采样加速大语言模型微调的收敛速度,保留低内存足迹,比MeZO快2倍。
2026-04-20 cs.LG math.OC stat.ML
Lazy Queries Can Reduce Variance in Zeroth-order Optimization
Rensselaer Polytechnic Institute(伦斯勒理工学院);Sun Yat-Sen University(中山大学)
应用零阶(ZO)方法的一个主要挑战是高查询复杂度,特别是当查询代价很高时。我们提出了一种新的梯度估计技术的ZO方法的基础上自适应懒惰的查询,我们称之为LAZO。与经典的一点或两点梯度估计方法不同,LAZO提出了两种方法来检查前几次迭代中旧查询的有用性,然后自适应地重用它们来构造低方差梯度估计。我们严格地建立,通过明智地重用旧的查询,LAZO可以减少随机梯度估计的方差,使它不仅节省每次迭代的查询,但也实现了遗憾的对称两点法。我们评估的数值性能的LAZO,并证明了低方差属性和性能增益的LAZO在遗憾和查询复杂度相对于现有的几个ZO方法。LAZO的思想是通用的,并且可以应用于ZO方法的其他变体。
2022-06-14 cs.LG math.OC stat.ML
Subdifferentially polynomially bounded functions and Gaussian smoothing-based zeroth-order optimization
本文定义并研究 SPB 函数,证明其与高斯平滑相容并满足多项式形式的下降引理,进而提出自适应步长零阶算法,给出相对/绝对平稳性收敛率及 $(δ, ε)$-近似平稳点复杂度。
2025-03-17 math.OC
A Unified Zeroth-Order Optimization Framework via Oblivious Randomized Sketching
School of Management, Xi’an Jiaotong University(西安交通大学管理学院);Stern School of Business, New York University(纽约大学斯特恩商学院)
本文提出基于无关随机投影的统一零阶优化框架,通过选择适当投影矩阵降低RFD估计方差并实现高概率收敛,在凸二次目标上推导出优于线性维度依赖的查询复杂度,并扩展至强凸和Hessian感知优化场景。
2025-10-13 math.OC
High-Probability Guarantees for Random Zeroth-Order Gradient Descent on Smooth Functions
Xi’an Jiaotong University(西安交通大学)
针对具有Lipschitz梯度的确定性目标,提出一种双查询高斯有限差分方法,并给出其在高概率下的有限时域分析,证明在强凸、凸和非凸条件下达到ε-次优点的函数查询复杂度。
2026-06-23 math.OC
Near-Optimal Lower Bounds for Randomized Algorithms in Exact Value Zeroth-Order Convex Optimization
School of Intelligence Science and Technology, Peking University(北京大学智能学院);School of Electronics Engineering and Computer Science, Peking University(北京大学电子工程学系)
研究零阶凸优化中精确函数值访问的预言机限制,针对在\(d\)维欧几里得单位球上最小化非光滑凸函数的自适应随机算法,给出查询次数下限,在不同精度 regime 与已有上界匹配,采用新方法证明。
2026-07-31 math.OC
Explainable and Class-Revealing Signal Feature Extraction via Scattering Transform and Constrained Zeroth-Order Optimization
University of California Davis(加州大学戴维斯分校);Carnegie Mellon University(卡内基梅隆大学)
针对散射变换与多类逻辑回归组合模型分类成功但因散射变换非线性导致缺乏可解释性的问题,提出采用带稀疏和平滑约束的零阶优化算法搜索输入模式,以揭示Lasso惩罚多类逻辑回归所选散射变换系数的意义,并通过合成时间序列分类问题验证了方法有效性。
2025-04-14 cs.LG eess.SP math.OC
Convergence Analysis of Nonconvex Distributed Stochastic Zeroth-order Coordinate Method
University of North Texas(北得克萨斯大学);Huazhong University of Science and Technology(华中科技大学)
研究了随机分布非凸最优化问题,即最小化由$n$局部费用函数求和形成的全局费用函数。我们解决这样的问题,涉及零阶(ZO)信息交换。本文提出了一种求解随机最优化问题的ZO分布原始-对偶坐标方法。代理近似自己的本地随机ZO预言与坐标与自适应平滑参数。我们表明,该算法实现了一般非凸费用函数的$\mathcal{O}(\sqrt{p}/\sqrt{T})$的收敛速度。我们证明了所提出的算法的效率,通过一个数值例子与现有的国家的最先进的集中式和分布式ZO算法的比较。
2021-10-13 cs.LG cs.SY eess.SY
Sharp Minimax Rates for Highly Smooth Strongly Convex Zeroth-Order Optimization
Peking University(北京大学)
该研究确定了高阶光滑强凸函数在带噪零阶优化中的极小极大维度依赖速率,并给出了匹配的上下界,表明查询复杂度为 $\Theta(d^2\varepsilon^{-\beta/(\beta-1)})$。
2026-10-20 math.OC
First- and Second-Order Stochastic Adaptive Regularization with Cubics: High Probability Iteration and Sample Complexity
本文为两种随机自适应三次正则化(SARC)算法(一阶和二阶)建立了高概率迭代与样本复杂度界,证明其在随机优化中优于其他自适应方法。
2025-04-21 math.OC
Direct search for stochastic optimization in random subspaces with zeroth-, first-, and second-order convergence and expected complexity
Argonne National Laboratory(阿贡国家实验室);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
研究在随机子空间中进行随机优化的StoDARS框架,通过在特定随机子空间生成搜索方向实现可扩展性,证明其在目标函数连续可微时期望复杂度与其他方法相似,还证明其收敛性及扩展了对MADS算法二阶行为的分析。
2026-07-29 math.OC
Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations
University of Maryland(马里兰大学)
本文通过约束泛函优化发现最小化两点零阶梯度估计器渐近方差的扰动应方向对齐梯度,提出DAP方案,理论分析其收敛性并实证验证其在特定条件下优于传统方法。
2025-10-22 cs.AI cs.LG math.OC
Inexact Proximal Point Algorithms for Zeroth-Order Global Optimization
本文研究连续非凸函数的零阶全局优化问题,构建了非精确近端点方法的理论框架,提出了基于张量列近似和蒙特卡洛积分的两种实用算法,并证明了其收敛性与有效性。
2025-06-02 math.OC
Gradientless Descent: High-Dimensional Zeroth-Order Optimization
Google Brain(谷歌大脑)
零阶优化是最小化目标$f(x)$的过程,给定oracle访问自适应选择的输入$x$处的评估。在本文中,我们提出了两个简单而强大的无梯度下降(GLD)算法,不依赖于底层的梯度估计和数值稳定。我们从一个新的几何角度分析我们的算法,并提出了一种新的分析,表明收敛在一个$ε$ -球的最佳$O(kQ\log(n)\log(R/ε))$评价,任何单调变换的光滑和强凸的目标与潜在的尺寸$k < n$,其中输入尺寸是$n$,$R$是输入空间的直径和$Q$是条件数。我们的速率是同类中第一个既1)多变量依赖于维数,2)单调变换下不变。我们进一步利用我们的几何视角来表明我们的分析是最优的。单调不变性及其利用低潜在维度的能力是我们的算法取得经验成功的关键,正如BBOB和MuJoCo基准测试所证明的那样。
2020-05-18 cs.LG math.OC stat.ML
Why are Adaptive Methods Good for Attention Models?
MIT(麻省理工学院);EPFL(洛桑联邦理工学院);Google Research(谷歌研究院)
虽然随机梯度下降(SGD)仍然是深度学习中的\emph{de facto}算法,但已观察到像Clipped SGD/Adam这样的自适应方法在重要任务(如注意力模型)中的表现优于SGD。与自适应方法相比,SGD表现不佳的设置尚未得到很好的理解。在本文中,我们提供的经验和理论证据表明,随机梯度中的噪声的重尾分布是SGD的性能不佳的原因之一。给出了重尾噪声下自适应梯度法的第一个紧收敛上界和下界。此外,我们演示了梯度裁剪如何在解决重尾梯度噪声中发挥关键作用。随后,我们展示了如何裁剪可以应用于实践中开发的\emph{adaptive}坐标明智的裁剪算法(ACClip),并证明其优越的性能BERT预训练和微调任务。
2020-10-23 cs.LG math.OC
First and zeroth-order implementations of the regularized Newton method with lazy approximated Hessians
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Université catholique de Louvain(鲁汶天主教大学)
本文提出三次正则化牛顿方法的一阶与零阶实现,利用有限差分和自适应搜索避免Lipschitz常数,并引入惰性Hessian更新,显著提升非凸优化的复杂度界。
2023-09-05 cs.LG math.OC
Direct Search Methods for Online Nonconvex Optimization Under Inexact Bandit Feedback
ICTEAM Institute, Université catholique de Louvain(ICTEAM研究所,天主教鲁汶大学);WEL Research Institute(WEL研究所)
本文针对随时间演化的在线非凸优化问题,提出随机两点直接搜索算法,推导了不同探测率下的迭代复杂度界,可用于求解动力系统最优控制问题。
2026-08-13 math.OC
Adaptive Stochastic Optimisation of Nonconvex Composite Objectives
Technische Universität Berlin(柏林工业大学);GT-ARC Gemeinnützige GmbH(GT-ARC公益有限责任公司)
本文提出并分析了一类广义随机复合镜像下降算法。与自适应步长,所提出的算法收敛,而不需要先验知识的问题。结合熵类更新生成函数,这些算法在具有最大范数的空间中执行梯度下降,这使我们能够利用高维问题的决策集的低维结构。与基于Rademacher分布和方差缩减技术的采样方法一起,所提出的算法保证了零阶优化问题的对数复杂度对维数的依赖。
2022-11-21 cs.LG math.OC
A simple and improved algorithm for noisy, convex, zeroth-order optimisation
Institut für Mathematik, Universität Potsdam(波茨坦大学数学研究所)
本文提出一种基于重心法的简单零阶凸优化算法,在噪声查询预算下实现 $d^2/\sqrt{n}$ 的收敛速率,略优于现有最佳结果且分析更简单。
2024-06-26 cs.LG math.OC stat.ML
Near-Optimal Exact-Value Zeroth-Order Complexity for Smooth Strongly Convex Optimization
Peking University(北京大学)
本文研究光滑强凸优化中精确值零阶优化的极小极大复杂度,提出匹配上下界,在常见精度区间达到近最优,并指出高精度下的未解问题。
2026-10-20 math.OC
Adaptive Sampling Trust Region Optimization for Derivative-free Stochastic Functions and Deterministic Equality Constraints
North Carolina State University(北卡罗来纳州立大学);University of Melbourne(墨尔本大学)
针对含噪声零阶目标与可求导确定性等式约束的优化问题,提出ASTRO-DF的受限变体,证明其几乎必然收敛并在等式约束随机活动网络问题中取得数值结果。
2026-08-18 cs.NA math.NA math.OC
Learning generalized Nash equilibria in monotone games: A hybrid adaptive extremum seeking control approach
在本文中,我们解决了学习问题的广义纳什均衡(GNE)在仅仅单调的游戏。首先,我们提出了一种新的连续半分散的解决方案算法,使用一阶信息计算GNE与中央协调器没有投影。作为第二个主要贡献,我们设计了一个增益自适应方案,以前的算法,以减轻问题的不当缩放的代价函数与约束。第三,我们提出了一个数据驱动的前一种算法的变体,其中每个代理估计他们的个人pseudogradient通过零阶信息,即测量他们的个人代价函数值。最后,我们将我们的方法应用于石油开采工程中的扰动振幅优化问题。
2021-10-06 cs.SY eess.SY math.OC
Adaptive classification of temporal signals in fixed-weights recurrent neural networks: an existence proof
我们解决了一个重要的理论问题,为什么具有固定权重的递归神经网络可以自适应地分类时变信号中存在的加性噪声和参数扰动。我们提供了一个数学证明,假设未知参数被允许非线性地进入信号和噪声幅度是足够小的。
2007-05-23 math.DS math.OC
Gradient-Free Method for Heavily Constrained Nonconvex Optimization
Nanjing University of Information Science and Technology(南京信息工程大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Temple University(天普大学)
本文针对大量非凸白盒/黑盒约束下的非凸优化问题,提出带有动量和自适应步长的双重随机零阶梯度方法DSZOG,并证明其收敛到ε-稳定点,实验表明其在训练时间和精度上优于现有零阶方法。
2024-08-31 cs.DS cs.LG math.OC
Why Does Adaptive Batching Help LLM Pretraining? A Perspective from Unbounded Variance
Elmore Family School of Electrical and Computer Engineering(埃尔莫尔家族电气与计算机工程学院);Purdue University(普渡大学)
针对LLM预训练中批大小调度的理论缺失,提出广义BG-$a$噪声模型并推导复杂度界限,设计自适应批调度器,在OLMo2预训练中以更少迭代取得更低验证损失。
2026-10-05 cs.LG math.OC
Why gradient clipping accelerates training: A theoretical justification for adaptivity
Massachusetts Institute of Technology(麻省理工学院)
我们为梯度裁剪在训练深度神经网络中的有效性提供了理论解释。关键成分是一个新的平滑条件来自实际的神经网络训练的例子。我们观察到,梯度平滑度是一阶优化算法分析的核心概念,通常被假设为常数,它在深度神经网络的训练轨迹上表现出显著的可变性。此外,这种平滑性与梯度范数正相关,并且与文献中的标准假设相反,它可以随着梯度的范数而增长。这些经验的观察限制了现有的理论分析的算法,依赖于一个固定的边界上的平滑度的适用性。这些观察促使我们引入一种新的松弛梯度平滑,比常用的Lipschitz平滑假设弱。在新的条件下,我们证明了两个流行的方法,即\emph{gradient clipping}和\emph{normalized gradient},收敛速度任意快于梯度下降与固定步长。我们进一步解释了为什么这种自适应缩放的梯度法可以加速经验收敛,并在流行的神经网络训练环境中验证了我们的结果。
2020-02-10 cs.LG math.OC
On a probabilistic global optimizer derived from the Walker slice sampling
本文提出一种零阶概率全局优化算法SwiftNav,通过自适应离散化和Walker切片与Gibbs抽样的模拟退火过程,在紧致域上高精度识别全局最优点,且可并行化,适用于高维基准优化问题。
2024-11-06 cs.MS math.OC
A Theoretical and Experimental Study of a Novel Adaptive Learning Algorithm
Department of Mathematics Indian Institute of Technology Patna(数学系印度理工学院帕纳瓦);Department of Mechanical Engineering Indian Institute of Technology Kharagpur(机械工程系印度理工学院Khargpur)
针对现有自适应优化器(如Adam和AMSGrad)的收敛性问题,提出基于视线方法的C-Adam优化器,给出收敛性理论证明并通过数值实验验证。
2026-05-28 cs.LG math.OC
Towards Theoretically Understanding Why SGD Generalizes Better Than ADAM in Deep Learning
Salesforce Research(Salesforce研究院);National University of Singapore(新加坡国立大学);Princeton University(普林斯顿大学)
目前还不清楚为什么ADAM类自适应梯度算法遭受更差的泛化性能比SGD尽管其更快的训练速度。这项工作旨在通过分析它们的局部收敛行为来提供对这种推广差距的理解。具体来说,我们观察到这些算法中的梯度噪声的重尾。这促使我们分析这些算法通过他们的Levy驱动的随机微分方程(SDEs),因为一个算法和它的收敛行为相似。然后,我们建立这些SDES从当地盆地的逃逸时间。结果表明:(1)SGD和ADAM~的逃逸时间与盆地的氡测度呈正相关,与梯度噪声的强弱呈负相关;(2)对于同一流域,SGD比ADAM具有更小的逃逸时间,主要是因为(a)ADAM中的几何适应~通过对各梯度坐标的自适应缩放,很好地消除了梯度噪声中的各向异性结构,使盆地的Radon测度增大;(b)ADAM~中的指数梯度平均平滑其梯度并导致比SGD更轻的梯度噪声尾部。因此SGD在局部Radon测度小的极小点处比ADAM~更不稳定,并能更好地从局部Radon测度小的极小点处逃逸到Radon测度大的平坦极小点处。由于这里的平坦极小值通常指的是平坦或不对称盆地/山谷处的极小值,通常比尖锐的极小值更好地推广,我们的结果解释了SGD优于ADAM的推广性能。最后,实验结果证实了我们的重尾梯度噪声的假设和理论的肯定。
2021-11-29 cs.AI cs.LG math.OC
From Linear to Linearizable Optimization: A Novel Framework with Applications to Stationary and Non-stationary DR-submodular Optimization
McGill University(麦吉尔大学);Mila(米拉);Purdue University(普渡大学)
本文提出上可线性化函数框架,将线性/二次最大化算法统一转换为优化此类函数,应用于DR-子模最大化,首次实现动态与自适应遗憾保证,并在更少假设下改进现有最优结果。
2026-09-15 cs.CC cs.LG math.OC
Trust the Direction, Search the Step: Zero-and-First-Order Methods for LLM Fine-Tuning
University of Central Florida(中佛罗里达大学);Mohammed VI Polytechnic University(穆罕默德六世理工大学)
针对大语言模型微调中的步长选择难题,提出零阶与一阶混合优化框架ZFO,解耦方向与步长,利用两次额外评估构建局部模型自适应选步,理论保证收敛,实验显示优于固定步长基线。
2026-11-18 cs.LG math.OC
Optimization of Convex Functions with Random Pursuit
研究凸目标函数的无约束随机优化问题。我们分析了随机追踪算法,该算法通过在随机选择的一维子空间上重复优化来迭代地计算最优化问题的近似解。这种随机化方法只使用关于目标函数的零阶信息,并且不需要任何问题特定的参数化。我们证明了收敛性,并给出了光滑目标的收敛速度,假设一维优化问题可以精确或近似求解的预言。随机追踪的一个方便的性质是它在目标函数的严格单调变换下的不变性。因此,它在更广泛的函数类上具有相同的收敛行为。为了支持的理论结果,我们提出了广泛的数值性能的随机追踪,Nesterov最近提出的两个无梯度算法,和一个经典的自适应步长随机搜索方案的结果。我们还提出了一个加速的启发式版本的随机追踪算法,显着提高标准随机追踪所有数值基准问题。实验结果表明:(i)标准随机追踪算法对中等条件数的强凸函数是有效的;(ii)加速算法与Nesterov的快速梯度法相当,且优于自适应步长策略.附录包含其他支持性在线材料。
2012-05-24 cs.DS cs.NA math.NA