Accelerated Zeroth-order Algorithm for Stochastic Distributed Nonconvex Optimization
本文研究了在只有零阶信息的非凸问题上如何加速分布式优化算法的收敛。我们提出了一个零阶(ZO)分布式原始-对偶随机坐标算法配备了“强力球”方法来加速。我们证明了所提出的算法具有$\mathcal{O}(\sqrt{p}/\sqrt{nT})$的收敛速度一般非凸费用函数。我们考虑从黑盒DNN问题中解决对抗性示例的生成,以与现有的最先进的集中式和分布式ZO算法进行比较。数值结果表明,该算法具有更快的收敛速度,与理论分析相吻合。
2021-10-13 math.OC
Zeroth-order Nonconvex Stochastic Optimization: Handling Constraints, High-Dimensionality and Saddle-Points
Department of Statistics, University of California, Davis(加利福尼亚大学戴维斯分校统计系);Department of Operations Research and Financial Engineering, Princeton University(普林斯顿大学运筹学与金融工程系)
在本文中,我们提出并分析了零阶随机逼近算法的非凸和凸优化,重点解决约束优化,高维设置和鞍点避免。为了处理约束优化,我们首先提出了条件梯度算法实现类似于标准的随机梯度算法只使用零阶信息的速率的概括。为了便于零阶优化在高维,我们探讨了结构稀疏性假设的优点。具体来说,(i)我们强调了一个隐式正则化现象,其中零阶信息的标准随机梯度算法通过改变步长来适应手头问题的稀疏性,以及(ii)提出了一个零阶信息的截断随机梯度算法,其收敛速率仅依赖于多维。接下来我们重点讨论如何避免非凸设置中的鞍点。为此,我们解释高斯平滑技术的基础上估计梯度的零阶信息作为一个实例的一阶斯泰因的身份。在此基础上,利用二阶Stein恒等式,给出了一个仅利用零阶信息的函数的黑塞矩阵的线性时间估计.然后,我们提供了一个算法,以避免鞍点,这是基于零阶三次正则化牛顿法,并讨论其收敛速度。
2019-01-14 cs.DS cs.LG math.OC
Zeroth-Order Stochastic Block Coordinate Type Methods for Nonconvex Optimization
我们研究(约束)非凸(复合)最优化问题的决策变量向量可以分为块的变量。随机分块投影法是一种处理这类问题的常用方法,它可以显著减少投影法的计算量。然而,这种强大的方法还没有被提出的情况下,一阶信息被禁止,只有零阶信息。在本文中,我们提出发展不同类别的零阶随机块坐标型方法。提出了零阶块坐标下降法(Z-BCD)求解无约束非凸最优化问题。对于复合优化问题,我们建立了零阶随机块镜下降法(ZH-BMD)及其相关的两阶段方法,以达到寻找$(ε,Λ)$ -解的复杂性界。此外,我们还建立了求解非凸(复合)优化问题的零阶随机块坐标条件梯度(BCCG)方法。与传统的随机逼近方法相比,该方法在每次迭代中只需要在一个随机块上求解线性规划子问题,而不需要在整个决策空间上求解投影子问题.在下文中,提出了近似的BCCG方法和相应的两阶段BCCG方法。这也是第一次,一个两阶段的BCCG方法已经发展到实现的$(ε, Λ)$ -解决非凸复合最优化问题。据我们所知,本文提出的结果是新的随机非凸(复合)优化文献。
2019-06-14 math.OC
Stochastic First- and Zeroth-order Methods for Nonconvex Stochastic Programming
针对一类重要的非线性(可能非凸)随机规划(SP)问题,提出了一种新的随机逼近(SA)型算法,即随机化随机梯度(RSG)算法.我们建立了计算一个非线性规划问题的近似稳定点的方法的复杂性。我们还表明,这种方法具有接近最佳的收敛速率,如果问题是凸的。我们讨论了一个变体的算法,其中包括应用后优化阶段,以评估由几个独立运行的RSG方法产生的解决方案的短列表,并表明,这样的修改允许显着提高算法的大偏差属性。这些方法,然后专门解决一类基于模拟的最优化问题,其中只有随机零阶信息。
2013-09-22 cs.CC math.OC stat.ML
Stochastic Zeroth-order Functional Constrained Optimization: Oracle Complexity and Applications
函数约束随机最优化问题在机器学习应用中经常出现,其中目标函数和约束函数都不能解析地获得。在这项工作中,假设我们只能访问的目标和约束函数的噪声评估,我们提出并分析了随机零阶算法解决上述类别的随机最优化问题。当函数的定义域为$\mathbb{R}^n$时,假设存在$m$约束函数,分别在凸和非凸情形下建立了$\mathcal{O}((m+1)n/ε^2)$和$\mathcal{O}((m+1)n/ε^3)$阶的Oracle复杂性,其中$ε$表示在适当定义的度量下所需解的精度.所建立的预言复杂性,据我们所知,第一个这样的结果在文献中的功能约束随机零阶最优化问题。我们证明了我们的算法的适用性,说明其优越的性能上的超参数调整采样算法和神经网络训练的问题。
2022-10-09 math.OC
A Zeroth-Order Variance-Reduced Method for Decentralized Stochastic Non-convex Optimization
本文提出DZOVR算法,结合两点梯度估计、动量方差缩减与梯度跟踪,首次在去中心化随机非凸优化中实现O(dn^{-1}ε^{-3})采样复杂度,并具有网络无关性和线性加速特性。
2023-10-29 math.OC
Stochastic Zeroth-order Discretizations of Langevin Diffusions for Bayesian Inference
朗之万扩散的离散化为抽样和贝叶斯推理提供了一种强有力的方法。然而,这样的离散化需要评估的势函数的梯度。在几个现实世界的场景中,获得梯度评估可能是计算昂贵的,或者根本不可能。在这项工作中,我们提出并分析了随机零阶采样算法离散过阻尼和欠阻尼朗之万扩散。我们的方法是基于估计的梯度,高斯斯坦的身份,广泛用于随机最优化文献的基础上。我们提供了一个全面的样本复杂性分析-数量嘈杂的功能评估,以获得一个$ε$ -近似样本Wasserstein距离-随机零阶离散的过阻尼和欠阻尼Langevin扩散,在各种噪声模型。我们还提出了一个基于零阶梯度估计的变量选择技术,并建立其理论保证。我们的理论贡献扩展了采样算法的实际适用性的噪声黑箱和高维设置。
2021-01-17 math.OC math.ST stat.ML
A Zeroth-order Proximal Stochastic Gradient Method for Weakly Convex Stochastic Optimization
本文提出一种基于高斯平滑技术的零阶近邻随机梯度方法,可在无需一阶信息的情况下求解弱凸随机优化问题,在相位检索和自动超参数调优等场景中展现出优越性能。
2025-04-18 math.OC
Distributed Interval Optimization with Stochastic Zeroth-order Oracle
本文研究了一个分布式区间最优化问题,该问题是由一组凸区间值目标函数在全局凸约束下的最优化问题构成的,对应于时变网络上的智能体.首先通过标量化将分布区间最优化问题转化为分布约束最优化问题。然后,设计了一个随机零阶算法来求解重构后的分布问题,并证明了其最优解也是分布区间最优化问题的Pareto最优解.此外,我们构造了算法的显式收敛性和期望下的收敛速度。最后通过数值算例说明了该算法的有效性。
2019-04-30 math.OC
A Parameter-Free Zeroth-Order Algorithm for Decentralized Stochastic Convex Optimization
MIRIAI(莫斯科信息检索与分析研究所);Appied AI Institute(应用人工智能研究所)
本文提出一种去中心化POEM算法,通过双点平滑和自适应半径与步长规则,实现无需先验知识的去中心化随机凸优化。
2026-03-16 math.OC
Adaptive First-and Zeroth-order Methods for Weakly Convex Stochastic Optimization Problems
Amirkabir University of Technology(阿米尔卡比尔理工大学);University of Florida(佛罗里达大学)
在本文中,我们设计并分析了一族新的自适应次梯度方法,用于求解一类重要的弱凸(可能非光滑)随机最优化问题。使用过去梯度的指数移动平均值来更新搜索方向和学习速率的自适应方法最近吸引了大量关注,用于解决机器学习中出现的最优化问题。然而,它们的收敛性分析几乎完全需要目标函数的光滑性和/或凸性。与此相反,我们建立了一阶和零阶自适应方法及其近似变量的非渐近收敛速度为一个合理的广泛的非光滑\非凸最优化问题。实验结果表明,所提出的算法如何经验优于随机梯度下降及其零阶变量解决这样的最优化问题。
2020-05-24 cs.LG math.OC stat.ML
Distributed Stochastic Zeroth-Order Optimization with Compressed Communication
针对分布式系统中通信开销大和梯度计算不可行的挑战,提出仅需两次函数评估且集成压缩算子的随机分布式零阶算法Com-DSZO及其方差缩减变体,并证明其次线性收敛速率与压缩-收敛权衡。
2025-09-18 cs.MA math.OC
Zeroth-Order Gradient Estimators under Decision-Dependent Noise
Graduate School of Information Science and Technology, University of Tokyo(东京大学信息理工学系研究科);Center for Advanced Intelligence Project, RIKEN(理化学研究所先进智能项目中心)
针对决策依赖分布未知的随机优化问题,本文统一分析不同搜索方向的零阶梯度估计器的样本复杂度,证明多方向平均的估计器复杂度最低,并通过实验验证其实用性。
2026-11-11 math.OC
Adaptive Sampling Quasi-Newton Methods for Zeroth-Order Stochastic Optimization
The University of Texas at Austin(得克萨斯大学奥斯汀分校);Argonne National Laboratory(阿贡国家实验室)
考虑了无梯度信息的无约束随机最优化问题。这些问题出现在从无导数模拟优化到强化学习的设置中。我们提出了一种自适应采样拟牛顿法,我们估计的梯度的随机函数使用有限差分内一个共同的随机数框架。我们开发了修改后的版本的范数测试和内积拟牛顿测试,以控制在随机逼近中使用的样本大小,并提供整体收敛结果的最优解的邻域。我们提出了模拟最优化问题的数值实验来说明所提出的算法的性能。当与经典的零阶随机梯度法相比,我们观察到,我们的策略,适应样本大小显着提高性能的随机函数评估所需的数量。
2021-09-24 cs.AI math.OC stat.ML
Stochastic Regret Guarantees for Online Zeroth- and First-Order Bilevel Optimization
Amirkabir University of Technology(阿姆斯泰尔大学);University of Pennsylvania(宾夕法尼亚大学);Samsung SDS Research America(三星SDS美国研究部);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出了一种新的搜索方向,证明了利用该方向的零阶和一阶随机在线双层优化算法能够在不使用窗口平滑的情况下实现亚线性随机双层遗憾。此外,该框架通过减少超梯度估计中的oracle依赖、同时更新内层和外层变量以及使用基于零阶的Hessian、雅可比和梯度估计来提高效率。
2026-05-19 cs.LG cs.NA math.NA
Zeroth-Order Stochastic Coordinate Methods for Decentralized Non-convex Optimization
本文首先提出了一种\underline{Z} eroth- \underline{O} rder c \underline{M} zoom方法来求解分散网络上的随机最优化问题,该问题只有零阶~(ZO)预言反馈。此外,我们还为ZOOM提供了一个简单的机制“powerball”,并提出了ZOOM-PB来加速ZOOM的收敛。与现有的方法相比,我们验证了所提出的算法,通过两个基准的例子在文献中,即黑盒二进制分类和生成对抗性的例子从黑盒DNN,以比较现有的国家的最先进的集中式和分布式ZO算法。数值结果表明,所提出的算法具有更快的收敛速度。
2022-10-10 math.OC
Convergence Analysis of Nonconvex Distributed Stochastic Zeroth-order Coordinate Method
University of North Texas(北得克萨斯大学);Huazhong University of Science and Technology(华中科技大学)
研究了随机分布非凸最优化问题,即最小化由$n$局部费用函数求和形成的全局费用函数。我们解决这样的问题,涉及零阶(ZO)信息交换。本文提出了一种求解随机最优化问题的ZO分布原始-对偶坐标方法。代理近似自己的本地随机ZO预言与坐标与自适应平滑参数。我们表明,该算法实现了一般非凸费用函数的$\mathcal{O}(\sqrt{p}/\sqrt{T})$的收敛速度。我们证明了所提出的算法的效率,通过一个数值例子与现有的国家的最先进的集中式和分布式ZO算法的比较。
2021-10-13 cs.LG cs.SY eess.SY
Zeroth-Order Methods for Stochastic Nonconvex Nonsmooth Composite Optimization
Department of Computer Science University of Maryland College Park(计算机科学系大学马里兰大学学院公园分校);Department of Computer Science and Engineering University of Texas Arlington(计算机科学与工程系德克萨斯大学阿灵顿分校)
针对现有复合优化方法依赖光滑性假设、无法适配正则化ReLU网络等机器学习问题的局限,提出两种近似平稳点新概念及对应零阶算法,证明有限时间收敛性并通过数值实验验证有效性。
2025-10-06 cs.LG math.OC
Zeroth-order Riemannian Averaging Stochastic Approximation Algorithms
University of California, Davis(加州大学戴维斯分校);Rice University(莱斯大学)
针对黎曼流形随机优化,提出Zo-RASA零阶算法,以滑动平均梯度估计和收缩/向量传输实现最优样本复杂度并降低迭代成本。
2023-09-25 cs.LG math.OC stat.ML
High-Probability Guarantees for Random Zeroth-Order (Stochastic) Gradient Descent
本文研究了随机零阶梯度下降在确定性和随机性设置下的高概率收敛性,为光滑和强凸目标函数提供了新的理论保证,展示了在置信度参数上仅需对数依赖的改进。
2026-06-23 math.OC
Penalty Methods with Stochastic Approximation for Stochastic Nonlinear Programming
本文提出了一类解随机非线性规划问题的具有随机逼近的罚方法。我们假设只有噪声梯度或目标函数的函数值是通过调用随机一阶或零阶预言。在所提出的方法的每次迭代中,我们最小化的精确罚函数,这是非光滑和非凸的,只有随机的一阶或零阶信息。随机逼近算法解决这个特殊的子问题。最坏情况下的复杂性的随机一阶(或零阶)预言的建议的惩罚方法获得一个$ε$ -随机临界点进行了分析。
2016-05-19 math.OC
Zeroth-order Stochastic Compositional Algorithms for Risk-Aware Learning
Yale University(耶鲁大学);Princeton University(普林斯顿大学)
我们提出了$\textit{Free-MESSAGE}^{p}$,第一个零阶算法(弱)凸的均值-半指数为基础的风险感知学习,这也是第一个三级零阶组合随机最优化算法。使用非平凡的扩展Nesterov的经典结果高斯平滑,我们开发的$\textit{Free-MESSAGE}^{p}$算法从第一原则,并表明,它基本上解决了一个平滑的替代原来的问题,前者是一个一致逼近,后者,在一个有用的,方便的意义。然后,我们提出了一个完整的分析的$\textit{Free-MESSAGE}^{p}$算法,它建立了收敛在一个用户可调邻域的最优解的凸成本,以及明确的收敛速度凸,弱凸,强凸成本,并在一个统一的方式。顺序,并为固定的问题参数,我们的研究结果表明,没有牺牲收敛速度相比,现有的一阶方法,同时达到一定的平衡之间的条件的问题,它的维数,以及所获得的结果的准确性,自然扩展以前的结果在零阶风险中性学习。
2021-12-13 cs.LG cs.SY eess.SP
Fully Zeroth-Order Bilevel Programming via Gaussian Smoothing
Oregon State University(俄勒冈州立大学);University of Waterloo(滑铁卢大学)
本文针对上下层目标值及梯度均不可用的双层优化问题,提出基于Stein恒等式与高斯平滑的全零阶随机近似算法,并首次给出非渐近收敛性与样本复杂度界。
2024-03-29 cs.LG math.OC
Explicit and Non-asymptotic Query Complexities of Rank-Based Zeroth-order Algorithm on Stochastic Smooth Functions
Xi’an Jiaotong University(西安交通大学)
本文提出了一种基于秩的零阶优化算法,针对随机光滑函数建立了显式非渐近查询复杂性界限,证明顺序信息在随机优化中的有效性。
2025-12-22 cs.LG math.OC
Stochastic Zeroth order Descent with Structured Directions
University of Genova(热那亚大学);Istituto Italiano di Tecnologia(意大利技术研究院);CBMM - MIT(麻省理工学院CBMM)
该研究提出结构化随机零阶下降方法,在多正交方向近似随机梯度,证明了凸函数和满足Polyak-Łojasiewicz条件非凸函数的收敛性与速率,经模拟和超参数优化验证具竞争力。
2024-10-08 cs.LG math.OC
A Dimension-Insensitive Algorithm for Stochastic Zeroth-Order Optimization
本文研究了一个凸随机零阶优化问题。我们的目标是最小化的梯度是不能直接访问的费用函数的期望。对于这个问题,传统的优化算法大多产生的查询复杂度与维数(决策变量的数量)多项式增长。因此,这些方法可能无法很好地解决许多现代应用中出现的多维问题。虽然最近的方法可以证明是维数不敏感的,但几乎所有的方法都需要更严格的条件,例如处处稀疏或可压缩梯度。在本文中,我们提出了一个稀疏诱导随机梯度免费(SI-SGF)算法,可证明产生一个无维(对数项)查询复杂度在凸和强凸的情况下。这种不敏感的维数增长被证明,第一次,是可以实现的梯度稀疏性和梯度压缩性都不满意。我们的数值结果表明我们的理论预测和经验性能之间的一致性。
2022-02-07 math.OC stat.ME stat.ML
Mirror Descent Linearized Augmented Lagrangian Methods for Nonconvex Constrained Stochastic Zeroth-Order Optimization
Sun Yat-sen University(中山大学);Pengcheng Laboratory(鹏城实验室);ShanghaiTech University(上海科技大学)
针对可获取约束精确信息及目标带噪值的非凸约束随机零阶优化问题,提出结合随机零阶梯度估计器与方差缩减技术的Bregman线性化增广拉格朗日方法,分析其oracle复杂度,在高维场景下复杂度优于现有方法且与文献最低ε阶复杂度匹配,数值实验验证其性能。
2026-09-01 cs.LG math.OC
Adaptive Sampling Trust Region Optimization for Derivative-free Stochastic Functions and Deterministic Equality Constraints
North Carolina State University(北卡罗来纳州立大学);University of Melbourne(墨尔本大学)
针对含噪声零阶目标与可求导确定性等式约束的优化问题,提出ASTRO-DF的受限变体,证明其几乎必然收敛并在等式约束随机活动网络问题中取得数值结果。
2026-08-18 cs.NA math.NA math.OC
Sequential stochastic blackbox optimization with zeroth-order gradient estimators
本文提出基于序列随机优化的零阶符号随机梯度下降方法(ZO-Signum),通过子问题分解与精度逐步细化求解噪声黑盒优化问题,并给出收敛速率分析及数值实验验证其竞争力。
2023-08-11 math.OC
Convergence Rates of Stochastic Zeroth-order Gradient Descent for Łojasiewicz Functions
Imagination Corp.(想象公司);Fictional University(虚构大学)
本文针对满足 Łojasiewicz 不等式的光滑或非光滑目标,证明仅用零阶信息的 SZGD 算法中函数值差可比迭代点距离更快收敛。
2023-04-19 cs.LG math.OC
Distributed Zeroth Order Optimization Over Random Networks: A Kiefer-Wolfowitz Stochastic Approximation Approach
我们研究了一个标准的分布式优化框架,其中$N$网络节点协作最小化其局部凸成本之和。现有工作的主体考虑了当下层网络是静态的或确定性变化的时所描述的问题,并且分布式优化算法是一阶或二阶的,即,它涉及到局部成本的梯度和可能的局部Hessian。在本文中,我们考虑了目前研究不足但高度相关的场景:1)只有噪声函数值的估计可用(没有梯度也没有Hessian可以评估); 2)底层网络是随机变化的(根据独立的,同分布的过程)。对于所描述的随机网络零阶优化设置,我们开发了一个分布式的Kiefer-Wolfowitz型随机逼近方法。此外,根据标准的光滑性和强凸性假设的本地成本,我们建立了$O(1/k^{1/2})$均方收敛速度的方法-该速度匹配的方法的集中式对应在同等条件下。
2018-03-21 math.OC
Zeroth-Order Algorithms for Nonconvex Minimax Problems with Improved Complexities
University of California, Davis(加州大学戴维斯分校);University of Southern California(南加州大学)
在本文中,我们研究零阶算法的极大极小优化问题是非凸的一个变量和强凹的其他变量。由于极大极小优化问题在现代机器学习任务中的应用,极大极小优化问题最近引起了人们的极大关注。我们首先考虑一个确定性的版本的问题。我们设计和分析了零阶梯度下降上升(\texttt{ZO-GDA})算法,并提供了改进的结果相比,现有的作品,在预言复杂度。我们还提出了零阶梯度下降多步上升(\texttt{ZO-GDMSA})算法,显着提高了\texttt{ZO-GDA}的预言复杂度。然后,我们考虑随机版本的\texttt{ZO-GDA}和\texttt{ZO-GDMSA},处理随机非凸极大极小问题。对于这种情况,我们提供了两个假设下的随机梯度的预言复杂性结果:(i)一致有界方差假设,这是常见的传统随机最优化,和(ii)强增长条件(SGC),这已被现代过参数化机器学习模型所满足。我们建立的SGC假设下,随机算法的复杂性相匹配的确定性算法。数值实验支持我们的理论结果。
2022-04-04 cs.DS cs.LG math.OC
Extrapolation-based Direct Search for Nonsmooth Stochastic Zeroth-Order Optimization
Università di Padova(帕多瓦大学);North Carolina State University(北卡罗来纳州立大学)
本文提出一种适用于非光滑随机零阶优化的基于外推的直接搜索方法,证明其收敛性与复杂度界,经DFO基准实验验证性能具竞争力。
2026-08-03 math.OC
Sparse Perturbations for Improved Convergence in Stochastic Zeroth-Order Optimization
Heidelberg University(海德堡大学)
随机零阶(SZO)方法的兴趣最近在黑盒优化场景中重新燃起,例如对深度神经网络的对抗性黑盒攻击。SZO方法只需要在随机输入点处对目标函数求值的能力,然而,它们的弱点是它们的收敛速度依赖于待求值函数的维数。我们提出了一种稀疏SZO优化方法,该方法将该因子降低到学习过程中随机扰动的预期维度。我们给出了一个证明,证明了这种减少稀疏SZO优化的非凸函数,而不作任何假设的目标函数或梯度的稀疏性。此外,我们提出的实验结果,神经网络MNIST和CIFAR的训练损失和测试精度的收敛速度更快,和一个更小的距离的梯度近似的真实梯度稀疏SZO相比,密集SZO。
2020-06-29 cs.LG math.OC stat.ML
Zeroth-Order Algorithms for Smooth Saddle-Point Problems
Moscow Institute of Physics and Technology(莫斯科物理技术学院);Higher School of Economics(高等经济学院);Weierstrass Institute for Applied Analysis and Stochastics(魏尔斯特拉斯应用分析与随机研究所);Institute for Information Transmission Problems RAS(俄罗斯科学院信息传输问题研究所);Caucasus Mathematical Center, Adyghe State University(阿迪格国立大学高加索数学中心)
鞍点问题最近受到机器学习社区越来越多的关注,主要是由于使用随机梯度训练生成对抗网络的应用。同时,在某些应用中,只有零阶oracle可用。本文提出了几种利用零阶预言机求解随机光滑(强)凹凸鞍点问题的算法,并估计了它们的收敛速度及其对变量维数$n$的依赖性.特别是,我们的分析表明,在可行集是两个单纯形的直积的情况下,我们的随机项的收敛速度仅由一个$\log n$因素比一阶方法差。我们还考虑了一个混合的设置和开发1/2阶的方法,使用零阶预言的最小化部分和一阶预言的最大化部分。最后,我们展示了我们的零阶和1/2阶方法在实际问题上的实际性能。
2021-02-27 cs.LG math.OC
Zeroth-Order Stochastic Mirror Descent Algorithms for Minimax Excess Risk Optimization
Shanghai University(上海大学);Great Bay Institute for Advanced Study(大湾区高等研究院)
针对MERO问题,本文提出适用于平滑与非平滑场景的ZO-SMD算法,通过估计分布极小风险将其转化为极小化极大优化问题,并证明了其最优收敛速率,数值实验验证了算法有效性。
2024-08-22 cs.LG math.OC stat.ML
Complexity Guarantees for Zeroth-order Methods via Exponentially-shifted Gaussian Smoothing: Mitigating Dimension-dependence and Incorporating Decision-dependence
The Pennsylvania State University(宾夕法尼亚州立大学);University of Michigan(密歇根大学)
本文提出指数位移高斯平滑估计器,解决高斯平滑零阶方法的维度依赖问题,并扩展至决策依赖场景,改进迭代复杂度并保持相似oracle复杂度,同时在凸和非凸情况下提供新的理论保证。
2026-04-16 math.OC math.PR
Zeroth-Order Stochastic Alternating Direction Method of Multipliers for Nonconvex Nonsmooth Optimization
University of Pittsburgh(匹兹堡大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学);JD Finance America Corporation(京东金融美国公司)
交替方向乘子法(ADMM)是机器学习中求解组合和约束问题的一种常用优化工具。然而,在许多机器学习问题中,如黑箱攻击和强盗反馈,ADMM可能会失败,因为这些问题的显式梯度很难或不可行获得。零阶(无梯度)优化方法由于只需要目标函数值,可以有效地解决这些问题。近年来,虽然出现了一些零阶ADMM方法,但它们都是建立在目标函数的凸性上的。显然,这些现有的零阶方法在许多应用中是有限的。因此,在本文中,我们提出了一类快速零阶随机ADMM方法(即,ZO-SVRG-ADMM和ZO-SAGA-ADMM)求解具有多个非光滑罚函数的非凸问题。证明了ZO-SVRG-ADMM和ZO-SAGA-ADMM都具有$O(1/T)$的收敛速度,其中$T$表示迭代次数.特别是,我们的方法不仅达到了非凸优化的最佳收敛速度$O(1/T)$,而且能够有效地解决许多复杂的机器学习问题,多个正则化的惩罚和约束。最后,我们对黑盒深度神经网络进行了黑盒二进制分类和结构化对抗攻击的实验,以验证我们的算法的效率。
2019-07-30 cs.CV math.OC stat.ML
Faster Gradient-Free Proximal Stochastic Methods for Nonconvex Nonsmooth Optimization
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);University of Pittsburgh(匹兹堡大学)
最近梯度法在解决许多机器学习问题,特别是非光滑问题中发挥着重要作用。然而,在一些机器学习问题中,如强盗模型和黑盒学习问题,近端梯度法可能会失败,因为这些问题的显式梯度是困难的或不可行的。无梯度(零阶)方法可以解决这些问题,因为在优化中只需要目标函数值。最近,第一个零阶邻近随机算法被提出来解决非凸非光滑问题。然而,它的收敛速度是$O(\frac{1}{\sqrt{T}})$的非凸问题,这是显着低于零阶随机算法的最佳收敛速度$O(\frac{1}{T})$,其中$T$是迭代次数。为了填补这一空白,在本文中,我们提出了一类更快的零阶近似随机方法与SVRG和SAGA的方差减少技术,这是表示为ZO-ProxSVRG和ZO-ProxSAGA,分别。在理论分析中,我们解决的主要挑战,真正的梯度的无偏估计不持有在零阶的情况下,这是需要在以前的理论分析SVRG和SAGA。证明了ZO-ProxSVRG和ZO-ProxSAGA算法都具有$O(\frac{1}{T})$收敛速度。最后,实验结果表明,我们的算法具有更快的收敛速度比现有的零阶邻近随机算法。
2019-02-16 cs.LG math.OC stat.ML
A Slow-Fast Stochastic Framework for Zeroth-Order Distributed Time-Varying Optimization
Sichuan University(四川大学)
研究仅用零阶信息的随机多智能体系统分布式时变优化,构建慢-快随机框架,引入辅助变量和快速子系统生成梯度估计,慢子系统进行优化和一致性,分析收敛性并通过模拟验证,建立界表征参数等对跟踪性能的影响。
2026-07-17 math.OC
High-Probability Last-Iterate Guarantees for Two-Point Gaussian Zeroth-Order Stochastic Gradient Descent
Xi’an Jiaotong University(西安交通大学)
针对光滑强凸随机优化,证明标准同样本两点高斯零阶随机梯度方法具有直接的高概率最后迭代收敛率 O(d/T),置信度对数依赖 1/δ。
2026-07-13 math.OC
Communication-Efficient Distributed Strongly Convex Stochastic Optimization: Non-Asymptotic Rates
我们研究基本的权衡迭代分布式零阶和一阶随机最优化在多智能体网络的\emph{communication cost}(每节点传输的数量)和\emph{computational cost},衡量每节点噪声函数(分别,梯度)的数量与零阶(分别,一阶)的方法。具体而言,我们开发了新的分布式随机最优化方法,零阶和一阶强凸优化,利用概率代理间的通信协议,随着时间的推移,越来越稀疏代理之间的通信。在标准的假设下的成本函数和噪声统计,我们建立与所提出的方法的$O(1/(C_{\mathrm{comm}})^{4/3-ζ})$和$O(1/(C_{\mathrm{comm}})^{8/9-ζ})$均方误差收敛速度,分别为第一和零阶优化,其中$C_{\mathrm{comm}}$是预期的网络通信数量和$ζ>0$是任意小。这些方法在计算成本$C_{\mathrm{comp}}$、$O(1/C_{\mathrm{comp}})$(一阶优化)和$O(1/(C_{\mathrm{comp}})^{2/3})$(零阶优化)方面实现了阶最优收敛率,同时在迭代方面实现了阶最优收敛率。在真实数据集上的实验表明了所提算法的有效性。
2018-09-09 math.OC
Inexact Zeroth-Order Nonsmooth and Nonconvex Stochastic Composite Optimization and Applications
King’s College London(伦敦国王学院);Yale University(耶鲁大学)
本文提出了一种近似零阶方法,用于解决非光滑非凸随机复合优化问题,并展示了其在广泛问题中的应用,超越了现有方法的局限性。
2025-12-10 math.OC
Distributed Zeroth-Order Stochastic Optimization in Time-varying Networks
考虑了时变网络中的分布凸优化问题,该问题不总是强连通的。每个节点的局部代价函数受某种随机过程的影响。网络的所有节点协作以最小化其局部费用函数的平均值。我们的工作的主要挑战是,费用函数的梯度应该是不可用的,只能估计的基础上的数值观测的费用函数。这种问题称为零阶随机凸优化(ZOSCO)。在本文中,我们采取了第一步的分布式最优化问题与ZOSCO设置。该算法在每次迭代时包含两个基本步骤:i)每个单元根据其局部成本函数的基于随机扰动的单点梯度估计器更新局部变量; ii)每个单元与其直接邻居交换其局部变量,然后执行加权平均。在代价函数光滑且强凸的情况下,经过$T$迭代,我们可达到的优化误差为$O(T^{-1/2})$。这个结果是有趣的,因为$O(T^{-1/2})$是ZOSCO问题中的最佳收敛速度。我们还研究了一般Lipschitz凸函数的优化误差,结果是$O(T^{-1/4})$。
2021-05-26 cs.DC math.OC
Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);University of Texas at Dallas(德克萨斯大学达拉斯分校);University of California, Berkeley(加利福尼亚大学伯克利分校);New York University(纽约大学);Princeton University(普林斯顿大学)
本文针对随机零阶反馈下的强凸且二阶光滑函数优化问题,首次建立了极小极大简单遗憾的紧致上下界,并提出一种结合引导阶段与镜像下降阶段的算法,通过精确刻画球面采样梯度估计器实现最优偏差-方差权衡。
2024-06-28 cs.IT cs.LG math.IT
Stochastic Lie-Bracket Approximations for Zeroth-Order Optimization on Manifolds
University at Buffalo, State University of New York(纽约州立大学布法罗分校);University of California San Diego(加州大学圣地亚哥分校)
本文提出一种仅用目标函数测量值驱动的连续时间零阶优化算法,通过随机李括号逼近实现黎曼梯度动力学,并证明其轨迹逼近集中于全局极小值的朗之万扩散,给出有限与无限时域的概率收敛保证。
2026-09-30 cs.SY eess.SY math.OC
Accelerated Zeroth-order Method for Non-Smooth Stochastic Convex Optimization Problem with Infinite Variance
本文针对无限噪声方差下的非光滑随机凸优化问题,将改进截断的加速梯度方法适配到两点零阶 oracle,并扩展分批技术以处理无限方差,从而突破有限方差假设的限制。
2023-10-28 math.OC
Stochastic Zeroth-order Optimization via Variance Reduction method
The University of Sydney(悉尼大学);University of California, Davis(加州大学戴维斯分校)
无导数优化已经成为机器学习中用于优化黑盒模型的重要技术。为了在不显式计算梯度的情况下进行更新,大多数当前方法迭代地从高斯分布中采样随机搜索方向,并计算沿该方向的估计梯度。然而,由于搜索方向的变化,现有方法的收敛速度和查询复杂度受到$d$的影响,其中$d$是问题维度。在本文中,我们介绍了一种新的随机零阶方法与方差减少高斯平滑(SZVR-G),并建立了优化非凸问题的复杂性。随着样本空间和搜索空间的方差减少,我们的算法的复杂性是次线性的$d$,严格优于目前的方法,在光滑和非光滑的情况下。此外,我们将所提出的方法扩展到小批量版本。我们的实验结果表明,所提出的方法优于现有的无导数优化技术的性能。此外,我们成功地将我们的方法应用于对深度神经网络进行通用黑盒攻击,并给出了一些有趣的结果。
2018-08-02 cs.LG math.OC stat.ML
Zeroth-Order Algorithms for Stochastic Distributed Nonconvex Optimization
在本文中,我们考虑了一个随机分布的非凸最优化问题的成本函数分布在$n$代理只访问零阶(ZO)的成本信息。这个问题有各种机器学习应用。作为一种解决方案,我们提出了两个分布式ZO算法,在每次迭代中,每个代理样本的本地随机ZO预言在两个点随时间变化的平滑参数。我们证明了所提出的算法实现了线性加速收敛速度$\mathcal{O}(\sqrt{p/(nT)})$光滑的费用函数下的状态依赖方差的假设,这是更一般的比常用的有界方差和Lipschitz假设,和$\mathcal{O}(p/(nT))$收敛速度时,全局成本函数另外满足Polyak-Jasiewicz(P-Jasiewicz)条件此外,其中,$p$和$T$分别是决策变量的维数和迭代的总次数。据我们所知,这是分布式ZO算法的第一个线性加速结果,它通过添加更多的代理来提高系统的处理性能。我们还表明,所提出的算法线性收敛的相对有界的二阶矩假设和P-S条件下。我们通过数值实验证明了我们的算法在从深度神经网络生成对抗性示例方面的效率,并与基线和最近提出的集中式和分布式ZO算法进行了比较。
2021-12-13 math.OC
Zeroth-order Stochastic Cubic Newton Method Revisited
本文研究有限和损失的随机最小化问题,提出一种利用低秩Hessian结构的随机零阶三次牛顿法,通过基于矩阵恢复的估计技术实现精确Hessian近似,显著降低了维度依赖性,并在矩阵恢复和机器学习任务上验证了其有效性与可扩展性。
2025-08-11 math.OC
Zeroth-Order Methods for Nonconvex Stochastic Problems with Decision-Dependent Distributions
Graduate School of Information Science and Technology, University of Tokyo(东京大学信息科学与技术研究生院);Center for Advanced Intelligence Project, RIKEN(理化学研究所先进智能项目中心)
本文针对决策依赖分布未知导致梯度不可得的非凸随机优化问题,提出两种温和假设下的零阶方法,分别采用带方差缩减参数的单点梯度估计器和两点梯度估计器,并证明了收敛性及样本复杂度,在零售服务真实数据实验中取得了优于传统零阶方法的目标值。
2024-12-29 cs.LG math.OC
Adaptive Zeroth-Order Optimisation of Nonconvex Composite Objectives
Technische Universität Berlin(柏林工业大学)
在本文中,我们提出并分析了非凸复合目标的零阶优化算法,重点是减少复杂性对维数的依赖。这是通过利用低维结构的决策集使用随机镜像下降法与熵相似的功能,它执行梯度下降的空间配备了最大的范数。为了提高梯度估计,我们用基于Rademacher分布的采样方法取代了经典的高斯平滑方法,并表明小批量方法可以处理非欧几何。为了避免调整超参数,我们分析了一般随机镜像下降的自适应步长,并表明所提出的算法的自适应版本收敛,而不需要有关问题的先验知识。
2022-08-14 cs.LG math.OC
Optimal Zeroth-Order Bilevel Optimization
Oregon State University(俄勒冈州立大学);Wisconsin Institute for Discovery, University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Waterloo(滑铁卢大学)
针对仅能获得含噪函数值的随机双层优化,论文提出基于 Jacobian/Hessian 与罚函数重构的两类零阶算法,分别达到 O(d³/ε²) 和维度线性依赖的 O(d/ε²) 最优样本复杂度。
2025-10-04 math.OC
Stochastic Zeroth-order Riemannian Derivative Estimation and Optimization
University of California, Davis(加州大学戴维斯分校)
研究了欧几里得空间中黎曼子流形上的随机零阶优化问题,其任务是求解只有噪声目标函数估值的黎曼最优化问题.为此,我们的主要贡献是提出估计的黎曼梯度和海森噪声目标函数的评价,基于黎曼版本的高斯平滑技术。所提出的估计克服了困难的非线性的流形约束和使用欧氏高斯平滑技术时出现的问题,函数只定义在流形上。我们使用建议的估计解决黎曼最优化问题在以下设置的目标函数:(i)随机和梯度Lipschitz(在非凸和测地凸设置),(ii)梯度Lipschitz和非光滑函数的总和,和(iii)海森Lipschitz。对于这些设置,我们分析了我们的算法,以获得适当定义的概念$ε$ -平稳点或$ε$ -近似局部极小的Oracle复杂性。值得注意的是,我们的复杂性是独立的周围的欧几里得空间的尺寸,只取决于所考虑的流形的内在尺寸。我们证明了我们的算法的适用性,通过仿真结果和现实世界中的应用程序对机器人的黑箱刚度控制和黑箱攻击的神经网络。
2021-01-05 cs.DS cs.LG math.OC