Accelerated Stochastic Zeroth-Order Quasar-Convex Optimization
Institut de Mathématiques de Bordeaux, Université de Bordeaux（波尔多数学研究所，波尔多大学）
研究在仅通过随机零阶预言机获取有噪声函数评估时，对光滑拟凸函数进行无约束最小化的问题。设计零阶连续化算法，实现加速收敛保证，包含镜像步骤改善维度依赖性。
2026-07-23 math.OC
Zeroth-order methods for noisy Hölder-gradient functions
本文证明了非凸优化零阶方法的新的复杂性界，其中目标函数值具有不精确观测。我们使用Nesterov和Spokoiny [2015]的高斯平滑方法，并将其结果扩展到光滑零阶非凸问题的最优化方法，以设置具有Hölder连续梯度的函数的最小化，并获得噪声上界。我们考虑了基于正态分布随机高斯向量的有限差分梯度近似，并证明了基于这种近似的梯度下降格式收敛到光滑函数的平稳点。我们还考虑收敛到原来的（不平滑）功能的稳定点，并获得的步骤的数量上的界限，使其梯度的范数小的算法。此外，我们提供了零阶预言中的噪声水平的界限，仍然可以保证上述界限。我们还考虑单独的情况下，$ν= 1$，并表明，在这种情况下，所获得的边界上的尺寸的依赖性可以得到改善。
2021-01-13 math.OC
Zeroth-Order Algorithms for Smooth Saddle-Point Problems
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Higher School of Economics（高等经济学院）；Weierstrass Institute for Applied Analysis and Stochastics（魏尔斯特拉斯应用分析与随机研究所）；Institute for Information Transmission Problems RAS（俄罗斯科学院信息传输问题研究所）；Caucasus Mathematical Center, Adyghe State University（阿迪格国立大学高加索数学中心）
鞍点问题最近受到机器学习社区越来越多的关注，主要是由于使用随机梯度训练生成对抗网络的应用。同时，在某些应用中，只有零阶oracle可用。本文提出了几种利用零阶预言机求解随机光滑（强）凹凸鞍点问题的算法，并估计了它们的收敛速度及其对变量维数$n$的依赖性.特别是，我们的分析表明，在可行集是两个单纯形的直积的情况下，我们的随机项的收敛速度仅由一个$\log n$因素比一阶方法差。我们还考虑了一个混合的设置和开发1/2阶的方法，使用零阶预言的最小化部分和一阶预言的最大化部分。最后，我们展示了我们的零阶和1/2阶方法在实际问题上的实际性能。
2021-02-27 cs.LG math.OC
Robust Analysis of Almost Sure Convergence of Zeroth-Order Mirror Descent Algorithm
本文研究带偏噪声预言机下零阶镜像下降算法的几乎必然收敛性，利用改进的 Nesterov 高斯近似估计次梯度，并给出有限时间集中不等式刻画迭代值落入最优邻域的概率。
2024-06-30 math.OC
A Parameter-Free Zeroth-Order Algorithm for Decentralized Stochastic Convex Optimization
MIRIAI（莫斯科信息检索与分析研究所）；Appied AI Institute（应用人工智能研究所）
本文提出一种去中心化POEM算法，通过双点平滑和自适应半径与步长规则，实现无需先验知识的去中心化随机凸优化。
2026-03-16 math.OC
Penalty Methods with Stochastic Approximation for Stochastic Nonlinear Programming
本文提出了一类解随机非线性规划问题的具有随机逼近的罚方法。我们假设只有噪声梯度或目标函数的函数值是通过调用随机一阶或零阶预言。在所提出的方法的每次迭代中，我们最小化的精确罚函数，这是非光滑和非凸的，只有随机的一阶或零阶信息。随机逼近算法解决这个特殊的子问题。最坏情况下的复杂性的随机一阶（或零阶）预言的建议的惩罚方法获得一个$ε$ -随机临界点进行了分析。
2016-05-19 math.OC
Zeroth-Order Katyusha: An Accelerated Derivative-Free Method for Composite Convex Optimization
针对约束/复合凸优化中两点零阶梯度估计器导致的复杂度界差距问题，提出融合方差缩减与加速技术的ZO-L-Katyusha算法，实现复合光滑强凸问题的加速线性收敛，达到与无约束情形一致的预言机复杂度，平均函数查询次数达O(1)。
2024-07-12 math.OC
A Zeroth-Order Variance-Reduced Method for Decentralized Stochastic Non-convex Optimization
本文提出DZOVR算法，结合两点梯度估计、动量方差缩减与梯度跟踪，首次在去中心化随机非凸优化中实现O(dn^{-1}ε^{-3})采样复杂度，并具有网络无关性和线性加速特性。
2023-10-29 math.OC
Wall-Clock Complexity for Zeroth-Order Optimization with Tunable Oracle Fidelity
Weierstrass Institute for Applied Analysis and Stochastics（魏泽拉斯应用分析与随机学研究所）；Moscow Independent Research Institute of Artificial Intelligence（莫斯科独立人工智能研究 institute）；MSU Institute for Artificial Intelligence（莫斯科大学人工智能研究所）；HSE University（莫斯科国立高等经济大学）；Trusted AI Research Center, RAS（可信人工智能研究中心，俄罗斯科学院）；Innopolis University（伊诺波利斯大学）
针对零阶优化中 oracle 保真度可调的场景，提出挂钟复杂度模型并分析参数选择对总时间的影响，揭示加速方法可能劣于非加速方法，并刻画恒定保真度策略最优的条件。
2026-05-29 cs.LG math.OC
High Probability Complexity Bounds for Adaptive Step Search Based on Stochastic Oracles
针对只能通过有偏、不精确随机零阶/一阶预言机获取信息的连续优化问题，提出一种自适应步长搜索算法，并给出非凸、凸及 PL 条件下迭代复杂度的高概率尾界。
2023-11-02 math.OC
Zeroth-Order Stochastic Coordinate Methods for Decentralized Non-convex Optimization
本文首先提出了一种\underline{Z} eroth- \underline{O} rder c \underline{M} zoom方法来求解分散网络上的随机最优化问题，该问题只有零阶~（ZO）预言反馈。此外，我们还为ZOOM提供了一个简单的机制“powerball”，并提出了ZOOM-PB来加速ZOOM的收敛。与现有的方法相比，我们验证了所提出的算法，通过两个基准的例子在文献中，即黑盒二进制分类和生成对抗性的例子从黑盒DNN，以比较现有的国家的最先进的集中式和分布式ZO算法。数值结果表明，所提出的算法具有更快的收敛速度。
2022-10-10 math.OC
Minimisation of Submodular Functions Using Gaussian Zeroth-Order Random Oracles
School of Engineering, Australian National University（工程学院，澳大利亚国立大学）；CIICADA Lab（CIICADA实验室）；Department of Mechanical Engineering, University of Texas at Dallas（机械工程系，德克萨斯大学达拉斯分校）；Department of Electrical and Electronic Engineering, University of Melbourne（电子与电气工程系，墨尔本大学）
本文提出一种基于高斯平滑随机预言机的零阶方法用于最小化子模函数，证明了离线收敛性和在线静态/动态遗憾界，并给出复杂度分析与数值验证。
2025-10-17 cs.LG cs.NA math.NA
Median Clipping for Zeroth-order Non-Smooth Convex Optimization and Multi-Armed Bandit Problem with Heavy-tailed Symmetric Noise
本文提出了一种中位数截断方法，用于解决受重尾对称噪声影响的零阶非光滑凸优化和多臂老虎机问题，实现了在不同噪声条件下优于现有方法的收敛速率和性能。
2025-12-05 math.OC
Accelerated Zeroth-order Method for Non-Smooth Stochastic Convex Optimization Problem with Infinite Variance
本文针对无限噪声方差下的非光滑随机凸优化问题，将改进截断的加速梯度方法适配到两点零阶 oracle，并扩展分批技术以处理无限方差，从而突破有限方差假设的限制。
2023-10-28 math.OC
Zeroth order optimization with orthogonal random directions
我们提出并分析了一个随机零阶方法的基础上近似的精确梯度有限差分计算在一组正交随机方向，每次迭代的变化。一些ofpreviously提出的方法恢复为特殊情况，包括球面平滑，坐标下降，以及离散梯度下降。我们的主要贡献是证明收敛保证以及收敛率在不同的参数选择和假设。特别是，我们考虑凸目标，但也possiblynon-convex目标满足的Polyak-Jasojasiewicz（PL）条件。理论结果得到了数值实验的补充和说明。
2021-11-15 math.OC
Zeroth-Order Non-smooth Non-convex Optimization via Gaussian Smoothing
Indian Institute of Science（印度科学学院）
针对仅含噪声函数值的Lipschitz连续非光滑非凸优化问题，提出一种双时间尺度零阶投影随机次梯度方法，利用高斯平滑逼近Clarke次微分，并证明迭代几乎必然收敛到Clarke驻点邻域。
2026-06-01 math.OC
A Zeroth-order Proximal Stochastic Gradient Method for Weakly Convex Stochastic Optimization
本文提出一种基于高斯平滑技术的零阶近邻随机梯度方法，可在无需一阶信息的情况下求解弱凸随机优化问题，在相位检索和自动超参数调优等场景中展现出优越性能。
2025-04-18 math.OC
Mirror Descent Linearized Augmented Lagrangian Methods for Nonconvex Constrained Stochastic Zeroth-Order Optimization
Sun Yat-sen University（中山大学）；Pengcheng Laboratory（鹏城实验室）；ShanghaiTech University（上海科技大学）
针对可获取约束精确信息及目标带噪值的非凸约束随机零阶优化问题，提出结合随机零阶梯度估计器与方差缩减技术的Bregman线性化增广拉格朗日方法，分析其oracle复杂度，在高维场景下复杂度优于现有方法且与文献最低ε阶复杂度匹配，数值实验验证其性能。
2026-09-01 cs.LG math.OC
Zeroth-order optimisation on subsets of symmetric matrices with application to MPC tuning
本文提供了一个零阶优化框架的非光滑和可能的非凸费用函数与矩阵参数是真实的和对称的。我们提供的复杂性界限，以确保一个给定的精度水平的凸和非凸的情况下所需的迭代次数。推导出的复杂性界限的凸的情况下，是不太保守的比现有的界限在文献中，因为我们利用了对称结构的基础矩阵空间。此外，非凸的复杂性界限是新颖的，我们考虑的优化问题的类。在使用对称矩阵作为调优参数的应用程序套件中，该框架的实用性是显而易见的。这里主要关注的是调整模型预测控制器中的增益矩阵的挑战，因为这是已知抑制这些架构的工业实现的挑战。为了证明该框架，我们考虑MIMO柴油机空气路径控制的问题，并考虑迭代地实现该框架“在环”，以减少输出通道上的跟踪误差。仿真和实验结果都包括在不同的发动机驱动循环，以说明所提出的框架的有效性。
2021-06-28 math.OC
The Power of First-Order Smooth Optimization for Black-Box Non-Smooth Problems
在过去的十年中，黑盒凸优化的无约束/零阶方法得到了广泛的研究，主要集中在Oracle调用复杂性上。在本文中，除了预言的复杂性，我们还专注于迭代的复杂性，并提出了一个通用的方法，最佳的一阶方法的基础上，允许在一个黑盒时尚获得新的零阶算法的非光滑凸优化问题。我们的方法不仅导致最佳的预言复杂性，但也允许获得类似的一阶方法，这反过来又允许利用并行计算，以加速我们的算法的收敛迭代复杂性。我们还详细介绍了随机最优化问题，鞍点问题和分布式优化的扩展。
2023-03-01 math.OC
Compressed Zeroth-Order Algorithm for Stochastic Distributed Nonconvex Optimization
针对带宽受限且无显式梯度的随机分布式非凸优化，提出CZSD算法，利用压缩通信与两点零阶预言机实现线性加速及低通信、低采样复杂度。
2025-08-29 math.OC
Minimisation of Quasar-Convex Functions Using Random Zeroth-Order Oracles
School of Engineering（工程学院）；Australian National University（澳大利亚国立大学）；Department of Electrical and Electronic Engineering（电子与电气工程系）；University of Melbourne（墨尔本大学）
本文研究随机高斯平滑零阶方法在无约束和约束设置下最小化类星凸函数及强类星凸函数的性能，证明了收敛性并给出了复杂度界，同时引入近端类星凸性概念处理约束问题，并在线性动力系统辨识等机器学习问题上验证了效果。
2026-06-24 cs.AI cs.LG cs.NA
Minimax Oracle Call Complexity, Rounds and Admissible Noise in Zeroth-Order Optimization of Highly Smooth Functions
MIRIAI；HSE University（高等经济大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Innopolis University（喀山国立研究技术大学）；AI Institute MSU（莫斯科国立大学人工智能研究所）
本文研究高度光滑凸函数的零阶优化，提出加速有限差分方法，在强凸情形下达到调用次数下界 $d^2\varepsilon^{-\beta/(\beta-1)}$ 且轮次为 $O(\sqrt{\kappa}\log(1/\varepsilon))$，并证明可容忍最优噪声，实验验证理论。
2026-10-16 math.OC
Zeroth-Order Non-Convex Optimization for Cooperative Multi-Agent Systems with Diminishing Step Size and Smoothing Radius
针对带时延通信的协作多智能体零阶非凸分布式优化问题，提出一种基于递减步长和平滑参数的两点梯度估计器算法，实现了向一阶驻点的收敛，且无需局部成本函数的先验信息即可优化黑盒全局函数。
2024-01-08 math.OC
Derivative-Free Method For Composite Optimization With Applications To Decentralized Distributed Optimization
本文基于Lan（2016，2019）的滑动算法，提出了一种求解凸组合最优化问题的新方法。我们的方法使用随机噪声零阶预言的非光滑部分和一阶预言的光滑部分。据我们所知，这是文献中第一个使用这种混合预言机进行复合优化的方法。我们证明了新方法的收敛速度，匹配相应的速度为一阶方法的一个因素成比例的空间的尺寸，或在某些情况下，其平方对数。我们应用这种方法的分散分布式优化，并推导出上界的通信轮数为这种方法匹配已知的下界。此外，我们对每个节点的零阶Oracle调用的数量的限制与一阶分散式分布式优化的类似的最先进的限制相匹配，直到与空间的维度成比例的因子，或者在某些情况下，甚至是其平方对数。
2020-09-10 math.OC
A Unified Zeroth-Order Proximal Newton-Type Framework for Composite Optimization
Shanghai Jiao Tong University（上海交通大学）
本文提出了一种无导数的近似牛顿型算法框架，用于解决复合优化问题，该问题可表示为黑盒函数与已知正则化项之和。研究建立了在非凸和强凸情况下，算法达到ε-最优解的迭代和oracle复杂度界，并基于Dennis--Moré条件证明了局部R超线性收敛性。
2026-05-07 math.OC
Communication-Efficient Distributed Strongly Convex Stochastic Optimization: Non-Asymptotic Rates
我们研究基本的权衡迭代分布式零阶和一阶随机最优化在多智能体网络的\emph{communication cost}（每节点传输的数量）和\emph{computational cost}，衡量每节点噪声函数（分别，梯度）的数量与零阶（分别，一阶）的方法。具体而言，我们开发了新的分布式随机最优化方法，零阶和一阶强凸优化，利用概率代理间的通信协议，随着时间的推移，越来越稀疏代理之间的通信。在标准的假设下的成本函数和噪声统计，我们建立与所提出的方法的$O(1/(C_{\mathrm{comm}})^{4/3-ζ})$和$O(1/(C_{\mathrm{comm}})^{8/9-ζ})$均方误差收敛速度，分别为第一和零阶优化，其中$C_{\mathrm{comm}}$是预期的网络通信数量和$ζ>0$是任意小。这些方法在计算成本$C_{\mathrm{comp}}$、$O(1/C_{\mathrm{comp}})$（一阶优化）和$O(1/(C_{\mathrm{comp}})^{2/3})$（零阶优化）方面实现了阶最优收敛率，同时在迭代方面实现了阶最优收敛率。在真实数据集上的实验表明了所提算法的有效性。
2018-09-09 math.OC
Asymmetric Feedback Learning in Online Convex Games
本文放宽智能体对称性假设，针对部分智能体获一阶梯度信息、部分获零阶预言机的非对称场景，提出结合两类信息机制的学习算法，分析其遗憾值与纳什均衡收敛性，数值实验验证了算法性能。
2025-09-24 math.OC
Distributed Online Optimization in Time-Varying Unbalanced Networks without Explicit Subgradients
研究了无显式次梯度的时变不平衡有向图上的分布式在线约束最优化问题。与现有算法形成鲜明对比的是，我们设计了一种新的基于共识的分布式在线算法，该算法具有局部随机零阶预言机，然后通过构造行随机阵来重新缩放预言机，旨在解决时变有向图的不平衡性。在温和的条件下，平均动态后悔超过一个时间范围内渐近收敛于一个次线性速率提供的累积变化增长的次线性与特定的顺序。此外，该算法的对应子梯度时，也提供了其动态遗憾界，这反映了我们的算法的收敛性基本上是不受零阶预言。通过对传感器网络中的分布式目标跟踪问题和动态稀疏信号恢复问题的仿真，验证了该算法的有效性。
2022-02-23 math.OC
Zeroth-Order Algorithms for Nonconvex Minimax Problems with Improved Complexities
University of California, Davis（加州大学戴维斯分校）；University of Southern California（南加州大学）
在本文中，我们研究零阶算法的极大极小优化问题是非凸的一个变量和强凹的其他变量。由于极大极小优化问题在现代机器学习任务中的应用，极大极小优化问题最近引起了人们的极大关注。我们首先考虑一个确定性的版本的问题。我们设计和分析了零阶梯度下降上升（\texttt{ZO-GDA}）算法，并提供了改进的结果相比，现有的作品，在预言复杂度。我们还提出了零阶梯度下降多步上升（\texttt{ZO-GDMSA}）算法，显着提高了\texttt{ZO-GDA}的预言复杂度。然后，我们考虑随机版本的\texttt{ZO-GDA}和\texttt{ZO-GDMSA}，处理随机非凸极大极小问题。对于这种情况，我们提供了两个假设下的随机梯度的预言复杂性结果：（i）一致有界方差假设，这是常见的传统随机最优化，和（ii）强增长条件（SGC），这已被现代过参数化机器学习模型所满足。我们建立的SGC假设下，随机算法的复杂性相匹配的确定性算法。数值实验支持我们的理论结果。
2022-04-04 cs.DS cs.LG math.OC
Improved Regret for Zeroth-Order Adversarial Bandit Convex Optimisation
DeepMind（深度思维）
我们证明了零阶对抗强盗凸优化的极大极小遗憾的信息论上界至多为$O(d^{2.5} \sqrt{n} \log(n))$，其中$d$是维数，$n$是交互数.这改进了Bubeck等人（2017）的$O(d^{9.5} \sqrt{n} \log(n)^{7.5}$。证明是基于识别一个改进的探索性分布的凸函数。
2020-09-25 cs.LG math.OC stat.ML
On the Inherent Privacy of Zeroth Order Projected Gradient Descent
Department of Computer Science University of Southern California（计算机科学系美国南加州大学）
本文证明零阶梯度下降的固有噪声不足以保证差分隐私，即使在随机初始化下，其隐私损失也可能随迭代次数超线性增长。
2025-07-09 cs.LG math.OC stat.ML
Adaptively Incorporating Directional Hints into Zeroth-Order Optimization
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Hong Kong（香港大学）
针对非凸零阶优化，提出控制变量零阶下降（CV-ZOD）框架，自适应利用方向提示，实现介于一阶与零阶之间的收敛速率，并在模拟科学优化任务中验证有效性。
2026-09-09 cs.LG math.OC
Inexact Zeroth-Order Nonsmooth and Nonconvex Stochastic Composite Optimization and Applications
本文提出了一种近似零阶方法，用于解决非光滑非凸随机复合优化问题，并展示了其在广泛问题中的应用，超越了现有方法的局限性。
2025-12-10 math.OC
Gradient and gradient-free methods for stochastic convex optimization with inexact oracle
本文推广了通用梯度法（Yu. Nesterov）推广到强凸情形和中间梯度法（Devolder-Glineur-Nesterov）。我们还考虑可能的泛化随机和在线环境。我们展示了如何将这些结果推广到无梯度方法和随机方向搜索方法。但本文的主要内容是对神谕的假设。我们认为神谕不准确。
2016-03-28 math.OC
Safe Zeroth-Order Convex Optimization Using Quadratic Local Approximations
我们解决黑盒凸优化问题，其中的目标和约束函数是不明确的，但可以在可行集内采样。因此，挑战在于生成一系列可行点，这些可行点朝着最优解收敛。通过利用目标函数和约束函数的光滑特性的知识，我们提出了一种新的零阶方法，SZO-QQ，迭代计算约束函数的二次近似，构造局部可行集并对其进行优化。我们证明了在每次迭代中产生的目标值序列的收敛性。通过实验，我们表明，我们的方法可以实现更快的收敛速度相比，最先进的零阶方法的凸优化。
2022-11-07 cs.SY eess.SY math.OC
Oracle Complexity Separation in Convex Optimization
许多凸优化问题的目标函数都是由不同类型的预言机（全梯度、坐标导数、随机梯度）和不同计算复杂度的函数组成的。在强凸的情况下，这些函数也有不同的条件数，最终定义了一阶方法的迭代复杂度和达到给定精度所需的oracle调用次数。出于希望调用更昂贵的甲骨文的次数少，在本文中，我们考虑最小化的两个功能的总和，并提出了一个通用的算法框架，以单独的甲骨文复杂性的总和中的每个组件。作为一个具体的例子，对于$μ$ -强凸问题$\min_{x\in \mathbb{R}^n} h(x) + g(x)$与$L_h$ -光滑函数$h$和$L_g$ -光滑函数$g$，我们的算法的一个特殊情况需要，直到对数因子，$O(\sqrt{L_h/μ})$一阶oracle调用$h$和$O(\sqrt{L_g/μ})$一阶oracle调用$g$。我们的一般框架还涵盖了强凸目标的设置，设置时，$g$是由坐标导数Oracle，和设置时，$g$有一个有限和结构，并可通过随机梯度Oracle。在后两种情况下，我们分别得到加速随机坐标下降和加速方差减少方法与预言复杂性分离。
2022-03-11 math.OC
Langevin for Nonconvex Optimization: Exact, Inexact and Zeroth-Order
University of Genova（热那亚大学）；Université Côte d’Azur（蔚蓝海岸大学）；INRIA（法国国家数字研究院）；CNRS（法国国家科学研究中心）；Istituto Italiano di Tecnologia（意大利理工学院）
研究基于朗之万的非凸优化方法，通过特定不等式和估计从相对熵到目标值误差，先分析精确梯度的未调整朗之万算法，再扩展到不精确梯度版本，给出零阶朗之万优化复杂度界并进行数值实验。
2026-10-02 math.OC
Zeroth-Order Methods for Convex-Concave Minmax Problems: Applications to Decision-Dependent Risk Minimization
University of California, Berkeley（加州大学伯克利分校）；University of Washington, Seattle（西雅图华盛顿大学）
最小最大优化正在成为一个关键的框架，用于分析问题的鲁棒性，以战略和对抗性生成的数据。提出了一种基于随机重排的无梯度乐观梯度下降-上升算法，用于求解具有有限和结构的凹凸极大极小问题。证明了该算法具有与求解凸极小化问题的零阶算法相同的收敛速度。我们进一步专门的算法来解决分布鲁棒性，决策相关的学习问题，梯度信息是不容易获得的。通过说明性的模拟，我们观察到，我们提出的方法学习的模型，同时对敌对的分布变化和战略决策的数据源，并优于现有的方法从战略分类文献。
2022-02-19 cs.LG math.OC
Stochastic Intermediate Gradient Method for Convex Problems with Inexact Stochastic Oracle
本文介绍了求解具有不精确随机预言的凸优化问题的新方法。第一种方法是Devolder，Glineur和Nesterov提出的中间梯度法的推广，用于求解不精确预言问题。我们的新方法可以应用于复合结构，随机不精确预言的问题，并允许使用非欧设置。我们证明估计的平均收敛速率和概率的大偏差从这个速度。对于强凸问题，我们还介绍了该方法的两个修正。对于第一个修改，我们证明了平均收敛速率估计和第二个，我们证明了大偏差的平均收敛速度收敛速率估计。所有速率给出了所提出的方法的复杂性估计，直到乘法常数符合所考虑的一类凸组合最优化问题的随机不精确预言的复杂性下界。
2015-12-07 math.OC
On the oracle complexity of smooth strongly convex minimization
我们构造了一个函数族，用于建立光滑强凸函数的一阶极小化的预言复杂性的下界。在此基础上，我们得到了强凸极小化问题在各种不精确准则下的复杂性的新的下界。新的边界匹配已知的上界一个常数的因素，当一个解决方案的不准确性是衡量其距离的解决方案集，新的下界完全匹配的上界由最近的信息理论的精确方法由相同的作者，从而建立这类问题的确切的预言复杂性。
2021-06-14 math.OC
Tracking and regret bounds for online zeroth-order Euclidean and Riemannian optimisation
我们研究数值优化算法，使用零阶信息，以尽量减少随时间变化的geodesically凸费用函数的黎曼流形。在欧几里德环境中，零阶算法在时变和时不变的情况下都受到了很多关注。然而，推广到黎曼流形是少得多的发展。我们专注于阿达玛流形，这是一类特殊的黎曼流形的整体非正曲率，提供方便的理由，推广凸性概念。具体来说，我们推导出的预期瞬时跟踪误差的界限，我们提供算法的性能最小化的算法参数值。我们的结果说明如何在截面曲率方面的流形几何影响这些界限。此外，我们提供了动态的遗憾界限，这种在线优化设置。据我们所知，这些是第一个遗憾的界限，即使是欧几里德版本的问题。最后，通过数值模拟，我们证明了我们的算法在线Karcher均值问题的适用性。
2022-02-14 math.OC
Sharp Minimax Rates for Highly Smooth Strongly Convex Zeroth-Order Optimization
Peking University（北京大学）
该研究确定了高阶光滑强凸函数在带噪零阶优化中的极小极大维度依赖速率，并给出了匹配的上下界，表明查询复杂度为 $\Theta(d^2\varepsilon^{-\beta/(\beta-1)})$。
2026-10-20 math.OC
Adaptive First-and Zeroth-order Methods for Weakly Convex Stochastic Optimization Problems
Amirkabir University of Technology（阿米尔卡比尔理工大学）；University of Florida（佛罗里达大学）
在本文中，我们设计并分析了一族新的自适应次梯度方法，用于求解一类重要的弱凸（可能非光滑）随机最优化问题。使用过去梯度的指数移动平均值来更新搜索方向和学习速率的自适应方法最近吸引了大量关注，用于解决机器学习中出现的最优化问题。然而，它们的收敛性分析几乎完全需要目标函数的光滑性和/或凸性。与此相反，我们建立了一阶和零阶自适应方法及其近似变量的非渐近收敛速度为一个合理的广泛的非光滑\非凸最优化问题。实验结果表明，所提出的算法如何经验优于随机梯度下降及其零阶变量解决这样的最优化问题。
2020-05-24 cs.LG math.OC stat.ML
Composite Convex Optimization with Global and Local Inexact Oracles
本文对复合凸极小化中的一类广泛的凸函数引入了新的全局和局部不精确预言的概念。这种不精确的预言自然来自原始对偶框架，障碍平滑，梯度和Hessian的不精确计算以及许多其他情况。我们还提供的例子表明，类的凸函数配备了新的不精确的二阶预言是大于标准的自协调以及Lipschitz梯度函数类。此外，我们研究了凸函数和/或自协调函数在不精确二阶预言机下的几个性质，这对算法的发展是有用的。接下来，我们应用我们的理论来开发不精确的近端牛顿型计划，以最小化一般复合凸最小化问题，配备了这样的不精确的预言。我们的理论结果包括新的优化算法，并具有整体收敛保证，可解决广泛的复合凸优化问题。当第一个目标项是额外的自协调，我们建立了不同的局部收敛结果，我们的方法。特别是，我们证明，根据选择的不精确的二阶预言机的精度水平，我们得到不同的局部收敛速度范围从$R$ -线性和$R$ -超线性到$R$ -二次。在特殊情况下，收敛界限是已知的，我们的理论恢复最好的已知速率。我们还应用我们的设置，以获得一个新的原始-对偶复合凸极小化问题的方法。最后，我们提出了一些有代表性的数值例子来说明我们的新算法的好处。
2020-02-23 math.OC
Optimal Deterministic Oracle Complexity for Weakly Convex Optimization
Sauder School of Business, The University of British Columbia（不列颠哥伦比亚大学 Sauder 商学院）
该研究确立了弱凸优化的最优确定性神谕复杂度，揭示了光滑非凸与非光滑弱凸优化间的复杂度差异，为相关优化问题的算法设计提供了理论依据。
2026-08-05 math.OC
Oracle Complexity of Second-Order Methods for Smooth Convex Optimization
二阶方法利用梯度和海森函数来优化给定函数，在数学优化中具有重要意义。在这项工作中，我们证明了严格的边界上的预言复杂性，这种方法的光滑凸函数，或等价地，优化这些功能所需的最坏情况下的迭代次数，以给定的精度。特别是，这些界限表明，当这样的方法可以或不能改善基于梯度的方法，其预言的复杂性是更好地理解。我们还提供了我们的结果的高阶方法的推广。
2017-08-17 math.OC
Linearly Convergent Gradient-Free Methods for Minimization of Parabolic Approximation
求非凸函数的全局极小值值是现代最优化中最主要也是最困难的问题之一。在本文的第一部分中，我们考虑了一类“好”的非凸函数，它可以由一个抛物函数上下有界。我们表明，只使用零阶预言，可以获得线性速度$\log \left(\frac{1}{\varepsilon}\right)$找到的全局极小值上的立方体。第二部分的文件看起来在非凸问题略有不同的方式。我们假设最小化二次函数，但同时我们可以访问带有噪声的零阶预言，并且该噪声与到解的距离成正比。在文献中，处理无梯度方法的这种噪声假设是新的。我们表明，在这里也可以实现线性收敛速率。
2021-02-27 math.OC
Zeroth-order non-convex learning via hierarchical dual averaging
Criteo AI Lab；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔理工学院）
我们提出了一个层次版本的双平均零阶在线非凸优化-即，学习过程，其中在每个阶段，优化器面对未知的非凸损失函数，并且仅接收所引起的损失作为反馈。所提出的一类政策依赖于一个在线模型的建设，聚集损失信息，因为它到达，它由两个主要组成部分：（a）一个正则化适应的Fisher信息度量（相对于周围空间的度量规范）;和（b）一个原则性的探索问题的状态空间的基础上，适应分层时间表。这种结构能够更好地控制模型的偏差和方差，并允许我们推导出学习者静态和动态后悔的严格界限-即，在游戏的地平线上，事后对最好的动态政策所产生的遗憾。
2021-09-13 cs.LG math.OC
Lower Bounds for Linear Minimization Oracle Methods Optimizing over Strongly Convex Sets
Johns Hopkins University（约翰斯·霍普金斯大学）
研究强凸集上线性最小化oracle方法的下界，证明确定性方法在保证目标间隙小于ε时的迭代次数下界，并指出在特定光滑条件下基于跨度的LMO方法无法改进复杂度。
2026-07-15 math.OC
Information-Theoretic Upper Bounds for Deterministic Noise in Zeroth-Order Convex Optimization
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Trusted AI Research Center, RAS（俄罗斯科学院可信AI研究中心）；Moscow Independent Research Institute of Artificial Intelligence（莫斯科独立人工智能研究院）；Innopolis University（因诺波利斯大学）
研究欧几里得球上零阶凸优化中确定性对抗噪声，通过信息论障碍转换为噪声上界，得到Lipschitz凸和强凸情形下的维度依赖上界，并推广到光滑凸和光滑强凸情形。
2026-09-29 math.OC
Zeroth-Order Randomized Subspace Newton Methods
零阶方法已经成为解决问题的重要工具，我们只能访问函数评估。然而，零阶方法只使用梯度近似是$n$倍，比经典的一阶方法求解n维问题。为了加快算法的收敛速度，本文提出了零阶随机子空间牛顿（ZO-RSN）方法，该方法通过随机绘制和有限差分来估计梯度和Hessian的投影。这使我们能够在较低维的子空间中计算牛顿步骤，计算成本很小。证明了对于强凸问题，ZO-RSN比现有的零阶方法具有更低的迭代复杂度。我们的数值实验表明，ZO-RSN可以执行黑盒攻击的函数查询的数量比最先进的海森感知零阶方法的限制更严格。
2022-02-09 math.OC
A Zeroth-Order Extra-Gradient Method for Black-Box Constrained Optimization
针对黑盒约束优化问题，将其转化为极小极大问题，提出结合额外梯度法与零阶梯度估计器的ZOEG和ZOCEG算法，实现了更优的预言机复杂度，并通过负荷跟踪实验验证了有效性。
2025-07-15 math.OC
Tight Lower Bounds for Binary First-Order Oracles for Convex Optimization
Johns Hopkins University（约翰斯·霍普金斯大学）；UC Berkeley（加州大学伯克利分校）；Microsoft Research and Computer Science Department, PUC-Rio（微软研究院与里约热内卢天主教大学计算机系）
研究混合整数凸优化在两种“逐位”预言机下的信息复杂度，通过建立新下界证明复杂度在连续决策变量数上是二次的，且新下界紧，揭示标准比特表示在解决约束凸优化问题时关于所需信息量是最佳方式。
2026-07-16 math.OC
