Variance-Reduced Gradient Estimator for Nonconvex Zeroth-Order Distributed Optimization
School of Advanced Manufacturing and Robotics, Peking University（北京大学先进制造与机器人学院）
本文研究了平滑非凸问题的分布式零阶优化，提出了一种新的方差减少梯度估计器，通过伯努利分布随机更新真实梯度的单个正交方向或在所有维度上计算梯度估计以进行方差校正，结合梯度跟踪机制解决了收敛速度与采样成本的平衡问题。
2026-04-09 cs.MA cs.SY eess.SY
Admissibility of solution estimators for stochastic optimization
我们通过统计决策论的视角来看待随机最优化问题。特别是，我们解决的可接受性，在统计决策论的意义上，自然样本平均估计的随机最优化问题（这也被称为经验风险最小化（ERM）规则在学习文献）。众所周知，对于一些简单的随机最优化问题，样本平均估计量可能是不可容许的。这在统计学文献中被称为{ \em Stein's paradox}。本文证明了对于紧集上随机线性函数的最优化问题，样本平均估计是容许的。此外，我们研究了凸二次目标受框约束的问题。当没有约束且问题的维度至少为3时，斯坦悖论成立。我们表明，在盒子的约束存在下，可接受性恢复为3和4维。
2020-10-21 math.OC math.ST stat.TH
Convergence Analysis of the ProbAbilistic Gradient Estimator Algorithm for Weakly Convex Finite-Sum Optimization
King Abdullah University of Science and Technology（卡斯特大学）
研究概率梯度估计器算法（PAGE）在τ-弱凸函数框架下，给出非凸和平凸情况间连续插值，建立新收敛率，表明随τ减小复杂度改善。
2026-07-07 cs.LG math.OC
The generator gradient estimator is an adjoint state method for stochastic differential equations
本文证明针对过参数化 SDEs 的生成器梯度估计器本质上是一种伴随状态方法，且与用于随机化学反应网络的精确 eIPA 估计器高度相似。
2024-07-29 math.OC math.PR stat.ML
On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization
Department of Computer Science University of Maryland College Park（计算机科学系大学马里兰大学学院公园）
本文针对零阶优化中梯度估计器存在偏差的问题，提出基于函数评估的无偏估计器族，通过望远镜级数重表述和精心采样消除偏差，并证明其在光滑非凸目标上达到最优复杂度，实验验证了其优越性。
2025-10-22 cs.AI cs.LG math.OC
Sharp bounds for stochastic proximal and projection estimators via radial dominance
Universidad Técnica Federico Santa María（费德里科·圣塔玛丽亚技术大学）；Center for Mathematical Modeling (CNRS IRL2807), Universidad de Chile（智利大学数学建模中心（法国国家科学研究中心国际研究联系项目2807））；Instituto de Ciencias de la Ingeniería, Universidad de O’Higgins（奥希金斯大学工程科学学院）
研究通过指数加权高斯扰动获得的随机重心估计器，利用径向优势条件得出相关重心范数上界及充分条件，得到弱凸函数随机近端估计器收敛速率等，还用于随机投影估计器，通过数值实验验证相关性质。
2026-09-15 math.OC math.PR
Inclusive KL Gradient Flows: Otto-Wasserstein, Fisher-Rao-Gaussian, and Local-Estimator Dynamics
Department of Mathematics, KTH Royal Institute of Technology（数学系，皇家理工学院）
建立统一的包含性KL推理梯度流和PDF框架，表明最大均值差异最小化可视为含近似梯度估计器的包含性KL推理，还开发了直接针对包含性KL散度的梯度流，为高斯变分推理提供基础。
2026-07-07 cs.LG math.OC stat.ML
Explicit construction of the minimum error variance estimator for stochastic LTI state-space systems
Dept. of Electronic Systems, Aalborg University, Aalborg, Denmark（丹麦奥尔堡大学电子系统系）；Laboratoire Signal et Automatique de Lille (CRIStAL), Lille, France（法国里尔信号与自动化实验室（CRIStAL））
在这篇简短的文章中，我们展示了最佳（最小误差方差）估计量的推导，当随机LTI系统输出的一部分未被测量，但能够从测量的系统输出中预测。类似的推导以前已经完成，但没有使用状态空间表示。
2023-01-01 cs.LG math.DS math.OC
Value Function Estimators for Feynman-Kac Forward-Backward SDEs in Stochastic Optimal Control
针对随机最优控制问题中值函数的Feynman-Kac表示形式的正倒向随机微分方程，提出了两种新的数值估计方法.在目前的数值方法是基于离散化的连续时间FBBACK相反，我们提出了一个相反的方法，即，我们得到一个离散时间近似的政策价值函数，然后我们推导出一个离散时间估计，类似于连续时间对应。所提出的方法允许随着误差分析的建设更高的精度估计。该方法被应用到强化学习中的策略改进步骤。数值结果和误差分析表明，使用（i）一个标量非线性随机最优控制问题和（ii）一个四维线性二次型调节器（LQR）问题。所提出的估计量在这两种情况下的精度显着改善欧拉-丸山为基础的估计在竞争中使用的方法。在LQR问题的情况下，我们证明了我们的估计结果在近机器精度水平的准确性，与以前提出的方法，可以潜在地分歧相同的问题。
2021-09-30 cs.RO cs.SY eess.SY
A One-bit, Comparison-Based Gradient Estimator
University of California, Los Angeles（加州大学洛杉矶分校）；Damo Academy, Alibaba US（阿里巴巴美国达摩院）；Xmotors AI（Xmotors人工智能公司）
我们研究零阶优化的凸函数，我们进一步假设的功能评估是不可用的。相反，人们只能访问$\textit{comparison oracle}$，给定两个点$x$和$y$，它返回单个比特的信息，指示哪个点具有更大的函数值，$f(x)$或$f(y)$。通过将梯度视为待恢复的未知信号，我们展示了如何使用来自一位压缩感知的工具来构建归一化梯度的鲁棒性和可靠性估计。然后，我们提出了一个算法，创造SCOBO，使用这个估计在梯度下降方案。我们表明，当$f(x)$有一些低维结构，可以利用，SCOBO优于国家的最先进的查询复杂性。我们的理论主张得到了广泛的数值实验的验证。
2022-04-23 cs.AI cs.LG math.OC
Non-Uniform Noise-to-Signal Ratio in the REINFORCE Policy-Gradient Estimator
math.OC（数学优化）
研究REINFORCE策略梯度估计器的噪声信号比（NSR），通过精确刻画线性与多项式系统中的NSR，发现NSR在策略参数空间中高度非均匀，且通常在策略接近最优时增大甚至爆炸，导致训练不稳定和策略崩溃。
2026-05-29 cs.LG math.OC
Hybrid Stochastic Gradient Descent Algorithms for Stochastic Nonconvex Optimization
我们引入一个混合随机估计器来设计求解随机最优化问题的随机梯度算法。这样的混合估计是两个现有的有偏和无偏估计的凸组合，并导致其方差的一些有用的性质。我们限制我们的考虑到一个混合SARAH-SGD的非凸期望问题。然而，我们的想法可以扩展到处理更广泛的一类估计在凸和非凸设置。我们提出了一个新的单循环随机梯度下降算法，可以实现$O(\max\{σ^3\varepsilon^{-1},σ\varepsilon^{-3}\})$ -复杂性界获得$\varepsilon$ -平稳点光滑和$σ^2$ -有界的方差假设。这种复杂性优于$O(σ^2\varepsilon^{-4})$，当$σ< O(\varepsilon^{-3})$。我们还考虑了我们的方法的不同扩展，包括单循环，双循环和小批量变量的恒定和自适应步长。我们比较我们的算法与现有的方法在几个数据集上使用两个非凸模型。
2019-05-15 math.OC stat.ML
Stochastic Submodular Maximization via Polynomial Estimators
Northeastern University（东北大学）
在本文中，我们研究随机次模最大化问题一般拟阵约束，自然出现在在线学习，团队形成，设施位置，影响力最大化，主动学习和传感目标函数。换句话说，我们专注于最大化子模函数，这些子模函数被定义为具有未知分布的一类子模函数的期望。我们表明，对于这种形式的单调函数，随机连续贪心算法达到的逼近比（在预期中）任意接近$(1-1/e) \approx 63\%$使用多项式估计的梯度。我们认为，使用这个多项式估计，而不是现有技术，使用采样消除了随机性的来源，并通过实验减少了执行时间。
2023-03-17 cs.AI cs.LG math.OC
Versatile Single-Loop Method for Gradient Estimator: First and Second Order Optimality, and its Application to Federated Learning
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；NTT DATA Mathematical Systems Inc.（NTT数据数学系统公司）
虽然方差缩减方法在解决大规模优化问题方面取得了巨大的成功，但其中许多方法存在累积误差，因此需要定期进行完整的梯度计算。在本文中，我们提出了一个单循环算法SLEDGE（单循环mEthoD梯度估计）有限和非凸优化，它不需要定期刷新的梯度估计，但实现了接近最优的梯度复杂度。与现有方法不同，SLEDGE具有通用性的优点;（i）二阶最优性，（ii）PL区域内的指数收敛，以及（iii）在数据异质性较小的情况下具有较小的复杂性。我们建立了一个有效的联邦学习算法，利用这些有利的属性。我们展示了输出的一阶和二阶最优性，并在PL条件下进行了分析。当本地预算足够大并且客户端较少（Hessian-）~异构时，该算法需要比现有方法（如FedAvg，SCAFFOLD和Mime）更少的通信轮次。数值实验验证了该方法的优越性。
2022-10-04 cs.LG math.OC stat.ML
An Optimal Hybrid Variance-Reduced Algorithm for Stochastic Composite Nonconvex Optimization
在本文中，我们提出了一个新的变种的混合方差减少邻近梯度法在[7]中解决一个常见的随机复合非凸最优化问题在标准的假设。我们简单地将[7]中引入的混合- SARAH估计中的独立无偏估计替换为在相同样本下估计的随机梯度，从而得到[2]中引入的相同动量-SARAH估计。与[7]相比，这允许我们每次迭代节省一个随机梯度，并且每次迭代只需要两个样本。我们的算法是非常简单的，并实现了最佳的随机预言复杂性界的随机梯度评价（一个常数因子）。我们的分析基本上受到[7]的启发，但我们没有使用两种不同的步长。
2020-08-20 math.OC stat.ML
Stochastic Zeroth Order Gradient and Hessian Estimators: Variance Reduction and Refined Bias Bounds
本文提出沿 Stiefel 流形上的随机正交方向进行有限差分，构建低方差零阶梯度与 Hessian 估计器，并给出更精细的偏差界。
2023-03-30 cs.LG math.OC
A Hybrid Stochastic Policy Gradient Algorithm for Reinforcement Learning
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；IBM Research（IBM研究院）；UConn（康涅狄格大学）；CWI Amsterdam（阿姆斯特丹数学与计算机科学中心）
我们提出了一种新的混合随机策略梯度估计相结合的无偏策略梯度估计，REINFORCE估计，与另一个有偏的，适应SARAH估计策略优化。混合策略梯度估计被证明是有偏的，但具有方差减少属性。使用这个估计，我们开发了一个新的近端混合随机策略梯度算法（ProxHSPGA）来解决复合策略优化问题，使我们能够处理的政策参数的约束或正则化。我们首先提出了一个单循环算法，然后介绍了一个更实用的重新启动的变种。我们证明了这两种算法可以实现最著名的轨迹复杂度$\mathcal{O}\left(\varepsilon^{-3}\right)$达到一阶稳定点的复合问题，这是优于现有的REINFORCE/GPOMDP $\mathcal{O}\left(\varepsilon^{-4}\right)$和SVRPG $\mathcal{O}\left(\varepsilon^{-10/3}\right)$在非复合设置。我们评估我们的算法在强化学习中的几个著名的例子的性能。数值结果表明，我们的算法优于两个现有的方法对这些例子。此外，在某些问题上，复合设置与非复合设置相比确实具有一些优势。
2020-09-21 cs.LG math.OC
Max-affine estimators for convex stochastic programming
University of Alberta（阿尔伯塔大学）；Imperial College London（帝国理工学院）
本文研究了具有凸结构的两个序列决策问题，提出了一种基于最大仿射估计的近似动态规划方法，用于解决能源存储优化和多产品组装问题。
2016-09-18 cs.SY eess.SY math.OC
Stochastic Bias-Reduced Gradient Methods
我们开发了一个新的原始随机最优化：一个低偏差，低成本的最小化$x_\star$的任何Lipschitz强凸函数的估计。特别是，我们使用多层次的蒙特卡罗方法，由于Blanchet和Glynn把任何最佳的随机梯度法的估计$x_\star$偏$δ$，方差$O(\log(1/δ))$，和预期的采样成本的$O(\log(1/δ))$随机梯度评估。作为一个直接的后果，我们获得廉价的和几乎无偏梯度估计的Moreau-Yoshida包络的任何Lipschitz凸函数，使我们能够执行无量纲随机平滑。我们通过四个应用程序证明了我们的估计的潜力。首先，我们开发了一种方法，用于最大限度地减少$N$功能，改善最近的结果和匹配的下界的对数因子。第二和第三，我们使用简单的算法和透明的分析来恢复投影效率和梯度效率优化的最新速率。最后，我们表明，我们的估计的改进版本将产生一个接近线性时间，最优效用，微分私人非光滑随机最优化方法。
2021-10-28 cs.DS cs.LG math.OC
Stochastic Gradient Variational Inference with Price's Gradient Estimator from Bures-Wasserstein to Parameter Space
University of Pennsylvania（宾夕法尼亚大学）；Yale University（耶鲁大学）；University of British Columbia（不列颠哥伦比亚大学）；University of California San Diego（加州大学圣地亚哥分校）
本文研究了在仅给定目标分布无规范化的对数密度时，利用随机梯度的变分推断方法。通过比较Wasserstein VI和Black-Box VI，发现WVI在使用Price梯度估计时具有更优的收敛性，本文进一步证明两者在迭代复杂度上可以达到一致的最优结果。
2026-05-19 cs.LG math.OC stat.CO
A Note on Zeroth-Order Optimization on the Simplex
University of California, Berkeley（加州大学伯克利分校）；California Institute of Technology（加州理工学院）
本文对定义在概率单纯形上的光滑函数构造了一个零阶梯度估计。所提出的估计器只查询单纯形。我们证明了投影梯度下降和指数权重算法，当运行这个估计，而不是精确的梯度，收敛在一个$\mathcal O(T^{-1/4})$率。
2022-08-02 cs.GT cs.LG math.OC
SPIDER: Near-Optimal Non-Convex Optimization via Stochastic Path Integrated Differential Estimator
Peking University（北京大学）；Tencent AI Lab（腾讯人工智能实验室）
在本文中，我们提出了一种名为\textit{Stochastic Path-Integrated Differential EstimatoR}（SPIDER）的新技术，该技术可用于跟踪许多确定性的感兴趣量，同时显着降低计算成本。我们将SPIDER应用于两个任务，即随机一阶和零阶方法。对于随机一阶方法，本文将SPIDER算法与归一化梯度下降法相结合，提出了两种仅利用随机梯度求解非凸随机最优化问题的新算法：SPIDER-SFO和SPIDER-SFO \textsuperscript{+}。我们提供了尖锐的误差有界的结果，他们的收敛速度。特别地，我们证明了SPIDER-SFO和SPIDER-SFO \textsuperscript{+}算法分别在寻找$ε$ -近似一阶稳定点和寻找$(ε, \mathcal{O}(ε^{0.5}))$ -近似二阶稳定点时，实现了$\mathcal{O}\left( \min( n^{1/2} ε^{-2}, ε^{-3} ) \right)$和$\tilde{\mathcal{O}}\left( \min( n^{1/2} ε^{-2}+ε^{-2.5}, ε^{-3} ) \right)$的破纪录的梯度计算代价.此外，我们证明了SPIDER-SFO几乎匹配的算法下限找到近似的一阶平稳点的梯度Lipschitz假设下，在有限和设置。对于随机零阶方法，我们…
2018-10-17 cs.LG math.OC stat.ML
Comparing Classes of Estimators: When does Gradient Descent Beat Ridge Regression in Linear Models?
Amazon（亚马逊）；University of Oxford（牛津大学）；University of Pennsylvania（宾夕法尼亚大学）；Oxford University（牛津大学）
从数据中学习的方法取决于各种类型的调优参数，例如惩罚强度或步长。由于性能可以强烈地依赖于这些参数，重要的是要比较类的估计，通过考虑规定的有限组的调整参数，而不仅仅是特别调整的方法。在这项工作中，我们调查类的方法通过类中最好的方法的相对性能。我们认为，线性回归的核心问题-随机各向同性地面真相-和调查的两个基本方法，梯度下降和岭回归的估计性能。我们揭示了以下现象。(1)对于一般设计，当经验数据协方差阵的特征值衰减缓慢时，常数步长梯度下降优于岭回归，呈指数小于1的幂律。相反，如果特征值衰减迅速，作为幂律指数大于单位或指数，我们表明，岭回归优于梯度下降。(2)对于正交设计，我们计算精确的最小最大最优估计类（实现最小-最大-最小最优性），表明它等价于具有衰减学习率的梯度下降。我们发现次优的岭回归和梯度下降恒定步长。我们的研究结果强调，统计性能可以强烈依赖于调整参数。特别是，虽然最佳调整岭回归是我们设置中的最佳估计器，但当两种方法都只在200多个正则化参数上进行调整时，它可以通过梯度下降的任意/无界量进行优化。
2022-06-12 cs.LG math.OC math.ST
Unbiased Multilevel Monte Carlo: Stochastic Optimization, Steady-state Simulation, Quantiles, and Other Applications
我们提出了一般原则的设计和分析无偏蒙特卡罗估计在广泛的设置。我们的估计量在轻度正则性条件下是有限的工作归一化方差。我们将我们的估计应用于各种感兴趣的设置，包括样本平均近似的无偏优化，再生过程的无偏稳态模拟，分位数估计和嵌套模拟问题。
2019-04-22 math.OC math.ST stat.CO
DeepBayes -- an estimator for parameter estimation in stochastic nonlinear dynamical models
KTH Royal Institute of Technology（瑞典皇家理工学院）；Uppsala University（乌普萨拉大学）
随机非线性动力系统在现代现实世界的应用中无处不在。然而，估计随机，非线性动力学模型的未知参数仍然是一个具有挑战性的问题。大多数现有的方法采用极大似然或贝叶斯估计。然而，这些方法受到一些限制，最值得注意的是大量的计算时间的推理加上有限的灵活性，在应用中。在这项工作中，我们提出了DeepBayes估计器，它利用了深度递归神经网络在学习估计器时的能力。该方法包括首先训练一个递归神经网络，以最小化的均方估计误差在一组合成生成的数据使用模型从模型集的兴趣。先验训练的估计器然后可以通过用估计数据评估网络来直接用于推断。深度递归神经网络架构可以离线训练，并确保在推理过程中节省大量时间。我们使用两种流行的递归神经网络进行实验-长短期记忆网络（LSTM）和门控递归单元（GRU）。我们证明了我们提出的方法在不同的示例模型上的适用性，并与最先进的方法进行了详细的比较。我们还提供了一个现实世界中的非线性基准问题的研究。实验结果表明，所提出的方法是渐近的贝叶斯估计一样好。
2022-05-04 cs.LG cs.SY eess.SY
