Conditional Density Estimation with Bayesian Normalising Flows
复杂条件分布的建模在各种环境中至关重要。尽管对条件密度估计的研究有着悠久的传统，但目前的方法要么采用简单的参数形式，要么在实践中难以学习。本文采用归一化流作为一个灵活的似然模型，并提出了一种有效的方法来拟合复杂的密度。这些估计器必须在建模分布复杂性，功能复杂性和异方差之间进行权衡，而不会过拟合。我们认识到这些权衡建模决策，并开发了一个贝叶斯框架放置先验这些条件密度估计使用变分贝叶斯神经网络。我们在几个小的基准回归数据集上评估了这种方法，其中一些数据集获得了最先进的性能。最后，我们使用纽约市黄色出租车数据集和芝加哥犯罪数据集，将该方法应用于两个空间密度建模任务，数据点超过100万。
2018-02-14 stat.ML
Coupled Gradient Estimators for Discrete Latent Variables
Google Research（谷歌研究院）；DeepMind（深度思维）
由于无偏梯度估计的高方差，具有离散潜变量的训练模型具有挑战性。虽然连续松弛的低方差重新参数化梯度可以提供有效的解决方案，但连续松弛并不总是可用或易于处理的。Dong等人（2020）和Yin等人（2020）介绍了一种不依赖于连续松弛的性能估计器;然而，它仅限于二进制随机变量。我们引入了一种新的推导基于重要性采样和统计耦合，我们扩展到分类设置的估计。出于建设的一个棒打破耦合，我们引入梯度估计的基础上重新参数化的分类变量序列的二进制变量和Rao-Blackwellization。在系统实验中，我们表明，我们提出的分类梯度估计提供了最先进的性能，而即使有额外的Rao-Blackwellization，以前的估计（Yin等人，2019）表现不佳的一个更简单的REINFORCE与留一基线估计（库尔等人，2019年）。
2022-11-15 cs.LG stat.ML
Gradients should stay on Path: Better Estimators of the Reverse- and Forward KL Divergence for Normalizing Flows
Technische Universität Berlin（柏林工业大学）；BIFOLD - Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）；RIKEN Center for AIP（理化学研究所先进智能项目中心）
我们提出了一个算法来估计的反向和正向Kullback-Leibler发散的路径梯度的任意明显可逆规范化流。由此产生的路径梯度估计器是直接实现的，具有较低的方差，并导致不仅更快的训练收敛，而且更好的整体近似结果相比，标准的总梯度估计。我们还证明了路径梯度训练不太容易受到模式崩溃的影响。根据我们的研究结果，我们预计，路径梯度估计将成为新的标准方法，训练规范化流变分推理。
2022-07-17 cs.LG stat.ML
A Rule for Gradient Estimator Selection, with an Application to Variational Inference
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
随机梯度下降（SGD）是现代机器学习的主力。有时，可以使用许多不同的潜在梯度估计器。在这种情况下，选择成本和方差之间的最佳折衷是很重要的。本文分析了SGD的收敛速度作为时间的函数，而不是迭代。这导致一个简单的规则来选择估计，导致最佳的优化收敛保证。这个选择对于SGD的不同变体是相同的，并且具有关于目标的不同假设（例如凸性或平滑性）。受这一原则的启发，我们提出了一种技术，自动选择一个估计时，有限池的估计。然后，我们扩展到无限的估计池，其中每一个控制变量的权重索引。这是通过减少到一个混合整数二次规划。从经验上讲，自动选择一个估计量执行的是事后选择的最佳估计量。
2019-11-05 cs.LG stat.ML
Stochastic Gradient Descent with Biased but Consistent Gradient Estimators
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
随机梯度下降（SGD），可以追溯到20世纪50年代，是执行随机优化的最流行和最有效的方法之一。SGD的研究最近在机器学习中重新兴起，用于优化凸损失函数和训练非凸深度神经网络。该理论假设人们可以很容易地计算一个无偏梯度估计，这通常是由于经验风险最小化的样本平均性质的情况。然而，存在许多场景（例如，图），其中无偏估计器的计算可能与全梯度一样昂贵，因为训练样本是互连的。最近，Chen等人。（2018）提出使用一致梯度估计作为经济替代方案。鼓励经验的成功，我们表明，在一般情况下，一致的估计结果在相同的收敛行为做无偏的。我们的分析涵盖了强凸，凸和非凸目标。我们验证了合成和真实世界的数据与说明性的实验结果。这项工作开辟了几个新的研究方向，包括开发具有一致估计量的更有效的SGD更新，以及为大规模图设计有效的训练算法。
2019-12-23 cs.LG math.OC stat.ML
Doubly Reparameterized Gradient Estimators for Monte Carlo Objectives
Google Brain（谷歌大脑）；New York University（纽约大学）；University of Oxford（牛津大学）；DeepMind（深度思维）
深度潜变量模型已经成为一种流行的模型选择，这是由于引入了可扩展的学习算法（Kingma & Welling，2013; Rezelvis等人，2014年）。这些方法最大限度地提高了观测数据的难处理的对数似然的变分下界。Burda等人（2015）引入了多样本变分界IWAE，它至少与标准变分下界一样紧，并且随着样本数量的增加而变得越来越紧。与直觉相反，随着样本数量的增加，IWAE界限的典型推理网络梯度估计器表现不佳（Rainforth等人，2018; Le等人，2018年）。Roeder等人（2017）提出了一种改进的梯度估计器，但是无法证明它是无偏的。我们表明，它实际上是有偏见的，可以有效地估计与第二个应用程序的重新参数化技巧的偏见。双重重新参数化梯度（DReG）估计器不会随着样本数量的增加而受到影响，解决了先前提出的问题。同样的想法可以用来改进许多最近引入的潜变量模型的训练技术。特别是，我们证明了这个估计量减少了IWAE梯度的方差，重新加权的唤醒-睡眠更新（RWS）（Bornschein & Bengio，2014）和刀切变分推理（JVI）梯度（Nowozin，2018）。最后，我们表明，这种计算效率高，无偏下降的梯度估计转化为提高性能的所有三个目标上的几个建模任务。
2018-11-19 cs.LG stat.ML
Generalized Gumbel-Softmax Gradient Estimator for Generic Discrete Random Variables
EWHA Womans University（梨花女子大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
估计随机计算图中随机节点的梯度是深度生成建模领域的关键研究问题之一，它使神经网络参数的梯度下降优化成为可能。离散随机变量的随机梯度估计被广泛研究，例如Bernoulli和分类分布的Gumbel-Softmax重新参数化技巧。同时，其他离散分布的情况，如泊松分布，几何分布，二项分布，多项分布，负二项分布等，还没有被探索。本文提出了一种广义的Gumbel-Softmax估计，它能够重新参数化一般的离散分布，不限于伯努利和分类。该估计利用离散随机变量的截断，Gumbel-Softmax技巧，和一种特殊形式的线性变换。我们的实验包括（1）合成的例子和应用VAE，这表明我们的方法的有效性;和（2）主题模型，这表明所提出的估计在实践中的价值。
2023-02-22 cs.LG stat.ML
Fast and Unified Path Gradient Estimators for Normalizing Flows
Zuse Institute Berlin（柏林Zuse研究所）；dida Datenschmiede GmbH（dida Datenschmiede有限公司）；Prescient Design, Genentech, Roche（罗氏基因泰克Prescient Design）；TU Berlin（柏林工业大学）
针对归一化流路径梯度估计器计算成本高且难以扩展用于最大似然训练的问题，提出一种快速且适用于多种架构的统一路径梯度估计器，显著提升了计算效率，并展现出正则化效果与更低的方差。
2024-03-23 cs.LG stat.ML
Rao-Blackwellised Reparameterisation Gradients
University of Oxford（牛津大学）；Australian National University（澳大利亚国立大学）
本文提出 R2-G2 估计器，将重参数化梯度进行 Rao-Blackwell 化，统一解释贝叶斯 MLP 的局部重参数化梯度，并在多次重参数化模型中提升训练性能。
2025-10-18 cs.LG stat.ML
Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks
Czech Technical University in Prague（布拉格捷克理工大学）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
在具有二进制激活和/或二进制权重的神经网络中，由于模型具有分段常数响应，所以通过梯度下降的训练是复杂的。我们考虑随机二元网络，通过在激活前添加噪声获得。期望的模型响应成为参数的平滑函数，其梯度是明确定义的，但准确估计它是具有挑战性的。我们提出了一种新的方法，这种估计问题相结合的采样和解析近似的步骤。该方法有一个显着减少的方差在一个小的偏差，这给出了一个非常实用的权衡与现有的无偏和有偏估计的价格。我们进一步表明，一个额外的线性化步骤导致一个深直通估计以前只知道作为一个特设启发式。我们通过实验证明了梯度估计的更高准确性，并证明了使用这两种方法在深度卷积模型中进行训练时更稳定，性能更好。
2020-11-04 cs.LG stat.ML
Stochastic gradient descent with gradient estimator for categorical features
Lokad；Litis（Litis实验室）
本文针对类别数据独热编码导致的稀疏性问题，提出一种新的梯度估计器，从理论和实验上证明其优于常用估计器，并发布匿名化零售数据集。
2023-04-18 cs.LG
Control Variate Design for Score-Function Gradient Estimators in Importance-Weighted Variational Inference
ESSEC Business School（埃塞克高等商学院）；The University of Sydney Business School（悉尼大学商学院）；Peking University（北京大学）
本文提出了一种改进的VIMCO-$\star$梯度估计器，解决了现有VIMCO估计器在样本数增加时信号噪声比下降的问题，提升了在无重参数化梯度场景下的性能。
2026-10-20 cs.LG stat.ML
Provable Gradient Variance Guarantees for Black-Box Variational Inference
最近的变分推理方法使用随机梯度估计，其方差不是很好地理解。这些估计量的理论保证对于理解这些方法何时起作用或不起作用是很重要的。本文给出了当目标是光滑的，变分族是位置-尺度分布时，常见的“重新参数化”估计的界。这些界限是不可改进的，因此在所述假设下提供了最好的保证。
2019-10-28 cs.LG stat.ML
VarGrad: A Low-Variance Gradient Estimator for Variational Inference
Freie Universität Berlin（柏林自由大学）；BTU Cottbus-Senftenberg（科特布斯-森夫滕贝格工业大学）；dida Datenschmiede GmbH（迪达数据工坊有限公司）；University of Warwick（华威大学）；Universität Potsdam（波茨坦大学）；DeepMind（深度思维）；The Alan Turing Institute（艾伦·图灵研究所）
基于留一控制变量的得分函数方法，分析了变分推断的ELBO无偏梯度估计的性质。我们表明，这种梯度估计可以得到使用一个新的损失，定义为准确的后验和变分近似，我们称之为$\textit{log-variance loss}$之间的对数比的方差。在某些条件下，对数方差损失的梯度等于（负）ELBO的梯度。我们从理论上表明，这种梯度估计，我们称之为$\textit{VarGrad}$，由于其连接的对数方差损失，表现出较低的方差比得分函数方法在某些设置中，留一控制变量系数接近最佳的。我们的经验表明，VarGrad提供了一个有利的方差与计算权衡相比，其他国家的最先进的估计离散VAE。
2020-10-29 cs.LG math.ST stat.ML
A Differentiable Point Process with Its Application to Spiking Neural Networks
IBM Research - Tokyo（IBM东京研究院）
研究了脉冲神经网络概率模型的学习算法。Jimenez Rezeland & Gerstner（2014）提出了一种随机变分推理算法，用于训练具有隐藏神经元的SNN。该算法使用得分函数梯度估计器来更新变分分布，其高方差常常阻碍整个学习算法。本文提出了一种替代的梯度估计SNNs的基础上的路径方向的梯度估计。主要的技术困难是缺乏一个通用的方法来区分一个实现的任意点过程，这是必要的，以获得路径方向的梯度估计。我们开发了一个可微点过程，这是本文的技术亮点，并将其应用于SNNs的路径方向梯度估计。我们通过数值模拟研究我们的梯度估计的有效性。
2021-06-03 cs.LG cs.NE stat.ML
Pathwise Gradient Variance Reduction with Control Variates in Variational Inference
The University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）
针对现有路径梯度控制变量方差缩减方法依赖被积函数近似、仅适用于简单变分族的局限，本研究提出将零方差控制变量应用于路径梯度估计器，仅需变分分布可采样的弱假设。
2024-10-08 cs.LG stat.CO stat.ME
Improved Gradient-Based Optimization Over Discrete Distributions
D-Wave Systems Inc.（D-Wave系统公司）
在许多应用中，我们寻求最大化关于离散变量分布的期望。估计这些目标相对于分布参数的梯度是一个具有挑战性的问题。我们分析现有的解决方案，包括有限差分（FD）估计和连续松弛（CR）估计的偏差和方差。我们证明了常用的Gumbel-Softmax估计是有偏的，并提出了一个简单的方法来减少它。我们还推导了一个更简单的分段线性连续松弛，也具有减少的偏差。我们的经验表明，减少偏见导致更好的性能在变分推断和二进制优化任务。
2019-06-15 cs.LG stat.ML
Stochastic Gradient Variational Inference with Price's Gradient Estimator from Bures-Wasserstein to Parameter Space
University of Pennsylvania（宾夕法尼亚大学）；Yale University（耶鲁大学）；University of British Columbia（不列颠哥伦比亚大学）；University of California San Diego（加州大学圣地亚哥分校）
本文研究了在仅给定目标分布无规范化的对数密度时，利用随机梯度的变分推断方法。通过比较Wasserstein VI和Black-Box VI，发现WVI在使用Price梯度估计时具有更优的收敛性，本文进一步证明两者在迭代复杂度上可以达到一致的最优结果。
2026-05-19 cs.LG math.OC stat.CO
Benefit of deep learning with non-convex noisy gradient descent: Provable excess risk bound and superiority to kernel methods
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
建立一个理论分析来解释为什么深度学习可以胜过核方法等浅层学习，是深度学习文献中最大的问题之一。为了回答这个问题，我们在轻度过参数化的神经网络上评估了通过带岭正则化的噪声梯度下降训练的深度学习估计器的超额风险，并讨论了其相对于一类线性估计器的优越性，包括神经切线核方法，随机特征模型，其他核方法，$k$ -NN估计器等。我们考虑了师生回归模型，并最终表明，在极大极小最优速率的意义上，任何线性估计器都可以被深度学习超越，特别是对于高维设置。所获得的超额界限是所谓的快速学习率，其比通过通常的拉德马赫复杂度分析获得的$O(1/\sqrt{n})$更快。这种差异是由模型的非凸几何形状引起的，并且用于神经网络训练的噪声梯度下降可证明达到接近全局最优解，即使损失景观是高度非凸的。虽然噪声梯度下降不采用任何显式或隐式稀疏诱导正则化，但它显示出优于线性估计的更好的泛化性能。
2020-12-06 cs.LG stat.ML
Robust Estimation via Robust Gradient Estimation
Carnegie Mellon University（卡内基梅隆大学）
我们提供了一个新的计算效率的估计类风险最小化。我们表明，这些估计是强大的一般统计模型：在经典的Huber ε-污染模型和重尾设置。我们的主力是一个新的强大的梯度下降的变种，我们提供的条件下，我们的梯度下降的变种提供准确的估计在一个一般的凸风险最小化问题。我们提供了具体的后果，我们的理论，线性回归，逻辑斯谛回归和估计的典型参数在指数家庭。这些结果为这些典型的统计模型提供了一些第一个计算上易处理的和可证明的鲁棒估计。最后，我们研究了我们提出的方法在合成和真实数据集上的实证性能，发现我们的方法令人信服地优于各种基线。
2018-04-20 cs.AI cs.LG stat.ML
From Importance Sampling to Doubly Robust Policy Gradient
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们表明，对政策的策略梯度（PG）和它的方差减少变量可以通过采取有限差分的功能评估提供的估计从重要性采样（IS）家庭的政策外评估（OPE）。从双重稳健（DR）估计量（Jiang & Li，2016）开始，我们提供了一种非常通用和灵活的PG形式的简单推导，其中包含了最先进的方差缩减技术（Cheng et al.，2019年）作为其特例，并立即暗示了现有文献所忽视的进一步降低方差的机会。我们分析了新的DR-PG估计的方差，将其与现有的方法以及策略梯度的Cramer-Rao下界进行了比较，并实证表明了其有效性。
2020-06-24 cs.LG stat.ML
Revisiting Score Function Estimators for $k$-Subset Sampling
KTH Royal Institute of Technology（皇家理工学院）
针对$k$-子集采样不可微、阻碍梯度优化的问题，本文重审得分函数估计器，提出用离散傅里叶变换高效计算其得分函数、控制变量降方差的方法，兼具精确采样、无偏梯度且适配不可微下游模型，特征选择实验效果可比现有方法。
2024-08-16 cs.LG stat.ML
Optimised Annealed Sequential Monte Carlo Samplers
Department of Statistics, University of British Columbia（不列颠哥伦比亚大学统计学系）；Department of Statistics, University of Oxford（牛津大学统计学系）
本文提出优化的退火序贯蒙特卡洛采样器（OASMC），通过引入全局屏障概念和自适应调度，提升GPU上的计算效率，实现高达百倍的性能提升。
2025-12-02 stat.CO
On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization
Department of Computer Science University of Maryland College Park（计算机科学系大学马里兰大学学院公园）
本文针对零阶优化中梯度估计器存在偏差的问题，提出基于函数评估的无偏估计器族，通过望远镜级数重表述和精心采样消除偏差，并证明其在光滑非凸目标上达到最优复杂度，实验验证了其优越性。
2025-10-22 cs.AI cs.LG math.OC
ARM: Augment-REINFORCE-Merge Gradient for Stochastic Binary Networks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
为了通过随机二进制层反向传播梯度，我们提出了增强-增强-合并（ARM）估计器，该估计器是无偏的，具有低方差，并且具有低计算复杂度。利用变量增广、REINFORCE和重新参数化，ARM估计器通过经由公共随机数合并两个期望来实现蒙特卡罗积分的自适应方差减小。ARM估计器的方差减小机制也可以归因于在增强空间中的对偶采样，或者在该增强空间中使用最佳反对称“自我控制”基线函数以及REINFORCE估计器。实验结果表明，ARM估计提供了最先进的性能，在自动编码变分推断和极大似然估计，离散潜变量模型与一个或多个随机二进制层。用于可重复研究的Python代码是公开的。
2019-09-09 cs.LG stat.CO stat.ME
A Spectral Approach to Gradient Estimation for Implicit Distributions
Tsinghua University（清华大学）；University of Toronto（多伦多大学）
最近，人们对隐式分布的学习和推理越来越感兴趣（即，没有易处理的密度分布）。为此，我们开发了一个梯度估计的隐式分布的基础上斯坦的身份和核算子的谱分解，其中的特征函数近似的Nyström方法。与以前的工作，只提供估计的样本点，我们的方法直接估计梯度函数，从而允许一个简单的和原则性的样本外扩展。我们提供了理论上的估计误差界的结果，并讨论了在实践中的偏差方差权衡。通过对无梯度哈密顿蒙特卡罗和隐式分布的变分推断的应用，证明了该方法的有效性。最后，我们通过绘制Nyström方法和核PCA之间的联系来讨论估计器背后的直觉，这表明估计器可以自动适应底层分布的几何形状。
2018-06-07 cs.LG cs.NE stat.ML
Bias-Variance Tradeoff in a Sliding Window Implementation of the Stochastic Gradient Algorithm
Johns Hopkins University（约翰斯·霍普金斯大学）
本文利用随机梯度下降（SGD）迭代的渐进正态性结果，提供了一个在均方误差（MSE）意义下分析随机梯度算法的框架。我们通过取渐近正态性结果并将其应用于有限迭代情况来进行分析。具体来说，我们看的问题，梯度估计是有偏见的，并减少了方差和比较这些梯度估计生成的迭代SGD算法生成的迭代。我们使用Fabian的工作来表征的平均值和方差的分布的迭代的偏差和梯度估计的协方差阵。我们介绍了滑动窗口SGD（SW SGD）算法，其收敛性证明，它会导致一个较低的MSE比SGD算法的二次和凸问题。最后，我们给出了一些数值结果，以显示该框架的有效性和SW-SGD算法的优越性比SGD算法。
2019-10-25 cs.LG stat.ML
Central Limit Theorems for Stochastic Gradient Descent Quantile Estimators
Department of Statistics, University of Chicago（芝加哥大学统计系）；Department of Statistics and Data Science, Washington University in St. Louis（圣路易斯华盛顿大学统计与数据科学系）
本文针对常学习率SGD分位数估计，利用马尔可夫链理论证明其平稳分布随学习率趋于零时收敛到高斯分布，首次给出CLT型理论保证，并提出置信区间递归算法。
2026-06-12 cs.LG stat.ML
Comparing Classes of Estimators: When does Gradient Descent Beat Ridge Regression in Linear Models?
Amazon（亚马逊）；University of Oxford（牛津大学）；University of Pennsylvania（宾夕法尼亚大学）；Oxford University（牛津大学）
从数据中学习的方法取决于各种类型的调优参数，例如惩罚强度或步长。由于性能可以强烈地依赖于这些参数，重要的是要比较类的估计，通过考虑规定的有限组的调整参数，而不仅仅是特别调整的方法。在这项工作中，我们调查类的方法通过类中最好的方法的相对性能。我们认为，线性回归的核心问题-随机各向同性地面真相-和调查的两个基本方法，梯度下降和岭回归的估计性能。我们揭示了以下现象。(1)对于一般设计，当经验数据协方差阵的特征值衰减缓慢时，常数步长梯度下降优于岭回归，呈指数小于1的幂律。相反，如果特征值衰减迅速，作为幂律指数大于单位或指数，我们表明，岭回归优于梯度下降。(2)对于正交设计，我们计算精确的最小最大最优估计类（实现最小-最大-最小最优性），表明它等价于具有衰减学习率的梯度下降。我们发现次优的岭回归和梯度下降恒定步长。我们的研究结果强调，统计性能可以强烈依赖于调整参数。特别是，虽然最佳调整岭回归是我们设置中的最佳估计器，但当两种方法都只在200多个正则化参数上进行调整时，它可以通过梯度下降的任意/无界量进行优化。
2022-06-12 cs.LG math.OC math.ST
Unbiased least squares regression via averaged stochastic gradient descent
ESCP Business School（ESCP商学院）
针对在线最小二乘回归问题，提出基于随机化多水平蒙特卡洛的无偏时间平均SGD估计量，实现k阶步数下O(1/k)超额风险，还给出风险估计及平均起始版本，理论结果经数值实验验证。
2024-06-26 cs.LG stat.ME stat.ML
Unbiased Gradient Estimation for Variational Auto-Encoders using Coupled Markov Chains
DeepMind（深度思维）
变分自动编码器（VAE）是一种深度潜变量模型，在类似自动编码器的架构中有两个神经网络;其中一个参数化模型的可能性。通过最大似然（ML）拟合其参数具有挑战性，因为边缘似然的计算涉及潜在空间上的棘手积分;因此VAE通过最大化变分下限来训练。在这里，我们通过引入对数似然梯度的无偏估计来开发VAE的ML训练方案。我们得到的估计通过增加一组重要性样本的潜在空间，类似的重要性加权自动编码器（IWAE），然后构建一个马尔可夫链蒙特卡罗耦合过程在这个增强的空间。我们提供的条件下，估计可以计算在有限的时间和有限的方差。我们的实验表明，采用无偏估计量拟合的VAE具有更好的预测性能。
2021-06-02 cs.LG stat.ML
Group Policy Gradient
University of Cambridge（剑桥大学）
该研究提出无评论家的组策略梯度GPG方法，用基于组的蒙特卡洛优势估计替代价值函数，保留PPO裁剪目标结构，经理论证明与实验验证，其性能相当或优于PPO且计算资源利用效率更高。
2025-10-04 cs.LG stat.ML
Convergence Analysis of the ProbAbilistic Gradient Estimator Algorithm for Weakly Convex Finite-Sum Optimization
King Abdullah University of Science and Technology（卡斯特大学）
研究概率梯度估计器算法（PAGE）在τ-弱凸函数框架下，给出非凸和平凸情况间连续插值，建立新收敛率，表明随τ减小复杂度改善。
2026-07-07 cs.LG math.OC
Super-efficiency of automatic differentiation for functions defined as a minimum
CNRS（法国国家科学研究中心）；DMA（数学与应用数学研究所）；Ecole Normale Supérieure - PSL University（巴黎高等师范学院-巴黎文理研究大学）；INRIA（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；Université Paris-Saclay（巴黎萨克雷大学）
在最小最小优化或最大最小优化中，必须计算定义为最小值的函数的梯度。在大多数情况下，最小值没有封闭形式，并且通过迭代算法获得近似值。有两种常用的方法来估计函数的梯度：使用通过假设近似的精确性而获得的解析公式，或者通过算法自动微分。在本文中，我们研究了这些估计作为优化误差的函数的渐近误差。我们发现，自动估计的误差是接近的误差的平方分析估计，反映了超效率现象。自动估计器的收敛性很大程度上取决于算法雅可比矩阵的收敛性。我们分析它的梯度下降和随机梯度下降，并推导出在这些情况下的估计的收敛速度。我们的分析是支持玩具问题和Wasserstein重心计算的数值实验。最后，我们讨论了这些估计的计算复杂性，并给出了实际的指导方针，以选择它们之间。
2020-02-10 cs.LG stat.ML
A One-bit, Comparison-Based Gradient Estimator
University of California, Los Angeles（加州大学洛杉矶分校）；Damo Academy, Alibaba US（阿里巴巴美国达摩院）；Xmotors AI（Xmotors人工智能公司）
我们研究零阶优化的凸函数，我们进一步假设的功能评估是不可用的。相反，人们只能访问$\textit{comparison oracle}$，给定两个点$x$和$y$，它返回单个比特的信息，指示哪个点具有更大的函数值，$f(x)$或$f(y)$。通过将梯度视为待恢复的未知信号，我们展示了如何使用来自一位压缩感知的工具来构建归一化梯度的鲁棒性和可靠性估计。然后，我们提出了一个算法，创造SCOBO，使用这个估计在梯度下降方案。我们表明，当$f(x)$有一些低维结构，可以利用，SCOBO优于国家的最先进的查询复杂性。我们的理论主张得到了广泛的数值实验的验证。
2022-04-23 cs.AI cs.LG math.OC
Inversion-Free Natural Gradient Descent on Riemannian Manifolds
School of Mathematics and Statistics, University of Sydney（悉尼大学数学与统计学学院）；University of Sydney Business School（悉尼大学商学院）
针对参数位于一般黎曼流形上的统计模型，提出一种内在的无逆自然梯度方法，通过流形上逆Fisher信息矩阵的移动近似和低秩更新，避免矩阵求逆，并证明迭代序列的几乎必然收敛率。
2026-05-29 cs.LG stat.CO stat.ME
Multilevel Monte Carlo Variational Inference
The University of Tokyo（东京大学）；RIKEN（日本理化学研究所）
我们提出了一个方差减少框架变分推断使用多级蒙特卡罗（MLMC）方法。我们的框架是建立在重新参数化的梯度估计和“recles”参数从过去的更新历史优化。此外，我们的框架提供了一个新的优化算法的基础上随机梯度下降（SGD），自适应地估计用于梯度估计的样本量根据梯度方差的比率。我们从理论上表明，与我们的方法，梯度估计的方差随着优化的进行而减小，并且学习率调度函数有助于提高收敛性。我们还表明，在\textit{signal-to-noise}比方面，我们的方法可以通过学习率调度函数在不增加初始样本量的情况下提高梯度估计的质量。最后，我们确认，我们的方法实现了更快的收敛速度，并减少了梯度估计的方差相比，其他方法，通过实验比较与基线方法使用几个基准数据集。
2021-12-02 cs.LG stat.ML
Understanding Straight-Through Estimator in Training Activation Quantized Neural Nets
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of California, Irvine（加利福尼亚大学尔湾分校）；Qualcomm AI Research（高通人工智能研究院）
训练激活量化神经网络涉及最小化其梯度几乎处处为零的分段常数函数，这对于标准反向传播或链式规则是不期望的。围绕这个问题的经验方法是使用直通估计器（STE）（Bengio等人，2013），使得通过修改的链式规则的“梯度”变得非平凡。既然这个不寻常的“梯度”肯定不是损失函数的梯度，那么下面的问题就出现了：为什么在其负方向上搜索会使训练损失最小化？本文通过对这一问题的回答，从理论上论证了科技教育的概念。我们考虑学习具有二值化ReLU激活和高斯输入数据的两线性层网络的问题。我们将把由ST修正的链式法则给出的不寻常的“梯度”称为粗梯度。选择STE并不是唯一的。我们证明了，如果STE被适当地选择，则期望的粗梯度与种群梯度（不可用于训练）正相关，并且其否定是使种群损失最小化的下降方向。我们进一步证明了相关的粗梯度下降算法收敛到人口损失最小化问题的临界点。此外，我们表明，STE的选择不佳导致训练算法在某些局部极小值附近不稳定，这与CIFAR-10实验进行了验证。
2019-09-25 cs.LG math.OC stat.ML
A unified view of likelihood ratio and reparameterization gradients
Kyoto University（京都大学）；Okinawa Institute of Science and Technology（冲绳科学技术研究所）；RIKEN（理化学研究所）；The University of Tokyo（东京大学）
在机器学习和强化学习中，重新参数化（RP）和似然比（LR）梯度估计器用于估计期望梯度;然而，它们通常被解释为简单的数学技巧，没有深入了解它们的本质。我们使用第一原理的方法来解释LR和RP是跟踪概率质量运动的替代方法，并且两者通过发散定理连接。此外，我们表明，所有可能的估计结合LR和RP的空间可以完全参数化的流场$u(x)$和重要性采样分布$q(x)$。我们证明了在我们的特征空间之外不存在这种类型的单样本估计，从而澄清了我们应该在哪里寻找更好的Monte Carlo梯度估计。
2021-05-31 cs.AI cs.LG stat.ML
Efficient Debiased Evidence Estimation by Multilevel Monte Carlo Sampling
ETH Zurich（苏黎世联邦理工学院）；The University of Tokyo（东京大学）
在本文中，我们提出了一个新的随机最优化算法的贝叶斯推断的基础上多级蒙特卡罗（MLMC）方法。在贝叶斯统计中，模型证据的有偏估计经常被用作随机目标，因为现有的去偏技术的应用计算成本很高。为了克服这个问题，我们应用MLMC抽样技术来构造模型证据及其梯度的低方差无偏估计量。在理论分析中，我们表明，我们提出的MLMC估计估计模型的证据或其梯度与给定的精度所需的计算成本是一个数量级小于那些以前已知的估计。我们的数值实验证实了相当大的计算节省相比，传统的估计。结合我们的MLMC估计与基于梯度的随机最优化的结果在一个新的可扩展的，高效的，去偏贝叶斯统计模型的推理算法。
2021-02-24 cs.LG stat.CO stat.ML
Quasi-Newton Sequential Monte Carlo
序贯蒙特卡罗采样器代表了贝叶斯模型中后验推断的一种引人注目的方法，因为它是可并行的，并且提供了后验归一化常数的无偏估计。在这项工作中，我们显着加快序贯蒙特卡罗采样器采用L-BFGS海森近似，代表了国家的最先进的全批量优化技术。L-BFGS Hessian近似在参数维度上仅具有线性复杂度，并且不需要额外的后验或梯度评估。由此产生的序贯蒙特卡罗算法是自适应的，并行化的，非常适合于高维和多模态的设置，我们证明在具有挑战性的后验分布的数值实验。
2022-11-22 stat.ME
Pathwise Derivatives for Multivariate Distributions
Uber AI Labs（优步人工智能实验室）
我们利用运输方程和期望的衍生物之间的联系，构建有效的路径梯度估计的多元分布。我们关注两个主要线索。首先，我们使用空的解决方案的运输方程构造自适应控制变量，可用于构建梯度估计减少方差。其次，我们考虑多元混合分布的情况。特别是，我们展示了如何计算路径导数的混合物的多元正态分布任意均值和对角协方差。我们证明了在各种实验的背景下，变分推断，我们的梯度估计可以优于其他方法，特别是在高维。
2019-03-22 cs.LG stat.ML
Perturbative estimation of stochastic gradients
在本文中，我们介绍了一个家庭的随机梯度估计技术的基础上的扰动展开周围的平均抽样分布。我们的特点的偏差和方差泰勒校正估计使用拉格朗日误差公式。此外，我们介绍了一个家庭的方差减少技术，可以应用到其他梯度估计。最后，我们表明，这些新的微扰方法可以扩展到离散函数使用解析延拓。使用这种技术，我们得到了一个新的梯度下降法训练随机网络与二进制权重。在我们的实验中，我们表明，扰动校正提高了收敛的随机变分推断在连续和离散的情况下。
2019-11-15 cs.LG stat.ML
Optimal Confidence Band for Kernel Gradient Flow Estimator
Department of Mathematical Sciences（数学科学系）；Department of Statistics and Data Science（统计与数据科学系）
本文研究了核回归方法中核梯度流的 supremum-范数泛化误差和统一推断，基于容量-源条件框架，推导了连续和离散核梯度流的收敛速率，并构建了同时置信带，其宽度最优。
2026-05-07 cs.LG math.ST stat.ML
Statistical Inference for Online Decision Making via Stochastic Gradient Descent
Department of Statistics, North Carolina State University（北卡罗来纳州立大学统计系）
在线决策旨在通过个性化决策和递归更新决策规则来学习最优决策规则。在大数据的帮助下，这变得比以前更容易，但新的挑战也随之而来。由于决策规则应该每步更新一次，因此使用所有历史数据的离线更新在计算和存储方面是低效的。为此，我们提出了一个完全在线的算法，可以通过随机梯度下降在线决策和更新决策规则。它不仅是有效的，而且支持各种参数奖励模型。针对在线决策的统计推断问题，建立了算法产生的参数估计量和用于估计最优值的在线逆概率加权值估计量的渐近正态性。在线插件估计的参数和值估计的方差也被提供，并显示是一致的，使区间估计和假设检验是可能的，使用我们的方法。通过仿真和新闻文章推荐的实际数据应用，对所提出的算法和理论结果进行了测试。
2020-10-14 cs.LG stat.ML
Doubly Robust Off-Policy Value and Gradient Estimation for Deterministic Policies
Cornell University（康奈尔大学）；Harvard University（哈佛大学）
离线强化学习，其中使用由固定行为策略记录的非策略数据来评估和学习新策略，在实验有限的应用中至关重要，例如医学。本文研究了当行为连续时，确定性策略的策略值和梯度的估计问题。确定性策略的目标是至关重要的，因为最佳策略总是确定性的（直到领带）。在这种情况下，标准的重要性采样和双稳健估计策略值和梯度失败，因为密度比不存在。为了避免这个问题，我们提出了几个新的双重鲁棒估计基于不同的核化方法。我们分析的渐近均方误差，这些温和的利率条件下滋扰估计。具体来说，我们演示了如何获得一个利率是独立的地平线长度。
2020-06-06 cs.LG math.OC stat.ML
PAGE: A Simple and Optimal Probabilistic Gradient Estimator for Nonconvex Optimization
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
在本文中，我们提出了一种新的随机梯度估计-概率梯度估计（PAGE）-非凸优化。PAGE很容易实现，因为它是通过对普通SGD的小调整来设计的：在每次迭代中，PAGE使用概率为$p_t$的普通小批量SGD更新，或者以低得多的计算成本以概率为$1-p_t$的小调整重用先前的梯度。我们给出了一个简单的公式的最佳选择的$p_t$。此外，我们证明了非凸有限和问题的第一个紧下界$Ω(n+\frac{\sqrt{n}}{ε^2})$，这也导致了非凸在线问题的紧下界$Ω(b+\frac{\sqrt{b}}{ε^2})$，其中$b:= \min\{\frac{σ^2}{ε^2}, n\}$。然后，我们表明，PAGE获得的最佳收敛结果$O(n+\frac{\sqrt{n}}{ε^2})$（有限和）和$O(b+\frac{\sqrt{b}}{ε^2})$（在线）匹配我们的下界的非凸有限和和在线问题。此外，我们还证明了对于满足PL条件的非凸函数，PAGE可以自动切换到更快的线性收敛速度$O(\cdot\log \frac{1}ε)$ .最后，我们进行了几个深度学习实验（例如，在PyTorch中的真实数据集上进行的实验表明，PAGE不仅在训练中收敛速度比SGD快得多，而且还实现了更高的测试精度，验证了最佳理论结果，并证实了PAGE的实际优势。
2021-06-11 cs.AI cs.DS cs.LG
A Note on Zeroth-Order Optimization on the Simplex
University of California, Berkeley（加州大学伯克利分校）；California Institute of Technology（加州理工学院）
本文对定义在概率单纯形上的光滑函数构造了一个零阶梯度估计。所提出的估计器只查询单纯形。我们证明了投影梯度下降和指数权重算法，当运行这个估计，而不是精确的梯度，收敛在一个$\mathcal O(T^{-1/4})$率。
2022-08-02 cs.GT cs.LG math.OC
Convergence Analysis of Stochastic Gradient Descent with MCMC Estimators
本文分析了采用 MCMC 估计器计算梯度的 MCMC-SGD 算法，利用 Bernstein 不等式推导误差界限，证明其具有一阶收敛速率并能高概率逃离鞍点达到近似二阶驻点。
2024-03-23 math.OC stat.ML
A Local Modal Outer-Product-Gradient Estimator for Dimension Reduction
针对外积梯度（OPG）在误差对称分布时可能忽略中心子空间方向的问题，提出通过模态回归估计偏斜误差下中心子空间基的局部模态OPG（LMOPG）方法，证明了其一致性与渐近正态性，并通过蒙特卡洛模拟验证了其效率和鲁棒性。
2024-07-30 stat.ME
Derivative-Free Optimization via Finite Difference Approximation: An Experimental Study
City University of Hong Kong（香港城市大学）
针对无导数优化中经典KW和SPSA算法梯度估计不精确、收敛慢的问题，通过实验比较批量有限差分估计器与经典方法，发现高效批量FD估计器对应的梯度下降算法在低维与高维场景中均表现更优。
2025-02-18 cs.LG math.OC
Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations
University of Maryland（马里兰大学）
本文通过约束泛函优化发现最小化两点零阶梯度估计器渐近方差的扰动应方向对齐梯度，提出DAP方案，理论分析其收敛性并实证验证其在特定条件下优于传统方法。
2025-10-22 cs.AI cs.LG math.OC
Convergence Rates for a Class of Estimators Based on Stein's Method
抽样分布的梯度信息可用于通过Stein方法减少蒙特卡罗估计的方差。一个重要的应用是估计沿着马尔可夫链的样本路径的检验函数的期望，其中梯度信息使得能够以必须求解的线性系为代价来改进收敛速度。本文的贡献是建立理论界的收敛速度的一类估计的基础上Stein的方法。我们的分析占（i）的光滑度的抽样分布和检验函数，（ii）的状态空间的维数，和（iii）的情况下产生的非独立样本的马尔可夫链。这些结果提供了深入了解的快速收敛的梯度为基础的估计观察低维问题，以及澄清一个灾难的维，似乎固有的这种方法。
2017-12-27 math.ST stat.TH
Robust model training and generalisation with Studentising flows
KTH Royal Institute of Technology（瑞典皇家理工学院）
标准化流是易于处理的概率模型，利用深度学习的力量来描述广泛的参数分布族，同时使用最大似然法保持可训练性。我们讨论了这些方法可以进一步改进的基础上，从强大的（特别是，耐）统计的见解。具体来说，我们建议赋予基于流的模型，如多变量学生的$t$，作为一个简单的下拉式替代传统的正常化流使用的高斯分布的肥尾潜在分布。虽然鲁棒性带来了许多优点，本文探讨了其中的两个：1）我们描述了如何使用厚尾基分布可以提供类似于梯度裁剪的好处，但不会损害该方法的渐近一致性。2)我们还讨论了如何强大的想法导致模型与减少泛化差距和提高持有的数据可能性。在几个不同的数据集上的实验证实了所提出的方法在这两方面的有效性。
2020-07-11 cs.LG stat.ML
