Online Statistical Inference for Contextual Bandits via Stochastic Gradient Descent
New York University（纽约大学）；University of Texas at Austin（得克萨斯大学奥斯汀分校）；Purdue University（普渡大学）
本文提出了一种基于随机梯度下降的在线统计推断框架，通过逆概率权重提高估计效率，并分析了自适应数据收集对收敛速度的影响。
2026-01-21 cs.LG stat.ML
Online simultaneous inference for quantiles via smoothed stochastic gradient descent
Department of Mathematics and Statistics（数学与统计学系）；Washington University in St.Louis（圣路易斯华盛顿大学）；Chair of Statistics（统计学教授职位）；Humboldt-Universität zu Berlin（柏林洪堡大学）；University of Chicago（芝加哥大学）
本文提出基于平滑SGD的分位数在线同时推断方法，推导了相关理论界，提出在线乘数自助法，经模拟验证可准确估计分位数，适用于条件风险价值曲线等场景。
2026-09-02 cs.LG math.ST stat.ML
Scalable Statistical Inference in Stochastic Gradient Descent
Indian Institute Of Technology Delhi（印度理工学院德里分校）；Indian Institute of Technology Delhi-Abu Dhabi（印度理工学院德里-阿布扎比分校）；Duke-NUS Medical School（杜克-国大医学院）
针对高维SGD置信区间构建的协方差估计瓶颈与退化问题，提出结合等批量均值、t分布边际统计量、wild bootstrap与t-copula拟蒙特卡罗的可扩展方法，经模拟验证可生成稳健高效的高维置信区间。
2026-09-01 stat.CO
Kalman Gradient Descent: Adaptive Variance Reduction in Stochastic Optimization
我们介绍卡尔曼梯度下降，一个随机最优化算法，使用卡尔曼滤波，自适应地减少梯度方差随机梯度下降的梯度估计过滤。我们提出了在非凸设置和实验结果表明，在各种机器学习领域，包括神经网络和黑箱变分推断的性能提高收敛的理论分析。我们还提出了一个分布式版本，我们的算法，使大规模的优化，我们扩展我们的算法SGD与动量和RMSProp。
2018-10-29 cs.LG math.OC stat.ML
Gaussian Process Inference Using Mini-batch Stochastic Gradient Descent: Convergence Guarantees and Empirical Benefits
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Michigan（密歇根大学）
本文针对高斯过程超参数估计，证明小批量SGD在相关样本下仍能以O(1/K)速率收敛到临界点，并在模拟与真实数据上验证其泛化性能优于现有GP方法且计算开销更低。
2021-11-19 cs.LG stat.ML
High Throughput Synchronous Distributed Stochastic Gradient Descent
Department of Engineering Sciences, University of Oxford（牛津大学工程科学系）；University of Oxford（牛津大学）
我们介绍了一种新的，高吞吐量，同步，分布式，数据并行，随机梯度下降学习算法。该算法在特定于计算集群的深度生成动态模型中使用摊销推理，对并行计算集群中所有工作节点的小批量梯度计算时间进行联合后验预测推理。我们表明，同步参数服务器可以，通过利用这样的模型，选择一个最佳的截止时间，超过该时间，从慢工人的小批量梯度消息被忽略，最大限度地提高整体的小批量梯度计算每秒。与早期的发现一致，我们观察到，在现实条件下，急于丢弃落后者的小批量梯度计算不仅可以增加吞吐量，而且实际上可以通过消除空闲来增加作为挂钟时间函数的总体收敛率。这项工作的主要新贡献和发现超越了这一点，证明了使用来自集群工作者性能的生成模型的预测运行时间来动态调整截止值比静态截止值现有技术有了很大的改进，从而显著减少了大型计算机集群上的深度神经网络训练时间。
2018-03-12 cs.DC cs.LG stat.ML
On the geometry of Stein variational gradient descent
Imperial College London（帝国理工学院）；The Alan Turing Institute（艾伦·图灵研究所）；University of Edinburgh（爱丁堡大学）
贝叶斯推断问题需要对高维概率分布进行采样或近似。本文的重点是最近推出的斯坦变分梯度下降法，一类算法，依赖于迭代最速下降步骤的再生核希尔伯特空间范数。这种构造导致相互作用的粒子系统，其平均场极限是在具有一定几何结构的概率分布空间上的梯度流。我们利用这个观点来阐明算法的收敛性，特别是解决选择一个合适的正定核函数的问题。我们的分析使我们考虑某些不可微内核调整的尾巴。我们证明了显着的性能增益，这些在各种数值实验。
2023-02-12 cs.LG math.AP math.ST
Asymptotic and finite-sample properties of estimators based on stochastic gradients
随机梯度下降过程已经得到普及的参数估计从大数据集。然而，它们的统计特性在理论上还没有得到很好的理解。在实践中，避免数值不稳定性需要仔细调整关键参数。在这里，我们介绍隐式随机梯度下降过程，其中涉及参数更新是隐式定义的。直观地，隐式更新缩小了标准的随机梯度下降更新。收缩量取决于观察到的费舍尔信息矩阵，这不需要显式计算，因此，隐式程序增加了稳定性，而不增加计算负担。我们的理论分析提供了第一个完整的表征的渐近行为的标准和隐式随机梯度下降为基础的估计，包括有限样本误差界。重要的是，这些随机的基于梯度的估计方差的解析表达式揭示了它们的效率损失。我们还开发了新的算法来计算隐式随机梯度下降为基础的估计广义线性模型，Cox比例风险，M-估计，在实践中，并进行了广泛的实验。我们的研究结果表明，隐式随机梯度下降程序准备成为一个从大数据集近似推理的主力
2016-09-28 stat.CO stat.ME stat.ML
Weighted Averaged Stochastic Gradient Descent: Asymptotic Normality and Optimality
University of Chicago（芝加哥大学）；University of California, Irvine（加利福尼亚大学欧文分校）
本文针对SGD提出通用加权平均方案，建立了加权平均SGD解的渐近正态性并提供在线推断方法，同时基于线性模型非渐近MSE最优权重设计了兼具最优统计速率与非渐近收敛性的自适应平均方案。
2025-04-06 cs.LG stat.ML
Inference on the attractor spaces via functional approximation
Sapienza University of Rome（罗马第一大学）；European Commission, Joint Research Centre (JRC)（欧盟委员会联合研究中心）
本文提出通过函数逼近和经验主成分分析，对I(1)线性过程的吸引子空间进行半参数推断，探讨了随机趋势数量假设的检验方法及渐近性质。
2025-12-16 math.ST stat.ME stat.TH
Refining Covariance Matrix Estimation in Stochastic Gradient Descent Through Bias Reduction
Department of Statistics（统计系）；University of Chicago（芝加哥大学）；University of California, Irvine（加州大学尔湾分校）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文提出一种全新的在线去偏差协方差估计器，无需二阶导数即可显著提升估计精度，收敛速度为n^{(α-1)/2}√logn，优于现有无Hessian方法。
2026-04-23 cs.LG stat.ML
Learned Weight Sharing for Deep Multi-Task Learning by Natural Evolution Strategy and Stochastic Gradient Descent
University of Oldenburg（奥尔登堡大学）
在深度多任务学习中，任务特定网络的权重在任务之间共享，以提高每个任务的性能。由于在层之间共享哪个权重的问题很难回答，因此人类设计的架构通常共享除了最后一个特定于任务的层之外的所有内容。在许多情况下，这种过于简单的方法严重限制了性能。相反，我们提出了一种算法来学习一组共享的权重和特定于任务的层之间的分配。为了优化不可微分配，同时训练可微权重，通过自然演化策略和随机梯度下降的组合进行学习。最终的结果是任务特定的网络，共享权重，但允许独立的推理。它们在三个多任务学习数据集上实现了比文献中的基线和方法更低的测试误差。
2020-03-23 cs.LG stat.ML
Energy-entropy competition and the effectiveness of stochastic gradient descent in machine learning
University of Cambridge（剑桥大学）；Harvard University（哈佛大学）
寻找最小化损失函数的参数是许多机器学习方法的核心。随机梯度下降算法被广泛使用，并为许多问题提供了最先进的结果。然而，随机梯度下降通常不能找到全局最小值，因此其经验有效性迄今是神秘的。我们推导出统计物理中参数推断和自由能最小化之间的对应关系。欠采样的程度起着温度的作用。类似于统计物理学中的能量熵竞争，如果系统欠采样，则宽而浅的最小值可能是最佳的，这在许多应用中是典型的。此外，我们表明，该算法中的随机性有一个非平凡的相关结构，系统地偏向于广泛的最小值。我们用两个原型模型来说明我们的论点：使用深度学习的图像分类，以及线性神经网络，我们可以通过分析揭示熵和样本外误差之间的关系。
2018-03-05 cond-mat.stat-mech cs.LG stat.ML
Variational Stochastic Gradient Descent for Deep Neural Networks
Eindhoven University of Technology（埃因霍温理工大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
针对梯度不确定性建模需求，提出结合自适应梯度方法与概率框架的VSGD优化器，通过概率模型与随机变分推断推导更新规则，实验证明其在图像分类任务上性能优于Adam和SGD。
2025-04-18 cs.LG stat.ML
Optimization of Graph Neural Networks with Natural Gradient Descent
University of Notre Dame（圣母大学）
在这项工作中，我们建议采用信息几何工具来优化图神经网络架构，如图卷积网络。更具体地说，我们开发了基于图的半监督学习的优化算法，通过在优化过程中采用自然梯度信息。这使我们能够有效地利用底层统计模型或参数空间的几何结构进行优化和推理。据我们所知，这是第一个利用自然梯度优化图神经网络的工作，可以扩展到其他半监督问题。高效的计算算法的开发和广泛的数值研究进行了证明我们的算法优于现有的算法，如ADAM和SGD的性能。
2020-08-21 cs.LG stat.ML
Stochastic Multiple Target Sampling Gradient Descent
VinAI Research（VinAI研究院）；Monash University（莫纳什大学）；University of Texas, Austin（德克萨斯大学奥斯汀分校）
从非标准化目标分布中采样是概率推理中的一个重要问题。Stein变分梯度下降（SVGD）已被证明是一个强大的方法，迭代更新一组粒子，以近似感兴趣的分布。此外，当分析其渐近性质时，SVGD完全简化为单目标优化问题，并且可以被视为该单目标优化问题的概率版本。一个自然的问题随之而来：“我们能推导出多目标优化的概率版本吗？".为了回答这个问题，我们提出了随机多目标采样梯度下降（MT-SGD），使我们能够从多个未归一化的目标分布进行采样。具体来说，我们的MT-SGD进行中间分布流逐渐定向到多个目标分布，这允许采样粒子移动到目标分布的联合高似然区域。有趣的是，渐近分析表明，我们的方法完全减少到多目标优化的多梯度下降算法，正如预期的那样。最后，我们进行了全面的实验，以证明我们的多任务学习方法的优点。
2023-02-10 cs.AI cs.LG stat.ML
Noise and Fluctuation of Finite Learning Rate Stochastic Gradient Descent
the University of Tokyo（东京大学）；RIKEN（理化学研究所）
在消失学习率机制中，随机梯度下降（SGD）现在相对较好地理解。在这项工作中，我们建议研究SGD及其变体在非零学习率制度的基本属性。重点是推导出完全可解的结果，并讨论其影响。这项工作的主要贡献是推导出稳态分布离散时间SGD在二次损失函数有和没有动量，特别是，我们的结果的一个含义是，离散时间动态引起的波动采取扭曲的形状，是显着大于连续时间理论可以预测。在这项工作中考虑所提出的理论的应用程序的例子包括近似误差的SGD的变体，小批量噪声的影响，最佳的贝叶斯推断，从一个尖锐的最小值的逃逸率，和平稳的协方差的一些二阶方法，包括阻尼牛顿的方法，自然梯度下降，亚当。
2021-06-11 cs.LG stat.ML
Cheap Bootstrap for Fast Uncertainty Quantification of Stochastic Gradient Descent
Columbia University（哥伦比亚大学）
本文提出两种计算成本低的重采样方法，用于构建随机梯度下降解的置信区间，通过改进的Berry-Esseen型界减少计算量，避免现有分批方法的复杂混合条件。
2026-03-31 cs.LG stat.ML
Online differentially private inference in stochastic gradient descent
针对流式实时数据与无可信管理者场景，提出满足局部差分隐私的单遍带噪随机梯度下降算法，并建立置信区间、收敛速率和泛函中心极限定理。
2025-06-10 stat.ME
Statistical Inference for Differentially Private Stochastic Gradient Descent
Center for Data Science, Zhejiang University（浙江大学数据科学中心）；Department of Statistics, Rutgers University（罗格斯大学统计系）；Faculty of Business and Economics, The University of Hong Kong（香港大学商学院）
本文提出了一种在差分隐私随机梯度下降中构建有效置信区间的两种方法，通过分析渐近方差分解，实现了在隐私保护下的统计推断。
2025-12-12 cs.LG stat.ME stat.ML
Double and Single Descent in Causal Inference with an Application to High-Dimensional Synthetic Control
研究因果推断中高维模型的双重下降现象，发现过参数化线性回归与合成控制可提升插补和估计性能，并统一解释为模型平均效应。
2023-10-12 econ.EM stat.ME stat.ML
Statistical Inference for Stochastic Gradient Descent: Beyond Finite Variance
Management Science and Engineering, Stanford University（斯坦福大学管理科学与工程系）
针对随机梯度下降中梯度方差可能无限的问题，提出一种基于联合弱收敛和自正则化统计量的模型无关置信域构建方法，并通过子采样校准实现渐近有效推断。
2026-08-03 cs.LG stat.ME stat.ML
Scalable Estimation and Inference with Large-scale or Online Survival Data
随着数据收集和聚合技术在许多科学学科中的快速发展，进行大规模或在线回归来分析真实世界的数据并揭示真实世界的证据变得越来越普遍。在这样的应用程序中，将整个数据集存储在内存中通常在数值上具有挑战性，有时甚至是不可行的。因此，涉及整个数据集的经典基于批处理的估计方法不那么有吸引力或不再适用。相反，递归估计方法，如随机梯度下降，顺序处理数据点更有吸引力，表现出数值方便和内存效率。在本文中，对于大的或在线的生存数据的可扩展估计，我们提出了一种随机梯度下降方法，递归更新的估计在一个在线的方式，数据点顺序到达流。理论结果，如渐近正态性和估计效率建立证明其有效性。此外，量化的不确定性与建议的随机梯度下降估计，并促进统计推断，我们开发了一个可扩展的reservation策略，专门迎合大规模或在线设置。仿真研究和实际数据的应用也提供了评估其性能，并说明其实际效用。
2021-03-19 stat.ME
A mirror descent approach to maximum likelihood estimation in latent variable models
University of Turin（都灵大学）；Collegio Carlo Alberto（卡罗阿尔贝托学院）
本文提出一种结合镜像下降与序列蒙特卡洛的潜变量模型参数推断与后验估计方法，适用于离散潜变量，并在实验中优于标准期望最大化算法。
2025-11-06 stat.CO stat.ME
Detecting Model Misspecification in Bayesian Inverse Problems via Variational Gradient Descent
Newcastle University（纽卡斯尔大学）；University of Edinburgh（爱丁堡大学）；University of Glasgow（格拉斯哥大学）；The Alan Turing Institute（艾伦·图灵研究所）
提出一种通过比较标准贝叶斯后验与预测导向后验来检测模型误设定的诊断方法，并基于变分梯度下降实现高效数值算法。
2026-10-27 stat.CO stat.ME
Grassmann Stein Variational Gradient Descent
Imperial College London（帝国理工学院）；University of Oxford（牛津大学）
Stein变分梯度下降（SVGD）是一种确定性粒子推理算法，它为马尔可夫链蒙特卡罗提供了一种有效的替代方案。然而，SVGD已被发现遭受方差低估时，目标分布的维数是高的。最近的发展主张投影的得分函数和数据到真正的线，以回避这个问题，虽然这可能会严重高估的认识（模型）的不确定性。在这项工作中，我们提出了格拉斯曼斯坦变分梯度下降（GSVGD）作为一种替代方法，它允许投影到任意维的子空间。与其他依赖于降维的SVGD算法相比，GSVGD算法同时更新得分函数和数据的投影，最优投影通过探索有利子空间的耦合Grassmann扩散过程确定.我们的理论和实验结果表明，GSVGD享有有效的状态空间探索高维问题，具有内在的低维结构。
2022-03-11 cs.LG stat.ME stat.ML
On the mean-field limit for Stein variational gradient descent: stability and multilevel approximation
针对似然评估成本高的贝叶斯反问题中Stein变分梯度下降计算开销大的问题，提出多层SVGD变体，通过并行运行不同似然近似层级的粒子动力学并调整各层粒子数，可显著降低计算复杂度，数值实验验证了理论加速效果。
2024-02-02 cs.NA math.NA stat.ME
