Gradient Boosting Performs Gaussian Process Inference
ShareChat;Yandex Research(Yandex研究院);HSE University(高等经济大学)
本文证明了基于对称决策树的梯度提升可以等价地转化为收敛于某个核岭回归问题的解的核方法。因此,我们获得了高斯过程的后验均值的收敛,这反过来又使我们能够轻松地将梯度提升从后验转换为采样器,以通过后验方差的Monte-Carlo估计提供更好的知识不确定性估计。我们表明,建议的采样器允许更好的知识不确定性估计,从而改善域外检测。
2023-03-13 cs.LG stat.ML
Towards new cross-validation-based estimators for Gaussian process regression: efficient adjoint computation of gradients
本文研究了用交叉验证法估计高斯过程的协方差函数的参数问题。我们建议使用新的交叉验证标准来自文学的评分规则。我们还提供了一个有效的方法来计算交叉验证标准的梯度。据我们所知,我们的方法是更有效的比在文献中提出的。它使得有可能降低联合评估留一法准则及其梯度的复杂性。
2020-08-06 stat.CO stat.ML
Integrated Gradient attribution for Gaussian Processes with non-Gaussian likelihoods
University of Bamberg(班贝格大学)
本文提出将 Integrated Gradient 可解释性方法应用于具有非高斯似然的 Gaussian Process 模型,提供解析与近似解,扩展了概率模型在复杂似然下的梯度解释能力。
2025-03-02 cs.LG stat.ML
Inference in Deep Gaussian Processes using Stochastic Gradient Hamiltonian Monte Carlo
University of Cambridge(剑桥大学);Microsoft Research(微软研究院);Alan Turing Institute(艾伦·图灵研究所);University of Sevilla(塞维利亚大学)
深度高斯过程(DGP)是高斯过程的分层概括,它将校准良好的不确定性估计与多层模型的高度灵活性相结合。这些模型面临的最大挑战之一是精确的推理是棘手的。目前最先进的推理方法,变分推断(VI),采用高斯近似的后验分布。这可能是通常多模态后验的潜在不良单峰近似。在这项工作中,我们提供的非高斯性质的后验的证据,我们采用随机梯度哈密顿蒙特卡罗方法来生成样本。为了有效地优化超参数,我们引入了移动窗口MCEM算法。这导致在一个更低的计算成本比VI对应的显着更好的预测。因此,我们的方法建立了一个新的国家的最先进的DGP推理。
2018-11-12 cs.LG stat.ML
Tighter Bounds on the Log Marginal Likelihood of Gaussian Process Regression Using Conjugate Gradients
Imperial College London(帝国理工学院);University of Cambridge(剑桥大学)
我们提出了一个下界的高斯过程回归模型的对数边际似然,可以计算没有矩阵分解的完整的内核矩阵。我们表明,近似极大似然学习模型参数最大化我们的下限保留了许多稀疏变分方法的好处,同时减少了偏见引入参数学习。我们的界限的基础是一个更仔细的分析出现在对数边际似然的对数行列式项,以及使用共轭梯度的方法来推导出严格的下界的一项涉及二次型。我们的方法是一个统一的方法依赖于下限最大化(例如变分法)和迭代方法的基础上训练高斯过程的共轭梯度的一步。在实验中,与其他基于共轭梯度的方法相比,我们的模型在相当的训练时间内表现出更好的预测性能。
2021-02-16 cs.LG stat.ML
Enabling scalable stochastic gradient-based inference for Gaussian processes by employing the Unbiased LInear System SolvEr (ULISSE)
在高斯过程的应用中,不确定性的量化是主要的兴趣,它是必要的,以准确地描述协方差参数的后验分布。本文提出了一种自适应的随机梯度Langevin动态算法,从协方差参数的后验分布中提取样本,具有可忽略的偏差,而不需要计算边缘似然。在高斯过程回归中,这有一个巨大的优点,即随机梯度可以通过求解线性系统来计算。提出了一种基于并行化协方差阵-向量积的无偏线性系统求解器,以加速梯度的无偏估计。结果表明,使可扩展的和准确的(在蒙特卡罗意义上)量化高斯过程中的不确定性,而不施加任何特殊结构的协方差或减少输入向量的数量的可能性。
2015-09-03 stat.CO stat.ME stat.ML
Learning Stochastic Differential Equations With Gaussian Processes Without Gradient Matching
Aalto University(阿尔托大学)
介绍了一种新的学习随机微分方程非参数漂移和扩散函数的范例。所提出的模型学习模拟路径分布,匹配具有非均匀时间增量和任意稀疏性的观测值,这与不优化模拟响应的梯度匹配相反。我们制定的灵敏度方程的学习和证明,我们的一般随机分布优化导致鲁棒性和有效的学习的可编程系统。
2018-07-31 cs.LG stat.ML
Inclusive KL Gradient Flows: Otto-Wasserstein, Fisher-Rao-Gaussian, and Local-Estimator Dynamics
Department of Mathematics, KTH Royal Institute of Technology(数学系,皇家理工学院)
建立统一的包含性KL推理梯度流和PDF框架,表明最大均值差异最小化可视为含近似梯度估计器的包含性KL推理,还开发了直接针对包含性KL散度的梯度流,为高斯变分推理提供基础。
2026-07-07 cs.LG math.OC stat.ML
Gradient descent in Gaussian random fields as a toy model for high-dimensional optimisation in deep learning
Tower Research Capital;University of Oxford(牛津大学)
在本文中,我们模型的损失函数的高维优化问题的高斯随机场,或等价的高斯过程。我们的目标是研究这种损失函数或能量景观中的梯度下降,并将其与深度学习中遇到的实际高维优化问题获得的结果进行比较。特别地,我们分析了改进的损失函数的分布后的一步梯度下降,提供解析表达式的时刻,以及证明渐近正态性的参数空间的维数变大。此外,我们比较这与期望的全球最低的景观通过欧拉特征的游览集。除了补充我们的分析结果与模拟高斯随机场的数值结果,我们还比较它的损失函数从优化问题的合成和真实的数据集,提出了一个“黑盒子”的随机场玩具模型的深度神经网络损失函数。
2018-03-24 cs.LG stat.ML
Globally Optimal Gradient Descent for a ConvNet with Gaussian Inputs
深度学习模型通常使用梯度下降成功训练,尽管底层非凸优化问题的最坏情况困难。关键问题是在什么条件下可以证明优化会成功。这里我们提供了一个强有力的结果。我们考虑一个神经网络,它有一个隐藏层和一个没有重叠的卷积结构和一个ReLU激活函数。对于这种架构,我们表明,学习是NP完全的一般情况下,但当输入分布是高斯,梯度下降收敛到全局最优的多项式时间。据我们所知,这是在具有ReLU激活的卷积神经网络上梯度下降的第一个全局最优性保证。
2017-02-26 cs.LG math.OC stat.ML
Variational Gaussian filtering via Wasserstein gradient flows
本研究提出一种基于Wasserstein梯度流的变分近似新方法,用于实现高斯及高斯混合滤波,在乘性噪声、多模态状态分布等高斯近似失效的场景中,展现出后验表示与参数估计的竞争力。
2023-06-19 cs.CE cs.SY eess.SY
Stochastic Gradient Descent for Gaussian Processes Done Right
University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Cornell University(康奈尔大学);University of Alberta(阿尔伯塔大学)
本文提出一种简单的随机对偶下降算法,正确利用优化与核方法洞见求解高斯过程回归中的大型线性系统,并在UCI回归、贝叶斯优化及分子结合亲和力预测中展现出竞争力。
2024-04-28 cs.LG stat.ML
Multifidelity Data Fusion via Gradient-Enhanced Gaussian Process Regression
提出了一种基于多保真度高斯过程回归(GPR)框架的数据融合方法。该方法将感兴趣量及其梯度的可用数据与不同的保真度水平相结合,即,它是一种一致性增强的协同克里格方法(GE-Cokriging)。它同时提供了QoI及其梯度的近似值和不确定性估计。我们将该方法与不使用梯度信息的传统多保真度Cokriging方法进行了比较,结果表明,GE-Cokriging在预测QoI及其梯度方面具有更好的性能。此外,GE-Cokriging甚至在某些情况下表现出更好的泛化结果,其中Cokriging由于协方差矩阵的奇异性而表现不佳。我们展示了GE-Cokriging在几个实际案例中的应用,包括重建轨迹和速度的欠阻尼振荡器相对于时间的同时,和调查的灵敏度的负载总线的功率因数相对于发电机总线在大规模电力系统中的功率输入的变化。我们还表明,虽然GE-Cokriging方法需要的计算成本比Cokriging方法稍高,精度比较的结果表明,这种成本通常是值得的。
2020-08-03 cs.CE stat.ML
Linear interpolation gives better gradients than Gaussian smoothing in derivative-free optimization
在本文中,我们考虑无导数的最优化问题,其中的目标函数是光滑的,但计算有一定量的噪声,函数的评价是昂贵的,没有导数信息。我们的动机是最近流行的强化学习中的策略最优化问题[Choromaski et al. 2018; Fazel et al. 2018; Salimans et al. 2016],并且可以用公式表示为具有上述特征的无导数最优化问题。在每一个这些作品的梯度的一些近似构造和(随机)梯度法应用。在[Salimans et al. 2016]中,梯度信息沿高斯方向聚合,而在[Choromaski et al. 2018]中,梯度信息沿正交方向计算。我们提供了一个收敛速度分析的一阶线搜索法,类似于文献中使用的,并推导出梯度近似,确保这种收敛的条件。然后,我们通过对方差的严格分析和对强化学习任务的数值比较证明,[Salimans et al. 2016]中使用的高斯采样方法明显劣于[Choromaski et al. 2018]中使用的正交采样以及更一般的插值方法。
2019-06-02 math.OC stat.ML
Multivariate Gaussian Variational Inference by Natural Gradient Descent
University of Toronto(多伦多大学);Institute for Aerospace Studies(航空航天研究所)
这篇短文回顾了所谓的多元高斯的自然梯度下降(NGD)。推导了几种不同高斯参数化下的费舍尔信息矩阵。在计算导数时,要特别注意协方差阵的对称性。我们发现,有一些优点,选择一个参数化,包括平均值和逆协方差阵,并提供一个简单的NGD更新,占对称(和稀疏)性质的逆协方差阵。
2020-10-19 cs.LG cs.RO math.ST
Toward Global Convergence of Gradient EM for Over-Parameterized Gaussian Mixture Models
University of Washington(华盛顿大学)
研究过参数化GMM中梯度EM算法的全局收敛性,提出基于似然的收敛分析框架,首次证明任意成分数下以次线性速率全局收敛,并揭示不良局部区域导致指数级步数停滞的挑战。
2025-06-01 cs.LG math.OC stat.ML
Fast Gaussian Process Based Gradient Matching for Parameter Identification in Systems of Nonlinear ODEs
ETH Zürich(苏黎世联邦理工学院);Max Planck ETH CLS(马克斯·普朗克-苏黎世联邦理工计算与系统神经科学中心);MPI-IS Tübingen(图宾根马克斯·普朗克智能系统研究所)
动态系统的参数辨识与比较在许多领域都是一个具有挑战性的课题。基于时间序列数据的高斯过程回归的贝叶斯方法已经成功地应用于推断动态系统的参数,而无需显式求解它。我们提供了一个新的解释,导致更好地理解和改进的最先进的性能方面的非线性动力系统的准确性。
2019-03-01 cs.LG stat.ML
Gradient-enhanced deep Gaussian processes for multifidelity modelling
The University of Melbourne(墨尔本大学);The University of Queensland(昆士兰大学);The University of Southern Queensland(南昆士兰大学)
本文提出梯度增强的深度高斯过程用于多保真建模,通过融合低保真与高保真数据并利用梯度信息,在高超声速飞行器气动系数预测等任务中优于线性GP及非梯度增强模型。
2024-02-25 cs.LG stat.ML
Evolution of Gaussians in the Hellinger-Kantorovich-Boltzmann gradient flow
本研究基于 Hellinger-Kantorovich 几何下相对 Boltzmann 熵梯度流保持 Gaussian 测度类的不变性,推导了控制均值、协方差与质量演化的显式常微分方程,并证明了指数收敛及在非 Gaussian 目标上的应用。
2025-04-29 math.AP math.PR stat.ML
Gradient Flows for Sampling: Mean-Field Models, Gaussian Approximations and Affine Invariance
本文研究带未知归一化常数的采样问题,通过选择Kullback-Leibler散度能量和Fisher-Rao、Wasserstein、Stein度量构造梯度流,引入并实现仿射不变性,并证明高斯近似与矩闭合一致且具有更好的长时间收敛性质。
2024-09-11 cs.NA math.NA stat.ML
Asymptotic Analysis of Two-Layer Neural Networks after One Gradient Step under Gaussian Mixtures Data with Structure
MLIP Research Group, KUIS AI Center, Koç University(MLIP研究组、KUIS人工智能中心、科举大学);Department of EEE, Koç University(电子工程系、科举大学)
本研究针对高斯混合结构化数据下经一步梯度下降的两层神经网络,在渐近比例极限下分析其训练与泛化性能,证明特定条件下高阶多项式模型与非线性神经网络等价,并通过仿真及Fashion-MNIST实验验证结论可推广至真实数据。
2025-05-17 cs.LG stat.ML
Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent
University of Alberta(阿尔伯塔大学);University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Cornell University(康奈尔大学)
本文提出用随机梯度下降近似求解高斯过程后验采样中的线性系统,通过低方差优化目标及谱刻画解释非收敛隐式偏差,在大规模回归和贝叶斯优化任务上以低计算成本取得与昂贵基线相当的性能。
2024-01-16 cs.LG stat.ML
Is $\sqrt{d}$ Separation Necessary for Gradient EM to Learn Gaussian Mixtures in High Dimensions?
University of California, Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学);Amazon, Inc.(亚马逊公司)
本文证明在高维设置下,梯度EM学习高斯混合模型所需的真实分量间最小分离度必须达到$\Omega(\sqrt{d})$量级,且任何更小的分离度(如$\Omega(d^{0.5-\epsilon})$)在最坏情况下均不足以保证随机初始化下的全局收敛,从而建立了几乎最优的下界。
2026-10-07 cs.LG stat.ML
Gaussian variational approximation with sparse precision matrices
我们考虑的问题学习高斯变分近似的后验分布的高维参数,我们施加稀疏的精度矩阵,以反映适当的条件独立结构的模型。在精度矩阵中定义稀疏性使得高斯变分分布既灵活又简约,并且稀疏性通过Cholesky因子的参数化来实现。有效的随机梯度方法,适当利用梯度信息的目标分布的优化开发。我们考虑随机梯度的替代估计,具有较低的变化,更稳定。我们的方法说明使用广义线性混合模型和状态空间模型的时间序列。
2017-04-13 stat.CO stat.ML
Eigenvalue Corrected Noisy Natural Gradient
University of Toronto(多伦多大学);Vector Institute(向量研究所)
变分贝叶斯神经网络将深度学习的灵活性与贝叶斯不确定性估计相结合。然而,灵活的变分后验的推理程序是计算昂贵的。最近提出的一种方法,噪声自然梯度,是一个令人惊讶的简单的方法来适应表达后验通过添加权重噪声定期自然梯度更新。噪声K-FAC是噪声自然梯度的一个实例,其拟合具有对普通K-FAC的微小改变的矩阵变量高斯后验。然而,矩阵变量高斯后验并不能捕获准确的对角方差。在这项工作中,我们扩展噪声K-FAC,以获得一个更灵活的后验分布称为特征值校正矩阵变量高斯。该方法在Kronecker分解特征基中计算全对角重标度因子。从经验上讲,我们的方法始终优于现有的算法(例如,噪声K-FAC)的回归和分类任务。
2018-11-30 cs.LG stat.ML
A Fully Natural Gradient Scheme for Improving Inference of the Heterogeneous Multi-Output Gaussian Process Model
University of Sheffield(谢菲尔德大学)
最近的一个新的扩展多输出高斯过程处理异构的输出,假设每个输出有自己的似然函数。它使用一个向量值的高斯过程之前,联合建模所有似然的参数作为潜在的功能,从一个高斯过程与协区域化协方差的线性模型。通过引入点框架,该模型能够得到服从随机变分推断的易处理的变分界。尽管如此,变分参数和超参数之间的强调节负担了原始方法中使用的自适应梯度优化方法。为了克服这个问题,我们借用变分优化的思想,在超参数上引入探索性分布,允许通过完全自然的梯度优化方案与后验变分参数一起进行推理。此外,在这项工作中,我们引入了一个扩展的异构多输出模型,其潜在的功能是从卷积过程。我们表明,我们的优化方案可以实现更好的局部最优解具有更高的测试性能比自适应梯度方法,这两个线性模型的coregionalisation和卷积过程模型。我们还展示了如何通过随机变分推断使卷积模型可扩展,以及如何通过完全自然的梯度方案对其进行优化。我们比较了玩具和真实数据库的不同方法的性能。
2020-07-13 cs.LG stat.ML
Gradient-based training of Gaussian Mixture Models for High-Dimensional Streaming Data
Fulda University of Applied Sciences(富尔达应用技术大学)
提出了一种利用非平稳、高维流数据通过随机梯度下降(SGD)有效训练高斯混合模型(GMM)的方法。我们的训练方案不需要数据驱动的参数初始化(例如,k均值),并且因此可以基于随机初始化来训练。此外,该方法允许小批量大小低至1,这对于流式数据设置是典型的。在这样的设置中的主要问题是不可取的局部最优值在早期的训练阶段和数值不稳定性,由于高的数据维度。我们引入了一个自适应退火过程来解决第一个问题,而数值不稳定性被消除,通过使用一个无指数近似的标准GMM对数似然。在各种视觉和非视觉基准测试上的实验表明,我们的SGD方法可以完全在没有基于k均值的质心初始化的情况下进行训练。它还可以与期望最大化(EM)-随机EM(sEM)的在线变体相媲美,对于非常高维的数据,它的表现要好得多。
2021-07-02 cs.LG stat.ML
Optimization Guarantees for Square-Root Natural-Gradient Variational Inference
University of Basel(巴塞尔大学);RIKEN Center for AI Project(日本人工智能研究中心);Department of Mathematics and Computer Science(数学与计算机科学系)
针对自然梯度变分推断理论收敛保证难以建立的问题,提出使用高斯协方差的平方根参数化方法,为变分高斯推断及其连续时间梯度流建立了新的收敛保证,并实验验证了其优于欧几里得或Wasserstein几何算法的有效性。
2025-07-10 cs.AI cs.LG stat.ML
Unifying the Stochastic Spectral Descent for Restricted Boltzmann Machines with Bernoulli or Gaussian Inputs
Duke University(杜克大学)
基于随机梯度下降的算法通常用作大多数深度学习模型的通用优化工具。受限玻尔兹曼机(RBM)是一种概率生成模型,可以堆叠以构建深度架构。对于具有Bernoulli输入的RBM,已经专门设计了诸如随机谱下降(SSD)的非欧几里德算法,以通过改进使用采样方法的梯度估计来加速收敛。然而,现有的算法和相应的理论依据依赖于假设,可能的配置的输入是有限的,像二进制变量。本文的目的是推广SSD的高斯RBM能够建模连续数据,而不管前面的假设。在非欧参数空间中,通过推导基于Schatten无穷范数的RBM的对数配分函数的上界,提出了梯度下降法.我们的经验表明,SSD的优势和改进随机梯度下降(SGD)。
2017-03-28 cs.LG stat.ML
Derivative Gaussian Processes on a Two-Direction Budget
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
提出一种预算为每梯度两个方向的导数高斯过程,在Vecchia近似下用至多2m个方向导数表示md个梯度坐标,成本更低且精度可与精确方法媲美,甚至优于仅函数GP。
2026-10-08 cs.LG stat.ML
Global Convergence of Gradient EM for Over-Parameterized Gaussian Mixtures
University of Washington(华盛顿大学);Amazon, Inc.(亚马逊公司)
本文针对过参数化高斯混合模型设定,证明随机初始化的梯度EM在适度过参数化下可全局收敛到真实模型,是EM在$m=2$外的首个全局收敛结果。
2026-08-19 cs.LG stat.ML
Dynamical mean-field theory for stochastic gradient descent in Gaussian mixture classification
Institut de physique théorique, Université Paris-Saclay(巴黎萨克雷大学理论物理研究所);CNRS(法国国家科学研究中心);CEA(法国原子能和替代能源委员会);IdePHICS Laboratory, EPFL(洛桑联邦理工学院IdePHICS实验室);SPOC Laboratory, EPFL(洛桑联邦理工学院SPOC实验室)
我们在一个封闭的形式分析的学习动态随机梯度下降(SGD)的单层神经网络分类的高维高斯混合,其中每个集群被分配两个标签之一。这个问题提供了一个原型的非凸损失景观插值制度和一个大的推广差距。我们定义了一个特殊的随机过程,SGD可以扩展到一个连续的时间限制,我们称之为随机梯度流。在全批限制下,我们恢复了标准梯度流。我们应用统计物理学中的动态平均场理论,通过自洽随机过程来跟踪高维极限中算法的动态。我们探讨了该算法的性能作为控制参数的函数,揭示了它如何导航的损失景观。
2021-11-09 cond-mat.dis-nn cs.LG math.ST
Towards understanding Accelerated Stein Variational Gradient Flow -- Analysis of Generalized Bilinear Kernels for Gaussian target distributions
University of South Carolina(南卡罗来纳大学)
针对SVGD采样速度慢的问题,提出结合Nesterov加速梯度流与Wasserstein正则化的ASVGD算法,分析了高斯目标下双线性核的最优收敛参数,并通过数值与贝叶斯神经网络实验验证其优越性。
2025-10-01 math.OC stat.ML
Direct loss minimization algorithms for sparse Gaussian processes
Indiana University(印第安纳大学);Microsoft Research New England(微软研究院新英格兰分院)
本文提供了一个深入的调查直接损失最小化(DLM),优化后,以最大限度地减少预测损失,在稀疏高斯过程。对于共轭的情况下,我们认为DLM的对数损失和DLM的平方损失显示在这两种情况下显着的性能改善。DLM在非共轭情况下的应用更加复杂,因为对数损失DLM目标中的期望对数通常是难以处理的,并且简单的采样导致梯度的有偏估计。本文提出了两个技术贡献,以解决这个问题。首先,提出了一种新的方法,使用产品抽样,它给出了无偏估计的梯度(uPS)的目标函数。其次,有偏蒙特卡罗估计(bMC)的理论分析表明,随机梯度下降收敛,尽管有偏梯度。实验证明了DLM的经验成功。采样方法的比较表明,虽然uPS是潜在的采样效率更高,bMC提供了一个更好的权衡收敛时间和计算效率。
2020-10-27 cs.LG stat.ML
Conjugate Gradients for Kernel Machines
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(图宾根大学)
正则化最小二乘(核岭/高斯过程)回归是统计学和机器学习的基本算法。由于精确解的通用算法在数据点的数量上具有立方复杂性,因此大型数据集需要诉诸近似。在这项工作中,最小二乘预测的计算本身被视为一个概率推理问题。我们提出了一个结构化的高斯回归模型的核函数,使用核矩阵的投影,以获得一个低秩近似的内核和矩阵。一个中心的结果是一种增强的方式,使用共轭梯度的方法,如在机器学习中遇到的最小二乘回归的特定设置。我们的方法提高了近似的内核岭回归/高斯过程后验均值香草共轭梯度,并允许计算后验方差和对数边际似然(证据),而无需进一步的开销。
2019-11-14 cs.LG stat.ML
Learning Gaussian Mixtures Using the Wasserstein-Fisher-Rao Gradient Flow
Princeton University(普林斯顿大学);Columbia University(哥伦比亚大学);MIT(麻省理工学院)
高斯混合模型形成了一个灵活的和富有表现力的参数分布族,已经在各种各样的应用中找到了应用。不幸的是,从计算的角度来看,将这些模型拟合到数据是一个非常困难的问题。目前,只有基于矩的方法享有理论上的保证,而基于似然的方法主要是由数学,如期望最大化,是已知的失败,在简单的例子。在这项工作中,我们提出了一个新的算法来计算高斯混合模型中的非参数最大似然估计(NPMLE)。我们的方法是基于梯度下降的空间上的概率测度配备了Wasserstein-Fisher-Rao几何,我们建立收敛保证。在实践中,它可以近似使用相互作用的粒子系统,其中粒子的权重和位置交替更新。我们进行了广泛的数值实验,以确认所提出的算法的有效性相比,不仅经典的基准,但也类似的梯度下降算法相对于简单的几何形状。特别是,这些模拟说明了更新相互作用粒子的权重和位置的好处。
2023-01-04 cs.LG math.OC math.ST
Local linear convergence of gradient methods for overparameterized Gaussian mixtures
Electrical & Computer Engineering, University of Washington(华盛顿大学电气与计算机工程系);National Institute for Theory and Mathematics in Biology(生物理论与数学国家研究所);Amazon, Inc.(亚马逊公司)
针对过参数化高斯混合模型,提出一种交替使用短梯度步和长Polyak步的方法,实现局部线性收敛速率,克服了过参数化导致的慢收敛问题。
2026-05-29 cs.LG math.OC stat.ML
Stochastic Gradient Descent over P2
Institute of Science and Technology Austria(奥地利科学技术研究所);University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Cornell University(康奈尔大学)
本文研究概率测度空间P2上的随机梯度下降,通过Lions可微性将问题提升至Hilbert空间,构造匹配均值和协方差的高斯随机场近似,证明其以二阶弱精度捕捉SGD动力学,为用高斯波动替代样本随机性奠定严格基础。
2026-09-16 cs.LG math.PR stat.ML
Towards Provable Log Density Policy Gradient
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文针对策略梯度估计中的残差误差,提出利用状态-动作折扣分布的对数密度梯度,并给出TD近似与仅需同策略样本的min-max优化,证明其唯一性、收敛性及m^{-1/2}样本复杂度。
2024-03-03 cs.AI cs.LG stat.ML
Inception Score, Label Smoothing, Gradient Vanishing and -log(D(x)) Alternative
在这篇文章中,我们从数学上研究了几个GAN相关的主题,包括Inception评分,标签平滑,梯度消失和-log(D(x))替代。arXiv:1703.02000“Activation Maximization Generative Adversarial Nets”中包含了一个高级版本。有关初始分数的详细分析,请参阅1703.02000中的第6节,有关标签平滑、梯度消失和-log(D(x))替代的讨论,请参阅其附录。
2018-06-30 cs.AI cs.CV cs.LG
Riemannian Gradient Descent for Gaussian Mixture Models with unknown diagonal covariances
Centrale Lyon, INSA Lyon, Université Lyon 1, Université Jean Monnet, CNRS, ICJ UMR5208(里昂中央理工学院、里昂国立应用科学学院、里昂第一大学、让·莫内大学、法国国家科学研究中心、ICJ UMR5208);Institut Universitaire de France (IUF)(法兰西学院)
本文针对未知分量数与对角协方差的高斯混合模型,提出结合锥粒子梯度下降与黎曼梯度下降的求解方法,理论证明指数收敛,实验表明其比EM算法对分量数过指定更鲁棒。
2026-09-25 math.OC math.ST stat.ML
On Learning Gaussian Multi-index Models with Gradient Flow
Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所);Center for Data Science, New York University(纽约大学数据科学中心);Center for Computational Mathematics, Flatiron Institute(熨斗研究所计算数学中心)
本文研究高维高斯多索引回归中的梯度流,提出双时间尺度非参数学习框架,证明 Grassmannian 总体动力学全局收敛并刻画鞍点动力学,同时揭示 planted 情形存在高概率困陷的粗糙景观。
2023-11-02 cs.LG math.OC stat.ML
Towards Understanding the Dynamics of Gaussian-Stein Variational Gradient Descent
Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院);University of California, Davis(加州大学戴维斯分校)
本文通过将SVGD投影到高斯分布族,系统研究了高斯-SVGD的平均场与有限粒子动力学,证明了强对数凹目标下的线性收敛性,并提出统一框架涵盖多种GVI算法,深化了对SVGD和GVI的理论理解。
2023-10-28 cs.LG math.PR math.ST
Scaling Limits of Wide Neural Networks with Weight Sharing: Gaussian Process Behavior, Gradient Independence, and Neural Tangent Kernel Derivation
Microsoft Research AI(微软研究院AI)
机器学习理论和实践中的几个最新趋势,从最先进的高斯过程的设计到随机梯度下降(SGD)下深度神经网络(DNN)的收敛性分析,都发现研究宽随机神经网络是富有成效的。这些方法的核心是此类网络的某些扩展限制。我们统一这些结果通过引入一个直线\emph{tensor program},可以表示大多数神经网络计算的概念,我们表征其缩放极限时,它的张量是大的和随机的。从我们的框架中得出(1)随机神经网络到高斯过程的收敛,用于诸如递归神经网络、卷积神经网络、残差网络、注意力及其任何组合的架构,具有或不具有批量归一化;(2)\emph{gradient independence assumption} --反向传播中的权重可以被假设为独立于正向传递中的权重--的条件,导致梯度动力学的正确计算,以及当其不正确时的校正;(3)神经切线核的收敛,该内核是最近提出的用于预测梯度下降下的神经网络的训练动力学的内核,在(1)中的所有架构的初始化时,没有批量归一化。在数学上,我们的框架是一般性的,足以重新推导经典的随机矩阵的结果,如循环和Marchenko-Pastur法律,以及最近的结果在神经网络雅可比奇异值。我们希望我们的工作为设计更强的高斯过程、避免梯度爆炸/消失的初始化方案以及更深入地理解现代架构中的SGD动态开辟了一条道路。
2020-04-04 cond-mat.dis-nn cs.LG cs.NE
Gaussian Approximation and Multiplier Bootstrap for Stochastic Gradient Descent
本文首次为随机梯度下降算法中的乘子自助法建立了完全非渐近的近似精度界,通过避免估计极限协方差,在凸距离下获得了可达 $1/\sqrt{n}$ 的更快近似速率。
2025-08-19 cs.LG math.OC math.PR
On Signal-to-Noise Ratio Issues in Variational Inference for Deep Gaussian Processes
University of Oxford(牛津大学);University College London(伦敦大学学院)
我们证明了在训练具有重要性加权变分推断的深度高斯过程(DGP)中使用的梯度估计容易受到信噪比(SNR)问题的影响。具体而言,我们表明,无论是理论上和通过一个广泛的经验评估,潜在变量的变分参数的梯度估计的SNR降低的重要性样本的数量增加。结果,如果重要性样本的数量太大,则这些梯度估计退化为纯噪声。为了解决这个问题,我们展示了如何双重重新参数化梯度估计,最初提出的训练变分自动编码器,可以适应DGP设置,所得到的估计完全补救的SNR问题,从而提供更可靠的训练。最后,我们证明了我们的修复可以导致DGP模型的预测性能的持续改善。
2021-07-21 cs.AI cs.LG stat.ME