Unbiased Stochastic Optimization for Gaussian Processes on Finite Dimensional RKHS
School of Mathematical Sciences, Tel Aviv University(数学科学学院,特拉维夫大学)
针对高斯过程随机超参数学习中近似梯度和诱导点方法无法保证收敛的问题,本文提出有限维 RKHS 上的精确随机推断算法,并可扩展至无限维情形,在内存受限实验中表现更优。
2025-08-28 cs.LG stat.ML
Stochastic Expectation Propagation for Large Scale Gaussian Process Classification
最近提出了一种基于期望传播(EP)的大规模高斯过程分类方法。这样的方法允许在非常大的数据集上训练高斯过程分类器,这些数据集超出了EP的先前部署的范围,并且已经被证明与基于随机变分推断的相关技术具有竞争力。然而,与变分方法不同,所需的内存资源随数据集大小线性扩展。当实例数量非常大时,这是一个严重的限制。在这里,我们表明,这个问题是避免随机EP用于训练模型时。
2015-12-04 stat.ML
Doubly Stochastic Variational Inference for Deep Gaussian Processes
高斯过程(GP)是函数逼近的一个很好的选择,因为它们灵活,对过拟合具有鲁棒性,并提供良好校准的预测不确定性。深度高斯过程(DGP)是GP的多层概括,但这些模型中的推理已被证明具有挑战性。现有的DGP模型中的推理方法假设近似后验,迫使层之间的独立性,并没有很好地在实践中工作。我们提出了一个双随机变分推断算法,它不强迫层之间的独立性。通过我们的推理方法,我们证明了DGP模型可以有效地用于大小从数百到十亿个点的数据。我们提供了强有力的经验证据表明,我们的DGP推理方案在分类和回归实践中效果良好。
2017-11-13 stat.ML
Blitzkriging: Kronecker-structured Stochastic Gaussian Processes
我们提出了Blitzkriging,一种新的方法来快速推断高斯过程,适用于回归,优化和分类。非常大的数据集上的高斯过程的最先进的(随机)推理在“诱导输入”的数量上按立方缩放,引入变量以分解模型。Blitzkriging与数据共享最先进的缩放,但将诱导点数量的缩放减少到近似线性。此外,与其他方法相比,Blitzkriging:不强制数据符合任何特定的结构(包括网格状);减少对诱导点位置的易出错优化的依赖;并且能够从数据中学习丰富的(协方差)结构。我们展示了我们的方法在回归,时间序列预测和信号插值实验中对真实数据的好处。
2015-10-31 stat.ML
Gearing Gaussian process modeling and sequential design towards stochastic simulators
针对随机模拟器的复杂噪声场景,研究梳理了高斯过程建模的多种推广形式,按复制处理方式分类比较,并给出序贯设计的适配方法及流行病学应用示例。
2024-12-10 math.OC stat.ML
Enabling scalable stochastic gradient-based inference for Gaussian processes by employing the Unbiased LInear System SolvEr (ULISSE)
在高斯过程的应用中,不确定性的量化是主要的兴趣,它是必要的,以准确地描述协方差参数的后验分布。本文提出了一种自适应的随机梯度Langevin动态算法,从协方差参数的后验分布中提取样本,具有可忽略的偏差,而不需要计算边缘似然。在高斯过程回归中,这有一个巨大的优点,即随机梯度可以通过求解线性系统来计算。提出了一种基于并行化协方差阵-向量积的无偏线性系统求解器,以加速梯度的无偏估计。结果表明,使可扩展的和准确的(在蒙特卡罗意义上)量化高斯过程中的不确定性,而不施加任何特殊结构的协方差或减少输入向量的数量的可能性。
2015-09-03 stat.CO stat.ME stat.ML
A Dynamics-Informed Gaussian Process Framework for 2D Stochastic Navier-Stokes via Quasi-Gaussianity
本文提出基于准高斯性的二维随机纳维-斯托克斯方程的高斯过程框架,通过构造线性OU模型的稳态协方差作为先验,实现湍流建模与数据同化的结合。
2025-11-26 math-ph math.DS math.MP
Gaussian Process Latent Force Models for Learning and Stochastic Control of Physical Systems
Aalto University(阿尔托大学);University of Sheffield(谢菲尔德大学);Amazon(亚马逊)
本文研究了包含未知输入信号的物理系统学习与随机控制问题,通过高斯过程建模未知信号,提出隐力模型并探讨其统计推断、学习方法及可观测性和可控性理论。
2018-08-13 cs.SY eess.SY math.DS
Stochastic analysis on Gaussian space applied to drift estimation
本文考虑高斯过程漂移的Paley-Wiener和Karhunen-Loève展开式的非参数泛函估计。我们构造有效的估计,这样的过程中的漂移,并证明其minimaxity使用贝叶斯估计。我们还构造超有效的估计Stein型的漂移使用Malliavin的分部积分法公式和随机分析高斯空间,其中超调和泛函的过程路径发挥了特殊的作用。我们的结果通过数值模拟得到了验证,推广了Berger和Wolper关于高斯过程的James-Stein型估计的构造.
2018-08-17 math.PR math.ST stat.TH
Diagnostics for Stochastic Gaussian Process Emulators
计算机模型,也被称为模拟器,运行起来可能在计算上是昂贵的,因此经常使用被称为仿真器的统计代理。任何统计模型,包括模拟器,在使用之前都应该进行验证,否则可能会误导最终的决策。我们讨论如何验证高斯过程仿真器的确定性模型的方法是不够的随机计算机模型的仿真器,并开发一个框架,诊断随机仿真器中的问题。这些诊断基于使用样本外、重复、模拟器运行独立验证均值和方差预测。然后,我们还使用建筑性能模拟器作为案例研究的例子。
2021-01-25 stat.ME
Uncertainty Quantification in Stochastic Economic Dispatch using Gaussian Process Emulation
随着可再生能源在电力系统中的广泛应用,传统的确定性经济调度问题转化为随机性经济调度问题。为了解决这种随机经济调度,传统的蒙特卡罗方法是非常耗时的中型和大型电力系统。为了克服这个问题,本文提出了一种新的高斯过程仿真器为基础的方法来量化的不确定性,在随机经济调度考虑风电穿透。基于Karhunen-Loève展开的降维结果,构造了高斯过程仿真器。该代理允许我们以可忽略的计算成本在采样值处评估经济调度求解器,同时保持期望的精度。IEEE 118节点系统的仿真结果表明,该方法具有良好的性能相比,传统的蒙特卡罗方法。
2019-09-20 cs.SY eess.SY stat.CO
Stochastic modelling of Gaussian processes by improper linear functionals
随机过程的各种方法存在,注意到关键属性,如可测性和连续性不是平凡的满足。我们引入一个新的理论高斯过程使用不当线性泛函。使用一组身份证。在标准正态变量的基础上,定义了高斯白噪声,并讨论了它的性质。这是推广到一般的高斯过程的希尔伯特空间,其中的方差是允许的任何合适的操作。我们的主要重点是$L^2$空间,我们讨论高斯过程是连续的,在这种设置的标准。最后,我们概述了一个框架,统计推断使用所提出的理论,重点是特殊情况下的$L^2[0,1]$。我们将弗雷德霍姆行列式引入到函数对数似然中。我们证明了朴素函数对数似然与多元似然不一致。引入了一个修正项,并证明了一个渐近结果。
2020-10-14 math.ST stat.ME stat.TH
Bayesian Estimates of Astronomical Time Delays between Gravitationally Lensed Stochastic Light Curves
星系的引力场可以充当透镜,使类星体等更遥远物体发出的光发生偏转。强烈的引力透镜使得同一个类星体的多个图像出现在天空中。由于每个引力透镜图像中的光从类星体到地球的路径长度不同,因此在不同时间的几个图像中观察到源亮度的波动。这些波动之间的时间延迟可以用来约束宇宙学参数,并且可以从每个图像的亮度数据或光变曲线的时间序列中推断出来。为了估计时间延迟,我们构建了一个模型的基础上的状态空间表示的不规则观测的时间序列产生的潜在的连续时间Ornstein-Uhlenbeck过程。我们通过多项式回归解释了微透镜效应,这是一个独立的长期外在变异性的额外来源。我们的贝叶斯策略采用吉布斯采样器内的大都会黑斯廷斯。我们通过使用辅助充分交织策略和自适应马尔可夫链蒙特卡罗改进了采样器。我们引入了一个档案的时间延迟的可能性作为其边际后验分布的近似。贝叶斯和轮廓似然方法相互补充,产生几乎相同的结果;贝叶斯方法更有原则,但轮廓似然更容易实现。我们使用双透镜和四透镜类星体的模拟数据以及类星体Q 0957 +561和J1029+2623的观测数据来证明我们的估计策略。
2017-01-30 astro-ph.CO astro-ph.IM stat.AP
Mean-Square Convergence of a New Parameterized Leapfrog Scheme for Hamiltonian Systems Driven by Gaussian Process Potentials
Indian Statistical Institute(印度统计研究所)
本文研究了广义过程势驱动的哈密顿系统中新参数化Leapfrog方案的均方收敛性,通过辛结构分析和误差界推导,证明了该方案的有效性。
2026-02-15 cs.NA math.NA math.ST
Stochastic simulators based optimization by Gaussian process metamodels - Application to maintenance investments planning issues
本文讨论随机计算机代码(也称为随机数值模型或随机模拟器)的元模型(即简化的数学模型)的构造,其中随机意味着代码映射了随机变量的实现。我们的目标是,对于一个给定的模型输入,通过使用这个元模型,而无需运行计算机代码,得到关于输出概率分布的主要信息。在实际应用中,这样的元模型使人们能够估计每一个可能的随机变量属性,如期望值,超过阈值的概率或任何分位数。目前的工作是集中在模拟的分位数函数的随机模拟器通过插值精心选择的基函数和metamodeling他们的系数(使用高斯过程元模型)。这个分位数函数元模型,然后使用随机代码来处理一个简单的优化策略维护问题,以优化经济指标的分位数。使用高斯过程框架,自适应设计方法(称为QFEI)定义在我们的情况下,著名的EGO算法的扩展。这允许使用少量的模拟器运行来获得“最优”解决方案。
2015-09-13 math.ST stat.TH
Scaled Gaussian Stochastic Process for Computer Model Calibration and Prediction
我们考虑使用实验数据校准不完美的计算机模型的问题。为了补偿计算机模型的错误指定并做出更准确的预测,通常包括差异函数并通过高斯随机过程(GaSP)进行建模。然而,单独校准的计算机模型有时与实验数据拟合得很差,因为校准参数变得不可识别。在这项工作中,我们提出了缩放高斯随机过程(S-GaSP),一种新的随机过程,弥合了两种主要方法,即$L_2$校准和GaSP校准之间的差距。结果表明,我们的方法在校准和预测方面都表现良好。一个计算上可行的方法,这个新的模型下的贝叶斯范式。与GaSP校准相比,S-GaSP校准基于校准参数的后验分布,使得校准的计算机模型本身能够很好地预测现实。模拟和真实数据的数值比较,以说明建议的S-GaSP和其他替代方法之间的连接和差异。
2018-05-03 stat.ME
Model Uncertainty under Non-Gaussian Errors: Bayesian Model Averaging and Selection in Stochastic Frontier Models
Krakow University of Economics(克拉科夫经济大学)
研究非标准随机假设下随机前沿分析中的贝叶斯模型平均与选择,提出快速可靠程序,通过蒙特卡罗模拟比较,发现考虑随机前沿结构会影响后验推断和模型平均结果,尤其在效率分析合理时。
2026-07-17 econ.EM stat.CO
A natural 4-parameter family of covariance functions for stationary Gaussian processes
本文给出了平稳高斯过程的一个四参数协方差函数族。我们称之为2DSYS。它对应于一个自治的二阶线性随机微分方程的通解,因此自然地从建模中产生。它包括欠阻尼和过阻尼系统,因此,建议使用这个家庭时,人们希望决定是否一个时间序列对应于随机强迫阻尼振荡或随机强迫过阻尼系统。
2018-10-17 math.ST stat.TH
Non-Gaussianity of Stochastic Gradient Noise
Microsoft Research(微软研究院);University of Washington(华盛顿大学)
在神经网络训练中,是什么使随机梯度下降(SGD)比梯度下降(GD)实现更好的泛化?这个问题引起了广泛的关注。在本文中,我们研究了随机梯度噪声(SGN)向量在训练过程中的分布。我们观察到,对于256及以上的批量大小,至少在训练的早期阶段,分布最好描述为高斯分布。这适用于数据集、架构和其他选择。
2019-10-25 cs.LG stat.ML
Neural Stochastic Differential Equations: Deep Latent Gaussian Models in the Diffusion Limit
University of Illinois(伊利诺伊大学)
在深层潜高斯模型中,潜变量由时间非齐次马尔可夫链生成,在每个时间步,我们将当前状态通过参数非线性映射(如前馈神经网络),并添加一个小的独立高斯扰动。这项工作考虑了这种模型的扩散极限,其中层数趋于无穷大,而步长和噪声方差趋于零。极限潜在对象是一个Itô扩散过程,它求解一个随机微分方程(ε),其漂移和扩散系数由神经网络实现。我们开发了一个变分推理框架,这些\textit{neural SDEs}通过随机自动微分在Wiener空间中,其中的变分近似的后验得到的Girsanov(均值漂移)变换的标准Wiener过程和梯度的计算是基于随机流理论。这就允许使用黑盒解算器和自动微分进行端到端推理。实验结果与合成数据提供。
2019-10-28 cs.LG stat.ML
A Data-Driven Approach for Discovering Stochastic Dynamical Systems with Non-Gaussian Levy Noise
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Illinois Institute of Technology(伊利诺伊理工学院)
随着有价值的观测、实验和模拟数据的迅速增加,人们正致力于发现这些系统演化的规律。然而,现有的技术仅限于从数据中提取控制律,无论是确定性微分方程还是带有高斯噪声的随机微分方程。在目前的工作中,我们开发了一种新的数据驱动的方法来提取随机动力系统与非高斯对称Lévy噪声,以及高斯噪声。首先,我们建立了一个可行的理论框架,通过表达漂移系数,扩散系数和跳跃测度(即,异常扩散)的基本随机动力系统的样本路径数据。然后,我们设计了一个数值算法来计算漂移,扩散系数和跳跃措施,从而提取一个控制的随机微分方程的高斯和非高斯噪声。最后,我们证明了我们的方法的有效性和准确性,适用于几个原型的一,二,三维系统。这种新方法将成为一种工具,从嘈杂的数据集,从观察或模拟复杂的现象,如由随机波动触发的罕见事件与重以及轻尾统计特征中发现支配动力学规律。
2020-12-11 cs.LG physics.data-an stat.ML
Stochastic Neighbor Embedding with Gaussian and Student-t Distributions: Tutorial and Survey
University of Waterloo(滑铁卢大学)
随机邻域嵌入(SNE)是一种基于概率的流形学习和降维方法。在SNE中,每个点都被认为是所有其他点的邻居,并试图在嵌入空间中保持这种概率。SNE在输入空间和嵌入空间中都考虑了概率的高斯分布。然而,t-SNE在这些空间中分别使用Student-t和高斯分布。在本教程和综述论文中,我们将解释SNE、对称SNE、t-SNE(或Cauchy-SNE)和具有一般自由度的t-SNE。我们还介绍了这些方法的样本外扩展和加速。
2022-08-03 cs.CV cs.LG stat.ML
Doubly-Stochastic Normalization of the Gaussian Kernel is Robust to Heteroskedastic Noise
Yale University(耶鲁大学);Yale University School of Medicine(耶鲁大学医学院)
许多数据分析技术的一个基本步骤是构建描述数据点之间相似性的亲和矩阵。当数据点位于欧几里得空间中时,一种普遍的方法是通过具有成对距离的高斯核来形成亲和矩阵,然后进行一定的归一化(例如行随机归一化或其对称变体)。我们证明了具有零主对角线的高斯核的双随机归一化(即,无自环)对异方差噪声是鲁棒的。也就是说,双随机归一化的优点在于它自动考虑具有不同噪声方差的观测。具体而言,我们证明了在一个合适的高维设置中,异方差噪声不集中太多的空间中的任何特定方向,所得到的(双随机)嘈杂的亲和矩阵收敛到其干净的对应率$m^{-1/2}$,其中$m$是周围的尺寸。我们证明了这一结果的数值,并表明,相比之下,流行的行随机和对称规范化下的异方差噪声表现不利。此外,我们还提供了具有内在异方差性的模拟和实验单细胞RNA序列数据的例子,其中探索性分析的双随机归一化的优势是显而易见的。
2021-01-25 cs.IT cs.LG math.IT
An evolutionary approach for discovering non-Gaussian stochastic dynamical systems based on nonlocal Kramers-Moyal formulas
School of Automation, Nanjing University of Science and Technology(南京理工大学自动化学院);Great Bay University(大湾区大学)
本文提出演化符号稀疏回归方法,结合非局部Kramers-Moyal公式、遗传编程与稀疏回归,从样本路径数据中提取含高斯和非高斯噪声的随机动力系统,并通过多个示例模型验证其有效性。
2024-09-29 cs.LG cs.NE math.DS
Dynamical mean-field theory for stochastic gradient descent in Gaussian mixture classification
Institut de physique théorique, Université Paris-Saclay(巴黎萨克雷大学理论物理研究所);CNRS(法国国家科学研究中心);CEA(法国原子能和替代能源委员会);IdePHICS Laboratory, EPFL(洛桑联邦理工学院IdePHICS实验室);SPOC Laboratory, EPFL(洛桑联邦理工学院SPOC实验室)
我们在一个封闭的形式分析的学习动态随机梯度下降(SGD)的单层神经网络分类的高维高斯混合,其中每个集群被分配两个标签之一。这个问题提供了一个原型的非凸损失景观插值制度和一个大的推广差距。我们定义了一个特殊的随机过程,SGD可以扩展到一个连续的时间限制,我们称之为随机梯度流。在全批限制下,我们恢复了标准梯度流。我们应用统计物理学中的动态平均场理论,通过自洽随机过程来跟踪高维极限中算法的动态。我们探讨了该算法的性能作为控制参数的函数,揭示了它如何导航的损失景观。
2021-11-09 cond-mat.dis-nn cs.LG math.ST
A Bernstein-type inequality for stochastic processes of quadratic forms of Gaussian variables
本文引入了一个Bernstein型不等式,它用于一致控制高斯变量的二次型。后者可以例如用于通过惩罚来导出用于线性回归和线性逆问题中的线性估计的尖锐模型选择准则,并且我们不排除其应用范围可以变得更广。
2009-09-19 math.PR math.ST stat.ML
Extracting Governing Laws from Sample Path Data of Non-Gaussian Stochastic Dynamical Systems
数据科学的进步正在导致对具有实验和观测数据的系统的复杂动力学的分析和理解的新进展。由于许多物理现象表现出突发、飞行、跳跃和间歇性特征,具有非高斯Lévy噪声的随机微分方程适合于对这些系统进行建模。因此,从现有的数据中推导出这样的方程来合理地预测动力学行为是可取的和必要的。在这项工作中,我们考虑了一个数据驱动的方法来提取随机动力系统与非高斯非对称(而不是对称)的Lévy过程,以及高斯布朗运动。我们建立了一个理论框架,并设计了一个数值算法来计算非对称Lévy跳跃测度,漂移和扩散(即,非局部Kramers-Moyal公式),从而获得随机控制律,从噪声数据。几个典型算例的数值实验证实了该方法的有效性和准确性。这种方法将成为一种有效的工具,发现从现有的数据集的支配规律,并在理解复杂的随机现象的机制。
2021-07-21 math.ST stat.ML stat.TH