Gaussian Processes and Statistical Decision-making in Non-Euclidean Spaces
Imperial College London(帝国理工学院)
使用高斯过程的贝叶斯学习提供了一个基础框架,用于以平衡已知与通过收集数据可以学习到的内容的方式做出决策。在这篇论文中,我们开发的技术,扩大高斯过程的适用性。这是通过两种方式完成的。首先,我们开发了高斯过程的路径条件技术,它允许一个表示后随机函数作为前随机函数加上一个相关的更新项。我们引入了一个广泛的有效的近似建立从这个角度来看,它可以被随机抽样一次提前,并在任意位置进行评估,没有任何后续的随机性。这一关键属性提高了效率,并使在决策设置中部署高斯过程模型变得更简单。其次,我们发展了一系列非欧空间上的高斯过程模型,包括黎曼流形和图。我们推导出黎曼流形和图上标量值高斯过程的协方差核的完全构造性表达式。基于这些思想,我们描述了一个形式主义定义向量值高斯过程的黎曼流形。引入的技术允许使用标准计算方法训练所有这些模型。总的来说,这些贡献使高斯过程更容易使用,并允许它们以有效和有原则的方式在更广泛的领域中使用。反过来,这使得有可能将高斯过程应用于新的决策设置。
2022-04-28 cs.LG stat.ML
SURE shrinkage of Gaussian paths and signal identification
利用高斯空间上的分部积分法,利用高斯过程的局部时间和占据时间,构造了高斯过程漂移的Stein无偏风险估计(SURE)。通过收缩估计的SURE风险的几乎肯定最小化,我们推导出一个连续时间高斯噪声扰动的输入信号的估计和去噪过程。
2009-02-23 math.ST q-fin.RM stat.TH
Identification of Gaussian Process State Space Models
高斯过程状态空间模型(GPSSM)是一个非线性动力学系统,其中未知的转移和/或测量映射由GP描述。GPSSM中的大多数研究集中在状态估计问题上,即,在给定所述模型的情况下计算所述潜在状态的后验。然而,GPSSM中的关键挑战尚未得到令人满意的解决:系统识别,即,学习模型。为了解决这一挑战,我们施加一个结构化的高斯变分后验分布的潜在状态,这是一个双向递归神经网络的形式的识别模型参数化。这种结构的推理使我们能够恢复一个后验平滑的数据序列。我们提供了一个实用的算法,有效地计算上的边缘似然使用reparameterisation技巧的下限。这进一步允许在GPSSM内使用任意内核。我们证明,学习的GPSSM可以有效地产生合理的未来轨迹的识别系统后,只观察少量的情节从真正的系统。
2017-11-07 stat.ML
System Identification through Online Sparse Gaussian Process Regression with Input Noise
Delft University of Technology(代尔夫特理工大学);Uppsala University(乌普萨拉大学)
本文提出一种在线稀疏高斯过程回归算法,解决高斯过程回归在计算效率、在线更新和处理噪声输入方面的不足,实验表明其在非线性黑盒系统建模中性能优异。
2017-08-15 cs.LG cs.SY eess.SY
Identification of Gaussian Process State-Space Models with Particle Stochastic Approximation EM
University of Cambridge(剑桥大学);Linköping University(林雪平大学);Uppsala University(乌普萨拉大学)
本文提出基于粒子随机近似EM算法的高斯过程状态空间模型参数识别方法,通过有效利用粒子MCMC技术实现非参数动态描述的系统参数估计。
2013-12-17 cs.SY eess.SY stat.ML
Lenient Regret and Good-Action Identification in Gaussian Process Bandits
National University of Singapore(新加坡国立大学)
在本文中,我们研究的问题,高斯过程(GP)的强盗放宽优化标准,说明任何函数值超过一定的阈值是“足够好”。在理论方面,我们研究了各种{ \em宽大后悔}的概念,其中所有接近最优的行动招致零惩罚,并提供了上限的宽大后悔的GP-UCB和消除算法,绕过通常的$O(\sqrt{T})$长期(与时间范围$T$)导致的缩放非常接近的功能最大值。此外,我们补充这些上限与算法无关的下限。在实践方面,我们认为,根据一个已知的预先指定的阈值找到一个单一的“好的行动”的问题,并介绍了几个好的行动识别算法,利用知识的阈值。我们通过实验发现,此类算法通常比标准的基于优化的方法更快地找到好的操作。
2021-05-26 cs.IT cs.LG math.IT
Performance Boundary Identification for the Evaluation of Automated Vehicles using Gaussian Process Classification
Coventry University(考文垂大学);HORIBA MIRA(堀场米拉)
安全是促进自动化车辆部署的一个重要方面。目前的测试实践是不够的,超越这些实践会导致不可行的测试要求,例如需要在公共道路上行驶数十亿公里。自动驾驶汽车面临着无数的场景。应对最具挑战性的情况进行测试,这就引出了如何确定此类极端情况的问题。我们提出了一种方法来确定性能边界,这些角落的情况下,使用高斯过程分类。我们还展示了一个典型的交通堵塞的方法的情况下,表明它是可行的,并会导致更有效的测试实践的分类。
2019-07-11 cs.LG cs.RO stat.AP
Parameter identification in linear non-Gaussian causal models under general confounding
Technical University of Munich(慕尼黑工业大学)
本文提出了一种在一般混杂情况下线性非高斯因果模型中参数识别的图示标准及算法,解决了潜在变量模型的可识别性问题。
2026-03-04 stat.ME stat.ML
Parameter Identification for Digital Fabrication: A Gaussian Process Learning Approach
University of California, Berkeley(加州大学伯克利分校);ETH Zürich(苏黎世联邦理工学院)
张拉索网可用作支撑结构,用于高效建造轻质建筑构件,例如薄混凝土壳结构。为了保证后者的重要机械性能,张紧的索网几何形状与期望的目标形状的偏差的公差非常严格。因此,需要在施工现场重新调整模板。为了采用基于模型的优化技术,索网系统的重要不确定模型参数的精确识别是必需的。本文提出了使用高斯过程回归来学习将索网几何形状映射到不确定参数的函数。与以前提出的方法相比,这种方法只需要一个单一的形式测量的索网模型参数的识别。这是有益的,因为在施工现场测量索网形式非常昂贵。对于高斯过程的训练,通过凸规划有效地计算模拟数据。所提出的方法的有效性和影响的精确识别的参数上的形式的索网的数值实验证明在四分之一规模的原型屋顶结构。
2020-12-20 cs.LG cs.SY eess.SY
Dealing with Collinearity in Large-Scale Linear System Identification Using Gaussian Regression
Shanghai Jiao Tong University(上海交通大学);University of Padova(帕多瓦大学)
控制中出现的许多问题需要确定应用的数学模型。这往往是从输入输出数据开始执行,导致工程文献中称为系统识别的任务。在这一领域的一个新兴课题是估计网络由几个相互关联的动态系统。我们认为线性设置假设系统输出是许多相关的输入的结果,因此使系统识别严重病态。这是一个场景经常遇到的建模复杂的控制论系统组成的许多子单元的反馈和代数循环。我们在贝叶斯正则化框架中开发了一种策略,其中任何脉冲响应都被视为零均值高斯过程的实现。任何协方差都是由所谓的稳定样条核定义的,其中包括平滑指数衰减的信息。我们设计了一个新的马尔可夫链蒙特卡罗方案,能够重建后的脉冲响应,通过有效地处理共线性。我们的计划依赖于一个变化的吉布斯抽样技术:除了考虑块形成一个分区的参数空间,一些其他(重叠)块也更新的基础上的系统输入的共线性水平。对算法的理论性质进行了研究,得到了算法的收敛速度。数值实验包括使用系统包含数百个脉冲响应和高度相关的输入。
2023-02-28 cs.LG cs.SY eess.SY
Bayesian Optimization using Deep Gaussian Processes
Université de Lille(里尔大学);CNRS/CRIStAL(法国国家科学研究中心/CRIStAL实验室);Inria Lille(法国里尔国家信息与自动化研究所)
使用高斯过程的贝叶斯优化是处理昂贵的黑盒函数优化的流行方法。然而,由于经典高斯过程的协方差阵的平稳性是先验的,这种方法可能不适用于非平稳函数的优化问题。为了克服这个问题,提出了一种新的贝叶斯优化方法。它基于深度高斯过程作为代理模型,而不是经典的高斯过程。这种建模技术通过简单地考虑平稳高斯过程的功能组成来增加表示的能力以捕获非平稳性,从而提供多层结构。本文提出了一种耦合深度高斯过程和贝叶斯优化的全局优化算法。这种优化方法的特殊性进行了讨论,并突出了学术测试案例。分析测试用例和航空航天设计优化问题的性能评估所提出的算法相比,最先进的静态和非静态的贝叶斯优化方法。
2019-05-07 cs.CE cs.LG stat.ML
Integrated Pre-Processing for Bayesian Nonlinear System Identification with Gaussian Processes
提出GP-FNARX模型,通过集成数据预处理与稀疏高斯过程回归,实现从原始数据到辨识模型的自动化流程,并利用边际似然最大化同时优化预处理参数和超参数,获得能报告不确定性的贝叶斯动力学模型。
2013-09-17 cs.AI cs.RO cs.SY
A brief note on understanding neural networks as Gaussian processes
University of Twente(特文特大学)
作为[Lee等人,2017],本文简要讨论了神经网络输出的先验何时遵循高斯过程,以及神经网络诱导的高斯过程是如何形成的。这种高斯过程回归的后验均值函数位于由神经网络诱导核定义的再生核希尔伯特空间中。在两层神经网络的情况下,诱导高斯过程提供了再生核希尔伯特空间的一种解释,其联合形成巴伦空间。
2021-07-25 cs.CE cs.LG stat.ML
Upgrading from Gaussian Processes to Student's-T Processes
高斯过程先验通常用于航空航天设计以执行贝叶斯优化。尽管如此,高斯过程有两个明显的缺点:离群值是先验假设不太可能的,并且以观测数据为条件的后验方差仅取决于这些数据的位置,而不是相关的样本值。Student's-T过程是高斯过程的推广,建立在Student's-T分布而不是高斯分布上。Student's-T过程保持了高斯过程的主要优点(核函数,解析更新规则),并具有超越高斯过程的额外好处。Student's-T分布具有比高斯分布更高的峰度,因此离群值更有可能,并且后验方差根据观察到的数据样本值的方差增加或减少。在这里,我们描述学生的T过程,并讨论其优势的背景下,航空航天优化。我们将展示如何使用核函数构建学生T过程,以及如何在给定新样本的情况下更新该过程。我们提供了一个明确的推导优化相关的数量,如预期的改善,并与高斯过程的相关计算的对比。最后,我们比较了Student's T过程和Gauss过程在贝叶斯优化中典型测试问题上的性能,并将Student's T过程应用于一个气动结构设计问题的优化。
2018-01-18 stat.ML
Stochastic processes and feedback-linearisation for online identification and Bayesian adaptive control of fully-actuated mechanical systems
Oxford University(牛津大学)
本文提出了一种新的方法,结合概率识别与控制,利用随机过程先验条件和拉格朗日力学结构知识,通过反馈线性化实现对完全驱动机械系统的灵活非参数贝叶斯学习。
2014-04-01 cs.LG cs.SY eess.SY
Let Time Tell: Identification and Gaussian Process Estimation for Interrupted Time Series
University of California, Los Angeles(加州大学洛杉矶分校)
该研究针对中断时间序列设计中同期控制变量不可用的问题,提出基于高斯过程回归的反事实估计方法,通过偏差分解和不确定性量化保证估计合理性,并用R包gpss实现。
2026-08-24 stat.ME stat.ML
Improving Output Uncertainty Estimation and Generalization in Deep Learning via Neural Network Gaussian Processes
我们提出了一个简单的方法,结合神经网络和高斯过程。该方法可以估计输出的不确定性,并在训练数据存在的情况下灵活地调整目标函数,这是高斯过程的优点。所提出的方法还可以实现高的泛化性能的未知输入配置,这是神经网络的一个优点。利用所提出的方法,神经网络被用于高斯过程的均值函数。我们提出了一个可扩展的随机推理过程,稀疏高斯过程的随机变分推断推断,神经网络和内核的参数估计的随机梯度下降方法,同时。我们使用两个真实世界的时空数据集,实验表明,该方法实现了更好的不确定性估计和泛化性能比神经网络和高斯过程。
2017-07-19 stat.ML
Outlier robust system identification: a Bayesian kernel-based approach
本文提出了一种基于正则核的线性系统辨识方法。未知脉冲响应被建模为零均值高斯过程,其协方差(核)由最近提出的稳定样条核给出,该样条核编码关于正则性和指数稳定性的信息。为了建立对离群值的鲁棒性,我们将测量噪声建模为独立拉普拉斯随机变量的实现。将辨识问题置于贝叶斯框架下,并采用一种新的马尔可夫链蒙特卡罗(MCMC)方法求解。特别是,利用拉普拉斯随机变量的高斯尺度混合物的表示,我们设计了一个吉布斯采样器,快速收敛到目标分布。数值模拟表明,在国家的最先进的基于核的方法的估计的准确性有很大的改善。
2013-12-24 stat.ML
Non-Gaussian processes and neural networks at finite widths
Facebook AI Research(Facebook人工智能研究院)
高斯过程在自然界和工程中普遍存在。一个恰当的例子是一类无限宽极限的神经网络,其先验对应于高斯过程。在这里,我们微扰扩展到有限宽度的神经网络,产生非高斯过程作为先验。本文开发的方法使我们能够跟踪流的预激活分布逐步整合出随机变量从较低到较高的层,让人想起重整化群流。我们进一步开发了一个微扰过程来执行具有弱非高斯先验的贝叶斯推断。
2020-08-26 cond-mat.dis-nn cs.LG hep-th
Stochastic stiffness identification and response estimation of Timoshenko beams via physics-informed Gaussian processes
Bauhaus-Universität Weimar(魏玛包豪斯大学);University of Cambridge(剑桥大学)
本文提出基于物理信息高斯过程的Timoshenko梁模型,通过贝叶斯推断和马尔可夫链蒙特卡洛实现随机刚度识别,并结合熵优化传感器布置,实现异构多保真数据融合与结构响应概率预测。
2023-09-21 cs.AI cs.LG
A Bayesian approach with Gaussian priors to the inverse problem of source identification in elliptic PDEs
本文研究椭圆型偏微分方程中未知源函数的统计线性反问题,采用基于高斯先验的非参数贝叶斯方法进行后验推断,回顾了相关理论保证,并在高斯级数先验和Matérn过程先验下通过数值模拟验证了方法性能。
2024-07-25 math.ST stat.ME stat.TH
System Identification in Wireless Relay Networks via Gaussian Process
我们提出了一个灵活的随机模型的一类合作无线中继网络,其中的中继处理功能是未知的目的地。在解决这个问题,我们开发了有效的算法来执行中继识别在无线中继网络。我们首先构建了一个统计模型的基础上表示的系统使用高斯过程在一个非标准的方式,由于我们对待不完美的信道状态信息。然后,我们制定的估计问题进行系统辨识,考虑到复杂性和计算效率。接下来,我们开发了一组三个算法来解决识别问题,每个算法的复杂性降低,权衡估计偏差的计算效率。联合优化问题是通过贝叶斯框架使用迭代条件的模式方法来解决的。我们为识别问题开发了一个下界和几个计算效率次优的解决方案,以供比较。我们说明了我们的方法广泛使用的中继功能的范围内的估计性能。我们的算法达到的相对总误差相比,下限被发现在最坏的9%,低信噪比值下考虑的所有功能。中继功能估计误差的影响也通过BER仿真研究,并示出小于2dB的下限。
2012-01-17 cs.IT math.IT stat.AP
Data-driven identification of port-Hamiltonian DAE systems by Gaussian processes
University of Wuppertal(伍珀塔尔大学);School of Mathematics and Natural Sciences(数学与自然科学学院);IMACM
本研究提出基于高斯过程的端口哈密顿微分代数方程(pH-DAE)系统数据驱动辨识方法,利用输入和状态数据估计非线性作用力函数,突破了现有仅能辨识常微分方程系统的局限,并成功应用于网络设计与多体动力学场景。
2024-06-26 cs.LG cs.NA cs.SY
Bayesian Structural Identification using Gaussian Process Discrepancy Models
近年来,基于高斯过程(GP)模型的贝叶斯模型更新受到关注,它结合了基于核的GP来提供增强的保真度响应预测。虽然大多数核函数在训练数据集中提供了很高的拟合精度,但它们的样本外预测可能非常不准确。本文研究了这个问题,重新制定了一致的概率基础上的问题,审查核协方差函数的共同选择,并提出了一个新的贝叶斯模型选择的核函数选择,旨在创建一个拟合精度,泛化和模型简约之间的平衡。计算方面通过拉普拉斯近似和采样技术,提供详细的算法和策略。数值和实验的例子来证明所提出的框架的准确性和鲁棒性。因此,指数-三角协方差函数的特点和理由的基础上贝叶斯模型选择方法和响应差异的样本自相关函数的观察。
2022-11-01 stat.AP
Dominant-feature identification in data from Gaussian processes applied to Finnish forest inventory records
在空间数据中,位置相关的变化导致了被称为特征的连接结构。变化发生在不同的空间尺度上,可能源于不同的底层过程。每一种尺度都有其自身的主要特征。在这里,我们介绍了一种统计方法,用于识别这些尺度和它们的主要特征的数据从高斯过程。这种识别包括通过尺度空间分解来识别主导特征,并通过估计潜在过程的协方差函数参数及其与潜在驱动因素的关联来评估特征属性。我们分析芬兰森林资源清查数据从20世纪20年代使用这种优势特征识别方法,并确定最常见的芬兰树木,包括苏格兰松,挪威云杉,桦树,和其他本土落叶树木的断面积估计的变化尺度。比较这些树种的尺度相关特征及其属性,我们确定了土壤和人为驱动因素对其断面积空间分布的不同影响。这些数据进行了分析,第一次在其规模的变化,并由此产生的规模依赖的地图和估计是一个重要的贡献,芬诺斯堪的纳维亚的历史森林生态。到目前为止,这种分析是不可能的传统方法。
2022-03-07 stat.AP stat.ME
Strong Approximation of Empirical Copula Processes by Gaussian Processes
我们提供了高斯过程对经验copula过程的强逼近。此外,我们建立了光滑经验copula过程的强逼近和一个重对数律。
2011-06-19 math.ST stat.TH
Gaussian Processes: A Quick Introduction
高斯过程(Gaussian Processes,GP)本文档的三个部分考虑了用于回归、分类和降维的GP。
2015-08-29 math.ST stat.TH
Parameter estimation for SDEs related to stationary Gaussian processes
本文研究一般平稳高斯场泛函的部分和的中心极限定理和非中心极限定理。我们应用所得结果研究了与平稳高斯过程有关的随机微分方程的漂移参数估计问题。
2015-01-20 math.PR math.ST stat.TH
Asymptotic properties of the maximum likelihood and cross validation estimators for transformed Gaussian processes
高斯过程协方差参数估计的渐近分析一直是人们研究的热点。然而,这种渐近分析是非常罕见的非高斯过程。本文研究了一类由高斯过程的正则非线性变换得到的非高斯过程。我们提供了增加域渐近性质的(高斯)最大似然和交叉验证估计的协方差参数的非高斯过程的这一类。我们表明,这些估计是一致的,渐近正态的,虽然他们被定义为如果该过程是高斯。它们不需要对非线性变换进行建模或估计。因此,我们的结果可以被解释为(高斯)最大似然和交叉验证对非高斯的鲁棒性。我们的证明依赖于两个技术成果,这是独立的兴趣的空间过程的渐增域渐近文献。首先,我们表明,在温和的假设下,大的协方差阵的逆的系数衰减作为相应的观测位置距离的函数的逆多项式率。其次,我们给出了由变换高斯过程得到的二次型的一般中心极限定理。最后,通过数值模拟说明了我们的渐近结果.
2019-11-25 math.ST stat.TH
Deep Learning Gaussian Processes For Computer Models with Heteroskedastic and High-Dimensional Outputs
深度学习高斯过程(DL-GP)是一种分析(近似)产生异方差和高维输出的计算机模型的方法。计算机仿真模型有许多应用领域,包括社会经济过程、农业、环境、生物、工程和物理问题。通过深度学习执行输入的确定性转换,并通过传统的高斯过程计算预测。我们使用摩托车事故模拟和埃博拉疫情模拟来说明我们的方法。最后,我们总结了未来研究的方向。
2022-09-05 stat.AP
Short-range dependent processes subordinated to the Gaussian may not be strong mixing
有各种各样的弱依赖。例如,强混合。短程相关(SRD)也是弱相关的一种形式。它发生在从属于高斯过程的背景下。如果高斯过程是长程相关的,那么SRD过程是强混合的吗?我们表明,这是不一定的情况下。
2015-08-19 math.PR math.ST stat.TH
Piterbarg's max-discretisation theorem for stationary vector Gaussian processes observed on different grids
在本文中,我们推导出Piterbarg的最大离散定理,考虑两个不同的网格中心平稳向量高斯过程。到目前为止,在这个方向上的文献结果已经得出了联合分布的最大高斯过程在$[0,T]$和网格$ \mathfrak{R}(δ_1(T))=\{kδ_1(T): k=0,1,\cdots\}$。在本文中,我们扩展了最近的研究结果,考虑另外的\bE{maximum}在另一个网格$ \mathfrak{R}(δ_2(T))$。我们通过令$T\to \infty$得到了在不同网格选择下平稳高斯向量过程最大值的联合极限分布。
2014-10-07 math.PR math.ST stat.OT
Cox processes driven by transformed Gaussian processes on linear networks -- A review and new contributions
本文针对线性网络上点过程模型缺乏的问题,提出由变换高斯过程驱动的三类Cox过程模型,并首次给出参数族统计推断方法、模拟算法及度量选择的讨论。
2024-01-15 math.ST stat.TH
Reconstruction and Prediction of Volterra Integral Equations Driven by Gaussian Noise
School of Mathematics and Statistics(数学与统计学学院)
针对高斯噪声驱动的Volterra积分方程,提出改进的深度神经网络框架,通过损失函数纳入输出间关系实现参数辨识与区间外预测,实验验证其稳健性。
2025-10-26 cs.LG stat.ML
A Non-asymptotic Approach to Best-Arm Identification for Gaussian Bandits
我们提出了一种新的策略,最佳臂识别与固定的置信度的高斯变量有界的均值和单位方差。这种策略被称为探索偏置采样(Exploration-Biased Sampling),它不仅是渐近最优的:据我们所知,它是第一个具有非渐近边界的策略,渐近匹配样本复杂度。但与其他算法(如Track-and-Stop)相比,它的主要优点是改进了探索行为:探索偏置采样以一种微妙但自然的方式偏向于探索,使其更加稳定和可解释。这些改进是允许通过一个新的分析样本的复杂性最优化问题,这产生了一个更快的数值解决方案和几个定量规律性的结果,我们相信高的独立利益。
2022-03-07 math.ST stat.ML stat.TH
Generic identification of binary-valued hidden Markov processes
一般的识别问题是决定一个随机过程$(X_t)$是否是一个隐马尔可夫过程,如果是,推断其参数的所有,但一个子集的参数化,形成一个低维的子品种在参数空间。到目前为止,部分答案取决于对过程的额外假设,这些假设通常以平稳性为中心。本文给出了二值隐马尔可夫过程的一般解法。我们的方法是植根于代数统计,因此它是几何的性质。我们发现,与二进制值隐马尔可夫过程的概率分布相关的代数簇是零组的行列式方程,它从代数中引出了与研究对象的连接。因此,我们的解决方案允许基于初等(线性)代数例程的算法实现。
2013-10-22 math.AG math.ST stat.ML