Comparing Semi-Parametric Model Learning Algorithms for Dynamic Model Estimation in Robotics
German Aerospace Center (DLR)(德国航空航天中心(DLR))
机器人系统行为的物理建模是对许多机器人机构进行满意控制的基础。机构的设计通常也是以这样的方式进行的,即用相对简单的模型和模型识别策略就可以实现良好的模型精度。如果使用基于物理模型的建模精度不够或太复杂,基于机器学习技术的无模型方法可以提供帮助。因此,我们特别感兴趣的问题是,半参数建模技术,即物理模型与机器学习的结合,在多大程度上提高了逆动力学模型的建模精度,这些模型通常用于机器人控制。为此,我们评估了半参数高斯过程回归和一种新的基于模型的神经网络架构,并将其建模精度与一系列朴素的半参数、仅参数和非仅参数回归方法进行了比较。比较已进行了三个测试方案,一个涉及到一个真正的试验台和两个涉及到模拟的情况下,最复杂的情况下,针对模拟机器人的逆动力学模型建模。我们发现,除了一种情况外,在所有情况下,半参数高斯过程回归都能产生最准确的模型,而且训练过程几乎不需要调整。
2019-06-27 cs.LG cs.RO stat.ML
Active Learning with Gaussian Processes for High Throughput Phenotyping
Carnegie Mellon University(卡内基梅隆大学)
在机器人植物表型分析能力对作物改良计划产生重大影响之前,必须解决的一个迫在眉睫的问题是可扩展性。高产量表型分析(HTP)使用机器人技术来分析作物,以确定具有有利性状的物种,然而,目前的实践依赖于从育种实验下被监测的整个作物田的详尽覆盖和数据汇集。这在相对较小的农业领域效果很好,但不能扩展到较大的领域,从而限制了遗传学研究的进展。在这项工作中,我们提出了一个主动学习算法,使一个自治的系统,以收集最翔实的样本,以准确地学习在该领域的表型分布的帮助下,高斯过程模型。我们证明了我们提出的算法相比,高粱表型数据汇集目前的做法优越的性能。
2019-01-21 cs.AI cs.LG cs.RO
Robust Filtering and Smoothing with Gaussian Processes
University of Washington(华盛顿大学);University of Cambridge(剑桥大学);AGT Group (R&D) GmbH(AGT集团(研发)有限公司);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Max Planck Institute for Biological Cybernetics(马克斯·普朗克生物控制论研究所)
提出一种基于非参数高斯过程模型的非线性随机动态系统鲁棒贝叶斯滤波与平滑算法,通过解析平滑实现鲁棒性,数值实验表明在其它先进方法失效时仍保持稳健。
2012-03-20 cs.AI cs.RO cs.SY
Deep convolutional Gaussian processes
Aalto university(阿尔托大学);Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所(HIIT))
我们提出了深度卷积高斯过程,这是一种具有卷积结构的深度高斯过程架构。该模型是一个原则性的贝叶斯框架,用于检测图像分类的局部特征的分层组合。我们证明了极大地提高了图像分类性能相比,目前的高斯过程的MNIST和CIFAR-10数据集的方法。特别是,我们将CIFAR-10的准确性提高了10个百分点以上。
2018-10-06 cs.LG stat.ML
Gaussian Processes and Statistical Decision-making in Non-Euclidean Spaces
Imperial College London(帝国理工学院)
使用高斯过程的贝叶斯学习提供了一个基础框架,用于以平衡已知与通过收集数据可以学习到的内容的方式做出决策。在这篇论文中,我们开发的技术,扩大高斯过程的适用性。这是通过两种方式完成的。首先,我们开发了高斯过程的路径条件技术,它允许一个表示后随机函数作为前随机函数加上一个相关的更新项。我们引入了一个广泛的有效的近似建立从这个角度来看,它可以被随机抽样一次提前,并在任意位置进行评估,没有任何后续的随机性。这一关键属性提高了效率,并使在决策设置中部署高斯过程模型变得更简单。其次,我们发展了一系列非欧空间上的高斯过程模型,包括黎曼流形和图。我们推导出黎曼流形和图上标量值高斯过程的协方差核的完全构造性表达式。基于这些思想,我们描述了一个形式主义定义向量值高斯过程的黎曼流形。引入的技术允许使用标准计算方法训练所有这些模型。总的来说,这些贡献使高斯过程更容易使用,并允许它们以有效和有原则的方式在更广泛的领域中使用。反过来,这使得有可能将高斯过程应用于新的决策设置。
2022-04-28 cs.LG stat.ML
Bayesian Optimization using Deep Gaussian Processes
Université de Lille(里尔大学);CNRS/CRIStAL(法国国家科学研究中心/CRIStAL实验室);Inria Lille(法国里尔国家信息与自动化研究所)
使用高斯过程的贝叶斯优化是处理昂贵的黑盒函数优化的流行方法。然而,由于经典高斯过程的协方差阵的平稳性是先验的,这种方法可能不适用于非平稳函数的优化问题。为了克服这个问题,提出了一种新的贝叶斯优化方法。它基于深度高斯过程作为代理模型,而不是经典的高斯过程。这种建模技术通过简单地考虑平稳高斯过程的功能组成来增加表示的能力以捕获非平稳性,从而提供多层结构。本文提出了一种耦合深度高斯过程和贝叶斯优化的全局优化算法。这种优化方法的特殊性进行了讨论,并突出了学术测试案例。分析测试用例和航空航天设计优化问题的性能评估所提出的算法相比,最先进的静态和非静态的贝叶斯优化方法。
2019-05-07 cs.CE cs.LG stat.ML
Upgrading from Gaussian Processes to Student's-T Processes
高斯过程先验通常用于航空航天设计以执行贝叶斯优化。尽管如此,高斯过程有两个明显的缺点:离群值是先验假设不太可能的,并且以观测数据为条件的后验方差仅取决于这些数据的位置,而不是相关的样本值。Student's-T过程是高斯过程的推广,建立在Student's-T分布而不是高斯分布上。Student's-T过程保持了高斯过程的主要优点(核函数,解析更新规则),并具有超越高斯过程的额外好处。Student's-T分布具有比高斯分布更高的峰度,因此离群值更有可能,并且后验方差根据观察到的数据样本值的方差增加或减少。在这里,我们描述学生的T过程,并讨论其优势的背景下,航空航天优化。我们将展示如何使用核函数构建学生T过程,以及如何在给定新样本的情况下更新该过程。我们提供了一个明确的推导优化相关的数量,如预期的改善,并与高斯过程的相关计算的对比。最后,我们比较了Student's T过程和Gauss过程在贝叶斯优化中典型测试问题上的性能,并将Student's T过程应用于一个气动结构设计问题的优化。
2018-01-18 stat.ML
A brief note on understanding neural networks as Gaussian processes
University of Twente(特文特大学)
作为[Lee等人,2017],本文简要讨论了神经网络输出的先验何时遵循高斯过程,以及神经网络诱导的高斯过程是如何形成的。这种高斯过程回归的后验均值函数位于由神经网络诱导核定义的再生核希尔伯特空间中。在两层神经网络的情况下,诱导高斯过程提供了再生核希尔伯特空间的一种解释,其联合形成巴伦空间。
2021-07-25 cs.CE cs.LG stat.ML
Non-Gaussian processes and neural networks at finite widths
Facebook AI Research(Facebook人工智能研究院)
高斯过程在自然界和工程中普遍存在。一个恰当的例子是一类无限宽极限的神经网络,其先验对应于高斯过程。在这里,我们微扰扩展到有限宽度的神经网络,产生非高斯过程作为先验。本文开发的方法使我们能够跟踪流的预激活分布逐步整合出随机变量从较低到较高的层,让人想起重整化群流。我们进一步开发了一个微扰过程来执行具有弱非高斯先验的贝叶斯推断。
2020-08-26 cond-mat.dis-nn cs.LG hep-th
Improving Output Uncertainty Estimation and Generalization in Deep Learning via Neural Network Gaussian Processes
我们提出了一个简单的方法,结合神经网络和高斯过程。该方法可以估计输出的不确定性,并在训练数据存在的情况下灵活地调整目标函数,这是高斯过程的优点。所提出的方法还可以实现高的泛化性能的未知输入配置,这是神经网络的一个优点。利用所提出的方法,神经网络被用于高斯过程的均值函数。我们提出了一个可扩展的随机推理过程,稀疏高斯过程的随机变分推断推断,神经网络和内核的参数估计的随机梯度下降方法,同时。我们使用两个真实世界的时空数据集,实验表明,该方法实现了更好的不确定性估计和泛化性能比神经网络和高斯过程。
2017-07-19 stat.ML
Strong Approximation of Empirical Copula Processes by Gaussian Processes
我们提供了高斯过程对经验copula过程的强逼近。此外,我们建立了光滑经验copula过程的强逼近和一个重对数律。
2011-06-19 math.ST stat.TH
Gaussian Processes: A Quick Introduction
高斯过程(Gaussian Processes,GP)本文档的三个部分考虑了用于回归、分类和降维的GP。
2015-08-29 math.ST stat.TH
Parameter estimation for SDEs related to stationary Gaussian processes
本文研究一般平稳高斯场泛函的部分和的中心极限定理和非中心极限定理。我们应用所得结果研究了与平稳高斯过程有关的随机微分方程的漂移参数估计问题。
2015-01-20 math.PR math.ST stat.TH
Asymptotic properties of the maximum likelihood and cross validation estimators for transformed Gaussian processes
高斯过程协方差参数估计的渐近分析一直是人们研究的热点。然而,这种渐近分析是非常罕见的非高斯过程。本文研究了一类由高斯过程的正则非线性变换得到的非高斯过程。我们提供了增加域渐近性质的(高斯)最大似然和交叉验证估计的协方差参数的非高斯过程的这一类。我们表明,这些估计是一致的,渐近正态的,虽然他们被定义为如果该过程是高斯。它们不需要对非线性变换进行建模或估计。因此,我们的结果可以被解释为(高斯)最大似然和交叉验证对非高斯的鲁棒性。我们的证明依赖于两个技术成果,这是独立的兴趣的空间过程的渐增域渐近文献。首先,我们表明,在温和的假设下,大的协方差阵的逆的系数衰减作为相应的观测位置距离的函数的逆多项式率。其次,我们给出了由变换高斯过程得到的二次型的一般中心极限定理。最后,通过数值模拟说明了我们的渐近结果.
2019-11-25 math.ST stat.TH
Deep Learning Gaussian Processes For Computer Models with Heteroskedastic and High-Dimensional Outputs
深度学习高斯过程(DL-GP)是一种分析(近似)产生异方差和高维输出的计算机模型的方法。计算机仿真模型有许多应用领域,包括社会经济过程、农业、环境、生物、工程和物理问题。通过深度学习执行输入的确定性转换,并通过传统的高斯过程计算预测。我们使用摩托车事故模拟和埃博拉疫情模拟来说明我们的方法。最后,我们总结了未来研究的方向。
2022-09-05 stat.AP
Short-range dependent processes subordinated to the Gaussian may not be strong mixing
有各种各样的弱依赖。例如,强混合。短程相关(SRD)也是弱相关的一种形式。它发生在从属于高斯过程的背景下。如果高斯过程是长程相关的,那么SRD过程是强混合的吗?我们表明,这是不一定的情况下。
2015-08-19 math.PR math.ST stat.TH
Piterbarg's max-discretisation theorem for stationary vector Gaussian processes observed on different grids
在本文中,我们推导出Piterbarg的最大离散定理,考虑两个不同的网格中心平稳向量高斯过程。到目前为止,在这个方向上的文献结果已经得出了联合分布的最大高斯过程在$[0,T]$和网格$ \mathfrak{R}(δ_1(T))=\{kδ_1(T): k=0,1,\cdots\}$。在本文中,我们扩展了最近的研究结果,考虑另外的\bE{maximum}在另一个网格$ \mathfrak{R}(δ_2(T))$。我们通过令$T\to \infty$得到了在不同网格选择下平稳高斯向量过程最大值的联合极限分布。
2014-10-07 math.PR math.ST stat.OT
Cox processes driven by transformed Gaussian processes on linear networks -- A review and new contributions
本文针对线性网络上点过程模型缺乏的问题,提出由变换高斯过程驱动的三类Cox过程模型,并首次给出参数族统计推断方法、模拟算法及度量选择的讨论。
2024-01-15 math.ST stat.TH
Gaussian Processes for HRF estimation for BOLD fMRI
我们提出了一种非参数联合估计方法的fMRI任务激活值和血流动力学反应函数(HRF)。HRF被建模为一个高斯过程,使连续评估抖动的范例,并提供在每个点的方差估计。
2017-08-31 stat.AP
Estimation of log-Gaussian gamma processes with iterated posterior linearization and Hamiltonian Monte Carlo
Aalto University(阿尔托大学)
本文提出基于迭代后验线性化和Hamilton蒙特卡洛的方法,用于估计log-Gaussian伽马过程的后验分布,并通过实验验证其有效性。
2026-02-07 stat.CO stat.ME
Stochastic modelling of Gaussian processes by improper linear functionals
随机过程的各种方法存在,注意到关键属性,如可测性和连续性不是平凡的满足。我们引入一个新的理论高斯过程使用不当线性泛函。使用一组身份证。在标准正态变量的基础上,定义了高斯白噪声,并讨论了它的性质。这是推广到一般的高斯过程的希尔伯特空间,其中的方差是允许的任何合适的操作。我们的主要重点是$L^2$空间,我们讨论高斯过程是连续的,在这种设置的标准。最后,我们概述了一个框架,统计推断使用所提出的理论,重点是特殊情况下的$L^2[0,1]$。我们将弗雷德霍姆行列式引入到函数对数似然中。我们证明了朴素函数对数似然与多元似然不一致。引入了一个修正项,并证明了一个渐近结果。
2020-10-14 math.ST stat.ME stat.TH
Remarks on multivariate Gaussian Process
高斯过程在现代统计学和概率论中占据主导地位,因为它们的重要性和大量强有力的结果。高斯过程的常见用途是与估计,检测和许多统计或机器学习模型相关的问题。随着高斯过程应用的快速发展,有必要巩固向量值随机过程,特别是多元高斯过程的基本理论,这是许多多个相关响应的应用问题的基本理论。本文在向量值函数空间上基于高斯测度给出了多元高斯过程的精确定义,并给出了其存在性证明。此外,还介绍了多元高斯过程的几个基本性质,如严格平稳性和独立性。我们进一步推导了多元布朗运动,包括作为多元高斯过程的一种特殊情况的伊藤引理,并简要介绍了多元高斯过程回归作为多输出预测问题的一种有用的统计学习方法。
2021-02-24 math.PR math.ST stat.TH