The role of the nugget term in the Gaussian process method
Andrey Pepelyshev
在分析确定性模型的情况下，研究了含和不含块金项的高斯过程的相关参数的最大似然估计。
The maximum likelihood estimate of the correlation parameter of a Gaussian process with and without of a nugget term is studied in the case of the analysis of deterministic models.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
Log-Laplace Nuggets for Fully Bayesian Fitting of Spatial Extremes Models to Threshold Exceedances
本文提出一种乘法对数拉普拉斯 nugget 方法，通过在截断似然中引入条件独立性，实现高维空间极值模型的高效贝叶斯推断，同时保持极值依赖结构。
Fixed-domain Posterior Contraction Rates for Spatial Gaussian Process Model with Nugget
空间高斯过程回归模型通常包含需要从数据估计的有限维协方差参数。研究了一类固定域渐近下平稳协方差函数中包含块金参数的协方差参数的贝叶斯估计，由于空间观测值之间的依赖性越来越强，这在理论上具有挑战性.我们提出了一种新的适应施瓦茨的一致性定理显示后收缩率的协方差参数，包括块金。我们得到了一个新的多项式证据下界，并提出了一致的高阶二次变差估计，满足浓度不等式指数小尾巴。我们的贝叶斯固定域渐近理论导致显式后验收缩率的微遍历和块金参数的各向同性Matern协方差函数下的一般分层抽样设计。我们验证了我们的理论和贝叶斯预测性能的模拟研究和应用到海表温度数据。
A Computationally Stable Approach to Gaussian Process Interpolation of Deterministic Computer Simulation Data
对于许多昂贵的确定性计算机模拟器，输出没有复制错误，所需的元模型（或统计模拟器）是观测数据的一个子集。高斯空间过程（GP）的实现通常用于对这样的模拟器输出进行建模。将GP模型拟合到$n$数据点需要计算$n \times n$相关矩阵$R$的逆矩阵和行列式，由于$R$的近奇异性，这些逆矩阵和行列式有时在计算上是不稳定的。如果任何一对设计点在输入空间中非常接近，就会发生这种情况。克服近奇异性的流行方法是在模型中引入一个小的块金（或抖动）参数，该参数与其他模型参数一起估计。在模型中包含块金通常会导致数据不必要的过度平滑。在本文中，我们提出了一个下界的块金，最大限度地减少过度平滑和迭代正则化方法来构建一个预测，进一步提高插值精度。我们还表明，建议的预测收敛到GP的。
An analytic comparison of regularization methods for Gaussian Processes
高斯过程（GP）是一种流行的方法来预测参数化实验的输出。它们在计算机实验领域有着广泛的应用，特别是在进行灵敏度分析、自适应实验设计和全局优化等方面。几乎所有的应用程序的全球定位系统需要逆的协方差阵，在实践中，往往是病态的。正则化方法，然后使用的GP，需要更好地理解的后果。两个主要的方法来处理病态的协方差阵是i）伪逆和ii）添加一个正的常数的对角线（所谓的块金正则化）。本文的第一部分提供了一个代数比较PI和块金正则化。定义了导致协方差阵奇异的冗余点。证明了伪逆正则化与块金正则化相反，它平均了输出值，并使冗余点处的方差为零。然而，伪逆正则化和块金正则化在块金值为零时变得等价。提出了一种用于选择正则化技术的数据模型差异的度量。在本文的第二部分中，引入了一种分布型GP，它插值高斯分布而不是数据点。分布式GP可以看作是GP的一种改进的正则化方法。
Cases for the nugget in modeling computer experiments
大多数用于计算机实验的替代模型都是插值器，最常见的插值器是高斯过程（GP），它故意省略了称为块金的小尺度（测量）误差项。解释是，计算机实验，根据定义，是“确定性的”，因此没有测量误差。我们认为这对于计算机实验来说太狭隘了，而且在统计上也是一种效率低下的建模方法。我们表明，估计（非零）金块可以导致代理模型具有更好的统计特性，如预测精度和覆盖范围，在各种常见的情况下。
Scalable Heteroskedastic Gaussian Process Models for Large Inhomogeneous Datasets
该研究提出HetNV框架，结合Vecchia似然近似与残差非参数方差估计，用于大型异方差数据集的高斯过程回归，在保持均值预测精度的同时提升不确定性估计，且可应用于航天器等离子体测量的信号检测。
Four-Point, 2D, Free-Ranging, IMSPE-Optimal, Twin-Point Designs
在高斯过程、固定高斯协方差参数和零块金假设下，我们在计算机实验的统计设计中发现了一组具有一对孪生点的四点、两因子、自由范围、纯IMSPE最优设计。我们猜想这是一组自由范围，双点设计的最小数量的自由度。
Incorporating Correlated Nugget Effects in Multivariate Spatial Models: An Application to Argo Ocean Data
本文提出带相关块金效应的高斯与非高斯分层多变量Matérn-SPDE模型，用于Argo海洋温盐数据，证明该模型能提高参数估计和空间预测精度，并揭示传统独立噪声假设可能高估场间相关性。
Practical Efficient Global Optimization is No-regret
本文首次建立了实用高效全局优化的累积遗憾界，证明其具有亚线性累积遗憾界，适用于常见核函数，分析了 nugget 对遗憾界的影响。
Gaussian Process Regression with Location Errors
本文研究了输入具有测量误差的高斯过程回归模型。在空间统计学中，当观测数据的地理位置不精确时，会产生输入测量误差。这种误差源不是“块金”或微尺度变化的特殊情况，并且需要用于插值和参数估计的替代方法。高斯过程模型不能直接扩展到包含输入测量误差，并且简单地忽略输入空间中的噪声会导致预测和参数推断的性能差。我们回顾和扩展现有的理论预测和估计的位置误差的存在下，并表明，忽略位置误差可能会导致克里格法是不是“自我有效”。我们还介绍了一个马尔可夫链蒙特卡罗（MCMC）的方法，使用混合蒙特卡罗算法，获得最佳（最小MSE）的预测，并讨论的情况下，导致多峰的目标分布和/或不良链混合。通过模拟研究和分析全球气温数据，我们表明，适当的方法，将位置测量误差是必不可少的有效推理，在这一制度。
Why not to use the Gaussian kernel
本文论证高斯核因存在过度自信、数值病态等缺陷应避免使用，指出核心问题是核的解析性，进而提出应尽量避免使用解析核。
Gaussian Process regression over discrete probability measures: on the non-stationarity relation between Euclidean and Wasserstein Squared Exponential Kernels
高斯过程回归是一种在实际应用中被成功采用的核心方法。最近，有一个越来越大的兴趣，将这种方法扩展到非欧几里德输入空间，如本文所考虑的，由概率测度。虽然可以通过使用合适的距离（Wasserstein距离）来定义正定核，但学习高斯过程模型的常见过程可能会由于数值问题而失败，这些问题比欧几里得输入空间的情况更早更频繁地出现，并且如本文所示，这无法通过添加人工噪声（块金效应）来避免。本文揭示了产生这些问题的主要原因，即基于Wasserstein的平方指数核与基于欧氏的平方指数核之间的非平稳性关系。作为一个相关的结果，高斯过程模型是通过假设输入空间为欧几里德学习，然后使用代数变换，基于未覆盖的关系，将其转换为非平稳和基于Wasserstein的高斯过程模型的概率测量。这种代数变换是简单的对数-exp映射的情况下使用的数据属于黎曼流形，最近扩展到考虑伪黎曼结构的输入空间配备了瓦瑟斯坦距离。
Gaussian process hyper-parameter estimation using parallel asymptotically independent Markov sampling
计算上昂贵的计算机代码的高斯过程仿真器提供快速的统计近似来模拟物理过程。这些代理的训练取决于选择运行模拟器的设计点集。由于计算成本，这样的训练集必然是有限的，并且通过单峰分布量化仿真器的超参数中产生的不确定性可能会引起偏差。为了量化这种不确定性，本文提出了一种计算效率高的采样器的基础上扩展的渐近独立马尔可夫抽样，最近开发的算法贝叶斯推断。仿真器的结构不确定性作为超参数的贝叶斯处理的副产品而获得。此外，用户可以选择执行随机优化，以从最大后验估计的邻域中采样，即使在存在多模态的情况下也是如此。模型的不确定性也承认通过数值稳定措施，包括一个块金长期制定的概率模型。所提出的采样器的效率示出的例子中遇到的多模态分布。为了重复性、进一步开发和在其他应用中使用，用于生成示例的代码可在https://github.com/agarbuno/paims_codes免费下载
Robust Gaussian Stochastic Process Emulation
我们认为估计的高斯随机过程（GaSP）的参数，在仿真（近似）的计算机模型的结果是实值标量的上下文中。主要重点是通过各种广义最大似然方法估计GaSP参数，主要涉及寻找后验模式;这是因为计算机模型仿真中的全贝叶斯分析通常过于昂贵。所研究的后验模式来自客观先验，例如参考先验。这些先验已经在文献中研究了各向同性协方差函数的情况下，或在GaSP建设中使用的模型运行的输入设计中的可分性的假设下。在本文中，我们考虑更一般的设计（例如，拉丁超立方体设计），其具有一类常用的各向异性相关函数，所述各向异性相关函数可以被写为各向同性相关函数的乘积，每个相关函数具有未知的范围参数和固定的粗糙度参数。我们讨论了GaSP参数的客观先验和边缘似然的性质，并建立了GaSP参数的后验性质，但我们的主要重点是证明某些参数化会导致比其他参数更鲁棒的GaSP参数估计，并且应该避免一些常用的参数化。这些结果适用于许多常用的协方差函数，例如，幂指数、Mat{é}rn、有理二次和球面协方差。我们还推广的结果与块金参数的GaSP模型。理论和数值的证据提出有关的性能的研究程序。
The role of a layer in deep neural networks: a Gaussian Process perspective
深度学习中的一个基本问题涉及深度神经网络（DNN）中各个层所扮演的角色以及它们学习的数据表示的可转移属性。如果层有明确的作用，那么应该能够使用逐层损失函数分别优化它们。这样的损失函数将描述在网络的每个深度处什么是良好数据表示的集合，并且为逐层贪婪优化（LEGO）提供目标。在这里，我们推导出高斯过程和SGD训练的深度神经网络之间的新对应关系。利用这种对应关系，我们推导出深高斯逐层损失函数（DGL），我们认为，这是第一个监督逐层损失函数，这是明确的和有竞争力的准确性。由于高度结构化和对称性，DGL为理解DNN生成的内部表示提供了一条有前途的分析途径。
Asymptotic analysis of the role of spatial sampling for covariance parameter estimation of Gaussian processes
在渐近框架下分析了高斯过程的协方差参数估计。空间采样是一个随机扰动的规则网格，其偏离完美的规则网格是由一个单一的标量规则性参数控制。证明了协方差参数的极大似然估计和交叉验证估计的相合性和渐近正态性。协方差参数估计量的渐近协方差阵是正则性参数的确定性函数。通过对渐近协方差阵的详尽研究，证明了当规则网格受到强扰动时，估计得到了改进。由此，渐近地证实了小间距观测点组有利于协方差函数估计这一公认的事实。最后，利用协方差参数的一致估计，详细分析了预测误差。
Identifiability and Sensitivity Analysis of Kriging Weights for the Matern Kernel
针对高斯过程模型超参数估计困难与不可识别问题，本文分析了 Matern 核 Kriging 权重对超参数的敏感性与可识别性，发现平滑参数 nu 是决定 Kriging 权重最关键的参数，并通过分类实验验证了结论。
The Dual PC Algorithm and the Role of Gaussianity for Structure Learning of Bayesian Networks
提出Dual PC算法，利用协方差与精度矩阵的逆关系执行条件独立性测试，在运行时间和结构恢复上优于经典PC算法，且适用于偏离高斯性及高斯copula模型。
On the Role of Channel Capacity in Learning Gaussian Mixture Models
研究了在具有球形协方差矩阵$σ^2\mathbf{I}$的$\mathbb{R}^d$中学习平衡高斯混合模型（GMM）的$k$未知中心的样本复杂度.特别是，我们感兴趣的是以下问题：什么是最大的噪声水平$σ^2$，其中的样本复杂性基本上是相同的，当估计的中心标记的测量？为此，我们将注意力限制在贝叶斯公式的问题，其中的中心是均匀分布的领域$\sqrt{d}\mathcal{S}^{d-1}$。我们的主要研究结果的特点是精确的噪声阈值$σ^2$低于GMM学习问题，在大系统的限制$d,k\to\infty$，是很容易从标记的观察学习，并在此之上，它是实质上更难。阈值出现在$\frac{\log k}{d} = \frac12\log\left( 1+\frac{1}{σ^2} \right)$处，其是加性高斯白噪声（AWGN）信道的容量。将$k$中心的集合视为码，该噪声阈值可以被解释为最大噪声电平，对于该最大噪声电平，码在AWGN信道上的错误概率是小的。GMM学习问题上的先前工作已经确定了中心之间的最小距离作为确定学习相应GMM的统计难度的关键参数。虽然我们的结果只证明GMM的中心是均匀分布在球体上，他们暗示，也许这是解码错误概率与中心星座作为一个信道码，确定学习相应的GMM的统计难度，而不仅仅是最小距离。
Stochastic analysis on Gaussian space applied to drift estimation
本文考虑高斯过程漂移的Paley-Wiener和Karhunen-Loève展开式的非参数泛函估计。我们构造有效的估计，这样的过程中的漂移，并证明其minimaxity使用贝叶斯估计。我们还构造超有效的估计Stein型的漂移使用Malliavin的分部积分法公式和随机分析高斯空间，其中超调和泛函的过程路径发挥了特殊的作用。我们的结果通过数值模拟得到了验证，推广了Berger和Wolper关于高斯过程的James-Stein型估计的构造.
Asymptotic Bayes risk of semi-supervised multitask learning on Gaussian mixture
本文考虑高斯混合模型（GMM）上的半监督多任务学习。使用统计物理学的方法，我们计算的渐近贝叶斯风险的每个任务在大数据集的制度在高维，从中我们分析的任务相似性在学习中的作用和评估的性能增益时，任务一起学习，而不是分开。在监督的情况下，我们得到一个简单的算法，达到贝叶斯最优性能。
Joint Asymptotics for Estimating the Fractal Indices of Bivariate Gaussian Processes
多变量（或向量值）过程对于多变量建模很重要。基本多元过程的分量的分形指数在表征多元过程的相关结构和统计性质方面起着关键作用。本文在填充渐近框架下，建立了二元分形指数增量估计的联合渐近结果。我们的主要结果定量地描述了交叉依赖结构对估计性能的影响。
Generalized Splines and Gaussian Processes
该研究将有限维线性逆问题中最小均方误差估计与正则化最小二乘的等价性扩展至无限维场景，提出含白化/正则化算子的广义形式体系，可恢复已知等价实例并覆盖通用贝叶斯方法。
Local increment inference for time-inhomogeneous drift in Gaussian processes
针对高频观测下高斯过程模型中的确定性漂移结构，提出基于一阶增量的最小二乘对比估计方法，证明其相合性和渐近正态性，并揭示收敛速度依赖于高斯噪声局部粗糙度和漂移长期信息积累结构。
Revisiting Penalized Likelihood Estimation for Deterministic Computer Experiments
研究高斯过程中惩罚似然估计问题，引入基于马氏距离的“去相关预测误差”交叉验证度量，该度量在无需惩罚时与标准 MLE 相当，正则化有益时优于传统度量，能更可靠地选择调优参数。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈
发表机构由 AI 从论文文本抽取，如发现错误，欢迎反馈修正建议。