Efficient sampling for Gaussian linear regression with arbitrary priors
本文提出了一种适用于任意先验贝叶斯线性回归模型的切片抽样方法。新的采样器有两个优点，目前的方法。第一，如果回归变量的数量很大，它比许多依赖于辅助潜变量的自定义实现更快。第二，它可以与任何先验一起使用，其密度函数可以被评估为归一化常数，使其成为研究新收缩先验属性的理想选择，而无需开发自定义采样算法。新的采样器利用特殊结构的线性回归的可能性，使其能够产生更好的有效样本量每秒比常见的替代方法。
2018-06-14 stat.CO stat.ML
High-Dimensional Gaussian Copula Regression: Adaptive Estimation and Statistical Inference
我们开发的自适应估计和推理方法，高维高斯copula回归，实现相同的性能，而无需知识的边际变换的高维线性回归。利用Kendall的基于τ的协方差阵估计，提出了一个$\ell_1$正则化估计和相应的去偏估计的置信区间的建设和假设检验。理论性质的程序进行了研究，所提出的估计和推理方法是适应未知的单调边际变换。还考虑了对给定协变量值的响应的预测。该程序易于实现，并在数值上表现良好。该方法也被应用于分析社区和犯罪的非规范化数据从UCI机器学习知识库。
2015-12-08 stat.ME
Nonparametric contaminated Gaussian mixture of regressions
University of Pretoria（比勒陀利亚大学）；University of California, Riverside（加州大学河滨分校）
本文提出半参数和非参数污染高斯回归混合模型，通过EM和ECM算法实现鲁棒估计，用于观测聚类和异常值检测。
2026-01-10 stat.ME
Iterative Statistical Linear Regression for Gaussian Smoothing in Continuous-Time Non-linear Stochastic Dynamic Systems
本文研究离散观测非线性随机微分方程的近似光滑问题。这个问题是通过开发线性化随机微分方程相对于一个任意的高斯过程的方法来解决。两种方法的基础上开发的1）采取的离散化过程的统计线性回归的限制和2）最小化的成本函数的上限。它们的区别表现在近似过程的扩散上。这反过来又给出了新的推导预先存在的高斯平滑时，使用方法1和一类新的高斯平滑时，使用方法2。此外，基于上述发展的迭代高斯平滑器在离散时间一般化的连续时间设置通过迭代重新线性化的随机微分方程相对于当前的高斯过程近似平滑的过程。在两个具有挑战性的跟踪问题，再入问题和雷达跟踪协调转弯模型与状态相关扩散的方法进行了验证。结果表明，该方法具有更好的估计精度比国家的最先进的平滑。
2019-01-18 stat.ME
Convergence of Gaussian process regression: Optimality, robustness, and relationship with kernel ridge regression
在这项工作中，我们研究了高斯过程回归用于恢复基于噪声观测的函数。我们推导出高斯过程回归的误差上界和下界，可能误指定的相关函数。即使所施加的相关函数的平滑度超过真实的相关函数的平滑度并且采样方案是准均匀的，也可以获得最佳的收敛速度。作为副产品，我们也得到了收敛速度的核岭回归与错误指定的核函数，其中的基本真理是一个确定性的功能。高斯过程回归和核岭回归的收敛速度是紧密联系的，这与高斯过程的样本路径和相应的再生核希尔伯特空间之间的关系是一致的。
2022-07-19 math.ST stat.TH
Anisotropic functional deconvolution with long-memory noise: the case of a multi-parameter fractional Wiener sheet
研究了具有双参数分数高斯噪声的各向异性二维泛函反卷积模型的极大极小结果。我们推导出的$L^p$风险，$1 \leq p < \infty$的下界，并利用Riesz多电位，我们应用小波-小尺度展开去相关的各向异性分数高斯噪声。我们构造了一个自适应小波硬阈值估计器，在很宽的Besov球范围内达到渐近准最优收敛速度。这样的收敛速度取决于Besov球的参数、卷积算子的不适定性程度和分数高斯噪声的参数之间的微妙平衡。有限的模拟研究证实了理论主张的文件。所提出的方法被扩展到一般的$r$维的情况下，与$r> 2$，和相应的收敛速度不受维数灾难。
2018-12-18 math.ST stat.TH
On improved estimation in a conditionally Gaussian regression
本文考虑了二次损失下多元条件正态分布的$p\geq2$维均值向量的估计问题。当估计具有由布朗运动和复合泊松过程的混合驱动的非高斯Ornstein-Uhlenbeck过程的连续时间回归模型中的参数时，出现了这种类型的问题。
2011-05-25 math.ST stat.TH
Posterior contraction in Gaussian process regression using Wasserstein approximations
研究协变量域无界的高斯过程回归的后验收缩率。我们的论点依赖于开发一个高斯近似的后首项系数的Karhunen-Loéve展开的高斯过程。我们的结果的显着特点是推导出这样一个近似的$L^2$ Wasserstein距离和相关的速度的近似后收缩率使用耦合参数。提供了高斯或平方指数协方差内核的具体说明。
2015-10-02 math.ST stat.TH
Adaptive Bayesian credible sets in regression with a Gaussian process prior
本文研究了两种经验贝叶斯方法和一种分层贝叶斯方法，用于在非参数回归模型中调整高斯过程的尺度。我们表明，所有的方法导致后收缩率，适应真正的回归函数的平滑度。此外，我们还证明了当真实回归函数满足一定的外推条件时，相应的可信集覆盖了该函数。这个条件取决于具体的方法，但是由自相似性的条件所暗示。后一个条件被证明是满足概率1下的先验分布。
2015-04-29 math.ST stat.TH
Improved estimation in a non-Gaussian parametric regression
本文研究了具有脉冲型非高斯噪声的连续时间回归模型的参数估计问题。噪声由布朗运动和复合泊松过程的混合驱动的Ornstein-Uhlenbeck过程指定。改进的估计未知的回归参数，基于一个特殊的修改的James-Stein程序具有较小的二次风险比通常的最小二乘估计，提出。所开发的估计方案适用于改进的参数估计的离散时间回归与自回归噪声取决于未知的冗余参数。
2011-09-29 math.ST stat.TH
K-optimal designs for parameters of shifted Ornstein-Uhlenbeck processes and sheets
在许多不同的科学领域中，连续随机过程和场经常被用来对时间或空间现象进行建模，并且模型拟合通常借助于在不同时间点或空间位置观察给定过程所获得的数据来完成。在这些实际应用中，在某种意义上是最优的抽样设计是非常重要的。我们研究了最近引入的时间和空间线性回归模型的K-最优设计的性质，分别由Ornstein-Uhlenbeck过程和片驱动，并强调与经典的D-最优抽样相比的差异。仿真研究显示了K-最优设计在大参数值驱动随机过程中的优越性。
2016-10-18 math.ST stat.TH
Confidence balls in Gaussian regression
从对均值f和协方差阵σ^2 I_n（I_n是单位矩阵）的R^n-高斯向量的观测出发，我们提出了一种在f周围构造具有预定覆盖概率的欧氏置信球的方法。对于每个n，我们描述了它的非渐近性质，并显示其最优性方面的一些标准。
2004-06-22 math.ST stat.TH
Gaussian Mixture Regression model with logistic weights, a penalized maximum likelihood approach
我们希望使用高斯混合回归模型估计条件密度，其中logistic权重和均值取决于协变量。我们的目标是选择这个模型的组件的数量以及其他参数的惩罚最大似然法。我们提供了一个下界的惩罚，成比例的对数项的每个模型的尺寸，确保我们的估计的预言不等式。我们的理论分析得到了一些数值实验的支持。
2013-04-09 math.ST stat.TH
MAP model selection in Gaussian regression
我们考虑高斯线性回归中的贝叶斯模型选择方法，其中预测变量的数量可能远大于观测值的数量。从频率论的角度来看，所提出的方法导致惩罚最小二乘估计与模型大小的先验相关的复杂性惩罚。我们调查的最优性性质的估计。我们建立了甲骨文不等式，并指定条件的先验，这意味着它的渐近极小极大性在很大范围内的稀疏和密集的设置为“近正交”和“多重共线”的设计。
2010-09-13 math.ST stat.TH
Interpolation error of misspecified Gaussian process regression
插值误差是回归模型在感兴趣的域上的平方误差的积分。本文研究了高斯过程回归中的插值误差：所用的协方差函数与真实的协方差函数不同。我们推导出一个无限网格实验设计的插值误差。特别是，我们表明，对于Matern 1/2协方差函数的参数估计差，只有轻微影响插值的质量。然后，我们进行数值实验，考虑最常见的协方差函数，包括其他Matern和平方指数协方差函数的误设定。对它们来说，参数估计的质量影响插值误差。
2018-03-26 math.ST stat.TH
Optimal recovery and uncertainty quantification for distributed Gaussian process regression
高斯过程（GP）被广泛用于非参数回归的概率建模和推断。然而，它们的计算复杂性与样本量成比例，使得它们对于大数据集不可行。为了加快计算速度，在文献中提出了各种分布式方法。然而，这些方法的理论基础有限。在我们的工作中，我们得到频率论的理论保证和限制的范围内的分布式方法一般GP先验的非参数回归模型，恢复和不确定性量化。作为具体的例子，我们考虑多项式和指数衰减特征值的协方差核。我们证明了实际的性能的研究方法在数值研究中使用合成数据集。
2022-05-10 math.ST stat.TH
Adaptive model selection method for a conditionally Gaussian semimartingale regression in continuous time
研究了具有条件高斯分布的一般平方可积〔的〕半鞅的相依噪声的连续时间回归模型中周期函数的稳健自适应有效估计问题。这种噪声的一个例子是非高斯的Ornstein-Uhlenbeck-Levy过程。提出了一种基于改进加权最小二乘估计的自适应模型选择方法。在一定的噪声分布条件下，证明了鲁棒风险的sharp oracle不等式，建立了模型选择过程的鲁棒有效性。给出了数值分析结果。
2018-11-11 math.ST stat.TH
An \ell_1-oracle inequality for the Lasso in finite mixture of multivariate Gaussian regression models
考虑高维数据的多元有限混合高斯回归模型，其中协变量的数量和响应的大小可能远大于样本量。在Kullback-Leibler损失下，给出了Lasso估计满足的一个$\ell_1$ -oracle不等式.这个结果是Meynet在\cite{Meynet}中建立的$\ell_1$ -oracle不等式在多元情形下的推广.我们专注于Lasso的$\ell_1$ -正则化属性，而不是变量选择过程，因为它是在\cite{Stadler}的Städler中完成的。
2014-10-17 math.ST stat.TH
Gaussian Regularized Sliced Inverse Regression
切片逆回归（SIR）是高维回归问题降维的一种有效方法。然而，原始方法需要反演预测因子的协方差阵。如果这些预测因子之间存在共线性或与维度相比样本量较小，则无法进行反演，必须使用正则化技术。我们的方法是基于R. D.库克在那里，它表明，SIR轴可以解释为逆回归问题的解决方案。本文对逆回归问题的未知参数引入高斯先验分布，以正则化其估计。我们表明，一些现有的SIR正则化可以进入我们的框架，这使得全球了解这些方法。提出了三个新的先验导致新的正则化的SIR方法。提供了模拟数据的比较。
2011-03-31 math.ST stat.TH
Uncertainty quantification for sparse spectral variational approximations in Gaussian process regression
本文分析以谱特征为诱导变量的稀疏变分高斯过程回归，给出可信集频率学派覆盖保证、局限及达到极小极大后验收缩率所需诱导变量数的充要下界，并用数值实验验证更广泛方法中的类似现象。
2023-09-28 math.ST stat.TH
Regularity dependence of the rate of convergence of the learning curve for Gaussian process regression
本文讨论了高斯过程回归框架中学习曲线的收敛速度。学习曲线描述了用于回归的高斯过程的平均泛化误差。更具体地说，它在本文中被定义为输入参数空间上的均方误差相对于输入参数的概率测度的积分。主要结果是证明了一个定理，给出了一个大类的内核和任何尺寸时，观测的数量是大的函数的均方误差。从这个结果，我们可以推出推广误差的渐近行为。所提出的证明推广了以前的那些仅限于更具体的内核或小尺寸（一个或两个）。研究结果可用于建立资源分配的最优策略。该策略已成功应用于核安全问题。
2013-01-10 math.ST stat.TH
Contraction rates for sparse variational approximations in Gaussian process regression
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Bocconi University（博科尼大学）
本文研究了高斯过程回归中稀疏变分近似的收缩速率，通过诱导变量方法推导出收缩速率的充分条件，并展示了三种协方差核下实现最优收缩速率的实验结果。
2022-03-30 math.ST stat.TH
Asymptotic equivalence of non-parametric regression with spherical regressors and Gaussian white noise
Universität Bayreuth（拜罗伊特大学）
该研究证明了球形t-设计与随机均匀设计在非参数回归中渐近等价于高斯白噪声实验，同时确定了光滑性假设的尖锐性。
2026-08-25 math.ST stat.TH
Adaptive Lasso for High Dimensional Regression and Gaussian Graphical Modeling
我们证明了两阶段自适应Lasso过程（Zou，2006）对于线性和高斯图模型中的高维模型选择是一致的。我们的一致性条件比以前的工作中所完成的条件覆盖了更一般的情况：我们证明了限制特征值条件（Bickel等人，2008）对于稀疏结构估计也是足够的。
2009-03-13 math.ST stat.ML stat.TH
Exact Inference for Gaussian Process Regression in case of Big Data with the Cartesian Product Structure
近似算法在许多工程问题中有着广泛的应用。为了获得近似的数据集，经常使用析因实验设计。在这种情况下，数据集的大小可能非常大。因此，最流行的近似算法之一-高斯过程回归-由于其计算复杂性而几乎不能应用。本文提出了析因试验设计下高斯过程回归的一种新方法。它允许有效地计算精确的推理和处理大型多维数据集。该算法提供了快速和准确的近似，也处理各向异性数据。
2014-07-03 math.ST stat.ME stat.TH
Scalar-on-Image Regression via the Soft-Thresholded Gaussian Process
这项工作的重点是标量图像回归的空间变量选择。提出了一类新的贝叶斯非参数模型--软阈值高斯过程，并给出了有效的后验计算算法。从理论上讲，软阈值高斯过程提供了大量的空间变化的系数，享受分段平滑，稀疏性和连续性，表征成像数据的重要特征的先验支持。此外，在一些温和的正则条件下，软阈值高斯过程导致后验一致性的参数估计和变量选择的标量图像回归，即使当真正的预测的数量是大于样本量。所提出的方法是通过模拟说明，与现有的替代品的数值比较，并施加到脑电图（EEG）研究酒精中毒。
2016-04-12 math.ST stat.ME stat.TH
Identifiability of Covariance Kernels in the Gaussian Process Regression Model
高斯过程回归（GPR）模型是一种流行的非参数回归模型。在探地雷达中，回归函数的特征，如不同程度的平滑性和周期性，通过组合各种协方差核来建模，这些协方差核被认为是对某些效应的建模。协方差核具有通过EM算法或马尔可夫链蒙特卡罗估计的未知参数。估计的参数是推断回归函数特征的关键，但这些参数的可辨识性尚未得到研究。本文证明了两种径向基混合核探地雷达和径向基与周期混合核探地雷达中协方差核参数的可辨识性。我们还提供了一些例子，在这种混合内核GPR的不可识别的情况下。
2021-11-18 math.ST stat.ME stat.TH
Convergence of Gaussian Process Regression with Estimated Hyper-parameters and Applications in Bayesian Inverse Problems
本文研究高斯过程回归的收敛性。特别关注的是分层高斯过程回归，其中出现在高斯过程仿真器的均值和协方差结构中的超参数是先验未知的，并且是从数据中学习的，以及后验均值和协方差。我们在经验贝叶斯的框架下工作，其中使用数据计算超参数的点估计，然后在后验更新之前在标准高斯过程中使用。我们提供了一个收敛性分析，（i）适用于任何要仿真的连续函数$f$;（ii）表明高斯过程回归的收敛性不受从数据中额外学习超参数的影响，并且在广泛的场景中得到保证。由于这项工作的主要动机是使用高斯过程回归近似的数据似然贝叶斯逆问题，我们提供了一个约束的贝叶斯后验分布在这种情况下引入的错误。
2020-07-17 cs.NA math.NA math.ST
Gaussian Process Regression and Classification under Mathematical Constraints with Learning Guarantees
Harvard University（哈佛大学）
我们引入了约束高斯过程（CGP），这是一种用于随机函数的高斯过程模型，可以轻松地放置数学约束（例如，非负性、单调性等）。CGP具有封闭形式的密度函数（PDF），其回归和分类的后验分布也是具有封闭形式表达式的CGP。此外，我们表明，CGP固有的高斯过程的最佳理论属性，例如后验收缩率，由于事实上，CGP是一个高斯过程，具有更有效的模型空间。
2019-04-21 cs.LG math.ST stat.ME
On the inability of Gaussian process regression to optimally learn compositional functions
University of Oxford（牛津大学）；Imperial College London（帝国理工学院）；University of Twente（特文特大学）
我们严格证明，如果目标函数具有组合结构，则深度高斯过程先验可以优于高斯过程先验。为此，我们研究了连续回归模型中高斯过程回归后验收缩率的信息论下界。我们表明，如果真函数是一个广义的加性函数，然后后基于任何均值为零的高斯过程只能恢复真理的速度是严格慢于极大极小率的一个因素，是多项式次优的样本量$n$。
2022-09-27 cs.LG math.ST stat.ML
Adaptive sparse variational approximations for Gaussian process regression
本文针对非参数回归模型，提出基于变分贝叶斯的超参数选择理论保证，通过构建分层贝叶斯过程的变分近似推导出后验收缩率上界，并在多种高斯过程先验中实现最优收缩率，同时通过合成与真实数据集验证了理论。
2025-04-04 math.ST stat.ML stat.TH
Distribution-on-Distribution Regression with Wasserstein Metric: Multivariate Gaussian Case
针对多元高斯分布间的回归问题，提出基于Wasserstein度量的线性回归模型，利用最优传输解析解简化实现，并在模拟和天气数据中验证了优越性。
2024-02-08 math.ST stat.ME stat.TH
Variable Selection Consistency of Gaussian Process Regression
贝叶斯非参数回归下的重标高斯过程先验提供了平滑自适应函数估计与近极小极大最优差错率。这种方法的分层扩展，配备了随机变量选择，也适应于未知的内在尺寸的稀疏真正的回归函数。但目前还不清楚这种扩展是否提供了变量选择的一致性，即，如果重要变量的真实子集可以从数据中一致地学习。它在这里示出，变量的一致性确实可以实现与这样的模型，至少当真正的回归函数具有有限的平滑度，以引起一个多项式更大的惩罚列入假阳性预测。我们的结果涵盖了高维渐近设置的预测维度是允许增长的样本量。证明利用施瓦茨理论建立错误选择的后验概率渐近消失。一个必要的和具有挑战性的技术发展涉及提供尖锐的上限和下界小球概率在所有重新缩放水平的高斯过程之前，一个结果，可能是独立的利益。
2020-12-12 math.ST stat.ME stat.TH
Invariances of random fields paths, with applications in Gaussian Process Regression
本文研究了中心随机场的路径不变性，它可以通过协方差来控制。一个结果，涉及复合算子在二阶设置，我们表明，各种路径属性，包括加性归结为协方差核的不变性。这些结果被扩展到更广泛的一类运营商在高斯的情况下，通过Loève等距。几个协方差驱动的路径不变性的说明，包括对称路径，中心路径，谐波路径，或稀疏路径的字段。所提出的方法提供了一些有前途的结果和前景的高斯过程回归。
2013-08-06 math.PR math.ST stat.ME
Gaussian Process Regression constrained by Boundary Value Problems
Sandia National Laboratories（桑迪亚国家实验室）
我们开发了一个框架，高斯过程回归约束的边值问题。该框架可以应用于推断一个适定的边值问题的解决方案与一个已知的二阶微分算子和边界条件，但只有分散的观测源项。在回归中也可以使用解的分散观测值。该框架结合了协同克里金与高斯过程的线性变换，并使用了由边界值问题的特征函数中的谱展开给出的核。因此，它受益于协方差矩阵的降秩属性。我们证明，所得到的框架产生更准确和稳定的解决方案的推理相比，物理知情的高斯过程回归没有边界条件的约束。
2020-12-22 cs.LG cs.NA math.NA
Gaussian Process Regression under Computational and Epistemic Misspecification
本文提出统一理论框架，分析低秩、协方差稀疏及精度稀疏等核近似在高斯过程回归中的插值误差，并兼顾核参数的认知误设。
2024-10-03 cs.NA math.NA math.ST
A Survey of Constrained Gaussian Process Regression: Approaches and Implementation Challenges
Sandia National Laboratories（桑迪亚国家实验室）
高斯过程回归是一种流行的贝叶斯框架，用于昂贵数据源的替代建模。作为科学机器学习更广泛努力的一部分，许多最近的工作已经在高斯过程回归中纳入了物理约束或其他先验信息，以补充有限的数据并规范模型的行为。我们提供了一个概述和调查的几类高斯过程的约束，包括积极性或边界约束，单调性和凸性约束，微分方程约束提供的线性偏微分方程，边界条件约束。我们比较了每种方法背后的策略以及实施中的差异，最后讨论了限制带来的计算挑战。
2021-01-06 cs.LG math.ST stat.ML
Frequentist coverage and sup-norm convergence rate in Gaussian process regression
高斯过程（GP）回归是一种强大的插值技术，因为它在捕获非线性方面具有灵活性。在本文中，我们提供了一个一般的框架，了解点式和同时贝叶斯可信集GP回归的频率覆盖。作为中间结果，我们在随机设计GP回归中得到了上确界范数下的Bernstein von-Mises型结果。将高斯过程的后验分布的均值协方差函数确定为正则化的$M$ -估计，证明了后验均值函数的抽样分布和中心后验分布可以分别用两个总体水平的GP来近似.通过建立两个GP之间的比较不等式，给出了回归函数的贝叶斯逐点可信区间和同时可信带的频率覆盖概率的精确刻画.我们的研究结果表明，基于GP回归的推断往往是保守的，当先验是欠平滑的，由此产生的可信区间和波段具有最小最大最优的大小，其频率覆盖收敛到一个非退化值之间的标称水平和一个。作为我们理论的一个副产品，我们证明了GP回归也产生了相对于上确界范数的最小最大最优后验收缩率，这为GP回归中的最优上确界范数收缩率的长期存在的问题提供了积极的证据。
2017-08-16 math.ST stat.CO stat.ML
Introduction To Gaussian Process Regression In Bayesian Inverse Problems, With New ResultsOn Experimental Design For Weighted Error Measures
现代应用中出现的贝叶斯后验分布，包括层析成像和地下水流中偏微分方程模型中的逆问题，由于评估数据可能性的计算成本很大，因此在计算上通常是棘手的。为了缓解这个问题，我们考虑使用高斯过程回归来建立一个代理模型的可能性，从而在近似的后验分布，是服从于实际计算。这项工作作为一个介绍高斯过程回归，特别是在建立代理模型的背景下，逆问题，并提出了新的见解到一个合适的选择训练点。我们发现，真实的和近似的后验分布之间的误差可以有界的真实和近似的可能性之间的误差，测量在$L^2$ -范数加权的真实后验，并有效地界定真实和近似的可能性之间的误差，在这个范数建议选择训练点的高斯过程代理模型的基础上的真实后验。
2023-02-09 cs.NA math.NA math.ST
