Fast Gaussian Processes under Monotonicity Constraints
Department of Applied Mathematics and Computer Science, Technical University of Denmark（应用数学与计算机科学系，丹麦技术大学）
本文提出基于RLRTO的虚拟点框架，实现单调性约束下高斯过程的高效采样，并改进NUTS方法，在保证预测性能的同时显著提升计算效率。
2025-07-09 cs.LG stat.ME stat.ML
Projection Pursuit Gaussian Process Regression
Texas A&M University（德克萨斯农工大学）
计算机实验的一个主要目标是通过分散的计算重建计算机代码给出的函数。传统的各向同性高斯过程模型在输入维数相对较高的情况下，由于数据点的有限性，存在维数灾难问题。具有加性相关函数的高斯过程模型可扩展到维度，但它们更具限制性，因为它们仅适用于加性函数。在这项工作中，我们考虑一个投影寻踪模型，其中的非参数部分是由一个加性高斯过程回归。我们选择的加性函数的维数高于原始输入维数，并称之为“维数扩展”。我们表明，维数扩展可以帮助近似更复杂的功能。提出了一种基于极大似然估计的梯度下降模型训练算法。仿真研究表明，该方法优于传统的高斯过程模型。补充材料可在网上查阅。
2022-08-30 cs.LG stat.ML
Gaussian Process Modulated Cox Processes under Linear Inequality Constraints
Mines Saint-Étienne（圣艾蒂安矿业学院）
高斯过程（GP）调制的Cox过程被广泛用于点模式的建模。现有的方法需要无约束GP和正强度函数之间的映射（链接函数）。这通常会产生不具有封闭形式或仅限于特定协方差函数的解。我们引入了一种新的有限近似GP调制的Cox过程的正性条件可以直接施加在GP上，没有限制的协方差函数。我们的方法还可以确保其他类型的不等式约束（例如单调性，凸性），从而产生更通用的模型，可用于其他类型的点过程（例如更新过程）。我们证明了合成和真实世界的数据，我们的框架准确地推断强度函数。当单调性是过程的一个特征时，我们将其包括在推理中的能力会改善结果。
2019-02-28 cs.LG stat.ML
Automatic monotonicity detection for Gaussian Processes
提出了一种新的方法，用于自动检测单调的输入输出关系的数据使用高斯过程（GP）模型与虚拟导数观测。我们在合成数据集和真实数据集上的结果表明，该方法可以高精度地从输入空间中检测单调方向。我们希望该方法特别适用于提高模型的可解释性，并提高回归和分类任务的准确性，特别是在数据边缘附近或外推时。
2016-10-18 stat.ME
An Additive Model View to Sparse Gaussian Process Classifier Design
Yahoo! Labs（雅虎实验室）；Indian Institute of Science（印度科学学院）
我们考虑的问题，设计一个稀疏高斯过程分类器（SGPC），推广良好。将SGPC设计看作是构建一个类似于boosting的加性模型，我们提出了一种高效的SGPC设计方法来执行预测损失函数的逐阶段优化。我们介绍了两个关键组件的新方法，即，场地参数估计和基向量选择。所提出的基于自适应采样的基向量选择方法有助于以降低的计算成本实现提高的泛化性能。该方法也可与其它场地参数估计方法结合使用。它具有与众所周知的信息向量机相似的计算和存储复杂性，适用于大型数据集。超参数可以通过优化预测损失函数来确定。实验结果表明，所提出的基向量选择方法在几个基准数据集上具有更好的泛化性能，特别是对于相对较小的基向量集大小或困难的数据集。
2012-06-26 cs.LG stat.ML
Randomly Projected Additive Gaussian Processes for Regression
Cornell University（康奈尔大学）；New York University（纽约大学）
高斯过程（GP）提供了函数上的灵活分布，其中归纳偏差由内核控制。然而，在许多应用中，高斯过程甚至可以与中等的输入维数作斗争。学习低维投影可以帮助减轻这种维数灾难，但会引入许多可训练的超参数，这可能很麻烦，特别是在小数据区域。我们使用核的加性和进行GP回归，其中每个核对其输入的不同随机投影进行操作。令人惊讶的是，我们发现，随着随机投影数量的增加，这种方法的预测性能在很大范围的数据集上迅速收敛到对原始全维输入进行操作的内核的性能，即使我们投影到单个维度。因此，许多问题可以显着减少到一维输入空间，而无需学习变换。我们证明了这种收敛性及其速度，并提出了一种确定性的方法，收敛速度比纯粹的随机预测。此外，我们证明了我们的方法可以实现更快的推理和提高预测精度的高维输入相比，在原始输入空间的内核。
2019-12-30 cs.LG stat.ML
Representing Additive Gaussian Processes by Sparse Matrices
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Fudan University（复旦大学）
本研究证明加性Matérn高斯过程的后验均值、方差、对数似然及梯度均可由稀疏矩阵/向量表示，将相关计算复杂度降至O(n log n)，并应用于贝叶斯优化大幅降低采集函数等的计算复杂度。
2023-04-29 cs.LG stat.ML
Scalable Gaussian Process Classification with Additive Noise for Various Likelihoods
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；Nanjing University of Science and Technology（南京理工大学）
高斯过程分类（GPC）提供了一个灵活而强大的描述函数空间上的联合分布的统计框架。然而，常规GPC遭受（i）由于完整的内核矩阵而导致的大数据的可扩展性差，以及（ii）由于非高斯似然性而导致的难以处理的推断。因此，已经提出了各种可扩展的GPC，通过（i）稀疏近似建立在一个小的诱导集，以减少时间复杂度;和（ii）近似推理，以获得分析证据下限（ELBO）。然而，这些配备分析ELBO的可扩展GPC受限于特定的可能性或额外的假设。在这项工作中，我们提出了一个统一的框架，可容纳可扩展的GPC使用各种可能性。类似于GP回归（GPR），我们引入加性噪声来增加概率空间（i）GPC与步骤，（多项式）probit和logit似然通过内部变量;特别是，（ii）GPC使用softmax似然通过噪声变量本身。这导致了统一的可扩展GPC与分析ELBO通过使用变分推断。从经验上看，我们的GPC比最先进的可扩展GPC在多达200万个数据点的广泛二进制/多类分类任务中表现出更好的结果。
2019-09-14 cs.LG stat.ML
Scalable GAM using sparse variational Gaussian processes
广义加性模型（GAM）是统计学家感兴趣的一类广泛使用的模型，因为它们提供了一种灵活的方法来设计线性模型之外的可解释数据模型。在这里，我们提出了一个可扩展的和良好校准的贝叶斯治疗的GAM使用高斯过程（GP），并利用最新进展的变分推理。我们使用稀疏GP来表示每个组件，并利用模型的加性结构来有效地表示组件之间的高斯后验耦合。
2018-12-28 cs.LG stat.ML
On the Gaussian process limit of Bayesian Additive Regression Trees
本文推导并计算了精确的BART先验协方差函数，将其无限树极限实现为高斯过程回归，发现通过自然调整超参数可使其与标准BART竞争力相当，从而简化模型构建并避开复杂的MCMC算法。
2025-07-11 cs.LG stat.ML
Additive Covariance Kernels for High-Dimensional Gaussian Process Modeling
高斯过程模型-也称为克里格模型-通常用作昂贵实验的数学近似。然而，当输入的维数增加时，使用经典的协方差核时，构建仿真器所需的观测数变得不切实际。为了避免维数灾难，一种流行的方法是考虑简化模型，如添加剂模型。目前的工作的野心是提供一个洞察协方差内核，非常适合于建立添加剂克里格模型，并描述所得到的模型的一些属性。
2011-11-27 stat.ML
Modelling local and global phenomena with sparse Gaussian processes
Helsinki University of Technology（赫尔辛基工业大学）
最近的许多工作都涉及稀疏近似，以加快高斯过程回归从不利的O（n3）缩放计算时间为O（nm2）。到目前为止，工作集中在模型与一个协方差函数。然而，在许多实际情况下，具有多个协方差函数的加性模型可能表现得更好，因为数据可能包含长和短长度尺度现象。长尺度可以用全局稀疏近似（如完全独立条件（FIC））来捕获，短尺度可以自然地用具有紧支持（CS）的协方差函数来建模。CS协方差函数导致自然稀疏的协方差矩阵，其在计算上比完整的协方差矩阵更便宜。在本文中，我们提出了一个新的稀疏高斯过程模型与两个附加组件：FIC的长尺度和CS协方差函数的短尺度。我们给出了理论和实验结果，并表明在一定条件下，该模型具有相同的计算复杂性的FIC。我们还比较了所提出的模型的模型性能的加性模型近似的完全和部分独立的条件（PIC）。我们使用真实的数据集，并表明我们的模型优于FIC和PIC近似的数据集与两个添加剂的现象。
2012-06-13 cs.LG stat.ML
Sparse additive Gaussian process with soft interactions
加性非参数回归模型为高维变量选择提供了一个有吸引力的工具，当响应和预测变量之间的关系是复杂的。与参数非线性回归模型相比，它们提供了更大的灵活性，并且比非参数回归模型具有更好的可解释性和可扩展性。然而，同时实现稀疏的非参数分量的数量，以及在每个非参数分量内的变量构成了一个严峻的计算挑战。在这篇文章中，我们开发了一种新的贝叶斯加性回归模型，使用硬收缩和软收缩的组合，分别控制添加剂的组件和每个组件内的变量的数量。一个有效的算法来选择重要性变量和估计的相互作用网络。在模拟和真实数据的例子中获得了良好的性能。
2016-07-09 stat.ML
GP-BART: a novel Bayesian additive regression trees approach using Gaussian processes
Maynooth University（梅努斯大学）；Hamilton Institute（汉密尔顿研究所）；Insight Centre for Data Analytics（洞察数据分析中心）
针对标准 BART 缺乏平滑性和显式协方差结构的局限，提出 GP-BART 模型，通过为所有树的终端节点预测假设 Gaussian process 先验进行扩展，在模拟与真实数据中超越传统方法。
2023-09-14 cs.LG stat.ME stat.ML
On Additive Gaussian Processes for Wind Farm Power Prediction
Dynamics Research Group, Department of Mechanical Engineering, The University of Sheffield, Mappin Street, Sheffield, S1 3JD, UK Computational Statistics；Machine Learning Group, Department of Engineering, University of Cambridge, Cambridge, CB3 0FA, UK Vattenfall R\&D, Vattenfall AB, Älvkarleby, Sweden
本文采用加法高斯过程分析风场功率模型，揭示涡轮机和场级功率变化，为风场控制提供依据。
2026-03-18 cs.LG
Additive Kernels for Gaussian Process Modeling
高斯过程（GP）模型通常被用作计算昂贵的实验的数学近似。只要其内核被适当地选择，并且有足够的数据可用于获得模拟器的合理拟合，GP模型可以有益地用于诸如预测、优化或基于蒙特卡罗的不确定性量化之类的任务。然而，当使用经典GP时，随着输入维数的增加，前一个条件变得不切实际。一个流行的替代方法是转向广义可加模型（GAM），依赖于模拟器的响应可以近似地分解为一元函数的总和的假设。如果这样的方法已经成功地应用于近似，它仍然是不完全兼容的GP框架及其通用的应用程序。目前的工作的野心是通过整合内核中的可加性，并提出了一个简约的数值方法，数据驱动的参数估计的加性模型的GP的使用提供了一个洞察。本文的第一部分讨论了与加法过程自然相关的核以及基于这些核的GP模型的性质。第二部分是一个基于松弛的加性核参数估计的数值方法。最后，所提出的方法的效率进行了说明，并与其他方法相比，Sobol的g-函数。
2011-03-21 stat.ML
Neural network with optimal neuron activation functions based on additive Gaussian process regression
School of Materials and Chemical Technology, Tokyo Institute of Technology（东京工业大学材料与化学技术学院）
本文提出用加性 GPR 为每个神经元构造最优且独立的激活函数，并避免非线性参数拟合，在分子势能面任务中于高精度区间优于传统 NN。
2023-01-19 cs.LG cs.NE stat.ML
Gaussian Processes Sampling with Sparse Grids under Additive Schwarz Preconditioner
本文针对高斯过程采样中高维计算难题，提出结合稀疏网格诱导点近似与加性Schwarz预处理器的可扩展采样算法，降低计算复杂度并保证快速收敛，实验验证了其有效性与准确性。
2024-08-01 stat.CO stat.ML
Monotonic Gaussian process for physics-constrained machine learning with materials science applications
Sandia National Laboratories（桑迪亚国家实验室）
物理约束机器学习是物理学领域机器学习的一个重要研究课题。将物理约束纳入机器学习方法的最显著优点之一是，最终模型需要的训练数据显著减少。通过将物理规则纳入机器学习公式本身，预测预计在物理上是合理的。高斯过程（GP）可能是小数据集机器学习中最常见的方法之一。在本文中，我们研究的可能性，约束GP制定与单调性在三个不同的材料数据集，其中使用一个实验和两个计算数据集。单调GP与常规GP进行比较，观察到后验方差显著降低。单调GP在内插机制中是严格单调的，但在外插机制中，随着超出训练数据集，单调效应开始逐渐消失。与常规GP相比，在GP上强加单调性的精度成本很小。单调GP可能在数据稀缺且有噪声的应用中最有用，并且单调性得到强有力的物理证据的支持。
2022-09-06 cond-mat.mtrl-sci cs.LG stat.AP
Gaussian Process Neural Additive Models
Columbia University（哥伦比亚大学）；Capital One（第一资本金融公司）
本文提出高斯过程神经加法模型（GP-NAM），利用随机傅里叶特征实现单层高斯过程，在保持可解释性的同时，以更少参数在表格数据分类与回归任务中达到相当或更优性能。
2024-03-19 cs.AI cs.LG
Additive Multi-Index Gaussian process modeling, with application to multi-physics surrogate modeling of the quark-gluon plasma
Duke University（杜克大学）；Vanderbilt University（范德堡大学）
针对夸克-胶子等离子体高维代理建模训练数据有限、现有模型预测精度差的问题，提出融合多物理先验的加性多指标高斯过程模型，结合带诱导点的变分推断实现高效拟合，性能显著优于现有模型。
2023-06-11 cs.LG hep-ph nucl-th
Preconditioned Additive Gaussian Processes with Fourier Acceleration
Department of Mathematics, Chemnitz University of Technology（开姆尼茨工业大学数学系）；Department of Mathematics, Emory University（埃默里大学数学系）
本文提出利用非等距快速傅里叶变换（NFFT）的无矩阵方法实现核矩阵乘法近线性复杂度，结合加性核方法处理高维问题，并采用预条件策略加速超参数调优，有效提升高斯过程的计算效率与准确性。
2025-04-01 cs.LG cs.NA math.NA
Compositionally-warped additive mixed modeling for a wide variety of non-Gaussian spatial data
随着地理信息系统的发展，非高斯空间数据集变得越来越大，越来越多样化。本研究开发了一个快速灵活的非高斯回归，特别是空间/时空建模的一般框架。开发的模型，被称为成分翘曲的加性混合模型（CAMM），结合了添加剂混合模型（AMM）和成分翘曲的高斯过程建模各种各样的非高斯连续数据，包括空间和其他影响。建议的CAMM的一个具体的优点是，它不需要显式的数据分布假设不同于现有的AMM。蒙特卡罗实验表明，CAMM的估计精度和计算效率的建模非高斯数据，包括厚尾和/或偏态分布。最后，将该模型应用于犯罪数据，以检验回归分析和预测的实证性能。结果表明，CAMM提供了直观合理的系数估计，并在预测精度方面优于AMM。CAMM被证明是一个快速和灵活的模型，有可能涵盖各种非高斯数据建模。所提出的方法是在R包spmoran中实现的。
2021-06-22 stat.ME
Effect Decomposition of Functional-Output Computer Experiments via Orthogonal Additive Gaussian Processes
针对函数输出黑箱计算机实验，本文提出FOAGP模型与正交加性核，实现无分布假设的数据驱动效应分解，并支持全局与局部敏感性分析。
2025-06-15 stat.ME stat.ML
Additive Gaussian Process Regression
加法交互回归最近已被证明提供有吸引力的极大极小误差率超过传统的非参数多元回归在各种各样的设置，包括预测计数的情况下，远远大于样本量和许多预测有重要的影响，可能通过复杂的相互作用的响应。我们提出了一个贝叶斯实现的添加剂交互回归使用添加剂高斯过程（AGP）之前，并开发了一个有效的马尔可夫链采样器，扩展随机搜索变量选择在这种设置。仔细的先验和超参数规范的性能和计算的考虑，开发和关键的创新解决困难，探索联合后验分布在多个子集的高维预测包含向量。该方法提供了最先进的支持和交互恢复，同时在不同的模拟和真实数据集上的预测准确性方面大大优于竞争对手。真实数据研究的结果提供了强有力的证据，加性交互框架是一个有吸引力的建模平台，高维非参数回归。
2014-11-25 stat.CO stat.ME
Causal Discovery with Score Matching on Additive Models with Arbitrary Noise
Università di Genova（热那亚大学）；Istituto Italiano di Tecnologia（意大利技术研究院）；Carnegie Mellon University（卡内基梅隆大学）；Amazon Web Services（亚马逊云科技）
本文分析了高斯噪声假设下因果推断的边反转风险，提出了一种基于任意噪声分布加性非线性模型推断拓扑排序的新方法 NoGAM，在合成数据上实现了最先进的因果发现性能。
2023-04-06 cs.LG stat.ME
An Additive Approximate Gaussian Process Model for Large Spatio-Temporal Data
基于一个大的地面臭氧数据集，我们提出了一个新的计算效率高的加性近似高斯过程。该方法结合了计算复杂度降低方法和可分离的协方差函数，可以灵活地捕捉各种时空相关结构。第一组件能够捕获不可分离的时空变化，而第二组件捕获可分离的变化。基于该模型的分层制定，我们能够利用这两个组件的计算优势，并执行有效的贝叶斯推断。为了证明所提出的方法的推理和计算的好处，我们进行了广泛的模拟研究，假设各种情况下的基本时空协方差结构。所提出的方法也适用于分析大的时空测量地面臭氧在美国东部。
2019-06-07 stat.CO stat.ME
Sparse Additive Gaussian Process Regression
在本文中，我们介绍了一种新的模型高斯过程（GP）回归在完全贝叶斯设置。出于稀疏化，本地化和贝叶斯添加剂建模的想法，我们的模型是建立在一个递归分区（RP）计划。在每个RP分区内，拟合稀疏GP（SGP）回归模型。然后，贝叶斯加法框架将多层分区的SGPs结合起来，通过有效的计算捕获全局趋势和局部细化。该模型解决了拟合全高斯过程回归模型的效率问题以及与单个SGP相关的预测性能问题。我们的方法减轻了伪输入选择的问题，并避免了在现有方法中需要复杂的块间相关性。关键的权衡变成在许多更简单的局部模型组件或更少的复杂全局模型组件之间进行选择，实践者可以合理地调整。实现是通过一个Metropolis-Hasting马尔可夫链蒙特卡洛算法与贝叶斯回拟合。我们将我们的模型与模拟和真实数据集上的流行替代方案进行比较，发现性能具有竞争力，而完全贝叶斯过程可以量化模型的不确定性。
2020-09-03 math.ST stat.TH
Nonparametric Bayesian testing for monotonicity
本文从非参数贝叶斯的角度研究了函数单调性的检验问题。构造了两个新的检验族。第一个使用约束平滑样条，连同一个层次的随机过程之前，明确控制的先验概率的单调性。第二个使用回归样条，连同两个建议的先验的回归系数。有限样本性能的测试，通过模拟，以改善现有的频率论和贝叶斯方法。本文还研究了高斯模型中比较单调与非单调回归函数的贝叶斯因子的渐近性质。我们的结果显着扩展了目前可用的，主要集中在确定参数线性模型的尺寸。
2014-06-01 math.ST stat.ME stat.TH
Monotonic warpings for additive and deep Gaussian processes
Virginia Tech（弗吉尼亚理工大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
本文提出了一种高效的单调高斯过程，用于加性扩展和深度高斯过程中的非平稳替代建模，提升了模型性能。
2025-03-10 stat.CO
Hierarchical additive interaction modelling with Gaussian process prior and its efficient implementation for multidimensional grid data
针对加性高斯过程模型交互结构识别研究不足、计算存储成本高的问题，提出面向多维网格数据的快速分层加性交互GP模型，拓展克罗内克积计算适用范围，经模拟与实际数据验证有效。
2025-10-29 stat.AP stat.CO stat.ME
Gaussian Process Regression and Classification under Mathematical Constraints with Learning Guarantees
Harvard University（哈佛大学）
我们引入了约束高斯过程（CGP），这是一种用于随机函数的高斯过程模型，可以轻松地放置数学约束（例如，非负性、单调性等）。CGP具有封闭形式的密度函数（PDF），其回归和分类的后验分布也是具有封闭形式表达式的CGP。此外，我们表明，CGP固有的高斯过程的最佳理论属性，例如后验收缩率，由于事实上，CGP是一个高斯过程，具有更有效的模型空间。
2019-04-21 cs.LG math.ST stat.ME
Modeling Ride-Sourcing Matching and Pickup Processes based on Additive Gaussian Process Models
匹配和取车流程是网约车服务的核心特征。以往的研究采用了大量的分析模型来描述这两个过程，并获得操作的见解，而模型和数据之间的拟合优度被解雇。为了同时考虑模型和数据之间的适应性以及易于分析的形成，我们提出了一种基于加性高斯过程模型（AGPM）的数据驱动的方法来进行网约车市场建模。该框架基于在中国杭州收集的真实数据进行了测试。我们拟合分析模型、机器学习模型和AGPS，其中匹配或拾取的数量用作输出，空间、时间、需求和供应协变量用作输入。结果表明，AGPS在恢复两个过程的估计精度方面的优势。此外，我们说明了AGPM的建模能力，利用训练模型来设计和估计闲置车辆重新定位策略。
2022-04-29 stat.AP
On the Monotonicity of the Copula Entropy
理解随机实体相互作用的方式在许多科学领域都是关键。这可以从联合分布的完整表征到单个标量汇总统计量。在这项工作中，我们确定了无处不在的香农的互信息措施和捕获实值非高斯分布，即框架的copula的中央工具之间的新关系。具体来说，我们建立了一个单调的关系之间的互信息和copula依赖参数，范围广泛的copula家庭。除了理论上的新颖性，我们的结果产生了高效的代理预期的可能性，这反过来又允许可扩展的模型选择（例如，当学习概率图形模型）。
2016-11-21 math.ST stat.TH
Correlated Bayesian Additive Regression Trees with Gaussian Process for Regression Analysis of Dependent Data
针对相依数据建模的不足，提出CBART-GP模型，通过加性框架结合CBART与高斯过程提取残差依赖结构，并开发两阶段方差分析方法降低计算复杂度，实现准确的协ariate-响应关系恢复与强预测性能。
2025-09-15 stat.ME
Log-Linear Bayesian Additive Regression Trees for Multinomial Logistic and Count Regression Models
本文介绍了对数线性模型的贝叶斯加性回归树（BART），包括多项逻辑斯谛回归和计数回归，其中包含零膨胀和过度离差。BART已被应用于非参数均值回归和二进制分类问题在一系列的设置。然而，现有的应用程序的BART已被限制为高斯“数据”，无论是观察到的或潜在的模型。这主要是因为有效的MCMC算法可用于高斯似然。但是，虽然许多有用的模型是自然铸造的潜在高斯变量，许多其他人不是-包括本文考虑的模型。我们开发了新的数据增强策略，并仔细指定这些新模型的先验分布。像原来的BART先验一样，新的先验分布经过精心构造和校准，在防止过拟合的同时具有灵活性。新的先验和数据增强方案使我们能够在高斯模型的背景之外实现一个有效的MCMC采样器。这些新方法的效用说明了与以前公布的数据集的例子和应用程序。
2019-08-26 stat.ME
Gaussian process emulators for computer experiments with inequality constraints
物理现象在许多领域（科学和工程）中被观察到，并且通常通过耗时的计算机代码进行研究。这些代码使用统计模型进行分析，通常称为仿真器。在许多情况下，物理系统（计算机模型输出）可能已知满足关于一些或所有输入变量的不等式约束。我们的目标是建立一个模型，能够将数据插值和不等式约束到高斯过程仿真器。通过使用功能分解，我们提出了近似的原始高斯过程的有限维高斯过程，使所有的条件模拟满足不等式约束在整个区域。计算条件高斯过程的均值、众数（最大后验概率）和预测区间（不确定性量化）。为了研究所提出的模型的性能，一些条件模拟与不等式约束，如边界，单调性或凸性条件。1.导论.在工程活动中，计算机代码的运行可能是昂贵且耗时的。一种解决方案是使用统计代理来调节某些输入位置（设计点）处的计算机模型输出。高斯过程（GP）仿真器是最受欢迎的选择之一[23]。原因在于GP的属性，即可以计算不确定度量化。此外，它还有几个很好的特性。例如，观察数据的条件GP（线性等式约束）仍然是GP [5]。此外，输出计算机响应的一些不等式约束（例如单调性和凸性）与偏导数有关。在这种情况下，GP的偏导数也是GP。将无穷多个线性不等式约束表示到GP仿真器中，问题变得更加困难。原因是产生的条件进程不是GP。在不等式约束插值的文献中，我们发现了两类方法。第一种是确定性的，基于样条，其优点是在整个输入域中满足不等式约束（参见例如[16]，[24]和…
2016-05-24 math.PR stat.ME
Fast matrix computations for functional additive models
在函数数据分析中，通常会查看一组相关函数：一组学习曲线，一组大脑信号，一组空间图等。表达相关性的一种方法是通过加性模型，其中每个单独的函数$g_{i}\left(x\right)$被假设为围绕某个共享均值$f(x)$的变化。高斯过程提供了一个优雅的方式来构建这样的加性模型，但遭受的计算困难所产生的矩阵运算，需要执行。最近Heersink和Furrer证明了函数可加模型产生的协方差阵具有一种特殊的形式，称为拟Kronecker（QK），其逆矩阵相对容易处理。我们表明，在额外的假设下，两级添加剂模型导致一类矩阵，我们称之为限制准克罗内克，享有许多有趣的属性。特别是，我们制定的矩阵分解，其复杂性的规模只有线性的功能在潜在领域的数量，一个巨大的改进立方缩放的天真的方法。我们描述了如何利用rQK矩阵的属性在潜在高斯模型中进行推理。
2014-02-20 stat.CO
Partially Linear Additive Gaussian Graphical Models
Princeton University（普林斯顿大学）；Charles H. Dyson School of Applied Economics and Management（查尔斯·H·戴森应用经济与管理学院）；University of Chicago（芝加哥大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了一个部分线性加性高斯图模型（PLA-GGM）的估计被观察到的混杂因素扭曲的随机变量之间的关联。模型参数估计使用$L_1$ -正则化最大伪轮廓似然估计（MapPLE），我们证明了$\sqrt{n}$ -稀疏。重要的是，我们的方法避免了参数约束的影响估计的图形模型结构上的混杂因素。从经验上讲，PLA-GGM适用于合成和真实世界的数据集，表现出优越的性能相比，竞争的方法。
2019-06-08 cs.LG stat.ML
An Adaptive EM Accelerator for Unsupervised Learning of Gaussian Mixture Models
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
我们提出了一个安德森加速（AA）计划的自适应期望最大化（EM）算法的无监督学习有限混合模型从多变量数据（Figueiredo和Jain 2002）。该算法能够自主地确定混合组分的最佳数量，并且比其非加速版本更快地收敛到最优解。基于AA的算法的成功源于几个发展，而不是一个单一的突破（如果没有这些，我们的测试表明AA失败的灾难性）。首先，我们使用最近提出的单调性控制算法（Henderson和Varahdan 2019）确保似然函数的单调性（标准EM算法的关键特征），并通过一种新的单调性测试进行增强，开销很小。我们提出了灵活的策略AA保持高斯权重和协方差矩阵的正定性严格，并保存到观察数据集的二阶矩准确。最后，我们采用了一个K-均值聚类算法，使用间隙统计，以避免过度高估初始组件的数量，从而最大限度地提高性能。我们证明了该算法的准确性和效率与几个合成数据集，是已知数量的组件的高斯分布的混合物，以及从粒子在细胞模拟生成的数据集。我们的数值计算结果表明，当混合物组分的确切数量是已知的，并且在几个和多个数量级之间具有组分自适应性时，相对于非加速EM的加速可达60 X。
2020-09-26 cs.LG stat.ML
Learning rates for the risk of kernel based quantile regression estimators in additive models
可加模型在半参数统计中起着重要的作用。本文给出了正则化核方法的学习率。这些学习率比较有利，特别是在高维度的最佳学习率为纯粹的非参数正则化内核为基础的分位数回归使用高斯径向基函数内核的最近的结果，提供了一个加性模型的假设是有效的。另外，通过一个具体例子说明了只依赖于一个变量的高斯函数位于由加性高斯核生成的再生核Hilbert空间中，而不属于由相同方差的多元高斯核生成的再生核Hilbert空间.
2014-05-14 stat.ML
LASSO ISOtone for High Dimensional Additive Isotonic Regression
加性保序回归试图确定多维观测变量与响应之间的关系，其约束条件是估计值是单调递增的单变量分量效应的加性和。在这篇文章中，我们提出了一种新的方法，这种回归称为LASSO Isotone（LISO）。LISO将稀疏线性建模的思想应用于加性保序回归。因此，它是可行的，在许多情况下与高维预测变量，其中选择显着与不显着的变量是必需的。我们提出了一种算法，涉及修改的后拟合算法CPAV。我们给出了一个数值收敛的结果，并通过模拟来检验它的一些性质。我们还提出了一些可能的扩展，以提高性能，并允许计算时，单调性的方向是未知的。
2010-06-15 stat.CO stat.ME stat.ML
Additivity of Information in Multilayer Networks via Additive Gaussian Noise Transforms
Duke University（杜克大学）
多层（或深度）网络是一种强大的概率模型，它基于线性变换的多个阶段，然后是非线性（可能是随机）函数。通常，线性变换由矩阵定义，非线性函数由信息通道定义。这些模型已经获得了很大的普及，由于他们的能力，复杂的概率关系，在各种各样的推理问题的特点。本文的贡献是一种新的方法，用于分析的基本限制的统计推断的设置模型是已知的。我们的方法的有效性可以在许多设置中建立，并被证明更普遍地持有。贯穿始终的一个关键假设是，矩阵是从正交不变分布中随机抽取的。我们的方法产生明确的公式1）的互信息; 2）最小均方误差（MMSE）; 3）的存在和位置的某些相变相对于问题的参数;和4）的稳定点的状态演化的近似消息传递算法。当应用到具有多元高斯通道的模型的特殊情况时，我们的方法是严格的，并且与随机矩阵的自由概率理论有密切的联系。当应用到非高斯信道的一般情况下，我们的方法提供了一个简单的替代副本方法从统计物理。一个关键的观察结果是，当在某个变换域中观察时，模型中各个分量（即矩阵和通道）的组合效应是相加的。
2017-10-12 cs.IT cs.LG math.IT
