Batch-sequential design and heteroskedastic surrogate modeling for delta smelt conservation
三角洲胡瓜鱼是旧金山河口的一种濒危鱼类，在过去的30年里，它的总体数量有所下降。研究人员开发了一个随机的，基于代理的模拟器来虚拟化系统，目的是了解自然和人为因素的相对贡献，这些因素被认为在它们的下降中发挥了作用。然而，输入配置空间是高维的，运行模拟器是耗时的，并且其噪声输出在均值和方差方面都是非线性变化的。获得足够的运行来有效地学习输入-输出动态需要灵活的建模策略和并行超级计算机评估。异方差高斯过程（HetGP）代理建模的最新进展有所帮助，但很少有人知道如何适当地计划高度分布式模拟器评估的实验。我们提出了一个批量顺序设计方案，推广一次一个基于方差的主动学习HetGP代理，作为一种手段，保持多核集群节点充分参与昂贵的运行。我们的采集策略是精心设计的，有利于选择重复，提高统计和计算效率时，训练代理隔离信号在高噪声区域。在开始大规模熔炼模拟活动和下游高保真输入敏感性分析之前，在一系列玩具示例上说明了设计和建模性能。
2021-03-18 stat.AP
Replication or exploration? Sequential design for stochastic simulation experiments
我们调查复制的优点，并提供最优设计（包括复制）的方法，其目标是获得全局精确的仿真噪声的计算机模拟实验。我们首先表明，复制可以是有益的，从设计和计算的角度来看，在高斯过程代理建模的背景下。然后，我们开发了一个基于前瞻的顺序设计方案，该方案可以确定新的运行是否应该在现有的输入位置（即，复制）或在一个新的（探索）。当与新开发的异方差高斯过程模型配对时，我们的动态设计方案有助于学习信号和噪声的关系，这些关系可以在整个输入空间中变化。我们表明，它这样做是有效的，在计算和统计的理由。除了说明性的合成例子，我们展示了两个具有挑战性的真实数据模拟实验，从库存管理和流行病学的性能。
2019-01-25 stat.CO stat.ME
Convergence analysis of data augmentation algorithms in Bayesian lasso models with log-concave likelihoods
School of Statistics University of Minnesota（明尼苏达大学统计学院）
本文研究了贝叶斯拉索模型中数据增强算法的收敛性，推导了通用收敛界并应用于三种具体模型，给出了不同模型的混合时间复杂度。
2025-12-23 math.ST stat.TH
Practical Hilbert space approximate Bayesian Gaussian processes for probabilistic programming
高斯过程是随机函数的强有力的非参数概率模型。然而，直接实现带来了计算上难以处理的复杂性，当观测的数量很大时，特别是当用诸如马尔可夫链蒙特卡罗的完全贝叶斯方法估计时。本文主要研究了一种低秩近似贝叶斯高斯过程，该过程基于对平稳协方差函数的Laplace特征函数的基函数近似。本文的主要贡献是详细的性能分析，并为如何选择基函数的数量和边界因子的实用建议。直观的可视化和建议，使用户更容易提高近似精度和计算性能。我们还提出了诊断检查的基础函数和边界因子的数量是足够的数据。该方法是简单的，表现出一个有吸引力的计算复杂性，由于其线性结构，它是很容易实现的概率规划框架。几个说明性的例子，在概率编程语言斯坦的方法的性能和适用性的基础斯坦模型代码一起。
2022-03-22 stat.CO stat.ME
Mixtures of Gaussian process experts based on kernel stick-breaking processes
the University of Melbourne（墨尔本大学）
提出基于核stick-breaking过程的高斯过程专家混合模型，改进门控函数，提升预测性能，并用切片采样实现后验计算，在六个数据集上验证效果。
2023-05-05 cs.LG stat.ML
Two-Point Dependent Wild Bootstrap for Weakly Dependent Estimating Equations
University of Tokyo（东京大学）；University of York（约克大学）；Tohoku University（东北大学）
本文提出一种两点依赖野生自助法，通过分离两点分布与序列相依设定，实现弱相依估计方程的有效推断，并在GMM与回归中验证其有限样本优势。
2026-10-23 econ.EM stat.ME
A new Bayesian two-sample t-test for effect size estimation under uncertainty based on a two-component Gaussian mixture with known allocations and the region of practical equivalence
测试治疗组和对照组之间的差异是生物医学研究中的常见做法，如随机对照试验（RCT）。标准的双样本t检验依赖于通过p值进行的原假设显著性检验（NHST），其具有若干缺点。贝叶斯替代方案最近使用贝叶斯因子引入，贝叶斯因子有其自身的局限性。本文介绍了当前贝叶斯双样本t检验的替代方法，将基础模型解释为双组分高斯混合模型，其中效应量是临床研究中最相关的感兴趣的量。与p值或贝叶斯因子不同，所提出的方法侧重于不确定性下的估计，而不是明确的假设检验。因此，通过吉布斯采样器产生效应量的后验，随后用于不确定性下的估计或基于实际等效区域（ROPE）的明确假设检验。最后通过实例、理论结果和仿真研究验证了该方法的有效性，并在R软件包bayest中进行了检验。
2020-05-15 stat.ME
Scalable Bayesian dynamic covariance modeling with variational Wishart and inverse Wishart processes
我们实现了基于梯度的变分推断例程Wishart和逆Wishart过程，我们适用于贝叶斯模型的动态，异方差协方差阵的多变量时间序列。Wishart过程和逆Wishart过程由i.i.d.高斯过程，现有的变分推断算法，形成我们的方法的基础。这些方法很容易实现为一个黑盒和规模有利的长度的时间序列，但是，他们失败的情况下，Wishart过程，一个问题，我们解决了一个简单的修改成一个加性白噪声参数化的模型。这种修改也是实现构造的因子化变体的关键，允许推断额外扩展到高维协方差阵。通过实验，我们证明了一些（但不是所有）模型变量在预测金融工具收益率的协方差时优于多变量GARCH。
2019-11-04 cs.LG stat.ML
Batched Energy-Entropy acquisition for Bayesian Optimization
Novo Nordisk A/S（诺和诺德公司）；University of Copenhagen（哥本哈根大学）
针对批量贝叶斯优化中高维采集函数难以处理的问题，提出受统计物理启发、可原生处理批次并控制探索-利用权衡的BEEBO采集函数，在异方差黑盒问题上表现优异。
2024-10-11 cs.LG stat.ML
Practical and Rigorous Uncertainty Bounds for Gaussian Process Regression
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Stuttgart（斯图加特大学）；RWTH Aachen University（亚琛工业大学）
针对高斯过程回归中频率学派不确定性界过于保守的问题，本文提出了一种可显式计算、严格且实用的新型不确定性界，并证明其在模型误设下仅优雅退化，通过数值示例验证了其在基于学习的控制中的有效性。
2023-08-08 cs.LG cs.SY eess.SY
Effect Size Estimation for Duration Recommendation in Online Experiments: Leveraging Hierarchical Models and Objective Utility Approaches
Amazon.com Inc（亚马逊公司）
针对在线实验中效应量假设（AES）选择依赖领域知识难以自动化的问题，提出基于三层高斯混合模型和效用理论的两种数据驱动方法，实现更高效的实验持续时间推荐。
2024-04-17 cs.LG stat.ML
Understanding Probabilistic Sparse Gaussian Process Approximations
良好的稀疏近似对于高斯过程中的实际推理是必不可少的，因为精确方法的计算成本对于大型数据集是过高的。完全独立训练条件（FITC）和变分自由能（VFE）近似是最近流行的两种方法。尽管表面上相似，但这些近似具有令人惊讶的不同理论性质，并且在实践中表现不同。本文通过分析和实例对这两种回归方法进行了深入的研究，并得出了指导实际应用的结论。
2017-05-30 stat.ML
Practical Bayesian Optimization with Threshold-Guided Marginal Likelihood Maximization
Pohang University of Science and Technology（浦项科技大学）；BARO AI
我们提出了一个实用的贝叶斯优化方法，使用高斯过程回归，其边际似然最大化的模型选择步骤的数量是由一个预先定义的阈值。由于贝叶斯优化在寻找高斯过程回归的最佳自由参数时消耗了很大一部分执行时间，我们简单而直接的方法能够减轻时间复杂度并加快整个贝叶斯优化过程。实验结果表明，该方法在大多数情况下都能有效地减少执行时间，且优化质量损失较小。
2020-10-16 cs.LG stat.ML
SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives
ETH Zürich（苏黎世联邦理工学院）；Max Planck ETH Center for Learning Systems（马克斯·普朗克-苏黎世联邦理工学院学习系统中心）；Max Planck Institute for Intelligent Systems, Tübingen（图宾根马克斯·普朗克智能系统研究所）
高斯过程是一种重要的回归工具，具有良好的分析特性，可以直接积分导数观测值。然而，普通GP方法在观测量方面是立方尺度的。在这项工作中，我们提出了一种新的方法来缩放GP回归与导数的基础上正交傅立叶功能。然后，我们证明了确定性，非渐近和指数快速衰减的误差界，适用于两个近似的内核以及近似后。为了进一步说明我们的方法的实用性，我们将其应用到ODIN，最近开发的算法ODE参数推断。在广泛的实验部分，所有的结果进行了经验验证，证明了这种方法的速度，准确性和实用性。
2020-03-05 cs.LG math.DS stat.ML
Learning of Gaussian Processes in Distributed and Communication Limited Systems
Sharif University of Technology（谢里夫理工大学）
在分布式和通信受限的系统中，寻找性能最优的统计模型学习算法是非常重要的。为了表征最佳策略，我们将分布式系统中高斯过程（GP）的学习作为一个关键例子。我们首先解决一个非常基本的问题：需要多少比特来估计分布式机器上高斯向量的内积？利用信息论界，我们得到了一个最优解的问题，这是基于矢量量化。两个次优的和更实用的计划也被提出作为替代的矢量量化方案。特别是，它示出的一个实际的计划，这是所谓的每符号量化的性能是非常接近的最佳之一。方案提供的内积计算纳入我们提出的分布式学习方法的全球定位系统。实验结果表明，在我们的通信方案中，每个符号花费很少的比特，我们提出的方法优于以前的零速率分布式GP学习方案，如贝叶斯委员会模型（贝叶斯委员会模型）和专家产品（PoE）。
2017-05-07 cs.IT cs.LG math.IT
Gaussian Process Random Fields
University of California, Berkeley（加州大学伯克利分校）
高斯过程在监督和无监督机器学习任务中都取得了成功，但其计算复杂性限制了实际应用。我们介绍了一种新的近似大规模高斯过程，高斯过程随机场（GPRF），其中本地GP耦合通过成对的潜力。GPRF似然是对完整GP边际似然的简单、易处理且可并行化的近似，能够在大型数据集上进行潜变量建模和超参数选择。我们证明了它的有效性合成的空间数据，以及在现实世界中的应用地震事件定位。
2015-10-31 cs.LG stat.ML
Active Learning of Linear Embeddings for Gaussian Processes
University of Bonn（波恩大学）；University of Oxford（牛津大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
提出了一种主动学习方法，用于发现高维高斯过程（GP）任务中的低维结构。这些问题日益频繁和重要，但迄今为止已造成严重的实际困难。我们进一步介绍了一种新的技术，近似边缘化GP超参数，产生边际预测超参数错误指定的鲁棒性。我们的方法提供了一个有效的手段，执行GP回归，正交，或贝叶斯优化在高维空间。
2013-10-24 cs.LG stat.ML
Time-varying Gaussian Process Bandit Optimization with Non-constant Evaluation Time
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）
高斯过程强盗是一个问题，我们要找到一个最大化的黑盒函数与最小数量的功能评估。如果黑盒函数随时间变化，则时变贝叶斯优化是一个很有前途的框架。然而，当前方法的缺点是假设每个观察的评估时间是恒定的，这对于许多实际应用来说可能是不现实的，例如，推荐系统和环境监测。其结果是，当前的方法的性能可以降低时，这个假设被违反。为了解决这个问题，我们提出了一种新的时变贝叶斯优化算法，可以有效地处理非恒定的评估时间。此外，我们从理论上建立了我们的算法的遗憾界。我们的界限阐明了评估时间序列的模式可以极大地影响问题的难度。我们也提供实验结果来验证所提出的方法的实际效果。
2020-03-11 cs.LG stat.ML
Practical considerations for Gaussian Process modeling for causal inference quasi-experimental studies with panel data
本文提出用高斯过程建模面板数据准实验中的时空混杂，证明其推广了合成控制等方法，并通过模拟与飓风死亡率数据验证了其估计反事实和量化因果效应的有效性。
2025-07-07 stat.AP stat.ME
Evaluating Gaussian processes for sparse irregular spatio-temporal data
介绍了一种评价非规则采样稀疏时间序列的高斯过程回归模型（GPR）性能的实用方法。该方法需要使用细尺度预测来预测GPR中使用的未来观测的二次自回归模型的构建。我们建立了不同的GPR模型的Ornstein-Uhlenbeck和分数过程的模拟玩具数据具有不同的稀疏性水平，以评估该方法的实用性。
2016-11-06 stat.ME
Reasoning with fuzzy and uncertain evidence using epistemic random fuzzy sets: general framework and practical models
Université de technologie de Compiègne（贡比涅技术大学）；CNRS（法国国家科学研究中心）；Institut universitaire de France（法兰西大学研究院）
提出认知随机模糊集通用理论以统一 Dempster-Shafer 理论与可能性理论，并引入 Gaussian 随机模糊数和向量作为可闭式计算的实用不确定性模型。
2024-05-07 cs.AI stat.ME
On the Optimality of Gaussian Kernel Based Nonparametric Tests against Smooth Alternatives
近年来，通过分布的核嵌入的非参数检验已经取得了大量的实际成功。然而，这些测试的统计特性在很大程度上是未知的，超出了对固定替代品的一致性。为了填补这一空白，我们在这里研究的拟合优度，同质性和独立性测试使用高斯内核，可以说是最流行和成功的此类测试的渐近性质。我们的研究结果提供了理论上的理由，这种常见的做法表明，使用高斯核与适当选择的缩放参数的测试是最小最大的光滑的替代品在所有三个设置。此外，我们的分析还指出了在使用高斯内核时选择发散缩放参数的重要性，并建议在广泛的平滑替代方案中选择数据驱动的缩放参数，以获得最佳的测试，直到迭代对数因子。数值实验也进一步证明了该方法的实用价值。
2019-09-07 math.ST stat.ME stat.ML
