Structured Bayesian Gaussian process latent variable model
University of Notre Dame（圣母大学）
我们引入了一个贝叶斯高斯过程潜变量模型，该模型使用参数化的空间内核显式捕获数据中的空间相关性，并利用模型协方差阵上的结构利用代数来实现计算的易处理性。推理是通过一个类似的计算复杂性的传统贝叶斯GP-LVM的折叠变分界听话。通过优化“部分折叠”边界来实现对部分观察到的测试用例的推断。通过使用动态GP潜变量先验，使得能够对高维时间序列系统进行建模。插补图像上的缺失数据和缺失视频帧的超分辨率插补的例子证明了该模型。
2018-05-22 cs.LG stat.ML
Tractable Approximate Gaussian Inference for Bayesian Neural Networks
Polytechnique Montréal（蒙特利尔理工学院）
本文提出了一种在贝叶斯神经网络中进行易于处理的近似高斯推理（TAGI）的分析方法。该方法能够对权重和偏差的后验均值向量和对角协方差矩阵进行分析高斯推断。所提出的方法相对于参数$n$的数量具有$\mathcal{O}(n)$的计算复杂性，并且对回归和分类基准进行的测试证实，对于相同的网络架构，它与依赖于梯度反向传播的现有方法的性能相匹配。
2021-12-07 cs.LG stat.ML
Randomised Gaussian Process Upper Confidence Bound for Bayesian Optimisation
Applied Artificial Intelligence Institute（应用人工智能研究院）
为了提高贝叶斯优化的性能，我们开发了一种改进的高斯过程置信上限（GP-UCB）获取函数。这是通过从分布中采样探索-开发权衡参数来完成的。我们证明，这允许预期的权衡参数被改变，以更好地适应问题，而不损害功能的贝叶斯遗憾的约束。我们还提供了结果表明，我们的方法在一系列现实世界和合成问题中实现了比GP-UCB更好的性能。
2020-06-08 cs.LG stat.ML
Wide stochastic networks: Gaussian limit and PAC-Bayesian training
University of Oxford（牛津大学）
无限宽度的限制允许在过参数化神经网络的分析研究中进行实质性的简化。通过适当的随机初始化，一个非常大的网络表现出近似高斯的行为。在目前的工作中，我们建立了一个简单的随机结构，其参数是随机变量，在训练前和训练过程中保持类似的结果。输出分布的显式评估允许PAC-贝叶斯训练过程直接优化泛化边界。对于一个大型但有限宽度的网络，我们在MNIST上凭经验证明，这种训练方法可以优于标准的PAC-Bayesian方法。
2023-02-13 cs.LG stat.ML
Approximate Inference for Fully Bayesian Gaussian Process Regression
University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）
高斯过程模型中的学习通过均值和协方差函数的超参数的自适应来进行。经典方法需要最大化边际似然，从而产生固定点估计（称为\textit{Type II maximum likelihood}或ML-II的方法）。另一种学习过程是在我们称为\textit{Fully Bayesian Gaussian Process Regression}（GPR）的GP的分层规范中推断超参数的后验。这项工作考虑了两种近似方案的棘手的超参数后验：1）哈密顿蒙特卡罗（HMC）产生基于采样的近似和2）变分推断（VI），其中超参数的后验近似的因式高斯（平均场）或满秩高斯帐户之间的相关性。我们分析的预测性能完全贝叶斯GPR的基准数据集的范围。
2020-04-06 cs.LG stat.ML
Scalable Bayesian Optimization Using Vecchia Approximations of Gaussian Processes
Texas A&M University（德州农工大学）
贝叶斯优化是一种优化黑盒目标函数的技术。贝叶斯优化的核心是一个代理模型，它预测目标函数在以前看不见的输入下的输出，以便于选择有希望的输入值。高斯过程（GP）通常用作代理模型，但已知其与观测数量的比例关系很差。我们适应Vecchia近似，一个流行的GP近似空间统计，使可扩展的高维贝叶斯优化。我们开发了几个改进和扩展，包括训练翘曲的GP使用小批量梯度下降，近似邻居搜索，并选择多个输入值并行。我们专注于使用我们的翘曲Vecchia GP在信任区域贝叶斯优化通过汤普森采样。在几个测试函数和两个并行学习问题上，我们的方法与最先进的方法相比毫不逊色。
2022-03-02 cs.LG stat.ML
Bayesian optimization of the PC algorithm for learning Gaussian Bayesian networks
Universidad Politécnica de Madrid（马德里理工大学）；Universidad Autónoma de Madrid（马德里自治大学）；Departamento de Inteligencia Artificial（人工智能系）；Departamento de Ingeniería Informática（信息工程系）
PC算法是学习高斯贝叶斯网络结构的一种流行方法。它进行统计测试，以确定网络中缺失的边缘。因此，它由两个参数控制：（i）检验类型，（ii）其显著性水平。这些参数通常设置为专家推荐的值。然而，这种方法可能会受到人类偏见的影响，导致次优的重建结果。在本文中，我们考虑一个更原则的方法来选择这些参数的自动化。为此，我们优化了一组不同的高斯贝叶斯网络上评估的重建分数。这个目标的评估成本很高，并且缺乏封闭形式的表达式，这意味着贝叶斯优化（BO）是一个自然的选择。BO方法使用模型来指导搜索，因此能够利用目标表面的平滑特性。我们发现，BO方法找到的参数优于随机搜索策略和专家推荐。重要的是，我们发现一个经常被忽视的统计测试提供了最好的整体重建结果。
2018-06-28 cs.LG stat.ML
Structured Bayesian Gaussian process latent variable model: applications to data-driven dimensionality reduction and high-dimensional inversion
University of Notre Dame（圣母大学）
我们介绍了一种方法，使用变分贝叶斯方法的未知量是一个空间领域的非线性反问题。一个结构化的贝叶斯高斯过程潜变量模型被用来构建一个低维的生成模型的基于样本的随机先验以及替代的前向评估。它的贝叶斯公式捕捉有限数量的输入和输出的例子引入的认知不确定性，自动选择一个适当的维数为学习的潜在表示的数据，并严格传播的不确定性的数据驱动的降维的随机空间通过前向模型代理。结构化的高斯过程模型明确地利用空间信息进行信息生成，从而提高样本效率，同时通过相关核矩阵的克罗内克积分解实现计算易处理性。重要的是，贝叶斯反演是通过求解变分优化问题来进行的，取代了传统的计算昂贵的蒙特卡罗采样。该方法被证明在椭圆型偏微分方程，并返回校准后验，是易于处理的潜在空间超过100个维度。
2018-07-11 cs.LG stat.ML
Generative, Fully Bayesian, Gaussian, Openset Pattern Classifier
AGNITIO Research（AGNITIO研究机构）
本报告详细介绍了一个封闭形式的，完全贝叶斯，多类，开集，生成模式分类器使用多元高斯似然，共轭先验。生成模型具有共同的类内协方差，其与共轭先验中的类间协方差成比例。标量比例常数是唯一的插件参数。所有其他模型参数都以封闭形式进行积分。给出了模型证据的表达式，该表达式可用于对比例常数进行插件估计。模式识别是通过训练数据可用的类的预测可能性以及任何尚未看到的类的预测可能性来完成的。
2013-07-24 cs.LG stat.ML
Bayesian Inference in Sparse Gaussian Graphical Models
University of Edinburgh（爱丁堡大学）；Pharmatics Ltd（Pharmatics有限公司）
科学的基本任务之一是在观察到的现象之间找到可解释的关系。这一任务的一种方法，近年来受到关注的是基于概率图形模型与稀疏约束的模型结构。在本文中，我们描述了两种新的方法来贝叶斯推断稀疏结构的高斯图模型（GGM）。一个是基于一个简单的修改的尖端块吉布斯采样器稀疏GGM，这导致显着的计算增益在高维。另一种方法是基于哈密顿蒙特卡罗采样器的一个特定的结构，这导致进一步的显着改善。我们比较了我们的完全贝叶斯方法与流行的基于规则的图形LASSO，并在相同的计算成本下证明了贝叶斯处理的显着优势。我们将这些方法应用于广泛的模拟数据集和真实的金融数据集。
2013-09-27 cs.LG stat.ML
Semi-parametric Expert Bayesian Network Learning with Gaussian Processes and Horseshoe Priors
National University of Singapore（新加坡国立大学）；Harvard University（哈佛大学）
该研究提出带线性约束的半参数专家贝叶斯网络学习模型，结合高斯过程与差异化尺度马蹄先验引入少量非线性，可生成多样适配用户输入的图，在合成及UCI肝病数据集上性能优于现有半参数贝叶斯网络模型。
2024-01-29 cs.LG stat.ML
Inducing Point Allocation for Sparse Gaussian Processes in High-Throughput Bayesian Optimisation
稀疏高斯过程是高吞吐量贝叶斯优化（BO）循环的关键组成部分，然而，我们发现，现有的方法分配其诱导点严重妨碍优化性能。通过利用确定性点过程的质量多样性分解，我们提出了第一个专门为BO设计的诱导点分配策略。与现有的方法，只寻求减少目标函数的全局不确定性，我们的方法提供了精确优化所需的有前途的区域的本地高保真度建模。更一般地说，我们证明了我们提出的框架提供了一种灵活的方式来分配稀疏模型的建模能力，因此适合广泛的下游顺序决策任务。
2023-02-23 cs.LG stat.ML
Variational multiple shooting for Bayesian ODEs with Gaussian processes
Aalto University（阿尔托大学）；University of Tübingen（蒂宾根大学）
最近的机器学习的进步提出了直接从数据中对未知的连续时间系统动态进行黑盒估计。然而，早期的作品是基于近似ODE解决方案或点估计。我们提出了一种新的贝叶斯非参数模型，使用高斯过程来推断未知的ODE系统的后验直接从数据。我们推导出稀疏变分推理与解耦功能采样表示向量场后验。我们还引入了一个概率射击增强，使有效的推断任意长的轨迹。该方法证明了计算向量场后验的好处，预测的不确定性得分优于多个ODE学习任务的替代方法。
2022-07-17 cs.LG stat.ML
Bayesian Optimization with Exponential Convergence
MIT（麻省理工学院）
本文提出了一种指数收敛的贝叶斯优化方法，它不需要辅助优化，也不需要增量覆盖抽样。大多数贝叶斯优化方法需要辅助优化：一个额外的非凸全局优化问题，这可能是耗时的，很难在实践中实现。此外，现有的具有指数收敛的贝叶斯优化方法需要访问增量覆盖采样，这被认为是不切实际的。我们的方法消除了这两个要求，并实现了指数收敛速度。
2016-04-05 cs.LG stat.ML
Efficient Bayesian Inference for a Gaussian Process Density Model
Artificial Intelligence Group（人工智能组）；Technische Universität Berlin（柏林工业大学）
我们重新考虑一个基于高斯过程的非参数密度模型。通过增广模型与潜在的Pólya-Gamma随机变量和潜在的标记泊松过程，我们得到了一个新的似然共轭模型的高斯过程的先验。增强后允许有效的推理吉布斯抽样和近似变分平均场方法。对于后者，我们利用稀疏GP近似来解决无限维的问题。这两种算法的性能和与其他密度估计的比较，证明了人工和真实的数据集，多达几千个数据点。
2018-05-29 cs.LG stat.ML
Local Nonstationarity for Efficient Bayesian Optimization
Centro Universitario de la Defensa（国防大学中心）
贝叶斯优化已被证明是一个基本的全局优化算法在许多应用中：从自动机器学习，机器人，强化学习，实验设计，仿真等最流行和有效的贝叶斯优化依赖于一个代理模型的形式，高斯过程，由于其灵活性，以代表一个先验函数。然而，许多算法和设置依赖于高斯过程的平稳性假设。在本文中，我们提出了一种新的非平稳贝叶斯优化策略，能够在静态和非平稳问题中超越贝叶斯优化的最新技术水平。
2015-06-05 cs.LG stat.ML
Learning Identifiable Gaussian Bayesian Networks in Polynomial Time and Sample Complexity
Purdue University（普渡大学）
从观测数据中学习贝叶斯网络的有向无环图（DAG）结构是一个非常困难的问题，许多困难的结果是已知的。在本文中，我们提出了一个可证明的多项式时间算法学习稀疏高斯贝叶斯网络等噪声方差-一类贝叶斯网络的DAG结构可以唯一地识别从观测数据-在高维设置。我们表明，$O(k^4 \log p)$样本数足以让我们的方法恢复真正的DAG结构具有高概率，其中$p$是变量的数量和$k$是最大马尔可夫毯大小。我们得到我们的理论保证的条件下，称为限制强邻接忠实，这是严格弱于强忠实-一个条件，其他方法的基础上的条件独立性测试需要他们的成功。我们的方法的样本复杂性匹配的信息理论的限制方面的依赖$p$。我们表明，我们的方法优于现有的国家的最先进的方法来学习高斯贝叶斯网络在恢复真正的DAG结构，而速度相当的探试法。
2017-03-03 cs.LG stat.ML
Scalable Bayesian Optimization with Sparse Gaussian Process Models
Deakin University（迪肯大学）
该研究围绕贝叶斯优化，提出结合导数信息与可扩展稀疏高斯过程，以加快收敛并处理海量数据。
2020-10-26 cs.IR cs.LG stat.ML
An Efficient Model Selection for Gaussian Mixture Model in a Bayesian Framework
Center for Information Security Technology (CIST), Korea University（高丽大学信息安全技术中心(CIST)）；Korea University（高丽大学）
为了对数据进行聚类或分区，我们经常使用期望和最大化（EM）或高斯混合模型（GMM）的变分近似，GMM是一个参数概率密度函数，表示为$\hat{K}$高斯分量密度的加权和。然而，模型选择，以找到潜在的$\hat{K}$是GMM聚类的关键问题之一，因为我们可以获得所需的集群只有当$\hat{K}$是已知的。在本文中，我们提出了一个新的模型选择算法，探讨$\hat{K}$在贝叶斯框架。该算法建立了模型阶数的密度，这是AIC和BIC等信息准则基本上无法重建的。此外，与耗时的蒙特卡罗模拟相比，该算法可以快速地重建密度。
2013-07-03 cs.LG stat.ML
Bayesian active learning for choice models with deep Gaussian processes
Northwestern University（西北大学）
在本文中，我们提出了一个主动学习算法和模型，可以逐步学习个人的偏好，通过两两比较。主动学习方案的目的是找到个人的最喜欢的选择与最小数量的成对比较。基于选择模型和深度高斯过程的假设，将成对比较编码到概率模型中。下一个比较的决定是由一个新的采集功能。我们使用具有多个局部最优值和一个公共航空公司行程数据集的函数对所提出的算法和模型进行基准测试。实验结果表明了该主动学习算法和模型的有效性。
2018-05-04 cs.LG stat.ML
Fully Bayesian inference for latent variable Gaussian process models
Northwestern University（西北大学）
真正的工程和科学应用通常涉及一个或多个定性输入。然而，标准高斯过程（GP）不能直接容纳定性输入。最近引入的潜变量高斯过程（LVGP）通过首先将每个定性因素映射到潜在的潜变量（LV），然后在这些LV上使用任何标准GP协方差函数来克服这个问题。通过极大似然估计，与其他GP超参数类似地估计LV，然后将其插入预测表达式。然而，这种插入式方法不会考虑LV估计中的不确定性，这可能很重要，特别是在训练数据有限的情况下。在这项工作中，我们开发了一个完全贝叶斯方法的LVGP模型和可视化的定性输入的影响，通过他们的LV。我们还开发了近似放大LVGP和完全贝叶斯推断的LVGP超参数。我们进行了数值研究比较插件推理对完全贝叶斯推断在几个工程模型和材料设计应用。与以前对标准GP建模的研究相比，这些研究在很大程度上得出结论，完全贝叶斯处理提供了有限的改进，我们的研究结果表明，对于LVGP建模，它在预测准确性和不确定性量化方面提供了显着的改进。
2023-03-19 cs.LG stat.ML
Bayesian Hyperparameter Optimization with BoTorch, GPyTorch and Ax
IBM（国际商业机器公司）
深度学习模型充满了超参数，这些超参数在学习过程开始之前被手动设置。要在如此高维的空间中找到这些超参数的最佳配置，需要耗时且昂贵的模型训练/验证，这不是一个简单的挑战。贝叶斯优化是超参数联合优化的有力工具，有效地权衡了超参数空间的探索和利用。本文讨论了贝叶斯超参数优化，包括超参数优化、贝叶斯优化和高斯过程。我们还回顾了BoTorch，GPyTorch和Ax，我们分别用于贝叶斯优化，高斯过程推理和自适应实验的新开源框架。对于实验，我们应用贝叶斯超参数优化，优化组权重，加权组池，耦合无监督分层图自动编码器学习和监督图预测学习的分子图。我们发现，Ax，BoTorch和GPyTorch一起提供了一个简单易用但功能强大的框架贝叶斯超参数优化，使用Ax的高级API，构建和运行一个完整的优化循环，并返回最佳的超参数配置。
2021-07-02 cs.LG stat.ML
Bayesian Optimization for Multi-objective Optimization and Multi-point Search
Kobe Steel, Ltd.（神户制钢所）；The Institute of Statistical Mathematics（统计数理研究所）；RIKEN AIP（理化学研究所AIP）
贝叶斯优化是一种有效的方法，以有效地优化未知的目标函数，高评价成本。传统的贝叶斯优化算法对单目标函数每次迭代选择一个点，而近年来，人们提出了多目标优化的贝叶斯优化或每次迭代多点搜索。然而，目前还没有一种非启发式的贝叶斯优化方法能够同时处理这两种问题。提出了一种能够同时处理多目标优化和多点搜索的贝叶斯优化算法。首先，我们定义了一个采集功能，同时考虑多目标和多点搜索问题。这是很难解析最大化的采集功能的计算成本是禁止的，即使当近似计算，如采样近似进行，因此，我们提出了一个准确的和计算效率高的方法估计梯度的采集功能，并开发了一个算法贝叶斯优化与多目标和多点搜索。数值实验表明，该方法的性能与启发式方法相当或优于启发式方法。
2019-05-07 cs.LG stat.ML
Optimal experimental design via Bayesian optimization: active causal structure learning for Gaussian process networks
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Cambridge（剑桥大学）；Amazon（亚马逊）；The Alan Turing Institute（艾伦·图灵研究所）
我们通过有针对性的干预措施来研究因果发现的问题。从几个观测测量开始，我们遵循贝叶斯主动学习方法来执行这些实验，这些实验在当前模型的预期中，最大限度地提供有关潜在因果结构的信息。与以前的工作不同，我们考虑设置连续随机变量与非线性函数关系，建模与高斯过程先验。为了解决所产生的问题，选择从一个不可数的一组可能的干预措施，我们建议使用贝叶斯优化，有效地最大限度地提高预期的信息增益的蒙特卡罗估计。
2019-10-09 cs.LG stat.ML
Global inducing point variational posteriors for Bayesian neural networks and deep Gaussian processes
University of Cambridge（剑桥大学）；University of Bristol（布里斯托大学）
我们认为最佳的近似后验的顶层权重的贝叶斯神经网络的回归，并表明它表现出很强的依赖于较低层的权重。我们适应这一结果，在贝叶斯神经网络的所有层的权重开发一个相关的近似后验。我们将这种方法扩展到深度高斯过程，统一了两个模型类中的推理。我们的近似后验使用学习的“全局”诱导点，这些诱导点仅在输入层定义，并通过网络传播以获得后续层的诱导输入。相比之下，来自深度高斯过程文献的标准“局部”诱导点方法优化了每一层处的诱导输入的单独集合，并且因此不对跨层的相关性进行建模。我们的方法为变分贝叶斯方法提供了最先进的性能，在没有数据增强或回火的情况下，CIFAR-10为86.7%，与没有回火但有数据增强的SGMCMC相当（Wenzel等人2020年为88%）。
2021-06-22 cs.LG stat.ML
Optimization, fast and slow: optimally switching between local and Bayesian optimization
Department of Engineering Science, University of Oxford（牛津大学工程科学系）；Oxford-Man Institute of Quantitative Finance（牛津曼量化金融研究所）
我们开发了第一个贝叶斯优化算法，BLOSSOM，它选择多个替代的采集功能和传统的局部优化在每一步。这是结合了一个新的停止条件的基础上预期的遗憾。这种配对使我们能够获得局部优化和贝叶斯优化的最佳特性，有效地利用函数求值，同时在选择优化问题时获得全局最小值的卓越收敛，并且一旦满足原则性和直观的停止条件，就停止优化。
2018-05-22 cs.LG stat.ML
Wasserstein-Splitting Gaussian Process Regression for Heterogeneous Online Bayesian Inference
Virginia Polytechnic Institute and State University（弗吉尼亚理工学院暨州立大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
高斯过程（Gaussian processes，GP）是一种著名的非参数贝叶斯推断技术，但对于大样本量，GP存在可扩展性问题，对于非平稳或空间异构数据，GP的性能会降低。在这项工作中，我们试图克服这些问题，通过（i）采用变分自由能近似的GP与在线期望传播步骤的串联操作;和（ii）引入一个本地分裂步骤，每当后验分布变化显着量化的Wasserstein度量超过后验分布，实例化一个新的GP。然后，随着时间的推移，这产生了稀疏GP的集合，其可以增量地更新，并且适应训练数据中的局部性、异质性和非平稳性。
2021-07-26 cs.LG stat.ML
On Improved Regret Bounds In Bayesian Optimization with Gaussian Noise
Center for Applied Scientific Computing, Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室应用科学计算中心）；National University of Singapore（新加坡国立大学）
本文在高斯噪声的频率学派设定下建立了高斯过程预测误差的新逐点界，并据此证明了GP-UCB和GP-TS累积遗憾界具有改进的收敛速率，该误差界还可推广到一般贝叶斯优化算法的收敛分析。
2024-12-25 cs.LG stat.ML
Bayesian task embedding for few-shot Bayesian optimization
GE Research（通用电气研究院）
我们描述了一种贝叶斯优化的方法，其中一个可以将数据从多个系统的定量相互关系是未知的先验。系统的所有一般（非实值）特征都与连续潜变量相关联，这些变量作为输入进入一个元模型，该元模型同时学习所有系统的响应曲面。贝叶斯推理用于确定关于潜在变量的适当信念。我们解释了如何得到的概率元模型可用于贝叶斯优化任务，并展示了它的实现在各种合成和现实世界的例子，比较其性能下零，一，和Few-Shot设置对传统的贝叶斯优化，这通常需要更多的数据从系统的利益。
2020-01-02 cs.LG stat.ML
Bayesian Optimization using Deep Gaussian Processes
Université de Lille（里尔大学）；CNRS/CRIStAL（法国国家科学研究中心/CRIStAL实验室）；Inria Lille（法国里尔国家信息与自动化研究所）
使用高斯过程的贝叶斯优化是处理昂贵的黑盒函数优化的流行方法。然而，由于经典高斯过程的协方差阵的平稳性是先验的，这种方法可能不适用于非平稳函数的优化问题。为了克服这个问题，提出了一种新的贝叶斯优化方法。它基于深度高斯过程作为代理模型，而不是经典的高斯过程。这种建模技术通过简单地考虑平稳高斯过程的功能组成来增加表示的能力以捕获非平稳性，从而提供多层结构。本文提出了一种耦合深度高斯过程和贝叶斯优化的全局优化算法。这种优化方法的特殊性进行了讨论，并突出了学术测试案例。分析测试用例和航空航天设计优化问题的性能评估所提出的算法相比，最先进的静态和非静态的贝叶斯优化方法。
2019-05-07 cs.CE cs.LG stat.ML
Self-Correcting Bayesian Optimization through Bayesian Active Learning
Lund University（隆德大学）；University of Freiburg（弗莱堡大学）；Stanford University（斯坦福大学）；DBtune
提出SAL和SCoreBO两种采集函数，通过贝叶斯主动学习优化高斯过程超参数，在主动学习和贝叶斯优化任务中超越现有方法。
2024-02-15 cs.LG stat.ML
Bayesian Generative Adversarial Networks via Gaussian Approximation for Tabular Data Synthesis
Department of Social Statistics, The University of Manchester（社会统计系，曼彻斯特大学）；Alliance Manchester Business School, The University of Manchester（曼彻斯特商业联盟学院，曼彻斯特大学）
本文提出GACTGAN，通过高斯近似技术在CTGAN中整合贝叶斯后验近似，以更高效地生成表格数据，提升数据结构和统计信息的保真度并降低隐私风险。
2026-02-25 cs.LG stat.ML
On Batch Bayesian Optimization
Indian Institute of Science（印度科学学院）
我们提出了两种算法的贝叶斯优化在批量反馈设置，高斯过程的置信上限和汤普森采样方法的基础上，随着频率后悔保证和数值结果。
2019-11-04 cs.LG stat.ML
Optimizing Bayesian acquisition functions in Gaussian Processes
College of Engineering, Pune（浦那工程学院）；National Institute of Technology, Srinagar（斯利那加国家理工学院）
贝叶斯优化是一种有效的搜索全局最大值的目标函数，特别是当函数是未知的。该过程包括使用替代函数和选择采集函数，然后优化采集函数以找到下一个采样点。本文分析了不同的采集函数，如最大改善概率和预期改善和各种优化器，如L-BFGS和TNC，以优化采集函数，以找到下一个采样点。随着时间的分析，本文还显示了初始样本的位置选择的重要性。
2021-11-09 cs.LG stat.ML
Momentum-Space Renormalization Group Transformation in Bayesian Image Modeling by Gaussian Graphical Model
Tohoku University（东北大学）；Yamagata University（山形大学）
针对高斯图模型，提出了一种将边际似然最大化与动量空间重整化群变换相结合的贝叶斯建模方法。此外，我们提出了一个计划计算的统计平均值的超参数和均方误差在我们提出的方法的基础上动量空间重整化变换。
2018-03-20 cond-mat.stat-mech cs.LG stat.ML
A Simple Heuristic for Bayesian Optimization with A Low Budget
CyberAgent, Inc.（赛博艾坚特公司）
黑盒优化的目的是在给定的评估预算的约束下优化目标函数。在这个问题中，通常假设评估点的计算成本很大;因此，重要的是以尽可能低的预算有效地搜索。贝叶斯优化是一种有效的黑箱优化方法，它通过构造一个考虑目标函数不确定性的代理模型来实现探索-开发的权衡。然而，因为贝叶斯优化应该为整个搜索空间构造代理模型，所以当点没有被充分采样时，它不会表现出良好的性能。在这项研究中，我们开发了一种启发式方法细化搜索空间的贝叶斯优化时，可用的评估预算低。该方法通过对原始区域的划分来细化期望区域，以期望区域为初始搜索空间进行贝叶斯优化。通过对标准函数和机器学习算法的超参数优化的实验，我们证实了该方法的贝叶斯优化性能优于单独的贝叶斯优化，并表现出与两种搜索空间划分算法相当或更好的性能。
2019-11-30 cs.LG stat.ML
Wasserstein Barycenter Gaussian Process based Bayesian Optimization
Department of Economics Management and Statistics, University of Milano-Bicocca（经济管理统计系，米兰-比科卡大学）；Department of Computer Science Systems and Communication, University of Milano-Bicocca（计算机科学系统与通信系，米兰-比科卡大学）
针对标准高斯过程贝叶斯优化中超参数拟合存在缺陷的问题，提出通过预设多组超参数拟合并用Wasserstein重心组合的WBGP-BO方法，在棘手测试问题上仍能收敛到最优解。
2025-05-18 cs.LG math.OC stat.ML
Bayesian autoregression to optimize temporal Matérn kernel Gaussian process hyperparameters
Eindhoven University of Technology（埃因霍温理工大学）
本文提出一种基于递归贝叶斯自回归估计的方法，用于优化时间Matérn核高斯过程的超参数，在运行时间和均方根误差上均优于边际似然最大化和HMC采样。
2025-08-13 cs.LG eess.SP stat.ML
Regret bounds for meta Bayesian optimization with an unknown Gaussian process prior
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
贝叶斯优化通常假设贝叶斯先验是给定的。然而，在贝叶斯优化的强大的理论保证，往往是令人遗憾的是，在实践中，因为在先验的未知参数妥协。在本文中，我们采用了一种变体的经验贝叶斯，并表明，通过估计高斯过程之前从离线数据采样从相同的先验和构造无偏估计的后验，变体的GP-UCB和概率的改善实现了接近零的遗憾界，这减少到一个常数成比例的观测噪声的离线数据的数量和在线评估的数量增加。经验上，我们已经验证了我们的方法具有挑战性的模拟机器人问题的任务和运动规划。
2018-11-23 cs.AI cs.LG stat.ML
A Bayesian estimation approach to analyze non-Gaussian data-generating processes with latent classes
近年来，在各个领域积累了大量的观测数据，并且越来越需要估计这些数据的生成过程。基于外部影响的非高斯性，提出了一种线性非高斯非循环模型（LiNGAM）来估计变量的数据生成过程。然而，如果存在潜在类，则估计的结果可能有偏差。在本文中，我们首先回顾LiNGAM，其扩展模型，以及LiNGAM的贝叶斯框架中的估计过程。然后，我们提出了一个新的贝叶斯估计过程，解决了这个问题。
2014-08-02 stat.ML
Bayesian Model Averaging for Causality Estimation and its Approximation based on Gaussian Scale Mixture Distributions
Waseda University（早稻田大学）
在线性结构因果模型（SCM）下的因果效应估计中，通常的做法是首先识别因果结构，估计概率分布，然后计算因果效应。然而，如果目标是估计因果效应，则没有必要固定单个因果结构或概率分布。在本文中，我们首先从贝叶斯的角度表明，它是贝叶斯最优的加权（平均）的因果效应估计在每个模型下，而不是估计在一个固定的单一模型的因果效应。这个想法也被称为贝叶斯模型平均。虽然贝叶斯模型平均是最佳的，但随着候选模型数量的增加，加权计算在计算上变得困难。我们开发了一个近似的贝叶斯最优估计使用高斯尺度混合分布。
2021-03-15 cs.LG stat.ME stat.ML
Online and Distributed learning of Gaussian mixture models by Bayesian Moment Matching
David R. Cheriton School of Computer Science, University of Waterloo（滑铁卢大学大卫·R·切里顿计算机科学学院）
高斯混合模型是聚类和数据建模的经典技术，在许多应用中使用。随着大数据的兴起，需要能够处理流数据并将计算分布在多个处理器上的参数估计技术。虽然存在期望最大化（EM）算法的在线变体，但它们的数据效率因E步的随机近似而降低，并且不清楚如何将计算分布在多个处理器上。我们提出了一种贝叶斯学习技术，自然适合在线和分布式计算。由于贝叶斯后验是不听话的，我们将其投影到一个家庭听话的分布后，每个观察匹配一组足够的时刻。在一组数据建模基准上，这种贝叶斯矩匹配技术在时间和精度方面优于在线EM。
2016-09-19 cs.AI cs.LG stat.ML
Pseudo-Marginal Bayesian Inference for Gaussian Processes
University of Glasgow（格拉斯哥大学）；University of Warwick（华威大学）
在概率建模中采用高斯过程先验时出现的主要挑战是如何执行精确的贝叶斯推断以及如何在对样本外数据进行基于模型的预测时考虑模型参数的不确定性。使用概率单位回归作为一个说明性的工作例子，本文提出了一种通用的和有效的方法的基础上的伪边缘的方法，有效地解决了这两个问题的马尔可夫链蒙特卡罗。本文提出的结果表明，改进现有的采样方法来模拟从后验分布的参数定义的协方差函数的高斯过程先验。这是特别重要的，因为它提供了一个强大的工具来执行基于高斯过程的分层统计模型的全面贝叶斯推断。结果还表明，蒙特卡罗为基础的集成的所有模型参数实际上是可行的，在这类模型提供了一个优越的量化预测的不确定性。与最先进的概率分类器的广泛比较证实了这一论断。
2014-04-07 cs.LG stat.ME stat.ML
Bayesian Semi-supervised Learning with Graph Gaussian Processes
University College London（伦敦大学学院）；The Alan Turing Institute（艾伦·图灵研究所）
我们提出了一个数据有效的高斯过程为基础的贝叶斯方法的半监督学习问题的图。该模型在半监督学习基准实验中表现出与最先进的图神经网络相比极具竞争力的性能，并且在标签稀缺的主动学习实验中表现出优于神经网络的性能。此外，该模型不需要提前停止以控制过拟合的验证数据集。我们的模型可以被看作是一个实例的经验分布回归加权局部网络连接。我们进一步激发了直观的贝叶斯线性模型解释模型的建设，其中的节点功能过滤相关的图形拉普拉斯算子。该方法可以很容易地实现适应现成的可扩展的高斯过程的变分推理算法。
2018-10-12 cs.LG cs.SI stat.ML
New Heuristics for Parallel and Scalable Bayesian Optimization
Center for Theoretical Neuroscience（理论神经科学中心）；Columbia University（哥伦比亚大学）
贝叶斯优化已成为一个强大的候选工具，为全球优化的功能与昂贵的评价成本。然而，由于贝叶斯方法研究的动态性质，以及计算技术的发展，在并行计算环境中使用贝叶斯优化对于非专家来说仍然是一个挑战。在这份报告中，我回顾了最先进的并行和可扩展的贝叶斯优化方法。此外，我还提出了一些实用的方法来避免贝叶斯优化的一些陷阱，如边缘参数的过采样和高性能参数的过度利用。最后，我提供了相对简单的启发式算法，以及它们的开源软件实现，这些算法可以立即轻松地部署在任何计算环境中。
2018-08-23 cs.LG stat.AP stat.ML
Scalable Bayesian Transformed Gaussian Processes
Cornell University（康奈尔大学）；University of Delaware（特拉华大学）；SigOpt
Kedem和Oliviera提出的贝叶斯变换高斯过程（BTG）模型是扭曲高斯过程（WGP）的完全贝叶斯对应物，并将输入扭曲和核超参数的联合先验边缘化。超参数的这种完全贝叶斯处理通常提供更准确的回归估计和更好的不确定性传播，但价格昂贵。BTG后验预测分布本身是通过高维积分估计的，必须反转才能进行模型预测。为了使贝叶斯方法的实用性和可比的速度最大似然估计（MLE），我们提出了原则和快速的技术计算与BTG。我们的框架使用双重稀疏求积规则、紧分位数界限和一阶矩阵代数来实现快速模型预测和模型选择。这些可扩展的方法使我们能够在更高维的数据集上回归，并将BTG应用于分层转换，从而大大提高了其可表达性。我们证明，BTG实现卓越的经验性能MLE为基础的模型。
2022-10-20 cs.LG
Fully Automatic Brain Tumor Segmentation using a Normalized Gaussian Bayesian Classifier and 3D Fluid Vector Flow
University of Alberta（阿尔伯塔大学）
从磁共振图像（MRI）分割脑肿瘤是测量肿瘤对治疗的反应的重要任务。然而，自动分割非常具有挑战性。提出了一种基于归一化高斯贝叶斯分类和新的三维流体矢量流（FVF）算法的脑肿瘤自动分割方法。在我们的方法中，归一化高斯混合模型（NGMM）的建议，并用于健康的脑组织建模。利用高斯贝叶斯分类器从测试脑MR图像中获取高斯贝叶斯脑图（GBBM）。进一步处理GBBM以初始化3D FVF算法，该算法分割脑肿瘤。该算法有两个主要贡献。首先，我们提出了一个NGMM模型健康的大脑。其次，我们将我们的2D FVF算法扩展到3D空间，并将其用于脑肿瘤分割。所提出的方法是在一个公开的数据集上进行验证。
2019-05-01 cs.CV cs.LG cs.MM
Stratified Bayesian Optimization
Cornell University（康奈尔大学）
我们考虑昂贵的噪声函数的无导数黑箱全局优化，当目标中的大部分随机性由几个有影响力的标量随机输入产生时。我们提出了一种新的贝叶斯全局优化算法，称为分层贝叶斯优化（SBO），它使用这种强依赖性，以提高性能。我们的算法在精神上类似于分层，分层是一种来自模拟的技术，它使用对随机输入的分类表示的强烈依赖来减少方差。我们在数值实验中证明，SBO优于最先进的贝叶斯优化基准，不利用这种依赖。
2016-02-20 cs.LG math.OC stat.ML
Quantum Gaussian Process Regression for Bayesian Optimization
Fraunhofer Institute for Manufacturing Engineering and Automation (IPA)（弗劳恩霍夫制造工程与自动化研究所（IPA））
提出基于参数化量子电路量子核的高斯过程回归方法，保留方差信息，作为贝叶斯优化代理模型，在真实数据集超参数优化中性能媲美经典方法。
2023-04-25 cs.LG quant-ph
Bayesian inference with finitely wide neural networks
Rutgers University（罗格斯大学）
针对有限宽度神经网络偏离高斯过程导致解析推断困难的问题，基于多元Edgeworth展开提出微分形式的非高斯分布，推导了贝叶斯回归中的非高斯后验，并探讨了瓶颈深度网络中的非高斯性。
2023-05-25 cond-mat.dis-nn cs.LG stat.ML
Bayesian Learning from Sequential Data using Gaussian Processes with Signature Covariances
University of Oxford（牛津大学）
我们开发了一种贝叶斯方法，通过使用高斯过程（GP）与所谓的签名内核作为协方差函数从序列数据中学习。这允许使不同长度的序列具有可比性，并依赖于来自随机分析的强有力的理论结果。签名捕获序列结构与张量，可以缩放不利的序列长度和状态空间维度。为了解决这个问题，我们引入了一个稀疏变分方法与诱导张量。然后，我们将得到的GP与LSTM和GRU相结合，以构建更大的模型，这些模型利用了每种方法的优势，并将得到的GP在多变量时间序列（TS）分类数据集上进行基准测试。代码可在https://github.com/tgcsaba/GPSig获得。
2020-07-06 cs.LG math.PR stat.ML
BOAH: A Tool Suite for Multi-Fidelity Bayesian Optimization & Analysis of Hyperparameters
University of Freiburg（弗赖堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
超参数优化和神经架构搜索对于常规的黑盒贝叶斯优化来说可能变得过于昂贵，因为单个模型的训练和评估可能很容易花费几个小时。为了克服这一点，我们引入了一个全面的工具套件，用于有效的多保真度贝叶斯优化及其运行分析。该套件使用Python编写，提供了一种简单的方法来指定复杂的设计空间，将贝叶斯优化和HyperBand进行了强大而有效的组合，并对优化过程及其结果进行了全面的分析。
2019-08-16 cs.AI cs.LG stat.ML
Variational Gaussian Dropout is not Bayesian
高斯乘性噪声通常用作确定性神经网络训练中的随机正则化技术。最近的一篇论文将该技术重新解释为贝叶斯神经网络中近似推理的特定算法;随后进行了几次扩展。我们发现，在所有上述出版物中使用的对数均匀先验一般不会导致一个适当的后验，因此在这样的模型中的贝叶斯推断是不适定的。独立于对数均匀先验，相关权重噪声近似具有导致无限目标或高过拟合风险的进一步问题。上述情况意味着，所报告的稀疏性所获得的解决方案不能解释贝叶斯或相关的最小描述长度参数。因此，我们从非贝叶斯的角度研究的目标，提供其以前未知的分析形式，允许精确的梯度评估，并表明，后来提出的添加剂重新参数化引入最小值不存在于原来的乘法参数化。最后讨论了研究的意义和未来的研究方向。
2017-11-08 stat.ML
Adaptive Gaussian process approximation for Bayesian inference with expensive likelihood functions
我们考虑计算密集型似然函数的贝叶斯推断问题。我们提出了一种基于高斯过程（GP）的方法来近似未知参数和数据的联合分布。特别是，我们写的联合密度近似为一个近似的后验密度和一个exponentiated GP代理的产品。然后，我们提供了一个自适应算法来构建这样的近似，其中使用主动学习方法来选择设计点。数值例子表明，该方法具有竞争力的性能对现有的贝叶斯计算方法。
2018-03-14 stat.CO stat.ML
