Variable fusion for Bayesian linear regression via spike-and-slab priors
在线性回归模型中,系数的融合用于识别与响应具有相似关系的预测因子。这就是所谓的可变融合。提出了一种基于贝叶斯线性回归模型的变量融合方法。我们专注于分层贝叶斯模型的基础上的尖峰和板坯事先的方法。一个尖峰和平板先验是定制的,以执行可变融合。为了获得参数的估计,我们开发了一个吉布斯采样器的参数。仿真研究和实际数据分析表明,我们提出的方法取得了更好的性能比以前的方法。
2020-12-02 stat.ME stat.ML
Adaptive Gaussian process surrogates for Bayesian inference
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
我们提出了一种自适应的方法来建设高斯过程代理贝叶斯推断昂贵的评估前向模型。我们的方法依赖于完全贝叶斯方法来训练高斯过程模型,并利用贝叶斯全局优化的预期改进思想。我们自适应地构造训练设计,通过最大化期望的改善,在适合的高斯过程模型的噪声观测数据。与合成数据的模型问题的数值实验表明,所获得的自适应设计的有效性相比,固定的非自适应设计在精确的后验估计的一小部分的成本与正向模型的推理。
2018-09-27 cs.LG stat.ML
Bayesian Meta-Learning Through Variational Gaussian Processes
Stanford University(斯坦福大学)
元学习领域的最新进展已经解决了由大量小(“Few-Shot”)监督学习任务组成的领域。元学习算法必须能够快速适应任何单个的Few-Shot任务,适应任务中的小支持集,并使用它来预测任务查询集的标签。这个问题设置可以扩展到贝叶斯上下文,其中不是为每个查询数据点预测单个标签,而是模型预测捕获其不确定性的标签分布。这一领域的成功方法包括基于MAML的模型的贝叶斯集成、贝叶斯神经网络和具有学习的深度核和均值函数的高斯过程。虽然高斯过程在元学习上下文中具有鲁棒的贝叶斯解释,但它们并不自然地对用于表达不确定性的非高斯预测后验进行建模。在本文中,我们设计了一个理论上的原则性方法,VMGP,扩展高斯过程为基础的元学习,允许高质量,任意非高斯不确定性预测。在具有复杂非光滑或不连续结构的基准环境中,我们发现我们的VMGP方法的性能明显优于现有的贝叶斯元学习基线。
2021-10-21 cs.LG stat.ML
Fully Bayesian Autoencoders with Latent Sparse Gaussian Processes
EURECOM(欧洲通信研究院);University of California, Irvine(加州大学欧文分校)
自动编码器及其变体是表示学习和生成建模中使用最广泛的模型之一。然而,基于自动编码器的模型通常假设学习的表示是i.i.d.。并且不能捕获数据样本之间的相关性。为了解决这个问题,我们提出了一种新的稀疏高斯过程贝叶斯自动编码器(SGPAE)模型,在该模型中,我们对贝叶斯自动编码器的潜在空间施加完全贝叶斯稀疏高斯过程先验。我们通过随机梯度Hamilton Monte Carlo对该模型进行后验估计。我们在广泛的表示学习和生成建模任务上定性和定量地评估了我们的方法,并表明我们的方法始终优于依赖于变分自编码器的多个替代方案。
2023-02-09 cs.LG stat.ML
Gaussian processes for Bayesian inverse problems associated with linear partial differential equations
School of Mathematics, University of Edinburgh(爱丁堡大学数学学院);Maxwell Institute for Mathematical Sciences(麦克斯韦数学科学研究所)
针对少量训练数据下线性偏微分方程相关贝叶斯反问题,扩展已有框架构建融合PDE信息的高斯先验并生成近似后验,实验证明其性能优于传统先验。
2023-07-17 cs.LG stat.ML
Theoretical Analysis of Bayesian Optimisation with Unknown Gaussian Process Hyper-Parameters
University of Oxford(牛津大学);Canadian Institute for Advanced Research(加拿大高等研究院)
贝叶斯优化作为优化机器学习算法和模型的参数的工具已经获得了极大的普及。有点讽刺的是,设置贝叶斯优化方法的超参数是出了名的困难。虽然已经提出了合理的实际解决方案,但它们往往无法找到最佳的最佳方案。令人惊讶的是,在文献中几乎没有对这个关键问题进行理论分析。为了解决这个问题,我们推导出一个累积的遗憾界贝叶斯优化与高斯过程和未知的核超参数的随机设置。该界适用于期望的改进捕获函数和亚高斯观测噪声,为我们设计超参数估计方法提供了指导。一个简单的模拟演示了遵循这些准则的重要性。
2014-06-30 cs.LG stat.ML
Structured Bayesian Gaussian process latent variable model
University of Notre Dame(圣母大学)
我们引入了一个贝叶斯高斯过程潜变量模型,该模型使用参数化的空间内核显式捕获数据中的空间相关性,并利用模型协方差阵上的结构利用代数来实现计算的易处理性。推理是通过一个类似的计算复杂性的传统贝叶斯GP-LVM的折叠变分界听话。通过优化“部分折叠”边界来实现对部分观察到的测试用例的推断。通过使用动态GP潜变量先验,使得能够对高维时间序列系统进行建模。插补图像上的缺失数据和缺失视频帧的超分辨率插补的例子证明了该模型。
2018-05-22 cs.LG stat.ML
Tractable Approximate Gaussian Inference for Bayesian Neural Networks
Polytechnique Montréal(蒙特利尔理工学院)
本文提出了一种在贝叶斯神经网络中进行易于处理的近似高斯推理(TAGI)的分析方法。该方法能够对权重和偏差的后验均值向量和对角协方差矩阵进行分析高斯推断。所提出的方法相对于参数$n$的数量具有$\mathcal{O}(n)$的计算复杂性,并且对回归和分类基准进行的测试证实,对于相同的网络架构,它与依赖于梯度反向传播的现有方法的性能相匹配。
2021-12-07 cs.LG stat.ML
Randomised Gaussian Process Upper Confidence Bound for Bayesian Optimisation
Applied Artificial Intelligence Institute(应用人工智能研究院)
为了提高贝叶斯优化的性能,我们开发了一种改进的高斯过程置信上限(GP-UCB)获取函数。这是通过从分布中采样探索-开发权衡参数来完成的。我们证明,这允许预期的权衡参数被改变,以更好地适应问题,而不损害功能的贝叶斯遗憾的约束。我们还提供了结果表明,我们的方法在一系列现实世界和合成问题中实现了比GP-UCB更好的性能。
2020-06-08 cs.LG stat.ML
Wide stochastic networks: Gaussian limit and PAC-Bayesian training
University of Oxford(牛津大学)
无限宽度的限制允许在过参数化神经网络的分析研究中进行实质性的简化。通过适当的随机初始化,一个非常大的网络表现出近似高斯的行为。在目前的工作中,我们建立了一个简单的随机结构,其参数是随机变量,在训练前和训练过程中保持类似的结果。输出分布的显式评估允许PAC-贝叶斯训练过程直接优化泛化边界。对于一个大型但有限宽度的网络,我们在MNIST上凭经验证明,这种训练方法可以优于标准的PAC-Bayesian方法。
2023-02-13 cs.LG stat.ML
Deterministic Bayesian Information Fusion and the Analysis of its Performance
本文提出了一种数学和计算框架,用于分析传感器网络中贝叶斯数据融合或联合统计推断的预期性能。在确定性约束和二次代价下,利用变分技术得到后验期望作为最优融合规则,并研究了其分类性能的平滑性等性质。对于一类融合问题,我们证明了这种融合规则在更广泛的意义下也是最优的,并且满足强渐近收敛结果。我们将展示这些结果如何适用于各种例子与高斯,指数和其他统计,并讨论计算方法,以确定融合系统的性能在更一般的,大规模的问题。这些结果的动机是通过研究融合多模态雷达和声学传感器检测爆炸性物质的性能,但具有广泛的适用性,其他贝叶斯判定问题。
2014-11-02 math.ST stat.ML stat.TH
Approximate Inference for Fully Bayesian Gaussian Process Regression
University of Cambridge(剑桥大学);The Alan Turing Institute(艾伦·图灵研究所)
高斯过程模型中的学习通过均值和协方差函数的超参数的自适应来进行。经典方法需要最大化边际似然,从而产生固定点估计(称为\textit{Type II maximum likelihood}或ML-II的方法)。另一种学习过程是在我们称为\textit{Fully Bayesian Gaussian Process Regression}(GPR)的GP的分层规范中推断超参数的后验。这项工作考虑了两种近似方案的棘手的超参数后验:1)哈密顿蒙特卡罗(HMC)产生基于采样的近似和2)变分推断(VI),其中超参数的后验近似的因式高斯(平均场)或满秩高斯帐户之间的相关性。我们分析的预测性能完全贝叶斯GPR的基准数据集的范围。
2020-04-06 cs.LG stat.ML
Bayesian Fusion Estimation via t-Shrinkage
收缩先验在许多数据分析中取得了很大的成功,但其应用主要集中在稀疏参数的贝叶斯建模。在这项工作中,我们将贝叶斯收缩模型的高维参数,拥有一个未知的块结构。我们建议在此之前进行重尾收缩,例如,$t$先验,并且这样的融合先验将使连续的差异朝向零收缩,因此引起后阻滞。与传统的基于Laplace融合先验的贝叶斯融合套索算法相比,$t$融合先验具有更强的收缩效应和良好的后验一致性。仿真研究和实际数据分析表明,$t$融合具有优于频率论融合估计和贝叶斯拉普拉斯融合先验的性能。将这种$t$融合策略进一步发展,进行贝叶斯聚类分析,仿真结果表明,该算法比经典Dirichlet过程建模具有更好的后验分布收敛性。
2018-12-27 stat.ME
Scalable Bayesian Optimization Using Vecchia Approximations of Gaussian Processes
Texas A&M University(德州农工大学)
贝叶斯优化是一种优化黑盒目标函数的技术。贝叶斯优化的核心是一个代理模型,它预测目标函数在以前看不见的输入下的输出,以便于选择有希望的输入值。高斯过程(GP)通常用作代理模型,但已知其与观测数量的比例关系很差。我们适应Vecchia近似,一个流行的GP近似空间统计,使可扩展的高维贝叶斯优化。我们开发了几个改进和扩展,包括训练翘曲的GP使用小批量梯度下降,近似邻居搜索,并选择多个输入值并行。我们专注于使用我们的翘曲Vecchia GP在信任区域贝叶斯优化通过汤普森采样。在几个测试函数和两个并行学习问题上,我们的方法与最先进的方法相比毫不逊色。
2022-03-02 cs.LG stat.ML
PAC-Bayesian Majority Vote for Late Classifier Fusion
Aix-Marseille Univ(艾克斯-马赛大学);CNRS(法国国家科学研究中心);Univ. of St-Etienne(圣艾蒂安大学)
在过去的几年里,人们对多媒体索引给予了大量的关注。在文献中,我们经常考虑两种融合方案:早期融合和晚期融合。在本文中,我们专注于后期分类器融合,其中一个相结合的分数,每一个模态的决策层。为了解决这个问题,我们研究了一个最近的和优雅的有理有据的二次规划名为MinCq来自机器学习PAC-Bayes理论。MinCq在一组被视为选民的实值函数上寻找加权组合,从而导致最低的误分类率,同时利用选民的多样性。我们提供的证据表明,这种方法是自然适应于后期融合程序。我们提出了MinCq的扩展,通过添加保留顺序的成对损失来进行排名,从而帮助改进平均精度度量。我们证实了良好的行为的MinCq为基础的融合方法与实验上的真实图像基准。
2012-07-04 cs.CV cs.LG cs.MM
Sequential testing over multiple stages and performance analysis of data fusion
MITRE Corporation(米特尔公司)
我们描述了一种方法,用于对不同传感器配置之间的决策级数据融合的性能进行建模,作为JIEDDO分析决策引擎(JADE)的一部分。我们首先讨论了经典的概率数据融合的贝叶斯网络制定,它允许基本的融合结构,有效地堆叠和分析。然后,我们提出了一个扩展的Wald序贯检验相结合的贝叶斯网络的输出随着时间的推移。我们讨论了一个算法来计算其性能统计数据,并说明了一些例子的方法。这种顺序测试的变体涉及多个不同的阶段,其中从每个阶段积累的证据被带入下一个阶段,并且由于需要保持网络中的某些传感器不活动,除非被其他传感器触发。
2013-03-27 cs.LG stat.ML
Bayesian optimization of the PC algorithm for learning Gaussian Bayesian networks
Universidad Politécnica de Madrid(马德里理工大学);Universidad Autónoma de Madrid(马德里自治大学);Departamento de Inteligencia Artificial(人工智能系);Departamento de Ingeniería Informática(信息工程系)
PC算法是学习高斯贝叶斯网络结构的一种流行方法。它进行统计测试,以确定网络中缺失的边缘。因此,它由两个参数控制:(i)检验类型,(ii)其显著性水平。这些参数通常设置为专家推荐的值。然而,这种方法可能会受到人类偏见的影响,导致次优的重建结果。在本文中,我们考虑一个更原则的方法来选择这些参数的自动化。为此,我们优化了一组不同的高斯贝叶斯网络上评估的重建分数。这个目标的评估成本很高,并且缺乏封闭形式的表达式,这意味着贝叶斯优化(BO)是一个自然的选择。BO方法使用模型来指导搜索,因此能够利用目标表面的平滑特性。我们发现,BO方法找到的参数优于随机搜索策略和专家推荐。重要的是,我们发现一个经常被忽视的统计测试提供了最好的整体重建结果。
2018-06-28 cs.LG stat.ML
Structured Bayesian Gaussian process latent variable model: applications to data-driven dimensionality reduction and high-dimensional inversion
University of Notre Dame(圣母大学)
我们介绍了一种方法,使用变分贝叶斯方法的未知量是一个空间领域的非线性反问题。一个结构化的贝叶斯高斯过程潜变量模型被用来构建一个低维的生成模型的基于样本的随机先验以及替代的前向评估。它的贝叶斯公式捕捉有限数量的输入和输出的例子引入的认知不确定性,自动选择一个适当的维数为学习的潜在表示的数据,并严格传播的不确定性的数据驱动的降维的随机空间通过前向模型代理。结构化的高斯过程模型明确地利用空间信息进行信息生成,从而提高样本效率,同时通过相关核矩阵的克罗内克积分解实现计算易处理性。重要的是,贝叶斯反演是通过求解变分优化问题来进行的,取代了传统的计算昂贵的蒙特卡罗采样。该方法被证明在椭圆型偏微分方程,并返回校准后验,是易于处理的潜在空间超过100个维度。
2018-07-11 cs.LG stat.ML
Generative, Fully Bayesian, Gaussian, Openset Pattern Classifier
AGNITIO Research(AGNITIO研究机构)
本报告详细介绍了一个封闭形式的,完全贝叶斯,多类,开集,生成模式分类器使用多元高斯似然,共轭先验。生成模型具有共同的类内协方差,其与共轭先验中的类间协方差成比例。标量比例常数是唯一的插件参数。所有其他模型参数都以封闭形式进行积分。给出了模型证据的表达式,该表达式可用于对比例常数进行插件估计。模式识别是通过训练数据可用的类的预测可能性以及任何尚未看到的类的预测可能性来完成的。
2013-07-24 cs.LG stat.ML
Information fusion in multi-task Gaussian processes
Australian Centre for Field Robotics, The University of Sydney(悉尼大学澳大利亚现场机器人中心)
本文评估异构信息融合的背景下,地质资源建模使用多任务高斯过程。具体来说,它经验表明,跨异构信息源的信息集成导致所有被建模的量的优越估计,单独建模它们相比。多任务高斯过程提供了一种强大的方法,同时考虑这些量之间的相关性的同时建模的多个感兴趣的量。在大规模真实传感器数据上进行了实验。
2013-09-05 cs.AI cs.LG stat.ML
Bayesian Inference in Sparse Gaussian Graphical Models
University of Edinburgh(爱丁堡大学);Pharmatics Ltd(Pharmatics有限公司)
科学的基本任务之一是在观察到的现象之间找到可解释的关系。这一任务的一种方法,近年来受到关注的是基于概率图形模型与稀疏约束的模型结构。在本文中,我们描述了两种新的方法来贝叶斯推断稀疏结构的高斯图模型(GGM)。一个是基于一个简单的修改的尖端块吉布斯采样器稀疏GGM,这导致显着的计算增益在高维。另一种方法是基于哈密顿蒙特卡罗采样器的一个特定的结构,这导致进一步的显着改善。我们比较了我们的完全贝叶斯方法与流行的基于规则的图形LASSO,并在相同的计算成本下证明了贝叶斯处理的显着优势。我们将这些方法应用于广泛的模拟数据集和真实的金融数据集。
2013-09-27 cs.LG stat.ML
Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer
the University of Sydney(悉尼大学);JD Explore Academy, JD.com Inc.(京东探索研究院);University of Social Sciences(社会科学大学);Systems Research Institute of the Polish Academy of Sciences(波兰科学院系统研究所);Tsinghua University(清华大学)
贝叶斯神经网络(BNN)已经成为减轻深度学习中过度自信预测的主要方法,但是由于大量的分布参数,它们经常遭受缩放问题。在本文中,我们发现深度网络的第一层在单独重新训练时具有多个不同的最优值。这表明当第一层被贝叶斯层改变时,后验方差很大,这促使我们设计时空融合BNN(STF-BNN)以有效地将BNN扩展到大模型:(1)首先从零开始正常训练神经网络以实现快速训练;(2)第一层转换为贝叶斯并采用随机变分推理进行推断,而其他层是固定的。与普通的BNN相比,我们的方法可以大大减少训练时间和参数的数量,这有助于有效地扩展BNN。进一步对STF-BNN的泛化能力和抑制过度自信的能力提供了理论保证。综合实验表明,STF-BNN(1)在预测和不确定性量化方面达到了最先进的性能;(2)显着提高了对抗鲁棒性和隐私保护;(3)大大减少了训练时间和内存成本。
2021-12-12 cs.AI cs.LG stat.ML
Multistatic-Radar RCS-Signature Recognition of Aerial Vehicles: A Bayesian Fusion Approach
Northeastern University(东北大学);University of Pittsburgh(匹兹堡大学);DEVCOM ARL(DEVCOM陆军研究实验室)
针对多基地雷达RATR中融合方法次优的问题,提出结合最优贝叶斯融合与递归贝叶斯分类的全贝叶斯框架,经7种无人机模拟轨迹实验验证,分类准确率显著优于单雷达及次优融合方法。
2024-08-16 cs.CV cs.LG eess.SP
Scalable Bayesian Optimization with Sparse Gaussian Process Models
Deakin University(迪肯大学)
该研究围绕贝叶斯优化,提出结合导数信息与可扩展稀疏高斯过程,以加快收敛并处理海量数据。
2020-10-26 cs.IR cs.LG stat.ML
Bayesian Optimization using Deep Gaussian Processes
Université de Lille(里尔大学);CNRS/CRIStAL(法国国家科学研究中心/CRIStAL实验室);Inria Lille(法国里尔国家信息与自动化研究所)
使用高斯过程的贝叶斯优化是处理昂贵的黑盒函数优化的流行方法。然而,由于经典高斯过程的协方差阵的平稳性是先验的,这种方法可能不适用于非平稳函数的优化问题。为了克服这个问题,提出了一种新的贝叶斯优化方法。它基于深度高斯过程作为代理模型,而不是经典的高斯过程。这种建模技术通过简单地考虑平稳高斯过程的功能组成来增加表示的能力以捕获非平稳性,从而提供多层结构。本文提出了一种耦合深度高斯过程和贝叶斯优化的全局优化算法。这种优化方法的特殊性进行了讨论,并突出了学术测试案例。分析测试用例和航空航天设计优化问题的性能评估所提出的算法相比,最先进的静态和非静态的贝叶斯优化方法。
2019-05-07 cs.CE cs.LG stat.ML
Momentum-Space Renormalization Group Transformation in Bayesian Image Modeling by Gaussian Graphical Model
Tohoku University(东北大学);Yamagata University(山形大学)
针对高斯图模型,提出了一种将边际似然最大化与动量空间重整化群变换相结合的贝叶斯建模方法。此外,我们提出了一个计划计算的统计平均值的超参数和均方误差在我们提出的方法的基础上动量空间重整化变换。
2018-03-20 cond-mat.stat-mech cs.LG stat.ML
Iterative Correction of Sensor Degradation and a Bayesian Multi-Sensor Data Fusion Method
ETH Zürich(苏黎世联邦理工学院)
我们提出了一种新的方法推断地面实况信号从多个退化的信号,受不同数量的传感器曝光。该算法通过仅从两个信号之间的比率对两个信号进行迭代校正来学习乘性退化效应。退化函数d应该是连续的,满足单调性,并且d(0)= 1。我们使用平滑单调回归方法,在那里我们很容易将上述标准的拟合部分。我们包括理论分析和证明收敛到地面实况信号的无噪声测量模型。最后,我们提出了一种方法来融合噪声校正信号使用高斯过程。我们使用稀疏高斯过程,可以用于大量的测量与一个专门的内核,使所有传感器的噪声值的估计。数据融合框架可以自然地处理数据缺口,并提供一种简单而强大的方法来观察多个时间尺度上的信号趋势(长期和短期信号特性)。校正方法的可行性进行了评估与已知的地面真实信号的合成数据集。
2020-09-07 cs.IR cs.LG stat.ML
Bayesian Fusion of Multi-Band Images
University of Toulouse(图卢兹大学)
提出了一种多波段遥感图像的贝叶斯融合方法。所观察到的图像与要通过物理退化恢复的高光谱和高空间分辨率图像相关,由传感器特性定义的空间和光谱模糊和/或子采样。在贝叶斯估计框架内制定的融合问题。一个适当的先验分布,利用几何考虑。为了从感兴趣场景的后验分布计算其贝叶斯估计,设计了马尔可夫链蒙特卡罗算法来根据目标分布生成渐近分布的样本。为了有效地从这种高维分布中采样,在Gibbs采样策略中引入了Hamilton Monte Carlo步骤。相对于几个国家的最先进的融合技术,所提出的融合方法的效率进行评估。特别地,低空间分辨率的高光谱和多光谱图像被融合以产生高空间分辨率的高光谱图像。
2014-08-26 cs.CV physics.data-an stat.ME
Wasserstein Barycenter Gaussian Process based Bayesian Optimization
Department of Economics Management and Statistics, University of Milano-Bicocca(经济管理统计系,米兰-比科卡大学);Department of Computer Science Systems and Communication, University of Milano-Bicocca(计算机科学系统与通信系,米兰-比科卡大学)
针对标准高斯过程贝叶斯优化中超参数拟合存在缺陷的问题,提出通过预设多组超参数拟合并用Wasserstein重心组合的WBGP-BO方法,在棘手测试问题上仍能收敛到最优解。
2025-05-18 cs.LG math.OC stat.ML
Bayesian Fusion of Data Partitioned Particle Estimates
我们提出了一种贝叶斯数据融合方法来近似一个后验分布,从一个合奏的粒子估计,只有访问数据的子集。我们的方法依赖于近似的概率推断模型参数,通过蒙特卡罗方法,其次是更新和重采样计划相关的多个重要性抽样结合信息的初始估计。我们表明,该方法是收敛的粒子限制,并直接适用于多传感器数据融合问题的应用,通过演示多传感器开普勒轨道确定问题和仅方位跟踪问题的有效性。
2020-10-26 stat.CO
Bayesian autoregression to optimize temporal Matérn kernel Gaussian process hyperparameters
Eindhoven University of Technology(埃因霍温理工大学)
本文提出一种基于递归贝叶斯自回归估计的方法,用于优化时间Matérn核高斯过程的超参数,在运行时间和均方根误差上均优于边际似然最大化和HMC采样。
2025-08-13 cs.LG eess.SP stat.ML
Bayesian fusion forests for heterogeneous treatment effects on survival from randomised and real-world data
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Amsterdam University Medical Centre(阿姆斯特丹大学医学中心)
该研究提出贝叶斯融合森林框架,结合随机试验与真实世界数据估计生存异质性处理效应,经模拟和HIV数据分析显示其效率优于仅试验分析,可明确识别患者获益。
2026-08-03 stat.ME stat.ML
Regret bounds for meta Bayesian optimization with an unknown Gaussian process prior
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
贝叶斯优化通常假设贝叶斯先验是给定的。然而,在贝叶斯优化的强大的理论保证,往往是令人遗憾的是,在实践中,因为在先验的未知参数妥协。在本文中,我们采用了一种变体的经验贝叶斯,并表明,通过估计高斯过程之前从离线数据采样从相同的先验和构造无偏估计的后验,变体的GP-UCB和概率的改善实现了接近零的遗憾界,这减少到一个常数成比例的观测噪声的离线数据的数量和在线评估的数量增加。经验上,我们已经验证了我们的方法具有挑战性的模拟机器人问题的任务和运动规划。
2018-11-23 cs.AI cs.LG stat.ML
Data Fusion with Latent Map Gaussian Processes
University of California, Irvine(加州大学尔湾分校)
多保真度建模和校准是工程设计中普遍存在的数据融合任务。在本文中,我们介绍了一种新的方法的基础上潜在的地图高斯过程(LMGPs),使高效和准确的数据融合。在我们的方法中,我们将数据融合转换成一个潜在的空间学习问题,不同的数据源之间的关系自动学习。这种转换赋予我们的方法有吸引力的优势,如提高准确性,降低成本,灵活地联合融合任何数量的数据源,并能够可视化数据源之间的相关性。这种可视化允许用户检测模型形式错误或通过仅将LMGP拟合到良好相关的数据源子集来确定高保真仿真的最佳策略。我们还开发了一个新的核函数,使LMGP不仅建立一个概率多保真度代理,但也估计校准参数具有高精度和一致性。与现有技术相比,我们的方法的实现和使用相当简单,并且不太容易出现数值问题。我们展示了基于LMGP的数据融合的好处,通过比较其性能对竞争的方法在广泛的例子。
2022-01-13 cs.LG stat.AP stat.ML
Bayesian data fusion for unmeasured confounding
贝叶斯因果推断提供了一个原则性的方法,建议的干预措施的政策评估介质或随时间变化的曝光。我们概述了一个一般的方法来估计因果量的设置随时间变化的混杂,如保险引起的中介结果混杂。我们进一步扩展这种方法,提出两个贝叶斯数据融合(BDF)方法的不可测的混杂。使用与混杂偏倚参数相关的量的信息先验,我们的方法结合了来自外部来源的数据,其中测量混杂因素,以便在主要研究人群中推断因果被估量。我们目前的结果,从模拟研究比较我们的数据融合方法,两种常见的频率校正方法的未测量的混杂偏差的调解设置。我们还证明了我们的方法与癌症诊断阶段的作用,在促进黑白结直肠癌生存差异的调查。
2019-02-27 stat.AP stat.ME
A Bayesian estimation approach to analyze non-Gaussian data-generating processes with latent classes
近年来,在各个领域积累了大量的观测数据,并且越来越需要估计这些数据的生成过程。基于外部影响的非高斯性,提出了一种线性非高斯非循环模型(LiNGAM)来估计变量的数据生成过程。然而,如果存在潜在类,则估计的结果可能有偏差。在本文中,我们首先回顾LiNGAM,其扩展模型,以及LiNGAM的贝叶斯框架中的估计过程。然后,我们提出了一个新的贝叶斯估计过程,解决了这个问题。
2014-08-02 stat.ML
Heteroscedastic Neural Surrogate Modeling for Robust and Rapid Bayesian Inference in Fusion Plasma Diagnostics
The University of Tokyo(东京大学);National Institute for Fusion Science(国立核聚变科学研究所)
本文针对聚变等离子体诊断中MCMC贝叶斯推理的计算瓶颈与噪声敏感性问题,提出双头架构的异方差神经代理框架,实现超1500倍加速且降低20%以上推理误差,为实时物理分析提供新范式。
2026-08-21 cs.LG stat.CO
Horseshoe shrinkage methods for Bayesian fusion estimation
我们考虑高维信号的估计和结构学习的问题,通过正常的序列模型,其中潜在的参数向量是分段常数,或具有块结构。我们开发了一种贝叶斯融合估计方法,通过使用马蹄铁前诱导一个强大的收缩效应的连续差异的平均参数,同时施加足够的前浓度为非零值相同。因此,所提出的方法有利于一致的估计和结构恢复的信号片。我们提供了理论上的理由,我们的方法推导出后验收敛率和建立选择的一致性在适当的假设。我们还将我们提出的方法扩展到任意图上的信号去噪,并开发了有效的计算方法,同时提供了理论保证。我们通过大量的模拟和两个现实生活中的信号去噪在生物和地球物理应用的例子证明了基于马蹄铁贝叶斯融合估计方法的优越性能。我们还展示了我们的方法在一个现实世界的大型网络的图形信号去噪问题的估计性能。
2021-03-30 math.ST stat.ME stat.TH
Bayesian Fusion: Scalable unification of distributed statistical analyses
最近有相当大的兴趣在解决统一的分布式统计分析到一个单一的连贯推理的问题。这个问题在许多情况下自然会出现,包括在大数据环境中,在隐私约束下工作时,以及在贝叶斯模型选择中。大多数现有的方法依赖于方便的近似的分布式分析。虽然通常是计算效率高,并容易缩放相对于被统一的分析的数量,近似的方法可以有显着的缺点-推理的质量可以迅速降低与被统一的分析的数量,并可以基本上是有偏见的,即使在统一的少量的分析,不同意。相比之下,Dai等人(2019)最近的Fusion方法是一种拒绝抽样方案,该方案易于并行化且精确(避免除蒙特卡罗误差外的任何形式的近似),尽管其适用性有限,无法统一少量低维分析。在本文中,我们介绍了一个实用的贝叶斯融合方法。我们扩展了融合方法的理论基础,通过将其嵌入到序贯蒙特卡罗算法中,我们能够恢复正确的目标分布。通过对该方法实施的广泛指导,我们从理论上和经验上证明了贝叶斯融合对越来越多的分析具有鲁棒性,并且一致地统一了不一致的分析。这是实现的,而计算上的竞争力与近似方案。
2021-02-03 stat.ME
Fully Automatic Brain Tumor Segmentation using a Normalized Gaussian Bayesian Classifier and 3D Fluid Vector Flow
University of Alberta(阿尔伯塔大学)
从磁共振图像(MRI)分割脑肿瘤是测量肿瘤对治疗的反应的重要任务。然而,自动分割非常具有挑战性。提出了一种基于归一化高斯贝叶斯分类和新的三维流体矢量流(FVF)算法的脑肿瘤自动分割方法。在我们的方法中,归一化高斯混合模型(NGMM)的建议,并用于健康的脑组织建模。利用高斯贝叶斯分类器从测试脑MR图像中获取高斯贝叶斯脑图(GBBM)。进一步处理GBBM以初始化3D FVF算法,该算法分割脑肿瘤。该算法有两个主要贡献。首先,我们提出了一个NGMM模型健康的大脑。其次,我们将我们的2D FVF算法扩展到3D空间,并将其用于脑肿瘤分割。所提出的方法是在一个公开的数据集上进行验证。
2019-05-01 cs.CV cs.LG cs.MM
Variational Gaussian Dropout is not Bayesian
高斯乘性噪声通常用作确定性神经网络训练中的随机正则化技术。最近的一篇论文将该技术重新解释为贝叶斯神经网络中近似推理的特定算法;随后进行了几次扩展。我们发现,在所有上述出版物中使用的对数均匀先验一般不会导致一个适当的后验,因此在这样的模型中的贝叶斯推断是不适定的。独立于对数均匀先验,相关权重噪声近似具有导致无限目标或高过拟合风险的进一步问题。上述情况意味着,所报告的稀疏性所获得的解决方案不能解释贝叶斯或相关的最小描述长度参数。因此,我们从非贝叶斯的角度研究的目标,提供其以前未知的分析形式,允许精确的梯度评估,并表明,后来提出的添加剂重新参数化引入最小值不存在于原来的乘法参数化。最后讨论了研究的意义和未来的研究方向。
2017-11-08 stat.ML
Adaptive Gaussian process approximation for Bayesian inference with expensive likelihood functions
我们考虑计算密集型似然函数的贝叶斯推断问题。我们提出了一种基于高斯过程(GP)的方法来近似未知参数和数据的联合分布。特别是,我们写的联合密度近似为一个近似的后验密度和一个exponentiated GP代理的产品。然后,我们提供了一个自适应算法来构建这样的近似,其中使用主动学习方法来选择设计点。数值例子表明,该方法具有竞争力的性能对现有的贝叶斯计算方法。
2018-03-14 stat.CO stat.ML
Computationally Efficient Bayesian Learning of Gaussian Process State Space Models
高斯过程允许灵活地指定状态空间模型中未知动态的先验假设。我们提出了一个有效的贝叶斯学习过程中的高斯过程状态空间模型,其中的表示是通过投影问题到一组近似的特征函数来自先验协方差结构。在这一系列模型下的学习可以使用精心制作的粒子MCMC算法进行。该方案是计算效率高,但允许一个完全贝叶斯处理的问题。与传统的系统识别工具或现有的学习方法相比,我们表现出有竞争力的性能和可靠的量化模型中的不确定性。
2016-04-15 stat.CO stat.ML
Uncertainty Propagation and Bayesian Fusion on Unimodular Lie Groups from a Parametric Perspective
本文研究单模李群上的不确定性传播与贝叶斯融合,通过Mckean-Gangolli注入将李群上的SDE转换为指数坐标参数化形式,推导出均值与协方差拟合及传播方程,并改进Kalman滤波器更新步骤以提升融合精度。
2025-03-07 cs.SY eess.SY math.ST
Wasserstein Gaussianization and Efficient Variational Bayes for Robust Bayesian Synthetic Likelihood
针对贝叶斯合成似然(BSL)的正态分布假设偏差及统计量兼容性需求,结合Wasserstein高斯化变换、鲁棒BSL与高效变分贝叶斯,提出一种高效可靠的无似然近似贝叶斯推断方法。
2024-08-15 stat.CO stat.ML
Bayesian Effect Fusion for Categorical Predictors
在本文中,我们提出了一个贝叶斯方法,以获得一个稀疏表示的分类预测的影响,在回归型模型。由于分类预测因子的效应由一组水平效应捕获,因此稀疏性不仅可以通过排除单个不相关水平效应来实现,还可以通过排除与预测因子关联的整组效应或通过融合对响应具有基本相同效应的水平来实现。为了实现这一目标,我们提出了一个先验,它允许几乎完美的,以及几乎为零的水平影响之间的依赖先验。我们展示了如何通过指定与一个分类预测因子相关的所有效应差异上的尖峰和平板先验分布来获得此先验,以及如何实现限制性融合。提出了一种有效的后验计算MCMC方法。所提出的方法的性能进行了研究模拟数据。最后,我们说明了它的应用程序的实际数据从欧盟SILC。
2017-11-16 stat.CO
On Generalized Bayesian Data Fusion with Complex Models in Large Scale Networks
1 Sibley School of Mechanical
本文提出新的广义贝叶斯分布式数据融合算法,用于处理动态网络拓扑和复杂信念模型,通过混合pdf和条件因子提升多机器人目标搜索中的融合效果。
2013-08-14 cs.RO cs.SY eess.SY
Financial Applications of Gaussian Processes and Bayesian Optimization
在过去的五年里,金融行业受到数字化和机器学习的影响。在这篇文章中,我们探讨了近年来发展迅速的两种方法:高斯过程和贝叶斯优化。高斯过程可以被看作是高斯随机向量的推广,并且与核方法的发展相关联。贝叶斯优化是一种在小维度上执行无导数全局优化的方法,并使用高斯过程来定位黑盒函数的全局最大值。本文的第一部分回顾了这两个工具,并展示了它们是如何连接的。特别是,我们专注于高斯过程回归,这是贝叶斯机器学习的核心,以及超参数选择的问题。第二部分介绍两个金融应用程序。我们首先考虑利率期限结构的建模。更确切地说,我们测试了拟合方法,并比较了GP预测和随机游走模型。第二个应用是趋势跟踪策略的构建,特别是趋势和协方差窗口的在线估计。
2019-03-12 q-fin.PM stat.ML
Bayesian Prediction of Nitrate Concentration Using a Gaussian Log-Gaussian Spatial Model with Measurement Error in Explanatory Variables
这篇文章已被删除arXiv管理员由于伪造的作者。
2019-01-18 stat.AP
Frequentist and Bayesian inference for Gaussian-log-Gaussian wavelet trees, and statistical signal processing applications
我们引入新的估计方法的子类的高斯尺度混合模型的小波树Wainwright,Simoncelli和Willsky依赖于现代的结果,复合似然和近似贝叶斯推理。我们的方法说明在二维图像中的去噪和边缘检测问题。
2017-08-10 math.ST stat.ME stat.TH
Constrained Bayesian Optimization under Bivariate Gaussian Process with Application to Cure Process Optimization
针对约束贝叶斯优化中目标与约束函数独立性假设不成立的问题,提出利用二元高斯过程刻画二者依赖关系并开发约束期望改进获取函数,在固化过程优化中验证了其有效性。
2025-05-30 stat.AP stat.CO stat.ML
Linear-Time Algorithm in Bayesian Image Denoising based on Gaussian Markov Random Field
Yamagata University(山形大学);Tohoku University(东北大学)
在本文中,我们考虑贝叶斯图像去噪的高斯马尔可夫随机场(GMRF)模型的基础上,我们提出了一种新的算法。我们的方法可以解决贝叶斯图像去噪问题,包括超参数估计,在$O(n)$时间,其中$n$是在给定的图像中的像素的数量。从计算时间的顺序的角度来看,这是一个国家的最先进的算法,目前的问题设置。此外,我们的数值实验结果表明我们的方法在实践中是有效的。
2020-03-03 cond-mat.dis-nn cs.CV stat.ML
Bayesian Spatial Binary Regression for Label Fusion in Structural Neuroimaging
阿尔茨海默病是一种神经退行性疾病,相对于正常衰老,它会加速认知能力的下降。更好地了解大脑中的早期疾病机制以促进有效的靶向治疗具有至关重要的科学意义。海马的体积常用于疾病的诊断和监测。通过神经成像测量这个体积是困难的,因为每个海马必须手动识别或自动描绘,这是一项称为分割的任务。自动海马体分割通常涉及将先前手动分割的图像映射到新的大脑图像,并传播标签以获得每个海马体在新图像中的位置的估计。最近解决这个问题的方法是从多个手动分割的图谱中传播标签,并使用称为标签融合的过程将结果组合在一起。迄今为止,大多数标签融合算法采用直接分配或通过优化估计的投票权重的投票过程。我们建议使用一个完全贝叶斯空间回归模型的标签融合,有利于直接纳入协变量的信息,同时访问整个后验分布。我们的研究结果表明,将组织分类(例如,灰质)到标签融合过程中,可以大大提高分割时,相对均匀,健康的大脑被用作患病大脑的图谱。完全贝叶斯方法还产生了关于海马体积的有意义的不确定性测量,这些信息可以用来检测健康人群和患病人群之间的显著的、有科学意义的差异,提高了早期检测和跟踪疾病的可能性。
2022-01-14 stat.AP stat.ME
A Bayesian take on option pricing with Gaussian processes
局部波动率是一个通用的期权定价模型,由于其状态依赖的扩散系数。然而,校准是不平凡的,因为它涉及提出潜在函数的假设模型和将其拟合到数据的方法。在本文中,我们提出了新的贝叶斯推理高斯过程先验。我们获得了丰富的本地波动率函数的概率概念的不确定性附加到校准表示。我们提出了一个推理算法,并将我们的方法应用于标准普尔500指数的市场数据。
2021-12-07 econ.EM q-fin.MF stat.ML