Bayesian Optimization for Parameter Tuning of the XOR Neural Network
Imperial College London(帝国理工学院);California Institute of Technology(加州理工学院)
当将机器学习技术应用于问题时,必须选择模型参数以确保系统收敛,但也不会卡在目标函数的局部最小值。对于大型模型,调整这些参数成为一项重要任务,并且用户是否找到了最佳参数并不总是显而易见的。我们的目标是通过实现贝叶斯优化来自动调整神经网络的过程(其中只有有限数量的参数搜索尝试可用)。特别地,通过将高斯过程先验分配给参数空间,我们利用贝叶斯优化来调整用于学习XOR函数的人工神经网络,从而实现更高的预测精度。
2017-11-14 cs.AI stat.ML
Impact of Parameter Sparsity on Stochastic Gradient MCMC Methods for Bayesian Deep Learning
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);SRI International(斯坦福国际研究院);US Army Research Laboratory(美国陆军研究实验室)
贝叶斯方法对于提高深度神经网络模型的不确定性量化能力和鲁棒性具有重要的前景。最近的研究已经看到了一些深度神经网络的近似贝叶斯推理方法的调查,建立在变分贝叶斯和马尔可夫链蒙特卡罗(MCMC)框架。MCMC方法的一个基本问题是,它们所实现的改进是以增加计算时间和模型存储成本为代价的。在本文中,我们研究了稀疏网络结构的潜力,灵活地权衡模型存储成本和推理运行时间对预测性能和不确定性量化能力。我们使用随机梯度MCMC方法作为核心贝叶斯推理方法,并考虑了各种方法来选择稀疏网络结构。令人惊讶的是,我们的研究结果表明,某些类别的随机选择的子结构可以执行以及来自最先进的迭代修剪方法的子结构,同时大大减少模型训练时间。
2022-02-08 cs.AI cs.LG
The threshold EM algorithm for parameter learning in bayesian network with incomplete data
Preparatory Institute of Engineer of Faculty of science of Monastir(莫纳斯提尔科学学院工程师预备学院);Faculty of science of Monastir(莫纳斯提尔科学学院)
贝叶斯网络(BN)应用范围很广,但它们有一个关于参数学习的问题。在实际应用中,训练数据往往是不完整的,或者是隐藏了一些节点。为了解决这个问题,提出了许多学习参数算法,如EM算法、Gibbs抽样算法和RBE算法。为了限制EM算法的搜索空间和避免EM算法的局部极值,本文提出了一种融合EM算法和RBE算法的学习参数算法。该算法将一个参数的范围纳入EM算法。这个范围是通过RBE算法的第一步计算的,允许在EM算法的最大化步骤之后对baidu网络中的每个参数进行正则化。将阈值EM算法应用于脑肿瘤的诊断中,对比了EM算法的优缺点。
2012-04-07 cs.AI cs.LG stat.ML
Structural Refinement of Bayesian Networks for Efficient Model Parameterisation
Department of Statistics, University of Warwick(沃里克大学统计系)
针对贝叶斯网络参数化中数据稀缺、CPT参数过多的问题,本文综述了多种结构精化近似方法,分析其特性要求,通过心血管风险评估模型实例评估,并给出方法选择的实用指导。
2025-09-30 cs.AI cs.LG stat.AP
Towards Practical Bayesian Parameter and State Estimation
UC Berkeley(加州大学伯克利分校);Baidu Research(百度研究院)
状态和参数联合估计是动态贝叶斯网络的核心问题。虽然现代概率推理工具包使它相对容易地指定大型和实际相关的概率模型,银弹-一个有效的和一般的在线推理算法,这样的问题-仍然难以捉摸,迫使用户编写专用代码为每个应用程序。我们提出了一种新的黑箱算法--一种混合的状态变量的粒子滤波和参数变量的假设密度滤波。它具有以下优点:(a)由于其在线性质,它是有效的,(b)它适用于离散和连续参数空间。在各种玩具和真实模型上,我们的系统能够在固定的计算预算内生成更准确的结果。这一初步证据表明,所提出的方法可能具有实际用途。
2016-03-29 cs.AI cs.LG stat.ML
Identifying Informative Environments for Cognition Parameter Inference via Bayesian Experimental Design
该研究针对认知参数推断的环境选择问题,将认知规划实验建模为贝叶斯实验设计问题,提出摊销贝叶斯实验设计框架,经Mouselab-MDP实验验证其高效性,揭示了环境选择的权衡关系。
2026-08-04 cs.AI stat.ML
Automatic tempered posterior distributions for Bayesian inversion problems
Universidad rey Juan Carlos(胡安·卡洛斯国王大学);Universidad Carlos III de Madrd(马德里卡洛斯三世大学)
我们提出了一种新的自适应重要性抽样计划贝叶斯反演问题的利益和数据噪声的功率的推断是分裂的。更具体地说,我们考虑对感兴趣的变量进行贝叶斯分析(即,要反演的模型参数),而我们采用极大似然方法来估计噪声功率。整个技术通过迭代过程、交替采样和优化步骤来实现。此外,噪声功率也被用作感兴趣的变量的后验分布的缓和参数。因此,生成一系列的回火后验密度,其中回火参数是根据噪声功率的实际估计自动选择的。还可以对模型参数和尺度参数进行完整的贝叶斯研究。数值实验表明,所提出的方法的好处。
2021-07-24 cs.AI stat.CO
Bayeslands: A Bayesian inference approach for parameter uncertainty quantification in Badlands
University of Sydney(悉尼大学)
贝叶斯推断为地球物理正演模型中参数的估计和不确定性量化提供了一种严格的方法。荒地(盆地和景观动力学模型)是一种模拟不同时空尺度地形演变的景观演化模型。荒地由许多地球物理参数组成,这些参数需要通过适当的不确定性量化进行估计;考虑到目前观察到的地面实况,如表面地形和沉积物沉积的地层学。未知参数的推断是具有挑战性的,由于数据的稀缺性,参数设置的敏感性和荒地模型的复杂性。在本文中,我们采取贝叶斯方法,使用马尔可夫链蒙特卡罗抽样(MCMC)提供推理。我们提出了\textit{Bayeslands} ;荒地的贝叶斯框架,融合了从复杂的前向模型与观测数据和先验知识获得的信息。作为一个概念验证,我们认为一个合成的和现实世界的地形与贝叶斯推断,即降水和可蚀性的两个参数。实验结果表明,贝叶斯方法得到了一个很好的参数分布。此外,我们证明了使用具有一系列次优模式的似然曲面对不规则和多模态后验分布进行采样的挑战。
2021-07-05 cs.AI cs.CE physics.geo-ph
Bayesian Optimisation for Robust Model Predictive Control under Model Parameter Uncertainty
University of Sydney(悉尼大学);NVIDIA(英伟达)
我们提出了一种自适应优化方法调整随机模型预测控制(MPC)的超参数,同时联合估计的过渡模型参数的概率分布的基础上的性能奖励。特别是,我们开发了一个贝叶斯优化(BO)算法与异方差噪声模型来处理不同的噪声在MPC超参数和动态模型参数空间。典型的同方差噪声模型是不现实的调整MPC,因为随机控制器固有的噪声,和噪声的水平是由他们的超参数设置的影响。我们评估所提出的优化算法在模拟控制和机器人任务,我们共同推断控制和动力学参数。实验结果表明,我们的方法导致更高的累积奖励和更稳定的控制器。
2022-05-31 cs.AI cs.LG cs.RO
Bayesian Parameter Estimations for Grey System Models in Online Traffic Speed Predictions
Benedict College(本尼迪克特学院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);North Carolina State University(北卡罗来纳州立大学)
本文提出了一阶灰色系统模型参数(有时称为超参数)的贝叶斯参数估计。一阶灰色系统模型有不同的形式。包括$GM(1,1)$、$GM(1,1| \cos(ωt)$、$GM(1,1| \sin(ωt)$和$GM(1,1| \cos(ωt), \sin(ωt)$。这些模型的白化方程是\[ \frac{dx}{dt} + a x = f(t) \]形式的一阶线性微分方程,其中$a$是参数,$GM(1,1|)$中的$f(t) = b$,$GM(1,1| cos(ωt)$中的$f(t) = b_1\cos(ωt) + b_2$,$GM(1,1| \sin(ωt)$中的$f(t) = b_1\sin(ωt)+b_2$,$GM(1,1| \cos(ωt), \sin(ωt)$中的$f(t) = b_1\sin(ωt) + b_2\cos(ωt) + b_3$,Grey Verhulst模型(GVM)中的$f(t) = b x^2$,其中$b, b_1, b_2$和$b_3$是参数。将贝叶斯估计的结果与具有固定$ω$的最小二乘估计模型进行比较。我们发现,使用滚动贝叶斯估计GM参数可以让我们估计的参数在所有可能的形式。基于用于比较的数据,数值结果表明,贝叶斯参数估计模型的均方误差高达45%以上的准确性。
2021-08-15 cs.AI cs.SY eess.SY