Concentration and Confidence for Discrete Bayesian Sequence Predictors
Australian National University(澳大利亚国立大学)
贝叶斯序列预测是一种简单的技术,用于预测从可数字母表上的无限序列上的未知测量采样的未来符号。虽然已知预期累积误差的强界,但关于该误差的分布只有有限的结果。我们证明了严格的高概率界的累积误差,这是衡量的Kullback-Leibler(KL)的分歧。我们还考虑了问题的KL和Hellinger错误的构造上的置信区间类似于那些从Hoeffding样界的i.i.d.案子新的结果表明,贝叶斯序列预测可以用在知道它知道(KWIK)框架与边界匹配的最先进的。
2013-06-29 cs.LG stat.ML
BayesJudge: Bayesian Kernel Language Modelling with Confidence Uncertainty in Legal Judgment Prediction
School of electronics and Computer Science, University of Southampton(南安普顿大学电子与计算机科学学院);Thomson Reuters Labs(汤姆森路透实验室);Technology Innovation Institute(技术创新研究院)
针对法律判决预测中置信度评估的关键问题,提出结合深度学习与深度高斯过程的贝叶斯方法BayesJudge,通过贝叶斯核蒙特卡洛dropout量化不确定性,提升预测准确率与置信度估计,并实现不可靠预测自动审查,准确率最高提升27%,推动可信透明的法律AI应用。
2024-04-16 cs.LG
Fixed Confidence Best Arm Identification in the Bayesian Setting
Universitá degli Studi di Milano(米兰大学);New York University(纽约大学);The University of Queensland(昆士兰大学)
该研究针对贝叶斯场景下的固定置信度最优臂识别问题,证明传统频率论FC-BAI算法在该场景下性能次优,推导了期望采样次数下界,提出匹配该下界(仅差对数因子)的连续消除变体算法并通过仿真验证。
2024-06-23 cs.LG stat.ML
Lévy walks derived from a Bayesian decision-making model in non-stationary environments
The University of Tokyo(东京大学);SoftBank Robotics Group Corp.(软银机器人集团公司);Osaka City University(大阪市立大学);Waseda University(早稻田大学);Shinshu University(信州大学)
Lévy Walks在各种生物的迁移行为模式中被发现,这种现象的原因已经被广泛讨论。我们使用模拟来证明,学习导致在非平稳环境中的决策过程中的置信水平的变化,并导致Lévy-walk-like模式。一种涉及置信度的推理算法是贝叶斯推理。我们提出了一种算法,引入学习和遗忘的影响贝叶斯推理,并模拟模仿游戏中,两个决策代理将算法估计对方的内部模型,从他们的对手的观测数据。对于没有学习的遗忘,由于缺乏关于对方的信息,代理人的信心水平仍然很低,并且布朗行走发生在很宽的遗忘率范围内。相反,当学习被引入时,即使在高遗忘率的情况下,高置信水平偶尔也会出现,布朗漫步普遍成为通过高置信和低置信状态混合的列维漫步。
2020-12-16 cs.AI cs.LG cs.MA
Fixed-Confidence Guarantees for Bayesian Best-Arm Identification
Inria Lille Nord Europe(法国国家信息与自动化研究所里尔-北欧中心);Université de Lille(里尔大学);Leiden University(莱顿大学);CWI(荷兰数学与信息学研究中心);CNRS(法国国家科学研究中心);DeepMind Paris(DeepMind巴黎)
我们调查,并提供新的见解称为前两个汤普森抽样(TTTS)的抽样规则。特别是,我们证明其用于固定置信度的最佳臂识别。我们进一步提出了一个变种的TTTS称为前两名的运输成本(T3C),它处置的计算负担的TTTS。作为我们的主要贡献,我们提供了TTTS和T3C的第一个样本复杂性分析,结合了一个非常自然的贝叶斯停止规则,用于高斯奖励的强盗,解决了Russo(2016)提出的一个开放问题。我们还提供了新的后验收敛结果TTTS下的两个模型,通常在实践中使用:强盗高斯和伯努利奖励和共轭先验。
2019-10-28 cs.LG stat.ML
Expectation Propagation for approximate Bayesian inference
Carnegie Mellon University(卡内基梅隆大学)
本文提出了一种新的贝叶斯网络的确定性逼近技术。这种方法,“期望传播”,统一了两个以前的技术:假设密度过滤,卡尔曼滤波器的扩展,和循环的信念传播,在贝叶斯网络的信念传播的扩展。所有这三种算法都试图恢复一个近似分布,该分布在KL散度上接近真实分布。循环信念传播,因为它传播精确的信念状态,是有用的信念网络的有限类别,如那些纯粹是离散的。期望传播通过仅保留某些期望(例如均值和方差)来近似信念状态,并迭代直到这些期望在整个网络中保持一致。这使得它适用于具有离散和连续节点的混合网络。期望传播也在相反的方向上扩展了信念传播-它可以传播更丰富的信念状态,包括节点之间的相关性。高斯混合模型的实验表明,期望传播令人信服地优于具有类似计算成本的方法:拉普拉斯方法,变分贝叶斯和蒙特卡洛。期望传播也提供了一个有效的算法训练贝叶斯点机分类器。
2013-01-10 cs.AI cs.LG
The Bayesian Confidence (BACON) Estimator for Deep Neural Networks
Air Force Research Laboratory(美国空军研究实验室);Brigham Young University(杨百翰大学);UD Sinclair Academy(辛克莱学院)
本文提出用于深度神经网络的贝叶斯置信度估计器(BACON),通过几何模型和贝叶斯法则估计输出概率,在CIFAR-10不平衡测试集上较Softmax展现出更优的ECE和ACE校准误差。
2024-10-16 cs.LG
An Efficient Confidence Measure-Based Evaluation Metric for Breast Cancer Screening Using Bayesian Neural Networks
Ryerson University(瑞尔森大学)
筛查乳房X线照片是早期发现乳腺癌的金标准。虽然已经对乳房X线摄影图像分类进行了大量的工作,特别是使用深度神经网络,但是还没有对分类的置信度或不确定性测量进行太多的探索。在本文中,我们提出了一个基于置信度的乳腺癌筛查评价指标。我们提出了一个模块化的网络架构,其中传统的神经网络被用作特征提取器与迁移学习,其次是一个简单的贝叶斯神经网络。利用两阶段的方法有助于降低计算复杂性,使所提出的框架有吸引力的更广泛的部署。我们表明,通过提供一个工具来调整贝叶斯神经网络的两个超参数,即网络的采样数的分数和最小概率的医疗从业者,该框架可以适应需要的领域专家。最后,我们认为,而不仅仅是一个单一的数字,如准确性,元组(准确性,覆盖率,网络的采样数量和最小概率)可以用作我们的框架的评估指标。我们提供了CBIS-DDSM数据集上的实验结果,在那里我们显示了在调整两个超参数时准确性-覆盖率权衡的趋势。我们还表明,与基线迁移学习相比,我们的置信度调整可以提高准确性,减少图像集,提高置信度。为了使所提出的框架易于部署,我们在https://git.io/JvRqE上提供(匿名)源代码和可重复的结果。
2020-08-12 cs.LG eess.IV
SOLBP: Second-Order Loopy Belief Propagation for Inference in Uncertain Bayesian Networks
University of Michigan(密歇根大学);DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室);BI Norwegian Business School(BI挪威商学院);University of Brescia(布雷西亚大学)
在二阶不确定贝叶斯网络中,条件概率仅在分布内已知,即,概率大于概率Delta方法已被应用于扩展精确的一阶推理方法,通过贝叶斯网络派生的和-积网络传播均值和方差,从而表征认知不确定性或模型本身的不确定性。或者,二阶信念传播已被证明为多树,但不是一般的有向无环图结构。在这项工作中,我们将Loopy Belief Propagation扩展到二阶贝叶斯网络的设置,从而产生二阶Loopy Belief Propagation(SOLBP)。对于二阶贝叶斯网络,SOLBP生成的推理与和积网络生成的推理一致,同时计算效率更高,可扩展性更强。
2022-08-16 cs.AI cs.LG stat.ML
PICProp: Physics-Informed Confidence Propagation for Uncertainty Quantification
National University of Singapore(新加坡国立大学);Columbia University(哥伦比亚大学);Brown University(布朗大学)
本文研究确定性偏微分方程的置信区间估计问题,提出基于双层优化的PICProp方法,无需强假设即可将置信度从数据位置传播至整个域,并提供概率保证和有效性定理。
2023-10-20 cs.AI cs.LG
Loss-calibrated expectation propagation for approximate Bayesian decision-making
Princeton Neuroscience Institute(普林斯顿神经科学研究所);Princeton University(普林斯顿大学)
近似贝叶斯推断方法提供了一套强大的工具,找到近似的棘手的后验分布。然而,机器学习应用程序通常涉及选择动作,在贝叶斯设置中,这些动作仅通过其对预期效用的贡献取决于后验分布。因此,越来越多的关于损失校准近似推理方法的工作试图开发对效用函数的影响敏感的后验近似。在这里,我们引入损失校准期望传播(Loss-EP),期望传播的损失校准变体。这种方法类似于标准EP,但有一个额外的因素使后验概率向更高效用的决策“倾斜”。我们展示了应用程序的高斯过程分类下的二进制效用函数与不对称的罚款假阴性和假阳性错误,并显示这种不对称性如何可以有戏剧性的后果,什么信息是“有用的”捕捉在一个近似。
2022-01-10 cs.LG stat.ML
Improved Regret Bounds for Gaussian Process Upper Confidence Bound in Bayesian Optimization
LY Corporation(LY公司)
本文改进了高斯过程上置信界在贝叶斯优化中的 regrets 上限,通过分析 Matérn 核和平方指数核下的性能,填补了现有界限与 Scarlett (2018) 界限之间的空白。
2026-10-28 cs.LG stat.ML
Bayesian Estimation of Differential Privacy
Microsoft Research(微软研究院);Microsoft(微软公司);University College London(伦敦大学学院)
差分私有SGD等算法能够训练具有正式隐私保证的机器学习模型。然而,这些算法在理论上保证的保护与它们在实践中提供的保护之间存在差异。一个新兴的工作链经验性地估计由不同的私人训练提供的保护,作为用于训练模型的隐私预算$\varepsilon$的置信区间。现有方法从成员推断攻击的假阳性和假阴性率的置信区间导出$\varepsilon$的置信区间。不幸的是,使用这种方法获得$ε$的窄高置信区间需要不切实际的大样本量和训练与样本一样多的模型。我们提出了一种新的贝叶斯方法,大大减少了样本量,并适应和验证了启发式绘制一个以上的样本每个训练模型。我们的贝叶斯方法利用假设检验解释的差分隐私获得后$\varepsilon$(不只是一个置信区间)的联合后的假阳性和假阴性率的成员推断攻击。对于相同的样本量和置信度,我们推导出$\varepsilon$的置信区间比之前的工作窄40%左右。我们从仅标签DP中改编的启发式方法可以用于进一步减少获得足够样本所需的训练模型数量,最多可减少2个数量级。
2022-06-15 cs.CR cs.LG
Optimal Regret Is Achievable with Bounded Approximate Inference Error: An Enhanced Bayesian Upper Confidence Bound Framework
Columbia University(哥伦比亚大学);Adobe Inc.(Adobe公司)
针对近似推断下贝叶斯老虎机算法的理论空白,提出EBUCB框架,证明在两种α散度误差有界时实现最优遗憾O(log T),并指出单一散度不足以保证亚线性遗憾。
2023-11-10 cs.LG stat.ML
MP-GELU Bayesian Neural Networks: Moment Propagation by GELU Nonlinearity
Graduate School of Information Science and Technology(信息科学技术研究生院);The University of Tokyo(东京大学)
贝叶斯神经网络(BNNs)是不确定度量化研究的重要框架。确定性变分推理是一种利用矩传播计算预测分布和目标函数的推理方法。不幸的是,导出矩需要在非线性函数中进行计算昂贵的泰勒展开,例如整流线性单元(ReLU)或S形函数。因此,需要一种新的非线性函数,其实现比传统函数更快的力矩传播。在本文中,我们提出了一种新的非线性函数命名为矩传播高斯误差线性单元(MP-GELU),使快速推导的一阶和二阶矩的BNN。MP-GELU通过将非线性应用于输入统计数据来实现矩的分析计算,从而减少了非线性函数所需的计算成本。在回归任务的实证实验中,我们观察到所提出的MP-GELU提供了更高的预测精度和更好的不确定性质量,并且执行速度比基于ReLU的BNN更快。
2022-11-24 cs.LG
Calibrating Bayesian Learning via Regularization, Confidence Minimization, and Selective Inference
King’s Communications, Learning & Information Processing (KCLIP) lab(国王通讯、学习与信息处理(KCLIP)实验室);Centre for Intelligent Information Processing Systems (CIIPS)(智能信息处理系统中心);Department of Engineering, King’s College London(伦敦国王学院工程系)
本文扩展了基于变分推断的贝叶斯学习,集成校准正则化、置信度最小化与选择性校准,提出SCBNN-OCM模型,在以拒绝部分输入为代价下实现了最优的分布内与分布外性能。
2025-11-03 cs.AI cs.LG eess.SP
Unity Smoothing for Handling Inconsistent Evidence in Bayesian Networks and Unity Propagation for Faster Inference
Aalborg University(奥尔堡大学);University of Copenhagen(哥本哈根大学)
我们提出统一平滑(US)处理贝叶斯网络模型和新的看不见的观察之间的不一致。我们表明,预测精度,使用连接树算法与美国是拉普拉斯平滑。此外,在利用数据结构的稀疏性的应用中,US在存储器使用方面优于拉普拉斯平滑。此外,我们详细介绍了如何避免冗余的计算,否则必须执行的消息传递计划中的连接树算法,我们称之为统一传播(UP)。实验结果表明,它总是更快地利用UP上的Lauritzen-Spigelhalter消息传递计划的联合树算法。
2022-01-21 cs.LG stat.CO
Robust Node Classification on Graphs: Jointly from Bayesian Label Transition and Topology-based Label Propagation
Indiana University-Purdue University Indianapolis(印第安纳大学与普渡大学印第安纳波利斯联合分校)
使用图神经网络(GNN)的节点分类已经广泛应用于各种现实场景中。然而,近年来,令人信服的证据表明,基于GNN的节点分类的性能可能会因拓扑扰动而大幅恶化,例如随机连接或对抗攻击。已经提出了各种解决方案,例如拓扑去噪方法和机制设计方法,以开发鲁棒的基于GNN的节点分类器,但是这些工作都不能完全解决与拓扑扰动相关的问题。最近,贝叶斯标签转换模型被提出来解决这个问题,但其收敛速度慢,可能会导致性能较差。在这项工作中,我们提出了一个新的标签推理模型,即LInDT,它集成了贝叶斯标签转换和基于拓扑的标签传播,以提高GNN对拓扑扰动的鲁棒性。LInDT优于现有的标签转换方法,因为它通过利用基于邻域的标签传播来改善不确定节点的标签预测,从而更好地收敛标签推理。此外,LIndT采用非对称狄利克雷分布作为先验,这也有助于它改进标签推理。在五个图数据集上的大量实验表明,在三种拓扑扰动情况下,LInDT对基于GNN的节点分类的优越性。
2022-08-21 cs.LG
Evidence-Gated LLM Priors for Multi-Objective Bayesian Optimization
State Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室)
针对多目标贝叶斯优化中LLM先验可能误导的问题,提出一种目标级声誉市场机制,通过在线反馈动态校准专家权重,并引入解耦反事实门控,在合成测试和分子优化基准上验证了动态校准的鲁棒性。
2026-06-15 cs.AI cs.LG
Noise-Adaptive Confidence Sets for Linear Bandits and Application to Bayesian Optimization
University of Arizona(亚利桑那大学);University of Pittsburgh(匹兹堡大学)
本文针对线性赌博机中未知噪声水平问题,提出半自适应和方差自适应置信集,并基于乐观方法开发首个实用方差自适应线性赌博机算法,在贝叶斯优化任务中取得更好或相当的性能。
2024-06-08 cs.LG stat.ML
Distributed Bayesian Learning with Stochastic Natural-gradient Expectation Propagation and the Posterior Server
University of Oxford(牛津大学);DeepMind
本文对贝叶斯机器学习算法做了两个贡献。首先,我们提出了随机自然梯度期望传播(SNEP),一种新的替代期望传播(EP),一个流行的变分推理算法。SNEP是一种黑盒变分算法,因为它不需要对感兴趣的分布进行任何简化假设,除了用于估计EP倾斜分布的矩的一些Monte Carlo采样器的存在之外。此外,相对于EP没有收敛保证,SNEP可以被证明是收敛的,即使使用蒙特卡罗矩估计。其次,我们提出了一种新的分布式贝叶斯学习架构,我们称之为后验服务器。后验服务器允许在数据集以分布式方式存储在集群中的情况下进行可扩展和鲁棒的贝叶斯学习,每个计算节点包含不相交的数据子集。在每个计算节点上运行一个独立的Monte Carlo采样器,仅直接存取局部数据子集,但其目标是在给定整个集群的所有数据的情况下近似全局后验分布。这是通过使用SNEP的分布式异步实现跨集群传递消息来实现的。我们证明了SNEP和分布式贝叶斯学习的逻辑回归和神经网络后服务器。保留字:分布式学习,大规模学习,深度学习,贝叶斯学习,变分推理,期望传播,随机近似,自然梯度,马尔可夫链蒙特卡罗,参数服务器,后验服务器。
2017-09-07 cs.LG stat.ML
Uncertainty Quantification and Propagation in Surrogate-based Bayesian Inference
University of Stuttgart(斯图加特大学);TU Dortmund University(多特蒙德工业大学)
本文提出了一种可扩展的贝叶斯框架,用于代理建模中的不确定性量化与传播,通过三种方法提升对现实世界建模任务中参数估计的可靠性。
2025-02-05 cs.LG stat.ML
Bayesian image segmentations by Potts prior and loopy belief propagation
Tohoku University(东北大学);Yamagata University(山形大学);National Tsing Hua University(国立清华大学)
提出了一种基于Potts先验和循环置信传播的贝叶斯图像分割模型。该贝叶斯模型涉及到Potts模型的两两交互作用、彩色图像建模中高斯分布的平均向量和协变矩阵。这些术语通常被称为统计机器学习理论中的超参数。为了确定这些超参数,我们提出了一个新的方案,超参数估计的基础上的条件最大化熵的Potts先验。该算法基于循环置信传播算法。此外,我们比较了我们的条件最大熵框架与传统的最大似然框架,也澄清如何在LBP的Potts模型的一阶相变影响我们的超参数估计程序。
2014-08-18 cond-mat.dis-nn cond-mat.stat-mech cs.CV
Bayesian Optimization of Robustness Measures under Input Uncertainty: A Randomized Gaussian Process Upper Confidence Bound Approach
Department of Computer Science, Nagoya Institute of Technology(计算机科学系,名古屋技术大学)
针对输入不确定性下鲁棒性度量优化中 GP-UCB 需手动设置较大参数 $β$ 的问题,提出从基于卡方分布采样 $β$ 的 RRGP-UCB,并证明其紧致期望遗憾界。
2025-07-23 cs.LG stat.ML
Sparse-Group Bayesian Feature Selection Using Expectation Propagation for Signal Recovery and Network Reconstruction
Max Planck Institute for Molecular Genetics(马克斯·普朗克分子遗传学研究所)
我们提出了一种贝叶斯方法的特征选择中存在的分组信息之间和组内水平的稀疏性。而不是使用随机算法的参数推断,我们采用期望传播,这是一个确定性和快速的算法。在存在分组信息的情况下,用于特征选择的可用方法具有许多简短的描述:一方面,Lasso方法虽然快速,但低估了回归系数,并且没有很好地利用分组信息,另一方面,贝叶斯方法虽然在参数估计中准确,但通常依赖于随机且缓慢的吉布斯抽样过程来恢复参数,使得它们例如对于基因网络重建是不可行的。我们的方法的贝叶斯稀疏组框架与期望传播,使我们不仅能够恢复准确的参数估计信号恢复问题,但也使得有可能将此贝叶斯框架的大规模网络重建问题。所提出的方法是通用的,但在应用方面,我们专注于基因调控网络。我们的模拟和实验数据表明,该方法构成了一个很好的选择网络重建的正确选择的功能,预测新的数据和合理的计算时间的数量。
2018-09-25 cs.LG stat.CO stat.ML
Adversarial Phenomenon in the Eyes of Bayesian Deep Learning
IBM Research AI(IBM研究院人工智能)
深度学习模型容易受到对抗性示例的影响,即通过故意的不可察觉的扰动获得的图像,使得模型以高置信度错误地分类它们。然而,阶级信心本身是不确定性的一个不完整的画面。因此,我们使用原则贝叶斯方法来捕获预测中的模型不确定性,以观察对抗性错误分类。我们提供了一个广泛的研究与不同的贝叶斯神经网络攻击的白盒和黑盒设置。比较了网络在噪声、攻击和干净测试数据下的行为。我们观察到贝叶斯神经网络在预测对抗性扰动时是不确定的,这种行为类似于随机高斯扰动。因此,我们得出结论,贝叶斯神经网络可以被认为是检测敌对的例子。
2017-11-22 cs.LG stat.ML
Confidence-Uncertainty Boundary Calibration for Bayesian Deep Learning in Medical Image Analysis
Escuela Técnica Superior de Ingenieros de Telecomunicación Universidad Politécnica de Madrid(电信工程高级学院马德里理工大学)
提出基于贝叶斯深度学习的概率优化框架,通过置信-不确定性边界曲线(CUBC)和边界损失(CUB-Loss)校准预测置信与不确定性,并引入双温度缩放(DTS)进行后处理,在肺炎、糖尿病视网膜病变和皮肤病变三个医学图像任务上验证了有效性。
2026-06-23 cs.CV cs.LG
Who's Afraid of Thomas Bayes?
Drexel University(德雷塞尔大学);Rapid7(Rapid7公司)
在许多情况下,神经网络在测试数据上表现良好,但倾向于高估其对分布外数据的信心。这导致了贝叶斯神经网络的采用,它可以更好地捕捉不确定性,因此更准确地反映模型的置信度。对于机器学习安全研究人员来说,这就提出了一个自然的问题,即贝叶斯模型如何影响模型的安全性。在这项工作中,我们探讨了贝叶斯主义和两种安全措施之间的相互作用:模型隐私和对抗鲁棒性。我们证明了贝叶斯神经网络更容易受到一般的成员推断攻击,但至少与对抗性示例的非贝叶斯对应物一样鲁棒。
2021-07-30 cs.CR cs.LG
CARE: Confidence-rich Autonomous Robot Exploration using Bayesian Kernel Inference and Optimization
Zhejiang University(浙江大学);Xi’an Jiaotong University(西安交通大学);University of Technology Sydney(悉尼科技大学)
本文提出基于贝叶斯核推断与优化(BKIO)的轻量级自主机器人探索方法,通过推断置信度丰富的互信息并结合贝叶斯优化,在保证准确性的同时大幅提升了未知复杂环境中的探索效率。
2023-09-11 cs.LG cs.RO
Robust Exploration with Tight Bayesian Plausibility Sets
University of New Hampshire(新罕布什尔大学)
对于许多被证明有效的强化学习算法来说,对状态和动作的乐观态度是探索的主要驱动力。我们提出了乐观面对明智的价值函数(OFVF)-一种新的数据驱动的贝叶斯算法来构建MDP的似然集,以探索鲁棒地最小化最坏情况下的探索成本。该方法通过引入两个新的想法来计算具有更严格的乐观估计的探索策略。首先,它是基于贝叶斯后验分布,而不是分布自由边界。其次,OFVF不构造可扩展性集作为简单的置信区间。置信区间作为相容性集是一个充分条件,但不是必要条件。OFVF使用价值函数的结构来优化可扩展性集合的位置和形状,以直接保证上界,而不必强制要求集合是置信区间。OFVF以发作的方式进行,其中发作的持续时间是固定和已知的。我们的算法本质上是贝叶斯的,可以利用先验信息。我们的理论分析表明,OFVF的鲁棒性,和实证结果表明其实际的承诺。
2019-04-17 cs.AI cs.LG stat.ML
Confidence Calibration for Convolutional Neural Networks Using Structured Dropout
Cornell University(康奈尔大学);MIT(麻省理工学院);MGH(麻省总医院)
在分类应用中,我们通常希望概率预测反映置信度或不确定性。Dropout是一种常用的训练技术,最近已与贝叶斯推理联系起来,产生了一种有效的方法来量化神经网络模型中的不确定性。然而,如前所述,使用dropout的天真实现计算的置信度估计可能校准不良,特别是在使用卷积网络时。在本文中,通过集成学习的镜头,我们关联的校准误差与模型之间的相关性与辍学。受此启发,我们探索使用结构化的辍学,以促进模型的多样性和提高置信度校准。我们使用SVHN,CIFAR-10和CIFAR-100数据集,从经验上比较使用各种dropout技术获得的模型多样性和置信误差。我们还展示了贝叶斯主动学习应用中结构化辍学的优点。
2019-06-23 cs.CV cs.LG stat.ML
Constrained Recurrent Bayesian Forecasting for Crack Propagation
IRT SystemX;SNCF(法国国家铁路公司)
本文针对铁路裂纹扩展预测问题,提出一种约束递归贝叶斯多步预测方法,在量化认知与偶然不确定性的同时引入物理和安全约束,揭示了预测精度与约束满足之间的权衡。
2024-10-18 cs.LG stat.ML
High-dimensional near-optimal experiment design for drug discovery via Bayesian sparse sampling
Chalmers University of Technology(查尔姆斯理工大学);AstraZeneca AB(阿斯利康公司)
我们研究的问题进行自动化实验设计的药物筛选,通过贝叶斯推理和优化。特别是,我们比较和对比的线性高斯模型和高斯过程的行为,当与置信上限算法,汤普森采样,或有界水平树搜索。我们表明,非近视的复杂的探索技术,使用稀疏树搜索有一个明显的优势,如汤普森采样或置信上限在这种情况下的方法。我们证明了显着的优越性,该方法比现有的和合成的药物毒性数据集。
2021-04-23 cs.LG q-bio.QM stat.ML
Deep Bayesian Reward Learning from Preferences
University of Texas at Austin(德克萨斯大学奥斯汀分校)
贝叶斯逆强化学习(IRL)方法是安全模仿学习的理想方法,因为它们允许学习代理推理奖励的不确定性和学习策略的安全性。然而,贝叶斯IRL是计算上棘手的高维问题,因为从后验的每个样本需要解决整个马尔可夫决策过程(MDP)。虽然存在非贝叶斯深度IRL方法,但这些方法通常推断奖励函数的点估计,从而排除了严格的安全性和不确定性分析。我们提出了贝叶斯奖励外推(B-REX),一个高效的,基于偏好的贝叶斯奖励学习算法,可扩展到高维,视觉控制任务。我们的方法使用继任者的功能表示和偏好的演示,有效地生成样本的后验分布的演示者的奖励函数,而不需要一个MDP求解器。使用后验样本,我们演示了如何在模仿学习设置中计算策略性能的高置信度界限,其中地面真实奖励函数是未知的。我们评估我们提出的方法学习玩雅达利游戏的任务,通过模仿学习从像素输入,没有访问游戏得分。我们证明了B-REX学习的模仿策略与最先进的深度模仿学习方法具有竞争力,该方法只学习奖励函数的点估计。此外,我们证明了通过B-REX生成的后验样本可以用于计算各种评估策略的高置信度性能界限。我们表明,高置信度的性能界限是有用的,准确地排名不同的评价政策时,奖励函数是未知的。我们还表明,高置信度的性能界限可能是有用的检测奖励投机。
2019-12-10 cs.AI cs.LG stat.ML
Conformalized Kernel Ridge Regression
IITP RAS(俄罗斯科学院信息技术问题研究所);Skoltech(斯科尔科沃科学技术学院)
一般预测模型不提供没有贝叶斯假设的预测的置信度度量。规避潜在限制的一种方法是使用保形方法来构造非参数置信区域,其提供关于有效性的保证。在本文中,我们提供了一个计算有效的核岭回归(KRR)的保形过程的详细描述,并进行了比较数值研究,看看如何以及保形区域对贝叶斯置信集执行。研究结果表明,一致化KRR可以得到具有特定覆盖率的预测置信区域,这对于构建基于预测模型的异常检测系统至关重要.
2016-09-19 cs.LG stat.AP stat.ML
End-to-end P300 BCI using Bayesian accumulation of Riemannian probabilities
Foxstream(Foxstream公司);Université Paris-Saclay(巴黎萨克雷大学);UVSQ(凡尔赛大学)
在脑机接口(BCI)中,基于事件相关电位(ERP)的P300检测方法主要针对拼写任务的单次分类。虽然这是一个重要的目标,但现有的P300 BCI仍然需要多次重复才能实现正确的分类精度。P300 BCI中的信号处理和机器学习进展主要围绕P300检测部分,而将字符分类排除在范围之外。为了减少重复的次数,同时保持良好的字符分类,关键是要接受完整的分类问题。我们引入了一个端到端的管道,从特征提取开始,由使用概率黎曼MDM的ERP级分类组成,该概率黎曼MDM使用贝叶斯累积试验的置信度来提供字符级分类。虽然现有的方法只在字符闪烁时增加字符的置信度,但我们的新管道称为黎曼概率的贝叶斯累积(ASAP),在每次闪烁后更新每个字符的置信度。我们提供了适当的推导和理论重构的贝叶斯方法的信息从信号到BCI字符的无缝处理。我们证明了我们的方法在公共P300数据集上的表现明显优于标准方法。
2022-11-15 cs.HC cs.LG eess.SP
Stabilising priors for robust Bayesian deep learning
Stellenbosch University(斯泰伦博斯大学)
贝叶斯神经网络(BNN)已经发展成为有用的工具,概率建模由于最近的进展,变分推理,使大规模BNN。然而,BNN仍然很脆弱,难以训练,特别是:(1)当使用由许多隐藏层组成的深层架构时,以及(2)在权重变化较大的情况下。我们使用信号传播理论来量化这些挑战,并提出自稳定先验。这是通过ELBO的重新表述来实现的,以允许先前影响网络信号传播。然后,我们开发了一个稳定的先验,在每个前向传递之前调整先验的分布参数,以确保传播信号的稳定性。这种稳定的信号传播导致改进的收敛性和鲁棒性,使得可以在更嘈杂的环境中训练更深的网络。
2019-10-23 cs.LG stat.ML
Loopy Belief Propagation for Approximate Inference: An Empirical Study
最近,研究者们证明了在具有纠错码循环的贝叶斯网络中使用Pearls多叉树算法的循环信念传播,其中最引人注目的例子是Turbo码的性能接近Shannon极限,其译码算法等价于链结构贝叶斯网络中的循环信念传播.在本文中,我们要问:纠错码上下文中是否有什么特殊之处,或者循环传播在更一般的设置中是否作为一种近似推理方案工作?我们比较了在四种贝叶斯网络结构中使用循环传播计算的边缘值和精确的边缘值,包括两个真实世界的网络:ALARM和QMR.我们发现循环信念经常收敛,并且当它们收敛时,它们给出了正确边缘值的一个很好的近似.然而,在QMR网络上,循环信念振荡,并且与正确的后验没有明显的关系.我们对这些振荡的原因进行了初步的研究,并指出一些防止它们的简单方法会导致错误的结果。
2013-01-23 cs.AI cs.LG
Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift
University of Cambridge(剑桥大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Alan Turing Institute(艾伦图灵研究所)
现代神经网络已被证明是功能强大的函数逼近器,在许多应用中提供最先进的性能。然而,他们缺乏量化预测信心的能力-这在涉及关键决策的高风险应用中至关重要。贝叶斯神经网络(BNN)的目标是通过在网络参数上放置先验分布来解决这个问题,从而诱导出封装预测不确定性的后验分布。虽然基于蒙特卡罗丢弃的BNN的现有变体对分布内数据产生可靠的(尽管是近似的)不确定性估计,但它们倾向于在对特征分布与训练数据不同的目标数据进行的预测中表现出过度自信,即,协变量偏移设置。在本文中,我们开发了一个近似的贝叶斯推断计划的基础上后验正则化,其中未标记的目标数据被用作“伪标签”的模型的信心,用于正则化模型的损失标记的源数据。我们表明,这种方法显着提高了协变量移位数据集的不确定性量化的准确性,对底层模型架构的修改最小。我们证明了我们的方法在全球不同人群中转移前列腺癌预后模型的背景下的实用性。
2020-06-26 cs.LG stat.ML
Latent Optimal Paths by Gumbel Propagation for Variational Bayesian Dynamic Programming
Australian National University(澳大利亚国立大学)
本文提出基于Gumbel传播的贝叶斯动态规划(BDP),将最优路径问题概率软化,在VAE潜空间中捕获结构化稀疏路径,实现端到端生成训练,并应用于语音合成。
2024-06-25 cs.LG stat.ML
Uncertainty propagation in neural networks for sparse coding
University of Sheffield(谢菲尔德大学);University of Oxford(牛津大学)
提出了一种通过软阈值非线性传播不确定性的新方法。在每一层,目标向量的当前分布被表示为尖峰和平板分布,其表示每个变量为零或高斯分布的概率。使用所提出的不确定性传播方法,导出归一化常数的梯度,其可用于更新权重分布。利用提出的不确定性传播方法和贝叶斯推断算法,设计了一种新的稀疏编码贝叶斯神经网络。
2018-11-29 cs.LG stat.ML
Learning Bayesian Networks that enable full propagation of evidence
Queen Mary University of London (QMUL)(伦敦玛丽女王大学);The Alan Turing Institute(艾伦·图灵研究所)
本文建立在贝叶斯网络(BN)结构学习的最新发展有争议的假设下,输入变量是依赖的。这个假设可以被看作是一个学习的约束条件,面向的情况下,输入变量是已知的或假设是依赖的。它解决了学习多个不相交子图的问题,这些子图不能完全传播证据。这个问题在输入数据的样本量相对于模型的维度较低的情况下非常普遍,这通常是在处理真实数据时的情况。本文提出了一种新的混合结构的学习算法,称为赛亚H,解决这个问题。结果表明,与现有技术相比,该约束有助于该算法以更高的准确度估计真实边缘的数量。在所研究的13种算法中,结果将SaiyanH在重建真实DAG方面排名第4,与排名第一的算法相比,准确度得分低8.1%(F1),10.2%(BSF)和19.5%(SHD),与排名最低的算法相比,分别高出75.5%(F1)、118%(BSF)和4.3%(SHD)。总体而言,结果表明,该算法发现令人满意的准确连接的DAG的情况下,其他算法产生多个不相交的子图,往往不符合真实的图形。
2020-06-05 cs.AI cs.LG stat.ML
Uncertainty-Aware Performance Prediction for Highly Configurable Software Systems via Bayesian Neural Networks
RMIT University(皇家墨尔本理工大学);Huaqiao University(华侨大学);The University of Newcastle(纽卡斯尔大学)
可配置软件系统在许多重要的应用领域中被采用。了解系统在所有配置下的性能对于防止错误配置导致的潜在性能问题至关重要。然而,由于配置的数量可能非常大,因此不可能在所有配置下测量系统性能。因此,一种常见的方法是从有限的测量数据中构建预测模型,以预测所有配置的性能作为标量值。然而,已经指出,存在来自数据汇集或建模过程的不同来源的不确定性,这可能使标量预测不一定准确。为了解决这个问题,我们提出了一种基于贝叶斯深度学习的方法,即BDLPerf,它可以将不确定性纳入预测模型。BDLPerf可以提供配置性能的标量预测以及这些标量预测的相应置信区间。我们还开发了一种新的不确定性校准技术,以确保贝叶斯预测模型生成的置信区间的可靠性。最后,我们提出了一种有效的超参数调整技术,以便在合理的时间内训练预测模型,同时实现高精度。我们在10个真实系统上的实验结果表明,BDLPerf在标量性能预测和置信区间估计方面都比现有方法具有更高的准确性。
2022-12-27 cs.AI cs.LG cs.SE
Curvature-aware Expected Free Energy as an Acquisition Function for Bayesian Optimization
TU Eindhoven(埃因霍温理工大学)
本文提出基于期望自由能的获取函数,用于解决联合学习与优化问题,证明其在凸函数下的无偏收敛性,并通过系统识别问题验证了曲率感知更新法则的优越性。
2026-09-17 cs.LG cs.RO cs.SY