Enhanced Federated Deep Multi-View Clustering under Uncertainty Scenario
本文提出EFDMVC框架,通过语义对齐、视图自适应漂移和平衡聚合机制,解决联邦多视图聚类中的视图不确定性和聚合不确定性问题,实验验证其在异构不确定视图下的鲁棒性。
2025-11-19 cs.LG
Ensemble-based Uncertainty Quantification: Bayesian versus Credal Inference
Paderborn University(帕德博恩大学);University of Munich (LMU)(慕尼黑大学)
区分和量化两种重要类型的不确定性(通常称为任意性和认知性)的想法在过去几年的机器学习研究中受到了越来越多的关注。在本文中,我们考虑基于集成的方法来量化不确定性。区分不同类型的不确定性感知的学习算法,我们特别关注贝叶斯方法和基于所谓的信任集的方法,这自然会从集成学习的角度提出自己。对于这两种方法,我们都解决了如何量化任意和认识不确定性的问题。在一个带有拒绝选项的分类问题的实证研究中,对相应措施的有效性进行了评估和比较。
2021-12-10 cs.LG
A Generative Bayesian Model for Aggregating Experts' Probabilities
Stanford University(斯坦福大学)
为了改进预测,决策者通常将各种来源给出的概率结合起来,例如人类专家和机器学习分类器。当几乎没有训练数据可用时,可以通过合并关于被预测的事件和关于专家的显著属性的先验知识来改进聚合。为此,我们开发了一个生成贝叶斯聚集模型的概率分类。该模型包括一个事件特定的先验,个别专家的偏见,校准,准确性的措施,和专家之间的依赖性的措施。而不是需要绝对的措施,我们表明,聚合可以表示在专家之间的相对准确性。该模型的结果在一个加权对数意见池(LogOps),满足一致性标准,如外部贝叶斯属性。我们推导出独立的和可交换的专家的解析解。实证检验表明,该模型的使用,比较其准确性与其他聚合方法。
2012-07-11 cs.LG stat.ML
Bayesian aggregation improves traditional single image crop classification approaches
Center for Computational and Data-Intensive Science and Engineering (CDISE)(计算与数据密集型科学与工程中心(CDISE));Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术学院(Skoltech))
机器学习(ML)方法和神经网络(NN)被广泛应用于基于卫星图像的作物类型识别和分类。然而,这些研究大多数使用几个多时相图像,这可能是不适用于多云地区。我们提出了一个比较经典的ML方法和U-Net NN分类农作物与一个单一的卫星图像。结果表明,使用逐场分类的优势,逐像素的方法。我们首先使用贝叶斯聚合进行字段分类,并在多数投票聚合之间改进了1.5%的结果。单卫星图像作物分类的最佳结果是实现了梯度提升的总体精度为77.4%和宏观F1得分0.66。
2020-04-07 cs.CV cs.LG eess.IV
Revisiting TD Target Aggregation under Uncertainty in Q-Learning
本研究针对Q学习中TD目标聚合受估计噪声放大误差的问题,提出SADQ方法,通过动力学模型的单步展开预测正则化TD目标,在多类任务上提升了DQN的训练稳定性。
2026-08-05 cs.LG
Deep Combinatorial Aggregation
Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
已知神经网络产生差的不确定性估计,并且已经提出了各种方法来补救这个问题。这包括深度集成,这是一种简单有效的方法,可以为不确定性感知学习任务实现最先进的结果。在这项工作中,我们探索了一个组合推广的深度合奏称为深度组合聚合(DCA)。DCA创建网络组件的多个实例,并聚合它们的组合,以产生多样化的模型建议和预测。DCA组件可以在不同的粒度级别上定义。我们发现,粗粒度DCA在预测性能和不确定性估计方面都优于不确定性感知学习的深度集成。对于细粒度的DCA,我们发现一种名为深度组合权重平均(DCWA)的平均参数化方法可以改善基线训练。它与随机权重平均(SWA)相当,但不需要任何自定义训练计划或BatchNorm层的自适应。此外,我们提出了一种一致性强制损失,有助于DCWA和模型DCA的训练。我们在域内、分布偏移和分布外图像分类任务上进行了实验,并从经验上证实了DCWA和DCA方法的有效性。
2022-10-12 cs.LG
A Bit More Bayesian: Domain-Invariant Learning with Uncertainty
University of Amsterdam(阿姆斯特丹大学);Inception Institute of Artificial Intelligence(Inception人工智能研究院)
由于领域迁移和目标领域数据的不可访问性所引起的不确定性,领域泛化具有挑战性。在本文中,我们解决这两个挑战的概率框架的基础上变分贝叶斯推理,通过将不确定性纳入神经网络的权重。将概率公式中的域不变性与变分贝叶斯推理相结合。这使我们能够以原则性的方式探索域不变学习。具体来说,我们推导出域不变的表示和分类器,这是共同建立在一个两层贝叶斯神经网络。我们实证证明了我们的建议的有效性,广泛使用的跨域视觉识别基准。消融研究验证了我们的贝叶斯治疗的协同效益时,共同学习领域不变的表示和分类器的领域泛化。此外,我们的方法在所有基准测试中始终提供最先进的平均精度。
2021-07-14 cs.LG
Hidden Axis of Uncertainty: Latent-Posterior Alignment in Graph Neural Networks with Bayesian Output Layers
Korea Institute of Science and Technology(韩国科学技术研究院);Clean Energy Research Center(清洁能源研究中心)
该研究针对带贝叶斯输出层的图神经网络,发现潜在-后验对齐现象,提出对齐引导学习方法,可降低预测不确定性并改善结构校准,为不确定性动力学提供新视角。
2026-08-24 cs.LG
Efficient RF Passive Components Modeling with Bayesian Online Learning and Uncertainty Aware Sampling
ShanghaiTech University(上海科技大学)
针对传统射频无源元件机器学习建模计算量大的问题,提出带可重构头贝叶斯神经网络与不确定性引导自适应采样的贝叶斯在线学习框架,在保证精度的同时将电磁仿真时间降至原流程的2.86%,提速35倍。
2025-11-19 cs.LG
Bayesian BiLO: Bilevel Local Operator Learning for Efficient Uncertainty Quantification of Bayesian PDE Inverse Problems with Low-Rank Adaptation
本研究提出B-BiLO框架,通过低秩适应和双层局部算子学习实现PDE反问题的高效不确定性量化。
2026-11-04 cs.LG math-ph math.MP
Uncertainty-Aware Data Aggregation for Deep Imitation Learning
University of Texas at Austin(得克萨斯大学奥斯汀分校);Honda Research Institute USA(本田美国研究院)
估计统计不确定性允许自主智能体在任务执行期间传达其信心,并且对于安全关键领域(例如自动驾驶)中的应用是重要的。在这项工作中,我们提出了不确定性感知的模仿学习(UAIL)算法,通过数据聚合来改善端到端控制系统。UAIL应用蒙特卡罗丢弃来估计端到端系统的控制输出中的不确定性,使用不确定的状态来选择性地获取新的训练数据。与迫使人类专家随机访问次优状态的现有数据聚合算法相比,UAIL可以预测自己的错误并将控制权切换到专家,以防止访问一系列次优状态。模拟驾驶任务的实验结果表明,我们提出的不确定性估计方法可以用来可靠地预测违规行为。我们的分析表明,UAIL优于现有的数据聚合算法的一系列基准任务。
2019-05-07 cs.LG cs.RO stat.ML
Bayesian Robust Aggregation for Federated Learning
Scaleout Systems(Scaleout系统公司);Science for Life Laboratory(生命科学实验室)
针对联邦学习中恶意客户端数量未知且攻击随时间变化的问题,本文提出一种基于贝叶斯推理的自适应鲁棒聚合方法,在保持经典平均估计器简洁性的同时,在多个基准数据集上取得了最先进的鲁棒性能。
2025-05-05 cs.LG stat.ML
Bayesian Personalized Federated Learning with Shared and Personalized Uncertainty Representations
Macquarie University(麦考瑞大学);Northeastern University(东北大学)
针对现有个性化联邦学习未充分处理客户端不确定性与异质性、表征解耦依赖特设方法的问题,提出含共享与个性化不确定性表征的通用贝叶斯个性化联邦学习框架及其实例BPFed,加入先验持续更新机制,并提供理论分析与实验验证。
2023-10-03 cs.LG
Error-Aware B-PINNs: Improving Uncertainty Quantification in Bayesian Physics-Informed Neural Networks
Technical University of Munich(慕尼黑工业大学);Pontificia Universidad Católica de Chile(智利天主教大学);Harvard University(哈佛大学)
物理信息神经网络(PINN)作为一种求解微分方程的方法越来越受欢迎。虽然在某些情况下比经典的数值技术更可行,但PINN仍然缺乏可信度。对此的补救措施可以在不确定性量化(UQ)中找到,它刚刚开始出现在PINN的上下文中。评估训练后的PINN如何符合强加的微分方程是解决不确定性的关键,但缺乏全面的方法来完成这项任务。我们提出了一个框架UQ贝叶斯PINN(B-PINN),结合B-PINN解决方案和未知的真实解决方案之间的差异。我们利用最近的结果的误差界的PINNs的线性动力系统,并证明了预测的不确定性的一类线性常微分方程。
2022-12-14 cs.LG
FedUAF: Uncertainty-Aware Fusion with Reliability-Guided Aggregation for Multimodal Federated Sentiment Analysis
Shanghai University(上海大学);North China Electric Power University(华北电力大学);Université de Technologie de Compiègne(法国图卢兹国立理工学院);Nanyang Technological University(南洋理工大学);City University of Hong Kong(香港城市大学);Macquarie University(麦考瑞大学)
本文提出FedUAF框架,通过不确定性融合和可靠性引导聚合解决联邦学习中多模态数据缺失、分布异质和客户端更新不可靠的问题,实验证明其在CMU-MOSI和CMU-MOSEI数据集上优于现有方法。
2026-02-28 cs.AI cs.LG
Adaptive Multi-Expert Reasoning via Difficulty-Aware Routing and Uncertainty-Guided Aggregation
Faculty of Computer Science October University for Modern Science \& Arts Giza, Egypt
本文提出AMR框架,通过动态适应策略提升数学推理鲁棒性,利用难度感知路由和不确定性引导聚合在GSM8K数据集上取得75.28%准确率。
2026-04-11 cs.CL cs.LG
Symmetric Aggregation of Conformity Scores for Efficient Uncertainty Sets
Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);University of Mons(蒙斯大学)
SACP通过聚合多个预测器的一致性分数,提供了一种高效且稳健的不确定性集生成方法,提升了预测集的精度和效率。
2026-03-05 cs.LG stat.ML
How to Combine Variational Bayesian Networks in Federated Learning
Istanbul Technical University(伊斯坦布尔理工大学)
联邦学习使多个数据中心能够协同训练一个中央模型,而不会暴露任何机密数据。尽管确定性模型能够执行高预测精度,但它们缺乏校准和量化不确定性的能力,这对于安全关键型应用来说是有问题的。与确定性模型不同,概率模型(如贝叶斯神经网络)相对校准良好,能够量化不确定性以及具有竞争力的预测精度。这两种方法都出现在联邦学习框架中;然而,确定性模型的聚合方案不能直接应用于概率模型,因为权重对应于分布而不是点估计。在这项工作中,我们研究了各种聚集方案的变分贝叶斯神经网络的效果。通过对三个图像分类数据集的实证结果,我们观察到聚合分布的扩散程度是学习过程中的一个重要因素。因此,我们提出了一个调查的问题,如何结合变分贝叶斯网络在联邦学习,同时提供不同的聚合设置的基准。
2022-11-23 cs.AI cs.LG
Bayesian OOD detection with aleatoric uncertainty and outlier exposure
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of Bristol(布里斯托大学)
OOD检测的典型贝叶斯方法使用认知不确定性。令人惊讶的是,从贝叶斯的角度来看,有许多方法成功地使用任意不确定性来检测OOD点(例如Hendryks等人。此外,很难使用离群暴露来改进贝叶斯OOD检测模型,因为不清楚是否可能或期望增加离群点处的后验(认识)不确定性。我们表明,生成模型的数据策展提供了一个原则性的帐户任意的不确定性OOD检测。特别是,任意的不确定性信号一个特定类型的OOD点:一个没有定义良好的类标签,我们的数据策展模型给出了这些点的可能性,为我们提供了一个机制,用于调节离群点,从而执行原则性贝叶斯离群暴露。我们的原则贝叶斯方法,结合任意性和认识的不确定性与离群值暴露比单独使用任意性或认识的方法更好。
2021-10-28 cs.LG stat.ML
Uncertainty-Aware Trust Estimation for Multi-LLM Systems via Structured Expert Judgement
DigitLab, University of Exeter(数字实验室,埃克塞特大学)
研究多语言模型聚合问题,核心方法是采用结构化专家判断,通过上下文感知校准问题及库克式对数加权估计专家可靠性,主要贡献是在异构和受污染情况下实现更好的准确性-可靠性平衡,强调聚合时需校准信任。
2026-07-24 cs.AI cs.LG
Position: There Is No Free Bayesian Uncertainty Quantification
Department of Statistics LMU Munich(慕尼黑大学统计系)
本文从优化视角质疑贝叶斯不确定性量化的有效性,提出与优化表示一致的解释、推断质量度量及未来研究方向。
2025-06-04 cs.LG stat.ML
Can Bayesian Neural Networks Explicitly Model Input Uncertainty?
University of Groningen(格罗宁根大学)
针对机器学习输入不确定性常被忽略的问题,构建双输入贝叶斯神经网络,测试多种近似方法后发现仅Ensembles、Flipout等部分方法可有效建模输入不确定性。
2025-01-14 cs.CV cs.LG
Time-Sensitive Bayesian Information Aggregation for Crowdsourcing Systems
Microsoft(微软);Microsoft Research(微软研究院);Imperial College(帝国理工学院)
众包系统通常面临的问题,聚合多个判断提供了潜在的不可靠的工人。此外,设计高效众包流程的若干方面,如确定工作人员的奖金、公平价格和任务时限,都涉及对手头任务可能持续时间的了解。将这两者结合在一起,在这项工作中,我们引入了一个新的时间敏感的贝叶斯聚合方法,同时估计一个任务的持续时间,并获得可靠的聚合众包的判断。我们的方法,称为BCCTime,建立在一个关键的见解,即工人执行任务所花费的时间是一个重要的指标,可能产生的判断质量。为了捕捉这一点,BCCTime使用潜变量来表示工人完成时间、任务持续时间和工人准确性的不确定性。为了将判断的质量与工人花费在任务上的时间联系起来,我们的模型假设每个任务都在潜在时间窗口内完成,在该时间窗口内,所有倾向于真正尝试标记任务的工人(即,没有垃圾邮件发送者)提交他们的判决。相比之下,具有较低有效标签倾向的工人,如垃圾邮件发送者,机器人或懒惰的标签,被认为比正常工人所需的时间更快或更慢地执行任务。具体来说,我们使用有效的消息传递贝叶斯推理来学习(i)每个工人的混淆矩阵,(ii)每个工人的有效标签倾向,(iii)每个任务的无偏持续时间和(iv)每个任务的真实标签的近似后验概率。使用两个真实世界的公共数据集的实体链接任务,我们表明,BCCTime产生高达11%更准确的分类和高达100%的任务的持续时间的信息估计相比,国家的最先进的方法。
2016-04-18 cs.AI cs.LG
Multivariate Bayesian Last Layer for Regression with Uncertainty Quantification and Decomposition
Université Paris Saclay(巴黎萨克雷大学);CEA LIST(法国原子能和替代能源委员会LIST研究所);CEA(法国原子能和替代能源委员会)
本文提出了一种多变量回归中的贝叶斯最后层模型,通过EM算法实现参数学习,能够分离不确定性并增强神经网络的不确定性感知能力。
2026-01-30 cs.LG stat.ML
The Relevance of Bayesian Layer Positioning to Model Uncertainty in Deep Bayesian Active Learning
Stanford University(斯坦福大学);NVIDIA(英伟达)
深度学习工具的主要挑战之一是它们无法捕捉模型的不确定性。虽然贝叶斯深度学习可以用来解决这个问题,但贝叶斯神经网络通常需要比确定性网络更多的时间和计算能力来进行训练。我们的工作探讨是否需要完全贝叶斯网络来成功地捕捉模型的不确定性。我们改变贝叶斯层在网络中的数量和位置,并将它们在主动学习上的性能与MNIST数据集进行比较。我们发现,我们可以充分捕捉模型的不确定性,只需使用几个贝叶斯层附近的网络输出,结合确定性和贝叶斯网络的优势。
2018-11-29 cs.AI cs.LG stat.ML
Neural Conjugate Aggregation: Identifiable Unsupervised Multi-Sensor Regression under Heterogeneous Sensor Bias
Istanbul Technical University(伊斯坦布尔理工大学);University of Washington(华盛顿大学)
提出神经共轭聚合模型(NCAM),一种结合神经网络与共轭高斯推理的无监督多源融合框架,通过传感器锚定和方差正则化解决非可识别性,并集成自适应蒙特卡洛共形预测提供有限样本保证。
2026-10-09 cs.AI cs.LG
Experimental Comparison of Classification Uncertainty for Randomised and Bayesian Decision Tree Ensembles
在本文中,我们实验比较的分类不确定性的随机决策树(DT)集成技术和贝叶斯DT技术与重新启动策略上的合成数据集,以及在机器学习社区常用的一些数据集。对于分类不确定性的定量评估,我们使用不确定性包络处理类后验分布和给定的置信概率。计数的分类器的结果,这种技术产生的分类不确定性的可行的评估。在我们的实验中使用这种技术,我们发现贝叶斯DT技术优于随机DT集成技术。
2005-04-11 cs.AI cs.LG
Beyond Keywords: Leveraging Generative LLMs and Label Aggregation to Classify Economic Policy Uncertainty in News Articles
本研究利用生成式大语言模型和弱监督标签聚合技术,自动分类新闻中的经济政策不确定性,克服了关键词误报和人工标注成本高的局限,并支持多标签与层次分类。
2026-09-30 cs.AI cs.LG
FedBE: Making Bayesian Model Ensemble Applicable to Federated Learning
The Ohio State University(俄亥俄州立大学)
联邦学习旨在通过访问用户的本地训练模型而不是他们自己的数据来协作训练强大的全局模型。因此,关键的一步是将局部模型聚合成全局模型,当用户具有非i.i.d.数据在本文中,我们提出了一种新的聚合算法名为FedBE,它采取了贝叶斯推理的角度,通过采样更高质量的全球模型,并通过贝叶斯模型Ensemble组合它们,导致更强大的聚合。我们表明,一个有效的模型分布可以通过简单地拟合高斯分布或狄利克雷分布的本地模型。我们的实证研究验证了FedBE的卓越性能,特别是当用户的数据不是i.i.d.时。当神经网络深入的时候。此外,FedBE与最近规范用户模型训练的努力兼容,使其成为一个易于应用的模块:您只需要替换聚合方法,但保留联邦学习算法的其他部分不变。我们的代码可在https://github.com/hongyouc/FedBE上公开获取。
2021-10-10 cs.LG stat.ML
From Risk to Uncertainty: Generating Predictive Uncertainty Measures via Bayesian Estimation
CMAP, École polytechnique(巴黎综合理工学院CMAP实验室)
本文通过将逐点风险分解为偶然不确定性与认知不确定性,并结合贝叶斯近似,提出可生成多种预测不确定性度量的框架,且在图像 OOD 与误分类检测任务上验证其有效性。
2025-02-17 cs.LG stat.ML
On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification
New York University(纽约大学)
随机不确定性捕获数据的固有随机性,例如测量噪声。在贝叶斯回归中,我们经常使用高斯观测模型,其中我们用噪声方差参数控制任意不确定性的水平。相比之下,对于贝叶斯分类,我们使用分类分布,没有机制来表示我们对任意不确定性的信念。我们的工作表明,明确说明任意的不确定性显着提高贝叶斯神经网络的性能。我们注意到许多标准基准,例如CIFAR,基本上没有任意的不确定性。此外,我们表明,近似推理中的数据增强具有软化可能性的效果,导致信心不足,并深刻地歪曲了我们对任意不确定性的诚实信念。因此,我们发现,一个冷后验,由一个权力大于1,往往更诚实地反映了我们的信念,任意的不确定性比没有回火-提供了一个明确的联系之间的数据增强和冷后验。我们表明,我们可以匹配或超过后回火的性能,通过使用狄利克雷观测模型,在那里我们明确地控制任意的不确定性的水平,而不需要任何回火。
2022-03-30 cs.LG stat.ML
Measuring Uncertainty through Bayesian Learning of Deep Neural Network Structure
Tsinghua University(清华大学)
贝叶斯神经网络(BNN)通过贝叶斯处理网络权重来增强具有不确定性量化的深度网络。然而,这样的模型面临的挑战,贝叶斯推理在一个高维的,通常过参数化的空间。本文通过对网络结构进行贝叶斯推理来研究贝叶斯深度学习的一条新路线。我们不是从零开始低效地构建结构,而是从神经架构搜索中获得灵感来表示网络结构。然后,我们开发了一个有效的随机变分推理方法,它统一了网络结构和权重的学习。从经验上讲,我们的方法表现出有竞争力的预测性能,同时保留了贝叶斯原理在具有挑战性的场景中的优势。我们还提供了令人信服的实验理由,我们的建模选择。
2021-03-27 cs.LG stat.ML
BaCOUn: Bayesian Classifers with Out-of-Distribution Uncertainty
Harvard University(哈佛大学)
传统的深度分类器训练会产生过度自信的模型,这些模型在数据集移位的情况下不可靠。我们提出了一个贝叶斯框架,以获得可靠的深度分类器的不确定性估计。我们的方法包括一个插件“生成器”,用于使用位于训练数据边界上的额外一类点来增强数据,然后在经过训练以区分这些“分布外”点的特征之上进行贝叶斯推断。
2020-07-12 cs.LG stat.ML
On the Validity of Bayesian Neural Networks for Uncertainty Estimation
University College Dublin(都柏林大学学院)
深度神经网络(DNN)是一种通用的参数模型,已成功应用于各种任务和领域。然而,他们有局限性-特别是从他们缺乏鲁棒性和过度敏感的分布样本。贝叶斯神经网络由于其在贝叶斯框架下的公式化,提供了构建解决这些限制的神经网络的原则性方法。本文描述了一项研究,经验评估和比较贝叶斯神经网络,他们的等效点估计深度神经网络量化的预测不确定性引起的参数,以及他们的表现,鉴于这种不确定性。在这项研究中,我们评估和比较了三点估计深度神经网络对可比贝叶斯神经网络替代品使用两个著名的基准图像分类数据集(CIFAR-10和SVHN)。
2019-12-29 cs.LG stat.ML
Bayesian AirComp with Sign-Alignment Precoding for Wireless Federated Learning
POSTECH(浦项工科大学)
在本文中,我们考虑的问题,无线联邦学习的符号随机梯度下降(signSGD)算法的基础上,通过多址接入信道。当发送本地计算的梯度的符号信息时,每个移动终端需要应用预编码以规避无线衰落效应。然而,实际上,在所有移动设备处获取信道状态信息(CSI)的完美知识是不可行的。在本文中,我们提出了一个简单而有效的预编码方法,有限的信道知识,称为符号对齐预编码。符号对齐预编码的思想是保护符号翻转错误免受无线衰落的影响。在局部梯度的高斯先验假设下,我们还推导出了均方误差(MSE)最优聚集函数,称为贝叶斯空中计算(BayAirComp)。我们的关键发现是,即使使用完美的CSI与AirComp聚合,BayAirComp聚合的一位预编码也可以提供比现有预编码方法更好的学习性能。
2021-09-14 cs.LG eess.SP
Meta-Uncertainty in Bayesian Model Comparison
University of Stuttgart(斯图加特大学);Heidelberg University(海德堡大学)
贝叶斯模型比较(BMC)提供了一种原则性的概率方法来研究和排名竞争模型。在标准BMC中,我们在可能的模型集合上构造离散概率分布,条件是观察到的感兴趣的数据。这些后验模型概率(PMP)是不确定性的度量,但是-当从有限数量的观察中得出时-本身也是不确定的。在本文中,我们概念化的BMC中出现的不同层次的不确定性。我们探索了一个完全概率的框架,量化元不确定性,从而在一个应用的方法,以提高任何BMC的工作流程。利用贝叶斯和频率论技术,我们通过元模型表示不确定PMP的不确定性,该元模型将模拟和观察数据结合到新数据上PMP的预测分布中。我们证明了所提出的方法在共轭贝叶斯回归,似然推理与马尔可夫链蒙特卡罗,和基于模拟的推理与神经网络的背景下的效用。
2023-02-21 cs.LG stat.ML
Bayesian Scattering: A Principled Baseline for Uncertainty on Image Data
University of Tübingen(图宾根大学);ETH Zurich(苏黎世联邦理工学院);University of Edinburgh(爱丁堡大学)
本文提出贝叶斯散射作为图像数据不确定性的基准方法,结合波let散射变换与概率头,避免过拟合,适用于分布偏移下的不确定性估计。
2026-03-21 cs.LG stat.ML
Understanding Uncertainty in Bayesian Deep Learning
Harvard University(哈佛大学)
神经线性模型(NLM)是深度贝叶斯模型,通过从数据中学习特征,然后对这些特征执行贝叶斯线性回归,从而产生预测不确定性。尽管他们的流行,很少有作品集中在正式评估这些模型的预测不确定性。此外,现有的作品指出,编码领域知识的模型,如NLM的困难,使他们不适合的应用程序,需要可解释性。在这项工作中,我们表明,传统的NLM训练程序可以大大低估数据稀缺地区的不确定性。我们确定了这种行为的根本原因,并提出了一种新的训练方法,既可以捕捉有用的预测不确定性,以及允许纳入领域知识。
2021-05-21 cs.LG stat.ML
Bayesian autoencoders with uncertainty quantification: Towards trustworthy anomaly detection
University of Cambridge(剑桥大学)
尽管针对无监督异常检测的深度自动编码器(AE)进行了大量研究,但AE仍然缺乏表达其预测不确定性的方法,这对于确保高风险应用中安全可靠的机器学习系统至关重要。因此,在这项工作中,贝叶斯自动编码器(BAE)的制定采用量化的总异常的不确定性,包括认知和任意的不确定性。为了评估不确定性的质量,我们考虑了异常分类的任务,并附加了拒绝高不确定性预测的选项。此外,我们使用的精度拒绝曲线,并提出加权平均精度作为性能指标。我们的实验证明了BAE和总异常不确定性对一组基准数据集和两个真实的制造数据集的有效性:一个用于状态监测,另一个用于质量检测。
2022-02-25 cs.LG stat.ML
A Bayesian Perspective on the Role of Epistemic Uncertainty for Delayed Generalization in In-Context Learning
EURECOM
本文从贝叶斯视角研究上下文学习中延迟泛化与证据不确定性的关系,通过模运算任务分析训练过程中预测不确定性演变,发现模型理解后不确定性骤降,为泛化提供无标签诊断。
2026-04-14 cs.LG stat.ML
The Surprising Benefits of Base Rate Neglect in Robust Aggregation
Center on Frontiers of Computing Studies, School of CS, Peking University(北京大学计算机科学学院计算前沿研究中心);Department of Economics, School of Economics and Management, Tsinghua University(清华大学经济管理学院经济学系)
该研究针对鲁棒预测聚合场景,发现存在基础概率忽视的专家预测在一定程度下反而能降低最坏情况遗憾,还提出了对未知忽视程度鲁棒的低遗憾聚合器,并通过实证验证了模型与聚合器性能。
2024-06-19 cs.GT cs.LG
Bayesian Neural Hawkes Process for Event Uncertainty Prediction
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校);TCS Research(塔塔咨询服务研究部)
由事件发生的时间组成的事件数据出现在几个现实世界的应用中。最近的工作介绍了神经网络为基础的点过程建模的事件时间,并被证明提供国家的最先进的性能预测事件时间。然而,神经点过程模型缺乏良好的不确定性量化能力的预测。对事件建模的不确定性进行适当的量化将有助于在许多实际应用中做出更好的决策。因此,我们提出了一种新的点过程模型,贝叶斯神经霍克斯过程(BNHP),它利用贝叶斯模型的不确定性建模能力和泛化能力的神经网络模型事件发生时间。我们增加了模型的时空建模能力,它可以考虑预测的时间和位置的事件的不确定性。模拟和真实世界的数据集上的实验表明,BNHP显着提高预测性能和建模事件的不确定性量化。
2022-01-19 cs.LG cs.SI
Bayesian Layers: A Module for Neural Network Uncertainty
Google Brain(谷歌大脑)
我们描述了贝叶斯层,一个模块设计的快速实验与神经网络的不确定性。它扩展了神经网络库,并为公共层提供了直接替换。这使得通过确定性和随机函数的统一抽象来实现组合,并允许通过底层系统进行可扩展性。这些层捕获权重(贝叶斯神经网络),预激活单元(dropout),激活(“随机输出层”)或函数本身(高斯过程)的不确定性。它们也可以是可逆的,将不确定性从输入传播到输出。我们包括常见架构的代码示例,如贝叶斯LSTM,深度GP和基于流的模型。作为演示,我们在512个TPUv2内核上安装了50亿个参数“贝叶斯Transformer”,用于机器翻译中的不确定性,并使用贝叶斯动力学模型进行基于模型的规划。最后,我们展示了如何贝叶斯层可以使用在爱德华2概率程序设计语言的概率程序与随机过程。
2019-03-05 cs.LG cs.PL stat.ML
Using Bayesian deep learning approaches for uncertainty-aware building energy surrogate models
University of Victoria(维多利亚大学);Department of Civil Engineering(土木工程系);Energy and Cities Group(能源与城市小组)
基于快速机器学习的代理模型经过训练,可模拟慢速、高保真的工程仿真模型,从而加快工程设计任务。这引入了不确定性,因为替代模型只是原始模型的近似值。贝叶斯方法可以量化这种不确定性,并且存在遵循贝叶斯范式的深度学习模型。这些模型,即贝叶斯神经网络和高斯过程模型,使我们能够给出预测与模型的不确定性的估计。因此,我们可以得到不确定性感知代理模型,可以自动怀疑看不见的设计样本,导致大的仿真错误。对于这些样本,可以改为查询高保真模型。这概述了贝叶斯范式如何让我们混合快速,但近似,缓慢,但准确的模型。本文针对复杂的高维建筑能耗模拟问题,训练了两类贝叶斯模型:丢弃神经网络和随机变分高斯过程模型。代理模型处理35个建筑设计参数(输入)以估计12个不同的性能度量(输出)。我们对这两种方法进行了基准测试,证明了它们的准确性是有竞争力的,并表明当将具有最高不确定性的10%的样本转移到高保真模型时,误差可以减少30%。
2020-10-05 cs.LG stat.ML
Uncertainty Quantification With Noise Injection in Neural Networks: A Bayesian Perspective
本文从贝叶斯视角建立噪声注入与不确定性量化的联系,提出蒙特卡洛噪声注入方法,在训练时注入噪声、推断时多次前向传播,实验证明其性能优于基线模型。
2025-04-24 cs.LG stat.ML
Be Bayesian by Attachments to Catch More Uncertainty
Nankai University(南开大学);Beihang University(北京航空航天大学)
针对贝叶斯神经网络不确定性捕捉能力不足的问题,提出带附加贝叶斯结构的ABNN,整合分布外数据不确定性,经理论与实验验证优于现有前沿方法。
2024-04-12 cs.AI cs.LG
Bayesian--AI Fusion for Epidemiological Decision Making: Calibrated Risk, Honest Uncertainty, and Hyperparameter Intelligence
Department of Statistics, Visva–Bharati University(统计系,维萨-巴哈蒂大学);S. N. Bose National Centre for Basic Sciences(S. N. Bose基础科学国家中心)
针对流行病学AI模型不确定性校准不足、贝叶斯方法难与现有AI工作流整合的问题,本文提出融合贝叶斯预测与贝叶斯超参数优化的双层框架,经多数据集验证可输出校准风险、优化模型性能,支撑流行病学决策。
2025-11-15 cs.LG stat.ML
Bayesian Metaplasticity from Synaptic Uncertainty
Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CEA(法国原子能和替代能源委员会);Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心)
针对神经网络终身学习中的灾难性遗忘难题,受元可塑性与贝叶斯推理启发提出MESU方法,利用突触不确定性保留信息,更新规则近似对角牛顿法,实验证明其在100项排列MNIST任务中无需明确任务边界即可维持学习性能。
2023-12-15 cs.AI cs.LG
Better than Average: Spatially-Aware Aggregation of Segmentation Uncertainty Improves Downstream Performance
Max-Delbrück-Center (MDC)(马克斯·德尔布吕克中心);Helmholtz Imaging(亥姆霍兹成像);Charité Universitätsmedizin(柏林夏里特医学院);Humboldt-Universität zu Berlin(柏林洪堡大学);University of Potsdam(波茨坦大学);German Cancer Research Center (DKFZ)(德国癌症研究中心);Heidelberg University(海德堡大学)
研究通过空间感知的不确定性聚合方法提升下游任务性能,分析现有聚合策略的优劣,提出新策略并验证其在不同数据集上的有效性。
2026-03-31 cs.CV cs.LG
Graph Posterior Network: Bayesian Predictive Uncertainty for Node Classification
Technical University of Munich(慕尼黑工业大学)
图中节点之间的相互依赖性是改进节点上的类预测的关键,并用于标签传播(LP)或图神经网络(GNN)等方法。尽管如此,非独立节点级预测的不确定性估计还未得到充分探索。在这项工作中,我们从三个方面探索了节点分类的不确定性量化:(1)我们导出了三个公理,明确描述了同构属性图中预期的预测不确定性行为。(2)我们提出了一个新的模型图后验网络(GPN),明确执行贝叶斯后验更新的预测相互依赖的节点。GPN可证明遵守所提出的公理。(3)我们广泛评估了GPN和一组强大的半监督节点分类基线,包括异常特征的检测和遗漏类的检测。在实验中,GPN优于现有的不确定性估计方法。
2021-10-26 cs.LG stat.ML
Uncertainty-Aware (UNA) Bases for Deep Bayesian Regression Using Multi-Headed Auxiliary Networks
Harvard University(哈佛大学)
神经线性模型(NLM)是深度贝叶斯模型,通过从数据中学习特征,然后对这些特征执行贝叶斯线性回归,从而产生预测不确定性。尽管他们的流行,很少有作品集中在有条不紊地评估这些模型的预测不确定性。在这项工作中,我们证明了NLM的传统训练程序大大低估了分布外输入的不确定性,因此它们不能天真地部署在风险敏感的应用程序中。我们确定了这种行为的根本原因,并提出了一个新的训练框架,捕捉有用的预测不确定性的下游任务。
2021-12-15 cs.LG stat.ML
Uncertainty aware audiovisual activity recognition using deep Bayesian variational inference
Intel Labs(英特尔实验室)
深度神经网络(DNN)为多种应用提供了最先进的结果,但是将DNN用于多模态视听应用的方法不考虑与各个模态相关联的预测不确定性。贝叶斯深度学习方法提供原则性的置信度并量化预测的不确定性。我们在这项工作中的贡献是提出了一个不确定性感知的多模态贝叶斯融合框架的活动识别。我们展示了一种新的方法,该方法结合了确定性和变化层,以将贝叶斯DNN扩展到更深的架构。我们的实验使用的分布内和分布外的样本,从一个子集的时刻在时间(MiT)数据集显示了一个更可靠的信心措施相比,非贝叶斯基线和蒙特卡罗脱落(MC脱落)近似贝叶斯推断。我们还证明了从所提出的框架中获得的不确定性估计可以识别UCF101和MiT数据集上的分布外数据。在多模态设置中,与非贝叶斯基线相比,所提出的框架在MiT数据集的子集上将精确召回AUC提高了10.2%。
2019-09-20 cs.LG cs.NE stat.ML
Quality of Uncertainty Quantification for Bayesian Neural Network Inference
Harvard University(哈佛大学);IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心)
贝叶斯神经网络(BNN)在神经网络中的参数上放置先验。然而,BNN的推理是困难的; BNN的所有推理方法都是近似的。在这项工作中,我们经验比较的质量预测不确定性估计的10个常见的推理方法回归和分类任务。我们的实验表明,常用的指标(例如测试对数似然)可能会产生误导。我们的实验还表明,设计用于捕获后验结构的推理创新不一定会产生高质量的后验近似。
2019-06-24 cs.LG stat.ML
Bayesian differential programming for robust systems identification under uncertainty
University of Pennsylvania(宾夕法尼亚大学)
本文提出了一个机器学习框架,用于从噪声、稀疏和不规则的非线性动态系统的观测中识别贝叶斯系统。该方法利用微分编程的最新发展,通过常微分方程求解器传播梯度信息,并使用Hamilton Monte Carlo对未知模型参数进行贝叶斯推断。这使我们能够有效地推断后验分布与量化的不确定性的似是而非的模型,而稀疏促进先验的使用,使潜在的潜在动态的可解释的和简约的表示发现。一系列的数值研究表明,所提出的方法的有效性,包括非线性振子,捕食-食饵系统,混沌动力学和系统生物学。总之,我们的研究结果提出了一个新的,灵活的和强大的工作流程,数据驱动的模型发现下的不确定性。
2020-04-18 cs.LG stat.ML