Advanced Dropout: A Model-free Methodology for Bayesian Dropout Optimization
Beijing University of Posts and Telecommunications(北京邮电大学);Tianjin University(天津大学);University of Technology Sydney(悉尼科技大学);University College London(伦敦大学学院);Aalborg University(奥尔堡大学)
由于缺乏数据,过拟合普遍存在于深度神经网络(DNN)的实际应用中。我们提出了高级dropout,一种无模型方法,以减轻过拟合并提高DNN的性能。先进的辍学技术采用了一个无模型和易于实现的分布与参数先验,并自适应调整辍学率。具体而言,分布参数通过随机梯度变分贝叶斯优化,以进行端到端的训练。我们评估了高级dropout对七个计算机视觉数据集(五个小规模数据集和两个大规模数据集)与各种基础模型上的九个dropout技术的有效性。在所有数据集上,高级丢弃算法的性能都优于其他算法。我们进一步比较了它们的有效性,发现高级丢弃算法在大多数情况下都达到了最高的有效性。接下来,我们进行了一系列的辍学率特性的分析,包括自适应辍学率的收敛性,辍学面具的学习分布,并与辍学率生成没有显式分布的比较。此外,过拟合的预防能力进行了评估和确认。最后,我们将高级dropout的应用扩展到不确定性推理,网络修剪,文本分类和回归。所提出的先进的辍学也优于相应的参考方法。代码可在https://github.com/PRIS-CV/AdvancedDropout上获得。
2021-08-10 cs.LG stat.ML
Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning
University of Cambridge(剑桥大学)
深度学习工具在应用机器学习中获得了极大的关注。然而,这种回归和分类工具并不能捕捉模型的不确定性。相比之下,贝叶斯模型提供了一个基于数学的框架来推理模型的不确定性,但通常会带来高昂的计算成本。在本文中,我们开发了一个新的理论框架,将深度神经网络(NN)中的辍学训练作为深度高斯过程中的近似贝叶斯推断。这一理论的直接结果为我们提供了使用dropout NN对不确定性建模的工具-从迄今为止被丢弃的现有模型中提取信息。这缓解了在深度学习中表示不确定性的问题,而不会牺牲计算复杂性或测试准确性。我们进行了广泛的研究辍学的不确定性的性质。以MNIST为例,对回归和分类任务进行了各种网络架构和非线性评估。与现有的最先进的方法相比,我们在预测对数似然和RMSE方面有了相当大的改进,并通过在深度强化学习中使用dropout的不确定性来完成。
2016-10-04 cs.LG stat.ML
Dropout Inference in Bayesian Neural Networks with Alpha-divergences
University of Cambridge(剑桥大学);The Alan Turing Institute(艾伦·图灵研究所)
为了使用真实世界的贝叶斯深度学习模型获得不确定性估计,需要实际的推理近似。例如,丢弃变分推理(VI)已用于机器视觉和医学应用,但VI可能严重低估模型的不确定性。α-发散是VI KL目标的替代发散,它能够避免VI的不确定性低估。但这些方法在实际应用中存在一定的困难:现有的方法只能使用高斯近似分布,并且需要对现有模型进行根本性的修改,因此对实践者的应用受到限制。我们提出了一个重新参数化的α发散目标,推导出一个简单的推理技术,连同辍学,可以很容易地实现与现有的模型,只需改变损失的模型。我们证明了改进的不确定性估计和精度相比,VI在辍学网络。我们研究我们的模型的认知不确定性远离使用对抗图像的数据,表明这些可以通过检查我们的模型的不确定性从非对抗图像区分。
2017-03-08 cs.LG stat.ML
Is MC Dropout Bayesian?
Imperial College London(帝国理工学院);King’s College London(伦敦国王学院);University College London(伦敦大学学院)
MC Dropout是医学成像中用于近似贝叶斯计算(ABC)的主流“免费午餐”方法。它的吸引力是解决了开箱即用的ABC和神经网络(NN)中的不确定性量化的艰巨任务;属于变分推理(VI)框架;并提出了一个高度多模态,忠实的预测后验。我们质疑MC Dropout的近似推理属性,因为事实上MC Dropout改变了贝叶斯模型;其预测后验概率在封闭形式的基准上将$0$概率分配给真实模型;其预测后验的多模态不是真实预测后验的属性,而是设计假象。为了满足任意模型对VI的需求,我们在pytorch框架中共享了一个通用的VI引擎。该代码包括一个精心设计的结构化(对角线加低秩)多元正常变分家庭,及其混合物的实现。它的目的是作为一个去没有免费午餐的方法,解决了平均场VI的缺点与可调的表达性和计算复杂性之间的权衡。
2021-10-08 cs.LG stat.ML
An Adaptive Dropout Approach for High-Dimensional Bayesian Optimization
School of Computing and Artificial Intelligence, Southwest Jiaotong University(西南交通大学计算机与人工智能学院)
针对贝叶斯优化在高维问题中因采集函数高维性导致性能下降的问题,提出自适应 dropout 算法,通过迭代降低采集函数维度优化难度,实验表明其在高维场景中优于标准及现有先进方法,提升解质量。
2025-04-15 cs.LG stat.ML
Variational Bayesian Dropout with a Hierarchical Prior
Wuhan University(武汉大学);The University of Adelaide(阿德莱德大学);Inception Institute of Artificial Intelligence(人工智能初创研究院)
变分丢弃算法(Variational dropout,VD)是高斯丢弃算法的一种推广,其目的是根据网络权值的对数一致先验知识来推断权值的后验,从而同时学习权值和丢弃率。对数一致先验不仅解释了高斯丢弃在网络训练中的正则化能力,而且还支持这种后验的推断。然而,对数均匀先验是不适当的先验(即,它的积分是无穷的),这就导致了后验推理的不适定,从而限制了VD的正则化性能。为了解决这个问题,我们提出了一个新的推广高斯辍学,称为变分贝叶斯辍学(VBD),这反过来利用一个层次的网络权重的先验,并推断一个新的联合后验。具体来说,我们实现了分层先验作为一个零均值高斯分布与方差采样从一个统一的超先验。然后,我们将这样的先验知识引入到对网络权重和分层先验知识方差的联合后验推断中,从而将网络训练和丢包率估计都转化为一个联合优化问题。更重要的是,层次先验是一个适当的先验,使后验推理是适定性的。此外,我们进一步表明,建议的VBD可以无缝地应用于网络压缩。分类和网络压缩任务的实验证明了所提出的VBD在正则化网络训练方面的优越性能。
2019-04-04 cs.LG stat.ML
Structured Bayesian Pruning via Log-Normal Multiplicative Noise
基于丢弃的正则化方法可以被视为在训练期间向神经网络的不同部分注入具有预定义幅度的随机噪声。最近的研究表明,贝叶斯丢弃过程不仅提高了泛化能力,而且通过自动设置每个权重的单个噪声幅度,导致了极其稀疏的神经结构。然而,这种稀疏性几乎不能用于加速,因为它是非结构化的。在本文中,我们提出了一种新的贝叶斯模型,该模型考虑了神经网络的计算结构,并提供了结构化的稀疏性,例如删除CNN中的神经元和/或卷积通道。为此,我们将噪声注入神经元输出,同时保持权重不规则化。我们建立了概率模型,适当的截断对数一致先验的噪声和截断对数正态变分近似,以确保在证据下界的KL-项计算在封闭形式。该模型通过从计算图中移除具有低SNR的元素来实现结构化稀疏,并在许多深度神经架构上提供显着的加速。该模型很容易实现,因为它可以作为一个单独的dropout层来制定。
2017-11-04 stat.ML
Variational Dropout via Empirical Bayes
National Research University Higher School of Economics(高等经济学院国家研究型大学);Samsung AI Center in Moscow(三星莫斯科人工智能中心)
我们研究了应用于深度神经网络的自动相关性确定过程。我们表明,ARD应用于贝叶斯DNN与高斯近似后验分布导致变分界类似的变分辍学,并在一个固定的辍学率的情况下,目标是完全相同的。实验结果表明,这两种方法在实践中产生相当的结果,即使在辍学率训练。这导致了另一种贝叶斯解释的辍学,并减轻了一些理论上的问题,出现了不正确的先验使用变辍学模型。此外,我们探讨了ARD中分层先验的使用,并表明它有助于在相同的精度下实现更高的稀疏性。
2018-11-28 cs.LG stat.ML
Variational Bayesian dropout: pitfalls and fixes
University of Cambridge(剑桥大学);Uber AI Labs(优步人工智能实验室)
Dropout是一种用于训练神经网络的随机正则化技术,最近被重新解释为贝叶斯神经网络的一种特定类型的近似推理算法。重新解释的主要贡献是提供了一个理论框架,用于分析和扩展算法。我们表明,所提出的框架遭受几个问题,从未定义的或病理行为的真正的后相关使用不适当的先验,一个不明确的变分目标由于奇异性的近似分布相对于真正的后。我们的分析不适当的对数均匀先验变分高斯辍学表明,病理是一般不可挽回的,算法仍然有效,只是因为变分制定取消了一些病理。为了解决奇异性问题,我们提出了拟KL(QKL)发散,一个新的近似推理目标的近似高维分布。我们发现,基于离散化和噪声的变分伯努利辍学的动机有QKL作为限制。本文从理论上和一个简单的实例上研究了QKL的性质,结果表明,满秩高斯与简并高斯的QKL最优逼近自然地导出了主成分分析解。
2018-07-05 cs.LG stat.ML
Concrete Dropout
Dropout是一种实用的工具,用于在大型视觉模型和强化学习(RL)任务中获得不确定性估计。但是,为了获得校准良好的不确定性估计,在丢弃概率上进行网格搜索是必要的-对于大型模型,这是一个禁止的操作,而对于RL则是不可能的。我们提出了一个新的辍学的变种,提供了更好的性能和校准的不确定性。依靠贝叶斯深度学习的最新发展,我们使用dropout离散掩码的连续松弛。结合原则性优化目标,这允许在大型模型中自动调整丢失概率,从而加快实验周期。在RL中,这允许代理随着观察到更多数据而动态地适应其不确定性。我们在一系列任务上广泛分析了所提出的变体,并深入了解了在更深的模型层中经常使用更大的辍学概率的领域中的常见做法。
2017-05-22 stat.ML
Locally Learned Synaptic Dropout for Complete Bayesian Inference
贝叶斯大脑假说假定大脑根据贝叶斯定理准确地对统计分布进行操作。突触前囊泡释放神经递质的随机失败可能允许大脑从网络参数的后验分布中采样,解释为认知的不确定性。以前没有显示随机故障如何允许网络从观察到的分布中采样,也称为任意或剩余不确定性。从这两种分布中进行采样可以实现概率推理、高效搜索以及创造性或生成性问题解决。我们证明,根据人口代码为基础的解释神经活动,这两种类型的分布可以表示和采样与突触故障单独。我们首先定义了一个生物约束的神经网络和采样方案的基础上突触故障和侧抑制。在这个框架内,我们推导出基于辍学的认知不确定性,然后证明了从突触功效到释放概率的分析映射,该映射允许网络从接收层表示的任意学习分布中进行采样。其次,我们的结果导致了一个局部的学习规则,突触适应其释放概率。我们的研究结果表明,完整的贝叶斯推断,相关的变分学习方法的辍学,在一个生物约束的网络,只使用本地学习的突触故障率。
2021-11-29 q-bio.NC stat.ML
Confidence Calibration for Convolutional Neural Networks Using Structured Dropout
Cornell University(康奈尔大学);MIT(麻省理工学院);MGH(麻省总医院)
在分类应用中,我们通常希望概率预测反映置信度或不确定性。Dropout是一种常用的训练技术,最近已与贝叶斯推理联系起来,产生了一种有效的方法来量化神经网络模型中的不确定性。然而,如前所述,使用dropout的天真实现计算的置信度估计可能校准不良,特别是在使用卷积网络时。在本文中,通过集成学习的镜头,我们关联的校准误差与模型之间的相关性与辍学。受此启发,我们探索使用结构化的辍学,以促进模型的多样性和提高置信度校准。我们使用SVHN,CIFAR-10和CIFAR-100数据集,从经验上比较使用各种dropout技术获得的模型多样性和置信误差。我们还展示了贝叶斯主动学习应用中结构化辍学的优点。
2019-06-23 cs.CV cs.LG stat.ML
Ensemble Model Patching: A Parameter-Efficient Variational Bayesian Neural Network
Columbia University(哥伦比亚大学)
变分贝叶斯神经网络被广泛采用的两个主要障碍是高参数开销,这使得它们在大型网络上不可行,以及实现的困难,这可以被认为是“编程开销”。“MC dropout [Gal和Ghahramani,2016]很受欢迎,因为它避开了这些障碍。然而,当在具有批量归一化层的网络中使用时,dropout通常对模型性能有害[Li等人,2018],它们是现代神经网络不可或缺的一部分。我们构建了一个一般的变分家庭的集合为基础的贝叶斯神经网络,包括辍学作为一种特殊情况。我们进一步介绍了这个家族的两个特定成员,它们与批量归一化层配合良好,同时保留了低参数和编程开销的优点,与非贝叶斯训练相当。我们提出的方法提高了预测精度,并在使用ImageNet训练的ResNet-18上实现了几乎完美的校准。
2019-05-23 cs.LG stat.ML
Neuromorphic Acceleration for Approximate Bayesian Inference on Neural Networks via Permanent Dropout
Virginia Tech(弗吉尼亚理工学院暨州立大学);Argonne National Laboratory(阿贡国家实验室)
随着神经网络开始为社会执行越来越重要的任务,从驾驶汽车到确定药物开发的候选人,它们在预测中执行不确定性量化(UQ)的能力的价值也在迅速上升。永久丢弃是神经网络UQ的一种流行方法,涉及将随机性注入模型的推理阶段,并为每个测试数据创建许多预测。这将深度神经网络的计算和能量负担从训练阶段转移到推理阶段。最近的工作已经证明了经典深度神经网络到其尖峰对应物的近无损转换。我们使用这些结果来证明在尖峰神经网络上进行永久丢弃的推理阶段的可行性,从而减轻该技术的计算和能量负担,这对于其在大规模或边缘平台上的使用至关重要。我们通过Nengo尖峰神经模拟器在用于癌症治疗的联合药物治疗数据集上展示了所提出的方法,其中UQ是至关重要的。我们的研究结果表明,尖峰近似给出了一个预测分布几乎无法区分的经典网络。
2019-04-29 cs.LG cs.NE stat.ML
Bayesian modeling longitudinal dyadic data with nonignorable dropout, with application to a breast cancer study
二元数据在社会和行为科学中很常见,其中二元数据的成员由于二元数据内的相互依赖结构而相互关联。当出现不可解释的脱落时,纵向二元数据的分析变得复杂。我们提出了一个完全贝叶斯选择模型为基础的方法来分析纵向二元数据与不可分割的辍学。我们通过过渡模型对受试者的重复测量进行建模,并通过随机效应解释二分体内相关性。在该模型中,我们允许主体的结果取决于他/她自己的特征和测量历史,以及在二元体中的其他成员。我们进一步解释了使用一个选择模型,其中脱落的概率取决于缺失的结果的不可重复的缺失数据机制。我们提出了一个吉布斯抽样算法来拟合模型。仿真研究表明,该方法有效地解决了不可忽视的辍学问题。我们使用纵向乳腺癌研究来说明我们的方法。
2012-06-28 stat.AP
Single-shot Bayesian approximation for neural networks
Elektrobit Automotive GmbH(Elektrobit汽车有限公司);Zurich University of Applied Sciences(苏黎世应用科学大学);University of Zurich(苏黎世大学);Konstanz University of Applied Sciences(康斯坦茨应用科学大学)
针对贝叶斯神经网络测试时因采样导致计算慢的问题,提出基于矩传播的单次MC dropout近似方法,无需重训即可将标准dropout训练的NN转为BNN,在保证预测与不确定性估计效果的同时实现实时部署,结合深度集成可进一步提升性能。
2023-08-24 cs.LG stat.ML
Sufficient Conditions for Idealised Models to Have No Adversarial Examples: a Theoretical and Empirical Study with Bayesian Neural Networks
University of Oxford(牛津大学)
我们证明,在两个充分条件下,理想化的模型可以没有对抗的例子。我们讨论了理想化模型满足我们的条件,并表明,理想化贝叶斯神经网络(BNN)满足这些。我们继续研究近理想化的BNN使用HMC推理,在实践中展示的理论思想。我们用HMC对来自MNIST的合成数据进行了实验,我们知道地面真实图像密度,这表明近乎完美的认知不确定性与图像流形下的密度相关,并且对抗图像在我们的设置中偏离了流形。这表明了为什么MC dropout可以被视为执行近似推理,在实践中被观察到是对抗性示例的有效防御;我们强调了依赖于dropout的非理想化BNN的失败案例,这表明了对dropout模型的新攻击和新防御。最后,我们展示了使用VGG 13变体的猫对狗图像分类任务的防御。
2018-06-28 cs.LG stat.ML
Bayesian posterior approximation with stochastic ensembles
Stockholm University(斯德哥尔摩大学);University of Gothenburg(哥德堡大学);Chalmers University of Technology(查尔姆斯理工大学)
提出将 dropout 等随机方法与深度集成的随机神经网络集成,通过变分推断近似 Bayesian 后验,在玩具问题和 CIFAR 上比常用基线提供更准确的后验估计。
2024-01-03 cs.CV cs.LG stat.ML
Improved Bayesian Compression
神经网络的压缩是近年来研究的热点问题。其主要原因是对NN的工业规模使用的需求,例如将它们部署在移动设备上,有效地存储它们,通过带限信道传输它们,最重要的是进行大规模推理。在这项工作中,我们建议加入软权重共享和变分丢弃方法,这些方法显示出强有力的结果,以定义模型压缩方面的新的最先进技术。
2017-12-07 stat.ML
Variational Dropout Sparsifies Deep Neural Networks
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院);Yandex;Moscow Institute of Physics and Technology(莫斯科物理技术学院);National Research University Higher School of Economics(俄罗斯国家研究型高等经济大学)
我们探讨了最近提出的变分辍学技术,提供了一个优雅的贝叶斯解释高斯辍学。我们扩展变分辍学率的情况下,辍学率是无界的,提出了一种方法来减少梯度估计的方差和报告的第一个实验结果与个人辍学率每重量。有趣的是,它在全连接层和卷积层中都导致了极其稀疏的解决方案。这种效果类似于经验贝叶斯中的自动相关性确定效果,但具有许多优点。我们在LeNet架构上将参数数量减少了280倍,在类似VGG的网络上减少了68倍,而准确性的降低可以忽略不计。
2017-06-13 cs.LG stat.ML
A Bayesian Approach for Nonignorable Dropout in Bivariate Longitudinal Models
Maastricht University(马斯特里赫特大学);University of Florida(佛罗里达大学);University College London(伦敦大学学院)
提出贝叶斯非参数方法处理双变量纵向数据中的非随机缺失,通过联合建模各响应的退出过程并利用识别约束处理数据复杂性,应用于成本效果评估。
2026-06-25 stat.ME
CODA: Constructivism Learning for Instance-Dependent Dropout Architecture Construction
Ainstein AI
Dropout正在吸引人们对深度学习的浓厚研究兴趣,将其作为防止过拟合的有效方法。最近结合结构信息时,决定哪些单位辍学产生了可喜的结果相比,忽略结构信息的方法。然而,现有工作的一个主要问题是,它未能区分实例时,构造辍学架构。这对于许多应用来说可能是一个严重的缺陷。为了解决这个问题,我们提出了基于实例依赖的辍学架构(CODA)的建构主义学习,这是从哲学理论,建构主义学习的启发。特别地,在此理论基础上,我们设计了一种更好的丢弃技术,均匀过程混合模型,使用贝叶斯非参数方法均匀过程。我们已经在5个真实世界的数据集上评估了我们提出的方法,并将其性能与其他最先进的dropout技术进行了比较。实验结果证明了CODA算法的有效性。
2021-06-15 cs.LG stat.ML
A Bayesian semi-parametric approach for inference on the population partly conditional mean from longitudinal data with dropout
使用纵向数据的记忆轨迹研究,由于选择性的研究招募和流失,通常会导致高度非代表性的样本。另一个偏差来自练习效果,由于熟悉测试内容或上下文,练习效果会提高或保持成绩。这些挑战可能会使研究结果产生偏差,并严重扭曲对目标人群进行概括的能力。在这项研究中,我们提出了一种方法来估计有限的人口平均值的纵向结果条件是活着在一个特定的时间点。我们开发了一个灵活的贝叶斯半参数预测估计人口推断时,纵向辅助信息是已知的目标人群。我们评估结果的敏感性,不可检验的假设,并进一步比较我们的方法用于人口推断的模拟研究中的其他方法。所提出的方法的动机是15年的纵向数据从桦纵向队列研究。我们应用我们的方法来估计情景记忆中的寿命轨迹,目的是将研究结果推广到目标人群。
2021-03-22 stat.AP stat.ME
Radial Bayesian Neural Networks: Beyond Discrete Support In Large-Scale Bayesian Deep Learning
University of Oxford(牛津大学)
我们提出了径向贝叶斯神经网络(BNN):BNN的变分近似后验,它可以很好地扩展到大型模型,同时保持在权重空间上的分布,并得到充分的支持。其他可扩展的贝叶斯深度学习方法,如MC dropout或深度集成,具有离散支持-它们将零概率分配给几乎所有的权重空间。与这些离散支持方法不同,径向BNN的完全支持使其适合用作顺序推理的先验。此外,他们解决了概念上的挑战与离散支持的权重分布的先验难以置信。径向BNN的动机是避免采样问题的“平均场”变分推断(MFVI)所造成的所谓的“肥皂泡”病理的多变量高斯。我们表明,与MFVI不同,径向BNN对超参数具有鲁棒性,并且可以有效地应用于具有挑战性的现实医学应用,而无需进行特别调整和密集调整。事实上,在这种情况下,径向BNN的性能优于MC dropout等离散支持方法。最后,通过使用径向BNN作为MFVI的理论原则,强大的替代方案,我们在贝叶斯持续学习评估中取得了重大进展。
2021-05-31 cs.LG stat.ML
Variational Dropout and the Local Reparameterization Trick
University of California, Irvine(加州大学欧文分校);Canadian Institute for Advanced Research(加拿大高等研究院);University of Amsterdam(阿姆斯特丹大学)
我们研究了一种局部重新参数化技术,用于大大减少变分贝叶斯推断(SGVB)的后验模型参数的随机梯度的方差,同时保持并行性。这种局部重新参数化将全局参数的不确定性转化为小批量中跨数据点独立的局部噪声。这样的参数化可以被平凡地并行化,并且具有与小批量大小成反比的方差,通常导致更快的收敛。此外,我们探讨了与dropout的连接:高斯dropout目标对应于SGVB与局部重新参数化,尺度不变的先验和按比例固定的后验方差。我们的方法允许推断更灵活的参数化后验;具体来说,我们提出变分辍学,高斯辍学的泛化,辍学率的学习,往往会导致更好的模型。该方法是通过几个实验证明。
2015-12-20 cs.LG stat.CO stat.ML
Known Unknowns: Uncertainty Quality in Bayesian Neural Networks
University of Campinas (Unicamp)(坎皮纳斯州立大学 (Unicamp))
我们使用异常检测来评估神经网络的不确定性质量。我们从候选模型的预测中提取不确定性度量(例如熵),使用这些度量作为异常检测器的特征,并衡量检测器区分已知类别和未知类别的程度。我们将更高的不确定性质量分配给候选模型,从而产生更好的检测器。我们还提出了一种新的方法,称为单样本贝叶斯近似(OSBA)的贝叶斯神经网络的变分近似采样。我们在两个数据集上进行了实验,MNIST和CIFAR 10。我们比较了以下候选神经网络模型:极大似然,贝叶斯丢弃,OSBA和-对于MNIST --标准变分近似。我们表明,贝叶斯丢弃和OSBA提供更好的不确定性信息比极大似然,基本上相当于标准的变分近似,但更快。
2016-12-23 cs.LG cs.NE stat.ML
Bayesian Sparsification of Recurrent Neural Networks
National Research University Higher School of Economics(国立研究大学高等经济学院);Kaspersky Lab(卡巴斯基实验室);Lomonosov Moscow State University(莫斯科国立大学);Yandex
循环神经网络在许多文本分析任务中显示出最先进的结果,但通常需要大量内存来存储其权重。最近提出的稀疏变分丢弃消除了前馈神经网络中的大部分权重,而没有显着的质量损失。我们应用这种技术来稀疏循环神经网络。为了解释经常性的细节,我们还依赖于RNN的二进制变分丢弃。我们在情感分析任务上报告了99.5%的稀疏度,而没有质量下降,在语言建模任务上报告了高达87%的稀疏度,精度略有下降。
2017-07-31 cs.CL cs.LG stat.ML
Bayesian Joint Modeling for Longitudinal Magnitude Data with Informative Dropout: an Application to Critical Care Data
本文提出了一种包含随机效应的贝叶斯回归方法来分析幅度数据,并扩展为联合建模策略以应对信息性退出问题,有效减轻缺失数据偏差,最后应用于ICU患者膈肌厚度变化研究。
2025-07-14 stat.AP stat.ME
Loss-Calibrated Approximate Inference in Bayesian Neural Networks
University of Oxford(牛津大学)
贝叶斯神经网络的近似推理中的当前方法最小化库尔贝克-莱布勒散度以近似权重上的真实后验。然而,这种近似没有最终应用的知识,因此不能保证给定任务的最佳预测。为了使更合适的特定于任务的近似,我们引入了一个新的损失校准证据下限贝叶斯神经网络的监督学习的背景下,通知贝叶斯决策理论。通过引入依赖于效用函数的下限,我们确保我们的近似比具有非对称效用函数的应用程序的传统方法实现更高的效用。此外,在使用dropout推理时,我们强调我们的新目标与标准dropout神经网络的目标相同,只是增加了一个依赖于效用的惩罚项。我们展示了我们的新的损失校准模型与说明性的医疗例子和限制模型容量实验,并突出故障模式的可比加权交叉熵的方法。最后,我们展示了我们的方法的可扩展性,以现实世界的应用程序与自动驾驶数据集上的每像素语义分割。
2018-05-10 cs.LG stat.ML
Weight Expansion: A New Perspective on Dropout and Generalization
University of Liverpool(利物浦大学);Institute of Software Chinese Academy of Sciences(中国科学院软件研究所)
虽然dropout被认为是一种成功的正则化技术,但仍然缺乏对导致这种成功的机制的见解。我们引入了\emph{weight expansion}的概念,增加了由列或行向量的权重协方差矩阵所跨越的平行六面体的有符号体积,并表明权重扩展是一种有效的手段,增加了PAC-贝叶斯设置中的泛化。我们提供了一个理论论据,辍学导致体重膨胀和广泛的经验支持辍学和体重膨胀之间的相关性。为了支持我们的假设,即权重扩展可以被视为由dropout赋予的增强的泛化能力的\emph{indicator},而不仅仅是一个副产品,我们研究了实现权重扩展的其他方法(分别为)。他们发现,他们的行为,往往是一种行为,一种行为。降低)的概括能力。这表明dropout是一个有吸引力的正则化器,因为它是一种计算成本低的方法来获得权重扩展。这一见解证明了dropout作为正则化器的作用,同时为识别通过权重扩展改善泛化的正则化器铺平了道路。
2022-09-12 cs.LG stat.ML
Prediction of Bayesian Intervals for Tropical Storms
Ganzfried Research(甘兹弗里德研究所)
基于最近使用递归神经网络(RNNs)预测飓风轨迹的研究,我们已经开发了改进的方法,并推广了预测贝叶斯区间的方法,以及简单的点估计。热带风暴能够造成严重破坏,因此准确预测其轨迹可以为城市和生活带来重大利益,特别是当它们由于气候变化影响而变得更加强烈时。通过在RNN中使用dropout实现贝叶斯区间,我们提高了预测的可操作性,例如通过估计登陆地区的疏散区域。我们使用RNN以6小时为间隔预测风暴的轨迹。我们使用的纬度,经度,风速和压力的功能,从统计飓风强度预测计划(SHIPS)数据集的约500个热带风暴在大西洋。我们的研究结果显示了神经网络dropout值如何影响预测和间隔。
2020-03-10 cs.LG physics.ao-ph stat.AP
Single Shot MC Dropout Approximation
Elektrobit Automotive GmbH;Zurich University of Applied Sciences(苏黎世应用科学大学);University of Zurich(苏黎世大学);Konstanz University of Applied Sciences(康斯坦茨应用科学大学)
深度神经网络(DNN)以其高预测性能而闻名,特别是在物体识别或自动驾驶等感知任务中。尽管如此,DNN在遇到全新的情况时,在没有表明其不确定性的情况下,很容易产生不可靠的预测。DNN(BDNN)的贝叶斯变体,如MC dropout BDNN,确实提供了不确定性度量。然而,BDNN在测试期间很慢,因为它们依赖于采样方法。在这里,我们提出了一个Single Shot MC dropout近似,它保留了BDNN的优点,而不会比DNN慢。我们的方法是解析近似的每一层在一个完全连接的网络的期望值和方差的MC dropout信号。我们评估我们的方法在不同的基准数据集和模拟玩具的例子。我们证明了我们的Single Shot MC dropout近似类似于用MC方法实现的预测分布的点估计和不确定性估计,同时对于BDNN的实时部署来说足够快。
2020-07-07 cs.LG stat.ML
Accelerate CNN via Recursive Bayesian Pruning
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University(上海交通大学协同媒体网络创新中心);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
通道剪枝是一个NP难问题,它被广泛用于加速卷积神经网络。现有的方法为了计算简单,通常忽略了上述依赖性。为了解决这个问题,在贝叶斯框架下,我们提出了一种逐层递归贝叶斯修剪方法(RBP)。提出了一种新的基于丢弃率的冗余度度量方法,该方法在假设层间相关性的前提下,简化了后验估计的计算。具体来说,我们将跨层的噪声建模为马尔可夫链,并将其后验作为目标以反映层间依赖性。考虑到后验问题的封闭形式解是难以处理的,我们推导了一个稀疏诱导的Dirac-like先验,它规则化了设计噪声的分布,以自动逼近后验。与现有的方法相比,当假设层间依赖性时,不需要额外的开销。冗余通道可以通过微小的丢弃噪声简单地识别出来,并直接逐层修剪。在流行的CNN架构上的实验表明,所提出的方法优于几种最先进的方法。特别地,我们分别针对VGG 16和ResNet 50在大规模数据集ILSVRC 2012上实现了高达$\bf{5.0\times}$和$\bf{2.2\times}$ FLOP的减少,并且精度损失很小。
2019-03-27 cs.LG stat.ML
Bayesian Survival Modelling of University Outcomes
本文的目的是在智利天主教大学本科生在大学注册的长度和相关的学术成果建模。生存时间被定义为直到注册期结束的时间,这可能与不同的原因有关-毕业或两种类型的辍学-由不同的过程驱动。因此,采用竞争风险模型进行分析。分离的结果(这排除了极大似然估计)的问题是通过使用贝叶斯推断与适当选择的先验处理。我们感兴趣的是确定大学成果的重要决定因素,并通过贝叶斯模型平均正式解决相关模型的不确定性。为模拟大学成果而采用的方法适用于三个选定的学位课程,这些课程特别受到辍学和迟毕业的影响。
2014-06-25 stat.AP
B-PINNs: Bayesian Physics-Informed Neural Networks for Forward and Inverse PDE Problems with Noisy Data
Brown University(布朗大学);Pacific Northwest National Laboratory(西北太平洋国家实验室)
提出了一种贝叶斯物理信息神经网络(B-PINN)来解决由偏微分方程(PDE)和噪声数据描述的正、逆非线性问题。在这个贝叶斯框架中,贝叶斯神经网络(BNN)结合PINN的偏微分方程作为前,而哈密顿蒙特卡罗(HMC)或变分推断(VI)可以作为后验的估计。B-PINN利用物理定律和分散的噪声测量来提供预测,并量化贝叶斯框架中噪声数据所产生的任意不确定性。与PINN相比,B-PINN除了量化不确定性外,由于其避免过拟合的能力,在大噪声场景中获得更准确的预测。我们对B-PINN后验估计的两种不同方法进行了系统的比较(即,HMC或VI),以及用于量化深度神经网络中的不确定性的dropout。我们的实验表明,HMC比VI更适合于B-PINNs的后验估计,而PINNs中采用的dropout很难提供具有合理不确定性的准确预测。最后,我们用截断的Karhunen-Loève(KL)展开与HMC或深度归一化流(DNF)模型相结合作为后验估计来替换先验中的BNN。KL是准确的BNN和更快,但这个框架不能很容易地扩展到高维问题,不像基于BNN的框架。
2020-03-13 cs.LG stat.ML
Global SNR Estimation of Speech Signals using Entropy and Uncertainty Estimates from Dropout Networks
Samsung R&D Institute India, Bangalore(三星印度班加罗尔研发中心)
本文提出了两种新的方法来估计语音信号的全局信噪比。在这两种方法中,语音识别系统中使用的深度神经网络-隐马尔可夫模型(DNN-HMM)声学模型被用于SNR估计的附加任务。在第一种方法中,计算DNN-HMM输出的熵。最近关于baidu深度学习的研究表明,使用dropout训练的DNN-HMM可以通过将其近似为深度高斯过程来估计模型的不确定性。在第二种方法中,这种近似用于获得模型不确定性估计。噪声特定的回归用于从熵和模型不确定性预测SNR。DNN-HMM在GRID语料库上进行训练,并在来自DEMAND噪声数据库的不同噪声配置文件上进行测试,SNR水平范围为-10 dB至30 dB。
2018-04-12 cs.AI eess.AS eess.SP
To BAN or not to BAN: Bayesian Attention Networks for Reliable Hate Speech Detection
仇恨言论是用户生成内容管理中的一个重要问题。为了删除攻击性内容或禁止行为不端的用户,内容管理员需要可靠的仇恨言论检测器。最近,基于Transformer架构的深度神经网络,例如(多语言)BERT模型,在许多自然语言分类任务中实现了卓越的性能,包括仇恨语音检测。到目前为止,这些方法还不能量化其输出的可靠性。我们提出了一种贝叶斯方法,使用蒙特卡罗dropout内的注意层的Transformer模型,提供良好校准的可靠性估计。我们评估和可视化所提出的方法在几种语言的仇恨言论检测问题的结果。此外,我们测试了情感维度是否可以增强仇恨语音分类中的BERT模型提取的信息。我们的实验表明,蒙特卡罗丢弃提供了一个可行的机制,在Transformer网络的可靠性估计。在BERT模型中使用,它提供了最先进的分类性能,可以检测不太可信的预测。此外,据观察,情感维度提取使用敏感计算方法可以提供见解对仇恨言论中涉及的情绪的解释。我们的方法不仅提高了国家的最先进的多语言BERT模型的分类性能,但计算的可靠性分数也显着减少了工作量的检查ofending的情况下,重新注释活动。提供的可视化有助于理解边界结果。
2020-12-17 stat.AP stat.ML
Uncertainty Quantification for Physics-Informed Neural Networks with Extended Fiducial Inference
本文提出基于扩展置信推断的新方法,利用窄瓶颈超网络为物理信息神经网络提供严格不确定性量化,克服贝叶斯和dropout方法局限,仅凭观测数据构建诚实置信集,提升可靠性、可解释性并扩展至大规模模型。
2025-10-16 cs.LG stat.ML
A Theoretically Grounded Application of Dropout in Recurrent Neural Networks
循环神经网络(RNN)是深度学习领域许多最新发展的前沿。然而,这些模型的一个主要困难是它们倾向于过拟合,当应用于递归层时,dropout会失败。贝叶斯建模和深度学习交叉的最新结果为常见的深度学习技术(如dropout)提供了贝叶斯解释。这种近似贝叶斯推断中的dropout基础表明了理论结果的扩展,为RNN模型中dropout的使用提供了见解。我们在LSTM和GRU模型中应用了这种新的基于变分推断的dropout技术,并在语言建模和情感分析任务中对其进行了评估。新的方法优于现有的技术,并尽我们所知,提高了单一模型的最先进的语言建模与Penn Treebank(73.4测试困惑)。这扩展了我们在深度学习中的变分工具库。
2016-10-05 stat.ML
A Simple Approximate Bayesian Inference Neural Surrogate for Stochastic Petri Net Models
School of Computing and Augmented Intelligence, Arizona State University(计算与增强智能学院,亚利桑那州立大学);School of Mathematical and Statistical Sciences, Arizona State University(数学与统计科学学院,亚利桑那州立大学);School of Life Sciences, Arizona State University(生命科学学院,亚利桑那州立大学)
本文提出一种神经替代模型,用于快速准确地恢复随机Petri网模型中依赖外部协变量的速率函数系数,通过端到端训练和蒙特卡洛dropout实现高效参数估计。
2025-12-07 cs.LG q-bio.QM stat.ML
Bayesian Sparsification Methods for Deep Complex-valued Networks
随着不断的小型化,在嵌入式系统中可以发现越来越多的深度学习应用,其中通常会遇到具有自然复域表示的数据。为此,我们扩展稀疏变分辍学复值神经网络和验证所提出的贝叶斯技术进行了大量的数值研究的性能压缩权衡的C值网络上的两个任务:图像识别MNIST类和CIFAR 10数据集和音乐转录MusicNet。我们在MusicNet上复制了Trabelsi等人[2018]的最新结果,其中复值网络被压缩了50- 100倍,性能损失很小。
2020-06-28 cs.LG stat.ML
Bayesian Layers: A Module for Neural Network Uncertainty
Google Brain(谷歌大脑)
我们描述了贝叶斯层,一个模块设计的快速实验与神经网络的不确定性。它扩展了神经网络库,并为公共层提供了直接替换。这使得通过确定性和随机函数的统一抽象来实现组合,并允许通过底层系统进行可扩展性。这些层捕获权重(贝叶斯神经网络),预激活单元(dropout),激活(“随机输出层”)或函数本身(高斯过程)的不确定性。它们也可以是可逆的,将不确定性从输入传播到输出。我们包括常见架构的代码示例,如贝叶斯LSTM,深度GP和基于流的模型。作为演示,我们在512个TPUv2内核上安装了50亿个参数“贝叶斯Transformer”,用于机器翻译中的不确定性,并使用贝叶斯动力学模型进行基于模型的规划。最后,我们展示了如何贝叶斯层可以使用在爱德华2概率程序设计语言的概率程序与随机过程。
2019-03-05 cs.LG cs.PL stat.ML
Bayesian PINNs for uncertainty-aware inverse problems (BPINN-IP)
ISCT, Bures-sur-Yvette, France(法国ISCT);Institute of Digital Twin (IDT), EIT, Ningbo, China(中国宁波EIT数字孪生研究所);Dept. of Statistics, Central South University, Changcha, China(中国长沙中央南大学统计系)
本文提出了一种贝叶斯物理信息神经网络方法,用于解决具有不确定性的逆问题,通过引入先验知识和不确定性量化技术提升逆问题求解的鲁棒性。
2026-02-04 cs.LG stat.ML
Bayesian Convolutional Neural Networks with Bernoulli Approximate Variational Inference
University of Cambridge(剑桥大学)
卷积神经网络(CNN)在大型数据集上工作得很好。但是,标记数据很难收集,在某些应用程序中,更大量的数据不可用。接下来的问题是如何将CNN用于小数据--因为CNN很快就会过拟合。我们提出了一种高效的贝叶斯CNN,与传统方法相比,它对小数据的过度拟合具有更好的鲁棒性。这是通过在CNN的内核上放置概率分布。我们近似我们的模型的棘手的后验与伯努利变分分布,不需要额外的模型参数。在理论方面,我们将辍学网络训练作为贝叶斯神经网络的近似推理。这使我们能够使用深度学习中的现有工具来实现我们的模型,而不会增加时间复杂度,同时突出显示该领域的负面结果。与标准技术相比,我们在分类准确性方面有了相当大的提高,并改进了CIFAR-10的最新结果。
2016-01-18 cs.LG stat.ML
Bayesian Hypernetworks
Montreal Institute for Learning Algorithms (MILA)(蒙特利尔学习算法研究所(MILA));ElementAI(元素人工智能公司);McGill University(麦吉尔大学)
我们研究贝叶斯超网络:在神经网络中近似贝叶斯推断的框架。贝叶斯超网络$\h$是一种神经网络,它学习将简单的噪声分布$p(\vecε) = \N(\vec 0,\mat I)$转换为另一个神经网络(“主网络”)的参数$\pp$上的分布$q(\pp) := q(h(\vecε))$。我们训练$q$变分推断,使用可逆的$\h$,使有效的估计后$p(\pp | \D)$通过采样的变分下限。与贝叶斯深度学习的大多数方法相比,贝叶斯超网可以表示参数之间具有相关性的复杂多模态近似后验,同时实现~ $q(\pp)$的廉价iid采样。在实践中,贝叶斯超网可以提供比dropout更好的对抗性示例的防御,并且在一系列评估模型不确定性的任务上表现出有竞争力的性能,包括正则化,主动学习和异常检测。
2018-04-24 cs.AI cs.LG stat.ML
Bayesian Image Classification with Deep Convolutional Gaussian Processes
在决策系统中,重要的是要有分类器,校准的不确定性,优化目标,可用于自动模型选择和培训。高斯过程(GP)提供了不确定性估计和边际似然目标,但它们的弱归纳偏差导致精度较差。这限制了它们在某些任务(例如图像分类)中的适用性。我们提出了一个对平移不敏感的卷积核,它放松了以前卷积GP施加的平移不变性约束。我们展示了如何使用边际似然来学习不敏感的程度。我们还将GP图像到图像的卷积映射重新表述为多输出GP,从而产生深度卷积GP。我们的实验表明,我们的新内核提高了单层和深层模型的性能。我们还证明了我们的完全贝叶斯方法在不确定性和边际似然估计方面优于基于丢弃的贝叶斯深度学习方法。
2020-03-04 cs.LG stat.ML
On Compression Principle and Bayesian Optimization for Neural Networks
BayzAI;Volkswagen Group of America(美国大众汽车集团);Innovation Center California(加州创新中心)
寻找做出可推广预测的方法是机器学习的一个基本问题。通过研究未知数据的预测问题和无损压缩之间的相似性,我们找到了一种解决方案。在本文中,我们提出了一个压缩原则,指出一个最佳的预测模型是一个最小化的总压缩消息长度的所有数据和模型定义,同时保证可解码性。遵循压缩原则,我们使用贝叶斯方法来建立数据和网络定义的概率模型。一种使用一系列变分近似来近似贝叶斯积分的方法被实现为超参数的优化器:贝叶斯随机梯度下降(BSGD)。使用BSGD的训练完全通过设置三个参数来定义:epoch的数量,数据集的大小和minibatch的大小,它们定义了学习率和迭代次数。我们表明,dropout可以用于连续降维,从而可以根据压缩原理的要求找到最佳的网络维度。
2020-06-23 cs.LG stat.ML
On the Importance of Strong Baselines in Bayesian Deep Learning
University of Oxford(牛津大学);University College London(伦敦大学学院)
像机器学习的所有子领域一样,贝叶斯深度学习是由其理论建议的经验验证驱动的。考虑到实验的许多方面,微小甚至重大的实验缺陷总是有可能被作者和评论者忽略。用于评估近似推理技术的最流行的实验之一是UCI数据集上的回归实验。然而,在这个实验中,已经训练收敛的模型经常与只训练固定次数的基线进行比较。我们发现,一个完善的基线,蒙特卡罗辍学,在相同的实验设置下进行评估时,显示出显着的改善。事实上,基线优于或表现出竞争力的方法,声称优于相同的基线方法时,他们被引入。因此,通过暴露实验过程中的这一缺陷,我们强调了在贝叶斯深度学习中使用相同的实验设置来评估、比较和基准测试方法的重要性。
2018-11-30 cs.LG stat.ML
Bayesian Weapon System Reliability Modeling with Cox-Weibull Neural Network
Naval Surface Warfare Center – Corona(海军水面作战中心科罗纳分部)
本文提出将武器系统特征通过神经网络整合到Cox-Weibull可靠性模型中,并开发贝叶斯变体,利用区间删失似然和MCMC采样优化,在多项分类指标上优于XGBoost等传统模型。
2023-04-14 cs.AI cs.LG math.PR
The Bayesian Learning Rule
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本文提出贝叶斯学习规则,用自然梯度估计候选分布来近似后验,从而统一并推广了从岭回归、牛顿法到随机梯度下降、Dropout 等众多经典与现代机器学习算法,并支持设计新算法。
2024-06-08 cs.LG stat.ML
Classifying Crop Types using Gaussian Bayesian Models and Neural Networks on GHISACONUS USGS data from NASA Hyperspectral Satellite Imagery
University of Virginia, School of Data Science(弗吉尼亚大学数据科学学院)
高光谱成像是一种数字成像,其中每个像素通常包含数百种波长的光,提供有关像素中存在的材料的光谱信息。在本文中,我们提供了用于确定USGS GHISACONUS数据中作物类型的分类方法,该数据包含来自美国五种主要农作物(冬小麦,水稻,玉米,大豆和棉花)的约7,000个像素光谱,这些光谱由美国宇航局卫星收集,包括光谱,地理位置,作物类型和每个像素的生长阶段。我们应用标准LDA和QDA以及贝叶斯自定义版本,计算作物类型和阶段的联合概率,然后计算作物类型的边际概率,优于非贝叶斯方法。我们还测试了一个单层的神经网络与辍学的数据,其表现与LDA和QDA,但不如贝叶斯方法。
2022-07-21 cs.AI cs.CV stat.AP
Hey Human, If your Facial Emotions are Uncertain, You Should Use Bayesian Neural Networks!
Hochschule Bonn-Rhein-Sieg(波恩-莱茵-锡格应用技术大学);German Research Center for Artificial Intelligence(德国人工智能研究中心)
人脸情感识别是对人脸图像中的人类情感进行分类的任务。这是一个困难的任务,由于高度任意的不确定性和视觉模糊性。很大一部分文献旨在通过提高这项任务的准确性来显示进展,但这忽略了任务中固有的不确定性和模糊性。在本文中,我们表明,贝叶斯神经网络,近似使用MC-Dropout,MC-DropConnect,或一个包围,能够模拟任意的不确定性在面部表情识别,并产生输出概率,更接近人类的期望。我们还表明,校准指标显示奇怪的行为,这项任务,由于多个类,可以被认为是正确的,这激励了未来的工作。我们相信我们的工作将激励其他研究人员从经典转向贝叶斯神经网络。
2020-08-17 cs.CV cs.LG stat.ML
Bayesian neural networks for predicting uncertainty in full-field material response
Johns Hopkins University(约翰斯·霍普金斯大学)
本研究针对计算力学中有限元分析成本高、现有机器学习替代模型缺不确定性估计的问题,提出基于改进贝叶斯U-net的应力场预测框架,对比三种推理算法,验证了高精度及不同推理方法的不确定性估计差异。
2024-06-21 cond-mat.mtrl-sci cs.LG stat.AP
A Bayesian hierarchical push-forward method for cluster Randomized Controlled Trial power calculations in complex humanitarian settings
University of California, San Diego(加利福尼亚大学圣地亚哥分校);Johns Hopkins Bloomberg School of Public Health(约翰霍普金斯大学布隆伯格公共卫生学院);Community Partners International(社区合作伙伴国际);The George Washington University(乔治华盛顿大学)
本文针对复杂人道主义环境下的整群随机对照试验,提出结合分层模型与推前分布的贝叶斯效力计算方法,通过模拟验证后应用于孟加拉国试验设计,并开发R Shiny应用提升易用性,为相关试验提供稳健设计基础。
2026-10-16 stat.ME