An Adaptive Dropout Approach for High-Dimensional Bayesian Optimization
School of Computing and Artificial Intelligence, Southwest Jiaotong University（西南交通大学计算机与人工智能学院）
针对贝叶斯优化在高维问题中因采集函数高维性导致性能下降的问题，提出自适应 dropout 算法，通过迭代降低采集函数维度优化难度，实验表明其在高维场景中优于标准及现有先进方法，提升解质量。
2025-04-15 cs.LG stat.ML
Variational Bayesian Dropout with a Hierarchical Prior
Wuhan University（武汉大学）；The University of Adelaide（阿德莱德大学）；Inception Institute of Artificial Intelligence（人工智能初创研究院）
变分丢弃算法（Variational dropout，VD）是高斯丢弃算法的一种推广，其目的是根据网络权值的对数一致先验知识来推断权值的后验，从而同时学习权值和丢弃率。对数一致先验不仅解释了高斯丢弃在网络训练中的正则化能力，而且还支持这种后验的推断。然而，对数均匀先验是不适当的先验（即，它的积分是无穷的），这就导致了后验推理的不适定，从而限制了VD的正则化性能。为了解决这个问题，我们提出了一个新的推广高斯辍学，称为变分贝叶斯辍学（VBD），这反过来利用一个层次的网络权重的先验，并推断一个新的联合后验。具体来说，我们实现了分层先验作为一个零均值高斯分布与方差采样从一个统一的超先验。然后，我们将这样的先验知识引入到对网络权重和分层先验知识方差的联合后验推断中，从而将网络训练和丢包率估计都转化为一个联合优化问题。更重要的是，层次先验是一个适当的先验，使后验推理是适定性的。此外，我们进一步表明，建议的VBD可以无缝地应用于网络压缩。分类和网络压缩任务的实验证明了所提出的VBD在正则化网络训练方面的优越性能。
2019-04-04 cs.LG stat.ML
Bayesian Dropout
Dropout最近成为一种强大而简单的方法，用于训练神经网络，防止随机遗漏神经元的协同适应。辍学目前没有明确的建模假设，到目前为止，排除了贝叶斯建模的采用。使用贝叶斯熵推理，我们表明，辍学可以被解释为最优推理的约束。我们证明了这一点上的分析听话的回归模型提供了贝叶斯解释其机制，规范化和防止共同适应，以及其连接到其他贝叶斯技术。我们还讨论了两个一般的近似技术，适用于一般模型的贝叶斯辍学，一个基于解析近似和随机变分技术。这些技术，然后应用到贝叶斯逻辑斯谛回归的问题，并提高性能的模型变得更加错误。我们的框架根源辍学作为一个理论上合理和实用的统计建模工具，使贝叶斯挖掘辍学培训的好处。
2022-05-17 stat.ML
Dropout as a Bayesian Approximation: Appendix
我们证明了一个具有任意深度和非线性的神经网络，在每个权重层之前应用dropout，在数学上等价于一个众所周知的贝叶斯模型的近似。这种解释可以解释dropout的一些关键属性，例如它对过拟合的鲁棒性。我们的解释允许我们对深度学习中的不确定性进行推理，并允许以原则性的方式将贝叶斯机制引入现有的深度学习框架。本文是Gal和Ghahramani在2015年发表的主要论文“Dropout as a Bayesian Approximation：Representing Model Uncertainty in Deep Learning”的附录。
2016-05-25 stat.ML
Variational Dropout via Empirical Bayes
National Research University Higher School of Economics（高等经济学院国家研究型大学）；Samsung AI Center in Moscow（三星莫斯科人工智能中心）
我们研究了应用于深度神经网络的自动相关性确定过程。我们表明，ARD应用于贝叶斯DNN与高斯近似后验分布导致变分界类似的变分辍学，并在一个固定的辍学率的情况下，目标是完全相同的。实验结果表明，这两种方法在实践中产生相当的结果，即使在辍学率训练。这导致了另一种贝叶斯解释的辍学，并减轻了一些理论上的问题，出现了不正确的先验使用变辍学模型。此外，我们探讨了ARD中分层先验的使用，并表明它有助于在相同的精度下实现更高的稀疏性。
2018-11-28 cs.LG stat.ML
Variational Bayesian dropout: pitfalls and fixes
University of Cambridge（剑桥大学）；Uber AI Labs（优步人工智能实验室）
Dropout是一种用于训练神经网络的随机正则化技术，最近被重新解释为贝叶斯神经网络的一种特定类型的近似推理算法。重新解释的主要贡献是提供了一个理论框架，用于分析和扩展算法。我们表明，所提出的框架遭受几个问题，从未定义的或病理行为的真正的后相关使用不适当的先验，一个不明确的变分目标由于奇异性的近似分布相对于真正的后。我们的分析不适当的对数均匀先验变分高斯辍学表明，病理是一般不可挽回的，算法仍然有效，只是因为变分制定取消了一些病理。为了解决奇异性问题，我们提出了拟KL（QKL）发散，一个新的近似推理目标的近似高维分布。我们发现，基于离散化和噪声的变分伯努利辍学的动机有QKL作为限制。本文从理论上和一个简单的实例上研究了QKL的性质，结果表明，满秩高斯与简并高斯的QKL最优逼近自然地导出了主成分分析解。
2018-07-05 cs.LG stat.ML
Bayesian Policy Gradients via Alpha Divergence Dropout Inference
McGill University（麦吉尔大学）
策略梯度方法在解决连续控制任务方面取得了巨大的成功，但此类问题的随机性使得确定性值估计变得困难。我们提出了一种方法，而不是估计分布拟合的价值函数与贝叶斯神经网络。我们优化了一个$α$发散目标与贝叶斯辍学近似学习和估计这个分布。我们表明，使用蒙特卡洛后验均值的贝叶斯价值函数分布，而不是一个确定性的网络，提高了稳定性和性能的策略梯度方法在连续控制MuJoCo模拟。
2017-12-06 cs.LG
Ensemble Model Patching: A Parameter-Efficient Variational Bayesian Neural Network
Columbia University（哥伦比亚大学）
变分贝叶斯神经网络被广泛采用的两个主要障碍是高参数开销，这使得它们在大型网络上不可行，以及实现的困难，这可以被认为是“编程开销”。“MC dropout [Gal和Ghahramani，2016]很受欢迎，因为它避开了这些障碍。然而，当在具有批量归一化层的网络中使用时，dropout通常对模型性能有害[Li等人，2018]，它们是现代神经网络不可或缺的一部分。我们构建了一个一般的变分家庭的集合为基础的贝叶斯神经网络，包括辍学作为一种特殊情况。我们进一步介绍了这个家族的两个特定成员，它们与批量归一化层配合良好，同时保留了低参数和编程开销的优点，与非贝叶斯训练相当。我们提出的方法提高了预测精度，并在使用ImageNet训练的ResNet-18上实现了几乎完美的校准。
2019-05-23 cs.LG stat.ML
High Dimensional Bayesian Optimization Using Dropout
将贝叶斯优化扩展到高维是一项具有挑战性的任务，因为高维获取函数的全局优化可能成本高昂且通常不可行。现有的方法依赖于有限的活动变量或目标函数的加法形式。提出了一种新的高维贝叶斯优化方法，该方法在每次迭代中只优化一个变量子集。我们推导出理论界的遗憾，并显示它如何可以通知我们的算法的推导。我们证明了我们的算法优化的两个基准函数和两个现实世界的应用程序-训练级联分类器和优化合金成分的功效。
2018-02-15 stat.ML
Confidence Calibration for Convolutional Neural Networks Using Structured Dropout
Cornell University（康奈尔大学）；MIT（麻省理工学院）；MGH（麻省总医院）
在分类应用中，我们通常希望概率预测反映置信度或不确定性。Dropout是一种常用的训练技术，最近已与贝叶斯推理联系起来，产生了一种有效的方法来量化神经网络模型中的不确定性。然而，如前所述，使用dropout的天真实现计算的置信度估计可能校准不良，特别是在使用卷积网络时。在本文中，通过集成学习的镜头，我们关联的校准误差与模型之间的相关性与辍学。受此启发，我们探索使用结构化的辍学，以促进模型的多样性和提高置信度校准。我们使用SVHN，CIFAR-10和CIFAR-100数据集，从经验上比较使用各种dropout技术获得的模型多样性和置信误差。我们还展示了贝叶斯主动学习应用中结构化辍学的优点。
2019-06-23 cs.CV cs.LG stat.ML
Single-shot Bayesian approximation for neural networks
Elektrobit Automotive GmbH（Elektrobit汽车有限公司）；Zurich University of Applied Sciences（苏黎世应用科学大学）；University of Zurich（苏黎世大学）；Konstanz University of Applied Sciences（康斯坦茨应用科学大学）
针对贝叶斯神经网络测试时因采样导致计算慢的问题，提出基于矩传播的单次MC dropout近似方法，无需重训即可将标准dropout训练的NN转为BNN，在保证预测与不确定性估计效果的同时实现实时部署，结合深度集成可进一步提升性能。
2023-08-24 cs.LG stat.ML
Sufficient Conditions for Idealised Models to Have No Adversarial Examples: a Theoretical and Empirical Study with Bayesian Neural Networks
University of Oxford（牛津大学）
我们证明，在两个充分条件下，理想化的模型可以没有对抗的例子。我们讨论了理想化模型满足我们的条件，并表明，理想化贝叶斯神经网络（BNN）满足这些。我们继续研究近理想化的BNN使用HMC推理，在实践中展示的理论思想。我们用HMC对来自MNIST的合成数据进行了实验，我们知道地面真实图像密度，这表明近乎完美的认知不确定性与图像流形下的密度相关，并且对抗图像在我们的设置中偏离了流形。这表明了为什么MC dropout可以被视为执行近似推理，在实践中被观察到是对抗性示例的有效防御;我们强调了依赖于dropout的非理想化BNN的失败案例，这表明了对dropout模型的新攻击和新防御。最后，我们展示了使用VGG 13变体的猫对狗图像分类任务的防御。
2018-06-28 cs.LG stat.ML
Variational Gaussian Dropout is not Bayesian
高斯乘性噪声通常用作确定性神经网络训练中的随机正则化技术。最近的一篇论文将该技术重新解释为贝叶斯神经网络中近似推理的特定算法;随后进行了几次扩展。我们发现，在所有上述出版物中使用的对数均匀先验一般不会导致一个适当的后验，因此在这样的模型中的贝叶斯推断是不适定的。独立于对数均匀先验，相关权重噪声近似具有导致无限目标或高过拟合风险的进一步问题。上述情况意味着，所报告的稀疏性所获得的解决方案不能解释贝叶斯或相关的最小描述长度参数。因此，我们从非贝叶斯的角度研究的目标，提供其以前未知的分析形式，允许精确的梯度评估，并表明，后来提出的添加剂重新参数化引入最小值不存在于原来的乘法参数化。最后讨论了研究的意义和未来的研究方向。
2017-11-08 stat.ML
Neuromorphic Acceleration for Approximate Bayesian Inference on Neural Networks via Permanent Dropout
Virginia Tech（弗吉尼亚理工学院暨州立大学）；Argonne National Laboratory（阿贡国家实验室）
随着神经网络开始为社会执行越来越重要的任务，从驾驶汽车到确定药物开发的候选人，它们在预测中执行不确定性量化（UQ）的能力的价值也在迅速上升。永久丢弃是神经网络UQ的一种流行方法，涉及将随机性注入模型的推理阶段，并为每个测试数据创建许多预测。这将深度神经网络的计算和能量负担从训练阶段转移到推理阶段。最近的工作已经证明了经典深度神经网络到其尖峰对应物的近无损转换。我们使用这些结果来证明在尖峰神经网络上进行永久丢弃的推理阶段的可行性，从而减轻该技术的计算和能量负担，这对于其在大规模或边缘平台上的使用至关重要。我们通过Nengo尖峰神经模拟器在用于癌症治疗的联合药物治疗数据集上展示了所提出的方法，其中UQ是至关重要的。我们的研究结果表明，尖峰近似给出了一个预测分布几乎无法区分的经典网络。
2019-04-29 cs.LG cs.NE stat.ML
Variational Dropout Sparsifies Deep Neural Networks
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；Yandex；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；National Research University Higher School of Economics（俄罗斯国家研究型高等经济大学）
我们探讨了最近提出的变分辍学技术，提供了一个优雅的贝叶斯解释高斯辍学。我们扩展变分辍学率的情况下，辍学率是无界的，提出了一种方法来减少梯度估计的方差和报告的第一个实验结果与个人辍学率每重量。有趣的是，它在全连接层和卷积层中都导致了极其稀疏的解决方案。这种效果类似于经验贝叶斯中的自动相关性确定效果，但具有许多优点。我们在LeNet架构上将参数数量减少了280倍，在类似VGG的网络上减少了68倍，而准确性的降低可以忽略不计。
2017-06-13 cs.LG stat.ML
Bayesian posterior approximation with stochastic ensembles
Stockholm University（斯德哥尔摩大学）；University of Gothenburg（哥德堡大学）；Chalmers University of Technology（查尔姆斯理工大学）
提出将 dropout 等随机方法与深度集成的随机神经网络集成，通过变分推断近似 Bayesian 后验，在玩具问题和 CIFAR 上比常用基线提供更准确的后验估计。
2024-01-03 cs.CV cs.LG stat.ML
CODA: Constructivism Learning for Instance-Dependent Dropout Architecture Construction
Ainstein AI
Dropout正在吸引人们对深度学习的浓厚研究兴趣，将其作为防止过拟合的有效方法。最近结合结构信息时，决定哪些单位辍学产生了可喜的结果相比，忽略结构信息的方法。然而，现有工作的一个主要问题是，它未能区分实例时，构造辍学架构。这对于许多应用来说可能是一个严重的缺陷。为了解决这个问题，我们提出了基于实例依赖的辍学架构（CODA）的建构主义学习，这是从哲学理论，建构主义学习的启发。特别地，在此理论基础上，我们设计了一种更好的丢弃技术，均匀过程混合模型，使用贝叶斯非参数方法均匀过程。我们已经在5个真实世界的数据集上评估了我们提出的方法，并将其性能与其他最先进的dropout技术进行了比较。实验结果证明了CODA算法的有效性。
2021-06-15 cs.LG stat.ML
Radial Bayesian Neural Networks: Beyond Discrete Support In Large-Scale Bayesian Deep Learning
University of Oxford（牛津大学）
我们提出了径向贝叶斯神经网络（BNN）：BNN的变分近似后验，它可以很好地扩展到大型模型，同时保持在权重空间上的分布，并得到充分的支持。其他可扩展的贝叶斯深度学习方法，如MC dropout或深度集成，具有离散支持-它们将零概率分配给几乎所有的权重空间。与这些离散支持方法不同，径向BNN的完全支持使其适合用作顺序推理的先验。此外，他们解决了概念上的挑战与离散支持的权重分布的先验难以置信。径向BNN的动机是避免采样问题的“平均场”变分推断（MFVI）所造成的所谓的“肥皂泡”病理的多变量高斯。我们表明，与MFVI不同，径向BNN对超参数具有鲁棒性，并且可以有效地应用于具有挑战性的现实医学应用，而无需进行特别调整和密集调整。事实上，在这种情况下，径向BNN的性能优于MC dropout等离散支持方法。最后，通过使用径向BNN作为MFVI的理论原则，强大的替代方案，我们在贝叶斯持续学习评估中取得了重大进展。
2021-05-31 cs.LG stat.ML
Locally Learned Synaptic Dropout for Complete Bayesian Inference
贝叶斯大脑假说假定大脑根据贝叶斯定理准确地对统计分布进行操作。突触前囊泡释放神经递质的随机失败可能允许大脑从网络参数的后验分布中采样，解释为认知的不确定性。以前没有显示随机故障如何允许网络从观察到的分布中采样，也称为任意或剩余不确定性。从这两种分布中进行采样可以实现概率推理、高效搜索以及创造性或生成性问题解决。我们证明，根据人口代码为基础的解释神经活动，这两种类型的分布可以表示和采样与突触故障单独。我们首先定义了一个生物约束的神经网络和采样方案的基础上突触故障和侧抑制。在这个框架内，我们推导出基于辍学的认知不确定性，然后证明了从突触功效到释放概率的分析映射，该映射允许网络从接收层表示的任意学习分布中进行采样。其次，我们的结果导致了一个局部的学习规则，突触适应其释放概率。我们的研究结果表明，完整的贝叶斯推断，相关的变分学习方法的辍学，在一个生物约束的网络，只使用本地学习的突触故障率。
2021-11-29 q-bio.NC stat.ML
Loss-Calibrated Approximate Inference in Bayesian Neural Networks
University of Oxford（牛津大学）
贝叶斯神经网络的近似推理中的当前方法最小化库尔贝克-莱布勒散度以近似权重上的真实后验。然而，这种近似没有最终应用的知识，因此不能保证给定任务的最佳预测。为了使更合适的特定于任务的近似，我们引入了一个新的损失校准证据下限贝叶斯神经网络的监督学习的背景下，通知贝叶斯决策理论。通过引入依赖于效用函数的下限，我们确保我们的近似比具有非对称效用函数的应用程序的传统方法实现更高的效用。此外，在使用dropout推理时，我们强调我们的新目标与标准dropout神经网络的目标相同，只是增加了一个依赖于效用的惩罚项。我们展示了我们的新的损失校准模型与说明性的医疗例子和限制模型容量实验，并突出故障模式的可比加权交叉熵的方法。最后，我们展示了我们的方法的可扩展性，以现实世界的应用程序与自动驾驶数据集上的每像素语义分割。
2018-05-10 cs.LG stat.ML
Weight Expansion: A New Perspective on Dropout and Generalization
University of Liverpool（利物浦大学）；Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）
虽然dropout被认为是一种成功的正则化技术，但仍然缺乏对导致这种成功的机制的见解。我们引入了\emph{weight expansion}的概念，增加了由列或行向量的权重协方差矩阵所跨越的平行六面体的有符号体积，并表明权重扩展是一种有效的手段，增加了PAC-贝叶斯设置中的泛化。我们提供了一个理论论据，辍学导致体重膨胀和广泛的经验支持辍学和体重膨胀之间的相关性。为了支持我们的假设，即权重扩展可以被视为由dropout赋予的增强的泛化能力的\emph{indicator}，而不仅仅是一个副产品，我们研究了实现权重扩展的其他方法（分别为）。他们发现，他们的行为，往往是一种行为，一种行为。降低）的概括能力。这表明dropout是一个有吸引力的正则化器，因为它是一种计算成本低的方法来获得权重扩展。这一见解证明了dropout作为正则化器的作用，同时为识别通过权重扩展改善泛化的正则化器铺平了道路。
2022-09-12 cs.LG stat.ML
Bayesian modeling longitudinal dyadic data with nonignorable dropout, with application to a breast cancer study
二元数据在社会和行为科学中很常见，其中二元数据的成员由于二元数据内的相互依赖结构而相互关联。当出现不可解释的脱落时，纵向二元数据的分析变得复杂。我们提出了一个完全贝叶斯选择模型为基础的方法来分析纵向二元数据与不可分割的辍学。我们通过过渡模型对受试者的重复测量进行建模，并通过随机效应解释二分体内相关性。在该模型中，我们允许主体的结果取决于他/她自己的特征和测量历史，以及在二元体中的其他成员。我们进一步解释了使用一个选择模型，其中脱落的概率取决于缺失的结果的不可重复的缺失数据机制。我们提出了一个吉布斯抽样算法来拟合模型。仿真研究表明，该方法有效地解决了不可忽视的辍学问题。我们使用纵向乳腺癌研究来说明我们的方法。
2012-06-28 stat.AP
Single Shot MC Dropout Approximation
Elektrobit Automotive GmbH；Zurich University of Applied Sciences（苏黎世应用科学大学）；University of Zurich（苏黎世大学）；Konstanz University of Applied Sciences（康斯坦茨应用科学大学）
深度神经网络（DNN）以其高预测性能而闻名，特别是在物体识别或自动驾驶等感知任务中。尽管如此，DNN在遇到全新的情况时，在没有表明其不确定性的情况下，很容易产生不可靠的预测。DNN（BDNN）的贝叶斯变体，如MC dropout BDNN，确实提供了不确定性度量。然而，BDNN在测试期间很慢，因为它们依赖于采样方法。在这里，我们提出了一个Single Shot MC dropout近似，它保留了BDNN的优点，而不会比DNN慢。我们的方法是解析近似的每一层在一个完全连接的网络的期望值和方差的MC dropout信号。我们评估我们的方法在不同的基准数据集和模拟玩具的例子。我们证明了我们的Single Shot MC dropout近似类似于用MC方法实现的预测分布的点估计和不确定性估计，同时对于BDNN的实时部署来说足够快。
2020-07-07 cs.LG stat.ML
Variational Dropout and the Local Reparameterization Trick
University of California, Irvine（加州大学欧文分校）；Canadian Institute for Advanced Research（加拿大高等研究院）；University of Amsterdam（阿姆斯特丹大学）
我们研究了一种局部重新参数化技术，用于大大减少变分贝叶斯推断（SGVB）的后验模型参数的随机梯度的方差，同时保持并行性。这种局部重新参数化将全局参数的不确定性转化为小批量中跨数据点独立的局部噪声。这样的参数化可以被平凡地并行化，并且具有与小批量大小成反比的方差，通常导致更快的收敛。此外，我们探讨了与dropout的连接：高斯dropout目标对应于SGVB与局部重新参数化，尺度不变的先验和按比例固定的后验方差。我们的方法允许推断更灵活的参数化后验;具体来说，我们提出变分辍学，高斯辍学的泛化，辍学率的学习，往往会导致更好的模型。该方法是通过几个实验证明。
2015-12-20 cs.LG stat.CO stat.ML
Known Unknowns: Uncertainty Quality in Bayesian Neural Networks
University of Campinas (Unicamp)（坎皮纳斯州立大学 (Unicamp)）
我们使用异常检测来评估神经网络的不确定性质量。我们从候选模型的预测中提取不确定性度量（例如熵），使用这些度量作为异常检测器的特征，并衡量检测器区分已知类别和未知类别的程度。我们将更高的不确定性质量分配给候选模型，从而产生更好的检测器。我们还提出了一种新的方法，称为单样本贝叶斯近似（OSBA）的贝叶斯神经网络的变分近似采样。我们在两个数据集上进行了实验，MNIST和CIFAR 10。我们比较了以下候选神经网络模型：极大似然，贝叶斯丢弃，OSBA和-对于MNIST --标准变分近似。我们表明，贝叶斯丢弃和OSBA提供更好的不确定性信息比极大似然，基本上相当于标准的变分近似，但更快。
2016-12-23 cs.LG cs.NE stat.ML
Bayesian Sparsification of Recurrent Neural Networks
National Research University Higher School of Economics（国立研究大学高等经济学院）；Kaspersky Lab（卡巴斯基实验室）；Lomonosov Moscow State University（莫斯科国立大学）；Yandex
循环神经网络在许多文本分析任务中显示出最先进的结果，但通常需要大量内存来存储其权重。最近提出的稀疏变分丢弃消除了前馈神经网络中的大部分权重，而没有显着的质量损失。我们应用这种技术来稀疏循环神经网络。为了解释经常性的细节，我们还依赖于RNN的二进制变分丢弃。我们在情感分析任务上报告了99.5%的稀疏度，而没有质量下降，在语言建模任务上报告了高达87%的稀疏度，精度略有下降。
2017-07-31 cs.CL cs.LG stat.ML
Structured Bayesian Pruning via Log-Normal Multiplicative Noise
基于丢弃的正则化方法可以被视为在训练期间向神经网络的不同部分注入具有预定义幅度的随机噪声。最近的研究表明，贝叶斯丢弃过程不仅提高了泛化能力，而且通过自动设置每个权重的单个噪声幅度，导致了极其稀疏的神经结构。然而，这种稀疏性几乎不能用于加速，因为它是非结构化的。在本文中，我们提出了一种新的贝叶斯模型，该模型考虑了神经网络的计算结构，并提供了结构化的稀疏性，例如删除CNN中的神经元和/或卷积通道。为此，我们将噪声注入神经元输出，同时保持权重不规则化。我们建立了概率模型，适当的截断对数一致先验的噪声和截断对数正态变分近似，以确保在证据下界的KL-项计算在封闭形式。该模型通过从计算图中移除具有低SNR的元素来实现结构化稀疏，并在许多深度神经架构上提供显着的加速。该模型很容易实现，因为它可以作为一个单独的dropout层来制定。
2017-11-04 stat.ML
Accelerate CNN via Recursive Bayesian Pruning
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学协同媒体网络创新中心）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
通道剪枝是一个NP难问题，它被广泛用于加速卷积神经网络。现有的方法为了计算简单，通常忽略了上述依赖性。为了解决这个问题，在贝叶斯框架下，我们提出了一种逐层递归贝叶斯修剪方法（RBP）。提出了一种新的基于丢弃率的冗余度度量方法，该方法在假设层间相关性的前提下，简化了后验估计的计算。具体来说，我们将跨层的噪声建模为马尔可夫链，并将其后验作为目标以反映层间依赖性。考虑到后验问题的封闭形式解是难以处理的，我们推导了一个稀疏诱导的Dirac-like先验，它规则化了设计噪声的分布，以自动逼近后验。与现有的方法相比，当假设层间依赖性时，不需要额外的开销。冗余通道可以通过微小的丢弃噪声简单地识别出来，并直接逐层修剪。在流行的CNN架构上的实验表明，所提出的方法优于几种最先进的方法。特别地，我们分别针对VGG 16和ResNet 50在大规模数据集ILSVRC 2012上实现了高达$\bf{5.0\times}$和$\bf{2.2\times}$ FLOP的减少，并且精度损失很小。
2019-03-27 cs.LG stat.ML
Concrete Dropout
Dropout是一种实用的工具，用于在大型视觉模型和强化学习（RL）任务中获得不确定性估计。但是，为了获得校准良好的不确定性估计，在丢弃概率上进行网格搜索是必要的-对于大型模型，这是一个禁止的操作，而对于RL则是不可能的。我们提出了一个新的辍学的变种，提供了更好的性能和校准的不确定性。依靠贝叶斯深度学习的最新发展，我们使用dropout离散掩码的连续松弛。结合原则性优化目标，这允许在大型模型中自动调整丢失概率，从而加快实验周期。在RL中，这允许代理随着观察到更多数据而动态地适应其不确定性。我们在一系列任务上广泛分析了所提出的变体，并深入了解了在更深的模型层中经常使用更大的辍学概率的领域中的常见做法。
2017-05-22 stat.ML
A Bayesian Approach for Nonignorable Dropout in Bivariate Longitudinal Models
Maastricht University（马斯特里赫特大学）；University of Florida（佛罗里达大学）；University College London（伦敦大学学院）
提出贝叶斯非参数方法处理双变量纵向数据中的非随机缺失，通过联合建模各响应的退出过程并利用识别约束处理数据复杂性，应用于成本效果评估。
2026-06-25 stat.ME
B-PINNs: Bayesian Physics-Informed Neural Networks for Forward and Inverse PDE Problems with Noisy Data
Brown University（布朗大学）；Pacific Northwest National Laboratory（西北太平洋国家实验室）
提出了一种贝叶斯物理信息神经网络（B-PINN）来解决由偏微分方程（PDE）和噪声数据描述的正、逆非线性问题。在这个贝叶斯框架中，贝叶斯神经网络（BNN）结合PINN的偏微分方程作为前，而哈密顿蒙特卡罗（HMC）或变分推断（VI）可以作为后验的估计。B-PINN利用物理定律和分散的噪声测量来提供预测，并量化贝叶斯框架中噪声数据所产生的任意不确定性。与PINN相比，B-PINN除了量化不确定性外，由于其避免过拟合的能力，在大噪声场景中获得更准确的预测。我们对B-PINN后验估计的两种不同方法进行了系统的比较（即，HMC或VI），以及用于量化深度神经网络中的不确定性的dropout。我们的实验表明，HMC比VI更适合于B-PINNs的后验估计，而PINNs中采用的dropout很难提供具有合理不确定性的准确预测。最后，我们用截断的Karhunen-Loève（KL）展开与HMC或深度归一化流（DNF）模型相结合作为后验估计来替换先验中的BNN。KL是准确的BNN和更快，但这个框架不能很容易地扩展到高维问题，不像基于BNN的框架。
2020-03-13 cs.LG stat.ML
Prediction of Bayesian Intervals for Tropical Storms
Ganzfried Research（甘兹弗里德研究所）
基于最近使用递归神经网络（RNNs）预测飓风轨迹的研究，我们已经开发了改进的方法，并推广了预测贝叶斯区间的方法，以及简单的点估计。热带风暴能够造成严重破坏，因此准确预测其轨迹可以为城市和生活带来重大利益，特别是当它们由于气候变化影响而变得更加强烈时。通过在RNN中使用dropout实现贝叶斯区间，我们提高了预测的可操作性，例如通过估计登陆地区的疏散区域。我们使用RNN以6小时为间隔预测风暴的轨迹。我们使用的纬度，经度，风速和压力的功能，从统计飓风强度预测计划（SHIPS）数据集的约500个热带风暴在大西洋。我们的研究结果显示了神经网络dropout值如何影响预测和间隔。
2020-03-10 cs.LG physics.ao-ph stat.AP
A Bayesian semi-parametric approach for inference on the population partly conditional mean from longitudinal data with dropout
使用纵向数据的记忆轨迹研究，由于选择性的研究招募和流失，通常会导致高度非代表性的样本。另一个偏差来自练习效果，由于熟悉测试内容或上下文，练习效果会提高或保持成绩。这些挑战可能会使研究结果产生偏差，并严重扭曲对目标人群进行概括的能力。在这项研究中，我们提出了一种方法来估计有限的人口平均值的纵向结果条件是活着在一个特定的时间点。我们开发了一个灵活的贝叶斯半参数预测估计人口推断时，纵向辅助信息是已知的目标人群。我们评估结果的敏感性，不可检验的假设，并进一步比较我们的方法用于人口推断的模拟研究中的其他方法。所提出的方法的动机是15年的纵向数据从桦纵向队列研究。我们应用我们的方法来估计情景记忆中的寿命轨迹，目的是将研究结果推广到目标人群。
2021-03-22 stat.AP stat.ME
Bayesian Joint Modeling for Longitudinal Magnitude Data with Informative Dropout: an Application to Critical Care Data
本文提出了一种包含随机效应的贝叶斯回归方法来分析幅度数据，并扩展为联合建模策略以应对信息性退出问题，有效减轻缺失数据偏差，最后应用于ICU患者膈肌厚度变化研究。
2025-07-14 stat.AP stat.ME
Uncertainty Quantification for Physics-Informed Neural Networks with Extended Fiducial Inference
本文提出基于扩展置信推断的新方法，利用窄瓶颈超网络为物理信息神经网络提供严格不确定性量化，克服贝叶斯和dropout方法局限，仅凭观测数据构建诚实置信集，提升可靠性、可解释性并扩展至大规模模型。
2025-10-16 cs.LG stat.ML
Deep Contextual Multi-armed Bandits
HubSpot, Inc.（HubSpot公司）
上下文多臂强盗问题经常出现在重要的工业应用中。现有的解决方案对上下文进行线性建模，这使得能够进行不确定性驱动的（原则性的）探索，或者通过使用ε贪婪探索策略进行非线性建模。在这里，我们提出了一个深度学习框架的上下文多武装匪徒，这是既非线性的，同时使原则性的探索。我们通过汤普森采样来解决探索与开发的权衡问题，方法是利用贝叶斯神经网络权重上的推理时间丢失与后验采样之间的联系。为了随着更多的数据提供给模型而自动调整探索的水平，辍学率是学习的，而不是被认为是一个超参数。我们证明，我们的方法大大减少了两个任务（UCI蘑菇任务和赌场奇偶校验任务）相比，1）非上下文土匪，2）ε贪婪的深度上下文土匪，和3）固定的辍学率深度上下文土匪的遗憾。我们的方法目前正在应用于营销优化问题在HubSpot。
2018-07-25 cs.LG stat.ML
Bayesian Sparsification Methods for Deep Complex-valued Networks
随着不断的小型化，在嵌入式系统中可以发现越来越多的深度学习应用，其中通常会遇到具有自然复域表示的数据。为此，我们扩展稀疏变分辍学复值神经网络和验证所提出的贝叶斯技术进行了大量的数值研究的性能压缩权衡的C值网络上的两个任务：图像识别MNIST类和CIFAR 10数据集和音乐转录MusicNet。我们在MusicNet上复制了Trabelsi等人[2018]的最新结果，其中复值网络被压缩了50- 100倍，性能损失很小。
2020-06-28 cs.LG stat.ML
Improved Bayesian Compression
神经网络的压缩是近年来研究的热点问题。其主要原因是对NN的工业规模使用的需求，例如将它们部署在移动设备上，有效地存储它们，通过带限信道传输它们，最重要的是进行大规模推理。在这项工作中，我们建议加入软权重共享和变分丢弃方法，这些方法显示出强有力的结果，以定义模型压缩方面的新的最先进技术。
2017-12-07 stat.ML
Bayesian PINNs for uncertainty-aware inverse problems (BPINN-IP)
ISCT, Bures-sur-Yvette, France（法国ISCT）；Institute of Digital Twin (IDT), EIT, Ningbo, China（中国宁波EIT数字孪生研究所）；Dept. of Statistics, Central South University, Changcha, China（中国长沙中央南大学统计系）
本文提出了一种贝叶斯物理信息神经网络方法，用于解决具有不确定性的逆问题，通过引入先验知识和不确定性量化技术提升逆问题求解的鲁棒性。
2026-02-04 cs.LG stat.ML
Bayesian Convolutional Neural Networks with Bernoulli Approximate Variational Inference
University of Cambridge（剑桥大学）
卷积神经网络（CNN）在大型数据集上工作得很好。但是，标记数据很难收集，在某些应用程序中，更大量的数据不可用。接下来的问题是如何将CNN用于小数据--因为CNN很快就会过拟合。我们提出了一种高效的贝叶斯CNN，与传统方法相比，它对小数据的过度拟合具有更好的鲁棒性。这是通过在CNN的内核上放置概率分布。我们近似我们的模型的棘手的后验与伯努利变分分布，不需要额外的模型参数。在理论方面，我们将辍学网络训练作为贝叶斯神经网络的近似推理。这使我们能够使用深度学习中的现有工具来实现我们的模型，而不会增加时间复杂度，同时突出显示该领域的负面结果。与标准技术相比，我们在分类准确性方面有了相当大的提高，并改进了CIFAR-10的最新结果。
2016-01-18 cs.LG stat.ML
BADDr: Bayes-Adaptive Deep Dropout RL for POMDPs
Northeastern University（东北大学）；Delft University of Technology（代尔夫特理工大学）
虽然强化学习（RL）在可扩展性方面取得了很大进展，但探索和部分可观测性仍然是活跃的研究课题。相比之下，贝叶斯RL（BRL）提供了一个原则性的答案，状态估计和探索-开发权衡，但努力扩展。为了应对这一挑战，已经提出了具有各种先前假设的BRL框架，并取得了不同的成功。这项工作提出了一个表示不可知的制定BRL下部分可观测性，统一以前的模型下一个理论的保护伞。为了证明其实际意义，我们还提出了一种新的推导，贝叶斯自适应深度丢弃rl（BADDr），基于丢弃网络。在这种参数化下，与以前的工作相比，对状态和动态的信念是一个更具可扩展性的推理问题。我们通过蒙特卡罗树搜索选择行动，并实证表明，我们的方法是竞争力与国家的最先进的BRL方法在小的域，同时能够解决更大的。
2022-02-17 cs.AI cs.LG
Bayesian Image Classification with Deep Convolutional Gaussian Processes
在决策系统中，重要的是要有分类器，校准的不确定性，优化目标，可用于自动模型选择和培训。高斯过程（GP）提供了不确定性估计和边际似然目标，但它们的弱归纳偏差导致精度较差。这限制了它们在某些任务（例如图像分类）中的适用性。我们提出了一个对平移不敏感的卷积核，它放松了以前卷积GP施加的平移不变性约束。我们展示了如何使用边际似然来学习不敏感的程度。我们还将GP图像到图像的卷积映射重新表述为多输出GP，从而产生深度卷积GP。我们的实验表明，我们的新内核提高了单层和深层模型的性能。我们还证明了我们的完全贝叶斯方法在不确定性和边际似然估计方面优于基于丢弃的贝叶斯深度学习方法。
2020-03-04 cs.LG stat.ML
On Compression Principle and Bayesian Optimization for Neural Networks
BayzAI；Volkswagen Group of America（美国大众汽车集团）；Innovation Center California（加州创新中心）
寻找做出可推广预测的方法是机器学习的一个基本问题。通过研究未知数据的预测问题和无损压缩之间的相似性，我们找到了一种解决方案。在本文中，我们提出了一个压缩原则，指出一个最佳的预测模型是一个最小化的总压缩消息长度的所有数据和模型定义，同时保证可解码性。遵循压缩原则，我们使用贝叶斯方法来建立数据和网络定义的概率模型。一种使用一系列变分近似来近似贝叶斯积分的方法被实现为超参数的优化器：贝叶斯随机梯度下降（BSGD）。使用BSGD的训练完全通过设置三个参数来定义：epoch的数量，数据集的大小和minibatch的大小，它们定义了学习率和迭代次数。我们表明，dropout可以用于连续降维，从而可以根据压缩原理的要求找到最佳的网络维度。
2020-06-23 cs.LG stat.ML
On the Importance of Strong Baselines in Bayesian Deep Learning
University of Oxford（牛津大学）；University College London（伦敦大学学院）
像机器学习的所有子领域一样，贝叶斯深度学习是由其理论建议的经验验证驱动的。考虑到实验的许多方面，微小甚至重大的实验缺陷总是有可能被作者和评论者忽略。用于评估近似推理技术的最流行的实验之一是UCI数据集上的回归实验。然而，在这个实验中，已经训练收敛的模型经常与只训练固定次数的基线进行比较。我们发现，一个完善的基线，蒙特卡罗辍学，在相同的实验设置下进行评估时，显示出显着的改善。事实上，基线优于或表现出竞争力的方法，声称优于相同的基线方法时，他们被引入。因此，通过暴露实验过程中的这一缺陷，我们强调了在贝叶斯深度学习中使用相同的实验设置来评估、比较和基准测试方法的重要性。
2018-11-30 cs.LG stat.ML
Bayesian Survival Modelling of University Outcomes
本文的目的是在智利天主教大学本科生在大学注册的长度和相关的学术成果建模。生存时间被定义为直到注册期结束的时间，这可能与不同的原因有关-毕业或两种类型的辍学-由不同的过程驱动。因此，采用竞争风险模型进行分析。分离的结果（这排除了极大似然估计）的问题是通过使用贝叶斯推断与适当选择的先验处理。我们感兴趣的是确定大学成果的重要决定因素，并通过贝叶斯模型平均正式解决相关模型的不确定性。为模拟大学成果而采用的方法适用于三个选定的学位课程，这些课程特别受到辍学和迟毕业的影响。
2014-06-25 stat.AP
The Bayesian Learning Rule
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本文提出贝叶斯学习规则，用自然梯度估计候选分布来近似后验，从而统一并推广了从岭回归、牛顿法到随机梯度下降、Dropout 等众多经典与现代机器学习算法，并支持设计新算法。
2024-06-08 cs.LG stat.ML
B-SCST: Bayesian Self-Critical Sequence Training for Image Captioning
Intel Corporation（英特尔公司）
贝叶斯深度神经网络（DNN）可以提供一个有数学基础的框架来量化来自图像描述模型的预测中的不确定性。我们提出了一种贝叶斯变体的基于策略梯度的强化学习训练技术，用于图像描述模型，以直接优化不可区分的图像描述质量指标，如CIDEr-D。我们扩展了著名的自我关键序列训练（SCST）方法的图像描述模型，通过将贝叶斯推理，并将其称为B-SCST。B-SCST中的策略梯度的“基线”是通过对从使用贝叶斯DNN模型获得的分布中提取的字幕的预测质量度量（CIDEr-D）进行平均来生成的。我们推断这个预测分布使用蒙特卡罗（MC）辍学近似变分推断。我们表明，B-SCST提高CIDEr-D分数Flickr 30 k，MS COCO和VizWiz图像描述数据集相比，SCST的方法。我们还提供了一个研究的不确定性量化的预测字幕，并证明它与CIDER-D分数。据我们所知，这是第一次这样的分析，它可以提高图像描述模型输出的可解释性，这对实际应用至关重要。
2020-06-28 cs.LG stat.ML
A Simple Approximate Bayesian Inference Neural Surrogate for Stochastic Petri Net Models
School of Computing and Augmented Intelligence, Arizona State University（计算与增强智能学院，亚利桑那州立大学）；School of Mathematical and Statistical Sciences, Arizona State University（数学与统计科学学院，亚利桑那州立大学）；School of Life Sciences, Arizona State University（生命科学学院，亚利桑那州立大学）
本文提出一种神经替代模型，用于快速准确地恢复随机Petri网模型中依赖外部协变量的速率函数系数，通过端到端训练和蒙特卡洛dropout实现高效参数估计。
2025-12-07 cs.LG q-bio.QM stat.ML
Bayesian Layers: A Module for Neural Network Uncertainty
Google Brain（谷歌大脑）
我们描述了贝叶斯层，一个模块设计的快速实验与神经网络的不确定性。它扩展了神经网络库，并为公共层提供了直接替换。这使得通过确定性和随机函数的统一抽象来实现组合，并允许通过底层系统进行可扩展性。这些层捕获权重（贝叶斯神经网络），预激活单元（dropout），激活（“随机输出层”）或函数本身（高斯过程）的不确定性。它们也可以是可逆的，将不确定性从输入传播到输出。我们包括常见架构的代码示例，如贝叶斯LSTM，深度GP和基于流的模型。作为演示，我们在512个TPUv2内核上安装了50亿个参数“贝叶斯Transformer”，用于机器翻译中的不确定性，并使用贝叶斯动力学模型进行基于模型的规划。最后，我们展示了如何贝叶斯层可以使用在爱德华2概率程序设计语言的概率程序与随机过程。
2019-03-05 cs.LG cs.PL stat.ML
BayesDLL: Bayesian Deep Learning Library
Samsung AI Center Cambridge（三星剑桥人工智能中心）；University of Edinburgh（爱丁堡大学）
BayesDLL 是一个面向 PyTorch 的大规模贝叶斯神经网络库，支持 ViTs 等大型模型，无需修改骨干网络代码，并支持预训练权重作为先验均值，便于对基础模型进行贝叶斯推断。
2023-09-22 cs.LG stat.ML
Bayesian Hypernetworks
Montreal Institute for Learning Algorithms (MILA)（蒙特利尔学习算法研究所（MILA））；ElementAI（元素人工智能公司）；McGill University（麦吉尔大学）
我们研究贝叶斯超网络：在神经网络中近似贝叶斯推断的框架。贝叶斯超网络$\h$是一种神经网络，它学习将简单的噪声分布$p(\vecε) = \N(\vec 0,\mat I)$转换为另一个神经网络（“主网络”）的参数$\pp$上的分布$q(\pp) := q(h(\vecε))$。我们训练$q$变分推断，使用可逆的$\h$，使有效的估计后$p(\pp | \D)$通过采样的变分下限。与贝叶斯深度学习的大多数方法相比，贝叶斯超网可以表示参数之间具有相关性的复杂多模态近似后验，同时实现~ $q(\pp)$的廉价iid采样。在实践中，贝叶斯超网可以提供比dropout更好的对抗性示例的防御，并且在一系列评估模型不确定性的任务上表现出有竞争力的性能，包括正则化，主动学习和异常检测。
2018-04-24 cs.AI cs.LG stat.ML
On the Expressiveness of Approximate Inference in Bayesian Neural Networks
University of Cambridge（剑桥大学）；Microsoft Research（微软研究院）
虽然贝叶斯神经网络（BNN）有望成为灵活的、校准良好的统计模型，但推理通常需要近似，其结果知之甚少。我们研究了常见的变分方法在近似贝叶斯预测分布的质量。对于单隐藏层ReLU BNN，我们证明了在权重空间中定义的两种最常用分布的函数空间中的基本限制：平均场高斯分布和蒙特卡罗dropout分布。我们发现，在一些简单的情况下，两种方法都不能大幅增加低不确定性的分离区域之间的不确定性。我们提供了强有力的经验证据，确切的推理没有这种病理，因此，它是由于近似，而不是模型。相比之下，对于深度网络，我们证明了一个普适性结果，表明在上述类别中存在近似后验，提供了灵活的不确定性估计。然而，我们根据经验发现，当在更深的网络中执行变分推断时，与单隐藏层情况类似形式的病理可以持续存在。我们的研究结果激励仔细考虑BNN近似推理方法的影响。
2020-10-23 cs.LG stat.ML
Using Bayesian deep learning approaches for uncertainty-aware building energy surrogate models
University of Victoria（维多利亚大学）；Department of Civil Engineering（土木工程系）；Energy and Cities Group（能源与城市小组）
基于快速机器学习的代理模型经过训练，可模拟慢速、高保真的工程仿真模型，从而加快工程设计任务。这引入了不确定性，因为替代模型只是原始模型的近似值。贝叶斯方法可以量化这种不确定性，并且存在遵循贝叶斯范式的深度学习模型。这些模型，即贝叶斯神经网络和高斯过程模型，使我们能够给出预测与模型的不确定性的估计。因此，我们可以得到不确定性感知代理模型，可以自动怀疑看不见的设计样本，导致大的仿真错误。对于这些样本，可以改为查询高保真模型。这概述了贝叶斯范式如何让我们混合快速，但近似，缓慢，但准确的模型。本文针对复杂的高维建筑能耗模拟问题，训练了两类贝叶斯模型：丢弃神经网络和随机变分高斯过程模型。代理模型处理35个建筑设计参数（输入）以估计12个不同的性能度量（输出）。我们对这两种方法进行了基准测试，证明了它们的准确性是有竞争力的，并表明当将具有最高不确定性的10%的样本转移到高保真模型时，误差可以减少30%。
2020-10-05 cs.LG stat.ML
Deep Network Regularization via Bayesian Inference of Synaptic Connectivity
Cyprus University of Technology（塞浦路斯理工大学）
深度神经网络（DNN）通常需要好的正则化器来很好地泛化。目前，最先进的DNN正则化技术包括在训练算法的每次迭代中随机丢弃单元和/或连接。Dropout和DropConnect是这种正则化器的典型例子，在实践者中广泛流行。然而，这种方法的缺点在于，它们假定的随机单元/连接省略的概率是一个常数，必须基于在某个验证集中获得的性能来选择该常数。为了减轻这一负担，在本文中，我们从贝叶斯推理的角度考虑DNN正则化问题：我们在网络突触权重上施加一个稀疏诱导先验，其中稀疏性是由一组Bernoulli分布的二进制变量与其先验参数的Beta（超）先验引起的。通过这种方式，我们最终允许在DNN突触连接上进行边缘化以生成输出，从而产生一种有效的、无复杂性的网络正则化方案。我们通过一个有效的黑盒变分推理方案进行贝叶斯推理的层次模型。通过使用基准数据集进行广泛的实验评估，我们展示了我们的方法比现有方法的优势。
2018-03-04 cs.LG stat.ML
