Spatial-SpinDrop: Spatial Dropout-based Binary Bayesian Neural Network with Spintronics Implementation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CEA（法国原子能和替代能源委员会）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；IRIG-Spintec（格勒诺布尔微电子与纳米技术研究所自旋电子与纳米技术实验室）；RevoAI GmbH（RevoAI有限公司）
本文提出MC-SpatialDropout，一种基于空间丢弃和自旋电子器件的二值贝叶斯神经网络，利用器件随机性高效实现硬件丢弃，使模块数减少9倍、能耗降低94.11倍，同时保持预测性能与不确定性估计。
2023-06-16 cs.AI cs.AR cs.ET
Comparing Bayesian Models for Organ Contouring in Head and Neck Radiotherapy
Leiden University Medical Center（莱顿大学医学中心）；TU Delft（代尔夫特理工大学）
用于放射治疗中器官轮廓绘制的深度学习模型已准备好用于临床使用，但目前几乎没有用于预测轮廓的自动质量评估（QA）的工具。使用贝叶斯模型及其相关的不确定性，人们可以自动检测不准确的预测。我们研究了两个贝叶斯模型的自动轮廓，DropOut和FlipOut，使用定量测量-预期校准误差（ECE）和定性测量-基于区域的准确性与不确定性（R-AvU）图。众所周知，一个模型应该具有低的ECE才被认为是可信的。然而，在QA上下文中，模型还应该在不准确区域中具有高不确定性，在准确区域中具有低不确定性。这种行为可以将专家用户的视觉注意力引导到可能不准确的区域，从而加快QA过程。使用R-AvU图，我们定性地比较了不同模型在准确和不准确区域的行为。实验在MICCAI 2015头颈部分割挑战和DeepMindTCIA CT数据集上进行，使用三种模型：Dropout-DICE，Dropout-CE（交叉熵）和FlipOut-CE。定量结果表明，DropOut-DICE具有最高的ECE，而Dropout-CE和FlipOut-CE具有最低的ECE。为了更好地理解DropOut-CE和FlipOut-CE之间的差异，我们使用R-AvU图，该图显示FlipOut-CE在不准确区域中具有比DropOut-CE更好的不确定性覆盖。这种定量和定性指标的组合探索了一种新的方法，有助于选择哪种模型可以在临床环境中部署为QA工具…
2022-02-03 cs.CV cs.LG eess.IV
Neuromorphic Acceleration for Approximate Bayesian Inference on Neural Networks via Permanent Dropout
Virginia Tech（弗吉尼亚理工学院暨州立大学）；Argonne National Laboratory（阿贡国家实验室）
随着神经网络开始为社会执行越来越重要的任务，从驾驶汽车到确定药物开发的候选人，它们在预测中执行不确定性量化（UQ）的能力的价值也在迅速上升。永久丢弃是神经网络UQ的一种流行方法，涉及将随机性注入模型的推理阶段，并为每个测试数据创建许多预测。这将深度神经网络的计算和能量负担从训练阶段转移到推理阶段。最近的工作已经证明了经典深度神经网络到其尖峰对应物的近无损转换。我们使用这些结果来证明在尖峰神经网络上进行永久丢弃的推理阶段的可行性，从而减轻该技术的计算和能量负担，这对于其在大规模或边缘平台上的使用至关重要。我们通过Nengo尖峰神经模拟器在用于癌症治疗的联合药物治疗数据集上展示了所提出的方法，其中UQ是至关重要的。我们的研究结果表明，尖峰近似给出了一个预测分布几乎无法区分的经典网络。
2019-04-29 cs.LG cs.NE stat.ML
Dropout Injection at Test Time for Post Hoc Uncertainty Quantification in Neural Networks
Sapienza University of Rome（罗马第一大学）；University of Genova（热那亚大学）；University of Cagliari（卡利亚里大学）
在贝叶斯方法中，蒙特卡罗丢弃提供了评估神经网络的认知不确定性的原则性工具。它的流行最近导致了开创性的工作，建议只在评估不确定性的推理过程中激活dropout层。这种方法，我们称之为dropout注入，提供了明显的优势，因为它允许人们获得任何现有网络的事后不确定性测量，而无需dropout，避免了额外的，耗时的训练过程。不幸的是，没有以前的工作比较注入和嵌入辍学，因此，我们提供了第一个彻底的调查，重点是回归问题。我们的工作的主要贡献是提供有效使用注入dropout的指导方针，使它可以成为一个实际的替代目前使用的嵌入式dropout。特别是，我们表明，其有效性强烈依赖于相应的不确定性措施的适当缩放，我们讨论了负对数似然和校准误差之间的权衡作为比例因子的函数。UCI数据集和人群计数基准的实验结果支持我们的主张，辍学注入可以有效地表现为一个有竞争力的事后不确定性量化技术。
2023-02-06 cs.AI cs.LG
Calibration of Model Uncertainty for Dropout Variational Inference
Leibniz Universität Hannover（汉诺威莱布尼茨大学）
通过蒙特卡罗退出的变分贝叶斯推断得到的模型不确定性容易发生误校准。本文将不同的logit标度方法推广到dropout变分推断中，对模型的不确定性进行重新校正。期望不确定度校准误差（UCE）被提出作为衡量误校准的度量。在CIFAR-10/100和SVHN上评估了最近CNN架构的重新校准的有效性。实验结果表明，通过UCE，logit缩放可以显着减少误校准。良好校准的不确定性可以可靠地拒绝不确定的预测和可靠地检测分布外的数据。
2020-06-20 cs.LG stat.ML
Dirichlet-Based Monte Carlo Dropout for Uncertainty Estimation in Neural Networks
SUPMICROTECH（高等微技术与精密机械学院）；CNRS（法国国家科学研究中心）；Institut FEMTO-ST（FEMTO-ST研究所）
提出将狄利克雷分布框架集成到MC Dropout中，以提升深度学习模型的不确定性估计质量，同时保持计算效率。
2026-05-22 cs.LG stat.ML
Calibration and Uncertainty Quantification of Bayesian Convolutional Neural Networks for Geophysical Applications
Earth Science Analytics（地球科学分析公司）
深度神经网络在地球科学中提供了许多潜在的应用，例如，人们可以说它们是预测地震数据集中断层的最先进方法。在定量储层表征工作流程中，通常合并预测的不确定性，因此此类地下模型应在其预测中提供校准的概率和相关的不确定性。研究表明，流行的基于深度学习的模型经常被错误校准，并且由于其确定性，无法解释其预测的不确定性。我们比较了三种不同的方法来获得概率模型的基础上卷积神经网络在贝叶斯形式主义，即深度集成，混凝土辍学，和随机加权平均高斯（SWAG）。这些方法始终适用于故障检测案例研究，其中Deep Ensembles使用独立训练的模型来提供故障概率，Concrete Dropout代表了对流行的Dropout技术的扩展，以近似贝叶斯神经网络，最后，我们应用SWAG，这是一种基于小批量随机梯度下降的贝叶斯推理等价性的最新方法。我们提供定量结果的模型校准和不确定性表示，以及定性结果的合成和真实的地震数据集。我们的研究结果表明，近似贝叶斯方法，混凝土辍学和SWAG，都提供了良好的校准的预测和不确定性属性在较低的计算成本相比，基线深度包围的方法。由此产生的不确定性也提供了进一步提高模型性能以及增强模型可解释性的可能性。
2021-05-25 cs.CV cs.LG physics.geo-ph
Controlled Dropout for Uncertainty Estimation
Institute for Intelligent Systems Research and Innovation, Deakin University（迪肯大学智能系统研究与创新研究所）；Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
神经网络中的不确定性量化是安全关键应用中讨论最多的主题之一。尽管神经网络（NN）在许多应用中已经达到了最先进的性能，但它们仍然提供不可靠的点预测，缺乏关于不确定性估计的信息。在众多使神经网络能够估计不确定性的方法中，蒙特卡罗（MC）丢弃法由于其简单性而在短时间内得到了广泛的应用。在这项研究中，我们提出了一个新版本的传统dropout层，我们能够固定的dropout配置的数量。因此，每一层都可以在MC方法中采用并应用新的dropout层，以量化与NN预测相关的不确定性。我们在玩具和真实数据集上进行了实验，并将结果与使用传统dropout层的MC方法进行了比较。利用不确定性评估指标的性能分析证实，我们的dropout层在大多数情况下提供更好的性能。
2022-05-06 cs.CV cs.LG
GFlowOut: Dropout with Generative Flow Networks
Mila Quebec AI Institute（米拉魁北克人工智能研究所）；Broad Institute of MIT and Harvard（麻省理工学院-哈佛大学博德研究所）；University of Montreal（蒙特利尔大学）；McGill University（麦吉尔大学）；Lelapa AI（莱拉帕人工智能公司）；National University of Singapore（新加坡国立大学）；Google DeepMind（谷歌DeepMind）；Technical University of Munich（慕尼黑工业大学）
本文提出GFlowOut方法，利用生成流网络（GFlowNets）学习dropout掩码的后验分布，以解决传统变分推断在多模态后验和样本相关性利用上的挑战，提升模型对分布外数据的泛化能力及下游任务的不确定性估计性能。
2023-06-24 cs.AI cs.LG
Defensive Dropout for Hardening Deep Neural Networks under Adversarial Attacks
Northeastern University（东北大学）；Boston university（波士顿大学）；Florida International University（佛罗里达国际大学）
深度神经网络（DNN）是已知的易受对抗攻击的攻击。也就是说，通过在原始合法输入上添加精心制作的扭曲而获得的对抗性示例可以误导DNN将其分类为任何目标标签。这项工作提供了一种解决方案，通过防御性丢弃来加固对抗攻击下的DNN。除了在训练过程中使用dropout以获得最佳的测试精度外，我们还建议在测试时使用dropout以实现强大的防御效果。我们将构建鲁棒DNN的问题视为攻击者-防御者两人游戏，其中攻击者和防御者知道彼此的策略，并试图优化自己的策略以达到均衡。基于测试丢弃率对测试准确率和攻击成功率的影响，在给定神经网络模型和攻击者生成对抗性样本策略的情况下，提出了一种确定最优测试丢弃率的防御丢弃算法，并研究了防御丢弃算法取得显著防御效果的机理.与随机激活剪枝（SAP）相比，我们发现我们的防御丢弃算法实现了更大的梯度方差，这是提高防御效果（更低的攻击成功率）的关键。例如，我们的防御下降可以将当前最强攻击下的攻击成功率从100%降低到13.89%，即，C&W攻击MNIST数据集。
2018-09-13 cs.CR cs.CV cs.LG
Wasserstein Dropout
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）；University of Bonn（波恩大学）；University of Bochum（波鸿大学）
尽管对安全的机器学习具有重要意义，但神经网络的不确定性量化问题还远未解决。估计神经不确定性的最新方法通常是混合的，将参数模型与显式或隐式（基于辍学）集成相结合。我们采取另一种途径，并提出了一种新的方法，不确定性量化回归任务，Wasserstein辍学，这是纯粹的非参数。从技术上讲，它通过基于丢弃的子网络分布来捕获任意的不确定性。这是通过一个新的目标，最大限度地减少标签分布和模型分布之间的Wasserstein距离。一个广泛的实证分析表明，Wasserstein dropout优于最先进的方法，香草测试数据以及下的分布转移，在产生更准确和稳定的不确定性估计。
2021-12-02 cs.LG stat.ML
Well-calibrated Model Uncertainty with Temperature Scaling for Dropout Variational Inference
Institute of Mechatronic Systems（机电系统研究所）；Leibniz University Hannover（汉诺威莱布尼茨大学）
通过蒙特卡罗退出的变分贝叶斯推断得到的模型不确定性容易发生误校准。不确定度不能很好地代表模型误差。本文将温度标度法推广到丢弃变分推断中，以校正模型的不确定性。提出了期望不确定度校准误差（UCE）作为度量不确定度误校准的指标。这种方法的有效性进行评估CIFAR-10/100最近的CNN架构。实验结果表明，温度定标大大减少了UCE的误校准，并使不确定的预测鲁棒拒绝。所提出的方法可以很容易地从频率论的温度标度，并产生良好的校准模型的不确定性。该方法实现简单，不影响模型精度。
2019-11-18 cs.LG stat.ML
Uncertainty aware audiovisual activity recognition using deep Bayesian variational inference
Intel Labs（英特尔实验室）
深度神经网络（DNN）为多种应用提供了最先进的结果，但是将DNN用于多模态视听应用的方法不考虑与各个模态相关联的预测不确定性。贝叶斯深度学习方法提供原则性的置信度并量化预测的不确定性。我们在这项工作中的贡献是提出了一个不确定性感知的多模态贝叶斯融合框架的活动识别。我们展示了一种新的方法，该方法结合了确定性和变化层，以将贝叶斯DNN扩展到更深的架构。我们的实验使用的分布内和分布外的样本，从一个子集的时刻在时间（MiT）数据集显示了一个更可靠的信心措施相比，非贝叶斯基线和蒙特卡罗脱落（MC脱落）近似贝叶斯推断。我们还证明了从所提出的框架中获得的不确定性估计可以识别UCF101和MiT数据集上的分布外数据。在多模态设置中，与非贝叶斯基线相比，所提出的框架在MiT数据集的子集上将精确召回AUC提高了10.2%。
2019-09-20 cs.LG cs.NE stat.ML
Efficient Uncertainty Estimation in Spiking Neural Networks via MC-dropout
CWI（荷兰数学与计算机科学研究所）；Rijksuniversiteit Groningen（格罗宁根大学）；University of Amsterdam（阿姆斯特丹大学）
针对 SNNs 难以直接采用 ANN 不确定性估计方法的问题，本文利用其时间步机制提出高效 MC-dropout，在低训练与推理开销下实现高准确率和高质量不确定性估计。
2023-04-20 cs.AI cs.CV cs.LG
Bayesian Policy Gradients via Alpha Divergence Dropout Inference
McGill University（麦吉尔大学）
策略梯度方法在解决连续控制任务方面取得了巨大的成功，但此类问题的随机性使得确定性值估计变得困难。我们提出了一种方法，而不是估计分布拟合的价值函数与贝叶斯神经网络。我们优化了一个$α$发散目标与贝叶斯辍学近似学习和估计这个分布。我们表明，使用蒙特卡洛后验均值的贝叶斯价值函数分布，而不是一个确定性的网络，提高了稳定性和性能的策略梯度方法在连续控制MuJoCo模拟。
2017-12-06 cs.LG
A PAC-Bayesian Tutorial with A Dropout Bound
本教程简要概述了现有的PAC贝叶斯理论，重点是三个泛化边界。第一个是奥卡姆界限，它处理具有有限精度参数的规则，并且当写入规则所需的位数与样本大小相比很小时，它指出泛化损失接近训练损失。第二个是PAC-Bayesian界，为后验分布而不是单个规则提供泛化保证。PAC-Bayesian界自然地处理无限精度规则参数、$L_2$正则化、{ \em提供了用于放弃训练的界}，并且定义了单个区分的PAC-Bayesian后验分布的自然概念。第三个界限是训练方差界限-一种偏差方差分析，但用预期训练损失代替偏差。训练方差界占主导地位的其他界限，但更难以解释。这似乎表明方差减少方法，如装袋，并可能最终提供一个更有意义的辍学分析。
2013-07-08 cs.LG
A Bayesian encourages dropout
Kyoto University（京都大学）
丢弃是防止过拟合学习的关键技术之一。它被解释为一种修改的L2正则化。在这里，我们从贝叶斯的角度阐明了辍学。贝叶斯解释使我们能够优化辍学率，这有利于学习的权重参数和学习后的预测。实验结果也对丢包率的优化起到了促进作用。
2014-12-30 cs.LG cs.NE stat.ML
Unreliable Uncertainty Estimates with Monte Carlo Dropout
Department of Data Science, Norwegian University of Life Sciences（数据科学系，挪威生命科学大学）；SINTEF AS, Department of Mathematics and Cybernetics（SINTEF公司，数学与自动化系）
本文指出蒙特卡洛滴落在估计不确定性时不可靠，尤其在插值和外推区域表现不佳，不如传统贝叶斯方法可靠。
2025-12-16 cs.LG
Bayesian Neural Networks with Monte Carlo Dropout for Probabilistic Electricity Price Forecasting
Faculty of Mathematics and Economics（数学与经济学学院）；Ulm University（乌尔姆大学）；Department of Mathematics, Natural and Economic Sciences（数学、自然科学与经济科学系）；Ulm University of Applied Sciences（乌尔姆应用科学大学）
本文提出利用贝叶斯神经网络与蒙特卡罗滴落进行概率电价预测，通过日间模式建模优于传统基准模型。
2025-11-12 cs.LG
Dither is Better than Dropout for Regularising Deep Neural Networks
University of Surrey（萨里大学）
训练期间深度神经网络（DNN）的规则化对性能至关重要。到目前为止，最流行的方法被称为dropout。在这里，通过信号处理理论的棱镜投射，我们比较和对比dropout与抖动的正则化效果。我们说明了一些严重的固有局限性的辍学，并证明抖动提供了一个更有效的正则化。
2015-08-26 cs.LG
Advanced Dropout: A Model-free Methodology for Bayesian Dropout Optimization
Beijing University of Posts and Telecommunications（北京邮电大学）；Tianjin University（天津大学）；University of Technology Sydney（悉尼科技大学）；University College London（伦敦大学学院）；Aalborg University（奥尔堡大学）
由于缺乏数据，过拟合普遍存在于深度神经网络（DNN）的实际应用中。我们提出了高级dropout，一种无模型方法，以减轻过拟合并提高DNN的性能。先进的辍学技术采用了一个无模型和易于实现的分布与参数先验，并自适应调整辍学率。具体而言，分布参数通过随机梯度变分贝叶斯优化，以进行端到端的训练。我们评估了高级dropout对七个计算机视觉数据集（五个小规模数据集和两个大规模数据集）与各种基础模型上的九个dropout技术的有效性。在所有数据集上，高级丢弃算法的性能都优于其他算法。我们进一步比较了它们的有效性，发现高级丢弃算法在大多数情况下都达到了最高的有效性。接下来，我们进行了一系列的辍学率特性的分析，包括自适应辍学率的收敛性，辍学面具的学习分布，并与辍学率生成没有显式分布的比较。此外，过拟合的预防能力进行了评估和确认。最后，我们将高级dropout的应用扩展到不确定性推理，网络修剪，文本分类和回归。所提出的先进的辍学也优于相应的参考方法。代码可在https://github.com/PRIS-CV/AdvancedDropout上获得。
2021-08-10 cs.LG stat.ML
Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning
University of Cambridge（剑桥大学）
深度学习工具在应用机器学习中获得了极大的关注。然而，这种回归和分类工具并不能捕捉模型的不确定性。相比之下，贝叶斯模型提供了一个基于数学的框架来推理模型的不确定性，但通常会带来高昂的计算成本。在本文中，我们开发了一个新的理论框架，将深度神经网络（NN）中的辍学训练作为深度高斯过程中的近似贝叶斯推断。这一理论的直接结果为我们提供了使用dropout NN对不确定性建模的工具-从迄今为止被丢弃的现有模型中提取信息。这缓解了在深度学习中表示不确定性的问题，而不会牺牲计算复杂性或测试准确性。我们进行了广泛的研究辍学的不确定性的性质。以MNIST为例，对回归和分类任务进行了各种网络架构和非线性评估。与现有的最先进的方法相比，我们在预测对数似然和RMSE方面有了相当大的改进，并通过在深度强化学习中使用dropout的不确定性来完成。
2016-10-04 cs.LG stat.ML
Qualitative Analysis of Monte Carlo Dropout
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
在这份报告中，我们提出了定性分析的蒙特卡罗（MC）辍学方法测量模型的不确定性在神经网络（NN）模型。我们首先考虑的不确定性在NN的来源，并简要回顾贝叶斯神经网络（BNN），组贝叶斯方法来解决NN的不确定性。在提出MC辍学的数学公式后，我们继续提出在典型的NN模型中使用MC辍学的潜在好处和相关成本，以及我们的实验结果。
2020-07-03 cs.LG stat.ML
Dropout Inference in Bayesian Neural Networks with Alpha-divergences
University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）
为了使用真实世界的贝叶斯深度学习模型获得不确定性估计，需要实际的推理近似。例如，丢弃变分推理（VI）已用于机器视觉和医学应用，但VI可能严重低估模型的不确定性。α-发散是VI KL目标的替代发散，它能够避免VI的不确定性低估。但这些方法在实际应用中存在一定的困难：现有的方法只能使用高斯近似分布，并且需要对现有模型进行根本性的修改，因此对实践者的应用受到限制。我们提出了一个重新参数化的α发散目标，推导出一个简单的推理技术，连同辍学，可以很容易地实现与现有的模型，只需改变损失的模型。我们证明了改进的不确定性估计和精度相比，VI在辍学网络。我们研究我们的模型的认知不确定性远离使用对抗图像的数据，表明这些可以通过检查我们的模型的不确定性从非对抗图像区分。
2017-03-08 cs.LG stat.ML
Adaptive Tabu Dropout for Regularization of Deep Neural Network
United International University（联合国际大学）；Brac University（BRAC大学）
本文提出自适应禁忌丢弃机制，通过禁忌任期和基于训练表现自动选择任期来增强深度神经网络正则化的多样性，实验证明其优于标准丢弃和基本禁忌丢弃。
2024-12-31 cs.LG
Dropout in Training Neural Networks: Flatness of Solution and Noise Structure
Shanghai Jiao Tong University（上海交通大学）
重要的是要理解流行的正则化方法dropout如何帮助神经网络训练找到一个好的泛化解决方案。在这项工作中，我们表明，与标准的梯度下降训练相比，dropout训练可以找到具有更平坦的最小值的神经网络。我们进一步发现，通过在各种数据集上的实验，由丢弃引起的噪声的方差在损失景观的尖锐方向上更大，并且在所发现的最小值处损失景观的Hessian与噪声协方差矩阵对齐，即，MNIST、CIFAR-10、CIFAR-100和Multi 30 k，以及各种结构，即，全连接网络、大残差卷积网络和Transformer。对于具有分段线性激活函数的网络，并且dropout仅在最后一个隐藏层，然后从理论上推导出Hessian和dropout随机性的协方差，其中这两个量非常相似。这种相似性可能是解释辍学的好处的一个关键原因。
2022-05-21 cs.LG
An Adaptive Dropout Approach for High-Dimensional Bayesian Optimization
School of Computing and Artificial Intelligence, Southwest Jiaotong University（西南交通大学计算机与人工智能学院）
针对贝叶斯优化在高维问题中因采集函数高维性导致性能下降的问题，提出自适应 dropout 算法，通过迭代降低采集函数维度优化难度，实验表明其在高维场景中优于标准及现有先进方法，提升解质量。
2025-04-15 cs.LG stat.ML
Variational Bayesian Dropout with a Hierarchical Prior
Wuhan University（武汉大学）；The University of Adelaide（阿德莱德大学）；Inception Institute of Artificial Intelligence（人工智能初创研究院）
变分丢弃算法（Variational dropout，VD）是高斯丢弃算法的一种推广，其目的是根据网络权值的对数一致先验知识来推断权值的后验，从而同时学习权值和丢弃率。对数一致先验不仅解释了高斯丢弃在网络训练中的正则化能力，而且还支持这种后验的推断。然而，对数均匀先验是不适当的先验（即，它的积分是无穷的），这就导致了后验推理的不适定，从而限制了VD的正则化性能。为了解决这个问题，我们提出了一个新的推广高斯辍学，称为变分贝叶斯辍学（VBD），这反过来利用一个层次的网络权重的先验，并推断一个新的联合后验。具体来说，我们实现了分层先验作为一个零均值高斯分布与方差采样从一个统一的超先验。然后，我们将这样的先验知识引入到对网络权重和分层先验知识方差的联合后验推断中，从而将网络训练和丢包率估计都转化为一个联合优化问题。更重要的是，层次先验是一个适当的先验，使后验推理是适定性的。此外，我们进一步表明，建议的VBD可以无缝地应用于网络压缩。分类和网络压缩任务的实验证明了所提出的VBD在正则化网络训练方面的优越性能。
2019-04-04 cs.LG stat.ML
A Bayesian Neural Network based on Dropout Regulation
Université de Lorraine（洛林大学）；CentraleSupélec（巴黎中央理工-高等电力学院）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
贝叶斯神经网络（BNN）最近出现在深度学习领域，用于处理分类任务中的不确定性估计，并用于许多应用领域，如天体物理学，自动驾驶等。BNN假设一个先验的神经网络的权重，而不是点估计，使在这种方式的任意和认知的模型预测的不确定性的估计。此外，一个特殊类型的BNN，即MC Dropout，假设一个伯努利分布的权重使用Dropout。有几种尝试来优化辍学率，例如使用变分方法。在本文中，我们提出了一种新的方法，称为“辍学调节”（DR），其包括在训练期间使用如在自动化中使用的控制器来自动调节辍学率。DR允许对不确定性的精确估计，其与最先进的方法相当，同时保持易于实现。
2021-02-03 cs.AI cs.LG cs.NE
MC-CIM: Compute-in-Memory with Monte-Carlo Dropouts for Bayesian Edge Intelligence
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Intel（英特尔）
我们提出了MC-CIM，一个计算内存（CIM）框架的强大，但低功耗，贝叶斯边缘智能。具有确定性权重的深度神经网络（DNN）无法表达其预测不确定性，因此对预测错误的后果是致命的应用（如手术机器人）构成了严重风险。为了解决这一限制，DNN的贝叶斯推理得到了关注。使用贝叶斯推理，不仅可以提取预测本身，还可以提取预测置信度，用于规划风险感知行动。然而，DNN的贝叶斯推理在计算上是昂贵的，不适合实时和/或边缘部署。使用蒙特卡罗丢弃（MC-丢弃）的贝叶斯DNN的近似已经显示出高鲁棒性以及低计算复杂性。为了提高该方法的计算效率，我们讨论了一种新的CIM模块，除了在内存中的权重输入标量积，可以执行内存中的概率丢弃，以支持该方法。我们还提出了一个计算重用的MC-Dropout的重新表述，其中每个连续的实例可以利用前一次迭代的乘积和计算。更进一步，我们讨论了如何利用组合优化方法对随机实例进行最优排序，以最小化总体MC-Dropout工作量。提出了基于CIM的MC-Dropout执行的应用程序的MNIST字符识别和自主无人机的视觉里程计（VO）进行了讨论。该框架可靠地提供了预测的信心，在MC-CIM施加的非理想性在很大程度上。建议的MC-CIM采用16 x31 SRAM阵列、0.85 V电源、16 nm低待机功耗（LSTP）技术，在其最佳计算和外设配置下，30个MC-Dropout概率推理实例消耗27.…
2021-11-13 cs.AR cs.LG cs.RO
Variational Dropout via Empirical Bayes
National Research University Higher School of Economics（高等经济学院国家研究型大学）；Samsung AI Center in Moscow（三星莫斯科人工智能中心）
我们研究了应用于深度神经网络的自动相关性确定过程。我们表明，ARD应用于贝叶斯DNN与高斯近似后验分布导致变分界类似的变分辍学，并在一个固定的辍学率的情况下，目标是完全相同的。实验结果表明，这两种方法在实践中产生相当的结果，即使在辍学率训练。这导致了另一种贝叶斯解释的辍学，并减轻了一些理论上的问题，出现了不正确的先验使用变辍学模型。此外，我们探讨了ARD中分层先验的使用，并表明它有助于在相同的精度下实现更高的稀疏性。
2018-11-28 cs.LG stat.ML
Variational Bayesian dropout: pitfalls and fixes
University of Cambridge（剑桥大学）；Uber AI Labs（优步人工智能实验室）
Dropout是一种用于训练神经网络的随机正则化技术，最近被重新解释为贝叶斯神经网络的一种特定类型的近似推理算法。重新解释的主要贡献是提供了一个理论框架，用于分析和扩展算法。我们表明，所提出的框架遭受几个问题，从未定义的或病理行为的真正的后相关使用不适当的先验，一个不明确的变分目标由于奇异性的近似分布相对于真正的后。我们的分析不适当的对数均匀先验变分高斯辍学表明，病理是一般不可挽回的，算法仍然有效，只是因为变分制定取消了一些病理。为了解决奇异性问题，我们提出了拟KL（QKL）发散，一个新的近似推理目标的近似高维分布。我们发现，基于离散化和噪声的变分伯努利辍学的动机有QKL作为限制。本文从理论上和一个简单的实例上研究了QKL的性质，结果表明，满秩高斯与简并高斯的QKL最优逼近自然地导出了主成分分析解。
2018-07-05 cs.LG stat.ML
R-Drop: Regularized Dropout for Neural Networks
Soochow University（苏州大学）；Microsoft Research Asia（微软亚洲研究院）
Dropout是一种强大且广泛使用的技术，用于规范深度神经网络的训练。本文介绍了一种简单的正则化策略，即R-Drop，它迫使由dropout生成的不同子模型的输出分布彼此一致。具体而言，对于每个训练样本，R-Drop最小化通过dropout采样的两个子模型的输出分布之间的双向KL发散。理论分析表明，R-Drop减少了模型参数的自由度，并补充了dropout。在$\bf{5}$广泛使用的深度学习任务（总共$\bf{18}$数据集）上进行的实验，包括神经机器翻译，抽象摘要，语言理解，语言建模和图像分类，表明R-Drop是普遍有效的。特别是，当应用于微调大规模预训练模型时，它会产生实质性的改进，例如，ViT、RoBERTa-large和BART，并在WMT 14英语$\to$德语翻译（$\bf{30.91}$ BLEU）和WMT 14英语$\to$法语翻译（$\bf{43.95}$ BLEU）上使用普通Transformer模型实现了最先进的（SOTA）性能，甚至超过了使用超大规模数据训练的模型和专家设计的Transformer模型的高级变体。我们的代码可以在GitHub{ \url{https://github.com/dropreg/R-Drop} }上找到。
2021-10-29 cs.LG
Enhancing Dropout-based Bayesian Neural Networks with Multi-Exit on FPGA
Imperial College London（帝国理工学院）；University College London（伦敦大学学院）；University of Sydney（悉尼大学）；Hunan Normal University（湖南师范大学）；Samsung AI Center（三星人工智能中心）；University of Cambridge（剑桥大学）
针对贝叶斯神经网络算法复杂度高、硬件性能不足难以落地的问题，本文提出算法硬件协同设计框架，设计多出口dropout贝叶斯神经网络并生成FPGA加速器，经实验验证能效优于CPU、GPU及现有最优硬件实现，且代码已开源。
2024-06-24 cs.LG
DropGNN: Random Dropouts Increase the Expressiveness of Graph Neural Networks
ETH Zurich（苏黎世联邦理工学院）
本文研究了Dropout图神经网络（DropGNNs），这是一种旨在克服标准GNN框架局限性的新方法。在DropGNNs中，我们在输入图上执行GNN的多次运行，其中一些节点在每次运行中随机且独立地丢弃。然后，我们将这些运行的结果结合起来，以获得最终结果。我们证明了DropGNNs可以区分各种不能被消息传递GNNs分开的图形邻域。我们推导出了确保可靠的辍学分布所需的运行次数的理论界限，并证明了有关DropGNNs的表达能力和限制的几个属性。我们的实验验证我们的理论研究结果的表现力。此外，我们还证明了DropGNNs在已建立的GNN基准上具有竞争力。
2021-11-11 cs.LG
Implicit regularization of dropout
Shanghai Jiao Tong University（上海交通大学）
本研究推导并验证了dropout的隐式正则化理论，发现其能使隐藏神经元权重凝聚并找到更平坦的极小值，从而提升泛化能力，为全面理解dropout奠定基础。
2023-04-10 cs.LG
Phase Diagram of Dropout for Two-Layer Neural Networks in the Mean-Field Regime
École Polytechnique Fédérale de Lausanne (EPFL), Institute of Mathematics（瑞士洛桑联邦理工学院数学研究所）；Inria, École Normale Supérieure, PSL Research University（法国国家科学研究中心、巴黎高等师范学院、巴黎研究所）；Télécom Paris, Institut Polytechnique de Paris（巴黎电信学院、巴黎理工学院）
本研究在均场机制下分析两层神经网络dropout的渐近行为，发现五种相，其中惩罚效应仅在学习率极小时存在，大学习率下dropout等价于随机几何技术，为大规模网络dropout理论奠定基础。
2025-10-08 cs.LG
P-DROP: Poisson-Based Dropout for Graph Neural Networks
School of Mathematical and Statistical Sciences（数学与统计科学学院）；Arizona State University（亚利桑那州立大学）
针对图神经网络过度平滑问题，提出基于泊松过程的节点选择策略，通过独立泊松时钟实现异步局部更新，可替代传统Dropout或用于动态子图训练，在标准基准上取得更优准确率。
2025-05-27 cs.LG
Investigating the Relationship Between Dropout Regularization and Model Complexity in Neural Networks
用于减少方差的Dropout正则化在深度学习模型中几乎无处不在。我们通过训练2,000个神经网络来探索丢失率和模型复杂度之间的关系，这些神经网络配置有丢失率和每个密集层中隐藏单元数量的随机组合，在我们选择的三个数据集上。所生成的图具有z轴上的二进制交叉熵损失和二进制精度，质疑了在增加丢失率的同时向密集层增加深度肯定会提高性能的常见假设。我们还发现了两个超参数之间的复杂相关性，我们通过构建额外的机器学习和深度学习模型来量化这些超参数，这些模型预测每个密集层中给定一些隐藏单元的最佳辍学率。线性回归和多项式逻辑回归需要使用任意阈值来选择回归中包括的成本数据点，并分别为成本数据点分配二元分类。这些机器学习模型的性能一般，因为它们的天真本质阻止了复杂决策边界的建模。转向深度学习模型，我们构建了神经网络，该网络可以在给定每个密集层中隐藏单元的数量、期望的成本和模型的期望精度的情况下预测最佳辍学率。然而，这种尝试遇到了一个数学错误，可以归因于垂直线测试的失败。最终的深度学习模型是一个神经网络，其决策边界代表了之前生成的2,000个数据点。这个最终的模型使我们设计出一种很有前途的方法来调整超参数，以最大限度地减少计算费用，同时最大限度地提高性能。该策略可以应用于任何模型超参数，并有望在工业模型中进行更有效的调整。
2021-08-26 cs.LG
When Monte-Carlo Dropout Meets Multi-Exit: Optimizing Bayesian Neural Networks on FPGA
Imperial College London（帝国理工学院）；Samsung AI Center（三星人工智能中心）；University of Cambridge（剑桥大学）；Southeast University（东南大学）
针对贝叶斯神经网络复杂度高、硬件部署难的问题，提出多出口 MCD BayesNN 及可自动生成 FPGA 加速器的转换与优化框架，能效优于 CPU、GPU 和现有硬件方案。
2023-08-13 cs.AR cs.LG
Do Neural Topic Models Really Need Dropout? Analysis of the Effect of Dropout in Topic Modeling
Indian Association for the Cultivation of Science（印度科学培养协会）
Dropout是一种广泛使用的正则化技巧，用于解决在小数据集上训练的大型前馈神经网络中的过拟合问题，该数据集在保留的测试子集上表现不佳。虽然这种正则化技巧的有效性已经在卷积神经网络中得到了广泛的研究，但缺乏对无监督模型的分析，特别是基于VAE的神经主题模型。在本文中，我们已经分析了辍学的后果，在编码器中，以及在解码器的VAE架构中的三个广泛使用的神经主题模型，即上下文主题模型（CTM），EMLDA，和嵌入式主题模型（ETM）使用四个公开可用的数据集。我们的特征辍学的影响，这些模型的质量和预测性能的生成的主题。
2023-03-28 cs.CL cs.LG
Deep Ensemble Bayesian Active Learning : Addressing the Mode Collapse issue in Monte Carlo dropout via Ensembles
The University of Edinburgh（爱丁堡大学）
在图像分类任务中，深度CNN处理复杂图像数据的能力已被证明是无与伦比的。然而，它们需要大量标记的训练数据来充分发挥其潜力。在医疗保健等专业领域，获取标记数据可能很困难且成本高昂。主动学习旨在通过减少特定任务所需的标记数据量，同时提供令人满意的性能来缓解这个问题。我们提出了DEBAL，这是一种为深度神经网络设计的新的主动学习策略。该方法改进了当前最先进的深度贝叶斯主动学习方法，该方法遭受模式坍塌问题。我们纠正这一不足，利用模型合奏的表达能力和统计特性。我们提出的方法设法捕捉卓越的数据不确定性，这转化为改进的分类性能。我们根据经验证明，我们的集成方法可以更快地收敛在MNIST和CIFAR-10数据集上训练的CNN。
2018-11-09 cs.LG stat.ML
Ensemble Model Patching: A Parameter-Efficient Variational Bayesian Neural Network
Columbia University（哥伦比亚大学）
变分贝叶斯神经网络被广泛采用的两个主要障碍是高参数开销，这使得它们在大型网络上不可行，以及实现的困难，这可以被认为是“编程开销”。“MC dropout [Gal和Ghahramani，2016]很受欢迎，因为它避开了这些障碍。然而，当在具有批量归一化层的网络中使用时，dropout通常对模型性能有害[Li等人，2018]，它们是现代神经网络不可或缺的一部分。我们构建了一个一般的变分家庭的集合为基础的贝叶斯神经网络，包括辍学作为一种特殊情况。我们进一步介绍了这个家族的两个特定成员，它们与批量归一化层配合良好，同时保留了低参数和编程开销的优点，与非贝叶斯训练相当。我们提出的方法提高了预测精度，并在使用ImageNet训练的ResNet-18上实现了几乎完美的校准。
2019-05-23 cs.LG stat.ML
Dropout with Tabu Strategy for Regularizing Deep Neural Networks
Griffith University（格里菲斯大学）；Jinan University（暨南大学）
Dropout已被证明是一种有效的正则化技术，可以防止深度神经网络（DNN）中神经元的协同适应。它在DNN的训练阶段以概率$p$随机丢弃单元。Dropout还提供了一种近似地以指数方式有效地组合许多不同的神经网络架构的方法。在本文中，我们在dropout中加入了一个多样化策略，目的是在适当的迭代次数内生成更多不同的神经网络结构。将标记上次前向传播中丢弃的单元。然后，如果在最后一次前向传播中已标记了当前FP中用于丢弃的所选单元，则将保留它们。我们只标记最后一次向前传播的单元。我们称这种新技术为Tabu Dropout。与标准Dropout相比，Tabu Dropout没有额外的参数，而且计算成本很低。在MNIST、Fashion-MNIST数据集上进行的实验表明，Tabu Dropout算法提高了标准Dropout算法的性能。
2018-08-29 cs.LG stat.ML
FedBIAD: Communication-Efficient and Accuracy-Guaranteed Federated Learning with Bayesian Inference-Based Adaptive Dropout
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对联邦学习上行通信瓶颈，本文提出 FedBIAD，利用贝叶斯推理和损失趋势重要性指标自适应丢弃权重行，并证明其极小极大最优收敛，实验显示通信减半、精度提升且训练时间最多降低 72%。
2023-07-14 cs.DC cs.LG
Guided Dropout
IIIT-Delhi（德里印度理工学院）
Dropout通常用于深度神经网络，以防止过度拟合。通常，dropout训练从神经网络的隐藏层调用节点的\textit{random drop}。这是我们的假设，一个指导选择的节点智能辍学可以导致更好的推广相比，传统的辍学。在这项研究中，我们提出了“引导式丢弃”来训练深度神经网络，它通过测量每个节点的强度来丢弃节点。我们还证明，传统的辍学是一个特定的情况下，建议指导辍学。在包括MNIST、CIFAR10、CIFAR100、SVHN和Tiny ImageNet在内的多个数据集上进行的实验评估证明了所提出的引导丢弃的有效性。
2018-12-10 cs.LG stat.ML
Adversarial Dropout for Recurrent Neural Networks
Clova AI Research, NAVER Corp.（NAVER公司Clova AI研究中心）；KAIST（韩国科学技术院）；AI Center, SK Telecom（SK电讯AI中心）
成功的应用程序处理序列数据，如文本和语音，需要提高循环神经网络（RNN）的泛化性能。RNN的丢弃技术被引入以响应这些需求，但我们推测RNN的丢弃可以通过采用对抗概念来改进。本文研究了通过利用有意生成的丢弃掩码来改善RNN的丢弃的方法。具体来说，本研究中使用的引导性退出被称为对抗性退出，它会随着时间的推移对抗性地断开主要用于预测正确目标的神经元。我们的分析表明，我们的正则化器由原始和重新配置的RNN之间的间隙组成，是随机丢弃的训练和推理阶段之间间隙的上界。我们证明了最小化正则化器可以提高RNN在顺序MNIST任务，半监督文本分类任务和语言建模任务中的dropout的有效性。
2019-04-22 cs.LG stat.ML
Parallel Dither and Dropout for Regularising Deep Neural Networks
University of Surrey（萨里大学）
训练过程中的有效规则化可能意味着深度神经网络成功与失败的区别。最近，抖动已被建议作为在批平均随机梯度下降（SGD）期间用于正则化的dropout的替代方案。在这篇文章中，我们表明，这些方法没有批量平均失败，我们介绍了一种新的，并行正则化方法，可以使用批量平均。我们的结果为并行正则化的非批处理SGD是大大优于可能与批处理SGD。此外，我们的研究结果表明，抖动和辍学是互补的。
2015-08-28 cs.LG cs.NE
Survey of Dropout Methods for Deep Neural Networks
University of Toronto（多伦多大学）
丢弃方法是一种用于神经网络训练或推理的随机技术，已经产生了重大的研究兴趣，并广泛应用于实践。它们已成功地应用于神经网络正则化、模型压缩以及神经网络输出不确定性的度量。虽然最初是针对密集神经网络层制定的，但最近的进展使得丢弃方法也适用于卷积和递归神经网络层。本文总结了辍学方法的历史，他们的各种应用，以及当前的研究兴趣。重要的建议方法进行了详细说明。
2019-10-25 cs.AI cs.LG cs.NE
Hardware-Aware Neural Dropout Search for Reliable Uncertainty Prediction on FPGA
Imperial College London（帝国理工学院）
针对现有基于Dropout的贝叶斯神经网络手动配置效率低、性能欠佳的问题，提出硬件感知的神经Dropout搜索框架，自动优化网络与FPGA实现，在能效和算法性能上均优于现有方案。
2024-06-23 cs.AR cs.LG
Effective and Efficient Dropout for Deep Convolutional Neural Networks
National University of Singapore（新加坡国立大学）；Zhejiang University（浙江大学）；Beijing Institute of Technology（北京理工大学）
基于卷积神经网络（CNN）的应用已经变得无处不在，其中非常需要适当的正则化。为了防止大型神经网络模型的过拟合，dropout作为一种有效的正则化技术在实践中得到了广泛的应用。然而，最近的许多工作表明，标准的dropout是无效的，甚至不利于CNN的训练。在本文中，我们重新审视了这个问题，并研究了各种dropout变体，试图改进CNN现有的基于dropout的正则化技术。我们将标准dropout的失败归因于dropout的随机性与其后续的批量归一化（BN）之间的冲突，并建议通过将dropout操作放置在卷积操作之前而不是BN来减少冲突，或者通过用组归一化（GN）代替BN来完全解决这个问题。我们进一步引入了一个结构上更合适的dropout变体Drop-Conv 2d，它为深度CNN提供了更高效和更有效的正则化。这些dropout变体可以很容易地集成到CNN的构建块中，并在现有的深度学习平台中实现。在包括CIFAR，SVHN和ImageNet在内的基准数据集上进行了广泛的实验，以比较现有的构建块和建议的辍学训练。结果表明，我们的构建块比最先进的CNN有显著的改进，这主要是由于更好的正则化和隐式模型集成效应。
2020-07-28 cs.CV cs.LG
Variational Dropout Sparsifies Deep Neural Networks
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；Yandex；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；National Research University Higher School of Economics（俄罗斯国家研究型高等经济大学）
我们探讨了最近提出的变分辍学技术，提供了一个优雅的贝叶斯解释高斯辍学。我们扩展变分辍学率的情况下，辍学率是无界的，提出了一种方法来减少梯度估计的方差和报告的第一个实验结果与个人辍学率每重量。有趣的是，它在全连接层和卷积层中都导致了极其稀疏的解决方案。这种效果类似于经验贝叶斯中的自动相关性确定效果，但具有许多优点。我们在LeNet架构上将参数数量减少了280倍，在类似VGG的网络上减少了68倍，而准确性的降低可以忽略不计。
2017-06-13 cs.LG stat.ML
Single-shot Bayesian approximation for neural networks
Elektrobit Automotive GmbH（Elektrobit汽车有限公司）；Zurich University of Applied Sciences（苏黎世应用科学大学）；University of Zurich（苏黎世大学）；Konstanz University of Applied Sciences（康斯坦茨应用科学大学）
针对贝叶斯神经网络测试时因采样导致计算慢的问题，提出基于矩传播的单次MC dropout近似方法，无需重训即可将标准dropout训练的NN转为BNN，在保证预测与不确定性估计效果的同时实现实时部署，结合深度集成可进一步提升性能。
2023-08-24 cs.LG stat.ML
Sufficient Conditions for Idealised Models to Have No Adversarial Examples: a Theoretical and Empirical Study with Bayesian Neural Networks
University of Oxford（牛津大学）
我们证明，在两个充分条件下，理想化的模型可以没有对抗的例子。我们讨论了理想化模型满足我们的条件，并表明，理想化贝叶斯神经网络（BNN）满足这些。我们继续研究近理想化的BNN使用HMC推理，在实践中展示的理论思想。我们用HMC对来自MNIST的合成数据进行了实验，我们知道地面真实图像密度，这表明近乎完美的认知不确定性与图像流形下的密度相关，并且对抗图像在我们的设置中偏离了流形。这表明了为什么MC dropout可以被视为执行近似推理，在实践中被观察到是对抗性示例的有效防御;我们强调了依赖于dropout的非理想化BNN的失败案例，这表明了对dropout模型的新攻击和新防御。最后，我们展示了使用VGG 13变体的猫对狗图像分类任务的防御。
2018-06-28 cs.LG stat.ML
