A Bayesian Neural Network based on Dropout Regulation
Université de Lorraine(洛林大学);CentraleSupélec(巴黎中央理工-高等电力学院);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所)
Claire Theobald, Frédéric Pennerath, Brieuc Conan-Guez, Miguel Couceiro, Amedeo Napoli
发表信息:
Workshop on Uncertainty in Machine Learning (WUML) at ECML-PKDD 2020 Conference, Eyke H{ü}llermeier; S{é}bastien Destercke, 2020, N.A. (online), France
Bayesian Neural Networks (BNN) have recently emerged in the Deep Learning world for dealing with uncertainty estimation in classification tasks, and are used in many application domains such as astrophysics, autonomous driving...BNN assume a prior over the weights of a neural network instead of point estimates, enabling in this way the estimation of both aleatoric and epistemic uncertainty of the model prediction.Moreover, a particular type of BNN, namely MC Dropout, assumes a Bernoulli distribution on the weights by using Dropout.Several attempts to optimize the dropout rate exist, e.g. using a variational approach.In this paper, we present a new method called "Dropout Regulation" (DR), which consists of automatically adjusting the dropout rate during training using a controller as used in automation.DR allows for a precise estimation of the uncertainty which is comparable to the state-of-the-art while remaining simple to implement.
Spatial-SpinDrop: Spatial Dropout-based Binary Bayesian Neural Network with Spintronics Implementation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CEA(法国原子能和替代能源委员会);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院);IRIG-Spintec(格勒诺布尔微电子与纳米技术研究所自旋电子与纳米技术实验室);RevoAI GmbH(RevoAI有限公司)
Bayesian Deep Learning for Convective Initiation Nowcasting Uncertainty Estimation
Department of Meteorology and Atmospheric Science, The Pennsylvania State University, University Park, Pennsylvania(气象学与大气科学系,宾夕法尼亚州立大学,大学公园,宾夕法尼亚州);National Center for Atmospheric Research, Boulder, Colorado(国家大气研究中心,博尔德,科罗拉多);Institute for Computational and Data Sciences, The Pennsylvania State University, University Park, Pennsylvania(计算与数据科学研究所,宾夕法尼亚州立大学,大学公园,宾夕法尼亚州);Department of Civil and Environmental Engineering, The Pennsylvania State University, University Park, Pennsylvania(土木与环境工程系,宾夕法尼亚州立大学,大学公园,宾夕法尼亚州)
Scale-Dropout: Estimating Uncertainty in Deep Neural Networks Using Stochastic Scale
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CEA(法国原子能和替代能源委员会);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院);IRIG-Spintec(格勒诺布尔微电子与纳米技术研究所-自旋电子学与纳米技术实验室);RevoAI GmbH(RevoAI有限公司)
Visualizing the Diversity of Representations Learned by Bayesian Neural Networks
Machine Learning Group(机器学习研究组);Technical University of Berlin(柏林工业大学);BIFOLD – Berlin Institute for the Foundations of Learning and Data(BIFOLD – 柏林学习与数据基础研究所);Understandable Machine Intelligence Lab(可理解机器智能实验室);Leibniz Institute for Agriculture and Bioeconomy (ATB)(莱布尼茨农业与生物经济研究所(ATB));RIKEN Center for AIP(理化学研究所人工智能创新中心)
ComBiNet: Compact Convolutional Bayesian Neural Network for Image Segmentation
University College London(伦敦大学学院);Imperial College London(帝国理工学院)
全卷积U形神经网络在很大程度上是逐像素图像分割的主要方法。在这项工作中,我们解决了两个缺陷,阻碍了他们在现实世界中的应用部署:1)预测缺乏不确定性量化,这可能是至关重要的许多决策系统; 2)大内存存储和计算消耗需要大量的硬件资源。为了解决这些问题并提高其实用性,我们展示了一种少参数紧凑的贝叶斯卷积架构,与使用显著较少的参数和计算操作的相关工作相比,该架构在准确性方面实现了边际提高。该架构结合了参数高效的操作,如可分离卷积,双线性插值,多尺度特征传播和贝叶斯推理,通过Monte Carlo Dropout进行逐像素不确定性量化。性能最佳的配置需要在各种具有挑战性的数据集上使用不到250万个参数,并且观察结果很少。
Advanced Dropout: A Model-free Methodology for Bayesian Dropout Optimization
Beijing University of Posts and Telecommunications(北京邮电大学);Tianjin University(天津大学);University of Technology Sydney(悉尼科技大学);University College London(伦敦大学学院);Aalborg University(奥尔堡大学)
Imperial College London(帝国理工学院);King’s College London(伦敦国王学院);University College London(伦敦大学学院)
MC Dropout是医学成像中用于近似贝叶斯计算(ABC)的主流“免费午餐”方法。它的吸引力是解决了开箱即用的ABC和神经网络(NN)中的不确定性量化的艰巨任务;属于变分推理(VI)框架;并提出了一个高度多模态,忠实的预测后验。我们质疑MC Dropout的近似推理属性,因为事实上MC Dropout改变了贝叶斯模型;其预测后验概率在封闭形式的基准上将$0$概率分配给真实模型;其预测后验的多模态不是真实预测后验的属性,而是设计假象。为了满足任意模型对VI的需求,我们在pytorch框架中共享了一个通用的VI引擎。该代码包括一个精心设计的结构化(对角线加低秩)多元正常变分家庭,及其混合物的实现。它的目的是作为一个去没有免费午餐的方法,解决了平均场VI的缺点与可调的表达性和计算复杂性之间的权衡。
Unreliable Uncertainty Estimates with Monte Carlo Dropout
Department of Data Science, Norwegian University of Life Sciences(数据科学系,挪威生命科学大学);SINTEF AS, Department of Mathematics and Cybernetics(SINTEF公司,数学与自动化系)
Testing Spintronics Implemented Monte Carlo Dropout-Based Bayesian Neural Networks
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Univ. Grenoble Alpes, CEA, CNRS, Grenoble INP, and IRIG-Spintec(格勒诺布尔阿尔卑斯大学、法国原子能委员会、法国国家科学研究中心、格勒诺布尔国立理工学院及IRIG-Spintec);RevoAI GmbH(RevoAI有限责任公司)
Bayesian Neural Networks with Monte Carlo Dropout for Probabilistic Electricity Price Forecasting
Faculty of Mathematics and Economics(数学与经济学学院);Ulm University(乌尔姆大学);Department of Mathematics, Natural and Economic Sciences(数学、自然科学与经济科学系);Ulm University of Applied Sciences(乌尔姆应用科学大学)
Improving Predictive Uncertainty Estimation using Dropout -- Hamiltonian Monte Carlo
German Research Center for Artificial Intelligence(德国人工智能研究中心)
估计预测不确定性对于从图像分类到自动驾驶系统的许多计算机视觉任务至关重要。Hamilton Monte Carlo(HMC)是一种用于执行贝叶斯推断的抽样方法。另一方面,Dropout正则化已经被提出作为一种近似模型平均技术,其倾向于改善大规模模型(例如深度神经网络)中的泛化。虽然HMC为大多数标准贝叶斯模型提供了收敛保证,但它不处理由Dropout正则化产生的离散参数。在本文中,我们提出了一个强大的方法来改善预测的不确定性分类问题,基于辍学和汉密尔顿蒙特卡洛。尽管Dropout引入了一个不光滑的能量函数,但没有这样的收敛保证,由此产生的哈密顿量的离散化证明了经验上的成功。所提出的方法可以有效地估计预测精度,并提供更好的推广困难的测试例子。
Mila Quebec AI Institute(米拉魁北克人工智能研究所);Broad Institute of MIT and Harvard(麻省理工学院-哈佛大学博德研究所);University of Montreal(蒙特利尔大学);McGill University(麦吉尔大学);Lelapa AI(莱拉帕人工智能公司);National University of Singapore(新加坡国立大学);Google DeepMind(谷歌DeepMind);Technical University of Munich(慕尼黑工业大学)
Single-shot Bayesian approximation for neural networks
Elektrobit Automotive GmbH(Elektrobit汽车有限公司);Zurich University of Applied Sciences(苏黎世应用科学大学);University of Zurich(苏黎世大学);Konstanz University of Applied Sciences(康斯坦茨应用科学大学)
Enhancing Dropout-based Bayesian Neural Networks with Multi-Exit on FPGA
Imperial College London(帝国理工学院);University College London(伦敦大学学院);University of Sydney(悉尼大学);Hunan Normal University(湖南师范大学);Samsung AI Center(三星人工智能中心);University of Cambridge(剑桥大学)
Variational Dropout Sparsifies Deep Neural Networks
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院);Yandex;Moscow Institute of Physics and Technology(莫斯科物理技术学院);National Research University Higher School of Economics(俄罗斯国家研究型高等经济大学)