Breaking Batch Normalization for better explainability of Deep Neural Networks through Layer-wise Relevance Propagation
LIRIS - UMR 5205 CNRS（法国国家科学研究中心LIRIS联合研究单位5205）；Ecole Centrale de Lyon（里昂中央理工学院）；LVMH Recherche - Parfums et cosmetiques（路威酩轩香水化妆品研究中心）
神经网络缺乏透明度仍然是其使用的主要突破口。分层相关性传播技术构建热图，表示模型决策中每个输入的相关性。相关性从深层神经网络的最后一层向后传播到第一层。分层相关传播不管理规范化层，在这项工作中，我们提出了一种方法，包括规范化层。具体来说，我们构建了一个等效的网络，融合了归一化层和卷积层或全连接层。用我们的方法在MNIST和CIFAR 10数据集上获得的热图对于卷积层来说更准确。我们的研究还防止了在包括连接层和归一化层的组合的网络中使用分层相关传播。
2020-02-24 cs.AI cs.LG stat.ML
Data-driven discovery of interpretable causal relations for deep learning material laws with uncertainty propagation
Johns Hopkins University（约翰斯·霍普金斯大学）；Columbia University（哥伦比亚大学）
本文提出了一个计算框架，产生合奏预测力学模型与不确定性量化（UQ）。首先，我们开发了一个因果发现算法，通过有向无环图（DAG）来推断在每个代表性体积元素（RVE）模拟过程中测量的时间历史数据之间的因果关系。利用从多个RVE模拟估计的多组合理的因果关系，预测在导出的因果图中传播，同时使用配备有dropout层的深度神经网络作为用于不确定性量化的贝叶斯近似。我们选择了两个有代表性的数值例子（摩擦界面的牵引分离定律，颗粒集合体的弹塑性模型）来检验所提出的因果发现方法在土木工程应用中常见的材料定律预测的准确性和鲁棒性。
2021-05-20 cs.LG stat.ML
Normalization Propagation: A Parametric Technique for Removing Internal Covariate Shift in Deep Networks
SUNY Buffalo（纽约州立大学布法罗分校）
虽然批量归一化（BN）的作者确定并解决了训练深度网络中涉及的一个重要问题-内部协变量偏移-但当前的解决方案存在一定的缺陷。具体而言，BN依赖于训练期间逐层输入归一化的批量统计，这使得对隐藏层的输入（分布）的平均值和标准差的估计由于偏移参数值（特别是在初始训练时期期间）而对于验证不准确。此外，BN不能在训练期间与批量1一起使用。我们通过提出一种非自适应的归一化技术来消除内部协变量的偏移，我们称之为归一化传播来解决这些缺点。我们的方法不依赖于批量统计，而是在每一层中使用与数据无关的平均值和标准差的参数估计，因此与BN相比计算速度更快。我们利用了这样的观察结果，即在深度网络中，校正线性单元之前的预激活遵循高斯分布，并且一旦任何给定数据集的第一和第二顺序统计量被归一化，我们就可以向前传播这种归一化，而无需重新计算隐藏层的近似统计量。
2016-07-12 cs.LG stat.ML
Train Feedfoward Neural Network with Layer-wise Adaptive Rate via Approximating Back-matching Propagation
Micorosoft Research Asia（微软亚洲研究院）
随机梯度下降（SGD）在训练深度神经网络方面取得了巨大成功，其中梯度是通过反向传播计算的。然而，不同层的反向传播值差异很大。这种跨不同层的梯度幅度的不一致性使得具有单一学习率的深度神经网络的优化成问题。我们引入了反向匹配传播，它通过匹配层输出上的反向值来计算层参数和输入上的反向值。这导致解决一堆最小二乘问题，这需要很高的计算成本。然后，我们减少了近似的后匹配传播，并提出了一种算法，变成了定期SGD与逐层自适应学习率策略。这使得我们的算法在当前的机器学习框架配备了自动微分容易实现。我们将我们的算法应用于训练现代深度神经网络，并取得了优于SGD的结果。
2018-02-27 cs.LG stat.ML
Robust Deep Learning from Crowds with Belief Propagation
Pohang University of Science and Technology（浦项科技大学）
众包系统使我们能够收集大规模的数据集，但固有地遭受低收入工人的嘈杂标签。我们使用这样一个有噪声的众包数据集来解决推理和学习问题。由于众包的稀疏性，在实际应用中，需要同时利用概率模型和神经网络来获取工作者的先验信息和任务特征，以克服错误的先验信息和过拟合特征带来的风险。因此，我们建立了一个神经驱动的贝叶斯框架，从中我们设计了deepMF和deepBP，分别选择了不同的变分近似方法，平均场（MF）和置信传播（BP）。这提供了现有方法的统一视图，这些方法是具有不同先验的deepMF的特殊情况。此外，我们的实证研究表明，deepBP是一种新的方法，由于BP比MF更复杂，因此它对错误的先验，特征过拟合和极端工人更强大。
2022-02-24 cs.AI cs.LG stat.ML
Adapting Resilient Propagation for Deep Learning
Birkbeck, University of London（伦敦大学伯贝克学院）
弹性传播（Resilient Propagation，Rprop）算法在多层前馈神经网络的反向传播训练中得到了广泛的应用。然而，标准Rprop在深度神经网络的背景下遇到了困难，这通常发生在基于梯度的学习算法中。在本文中，我们提出了一个修改的Rprop，结合标准的Rprop步骤与一个特殊的辍学技术。我们将该方法应用于训练深度神经网络作为独立组件和集成公式。MNIST数据集上的结果表明，所提出的修改解决了标准Rprop的问题，提高了学习速度和准确性。
2015-09-16 cs.CV cs.LG cs.NE
Uncertainty Propagation in Deep Neural Networks Using Extended Kalman Filtering
Massachusetts Institute of Technology（麻省理工学院）；Department of Mathematics（数学系）；Lincoln Laboratory Supercomputing Center（林肯实验室超级计算机中心）
本文提出利用扩展卡尔曼滤波在深度神经网络中传播和量化输入不确定性，方法在计算效率上优于现有技术，同时自然地将模型误差纳入输出不确定性。
2018-09-17 cs.LG cs.NA math.NA
Tri-graph Information Propagation for Polypharmacy Side Effect Prediction
University of Sheffield（谢菲尔德大学）；University of Waterloo（滑铁卢大学）；Perimeter Institute for Theoretical Physics（圆周理论物理研究所）
药物组合的使用通常会导致多药副作用（POSE）。最近的一种方法将POSE预测公式化为药物和蛋白质图上的链接预测问题，并用图卷积网络（GCN）解决它。然而，由于POSE中的复杂关系，该方法具有较高的计算成本和内存需求。本文提出了一种灵活的三图信息传播（TIP）模型，该模型在三个子图上进行操作，通过蛋白质-蛋白质图到药物-药物图的传播来逐步学习表示。实验结果表明，TIP算法的准确率提高了7%以上，时间效率提高了83 $\times$，空间效率提高了3 $\times$。
2020-01-28 cs.LG stat.ML
Deep Transformers without Shortcuts: Modifying Self-attention for Faithful Signal Propagation
University of Oxford（牛津大学）；DeepMind（深度思维）
跳过连接和规范化层形成了两个标准架构组件，它们在深度神经网络（DNN）的训练中无处不在，但其确切作用却知之甚少。最近的方法，如Deep Kernel Shaping，已经在减少我们对它们的依赖方面取得了进展，使用宽NN内核理论的见解来改善普通DNN（我们定义为没有跳过或归一化的网络）中的信号传播。然而，这些方法与Transformers中存在的自注意力层不兼容，变压器的内核本质上更复杂，难以分析和控制。所以问题仍然存在：训练深度香草Transformers是可能的吗？我们肯定地回答这个问题，通过设计几种方法，使用参数初始化，偏置矩阵和位置相关的重新缩放的组合，以实现忠实的信号传播香草Transformers。我们的方法解决了Transformers中信号传播的各种复杂性，包括与位置编码和因果掩蔽的相互作用。在WikiText-103和C4上的实验中，我们的方法使没有归一化的深度Transformers能够以与标准对应物匹配的速度进行训练，并且深度香草Transformers在大约5倍的迭代后达到与标准转换器相同的性能。
2023-02-20 cs.AI cs.CL cs.LG
Stabilising priors for robust Bayesian deep learning
Stellenbosch University（斯泰伦博斯大学）
贝叶斯神经网络（BNN）已经发展成为有用的工具，概率建模由于最近的进展，变分推理，使大规模BNN。然而，BNN仍然很脆弱，难以训练，特别是：（1）当使用由许多隐藏层组成的深层架构时，以及（2）在权重变化较大的情况下。我们使用信号传播理论来量化这些挑战，并提出自稳定先验。这是通过ELBO的重新表述来实现的，以允许先前影响网络信号传播。然后，我们开发了一个稳定的先验，在每个前向传递之前调整先验的分布参数，以确保传播信号的稳定性。这种稳定的信号传播导致改进的收敛性和鲁棒性，使得可以在更嘈杂的环境中训练更深的网络。
2019-10-23 cs.LG stat.ML
Uncertainty Propagation in Deep Neural Network Using Active Subspace
Tsinghua University（清华大学）；Princeton University（普林斯顿大学）
深度神经网络（DNN）的输入来自真实世界的数据，通常带有不确定性。然而，以低计算成本将输入特征中的不确定性传播到DNN预测是具有挑战性的。这项工作采用了基于梯度的子空间方法和响应面技术来加速DNN中的不确定性传播。具体而言，采用主动子空间方法来使用DNN输出到输入的梯度来识别输入特征中最重要的子空间。然后，可以有效地构建该低维子空间内的响应面，并且可以通过评估计算成本低的响应面而不是DNN模型来获得预测的不确定性。此外，子空间可以帮助解释对抗性示例。该方法在MNIST数据集与卷积神经网络。代码可在：https://github.com/jiweiqi/nnsubspace.
2020-01-11 cs.CV cs.LG stat.ML
Propagation Kernels
我们介绍了传播内核，一个通用的图形内核框架，有效地测量结构化数据的相似性。传播内核基于监视信息如何通过一组给定的图传播。它们利用来自传播方案（如随机游动）的早期分布来捕获编码在节点标签、属性和边信息中的结构信息。这有两个好处。首先，现成的传播方案可以用于自然地构造许多图类型的核，包括标记的、部分标记的、未标记的、有向的和属性的图。其次，通过利用现有的高效和信息传播方案，传播内核可以比最先进的方法快得多，而不会牺牲预测性能。我们还将证明，如果手头的图具有规则的结构，例如在对图像或视频数据建模时，可以利用这种规则性将内核计算扩展到具有数千个节点的大型图数据库。我们支持我们的贡献，详尽的实验，从各种应用领域的一些现实世界的图。
2014-10-13 cs.LG stat.ML
Accounting for Physics Uncertainty in Ultrasonic Wave Propagation using Deep Learning
University of Florida（佛罗里达大学）
超声导波通常用于定位基础设施中的结构损伤，例如建筑物、飞机、桥梁。损伤定位问题可以看作是一个反问题。基于物理模型的技术是导波损伤定位的主流方法。这些技术的性能取决于物理模型描述波传播的忠实程度。诸如环境变化和随机噪声等外部因素是波传播中的不确定性的来源。反问题中不确定性的物理建模仍然是一个具有挑战性的问题。在这项工作中，我们提出了一个基于深度学习的模型，在存在不确定性的鲁棒损伤定位。模拟不确定性波浪数据以反映由于外部因素引起的变化，并添加高斯噪声以反映环境中的随机噪声。在评估具有不确定性的测试数据的定位误差后，我们观察到用不确定性训练的深度学习模型可以学习鲁棒的表示。该方法显示了使用深度学习模型处理物理科学问题中的不确定性的潜力。
2019-11-07 cs.LG eess.AS eess.SP
Training Simplification and Model Simplification for Deep Learning: A Minimal Effort Back Propagation Method
Peking University（北京大学）
我们提出了一种简单而有效的技术来简化神经网络的训练和结果模型。在反向传播中，仅计算完整梯度的一小部分来更新模型参数。梯度向量以这样一种方式稀疏化，即仅保留前k个元素（就幅度而言）。因此，仅修改权重矩阵的k行或k列（取决于布局），从而导致计算成本的线性降低。基于稀疏梯度，我们通过消除很少更新的行或列来进一步简化模型，这将降低训练和解码的计算成本，并可能加速实际应用中的解码。令人惊讶的是，实验结果表明，在大多数情况下，我们只需要在每次反向传播时更新不到5%的权重。更有趣的是，所得到的模型的准确性实际上得到了提高，而不是降低，并给出了详细的分析。模型简化结果表明，我们可以自适应地简化模型，通常可以减少约9倍，而不会损失任何准确性，甚至提高准确性。这些代码，包括扩展名，可在www.example.com上获得
2019-03-12 cs.LG stat.ML
Training Deep Gaussian Processes using Stochastic Expectation Propagation and Probabilistic Backpropagation
深度高斯过程（DGP）是高斯过程（GP）的多层分层概括，形式上等价于具有多个无限宽隐藏层的神经网络。DGP是概率和非参数的，因此可以说是更灵活的，具有更大的概括能力，并提供更好的校准不确定性估计比替代的深度模型。本文的重点是这些网络的可扩展近似贝叶斯学习。本文开发了一种新的和有效的扩展概率反向传播，一个国家的最先进的方法训练贝叶斯神经网络，可用于训练DGP。新方法利用了最近提出的一种扩展期望传播的方法，称为随机期望传播。该方法能够自动发现有用的输入变形、扩展或压缩，因此是贝叶斯核设计的一种灵活形式。我们在几个真实世界的数据集上展示了监督学习的新方法的成功，表明它通常优于GP回归，并且永远不会更差。
2015-11-11 stat.ML
Deep learning via message passing algorithms based on belief propagation
Bocconi Institute for Data Science and Analytics（博科尼数据科学与分析研究所）；Bocconi University（博科尼大学）
基于置信传播（BP）方程的消息传递算法构成了一个著名的分布式计算方案。它在树状图模型上是精确的，并且在定义在具有循环的图上的许多问题（从推理到优化，从信号处理到聚类）中也被证明是有效的。基于BP的方案与随机梯度下降（SGD）有着根本的不同，而目前深度网络的成功正是基于SGD。在本文中，我们提出并适应GPU上的小批量训练一系列基于BP的消息传递算法，其增强场使分布偏向局部熵解。这些算法能够训练具有离散权重和激活的多层神经网络，其性能可与SGD启发的算法（BinaryNet）相媲美，并且自然地很好地适应于持续学习。此外，使用这些算法来估计权重的边缘，使我们能够做出近似的贝叶斯预测，比逐点解决方案具有更高的精度。
2022-03-15 cond-mat.dis-nn cs.LG stat.ML
Improving Massive MIMO Belief Propagation Detector with Deep Neural Network
Southeast University（东南大学）；Tel-Aviv University（特拉维夫大学）
针对大规模多输入多输出（MIMO）系统，利用深度神经网络（DNN）改进置信传播（BP）检测。首先通过对BP算法的展开，提出了一种适合于检测任务的神经网络结构。DNN MIMO检测器，然后提出了基于两个修改的BP检测器，阻尼BP和最大和BP。这些算法中的校正因子通过深度学习技术进行优化，旨在提高检测性能。数值结果表明DNN检测器的性能相比，各种BP修改。该神经网络只训练一次，可用于多次在线检测。结果表明，与其他最先进的检测器相比，DNN检测器可以实现更低的误比特率（BER），在相同的复杂度水平下，对各种天线配置和信道条件具有更好的鲁棒性。
2018-04-05 cs.IT cs.LG eess.SP
Density Propagation with Characteristics-based Deep Learning
非线性动态系统中的不确定性传播问题是科学计算和控制领域的一个突出问题。已经开发了许多方法，但它们的能力有限，无法解决具有多个不确定变量或需要大量仿真数据的问题。本文提出了一种数据驱动的方法来逼近具有初始条件和参数不确定性的非线性动力系统的联合密度函数。我们的方法利用深度学习的力量来处理高维输入，但我们通过将PDF发展方程直接编码到最优化问题中来克服对大量训练数据的需求。我们证明了所提出的方法的潜力，通过应用它来评估的鲁棒性的反馈控制器的六维刚体参数不确定性。
2019-11-21 math.DS stat.ML
Approximating the solution to wave propagation using deep neural networks
Imperial College London（帝国理工学院）
人类通过观察和与世界的互动，获得了对物理定律的内在理解。通过经验和观察赋予一个自主的主体对物理定律的理解是不切实际的：我们应该寻求替代方案。幸运的是，物理世界的许多行为定律可以从动力系统的先验知识中推导出来，通过使用偏微分方程来表达。在这项工作中，我们提出了一种能够理解特定物理现象的神经网络：二维介质中的波传播。我们定义的“理解”在这种情况下，从一个相对较小的初始观测预测渲染波振幅的空间模式的未来演变的能力。波动方程固有的复杂性--再加上反射和干扰的存在--使得预测问题变得重要。一个能够进行近似预测的网络也为加速波传播的数值模拟提供了机会。为此，我们创建了一个新的模拟波动数据集，并构建了一个预测深度神经网络，该网络由三个主要模块组成：编码器，由3个LSTM组成的传播器和解码器。结果显示，在训练过程中没有看到的数据集上，对未来长达80个时间步长的合理预测。此外，该网络能够泛化到与训练过程中所见的初始条件在性质上不同的初始条件。
2018-12-04 cs.LG physics.comp-ph stat.ML
Gaussian Process Deep Belief Networks: A Smooth Generative Model of Shape with Uncertainty Propagation
University of Bath（巴斯大学）；University of Bristol（布里斯托大学）
目标的形状是分割、检测和跟踪等视觉问题的重要特征。由于独立于外观，因此可以从少量数据中概括到大范围的对象。然而，由于复杂的似然函数导致难以处理的后验，表示为轮廓图像的形状是具有挑战性的建模。在本文中，我们提出了一个生成模型的形状，它提供了一个低维的潜在编码，重要的是驻留在一个光滑的流形上的轮廓图像。所提出的模型以原则性的方式传播不确定性，允许它从少量数据中学习，并提供具有相关不确定性的预测。我们提供的实验表明，我们提出的模型提供了有利的定量结果相比，国家的最先进的，同时提供了一个表示，驻留在一个低维的可解释的流形。
2018-12-13 cs.CV cs.LG stat.ML
How does topology influence gradient propagation and model performance of deep networks with DenseNet-type skip connections?
Arm Inc（Arm公司）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
DenseNets引入了级联型跳过连接，在几个计算机视觉任务中实现了最先进的精度。在本文中，我们揭示了级联型跳跃连接的拓扑结构与梯度传播密切相关，这反过来又使DNN的测试性能具有可预测的行为。为此，我们引入了一个名为NN-Mass的新指标来量化信息如何有效地通过DNN流动。此外，我们的经验表明，NN-Mass也适用于其他类型的跳过连接，例如，对于ResNet、Wide-ResNet（WRN）和MobileNet，其包含附加类型的跳过连接（即，残差或反向残差）。因此，对于类似于DenseNet的CNN和ResNets/WRN/MobileNets，我们的理论基础NN-Mass可以以类似的精度识别模型，尽管它们的大小/计算要求有很大的不同。在合成和真实数据集上的详细实验（例如，MNIST，CIFAR-10，CIFAR-100，ImageNet）为我们的见解提供了广泛的证据。最后，我们的NN-Mass的封闭式方程使我们能够在初始化时直接设计显着压缩的DenseNets（用于CIFAR-10）和MobileNet（用于ImageNet），而无需耗时的训练和/或搜索。
2021-04-01 cs.CV cs.LG stat.ML
Topological based classification of paper domains using graph convolutional networks
Bar-Ilan University（巴伊兰大学）
图中节点分类的主要方法是信息传播和节点类与外部信息的关联。现有技术的方法通过图卷积网络合并这些方法。我们在这里使用的关联的拓扑特征的节点与他们的类来预测这个类。此外，将拓扑信息与信息传播相结合，提高了标准CiteSeer和Cora论文分类任务的分类精度。拓扑特征和信息传播产生的结果几乎与基于文本的分类一样好，没有文本或内容信息。我们建议通过一个GCN表示的拓扑结构和信息传播与相邻的训练节点分类作为输入和当前节点分类作为输出。这种形式主义优于现有技术的方法。
2019-04-10 cs.LG cs.SI stat.ML
Layer-wise Relevance Propagation for Explainable Recommendations
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
在本文中，我们通过利用逐层相关传播技术来解决基于深度学习的推荐模型中的解释问题。我们使用深度卷积神经网络从输入图像中提取相关特征，然后在特征空间中识别图像之间的相似性。图像之间的关系由模型识别，并且逐层相关性传播用于推断图像的像素级细节，这些细节可能显著地告知模型的选择。我们在亚马逊产品数据集上评估了我们的方法，并证明了我们方法的有效性。
2018-07-17 cs.CV cs.IR cs.LG
Deep active subspaces - a scalable method for high-dimensional uncertainty propagation
在不确定性量化（UQ）领域中，一个相当重要的问题是开发用于构建精确的替代模型的有效方法。这些努力是特别重要的应用程序约束的高维不确定参数空间。在这样的系统中准确的替代建模的困难，进一步加剧了由前向模型评估的大成本所带来的数据稀缺。传统的响应面技术，如高斯过程回归（或克里格）和多项式混沌难以扩展到高维。为了使代理建模在昂贵的高维系统中易于处理，必须对随机参数空间进行降维。最近的一种降维技术是“活动子空间”方法，它显示出很大的希望。不幸的是，活动子空间的经典公式需要来自前向模型的梯度信息-通常不可能获得。在这项工作中，我们提出了一种简单的，可扩展的方法来恢复高维随机系统中的活动子空间，没有依赖于正交活动子空间投影矩阵的重新参数化的梯度信息，并将此公式与深度神经网络相结合。我们在合成和真实世界的数据集上展示了我们的方法，并与经典的活动子空间进行了有利的预测比较。
2019-02-28 physics.comp-ph stat.ML
