Are Deep Neural Networks "Robust"?
Peter Meer
将离群值与内值分离是计算机视觉中鲁棒性的定义。本文描述了深度神经网络与典型的鲁棒估计器的不同之处。深度神经网络在传统定义下并不健壮。
Separating outliers from inliers is the definition of robustness in computer vision. This essay delineates how deep neural networks are different than typical robust estimators. Deep neural networks not robust by this traditional definition.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
Deep Neural Networks for Pattern Recognition
在模式识别研究领域，使用基于改进的计算硬件的深度神经网络的方法最近受到关注，因为与传统方法相比，其具有更高的精度。深度神经网络模拟人类视觉系统，在图像分类、目标检测和分割方面达到与人类相当的精度。本章介绍模拟人类神经网络的深度神经网络的基本结构。然后，我们确定的操作过程和应用的条件生成对抗网络，这是正在积极研究的基础上自下而上和自上而下的机制，人类视觉感知过程中最重要的功能。最后，讨论了复杂深度神经网络有效学习的训练策略的最新发展。
Hyperbolic Deep Neural Networks: A Survey
近年来，双曲空间中的深度表示学习因其对具有层次结构的知识图谱或同义词层次等数据的建模能力而受到越来越多的关注。在本文中，我们将该模型称为双曲深度神经网络。这样的双曲神经结构可能导致非常紧凑的模型，比欧几里得空间中的模型具有更多的物理可解释性。为了促进未来的研究，本文对双曲深度神经网络构建中的神经组件以及双曲空间的领先深度方法的推广进行了一致和全面的文献综述。它还介绍了围绕几个公开数据集上的各种机器学习任务的当前应用，以及有见地的观察和识别开放问题和有前途的未来方向。
RNAS-CL: Robust Neural Architecture Search by Cross-Layer Knowledge Distillation
本文提出 RNAS-CL，利用跨层知识蒸馏让 NAS 自动匹配教师层监督学生层，从而搜索出小型且对对抗攻击鲁棒的神经架构。
Evaluating the Robustness of Bayesian Neural Networks Against Different Types of Attacks
为了评估贝叶斯神经网络在图像分类任务上的鲁棒性增益，我们对最先进的贝叶斯神经网络进行输入扰动和对抗攻击，并以基准CNN模型作为参考。选择这些攻击来模拟对基于CNN的机器学习系统的信号干扰和网络攻击。结果表明，贝叶斯神经网络实现了显着更高的鲁棒性对对抗攻击产生的确定性神经网络模型，没有对抗训练。贝叶斯后验可以作为正在进行的恶意活动的安全前兆。此外，我们表明，确定性CNN提取器后的随机分类器具有足够的鲁棒性增强，而不是随机特征提取器之前的随机分类器。这建议利用随机层在建设决策管道内的安全关键域。
Efficient Memory Management for Deep Neural Net Inference
虽然深度神经网络推理被认为是仅用于服务器的任务，但最新的技术进步允许将推理任务转移到移动和嵌入式设备上，这是出于从延迟到隐私等各种原因而需要的。这些设备不仅受到其计算能力和电池的限制，而且还受到其劣质物理内存和缓存的限制，因此，高效的内存管理器成为边缘深度神经网络推理的关键组件。我们探索了各种策略，以便在深度神经网络中的中间张量之间智能地共享内存缓冲区。采用这些技术可以使内存占用比现有技术减少11%。
Deep Neural Networks - A Brief History
介绍深度神经网络及其历史。
Exploring the Imposition of Synaptic Precision Restrictions For Evolutionary Synthesis of Deep Neural Networks
深度神经网络取得令人难以置信的成功的一个关键因素是大规模并行计算设备的显著增长，使研究人员能够大大增加深度神经网络的大小和深度，从而显著提高建模精度。虽然更深、更大或更复杂的深度神经网络已经显示出相当大的前景，但这种网络的计算复杂性是在资源匮乏的情况下利用的主要障碍。我们在进化的深度智能框架内探索了深度神经网络在形成有效的深度神经网络架构中的突触发生，其中引入了概率生成建模策略，以随机合成越来越高效且有效的后代深度神经网络，以概率的方式模仿遗传，随机突变和自然选择等进化过程。在这项研究中，我们主要探讨突触精度限制的施加及其对深度神经网络进化合成的影响，以合成更有效的网络架构，为资源匮乏的情况下量身定制。实验结果表明，突触效率（基于GoogLeNet的DetectNet降低了约10倍）和推理速度（基于GoogLeNet的DetectNet增加了> 5倍）得到了显着改善，同时保持了建模精度。
Characterizing the Decision Boundary of Deep Neural Networks
深度神经网络，特别是深度神经分类器已经成为许多现代应用的组成部分。尽管它们在实践中取得了成功，但我们对它们如何工作的了解仍然有限，对这种了解的需求正在不断增长。在这方面，深度神经网络分类器可以帮助我们加深对其决策行为的了解的一个关键方面是调查其决策边界。然而，这取决于是否能够接触到决策边界附近区域的样本。为了实现这一点，我们提出了一种新的方法，我们称之为深度决策边界实例生成（DeepDIG）。DeepDIG利用基于对抗性示例生成的方法作为在任何深度神经网络模型的决策边界附近生成样本的有效方式。然后，我们引入了一组重要的原则性特征，这些特征利用决策边界附近生成的实例来提供对深度神经网络的多方面理解。我们在各种深度神经网络模型的多个代表性数据集上进行了广泛的实验，并描述了它们的决策边界。该代码可在https://github.com/hamidkarimi/DeepDIG/上公开获取。
StochasticNet: Forming Deep Neural Networks via Stochastic Connectivity
深度神经网络是机器学习的一个分支，由于其在高度复杂的数据中表示和建模高级抽象的强大能力，它的流行度迅速上升。深度神经网络中一个已经成熟的探索领域是神经连接的形成。一项关于大鼠脑组织的关键研究发现，新皮层神经微回路中特定功能连接的突触形成可以令人惊讶地被建模和预测为随机形成。受这一有趣发现的启发，我们引入了StochasticNet的概念，其中深层神经网络通过神经元之间的随机连接形成。因此，通过允许神经元连接是随机的，任何类型的深度神经网络都可以形成为StochasticNet。在深度神经网络架构中，随机突触形成可以允许有效利用神经元来执行特定任务。为了评估这种深度神经网络架构的可行性，我们使用四种不同的图像数据集（CIFAR-10，MNIST，SVHN和STL-10）训练StochasticNet。实验结果表明，使用不到传统深度神经网络一半数量的神经连接的StochasticNet在CIFAR-10，MNIST和SVHN数据集上实现了相当的准确性并减少了过拟合。有趣的是，与传统的深度神经网络相比，神经连接数量不到一半的StochasticNet在STL-10数据集上实现了更高的准确性（与ConvNet相比，测试出错率相对提高了约6%）。最后，StochasticNets具有更快的运行速度，同时实现更好或类似的精度性能。
DropNeuron: Simplifying the Structure of Deep Neural Networks
使用多层神经网络（NN）架构的深度学习在现代机器学习系统中表现出超强的能力。经过训练的深度神经网络（DNN）通常很大。我们想要解决的问题是，是否有可能在训练过程中简化NN，以在可接受的计算时间内实现合理的性能。我们提出了一种通过网络结构的正则化来优化深度神经网络的新方法。我们提出了正则化器，它支持在网络训练过程中丢弃神经元的简单机制。该方法支持构造一个更简单的深度神经网络，其性能与其简化版本兼容。作为概念的证明，我们评估所提出的方法的例子，包括稀疏线性回归，深度自动编码器和卷积神经网络。估值显示了出色的业绩。该工作的代码可以在http://www.github.com/panweihit/DropNeuron中找到
Deep Adaptive Network: An Efficient Deep Neural Network with Sparse Binary Connections
深度神经网络是用于理解图像、视频和原始输入数据内容的最先进模型。然而，在嵌入式系统中实现深度神经网络是一项具有挑战性的任务，因为典型的深度神经网络，例如使用128 × 128图像作为输入的深度信念网络，可能耗尽千兆字节的存储器并导致带宽和计算瓶颈。为了解决这一挑战，本文提出了一种面向硬件的深度学习算法，称为深度自适应网络，它试图利用神经连接中的稀疏性。该方法自适应地将与可忽略特征相关的权重降低到零，从而形成稀疏前馈网络结构。此外，由于重要权重的小部分显著大于零，因此可以使用单比特整数（-1和+1）对它们进行鲁棒阈值化和表示，从而实现具有稀疏和二进制连接的深度神经网络。我们的实验表明，对于识别MNIST手写数字的应用，通过保留约25%重要连接的两层深度自适应网络提取的特征达到了97.2%的分类准确率，与标准深度信念网络（97.3%）几乎相同。此外，对于高效的硬件实现，稀疏和二进制加权的深度神经网络可以节省约99.3%的内存和99.9%的计算单元，而不会显着损失模式识别应用的分类准确性。
Deep Learning: From Basics to Building Deep Neural Networks with Python
本书面向不熟悉深度学习的初学者。我们对读者的唯一期望是他们已经掌握了Python的基本编程技能。
DLL: A Blazing Fast Deep Neural Network Library
深度学习库（DLL）是一个用于机器学习的新库，它具有深度神经网络，专注于速度。它支持前馈神经网络，如全连接人工神经网络（ANN）和卷积神经网络（CNN）。它还非常全面地支持受限玻尔兹曼机（RBM）和卷积RBM。我们这项工作的主要动机是提出和评估新的软件工程策略，有可能加快训练和推理的运行时间。这些策略大多独立于底层的深度学习算法。在三个不同的数据集和四个不同的神经网络模型上，我们将DLL与五个流行的深度学习框架进行了比较。实验表明，该框架在CPU和GPU上的速度明显提高。在分类性能方面，报告了与其他框架类似的准确性。
Object Recognition Using Deep Neural Networks: A Survey
使用深度神经网络识别物体是一个活跃的研究领域，在过去几年中取得了许多突破。本文试图说明这一领域的进展。本文简要介绍了神经网络的研究历史，并介绍了该领域的一些最新进展。最近开发的神经网络算法的性能在基准数据集已制成表格。最后给出了该领域的一些应用。
DeepSearch: A Simple and Effective Blackbox Attack for Deep Neural Networks
尽管深度神经网络在图像分类任务中非常成功，但它们容易受到对抗攻击。为了生成对抗性输入，出现了各种各样的技术，例如针对神经网络的黑盒和白盒攻击。在本文中，我们提出了DeepSearch，这是一种针对图像分类器的新型基于模糊的，查询效率高的黑盒攻击。尽管它很简单，但DeepSearch在寻找对抗性输入方面比最先进的黑盒方法更有效。与这些方法相比，DeepSearch还能够生成最微妙的对抗性输入。
DSRNA: Differentiable Search of Robust Neural Architectures
在深度学习应用中，深度神经网络的架构对于实现高精度至关重要。已经提出了许多方法来自动搜索高性能的神经结构。然而，这些搜索的架构容易受到对抗攻击。输入数据的小扰动可以使架构显著地改变预测结果。为了解决这个问题，我们提出了方法来执行可微搜索的强大的神经架构。在我们的方法中，定义了两个可微度量来衡量架构的鲁棒性，基于认证的下界和雅可比范数界。然后，我们通过最大化鲁棒性度量来搜索鲁棒性架构。与以前旨在以隐式方式提高架构鲁棒性的方法不同：执行对抗性训练和注入随机噪声，我们的方法显式地直接最大化鲁棒性度量以收获鲁棒架构。在CIFAR-10，ImageNet和MNIST上，我们对我们方法的鲁棒性进行了基于游戏的评估和基于验证的评估。实验结果表明，我们的方法1）比几个强大的NAS基线对各种范数约束攻击更鲁棒; 2）当没有攻击时，比基线更准确; 3）比基线具有更高的认证下限。
Probabilistic Deep Learning with Probabilistic Neural Networks and Deep Probabilistic Models
概率深度学习是考虑不确定性的深度学习，包括模型不确定性和数据不确定性。它基于概率模型和深度神经网络的使用。我们区分了概率深度学习的两种方法：概率神经网络和深度概率模型。前者采用深度神经网络，其利用概率层来表示和处理不确定性;后者使用概率模型，其包含深度神经网络组件，这些组件捕获随机变量之间的复杂非线性随机关系。我们讨论了每种方法的一些主要例子，包括贝叶斯神经网络和混合密度网络（概率神经网络），以及变分自编码器，深度高斯过程和深度混合效应模型（深度概率模型）。TensorFlow Probability是一个用于概率建模和推理的库，可用于概率深度学习的两种方法。我们包括它的代码示例用于说明。
Fixed-point optimization of deep neural networks with adaptive step size retraining
深度神经网络的定点优化在基于硬件的设计和低功耗实现中起着重要作用。许多深度神经网络在通过再训练微调量化权重时，即使具有2或3位精度也显示出相当好的性能。我们提出了一种改进的定点优化算法，估计量化步长动态再训练过程中。此外，还测试了一种渐进量化方案，该方案从高精度到低精度依次应用定点优化。针对前馈深度神经网络（FFDNN）、卷积神经网络（CNN）和递归神经网络（RNN）进行实验。
On the Robustness of Neural Collapse and the Neural Collapse of Robustness
本研究探讨了神经崩溃与鲁棒性的关系，发现单纯形结构在对抗攻击下会消失，但经鲁棒优化的网络仍会呈现神经崩溃现象，并据此揭示了鲁棒与非鲁棒模型在层间传播上的新特性。
A Tool for Neural Network Global Robustness Certification and Training
随着机器学习技术在安全关键系统中应用的日益广泛，神经网络在外界干扰下的鲁棒性受到越来越多的关注。全局鲁棒性是定义在整个输入域上的鲁棒性属性。经过认证的全局鲁棒网络可以确保其对任何可能的网络输入的鲁棒性。然而，最先进的全局鲁棒性认证算法只能认证最多几千个神经元的网络。在本文中，我们提出了GPU支持的全球鲁棒性认证框架GROCET，这是更有效的比以前的基于优化的认证方法。此外，GROCET提供了可微的全局鲁棒性，这在全局鲁棒神经网络的训练中被利用。
Deep Neural Networks with Short Circuits for Improved Gradient Learning
深度神经网络在计算机视觉和自然语言处理任务中都取得了巨大成功。然而，大多数最先进的方法高度依赖于外部训练或计算来提高性能。为了减轻外部依赖，我们提出了一种梯度增强方法，由短路神经连接进行，以改善深度神经网络的梯度学习。所提出的短路是一个单向连接，单回传播的敏感从深层到浅层。此外，短路公式是其交叉层的梯度截断，其可以插入到骨干深层神经网络中，而无需引入外部训练参数。大量的实验表明，具有我们的短路的深度神经网络在计算机视觉和自然语言处理任务上都比基线有很大的优势。
Deep Learning with Darwin: Evolutionary Synthesis of Deep Neural Networks
从生物进化中获得灵感，我们探索了“深度神经网络能否在连续几代中自然进化成高效的深度神经网络？“通过引入通过从祖先深度神经网络的进化过程在连续几代中合成新的高效但强大的深度神经网络的概念。祖先深层神经网络的结构特征是使用突触概率模型编码的，突触概率模型可以被视为这些网络的“DNA”。具有不同网络架构的新后代网络基于来自祖先网络的这些突触概率模型和计算环境因子模型以随机方式合成，以模仿遗传、自然选择和随机突变。然后，这些后代网络被训练成功能齐全的网络，就像训练新生儿一样，并且具有比其祖先网络更高效、更多样化的网络架构，同时实现强大的建模能力。视觉显着性任务的实验结果表明，与原始祖先网络相比，合成的“进化”后代网络可以实现最先进的性能，同时具有显着更有效的网络架构（到第四代，突触减少了惊人的$\sim$ 48倍）。
Strengthening the Internal Adversarial Robustness in Lifted Neural Networks
本文研究提升神经网络的内部对抗鲁棒性，通过仅修改训练损失增强鲁棒性，并提出结合有目标与无目标对抗扰动的新型训练损失。
DeepCSHAP: Utilizing Shapley Values to Explain Deep Complex-Valued Neural Networks
本文提出DeepCSHAP，将Shapley值解释方法扩展到复值神经网络，并给出四种梯度解释方法，评估质量并开源。
Convergence of Deep Convolutional Neural Networks
深度神经网络的收敛是建立深度学习数学基础的基础，因为网络的深度趋于无穷大。在之前的研究中，我们研究了具有固定宽度的深度ReLU网络的这个问题。这并不包括重要的卷积神经网络，其中的宽度从一层到另一层不断增加。出于这个原因，我们首先研究一般ReLU网络随着宽度增加的收敛性，然后将所得结果应用于深度卷积神经网络。事实证明，这种收敛性归结为矩阵大小不断增加的无限乘积的收敛性，而文献中尚未考虑过这一点。我们建立了这样的矩阵无穷乘积收敛的充分条件。基于这些条件，我们提出了一般深度ReLU网络随着宽度增加而分段收敛的充分条件，以及深度ReLU卷积神经网络的逐点收敛的充分条件。
A Formalization of Robustness for Deep Neural Networks
深度神经网络已被证明对小的输入扰动缺乏鲁棒性。产生暴露神经网络缺乏鲁棒性的扰动的过程被称为对抗性输入生成。这个过程取决于对手的目标和能力，在本文中，我们提出了一个统一的形式化的对抗性输入生成过程从形式化方法的角度来看。我们提供了一个定义的鲁棒性，是一般足以捕捉不同的配方。通过对各种对抗攻击技术的建模和比较，展示了我们形式化的表达能力。
Backward Gradient Normalization in Deep Neural Networks
我们介绍了一种新的技术梯度归一化在神经网络训练。在反向传递期间，使用在网络架构内的某些点处引入的归一化层来重新缩放梯度。这些规范化节点不会影响前向活动传播，但会修改反向传播方程，以允许达到最深网络层的良好缩放梯度流，而不会出现消失或爆炸。对非常深的神经网络的测试结果表明，新技术可以做一个有效的控制梯度范数，允许在最深层的权重更新，并提高网络的精度在几个实验条件。
Investigating Vulnerabilities of Deep Neural Policies
基于深度神经网络的强化学习策略很容易受到对其输入的不可感知的对抗性扰动的影响，这与神经网络图像分类器的方式大致相同。最近的工作提出了几种方法来提高深度强化学习代理对对抗性扰动的鲁棒性，这些方法基于在存在这些不可感知的扰动的情况下进行训练（即对抗性训练）。在本文中，我们研究了对抗性训练对智能体学习神经策略的影响。特别是，我们遵循两种不同的并行方法来研究基于最坏情况分布偏移和特征敏感性的深度神经策略的对抗性训练的结果。对于第一种方法，我们比较了对抗训练和香草训练神经策略计算的最小扰动的傅立叶谱。通过OpenAI Atari环境中的实验，我们表明，针对对抗训练策略计算的最小扰动更集中在傅立叶域中的较低频率上，这表明这些策略对低频扰动具有更高的敏感性。对于第二种方法，我们提出了一种新的方法来测量深度神经策略的特征敏感性，并比较了最先进的对抗训练的深度神经策略和香草训练的深度神经策略中的这些特征敏感性差异。我们相信，我们的研究结果可以成为理解对抗性训练与神经策略的不同鲁棒性概念之间关系的第一步。
On the Robustness of Graph Neural Diffusion to Topology Perturbations
本研究探索图神经PDEs对拓扑扰动的鲁棒性，证明其天然更稳健，并提出通用框架以定义新型鲁棒GNNs，在基准数据集上性能与最先进水平相当。
Formalizing Generalization and Robustness of Neural Networks to Weight Perturbations
研究神经网络中权重扰动的敏感性及其对模型性能（包括泛化和鲁棒性）的影响是一个活跃的研究课题，因为它涉及到广泛的机器学习任务，如模型压缩，泛化差距评估和对抗攻击。本文对前馈神经网络在两两类间隔下的鲁棒性及其在权值扰动下的推广行为进行了第一次积分研究和分析。我们进一步设计了一个新的理论驱动的损失函数，用于训练可推广和鲁棒的神经网络对权重扰动。最后通过实验验证了理论分析的正确性。我们的研究结果为表征神经网络对权重扰动的泛化性和鲁棒性提供了基本的见解。
Building Compact and Robust Deep Neural Networks with Toeplitz Matrices
深度神经网络在各种各样的任务中是最先进的，然而，它们表现出重要的限制，这阻碍了它们在现实世界应用中的使用和部署。在开发和训练神经网络时，精度不应该是唯一的关注点，神经网络还必须具有成本效益和可靠性。虽然精确，但大型神经网络通常缺乏这些特性。本文研究的问题是如何训练神经网络，使其不仅精度高，而且结构紧凑，易于训练，可靠性高，对对抗性样本具有较强的鲁棒性。为了解决这些问题，我们利用Toeplitz家族的结构化矩阵的属性来构建紧凑且安全的神经网络。
Tropical Decision Boundaries for Neural Networks Are Robust Against Adversarial Attacks
本研究提出一种可嵌入任意模型的热带卷积神经网络架构，利用分段线性网络的热带特性在单隐藏层嵌入热带投影环面，经理论分析与图像数据集实验验证其对对抗攻击具有鲁棒性。
Dynamics of Deep Neural Networks and Neural Tangent Hierarchy
通过梯度下降训练的深度神经网络的进化可以通过[20]中介绍的神经切线核（NTK）来描述，其中证明了在无限宽度限制下，NTK收敛到显式限制核，并且在训练期间保持不变。NTK也隐含在其他一些最近的论文中[6，13，14]。在过度参数化机制中，完全训练的深度神经网络实际上等同于使用限制NTK的核回归预测器。对于深度过参数化的神经网络，梯度下降实现了零训练损失。然而，在[5]中观察到，使用限制NTK的内核回归与深度神经网络之间存在性能差距。这种性能差距可能源于NTK随训练的变化，由于有限宽度效应。NTK在训练过程中的变化是描述深度神经网络泛化特征的核心。在本文中，我们研究了有限宽度深度全连接神经网络的NTK的动力学。我们推导出一个无限层次的常微分方程，神经切线层次（NTH），它捕获了深度神经网络的梯度下降动态。此外，在一定的条件下的神经网络的宽度和数据集的维数，我们证明了截断层次的NTH逼近动态的NTK到任意精度。这种描述使得直接研究深度神经网络的NTK的变化成为可能，并揭示了深度神经网络优于使用相应限制NTK的核回归的观察结果。
GradDiv: Adversarial Robustness of Randomized Neural Networks via Gradient Diversity Regularization
深度学习容易受到对抗性样本的影响。许多基于随机神经网络的防御方法已经被提出来解决这个问题，但未能实现对使用代理梯度的攻击的鲁棒性，例如变换期望（EOT）攻击。我们研究了使用代理梯度的对抗攻击对随机神经网络的影响，并证明了它高度依赖于随机神经网络的损失梯度的方向分布。我们特别表明，代理梯度是不太有效的梯度时，更分散。为此，我们提出了梯度多样性（GradDiv）正则化，最大限度地减少梯度的浓度，以建立一个强大的随机神经网络。我们在MNIST，CIFAR10和STL 10上的实验表明，我们提出的GradDiv正则化提高了随机神经网络对各种最先进的攻击方法的对抗鲁棒性。此外，我们的方法有效地减少了随机神经网络样本模型之间的可移植性。
Deep Learning for Epidemiologists: An Introduction to Neural Networks
深度学习方法正越来越多地应用于医学和医疗保健领域的问题。然而，很少有流行病学家接受过这些方法的正式培训。为了弥合这一差距，本文从流行病学的角度介绍了深度学习的基本原理。具体来说，本文回顾了机器学习中的核心概念（过拟合、正则化、超参数），解释了几种基本的深度学习架构（卷积神经网络、递归神经网络），并总结了模型的训练、评估和部署。我们的目标是使读者能够参与并批判性地评估深度学习的医学应用，促进计算机科学家和流行病学家之间的对话，这将提高这项技术应用的安全性和有效性。
Spurious Local Minima of Deep ReLU Neural Networks in the Neural Tangent Kernel Regime
在本文中，我们从理论上证明了深度ReLU神经网络在神经切核（NTK）机制下的损失景观中不存在虚假的局部最小值，也就是说，在深度ReLU神经网络的梯度下降训练动态中，其参数由正态分布初始化，因为隐藏层的宽度趋于无穷大。
A Survey: Time Travel in Deep Learning Space: An Introduction to Deep Learning Models and How Deep Learning Models Evolved from the Initial Ideas
本报告将展示深度学习的发展历史。它将追溯到大脑的联结主义建模的最初信念，并回过头来看看它的早期实现：神经网络。以神经网络为背景，我们将逐步介绍作为深度判别模型代表的卷积神经网络是如何从神经网络发展而来的，以及许多有助于优化神经网络的实用技术。另一方面，我们也将追溯深度生成模型的演化历史，看看研究人员如何平衡表示能力和计算复杂度，以达到受限玻尔兹曼机，并最终达到深度信念网。此外，我们还将探讨利用神经网络对时间序列数据建模的发展历史。我们从时延神经网络开始，进一步发展到目前著名的递归神经网络及其扩展长短期记忆模型。我们还将简要介绍如何构建深度递归神经网络。最后，我们将以深度神经网络的一些有趣的开放式问题结束本报告。
AdvRush: Searching for Adversarially Robust Neural Architectures
深度神经网络继续以其卓越的性能让世界敬畏。然而，他们的预测很容易被人类无法察觉的对抗性例子所破坏。目前提高神经网络对对抗性示例的鲁棒性的努力集中在开发鲁棒训练方法上，该方法在更鲁棒的方向上更新神经网络的权重。在这项工作中，我们采取了一个步骤超越训练的权重参数，并考虑设计一个具有高内在鲁棒性的对抗鲁棒神经架构的问题。我们提出了AdvRush，一种新的对抗鲁棒性感知神经结构搜索算法，基于一个发现，即独立的训练方法，神经网络的内在鲁棒性可以表示其输入损失景观的平滑度。通过一个正则化器，有利于候选架构具有更平滑的输入损失景观，AdvRush成功地发现了一个对抗强大的神经架构。除了对AdvRush的全面理论动机外，我们还进行了大量的实验来证明AdvRush在各种基准数据集上的有效性。值得注意的是，在CIFAR-10上，AdvRush在标准训练后的FGSM攻击下达到了55.91%的鲁棒准确率，在7步PGD对抗训练后的AutoAttack下达到了50.04%的鲁棒准确率。
Global quantitative robustness of regression feed-forward neural networks
神经网络是许多复杂学习任务不可或缺的模型类。尽管神经网络和许多不同的建立技术的稳定和鲁棒性的训练文献的流行和重要性，从鲁棒统计的经典概念很少被认为是迄今为止在神经网络的上下文中。因此，我们适应的回归故障点的概念，回归神经网络和计算故障点不同的前馈网络配置和污染设置。在一个广泛的模拟研究中，我们比较的性能，测量的样本外损失，由代理的故障率和训练步骤，非鲁棒性和鲁棒性的回归前馈神经网络在过多的不同配置。这些结果确实促使我们在神经网络训练中使用鲁棒的损失函数。
Deepening Neural Networks Implicitly and Locally via Recurrent Attention Strategy
越来越多的经验和理论证据表明，在合适的训练设置下，加深神经网络可以有效地提高其性能。然而，加深神经网络的主干将不可避免地显著增加计算和参数大小。为了缓解这些问题，我们提出了一个简单而有效的递归注意力策略（RAS），它隐式地增加了神经网络的深度与轻量级注意力模块的局部参数共享。在三个广泛使用的基准数据集上的大量实验表明，RAS可以提高神经网络的性能，在轻微增加的参数大小和计算，表现优于其他现有的知名的注意力模块。
Dither is Better than Dropout for Regularising Deep Neural Networks
训练期间深度神经网络（DNN）的规则化对性能至关重要。到目前为止，最流行的方法被称为dropout。在这里，通过信号处理理论的棱镜投射，我们比较和对比dropout与抖动的正则化效果。我们说明了一些严重的固有局限性的辍学，并证明抖动提供了一个更有效的正则化。
Exponential Convergence of the Deep Neural Network Approximation for Analytic Functions
我们证明了对于低维解析函数，深度神经网络逼近的收敛速度是指数的。
Understanding Deep Neural Networks Using Topological Data Analysis
深度神经网络（DNN）是黑箱算法。它们使用梯度下降反向传播技术进行训练，该技术训练每层中的权重，以最小化训练误差。因此，无法直接解释由此产生的权重。使用拓扑数据分析（TDA），我们可以深入了解神经网络是如何思考的，特别是通过分析验证图像通过每一层时的激活值。
Adversarial Perturbations Are Not So Weird: Entanglement of Robust and Non-Robust Features in Neural Network Classifiers
众所周知，在视觉数据上训练的神经网络容易受到通常难以察觉的对抗性扰动的影响。这种脆弱性的原因仍在文献中辩论。最近Ilyas等人（2019）表明，这种漏洞的出现部分是因为神经网络分类器依赖于高度预测但脆弱的“非鲁棒”特征。在本文中，我们扩展了Ilyas等人的工作。通过研究产生这些功能的输入模式的性质。特别是，我们假设在以标准方式训练的神经网络中，非鲁棒特征响应于小的“非语义”模式，这些模式通常与更大的鲁棒模式纠缠在一起，已知更易于人类解释，而不是仅仅响应数据集中的统计伪影。因此，对抗性的例子可以通过对这些小的纠缠模式的最小扰动来形成。此外，我们还证明了我们假设的一个推论：鲁棒分类器比标准（非鲁棒）分类器更有效，可以在非目标和目标环境中生成可转移的对抗性示例。我们在本文中提出的结果提供了新的见解的性质负责对抗性的弱点神经网络分类器的非鲁棒功能。
Structure and Distribution Metric for Quantifying the Quality of Uncertainty: Assessing Gaussian Processes, Deep Neural Nets, and Deep Neural Operators for Regression
我们提出了两个有界的比较指标，可以实现任意尺寸的回归任务。一个是量化不确定性的结构，另一个是量化不确定性的分布。结构度量评估不确定性的形状和位置与真实误差的相似性，而分布度量量化两者之间的支持幅度。我们将这些指标应用于高维和非线性测试用例中的高斯过程（GP），嵌入式深度神经网络（DNN）和嵌入式深度神经运算符（DNO）。我们发现，比较模型的不确定性估计与模型的平方误差提供了一个令人信服的地面真相评估。我们还观察到，DNN和DNO，特别是与GP相比，在高维数据中提供了令人鼓舞的度量值，无论是稀疏还是丰富的数据。
Towards Adversarial Robustness of Deep Vision Algorithms
深度学习方法在解决计算机视觉任务方面取得了巨大的成功，并且它们已被广泛用于人工智能系统的图像处理，分析和理解。然而，深度神经网络已被证明易受输入数据中的对抗性扰动的影响。深度神经网络的安全问题也因此浮出水面。因此，对深度视觉算法的对抗鲁棒性进行全面研究势在必行。本次演讲的重点是图像分类模型和图像去噪器的对抗鲁棒性。我们将从三个角度讨论深度视觉算法的鲁棒性：1）稳健性评价（我们提出了ObsAtk来评估去噪器的鲁棒性），2）鲁棒性改进（HAT、TisODE和CIFS是为了增强视觉模型而开发的），3）对抗鲁棒性与新领域推广能力之间的关系（我们发现，对抗性鲁棒去噪器可以处理看不见的真实世界噪声）。
A Unified Framework of Deep Neural Networks by Capsules
随着深度学习的发展，如何统一地描述深度神经网络正成为一个重要的问题。我们首先用有向图表示形式化了神经网络，并证明了一个关于连通有向无环图诱导网络的生成定理。然后，我们用胶囊网络建立了一个统一的深度学习框架。该框架简化了现有深度神经网络的描述，为深度学习模型的图形化设计和编程技术提供了理论基础，对深度学习的发展具有重要意义。
Convergence of Deep Neural Networks with General Activation Functions and Pooling
深度神经网络作为一种表示高维复杂函数的强大系统，在深度学习中发挥着关键作用。深度神经网络的收敛是为深度学习建立数学基础的基本问题。我们在最近的两项研究中研究了深度ReLU网络和深度卷积神经网络的收敛性（arXiv：2107.12530，2109.13542）。其中仅研究了整流线性单元（ReLU）激活，而没有考虑重要的池化策略。在目前的工作中，我们研究了深度神经网络的收敛性，因为深度趋于无穷大，另外两个重要的激活函数：泄漏ReLU和sigmoid函数。还将研究合并。因此，我们证明了arXiv：2107.12530，2109.13542中建立的充分条件对于泄漏ReLU网络仍然是充分的。对于收缩激活函数，如sigmoid函数，我们建立了一个较弱的深度神经网络一致收敛的充分条件。
Emergent weight morphologies in deep neural networks
本文通过类比凝聚态物理推导理论，证明深度神经网络训练中会涌现出独立于训练数据的周期性权重结构，并通过多数据集数值实验验证，揭示了涌现现象对网络性能的影响。
Leapfrogging for parallelism in deep neural networks
我们提出了一种技术，我们称之为蛙跳，在深度神经网络中并行化反向传播。我们表明，这种技术产生的储蓄$1-1/k$的一个主要术语在反向传播，其中k是线程（或GPU）的数量。
Convex Formulation of Overparameterized Deep Neural Networks
过参数神经网络的分析近年来引起了人们的广泛关注。结果表明，这种系统的行为像凸系统下各种restrictedsettings，如两个层次的神经网络，当学习只局限于本地在所谓的神经切线核空间周围专门的初始化。然而，没有理论技术可以分析在实践中遇到的完全训练的深度神经网络。本文通过研究这种经过充分训练的过参数化深度神经网络来解决这个基本问题。我们推广了一种称为神经特征重新填充的新技术，最初在（Fang et al.，2019 a）用于两级神经网络，以分析深度神经网络。研究表明，在合适的表示下，过参数化深度神经网络本质上是凸的，当优化时，系统可以在温和的条件下学习适合底层学习任务的有效特征。这种新的分析与经验观察一致，即深度神经网络能够学习有效的特征表示。因此，这篇论文高度出乎意料的结果可以令人满意地解释深度神经网络的实际成功。实证研究证实，我们的理论预测是一致的，在实践中观察到的结果。
Neural Tangent Kernel Analysis of Deep Narrow Neural Networks
最近在分析过参数化神经网络的训练动态方面取得的巨大进展主要集中在宽网络上，因此没有充分解决深度在深度学习中的作用。在这项工作中，我们提出了无限深但窄神经网络的第一个可训练性保证。我们研究了具有特定初始化的多层感知器（MLP）的无限深度限制，并使用NTK理论建立了可训练性保证。然后，我们将分析扩展到无限深度卷积神经网络（CNN）并进行简短的实验。
Universality of Deep Convolutional Neural Networks
深度学习已经在语音识别、计算机视觉和许多其他领域得到了广泛应用并带来了突破。所涉及的深度神经网络架构和计算问题已经在机器学习中得到了很好的研究。但是，对于理解由诸如具有卷积结构的深度卷积神经网络之类的网络架构生成的深度学习方法的近似或泛化能力，缺乏理论基础。在这里，我们证明了深度卷积神经网络（CNN）是通用的，这意味着当神经网络的深度足够大时，它可以用来近似任何连续函数到任意精度。这回答了学习理论中的一个开放性问题。我们的定量估计，严格按照要计算的自由参数的数量给出，验证了深度CNN在处理高维数据时的效率。我们的研究还证明了卷积在深度CNN中的作用。
Deep Neural Architecture Search with Deep Graph Bayesian Optimization
贝叶斯优化（BO）是寻找黑箱函数全局最优解的一种有效方法。最近，BO已被应用于神经结构搜索，并显示出比纯进化策略更好的性能。这些方法都采用高斯过程（GP）作为代理函数，以手工相似性度量作为输入。在这项工作中，我们提出了一个贝叶斯图神经网络作为一个新的代理，它可以自动从深度神经架构中提取特征，并使用这些学习到的特征来拟合和表征黑盒目标及其不确定性。基于新的代理，我们开发了一个图贝叶斯优化框架，以解决深度神经架构搜索的挑战性任务。实验结果表明，我们的方法显着优于基准任务的比较方法。
Langevin algorithms for very deep Neural Networks with application to image classification
训练非常深的神经网络是一项具有挑战性的任务，因为神经网络越深，它的非线性就越强。我们比较了各种预处理Langevin算法与非Langevin算法的性能，用于训练深度增加的神经网络。对于浅层神经网络，Langevin算法没有带来任何改进，但是网络越深，Langevin算法提供的增益越大。向梯度下降中添加噪声可以避免局部陷阱，这对于非常深的神经网络来说更常见。在此启发式之后，我们引入了一种新的Langevin算法，称为Layer Langevin，该算法仅将Langevin噪声添加到与最深层相关的权重。然后，我们证明了Langevin和Layer Langevin算法在训练图像分类的流行深度残差架构方面的优势。
DeepCough: A Deep Convolutional Neural Network in A Wearable Cough Detection System
在本文中，我们提出了一个系统，采用可穿戴的声学传感器和深度卷积神经网络检测咳嗽。我们评估了我们的系统对14名健康志愿者的性能，并将其与文献中报道的其他咳嗽检测系统进行比较。实验结果表明，我们的系统实现了95.1%的分类灵敏度和99.5%的特异性。
On Robustness of Neural Ordinary Differential Equations
近年来，神经元常微分方程（ODE）在各个研究领域都引起了越来越多的关注。已有一些研究神经常微分方程的优化问题和逼近能力的工作，但它们的鲁棒性仍然不清楚。在这项工作中，我们填补了这一重要的空白，探索神经常微分方程的鲁棒性的经验和理论。首先，我们提出了一个基于ODE的神经网络（ODENets）的鲁棒性的实证研究，通过将它们暴露于各种类型的扰动输入，随后调查相应的输出的变化。与传统的卷积神经网络（CNN）相比，我们发现ODENets对随机高斯扰动和对抗攻击的例子都更鲁棒。然后，我们提供了一个有见地的理解这种现象，利用一定的连续时间常微分方程的流动，即积分曲线是不相交的理想属性。我们的工作表明，由于其内在的鲁棒性，使用神经ODE作为构建鲁棒深度网络模型的基本块是有希望的。为了进一步增强香草神经常微分方程的鲁棒性，我们提出了时不变稳态神经常微分方程（TisODE），它通过时不变特性和施加稳态约束来正则化扰动数据上的流。我们证明了TisODE方法优于普通神经ODE，并且还可以与其他最先进的架构方法结合使用，以构建更强大的深度网络。
ResPerfNet: Deep Residual Learning for Regressional Performance Modeling of Deep Neural Networks
计算技术的快速发展促进了各种深度学习应用的开发。不幸的是，并行计算基础设施的效率随着神经网络模型而变化很大，这阻碍了对设计空间的探索，以针对给定应用在特定计算平台上找到高性能神经网络架构。为了解决这样的挑战，我们提出了一种基于深度学习的方法ResPerfNet，该方法使用在目标平台上获得的代表性数据集训练残余神经网络，以预测深度神经网络的性能。我们的实验结果表明，ResPerfNet可以准确地预测各个神经网络层和各种平台上的完整网络模型的执行时间。特别是，ResPerfNet在NVIDIA GTX 1080 Ti上实现了LeNet，AlexNet和VGG 16的平均绝对百分比误差为8.4%，这大大低于之前发布的作品。
Input Validation for Neural Networks via Runtime Local Robustness Verification
本文提出一种基于运行时局部鲁棒性验证的神经网络输入验证方法，利用正确分类输入的鲁棒半径远大于错误分类输入且服从正态分布的观察，有效防御对抗样本并提升模型准确率。
Theoretical Analysis of the Advantage of Deepening Neural Networks
本研究提出两个独立于学习效率评估深度神经网络表达能力的准则，从逼近精度和线性区域性质角度分析，证明增加层数比增加每层单元数更能提升网络表达能力。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈
发表机构由 AI 从论文文本抽取，如发现错误，欢迎反馈修正建议。