Dichotomize and Generalize: PAC-Bayesian Binary Activated Deep Neural Networks
Université Laval（拉瓦尔大学）；Inria（法国国家信息与自动化研究所）；University College London（伦敦大学学院）
我们提出了一个全面的研究多层神经网络与二进制激活，依赖于PAC贝叶斯理论。我们的贡献是双重的：（i）我们开发了一个端到端的框架来训练二进制激活的深度神经网络，（ii）我们为二进制激活的深度神经网络提供了非空的PAC-贝叶斯泛化界。我们的结果是通过最小化二进制激活的深度神经网络的结构相关聚合的预期损失来获得的。我们的分析内在地克服了二元激活函数不可微的事实。我们的方法的性能进行了评估，在现实生活中的数据集上的一个彻底的数值实验协议。
2020-02-04 cs.LG stat.ML
SelectiveNet: A Deep Neural Network with an Integrated Reject Option
Technion - Israel Institute of Technology（以色列理工学院）
我们考虑了深度神经网络中的选择性预测（也称为拒绝选项）问题，并引入了SelectiveNet，这是一种具有集成拒绝选项的深度神经架构。现有的拒绝机制主要基于预先训练的网络的预测置信度的阈值。相比之下，SelectiveNet经过训练，可以同时优化分类（或回归）和拒绝，端到端。结果是在覆盖域上优化的深度神经网络。在我们的实验中，我们在几个著名的分类和回归数据集上显示了持续改进的风险覆盖权衡，从而达到了深度选择性分类的最新结果。
2019-06-26 cs.LG stat.ML
Smooth function approximation by deep neural networks with general activation functions
Seoul National University（首尔大学）
人们对深度神经网络的表达能力越来越感兴趣。然而，关于这个主题的大多数现有工作只关注特定的激活函数，如ReLU或sigmoid。在本文中，我们研究了具有广泛激活函数的深度神经网络的逼近能力。这类激活函数包含了大多数常用的激活函数。我们推导出所需的深度，宽度和稀疏性的深度神经网络，以近似任何Hölder光滑函数到一个给定的近似误差的大类激活函数。基于我们的近似误差分析，我们推导出在回归和分类问题中具有一般激活函数的深度神经网络估计的极大极小最优性。
2019-06-27 cs.LG stat.ML
Power Law in Sparsified Deep Neural Networks
Department of Computer Science and Engineering（计算机科学与工程系）；Hong Kong University of Science and Technology（香港科技大学）
在许多生物神经网络的度分布中都观察到幂律。稀疏深度神经网络从数据中学习经济的表示，在许多方面类似于生物神经网络。在本文中，我们研究这些人工网络是否也表现出幂律性质。在两种流行的深度学习模型，即多层感知器和卷积神经网络上的实验结果是肯定的。幂律也自然地与优先依附有关。为了研究深度网络在持续学习中的动力学性质，我们提出了一个内部偏好连接模型来解释网络拓扑结构的演变。实验结果表明，随着新任务的到来，新的连接遵循这种优先连接过程。
2018-05-04 cs.LG stat.ML
A Deep Conditioning Treatment of Neural Networks
Google AI（谷歌人工智能）；Princeton（普林斯顿大学）；Google Research（谷歌研究院）
我们研究了深度在训练随机初始化的超参数化神经网络中的作用。我们给出了一个一般性的结果，表明深度通过改善输入数据的某些核矩阵的条件来提高神经网络的可训练性。这一结果适用于任意非线性激活函数在一定的归一化。我们提供了结果的版本，通过神经切线核只训练神经网络的顶层，以及训练所有层。作为这些一般结果的应用，我们提供了Das等人（2019）结果的推广，表明具有大量非线性激活的深度随机神经网络的可学习性随深度呈指数级下降。我们还通过Bartlett et al.（2019 b）的结果展示了良性过拟合如何在深度神经网络中发生。我们还提供了实验证据，证明ReLU的规范化版本是训练深度神经网络中更复杂操作（如批量规范化）的可行替代方案。
2021-02-17 cs.LG stat.ML
Neural Tangent Kernel Analysis of Deep Narrow Neural Networks
Seoul National University（首尔国立大学）；Hongik University（弘益大学）
最近在分析过参数化神经网络的训练动态方面取得的巨大进展主要集中在宽网络上，因此没有充分解决深度在深度学习中的作用。在这项工作中，我们提出了无限深但窄神经网络的第一个可训练性保证。我们研究了具有特定初始化的多层感知器（MLP）的无限深度限制，并使用NTK理论建立了可训练性保证。然后，我们将分析扩展到无限深度卷积神经网络（CNN）并进行简短的实验。
2022-06-27 cs.LG math.OC stat.ML
Theoretical Analysis of the Advantage of Deepening Neural Networks
Faculty of Science；Engineering Waseda University Tokyo, Japan；Center for Data Science Waseda University Tokyo, Japan
本研究提出两个独立于学习效率评估深度神经网络表达能力的准则，从逼近精度和线性区域性质角度分析，证明增加层数比增加每层单元数更能提升网络表达能力。
2020-09-24 cs.LG cs.NE stat.ML
Equivalence in Deep Neural Networks via Conjugate Matrix Ensembles
提出了一种数值方法来检测深度学习架构的等价性。该方法基于从深度神经网络权重矩阵和匹配神经架构拓扑的{ \it共轭循环系综}中生成混合矩阵系综（MME）。在此之后，经验证据支持{ \it现象}，即神经架构的谱密度与对应的{ \it共轭圆形系综}之间的差异在谱的长正尾部分处以不同的衰减率消失，即，累积圆谱差（CSD）。这一发现可以用于通过分析CSD的波动来建立不同神经结构之间的等效性。我们研究了广泛的深度学习视觉架构和源于统计量子力学的圆形集合的这种现象。人工和自然的神经架构所提出的方法的实际影响，如使用神经结构搜索（NAS）和生物神经网络分类的方法的可能性进行了讨论。
2020-08-30 cond-mat.dis-nn cs.LG stat.ML
On variation of gradients of deep neural networks
Seoul National University（首尔大学）
我们对深度神经网络中每层节点数量的作用提供了理论解释。我们证明了具有ReLU激活函数的深度神经网络的最大变化出现在具有最少节点的层改变其激活模式时。一个重要的含义是，深度神经网络是生成函数的有用工具，这些函数的大部分变化集中在与具有最少节点的层相对应的边界附近的输入空间的较小区域上。反过来，该属性使函数对输入变换更具有不变性。也就是说，我们的理论结果为如何设计深度神经网络的架构以同时增加复杂性和变换不变性提供了线索。
2018-12-02 cs.LG math.ST stat.ML
Backward Gradient Normalization in Deep Neural Networks
我们介绍了一种新的技术梯度归一化在神经网络训练。在反向传递期间，使用在网络架构内的某些点处引入的归一化层来重新缩放梯度。这些规范化节点不会影响前向活动传播，但会修改反向传播方程，以允许达到最深网络层的良好缩放梯度流，而不会出现消失或爆炸。对非常深的神经网络的测试结果表明，新技术可以做一个有效的控制梯度范数，允许在最深层的权重更新，并提高网络的精度在几个实验条件。
2021-06-17 cs.LG
Convergence of Deep Neural Networks with General Activation Functions and Pooling
深度神经网络作为一种表示高维复杂函数的强大系统，在深度学习中发挥着关键作用。深度神经网络的收敛是为深度学习建立数学基础的基本问题。我们在最近的两项研究中研究了深度ReLU网络和深度卷积神经网络的收敛性（arXiv：2107.12530，2109.13542）。其中仅研究了整流线性单元（ReLU）激活，而没有考虑重要的池化策略。在目前的工作中，我们研究了深度神经网络的收敛性，因为深度趋于无穷大，另外两个重要的激活函数：泄漏ReLU和sigmoid函数。还将研究合并。因此，我们证明了arXiv：2107.12530，2109.13542中建立的充分条件对于泄漏ReLU网络仍然是充分的。对于收缩激活函数，如sigmoid函数，我们建立了一个较弱的深度神经网络一致收敛的充分条件。
2022-10-01 cs.LG math.FA
Hyperbolic Deep Neural Networks: A Survey
University of Oulu（奥卢大学）
近年来，双曲空间中的深度表示学习因其对具有层次结构的知识图谱或同义词层次等数据的建模能力而受到越来越多的关注。在本文中，我们将该模型称为双曲深度神经网络。这样的双曲神经结构可能导致非常紧凑的模型，比欧几里得空间中的模型具有更多的物理可解释性。为了促进未来的研究，本文对双曲深度神经网络构建中的神经组件以及双曲空间的领先深度方法的推广进行了一致和全面的文献综述。它还介绍了围绕几个公开数据集上的各种机器学习任务的当前应用，以及有见地的观察和识别开放问题和有前途的未来方向。
2021-02-17 cs.CV cs.LG
Bi-fidelity Evolutionary Multiobjective Search for Adversarially Robust Deep Neural Architectures
深度神经网络被发现容易受到对抗攻击的攻击，因此在安全敏感的环境中引起了潜在的担忧。为了解决这个问题，最近的研究从架构的角度研究了深度神经网络的对抗鲁棒性。然而，搜索深度神经网络的架构在计算上是昂贵的，特别是当与对抗训练过程相结合时。针对上述问题，本文提出了一种双保真度多目标神经结构搜索方法。首先，我们将增强深度神经网络对抗鲁棒性的NAS问题公式化为多目标优化问题。具体来说，除了作为第一个目标的低保真度性能预测器之外，我们还利用了一个替代目标-其值是用高保真度评估训练的代理模型的输出。其次，我们通过结合三种性能估计方法来降低计算成本，参数共享、低保真度评估和基于替代的预测器。在CIFAR-10、CIFAR-100和SVHN数据集上进行的大量实验证实了该方法的有效性。
2022-07-12 cs.LG cs.NE
deepstruct -- linking deep learning and graph theory
University of Passau（帕绍大学）
deepstruct将深度学习模型和图论连接起来，使得可以将不同的图结构施加在神经网络上，或者可以从训练的神经网络模型中提取图结构。为此，deepstruct提供了具有不同限制的深度神经网络模型，这些模型可以基于初始图创建。此外，从训练模型中提取图形结构的工具也是可用的。即使对于只有几十万个参数的模型，提取图的这一步骤也可能在计算上是昂贵的，并且提出了一个具有挑战性的问题。deepstruct支持神经网络的剪枝、神经结构搜索、自动网络设计和结构分析等研究。
2021-12-05 cs.AI cs.LG cs.NE
Neuralogram: A Deep Neural Network Based Representation for Audio Signals
Stanford University（斯坦福大学）
我们提出了Neuralogram --一种基于深度神经网络的表示方法，用于理解音频信号，顾名思义，它将音频信号转换为基于通过神经架构学习的嵌入的密集、紧凑的表示。通过一系列探测信号，我们展示了我们的表示如何封装音高，音色和基于节奏的信息以及其他属性。这种表示提出了一种方法，用于揭示现有算法不容易表示的任意长音频信号中有意义的关系。这在音频理解、音乐推荐、元数据提取等方面具有许多应用的潜力。
2019-04-10 cs.LG cs.MM cs.SD
Machine-Learning Non-Conservative Dynamics for New-Physics Detection
Microsoft Research Asia（微软亚洲研究院）；Massachusetts Institute of Technology（麻省理工学院）；AI Institute for Artificial Intelligence and Fundamental Interactions（人工智能与基本相互作用研究所）
能量守恒是一个基本的物理学原理，它的失效往往意味着新的物理学。本文提出了一种数据驱动的“新物理”发现方法。具体来说，给定由未知力控制的轨迹，我们的神经新物理检测器（NNPhD）旨在通过将力场分解为保守和非保守分量来检测新物理，这些分量分别由拉格朗日神经网络（LNN）和通用近似器网络（UAN）表示，训练以最小化力恢复误差加上恒定的$λ$乘以预测的非保守力的大小。我们表明，相变发生在$λ$ =1，普遍为任意力。我们证明了NNPhD在玩具数值实验中成功地发现了新的物理学，从阻尼双摆中重新发现了摩擦（1493），从天王星轨道中发现了海王星（1846），从螺旋轨道中发现了引力波（2017）。我们还展示了如何NNPhD加上积分优于以前的方法预测未来的阻尼双摆。
2021-06-02 astro-ph.IM cs.LG gr-qc
Probabilistic Deep Learning with Probabilistic Neural Networks and Deep Probabilistic Models
IBM（国际商业机器公司）
概率深度学习是考虑不确定性的深度学习，包括模型不确定性和数据不确定性。它基于概率模型和深度神经网络的使用。我们区分了概率深度学习的两种方法：概率神经网络和深度概率模型。前者采用深度神经网络，其利用概率层来表示和处理不确定性;后者使用概率模型，其包含深度神经网络组件，这些组件捕获随机变量之间的复杂非线性随机关系。我们讨论了每种方法的一些主要例子，包括贝叶斯神经网络和混合密度网络（概率神经网络），以及变分自编码器，深度高斯过程和深度混合效应模型（深度概率模型）。TensorFlow Probability是一个用于概率建模和推理的库，可用于概率深度学习的两种方法。我们包括它的代码示例用于说明。
2021-06-09 cs.LG stat.ML
Dynamics of Deep Neural Networks and Neural Tangent Hierarchy
IAS（高等研究院）；Harvard University（哈佛大学）
通过梯度下降训练的深度神经网络的进化可以通过[20]中介绍的神经切线核（NTK）来描述，其中证明了在无限宽度限制下，NTK收敛到显式限制核，并且在训练期间保持不变。NTK也隐含在其他一些最近的论文中[6，13，14]。在过度参数化机制中，完全训练的深度神经网络实际上等同于使用限制NTK的核回归预测器。对于深度过参数化的神经网络，梯度下降实现了零训练损失。然而，在[5]中观察到，使用限制NTK的内核回归与深度神经网络之间存在性能差距。这种性能差距可能源于NTK随训练的变化，由于有限宽度效应。NTK在训练过程中的变化是描述深度神经网络泛化特征的核心。在本文中，我们研究了有限宽度深度全连接神经网络的NTK的动力学。我们推导出一个无限层次的常微分方程，神经切线层次（NTH），它捕获了深度神经网络的梯度下降动态。此外，在一定的条件下的神经网络的宽度和数据集的维数，我们证明了截断层次的NTH逼近动态的NTK到任意精度。这种描述使得直接研究深度神经网络的NTK的变化成为可能，并揭示了深度神经网络优于使用相应限制NTK的核回归的观察结果。
2019-09-18 cs.LG stat.ML
Exponential Convergence of the Deep Neural Network Approximation for Analytic Functions
Princeton University（普林斯顿大学）；Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）
我们证明了对于低维解析函数，深度神经网络逼近的收敛速度是指数的。
2018-07-01 cs.LG stat.ML
Structure and Distribution Metric for Quantifying the Quality of Uncertainty: Assessing Gaussian Processes, Deep Neural Nets, and Deep Neural Operators for Regression
Massachusetts Institute of Technology（麻省理工学院）
我们提出了两个有界的比较指标，可以实现任意尺寸的回归任务。一个是量化不确定性的结构，另一个是量化不确定性的分布。结构度量评估不确定性的形状和位置与真实误差的相似性，而分布度量量化两者之间的支持幅度。我们将这些指标应用于高维和非线性测试用例中的高斯过程（GP），嵌入式深度神经网络（DNN）和嵌入式深度神经运算符（DNO）。我们发现，比较模型的不确定性估计与模型的平方误差提供了一个令人信服的地面真相评估。我们还观察到，DNN和DNO，特别是与GP相比，在高维数据中提供了令人鼓舞的度量值，无论是稀疏还是丰富的数据。
2022-03-09 cs.LG stat.ML
A Unified Framework of Deep Neural Networks by Capsules
College of Computer Science（计算机学院）；Faculty of Information Technology（信息技术学院）；Beijing University of Technology（北京工业大学）
随着深度学习的发展，如何统一地描述深度神经网络正成为一个重要的问题。我们首先用有向图表示形式化了神经网络，并证明了一个关于连通有向无环图诱导网络的生成定理。然后，我们用胶囊网络建立了一个统一的深度学习框架。该框架简化了现有深度神经网络的描述，为深度学习模型的图形化设计和编程技术提供了理论基础，对深度学习的发展具有重要意义。
2018-05-10 cs.LG stat.ML
Convex Formulation of Overparameterized Deep Neural Networks
Shenzhen Research Institute of Big Data（深圳大数据研究院）；Princeton University（普林斯顿大学）；HKUST（香港科技大学）
过参数神经网络的分析近年来引起了人们的广泛关注。结果表明，这种系统的行为像凸系统下各种restrictedsettings，如两个层次的神经网络，当学习只局限于本地在所谓的神经切线核空间周围专门的初始化。然而，没有理论技术可以分析在实践中遇到的完全训练的深度神经网络。本文通过研究这种经过充分训练的过参数化深度神经网络来解决这个基本问题。我们推广了一种称为神经特征重新填充的新技术，最初在（Fang et al.，2019 a）用于两级神经网络，以分析深度神经网络。研究表明，在合适的表示下，过参数化深度神经网络本质上是凸的，当优化时，系统可以在温和的条件下学习适合底层学习任务的有效特征。这种新的分析与经验观察一致，即深度神经网络能够学习有效的特征表示。因此，这篇论文高度出乎意料的结果可以令人满意地解释深度神经网络的实际成功。实证研究证实，我们的理论预测是一致的，在实践中观察到的结果。
2019-11-18 cs.LG stat.ML
Universality of Deep Convolutional Neural Networks
City University of Hong Kong（香港城市大学）
深度学习已经在语音识别、计算机视觉和许多其他领域得到了广泛应用并带来了突破。所涉及的深度神经网络架构和计算问题已经在机器学习中得到了很好的研究。但是，对于理解由诸如具有卷积结构的深度卷积神经网络之类的网络架构生成的深度学习方法的近似或泛化能力，缺乏理论基础。在这里，我们证明了深度卷积神经网络（CNN）是通用的，这意味着当神经网络的深度足够大时，它可以用来近似任何连续函数到任意精度。这回答了学习理论中的一个开放性问题。我们的定量估计，严格按照要计算的自由参数的数量给出，验证了深度CNN在处理高维数据时的效率。我们的研究还证明了卷积在深度CNN中的作用。
2018-07-20 cs.LG stat.ML
Langevin algorithms for very deep Neural Networks with application to image classification
Laboratoire de Probabilités, Statistique et Modélisation（概率、统计与建模实验室）；Sorbonne Université（索邦大学）
训练非常深的神经网络是一项具有挑战性的任务，因为神经网络越深，它的非线性就越强。我们比较了各种预处理Langevin算法与非Langevin算法的性能，用于训练深度增加的神经网络。对于浅层神经网络，Langevin算法没有带来任何改进，但是网络越深，Langevin算法提供的增益越大。向梯度下降中添加噪声可以避免局部陷阱，这对于非常深的神经网络来说更常见。在此启发式之后，我们引入了一种新的Langevin算法，称为Layer Langevin，该算法仅将Langevin噪声添加到与最深层相关的权重。然后，我们证明了Langevin和Layer Langevin算法在训练图像分类的流行深度残差架构方面的优势。
2022-12-27 cs.LG stat.ML
DeepStreamCE: A Streaming Approach to Concept Evolution Detection in Deep Neural Networks
Birmingham City University（伯明翰城市大学）
深度神经网络已经在实验中证明了在决策预测方面优于其他机器学习方法的性能。然而，一个主要的问题是训练类的分类决策的闭集性质，这可能会在安全关键系统中产生严重的后果。当深度神经网络处于流式传输环境中时，需要对该分类进行快速解释以确定分类结果是否可信。当深度神经网络的输入数据随时间变化时，可能会发生不可信分类。一种可能发生的变化是概念进化，其中引入了一个新的类，而深度神经网络没有在其上进行训练。在大多数深度神经网络架构中，唯一的选择是将此实例分配给它在其上进行训练的类之一，这是不正确的。本研究的目的是检测流中新类的到达。现有的解释深度神经网络的工作通常集中在神经元激活，以提供视觉解释和特征提取。我们的新方法，创造了DeepStreamCE，使用流方法在深度神经网络中进行实时概念进化检测。DeepStreamCE在离线阶段使用自动编码器和基于MCOD流的聚类来应用神经元激活减少。两个输出都用于在线阶段，以分析进化流中的神经元激活，从而实时的检测概念进化的发生。我们通过在CIFAR-10数据集的数据组合上训练VGG 16卷积神经网络来评估DeepStreamCE，并提供一些类作为概念进化。为了进行比较，我们将数据和VGG 16网络应用于开放集深度网络解决方案- OpenMax。DeepStreamCE在识别我们数据集的概念演变时优于OpenMax。
2020-04-08 cs.LG stat.ML
Sup-Norm Convergence of Deep Neural Network Estimator for Nonparametric Regression by Adversarial Training
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文针对非参数回归中深度神经网络估计器难以实现上确界范数收敛的问题，提出带校正的对抗训练方案，证明其能达到上确界范数意义下的最优速率，并通过实验验证理论结果。
2023-07-08 cs.LG stat.ML
Generalization bounds for neural ordinary differential equations and deep residual networks
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Laboratoire de Probabilités, Statistique et Modélisation（概率、统计与建模实验室）
本文针对连续时间参数的神经常微分方程及相应深度残差网络，基于Lipschitz论证推导泛化界，并数值验证权重差异对泛化能力的影响。
2023-10-11 cs.LG stat.ML
Embedding Differentiable Sparsity into Deep Neural Network
ETRI（韩国电子通信研究院）
在本文中，我们提出将稀疏性嵌入到深度神经网络的结构中，其中模型参数在使用随机梯度下降进行训练期间可以精确为零。因此，它可以同时学习网络的稀疏结构和权值。所提出的方法可以学习结构化以及非结构化稀疏性。
2020-06-23 cs.LG stat.ML
Deep Neural Networks as Point Estimates for Deep Gaussian Processes
University of Cambridge（剑桥大学）；Secondmind；Amazon（亚马逊）；Imperial College London（伦敦帝国学院）；Google Brain（谷歌大脑）
神经网络和高斯过程在它们的优点和缺点上是互补的。更好地理解它们之间的关系意味着承诺让每种方法都能从另一种方法的优势中受益。在这项工作中，我们建立了神经网络和（深）稀疏高斯过程模型的前向传递之间的等价性。我们开发的理论是基于解释激活函数作为域间诱导功能，通过激活函数和内核之间的相互作用的严格分析。这导致模型既可以被视为具有改进的不确定性预测的神经网络，也可以被视为具有提高的预测精度的深度高斯过程。这些主张得到了回归和分类数据集上的实验结果的支持。
2021-12-09 cs.LG stat.ML
Neural Optimization Kernel: Towards Robust Deep Learning
Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）
深度神经网络（NN）在许多应用中取得了巨大的成功。然而，为什么深度神经网络在过度参数化状态下获得良好的泛化能力仍然不清楚。为了更好地理解深度NN，我们建立了深度NN和一个新的内核家族之间的联系，即，神经优化内核（NOK）。NOK的结构化近似的架构执行隐式正则化问题的单调下降更新。我们可以通过使用不同的激活函数来隐式地选择正则化问题，例如，ReLU、最大池化和软阈值。我们进一步建立了一个新的泛化界，我们的深度结构近似NOK架构。我们的无监督结构化近似NOK块可以作为一个简单的插件流行的骨干，对输入噪声的良好推广。
2021-12-01 cs.LG stat.ML
Hands-on Bayesian Neural Networks -- a Tutorial for Deep Learning Users
University of Western Australia（西澳大学）；Murdoch University（莫道克大学）；Monash University（莫纳什大学）
现代深度学习方法是解决无数挑战性问题的强大工具。然而，由于深度学习方法作为黑箱运行，因此与其预测相关的不确定性通常难以量化。贝叶斯统计提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和一个完整的工具集，用于设计，实施，训练，使用和评估贝叶斯神经网络，即使用贝叶斯方法训练的随机人工神经网络。
2022-01-03 cs.LG stat.ML
On the rate of convergence of a deep recurrent neural network estimate in a regression problem with dependent data
Technische Universität Darmstadt（达姆施塔特工业大学）；Concordia University（康考迪亚大学）
考虑了一类非独立数据的回归问题。正则性假设的依赖性的数据进行了介绍，它表明，在适当的结构假设的回归函数的深度循环神经网络估计是能够规避灾难的维数。
2020-10-31 cs.LG stat.ML
Universal approximations of permutation invariant/equivariant functions by deep neural networks
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Keio University（庆应义塾大学）；École Normale Supérieure Paris-Saclay（巴黎萨克雷高等师范学院）
在本文中，我们发展了一个理论之间的关系$G$不变/等变函数和深度神经网络有限群$G$。特别地，对于一个给定的$G$ -不变/等变函数，我们通过深度神经网络构造了它的通用逼近器，该深度神经网络的层装备了$G$ -作用，并且每个仿射变换都是$G$ -等变/不变的。由于表示理论，我们可以证明，这个近似有指数更少的自由参数比通常的模型。
2019-09-26 cs.LG stat.ML
Traffic map prediction using UNet based deep convolutional neural network
本文描述了我们基于UNet的深度卷积神经网络方法在2019年的Jumic4cast挑战赛上的应用。挑战性的任务是在高分辨率的城市地图上预测未来的交通流量、航向和速度。我们使用基于UNet的深度卷积神经网络训练预测模型进行短期交通预测。在每个卷积块上，层与后续层紧密连接，就像DenseNet一样。通过对从世界上三个不同城市收集的真实世界数据集进行训练和评估，我们的方法在这一挑战中取得了最佳表现。
2019-11-25 cs.LG stat.ML
Distributed learning of deep neural network over multiple agents
Massachusetts Institute of Technology（麻省理工学院）
在医疗保健和金融等领域，标记数据和计算资源的短缺是开发机器学习算法的关键问题。为了解决基于神经网络的系统的训练和部署中标记数据稀缺的问题，我们提出了一种在多个数据源上训练深度神经网络的新技术。我们的方法允许使用来自多个实体的数据以分布式方式训练深度神经网络。我们评估我们的算法对现有的数据集，并表明它获得的性能是类似于一个普通的神经网络在一台机器上训练。我们进一步扩展它，以在使用少量标记样本进行训练时纳入半监督学习，并分析可能出现的任何安全问题。我们的算法为数据敏感应用中的深度神经网络的分布式训练铺平了道路，当原始数据可能无法直接共享时。
2018-10-14 cs.LG stat.ML
Deep Neural Network Ensembles for Time Series Classification
IRIMAS, Université Haute-Alsace（上阿尔萨斯大学 IRIMAS）
深度神经网络已经彻底改变了计算机视觉和自然语言处理等许多领域。受到最近成功的启发，深度学习开始在时间序列分类（TSC）方面显示出有希望的结果。然而，神经网络仍然落后于最先进的TSC算法，TSC算法目前由37个非基于深度学习的分类器组成。我们将这种性能差距归因于TSC缺乏神经网络集成。因此，在本文中，我们展示了60个深度学习模型的集成如何在UCR/UEA档案（时间序列分析的最大公开基准）上进行评估时，显着提高TSC神经网络的当前最先进性能。最后，我们展示了我们提出的神经网络Ensemble（NNE）是第一个优于COTE的时间序列分类器，同时达到与当前最先进的集成HIVE-COTE相似的性能。
2019-04-26 cs.LG stat.ML
Addressing caveats of neural persistence with deep graph persistence
University of Tübingen（蒂宾根大学）；Tübingen AI Center（蒂宾根人工智能中心）；Technical University of Denmark（丹麦技术大学）；University of Copenhagen（哥本哈根大学）；Copenhagen University Hospital（哥本哈根大学医院）；FindZebra
针对神经持久性在深度网络中退化为权重方差且忽略层间交互的问题，提出将其底层filtration扩展至整个网络，构建了深度图持久性度量以隐式结合持久路径并缓解方差问题。
2023-11-20 cs.LG stat.ML
Genetic Algorithms for Evolving Deep Neural Networks
Bar-Ilan University（巴伊兰大学）；Tel Aviv University（特拉维夫大学）
近年来，应用无监督学习来训练神经网络深层的深度学习方法在众多领域取得了显著的成果。在过去，许多基于遗传算法的方法已经成功地应用于训练神经网络。在本文中，我们扩展了以前的工作，并提出了一个遗传算法辅助的方法进行深度学习。我们的实验结果表明，这种GA辅助的方法提高了深度自动编码器的性能，产生了更稀疏的神经网络。
2017-11-21 cs.LG cs.NE stat.ML
Characterizing the Decision Boundary of Deep Neural Networks
Michigan State University（密歇根州立大学）
深度神经网络，特别是深度神经分类器已经成为许多现代应用的组成部分。尽管它们在实践中取得了成功，但我们对它们如何工作的了解仍然有限，对这种了解的需求正在不断增长。在这方面，深度神经网络分类器可以帮助我们加深对其决策行为的了解的一个关键方面是调查其决策边界。然而，这取决于是否能够接触到决策边界附近区域的样本。为了实现这一点，我们提出了一种新的方法，我们称之为深度决策边界实例生成（DeepDIG）。DeepDIG利用基于对抗性示例生成的方法作为在任何深度神经网络模型的决策边界附近生成样本的有效方式。然后，我们引入了一组重要的原则性特征，这些特征利用决策边界附近生成的实例来提供对深度神经网络的多方面理解。我们在各种深度神经网络模型的多个代表性数据集上进行了广泛的实验，并描述了它们的决策边界。该代码可在https://github.com/hamidkarimi/DeepDIG/上公开获取。
2020-06-03 cs.CV cs.LG stat.ML
DropNeuron: Simplifying the Structure of Deep Neural Networks
Data Science Institute（数据科学研究所）；Imperial College London（伦敦帝国理工学院）
使用多层神经网络（NN）架构的深度学习在现代机器学习系统中表现出超强的能力。经过训练的深度神经网络（DNN）通常很大。我们想要解决的问题是，是否有可能在训练过程中简化NN，以在可接受的计算时间内实现合理的性能。我们提出了一种通过网络结构的正则化来优化深度神经网络的新方法。我们提出了正则化器，它支持在网络训练过程中丢弃神经元的简单机制。该方法支持构造一个更简单的深度神经网络，其性能与其简化版本兼容。作为概念的证明，我们评估所提出的方法的例子，包括稀疏线性回归，深度自动编码器和卷积神经网络。估值显示了出色的业绩。该工作的代码可以在http://www.github.com/panweihit/DropNeuron中找到
2016-07-03 cs.CV cs.LG stat.ML
DLL: A Blazing Fast Deep Neural Network Library
HES-SO, University of Applied Science of Western Switzerland University of Fribourg, Switzerland（瑞士西部应用科学与艺术大学（HES-SO）、弗里堡大学）
深度学习库（DLL）是一个用于机器学习的新库，它具有深度神经网络，专注于速度。它支持前馈神经网络，如全连接人工神经网络（ANN）和卷积神经网络（CNN）。它还非常全面地支持受限玻尔兹曼机（RBM）和卷积RBM。我们这项工作的主要动机是提出和评估新的软件工程策略，有可能加快训练和推理的运行时间。这些策略大多独立于底层的深度学习算法。在三个不同的数据集和四个不同的神经网络模型上，我们将DLL与五个流行的深度学习框架进行了比较。实验表明，该框架在CPU和GPU上的速度明显提高。在分类性能方面，报告了与其他框架类似的准确性。
2018-04-11 cs.CV cs.LG stat.ML
Global optimality conditions for deep neural networks
Massachusetts Institute of Technology（麻省理工学院）
我们研究了具有平方误差损失的深度线性和非线性神经网络的误差景观。最小化深度线性神经网络的损失是一个非凸问题，尽管最近取得了进展，但我们对这种损失面的理解仍然不完整。对于深度线性网络，我们给出了风险函数的临界点是全局最小值的充分必要条件。令人惊讶的是，我们的条件提供了一个有效的检查测试的全局最优性，而这样的测试通常是棘手的非凸优化。我们进一步将这些结果扩展到深度非线性神经网络，并证明了类似的全局最优性的充分条件，尽管在更有限的函数空间设置。
2018-03-24 cs.LG math.OC stat.ML
Building Robust Deep Neural Networks for Road Sign Detection
Georgia Institute of Technology（佐治亚理工学院）；Twentieth Century Fox（二十世纪福克斯公司）；Starfleet Academy（星际舰队学院）；Tyrell Inc.（泰瑞尔公司）
深度神经网络是通过使用正则化、早期停止和丢弃等技术来构建的，以在训练集之外进行泛化。但是，很少有人考虑让它们更能适应对抗性的例子。随着深度神经网络在关键任务和实时系统中变得越来越普遍，不法分子开始通过故意使深度神经网络将一种类型的对象错误分类为另一种类型来攻击它们。在某些情况下，这可能是灾难性的，其中深度神经网络的分类可能导致机器做出致命的决定。在这项工作中，我们使用GTSRB数据集通过快速梯度符号方法和雅可比显著性方法来制作对抗样本，使用这些制作的对抗样本来攻击另一个深度卷积神经网络，并通过防御蒸馏和对抗训练使被攻击的网络对对抗攻击更具弹性
2017-12-26 cs.AI cs.LG stat.ML
An Investigation of Quantum Deep Clustering Framework with Quantum Deep SVM & Convolutional Neural Network Feature Extractor
Amity Institute of Information Technology（阿米提信息技术学院）；Amity University（阿米提大学）；Coventry University（考文垂大学）
在本文中，我们提出了一种深度量子SVM公式，并进一步展示了基于量子深度SVM公式、深度卷积神经网络和量子K-Means聚类的量子聚类框架。我们研究了所提出的量子深度聚类框架的运行时间计算复杂性，并与可能的经典实现进行了比较。我们的调查表明，所提出的量子版本的深度聚类公式显示出显着的性能增益（在许多部分指数加速增益）对可能的经典实现。所提出的理论量子深度聚类框架也是有趣的，是对量子经典机器学习公式的新颖研究，以表达最大的性能。
2019-09-21 cs.AI cs.LG stat.ML
Limitations on approximation by deep and shallow neural networks
证明了关于深、浅神经网络逼近紧集K的误差的Carl型不等式。这反过来又给出了当要求近似值来自这样的网络的输出时，我们可以近似K中的函数的下限。我们的结果是作为最近推出的Lipschitz宽度的研究的副产品。
2022-11-30 cs.LG math.FA stat.ML
Measurement error models: from nonparametric methods to deep neural networks
Harvard University（哈佛大学）
深度学习的成功激发了人们对将神经网络应用于统计推断的兴趣。在本文中，我们研究了深度神经网络在具有测量误差的非参数回归中的应用。我们提出了一个有效的神经网络设计估计测量误差模型，其中我们使用一个完全连接的前馈神经网络（FNN）来近似的回归函数$f(x)$，归一化流近似的先验分布的$X$，和推理网络近似的后验分布的$X$。我们的方法利用了深度神经网络变分推断的最新进展，例如重要性权重自动编码器，双重重新参数化梯度估计器和非线性独立分量估计。我们进行了广泛的数值研究，比较神经网络的方法与经典的非参数方法，并观察到神经网络的方法是更灵活的，在适应不同类别的回归函数，并执行优于或媲美的最佳方法，在几乎所有的设置。
2020-07-15 cs.LG stat.ME stat.ML
Neural Persistence: A Complexity Measure for Deep Neural Networks Using Algebraic Topology
ETH Zurich（苏黎世联邦理工学院）；SIB Swiss Institute of Bioinformatics（瑞士生物信息学研究所）
虽然已经提出了许多使神经网络更可扩展的方法，但它们仅限于用输入数据询问网络。然而，表征和监测结构特性的措施尚未开发。在这项工作中，我们提出了神经持久性，基于加权分层图的拓扑数据分析的神经网络架构的复杂性度量。为了证明我们的方法的有用性，我们展示了神经持久性反映了深度学习社区中开发的最佳实践，例如dropout和批量归一化。此外，我们推导出一个基于神经持久性的停止标准，它缩短了训练过程，同时实现了与基于验证损失的早期停止相当的准确性。
2019-09-27 cs.LG math.AT stat.ML
Expressivity of Deep Neural Networks
Institute of Mathematics, Technical University of Berlin（柏林工业大学数学研究所）
在这篇综述论文中，我们对神经网络的各种近似结果进行了全面的概述。经典的函数空间的逼近速度，以及深度神经网络的好处浅的具体结构的函数类进行了讨论。虽然现有结果的主体是一般的前馈架构，我们也描绘卷积，残差和递归神经网络的近似结果。
2020-07-09 cs.LG math.FA stat.ML
Deep Learning: From Basics to Building Deep Neural Networks with Python
本书面向不熟悉深度学习的初学者。我们对读者的唯一期望是他们已经掌握了Python的基本编程技能。
2022-04-22 cs.LG
DeepSearch: A Simple and Effective Blackbox Attack for Deep Neural Networks
MPI-SWS（马克斯·普朗克软件系统研究所）
尽管深度神经网络在图像分类任务中非常成功，但它们容易受到对抗攻击。为了生成对抗性输入，出现了各种各样的技术，例如针对神经网络的黑盒和白盒攻击。在本文中，我们提出了DeepSearch，这是一种针对图像分类器的新型基于模糊的，查询效率高的黑盒攻击。尽管它很简单，但DeepSearch在寻找对抗性输入方面比最先进的黑盒方法更有效。与这些方法相比，DeepSearch还能够生成最微妙的对抗性输入。
2020-08-15 cs.LG
On the approximation of rough functions with deep neural networks
ETH Zürich（苏黎世联邦理工学院）；University of Southern California（南加州大学）
深度神经网络和ENO过程都是近似粗糙函数的有效框架。我们证明，在任何阶数下，ENO插值过程都可以被转换为深度ReLU神经网络。这一令人惊讶的事实使ENO过程的几个理想属性能够转移到深度神经网络，包括其近似Lipschitz函数的高阶精度。数值试验结果表明，神经网络的非线性守恒律近似解和数据压缩性能优异。
2020-10-08 cs.LG cs.NA math.NA
Neural ODEs as the Deep Limit of ResNets with constant weights
Uppsala University（乌普萨拉大学）
在本文中，我们证明了，在深度极限，ResNet型深度神经网络，其中每一层共享相同的权重矩阵的随机梯度下降收敛到神经ODE的随机梯度下降，以及相应的值/损失函数收敛。在随机梯度下降最小化的背景下，我们的结果为将神经常微分方程视为ResNets的深度极限提供了理论基础。我们的证明是基于相关的福克-普朗克方程的某些衰减估计。
2020-01-20 cs.LG math.AP math.CA
Fixed-point optimization of deep neural networks with adaptive step size retraining
Seoul National University（首尔国立大学）
深度神经网络的定点优化在基于硬件的设计和低功耗实现中起着重要作用。许多深度神经网络在通过再训练微调量化权重时，即使具有2或3位精度也显示出相当好的性能。我们提出了一种改进的定点优化算法，估计量化步长动态再训练过程中。此外，还测试了一种渐进量化方案，该方案从高精度到低精度依次应用定点优化。针对前馈深度神经网络（FFDNN）、卷积神经网络（CNN）和递归神经网络（RNN）进行实验。
2017-02-27 cs.LG
Deep Neural Networks with Short Circuits for Improved Gradient Learning
IHPC A*STAR（A*STAR高性能计算研究所）；Georgia State University（佐治亚州立大学）
深度神经网络在计算机视觉和自然语言处理任务中都取得了巨大成功。然而，大多数最先进的方法高度依赖于外部训练或计算来提高性能。为了减轻外部依赖，我们提出了一种梯度增强方法，由短路神经连接进行，以改善深度神经网络的梯度学习。所提出的短路是一个单向连接，单回传播的敏感从深层到浅层。此外，短路公式是其交叉层的梯度截断，其可以插入到骨干深层神经网络中，而无需引入外部训练参数。大量的实验表明，具有我们的短路的深度神经网络在计算机视觉和自然语言处理任务上都比基线有很大的优势。
2020-09-23 cs.LG
