Backward Gradient Normalization in Deep Neural Networks
我们介绍了一种新的技术梯度归一化在神经网络训练。在反向传递期间，使用在网络架构内的某些点处引入的归一化层来重新缩放梯度。这些规范化节点不会影响前向活动传播，但会修改反向传播方程，以允许达到最深网络层的良好缩放梯度流，而不会出现消失或爆炸。对非常深的神经网络的测试结果表明，新技术可以做一个有效的控制梯度范数，允许在最深层的权重更新，并提高网络的精度在几个实验条件。
2021-06-17 cs.LG
Building Compact and Robust Deep Neural Networks with Toeplitz Matrices
Université Paris-Dauphine -- PSL Research University（巴黎第九大学（多菲纳大学）-- PSL研究大学）
深度神经网络在各种各样的任务中是最先进的，然而，它们表现出重要的限制，这阻碍了它们在现实世界应用中的使用和部署。在开发和训练神经网络时，精度不应该是唯一的关注点，神经网络还必须具有成本效益和可靠性。虽然精确，但大型神经网络通常缺乏这些特性。本文研究的问题是如何训练神经网络，使其不仅精度高，而且结构紧凑，易于训练，可靠性高，对对抗性样本具有较强的鲁棒性。为了解决这些问题，我们利用Toeplitz家族的结构化矩阵的属性来构建紧凑且安全的神经网络。
2021-09-02 cs.LG
Deepening Neural Networks Implicitly and Locally via Recurrent Attention Strategy
Sun Yat-sen University（中山大学）；Guangdong University of Technology（广东工业大学）
越来越多的经验和理论证据表明，在合适的训练设置下，加深神经网络可以有效地提高其性能。然而，加深神经网络的主干将不可避免地显著增加计算和参数大小。为了缓解这些问题，我们提出了一个简单而有效的递归注意力策略（RAS），它隐式地增加了神经网络的深度与轻量级注意力模块的局部参数共享。在三个广泛使用的基准数据集上的大量实验表明，RAS可以提高神经网络的性能，在轻微增加的参数大小和计算，表现优于其他现有的知名的注意力模块。
2022-10-27 cs.LG
Dither is Better than Dropout for Regularising Deep Neural Networks
University of Surrey（萨里大学）
训练期间深度神经网络（DNN）的规则化对性能至关重要。到目前为止，最流行的方法被称为dropout。在这里，通过信号处理理论的棱镜投射，我们比较和对比dropout与抖动的正则化效果。我们说明了一些严重的固有局限性的辍学，并证明抖动提供了一个更有效的正则化。
2015-08-26 cs.LG
Understanding Deep Neural Networks Using Topological Data Analysis
Cornell University（康奈尔大学）；Air Force Research Laboratory（美国空军研究实验室）
深度神经网络（DNN）是黑箱算法。它们使用梯度下降反向传播技术进行训练，该技术训练每层中的权重，以最小化训练误差。因此，无法直接解释由此产生的权重。使用拓扑数据分析（TDA），我们可以深入了解神经网络是如何思考的，特别是通过分析验证图像通过每一层时的激活值。
2018-10-31 cs.LG
Uniform Convergence of Deep Neural Networks with Lipschitz Continuous Activation Functions and Variable Widths
Old Dominion University（奥尔多明尼恩大学）；Sun Yat-sen University（中山大学）
本文研究可变宽度深度神经网络在层数趋于无穷时的一致收敛性，给出权重、偏置与 Lipschitz 常数的充分条件，并推广至固定、有界、无界宽度及卷积神经网络。
2023-06-02 cs.LG
Probabilistic Deep Learning with Probabilistic Neural Networks and Deep Probabilistic Models
IBM（国际商业机器公司）
概率深度学习是考虑不确定性的深度学习，包括模型不确定性和数据不确定性。它基于概率模型和深度神经网络的使用。我们区分了概率深度学习的两种方法：概率神经网络和深度概率模型。前者采用深度神经网络，其利用概率层来表示和处理不确定性;后者使用概率模型，其包含深度神经网络组件，这些组件捕获随机变量之间的复杂非线性随机关系。我们讨论了每种方法的一些主要例子，包括贝叶斯神经网络和混合密度网络（概率神经网络），以及变分自编码器，深度高斯过程和深度混合效应模型（深度概率模型）。TensorFlow Probability是一个用于概率建模和推理的库，可用于概率深度学习的两种方法。我们包括它的代码示例用于说明。
2021-06-09 cs.LG stat.ML
Are Deep Neural Networks "Robust"?
Rutgers University（罗格斯大学）
将离群值与内值分离是计算机视觉中鲁棒性的定义。本文描述了深度神经网络与典型的鲁棒估计器的不同之处。深度神经网络在传统定义下并不健壮。
2020-08-25 cs.CV cs.LG
Dynamics of Deep Neural Networks and Neural Tangent Hierarchy
IAS（高等研究院）；Harvard University（哈佛大学）
通过梯度下降训练的深度神经网络的进化可以通过[20]中介绍的神经切线核（NTK）来描述，其中证明了在无限宽度限制下，NTK收敛到显式限制核，并且在训练期间保持不变。NTK也隐含在其他一些最近的论文中[6，13，14]。在过度参数化机制中，完全训练的深度神经网络实际上等同于使用限制NTK的核回归预测器。对于深度过参数化的神经网络，梯度下降实现了零训练损失。然而，在[5]中观察到，使用限制NTK的内核回归与深度神经网络之间存在性能差距。这种性能差距可能源于NTK随训练的变化，由于有限宽度效应。NTK在训练过程中的变化是描述深度神经网络泛化特征的核心。在本文中，我们研究了有限宽度深度全连接神经网络的NTK的动力学。我们推导出一个无限层次的常微分方程，神经切线层次（NTH），它捕获了深度神经网络的梯度下降动态。此外，在一定的条件下的神经网络的宽度和数据集的维数，我们证明了截断层次的NTH逼近动态的NTK到任意精度。这种描述使得直接研究深度神经网络的NTK的变化成为可能，并揭示了深度神经网络优于使用相应限制NTK的核回归的观察结果。
2019-09-18 cs.LG stat.ML
Spurious Local Minima of Deep ReLU Neural Networks in the Neural Tangent Kernel Regime
National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）
在本文中，我们从理论上证明了深度ReLU神经网络在神经切核（NTK）机制下的损失景观中不存在虚假的局部最小值，也就是说，在深度ReLU神经网络的梯度下降训练动态中，其参数由正态分布初始化，因为隐藏层的宽度趋于无穷大。
2022-05-18 cs.LG stat.ML
A Survey: Time Travel in Deep Learning Space: An Introduction to Deep Learning Models and How Deep Learning Models Evolved from the Initial Ideas
Carnegie Mellon University（卡内基梅隆大学）
本报告将展示深度学习的发展历史。它将追溯到大脑的联结主义建模的最初信念，并回过头来看看它的早期实现：神经网络。以神经网络为背景，我们将逐步介绍作为深度判别模型代表的卷积神经网络是如何从神经网络发展而来的，以及许多有助于优化神经网络的实用技术。另一方面，我们也将追溯深度生成模型的演化历史，看看研究人员如何平衡表示能力和计算复杂度，以达到受限玻尔兹曼机，并最终达到深度信念网。此外，我们还将探讨利用神经网络对时间序列数据建模的发展历史。我们从时延神经网络开始，进一步发展到目前著名的递归神经网络及其扩展长短期记忆模型。我们还将简要介绍如何构建深度递归神经网络。最后，我们将以深度神经网络的一些有趣的开放式问题结束本报告。
2015-11-06 cs.LG cs.NE
Exponential Convergence of the Deep Neural Network Approximation for Analytic Functions
Princeton University（普林斯顿大学）；Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）
我们证明了对于低维解析函数，深度神经网络逼近的收敛速度是指数的。
2018-07-01 cs.LG stat.ML
Structure and Distribution Metric for Quantifying the Quality of Uncertainty: Assessing Gaussian Processes, Deep Neural Nets, and Deep Neural Operators for Regression
Massachusetts Institute of Technology（麻省理工学院）
我们提出了两个有界的比较指标，可以实现任意尺寸的回归任务。一个是量化不确定性的结构，另一个是量化不确定性的分布。结构度量评估不确定性的形状和位置与真实误差的相似性，而分布度量量化两者之间的支持幅度。我们将这些指标应用于高维和非线性测试用例中的高斯过程（GP），嵌入式深度神经网络（DNN）和嵌入式深度神经运算符（DNO）。我们发现，比较模型的不确定性估计与模型的平方误差提供了一个令人信服的地面真相评估。我们还观察到，DNN和DNO，特别是与GP相比，在高维数据中提供了令人鼓舞的度量值，无论是稀疏还是丰富的数据。
2022-03-09 cs.LG stat.ML
A Unified Framework of Deep Neural Networks by Capsules
College of Computer Science（计算机学院）；Faculty of Information Technology（信息技术学院）；Beijing University of Technology（北京工业大学）
随着深度学习的发展，如何统一地描述深度神经网络正成为一个重要的问题。我们首先用有向图表示形式化了神经网络，并证明了一个关于连通有向无环图诱导网络的生成定理。然后，我们用胶囊网络建立了一个统一的深度学习框架。该框架简化了现有深度神经网络的描述，为深度学习模型的图形化设计和编程技术提供了理论基础，对深度学习的发展具有重要意义。
2018-05-10 cs.LG stat.ML
Convergence of Deep Neural Networks with General Activation Functions and Pooling
深度神经网络作为一种表示高维复杂函数的强大系统，在深度学习中发挥着关键作用。深度神经网络的收敛是为深度学习建立数学基础的基本问题。我们在最近的两项研究中研究了深度ReLU网络和深度卷积神经网络的收敛性（arXiv：2107.12530，2109.13542）。其中仅研究了整流线性单元（ReLU）激活，而没有考虑重要的池化策略。在目前的工作中，我们研究了深度神经网络的收敛性，因为深度趋于无穷大，另外两个重要的激活函数：泄漏ReLU和sigmoid函数。还将研究合并。因此，我们证明了arXiv：2107.12530，2109.13542中建立的充分条件对于泄漏ReLU网络仍然是充分的。对于收缩激活函数，如sigmoid函数，我们建立了一个较弱的深度神经网络一致收敛的充分条件。
2022-10-01 cs.LG math.FA
Emergent weight morphologies in deep neural networks
Ludwig-Maximilians-Universität München（慕尼黑大学）
本文通过类比凝聚态物理推导理论，证明深度神经网络训练中会涌现出独立于训练数据的周期性权重结构，并通过多数据集数值实验验证，揭示了涌现现象对网络性能的影响。
2025-04-10 cond-mat.dis-nn cs.LG
Deep Neural Networks for Pattern Recognition
Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）
在模式识别研究领域，使用基于改进的计算硬件的深度神经网络的方法最近受到关注，因为与传统方法相比，其具有更高的精度。深度神经网络模拟人类视觉系统，在图像分类、目标检测和分割方面达到与人类相当的精度。本章介绍模拟人类神经网络的深度神经网络的基本结构。然后，我们确定的操作过程和应用的条件生成对抗网络，这是正在积极研究的基础上自下而上和自上而下的机制，人类视觉感知过程中最重要的功能。最后，讨论了复杂深度神经网络有效学习的训练策略的最新发展。
2018-09-25 cs.CV cs.LG
Leapfrogging for parallelism in deep neural networks
我们提出了一种技术，我们称之为蛙跳，在深度神经网络中并行化反向传播。我们表明，这种技术产生的储蓄$1-1/k$的一个主要术语在反向传播，其中k是线程（或GPU）的数量。
2018-01-15 cs.DC cs.LG
Convex Formulation of Overparameterized Deep Neural Networks
Shenzhen Research Institute of Big Data（深圳大数据研究院）；Princeton University（普林斯顿大学）；HKUST（香港科技大学）
过参数神经网络的分析近年来引起了人们的广泛关注。结果表明，这种系统的行为像凸系统下各种restrictedsettings，如两个层次的神经网络，当学习只局限于本地在所谓的神经切线核空间周围专门的初始化。然而，没有理论技术可以分析在实践中遇到的完全训练的深度神经网络。本文通过研究这种经过充分训练的过参数化深度神经网络来解决这个基本问题。我们推广了一种称为神经特征重新填充的新技术，最初在（Fang et al.，2019 a）用于两级神经网络，以分析深度神经网络。研究表明，在合适的表示下，过参数化深度神经网络本质上是凸的，当优化时，系统可以在温和的条件下学习适合底层学习任务的有效特征。这种新的分析与经验观察一致，即深度神经网络能够学习有效的特征表示。因此，这篇论文高度出乎意料的结果可以令人满意地解释深度神经网络的实际成功。实证研究证实，我们的理论预测是一致的，在实践中观察到的结果。
2019-11-18 cs.LG stat.ML
Universality of Deep Convolutional Neural Networks
City University of Hong Kong（香港城市大学）
深度学习已经在语音识别、计算机视觉和许多其他领域得到了广泛应用并带来了突破。所涉及的深度神经网络架构和计算问题已经在机器学习中得到了很好的研究。但是，对于理解由诸如具有卷积结构的深度卷积神经网络之类的网络架构生成的深度学习方法的近似或泛化能力，缺乏理论基础。在这里，我们证明了深度卷积神经网络（CNN）是通用的，这意味着当神经网络的深度足够大时，它可以用来近似任何连续函数到任意精度。这回答了学习理论中的一个开放性问题。我们的定量估计，严格按照要计算的自由参数的数量给出，验证了深度CNN在处理高维数据时的效率。我们的研究还证明了卷积在深度CNN中的作用。
2018-07-20 cs.LG stat.ML
Deep Neural Architecture Search with Deep Graph Bayesian Optimization
Jilin University（吉林大学）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education（教育部符号计算与知识工程重点实验室）
贝叶斯优化（BO）是寻找黑箱函数全局最优解的一种有效方法。最近，BO已被应用于神经结构搜索，并显示出比纯进化策略更好的性能。这些方法都采用高斯过程（GP）作为代理函数，以手工相似性度量作为输入。在这项工作中，我们提出了一个贝叶斯图神经网络作为一个新的代理，它可以自动从深度神经架构中提取特征，并使用这些学习到的特征来拟合和表征黑盒目标及其不确定性。基于新的代理，我们开发了一个图贝叶斯优化框架，以解决深度神经架构搜索的挑战性任务。实验结果表明，我们的方法显着优于基准任务的比较方法。
2019-05-14 cs.LG stat.ML
Langevin algorithms for very deep Neural Networks with application to image classification
Laboratoire de Probabilités, Statistique et Modélisation（概率、统计与建模实验室）；Sorbonne Université（索邦大学）
训练非常深的神经网络是一项具有挑战性的任务，因为神经网络越深，它的非线性就越强。我们比较了各种预处理Langevin算法与非Langevin算法的性能，用于训练深度增加的神经网络。对于浅层神经网络，Langevin算法没有带来任何改进，但是网络越深，Langevin算法提供的增益越大。向梯度下降中添加噪声可以避免局部陷阱，这对于非常深的神经网络来说更常见。在此启发式之后，我们引入了一种新的Langevin算法，称为Layer Langevin，该算法仅将Langevin噪声添加到与最深层相关的权重。然后，我们证明了Langevin和Layer Langevin算法在训练图像分类的流行深度残差架构方面的优势。
2022-12-27 cs.LG stat.ML
DeepCough: A Deep Convolutional Neural Network in A Wearable Cough Detection System
Thayer School of Engineering（塞耶工程学院）；Dartmouth College（达特茅斯学院）
在本文中，我们提出了一个系统，采用可穿戴的声学传感器和深度卷积神经网络检测咳嗽。我们评估了我们的系统对14名健康志愿者的性能，并将其与文献中报道的其他咳嗽检测系统进行比较。实验结果表明，我们的系统实现了95.1%的分类灵敏度和99.5%的特异性。
2015-09-08 cs.LG cs.NE
ResPerfNet: Deep Residual Learning for Regressional Performance Modeling of Deep Neural Networks
ADLINK New Taipei AI Lab（凌华科技新北人工智能实验室）；National Taiwan University（台湾大学）；National Cheng Kung University（国立成功大学）
计算技术的快速发展促进了各种深度学习应用的开发。不幸的是，并行计算基础设施的效率随着神经网络模型而变化很大，这阻碍了对设计空间的探索，以针对给定应用在特定计算平台上找到高性能神经网络架构。为了解决这样的挑战，我们提出了一种基于深度学习的方法ResPerfNet，该方法使用在目标平台上获得的代表性数据集训练残余神经网络，以预测深度神经网络的性能。我们的实验结果表明，ResPerfNet可以准确地预测各个神经网络层和各种平台上的完整网络模型的执行时间。特别是，ResPerfNet在NVIDIA GTX 1080 Ti上实现了LeNet，AlexNet和VGG 16的平均绝对百分比误差为8.4%，这大大低于之前发布的作品。
2020-12-03 cs.LG cs.PF
Deep Neural Networks - A Brief History
Virginia Commonwealth University（弗吉尼亚联邦大学）；IITiS Polish Academy of Sciences（波兰科学院信息技术研究所）
介绍深度神经网络及其历史。
2017-01-19 cs.CV cs.LG cs.NE
Steps Toward Deep Kernel Methods from Infinite Neural Networks
University of Haifa（海法大学）；MIT（麻省理工学院）
当代深度神经网络在实际问题上表现出令人印象深刻的结果。这些网络推广良好，虽然其固有的能力可能会大大超出训练样本的数量。我们在深层无限神经网络的背景下分析这种行为。我们发现，深无限层自然与高斯过程和内核方法对齐，并设计随机内核编码这些网络的信息。我们表明，稳定性的结果适用，尽管大小，提供了一个解释他们的经验成功。
2015-09-02 cs.LG cs.NE
DeepStreamCE: A Streaming Approach to Concept Evolution Detection in Deep Neural Networks
Birmingham City University（伯明翰城市大学）
深度神经网络已经在实验中证明了在决策预测方面优于其他机器学习方法的性能。然而，一个主要的问题是训练类的分类决策的闭集性质，这可能会在安全关键系统中产生严重的后果。当深度神经网络处于流式传输环境中时，需要对该分类进行快速解释以确定分类结果是否可信。当深度神经网络的输入数据随时间变化时，可能会发生不可信分类。一种可能发生的变化是概念进化，其中引入了一个新的类，而深度神经网络没有在其上进行训练。在大多数深度神经网络架构中，唯一的选择是将此实例分配给它在其上进行训练的类之一，这是不正确的。本研究的目的是检测流中新类的到达。现有的解释深度神经网络的工作通常集中在神经元激活，以提供视觉解释和特征提取。我们的新方法，创造了DeepStreamCE，使用流方法在深度神经网络中进行实时概念进化检测。DeepStreamCE在离线阶段使用自动编码器和基于MCOD流的聚类来应用神经元激活减少。两个输出都用于在线阶段，以分析进化流中的神经元激活，从而实时的检测概念进化的发生。我们通过在CIFAR-10数据集的数据组合上训练VGG 16卷积神经网络来评估DeepStreamCE，并提供一些类作为概念进化。为了进行比较，我们将数据和VGG 16网络应用于开放集深度网络解决方案- OpenMax。DeepStreamCE在识别我们数据集的概念演变时优于OpenMax。
2020-04-08 cs.LG stat.ML
Deephys: Deep Electrophysiology, Debugging Neural Networks under Distribution Shifts
Massachusetts Institute of Technology（麻省理工学院）；Center for Brains, Minds & Machines（脑、心智与机器中心）；Fujitsu Limited（富士通有限公司）
深度神经网络（DNN）在分布外的场景中经常失败。在本文中，我们介绍了一种工具来可视化和理解这种故障。我们从神经电生理学的概念中汲取灵感，这些概念基于通过分析单个单元的特征调整和不变性来检查神经网络的内部功能。Deep Electrophysiology，简称Deephys，通过对分布内和分布外数据集中的神经活动进行比较可视化，提供了DNN在分布外场景中失败的见解。Deephys提供了对单个神经元、单个图像和一组图像的无缝分析，并且能够揭示由于虚假特征和新特征的存在而导致的故障。我们使用卷积和Transformers架构，在几个数据集和分布偏移（即彩色MNIST，CIFAR-10和ImageNet）中通过定量分析证实了Deephys定性可视化的有效性。
2023-03-17 cs.AI cs.LG
ExpDNN: Explainable Deep Neural Network
近年来，深度神经网络已被应用于获得预测、分类和模式识别的高性能。然而，这些深层神经网络中的权值很难解释。虽然线性回归方法可以提供可解释的结果，但该方法不适用于输入交互的情况。因此，提出了一种具有可解释层的可解释深度神经网络（ExpDNN），以在输入交互的情况下获得可解释的结果。通过3个实例对该方法进行了评价，结果表明，可解释层的权值绝对值可以用来解释特征提取时相应输入的权值.
2020-04-26 cs.AI cs.LG
Dichotomize and Generalize: PAC-Bayesian Binary Activated Deep Neural Networks
Université Laval（拉瓦尔大学）；Inria（法国国家信息与自动化研究所）；University College London（伦敦大学学院）
我们提出了一个全面的研究多层神经网络与二进制激活，依赖于PAC贝叶斯理论。我们的贡献是双重的：（i）我们开发了一个端到端的框架来训练二进制激活的深度神经网络，（ii）我们为二进制激活的深度神经网络提供了非空的PAC-贝叶斯泛化界。我们的结果是通过最小化二进制激活的深度神经网络的结构相关聚合的预期损失来获得的。我们的分析内在地克服了二元激活函数不可微的事实。我们的方法的性能进行了评估，在现实生活中的数据集上的一个彻底的数值实验协议。
2020-02-04 cs.LG stat.ML
On the Approximation and Complexity of Deep Neural Networks to Invariant Functions
Nanjing Normal University（南京师范大学）；Nanjing University（南京大学）
近年来，深度神经网络在各个领域都掀起了一股研究热潮，但理论上还没有得到很好的理解。深度神经网络的理论表征应该指出它们的近似能力和复杂性，即，显示哪种架构和大小足以处理相关任务。这项工作通过理论上研究深度神经网络对不变函数的逼近和复杂性，在这个方向上迈出了一步。我们首先证明了不变函数可以被深度神经网络普遍逼近。然后，我们证明了各种类型的神经网络模型，包括复值神经网络，卷积神经网络和贝叶斯神经网络使用多项式数量的参数或优化迭代，可以渐近近似广泛的不变函数。我们还提供了一个可行的应用程序，连接参数估计和预测的高分辨率信号与我们的理论结论。仿真实验结果表明了该方法的有效性。
2022-10-27 cs.AI cs.LG
SelectiveNet: A Deep Neural Network with an Integrated Reject Option
Technion - Israel Institute of Technology（以色列理工学院）
我们考虑了深度神经网络中的选择性预测（也称为拒绝选项）问题，并引入了SelectiveNet，这是一种具有集成拒绝选项的深度神经架构。现有的拒绝机制主要基于预先训练的网络的预测置信度的阈值。相比之下，SelectiveNet经过训练，可以同时优化分类（或回归）和拒绝，端到端。结果是在覆盖域上优化的深度神经网络。在我们的实验中，我们在几个著名的分类和回归数据集上显示了持续改进的风险覆盖权衡，从而达到了深度选择性分类的最新结果。
2019-06-26 cs.LG stat.ML
Smooth function approximation by deep neural networks with general activation functions
Seoul National University（首尔大学）
人们对深度神经网络的表达能力越来越感兴趣。然而，关于这个主题的大多数现有工作只关注特定的激活函数，如ReLU或sigmoid。在本文中，我们研究了具有广泛激活函数的深度神经网络的逼近能力。这类激活函数包含了大多数常用的激活函数。我们推导出所需的深度，宽度和稀疏性的深度神经网络，以近似任何Hölder光滑函数到一个给定的近似误差的大类激活函数。基于我们的近似误差分析，我们推导出在回归和分类问题中具有一般激活函数的深度神经网络估计的极大极小最优性。
2019-06-27 cs.LG stat.ML
Hyperbolic Deep Neural Networks: A Survey
University of Oulu（奥卢大学）
近年来，双曲空间中的深度表示学习因其对具有层次结构的知识图谱或同义词层次等数据的建模能力而受到越来越多的关注。在本文中，我们将该模型称为双曲深度神经网络。这样的双曲神经结构可能导致非常紧凑的模型，比欧几里得空间中的模型具有更多的物理可解释性。为了促进未来的研究，本文对双曲深度神经网络构建中的神经组件以及双曲空间的领先深度方法的推广进行了一致和全面的文献综述。它还介绍了围绕几个公开数据集上的各种机器学习任务的当前应用，以及有见地的观察和识别开放问题和有前途的未来方向。
2021-02-17 cs.CV cs.LG
Sup-Norm Convergence of Deep Neural Network Estimator for Nonparametric Regression by Adversarial Training
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文针对非参数回归中深度神经网络估计器难以实现上确界范数收敛的问题，提出带校正的对抗训练方案，证明其能达到上确界范数意义下的最优速率，并通过实验验证理论结果。
2023-07-08 cs.LG stat.ML
Multifidelity deep neural operators for efficient learning of partial differential equations with application to fast inverse design of nanoscale heat transport
University of Pennsylvania（宾夕法尼亚大学）；Massachusetts Institute of Technology（麻省理工学院）
深度神经算子可以通过深度神经网络学习无限维函数空间之间的算子映射，已经成为科学机器学习的新兴范式。然而，训练神经算子通常需要大量的高保真数据，而这些数据在实际工程问题中往往很难获得。在这里，我们通过使用多保真度学习来解决这一挑战，即，从多保真度数据集学习。我们开发了一个基于深度算子网络（DeepONet）的多保真度神经算子。多保真度DeepONet包括两个标准的DeepONet，通过残差学习和输入增强耦合。Multifidelity DeepONet显著减少了所需的高保真数据量，并在使用相同数量的高保真数据时实现了一个数量级的小误差。我们应用多保真度DeepONet来学习声子玻尔兹曼传输方程（BTE），这是一个计算纳米级热传输的框架。通过将经过训练的多保真度DeepONet与遗传算法或拓扑优化相结合，我们展示了BTE问题逆设计的快速求解器。
2022-04-14 cs.LG physics.comp-ph
Generalization bounds for neural ordinary differential equations and deep residual networks
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Laboratoire de Probabilités, Statistique et Modélisation（概率、统计与建模实验室）
本文针对连续时间参数的神经常微分方程及相应深度残差网络，基于Lipschitz论证推导泛化界，并数值验证权重差异对泛化能力的影响。
2023-10-11 cs.LG stat.ML
Recent Advances in Non-convex Smoothness Conditions and Applicability to Deep Linear Neural Networks
University of Wisconsin（威斯康星大学）
本文综述了深度学习非凸优化中的新光滑性条件，对其进行排序并给出判定准则，评估其在深度线性神经网络二分类训练中的适用性。
2024-09-20 cs.LG math.OC
Embedding Differentiable Sparsity into Deep Neural Network
ETRI（韩国电子通信研究院）
在本文中，我们提出将稀疏性嵌入到深度神经网络的结构中，其中模型参数在使用随机梯度下降进行训练期间可以精确为零。因此，它可以同时学习网络的稀疏结构和权值。所提出的方法可以学习结构化以及非结构化稀疏性。
2020-06-23 cs.LG stat.ML
Neural Tangent Kernel Analysis of Deep Narrow Neural Networks
Seoul National University（首尔国立大学）；Hongik University（弘益大学）
最近在分析过参数化神经网络的训练动态方面取得的巨大进展主要集中在宽网络上，因此没有充分解决深度在深度学习中的作用。在这项工作中，我们提出了无限深但窄神经网络的第一个可训练性保证。我们研究了具有特定初始化的多层感知器（MLP）的无限深度限制，并使用NTK理论建立了可训练性保证。然后，我们将分析扩展到无限深度卷积神经网络（CNN）并进行简短的实验。
2022-06-27 cs.LG math.OC stat.ML
Deep Neural Networks as Point Estimates for Deep Gaussian Processes
University of Cambridge（剑桥大学）；Secondmind；Amazon（亚马逊）；Imperial College London（伦敦帝国学院）；Google Brain（谷歌大脑）
神经网络和高斯过程在它们的优点和缺点上是互补的。更好地理解它们之间的关系意味着承诺让每种方法都能从另一种方法的优势中受益。在这项工作中，我们建立了神经网络和（深）稀疏高斯过程模型的前向传递之间的等价性。我们开发的理论是基于解释激活函数作为域间诱导功能，通过激活函数和内核之间的相互作用的严格分析。这导致模型既可以被视为具有改进的不确定性预测的神经网络，也可以被视为具有提高的预测精度的深度高斯过程。这些主张得到了回归和分类数据集上的实验结果的支持。
2021-12-09 cs.LG stat.ML
Neural Optimization Kernel: Towards Robust Deep Learning
Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）
深度神经网络（NN）在许多应用中取得了巨大的成功。然而，为什么深度神经网络在过度参数化状态下获得良好的泛化能力仍然不清楚。为了更好地理解深度NN，我们建立了深度NN和一个新的内核家族之间的联系，即，神经优化内核（NOK）。NOK的结构化近似的架构执行隐式正则化问题的单调下降更新。我们可以通过使用不同的激活函数来隐式地选择正则化问题，例如，ReLU、最大池化和软阈值。我们进一步建立了一个新的泛化界，我们的深度结构近似NOK架构。我们的无监督结构化近似NOK块可以作为一个简单的插件流行的骨干，对输入噪声的良好推广。
2021-12-01 cs.LG stat.ML
Hands-on Bayesian Neural Networks -- a Tutorial for Deep Learning Users
University of Western Australia（西澳大学）；Murdoch University（莫道克大学）；Monash University（莫纳什大学）
现代深度学习方法是解决无数挑战性问题的强大工具。然而，由于深度学习方法作为黑箱运行，因此与其预测相关的不确定性通常难以量化。贝叶斯统计提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和一个完整的工具集，用于设计，实施，训练，使用和评估贝叶斯神经网络，即使用贝叶斯方法训练的随机人工神经网络。
2022-01-03 cs.LG stat.ML
On the rate of convergence of a deep recurrent neural network estimate in a regression problem with dependent data
Technische Universität Darmstadt（达姆施塔特工业大学）；Concordia University（康考迪亚大学）
考虑了一类非独立数据的回归问题。正则性假设的依赖性的数据进行了介绍，它表明，在适当的结构假设的回归函数的深度循环神经网络估计是能够规避灾难的维数。
2020-10-31 cs.LG stat.ML
Universal approximations of permutation invariant/equivariant functions by deep neural networks
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Keio University（庆应义塾大学）；École Normale Supérieure Paris-Saclay（巴黎萨克雷高等师范学院）
在本文中，我们发展了一个理论之间的关系$G$不变/等变函数和深度神经网络有限群$G$。特别地，对于一个给定的$G$ -不变/等变函数，我们通过深度神经网络构造了它的通用逼近器，该深度神经网络的层装备了$G$ -作用，并且每个仿射变换都是$G$ -等变/不变的。由于表示理论，我们可以证明，这个近似有指数更少的自由参数比通常的模型。
2019-09-26 cs.LG stat.ML
Power Law in Sparsified Deep Neural Networks
Department of Computer Science and Engineering（计算机科学与工程系）；Hong Kong University of Science and Technology（香港科技大学）
在许多生物神经网络的度分布中都观察到幂律。稀疏深度神经网络从数据中学习经济的表示，在许多方面类似于生物神经网络。在本文中，我们研究这些人工网络是否也表现出幂律性质。在两种流行的深度学习模型，即多层感知器和卷积神经网络上的实验结果是肯定的。幂律也自然地与优先依附有关。为了研究深度网络在持续学习中的动力学性质，我们提出了一个内部偏好连接模型来解释网络拓扑结构的演变。实验结果表明，随着新任务的到来，新的连接遵循这种优先连接过程。
2018-05-04 cs.LG stat.ML
Theoretical Analysis of the Advantage of Deepening Neural Networks
Faculty of Science；Engineering Waseda University Tokyo, Japan；Center for Data Science Waseda University Tokyo, Japan
本研究提出两个独立于学习效率评估深度神经网络表达能力的准则，从逼近精度和线性区域性质角度分析，证明增加层数比增加每层单元数更能提升网络表达能力。
2020-09-24 cs.LG cs.NE stat.ML
Traffic map prediction using UNet based deep convolutional neural network
本文描述了我们基于UNet的深度卷积神经网络方法在2019年的Jumic4cast挑战赛上的应用。挑战性的任务是在高分辨率的城市地图上预测未来的交通流量、航向和速度。我们使用基于UNet的深度卷积神经网络训练预测模型进行短期交通预测。在每个卷积块上，层与后续层紧密连接，就像DenseNet一样。通过对从世界上三个不同城市收集的真实世界数据集进行训练和评估，我们的方法在这一挑战中取得了最佳表现。
2019-11-25 cs.LG stat.ML
Physical Signal Classification Via Deep Neural Networks
ECS Federal（ECS联邦公司）；Defense Advanced Research Projects Agency (DARPA)（国防高级研究计划局（DARPA））
深度神经网络被应用于对从运行的汽油和柴油动力车辆以及其他设备的物理传感器测量获得的物理签名进行分类。该分类提供了关于车辆类型甚至车辆型号的目标身份的信息。物理测量包括声学、加速度（振动）、地音和磁性。
2018-11-15 cs.LG eess.SP
Approximation smooth and sparse functions by deep neural networks without saturation
Xi'an University of Technology（西安理工大学）
构造用于函数逼近的神经网络是逼近理论中一个经典而又长久的课题。本文旨在构造具有三个隐藏层的深度神经网络（简称深度网络）来逼近光滑和稀疏函数。特别地，我们证明了所构造的深度网在逼近光滑函数和稀疏函数时都能达到最优逼近率，且自由参数的大小可控。由于描述逼近瓶颈的饱和是构造性神经网络难以克服的问题，我们还证明了只增加一层隐层的神经网络深化可以避免饱和。所获得的结果支持了深度网络的优势，并为深度学习提供了理论解释。
2020-01-13 cs.IT cs.LG math.IT
Quantum Neural Networks: Concepts, Applications, and Challenges
Korea University（高丽大学）
量子深度学习是使用量子计算技术来训练深度神经网络的研究领域。深度学习和量子计算的研究主题和方向长期以来一直是分离的，但随着量子线路可以像人工神经网络一样工作的发现，量子深度学习研究被广泛采用。本文介绍了量子深度学习的背景和基本原理，并介绍了主要成果。在此之后，本文从多个角度讨论了量子深度学习研究面临的挑战。最后，本文提出了量子深度学习的各种未来研究方向和应用领域。
2021-08-02 cs.LG quant-ph
Distributed learning of deep neural network over multiple agents
Massachusetts Institute of Technology（麻省理工学院）
在医疗保健和金融等领域，标记数据和计算资源的短缺是开发机器学习算法的关键问题。为了解决基于神经网络的系统的训练和部署中标记数据稀缺的问题，我们提出了一种在多个数据源上训练深度神经网络的新技术。我们的方法允许使用来自多个实体的数据以分布式方式训练深度神经网络。我们评估我们的算法对现有的数据集，并表明它获得的性能是类似于一个普通的神经网络在一台机器上训练。我们进一步扩展它，以在使用少量标记样本进行训练时纳入半监督学习，并分析可能出现的任何安全问题。我们的算法为数据敏感应用中的深度神经网络的分布式训练铺平了道路，当原始数据可能无法直接共享时。
2018-10-14 cs.LG stat.ML
Fast and Low-Memory Deep Neural Networks Using Binary Matrix Factorization
尽管深度神经网络在不同的应用中表现出色，但它们仍然是计算量很大的，并且需要大量的存储器。这促使人们开展更多研究，以减少实施此类网络所需的资源。一个有效的方法是矩阵分解，这已被证明是有效的不同的网络。在本文中，我们利用二进制矩阵分解，并显示其在减少深度神经网络中所需资源数量方面的巨大效率。实际上，这种技术可以导致这种网络的实际实现。
2023-01-06 cs.LG eess.SP
Deep Neural Network Ensembles for Time Series Classification
IRIMAS, Université Haute-Alsace（上阿尔萨斯大学 IRIMAS）
深度神经网络已经彻底改变了计算机视觉和自然语言处理等许多领域。受到最近成功的启发，深度学习开始在时间序列分类（TSC）方面显示出有希望的结果。然而，神经网络仍然落后于最先进的TSC算法，TSC算法目前由37个非基于深度学习的分类器组成。我们将这种性能差距归因于TSC缺乏神经网络集成。因此，在本文中，我们展示了60个深度学习模型的集成如何在UCR/UEA档案（时间序列分析的最大公开基准）上进行评估时，显着提高TSC神经网络的当前最先进性能。最后，我们展示了我们提出的神经网络Ensemble（NNE）是第一个优于COTE的时间序列分类器，同时达到与当前最先进的集成HIVE-COTE相似的性能。
2019-04-26 cs.LG stat.ML
