Deep Loopy Neural Network Model for Graph Structured Data Representation Learning
Florida State University(佛罗里达州立大学)
现有的深度学习模型在处理图结构化数据时可能会遇到很大的挑战。在本文中,我们专门介绍了一种新的图形数据深度学习模型,即深度循环神经网络。与以前的深度模型显著不同的是,在深度循环神经网络内部,存在由输入图数据中节点之间的广泛连接所创建的大量循环,这使得模型学习成为不可行的任务。为了解决这个问题,本文将介绍一种新的学习算法的深度循环神经网络具体。在所提出的学习算法中,错误将通过一组提取的生成树中的边反向传播,而不是基于原始模型来学习模型变量。在实际图形数据集上进行了大量的数值实验,实验结果表明了所提出的模型和学习算法在处理图形数据时的有效性.
2019-09-05 cs.AI cs.LG cs.NE
DeepDyve: Dynamic Verification for Deep Neural Networks
The Chinese University of Hong Kong(香港中文大学)
深度神经网络(DNN)已经成为许多安全关键应用中的使能技术之一,例如,自动驾驶和医学图像分析。然而,DNN系统遭受各种威胁,例如对抗性示例攻击和故障注入攻击。虽然针对恶意制作的输入提出了许多防御方法,但针对DNN系统本身中存在的故障的解决方案(例如,参数和计算)的探索要少得多。在本文中,我们为基于DNN的系统开发了一种新的轻量级容错解决方案,即DeepDyve,它采用比原始DNN更简单和更小的预训练神经网络进行动态验证。实现这种轻量级检查的关键在于,较小的神经网络只需要为初始任务产生近似结果,而不会牺牲太多的故障覆盖率。我们开发了高效的架构和任务探索技术,以在DeepDyve中实现优化的风险/开销权衡。实验结果表明,DeepDyve可以在10%左右的开销下降低90%的风险。
2020-10-16 cs.AI cs.CR cs.LG
ExpDNN: Explainable Deep Neural Network
近年来,深度神经网络已被应用于获得预测、分类和模式识别的高性能。然而,这些深层神经网络中的权值很难解释。虽然线性回归方法可以提供可解释的结果,但该方法不适用于输入交互的情况。因此,提出了一种具有可解释层的可解释深度神经网络(ExpDNN),以在输入交互的情况下获得可解释的结果。通过3个实例对该方法进行了评价,结果表明,可解释层的权值绝对值可以用来解释特征提取时相应输入的权值.
2020-04-26 cs.AI cs.LG
On the Approximation and Complexity of Deep Neural Networks to Invariant Functions
Nanjing Normal University(南京师范大学);Nanjing University(南京大学)
近年来,深度神经网络在各个领域都掀起了一股研究热潮,但理论上还没有得到很好的理解。深度神经网络的理论表征应该指出它们的近似能力和复杂性,即,显示哪种架构和大小足以处理相关任务。这项工作通过理论上研究深度神经网络对不变函数的逼近和复杂性,在这个方向上迈出了一步。我们首先证明了不变函数可以被深度神经网络普遍逼近。然后,我们证明了各种类型的神经网络模型,包括复值神经网络,卷积神经网络和贝叶斯神经网络使用多项式数量的参数或优化迭代,可以渐近近似广泛的不变函数。我们还提供了一个可行的应用程序,连接参数估计和预测的高分辨率信号与我们的理论结论。仿真实验结果表明了该方法的有效性。
2022-10-27 cs.AI cs.LG
Deep Neural Networks as Point Estimates for Deep Gaussian Processes
University of Cambridge(剑桥大学);Secondmind;Amazon(亚马逊);Imperial College London(伦敦帝国学院);Google Brain(谷歌大脑)
神经网络和高斯过程在它们的优点和缺点上是互补的。更好地理解它们之间的关系意味着承诺让每种方法都能从另一种方法的优势中受益。在这项工作中,我们建立了神经网络和(深)稀疏高斯过程模型的前向传递之间的等价性。我们开发的理论是基于解释激活函数作为域间诱导功能,通过激活函数和内核之间的相互作用的严格分析。这导致模型既可以被视为具有改进的不确定性预测的神经网络,也可以被视为具有提高的预测精度的深度高斯过程。这些主张得到了回归和分类数据集上的实验结果的支持。
2021-12-09 cs.LG stat.ML
Applications of Deep Neural Networks with Keras
Heaton Research, Inc.(希顿研究公司)
深度学习是一组令人兴奋的神经网络新技术。通过高级训练技术和神经网络架构组件的组合,现在可以创建神经网络,可以将表格数据,图像,文本和音频作为输入和输出。深度学习允许神经网络以类似于人脑功能的方式学习信息的层次结构。本课程将向学生介绍经典的神经网络结构,卷积神经网络(CNN),长短期记忆(LSTM),门控递归神经网络(GRU),一般对抗网络(GAN)和强化学习。将涵盖这些架构在计算机视觉、时间序列、安全性、自然语言处理(NLP)和数据生成方面的应用。高性能计算(HPC)方面将演示如何在图形处理单元(GPU)和网格上利用深度学习。重点主要是深度学习在问题中的应用,并介绍了一些数学基础。读者将使用Python程序设计语言来使用Google TensorFlow和Keras实现深度学习。在阅读本书之前不需要了解Python;但是,前提是至少熟悉一种程序设计语言。
2022-05-17 cs.AI cs.LG
Gradient Descent Finds Global Minima of Deep Neural Networks
Carnegie Mellon University(卡内基梅隆大学);University of Southern California(南加州大学);Peking University(北京大学);Beijing Institute of Big Data Research(北京大数据研究院);Massachusetts Institute of Technology(麻省理工学院)
梯度下降在训练深度神经网络时找到全局最小值,尽管目标函数是非凸的。本文证明了梯度下降在多项式时间内实现了具有剩余连接的深度过参数化神经网络(ResNet)的零训练损失。我们的分析依赖于由神经网络架构引起的Gram矩阵的特定结构。这种结构使我们能够证明Gram矩阵在整个训练过程中是稳定的,这种稳定性意味着梯度下降算法的全局最优性。我们进一步将我们的分析扩展到深度残差卷积神经网络,并获得了类似的收敛结果。
2019-05-28 cs.AI cs.CV cs.LG
deepstruct -- linking deep learning and graph theory
University of Passau(帕绍大学)
deepstruct将深度学习模型和图论连接起来,使得可以将不同的图结构施加在神经网络上,或者可以从训练的神经网络模型中提取图结构。为此,deepstruct提供了具有不同限制的深度神经网络模型,这些模型可以基于初始图创建。此外,从训练模型中提取图形结构的工具也是可用的。即使对于只有几十万个参数的模型,提取图的这一步骤也可能在计算上是昂贵的,并且提出了一个具有挑战性的问题。deepstruct支持神经网络的剪枝、神经结构搜索、自动网络设计和结构分析等研究。
2021-12-05 cs.AI cs.LG cs.NE
Noise-Robust Deep Spiking Neural Networks with Temporal Information
Seoul National University(首尔大学);Institute of New Media and Communications, Seoul National University(首尔大学新媒体与通信研究所);ASRI and Interdisciplinary Program in Artificial Intelligence, Seoul National University(首尔大学自动系统研究所及人工智能跨学科项目)
脉冲神经网络(SNN)是一种具有时间信息的能量高效神经网络。SNN在神经形态设备上显示出优越的效率,但这些设备对噪声敏感,这阻碍了它们在现实世界中的应用。有几项研究提高了噪声鲁棒性,但大多数研究既没有考虑深度SNN,也没有考虑时间信息。在本文中,我们研究了噪声对各种神经编码方法的深度SNN的影响,并提出了一种具有时间信息的噪声鲁棒性深度SNN。通过所提出的方法,我们已经实现了一个深度SNN,它对尖峰删除和抖动是有效和鲁棒的。
2021-04-22 cs.AI cs.LG cs.NE
Measurement error models: from nonparametric methods to deep neural networks
Harvard University(哈佛大学)
深度学习的成功激发了人们对将神经网络应用于统计推断的兴趣。在本文中,我们研究了深度神经网络在具有测量误差的非参数回归中的应用。我们提出了一个有效的神经网络设计估计测量误差模型,其中我们使用一个完全连接的前馈神经网络(FNN)来近似的回归函数$f(x)$,归一化流近似的先验分布的$X$,和推理网络近似的后验分布的$X$。我们的方法利用了深度神经网络变分推断的最新进展,例如重要性权重自动编码器,双重重新参数化梯度估计器和非线性独立分量估计。我们进行了广泛的数值研究,比较神经网络的方法与经典的非参数方法,并观察到神经网络的方法是更灵活的,在适应不同类别的回归函数,并执行优于或媲美的最佳方法,在几乎所有的设置。
2020-07-15 cs.LG stat.ME stat.ML
Evolution in Groups: A deeper look at synaptic cluster driven evolution of deep neural networks
University of Waterloo(滑铁卢大学);DarwinAI
实现高效深度神经网络的一个有希望的范例是进化深度智能的想法,它模仿生物进化过程,逐步合成更高效的网络。进化深度智能的一个关键设计因素是用于模拟遗传和确定后代网络结构的遗传编码方案。在这项研究中,我们更深入地研究了突触簇驱动的深层神经网络进化的概念,它引导进化过程在后代网络中形成一组高度稀疏的突触簇。利用突触簇驱动的遗传编码,突触性状的概率编码不仅考虑个体突触特性,而且考虑深层神经网络内的突触间关系。该过程导致高度稀疏的后代网络,其特别适合于并行计算设备,例如GPU和深度神经网络加速器芯片。在两个不同的任务(对象分类和目标检测)上使用四种著名的深度神经网络架构(LeNet-5,AlexNet,ResNet-56和DetectNet)的综合实验结果证明了所提出的方法的效率。神经元驱动的遗传编码方案合成的网络,可以达到最先进的性能与显着更少的突触数量比原始祖先网络。(MNIST的突触减少$\sim$ 125倍)。此外,所生成的后代网络中的改进的集群效率(MNIST的集群中的$\sim$减少9.71倍,KITTI的集群中的$\sim$减少8.16倍)对于并行计算硬件架构(诸如GPU和深度神经网络加速器芯片中的并行计算硬件架构)上的加速性能特别有用。
2017-04-07 cs.AI cs.CV cs.NE
Deep Neural Networks for Pattern Recognition
Jet Propulsion Laboratory, California Institute of Technology(加州理工学院喷气推进实验室)
在模式识别研究领域,使用基于改进的计算硬件的深度神经网络的方法最近受到关注,因为与传统方法相比,其具有更高的精度。深度神经网络模拟人类视觉系统,在图像分类、目标检测和分割方面达到与人类相当的精度。本章介绍模拟人类神经网络的深度神经网络的基本结构。然后,我们确定的操作过程和应用的条件生成对抗网络,这是正在积极研究的基础上自下而上和自上而下的机制,人类视觉感知过程中最重要的功能。最后,讨论了复杂深度神经网络有效学习的训练策略的最新发展。
2018-09-25 cs.CV cs.LG
Steps Toward Deep Kernel Methods from Infinite Neural Networks
University of Haifa(海法大学);MIT(麻省理工学院)
当代深度神经网络在实际问题上表现出令人印象深刻的结果。这些网络推广良好,虽然其固有的能力可能会大大超出训练样本的数量。我们在深层无限神经网络的背景下分析这种行为。我们发现,深无限层自然与高斯过程和内核方法对齐,并设计随机内核编码这些网络的信息。我们表明,稳定性的结果适用,尽管大小,提供了一个解释他们的经验成功。
2015-09-02 cs.LG cs.NE
Overview of FPGA deep learning acceleration based on convolutional neural network
近年来,深度学习越来越成熟,而作为深度学习中的常用算法,卷积神经网络已经广泛应用于各种视觉任务中。过去,基于深度学习算法的研究主要依靠GPU、CPU等硬件。然而,随着FPGA的日益发展,无论是现场可编程逻辑门阵列,它已经成为结合各种神经网络深度学习算法的主要实现硬件平台。本文是一篇综述文章,主要介绍卷积的相关理论和算法。总结了现有的几种基于卷积神经网络的FPGA技术的应用场景,重点介绍了加速器的应用。同时,总结了一些加速器存在的逻辑资源利用率低或内存带宽利用率低,无法达到最佳性能的问题。
2020-12-23 cs.AI
DeepA: A Deep Neural Analyzer For Speech And Singing Vocoding
National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学);The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳))
传统的声码器通常用作分析工具,为诸如语音合成和语音转换之类的下游任务提供可解释的特征。它们是在关于遵循信号处理原理的信号的某些假设下建立的,因此,不容易推广到不同的音频,例如,从语音到唱歌。在本文中,我们提出了一种深度神经分析器,表示为DeepA -一种神经声码器,从输入语音中提取F0和音色/非周期性编码,模拟传统声码器中定义的那些。因此,所得到的参数比其他潜在神经表征更可解释。与此同时,由于深度神经分析器是可学习的,因此预计它将更准确地进行信号重建和操作,并可从语音推广到唱歌。建议的神经分析器是建立在一个变分自动编码器(VAE)架构的基础上。我们表明,DeepA比传统的声码器(WORLD)提高了F0估计。据我们所知,这是第一项致力于开发神经框架以提取可学习的声码器类参数的研究。
2021-10-13 cs.LG cs.SD eess.AS
Deep Neural Networks with Symplectic Preservation Properties
Southern Methodist University(南卫理公会大学)
本文提出一种输出为可逆辛同胚的深度神经网络架构,类比real NVP方法,用于在未知哈密顿系统上学习而不破坏相空间的辛结构。
2024-06-29 cs.LG cs.NA math.NA
Deep Neural Networks and Neuro-Fuzzy Networks for Intellectual Analysis of Economic Systems
Dorodnicyn Computing Centre(多罗德尼岑计算中心);Plekhanov Russian University of Economics(普列汉诺夫俄罗斯经济大学)
本文研究了基于深度神经网络和模糊神经网络的时间序列预测方法。此外,我们还简要回顾了基于ANFIS模型的各种预测研究。事实证明,深度学习是一种有效的方法,可以从复杂的数据源中进行高度准确的预测。此外,我们提出了我们的模型DL和神经模糊网络的这项任务。最后,我们展示了将这些模型用于数据科学任务的可能性。本文还概述了将基于规则的方法纳入深度学习神经网络的方法。
2020-11-11 cs.AI cs.NE econ.GN
Dynamics of Deep Neural Networks and Neural Tangent Hierarchy
IAS(高等研究院);Harvard University(哈佛大学)
通过梯度下降训练的深度神经网络的进化可以通过[20]中介绍的神经切线核(NTK)来描述,其中证明了在无限宽度限制下,NTK收敛到显式限制核,并且在训练期间保持不变。NTK也隐含在其他一些最近的论文中[6,13,14]。在过度参数化机制中,完全训练的深度神经网络实际上等同于使用限制NTK的核回归预测器。对于深度过参数化的神经网络,梯度下降实现了零训练损失。然而,在[5]中观察到,使用限制NTK的内核回归与深度神经网络之间存在性能差距。这种性能差距可能源于NTK随训练的变化,由于有限宽度效应。NTK在训练过程中的变化是描述深度神经网络泛化特征的核心。在本文中,我们研究了有限宽度深度全连接神经网络的NTK的动力学。我们推导出一个无限层次的常微分方程,神经切线层次(NTH),它捕获了深度神经网络的梯度下降动态。此外,在一定的条件下的神经网络的宽度和数据集的维数,我们证明了截断层次的NTH逼近动态的NTK到任意精度。这种描述使得直接研究深度神经网络的NTK的变化成为可能,并揭示了深度神经网络优于使用相应限制NTK的核回归的观察结果。
2019-09-18 cs.LG stat.ML
Spurious Local Minima of Deep ReLU Neural Networks in the Neural Tangent Kernel Regime
National Institute of Advanced Industrial Science and Technology(产业技术综合研究所)
在本文中,我们从理论上证明了深度ReLU神经网络在神经切核(NTK)机制下的损失景观中不存在虚假的局部最小值,也就是说,在深度ReLU神经网络的梯度下降训练动态中,其参数由正态分布初始化,因为隐藏层的宽度趋于无穷大。
2022-05-18 cs.LG stat.ML
Exponential Convergence of the Deep Neural Network Approximation for Analytic Functions
Princeton University(普林斯顿大学);Peking University(北京大学);Beijing Institute of Big Data Research(北京大数据研究院)
我们证明了对于低维解析函数,深度神经网络逼近的收敛速度是指数的。
2018-07-01 cs.LG stat.ML
A Unified Framework of Deep Neural Networks by Capsules
College of Computer Science(计算机学院);Faculty of Information Technology(信息技术学院);Beijing University of Technology(北京工业大学)
随着深度学习的发展,如何统一地描述深度神经网络正成为一个重要的问题。我们首先用有向图表示形式化了神经网络,并证明了一个关于连通有向无环图诱导网络的生成定理。然后,我们用胶囊网络建立了一个统一的深度学习框架。该框架简化了现有深度神经网络的描述,为深度学习模型的图形化设计和编程技术提供了理论基础,对深度学习的发展具有重要意义。
2018-05-10 cs.LG stat.ML
Convex Formulation of Overparameterized Deep Neural Networks
Shenzhen Research Institute of Big Data(深圳大数据研究院);Princeton University(普林斯顿大学);HKUST(香港科技大学)
过参数神经网络的分析近年来引起了人们的广泛关注。结果表明,这种系统的行为像凸系统下各种restrictedsettings,如两个层次的神经网络,当学习只局限于本地在所谓的神经切线核空间周围专门的初始化。然而,没有理论技术可以分析在实践中遇到的完全训练的深度神经网络。本文通过研究这种经过充分训练的过参数化深度神经网络来解决这个基本问题。我们推广了一种称为神经特征重新填充的新技术,最初在(Fang et al.,2019 a)用于两级神经网络,以分析深度神经网络。研究表明,在合适的表示下,过参数化深度神经网络本质上是凸的,当优化时,系统可以在温和的条件下学习适合底层学习任务的有效特征。这种新的分析与经验观察一致,即深度神经网络能够学习有效的特征表示。因此,这篇论文高度出乎意料的结果可以令人满意地解释深度神经网络的实际成功。实证研究证实,我们的理论预测是一致的,在实践中观察到的结果。
2019-11-18 cs.LG stat.ML
Universality of Deep Convolutional Neural Networks
City University of Hong Kong(香港城市大学)
深度学习已经在语音识别、计算机视觉和许多其他领域得到了广泛应用并带来了突破。所涉及的深度神经网络架构和计算问题已经在机器学习中得到了很好的研究。但是,对于理解由诸如具有卷积结构的深度卷积神经网络之类的网络架构生成的深度学习方法的近似或泛化能力,缺乏理论基础。在这里,我们证明了深度卷积神经网络(CNN)是通用的,这意味着当神经网络的深度足够大时,它可以用来近似任何连续函数到任意精度。这回答了学习理论中的一个开放性问题。我们的定量估计,严格按照要计算的自由参数的数量给出,验证了深度CNN在处理高维数据时的效率。我们的研究还证明了卷积在深度CNN中的作用。
2018-07-20 cs.LG stat.ML
Deep Neural Architecture Search with Deep Graph Bayesian Optimization
Jilin University(吉林大学);Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education(教育部符号计算与知识工程重点实验室)
贝叶斯优化(BO)是寻找黑箱函数全局最优解的一种有效方法。最近,BO已被应用于神经结构搜索,并显示出比纯进化策略更好的性能。这些方法都采用高斯过程(GP)作为代理函数,以手工相似性度量作为输入。在这项工作中,我们提出了一个贝叶斯图神经网络作为一个新的代理,它可以自动从深度神经架构中提取特征,并使用这些学习到的特征来拟合和表征黑盒目标及其不确定性。基于新的代理,我们开发了一个图贝叶斯优化框架,以解决深度神经架构搜索的挑战性任务。实验结果表明,我们的方法显着优于基准任务的比较方法。
2019-05-14 cs.LG stat.ML
Langevin algorithms for very deep Neural Networks with application to image classification
Laboratoire de Probabilités, Statistique et Modélisation(概率、统计与建模实验室);Sorbonne Université(索邦大学)
训练非常深的神经网络是一项具有挑战性的任务,因为神经网络越深,它的非线性就越强。我们比较了各种预处理Langevin算法与非Langevin算法的性能,用于训练深度增加的神经网络。对于浅层神经网络,Langevin算法没有带来任何改进,但是网络越深,Langevin算法提供的增益越大。向梯度下降中添加噪声可以避免局部陷阱,这对于非常深的神经网络来说更常见。在此启发式之后,我们引入了一种新的Langevin算法,称为Layer Langevin,该算法仅将Langevin噪声添加到与最深层相关的权重。然后,我们证明了Langevin和Layer Langevin算法在训练图像分类的流行深度残差架构方面的优势。
2022-12-27 cs.LG stat.ML
Investigating Vulnerabilities of Deep Neural Policies
KTH Royal Institute of Technology(瑞典皇家理工学院)
基于深度神经网络的强化学习策略很容易受到对其输入的不可感知的对抗性扰动的影响,这与神经网络图像分类器的方式大致相同。最近的工作提出了几种方法来提高深度强化学习代理对对抗性扰动的鲁棒性,这些方法基于在存在这些不可感知的扰动的情况下进行训练(即对抗性训练)。在本文中,我们研究了对抗性训练对智能体学习神经策略的影响。特别是,我们遵循两种不同的并行方法来研究基于最坏情况分布偏移和特征敏感性的深度神经策略的对抗性训练的结果。对于第一种方法,我们比较了对抗训练和香草训练神经策略计算的最小扰动的傅立叶谱。通过OpenAI Atari环境中的实验,我们表明,针对对抗训练策略计算的最小扰动更集中在傅立叶域中的较低频率上,这表明这些策略对低频扰动具有更高的敏感性。对于第二种方法,我们提出了一种新的方法来测量深度神经策略的特征敏感性,并比较了最先进的对抗训练的深度神经策略和香草训练的深度神经策略中的这些特征敏感性差异。我们相信,我们的研究结果可以成为理解对抗性训练与神经策略的不同鲁棒性概念之间关系的第一步。
2021-08-30 cs.AI cs.CV cs.LG
DeepStreamCE: A Streaming Approach to Concept Evolution Detection in Deep Neural Networks
Birmingham City University(伯明翰城市大学)
深度神经网络已经在实验中证明了在决策预测方面优于其他机器学习方法的性能。然而,一个主要的问题是训练类的分类决策的闭集性质,这可能会在安全关键系统中产生严重的后果。当深度神经网络处于流式传输环境中时,需要对该分类进行快速解释以确定分类结果是否可信。当深度神经网络的输入数据随时间变化时,可能会发生不可信分类。一种可能发生的变化是概念进化,其中引入了一个新的类,而深度神经网络没有在其上进行训练。在大多数深度神经网络架构中,唯一的选择是将此实例分配给它在其上进行训练的类之一,这是不正确的。本研究的目的是检测流中新类的到达。现有的解释深度神经网络的工作通常集中在神经元激活,以提供视觉解释和特征提取。我们的新方法,创造了DeepStreamCE,使用流方法在深度神经网络中进行实时概念进化检测。DeepStreamCE在离线阶段使用自动编码器和基于MCOD流的聚类来应用神经元激活减少。两个输出都用于在线阶段,以分析进化流中的神经元激活,从而实时的检测概念进化的发生。我们通过在CIFAR-10数据集的数据组合上训练VGG 16卷积神经网络来评估DeepStreamCE,并提供一些类作为概念进化。为了进行比较,我们将数据和VGG 16网络应用于开放集深度网络解决方案- OpenMax。DeepStreamCE在识别我们数据集的概念演变时优于OpenMax。
2020-04-08 cs.LG stat.ML
Dichotomize and Generalize: PAC-Bayesian Binary Activated Deep Neural Networks
Université Laval(拉瓦尔大学);Inria(法国国家信息与自动化研究所);University College London(伦敦大学学院)
我们提出了一个全面的研究多层神经网络与二进制激活,依赖于PAC贝叶斯理论。我们的贡献是双重的:(i)我们开发了一个端到端的框架来训练二进制激活的深度神经网络,(ii)我们为二进制激活的深度神经网络提供了非空的PAC-贝叶斯泛化界。我们的结果是通过最小化二进制激活的深度神经网络的结构相关聚合的预期损失来获得的。我们的分析内在地克服了二元激活函数不可微的事实。我们的方法的性能进行了评估,在现实生活中的数据集上的一个彻底的数值实验协议。
2020-02-04 cs.LG stat.ML
SelectiveNet: A Deep Neural Network with an Integrated Reject Option
Technion - Israel Institute of Technology(以色列理工学院)
我们考虑了深度神经网络中的选择性预测(也称为拒绝选项)问题,并引入了SelectiveNet,这是一种具有集成拒绝选项的深度神经架构。现有的拒绝机制主要基于预先训练的网络的预测置信度的阈值。相比之下,SelectiveNet经过训练,可以同时优化分类(或回归)和拒绝,端到端。结果是在覆盖域上优化的深度神经网络。在我们的实验中,我们在几个著名的分类和回归数据集上显示了持续改进的风险覆盖权衡,从而达到了深度选择性分类的最新结果。
2019-06-26 cs.LG stat.ML
Smooth function approximation by deep neural networks with general activation functions
Seoul National University(首尔大学)
人们对深度神经网络的表达能力越来越感兴趣。然而,关于这个主题的大多数现有工作只关注特定的激活函数,如ReLU或sigmoid。在本文中,我们研究了具有广泛激活函数的深度神经网络的逼近能力。这类激活函数包含了大多数常用的激活函数。我们推导出所需的深度,宽度和稀疏性的深度神经网络,以近似任何Hölder光滑函数到一个给定的近似误差的大类激活函数。基于我们的近似误差分析,我们推导出在回归和分类问题中具有一般激活函数的深度神经网络估计的极大极小最优性。
2019-06-27 cs.LG stat.ML
Sup-Norm Convergence of Deep Neural Network Estimator for Nonparametric Regression by Adversarial Training
The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
本文针对非参数回归中深度神经网络估计器难以实现上确界范数收敛的问题,提出带校正的对抗训练方案,证明其能达到上确界范数意义下的最优速率,并通过实验验证理论结果。
2023-07-08 cs.LG stat.ML
Generalization bounds for neural ordinary differential equations and deep residual networks
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Laboratoire de Probabilités, Statistique et Modélisation(概率、统计与建模实验室)
本文针对连续时间参数的神经常微分方程及相应深度残差网络,基于Lipschitz论证推导泛化界,并数值验证权重差异对泛化能力的影响。
2023-10-11 cs.LG stat.ML
Embedding Differentiable Sparsity into Deep Neural Network
ETRI(韩国电子通信研究院)
在本文中,我们提出将稀疏性嵌入到深度神经网络的结构中,其中模型参数在使用随机梯度下降进行训练期间可以精确为零。因此,它可以同时学习网络的稀疏结构和权值。所提出的方法可以学习结构化以及非结构化稀疏性。
2020-06-23 cs.LG stat.ML
Neural Tangent Kernel Analysis of Deep Narrow Neural Networks
Seoul National University(首尔国立大学);Hongik University(弘益大学)
最近在分析过参数化神经网络的训练动态方面取得的巨大进展主要集中在宽网络上,因此没有充分解决深度在深度学习中的作用。在这项工作中,我们提出了无限深但窄神经网络的第一个可训练性保证。我们研究了具有特定初始化的多层感知器(MLP)的无限深度限制,并使用NTK理论建立了可训练性保证。然后,我们将分析扩展到无限深度卷积神经网络(CNN)并进行简短的实验。
2022-06-27 cs.LG math.OC stat.ML
Neural Optimization Kernel: Towards Robust Deep Learning
Australian Artificial Intelligence Institute(澳大利亚人工智能研究所);University of Technology Sydney(悉尼科技大学)
深度神经网络(NN)在许多应用中取得了巨大的成功。然而,为什么深度神经网络在过度参数化状态下获得良好的泛化能力仍然不清楚。为了更好地理解深度NN,我们建立了深度NN和一个新的内核家族之间的联系,即,神经优化内核(NOK)。NOK的结构化近似的架构执行隐式正则化问题的单调下降更新。我们可以通过使用不同的激活函数来隐式地选择正则化问题,例如,ReLU、最大池化和软阈值。我们进一步建立了一个新的泛化界,我们的深度结构近似NOK架构。我们的无监督结构化近似NOK块可以作为一个简单的插件流行的骨干,对输入噪声的良好推广。
2021-12-01 cs.LG stat.ML
Hands-on Bayesian Neural Networks -- a Tutorial for Deep Learning Users
University of Western Australia(西澳大学);Murdoch University(莫道克大学);Monash University(莫纳什大学)
现代深度学习方法是解决无数挑战性问题的强大工具。然而,由于深度学习方法作为黑箱运行,因此与其预测相关的不确定性通常难以量化。贝叶斯统计提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和一个完整的工具集,用于设计,实施,训练,使用和评估贝叶斯神经网络,即使用贝叶斯方法训练的随机人工神经网络。
2022-01-03 cs.LG stat.ML
On the rate of convergence of a deep recurrent neural network estimate in a regression problem with dependent data
Technische Universität Darmstadt(达姆施塔特工业大学);Concordia University(康考迪亚大学)
考虑了一类非独立数据的回归问题。正则性假设的依赖性的数据进行了介绍,它表明,在适当的结构假设的回归函数的深度循环神经网络估计是能够规避灾难的维数。
2020-10-31 cs.LG stat.ML
Universal approximations of permutation invariant/equivariant functions by deep neural networks
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Keio University(庆应义塾大学);École Normale Supérieure Paris-Saclay(巴黎萨克雷高等师范学院)
在本文中,我们发展了一个理论之间的关系$G$不变/等变函数和深度神经网络有限群$G$。特别地,对于一个给定的$G$ -不变/等变函数,我们通过深度神经网络构造了它的通用逼近器,该深度神经网络的层装备了$G$ -作用,并且每个仿射变换都是$G$ -等变/不变的。由于表示理论,我们可以证明,这个近似有指数更少的自由参数比通常的模型。
2019-09-26 cs.LG stat.ML
Power Law in Sparsified Deep Neural Networks
Department of Computer Science and Engineering(计算机科学与工程系);Hong Kong University of Science and Technology(香港科技大学)
在许多生物神经网络的度分布中都观察到幂律。稀疏深度神经网络从数据中学习经济的表示,在许多方面类似于生物神经网络。在本文中,我们研究这些人工网络是否也表现出幂律性质。在两种流行的深度学习模型,即多层感知器和卷积神经网络上的实验结果是肯定的。幂律也自然地与优先依附有关。为了研究深度网络在持续学习中的动力学性质,我们提出了一个内部偏好连接模型来解释网络拓扑结构的演变。实验结果表明,随着新任务的到来,新的连接遵循这种优先连接过程。
2018-05-04 cs.LG stat.ML
Theoretical Analysis of the Advantage of Deepening Neural Networks
Faculty of Science;Engineering Waseda University Tokyo, Japan;Center for Data Science Waseda University Tokyo, Japan
本研究提出两个独立于学习效率评估深度神经网络表达能力的准则,从逼近精度和线性区域性质角度分析,证明增加层数比增加每层单元数更能提升网络表达能力。
2020-09-24 cs.LG cs.NE stat.ML
Traffic map prediction using UNet based deep convolutional neural network
本文描述了我们基于UNet的深度卷积神经网络方法在2019年的Jumic4cast挑战赛上的应用。挑战性的任务是在高分辨率的城市地图上预测未来的交通流量、航向和速度。我们使用基于UNet的深度卷积神经网络训练预测模型进行短期交通预测。在每个卷积块上,层与后续层紧密连接,就像DenseNet一样。通过对从世界上三个不同城市收集的真实世界数据集进行训练和评估,我们的方法在这一挑战中取得了最佳表现。
2019-11-25 cs.LG stat.ML
Distributed learning of deep neural network over multiple agents
Massachusetts Institute of Technology(麻省理工学院)
在医疗保健和金融等领域,标记数据和计算资源的短缺是开发机器学习算法的关键问题。为了解决基于神经网络的系统的训练和部署中标记数据稀缺的问题,我们提出了一种在多个数据源上训练深度神经网络的新技术。我们的方法允许使用来自多个实体的数据以分布式方式训练深度神经网络。我们评估我们的算法对现有的数据集,并表明它获得的性能是类似于一个普通的神经网络在一台机器上训练。我们进一步扩展它,以在使用少量标记样本进行训练时纳入半监督学习,并分析可能出现的任何安全问题。我们的算法为数据敏感应用中的深度神经网络的分布式训练铺平了道路,当原始数据可能无法直接共享时。
2018-10-14 cs.LG stat.ML
Deep Neural Network Ensembles for Time Series Classification
IRIMAS, Université Haute-Alsace(上阿尔萨斯大学 IRIMAS)
深度神经网络已经彻底改变了计算机视觉和自然语言处理等许多领域。受到最近成功的启发,深度学习开始在时间序列分类(TSC)方面显示出有希望的结果。然而,神经网络仍然落后于最先进的TSC算法,TSC算法目前由37个非基于深度学习的分类器组成。我们将这种性能差距归因于TSC缺乏神经网络集成。因此,在本文中,我们展示了60个深度学习模型的集成如何在UCR/UEA档案(时间序列分析的最大公开基准)上进行评估时,显着提高TSC神经网络的当前最先进性能。最后,我们展示了我们提出的神经网络Ensemble(NNE)是第一个优于COTE的时间序列分类器,同时达到与当前最先进的集成HIVE-COTE相似的性能。
2019-04-26 cs.LG stat.ML
Addressing caveats of neural persistence with deep graph persistence
University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心);Technical University of Denmark(丹麦技术大学);University of Copenhagen(哥本哈根大学);Copenhagen University Hospital(哥本哈根大学医院);FindZebra
针对神经持久性在深度网络中退化为权重方差且忽略层间交互的问题,提出将其底层filtration扩展至整个网络,构建了深度图持久性度量以隐式结合持久路径并缓解方差问题。
2023-11-20 cs.LG stat.ML
A Deep Conditioning Treatment of Neural Networks
Google AI(谷歌人工智能);Princeton(普林斯顿大学);Google Research(谷歌研究院)
我们研究了深度在训练随机初始化的超参数化神经网络中的作用。我们给出了一个一般性的结果,表明深度通过改善输入数据的某些核矩阵的条件来提高神经网络的可训练性。这一结果适用于任意非线性激活函数在一定的归一化。我们提供了结果的版本,通过神经切线核只训练神经网络的顶层,以及训练所有层。作为这些一般结果的应用,我们提供了Das等人(2019)结果的推广,表明具有大量非线性激活的深度随机神经网络的可学习性随深度呈指数级下降。我们还通过Bartlett et al.(2019 b)的结果展示了良性过拟合如何在深度神经网络中发生。我们还提供了实验证据,证明ReLU的规范化版本是训练深度神经网络中更复杂操作(如批量规范化)的可行替代方案。
2021-02-17 cs.LG stat.ML
Genetic Algorithms for Evolving Deep Neural Networks
Bar-Ilan University(巴伊兰大学);Tel Aviv University(特拉维夫大学)
近年来,应用无监督学习来训练神经网络深层的深度学习方法在众多领域取得了显著的成果。在过去,许多基于遗传算法的方法已经成功地应用于训练神经网络。在本文中,我们扩展了以前的工作,并提出了一个遗传算法辅助的方法进行深度学习。我们的实验结果表明,这种GA辅助的方法提高了深度自动编码器的性能,产生了更稀疏的神经网络。
2017-11-21 cs.LG cs.NE stat.ML
Understanding Layer-wise Contributions in Deep Neural Networks through Spectral Analysis
IIT Kanpur(印度理工学院坎普尔分校);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
谱分析是一个强大的工具,它可以将任何函数分解成更简单的部分。在机器学习中,默瑟定理推广了这一思想,为任何核和输入分布提供了频率递增函数的自然基础。最近,一些工作已经通过神经切线核的框架将这种分析扩展到深度神经网络。在这项工作中,我们分析了深层神经网络的逐层谱偏置,并将其与不同层在降低给定目标函数的泛化误差方面的贡献联系起来。我们利用厄米多项式和球谐函数的性质来证明,初始层表现出更大的偏向于单位球上定义的高频函数。我们进一步提供了在深度神经网络的高维数据集中验证我们的理论的经验结果。
2022-01-07 cs.LG stat.ML
Characterizing the Decision Boundary of Deep Neural Networks
Michigan State University(密歇根州立大学)
深度神经网络,特别是深度神经分类器已经成为许多现代应用的组成部分。尽管它们在实践中取得了成功,但我们对它们如何工作的了解仍然有限,对这种了解的需求正在不断增长。在这方面,深度神经网络分类器可以帮助我们加深对其决策行为的了解的一个关键方面是调查其决策边界。然而,这取决于是否能够接触到决策边界附近区域的样本。为了实现这一点,我们提出了一种新的方法,我们称之为深度决策边界实例生成(DeepDIG)。DeepDIG利用基于对抗性示例生成的方法作为在任何深度神经网络模型的决策边界附近生成样本的有效方式。然后,我们引入了一组重要的原则性特征,这些特征利用决策边界附近生成的实例来提供对深度神经网络的多方面理解。我们在各种深度神经网络模型的多个代表性数据集上进行了广泛的实验,并描述了它们的决策边界。该代码可在https://github.com/hamidkarimi/DeepDIG/上公开获取。
2020-06-03 cs.CV cs.LG stat.ML
Nonparametric Online Learning Using Lipschitz Regularized Deep Neural Networks
Technion - Israel Institute of Technology(以色列理工学院)
深度神经网络被认为是许多离线机器学习任务中最先进的模型。然而,他们在在线学习任务中的表现和概括能力却鲜为人知。因此,我们专注于在线学习,并解决具有挑战性的问题,其中底层过程是平稳和遍历的,从而消除了独立同分布。假设和允许观察任意地相互依赖。我们证明了Lipschitz正则化深度神经网络的泛化能力,并表明通过使用这些网络,可以保证收敛到最佳预测策略。
2019-05-26 cs.LG stat.ML
What Kinds of Functions do Deep Neural Networks Learn? Insights from Variational Spline Theory
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
我们开发了一个变分框架来理解通过将具有整流线性单元激活的深度神经网络拟合到数据而学习到的函数的性质。我们提出了一个新的函数空间,这让人想起经典的有界变分型空间,它捕获了与深层神经网络相关的组成结构。我们推导出一个表示定理,表明深度ReLU网络是这个空间中函数的正则化数据拟合问题的解决方案。函数空间由Radon域中二阶有界变差的Banach空间的函数组成。这些是具有稀疏促进规范的Banach空间,可以深入了解稀疏性在深度神经网络中的作用。神经网络解决方案具有跳跃连接和秩有界权矩阵,为这些常见的结构选择提供了新的理论支持。我们研究的变分问题可以被改写为一个有限维的神经网络训练问题,其正则化方案与权重衰减和路径范数正则化的概念有关。最后,我们的分析建立在变分样条理论的技术基础上,提供了深度神经网络和样条之间的新联系。
2021-09-26 cs.LG stat.ML
DropNeuron: Simplifying the Structure of Deep Neural Networks
Data Science Institute(数据科学研究所);Imperial College London(伦敦帝国理工学院)
使用多层神经网络(NN)架构的深度学习在现代机器学习系统中表现出超强的能力。经过训练的深度神经网络(DNN)通常很大。我们想要解决的问题是,是否有可能在训练过程中简化NN,以在可接受的计算时间内实现合理的性能。我们提出了一种通过网络结构的正则化来优化深度神经网络的新方法。我们提出了正则化器,它支持在网络训练过程中丢弃神经元的简单机制。该方法支持构造一个更简单的深度神经网络,其性能与其简化版本兼容。作为概念的证明,我们评估所提出的方法的例子,包括稀疏线性回归,深度自动编码器和卷积神经网络。估值显示了出色的业绩。该工作的代码可以在http://www.github.com/panweihit/DropNeuron中找到
2016-07-03 cs.CV cs.LG stat.ML
Deep Learning: From Basics to Building Deep Neural Networks with Python
本书面向不熟悉深度学习的初学者。我们对读者的唯一期望是他们已经掌握了Python的基本编程技能。
2022-04-22 cs.LG
On the approximation of rough functions with deep neural networks
ETH Zürich(苏黎世联邦理工学院);University of Southern California(南加州大学)
深度神经网络和ENO过程都是近似粗糙函数的有效框架。我们证明,在任何阶数下,ENO插值过程都可以被转换为深度ReLU神经网络。这一令人惊讶的事实使ENO过程的几个理想属性能够转移到深度神经网络,包括其近似Lipschitz函数的高阶精度。数值试验结果表明,神经网络的非线性守恒律近似解和数据压缩性能优异。
2020-10-08 cs.LG cs.NA math.NA
Equivalence in Deep Neural Networks via Conjugate Matrix Ensembles
提出了一种数值方法来检测深度学习架构的等价性。该方法基于从深度神经网络权重矩阵和匹配神经架构拓扑的{ \it共轭循环系综}中生成混合矩阵系综(MME)。在此之后,经验证据支持{ \it现象},即神经架构的谱密度与对应的{ \it共轭圆形系综}之间的差异在谱的长正尾部分处以不同的衰减率消失,即,累积圆谱差(CSD)。这一发现可以用于通过分析CSD的波动来建立不同神经结构之间的等效性。我们研究了广泛的深度学习视觉架构和源于统计量子力学的圆形集合的这种现象。人工和自然的神经架构所提出的方法的实际影响,如使用神经结构搜索(NAS)和生物神经网络分类的方法的可能性进行了讨论。
2020-08-30 cond-mat.dis-nn cs.LG stat.ML