deepstruct -- linking deep learning and graph theory
University of Passau(帕绍大学)
deepstruct将深度学习模型和图论连接起来,使得可以将不同的图结构施加在神经网络上,或者可以从训练的神经网络模型中提取图结构。为此,deepstruct提供了具有不同限制的深度神经网络模型,这些模型可以基于初始图创建。此外,从训练模型中提取图形结构的工具也是可用的。即使对于只有几十万个参数的模型,提取图的这一步骤也可能在计算上是昂贵的,并且提出了一个具有挑战性的问题。deepstruct支持神经网络的剪枝、神经结构搜索、自动网络设计和结构分析等研究。
2021-12-05 cs.AI cs.LG cs.NE
Building Robust Deep Neural Networks for Road Sign Detection
Georgia Institute of Technology(佐治亚理工学院);Twentieth Century Fox(二十世纪福克斯公司);Starfleet Academy(星际舰队学院);Tyrell Inc.(泰瑞尔公司)
深度神经网络是通过使用正则化、早期停止和丢弃等技术来构建的,以在训练集之外进行泛化。但是,很少有人考虑让它们更能适应对抗性的例子。随着深度神经网络在关键任务和实时系统中变得越来越普遍,不法分子开始通过故意使深度神经网络将一种类型的对象错误分类为另一种类型来攻击它们。在某些情况下,这可能是灾难性的,其中深度神经网络的分类可能导致机器做出致命的决定。在这项工作中,我们使用GTSRB数据集通过快速梯度符号方法和雅可比显著性方法来制作对抗样本,使用这些制作的对抗样本来攻击另一个深度卷积神经网络,并通过防御蒸馏和对抗训练使被攻击的网络对对抗攻击更具弹性
2017-12-26 cs.AI cs.LG stat.ML
An Investigation of Quantum Deep Clustering Framework with Quantum Deep SVM & Convolutional Neural Network Feature Extractor
Amity Institute of Information Technology(阿米提信息技术学院);Amity University(阿米提大学);Coventry University(考文垂大学)
在本文中,我们提出了一种深度量子SVM公式,并进一步展示了基于量子深度SVM公式、深度卷积神经网络和量子K-Means聚类的量子聚类框架。我们研究了所提出的量子深度聚类框架的运行时间计算复杂性,并与可能的经典实现进行了比较。我们的调查表明,所提出的量子版本的深度聚类公式显示出显着的性能增益(在许多部分指数加速增益)对可能的经典实现。所提出的理论量子深度聚类框架也是有趣的,是对量子经典机器学习公式的新颖研究,以表达最大的性能。
2019-09-21 cs.AI cs.LG stat.ML
Noise-Robust Deep Spiking Neural Networks with Temporal Information
Seoul National University(首尔大学);Institute of New Media and Communications, Seoul National University(首尔大学新媒体与通信研究所);ASRI and Interdisciplinary Program in Artificial Intelligence, Seoul National University(首尔大学自动系统研究所及人工智能跨学科项目)
脉冲神经网络(SNN)是一种具有时间信息的能量高效神经网络。SNN在神经形态设备上显示出优越的效率,但这些设备对噪声敏感,这阻碍了它们在现实世界中的应用。有几项研究提高了噪声鲁棒性,但大多数研究既没有考虑深度SNN,也没有考虑时间信息。在本文中,我们研究了噪声对各种神经编码方法的深度SNN的影响,并提出了一种具有时间信息的噪声鲁棒性深度SNN。通过所提出的方法,我们已经实现了一个深度SNN,它对尖峰删除和抖动是有效和鲁棒的。
2021-04-22 cs.AI cs.LG cs.NE
Verifying Properties of Binarized Deep Neural Networks
VMware Research(VMware研究院);Amazon(亚马逊);UNSW(新南威尔士大学);Data61
理解深度神经网络的属性是深度学习中的一个重要挑战。在本文中,我们在这个方向上迈出了一步,提出了一个严格的方法来验证一个流行的神经网络类,二进制神经网络的属性,使用成熟的布尔可满足性。我们的主要贡献是一个构造,创建一个表示的二进制神经网络作为一个布尔公式。我们的编码是深度神经网络的第一个精确布尔表示。使用这种编码,我们利用现代SAT求解器的功能以及提出的反例引导搜索程序来验证这些网络的各种属性。一个特别的重点将是对抗性扰动的鲁棒性的关键属性。对于这个属性,我们的实验结果表明,我们的方法可扩展到用于图像分类任务的中等大小的深度神经网络。据我们所知,这是第一个使用网络的精确布尔编码来验证深度神经网络属性的工作。
2018-05-31 cs.AI cs.CR cs.LG
DeepSearch: A Simple and Effective Blackbox Attack for Deep Neural Networks
MPI-SWS(马克斯·普朗克软件系统研究所)
尽管深度神经网络在图像分类任务中非常成功,但它们容易受到对抗攻击。为了生成对抗性输入,出现了各种各样的技术,例如针对神经网络的黑盒和白盒攻击。在本文中,我们提出了DeepSearch,这是一种针对图像分类器的新型基于模糊的,查询效率高的黑盒攻击。尽管它很简单,但DeepSearch在寻找对抗性输入方面比最先进的黑盒方法更有效。与这些方法相比,DeepSearch还能够生成最微妙的对抗性输入。
2020-08-15 cs.LG
Deep Loopy Neural Network Model for Graph Structured Data Representation Learning
Florida State University(佛罗里达州立大学)
现有的深度学习模型在处理图结构化数据时可能会遇到很大的挑战。在本文中,我们专门介绍了一种新的图形数据深度学习模型,即深度循环神经网络。与以前的深度模型显著不同的是,在深度循环神经网络内部,存在由输入图数据中节点之间的广泛连接所创建的大量循环,这使得模型学习成为不可行的任务。为了解决这个问题,本文将介绍一种新的学习算法的深度循环神经网络具体。在所提出的学习算法中,错误将通过一组提取的生成树中的边反向传播,而不是基于原始模型来学习模型变量。在实际图形数据集上进行了大量的数值实验,实验结果表明了所提出的模型和学习算法在处理图形数据时的有效性.
2019-09-05 cs.AI cs.LG cs.NE
DeepDyve: Dynamic Verification for Deep Neural Networks
The Chinese University of Hong Kong(香港中文大学)
深度神经网络(DNN)已经成为许多安全关键应用中的使能技术之一,例如,自动驾驶和医学图像分析。然而,DNN系统遭受各种威胁,例如对抗性示例攻击和故障注入攻击。虽然针对恶意制作的输入提出了许多防御方法,但针对DNN系统本身中存在的故障的解决方案(例如,参数和计算)的探索要少得多。在本文中,我们为基于DNN的系统开发了一种新的轻量级容错解决方案,即DeepDyve,它采用比原始DNN更简单和更小的预训练神经网络进行动态验证。实现这种轻量级检查的关键在于,较小的神经网络只需要为初始任务产生近似结果,而不会牺牲太多的故障覆盖率。我们开发了高效的架构和任务探索技术,以在DeepDyve中实现优化的风险/开销权衡。实验结果表明,DeepDyve可以在10%左右的开销下降低90%的风险。
2020-10-16 cs.AI cs.CR cs.LG
Evolution in Groups: A deeper look at synaptic cluster driven evolution of deep neural networks
University of Waterloo(滑铁卢大学);DarwinAI
实现高效深度神经网络的一个有希望的范例是进化深度智能的想法,它模仿生物进化过程,逐步合成更高效的网络。进化深度智能的一个关键设计因素是用于模拟遗传和确定后代网络结构的遗传编码方案。在这项研究中,我们更深入地研究了突触簇驱动的深层神经网络进化的概念,它引导进化过程在后代网络中形成一组高度稀疏的突触簇。利用突触簇驱动的遗传编码,突触性状的概率编码不仅考虑个体突触特性,而且考虑深层神经网络内的突触间关系。该过程导致高度稀疏的后代网络,其特别适合于并行计算设备,例如GPU和深度神经网络加速器芯片。在两个不同的任务(对象分类和目标检测)上使用四种著名的深度神经网络架构(LeNet-5,AlexNet,ResNet-56和DetectNet)的综合实验结果证明了所提出的方法的效率。神经元驱动的遗传编码方案合成的网络,可以达到最先进的性能与显着更少的突触数量比原始祖先网络。(MNIST的突触减少$\sim$ 125倍)。此外,所生成的后代网络中的改进的集群效率(MNIST的集群中的$\sim$减少9.71倍,KITTI的集群中的$\sim$减少8.16倍)对于并行计算硬件架构(诸如GPU和深度神经网络加速器芯片中的并行计算硬件架构)上的加速性能特别有用。
2017-04-07 cs.AI cs.CV cs.NE
Sup-Norm Convergence of Deep Neural Network Estimator for Nonparametric Regression by Adversarial Training
The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
本文针对非参数回归中深度神经网络估计器难以实现上确界范数收敛的问题,提出带校正的对抗训练方案,证明其能达到上确界范数意义下的最优速率,并通过实验验证理论结果。
2023-07-08 cs.LG stat.ML
Deep Neural Networks and Neuro-Fuzzy Networks for Intellectual Analysis of Economic Systems
Dorodnicyn Computing Centre(多罗德尼岑计算中心);Plekhanov Russian University of Economics(普列汉诺夫俄罗斯经济大学)
本文研究了基于深度神经网络和模糊神经网络的时间序列预测方法。此外,我们还简要回顾了基于ANFIS模型的各种预测研究。事实证明,深度学习是一种有效的方法,可以从复杂的数据源中进行高度准确的预测。此外,我们提出了我们的模型DL和神经模糊网络的这项任务。最后,我们展示了将这些模型用于数据科学任务的可能性。本文还概述了将基于规则的方法纳入深度学习神经网络的方法。
2020-11-11 cs.AI cs.NE econ.GN
Are Deep Neural Networks "Robust"?
Rutgers University(罗格斯大学)
将离群值与内值分离是计算机视觉中鲁棒性的定义。本文描述了深度神经网络与典型的鲁棒估计器的不同之处。深度神经网络在传统定义下并不健壮。
2020-08-25 cs.CV cs.LG
Investigating Vulnerabilities of Deep Neural Policies
KTH Royal Institute of Technology(瑞典皇家理工学院)
基于深度神经网络的强化学习策略很容易受到对其输入的不可感知的对抗性扰动的影响,这与神经网络图像分类器的方式大致相同。最近的工作提出了几种方法来提高深度强化学习代理对对抗性扰动的鲁棒性,这些方法基于在存在这些不可感知的扰动的情况下进行训练(即对抗性训练)。在本文中,我们研究了对抗性训练对智能体学习神经策略的影响。特别是,我们遵循两种不同的并行方法来研究基于最坏情况分布偏移和特征敏感性的深度神经策略的对抗性训练的结果。对于第一种方法,我们比较了对抗训练和香草训练神经策略计算的最小扰动的傅立叶谱。通过OpenAI Atari环境中的实验,我们表明,针对对抗训练策略计算的最小扰动更集中在傅立叶域中的较低频率上,这表明这些策略对低频扰动具有更高的敏感性。对于第二种方法,我们提出了一种新的方法来测量深度神经策略的特征敏感性,并比较了最先进的对抗训练的深度神经策略和香草训练的深度神经策略中的这些特征敏感性差异。我们相信,我们的研究结果可以成为理解对抗性训练与神经策略的不同鲁棒性概念之间关系的第一步。
2021-08-30 cs.AI cs.CV cs.LG
Deep Neural Networks for Pattern Recognition
Jet Propulsion Laboratory, California Institute of Technology(加州理工学院喷气推进实验室)
在模式识别研究领域,使用基于改进的计算硬件的深度神经网络的方法最近受到关注,因为与传统方法相比,其具有更高的精度。深度神经网络模拟人类视觉系统,在图像分类、目标检测和分割方面达到与人类相当的精度。本章介绍模拟人类神经网络的深度神经网络的基本结构。然后,我们确定的操作过程和应用的条件生成对抗网络,这是正在积极研究的基础上自下而上和自上而下的机制,人类视觉感知过程中最重要的功能。最后,讨论了复杂深度神经网络有效学习的训练策略的最新发展。
2018-09-25 cs.CV cs.LG
Hyperbolic Deep Neural Networks: A Survey
University of Oulu(奥卢大学)
近年来,双曲空间中的深度表示学习因其对具有层次结构的知识图谱或同义词层次等数据的建模能力而受到越来越多的关注。在本文中,我们将该模型称为双曲深度神经网络。这样的双曲神经结构可能导致非常紧凑的模型,比欧几里得空间中的模型具有更多的物理可解释性。为了促进未来的研究,本文对双曲深度神经网络构建中的神经组件以及双曲空间的领先深度方法的推广进行了一致和全面的文献综述。它还介绍了围绕几个公开数据集上的各种机器学习任务的当前应用,以及有见地的观察和识别开放问题和有前途的未来方向。
2021-02-17 cs.CV cs.LG
Efficient Memory Management for Deep Neural Net Inference
Google Research(谷歌研究院)
虽然深度神经网络推理被认为是仅用于服务器的任务,但最新的技术进步允许将推理任务转移到移动和嵌入式设备上,这是出于从延迟到隐私等各种原因而需要的。这些设备不仅受到其计算能力和电池的限制,而且还受到其劣质物理内存和缓存的限制,因此,高效的内存管理器成为边缘深度神经网络推理的关键组件。我们探索了各种策略,以便在深度神经网络中的中间张量之间智能地共享内存缓冲区。采用这些技术可以使内存占用比现有技术减少11%。
2020-02-16 cs.CV cs.LG
A Trainable Feature Extractor Module for Deep Neural Networks and Scanpath Classification
University Tübingen(蒂宾根大学)
本文提出一种可训练的特征提取模块,将扫描路径转换为特征向量,与深度神经网络联合训练以提升分类性能,并在三个公开数据集上验证其优于现有方法。
2024-03-19 cs.CV cs.LG
Deep Neural Networks - A Brief History
Virginia Commonwealth University(弗吉尼亚联邦大学);IITiS Polish Academy of Sciences(波兰科学院信息技术研究所)
介绍深度神经网络及其历史。
2017-01-19 cs.CV cs.LG cs.NE
Exploring the Imposition of Synaptic Precision Restrictions For Evolutionary Synthesis of Deep Neural Networks
University of Waterloo(滑铁卢大学)
深度神经网络取得令人难以置信的成功的一个关键因素是大规模并行计算设备的显著增长,使研究人员能够大大增加深度神经网络的大小和深度,从而显著提高建模精度。虽然更深、更大或更复杂的深度神经网络已经显示出相当大的前景,但这种网络的计算复杂性是在资源匮乏的情况下利用的主要障碍。我们在进化的深度智能框架内探索了深度神经网络在形成有效的深度神经网络架构中的突触发生,其中引入了概率生成建模策略,以随机合成越来越高效且有效的后代深度神经网络,以概率的方式模仿遗传,随机突变和自然选择等进化过程。在这项研究中,我们主要探讨突触精度限制的施加及其对深度神经网络进化合成的影响,以合成更有效的网络架构,为资源匮乏的情况下量身定制。实验结果表明,突触效率(基于GoogLeNet的DetectNet降低了约10倍)和推理速度(基于GoogLeNet的DetectNet增加了> 5倍)得到了显着改善,同时保持了建模精度。
2017-07-01 cs.CV cs.LG cs.NE
Characterizing the Decision Boundary of Deep Neural Networks
Michigan State University(密歇根州立大学)
深度神经网络,特别是深度神经分类器已经成为许多现代应用的组成部分。尽管它们在实践中取得了成功,但我们对它们如何工作的了解仍然有限,对这种了解的需求正在不断增长。在这方面,深度神经网络分类器可以帮助我们加深对其决策行为的了解的一个关键方面是调查其决策边界。然而,这取决于是否能够接触到决策边界附近区域的样本。为了实现这一点,我们提出了一种新的方法,我们称之为深度决策边界实例生成(DeepDIG)。DeepDIG利用基于对抗性示例生成的方法作为在任何深度神经网络模型的决策边界附近生成样本的有效方式。然后,我们引入了一组重要的原则性特征,这些特征利用决策边界附近生成的实例来提供对深度神经网络的多方面理解。我们在各种深度神经网络模型的多个代表性数据集上进行了广泛的实验,并描述了它们的决策边界。该代码可在https://github.com/hamidkarimi/DeepDIG/上公开获取。
2020-06-03 cs.CV cs.LG stat.ML
StochasticNet: Forming Deep Neural Networks via Stochastic Connectivity
University of Waterloo(滑铁卢大学);Aimetis Corp.(Aimetis公司)
深度神经网络是机器学习的一个分支,由于其在高度复杂的数据中表示和建模高级抽象的强大能力,它的流行度迅速上升。深度神经网络中一个已经成熟的探索领域是神经连接的形成。一项关于大鼠脑组织的关键研究发现,新皮层神经微回路中特定功能连接的突触形成可以令人惊讶地被建模和预测为随机形成。受这一有趣发现的启发,我们引入了StochasticNet的概念,其中深层神经网络通过神经元之间的随机连接形成。因此,通过允许神经元连接是随机的,任何类型的深度神经网络都可以形成为StochasticNet。在深度神经网络架构中,随机突触形成可以允许有效利用神经元来执行特定任务。为了评估这种深度神经网络架构的可行性,我们使用四种不同的图像数据集(CIFAR-10,MNIST,SVHN和STL-10)训练StochasticNet。实验结果表明,使用不到传统深度神经网络一半数量的神经连接的StochasticNet在CIFAR-10,MNIST和SVHN数据集上实现了相当的准确性并减少了过拟合。有趣的是,与传统的深度神经网络相比,神经连接数量不到一半的StochasticNet在STL-10数据集上实现了更高的准确性(与ConvNet相比,测试出错率相对提高了约6%)。最后,StochasticNets具有更快的运行速度,同时实现更好或类似的精度性能。
2015-11-10 cs.CV cs.LG cs.NE
DropNeuron: Simplifying the Structure of Deep Neural Networks
Data Science Institute(数据科学研究所);Imperial College London(伦敦帝国理工学院)
使用多层神经网络(NN)架构的深度学习在现代机器学习系统中表现出超强的能力。经过训练的深度神经网络(DNN)通常很大。我们想要解决的问题是,是否有可能在训练过程中简化NN,以在可接受的计算时间内实现合理的性能。我们提出了一种通过网络结构的正则化来优化深度神经网络的新方法。我们提出了正则化器,它支持在网络训练过程中丢弃神经元的简单机制。该方法支持构造一个更简单的深度神经网络,其性能与其简化版本兼容。作为概念的证明,我们评估所提出的方法的例子,包括稀疏线性回归,深度自动编码器和卷积神经网络。估值显示了出色的业绩。该工作的代码可以在http://www.github.com/panweihit/DropNeuron中找到
2016-07-03 cs.CV cs.LG stat.ML
Deep Adaptive Network: An Efficient Deep Neural Network with Sparse Binary Connections
Chongqing University(重庆大学)
深度神经网络是用于理解图像、视频和原始输入数据内容的最先进模型。然而,在嵌入式系统中实现深度神经网络是一项具有挑战性的任务,因为典型的深度神经网络,例如使用128 × 128图像作为输入的深度信念网络,可能耗尽千兆字节的存储器并导致带宽和计算瓶颈。为了解决这一挑战,本文提出了一种面向硬件的深度学习算法,称为深度自适应网络,它试图利用神经连接中的稀疏性。该方法自适应地将与可忽略特征相关的权重降低到零,从而形成稀疏前馈网络结构。此外,由于重要权重的小部分显著大于零,因此可以使用单比特整数(-1和+1)对它们进行鲁棒阈值化和表示,从而实现具有稀疏和二进制连接的深度神经网络。我们的实验表明,对于识别MNIST手写数字的应用,通过保留约25%重要连接的两层深度自适应网络提取的特征达到了97.2%的分类准确率,与标准深度信念网络(97.3%)几乎相同。此外,对于高效的硬件实现,稀疏和二进制加权的深度神经网络可以节省约99.3%的内存和99.9%的计算单元,而不会显着损失模式识别应用的分类准确性。
2016-04-21 cs.CV cs.LG cs.NE
DLL: A Blazing Fast Deep Neural Network Library
HES-SO, University of Applied Science of Western Switzerland University of Fribourg, Switzerland(瑞士西部应用科学与艺术大学(HES-SO)、弗里堡大学)
深度学习库(DLL)是一个用于机器学习的新库,它具有深度神经网络,专注于速度。它支持前馈神经网络,如全连接人工神经网络(ANN)和卷积神经网络(CNN)。它还非常全面地支持受限玻尔兹曼机(RBM)和卷积RBM。我们这项工作的主要动机是提出和评估新的软件工程策略,有可能加快训练和推理的运行时间。这些策略大多独立于底层的深度学习算法。在三个不同的数据集和四个不同的神经网络模型上,我们将DLL与五个流行的深度学习框架进行了比较。实验表明,该框架在CPU和GPU上的速度明显提高。在分类性能方面,报告了与其他框架类似的准确性。
2018-04-11 cs.CV cs.LG stat.ML
Object Recognition Using Deep Neural Networks: A Survey
IIT Kanpur(印度理工学院坎普尔分校);Pace University(佩斯大学)
使用深度神经网络识别物体是一个活跃的研究领域,在过去几年中取得了许多突破。本文试图说明这一领域的进展。本文简要介绍了神经网络的研究历史,并介绍了该领域的一些最新进展。最近开发的神经网络算法的性能在基准数据集已制成表格。最后给出了该领域的一些应用。
2014-12-10 cs.CV cs.LG cs.NE
Deep Learning: From Basics to Building Deep Neural Networks with Python
本书面向不熟悉深度学习的初学者。我们对读者的唯一期望是他们已经掌握了Python的基本编程技能。
2022-04-22 cs.LG
Deep Learning with Darwin: Evolutionary Synthesis of Deep Neural Networks
University of Waterloo(滑铁卢大学)
从生物进化中获得灵感,我们探索了“深度神经网络能否在连续几代中自然进化成高效的深度神经网络?“通过引入通过从祖先深度神经网络的进化过程在连续几代中合成新的高效但强大的深度神经网络的概念。祖先深层神经网络的结构特征是使用突触概率模型编码的,突触概率模型可以被视为这些网络的“DNA”。具有不同网络架构的新后代网络基于来自祖先网络的这些突触概率模型和计算环境因子模型以随机方式合成,以模仿遗传、自然选择和随机突变。然后,这些后代网络被训练成功能齐全的网络,就像训练新生儿一样,并且具有比其祖先网络更高效、更多样化的网络架构,同时实现强大的建模能力。视觉显着性任务的实验结果表明,与原始祖先网络相比,合成的“进化”后代网络可以实现最先进的性能,同时具有显着更有效的网络架构(到第四代,突触减少了惊人的$\sim$ 48倍)。
2017-02-06 cs.CV cs.LG cs.NE
Probabilistic Deep Learning with Probabilistic Neural Networks and Deep Probabilistic Models
IBM(国际商业机器公司)
概率深度学习是考虑不确定性的深度学习,包括模型不确定性和数据不确定性。它基于概率模型和深度神经网络的使用。我们区分了概率深度学习的两种方法:概率神经网络和深度概率模型。前者采用深度神经网络,其利用概率层来表示和处理不确定性;后者使用概率模型,其包含深度神经网络组件,这些组件捕获随机变量之间的复杂非线性随机关系。我们讨论了每种方法的一些主要例子,包括贝叶斯神经网络和混合密度网络(概率神经网络),以及变分自编码器,深度高斯过程和深度混合效应模型(深度概率模型)。TensorFlow Probability是一个用于概率建模和推理的库,可用于概率深度学习的两种方法。我们包括它的代码示例用于说明。
2021-06-09 cs.LG stat.ML
Fixed-point optimization of deep neural networks with adaptive step size retraining
Seoul National University(首尔国立大学)
深度神经网络的定点优化在基于硬件的设计和低功耗实现中起着重要作用。许多深度神经网络在通过再训练微调量化权重时,即使具有2或3位精度也显示出相当好的性能。我们提出了一种改进的定点优化算法,估计量化步长动态再训练过程中。此外,还测试了一种渐进量化方案,该方案从高精度到低精度依次应用定点优化。针对前馈深度神经网络(FFDNN)、卷积神经网络(CNN)和递归神经网络(RNN)进行实验。
2017-02-27 cs.LG
Deep Neural Networks with Short Circuits for Improved Gradient Learning
IHPC A*STAR(A*STAR高性能计算研究所);Georgia State University(佐治亚州立大学)
深度神经网络在计算机视觉和自然语言处理任务中都取得了巨大成功。然而,大多数最先进的方法高度依赖于外部训练或计算来提高性能。为了减轻外部依赖,我们提出了一种梯度增强方法,由短路神经连接进行,以改善深度神经网络的梯度学习。所提出的短路是一个单向连接,单回传播的敏感从深层到浅层。此外,短路公式是其交叉层的梯度截断,其可以插入到骨干深层神经网络中,而无需引入外部训练参数。大量的实验表明,具有我们的短路的深度神经网络在计算机视觉和自然语言处理任务上都比基线有很大的优势。
2020-09-23 cs.LG
DeepCSHAP: Utilizing Shapley Values to Explain Deep Complex-Valued Neural Networks
University of Münster(明斯特大学)
本文提出DeepCSHAP,将Shapley值解释方法扩展到复值神经网络,并给出四种梯度解释方法,评估质量并开源。
2024-03-13 cs.LG
Convergence of Deep Convolutional Neural Networks
Old Dominion University(欧道明大学);Sun Yat-sen University(中山大学)
深度神经网络的收敛是建立深度学习数学基础的基础,因为网络的深度趋于无穷大。在之前的研究中,我们研究了具有固定宽度的深度ReLU网络的这个问题。这并不包括重要的卷积神经网络,其中的宽度从一层到另一层不断增加。出于这个原因,我们首先研究一般ReLU网络随着宽度增加的收敛性,然后将所得结果应用于深度卷积神经网络。事实证明,这种收敛性归结为矩阵大小不断增加的无限乘积的收敛性,而文献中尚未考虑过这一点。我们建立了这样的矩阵无穷乘积收敛的充分条件。基于这些条件,我们提出了一般深度ReLU网络随着宽度增加而分段收敛的充分条件,以及深度ReLU卷积神经网络的逐点收敛的充分条件。
2022-01-23 cs.LG
Backward Gradient Normalization in Deep Neural Networks
我们介绍了一种新的技术梯度归一化在神经网络训练。在反向传递期间,使用在网络架构内的某些点处引入的归一化层来重新缩放梯度。这些规范化节点不会影响前向活动传播,但会修改反向传播方程,以允许达到最深网络层的良好缩放梯度流,而不会出现消失或爆炸。对非常深的神经网络的测试结果表明,新技术可以做一个有效的控制梯度范数,允许在最深层的权重更新,并提高网络的精度在几个实验条件。
2021-06-17 cs.LG
Deep Learning for Epidemiologists: An Introduction to Neural Networks
深度学习方法正越来越多地应用于医学和医疗保健领域的问题。然而,很少有流行病学家接受过这些方法的正式培训。为了弥合这一差距,本文从流行病学的角度介绍了深度学习的基本原理。具体来说,本文回顾了机器学习中的核心概念(过拟合、正则化、超参数),解释了几种基本的深度学习架构(卷积神经网络、递归神经网络),并总结了模型的训练、评估和部署。我们的目标是使读者能够参与并批判性地评估深度学习的医学应用,促进计算机科学家和流行病学家之间的对话,这将提高这项技术应用的安全性和有效性。
2022-02-02 cs.LG
Dynamics of Deep Neural Networks and Neural Tangent Hierarchy
IAS(高等研究院);Harvard University(哈佛大学)
通过梯度下降训练的深度神经网络的进化可以通过[20]中介绍的神经切线核(NTK)来描述,其中证明了在无限宽度限制下,NTK收敛到显式限制核,并且在训练期间保持不变。NTK也隐含在其他一些最近的论文中[6,13,14]。在过度参数化机制中,完全训练的深度神经网络实际上等同于使用限制NTK的核回归预测器。对于深度过参数化的神经网络,梯度下降实现了零训练损失。然而,在[5]中观察到,使用限制NTK的内核回归与深度神经网络之间存在性能差距。这种性能差距可能源于NTK随训练的变化,由于有限宽度效应。NTK在训练过程中的变化是描述深度神经网络泛化特征的核心。在本文中,我们研究了有限宽度深度全连接神经网络的NTK的动力学。我们推导出一个无限层次的常微分方程,神经切线层次(NTH),它捕获了深度神经网络的梯度下降动态。此外,在一定的条件下的神经网络的宽度和数据集的维数,我们证明了截断层次的NTH逼近动态的NTK到任意精度。这种描述使得直接研究深度神经网络的NTK的变化成为可能,并揭示了深度神经网络优于使用相应限制NTK的核回归的观察结果。
2019-09-18 cs.LG stat.ML
Spurious Local Minima of Deep ReLU Neural Networks in the Neural Tangent Kernel Regime
National Institute of Advanced Industrial Science and Technology(产业技术综合研究所)
在本文中,我们从理论上证明了深度ReLU神经网络在神经切核(NTK)机制下的损失景观中不存在虚假的局部最小值,也就是说,在深度ReLU神经网络的梯度下降训练动态中,其参数由正态分布初始化,因为隐藏层的宽度趋于无穷大。
2022-05-18 cs.LG stat.ML
Building Compact and Robust Deep Neural Networks with Toeplitz Matrices
Université Paris-Dauphine -- PSL Research University(巴黎第九大学(多菲纳大学)-- PSL研究大学)
深度神经网络在各种各样的任务中是最先进的,然而,它们表现出重要的限制,这阻碍了它们在现实世界应用中的使用和部署。在开发和训练神经网络时,精度不应该是唯一的关注点,神经网络还必须具有成本效益和可靠性。虽然精确,但大型神经网络通常缺乏这些特性。本文研究的问题是如何训练神经网络,使其不仅精度高,而且结构紧凑,易于训练,可靠性高,对对抗性样本具有较强的鲁棒性。为了解决这些问题,我们利用Toeplitz家族的结构化矩阵的属性来构建紧凑且安全的神经网络。
2021-09-02 cs.LG
Deepening Neural Networks Implicitly and Locally via Recurrent Attention Strategy
Sun Yat-sen University(中山大学);Guangdong University of Technology(广东工业大学)
越来越多的经验和理论证据表明,在合适的训练设置下,加深神经网络可以有效地提高其性能。然而,加深神经网络的主干将不可避免地显著增加计算和参数大小。为了缓解这些问题,我们提出了一个简单而有效的递归注意力策略(RAS),它隐式地增加了神经网络的深度与轻量级注意力模块的局部参数共享。在三个广泛使用的基准数据集上的大量实验表明,RAS可以提高神经网络的性能,在轻微增加的参数大小和计算,表现优于其他现有的知名的注意力模块。
2022-10-27 cs.LG
Dither is Better than Dropout for Regularising Deep Neural Networks
University of Surrey(萨里大学)
训练期间深度神经网络(DNN)的规则化对性能至关重要。到目前为止,最流行的方法被称为dropout。在这里,通过信号处理理论的棱镜投射,我们比较和对比dropout与抖动的正则化效果。我们说明了一些严重的固有局限性的辍学,并证明抖动提供了一个更有效的正则化。
2015-08-26 cs.LG
A Survey: Time Travel in Deep Learning Space: An Introduction to Deep Learning Models and How Deep Learning Models Evolved from the Initial Ideas
Carnegie Mellon University(卡内基梅隆大学)
本报告将展示深度学习的发展历史。它将追溯到大脑的联结主义建模的最初信念,并回过头来看看它的早期实现:神经网络。以神经网络为背景,我们将逐步介绍作为深度判别模型代表的卷积神经网络是如何从神经网络发展而来的,以及许多有助于优化神经网络的实用技术。另一方面,我们也将追溯深度生成模型的演化历史,看看研究人员如何平衡表示能力和计算复杂度,以达到受限玻尔兹曼机,并最终达到深度信念网。此外,我们还将探讨利用神经网络对时间序列数据建模的发展历史。我们从时延神经网络开始,进一步发展到目前著名的递归神经网络及其扩展长短期记忆模型。我们还将简要介绍如何构建深度递归神经网络。最后,我们将以深度神经网络的一些有趣的开放式问题结束本报告。
2015-11-06 cs.LG cs.NE
Understanding Deep Neural Networks Using Topological Data Analysis
Cornell University(康奈尔大学);Air Force Research Laboratory(美国空军研究实验室)
深度神经网络(DNN)是黑箱算法。它们使用梯度下降反向传播技术进行训练,该技术训练每层中的权重,以最小化训练误差。因此,无法直接解释由此产生的权重。使用拓扑数据分析(TDA),我们可以深入了解神经网络是如何思考的,特别是通过分析验证图像通过每一层时的激活值。
2018-10-31 cs.LG
Exponential Convergence of the Deep Neural Network Approximation for Analytic Functions
Princeton University(普林斯顿大学);Peking University(北京大学);Beijing Institute of Big Data Research(北京大数据研究院)
我们证明了对于低维解析函数,深度神经网络逼近的收敛速度是指数的。
2018-07-01 cs.LG stat.ML
Structure and Distribution Metric for Quantifying the Quality of Uncertainty: Assessing Gaussian Processes, Deep Neural Nets, and Deep Neural Operators for Regression
Massachusetts Institute of Technology(麻省理工学院)
我们提出了两个有界的比较指标,可以实现任意尺寸的回归任务。一个是量化不确定性的结构,另一个是量化不确定性的分布。结构度量评估不确定性的形状和位置与真实误差的相似性,而分布度量量化两者之间的支持幅度。我们将这些指标应用于高维和非线性测试用例中的高斯过程(GP),嵌入式深度神经网络(DNN)和嵌入式深度神经运算符(DNO)。我们发现,比较模型的不确定性估计与模型的平方误差提供了一个令人信服的地面真相评估。我们还观察到,DNN和DNO,特别是与GP相比,在高维数据中提供了令人鼓舞的度量值,无论是稀疏还是丰富的数据。
2022-03-09 cs.LG stat.ML
A Unified Framework of Deep Neural Networks by Capsules
College of Computer Science(计算机学院);Faculty of Information Technology(信息技术学院);Beijing University of Technology(北京工业大学)
随着深度学习的发展,如何统一地描述深度神经网络正成为一个重要的问题。我们首先用有向图表示形式化了神经网络,并证明了一个关于连通有向无环图诱导网络的生成定理。然后,我们用胶囊网络建立了一个统一的深度学习框架。该框架简化了现有深度神经网络的描述,为深度学习模型的图形化设计和编程技术提供了理论基础,对深度学习的发展具有重要意义。
2018-05-10 cs.LG stat.ML
Convergence of Deep Neural Networks with General Activation Functions and Pooling
深度神经网络作为一种表示高维复杂函数的强大系统,在深度学习中发挥着关键作用。深度神经网络的收敛是为深度学习建立数学基础的基本问题。我们在最近的两项研究中研究了深度ReLU网络和深度卷积神经网络的收敛性(arXiv:2107.12530,2109.13542)。其中仅研究了整流线性单元(ReLU)激活,而没有考虑重要的池化策略。在目前的工作中,我们研究了深度神经网络的收敛性,因为深度趋于无穷大,另外两个重要的激活函数:泄漏ReLU和sigmoid函数。还将研究合并。因此,我们证明了arXiv:2107.12530,2109.13542中建立的充分条件对于泄漏ReLU网络仍然是充分的。对于收缩激活函数,如sigmoid函数,我们建立了一个较弱的深度神经网络一致收敛的充分条件。
2022-10-01 cs.LG math.FA
Emergent weight morphologies in deep neural networks
Ludwig-Maximilians-Universität München(慕尼黑大学)
本文通过类比凝聚态物理推导理论,证明深度神经网络训练中会涌现出独立于训练数据的周期性权重结构,并通过多数据集数值实验验证,揭示了涌现现象对网络性能的影响。
2025-04-10 cond-mat.dis-nn cs.LG
Leapfrogging for parallelism in deep neural networks
我们提出了一种技术,我们称之为蛙跳,在深度神经网络中并行化反向传播。我们表明,这种技术产生的储蓄$1-1/k$的一个主要术语在反向传播,其中k是线程(或GPU)的数量。
2018-01-15 cs.DC cs.LG
Convex Formulation of Overparameterized Deep Neural Networks
Shenzhen Research Institute of Big Data(深圳大数据研究院);Princeton University(普林斯顿大学);HKUST(香港科技大学)
过参数神经网络的分析近年来引起了人们的广泛关注。结果表明,这种系统的行为像凸系统下各种restrictedsettings,如两个层次的神经网络,当学习只局限于本地在所谓的神经切线核空间周围专门的初始化。然而,没有理论技术可以分析在实践中遇到的完全训练的深度神经网络。本文通过研究这种经过充分训练的过参数化深度神经网络来解决这个基本问题。我们推广了一种称为神经特征重新填充的新技术,最初在(Fang et al.,2019 a)用于两级神经网络,以分析深度神经网络。研究表明,在合适的表示下,过参数化深度神经网络本质上是凸的,当优化时,系统可以在温和的条件下学习适合底层学习任务的有效特征。这种新的分析与经验观察一致,即深度神经网络能够学习有效的特征表示。因此,这篇论文高度出乎意料的结果可以令人满意地解释深度神经网络的实际成功。实证研究证实,我们的理论预测是一致的,在实践中观察到的结果。
2019-11-18 cs.LG stat.ML
Universality of Deep Convolutional Neural Networks
City University of Hong Kong(香港城市大学)
深度学习已经在语音识别、计算机视觉和许多其他领域得到了广泛应用并带来了突破。所涉及的深度神经网络架构和计算问题已经在机器学习中得到了很好的研究。但是,对于理解由诸如具有卷积结构的深度卷积神经网络之类的网络架构生成的深度学习方法的近似或泛化能力,缺乏理论基础。在这里,我们证明了深度卷积神经网络(CNN)是通用的,这意味着当神经网络的深度足够大时,它可以用来近似任何连续函数到任意精度。这回答了学习理论中的一个开放性问题。我们的定量估计,严格按照要计算的自由参数的数量给出,验证了深度CNN在处理高维数据时的效率。我们的研究还证明了卷积在深度CNN中的作用。
2018-07-20 cs.LG stat.ML
Deep Neural Architecture Search with Deep Graph Bayesian Optimization
Jilin University(吉林大学);Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education(教育部符号计算与知识工程重点实验室)
贝叶斯优化(BO)是寻找黑箱函数全局最优解的一种有效方法。最近,BO已被应用于神经结构搜索,并显示出比纯进化策略更好的性能。这些方法都采用高斯过程(GP)作为代理函数,以手工相似性度量作为输入。在这项工作中,我们提出了一个贝叶斯图神经网络作为一个新的代理,它可以自动从深度神经架构中提取特征,并使用这些学习到的特征来拟合和表征黑盒目标及其不确定性。基于新的代理,我们开发了一个图贝叶斯优化框架,以解决深度神经架构搜索的挑战性任务。实验结果表明,我们的方法显着优于基准任务的比较方法。
2019-05-14 cs.LG stat.ML
Langevin algorithms for very deep Neural Networks with application to image classification
Laboratoire de Probabilités, Statistique et Modélisation(概率、统计与建模实验室);Sorbonne Université(索邦大学)
训练非常深的神经网络是一项具有挑战性的任务,因为神经网络越深,它的非线性就越强。我们比较了各种预处理Langevin算法与非Langevin算法的性能,用于训练深度增加的神经网络。对于浅层神经网络,Langevin算法没有带来任何改进,但是网络越深,Langevin算法提供的增益越大。向梯度下降中添加噪声可以避免局部陷阱,这对于非常深的神经网络来说更常见。在此启发式之后,我们引入了一种新的Langevin算法,称为Layer Langevin,该算法仅将Langevin噪声添加到与最深层相关的权重。然后,我们证明了Langevin和Layer Langevin算法在训练图像分类的流行深度残差架构方面的优势。
2022-12-27 cs.LG stat.ML
DeepCough: A Deep Convolutional Neural Network in A Wearable Cough Detection System
Thayer School of Engineering(塞耶工程学院);Dartmouth College(达特茅斯学院)
在本文中,我们提出了一个系统,采用可穿戴的声学传感器和深度卷积神经网络检测咳嗽。我们评估了我们的系统对14名健康志愿者的性能,并将其与文献中报道的其他咳嗽检测系统进行比较。实验结果表明,我们的系统实现了95.1%的分类灵敏度和99.5%的特异性。
2015-09-08 cs.LG cs.NE
ResPerfNet: Deep Residual Learning for Regressional Performance Modeling of Deep Neural Networks
ADLINK New Taipei AI Lab(凌华科技新北人工智能实验室);National Taiwan University(台湾大学);National Cheng Kung University(国立成功大学)
计算技术的快速发展促进了各种深度学习应用的开发。不幸的是,并行计算基础设施的效率随着神经网络模型而变化很大,这阻碍了对设计空间的探索,以针对给定应用在特定计算平台上找到高性能神经网络架构。为了解决这样的挑战,我们提出了一种基于深度学习的方法ResPerfNet,该方法使用在目标平台上获得的代表性数据集训练残余神经网络,以预测深度神经网络的性能。我们的实验结果表明,ResPerfNet可以准确地预测各个神经网络层和各种平台上的完整网络模型的执行时间。特别是,ResPerfNet在NVIDIA GTX 1080 Ti上实现了LeNet,AlexNet和VGG 16的平均绝对百分比误差为8.4%,这大大低于之前发布的作品。
2020-12-03 cs.LG cs.PF
Neural Tangent Kernel Analysis of Deep Narrow Neural Networks
Seoul National University(首尔国立大学);Hongik University(弘益大学)
最近在分析过参数化神经网络的训练动态方面取得的巨大进展主要集中在宽网络上,因此没有充分解决深度在深度学习中的作用。在这项工作中,我们提出了无限深但窄神经网络的第一个可训练性保证。我们研究了具有特定初始化的多层感知器(MLP)的无限深度限制,并使用NTK理论建立了可训练性保证。然后,我们将分析扩展到无限深度卷积神经网络(CNN)并进行简短的实验。
2022-06-27 cs.LG math.OC stat.ML