An Investigation of Quantum Deep Clustering Framework with Quantum Deep SVM & Convolutional Neural Network Feature Extractor
Amity Institute of Information Technology(阿米提信息技术学院);Amity University(阿米提大学);Coventry University(考文垂大学)
在本文中,我们提出了一种深度量子SVM公式,并进一步展示了基于量子深度SVM公式、深度卷积神经网络和量子K-Means聚类的量子聚类框架。我们研究了所提出的量子深度聚类框架的运行时间计算复杂性,并与可能的经典实现进行了比较。我们的调查表明,所提出的量子版本的深度聚类公式显示出显着的性能增益(在许多部分指数加速增益)对可能的经典实现。所提出的理论量子深度聚类框架也是有趣的,是对量子经典机器学习公式的新颖研究,以表达最大的性能。
2019-09-21 cs.AI cs.LG stat.ML
Noise-Robust Deep Spiking Neural Networks with Temporal Information
Seoul National University(首尔大学);Institute of New Media and Communications, Seoul National University(首尔大学新媒体与通信研究所);ASRI and Interdisciplinary Program in Artificial Intelligence, Seoul National University(首尔大学自动系统研究所及人工智能跨学科项目)
脉冲神经网络(SNN)是一种具有时间信息的能量高效神经网络。SNN在神经形态设备上显示出优越的效率,但这些设备对噪声敏感,这阻碍了它们在现实世界中的应用。有几项研究提高了噪声鲁棒性,但大多数研究既没有考虑深度SNN,也没有考虑时间信息。在本文中,我们研究了噪声对各种神经编码方法的深度SNN的影响,并提出了一种具有时间信息的噪声鲁棒性深度SNN。通过所提出的方法,我们已经实现了一个深度SNN,它对尖峰删除和抖动是有效和鲁棒的。
2021-04-22 cs.AI cs.LG cs.NE
Verifying Properties of Binarized Deep Neural Networks
VMware Research(VMware研究院);Amazon(亚马逊);UNSW(新南威尔士大学);Data61
理解深度神经网络的属性是深度学习中的一个重要挑战。在本文中,我们在这个方向上迈出了一步,提出了一个严格的方法来验证一个流行的神经网络类,二进制神经网络的属性,使用成熟的布尔可满足性。我们的主要贡献是一个构造,创建一个表示的二进制神经网络作为一个布尔公式。我们的编码是深度神经网络的第一个精确布尔表示。使用这种编码,我们利用现代SAT求解器的功能以及提出的反例引导搜索程序来验证这些网络的各种属性。一个特别的重点将是对抗性扰动的鲁棒性的关键属性。对于这个属性,我们的实验结果表明,我们的方法可扩展到用于图像分类任务的中等大小的深度神经网络。据我们所知,这是第一个使用网络的精确布尔编码来验证深度神经网络属性的工作。
2018-05-31 cs.AI cs.CR cs.LG
Deep Loopy Neural Network Model for Graph Structured Data Representation Learning
Florida State University(佛罗里达州立大学)
现有的深度学习模型在处理图结构化数据时可能会遇到很大的挑战。在本文中,我们专门介绍了一种新的图形数据深度学习模型,即深度循环神经网络。与以前的深度模型显著不同的是,在深度循环神经网络内部,存在由输入图数据中节点之间的广泛连接所创建的大量循环,这使得模型学习成为不可行的任务。为了解决这个问题,本文将介绍一种新的学习算法的深度循环神经网络具体。在所提出的学习算法中,错误将通过一组提取的生成树中的边反向传播,而不是基于原始模型来学习模型变量。在实际图形数据集上进行了大量的数值实验,实验结果表明了所提出的模型和学习算法在处理图形数据时的有效性.
2019-09-05 cs.AI cs.LG cs.NE
DeepDyve: Dynamic Verification for Deep Neural Networks
The Chinese University of Hong Kong(香港中文大学)
深度神经网络(DNN)已经成为许多安全关键应用中的使能技术之一,例如,自动驾驶和医学图像分析。然而,DNN系统遭受各种威胁,例如对抗性示例攻击和故障注入攻击。虽然针对恶意制作的输入提出了许多防御方法,但针对DNN系统本身中存在的故障的解决方案(例如,参数和计算)的探索要少得多。在本文中,我们为基于DNN的系统开发了一种新的轻量级容错解决方案,即DeepDyve,它采用比原始DNN更简单和更小的预训练神经网络进行动态验证。实现这种轻量级检查的关键在于,较小的神经网络只需要为初始任务产生近似结果,而不会牺牲太多的故障覆盖率。我们开发了高效的架构和任务探索技术,以在DeepDyve中实现优化的风险/开销权衡。实验结果表明,DeepDyve可以在10%左右的开销下降低90%的风险。
2020-10-16 cs.AI cs.CR cs.LG
Overview of FPGA deep learning acceleration based on convolutional neural network
近年来,深度学习越来越成熟,而作为深度学习中的常用算法,卷积神经网络已经广泛应用于各种视觉任务中。过去,基于深度学习算法的研究主要依靠GPU、CPU等硬件。然而,随着FPGA的日益发展,无论是现场可编程逻辑门阵列,它已经成为结合各种神经网络深度学习算法的主要实现硬件平台。本文是一篇综述文章,主要介绍卷积的相关理论和算法。总结了现有的几种基于卷积神经网络的FPGA技术的应用场景,重点介绍了加速器的应用。同时,总结了一些加速器存在的逻辑资源利用率低或内存带宽利用率低,无法达到最佳性能的问题。
2020-12-23 cs.AI
Gradient Descent Finds Global Minima of Deep Neural Networks
Carnegie Mellon University(卡内基梅隆大学);University of Southern California(南加州大学);Peking University(北京大学);Beijing Institute of Big Data Research(北京大数据研究院);Massachusetts Institute of Technology(麻省理工学院)
梯度下降在训练深度神经网络时找到全局最小值,尽管目标函数是非凸的。本文证明了梯度下降在多项式时间内实现了具有剩余连接的深度过参数化神经网络(ResNet)的零训练损失。我们的分析依赖于由神经网络架构引起的Gram矩阵的特定结构。这种结构使我们能够证明Gram矩阵在整个训练过程中是稳定的,这种稳定性意味着梯度下降算法的全局最优性。我们进一步将我们的分析扩展到深度残差卷积神经网络,并获得了类似的收敛结果。
2019-05-28 cs.AI cs.CV cs.LG
Deep Neural Networks and Neuro-Fuzzy Networks for Intellectual Analysis of Economic Systems
Dorodnicyn Computing Centre(多罗德尼岑计算中心);Plekhanov Russian University of Economics(普列汉诺夫俄罗斯经济大学)
本文研究了基于深度神经网络和模糊神经网络的时间序列预测方法。此外,我们还简要回顾了基于ANFIS模型的各种预测研究。事实证明,深度学习是一种有效的方法,可以从复杂的数据源中进行高度准确的预测。此外,我们提出了我们的模型DL和神经模糊网络的这项任务。最后,我们展示了将这些模型用于数据科学任务的可能性。本文还概述了将基于规则的方法纳入深度学习神经网络的方法。
2020-11-11 cs.AI cs.NE econ.GN
Evolution in Groups: A deeper look at synaptic cluster driven evolution of deep neural networks
University of Waterloo(滑铁卢大学);DarwinAI
实现高效深度神经网络的一个有希望的范例是进化深度智能的想法,它模仿生物进化过程,逐步合成更高效的网络。进化深度智能的一个关键设计因素是用于模拟遗传和确定后代网络结构的遗传编码方案。在这项研究中,我们更深入地研究了突触簇驱动的深层神经网络进化的概念,它引导进化过程在后代网络中形成一组高度稀疏的突触簇。利用突触簇驱动的遗传编码,突触性状的概率编码不仅考虑个体突触特性,而且考虑深层神经网络内的突触间关系。该过程导致高度稀疏的后代网络,其特别适合于并行计算设备,例如GPU和深度神经网络加速器芯片。在两个不同的任务(对象分类和目标检测)上使用四种著名的深度神经网络架构(LeNet-5,AlexNet,ResNet-56和DetectNet)的综合实验结果证明了所提出的方法的效率。神经元驱动的遗传编码方案合成的网络,可以达到最先进的性能与显着更少的突触数量比原始祖先网络。(MNIST的突触减少$\sim$ 125倍)。此外,所生成的后代网络中的改进的集群效率(MNIST的集群中的$\sim$减少9.71倍,KITTI的集群中的$\sim$减少8.16倍)对于并行计算硬件架构(诸如GPU和深度神经网络加速器芯片中的并行计算硬件架构)上的加速性能特别有用。
2017-04-07 cs.AI cs.CV cs.NE
Deep Learning: From Basics to Building Deep Neural Networks with Python
本书面向不熟悉深度学习的初学者。我们对读者的唯一期望是他们已经掌握了Python的基本编程技能。
2022-04-22 cs.LG
DeepSearch: A Simple and Effective Blackbox Attack for Deep Neural Networks
MPI-SWS(马克斯·普朗克软件系统研究所)
尽管深度神经网络在图像分类任务中非常成功,但它们容易受到对抗攻击。为了生成对抗性输入,出现了各种各样的技术,例如针对神经网络的黑盒和白盒攻击。在本文中,我们提出了DeepSearch,这是一种针对图像分类器的新型基于模糊的,查询效率高的黑盒攻击。尽管它很简单,但DeepSearch在寻找对抗性输入方面比最先进的黑盒方法更有效。与这些方法相比,DeepSearch还能够生成最微妙的对抗性输入。
2020-08-15 cs.LG
Probabilistic Deep Learning with Probabilistic Neural Networks and Deep Probabilistic Models
IBM(国际商业机器公司)
概率深度学习是考虑不确定性的深度学习,包括模型不确定性和数据不确定性。它基于概率模型和深度神经网络的使用。我们区分了概率深度学习的两种方法:概率神经网络和深度概率模型。前者采用深度神经网络,其利用概率层来表示和处理不确定性;后者使用概率模型,其包含深度神经网络组件,这些组件捕获随机变量之间的复杂非线性随机关系。我们讨论了每种方法的一些主要例子,包括贝叶斯神经网络和混合密度网络(概率神经网络),以及变分自编码器,深度高斯过程和深度混合效应模型(深度概率模型)。TensorFlow Probability是一个用于概率建模和推理的库,可用于概率深度学习的两种方法。我们包括它的代码示例用于说明。
2021-06-09 cs.LG stat.ML
Are Deep Neural Networks "Robust"?
Rutgers University(罗格斯大学)
将离群值与内值分离是计算机视觉中鲁棒性的定义。本文描述了深度神经网络与典型的鲁棒估计器的不同之处。深度神经网络在传统定义下并不健壮。
2020-08-25 cs.CV cs.LG
Fixed-point optimization of deep neural networks with adaptive step size retraining
Seoul National University(首尔国立大学)
深度神经网络的定点优化在基于硬件的设计和低功耗实现中起着重要作用。许多深度神经网络在通过再训练微调量化权重时,即使具有2或3位精度也显示出相当好的性能。我们提出了一种改进的定点优化算法,估计量化步长动态再训练过程中。此外,还测试了一种渐进量化方案,该方案从高精度到低精度依次应用定点优化。针对前馈深度神经网络(FFDNN)、卷积神经网络(CNN)和递归神经网络(RNN)进行实验。
2017-02-27 cs.LG
Deep Neural Networks with Short Circuits for Improved Gradient Learning
IHPC A*STAR(A*STAR高性能计算研究所);Georgia State University(佐治亚州立大学)
深度神经网络在计算机视觉和自然语言处理任务中都取得了巨大成功。然而,大多数最先进的方法高度依赖于外部训练或计算来提高性能。为了减轻外部依赖,我们提出了一种梯度增强方法,由短路神经连接进行,以改善深度神经网络的梯度学习。所提出的短路是一个单向连接,单回传播的敏感从深层到浅层。此外,短路公式是其交叉层的梯度截断,其可以插入到骨干深层神经网络中,而无需引入外部训练参数。大量的实验表明,具有我们的短路的深度神经网络在计算机视觉和自然语言处理任务上都比基线有很大的优势。
2020-09-23 cs.LG
DeepCSHAP: Utilizing Shapley Values to Explain Deep Complex-Valued Neural Networks
University of Münster(明斯特大学)
本文提出DeepCSHAP,将Shapley值解释方法扩展到复值神经网络,并给出四种梯度解释方法,评估质量并开源。
2024-03-13 cs.LG
Convergence of Deep Convolutional Neural Networks
Old Dominion University(欧道明大学);Sun Yat-sen University(中山大学)
深度神经网络的收敛是建立深度学习数学基础的基础,因为网络的深度趋于无穷大。在之前的研究中,我们研究了具有固定宽度的深度ReLU网络的这个问题。这并不包括重要的卷积神经网络,其中的宽度从一层到另一层不断增加。出于这个原因,我们首先研究一般ReLU网络随着宽度增加的收敛性,然后将所得结果应用于深度卷积神经网络。事实证明,这种收敛性归结为矩阵大小不断增加的无限乘积的收敛性,而文献中尚未考虑过这一点。我们建立了这样的矩阵无穷乘积收敛的充分条件。基于这些条件,我们提出了一般深度ReLU网络随着宽度增加而分段收敛的充分条件,以及深度ReLU卷积神经网络的逐点收敛的充分条件。
2022-01-23 cs.LG
Backward Gradient Normalization in Deep Neural Networks
我们介绍了一种新的技术梯度归一化在神经网络训练。在反向传递期间,使用在网络架构内的某些点处引入的归一化层来重新缩放梯度。这些规范化节点不会影响前向活动传播,但会修改反向传播方程,以允许达到最深网络层的良好缩放梯度流,而不会出现消失或爆炸。对非常深的神经网络的测试结果表明,新技术可以做一个有效的控制梯度范数,允许在最深层的权重更新,并提高网络的精度在几个实验条件。
2021-06-17 cs.LG
Investigating Vulnerabilities of Deep Neural Policies
KTH Royal Institute of Technology(瑞典皇家理工学院)
基于深度神经网络的强化学习策略很容易受到对其输入的不可感知的对抗性扰动的影响,这与神经网络图像分类器的方式大致相同。最近的工作提出了几种方法来提高深度强化学习代理对对抗性扰动的鲁棒性,这些方法基于在存在这些不可感知的扰动的情况下进行训练(即对抗性训练)。在本文中,我们研究了对抗性训练对智能体学习神经策略的影响。特别是,我们遵循两种不同的并行方法来研究基于最坏情况分布偏移和特征敏感性的深度神经策略的对抗性训练的结果。对于第一种方法,我们比较了对抗训练和香草训练神经策略计算的最小扰动的傅立叶谱。通过OpenAI Atari环境中的实验,我们表明,针对对抗训练策略计算的最小扰动更集中在傅立叶域中的较低频率上,这表明这些策略对低频扰动具有更高的敏感性。对于第二种方法,我们提出了一种新的方法来测量深度神经策略的特征敏感性,并比较了最先进的对抗训练的深度神经策略和香草训练的深度神经策略中的这些特征敏感性差异。我们相信,我们的研究结果可以成为理解对抗性训练与神经策略的不同鲁棒性概念之间关系的第一步。
2021-08-30 cs.AI cs.CV cs.LG
Dynamics of Deep Neural Networks and Neural Tangent Hierarchy
IAS(高等研究院);Harvard University(哈佛大学)
通过梯度下降训练的深度神经网络的进化可以通过[20]中介绍的神经切线核(NTK)来描述,其中证明了在无限宽度限制下,NTK收敛到显式限制核,并且在训练期间保持不变。NTK也隐含在其他一些最近的论文中[6,13,14]。在过度参数化机制中,完全训练的深度神经网络实际上等同于使用限制NTK的核回归预测器。对于深度过参数化的神经网络,梯度下降实现了零训练损失。然而,在[5]中观察到,使用限制NTK的内核回归与深度神经网络之间存在性能差距。这种性能差距可能源于NTK随训练的变化,由于有限宽度效应。NTK在训练过程中的变化是描述深度神经网络泛化特征的核心。在本文中,我们研究了有限宽度深度全连接神经网络的NTK的动力学。我们推导出一个无限层次的常微分方程,神经切线层次(NTH),它捕获了深度神经网络的梯度下降动态。此外,在一定的条件下的神经网络的宽度和数据集的维数,我们证明了截断层次的NTH逼近动态的NTK到任意精度。这种描述使得直接研究深度神经网络的NTK的变化成为可能,并揭示了深度神经网络优于使用相应限制NTK的核回归的观察结果。
2019-09-18 cs.LG stat.ML
Deep Learning for Epidemiologists: An Introduction to Neural Networks
深度学习方法正越来越多地应用于医学和医疗保健领域的问题。然而,很少有流行病学家接受过这些方法的正式培训。为了弥合这一差距,本文从流行病学的角度介绍了深度学习的基本原理。具体来说,本文回顾了机器学习中的核心概念(过拟合、正则化、超参数),解释了几种基本的深度学习架构(卷积神经网络、递归神经网络),并总结了模型的训练、评估和部署。我们的目标是使读者能够参与并批判性地评估深度学习的医学应用,促进计算机科学家和流行病学家之间的对话,这将提高这项技术应用的安全性和有效性。
2022-02-02 cs.LG
Spurious Local Minima of Deep ReLU Neural Networks in the Neural Tangent Kernel Regime
National Institute of Advanced Industrial Science and Technology(产业技术综合研究所)
在本文中,我们从理论上证明了深度ReLU神经网络在神经切核(NTK)机制下的损失景观中不存在虚假的局部最小值,也就是说,在深度ReLU神经网络的梯度下降训练动态中,其参数由正态分布初始化,因为隐藏层的宽度趋于无穷大。
2022-05-18 cs.LG stat.ML
Deep Neural Networks - A Brief History
Virginia Commonwealth University(弗吉尼亚联邦大学);IITiS Polish Academy of Sciences(波兰科学院信息技术研究所)
介绍深度神经网络及其历史。
2017-01-19 cs.CV cs.LG cs.NE
A Survey: Time Travel in Deep Learning Space: An Introduction to Deep Learning Models and How Deep Learning Models Evolved from the Initial Ideas
Carnegie Mellon University(卡内基梅隆大学)
本报告将展示深度学习的发展历史。它将追溯到大脑的联结主义建模的最初信念,并回过头来看看它的早期实现:神经网络。以神经网络为背景,我们将逐步介绍作为深度判别模型代表的卷积神经网络是如何从神经网络发展而来的,以及许多有助于优化神经网络的实用技术。另一方面,我们也将追溯深度生成模型的演化历史,看看研究人员如何平衡表示能力和计算复杂度,以达到受限玻尔兹曼机,并最终达到深度信念网。此外,我们还将探讨利用神经网络对时间序列数据建模的发展历史。我们从时延神经网络开始,进一步发展到目前著名的递归神经网络及其扩展长短期记忆模型。我们还将简要介绍如何构建深度递归神经网络。最后,我们将以深度神经网络的一些有趣的开放式问题结束本报告。
2015-11-06 cs.LG cs.NE
Building Compact and Robust Deep Neural Networks with Toeplitz Matrices
Université Paris-Dauphine -- PSL Research University(巴黎第九大学(多菲纳大学)-- PSL研究大学)
深度神经网络在各种各样的任务中是最先进的,然而,它们表现出重要的限制,这阻碍了它们在现实世界应用中的使用和部署。在开发和训练神经网络时,精度不应该是唯一的关注点,神经网络还必须具有成本效益和可靠性。虽然精确,但大型神经网络通常缺乏这些特性。本文研究的问题是如何训练神经网络,使其不仅精度高,而且结构紧凑,易于训练,可靠性高,对对抗性样本具有较强的鲁棒性。为了解决这些问题,我们利用Toeplitz家族的结构化矩阵的属性来构建紧凑且安全的神经网络。
2021-09-02 cs.LG
Deepening Neural Networks Implicitly and Locally via Recurrent Attention Strategy
Sun Yat-sen University(中山大学);Guangdong University of Technology(广东工业大学)
越来越多的经验和理论证据表明,在合适的训练设置下,加深神经网络可以有效地提高其性能。然而,加深神经网络的主干将不可避免地显著增加计算和参数大小。为了缓解这些问题,我们提出了一个简单而有效的递归注意力策略(RAS),它隐式地增加了神经网络的深度与轻量级注意力模块的局部参数共享。在三个广泛使用的基准数据集上的大量实验表明,RAS可以提高神经网络的性能,在轻微增加的参数大小和计算,表现优于其他现有的知名的注意力模块。
2022-10-27 cs.LG
Dither is Better than Dropout for Regularising Deep Neural Networks
University of Surrey(萨里大学)
训练期间深度神经网络(DNN)的规则化对性能至关重要。到目前为止,最流行的方法被称为dropout。在这里,通过信号处理理论的棱镜投射,我们比较和对比dropout与抖动的正则化效果。我们说明了一些严重的固有局限性的辍学,并证明抖动提供了一个更有效的正则化。
2015-08-26 cs.LG
Exponential Convergence of the Deep Neural Network Approximation for Analytic Functions
Princeton University(普林斯顿大学);Peking University(北京大学);Beijing Institute of Big Data Research(北京大数据研究院)
我们证明了对于低维解析函数,深度神经网络逼近的收敛速度是指数的。
2018-07-01 cs.LG stat.ML
Understanding Deep Neural Networks Using Topological Data Analysis
Cornell University(康奈尔大学);Air Force Research Laboratory(美国空军研究实验室)
深度神经网络(DNN)是黑箱算法。它们使用梯度下降反向传播技术进行训练,该技术训练每层中的权重,以最小化训练误差。因此,无法直接解释由此产生的权重。使用拓扑数据分析(TDA),我们可以深入了解神经网络是如何思考的,特别是通过分析验证图像通过每一层时的激活值。
2018-10-31 cs.LG
Structure and Distribution Metric for Quantifying the Quality of Uncertainty: Assessing Gaussian Processes, Deep Neural Nets, and Deep Neural Operators for Regression
Massachusetts Institute of Technology(麻省理工学院)
我们提出了两个有界的比较指标,可以实现任意尺寸的回归任务。一个是量化不确定性的结构,另一个是量化不确定性的分布。结构度量评估不确定性的形状和位置与真实误差的相似性,而分布度量量化两者之间的支持幅度。我们将这些指标应用于高维和非线性测试用例中的高斯过程(GP),嵌入式深度神经网络(DNN)和嵌入式深度神经运算符(DNO)。我们发现,比较模型的不确定性估计与模型的平方误差提供了一个令人信服的地面真相评估。我们还观察到,DNN和DNO,特别是与GP相比,在高维数据中提供了令人鼓舞的度量值,无论是稀疏还是丰富的数据。
2022-03-09 cs.LG stat.ML
A Unified Framework of Deep Neural Networks by Capsules
College of Computer Science(计算机学院);Faculty of Information Technology(信息技术学院);Beijing University of Technology(北京工业大学)
随着深度学习的发展,如何统一地描述深度神经网络正成为一个重要的问题。我们首先用有向图表示形式化了神经网络,并证明了一个关于连通有向无环图诱导网络的生成定理。然后,我们用胶囊网络建立了一个统一的深度学习框架。该框架简化了现有深度神经网络的描述,为深度学习模型的图形化设计和编程技术提供了理论基础,对深度学习的发展具有重要意义。
2018-05-10 cs.LG stat.ML
Convergence of Deep Neural Networks with General Activation Functions and Pooling
深度神经网络作为一种表示高维复杂函数的强大系统,在深度学习中发挥着关键作用。深度神经网络的收敛是为深度学习建立数学基础的基本问题。我们在最近的两项研究中研究了深度ReLU网络和深度卷积神经网络的收敛性(arXiv:2107.12530,2109.13542)。其中仅研究了整流线性单元(ReLU)激活,而没有考虑重要的池化策略。在目前的工作中,我们研究了深度神经网络的收敛性,因为深度趋于无穷大,另外两个重要的激活函数:泄漏ReLU和sigmoid函数。还将研究合并。因此,我们证明了arXiv:2107.12530,2109.13542中建立的充分条件对于泄漏ReLU网络仍然是充分的。对于收缩激活函数,如sigmoid函数,我们建立了一个较弱的深度神经网络一致收敛的充分条件。
2022-10-01 cs.LG math.FA
Emergent weight morphologies in deep neural networks
Ludwig-Maximilians-Universität München(慕尼黑大学)
本文通过类比凝聚态物理推导理论,证明深度神经网络训练中会涌现出独立于训练数据的周期性权重结构,并通过多数据集数值实验验证,揭示了涌现现象对网络性能的影响。
2025-04-10 cond-mat.dis-nn cs.LG
Uniform Convergence of Deep Neural Networks with Lipschitz Continuous Activation Functions and Variable Widths
Old Dominion University(奥尔多明尼恩大学);Sun Yat-sen University(中山大学)
本文研究可变宽度深度神经网络在层数趋于无穷时的一致收敛性,给出权重、偏置与 Lipschitz 常数的充分条件,并推广至固定、有界、无界宽度及卷积神经网络。
2023-06-02 cs.LG
Deep Neural Networks for Pattern Recognition
Jet Propulsion Laboratory, California Institute of Technology(加州理工学院喷气推进实验室)
在模式识别研究领域,使用基于改进的计算硬件的深度神经网络的方法最近受到关注,因为与传统方法相比,其具有更高的精度。深度神经网络模拟人类视觉系统,在图像分类、目标检测和分割方面达到与人类相当的精度。本章介绍模拟人类神经网络的深度神经网络的基本结构。然后,我们确定的操作过程和应用的条件生成对抗网络,这是正在积极研究的基础上自下而上和自上而下的机制,人类视觉感知过程中最重要的功能。最后,讨论了复杂深度神经网络有效学习的训练策略的最新发展。
2018-09-25 cs.CV cs.LG
Leapfrogging for parallelism in deep neural networks
我们提出了一种技术,我们称之为蛙跳,在深度神经网络中并行化反向传播。我们表明,这种技术产生的储蓄$1-1/k$的一个主要术语在反向传播,其中k是线程(或GPU)的数量。
2018-01-15 cs.DC cs.LG
Convex Formulation of Overparameterized Deep Neural Networks
Shenzhen Research Institute of Big Data(深圳大数据研究院);Princeton University(普林斯顿大学);HKUST(香港科技大学)
过参数神经网络的分析近年来引起了人们的广泛关注。结果表明,这种系统的行为像凸系统下各种restrictedsettings,如两个层次的神经网络,当学习只局限于本地在所谓的神经切线核空间周围专门的初始化。然而,没有理论技术可以分析在实践中遇到的完全训练的深度神经网络。本文通过研究这种经过充分训练的过参数化深度神经网络来解决这个基本问题。我们推广了一种称为神经特征重新填充的新技术,最初在(Fang et al.,2019 a)用于两级神经网络,以分析深度神经网络。研究表明,在合适的表示下,过参数化深度神经网络本质上是凸的,当优化时,系统可以在温和的条件下学习适合底层学习任务的有效特征。这种新的分析与经验观察一致,即深度神经网络能够学习有效的特征表示。因此,这篇论文高度出乎意料的结果可以令人满意地解释深度神经网络的实际成功。实证研究证实,我们的理论预测是一致的,在实践中观察到的结果。
2019-11-18 cs.LG stat.ML
Neural Tangent Kernel Analysis of Deep Narrow Neural Networks
Seoul National University(首尔国立大学);Hongik University(弘益大学)
最近在分析过参数化神经网络的训练动态方面取得的巨大进展主要集中在宽网络上,因此没有充分解决深度在深度学习中的作用。在这项工作中,我们提出了无限深但窄神经网络的第一个可训练性保证。我们研究了具有特定初始化的多层感知器(MLP)的无限深度限制,并使用NTK理论建立了可训练性保证。然后,我们将分析扩展到无限深度卷积神经网络(CNN)并进行简短的实验。
2022-06-27 cs.LG math.OC stat.ML
Universality of Deep Convolutional Neural Networks
City University of Hong Kong(香港城市大学)
深度学习已经在语音识别、计算机视觉和许多其他领域得到了广泛应用并带来了突破。所涉及的深度神经网络架构和计算问题已经在机器学习中得到了很好的研究。但是,对于理解由诸如具有卷积结构的深度卷积神经网络之类的网络架构生成的深度学习方法的近似或泛化能力,缺乏理论基础。在这里,我们证明了深度卷积神经网络(CNN)是通用的,这意味着当神经网络的深度足够大时,它可以用来近似任何连续函数到任意精度。这回答了学习理论中的一个开放性问题。我们的定量估计,严格按照要计算的自由参数的数量给出,验证了深度CNN在处理高维数据时的效率。我们的研究还证明了卷积在深度CNN中的作用。
2018-07-20 cs.LG stat.ML
Deep Neural Architecture Search with Deep Graph Bayesian Optimization
Jilin University(吉林大学);Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education(教育部符号计算与知识工程重点实验室)
贝叶斯优化(BO)是寻找黑箱函数全局最优解的一种有效方法。最近,BO已被应用于神经结构搜索,并显示出比纯进化策略更好的性能。这些方法都采用高斯过程(GP)作为代理函数,以手工相似性度量作为输入。在这项工作中,我们提出了一个贝叶斯图神经网络作为一个新的代理,它可以自动从深度神经架构中提取特征,并使用这些学习到的特征来拟合和表征黑盒目标及其不确定性。基于新的代理,我们开发了一个图贝叶斯优化框架,以解决深度神经架构搜索的挑战性任务。实验结果表明,我们的方法显着优于基准任务的比较方法。
2019-05-14 cs.LG stat.ML
Langevin algorithms for very deep Neural Networks with application to image classification
Laboratoire de Probabilités, Statistique et Modélisation(概率、统计与建模实验室);Sorbonne Université(索邦大学)
训练非常深的神经网络是一项具有挑战性的任务,因为神经网络越深,它的非线性就越强。我们比较了各种预处理Langevin算法与非Langevin算法的性能,用于训练深度增加的神经网络。对于浅层神经网络,Langevin算法没有带来任何改进,但是网络越深,Langevin算法提供的增益越大。向梯度下降中添加噪声可以避免局部陷阱,这对于非常深的神经网络来说更常见。在此启发式之后,我们引入了一种新的Langevin算法,称为Layer Langevin,该算法仅将Langevin噪声添加到与最深层相关的权重。然后,我们证明了Langevin和Layer Langevin算法在训练图像分类的流行深度残差架构方面的优势。
2022-12-27 cs.LG stat.ML
DeepCough: A Deep Convolutional Neural Network in A Wearable Cough Detection System
Thayer School of Engineering(塞耶工程学院);Dartmouth College(达特茅斯学院)
在本文中,我们提出了一个系统,采用可穿戴的声学传感器和深度卷积神经网络检测咳嗽。我们评估了我们的系统对14名健康志愿者的性能,并将其与文献中报道的其他咳嗽检测系统进行比较。实验结果表明,我们的系统实现了95.1%的分类灵敏度和99.5%的特异性。
2015-09-08 cs.LG cs.NE
ResPerfNet: Deep Residual Learning for Regressional Performance Modeling of Deep Neural Networks
ADLINK New Taipei AI Lab(凌华科技新北人工智能实验室);National Taiwan University(台湾大学);National Cheng Kung University(国立成功大学)
计算技术的快速发展促进了各种深度学习应用的开发。不幸的是,并行计算基础设施的效率随着神经网络模型而变化很大,这阻碍了对设计空间的探索,以针对给定应用在特定计算平台上找到高性能神经网络架构。为了解决这样的挑战,我们提出了一种基于深度学习的方法ResPerfNet,该方法使用在目标平台上获得的代表性数据集训练残余神经网络,以预测深度神经网络的性能。我们的实验结果表明,ResPerfNet可以准确地预测各个神经网络层和各种平台上的完整网络模型的执行时间。特别是,ResPerfNet在NVIDIA GTX 1080 Ti上实现了LeNet,AlexNet和VGG 16的平均绝对百分比误差为8.4%,这大大低于之前发布的作品。
2020-12-03 cs.LG cs.PF
Theoretical Analysis of the Advantage of Deepening Neural Networks
Faculty of Science;Engineering Waseda University Tokyo, Japan;Center for Data Science Waseda University Tokyo, Japan
本研究提出两个独立于学习效率评估深度神经网络表达能力的准则,从逼近精度和线性区域性质角度分析,证明增加层数比增加每层单元数更能提升网络表达能力。
2020-09-24 cs.LG cs.NE stat.ML
Steps Toward Deep Kernel Methods from Infinite Neural Networks
University of Haifa(海法大学);MIT(麻省理工学院)
当代深度神经网络在实际问题上表现出令人印象深刻的结果。这些网络推广良好,虽然其固有的能力可能会大大超出训练样本的数量。我们在深层无限神经网络的背景下分析这种行为。我们发现,深无限层自然与高斯过程和内核方法对齐,并设计随机内核编码这些网络的信息。我们表明,稳定性的结果适用,尽管大小,提供了一个解释他们的经验成功。
2015-09-02 cs.LG cs.NE
Approximation smooth and sparse functions by deep neural networks without saturation
Xi'an University of Technology(西安理工大学)
构造用于函数逼近的神经网络是逼近理论中一个经典而又长久的课题。本文旨在构造具有三个隐藏层的深度神经网络(简称深度网络)来逼近光滑和稀疏函数。特别地,我们证明了所构造的深度网在逼近光滑函数和稀疏函数时都能达到最优逼近率,且自由参数的大小可控。由于描述逼近瓶颈的饱和是构造性神经网络难以克服的问题,我们还证明了只增加一层隐层的神经网络深化可以避免饱和。所获得的结果支持了深度网络的优势,并为深度学习提供了理论解释。
2020-01-13 cs.IT cs.LG math.IT
DeepStreamCE: A Streaming Approach to Concept Evolution Detection in Deep Neural Networks
Birmingham City University(伯明翰城市大学)
深度神经网络已经在实验中证明了在决策预测方面优于其他机器学习方法的性能。然而,一个主要的问题是训练类的分类决策的闭集性质,这可能会在安全关键系统中产生严重的后果。当深度神经网络处于流式传输环境中时,需要对该分类进行快速解释以确定分类结果是否可信。当深度神经网络的输入数据随时间变化时,可能会发生不可信分类。一种可能发生的变化是概念进化,其中引入了一个新的类,而深度神经网络没有在其上进行训练。在大多数深度神经网络架构中,唯一的选择是将此实例分配给它在其上进行训练的类之一,这是不正确的。本研究的目的是检测流中新类的到达。现有的解释深度神经网络的工作通常集中在神经元激活,以提供视觉解释和特征提取。我们的新方法,创造了DeepStreamCE,使用流方法在深度神经网络中进行实时概念进化检测。DeepStreamCE在离线阶段使用自动编码器和基于MCOD流的聚类来应用神经元激活减少。两个输出都用于在线阶段,以分析进化流中的神经元激活,从而实时的检测概念进化的发生。我们通过在CIFAR-10数据集的数据组合上训练VGG 16卷积神经网络来评估DeepStreamCE,并提供一些类作为概念进化。为了进行比较,我们将数据和VGG 16网络应用于开放集深度网络解决方案- OpenMax。DeepStreamCE在识别我们数据集的概念演变时优于OpenMax。
2020-04-08 cs.LG stat.ML
Dichotomize and Generalize: PAC-Bayesian Binary Activated Deep Neural Networks
Université Laval(拉瓦尔大学);Inria(法国国家信息与自动化研究所);University College London(伦敦大学学院)
我们提出了一个全面的研究多层神经网络与二进制激活,依赖于PAC贝叶斯理论。我们的贡献是双重的:(i)我们开发了一个端到端的框架来训练二进制激活的深度神经网络,(ii)我们为二进制激活的深度神经网络提供了非空的PAC-贝叶斯泛化界。我们的结果是通过最小化二进制激活的深度神经网络的结构相关聚合的预期损失来获得的。我们的分析内在地克服了二元激活函数不可微的事实。我们的方法的性能进行了评估,在现实生活中的数据集上的一个彻底的数值实验协议。
2020-02-04 cs.LG stat.ML
Exploring the Imposition of Synaptic Precision Restrictions For Evolutionary Synthesis of Deep Neural Networks
University of Waterloo(滑铁卢大学)
深度神经网络取得令人难以置信的成功的一个关键因素是大规模并行计算设备的显著增长,使研究人员能够大大增加深度神经网络的大小和深度,从而显著提高建模精度。虽然更深、更大或更复杂的深度神经网络已经显示出相当大的前景,但这种网络的计算复杂性是在资源匮乏的情况下利用的主要障碍。我们在进化的深度智能框架内探索了深度神经网络在形成有效的深度神经网络架构中的突触发生,其中引入了概率生成建模策略,以随机合成越来越高效且有效的后代深度神经网络,以概率的方式模仿遗传,随机突变和自然选择等进化过程。在这项研究中,我们主要探讨突触精度限制的施加及其对深度神经网络进化合成的影响,以合成更有效的网络架构,为资源匮乏的情况下量身定制。实验结果表明,突触效率(基于GoogLeNet的DetectNet降低了约10倍)和推理速度(基于GoogLeNet的DetectNet增加了> 5倍)得到了显着改善,同时保持了建模精度。
2017-07-01 cs.CV cs.LG cs.NE
Genetic Algorithms for Evolving Deep Neural Networks
Bar-Ilan University(巴伊兰大学);Tel Aviv University(特拉维夫大学)
近年来,应用无监督学习来训练神经网络深层的深度学习方法在众多领域取得了显著的成果。在过去,许多基于遗传算法的方法已经成功地应用于训练神经网络。在本文中,我们扩展了以前的工作,并提出了一个遗传算法辅助的方法进行深度学习。我们的实验结果表明,这种GA辅助的方法提高了深度自动编码器的性能,产生了更稀疏的神经网络。
2017-11-21 cs.LG cs.NE stat.ML
Characterizing the Decision Boundary of Deep Neural Networks
Michigan State University(密歇根州立大学)
深度神经网络,特别是深度神经分类器已经成为许多现代应用的组成部分。尽管它们在实践中取得了成功,但我们对它们如何工作的了解仍然有限,对这种了解的需求正在不断增长。在这方面,深度神经网络分类器可以帮助我们加深对其决策行为的了解的一个关键方面是调查其决策边界。然而,这取决于是否能够接触到决策边界附近区域的样本。为了实现这一点,我们提出了一种新的方法,我们称之为深度决策边界实例生成(DeepDIG)。DeepDIG利用基于对抗性示例生成的方法作为在任何深度神经网络模型的决策边界附近生成样本的有效方式。然后,我们引入了一组重要的原则性特征,这些特征利用决策边界附近生成的实例来提供对深度神经网络的多方面理解。我们在各种深度神经网络模型的多个代表性数据集上进行了广泛的实验,并描述了它们的决策边界。该代码可在https://github.com/hamidkarimi/DeepDIG/上公开获取。
2020-06-03 cs.CV cs.LG stat.ML
SelectiveNet: A Deep Neural Network with an Integrated Reject Option
Technion - Israel Institute of Technology(以色列理工学院)
我们考虑了深度神经网络中的选择性预测(也称为拒绝选项)问题,并引入了SelectiveNet,这是一种具有集成拒绝选项的深度神经架构。现有的拒绝机制主要基于预先训练的网络的预测置信度的阈值。相比之下,SelectiveNet经过训练,可以同时优化分类(或回归)和拒绝,端到端。结果是在覆盖域上优化的深度神经网络。在我们的实验中,我们在几个著名的分类和回归数据集上显示了持续改进的风险覆盖权衡,从而达到了深度选择性分类的最新结果。
2019-06-26 cs.LG stat.ML
Smooth function approximation by deep neural networks with general activation functions
Seoul National University(首尔大学)
人们对深度神经网络的表达能力越来越感兴趣。然而,关于这个主题的大多数现有工作只关注特定的激活函数,如ReLU或sigmoid。在本文中,我们研究了具有广泛激活函数的深度神经网络的逼近能力。这类激活函数包含了大多数常用的激活函数。我们推导出所需的深度,宽度和稀疏性的深度神经网络,以近似任何Hölder光滑函数到一个给定的近似误差的大类激活函数。基于我们的近似误差分析,我们推导出在回归和分类问题中具有一般激活函数的深度神经网络估计的极大极小最优性。
2019-06-27 cs.LG stat.ML
Hyperbolic Deep Neural Networks: A Survey
University of Oulu(奥卢大学)
近年来,双曲空间中的深度表示学习因其对具有层次结构的知识图谱或同义词层次等数据的建模能力而受到越来越多的关注。在本文中,我们将该模型称为双曲深度神经网络。这样的双曲神经结构可能导致非常紧凑的模型,比欧几里得空间中的模型具有更多的物理可解释性。为了促进未来的研究,本文对双曲深度神经网络构建中的神经组件以及双曲空间的领先深度方法的推广进行了一致和全面的文献综述。它还介绍了围绕几个公开数据集上的各种机器学习任务的当前应用,以及有见地的观察和识别开放问题和有前途的未来方向。
2021-02-17 cs.CV cs.LG