Convex Formulation of Overparameterized Deep Neural Networks
Shenzhen Research Institute of Big Data(深圳大数据研究院);Princeton University(普林斯顿大学);HKUST(香港科技大学)
过参数神经网络的分析近年来引起了人们的广泛关注。结果表明,这种系统的行为像凸系统下各种restrictedsettings,如两个层次的神经网络,当学习只局限于本地在所谓的神经切线核空间周围专门的初始化。然而,没有理论技术可以分析在实践中遇到的完全训练的深度神经网络。本文通过研究这种经过充分训练的过参数化深度神经网络来解决这个基本问题。我们推广了一种称为神经特征重新填充的新技术,最初在(Fang et al.,2019 a)用于两级神经网络,以分析深度神经网络。研究表明,在合适的表示下,过参数化深度神经网络本质上是凸的,当优化时,系统可以在温和的条件下学习适合底层学习任务的有效特征。这种新的分析与经验观察一致,即深度神经网络能够学习有效的特征表示。因此,这篇论文高度出乎意料的结果可以令人满意地解释深度神经网络的实际成功。实证研究证实,我们的理论预测是一致的,在实践中观察到的结果。
2019-11-18 cs.LG stat.ML
Universality of Deep Convolutional Neural Networks
City University of Hong Kong(香港城市大学)
深度学习已经在语音识别、计算机视觉和许多其他领域得到了广泛应用并带来了突破。所涉及的深度神经网络架构和计算问题已经在机器学习中得到了很好的研究。但是,对于理解由诸如具有卷积结构的深度卷积神经网络之类的网络架构生成的深度学习方法的近似或泛化能力,缺乏理论基础。在这里,我们证明了深度卷积神经网络(CNN)是通用的,这意味着当神经网络的深度足够大时,它可以用来近似任何连续函数到任意精度。这回答了学习理论中的一个开放性问题。我们的定量估计,严格按照要计算的自由参数的数量给出,验证了深度CNN在处理高维数据时的效率。我们的研究还证明了卷积在深度CNN中的作用。
2018-07-20 cs.LG stat.ML
Deep Neural Architecture Search with Deep Graph Bayesian Optimization
Jilin University(吉林大学);Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education(教育部符号计算与知识工程重点实验室)
贝叶斯优化(BO)是寻找黑箱函数全局最优解的一种有效方法。最近,BO已被应用于神经结构搜索,并显示出比纯进化策略更好的性能。这些方法都采用高斯过程(GP)作为代理函数,以手工相似性度量作为输入。在这项工作中,我们提出了一个贝叶斯图神经网络作为一个新的代理,它可以自动从深度神经架构中提取特征,并使用这些学习到的特征来拟合和表征黑盒目标及其不确定性。基于新的代理,我们开发了一个图贝叶斯优化框架,以解决深度神经架构搜索的挑战性任务。实验结果表明,我们的方法显着优于基准任务的比较方法。
2019-05-14 cs.LG stat.ML
Langevin algorithms for very deep Neural Networks with application to image classification
Laboratoire de Probabilités, Statistique et Modélisation(概率、统计与建模实验室);Sorbonne Université(索邦大学)
训练非常深的神经网络是一项具有挑战性的任务,因为神经网络越深,它的非线性就越强。我们比较了各种预处理Langevin算法与非Langevin算法的性能,用于训练深度增加的神经网络。对于浅层神经网络,Langevin算法没有带来任何改进,但是网络越深,Langevin算法提供的增益越大。向梯度下降中添加噪声可以避免局部陷阱,这对于非常深的神经网络来说更常见。在此启发式之后,我们引入了一种新的Langevin算法,称为Layer Langevin,该算法仅将Langevin噪声添加到与最深层相关的权重。然后,我们证明了Langevin和Layer Langevin算法在训练图像分类的流行深度残差架构方面的优势。
2022-12-27 cs.LG stat.ML
DeepStreamCE: A Streaming Approach to Concept Evolution Detection in Deep Neural Networks
Birmingham City University(伯明翰城市大学)
深度神经网络已经在实验中证明了在决策预测方面优于其他机器学习方法的性能。然而,一个主要的问题是训练类的分类决策的闭集性质,这可能会在安全关键系统中产生严重的后果。当深度神经网络处于流式传输环境中时,需要对该分类进行快速解释以确定分类结果是否可信。当深度神经网络的输入数据随时间变化时,可能会发生不可信分类。一种可能发生的变化是概念进化,其中引入了一个新的类,而深度神经网络没有在其上进行训练。在大多数深度神经网络架构中,唯一的选择是将此实例分配给它在其上进行训练的类之一,这是不正确的。本研究的目的是检测流中新类的到达。现有的解释深度神经网络的工作通常集中在神经元激活,以提供视觉解释和特征提取。我们的新方法,创造了DeepStreamCE,使用流方法在深度神经网络中进行实时概念进化检测。DeepStreamCE在离线阶段使用自动编码器和基于MCOD流的聚类来应用神经元激活减少。两个输出都用于在线阶段,以分析进化流中的神经元激活,从而实时的检测概念进化的发生。我们通过在CIFAR-10数据集的数据组合上训练VGG 16卷积神经网络来评估DeepStreamCE,并提供一些类作为概念进化。为了进行比较,我们将数据和VGG 16网络应用于开放集深度网络解决方案- OpenMax。DeepStreamCE在识别我们数据集的概念演变时优于OpenMax。
2020-04-08 cs.LG stat.ML
Dichotomize and Generalize: PAC-Bayesian Binary Activated Deep Neural Networks
Université Laval(拉瓦尔大学);Inria(法国国家信息与自动化研究所);University College London(伦敦大学学院)
我们提出了一个全面的研究多层神经网络与二进制激活,依赖于PAC贝叶斯理论。我们的贡献是双重的:(i)我们开发了一个端到端的框架来训练二进制激活的深度神经网络,(ii)我们为二进制激活的深度神经网络提供了非空的PAC-贝叶斯泛化界。我们的结果是通过最小化二进制激活的深度神经网络的结构相关聚合的预期损失来获得的。我们的分析内在地克服了二元激活函数不可微的事实。我们的方法的性能进行了评估,在现实生活中的数据集上的一个彻底的数值实验协议。
2020-02-04 cs.LG stat.ML
SelectiveNet: A Deep Neural Network with an Integrated Reject Option
Technion - Israel Institute of Technology(以色列理工学院)
我们考虑了深度神经网络中的选择性预测(也称为拒绝选项)问题,并引入了SelectiveNet,这是一种具有集成拒绝选项的深度神经架构。现有的拒绝机制主要基于预先训练的网络的预测置信度的阈值。相比之下,SelectiveNet经过训练,可以同时优化分类(或回归)和拒绝,端到端。结果是在覆盖域上优化的深度神经网络。在我们的实验中,我们在几个著名的分类和回归数据集上显示了持续改进的风险覆盖权衡,从而达到了深度选择性分类的最新结果。
2019-06-26 cs.LG stat.ML
Smooth function approximation by deep neural networks with general activation functions
Seoul National University(首尔大学)
人们对深度神经网络的表达能力越来越感兴趣。然而,关于这个主题的大多数现有工作只关注特定的激活函数,如ReLU或sigmoid。在本文中,我们研究了具有广泛激活函数的深度神经网络的逼近能力。这类激活函数包含了大多数常用的激活函数。我们推导出所需的深度,宽度和稀疏性的深度神经网络,以近似任何Hölder光滑函数到一个给定的近似误差的大类激活函数。基于我们的近似误差分析,我们推导出在回归和分类问题中具有一般激活函数的深度神经网络估计的极大极小最优性。
2019-06-27 cs.LG stat.ML
Sup-Norm Convergence of Deep Neural Network Estimator for Nonparametric Regression by Adversarial Training
The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
本文针对非参数回归中深度神经网络估计器难以实现上确界范数收敛的问题,提出带校正的对抗训练方案,证明其能达到上确界范数意义下的最优速率,并通过实验验证理论结果。
2023-07-08 cs.LG stat.ML
Generalization bounds for neural ordinary differential equations and deep residual networks
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Laboratoire de Probabilités, Statistique et Modélisation(概率、统计与建模实验室)
本文针对连续时间参数的神经常微分方程及相应深度残差网络,基于Lipschitz论证推导泛化界,并数值验证权重差异对泛化能力的影响。
2023-10-11 cs.LG stat.ML
Embedding Differentiable Sparsity into Deep Neural Network
ETRI(韩国电子通信研究院)
在本文中,我们提出将稀疏性嵌入到深度神经网络的结构中,其中模型参数在使用随机梯度下降进行训练期间可以精确为零。因此,它可以同时学习网络的稀疏结构和权值。所提出的方法可以学习结构化以及非结构化稀疏性。
2020-06-23 cs.LG stat.ML
Deep Neural Networks as Point Estimates for Deep Gaussian Processes
University of Cambridge(剑桥大学);Secondmind;Amazon(亚马逊);Imperial College London(伦敦帝国学院);Google Brain(谷歌大脑)
神经网络和高斯过程在它们的优点和缺点上是互补的。更好地理解它们之间的关系意味着承诺让每种方法都能从另一种方法的优势中受益。在这项工作中,我们建立了神经网络和(深)稀疏高斯过程模型的前向传递之间的等价性。我们开发的理论是基于解释激活函数作为域间诱导功能,通过激活函数和内核之间的相互作用的严格分析。这导致模型既可以被视为具有改进的不确定性预测的神经网络,也可以被视为具有提高的预测精度的深度高斯过程。这些主张得到了回归和分类数据集上的实验结果的支持。
2021-12-09 cs.LG stat.ML
Neural Optimization Kernel: Towards Robust Deep Learning
Australian Artificial Intelligence Institute(澳大利亚人工智能研究所);University of Technology Sydney(悉尼科技大学)
深度神经网络(NN)在许多应用中取得了巨大的成功。然而,为什么深度神经网络在过度参数化状态下获得良好的泛化能力仍然不清楚。为了更好地理解深度NN,我们建立了深度NN和一个新的内核家族之间的联系,即,神经优化内核(NOK)。NOK的结构化近似的架构执行隐式正则化问题的单调下降更新。我们可以通过使用不同的激活函数来隐式地选择正则化问题,例如,ReLU、最大池化和软阈值。我们进一步建立了一个新的泛化界,我们的深度结构近似NOK架构。我们的无监督结构化近似NOK块可以作为一个简单的插件流行的骨干,对输入噪声的良好推广。
2021-12-01 cs.LG stat.ML
Hands-on Bayesian Neural Networks -- a Tutorial for Deep Learning Users
University of Western Australia(西澳大学);Murdoch University(莫道克大学);Monash University(莫纳什大学)
现代深度学习方法是解决无数挑战性问题的强大工具。然而,由于深度学习方法作为黑箱运行,因此与其预测相关的不确定性通常难以量化。贝叶斯统计提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和一个完整的工具集,用于设计,实施,训练,使用和评估贝叶斯神经网络,即使用贝叶斯方法训练的随机人工神经网络。
2022-01-03 cs.LG stat.ML
On the rate of convergence of a deep recurrent neural network estimate in a regression problem with dependent data
Technische Universität Darmstadt(达姆施塔特工业大学);Concordia University(康考迪亚大学)
考虑了一类非独立数据的回归问题。正则性假设的依赖性的数据进行了介绍,它表明,在适当的结构假设的回归函数的深度循环神经网络估计是能够规避灾难的维数。
2020-10-31 cs.LG stat.ML
Universal approximations of permutation invariant/equivariant functions by deep neural networks
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Keio University(庆应义塾大学);École Normale Supérieure Paris-Saclay(巴黎萨克雷高等师范学院)
在本文中,我们发展了一个理论之间的关系$G$不变/等变函数和深度神经网络有限群$G$。特别地,对于一个给定的$G$ -不变/等变函数,我们通过深度神经网络构造了它的通用逼近器,该深度神经网络的层装备了$G$ -作用,并且每个仿射变换都是$G$ -等变/不变的。由于表示理论,我们可以证明,这个近似有指数更少的自由参数比通常的模型。
2019-09-26 cs.LG stat.ML
Power Law in Sparsified Deep Neural Networks
Department of Computer Science and Engineering(计算机科学与工程系);Hong Kong University of Science and Technology(香港科技大学)
在许多生物神经网络的度分布中都观察到幂律。稀疏深度神经网络从数据中学习经济的表示,在许多方面类似于生物神经网络。在本文中,我们研究这些人工网络是否也表现出幂律性质。在两种流行的深度学习模型,即多层感知器和卷积神经网络上的实验结果是肯定的。幂律也自然地与优先依附有关。为了研究深度网络在持续学习中的动力学性质,我们提出了一个内部偏好连接模型来解释网络拓扑结构的演变。实验结果表明,随着新任务的到来,新的连接遵循这种优先连接过程。
2018-05-04 cs.LG stat.ML
Traffic map prediction using UNet based deep convolutional neural network
本文描述了我们基于UNet的深度卷积神经网络方法在2019年的Jumic4cast挑战赛上的应用。挑战性的任务是在高分辨率的城市地图上预测未来的交通流量、航向和速度。我们使用基于UNet的深度卷积神经网络训练预测模型进行短期交通预测。在每个卷积块上,层与后续层紧密连接,就像DenseNet一样。通过对从世界上三个不同城市收集的真实世界数据集进行训练和评估,我们的方法在这一挑战中取得了最佳表现。
2019-11-25 cs.LG stat.ML
Distributed learning of deep neural network over multiple agents
Massachusetts Institute of Technology(麻省理工学院)
在医疗保健和金融等领域,标记数据和计算资源的短缺是开发机器学习算法的关键问题。为了解决基于神经网络的系统的训练和部署中标记数据稀缺的问题,我们提出了一种在多个数据源上训练深度神经网络的新技术。我们的方法允许使用来自多个实体的数据以分布式方式训练深度神经网络。我们评估我们的算法对现有的数据集,并表明它获得的性能是类似于一个普通的神经网络在一台机器上训练。我们进一步扩展它,以在使用少量标记样本进行训练时纳入半监督学习,并分析可能出现的任何安全问题。我们的算法为数据敏感应用中的深度神经网络的分布式训练铺平了道路,当原始数据可能无法直接共享时。
2018-10-14 cs.LG stat.ML
Deep Neural Network Ensembles for Time Series Classification
IRIMAS, Université Haute-Alsace(上阿尔萨斯大学 IRIMAS)
深度神经网络已经彻底改变了计算机视觉和自然语言处理等许多领域。受到最近成功的启发,深度学习开始在时间序列分类(TSC)方面显示出有希望的结果。然而,神经网络仍然落后于最先进的TSC算法,TSC算法目前由37个非基于深度学习的分类器组成。我们将这种性能差距归因于TSC缺乏神经网络集成。因此,在本文中,我们展示了60个深度学习模型的集成如何在UCR/UEA档案(时间序列分析的最大公开基准)上进行评估时,显着提高TSC神经网络的当前最先进性能。最后,我们展示了我们提出的神经网络Ensemble(NNE)是第一个优于COTE的时间序列分类器,同时达到与当前最先进的集成HIVE-COTE相似的性能。
2019-04-26 cs.LG stat.ML
Addressing caveats of neural persistence with deep graph persistence
University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心);Technical University of Denmark(丹麦技术大学);University of Copenhagen(哥本哈根大学);Copenhagen University Hospital(哥本哈根大学医院);FindZebra
针对神经持久性在深度网络中退化为权重方差且忽略层间交互的问题,提出将其底层filtration扩展至整个网络,构建了深度图持久性度量以隐式结合持久路径并缓解方差问题。
2023-11-20 cs.LG stat.ML
A Deep Conditioning Treatment of Neural Networks
Google AI(谷歌人工智能);Princeton(普林斯顿大学);Google Research(谷歌研究院)
我们研究了深度在训练随机初始化的超参数化神经网络中的作用。我们给出了一个一般性的结果,表明深度通过改善输入数据的某些核矩阵的条件来提高神经网络的可训练性。这一结果适用于任意非线性激活函数在一定的归一化。我们提供了结果的版本,通过神经切线核只训练神经网络的顶层,以及训练所有层。作为这些一般结果的应用,我们提供了Das等人(2019)结果的推广,表明具有大量非线性激活的深度随机神经网络的可学习性随深度呈指数级下降。我们还通过Bartlett et al.(2019 b)的结果展示了良性过拟合如何在深度神经网络中发生。我们还提供了实验证据,证明ReLU的规范化版本是训练深度神经网络中更复杂操作(如批量规范化)的可行替代方案。
2021-02-17 cs.LG stat.ML
Understanding Layer-wise Contributions in Deep Neural Networks through Spectral Analysis
IIT Kanpur(印度理工学院坎普尔分校);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
谱分析是一个强大的工具,它可以将任何函数分解成更简单的部分。在机器学习中,默瑟定理推广了这一思想,为任何核和输入分布提供了频率递增函数的自然基础。最近,一些工作已经通过神经切线核的框架将这种分析扩展到深度神经网络。在这项工作中,我们分析了深层神经网络的逐层谱偏置,并将其与不同层在降低给定目标函数的泛化误差方面的贡献联系起来。我们利用厄米多项式和球谐函数的性质来证明,初始层表现出更大的偏向于单位球上定义的高频函数。我们进一步提供了在深度神经网络的高维数据集中验证我们的理论的经验结果。
2022-01-07 cs.LG stat.ML
Nonparametric Online Learning Using Lipschitz Regularized Deep Neural Networks
Technion - Israel Institute of Technology(以色列理工学院)
深度神经网络被认为是许多离线机器学习任务中最先进的模型。然而,他们在在线学习任务中的表现和概括能力却鲜为人知。因此,我们专注于在线学习,并解决具有挑战性的问题,其中底层过程是平稳和遍历的,从而消除了独立同分布。假设和允许观察任意地相互依赖。我们证明了Lipschitz正则化深度神经网络的泛化能力,并表明通过使用这些网络,可以保证收敛到最佳预测策略。
2019-05-26 cs.LG stat.ML
What Kinds of Functions do Deep Neural Networks Learn? Insights from Variational Spline Theory
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
我们开发了一个变分框架来理解通过将具有整流线性单元激活的深度神经网络拟合到数据而学习到的函数的性质。我们提出了一个新的函数空间,这让人想起经典的有界变分型空间,它捕获了与深层神经网络相关的组成结构。我们推导出一个表示定理,表明深度ReLU网络是这个空间中函数的正则化数据拟合问题的解决方案。函数空间由Radon域中二阶有界变差的Banach空间的函数组成。这些是具有稀疏促进规范的Banach空间,可以深入了解稀疏性在深度神经网络中的作用。神经网络解决方案具有跳跃连接和秩有界权矩阵,为这些常见的结构选择提供了新的理论支持。我们研究的变分问题可以被改写为一个有限维的神经网络训练问题,其正则化方案与权重衰减和路径范数正则化的概念有关。最后,我们的分析建立在变分样条理论的技术基础上,提供了深度神经网络和样条之间的新联系。
2021-09-26 cs.LG stat.ML
Neural Tangent Kernel Analysis of Deep Narrow Neural Networks
Seoul National University(首尔国立大学);Hongik University(弘益大学)
最近在分析过参数化神经网络的训练动态方面取得的巨大进展主要集中在宽网络上,因此没有充分解决深度在深度学习中的作用。在这项工作中,我们提出了无限深但窄神经网络的第一个可训练性保证。我们研究了具有特定初始化的多层感知器(MLP)的无限深度限制,并使用NTK理论建立了可训练性保证。然后,我们将分析扩展到无限深度卷积神经网络(CNN)并进行简短的实验。
2022-06-27 cs.LG math.OC stat.ML
Theoretical Analysis of the Advantage of Deepening Neural Networks
Faculty of Science;Engineering Waseda University Tokyo, Japan;Center for Data Science Waseda University Tokyo, Japan
本研究提出两个独立于学习效率评估深度神经网络表达能力的准则,从逼近精度和线性区域性质角度分析,证明增加层数比增加每层单元数更能提升网络表达能力。
2020-09-24 cs.LG cs.NE stat.ML
Genetic Algorithms for Evolving Deep Neural Networks
Bar-Ilan University(巴伊兰大学);Tel Aviv University(特拉维夫大学)
近年来,应用无监督学习来训练神经网络深层的深度学习方法在众多领域取得了显著的成果。在过去,许多基于遗传算法的方法已经成功地应用于训练神经网络。在本文中,我们扩展了以前的工作,并提出了一个遗传算法辅助的方法进行深度学习。我们的实验结果表明,这种GA辅助的方法提高了深度自动编码器的性能,产生了更稀疏的神经网络。
2017-11-21 cs.LG cs.NE stat.ML
Characterizing the Decision Boundary of Deep Neural Networks
Michigan State University(密歇根州立大学)
深度神经网络,特别是深度神经分类器已经成为许多现代应用的组成部分。尽管它们在实践中取得了成功,但我们对它们如何工作的了解仍然有限,对这种了解的需求正在不断增长。在这方面,深度神经网络分类器可以帮助我们加深对其决策行为的了解的一个关键方面是调查其决策边界。然而,这取决于是否能够接触到决策边界附近区域的样本。为了实现这一点,我们提出了一种新的方法,我们称之为深度决策边界实例生成(DeepDIG)。DeepDIG利用基于对抗性示例生成的方法作为在任何深度神经网络模型的决策边界附近生成样本的有效方式。然后,我们引入了一组重要的原则性特征,这些特征利用决策边界附近生成的实例来提供对深度神经网络的多方面理解。我们在各种深度神经网络模型的多个代表性数据集上进行了广泛的实验,并描述了它们的决策边界。该代码可在https://github.com/hamidkarimi/DeepDIG/上公开获取。
2020-06-03 cs.CV cs.LG stat.ML
DropNeuron: Simplifying the Structure of Deep Neural Networks
Data Science Institute(数据科学研究所);Imperial College London(伦敦帝国理工学院)
使用多层神经网络(NN)架构的深度学习在现代机器学习系统中表现出超强的能力。经过训练的深度神经网络(DNN)通常很大。我们想要解决的问题是,是否有可能在训练过程中简化NN,以在可接受的计算时间内实现合理的性能。我们提出了一种通过网络结构的正则化来优化深度神经网络的新方法。我们提出了正则化器,它支持在网络训练过程中丢弃神经元的简单机制。该方法支持构造一个更简单的深度神经网络,其性能与其简化版本兼容。作为概念的证明,我们评估所提出的方法的例子,包括稀疏线性回归,深度自动编码器和卷积神经网络。估值显示了出色的业绩。该工作的代码可以在http://www.github.com/panweihit/DropNeuron中找到
2016-07-03 cs.CV cs.LG stat.ML
Equivalence in Deep Neural Networks via Conjugate Matrix Ensembles
提出了一种数值方法来检测深度学习架构的等价性。该方法基于从深度神经网络权重矩阵和匹配神经架构拓扑的{ \it共轭循环系综}中生成混合矩阵系综(MME)。在此之后,经验证据支持{ \it现象},即神经架构的谱密度与对应的{ \it共轭圆形系综}之间的差异在谱的长正尾部分处以不同的衰减率消失,即,累积圆谱差(CSD)。这一发现可以用于通过分析CSD的波动来建立不同神经结构之间的等效性。我们研究了广泛的深度学习视觉架构和源于统计量子力学的圆形集合的这种现象。人工和自然的神经架构所提出的方法的实际影响,如使用神经结构搜索(NAS)和生物神经网络分类的方法的可能性进行了讨论。
2020-08-30 cond-mat.dis-nn cs.LG stat.ML
DLL: A Blazing Fast Deep Neural Network Library
HES-SO, University of Applied Science of Western Switzerland University of Fribourg, Switzerland(瑞士西部应用科学与艺术大学(HES-SO)、弗里堡大学)
深度学习库(DLL)是一个用于机器学习的新库,它具有深度神经网络,专注于速度。它支持前馈神经网络,如全连接人工神经网络(ANN)和卷积神经网络(CNN)。它还非常全面地支持受限玻尔兹曼机(RBM)和卷积RBM。我们这项工作的主要动机是提出和评估新的软件工程策略,有可能加快训练和推理的运行时间。这些策略大多独立于底层的深度学习算法。在三个不同的数据集和四个不同的神经网络模型上,我们将DLL与五个流行的深度学习框架进行了比较。实验表明,该框架在CPU和GPU上的速度明显提高。在分类性能方面,报告了与其他框架类似的准确性。
2018-04-11 cs.CV cs.LG stat.ML
Global optimality conditions for deep neural networks
Massachusetts Institute of Technology(麻省理工学院)
我们研究了具有平方误差损失的深度线性和非线性神经网络的误差景观。最小化深度线性神经网络的损失是一个非凸问题,尽管最近取得了进展,但我们对这种损失面的理解仍然不完整。对于深度线性网络,我们给出了风险函数的临界点是全局最小值的充分必要条件。令人惊讶的是,我们的条件提供了一个有效的检查测试的全局最优性,而这样的测试通常是棘手的非凸优化。我们进一步将这些结果扩展到深度非线性神经网络,并证明了类似的全局最优性的充分条件,尽管在更有限的函数空间设置。
2018-03-24 cs.LG math.OC stat.ML
Building Robust Deep Neural Networks for Road Sign Detection
Georgia Institute of Technology(佐治亚理工学院);Twentieth Century Fox(二十世纪福克斯公司);Starfleet Academy(星际舰队学院);Tyrell Inc.(泰瑞尔公司)
深度神经网络是通过使用正则化、早期停止和丢弃等技术来构建的,以在训练集之外进行泛化。但是,很少有人考虑让它们更能适应对抗性的例子。随着深度神经网络在关键任务和实时系统中变得越来越普遍,不法分子开始通过故意使深度神经网络将一种类型的对象错误分类为另一种类型来攻击它们。在某些情况下,这可能是灾难性的,其中深度神经网络的分类可能导致机器做出致命的决定。在这项工作中,我们使用GTSRB数据集通过快速梯度符号方法和雅可比显著性方法来制作对抗样本,使用这些制作的对抗样本来攻击另一个深度卷积神经网络,并通过防御蒸馏和对抗训练使被攻击的网络对对抗攻击更具弹性
2017-12-26 cs.AI cs.LG stat.ML
An Investigation of Quantum Deep Clustering Framework with Quantum Deep SVM & Convolutional Neural Network Feature Extractor
Amity Institute of Information Technology(阿米提信息技术学院);Amity University(阿米提大学);Coventry University(考文垂大学)
在本文中,我们提出了一种深度量子SVM公式,并进一步展示了基于量子深度SVM公式、深度卷积神经网络和量子K-Means聚类的量子聚类框架。我们研究了所提出的量子深度聚类框架的运行时间计算复杂性,并与可能的经典实现进行了比较。我们的调查表明,所提出的量子版本的深度聚类公式显示出显着的性能增益(在许多部分指数加速增益)对可能的经典实现。所提出的理论量子深度聚类框架也是有趣的,是对量子经典机器学习公式的新颖研究,以表达最大的性能。
2019-09-21 cs.AI cs.LG stat.ML
Limitations on approximation by deep and shallow neural networks
证明了关于深、浅神经网络逼近紧集K的误差的Carl型不等式。这反过来又给出了当要求近似值来自这样的网络的输出时,我们可以近似K中的函数的下限。我们的结果是作为最近推出的Lipschitz宽度的研究的副产品。
2022-11-30 cs.LG math.FA stat.ML
Measurement error models: from nonparametric methods to deep neural networks
Harvard University(哈佛大学)
深度学习的成功激发了人们对将神经网络应用于统计推断的兴趣。在本文中,我们研究了深度神经网络在具有测量误差的非参数回归中的应用。我们提出了一个有效的神经网络设计估计测量误差模型,其中我们使用一个完全连接的前馈神经网络(FNN)来近似的回归函数$f(x)$,归一化流近似的先验分布的$X$,和推理网络近似的后验分布的$X$。我们的方法利用了深度神经网络变分推断的最新进展,例如重要性权重自动编码器,双重重新参数化梯度估计器和非线性独立分量估计。我们进行了广泛的数值研究,比较神经网络的方法与经典的非参数方法,并观察到神经网络的方法是更灵活的,在适应不同类别的回归函数,并执行优于或媲美的最佳方法,在几乎所有的设置。
2020-07-15 cs.LG stat.ME stat.ML
Neural Persistence: A Complexity Measure for Deep Neural Networks Using Algebraic Topology
ETH Zurich(苏黎世联邦理工学院);SIB Swiss Institute of Bioinformatics(瑞士生物信息学研究所)
虽然已经提出了许多使神经网络更可扩展的方法,但它们仅限于用输入数据询问网络。然而,表征和监测结构特性的措施尚未开发。在这项工作中,我们提出了神经持久性,基于加权分层图的拓扑数据分析的神经网络架构的复杂性度量。为了证明我们的方法的有用性,我们展示了神经持久性反映了深度学习社区中开发的最佳实践,例如dropout和批量归一化。此外,我们推导出一个基于神经持久性的停止标准,它缩短了训练过程,同时实现了与基于验证损失的早期停止相当的准确性。
2019-09-27 cs.LG math.AT stat.ML
Expressivity of Deep Neural Networks
Institute of Mathematics, Technical University of Berlin(柏林工业大学数学研究所)
在这篇综述论文中,我们对神经网络的各种近似结果进行了全面的概述。经典的函数空间的逼近速度,以及深度神经网络的好处浅的具体结构的函数类进行了讨论。虽然现有结果的主体是一般的前馈架构,我们也描绘卷积,残差和递归神经网络的近似结果。
2020-07-09 cs.LG math.FA stat.ML
On the approximation of rough functions with deep neural networks
ETH Zürich(苏黎世联邦理工学院);University of Southern California(南加州大学)
深度神经网络和ENO过程都是近似粗糙函数的有效框架。我们证明,在任何阶数下,ENO插值过程都可以被转换为深度ReLU神经网络。这一令人惊讶的事实使ENO过程的几个理想属性能够转移到深度神经网络,包括其近似Lipschitz函数的高阶精度。数值试验结果表明,神经网络的非线性守恒律近似解和数据压缩性能优异。
2020-10-08 cs.LG cs.NA math.NA
Neural ODEs as the Deep Limit of ResNets with constant weights
Uppsala University(乌普萨拉大学)
在本文中,我们证明了,在深度极限,ResNet型深度神经网络,其中每一层共享相同的权重矩阵的随机梯度下降收敛到神经ODE的随机梯度下降,以及相应的值/损失函数收敛。在随机梯度下降最小化的背景下,我们的结果为将神经常微分方程视为ResNets的深度极限提供了理论基础。我们的证明是基于相关的福克-普朗克方程的某些衰减估计。
2020-01-20 cs.LG math.AP math.CA
Verifying Properties of Binarized Deep Neural Networks
VMware Research(VMware研究院);Amazon(亚马逊);UNSW(新南威尔士大学);Data61
理解深度神经网络的属性是深度学习中的一个重要挑战。在本文中,我们在这个方向上迈出了一步,提出了一个严格的方法来验证一个流行的神经网络类,二进制神经网络的属性,使用成熟的布尔可满足性。我们的主要贡献是一个构造,创建一个表示的二进制神经网络作为一个布尔公式。我们的编码是深度神经网络的第一个精确布尔表示。使用这种编码,我们利用现代SAT求解器的功能以及提出的反例引导搜索程序来验证这些网络的各种属性。一个特别的重点将是对抗性扰动的鲁棒性的关键属性。对于这个属性,我们的实验结果表明,我们的方法可扩展到用于图像分类任务的中等大小的深度神经网络。据我们所知,这是第一个使用网络的精确布尔编码来验证深度神经网络属性的工作。
2018-05-31 cs.AI cs.CR cs.LG
Deep Learning with Darwin: Evolutionary Synthesis of Deep Neural Networks
University of Waterloo(滑铁卢大学)
从生物进化中获得灵感,我们探索了“深度神经网络能否在连续几代中自然进化成高效的深度神经网络?“通过引入通过从祖先深度神经网络的进化过程在连续几代中合成新的高效但强大的深度神经网络的概念。祖先深层神经网络的结构特征是使用突触概率模型编码的,突触概率模型可以被视为这些网络的“DNA”。具有不同网络架构的新后代网络基于来自祖先网络的这些突触概率模型和计算环境因子模型以随机方式合成,以模仿遗传、自然选择和随机突变。然后,这些后代网络被训练成功能齐全的网络,就像训练新生儿一样,并且具有比其祖先网络更高效、更多样化的网络架构,同时实现强大的建模能力。视觉显着性任务的实验结果表明,与原始祖先网络相比,合成的“进化”后代网络可以实现最先进的性能,同时具有显着更有效的网络架构(到第四代,突触减少了惊人的$\sim$ 48倍)。
2017-02-06 cs.CV cs.LG cs.NE
On variation of gradients of deep neural networks
Seoul National University(首尔大学)
我们对深度神经网络中每层节点数量的作用提供了理论解释。我们证明了具有ReLU激活函数的深度神经网络的最大变化出现在具有最少节点的层改变其激活模式时。一个重要的含义是,深度神经网络是生成函数的有用工具,这些函数的大部分变化集中在与具有最少节点的层相对应的边界附近的输入空间的较小区域上。反过来,该属性使函数对输入变换更具有不变性。也就是说,我们的理论结果为如何设计深度神经网络的架构以同时增加复杂性和变换不变性提供了线索。
2018-12-02 cs.LG math.ST stat.ML
Investigating Vulnerabilities of Deep Neural Policies
KTH Royal Institute of Technology(瑞典皇家理工学院)
基于深度神经网络的强化学习策略很容易受到对其输入的不可感知的对抗性扰动的影响,这与神经网络图像分类器的方式大致相同。最近的工作提出了几种方法来提高深度强化学习代理对对抗性扰动的鲁棒性,这些方法基于在存在这些不可感知的扰动的情况下进行训练(即对抗性训练)。在本文中,我们研究了对抗性训练对智能体学习神经策略的影响。特别是,我们遵循两种不同的并行方法来研究基于最坏情况分布偏移和特征敏感性的深度神经策略的对抗性训练的结果。对于第一种方法,我们比较了对抗训练和香草训练神经策略计算的最小扰动的傅立叶谱。通过OpenAI Atari环境中的实验,我们表明,针对对抗训练策略计算的最小扰动更集中在傅立叶域中的较低频率上,这表明这些策略对低频扰动具有更高的敏感性。对于第二种方法,我们提出了一种新的方法来测量深度神经策略的特征敏感性,并比较了最先进的对抗训练的深度神经策略和香草训练的深度神经策略中的这些特征敏感性差异。我们相信,我们的研究结果可以成为理解对抗性训练与神经策略的不同鲁棒性概念之间关系的第一步。
2021-08-30 cs.AI cs.CV cs.LG
Consistent Feature Selection for Analytic Deep Neural Networks
University of Delaware(特拉华大学);Dalhousie University(达尔豪西大学)
特征选择是实现神经网络模型的可解释性和可解释性的最重要步骤之一,其目的是识别相关特征的子集。该领域的理论成果主要集中在预测方面的问题,几乎没有工作的特征选择一致性的深度神经网络由于模型的严重非线性和不可识别性。这种理论基础的缺乏使人们对深度学习在正确解释特征起核心作用的环境中的适用性产生了怀疑。在这项工作中,我们研究了解析深度网络的特征选择问题。我们证明了,对于广泛的一类网络,包括深度前馈神经网络,卷积神经网络,和一个主要的子类的剩余神经网络,自适应组Lasso选择过程与组Lasso作为基础估计是选择一致的。这项工作提供了进一步的证据,表明Group Lasso对于使用神经网络进行特征选择可能是低效的,并提倡使用Adaptive Group Lasso而不是流行的Group Lasso。
2020-10-16 cs.LG math.ST stat.ML
Deep Loopy Neural Network Model for Graph Structured Data Representation Learning
Florida State University(佛罗里达州立大学)
现有的深度学习模型在处理图结构化数据时可能会遇到很大的挑战。在本文中,我们专门介绍了一种新的图形数据深度学习模型,即深度循环神经网络。与以前的深度模型显著不同的是,在深度循环神经网络内部,存在由输入图数据中节点之间的广泛连接所创建的大量循环,这使得模型学习成为不可行的任务。为了解决这个问题,本文将介绍一种新的学习算法的深度循环神经网络具体。在所提出的学习算法中,错误将通过一组提取的生成树中的边反向传播,而不是基于原始模型来学习模型变量。在实际图形数据集上进行了大量的数值实验,实验结果表明了所提出的模型和学习算法在处理图形数据时的有效性.
2019-09-05 cs.AI cs.LG cs.NE
Langevin algorithms for Markovian Neural Networks and Deep Stochastic control
Sorbonne Université(索邦大学)
随机梯度下降朗之万动力学(SGLD)算法,它添加噪声到经典的梯度下降,是已知的,以改善神经网络的训练,在某些情况下,神经网络是非常深的。在本文中,我们研究了训练加速的可能性,通过梯度下降的数值分辨率的随机控制问题,其中控制参数化的神经网络。如果在许多离散化时间应用控制,则解决随机控制问题减少到最小化非常深的神经网络的损失。我们数值计算表明,朗之万算法提高了训练的各种随机控制问题,如对冲和资源管理,并为不同的选择梯度下降方法。
2023-01-13 cs.LG math.OC q-fin.CP
DeepDyve: Dynamic Verification for Deep Neural Networks
The Chinese University of Hong Kong(香港中文大学)
深度神经网络(DNN)已经成为许多安全关键应用中的使能技术之一,例如,自动驾驶和医学图像分析。然而,DNN系统遭受各种威胁,例如对抗性示例攻击和故障注入攻击。虽然针对恶意制作的输入提出了许多防御方法,但针对DNN系统本身中存在的故障的解决方案(例如,参数和计算)的探索要少得多。在本文中,我们为基于DNN的系统开发了一种新的轻量级容错解决方案,即DeepDyve,它采用比原始DNN更简单和更小的预训练神经网络进行动态验证。实现这种轻量级检查的关键在于,较小的神经网络只需要为初始任务产生近似结果,而不会牺牲太多的故障覆盖率。我们开发了高效的架构和任务探索技术,以在DeepDyve中实现优化的风险/开销权衡。实验结果表明,DeepDyve可以在10%左右的开销下降低90%的风险。
2020-10-16 cs.AI cs.CR cs.LG
Sparse-penalized deep neural networks estimator under weak dependence
CY Cergy Paris Université(CY塞尔吉-巴黎大学)
本文研究$ψ$ -弱相依过程的非参数回归和分类问题。这种弱依赖结构比混合、关联、$\ldots$等条件更一般。提出了一种稀疏深度神经网络的惩罚估计方法。在非参数回归和二元分类问题中,我们建立了稀疏惩罚深度神经网络估计的超额风险的预言不等式。这些估计的超额风险的收敛速度也来自。仿真结果表明,所提出的估计总体上比非惩罚估计工作得更好。
2023-03-02 cs.LG math.ST stat.ML
Statistical learning by sparse deep neural networks
Tel Aviv University(特拉维夫大学)
本文提出基于l_1正则化经验风险最小化的深度神经网络估计器,推导其在回归与分类中的超额风险界,并证明其在整个函数类范围内自适应地接近极小极大最优。
2023-11-15 cs.LG math.ST stat.ME
Gradient Descent Finds Global Minima of Deep Neural Networks
Carnegie Mellon University(卡内基梅隆大学);University of Southern California(南加州大学);Peking University(北京大学);Beijing Institute of Big Data Research(北京大数据研究院);Massachusetts Institute of Technology(麻省理工学院)
梯度下降在训练深度神经网络时找到全局最小值,尽管目标函数是非凸的。本文证明了梯度下降在多项式时间内实现了具有剩余连接的深度过参数化神经网络(ResNet)的零训练损失。我们的分析依赖于由神经网络架构引起的Gram矩阵的特定结构。这种结构使我们能够证明Gram矩阵在整个训练过程中是稳定的,这种稳定性意味着梯度下降算法的全局最优性。我们进一步将我们的分析扩展到深度残差卷积神经网络,并获得了类似的收敛结果。
2019-05-28 cs.AI cs.CV cs.LG
Dropout Rademacher Complexity of Deep Neural Networks
深度神经网络在各种实际应用中取得了巨大的成功。许多算法和实现技术已经被开发出来,然而,对深度神经网络的许多方面的理论理解还远未清楚。一个特别有趣的问题是dropout的有用性,这是出于防止特征检测器复杂的协同适应的直觉。在本文中,我们研究了不同类型的dropout的Rademacher复杂度,我们的理论结果表明,对于浅层神经网络(有一个或没有隐藏层)dropout能够降低Rademacher复杂度的多项式,而对于深层神经网络,它可以惊人地导致Rademacher复杂度的指数下降。
2014-07-02 cs.NE stat.ML
Robust Deep Neural Network Estimation for Multi-dimensional Functional Data
在本文中,我们提出了一个强大的估计的位置函数从多维功能数据。所提出的估计器基于具有ReLU激活函数的深度神经网络。同时,估计量对离群观测值和模型误设定的影响较小。对于任何多维函数数据,我们提供了所提出的鲁棒深度神经网络估计的一致收敛速度。仿真研究说明了鲁棒深度神经网络估计器在常规数据上的竞争性能以及它们在包含异常的数据上的优越性能。所提出的方法也适用于分析从阿尔茨海默病神经成像倡议数据库中获得的阿尔茨海默病患者的2D和3D图像。
2022-05-19 stat.ME stat.ML