A Survey: Time Travel in Deep Learning Space: An Introduction to Deep Learning Models and How Deep Learning Models Evolved from the Initial Ideas
Carnegie Mellon University(卡内基梅隆大学)
本报告将展示深度学习的发展历史。它将追溯到大脑的联结主义建模的最初信念,并回过头来看看它的早期实现:神经网络。以神经网络为背景,我们将逐步介绍作为深度判别模型代表的卷积神经网络是如何从神经网络发展而来的,以及许多有助于优化神经网络的实用技术。另一方面,我们也将追溯深度生成模型的演化历史,看看研究人员如何平衡表示能力和计算复杂度,以达到受限玻尔兹曼机,并最终达到深度信念网。此外,我们还将探讨利用神经网络对时间序列数据建模的发展历史。我们从时延神经网络开始,进一步发展到目前著名的递归神经网络及其扩展长短期记忆模型。我们还将简要介绍如何构建深度递归神经网络。最后,我们将以深度神经网络的一些有趣的开放式问题结束本报告。
2015-11-06 cs.LG cs.NE
Deep Loopy Neural Network Model for Graph Structured Data Representation Learning
Florida State University(佛罗里达州立大学)
现有的深度学习模型在处理图结构化数据时可能会遇到很大的挑战。在本文中,我们专门介绍了一种新的图形数据深度学习模型,即深度循环神经网络。与以前的深度模型显著不同的是,在深度循环神经网络内部,存在由输入图数据中节点之间的广泛连接所创建的大量循环,这使得模型学习成为不可行的任务。为了解决这个问题,本文将介绍一种新的学习算法的深度循环神经网络具体。在所提出的学习算法中,错误将通过一组提取的生成树中的边反向传播,而不是基于原始模型来学习模型变量。在实际图形数据集上进行了大量的数值实验,实验结果表明了所提出的模型和学习算法在处理图形数据时的有效性.
2019-09-05 cs.AI cs.LG cs.NE
DeepCough: A Deep Convolutional Neural Network in A Wearable Cough Detection System
Thayer School of Engineering(塞耶工程学院);Dartmouth College(达特茅斯学院)
在本文中,我们提出了一个系统,采用可穿戴的声学传感器和深度卷积神经网络检测咳嗽。我们评估了我们的系统对14名健康志愿者的性能,并将其与文献中报道的其他咳嗽检测系统进行比较。实验结果表明,我们的系统实现了95.1%的分类灵敏度和99.5%的特异性。
2015-09-08 cs.LG cs.NE
Exploring the Imposition of Synaptic Precision Restrictions For Evolutionary Synthesis of Deep Neural Networks
University of Waterloo(滑铁卢大学)
深度神经网络取得令人难以置信的成功的一个关键因素是大规模并行计算设备的显著增长,使研究人员能够大大增加深度神经网络的大小和深度,从而显著提高建模精度。虽然更深、更大或更复杂的深度神经网络已经显示出相当大的前景,但这种网络的计算复杂性是在资源匮乏的情况下利用的主要障碍。我们在进化的深度智能框架内探索了深度神经网络在形成有效的深度神经网络架构中的突触发生,其中引入了概率生成建模策略,以随机合成越来越高效且有效的后代深度神经网络,以概率的方式模仿遗传,随机突变和自然选择等进化过程。在这项研究中,我们主要探讨突触精度限制的施加及其对深度神经网络进化合成的影响,以合成更有效的网络架构,为资源匮乏的情况下量身定制。实验结果表明,突触效率(基于GoogLeNet的DetectNet降低了约10倍)和推理速度(基于GoogLeNet的DetectNet增加了> 5倍)得到了显着改善,同时保持了建模精度。
2017-07-01 cs.CV cs.LG cs.NE
Short Term Load Forecasting Using Deep Neural Networks
电力负荷预测在发电、配电等能源规划中起着重要的作用。然而,智能电网环境下的非线性和动态不确定性是影响预测精度的主要障碍。深度神经网络(DNN)是一组智能计算算法,其通过多个隐藏层为输入和输出之间的复杂非线性关系建模提供全面的解决方案。在本文中,我们提出了基于DNN的电力负荷预测系统,以有效的方式管理能源消耗。我们研究了两种深度神经网络架构前馈深度神经网络(Deep-FNN)和递归深度神经网络(Deep-RNN)对纽约独立系统运营商(NYISO)电力负荷预测任务的适用性。我们测试我们的算法与各种激活函数,如Sigmoid,双曲正切(tanh)和整流器线性单元(ReLU)。两种网络架构的性能测量进行了比较的平均绝对误差百分比(MAPE)度量。
2018-11-08 cs.NE
Steps Toward Deep Kernel Methods from Infinite Neural Networks
University of Haifa(海法大学);MIT(麻省理工学院)
当代深度神经网络在实际问题上表现出令人印象深刻的结果。这些网络推广良好,虽然其固有的能力可能会大大超出训练样本的数量。我们在深层无限神经网络的背景下分析这种行为。我们发现,深无限层自然与高斯过程和内核方法对齐,并设计随机内核编码这些网络的信息。我们表明,稳定性的结果适用,尽管大小,提供了一个解释他们的经验成功。
2015-09-02 cs.LG cs.NE
Artificial Intelligence in Surgery: Neural Networks and Deep Learning
深度神经网络为人工智能的最新成功提供了动力,从自动驾驶汽车到放射学和病理学的计算机辅助诊断。手术的高风险数据密集型过程可以从这种计算方法中受益匪浅。然而,外科医生和计算机科学家应该合作开发和评估对患者和医疗系统有价值的深度学习应用。本章和随附的实践材料是为外科医生设计的,他们愿意理解神经网络背后的直觉,熟悉深度学习的概念和任务,掌握在手术中实施深度学习模型的意义,并最终理解深度神经网络在手术中的具体挑战和局限性。有关相关的实践材料,请参见https://github.com/CAMMA-public/ai4surgery。
2020-09-28 cs.NE
On Optimizing Deep Convolutional Neural Networks by Evolutionary Computing
深度网络优化是目前非常活跃的研究领域。随着神经网络变得越来越深,手动优化网络的能力变得越来越困难。提出了小批量归一化、有效域的识别、动量更新、残差块的引入、学习率的采用等方法来加快人工训练过程中的收敛速度,同时保持较高的精度水平。然而,对于给定的问题,寻找最优的拓扑结构的问题正在成为一个具有挑战性的任务,需要立即解决。很少有研究人员试图使用进化计算方法来优化网络结构。其中,很少有人成功进化出具有强化学习和长短期记忆的网络。很少有人将进化编程应用于深度卷积神经网络。这些尝试主要是对网络结构进行改进,然后对网络的超参数进行优化。然而,仍然缺乏在当前在手动过程中实践的技术下演化深层网络结构的机制。将这种技术结合到染色体水平的进化计算中,当然可以使我们获得更好的拓扑深层结构。本文最后指出了基于进化的深度神经网络和深度神经网络之间的差距。此外,它还提出了一些使用进化计算技术优化深度神经网络的见解。
2018-08-06 cs.NE
Neural Cellular Automata and Deep Equilibrium Models
该文比较神经细胞自动机与深度均衡模型的异同,并通过训练简单的深度均衡卷积模型验证二者的内在相似性,进而展望融合两者理论与实践的研究方向。
2025-01-07 cs.FL cs.NE
StochasticNet: Forming Deep Neural Networks via Stochastic Connectivity
University of Waterloo(滑铁卢大学);Aimetis Corp.(Aimetis公司)
深度神经网络是机器学习的一个分支,由于其在高度复杂的数据中表示和建模高级抽象的强大能力,它的流行度迅速上升。深度神经网络中一个已经成熟的探索领域是神经连接的形成。一项关于大鼠脑组织的关键研究发现,新皮层神经微回路中特定功能连接的突触形成可以令人惊讶地被建模和预测为随机形成。受这一有趣发现的启发,我们引入了StochasticNet的概念,其中深层神经网络通过神经元之间的随机连接形成。因此,通过允许神经元连接是随机的,任何类型的深度神经网络都可以形成为StochasticNet。在深度神经网络架构中,随机突触形成可以允许有效利用神经元来执行特定任务。为了评估这种深度神经网络架构的可行性,我们使用四种不同的图像数据集(CIFAR-10,MNIST,SVHN和STL-10)训练StochasticNet。实验结果表明,使用不到传统深度神经网络一半数量的神经连接的StochasticNet在CIFAR-10,MNIST和SVHN数据集上实现了相当的准确性并减少了过拟合。有趣的是,与传统的深度神经网络相比,神经连接数量不到一半的StochasticNet在STL-10数据集上实现了更高的准确性(与ConvNet相比,测试出错率相对提高了约6%)。最后,StochasticNets具有更快的运行速度,同时实现更好或类似的精度性能。
2015-11-10 cs.CV cs.LG cs.NE
deepstruct -- linking deep learning and graph theory
University of Passau(帕绍大学)
deepstruct将深度学习模型和图论连接起来,使得可以将不同的图结构施加在神经网络上,或者可以从训练的神经网络模型中提取图结构。为此,deepstruct提供了具有不同限制的深度神经网络模型,这些模型可以基于初始图创建。此外,从训练模型中提取图形结构的工具也是可用的。即使对于只有几十万个参数的模型,提取图的这一步骤也可能在计算上是昂贵的,并且提出了一个具有挑战性的问题。deepstruct支持神经网络的剪枝、神经结构搜索、自动网络设计和结构分析等研究。
2021-12-05 cs.AI cs.LG cs.NE
Fast and Efficient Information Transmission with Burst Spikes in Deep Spiking Neural Networks
Seoul National University(首尔国立大学)
脉冲神经网络(SNN)由于其能量有效的计算能力而被认为是最有前途的人工神经网络之一。最近,将训练的深度神经网络转换为SNN已经提高了深度SNN的准确性。然而,大多数以前的研究都没有取得令人满意的结果,在推理速度和能源效率。在本文中,我们提出了一种快速和节能的信息传输方法与突发尖峰和混合神经编码方案在深SNN。实验结果表明,本文提出的方法可以提高推理能量效率,缩短推理延迟.
2019-02-10 cs.LG cs.NE q-bio.NC
Neural network models and deep learning - a primer for biologists
Columbia University(哥伦比亚大学)
深度神经网络模型最初受到神经生物学的启发,已成为机器学习和人工智能的强大工具,用于通过从示例中学习来近似函数和动力学。在这里,我们为生物学家简要介绍了神经网络模型和深度学习。我们介绍了前馈和递归网络,并解释了这个建模框架的表达能力和用于设置参数的反向传播算法。最后,我们考虑深度神经网络可以帮助我们理解大脑的计算。
2019-03-01 cs.LG cs.NE q-bio.NC
Deep Adaptive Network: An Efficient Deep Neural Network with Sparse Binary Connections
Chongqing University(重庆大学)
深度神经网络是用于理解图像、视频和原始输入数据内容的最先进模型。然而,在嵌入式系统中实现深度神经网络是一项具有挑战性的任务,因为典型的深度神经网络,例如使用128 × 128图像作为输入的深度信念网络,可能耗尽千兆字节的存储器并导致带宽和计算瓶颈。为了解决这一挑战,本文提出了一种面向硬件的深度学习算法,称为深度自适应网络,它试图利用神经连接中的稀疏性。该方法自适应地将与可忽略特征相关的权重降低到零,从而形成稀疏前馈网络结构。此外,由于重要权重的小部分显著大于零,因此可以使用单比特整数(-1和+1)对它们进行鲁棒阈值化和表示,从而实现具有稀疏和二进制连接的深度神经网络。我们的实验表明,对于识别MNIST手写数字的应用,通过保留约25%重要连接的两层深度自适应网络提取的特征达到了97.2%的分类准确率,与标准深度信念网络(97.3%)几乎相同。此外,对于高效的硬件实现,稀疏和二进制加权的深度神经网络可以节省约99.3%的内存和99.9%的计算单元,而不会显着损失模式识别应用的分类准确性。
2016-04-21 cs.CV cs.LG cs.NE
Measuring Neural Net Robustness with Constraints
Stanford University(斯坦福大学);University of Cambridge(剑桥大学);University of Pennsylvania(宾夕法尼亚大学);Microsoft Research(微软研究院)
尽管神经网络具有很高的准确性,但已被证明容易受到对抗性示例的影响,其中对输入的小扰动可能导致其被错误标记。我们提出了衡量神经网络的鲁棒性的指标,并设计了一种新的算法,用于近似这些指标的基础上编码的鲁棒性作为一个线性规划。我们展示了我们的指标如何用于评估深度神经网络的鲁棒性,并在MNIST和CIFAR-10数据集上进行了实验。我们的算法生成的鲁棒性指标的估计更翔实的估计相比,现有的算法的基础上。此外,我们还展示了现有的方法如何提高使用特定算法生成的对抗性示例的鲁棒性“过拟合”。最后,我们表明,我们的技术可以用来进一步提高神经网络的鲁棒性,无论是根据我们提出的指标,但也根据以前提出的指标。
2017-06-16 cs.CV cs.LG cs.NE
Weighted defeasible knowledge bases and a multipreference semantics for a deep neural network model
Università del Piemonte Orientale(东皮埃蒙特大学)
在本文中,我们研究了知识表示中的可废止推理的多偏好语义和深层神经网络模型之间的关系。加权知识库的描述逻辑被认为是一个“概念明智的”多偏好语义。语义进一步扩展到模糊的解释和利用多层感知器提供一个优先的解释。
2021-01-25 cs.AI cs.NE
Object Recognition Using Deep Neural Networks: A Survey
IIT Kanpur(印度理工学院坎普尔分校);Pace University(佩斯大学)
使用深度神经网络识别物体是一个活跃的研究领域,在过去几年中取得了许多突破。本文试图说明这一领域的进展。本文简要介绍了神经网络的研究历史,并介绍了该领域的一些最新进展。最近开发的神经网络算法的性能在基准数据集已制成表格。最后给出了该领域的一些应用。
2014-12-10 cs.CV cs.LG cs.NE
Noise-Robust Deep Spiking Neural Networks with Temporal Information
Seoul National University(首尔大学);Institute of New Media and Communications, Seoul National University(首尔大学新媒体与通信研究所);ASRI and Interdisciplinary Program in Artificial Intelligence, Seoul National University(首尔大学自动系统研究所及人工智能跨学科项目)
脉冲神经网络(SNN)是一种具有时间信息的能量高效神经网络。SNN在神经形态设备上显示出优越的效率,但这些设备对噪声敏感,这阻碍了它们在现实世界中的应用。有几项研究提高了噪声鲁棒性,但大多数研究既没有考虑深度SNN,也没有考虑时间信息。在本文中,我们研究了噪声对各种神经编码方法的深度SNN的影响,并提出了一种具有时间信息的噪声鲁棒性深度SNN。通过所提出的方法,我们已经实现了一个深度SNN,它对尖峰删除和抖动是有效和鲁棒的。
2021-04-22 cs.AI cs.LG cs.NE
Deep Neural Networks and Neuro-Fuzzy Networks for Intellectual Analysis of Economic Systems
Dorodnicyn Computing Centre(多罗德尼岑计算中心);Plekhanov Russian University of Economics(普列汉诺夫俄罗斯经济大学)
本文研究了基于深度神经网络和模糊神经网络的时间序列预测方法。此外,我们还简要回顾了基于ANFIS模型的各种预测研究。事实证明,深度学习是一种有效的方法,可以从复杂的数据源中进行高度准确的预测。此外,我们提出了我们的模型DL和神经模糊网络的这项任务。最后,我们展示了将这些模型用于数据科学任务的可能性。本文还概述了将基于规则的方法纳入深度学习神经网络的方法。
2020-11-11 cs.AI cs.NE econ.GN