Controlled-rearing studies of newborn chicks and deep neural networks
Indiana University(印第安纳大学)
卷积神经网络(CNN)现在可以在具有挑战性的对象识别任务中实现人类水平的性能。在预测视觉识别任务中的神经和行为反应方面,CNN也是领先的定量模型。然而,对CNN模型有一个被广泛接受的批评:与学习速度快、效率高的新生动物不同,CNN被认为是“数据饥渴型”的,需要大量的训练数据来开发用于对象识别的准确模型。这一批评挑战了将CNN用作视觉发育模型的承诺。在这里,我们通过对新生小鸡和CNN进行平行的控制饲养实验,直接研究了CNN是否比新生动物更渴望数据。我们在严格控制的视觉环境中饲养新生小鸡,然后通过在视频游戏引擎中构建虚拟动物室来模拟该环境中可用的训练数据。我们记录了通过虚拟室移动的代理获得的视觉图像,并使用这些图像来训练CNN。当CNN接收到与小鸡相似的视觉训练数据时,CNN成功地解决了与小鸡相同的具有挑战性的视图不变对象识别任务。因此,CNN并不比动物更需要数据:CNN和小鸡都成功地从单个对象的训练数据中开发出了强大的对象模型。
2021-12-12 cs.AI cs.CV q-bio.NC
Low-Energy Convolutional Neural Networks (CNNs) using Hadamard Method
University of Notre Dame(圣母大学)
物联网(IoT)需求的不断增长使得有必要在低功耗设备中实现对象识别等计算机视觉任务。卷积神经网络(CNN)是一种潜在的目标识别和检测方法。然而,与完全连接的层相比,CNN中的卷积层消耗大量能量。为了缓解这个问题,一种新的方法,阿达玛变换作为替代的卷积运算的基础上,使用两个基本的数据集,MNIST和CIFAR10。Hadamard方法的数学表达式显示了与卷积层相比节省能耗的明显潜力,这对大数据应用很有帮助。此外,对于MNIST数据集的测试精度,Hadamard方法的性能与卷积方法相似。相比之下,与卷积方法相比,CIFAR10数据集的测试数据准确性下降(由于复杂的数据和多个通道)。最后,当核尺寸小于输入图像尺寸时,所演示的方法对于其他计算机视觉任务是有帮助的。
2022-09-06 cs.AI cs.CV cs.LG
CNN 101: Interactive Visual Learning for Convolutional Neural Networks
Georgia Institute of Technology(佐治亚理工学院);Oregon State University(俄勒冈州立大学)
深度学习解决以前认为的难题的成功激励了许多非专家学习和理解这项令人兴奋的技术。然而,由于深度学习模型的复杂性,学习者往往很难迈出第一步。我们提出了我们正在进行的工作,CNN 101,一个交互式可视化系统,用于解释和教学卷积神经网络。通过紧密集成的交互式视图,CNN 101提供模型如何工作的概述和详细描述。使用现代网络技术构建的CNN 101在用户的网络浏览器中本地运行,而不需要专门的硬件,从而拓宽了公众对现代深度学习技术的教育访问。
2020-02-27 cs.AI cs.HC cs.LG
Efficient CNN-LSTM based Image Captioning using Neural Network Compression
Carnegie Mellon University(卡内基梅隆大学)
现代神经网络在计算机视觉、自然语言处理和相关垂直领域的任务上实现了最先进的性能。然而,它们因其贪婪的内存和计算需求而臭名昭著,这进一步阻碍了它们在资源有限的边缘设备上的部署。为了实现边缘部署,研究人员开发了修剪和量化算法来压缩此类网络,而不会影响其效率。这种压缩算法在独立的CNN和RNN架构上进行了广泛的实验,而在这项工作中,我们提出了一种非传统的基于CNN-LSTM的图像描述模型的端到端压缩流水线。该模型使用VGG 16或ResNet 50作为flickr 8 k数据集上的编码器和LSTM解码器进行训练。然后,我们研究了不同的压缩架构对模型的影响,并设计了一个压缩架构,与未压缩的模型相比,模型大小减少了73.1%,推理时间减少了71.3%,BLEU得分增加了7.7%。
2020-12-17 cs.AI cs.CV
CP-CNN: Core-Periphery Principle Guided Convolutional Neural Network
University of Georgia(佐治亚大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
本文提出受人脑核心-边缘结构启发的CP-CNN,将该原则用于网络连接与卷积稀疏化,并在三个数据集上验证其优于CNN和ViT方法。
2023-03-27 cs.AI cs.LG cs.NE
Systolic-CNN: An OpenCL-defined Scalable Run-time-flexible FPGA Accelerator Architecture for Accelerating Convolutional Neural Network Inference in Cloud/Edge Computing
Arizona State University(亚利桑那州立大学)
本文介绍了Systolic-CNN,这是一种OpenCL定义的可扩展、运行时间灵活的FPGA加速器架构,经过优化,可加速多租户云/边缘计算中各种卷积神经网络(CNN)的推理。由于在运行时间支持多个CNN模型的灵活性有限,以及可扩展性差,导致FPGA资源利用不足和计算并行性有限,因此现有的用于CNN推理的OpenCL定义的FPGA加速器是不够的。Systolic-CNN采用了高度流水线化的一维脉动阵列结构,有效地探索了空间和时间并行性,以加速FPGA上的CNN推理。Systolic-CNN是高度可扩展和参数化的,用户可以很容易地对其进行调整,以实现粗粒度计算资源的高达100%的利用率(即,DSP块)。Systolic-CNN在多租户云/边缘计算的背景下也具有运行时间灵活性,可以在运行时间分时加速各种CNN模型,而无需重新编译FPGA内核硬件或重新编程FPGA。基于Intel Arria/Stratix 10 GX FPGA开发板的实验结果表明,对于AlexNet、ResNet-50、ResNet-152、RetinaNet和Lightweight RetinaNet,Systolic-CNN的优化单精度实现可以实现7 ms/2 ms、84 ms/33 ms、202 ms/73 ms、1615 ms/873 ms和900 ms/498 ms的平均推理延迟,分别代码可在https://g…
2020-12-06 cs.AI cs.AR cs.LG
A New Lightweight Hybrid Graph Convolutional Neural Network -- CNN Scheme for Scene Classification using Object Detection Inference
Paris-Saclay University(巴黎-萨克雷大学);Sorbonne Paris Nord University(索邦巴黎北大学);NTNU University(挪威科技大学)
提出轻量级混合图卷积神经网络- CNN框架,利用目标检测输出生成图表示进行场景分类,在COCO派生数据集上效率超90%且参数更少。
2024-07-19 cs.AI cs.CV
Advancements in Image Classification using Convolutional Neural Network
University of Gour Banga(古尔班加大学);Visva-Bharati University(维斯瓦巴拉蒂大学)
卷积神经网络(CNN)是图像分类的最新研究成果。在这里,我们简要讨论了CNN的不同组件。在本文中,我们解释了不同的CNN架构的图像分类。通过本文,我们展示了CNN从LeNet-5到最新SENet模型的进步。我们讨论了每个模型的模型描述和训练细节。我们还对这些模型进行了比较。
2019-05-08 cs.AI cs.CV
Testing the Channels of Convolutional Neural Networks
Hanyang University(汉阳大学)
神经网络具有复杂的结构,因此很难理解其内部工作并确保正确性。为了理解和调试卷积神经网络(CNN),我们提出了测试CNN通道的技术。我们设计了Ft GAN,它是GAN的扩展,可以生成具有不同强度的测试数据(即,神经元的总和)。我们还提出了一个通道选择算法,以找到有代表性的通道进行测试。为了有效地检查目标CNN的推理计算,我们定义了意外分数,它估计测试数据的推理计算与训练数据的推理计算的相似程度。我们使用五个公共数据集评估了FtGAN,并表明我们的技术成功地识别了五个不同CNN模型中的缺陷通道。
2023-03-06 cs.AI cs.LG cs.SE
X-CNN: Cross-modal Convolutional Neural Networks for Sparse Datasets
University of Cambridge(剑桥大学);University College London(伦敦大学学院);Nokia Bell Labs(诺基亚贝尔实验室)
在本文中,我们提出了交叉模态卷积神经网络(X-CNN),这是一种新的生物启发类型的CNN架构,将梯度下降专用CNN视为大规模网络拓扑中的单个处理单元,同时允许在网络的类似隐藏层之间进行无约束的信息流和/或权重共享-从而概括了已经建立的神经网络集成的概念(其中信息通常仅在各个网络的输出层之间流动)。组成网络被单独设计为在它们自己的输入数据子集上学习输出函数,之后在每次池化操作之后引入它们之间的交叉连接,以定期允许它们之间的信息交换。这种将知识注入模型(通过领域知识或无监督方法对输入数据进行先验划分)预计将在稀疏数据环境中产生最大的回报,而稀疏数据环境通常不太适合训练CNN。出于评估目的,我们将标准的四层CNN以及复杂的FitNet 4架构与CIFAR-10和CIFAR-100数据集上的跨模态变体进行了比较,其中删除了不同百分比的训练数据,并发现在较低的数据可用性水平下,X-CNN显著优于其基线(通常提供2- 6%的收益,取决于数据集大小和是否使用数据增强),同时仍然保持所有完整数据集测试的优势。
2016-10-17 cs.AI cs.CV stat.ML
5G NR PRACH Detection with Convolutional Neural Networks (CNN): Overcoming Cell Interference Challenges
Joseph KI-ZERBO University(约瑟夫·基-泽尔博大学)
本文提出一种基于CNN的5G-NR网络PRACH干扰检测方法,利用信号时空特征提升检测准确性与鲁棒性,在多项指标上优于传统方法,为AI优化网络性能奠定基础。
2024-08-21 cs.AI cs.LG cs.NI
2-bit Model Compression of Deep Convolutional Neural Network on ASIC Engine for Image Retrieval
Gyrfalcon Technology Inc.(Gyrfalcon科技公司)
图像检索利用图像描述符来检索与给定查询图像最相似的图像。卷积神经网络(CNN)正成为图像检索中提取图像描述符的主要方法。对于图像检索的低功耗硬件实现,基于CNN的特征描述符的缺点是它需要数百兆字节的存储。为了解决这个问题,本文将深度模型量化和压缩应用于图像检索ASIC芯片中的CNN。它表明,基于CNN的特征描述符可以提取使用少至2位的权重量化提供类似的性能作为浮点模型的图像检索。此外,在ASIC中实现CNN,特别是对于大规模图像,应该考虑芯片的有限缓冲区大小。为了检索大规模图像,我们提出了一种改进的池化策略,即区域嵌套不变性池化(RNIP),它使用CNN的裁剪子图像。片上测试结果表明,将RNIP与所提出的2位CNN模型压缩方法相结合,能够检索大规模图像。
2019-05-08 cs.AI
Unsupervised Learning of Neural Networks to Explain Neural Networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Shanghai Jiao Tong University(上海交通大学);University of California, Irvine(加利福尼亚大学尔湾分校)
本文提出了一种学习神经网络的无监督方法,即解释器,用于解释预训练的卷积神经网络(CNN),即,解释隐藏在CNN的中间卷积层中的知识表示。给定CNN的某个conv层的特征图,解释器像自动编码器一样执行,其首先将特征图分解为对象部分特征,然后将对象部分特征反转回CNN的更高conv层的特征。更具体地说,解释器包含可解释的conv层,其中每个过滤器从混沌输入特征映射中解开特定对象部分的表示。作为CNN特征的释义,对象部分的解纠缠表示帮助人们理解CNN内部的逻辑。我们还学习解释器使用对象部分特征来重建更高CNN层的特征,以最大限度地减少特征解缠期间的信息损失。更重要的是,我们通过网络蒸馏来学习解释器,而不使用样本标签、对象部分或纹理的任何注释进行监督。我们已经将我们的方法应用于不同类型的CNN进行评估,解释器显着提高了CNN特征的可解释性。
2018-05-18 cs.CV cs.LG
Neural Architecture Dilation for Adversarial Robustness
University of Sydney(悉尼大学);Huawei Technologies(华为技术有限公司);Peking University(北京大学)
随着卷积神经网络(CNN)在过去几十年中在架构和规模上的巨大进步,它们可以轻松达到甚至超过人类在某些任务中的表现。然而,最近发现CNN的一个缺点是它们容易受到对抗攻击的攻击。虽然CNN的对抗性鲁棒性可以通过对抗性训练来提高,但在标准准确性和对抗性鲁棒性之间存在权衡。从神经结构的角度来看,本文旨在提高具有令人满意的准确性的骨干CNN的对抗鲁棒性。在最小的计算开销下,扩张架构的引入有望与骨干CNN的标准性能友好,同时追求对抗鲁棒性。对标准误差界和对抗误差界的理论分析自然激发了所提出的神经结构膨胀算法。在真实世界数据集和基准神经网络上的实验结果表明,该算法能够有效地平衡准确性和对抗鲁棒性。
2021-08-16 cs.AI cs.CV cs.LG
Evolution of Convolutional Neural Network (CNN): Compute vs Memory bandwidth for Edge AI
MagicLeap Inc.(MagicLeap公司)
本文探讨了边缘AI背景下CNN计算需求与内存带宽的关系,分析架构演进中的权衡,为高效架构与硬件加速器设计提供见解。
2023-09-24 cs.CV cs.LG
S2DNAS:Transforming Static CNN Model for Dynamic Inference via Neural Architecture Search
Peking University(北京大学);IBM Research(IBM研究院)
最近,动态推理已经成为降低深度卷积神经网络(CNN)计算成本的一种有前途的方法。与静态方法(例如权重修剪)相比,动态推理根据每个输入样本自适应地调整推理过程,这可以大大降低“简单”样本的计算成本,同时保持整体模型性能。在本文中,我们介绍了一个通用的框架,S2DNAS,它可以转换各种静态CNN模型,以支持动态推理,通过神经结构搜索。为此,基于给定的CNN模型,我们首先生成一个CNN架构空间,其中每个架构都是使用一些预定义的变换从给定模型生成的多级CNN。然后,我们提出了一种基于强化学习的方法来自动搜索生成的空间中的最佳CNN架构。最后,利用搜索到的多级网络,对每个样本自适应地选择一个评估阶段进行动态推理。与之前在推理中引入不规则计算或复杂控制器或从头开始重新设计CNN模型的工作不同,我们的方法可以推广到大多数流行的CNN架构,并且可以在各种硬件设备中使用现有的深度学习框架直接部署搜索到的动态网络。
2019-12-17 cs.CV cs.LG
NDDR-CNN: Layerwise Feature Fusing in Multi-Task CNNs by Neural Discriminative Dimensionality Reduction
Wuhan University(武汉大学);City University of Hong Kong(香港城市大学);Johns Hopkins University(约翰斯·霍普金斯大学);Tencent AI Lab(腾讯人工智能实验室)
在本文中,我们提出了一种新的卷积神经网络(CNN)结构的通用多任务学习(MTL),使自动特征融合在每一层从不同的任务。这与最广泛使用的MTL CNN结构形成对比,MTL结构经验地或经验地共享一些特定层上的特征(例如,共享除了最后一个卷积层之外的所有特征)。所提出的分层特征融合方案是通过以一种新的方式组合现有的CNN组件来制定的,具有清晰的数学可解释性,作为判别维数约简,这被称为神经判别维数约简(NDDR)。具体来说,我们首先根据通道维度将来自不同任务的具有相同空间分辨率的特征连接起来。然后,我们证明了在一个CNN中可以通过1x1卷积、批量归一化和权重衰减来实现判别维数降低。现有CNN组件的使用确保了端到端训练以及所提出的NDDR层以“即插即用”方式可扩展到各种最先进的CNN架构。详细的烧蚀分析表明,所提出的NDDR层是易于训练,也对不同的超参数鲁棒。不同的任务集与各种基础网络架构的实验表明,我们所提出的方法的性能和理想的推广。我们论文的代码可以在https://github.com/ethanygao/NDDR-CNN上找到。
2019-04-04 cs.CV cs.LG
Exploring the Design Space of Deep Convolutional Neural Networks at Large Scale
University of California, Berkeley(加州大学伯克利分校)
近年来,研究界发现,深度神经网络(DNN)和卷积神经网络(CNN)可以产生比以前所有解决广泛机器学习问题的解决方案更高的准确性。据我们所知,没有单一的CNN/DNN架构可以最佳地解决所有问题。相反,“正确的”CNN/DNN架构取决于手头的应用。CNN/DNN包括巨大的设计空间。定量地,我们发现CNN设计空间的一个小区域包含300亿个不同的CNN架构。在本论文中,我们开发了一种方法,使CNN的设计空间的系统探索。我们的方法包括以下四个主题。1.明智地选择基准和指标。2.快速训练CNN模型。3.定义和描述CNN设计空间。4.探索CNN架构的设计空间。综合起来,这四个主题构成了一个有效的方法,用于发现“正确的”CNN架构,以满足实际应用的需求。
2016-12-20 cs.CV cs.LG cs.NE
Wavelet Convolutional Neural Networks
The University of Tokyo(东京大学);Digital Frontier Inc.(数字前沿株式会社)
空间方法和谱方法是图像分类和目标识别等图像处理任务的两种主要方法。在许多这样的算法中,卷积神经网络(CNN)最近在许多具有挑战性的任务中实现了显著的性能改进。由于CNN直接在空间域中处理图像,因此它们本质上是空间方法。鉴于空间和频谱方法具有不同的特性,将频谱方法纳入CNN将是有趣的。我们提出了一种新的CNN架构,小波CNN,它结合了多分辨率分析和CNN到一个模型。我们的见解是,CNN可以被视为多分辨率分析的有限形式。基于这一见解,我们通过小波变换来补充多分辨率分析中缺失的部分,并将它们作为额外的组件集成到整个架构中。小波CNN允许我们利用传统CNN中丢失的光谱信息,但在大多数图像处理任务中很有用。我们评估了小波CNN在纹理分类和图像注释方面的实际性能。实验表明,小波CNN在这两个任务中都可以达到比现有模型更好的精度,同时比传统CNN具有更少的参数。
2018-05-20 cs.CV cs.LG
Exploring Adversarial Examples and Adversarial Robustness of Convolutional Neural Networks by Mutual Information
Yunnan University(云南大学);Southeast University(东南大学)
卷积神经网络(CNN)的一个反直觉性质是其固有的对对抗性示例的敏感性,这严重阻碍了CNN在安全关键领域的应用。对抗性示例与原始示例相似,但包含恶意扰动。对抗训练是一种简单有效的防御方法,可以提高CNN对对抗样本的鲁棒性。对抗性示例和对抗性训练背后的机制值得探索。因此,这项工作调查正常训练的CNN(NT-CNN)和对抗训练的CNN(AT-CNN)之间的相似性和差异,从互信息的角度信息抽取。我们发现:1)无论是NT-CNN还是AT-CNN,对于原始样本和对抗样本,互信息的趋势在整个训练过程中几乎是相似的; 2)与正常训练相比,对抗训练更困难,AT-CNN从输入中提取的信息量更少; 3)用不同方法训练的CNN对某些类型的信息有不同的偏好; NT-CNN倾向于从输入中提取基于纹理的信息,而AT-CNN更喜欢基于形状的信息。对抗性示例误导CNN的原因可能是它们包含更多关于其他类的基于纹理的信息。此外,我们还分析了在这项工作中使用的互信息估计,发现他们勾勒出的几何性质的中间层的输出。
2022-07-26 cs.AI cs.LG
CNNComparator: Comparative Analytics of Convolutional Neural Networks
The Hong Kong University of Science and Technology(香港科技大学);The Tongji University(同济大学)
卷积神经网络(CNN)由于其卓越的性能而被广泛应用于许多图像识别任务中。然而,训练一个好的CNN模型仍然是一项具有挑战性的任务。在训练过程中,CNN模型通常会随着时间的推移学习大量参数,这通常会导致不同的性能。通常,由于大量的参数和不同的随机初始化,很难探索学习参数和模型性能之间的关系。在本文中,我们提出了一种可视化分析方法来比较在不同时期之后拍摄的训练CNN模型的两个不同快照,以便为更好的CNN模型的设计或训练提供一些见解。我们的系统通过探索不同级别的操作参数和相应的斑点数据的差异来比较快照。一个案例研究已经进行,以证明我们的系统的有效性。
2017-10-15 cs.CV cs.LG
Learning with Collaborative Neural Network Group by Reflection
Purdue University(普渡大学);Fuzhou University(福州大学)
对于目前的神经系统工程,大规模学习任务的准备通常不仅需要一个巨大的神经系统,其准备过程令人难以置信,而且还需要为真正的应用程序找到一个澄清。在本文中,我们可能想要介绍协作神经网络组(CNNG)。CNNG是神经系统的一个进展,这些神经系统在类似的学习框架中协同工作,独立处理各种差事。它是由一个孤立的神经系统通过反射而发展起来的。按照这些思路,根据通过计算去除的各种情况,CNNG可以在处理信息时执行各种技术。所选方法的实例可以直观地显示出来,使深度适应更加合理。在我们的执行中,CNNG由一些适度小的神经系统加入。我们给出了一系列的测试,以评估执行CNNG与其他学习策略的对比。CNNG能够以更低的训练成本获得更高的精度。在一个训练周期内,采用3个前馈网络(4层)的MNIST可以将出错率降低74.5%,准确率达到99.45%。
2019-01-20 cs.CV cs.LG
Improving the Accuracy and Robustness of CNNs Using a Deep CCA Neural Data Regularizer
University of Alberta(阿尔伯塔大学);York University(约克大学)
随着卷积神经网络(CNN)在物体识别方面变得更加准确,它们的表示变得与灵长类动物的视觉系统更加相似。这一发现启发了我们和其他研究人员,让他们思考是否也有相反的含义:如果CNN的表征变得更像大脑,网络是否会变得更准确?以前解决这个问题的尝试显示出非常有限的准确性增益,部分原因是正则化方法的局限性。为了克服这些限制,我们开发了一种新的CNN神经数据正则化器,它使用深度典型相关分析(DCCA)来优化CNN图像表示与猴子视觉皮层图像表示的相似性。使用这种新的神经数据正则化器,与以前最先进的神经数据正则化器相比,我们在分类准确性和超类内准确性方面都看到了更大的性能提升。这些网络对于对抗攻击也比非正规化的网络更健壮。总之,这些结果证实了神经数据正则化可以提高CNN的性能,并引入了一种获得更大性能提升的新方法。
2022-09-06 cs.CV cs.LG cs.NE
Continual 3D Convolutional Neural Networks for Real-time Processing of Videos
Aarhus University(奥胡斯大学)
我们介绍了连续3D卷积神经网络(Co 3D CNN),这是一种新的时空3D CNN计算公式,其中视频是逐帧处理的,而不是按剪辑处理的。在需要逐帧预测的在线任务中,Co 3D CNN免除了常规3D CNN的计算冗余,即在重叠剪辑中出现的帧上的重复卷积。我们表明,连续3D CNN可以重用预先存在的3D-CNN权重,以减少与时间感受野成比例的预测浮点运算(FLOPs),同时保持类似的内存要求和准确性。这一点在Kinetics-400和Charades上的多个模型中得到了验证,并取得了显著的成果:CoX 3D模型在Kinetics-400上实现了最先进的复杂性/准确性权衡,与常规X3 D模型相比,FLOP减少了12.1- 15.3倍,准确性提高了2.3-3.8%,同时将峰值内存消耗减少了48%。此外,我们研究了Co 3D CNN在启动时的瞬态响应,并对公开可用的3D CNN的硬件处理特性进行了广泛的基准测试。
2022-07-05 cs.CV cs.LG
ZynqNet: An FPGA-Accelerated Embedded Convolutional Neural Network
ETH Zürich(苏黎世联邦理工学院)
图像理解正在成为从医疗诊断到自动驾驶汽车等越来越多应用的重要功能。许多应用需要嵌入式解决方案,这些解决方案可以集成到具有严格实时性和功耗限制的现有系统中。卷积神经网络(CNN)目前在所有图像理解基准中都达到了破纪录的精度,但具有非常高的计算复杂性。因此,嵌入式CNN需要小而高效,但功能非常强大的计算平台。本硕士论文探讨了基于FPGA的CNN加速的潜力,并演示了Zynq片上系统上的全功能概念验证CNN实现。ZynqNet嵌入式CNN专为ImageNet上的图像分类而设计,由ZynqNet CNN(一种优化和定制的CNN拓扑)和ZynqNet FPGA加速器(一种用于评估的基于FPGA的架构)组成。ZynqNet CNN是一种高效的CNN拓扑。使用定制设计的Netscope CNN分析器对现有拓扑结构进行详细分析和优化,使CNN具有84.5%的前5名准确度,计算复杂性仅为5.3亿次乘法累加运算。该拓扑高度规则,仅由卷积层、ReLU非线性和一个全局池化层组成。CNN非常适合FPGA加速器。ZynqNet FPGA加速器允许对ZynqNet CNN进行高效评估。它基于嵌套循环算法加速整个网络,最大限度地减少算术运算和内存访问的数量。FPGA加速器已使用Xilinx Zynq XC-7Z 045的高级综合进行综合,并达到200 MHz的时钟频率,器件利用率为80%至90%。
2020-05-14 cs.CV cs.LG
Predicting Food Security Outcomes Using Convolutional Neural Networks (CNNs) for Satellite Tasking
获得可靠的数据,描述当地的粮食安全(FSM)的粒度,是信息决策者需要昂贵的和后勤困难的调查,特别是在发展中国家。我们训练一个CNN公开可用的卫星数据描述土地覆盖分类,并使用迁移学习和直接训练建立一个模型,FSM预测纯粹从卫星图像数据。然后,我们提出了有效的任务分配算法,高分辨率卫星资产通过迁移学习,马尔可夫搜索算法,贝叶斯网络。
2019-04-25 cs.CV cs.LG
Interpreting Adversarially Trained Convolutional Neural Networks
Peking University(北京大学);Beijing Institute of Big Data Research(北京大数据研究院)
我们试图解释如何对抗训练的卷积神经网络(AT-CNN)识别对象。我们设计了系统的方法来定性和定量地解释AT-CNN,并将其与正常训练的模型进行比较。令人惊讶的是,我们发现对抗性训练在对象识别任务上训练时会消除标准CNN的纹理偏差,并帮助CNN学习更多的形状偏差表示。我们从两个方面验证了我们的假设。首先,我们比较了AT-CNN和标准CNN在干净图像和不同变换下的图像上的显着性图。比较可以直观地表明,两种类型的CNN的预测对不同类型的特征非常敏感。其次,为了实现定量验证,我们构建了额外的测试数据集,这些数据集破坏了纹理或形状,例如干净数据的样式转换版本,饱和图像和patch-shuffled图像,然后在这些数据集上评估AT-CNN和正常CNN的分类精度。我们的研究结果揭示了为什么AT-CNN比那些正常训练的CNN更强大,并有助于从解释的角度更好地理解CNN的对抗训练。
2019-05-23 cs.CV cs.LG stat.ML
L-CNN: A Lattice cross-fusion strategy for multistream convolutional neural networks
本文提出了一种多流卷积网络的融合策略,格型交叉融合。这种方法交叉来自卷积层的信号,在池化层之前执行基于数学运算的融合。在一个故意恶化的CIFAR-10(一个流行的图像分类数据集)上,使用修改后的AlexNet-LCNN版本的结果表明,这种新方法的性能比基线单流网络高出46%,具有更快的收敛速度,稳定性和鲁棒性。
2020-08-01 cs.CV cs.LG
Understanding and Improving Convolutional Neural Networks via Concatenated Rectified Linear Units
Oculus VR;NEC Laboratories America(NEC美国实验室);Enlitic;University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
近年来,卷积神经网络(CNN)已被用作解决机器学习和计算机视觉的许多问题的有力工具。在本文中,我们的目标是提供对卷积神经网络特性的深入了解,以及提高许多CNN架构性能的通用方法。具体来说,我们首先检查现有的CNN模型,并观察到一个有趣的特性,即较低层中的滤波器形成对(即,反相滤波器)。受我们观察的启发,我们提出了一种新的,简单而有效的激活方案,称为级联ReLU(CRelu),并从理论上分析了它在CNN中的重建特性。我们将CRelu集成到几种最先进的CNN架构中,并在CIFAR-10/100和ImageNet数据集上证明了其识别性能的改进,并且具有更少的可训练参数。我们的研究结果表明,更好地理解CNN的属性可以通过简单的修改来显着提高性能。
2016-07-19 cs.CV cs.LG
SA-CNN: Application to text categorization issues using simulated annealing-based convolutional neural network optimization
École Centrale de Nantes(南特中央理工学院)
卷积神经网络(CNN)是一类代表性的深度学习算法,包括基于其分层架构对输入数据执行卷积不变分类的卷积计算。然而,经典的卷积神经网络学习方法使用最速下降算法进行训练,学习性能受卷积层和全连接层初始权重设置的影响很大,需要重新调整以在不同的模型结构和数据下获得更好的性能。结合模拟退火算法在全局搜索方面的优势,提出将其应用于超参数搜索过程,以提高卷积神经网络(CNN)的有效性。本文在Text-CNN神经网络的基础上引入SA-CNN神经网络用于文本分类任务,并实现了用于超参数搜索的模拟退火算法。实验表明,我们可以实现更高的分类精度比早期的模型与手动调整,并在时间和空间上的改进,探索相对于人类调整是实质性的。
2023-03-13 cs.LG
High Frequency Component Helps Explain the Generalization of Convolutional Neural Networks
School of Computer Science(计算机科学学院);Carnegie Mellon University(卡内基梅隆大学)
我们研究了图像数据的频谱和卷积神经网络(CNN)的泛化行为之间的关系。我们首先注意到CNN捕捉图像高频分量的能力。这些高频成分几乎是人类无法察觉的。因此,观察导致了与CNN的泛化行为相关的多个假设,包括对抗性示例的潜在解释,CNN在鲁棒性和准确性之间权衡的讨论,以及理解训练算法的一些证据。
2020-03-24 cs.CV cs.LG
Recursive Least Squares for Training and Pruning Convolutional Neural Networks
Hainan University(海南大学)
卷积神经网络(CNN)在许多实际应用中取得了成功。然而,它们的高计算和存储要求通常使它们难以部署在资源受限的设备上。为了解决这个问题,已经提出了许多针对CNN的剪枝算法,但大多数都不能将CNN修剪到合理的水平。在本文中,我们提出了一种新的算法训练和修剪CNN的基础上递归最小二乘(RLS)优化。在训练CNN一些时期后,我们的算法结合逆输入自相关矩阵和权重矩阵来逐层评估和修剪不重要的输入通道或节点。然后,我们的算法将继续训练修剪后的网络,并不会做下一个修剪,直到修剪后的网络恢复旧网络的全部性能。除了CNN,该算法可以用于前馈神经网络(FNN)。在MNIST、CIFAR-10和SVHN数据集上的实验结果表明,该算法能够实现更合理的剪枝,并且具有更高的学习效率。
2022-01-13 cs.CV cs.LG
Formal Verification of CNN-based Perception Systems
Imperial College London(帝国理工学院)
我们解决的问题,验证基于神经的感知系统实现的卷积神经网络。我们定义了一个概念的基础上仿射和光度变换的局部鲁棒性。我们的概念不能被以前采用的鲁棒性的概念。所提出的方法是基于前馈神经网络的可达性分析,并依赖于MILP编码的CNN和转换的问题。我们提出了一个实现,并讨论了从MNIST数据集训练的CNN获得的实验结果。
2018-11-28 cs.CV cs.LG stat.ML
Wavelet Convolutional Neural Networks for Texture Classification
The University of Tokyo(东京大学);Digital Frontier Inc.(数字前沿公司)
纹理分类是图像处理应用中的一个重要且具有挑战性的问题。虽然卷积神经网络(CNN)在图像分类方面取得了显著的成功,但纹理分类仍然是一个困难的问题,因为纹理通常不包含关于对象形状的足够信息。在图像处理中,纹理分类传统上是通过利用许多纹理中的重复结构的谱分析来研究的。由于CNN在空间域中处理图像,而频谱分析在频域中处理图像,因此这些模型在性能方面具有不同的特征。我们提出了一种新的CNN架构,小波CNN,它集成了频谱分析到CNN。我们的见解是,池化层和卷积层可以被视为频谱分析的有限形式。基于这一认识,我们推广这两个层进行小波变换的频谱分析。小波CNN允许我们利用在传统CNN中丢失但在纹理分类中有用的光谱信息。实验表明,我们的模型取得了更好的准确性,在纹理分类比现有的模型。我们还表明,我们的模型具有比CNN少得多的参数,使我们的模型更容易用更少的内存进行训练。
2017-07-24 cs.CV cs.LG
When Face Recognition Meets with Deep Learning: an Evaluation of Convolutional Neural Networks for Face Recognition
University of Surrey(萨里大学);Queen Mary University of London(伦敦玛丽女王大学);Chinese Academy of Sciences(中国科学院)
深度学习,特别是卷积神经网络(CNN),最近在人脸识别方面取得了可喜的成果。然而,这仍然是一个悬而未决的问题:为什么CNN工作得很好,以及如何设计一个“好”的架构。现有的工作往往集中在报告CNN架构,工作良好的人脸识别,而不是调查的原因。在这项工作中,我们在一个共同的基础上对基于CNN的人脸识别系统(CNN-FRS)进行了广泛的评估,以使我们的工作易于重现。具体来说,我们使用公共数据库LFW(Labeled Faces in the Wild)来训练CNN,这与大多数现有的CNN在私有数据库上训练不同。我们提出了三个CNN架构,这是第一次报告的架构使用LFW数据训练。本文定量地比较了CNN的体系结构,并评估了不同实现选择的效果。我们确定了CNN-FRS的几个有用的属性。例如,学习的特征的维数可以显着降低,而不会对人脸识别精度产生不利影响。此外,传统的度量学习方法,利用CNN学习的功能进行评估。实验表明,CNN-FRS性能良好的两个关键因素是多个CNN的融合和度量学习。为了使我们的工作可复制,源代码和模型将公开提供。
2015-04-09 cs.CV cs.LG cs.NE
Hierarchical Transfer Convolutional Neural Networks for Image Classification
Prairie View A&M University, Texas A&M University System(德克萨斯农工大学系统普雷里维尤农工大学)
在本文中,我们解决的问题,如何提高卷积神经网络(CNN)的泛化性能在早期学习阶段的图像分类。这是由于实时应用需要CNN的泛化性能在有限的训练时间内令人满意。为了实现这一点,提出了一种新的分层传输CNN框架。它由一组浅CNN和一个云CNN组成,其中首先训练浅CNN,然后使用训练好的浅CNN的第一层来初始化云CNN的第一层。这种方法将显著提高云CNN的泛化性能,特别是在训练的早期阶段。使用CIFAR-10和ImageNet数据集进行实验,以检验所提出的方法。结果表明,在学习的早期阶段,CIFAR-10的测试准确率平均提高了12%,高达20%,而ImageNet的测试准确率提高了5%。它还表明,测试精度的普遍改善,获得了不同的设置的辍学和数量的浅CNN。
2018-05-09 cs.CV cs.LG stat.ML
Frequency Domain Convolutional Neural Network: Accelerated CNN for Large Diabetic Retinopathy Image Classification
University of Nottingham Malaysia(诺丁汉大学马来西亚分校)
卷积神经网络(CNN)中的传统空间卷积层在训练时间可能花费数天的点处计算上是昂贵的,除非减少层的数量、训练图像的数量或训练图像的大小。CNN的大多数应用通常使用256 × 256像素的图像大小,但该图像大小对于像糖尿病视网膜病变(DR)分类这样的应用来说太小了,其中图像细节对于准确分类很重要。本研究提出频域卷积(FDC)层和频域池化(FDP)层,其利用RFFT、核初始化策略、卷积伪影去除和通道独立卷积(CIC)来构建,以取代传统的卷积层和池化层。FDC和FDP层用于构建频域卷积神经网络(FDCNN),以加速DR分类的大图像训练。全FDC层是FDC层的扩展,允许直接用于传统CNN,它也用于修改VGG16架构。与等效的CNN架构相比,FDCNN CNN至少快54.21%,内存效率高70.74%。据报道,与原始的VGG16架构相比,具有完整FDC层的修改后的VGG16架构实现了更短的训练时间和更高的准确率(95.63%)。
2021-06-24 cs.CV cs.LG
MGIC: Multigrid-in-Channels Neural Network Architectures
Ben-Gurion University of the Negev(内盖夫本-古里安大学);Emory University(埃默里大学)
我们提出了一种多通道网格(MGIC)方法,解决了标准卷积神经网络(CNN)中参数数量相对于通道数量的二次增长问题。因此,我们的方法解决了CNN中的冗余问题,这也是最近轻量级CNN的成功所暴露的。轻量级CNN可以用更少的参数实现与标准CNN相当的准确性;然而,权重的数量仍然与CNN的宽度成二次方。我们的MGIC架构将每个CNN块替换为MGIC对应块,该MGIC对应块利用小组大小的嵌套分组卷积的层次结构来解决这个问题。因此,我们提出的架构相对于网络的宽度线性扩展,同时保留标准CNN中通道的完全耦合。我们对图像分类、分割和点云分类的大量实验表明,将这种策略应用于ResNet和MobileNetV 3等不同架构,可以减少参数的数量,同时获得类似或更好的准确性。
2022-09-26 cs.CV cs.LG cs.NE
An Efficient Evolutionary Deep Learning Framework Based on Multi-source Transfer Learning to Evolve Deep Convolutional Neural Networks
Victoria University of Wellington(惠灵顿维多利亚大学)
多年来,卷积神经网络(CNN)通过引入更复杂的拓扑结构,并向更深更宽的CNN扩展容量,不断取得更好的性能。这使得人工设计CNN变得非常困难,因此CNN的自动设计已经成为研究的焦点,它已经获得了优于人工设计CNN的CNN。然而,计算成本仍然是自动设计CNN的瓶颈。在本文中,受迁移学习的启发,提出了一种新的基于演化计算的框架,在不影响分类精度的情况下有效地进化CNN。所提出的框架利用多源域,这是比目标域数据集更小的数据集,以发展一个通用的CNN块只有一次。在此基础上,提出了一种新的叠加方法,既能加宽又能加深演化块,并提出了一种网格搜索方法来寻找最优叠加解。实验结果表明,该方法在不到40个GPU小时的时间内比15个同行竞争对手更快地获得了良好的CNN。在分类精度方面,该方法具有较强的竞争力,在CIFAR-10、CIFAR-100和SVHN数据集上的最佳出错率分别为3.46%、18.36%和1.76%。
2022-12-07 cs.CV cs.LG cs.NE
Extension of Convolutional Neural Network along Temporal and Vertical Directions for Precipitation Downscaling
Kumamoto University(熊本大学);University of California, Davis(加州大学戴维斯分校);Sun Yat-Sen University(中山大学)
深度学习已被用于气候数据的统计降尺度。具体而言,二维(2D)卷积神经网络(CNN)已成功地应用于降水估计。本研究实施一个三维(3D)的CNN,以估计流域尺度的日降水量从3D大气数据,并比较结果与2D CNN。2D CNN沿着时间方向(3D-CNN-Time)和垂直方向(3D-CNN-Vert)延伸。这些扩展的CNN的降水估计进行了比较与那些的2D CNN的均方根误差(RMSE),纳什-萨克利夫效率(NSE),和第99百分位数RMSE。发现与2D CNN相比,3D-CNN-Time和3D-CNN-Vert都提高了降水估计的模型精度。3D-CNN-Vert在训练和测试期间提供了RMSE和NSE方面的最佳估计。
2021-12-13 cs.LG physics.ao-ph
CNN2Gate: Toward Designing a General Framework for Implementation of Convolutional Neural Networks on FPGA
Polytechnique Montreal(蒙特利尔高等理工学院)
卷积神经网络(CNN)对我们的社会产生了重大影响,因为它们提供了许多服务。另一方面,它们需要相当大的计算能力。为了满足这些要求,可以使用图形处理单元(GPU)。然而,高功耗和有限的外部IO限制了它们在工业和关键任务场景中的可用性和适用性。最近,利用FPGA实现CNN的研究数量正在迅速增加。这是由于这些平台提供的较低功耗和易于重新配置。由于对诸如架构、综合和优化等主题的研究努力,将这些硬件解决方案集成到高级机器学习软件库中出现了一些新的挑战。本文介绍了一个集成框架(CNN 2Gate),支持FPGA目标的CNN模型的编译。CNN 2Gate利用商业供应商提供的FPGA的OpenCL合成工作流程。CNN 2Gate能够从几个流行的高级机器学习库(如Keras,Pytorch,Caffe 2等)中解析CNN模型。CNN 2Gate提取层的计算流,以及权重和偏置,并应用“给定”定点量化。此外,它以适当的格式为OpenCL合成工具编写此信息,然后用于在FPGA上构建和运行项目。CNN 2Gate使用强化学习代理执行设计空间探索,并自动将设计适合于具有有限逻辑资源的不同FPGA。本文报告了AlexNet和VGG-16在各种英特尔FPGA平台上的自动合成和设计空间探索结果。CNN 2Gate在FPGA上实现了VGG-16的205 ms延迟和AlexNet的18 ms延迟。
2020-04-10 cs.CV cs.LG eess.SP
V-CNN: When Convolutional Neural Network encounters Data Visualization
Northwestern Polytechnical University(西北工业大学)
近年来,深度学习在几乎所有领域都带来了深刻的技术革命,引起了工业界和学术界的极大关注。特别是卷积神经网络(CNN)作为深度学习的代表模型,在计算机视觉和自然语言处理领域取得了巨大的成功。然而,简单地或盲目地将CNN应用于其他领域会导致较低的训练效果或使得调整模型参数变得非常困难。在这张海报中,我们提出了一个通用的方法命名为V-CNN通过介绍数据可视化的CNN。V-CNN在CNN建模之前引入了一个数据可视化模型,以确保处理后的数据适合图像的特征以及CNN建模。我们将V-CNN应用于基于著名的实用数据集AWID的网络入侵检测问题。仿真结果表明,V-CNN显著优于其他研究,每个入侵类别的召回率均超过99.8%。
2018-06-12 cs.HC cs.LG stat.ML
Generative Modeling of Convolutional Neural Networks
Microsoft Research(微软研究院);University of California, Los Angeles(加州大学洛杉矶分校)
卷积神经网络(CNN)已被证明是判别学习的强大工具。最近,研究人员也开始对CNN的生成方面表现出兴趣,以便更深入地了解他们所学到的知识以及如何进一步改进它们。本文研究CNN的生成建模。主要贡献包括:(1)构造了一个参考分布指数倾斜形式的CNN生成模型。(2)我们通过非参数重要性采样方案提出了一种用于预训练CNN的生成梯度,该方案与常用的判别梯度有根本不同,但与后者具有相同的计算架构和成本。(3)我们提出了一种生成可视化方法的CNN采样从一个显式的参数图像分布。所提出的可视化方法可以直接绘制合成样本的任何给定的节点在一个训练的CNN的汉密尔顿蒙特卡罗(HMC)算法,而不诉诸任何额外的保持图像。在具有挑战性的ImageNet基准测试上的实验表明,所提出的生成梯度预训练始终有助于提高CNN的性能,并且所提出的生成可视化方法可以从大规模深度CNN中生成有意义的各种合成图像样本。
2015-04-09 cs.CV cs.LG cs.NE
SeNA-CNN: Overcoming Catastrophic Forgetting in Convolutional Neural Networks by Selective Network Augmentation
Instituto de Telecomunicações(电信研究所);Universidade da Beira Interior(贝拉内格罗大学)
终身学习旨在开发机器学习系统,该系统可以学习新任务,同时保留先前学习任务的性能。在本文中,我们提出了一种方法来克服灾难性遗忘卷积神经网络,学习新的任务,并保持旧的任务的性能,而不访问原始模型的数据,通过选择性网络增强。实验结果表明,在某些情况下,SeNA-CNN的性能优于最先进的无遗忘学习算法。结果还表明,在某些情况下,使用SeNA-CNN而不是使用隔离学习来训练神经网络更好。
2018-05-09 cs.LG stat.ML
Understanding 3D CNN Behavior for Alzheimer's Disease Diagnosis from Brain PET Scan
Georgia State University(佐治亚州立大学)
最近几天,卷积神经网络(CNN)在医学图像分析中表现出令人印象深刻的性能。然而,人们对卷积神经网络为什么以及如何在图像分析任务中表现如此出色缺乏清晰的理解。CNN如何分析图像并区分不同类别的样本通常被认为是不透明的。结果,在临床程序和自动疾病诊断系统中应用基于CNN的方法变得困难。在本文中,我们考虑这个问题,并致力于可视化和理解卷积神经网络用于阿尔茨海默病(AD)诊断的决策。我们使用大脑PET扫描开发了一个用于AD诊断的3D深度卷积神经网络,并提出使用五种可视化技术-灵敏度分析(反向传播),引导反向传播,闭塞,大脑区域闭塞和分层相关传播(LRP),通过突出显示PET数据中的相关区域来理解CNN的决策。
2019-12-26 cs.CV cs.LG eess.IV
Convolutional Neural Networks In Convolution
RDF International School(RDF国际学校)
目前,越来越深的神经网络已被应用于提高其准确性。相比之下,我们提出了一种新的更广泛的卷积神经网络(CNN)架构,受多列深度神经网络和网络中的网络(NIN)的启发,旨在提高准确性,而无需输入数据变形。在我们的架构中,即“卷积中的CNN”(CNNIC),一个小的CNN,而不是原来的广义线性模型(GLM)为基础的过滤器,卷积作为核的原始图像,作为该网络的特征提取层。然后通过全局平均池化层和softmax层进行进一步的分类。为了克服训练中的困难,包括收敛速度慢和过拟合,采用了丢弃和正交初始化。在MNIST上展示了说服性分类性能。
2018-10-09 cs.CV cs.LG cs.NE
Using Human-like Mechanism to Weaken Effect of Pre-training Weight Bias in Face-Recognition Convolutional Neural Network
Soochow university(苏州大学)
本研究通过迁移学习训练AlexNet、VGG等CNN执行情绪效价分类任务,并基于神经科学数据引入自注意力机制更新出FE-AlexNet,以减弱预训练权重偏差,使其更接近人类感知并提升性能。
2023-10-20 cs.CV cs.LG q-bio.NC
Aspect-based Opinion Summarization with Convolutional Neural Networks
Fudan University(复旦大学)
本文考虑了基于AOS的特定产品评论的意见摘要。为了实现真正的应用程序,AOS系统需要解决两个核心子任务,方面提取和情感分类。现有的大多数方面提取方法,使用语言分析或主题建模,是通用的不同的产品,但不够精确或适合于特定的产品。相反,我们采用了一种不太一般但更精确的方案,直接将每个评论句子映射到预定义的方面。为了解决方面映射和情感分类,我们提出了两种基于卷积神经网络(CNN)的方法,级联CNN和多任务CNN。级联CNN包含两级卷积网络。第1级的多个CNN处理方面映射任务,第2级的单个CNN处理情感分类。多任务CNN也包含多方面CNN和情感CNN,但不同的网络共享相同的词嵌入。实验结果表明,级联和多任务CNN都大大优于基于SVM的方法。多任务CNN通常比级联CNN性能更好。
2015-11-30 cs.CL cs.IR cs.LG
DD-CNN: Depthwise Disout Convolutional Neural Network for Low-complexity Acoustic Scene Classification
Jiangnan University(江南大学);University of Surrey(萨里大学);ByteDance AI Lab(字节跳动人工智能实验室)
本文提出了一种用于城市声场景检测和分类的依赖性Disout卷积神经网络(DD-CNN)。具体来说,我们使用log-mel作为我们网络输入的声学信号的特征表示。在所提出的DD-CNN中,使用深度可分离卷积来降低网络复杂度。此外,SpecAugment和Disout用于进一步提高性能。实验结果表明,我们的DD-CNN可以从音频片段中学习有区别的声学特征,并有效地降低了网络的复杂度。我们的DD-CNN被用于DCASE 2020挑战赛的低复杂度声学场景分类任务,在验证集上达到了92.04%的准确率。
2020-07-25 cs.LG cs.SD eess.AS
A Survey of Convolutional Neural Networks: Analysis, Applications, and Prospects
卷积神经网络(CNN)是深度学习领域最重要的网络之一。由于CNN在计算机视觉和自然语言处理等多个领域取得了令人瞩目的成就,在过去的几年里引起了工业界和学术界的广泛关注。现有的综述主要集中在CNN在不同场景下的应用上,没有从一般的角度来考虑CNN,最近提出的一些新颖的想法也没有被涵盖。在这篇综述中,我们的目标是尽可能地在这个快速发展的领域提供新的想法和前景。除二维卷积外,还包括一维和多维卷积。首先,这篇评论从简要介绍CNN的历史开始。其次,我们提供了CNN的概述。第三,介绍了经典的和先进的CNN模型,特别是那些关键点,使他们达到最先进的结果。第四,通过实验分析,得出了一些结论,并为功能选择提供了几条经验法则。第五,涵盖了一维,二维和多维卷积的应用。最后,讨论了CNN的一些开放性问题和有前途的方向,以作为未来工作的指导方针。
2020-04-01 cs.CV cs.LG eess.IV
Fully Elman Neural Network: A Novel Deep Recurrent Neural Network Optimized by an Improved Harris Hawks Algorithm for Classification of Pulmonary Arterial Wedge Pressure
UNSW(新南威尔士大学);Victor Chang Cardiac Research Institute(维克多·张心脏研究所)
心力衰竭(HF)是最普遍的威胁生命的心血管疾病之一,在美国有650万人患有心力衰竭,在全世界有超过2300万人患有心力衰竭。HF患者的机械循环支持可以通过将左心室辅助装置(LVAD)植入HF患者体内作为移植、恢复或目的治疗的桥梁来实现,并且可以通过测量正常和异常肺动脉楔压(PAWP)来控制。虽然没有商业长期植入式压力传感器来测量PAWP,但异常和正常PAWP的实时非侵入性估计变得至关重要。在这项工作中,首先提出了一种改进的Harris Hawks优化算法HHO+,并在24个单峰和多峰基准函数上进行了测试。其次,提出了一种新的全Elman神经网络(FENN),以提高分类性能。最后,开发并比较了具有多层感知器的卷积神经网络(CNN)(CNN-MLP)、具有Elman神经网络的CNN(CNN-ENN)、具有完全Elman神经网络的CNN(CNN-FENN)和具有通过HHO+算法优化的完全Elman神经网络的CNN(CNN-FENN-HHO+)的四种新型18层深度学习方法,用于使用估计的HVAD泵流量对异常和正常PAWP进行分类。通过嵌入到商业HVAD控制器中的非侵入性方法获得估计的泵流量。所提出的方法进行了评估不平衡的临床数据集使用5倍交叉验证。提出的CNN-FENN-HHO+方法优于提出的CNN-MLP,CNN-ENN和CNN-FENN方法,并在5倍交叉验证中提高了分类性能指标。所提出…
2023-01-16 cs.LG cs.NE eess.SP
Data Augmentation of Spectral Data for Convolutional Neural Network (CNN) Based Deep Chemometrics
Wildcard Pharmaceutical Consulting(Wildcard 制药咨询公司);Copenhagen University(哥本哈根大学)
深度学习方法用于光谱数据,从近红外(NIR)光谱预测片剂中的药物含量。使用卷积神经网络(CNN),从光谱数据中提取特征。扩展乘法散射校正(EMSC)和一种新的光谱数据增强方法作为预处理步骤的基准。对于所有预处理组合,学习模型的性能更好或与假设的最佳偏最小二乘(PLS)模型相当。数据增强与随后的EMSC相结合给出了最佳结果。在使用来自第二台仪器和来自未被训练数据覆盖的分析物浓度的数据创建的外推挑战中,深度学习模型CNN的表现也优于PLS模型。CNN核激活的定性研究表明,它们与众所周知的数据处理方法相似,如平滑,斜率/导数,阈值和光谱区域选择。
2017-10-05 cs.LG
An Architecture Combining Convolutional Neural Network (CNN) and Support Vector Machine (SVM) for Image Classification
卷积神经网络(CNN)类似于“普通”神经网络,因为它们由具有“可学习”参数的神经元组成的隐藏层组成。这些神经元接收输入,执行点积,然后以非线性跟随它。整个网络表达了原始图像像素与其类得分之间的映射。通常,Softmax函数是在该网络的最后一层使用的分类器。然而,已经有研究(Alalshekmusic和Smith,2013; Agarap,2017; Tang,2013)对这一规范提出了挑战。所引用的研究介绍了在人工神经网络架构中使用线性支持向量机(SVM)。这个项目是对这个主题的又一次尝试,灵感来自(Tang,2013)。经验数据表明,使用MNIST数据集,CNN-SVM模型能够实现约99.04%的测试准确度(LeCun,Cortes和Burges,2010)。另一方面,CNN-Softmax能够使用相同的数据集实现约99.23%的测试准确度。这两个模型也在最近发布的Fashion-MNIST数据集上进行了测试(Xiao,Rasul和Vollliant,2017),这被认为是比MNIST更难的图像分类数据集(Zalandoresearch,2017)。事实证明,CNN-SVM的测试准确率达到了~ 90.72%,而CNN-Softmax的测试准确率达到了~ 91.86%。如果在数据集上采用数据预处理技术,并且如果基础CNN模型比本研究中使用的模型相对更复杂,则所述结果可能会得到改善。
2019-02-07 cs.CV cs.LG cs.NE
Complex Network for Complex Problems: A comparative study of CNN and Complex-valued CNN
Otto von Guericke University Magdeburg(马格德堡奥托·冯·格里克大学);German Center for Neurodegenerative Disease(德国神经退行性疾病中心);Center for Behavioral Brain Sciences(行为脑科学中心)
神经网络,特别是卷积神经网络(CNN),是当今计算机视觉中最常用的工具之一。这些网络中的大多数使用实值特征处理实值数据。复值卷积神经网络(CV-CNN)可以保留复值输入数据的代数结构,并且具有学习输入和地面实况之间更复杂关系的潜力。虽然过去已经对CNN和CV-CNN在不同任务中的表现进行了一些比较,但尚未进行大规模的调查,比较不同任务上的不同模型。此外,由于复特征包含实部和虚部,因此CV-CNN的可训练参数数量是实值CNN的两倍。过去观察到的CV-CNN性能的提高是因为复杂的特征还是仅仅因为可训练参数的数量增加了一倍,尚未进行探索。本文对CNN、CNNx 2(可训练参数数量是CNN两倍的CNN)和CV-CNN进行了比较研究。实验使用七个模型进行两个不同的任务-脑肿瘤分类和脑MRI分割。结果表明,CV-CNN模型优于CNN和CNNx 2模型。
2023-02-09 cs.CV cs.LG cs.SE