Multi-Contextual Design of Convolutional Neural Network for Steganalysis
最近,基于深度学习的隐写分析分类器由于其最先进的性能而变得流行。大多数深度隐写分析分类器通常使用高通滤波器提取噪声残差作为预处理步骤,并将其馈送到其深度模型进行分类。据观察,最近的隐写嵌入并不总是限制他们的嵌入在高频区;相反,他们分布根据嵌入策略。因此,除了噪声残差之外,学习嵌入区域是另一项具有挑战性的任务。在这项工作中,与传统方法不同,所提出的模型首先使用学习的去噪内核提取噪声残差,以提高信噪比。预处理后,稀疏噪声残差被馈送到一个新的多上下文卷积神经网络(M-CNET),使用异构上下文大小来学习噪声残差的稀疏和低幅度表示。模型的性能进一步提高,通过纳入自我注意力模块,专注于易于隐写分析嵌入的领域。一组全面的实验进行了显示所提出的方案的效率超过现有技术。此外,消融研究给出了证明所提出的架构的各个模块的贡献。
2021-11-04 cs.CV cs.MM eess.IV
Image Steganography based on Iteratively Adversarial Samples of A Synchronized-directions Sub-image
Shenzhen University(深圳大学);Guangzhou University(广州大学);Peng Cheng Laboratory(鹏城实验室)
目前,隐写术面临着基于特征的隐写分析和基于卷积神经网络(CNN)的隐写分析的双重挑战。在本文中,我们提出了一种新的隐写方案表示为ITE-SYN(基于ITEadherably对抗扰动到同步方向的子图像),通过该方案,安全数据嵌入同步修改方向以增强安全性,然后迭代增加扰动添加到子图像上以减少目标CNN分类器的覆盖类标签的损失。首先利用已有的隐写函数计算初始代价。然后将覆盖图像分解为互不重叠的子图像。在每个子图像被嵌入后,成本将根据聚类修改方向配置文件进行调整。然后,下一个子图像将被嵌入调整成本,直到所有的秘密数据已被嵌入。如果目标CNN分类器没有将隐写图像区分为覆盖图像,则基于调整后的成本,根据从CNN分类器反向传播的梯度的符号以对抗方式改变成本。然后选择一个子图像重新嵌入改变成本。对抗强度将迭代地增加,直到对抗隐写图像可以欺骗目标CNN分类器。实验结果表明,该方法有效地提高了安全性,可以对抗传统的基于特征的分类器和CNN分类器,甚至其他非目标CNN分类器。
2021-01-13 cs.CV
STD-NET: Search of Image Steganalytic Deep-learning Architecture via Hierarchical Tensor Decomposition
Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人研究院);Shenzhen University(深圳大学)
近年来的研究表明,现有的大部分深度隐写分析模型都存在大量的冗余信息,造成了存储和计算资源的巨大浪费。现有的模型压缩方法不能灵活地压缩剩余捷径块中的卷积层,从而不能获得令人满意的收缩率。在本文中,我们提出了STD-NET,一种通过分层张量分解进行图像隐写分析的无监督深度学习架构搜索方法。我们提出的策略不会受到各种残差连接的限制,因为这种策略不会改变卷积块的输入和输出通道的数量。我们提出了一个归一化的失真阈值来评估基础模型中每个卷积层的敏感性,以指导STD-NET以一种高效的无监督方法压缩目标网络,并获得两种不同形状的网络结构,与原始网络相比,计算成本较低,性能相似。大量的实验已经证实,一方面,我们的模型可以实现相当的,甚至更好的检测性能,在各种隐写分析的情况下,由于所获得的网络架构的巨大的自适应性。另一方面,实验结果也表明,我们提出的策略是更有效的,可以删除更多的冗余相比,以前的隐写分析网络压缩方法。
2022-06-12 cs.CV cs.MM
How Secure is Distributed Convolutional Neural Network on IoT Edge Devices?
Tennessee Technological University(田纳西理工大学)
卷积神经网络(CNN)已在许多应用中获得成功。在资源受限的边缘设备上部署CNN已被证明具有挑战性。采用了跨不同边缘设备的CNN分布式部署。在本文中,我们提出了木马攻击CNN部署在一个分布式的边缘网络在不同的节点。我们提出了五种分布式CNN推理的隐形攻击场景。这些攻击分为触发电路和有效载荷电路。这些攻击在深度学习模型(LeNet,AlexNet)上进行了测试。结果显示了各个层的脆弱性程度以及它们对最终分类的重要性。
2020-06-16 cs.CR cs.CV
Learning Rich Features for Image Manipulation Detection
University of Maryland, College Park(马里兰大学帕克分校);Adobe Research(Adobe研究院)
图像篡改检测与传统的语义目标检测不同,它更关注篡改伪像而不是图像内容,这表明需要学习更丰富的特征。我们提出了一个双流Faster R-CNN网络,并对它进行端到端的训练,以检测给定操作图像的篡改区域。两个流中的一个是RGB流,其目的是从RGB图像输入中提取特征,以发现篡改伪像,如强对比度差异,不自然的篡改边界等;另一个是噪声流,利用从隐写分析丰富的模型过滤层中提取的噪声特征,以发现真实区域和篡改区域之间的噪声不一致性。然后,我们通过双线性池化层融合来自两个流的特征,以进一步合并这两种模态的空间同现。在四个标准图像处理数据集上的实验表明,我们的双流框架优于每个单独的流,并且与具有鲁棒性的替代方法相比,还实现了最先进的性能。
2018-05-13 cs.CV
Slim-CNN: A Light-Weight CNN for Face Attribute Prediction
University of Central Florida(中佛罗里达大学)
我们引入了一个计算效率高的CNN微架构Slim Module来设计一个轻量级的深度神经网络Slim-Net用于人脸属性预测。Slim模块是通过将依赖可分离卷积与逐点卷积组合来构造的,以产生计算高效的模块。人脸属性预测的问题是具有挑战性的,因为姿态,背景,光照和数据集不平衡的大变化。我们堆叠这些超薄模块来设计一个紧凑的CNN,它仍然保持非常高的准确性。此外,神经网络具有非常低的内存占用,这使得它适合于移动和嵌入式应用。在CelebA数据集上的实验表明,Slim-Net实现了91.24%的准确率,参数至少是并行执行方法的25倍,这将Slim-net的内存存储需求减少了至少87%。
2019-07-03 cs.CV
O-CNN: Octree-based Convolutional Neural Networks for 3D Shape Analysis
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);University of Electronic Science and Technology of China(电子科技大学)
我们提出了O-CNN,一个基于八叉树的卷积神经网络(CNN)的三维形状分析。基于三维形状的八叉树表示,我们的方法将在最细的叶八分区中采样的3D模型的平均法向量作为输入,并对3D形状表面所占据的八分区执行3D CNN操作。我们设计了一种新的八叉树数据结构,有效地将八分区信息和CNN特征存储到图形存储器中,并在GPU上执行整个O-CNN CNN训练和评估。O-CNN支持各种CNN结构,并适用于不同表示形式的3D形状。通过限制3D表面所占用的八分区上的计算,O-CNN的存储器和计算成本随着八叉树的深度增加而二次增长,这使得3D CNN对于高分辨率3D模型是可行的。我们将O-CNN的性能与其他现有的3D CNN解决方案进行了比较,并证明了O-CNN在三个形状分析任务中的效率和功效,包括对象分类,形状检索和形状分割。
2017-12-05 cs.CV
How convolutional neural network see the world - A survey of convolutional neural network visualization methods
George Mason University(乔治梅森大学);Clarkson University(克拉克森大学)
如今,卷积神经网络(CNN)在许多与计算机视觉相关的任务上取得了令人印象深刻的性能,如目标检测,图像识别,图像检索等。这些成就得益于CNN具有深层神经元结构和迭代训练过程的输入特征学习能力。然而,从人类视觉的角度来看,这些学习到的特征很难识别和解释,导致人们对CNN的内部工作机制缺乏了解。为了提高CNN的可解释性,CNN可视化被很好地用作定性分析方法,其将内部特征转化为视觉上可感知的模式。许多CNN的可视化工作已经在文献中提出了解释CNN的网络结构,操作和语义概念的角度。在本文中,我们希望提供一个全面的调查几个代表性的CNN可视化方法,包括激活最大化,网络反演,反卷积神经网络(DeconvNet),和基于网络解剖的可视化。这些方法的动机,算法和实验结果。基于这些可视化方法,我们还讨论了它们的实际应用,以证明CNN可解释性在网络设计,优化,安全增强等领域的重要性。
2018-05-31 cs.CV
CFUN: Combining Faster R-CNN and U-net Network for Efficient Whole Heart Segmentation
在本文中,我们提出了一种新的心脏分割流水线,结合了Faster R-CNN和U-net Network(CFUN)。由于Faster R-CNN的精确定位能力和U-net强大的分割能力,CFUN只需要一步检测和分割推理就可以得到整个心脏的分割结果,在显著降低计算成本的情况下获得了良好的效果。此外,CFUN还采用了一种新的基于边缘信息的损失函数--3D Edge-loss作为辅助损失函数,加快了训练的收敛速度,提高了分割效果。在公共数据集上的大量实验表明,CFUN在大幅减少的推理时间内表现出有竞争力的分割性能。我们的源代码和模型可以在https://github.com/Wuziyi616/CFUN上公开获得。
2018-12-12 cs.CV
Fast R-CNN
Microsoft Research(微软研究院)
提出了一种快速区域卷积网络方法(Fast R-CNN)用于目标检测。Fast R-CNN建立在以前的工作基础上,使用深度卷积网络对对象提案进行有效分类。与以前的工作相比,Fast R-CNN采用了几项创新来提高训练和测试速度,同时提高检测精度。Fast R-CNN训练非常深的VGG 16网络的速度比R-CNN快9倍,测试时快213倍,并在PASCAL VOC 2012上实现了更高的mAP。与SPPnet相比,Fast R-CNN训练VGG 16的速度快3倍,测试速度快10倍,并且更准确。Fast R-CNN是用Python和C++(使用Caffe)实现的,可以在https://github.com/rbgirshick/fast-rcnn上的开源MIT许可证下获得。
2015-09-27 cs.CV
A Novel Weight-Shared Multi-Stage CNN for Scale Robustness
Graduate School of System Informatics, Kobe University(神户大学系统信息学研究科)
卷积神经网络(CNN)在图像分类的基准任务和实际应用中表现出显着的效果。具有更深架构的CNN最近已经实现了更高的性能,这要归功于它们对图像中对象的并行移位的鲁棒性以及它们的众多参数和由此产生的高表达能力。然而,CNN对其他几何变换(如缩放和旋转)的鲁棒性有限。这限制了深度CNN的性能提高,但目前还没有确定的解决方案。这项研究的重点是规模转换,并提出了一种称为权重共享多级网络(WSMS-Net)的网络架构,该网络由多级CNN组成。提出的WSMS-Net很容易与现有的深度CNN(如ResNet和DenseNet)相结合,使它们能够获得对对象缩放的鲁棒性。在CIFAR-10、CIFAR-100和ImageNet数据集上的实验结果表明,现有的深度CNN与所提出的WSMS-Net相结合,在图像分类任务中实现了更高的准确度,而参数数量和计算时间只略有增加。
2019-04-12 cs.CV
PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume
NVIDIA(英伟达)
我们提出了一个紧凑但有效的光流CNN模型,称为PWC-Net。PWC-Net是根据简单而完善的原则设计的:金字塔处理,扭曲和使用成本卷。投射在可学习的特征金字塔中,PWC-Net使用当前光流估计来扭曲第二图像的CNN特征。然后,它使用扭曲的特征和第一图像的特征来构建成本体积,该成本体积由CNN处理以估计光流。PWC-Net的尺寸比最近的FlowNet 2模型小17倍,并且更容易训练。此外,它在MPI Sintel final pass和KITTI 2015 benchmark上的性能优于所有已发布的光流方法,在Sintel分辨率(1024 x436)图像上运行约35 fps。我们的模型可在https://github.com/NVlabs/PWC-Net上获得。
2018-06-25 cs.CV
Feature Representation in Convolutional Neural Networks
Cornell University(康奈尔大学)
卷积神经网络(CNN)是一种功能强大的模型,在图像分类中取得了令人印象深刻的结果。此外,预训练的CNN也可用于其他计算机视觉任务,作为通用特征提取器。本文旨在深入了解CNN的特征方面,并展示CNN特征的其他用途。我们的研究结果表明,CNN特征图可以与随机森林和SVM一起使用,以产生优于原始CNN的分类结果。不太理想的CNN(例如,未完全训练或过拟合)也可以提取随机森林/SVM的特征,这些特征产生有竞争力的分类准确度。与使用顶层激活作为其他任务的图像特征表示的文献相比,使用低层特征可以产生更好的分类结果。
2015-07-08 cs.CV
CNN-JEPA: Self-Supervised Pretraining Convolutional Neural Networks Using Joint Embedding Predictive Architecture
Budapest University of Technology and Economics(布达佩斯技术与经济大学)
本文提出CNN-JEPA,将联合嵌入预测架构成功应用于CNN,通过稀疏编码器、深度可分离卷积预测器和改进掩码策略,在ImageNet-100上以ResNet-50达到73.3%线性top-1准确率,且训练时间比同类方法减少17-35%。
2025-03-11 cs.CV
Bi-Real Net: Enhancing the Performance of 1-bit CNNs With Improved Representational Capability and Advanced Training Algorithm
Hong Kong University of Science and Technology(香港科技大学);Tencent AI lab(腾讯人工智能实验室);Huazhong University of Science and Technology(华中科技大学)
在这项工作中,我们研究了1位卷积神经网络(CNN),其中的权重和激活都是二进制的。虽然有效,但与大规模数据集上的对应实值CNN模型(如ImageNet)相比,当前1位CNN的分类准确性要差得多。为了最小化1位和实值CNN模型之间的性能差距,我们提出了一种新的模型,称为Bi-Real net,它通过身份捷径将真实激活(在1位卷积和/或BatchNorm层之后,在符号函数之前)连接到连续块的激活。因此,与标准的1位CNN相比,双实数网络的表示能力显著增强,并且计算上的额外成本可以忽略不计。此外,我们还开发了一种特定的训练算法,包括1位CNN的三种技术创新。首先,我们推导出一个紧逼近的不可微的符号函数的导数关于激活。其次,我们提出了一个幅度感知梯度的权重更新的权重参数。第三,我们使用clip函数而不是ReLU函数来预训练实值CNN模型,以更好地初始化Bi-Real网络。在ImageNet上的实验表明,采用该算法训练的18层和34层Bi-Real网络分别达到了56.4%和62.2%的top-1准确率。与现有技术相比(例如,XNOR Net),Bi-Real网络实现了高达10%的top-1精度,节省了更多的内存和更低的计算成本。关键词:二进制神经网络,1-bit CNN,1-layer-per-block
2018-09-29 cs.CV
Geometric Operator Convolutional Neural Network
USTC(中国科学技术大学)
近几十年来,卷积神经网络(CNN)在许多领域得到了成功的应用,但在处理许多实际问题时,它缺乏利用先验知识的能力。我们提出了一个称为几何算子卷积神经网络(GO-CNN)的框架,该框架使用领域知识,其中第一卷积层的内核被替换为由几何算子函数生成的内核。该框架集成了许多传统的几何运算符,使其能够适应各种各样的问题。在一定的条件下,我们从理论上分析了GO-CNN和普通CNN的收敛性和泛化误差的界。虽然几何算子卷积核比普通卷积核具有更少的可训练参数,但实验结果表明,GO-CNN CNN在CIFAR-10/100上的性能比普通CNN更准确。此外,GO-CNN减少了对训练样本数量的依赖,并增强了对抗稳定性。在医学诊断骨折的实际任务中,GO-CNN在召回率方面获得了3%的提高。
2018-09-04 cs.CV
Solar Power Plant Detection on Multi-Spectral Satellite Imagery using Weakly-Supervised CNN with Feedback Features and m-PCNN Fusion
National Institute of Advanced Industrial Science and Technology(产业技术综合研究所);AIST Tokyo WaterFront(产业技术综合研究所东京临海中心)
传统的卷积神经网络(CNN)大多采用自底向上的方法(前馈)进行图像分类。然而,许多科学研究表明,灵长类动物的视觉感知依赖于自下而上和自上而下的连接。因此,在这项工作中,我们提出了一个CNN网络与反馈结构的太阳能发电厂检测中分辨率的卫星图像。为了表达自上而下的连接的强度,我们引入反馈CNN网络(FB-Net)的基线CNN模型用于太阳能发电厂分类的多光谱卫星数据。此外,我们引入了一种方法来改善类激活映射(CAM)到我们的FB-Net,它利用多通道脉冲耦合神经网络(m-PCNN)的弱监督定位的太阳能发电厂从建议FB-Net的功能。对于建议FB-Net CAM与m-PCNN,实验结果表明,有前途的结果太阳能发电厂图像分类和检测任务。
2017-06-21 cs.CV
Is Each Layer Non-trivial in CNN?
卷积神经网络(CNN)模型在许多领域都取得了巨大的成功。随着ResNet的出现,在实践中使用的网络越来越深入和广泛。然而,网络中的每一层都是非平凡的吗?为了回答这个问题,我们在训练集上训练了一个网络,然后将网络卷积核替换为零,并在测试集上测试结果模型。我们将实验结果与基线进行了比较,结果表明我们可以达到相似甚至相同的性能。虽然卷积核是网络的核心,但我们证明了其中一些在ResNet中是平凡和规则的。
2020-12-03 cs.CV
Interpretable Convolutional Neural Networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
提出了一种将传统的卷积神经网络(CNN)改造为可解释的CNN的方法,以明确CNN高层的知识表示。在可解释的CNN中,高conv层中的每个滤波器表示特定的对象部分。我们不需要任何对象部分或纹理的注释来监督学习过程。相反,可解释的CNN在学习过程中自动为高conv层中的每个滤波器分配对象部分。我们的方法可以应用于具有不同结构的不同类型的CNN。可解释的CNN中清晰的知识表示可以帮助人们理解CNN内部的逻辑,即,基于CNN做出决定的模式。实验表明,可解释的CNN中的过滤器比传统CNN中的过滤器在语义上更有意义。
2018-02-14 cs.CV
SCA-CNN: Spatial and Channel-wise Attention in Convolutional Networks for Image Captioning
Zhejiang University(浙江大学);Columbia University(哥伦比亚大学);Shandong University(山东大学);Tencent AI Lab(腾讯AI实验室);National University of Singapore(新加坡国立大学)
视觉注意已经成功地应用于结构预测任务,如视觉字幕和问答。现有的视觉注意力模型通常是空间的,即,注意力被建模为对编码输入图像的CNN的最后一个卷积层特征图进行重新加权的空间概率。然而,我们认为,这种空间注意力并不一定符合注意力机制-一个动态特征提取器,随着时间的推移结合上下文固定,因为CNN特征自然是空间的,通道的和多层的。在本文中,我们介绍了一种新的卷积神经网络,称为SCA-CNN,它在CNN中集成了空间和空间方向的注意力。在图像描述的任务中,SCA-CNN动态地调制多层特征图中的句子生成上下文,编码其中(即,在多个层上的关注的空间位置)和什么(即,注意的渠道)的视觉注意力。我们在三个基准图像描述数据集上评估了所提出的SCA-CNN架构:Flickr 8 K,Flickr 30 K和MSCOCO。一致地观察到SCA-CNN显著优于最先进的基于视觉注意力的图像描述方法。
2017-04-12 cs.CV
ABC-CNN: An Attention Based Convolutional Neural Network for Visual Question Answering
University of Southern California(南加州大学);Baidu Research(百度研究院);UCLA(加州大学洛杉矶分校)
提出了一种新的基于注意力的深度学习架构,用于视觉问答任务(VQA)。给定图像和图像相关的自然语言问题,VQA生成问题的自然语言答案。生成正确答案需要模型的注意力集中在与问题对应的区域上,因为不同的问题询问不同图像区域的属性。我们引入了一个基于注意力的可配置卷积神经网络(ABC-CNN)来学习这种问题引导的注意力。ABC-CNN通过将图像特征映射与从问题的语义导出的可配置卷积核进行卷积来确定图像-问题对的注意力映射。我们在三个基准VQA数据集上评估了ABC-CNN架构:多伦多COCO-QA,DAQUAR和VQA数据集。ABC-CNN模型在这些数据集上实现了比最先进方法的显着改进。ABC-CNN产生的问题引导注意力也反映了与问题高度相关的区域。
2016-04-03 cs.CV
Tube Convolutional Neural Network (T-CNN) for Action Detection in Videos
Center for Research in Computer Vision (CRCV), University of Central Florida (UCF)(中佛罗里达大学计算机视觉研究中心)
深度学习已被证明在图像分类和目标检测方面取得了优异的效果。然而,由于视频数据的复杂性和缺乏注释,深度学习对视频分析(例如动作检测和识别)的影响有限。先前基于卷积神经网络(CNN)的视频动作检测方法通常包括两个主要步骤:帧级动作提议检测和跨帧提议的关联。此外,这些方法采用双流CNN框架来分别处理空间和时间特征。在本文中,我们提出了一种端到端的深度网络,称为管状卷积神经网络(T-CNN),用于视频中的动作检测。所提出的架构是一个统一的网络,能够识别和定位基于3D卷积特征的动作。视频首先被分成等长的片段,然后基于3D卷积网络(ConvNet)功能为每个片段生成一组管道建议。最后,不同剪辑的管道建议链接在一起,采用网络流和时空动作检测使用这些链接的视频建议。对多个视频数据集进行的广泛实验表明,与最先进的技术相比,T-CNN在对修剪和未修剪视频中的动作进行分类和定位方面具有卓越的性能。
2017-08-02 cs.CV
Source Camera Identification Based On Content-Adaptive Fusion Network
Beijing Jiaotong University(北京交通大学)
源摄像机的识别仍然是取证界的一个难题,特别是在小尺寸查询图像的情况下。本文提出了一种识别小尺寸图像源摄像机的方法:内容自适应融合网络。为了从输入数据中学习更好的特征表示,构造了内容自适应卷积神经网络(CA-CNN)。我们在预处理阶段添加了卷积层。此外,为了获取更全面的信息,我们将三个CA-CNN:CA 3-CNN,CA 5-CNN,CA 7-CNN并行,得到内容自适应融合网络。三种CA-CNN的区别在于预处理层的卷积核大小。实验结果表明,该方法是可行的,令人满意的。
2017-03-15 cs.CV
Incremental Boosting Convolutional Neural Network for Facial Action Unit Recognition
University of South Carolina(南卡罗来纳大学)
从自发的面部表情中识别面部动作单元仍然是一个具有挑战性的问题。最近,CNN在面部AU识别方面表现出了希望。然而,由于有限的AU编码训练图像,学习的CNN通常过拟合,并且不能很好地推广到看不见的主题。我们提出了一种新的增量提升CNN(IB-CNN),通过增量提升层将提升集成到CNN中,该增量提升层从较低层中选择有区别的神经元,并在连续的小批次上增量更新。此外,提出了一种新的损失函数,该函数考虑了增量增强分类器和单个弱分类器的错误,以微调IB-CNN。在四个基准AU数据库上的实验结果表明,IB-CNN比传统的CNN和没有增量学习的boosting CNN有显著的改进,并且在AU识别中优于最先进的基于CNN的方法。对于在数据库中频率最低的AU来说,这种改进更为显著。
2017-07-17 cs.CV
Fully Convolutional Networks for Automatically Generating Image Masks to Train Mask R-CNN
Anhui University of Technology(安徽工业大学);University of Glasgow(格拉斯哥大学)
本文针对最先进的Mask R-CNN深度学习方法提出了一种新的自动生成图像掩码的方法。Mask R-CNN方法在目标检测中取得了最好的效果,但是训练时需要得到目标Mask,非常费时费力,本文提出的方法分为两阶段设计,自动生成图像Mask,第一阶段实现基于全卷积网络(FCN)的分割网络,第二阶段实现基于Mask R-CNN的目标检测网络,其在来自FCN输出的对象图像掩模、原始输入图像和附加标签信息上被训练。通过实验,我们提出的方法可以自动获取图像模板来训练Mask R-CNN,并且可以达到很高的分类精度,平均分割精度(mAP)超过90
2021-05-20 cs.CV cs.LG
CTA-Net: A CNN-Transformer Aggregation Network for Improving Multi-Scale Feature Extraction
Fudan University Academy for Engineering and Technology(复旦大学工程与应用技术研究院);Jihua Laboratory(季华实验室)
为解决CNN与ViT聚合效率低的问题,提出CTA-Net,通过引入LMF-MHSA和RRCV模块优化多尺度特征提取,在小规模数据集上以更少参数实现86.76%的TOP-1准确率。
2024-10-15 cs.AI cs.CV
Evolution of Convolutional Neural Network (CNN): Compute vs Memory bandwidth for Edge AI
MagicLeap Inc.(MagicLeap公司)
本文探讨了边缘AI背景下CNN计算需求与内存带宽的关系,分析架构演进中的权衡,为高效架构与硬件加速器设计提供见解。
2023-09-24 cs.CV cs.LG
ZynqNet: An FPGA-Accelerated Embedded Convolutional Neural Network
ETH Zürich(苏黎世联邦理工学院)
图像理解正在成为从医疗诊断到自动驾驶汽车等越来越多应用的重要功能。许多应用需要嵌入式解决方案,这些解决方案可以集成到具有严格实时性和功耗限制的现有系统中。卷积神经网络(CNN)目前在所有图像理解基准中都达到了破纪录的精度,但具有非常高的计算复杂性。因此,嵌入式CNN需要小而高效,但功能非常强大的计算平台。本硕士论文探讨了基于FPGA的CNN加速的潜力,并演示了Zynq片上系统上的全功能概念验证CNN实现。ZynqNet嵌入式CNN专为ImageNet上的图像分类而设计,由ZynqNet CNN(一种优化和定制的CNN拓扑)和ZynqNet FPGA加速器(一种用于评估的基于FPGA的架构)组成。ZynqNet CNN是一种高效的CNN拓扑。使用定制设计的Netscope CNN分析器对现有拓扑结构进行详细分析和优化,使CNN具有84.5%的前5名准确度,计算复杂性仅为5.3亿次乘法累加运算。该拓扑高度规则,仅由卷积层、ReLU非线性和一个全局池化层组成。CNN非常适合FPGA加速器。ZynqNet FPGA加速器允许对ZynqNet CNN进行高效评估。它基于嵌套循环算法加速整个网络,最大限度地减少算术运算和内存访问的数量。FPGA加速器已使用Xilinx Zynq XC-7Z 045的高级综合进行综合,并达到200 MHz的时钟频率,器件利用率为80%至90%。
2020-05-14 cs.CV cs.LG
DC-UNet: Rethinking the U-Net Architecture with Dual Channel Efficient CNN for Medical Images Segmentation
The George Washington University Medical Center(乔治华盛顿大学医学中心)
最近,深度学习在计算机视觉领域变得越来越流行。卷积神经网络(CNN)在图像分割领域,特别是医学图像分割领域取得了突破性进展。在这方面,U-Net是医学图像分割任务的主要方法。U-Net不仅在多模态医学图像分割方面表现良好,而且在一些棘手的情况下也表现良好。然而,我们发现,经典的U-Net架构在几个方面有局限性。因此,我们应用修改:1)设计高效的CNN架构来代替编码器和解码器,2)应用残差模块来代替编码器和解码器之间的跳过连接,以基于最先进的U-Net模型进行改进。在这些修改之后,我们设计了一种新的架构-DC-UNet,作为U-Net架构的潜在继承者。我们创建了一个新的有效的CNN架构,并建立了DC-UNet基于此CNN。我们在三个具有困难情况的数据集上评估了我们的模型,与经典的U-Net相比,性能分别提高了2.90%,1.49%和11.42%。此外,我们使用Tanimoto相似性来代替Jaccard相似性进行灰度图像比较。
2020-05-31 cs.CV eess.IV
Wavelet Convolutional Neural Networks
The University of Tokyo(东京大学);Digital Frontier Inc.(数字前沿株式会社)
空间方法和谱方法是图像分类和目标识别等图像处理任务的两种主要方法。在许多这样的算法中,卷积神经网络(CNN)最近在许多具有挑战性的任务中实现了显著的性能改进。由于CNN直接在空间域中处理图像,因此它们本质上是空间方法。鉴于空间和频谱方法具有不同的特性,将频谱方法纳入CNN将是有趣的。我们提出了一种新的CNN架构,小波CNN,它结合了多分辨率分析和CNN到一个模型。我们的见解是,CNN可以被视为多分辨率分析的有限形式。基于这一见解,我们通过小波变换来补充多分辨率分析中缺失的部分,并将它们作为额外的组件集成到整个架构中。小波CNN允许我们利用传统CNN中丢失的光谱信息,但在大多数图像处理任务中很有用。我们评估了小波CNN在纹理分类和图像注释方面的实际性能。实验表明,小波CNN在这两个任务中都可以达到比现有模型更好的精度,同时比传统CNN具有更少的参数。
2018-05-20 cs.CV cs.LG
Low-Dose CT via Deep CNN with Skip Connection and Network in Network
Stanford University(斯坦福大学);Sichuan University(四川大学);Rensselaer Polytechnic Institute(伦斯勒理工学院)
计算机断层扫描(CT)的一个主要挑战是如何在不影响图像质量和诊断性能的情况下最大限度地减少患者的辐射暴露。使用深度卷积(Conv)神经网络来降低低剂量CT(LDCT)图像中的噪声,最近在这一重要应用中显示出巨大的潜力。提出了一种高效的LDCT图像去噪神经网络模型。具体来说,为了捕获局部解剖特征,我们集成了深度卷积神经网络(CNN)和跳过连接层进行特征提取。此外,我们引入了并行化的$1\times 1$ CNN,称为Network in Network,以降低前一层输出的维度,以更少的特征损失实现更快的计算速度。为了优化网络的性能,我们采用了Wasserstein生成对抗网络(WGAN)框架。定量和定性的比较表明,我们提出的网络模型可以产生更低的噪声和更多的结构细节比国家的最先进的降噪方法的图像。
2019-08-03 cs.CV cs.LG
Exploring the Design Space of Deep Convolutional Neural Networks at Large Scale
University of California, Berkeley(加州大学伯克利分校)
近年来,研究界发现,深度神经网络(DNN)和卷积神经网络(CNN)可以产生比以前所有解决广泛机器学习问题的解决方案更高的准确性。据我们所知,没有单一的CNN/DNN架构可以最佳地解决所有问题。相反,“正确的”CNN/DNN架构取决于手头的应用。CNN/DNN包括巨大的设计空间。定量地,我们发现CNN设计空间的一个小区域包含300亿个不同的CNN架构。在本论文中,我们开发了一种方法,使CNN的设计空间的系统探索。我们的方法包括以下四个主题。1.明智地选择基准和指标。2.快速训练CNN模型。3.定义和描述CNN设计空间。4.探索CNN架构的设计空间。综合起来,这四个主题构成了一个有效的方法,用于发现“正确的”CNN架构,以满足实际应用的需求。
2016-12-20 cs.CV cs.LG cs.NE
L^3U-net: Low-Latency Lightweight U-net Based Image Segmentation Model for Parallel CNN Processors
Analog Devices Inc.(亚德诺公司)
在这项研究中,我们提出了一个微小的图像分割模型,L^3U-net,在低资源的边缘设备上实时工作。我们引入了一种数据折叠技术,通过利用CNN加速器的并行卷积层处理能力来减少推理延迟。我们还将该模型部署到这样的设备MAX 78000上,结果表明,L^3U-net在两个不同的分割数据集上以10 fps的速度实现了90%以上的准确率。
2022-03-30 cs.AI cs.CV eess.IV
Brain Tumor Detection Through Diverse CNN Architectures in IoT Healthcare Industries: Fast R-CNN, U-Net, Transfer Learning-Based CNN, and Fully Connected CNN
School of Electrical and Computer Engineering, University of Oklahoma(俄克拉荷马大学电气与计算机工程学院)
本研究比较多种CNN架构(Fast R-CNN、U-Net、迁移学习CNN)在IoT医疗中检测脑肿瘤,Fast R-CNN达99%准确率,EfficientNetB2在外部验证中表现最佳,证明AI模型稳健可靠。
2025-09-06 cs.CV eess.IV
CNNComparator: Comparative Analytics of Convolutional Neural Networks
The Hong Kong University of Science and Technology(香港科技大学);The Tongji University(同济大学)
卷积神经网络(CNN)由于其卓越的性能而被广泛应用于许多图像识别任务中。然而,训练一个好的CNN模型仍然是一项具有挑战性的任务。在训练过程中,CNN模型通常会随着时间的推移学习大量参数,这通常会导致不同的性能。通常,由于大量的参数和不同的随机初始化,很难探索学习参数和模型性能之间的关系。在本文中,我们提出了一种可视化分析方法来比较在不同时期之后拍摄的训练CNN模型的两个不同快照,以便为更好的CNN模型的设计或训练提供一些见解。我们的系统通过探索不同级别的操作参数和相应的斑点数据的差异来比较快照。一个案例研究已经进行,以证明我们的系统的有效性。
2017-10-15 cs.CV cs.LG
R-Net: A Reliable and Resource-Efficient CNN for Colorectal Cancer Detection with XAI Integration
Daffodil International University(达福迪尔国际大学);University of Southern Queensland(南昆士兰大学)
本文提出轻量级CNN R-Net用于结直肠癌检测分类,在EBHI数据集上以99.37%准确率超越多种SOTA模型,并结合SHAP、LIME和Grad-CAM实现可解释性。
2025-09-17 cs.AI cs.CV q-bio.TO
Convolutional Neural Network(CNN/ConvNet) in Stock Price Movement Prediction
Shiv Nadar University(希夫·纳达尔大学)
随着技术的进步和数据的指数增长,我们已经在不同的领域展开了神经网络的不同功能。在本文中,我尝试在股票市场中使用一种特定类型的神经网络,称为卷积神经网络(CNN/ConvNet)。换句话说,我试图根据过去的股票价格数据构建和训练一个卷积神经网络,然后试图预测股票价格的走势,即股票价格在未来一段时间内是上涨还是下跌。
2021-06-03 cs.AI cs.CV cs.LG
Deep BCD-Net Using Identical Encoding-Decoding CNN Structures for Iterative Image Recovery
The University of Michigan(密歇根大学)
本文提出使用相同编码-解码CNN结构的BCD-Net,通过块坐标下降和交替方向乘子法训练,在低信噪比去噪和极度欠采样MRI中实现更准确的图像恢复。
2018-04-28 cs.CV cs.LG stat.ML
When Face Recognition Meets with Deep Learning: an Evaluation of Convolutional Neural Networks for Face Recognition
University of Surrey(萨里大学);Queen Mary University of London(伦敦玛丽女王大学);Chinese Academy of Sciences(中国科学院)
深度学习,特别是卷积神经网络(CNN),最近在人脸识别方面取得了可喜的成果。然而,这仍然是一个悬而未决的问题:为什么CNN工作得很好,以及如何设计一个“好”的架构。现有的工作往往集中在报告CNN架构,工作良好的人脸识别,而不是调查的原因。在这项工作中,我们在一个共同的基础上对基于CNN的人脸识别系统(CNN-FRS)进行了广泛的评估,以使我们的工作易于重现。具体来说,我们使用公共数据库LFW(Labeled Faces in the Wild)来训练CNN,这与大多数现有的CNN在私有数据库上训练不同。我们提出了三个CNN架构,这是第一次报告的架构使用LFW数据训练。本文定量地比较了CNN的体系结构,并评估了不同实现选择的效果。我们确定了CNN-FRS的几个有用的属性。例如,学习的特征的维数可以显着降低,而不会对人脸识别精度产生不利影响。此外,传统的度量学习方法,利用CNN学习的功能进行评估。实验表明,CNN-FRS性能良好的两个关键因素是多个CNN的融合和度量学习。为了使我们的工作可复制,源代码和模型将公开提供。
2015-04-09 cs.CV cs.LG cs.NE
X-CNN: Cross-modal Convolutional Neural Networks for Sparse Datasets
University of Cambridge(剑桥大学);University College London(伦敦大学学院);Nokia Bell Labs(诺基亚贝尔实验室)
在本文中,我们提出了交叉模态卷积神经网络(X-CNN),这是一种新的生物启发类型的CNN架构,将梯度下降专用CNN视为大规模网络拓扑中的单个处理单元,同时允许在网络的类似隐藏层之间进行无约束的信息流和/或权重共享-从而概括了已经建立的神经网络集成的概念(其中信息通常仅在各个网络的输出层之间流动)。组成网络被单独设计为在它们自己的输入数据子集上学习输出函数,之后在每次池化操作之后引入它们之间的交叉连接,以定期允许它们之间的信息交换。这种将知识注入模型(通过领域知识或无监督方法对输入数据进行先验划分)预计将在稀疏数据环境中产生最大的回报,而稀疏数据环境通常不太适合训练CNN。出于评估目的,我们将标准的四层CNN以及复杂的FitNet 4架构与CIFAR-10和CIFAR-100数据集上的跨模态变体进行了比较,其中删除了不同百分比的训练数据,并发现在较低的数据可用性水平下,X-CNN显著优于其基线(通常提供2- 6%的收益,取决于数据集大小和是否使用数据增强),同时仍然保持所有完整数据集测试的优势。
2016-10-17 cs.AI cs.CV stat.ML
An Architecture Combining Convolutional Neural Network (CNN) and Support Vector Machine (SVM) for Image Classification
卷积神经网络(CNN)类似于“普通”神经网络,因为它们由具有“可学习”参数的神经元组成的隐藏层组成。这些神经元接收输入,执行点积,然后以非线性跟随它。整个网络表达了原始图像像素与其类得分之间的映射。通常,Softmax函数是在该网络的最后一层使用的分类器。然而,已经有研究(Alalshekmusic和Smith,2013; Agarap,2017; Tang,2013)对这一规范提出了挑战。所引用的研究介绍了在人工神经网络架构中使用线性支持向量机(SVM)。这个项目是对这个主题的又一次尝试,灵感来自(Tang,2013)。经验数据表明,使用MNIST数据集,CNN-SVM模型能够实现约99.04%的测试准确度(LeCun,Cortes和Burges,2010)。另一方面,CNN-Softmax能够使用相同的数据集实现约99.23%的测试准确度。这两个模型也在最近发布的Fashion-MNIST数据集上进行了测试(Xiao,Rasul和Vollliant,2017),这被认为是比MNIST更难的图像分类数据集(Zalandoresearch,2017)。事实证明,CNN-SVM的测试准确率达到了~ 90.72%,而CNN-Softmax的测试准确率达到了~ 91.86%。如果在数据集上采用数据预处理技术,并且如果基础CNN模型比本研究中使用的模型相对更复杂,则所述结果可能会得到改善。
2019-02-07 cs.CV cs.LG cs.NE
HD-CNN: Hierarchical Deep Convolutional Neural Network for Large Scale Visual Recognition
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学);eBay Research Lab(eBay研究实验室);The University of Hong Kong(香港大学)
在图像分类中,不同对象类别之间的视觉可分性是高度不均匀的,并且某些类别比其他类别更难区分。这样困难的分类需要更多专门的分类器。然而,现有的深度卷积神经网络(CNN)被训练为平坦N路分类器,并且很少努力利用类别的分层结构。在本文中,我们通过将深度CNN嵌入到类别层次结构中来引入分层深度CNN(HD-CNN)。HD-CNN使用粗类别分类器分离简单类别,同时使用细类别分类器区分困难类别。在HD-CNN训练过程中,组件预训练之后是全局微调,使用粗类别一致性项正则化的多项式逻辑损失。此外,精细类别分类器和层参数压缩的条件执行使HD-CNN可扩展为大规模视觉识别。我们在CIFAR 100和大规模ImageNet 1000类基准数据集上都取得了最先进的结果。在我们的实验中,我们建立了三种不同的HD-CNN,它们分别将标准CNN的前1个误差降低了2.65%、3.1%和1.1%。
2015-05-16 cs.AI cs.CV cs.LG
RAMP-CNN: A Novel Neural Network for Enhanced Automotive Radar Object Recognition
University of Washington(华盛顿大学);Silkwave Holdings(Silkwave控股公司)
毫米波雷达正越来越多地集成到商用车辆中,以支持新的高级驾驶辅助系统,实现强大而高性能的目标检测、定位和识别,这是新环境感知的关键组成部分。在本文中,我们提出了一种新的雷达多视角卷积神经网络(RAMP-CNN),该网络基于对距离-速度-角度(RVA)热图序列的进一步处理来提取目标的位置和类别。为了绕过4D卷积神经网络(NN)的复杂性,我们建议在我们的RAMP-CNN模型中组合几个低维NN模型,尽管如此,该模型仍以较低的复杂性接近性能上限。大量的实验表明,所提出的RAMP-CNN模型在所有测试场景下都比以前的工作实现了更好的平均召回率和平均准确率。此外,RAMP-CNN模型被验证在夜间工作,这使得低成本的雷达成为在恶劣条件下纯光学传感的潜在替代品。
2022-04-28 cs.AI cs.CV cs.LG
Transform Quantization for CNN (Convolutional Neural Network) Compression
Stanford University(斯坦福大学);University of New South Wales(新南威尔士大学)
在本文中,我们压缩卷积神经网络(CNN)的权重后训练通过变换量化。先前的CNN量化技术倾向于忽略权重和激活的联合统计,从而在给定的量化比特率下产生次优的CNN性能,或者仅在训练期间考虑它们的联合统计,并且不促进已经训练的CNN模型的有效压缩。我们使用率失真框架对训练后的权重进行最佳变换(解相关)和重构,以在任何给定的量化比特率下提高压缩。变换量化将量化和降维(去相关)技术统一在一个框架中,以促进CNN的低比特率压缩和变换域中的有效推理。我们首先介绍了CNN量化的率失真理论,并将最佳量化作为率失真优化问题。然后,我们表明,这个问题可以解决使用最佳的位深度分配后,解相关的最佳端到端学习变换(ELT),我们在本文中推导出。实验表明,变换量化在再训练和非再训练量化场景中都推进了CNN压缩的最新技术水平。特别地,我们发现具有再训练的变换量化能够将CNN模型(例如AlexNet、ResNet和DenseNet)压缩到非常低的比特率(1-2比特)。
2021-11-07 cs.CV cs.IT cs.LG