Unified GCNs: Towards Connecting GCNs with CNNs
Anhui University（安徽大学）
图卷积网络在图数据表示和学习方面具有强大的能力。现有的图卷积层主要是基于图信号处理和变换方面设计的，通常存在一些局限性，如过平滑、过压缩和鲁棒性差等。众所周知，卷积神经网络（CNN）在计算机视觉和机器学习等领域取得了巨大的成功。一个主要方面是CNN利用许多可学习的卷积滤波器（内核）来获得丰富的特征描述符，因此可以在视觉数据分析中对复杂模式进行编码。此外，CNN在设计其网络架构方面非常灵活，例如MobileNet，ResNet，Xception等。因此，很自然地会出现一个问题：我们能否像CNN那样灵活地设计图卷积层？创新性地，在本文中，我们考虑从深度可分离卷积运算的一般角度深入连接GCN与CNN。具体来说，我们表明，GCN和GAT确实执行一些特定的dependency可分离的卷积运算。这种新颖的解释使我们能够更好地理解GCN（GCN，GAT）和CNN之间的联系，并进一步激励我们设计更多的统一GCN（UGCN）。作为两个展示，我们实现了两个UGCN，即，可分离UGCN（S-UGCN）和通用UGCN（G-UGCN）用于图数据表示和学习。在几个图表示基准上的实验表明了所提出的UGCN的有效性和优势。
2022-04-26 cs.CV
Selective Unsupervised Feature Learning with Convolutional Neural Network (S-CNN)
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
卷积神经网络（CNN）的监督学习可能需要非常大量的标记数据。标记数千或数百万个训练样本可能非常耗时且成本高昂。解决这个问题的一个方向是从未标记的数据中创建特征。在本文中，我们提出了一种训练CNN的新方法，不需要标记的实例。这种无监督的特征学习方法，然后成功地应用到一个具有挑战性的对象识别任务。所提出的算法是相对简单的，但达到的准确度相比，更复杂的方法。与现有的CNN方法相比，所提出的方法明显更容易训练，对手动标记的训练数据的要求更少。它也被证明是抵抗过拟合。我们提供了一些著名的数据集，即STL-10，CIFAR-10和CIFAR-100的结果。结果表明，我们的方法提供了有竞争力的性能与现有的替代方法相比。选择性卷积神经网络（S-CNN）是一种简单、快速的算法，它引入了一种新的无监督特征学习方法，提供了具有良好泛化能力的判别特征。
2016-06-07 cs.CV
CNNs found to jump around more skillfully than RNNs: Compositional generalization in seq2seq convolutional networks
CIMeC, University of Trento（特伦托大学心智/脑科学中心）；ICREA（加泰罗尼亚研究与高等教育学院）；Facebook AI Research（脸书人工智能研究院）
Lake和Baroni（2018）介绍了SCAN数据集，探索seq 2seq模型捕获合成概括的能力，例如从组成词中推断“跳跃”0-shot的含义。递归网络（RNN）被发现在最具挑战性的泛化情况下完全失败。我们在这里测试了卷积网络（CNN）在这些任务上的性能，报告了相对于RNN的巨大改进。尽管有很大的改进，但CNN并没有引入系统的规则，这表明组合行为和非组合行为之间的区别并不明确。
2019-05-21 cs.AI cs.CL cs.LG
Robust Template Matching via Hierarchical Convolutional Features from a Shape Biased CNN
King’s College London（伦敦国王学院）
在搜索图像中找到模板是许多计算机视觉应用的重要任务。最近的方法在由卷积神经网络（CNN）产生的深特征空间中执行模板匹配，发现其对外观变化提供更多的容限。在这篇文章中，我们研究了增强CNN的形状信息编码是否可以产生更多可区分的特征，从而提高模板匹配的性能。这项调查的结果在一个新的模板匹配方法，产生国家的最先进的结果在一个标准的基准。为了证实这些结果，我们还创建了一个新的基准，并表明所提出的方法在这个新的数据集上也优于现有的技术。我们的代码和数据集可以在https://github.com/iminfine/Deep-DIM上找到。
2021-05-07 cs.CV
Transform Quantization for CNN (Convolutional Neural Network) Compression
Stanford University（斯坦福大学）；University of New South Wales（新南威尔士大学）
在本文中，我们压缩卷积神经网络（CNN）的权重后训练通过变换量化。先前的CNN量化技术倾向于忽略权重和激活的联合统计，从而在给定的量化比特率下产生次优的CNN性能，或者仅在训练期间考虑它们的联合统计，并且不促进已经训练的CNN模型的有效压缩。我们使用率失真框架对训练后的权重进行最佳变换（解相关）和重构，以在任何给定的量化比特率下提高压缩。变换量化将量化和降维（去相关）技术统一在一个框架中，以促进CNN的低比特率压缩和变换域中的有效推理。我们首先介绍了CNN量化的率失真理论，并将最佳量化作为率失真优化问题。然后，我们表明，这个问题可以解决使用最佳的位深度分配后，解相关的最佳端到端学习变换（ELT），我们在本文中推导出。实验表明，变换量化在再训练和非再训练量化场景中都推进了CNN压缩的最新技术水平。特别地，我们发现具有再训练的变换量化能够将CNN模型（例如AlexNet、ResNet和DenseNet）压缩到非常低的比特率（1-2比特）。
2021-11-07 cs.CV cs.IT cs.LG
Graph Classification with 2D Convolutional Neural Networks
École Polytechnique（巴黎综合理工学院）；Athens University of Economics and Business（雅典经济与商业大学）
图学习目前由图内核主导，虽然功能强大，但存在一些重大限制。卷积神经网络（CNN）提供了一个非常有吸引力的替代方案，但用CNN处理图形并不简单。为了应对这一挑战，最近引入了许多复杂的CNN扩展。在本文中，我们扭转了这个问题：而不是提出另一个图CNN模型，我们引入了一种新的方法来表示图作为多通道图像状结构，使它们能够由vanilla 2D CNN处理。实验表明，我们的方法在6个真实世界数据集中的4个数据集（有和没有连续节点属性）上比最先进的图内核和图CNN更准确，并且在其他地方接近。我们的方法在时间复杂度方面也优于图核。代码和数据是公开的。
2019-09-03 cs.CV
Semi-supervised learning via Feedforward-Designed Convolutional Neural Networks
University of Southern California（南加州大学）
提出了一种基于前馈设计的卷积神经网络（FF-CNN）的半监督学习框架用于图像分类。FF-CNN的一个独特特性是在模型参数确定中不使用反向传播。由于未标记数据可能并不总是增强半监督学习，我们定义了一个有效的质量分数，并使用它来选择一个子集的未标记数据在训练过程中。我们在MNIST、SVHN和CIFAR-10数据集上进行了实验，结果表明，当标记数据量减少时，所提出的半监督FF-CNN解决方案的性能优于反向传播训练的CNN（BP-CNN）。此外，我们开发了一个集成系统，该系统结合了不同半监督FF-CNN的输出决策向量，以提高分类精度。集成系统可以在所有三个基准数据集上实现进一步的性能增益。
2019-02-06 cs.CV
Food Image Recognition by Using Convolutional Neural Networks (CNNs)
Michigan State University（密歇根州立大学）；Department of Biosystems and Agricultural Engineering（生物系统与农业工程系）
食品图像识别是视觉目标识别在计算机视觉中很有前途的应用之一。在这项研究中，一个小规模的数据集组成的5822图像的10个类别和一个五层的CNN被构造来识别这些图像。首先评估了与支持向量机（SVM）相结合的特征袋（BoF）模型的图像分类，其总体准确率为56%;而CNN模型表现更好，总体准确率为74%。采用基于几何变换的数据增强技术增加训练图像的大小，在避免基于原始训练数据的CNN过拟合问题的同时，显著提高了90%以上的准确率。通过收集更多的图像和优化网络架构和超参数，可以预期进一步的改进。
2019-02-25 cs.CV
CNNPruner: Pruning Convolutional Neural Networks with Visual Analytics
Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心）；University of Chinese Academy of Sciences（中国科学院大学）；Visa Research（Visa研究院）；The Ohio State University（俄亥俄州立大学）
卷积神经网络（CNN）在许多计算机视觉任务中表现出非常好的性能。然而，CNN模型的增加的大小阻止它们被广泛部署到具有有限计算资源的设备，例如，移动/嵌入式设备。模型修剪的新兴主题致力于通过删除不太重要的神经元并微调修剪后的网络来解决这个问题，以最大限度地减少准确性损失。然而，现有的自动修剪解决方案往往依赖于修剪标准的数值阈值，缺乏灵活性，以最佳地平衡模型大小和准确性之间的权衡。此外，神经元修剪和模型微调阶段之间的复杂相互作用使得这个过程不透明，因此难以优化。在本文中，我们通过一种名为CNNPruner的可视化分析方法来解决这些挑战。它通过不稳定性和敏感性来考虑卷积滤波器的重要性，并允许用户根据模型大小或准确性的期望目标交互式地创建修剪计划。此外，CNNPruner集成了最先进的过滤器可视化技术，以帮助用户了解不同过滤器所扮演的角色，并改进其修剪计划。通过对具有真实世界大小的CNN进行全面的案例研究，我们验证了CNNPruner的有效性。
2020-09-08 cs.CV cs.GR
Improving Convolutional Neural Networks for Fault Diagnosis by Assimilating Global Features
Texas Tech University（德州理工大学）
深度学习技术在复杂过程的现代故障诊断中已变得重要。特别是，卷积神经网络（CNN）已经显示出通过将它们转换成图像来处理多变量时间序列数据的吸引人的能力。然而，现有的CNN技术主要集中于从输入图像中捕获局部或多尺度特征。通常需要深度CNN来间接提取全局特征，这对于描述从多变量动态数据转换的图像至关重要。本文提出了一种新的局部-全局CNN（LG-CNN）结构，直接占局部和全局特征的故障诊断。具体地说，局部特征是由传统的本地内核，而全球的特征是通过使用1D的高和胖的内核，跨越整个高度和宽度的图像提取。然后合并局部和全局特征以使用全连接层进行分类。建议的LG-CNN在基准田纳西伊士曼过程（TEP）数据集上进行了验证。与传统的CNN相比，本文提出的LG-CNN CNN在不显著增加模型复杂度的情况下，能够显著提高故障诊断性能。这归因于LG-CNN比CNN产生的更宽的局部感受野。所提出的LG-CNN架构可以很容易地扩展到其他图像处理和计算机视觉任务。
2022-10-03 cs.CV cs.SY eess.SY
Comparing the Accuracy of Deep Neural Networks (DNN) and Convolutional Neural Network (CNN) in Music Genre Recognition (MGR): Experiments on Kurdish Music
University of Kurdistan Hewlêr（库尔德斯坦赫勒大学）
音乐学家使用不同的标签来将相似的音乐风格归类在一个共同的标题下。但是，非专业人士可能会对音乐进行不同的分类。这可能是通过在和声、乐器和音乐形式中找到模式。人们通常只通过听来识别音乐类型，但现在计算机和人工智能（AI）可以自动化这一过程。最近，将人工智能应用于音乐类型分类的工作越来越多，但没有证据表明对库尔德音乐类型进行了此类研究。在这项研究中，我们开发了一个数据集，其中包含来自八种不同的库尔德音乐流派的880个样本。我们评估了两种机器学习方法，深度神经网络（DNN）和卷积神经网络（CNN），以识别流派。结果显示，CNN模型的准确率分别为92%和90%，优于DNN。
2021-11-22 cs.LG cs.SD eess.AS
Exploring the Design Space of Deep Convolutional Neural Networks at Large Scale
University of California, Berkeley（加州大学伯克利分校）
近年来，研究界发现，深度神经网络（DNN）和卷积神经网络（CNN）可以产生比以前所有解决广泛机器学习问题的解决方案更高的准确性。据我们所知，没有单一的CNN/DNN架构可以最佳地解决所有问题。相反，“正确的”CNN/DNN架构取决于手头的应用。CNN/DNN包括巨大的设计空间。定量地，我们发现CNN设计空间的一个小区域包含300亿个不同的CNN架构。在本论文中，我们开发了一种方法，使CNN的设计空间的系统探索。我们的方法包括以下四个主题。1.明智地选择基准和指标。2.快速训练CNN模型。3.定义和描述CNN设计空间。4.探索CNN架构的设计空间。综合起来，这四个主题构成了一个有效的方法，用于发现“正确的”CNN架构，以满足实际应用的需求。
2016-12-20 cs.CV cs.LG cs.NE
Convolutional Neural Networks In Convolution
RDF International School（RDF国际学校）
目前，越来越深的神经网络已被应用于提高其准确性。相比之下，我们提出了一种新的更广泛的卷积神经网络（CNN）架构，受多列深度神经网络和网络中的网络（NIN）的启发，旨在提高准确性，而无需输入数据变形。在我们的架构中，即“卷积中的CNN”（CNNIC），一个小的CNN，而不是原来的广义线性模型（GLM）为基础的过滤器，卷积作为核的原始图像，作为该网络的特征提取层。然后通过全局平均池化层和softmax层进行进一步的分类。为了克服训练中的困难，包括收敛速度慢和过拟合，采用了丢弃和正交初始化。在MNIST上展示了说服性分类性能。
2018-10-09 cs.CV cs.LG cs.NE
ACNet: Strengthening the Kernel Skeletons for Powerful CNN via Asymmetric Convolution Blocks
Beijing National Research Center for Information Science and Technology (BNRist)（北京信息科学与技术国家研究中心）；School of Software, Tsinghua University（清华大学软件学院）；Department of Automation, Tsinghua University（清华大学自动化系）；Institute for Brain and Cognitive Sciences, Tsinghua University（清华大学脑与认知科学研究所）；WMG Data Science, University of Warwick（华威大学WMG数据科学部）
由于在给定应用程序的上下文中设计适当的卷积神经网络（CNN）架构通常涉及繁重的人力工作或大量的GPU时间，研究界正在征求架构中立的CNN结构，它可以轻松地插入到多个成熟的架构中，以提高我们现实世界应用程序的性能。我们提出了非对称卷积块（ACB），这是一种架构中立的结构作为CNN构建块，它使用1D非对称卷积来增强平方卷积核。对于现成的架构，我们用ACB替换标准的平方核卷积层来构建非对称卷积网络（ACNet），它可以经过训练以达到更高的准确度。在训练之后，我们将ACNet等效地转换为相同的原始架构，因此不再需要额外的计算。我们已经观察到，ACNet可以明显提高CIFAR和ImageNet上各种模型的性能。通过进一步的实验，我们将ACB的有效性归因于其增强模型对旋转失真的鲁棒性和加强平方卷积核的中心骨架部分的能力。
2019-08-31 cs.CV cs.LG cs.NE
When Face Recognition Meets with Deep Learning: an Evaluation of Convolutional Neural Networks for Face Recognition
University of Surrey（萨里大学）；Queen Mary University of London（伦敦玛丽女王大学）；Chinese Academy of Sciences（中国科学院）
深度学习，特别是卷积神经网络（CNN），最近在人脸识别方面取得了可喜的成果。然而，这仍然是一个悬而未决的问题：为什么CNN工作得很好，以及如何设计一个“好”的架构。现有的工作往往集中在报告CNN架构，工作良好的人脸识别，而不是调查的原因。在这项工作中，我们在一个共同的基础上对基于CNN的人脸识别系统（CNN-FRS）进行了广泛的评估，以使我们的工作易于重现。具体来说，我们使用公共数据库LFW（Labeled Faces in the Wild）来训练CNN，这与大多数现有的CNN在私有数据库上训练不同。我们提出了三个CNN架构，这是第一次报告的架构使用LFW数据训练。本文定量地比较了CNN的体系结构，并评估了不同实现选择的效果。我们确定了CNN-FRS的几个有用的属性。例如，学习的特征的维数可以显着降低，而不会对人脸识别精度产生不利影响。此外，传统的度量学习方法，利用CNN学习的功能进行评估。实验表明，CNN-FRS性能良好的两个关键因素是多个CNN的融合和度量学习。为了使我们的工作可复制，源代码和模型将公开提供。
2015-04-09 cs.CV cs.LG cs.NE
Convolutional Neural Network(CNN/ConvNet) in Stock Price Movement Prediction
Shiv Nadar University（希夫·纳达尔大学）
随着技术的进步和数据的指数增长，我们已经在不同的领域展开了神经网络的不同功能。在本文中，我尝试在股票市场中使用一种特定类型的神经网络，称为卷积神经网络（CNN/ConvNet）。换句话说，我试图根据过去的股票价格数据构建和训练一个卷积神经网络，然后试图预测股票价格的走势，即股票价格在未来一段时间内是上涨还是下跌。
2021-06-03 cs.AI cs.CV cs.LG
An Efficient Evolutionary Deep Learning Framework Based on Multi-source Transfer Learning to Evolve Deep Convolutional Neural Networks
Victoria University of Wellington（惠灵顿维多利亚大学）
多年来，卷积神经网络（CNN）通过引入更复杂的拓扑结构，并向更深更宽的CNN扩展容量，不断取得更好的性能。这使得人工设计CNN变得非常困难，因此CNN的自动设计已经成为研究的焦点，它已经获得了优于人工设计CNN的CNN。然而，计算成本仍然是自动设计CNN的瓶颈。在本文中，受迁移学习的启发，提出了一种新的基于演化计算的框架，在不影响分类精度的情况下有效地进化CNN。所提出的框架利用多源域，这是比目标域数据集更小的数据集，以发展一个通用的CNN块只有一次。在此基础上，提出了一种新的叠加方法，既能加宽又能加深演化块，并提出了一种网格搜索方法来寻找最优叠加解。实验结果表明，该方法在不到40个GPU小时的时间内比15个同行竞争对手更快地获得了良好的CNN。在分类精度方面，该方法具有较强的竞争力，在CIFAR-10、CIFAR-100和SVHN数据集上的最佳出错率分别为3.46%、18.36%和1.76%。
2022-12-07 cs.CV cs.LG cs.NE
CyCNN: A Rotation Invariant CNN using Polar Mapping and Cylindrical Convolution Layers
Seoul National University（首尔大学）
深度卷积神经网络（CNN）在图像分类中经验上已知对适度平移不变，但对旋转不变。本文提出了一种深度CNN模型，称为CyCNN，它利用输入图像的极坐标映射将旋转转换为平移。为了处理极坐标的圆柱属性，我们将传统CNN中的卷积层替换为圆柱卷积（CyConv）层。CyConv层利用圆柱滑动窗口（CSW）机制，该机制垂直扩展卷积层中边界单元的输入图像感受野。我们评估了CyCNN和传统的CNN模型在旋转MNIST，CIFAR-10和SVHN数据集上的分类任务。我们表明，如果在训练过程中没有数据增强，与传统的CNN模型相比，CyCNN显着提高了分类精度。我们对CyCNN的实现可在https://github.com/mcrl/CyCNN上公开获得。
2020-07-21 cs.CV cs.LG eess.IV
Evolution of Convolutional Neural Network (CNN): Compute vs Memory bandwidth for Edge AI
MagicLeap Inc.（MagicLeap公司）
本文探讨了边缘AI背景下CNN计算需求与内存带宽的关系，分析架构演进中的权衡，为高效架构与硬件加速器设计提供见解。
2023-09-24 cs.CV cs.LG
Frequency Domain Convolutional Neural Network: Accelerated CNN for Large Diabetic Retinopathy Image Classification
University of Nottingham Malaysia（诺丁汉大学马来西亚分校）
卷积神经网络（CNN）中的传统空间卷积层在训练时间可能花费数天的点处计算上是昂贵的，除非减少层的数量、训练图像的数量或训练图像的大小。CNN的大多数应用通常使用256 × 256像素的图像大小，但该图像大小对于像糖尿病视网膜病变（DR）分类这样的应用来说太小了，其中图像细节对于准确分类很重要。本研究提出频域卷积（FDC）层和频域池化（FDP）层，其利用RFFT、核初始化策略、卷积伪影去除和通道独立卷积（CIC）来构建，以取代传统的卷积层和池化层。FDC和FDP层用于构建频域卷积神经网络（FDCNN），以加速DR分类的大图像训练。全FDC层是FDC层的扩展，允许直接用于传统CNN，它也用于修改VGG16架构。与等效的CNN架构相比，FDCNN CNN至少快54.21%，内存效率高70.74%。据报道，与原始的VGG16架构相比，具有完整FDC层的修改后的VGG16架构实现了更短的训练时间和更高的准确率（95.63%）。
2021-06-24 cs.CV cs.LG
Learning to Answer Questions From Image Using Convolutional Neural Network
Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）
在本文中，我们提出采用卷积神经网络（CNN）的图像问答（QA）。我们提出的CNN提供了一个具有卷积架构的端到端框架，不仅用于学习图像和问题表示，还用于学习它们的模态间交互以产生答案。更具体地说，我们的模型由三个CNN组成：一个图像CNN用于编码图像内容，一个句子CNN用于组成问题的单词，以及一个多模态卷积层用于学习它们的联合表示，以便在候选答案单词的空间中进行分类。我们证明了我们提出的模型在DAQUAR和COCO-QA数据集上的有效性，这是图像QA的两个基准数据集，其性能显着优于最先进的。
2015-11-13 cs.CL cs.CV cs.LG
L-CNN: A Lattice cross-fusion strategy for multistream convolutional neural networks
本文提出了一种多流卷积网络的融合策略，格型交叉融合。这种方法交叉来自卷积层的信号，在池化层之前执行基于数学运算的融合。在一个故意恶化的CIFAR-10（一个流行的图像分类数据集）上，使用修改后的AlexNet-LCNN版本的结果表明，这种新方法的性能比基线单流网络高出46%，具有更快的收敛速度，稳定性和鲁棒性。
2020-08-01 cs.CV cs.LG
MatConvNet - Convolutional Neural Networks for MATLAB
MatConvNet是卷积神经网络（CNN）的MATLAB实现。工具箱的设计强调简单性和灵活性。它将CNN的构建块作为易于使用的MATLAB函数公开，提供了使用滤波器组、特征池等计算线性卷积的例程。通过这种方式，MatConvNet允许快速原型化新的CNN架构;同时，它支持CPU和GPU上的高效计算，允许在ImageNet ILSVRC等大型数据集上训练复杂模型。本文档概述了CNN以及它们如何在MatConvNet中实现，并给出了工具箱中每个计算块的技术细节。
2016-05-05 cs.CV cs.LG cs.MS
Compressing Deep Convolutional Neural Networks by Stacking Low-dimensional Binary Convolution Filters
Hong Kong Baptist University（香港浸会大学）
深度卷积神经网络（CNN）已成功应用于许多现实问题。然而，深度CNN模型的巨大存储器成本对将它们部署在存储器受限的设备（例如，移动电话）。降低深度CNN模型的内存成本的一种流行方法是训练二进制CNN，其中卷积滤波器中的权重为1或-1，因此每个权重可以使用单个位有效地存储。然而，现有的二进制CNN模型的压缩比上限为32左右。为了解决这个问题，我们提出了一种新的方法，通过堆叠低维二进制卷积滤波器来压缩深度CNN模型。我们提出的方法近似一个标准的卷积滤波器，从一组低维二进制卷积滤波器选择和堆叠滤波器。这组低维二进制卷积滤波器在给定卷积层的所有滤波器之间共享。因此，我们的方法将实现比二进制CNN模型更大的压缩比。为了训练我们提出的模型，我们已经从理论上表明，我们提出的模型是等效的选择和堆栈的中间特征图产生的低维二进制过滤器。因此，我们提出的模型可以有效地使用分裂-变换-合并策略进行训练。我们还提供了详细的分析，我们的模型在模型推理的内存和计算成本。我们在两个基准数据集上将该方法与其他五种流行的模型压缩技术进行了比较。我们的实验结果表明，我们提出的方法实现了更高的压缩比现有的方法，同时保持相当的精度。
2020-10-06 cs.CV cs.LG
Fully Convolutional Networks for Automatically Generating Image Masks to Train Mask R-CNN
Anhui University of Technology（安徽工业大学）；University of Glasgow（格拉斯哥大学）
本文针对最先进的Mask R-CNN深度学习方法提出了一种新的自动生成图像掩码的方法。Mask R-CNN方法在目标检测中取得了最好的效果，但是训练时需要得到目标Mask，非常费时费力，本文提出的方法分为两阶段设计，自动生成图像Mask，第一阶段实现基于全卷积网络（FCN）的分割网络，第二阶段实现基于Mask R-CNN的目标检测网络，其在来自FCN输出的对象图像掩模、原始输入图像和附加标签信息上被训练。通过实验，我们提出的方法可以自动获取图像模板来训练Mask R-CNN，并且可以达到很高的分类精度，平均分割精度（mAP）超过90
2021-05-20 cs.CV cs.LG
No More Strided Convolutions or Pooling: A New CNN Building Block for Low-Resolution Images and Small Objects
Missouri University of Science and Technology（密苏里科技大学）
卷积神经网络（CNN）在图像分类和目标检测等计算机视觉任务中取得了巨大的成功。然而，在图像分辨率较低或对象较小的更严格的任务中，它们的性能会迅速下降。在本文中，我们指出，这根源于现有CNN架构中有缺陷但常见的设计，即使用跨越卷积和/或池化层，这导致细粒度信息的丢失和学习效率较低的特征表示。为此，我们提出了一个新的CNN构建块SPD-Conv来代替每个跨步卷积层和每个池化层（从而完全消除它们）。SPD-Conv由空间到深度（SPD）层和非跨越卷积（Conv）层组成，可以应用于大多数CNN架构。我们解释了两个最具代表性的计算机视觉任务下的新设计：目标检测和图像分类。然后，我们通过将SPD-Conv应用于YOLOv 5和ResNet来创建新的CNN架构，并根据经验表明，我们的方法显着优于最先进的深度学习模型，特别是在低分辨率图像和小对象的更艰巨任务上。我们在https://github.com/LabSAINT/SPD-Conv上开源了我们的代码。
2022-08-07 cs.CV cs.LG
HetConv: Heterogeneous Kernel-Based Convolutions for Deep CNNs
IIT Kanpur（印度理工学院坎普尔分校）
我们提出了一种新的深度学习架构，其中卷积操作利用异构内核。所提出的HetConv（Heterogeneous Kernel-Based Convolution）与标准卷积操作相比减少了计算（FLOPs）和参数的数量，同时仍然保持表示效率。为了证明我们提出的卷积的有效性，我们在标准卷积神经网络（CNN）架构（如VGG \cite{vgg2014very}和ResNet \cite{resnet}）上提供了大量的实验结果。我们发现，在用我们提出的HetConv滤波器替换这些架构中的标准卷积滤波器后，我们实现了基于3倍到8倍FLOP的速度改进，同时仍然保持（有时提高）准确性。我们还将我们提出的卷积与组/深度卷积进行了比较，并表明它以更高的精度实现了更多的FLOP减少。
2019-03-25 cs.AI cs.CV cs.LG
Continual 3D Convolutional Neural Networks for Real-time Processing of Videos
Aarhus University（奥胡斯大学）
我们介绍了连续3D卷积神经网络（Co 3D CNN），这是一种新的时空3D CNN计算公式，其中视频是逐帧处理的，而不是按剪辑处理的。在需要逐帧预测的在线任务中，Co 3D CNN免除了常规3D CNN的计算冗余，即在重叠剪辑中出现的帧上的重复卷积。我们表明，连续3D CNN可以重用预先存在的3D-CNN权重，以减少与时间感受野成比例的预测浮点运算（FLOPs），同时保持类似的内存要求和准确性。这一点在Kinetics-400和Charades上的多个模型中得到了验证，并取得了显著的成果：CoX 3D模型在Kinetics-400上实现了最先进的复杂性/准确性权衡，与常规X3 D模型相比，FLOP减少了12.1- 15.3倍，准确性提高了2.3-3.8%，同时将峰值内存消耗减少了48%。此外，我们研究了Co 3D CNN在启动时的瞬态响应，并对公开可用的3D CNN的硬件处理特性进行了广泛的基准测试。
2022-07-05 cs.CV cs.LG
CNNComparator: Comparative Analytics of Convolutional Neural Networks
The Hong Kong University of Science and Technology（香港科技大学）；The Tongji University（同济大学）
卷积神经网络（CNN）由于其卓越的性能而被广泛应用于许多图像识别任务中。然而，训练一个好的CNN模型仍然是一项具有挑战性的任务。在训练过程中，CNN模型通常会随着时间的推移学习大量参数，这通常会导致不同的性能。通常，由于大量的参数和不同的随机初始化，很难探索学习参数和模型性能之间的关系。在本文中，我们提出了一种可视化分析方法来比较在不同时期之后拍摄的训练CNN模型的两个不同快照，以便为更好的CNN模型的设计或训练提供一些见解。我们的系统通过探索不同级别的操作参数和相应的斑点数据的差异来比较快照。一个案例研究已经进行，以证明我们的系统的有效性。
2017-10-15 cs.CV cs.LG
Acceleration of Convolutional Neural Network Using FFT-Based Split Convolutions
Isfahan University of Technology（伊斯法罕理工大学）；McMaster University（麦克马斯特大学）
卷积神经网络（CNN）具有大量变量，因此遭受其实现的复杂性问题。不同的方法和技术已经开发，以减轻CNN的复杂性的问题，如量化，修剪等不同的简化方法，在傅立叶域中的计算被认为是一个新的范式CNN的加速。近年来，基于快速傅立叶变换（FFT）的CNN的研究旨在简化FFT所需的计算。然而，在降低FFT的计算复杂性方面还有很大的工作空间。提出了一种基于输入分裂的FFT域CNN处理方法。在诸如CNN的情况下，在使用小内核的FFT计算中存在问题。分裂可以被认为是一个有效的解决方案，这些问题所引起的小内核。使用分离冗余（诸如，相加和相加）减少了并且提高了效率。所提出的FFT方法的硬件实现，以及不同的分析的复杂性，进行证明所提出的方法的适当的性能。
2020-04-03 cs.CV cs.LG
Gauge Equivariant Convolutional Networks and the Icosahedral CNN
Qualcomm AI Research（高通人工智能研究院）；University of Amsterdam（阿姆斯特丹大学）
对称变换的等变性原理使神经网络架构设计成为一种有理论基础的方法。等变网络在表现对称性的视觉和医学成像问题上表现出出色的性能和数据效率。在这里，我们展示了如何将这一原则可以扩展到超越全球对称性的地方规范变换。这使得能够在流形上开发一种非常一般的卷积神经网络，这种网络只依赖于内在几何，并且包括来自等变和几何深度学习的许多流行方法。我们实现规范等变CNN上定义的二十面体，这提供了一个合理的近似球的表面上的信号。通过选择使用这个非常规则的流形，我们能够使用单个conv2d调用来实现规范等变卷积，使其成为球面CNN的高度可扩展和实用的替代方案。使用这种方法，我们表现出实质性的改进，在以前的方法上的任务分割全向图像和全球气候模式。
2019-05-13 cs.CV cs.LG cs.NE
ZynqNet: An FPGA-Accelerated Embedded Convolutional Neural Network
ETH Zürich（苏黎世联邦理工学院）
图像理解正在成为从医疗诊断到自动驾驶汽车等越来越多应用的重要功能。许多应用需要嵌入式解决方案，这些解决方案可以集成到具有严格实时性和功耗限制的现有系统中。卷积神经网络（CNN）目前在所有图像理解基准中都达到了破纪录的精度，但具有非常高的计算复杂性。因此，嵌入式CNN需要小而高效，但功能非常强大的计算平台。本硕士论文探讨了基于FPGA的CNN加速的潜力，并演示了Zynq片上系统上的全功能概念验证CNN实现。ZynqNet嵌入式CNN专为ImageNet上的图像分类而设计，由ZynqNet CNN（一种优化和定制的CNN拓扑）和ZynqNet FPGA加速器（一种用于评估的基于FPGA的架构）组成。ZynqNet CNN是一种高效的CNN拓扑。使用定制设计的Netscope CNN分析器对现有拓扑结构进行详细分析和优化，使CNN具有84.5%的前5名准确度，计算复杂性仅为5.3亿次乘法累加运算。该拓扑高度规则，仅由卷积层、ReLU非线性和一个全局池化层组成。CNN非常适合FPGA加速器。ZynqNet FPGA加速器允许对ZynqNet CNN进行高效评估。它基于嵌套循环算法加速整个网络，最大限度地减少算术运算和内存访问的数量。FPGA加速器已使用Xilinx Zynq XC-7Z 045的高级综合进行综合，并达到200 MHz的时钟频率，器件利用率为80%至90%。
2020-05-14 cs.CV cs.LG
Understanding and Improving Convolutional Neural Networks via Concatenated Rectified Linear Units
Oculus VR；NEC Laboratories America（NEC美国实验室）；Enlitic；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
近年来，卷积神经网络（CNN）已被用作解决机器学习和计算机视觉的许多问题的有力工具。在本文中，我们的目标是提供对卷积神经网络特性的深入了解，以及提高许多CNN架构性能的通用方法。具体来说，我们首先检查现有的CNN模型，并观察到一个有趣的特性，即较低层中的滤波器形成对（即，反相滤波器）。受我们观察的启发，我们提出了一种新的，简单而有效的激活方案，称为级联ReLU（CRelu），并从理论上分析了它在CNN中的重建特性。我们将CRelu集成到几种最先进的CNN架构中，并在CIFAR-10/100和ImageNet数据集上证明了其识别性能的改进，并且具有更少的可训练参数。我们的研究结果表明，更好地理解CNN的属性可以通过简单的修改来显着提高性能。
2016-07-19 cs.CV cs.LG
HD-CNN: Hierarchical Deep Convolutional Neural Network for Large Scale Visual Recognition
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）；eBay Research Lab（eBay研究实验室）；The University of Hong Kong（香港大学）
在图像分类中，不同对象类别之间的视觉可分性是高度不均匀的，并且某些类别比其他类别更难区分。这样困难的分类需要更多专门的分类器。然而，现有的深度卷积神经网络（CNN）被训练为平坦N路分类器，并且很少努力利用类别的分层结构。在本文中，我们通过将深度CNN嵌入到类别层次结构中来引入分层深度CNN（HD-CNN）。HD-CNN使用粗类别分类器分离简单类别，同时使用细类别分类器区分困难类别。在HD-CNN训练过程中，组件预训练之后是全局微调，使用粗类别一致性项正则化的多项式逻辑损失。此外，精细类别分类器和层参数压缩的条件执行使HD-CNN可扩展为大规模视觉识别。我们在CIFAR 100和大规模ImageNet 1000类基准数据集上都取得了最先进的结果。在我们的实验中，我们建立了三种不同的HD-CNN，它们分别将标准CNN的前1个误差降低了2.65%、3.1%和1.1%。
2015-05-16 cs.AI cs.CV cs.LG
High Frequency Component Helps Explain the Generalization of Convolutional Neural Networks
School of Computer Science（计算机科学学院）；Carnegie Mellon University（卡内基梅隆大学）
我们研究了图像数据的频谱和卷积神经网络（CNN）的泛化行为之间的关系。我们首先注意到CNN捕捉图像高频分量的能力。这些高频成分几乎是人类无法察觉的。因此，观察导致了与CNN的泛化行为相关的多个假设，包括对抗性示例的潜在解释，CNN在鲁棒性和准确性之间权衡的讨论，以及理解训练算法的一些证据。
2020-03-24 cs.CV cs.LG
SA-CNN: Application to text categorization issues using simulated annealing-based convolutional neural network optimization
École Centrale de Nantes（南特中央理工学院）
卷积神经网络（CNN）是一类代表性的深度学习算法，包括基于其分层架构对输入数据执行卷积不变分类的卷积计算。然而，经典的卷积神经网络学习方法使用最速下降算法进行训练，学习性能受卷积层和全连接层初始权重设置的影响很大，需要重新调整以在不同的模型结构和数据下获得更好的性能。结合模拟退火算法在全局搜索方面的优势，提出将其应用于超参数搜索过程，以提高卷积神经网络（CNN）的有效性。本文在Text-CNN神经网络的基础上引入SA-CNN神经网络用于文本分类任务，并实现了用于超参数搜索的模拟退火算法。实验表明，我们可以实现更高的分类精度比早期的模型与手动调整，并在时间和空间上的改进，探索相对于人类调整是实质性的。
2023-03-13 cs.LG
Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks
indico Research（indico研究公司）；Facebook AI Research（脸书人工智能研究院）
近年来，使用卷积网络（CNN）的监督学习在计算机视觉应用中得到了广泛采用。相比之下，使用CNN的无监督学习受到的关注较少。在这项工作中，我们希望帮助弥合CNN在监督学习和无监督学习中的成功之间的差距。我们介绍了一类称为深度卷积生成对抗网络（DCGAN）的CNN，它们具有一定的架构约束，并证明它们是无监督学习的强有力候选者。在各种图像数据集上进行训练，我们展示了令人信服的证据，证明我们的深度卷积对抗对在生成器和生成器中学习了从对象部分到场景的表示层次。此外，我们将学习到的功能用于新的任务-证明它们作为一般图像表示的适用性。
2016-01-07 cs.CV cs.LG
Low-Energy Convolutional Neural Networks (CNNs) using Hadamard Method
University of Notre Dame（圣母大学）
物联网（IoT）需求的不断增长使得有必要在低功耗设备中实现对象识别等计算机视觉任务。卷积神经网络（CNN）是一种潜在的目标识别和检测方法。然而，与完全连接的层相比，CNN中的卷积层消耗大量能量。为了缓解这个问题，一种新的方法，阿达玛变换作为替代的卷积运算的基础上，使用两个基本的数据集，MNIST和CIFAR10。Hadamard方法的数学表达式显示了与卷积层相比节省能耗的明显潜力，这对大数据应用很有帮助。此外，对于MNIST数据集的测试精度，Hadamard方法的性能与卷积方法相似。相比之下，与卷积方法相比，CIFAR10数据集的测试数据准确性下降（由于复杂的数据和多个通道）。最后，当核尺寸小于输入图像尺寸时，所演示的方法对于其他计算机视觉任务是有帮助的。
2022-09-06 cs.AI cs.CV cs.LG
A Survey of Convolutional Neural Networks: Analysis, Applications, and Prospects
卷积神经网络（CNN）是深度学习领域最重要的网络之一。由于CNN在计算机视觉和自然语言处理等多个领域取得了令人瞩目的成就，在过去的几年里引起了工业界和学术界的广泛关注。现有的综述主要集中在CNN在不同场景下的应用上，没有从一般的角度来考虑CNN，最近提出的一些新颖的想法也没有被涵盖。在这篇综述中，我们的目标是尽可能地在这个快速发展的领域提供新的想法和前景。除二维卷积外，还包括一维和多维卷积。首先，这篇评论从简要介绍CNN的历史开始。其次，我们提供了CNN的概述。第三，介绍了经典的和先进的CNN模型，特别是那些关键点，使他们达到最先进的结果。第四，通过实验分析，得出了一些结论，并为功能选择提供了几条经验法则。第五，涵盖了一维，二维和多维卷积的应用。最后，讨论了CNN的一些开放性问题和有前途的方向，以作为未来工作的指导方针。
2020-04-01 cs.CV cs.LG eess.IV
DD-CNN: Depthwise Disout Convolutional Neural Network for Low-complexity Acoustic Scene Classification
Jiangnan University（江南大学）；University of Surrey（萨里大学）；ByteDance AI Lab（字节跳动人工智能实验室）
本文提出了一种用于城市声场景检测和分类的依赖性Disout卷积神经网络（DD-CNN）。具体来说，我们使用log-mel作为我们网络输入的声学信号的特征表示。在所提出的DD-CNN中，使用深度可分离卷积来降低网络复杂度。此外，SpecAugment和Disout用于进一步提高性能。实验结果表明，我们的DD-CNN可以从音频片段中学习有区别的声学特征，并有效地降低了网络的复杂度。我们的DD-CNN被用于DCASE 2020挑战赛的低复杂度声学场景分类任务，在验证集上达到了92.04%的准确率。
2020-07-25 cs.LG cs.SD eess.AS
Evolving Character-level Convolutional Neural Networks for Text Classification
更高级的卷积神经网络（char-CNN）不需要知道它们所分类的语言的语义或句法结构。该属性简化了其实现，但降低了其分类精度。增加char-CNN架构的深度并不会带来突破性的准确性改进。研究还没有确定哪种char-CNN架构最适合文本分类任务。手动设计和训练char-CNN是一个迭代和耗时的过程，需要专业的领域知识。进化深度学习（EDL）技术，包括基于代理的版本，已经证明在自动搜索用于图像分析任务的高性能CNN架构方面取得了成功。研究人员还没有应用EDL技术来搜索用于文本分类任务的char-CNN的架构空间。这篇文章展示了使用基于遗传编程的新型EDL算法（间接编码和代理模型）来自动搜索性能良好的char-CNN架构的第一项工作。该算法在八个文本分类数据集上进行了评估，并针对五个手动设计的CNN架构和一个长短期记忆（LSTM）架构进行了基准测试。实验结果表明，该算法可以进化出在分类精度方面优于LSTM的架构，以及在分类精度和参数计数方面优于五种手动设计的CNN架构。
2020-12-03 cs.CL cs.LG cs.NE
Aspect-based Opinion Summarization with Convolutional Neural Networks
Fudan University（复旦大学）
本文考虑了基于AOS的特定产品评论的意见摘要。为了实现真正的应用程序，AOS系统需要解决两个核心子任务，方面提取和情感分类。现有的大多数方面提取方法，使用语言分析或主题建模，是通用的不同的产品，但不够精确或适合于特定的产品。相反，我们采用了一种不太一般但更精确的方案，直接将每个评论句子映射到预定义的方面。为了解决方面映射和情感分类，我们提出了两种基于卷积神经网络（CNN）的方法，级联CNN和多任务CNN。级联CNN包含两级卷积网络。第1级的多个CNN处理方面映射任务，第2级的单个CNN处理情感分类。多任务CNN也包含多方面CNN和情感CNN，但不同的网络共享相同的词嵌入。实验结果表明，级联和多任务CNN都大大优于基于SVM的方法。多任务CNN通常比级联CNN性能更好。
2015-11-30 cs.CL cs.IR cs.LG
CInC Flow: Characterizable Invertible 3x3 Convolution
International Institute of Information Technology Hyderabad（海得拉巴国际信息技术学院）；École Normale Supérieure (ENS) Paris-Saclay（巴黎萨克雷高等师范学院）
规范化流是生成建模的GANs的重要替代方案，可以直接在数据集的最大似然上进行优化。它们还允许计算对应于图像的确切的潜在向量，因为它们由可逆变换组成。然而，对变换可逆性的要求阻止了标准的和表达性的神经网络模型，例如CNN被直接使用。提出了涌现卷积，以使用一对掩蔽的CNN层来构造可逆的3 $\times$ 3 CNN层，这使得它们效率低下。我们研究的条件，使3 $\times$ 3 CNN是可逆的，使他们能够构建表达规范化流。我们推导出填充CNN可逆的充分必要条件。我们的可逆性条件很简单，在训练过程中很容易保持。由于我们只需要一个单一的CNN层为每个有效的可逆CNN层，我们的方法比新兴的卷积更有效。我们还提出了一种耦合方法，四耦合。我们对我们的方法进行了基准测试，并显示出与紧急卷积相似的性能结果，同时提高了模型的效率。
2021-07-03 cs.AI cs.CV cs.LG
cuConv: A CUDA Implementation of Convolution for CNN Inference
Barcelona Supercomputing Center (BSC)（巴塞罗那超级计算中心（BSC））
针对 CNN 推理中常用卷积配置的效率问题，本文提出无需数据预处理、强调合并访存的 GPU 实现 cuConv，相对 cuDNN 最高实现 2.29 倍加速。
2021-03-30 cs.DC cs.LG
Temporal Convolutional Explorer Helps Understand 1D-CNN's Learning Behavior in Time Series Classification from Frequency Domain
Zhejiang University（浙江大学）
本研究提出时间卷积探索器（TCE）从频域分析1D-CNN的学习行为，发现深层网络因干扰卷积偏离低频分量导致准确率下降，并据此提出可集成的调控框架，在多个基准上实现了性能提升且降低了资源开销。
2023-10-09 cs.LG
Convolutional Neural Networks for Page Segmentation of Historical Document Images
University of Fribourg（弗里堡大学）
提出了一种基于卷积神经网络（CNN）的手写历史文档图像页面分割方法。我们将页面分割视为像素标记问题，即，每个像素被分类为预定类别之一。这一领域的传统方法依赖于精心手工制作的特征或大量的先验知识。相比之下，我们建议使用CNN从原始图像像素中学习特征。虽然许多研究人员专注于开发深度CNN架构来解决不同的问题，但我们只训练了一个简单的CNN，只有一个卷积层。我们表明，简单的架构在不同的公共数据集上实现了与其他深度架构竞争的结果。实验结果也证明了该方法的有效性和优越性相比，以前的方法。
2017-04-07 cs.CV cs.LG stat.ML
Extension of Convolutional Neural Network along Temporal and Vertical Directions for Precipitation Downscaling
Kumamoto University（熊本大学）；University of California, Davis（加州大学戴维斯分校）；Sun Yat-Sen University（中山大学）
深度学习已被用于气候数据的统计降尺度。具体而言，二维（2D）卷积神经网络（CNN）已成功地应用于降水估计。本研究实施一个三维（3D）的CNN，以估计流域尺度的日降水量从3D大气数据，并比较结果与2D CNN。2D CNN沿着时间方向（3D-CNN-Time）和垂直方向（3D-CNN-Vert）延伸。这些扩展的CNN的降水估计进行了比较与那些的2D CNN的均方根误差（RMSE），纳什-萨克利夫效率（NSE），和第99百分位数RMSE。发现与2D CNN相比，3D-CNN-Time和3D-CNN-Vert都提高了降水估计的模型精度。3D-CNN-Vert在训练和测试期间提供了RMSE和NSE方面的最佳估计。
2021-12-13 cs.LG physics.ao-ph
CP-CNN: Core-Periphery Principle Guided Convolutional Neural Network
University of Georgia（佐治亚大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本文提出受人脑核心-边缘结构启发的CP-CNN，将该原则用于网络连接与卷积稀疏化，并在三个数据集上验证其优于CNN和ViT方法。
2023-03-27 cs.AI cs.LG cs.NE
V-CNN: When Convolutional Neural Network encounters Data Visualization
Northwestern Polytechnical University（西北工业大学）
近年来，深度学习在几乎所有领域都带来了深刻的技术革命，引起了工业界和学术界的极大关注。特别是卷积神经网络（CNN）作为深度学习的代表模型，在计算机视觉和自然语言处理领域取得了巨大的成功。然而，简单地或盲目地将CNN应用于其他领域会导致较低的训练效果或使得调整模型参数变得非常困难。在这张海报中，我们提出了一个通用的方法命名为V-CNN通过介绍数据可视化的CNN。V-CNN在CNN建模之前引入了一个数据可视化模型，以确保处理后的数据适合图像的特征以及CNN建模。我们将V-CNN应用于基于著名的实用数据集AWID的网络入侵检测问题。仿真结果表明，V-CNN显著优于其他研究，每个入侵类别的召回率均超过99.8%。
2018-06-12 cs.HC cs.LG stat.ML
Convexified Convolutional Neural Networks
Stanford University（斯坦福大学）
我们描述了一类凸化的卷积神经网络（CCNNs），它以凸的方式捕获卷积神经网络的参数共享。通过将非线性卷积滤波器表示为再生核希尔伯特空间中的向量，CNN参数可以表示为低秩矩阵，其可以被放松以获得凸优化问题。对于学习两层卷积神经网络，我们证明了由凸化的CNN获得的泛化误差收敛到最佳可能的CNN。为了学习更深层次的网络，我们以逐层的方式训练CCNN。从经验上讲，CCNN的性能与通过反向传播、SVM、全连接神经网络、堆叠去噪自动编码器和其他基线方法训练的CNN相比具有竞争力。
2016-09-04 cs.LG
SeNA-CNN: Overcoming Catastrophic Forgetting in Convolutional Neural Networks by Selective Network Augmentation
Instituto de Telecomunicações（电信研究所）；Universidade da Beira Interior（贝拉内格罗大学）
终身学习旨在开发机器学习系统，该系统可以学习新任务，同时保留先前学习任务的性能。在本文中，我们提出了一种方法来克服灾难性遗忘卷积神经网络，学习新的任务，并保持旧的任务的性能，而不访问原始模型的数据，通过选择性网络增强。实验结果表明，在某些情况下，SeNA-CNN的性能优于最先进的无遗忘学习算法。结果还表明，在某些情况下，使用SeNA-CNN而不是使用隔离学习来训练神经网络更好。
2018-05-09 cs.LG stat.ML
Data Augmentation of Spectral Data for Convolutional Neural Network (CNN) Based Deep Chemometrics
Wildcard Pharmaceutical Consulting（Wildcard 制药咨询公司）；Copenhagen University（哥本哈根大学）
深度学习方法用于光谱数据，从近红外（NIR）光谱预测片剂中的药物含量。使用卷积神经网络（CNN），从光谱数据中提取特征。扩展乘法散射校正（EMSC）和一种新的光谱数据增强方法作为预处理步骤的基准。对于所有预处理组合，学习模型的性能更好或与假设的最佳偏最小二乘（PLS）模型相当。数据增强与随后的EMSC相结合给出了最佳结果。在使用来自第二台仪器和来自未被训练数据覆盖的分析物浓度的数据创建的外推挑战中，深度学习模型CNN的表现也优于PLS模型。CNN核激活的定性研究表明，它们与众所周知的数据处理方法相似，如平滑，斜率/导数，阈值和光谱区域选择。
2017-10-05 cs.LG
Should You Go Deeper? Optimizing Convolutional Neural Network Architectures without Training by Receptive Field Analysis
Osnabrück University（奥斯纳布吕克大学）；Osnabrück University of Applied Sciences（奥斯纳布吕克应用科学大学）
在为特定的基于图像的任务优化卷积神经网络（CNN）时，专家通常会在设计中超过卷积层的数量。通过暗示，这些CNN不必要地对训练和部署进行资源密集，对预测性能的有益影响减少。卷积层可以处理的特征受到其接收场的严格限制。通过逐层分析感受野的大小，我们可以可靠地预测在给定的CNN架构中不会对测试准确性做出定性贡献的层序列。基于这种分析，我们提出了基于所谓的边界层的设计策略。该层允许识别非生产性卷积层，从而解决这些低效率问题，优化CNN的可解释性和计算性能。由于策略和分析都不需要训练实际模型，因此这些见解允许CNN架构的非常有效的设计过程，这可能在未来实现自动化。
2021-10-05 cs.AI cs.LG cs.NE
Towards Dependable Deep Convolutional Neural Networks (CNNs) with Out-distribution Learning
Université Laval（拉瓦尔大学）；Oregon State University（俄勒冈州立大学）
使用深度CNN在安全敏感和安全关键系统中检测和拒绝对抗性示例至关重要。在本文中，我们提出了一种通过外分布学习来增强CNN的方法，以通过拒绝对抗性样本来降低误分类率。我们的经验表明，我们的增强CNN可以拒绝或正确分类使用众所周知的方法生成的大多数对抗性示例（MNIST平均>95%，CIFAR-10平均>75%）。此外，我们实现了这一点，而不需要使用任何特定类型的对抗性示例进行训练，也不会显著牺牲模型在干净样本上的准确性（< 4%）。
2018-05-16 cs.CR cs.LG
