B-CNN: Branch Convolutional Neural Network for Hierarchical Classification
Shanghai Jiao Tong University(上海交通大学);University of New South Wales(新南威尔士大学)
卷积神经网络(CNN)图像分类器传统上被设计为具有带有单个输出层的顺序卷积层。这是基于这样的假设,即所有目标类别都应得到平等和排他性的对待。然而,一些类可能比其他类更难区分,并且类可以被组织在类别的层次结构中。同时,CNN被设计为基于其分层结构来学习从输入数据中抽象的内部表示。因此,很自然地会问,这个想法的逆是否可以应用于学习一个模型,该模型可以使用多个输出层以类抽象的降序来预测分类层次结构。在本文中,我们介绍了一个变种的传统CNN模型命名为分支卷积神经网络(B-CNN)。B-CNN模型沿着与目标类的分层结构相对应的级联卷积层输出从粗到细排序的多个预测,这可以被视为输出的先验知识的一种形式。为了使用B-CNN进行学习,引入了一种新的训练策略,称为分支训练策略(BT策略),该策略平衡了先验的严格性与调整输出层参数的自由度,以最大限度地减少损失。通过这种方式,我们证明了基于CNN的模型可以在输出阶段的内部层中连续地学习从粗到细的概念,并且可以采用分层先验知识来提高CNN模型的分类性能。对我们的模型进行评估,以表明B-CNN扩展在基准数据集MNIST,CIFAR-10和CIFAR-100上的相应基线CNN上有所改善。
2017-10-05 cs.CV
Weakly-supervised fire segmentation by visualizing intermediate CNN layers
Instituto Superior Tecnico, University of Lisbon(里斯本大学高等技术学院)
图像和视频中的火灾定位是自治系统对抗火灾事件的重要步骤。基于深度神经网络的最先进的图像分割方法需要大量的像素注释样本来以完全监督的方式训练卷积神经网络(CNN)。在本文中,我们考虑弱监督分割图像中的火灾,其中只有图像标签被用来训练网络。我们表明,在火灾分割的情况下,这是一个二进制分割问题,在中间层的分类CNN的特征的平均值可以比传统的类激活映射(CAM)方法更好地执行。我们还建议通过在最后一个卷积层的特征上添加旋转等变正则化损失来进一步提高分割精度。我们的研究结果表明,明显的改善基线方法弱监督火灾分割。
2021-11-16 cs.CV
Comparison between layer-to-layer network training and conventional network training using Deep Convolutional Neural Networks
本研究提出一种CNN逐层训练方法,将早期层作为学生网络、后期层作为教师网络交替学习,在VGG16、ResNext、DenseNet及常规CNN上均比传统训练获得更高测试准确率。
2023-05-11 cs.CV
Exploiting Vulnerability of Pooling in Convolutional Neural Networks by Strict Layer-Output Manipulation for Adversarial Attacks
卷积神经网络(CNN)在智能车辆等移动机器人领域得到了越来越多的应用。CNN在机器人应用中的安全性是一个重要的问题,对CNN的潜在对抗攻击值得研究。池化是CNN降维和信息丢弃的一个典型步骤。这种信息丢弃可能导致数据特征的误删除和误保存,这在很大程度上影响了网络的输出。这可能会加剧CNN对对抗攻击的脆弱性。在本文中,我们进行对抗攻击CNN从网络结构的角度,通过调查和利用池的脆弱性。首先,提出了一种新的对抗攻击方法--严格层输出操纵(SLOM)。然后设计了一种基于严格池操作(SPM)的攻击方法,该方法是SLOM思想的一种实例化,有效地实现了对目标CNN的I类和II类对抗攻击。研究和比较了不同深度下基于SPM的攻击性能。此外,通过实例化的SLOM精神与不同的操作层的CNN设计的攻击方法的性能进行了比较。实验结果表明,池化比CNN中的其他操作更容易受到对抗攻击。
2020-12-21 cs.CV
Selective Feature Connection Mechanism: Concatenating Multi-layer CNN Features with a Feature Selector
Institute of Automation, Chinese Academy of Sciences(CASIA)(中国科学院自动化研究所);University of Chinese Academy of Sciences(UCAS)(中国科学院大学)
针对直接拼接CNN高低层特征导致的背景杂乱和语义模糊问题,提出选择性特征连接机制(SFCM),通过高层特征生成的选择器选择性链接低层特征,在多视觉任务上验证了其有效性、优越性与普遍适用性。
2019-04-21 cs.CV
Evaluating Adversarial Robustness in the Spatial Frequency Domain
National Taiwan University(台湾大学)
本文利用DCT构建SF层并改造CNN骨干网络,实证表明SF-CNNs在白盒与黑盒攻击下更鲁棒,且低频成分是其鲁棒性的主要来源。
2024-05-10 cs.CV
Class-Discriminative CNN Compression
Princeton University(普林斯顿大学)
通过修剪和蒸馏来压缩卷积神经网络(CNN)已经在社区中受到越来越多的关注。特别是,设计一种基于类别区分的方法是理想的,因为它与CNN的训练目标无缝契合。在本文中,我们提出了类判别压缩(CDC),它在修剪和蒸馏中注入了类判别,以促进CNN的训练目标。我们首先研究了一组判别函数对通道修剪的有效性,其中我们通过直观的概括在我们的研究中包括众所周知的单变量二进制类统计,如学生T检验。然后,我们提出了一种新的层自适应分层修剪方法,在那里我们使用一个粗糙的类歧视计划的早期层和一个罚款后的层。这种方法自然符合CNN在早期层处理粗糙语义并在后期提取精细概念的事实。此外,我们利用判别成分分析(DCA)提取知识的中间表示在子空间中具有丰富的判别信息,这提高了隐藏层的线性可分性和分类精度的学生。结合修剪和蒸馏,CDC在CIFAR和ILSVRC 2012上进行了评估,我们始终优于最先进的结果。
2021-10-21 cs.CV
SCA-CNN: Spatial and Channel-wise Attention in Convolutional Networks for Image Captioning
Zhejiang University(浙江大学);Columbia University(哥伦比亚大学);Shandong University(山东大学);Tencent AI Lab(腾讯AI实验室);National University of Singapore(新加坡国立大学)
视觉注意已经成功地应用于结构预测任务,如视觉字幕和问答。现有的视觉注意力模型通常是空间的,即,注意力被建模为对编码输入图像的CNN的最后一个卷积层特征图进行重新加权的空间概率。然而,我们认为,这种空间注意力并不一定符合注意力机制-一个动态特征提取器,随着时间的推移结合上下文固定,因为CNN特征自然是空间的,通道的和多层的。在本文中,我们介绍了一种新的卷积神经网络,称为SCA-CNN,它在CNN中集成了空间和空间方向的注意力。在图像描述的任务中,SCA-CNN动态地调制多层特征图中的句子生成上下文,编码其中(即,在多个层上的关注的空间位置)和什么(即,注意的渠道)的视觉注意力。我们在三个基准图像描述数据集上评估了所提出的SCA-CNN架构:Flickr 8 K,Flickr 30 K和MSCOCO。一致地观察到SCA-CNN显著优于最先进的基于视觉注意力的图像描述方法。
2017-04-12 cs.CV
Transfer Learning in CNNs Using Filter-Trees
Indian Institute of Science(印度科学理工学院)
卷积神经网络(CNN)对于许多模式识别任务是非常有效的。然而,训练深度CNN需要大量的计算和大量的训练数据。在本文中,我们提出了过滤树银行(Bank of Filter-Trees,BFT)作为提高学习CNN效率的转移学习机制。对应于CNN的第k^{th}卷积层中的滤波器的滤波器树是由滤波器连同其到所有先前层中的滤波器的所有连接组成的子网络。从在不同但相关的任务中学习的许多CNN的第k层创建的这种过滤树的集合形成了BFT。为了学习新的CNN,我们从BFT中采样以选择一组过滤器树。这将目标网络固定到第k层,并且只有剩余的网络将使用新任务的训练数据来学习。通过仿真,我们证明了这种想法的BFT的有效性。该方法构成了一种新的迁移学习技术,其中迁移处于子网络级别;可以从多个源网络实现迁移;并且,在没有对所迁移的权重进行微调的情况下,所实现的性能与从头开始训练的网络相当。
2017-11-27 cs.CV
End-to-end Feature Alignment: A Simple CNN with Intrinsic Class Attribution
University of Miami(迈阿密大学)
本文提出了一种具有内在类别归因的端到端特征对齐CNN,通过保持特征顺序提升模型可解释性,证明其特征图与Grad-CAM相似性,并在多个数据集上验证了有效性。
2026-03-26 cs.CV
The Mind's Eye: Visualizing Class-Agnostic Features of CNNs
Utrecht University(乌得勒支大学)
卷积神经网络(CNN)的视觉可解释性已经得到了极大的普及,因为CNN复杂性对理解其内部工作带来了巨大的挑战。虽然已经提出了许多技术来可视化CNN的类特征,但其中大多数都没有提供输入与特定层中提取的特征之间的对应关系。这阻止了发现每一层都能更好地响应的刺激。我们提出了一种方法来直观地解释CNN功能给定的一组图像,通过创建相应的图像,描绘了一个特定层的最丰富的功能。以这种类不可知的方式探索特征允许更多地关注CNN的特征提取器。我们的方法使用双目标激活最大化和距离最小化损失,不需要生成器网络,也不需要修改原始模型。这将FLOP的数量限制为原始网络的数量。我们展示了广泛使用的架构上的可视化质量。
2021-01-29 cs.CV
CRF-CNN: Modeling Structured Information in Human Pose Estimation
The Chinese University of Hong Kong(香港中文大学)
深度卷积神经网络(CNN)已经取得了巨大的成功。另一方面,在许多视觉问题中,结构信息建模已被证明是至关重要的。将它们有效地结合起来具有重大意义。在经典的神经网络中,同一层的神经元之间没有消息传递。在本文中,我们提出了一个CRF-CNN框架,它可以同时在输出和隐藏的特征层以概率的方式建模的结构信息,并将其应用于人体姿态估计。提出了一种消息传递方案,使得在各个层中,每个身体关节以有效的方式接收来自所有其他身体关节的消息。这种消息传递可以通过同一层中的特征图之间的卷积来实现,并且它还与神经网络中的前馈传播相集成。最后,提供了一个端到端学习CRF-CNN的神经网络实现。在两个基准数据集上的实验证明了该方法的有效性。
2016-11-02 cs.CV
Gabor filter incorporated CNN for compression
DENSO CORPORATION(电装公司)
卷积神经网络(CNN)在许多计算机视觉任务中取得了显著的成功。然而,高成本的推理是嵌入式和实时系统的问题,所以有很多研究压缩网络。另一方面,自我注意模型的最新进展表明,卷积滤波器在早期层中优于自我注意,这表明较强的归纳偏差在早期层中更好。如卷积滤波器中所示,强偏置可以训练特定滤波器并将不必要的滤波器构造为零。这类似于经典的图像处理任务,其中选择合适的滤波器使得紧凑的字典来表示特征。我们遵循这个想法,并将Gabor滤波器纳入CNN的早期层进行压缩。通过反向传播学习Gabor滤波器的参数,因此特征仅限于Gabor滤波器。我们发现,CIFAR-10的VGG-16的第一层有192个内核/特征,但学习Gabor滤波器平均需要29.4个内核。此外,使用Gabor滤波器,第一层和第二层中平均分别有83%和94%的内核可以在更改后的ResNet-20上被移除,其中前五层与CIFAR-10的两层较大内核交换。
2021-12-14 cs.CV
Learning Enhancement of CNNs via Separation Index Maximizing at the First Convolutional Layer
University of Tehran(德黑兰大学)
本文提出了一种基于分离指数(SI)概念的卷积神经网络(CNN)增强学习算法。首先,解释了SI作为一种监督复杂性度量,它在分类问题的CNN更好学习中的用途。然后,提出了一种学习策略,通过该策略,通过最大化SI来优化CNN的第一层,并且通过反向传播算法来训练进一步的层以学习进一步的层。为了最大化第一层的SI,利用准最小二乘误差技术优化了排序损失的一个变量。将这种学习策略应用于一些已知的CNN和数据集,几乎在所有情况下都证明了其增强效果。
2022-01-13 cs.CV cs.LG
Pose-Invariant Face Alignment with a Single CNN
Michigan State University(密歇根州立大学);Bosch Research and Technology Center North America(博世北美研究与技术中心)
在过去的十年中,面部对齐已经取得了实质性的进展。最近的焦点之一是将密集的3D面部形状与具有大头部姿势的面部图像对齐。所使用的主要技术是基于级联回归,例如,CNN,它已经显示出有希望的结果。尽管如此,CNN的级联具有几个缺点,例如,缺乏端到端的培训,手工制作的功能和缓慢的培训速度。为了解决这些问题,我们提出了一个新的层,命名为可视化层,可以集成到CNN架构,并启用不同的损失函数的联合优化。在多个数据集上对所提出的方法进行了广泛的评估,证明了最先进的准确性,同时与典型的CNN级联相比,训练时间减少了一半以上。此外,我们将多个CNN架构与可视化层进行比较,以进一步证明其利用的优势。
2017-07-19 cs.CV
Compressing Deep CNNs using Basis Representation and Spectral Fine-tuning
Center for Research in Computer Vision(计算机视觉研究中心);Department of Computer Science(计算机科学系);University of Central Florida(中佛罗里达大学)
我们提出了一种有效而直接的方法来压缩深度卷积神经网络(CNN),该方法使用基础滤波器来表示卷积层,并直接在基础空间中优化压缩网络的性能。具体来说,CNN的任何空间卷积层都可以被两个连续的卷积层取代:第一个是一组三维正交基滤波器,后面是一层一维滤波器,它表示基空间中的原始空间滤波器。我们联合微调基础和滤波器表示,以直接减轻由于截断而导致的任何性能损失。通过将其应用于几个众所周知的深度CNN架构和用于图像分类和目标检测的数据集,证明了所提出的方法的通用性。我们还提出了Xavier Jetson AGX处理器在不同压缩级别下的执行时间和功耗。
2021-05-21 cs.CV
REMAP: Multi-layer entropy-guided pooling of dense CNN features for image retrieval
University of Surrey(萨里大学)
本文针对超大规模图像检索的问题,着重于提高其准确性和鲁棒性。我们的目标是增强搜索的鲁棒性,例如照明变化,对象外观和规模,部分遮挡和杂乱的背景-当搜索在非常大的数据集上进行时,特别重要。我们提出了一种新的基于CNN的全局描述符,称为REMAP,它从多个CNN层学习和聚合深度特征的层次结构,并通过三重丢失进行端到端训练。REMAP显式地学习在视觉抽象的各个语义层次上相互支持和互补的区别性特征。这些密集的局部特征在聚集成单个图像级描述符之前,在多尺度重叠区域内的每一层空间上最大池化。为了识别语义上有用的区域和层进行检索,我们建议使用KL发散度来测量每个区域和层的信息增益。我们的系统在训练过程中有效地学习了各个区域和层的有用性,并相应地对它们进行了加权。我们表明,这种相对熵引导的聚合优于经典的基于CNN的聚合控制的SGD。整个框架以端到端的方式进行训练,表现优于最新的最先进的结果。在图像检索数据集Holidays、Oxford和MPEG上,REMAP描述符的mAP分别达到95.5%、91.5%和80.1%,优于迄今为止发表的任何结果。REMAP也是Kaggle上Google Landmark Retrieval Challenge获奖作品的核心。
2019-06-15 cs.CV
Memory Integrity of CNNs for Cross-Dataset Facial Expression Recognition
École de Technologie Supérieure, University of Québec(魁北克大学高等技术学院);Pontifical Catholic University of Paraná(巴拉那天主教大学)
人脸表情识别是人工智能领域的一个重要课题。解决这个问题的最佳方法之一是使用卷积神经网络(CNN)。然而,需要大量的数据来适当地训练这些网络,但是大多数可用于面部表情识别的数据集相对较小。避免数据缺乏的一种常见方法是使用在不同领域的大型数据集上训练的CNN,并将此类网络的层微调到目标领域。然而,微调过程并不能保持记忆的完整性,因为CNN往往会忘记它们所学习的模式。在本文中,我们评估了微调CNN的不同策略,目的是评估这些策略在跨数据集场景中的内存完整性。使用在源数据集上预训练的CNN作为基线,并评估了四种适应策略:微调其全连接层;微调其最后一个卷积层及其全连接层;在目标数据集上重新训练CNN;以及源和目标数据集的融合和重新训练CNN。四个数据集上的实验结果表明,源和目标数据集的融合提供了准确性和内存完整性之间的最佳权衡。
2019-05-28 cs.CV
NDDR-CNN: Layerwise Feature Fusing in Multi-Task CNNs by Neural Discriminative Dimensionality Reduction
Wuhan University(武汉大学);City University of Hong Kong(香港城市大学);Johns Hopkins University(约翰斯·霍普金斯大学);Tencent AI Lab(腾讯人工智能实验室)
在本文中,我们提出了一种新的卷积神经网络(CNN)结构的通用多任务学习(MTL),使自动特征融合在每一层从不同的任务。这与最广泛使用的MTL CNN结构形成对比,MTL结构经验地或经验地共享一些特定层上的特征(例如,共享除了最后一个卷积层之外的所有特征)。所提出的分层特征融合方案是通过以一种新的方式组合现有的CNN组件来制定的,具有清晰的数学可解释性,作为判别维数约简,这被称为神经判别维数约简(NDDR)。具体来说,我们首先根据通道维度将来自不同任务的具有相同空间分辨率的特征连接起来。然后,我们证明了在一个CNN中可以通过1x1卷积、批量归一化和权重衰减来实现判别维数降低。现有CNN组件的使用确保了端到端训练以及所提出的NDDR层以“即插即用”方式可扩展到各种最先进的CNN架构。详细的烧蚀分析表明,所提出的NDDR层是易于训练,也对不同的超参数鲁棒。不同的任务集与各种基础网络架构的实验表明,我们所提出的方法的性能和理想的推广。我们论文的代码可以在https://github.com/ethanygao/NDDR-CNN上找到。
2019-04-04 cs.CV cs.LG
Inference Graphs for CNN Interpretation
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
卷积神经网络(CNN)在许多视觉相关任务中实现了卓越的准确性。然而,通过中间层的推理过程是不透明的,这使得很难解释这种网络或在其操作中建立信任。我们建议使用概率模型对网络隐藏层活动进行建模。感兴趣层中的活动模式被建模为高斯混合模型,并估计连续建模层中簇之间的转移概率。基于最大似然考虑,选择、连接与网络预测相关的节点和路径,并将其可视化为推理图。我们表明,这些图对于理解类的一般推理过程以及解释网络对特定图像所做的决定是有用的。
2021-10-20 cs.CV
Novel Adaptive Binary Search Strategy-First Hybrid Pyramid- and Clustering-Based CNN Filter Pruning Method without Parameters Setting
National Taiwan University of Science and Technology(国立台湾科技大学)
修剪CNN模型中的冗余滤波器已经受到越来越多的关注。在本文中,我们提出了一个自适应二进制搜索优先混合金字塔和聚类为基础的(ABSHPC为基础的)方法自动修剪过滤器。在我们的方法中,对于每个卷积层,首先构造一个混合金字塔数据结构来存储每个滤波器的分层信息。给定一个可容忍的精度损失,在没有参数设置的情况下,我们从最后一个卷积层开始到第一层;对于相对于其前一层具有更小或相等的修剪率的每个所考虑的层,应用我们的基于ABSHPC的过程以最优地将所有滤波器划分为簇,其中每个簇因此由具有混合金字塔的中值根均值的滤波器表示,导致冗余滤波器的最大去除。基于实际数据集和CNN模型的实验结果表明,与现有方法相比,本文提出的滤波器剪枝方法在参数和浮点运算减少方面具有显著的优势,具有较高的准确度。
2021-04-30 cs.CV
DisturbLabel: Regularizing CNN on the Loss Layer
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Microsoft Research(微软研究院);Shanghai Jiao Tong University(上海交通大学);Hefei University of Technology(合肥工业大学);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
在很长一段时间里,我们都在用模型正则化来对抗CNN训练过程中的过拟合,包括权重衰减、模型平均、数据增强等。在本文中,我们提出了DisturbLabel,一种非常简单的算法,它在每次迭代中随机替换一部分标签作为不正确的值。虽然故意生成不正确的训练标签似乎很奇怪,但我们证明了DisturbLabel通过隐式地对使用不同标签集训练的许多网络进行指数平均来防止网络训练过度拟合。据我们所知,DisturbLabel是第一个在损失层上添加噪声的工作。同时,DisturbLabel与Dropout很好地合作,提供互补的正则化函数。实验证明了几个流行的图像识别数据集上的竞争性识别结果。
2016-04-30 cs.CV
Learning Invariant Representations for Equivariant Neural Networks Using Orthogonal Moments
Punjabi University(旁遮普大学)
标准卷积神经网络(CNN)的卷积层与平移是等变的。然而,卷积和全连接层对于其他仿射几何变换不是等变的或不变的。最近,提出了一类新的CNN,其中CNN的传统层被等变卷积,池化和批量归一化层取代。等变神经网络中的最终分类层对于不同的仿射几何变换(例如旋转、反射和平移)是不变的,并且标量值通过使用整个网络的卷积和下采样来消除滤波器响应的空间维度来获得,或者对滤波器响应进行平均。在这项工作中,我们建议整合正交矩,它给出了高阶统计的功能作为一种有效的手段,编码全局不变性相对于旋转,反射和平移在全连接层。因此,网络的中间层变得等变,而分类层变得不变。最广泛使用的Zernike,伪Zernike和正交傅立叶-梅林时刻被认为是用于此目的。通过在旋转MNIST和CIFAR 10数据集上将不变过渡和全连接层集成到组等变CNN(G-CNN)架构中来评估所提出工作的有效性。
2022-09-22 cs.CV
Fast and Accurate Image Super Resolution by Deep CNN with Skip Connection and Network in Network
ViewPLUS Inc.(ViewPLUS公司);Hiroshima University(广岛大学)
我们提出了一种高效,快速的单图像超分辨率(SISR)模型与深度卷积神经网络(深度CNN)。深度CNN最近表明,它们在单图像超分辨率上具有显着的重建性能。目前的趋势是使用更深的CNN层来提高性能。然而,深度模型需要更大的计算资源,并且不适合移动,平板电脑和物联网设备等网络边缘设备。我们的模型实现了最先进的重建性能,通过具有残差网络,跳过连接和网络中网络(DCSCN)的深度CNN,计算成本至少降低10倍。深度CNN和跳过连接层的组合被用作局部和全局区域上的图像特征的特征提取器。1x1卷积神经网络,如网络中的网络,也用于图像重建。该结构降低了前一层输出的维数,以更快的计算速度和更少的信息损失,并使直接处理原始图像成为可能。此外,我们还优化了每个CNN的层数和过滤器,以显着降低计算成本。因此,所提出的算法不仅实现了最先进的性能,但也实现了更快,更有效的计算。代码可在https://github.com/jiny2001/dcscn-super-resolution上获得
2020-09-08 cs.CV
Interpretable Convolutional Neural Networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
提出了一种将传统的卷积神经网络(CNN)改造为可解释的CNN的方法,以明确CNN高层的知识表示。在可解释的CNN中,高conv层中的每个滤波器表示特定的对象部分。我们不需要任何对象部分或纹理的注释来监督学习过程。相反,可解释的CNN在学习过程中自动为高conv层中的每个滤波器分配对象部分。我们的方法可以应用于具有不同结构的不同类型的CNN。可解释的CNN中清晰的知识表示可以帮助人们理解CNN内部的逻辑,即,基于CNN做出决定的模式。实验表明,可解释的CNN中的过滤器比传统CNN中的过滤器在语义上更有意义。
2018-02-14 cs.CV
Efficient Convolutional Neural Network with Binary Quantization Layer
University of Genova(热那亚大学);Istituto Italiano di Tecnologia(意大利技术研究院);University of Trento(特伦托大学)
在本文中,我们介绍了一种新的分割方法,可以受益于卷积神经网络(CNN)的一般语义。我们的分割提出了视觉和语义连贯的图像段。我们使用CNN特征的二进制编码来克服在高维CNN特征空间上聚类的困难。这些二进制编码可以嵌入到CNN中,作为网络末端的额外层。这导致实时分割。据我们所知,我们的方法是第一次尝试一般语义图像分割使用CNN。所有以前的论文都局限于少数几个类别的图像(例如PASCAL VOC)。实验表明,我们的分割算法优于国家的最先进的非语义分割方法的大幅度。
2016-11-21 cs.CV
Layer-Wise Data-Free CNN Compression
Apple(苹果公司)
我们提出了一种计算效率高的方法来压缩训练好的神经网络,而不使用真实数据。我们将无数据网络压缩问题分解为独立的逐层压缩。我们展示了如何有效地生成逐层训练数据只使用一个预先训练的网络。我们使用这些数据在预训练的网络上执行独立的逐层压缩。我们还展示了如何对网络进行预处理,以提高分层压缩方法的准确性。我们提出了分层压缩使用量化和修剪的结果。在量化时,我们以更高的精度压缩比相关的工作,而使用数量级较少的计算。当压缩MobileNetV2并在ImageNet上进行评估时,我们的方法在所有位宽下都优于现有的量化方法,在$8$位量化中实现了$+0.34\%$改进,并且在较低位宽下实现了更强的改进(在$5$位上达到了$+28.50\%$改进)。当修剪时,我们的性能优于类似计算包络的基线,在相同的精度下实现$1.5$倍的稀疏率。我们还展示了如何将我们的高效方法与高计算生成方法相结合,以改善其结果。
2022-05-19 cs.CV
Computer-Aided Colorectal Tumor Classification in NBI Endoscopy Using CNN Features
Hiroshima University(广岛大学);Hiroshima General Hospital of West Japan Railway Company(西日本旅客铁道株式会社广岛综合医院);Hiroshima University Hospital(广岛大学医院)
在本文中,我们报告的结直肠NBI内窥镜图像识别的结果,使用卷积神经网络(CNN)提取的特征。在这项比较研究中,我们从不同的CNN模型中提取不同层的特征,然后训练线性SVM分类器。具有10倍交叉验证的实验结果表明,来自前几个卷积层的特征足以实现类似的性能(即,识别率为95%),具有非CNN局部特征,如视觉袋词,Fisher向量和VLAD。
2016-08-24 cs.CV
Wasserstein CNN: Learning Invariant Features for NIR-VIS Face Recognition
National Laboratory of Pattern Recognition, CASIA(中国科学院自动化研究所模式识别国家重点实验室);Center for Research on Intelligent Perception and Computing, CASIA(中国科学院自动化研究所智能感知与计算研究中心);Center for Excellence in Brain Science and Intelligence Technology, CAS(中国科学院脑科学与智能技术卓越创新中心);University of Chinese Academy of Sciences(中国科学院大学)
异构人脸识别(HFR)旨在将从不同传感模式获取的人脸图像与取证,安全和商业领域的关键任务应用相匹配。然而,HFR是一个比传统的人脸识别更具挑战性的问题,因为大的类内变化的异构人脸图像和有限的训练样本的跨模态人脸图像对。本文提出了一种新的方法,即Wasserstein CNN(卷积神经网络,或简称WCNN)学习近红外和视觉人脸图像之间的不变特征(即近红外-可见光人脸识别)。WCNN的低层是用可见光谱中广泛可用的人脸图像训练的。高级层分为三个部分,即,NIR层、VIS层和NIR-VIS共享层。前两层用于学习模态相关特征,NIR-VIS共享层用于学习模态不变特征子空间。在NIR-VIS共享层中引入Wasserstein距离来度量异质特征分布之间的相异性。因此,W-CNN学习的目标是实现NIR分布和VIS分布之间的Wasserstein距离最小化,以实现异构人脸图像的不变深度特征表示。为了避免小规模异构人脸数据的过拟合问题,在WCNN网络的全连接层上引入相关先验以减少参数空间。该先验通过端到端网络中的低秩约束来实现。联合公式导致在训练阶段的深层特征表示的交替最小化和在测试阶段的异构数据的有效计算。在三个具有挑战性的NIR-VIS人脸识别数据库上进行的大量实验表明,Wasserstein CNN比最先进的方法具有显着的优越性。
2017-08-08 cs.CV
DeFRCN: Decoupled Faster R-CNN for Few-Shot Object Detection
Megvii Technology(旷视科技)
Few-Shot目标检测的目标是从以前未见过的类的极少数注释示例中快速检测新的对象,在社区中引起了显著的研究兴趣。大多数现有的方法采用Faster R-CNN作为基本检测框架,然而,由于缺乏针对数据稀缺场景的定制考虑,它们的性能往往不令人满意。在本文中,我们仔细研究了传统的Faster R-CNN,并从两个正交的角度分析了它的矛盾,即多阶段(RPN与RCNN)和多任务(分类与定位)。为了解决这些问题,我们提出了一种简单而有效的架构,称为去耦快速R-CNN(DeFRCN)。具体来说,我们通过引入用于多阶段解耦的梯度解耦层和用于多任务解耦的原型校准块来扩展Faster R-CNN。前者是一个新的深层,重新定义了特征向前操作和梯度向后操作,以解耦其后续层和前一层,后者是一个离线的基于原型的分类模型,从检测器的建议作为输入,并提高原始分类分数与额外的成对分数进行校准。多个基准测试的大量实验表明,我们的框架是显着优于其他现有的方法,并建立了一个新的国家的最先进的Few-Shot文献。
2021-08-20 cs.CV
Adaptive Growth: Real-time CNN Layer Expansion
University of Leeds(利兹大学);Jiangnan University(江南大学)
本文提出可实时根据输入数据迭代扩展 CNN 卷积层的无监督自适应增长算法,在多个图像数据集和迁移学习中优于有监督方法。
2023-09-30 cs.CV
An automated approach for improving the inference latency and energy efficiency of pretrained CNNs by removing irrelevant pixels with focused convolutions
Elmore Family School of Electrical and Computer Engineering, Purdue University(普渡大学埃尔莫尔家族电气与计算机工程学院);Department of Computer Science, Loyola University Chicago(芝加哥洛约拉大学计算机科学系);Computer and Data Sciences Department, Case Western Reserve University(凯斯西储大学计算机与数据科学系)
提出一种无需重新训练即可提升预训练CNN能效的自动化方法,通过插入阈值层过滤无关像素并采用聚焦卷积,在保持准确率的同时节省最多25%的推理延迟和22%的能源成本。
2023-10-11 cs.CV
Understanding learned CNN features through Filter Decoding with Substitution
Computer Vision Center(计算机视觉中心);UAB(巴塞罗那自治大学)
在CNN成功解决视觉问题的同时,人们对开发理解和可视化这些网络内部表示的方法越来越感兴趣。如何训练的CNN的响应编码的视觉信息是计算机和人类视觉研究的一个基本问题。由第一卷积层提供的图像表示以及由最大轮询操作提供的分辨率变化很容易理解,然而,一旦在表示中添加第二个和更多的卷积层,就失去了任何直观性。处理这个问题的一种常用方法是定义去卷积网络,以某种方式允许探索图像空间中最重要的激活的内部表示,其中去卷积被假设为与转置滤波器的卷积。然而,这个假设并不是逆卷积的最佳近似。在本文中,我们提出了一种基于滤波器替换的新假设来反转卷积层的编码。这为我们提供了一个新的工具,可以直接将任何CNN单个神经元可视化为第一层中的滤波器,这是在图像空间方面。
2015-11-17 cs.CV
CyCNN: A Rotation Invariant CNN using Polar Mapping and Cylindrical Convolution Layers
Seoul National University(首尔大学)
深度卷积神经网络(CNN)在图像分类中经验上已知对适度平移不变,但对旋转不变。本文提出了一种深度CNN模型,称为CyCNN,它利用输入图像的极坐标映射将旋转转换为平移。为了处理极坐标的圆柱属性,我们将传统CNN中的卷积层替换为圆柱卷积(CyConv)层。CyConv层利用圆柱滑动窗口(CSW)机制,该机制垂直扩展卷积层中边界单元的输入图像感受野。我们评估了CyCNN和传统的CNN模型在旋转MNIST,CIFAR-10和SVHN数据集上的分类任务。我们表明,如果在训练过程中没有数据增强,与传统的CNN模型相比,CyCNN显着提高了分类精度。我们对CyCNN的实现可在https://github.com/mcrl/CyCNN上公开获得。
2020-07-21 cs.CV cs.LG eess.IV
Implementing CNN Layers on the Manticore Cluster-Based Many-Core Architecture
ETH Zurich(苏黎世联邦理工学院)
本文档介绍了基于Manticore群集的众核架构上的基本卷积神经网络(CNN)层的实现,并讨论了它们的特性和权衡。
2021-04-16 cs.AR cs.CV cs.DC
Transformationally Identical and Invariant Convolutional Neural Networks through Symmetric Element Operators
Georgetown University Medical Center(乔治城大学医学中心);Virginia Tech(弗吉尼亚理工大学);Harbin Institute of Technology(哈尔滨工业大学)
从数学上讲,变换不变算子,例如变换恒等(TI)矩阵核(即,K= T{K}),与变换(T{.})当它们在第一个操作数矩阵上操作时,我们发现,通过在卷积神经网络(CNN)系统中一致地应用相同类型的TI内核,可交换性质在卷积过程的所有层中保持,无论是否涉及激活函数和/或层内跨通道的1D卷积。我们进一步发现,对于所有卷积层具有相同TI内核属性的任何CNN,后面是在其变换对应元素之间具有权重共享的平坦层,将为原始输入向量的所有变换版本输出相同的结果。简而言之,CNN[ Vi ] = CNN[ T{Vi} ],提供CNN中的每个K = T{K},其中Vi表示输入向量,并且CNN[.]将整个CNN过程表示为产生输出向量的输入向量的函数。利用这种变换上相同的CNN(TI-CNN)系统,与在数据增强中使用的预定义TI不相关联的每个变换将固有地包括用于训练的输入向量的所有其对应变换版本。因此,对于CNN中的每个内核使用相同的TI属性将在训练期间与误差反向传播结合用作定向或平移独立的训练指导。对于需要从输入的对应变换版本获得高度一致的输出结果的应用,此TI内核属性是理想的。提供了几个C编程例程,以方便感兴趣的各方使用TI-CNN技术,预计将产生更好的泛化性能比其普通的CNN对应。
2018-07-10 cs.CV
Dense CNN Learning with Equivalent Mappings
Nanjing University(南京大学)
大的感受野和密集的预测都是重要的,以实现高精度的像素标记任务,如语义分割。然而,这两个属性相互矛盾。池化层(步幅为2)使感受野大小增加了四倍,但将预测数量减少到25%。一些现有的方法导致密集的预测,使用不等同于原始模型的计算。在本文中,我们提出了等效卷积(eConv)和等效池化(ePool)层,从而实现了与基线CNN模型既密集又等效的预测。使用eConv和ePool学习的稠密预测模型可以将基线CNN的参数作为起点,并可以将稠密模型中学习的参数逆传递回原始模型,既具有快速测试速度又具有高精度。所提出的eConv和ePool层在各种任务中实现了比基线CNN更高的准确性,包括语义分割、对象定位、图像分类和表观年龄估计,而不仅仅是在那些需要密集像素标记的任务中。
2016-05-24 cs.CV
Coloring Deep CNN Layers with Activation Hue Loss
École de Technologie Supérieure(高等技术学院)
该研究提出激活色调参数建模CNN激活空间结构,设计对应正则化项补充独热损失,在多种分类任务上实现了分类性能的小幅提升。
2023-10-05 cs.CV
Interflow: Aggregating Multi-layer Feature Mappings with Attention Mechanism
School of Electronic Science;Engineering Nanjing University, Nanjing, China 210023 Email
传统上,CNN模型具有层次结构,并利用最后一层的特征映射来获得预测输出。然而,解决最佳网络深度并使中间层学习区别特征可能是困难的。针对传统的CNN模型提出了Interflow算法。Interflow根据深度将CNN分为几个阶段,并通过每个阶段的特征映射进行预测。随后,我们将这些预测分支输入到一个精心设计的注意力模块中,该模块学习这些预测分支的权重,将它们聚合并获得最终输出。Interflow对浅层和深层学习的特征进行加权融合,使各阶段的特征信息得到合理有效的处理,使中间层能够学习到更有区别的特征,增强模型的表示能力。此外,Interflow算法通过引入注意力机制,可以缓解梯度消失问题,降低网络深度选择的难度,减轻可能出现的过拟合问题。此外,它可以避免网络退化作为副产品。与原模型相比,采用Interflow的CNN模型在多个基准数据集上实现了更高的测试精度。
2021-07-13 cs.CV
Feature Representation in Convolutional Neural Networks
Cornell University(康奈尔大学)
卷积神经网络(CNN)是一种功能强大的模型,在图像分类中取得了令人印象深刻的结果。此外,预训练的CNN也可用于其他计算机视觉任务,作为通用特征提取器。本文旨在深入了解CNN的特征方面,并展示CNN特征的其他用途。我们的研究结果表明,CNN特征图可以与随机森林和SVM一起使用,以产生优于原始CNN的分类结果。不太理想的CNN(例如,未完全训练或过拟合)也可以提取随机森林/SVM的特征,这些特征产生有竞争力的分类准确度。与使用顶层激活作为其他任务的图像特征表示的文献相比,使用低层特征可以产生更好的分类结果。
2015-07-08 cs.CV
A Learnable ScatterNet: Locally Invariant Convolutional Layers
University of Cambridge(剑桥大学)
在本文中,我们通过提出一个可学习的ScatterNet来探索将散射变换和卷积神经网络(CNN)的思想结合在一起进行图像分析。以前试图将它们结合在混合网络中的尝试倾向于将两部分分开,ScatterNet形成固定的前端,而CNN形成学习的后端。相反,我们考虑在散射订单之间添加学习,以及在ScatterNet之前添加学习层。我们通过将散射阶分解为单个卷积层来实现这一点,我们称之为“局部不变”层,并向该层添加学习的混合项。我们的实验表明,这些局部不变层在添加到CNN或ScatterNet时可以提高准确性。我们还发现了一些令人惊讶的结果,因为ScatterNet可能最好位于一层或多层学习之后,而不是位于神经网络的前面。
2019-03-07 cs.CV
Color Constancy Using CNNs
University of Milan-Bicocca(米兰比可卡大学);University of Pavia(帕维亚大学)
在这项工作中,我们描述了一个卷积神经网络(CNN),以准确地预测场景照明。以图像块作为输入,CNN在空间域中工作,而不使用大多数先前方法所采用的手工制作的特征。该网络由一个具有最大池化的卷积层,一个全连接层和三个输出节点组成。在网络结构中,特征学习和回归被集成到一个优化过程中,这导致了一个更有效的模型估计场景照明。这种方法在RAW图像的标准数据集上实现了最先进的性能。对具有空间变化光照的图像的初步实验证明了我们的CNN的局部光源估计能力的稳定性。
2015-04-17 cs.CV
Recurrence along Depth: Deep Convolutional Neural Networks with Recurrent Layer Aggregation
The University of Hong Kong(香港大学)
本文引入了层聚合的概念来描述如何从以前的层的信息可以被重用,以更好地提取在当前层的功能。虽然DenseNet是层聚合机制的典型示例,但其冗余在文献中受到普遍批评。这促使我们提出一个非常轻量级的模块,称为递归层聚合(RLA),通过利用深层CNN中的层的顺序结构。我们的RLA模块与许多主流的深度CNN兼容,包括ResNets,Xception和MobileNetV 2,其有效性通过我们对图像分类,目标检测和实例分割任务的广泛实验得到验证。具体来说,在CIFAR、ImageNet和MS COCO数据集上可以一致地观察到改进,并且相应的RLA-Nets可以令人惊讶地将目标检测任务的性能提高2-3%。这证明了我们的RLA模块在帮助主要CNN更好地学习图像中的结构信息方面的能力。
2021-10-22 cs.CV
Good Practice in CNN Feature Transfer
Tsinghua University(清华大学);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);Microsoft Research(微软研究院)
本文的目的是有效地转移卷积神经网络(CNN)的图像搜索和分类功能。系统地研究了CNN传输中的三个事实。1)我们证明了使用适当大尺寸的图像作为CNN的输入而不是传统大小调整的图像的优点。2)我们对不同CNN层的性能进行了基准测试,这些层通过在特征图上进行平均/最大池化来改进。我们的观察表明,在这种池化步骤下,Conv 5功能可以产生非常有竞争力的准确性。3)我们发现,在各个CNN层提取的合并特征的简单组合在从低级和高级描述符收集证据方面是有效的。遵循这些良好做法,我们能够在多个基准上大幅提高最先进的水平。
2016-04-01 cs.CV
Spatial As Deep: Spatial CNN for Traffic Scene Understanding
The Chinese University of Hong Kong(香港中文大学);SenseTime Group Limited(时光集团)
本文提出空间CNN用于交通场景理解,通过改进卷积结构提升车道检测性能,实现8.7%和4.6%的提升,并在挑战赛中取得第一名。
2026-01-15 cs.CV
Bi-Real Net: Enhancing the Performance of 1-bit CNNs With Improved Representational Capability and Advanced Training Algorithm
Hong Kong University of Science and Technology(香港科技大学);Tencent AI lab(腾讯人工智能实验室);Huazhong University of Science and Technology(华中科技大学)
在这项工作中,我们研究了1位卷积神经网络(CNN),其中的权重和激活都是二进制的。虽然有效,但与大规模数据集上的对应实值CNN模型(如ImageNet)相比,当前1位CNN的分类准确性要差得多。为了最小化1位和实值CNN模型之间的性能差距,我们提出了一种新的模型,称为Bi-Real net,它通过身份捷径将真实激活(在1位卷积和/或BatchNorm层之后,在符号函数之前)连接到连续块的激活。因此,与标准的1位CNN相比,双实数网络的表示能力显著增强,并且计算上的额外成本可以忽略不计。此外,我们还开发了一种特定的训练算法,包括1位CNN的三种技术创新。首先,我们推导出一个紧逼近的不可微的符号函数的导数关于激活。其次,我们提出了一个幅度感知梯度的权重更新的权重参数。第三,我们使用clip函数而不是ReLU函数来预训练实值CNN模型,以更好地初始化Bi-Real网络。在ImageNet上的实验表明,采用该算法训练的18层和34层Bi-Real网络分别达到了56.4%和62.2%的top-1准确率。与现有技术相比(例如,XNOR Net),Bi-Real网络实现了高达10%的top-1精度,节省了更多的内存和更低的计算成本。关键词:二进制神经网络,1-bit CNN,1-layer-per-block
2018-09-29 cs.CV
ASP Vision: Optically Computing the First Layer of Convolutional Neural Networks using Angle Sensitive Pixels
Rice University(莱斯大学);Cornell University(康奈尔大学)
使用卷积神经网络(CNN)的深度学习正在迅速成为具有挑战性的计算机视觉应用的最新技术。然而,深度学习的功耗和带宽要求目前限制了其在能源预算紧张的嵌入式和移动系统中的应用。在本文中,我们探讨了光学计算CNN第一层的节能问题。为此,我们利用生物启发的角度敏感像素(ASP),自定义CMOS衍射图像传感器,其作用类似于人类视觉皮层V1层中的Gabor滤波器组。ASP通过直接执行光学边缘滤波来替代图像感测和常规CNN的第一层,从而节省感测能量、数据带宽和CNN FLOPS以进行计算。我们针对数字识别、物体识别和人脸识别等各种视觉任务的实验结果(包括合成数据和硬件原型)表明,与传统的深度学习管道相比,使用ASP可以实现类似的性能。
2016-11-16 cs.CV
Ensemble of Deep Learned Features for Melanoma Classification
University of Padua(帕多瓦大学);University of Bologna(博洛尼亚大学)
这项工作的目的是提出一个黑色素瘤分类的描述符集合,其性能已经在2018年黑色素瘤挑战的验证和测试数据集上进行了评估。由于多个描述符的组合,这里提出的系统实现了很强的区分能力。所提出的系统代表了一种非常简单但有效的方法,通过将多个CNN组成一个集合并通过求和规则组合分数来提高训练CNN的性能。考虑了几种类型的集成,具有不同的CNN架构以及不同的学习参数集。此外,CNN被用作特征提取器:输入图像由经训练的CNN处理,并且特定层(通常是分类层,但也可以采用内部层)的响应被视为图像的描述符,并用于训练一组支持向量机(SVM)。
2018-07-20 cs.CV
DeepProposal: Hunting Objects by Cascading Deep Convolutional Layers
KU Leuven(鲁汶大学);iMinds(iMinds研究中心);Inria(法国国家信息与自动化研究所);ETH Zurich(苏黎世联邦理工学院)
在本文中,我们评估了卷积神经网络(CNN)的激活层的质量,以生成对象提案。我们在不同的激活层上以滑动窗口的方式生成假设,并表明最终的卷积层可以找到具有高召回率的感兴趣对象,但由于特征图的粗糙度而定位较差。相反,网络的第一层可以更好地定位感兴趣的对象,但召回率降低。基于这一观察,我们设计了一种方法,用于提出基于CNN特征的对象位置,并结合了两个世界的最佳。我们构建了一个逆级联,从CNN的最终卷积层到初始卷积层,选择最有希望的对象位置,并以粗到细的方式细化它们的框。该方法是有效的,因为i)它使用提取用于检测的相同特征,ii)它使用积分图像聚合特征,以及iii)它避免了由于逆粗到细级联而导致的对建议的密集评估。该方法也是准确的;其性能优于大多数先前提出的对象建议方法,并且当插入基于CNN的检测器时,产生最先进的检测性能。
2015-10-15 cs.CV
Convolutional Neural Network with Pruning Method for Handwritten Digit Recognition
Australian National University(澳大利亚国立大学)
CNN模型是一种常用的图像分析方法,可以用于基于MNIST数据集的手写数字识别。为了获得更高的识别精度,利用具有不同全连接层大小的各种CNN模型来计算CNN全连接层大小与识别精度之间的关系。受前人剪枝工作的启发,我们对CNN模型进行了区别性剪枝,并与NN模型进行了比较。为了提高CNN的剪枝性能,研究了角度阈值对剪枝性能的影响.评价结果表明:对于全连通层的大小,存在一个阈值,当层的大小增加时,小于阈值的识别精度增加,大于阈值的识别精度下降;在CNN上进行剪枝的性能比NN差;随着剪枝角度阈值的增加,全连通层的大小和识别精度降低。本文还表明,对于由MNIST数据集训练的CNN模型,它们能够进行手写数字识别,并在全连接层大小为400时达到最高的识别准确率。此外,对于相同的数据集MNIST,CNN模型比发表的论文中的大,深,简单的NN模型更好。
2021-01-15 cs.CV cs.NE
Quantized Convolutional Neural Networks for Mobile Devices
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
最近,卷积神经网络(CNN)在各种计算机视觉任务中表现出令人印象深刻的性能。然而,由于高计算复杂度,高性能硬件对于CNN模型的应用通常是不可或缺的,这阻止了它们的进一步扩展。在本文中,我们提出了一个有效的框架,即量化的CNN,同时加快计算,并减少存储和内存开销的CNN模型。卷积层中的滤波器核和全连接层中的加权矩阵都被量化,旨在最小化每层响应的估计误差。在ILSVRC-12标准上的实验表明,在分类精度损失仅为1%的情况下,该算法可以实现4~ 6倍的加速和15~ 20倍的压缩。使用我们的量化CNN模型,即使是移动设备也可以在一秒钟内准确地对图像进行分类。
2016-05-16 cs.CV
Incremental Boosting Convolutional Neural Network for Facial Action Unit Recognition
University of South Carolina(南卡罗来纳大学)
从自发的面部表情中识别面部动作单元仍然是一个具有挑战性的问题。最近,CNN在面部AU识别方面表现出了希望。然而,由于有限的AU编码训练图像,学习的CNN通常过拟合,并且不能很好地推广到看不见的主题。我们提出了一种新的增量提升CNN(IB-CNN),通过增量提升层将提升集成到CNN中,该增量提升层从较低层中选择有区别的神经元,并在连续的小批次上增量更新。此外,提出了一种新的损失函数,该函数考虑了增量增强分类器和单个弱分类器的错误,以微调IB-CNN。在四个基准AU数据库上的实验结果表明,IB-CNN比传统的CNN和没有增量学习的boosting CNN有显著的改进,并且在AU识别中优于最先进的基于CNN的方法。对于在数据库中频率最低的AU来说,这种改进更为显著。
2017-07-17 cs.CV
Decomposing the Deep: Finding Class Specific Filters in Deep CNNs
department= School of Computer
深度神经网络的可解释性已经成为一个主要的探索领域。虽然这些网络在许多任务中达到了最先进的精度,但解释和解释它们的决定是非常困难的。在这项工作中,我们分析了深度卷积网络的最后一层和倒数第二层,并提供了一种有效的方法来识别对网络决策贡献最大的特征子集。我们证明,与最终层的维度相比,每个类的此类特征的数量要低得多,因此Deep CNN的决策表面位于低维流形上,并且与网络深度成比例。我们的方法允许将最后一层分解为单独的子空间,与完整网络的最后一层相比,这些子空间更具可解释性,并且计算成本更低。
2022-04-04 cs.CV
Learning Multilayer Channel Features for Pedestrian Detection
Tianjin University(天津大学);Xi’an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences(中国科学院西安光学精密机械研究所)
基于卷积神经网络(即,CNN)和传统手工制作的特征(即,HOG+LUV)取得了巨大的成功。通常,HOG+LUV用于生成候选建议,然后CNN对这些建议进行分类。尽管取得了成功,但仍有改进的余地。例如,CNN通过全连接层特征对这些提议进行分类,而提议分数和CNN的内层中的特征被忽略。在本文中,我们提出了一个统一的框架,称为多层通道特征(MCF),以克服这个缺点。它首先将HOG+LUV与CNN的每一层集成为多层图像通道。基于多层图像通道,然后学习多级级联AdaBoost。多级级联的每一级中的弱分类器是从对应层的图像通道中学习的。具有更丰富的特征,MCF在加州理工学院行人数据集上达到了最先进的水平(即,10.40%的遗漏率)。使用新的和准确的注释,MCF达到7.98%的失误率。由于许多非行人检测窗口可以被前几个阶段快速拒绝,它将检测速度提高了1.43倍。通过消除第一阶段后得分较低的高度重叠的检测窗口,它的速度提高了4.07倍,性能损失可以忽略不计。
2016-03-01 cs.CV