HD-CNN: Hierarchical Deep Convolutional Neural Network for Large Scale Visual Recognition
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学);eBay Research Lab(eBay研究实验室);The University of Hong Kong(香港大学)
在图像分类中,不同对象类别之间的视觉可分性是高度不均匀的,并且某些类别比其他类别更难区分。这样困难的分类需要更多专门的分类器。然而,现有的深度卷积神经网络(CNN)被训练为平坦N路分类器,并且很少努力利用类别的分层结构。在本文中,我们通过将深度CNN嵌入到类别层次结构中来引入分层深度CNN(HD-CNN)。HD-CNN使用粗类别分类器分离简单类别,同时使用细类别分类器区分困难类别。在HD-CNN训练过程中,组件预训练之后是全局微调,使用粗类别一致性项正则化的多项式逻辑损失。此外,精细类别分类器和层参数压缩的条件执行使HD-CNN可扩展为大规模视觉识别。我们在CIFAR 100和大规模ImageNet 1000类基准数据集上都取得了最先进的结果。在我们的实验中,我们建立了三种不同的HD-CNN,它们分别将标准CNN的前1个误差降低了2.65%、3.1%和1.1%。
2015-05-16 cs.AI cs.CV cs.LG
CPM R-CNN: Calibrating Point-guided Misalignment in Object Detection
Pattern Recognition and Intelligent Vision Lab, Beijing University of Posts and Telecommunications(北京邮电大学模式识别与智能视觉实验室)
在目标检测中,基于锚点的方法和无锚点的方法分别以偏移引导和点引导的回归方法为主。最近,点引导方法被引入到基于锚点的方法中。然而,我们观察到通过这种方式预测的点与建议的匹配区域和本地化得分不一致,导致性能上的显著差距。在本文中,我们提出了CPM R-CNN,它包含三个有效的模块来优化基于锚点的点引导方法。根据对COCO数据集的充分评估,CPM R-CNN被证明是有效的,以提高定位精度,通过校准上述错位。与基于ResNet-101和FPN的Faster R-CNN和Grid R-CNN相比,我们的方法可以在没有哨声和铃声的情况下将检测mAP分别提高3.3%和1.5%。此外,我们最好的模型实现了大幅提高到49.9%的COCO测试开发。代码和模型将公开提供。
2020-11-04 cs.CV
Mask R-CNN
Facebook AI Research (FAIR)(Facebook人工智能研究院(FAIR))
我们提出了一个概念上简单,灵活,通用的框架对象实例分割。我们的方法有效地检测图像中的对象,同时为每个实例生成高质量的分割掩码。该方法被称为Mask R-CNN,通过添加一个分支来扩展Faster R-CNN,该分支用于预测与现有分支并行的对象掩码,用于限界框识别。Mask R-CNN的训练很简单,并且仅为Faster R-CNN增加了很小的开销,运行速度为5 fps。此外,Mask R-CNN很容易推广到其他任务,例如,让我们可以在同一个框架下评估人类的姿势。我们展示了COCO系列挑战的所有三个方面的最佳结果,包括实例分割、边界框目标检测和人物关键点检测。没有花里胡哨的东西,Mask R-CNN在每项任务上的表现都优于所有现有的单一模型参赛作品,包括COCO 2016挑战赛的获胜者。我们希望我们简单有效的方法能够作为坚实的基线,并帮助简化实例级识别的未来研究。代码已在https://github.com/facebookresearch/Detectron上提供
2018-01-24 cs.CV
Light-Head R-CNN: In Defense of Two-Stage Object Detector
Tsinghua University(清华大学);Megvii Inc. (Face++)(旷视科技(Face++))
在本文中,我们首先研究为什么典型的两阶段方法不如单阶段快速检测器(如YOLO和SSD)快。我们发现更快的R-CNN和R-FCN在ROI扭曲之后或之前执行密集计算。更快的R-CNN涉及两个完全连接的层用于RoI识别,而R-FCN产生大的分数图。因此,这些网络的速度是缓慢的,由于重型头设计的架构。即使我们显著地减少基本模型,计算成本也不能相应地大幅降低。我们提出了一种新的两阶段检测器Light-Head R-CNN,以解决当前两阶段方法的缺点。在我们的设计中,我们通过使用一个薄的特征图和一个便宜的R-CNN子网(池化和单个全连接层),使网络的头部尽可能轻。我们基于ResNet-101的光头R-CNN在保持时间效率的同时,在COCO上的性能优于最先进的物体检测器。更重要的是,只需用一个微小的网络(例如Xception)替换主干,我们的Light-Head R-CNN就可以在COCO上以102 FPS的速度获得30.7 mmAP,在速度和准确性方面都大大优于YOLO和SSD等单级快速检测器。代码将公开提供。
2017-11-23 cs.CV
Weak Supervision for Generating Pixel-Level Annotations in Scene Text Segmentation
University of Siena(锡耶纳大学)
为场景文本分割提供像素级监督本质上是困难和昂贵的,因此只有很少的小数据集可用于此任务。为了面对训练数据的稀缺性,基于卷积神经网络(CNN)的先前方法依赖于使用合成数据集进行预训练。然而,合成数据不能再现自然图像的复杂性和可变性。在这项工作中,我们建议使用弱监督学习的方法来减少合成和真实数据之间的域转移。利用COCO-Text和MLT数据集的边界框监督,我们生成真实图像的弱像素级监督。特别地,创建并发布COCO-文本-分割(COCO_TS)和MLT-分割(MLT_S)数据集。这两个数据集用于训练一个CNN,分割多尺度注意力网络(SMANet),它是专门设计来面对场景文本分割任务的一些特点。SMANet在所提出的数据集上进行端到端训练,实验表明COCO_TS和MLT_S是合成图像的有效替代方案,允许仅使用一小部分训练样本并显着提高性能。
2019-11-19 cs.CV cs.LG eess.IV
Visual Tree Convolutional Neural Network in Image Classification
National University of Defense Technology(国防科技大学)
在图像分类中,随着深度学习的快速发展,卷积神经网络(CNN)模型已经取得了很高的性能。然而,图像数据集中的某些类别比其他类别更难区分。提高对这些混淆类别的分类精度有利于提高分类器的整体性能。在本文中,我们建立一个混淆视觉树(CVT)的基础上的混淆语义层信息来识别混淆类别。通过CVT提供的信息,我们可以引导CNN训练过程更多地关注这些混淆的类别。因此,我们提出了视觉树卷积神经网络(VT-CNN)的基础上,原来的深度CNN嵌入我们的CVT。我们在基准数据集CIFAR-10和CIFAR-100上评估了我们的VT-CNN模型。在我们的实验中,我们建立了3个不同的VT-CNN模型,他们获得了1.36%,0.89%和0.64%的改善,分别为基础的CNN模型。
2019-06-04 cs.CV
Stable Diffusion for Data Augmentation in COCO and Weed Datasets
Michigan State University(密歇根州立大学)
本研究针对图像稀疏类小数据集性能提升问题,采用三种基于Stable Diffusion的技术生成合成图像,在COCO和杂草数据集上验证了其增强图像稀疏数据集的潜力,为扩散模型跨领域应用提供基础。
2025-02-22 cs.CV
An Empirical Study of Language CNN for Image Captioning
Nanyang Technological University(南洋理工大学);Alibaba AI Labs(阿里巴巴人工智能实验室)
基于递归神经网络的语言模型已经主导了最近的图像字幕生成任务。在本文中,我们介绍了一种语言CNN模型,它适用于统计语言建模任务,并在图像描述中显示出有竞争力的性能。与之前基于前一个单词和隐藏状态预测下一个单词的模型相比,我们的语言CNN提供了所有之前的单词,并且可以对历史单词的长期依赖性进行建模,这对于图像描述至关重要。在MS COCO和Flickr30K两个数据集上验证了该方法的有效性。我们广泛的实验结果表明,我们的方法优于香草递归神经网络为基础的语言模型,是具有竞争力的国家的最先进的方法。
2017-08-02 cs.CV cs.LG
Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院);Facebook AI Research(脸书人工智能研究院)
最先进的目标检测网络依赖于区域建议算法来假设对象位置。SPPnet和Fast R-CNN等先进技术减少了这些检测网络的运行时间,使区域建议计算成为瓶颈。在这项工作中,我们引入了一个区域建议网络(RPN),它与检测网络共享全图像卷积特征,从而实现了几乎免费的区域建议。RPN是一个完全卷积的网络,可以同时预测每个位置的对象边界和对象分数。RPN经过端到端的训练,以生成高质量的区域建议,Fast R-CNN将其用于检测。我们进一步将RPN和Fast R-CNN合并到一个网络中,通过共享它们的卷积特征-使用最近流行的具有“注意力”机制的神经网络术语,RPN组件告诉统一网络去哪里看。对于非常深的VGG-16模型,我们的检测系统在GPU上的帧速率为5 fps(包括所有步骤),同时在PASCAL VOC 2007,2012和MS COCO数据集上实现了最先进的目标检测精度,每个图像只有300个建议。在ILSVRC和COCO 2015比赛中,Faster R-CNN和RPN是多个赛道中获得第一名的基础。代码已公开。
2016-01-06 cs.CV
Complementary datasets to COCO for object detection
Quintic AI(昆蒂克人工智能)
近十年来,COCO数据集一直是目标检测研究的中心测试平台。然而,根据最近的基准测试,这个数据集的性能似乎已经开始饱和。一个可能的原因可能是它对于训练深度模型来说不够大。为了解决这一限制,我们在这里为COCO引入两个补充数据集:i)COCO_OI,由来自COCO和OpenImages的图像组成(来自它们共同的80个类),在380,111个图像上有1,418,978个训练边界框,在18,299个图像上有41,893个验证边界框,和ii)ObjectNet_D,包含日常生活中的对象(最初为对象识别而创建,称为ObjectNet;与COCO共有29个类别)。后者可以用来测试目标检测器的泛化能力。我们在这些数据集上评估了一些模型,并查明了错误的来源。我们鼓励社区利用这些数据集来训练和测试目标检测模型。代码和数据可在https://github.com/aliborji/COCO_OI上获得。
2022-06-23 cs.CV
A Hybrid Supervised-unsupervised Method on Image Topic Visualization with Convolutional Neural Network and LDA
Indiana University(印第安纳大学);Yahoo Inc.(雅虎公司)
考虑到最近数据驱动范式在图像识别方面的进展,手动标记大量训练数据以适应卷积神经网络(CNN)模型仍然是昂贵的。本文提出了一种混合监督-无监督方法,将预训练的AlexNet与潜在狄利克雷分配(LDA)相结合,从未标记的生活日志数据集和COCO数据集中提取图像主题。我们从AlexNet的softmax层生成一个以自我为中心的数据集的词袋表示,并使用LDA用重复的图像来可视化主题的生活风格。我们使用COCO在4个类别上的子集作为地面真值,并定义一致率来定量分析该方法的性能,它达到了84%的平均一致率相比,从原始CNN模型的18.75%。该方法能够从COCO数据集中检测出虚假标签和多标签。为了进行可扩展性测试,在Intel Knights Landing集群上使用Harp-LDA进行了并行化实验:提取241,035个COCO图像的1,000个主题分配,需要10分钟,60个线程。
2017-04-09 cs.CV
From COCO to COCO-FP: A Deep Dive into Background False Positives for COCO Detectors
Intellindust(英泰利工业);Guilin University Of Electronic Technology(桂林电子科技大学);ETH Zurich(苏黎世联邦理工学院)
针对COCO数据集上目标检测器存在大量非目标背景杂波导致的假阳性问题,研究推出源自ImageNet-1K的COCO-FP评估数据集,实验显示闭集和开集场景下假阳性问题显著,为相关性能评估提供新基准。
2024-09-12 cs.CV
Window Detection In Facade Imagery: A Deep Learning Approach Using Mask R-CNN
University of Gothenburg(哥德堡大学)
建筑物外立面窗户的解析是计算机视觉领域一个长期以来一直被人们所期待但又极具挑战性的任务。它对于城市分析、语义重建、生命周期分析、数字孪生和场景解析等需要高质量语义数据的建筑相关任务至关重要。本文研究了掩码R-CNN框架的使用,用于立面图像输入的窗口检测。我们利用迁移学习训练我们提出的方法COCO权重与我们自己收集的数据集的街景图像的门面产生实例分割我们的新窗口类。实验结果表明,我们建议的方法使用相对较小的数据集,仅使用迁移学习来训练网络,并且增强实现了与现有最先进的窗口检测方法相当的结果,即使没有后优化技术。
2021-07-21 cs.CV cs.LG
Learning Non-Lambertian Object Intrinsics across ShapeNet Categories
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Microsoft Research Asia(微软亚洲研究院);University of Chinese Academy of Sciences(中国科学院大学);Stanford University(斯坦福大学);UC Berkeley / ICSI(加州大学伯克利分校 / 国际计算机科学研究所)
我们认为非朗伯对象的内在问题,恢复漫反射,阴影,和镜面高光从一个单一的图像的一个对象。我们基于ShapeNet数据库中现有的3D模型构建了一个大规模的对象内部数据库。使用逼真的环境地图渲染,数百万个对象的合成图像及其对应的反射、阴影和镜面地面实况图像用于训练编码器-解码器CNN。一旦经过训练,该网络可以将图像分解为反射和阴影分量的乘积,以及附加的镜面反射分量。我们的CNN在这个经典的计算机视觉逆问题中提供了准确和清晰的结果,清晰的细节归因于从编码器到解码器的相应分辨率下的跳过层连接。以我们的ShapeNet和MIT intrinsic数据集为基准,我们的模型始终大幅优于最先进的模型。我们对不同的对象类别进行训练和测试我们的CNN。也许令人惊讶的是,特别是从CNN分类的角度来看,我们的内在函数CNN可以很好地概括各个类别。我们的分析表明,编码器阶段的特征学习对于开发跨类别的通用表示更为重要。我们将我们的合成数据训练模型应用于从互联网上下载的图像和视频,并观察到稳健和逼真的内在结果。高质量的非朗伯内在函数可以打开许多有趣的应用程序,例如基于图像的渲染和镜面反射编辑。
2016-12-27 cs.CV
Auto-Context R-CNN
Alibaba Group(阿里巴巴集团);North Carolina State University(北卡罗来纳州立大学)
基于区域的卷积神经网络(R-CNN)~ \cite{fast_rcnn,faster_rcnn,mask_rcnn}在很大程度上主导了目标检测。在RoI(感兴趣区域)上定义的算子在R-CNN中起着重要作用,例如RoIPooling~ \cite{fast_rcnn}和RoIAlign~ \cite{mask_rcnn}。它们都只利用ROI内部的信息进行ROI预测,即使是最近的可变形扩展~ \cite{deformable_cnn}。虽然周围环境在对象检测中的重要性众所周知,但它尚未以灵活有效的方式集成到R-CNN中。受自动上下文挖掘工作\cite{auto_context}和多类对象布局工作\cite{nms_context}的启发,本文提出了一种通用的上下文挖掘RoI算子(即,\textit{RoICtxMining})无缝集成在R-CNN中,并且所产生的对象检测系统被称为\textbf{Auto-Context R-CNN},它是端到端训练的。RoICtxMining算子是RoIPooling或RoIAlign算子的简单而有效的双层扩展。以对象RoI为中心,它创建了一个$3\times 3$布局,以动态地在$8$周围的上下文区域中自适应地挖掘上下文信息。在每个$8$上下文区域内,根据区分能力挖掘上下文RoI,并将其RoIPooling / RoIAlign特征与对象RoI连接以…
2018-07-08 cs.CV
Data Augmentation using Random Image Cropping and Patching for Deep CNNs
Graduate School of System Informatics, Kobe University(神户大学系统信息学研究生院)
深度卷积神经网络(CNN)在图像处理任务中取得了显著的成果。然而,它们的高表达能力有过拟合的风险。因此,已经提出了数据增强技术来防止过拟合,同时丰富数据集。具有更多参数的最近的CNN架构使得传统的数据增强技术不足。在这项研究中,我们提出了一种新的数据增强技术,称为随机图像裁剪和修补(RICAP),随机裁剪四个图像和补丁,以创建一个新的训练图像。此外,RICAP混合了四个图像的类标签,从而产生了类似于标签平滑的优点。我们用当前最先进的CNN(例如,Shake-Shake正则化模型)与竞争性数据增强技术(例如剪切和混合)进行比较。RICAP在CIFAR-10上实现了$2.19\%$的最新测试误差。我们还证实,使用RICAP的深度CNN在使用CIFAR-100和ImageNet的分类任务以及使用Microsoft COCO的图像标题检索任务上取得了更好的结果。
2019-08-27 cs.CV cs.LG
Oracle MCG: A first peek into COCO Detection Challenges
ETH Zurich(苏黎世联邦理工学院);Universidad de los Andes(洛斯安第斯大学)
最近提出的COCO检测挑战很可能是未来几年目标检测的参考基准。COCO比Pascal大两个数量级,类别数量是Pascal的四倍;因此研究人员很可能会面临许多新的挑战。在这一点上,没有任何完成的一轮比赛,研究人员很难把他们的技术放在上下文中,或者换句话说,知道他们的结果有多好。为了给出一个小的上下文,本文评估了一个假设的对象检测器,该对象检测器包含一个从最先进的技术中挑选最佳对象建议的预言机。这个预言在分割对象中实现了AP=0.292,在边界框中实现了AP=0.317,这表明数据库确实具有挑战性,因为如果在没有细化的情况下处理对象提案,这个值是最好的。
2015-08-14 cs.CV
Open Vocabulary Object Detection with Proposal Mining and Prediction Equalization
Tencent Youtu Lab(腾讯优图实验室);East China Normal University(华东师范大学)
开放词汇表目标检测(OVD)旨在扩大词汇量,以检测超出训练词汇表的新类别的对象。最近的工作诉诸于预先训练的视觉语言模型中的丰富知识。然而,现有的方法是无效的建议级视觉语言对齐。同时,模型通常会对基本类别产生置信偏差,并且在新类别上表现更差。为了克服这些挑战,我们提出了MEDet,一个新颖有效的OVD框架,具有建议挖掘和预测均衡。首先,我们设计了一个在线的建议挖掘,从粗到细细化继承的视觉语义知识,允许建议级检测为导向的特征对齐。其次,基于因果推理理论,我们引入了一个类的后门调整,以加强对新类别的预测,以提高整体OVD性能。COCO和LVIS基准上的大量实验验证了MEDet在检测新类别对象方面优于竞争方法,例如,COCO上的32.6%AP50和LVIS上的22.4%掩蔽mAP。
2022-11-24 cs.CV
Move-to-Data: A new Continual Learning approach with Deep CNNs, Application for image-class recognition
Univ. Bordeaux(波尔多大学);CNRS(法国国家科学研究中心);LaBRI(波尔多计算机科学实验室);INCIA(认知神经科学与整合研究中心)
在应用监督学习方法的许多现实任务中,所有的训练数据不是同时可用的。这些例子是终身图像分类或在仪器人员与其环境交互期间识别环境对象,用更多图像丰富在线数据库。有必要在“训练记录阶段”对模型进行预训练,然后根据新的数据进行调整。这就是渐进式/持续学习方法的任务。在这些方法要解决的不同问题中,例如在模型中引入新的类别,将现有类别细化为子类别,并将训练好的分类器扩展到它们,...我们集中于用现有类别的新的附加训练数据调整预训练模型的问题。我们提出了一个快速的持续学习层在神经元网络的末端。所获得的结果在开源CIFAR基准数据集上进行了说明。所提出的计划产生类似的再训练性能,但大大降低了计算成本。
2020-06-12 cs.CV cs.LG cs.NE
BshapeNet: Object Detection and Instance Segmentation with Bounding Shape Masks
Ajou University(亚洲大学)
最近的对象检测器使用四坐标限界框(bbox)回归来预测对象位置。提供指示对象位置和坐标的附加信息将提高检测性能。因此,我们提出了两种类型的面具:bbox面具和边界形状(bshape)面具,分别代表对象的bbox和边界形状。对于这些类型中的每一种,我们考虑两种变体:Thick模型和Scored模型,两者具有相同的形态,但在使其边界更厚的方式上有所不同。为了评估提出的掩码,我们通过向Faster R-CNN框架添加bshape掩码(或bbox掩码)分支来设计扩展框架,并将其称为BshapeNet(或BboxNet)。此外,我们还提出了BshapeNet+,这是一种将bshape掩码分支与Mask R-CNN相结合的网络,可以改进实例分割和检测。在我们提出的模型中,BshapeNet+在这两项任务中表现出最佳的性能,并与最先进的(SOTA)模型相比取得了极具竞争力的结果。特别是,它比Faster R-CNN+RoIAlign提高了检测结果(37.3%和28.9%),在MS COCO test-dev和Cityscapes val上的检测AP分别为42.4%和32.3%。此外,对于小对象,它在COCO测试开发中实现了24.9%的AP,比以前的SOTA模型有了显着的改进。对于实例分割,它在两个测试数据集上都明显优于Mask R-CNN。
2019-07-31 cs.CV cs.LG stat.ML
Resource-Scalable CNN Synthesis for IoT Applications
University of California, Davis(加利福尼亚大学戴维斯分校)
最先进的图像识别系统使用复杂的卷积神经网络(CNN),其被设计和训练以识别许多对象类别。这样的网络是相当资源密集型的计算,禁止其部署在资源受限的嵌入式平台。一方面,对于大多数物联网应用程序的需求来说,对详尽的类别列表进行分类的能力是过度的。另一方面,为每个新的物联网应用设计一个新的定制设计的CNN是不切实际的,因为开发竞争模型的固有困难和上市时间的压力。为了解决这个问题,我们研究了这样一个问题:“能否利用现有的优化CNN模型为物联网应用自动构建一个有竞争力的CNN,该物联网应用的感兴趣对象是原始CNN设计用于分类的类别的一小部分,从而按比例缩小资源需求?“我们使用术语资源可扩展性来指代这个概念,并开发了一种方法,用于从现有的优化基线CNN自动合成资源可扩展CNN。合成的CNN具有足够的学习能力来处理给定的物联网应用需求,并产生有竞争力的准确性。所提出的方法是快速的,并且不像目前常见的CNN设计实践,不需要迭代的训练试验和错误。
2018-12-16 cs.CV cs.LG stat.ML
Unsupervised Discovery of the Long-Tail in Instance Segmentation Using Hierarchical Self-Supervision
Stanford University(斯坦福大学)
实例分割是计算机视觉中的一个活跃话题,通常通过在由对象级掩模组成的非常大的数据集上使用监督学习方法来解决。为任何新领域获得这样的数据集可能非常昂贵和耗时。此外,在某些带注释的类别上训练的模型不能很好地推广到看不见的对象。本文的目标是提出一种方法,可以执行无监督发现的长尾类别的实例分割,通过学习的掩蔽区域的实例嵌入。利用图像中对象之间丰富的关系和层次结构,我们提出了用于学习掩码嵌入的自监督损失。在COCO数据集上进行训练,没有对长尾对象进行额外的注释,我们的模型能够发现比COCO中常见类别更新颖和更细粒度的对象。我们表明,该模型实现了竞争力的定量结果LVIS相比,监督和部分监督的方法。
2021-04-02 cs.CV
Forest R-CNN: Large-Vocabulary Long-Tailed Object Detection and Instance Segmentation
State University of New York at Buffalo(纽约州立大学布法罗分校);Tianjin University(天津大学);Horizon Robotics, Inc.(地平线机器人科技有限公司)
尽管以前的成功的对象分析,检测和分割大量的对象类别与长尾数据分布仍然是一个具有挑战性的问题,是较少的研究。对于一个大词汇量的分类器,获得噪声logits的机会要高得多,这很容易导致错误的识别。在本文中,我们利用对象类别之间的关系的先验知识聚类细粒度的类到粗父类,并构造一个分类树,负责解析一个对象实例到一个细粒度的类别,通过其父类。在分类树中,由于父类节点的数量明显较少,因此它们的logits噪声较小,并且可以用来抑制细粒度类节点中存在的错误/噪声logits。由于构造父类的方式不是唯一的,我们进一步构建多棵树来形成分类森林,其中每棵树都为细粒度分类贡献其投票。为了缓解长尾现象导致的学习不平衡,我们提出了一种简单而有效的重新分配方法,NMS重新分配,以重新平衡数据分布。我们的方法被称为Forest R-CNN,可以作为一个即插即用模块,应用于大多数对象识别模型,识别1000多个类别。在大词汇量数据集LVIS上进行了大量的实验。与Mask R-CNN基线相比,Forest R-CNN显著提高了性能,在罕见类别和整体类别上分别提高了11.5%和3.9%的AP。此外,我们在LVIS数据集上获得了最先进的结果。代码可在https://github.com/JialianW/Forest_RCNN上获得。
2021-03-03 cs.CV
Featurized Query R-CNN
Huazhong University of Science & Technology(华中科技大学);Horizon Robotics(地平线机器人)
DETR方法中引入的查询机制正在改变目标检测的范式,目前有许多基于查询的方法已经获得了很强的目标检测性能。然而,当前基于查询的检测流水线存在以下两个问题。首先,需要多级解码器来优化随机初始化的对象查询,从而产生较大的计算负担。其次,训练后的查询是固定的,导致泛化能力不令人满意。为了解决上述问题,我们在成熟的Faster R-CNN框架中提出了由查询生成网络预测的特征化对象查询,并开发了特征化查询R-CNN。在COCO数据集上进行的大量实验表明,我们的特征化查询R-CNN在所有R-CNN检测器中获得了最佳的速度-准确性权衡,包括最近最先进的稀疏R-CNN检测器。代码可在{https:github.com/hustvl/Featurized-QueryRCNN.
2022-06-20 cs.CV
Compressing the Input for CNNs with the First-Order Scattering Transform
CentraleSupelec(巴黎中央理工-高等电力学院);Université Paris-Saclay(巴黎萨克雷大学);MILA(蒙特利尔学习算法研究所);University of Montreal(蒙特利尔大学);Inria Paris(法国国家信息与自动化研究所巴黎分部);Inria Lille(法国国家信息与自动化研究所里尔分部);Inria Saclay(法国国家信息与自动化研究所萨克雷分部)
我们研究了一阶散射变换作为减少卷积神经网络(CNN)处理的信号的候选。我们展示了理论和经验证据,在自然图像和足够小的平移不变性的情况下,这种变换保留了分类所需的大部分信号信息,同时大大降低了空间分辨率和总信号大小。我们证明了使用这种表示级联CNN的性能与下游任务中常用的ImageNet分类模型(如ResNet-50)相当。随后,我们将训练好的混合ImageNet模型作为检测系统的基础模型,该系统通常具有较大的图像输入。在Pascal VOC和COCO检测任务中,与直接在输入图像上训练的模型相比,我们证明了推理速度和训练内存消耗的改进。
2018-09-27 cs.CV cs.LG stat.ML
SIFT Meets CNN: A Decade Survey of Instance Retrieval
University of Technology at Sydney(悉尼科技大学);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
早期的基于内容的图像检索(CBIR)研究是基于全局特征的。自2003年以来,基于局部描述符的图像检索(事实上的SIFT)已经被广泛研究了十多年,由于SIFT在处理图像变换方面的优势。最近,基于卷积神经网络(CNN)的图像表示在社区中引起了越来越多的兴趣,并表现出令人印象深刻的性能。鉴于这个快速发展的时代,本文提供了一个全面的调查实例检索在过去的十年。两大类,基于SIFT和基于CNN的方法,提出。对于前者,根据码本大小,我们将文献组织成使用大/中/小码本。对于后者,我们讨论了三种方法,即,使用预先训练或微调的CNN模型和混合方法。前两个类别执行图像到网络的单通道,而最后一个类别采用基于块的特征提取方案。本调查介绍了现代实例检索中的里程碑,回顾了不同类别的大量先前作品,并提供了SIFT和基于CNN的方法之间联系的见解。在分析和比较了几个数据集上不同类别的检索性能后,我们讨论了通用和专用实例检索的前景。
2017-05-23 cs.CV
A New Lightweight Hybrid Graph Convolutional Neural Network -- CNN Scheme for Scene Classification using Object Detection Inference
Paris-Saclay University(巴黎-萨克雷大学);Sorbonne Paris Nord University(索邦巴黎北大学);NTNU University(挪威科技大学)
提出轻量级混合图卷积神经网络- CNN框架,利用目标检测输出生成图表示进行场景分类,在COCO派生数据集上效率超90%且参数更少。
2024-07-19 cs.AI cs.CV
Spatial encoding of BOLD fMRI time series for categorizing static images across visual datasets: A pilot study on human vision
IIIT Bangalore(国际信息技术研究所班加罗尔分校)
本研究使用BOLD5000数据集,通过GAF和MTF对fMRI BOLD时间序列进行空间编码,并采用并行CNN模型对跨COCO、ImageNet和SUN的图像进行分类,较1D LSTM等方法提升7%,为理解大脑视觉处理建立了基线。
2023-09-07 cs.AI cs.CV eess.IV
A High-Performance Adaptive Quantization Approach for Edge CNN Applications
National Tsing-Hua University(清华大学)
最近的卷积神经网络(CNN)开发继续推进各种应用的最新模型精度。然而,增强的准确性是以大量的内存带宽和存储要求以及苛刻的计算资源为代价的。尽管在过去,量化方法有效地降低了边缘设备的部署成本,但在处理当代CNN的有偏激活时,它会遭受显著的信息损失。因此,在本文中,我们引入了一种自适应高性能量化方法,通过根据任务丢失动态调整缩放和移位因子来解决有偏激活的问题。我们提出的方法已经在使用ImageNet数据集的图像分类模型(ResNet-18/34/50,MobileNet-V2,EfficientNet-B 0),使用COCO数据集的目标检测模型(YOLO-V4)以及使用PTB数据集的语言模型上进行了广泛的评估。结果表明,我们的4位整数(INT 4)量化模型比最先进的4位模型实现了更好的精度,在某些情况下,甚至超过了黄金全精度模型。最终设计已成功部署到资源极其有限的边缘设备上,用于许多实际应用。
2021-07-18 cs.CV cs.LG
Learning to Answer Questions From Image Using Convolutional Neural Network
Noah’s Ark Lab, Huawei Technologies(华为技术有限公司诺亚方舟实验室)
在本文中,我们提出采用卷积神经网络(CNN)的图像问答(QA)。我们提出的CNN提供了一个具有卷积架构的端到端框架,不仅用于学习图像和问题表示,还用于学习它们的模态间交互以产生答案。更具体地说,我们的模型由三个CNN组成:一个图像CNN用于编码图像内容,一个句子CNN用于组成问题的单词,以及一个多模态卷积层用于学习它们的联合表示,以便在候选答案单词的空间中进行分类。我们证明了我们提出的模型在DAQUAR和COCO-QA数据集上的有效性,这是图像QA的两个基准数据集,其性能显着优于最先进的。
2015-11-13 cs.CL cs.CV cs.LG
ABC-CNN: An Attention Based Convolutional Neural Network for Visual Question Answering
University of Southern California(南加州大学);Baidu Research(百度研究院);UCLA(加州大学洛杉矶分校)
提出了一种新的基于注意力的深度学习架构,用于视觉问答任务(VQA)。给定图像和图像相关的自然语言问题,VQA生成问题的自然语言答案。生成正确答案需要模型的注意力集中在与问题对应的区域上,因为不同的问题询问不同图像区域的属性。我们引入了一个基于注意力的可配置卷积神经网络(ABC-CNN)来学习这种问题引导的注意力。ABC-CNN通过将图像特征映射与从问题的语义导出的可配置卷积核进行卷积来确定图像-问题对的注意力映射。我们在三个基准VQA数据集上评估了ABC-CNN架构:多伦多COCO-QA,DAQUAR和VQA数据集。ABC-CNN模型在这些数据集上实现了比最先进方法的显着改进。ABC-CNN产生的问题引导注意力也反映了与问题高度相关的区域。
2016-04-03 cs.CV
Fine-tuned Pre-trained Mask R-CNN Models for Surface Object Detection
BSN iNet Co. Ltd.(BSN iNet 有限公司);Tokyo National Museum(东京国立博物馆);Universiti Teknologi PETRONAS(马来西亚石油科技大学)
本研究使用四个Mask R-CNN模型评估路面目标检测任务,作为石制考古物体表面劣化检测的预研究。这些模型通过COCO数据集和15,188个分段的路面注释标签进行了预训练和微调。模型的质量使用平均精度和平均召回来衡量。结果表明大量的假阴性计数,即左侧检测和未分类检测。测试了修改后的混淆矩阵模型,以避免优先考虑IoU,并且在限界框检测中有显着的真阳性增加,但在分割掩码中几乎没有变化。
2020-10-22 cs.CV
Grid R-CNN
SenseTime Group Limited(商汤集团有限公司)
提出了一种新的目标检测框架Grid R-CNN,该框架采用网格引导定位机制实现精确的目标检测。与传统的基于回归的方法不同,Grid R-CNN显式地捕获空间信息,并享有完全卷积架构的位置敏感特性。我们设计了一个多点监督公式来编码更多的线索,而不是只使用两个独立的点,以减少特定点的不准确预测的影响。为了充分利用网格中点的相关性,我们提出了一种两阶段的信息融合策略来融合相邻网格点的特征图。网格引导定位方法易于扩展到不同的国家的最先进的检测框架。Grid R-CNN可以实现高质量的对象定位,实验表明,与具有Res 50骨干和FPN架构的Faster R-CNN相比,它在IOU=0.8时实现了4.1%的AP增益,在IOU=0.9时实现了10.0%的AP增益。
2018-11-29 cs.CV
Sketch-pix2seq: a Model to Generate Sketches of Multiple Categories
Shanghai Jiao Tong University(上海交通大学);The Chinese University of Hong Kong(香港中文大学)
素描是人类交流思想的重要媒介,体现了人类智慧的优越性。素描的研究大致可以概括为识别和生成两个方面。现有的图像识别模型在草图分类上没有取得令人满意的效果。但是对于草图生成,最近的一项研究提出了一种称为sketch-rnn的序列到序列变分自动编码器(VAE)模型,该模型能够基于人类输入生成草图。当被要求学习一类物体时,例如动物或车辆,该模型取得了惊人的结果。然而,当多个类别被输入模型时,性能会下降。在这里,我们提出了一个名为sketch-pix 2seq的模型,它可以学习和绘制多个类别的草图。对sketch-rnn模型进行了两个改进:一是用卷积神经网络(CNN)代替双向递归神经网络(BRNN)编码器;二是从VAE的目标函数中去除Kullback-Leibler发散。实验结果表明,使用CNN编码器的模型在生成人类风格的草图方面优于使用RNN编码器的模型。隐空间的可视化结果表明,KL发散的去除使得编码器学习到了一个反映不同类别特征的隐空间后验。此外,CNN编码器和KL发散的去除的组合,即,sketch-pix 2seq模型在学习和生成多个类别的草图方面有更好的表现,并在创造性任务中显示出有希望的结果。
2017-09-13 cs.CV
Boundary-preserving Mask R-CNN
Huazhong University of Science and Technology(华中科技大学);Horizon Robotics Inc.(地平线机器人公司)
为了提高实例分割中掩模定位的准确性,人们做了大量的工作。依赖于全卷积网络的现代实例分割方法执行逐像素分类,这忽略了对象边界和形状,导致粗糙和模糊的掩模预测结果和不精确的定位。为了解决这些问题,我们提出了一种概念上简单而有效的边界保持掩码R-CNN(BMask R-CNN),以利用对象边界信息来提高掩码定位精度。BMask R-CNN包含一个边界保持掩码头,其中对象边界和掩码通过特征融合块相互学习。因此,预测的掩模与对象边界更好地对齐。在没有花里胡哨的情况下,BMask R-CNN在COCO数据集上的表现远远优于Mask R-CNN;在Cityscapes数据集中,有更准确的边界地面实况,因此BMask R-CNN比Mask R-CNN有了显着的改进。此外,当评估标准需要更好的定位(例如,AP $_{75}$),如图1所示。代码和型号可在\url{https://github.com/hustvl/BMaskR-CNN}上找到。
2020-07-17 cs.CV
Analysing object detectors from the perspective of co-occurring object categories
Nokia Bell Labs(诺基亚贝尔实验室)
最先进的Faster R-CNN和YOLO对象检测器的准确性在一个特殊的掩蔽MS COCO数据集上进行了评估和比较,以衡量它们的预测在多大程度上依赖于在对象类别级别编码的上下文信息。上下文的类别级表示的动机是这样一个事实,它可能是一个适当的方式来传递视觉和非视觉域之间的知识。根据我们的测量,当前检测器通常不会在类别级别上建立对上下文信息的强依赖性,然而,当它们这样做时,它们以类似的方式这样做,这表明对象类别的上下文依赖性是一个独立的属性,与被转移有关。
2018-09-21 cs.CV
YOLO9000: Better, Faster, Stronger
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
我们介绍YOLO 9000,一个国家的最先进的,实时的目标检测系统,可以检测超过9000对象类别。首先,我们对YOLO检测方法提出了各种改进,既有新颖的,也有从以前的工作中得出的。改进后的模型YOLOv 2在PASCAL VOC和COCO等标准检测任务上是最先进的。在67 FPS下,YOLOv 2在VOC 2007上获得76.8 mAP。在40 FPS下,YOLOv 2获得78.6 mAP,优于最先进的方法,如更快的RCNN与ResNet和SSD,同时仍然运行得更快。最后,我们提出了一种方法,联合训练的目标检测和分类。使用这种方法,我们同时在COCO检测数据集和ImageNet分类数据集上训练YOLO 9000。我们的联合训练使YOLO 9000能够预测没有标记检测数据的对象类的检测。我们在ImageNet检测任务上验证了我们的方法。YOLO 9000在ImageNet检测验证集上获得了19.7 mAP,尽管200个类中只有44个类的检测数据。在COCO之外的156个类上,YOLO 9000获得16.0 mAP。但是YOLO可以检测到超过200个类别;它预测检测超过9000个不同的对象类别。它仍然是实时运行的。
2016-12-25 cs.CV
OMNIA Faster R-CNN: Detection in the wild through dataset merging and soft distillation
Heuritech(赫锐科技);Sorbonne University(索邦大学);CNRS(法国国家科学研究中心);LIP6(巴黎第六大学计算机实验室)
对象检测器往往在新的或开放的领域中表现不佳,并且需要从完全标记的数据集进行详尽但昂贵的注释。我们的目标是从几个具有不同类别但没有额外标签的数据集中受益,不仅可以增加检测到的类别数量,还可以利用迁移学习并增强域独立性。我们的数据集合并过程首先在不同的数据集上训练几个初始的Faster R-CNN,同时考虑互补数据集的图像进行领域自适应。与自训练方法类似,这些初始检测器的预测减轻了补充数据集上缺失的注释。最终的OMNIA Faster R-CNN是在预测丰富的数据集的联合上使用所有类别进行训练的。联合训练以一种软监督的方式处理不安全的目标,并使用一种名为SoftSig的新分类损失。实验结果表明,在野外图像的时尚检测的情况下,合并Modanet与COCO在mAP中的最终性能从45.5%提高到57.4%。将我们的软蒸馏应用于GTA和Cityscapes之间的域转移检测任务,可以以5.3分的优势击败最先进的技术。我们的方法可以解锁目标检测的现实世界的应用程序,没有巨大的数据集。
2019-03-25 cs.CV
LevelSet R-CNN: A Deep Variational Method for Instance Segmentation
Uber Advanced Technologies Group(优步先进技术集团);University of Toronto(多伦多大学);MIT(麻省理工学院)
获得精确的实例分割掩模在许多现代应用(例如机器人操作和自动驾驶)中具有高度重要性。目前,许多最先进的模型都是基于Mask R-CNN框架的,该框架虽然非常强大,但以低分辨率输出掩码,这可能导致边界不精确。另一方面,经典的变分分割方法施加所需的全球和当地的数据和几何约束的掩模,通过优化的能量泛函。虽然数学上很优雅,但它们直接依赖于良好的初始化,非鲁棒的图像提示和手动设置超参数,使其不适合现代应用。我们提出了LevelSet R-CNN,它通过获得强大的特征表示来结合这两个世界的优点,这些特征表示以端到端的方式与变分分割框架相结合。我们证明了我们的方法在COCO和Cityscapes数据集上的有效性。
2020-07-30 cs.CV
ME R-CNN: Multi-Expert R-CNN for Object Detection
Army Research Laboratory(美国陆军研究实验室);Booz Allen Hamilton Inc.(博思艾伦汉密尔顿公司)
我们介绍了多专家区域为基础的卷积神经网络(ME R-CNN),它配备了多个专家(ME),每个专家学习处理某种类型的感兴趣区域(ROI)。该架构更好地捕捉了由不同形状、姿势和视角引起的ROI的外观变化。为了指导每个ROI到适当的专家,我们设计了一种新的“可学习”的网络,我们称之为专家分配网络(EAN)。EAN自动学习最佳的ROI专家关系,即使没有任何监督的专家分配。由于ME R-CNN的主要组件ME和EAN在绑定到共享网络时相互影响,因此交替优化和简单的端到端优化都不太可能失败。为了解决这个问题,我们引入了一种实用的训练策略,该策略旨在以端到端的方式优化ME,EAN和共享网络。我们表明,这两种架构都提供了相当大的性能提高超过基线的PASCAL VOC 07,12,和MS COCO数据集。
2022-04-06 cs.CV
Bounding Box Regression with Uncertainty for Accurate Object Detection
Carnegie Mellon University(卡内基梅隆大学);Megvii Inc. (Face++)(旷视科技(Face++))
大规模目标检测数据集(例如,MS-COCO)尝试尽可能清晰地定义地面实况边界框。然而,我们观察到,当标记边界框时,仍然会引入歧义。在本文中,我们提出了一种新的限界框回归损失学习限界框变换和本地化方差一起。我们的损失大大提高了各种架构的定位精度,几乎没有额外的计算。学习到的定位方差允许我们在非最大抑制(NMS)期间合并相邻的边界框,这进一步提高了定位性能。在MS-COCO上,我们将VGG-16 Faster R-CNN的平均精度(AP)从23.6%提高到29.1%。更重要的是,对于ResNet-50-FPN Mask R-CNN,我们的方法将AP和AP 90分别提高了1.8%和6.2%,显著优于之前最先进的限界框细化方法。我们的代码和模型可在github.com/yihui-he/KL-Loss上获得
2019-04-16 cs.CV
CBNet: A Novel Composite Backbone Network Architecture for Object Detection
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Stony Brook University(石溪大学)
在现有的基于CNN的检测器中,主干网络是基本特征提取的一个非常重要的组件,检测器的性能高度依赖于它。在本文中,我们的目标是通过构建更强大的主干来实现更好的检测性能ResNet和ResNeXt等现有主干。具体来说,我们提出了一种新的策略,通过相邻骨干之间的复合连接来组装多个相同的骨干,以形成一个更强大的骨干,称为复合骨干网络(CBNet)。通过这种方式,CBNet以逐阶段的方式迭代地将前一个主干的输出特征(即高级特征)作为输入特征的一部分馈送到后续主干,最后将最后一个主干(称为Lead Backbone)的特征图用于目标检测。我们表明,CBNet可以很容易地集成到大多数最先进的检测器中,并显着提高其性能。例如,它将COCO数据集上的FPN、Mask R-CNN和Cascade R-CNN的mAP提高了约1.5%至3.0%。同时,实验结果表明,实例分割的效果也得到了改善。特别地,通过简单地将所提出的CBNet集成到基线检测器Cascade Mask R-CNN中,我们在COCO数据集上实现了一个新的最先进的结果(mAP为53.3),具有单一模型,这证明了所提出的CBNet架构的巨大有效性。代码将在https://github.com/PKUbahuangliuhe/CBNet上提供。
2019-09-09 cs.CV
Multimodal Convolutional Neural Networks for Matching Image and Sentence
Noah’s Ark Lab, Huawei Technologies(华为技术有限公司诺亚方舟实验室)
在本文中,我们提出了多模态卷积神经网络(m-CNN)的图像和句子匹配。我们的m-CNN提供了一个具有卷积架构的端到端框架,以利用图像表示,单词组成以及两种模式之间的匹配关系。更具体地说,它由一个图像CNN编码图像内容,和一个匹配CNN学习图像和句子的联合表示。匹配的CNN将词组合成不同的语义片段,并学习图像与不同层次的语义片段之间的模态间关系,从而充分利用图像与句子之间的匹配关系。在双向图像和句子检索的基准数据库上的实验结果表明,所提出的m-CNN可以有效地捕获图像和句子匹配所需的信息。具体来说,我们提出的m-CNN在Flickr 30 K和Microsoft COCO数据库上进行双向图像和句子检索,达到了最先进的性能。
2015-08-29 cs.CL cs.CV cs.NE
Bangla License Plate Recognition Using Convolutional Neural Networks (CNN)
BRAC University(BRAC大学);University of Dayton(戴顿大学)
近年来,深度学习技术特别是卷积神经网络(CNN)在计算机视觉和机器学习领域得到了广泛的应用。这种深度学习技术在不同的基准测试(如MNIST、CIFAR-10、CIFAR-100、Microsoft COCO和ImageNet)上的不同分类、分割和检测任务中提供了最先进的准确性。然而,在过去的十年中,有很多研究已经进行了孟加拉车牌识别与传统的机器学习方法。由于识别精度差,它们都没有用于部署孟加拉车牌识别系统(BLPRS)的物理系统。在本文中,我们实现了基于CNN的孟加拉车牌识别系统,具有更好的准确性,可用于不同的目的,包括道路救援,自动停车场管理系统,车辆牌照状态检测等。与此同时,我们还创建并发布了BLPRS的第一个标准数据库。
2018-09-04 cs.CV
Integration of Text-maps in Convolutional Neural Networks for Region Detection among Different Textual Categories
Nielsen Connect AI(尼尔森Connect AI)
在这项工作中,我们提出了一种新的技术,在卷积神经网络(CNN)中结合外观和文本,目的是检测不同文本类别的区域。我们定义了一个新的视觉表示的文本的语义含义,允许无缝集成在一个标准的CNN架构。这种表示,称为文本映射,与实际图像集成,为网络提供更丰富的输入。文本地图根据图像上识别的单词的相关性以不同的强度着色。具体地说,这些单词是预先使用光学字符识别(OCR)提取的,并且它们根据属于感兴趣的文本类别的概率被着色。在这个意义上,该解决方案在超市产品的项目编码的上下文中特别相关,其中必须标识不同类型的文本类别,例如成分或营养成分。我们在Nielsen Brandbank的专有项目编码数据集中评估了我们的解决方案,该数据集包含超过10,000张用于训练的图像和2,000张用于测试的图像。报告的结果表明,我们专注于视觉和文本数据的方法优于仅基于外观的最先进算法,例如标准的Faster R-CNN。这些增强体现在精确度和召回率上,分别提高了42和33点。
2019-05-26 cs.CV
Predicting Goal-directed Human Attention Using Inverse Reinforcement Learning
Stony Brook University(石溪大学);Adobe Inc.(奥多比公司)
能够预测人类注视行为对于行为视觉和计算机视觉应用具有明显的重要性。大多数模型主要集中在使用显着性图预测自由观看行为,但这些预测并不能推广到目标导向行为,例如当一个人搜索视觉目标对象时。我们提出了第一个逆强化学习(IRL)模型来学习人类在视觉搜索过程中使用的内部奖励函数和策略。观众的内部信念状态被建模为对象位置的动态上下文信念图。这些地图是由IRL学习的,然后用于预测多个目标类别的行为扫描路径。为了训练和评估我们的IRL模型,我们创建了COCO-Search 18,它是目前存在的最大的高质量搜索固定数据集。COCO-Search 18让10名参与者在6202张图像中搜索18个目标对象类别中的每一个,产生大约30万个目标定向注视。当在COCO-Search 18上进行训练和评估时,IRL模型在预测搜索固定扫描路径方面优于基线模型,无论是在与人类搜索行为的相似性还是搜索效率方面。最后,奖励地图恢复的IRL模型揭示了独特的目标依赖模式的对象优先级,我们解释为一个学习的对象上下文。
2020-06-25 cs.CV
Human Action Recognition with Deep Temporal Pyramids
CNRS(法国国家科学研究中心);Sorbonne University(索邦大学)
深度卷积神经网络(CNN)如今在包括动作识别在内的不同模式识别任务中实现了重大飞跃。目前的CNN越来越深入,数据饥渴,这使得它们的成功依赖于大量的标记训练数据。CNN还依赖于最大/平均池化,这降低了输出层的维度,从而削弱了它们对标记数据可用性的敏感性。然而,这个过程可能会稀释上游卷积层的信息,从而影响训练表示的识别能力,特别是当学习的类别是细粒度的时。在本文中,我们介绍了一种新的分层聚合设计,最终池,控制粒度的学习表示w.r.t的实际粒度的动作类别。我们的解决方案基于树结构的时间金字塔,它聚合了不同级别的CNN输出。该层次结构的顶层专用于粗类别,而深层更适合细粒度的类别。我们的时间金字塔的设计是基于解决一个约束最小化问题,其解决方案对应于时间金字塔中不同表示的权重分布。使用具有挑战性的UCF 101数据库进行的实验表明,我们的分层设计w.r.t其他相关方法的相关性。
2019-05-02 cs.CV
COCO-O: A Benchmark for Object Detectors under Natural Distribution Shifts
Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学);University of Bath(巴斯大学);Tsinghua University(清华大学)
本文提出COCO-O基准数据集,用于评估目标检测器在自然分布偏移下的鲁棒性,发现主干网络对鲁棒性影响最大,且大规模基础模型显著提升了鲁棒检测能力。
2023-08-02 cs.CV
A Survey of the Recent Architectures of Deep Convolutional Neural Networks
PIEAS(巴基斯坦工程与应用科学研究所)
深度卷积神经网络(CNN)是一种特殊类型的神经网络,它在与计算机视觉和图像处理相关的多个竞赛中表现出了示范性的性能。CNN的一些令人兴奋的应用领域包括图像分类和分割、目标检测、视频处理、自然语言处理和语音识别。深度CNN强大的学习能力主要是由于使用了多个特征提取阶段,可以从数据中自动学习表示。大量数据的可用性和硬件技术的改进加速了CNN的研究,最近报道了有趣的深度CNN架构。已经探索了几个鼓舞人心的想法,以促进CNN的发展,例如使用不同的激活和损失函数,参数优化,正则化和架构创新。然而,深度CNN的表示能力的显著提高是通过架构创新实现的。值得注意的是,利用空间和信道信息、结构的深度和宽度以及多路径信息处理的思想已经获得了实质性的关注。类似地,使用层块作为结构单元的想法也越来越受欢迎。因此,这项调查的重点是在最近报道的深度CNN架构中存在的内在分类,因此,将CNN架构中的最新创新分为七个不同的类别。这七个类别是基于空间开发,深度,多路径,宽度,特征图开发,渠道提升和注意力。此外,还提供了对CNN组件、当前挑战和CNN应用的初步理解。
2020-05-10 cs.CV
Pseudo-Labeling Driven Refinement of Benchmark Object Detection Datasets via Analysis of Learning Patterns
Sejong University(世宗大学)
本文提出基于损失与梯度错误检测及四阶段伪标签精化的框架,构建MS-COCO的重标注版本MJ-COCO,在不依赖人工重标注的情况下修正标注错误,并在多个数据集上验证了模型AP和APS指标的提升及标注覆盖率的显著增加。
2025-06-01 cs.CV
RON: Reverse Connection with Objectness Prior Networks for Object Detection
Tsinghua University(清华大学);Intel Labs China(英特尔中国研究院)
我们目前的RON,一个有效的通用目标检测的框架。我们的动机是巧妙地将最好的基于区域的(例如,更快的R-CNN)和无区域(例如,SSD)方法。在全卷积架构下,RON主要关注两个基本问题:(a)多尺度对象定位和(b)负样本挖掘。为了解决(a),我们设计了反向连接,这使得网络能够检测CNN多级上的对象。为了处理(b),我们提出了对象优先,以显着减少对象的搜索空间。通过多任务损失函数对反向连接、目标先验和目标检测器进行联合优化,使RON能够直接从不同特征图的所有位置预测最终的检测结果。在具有挑战性的PASCAL VOC 2007、PASCAL VOC 2012和MS COCO基准上进行的大量实验证明了RON的竞争力。具体而言,使用VGG-16和低分辨率384 X384输入大小,网络在PASCAL VOC 2007上获得81.3%的mAP,在PASCAL VOC 2012数据集上获得80.7%的mAP。当数据集变得更大和更困难时,它的优越性会增加,正如MS COCO数据集上的结果所证明的那样。在测试阶段使用1.5G GPU内存,网络速度为15 FPS,比Faster R-CNN对应的速度快3倍。
2017-07-06 cs.CV
Peregrine: One-Shot Fine-Tuning for FHE Inference of General Deep CNNs
Cipherflow Shenzhen, China(Cipherflow深圳分公司);Open Security Research Shenzhen, China(开放安全研究深圳分公司)
Peregrine通过单阶段微调策略和通用交错打包方案,实现了通用深度CNN的高效FHE推理,支持高分辨率图像处理并首次展示了YOLO架构的FHE推理应用。
2025-11-24 cs.CV
Carrying out CNN Channel Pruning in a White Box
Xiamen University(厦门大学);Youtu Laboratory, Tencent(腾讯优图实验室);National Tsing Hua University(国立清华大学);Peng Cheng Laboratory(鹏城实验室);Peking University(北京大学);Institute of Artificial Intelligence, Xiamen University(厦门大学人工智能研究院)
长期以来,人们一直在研究通道修剪来压缩CNN,这大大降低了整体计算量。现有的工作实现通道修剪在一个无法解释的方式,这往往会减少最终的分类错误,而没有考虑每个通道的内部影响。在本文中,我们在白盒中进行通道修剪。通过对不同通道激活的特征图进行深度可视化,我们观察到不同通道对图像分类中不同类别的贡献不同。受此启发,我们选择保留对大多数类别有贡献的渠道。具体来说,为了模拟每个通道对区分类别的贡献,我们为每个通道开发了一个类掩码,以动态训练方式w.r.t.输入图像的类别。在学习的类掩码的基础上,我们执行全局投票机制,以去除类别歧视较少的通道。最后,进行微调过程以恢复修剪模型的性能。据我们所知,这是第一次,CNN解释性理论被认为是指导信道修剪。对代表性的图像分类任务的大量实验表明,我们的白盒优于许多国家的最先进的。例如,在CIFAR-10上,它降低了65.23%的FLOP,甚至在ResNet-110上提高了0.62%的精度。在ILSVRC-2012上,白盒实现了45.6%的FLOP减少,而ResNet-50的前1精度仅损失了0.83%。
2022-01-28 cs.CV
A MultiPath Network for Object Detection
Facebook AI Research (FAIR)(Facebook人工智能研究院)
最近的COCO目标检测数据集为目标检测提出了几个新的挑战。特别是,它包含的对象范围很广,原型图像较少,需要更精确的定位。为了解决这些挑战,我们测试了对标准Fast R-CNN对象检测器的三个修改:(1)跳过连接,使检测器能够访问多个网络层的特征,(2)在多个对象分辨率下利用对象上下文的中央凹结构,以及(3)改善定位的积分损失函数和相应的网络调整。这些修改的结果是,信息可以在我们的网络中沿着多条路径流动,包括通过来自多个网络层和多个对象视图的功能。我们将修改后的分类器称为“多路径”网络。我们将我们的MultiPath网络与DeepMask对象提案相结合,DeepMask对象提案非常适合本地化和小对象,并调整我们的管道来预测除边界框外的分割掩码。与基线快速R-CNN检测器相比,组合系统将结果整体提高了66%,并在小对象上提高了4倍。它在COCO 2015检测和分割挑战中排名第二。
2016-08-08 cs.CV