Spatio-Temporal Learnable Proposals for End-to-End Video Object Detection
Technical University of Kaiserslautern(凯泽斯劳滕工业大学)
本文提出了一种新的思想,通过利用视频目标检测的时间信息生成对象的建议。现代基于区域的视频对象检测器中的特征聚合严重依赖于从单帧RPN生成的学习建议。这迫切需要引入额外的组件,如NMS,并在低质量帧上产生不可靠的建议。为了解决这些限制,我们提出了SparseVOD,这是一种新颖的视频目标检测流水线,它采用稀疏R-CNN来利用时间信息。特别地,我们在Sparse R-CNN的动态头中引入了两个模块。首先,在时域RoI对齐操作的基础上增加时域特征提取模块,提取RoI提案特征。其次,出于序列级语义聚合的动机,我们将注意力引导的语义建议特征聚合模块,以增强检测前的对象特征表示。所提出的SparseVOD有效地减少了复杂的后处理方法的开销,并使整个管道端到端可训练。大量的实验表明,我们的方法在mAP中将单帧稀疏RCNN显著提高了8%-9%。此外,除了在具有ResNet-50主干的ImageNet VID数据集上实现最先进的80.3% mAP之外,我们的SparseVOD在增加IoU阈值(IoU > 0.5)方面明显优于现有的基于提议的方法。
2022-10-07 cs.CV
Relief R-CNN : Utilizing Convolutional Features for Fast Object Detection
Tencent Company(腾讯公司)
R-CNN风格的方法是一种最先进的目标检测方法,它包括区域建议生成和深度CNN分类。然而,在这个范例中的建议生成阶段通常是耗时的,这将减慢整个检测时间在测试中。本文认为,深度卷积特征映射中特征之间的值差异包含大量有用的空间信息,并提出了一种简单的方法来提取信息,用于在测试中快速生成区域建议。所提出的方法,即救济R-CNN(R2-CNN),采用了一种新的区域建议生成器在训练的R-CNN风格的模型。新的生成器通过一些简单的规则直接从卷积特征生成建议,从而导致更快的建议生成速度和更低的计算资源需求。实验研究表明,在测试的所有算法中,R2-CNN的检测速度最快,检测精度相当。
2017-04-26 cs.CV
HyperNet: Towards Accurate Region Proposal Generation and Joint Object Detection
Tsinghua University(清华大学);Intel Labs China(英特尔中国研究院)
几乎所有当前性能最好的目标检测网络都采用区域建议来指导对象实例的搜索。现有的区域建议方法通常需要几千个建议才能达到较高的查全率,从而影响了检测效率。虽然最新的区域提议网络方法通过数百个提议获得了有希望的检测精度,但它仍然在小尺寸目标检测和精确定位(例如,大的IoU阈值),主要是由于其特征图的粗糙度。在本文中,我们提出了一个深层次的网络,即超网络,处理区域建议生成和目标检测联合。我们的超网络主要是基于一个精心设计的超特征,它首先聚集分层特征图,然后将它们压缩到一个统一的空间。Hyper Features很好地融合了图像的深层但高度语义化的特征、中间但真正互补的特征以及浅层但自然高分辨率的特征,从而使我们能够通过端到端联合训练策略在生成建议和检测对象时共享它们来构建HyperNet。对于深度VGG 16模型,我们的方法在PASCAL VOC 2007和2012上实现了完全领先的召回率和最先进的目标检测准确性,每个图像仅使用100个建议。它在GPU上的运行速度为5 fps(包括所有步骤),因此具有实时处理的潜力。
2016-04-03 cs.CV
Object-Proposal Evaluation Protocol is 'Gameable'
Virginia Tech(弗吉尼亚理工大学)
在许多视觉管道中(用于目标检测、目标发现和其他任务),目标提议已迅速成为事实上的预处理步骤。它们的性能通常在部分注释的数据集上进行评估。在本文中,我们认为,选择使用部分注释的数据集进行对象建议的评估是有问题的-我们通过一个思想实验证明,评估协议是“可玩的”,在这个意义上说,在这个协议下的进展并不一定对应于一个“更好的”类别独立的对象建议算法。为了缓解这个问题,我们:(1)引入一个几乎完全注释的PASCAL VOC数据集版本,它作为一个测试床,以检查对象建议技术是否过拟合到特定的类别列表。(2)在我们引入的几乎完全注释的PASCAL数据集上对对象建议方法进行详尽的评估,并进行跨数据集泛化实验;(3)引入诊断实验来检测对象建议算法中的偏差能力。这个工具避免了需要收集一个密集的注释数据集,这可能是昂贵的和繁琐的收集。最后,我们计划发布一个易于使用的工具箱,它结合了各种公开的实现对象的建议算法,它简化了建议的生成和评估,使新的方法可以添加到不同的数据集和评估。我们希望本文中提出的结果将激励社区通过仔细选择评估协议来测试各种对象提案方法的类别独立性。
2015-11-23 cs.CV
YOLO -- You only look 10647 times
Bielefeld University(比勒费尔德大学)
通过这项工作,我们解释了“你只看一次”(YOLO)的单阶段目标检测方法作为一个平行的分类10647固定区域的建议。我们支持这一观点,通过显示每个YOLO输出像素都关注先前层的特定子区域,相当于局部区域建议。这种理解减少了类似YOLO的单阶段目标检测模型、类似RCNN的基于两阶段区域建议的模型和类似ResNet的图像分类模型之间的概念差距。此外,我们还创建了交互式探索工具,以便更好地直观了解YOLO信息处理流:https://limchr.github.io/yolo_visualization
2022-01-21 cs.CV
Conjugate Variables as a Resource in Signal and Image Processing
AIT–Austrian Institute of Technology(奥地利技术研究所)
在本文中,我们开发了一种新的技术来模拟信号的联合分布。我们的技术是基于量子力学共轭变量。我们表明,量子态的跃迁概率导致的信号上的距离函数。这个距离函数在所有量子态上都服从三角不等式,并成为纯量子态上的度量。将信号视为共轭变量,使我们能够创建一种新的方法来分割它们。保留字:量子信息,转移概率,欧几里德距离,Fubini学习度量,Bhattacharyya系数,共轭变量,信号/传感器融合,信号和图像分割。
2011-08-29 cs.CV physics.data-an quant-ph
Adaptive Boundary Proposal Network for Arbitrary Shape Text Detection
School of Computer and Communication Engineering, University of Science and Technology Beijing(北京科技大学计算机与通信工程学院);USTB-EEasyTech Joint Lab of Artificial Intelligence, Tencent Technology (Shenzhen) Co. Ltd(腾讯科技(深圳)有限公司北京科技大学人工智能联合实验室);Institute of Artificial Intelligence, University of Science and Technology Beijing(北京科技大学人工智能研究院)
由于场景文本的高度复杂性和多样性,任意形状的文本检测是一项具有挑战性的任务。在这项工作中,我们提出了一种新的自适应边界建议网络用于任意形状的文本检测,它可以学习直接为任意形状的文本生成准确的边界,而无需任何后处理。我们的方法主要包括一个边界建议模型和一个创新的自适应边界变形模型。采用多层扩张卷积构造的边界建议模型产生先验信息(包括分类图、距离场和方向场)和粗边界建议。自适应边界变形模型是一个编码器-解码器网络,其中编码器主要由一个图卷积网络(GCN)和一个递归神经网络(RNN)组成。它的目的是执行边界变形在一个迭代的方式获得文本实例形状的先验信息的指导下,从边界建议模型。通过这种方式,我们的方法可以直接有效地生成准确的文本边界,而无需复杂的后处理。在公开数据集上的大量实验证明了我们方法的最新性能。
2021-08-13 cs.CV
We don't Need Thousand Proposals$\colon$ Single Shot Actor-Action Detection in Videos
University of Central Florida(中佛罗里达大学)
我们提出了SSA2D,这是一个简单而有效的端到端深度网络,用于视频中的演员动作检测。现有的方法采用基于区域建议(RPN)的自上而下的方法,其中基于检测到的建议估计动作,然后进行非最大抑制等后处理。虽然在性能方面是有效的,但这些方法在密集视频场景的可扩展性方面存在限制,对于数千个建议具有高存储器要求。我们建议从一个不同的角度来解决这个问题,我们不需要任何建议。SSA2D是一个统一的网络,它在单镜头中执行像素级联合演员动作检测,其中检测到的演员的每个像素都被分配一个动作标签。SSA2D有两个主要优点:1)它是一个完全卷积的网络,不需要任何建议和后处理,使其具有内存和时间效率,2)它很容易扩展到密集的视频场景,因为它的内存需求与场景中存在的演员数量无关。我们评估所提出的方法上的演员动作数据集(A2D)和视频对象关系(VidOR)数据集,证明其有效性在多个演员和动作检测的视频。与以前的作品相比,SSA2D在推理过程中的速度快了11倍,性能相当(有时更好),网络参数更少。
2020-11-22 cs.CV
Using Convolutional Neural Networks in Robots with Limited Computational Resources: Detecting NAO Robots while Playing Soccer
Advanced Mining Technology Center & Dept. of Elect. Eng., Universidad de Chile(智利大学先进采矿技术中心与电气工程系)
本文的主要目标是分析的一般问题,使用卷积神经网络(CNN)的机器人有限的计算能力,并提出一般的设计准则,为他们的使用。此外,提出了两种不同的基于CNN的NAO机器人检测器,它们能够在踢足球时实时运行。其中一个检测器基于XNOR-Net,另一个基于SqueezeNet。每个探测器能够在约1 ms内处理机器人对象建议,NAO的上部相机获得的平均每帧建议数为1.5。获得的检出率为~ 97%。
2017-06-20 cs.CV
Towards real-time object recognition and pose estimation in point clouds
Federal University of Technology - Paraná(巴拉那联邦理工大学);Federal University of Paraná(巴拉那联邦大学)
对象识别和6 DoF位姿估计是计算机视觉应用中非常具有挑战性的任务。尽管这些任务效率很高,但标准方法提供的处理速率远非实时的【形】。本文提出了一种新的管道来估计一个精细的6自由度的对象位姿,应用于现实场景中的实时的【形】。我们把建议分成三个主要部分。首先,颜色特征分类利用在ImageNet上训练的预训练CNN颜色特征进行目标检测。基于轮廓的配准模块进行粗略的姿态估计,并且最后,精细调整步骤执行基于ICP的密集配准。在最好的情况下,我们的建议在RGB-D场景数据集上实现了近83%的准确性性能。关于处理时间,目标检测任务以高达90 FPS的帧处理速率完成,并且在完全执行策略中以几乎14 FPS的姿态估计完成。我们讨论,由于建议的模块化,我们可以让完全执行只发生在必要时,并执行一个预定的执行解锁实时的【形】处理,即使是多任务的情况。
2020-11-27 cs.CV
Segmenting Medical Instruments in Minimally Invasive Surgeries using AttentionMask
University of Hamburg(汉堡大学);University Medical Center Hamburg-Eppendorf(汉堡-埃彭多夫大学医学中心)
精确定位和分割微创手术图像中的医疗器械,即医疗器械分割,是医学图像处理中若干任务的重要第一步。然而,图像退化、小型器械以及不同手术类型之间的泛化使得医疗器械分割具有挑战性。为了应对这些挑战,我们调整对象建议生成系统AttentionMask,并提出了一个专门的后处理来选择有前途的建议。2019年ROBUST-MIS挑战赛的结果表明,我们的AttentionMask系统是产生最先进性能的坚实基础。我们在对象建议生成框架中的评估表明,我们的适应AttentionMask系统对图像退化具有鲁棒性,可以很好地推广到看不见的手术类型,并且可以很好地处理小型仪器。
2022-03-21 cs.CV
Resource-Constrained Simultaneous Detection and Labeling of Objects in High-Resolution Satellite Images
University of South Florida(南佛罗里达大学);The Federal University of Technology - Paraná(巴拉那联邦理工大学)
我们描述了一种策略,用于检测和分类的人造物体在大型高分辨率卫星照片的计算资源的限制。我们通过使用并行运行的卷积神经网络处理(CNN)的五个管道来检测和分类候选对象。每个管道都有自己独特的策略来微调参数,建议区域过滤和处理图像比例。基于区域置信度而不仅仅是基于重叠面积来合并冲突区域提议,这提高了最终选择的边界框区域的质量。我们使用最近的xView挑战来展示这一策略,这是一个复杂的基准测试,包含1,100多张高分辨率图像,跨越全球80万个空中物体,覆盖总面积为1,400平方公里,地面采样距离为0.3米。为了解决xView挑战带来的资源受限问题,其中推理被限制在具有8 GB内存限制的CPU上,我们使用了轻量级的CNN,并使用了Single Shot检测器算法进行训练。我们的方法在隔离集上很有竞争力;它排名第三。
2018-10-23 cs.CV
AttentionMask: Attentive, Efficient Object Proposal Generation Focusing on Small Objects
University of Hamburg(汉堡大学)
我们提出了一种新的方法,类不可知的对象建议生成,这是有效的,特别适合于检测小对象。通过尺度特定的对象注意力图来实现效率,该注意力图将处理集中在图像的有希望的部分上,并大大减少了采样窗口的数量。这导致了一个系统,它比最先进的系统快$33\%$,并且在平均召回率方面明显优于最先进的系统。其次,我们添加了一个用于检测小物体的模块,这些小物体经常被最近的模型遗漏。我们发现,该模块提高了约$53\%$的小对象的平均召回。
2018-11-21 cs.CV
Temporal Action Proposal Generation with Transformers
Harbin Institute of Technology(哈尔滨工业大学);Baidu Inc.(百度公司)
Transformer网络在对长距离上下文信息进行建模方面是有效的,并且最近在自然语言处理领域中展示了示例性性能。传统的时间动作建议生成(TAPG)任务分为两个主要的子任务:边界预测和建议置信度预测,它们分别依赖于帧级依赖关系和建议级关系。为了捕获不同粒度级别上的依赖关系,本文直观地提出了一个带有原始Transformers的统一时态动作建议生成框架TAPG Transformer,它由边界Transformer和建议Transformer组成。具体而言,边界Transformer捕获长期的时间依赖性以预测精确的边界信息,并且建议Transformer学习丰富的建议间关系以进行可靠的置信度评估。在ActivityNet-1.3和THUMOS 14两个流行的基准上进行了大量的实验,结果表明TAPG Transformer优于最先进的方法。配备现有的动作分类器,我们的方法取得了显着的性能上的时间动作定位任务。将提供代码和模型。
2021-05-25 cs.CV cs.MM
Small, but important: Traffic light proposals for detecting small traffic lights and beyond
Ibeo Automotive Systems GmbH(伊贝奥汽车系统有限公司);University of Hamburg(汉堡大学)
针对CNN下采样导致小交通信号灯检测困难的问题,提出结合多尺度特征与注意力机制的提议生成器及检测头,在多个数据集上小目标检测提升至少12.6%。
2023-07-27 cs.CV