Seq-NMS for Video Object Detection
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);National University of Singapore(新加坡国立大学)
视频目标检测是具有挑战性的,因为在一个帧中容易检测到的对象可能难以在同一剪辑内的另一帧中检测到。最近,在单个图像中进行目标检测已经有了重大进展。这些方法通常包含三个阶段:(i)对象建议生成(ii)对象分类和(iii)后处理。我们提出了一个修改后的处理阶段,使用高得分的目标检测从附近的帧,以提高分数较弱的检测在同一剪辑。我们表明,我们的方法获得优越的结果,最先进的单图像目标检测技术。我们的方法在ImageNet大规模视觉识别挑战赛2015(ILSVRC 2015)的视频目标检测(VID)任务中排名第三。
2016-08-22 cs.CV
Active Terahertz Imaging Dataset for Concealed Object Detection
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院)
太赫兹成像中隐藏目标检测是公共安全和反恐的迫切需要。在本文中,我们提供了一个公共数据集,用于评估多个目标检测算法在主动太赫兹成像分辨率5毫米5毫米。据我们所知,这是第一个公共太赫兹成像数据集准备评估目标检测算法。由于其较差的成像质量,该数据集上的目标检测比那些标准公共目标检测数据集上的目标检测困难得多。针对目标检测中存在的样本不平衡和训练样本困难的问题,本文在该数据集上对四种常用的检测器:YOLOv 3、YOLOv 4、FRCN-OHEM和RetinaNet进行了评估。实验结果表明,RetinaNet实现了最高的mAP。此外,我们证明了隐藏在人体不同部位的物体会影响检测精度。该数据集可在https://github.com/LingLIx/THz_Dataset上获得。
2021-05-08 cs.CV
Integrated Object Detection and Tracking with Tracklet-Conditioned Detection
Microsoft Research Asia(微软亚洲研究院);Beijing Institute of Technology(北京理工大学);University of Science and Technology of China(中国科学技术大学)
目标的准确检测和跟踪对于有效的视频理解至关重要。在以前的工作中,这两个任务已经结合在一起的方式,跟踪是基于检测很大程度上,但检测效益边际跟踪。为了提高协同作用,我们建议通过在先前帧中计算的轨迹上调节当前帧中的目标检测来更紧密地集成任务。利用该方法,目标检测结果不仅具有高的检测响应,而且还提高了与现有轨迹的一致性。这种更大的相干性导致估计的对象轨迹比在没有轨迹段条件检测的情况下获得的抖动路径更平滑和更稳定。在广泛的实验中,这种方法被证明是实现国家的最先进的性能方面的检测和跟踪精度,以及跟踪稳定性的显着改善。
2018-11-27 cs.CV
RelationRS: Relationship Representation Network for Object Detection in Aerial Images
目标检测是航空图像处理领域的一项基本而重要的任务,也是计算机视觉领域的一个研究热点。然而,以往的航空影像目标检测方法对大规模航空影像不同区域间的场景语义信息利用不足。此外,复杂的背景和尺度变化使得检测精度难以提高。为了解决这些问题,我们提出了一种用于航空图像中目标检测的关系表示网络(Relationship Representation Network for Object Detection in Aerial Images-DRM RS):1)首先,通过具有条件卷积的双关系模块(Dual Relationship Module,DRM)来融合和增强多尺度特征。对偶关系模块学习不同尺度特征之间的潜在关系,并在同一次迭代中学习来自不同补丁的不同场景之间的关系。此外,对偶关系模块动态生成参数,以指导多尺度特征的融合。2)其次,将桥接视觉表示模块(BVR)引入到航空影像领域,以提高复杂背景下的目标检测效果。公开的目标检测数据集的航空图像的实验表明,所提出的CNORS实现了国家的最先进的检测性能。
2021-10-13 cs.CV
Template Matching based Object Detection Using HOG Feature Pyramid
University of California-Irvine(加州大学欧文分校)
本文提供了一个逐步发展的设计一个目标检测计划,使用HOG的基础上的特征金字塔与模板匹配的概念。
2014-06-27 cs.CV
Plug & Play Convolutional Regression Tracker for Video Object Detection
University of Twente(特温特大学);Wuhan University(武汉大学)
视频目标检测的目标是同时定位对象的边界框并在给定视频中识别它们的类别。视频目标检测的一个挑战是在整个视频中一致地检测所有对象。由于对象的外观可能在某些帧中恶化,因此通常使用来自其他帧的特征或检测来增强预测。在本文中,我们提出了一个即插即用的规模自适应卷积回归跟踪器的视频目标检测任务,它可以很容易地和兼容地植入到当前国家的最先进的检测网络。由于跟踪器重复使用来自检测器的特征,因此对检测网络来说,这是一个非常轻的增量。整个网络的运行速度接近标准的目标检测器。通过我们新的视频目标检测流水线设计,图像目标检测器可以轻松地变成高效的视频目标检测器,而无需修改任何参数。性能在大规模ImageNet VID数据集上进行了评估。我们的即插即用设计将图像检测器的mAP分数提高了约5%,速度仅下降很少。
2020-03-02 cs.CV
A Versatile Multi-View Framework for LiDAR-based 3D Object Detection with Guidance from Panoptic Segmentation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
使用LiDAR数据的3D目标检测是自动驾驶系统不可或缺的组成部分。然而,只有少数基于LiDAR的3D目标检测方法利用分割信息来进一步指导检测过程。在本文中,我们提出了一种新的多任务框架,共同执行三维目标检测和全景分割。在我们的方法中,3D目标检测骨干在鸟瞰图(BEV)平面增加的距离视图(RV)的特征图从3D全景分割骨干的注入。这使得检测骨干能够利用多视图信息来解决每个投影视图的缺点。此外,前景语义信息被纳入,以减轻检测任务,突出显示的位置,每个对象类的特征图。最后,基于实例级信息生成的新中心密度热图通过建议对象的可能框中心位置来进一步指导检测骨干。我们的方法适用于任何基于BEV的3D目标检测方法,并且如在nuScenes数据集上的大量实验所示,它提供了显着的性能增益。值得注意的是,基于单级CenterPoint 3D目标检测网络的所提出的方法在nuScenes 3D检测基准测试中达到了最先进的性能,具有67.3 NDS。
2022-03-04 cs.CV
3D Object Class Detection in the Wild
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
在强大的统计学习技术与强大的图像表示相结合的成功推动下,对象类检测长期以来一直是2D限界框定位的同义词。直到最近,人们对重温早期计算机视觉的承诺越来越感兴趣:在3D中逐对象地精确描绘视觉场景的内容。在本文中,我们从最近的进展,目标检测和2D-3D对象提升,以设计一个对象类检测器,特别是针对3D对象类检测。我们的3D对象类检测方法包括几个阶段,逐渐丰富的目标检测输出与对象的观点,关键点和3D形状估计。经过精心设计,在每个阶段,它不断提高性能,并在具有挑战性的Pascal 3D+数据集上同时进行2D限界框和视点估计时达到最先进的性能。
2015-03-17 cs.CV
On Hyperbolic Embeddings in 2D Object Detection
Robert Bosch GmbH(罗伯特·博世有限公司);University of Freiburg(弗莱堡大学)
目标检测在很大程度上是在欧几里德空间中公式化的,其中欧几里德或球面测地线距离测量图像区域与对象类原型的相似性。在这项工作中,我们研究是否双曲几何更好地匹配对象分类空间的底层结构。我们将一个双曲线分类器在两个阶段,基于关键点,基于变换器的对象检测架构,并评估他们的大规模,长尾,和zero-shot目标检测基准。在我们广泛的实验评估中,我们观察到分类空间结构中出现的分类类层次结构,从而降低分类错误并提高整体目标检测性能。
2022-03-18 cs.CV
Focal Loss in 3D Object Detection
The Hong Kong University of Science and Technology(香港科技大学);Tongji University(同济大学)
3D目标检测在自动驾驶场景中仍然是一个悬而未决的问题。与基于图像的目标检测相比,自主车辆在从稀疏的3D输入中识别和定位关键目标时,需要更大的连续搜索空间和更高的前背景不平衡性。本文针对三维目标检测中的前背景不平衡问题进行了研究。受最近在基于图像的目标检测中使用焦点丢失的启发,我们将这种二进制交叉熵的硬挖掘改进扩展到基于点云的目标检测,并基于两种不同的3D检测器:3D-FCN和VoxelNet进行实验以显示其性能。评估结果显示,通过在3D目标检测的超参数范围内的焦点损失,可获得高达11.2AP的增益。
2019-01-16 cs.CV
Enhanced Object Detection: A Study on Vast Vocabulary Object Detection Track for V3Det Challenge 2024
University of Science and Technology of China(中国科学技术大学);Zhejiang University(浙江大学);Northwestern Polytechnical University(西北工业大学);Northwest University(西北大学)
针对V3Det数据集监督式超大词汇量视觉检测任务中原有检测器适配性差的问题,通过改进网络结构、损失函数与训练策略提升了检测性能,在2024年V3Det挑战赛双赛道取得优异排名。
2024-06-21 cs.CV
DFAM-DETR: Deformable feature based attention mechanism DETR on slender object detection
Shenyang Ligong University(沈阳理工大学)
目标检测是计算机视觉的重要研究方向之一,在许多领域都取得了丰硕的成果。值得注意的是,目前很少有研究关注细长目标检测。CNN被广泛应用于目标检测中,但由于其几何结构和采样点固定,在细长目标检测中表现不佳。相比之下,可变形DETR具有获得全局到特定特征的能力。尽管它在细长物体检测精度和效率方面优于CNN,但结果仍然不令人满意。因此,我们提出了基于变形特征的注意力机制(DFAM),以提高变形DETR的细长目标检测的准确性和效率。DFAM具有变形卷积的自适应采样点和注意力机制,该机制从骨干网络中的整个输入序列聚合信息。这种改进的检测器被称为基于变形特征的注意力机制检测器(DFAM-DETR).实验结果表明,DFAM-DETR算法对细长目标具有良好的检测性能。
2022-04-22 cs.CV
Bridging Saliency Detection to Weakly Supervised Object Detection Based on Self-paced Curriculum Learning
School of Automation, Northwestern Polytechnical University(西北工业大学自动化学院)
弱监督目标检测(WOD)是计算机视觉中一个具有挑战性的问题。关键问题是同时推断训练图像中的准确对象位置并训练对象检测器,仅给定具有弱图像级标签的训练图像。直观地说,显著性检测技术通过模拟人类视觉系统的选择性注意力机制,可以在场景中选择有吸引力的目标,从而为WOD提供有用的先验信息。然而,在WOD中采用显著性检测的方式并不简单,因为在复杂情况下检测到的显著性区域可能是高度模糊的。为此,本文首先全面分析了显著性检测应用于WOD的挑战。然后,我们最早的努力之一,通过自定进度的课程学习,这可以引导学习过程,逐步实现多类对象的忠实知识的显著性检测到WOD。实验结果表明,该方法能够成功地将显著性检测和WOD任务有机地结合起来,在弱监督环境下取得了较好的目标检测效果。
2017-03-03 cs.CV
TricubeNet: 2D Kernel-Based Object Representation for Weakly-Occluded Oriented Object Detection
NAVER CLOVA;LG AI Research(LG人工智能研究院);KAIST(韩国科学技术院)
我们提出了一种新的面向目标检测的方法,名为TricubeNet,它使用视觉线索($i.e.,$热图)而不是面向框偏移回归来定位面向对象。我们将每个对象表示为2D Tricube内核,并使用简单的图像处理算法提取边界框。我们的方法能够(1)从视觉线索中获得排列良好的盒子,(2)解决角度不连续问题,(3)由于我们的无锚建模,可以节省计算复杂性。为了进一步提高性能,我们提出了一些有效的技术,用于大小不变损失,减少错误检测,提取旋转不变特征和热图细化。为了证明我们的TricubeNet的有效性,我们在各种任务上进行了实验,用于弱遮挡导向的目标检测:在航拍图像,密集包装的对象图像和文本图像中进行检测。大量的实验结果表明,我们的TricubeNet是非常有效的面向目标检测。代码可在https://github.com/qjadud1994/TricubeNet上获得。
2021-10-05 cs.CV
Detect-and-describe: Joint learning framework for detection and description of objects
Shanghai Jiao Tong University(上海交通大学)
传统的目标检测回答两个问题:“什么”(对象是什么?)和“where”(对象在哪里?)。目标检测的“什么”部分可以进一步细粒度化,即“什么类型”、“什么形状”和“什么材料”等。这导致将目标检测任务转移到目标描述范例。描述一个物体提供了额外的细节,使我们能够理解物体的特征和属性(“塑料船”不仅仅是船,“玻璃瓶”不仅仅是瓶子)。该附加信息可以隐式地用于获得对看不见的对象(例如,未知对象是“金属的”、“具有轮子”)的洞察,这在传统的目标检测中是不可能的。在本文中,我们提出了一种新的方法,同时检测对象和推断其属性,我们称之为检测和描述(DaD)框架。DaD是一种基于深度学习的方法,它也将目标检测扩展到对象属性预测。我们在aPascal训练集上对我们的模型进行训练,并在aPascal测试集上对我们的方法进行评估。我们在aPascal测试集上实现了对象属性预测的受试者工作特征曲线(AUC)下的面积为97.0%。我们还展示了定性结果的对象属性预测看不见的对象,这表明我们的方法描述未知对象的有效性。
2022-04-19 cs.CV
Any-scale Object Detection using Arbitrary-scaled Images
Toyota Technological Institute(丰田工业大学)
本文提出任意尺度目标检测方法,利用任意尺度超分辨率连续缩放目标图像,并通过预测尺度提议图抑制误检,解决了多尺度检测中离散表示和超分辨率误检问题。
2026-10-06 cs.CV
Multi-scale Volumes for Deep Object Detection and Localization
University of California, San Diego(加利福尼亚大学圣迭戈分校)
本研究旨在分析改进的多尺度推理用于深度卷积神经网络的目标检测和定位的益处。为此,提出了一种有效的和通用的目标检测框架,该框架在深特征金字塔的尺度体积上操作。与所提出的方法相反,大多数当前最先进的对象检测器在训练中在单一尺度上操作,而测试涉及跨尺度的独立评估。所提出的方法的一个好处是更好地捕获多尺度上下文信息,从而在PASCAL VOC数据集和多视图高速公路车辆数据集上的对象的检测性能和定位质量方面都有显着提高。联合检测和定位尺度特定的模型,特别有利于检测具有挑战性的对象类别,表现出大规模的变化,以及小对象的检测。
2016-07-26 cs.CV
Object Detection from Video Tubelets with Convolutional Neural Networks
The Chinese University of Hong Kong(香港中文大学)
深度卷积神经网络(CNN)在图像分类、目标检测和语义分割等各种视觉任务中表现出令人印象深刻的性能。对于目标检测,特别是在静态图像中,由于强大的深度网络(例如GoogleNet)和检测框架(例如具有CNN特征的区域(R-CNN)),性能在去年得到了显著提高。最近引入的ImageNet视频(VID)目标检测任务将目标检测任务带入视频域,其中每个帧的对象位置需要用边界框进行注释。在这项工作中,我们介绍了一个完整的框架VID任务的基础上静止图像目标检测和一般的目标跟踪。他们的关系和贡献VID任务进行了深入的研究和评价。此外,提出了一种时间卷积网络,将时间信息,以规范的检测结果,并显示其有效性的任务。
2016-04-14 cs.CV
D2DF2WOD: Learning Object Proposals for Weakly-Supervised Object Detection via Progressive Domain Adaptation
Rutgers University(罗格斯大学);Samsung AI Center(三星人工智能中心)
弱监督目标检测(WSOD)模型试图利用图像级注释来代替准确但获得目标定位标签的成本。这常常导致推理时的不合标准的目标检测和定位。为了解决这个问题,我们提出了D2DF2WOD,这是一个双域全到弱监督目标检测框架,它利用合成数据,用精确的目标定位进行注释,以补充自然图像目标域,其中只有图像级标签可用。在其预热领域自适应阶段,该模型学习一个完全监督的对象检测器(FSOD),以提高目标域中的对象建议的精度,并在同一时间学习目标域特定的和检测感知的建议功能。在WSOD的主阶段,WSOD模型被专门调整到目标域。WSOD模型的特征提取器和对象建议生成器建立在微调的FSOD模型上。我们在五个双域图像基准上测试D2DF2WOD。结果表明,我们的方法的结果一致改善目标检测和定位相比,国家的最先进的方法。
2022-12-02 cs.CV
TrackNet: Simultaneous Object Detection and Tracking and Its Application in Traffic Video Analysis
New York University(纽约大学);Chongqing University of Technology(重庆理工大学)
目标检测和目标跟踪通常被视为两个独立的过程。使用深度学习网络在2D图像中的目标检测方面取得了重大进展。用于对象跟踪的通常的逐检测跟踪流水线要求在第一帧和所有后续帧中成功检测对象,并且通过关联检测结果来完成跟踪。通过单个网络执行目标检测和目标跟踪仍然是一个具有挑战性的开放问题。我们提出了一种名为trackNet的新型网络结构,通过扩展更快的R-CNN框架,可以直接检测视频片段中包含移动对象的3D管。trackNet内部的Tube Proposal Network(TPN)用于预测每个候选管道的对象和指定边界管道的位置参数。所提出的框架适用于检测和跟踪任何对象,在本文中,我们专注于它的应用交通视频分析。该模型在UA-DETRAC(一个可用于多车辆检测和跟踪的大型交通视频数据集)上进行了训练和测试,并获得了非常有前途的结果。
2019-02-04 cs.CV
Revisiting Salient Object Detection: Simultaneous Detection, Ranking, and Subitizing of Multiple Salient Objects
University of Manitoba(曼尼托巴大学);Ryerson University(瑞尔森大学)
显著目标检测是一个已经被详细考虑并提出了许多解决方案的问题。在本文中,我们认为,迄今为止的工作已经解决了一个问题,是相对不适定。具体来说,当多个观察者被询问时,关于什么构成显著对象并没有普遍的共识。这意味着一些对象比其他对象更有可能被判断为显著的,并且意味着显著对象上存在相对等级。本文提出的解决方案解决了这个更普遍的问题,考虑相对排名,我们提出了适合测量成功的相对对象显着性景观的数据和指标。提出了一种新的基于相对显著性的分层表示和逐阶段细化的深度学习解决方案。我们还表明,显着对象subitizing的问题可以用相同的网络来解决,我们的方法超过了所有考虑的指标(传统的和新提出的)的任何先前的工作的性能。
2018-03-23 cs.CV
Object Detection in Specific Traffic Scenes using YOLOv2
Purdue University(普渡大学)
目标检测框架在自动驾驶中起着至关重要的作用。在本文中,我们介绍了实时目标检测框架称为你只看一次(YOLOv1)和YOLOv2的相关改进。我们进一步探索了YOLOv2的能力,通过实现其预训练模型来完成某些特定交通场景中的目标检测任务。四种人工设计的交通场景包括:单车、单人、前车后车和前车后人。
2019-05-12 cs.CV
Multiple receptive fields and small-object-focusing weakly-supervised segmentation network for fast object detection
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Science(中国科学院大学);Didi Chuxing(滴滴出行)
目标检测在各种视觉应用中起着重要的作用。然而,探测器的精度和速度往往是矛盾的。快速探测器精度下降的一个主要原因是小目标难以被探测到。为了解决这个问题,我们提出了一个多感受野和小目标聚焦弱监督分割网络(MRFSWSnet),以实现快速目标检测。在MRFSWSnet中,多感受野块(MRF)用于关注目标及其相邻背景的不同空间位置,并使用不同的权重来增强特征的可区分性。此外,为了提高小目标检测的准确率,在检测网络中集成了小目标聚焦的弱监督分割模块进行辅助训练,以提高小目标检测的准确率。大量的实验表明,我们的方法在PASCAL VOC和MS COCO检测数据集上的有效性。特别是,在300x300的较低分辨率版本下,MRFSWSnet在VOC 2007测试中实现了80.9%mAP,推理速度为每帧15毫秒,是实时检测器中最先进的检测器。
2019-05-22 cs.CV
Hierarchical Neural Collapse Detection Transformer for Class Incremental Object Detection
针对类别增量目标检测中的灾难性遗忘、性能受限与推理缓慢问题,提出Hier-DETR框架,结合Neural Collapse和标签层级关系以兼顾效率与检测性能。
2025-06-10 cs.CV
Object Detection in Video with Spatiotemporal Sampling Networks
University of Pennsylvania(宾夕法尼亚大学);Dartmouth College(达特茅斯学院)
我们提出了一个时空采样网络(STSN),使用可变形卷积跨时间的目标检测的视频。我们的STSN执行目标检测在视频帧中学习空间采样功能从相邻的帧。这自然地使得该方法对于各个帧中的遮挡或运动模糊是鲁棒的。我们的框架不需要额外的监督,因为它优化采样位置直接相对于目标检测性能。我们的STSN在ImageNet VID数据集上的表现优于最先进的技术,与现有的视频目标检测方法相比,它使用了更简单的设计,并且不需要光流数据进行训练。
2018-07-24 cs.CV
Towards High Performance Video Object Detection
Microsoft Research Asia(微软亚洲研究院)
近年来,图像目标检测取得了显著的进展。然而,视频目标检测却很少受到关注,尽管它在实际应用中更具挑战性和更重要。在最近的工作的基础上,这项工作提出了一个统一的方法,基于多帧端到端学习的功能和跨帧运动的原则。我们的方法扩展了以前的作品与三种新技术,稳步推进性能信封(速度-精度权衡),高性能视频目标检测。
2017-11-30 cs.CV
GAN-Knowledge Distillation for one-stage Object Detection
Startdt AI Lab(星图数据AI实验室);Zeusee Technology(智视科技)
卷积神经网络在目标检测的精度上有显著的提高。随着卷积神经网络的深入,检测的准确性也明显提高,需要更多的浮点计算。在目标检测中,许多研究者采用知识蒸馏的方法,将知识从更深更大的教师网络转移到较小的学生网络中,从而提高学生网络的准确性。大多数知识蒸馏方法都需要设计复杂的代价函数,并且都是针对两阶段目标检测算法的。针对一阶段目标检测,提出了一种简洁有效的知识蒸馏方法。将教师网络和学生网络生成的特征图分别作为真样本和假样本,并对两者进行对抗训练,以提高学生网络在一阶段目标检测中的性能。
2019-07-04 cs.CV
RRPN: Radar Region Proposal Network for Object Detection in Autonomous Vehicles
The University of Tennessee Knoxville(田纳西大学诺克斯维尔分校)
区域建议算法通过假设图像中的对象位置,在大多数最先进的两阶段目标检测网络中发挥重要作用。尽管如此,已知区域建议算法是大多数两阶段目标检测网络中的瓶颈,增加了每个图像的处理时间,并导致缓慢的网络不适合自动驾驶车辆等实时应用。在本文中,我们介绍RRPN,基于雷达的实时区域建议算法的目标检测在自动驾驶汽车。RRPN通过将雷达探测映射到图像坐标系并为每个映射的雷达探测点生成预定义的锚框来生成对象建议。然后,这些锚框根据物体与车辆的距离进行变换和缩放,以提供检测到的物体的更准确的建议。我们使用快速R-CNN目标检测网络[2]在新发布的NuScenes数据集[1]上评估我们的方法。与选择性搜索对象建议算法[3]相比,我们的模型运行速度快100倍以上,同时实现了更高的检测精度和召回率。代码已在https://github.com/mrnabati/RRPN上公开发布。
2019-05-15 cs.CV
PPDM: Parallel Point Detection and Matching for Real-time Human-Object Interaction Detection
Beihang University(北京航空航天大学);SenseTime Research(商汤科技研究院);National University of Singapore(新加坡国立大学)
我们提出了一种单阶段的人-物体交互(HOI)检测方法,该方法在单个Titan XP GPU上以37 fps的速度在HICO-DET数据集上表现优于所有现有方法。这是第一个实时的【形】HOI检测方法。传统的HOI检测方法由两个阶段组成,即,人-对象提议生成和提议分类。它们的有效性和效率受到顺序和分离架构的限制。在本文中,我们提出了一个并行点检测和匹配(PPDM)的HOI检测框架。在PPDM中,HOI被定义为点三元组<人类点、交互点、物体点>。人点和物点是检测框的中心,交互点是人点和物点的中点。PPDM包含两个并行分支,即点检测分支和点匹配分支。点检测分支预测三个点。同时,点匹配分支预测从交互点到其对应的人和物体点的两个位移。人点和物体点起源于同一个交互点被认为是匹配的对。在我们新颖的并行架构中,交互点隐式地为人和目标检测提供上下文和正则化。孤立的检测盒不太可能形成,这意味着HOI三联体被抑制,这增加了HOI检测的精度。此外,人和目标检测框之间的匹配仅应用于有限数量的过滤后的候选交互点,这节省了大量的计算成本。此外,我们建立了一个新的面向应用的数据库HOI-A,它作为一个很好的补充,现有的数据集。源代码和数据集将公开提供,以促进HOI检测的发展。
2020-03-25 cs.CV
Metamorphic Testing for Object Detection Systems
The Hong Kong University of Science and Technology(香港科技大学);ETH Zurich(苏黎世联邦理工学院)
深度神经网络(DNN)的最新进展已经导致了可以快速处理图片或视频并识别其中包含的对象的对象检测器。尽管亚马逊和谷歌等工业制造商在将基于深度学习的目标检测商业化为标准计算机视觉服务方面取得了可喜的进展,但目标检测系统--类似于传统软件--仍可能产生不正确的结果。这些错误进而可能导致这些目标检测系统的用户的严重负面结果。例如,自动驾驶系统无法检测到行人可能会导致事故甚至死亡。然而,用于测试目标检测系统的原则性、系统性方法尽管重要,但尚不存在。为了填补这一关键空白,我们介绍了MetaOD的设计和实现,第一个变形测试系统的对象检测器,有效地揭示错误的检测结果的商业对象检测器。为此,我们(1)通过将额外的对象实例插入到背景图像中来合成看起来自然的图像,以及(2)设计变形条件,在排除对插入对象的预测结果之后,断言原始图像和合成图像之间的目标检测结果的等价性。MetaOD被设计为一个简化的工作流程,执行对象提取,选择和插入。通过对TensorFlow API提供的四个商业目标检测服务和四个预训练模型进行评估,MetaOD发现这些目标检测器存在数万个检测缺陷。为了进一步展示MetaOD的实际使用,我们使用导致错误检测结果的合成图像来重新训练模型。我们的研究结果表明,模型的性能显着增加,从9.3的mAP得分到10.5的mAP得分。
2019-12-19 cs.CV
Fast Efficient Object Detection Using Selective Attention
由于重大疏忽而撤回
2020-02-20 cs.CV
Benchmark for Generic Product Detection: A Low Data Baseline for Dense Object Detection
ParallelDots, Inc.(ParallelDots公司)
密集场景中的目标检测是标准目标检测器无法很好地训练的新领域。像RetinaNet这样在大型密集数据集上训练的密集对象检测器表现出了出色的性能。我们训练一个标准的对象检测器在一个小的,通常包装的数据集与数据增强技术。就注释数量而言,该数据集比标准数据集小265倍。该低数据基线在标准IoU为0.5时获得了令人满意的结果(mAP=0.56)。我们还通过为多个公共数据集提供完整的注释,为通用的非专利产品检测创建了一个不同的基准。可在https://github.com/ParallelDots/generic-sku-detection-benchmark上查阅。我们希望这个基准有助于构建强大的检测器,这些检测器能够在野外的不同环境中可靠地执行。
2020-01-08 cs.CV
Structure Inference Net: Object Detection Using Scene-Level Context and Instance-Level Relationships
University of Chinese Academy of Sciences(中国科学院大学);Cooperative Medianet Innovation Center(协同媒体网络创新中心)
上下文对于准确的视觉识别很重要。在这项工作中,我们提出了一个目标检测算法,不仅考虑对象的视觉外观,但也利用两种上下文,包括场景上下文信息和对象的关系在一个单一的图像。因此,当利用这些结构化信息时,目标检测被视为认知问题和推理问题。具体来说,本文制定的目标检测的图形结构推理的问题,在给定的图像中的对象被视为图中的节点和对象之间的关系建模为边在这样的图。为此,我们提出了一个所谓的结构推理网络(SIN),这是一个检测器,它结合到一个典型的检测框架(例如Faster R-CNN)中,并带有一个旨在推断对象状态的图形模型。在PASCAL VOC和MS COCO数据集上的综合实验表明,场景上下文和目标关系确实提高了目标检测的性能,得到了更理想、更合理的结果。
2018-06-30 cs.CV
DenseBox: Unifying Landmark Localization with End to End Object Detection
Baidu Research(百度研究院)
单个全卷积神经网络(FCN)如何执行目标检测?我们介绍了DenseBox,这是一个统一的端到端FCN框架,可以通过图像的所有位置和尺度直接预测边界框和对象类置信度。我们的贡献是双重的。首先,我们表明,一个单一的FCN,如果仔细设计和优化,可以非常准确和有效地检测多个不同的对象。其次,我们表明,当在多任务学习过程中结合地标定位时,DenseBox进一步提高了目标检测的准确性。我们在公共基准数据集上展示了实验结果,包括MALF人脸检测和KITTI汽车检测,这表明我们的DenseBox是检测人脸和汽车等具有挑战性的物体的最先进系统。
2015-09-19 cs.CV
UA-DETRAC: A New Benchmark and Protocol for Multi-Object Detection and Tracking
JD Finance America Corporation(京东金融美国公司);University at Albany, State University of New York(纽约州立大学奥尔巴尼分校);University of California, San Diego(加利福尼亚大学圣地亚哥分校);National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学);Hanyang University(汉阳大学);University of California at Merced(加利福尼亚大学默塞德分校)
近年来,由于多目标跟踪的广泛应用,发展了许多有效的多目标跟踪方法。现有的MOT方法的性能评估通常通过使用相同的固定目标检测结果进行比较来将目标跟踪步骤与目标检测步骤分开。在这项工作中,我们进行了全面的定量研究的影响目标检测准确性的整体MOT性能,使用新的大规模大学奥尔巴尼检测和tRACKing(UA-DETRAC)基准数据集。UA-DETRAC基准数据集由100个从真实交通场景中捕获的具有挑战性的视频序列组成(超过140,000帧,具有丰富的注释,包括遮挡、天气、车辆类别、截断和车辆边界框),用于目标检测、目标跟踪和MOT系统。我们评估完整的MOT系统,从国家的最先进的目标检测和目标跟踪方法的组合。我们的分析表明,复杂的影响,目标检测精度的MOT系统的性能。基于这些观察,我们提出了新的评估工具和指标的MOT系统,同时考虑目标检测和目标跟踪的综合分析。
2020-01-24 cs.CV
Multi-stage Object Detection with Group Recursive Learning
Beijing Institute of Technology University(北京理工大学);Sun Yat-Sen University(中山大学);National University of Singapore(新加坡国立大学)
大多数现有的检测流水线独立地处理对象建议,并分别预测限界框位置和分类分数。然而,建议之间的重要语义和空间布局相关性往往被忽视,这实际上是有用的更准确的目标检测。在这项工作中,我们提出了一种新的EM类组递归学习方法,通过将周围的建议,并提供一个最佳的空间配置的目标检测的上下文迭代细化对象的建议。此外,我们建议将弱监督对象分割线索和基于区域的目标检测纳入一个多阶段的架构,以充分利用学习的分割功能,以更好的目标检测在一个端到端的方式。该架构由三个级联网络组成,分别学习执行弱监督对象分割,对象建议生成和递归检测细化。将组递归学习和多阶段架构相结合,在PASCAL VOC 2007和VOC 2012数据集上分别提供了78.6%和74.9%的竞争性mAP,显著优于许多成熟的基线[10] [20]。
2016-08-18 cs.CV
An advanced YOLOv3 method for small object detection
Northwest Minzu University(西北民族大学);China Mobile Design Institute Co., Ltd.(中国移动设计院有限公司)
小目标检测在自动驾驶、无人机景物分析等领域具有重要的应用价值。YOLOv 3作为目前最先进的目标检测算法之一,在检测小目标时遇到了一些挑战,如小目标和遮挡目标的检测失败问题。针对这些问题,提出了一种改进的YOLOv 3小目标检测目标检测算法。该方法在YOLOv 3的主干网络中引入扩张卷积mish(DCM)模块,通过融合不同感受野的特征图来提高特征表达能力。在YOLOv 3的颈部网络中,引入了卷积块注意模块(CBAM)和多级融合模块,在浅层网络中选择小目标检测的重要信息,抑制不关键的信息,并利用融合模块融合不同尺度的特征图,提高算法的检测精度。此外,将Soft-NMS和Complete-IoU(CloU)策略应用于候选帧筛选,提高了算法对遮挡对象检测的准确性。MS COCO 2017目标检测任务的烧蚀实验证明了本文介绍的几个模块对于小目标检测的有效性。在MS COCO 2017、VOC 2007和VOC 2012数据集上的实验结果表明,该方法的平均精度(AP)分别比YOLOv 3高16.5%、8.71%和9.68%。
2023-03-22 cs.CV
Enhancing Egocentric Object Detection in Static Environments using Graph-based Spatial Anomaly Detection and Correction
Centre of Excellence in Maritime Safety(海上安全卓越中心);Singapore Polytechnic(新加坡理工学院);Singapore(新加坡)
提出一种基于图神经网络的后处理管道,通过建模静态环境中物体的空间关系来校正自我中心帧中的检测异常,显著提升检测性能。
2025-08-11 cs.CV
Object Detection with Convolutional Neural Networks
University of Kansas(堪萨斯大学)
在本章中,我们简要概述了使用卷积神经网络(CNN)进行目标检测的最新发展。几个经典的基于CNN的检测器。一些发展基于检测器架构,而另一些则专注于解决某些问题,如模型退化和小规模目标检测。本章还介绍了几个基准数据集上的不同模型的性能比较结果。通过对这些模型的讨论,我们希望能对基于CNN的目标检测的发展有一个总体的了解。
2019-12-04 cs.CV
3D Object Detection from a Single Fisheye Image Without a Single Fisheye Training Image
General Motors Advanced Technical Center Israel(通用汽车以色列高级技术中心)
现有的单目3D目标检测方法已经在直线透视图像上得到证明,并且在具有替代投影的图像(诸如由鱼眼相机获取的那些)中失败。鱼眼图像中的目标检测的先前工作集中于2D目标检测,部分原因是缺乏此类图像的3D数据集。在这项工作中,我们将展示如何使用现有的单目3D目标检测模型,只训练直线图像,从鱼眼相机的图像中检测3D对象,而不使用任何鱼眼训练数据。我们优于唯一现有的方法,单目3D目标检测的合成数据的基准上,尽管现有的方法训练目标的非直线投影,而我们训练只有直线图像。我们还用真实鱼眼图像的内部数据集进行了实验。
2021-05-31 cs.CV
Hybrid Pooling and Convolutional Network for Improving Accuracy and Training Convergence Speed in Object Detection
City University of Hong Kong(香港城市大学);Xiamen University(厦门大学)
本文提出HPC-Net,通过混合池化与卷积网络提升目标检测的准确率和训练收敛速度。
2024-01-02 cs.CV
Semi-supervised Learning for Dense Object Detection in Retail Scenes
ParallelDots, Inc.(ParallelDots公司)
零售场景通常在每个图像中包含密集的大量对象。标准的目标检测技术使用完全监督的训练方法。这是非常昂贵的,因为与标准数据集相比,注释大的密集零售目标检测数据集涉及多一个数量级的工作。因此,我们提出了半监督学习,以有效地利用大量的未标记的数据在零售领域。我们适应一个流行的自我监督的方法,称为嘈杂的学生最初提出的对象分类密集的目标检测的任务。我们表明,使用未标记的数据与嘈杂的学生训练方法,我们可以提高在密集的零售场景中精确检测物体的最新技术水平。我们还表明,模型的性能随着未标记数据量的增加而增加。
2021-07-05 cs.CV
Enhanced Object Detection via Fusion With Prior Beliefs from Image Classification
University of Southern California(南加州大学);Booz Allen Hamilton Inc.(博思艾伦咨询公司);U.S. Army Research Laboratory(美国陆军研究实验室)
在本文中,我们介绍了一种新的融合方法,可以通过融合两种不同类型的计算机视觉任务:目标检测和图像分类的决策,提高目标检测性能。在所提出的工作中,从图像分类获得的图像的类标签被视为关于某些对象的存在或不存在的先验知识。然后将先验知识与目标检测的决策融合,以通过减轻与先验知识强烈矛盾的目标检测器的假阳性来提高检测精度。最近推出的一种新的融合方法称为动态信念融合(DBF)被用来融合检测器输出与分类先验。实验结果表明,在基准数据集上,通过所提出的融合框架,所提出的工作中使用的所有检测算法的检测性能得到改善。
2016-10-21 cs.CV
Motion Vector Extrapolation for Video Object Detection
Ryerson University(瑞尔森大学)
尽管用于视频目标检测的计算高效的深度神经网络架构不断取得成功,但性能不断达到速度与准确性与计算资源的巨大三元悖论(选择两个)。当前利用视频数据中的时间信息来克服这一三难困境的尝试受到目标检测模型中的最新技术的检验。我们提出了一种技术,它通过使用现成的对象检测器并行现有的基于光流的运动估计技术,执行视频目标检测。通过在基准MOT20数据集上的一组实验,我们证明了我们的方法在不牺牲任何准确性的情况下显著降低了任何给定对象检测器的基线延迟。进一步减少延迟,比原始延迟低25倍,可以实现最小的准确性损失。MOVEX可在基于CPU的常见系统上实现低延迟视频目标检测,从而实现GPU计算领域之外的高性能视频目标检测。该代码可在https://github.com/juliantrue/movex上获得。
2021-06-13 cs.CV
Evaluation of Object Detection Proposals Under Condition Variations
Queensland University of Technology(昆士兰科技大学)
目标检测是计算机视觉应用中的一项基本任务,因此评价目标检测的质量是该领域的重要研究课题。这一过程使人们能够深入了解处理环境变化的方法的能力。本文提出了一种结合选择性搜索和边缘盒的目标检测方法。我们测试了这三种方法下的环境变化。我们的实验证明了该组合方法在光照和视点变化下的优越性。
2015-12-10 cs.CV
StuffNet: Using 'Stuff' to Improve Object Detection
Georgia Institute of Technology(佐治亚理工学院);UC San Diego(加州大学圣地亚哥分校)
我们提出了一种基于卷积神经网络(CNN)的算法-StuffNet-用于目标检测。除了为区域建议和目标检测训练的标准卷积特征外,StuffNet还使用为对象和"东西"(无定形类别,如地面和水)分割训练的卷积特征。通过在Pascal VOC 2010上的实验,我们展示了从素材分割中学习的特征对于提高目标检测性能的重要性。StuffNet将小对象的性能从18.8% mAP提高到23.9% mAP。我们还设计了一种方法来训练StuffNet的数据集,没有东西分割标签。通过在Pascal VOC 2007和2012上的实验,我们证明了该方法的有效性,并表明StuffNet也显著提高了此类数据集上的目标检测性能。
2017-01-30 cs.CV
Probabilistic Object Detection: Definition and Evaluation
Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);Queensland University of Technology(昆士兰科技大学);University of Adelaide(阿德莱德大学);Google Brain(谷歌大脑)
我们介绍概率目标检测,检测图像中的对象,并准确地量化检测的空间和语义的不确定性的任务。由于缺乏能够评估这种概率目标检测的方法,我们提出了新的基于概率的检测质量测度(PDQ)。与基于AP的测度不同,PDQ没有任意阈值,并奖励空间和标签质量,以及前景/背景分离质量,同时明确惩罚假阳性和假阴性检测。我们对比PDQ与现有的mAP和moLRP的措施,通过评估国家的最先进的检测器和贝叶斯对象检测器的基础上蒙特卡洛辍学。我们的实验表明,传统的对象检测器往往是空间过于自信,从而表现不佳的概率目标检测的任务。我们的论文旨在鼓励开发新的目标检测方法,这些方法可以提供准确估计的空间和标签不确定性的检测,并且对于在现实世界中部署机器人和嵌入式AI系统至关重要。
2020-01-30 cs.CV
Multimodal Object Detection in Remote Sensing
针对遥感目标检测多依赖通用方法、未充分利用多模态融合的问题,本文比较多模态检测方法、梳理可用评估数据集并展望未来方向。
2023-07-13 cs.CV
A Survey of Deep Learning-based Object Detection
Xidian University(西安电子科技大学)
目标检测是计算机视觉中最重要也是最具挑战性的分支之一,在人们的生活中有着广泛的应用,如安防监控、自动驾驶等,其目的是定位某类语义对象的实例。随着用于检测任务的深度学习网络的快速发展,物体检测器的性能得到了极大的提升。为了全面深入地了解管道目标检测的主要发展现状,本文首先分析了现有典型检测模型的方法,并对基准数据集进行了描述。之后,主要是,我们提供了一个全面的概述了各种目标检测方法,以系统的方式,涵盖了一级和两级检测器。此外,我们列出了传统和新的应用程序。分析了目标检测的几个典型分支。最后,我们讨论了利用这些目标检测方法来构建一个有效和高效的系统的架构,并指出了一组发展趋势,以更好地遵循最先进的算法和进一步的研究。
2019-10-10 cs.CV
Uncertainty-aware Joint Salient Object and Camouflaged Object Detection
Northwestern Polytechnical University(西北工业大学);Australian National University(澳大利亚国立大学);CSIRO(澳大利亚联邦科学与工业研究组织);EPFL(瑞士洛桑联邦理工学院)
视觉显著目标检测(SOD)的目的是发现引起人们注意的显著目标,而隐藏目标检测(COD)的目的是发现隐藏在周围环境中的隐藏目标。在本文中,我们提出了一个范例,利用矛盾的信息,以提高检测能力的显着目标检测和隐藏的目标检测。我们首先利用COD数据集中的易阳性样本作为SOD任务中的硬阳性样本,以提高SOD模型的鲁棒性。然后,我们引入了一个相似性度量模块来明确建模这两个任务的矛盾属性。此外,考虑到两个任务的数据集的标签的不确定性,我们提出了一个对抗学习网络,以实现高阶相似性度量和网络置信度估计。基准数据集上的实验结果表明,我们的解决方案导致国家的最先进的(SOTA)的性能为这两个任务。
2021-04-06 cs.CV
Small Object Detection using Context and Attention
University of Science and Technology(科学技术大学);Electronics and Telecommunications Research Institute(电子与电信研究所)
目标检测算法在各种环境下的应用都有很多局限性。特别是检测小物体仍然具有挑战性,因为它们具有低分辨率和有限的信息。为了提高小目标检测的准确性,提出了一种基于上下文的目标检测方法。该方法通过连接多尺度特征,使用来自不同层的附加特征作为上下文。本文还提出了一种基于注意力机制的目标检测方法,该方法能够聚焦于图像中的目标,并且能够包含目标层的上下文信息。实验结果表明,该方法在检测小目标时也具有比传统SSD更高的准确性。此外,对于300个$\times$ 300输入,我们在PASCAL VOC 2007测试集上实现了78.1%的平均精度(mAP)。
2019-12-16 cs.CV
Object as Query: Lifting any 2D Object Detector to 3D Detection
Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能研究院);TuSimple(图森未来)
本研究提出MV2D框架,利用2D检测器生成带图像语义的动态目标查询,结合稀疏交叉注意力模块抑制噪声,可将任意2D检测器拓展至多视图3D检测,在nuScenes数据集上达到SOTA性能,为相关研究提供新基准。
2023-11-06 cs.CV
Shape-Aware Monocular 3D Object Detection
Xiamen University(厦门大学);Ningbo Boden AI Technology Co., Ltd.(宁波博登人工智能科技有限公司)
通过单个透视相机检测3D物体是一个具有挑战性的问题。无锚点和基于关键点的模型由于其有效性和简单性而受到越来越多的关注。然而,这些方法中的大多数容易受到遮挡和截断的对象。提出了一种单阶段单目三维目标检测模型。实例分割头被集成到模型训练中,这允许模型知道目标对象的可见形状。该检测在很大程度上避免了来自目标对象周围的不相关区域的干扰。此外,我们还发现,流行的基于IoU的评估指标,这是最初设计用于评估立体或基于激光雷达的检测方法,是不敏感的单目3D目标检测算法的改进。针对单目三维目标检测模型,提出了一种新的评价指标--平均深度相似度(ADS)。我们的方法优于流行的和建议的评估指标的基线,同时保持实时效率。
2022-04-24 cs.CV
PFDet: 2nd Place Solution to Open Images Challenge 2018 Object Detection Track
Preferred Networks, Inc.(优选网络公司)
我们提出了一个大规模的目标检测系统的团队PFDet。我们的系统可以使用512个GPU对庞大的数据集进行训练,处理稀疏验证的类和大量的类不平衡。使用我们的方法,我们在Kaggle上的Google AI Open Images目标检测Track 2018中获得了第二名。
2018-09-04 cs.CV