Detecting and Tracking Small and Dense Moving Objects in Satellite Videos: A Benchmark
National University of Defense Technology(国防科技大学);University of Oxford(牛津大学);Sun Yat-sen University(中山大学)
卫星摄像机可以对大范围区域进行连续观测,这对许多遥感应用都很重要。然而,由于目标外观信息不足和缺乏高质量的数据集,实现卫星视频中的运动目标检测和跟踪仍然具有挑战性。在本文中,我们首先建立了一个大规模的卫星视频数据集与丰富的注释的任务,运动目标检测和跟踪。该数据集由吉林一号卫星星座收集,由47个高质量视频组成,其中包含1,646,038个用于目标检测的感兴趣实例和3,711个用于目标跟踪的轨迹。然后,我们引入了一个运动建模基线,以提高检测率和减少基于累积多帧差分和鲁棒矩阵完成虚警。最后,我们建立了第一个公共基准移动目标检测和跟踪卫星视频,并广泛评估我们的数据集上的几个代表性的方法的性能。还提供了全面的实验分析和有见地的结论。该数据集可在https://github.com/QingyongHu/VISO上获得。
2021-11-25 cs.CV
Detecting tiny objects in aerial images: A normalized Wasserstein distance and a new benchmark
Wuhan University(武汉大学)
航空图像中的微小目标检测(TOD)具有挑战性,因为微小目标仅包含几个像素。由于缺乏来自辨别特征的监督,最先进的对象检测器不能对微小对象提供令人满意的结果。我们的主要观察结果是,Intersection over Union(IoU)度量及其扩展对微小对象的位置偏差非常敏感,当用于基于锚的检测器时,这会大大降低标签分配的质量。为了解决这个问题,我们提出了一个新的评价指标被称为归一化Wasserstein距离(NWD)和一个新的基于排名的搜索(RKA)策略的微小目标检测。提出的NWD-RKA策略可以很容易地嵌入到各种基于锚点的检测器中,以取代标准的基于IoU阈值的检测器,显著改善标签分配,并为网络训练提供足够的监督信息。在四个数据集上进行测试,NWD-RKA可以持续大幅提高微小目标检测性能。此外,在航空图像中的微小目标检测(AI-TOD)数据集中观察到突出的噪声标签,我们有动力对其进行精心的重新标记并发布AI-TOD-v2及其相应的基准测试。在AI-TOD-v2中,丢失的注释和位置错误问题得到了极大的缓解,从而促进了更可靠的训练和验证过程。将NWD-RKA嵌入到DetectoRS中,检测性能比AI-TOD-v2上最先进的竞争对手提高了4.3 AP点。数据集、代码和更多可视化可在以下网址获得:https://chasel-tsui.github.io/AI-TOD-v2/
2022-06-28 cs.CV
Detecting Temporally Consistent Objects in Videos through Object Class Label Propagation
用于检测移动或静态视频对象的对象提案需要解决诸如速度、存储器复杂性和时间一致性之类的问题。我们提出了一个有效的视频对象建议(VOP)生成方法,并显示其有效性,学习一个更好的视频对象检测器。使用所提出的VOP学习的基于深度学习的视频对象检测器在Youtube对象数据集上实现了最先进的检测性能。我们进一步提出了一个集群的VOPs,可以有效地用于检测对象的视频流的方式。与应用基于逐帧卷积神经网络(CNN)的目标检测相反,我们提出的称为视频使能器中的对象粗糙标签传播(OVERLESS)的方法只需要通过对象建议的流聚类和类别标签传播来对每个视频帧中的所有候选建议的一小部分进行分类。源代码将很快提供。
2016-01-20 cs.CV
Detecting Small, Densely Distributed Objects with Filter-Amplifier Networks and Loss Boosting
检测小的、密集分布的对象是一个重大挑战:与较大的对象相比,小对象通常包含较少的独特信息,并且需要更细粒度的限界框边界精度。在本文中,我们提出了两种技术来解决这个问题。首先,我们估计每个像素属于对象边界的可能性,而不是预测边界框的坐标(如YOLO,Faster-RCNN和SSD),通过提出一种称为滤波器放大器网络(FAN)的新架构。其次,我们引入了一种称为Loss Boosting(LB)的技术,该技术试图软化每个图像上的损失不平衡问题。我们测试我们的算法上检测的问题上的一个新的,现实的,多样化的印刷电路板(PCB)的数据集的电子元件,以及在航空影像中的车辆检测(VEDAI)数据集检测车辆的问题。实验表明,我们的方法的效果显着优于目前国家的最先进的算法方面的准确性,召回率和平均IoU。
2018-05-07 cs.CV
CornerNet: Detecting Objects as Paired Keypoints
Princeton University(普林斯顿大学)
我们提出了CornerNet,这是一种新的目标检测方法,我们使用单个卷积神经网络将对象限界框检测为一对关键点,即左上角和右下角。通过将对象检测为成对的关键点,我们消除了设计在先前的单级检测器中常用的一组锚框的需要。除了我们的新公式,我们还引入了角点池,这是一种新型的池化层,可以帮助网络更好地定位角点。实验表明,CornerNet在MS COCO上实现了42.2%的AP,优于所有现有的一级检测器。
2019-03-18 cs.CV
Detecting Human-Object Interactions via Functional Generalization
University of Maryland, College Park(马里兰大学帕克分校)
我们提出了一种方法,用于检测图像中的人与物体的交互(HOIs),基于这样的想法,即人类以类似的方式与功能相似的物体进行交互。所提出的模型是简单的,有效地使用的数据,人类的视觉特征,人类和对象的相对空间方向,以及知识,功能相似的对象参加类似的互动与人类。我们为我们的方法提供了广泛的实验验证,并展示了HOI检测的最新结果。在HICO-Det数据集上,我们的方法在平均精度(mAP)方面比最先进的方法获得了超过2.5%的绝对点增益。我们还表明,我们的方法在所见对象设置中对zero-shot HOI检测具有显着的性能增益。我们进一步证明,使用一个通用的对象检测器,我们的模型可以推广到涉及以前看不见的对象的相互作用。
2020-09-02 cs.CV
GID-Net: Detecting Human-Object Interaction with Global and Instance Dependency
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室);University of Technology Sydney(悉尼科技大学)
由于检测和识别单个人或物体不足以理解视觉世界,因此学习人类如何与周围物体交互成为核心技术。然而,卷积运算在描述实例之间的视觉交互方面很弱,因为它们一次只构建处理一个局部邻域的块。为了解决这个问题,我们学习人类的感知观察HOI介绍了一个两阶段的可训练的推理机制,被称为GID块。GID块突破局部邻域,从场景中捕获全局和实例级像素的长程依赖关系,以帮助检测实例之间的交互。此外,我们进行了一个多流网络称为GID-Net,这是一个人与物体的交互检测框架,由一个人的分支,一个对象分支和一个互动分支。在全局和局部层次的语义信息有效地推理和聚合在每个分支。我们已经比较了我们提出的GID-Net与现有的国家的最先进的方法在两个公共基准,包括V-COCO和HICO-DET。结果表明,GID-Net在上述两个基准测试中的表现优于现有的最佳性能方法,验证了其在检测人与物体交互方面的有效性。
2020-03-11 cs.CV
Objects as context for detecting their semantic parts
University of Edinburgh(爱丁堡大学)
我们提出了一种有效利用对象信息的语义部件检测方法,使用对象的外观和类作为部件的指示器。我们还根据它们的外观对对象内部部件的预期相对位置进行建模。我们通过一个名为OffsetNet的新网络模块实现了这一目标,该模块可以有效地预测给定对象内的可变数量的零件位置。我们的模型结合了所有这些线索,以检测其对象的上下文中的部分。与单独使用零件外观相比,这使得零件检测的挑战性任务的性能显著提高(PASCAL-Part数据集上+5 mAP)。我们还比较了PASCAL-Part和CUB 200 -2011数据集上的其他部分检测方法。
2018-03-27 cs.CV
GTNet:Guided Transformer Network for Detecting Human-Object Interactions
University of California, Santa Barbara(加州大学圣巴巴拉分校);US Army Research Laboratory(美国陆军研究实验室)
本文提出基于自注意力的引导式Transformer网络GTNet,通过将相对空间配置和物体语义等空间上下文信息编码到人和物体视觉特征中,在V-COCO和HICO-DET数据集上实现了最先进的人-物交互检测性能。
2023-09-11 cs.CV
RethNet: Object-by-Object Learning for Detecting Facial Skin Problems
lululab Inc(露露实验室公司)
语义分割是计算机视觉领域的一个热点问题,语义分割方法的成功解决了目标检测和识别中最具挑战性的任务。我们提出了一个逐对象学习技术的概念,使用语义分割方法检测11种面部皮肤病变。由于视觉数据的外观模糊,在密集组中检测单个皮肤病变是一项具有挑战性的任务。我们观察到对象类之间存在共现的视觉关系(例如,皱纹和老年斑,或丘疹和白头等)。事实上,丰富的上下文信息对处理这个问题有很大帮助。因此,我们提出了由本地构造的convLSTM/Conv 3D层和SE模块组成的REthinker块作为一次性注意力机制,其责任是增加网络在本地和全局上下文表示中的敏感性,支持捕获模糊出现的对象和对象类之间的共现交互。实验表明,我们提出的模型在测试准备好的数据集时达到了79.46%的MIoU,比Deeplab v3+提高了15.34%(MIoU为64.12%)。
2021-01-11 cs.CV
Extended Gaze Following: Detecting Objects in Videos Beyond the Camera Field of View
Inria(法国国家信息与自动化研究所);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);University of Trento(特伦托大学);University of Granada(格拉纳达大学)
在本文中,我们解决的问题,检测感兴趣的对象在视频和估计他们的位置,仅仅从人们的视线方向存在于视频中。对象可以模糊地位于相机视场的内部或外部。我们把这个问题称为扩展注视跟随。本文的主要贡献如下。首先,我们提出了一种新的空间表示的视线方向采用顶视视角。其次,我们开发了几种卷积编码器/解码器网络来预测对象位置,并将它们与基于学习的经典方法进行比较。第三,为了训练所提出的模型,我们产生了大量的合成场景采用概率公式。最后,我们的方法是经验验证使用公开的数据集。
2019-02-28 cs.CV
DetectFusion: Detecting and Segmenting Both Known and Unknown Dynamic Objects in Real-time SLAM
Keio University(庆应义塾大学);Graz University of Technology(格拉茨工业大学);VRVis Research Center(VRVis研究中心)
我们提出了DetectFusion,一个RGB-D SLAM系统,该系统实时的【形】运行,可以鲁棒地处理语义已知和未知的对象,可以动态地在场景中移动。我们的系统检测,分割和分配语义类标签的场景中的已知对象,同时跟踪和重建它们,即使它们在单目摄像机前独立移动。与相关工作相比,本文提出了一种结合二维目标检测和三维几何分割的新方法,实现了语义实例分割的实时的【形】计算性能。此外,我们提出了一种方法来检测和分割的语义未知的对象的运动,从而进一步提高相机跟踪和地图重建的准确性。我们表明,我们的方法在定位和对象重建精度方面与以前的工作相当或更好,即使在每帧中分割对象,也能达到约20 FPS。
2019-07-22 cs.CV
Detecting and Grouping Identical Objects for Region Proposal and Classification
KU Leuven(鲁汶大学);Mitsubishi Electric Research Labs (MERL)(三菱电机研究实验室);KTH Royal Institute of Technology(瑞典皇家理工学院)
通常,同一个场景中会出现同一个对象的多个实例,例如在仓库中。无监督的多实例对象发现算法能够检测和识别这样的对象。我们使用这样的算法来提供对象建议的卷积神经网络(CNN)为基础的分类。与传统的区域建议算法相比,这导致要评估的区域更少。此外,它允许使用对象的多个实例的联合概率,从而提高分类准确性。所提出的技术还可以将单个类分成对应于不同对象类型的多个子类,从而实现分层分类。
2017-07-23 cs.CV
Detecting Repeating Objects using Patch Correlation Analysis
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
在本文中,我们描述了一种新的方法来检测和计数重复的目标在图像中。虽然该方法依赖于相当复杂的可变形零件模型,但与现有技术不同的是,它以无监督的方式估计模型参数,从而减轻了对用户注释的训练数据的需要,并避免了相关的特异性。该自动拟合过程通过利用与重复对象相关联的小图像块的重现并分析它们的空间相关性来进行。分析使我们能够拒绝离群补丁,恢复零件模型的视觉和形状参数,并有效地检测对象实例。为了实现一个实用的系统,这是能够应付不同的图像,我们描述了一个简单而直观的主动学习过程,通过查询用户很少仔细选择的边缘分类更新的对象分类。新方法与最先进技术的对比评价表明,其能够通过更好的用户体验实现更高的准确度。
2019-04-11 cs.CV
DetectoRS: Detecting Objects with Recursive Feature Pyramid and Switchable Atrous Convolution
Johns Hopkins University(约翰斯·霍普金斯大学);Google Research(谷歌研究院)
许多现代目标检测器通过使用两次观察和思考的机制表现出出色的性能。在本文中,我们探讨这种机制的骨干设计目标检测。在宏观层面上,我们提出了递归特征金字塔,它将来自特征金字塔网络的额外反馈连接纳入自下而上的骨干层。在微观层次上,我们提出了可切换的Atrous卷积,它以不同的Atrous速率卷积特征,并使用开关函数收集结果。将它们结合在一起,得到DetectoRS,它显著提高了目标检测的性能。在COCO test-dev上,DetectoRS实现了最先进的55.7%框AP用于目标检测,48.5%掩模AP用于实例分割,50.0% PQ用于全景分割。该代码是公开的。
2020-11-30 cs.CV
What to look at and where: Semantic and Spatial Refined Transformer for detecting human-object interactions
AWS AI Labs(AWS人工智能实验室);University of California, Santa Barbara(加州大学圣巴巴拉分校)
我们提出了一种新的一阶段基于transformer的语义和空间细化的Transformer(SSRT),以解决人与物体的交互检测任务,这需要本地化的人和物体,并预测他们的互动。与以前基于transformer的HOI方法不同,SSRT主要集中在改进最终检测的解码器输出的设计上,它引入了两个新模块来帮助选择图像中最相关的对象-动作对,并使用丰富的语义和空间特征来细化查询的表示。这些增强功能在两个最受欢迎的HOI基准测试中获得了最先进的结果:V-COCO和HICO-DET。
2022-05-25 cs.CV
Detecting the unknown in Object Detection
Politecnico di Torino(都灵理工大学);Italian Institute of Technology(意大利理工学院)
由于新型神经网络架构的设计和大规模数据集的可用性,目标检测方法在过去几年中已经取得了令人印象深刻的改进。然而,目前的方法有一个很大的局限性:它们只能检测在训练期间观察到的类,这些类只是检测器在现实世界中可能遇到的所有类的子集。此外,在训练时通常不考虑未知类的存在,导致方法甚至不能检测到图像中存在未知对象。在这项工作中,我们解决的问题,检测未知的对象,称为开集目标检测。我们提出了一种新的训练策略,称为UNKAD,能够预测未知对象,而不需要任何注释,利用已经存在于训练图像背景中的未注释对象。特别是,UNKAD利用Faster R-CNN的四步训练策略,首先识别和伪标记未知对象,然后使用伪注释来训练额外的未知类。虽然UNKAD可以直接检测未知对象,但我们进一步将其与以前的未知检测技术相结合,表明它可以不计成本地提高其性能。
2022-08-24 cs.CV
Moving Object Detection by Detecting Contiguous Outliers in the Low-Rank Representation
The Hong Kong University of Science and Technology(香港科技大学)
在许多视觉应用中,目标检测是自动视频分析的基本步骤。视频中的目标检测通常通过目标检测器或背景减除技术来执行。通常,对象检测器需要手动标记的示例来训练二元分类器,而背景减法需要不包含对象的训练序列来构建背景模型。为了使分析自动化,没有单独训练阶段的目标检测成为关键任务。人们试图通过使用运动信息来解决这个问题。但现有的基于运动的方法在处理非刚体运动和动态背景等复杂场景时往往受到限制。在本文中,我们表明,上述挑战可以解决在一个统一的框架,名为检测连续性离群值的低秩表示(DECOLOR)。该公式将目标检测和背景学习集成到单个优化过程中,可以通过交替算法有效地求解。我们解释了DECOLOR和其他基于稀疏性的方法之间的关系。仿真数据和真实序列的实验表明,DECOLOR优于最先进的方法,它可以有效地工作在广泛的复杂场景。
2012-06-23 cs.CV
VSGNet: Spatial Attention Network for Detecting Human Object Interactions Using Graph Convolutions
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);Zoox(祖克斯)
全面的视觉理解需要检测框架,可以有效地学习和利用对象交互,同时单独分析对象。这是人机交互(HOI)检测任务的主要目标。特别是,相对空间推理和对象之间的结构连接是分析交互的重要线索,这是由拟议的视觉空间图网络(VSGNet)架构解决的。VSGNet从人-物对中提取视觉特征,用人-物对的空间配置细化特征,并通过图卷积利用人-物对之间的结构连接。VSGNet的性能使用COCO(V-COCO)和HICO-DET数据集中的动词进行了全面评估。实验结果表明,VSGNet在V-COCO中比最先进的解决方案高出8%或4 mAP,在HICO-DET中比最先进的解决方案高出16%或3 mAP。
2020-03-11 cs.CV
Detecting Visual Relationships Using Box Attention
Google Research(谷歌研究院);IST Austria(奥地利科学技术研究所)
我们提出了一个新的模型来检测视觉关系,如“人骑摩托车”或“瓶子在桌子上”。这项任务是实现全面结构化图像理解的重要一步,超越了检测单个对象。我们的主要新颖性是一个框注意力机制,允许使用标准的目标检测管道对象之间的成对交互模型。由此产生的模型在概念上是干净的,有表现力的,并依赖于合理的训练和预测程序。此外,与以前提出的方法不同,我们的模型不会在底层检测模型已经需要的那些组件或超参数之上引入任何额外的复杂组件或超参数。我们对三个具有挑战性的数据集,V-COCO,视觉关系和开放图像进行了实验评估,展示了强大的定量和定性结果。
2019-05-02 cs.CV
Detecting Unknown Objects via Energy-based Separation for Open World Object Detection
Korea University, South Korea(韩国大学);Seoul National University, South Korea(首尔国立大学)
提出DEUS框架,通过等角紧框架子空间未知分离和基于能量的已知区分损失,解决开放世界目标检测中未知物体检测和类别遗忘问题。
2026-05-28 cs.CV
Detecting Invisible People
Carnegie Mellon University(卡内基梅隆大学);Argo AI
单目目标检测和跟踪近年来有了很大的改进,但依赖于一个关键的假设:目标对相机是可见的。许多离线跟踪方法通过在对象重新出现后将轨迹片段链接在一起,利用重新识别(ReID)来事后推断被遮挡的对象。然而,嵌入式机器人代理(如自动驾驶车辆)的在线跟踪从根本上需要对象永久性,即在被遮挡的对象重新出现之前对其进行推理的能力。在这项工作中,我们重新定位跟踪基准,并提出了新的指标检测不可见的对象的任务,专注于说明性的情况下的人。我们证明,目前的检测和跟踪系统执行这项任务显着恶化。我们引入了两个关键的创新,以恢复大部分的性能下降。我们将时间序列中的遮挡目标检测视为短期预测挑战,从动态序列预测中引入工具。其次,我们建立动态模型,明确的原因在3D中,利用国家的最先进的单眼深度估计网络产生的意见。据我们所知,我们的工作是第一次证明单目深度估计的跟踪和检测被遮挡物体的任务的有效性。我们的方法在消融方面比基线显著提高了11.4%,在F1评分方面比最新技术水平提高了5.0%。
2020-12-15 cs.CV
Detecting People in Cubist Art
University of California Berkeley(加州大学伯克利分校)
尽管人类视觉系统在识别物体时对极端失真具有惊人的鲁棒性,但对计算机目标检测方法的大多数评估仅关注对自然形状变形(例如人的姿势变化)的鲁棒性。为了确定算法是否真正反映了人类视觉的灵活性,必须将它们与人类视觉的极限进行比较。例如,在立体主义抽象艺术中,绘画对象因对象碎片和部分重组而扭曲,以至于人类视觉通常无法识别它们。在本文中,我们评估现有的目标检测方法对这些抽象的渲染对象,比较人类注释四个国家的最先进的对象检测器上的毕加索绘画的语料库。我们的研究结果表明,虽然人类的感知显着优于当前的方法,人类的感知和部分为基础的模型表现出同样优雅的退化,在目标检测性能的对象变得越来越抽象和分散,证实了在大脑中的部分为基础的对象表示的理论。
2014-09-22 cs.CV
SDOD:Real-time Segmenting and Detecting 3D Object by Depth
Shandong University(山东大学);City Public Passenger Transport Management Service Center of Jinan(济南市城市公共客运管理服务中心)
现有的实例分割方法大多只关注于提高性能,并不适用于自动驾驶等实时的【形】场景。提出了一种实时的【形】三维物体深度分割和检测框架。该框架由两个并行分支组成:一个用于实例分割,另一个用于目标检测。我们将对象的深度离散为深度类别,并将实例分割任务转换为像素级分类任务。Mask分支预测像素级深度类别,3D分支指示实例级深度类别。我们通过将具有相同深度类别的像素分配给每个实例来产生实例掩码。此外,为了解决KITTI数据集中掩码标签和3D标签之间的不平衡,我们引入了由自动标注模型生成的粗糙掩码来增加样本。在具有挑战性的KITTI数据集上的实验表明,我们的方法在分割和3D检测的速度上比LklNet快1.8倍。
2020-10-24 cs.CV
Detecting Small Signs from Large Images
University of South Carolina(南卡罗来纳大学);HERE North America(HERE北美公司);University of Washington Bothell(华盛顿大学博塞尔分校)
在过去的十年中,卷积神经网络(CNN)已被证明是成功的目标检测。然而,网络输入的大小受到GPU上可用内存量的限制。此外,当检测小物体时,性能会降低。为了减少内存的使用,提高检测小交通标志的性能,我们提出了一种方法来检测小交通标志从大图像在现实世界的条件下。特别地,大图像被分成小块,作为从Single Shot Multibox Detector(SSD)框架修改的小对象敏感CNN(SOS-CNN)的输入,其中VGG-16网络作为基础网络,以产生块级目标检测结果。通过在图像金字塔上应用SOS-CNN来实现尺度不变性。然后,通过将所有块级检测结果投影到原始尺度下的图像来获得图像级目标检测。在真实环境条件交通标志数据集上的实验结果表明,该方法在检测准确率和召回率方面都是有效的,特别是对于小尺寸的交通标志。
2017-06-26 cs.CV
New Foggy Object Detecting Model
National Institute of Technology Patna(国立巴特那理工学院)
针对低能见度有雾场景下现有目标检测技术精度不足的问题,本文提出一种基于区域识别与区域内检测的两阶段有雾目标检测方法,在精度和检测时间上均实现显著提升。
2024-01-27 cs.CV cs.LG
Detect What You Can: Detecting and Representing Objects using Holistic Models and Body Parts
University of California, Los Angeles(加州大学洛杉矶分校);Stanford University(斯坦福大学);University of Toronto(多伦多大学)
当我们需要处理大的形状变形,遮挡和低分辨率时,目标检测变得困难。我们提出了一种新的方法来i)处理动物中的大变形和部分遮挡(作为高度可变形对象的示例),ii)根据身体部位描述它们,以及iii)当它们的身体部位难以检测时检测它们(例如,动物以低分辨率描绘)。我们分别表示整体对象和身体部位,并使用一个完全连接的模型来安排整体对象和身体部位的模板。我们的模型会在难以检测时自动从模型中提取整体对象或身体部位。这使我们能够表示大量的整体对象和身体部位组合,以更好地处理由变形、遮挡和/或低分辨率引起的不同“可检测性”模式。我们将我们的方法应用于PASCAL VOC数据集中的六种动物类别,并表明我们的方法显着提高了最先进的水平(4.1% AP),并为对象提供了更丰富的表示。在训练过程中,我们使用身体部位的注释(例如,头部,躯干等),利用PASCAL VOC 2010的完全注释的对象部分的新数据集,为每个部分提供掩码。
2014-06-08 cs.CV
VAE-iForest: Auto-encoding Reconstruction and Isolation-based Anomalies Detecting Fallen Objects on Road Surface
Yachiyo Engineering, Co., Ltd.(八千代工程有限公司)
在道路监测中,早期检测路面变化以防止对第三方造成损害是一个重要问题。坠落物体的目标可以是由于洪水或地震的外力而倒下的树木,以及从斜坡上落下的岩石。生成式深度学习可以灵活地检测路面上的掉落物体的异常。我们原型的方法,结合自动编码重建和隔离为基础的异常检测器在路面监测的应用。实际上,我们将我们的方法应用于一组测试图像,这些图像中掉落的物体位于添加了掉落的石头和胶合板的原始输入上,并且雪覆盖在冬季道路上。最后,我们提出了实际应用的未来工作。
2022-03-02 cs.CV
Detecting the open-world objects with the help of the Brain
Northeast University(东北大学);South China University of Technology(华南理工大学);Nanjing University of Information Science and Technology(南京信息工程大学);Peking University Shenzhen Graduate School(北京大学深圳研究生院);Information Technology R&D Innovation Center of Peking University(北京大学信息技术研发创新中心)
开放世界目标检测(OWOD)是一个具有相当大挑战性的新的计算机视觉任务,它弥补了经典目标检测(OD)基准和现实世界目标检测之间的差距。除了检测和分类可见/已知对象外,OWOD算法还有望检测不可见/未知对象并逐步学习它们。人类识别环境中未知物体的自然本能主要取决于大脑的知识库。模型很难仅通过从几个微小数据集的注释中学习来做到这一点。大型预训练的接地语言图像模型- VL(\ie GLIP)具有关于开放世界的丰富知识,但仅限于文本提示。我们建议通过简单地生成未知标签来利用VL作为开放世界检测器的“大脑”。利用它是不平凡的,因为未知的标签会损害模型对已知对象的学习。在本文中,我们缓解这些问题,提出了向下加权损失函数和解耦检测结构。此外,我们的检测器利用“大脑”通过我们的伪标记方案来学习VL之外的新对象。
2023-03-21 cs.CV
Small Object Detection using Context and Attention
University of Science and Technology(科学技术大学);Electronics and Telecommunications Research Institute(电子与电信研究所)
目标检测算法在各种环境下的应用都有很多局限性。特别是检测小物体仍然具有挑战性,因为它们具有低分辨率和有限的信息。为了提高小目标检测的准确性,提出了一种基于上下文的目标检测方法。该方法通过连接多尺度特征,使用来自不同层的附加特征作为上下文。本文还提出了一种基于注意力机制的目标检测方法,该方法能够聚焦于图像中的目标,并且能够包含目标层的上下文信息。实验结果表明,该方法在检测小目标时也具有比传统SSD更高的准确性。此外,对于300个$\times$ 300输入,我们在PASCAL VOC 2007测试集上实现了78.1%的平均精度(mAP)。
2019-12-16 cs.CV
Detecting Semantic Parts on Partially Occluded Objects
Baidu Research (USA)(百度研究院(美国));The Johns Hopkins University(约翰斯·霍普金斯大学);UCLA(加州大学洛杉矶分校)
在本文中,我们解决的任务,检测部分被遮挡的对象的语义部分。我们考虑一个场景,其中模型使用非遮挡图像进行训练,但在遮挡图像上进行测试。其动机是现实世界中存在无限数量的遮挡模式,这些模式不能完全覆盖在训练数据中。因此,模型应该是固有的鲁棒性和自适应的闭塞,而不是拟合/学习的训练数据中的闭塞模式。我们的方法通过积累本地视觉线索的信心来检测语义部分。具体而言,该方法使用一个简单的投票方法,对数似然比测试和空间约束的基础上,结合当地线索的证据。这些线索被称为视觉概念,它是通过对深度网络的内部状态进行聚类而得出的。我们评估我们的VehicleSemanticPart数据集上的投票方案与密集的部分注释。我们随机放置两个,三个或四个不相关的对象到目标对象上,以生成具有各种遮挡的测试图像。实验表明,我们的算法优于几个竞争对手的语义部分检测时,存在遮挡。
2017-07-25 cs.CV
Detecting and Tracking Small Moving Objects in Wide Area Motion Imagery (WAMI) Using Convolutional Neural Networks (CNNs)
University of Liverpool(利物浦大学)
针对广域运动图像中运动目标较小且相互分离的特点,提出了一种运动目标检测方法。由于$100-$像素车辆难以与包括背景的对象区分开,因此仅使用前景外观来识别对象是困难的。我们的方法是基于背景减法作为一种有效的和无监督的方法,能够输出的对象的形状。为了可靠地检测低对比度和小对象,我们配置背景减法来提取可能是感兴趣对象的前景区域。虽然这大大增加了假警报的数量,但考虑空间和时间信息的卷积神经网络(CNN)随后被训练以拒绝假警报。在交通繁忙的区域,背景减除产生合并的检测。为了降低多目标跟踪器的复杂度,我们训练另一个CNN来预测多个运动目标在一个区域内的位置。我们的方法表现出竞争力的检测性能较小的对象相对于国家的最先进的。我们采用了GM-PHD过滤器随着时间的推移相关联的检测和分析所产生的性能。
2019-11-08 cs.CV
Detecting The Objects on The Road Using Modular Lightweight Network
Nanjing University of Science and Technology(南京理工大学)
提出了一种模块化的轻量级网络模型,用于检测汽车、行人和骑自行车的人等道路目标,特别是当它们距离摄像机较远且尺寸较小时。深度网络已经取得了很大的进步,但小目标检测仍然是一项具有挑战性的任务。为了解决这个问题,大多数现有的方法使用复杂的网络或更大的图像尺寸,这通常导致更高的计算成本。所提出的网络模型被称为模块化特征融合检测器(MFFD),使用快速有效的网络架构来检测小对象。本文的主要贡献在于:1)设计了两个基本的计算模块:前端模块减少了原始图像的信息损失; Tinier模块在保证检测精度的前提下,减少了模型的规模和计算量。2)通过对基本模块的叠加,设计了一个多尺度目标检测的上下文特征融合框架。3)所提出的方法在模型大小和计算成本方面是有效的,这适用于资源有限的设备,例如用于高级驾驶员辅助系统(ADAS)的嵌入式系统。在具有挑战性的KITTI数据集上与最先进的方法进行比较,显示了所提出方法的优越性。特别是在Jetson TX 2等嵌入式GPU上可以实现100 fps。
2018-11-16 cs.CV
CoSformer: Detecting Co-Salient Object with Transformers
Nanjing University(南京大学)
共显著目标检测(Co-Salient Object Detection,CoSOD)的目的是模拟人类视觉系统,从一组相关图像中发现共同的显著目标。最近的方法通常开发复杂的基于深度学习的模型,大大提高了CoSOD任务的性能。但仍有两个主要缺点需要进一步解决,1)次优的图像间关系建模; 2)缺乏考虑图像间的可分性。在本文中,我们提出了共同显着的目标检测Transformer(CoSmerer)网络,以捕获显着和共同的视觉模式,从多个图像。通过利用Transformer架构,该方法解决了输入命令的影响,大大提高了CoSOD任务的稳定性。我们还引入了一个新的概念,图像间的可分性。我们构造了一个对比度学习方案来建模图像间的可分性,并学习更多的判别嵌入空间来区分真正的普通对象和噪声对象。在三个具有挑战性的基准上进行了广泛的实验,即,CoCA,CoSOD 3 k和Cosal 2015,证明了我们的CoSmerer优于尖端模型,并达到了新的最先进的水平。我们希望CoSmerer可以激励未来的研究更多的可视化共分析任务。
2022-09-22 cs.CV
DOTIE - Detecting Objects through Temporal Isolation of Events using a Spiking Architecture
Purdue University(普渡大学)
基于视觉的自主导航系统依靠快速准确的目标检测算法来避开障碍物。由于用于部署的硬件的能量有限,为这种系统设计的算法和传感器需要在计算上高效。生物启发的事件相机是一个很好的候选人,因为它们的速度,能源效率和鲁棒性,以不同的照明条件,作为视觉传感器的这种系统。然而,传统的计算机视觉算法无法处理基于事件的输出,因为它们缺乏光度特征,如光强和纹理。在这项工作中,我们提出了一种新的技术,利用事件中固有的时间信息来有效地检测移动对象。我们的技术包括一个轻量级的尖峰神经架构,能够根据相应对象的速度来分离事件。这些分离的事件然后在空间上进一步分组以确定对象边界。这种目标检测方法是异步的,并且对相机噪声是鲁棒的。此外,它在后台静态对象生成事件的场景中表现出良好的性能,现有的基于事件的算法失败了。我们表明,通过利用我们的架构,自主导航系统可以有最小的延迟和能量开销执行目标检测。
2022-10-03 cs.CV
Detecting Human-Object Interactions with Object-Guided Cross-Modal Calibrated Semantics
Zhejiang University(浙江大学);State Key Laboratory of Industrial Control Technology, Zhejiang University(浙江大学工业控制技术国家重点实验室);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
人-物交互(HOI)检测是从细粒度角度理解以人为中心的图像的一项重要任务。虽然端到端的HOI检测模型蓬勃发展,但它们的并行人类/目标检测和动词类预测的范例失去了两阶段方法的优点:对象指导的层次结构。一个HOI三联体中的宾语给出了要预测的动词的直接线索。在本文中,我们的目标是用对象指导的统计先验来提升端到端模型。具体来说,我们建议利用动词语义模型(VSM),并使用语义聚合,从这个对象指导的层次结构的利润。提出了相似性KL(SKL)损失来优化VSM,以与HOI数据集的先验知识保持一致。为了克服静态语义嵌入问题,我们提出了跨模态校准(CMC)生成跨模态感知的视觉和语义特征。以上模块的组合构成了目标引导的跨模态校准网络(OCN)。在两个流行的HOI检测基准上进行的实验证明了将统计先验知识结合起来的重要性,并产生了最先进的性能。更详细的分析表明,所提出的模块作为一个更强大的动词预测和更优越的方法,利用先验知识。代码可在\url{https://github.com/JacobYuan7/OCN-HOI-Benchmark}上获得。
2022-02-01 cs.CV
Learning to Separate: Detecting Heavily-Occluded Objects in Urban Scenes
Boston University(波士顿大学);University of Washington(华盛顿大学)
虽然在过去十年中,使用深度学习的视觉目标检测受到了广泛关注,但严重的类内遮挡发生的情况尚未得到彻底研究。在这项工作中,我们提出了一个非最大值抑制(NMS)算法,大大提高了检测召回率,同时保持高精度的场景与严重的闭塞。我们的NMS算法是来自一种新的嵌入机制,在该机制中,语义和几何特征的检测盒联合利用。嵌入使得确定两个严重重叠的盒子是否属于物理世界中的同一对象成为可能。我们的方法是特别有用的汽车检测和行人检测在城市场景中经常发生遮挡。我们通过创建一个名为SG-Det(语义和几何检测的缩写)的模型并在两个广泛采用的数据集KITTI和CityPersons上测试SG-Det来展示我们方法的有效性,并实现了最先进的性能。
2020-07-19 cs.CV
Detecting Every Object from Events
针对普通相机在未知类别目标检测中的高延迟和低动态范围问题,提出基于事件相机的 DEOE,结合时空一致性、软正样本与解耦 objectness 头,实现高速开放世界类别无关检测。
2024-04-08 cs.CV
Detecting Traffic Lights by Single Shot Detection
Ulm University(乌尔姆大学)
最近在目标检测方面的改进是由卷积神经网络(CNN)的成功驱动的。他们能够学习比手工制作的功能更丰富的功能。到目前为止,交通灯检测的研究主要集中在手工制作的特征,如交通灯灯泡的颜色,形状或亮度。本文提出了一种用于适应Single Shot检测(SSD)方法的准确交通灯检测的深度学习方法。SSD使用单个CNN执行对象建议创建和分类。原来的SSD在检测非常小的物体方面很困难,这对于交通灯检测至关重要。通过我们的适应,它是可能的,以检测远小于10个像素的对象,而不增加输入图像的大小。我们对DriveU交通灯数据集(DTLD)进行了广泛的评估。我们达到了高准确率和低假阳性率。经过训练的模型在Nvidia Titan Xp上具有每秒10帧的实时能力。代码已在https://github.com/julimueller/tl_ssd上提供。
2018-10-11 cs.CV
Detecting Abnormal Health Conditions in Smart Home Using a Drone
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校)
本文提出利用配备摄像头的Tello无人机采集视频,并通过CNN分类器检测智能家居中跌倒等异常健康状况,实验精度达0.9948。
2024-01-11 cs.CV
Inside-Outside Net: Detecting Objects in Context with Skip Pooling and Recurrent Neural Networks
Cornell University(康奈尔大学);Microsoft Research(微软研究院);Facebook AI Research(脸书人工智能研究院)
众所周知,上下文和多尺度表示对于准确的视觉识别是重要的。在本文中,我们提出了内外网(ION),一个对象检测器,利用内部和外部的信息感兴趣的区域。使用空间循环神经网络整合感兴趣区域之外的上下文信息。在内部,我们使用跳过池来提取多个尺度和抽象级别的信息。通过大量的实验,我们评估了设计空间,并为读者提供了一个概述什么样的技巧是重要的。ION将PASCAL VOC 2012目标检测的最新技术水平从73.9%提高到76.4% mAP。在新的更具挑战性的MS COCO数据集上,我们将最先进的mAP从19.7%提高到33.1%。在2015年MS COCO检测挑战赛中,我们的ION型号赢得了最佳学生参赛作品,并获得了第三名。直觉表明,我们的检测结果提供了强有力的证据,上下文和多尺度表示提高小目标检测。
2015-12-14 cs.CV
Learning RoI Transformer for Detecting Oriented Objects in Aerial Images
Wuhan University(武汉大学)
由于鸟瞰视角、高度复杂的背景和物体的多变外观,航空图像中的目标检测是计算机视觉中一个活跃而又具有挑战性的任务。特别是当检测空间图像中密集堆积的对象时,依赖于用于普通目标检测的水平建议的方法经常在感兴趣区域(ROI)和对象之间引入失配。这导致最终对象分类置信度和定位精度之间的常见不对准。虽然旋转锚已被用来解决这个问题,他们的设计往往成倍的锚的数量和显着增加的计算复杂性。在本文中,我们提出了一个ROI Transformer来解决这些问题。更准确地说,为了提高区域建议的质量,我们首先设计了一个旋转的ROI(RRoI)学习器,将水平感兴趣区域(HRoI)转换为旋转感兴趣区域(RRoI)。基于RRoI,我们提出了一个旋转位置敏感的RoI对齐(RPS-RoI-Align)模块,从它们中提取旋转不变的特征,以促进后续的分类和回归。我们的RoI Transformer重量轻,可以轻松嵌入探测器中,用于定向目标检测。RoI Transformer的简单实现在两个常见且具有挑战性的航空数据集上实现了最先进的性能,即,DOTA和HRSC2016,对检测速度的降低可以忽略。当定向边界框注释可用时,我们的RoI Transformer超过了可变形的位置敏感RoI池。大量的实验也验证了我们的ROI Transformer的灵活性和有效性。结果表明,它可以很容易地与其他检测器结构集成,并显着提高性能。
2018-12-01 cs.CV
Detecting As Labeling: Rethinking LiDAR-camera Fusion in 3D Object Detection
Phigent Robotics(飞腾机器人)
本文提出DAL范式,通过模仿数据标注过程简化LiDAR-相机融合,避免过拟合,提升性能与速度平衡,作为理想基线。
2023-11-13 cs.CV
Detecting Out-of-distribution Objects Using Neuron Activation Patterns
Warsaw University of Technology(华沙理工大学);Silesian University of Technology(西里西亚工业大学)
针对目标检测器对分布外样本过度自信的问题,本文提出 NAPTRON,利用神经元激活模式检测 OOD 对象,并在两类场景、三种检测器上验证其优于现有方法且不损害 ID 性能,同时构建了最大的开源 OOD 目标检测基准。
2023-07-31 cs.CV
GOOD: Exploring Geometric Cues for Detecting Objects in an Open World
University of Tübingen(图宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Bosch Center for Artificial Intelligence(博世人工智能中心)
我们解决开放世界类不可知的目标检测的任务,即,通过从有限数量的基本对象类学习来检测图像中的每个对象。最先进的基于RGB的模型存在过度拟合训练类的问题,并且经常无法检测到外观新颖的对象。这是因为基于RGB的模型主要依赖于外观相似性来检测新的对象,并且也容易过度拟合快捷线索,例如纹理和区分部分。为了解决这些基于RGB的对象检测器的缺点,我们建议将几何线索,如深度和法线,预测通用的单目估计。具体来说,我们使用几何线索训练的对象建议网络的伪标记未注释的新对象的训练集。我们由此产生的几何引导的开放世界对象检测器(GOOD)显着提高了新对象类别的检测召回率,并且仅用几个训练类就已经表现良好。在COCO数据集上使用单个“人”类进行训练,GOOD比SOTA方法高出5.0%AR@100,相对提高了24%。
2023-02-03 cs.CV cs.LG
Detecting 11K Classes: Large Scale Object Detection without Fine-Grained Bounding Boxes
Amazon Web Services(亚马逊云科技)
深度学习的最新进展大大提高了目标检测的性能。Faster-RCNN、FPN和R-FCN等最先进的方法在具有挑战性的基准数据集上实现了高精度。然而,这些方法需要完全注释的对象边界框进行训练,由于注释成本高,因此难以扩展。另一方面,弱监督方法只需要图像级标签进行训练,但性能远远低于完全监督方法。本文提出了一种半监督的大规模细粒度检测方法,该方法只需要少量粗粒度类的限界框标注和大规模细粒度类的图像级标签,就能以接近全监督的精度检测出所有类.我们实现这一目标,利用粗粒度和细粒度的类之间的相关性,共享骨干,软关注为基础的建议重新排名,和一个双级内存模块。实验结果表明,我们的方法可以达到接近的目标检测的准确性,最先进的全监督方法在两个大规模的数据集,ImageNet和OpenImages,只有一小部分的完全注释类。
2019-08-14 cs.CV
Automated Detecting and Placing Road Objects from Street-level Images
Norwegian University of Science and Technology(挪威科技大学);Wuhan University(武汉大学);Nanjing University of Finance & Economics(南京财经大学)
自动驾驶车辆或普通用户使用的导航服务需要关于道路相关对象及其地理位置的详细信息的可用性,特别是在道路交叉口处。然而,这些道路交叉口主要表示为没有详细信息的点元素,或者甚至在包括OpenStreetMap(OSM)在内的当前版本的众包地图数据库中不可用。本研究发展一种方法,以自动侦测道路物体,并将它们放置到正确的位置,从街道级图像。我们的处理管道依赖于两个卷积神经网络:第一个对图像进行分割,而第二个对特定对象进行检测和分类。此外,为了定位检测到的对象,我们建立了一个基于城市语法的属性拓扑二叉树(ATBT)的每一幅图像来描述道路对象的拓扑,属性和语义的连贯关系。然后,ATBT与OSM上的地图特征进一步匹配,以确定正确的放置位置。所提出的方法已被应用于在德国柏林的案例研究。我们验证了我们的方法对两个对象类:交通标志和交通灯的有效性。实验结果表明,所提出的方法提供了接近精确的定位结果的完整性和位置精度。在许多潜在的应用中,输出可能与其他数据源相结合,以指导自动驾驶车辆
2019-09-17 cs.CV
Detecting Objects with Context-Likelihood Graphs and Graph Refinement
TomTom(TomTom公司);University of Amsterdam(阿姆斯特丹大学)
本文提出上下文似然图及基于能量模型的迭代图精炼,通过联合学习物体与关系分布提升检测性能,并在 Visual Genome 和 MS-COCO 上验证其优势。
2023-09-27 cs.CV
MonoGround: Detecting Monocular 3D Objects from the Ground
Zhejiang University(浙江大学);Shanghai Institute for Advanced Study of Zhejiang University(浙江大学上海高等研究院);Shanghai AI Lab(上海人工智能实验室)
单目三维目标检测以其简单、成本低等优点引起了人们的广泛关注。由于单目成像过程中的不适定2D到3D映射本质,单目3D目标检测遭受不准确的深度估计,从而具有较差的3D检测结果。为了解决这个问题,我们提出在单目3d目标检测中引入地平面作为先验。地平面先验作为不适定映射的附加几何条件和深度估计中的额外源。这样,我们就可以得到离地面更精确的深度估计。同时,为了充分利用地平面先验,我们提出了一种深度对齐训练策略和一种精确的两阶段深度推理方法。值得注意的是,引入的地平面先验不需要额外的数据源,如LiDAR,立体图像和深度信息。在KITTI基准上的大量实验表明,与其他方法相比,我们的方法可以实现最先进的结果,同时保持非常快的速度。我们的代码和模型可以在https://github.com/cfzd/MonoGround上找到。
2022-06-15 cs.CV
Detecting the Unexpected via Image Resynthesis
EPFL(洛桑联邦理工学院)
经典的语义分割方法,包括最近的深度学习方法,都假设在测试时观察到的所有类都在训练过程中被看到。在本文中,我们解决了更现实的情况下,未知类的意外对象可能会出现在测试时。这一领域的主要趋势是利用预测不确定性的概念将低置信度的区域标记为未知,或者依赖于自动编码器并突出显示解码不良的区域。在观察到这两种情况下,检测到的区域通常不对应于意外对象之后,在本文中,我们引入了一种截然不同的策略:它依赖于直觉,即网络将在描绘意外对象的区域中产生虚假标签。因此,从所得到的语义映射重新合成图像将产生相对于输入图像的显著外观差异。换句话说,我们将检测未知类的问题转化为识别重新合成不良的图像区域的问题。我们表明,这优于不确定性和自动编码器为基础的方法。
2019-04-17 cs.CV
Exploring Different Levels of Supervision for Detecting and Localizing Solar Panels on Remote Sensing Imagery
Universiteit van Amsterdam(阿姆斯特丹大学)
本研究通过对比全监督检测器、弱监督分类器和最小监督异常检测器在遥感影像太阳能电池板识别中的表现,发现分类器在存在性检测上更鲁棒且数据需求更低,而检测器定位更精确,模型融合可进一步提升精度。
2023-09-19 cs.CV
Exploiting Multi-Object Relationships for Detecting Adversarial Attacks in Complex Scenes
University of California, Riverside(加州大学河滨分校)
众所周知,部署深度神经网络(DNN)的视觉系统容易受到对抗性示例的攻击。最近的研究已经表明,检查输入数据中的固有错误是检测对抗攻击(例如,通过检查复杂场景中的对象共现关系)。然而,现有的方法都与特定的模型相联系,不具有普遍性。出于观察自然场景图像的语言描述已经捕获的对象共现关系,可以通过语言模型学习,我们开发了一种新的方法来执行上下文一致性检查使用这样的语言模型。我们的方法的区别在于,它独立于部署的对象检测器,但在检测具有多个对象的实际场景中的对抗性示例方面提供了非常高的准确性。
2021-08-19 cs.CV cs.LG
Edge detection based on morphological amoebas
检测图像内的对象的边缘对于高质量的图像处理是至关重要的。我们提出了一种边缘检测技术,使用形态学变形虫,调整其形状的基础上变化的图像轮廓。我们定量和定性地评价了该方法的图像边缘检测,并将其与经典的形态学方法进行比较。我们的基于变形虫的边缘检测系统比经典的边缘检测器表现更好。
2011-08-22 cs.CV
Detecting Hands and Recognizing Physical Contact in the Wild
Stony Brook University(石溪大学);VinAI Research(越南人工智能研究院)
研究了无约束条件下手部的检测和物理接触状态的识别问题。这是一个具有挑战性的推理任务,因为需要超越手的局部外观进行推理。缺乏指示手接触哪个对象或对象的哪个部分的训练注释进一步使任务复杂化。我们提出了一种基于Mask-RCNN的新型卷积网络,它可以联合学习定位手并预测它们的物理接触来解决这个问题。该网络使用来自另一个对象检测器的输出来获得场景中存在的对象的位置。它使用这些输出和手的位置来识别手的接触状态,使用两个注意力机制。第一种注意力机制基于手和区域的亲和性,将手和对象包围起来,并将来自该区域的特征密集地汇集到手区域。第二个注意力模块自适应地从这个看似合理的接触区域中选择显著特征。为了开发和评估我们的方法的性能,我们引入了一个名为ContactHands的大规模数据集,其中包含用手的位置和接触状态注释的无约束图像。所提出的网络,包括注意力模块的参数,是端到端可训练的。该网络比建立在香草Mask-RCNN架构上的基线网络实现了约7%的相对改进,并经过训练以识别手部接触状态。
2020-10-19 cs.CV