Subcategory-aware Convolutional Neural Networks for Object Proposals and Detection
University of Washington（华盛顿大学）；NEC Laboratories America, Inc.（美国NEC实验室公司）；Baidu, Inc.（百度公司）；Stanford University（斯坦福大学）
在基于CNN的目标检测方法中，当目标出现明显的尺度变化、遮挡或截断时，区域建议成为瓶颈。此外，这些方法主要集中于2D目标检测，并且不能估计对象的详细属性。在本文中，我们提出了用于目标检测的子类感知CNN。我们介绍了一种新的区域建议网络，使用子类信息来指导建议生成过程，以及一种新的检测网络，用于联合检测和子类分类。通过使用与对象姿态相关的子类别，我们在常用的基准测试中实现了检测和姿态估计的最新性能。
2017-03-09 cs.CV
Perspective-aware Convolution for Monocular 3D Object Detection
National Taiwan University（国立台湾大学）
针对单目3D目标检测中仅靠图像线索难预测深度的问题，提出感知视角卷积层，沿像素深度轴提取特征融入透视信息，在KITTI3D简单基准达23.9%平均精度，提升检测精度。
2023-08-24 cs.CV
MonoDTR: Monocular 3D Object Detection with Depth-Aware Transformer
National Taiwan University（国立台湾大学）；Mobile Drive Technology（移动驱动科技公司）
单目3D目标检测是自动驾驶中一项重要而又具有挑战性的任务。一些现有的方法利用来自现成的深度估计器的深度信息来辅助3D检测，但是遭受额外的计算负担并且实现由不准确的深度先验引起的有限的性能。为了缓解这一问题，我们提出了MonoDTR，一种新型的端到端深度感知Transformer网络，用于单目3D目标检测。它主要由两个组件组成：（1）深度感知特征增强（DFE）模块，该模块隐式地学习具有辅助监督的深度感知特征，而不需要额外的计算;以及（2）深度感知Transformer（DTR）模块，该模块全局地集成上下文和深度感知特征。此外，不同于传统的逐像素位置编码，我们引入了一种新的深度位置编码（DPE）注入深度位置提示到Transformers。我们提出的深度感知模块可以很容易地插入到现有的仅图像的单目3D对象检测器，以提高性能。在KITTI数据集上的大量实验表明，我们的方法优于以前最先进的基于单眼的方法，并实现了实时检测。代码可在https://github.com/kuanchihhuang/MonoDTR上获得
2022-03-28 cs.CV
OPCap:Object-aware Prompting Captioning
South China Normal University（华南师范大学）
针对图像描述中的物体幻觉问题，提出OPCap目标感知提示策略，通过提取物体信息、细化语义特征并输入解码器，在COCO和nocaps数据集上有效缓解幻觉、提升描述质量。
2025-01-17 cs.CV
Confidence-Aware Learning for Camouflaged Object Detection
ANU（澳大利亚国立大学）
信任感知学习被证明是防止网络过度自信的有效解决方案。我们提出了一个信任感知的伪装目标检测框架，使用动态监督，以产生准确的伪装图和有意义的“信心”表示模型对当前预测的认识。设计了一个伪装目标检测网络来产生我们的伪装预测。然后，将其与输入图像拼接，并将其输入到置信度估计网络，生成一个单通道置信度图，并对置信度估计网络生成动态监督，以表示伪装预测与地面真实伪装图的一致性。通过生成的置信图，我们引入了以置信图为指导的置信度感知学习，以更加关注损失函数中的硬/低置信度像素。我们声称，一旦经过训练，我们的置信度估计网络可以评估预测的像素准确性，而不依赖于地面真实伪装图。在四个伪装目标检测测试数据集上的大量结果表明，该模型在解释伪装预测方面具有优越的性能。
2021-06-22 cs.CV
Learning Instance-Aware Object Detection Using Determinantal Point Processes
Seoul National University（首尔国立大学）
最近的对象检测器在对候选区域进行分类的同时找到实例。由于每个区域都是独立评估的，因此检测器的候选区域数量通常大于对象数量。由于检测的最终目标是为每个对象分配单个检测，因此使用诸如非最大抑制（NMS）的启发式算法来为对象选择单个限界框。虽然简单的启发式算法对于独立对象是有效的，但它们可能无法检测重叠对象。在本文中，我们通过训练网络来解决这个问题，以使用候选框之间的关系来区分不同的对象。我们提出了一个实例感知检测网络（IDNet），它可以学习从候选区域中提取特征并测量它们的相似性。基于成对相似性和检测质量，IDNet使用实例感知的确定性点过程推理（IDPP）选择候选边界框的子集。大量的实验表明，该算法实现了显着的改进，检测重叠的对象相比，现有的国家的最先进的检测方法的PASCAL VOC和MS COCO数据集。
2019-09-02 cs.CV
Normalizing Flow based Feature Synthesis for Outlier-Aware Object Detection
TU Dresden（德累斯顿工业大学）；University of Zagreb - FER（萨格勒布大学电气工程与计算学院）；Carl Zeiss Meditec AG（卡尔蔡司医疗技术股份公司）
本文提出基于可逆归一化流学习所有内点类别联合分布以合成低似然异常值特征的异常值感知目标检测框架，在图像和视频数据集上显著超越现有方法。
2023-05-28 cs.CV
IoU-aware Single-stage Object Detector for Accurate Localization
Huazhong University of Science and Technology（华中科技大学）
单级目标检测器由于其简单、高效的特点，在计算机视觉的许多应用中得到了广泛的应用。然而，预测检测的分类得分和定位精度之间的低相关性严重损害了模型的定位精度。在本文中，IoU感知的单阶段对象检测器被提出来解决这个问题。具体而言，IoU感知单阶段对象检测器预测每个检测到的盒子的IoU。然后将分类得分和预测的IoU相乘以计算最终的检测置信度，该置信度与定位精度更相关。然后将检测置信度用作后续NMS和COCO AP计算的输入，这将大大提高模型的定位精度。在COCO和PASCAL VOC数据集上进行的大量实验证明了IoU感知的单阶段目标检测器在提高模型定位精度方面的有效性。在没有哨声和铃声的情况下，所提出的方法可以在COCO \textit{test-dev}上通过$1.7\%\sim1.9\%$和$2.2\%\sim2.5\%$显著改善AP 75。在PASCAL VOC上，该方法可以通过$2.9\%\sim4.4\%$显著提高AP，通过$4.6\%\sim10.2\%$显著提高AP 80、AP 90。代码可以在这里找到：{https：//github.com/ShengkaiWu/IoU-aware-single-stage-object-detector}。
2020-04-15 cs.CV
Exploring Driving-aware Salient Object Detection via Knowledge Transfer
Beihang University（北京航空航天大学）；Peng Cheng Laboratory（鹏城实验室）；Meituan（美团）
近年来，随着深度神经网络的快速发展，一般显著目标检测（SOD）取得了很大进展。然而，由于缺乏特定任务的数据集，任务感知SOD几乎没有研究。在本文中，我们构建了一个驱动的面向任务的数据集，其中的像素级掩模的显着对象已被注释。与一般SOD数据集相比，我们发现跨领域的知识差异和特定任务的场景差距是驾驶时聚焦显著对象的两个主要挑战。受这些发现的启发，我们通过知识转移卷积神经网络提出了驾驶任务感知SOD的基线模型。在这个网络中，我们构建了一个基于注意力的知识转移模块，以弥补知识的差异。此外，一个有效的边界感知的特征解码模块被引入到执行精细的特征解码的对象在复杂的特定任务的场景。整个网络以渐进的方式集成了知识传递和特征解码模块。实验结果表明，该数据集是非常具有挑战性的，所提出的方法优于12个国家的最先进的方法在数据集上，这有利于开发的任务感知SOD。
2021-05-18 cs.CV
Oriented Object Detection in Aerial Images with Box Boundary-Aware Vectors
Rutgers University（罗格斯大学）
航空图像中的目标以任意方向显示并且通常是密集的，因此航空图像中的定向目标检测是一项具有挑战性的任务。目前的定向目标检测方法主要依赖于两级基于锚点的检测器。然而，基于锚的检测器通常遭受正锚盒和负锚盒之间的严重不平衡问题。为了解决这个问题，在这项工作中，我们扩展的水平关键点为基础的对象检测器的定向目标检测任务。特别地，我们首先检测对象的中心关键点，然后基于此回归框边界感知向量（BBAVectors）以捕获定向边界框。对于所有任意方向的对象，框边界感知向量分布在笛卡尔坐标系的四个象限中。为了减轻角点情况下学习向量的困难，我们进一步将定向包围盒分为水平和旋转包围盒。在实验中，我们表明，学习框边界感知向量优于直接预测的宽度，高度和角度的定向限界框，采用基线方法。此外，所提出的方法与最先进的方法竞争有利。代码可在https://github.com/yijingru/BBAVectors-Oriented-Object-Detection上获得。
2020-08-29 cs.CV
Scale-aware Automatic Augmentation for Object Detection
The Chinese University of Hong Kong（香港中文大学）；ByteDance AI Lab（字节跳动人工智能实验室）；SmartMore
我们提出了尺度感知AutoAug学习数据增强策略的目标检测。我们定义了一个新的尺度感知的搜索空间，其中图像和框级增强的目的是保持规模不变性。在这个搜索空间上，我们提出了一个新的搜索度量，称为帕累托尺度平衡，以促进高效率的搜索。在实验中，Scale-aware AutoAug对各种对象检测器（例如，RetinaNet，Faster R-CNN，Mask R-CNN和FCOS），甚至与强大的多尺度训练基线相比。我们搜索的增强策略可转移到目标检测之外的其他数据集和框级任务（例如，实例分割和关键点估计）以提高性能。搜索成本远低于以前的自动增强方法的目标检测。值得注意的是，我们搜索的策略具有有意义的模式，这直观地为人类数据增强设计提供了有价值的见解。代码和模型将在https://github.com/Jia-Research-Lab/SA-AutoAug上提供。
2021-03-31 cs.CV
Object Detection in Aerial Images with Uncertainty-Aware Graph Network
Korea University（高丽大学）；KAIST（韩国科学技术院）；AITRICS
在这项工作中，我们提出了一种新的不确定性感知的目标检测框架与结构化图，其中节点和边缘表示的对象和它们的空间语义相似性，分别。具体来说，我们的目标是考虑对象之间的关系，以有效地将它们上下文化。为了实现这一目标，我们首先检测对象，然后测量它们的语义和空间距离来构建对象图，然后用图神经网络（GNN）表示对象图，以细化对象的视觉CNN特征。然而，细化每个对象的CNN特征和检测结果是低效的，并且可能是不必要的，因为这包括具有低不确定性的正确预测。因此，我们建议不仅通过有向图将表示从某些对象（源）转移到不确定对象（目标）来处理不确定对象，而且还仅在被视为不确定的对象上改进CNN特征，这些对象具有来自GNN的表示输出。此外，我们通过对不确定对象赋予更大的权重来计算训练损失，以集中精力改善不确定对象的预测，同时保持对某些对象的高性能。我们把我们的模型称为不确定性感知图网络目标检测（UAGDet）。然后，我们在具有挑战性的大规模航空图像数据集，即DOTA上进行实验验证，该数据集由图像中大小不等的大量对象组成，在此基础上，我们的方法提高了现有目标检测网络的性能。
2022-08-24 cs.CV
Object-Aware Centroid Voting for Monocular 3D Object Detection
Rochester Institute of Technology（罗切斯特理工学院）
单目3D目标检测旨在从单个相机检测3D物理世界中的对象。然而，最近的方法要么依赖于昂贵的LiDAR设备，要么求助于密集的逐像素深度估计，这导致了过高的计算成本。在本文中，我们提出了一个端到端的可训练单目3D对象检测器，而无需学习密集深度。具体地，2D框的网格坐标首先被投影回3D空间，针孔模型作为3D质心建议。然后，引入了一种新的对象感知投票方法，该方法同时考虑了区域外观注意力和几何投影分布，以投票3D质心提案进行3D对象定位。通过后期融合和预测的3D方向和尺寸，可以从单个RGB图像中检测对象的3D边界框。该方法是直接的，但显着优于其他单眼为基础的方法。在KITTI基准测试上的大量实验结果验证了该方法的有效性。
2020-07-20 cs.CV
Background-Aware Pooling and Noise-Aware Loss for Weakly-Supervised Semantic Segmentation
Yonsei University（延世大学）
我们解决的问题，弱监督语义分割（WSSS）使用限界框注释。虽然对象边界框是分割相应对象的良好指示器，但它们不指定对象边界，使得难以训练卷积神经网络（CNN）进行语义分割。我们发现，背景区域在图像中部分是感知一致的，这可以用来区分对象边界框内的前景和背景区域。为了实现这一想法，我们提出了一种新的池化方法，称为背景感知池化（BAP），它更侧重于使用注意力地图聚合边界框内的前景特征。这允许提取高质量的伪分割标签来训练CNN进行语义分割，但标签仍然包含噪声，特别是在对象边界处。为了解决这个问题，我们还引入了噪声感知损失（NAL），使网络不太容易受到错误标签的影响。实验结果表明，在PASCAL VOC 2012数据集上，使用我们的伪标签学习的性能已经超过了最先进的弱监督和半监督方法，NAL进一步提高了性能。
2021-04-02 cs.CV
Task-aligned Part-aware Panoptic Segmentation through Joint Object-Part Representations
Eindhoven University of Technology（埃因霍温理工大学）
针对部件级预测未关联父对象导致学习目标与PPS任务不一致的问题，本文提出TAPPS，利用共享查询联合建模对象与部件表示，显著提升性能并达到新SOTA。
2024-06-14 cs.CV
Unknown-Aware Object Detection: Learning What You Don't Know from Videos in the Wild
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Microsoft Research（微软研究院）
构建可靠的对象检测器，可以检测出的分布（OOD）对象是至关重要的，但探索不足。其中一个关键挑战是模型缺乏来自未知数据的监督信号，从而对OOD对象产生过度自信的预测。我们提出了一个新的未知感知的目标检测框架，通过时空未知蒸馏（STUD），从视频中提取未知的对象在野外和有意义地正则化模型的决策边界。STUD首先在空间维度中识别未知候选对象提议，然后跨多个视频帧聚合候选对象以形成靠近决策边界的未知对象的不同集合。此外，我们采用了基于能量的不确定性正则化损失，它对比地塑造了分布和提取的未知对象之间的不确定性空间。STUD在OOD检测任务中建立了最先进的目标检测性能，与以前的最佳方法相比，FPR 95分数降低了10%以上。代码可在https://github.com/deeplearning-wisc/stud上获得。
2022-03-08 cs.CV
Multi-scale direction-aware SAR object detection network via global information fusion
Xidian University（西安电子科技大学）；University of Technology Sydney（悉尼科技大学）
本文提出SAR-Net框架，通过统一补偿机制（UCM）实现多尺度全局信息融合，并利用方向感知注意力模块（DAM）消除背景干扰，在多个SAR目标检测数据集上取得最先进结果。
2024-10-14 cs.CV
Uncertainty Aware Proposal Segmentation for Unknown Object Detection
George Mason University（乔治梅森大学）
最近在部署深度神经网络用于现实世界应用（例如自动驾驶）中的目标检测的努力假设在训练期间已经观察到所有相关的对象类。当测试数据未在训练集中表示时，量化这些模型在设置中的性能主要集中在针对语义分割训练的模型的像素级不确定性估计技术上。本文提出了利用额外的预测的语义分割模型和量化其置信度，其次是分类的对象假设为已知与未知，分布对象。我们使用区域建议网络（RPN）生成的对象建议和适应距离感知不确定性估计的语义分割使用径向基函数网络（RBFN）的类无关对象掩码预测。然后，使用增强的对象建议来训练已知对象类别与未知对象类别的分类器。实验结果表明，该方法在未知目标检测方面达到了与现有方法并行的性能，并能有效降低目标检测器的误报率。我们的方法是非常适合的应用程序中获得的语义分割的非对象背景类别的预测是可靠的。
2021-11-25 cs.CV
From Points to Parts: 3D Object Detection from Point Cloud with Part-aware and Part-aggregation Network
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）
从LiDAR点云数据中检测三维目标检测是三维场景理解中的一个具有挑战性的问题，有着广泛的实际应用。在本文中，我们将我们的初步工作PointRCNN扩展到一个新的，强大的基于点云的3D目标检测框架，部分感知和聚合神经网络（部分- $A^2$网）。整个框架由部件感知阶段和部件聚合阶段组成。首先，部件感知阶段首次充分利用来自3D地面实况框的免费部件监督，同时预测高质量的3D建议和准确的对象内部件位置。同一提案中的预测对象内部分位置由我们新设计的RoI感知点云池化模块分组，这导致有效的表示来编码每个3D提案的几何特定特征。然后，部件聚合阶段学习对框重新评分，并通过探索池化的对象内部件位置的空间关系来细化框位置。进行了大量的实验，以证明我们提出的框架的每个组件的性能改进。我们的Part- $A^2$网络优于所有现有的3D检测方法，并通过仅利用LiDAR点云数据在KITTI 3D目标检测数据集上实现了新的最先进技术。代码可在https://github.com/sshaoshuai/PointCloudDet3D上获得。
2020-03-16 cs.CV
Category-Aware Transformer Network for Better Human-Object Interaction Detection
Huazhong University of Science and Technology（华中科技大学）
人-物交互（HOI）检测，其目的是定位的人和相关的对象，同时认识到他们的互动，是至关重要的理解静止图像。最近，基于变压器的模型显着推进了HOI检测的进展。然而，这些模型的能力还没有得到充分的探索，因为模型的对象查询总是简单地初始化为零，这将影响性能。在本文中，我们试图研究的问题，促进基于transformer的HOI检测器初始化的对象查询与类别感知的语义信息。为此，我们创新性地提出了类别感知Transformer网络（CATN）。具体地，对象查询将经由由外部目标检测模型表示的类别先验来初始化，以产生更好的性能。此外，此类类别先验还可用于通过注意力机制增强特征的表示能力。我们首先通过Oracle实验验证了我们的想法，通过使用groundtruth类别信息初始化对象查询。然后进行了大量的实验，表明配备了我们的想法的HOI检测模型的性能大大优于基线，达到了一个新的国家的最先进的结果。
2022-05-09 cs.CV
RGB-D Salient Object Detection with Ubiquitous Target Awareness
Beihang University（北京航空航天大学）；Peng Cheng Laboratory（鹏城实验室）
传统的RGB-D显著目标检测方法旨在利用深度作为补充信息来找到两种模态中的显著区域。然而，显著的目标检测结果严重依赖于捕获的深度数据的质量，而这些深度数据有时不可用。在这项工作中，我们第一次尝试解决RGB-D显着的目标检测问题与一个新的深度感知框架。该框架在测试阶段仅依赖于RGB数据，利用捕获的深度数据作为表示学习的监督。为了构建我们的框架并获得准确的显著检测结果，我们提出了一个无处不在的目标感知（UTA）网络来解决RGB-D SOD任务中的三个重要挑战：1）深度感知模块，用于挖掘深度信息并通过自适应深度误差权重挖掘模糊区域，2）空间感知跨模态交互和通道感知跨级别交互，利用低级边界线索并放大高级显著通道，以及3）门控多尺度预测器模块，以在不同的上下文尺度中感知对象显著性。除了其高性能，我们提出的UTA网络是深度无关的推理，并以43 FPS实时运行。实验证据表明，我们提出的网络不仅超过了最先进的方法在五个公共的RGB-D SOD基准的大幅度，但也验证了其可扩展性的五个公共RGB SOD基准。
2021-09-08 cs.CV
Shape-Aware Monocular 3D Object Detection
Xiamen University（厦门大学）；Ningbo Boden AI Technology Co., Ltd.（宁波博登人工智能科技有限公司）
通过单个透视相机检测3D物体是一个具有挑战性的问题。无锚点和基于关键点的模型由于其有效性和简单性而受到越来越多的关注。然而，这些方法中的大多数容易受到遮挡和截断的对象。提出了一种单阶段单目三维目标检测模型。实例分割头被集成到模型训练中，这允许模型知道目标对象的可见形状。该检测在很大程度上避免了来自目标对象周围的不相关区域的干扰。此外，我们还发现，流行的基于IoU的评估指标，这是最初设计用于评估立体或基于激光雷达的检测方法，是不敏感的单目3D目标检测算法的改进。针对单目三维目标检测模型，提出了一种新的评价指标--平均深度相似度（ADS）。我们的方法优于流行的和建议的评估指标的基线，同时保持实时效率。
2022-04-24 cs.CV
MatrixNets: A New Scale and Aspect Ratio Aware Architecture for Object Detection
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）；Akasha Imaging Corp（阿卡莎影像公司）
我们提出了一种新的目标检测深度架构MatrixNets（xNets）。xNets将具有相似大小和长宽比的对象映射到许多专门的层中，允许xNets提供缩放和长宽比感知架构。我们利用xNets来增强单阶段目标检测框架。首先，我们将xNets应用于基于锚点的目标检测，为此我们预测对象中心并回归左上角和右下角。其次，我们使用MatrixNets通过预测左上角和右下角进行基于角点的目标检测。每个角预测对象的中心位置。我们还通过用中心回归代替嵌入层来增强基于角点的检测。我们的最终架构在MS COCO上实现了47.8的mAP，比CornerNet高出+5.6 mAP，同时也缩小了单级和两级探测器之间的差距。该代码可在https://github.com/arashwan/matrixnet上获得。
2020-01-09 cs.CV
Dense Relation Distillation with Context-aware Aggregation for Few-Shot Object Detection
Peking University（北京大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
用于目标检测的传统的基于深度学习的方法需要大量的限界框注释用于训练，这对于获得这样的高质量注释数据是昂贵的。Few-Shot目标检测是一种非常具有挑战性的方法，它只需要很少的注释样本就可以适应新的类，因为新对象的细粒度特征很容易被忽略，只有很少的数据可用。在这项工作中，为了充分利用带注释的新对象的特征并捕获查询对象的细粒度特征，我们提出了具有上下文感知聚合的密集关系蒸馏（DCNet）来解决少镜头检测问题（Few-Shot detection problem）。基于元学习的框架，稠密关系蒸馏模块的目标是充分利用支持特征，其中支持特征和查询特征是密集匹配的，以前馈方式覆盖所有空间位置。引导信息的大量使用赋予模型处理常见挑战的能力，例如外观变化和遮挡。此外，为了更好地捕获尺度感知特征，上下文感知聚合模块自适应地利用不同尺度的特征，以获得更全面的特征表示。大量的实验表明，我们提出的方法在PASCAL VOC和MS COCO数据集上实现了最先进的结果。代码将在https://github.com/hzhupku/DCNet上提供。
2021-03-30 cs.CV
PT-DETR: Small Target Detection Based on Partially-Aware Detail Focus
针对无人机目标检测面临的背景复杂、遮挡严重、小目标密集、光照变化等问题，提出了一种基于RT-DETR的无人机图像小目标检测算法PT-DETR。在骨干网络中，我们引入了部分感知细节聚焦（PADF）模块，以增强小对象的特征提取。此外，我们设计了中频特征融合（MFFF）模块，有效地提高了模型捕捉小目标细节和上下文信息的能力。此外，我们将Focaler-SIoU，以加强模型的限界框匹配能力，并增加其灵敏度的小对象的功能，从而进一步提高检测精度和鲁棒性。与RT-DETR相比，我们的PT-DETR在VisDrone 2019数据集上实现了1.6%和1.7%的mAP改进，具有更低的计算复杂性和更少的参数，证明了其对于小目标检测任务的鲁棒性和可行性。
2025-10-30 cs.CV
3D-Aware Object Localization using Gaussian Implicit Occupancy Function
University of Luxembourg（卢森堡大学）；SnT - Interdisciplinary Center for Security, Reliability and Trust（SnT——安全、可靠性与信任跨学科中心）
本文提出一种用于2D目标定位的3D感知椭圆标签方法，通过引入隐式高斯分布编码物体占据，并使用新颖的不可训练可微分层E-DSNT提取分布参数，在航天器姿态估计数据集上验证了其有效性。
2023-08-02 cs.CV
Learning a Layout Transfer Network for Context Aware Object Detection
Minjiang University（闽江学院）；ShanghaiTech University（上海科技大学）；Fuzhou University（福州大学）；NetDragon Inc.（网龙公司）
提出了一种基于检索-变换场景布局模型的上下文感知目标检测方法。给定一个输入图像，我们的方法首先检索一个粗糙的场景布局从典型的布局模板的码本。为了处理大的布局变化，我们使用一个变种的空间Transformer网络来转换和细化检索到的布局，从而在一组可解释的和语义上有意义的对象的位置和规模的特征图。上述步骤被实现为布局传输网络，我们将其集成到Faster RCNN中，以允许目标检测和场景布局估计的联合推理。在三个公共数据集上进行的广泛实验验证了我们的方法在交通监控和自动驾驶领域的各种具有挑战性的任务上为最先进的目标检测基线提供了一致的性能改进。
2019-12-09 cs.CV
Mobile Video Object Detection with Temporally-Aware Feature Maps
Georgia Tech（佐治亚理工学院）；Google（谷歌公司）
本文介绍了一种在线视频目标检测模型，该模型设计用于在低功耗移动和嵌入式设备上实时运行。我们的方法将快速单图像目标检测与卷积长短期记忆（LSTM）层相结合，以创建交织的递归卷积架构。此外，我们提出了一个有效的瓶颈LSTM层，与常规LSTM相比，它显著降低了计算成本。我们的网络通过使用Bottleneck-LSTM来改进和传播跨帧的特征图来实现时间感知。这种方法比视频中现有的检测方法快得多，在模型大小和计算成本方面优于最快的单帧模型，同时在Imagenet VID 2015数据集上获得与更昂贵的单帧模型相当的准确性。我们的模型在移动CPU上达到了高达15 FPS的实时推理速度。
2018-03-28 cs.CV
Vision Foundation Model Driven Foreground-Aware Pseudo-LiDAR Generation for Monocular 3D Object Detection
本文提出VFMM3D框架，利用DAM和SAM的先验生成前景感知伪激光雷达，在KITTI、Waymo数据集上实现最优性能，可无缝集成至多种激光雷达3D目标检测器。
2026-08-24 cs.CV
Geometry-Aware 3D Salient Object Detection Network
Northwestern Polytechnical University（西北工业大学）；Nanjing University of Science and Technology（南京理工大学）
针对点云显著目标检测中边界模糊问题，提出几何感知网络，通过超点划分与几何增强模块，在PCSOD数据集上取得最先进性能。
2025-02-23 cs.CV
Panoptic Neural Fields: A Semantic Object-Aware Neural Scene Representation
Google Research（谷歌研究院）；Stanford University（斯坦福大学）；Simon Fraser University（西蒙弗雷泽大学）；Georgia Tech（佐治亚理工学院）
我们提出了Panoptic Neural Fields（PNF），这是一种对象感知的神经场景表示，它将场景分解为一组对象（事物）和背景（东西）。每个对象由一个定向的3D限界框和一个多层感知器（MLP）表示，该感知器获取位置、方向和时间，并输出密度和辐射。背景内容由类似的MLP表示，该MLP还输出语义标签。每个对象MLP都是特定于实例的，因此可以比以前的对象感知方法更小更快，同时仍然利用通过元学习初始化合并的特定于类别的先验。我们的模型建立了一个panoptic辐射场表示的任何场景，只是彩色图像。我们使用现成的算法来预测相机姿态，对象轨迹，和二维图像语义分割。然后，我们共同优化MLP的权重和限界框参数使用分析合成与自我监督的彩色图像和伪监督预测语义分割。在与真实世界的动态场景的实验中，我们发现，我们的模型可以有效地用于几个任务，如新的视图合成，2D全景分割，3D场景编辑，和多视图深度预测。
2022-05-09 cs.CV
A Density-Aware PointRCNN for 3D Object Detection in Point Clouds
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
提出了一种改进的PointRCNN用于三维目标检测，其中采用多分支骨干网络来处理点云密度不均匀的问题。提出了一种基于不确定性的采样策略，以处理不同点云的分布差异。新模型在KITTI val集上可以实现比基线PointRCNN高约0.8AP的性能。此外，一个简化的模型，使用一个单一的规模分组为每个集合抽象层可以实现具有竞争力的性能与更少的计算成本。
2021-01-08 cs.CV
Geometry-Aware Video Object Detection for Static Cameras
University of Oxford（牛津大学）；Visual Geometry Group（视觉几何组）；Department of Engineering Science（工程科学系）
在本文中，我们提出了一个几何感知模型的视频目标检测。具体来说，我们考虑相机可以很好地近似为静态的设置，例如在视频监控场景中，因此可以从图像平面上的对象比例轻松推断场景伪深度图。我们做出了以下贡献：首先，我们将最近的无锚检测器（CornerNet [17]）扩展到视频目标检测。为了在保持高效率的同时利用时空信息，所提出的模型接受视频片段作为输入，并且仅对开始帧和结束帧进行预测，即对象限界框角的热图和用于分组的对应嵌入。第二，为了解决来自目标检测中的尺度变化的挑战，场景几何信息（例如，导出的深度图）被明确地并入深度网络中以用于多尺度特征选择和用于网络预测。第三，我们在Carla模拟器[5]生成的自动驾驶数据集和用于人体检测的真实数据集（DukeMTMC数据集[28]）上验证了所提出的架构。当与现有的竞争单级或两级检测器相比，所提出的几何感知时空网络取得了显着更好的结果。
2019-09-06 cs.CV
Difficulty-Aware Label-Guided Denoising for Monocular 3D Object Detection
针对单目3D目标检测中深度估计不准及忽略实例级检测难度的问题，提出MonoDLGD框架，基于检测不确定性自适应扰动并重构真值标签，在KITTI基准所有难度级别上实现最优性能。
2025-11-17 cs.CV
Selectivity or Invariance: Boundary-aware Salient Object Detection
Beihang University（北京航空航天大学）；Peng Cheng Laboratory（鹏城实验室）；Peking University（北京大学）
典型地，显著目标检测（SOD）模型在处理对象内部和边界时面临相反的要求。内部特征对强烈的外观变化应具有不变性，以突出整体的显著对象，而边界特征对轻微的外观变化应具有选择性，以区分显著对象和背景。为了解决这种选择性不变性的困境，我们提出了一种新的边界感知网络与连续膨胀的基于图像的SOD。在该网络中，通过引入边界定位流来增强边界处的特征选择性，同时通过复杂的内部感知流来保证内部的特征不变性。此外，过渡补偿流被用来修正内部和边界之间的过渡区域的可能故障。特别地，提出了一种集成的连续膨胀模块，以增强内部和过渡区域的特征不变性。在六个数据集上的实验表明，该方法优于16种最先进的方法。
2019-09-11 cs.CV
MonoMAE: Enhancing Monocular 3D Detection through Depth-Aware Masked Autoencoders
S-Lab, Nanyang Technological University（新加坡南洋理工大学S-Lab）；College of Computer Science and Technology, Zhejiang University of Technology（浙江工业大学计算机科学与技术学院）；University of Chinese Academy of Sciences（中国科学院大学）
提出受掩码自编码器启发的单目3D检测器MonoMAE，通过深度感知掩码和轻量级查询补全机制解决目标遮挡问题，学习丰富且具泛化能力的3D表征，显著提升遮挡与非遮挡目标的检测性能。
2024-10-15 cs.CV
Dual-Awareness Attention for Few-Shot Object Detection
National Taiwan University（台湾大学）；Mobile Drive Technology（Mobile Drive Technology（移动驱动科技））
虽然最近的进展显着提高了Few-Shot分类（FSC）的性能，Few-Shot目标检测（FSOD）仍然是现代学习系统的挑战。现有的FSOD系统遵循FSC方法，忽略了空间变化和不确定表示等关键问题，因此导致性能低下。观察到这一点，我们提出了一种新的\textbf{Dual-Awareness Attention (DAnA)}机制，使网络能够自适应地解释给定的支持图像。DAnA将支持图像转换为\textbf{query-position-aware}（QPA）特征，通过将定制的支持信息分配给查询的每个局部区域来精确地引导检测网络。此外，所提出的DAnA组件是灵活的，并适用于多种现有的目标检测框架。通过采用DAnA，传统的目标检测网络、Faster R-CNN和RetinaNet（并非明确针对少样本学习而设计）在FSOD任务中达到了最先进的性能。与以前的方法相比，我们的模型显着提高了47%（+6.9 AP）的性能，在各种评估设置下显示出显着的能力。
2021-09-16 cs.CV
CAD-Net: A Context-Aware Detection Network for Objects in Remote Sensing Imagery
光学遥感图像中多类目标的准确和鲁棒检测对于城市规划、交通控制、搜索和救援等许多实际应用是必不可少的。然而，针对使用地面传感器捕获的图像设计的最新目标检测技术在直接应用于遥感图像时通常经历急剧的性能下降，这主要是由于遥感图像中的对象外观差异，即稀疏纹理、低对比度、任意取向、大尺度变化，本文提出了一种新的目标检测网络（CAD-Net），利用注意力-调制的功能以及全球和本地的背景，以解决新的挑战，从遥感图像中检测对象。所提出的CAD-Net通过分别捕获对象与全局场景（在场景级）和局部相邻对象或特征（在对象级）的相关性来学习对象的全局和局部上下文。此外，它设计了一个空间和尺度感知的注意力模块，引导网络关注更多信息的区域和特征以及更合适的特征尺度。在两个公开的遥感图像目标检测数据集上的实验表明，所提出的CAD-Net具有优异的检测性能。实施代码将公开，以方便未来的研究。
2019-03-03 cs.CV
Video Relation Detection with Trajectory-aware Multi-modal Features
Beihang University（北京航空航天大学）；YITU Technology（依图科技）
视频关系检测问题是指检测视频中不同对象之间的关系，例如空间关系和动作关系。在本文中，我们提出了视频关系检测与故障感知多模态功能来解决这个问题。考虑到视频中视觉关系检测的复杂性，本文将其分解为三个子任务：目标检测、轨迹建议和关系预测。我们使用最先进的目标检测方法来保证目标轨迹检测的准确性，并使用多模态特征表示来帮助预测目标之间的关系。该方法在ACM Multimedia 2020的Video Relation Understanding Grand Challenge视频关系检测任务中以11.74 mAP的成绩获得第一名，大大优于其他方法。
2021-01-20 cs.CV
Pattern-Aware Data Augmentation for LiDAR 3D Object Detection
University of Toronto（多伦多大学）
自动驾驶数据集通常是偏斜的，并且特别地，缺乏针对距自我车辆更远距离处的对象的训练数据。随着检测到的对象的距离增加，数据的不平衡导致性能下降。在本文中，我们提出了模式感知地面实况采样，一种数据增强技术，根据激光雷达的特性对对象的点云进行下采样。具体来说，我们模仿自然发散点模式的变化，发生在物体的深度，以模拟样本在更远的距离。因此，网络具有更多样的训练样本，并且可以更有效地推广到检测更远的对象。我们对现有的数据增强技术，使用点删除或扰动方法进行评估，发现我们的方法优于所有这些方法。此外，我们建议使用相等的元素AP箱来评估整个距离的3D对象检测器的性能。我们将PV-RCNN在汽车类上的性能提高了0.7%以上，在距离大于25米的KITTI验证分割上。
2021-11-30 cs.CV
Instance-Aware Observer Network for Out-of-Distribution Object Segmentation
Valeo（法雷奥）；Ecole des Ponts（巴黎路桥学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CY Université（CY大学）；ENSEA（国立高等电子及应用学院）
最近的预测不确定性估计的工作已经显示出有前途的结果外的分布（OOD）检测语义分割。然而，这些方法难以精确定位图像中的感兴趣点，即异常。这种限制是由于在像素级进行细粒度预测的困难。为了解决这个问题，我们建立在最近的ObsNet的方法，提供对象实例知识的观察员。我们通过利用实例掩码预测来扩展ObsNet。我们使用一个额外的，类不可知的，对象检测器来过滤和聚合观察者的预测。最后，我们为图像中的每个实例预测一个唯一的异常分数。我们表明，我们提出的方法准确地解开分布对象从OOD对象在三个数据集。
2022-08-29 cs.CV
FCL-COD: Weakly Supervised Camouflaged Object Detection with Frequency-aware and Contrastive Learning
Tsinghua University（清华大学）；Soochow University（苏州大学）
提出频率感知低秩适应（FoRA）和梯度感知对比学习，解决弱监督伪装目标检测中非伪装响应、局部/极端响应及边界模糊问题，在三个基准上超越现有弱监督和部分全监督方法。
2026-07-02 cs.CV
Depth Awakens: A Depth-perceptual Attention Fusion Network for RGB-D Camouflaged Object Detection
Ocean University of China（中国海洋大学）
针对 RGB-D 伪装目标检测，本文提出 DAF-Net，通过三叉分支编码器、深度加权交叉注意力融合与自适应特征聚合解码器利用深度信息，性能显著优于现有方法。
2024-05-09 cs.CV cs.NI
Depth-aware Object Segmentation and Grasp Detection for Robotic Picking Tasks
Graz University of Technology（格拉茨技术大学）；University of Klagenfurt（克拉根福大学）
在本文中，我们提出了一种新的深度神经网络架构的联合类不可知的对象分割和把握检测机器人采摘任务使用平行板夹持器。我们介绍了深度感知坐标卷积（CoordConv），一种在不增加任何额外的网络参数或计算复杂性的情况下，提高复杂场景中基于点建议的对象实例分割的准确性的方法。深度感知CoordConv使用深度数据来提取关于对象位置的先验信息，以实现高度准确的对象实例分割。这些产生的分割掩模，结合预测把握候选人，导致一个完整的场景描述使用平行板夹持器抓。我们评估把握检测和实例分割的准确性具有挑战性的机器人采摘数据集，即Siléane和OCID_grasp，并显示联合把握检测和分割的好处在现实世界的机器人采摘任务。
2021-11-22 cs.CV cs.RO
Object-Aware Domain Generalization for Object Detection
Korea Advanced Institute of Science and Technology（韩国科学技术院）
提出目标感知域泛化方法（OA-DG），通过OA-Mix数据增强和OA-Loss训练策略，解决单域泛化在目标检测中语义特征受损导致定位不精确和误分类的问题，在标准基准上超越现有方法。
2023-12-19 cs.CV cs.LG
Instance Segmentation of Biomedical Images with an Object-aware Embedding Learned with Local Constraints
RWTH Aachen University（亚琛工业大学）
自动实例分割是许多生物医学应用中出现的问题。现有技术的方法或者执行语义分割或者细化从检测方法获得的对象边界框。这两种方法都在不同程度上受到拥挤对象的影响，合并相邻对象或抑制有效对象。在这项工作中，我们通过深度神经网络为每个像素分配一个嵌入向量。该网络被训练为输出来自同一对象的像素的相似方向的嵌入向量，而相邻对象在嵌入空间中是正交的，这有效地避免了人群中对象的融合。我们的方法即使在细胞分割（BBBC006 + DSB2018）和叶分割数据集（CVPPP2017）上使用轻量级骨干网络也能产生最先进的结果。代码和模型权重是公开的。
2020-04-21 cs.CV cs.LG
Context-Aware Transfer Attacks for Object Detection
University of California Riverside（加州大学河滨分校）
近年来，针对图像分类器的黑盒转移攻击得到了广泛的研究。相比之下，在对象检测器的转移攻击方面几乎没有取得进展。对象检测器采取图像的整体视图，并且一个对象的检测（或缺少对象）通常取决于场景中的其他对象。这使得这样的检测器本质上是上下文感知的，并且在这个空间中的对抗攻击比针对图像分类器的攻击更具挑战性。在本文中，我们提出了一种新的方法来生成上下文感知攻击的对象检测器。我们表明，通过使用同现的对象和它们的相对位置和大小作为上下文信息，我们可以成功地生成有针对性的错误分类攻击，在黑盒对象检测器上实现比状态检测器更高的传输成功率。我们使用PASCAL VOC和MS COCO数据集的图像在各种对象检测器上测试了我们的方法，并证明性能提高了$20$个百分点与其他最先进的方法相比。
2021-12-06 cs.AI cs.CV cs.LG
Object detection via a multi-region & semantic segmentation-aware CNN model
Universite Paris Est（巴黎东大学）；Ecole des Ponts ParisTech（巴黎路桥学院）
我们提出了一种目标检测系统，该系统依赖于多区域深度卷积神经网络（CNN），该网络还对语义分割感知特征进行编码。由此产生的基于CNN的表示的目的是捕捉一组不同的歧视性的外观因素，并表现出定位灵敏度，这是必不可少的准确的对象定位。我们利用我们的识别模块的上述属性，将其集成在迭代定位机制上，该机制在对框提案进行评分和使用深度CNN回归模型对其位置进行细化之间交替。得益于我们模块的高效使用，我们能够以非常高的定位精度检测目标。在PASCAL VOC 2007和PASCAL VOC 2012的检测挑战中，我们分别实现了78.2%和73.9%的mAP，大大超过了任何其他已发表的工作。
2015-09-23 cs.CV cs.LG cs.NE
SyMFM6D: Symmetry-aware Multi-directional Fusion for Multi-View 6D Object Pose Estimation
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Tübingen（图宾根大学）；Ulm University（乌尔姆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
提出SyMFM6D，一种对称感知的多视角6D物体姿态估计器，通过深度多方向融合网络融合多视角RGB-D帧并预测关键点，有效解决了单视角下的遮挡和对称模糊问题，在单视角和多视角6D姿态估计中均显著优于现有技术。
2023-07-01 cs.AI cs.CV cs.LG
Instance-aware, Context-focused, and Memory-efficient Weakly Supervised Object Detection
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA（英伟达）
弱监督学习通过减少训练过程中对强监督的需求，已经成为目标检测的一种引人注目的工具。然而，主要的挑战仍然存在：（1）对象实例的区分可能是模糊的;（2）检测器倾向于关注有区别的部分，而不是整个对象;（3）没有地面真理，对象建议必须是冗余的高召回，导致显着的内存消耗。应对这些挑战是困难的，因为它往往需要消除不确定性和琐碎的解决方案。针对这些问题，我们开发了一个实例感知和上下文为中心的统一框架。它采用了一个实例感知的自训练算法和一个可学习的混凝土DropBlock，同时设计了一个内存高效的顺序批量反向传播。我们提出的方法在COCO（$12.1\% ~AP$，$24.8\% ~AP_{50}$），VOC 2007（$54.9\% ~AP$）和VOC 2012（$52.1\% ~AP$）上实现了最先进的结果，大大提高了基线。此外，该方法是第一个基准ResNet为基础的模型和弱监督视频目标检测。代码、模型和更多细节将在https://github.com/NVlabs/wetectron上提供。
2020-10-21 cs.CV cs.LG eess.IV
Blind Inpainting with Object-aware Discrimination for Artificial Marker Removal
ZJU-UIUC Institute, Zhejiang University（浙江大学ZJU-UIUC学院）；University of Washington（华盛顿大学）
针对医学图像人工标记干扰AI诊断且现有修复需手动掩码的问题，提出含双分支重建网络与目标感知判别器的盲修复方法，在三类医学数据集上表现优于SOTA方法。
2024-10-31 cs.CV cs.LG eess.IV
Class-aware Sounding Objects Localization via Audiovisual Correspondence
Beijing Key Laboratory of Big Data Management and Analysis Methods（大数据管理与分析方法研究北京市重点实验室）；Department of Information Engineering, the Chinese University of Hong Kong（香港中文大学信息工程系）；School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University（上海交通大学电子信息与电气工程学院）
视听场景在我们的日常生活中无处不在。对于人类来说，有区别地定位不同的发声对象是司空见惯的，但是对于机器来说，在没有类别注释的情况下实现类别感知的发声对象定位是相当具有挑战性的，即，定位发声对象并识别其类别。为了解决这个问题，我们提出了一个两阶段的一步一步的学习框架来定位和识别发声对象在复杂的视听场景中，只使用音频和视觉之间的对应关系。首先，我们建议在单源情况下通过粗粒度的视听对应来确定探测区域。然后，在发声区域的视觉特征被用作候选对象表示，建立一个类别表示对象字典表达视觉字符提取。我们生成类感知的对象本地化地图在鸡尾酒会的情况下，并使用视听对应抑制沉默的地区，通过参考这个字典。最后，我们采用类别级视听一致性作为监督，以实现细粒度的音频和发声对象分布对齐。在真实视频和合成视频上的实验表明，该模型在定位和识别目标以及过滤掉无声目标方面都具有很好的性能。我们还将学习的视听网络转移到无监督的目标检测任务中，获得了合理的性能。
2021-12-22 cs.AI cs.CV cs.MM
3D Object Detection on Point Clouds using Local Ground-aware and Adaptive Representation of scenes' surface
NIO USA Inc（蔚来汽车美国公司）
提出了一种新颖的、自适应地面感知的、具有成本效益的3D目标检测流水线。本文介绍的地面表示与单平面对应物（使用单个平面对整个3D场景的表面进行建模的方法）相比，要精确得多，同时速度要快10倍。地面表示的新颖性在于在激光雷达感知问题中表示场景的地面表面的方式，以及计算它的（具有成本效益的）方式。此外，所提出的目标检测流水线建立在传统的两阶段目标检测模型的基础上，通过结合动态推理场景表面的能力，最终在两阶段激光雷达目标检测流水线中实现新的最先进的3D目标检测性能。
2020-06-26 cs.CV cs.LG cs.RO
Anytime-Lidar: Deadline-aware 3D Object Detection
George Mason University（乔治梅森大学）；University of Kansas（堪萨斯大学）
在这项工作中，我们提出了一种新的调度框架，使基于深度神经网络（DNN）的3D目标检测管道的随时感知。我们专注于计算昂贵的区域建议网络（RPN）和每个类别的多头检测器组件，这是常见的3D目标检测管道，并使他们的截止日期意识。我们提出了一个调度算法，智能地选择组件的子集，使有效的时间和准确性的权衡飞行。我们通过估计将先前检测到的对象投影到当前场景上，从而最小化跳过某些神经网络子组件的准确性损失。我们将我们的方法应用于最先进的3D目标检测网络PointPillars，并使用nuScenes数据集在Jetson Xavier AGX上评估其性能。与基线相比，我们的方法显着提高了网络的准确性在各种截止日期的限制。
2022-08-25 cs.AI cs.CV cs.SY
