BOP-ASK: Object-Interaction Reasoning for Vision-Language Models
New York University（纽约大学）；NVIDIA（英伟达）
本文提出BOP-ASK数据集，用于训练和评估视觉-语言模型的对象交互推理能力，包含15万张图像和3300万对问题答案，涵盖六个任务，验证了模型在复杂环境中的空间推理能力。
2026-04-19 cs.CV cs.RO
Convolutional STN for Weakly Supervised Object Localization
École de Technologie Superieure, Université du Québec（魁北克大学高等技术学院）
弱监督目标定位是一项具有挑战性的任务，其中感兴趣的目标应该在学习其外观的同时进行定位。最先进的方法通过使用最后一层的激活图来定位对象来回收标准CNN的架构。虽然这种方法很简单并且工作得相对较好，但对象定位依赖于与分类不同的特征，因此，在训练期间需要专门的定位机制来提高性能。在本文中，我们提出了一个卷积的多尺度空间定位网络，为感兴趣的对象提供准确的定位。在CUB-200-2011和ImageNet数据集上的实验结果表明，我们提出的方法为弱监督定位提供了有竞争力的性能。
2020-12-01 cs.CV cs.LG
Detection-by-Localization: Maintenance-Free Change Object Detector
University of Fukui（福井大学）
最近的研究表明，自定位性能是一个非常有用的措施的可能性变化（LoC）的变化检测。在本文中，这种“检测本地化”计划研究了一种新的广义任务的对象级变化检测。在我们的框架中，一个给定的查询图像被分割成对象级的子图像（称为“场景部分”），然后通过本地化检测方案将其转换为子图像级的像素级LoC地图。我们的方法模型的自定位系统作为一个排名功能，输出排名列表的参考图像，而不需要相关性得分。由于这种新的设置，我们可以将我们的方法推广到广泛的自定位系统。我们的排名为基础的自定位模型允许融合自定位结果从不同的方式通过一个无监督的排名融合来自多模态信息检索（MMR）的领域。
2018-09-14 cs.CV cs.RO
Vision-based Robotic Grasping From Object Localization, Object Pose Estimation to Grasp Estimation for Parallel Grippers: A Review
CloudMinds Technologies（达闼科技）
本文对基于视觉的机器人抓取进行了全面的综述。总结了基于视觉的机器人抓取过程中的三个关键任务：物体定位、物体姿态估计和抓取估计。具体地说，目标定位任务包括无分类目标定位、目标检测和目标实例分割。该任务提供输入数据中的目标对象的区域。物体位姿估计任务主要是指估计6D物体位姿，包括基于对应关系的方法、基于模板的方法和基于投票的方法，其提供已知物体的抓取位姿的生成。抓取估计任务包括2D平面抓取方法和6DoF抓取方法，其中前者被约束为从一个方向抓取。这三个任务可以通过不同的组合来完成机器人抓取。许多目标位姿估计方法不需要目标定位，而是将目标定位和目标位姿估计联合进行。许多抓取估计方法不需要目标定位和姿态估计，而是以端到端的方式进行抓取估计。本调查详细回顾了传统方法和基于RGB-D图像输入的最新深度学习方法。相关的数据集和国家的最先进的方法之间的比较也进行了总结。此外，还指出了基于视觉的机器人抓取的挑战和解决这些挑战的未来方向。
2020-10-26 cs.CV cs.RO
One-Shot General Object Localization
Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）
本文提出了一种通用的单次目标定位算法OneLoc。当前的一次性目标定位或检测方法要么依赖于缓慢的穷举特征匹配过程，要么缺乏推广到新目标的能力。相比之下，我们提出的OneLoc算法通过特殊的投票方案有效地找到对象中心和限界框大小。为了保持我们的方法的尺度不变，只有单位中心偏移方向和相对大小的估计。提出了一种新的密集均衡投票模块，以更好地定位小的无纹理的对象。实验结果表明，该方法在OnePose和LINEMOD两个数据集上均取得了较好的整体性能。此外，我们的方法还可以实现一次性多实例检测和非刚性目标定位。代码库：https://github.com/qq456cvb/OneLoc。
2022-11-24 cs.CV cs.LG
Automatic Construction of Real-World Datasets for 3D Object Localization using Two Cameras
LISPEN（LISPEN实验室）；Arts et Métiers ParisTech（巴黎高等工艺学院）
与分类不同，位置标签不能由人类手动分配。因此，生成用于精确对象定位的监督是一项艰巨的任务。本文详细介绍了一种使用工业机器人生成位置标签的方法，该方法使用真实世界的图像创建用于3D对象定位的大型数据集。通过了解机器人的几何形状，我们能够自动同步两个摄像头的图像和物体的3D位置。我们使用KUKA LBR iiwa机器人将其应用于生成具有立体图像的螺丝刀定位数据集。然后，该数据集可以用于训练CNN回归器，以从一组两个标准未校准相机学习端到端立体对象定位。
2018-09-11 cs.CV cs.RO
OPFormer: Object Pose Estimation leveraging foundation model with geometric encoding
Czech Institute of Informatics, Robotics and Cybernetics（捷克信息学、机器人学与自动化研究所）；Czech Technical University in Prague（布拉格捷克技术大学）
本文提出端到端物体位姿估计框架OPFormer，结合基础模型与NOCS几何编码，支持CAD模型或多视图NeRF两种适配方式，在BOP基准上实现了精度与效率的良好平衡，适用于有模型和无模型场景。
2025-11-16 cs.AI cs.CV cs.LG
MoNet3D: Towards Accurate Monocular 3D Object Localization in Real Time
Chongqing University（重庆大学）；Arizona State University（亚利桑那州立大学）
三维空间中的单目多目标检测和定位已被证明是一项具有挑战性的任务。MoNet 3D算法是一种新颖而有效的框架，它可以预测单目图像中每个对象的3D位置，并为每个对象绘制3D限界框。MoNet 3D方法将相邻对象的空间几何相关性的先验知识融入深度神经网络训练过程中，以提高3D对象定位的准确性。在KITTI数据集上的实验表明，该算法对三维空间中物体的深度和水平坐标的预测准确率分别达到96.25%和94.74%。此外，该方法能够实现每秒27.85帧的实时图像处理，在嵌入式高级辅助驾驶系统中具有良好的应用前景。我们的代码可在https://github.com/CQUlearningsystemgroup/YicongPeng上公开获取。
2020-06-29 cs.CV cs.LG
Improved Counting and Localization from Density Maps for Object Detection in 2D and 3D Microscopy Imaging
New York University（纽约大学）；University Hospital Bonn（波恩大学医院）
物体计数和定位是大规模显微应用中定量分析的关键步骤。当目标对象重叠、密集聚集和/或存在模糊边界时，该过程变得具有挑战性。基于深度学习产生密度图的先前方法通过假设对象计数等效于密度图的积分而达到了对象计数的高精度水平。然而，当对象在准确定位方面显示出显著重叠时，该模型失败。我们提出了另一种方法来计算和定位对象的密度图，以克服这一限制。我们的过程包括以下三个关键方面：1）提出了一种新的计数方法的基础上的统计特性的密度图，2）优化的计数结果，这些目标是良好的检测的基础上提出的计数方法，和3）改善定位检测不良的目标使用所提出的计数方法作为先验信息。验证包括用已知的地面实况处理显微镜数据，并与使用密度图的常规处理的其他模型进行比较。我们的研究结果表明，在2D和3D显微镜数据中的对象的计数和定位的性能有所改善。此外，所提出的方法是通用的，考虑到依赖于密度图方法的各种应用。我们的代码将在审查后发布。
2022-03-29 cs.CV cs.LG
Active Detection and Localization of Textureless Objects in Cluttered Environments
Sapienza University of Rome（罗马第一大学）
本文介绍了一种主动目标检测和定位框架，结合了一个强大的无纹理目标检测和三维姿态估计算法与一个新的下一个最佳视图选择策略。我们解决的检测和定位问题，提出了一个基于边缘的配准算法，细化对象的位置，通过最小化的成本直接从3D图像张量，编码的最小距离在一个联合方向/位置空间中的边缘点提取。我们面临的下一个最佳视图的问题，利用一个顺序的决策过程，对于每一步，选择下一个摄像机的位置，最大限度地提高状态和下一个观测之间的互信息。我们通过生成代表场景实现的观察结果，即由对象检测器提供的对象假设的组合样本，同时通过一组不断重新采样的粒子对状态进行建模，来解决该解决方案的内在棘手性。在不同的现实世界，具有挑战性的数据集上进行的实验证实了所提出的方法的有效性。
2016-03-22 cs.CV cs.RO
Anti-Adversarially Manipulated Attributions for Weakly Supervised Semantic Segmentation and Object Localization
Seoul National University（首尔国立大学）
在弱监督语义分割和目标定位中，从类标签中获得精确的像素级定位是一个至关重要的过程。来自经训练的分类器的属性图被广泛用于提供像素级定位，但是它们的焦点往往被限制在目标对象的小的区分区域。AdvCAM是图像的属性图，其被操纵以在最终softmax或sigmoid层之前增加由分类器产生的分类分数。这种操作是以反对抗的方式实现的，使得原始图像沿着像素梯度在与对抗攻击中使用的方向相反的方向上被扰动。这个过程增强了非歧视性的，但类相关的功能，使以前的属性地图的贡献不足，使所得的AdvCAM识别目标对象的更多区域。此外，我们引入了一个新的正则化过程，抑制不正确的归属区域无关的目标对象和过度集中的归属目标对象的一个小区域。我们的方法在PASCAL VOC 2012和MS COCO 2014数据集上实现了弱监督和半监督语义分割的最新性能。在弱监督对象定位中，它在CUB-200-2011和ImageNet-1 K数据集上实现了最新的性能。
2022-04-11 cs.CV cs.LG
Rethinking the Route Towards Weakly Supervised Object Localization
National Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）；Nanjing University（南京大学）
弱监督对象定位（WSOL）旨在定位仅具有图像级标签的对象。以前的方法通常尝试利用特征图和分类权重来间接地使用图像级注释来定位对象。在本文中，我们证明了弱监督的目标定位应分为两个部分：类无关的目标定位和目标分类。对于类无关的对象定位，我们应该使用类无关的方法来生成噪声伪注释，然后在没有类标签的情况下对它们执行限界框回归。我们提出了伪监督目标定位（PSOL）方法作为一种新的方法来解决WSOL。我们的PSOL模型在不同数据集之间具有良好的可移植性，无需微调。通过生成的伪边界框，我们在ImageNet上实现了58.00%的定位准确率，在CUB-200上实现了74.97%的定位准确率，这比以前的模型有很大的优势。
2020-03-03 cs.CV
Bridging the Gap between Classification and Localization for Weakly Supervised Object Localization
Seoul National University（首尔国立大学）；LG AI Research（LG人工智能研究院）
弱监督目标定位的目的是在给定图像中找到一个目标对象区域，只有弱监督，如图像级标签。大多数现有的方法使用类激活图（CAM）来生成定位图;然而，CAM仅识别目标对象的最有区别的部分，而不是整个对象区域。在这项工作中，我们根据输入特征和特定于类别的权重之间的方向不对准来发现分类和定位之间的差距。我们证明，错位抑制CAM的激活，在地区是歧视性的，但属于目标对象。为了弥补这一差距，我们提出了一种方法来调整特征方向与类特定的权重。该方法在CUB-200-2011和ImageNet-1 K基准测试中实现了最先进的定位性能。
2022-04-01 cs.CV
Learning Transferable Reward for Query Object Localization with Policy Adaptation
NEC Labs America（美国NEC实验室）；Rutgers University（罗格斯大学）
我们提出了一种基于强化学习的方法来查询对象定位，其中代理被训练来定位由一个小的示例集指定的感兴趣的对象。我们学习一个可转移的奖励信号制定使用的示范性的顺序度量学习。我们提出的方法使测试时的政策适应新的环境中的奖励信号是不容易获得的，并优于微调方法，仅限于注释的图像。此外，可转移的奖励允许将经过训练的代理从一个特定类别重新用于另一个类别。在MNIST、CU-Birds和COCO数据集上的实验证明了该方法的有效性。
2022-03-15 cs.CV cs.LG
LIT: Light-field Inference of Transparency for Refractive Object Localization
University of Michigan（密歇根大学）
半透明在日常场景中普遍存在。因此，对透明物体的感知对于机器人执行操作至关重要。与纹理丰富或纹理较少的朗伯物体相比，透明度会导致物体外观的显著不确定性。模糊性可能是由于光照、视点和背景的变化，其中每一个都给现有的对象姿态估计算法带来了挑战。在这项工作中，我们提出了LIT，一个两阶段的透明物体姿态估计方法，使用光场传感和真实感渲染。LIT在深度网络中使用特定于光场图像的多个过滤器来捕获透明材料属性，并基于生成采样进行鲁棒的深度和姿态估计。随着LIT算法，我们介绍了光场透明对象数据集ProLIT的识别，定位和姿态估计的任务。关于这个ProLIT数据集，我们证明了LIT可以优于最先进的端到端姿态估计方法和透明物体上的生成姿态估计器。
2020-03-23 cs.CV cs.RO
Weakly Supervised Object Localization as Domain Adaption
Institute of Medical Technology Peking University（北京大学医学技术研究院）；Bytedance AI Lab（字节跳动人工智能实验室）；Department of Biomedical Engineering Peking University（北京大学生物医学工程系）；University of Western Ontario（西安大略大学）；Institute of Biomedical Engineering Peking University Shenzhen Graduate School（北京大学深圳研究生院生物医学工程研究所）
弱监督对象定位（WSOL）专注于仅在图像级分类掩码的监督下定位对象。大多数以前的WSOL方法遵循分类激活图（CAM），其基于具有多实例学习（MIL）机制的分类结构来定位对象。然而，MIL机制使得CAM只激活可区分的对象部分而不是整个对象，削弱了其定位对象的性能。为了避免这个问题，这项工作提供了一种新的视角，将WSOL建模为域自适应（DA）任务，其中在源/图像域上训练的分数估计器在目标/像素域上进行测试以定位对象。从这个角度来看，DA-WSOL管道旨在更好地将DA方法引入WSOL，以提高本地化性能。它利用一个建议的目标抽样策略来选择不同类型的目标样本。基于这些类型的目标样本，域自适应定位（DAL）的损失进行了阐述。它通过DA调整两个领域之间的特征分布，并通过Universum正则化使估计器感知目标领域线索。实验表明，我们的管道优于SOTA方法在多个基准测试。代码在\url{https://github.com/zh460045050/DA-WSOL_CVPR2022}发布。
2022-03-25 cs.CV cs.LG
3D Object Localization Using 2D Estimates for Computer Vision Applications
Zhejiang University（浙江大学）；NED University of Engineering and Technology（NED工程技术大学）；Sungkyunkwan University（成均馆大学）；Chosun University（朝鲜大学）
提出了一种基于位姿估计和摄像机标定的目标定位方法。通过收集对象的多个二维（2D）图像来估计三维（3D）坐标，并将其用于相机的校准。讨论了标定过程中的若干参数计算，包括用于消除透镜畸变的内、外参数计算、物体尺寸计算和摄像机位置计算。提出了一种利用二维图像估计三维姿态的变换策略。在MATLAB平台上实现了该方法，并对姿态估计和摄像机标定进行了实验验证。
2021-08-21 cs.CV cs.RO
On Label Granularity and Object Localization
Caltech（加州理工学院）；Google（谷歌）；Cornell University（康奈尔大学）；University of Copenhagen（哥本哈根大学）；University of Edinburgh（爱丁堡大学）
弱监督对象定位（WSOL）旨在学习仅使用图像级类别标签编码对象位置的表示。然而，许多对象可以以不同的粒度级别进行标记。它是一种动物，一只鸟，还是一只大角猫头鹰？我们应该使用哪些图像级标签？在本文中，我们研究了标签粒度在WSOL中的作用。为了方便这项调查，我们介绍了iNatLoc500，一个新的大规模细粒度的基准数据集的WSOL。令人惊讶的是，我们发现选择正确的训练标签粒度比选择最好的WSOL算法提供了更大的性能提升。我们还表明，改变标签粒度可以显着提高数据效率。
2022-07-20 cs.CV cs.LG
A Robot Localization Framework Using CNNs for Object Detection and Pose Estimation
Otto von Guericke University Magdeburg（马格德堡奥托·冯·格里克大学）
外部定位是小型或具有成本效益的机器人室内操作的重要组成部分，因为它们被用于例如群体机器人。本文提出了一种基于卷积神经网络的任意机器人两阶段定位和实例识别框架。对操作区的外部摄像机图像执行目标检测，为识别和取向估计卷积神经网络提供机器人边界框。此外，我们提出了一个过程来生成必要的训练数据。该框架进行了评估与3种不同的机器人类型和各种识别模式。我们分析了主要的框架超参数，为框架操作设置提供了建议。我们在GPU上以50 Hz的帧速率运行时，实现了高达98%的mAP@IOU0.5和仅1.6 °的方向误差。
2018-10-03 cs.CV cs.RO
Leveraging Transformers for Weakly Supervised Object Localization in Unconstrained Videos
ETS Montreal（蒙特利尔理工学院）；Ericsson（爱立信）
针对弱监督视频目标定位中现有方法精度受限、时序信息利用困难的问题，提出基于Transformer的TrCAM-V方法，结合CLIP伪标签与CRF损失训练，在YouTube-Objects数据集上取得分类与定位精度的新SOTA。
2024-07-08 cs.CV cs.LG
ScanRefer: 3D Object Localization in RGB-D Scans using Natural Language
Technical University of Munich（慕尼黑工业大学）；Simon Fraser University（西蒙弗雷泽大学）
我们介绍了使用自然语言描述的RGB-D扫描中的3D对象定位的任务。作为输入，我们假设扫描的3D场景的点云以及指定目标对象的自由形式描述。为了解决这个问题，我们提出了ScanRefer，从3D对象建议和编码的句子嵌入中学习融合的描述符。该融合描述符将语言表达与几何特征相关联，从而实现目标对象的3D限界框的回归。我们还介绍了ScanRefer数据集，其中包含来自800个ScanNet场景的11，046个对象的51，583个描述。ScanRefer是第一个通过自然语言表达直接在3D中执行对象定位的大规模努力。
2020-11-11 cs.CL cs.CV cs.LG
Object-Guided Day-Night Visual Localization in Urban Scenes
Czech Technical University in Prague（布拉格捷克理工大学）；IRL 2958 GT-CNRS（法国国家科学研究中心GT联合研究实验室（IRL 2958））
我们介绍了对象引导定位（OGuL）的基础上，一种新的方法的局部特征匹配。局部特征的直接匹配对光照的显著变化敏感。相比之下，目标检测通常经受住照明条件的剧烈变化。该方法首先检测语义对象，并建立图像之间的这些对象的对应关系。对象对应以平面单应性的形式提供图像的局部粗对准。因此，这些单应性用于指导局部特征的匹配。在标准城市定位数据集（Aachen，Extended-CMU-Season，RobotCar-Season）上的实验表明，OGuL使用与SIFT一样简单的本地特征显着改善了定位结果，其性能与最先进的基于CNN的方法进行了日夜定位训练。
2022-02-09 cs.CV
MinMaxCAM: Improving object coverage for CAM-basedWeakly Supervised Object Localization
KU Leuven（鲁汶大学）；University of Antwerp（安特卫普大学）；imec-IDLab
弱监督目标定位最常见的问题之一是目标覆盖不准确。在基于类激活映射的现有技术方法的背景下，这是由专门聚焦于感兴趣对象的最有区别的区域的定位图或由在背景区域中发生的激活引起的。为了解决这两个问题，我们提出了两种表示正则化机制：全区域正则化，它试图最大限度地提高目标区域内的本地化地图的覆盖率，和公共区域正则化，它最大限度地减少背景区域中发生的激活。我们在ImageNet、CUB-200-2011和OpenImages-segmentation数据集上评估了这两种正则化，并表明所提出的正则化解决了这两个问题，显著优于现有技术。
2021-04-29 cs.CV
Improving Weakly-Supervised Object Localization By Micro-Annotation
IST Austria（奥地利科学技术研究所）
弱监督的对象定位方法往往会失败的对象类，始终与相同的背景元素，如火车上的轨道。我们提出了一种方法来克服这些故障，通过添加一个非常少量的模型特定的附加注释。其主要思想是将深度网络的中层表示聚类，并为每个聚类分配对象或干扰项标签。实验表明，在具有挑战性的ILSVC 2014数据集上进行限界框检测和在PASCAL VOC 2012数据集上进行语义分割的定位结果得到了显著改善。
2016-05-18 cs.CV
Spatial-Aware Object Embeddings for Zero-Shot Localization and Classification of Actions
University of Amsterdam（阿姆斯特丹大学）
我们的目标是zero-shot定位和分类的人的行动，在视频。传统的方法依赖于全局属性或对象分类分数的zero-shot知识转移，我们的主要贡献是空间感知对象嵌入。为了达到空间感知，我们在免费提供的演员和对象检测器之上构建嵌入。在词嵌入空间中确定对象的相关性，并进一步用估计的空间偏好来实施。除了局部对象感知，我们还将全局对象感知嵌入到我们的嵌入中，以最大限度地提高演员和对象的交互。最后，我们利用对象的位置和大小的空间感知嵌入展示了一个新的时空动作检索方案与复合查询。四个当代动作视频数据集上的动作定位和分类实验支持我们的建议。除了在zero-shot定位和分类设置中的最先进的结果之外，我们的空间感知嵌入甚至与最近的监督动作定位替代方案具有竞争力。
2017-07-28 cs.CV
Improved Techniques For Weakly-Supervised Object Localization
Yonsei University（延世大学）
我们提出了一种改进的弱监督对象定位技术。传统的方法有一个局限性，他们只集中在最有区别的部分的目标对象。最近的研究解决了这个问题，并解决了这个限制，增加了训练数据的歧视性较低的部分。为此，我们采用了一种有效的数据增强，以提高目标定位的准确性。此外，我们引入了改进的学习技术，通过优化卷积神经网络（CNN）的基础上，最先进的模型。基于大量的实验，我们评估所提出的方法的有效性定性和定量。特别是，我们观察到，与当前最先进的弱监督对象定位技术相比，我们的方法根据配置将Top-1定位精度提高了21.4 - 37.3%。
2018-05-10 cs.CV
Sketch-Guided Object Localization in Natural Images
Indian Institute of Science, Bengaluru（印度科学理工学院）；Indian Institute of Technology, Jodhpur（印度理工学院焦特布尔分校）
我们引入了一个新的问题，即通过草图查询在自然图像中定位一个对象的所有实例（在训练过程中看到或看不到）。我们把这个问题称为草图引导的对象定位。这个问题是明显不同于传统的基于草图的图像检索任务，画廊集往往包含只有一个对象的图像。当我们考虑以下因素时，草图引导的对象定位被证明更具挑战性：（i）用作查询的草图是具有关于对象的形状和显著属性的很少信息的抽象表示，（ii）草图具有显著的可变性，因为它们是由各种各样的未经训练的人类主体手绘的，以及（iii）由于草图查询和目标自然图像是从非常不同的数据分布中采样的，因此在草图查询和目标自然图像之间存在域间隙。为了解决草图引导的对象定位问题，我们提出了一种新的跨模态注意力方案，指导区域建议网络（RPN）生成与草图查询相关的对象建议。这些对象建议稍后针对查询进行评分以获得最终定位。我们的方法是有效的，只要一个单一的草图查询。此外，它还可以很好地推广到训练期间未看到的对象类别，并且可以有效地定位图像中存在的多个对象实例。此外，我们将我们的框架扩展到多查询设置使用新的特征融合和注意力融合策略，本文介绍。本地化性能在公开可用的目标检测基准上进行评估，即MS-COCO和PASCAL-VOC，草图查询从“Quick，Draw！'.所提出的方法显着优于相关基线单查询和多查询本地化任务。
2020-08-14 cs.CV cs.IT cs.LG
Multiscale Vision Transformer With Deep Clustering-Guided Refinement for Weakly Supervised Object Localization
Hanyang University（汉阳大学）；Seoul National University of Science and Technology（首尔国立科技大学）
针对弱监督目标定位精度有限的问题，提出多尺度目标定位Transformer及深度聚类引导优化方法，在ILSVRC-2012数据集上验证了有效性。
2023-12-15 cs.AI cs.CV
LocNet: Improving Localization Accuracy for Object Detection
Universite Paris Est（巴黎东大学）；Ecole des Ponts ParisTech（巴黎路桥学院）
我们提出了一种新的目标定位方法，目的是提高最先进的目标检测系统的定位精度。我们的模型，给定一个搜索区域，旨在返回该区域内的感兴趣的对象的限界框。为了实现其目标，它依赖于分配条件概率的每一行和每一列的这个区域，这些概率提供有用的信息，关于搜索区域内的对象的边界的位置，并允许在一个简单的概率框架下的对象限界框的准确推断。为了实现我们的定位模型，我们使用了一个卷积神经网络架构，该架构被称为LocNet，适合于此任务。我们通过实验表明，LocNet在PASCAL VOC 2007测试集上实现了对高IoU阈值的mAP的非常显着的改进，并且它可以很容易地与最近最先进的目标检测系统相结合，帮助他们提高性能。最后，我们证明了我们的检测方法可以达到很高的检测精度，即使它是作为输入的一组滑动窗口，从而证明它是独立的框建议方法。
2016-04-07 cs.CV cs.LG cs.NE
MOST: Multiple Object localization with Self-supervised Transformers for object discovery
Meta；University of Maryland, College Park（马里兰大学帕克分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
本研究提出基于自监督Transformer的多目标定位方法MOST，通过盒计数法分析特征相似性图识别前景token并聚类生成边界框，可单图定位多目标，在多个基准上超越SOTA，还可用于目标检测器自监督预训练提升性能。
2023-08-26 cs.CV
Multi-scale Volumes for Deep Object Detection and Localization
University of California, San Diego（加利福尼亚大学圣迭戈分校）
本研究旨在分析改进的多尺度推理用于深度卷积神经网络的目标检测和定位的益处。为此，提出了一种有效的和通用的目标检测框架，该框架在深特征金字塔的尺度体积上操作。与所提出的方法相反，大多数当前最先进的对象检测器在训练中在单一尺度上操作，而测试涉及跨尺度的独立评估。所提出的方法的一个好处是更好地捕获多尺度上下文信息，从而在PASCAL VOC数据集和多视图高速公路车辆数据集上的对象的检测性能和定位质量方面都有显着提高。联合检测和定位尺度特定的模型，特别有利于检测具有挑战性的对象类别，表现出大规模的变化，以及小对象的检测。
2016-07-26 cs.CV
Space-Time Memory Network for Sounding Object Localization in Videos
University of Rochester（罗切斯特大学）
利用视觉和声音的时间同步和关联是实现探测对象鲁棒定位的重要一步。为此，我们提出了一个空间-时间记忆网络的声音在视频中的对象定位。它可以同时从音频和视觉模态中学习单模态和跨模态表示的时空注意力。我们将时空学习本地化视听对象的有效性进行了定量和定性分析。我们证明，我们的方法概括了各种复杂的视听场景，并优于最近的最先进的方法。
2021-11-10 cs.CV
Unsupervised Object Localization in the Era of Self-Supervised ViTs: A Survey
Kyutai
本文综述了自监督ViT时代无需人工标注即可在图像中发现目标的无监督目标定位方法，并整理了相关方法链接仓库。
2024-08-08 cs.CV
Text-guided Zero-Shot Object Localization
针对目标定位依赖大量标注数据的问题，提出零样本目标定位框架，通过引入CLIP模块融合视觉与语言信息，并设计TSSM模块增强文本特征，在无标注样本下实现文本引导的目标定位，显著提升了性能。
2024-11-18 cs.CV
Gaussian Processes with Context-Supported Priors for Active Object Localization
Portland State University（波特兰州立大学）；Santa Fe Institute（圣塔菲研究所）
我们设计了一个算法，使用贝叶斯优化框架结合上下文视觉数据的有效定位的对象在静止图像。最近的研究表明，在目标定位和相关任务的计算机视觉的实质性进展。然而，许多当前最先进的对象定位程序仍然遭受不准确和低效率，除了未能提供一个有原则的和可解释的系统服从高层次的视觉任务。我们通过目前的研究来解决这些问题。我们的方法包括一个积极的搜索过程，使用上下文数据来生成目标对象的初始边界框建议。我们训练一个卷积神经网络来近似与目标物体的偏移距离。接下来，我们使用高斯过程在目标的搜索空间上对该偏移响应信号进行建模。然后，我们采用贝叶斯主动搜索准确定位的目标。在实验中，我们比较我们的方法，一个具有挑战性的行人定位任务的最先进的边界框回归方法。我们的方法表现出这种基线回归方法的实质性改进。
2017-09-20 cs.CV
BioDet: Boosting Industrial Object Detection with Image Preprocessing Strategies
Technical University of Munich（慕尼黑技术大学）；XYZ Robotics（XYZ机器人）
针对工业环境中目标检测在杂乱、光照不足等条件下性能退化的问题，提出基于低光增强和基础模型开词汇检测引导背景去除的即插即用预处理流程，显著提升检测精度且开销极小。
2025-10-23 cs.CV
Learning Consistency from High-quality Pseudo-labels for Weakly Supervised Object Localization
Shanghai Jiao Tong University（上海交通大学）；Shanghai Frontier Science Research Center for Gravitational Wave Detection（上海引力波探测前沿科学研究中心）
伪监督学习方法已被证明是有效的弱监督对象定位任务。但有效性依赖于深度神经网络强大的正则化能力。基于定位网络在同一图像的不同版本上应该具有相似的位置预测的假设，我们提出了一种两阶段的方法来学习更一致的定位。在第一阶段，我们提出了一个基于掩码的伪标签生成器算法，并使用伪监督学习方法来初始化目标定位网络。在第二阶段，我们提出了一种简单有效的基于分类判别的伪标签置信度评估方法，并通过从高质量的伪标签中学习一致性，进一步改进定位网络，以获得更好的定位性能。实验结果表明，该方法在CUB-200-2011、ImageNet-1 k和Tiny-ImageNet三个基准数据集上均取得了良好的性能，证明了该方法的有效性。
2022-03-18 cs.CV
Multimodal Query-guided Object Localization
Indian Institute of Science（印度科学学院）
提出一种基于手绘草图和文本描述的多模态查询引导目标定位方法，通过跨模态注意力机制和正交投影评分技术解决查询与自然图像间的领域差距及信息融合挑战。
2024-07-24 cs.CV
Active Object Localization with Deep Reinforcement Learning
Fundación Universitaria Konrad Lorenz（康拉德·洛伦兹大学基金会）；University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了一个主动检测模型定位场景中的对象。该模型是类特定的，并允许代理将注意力集中在候选区域，以识别目标对象的正确位置。该代理学习使用简单的变换动作来变形限界框，其目标是在自顶向下的推理之后确定目标对象的最具体位置。使用深度强化学习训练所提出的定位代理，并在Pascal VOC 2007数据集上进行评估。我们表明，代理人所提出的模型的指导下，能够本地化一个对象的单个实例后，分析只有11和25个区域之间的图像，并获得最好的检测结果之间的系统，不使用对象的建议对象定位。
2015-11-18 cs.CV
Iterative Spectral Clustering for Unsupervised Object Localization
Indian Institute of Technology Gandhinagar（印度理工学院甘地纳格尔分校）
本文讨论了图像中的无监督目标定位问题。与以前的监督和弱监督算法，需要限界框或图像级注释训练分类器，以学习代表对象的功能，我们提出了一个简单而有效的技术，使用迭代谱聚类定位。这种迭代谱聚类方法以及在每次迭代中适当的聚类选择策略自然有助于在图像中搜索对象区域。为了估计最终的定位窗口，我们基于感知相似性对从迭代谱聚类步骤获得的建议进行分组，并对来自最高得分组的建议的坐标进行平均。我们在具有挑战性的数据集（如Object Discovery和PASCAL VOC 2007）上对我们的算法进行了基准测试，平均CorLoc百分比分别为51%和35%，尽管完全无监督，但与其他各种弱监督算法相当。
2017-06-29 cs.CV
ViTOL: Vision Transformer for Weakly Supervised Object Localization
Mercedes-Benz Research and Development India（梅赛德斯-奔驰印度研发中心）
弱监督对象定位（WSOL）的目的是预测对象在图像中的位置，只使用图像级的类别标签。图像分类模型在定位对象时遇到的常见挑战是，（a）它们倾向于查看图像中最具区分性的特征，这些特征将定位图限制在非常小的区域，（b）定位图是类别不可知的，并且模型突出显示同一图像中的多个类别的对象，以及（c）定位性能受背景噪声的影响。为了缓解上述挑战，我们通过我们提出的方法ViTOL引入以下简单的变化。我们利用基于视觉的Transformer进行自我注意，并引入基于补丁的注意力丢弃层（p-ADL）来增加本地化地图的覆盖范围，并引入梯度注意力卷展机制来生成类相关的注意力地图。我们在ImageNet-1 K和CUB数据集上进行了广泛的定量，定性和消融实验。我们在两个数据集上分别实现了70.47%和73.17%的MaxBoxAcc-V2本地化分数。代码可在https://github.com/Saurav-31/ViTOL上获得
2022-04-14 cs.CV
Unsupervised Object Localization with Representer Point Selection
AI Graduate School, GIST（光州科学技术院AI研究生院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
提出基于代表点选择的无监督目标定位方法，利用自监督预训练模型解释预测，在多个数据集上显著超越现有无监督及弱监督方法。
2023-09-08 cs.CV
Rethinking the Localization in Weakly Supervised Object Localization
Wuhan University（武汉大学）；Hubei Luojia Laboratory（湖北珞珈实验室）；Beijing Institute of Technology（北京理工大学）；City, University of London（伦敦大学城市学院）；Nanyang Technological University（南洋理工大学）
针对弱监督目标定位中单类回归只能定位单目标和伪边界框噪声问题，提出二类检测器实现多目标定位，并设计加权熵损失抑制噪声影响，在CUB-200-2011和ImageNet-1K上验证了有效性。
2023-08-11 cs.CV
Team RUC_AIM3 Technical Report at ActivityNet 2021: Entities Object Localization
Renmin University of China（中国人民大学）；INRIA（法国国家信息与自动化研究所）
实体对象定位（EOL）的目的是评估一个描述的基础或忠实程度，包括标题生成和对象基础。以前的工作通过在框架中联合训练两个模块来解决这个问题，这限制了每个模块的复杂性。因此，在本工作中，我们建议将这两个模块分为两个阶段，分别进行改进，以提高整个系统的性能。对于字幕生成，我们提出了一个统一的多模态预训练模型（UPPM），以生成具有丰富对象的事件描述，以便更好地本地化。对于接地检测，我们对现有的检测模型MDETR进行了微调，并设计了一种后处理方法，使接地检测结果更加真实。我们的整个系统在Activitynet 2021的实体对象本地化挑战中的两个子任务上都达到了最先进的性能，子任务I的测试集上的本地化准确率为72.57，子任务II的隐藏测试集上的F1_all_per_sent为0.2477。
2021-06-11 cs.CV
Learning from Counting: Leveraging Temporal Classification for Weakly Supervised Object Localization and Detection
本文提出了一种利用时间分类来支持弱监督目标检测（WSOD）的新方法。具体来说，我们引入光栅扫描顺序技术将2D图像序列化为1D序列数据，然后利用组合的LSTM（长短期记忆）和CTC（连接主义时间分类）网络来实现基于总计数（感兴趣对象）的对象定位。我们提出的网络LSTM-CCTC（基于计数的CTC）。这种“从计数中学习”的策略不同于现有的WSOD方法，因为我们的方法自动识别目标对象上或附近的关键点。该策略显著地减少了生成用于对象定位的大量候选提议的需要。实验表明，我们的方法产生最先进的性能的基础上评估PASCAL VOC数据集。
2021-03-06 cs.CV
Background-aware Classification Activation Map for Weakly Supervised Object Localization
Institute of Medical Technology, Peking University Health Science Center, Peking University（北京大学医学部医学技术研究院）；Department of Biomedical Engineering, Peking University（北京大学生物医学工程系）；Institute of Biomedical Engineering, Shenzhen Bay Laboratory（深圳湾实验室生物医学工程研究所）；Institute of Biomedical Engineering, Peking University Shenzhen Graduate School（北京大学深圳研究生院生物医学工程研究所）；ByteDance AI Lab, ByteDance（字节跳动人工智能实验室）；Key Laboratory of Carcinogenesis and Translational Research (Ministry of Education), Peking University Cancer Hospital & Institute（北京大学肿瘤医院暨研究所，恶性肿瘤发生与转化研究教育部重点实验室）
弱监督目标定位（WSOL）通过使用图像级分类掩码来监督其学习过程，从而放松了目标定位对密集注释的要求。然而，目前的WSOL方法遭受过度激活的背景位置，需要后处理，以获得本地化掩模。本文将这些问题归因于对背景线索的不了解，并提出了背景感知分类激活图（B-CAM），以仅使用图像级标签同时学习对象和背景的定位分数。在我们的B-CAM中，两个图像级的功能，潜在的背景和对象位置的像素级功能聚合，被用来净化对象的功能，从对象相关的背景和代表的纯背景样本的功能，分别。然后基于这两个特征，学习目标分类器和背景分类器，以确定二值目标定位掩模。我们的B-CAM可以训练在端到端的方式的基础上提出的交错分类损失，这不仅提高了对象的定位，但也抑制了背景激活。在CUB-200、OpenImages和VOC 2012数据集上的实验表明，B-CAM的性能优于单阶段WSOL方法.
2021-12-29 cs.CV
Localization Distillation for Dense Object Detection
Tianjin University（天津大学）；Harbin Institute of Technology（哈尔滨工业大学）；Nankai University（南开大学）
知识蒸馏（KD）在目标检测中具有学习紧凑模型的强大能力。以往用于目标检测的KD方法大多集中在模仿区域内的深层特征，而不是模仿分类logit，这是由于其在提取定位信息方面的效率低下和微不足道的改进。本文通过对本地化知识蒸馏过程的重新表述，提出了一种新的本地化蒸馏方法，该方法可以有效地将本地化知识从教师转移到学生。此外，我们还详细介绍了有价值的本地化区域的概念，可以帮助有选择地提取的语义和本地化知识的某一区域。结合这两个新的组件，第一次，我们表明，logit模仿可以优于特征模仿和本地化知识蒸馏是更重要和更有效的比语义知识提取对象检测器。我们的蒸馏方案是简单有效的，可以很容易地应用到不同的密集目标探测器。实验表明，我们的LD可以提高GFocal-ResNet-50的AP分数，在COCO基准测试中，单尺度1x训练时间表从40.1提高到42.1，而不会牺牲推理速度。我们的源代码和训练模型可在https://github.com/HikariTJU/LD上公开获取
2022-03-31 cs.CV
Weakly Supervised Object Localization Using Size Estimates
University of Edinburgh（爱丁堡大学）
我们提出了一种弱监督对象定位（WSOL）技术，该技术基于WSOL算法通常在具有较大对象的图像上效果更好的观察。我们提出了一种课程学习策略，将训练图像按照从包含较大对象的图像到较小对象的顺序馈送到WSOL学习循环中，而不是同时在整个训练集上训练对象检测器。为了自动确定顺序，我们训练一个回归器来估计给定整个图像作为输入的对象的大小。此外，我们使用这些大小估计，以进一步改善WSOL的重新定位步骤，根据其大小与估计的对象大小的匹配程度，为对象提案分配权重。我们证明了具有挑战性的PASCAL VOC 2007数据集上使用大小顺序和大小权重的有效性，在那里我们实现了对现有最先进的WSOL技术的显着改进。
2016-08-16 cs.CV
IoU-aware Single-stage Object Detector for Accurate Localization
Huazhong University of Science and Technology（华中科技大学）
单级目标检测器由于其简单、高效的特点，在计算机视觉的许多应用中得到了广泛的应用。然而，预测检测的分类得分和定位精度之间的低相关性严重损害了模型的定位精度。在本文中，IoU感知的单阶段对象检测器被提出来解决这个问题。具体而言，IoU感知单阶段对象检测器预测每个检测到的盒子的IoU。然后将分类得分和预测的IoU相乘以计算最终的检测置信度，该置信度与定位精度更相关。然后将检测置信度用作后续NMS和COCO AP计算的输入，这将大大提高模型的定位精度。在COCO和PASCAL VOC数据集上进行的大量实验证明了IoU感知的单阶段目标检测器在提高模型定位精度方面的有效性。在没有哨声和铃声的情况下，所提出的方法可以在COCO \textit{test-dev}上通过$1.7\%\sim1.9\%$和$2.2\%\sim2.5\%$显著改善AP 75。在PASCAL VOC上，该方法可以通过$2.9\%\sim4.4\%$显著提高AP，通过$4.6\%\sim10.2\%$显著提高AP 80、AP 90。代码可以在这里找到：{https：//github.com/ShengkaiWu/IoU-aware-single-stage-object-detector}。
2020-04-15 cs.CV
Class Correlation affects Single Object Localization using Pre-trained ConvNets
Carnegie Mellon University（卡内基梅隆大学）
目标定位问题已经成为视觉领域的主流问题之一。提出的大多数算法都涉及模型的设计，专门用于定位对象。在本文中，我们探讨了一个预先训练的规范ConvNet（未经微调）是否可以用于在一个具有全局图像级别标签的数据集上进行对象分类，以定位包含单独数据集上单个实例的图像中的对象，同时推广到新的类。我们提出了一个简单的算法，涉及裁剪和涂黑的图像空间中的区域称为显式图像空间为基础的搜索（EISS）定位在图像中的对象定位的上下文中最敏感的区域。EISS揭示了一个有趣的现象，即ConvNets更多地响应对象内的特征，而不是对象级描述符，因为训练数据中的类变得更加相关（视觉/语义相似）。
2017-10-27 cs.CV
Few-shot Object Localization
Beijing University of Technology（北京工业大学）
本文定义了Few-Shot Object Localization (FSOL)任务，旨在利用少量样本实现目标定位，并提出集成双路径特征增强与自查询模块的高性能基线模型，显著提升了定位性能。
2024-06-05 cs.CV
Adversarial Complementary Learning for Weakly Supervised Object Localization
University of Technology Sydney（悉尼科技大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；National University of Singapore（新加坡国立大学）
在这项工作中，我们提出了对抗性互补学习（ACoL），以自动定位具有弱监督的语义兴趣的完整对象。我们首先在数学上证明了类定位图可以通过直接选择最后一个卷积层的类特定特征图来获得，这为识别对象区域铺平了一条简单的道路。然后，我们提出了一个简单的网络架构，包括两个并行分类器的对象定位。具体来说，我们利用一个分类分支，动态地定位一些歧视性的对象区域在向前通过。虽然它通常对目标对象的稀疏部分做出响应，但该分类器可以通过从特征图中擦除其发现的区域来驱动对应分类器发现新的和互补的对象区域。通过这种对抗性学习，两个并行分类器被迫利用互补的对象区域进行分类，并最终可以一起生成完整的对象定位。ACoL的优点主要有两个方面：1）它可以以端到端的方式进行训练; 2）动态擦除使对等分类器能够更有效地发现互补对象区域。我们在各种实验中证明了我们的ACoL方法的优越性。特别是，ILSVRC数据集上的Top-1定位出错率为45.14%，这是最新的技术水平。
2018-04-19 cs.CV
Self-taught Object Localization with Deep Networks
Dartmouth College（达特茅斯学院）；Google Inc.（谷歌公司）
本文介绍了自学对象定位，这是一种新方法，它利用经过训练的深度卷积网络进行全图像识别，在没有额外人工监督的情况下定位图像中的对象，即，无需使用任何真实边界框进行训练。其关键思想是分析人工掩盖图像不同区域时识别分数的变化。对包括对象的区域进行掩蔽通常会导致识别分数的显著下降。这个想法是嵌入到凝聚聚类技术，产生自学本地化的假设。我们的对象定位方案在精确度和召回率方面优于现有的建议方法，用于少量的子窗口建议（例如，在ILSVRC-2012上，它比最先进的前1假设产生了23.4%的相对增益）。此外，我们的实验表明，自动生成的注释，我们的方法可以用来训练对象检测器产生识别结果非常接近那些通过人工标注的边界框上的训练。
2016-02-02 cs.CV
DenseBox: Unifying Landmark Localization with End to End Object Detection
Baidu Research（百度研究院）
单个全卷积神经网络（FCN）如何执行目标检测？我们介绍了DenseBox，这是一个统一的端到端FCN框架，可以通过图像的所有位置和尺度直接预测边界框和对象类置信度。我们的贡献是双重的。首先，我们表明，一个单一的FCN，如果仔细设计和优化，可以非常准确和有效地检测多个不同的对象。其次，我们表明，当在多任务学习过程中结合地标定位时，DenseBox进一步提高了目标检测的准确性。我们在公共基准数据集上展示了实验结果，包括MALF人脸检测和KITTI汽车检测，这表明我们的DenseBox是检测人脸和汽车等具有挑战性的物体的最先进系统。
2015-09-19 cs.CV
