Learning Monocular 3D Vehicle Detection without 3D Bounding Box Labels
Technical University of Munich（慕尼黑工业大学）；Artisense（Artisense公司）
基于深度学习的3D对象检测器的训练需要具有3D限界框标签的大型数据集，这些标签必须通过手动标记生成。我们提出了一个学习单目三维目标检测没有三维限界框标签的网络架构和训练过程。通过将对象表示为三角形网格并采用可微形状渲染，我们定义了基于深度图、分割掩模以及由预先训练的现成网络生成的自我和对象运动的损失函数。我们评估了所提出的算法在现实世界的KITTI数据集，并实现了有前途的性能相比，国家的最先进的方法，需要3D限界框标签的训练和优越的性能，传统的基线方法。
2020-10-07 cs.CV
Box2Mask: Weakly Supervised 3D Semantic Instance Segmentation Using Bounding Boxes
University of Tübingen（图宾根大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；ETH Zürich（苏黎世联邦理工学院）
本文提出 Box2Mask，利用三维边界框标签实现弱监督三维语义实例分割，通过霍夫投票直接预测边界框参数并专门聚类，在 ScanNet 上领先其他弱监督方法并接近全监督性能。
2023-10-31 cs.CV
Sketchy Bounding-box Supervision for 3D Instance Segmentation
PCA Lab, College of Computer Science, Nankai University（南开大学计算机科学学院PCA实验室）；School of Electronics and Information, Northwestern Polytechnical University（西北工业大学电子与信息学院）；State Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）；School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院）
针对弱监督3D实例分割中边界框不准确的问题，提出Sketchy-3DIS框架，联合学习伪标签器和分割器，在ScanNetV2和S3DIS上达到最先进性能。
2025-05-22 cs.CV
We don't need no bounding-boxes: Training object class detectors using only human verification
University of Edinburgh（爱丁堡大学）
训练对象类检测器通常需要大量的图像，其中对象由边界框注释。然而，手动绘制边界框是非常耗时的。我们提出了一种新的训练目标检测器的方案，它只需要注释器来验证由学习算法自动产生的边界框。我们的方案在重新训练检测器，重新定位训练图像中的对象和人类验证之间进行迭代。我们使用验证信号来改善重新训练和减少重新定位的搜索空间，这使得这些步骤不同于通常在弱监督设置中所做的。在PASCAL VOC 2007上进行的大量实验表明：（1）使用人工验证来更新检测器并减少搜索空间，可以快速生成高质量的边界框注释;（2）我们的方案提供的检测器性能几乎与在完全监督设置下训练的检测器一样好，而无需绘制任何边界框;（3）由于验证任务非常快，因此我们的方案将总注释时间大幅减少了6倍至9倍。
2017-04-24 cs.CV
Optimization of MedSAM model based on bounding box adaptive perturbation algorithm
School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）
针对MedSAM在扰动窗口约束和缩小边界框提示下分割小目标及复杂结构时的不足，提出边界框自适应扰动算法优化训练，以减少分割错误并提升鲁棒性。
2025-03-25 cs.CV
BoxMask: Revisiting Bounding Box Supervision for Video Object Detection
DFKI - German Research Center for Artificial Intelligence（德国人工智能研究中心）
我们提出了一种新的，简单而有效的方法来提升视频目标检测。我们观察到，以前的作品上的实例级的功能聚合，立即忽略了细化像素级的表示，导致共享相似的外观或运动特性的对象之间的混乱。为了解决这一限制，我们提出了BoxMask，它通过结合类感知的像素级信息来有效地学习判别表示。我们简单地考虑限界框级注释作为每个对象的粗略掩码来监督我们的方法。所提出的模块可以毫不费力地集成到任何基于区域的检测器中，以提高检测能力。在ImageNet VID和EPIC KITCHENS数据集上进行的大量实验表明，当我们将BoxMask模块插入到许多最新的最先进的方法中时，性能得到了一致和显著的改善。
2022-10-12 cs.CV
Bounding Box Stability against Feature Dropout Reflects Detector Generalization across Environments
The Australian National University（澳大利亚国立大学）；OpenGVLab（开放视觉实验室）；Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）；Nanjing University（南京大学）；Tsinghua University（清华大学）
本文提出边界框稳定性分数（BoS score），通过计算特征图Dropout前后边界框的平均IoU变化，发现其与mAP强正相关，从而在无需测试真实值的情况下预测检测器跨环境的泛化能力。
2024-03-20 cs.CV
Bounding Box Disparity: 3D Metrics for Object Detection With Full Degree of Freedom
Technical University of Munich（慕尼黑工业大学）
二维图像中目标检测的最流行的评价指标是交集大于并集（IoU）。用于3D目标检测的IoU度量的现有实现通常忽略一个或多个自由度。本文首先导出了三维包围盒的解析解。作为第二个贡献，封闭形式的解决方案的体积到体积的距离。最后，提出了限界框视差作为一个组合的正连续度量。我们将这三个指标的开源实现作为独立的python函数，以及Open3D库的扩展和ROS节点。
2022-11-11 cs.CV
Learning Intelligent Dialogs for Bounding Box Annotation
EPFL（洛桑联邦理工学院）；Google AI Perception（谷歌人工智能感知部）；IST Austria（奥地利科学技术研究所）
我们引入了智能注释对话框用于限界框注释。我们训练一个代理自动选择一系列的行动，为人类注释产生一个限界框在最短的时间。具体来说，我们考虑两个动作：框验证，其中注释器验证对象检测器生成的框，以及手动框绘制。我们探索了两种代理，一种基于预测一个盒子将被肯定验证的概率，另一种基于强化学习。我们证明了（1）我们的代理能够在几种情况下学习有效的注释策略，自动适应图像难度，期望的盒子质量和检测器强度;（2）在所有场景中，与单独的手动框绘制和单独的框验证相比，所得到的注释对话框加速了注释，同时在大多数场景中也优于验证和绘制的任何固定组合;（3）在检测器被迭代地重新训练的现实场景中，我们的代理进化出一系列策略，这些策略反映了随着检测器变得越来越强大，验证和绘图之间的转移权衡。
2018-11-20 cs.CV
Robust Object Detection With Inaccurate Bounding Boxes
Huazhong University of Science and Technology（华中科技大学）；Worcester Polytechnic Institute（伍斯特理工学院）
学习精确的对象检测器通常需要具有精确对象边界框的大规模训练数据。然而，标记这些数据是昂贵且耗时的。由于众包标记过程和对象的模糊性可能引起噪声限界框注释，对象检测器将遭受退化的训练数据。在这项工作中，我们的目标是解决学习具有不准确边界框的鲁棒对象检测器的挑战。受定位精度受不准确的边界框影响很大，而分类精度受影响较小的事实的启发，我们建议利用分类作为改进定位结果的指导信号。具体来说，通过将对象视为一个包的实例，我们介绍了一个对象感知的多实例学习方法（OA-MIL），具有对象感知的实例选择和对象感知的实例扩展。前者旨在选择准确的实例进行训练，而不是直接使用不准确的框注释。后者侧重于生成高质量的实例以供选择。在合成噪声数据集上的广泛实验（即，噪声PASCAL VOC和MS-COCO）和真实噪声小麦头数据集证明了我们的OA-MIL的有效性。代码可在https://github.com/cxliu0/OA-MIL获得。
2022-07-20 cs.CV
BBAM: Bounding Box Attribution Map for Weakly Supervised Semantic and Instance Segmentation
Seoul National University（首尔大学）；ASRI（先进技术研究中心）；INMC（纳米材料与技术研究所）；ISRC（智能系统研究中心）；Institute of Engineering Research（工程研究院）
使用限界框注释的弱监督分割方法专注于从包含对象的每个框获得像素级掩模。现有的方法通常依赖于类不可知的掩码生成器，其对图像固有的低级别信息进行操作。在这项工作中，我们利用更高层次的信息，从一个训练有素的对象检测器的行为，通过寻找图像的最小区域，从对象检测器产生几乎相同的结果，因为它从整个图像。这些区域构成了边界框属性图（BBAM），其在其限界框中识别目标对象，从而充当弱监督语义和实例分割的伪地面实况。这种方法在弱监督语义和实例分割方面明显优于PASCAL VOC和MS COCO基准测试中的最新可比技术。此外，我们还提供了对我们方法的详细分析，从而更深入地了解BBAM的行为。
2021-03-16 cs.CV
Aligning Object Detector Bounding Boxes with Human Preference
Delft University of Technology（代尔夫特理工大学）；TNO（荷兰应用科学研究组织）；Haga Teaching Hospital（哈格教学医院）；University of Zurich（苏黎世大学）
本研究通过用户实验发现人类偏好放大的检测框，提出非对称回归损失使检测器对齐人类偏好，提升感知质量。
2024-08-20 cs.CV
Locating Objects Without Bounding Boxes
Video and Image Processing Laboratory (VIPER), Purdue University（普渡大学视频与图像处理实验室（VIPER），普渡大学）
卷积神经网络（CNN）的最新进展在定位图像中的对象方面取得了显著的成果。在这些网络中，训练过程通常需要提供边界框或期望对象的最大数量。在本文中，我们解决的任务，估计对象的位置，没有注释的边界框，通常是手绘和耗时的标签。我们提出了一个损失函数，可用于任何全卷积网络（FCN）估计对象的位置。该损失函数是两个无序点集之间的平均Hausdorff距离的修改。所提出的方法没有边界框，区域建议或滑动窗口的概念。我们评估我们的方法与三个数据集，旨在定位人的头部，瞳孔中心和植物中心。我们优于最先进的通用对象检测器和方法微调瞳孔跟踪。
2019-04-03 cs.CV
Segmentation-Based Bounding Box Generation for Omnidirectional Pedestrian Detection
Hitachi, Ltd.（日立制作所）
针对全向图像中行人任意旋转导致检测退化的问题，本文利用现有大规模数据集的分割标注生成紧密贴合的旋转边界框训练检测器，并提出伪鱼眼畸变增强，在无需全向训练图像和额外标注的情况下显著提升检测性能。
2023-06-04 cs.CV
SCALoss: Side and Corner Aligned Loss for Bounding Box Regression
Zhejiang University（浙江大学）；Fabu Inc.（Fabu公司）
限界框回归是目标检测中的一个重要组成部分。最近的工作取得了很好的性能，通过优化的交集在联合~（IoU）。然而，基于IoU的损失在低重叠边界框的情况下存在梯度消失问题，并且模型很容易忽略这些简单的情况。本文提出了Side Overlap~（SO）损失算法，该算法通过最大化两个包围盒的边重叠度，对重叠度较低的限界框进行惩罚。此外，为了加快收敛速度，在目标函数中添加了角点距离~（CD）。结合边重叠和角点距离，得到一个新的回归目标函数\textit{Side and Corner Align Loss~(SCALoss)}。SCALoss与IoU损失密切相关，这也有利于评估指标，但对低重叠情况产生更多惩罚。它可以作为一个全面的相似性度量，导致更好的定位性能和更快的收敛速度。COCO，PASCAL VOC和LVIS基准测试的实验表明，SCALoss可以带来一致的改进，并优于$\ell_n$损失和基于IoU的损失与流行的对象检测器，如YOLOV 3，SSD，Faster-RCNN。代码可在：\url{https://github.com/Turoad/SCALoss} .
2022-04-26 cs.CV
Training Multi-Object Detector by Estimating Bounding Box Distribution for Input Image
Seoul National University（首尔大学）；Samsung Advanced Institute of Technology（三星综合技术院）
在使用神经网络的多目标检测中，基本问题是，“网络应该如何学习不同输入图像中可变数量的边界框？".先前的方法通过将地面实况边界框直接分配给网络输出的特定位置的过程来训练多目标检测网络。然而，该过程使得多目标检测网络的训练过于启发式和复杂。本文将多目标检测问题转化为边界框密度估计问题。我们不是将每个地面实况分配给网络输出的特定位置，而是通过使用混合模型估计输入图像中边界框的概率密度来训练网络。为此，我们提出了一种新的网络的目标检测称为混合密度目标检测器（MDOD），和相应的目标函数的密度估计为基础的训练。我们将MDOD应用于MS COCO数据集。我们提出的方法不仅处理多目标检测问题在一个新的方法，但也通过MDOD提高检测性能。代码可在https://github.com/yoojy31/MDOD上找到。
2021-09-05 cs.CV
Oriented Bounding Boxes for Small and Freely Rotated Objects
Ingenuity Labs Research Institute（Ingenuity Labs 研究院）
提出了一种新的目标检测方法，可以处理任意大小的自由旋转目标，包括小到$2\times 2$像素的微小目标。这种微小目标在遥感图像中频繁出现，对现有的目标检测算法提出了挑战。更重要的是，当前的目标检测方法最初被设计为适应轴对齐的限界框检测，因此不能准确地定位最佳地描述自由旋转的对象的定向框。相比之下，所提出的基于CNN的方法使用潜在的像素信息在多个尺度级别，而不需要任何外部资源，如锚盒。该方法编码的精确位置和方向的目标对象的功能在网格单元位置。与现有的方法，回归的限界框的位置和尺寸，所提出的方法学习所有需要的信息分类，这具有额外的好处，使定向限界框检测，而无需任何额外的计算。因此，它仅在推理时通过为每个相同的预测类标签集找到最小周围框来推断边界框。此外，旋转不变特征表示被应用于每个尺度，这施加了正则化约束以强制覆盖训练样本的360度平面内旋转范围以共享相似特征。在xView和DOTA数据集上的评估表明，该方法比现有的最先进的方法一致地提高了性能。
2021-04-24 cs.CV
Multi-scale Cell Instance Segmentation with Keypoint Graph based Bounding Boxes
Rutgers University（罗格斯大学）；JD Digits（京东数字科技）；Lieber Institute for Brain Development（利伯大脑发育研究所）
大多数现有方法直接处理细胞实例分割问题，而不依赖于额外的检测框。由于缺乏对物体的全局理解，这些方法通常无法分离接触细胞。相比之下，基于框的实例分割通过将目标检测与分割相结合来解决这个问题。然而，现有的方法通常利用基于锚盒的检测器，这将导致较差的实例分割性能由于类不平衡的问题。本文提出了一种新的基于盒的细胞实例分割方法。特别地，我们首先通过关键点检测来检测细胞的五个预定义点。然后，我们根据关键点图对这些点进行分组，并随后提取每个单元的限界框。最后，在边界框内的特征图上执行单元分割。我们验证了我们的方法在两个细胞数据集与不同的对象形状，经验证明我们的方法相比，其他实例分割技术的优越性。代码可在：https://github.com/yijingru/KG_Instance_Segmentation.
2019-07-25 cs.CV
Sensitivity of Average Precision to Bounding Box Perturbations
Quintic AI（昆蒂克人工智能公司）
目标检测是一项基本的视觉任务。它在学术界得到了广泛的研究，并在工业界得到了广泛的应用。平均精度（AP）是评估目标检测器的标准分数。然而，我们对这个乐谱的微妙之处的理解是有限的。在这里，我们量化的敏感性AP的限界框扰动，并表明，AP是非常敏感的小平移。仅一个像素偏移就足以使模型的mAP下降8.4%。在只有一个像素偏移的小物体上的mAP下降为23.1%。当使用地面实况（GT）框作为预测时，相应的数字分别为23%和41.7%。这些结果解释了为什么随着模型变得更好，实现更高的mAP变得越来越困难。我们还研究了框缩放对AP的影响。代码和数据可在https://github.com/aliborji/AP_Box_Perturbation上获得。
2022-06-21 cs.CV
Towards Noise-resistant Object Detection with Noisy Annotations
Salesforce Research（Salesforce 研究院）
训练深度对象检测器需要大量具有准确对象标签和限界框坐标的人类注释图像，这是非常昂贵的获取。嘈杂的注释更容易访问，但它们可能对学习有害。我们解决了具有挑战性的问题，训练对象检测器与噪声注释，其中噪声包含标签噪声和限界框噪声的混合物。我们提出了一个学习框架，共同优化对象标签，限界框坐标和模型参数，通过执行交替的噪声校正和模型训练。针对标签噪声和限界框噪声，提出了一种两步噪声校正方法。第一步通过最小化分类器差异和最大化区域对象来执行类无关的限界框校正。第二步从双检测头提取知识，用于软标签校正和类别特定的限界框细化。我们在PASCAL VOC和MS-COCO数据集上进行了实验，同时使用合成噪声和机器生成噪声。我们的方法通过有效地清除标签噪声和限界框噪声来实现最先进的性能。将发布重现所有结果的代码。
2020-03-03 cs.CV
Detection of 3D Bounding Boxes of Vehicles Using Perspective Transformation for Accurate Speed Measurement
Comenius University in Bratislava（布拉迪斯拉发夸美纽斯大学）
交通监控摄像头捕获的车辆的检测和跟踪是智能交通系统的关键组成部分。我们提出了一个改进的版本，我们的算法检测的三维包围盒的车辆，跟踪和随后的速度估计。我们的算法利用已知的几何形状的消失点在被监视的场景中构建一个透视变换。该变换使得能够使用标准2D对象检测器将检测3D边界框的问题直观地简化为具有一个附加参数的2D边界框的检测。本文的主要贡献是一个改进的建设的透视变换，这是更强大的，全自动和扩展的实验评估的速度估计。我们在BrnoCompSpeed数据集的速度估计任务上测试我们的算法。我们评估我们的方法与不同的配置，以衡量准确性和计算成本之间的关系，并在2D检测的3D限界框检测的好处。所有经过测试的配置都是实时运行的，并且是全自动的。与其他已发表的最先进的全自动结果相比，我们的算法将平均绝对速度测量误差降低了32%（1.10 km/h至0.75 km/h），将绝对中值误差降低了40%（0.97 km/h至0.58 km/h）。
2020-08-04 cs.CV
Location-Aware Box Reasoning for Anchor-Based Single-Shot Object Detection
The University of Kansas（堪萨斯大学）
在大多数目标检测框架中，实例分类的置信度被用作预测边界框的质量标准，如非最大抑制（NMS）中基于置信度的排名。然而，表示空间关系的边界框的质量不仅与分类分数相关。与基于区域建议网络（RPN）的检测器相比，单次目标检测器由于缺乏对框建议的预先选择而遭受框质量。在本文中，我们针对单镜头目标检测器，并提出了一个位置感知的基于锚的推理（LAAR）的包围盒。LAAR将位置置信度和分类置信度作为边界框质量评估的依据。我们引入了一种新的网络块来学习锚点和地面实况之间的相对位置，表示为本地化分数，它在推理阶段充当位置参考。所提出的定位分数导致独立的回归分支，并通过对预测的定位分数进行评分来校准限界框质量，使得可以在NMS中拾取最佳限定的边界框。在MS COCO和PASCAL VOC基准测试上的实验表明，所提出的位置感知框架增强了现有基于锚点的单次目标检测框架的性能，并产生了一致和鲁棒的检测结果。
2020-07-13 cs.CV
Shape-Aware Oriented Bounding Box (OBB) to Horizontal Bounding Box (HBB) Conversion
针对遥感图像船舶检测中现有OBB转HBB方法的缺陷，提出形状感知转换方法，利用船体形状等信息生成更紧凑的轴对齐HBB，与三种基线方法对比验证性能。
2026-08-07 cs.CV cs.RO
3D Bounding Box Estimation Using Deep Learning and Geometry
Zoox, Inc.（Zoox公司）；George Mason University（乔治梅森大学）
我们提出了一种方法，三维目标检测和姿态估计从一个单一的图像。与仅回归对象的3D方向的当前技术相比，我们的方法首先使用深度卷积神经网络回归相对稳定的3D对象属性，然后将这些估计与由2D对象限界框提供的几何约束相结合，以产生完整的3D限界框。第一个网络输出使用一种新的混合离散-连续损失来估计3D对象方向，该损失显著优于L2损失。第二个输出对3D对象尺寸进行回归，与替代方案相比，3D对象尺寸的变化相对较小，并且通常可以预测许多对象类型。这些估计，结合由2D限界框对平移施加的几何约束，使我们能够恢复稳定且准确的3D对象姿态。我们评估我们的方法上具有挑战性的KITTI目标检测基准上的官方度量的三维方向估计，并获得三维边界框的准确性。虽然概念上简单，我们的方法优于更复杂和计算昂贵的方法，利用语义分割，实例级分割和平地先验和子类检测。我们的离散-连续损失还产生了Pascal 3D+数据集上的3D视点估计的最新结果。
2017-04-10 cs.CV
Canonical Voting: Towards Robust Oriented Bounding Box Detection in 3D Scenes
Shanghai Jiao Tong University（上海交通大学）；Qing Yuan Research Institute（清源研究院）；Shanghai Qi Zhi Institute（上海期智研究院）
由于传感器和点云深度学习方法的进步，3D目标检测引起了人们的广泛关注。目前最先进的方法，如VoteNet，通过额外的多层感知器网络，将直接偏移量回归到对象中心和框方向。由于旋转分类的基本困难，它们的偏移和方向预测都不准确。在工作中，我们将直接偏移分解为局部正则坐标（LCC）、盒尺度和盒方向。只有LCC和箱尺度回归，而箱方向产生的一个典型的投票计划。最后，LCC感知的反投影检查算法迭代地从生成的投票图中切出边界框，消除误报。我们的模型在三个标准的真实世界基准测试中达到了最先进的性能：ScanNet，SceneNN和SUN RGB-D。我们的代码可以在https://github.com/qq456cvb/CanonicalVoting上找到。
2022-03-09 cs.CV
Bounding Box Embedding for Single Shot Person Instance Segmentation
Octi Inc.（Octi公司）
我们提出了一个自下而上的方法，使用单镜头模型的对象实例分割的任务。该模型采用了一个完全卷积的网络，该网络经过训练，可以预测类分割掩码以及每个像素所属的对象实例的边界框。这允许我们将对象像素分组到各个实例中。我们的网络架构基于DeepLabv3+模型，只需要最少的额外计算就可以实现像素级的实例分配。我们应用我们的方法的任务的人实例分割，一个共同的任务相关的许多应用程序。我们用COCO数据训练我们的模型，并报告COCO实例分割任务中person类的竞争结果。
2018-07-20 cs.CV
When 3D Bounding-Box Meets SAM: Point Cloud Instance Segmentation with Weak-and-Noisy Supervision
Australian National University（澳大利亚国立大学）；The University of Queensland（昆士兰大学）
针对弱监督点云实例分割中边界框标注噪声导致性能退化的问题，提出CIP-WPIS方法，利用SAM的2D提示和3D几何先验生成高质量点级标签，在Scannet-v2和S3DIS上实现最先进性能。
2023-09-02 cs.CV
Boosting Weakly Supervised Object Detection via Learning Bounding Box Adjusters
Harbin Institute of Technology（哈尔滨工业大学）；Tianjin University（天津大学）；Alibaba Group（阿里巴巴集团）；Pazhou Lab（琶洲实验室）
弱监督目标检测（WSOD）已经成为一个鼓舞人心的最近的话题，以避免昂贵的实例级对象注释。然而，大多数现有的WSOD方法的边界框主要是由预先计算的建议，从而被限制在精确的目标定位。在本文中，我们捍卫的问题设置，提高本地化性能，利用限界框回归知识，从一个良好的注释辅助数据集。首先，我们使用注释良好的辅助数据集以多阶段训练方式探索一系列可学习的限界框调整器（LBBA），这是类不可知的。然后，仅使用LBBA和具有非重叠类的弱注释数据集来训练LBBA增强的WSOD。因此，我们的LBBA实际上更方便和经济地实现，同时避免了辅助注释良好的数据集的泄漏。特别是，我们制定了学习限界框调整器作为一个双层优化问题，并提出了EM样的多阶段训练算法。在此基础上，进一步提出了LBBA增强WSOD的多级方案。此外，采用掩蔽策略来改善提案分类。实验结果验证了该方法的有效性。我们的方法表现良好，对国家的最先进的WSOD方法和知识转移模型具有类似的问题设置。代码可在\url{https://github.com/DongSky/lbba_boosted_wsod}上公开获取。
2021-08-03 cs.CV
OBSeg: Accurate and Fast Instance Segmentation Framework Using Segmentation Foundation Models with Oriented Bounding Box Prompts
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学）
OBSeg通过引入定向边界框提示，提升了实例分割的准确性和速度，同时优化了轻量级基础模型的性能。
2024-09-29 cs.CV
Open Vocabulary Object Detection with Pseudo Bounding-Box Labels
Salesforce Research（Salesforce研究院）
尽管在目标检测方面取得了很大进展，但由于训练数据的限界框注释所需的巨大人力，大多数现有方法仅对有限的一组对象类别起作用。为了缓解这个问题，最近的开放词汇表和zero-shot检测方法试图检测在训练期间看到的那些之外的新对象类别。他们通过在预定义的基本类别上进行训练来实现这一目标，以诱导对新对象的泛化。然而，它们的潜力仍然受到可用于培训的一套小的基本类别的限制。为了扩大基类的集合，我们提出了一种方法来自动生成伪限界框注释的不同对象从大规模的图像字幕对。我们的方法利用预先训练的视觉语言模型的本地化能力来生成伪限界框标签，然后直接使用它们来训练对象检测器。实验结果表明，我们的方法优于国家的最先进的开放词汇检测器的8% AP COCO小说类别，6.3% AP PASCAL VOC，2.3% AP Objects365和2.8% AP LVIS。代码可在https://github.com/salesforce/PB-OVD上获得。
2022-07-13 cs.CV
Distance-IoU Loss: Faster and Better Learning for Bounding Box Regression
Tianjin University（天津大学）
限界框回归是目标检测的关键步骤。在现有的方法中，虽然$\ell_n$ -范数损失被广泛地用于限界框回归，但是它不适合于评估度量，即，Intersection over Union（IoU）。近年来，人们提出了IoU损失和广义IoU（GIoU）损失来改善IoU度量，但仍然存在收敛速度慢和回归不准确的问题。在本文中，我们提出了一种Distance-IoU（DIoU）损失，通过合并预测框和目标框之间的归一化距离，它在训练中比IoU和GIoU损失收敛得更快。在此基础上，总结了限界框回归中的三个几何因素：\ie、重叠面积、中心点距离和长宽比，并在此基础上提出了一种完全IoU损失算法（CIoU loss），从而提高了算法的收敛速度和性能。通过将DIoU和CIoU损失合并到最先进的目标检测算法中，YOLO v3、SSD和更快的RCNN，我们不仅在IoU指标方面，而且在GIoU指标方面都实现了显着的性能提升。此外，DIoU可以很容易地被采用到非最大值抑制（NMS）作为标准，进一步促进性能的改善。源代码和训练模型可在https://github.com/Zzh-tju/DIoU上获得。
2019-11-19 cs.CV
Prompt learning with bounding box constraints for medical image segmentation
École de Technologie Supérieure；Mila - Quebec AI Institute；Polytechnique Montréal
本文提出一种仅用边界框标注自动生成提示的弱监督医学图像分割框架，结合基础模型与框约束优化，在有限数据下平均Dice达84.90%，优于现有全监督和弱监督方法。
2025-07-03 cs.CV
Object Viewpoint Classification Based 3D Bounding Box Estimation for Autonomous Vehicles
三维目标检测是自主车辆感知系统的重要任务之一。随着二维目标检测领域的研究取得了巨大的成功，基于二维目标检测器和二维与三维包围盒之间的几何约束关系，提出了几种基于单目图像的三维目标检测算法。在本文中，我们提出了一种新的方法来确定配置的2D-3D几何约束，这是众所周知的2D-3D两阶段目标检测框架的基础上。首先，我们离散的观点，其中相机拍摄的对象分为16类相机和对象之间的观察关系。其次，我们设计了一个视点分类器，通过集成一个新的子分支到现有的多分支CNN。然后，根据该分类器的输出，可以确定2D和3D包围盒之间的几何约束的配置。在KITTI数据集上的大量实验表明，该方法不仅提高了计算效率，而且提高了模型的整体精度，特别是对方位角的估计。
2019-09-03 cs.CV
Gaussian Bounding Boxes and Probabilistic Intersection-over-Union for Object Detection
Department of Informatics（信息学系）；Federal University of Rio Grande do Sul（南里奥格兰德联邦大学）
本研究提出基于高斯分布的目标区域模糊表示及概率交并比（ProbIoU）相似性度量，并设计映射方案使其能无缝集成到任意目标检测器中。
2021-06-10 cs.CV
Fast Vehicle Detection and Tracking on Fisheye Traffic Monitoring Video using CNN and Bounding Box Propagation
National Yang Ming Chiao Tung University（国立阳明交通大学）
针对十字路口交通监控鱼眼视频，设计了一种快速的车辆检测与跟踪算法。我们使用ICIP 2020 VIP Cup数据集，并采用YOLOv5作为目标检测基础模型。该数据集的夜间视频非常具有挑战性，基础模型的检测准确率（AP50）约为54%。我们基于帧间限界框传播的概念设计了一种可靠的汽车检测和跟踪算法，可提供17.9个百分点（pp）和6.2个百分点。分别针对夜间和白天视频的基础模型的准确度提高。为了加快速度，灰度帧差用于片段中的中间帧，这可以使处理速度加倍。
2022-07-13 cs.CV
Boxer: Robust Lifting of Open-World 2D Bounding Boxes to 3D
Meta Reality Labs Research（Meta现实实验室）
Boxer通过Transformer网络将2D边界框提升到3D，结合多视角融合和几何过滤，实现鲁棒的3D边界框估计，减少对标注数据的依赖，提升开放世界下的定位性能。
2026-04-06 cs.CV
Point Linking Network for Object Detection
Huazhong University of Science and Technology（华中科技大学）；Megvii Technology Inc.（旷视科技有限公司）
目标检测是计算机视觉的核心问题。随着深度ConvNets的发展，目标检测器的性能得到了显着提高。基于深度ConvNets的对象检测器主要关注于回归限界框的坐标，例如，Faster-R-CNN、YOLO和SSD。与将限界框作为一个整体来考虑的方法不同，本文提出了一种新的基于点和链接的对象限界框表示方法，并使用深度ConvNets实现，称为点链接网络（Point Linking Network，PLN）。具体地说，我们使用一个完全卷积网络来回归边界框的角点/中心点及其连接;然后我们将角点及其连接映射回多个边界框;最后通过融合多个边界框来获得目标检测结果。PLN对对象遮挡具有自然鲁棒性，对对象尺度变化和纵横比变化具有灵活性。在实验中，PLN使用Inception-v2模型在PASCAL VOC 2007、PASCAL VOC 2012和COCO检测基准测试中实现了最先进的单模型和单尺度结果，没有花哨的装饰。源代码将被释放。
2017-06-13 cs.CV
Gliding vertex on the horizontal bounding box for multi-oriented object detection
Huazhong University of Science and Technology（华中科技大学）；Wuhan University（武汉大学）；Shanghai Jiaotong University（上海交通大学）；Onyou Inc.（Onyou公司）
目标检测近来经历了实质性的进展。然而，广泛采用的水平限界框表示是不适合无处不在的定向对象，如在航空图像和场景文本中的对象。在本文中，我们提出了一个简单而有效的框架来检测多方向的对象。我们不是直接回归四个顶点，而是在每个相应的侧面上滑动水平限界框的顶点，以准确地描述多方向对象。具体地说，我们回归了四个长度比表征每个相应侧的相对滑动偏移。这可以促进偏移学习并且避免定向对象的顺序标签点的混淆问题。为了进一步解决近水平物体的混淆问题，我们还引入了一个基于物体与其水平限界框之间的面积比的模糊因子，指导每个物体的水平或定向检测的选择。我们将这五个额外的目标变量添加到更快的R-CNN的回归头中，这需要额外的计算时间。大量的实验结果表明，该方法在多个多方向目标检测基准测试（包括航拍图像中的目标检测、场景文本检测、鱼眼图像中的行人检测）上均取得了优异的性能。
2020-04-08 cs.CV
Weakly-semi-supervised object detection in remotely sensed imagery
Stanford University（斯坦福大学）
本文提出遥感影像弱半监督目标检测方法，利用少量边界框和大量易获取的点标签训练模型，在FAIR1M和风机检测数据集上以更少边界框标注达到或超越完全监督模型性能。
2023-11-29 cs.CV
Detecting 11K Classes: Large Scale Object Detection without Fine-Grained Bounding Boxes
Amazon Web Services（亚马逊云科技）
深度学习的最新进展大大提高了目标检测的性能。Faster-RCNN、FPN和R-FCN等最先进的方法在具有挑战性的基准数据集上实现了高精度。然而，这些方法需要完全注释的对象边界框进行训练，由于注释成本高，因此难以扩展。另一方面，弱监督方法只需要图像级标签进行训练，但性能远远低于完全监督方法。本文提出了一种半监督的大规模细粒度检测方法，该方法只需要少量粗粒度类的限界框标注和大规模细粒度类的图像级标签，就能以接近全监督的精度检测出所有类.我们实现这一目标，利用粗粒度和细粒度的类之间的相关性，共享骨干，软关注为基础的建议重新排名，和一个双级内存模块。实验结果表明，我们的方法可以达到接近的目标检测的准确性，最先进的全监督方法在两个大规模的数据集，ImageNet和OpenImages，只有一小部分的完全注释类。
2019-08-14 cs.CV
Learn to Segment Organs with a Few Bounding Boxes
Technical University of Munich（慕尼黑工业大学）
语义分割是医学领域中的一项重要任务，用于识别器官和病理等重要结构的准确范围和方向。深度神经网络可以通过利用来自大型标记良好的数据集的信息来很好地执行此任务。本文旨在提出一种方法，减轻了广泛的良好标记的数据集的必要性。该方法还通过基于限界框注释实现分割来解决半监督问题，从而避免了对完整像素级注释的需要。所提出的网络由基于单个U-Net的无分支架构组成，该架构仅使用该特定器官的4个示例注释来生成针对不可见人体器官的Few-Shot分割。通过交替地最小化用于原型学习的最近邻损失和用于分割学习的加权交叉熵损失来训练网络，以执行快速3D分割，中值分数为54.64%。
2019-09-17 cs.CV
Acquisition of Localization Confidence for Accurate Object Detection
Peking University（北京大学）；Megvii Inc. (Face++)（旷视科技（Face++））；Toutiao AI Lab（今日头条人工智能实验室）；Tsinghua University（清华大学）
现代基于CNN的对象检测器依赖于限界框回归和非最大抑制来定位对象。虽然类别标签的概率自然反映了分类置信度，但不存在本地化置信度。这使得适当局部化的边界框在迭代回归期间退化，甚至在NMS期间被抑制。在本文中，我们提出了IoU-Net学习来预测每个检测到的限界框和匹配的地面实况之间的IoU。网络获得了这种定位的置信度，这通过保留精确定位的边界框来改进NMS过程。此外，提出了一种基于优化的限界框细化方法，其中预测的IoU被制定为目标。在MS-COCO数据集上进行的大量实验表明了IoU-Net的有效性，以及它与几种最先进的目标检测器的兼容性和适应性。
2018-07-30 cs.CV
Active Learning Enabled Low-cost Cell Image Segmentation Using Bounding Box Annotation
College of Electrical Engineering, Zhejiang University（浙江大学电气工程学院）
本文提出结合YOLOv8与SAM的YOLO-SAM边界框监督方法，并集成MC DropBlock主动学习框架，以极低标注成本实现细胞图像分割，实验显示可节省90%以上标注时间。
2024-05-02 cs.CV
Salient Object Detection via Bounding-box Supervision
Australian National University（澳大利亚国立大学）；Southwest University of Science and Technology（西南科技大学）
全监督显著性检测模型的成功取决于大量的逐像素标记。在本文中，我们工作的限界框为基础的弱监督显著性检测，以减轻标签的努力。给定限界框注释，我们观察到限界框内的像素可能包含大量的标签噪声。然而，由于大量的背景被排除，前景限界框区域包含较不复杂的背景，使得可以仅利用裁剪的前景区域来执行手工制作的基于特征的显著性检测。由于传统的手工特征不具有足够的代表性，导致噪声显着图，我们进一步引入结构感知的自监督损失来正则化预测的结构。进一步地，我们认为在限界框外的像素应该是背景，因此可以使用部分交叉熵损失函数来精确地定位精确的背景区域。在六个基准RGB显着性数据集上的实验结果表明了该模型的有效性。
2022-05-11 cs.CV cs.LG
Anchor-Intermediate Detector: Decoupling and Coupling Bounding Boxes for Accurate Object Detection
Tsinghua University（清华大学）；National University of Defense Technology（国防科技大学）
针对单个锚框难以精准预测边界偏移的问题，本文提出边界框解耦-耦合策略与锚框中间检测器AID，通过角点解耦耦合及角点感知头提升检测精度，在MS COCO上较基线RetinaNet、GFL分别提升约2.4、1.2 AP。
2023-10-09 cs.CV
Multi-Grid Redundant Bounding Box Annotation for Accurate Object Detection
ImViA Laboratory University of Burgundy（ImViA实验室 布鲁塞尔大学）
针对现有单阶段目标检测器单网格分配预测边界框精度不足的问题，提出多网格冗余边界框标注数学方法与离线复制粘贴数据增强策略，在检测精度上显著优于现有主流先进检测器。
2022-01-05 cs.CV
Accelerating the creation of instance segmentation training sets through bounding box annotation
ICTEAM UCLouvain（鲁汶大学信息与通信技术、电子与应用数学研究所）
在特定的应用环境中部署CNN时，收集图像注释仍然是一个很大的负担。当注释包含在覆盖对象实例的二进制掩码中时，情况尤其如此。我们的工作提出了三个步骤来描绘实例，基于半自动的方法：（1）一个对象的极端点（最左、最右、顶部、底部像素）被手动定义，从而提供对象边界框，（2）使用通用自动分割工具如Deep Extreme Cut将有界对象转换为匹配极值点的分割掩模;以及（3）人工校正预测掩模。然后，研究了各种策略，以平衡边界框定义和掩码校正之间的人工注释资源，包括当实例掩码的校正基于其与其他实例边界框的重叠而被优先考虑时，或者在部分注释数据集上训练的实例分割模型的结果。我们的实验研究认为，teamsport运动员分割任务，并衡量Panoptic-Deeplab实例分割模型的准确性如何取决于人类注释资源分配策略。它揭示了极端点的唯一定义导致模型精度，如果通过完全手动描绘实例来定义掩码，则需要多达10倍的资源。当以更高的准确度为目标时，对于相同的经训练的实例分割模型准确度，与实例的系统逐帧校正相比，在训练集实例中优先考虑掩模校正也被示出为节省高达80%的校正注释资源。
2022-05-23 cs.CV
FPDIoU Loss: A Loss Function for Efficient Bounding Box Regression of Rotated Object Detection
Institute of Computer Science and Engineering, South China University of Technology（华南理工大学计算机科学与工程学院）；Pengcheng Laboratory（鹏城实验室）
提出FPDIoU损失函数，基于最小点距离度量任意形状，综合重叠面积、中心点距离和旋转角度，提升旋转目标检测的边界框回归效率与精度，在多个基准上优于现有损失函数。
2024-05-19 cs.CV
InterpIoU: Rethinking Bounding Box Regression with Interpolation-Based IoU Optimization
Waseda University（早稻田大学）
针对现有基于 IoU 的边界框回归损失依赖手工几何惩罚且易导致小目标优化不佳和框扩大的问题，提出 InterpIoU 及 Dynamic InterpIoU，利用插值框提供一致梯度并在多个检测基准上取得显著提升。
2025-08-29 cs.CV
3D Bounding Box Estimation for Autonomous Vehicles by Cascaded Geometric Constraints and Depurated 2D Detections Using 3D Results
三维目标检测是自主车辆三维视觉感知系统的重要任务之一。本文提出了一种新的两阶段三维目标检测方法，旨在通过深度卷积神经网络回归两个额外的三维目标属性，并结合2D和3D框之间的级联几何约束，在3D空间中获得目标定位的最佳解决方案。首先，我们修改现有的三维属性回归网络，增加两个额外的组件，视点分类和三维限界框的底面的中心投影。其次，我们使用预测的中心投影结合相似三角形约束，以获得一个初始的三维限界框的封闭形式的解决方案。然后，将前一步预测的位置作为超定方程的初始值，利用分类后的视点确定的构形，通过二维和三维盒拟合约束构造超定方程。最后，我们使用恢复的物理世界信息的3D检测，过滤掉错误的检测和错误报警的2D检测。我们将我们的方法与KITTI数据集上的最新技术进行了比较，结果表明，尽管概念上很简单，但我们的方法不仅通过提高3D检测的整体精度，而且还提高了方向估计精度，从而优于更复杂和计算成本更高的方法。此外，我们的方法可以在一定程度上处理截断的对象，并消除虚警和错误检测在二维和三维检测。
2019-09-01 cs.CV
Generating Positive Bounding Boxes for Balanced Training of Object Detectors
Middle East Technical University（中东技术大学）
两阶段深度对象检测器在第一阶段中生成一组感兴趣区域（ROI），然后在第二阶段中，在所提出的ROI中识别与地面实况（GT）框充分重叠的对象。第二阶段是已知的遭受偏向ROI，具有低的交叉联合（IoU）与相关的GT盒。为了解决这个问题，我们首先提出了一种采样方法来生成与给定参考框重叠超过给定IoU阈值的边界框（BB）。然后，我们使用这种BB生成方法来开发一个正RoI（pRoI）生成器，该生成器在第二阶段生成遵循任何所需空间或IoU分布的RoI。我们表明，我们的pRoI生成器能够模拟其他采样方法的积极的例子，如硬的例子挖掘和总理采样。使用我们的生成器作为分析工具，我们表明：（i）IoU不平衡对性能有不利影响，（ii）硬正例挖掘仅对某些输入IoU分布提高了性能，（iii）前景类之间的不平衡对性能有不利影响，并且可以在批处理级别上缓解。最后，我们使用我们的pRoI生成器训练更快的R-CNN，与传统训练相比，在Pascal VOC和MS COCO数据集的更高IoU训练时，低IoU获得更好或同等的性能。该代码可从以下网址获取：https://github.com/kemaloksuz/BoundingBoxGenerator。
2020-06-19 cs.CV
MoCA3D: Monocular 3D Bounding Box Prediction in the Image Plane
University of California, Los Angeles（加州大学洛杉矶分校）；Yonsei University（延世大学）
MoCA3D通过密集预测实现单目3D边界框预测，无需相机内参即可获得图像平面几何信息，实验表明其在图像平面几何一致性上优于现有方法。
2026-05-16 cs.CV
ReBound: An Open-Source 3D Bounding Box Annotation Tool for Active Learning
近年来，监督学习已成为训练用于3D目标检测的基于深度学习的方法的主导范式。最近，学术界研究了自动驾驶汽车（AV）背景下的3D目标检测，使用公开可用的数据集，如nuScenes和Argoverse 2.0。然而，这些数据集可能具有不完整的注释，通常仅标记场景中的一小部分对象。虽然存在用于3D限界框注释的商业服务，但是这些服务通常过于昂贵。为了解决这些限制，我们提出了ReBound，这是一个开源的3D可视化和数据集重新注释工具，可以在不同的数据集上工作。在本文中，我们详细介绍了我们的工具的设计和目前的调查结果，突出了我们的软件的可用性。此外，我们表明，ReBound是有效的探索性数据分析，可以促进主动学习。我们的代码和文档可在https://github.com/ajedgley/ReBound上获得
2023-03-11 cs.CV
Unsupervised Domain Adaptation for One-stage Object Detector using Offsets to Bounding Box
Seoul National University（首尔国立大学）
大多数现有的领域自适应目标检测方法利用对抗性特征对齐来使模型适应新的领域。对抗性特征对齐的最新进展致力于减少对齐的负面影响或负转移，因为特征的分布取决于对象的类别而变化。然而，通过分析无锚点一级检测器的特征，在本文中，我们发现，可能会发生负转移，因为特征分布变化取决于回归值的偏移到限界框以及类别。为了通过解决这个问题来获得域不变性，考虑到特征分布的模态，我们以偏移值为条件来对齐特征。通过一种非常简单有效的条件反射方法，我们提出了OADA（偏移感知域自适应对象检测器），它在各种实验环境中实现了最先进的性能。此外，通过奇异值分解分析，我们发现，我们的模型提高了鉴别性和可转移性。
2022-07-20 cs.CV
