Domain Adaptive Object Detection via Asymmetric Tri-way Faster-RCNN
Chongqing University（重庆大学）
传统的目标检测模型不可避免地会遇到性能下降的域差异的存在。无监督域自适应目标检测是最近提出的，以减少域之间的差异，其中源域是标签丰富的，而目标域是标签不可知的。现有的模型采用参数共享的连体结构进行对抗域对齐，但容易导致源域崩溃和失控风险，给特征自适应带来负面影响。主要原因是源和目标之间的标签不公平性（不对称性）使得参数共享机制无法适应。因此，为了避免参数共享导致的源域崩溃风险，我们提出了一种非对称的三路Faster-RCNN（ATF）域自适应目标检测。我们的ATF模型有两个明显的优点：1）由源标签监督的辅助网络被部署来学习辅助目标特征，同时保持源域的区分度，这增强了域对齐的结构区分度（对象分类与限界框回归）。2)主网和独立的辅助网组成的非对称结构从本质上克服了参数共享引起的源风险崩溃。保证了ATF检测器的适应安全性。在Cityscapes、Foggy-cityscapes、KITTI、Sim 10 k、Pascal VOC、Clipart和Watercolor等数据集上进行的大量实验证明了该方法的SOTA性能。
2020-07-03 cs.CV
Weakly Supervised Faster-RCNN+FPN to classify animals in camera trap images
TotalEnergies SE（道达尔能源公司）；University of Lille（里尔大学）；CNRS（法国国家科学研究中心）；MODIS
相机陷阱已经彻底改变了许多物种的动物研究，这些物种以前由于栖息地或行为而几乎不可能观察到。它们是通常固定在树上的摄像机，在触发时拍摄一小段图像。深度学习有可能克服根据分类单元或空图像自动进行图像分类的工作量。然而，标准的深度神经网络分类器失败了，因为动物通常代表高清图像的一小部分。这就是为什么我们提出了一个名为弱目标检测Faster-RCNN+FPN的工作流程，以适应这一挑战。该模型是弱监督的，因为它只需要每个图像的动物分类单元标签，但不需要任何手动限界框注释。首先，它使用来自多个帧的运动自动执行弱监督限界框注释。然后，它使用这种弱监督训练Faster-RCNN+FPN模型。实验结果是使用来自巴布亚新几内亚和密苏里州生物多样性监测活动的两个数据集，然后在易于重现的测试平台上获得的。
2022-08-30 cs.CV cs.LG
A serial dual-channel library occupancy detection system based on Faster RCNN
School of Space Science and Technology, Xidian University（西安电子科技大学空间科学与技术学院）；SDU-ANU Joint Science College, Shandong University（山东大学山东大学-澳大利亚国立大学联合科学学院）；School of Software Engineering, South China University of Technology（华南理工大学软件学院）
针对高校图书馆占座问题，提出基于 Faster RCNN 的串行双通道检测模型，融合 UE5 虚拟与真实图像训练，并结合迁移学习分类，提升准确率与检测效率、降低训练资源。
2023-08-18 cs.CV
PV-RCNN++: Point-Voxel Feature Set Abstraction With Local Vector Representation for 3D Object Detection
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；The University of Sydney（悉尼大学）；SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）
三维目标检测由于其在各个领域的广泛应用而受到工业界和学术界越来越多的关注。在本文中，我们提出了基于点体素区域卷积神经网络（PV-RCNN）的点云上的三维目标检测。首先，我们提出了一种新的3D检测器PV-RCNN，它通过两个新的步骤，即通过深度集成基于点的集合抽象和基于体素的稀疏卷积的特征学习来提高3D检测性能，体素到关键点场景编码和关键点到网格ROI特征提取。其次，我们提出了一个先进的框架PV-RCNN++，用于更有效和准确的3D目标检测。它包括两个主要的改进：扇区化的以提案为中心的采样，用于有效地产生更具代表性的关键点，以及VectorPool聚合，用于更好地聚合局部点特征，同时减少资源消耗。通过这两种策略，我们的PV-RCNN++比PV-RCNN快约$3\times$，同时也实现了更好的性能。实验表明，我们提出的PV-RCNN++框架在大规模和高度竞争的Waymo开放数据集上实现了最先进的3D检测性能，在150 m * 150 m的检测范围内具有10 FPS的推理速度。
2022-11-07 cs.CV
Point RCNN: An Angle-Free Framework for Rotated Object Detection
Alibaba Group（阿里巴巴集团）
航空图像中旋转目标检测仍然具有挑战性，由于任意方向，大规模和纵横比的变化，和极端密度的对象。现有的旋转目标检测方法主要依赖于基于角度的检测器。然而，角度回归很容易受到长期存在的边界问题的影响。为了解决这个问题，我们提出了一个纯粹的角度自由的框架旋转目标检测，称为点RCNN，它主要由PointRPN和PointReg。特别是，PointRPN通过以由Rep Points激励的由粗到细的方式转换学习的代表点来生成准确的旋转RoIs（RRoIs）。基于学习的RRoI，PointReg执行角点细化以实现更准确的检测。此外，航空影像往往是严重的类别不平衡，现有的方法几乎忽略了这个问题。在本文中，我们还通过实验验证了对稀有类别的图像进行重新采样将稳定训练并进一步提高检测性能。实验证明，我们的Point RCNN在常用的航空数据集上实现了新的最先进的检测性能，包括DOTA-v1.0，DOTA-v1.5和HRSC 2016。
2022-06-08 cs.CV
Improving Performance of Object Detection using the Mechanisms of Visual Recognition in Humans
The Berkeley Institute for Data Science（伯克利数据科学研究所）
物体识别系统通常在高分辨率图像上进行训练和评估。然而，在现实世界的应用中，图像通常具有低分辨率或具有小尺寸。在这项研究中，我们首先跟踪最先进的深度对象识别网络Faster- RCNN的性能，作为图像分辨率的函数。结果表明，低分辨率图像对识别性能的负面影响。不同的空间频率在识别过程中传达了不同的信息。这意味着多分辨率识别系统可以更好地了解特征的最佳选择，从而更好地识别物体。这类似于人类视觉系统的机制，能够同时实现视觉场景的多尺度表示。然后，我们提出了一个多分辨率的对象识别框架，而不是一个单一的分辨率网络。该框架在PASCAL VOC 2007数据库上进行了评估。实验结果表明，我们的自适应多分辨率Faster-RCNN框架在各种分辨率的输入图像上的性能优于单分辨率Faster-RCNN，所有分辨率的平均精度（mAP）增加了9.14%，全光谱图像增加了1.2%。此外，所提出的模型在很宽的空间频率范围内产生的性能的鲁棒性。
2023-03-14 cs.CV
Working with scale: 2nd place solution to Product Detection in Densely Packed Scenes [Technical Report]
本报告描述了CVPR 2020 Retail-Vision研讨会上举办的检测挑战的第二名解决方案。而不是进一步考虑以前的结果，这项工作的主要目的是通过重新实验来验证以前观察到的外卖。通过结合流行的目标检测工具箱- MMDetection，可实现结果的可靠性和再现性。在本报告中，我首先介绍了Faster-RCNN和RetinaNet模型的结果，这些模型在原始工作中进行了比较。然后用更先进的模型描述了实验结果。最后一节回顾了Faster-RCNN模型的两个简单技巧，它们用于我的最终提交：更改默认锚定尺度参数和训练时间图像平铺。源代码可在https://github.com/tyomj/product_detection上获得。
2020-06-14 cs.CV
Dually Supervised Feature Pyramid for Object Detection and Segmentation
Temple University（天普大学）；Stony Brook University（石溪大学）
在目标检测和分割中，为了解决多尺度问题，特征金字塔结构被广泛采用。然而，在本文中，我们表明，该架构的能力还没有得到充分的探讨，由于监管信息的利用率不足。这种利用不足是由反向传播中的监控信号劣化引起的。因此，我们提出了一种双重监督的方法，称为双重监督FPN（DSFPN），以增强监督信号时，训练的特征金字塔网络（FPN）。具体地，DSVPN通过附加额外预测（即，检测或分段）去往FPN的自底向上子网。因此，特征可以在被转发到后续网络之前由附加头优化。此外，辅助头部可以用作正则化项以促进模型训练。此外，为了增强DSVPN中检测头处理两个非同质任务的能力，即，分类和回归，分离原来共享的隐藏特征空间的解耦分类和回归建模。为了证明所提出的方法的通用性，有效性和效率，DSVPN被集成到四个代表性的检测器（Faster RCNN，Mask RCNN，Cascade RCNN和Cascade Mask RCNN）中，并在MS COCO数据集上进行评估。通过大量的实验证明了有前途的精度提高，最先进的性能，和微不足道的额外的计算成本。代码将被提供。
2019-12-13 cs.CV
Enhancement of SSD by concatenating feature maps for object detection
Seoul National University（首尔大学）
我们提出了一种目标检测方法，提高了传统的SSD（Single Shot Multibox Detector），这是一个顶级的目标检测算法在准确性和速度方面的准确性。众所周知，深度网络的性能会随着特征图数量的增加而提高。然而，很难通过简单地增加特征图的数量来提高性能。在本文中，我们提出并分析了如何有效地使用特征映射来提高传统SSD的性能。通过改变接近分类器网络的结构而不是增长接近输入数据的层来获得增强的性能，例如，将VGGNet替换为ResNet。该网络适合于在分类器网络中共享权值，通过这种特性，训练速度更快，泛化能力更好。对于使用VOC 2007和VOC 2012训练集训练的Pascal VOC 2007测试集，输入大小为300 x 300的建议网络实现了78.5%的mAP（平均精度），速度为35.0 FPS（每秒帧数），而具有512 x 512大小输入的网络使用Nvidia Titan X GPU以16.6 FPS实现了80.8%的mAP。该网络具有最先进的mAP，优于传统的SSD，YOLO，Faster-RCNN和RFCN。它比Faster-RCNN和RFCN更快。
2017-05-26 cs.CV
Transformer-Encoder Detector Module: Using Context to Improve Robustness to Adversarial Attacks on Object Detection
The University of Exeter（埃克塞特大学）；Middle East Technical University（中东技术大学）；University of Glasgow（格拉斯哥大学）
深度神经网络方法在对象识别（CNN）和检测（Faster-R CNN）任务中表现出了高性能，但实验表明，这种架构容易受到对抗攻击（FFF，UAP）的影响：人眼几乎无法感知的低幅度扰动可能导致标记性能大幅下降。本文提出了一个新的上下文模块，称为\textit{Transformer-Encoder Detector Module}，可以应用于对象检测器（i）提高对象实例的标记;（ii）提高检测器对对抗攻击的鲁棒性。与基线Faster-RCNN检测器相比，所提出的模型实现了更高的mAP，F1得分和AUC平均得分高达13%，并且由于包含从场景中提取并编码到模型中的上下文和视觉特征，在受到FFF或UAP攻击的图像上的mAP得分高出8分。实验结果表明，一个简单的ad-hoc上下文模块可以显著提高目标检测器的可靠性。
2020-11-13 cs.CV
Auto-Context R-CNN
Alibaba Group（阿里巴巴集团）；North Carolina State University（北卡罗来纳州立大学）
基于区域的卷积神经网络（R-CNN）~ \cite{fast_rcnn,faster_rcnn,mask_rcnn}在很大程度上主导了目标检测。在RoI（感兴趣区域）上定义的算子在R-CNN中起着重要作用，例如RoIPooling~ \cite{fast_rcnn}和RoIAlign~ \cite{mask_rcnn}。它们都只利用ROI内部的信息进行ROI预测，即使是最近的可变形扩展~ \cite{deformable_cnn}。虽然周围环境在对象检测中的重要性众所周知，但它尚未以灵活有效的方式集成到R-CNN中。受自动上下文挖掘工作\cite{auto_context}和多类对象布局工作\cite{nms_context}的启发，本文提出了一种通用的上下文挖掘RoI算子（即，\textit{RoICtxMining}）无缝集成在R-CNN中，并且所产生的对象检测系统被称为\textbf{Auto-Context R-CNN}，它是端到端训练的。RoICtxMining算子是RoIPooling或RoIAlign算子的简单而有效的双层扩展。以对象RoI为中心，它创建了一个$3\times 3$布局，以动态地在$8$周围的上下文区域中自适应地挖掘上下文信息。在每个$8$上下文区域内，根据区分能力挖掘上下文RoI，并将其RoIPooling / RoIAlign特征与对象RoI连接以…
2018-07-08 cs.CV
Fast R-CNN
Microsoft Research（微软研究院）
提出了一种快速区域卷积网络方法（Fast R-CNN）用于目标检测。Fast R-CNN建立在以前的工作基础上，使用深度卷积网络对对象提案进行有效分类。与以前的工作相比，Fast R-CNN采用了几项创新来提高训练和测试速度，同时提高检测精度。Fast R-CNN训练非常深的VGG 16网络的速度比R-CNN快9倍，测试时快213倍，并在PASCAL VOC 2012上实现了更高的mAP。与SPPnet相比，Fast R-CNN训练VGG 16的速度快3倍，测试速度快10倍，并且更准确。Fast R-CNN是用Python和C++（使用Caffe）实现的，可以在https://github.com/rbgirshick/fast-rcnn上的开源MIT许可证下获得。
2015-09-27 cs.CV
Simple Training Strategies and Model Scaling for Object Detection
Google（谷歌）；Waymo
目标检测系统的速度-精度Pareto曲线通过更好的模型架构、训练和推理方法的组合而得到改进。在本文中，我们系统地评估了各种这些技术，以了解现代检测系统的大部分改进来自哪里。我们使用RetinaNet和RCNN检测器在vanilla ResNet-FPN主干上对这些改进进行了基准测试。vanilla检测器的准确率提高了7.7%，速度提高了30%。我们还提供了简单的缩放策略来生成形成两条Pareto曲线的模型族，称为RetinaNet-RS和Cascade RCNN-RS。这些简单的重新缩放检测器探索了一阶段RetinaNet检测器和两阶段RCNN检测器之间的速度-精度权衡。我们最大的Cascade RCNN-RS模型使用ResNet 152-FPN主干实现52.9%的AP，使用SpineNet 143 L主干实现53.6%的AP。最后，我们展示了ResNet架构，三个较小的架构变化，优于EfficientNet作为目标检测和实例分割系统的骨干。
2021-06-30 cs.AI cs.CV
Face Detection using Deep Learning: An Improved Faster RCNN Approach
DeepIR Inc.（DeepIR公司）
在这份报告中，我们提出了一个新的人脸检测方案，使用深度学习，并实现了最先进的检测性能上著名的FDDB人脸检测基准评估。特别是，我们通过结合多种策略来改进最先进的更快的RCNN框架，包括特征拼接、硬否定挖掘、多尺度训练、模型预训练和关键参数的适当校准。因此，该方案获得了最先进的人脸检测性能，使其成为FDDB基准测试中所有已发表方法中ROC曲线最好的模型。
2017-01-28 cs.CV
Characters Detection on Namecard with faster RCNN
本文将Faster R-CNN应用于名片字符检测，针对样本量小、类间不平衡的问题，设计了数据增强和“假”数据泛化器，为网络训练提供更多的数据。在不使用数据增强的情况下，正确样本的平均IoU可能不低于80%，并且使用Faster R-CNN也实现了80%的mAP结果。通过应用数据增强，mAP的方差减小，IoU和mAP得分都略有增加。
2018-07-27 cs.CV
Contextual Relabelling of Detected Objects
University of Exeter（埃克塞特大学）
背景信息，如物体的共现以及物体之间的空间和相对大小，提供了关于场景的深层和复杂的信息。它也可以在提高目标检测方面发挥重要作用。在这项工作中，我们提出了两个上下文模型（重新评分和重新标记模型），利用上下文信息（本文中应用了16个上下文关系）来增强最先进的基于RCNN的目标检测（更快的RCNN）。我们的实验表明，我们的模型导致检测性能的增强，使用最常见的数据集在这个领域（MSCOCO）。
2019-06-06 cs.AI cs.CV
Soft Sampling for Robust Object Detection
我们研究的鲁棒性目标检测的注释缺失的存在下。在此设置中，未标记的对象实例将被视为背景，这将为检测器生成不正确的训练信号。有趣的是，我们观察到，在删除30%的注释（并将其标记为背景）后，基于CNN的对象检测器（如Faster-RCNN）的性能在PASCAL VOC数据集上仅下降了5%。我们对此结果提供了详细的解释。为了进一步弥合性能差距，我们提出了一种简单而有效的解决方案，称为软采样。软采样将ROI的梯度重新加权为与正实例重叠的函数。这确保了与硬负片相比，不确定背景区域被给予更小的权重。在PASCAL VOC数据集上的大量实验证明了所提出的软采样方法在不同注释丢弃率下的有效性。最后，我们证明了在OpenImagesV 3上，这是一个缺少注释的真实数据集，软采样比标准检测基线高出3%以上。
2019-07-22 cs.CV
Towards High Performance One-Stage Human Pose Estimation
Nanjing University of Science and Technology（南京理工大学）；Xidian University（西安电子科技大学）
使自顶向下的人体姿态估计方法既具有良好的性能又具有较高的效率是很有吸引力的。Mask RCNN可以通过在单个框架中进行人员检测和姿态估计来大大提高效率，因为主干提供的特征能够由这两个任务共享。然而，性能不如传统的两阶段方法。在本文中，我们的目标是大大提高Mask-RCNN的人体姿态估计结果，同时保持效率。具体而言，我们对姿态估计的整个过程，包括特征提取和关键点检测进行了改进。特征提取部分保证了能够得到足够的、有价值的姿态信息。然后，我们在关键点检测分支中引入全局上下文模块以扩大感受野，因为它对成功的人体姿态估计至关重要。在COCO val 2017集上，我们使用ResNet-50主干的模型实现了68.1的AP，比Mask RCNN高2.6（AP为65.5）。与经典的两阶段自顶向下方法SimpleBaseline相比，我们的模型大大缩小了性能差距（68.1 AP vs. 68.9 AP），推理速度更快（77 ms vs. 168 ms），证明了所提出方法的有效性。代码可从以下网址获得：https://github.com/lingl_space/maskrcnn_keypoint_refined。
2023-01-12 cs.CV
Investigating the Challenges of Class Imbalance and Scale Variation in Object Detection in Aerial Images
MBZUAI（穆罕默德·本·扎耶德人工智能大学）
虽然目标检测是计算机视觉中的常见问题，但在处理航空卫星图像时更具挑战性。物体尺度和方向的多样性可能使它们难以识别。此外，可能有大量密集的小物体，如汽车。在这个项目中，我们对Faster-RCNN架构提出了一些修改。首先，我们使用不同的主干进行实验，以提取更好的特征。我们还修改了数据增强，并为区域建议生成锚点大小，以便更好地处理小对象。最后，我们研究了不同的损失函数的影响。我们提出的设计比使用带有ResNet-101 FPN主干的香草Faster R-CNN的基线提高了4.7 mAP。
2022-02-05 cs.CV
DeFRCN: Decoupled Faster R-CNN for Few-Shot Object Detection
Megvii Technology（旷视科技）
Few-Shot目标检测的目标是从以前未见过的类的极少数注释示例中快速检测新的对象，在社区中引起了显著的研究兴趣。大多数现有的方法采用Faster R-CNN作为基本检测框架，然而，由于缺乏针对数据稀缺场景的定制考虑，它们的性能往往不令人满意。在本文中，我们仔细研究了传统的Faster R-CNN，并从两个正交的角度分析了它的矛盾，即多阶段（RPN与RCNN）和多任务（分类与定位）。为了解决这些问题，我们提出了一种简单而有效的架构，称为去耦快速R-CNN（DeFRCN）。具体来说，我们通过引入用于多阶段解耦的梯度解耦层和用于多任务解耦的原型校准块来扩展Faster R-CNN。前者是一个新的深层，重新定义了特征向前操作和梯度向后操作，以解耦其后续层和前一层，后者是一个离线的基于原型的分类模型，从检测器的建议作为输入，并提高原始分类分数与额外的成对分数进行校准。多个基准测试的大量实验表明，我们的框架是显着优于其他现有的方法，并建立了一个新的国家的最先进的Few-Shot文献。
2021-08-20 cs.CV
Soft-NMS -- Improving Object Detection With One Line of Code
Center For Automation Research, University of Maryland, College Park（马里兰大学帕克分校自动化研究中心）
非最大抑制是目标检测流水线的组成部分。首先，它根据分数对所有检测框进行排序。选择具有最大得分的检测框M，并且抑制与M具有显著重叠（使用预定义阈值）的所有其他检测框。这个过程递归地应用于剩余的盒子。根据算法的设计，如果对象位于预定义的重叠阈值内，则会导致未命中。为此，我们提出了Soft-NMS，这是一种算法，它将所有其他对象的检测分数衰减为它们与M重叠的连续函数。因此，在这个过程中没有物体被消除。Soft-NMS在PASCAL VOC 2007（R-FCN和Faster-RCNN均为1.7%）和MS-COCO（R-FCN为1.3%，Faster-RCNN为1.1%）等标准数据集上的coco风格mAP度量获得了一致的改进，只需更改NMS算法，无需任何额外的超参数。使用Deformable-RFCN，Soft-NMS将目标检测的最新技术水平从39.8%提高到40.9%。此外，软NMS的计算复杂性与传统NMS相同，因此可以有效地实现。由于Soft-NMS不需要任何额外的训练，并且易于实现，因此可以轻松集成到任何目标检测管道中。Soft-NMS的代码可在GitHub（http：//bit.ly/2nJLNMu）上公开获取。
2017-08-08 cs.CV
YOLO9000: Better, Faster, Stronger
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
我们介绍YOLO 9000，一个国家的最先进的，实时的目标检测系统，可以检测超过9000对象类别。首先，我们对YOLO检测方法提出了各种改进，既有新颖的，也有从以前的工作中得出的。改进后的模型YOLOv 2在PASCAL VOC和COCO等标准检测任务上是最先进的。在67 FPS下，YOLOv 2在VOC 2007上获得76.8 mAP。在40 FPS下，YOLOv 2获得78.6 mAP，优于最先进的方法，如更快的RCNN与ResNet和SSD，同时仍然运行得更快。最后，我们提出了一种方法，联合训练的目标检测和分类。使用这种方法，我们同时在COCO检测数据集和ImageNet分类数据集上训练YOLO 9000。我们的联合训练使YOLO 9000能够预测没有标记检测数据的对象类的检测。我们在ImageNet检测任务上验证了我们的方法。YOLO 9000在ImageNet检测验证集上获得了19.7 mAP，尽管200个类中只有44个类的检测数据。在COCO之外的156个类上，YOLO 9000获得16.0 mAP。但是YOLO可以检测到超过200个类别;它预测检测超过9000个不同的对象类别。它仍然是实时运行的。
2016-12-25 cs.CV
Sampling-based Uncertainty Estimation for an Instance Segmentation Network
University of Kassel（卡塞尔大学）
针对实例分割网络预测中的不确定性问题，本文基于MC-Dropout技术，采用贝叶斯高斯混合模型进行高效聚类以描述每个对象的不确定性，并集成focal loss与校准技术优化Mask-RCNN，实现每个实例最准确的不确定性近似。
2023-05-24 cs.CV
Rethinking Transformer-based Set Prediction for Object Detection
Carnegie Mellon University（卡内基梅隆大学）
DETR是最近提出的一种基于transformer的方法，它将目标检测视为一个集合预测问题，并实现了最先进的性能，但需要额外的训练时间来收敛。在本文中，我们调查的原因，优化困难的训练DETR。我们的研究揭示了导致DETR收敛缓慢的几个因素，主要是匈牙利损失和Transformer交叉注意力机制的问题。为了克服这些问题，我们提出了两种解决方案，即TSP-FCOS（基于变换的集合预测与FCOS）和TSP-RCNN（基于变换的集合预测与RCNN）。实验结果表明，该方法不仅收敛速度比原来的DETR，但也显着优于DETR和其他基线的检测精度。
2021-10-12 cs.CV cs.LG
Distance-IoU Loss: Faster and Better Learning for Bounding Box Regression
Tianjin University（天津大学）
限界框回归是目标检测的关键步骤。在现有的方法中，虽然$\ell_n$ -范数损失被广泛地用于限界框回归，但是它不适合于评估度量，即，Intersection over Union（IoU）。近年来，人们提出了IoU损失和广义IoU（GIoU）损失来改善IoU度量，但仍然存在收敛速度慢和回归不准确的问题。在本文中，我们提出了一种Distance-IoU（DIoU）损失，通过合并预测框和目标框之间的归一化距离，它在训练中比IoU和GIoU损失收敛得更快。在此基础上，总结了限界框回归中的三个几何因素：\ie、重叠面积、中心点距离和长宽比，并在此基础上提出了一种完全IoU损失算法（CIoU loss），从而提高了算法的收敛速度和性能。通过将DIoU和CIoU损失合并到最先进的目标检测算法中，YOLO v3、SSD和更快的RCNN，我们不仅在IoU指标方面，而且在GIoU指标方面都实现了显着的性能提升。此外，DIoU可以很容易地被采用到非最大值抑制（NMS）作为标准，进一步促进性能的改善。源代码和训练模型可在https://github.com/Zzh-tju/DIoU上获得。
2019-11-19 cs.CV
Incremental Deep Learning for Robust Object Detection in Unknown Cluttered Environments
Inha University（仁荷大学）
流图像中的目标检测是不同的基于检测的应用中的主要步骤，诸如对象跟踪、动作识别、机器人导航和视觉监视应用。在大多数情况下，图像质量是有噪声和偏见的，因此，数据分布受到干扰和不平衡。大多数目标检测方法，例如更快的基于区域的卷积神经网络（Faster RCNN），具有300 x 300输入的Single Shot Multibox Detector（SSD 300）和You Only Look Once version 2（YOLOv2），依赖于简单的采样，而不考虑真实世界变化环境下的失真和噪声，尽管对象标记很差。在本文中，我们提出了一种增量主动半监督学习（IASSL）技术的不可见目标检测。它结合了基于批的主动学习（AL）和基于bin的半监督学习（SSL），以利用AL的探索和SSL的开发能力的优点。采用协同抽样的方法来衡量AL的不确定性和多样性以及SSL的置信度。基于批次的AL使我们能够以低成本选择更具信息性，置信度和代表性的样品。基于bin的SSL将流式图像样本划分为若干bin，每个bin将卷积神经网络（CNN）深度学习的判别知识重复传输到下一个bin，直到达到性能标准。IASSL可以克服噪声和偏见的标签在未知的，杂乱的数据分布。与Faster RCNN、SSD300和YOLOv2等最先进的技术相比，我们获得了卓越的性能。
2018-10-13 cs.CV cs.LG stat.ML
High-Speed Detector For Low-Powered Devices In Aerial Grasping
Indian Institute of Technology (IIT), Kanpur（印度理工学院坎普尔分校）
针对空中采摘在低功耗嵌入式设备上的实时检测需求，提出无需后处理的单阶段FFD检测器、自动训练数据生成方法和小目标水果数据集，在Jetson-NX上实现100FPS并优于多种代表性检测器。
2024-03-01 cs.CV cs.RO
PSRR-MaxpoolNMS: Pyramid Shifted MaxpoolNMS with Relationship Recovery
Sichuan University（四川大学）；NTU（南洋理工大学）
非最大值抑制（NMS）是现代卷积神经网络用于目标检测的一个重要后处理步骤。与固有并行的卷积不同，NMS的事实标准，即GreedyNMS，不能容易地并行化，因此可能是卷积目标检测流水线中的性能瓶颈。MaxpoolNMS是作为GreedyNMS的可并行化替代方案引入的，这反过来又在相当的精度下实现了比GreedyNMS更快的速度。然而，MaxpoolNMS只能在Faster-RCNN等两级检测器的第一级取代GreedyNMS。在最终检测阶段应用MaxpoolNMS时，准确性会显著下降，因为MaxpoolNMS无法在限界框选择方面精确地近似GreedyNMS。在本文中，我们提出了一个通用的，可并行化和可配置的方法PSRR-MaxpoolNMS，在所有检测器的所有阶段完全取代GreedyNMS。通过引入一个简单的关系恢复模块和金字塔移位MaxpoolNMS模块，我们的PSRR-MaxpoolNMS能够比MaxpoolNMS更精确地近似GreedyNMS。综合实验表明，我们的方法优于MaxpoolNMS的大幅度，它被证明比GreedyNMS具有相当的准确性更快。PSRR-MaxpoolNMS首次为定制硬件设计提供了完全并行化的解决方案，可用于加速任何地方的NMS。
2021-05-27 cs.CV
IC-FPS: Instance-Centroid Faster Point Sampling Module for 3D Point-base Object Detection
Leapmotor（零跑汽车）；Zhejiang university（浙江大学）；OPPO Research Institute（OPPO研究院）；UCAS（中国科学院大学）；The University of Sydney（悉尼大学）
针对基于点的3D目标检测中FPS下采样策略在大规模点云下计算成本高的问题，提出IC-FPS模块，利用LFDBF过滤背景点并用CISS替代FPS，在Waymo数据集上实现3.8倍推理加速并提升精度，首次实现大规模点云实时检测。
2023-03-31 cs.CV
Estimates of maize plant density from UAV RGB images using Faster-RCNN detection model: impact of the spatial resolution
Hiphen SAS；INRAE（法国国家农业食品与环境研究院）；Arvalis；The University of Tokyo（东京大学）
早期植株密度是决定基因型在给定环境条件和管理实践下的命运的重要性状。使用从无人机拍摄的RGB图像可以取代传统的田间视觉计数，提高产量，准确性和对植物定位的访问。然而，需要高分辨率（HR）图像来检测早期阶段存在的小型植物。研究了图像地面采样距离（GSD）对Faster-RCNN检测3-5叶期玉米植株性能的影响。在HR（GSD=0.3cm）时收集的6个对比部位的数据用于模型训练。另外两个具有高分辨率和低分辨率（GSD= 0.6 cm）图像的部位用于模型评价。结果表明，Faster-RCNN实现了非常好的植物检测和计数（rRMSE=0.08）性能时，原生HR图像用于训练和验证。类似地，当在通过对原生训练HR图像进行下采样获得的合成低分辨率（LR）图像上训练模型并将其应用于合成LR验证图像时，观察到良好的性能（rRMSE=0.11）。相反，当模型在给定的空间分辨率上训练并应用于另一个空间分辨率时，性能较差。在HR和LR图像的混合上训练允许在原生HR（rRMSE=0.06）和合成LR（rRMSE=0.10）图像上获得非常好的性能。然而，在原生LR图像上仍然观察到非常低的性能（rRMSE=0.48），这主要是由于原生LR图像的质量差。最后，将基于GAN（生成对抗网络）的高级超分辨率方法应用于本机LR验证图像，该方法引入了从本机HR图像导出的附加纹理信息。结果表明，一些显着的改善（rRMSE=0…
2021-05-25 cs.CV
TEEP-RCNN: Texture-Enhanced Edge-aware Perception for Steel Surface Defect Detection via Improved Convolutional Block Attention in Faster R-CNN
针对钢材表面缺陷检测中纹理差异细微和类别不平衡问题，提出基于改进CBAM的Faster R-CNN两阶段检测器TEEP-RCNN，通过注意力增强和推理优化，在NEU-DET上以10个训练周期达到73.3% mAP@50，媲美百周期训练的YOLOv11m。
2026-09-24 cs.CV
AABO: Adaptive Anchor Box Optimization for Object Detection via Bayesian Sub-sampling
Tsinghua University（清华大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
大多数最先进的目标检测系统遵循基于锚的图。在图像上密集地提出锚框，并训练网络以预测框的位置偏移以及分类置信度。现有系统预先定义锚盒形状和大小，并且使用ad-hoc启发式调整来定义锚配置。然而，当采用新数据集或新模型时，这可能是次优的，甚至是错误的。本文研究了目标检测中锚框的自动优化问题。我们首先证明了锚的数量，锚的规模和比率是一个可靠的目标检测系统的关键因素。通过对特征层次结构中已有的限界框模式的分析，我们设计了一个灵活紧凑的锚点配置超参数空间。在此基础上，提出了一种新的超参数优化方法AABO，该方法将贝叶斯优化和子采样方法相结合，实现了精确高效的锚点配置优化。实验证明了我们提出的方法在不同检测器和数据集上的有效性，例如在COCO上实现了约2.4%的mAP改进，在ADE上实现了1.6%，在VG上实现了1.5%，并且最佳锚点可以通过仅优化锚点配置来带来SOTA检测器上1.4%至2.4%的mAP改进，例如将Mask RCNN从40.3%提高到42.3%，HTC检测器从46.8%提高到48.2%。
2020-07-18 cs.CV
Detecting retail products in situ using CNN without human effort labeling
Zhejiang University（浙江大学）
CNN是一个强大的工具，许多计算机视觉的任务，取得了更好的结果比传统的方法。由于CNN具有非常大的容量，训练这样的神经网络通常需要许多数据，但是在实际实践中获得标记图像通常是昂贵的，特别是对于目标检测，其中收集训练集中每个对象的限界框需要许多人工努力。这是零售产品检测的情况，其中可能存在许多不同的类别。在本文中，我们专注于应用CNN原位检测324类产品，而不需要额外的努力标记任何图像的限界框。我们的方法是基于一个算法，提取体外数据集的限界框和算法来模拟闭塞。我们已经成功地证明了我们的方法的有效性和实用性，以建立一个更快的RCNN检测模型。类似的想法也适用于其他场景。
2019-04-22 cs.CV
A systematic study of the foreground-background imbalance problem in deep learning for object detection
Duke University（杜克大学）
本文系统分析了目标检测中前景-背景不平衡问题，比较了9种主流方法，发现Libra-RCNN和PISA表现最佳，且数据集规模较大时方法选择影响较小。
2023-06-28 cs.AI cs.CV
Learning Pairwise Relationship for Multi-object Detection in Crowded Scenes
the University of Adelaide（阿德莱德大学）；University of Liverpool（利物浦大学）
作为目标检测的后处理步骤，非极大值抑制（GreedyNMS）被广泛应用于大多数检测器中。它是有效的，准确的稀疏场景，但遭受不可避免的权衡之间的精确度和召回拥挤的场景。为了克服这个缺点，我们提出了一个成对NMS来治愈GreedyNMS。具体地，学习基于深度学习的成对关系网络来预测两个重叠的建议框是否包含两个对象或零/一个对象，这可以有效地处理多个重叠对象。通过与GreedyNMS巧妙耦合而不损失效率，在严重遮挡的数据集（包括MOT 15，TUD-Crossing和PETS）中实现了一致的改进。此外，Pairwise-NMS可以集成到任何基于学习的检测器中（本文测试了Faster-RCNN和Faster-RCNN检测器），从而在GreedyNMS和端到端学习检测器之间建立了桥梁。
2019-01-12 cs.CV
Traffic Signs Detection and Recognition System using Deep Learning
Faculty of Engineering, Helwan University（赫尔万大学工程学院）；Mentor, A Siemens Business（Mentor（西门子旗下业务））
随着科技的快速发展，汽车已经成为我们日常生活中不可或缺的资产。交通标志识别（TSR）系统是交通标志识别的重要研究内容之一。本文描述了一种通过迁移学习有效地实时检测和识别交通标志的方法，该方法考虑了各种天气、光照和能见度的挑战。我们使用最先进的多目标检测系统来解决交通标志检测问题，例如快速递归卷积神经网络（F-RCNN）和Single Shot Multi-Box Detector（SSD），并结合各种特征提取器，例如MobileNet v1和Inception v2，以及Tiny-YOLOv 2。然而，本文的重点将是F-RCNN Inception v2和Tiny YOLO v2，因为它们取得了最佳效果。上述模型在德国交通标志检测基准（GTSDB）数据集上进行了微调。这些模型在主机PC以及Raspberry Pi 3 Model B+和TASS PreScan模拟上进行了测试。我们将在结论部分讨论所有模型的结果。
2020-03-06 cs.CV cs.LG eess.IV
Maize Seedling Detection Dataset (MSDD): A Curated High-Resolution RGB Dataset for Seedling Maize Detection and Benchmarking with YOLOv9, YOLO11, YOLOv12 and Faster-RCNN
Department of Electrical Engineering and Computer Science, University of Missouri（电气工程与计算机科学系，密苏里大学）
本研究推出用于玉米幼苗株数统计的高质量航空图像数据集MSDD，涵盖多类植株与多样田间条件，通过基准测试明确不同模型的检测性能差异，为精准农业相关模型开发提供支撑。
2025-09-18 cs.CV
BoardVision: Deployment-ready and Robust Motherboard Defect Detection with YOLO+Faster-RCNN Ensemble
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
针对主板装配级缺陷检测，提出BoardVision框架，集成YOLOv7与Faster R-CNN，通过CTV Voter平衡精度与召回，并评估鲁棒性，发布GUI工具以推动实际应用。
2025-10-16 cs.CV cs.LG
Foveated image processing for faster object detection and recognition in embedded systems using deep convolutional neural networks
University of Sheffield（谢菲尔德大学）
使用深度卷积神经网络（CNN）的目标检测和识别算法往往是计算密集型的。这对嵌入式系统（如移动机器人）提出了一个特殊的挑战，其中的计算资源往往远远少于工作站。作为标准的均匀采样图像的替代方案，我们建议在这里使用中心凹图像采样来减小图像的大小，由于卷积运算的数量减少，在CNN中处理图像的速度更快。我们在Microsoft COCO数据库上评估了目标检测和识别，使用不同图像大小的中央凹图像采样，范围从416 x416到96 x96像素，在嵌入式GPU上-具有256个CUDA内核的NVIDIA Jetson TX 2。结果表明，分别使用416 x416和128 x128像素图像，可以实现帧速率的4倍加速，从3.59 FPS到15.24 FPS。对于中心凹采样，这种图像尺寸的减小仅导致中心凹区域的召回性能小幅下降，降至全尺寸图像基线性能的92.0%，而均匀采样图像的基线召回性能则显着下降至50.1%，这证明了中心凹采样的优势。
2019-08-15 cs.CV eess.IV
ObjectLab: Automated Diagnosis of Mislabeled Images in Object Detection Data
Cleanlab
提出ObjectLab算法，利用现有目标检测模型评分标签质量，自动检测并优先修正错误标注，无需修改建模代码，在多个数据集和模型上显著提升错误检测的精确率与召回率。
2023-09-02 cs.CV cs.LG
Underwater Waste Detection Using Deep Learning A Performance Comparison of YOLOv7 to 10 and Faster RCNN
Faculty of Computing, Sri Lanka Institute of Information Technology（计算学院，斯里兰卡信息科技学院）；Faculty of Information Technology and Communication Sciences, Tampere University（信息科技与通信科学学院，塔尔皮埃大学）；Computing Centre, Faculty of Engineering, University of Peradeniya（工程学院计算机中心，珀德尼亚大学）
本文比较了YOLOv7到YOLOv10及Faster R-CNN在水下垃圾检测中的性能，发现YOLOv8在低能见度和不同深度条件下表现最佳，mAP达80.9%。
2025-07-25 cs.AI cs.CV cs.LG
Detecting key Soccer match events to create highlights using Computer Vision
Northwestern University（西北大学）；Great Learning
研究和数据科学界一直着迷于开发用于检测视频中关键事件的自动系统。该领域特别关注体育视频分析，它可以帮助确定比赛期间的关键事件，并帮助为未来的比赛制定战略。在本文中，我们选择了足球作为一项运动，我们希望通过计算机视觉模型为给定的比赛视频创建亮点，该模型旨在识别足球比赛中的重要事件，以创建比赛的亮点。我们基于Faster RCNN和YoloV5架构构建了模型，并注意到我们用于训练Faster RCNN的数据量在检测比赛中的事件方面比YoloV5做得更好，尽管它慢得多。在更快的RCNN中，使用ResNet50作为基础模型的分类准确率为95.5%，而VGG16作为基础模型的分类准确率为92%，完全优于我们训练数据集的YoloV5。我们用23分钟的原始视频进行了测试，我们的模型可以将其减少到4：50分钟的精彩片段，捕捉比赛中几乎所有重要的事件。
2022-04-06 cs.AI cs.CV
RGB-D Neural Radiance Fields: Local Sampling for Faster Training
I3S-CNRS/Université Cote d’Azur（I3S-法国国家科学研究中心/蔚蓝海岸大学）
几十年来，学习场景的3D表示一直是计算机视觉中具有挑战性的问题。利用神经辐射场（NeRF）从图像中隐式神经表示的最新进展已经显示出有希望的结果。以前基于NeRF的方法的一些局限性包括较长的训练时间和不准确的底层几何结构。所提出的方法利用RGB-D数据，通过利用深度感测来改善局部采样，从而减少训练时间。本文提出了一种深度引导的局部采样策略和一个较小的神经网络架构，以实现更快的训练时间，而不影响质量。
2022-11-07 cs.CV
Faster than real-time detection of shot boundaries, sampling structure and dynamic keyframes in video
DIGITAL JOANNEUM RESEARCH（数字约安尼姆研究中心）
提出一种统一检测视频镜头边界、采样结构和动态关键帧的新算法，结合动态场与归一化互相关的帧间、帧内度量，实现比实时快四倍且对复杂内容稳健。
2025-02-13 cs.CV
Transfer Learning Approach for Railway Technical Map (RTM) Component Identification
University of Peradeniya（佩拉德尼亚大学）
针对铁路技术图数字化需求，提出基于深度学习与OCR的通用系统，采用Faster-RCNN实现组件识别，mAP达0.68，F1达0.76，并通过预处理提升OCR效果。
2024-05-21 cs.AI cs.CV cs.DL
TD-Paint: Faster Diffusion Inpainting Through Time Aware Pixel Conditioning
INSA Rouen Normandie, LITIS UR 4108（法国 Rouen 规划大学）；University of York（约克大学）；East China Normal University（华东师范大学）；Université Rouen Normandie, LITIS UR 4108（法国 Rouen 规划大学）；LIVIA, Dept. of Systems Engineering, ETS Montreal（蒙特利尔工程学院）；Université Caen Normandie, CNRS, GREYC UMR6072（法国 Caen 规划大学）
提出TD-Paint方法，通过在像素级建模可变噪声水平，在扩散过程早期嵌入已知像素信息，引导生成朝向目标流形，无需架构修改即显著加速采样并保持图像质量。
2025-06-23 cs.CV
Efficient Video Sampling: Pruning Temporally Redundant Tokens for Faster VLM Inference
NVIDIA
本文提出高效视频采样（EVS），通过剪枝时间冗余令牌减少VLM推理成本，无需架构更改，可将首令牌时间最多降低4倍，同时保持语义保真度。
2025-10-16 cs.CV
ZePo: Zero-Shot Portrait Stylization with Faster Sampling
SIST, ShanghaiTech University（上海科技大学SIST）；Institute of Automation, CAS（中国科学院自动化研究所）
针对现有扩散模型人像风格化方法速度慢的问题，提出无需逆扩散的ZePo框架，借助潜一致性模型特征与风格增强注意力控制，仅四步采样实现高效高保真的零样本人像风格化。
2024-08-10 cs.CV
ODE$_t$(ODE$_l$): Shortcutting the Time and the Length in Diffusion and Flow Models for Faster Sampling
Panasonic AI Lab（松下人工智能实验室）；UC Berkeley（加州大学伯克利分校）；Panasonic DX-CPS（松下DX-CPS）
针对扩散与流模型采样计算复杂度高的问题，提出ODE$_t$(ODE$_l$)方法，通过架构重布线与长度一致性训练实现任意时间步、网络块数采样，可降延迟减内存，生成性能更优。
2025-11-18 cs.CV cs.LG
DDIM sampling for Generative AIBIM, a faster intelligent structural design framework
The Hong Kong University of Science and Technology（香港科技大学）
本文针对生成式AIBIM中PCDM生成过程需1000次迭代导致耗时的问题，提出面向PCDM的DDIM采样方法，通过修改原始DDIM公式适应PCDM优化过程，实现100倍加速且保持视觉质量不变。
2024-12-30 cs.CV cs.LG
STORK: Faster Diffusion And Flow Matching Sampling By Resolving Both Stiffness And Structure-Dependence
Department of Mathematics, University of California, Los Angeles（数学系，加州大学洛杉矶分校）；Department of Computer Science, University of California, Los Angeles（计算机科学系，加州大学洛杉矶分校）
针对扩散模型与流匹配模型采样时函数评估次数多、推理成本高的问题，提出免训练的STORK采样方法，同时解决ODE刚性与结构依赖问题，持续提升图像视频生成的采样质量。
2025-10-01 cs.CV cs.NA math.NA
Faster Coordinate Descent via Adaptive Importance Sampling
ETH Zurich（苏黎世联邦理工学院）；EPFL（洛桑联邦理工学院）
坐标下降法采用随机部分更新的决策变量，以解决大规模的凸优化问题。在这项工作中，我们引入了新的自适应规则，随机选择他们的更新。所谓自适应，我们的意思是我们的选择规则是基于对偶残差或原始-对偶间隙估计，并且可以在每次迭代时改变。我们从理论上描述了我们的选择规则的性能，并证明了最先进的改进，并将我们的理论和算法扩展到一般的凸目标。用铰链损失支持向量机和Lasso的数值实验证实了理论与实践的一致性。
2017-03-07 cs.CV cs.LG math.OC
FASTER: Rethinking Real-Time Flow VLAs
The University of Hong Kong（香港大学）；ACE Robotics（ACE机器人）
本文提出FASTER方法，通过引入时间感知调度策略，显著降低实时流视频语言动作系统的反应延迟，提升动态任务中的轨迹生成效率与质量。
2026-05-16 cs.CV cs.RO
Come-Closer-Diffuse-Faster: Accelerating Conditional Diffusion Models for Inverse Problems through Stochastic Contraction
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
扩散模型最近在社区内获得了显着的兴趣，由于其强大的性能作为生成模型。此外，它的反问题的应用已经证明了国家的最先进的性能。不幸的是，扩散模型有一个关键的缺点-它们本质上采样缓慢，需要几千步迭代才能从纯高斯噪声中生成图像。在这项工作中，我们表明，从高斯噪声是不必要的。相反，从具有更好初始化的单个前向扩散开始显著减少了反向条件扩散中的采样步骤的数量。这种现象可以用随机差分方程的收缩理论来正式解释，就像我们的条件扩散策略一样--反向扩散的交替应用，然后是非扩展性数据一致性步骤。新的采样策略被称为“靠近扩散更快”（CCDF），还揭示了关于如何将现有的逆问题前馈神经网络方法与扩散模型协同结合的新见解。超分辨率，图像修复，和压缩感知MRI的实验结果表明，我们的方法可以实现国家的最先进的重建性能在显着减少采样步骤。
2022-03-19 cs.CV cs.LG eess.IV
