Targeted False Positive Synthesis via Detector-guided Adversarial Diffusion Attacker for Robust Polyp Detection
Wuhan University of Technology（武汉理工大学）；Huazhong University of Science（华中科技大学）
针对息肉检测中假阳性问题，提出检测器引导的对抗扩散攻击器（DADA），通过区域噪声匹配和对抗扰动合成高价值假阳性数据，提升检测器F1分数至少2.6%。
2025-06-22 cs.CV
Enhancing Scene Text Detectors with Realistic Text Image Synthesis Using Diffusion Models
Huazhong University of Science and Technology（华中科技大学）
本文提出基于扩散模型的DiffText文本图像生成流程，通过无缝融合前景文本与背景特征并减少拼写错误，以更少的文本实例生成逼真合成数据，有效提升各类场景文本检测器的性能。
2023-11-28 cs.CV
Deepfake Detection Generalization with Diffusion Noise
Zhejiang University（浙江大学）
本文提出利用扩散噪声特征提升深度伪造检测的泛化能力，通过引入注意力引导的噪声学习框架，增强模型对真实与合成图像差异的捕捉，实验表明在多个基准上取得最佳性能。
2026-04-16 cs.CV
Loss Rank Mining: A General Hard Example Mining Method for Real-time Detectors
National University of Defense Technology（国防科技大学）
现代目标检测器通常存在精度低的问题，因为前景总是淹没在大量的背景中，并在训练过程中成为困难的例子。与那些基于建议的检测器相比，实时的【形】检测器面临的问题要严重得多，因为它们放弃了使用区域建议阶段来过滤大多数背景以实现实时的【形】率。虽然前景作为硬样本迫切需要从大量的背景中挖掘出来，但相当多的最先进的实时的【形】探测器，如YOLO系列，还没有从现有的硬样本挖掘方法中受益，因为使用这些方法需要探测器满足一系列先决条件。在本文中，我们提出了一个通用的硬例子挖掘方法命名为损失秩挖掘（LRM），以填补这一空白。LRM是实时的【形】检测器的一种通用方法，因为它利用所有实时的【形】检测器中存在的最终特征图来挖掘硬样本。通过使用LRM，在最终的特征图中的一些元素代表容易的例子被过滤，并迫使检测器在训练过程中集中在困难的例子。大量的实验验证了我们的方法的有效性。使用我们的方法，YOLOv2检测器在自动驾驶相关数据集KITTI和更一般的数据集PASCAL VOC上的改进分别超过5%和2% mAP。此外，LRM是第一个能够完美契合YOLOv2的硬样本挖掘策略，使其更好地应用于一系列对实时的【形】率和准确检测都有强烈要求的真实场景。
2018-04-10 cs.CV
Understanding Why Foundation Models Work for Diffusion-Generated Image Detection
University Federico II of Naples（那不勒斯费德里科二世大学）
本研究探究基础模型用于扩散生成图像检测的原因，通过DDIM反演、频率交换及潜在空间分析，发现其利用中低频分布差异实现检测，为该类方法的可解释性提供了新方向。
2026-08-13 cs.CV
Improved Hard Example Mining Approach for Single Shot Object Detectors
ASELSAN Inc.（ASELSAN公司）
硬示例挖掘方法通常提高对象检测器的性能，对象检测器受到不平衡训练集的影响。在这项工作中，两个现有的硬例子挖掘方法（LRM和焦点损失，FL）进行了调整，并结合在一个国家的最先进的实时对象检测器，YOLOv 5。所提出的方法的有效性，以提高性能的硬例子进行了广泛的评估。与使用原始损失函数相比，所提出的方法将mAP提高了3%，与单独使用2021年反无人机挑战数据集的硬采矿方法（LRM或FL）相比，提高了约1-2%。
2022-07-12 cs.CV
TIGA: Trajectory-Injected Generative Attack against Black-box AIGC Detectors
School of Computer and Information Engineering, Xiamen University of Technology（厦门理工学院计算机与信息工程学院）；Interdisciplinary Centre for Security, Reliability and Trust (SnT), University of Luxembourg（卢森堡大学安全、可靠性和信任跨学科中心）；School of Computer Science, Engineering Research Center of Machine Learning and Industry Intelligence, Sichuan University（四川大学计算机学院机器学习与工业智能工程研究中心）；PCA Laboratory, Key Laboratory of Intelligent Perception and Systems for High-Dimensional Information of Ministry of Education, School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院高维信息智能感知与系统教育部重点实验室PCA实验室）；Department of Computer and Information Science, Faculty of Science and Technology, University of Macau（澳门大学科技学院计算机与信息科学系）；School of Engineering, Edith Cowan University（伊迪斯科文大学工程学院）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）
针对黑盒AIGC检测器，TIGA提出无需源图像和训练的框架，通过操纵DDIM轨迹、聚合梯度及方向搜索估计目标响应，实现强大黑盒攻击性能、可转移性及高鲁棒性，且无需源图像或扩散模型再训练。
2026-09-03 cs.CV
Cross-Domain Vessel Segmentation via Latent Similarity Mining and Iterative Co-Optimization
Department of Automation, Tsinghua University（清华大学自动化系）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
本文提出一种跨域血管分割框架，通过挖掘潜在血管相似性并迭代联合优化生成与分割网络，提升跨域图像合成质量和分割精度，实验显示在临床场景中表现优异。
2026-04-02 cs.CV
TRACE: Your Diffusion Model is Secretly an Instance Edge Detector
OGQ, Seoul, Korea（韩国首尔OGQ）；Seoul National University, Seoul, Korea（韩国首尔国立大学）
TRACE通过扩散模型的实例边缘检测技术，在无监督和弱监督分割中实现更高效和精确的边界生成。
2026-02-25 cs.CV
DeCoDEx: Confounder Detector Guidance for Improved Diffusion-based Counterfactual Explanations
Center for Intelligent Machines, McGill University（麦吉尔大学智能机器中心）；MILA (Quebec AI institute)（米拉（魁北克人工智能研究所））；Google Research（谷歌研究院）
针对深度学习分类器依赖混杂因素导致偏差的问题，提出DeCoDEx框架，用预训练二分类伪影检测器引导扩散反事实图像生成，在CheXpert数据集验证有效，可提升分类器在分布外弱势群的表现。
2024-05-15 cs.CV
DiffDoctor: Diagnosing Image Diffusion Models Before Treating
The University of Hong Kong（香港大学）；Tongyi Lab（通义实验室）；Ant Group（蚂蚁集团）；Zhejiang University（浙江大学）
本文提出DiffDoctor两阶段框架，先构建鲁棒伪影检测器定位缺陷像素，再以像素级反馈优化扩散模型，从而减少生成图像的伪影。
2025-03-11 cs.CV
Mitigating Illumination-Induced Domain Shift in Night-Time Pedestrian Detection for Intelligent Vehicles using Annotation-Preserving Diffusion Augmentation
本文提出Contrastive-SDXL框架，利用SDXL-Turbo和LoRA微调，通过语义对比损失和对象一致性损失生成逼真夜间图像，提升行人检测性能。
2026-10-07 cs.CV
ExposeAnyone: Personalized Audio-to-Expression Diffusion Models Are Robust Zero-Shot Face Forgery Detectors
The University of Tokyo（东京大学）；Max Planck Institute for Informatics, SIC（信息研究所马克斯·普朗克研究院）
ExposeAnyone通过基于音频生成表情的自监督扩散模型，实现个性化人脸伪造检测，优于现有方法并具备鲁棒性。
2026-01-05 cs.CV
Turns Out I'm Not Real: Towards Robust Detection of AI-Generated Videos
Columbia University（哥伦比亚大学）
针对扩散模型生成视频检测鲁棒性不足的问题，本文构建新基准数据集，并利用扩散模型显式知识表征与CNN+LSTM捕捉帧间时序特征，显著提升域内外检测性能。
2024-06-13 cs.CV
Aligned Datasets Improve Detection of Latent Diffusion-Generated Images
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出通过LDMs自编码器重建真实图像来构建对齐数据集，训练检测器以聚焦生成模型伪影，从而改进潜在扩散生成图像的检测，并验证了其有效性。
2025-02-26 cs.CV
DiffusionFF: A Diffusion-based Framework for Joint Face Forgery Detection and Fine-Grained Artifact Localization
MAIS, CASIA（CASIA人工智能研究所）；SAI, UCAS（UCAS智能信息学院）；CMFT（计算机视觉与模式识别技术研究所）；IIE, CAS（中国科学院信息工程研究所）；SCS, UCAS（UCAS安全学院）；CAIR, HKISI, CAS（中国科学院自动化研究所）；SCSE, FIE, M.U.S.T（慕苏尔科技大学安全与电子工程系）
DiffusionFF通过结合预训练的伪造检测器和去噪扩散模型，实现人脸伪造检测与细粒度特征定位，提升检测能力和可解释性。
2025-11-27 cs.CV
DBINDS -- Can Initial Noise from Diffusion Model Inversion Help Reveal AI-Generated Videos?
School of Cyber Security, Gansu University of Political Science and Law（政治法律科学学院）
针对AI生成视频的取证挑战，提出基于扩散模型反演的DBINDS检测器，通过分析真实与生成视频初始噪声序列的系统性差异，构建INDS并提取多域多尺度特征，结合优化分类器实现跨生成器的强泛化性能。
2025-11-12 cs.CV
CycleHOI: Improving Human-Object Interaction Detection with Cycle Consistency of Detection and Generation
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
CycleHOI通过引入检测-生成循环一致性损失，结合扩散模型知识蒸馏与数据增强，显著提升了基于DETR的人-物交互检测性能。
2024-07-16 cs.CV
Representative Forgery Mining for Fake Face Detection
Beijing University of Posts and Telecommunications（北京邮电大学）
虽然基于普通卷积神经网络（CNN）的检测器在虚假人脸检测上取得了令人满意的性能，但我们观察到检测器倾向于在有限的人脸区域上寻找伪造，这表明检测器对伪造的理解不足。因此，我们提出了一个基于注意力的数据增强框架，以指导检测器细化和扩大其注意力。具体来说，我们的方法跟踪并遮挡前N个敏感的面部区域，鼓励检测器更深入地挖掘之前忽略的区域，以获得更具代表性的伪造。特别是，我们的方法是简单易用，可以很容易地集成到各种CNN模型。大量的实验表明，用我们的方法训练的检测器能够分别指出由不同操作技术生成的假面孔的代表性伪造，并且我们的方法使基于香草CNN的检测器能够在不修改结构的情况下实现最先进的性能。
2021-04-14 cs.CV
Towards Diagnostic Quality Flat-Panel Detector CT Imaging Using Diffusion Models
Department of Biomedical Engineering, University of Basel（生物医学工程系，巴塞尔大学）；Department of Neuroradiology, University Hospital of Basel（神经放射学系，巴塞尔大学医院）
本文提出用去噪扩散概率模型（DDPM）提升介入室平板探测器CT图像质量，使其接近MDCT水平，经临床评估可消除伪影、改善解剖可见性且不影响出血检测。
2025-08-27 cs.CV eess.IV
FakeInversion: Learning to Detect Images from Unseen Text-to-Image Models by Inverting Stable Diffusion
Massachusetts Institute of Technology（麻省理工学院）；Google Research（谷歌研究院）
本文提出FakeInversion检测器，利用反转Stable Diffusion获得的特征检测合成图像，仅用低质量假图训练即可泛化到DALL-E 3等未见模型，并引入反向图像搜索评估协议以减轻偏差，在多个设置下达到新最优。
2024-06-12 cs.AI cs.CV cs.LG
ULDor: A Universal Lesion Detector for CT Scans with Pseudo Masks and Hard Negative Example Mining
National Institutes of Health Clinical Center（美国国立卫生研究院临床中心）；Ping An Insurance Company of China（中国平安保险（集团）股份有限公司）
从计算机断层扫描（CT）扫描中自动检测病变是医学成像分析中的重要任务。由于病变和其他组织之间的相似外观（例如强度和纹理），因此仍然非常具有挑战性，使得开发通用病变检测器特别困难。这项工作没有开发特定类型的病变检测器，而是基于Mask R-CNN构建了一个通用病变检测器（ULDor），它能够检测全身部位的所有不同类型的病变。作为最先进的对象检测器，Mask R-CNN增加了一个分支，用于预测每个感兴趣区域（ROI）上的分割掩码，以提高检测性能。然而，几乎不可能用像素级病变掩码手动注释大规模数据集来训练Mask R-CNN进行病变检测。为了解决这个问题，这项工作为每个病变区域构建了一个伪掩模，可以将其视为真实掩模的替代品，基于此，Mask R-CNN用于病变检测。另一方面，本文提出了一种硬反例挖掘策略，以减少误报，提高检测性能。在NIH DeepLesion数据集上的实验结果表明，使用伪掩码和所提出的硬否定示例挖掘策略增强了ULDor，并且在每个图像有5个假阳性的情况下实现了86.21%的灵敏度。
2019-01-18 cs.CV
Robust CLIP-Based Detector for Exposing Diffusion Model-Generated Images
Purdue University（普渡大学）；Sapienza University of Rome（罗马第一大学）；University at Albany, State University of New York（纽约州立大学奥尔巴尼分校）
针对扩散模型生成图像难以鉴别的问题，提出融合CLIP图文特征与MLP的鲁棒检测框架，通过新型损失和损失景观展平提升不平衡数据表现与泛化性。
2024-09-08 cs.CV cs.LG eess.IV
Co-mining: Self-Supervised Learning for Sparsely Annotated Object Detection
MEGVII Technology（旷视科技）；Tianjin University（天津大学）
对象检测器通常在监督完整的实例注释的情况下实现有希望的结果。然而，他们的表现是远远不能令人满意的稀疏实例注释。现有的大多数稀疏注释目标检测方法要么重新加权丢失的硬阴性样本，要么将未标记的实例转换为忽略的区域，以减少假阴性的干扰。我们认为，这些策略是不够的，因为他们最多可以减轻的负面影响所造成的遗漏注释。在本文中，我们提出了一个简单而有效的机制，称为共挖掘，稀疏注释的目标检测。在我们的联合挖掘中，连体网络的两个分支预测彼此的伪标签集。为了增强多视图学习和更好地挖掘未标记实例，原始图像和相应的增强图像分别作为Siamese网络的两个分支的输入。联合挖掘可以作为一种通用的训练机制，应用于大多数现代目标检测器。实验在MS COCO数据集上进行，使用两个典型的框架：基于锚的检测器RetinaNet和无锚检测器FCOS，具有三种不同的稀疏注释设置。实验结果表明，与不同的基线相比，本文提出的与RetinaNet的联合挖掘算法性能提高了1.4%~2.1%，在相同的稀疏标注环境下，优于现有的联合挖掘算法。代码可在https://github.com/megvii-research/Co-mining上获得。
2021-10-14 cs.CV
Towards Large-Scale Video Video Object Mining
RWTH Aachen University（亚琛工业大学）
我们建议利用一个通用的对象跟踪器，以便在大规模的未标记的视频中进行对象挖掘，在一个现实的汽车设置中捕获。我们提出了一个超过360'000自动挖掘的对象跟踪从10+小时的视频数据（560'000帧）的数据集，并提出了一种方法，自动新颖的类别发现和检测器学习。此外，我们展示了使用挖掘的轨道对象检测器适应的初步结果。
2018-09-19 cs.CV
Adversarially Robust Industrial Anomaly Detection Through Diffusion Model
The Pennsylvania State University（宾夕法尼亚州立大学）
针对扩散净化会削弱异常信号的问题，提出 AdvRAD，让扩散模型同时承担异常检测与对抗净化，并支持 l2 扰动认证鲁棒性。
2024-08-09 cs.CV cs.LG
Robustness of AI-Art Detectors under Generator Shift
San Jose State University（圣何塞州立大学）
该研究针对生成器偏移问题，在SD3.5m数据集上评估了五个AI艺术检测器的鲁棒性，发现模型在跨生成器场景下泛化能力不足，CLIP ViT-L/14表现最优，为分层防御检测器的开发提供了依据。
2026-08-13 cs.CV cs.LG
S-OHEM: Stratified Online Hard Example Mining for Object Detection
School of Computer, NUDT（国防科技大学计算机学院）
目标检测中的主要挑战之一是提出具有高度准确的目标定位的检测器。高损失区域建议（硬示例）的在线采样使用多任务损失，在所有损失类型（例如，分类和本地化，刚性和非刚性类别）中具有相同的权重设置，并忽略了整个训练过程中不同损失分布的影响，我们发现这对训练效率至关重要。在本文中，我们提出了分层在线硬样本挖掘（S-OHEM）算法训练更高的效率和准确性的检测器。S-OHEM利用OHEM中广泛采用的分层采样技术，在硬样本挖掘过程中根据这种影响选择训练样本，从而提高目标检测器的性能。我们通过系统的实验表明，S-OHEM产生的平均精度（AP）提高了0.5%的PASCAL VOC 2007年的刚性类别的IoU阈值为0.6和0.7。对于KITTI 2012，同一指标的两个结果均为1.6%。关于平均精密度（mAP），使用同一组IoU阈值，观察到VOC 07（KITTI 12）的相对增加0.3%和0.5%（1%和0.5%）。此外，S-OHEM很容易与现有的基于区域的检测器集成，并且能够与后识别水平回归器一起工作。
2017-08-15 cs.CV
Progressive Hard-case Mining across Pyramid Levels for Object Detection
Baidu Inc.（百度公司）
在目标检测中，多级预测（例如，FPN）和重新加权技能（例如，焦点损失）已经极大地改善了单级检测器的性能。然而，这两种技术之间的协同作用并没有在一个统一的框架中充分探讨。我们发现，在训练过程中，一级检测器的优化不仅限于静态的硬情况下挖掘损失（梯度漂移），但也受到不同的正样本的比例分裂由不同的金字塔水平（水平差异）。在此基础上，提出了分层渐进聚焦（HPF）算法，该算法由两个关键设计组成：1）渐进聚焦，一种更灵活的硬情况下的挖掘设置，根据收敛进度进行自适应计算; 2）分层采样，自动生成一组渐进聚焦，用于特定级别的目标优化。基于ATSS-R50的焦点损失，我们的方法实现了40.5 AP，超过了最先进的QFL（质量焦点损失，39.9 AP）和VFL（变焦损失，40.1 AP）。我们最好的模型在COCO测试开发中达到了55.1 AP，仅在典型的训练设置下就获得了优异的结果。此外，作为一个即插即用的方案，HPF可以很好地配合最新的进展，提供了一个稳定的性能改善九个主流检测器。
2022-03-30 cs.CV
Research on Anomaly Detection Methods Based on Diffusion Models
College of Physics and Electronic Information Engineering（物理与电子信息工程学院）
本文提出一种基于扩散概率模型的异常检测框架，通过多尺度特征提取、注意力机制和小波域表示提升图像与音频异常识别性能，并在MVTec AD和UrbanSound8K上验证其优于现有方法。
2025-05-08 cs.CV cs.LG
Enhancing Frequency Forgery Clues for Diffusion-Generated Image Detection
School of Computer and Communication Sciences, EPFL（瑞士联邦理工学院计算机与通信科学学院）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对扩散生成图像检测泛化性与鲁棒性不足的问题，提出通过频率选择函数增强全频段频率伪造线索（F^2C）的方法，有效提升了对未见扩散模型生成图像的检测性能及抗扰动能力。
2025-11-01 cs.AI cs.CV
Unsupervised Hard Example Mining from Videos for Improved Object Detection
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
最近通过使用集中于{ \em硬否定}示例的训练目标，在目标检测中获得了重要的增益，即，当前被检测器评定为肯定或模糊的否定示例。当网络被训练来校正它们时，这些示例可以强烈地影响参数。不幸的是，它们在训练数据中通常是稀疏的，并且获得起来是昂贵的。在这项工作中，我们展示了如何通过分析视频序列上的训练检测器的输出来获得大量的硬底片{ \em automatically}。特别地，检测是{在时间上隔离的\em}，即，没有相关的在前或在后的检测，很可能是硬否定。我们描述了从未标记的视频数据中挖掘大量这样的硬否定（以及硬{ \em肯定}）的简单过程。我们的实验表明，在这些自动获得的示例上重新训练检测器通常会显着提高性能。我们提出了多个架构和多个数据集上的实验，包括人脸检测，行人检测和其他对象类别。
2018-08-13 cs.CV
Diffusion Facial Forgery Detection
Shandong University（山东大学）；National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）；Harbin Institute of Technology（哈尔滨工业大学）
针对扩散人脸伪造研究不足的问题，本文构建了含50万余张图像的DiFF数据集，实验发现人和现有检测器的检测准确率均低于30%，并提出边缘图正则化方法提升检测器泛化能力。
2024-01-29 cs.AI cs.CV
Two-phase weakly supervised object detection with pseudo ground truth mining
King's College London（伦敦国王学院）
弱监督目标检测（WSOD）是一种利用图像数据训练训练检测器的方法，受到了越来越多的研究者的关注。在这个项目中，我们专注于两个阶段的WSOD架构，它集成了一个强大的检测器与一个纯WSOD模型。我们探讨了一些代表性的检测器作为第二阶段检测器在两相WSOD的有效性，并提出了一个两相WSOD架构。此外，我们提出了一种策略来建立伪地面真值（PGT）用于训练第二相位检测器。不同于以往的作品，认为顶部的一个边界框PGT，我们考虑更多的边界框建立PGT注释。这说明了PGT的低召回率导致的学习不足的问题。我们还提出了一些策略，以改善PGT在第二个检测器的训练。我们的策略在特定的时期暂停训练，然后通过第二相位检测器的输出来改进PGT。之后，该算法使用与暂停之前相同的梯度和权重继续训练。在PASCAL VOC 2007数据集上进行了详细的实验，以验证我们的方法的有效性。结果表明，与单一PCL模型相比，我们的两相体系结构将mAP从49.17%提高到53.21%。此外，最佳PGT生成策略获得0.7%的mAP增量。我们最好的细化策略将性能提高了1.74% mAP。采用我们所有方法的最佳结果达到55.231% mAP，这是最先进的性能。
2021-04-01 cs.CV
Large-Scale Object Discovery and Detector Adaptation from Unlabeled Video
Computer Vision Group（计算机视觉组）；Visual Computing Institute（视觉计算研究所）；RWTH Aachen University（亚琛工业大学）
我们探索对象发现和检测器自适应的基础上从移动平台上捕获的未标记的视频序列。我们提出了一个全自动的方法，从视频对象挖掘，建立在一个通用的对象跟踪方法。通过将该方法应用于自动驾驶和移动机器人场景中的三个大型视频数据集，我们证明了其鲁棒性和通用性。基于对象挖掘的结果，我们提出了一种新的方法，无监督的对象发现基于外观的聚类。我们表明，这种方法成功地发现有趣的对象相关的驾驶场景。此外，我们执行自监督检测器自适应，以提高现有类别的KITTI数据集上的检测性能。我们的方法与实现自动驾驶的大规模对象学习直接相关。
2017-12-23 cs.CV
Training Region-based Object Detectors with Online Hard Example Mining
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（脸书人工智能研究院）
目标检测领域在基于区域的ConvNets浪潮中取得了重大进展，但它们的训练过程仍然包括许多优化成本高昂的算法和超参数。我们提出了一个简单但令人惊讶的有效的在线硬示例挖掘（OHEM）算法，用于训练基于区域的ConvNet检测器。我们的动机和以往一样--检测数据集包含大量简单的示例和少量困难的示例。自动选择这些困难的例子可以使训练更加有效和高效。OHEM是一种简单直观的算法，它消除了几种常用的算法和超参数。但更重要的是，它在PASCAL VOC 2007和2012等基准测试中的检测性能得到了一致和显著的提升。它的有效性随着数据集变得更大和更困难而增加，正如MS COCO数据集上的结果所证明的那样。此外，结合该领域的互补性进展，OHEM在PASCAL VOC 2007和2012上分别获得了78.9%和76.3%的最新结果。
2016-04-12 cs.CV cs.LG
NOTE-RCNN: NOise Tolerant Ensemble RCNN for Semi-Supervised Object Detection
University of Southern California（南加州大学）；Google（谷歌）
大量包围盒的标记成本是训练现代目标检测器的主要挑战之一。为了减少对昂贵的限界框注释的依赖，我们提出了一种新的半监督目标检测公式，其中一些种子框级注释和大规模的图像级注释用于训练检测器。我们采用了一个训练挖掘框架，这是广泛用于弱监督目标检测任务。然而，挖掘过程固有地引入了各种标签噪声：假阴性，假阳性和不准确的边界，这对于训练标准对象检测器（例如更快的RCNN）是有害的。我们提出了一种新的噪声容忍增强RCNN（NOTE-RCNN）对象检测器来处理这种噪声标签。与标准Faster RCNN相比，它包含三个亮点：两个分类头和一个蒸馏头的集成，以避免噪声标签上的过拟合，提高挖掘精度;掩盖盒预测器中的负样本丢失，以避免假阴性标签的危害;只在种子注释上训练盒回归头，以消除挖掘边界盒边界不准确的危害。我们在ILSVRC 2013和MSCOCO 2017数据集上评估了这些方法;我们观察到，随着我们在挖掘和训练步骤之间进行切换，检测精度不断提高，并且实现了最先进的性能。
2018-12-01 cs.CV
Cost-effective Object Detection: Active Sample Mining with Switchable Selection Criteria
Sun Yat-sen University（中山大学）；The Hong Kong Polytechnic University（香港理工大学）
虽然相当具有挑战性，但在学习系统中利用大规模未标记或部分标记的数据（例如，模型/分类器训练）由于其基本的重要性而吸引了越来越多的关注。为了解决这个问题，许多主动学习（AL）方法已被提出，采用最新的检测器检索代表性的少数样本根据预定义的置信度或不确定性阈值。然而，这些AL方法导致检测器忽略剩余的多数样本（即，具有低不确定性或高预测置信度的那些）。在这项工作中，通过开发一个原则性的主动样本挖掘（ASM）框架，我们证明了从这些未标记的大多数数据中经济有效地挖掘样本是训练更强大的对象检测器的关键，同时最大限度地减少用户的工作量。具体来说，我们的ASM框架涉及一个可切换的样本选择机制，用于确定是否应通过AL手动注释未标记的样本，或通过一个新的自学习过程自动伪标记。所提出的过程可以与基于小批量的训练（即，使用一批未标记或部分标记的数据作为一次性输入）用于目标检测。此外，通过AL选择并注释了一些具有低置信度预测的样本。值得注意的是，我们的方法适用于在学习过程中未标记数据中看不到的对象类别。大量的实验清楚地表明，我们的ASM框架可以实现性能相媲美的替代方法，但显着更少的注释。
2019-01-12 cs.CV
HAMBox: Delving into Online High-quality Anchors Mining for Detecting Outer Faces
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Baidu Inc.（百度公司）
当前的人脸检测器利用锚来构建多任务学习问题，该问题结合了分类和限界框回归。有效的锚点设计和锚点匹配策略使人脸检测器能够在大的姿态和尺度变化下定位人脸。然而，我们观察到，在推理阶段，超过80%的正确预测的边界框是从不匹配的锚点回归的（锚点和目标面之间的IoU低于阈值）。这表明，这些不匹配的锚表现出良好的回归能力，但现有的方法忽略了从他们学习。在本文中，我们提出了一种在线高质量锚点挖掘策略（HAMBox），它明确地帮助外部面孔使用高质量锚点进行补偿。我们提出的HAMBox方法可以作为一种基于锚点的单阶段人脸检测的通用策略。在WIDER FACE、FDDB、AFW和PASCAL Face等数据集上的实验表明了该方法的优越性。此外，我们的团队还赢得了2019年WIDER人脸和行人挑战赛人脸检测测试赛道的冠军。我们将使用PaddlePaddle发布代码。
2019-12-19 cs.CV
Deep image mining for diabetic retinopathy screening
Inserm（法国国家健康与医学研究院）；Institut Mines-Telecom（法国国立高等矿业电信学校联盟）；Telecom Bretagne（布列塔尼电信学院）；Univ Bretagne Occidentale（西布列塔尼大学）；CHRU Brest（布雷斯特大学中心医院）
深度学习正迅速成为医学图像分析的领先方法。给定每个图像与诊断相关联的大型医疗档案，可以在几乎没有关于目标病理的专业知识的情况下训练有效的病理检测器或分类器。然而，深度学习算法，包括流行的ConvNets，都是黑盒子：人们对ConvNets分析的局部模式知之甚少，无法在图像层面做出决策。本文提出了一种解决方案来创建热图，显示图像中的哪些像素在图像级预测中起作用。换句话说，经过图像级分类训练的ConvNet也可以用于检测病变。为了训练产生高质量热图的ConvNet，提出了反向传播方法的泛化。所提出的解决方案被应用于糖尿病视网膜病变（DR）筛查，数据集中有来自2015年Kaggle糖尿病视网膜病变比赛的近90，000张眼底照片和近110，000张照片的私人数据集（e-ophtha）。对于检测可重复DR的任务，实现了非常好的检测性能：Kaggle数据集中的$A_z = 0.954$和e-ophtha中的$A_z = 0.949$。还在DiaretDB 1数据集中的图像水平和病变水平上评价了性能，其中手动分割了四种类型的病变：微动脉瘤、血管瘤、渗出液和棉絮斑。所提出的检测器优于最近训练的专门检测这些病变的算法，以及ConvNets的竞争热图生成算法。该探测器是用于移动眼部病理筛查的Messidor系统的一部分。由于它不依赖于专家知识或手动分割来检测相关模式，因此所提出的解决方案是一种有前途的…
2017-04-28 cs.CV
Context-Enhanced Detector For Building Detection From Remote Sensing Images
Beihang University（北京航空航天大学）；Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）；National Disaster Reduction Center of China（国家减灾中心）
针对遥感影像建筑物检测因外观多样、场景复杂导致精度不足的问题，提出上下文增强检测器CEDet，通过三级级联结构、两个上下文挖掘模块及伪掩码语义分割损失增强信息提取，在三个基准上取得最优性能。
2024-07-09 cs.CV
Towards Hard-Positive Query Mining for DETR-based Human-Object Interaction Detection
South China University of Technology（华南理工大学）；Pazhou Lab（琶洲实验室）；Tencent AI-Lab（腾讯人工智能实验室）
人-物交互检测是高层次图像理解的核心任务。近年来，基于检测Transformer（Detection Transformer，DETR）的HOI检测器由于其优越的性能和高效的结构而变得流行。然而，这些方法通常对所有测试图像采用固定的HOI查询，这容易受到特定图像中对象的位置变化的影响。因此，在本文中，我们提出了提高DETR的鲁棒性挖掘硬积极的查询，这是被迫作出正确的预测，使用部分视觉线索。首先，我们明确地组成硬积极的查询根据地面实况（GT）的位置标记的人-对象对每个训练图像。具体来说，我们移动每个标记的人-对象对的GT边界框，使得移动的框仅覆盖GT框的某一部分。我们将每个标记的人-对象对的移位框的坐标编码到HOI查询中。其次，我们隐式地构造另一组硬肯定查询，通过掩蔽解码器层的交叉注意力图中的最高分数。然后，掩蔽的注意力地图仅覆盖HOI预测的部分重要线索。最后，提出了一种替代策略，有效地结合了这两种类型的硬查询。在每次迭代中，DETR的可学习查询和一个选定的类型的硬肯定查询的损失计算。实验结果表明，我们提出的方法可以广泛应用于现有的基于DETR的HOI检测器。此外，我们始终在三个基准上实现最先进的性能：HICO-DET，V-COCO和HOI-A。代码可在https://github.com/MuchHair/HQM上获得。
2022-07-12 cs.CV
Bootstrapping Face Detection with Hard Negative Examples
Xiaomi Inc.（小米公司）
最近，经过深度训练的卷积网络使人脸检测的性能得到了显着提高。在这份报告中，一种新的方法来训练国家的最先进的人脸检测器。关键是利用硬否定挖掘的思想，并使用从大量背景样本中收集的硬否定来迭代更新基于Faster R-CNN的人脸检测器。我们证明，我们的人脸检测器优于国家的最先进的检测器的FDDB数据集，这是事实标准评估人脸检测算法。
2016-08-07 cs.CV
MINI: Mining Implicit Novel Instances for Few-Shot Object Detection
Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）
从少量训练样本中学习是目标检测器的一种理想能力，激发了对Few-Shot目标检测（FSOD）的探索。大多数现有的方法采用预训练迁移范式。该模型首先在具有丰富数据的基类上进行预训练，然后转移到具有少量注释样本的新类。尽管取得了实质性的进展，但FSOD的表现仍然远远不能令人满意。在预训练期间，由于基础类和新类之间的共现，模型被学习以将共现的新类视为背景。在迁移过程中，由于缺乏新类样本，该模型需要学习判别特征来区分新实例与背景和基类。为了克服这些障碍，我们提出了一个新的框架，挖掘隐式新颖实例（MINI），挖掘隐式新颖实例作为辅助训练样本，广泛存在于丰富的基础数据，但没有注释。MINI包括离线挖掘机制和在线挖掘机制。离线挖掘机制利用自监督判别模型与训练的FSOD网络协作挖掘隐含的新颖实例。在线挖掘机制将挖掘出的小说实例作为辅助训练样本，采用师生框架，动态地同时更新FSOD网络和挖掘出的隐含小说实例。在PASCAL VOC和MS-COCO数据集上进行的大量实验表明，MINI在任何镜头和分割上都实现了最先进的性能。显着的性能改善证明了我们的方法的优越性。
2022-05-06 cs.CV
Diffusion to Confusion: Naturalistic Adversarial Patch Generation Based on Diffusion Model for Object Detector
National Central University（中央大学）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
针对物理对抗补丁难以兼顾隐蔽性与攻击效果的问题，提出基于预训练扩散模型采样的自然对抗补丁生成方法，并通过实验验证其质量、自然性与攻击有效性。
2023-07-16 cs.CV
Mining the Benefits of Two-stage and One-stage HOI Detection
Alibaba Group（阿里巴巴集团）；Beihang University（北京航空航天大学）
几年来，两阶段方法一直主导着人-物体交互（HOI）检测。近来，一阶段HOI检测方法已经变得流行。在本文中，我们的目的是探讨两阶段和一阶段方法的基本优点和缺点。以此为目标，我们发现传统的两阶段方法主要受到定位积极交互的人-对象对的影响，而一阶段方法则难以在多任务学习上做出适当的权衡，即，目标检测和交互分类。因此，一个核心问题是如何从传统的两类方法中取其精华，去其糟粕。为此，我们提出了一种新的一阶段框架，以级联方式解开人类目标检测和交互分类。具体来说，我们首先设计了一个基于最先进的一级HOI检测器的人-物体对生成器，通过去除交互分类模块或头，然后设计一个相对隔离的交互分类器来分类每个人-物体对。在我们提出的框架中，两个级联解码器可以专注于一个特定的任务，检测或交互分类。在具体实现上，我们采用了基于变压器的HOI检测器作为基础模型。新引入的解缠范式优于现有的方法的大幅度，具有显着的相对mAP增益为9.32%的HICO-Det。源代码可在https://github.com/YueLiao/CDN上获得。
2021-10-13 cs.CV
TS2C: Tight Box Mining with Surrounding Segmentation Context for Weakly Supervised Object Detection
University of Illinois at Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）；Fudan University（复旦大学）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）；National University of Singapore（新加坡国立大学）
这项工作提供了一个简单的方法来发现紧密的对象边界框，只有图像级的监督，称为紧盒挖掘与周围的分割上下文（TS2C）。我们观察到，通过当前的多实例学习方法挖掘的对象候选者通常被困在有区别的对象部分，而不是整个对象。TS2C利用从弱监督分割中获得的周围分割上下文来抑制这种低质量的分散注意力的候选项并提高高质量的候选项。具体来说，TS2C是基于理想边界框的两个关键属性开发的：1）高纯度，意味着框中的大多数像素具有高对象响应，以及2）高完整性，意味着框全面覆盖高对象响应像素。利用这种新颖且可计算的标准，可以发现更紧密的候选者以用于学习更好的对象检测器。通过TS2C，我们在VOC 2007和2012基准上获得了48.0%和44.4%的mAP分数，这是最新的技术水平。
2018-07-13 cs.CV
Diffusion Domain Teacher: Diffusion Guided Domain Adaptive Object Detector
Xiamen University Institute of Artifcial Intelligence（厦门大学人工智能研究院）
本文提出扩散域教师（DDT）方法，利用冻结权重的扩散模型作为教师生成目标域伪标签，指导目标域学生模型训练，在不降低推理速度的情况下显著提升跨域目标检测性能，并在多个基准上超越现有SOTA方法。
2025-06-04 cs.CV
Learning detectors quickly using structured covariance matrices
Queensland University of Technology（昆士兰科技大学）；Commonwealth Scientific and Industrial Research Organisation（联邦科学与工业研究组织）
计算机视觉对物体检测器的快速估计越来越感兴趣。典型的硬否定挖掘策略很慢，因为它们需要多次通过大型否定训练集。最近的研究表明，如果假设负样本的分布是平稳的，那么线性判别分析（LDA）可以学习可比的检测器，而无需重新访问负样本集。然而，即使有了这种洞察力，在现代台式计算机上，学习单个物体探测器的时间仍然是几十秒。本文提出利用由此产生的结构化协方差矩阵来获得具有相同性能的检测器，但时间和内存却减少了几个数量级。我们阐明了相关滤波器文献的一个重要联系，证明了这些也可以在不重新访问负集的情况下进行训练。
2014-03-28 cs.CV
Fragile Reconstruction: Adversarial Vulnerability of Reconstruction-Based Detectors for Diffusion-Generated Images
Renmin University of China（中国人民大学）；Tencent Inc.（腾讯公司）
研究发现基于重建的检测器在扩散生成图像检测中存在严重对抗脆弱性，通过微小对抗扰动可使检测准确率降至近零，揭示了现有检测策略的安全隐患。
2026-04-14 cs.CV
An End-to-End Framework For Universal Lesion Detection With Missing Annotations
Northwestern Polytechnical University（西北工业大学）
完全标注的大规模医学图像数据集具有很高的价值。然而，由于标记医学图像是繁琐的，并且需要专业知识，因此可用的大规模数据集通常具有缺失注释的问题。例如，DeepLesion是一种带有各种病变标签的大规模CT图像数据集，据报道其注释缺失率为50%。直接在其上训练病变检测器将遭受由未注释的病变引起的假阴性监督。为了解决这个问题，以前的工作已经使用了复杂的多阶段策略来在病变挖掘和检测器训练之间切换。在这项工作中，我们提出了一种新的端到端的框架，用于挖掘未标记的病变，同时训练检测器。我们的框架遵循师生范式。在每次迭代中，教师模型推断输入数据并创建一组预测。高置信度预测与部分标记的地面实况相结合，用于训练学生模型。在DeepLesion数据集上，使用原始的部分标记训练集，我们的模型可以优于所有其他更复杂的方法，并在平均灵敏度和平均精度上超过之前的最佳方法2.3%和2.7%，实现最先进的通用病变检测结果。
2023-03-27 cs.CV
Generating Positive Bounding Boxes for Balanced Training of Object Detectors
Middle East Technical University（中东技术大学）
两阶段深度对象检测器在第一阶段中生成一组感兴趣区域（ROI），然后在第二阶段中，在所提出的ROI中识别与地面实况（GT）框充分重叠的对象。第二阶段是已知的遭受偏向ROI，具有低的交叉联合（IoU）与相关的GT盒。为了解决这个问题，我们首先提出了一种采样方法来生成与给定参考框重叠超过给定IoU阈值的边界框（BB）。然后，我们使用这种BB生成方法来开发一个正RoI（pRoI）生成器，该生成器在第二阶段生成遵循任何所需空间或IoU分布的RoI。我们表明，我们的pRoI生成器能够模拟其他采样方法的积极的例子，如硬的例子挖掘和总理采样。使用我们的生成器作为分析工具，我们表明：（i）IoU不平衡对性能有不利影响，（ii）硬正例挖掘仅对某些输入IoU分布提高了性能，（iii）前景类之间的不平衡对性能有不利影响，并且可以在批处理级别上缓解。最后，我们使用我们的pRoI生成器训练更快的R-CNN，与传统训练相比，在Pascal VOC和MS COCO数据集的更高IoU训练时，低IoU获得更好或同等的性能。该代码可从以下网址获取：https://github.com/kemaloksuz/BoundingBoxGenerator。
2020-06-19 cs.CV
Instance-aware Multi-Camera 3D Object Detection with Structural Priors Mining and Self-Boosting Learning
Fudan University（复旦大学）；Meituan（美团）；Zhejiang Lab（之江实验室）
针对现有BEV感知深度估计未优先关注检测目标的问题，提出IA-BEV方法，通过类别结构先验挖掘与自增强学习优化深度估计，在nuScenes基准上实现3D目标检测的SOTA性能。
2023-12-13 cs.CV
DODA: Adapting Object Detectors to Dynamic Agricultural Environments in Real-Time with Diffusion
Graduate School of Agricultural and Life Sciences（农业与生命科学研究生院）；The University of Tokyo（东京大学）
针对农业目标检测因环境域偏移导致模型泛化受限的问题，提出基于扩散的DODA框架，可2分钟内适配新域，无需额外训练即可生成高质量数据，在小麦数据集上显著提升检测性能，降低农业检测应用门槛。
2025-11-11 cs.CV
