Collaborative Camouflaged Object Detection: A Large-Scale Dataset and Benchmark
Northeast Petroleum University(东北石油大学);Inception Institute of Artificial Intelligence(Inception人工智能研究院);G42 Bayanat
本研究提出协同伪装目标检测新任务CoCOD,构建了含8528张图像的大规模数据集CoCOD8K,提出基线模型BBNet,经基准测试验证其性能优于现有主流模型,将推动COD领域发展。
2023-10-06 cs.CV
Spatial Semantic Regularisation for Large Scale Object Detection
UC Berkeley(加州大学伯克利分校);TU Muenchen(慕尼黑工业大学);ICSI(国际计算机科学研究所);UMass Lowell(马萨诸塞大学洛厄尔分校)
具有数千类的大规模目标检测引入了许多矛盾的假阳性检测的问题,这些假阳性检测必须被抑制。类独立的非最大值抑制传统上用于此步骤,但随着类数量的增加,它不能很好地扩展。传统的非最大抑制不考虑标签和实例级别的关系,也不允许利用检测建议的空间布局。我们提出了一种新的多类空间语义正则化方法的基础上的亲和传播聚类,同时优化所有类别和图像中的所有建议的位置,以提高本地化和分类选定的检测建议。约束通过语义WordNet层次结构在标签之间共享。我们的方法被证明是特别有用的,在大规模的设置与成千上万的类,空间和语义的相互作用是非常频繁的,只有弱监督检测器可以建立由于缺乏限界框注释。检测实验在ImageNet和COCO数据集上进行,并在数千个检测类别的设置中进行。我们的方法通过减少误报,同时提高召回率,提供了显着的精度提高。
2015-10-10 cs.CV
BiDet: An Efficient Binarized Object Detector
Tsinghua University(清华大学);State Key Lab of Intelligent Technologies and Systems(智能技术与系统国家重点实验室);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
在本文中,我们提出了一个二值化的神经网络学习方法称为BiDet有效的目标检测。传统的网络二值化方法直接对表示能力受限的一级或两级检测器的权值和激活值进行二值化,使得网络中的信息冗余导致大量的误报,使网络性能显著下降。相反,我们的BiDet充分利用二进制神经网络的表示能力,通过冗余去除目标检测,通过减少误报,提高检测精度。具体来说,我们推广的信息瓶颈(IB)原则的对象检测,在高层次的特征图的信息量受到限制和互信息之间的特征图和目标检测最大化。同时,我们学习稀疏的对象先验,使后验集中在信息检测预测与假阳性消除。在PASCAL VOC和COCO数据集上的大量实验表明,我们的方法比最先进的二进制神经网络有相当大的优势。
2020-03-09 cs.CV cs.LG
Cocoon: Robust Multi-Modal Perception with Uncertainty-Aware Sensor Fusion
University of Michigan(密歇根大学);NVIDIA Research(英伟达研究院);Stanford University(斯坦福大学);Harvard University(哈佛大学)
提出Cocoon,一个目标级和特征级的不确定性感知融合框架,通过特征对齐器和可学习替代真值实现跨模态公平比较,在正常和挑战性条件下均优于现有方法。
2024-10-16 cs.CV cs.LG
Fine-tuned Pre-trained Mask R-CNN Models for Surface Object Detection
BSN iNet Co. Ltd.(BSN iNet 有限公司);Tokyo National Museum(东京国立博物馆);Universiti Teknologi PETRONAS(马来西亚石油科技大学)
本研究使用四个Mask R-CNN模型评估路面目标检测任务,作为石制考古物体表面劣化检测的预研究。这些模型通过COCO数据集和15,188个分段的路面注释标签进行了预训练和微调。模型的质量使用平均精度和平均召回来衡量。结果表明大量的假阴性计数,即左侧检测和未分类检测。测试了修改后的混淆矩阵模型,以避免优先考虑IoU,并且在限界框检测中有显着的真阳性增加,但在分割掩码中几乎没有变化。
2020-10-22 cs.CV
RecurSeed and EdgePredictMix: Pseudo-Label Refinement Learning for Weakly Supervised Semantic Segmentation across Single- and Multi-Stage Frameworks
OGQ;Samsung Electronics(三星电子);Sungkyunkwan University(成均馆大学)
针对 WSSS-IL 的漏检与误检问题,提出 RecurSeed 递归精炼伪标签,并结合 EdgePredictMix 边缘感知数据增强,在 PASCAL VOC 2012 和 MS COCO 2014 上达到新最优。
2023-12-15 cs.AI cs.CV
KL-Divergence-Based Region Proposal Network for Object Detection
Seoul National University(首尔国立大学)
使用深度神经网络(DNN)的目标检测中的区域提议的学习被分为两个任务:二进制分类和限界框回归任务。然而,传统的RPN(区域建议网络)将这两个任务定义为不同的问题,并且它们是独立训练的。在本文中,我们提出了一个新的区域建议学习方法,考虑对象得分的限界框偏移的不确定性。我们的方法将RPN重新定义为一个最小化KL-发散的问题,即两个概率分布之间的差异。我们应用KL-RPN,它执行区域建议使用KL-发散,现有的两阶段目标检测框架,并表明它可以提高现有方法的性能。实验表明,在使用VGG-16的Faster R-CNN和使用ResNet-101主干的R-FCN中,MS COCO测试开发的AP分别提高了2.6%和2.0%。
2020-05-22 cs.CV
Towards Natural Image Matting in the Wild via Real-Scenario Prior
East China University of Science and Technology(华东理工大学);vivo Mobile Communication Co., Ltd(维沃移动通信有限公司);Singapore Management University(新加坡管理大学)
针对合成数据训练的抠图模型泛化性差及现有SAM基抠图方法未充分挖掘预训练潜力的问题,本文构建了含38251个人体实例的COCO-Matting真实场景抠图数据集,提出SEMat方法改进网络架构与训练目标,在7个数据集上取得了更优的交互式自然图像抠图性能。
2024-10-09 cs.CV
Entropy-based Active Learning for Object Detection with Progressive Diversity Constraint
Beihang University(北京航空航天大学)
主动学习通过有意识地选择信息量更大的样本进行标注,是一种很有前途的替代方法,可以缓解计算机视觉任务中的高标注成本问题。用于目标检测的主动学习更具挑战性,并且现有的努力相对较少。在本文中,我们提出了一种新的混合方法来解决这个问题,其中的实例级的不确定性和多样性共同考虑在一个自底向上的方式。为了平衡计算复杂性,所提出的方法被设计为一个两阶段的过程。在第一阶段,提出了一种基于熵的非最大值抑制(ENMS)来估计每幅图像的不确定性,该方法根据特征空间中的熵来执行NMS,以去除具有冗余信息增益的预测。在第二阶段,多样的原型(DivProto)的策略进行了探索,以确保跨图像的多样性,逐步将其转换为类内和类间的基于熵的类特定的原型的差异。在MS COCO和Pascal VOC上进行了大量的实验,所提出的方法取得了最先进的结果,并显着优于其他同行,突出了其优越性。
2022-04-17 cs.CV
Beyond the Encoder: Joint Encoder-Decoder Contrastive Pre-Training Improves Dense Prediction
McGill University(麦吉尔大学);University of Calgary(卡尔加里大学)
DeCon通过联合编码器-解码器对比预训练提升密集预测性能,实现多个任务的先进表现。
2026-02-19 cs.CV
Modulating Localization and Classification for Harmonized Object Detection
Zhejiang University(浙江大学);Hikvision Research Institute(海康威视研究院)
目标检测涉及两个子任务,即定位图像中的目标并将其分类为各种类别。对于现有的基于CNN的检测器,我们注意到定位和分类之间的广泛分歧,这导致性能下降。在这项工作中,我们提出了一个相互学习的框架来调节这两个任务。特别是,这两个任务被迫相互学习与一个新的相互标记策略。此外,我们引入了一个简单而有效的IoU重新评分方案,进一步减少了分歧。此外,我们定义了一个斯皮尔曼秩相关的度量来量化的分歧,这与检测性能。所提出的方法是通用的,可以很容易地注入到现有的检测器,如FCOS和RetinaNet。我们在COCO数据集上的基线检测器上实现了显着的性能增益。
2021-03-25 cs.CV
Data-Uncertainty Guided Multi-Phase Learning for Semi-Supervised Object Detection
Tsinghua University(清华大学)
在本文中,我们深入研究了半监督目标检测,其中利用未标记的图像来突破全监督目标检测模型的上限。现有的基于伪标签的半监督方法受噪声影响严重,容易过拟合噪声标签,无法很好地学习不同的未标记知识。为了解决这个问题,我们提出了一个数据不确定性引导的半监督目标检测多阶段学习方法。我们综合考虑不同类型的未标记图像,根据其难度水平,利用它们在不同的阶段和集成模型从不同的阶段一起产生最终的结果。图像不确定性引导的简单数据选择和区域不确定性引导的RoI重新加权参与多阶段学习,使检测器能够集中于更确定的知识。通过对PASCAL VOC和MS COCO的大量实验,我们证明了我们的方法与基线方法相比表现出色,并且在VOC上超过3%,在COCO上超过2%。
2021-03-29 cs.CV
Fine-Tuning Without Forgetting: Adaptation of YOLOv8 Preserves COCO Performance
Joyspace AI
本研究系统评估了YOLOv8在细粒度水果检测任务上的微调深度,发现深层微调能显著提升目标任务性能,且在COCO基准上几乎不发生灾难性遗忘。
2025-05-02 cs.AI cs.CV
SyNet: An Ensemble Network for Object Detection in UAV Images
Bilkent University(比尔肯特大学)
装备相机的无人机应用的最新进展及其广泛使用增加了对用于航空图像的基于视觉的目标检测算法的需求。目标检测过程本质上是一个具有挑战性的任务,作为一个通用的计算机视觉问题,然而,由于在无人机(或无人机)上使用目标检测算法是一个相对较新的领域,它仍然是一个更具挑战性的问题,以检测空中图像中的目标。这有几个原因,包括:(i)缺乏大型无人机数据集,包括大的对象方差,(ii)与地面图像相比,无人机图像中的大方向和尺度方差,以及(iii)地面和空中图像之间的纹理和形状特征差异。基于深度学习的目标检测算法可以分为两大类:(a)单级检测器和(b)多级检测器。单级和多级解决方案都有各自的优点和缺点。然而,将这些解决方案中的每一个的好的方面结合起来的技术可以产生比这些解决方案中的每一个单独地更强的解决方案。在本文中,我们提出了一个集成网络,SyNet,它结合了一个多阶段的方法与一个单阶段的动机,降低高假阴性率的多阶段检测器和提高质量的单阶段检测器的建议。作为构建块,使用了具有预训练特征提取器的CenterNet和Cascade R-CNN以及集成策略。我们报告了我们提出的解决方案在两个不同数据集上获得的最新结果:即MS-COCO和visDrone,其中在MS-COCO $val2017$数据集上获得\%52.1 $mAP_{IoU = 0.75}$,在VisDrone $test-set$上获得\%26.…
2020-12-23 cs.CV
SHOP: A Deep Learning Based Pipeline for near Real-Time Detection of Small Handheld Objects Present in Blurry Video
University of California San Diego(加州大学圣地亚哥分校);California State Polytechnic University, Pomona(加州州立理工大学波莫纳分校);University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
虽然先前的工作已经研究和开发了能够进行目标检测的计算模型,但是模型仍然难以可靠地解释具有运动模糊和小目标的图像。此外,这些型号都不是专门为手持式目标检测设计的。在这项工作中,我们提出了SHOP(小型手持对象管道),一个管道,可靠和有效地解释模糊的图像包含手持对象。管道每个阶段使用的特定模型是灵活的,可以根据性能要求进行更改。首先,图像被去模糊,然后通过姿势检测系统,其中在任何在场的人的手周围提出感兴趣的区域。接下来,通过单级对象检测器对图像执行目标检测。最后,所提出的感兴趣区域被用来过滤掉低置信度的检测。在Microsoft Common Objects in Context(MS COCO)的手持设备子集上进行的测试表明,这三个阶段的过程导致误报减少了70%,而在其最强配置中,误报仅减少了17%。我们还提出了一个子集的MS COCO组成的手持对象,可用于继续发展的手持目标检测方法。https://github.com/spider-sense/SHOP
2022-03-29 cs.CV cs.LG
Ensembling Low Precision Models for Binary Biomedical Image Segmentation
Cornell University(康奈尔大学);Weill Cornell Medical College(威尔康奈尔医学院)
医学图像中诸如血管或小病变的感兴趣解剖区域的分割仍然是一个难题,其通常由专家手动输入来解决。该任务的主要挑战之一是前景(正)区域的外观可以类似于背景(负)区域。因此,许多自动分割算法往往表现出不对称的错误,通常产生更多的假阳性比假阴性。在本文中,我们的目标是利用这种不对称性和训练一个具有非常高的召回率的不同的模型组合,同时牺牲它们的精度。我们的核心思想很简单:低精度和高召回率模型的不同集合可能会产生不同的假阳性错误(在图像的不同部分将背景分类为前景),但真阳性往往是一致的。因此,总的来说,假阳性误差将被抵消,从而产生用于系综的高性能。我们的策略是通用的,可以应用于任何细分模型。在三个不同的应用程序(颈动脉分割在颈部CT血管造影,心肌分割在心血管MRI和多发性硬化病变分割在脑MRI),我们展示了所提出的方法可以显着提高基线分割方法的性能。
2020-10-16 cs.CV eess.IV
Knowledge-Guided Failure Prediction: Detecting When Object Detectors Miss Safety-Critical Objects
Fraunhofer HHI(弗劳恩霍夫海因里希·赫兹研究所);Fraunhofer IOSB(弗劳恩霍夫光电、系统技术及图像处理研究所)
本文提出KGFP框架,通过检测内部特征与视觉基础模型嵌入之间的语义偏差来识别对象检测器的故障,提升安全关键对象的召回率。
2026-03-26 cs.CV cs.LG
Mitigating False Predictions In Unreasonable Body Regions
German Cancer Research Center (DKFZ)(德国癌症研究中心);National Center for Tumor Diseases (NCT)(国家肿瘤疾病中心);University Medical Center Heidelberg(海德堡大学医院);Medical Faculty Heidelberg, University of Heidelberg(海德堡大学海德堡医学院);Helmholtz Imaging(亥姆霍兹成像机构);Faculty of Mathematics and Computer Science, Heidelberg University(海德堡大学数学与计算机科学学院)
针对有限视野训练导致模型在视野外身体区域产生错误预测的问题,提出一种新的损失函数,通过身体部位回归模型惩罚不合理区域的预测,有效减少高达85%的假阳性肿瘤预测并提升整体分割性能。
2024-04-24 cs.CV eess.IV
Cascade-DETR: Delving into High-Quality Universal Object Detection
ETH Zürich(苏黎世联邦理工学院);The Hong Kong University of Science and Technology(香港科技大学)
针对Transformer目标检测方法跨域竞争力弱、定位精度不足的问题,提出Cascade-DETR,通过级联注意力层和IoU查询评分机制提升性能,还构建了UDB10跨域基准,在多数据集上取得显著提升。
2023-07-20 cs.AI cs.CV
Scale-Equivalent Distillation for Semi-Supervised Object Detection
The University of Hong Kong(香港大学);Tsinghua University(清华大学)
最近的半监督目标检测(SS-OD)方法主要基于自训练,即,通过教师模型在未标记的数据上生成硬伪标记作为监督信号。虽然他们取得了一定的成功,有限的标记数据在半监督学习规模的目标检测的挑战。我们分析了这些方法遇到的挑战与实证实验结果。我们发现大量的假阴性样本和较差的定位精度缺乏考虑。此外,对象大小和类不平衡的大方差(即,背景和对象之间的极端比例)阻碍了现有技术的表现。此外,我们克服了这些挑战,通过引入一种新的方法,规模等效蒸馏(SED),这是一个简单而有效的端到端的知识蒸馏框架强大的大对象大小的变化和类的不平衡。与以前的作品相比,SED有几个吸引人的好处。(1)SED施加一致性正则化来处理大规模方差问题。(2)SED消除了假阴性样本的噪声问题和较差的定位精度。(3)重新加权策略可以隐式地筛选未标记数据的潜在前景区域,以减少类别不平衡的影响。大量的实验表明,SED始终优于最近的国家的最先进的方法在不同的数据集显着的利润率。例如,当在MS-COCO上使用5%和10%的标记数据时,它超过了有监督的对应物超过10 mAP。
2022-03-26 cs.AI cs.CV
Single-Shot Panoptic Segmentation
RWTH Aachen University(亚琛工业大学)
我们提出了一种新的端到端的单镜头方法,分割可数对象实例(事物)以及背景区域(东西)到一个非重叠的全景分割在几乎视频帧速率。目前最先进的方法远未达到视频帧速率,并且主要依赖于将实例分割与语义背景分割合并,使得它们在诸如机器人的许多应用中使用是不切实际的。我们的方法通过使用对象检测器放松了这一要求,但仍然能够解决类间和类内重叠,以实现非重叠分割。在共享的编码器-解码器主干之上,我们利用多个分支进行语义分割、目标检测和实例中心预测。最后,我们的全景头将所有输出组合成全景分割,甚至可以处理分支之间的冲突预测以及某些错误预测。我们的网络在MS-COCO上以23.5 FPS实现了32.6%的PQ,为更广泛的应用领域开辟了全景分割。
2020-08-30 cs.CV cs.RO
A Hybrid Supervised-unsupervised Method on Image Topic Visualization with Convolutional Neural Network and LDA
Indiana University(印第安纳大学);Yahoo Inc.(雅虎公司)
考虑到最近数据驱动范式在图像识别方面的进展,手动标记大量训练数据以适应卷积神经网络(CNN)模型仍然是昂贵的。本文提出了一种混合监督-无监督方法,将预训练的AlexNet与潜在狄利克雷分配(LDA)相结合,从未标记的生活日志数据集和COCO数据集中提取图像主题。我们从AlexNet的softmax层生成一个以自我为中心的数据集的词袋表示,并使用LDA用重复的图像来可视化主题的生活风格。我们使用COCO在4个类别上的子集作为地面真值,并定义一致率来定量分析该方法的性能,它达到了84%的平均一致率相比,从原始CNN模型的18.75%。该方法能够从COCO数据集中检测出虚假标签和多标签。为了进行可扩展性测试,在Intel Knights Landing集群上使用Harp-LDA进行了并行化实验:提取241,035个COCO图像的1,000个主题分配,需要10分钟,60个线程。
2017-04-09 cs.CV
COCO-Text: Dataset and Benchmark for Text Detection and Recognition in Natural Images
Cornell University(康奈尔大学);Cornell Tech(康奈尔科技校区)
本文介绍了COCO-Text数据集。近年来,SUN和Imagenet等大规模数据集推动了场景理解和目标识别的发展。COCO-Text的目标是推进自然图像中文本检测和识别的最新技术。该数据集基于MS COCO数据集,其中包含复杂日常场景的图像。这些图像的收集没有考虑到文本,因此包含各种各样的文本实例。为了反映自然场景中文本的多样性,我们用(a)限界框的位置来标注文本,(b)细粒度分类为机器打印文本和手写文本,(c)分类为清晰和难以辨认的文本,(d)文本的脚本和(e)清晰文本的转换。该数据集包含超过63 k图像中的超过173 k文本注释。我们对我们的注释的准确性进行统计分析。此外,我们提出了三个领先的国家的最先进的照片光学字符识别(OCR)方法对我们的数据集的分析。虽然场景文本检测和识别近年来取得了很大进展,但我们发现了激励未来工作的重大缺点。
2016-06-19 cs.CV
BEM: Training-Free Background Embedding Memory for False-Positive Suppression in Real-Time Fixed-Background Camera
Incheon National University(仁川国立大学);Army Artificial Intelligence Center, Republic of Korea Army(韩国陆军人工智能中心);Texas Tech University(德克萨斯理工大学)
本文提出BEM,一种轻量且无需训练的模块,通过估计干净背景嵌入并利用逆相似度加权惩罚来减少假阳性,同时保持召回率,在YOLO和RT-DETR家族上实现了实时性能的提升。
2026-04-13 cs.CV
Radio-Assisted Human Detection
University of Electronic Science and Technology of China(电子科技大学);University of Science and Technology of China(中国科学技术大学)
在本文中,我们提出了一个无线电辅助人体检测框架,将无线电信息纳入最先进的检测方法,包括基于锚的onstage检测器和两阶段检测器。我们从无线电信号中提取无线电定位和身份信息来辅助人体检测,由于这一点,假阳性和假阴性的问题可以大大缓解。对于这两种检测器,我们使用的无线电定位的基础上的置信度得分修订,以提高检测性能。对于两阶段检测方法,我们建议利用从无线电定位产生的区域建议,而不是依赖于区域建议网络(RPN)。此外,利用无线电标识符信息,还提出了具有无线电定位约束的非最大值抑制方法,以进一步抑制误检测并减少误检测。在模拟的Microsoft COCO数据集和Caltech行人数据集上的实验表明,无线电信息的辅助可以提高现有检测方法的平均精度(mAP)和误检率。最后,我们在真实世界的场景中进行实验,以证明我们提出的方法在实践中的可行性。
2021-12-16 cs.CV
COCO is "ALL'' You Need for Visual Instruction Fine-tuning
ByteDance Inc.(字节跳动有限公司)
本文针对现有多模态视觉指令微调数据集在多轮对话中指令遵循能力不足的问题,提出以 COCO 图像为基础构建具有更多样化高质量指令标注的新 IFT 数据集,实验证明该数据集能提升 MLLMs 在单轮和多轮开放式评估中的表现。
2024-01-17 cs.CV
ClipGrader: Leveraging Vision-Language Models for Robust Label Quality Assessment in Object Detection
Intel Labs(英特尔实验室)
本文提出ClipGrader,利用视觉-语言模型CLIP自动评估目标检测中边界框标注的准确性与空间精度,有效提升了数据集标注质量并改善了半监督目标检测模型的伪标签质量与mAP表现。
2025-03-03 cs.AI cs.CV cs.LG
Targeted False Positive Synthesis via Detector-guided Adversarial Diffusion Attacker for Robust Polyp Detection
Wuhan University of Technology(武汉理工大学);Huazhong University of Science(华中科技大学)
针对息肉检测中假阳性问题,提出检测器引导的对抗扩散攻击器(DADA),通过区域噪声匹配和对抗扰动合成高价值假阳性数据,提升检测器F1分数至少2.6%。
2025-06-22 cs.CV
Diverse Image Captioning with Context-Object Split Latent Spaces
Dept. of Computer Science, TU Darmstadt(达姆施塔特工业大学计算机科学系);TU Darmstadt(达姆施塔特工业大学)
不同的图像描述模型旨在学习跨域数据集(如图像和文本)固有的一对多映射。目前用于此任务的方法是基于生成潜在变量模型,例如具有结构化潜在空间的VAE。然而,以前的工作所捕获的多模态的量仅限于成对的训练数据--底层生成过程的真正多样性没有被完全捕获。为了解决这一限制,我们利用数据集中的上下文描述来解释不同视觉场景中的相似上下文。为此,我们引入了一种新型的潜在空间因子分解(称为上下文对象分割),以对数据集中图像和文本的上下文描述的多样性进行建模。我们的框架不仅使不同的字幕,通过基于上下文的伪监督,但扩展到图像与新的对象和没有配对的字幕在训练数据。我们在标准COCO数据集和由具有新对象的图像组成的COCO数据集上评估了我们的COS-CVAE方法,显示出在准确性和多样性方面的显着增益。
2020-11-02 cs.CV cs.LG
Edge Reliability Gap in Vision-Language Models: Quantifying Failure Modes of Compressed VLMs Under Visual Corruption
Marmara University, Institute of Pure and Applied Sciences(马尔马拉大学纯科学与应用科学研究所)
本文比较了压缩的视觉-语言模型在视觉损坏下的失败模式,发现紧凑模型在COCO上表现出更高的语义漂移和对象盲区,且置信度校准存在显著差异。
2026-03-24 cs.AI cs.CV
NoduleNet: Decoupled False Positive Reductionfor Pulmonary Nodule Detection and Segmentation
Deep Voxel Inc.(深体素公司)
肺结节检测、假阳性减少和分割代表了胸部CT图像的计算机辅助分析中的三个最常见的任务。针对每个任务都提出了方法,其中基于深度学习的方法最近备受青睐。然而,训练深度学习模型来分别解决每个任务可能是次优的-资源密集型的,并且没有特征共享的好处。在这里,我们提出了一种新的端到端3D深度卷积神经网络(DCNN),称为NoduleNet,以多任务方式联合解决结节检测,误报减少和结节分割。为了避免不同任务之间的摩擦并鼓励特征多样化,我们采用了两个主要的设计技巧:1)用于结节检测和假阳性减少的解耦特征图,以及2)用于提高结节分割精度的分割细化子网。在大规模LIDC数据集上进行的大量实验表明,多任务训练非常有益,与仅训练用于解决结节检测任务的基线模型相比,结节检测准确率提高了10.27%。我们还进行了系统的消融研究,以突出每个添加组件的贡献。代码可在https://github.com/uci-cbcl/NoduleNet上获得。
2019-07-25 cs.CV
Your Negative May not Be True Negative: Boosting Image-Text Matching with False Negative Elimination
University of Electronic Science and Technology of China(电子科技大学);National University of Singapore(新加坡国立大学)
本文针对图像-文本匹配中困难负样本可能实为假负样本的问题,提出假负样本消除(FNE)策略,利用贝叶斯规则计算采样权重并结合动量记忆缓冲区进行负采样,在Flickr30K和MS-COCO上验证了其有效性。
2023-08-08 cs.CV cs.IR cs.MM
RF-DETR: Neural Architecture Search for Real-Time Detection Transformers
Roboflow;Carnegie Mellon University(卡内基梅隆大学)
RF-DETR通过轻量级检测Transformer和神经架构搜索,在实时检测中实现更高的精度和速度,超越现有方法。
2026-02-03 cs.CV
Single-view 2D CNNs with Fully Automatic Non-nodule Categorization for False Positive Reduction in Pulmonary Nodule Detection
Korea Advanced Institute of Science and Technology(韩国科学技术院);Hanbat National University(韩巴国立大学)
背景与目的:在肺结节检测中,第一阶段是候选检测,目的是检测出可疑的肺结节。然而,检测到的候选包括许多假阳性,因此在下一阶段,假阳性减少,这样的假阳性被可靠地减少。请注意,由于1)结节和非结节数量之间的不平衡以及2)非结节的类内多样性,这项任务具有挑战性。尽管使用3D卷积神经网络(CNN)的技术已经显示出有前途的性能,但是它们遭受高计算复杂性,这阻碍了构建深度网络。为了有效地解决这些问题,我们提出了一种新的框架,使用单一视图的2D CNN集成,其性能优于现有的基于3D CNN的方法。研究方法:与以前利用3D CNN的技术相比,我们的2D CNN系综利用单视图2D补丁来提高计算和内存效率。我们首先根据自动编码器编码的特征对非结节进行分类。然后,所有2D CNN都使用相同的结节样本进行训练,但使用不同类型的非结节。通过扩展学习能力,该训练方案解决了从具有较大外观变化的非结节中提取代表性特征的困难。请注意,我们建议基于自动编码器和k均值聚类自动分类非结节,而不是需要放射科医生繁重工作量的手动分类。
2020-03-09 cs.CV
Object-Centric Dataset Resources for Constrained-Data Image Generation and Augmentation
The University of Queensland(昆士兰大学);Swinburne University of Technology(斯威本科技大学)
针对少样本场景下的对象中心图像生成,提出三个标准化数据集资源(Cityscapes-Pedestrian、TrafficSigns、COCO PottedPlant),提供256×256裁剪、边界框标注及重建脚本,支持受控比较与评估。
2026-06-23 cs.CV cs.LG
DDI-CoCo: A Dataset For Understanding The Effect Of Color Contrast In Machine-Assisted Skin Disease Detection
University of Southern California(南加州大学);National Taiwan University Hospital(国立台湾大学医学院附设医院);IBM Research(IBM研究院)
本文构建 DDI-CoCo 数据集并提出色彩对比度量化标注方法,揭示病变与皮肤色彩差异会跨模型影响恶性皮肤病检测,并可能加剧肤色相关性能偏差。
2024-01-24 cs.CE cs.CV
A Continuous, Full-scope, Spatio-temporal Tracking Metric based on KL-divergence
U.S. Government(美国政府)
给出了一个统一的目标跟踪系统的评价指标。该度量受到KL-发散或相对熵的启发,这通常用于评估聚类技术。由于跟踪问题从根本上不同于聚类,因此KL发散的分量被重铸以处理各种类型的跟踪误差(即,错误警报、遗漏检测、合并、拆分)。评分结果给出了一个标准的跟踪数据集(牛津市中心数据集),以及几个模拟的情况。此外,这个新的指标与其他几个指标,包括常用的多目标跟踪精度指标进行了比较。在最后一节中,给出了这种度量的优点,包括它是连续的,无参数和全面的事实。
2019-03-01 cs.CV
Generating Object Stamps
University of Bath(巴斯大学);Brown University(布朗大学);Adobe Research(奥多比研究院);UNIST(蔚山科学技术院)
我们提出了一种算法来生成不同的前景对象,并将它们合成到背景图像使用GAN架构。给定一个对象类,一个用户提供的限界框和一个背景图像,我们首先使用遮罩生成器来创建一个对象形状,然后使用纹理生成器来填充遮罩,使得纹理与背景相结合。通过将对象插入的问题分离到这两个阶段,我们表明,我们的模型允许我们提高不同对象生成的真实性,这也与所提供的背景图像一致。我们在具有挑战性的COCO数据集上的结果显示,与最先进的对象插入方法相比,整体质量和多样性有所提高。
2020-01-10 cs.CV eess.IV
Spatial encoding of BOLD fMRI time series for categorizing static images across visual datasets: A pilot study on human vision
IIIT Bangalore(国际信息技术研究所班加罗尔分校)
本研究使用BOLD5000数据集,通过GAF和MTF对fMRI BOLD时间序列进行空间编码,并采用并行CNN模型对跨COCO、ImageNet和SUN的图像进行分类,较1D LSTM等方法提升7%,为理解大脑视觉处理建立了基线。
2023-09-07 cs.AI cs.CV eess.IV