Part-aware Prototype Network for Few-shot Semantic Segmentation
Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；ShanghaiTech University（上海科技大学）
Few-Shot语义分割旨在学习仅用少量带注释的示例来分割新对象类，具有广泛的现实应用。现有的大多数方法要么集中在单向Few-Shot分割的限制性设置上，要么遭受对象区域的不完全覆盖。在本文中，我们提出了一种新的Few-Shot语义分割框架的基础上的原型表示。我们的主要思想是将整体类表示分解为一组部分感知的原型，能够捕获不同的和细粒度的对象功能。此外，我们建议利用未标记的数据来丰富我们的部分感知原型，从而更好地建模语义对象的类内变化。我们开发了一种新的图神经网络模型来生成和增强基于标记和未标记图像的零件感知原型。在两个基准上进行的广泛的实验评估表明，我们的方法优于现有技术，具有相当大的利润率。
2022-12-02 cs.CV
Zero-Shot Semantic Segmentation via Spatial and Multi-Scale Aware Visual Class Embedding
MINDsLab Inc.（MINDsLab 公司）；Agency for Defense Development（国防发展局）
全监督语义分割技术带来了场景理解的范式转变。然而，昂贵的标签成本负担仍然是一个挑战。为了解决成本问题，近年来的研究提出了基于语言模型的zero-shot语义分割（L-SLOSS）方法。在本文中，我们解决了L-CSSs的局限性，推广是一个优点，零样本学习。针对这一局限性，本文提出了一种无语言模型的zero-shot语义分割框架--空间和多尺度感知的视觉类嵌入网络（SM-VCENet）。此外，利用面向视觉的类嵌入SM-VCENet通过多尺度注意和空间注意丰富了类嵌入的视觉信息。我们还提出了一个新的基准（PASCAL 2 COCO）的zero-shot语义分割，它提供了泛化评价领域自适应，并包含视觉上具有挑战性的样本。在实验中，我们的SM-VCENet优于zero-shot语义分割国家的最先进的PASCAL-5i基准测试的相对利润，并显示在PASCAL 2COCO基准测试的泛化鲁棒性。
2021-12-20 cs.CV
Few-Shot Object Detection with Attention-RPN and Multi-Relation Detector
HKUST（香港科技大学）；Tencent（腾讯）
用于目标检测的常规方法通常需要大量的训练数据，并且准备这样的高质量训练数据是非常劳动密集的。在本文中，我们提出了一种新的Few-Shot目标检测网络，旨在检测对象的不可见的类别只有几个注释的例子。我们的方法的核心是我们的注意力RPN，多关系检测器和对比训练策略，利用Few Shot支持集和查询集之间的相似性来检测新的对象，同时抑制背景中的错误检测。为了训练我们的网络，我们贡献了一个新的数据集，其中包含1000个具有高质量注释的各种对象的类别。据我们所知，这是第一批专门为Few-Shot目标检测设计的数据集之一。一旦我们的Few-Shot网络经过训练，它就可以检测出不可见类别的对象，而无需进一步训练或微调。我们的方法是通用的，并具有广泛的潜在应用。我们在Few-Shot设置中的不同数据集上产生了新的最先进的性能。数据集链接是https://github.com/fanq15/Few-Shot-Object-Detection-Dataset。
2020-05-10 cs.CV
Extend the shallow part of Single Shot MultiBox Detector via Convolutional Neural Network
Peking University（北京大学）
Single Shot MultiBox Detector（SSD）是当前目标检测领域中速度最快的算法之一，它利用完全的卷积神经网络来检测图像中所有缩放的目标。反卷积Single Shot检测器（DSSD）是一种通过在SSD中加入反卷积模块来引入更多上下文信息的方法。DSSD在PASCAL VOC 2007上的平均精度（mAP）由SSD的77.5%提高到78.6%。虽然DSSD获得的mAP比SSD高1.1%，但每秒帧数（FPS）从46降至11.8。在本文中，我们提出了一个单阶段的端到端的图像检测模型，称为ESSD，以克服这一困境。我们对这个问题的解决方案是巧妙地扩展更好的上下文信息的最佳单级（例如SSD）检测器的浅层。实验结果表明，我们的模型可以达到79.4%的mAP，这是高于DSSD和SSD分别为0.8和1.9点。同时，我们的测试速度是25 FPS在泰坦X GPU这是两倍以上的原始DSSD。
2018-01-18 cs.CV
Improved Hard Example Mining Approach for Single Shot Object Detectors
ASELSAN Inc.（ASELSAN公司）
硬示例挖掘方法通常提高对象检测器的性能，对象检测器受到不平衡训练集的影响。在这项工作中，两个现有的硬例子挖掘方法（LRM和焦点损失，FL）进行了调整，并结合在一个国家的最先进的实时对象检测器，YOLOv 5。所提出的方法的有效性，以提高性能的硬例子进行了广泛的评估。与使用原始损失函数相比，所提出的方法将mAP提高了3%，与单独使用2021年反无人机挑战数据集的硬采矿方法（LRM或FL）相比，提高了约1-2%。
2022-07-12 cs.CV
Exploring the Vulnerability of Single Shot Module in Object Detectors via Imperceptible Background Patches
University at Albany, State University of New York（纽约州立大学奥尔巴尼分校）；GE Global Research Center（通用电气全球研究中心）
最近的工作成功地在整个图像或感兴趣的对象上生成对抗性扰动，以破坏基于CNN的对象检测器。在本文中，我们专注于探索最近的对象检测器中常用的Single Shot模块（SSM）的脆弱性，通过在对象外部的背景中添加小的扰动补丁。SSM是指在两级对象检测器或单级对象检测器本身中使用的区域提议网络。SSM通常是一个完全的卷积神经网络，它在单次前向传递中生成输出。由于SSM中使用了过多的卷积，实际的感受野比物体本身大。因此，我们提出了一种新的方法来腐败的对象检测器，仅在背景中产生不可察觉的补丁。我们的方法可以找到一些背景补丁的扰动，这可以有效地减少真阳性和显着增加误报。在MS COCO 2014数据集上的5个两级对象检测器和8个单级对象检测器上证明了有效性。结果表明，在目标区域的限界框之外的小失真扰动仍然会严重损害检测性能。
2019-07-02 cs.CV
Dual-Awareness Attention for Few-Shot Object Detection
National Taiwan University（台湾大学）；Mobile Drive Technology（Mobile Drive Technology（移动驱动科技））
虽然最近的进展显着提高了Few-Shot分类（FSC）的性能，Few-Shot目标检测（FSOD）仍然是现代学习系统的挑战。现有的FSOD系统遵循FSC方法，忽略了空间变化和不确定表示等关键问题，因此导致性能低下。观察到这一点，我们提出了一种新的\textbf{Dual-Awareness Attention (DAnA)}机制，使网络能够自适应地解释给定的支持图像。DAnA将支持图像转换为\textbf{query-position-aware}（QPA）特征，通过将定制的支持信息分配给查询的每个局部区域来精确地引导检测网络。此外，所提出的DAnA组件是灵活的，并适用于多种现有的目标检测框架。通过采用DAnA，传统的目标检测网络、Faster R-CNN和RetinaNet（并非明确针对少样本学习而设计）在FSOD任务中达到了最先进的性能。与以前的方法相比，我们的模型显着提高了47%（+6.9 AP）的性能，在各种评估设置下显示出显着的能力。
2021-09-16 cs.CV
ASSD: Attentive Single Shot Multibox Detector
Rutgers University（罗格斯大学）
本文提出了一种新的用于目标检测的深度神经网络。建议的网络，称为ASSD，建立在空间空间的特征映射的特征关系。利用全局关系信息，ASSD学习突出特征图上的有用区域，同时抑制无关信息，从而为目标检测提供可靠的指导。与依赖复杂的CNN层来细化特征图的方法相比，ASSD设计简单，计算效率高。实验结果表明，ASSD的竞争有利的国家的最先进的，包括SSD，DSSD，FSSD和RetinaNet。
2019-09-27 cs.CV
Single Shot Video Object Detector
University of Science and Technology of China（中国科学技术大学）；JD AI Research（京东人工智能研究院）
可能比两阶段检测器更快和更简单的Single Shot检测器往往更适用于视频中的目标检测。然而，这种对象检测器从图像到视频的扩展不是微不足道的，特别是当视频中存在外观劣化、\emph{e.g.}、运动模糊或遮挡时。一个有效的问题是如何探索跨帧的时间相干性以提高检测。在本文中，我们建议通过聚合相邻帧来增强每帧特征来解决这个问题。具体来说，我们提出了Single Shot Video Object Detector（SSVD）-一种新的架构，新颖地将特征聚合集成到一个用于视频中目标检测的一级检测器中。在技术上，SSVD以特征金字塔网络（FPN）为骨干网络，产生多尺度特征。与现有的特征聚合方法不同，SSVD一方面估计运动并沿着运动路径聚合附近的特征，另一方面通过直接从双流结构中的相邻帧中采样特征来实现特征的超分辨率。在ImageNet VID数据集上进行了广泛的实验，并报告了与最先进方法相比的竞争结果。更值得注意的是，对于$448 \times 448$输入，SSVD在ImageNet VID上实现了79.2%的mAP，在Nvidia Titan X Pascal GPU上以85 ms的时间处理一帧。该代码可在\url{https://github.com/ddjiajun/SSVD}获得。
2020-07-07 cs.CV
Generalized Few-Shot Object Detection without Forgetting
Megvii Technology（旷视科技）
近年来，Few-Shot目标检测被广泛用于处理数据有限的情况。虽然大多数以前的作品只专注于性能上的Few-Shot类别，我们声称，检测所有类是至关重要的测试样本可能包含任何实例在现实中的应用，这需要Few-Shot检测器学习新的概念，而不会忘记。通过对基于迁移学习的方法的分析，利用一些被忽视但有益的性质，设计了一种简单而有效的Few-Shot检测器--保留R-CNN。它由Bias-Balanced RPN和Re-detector组成，Bias-Balanced RPN用于消除预训练RPN的偏差，Re-detector用于在不忘记先前知识的情况下找到Few-Shot类对象。在Few-Shot检测基准上进行的大量实验表明，在所有设置中，Retentive R-CNN在整体性能上明显优于最先进的方法，因为它可以在Few-Shot类上实现有竞争力的结果，并且根本不会降低基类的性能。我们的方法已经证明，长期期望的永不遗忘的学习器是可用的目标检测。
2021-05-20 cs.CV
Location-Aware Box Reasoning for Anchor-Based Single-Shot Object Detection
The University of Kansas（堪萨斯大学）
在大多数目标检测框架中，实例分类的置信度被用作预测边界框的质量标准，如非最大抑制（NMS）中基于置信度的排名。然而，表示空间关系的边界框的质量不仅与分类分数相关。与基于区域建议网络（RPN）的检测器相比，单次目标检测器由于缺乏对框建议的预先选择而遭受框质量。在本文中，我们针对单镜头目标检测器，并提出了一个位置感知的基于锚的推理（LAAR）的包围盒。LAAR将位置置信度和分类置信度作为边界框质量评估的依据。我们引入了一种新的网络块来学习锚点和地面实况之间的相对位置，表示为本地化分数，它在推理阶段充当位置参考。所提出的定位分数导致独立的回归分支，并通过对预测的定位分数进行评分来校准限界框质量，使得可以在NMS中拾取最佳限定的边界框。在MS COCO和PASCAL VOC基准测试上的实验表明，所提出的位置感知框架增强了现有基于锚点的单次目标检测框架的性能，并产生了一致和鲁棒的检测结果。
2020-07-13 cs.CV
Dense Relation Distillation with Context-aware Aggregation for Few-Shot Object Detection
Peking University（北京大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
用于目标检测的传统的基于深度学习的方法需要大量的限界框注释用于训练，这对于获得这样的高质量注释数据是昂贵的。Few-Shot目标检测是一种非常具有挑战性的方法，它只需要很少的注释样本就可以适应新的类，因为新对象的细粒度特征很容易被忽略，只有很少的数据可用。在这项工作中，为了充分利用带注释的新对象的特征并捕获查询对象的细粒度特征，我们提出了具有上下文感知聚合的密集关系蒸馏（DCNet）来解决少镜头检测问题（Few-Shot detection problem）。基于元学习的框架，稠密关系蒸馏模块的目标是充分利用支持特征，其中支持特征和查询特征是密集匹配的，以前馈方式覆盖所有空间位置。引导信息的大量使用赋予模型处理常见挑战的能力，例如外观变化和遮挡。此外，为了更好地捕获尺度感知特征，上下文感知聚合模块自适应地利用不同尺度的特征，以获得更全面的特征表示。大量的实验表明，我们提出的方法在PASCAL VOC和MS COCO数据集上实现了最先进的结果。代码将在https://github.com/hzhupku/DCNet上提供。
2021-03-30 cs.CV
Weaving Multi-scale Context for Single Shot Detector
National University of Singapore（新加坡国立大学）；Qihoo 360 AI Institute（奇虎360人工智能研究院）
聚合多尺度的上下文信息已被证明是有效的，以提高Single Shot Detector（SSD）的目标检测的准确性。然而，现有的多尺度上下文融合技术是计算昂贵的，这不利地减少了SSD的有利速度。在这项工作中，我们提出了一种新的网络拓扑结构，称为WeaveNet，它可以有效地融合多尺度信息，并以微不足道的额外成本提高检测精度。所提出的WeaveNet迭代地将相邻尺度的上下文信息编织在一起，以实现更复杂的上下文推理，同时保持快速。WeaveNet通过堆叠轻量级块构建，易于训练，而不需要批量归一化，并且可以通过我们提出的架构简化来进一步加速。在PASCAL VOC 2007、PASCAL VOC 2012基准测试上的实验结果表明，WeaveNet带来了显著的性能提升。对于批量大小= 8的320x320输入，WeaveNet在PASCAL VOC 2007测试中以101 fps的速度达到79.5%的mAP，只有4 fps的额外成本，并通过更多的迭代进一步提高到79.7%的mAP。
2017-12-08 cs.CV
Delving into Shape-aware Zero-shot Semantic Segmentation
Xidian University（西安电子科技大学）；Tsinghua University（清华大学）；Didi Chuxing（滴滴出行）
本文提出利用自监督像素级特征构建拉普拉斯矩阵特征向量来增强形状感知，在 Pascal 和 COCO 上刷新零样本语义分割最优性能。
2023-04-17 cs.CV
3D-PointZshotS: Geometry-Aware 3D Point Cloud Zero-Shot Semantic Segmentation Narrowing the Visual-Semantic Gap
Syracuse University（雪城大学）
针对现有零样本3D点云分割方法迁移能力有限的问题，提出几何感知框架3D-PointZshotS，通过潜在几何原型增强特征生成与对齐，引入自一致性损失提升鲁棒性，在三个数据集上的调和mIoU优于基线。
2025-04-16 cs.CV
DSSD : Deconvolutional Single Shot Detector
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Amazon Inc.（亚马逊公司）
本文的主要贡献是一种方法，用于引入额外的上下文到国家的最先进的一般目标检测。为了实现这一目标，我们首先将最先进的分类器（残差-101 [14]）与快速检测框架（SSD[18]）相结合。然后，我们用反卷积层增强SSD+残差-101，以在目标检测中引入额外的大规模上下文并提高准确性，特别是对于小对象，将我们得到的系统称为反卷积Single Shot检测器的DSSD。虽然这两个贡献很容易在高层次上描述，但天真的实现不会成功。相反，我们表明，仔细添加额外的学习转换阶段，特别是反卷积中的前馈连接模块和新的输出模块，使这种新方法成为可能，并为进一步的检测研究提供了一种潜在的前进方向。结果显示在PASCAL VOC和COCO检测上。我们使用$513 \times 513$输入的DSSD在VOC 2007测试中达到81.5% mAP，在VOC 2012测试中达到80.0% mAP，在COCO上达到33.2% mAP，在每个数据集上都优于最先进的方法R-FCN[3]。
2017-01-23 cs.CV
MDSSD: Multi-scale Deconvolutional Single Shot Detector for Small Objects
Zhengzhou University（郑州大学）
对于大多数基于多尺度特征图的目标检测器，浅层具有丰富的精细空间信息，因此主要负责小目标检测。然而，由于浅层特征图缺乏语义信息，小目标检测的性能仍不令人满意。本文设计了一种多尺度解卷积Single Shot检测器（MDSSD），特别适用于小目标的目标检测。在MDSSD中，同时对不同尺度的多个高级特征图进行上采样，以提高空间分辨率。然后，我们通过Fusion Block实现了低层特征映射的跳过连接。融合后的特征图称为融合模块，具有较强的小样本特征表示能力。值得注意的是，Fusion Block中使用的这些高级特征图保留了强语义信息和小实例的一些细节，而不是最顶层，其中小对象的细节表示可能会被删除。所提出的框架实现了77.6%的mAP小目标检测上具有挑战性的数据集TT 100 K与512 × 512输入，优于其他检测器具有较大的利润。此外，它还可以在PASCAL VOC 2007测试和MS COCO test-dev 2015上实现一般目标检测的最新结果，特别是在小对象类别上实现2到5点的改进。
2020-02-25 cs.CV
Leveraging Bottom-Up and Top-Down Attention for Few-Shot Object Detection
University of Minnesota（明尼苏达大学）
针对小样本目标检测中自上而下注意力效果受限的问题，提出结合两类注意力的AttFDNet网络，搭配新型损失与混合学习策略，验证了注意力互补性并提升了检测性能与可解释性。
2020-07-23 cs.CV
Efficient Meta-Learning Enabled Lightweight Multiscale Few-Shot Object Detection in Remote Sensing Images
College of Electronics and Information Engineering, Sichuan University（四川大学电子信息工程学院）；School of Mechanical Engineering and Automation, Fuzhou University（福州大学机械工程与自动化学院）；Yunnan Key Laboratory of Software Engineering, Yunnan University（云南大学云南省软件工程重点实验室）
针对遥感图像少样本检测的多尺度与模型笨重问题，本文以YOLOv7为基线构建轻量级元学习框架，并通过元采样和元交叉损失利用负样本，在DIOR与NWPU VHR-10.v2上取得先进性能。
2024-06-17 cs.CV
Few-Shot Batch Incremental Road Object Detection via Detector Fusion
PES University（PES大学）；Intel Corporation（英特尔公司）
增量少样本学习已经成为深度学习中一个新的具有挑战性的领域，其目标是使用很少的新类数据样本来训练深度学习模型，而不使用旧类数据。在这项工作中，我们解决了批量增量Few-Shot道路目标检测使用的数据从印度驾驶数据集（IDD）的问题。我们的方法DualFusion以一种允许我们学习用非常有限的数据检测稀有对象的方式结合了对象检测器，所有这些都不会严重降低检测器在丰富类上的性能。在IDD OpenSet增量Few-Shot检测任务中，我们在基类上实现了40.0的mAP50得分，总体mAP50得分为38.8，这两个得分都是迄今为止最高的。在COCO批量增量Few-Shot检测任务中，我们实现了9.9的新颖AP得分，超过了最先进的新颖类性能超过6.6倍。
2021-08-18 cs.AI cs.CV
Detecting Small Objects in Thermal Images Using Single-Shot Detector
Nanchang University（南昌大学）
SSD（Single Shot Multibox Detector）是目前最成功的目标检测器之一，具有精度高、速度快等优点。然而，SSD的浅层（主要是Conv4_3）的特征缺乏语义信息，导致小对象的性能较差。在本文中，我们提出了DDSSD（膨胀和反卷积Single Shot多盒检测器），一个增强的SSD与一个新的特征融合模块，可以提高性能比SSD小目标检测。在特征融合模块中，采用膨胀卷积模块扩大浅层特征的感受野，采用反卷积模块增大高层特征图的尺寸。我们的网络在PASCAL VOC 2007测试中实现了79.7%的mAP，在MS COCO测试开发中实现了28.3%的mmAP，41 FPS，使用单个Nvidia 1080 GPU仅需300x300输入。特别是对于小目标，DDSSD在MS COCO上达到10.5%，在FLIR热数据集上达到22.8%，在准确性和速度方面优于许多最先进的目标检测算法。
2021-08-25 cs.CV eess.IV
SS3D: Single Shot 3D Object Detector
Texas Instruments (India) Ltd.（德州仪器（印度）有限公司）；IIT Bombay（印度理工学院孟买分校）
用于2D目标检测的单阶段深度学习算法通过Single Shot MultiBox Detector（SSD）变得流行，并且在一些嵌入式应用中被大量采用。PointPillars是最先进的3D对象检测算法，其使用适用于3D目标检测的Single Shot检测器。PointPillars的主要缺点是它有一个两阶段的方法，基于完全连接的层学习输入表示，然后是用于3D检测的Single Shot Detector。在本文中，我们提出了Single Shot三维目标检测（SS 3D）-一个单阶段的三维目标检测算法，它结合了直接向前，统计计算的输入表示和Single Shot检测器（基于PointPillars）。计算输入表示是直接的，不涉及学习，也没有太多的计算成本。我们还将我们的方法扩展到立体声输入，并表明，通过额外的语义分割输入的帮助下，我们的方法产生类似的精度作为最先进的立体声检测器。使用单级方法实现两级检测器的精度是重要的，因为单级方法在嵌入式实时应用中更容易实现。使用LiDAR和立体声输入，我们的方法优于PointPillars。当使用LiDAR输入时，我们的输入表示能够将中等类别中的汽车对象的AP 3D从74.99提高到76.84。当使用立体声输入时，我们的输入表示能够将中等类别中的汽车对象的AP 3D从38.13提高到45.13。我们的结果也优于其他流行的3D对象检测器，如AV…
2020-05-02 cs.CV cs.LG eess.IV
Temporal Object-Aware Vision Transformer for Few-Shot Video Object Detection
针对少样本视频目标检测的时序一致性与泛化难题，本文提出带特征过滤传播机制的时序目标感知ViT，无需复杂区域候选即可在多数据集少样本设置下取得显著AP提升并开源代码。
2025-11-16 cs.AI cs.CV
Faster OreFSDet : A Lightweight and Effective Few-shot Object Detector for Ore Images
Hubei University of Technology（湖北工业大学）；Nanjing University（南京大学）；Fudan University（复旦大学）；Chinese Academy of Sciences（中国科学院）
针对矿石图像标注数据稀缺、现有小样本检测器部署难的问题，提出轻量型Faster OreFSDet，通过支持特征挖掘、关系引导与双尺度语义聚合实现高性能检测，模型仅19MB、速度达50 FPS。
2023-05-02 cs.CV eess.IV
Towards Discriminative and Transferable One-Stage Few-Shot Object Detectors
Robert Bosch GmbH（罗伯特·博世有限公司）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Stuttgart（斯图加特大学）；Fraunhofer IOSB（弗劳恩霍夫光学、电子与精密工程研究所）
最近的目标检测模型需要大量的注释数据来训练新的对象类别。Few-Shot目标检测（FSOD）旨在通过仅给定少量样本来学习新类来解决这个问题。虽然使用两级FSOD探测器已经实现了有竞争力的结果，但通常一级FSOD与它们相比表现不佳。我们观察到，两阶段和一阶段FSOD之间的性能差距很大，主要是由于他们的弱辨别力，这是由一个小的融合后的感受野和少量的前景样本的损失函数解释。为了解决这些局限性，我们提出了Few-Shot RetinaNet（FSRN），它包括：多路支持训练策略，以增加密集元检测器的前景样本数量，早期的多级特征融合，提供了一个广泛的接受领域，覆盖整个锚区域，以及查询和源图像上的两个增强技术，以提高可移植性。大量的实验表明，该方法解决了局限性，提高了可辨别性和可移植性。FSRN比两级FSOD快近两倍，同时在精度上保持竞争力，并且在MS-COCO和PASCAL VOC基准测试中优于最先进的一级元检测器和一些两级FSOD。
2022-10-11 cs.AI cs.CV
DiGeo: Discriminative Geometry-Aware Learning for Generalized Few-Shot Object Detection
Columbia University（哥伦比亚大学）
广义Few-Shot目标检测的目标是在具有丰富注释的基本类和具有有限训练数据的新类上实现精确检测。现有的方法增强了Few-Shot的推广与牺牲的基本类的性能，或保持高精度的基本类检测与有限的改进，在新的类适应。在本文中，我们指出原因是所有类别的判别特征学习不足。因此，我们提出了一个新的训练框架DiGeo，来学习类间分离和类内紧凑性的几何感知特征。为了指导特征聚类的分离，我们推导出一个离线的单形等角紧框架（ETF）分类器，其权重作为类中心，并最大限度地均匀分离。为了收紧每个类的聚类，我们将自适应类特定的边缘纳入分类损失，并鼓励靠近类中心的特征。在两个Few-Shot基准数据集（VOC，COCO）和一个长尾数据集（LVIS）上的实验研究表明，该方法可以在不影响基类检测的情况下，有效地提高新类的泛化能力。
2023-03-16 cs.AI cs.CV
DAUPNet: Domain-Aware Uncertainty Modeling for Reliable Prototype Discrimination in Cross-Domain Few-Shot Semantic Segmentation
Huazhong University of Science and Technology（华中科技大学）
针对跨域少样本语义分割中因域偏移致原型匹配不可靠的问题，提出DAUPNet框架，通过协调特征、概率表示原型及用不确定性调节优化，在四个标准目标域取得较好平均mIoU，为跨域少样本语义分割提供了可靠方法。
2026-11-02 cs.AI cs.CV
Context-Transformer: Tackling Object Confusion for Few-Shot Detection
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）
Few-Shot目标检测是一个具有挑战性但现实的场景，其中只有少数带注释的训练图像可用于训练检测器。处理这个问题的流行方法是迁移学习，即，微调在源域基准上预训练的检测器。然而，由于训练样本的数据多样性低，这种转移的检测器往往不能识别目标域中的新对象。为了解决这个问题，我们提出了一个新的上下文转换器在一个简洁的深度传输框架。具体来说，Context-Transformer可以有效地利用源域对象知识作为指导，并自动利用目标域中的少量训练图像中的上下文。随后，它可以自适应地整合这些关系线索，以提高检测器的辨别能力，以减少目标混淆在Few-Shot场景。此外，Context-Transformer灵活地嵌入到流行的SSD风格的检测器中，这使其成为端到端少样本学习的即插即用模块。最后，我们评估上下文转换器的挑战性设置的Few-Shot检测和增量Few-Shot检测。实验结果表明，我们的框架优于最近的国家的最先进的方法。
2020-03-16 cs.AI cs.CV cs.LG
AFANet: Adaptive Frequency-Aware Network for Weakly-Supervised Few-Shot Semantic Segmentation
School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院）
本文针对弱监督小样本语义分割提出AFANet，通过跨粒度频率感知模块和CLIP引导的空间适配器模块，利用图像级标注实现最先进的分割性能。
2024-12-25 cs.AI cs.CV
Detecting Extratropical Cyclones of the Northern Hemisphere with Single Shot Detector
Nanjing University of Information & Science Technology（南京信息工程大学）；University of California San Diego（加州大学圣迭戈分校）
在本文中，我们提出了一个基于深度学习的模型来检测北半球的热带气旋（ETC），同时开发了一种新的处理图像和生成ETC标签的工作流程。我们首先采用Bonfanti等人[1]的方法对气旋中心进行标记，并建立了三个类别的标记ETCs的标准：发展阶段，成熟阶段和衰退阶段。然后，我们提出了一个框架的标签和预处理图像在我们的数据集中。一旦图像和标签准备好作为输入，我们就创建名为Single Shot Detector（SSD）的目标检测模型，以适应数据集的格式。我们在两种设置（二进制和多类分类）上使用标记的数据集训练和评估我们的模型，同时记录结果。最后，我们取得了较高的性能检测成熟阶段的ETCs（平均平均精度为86.64%），和一个可以接受的结果检测所有三个类别的ETCs（平均平均精度为79.34%）。我们的结论是，单次检测器模型可以成功地检测不同阶段的ETC，它在未来的ETC检测在其他相关设置的应用中表现出巨大的潜力。
2021-12-01 cs.CV cs.LG physics.ao-ph
MUSE: Model-based Uncertainty-aware Similarity Estimation for zero-shot 2D Object Detection and Segmentation
Netmarble（网石游戏）
本文提出无需训练的 MUSE 框架，通过多视图模板、GeM 图像块嵌入、绝对/相对联合相似度及不确定性先验，实现零样本2D检测与分割，并在 BOP Challenge 2025 三项赛道排名第一。
2025-10-15 cs.AI cs.CV
Learning to Borrow Features for Improved Detection of Small Objects in Single-Shot Detectors
Department of Mathematics（数学系）；Zewail City of Science & Technology（泽瓦伊城市科学与技术城）
针对单阶段检测器中小目标检测因空间分辨率与语义丰富度权衡而受限的问题，提出基于SSD的特征借用框架，通过FMB、FRB和FFB三个模块让小目标从同类大目标借用判别性特征，在保持实时性的同时显著提升检测精度。
2025-04-30 cs.CV math.OC
Visual Modality Prompt for Adapting Vision-Language Object Detectors
ETS Montreal（蒙特利尔理工学院）；International Laboratory on Learning Systems (ILLS)（国际学习系统实验室）
本文提出ModPrompt视觉提示策略，通过编码器-解码器与模态提示解耦残差，将YOLO-World和Grounding DINO适配到红外、深度模态，并在保留零样本能力的同时达到接近全量微调的效果。
2025-03-14 cs.AI cs.CV cs.LG
CvT-ASSD: Convolutional vision-Transformer Based Attentive Single Shot MultiBox Detector
University Shanghai（上海大学）
由于Transformers的双向编码器表示（BERT）在自然语言处理（NLP）中的成功，多头注意力Transformer在计算机视觉研究（CV）中得到了越来越广泛的应用。然而，它仍然是一个挑战，研究人员提出了复杂的任务，如视觉检测和语义分割。虽然已经提出了多种基于Transformer-Based的结构来完成目标检测任务，如DETR和ViT-FRCNN，但由于传统的自注意操作所带来的巨大的学习参数和沉重的计算复杂性，它们不可避免地降低了识别精度并降低了计算效率。为了缓解这些问题，我们提出了一种新的目标检测架构，命名为基于卷积视觉Transformer的注意Single Shot MultiBox检测器（CvT-ASSD），该架构构建在卷积视觉变换器（CvT）之上，具有高效的注意Single Shot MultiBox检测器（ASSD）。我们提供了全面的经验证据，表明我们的模型CvT-ASSD可以在PASCAL VOC和MS COCO等大规模检测数据集上进行预训练，从而获得良好的系统效率和性能。代码已在公共github存储库https://github.com/albert-jin/CvT-ASSD上发布。
2021-10-24 cs.AI cs.CV cs.LG
SubjectAnchor: Subject-Aware Memory-to-Video for Multi-Shot Storytelling
Kling AI Research（可灵AI研究院）
SubjectAnchor提出一种基于显式视觉记忆的主题感知记忆到视频生成范式，通过记忆构建、时间旋转位置编码和注意力分区，在多镜头叙事中保持主题身份与场景一致性，实验验证其跨镜头一致性优于基线。
2026-09-29 cs.CV
DSFD: Dual Shot Face Detector
Nanjing University of Science and Technology（南京理工大学）；Tencent（腾讯）
在本文中，我们提出了一种新的人脸检测网络的三个新的贡献，解决人脸检测的三个关键方面，包括更好的特征学习，渐进损失设计和锚分配的数据增强，分别。首先，我们提出了一个特征增强模块（FEM），用于增强原始特征图，以扩展Single Shot检测器到双镜头检测器。其次，我们采用渐进锚损失（PAL）计算两个不同的锚，以有效地促进功能。第三，我们使用一种改进的锚点匹配（IAM），通过将新的锚点分配策略集成到数据增强中，为回归器提供更好的初始化。由于这些技术都与双流设计有关，我们将所提出的网络命名为双镜头人脸检测器（DSFD）。在流行的基准测试WIDER FACE和FDDB上进行的大量实验表明，DSFD优于最先进的人脸检测器。
2019-04-06 cs.CV
Context-Aware Zero-Shot Recognition
TTI-Chicago（丰田工业大学芝加哥分校）；Vaitl Inc.（Vaitl公司）；Seoul National University（首尔国立大学）；ByteDance AI Lab（字节跳动人工智能实验室）
我们提出了一种新的问题设置在零样本学习，zero-shot对象识别和检测的上下文中。与传统的零样本学习方法相反，该方法通过从语义相似的可见类别的对象转移知识来简单地推断不可见类别，我们的目标是使用对象间关系先验来理解已知对象包围的图像中的新对象的身份。具体来说，我们利用视觉背景和几何关系的所有对对象在一个单一的图像，并捕捉有用的信息来推断看不见的类别。我们将我们的上下文感知零样本学习框架无缝地集成到传统的零样本学习技术中，使用条件随机场（CRF）。所提出的算法进行评估上的zero-shot区域分类和zero-shot检测任务。在Visual Genome（VG）数据集上的结果表明，与传统方法相比，我们的模型通过额外的视觉上下文显着提高了性能。
2019-04-24 cs.CV
Locality-Aware Zero-Shot Human-Object Interaction Detection
Pohang University of Science and Technology (POSTECH)（釜山科学技术大学）
提出LAIN框架，通过增强CLIP表示的局部性与交互感知，提升零样本人-物交互检测性能，实验证明其优于现有方法。
2025-05-26 cs.CV
RetinaMask: Learning to predict masks improves state-of-the-art single-shot detection for free
UNC at Chapel Hill（北卡罗来纳大学教堂山分校）
最近，两级探测器在精度与速度的权衡中领先于单次探测器。然而，单次检测器在嵌入式视觉应用中非常受欢迎。本文将单次激发探测器提升到与当前两阶段技术相同的水平。我们通过三种方式改进最先进的单次检测器RetinaNet的训练来做到这一点：首次集成实例掩码预测，使损失函数自适应且更稳定，并在训练中包含额外的硬示例。我们将由此产生的增强网络称为RetinaMask。RetinaMask的检测组件具有与原始RetinaNet相同的计算成本，但更准确。COCO测试开发结果为RetinaMask-101高达41.4 mAP，RetinaNet-101为39.1mAP，而运行时间在评估期间是相同的。添加组归一化将RetinaMask-101的性能提高到41.7 mAP。代码在：www.example.com
2019-01-10 cs.CV
TAEN: Temporal Aware Embedding Network for Few-Shot Action Recognition
OriginAI；Technion（以色列理工学院）；IBM Research AI（IBM研究院人工智能部门）
新类别实体的分类需要收集和注释数百或数千个样本，这通常是非常昂贵的。少样本学习建议学习仅使用几个示例对新类进行分类。只有少数研究解决了时空模式（如视频）上的少样本学习的挑战。在本文中，我们提出了时间感知嵌入网络（TAEN）的Few-Shot动作识别，学习表示动作，在一个度量空间作为一个轨迹，传达短期语义和动作部分之间的长期连接。我们证明了TAEN两个Few Shot任务，视频分类和时间动作检测的有效性，并评估我们的方法上的动力学-400和ActivityNet 1.2 Few-Shot基准。通过仅训练几个完全连接的层，我们在Few Shot视频分类和时间检测任务上都达到了与现有技术相当的结果，同时在某些场景中达到了最先进的水平。
2021-07-17 cs.CV
ScanSSD: Scanning Single Shot Detector for Mathematical Formulas in PDF Document Images
Rochester Institute of Technology（罗切斯特理工学院）
我们介绍了扫描Single Shot检测器（ScanSSD），用于定位从文本偏移并嵌入文本行中的数学公式。ScanSSD仅使用视觉特征进行检测：不使用格式或排版信息，如布局，字体或字符标签。给定600 dpi文档页面图像，Single Shot Detector（SSD）使用滑动窗口以多个尺度定位公式，之后汇集候选检测以获得页面级结果。对于我们的实验，我们使用TFD-ICDAR 2019 v2数据集，这是GTDB扫描数学文章集合的修改。ScanSSD以高准确度检测公式中的字符，获得0.926的f分数，并检测整体召回率高的公式。检测错误很大程度上很小，例如在大的空白间隙处分割公式（例如，对于变量约束）和合并相邻文本行上的公式。获得公式检测f分数为0.796（IOU $\geq0.5$）和0.733（IOU $\ge 0.75$）。我们的数据、评估工具和代码是公开的。
2020-03-18 cs.CV
Level, Sharpness, and Corpus: Why Zero-Shot OOD Detector Rankings Do Not Transfer
本文通过审计证明零样本OOD检测器排名无法跨域迁移，提出CEG封装器，可降低检测器敏感性并提升GL-MCM与MCM的族平衡FPR95。
2026-07-30 cs.CV
Uncertainty-Aware Few-Shot Image Classification
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；Columbia University（哥伦比亚大学）
Few-Shot图像分类学习从有限的标记数据中识别新的类别。基于度量学习的方法已经得到了广泛的研究，其中查询样本通过基于其特征相似性从支持集中找到最接近的原型来分类。一个神经网络在计算不同对的相似度时具有不同的不确定性。理解和建模相似性的不确定性，可以促进有限样本的开发在Few-Shot优化。在这项工作中，我们提出了不确定性感知的Few-Shot框架的图像分类的查询支持对的相似性建模的不确定性和执行不确定性感知优化。特别是，我们利用这种不确定性，通过将观察到的相似性转换为概率表示，并将其纳入损失更有效的优化。为了联合考虑查询和支持集中的原型之间的相似性，基于图的模型被用来估计对的不确定性。大量的实验表明，我们提出的方法带来了显着的改进上一个强大的基线，并实现了国家的最先进的性能。
2021-06-03 cs.CV
S3D: Single Shot multi-Span Detector via Fully 3D Convolutional Networks
UC Santa Barbara（加州大学圣巴巴拉分校）；University of Maryland（马里兰大学）
在本文中，我们提出了一种新的Single Shot多跨度检测器，用于使用简单的端到端全三维卷积（Conv3D）网络在长的未修剪视频中进行时间活动检测。我们的架构，命名为S3D，编码整个视频流和离散化的输出空间的时间活动跨度到一组默认的跨度在不同的时间位置和尺度。在预测时间，S3D预测每个默认跨度中活动类别的存在的分数，并产生相对于跨度位置的时间调整，以预测精确的活动持续时间。与许多需要单独的建议和分类阶段的最先进的系统不同，我们的S3D本质上很简单，专门为单发，端到端的时间活动检测而设计。在THUMOS的14检测基准测试中，S3D达到了最先进的性能，非常高效，可以以1271 FPS的速度运行。
2018-08-07 cs.CV
Ontology-aware Network for Zero-shot Sketch-based Image Retrieval
China University of Mining and Technology（中国矿业大学）
基于Zero-Shot草图的图像检索（ZSSBIR）是一个新兴的课题。开创性的工作集中在模态差距，但忽略了类间信息。虽然最近的工作已经开始考虑基于三重态或基于对比度的损失来挖掘类间信息，但需要仔细选择正样本和负样本，否则模型容易丢失模态特定信息。为了解决这些问题，提出了一种本体感知网络（OAN）。具体地说，提出了平滑的类间独立学习机制来保持类间特性。同时，基于蒸馏的一致性保持被用来保持特定的模态信息。大量的实验已经证明了我们的算法在两个具有挑战性的Sketchy和Tu-Berlin数据集上的优越性能。
2023-02-20 cs.CV
A Systematic Evaluation and Benchmark for Embedding-Aware Generative Models: Features, Models, and Any-shot Scenarios
Zhejiang University（浙江大学）
嵌入感知生成模型（EAGM）通过在语义和视觉特征空间之间构造一个生成器，解决了零样本学习（Zero-Shot Learning，ZRL）中数据不足的问题。由于预定义的基准和协议，拟议的EAGM的数量正在迅速增加。我们认为，现在是时候退后一步，重新考虑嵌入意识生成范式。本文的主要工作有两个方面。首先，基准数据集中的嵌入特征在某种程度上被忽视了，这可能会限制EAGM的性能，而大多数研究人员都专注于如何改进EAGM。因此，我们进行了系统的评估，10个代表性的EAGM，并证明，即使是非常简单的修改嵌入功能可以提高EAGM的性能显着的EAGL。因此，现在是时候更多地关注基准数据集中的当前嵌入特征了。其次，基于五个基准数据集，每个基准数据集具有六个任意样本学习场景，我们首次系统地比较了十个典型的EAGM的性能，并给出了零样本学习（EAGM）和少样本学习（FSL）的强基线。同时，一个全面的生成模型库，即生成任意镜头学习（GASL）库，其中包含的模型，功能，参数，和场景的EAGM的EAGL和FSL。本文中的任何结果都可以很容易地用一个基于GASL的命令行复制。
2023-02-16 cs.CV
Single Shot Text Detector with Regional Attention
University of Florida（佛罗里达大学）；University of Oxford（牛津大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
我们提出了一种新的单镜头文本检测器，直接输出自然图像中的单词级边界框。我们提出了一个注意力机制，它通过自动学习的注意力地图粗略地识别文本区域。这基本上抑制了卷积特征中的背景干扰，这是产生准确的单词推断的关键，特别是在非常小的尺寸下。这将产生一个基本上以由粗到细的方式工作的单个模型。它不同于最近的基于FCN的文本检测器，后者级联多个FCN模型以实现准确的预测。此外，我们开发了一个分层的初始模块，有效地聚合多尺度的初始功能。这增强了局部细节，并且还编码了强上下文信息，允许检测器在具有单尺度图像的多尺度和多方向文本上可靠地工作。我们的文本检测器在ICDAR 2015基准上实现了77%的F测量，推进了[18，28]中的最先进结果。演示可在http://sstd.whuang.org/上获得。
2017-09-01 cs.CV
Ensemble-based Adaptive Single-shot Multi-box Detector
Concordia University（康考迪亚大学）
我们提出了两个改进的SSD-Single Shot多盒检测器。首先，我们提出了一个自适应的方法来选择默认框在SSD。这使用数据来减少为默认框选择最佳纵横比的不确定性，并提高包含小而复杂对象的数据集的SSD性能（例如，建筑工地设备）。我们通过找到给定训练数据集的纵横比分布来实现，然后选择代表性值。其次，我们提出了一种集成算法，使用SSD作为组件，这提高了SSD的性能，特别是对少量的训练数据集。与传统的SSD算法相比，自适应框选择将平均精度提高了3%，而基于集合的SSD将其提高了8%。
2018-08-17 cs.CV
CXR-LT 2026 Challenge: Projection-Aware Multi-Label and Zero-Shot Chest X-Ray Classification
KAIST（韩国科学技术院）；GIST（光州科学技术院）；Korea University（高丽大学）；KAIST Graduate School of AI (GSAI)（韩国科学技术院人工智能研究生院）
该挑战针对已知胸片病变的多标签分类和未知病变的零样本分类，通过整合投影特定模型的分类网络，提出双分支架构结合对比学习和LLM生成提示，提升零样本泛化能力。
2026-04-02 cs.CV
CFENet: An Accurate and Efficient Single-Shot Object Detector for Autonomous Driving
Peking University（北京大学）；Alibaba AI Lab（阿里巴巴人工智能实验室）
对于自动驾驶的应用来说，物体检测器的检测能力和速度非常重要，本文提出了一种有效且高效的一级检测器，该检测器在CVPR 2018研讨会-自动驾驶研讨会（WAD）的道路目标检测竞赛中获得第二名。该检测器继承了SSD的体系结构，并引入了一种新的综合特征增强（CFE）模块，在该竞争数据集和MSCOCO数据集上的实验结果表明，该检测器（CFENet）在保持原SSD高效率的同时，对小目标的检测性能明显优于原SSD和最先进的Refinedet方法.具体来说，所提出的检测器的单尺度版本可以以21 fps的速度运行，而输入尺寸更大的多尺度版本则实现了mAP 29.69，在排行榜上排名第二
2018-10-10 cs.CV
A Joint Framework Towards Class-aware and Class-agnostic Alignment for Few-shot Segmentation
Alibaba Group（阿里巴巴集团）；Singapore Management University（新加坡管理大学）
Few-Shot分割（FSS）的目的是分割的对象看不见的类，只有少数注释的支持图像。大多数现有的方法只是简单地缝合查询功能与独立的支持原型和部分的查询图像的混合功能提供给解码器。虽然已经取得了显着的改进，现有的方法仍然面临类偏差，由于类变体和背景混淆。在本文中，我们提出了一个联合框架，结合了更有价值的类感知和类不可知的对齐指导，以促进分割。具体来说，我们设计了一个混合对齐模块，建立多尺度查询支持对应挖掘最相关的类感知信息，为每个查询图像从相应的支持功能。此外，我们探索利用基类知识来生成类不可知的先验掩模，该掩模通过突出显示所有对象区域，特别是那些看不见的类，来区分真实背景和前景。通过联合集成类感知和类不可知的对齐指导，在查询图像上获得更好的分割性能。在PASCAL- $5^i$和COCO- $20^i$数据集上的大量实验表明，我们提出的联合框架性能更好，特别是在1次拍摄设置上。
2022-11-02 cs.CV
PARN: Position-Aware Relation Networks for Few-Shot Learning
South China University of Technology（华南理工大学）
少样本学习提出了一个挑战，即分类器必须快速适应未出现在训练集中的新类，每个新类只有几个标记的示例。本文提出了一种位置感知关系网络（PARN），以学习更灵活和鲁棒的度量能力，少样本学习。关系网络（RN）是一种用于关系推理的架构，可以通过设计为简单的卷积神经网络（CNN）来获得图像的深度度量能力[23]。然而，由于CNN固有的局部连通性，基于CNN的关系网络（RN）可能对两个比较图像中语义对象的空间位置关系敏感。为了解决这个问题，我们引入了一个可变形的特征提取器（DFE），以提取更有效的功能，并设计了一个双相关注意力机制（DCA），以处理其固有的局部连通性。成功地，我们提出的方法扩展的潜在RN是位置感知的语义对象，通过只引入少量的参数。我们在两个主要的基准数据集上评估我们的方法，即，Omniglot和Mini-Imagenet，并且在这两个数据集上，我们的方法在使用浅特征提取网络的设置下实现了最先进的性能。值得注意的是，我们在Omniglot上的5路1次拍摄结果甚至优于之前的5路5次拍摄结果。
2019-09-10 cs.CV
Adaptive Local-Component-aware Graph Convolutional Network for One-shot Skeleton-based Action Recognition
The University of Melbourne（墨尔本大学）
基于骨架的动作识别受到越来越多的关注，因为骨架表示通过消除与动作无关的视觉信息来减少训练数据的量。为了进一步提高样本效率，提出了基于元学习的一次性学习方案。这些方法根据实例级全局平均嵌入之间的相似性来寻找最近邻。然而，由于对局部不变特征和噪声特征的广义学习不足，这种测量具有不稳定的代表性，而直观地说，更细粒度的识别通常依赖于确定关键的局部身体运动。为了解决这一问题，我们提出了自适应局部组件感知图卷积网络，它取代了比较度量的相似性测量对齐本地嵌入的动作关键的空间/时间段的集中总和。在公共基准测试NTU-RGB+D 120上进行的综合一次性实验表明，我们的方法提供了比全局嵌入更强的表示，并帮助我们的模型达到最先进的水平。
2022-09-21 cs.CV
Zero-Shot Sketch-Based Image Retrieval with Structure-aware Asymmetric Disentanglement
Shanghai Jiao Tong University（上海交通大学）
基于草图的图像检索（SBIR）的目标是使用手绘草图从自然图像库中检索相同类别的图像。然而，SBIR要求在训练期间看到所有测试类别，这在现实世界的应用中无法保证。因此，我们研究更具挑战性的零镜头SBIR（ZERO-SBIR），其中测试类别不出现在训练阶段。在认识到草图主要包含结构信息，而图像包含额外的外观信息的基础上，尝试通过非对称解缠实现结构感知的检索，提出了结构感知的非对称解缠（STRAD）方法，将图像特征解缠为结构特征和外观特征，而草图特征只投影到结构空间。通过对结构和外观空间的分离，实现了草图域和图像域之间的双向域转换。大量的实验表明，我们的STRAD方法显着优于国家的最先进的方法在三个大规模的基准数据集。
2020-09-18 cs.CV
