Decoupled Prototype Matching with Vision Foundation Models for Few-Shot Industrial Object Detection
Department of Energy and Mechanical Engineering, Aalto University（能源与机械工程系，阿莱大学）
本文提出利用视觉基础模型进行少样本工业目标检测，通过构造类原型实现低监督下的目标识别，提升检测性能并支持新物体快速接入。
2026-04-29 cs.CV
Decoupled Classification Refinement: Hard False Positive Suppression for Object Detection
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Technology Sydney（悉尼科技大学）；IBM Research（IBM研究院）；University of Oregon（俄勒冈大学）
在本文中，我们分析了国家的最先进的检测器的故障情况下，并观察到，大多数硬误报的分类，而不是本地化的结果，他们有一个很大的负面影响对象检测器的性能。我们推测有三个因素：（1）由于分类和定位的特征学习目标不匹配，共享特征表示不是最优的;（2）多任务学习有帮助，但多任务损失的优化可能导致单个任务的次优;（3）不同尺度的大感受野导致小对象的冗余上下文信息。我们通过简单、有效且广泛适用的去耦分类细化（DCR）网络展示了检测器分类能力的潜力。具体地，DCR将单独的分类网络与定位网络（基础检测器）并行放置。在分类网络的早期阶段放置ROI池，我们在DCR中实施自适应感受野。在训练过程中，DCR从基本检测器中采样硬假阳性，并训练一个强大的分类器来改进分类结果。在测试过程中，DCR从基本检测器中细化所有框。实验表明，PASCAL VOC和COCO没有任何花哨的竞争结果。我们的代码可在https://github.com/bowenc0221/Decoupled-Classification-Refinement上获得。
2020-12-09 cs.CV
iDPA: Instance Decoupled Prompt Attention for Incremental Medical Object Detection
West China Hospital, Sichuan University（四川大学华西医院）；Case Western Reserve University（凯斯西储大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
提出iDPA框架，通过实例级提示生成和解耦提示注意力解决增量医学目标检测中的耦合问题，在13个数据集上FAP指标显著优于SOTA方法。
2025-05-31 cs.CV
Improving Few-shot Learning with Weakly-supervised Object Localization
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
少样本学习通常涉及基于度量学习的分类器，其通过比较所提取的特征向量与类表示之间的距离来预测图像标签。然而，在特征提取器的后端应用全局池化可能不会产生正确聚焦于类对象的嵌入。在这项工作中，我们提出了一个新的框架，产生类表示提取功能的类相关区域的图像。给定只有几个示例性的图像与图像级标签，我们的框架首先本地化的类对象，通过空间分解的图像和它们的类原型之间的相似性。然后，增强类表示从本地化的结果。我们还提出了一个损失函数，以提高区分细化功能。我们的方法在miniImageNet和tieredImageNet基准测试中优于基线Few-Shot模型。
2021-05-25 cs.CV
Text-guided Zero-Shot Object Localization
针对目标定位依赖大量标注数据的问题，提出零样本目标定位框架，通过引入CLIP模块融合视觉与语言信息，并设计TSSM模块增强文本特征，在无标注样本下实现文本引导的目标定位，显著提升了性能。
2024-11-18 cs.CV
Visual Localization via Few-Shot Scene Region Classification
Shandong University（山东大学）；ETH Zurich（苏黎世联邦理工学院）；Aalto University（阿尔托大学）；Fuzhou University（福州大学）；Microsoft（微软）；Peking University（北京大学）
视觉（重）定位解决了估计在已知场景中捕获的查询图像的6-DoF（自由度）相机姿态的问题，这是许多计算机视觉和机器人应用的关键构建块。基于结构的定位的最新进展通过使用神经网络记忆从图像像素到场景坐标的映射以构建用于相机姿态优化的2D-3D对应关系来解决这个问题。然而，这种记忆需要通过每个场景中的大量姿势图像进行训练，这是繁重且低效的。相反，Few-Shot图像通常足以覆盖场景的主要区域，以便人类操作员执行视觉定位。在本文中，我们提出了一个场景区域分类方法，以实现快速和有效的场景记忆与Few-Shot图像。我们的洞察力是利用a）预先学习的特征提取器，b）场景区域分类器和c）元学习策略来加速训练，同时减轻过拟合。我们评估我们的方法在室内和室外基准。实验验证了该方法在Few-Shot场景下的有效性，训练时间显著缩短到几分钟。可用代码：\url{https://github.com/siyandong/SRC}
2022-08-14 cs.CV
Decoupled DETR For Few-shot Object Detection
BOE Technology Group Co., Ltd.（京东方科技集团股份有限公司）
本文提出基类-新类解耦DETR（DeDETR），通过解耦参数、探索跳跃连接和动态融合解码器中间层，解决少样本目标检测中的样本不平衡和特征传播弱问题，在PASCAL VOC和MSCOCO上实现5%到10%的提升。
2023-11-20 cs.AI cs.CV
Few-shot Object Localization
Beijing University of Technology（北京工业大学）
本文定义了Few-Shot Object Localization (FSOL)任务，旨在利用少量样本实现目标定位，并提出集成双路径特征增强与自查询模块的高性能基线模型，显著提升了定位性能。
2024-06-05 cs.CV
One-Shot Medical Landmark Localization by Edge-Guided Transform and Noisy Landmark Refinement
Peking University（北京大学）；Deepwise AI Lab（深睿医疗人工智能实验室）；Microsoft Research Asia（微软亚洲研究院）；The University of Hong Kong（香港大学）
作为许多医学应用的重要上游任务，监督地标定位仍然需要不可忽略的注释成本来实现期望的性能。此外，由于收集过程繁琐，医学标志数据集的大小有限，影响了大规模自监督预训练方法的有效性。为了解决这些挑战，我们提出了一个两阶段的框架，一次性医疗标志定位，首先推断标志的无监督注册从标记的样本到无标记的目标，然后利用这些嘈杂的伪标签训练强大的检测器。为了处理显着的结构变化，我们学习了一个端到端的级联的全局对齐和局部变形，新的损失函数的指导下，将边缘信息。在第二阶段，我们探讨了选择可靠的伪标签和交叉一致性的半监督学习的自我一致性。我们的方法在不同身体部位的公共数据集上实现了最先进的性能，这证明了它的普遍适用性。
2022-07-31 cs.CV
Instant Response Few-shot Object Detection with Meta Strategy and Explicit Localization Inference
Few-Shot目标检测（FSOD）是一个具有挑战性的课题，其目的是利用少量的参考样本对新类别的目标进行识别和定位。以往的研究往往依赖于模型的微调过程来将模型转换到新的类别，很少考虑微调的缺陷，导致许多应用上的缺陷。例如，由于过多的微调时间，这些方法在情节可变的场景中远远不能令人满意，并且它们在低质量（例如，低射和类不完全）支持集严重退化。为此，本文提出了一种即时响应的Few-Shot对象检测器（IR-FSOD），可以准确，直接检测新类别的对象，而无需微调过程。为了实现这一目标，我们仔细分析了FSOD设置下Faster R-CNN框架中各个模块的缺陷，然后通过改进这些缺陷将其扩展到IR-FSOD。具体来说，我们首先提出了两个简单但有效的元策略的框分类器和RPN模块，使目标检测的新类别的即时响应。然后，我们引入两个显式推理到本地化模块，以减轻其过度拟合的基础类别，包括显式本地化得分和半显式盒回归。大量实验表明，IR-FSOD框架不仅实现了具有即时响应的Few-Shot目标检测，而且在各种FSOD设置下，其查准率和查全率都达到了最先进的水平。
2022-05-12 cs.CV
Balanced Hierarchical Contrastive Learning with Decoupled Queries for Fine-grained Object Detection in Remote Sensing Images
School of Computer Science and Engineering, Nanjing University of Science and Technology, China（南京理工大学计算机科学与工程学院）；College of Computer Science, Zhejiang University, China（浙江大学计算机学院）
本文提出平衡层次对比学习与解耦查询策略，以提升遥感图像细粒度目标检测性能。
2025-12-30 cs.CV
Stability Plasticity Decoupled Fine-tuning For Few-shot end-to-end Object Detection
Inspur（浪潮）
针对Sparse R-CNN在少样本目标检测中分类器可塑性与其他模块稳定性相冲突的问题，提出含PCF阶段的三阶段解耦微调和ME技术，提升了基准性能。
2024-01-20 cs.AI cs.CV
One-Shot General Object Localization
Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）
本文提出了一种通用的单次目标定位算法OneLoc。当前的一次性目标定位或检测方法要么依赖于缓慢的穷举特征匹配过程，要么缺乏推广到新目标的能力。相比之下，我们提出的OneLoc算法通过特殊的投票方案有效地找到对象中心和限界框大小。为了保持我们的方法的尺度不变，只有单位中心偏移方向和相对大小的估计。提出了一种新的密集均衡投票模块，以更好地定位小的无纹理的对象。实验结果表明，该方法在OnePose和LINEMOD两个数据集上均取得了较好的整体性能。此外，我们的方法还可以实现一次性多实例检测和非刚性目标定位。代码库：https://github.com/qq456cvb/OneLoc。
2022-11-24 cs.CV cs.LG
Decoupled IoU Regression for Object Detection
Alibaba Group（阿里巴巴集团）；Huazhong University of Science and Technology（华中科技大学）
非最大值抑制（NMS）广泛用于目标检测流水线中以去除重复的边界框。NMS的置信度与实际定位置信度之间的不一致严重影响了检测性能。先前的工作提出预测边界框和相应的地面实况之间的交集（IoU）以改进NMS，而准确预测IoU仍然是一个具有挑战性的问题。我们认为，复杂的定义和功能错位的IoU很难准确预测IoU。在本文中，我们提出了一种新的解耦IoU回归（IOU）模型来处理这些问题。该算法将传统的本地化置信度度量IoU扩展为两个新的度量：纯度和完整性。纯度反映了检测到的限界框中对象区域的比例，完整性是指检测到的对象区域的完整性。分别预测纯度和完整性可以将限界框与其IoU之间的复杂映射划分为两个更清晰的映射，并独立地对它们进行建模。此外，还引入了一种简单但有效的特征重对齐方法，使IoU回归器以事后的方式工作，这可以使目标映射更加稳定。该方法可以方便地与现有的两级检测器集成，并显着提高其性能。通过一个简单的实现与HTC，我们获得了51.3%的AP MS COCO基准，这优于以往的方法，达到国家的最先进的。
2022-02-02 cs.CV
Decoupled Self Attention for Accurate One Stage Object Detection
School of Control and Computer Engineering, North China Electric Power University（华北电力大学控制与计算机工程学院）；China Mobile (Hangzhou) Information Technology Co., Ltd.（中国移动（杭州）信息技术有限公司）
由于目标检测数据集的规模小于图像识别数据集ImageNet，迁移学习成为深度学习目标检测模型的基本训练方法，它将在ImageNet数据集上预训练目标检测模型的骨干网络，为分类和定位子任务提取特征。但由于分类任务侧重于目标的显著区域特征，而定位任务侧重于目标的边缘特征，因此预训练骨干网络提取的特征与用于定位任务的特征存在一定偏差。为了解决这一问题，本文提出了一个解耦的自注意（DSA）模型的一阶段目标检测模型。DSA包括两个解耦的自注意分支，因此它可以为不同的任务提取合适的特征。它位于FPN和子任务的头网络之间，因此它用于独立地提取不同任务的基于FPN融合特征的全局特征。DSA模块虽然网络结构简单，但能有效提高目标检测的性能，并且可以方便地嵌入到多种检测模型中。我们的实验是基于代表性的一阶段检测模型RetinaNet。在COCO数据集中，当使用ResNet50和ResNet101作为骨干网络时，检测性能可以分别提高0.4%AP和0.5%AP。当DSA模块和目标置信度任务一起应用于RetinaNet时，基于ResNet50和ResNet101的检测性能分别提高了1.0%AP和1.4%AP。实验结果表明了DSA模块的有效性。代码在：https://github.com/chenzuge1/DSANet.git。
2020-12-15 cs.CV
Data Adaptive Few-shot Multi Label Segmentation with Foundation Model
Advanced Technology Group, GE HealthCare（GE医疗 先进技术集团）
提出基于基础模型的适配器，解决医学图像少样本分割中模板匹配假设局限及多标签顺序执行问题，在2D/3D及不同姿态临床数据上表现优异。
2024-10-13 cs.CV
Location-Aware Box Reasoning for Anchor-Based Single-Shot Object Detection
The University of Kansas（堪萨斯大学）
在大多数目标检测框架中，实例分类的置信度被用作预测边界框的质量标准，如非最大抑制（NMS）中基于置信度的排名。然而，表示空间关系的边界框的质量不仅与分类分数相关。与基于区域建议网络（RPN）的检测器相比，单次目标检测器由于缺乏对框建议的预先选择而遭受框质量。在本文中，我们针对单镜头目标检测器，并提出了一个位置感知的基于锚的推理（LAAR）的包围盒。LAAR将位置置信度和分类置信度作为边界框质量评估的依据。我们引入了一种新的网络块来学习锚点和地面实况之间的相对位置，表示为本地化分数，它在推理阶段充当位置参考。所提出的定位分数导致独立的回归分支，并通过对预测的定位分数进行评分来校准限界框质量，使得可以在NMS中拾取最佳限定的边界框。在MS COCO和PASCAL VOC基准测试上的实验表明，所提出的位置感知框架增强了现有基于锚点的单次目标检测框架的性能，并产生了一致和鲁棒的检测结果。
2020-07-13 cs.CV
Single-Shot Global Localization via Graph-Theoretic Correspondence Matching
Toyohashi University of Technology（丰桥技术科学大学）；National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所）
提出一种基于图论最大团匹配的单次全局定位框架，通过关联语义点云地图与语义分割查询图像，实现跨模态定位并在大规模城市仿真地图上验证有效。
2023-06-06 cs.CV cs.RO
ProtoRAG: Prototype-Based Retrieval Augmentation for Few-Shot Fine-Grained Remote Sensing Object Detection
Wuhan University（武汉大学）；East China Normal University（华东师范大学）
针对少样本细粒度遥感目标检测，提出基于原型的检索增强框架ProtoRAG，通过判别性原型空间学习和不确定性引导推理，在多个基准上显著提升性能。
2026-09-09 cs.CV
From Pixels to Purchase: Building and Evaluating a Taxonomy-Decoupled Visual Search Engine for Home Goods E-commerce
Wayfair
本文提出了一种去分类的视觉搜索引擎，通过无分类区域提案和统一嵌入提升搜索灵活性，并引入LLM-as-a-Judge框架实现零样本评估，从而提高家居电商的检索质量和客户参与度。
2026-01-16 cs.CV
Decoupled and Interactive Regression Modeling for High-performance One-stage 3D Object Detection
Shanghai University（上海大学）
本文针对单阶段3D检测中边界框建模不足问题，提出解耦与交互式回归建模DIRM，通过解耦属性回归DAR和交互式质量预测IQP分别改进中心定位与低质量样本IoU预测，在Waymo和ONCE上取得最优性能。
2024-09-01 cs.CV
StarNet: towards Weakly Supervised Few-Shot Object Detection
IBM Research AI（IBM研究院人工智能部门）；Tel-Aviv University（特拉维夫大学）；Technion（以色列理工学院）
近年来，Few-Shot检测和分类有了显著的进步。然而，检测方法需要强注释（边界框）用于预训练和适应新的类别，并且分类方法很少提供场景中对象的定位。在本文中，我们介绍了StarNet -一个Few-Shot模型，具有端到端可微的非参数星形模型检测和分类头。通过这个头，骨干只使用图像级标签进行元训练，以产生良好的特征，用于使用查询和支持图像之间几何匹配的星型模型（以找到相应的对象实例）联合定位和分类以前看不见的Few-Shot测试任务类别。作为一个Few-Shot检测器，StarNet不需要任何限界框注释，无论是在预训练期间还是在新的类适应期间。因此，它可以应用于以前未开发的和具有挑战性的任务弱监督Few-Shot目标检测（WS-FSOD），在那里它实现了显着的改进，超过基线。此外，StarNet在Few-Shot分类基准上显示出显着的收益，这些基准在对象周围的裁剪较少（其中对象定位是关键）。
2020-09-17 cs.CV
Zero-shot Natural Language Video Localization
GIST（韩国科学技术院）；UC Berkeley Vision AI Lab, AI Center, NCSOFT（加州大学伯克利分校视觉人工智能实验室、人工智能中心、NCSOFT公司）
理解视频以使用自然语言定位时刻通常需要与语言查询配对的大型昂贵的注释视频区域。为了消除标注成本，我们首次尝试以zero-shot方式训练自然语言视频定位模型。受无监督图像描述设置的启发，我们只需要随机文本语料库，未标记的视频集合和现成的对象检测器来训练模型。利用不成对的数据，我们提出了产生伪监督的候选时间区域和相应的查询语句，并开发了一个简单的NLVL模型与伪监督训练。我们的实证验证表明，所提出的伪监督方法优于几个基线方法和一些方法使用更强的监督Charades-STA和ActivityNet-Captions。
2021-08-29 cs.AI cs.CL cs.CV
SynCrash: A Multi-Stage Pipeline for Zero-Shot Accident Detection and Localization in Traffic Surveillance Video
Indian Institute of Technology Jodhpur（印度焦特布尔印度理工学院）
提出SynCrash多阶段流水线，针对CVPR2026挑战赛ACCIDENT任务，在无真实标注数据下，结合VideoMAEv2、YOLO及物理启发式算法，实现交通监控视频零样本事故检测、定位与碰撞分类。
2026-09-01 cs.AI cs.CV
Self-Taught Cross-Domain Few-Shot Learning with Weakly Supervised Object Localization and Task-Decomposition
Tianjin University（天津大学）；Binghamton University（宾汉姆顿大学）
跨域少镜头学习（Cross-Domain Few-Shot Learning，CD-FSL）的主要挑战是源域和目标域之间的域转移。然而，在源域上训练时，目标域是完全未知的，这导致对目标任务缺乏直接指导。我们观察到，由于目标领域中存在相似的背景，它可以将自标记样本作为先验任务，将知识转移到目标任务上。为此，我们提出了一个CD-FSL的任务扩展分解框架，称为自学（ST）方法，它通过构建面向任务的度量空间来解决非目标制导问题。具体而言，弱监督对象定位（WSOL）和自监督技术被用来丰富面向任务的样本，通过交换和旋转的判别区域，从而产生一个更丰富的任务集。然后将这些任务分解为若干个任务，完成Few-Shot识别和旋转分类任务。它有助于将源知识转移到目标任务上，并专注于区分区域。我们在跨域设置下进行了广泛的实验，包括8个目标域：CUB，汽车，地方，植物，作物病害，EuroSAT，ISIC和ChestX。实验结果表明，所提出的ST方法适用于各种基于度量的模型，并提供了有前途的改进CD-FSL。
2021-09-03 cs.AI cs.CV
Proposal Distribution Calibration for Few-Shot Object Detection
University of Chinese Academy of Sciences（中国科学院大学）；Tsinghua University（清华大学）
在低数据机制下，将在足够的监督下学习的对象检测器适应新的类是迷人而具有挑战性的。在Few-Shot目标检测（FSOD）中，广泛采用两步训练范例来减轻严重的样本不平衡，即，在基本类上进行整体预训练，然后在所有类的平衡设置中进行部分微调。由于未标记的实例在基础训练阶段被抑制为背景，因此学习的RPN容易对新实例产生有偏见的建议，导致性能急剧下降。不幸的是，极端的数据稀缺性加剧了提案分布偏差，阻碍了RoI头部向新类的发展。在本文中，我们介绍了一种简单而有效的建议分布校准（PDC）方法，通过回收其在基础训练中赋予的定位能力和丰富高质量的正样本进行语义微调，来巧妙地增强ROI头部的定位和分类能力。具体来说，我们采样建议的基础上的建议统计校准的分布偏差和施加额外的本地化和分类损失的采样建议快速扩展的基础检测器到新的类。在常用的Pascal VOC和MS COCO数据集上进行的实验证明了我们的PDC对FSOD的有效性。代码可在github.com/Bohao-Lee/PDC上获得。
2022-12-15 cs.CV
Scalable Semi-supervised Landmark Localization for X-ray Images using Few-shot Deep Adaptive Graph
PAII Inc.（PAII公司）；Ping An Technology（平安科技）；University of Rochester（罗切斯特大学）；University of Maryland（马里兰大学）；Chang Gung Memorial Hospital（长庚纪念医院）
界标定位在医学图像分析中具有重要的作用。基于学习的方法，包括CNN和GCN，已经证明了最先进的性能。然而，这些方法中的大多数都是完全监督的，并且严重依赖于对大型训练数据集的手动标记。本文在基于图的全监督DAG方法的基础上，提出了一种半监督的DAG方法，称为Few-Shot DAG，\ie five-shot DAG。它首先在标记数据上训练DAG模型，然后使用师生SSL机制在未标记数据上微调预训练模型。除了半监督损失之外，我们还提出了另一种损失，使用JS散度来调节中间特征图的一致性。我们广泛评估了我们的方法在骨盆，手和胸部地标检测任务。我们的实验结果表明，一致的和显着的改进，比以前的方法。
2021-04-29 cs.AI cs.CV cs.LG
DeCo-DETR: Decoupled Cognition DETR for efficient Open-Vocabulary Object Detection
Jiangsu University（江苏大学）；Brown University（布朗大学）；Nanyang Technological University（南洋理工大学）；MBZUAI；University of New South Wales（新南威尔士大学）；USC；University of Toronto（多伦多大学）；Data61 CSIRO
DeCo-DETR通过统一解耦范式解决开放词汇目标检测中的计算开销与训练目标冲突问题，构建层次化语义原型空间并解耦语义推理与定位，提升推理效率。
2026-05-13 cs.CV
One-Shot Object Localization Using Learnt Visual Cues via Siamese Networks
Indian Institute of Science（印度科学学院）；Robert Bosch Center for Cyber-Physical Systems（罗伯特·博世信息物理系统研究中心）
一个能够在新的非结构化环境中工作的机器人必须能够识别新的、以前看不见的物体。在这项工作中，一个视觉提示是用来指定一个新的感兴趣的对象，必须在新的环境中本地化。一个端到端的神经网络配备了一个暹罗网络用于学习线索，推断感兴趣的对象，然后将其定位在新的环境。我们表明，一个模拟的机器人可以拾取和放置新的对象指向激光笔。我们还评估了所提出的方法在来自Omniglot手写字符数据集和小玩具数据集的数据集上的性能。
2020-12-26 cs.CV cs.LG cs.RO
Hybrid-Attention based Decoupled Metric Learning for Zero-Shot Image Retrieval
Beijing University of Posts and Telecommunications（北京邮电大学）；AI Labs, Didi Chuxing（滴滴出行人工智能实验室）
在zero-shot图像检索（ZSIR）任务中，嵌入式学习越来越受到人们的关注，然而，许多方法遵循传统的度量学习思想，忽略了zero-shot设置背后的问题。在本文中，我们首先强调学习视觉区分度量和防止学习者的部分/选择性学习行为的重要性，在ZSIR，然后提出了解耦度量学习（DeML）框架来实现这些单独的。而不是粗略地优化一个统一的度量，我们将其解耦成多个注意力特定的部分，以便递归地诱导歧视和显式地增强泛化。这两个问题分别由我们提出的基于随机游走图传播的目标注意力模型和基于敌手约束的通道注意力模型来实现。我们证明了在流行的基准上解决ZSIR中的重要问题的必要性，远远超过了最先进的方法。代码可在http://www.bhchen.cn上获得
2019-07-27 cs.CV
FlexLoc: Conditional Neural Networks for Zero-Shot Sensor Perspective Invariance in Object Localization with Distributed Multimodal Sensors
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；US DEVCOM Army Research Laboratory（美国DEVCOM陆军研究实验室）；Amazon（亚马逊）
本文提出 FlexLoc，通过条件神经网络在运行时依据传感器节点位姿生成部分模型权重，使分布式多模态定位系统无需校准即可泛化到新视角，精度较基线提升近 50%。
2024-06-10 cs.AI cs.CV cs.LG
Zero-shot Face Editing via ID-Attribute Decoupled Inversion
Graduate School and Faculty of Information Science and Electrical Engineering, Kyushu University（九州大学研究生院和信息科学与电气工程学系）
提出基于ID-属性解耦反演的零样本人脸编辑方法，通过分解人脸表示为ID和属性特征作为联合条件，实现独立控制与精确编辑，在保持ID和结构一致性的同时支持复杂多属性编辑。
2025-10-13 cs.CV
Grounding Everything: Emerging Localization Properties in Vision-Language Transformers
University of Bonn（波恩大学）；Goethe University Frankfurt（法兰克福歌德大学）；Stanford University（斯坦福大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
本研究发现预训练视觉-语言模型具备无需微调的零样本开放词汇定位能力，提出GEM模块将价值-价值注意力推广为自-自注意力并辅以正则化，在多个语义分割基准上超越同类方法，在OpenImagesV7上达SOTA。
2023-12-14 cs.AI cs.CV
Path-Decoupled Hyperbolic Flow Matching for Few-Shot Adaptation
The Hong Kong University of Science（香港科学与技术大学）；Zhejiang University（浙江大学）
本文提出路径解耦双曲流匹配方法，通过双曲几何解决少样本适应中的路径缠绕问题，实现更高效的特征传输与对齐。
2026-02-24 cs.CV
Transductive Decoupled Variational Inference for Few-Shot Classification
Delft University of Technology（代尔夫特理工大学）；Shell Global Solutions International B.V.（壳牌全球解决方案国际有限公司）
从少量样本中学习的多功能性是人类智能的标志。少样本学习是一种努力，以超越这种能力下降到机器。受概率深度学习的承诺和力量的启发，我们提出了一种用于Few-Shot分类的新型变分推理网络（称为TRIDENT），将图像的表示解耦为语义和标签潜变量，并同时以交织的方式推断它们。为了诱导任务意识，作为TRIDENT的推理机制的一部分，我们利用跨查询和支持图像的Few-Shot任务使用一种新的内置的基于注意力的转导特征提取模块（我们称AttFEX）的信息。我们广泛的实验结果证实了TRIDENT的有效性，并证明，使用最简单的主干，它在最常用的数据集miniImageNet和tieredImageNet中设置了新的最先进的技术（分别提供高达4%和5%的改进），以及最近具有挑战性的跨域miniImagenet --> CUB方案，（最多提高20%），超过现有的最佳跨域基准。代码和实验可以在我们的GitHub存储库中找到：https://github.com/anujinho/trident
2022-08-22 cs.CV
Few-shot Learning with Global Relatedness Decoupled-Distillation
尽管基于度量学习的方法在少样本学习中取得了成功，但最近的研究揭示了其情景训练模式的无效性。本文指出了造成这一问题的两个潜在原因：1）随机片段标签只能提供有限的监督信息，而查询和支持样本之间的相关性信息没有得到充分利用; 2）元学习者通常受到局部片段的有限上下文信息的约束。为了克服这些问题，我们提出了一个新的全球相关性解耦蒸馏（GRDD）方法，利用全球类别知识和相关性解耦蒸馏（RDD）策略。我们的GRDD通过模仿人类的习惯来快速学习新的视觉概念，即从老师那里提取的深层知识中学习。更具体地说，我们首先训练一个全球性的学习者在整个基础子集使用类别标签作为监督，以利用全球背景信息的类别。然后，使用经过良好训练的全局学习器来模拟全局依赖中的查询支持相关性。最后，提取的全局查询支持相关性显式地用于训练使用RDD策略的元学习器，与目标，使元学习器更有区分力。RDD策略旨在将密集查询支持相关性解耦为稀疏解耦相关性组。此外，在每个组中，只考虑单个支持样本与其他查询样本的相关性。通过逐组提取稀疏解耦的相关性，可以有效地将更清晰的相关性提取到元学习器，从而促进区分性元学习器的学习。我们在miniImagenet和CIFAR-FS数据集上进行了大量的实验，这些实验显示了我们的GRDD方法的最新性能。
2022-12-14 cs.CV
Divide-and-Conquer Decoupled Network for Cross-Domain Few-Shot Segmentation
本文提出分治解耦网络，通过对抗学习和对比学习解耦特征，提升跨域少样本分割的泛化能力与适应速度。
2025-11-11 cs.CV
Transductive Zero-Shot Learning by Decoupled Feature Generation
Istituto Italiano di Tecnologia（意大利技术研究院）；University of Genova（热那亚大学）；Huawei Technologies Ltd., Ireland Research Center（华为技术有限公司爱尔兰研究中心）；University of Verona（维罗纳大学）
在本文中，我们解决了零样本学习（zero-shot learning，简称ZNL），即在训练过程中识别没有标记视觉数据的类别的问题。我们专注于转导设置，其中未标记的视觉数据从看不见的类是可用的。最先进的范例中，通常利用生成对抗网络从语义属性合成视觉特征。我们认为，这些方法的主要限制是采用一个单一的模型来面对两个问题：1）生成逼真的视觉特征，2）翻译语义属性到视觉线索。因此，我们建议将这些任务解耦，分别解决它们。特别是，我们训练一个无条件生成器，只捕捉视觉数据分布的复杂性，我们随后将其与一个条件生成器配对，专门用于丰富数据分布的先验知识与类嵌入的语义内容。我们提出了一个详细的消融研究，剖析我们提出的解耦方法的效果，同时证明其优于相关的国家的最先进的。
2021-09-14 cs.CV
GLIPv2: Unifying Localization and Vision-Language Understanding
Microsoft（微软）；University of Washington（华盛顿大学）；Meta AI；UCLA（加州大学洛杉矶分校）
我们提出了GLIPv 2，一个接地的VL理解模型，既服务于本地化任务（例如，目标检测，实例分割）和视觉语言（VL）理解任务（例如，VQA，图像描述）。GLIPv 2通过三个预训练任务将本地化预训练和视觉语言预训练（VLP）优雅地统一起来：短语接地作为检测任务的VL重构，区域词对比学习作为新的区域词级别的对比学习任务，以及掩蔽语言建模。这种统一不仅简化了以前的多阶段VLP过程，而且实现了本地化和理解任务之间的互惠互利。实验结果表明，一个单一的GLIPv 2模型（所有模型的权重是共享的）实现了各种定位和理解任务的SoTA性能。该模型还显示出（1）在开放词汇目标检测任务上的强zero-shot和Few-Shot适应性能和（2）在VL理解任务上的优异的接地能力。代码将在https://github.com/microsoft/GLIP上发布。
2022-10-11 cs.AI cs.CL cs.CV
Multi-Timescale Motion-Decoupled Spiking Transformer for Audio-Visual Zero-Shot Learning
Harbin Institute of Technology（哈尔滨工业大学）；Harbin Institute of Technology Suzhou Research Institute（哈尔滨工业大学苏州研究院）；Peking University（北京大学）；School of AI for Science（科学人工智能学院）；Peng Cheng Laboratory（鹏城实验室）
提出双流多时间尺度运动解耦脉冲 Transformer（MDST++），通过解耦上下文与运动信息、动态调整神经元阈值，在音视频零样本学习中显著提升性能。
2025-05-26 cs.CV
Single Shot Self-Reliant Scene Text Spotter by Decoupled yet Collaborative Detection and Recognition
Harbin Institute of Technology at Shenzhen（哈尔滨工业大学（深圳））；Baidu Inc（百度公司）
典型的文本识别遵循两阶段识别范式，首先检测文本实例的边界，然后在检测到的区域内执行文本识别。尽管这样的斑点范例的显着进步，一个重要的限制是，文本识别的性能在很大程度上取决于文本检测的精度，导致潜在的错误传播从检测到识别。在这项工作中，我们提出了Single Shot Self-Reliant Scene Text Spotter v2（SRSTS v2），它通过将识别与检测分离，同时协同优化两个任务来规避这一限制。具体来说，我们的SRSTS v2样本的代表性特征点周围的每个潜在的文本实例，并进行文本检测和识别并行引导这些采样点。因此，文本识别不再依赖于检测，从而减轻了从检测到识别的错误传播。此外，采样模块是在检测和识别的监督下学习的，这允许两个任务之间的协同优化和相互增强。受益于这种采样驱动的并发spotting框架，我们的方法是能够正确地识别文本实例，即使精确的文本边界是具有挑战性的检测。在四个基准上进行的大量实验表明，我们的方法与最先进的检举人相比毫不逊色。
2023-02-07 cs.CV
Spatio-temporal Decoupled Knowledge Compensator for Few-Shot Action Recognition
School of Computer Science and Engineering, Nanjing University of Science and Technology（计算机科学与工程学院，南京理工大学）；State Key Lab of Brain-Machine Intelligence, Zhejiang University（脑机智能国家重点实验室，浙江大学）
本文提出DiST框架，通过解耦空间和时间知识，利用大语言模型学习多粒度原型，提升少样本动作识别性能。
2026-02-20 cs.CV
ONE-SHOT: Compositional Human-Environment Video Synthesis via Spatial-Decoupled Motion Injection and Hybrid Context Integration
National University of Singapore（新加坡国立大学）；Baidu Inc.（百度公司）
本文提出ONE-SHOT框架，通过空间解耦运动注入和混合上下文整合，实现高效的人类-环境视频合成，优于现有方法，具有更好的结构控制和创意多样性。
2026-04-01 cs.CV
Few-Shot Transformation of Common Actions into Time and Space
University of Amsterdam（阿姆斯特丹大学）
本文介绍了Few-Shot常见动作的时空定位任务。鉴于一些修剪的支持视频包含相同的，但未知的动作，我们努力在一个长的未修剪的查询视频的动作的时空定位。我们不需要任何类标签、区间边界或边界框。为了解决这一具有挑战性的任务，我们引入了一种新的Few-Shot Transformer架构，该架构具有专用的编码器-解码器结构，该结构针对联合共性学习和定位预测进行了优化，而无需建议。在AVA和UCF 101 -24数据集上的实验表明，即使在支持视频有噪声的情况下，我们的方法也能有效地进行Few-Shot常见动作定位。虽然我们不是专门为常见的时间定位而设计的，但在此设置中，我们也可以与最先进的Few-Shot和One-Shot进行比较。最后，我们证明了Few-Shot Transformer很容易扩展到每个像素的共同动作定位。
2021-04-06 cs.CV
Multi-shot Temporal Event Localization: a Benchmark
Huazhong University of Science and Technology（华中科技大学）；Alibaba Group（阿里巴巴集团）；University of Oxford（牛津大学）
目前的发展，在时间事件或动作定位通常目标的行动，由一个单一的相机捕捉。然而，野外的大量事件或动作可以被不同位置处的多个相机捕获为一系列镜头。在本文中，我们提出了一个新的和具有挑战性的任务称为多镜头时间事件定位，并相应地，收集了一个大规模的数据集称为多镜头事件（MUSES）。Muses拥有31，477个事件实例，总计716个视频小时。Muses的核心特性是频繁的镜头切换，平均每个实例19个镜头，每个视频176个镜头，这导致了很大的实例内变化。我们的综合评估表明，在时间动作定位的最先进的方法只实现了13.1%的mAP在IoU=0.5。作为一个小小的贡献，我们提出了一个简单的基线方法来处理实例内的变化，在IOU=0.5时，MUSES上的mAP为18.9%，THUMOS 14上的mAP为56.9%。为了促进这一方向的研究，我们在https://songbai.site/muses/上发布了数据集和项目代码。
2021-04-15 cs.CV
AvatarFusion: Zero-shot Generation of Clothing-Decoupled 3D Avatars Using 2D Diffusion
Tsinghua University（清华大学）；Zhejiang University（浙江大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
提出AvatarFusion框架，利用latent diffusion model提供像素级指导，生成服装解耦的逼真3D avatar，并建立首个零样本文本到avatar生成基准，实现所有指标显著提升及服装替换。
2023-09-14 cs.CV cs.GR
Zero-shot Action Localization via the Confidence of Large Vision-Language Models
Stanford University（斯坦福大学）
提出零样本动作定位方法ZEAL，利用LLM生成动作起止描述，查询LVLM获得帧级置信度，无需训练即可在基准上取得显著结果。
2025-03-24 cs.CV
Semantic-Guided Multi-Attention Localization for Zero-Shot Learning
Rutgers University（罗格斯大学）；Hikvision Research Institute（海康威视研究院）；University of Delaware（特拉华大学）
零样本学习通过引入类的语义表示，将传统的对象分类扩展到不可见的类识别。现有的方法主要集中在学习适当的映射函数的视觉语义嵌入，而忽略了学习的区别性视觉特征的效果。本文研究了判别式区域定位的意义。我们提出了一个语义引导的多注意定位模型，该模型自动发现对象的最有区别的部分，用于零样本学习，而无需任何人工注释。我们的模型共同学习合作的全局和局部特征，从整个对象以及检测到的部分，分类对象的语义描述的基础上。此外，通过嵌入softmax损失和类中心三元组损失的联合监督，鼓励模型学习具有高类间分散性和类内紧凑性的特征。通过对三个广泛使用的零样本学习基准测试的综合实验，我们展示了多注意力定位的有效性，并且我们所提出的方法大大提高了最先进的结果。
2019-12-02 cs.CV
EZIGen: Enhancing zero-shot personalized image generation with precise subject encoding and decoupled guidance
AIML, University of Adelaide（人工智能实验室，阿德莱德大学）；Xidian University（西安电子科技大学）；Monash University（墨尔本大学）
本文提出 EZIGen 方法，通过利用预训练 Diffusion UNet 作为主体编码器并分离文本与主体引导的去噪阶段，有效解决了零样本个性化图像生成中的细节丢失与引导不平衡问题，在减少训练数据的同时实现了最先进的生成性能。
2025-05-01 cs.CV
Few-shot Geometry-Aware Keypoint Localization
University of British Columbia（不列颠哥伦比亚大学）；Flawless AI（Flawless AI公司）
有监督的关键点定位方法依赖于大型手动标记的图像数据集，其中对象可以变形、铰接或遮挡。然而，创建如此大的关键点标签是耗时且昂贵的，并且由于不一致的标签而经常容易出错。因此，我们需要一种方法，可以学习关键点定位与更少但一致的注释图像。为此，我们提出了一种新的配方，学习本地化语义一致的关键点定义，即使是遮挡区域，不同的对象类别。我们使用一些用户标记的2D图像作为输入示例，这些示例通过使用更大的未标记数据集的自我监督进行扩展。与无监督方法不同，Few-Shot图像充当对象定位的语义形状约束。此外，我们引入了3D几何感知约束来提升关键点，实现更准确的2D定位。我们的通用公式为语义条件生成建模铺平了道路，并在多个数据集上达到了具有竞争力或最先进的精度，包括人脸，眼睛，动物，汽车和从未见过的口腔内部（牙齿）定位任务，而不是以前的Few-Shot方法所尝试的。项目页面：https：//xingzhehehe.github.io/FewShot3DKP/}{https：//xingzhehehe.github.io/FewShot3DKP/
2023-03-30 cs.CV
High-Fidelity Zero-Shot Texture Anomaly Localization Using Feature Correspondence Analysis
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
本文提出一种基于一维Wasserstein距离双射映射的零样本文理异常定位方法，通过局部特征对应分析聚合像素误差贡献，在MVTec AD上实现误差降低超40%。
2023-12-04 cs.CV
Multi-modal Prompting for Low-Shot Temporal Action Localization
Shanghai Jiao Tong University（上海交通大学）；Huawei Cloud & AI（华为云与AI）
在本文中，我们考虑的时间动作定位低镜头（zero-shot和Few-Shot）的情况下的问题，与目标检测和分类的动作实例从任意类别中的一些未修剪的视频，甚至没有看到在训练时间。我们采用了基于transformer的两阶段动作本地化架构，其中包含与类无关的动作建议，然后是开放词汇分类。我们作出以下贡献。首先，为了补偿具有时间运动的图像-文本基础模型，我们通过显式对齐光流、RGB和文本的嵌入来改进类别无关的动作提议，这在现有的低拍摄方法中在很大程度上被忽略。其次，为了改进开放词汇动作分类，我们构造了具有强区分能力的分类器，即，避免词汇歧义。具体来说，我们建议使用详细的动作描述（从大规模语言模型中获取）或视觉条件化的实例特定提示向量来提示预训练的CLIP文本编码器。第三，我们对THUMOS 14和ActivityNet 1.3进行了彻底的实验和消融研究，证明了我们提出的模型的优越性能，比现有的最先进的方法有一个显著的优势。
2023-03-21 cs.CV
DeepATLAS: One-Shot Localization for Biomedical Data
University of California Irvine（加州大学欧文分校）
本文提出用于高维生物医学数据定位的 DeepATLAS 基础模型，通过自监督学习生成解剖学一致的嵌入实现单样本或少样本定位，在多解剖结构分割任务上达到或超越标准监督学习模型。
2024-02-14 cs.CV
OSAGEN: Object-Aware Mask Priors and Multistage Decoupled Diffusion for Industrial Anomaly Generation
OSAGEN结合感知对象掩码先验与多阶段解耦扩散，通过QBG、ISC及轻量物质化步骤生成工业异常，在MVTec AD和VisA上实现优异的异常定位性能。
2026-08-03 cs.CV
