Semantic-Aligned Matching for Enhanced DETR Convergence and Multi-Scale Feature Fusion
Nanyang Technological University（南洋理工大学）；Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
最近提出的检测Transformer（DETR）建立了一个完全端到端的范例目标检测。然而，DETR遭受缓慢的训练收敛，这阻碍了其适用于各种检测任务。我们观察到，DETR的缓慢收敛在很大程度上是由于对象查询和编码的图像特征之间的语义不一致，在匹配对象查询到相关区域的困难。基于此，我们设计了语义对齐匹配DETR++（SAM-DETR++）来加速DETR的收敛，提高检测性能。SAM-DETR++的核心是一个即插即用的模块，它将对象查询和编码的图像特征投影到同一个特征嵌入空间中，每个对象查询都可以轻松地匹配到具有相似语义的相关区域。此外，SAM-DETR++搜索多个代表性的关键点，并利用其特征进行语义对齐匹配，增强了表示能力。此外，SAM-DETR++可以有效地融合多尺度特征，在设计的语义对齐匹配的基础上，以粗到细的方式。大量的实验表明，所提出的SAM-DETR++实现了优越的收敛速度和竞争力的检测精度。此外，作为一种即插即用的方法，SAM-DETR++可以补充现有的DETR融合解决方案，具有更好的性能，在COCO val 2017上使用ResNet-50，仅用12个训练epoch就实现了44.8%的AP，用50个训练epoch实现了49.1%的AP。代码可在https://github.com/ZhangGongjie/SAM-DETR上获得。
2023-02-06 cs.CV
FSSD: Feature Fusion Single Shot Multibox Detector
Beihang University（北京航空航天大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出 FSSD，通过在 SSD 中引入轻量级多尺度特征融合模块生成新特征金字塔，在 Pascal VOC 和 COCO 上以极小的速度代价显著提升检测精度，同时兼顾速度与精度。
2024-02-23 cs.CV
Weakly Aligned Feature Fusion for Multimodal Object Detection
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences（中国科学院脑科学与智能技术卓越创新中心）；Hong Kong Institute of Science & Innovation, Chinese Academy of Sciences（中国科学院香港创新研究院）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
为了在真实世界场景中实现准确和鲁棒的目标检测，结合了各种形式的图像，例如颜色、热和深度。然而，多模态数据经常遭受位置偏移问题，即，图像对不是严格对齐的，使得一个对象在不同的模态中具有不同的位置。对于深度学习方法，这个问题使得难以融合多模态特征，并且困扰卷积神经网络（CNN）训练。在这篇文章中，我们提出了一个通用的多模态检测器对齐区域CNN（AR-CNN）来解决位置偏移问题。首先，区域特征（RF）对齐模块与相邻的相似性约束的设计一致地预测两个模态之间的位置偏移和自适应对齐的跨模态RF。其次，我们提出了一种新的感兴趣区域（ROI）抖动策略，以提高对意外移位模式的鲁棒性。第三，我们提出了一种新的多模态特征融合方法，选择更可靠的特征，并通过特征重加权抑制不太有用的。此外，通过定位边界框在这两种方式和建立它们的关系，我们提供了新的多模态标记命名KAIST配对。在2-D和3-D目标检测、RGB-T和RGB-D数据集上的大量实验证明了该方法的有效性和鲁棒性。
2022-04-21 cs.CV
Few-Shot 3D Volumetric Segmentation with Multi-Surrogate Fusion
United Imaging Intelligence（联影智能）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
提出轻量级多代理融合的少样本3D分割框架MSFSeg，通过学习跨患者解剖相关性，利用少量标注切片实现未见3D对象的准确分割。
2024-08-26 cs.CV
Parallel Residual Bi-Fusion Feature Pyramid Network for Accurate Single-Shot Object Detection
National Yang Ming Chiao Tung University（国立阳明交通大学）；University at Albany, SUNY（纽约州立大学奥尔巴尼分校）
本文提出PRB-FPN网络，通过引入并行双向融合结构、CORE模块及残差设计Re-CORE，解决了特征金字塔定位不准及难同时检测大小目标的问题，在UAVDT17和MS COCO数据集上实现了高精度单阶段目标检测。
2023-05-18 cs.CV
RUFNet: Query-Guided Support Mask Refinement and Uncertainty Fusion based on Hybrid Mamba for Few-Shot Brain Tumor Segmentation
Department of Language Science and Technology, The Hong Kong Polytechnic University（香港理工大学语言科学与技术系）；School of Artificial Intelligence, Chongqing University of Technology（重庆理工大学人工智能学院）；Affiliated Lianyungang Hospital of Xuzhou Medical University（徐州医科大学附属连云港医院）；College of Mechatronics and Control Engineering, Shenzhen University（深圳大学机电与控制工程学院）
研究针对少样本脑肿瘤分割挑战，提出基于混合曼巴的RUFNet框架，结合支持掩码细化与不确定性感知后融合，采用线性复杂度骨干等方法，在BraTS 2020数据集上表现出色。
2026-07-07 cs.AI cs.CV
MDSSD: Multi-scale Deconvolutional Single Shot Detector for Small Objects
Zhengzhou University（郑州大学）
对于大多数基于多尺度特征图的目标检测器，浅层具有丰富的精细空间信息，因此主要负责小目标检测。然而，由于浅层特征图缺乏语义信息，小目标检测的性能仍不令人满意。本文设计了一种多尺度解卷积Single Shot检测器（MDSSD），特别适用于小目标的目标检测。在MDSSD中，同时对不同尺度的多个高级特征图进行上采样，以提高空间分辨率。然后，我们通过Fusion Block实现了低层特征映射的跳过连接。融合后的特征图称为融合模块，具有较强的小样本特征表示能力。值得注意的是，Fusion Block中使用的这些高级特征图保留了强语义信息和小实例的一些细节，而不是最顶层，其中小对象的细节表示可能会被删除。所提出的框架实现了77.6%的mAP小目标检测上具有挑战性的数据集TT 100 K与512 × 512输入，优于其他检测器具有较大的利润。此外，它还可以在PASCAL VOC 2007测试和MS COCO test-dev 2015上实现一般目标检测的最新结果，特别是在小对象类别上实现2到5点的改进。
2020-02-25 cs.CV
Few-Shot Batch Incremental Road Object Detection via Detector Fusion
PES University（PES大学）；Intel Corporation（英特尔公司）
增量少样本学习已经成为深度学习中一个新的具有挑战性的领域，其目标是使用很少的新类数据样本来训练深度学习模型，而不使用旧类数据。在这项工作中，我们解决了批量增量Few-Shot道路目标检测使用的数据从印度驾驶数据集（IDD）的问题。我们的方法DualFusion以一种允许我们学习用非常有限的数据检测稀有对象的方式结合了对象检测器，所有这些都不会严重降低检测器在丰富类上的性能。在IDD OpenSet增量Few-Shot检测任务中，我们在基类上实现了40.0的mAP50得分，总体mAP50得分为38.8，这两个得分都是迄今为止最高的。在COCO批量增量Few-Shot检测任务中，我们实现了9.9的新颖AP得分，超过了最先进的新颖类性能超过6.6倍。
2021-08-18 cs.AI cs.CV
Support-Query Prototype Fusion Network for Few-shot Medical Image Segmentation
Huaqiao University（华侨大学）；Key Laboratory of Computer Vision and Machine Learning of Fujian Provincial Universities（福建省高校计算机视觉与机器学习重点实验室）
针对少样本医学图像分割中现有原型方法重支持集、轻查询集导致类内差异大的问题，提出支持-查询原型融合网络SQPFNet，通过融合双原型实现精细化分割，在两个公开数据集上达到SOTA性能。
2024-05-13 cs.CV
Prototypical Few-Shot Medical Image Semantic Segmentation with Background Fusion
Chinese Academy of Medical Sciences（中国医学科学院）；Peking Union Medical College（北京友谊医院）；School of Health Sciences（健康科学学院）
研究针对医学图像少样本语义分割，提出背景融合原型（Bro）方法。通过特征相似性校准减少噪声，分层通道对抗注意力将背景融合到原型，基于通道组注意力机制实现从粗到细融合，可与现有模型集成，有效提升分割性能。
2026-07-13 cs.CV
Open Vocabulary Semantic Segmentation with Patch Aligned Contrastive Learning
University of Oxford（牛津大学）；Meta AI
我们引入了补丁对齐对比学习（PACL），这是针对CLIP对比损失的修改后的兼容性函数，旨在训练视觉编码器的补丁令牌和文本编码器的CLS令牌之间的对齐。通过这样的对齐，模型可以识别与给定文本输入相对应的图像区域，并且因此无缝地转移到开放词汇语义分割的任务，而无需在训练期间进行任何分割注释。使用带有PACL的预训练CLIP编码器，我们能够在4个不同的分割基准上设置最先进的开放词汇zero-shot分割任务：Pascal VOC，Pascal Context，COCO Stuff和ADE 20 K。此外，我们还表明，PACL也适用于图像级预测，当与CLIP骨干一起使用时，与CLIP相比，PACL在一组12个图像分类数据集上提供了zero-shot分类精度的总体改善。
2022-12-09 cs.CV
Prototype Refinement Network for Few-Shot Segmentation
AInnovation Technology Co., Ltd.（创新奇智科技有限公司）
Few-Shot分割目标是在提供很少注释图像的情况下分割新类别。它比传统的语义分割任务更具挑战性，分割具有丰富注释图像的已知类。在本文中，我们提出了一个原型细化网络（PRNet）来解决Few-Shot分割的挑战。它首先学习从已知类的支持和查询图像中双向提取原型。此外，提取新类的代表性原型，我们使用适应和融合的原型细化。自适应步骤使模型学习新的概念，这是直接通过再训练实现的。首先提出了原型融合的概念，将支持原型和查询原型融合，融合了支持原型和查询原型的知识。它在原型精化中是有效的，而无需引入额外的可学习参数。通过这种方式，原型在低数据状态下变得更具歧视性。在PASAL- $5^i$和COCO- $20^i$上的实验证明了该方法的优越性.特别是在COCO- $20^i$上，PRNet在1次激发设置下的性能明显优于现有方法13.1%。
2020-05-09 cs.CV
Residual Bi-Fusion Feature Pyramid Network for Accurate Single-shot Object Detection
National Chiao Tung University（国立交通大学）；Academia Sinica（中央研究院）；United Arab Emirates University（阿拉伯联合酋长国大学）
最新技术水平（SoTA）模型已经通过FP（特征金字塔）以大幅度提高了目标检测的准确性。FP是一种自上而下的聚合，用于收集语义上强的特征，以提高两阶段和一阶段检测器的尺度不变性。然而，这种自上而下的路径不能保持准确的对象位置，由于池化的移位效应。因此，当使用更多层时，FP提高检测精度的优势将消失。原始FP缺乏自下而上的路径来抵消低层特征图中丢失的信息。它在大尺寸目标检测中表现良好，但在小尺寸目标检测中表现不佳。本文提出了一种新的结构--“剩余特征金字塔”。它是双向的，融合深和浅的功能，以更有效和强大的检测小尺寸和大尺寸的对象。由于“残留”的性质，它可以很容易地训练和集成到不同的骨干（甚至更深或更轻）比其他双向方法。该残余FP的一个重要性质是：即使采用更多层，仍然发现精度提高。在VOC和MS COCO数据集上的大量实验表明，该方法实现了高精度和高效率的目标检测。
2019-12-10 cs.CV
OASIS: One-pass aligned Atlas Set for Image Segmentation
Wuhan University（武汉大学）；Rensselaer Polytechnic Institute (RPI)（伦斯勒理工学院（RPI））
医学图像分割是医学图像分析中的一项基本任务。尽管深度卷积神经网络在这项具有挑战性的任务中获得了出色的性能，但它们通常依赖于大型标记数据集，这限制了它们对定制应用的扩展。通过回顾基于图谱的分割方法的优越性，我们提出了一个新的框架，一遍对齐图谱集图像分割（OASIS）。为了解决用于图谱变形的耗时的迭代图像配准的问题，所提出的方法利用深度学习的能力来实现一遍图像配准。此外，OASIS还通过引入标号约束，使配准过程集中在待分割区域上，提高了分割性能。此外，而不是使用基于图像的相似性的标签融合，这可能会被大背景区域分心，我们提出了一种新的策略来计算标签相似性为基础的标签融合的权重。我们对前列腺MR图像分割的挑战性任务的实验结果表明，OASIS能够显着提高分割性能相比，其他国家的最先进的方法。
2019-12-05 cs.CV
Feature-Fused SSD: Fast Detection for Small Objects
Xidian University（西安电子科技大学）
小目标检测是计算机视觉中一项具有挑战性的任务，因为它的分辨率和信息量有限。为了解决这个问题，大多数现有的方法牺牲速度以提高精度。在本文中，我们的目标是检测小物体在一个快速的速度，使用最好的对象检测器Single Shot多盒检测器（SSD）的精度与速度的权衡作为基础架构。提出了一种多层次特征融合的方法，在SSD中引入上下文信息，以提高对小目标的准确性。在具体的融合操作中，我们设计了两个特征融合模块：拼接模块和元素和模块，不同之处在于添加上下文信息的方式。实验结果表明，这两个融合模块在PASCALVOC 2007上获得的mAP分别比基线SSD高1.6和1.7个点，特别是在一些小的分类上有2-3个点的提高。它们的测试速度分别为43和40 FPS，比现有的解卷积Single Shot检测器（DSSD）高29.4和26.4 FPS。代码可在https://github.com/wnzhyee/Feature-Fused-SSD上获得。关键词：小目标检测，特征融合，实时，Single Shot多盒检测器
2018-11-27 cs.CV
Boundary-Aligned Contribution Routing for Robust Optical--SAR Object Detection
Tianjin University（天津大学）；School of Electrical and Information Engineering, Tianjin University（天津大学电气与信息工程学院）
该研究针对光学-SAR融合目标检测中的负跨模态迁移问题，提出边界对齐贡献路由方法，在M4-SAR和SpaceNet6-OTD实验中提升了检测性能并降低了负迁移率。
2026-08-18 cs.CV
SSLFusion: Scale & Space Aligned Latent Fusion Model for Multimodal 3D Object Detection
School of Big Data and Software Engineering, Chongqing University（重庆大学大数据与软件学院）；School of Microelectronics and Communication Engineering, Chongqing University（重庆大学微电子与通信工程学院）；School of Electrical and Information Engineering, Tianjin University（天津大学电气与信息工程学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
SSLFusion通过尺度对齐融合、3D到2D空间对齐和潜在跨模态融合三个模块，解决多模态3D检测中的尺度与空间错位及计算复杂度问题，在KITTI和DENSE上取得领先性能。
2025-04-07 cs.AI cs.CV
Generative Model-Based Fusion for Improved Few-Shot Semantic Segmentation of Infrared Images
University of Minnesota（明尼苏达大学）
针对红外图像小样本语义分割存在的数据稀缺、对比度有限及现有方法依赖配对可见光图像的问题，提出结合生成式辅助数据合成、红外数据增强及新型融合集成模块的方案，在多个红外数据集上超越了当前最优水平。
2024-12-06 cs.AI cs.CV cs.LG
Few-Shot Distribution-Aligned Flow Matching for Data Synthesis in Medical Image Segmentation
Key Laboratory of Aerospace Information Security and Trusted Computing, Ministry of Education, School of Cyber Science and Engineering, Wuhan University（武汉大学网络空间安全学院、空天信息安全与可信计算教育部重点实验室）；Shanghai Innovation Institute（上海创新研究院）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出AlignFlow模型，通过可微奖励微调对齐目标参考图像分布，提升小样本下数据合成效果，实验显示在多个数据集上mDice和mIoU指标提升3.5-5.6%。
2026-04-03 cs.CV eess.IV
Detecting Small Objects in Thermal Images Using Single-Shot Detector
Nanchang University（南昌大学）
SSD（Single Shot Multibox Detector）是目前最成功的目标检测器之一，具有精度高、速度快等优点。然而，SSD的浅层（主要是Conv4_3）的特征缺乏语义信息，导致小对象的性能较差。在本文中，我们提出了DDSSD（膨胀和反卷积Single Shot多盒检测器），一个增强的SSD与一个新的特征融合模块，可以提高性能比SSD小目标检测。在特征融合模块中，采用膨胀卷积模块扩大浅层特征的感受野，采用反卷积模块增大高层特征图的尺寸。我们的网络在PASCAL VOC 2007测试中实现了79.7%的mAP，在MS COCO测试开发中实现了28.3%的mmAP，41 FPS，使用单个Nvidia 1080 GPU仅需300x300输入。特别是对于小目标，DDSSD在MS COCO上达到10.5%，在FLIR热数据集上达到22.8%，在准确性和速度方面优于许多最先进的目标检测算法。
2021-08-25 cs.CV eess.IV
Trajectory-aligned Space-time Tokens for Few-shot Action Recognition
University of Maryland, College Park（马里兰大学帕克分校）；GenAI, Meta（Meta GenAI部门）
本文提出轨迹对齐tokens（TATs）解耦运动与外观表示，结合Masked Space-time Transformer在少样本动作识别任务上取得最优结果。
2024-07-25 cs.CV
VPFusion: Joint 3D Volume and Pixel-Aligned Feature Fusion for Single and Multi-view 3D Reconstruction
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
我们介绍了一个统一的单视图和多视图神经隐式三维重建框架VPFusion。VPFusion使用3D特征量来捕获3D结构感知上下文，并使用像素对齐的图像特征来捕获精细的局部细节，从而实现高质量的重建。现有的方法使用RNN，特征池或在每个视图中独立计算的注意力进行多视图融合。RNN遭受长期记忆损失和置换方差，而特征池或独立计算的注意力导致每个视图中的表示在最终池化步骤之前不知道其他视图。相比之下，我们通过建立基于变换的成对视图关联来改进多视图特征融合。特别是，我们提出了一种新的交错三维推理和成对视图关联架构的特征量融合在不同的意见。使用这种结构感知和多视图感知的特征量，我们表现出改进的3D重建性能相比，现有的方法。VPFusion还通过结合像素对齐的局部图像特征来捕获精细细节，从而进一步提高了重建质量。我们在ShapeNet和ModelNet数据集上验证了VPFusion的有效性，在这些数据集上，我们的性能优于或优于最先进的单视图和多视图3D形状重建方法。
2022-07-16 cs.CV
Depth Guided Adaptive Meta-Fusion Network for Few-shot Video Recognition
Fudan University（复旦大学）；University of Oxford（牛津大学）
人类可以很容易地识别动作，只有几个例子，而现有的视频识别模型仍然严重依赖于大规模的标记数据输入。这一观察激发了越来越多的兴趣，在Few-Shot视频动作识别，其目的是学习新的动作，只有很少的标记样本。在本文中，我们提出了一个深度引导的自适应元融合网络的Few-Shot视频识别，这是被称为AMeFu-Net。具体来说，我们从三个方面解决了Few-Shot识别问题：首先，通过引入深度信息作为场景的载体，为模型带来额外的视觉信息，从而缓解了这一数据极度匮乏的问题;其次，我们将原始RGB剪辑的表示与通过我们的时间增强增强机制采样的多个非严格对应的深度剪辑相融合，第三，提出了一种新的深度引导自适应实例归一化（DGAdaIN）融合模块，有效地融合了两个流模态。此外，为了更好地模仿Few-Shot识别过程，我们的模型是在元学习的方式进行训练。在多个动作识别基准上的实验证明了该模型的有效性。
2020-10-20 cs.CV
Learning Aligned Cross-Modal Representation for Generalized Zero-Shot Classification
School of Computer & Communication Engineering, University of Science and Technology Beijing（北京科技大学计算机与通信工程学院）
通过对齐交叉模态自编码器的潜在空间来学习共同的潜在嵌入是广义Zero-Shot分类（GZSC）的一种有效策略。然而，由于缺乏细粒度的实例化标注，它仍然容易遭受域转移问题的差异之间的视觉表示的多样化的图像和固定属性的语义表示。在本文中，我们提出了一个创新的自动编码器网络，通过学习对齐的跨模态表示（称为ACMR）的GZSC。具体来说，我们提出了一种新的视觉语义对齐（VSA）方法，以加强对齐的跨模态潜在特征的潜在子空间的指导下学习分类。此外，我们提出了一种新的信息增强模块（IEM），以减少潜在变量崩溃的可能性，同时鼓励潜在变量的判别能力。在公开数据集上的大量实验证明了我们方法的最新性能。
2021-12-24 cs.CV
Cross-Domain Cross-Set Few-Shot Learning via Learning Compact and Aligned Representations
University of Science and Technology of China（中国科学技术大学）；Center for Research on Intelligent Perception and Computing, NLPR, CASIA（中国科学院自动化研究所模式识别国家重点实验室智能感知与计算研究中心）；University of Chinese Academy of Sciences（中国科学院大学）
少样本学习（FSL）的目标是通过利用来自基础数据集的先验知识来识别只有少量支持样本的新查询。在本文中，我们考虑域转移问题FSL和旨在解决支持集和查询集之间的域差距。与以往的跨领域FSL（CD-FSL）考虑了基本类和新类之间的领域转移不同，新问题称为跨领域交叉集FSL（CDSC-FSL），它要求Few-Shot学习器不仅要适应新领域，而且要在每个新类中的不同领域之间保持一致.为此，我们提出了一种新的方法，即stabPA，学习原型紧凑和跨域对齐表示，使域转移和少样本学习可以同时解决。我们评估我们的方法上建立的两个新的CDCS-FSL基准从DomainNet和Bull-Home数据集分别。值得注意的是，我们的方法大大优于多个精心设计的基线，例如，在DomainNet上将5杆准确度平均提高6.0分。代码可在https://github.com/WentaoChen0813/CDCS-FSL上获得
2022-07-16 cs.CV
Fusion-based Few-Shot Morphing Attack Detection and Fingerprinting
State University of New York at Buffalo（纽约州立大学布法罗分校）
由于人脸生物识别技术在现实世界中的广泛应用，人脸识别系统对变形攻击的脆弱性已经构成了严重的安全威胁。现有的变形攻击检测（MAD）方法大多需要大量的训练数据，并且只在少数预定义的攻击模型上进行了测试。缺乏良好的泛化性能，特别是考虑到人们对开发新的变形攻击的兴趣越来越大，这是现有MAD研究的一个关键限制。为了解决这个问题，我们建议在本文中将MAD从监督学习扩展到少样本学习和从二进制检测到多类指纹。我们的技术贡献包括：1）我们提出了一种基于融合的少样本学习（FSL）方法来学习区分特征，这些特征可以从预定义的呈现攻击推广到不可见的变形攻击类型; 2）基于PRNU模型和Noiseprint网络的融合的FSL从二进制MAD扩展到多类变形攻击指纹识别（MAF）。3)我们收集了一个大规模的数据库，其中包含五个人脸数据集和八个不同的变形算法，基准建议的Few-Shot MAF（FS-MAF）方法。大量的实验结果表明，我们的融合为基础的FS-MAF的出色性能。代码和数据将在https://github.com/nz0001na/mad maf上公开。
2022-10-27 cs.CV
Distribution Aligned Feature Clustering for Zero-Shot Sketch-Based Image Retrieval
University of Science and Technology Beijing（北京科技大学）
基于零镜头草图的图像检索（Zero-Shot Sketch-Based Image Retrieval，简称ZSBIR）是一个具有挑战性的跨模态检索任务。在现有技术中，通过对查询草图与图库中的每个图像之间的距离进行排序来进行检索。然而，域间隙和zero-shot设置使得神经网络难以推广。本文从一个新的角度：利用图库图像特征来应对挑战。我们提出了一种先聚类后检索的方法，该方法对图库图像进行聚类，并使用聚类质心作为检索代理。此外，提出了一种分布对齐损失，使图像和草图特征具有共同的高斯分布，从而减小了域间隙。尽管它很简单，我们提出的方法在流行的数据集上比最先进的方法有很大的优势，例如，在Sketchy和TU-Berlin数据集上，mAP@all的相对改善高达31%和39%。
2023-01-17 cs.CV
D-Fusion: Direct Preference Optimization for Aligning Diffusion Models with Visually Consistent Samples
Zijing Hu（Hu Zijing）；Fengda Zhang（Zhang Fengda）；Kun Kuang（Kuang Kun）
本文提出D-Fusion方法，通过掩码引导自注意力融合构建视觉一致且保留去噪轨迹的样本，有效解决了扩散模型DPO对齐中的视觉不一致问题，显著提升了提示与图像的对齐效果。
2025-05-28 cs.CV
Robust One-shot Segmentation of Brain Tissues via Image-aligned Style Transformation
脑组织的一次性分割通常是双模型迭代学习：配准模型（reg-model）将仔细标记的图谱扭曲到未标记的图像上，以初始化它们的伪掩模用于训练分割模型（seg-model）; seg-model修改伪掩模以增强reg-model，以便在下一次迭代中更好地扭曲。然而，在这种双模型迭代中存在一个关键的弱点，即由reg-model不可避免地引起的空间不对准可能误导seg-model，这使得它最终收敛于较差的分割性能。在本文中，我们提出了一种新的图像对齐的风格变换，以加强双模型迭代学习的鲁棒的一次拍摄脑组织分割。具体地说，我们首先利用reg-model扭曲的地图集到一个未标记的图像，然后采用基于傅立叶的振幅交换与扰动移植的风格的未标记的图像到对齐的地图集。这允许后续的seg-model在图谱的对齐和样式转移的副本上学习，而不是在未标记的图像上学习，这自然保证了图像掩模训练对的正确空间对应性，而不会牺牲未标记图像所携带的强度模式的多样性。此外，除了图像级相似性之外，我们还引入了特征感知的内容一致性来约束reg-model以进行有希望的初始化，这避免了在第一次迭代中图像对齐样式转换的崩溃。在两个公共数据集上的实验结果表明：1）与全监督方法相比，我们的方法具有竞争力的分割性能; 2）与其他最先进的方法相比，平均Dice增加了4.67%。源代码可在https://github.com/JinxLv/On…
2022-11-30 cs.CV
SPARC: Score Prompting and Adaptive Fusion for Zero-Shot Multi-Label Recognition in Vision-Language Models
Boston University（波士顿大学）；Meta AI (FAIR)（元人工智能研究院（FAIR））
提出SPARC方法，将视觉-语言模型视为黑盒，利用大语言模型生成复合提示并分析分数偏差，通过去偏和分数融合算法提升零样本多标签识别性能，在mAP上优于需训练数据的方法。
2025-02-24 cs.CV
Hybrid Fusion: One-Minute Efficient Training for Zero-Shot Cross-Domain Image Fusion
Hefei University of Technology（合肥工业大学）；University of Science and Technology of China（中国科学技术大学）
本文提出一种混合融合框架，通过可学习的U-Net生成动态指导图，结合经典固定拉普拉斯金字塔融合内核，实现高效全分辨率训练，实现零样本跨域图像融合的高效与高性能。
2026-02-24 cs.CV
EqGAN: Feature Equalization Fusion for Few-shot Image Generation
针对少样本图像生成缺乏精细结构与纹理的问题，提出EqGAN，通过双分支解耦融合结构与纹理并进行多尺度特征均衡化，显著提升了图像生成质量、多样性及下游分类准确率。
2023-07-27 cs.CV
Semantically Aligned Bias Reducing Zero Shot Learning
Indian Institute of Technology Ropar（印度理工学院罗巴尔分校）
零样本学习（Zero Shot Learning，简称ZML）的目标是通过利用可见类和不可见类之间的语义关系来识别不可见类。两个主要的问题所面临的CNOL算法是hubness问题和偏见对所看到的类。在传统的和广义的CNOL设置中，现有的CNOL方法只关注这些问题中的一个。在这项工作中，我们提出了一种新的方法，语义对齐的偏见减少（SABR）的SARL，它专注于解决这两个问题。它克服了hubness问题，通过学习一个潜在的空间，保持标签之间的语义关系，同时编码的区别信息的类。此外，我们还提出了一些方法，通过一个简单的交叉验证过程中的归纳设置和一个新的弱转移约束中的转导设置，以减少看到的类的偏见。在三个基准数据集上进行的大量实验表明，该模型在传统的BML设置中比现有的最先进的算法性能高出约1.5-9%，在归纳和转换设置的广义BML中比现有的最先进的算法性能高出约2-14%。
2019-04-16 cs.CV
Will Multi-modal Data Improves Few-shot Learning?
大多数少样本学习模型只利用一种数据模态。我们想定性和定量地研究，如果我们添加额外的模态（即图像的文本描述），模型会改善多少，以及它如何影响学习过程。为了实现这一目标，我们提出了四种类型的融合方法来结合图像特征和文本特征。为了验证改进的有效性，我们使用两个经典的少样本学习模型- ProtoNet和MAML，使用ConvNet和ResNet 12等图像特征提取器测试融合方法。基于注意力的融合方法效果最好，与基线结果相比，分类精度提高了30%左右。
2021-07-25 cs.CV
Rethinking the Metric in Few-shot Learning: From an Adaptive Multi-Distance Perspective
Tencent Youtu Lab（腾讯优图实验室）；CATL（宁德时代）；East China Normal University（华东师范大学）
少样本学习问题的重点是在给定一些标记图像的情况下识别不可见的类。在最近的工作中，更多的关注细粒度的特征嵌入，忽略了不同的距离度量之间的关系。在本文中，第一次，我们调查了不同的距离度量的贡献，并提出了一种自适应融合方案，带来显着的改善，在Few-Shot分类。我们从一个天真的基线的置信总和，并证明了利用不同的距离度量的互补性的必要性。通过发现它们之间的竞争问题，在基线的基础上，我们提出了一个自适应模糊模块（AMM）解耦度量融合为度量预测融合和度量损失融合。前者鼓励相互补充，而后者通过多任务协作学习来促进度量竞争。在AMM的基础上，设计了一个Few-Shot分类框架AMTNet，包括AMM和全局自适应损失（GAL），联合优化Few-Shot任务和辅助自监督任务，使嵌入特征更加鲁棒。在实验中，所提出的AMM实现了2%的性能比天真的度量融合模块，我们的AMTNet优于国家的最先进的多个基准数据集。
2022-11-02 cs.CV
Enhancing Few-Shot Out-of-Distribution Detection with Gradient Aligned Context Optimization
school of computer science and engineering sun yat-sen university（中山大学计算机科学与工程学院）；school of artificial intelligence sun yat-sen university（中山大学人工智能学院）
本文提出梯度对齐上下文优化方法GaCoOp，通过分解优化梯度并利用梯度投影缓解少样本OOD检测中ID分类与OOD正则化之间的梯度冲突，在ImageNet基准上取得优异性能。
2024-11-24 cs.CV
Visually Aligned Word Embeddings for Improving Zero-shot Learning
零样本学习（Zero-shot learning，简称ZRL）高度依赖于一个良好的语义嵌入来连接可见类和不可见类。最近，从大型文本语料库中预训练的分布式词嵌入（DWE）已成为绘制这种连接的流行选择。与人类定义的属性相比，DWE具有更好的可扩展性和更容易获得。然而，它们被设计为反映语义相似性而不是视觉相似性，因此在CNOL中使用它们通常会导致较差的性能。为了克服这种视觉语义差异，这项工作提出了一个目标函数，通过学习神经网络将其映射到一个新的表示，称为视觉对齐的词嵌入（VAWE）的视觉信息重新对齐的分布式词嵌入。因此，VAWE的邻域结构变得类似于视觉域中的邻域结构。请注意，在这项工作中，我们没有设计一个将视觉特征和语义嵌入投影到共享空间上的方法，而只是对映射的词嵌入的结构提出了要求。该策略允许学习的VAWE推广到各种可编程语言方法和视觉特征。在四个基准数据集上通过四种最先进的VAWE方法进行评估，VAWE表现出一致的性能改善。
2017-07-18 cs.CV
Learnable Exposure Fusion for Dynamic Scenes
Huawei German Research Center（华为德国研究中心）；Technical University of Munich（慕尼黑工业大学）
在本文中，我们专注于动态场景的曝光融合（EF）[ExposFusi2]。任务是融合多个通过包围曝光获得的图像，以创建包含高水平细节的图像。通常，由于硬件限制，这样的图像不可能直接从相机获得，传感器的有限动态范围。这样的任务的一个主要问题是，由于场景运动或相机运动，图像可能不会在空间上对齐。已知图像配准问题所需的对准是不适定的。在这种情况下，要对齐的图像在其强度范围内变化，这使得问题更加困难。为了解决上述问题，我们提出了一个端到端的\emph{Convolutional Neural Network}（CNN）为基础的方法来学习估计曝光融合从$2$和$3$低动态范围（LDR）图像描绘不同的场景内容。据我们所知，在文献中找不到有效和强大的基于CNN的端到端方法来解决此类问题。我们的想法是创建一个数据集与完美对齐的LDR图像，以获得地面实况曝光融合图像。同时，我们获得了具有一些运动的附加LDR图像，其具有与完美对准的LDR图像相同的曝光融合地面实况。这样，我们可以训练具有未对准的LDR输入图像但具有适当的地面实况曝光融合图像的端到端CNN。我们提出了一个具体的CNN架构来解决这个问题。在各种实验中，我们表明，所提出的方法产生优异的结果。
2018-04-04 cs.CV
Domain Aligned CLIP for Few-shot Classification
Amazon（亚马逊）
提出域对齐CLIP（DAC），通过轻量适配器和文本嵌入调制改善模态内与跨模态对齐，无需微调主模型，在少样本分类中提升约2.3%并保持OOD鲁棒性。
2023-11-15 cs.CV
H-OmniStereo: Zero-Shot Omnidirectional Stereo Matching with Heading-Aligned Normal Priors
Department of Electronic and Computer Engineering, The Hong Kong University of Science and Technology（电子与计算机工程系，香港科学与技术大学）
本文提出H-OmniStereo框架，通过构建高质量合成数据集和引入方向对齐法线估计器，解决全方位立体匹配中数据稀缺和视角先验退化问题，实现更高精度和跨视角一致性。
2026-05-16 cs.CV
MASTAF: A Model-Agnostic Spatio-Temporal Attention Fusion Network for Few-shot Video Classification
University of California Davis（加州大学戴维斯分校）
我们提出了MASTAF，一个模型无关的时空注意力融合网络的Few-Shot视频分类。MASTAF从一般视频空间和时间表示中获取输入，例如，使用2D CNN、3D CNN和视频Transformer。然后，为了充分利用这种表示，我们使用自我和交叉注意模型来突出关键的时空区域，以增加类间的变化，减少类内的变化。最后，MASTAF应用轻量级融合网络和最近邻分类器对每个查询视频进行分类。我们证明，MASTAF提高了三个Few-Shot视频分类基准（UCF 101，HMDB 51和Something-Something-V2）的最先进性能，例如，对于五路单镜头视频分类，分别高达91.6%，69.5%和60.7%。
2022-10-16 cs.CV cs.LG
VDLF-Net: Variational Feature Fusion for Adaptive and Few-Shot Visual Learning
Department of Statistics, Shanghai Jiao Tong University（上海交通大学统计系）
VDLF-Net通过在多尺度CNN主干上添加紧凑的变分自编码器，结合潜在向量和softmax门控实现自适应和少样本视觉学习，实验显示其在CIFAR-100和Mini-ImageNet上优于多种基线模型。
2026-04-26 cs.CV
VTFusion: A Vision-Text Multimodal Fusion Network for Few-Shot Anomaly Detection
National Center of Technology Innovation for Intelligent Design and Numerical Control（国家智能设计与数控技术创新中心）；Huazhong University of Science and Technology（华中科技大学）
VTFusion通过自适应特征提取和多模态融合模块，提升少样本异常检测性能，实现96.8%的AUROC。
2026-01-23 cs.CV
Interpretable Zero-Shot Learning with Locally-Aligned Vision-Language Model
Mohamed bin Zayed University of AI（莫扎伊德大学人工智能学院）；Huazhong University of Science and Technology（华中科技大学）；Australian National University（澳大利亚国立大学）；Linköping University（林雪平大学）
提出LaZSL，一种基于最优传输的局部对齐视觉-语言模型，通过视觉区域与属性的交互实现无需额外训练的可解释零样本学习，提升准确性与泛化能力。
2025-06-30 cs.CV
Z-SASLM: Zero-Shot Style-Aligned SLI Blending Latent Manipulation
Sapienza University of Rome（罗马大学）
提出Z-SASLM流水线，利用超球面测地线上的SLI混合非线性潜在空间表示，实现无需微调的高保真多风格混合，并引入新指标验证了其增强且鲁棒的风格对齐效果。
2025-03-29 cs.CV
Multi-view Distillation based on Multi-modal Fusion for Few-shot Action Recognition(CLIP-$\mathrm{M^2}$DF)
Xi’an Jiaotong University（西安交通大学）
针对少样本动作识别中类别重叠分布和离群点问题，提出基于多模态融合的多视图蒸馏方法CLIP-M2DF，通过概率提示选择、多视图融合和相互蒸馏提升模型鲁棒性。
2024-01-16 cs.CV
Unsupervised Few-Shot Action Recognition via Action-Appearance Aligned Meta-Adaptation
Microsoft（微软）；Oregon State University（俄勒冈州立大学）
我们提出MetaUVFS作为第一个无监督Meta学习算法的视频Few-Shot动作识别。MetaUVFS利用超过55万个未标记的视频，通过对比学习来训练双流2D和3D CNN架构，以分别捕获特定于外观的空间和特定于动作的时空视频特征。MetaUVFS包括一个新的视频-外观对齐元自适应（A3 M）模块，该模块通过在无监督的硬挖掘剧集上的显式Few-Shot情节元学习来学习关注与外观特征相关的面向动作的视频特征。我们的动作外观对齐和显式的Few-Shot学习器使无监督训练能够模仿下游的Few-Shot任务，使MetaUVFS在Few-Shot基准测试中显著优于所有无监督方法。此外，与以前的有监督的Few-Shot动作识别方法不同，MetaUVFS既不需要基类标签，也不需要有监督的预训练骨干。因此，我们只需要训练MetaUVFS一次，就可以在流行的HMDB 51、UCF 101和Kinetics 100 Few-Shot数据集上与最先进的监督方法竞争，有时甚至优于它们。
2021-10-11 cs.AI cs.CV cs.LG
Single-Shot Cuboids: Geodesics-based End-to-end Manhattan Aligned Layout Estimation from Spherical Panoramas
Centre for Research and Technology Hellas（希腊研究与技术中心）
已经表明，全局场景理解任务（如布局估计）可以受益于更宽的视场，特别是球形视场。虽然最近取得了很大进展，但所有以前的方法都依赖于中间表示和后处理来产生与曼哈顿一致的估计。在这项工作中，我们将展示如何在单次拍摄中估计整个房间的布局，从而无需进行后处理。我们的工作是第一个直接推断曼哈顿对齐输出。为了实现这一目标，我们的数据驱动模型利用直接坐标回归，并进行端到端的监督。因此，我们可以显式地添加准曼哈顿约束，这为基于单应性的曼哈顿对齐模块设置了必要条件。最后，我们介绍了测地线热图和损失以及边界感知质心计算，这些计算有助于在球形域中进行更高质量的关键点估计。我们的模型和代码可在www.example.com上公开获取。
2021-02-09 cs.CV cs.LG
Harmonized Tabular-Image Fusion via Gradient-Aligned Alternating Learning
Nanjing University of Science and Technology（南京理工大学）
本文提出GAAL方法，通过对齐模态梯度解决多模态表-图像融合中的梯度冲突问题，提升融合性能。
2026-04-02 cs.AI cs.CV
Multi-Source Fusion and Automatic Predictor Selection for Zero-Shot Video Object Segmentation
Dalian University of Technology（大连理工大学）；Pengcheng Lab（鹏城实验室）
位置和外观是视频对象分割的关键线索。诸如RGB、深度、光流和静态显著性的许多源可以提供关于对象的有用信息。然而，现有方法仅利用RGB或RGB和光流。本文提出了一种新的多源融合网络用于zero-shot视频对象分割。借助内感受性空间注意模块（ISAM），突出了每个源的空间重要性。此外，我们设计了一个功能净化模块（FPM）过滤源间不兼容的功能。通过ISAM和FPM，有效地融合了多源特征。此外，我们提出了一个自动预测器选择网络（APS），以选择更好的预测的静态显着性预测器或运动对象预测器，以防止过度依赖于失败的结果所造成的低质量的光流地图。在三个具有挑战性的公共基准（即DAVIS $_{16}$，Youtube-Objects和FBMS）上进行的大量实验表明，所提出的模型在最先进的基础上实现了令人信服的性能。源代码将在\textcolor{red}{\url{https://github.com/Xiaoqi-Zhao-DLUT/Multi-Source-APS-ZVOS}}上公开。
2021-08-11 cs.CV
Seismic Shot Gather Noise Localization Using a Multi-Scale Feature-Fusion-Based Neural Network
Pontifical Catholic University of Rio de Janeiro（里约热内卢天主教大学）；Leopoldo Américo Miguez de Mello Research and Development Center (Cenpes), Petrobras（巴西石油公司莱奥波尔多·亚美利哥·米格斯·德梅洛研发中心（Cenpes））
基于深度学习的模型（诸如卷积神经网络）已经推进了计算机视觉的各个部分。然而，该技术很少应用于地震炮集噪声定位问题。本文研究了基于多尺度特征融合的地震炮集噪声定位网络的有效性。在此，我们描述以下内容：（1）基于6，500个地震图构建地震噪声定位的真实世界数据集;（2）使用与特征金字塔网络相结合的MobileNet作为骨干的基于多尺度特征融合的检测器;以及（3）用于箱分类/回归的Single Shot多箱检测器。此外，我们建议使用焦点损失函数，提高检测器的预测精度。在我们的经验评估中，所提出的检测器实现了78.67%的AP@0.5。
2020-05-07 cs.CV cs.LG
Generate Aligned Anomaly: Region-Guided Few-Shot Anomaly Image-Mask Pair Synthesis for Industrial Inspection
Key Laboratory of Multimedia Trusted Perception and Efficient Computing（多媒体可信感知与高效计算重点实验室）；Ministry of Education of China（中华人民共和国教育部）；Xiamen University（厦门大学）；VIVO
针对工业检测中异常样本稀缺及现有合成方法真实性低、掩码对齐差的问题，提出区域引导少样本异常图像-掩码对生成框架GAA，利用预训练潜在扩散模型结合局部概念分解与自适应聚类生成高质量对齐样本，显著提升异常合成质量及下游定位分类性能。
2025-07-13 cs.CV
Semantically Tied Paired Cycle Consistency for Zero-Shot Sketch-based Image Retrieval
Computer Vision Center（计算机视觉中心）；Autonomous University of Barcelona（巴塞罗那自治大学）；Amsterdam Machine Learning Lab（阿姆斯特丹机器学习实验室）；University of Amsterdam（阿姆斯特丹大学）
基于Zero-shot草图的图像检索（SBIR）是计算机视觉中的一项新兴任务，它可以检索与草图查询相关的自然图像，这些图像可能在训练阶段看不到。现有的工作要么需要对齐的草图图像对或低效的内存融合层的视觉信息映射到一个语义空间。在这项工作中，我们提出了一个语义对齐的配对循环一致性生成（SEM-PCYC）模型的zero-shot SBIR，其中每个分支映射的视觉信息到一个共同的语义空间通过对抗训练。这些分支中的每一个都保持了周期的一致性，只需要在类别级别进行监督，并避免了对高价对齐的草图图像对的需要。对生成器输出的分类标准确保视觉到语义空间的映射是有区别的。此外，我们建议通过一个特征选择自动编码器，选择在同一个端到端模型的歧视边信息结合文本和层次边信息。我们的研究结果表明，在具有挑战性的Sketchy和TU-Berlin数据集上，zero-shot SBIR性能比最先进的SBIR性能有显著提高。
2019-03-08 cs.CV
OpenDlign: Open-World Point Cloud Understanding with Depth-Aligned Images
Imperial College London（伦敦帝国学院）
本文提出OpenDlign，利用扩散模型生成的深度对齐图像增强3D点云与视觉-语言模型的多模态对齐，在仅微调600万参数的情况下显著提升了零样本和少样本3D理解性能。
2024-09-27 cs.CV
