Semantic Softmax Loss for Zero-Shot Learning
Tianjin University(天津大学)
零样本学习(Zero-Shot Learning,简称ZRL)的一个典型的流水线是将视觉特征和类语义描述符集成到具有线性或双线性模型的多模态框架中。然而,视觉特征和类语义描述符位于不同的结构空间,线性或双线性模型不能很好地捕捉不同模态之间的语义交互。在这封信中,我们提出了一种非线性的方法,通过将类语义描述符嵌入到多类分类网络的softmax层中,通过语义Softmax损失来将BML作为多类分类问题。为了缩小视觉特征和语义描述符之间的结构差异,我们进一步使用L2规范化约束的视觉特征和视觉原型之间的差异与语义描述符重建。三个基准数据集的结果,即,AwA、CUB和SUN实验表明,该方法能够稳定地提高分类性能,并在zero-shot分类和zero-shot检索方面达到了最先进的性能。
2017-05-22 cs.CV
Semantically Grounded Visual Embeddings for Zero-Shot Learning
Istituto Italiano di Tecnologia(意大利技术研究院)
零样本学习方法依赖于固定的视觉和语义嵌入,这些嵌入是从独立的视觉和语言模型中提取的,两者都是为其他大规模任务预先训练的。这是当前零样本学习框架的弱点,因为这种不相交的嵌入无法将视觉和文本信息充分关联到它们共享的语义内容。因此,我们建议通过在代理任务上使用双流网络计算联合图像和文本模型来学习语义接地和丰富的视觉信息。为了改善图像和文本表示之间的这种对齐,由属性提供,我们利用辅助标题来提供接地的语义信息。我们的方法,被称为联合嵌入zero-shot学习的几个基准数据集进行评估,提高现有的国家的最先进的方法在标准($+1.6$ \%上aPY,$+2.6\%$ FLO)和广义($+2.1\%$上AWA $2$,$+2.2\%$上CUB)zero-shot识别的性能。
2022-04-10 cs.CV
Novel Semantic Prompting for Zero-Shot Action Recognition
本文提出SP-CLIP框架,通过结构化语义提示提升零样本动作识别性能,尤其在细粒度和组合动作上表现优异,同时保持模型效率和泛化能力。
2026-03-09 cs.CV
Semantic Relation Reasoning for Shot-Stable Few-Shot Object Detection
Carnegie Mellon University(卡内基梅隆大学)
由于真实世界数据固有的长尾分布,Few-Shot目标检测是一个迫切而持久的问题。其性能在很大程度上受到新类数据稀缺的影响。但是,新类和基类之间的语义关系是恒定的,不管数据的可用性。在这项工作中,我们研究利用这种语义关系与视觉信息,并引入显式关系推理到新的目标检测的学习。具体来说,我们表示每个类的概念,从一个大型语料库的文本学习的语义嵌入。检测器被训练成将对象的图像表示投影到该嵌入空间中。我们还确定了平凡地使用原始嵌入与启发式知识图谱的问题,并建议增加嵌入与动态关系图。因此,我们的Few-Shot检测器,称为SRR-FSD,是强大的和稳定的变化的镜头的新对象。实验结果表明,SRR-FSD可以在较高的镜头,更重要的是,显式和隐式镜头都有显着更好的性能。从预训练的分类数据集中删除隐式镜头的基准协议可以作为未来研究的更现实的设置。
2021-03-19 cs.CV
Language Models as Zero-shot Visual Semantic Learners
University of Southampton(南安普顿大学)
视觉语义嵌入(VSE)模型将图像映射到丰富的语义嵌入空间,是对象识别和零样本学习的里程碑。目前的VSE方法严重依赖于静态词嵌入技术。在这项工作中,我们提出了一个视觉语义嵌入探针(VSEP),旨在探测上下文词嵌入的视觉语义理解任务中的语义信息。我们发现,编码在Transformer语言模型中的知识可以用于需要视觉语义理解的任务。具有上下文表示的VSEP可以作为组合zero-shot学习器在复杂场景中区分单词级对象表示。我们进一步引入了一个zero-shot设置与VSEP评估模型的能力,一个新的视觉类别与一个新的词。我们发现,当对象的组合链较短时,语言模型中的语境表征优于静态词嵌入。我们注意到,目前的视觉语义嵌入模型缺乏互斥偏见,限制了他们的性能。
2021-07-26 cs.CV
Global Semantic Consistency for Zero-Shot Learning
Fudan University(复旦大学);Tongji University(同济大学)
在图像识别中,有很多情况下,训练样本不能覆盖所有的目标类别。零样本学习(Zero-shot learning,ZRL)利用类语义信息来对训练集中不包含对应样本的未见过类别的样本进行分类。在本文中,我们提出了一个端到端的框架,称为全局语义一致性网络(GSC-Net),它充分利用了可见和不可见类的语义信息,以支持有效的零样本学习。我们还采用了软标签嵌入损失,以进一步利用类之间的语义关系。为了使GSC-Net适应更实际的设置,广义零样本学习(GSCNL),我们引入了一个参数化的新颖性检测机制。我们的方法在三个视觉属性数据集上实现了最先进的性能,这验证了所提出的框架的有效性和优势。
2018-06-22 cs.CV
Preserving Semantic Relations for Zero-Shot Learning
National Institute of Technology - Karnataka(卡纳塔克邦国家理工学院);Indian Institute of Science(印度科学研究所)
零样本学习由于其在不需要额外的训练数据的情况下缩放识别模型的潜力而受到欢迎。这通常通过将类别与其语义信息(如属性)相关联来实现。然而,我们认为,这一模式所提供的潜力尚未得到充分利用。在这项工作中,我们建议使用一组关系的属性跨越的空间的结构。我们设计的目标函数,以保持这些关系的嵌入空间,从而诱导语义的嵌入空间。通过对五个基准数据集的广泛实验评估,我们证明了将语义引入嵌入空间有利于零样本学习。所提出的方法优于国家的最先进的标准zero-shot设置以及更现实的广义zero-shot设置。我们还演示了如何所提出的方法可以是有用的近似语义推断属于一类的属性信息是不可用的图像。
2018-03-08 cs.CV
SIGN: Spatial-information Incorporated Generative Network for Generalized Zero-shot Semantic Segmentation
USC Information Sciences Institute(南加州大学信息科学研究所)
与传统的zero-shot分类不同,zero-shot语义分割在像素级而不是图像级预测类别标签。在解决zero-shot语义分割问题时,对周围上下文的像素级预测的需求促使我们使用位置编码来合并空间信息。我们通过引入相对位置编码的概念来改进标准的位置编码,该相对位置编码在特征级上集成了空间信息,并且可以处理任意大小的图像。此外,在自训练广泛应用于zero-shot语义分割中生成伪标签的同时,本文提出了一种新的基于知识蒸馏的自训练策略,即退火自训练,它可以自动为伪标签分配不同的重要性,以提高性能。我们系统地研究了所提出的相对位置编码和退火自训练的综合实验评估,我们的实证结果证实了我们的方法在三个基准数据集上的有效性。
2021-08-27 cs.CV
Task-Adaptive Feature Transformer with Semantic Enrichment for Few-Shot Segmentation
Ulsan National Institute of Science and Technology(蔚山科学技术院)
少样本学习允许机器仅使用少量标记样本对新类别进行分类。近年来,针对低样本数据的语义分割的Few-Shot分割也引起了人们极大的兴趣。在本文中,我们提出了一个可学习的模块,可以放置在现有的分割网络进行Few-Shot分割。该模块称为任务自适应特征Transformer(TAFT),将特定于任务的高级特征线性转换为一组非常适合进行Few-Shot分割的任务不可知特征。任务条件的特征变换允许有效利用新类中的语义信息来生成紧密的分割掩模。我们还提出了一个语义丰富(SE)模块,利用像素级的注意力模块的高层次功能和辅助损失的辅助分割网络进行语义分割的所有训练类。$5^i$和$20^i$数据集上的实验证实,添加的模块成功地扩展了现有分割器的能力,以产生具有高度竞争力的Few-Shot分割性能。
2022-02-14 cs.CV
Simple Semantic-Aided Few-Shot Learning
College of Computer Science, Sichuan University(四川大学计算机学院);Banma Network Technology, Alibaba Group(阿里巴巴集团斑马网络技术);Naveen Jindal School of Management, University of Texas at Dallas(德州大学达拉斯分校纳文·金达尔管理学院)
针对小样本学习中语义质量不足与融合机制复杂的问题,提出 Semantic Evolution 自动生成高质量语义,并用简单的 Semantic Alignment Network 构建判别性类别原型,在六个基准上取得最优性能。
2024-04-09 cs.CV
Baby steps towards few-shot learning with multiple semantics
IBM Research AI(IBM研究院人工智能中心);Tel-Aviv University(特拉维夫大学);Technion(以色列理工学院)
从一个或几个视觉示例中学习是人类自婴儿早期以来的关键能力之一,但对于现代人工智能系统来说仍然是一个重大挑战。虽然在从几个图像示例进行少样本学习方面已经取得了相当大的进展,但是当婴儿看到一个新物体时,通常会向他们提供的口头描述却很少受到关注。在本文中,我们专注于额外的语义,可以显着促进Few-Shot视觉学习的作用。基于少样本学习与额外语义信息的最新进展,我们证明了通过结合多种更丰富的语义(类别标签,属性和自然语言描述)可以进一步改进。使用这些想法,我们为社区提供了流行的miniImageNet和CUB Few-Shot基准测试的新结果,与之前仅基于视觉和基于视觉加语义的方法的最新结果相比,这些结果都是有利的。我们还进行了一项消融研究,调查我们方法的组件和设计选择。
2020-01-22 cs.CV
Visual and Semantic Prompt Collaboration for Generalized Zero-Shot Learning
Beijing University of Technology(北京工业大学);Macquarie University(麦考瑞大学)
本文提出视觉与语义提示协作框架,通过提示调优和分层融合机制,实现高效特征适配,解决广义零样本学习中的视觉-语义对齐与过拟合问题。
2025-03-29 cs.CV
Improving Generalized Zero-Shot Learning by Semantic Discriminator
在广义零样本学习(Generalized Zero-Shot Learning,GSHL)中,未知类的分类精度远低于传统的零样本学习(Zero-Shot Learning,GSHL)。原因之一是实例总是被错误地分类到错误的域。在这里,我们将可见类和不可见类分别称为两个域。我们提出了一种新的方法来区分是否来自可见或不可见的类的实例。首先将实例的视觉特征投影到语义空间中。然后以投影语义向量与类语义嵌入向量之间的绝对范数差以及投影语义向量与所见类的语义嵌入向量之间的最小距离作为判别依据。这种方法被称为SD(语义判别器),因为领域判断的实例中进行的语义空间。我们的方法可以与任何现有的GREML方法和完全监督分类模型相结合,形成一个新的GREML方法。此外,我们的方法非常简单,不需要任何固定的参数。
2020-06-11 cs.CV
Language-guided Few-shot Semantic Segmentation
DAMO Academy, Alibaba Group(达摩院,阿里巴巴集团);East China Normal University(华东师范大学)
针对少样本语义分割像素级标注成本高的问题,提出仅用图像级文本标签的语言引导方法,通过视觉-语言预训练模型与掩码细化器生成伪掩码,结合分布式原型监督与互补关联匹配模块挖掘语义关系,在两个基准上达到与视觉引导方法相竞争的效果。
2023-11-23 cs.CV
Class Enhancement Losses with Pseudo Labels for Zero-shot Semantic Segmentation
Monash University(莫纳什大学)
最近的掩码建议模型已经显著提高了zero-shot语义分割的性能。然而,在这些方法中,在训练期间使用“背景”嵌入是有问题的,因为所得到的模型往往会过度学习并将所有看不见的类分配为背景类,而不是它们的正确标签。此外,他们忽略了文本嵌入的语义关系,这可以说是高度信息化的zero-shot预测,因为看到的类可能与看不见的类有密切的关系。为此,本文提出了新的类增强损失,以绕过在训练过程中使用的背景嵌入,并同时利用文本嵌入和掩码建议之间的语义关系,通过排名的相似性得分。为了进一步捕捉可见类和不可见类之间的关系,我们提出了一个有效的伪标签生成管道,使用预训练的视觉语言模型。在多个基准数据集上的大量实验表明,我们的方法在zero-shot语义分割方面取得了最好的性能。我们的方法是灵活的,也可以应用到具有挑战性的开放词汇语义分割问题。
2023-01-18 cs.CV
3D-PointZshotS: Geometry-Aware 3D Point Cloud Zero-Shot Semantic Segmentation Narrowing the Visual-Semantic Gap
Syracuse University(雪城大学)
针对现有零样本3D点云分割方法迁移能力有限的问题,提出几何感知框架3D-PointZshotS,通过潜在几何原型增强特征生成与对齐,引入自一致性损失提升鲁棒性,在三个数据集上的调和mIoU优于基线。
2025-04-16 cs.CV
One-Shot Learning for Semantic Segmentation
Georgia Institute of Technology(佐治亚理工学院)
用于图像分类的低拍摄学习方法支持从稀疏数据学习。我们扩展这些技术,以支持密集的语义图像分割。具体来说,我们训练一个网络,给定一小部分带注释的图像,生成全卷积网络(FCN)的参数。我们使用此FCN对新语义类的测试图像进行密集像素级预测。与PASCAL VOC 2012数据集中未见过类的单次分割的最佳基线方法相比,我们的架构显示出25%的相对平均IoU改进,并且至少快3倍。
2017-09-11 cs.CV
Stacked Semantic-Guided Attention Model for Fine-Grained Zero-Shot Learning
Tianjin University(天津大学);Fudan University(复旦大学);Binghamton University(宾汉姆顿大学)
零样本学习(Zero-Shot Learning,简称ZRL)是通过调整全局图像特征向量与相应类别语义描述之间的语义关系来实现的。然而,使用全局特征来表示细粒度图像可能会导致次优的结果,因为它们忽略了局部区域的区别。此外,不同的区域包含不同的判别信息。重要区域对预测的贡献更大。为此,我们提出了一种新的堆叠语义引导的注意力(S2 GA)模型,以获得语义相关的功能,通过使用个别类的语义功能,逐步指导视觉功能,以产生一个注意力地图加权不同的局部区域的重要性。将集成的视觉特征和类语义特征馈送到多类分类架构中,所提出的框架可以进行端到端的训练。在CUB和NABird数据集上的实验结果表明,该方法在细粒度zero-shot分类和检索任务上都有较好的性能.
2018-05-21 cs.CV
Self-guided Few-shot Semantic Segmentation for Remote Sensing Imagery Based on Large Vision Models
Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院);School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences(中国科学院大学电子电气与通信工程学院)
本研究针对遥感图像少样本语义分割任务,提出一种基于SAM的结构化框架,通过新颖的自动提示学习方法生成像素级提示,实现高效自动化分割,并在DLRSD数据集上超越现有方法。
2023-11-22 cs.CV
SR-GAN: Semantic Rectifying Generative Adversarial Network for Zero-shot Learning
Suzhou University of Science and Technology(苏州科技大学);Tianjin University(天津大学);University of Strathclyde(思克莱德大学)
现有的零样本学习(Zero-Shot learning,ZRL)方法可能会受到不同类的模糊类属性高度重叠的影响。与这些方法忽略类别间的区分不同,本文提出了一种基于视觉空间的语义空间修正方法。首先,我们预训练一个语义校正网络(SRN),以校正具有语义损失和校正损失的语义空间。然后,语义校正生成对抗网络(SR-GAN)的建立,生成的语义特征和校正的语义特征的不可见类的似是而非的视觉特征。为了保证修正后的语义特征和综合视觉特征的有效性,提出了一种视觉特征和语义特征一致的预重构和后重构网络。实验结果表明,我们的方法显着优于国家的最先进的四个基准数据集。
2019-04-15 cs.CV
SML: Semantic Meta-learning for Few-shot Semantic Segmentation
Indian Institute of Science(印度科学学院)
训练卷积神经网络所需的大量训练数据已经成为语义分割等应用的瓶颈。Few-Shot语义分割算法解决了这个问题,其目的是在低数据范围内实现良好的性能,具有很少的注释训练图像。最近,基于从可用的训练数据计算的类原型的方法已经在这项任务中取得了巨大的成功。在这项工作中,我们提出了一种新的元学习框架,语义元学习(SML),它结合了类层次的语义描述在生成的原型这个问题。此外,我们建议使用成熟的技术,岭回归,不仅带来了类级的语义信息,但也有效地利用信息,从多个图像中存在的训练数据原型计算。这有一个简单的封闭形式的解决方案,因此可以轻松有效地实现。在PASCAL-5i数据集上进行的大量实验表明了该框架的有效性。
2020-09-14 cs.CV
Few-shot 3D Point Cloud Semantic Segmentation
National University of Singapore(新加坡国立大学)
许多现有的3D点云语义分割方法都是完全监督的。这些完全监督的方法严重依赖于大量的标记训练数据,这些数据很难获得,并且在训练后不能分割新的类。为了减轻这些限制,我们提出了一种新的注意力感知的多原型转换Few-Shot点云语义分割方法来分割新的类给出了一些标记的例子。具体来说,每个类由多个原型表示,以模拟标记点的复杂数据分布。随后,我们采用了一个转导标签传播方法,利用标记的多原型和未标记的点之间的亲和力,以及未标记的点之间。此外,我们设计了一个注意力感知的多层次特征学习网络来学习识别特征,这些特征可以捕获点之间的几何依赖性和语义相关性。我们提出的方法与不同的Few-Shot点云语义分割设置(即,2/3-路1/5-拍摄)在两个基准数据集。我们的代码可在https://github.com/Na-Z/attMPTI上获得。
2021-03-29 cs.CV
Zero-Shot Semantic Segmentation
Sorbonne Université(索邦大学)
语义分割模型在扩展到大量对象类的能力方面受到限制。在本文中,我们介绍了新的任务zero-shot语义分割:学习像素分类从未见过的对象类别与零训练样本。为此,我们提出了一种新的架构,C33 Net,结合深度视觉分割模型的方法来生成视觉表示的语义词嵌入。通过这种方式,P2P 3 Net解决了在测试时面临可见和不可见类别的像素分类任务(所谓的“广义”zero-shot分类)。性能进一步提高了一个自我训练的步骤,依赖于自动伪标记的像素从看不见的类。在两个标准的分割数据集,Pascal-VOC和Pascal-Context,我们提出了zero-shot基准和设置有竞争力的基线。对于Pascal-Context数据集中的复杂场景,我们通过使用图形上下文编码来扩展我们的方法,以充分利用来自类分割图的空间上下文先验。
2019-11-18 cs.CV
Prototype Mixture Models for Few-shot Semantic Segmentation
University of Chinese Academy of Sciences(中国科学院大学)
Few-Shot分割具有挑战性,因为支持图像和查询图像中的对象在外观和姿态上可能显著不同。使用直接从支持图像获取的单个原型来分割查询图像会导致语义模糊。在本文中,我们提出了原型混合模型(PMM),它将不同的图像区域与多个原型相关联,以执行基于原型的语义表示。通过期望最大化算法估计,PMM从有限的支持图像中整合了丰富的通道和空间语义。PMM作为表示和分类器,充分利用语义来激活查询图像中的对象,同时以双重方式抑制背景区域。在Pascal VOC和MS-COCO数据集上进行的大量实验表明,PMM在最先进的基础上有了显着的改进。特别是,PMM将MS-COCO上的5次分割性能提高了5.82%,而模型大小和推理速度的成本适中。
2020-09-01 cs.CV
Few-Shot 3D Point Cloud Semantic Segmentation via Stratified Class-Specific Attention Based Transformer Network
University of South Carolina(南卡罗来纳大学)
三维点云语义分割的目的是将所有的点按不同的语义分类,有利于点云场景重建和理解等重要应用。现有的监督点云语义分割方法通常需要大规模的标注点云进行训练,并且不能处理新的类别。虽然最近提出了一种少样本学习方法来解决这两个问题,但它存在由图构造引起的高计算复杂性以及由于使用池化操作而无法学习点之间的细粒度关系。在本文中,我们进一步解决这些问题,通过开发一个新的多层Transformer网络的Few-Shot点云语义分割。在该网络中,查询点云特征基于不同尺度下的类特定支持特征进行聚合。在不使用池操作的情况下,我们的方法充分利用了支持样本中的所有像素级特征。通过更好地利用支持功能的少样本学习,所提出的方法实现了新的国家的最先进的性能,与现有的Few-Shot 3D点云分割模型的S3DIS数据集和ScanNet数据集的推理时间减少了15\%。
2023-03-28 cs.CV
Differentiable Meta-learning Model for Few-shot Semantic Segmentation
Nanjing University(南京大学);University of Wollongong(伍伦贡大学)
为了解决语义分割的某些情况下的注释稀缺问题,已经有一些尝试来开发少样本学习范例中的分割模型。然而,大多数现有方法仅关注传统的单向分割设置(即,一个图像仅包含单个对象)。这与实际的语义分割任务相距甚远,在实际的语义分割任务中,通过执行精确的多对象分割通常需要K路设置(K>1)。为了解决这个问题,我们制定了Few-Shot语义分割任务作为一个基于学习的像素分类问题,并提出了一个新的框架称为MetaSegNet基于元学习。在MetaSegNet中,嵌入模块的结构由全局和局部特征分支组成,以提取适当的元知识用于Few-Shot分割。此外,我们将一个线性模型作为基础学习器集成到MetaSegNet中,以直接预测多对象分割的每个像素的标签。此外,我们的MetaSegNet可以从头开始以端到端的方式通过情景训练机制进行训练。在两个流行的语义分割数据集上的实验,即,PASCAL VOC和COCO,揭示了所提出的MetaSegNet在K-way Few-Shot语义分割任务中的有效性。
2019-11-23 cs.CV
Semantic-Guided Multi-Attention Localization for Zero-Shot Learning
Rutgers University(罗格斯大学);Hikvision Research Institute(海康威视研究院);University of Delaware(特拉华大学)
零样本学习通过引入类的语义表示,将传统的对象分类扩展到不可见的类识别。现有的方法主要集中在学习适当的映射函数的视觉语义嵌入,而忽略了学习的区别性视觉特征的效果。本文研究了判别式区域定位的意义。我们提出了一个语义引导的多注意定位模型,该模型自动发现对象的最有区别的部分,用于零样本学习,而无需任何人工注释。我们的模型共同学习合作的全局和局部特征,从整个对象以及检测到的部分,分类对象的语义描述的基础上。此外,通过嵌入softmax损失和类中心三元组损失的联合监督,鼓励模型学习具有高类间分散性和类内紧凑性的特征。通过对三个广泛使用的零样本学习基准测试的综合实验,我们展示了多注意力定位的有效性,并且我们所提出的方法大大提高了最先进的结果。
2019-12-02 cs.CV
Motion-Guided Semantic Alignment with Negative Prompts for Zero-Shot Video Action Recognition
Department of Computer Science, Durham University(杜伦大学计算机科学系)
本文提出一种增强CLIP的框架,通过分离运动敏感特征和全局静态特征,结合门控交叉注意力机制提升运动表征,利用正负提示实现视频特征与文本表示的语义对齐,实现在零样本动作识别中的优越性能。
2026-04-18 cs.CV
Semantic Embedding Space for Zero-Shot Action Recognition
Queen Mary University of London(伦敦玛丽女王大学)
动作识别的类别数量正在迅速增长。因此,收集足够的训练数据来学习每个类别的传统模型变得越来越困难。这个问题可以通过日益流行的“零样本学习”(ZRL)范例来改善。在这个框架中的映射之间的视觉特征和人类可解释的语义描述的每个类别,允许类别被识别的情况下,任何训练数据。现有的语义表征语言研究主要集中在图像数据和基于属性的语义表征上。在本文中,我们解决zero-shot识别在当代视频动作识别任务,使用语义词向量空间作为公共空间嵌入视频和类别标签。这更具挑战性,因为包含复杂动作的视频的语义空间和时空特征之间的映射更复杂,更难学习。我们证明了一个简单的自我训练和数据增强策略可以显着提高这种映射的功效。在包括HMDB 51和UCF 101在内的人体动作数据集上的实验表明,我们的方法达到了最先进的零拍(zero-shot)动作识别性能。
2015-02-05 cs.CV
Generalized Zero-Shot Recognition based on Visually Semantic Embedding
Boston University(波士顿大学)
我们提出了一种新的广义零样本学习(GSTML)方法,该方法在训练过程中对看不见的图像和看不见的语义向量都是不可知的。在这种情况下,以前的作品提出映射高维视觉特征的语义域,我们认为有助于语义差距。为了弥补这一差距,我们提出了一种新的低维嵌入的视觉实例,是“视觉语义。“类似于量化所呈现实例中属性存在的语义数据,我们的视觉嵌入组件量化了所呈现实例中原型部件类型的存在。同时,作为一个思想实验,我们量化的影响,嘈杂的语义数据,利用一种新的视觉预言机视觉监督学习者。这些因素,即语义噪声,视觉语义差距和标签噪声导致我们提出了一个新的图形模型的标签,语义数据和输入之间的成对交互推理。我们列出了一些基准数据集的结果,这些数据集在语义和视觉监督下的准确性比最先进的数据集有了显着的提高。
2019-04-09 cs.CV
Semantics to Space(S2S): Embedding semantics into spatial space for zero-shot verb-object query inferencing
U.S. Army Research Lab(美国陆军研究实验室);Booz Allen Hamilton(博思艾伦汉密尔顿)
本文提出了一种新的深度零样本学习模型,用于推理动词-对象(VO)查询的人-对象交互。虽然以前的两个流的语义/文本信息的查询流的方法只使用,我们寻求纳入和嵌入到视觉表示流的语义。我们的方法是由语义到空间(S2 S)架构,其中来自驻留对象的语义嵌入到视觉流的空间空间。该架构允许共同捕获人类和对象的语义属性以及它们的位置/大小/轮廓信息。为了验证,我们构建了一个新的数据集,动词可转移性60(VT 60)。VT 60提供了60个不同的VO对,这些VO对具有重叠的动词,用于测试VO查询的两个流APDL方法。实验评估表明,我们的方法不仅优于国家的最先进的,但也显示了不断提高性能的能力,无论使用的是哪一个CNOL基线架构。
2019-09-13 cs.CV
Zero-shot object prediction using semantic scene knowledge
TU Dortmund University(多特蒙德工业大学)
这项工作的重点是视觉对象识别中场景和对象之间的语义关系。语义知识可以是一个强大的信息源,特别是在很少或没有注释的训练样本的情况下。这些场景被称为zero-shot或Few-Shot识别,并且通常建立在视觉属性上。这里,不是依赖于各种视觉属性,而是追求更直接的方式:在识别图像中描绘的场景之后,场景和对象之间的语义关系用于以无监督的方式预测对象的存在。最重要的是,场景和对象之间的关系可以很容易地从外部源(例如来自Web的大规模文本语料库)获得,因此不需要大量的手动标记工作。它将被证明,在混乱的场景中,视觉识别是困难的,场景知识是预测对象的重要线索。
2016-12-22 cs.CV
Primitive Generation and Semantic-related Alignment for Universal Zero-Shot Segmentation
Zhejiang University(浙江大学);Nanyang Technological University(南洋理工大学)
本文提出一种基于生成模型和语义相关对齐的通用零样本分割方法,通过原始特征组装与特征解耦,实现全景、实例和语义分割的最先进性能。
2023-06-19 cs.CV
Zero-Shot Recognition through Image-Guided Semantic Classification
National Taiwan Normal University(国立台湾师范大学)
我们提出了一个新的基于嵌入的零样本学习(ZRL)框架。大多数基于嵌入的方法旨在学习图像分类器(视觉表示)和每个类的类原型(语义表示)之间的对应关系。受多标签分类的二进制相关性方法的启发,我们提出了反向学习图像和语义分类器之间的映射。给定输入图像,所提出的图像引导语义分类(IGSC)方法创建标签分类器,应用于所有标签嵌入,以确定标签是否属于输入图像。因此,语义分类器是图像自适应的,并且是在推理期间生成的。IGSC在概念上很简单,可以通过对现有的深层分类架构进行轻微增强来实现;但它是有效的,并且在标准基准测试中优于最先进的基于嵌入的广义GML方法。
2020-07-23 cs.CV
Semantic Prompt for Few-Shot Image Recognition
University of Science and Technology of China(中国科学技术大学);Center for Research on Intelligent Perception and Computing, NLPR, CASIA(中国科学院自动化研究所模式识别国家重点实验室智能感知与计算研究中心);Nanyang Technological University(南洋理工大学);University of Chinese Academy of Sciences(中国科学院大学)
少样本学习是一个具有挑战性的问题,因为只有几个例子被提供来识别一个新的类。最近的几项研究利用额外的语义信息,例如类名的文本嵌入,通过将语义原型与视觉原型相结合来解决稀有样本的问题。然而,这些方法仍然受到从罕见的支持样本中学习到的虚假视觉特征的影响,导致收益有限。在本文中,我们提出了一种新的语义提示(SP)方法的少样本学习。我们探索利用语义信息作为提示来自适应地调整视觉特征提取网络,而不是天真地利用语义信息来补救分类器。具体来说,我们设计了两种补充机制来将语义提示插入特征提取器中:一种是通过自注意实现语义提示与空间维度上的补丁嵌入之间的交互,另一种是将转换后的语义提示沿通道维度补充到视觉特征中。通过结合这两种机制,特征提取器提出了一个更好的能力,参加类特定的功能,并获得更广泛的图像表示,只有少数支持样本。通过在四个数据集上的大量实验,该方法取得了令人满意的结果,平均提高了3.67%的单次学习精度。
2023-03-24 cs.CV
Zero-Shot Visual Recognition using Semantics-Preserving Adversarial Embedding Networks
Zhejiang University(浙江大学);Nanyang Technological University(南洋理工大学);Tencent AI Lab(腾讯人工智能实验室);Columbia University(哥伦比亚大学)
我们提出了一个新的框架,称为语义保持对抗嵌入网络(SP-AEN)的zero-shot视觉识别(SPNL),其中测试图像和它们的类都是在训练过程中不可见的。SP-AEN的目标是解决固有的问题--语义损失--在流行的基于嵌入的语义学习家族,其中一些语义将在训练过程中被丢弃,如果他们是非歧视性的训练类,但可能成为识别测试类的关键。具体而言,SP-AEN通过引入独立的视觉-语义空间嵌入器来防止语义丢失,该嵌入器将语义空间分解为两个子空间,用于两个可以说是相互冲突的目标:分类和重建。通过对两个子空间的对抗学习,SP-AEN将重构子空间的语义转换到判别子空间,实现了对未知类的改进zero-shot识别。与现有的工作相比,SP-AEN不仅可以提高分类,而且可以生成照片般逼真的图像,证明了语义保持的有效性。在四个流行的基准上:CUB、AWA、SUN和aPY、SP-AEN的谐波平均值的绝对性能差分别为12.2%、9.3%、4.0%和3.6
2018-03-31 cs.CV
Part-aware Prototype Network for Few-shot Semantic Segmentation
Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences(中国科学院上海微系统与信息技术研究所);University of Chinese Academy of Sciences(中国科学院大学);ShanghaiTech University(上海科技大学)
Few-Shot语义分割旨在学习仅用少量带注释的示例来分割新对象类,具有广泛的现实应用。现有的大多数方法要么集中在单向Few-Shot分割的限制性设置上,要么遭受对象区域的不完全覆盖。在本文中,我们提出了一种新的Few-Shot语义分割框架的基础上的原型表示。我们的主要思想是将整体类表示分解为一组部分感知的原型,能够捕获不同的和细粒度的对象功能。此外,我们建议利用未标记的数据来丰富我们的部分感知原型,从而更好地建模语义对象的类内变化。我们开发了一种新的图神经网络模型来生成和增强基于标记和未标记图像的零件感知原型。在两个基准上进行的广泛的实验评估表明,我们的方法优于现有技术,具有相当大的利润率。
2022-12-02 cs.CV
Multi-similarity based Hyperrelation Network for few-shot segmentation
Few-Shot语义分割的目标是在只有少量标注样本的情况下识别出不可见类别的对象区域。Few-Shot分割的关键是在支持图像和查询图像之间建立鲁棒的语义关系,并防止过拟合。在本文中,我们提出了一个有效的多相似性超关系网络(MSHNet)来解决Few-Shot语义分割问题。在MSHNet中,我们提出了一种新的生成原型相似度(GPS),它与余弦相似度一起可以在支持图像和查询图像之间建立强语义关系。基于全局特征的局部生成原型相似度与基于局部特征的全局余弦相似度在逻辑上是互补的,同时利用这两种相似度可以更全面地表达查询图像与支持图像之间的关系。此外,我们提出了一个对称合并块(SMB)在MSHNet有效地合并多层,多镜头和多相似性超关系特征。MSHNet是建立在相似性而不是特定类别特征的基础上的,可以实现更普遍的统一性,有效地减少过拟合。在两个基准语义分割数据集Pascal-5i和COCO-20 i上,MSHNet在1次和5次语义分割任务上实现了最新的性能。
2022-06-23 cs.CV
Progressively Dual Prior Guided Few-shot Semantic Segmentation
Shanghai Jiao Tong University(上海交通大学);Eastern Institute for Advanced Study(东方理工高等研究院);Northwestern Polytechnical University(西北工业大学)
Few-Shot语义分割任务的目的是在查询图像中使用少量带注释的支持样本进行分割。目前,Few-Shot分割方法主要集中在利用前景信息,而没有充分利用丰富的背景信息,这可能会导致错误激活类似前景的背景区域,并且不适应支持-查询图像对的剧烈场景变化。同时,由于原型处理对象外观变化的能力有限,细节挖掘机制的缺乏可能导致粗糙的解析结果,没有一些语义成分或边缘区域。为了解决这些问题,我们提出了一个渐进的双重先验引导的Few-Shot语义分割网络。首先设计了双先验模板生成(DPMG)模块,将背景作为辅助细化信息,以前景-背景比较的方式抑制错误激活。在此基础上,提出了一种渐进式语义细节丰富(PSDE)模块,通过迭代删除高置信度的前景区域并激活其余区域中的细节,使解析模型能够捕获隐藏的语义细节。DPMG和PSDE的合作制定了一个新的Few-Shot分割网络,可以以端到端的方式学习。在PASCAL-5i和MS COCO上的综合实验表明,该算法具有较好的性能。
2022-11-20 cs.CV
Semantics Disentangling for Generalized Zero-Shot Learning
The University of Queensland(昆士兰大学);University of Electronic Science and Technology of China(电子科技大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
广义零样本学习(GSRL)的目标是在假设某些类别在训练期间不可观察的情况下对样本进行分类。为了弥合可见类和不可见类之间的差距,大多数GALML方法试图将可见类的视觉特征与属性相关联,或者直接生成不可见样本。然而,在先前的方法中使用的视觉特征不一定编码共享属性所指的语义相关的信息,这降低了模型泛化到看不见的类。为了解决这个问题,在本文中,我们提出了一种新的语义解缠框架的广义零样本学习任务(SDGML),其中未见过的类的视觉特征首先估计的条件VAE,然后分解成语义一致和语义无关的潜在向量。特别地,总相关惩罚被应用于保证两个因子分解表示之间的独立性,并且其语义一致性由导出的关系网络来度量。在四个GSDGL基准数据集上进行的大量实验证明,所提出的SDGSDGL所分解的语义一致性特征在规范和广义零样本学习任务中更具泛化性。我们的源代码可以在https://github.com/uqzhichen/SDGZSL上找到。
2021-08-27 cs.CV
Weak-shot Semantic Segmentation by Transferring Semantic Affinity and Boundary
Shanghai Jiao Tong University(上海交通大学);SenseTime Research(商汤科技研究院)
为了减轻传统分割任务中的标注负担,基于图像级标签的弱监督语义分割(WSSS)得到了广泛的研究。在本文中,我们表明现有的完全注释的基础类别可以帮助分割仅具有图像级标签的新颖类别的对象,即使基础类别和新颖类别没有重叠。我们将此任务称为弱射语义分割,它也可以被视为具有辅助全注释类别的WSSS。目前先进的WSSS方法通常获得类激活图(CAM),并通过亲和传播来细化它们。基于语义亲和力和边界是类不可知的观察,我们提出了一种方法下的WSSS框架转移语义亲和力和边界从基础到新的类别。因此,我们发现基本类别的像素级注释可以促进亲和学习和传播,从而获得更高质量的新类别CAM。在PASCAL VOC 2012数据集上进行的大量实验证明,我们的方法在新类别上的性能显着优于WSSS基线。
2022-10-16 cs.CV
Weak-shot Semantic Segmentation via Dual Similarity Transfer
Shanghai Jiao Tong University(上海交通大学);SenseTime Research(商汤科技研究院);SenseTime(商汤科技)
语义分割是一项重要而普遍的任务,但在更广泛的应用中扩展到更多的类时,严重遭受像素级注释的高成本。为此,我们专注于名为弱杆语义分割的问题,其中新的类是从便宜的图像级标签的支持下,具有现成的像素级标签的基类学习。为了解决这个问题,我们提出了SimFormer,它在MaskFormer上执行双重相似性转移。具体来说,MaskFormer将语义分割任务分解为两个子任务:提案分类和每个提案的提案分割。建议分割允许建议像素相似性从基类转移到新类,这使得新类的掩码学习成为可能。我们还从基本类中学习像素-像素相似性,并将这种类不可知的语义相似性提取到新类的语义掩码中,从而使分割模型与图像之间的像素级语义关系规则化。此外,我们提出了一个补充损失,以促进新类的学习。在具有挑战性的COCO-Stuff-10 K和ADE 20 K数据集上的综合实验证明了该方法的有效性。代码可在https://github.com/bcmi/SimFormer-Weak-Shot-Semantic-Segmentation上获得。
2022-10-05 cs.CV
Dual Adversarial Semantics-Consistent Network for Generalized Zero-Shot Learning
University Of Science And Technology Of China(中国科学技术大学);Carnegie Mellon University(卡内基梅隆大学)
广义零样本学习(GSRL)是一类具有挑战性的视觉和知识转移问题,在测试过程中出现可见和不可见的类。现有的GML方法要么在嵌入阶段遭受语义损失和丢弃判别信息,要么不能保证视觉语义交互。为了解决这些局限性,我们提出了双重对抗语义一致网络(Dual Adversarial Semantics-Consistent Network,DASCN),它在一个统一的框架中学习原始和双重生成对抗网络(primal and dual Generative Adversarial Networks,GANs)。特别是,原始GAN学习从可见/不可见类的语义表示和由双GAN重构的语义表示中合成类间区分和语义保持视觉特征。双GAN通过语义一致的对抗性学习来加强合成视觉特征以很好地表示先验语义知识。据我们所知,这是第一个为GALML采用新型双GAN机制的工作。大量的实验表明,我们的方法实现了显着的改进,国家的最先进的方法。
2019-07-12 cs.CV
Semantics-driven Attentive Few-shot Learning over Clean and Noisy Samples
Middle East Technical University(中东技术大学)
在过去的几年里,少样本学习(FSL)已经引起了极大的关注,以最大限度地减少对标记训练样本的依赖。FSL中的一个固有困难是处理由于每个类的训练样本太少而导致的歧义。为了解决FSL中的这一根本性挑战,我们的目标是训练元学习者模型,该模型可以利用关于新类的先验语义知识来指导分类器合成过程。特别是,我们提出了语义条件的功能注意力和样本注意力机制,估计表示维度和训练实例的重要性。我们还研究了FSL中的样本噪声问题,以便在更现实和不完美的环境中利用元学习器。我们的实验结果表明,所提出的语义FSL模型的有效性,样本噪声和没有。
2023-02-03 cs.CV
Learning to Compare Relation: Semantic Alignment for Few-Shot Learning
少样本学习是一个基本的和具有挑战性的问题,因为它需要识别新的类别,从只有几个例子。识别对象具有多种变体,可以定位在图像中的任何位置。直接将查询图像与示例图像进行比较无法处理内容错位。在少样本学习中,由于样本的稀缺性和广泛的变化性,用于比较的表示和度量是关键的,但学习起来具有挑战性。在本文中,我们提出了一种新的语义对齐模型比较关系,这是强大的内容错位。我们建议在现有的少样本学习框架中添加两个关键成分,以获得更好的特征和度量学习能力。首先,我们引入语义对齐损失来对齐属于同一类别的样本的特征的关系统计。其次,引入局部和全局互信息最大化,允许包含图像中结构位置的局部一致性和类内共享信息的表示。第三,我们介绍了一个原则性的方法来衡量多个损失函数,考虑到每个流的同方差的不确定性。我们在几个少样本学习数据集上进行了大量的实验。实验结果表明,该方法能够与语义对齐策略的关系比较,并取得了最先进的性能。
2022-01-07 cs.CV
Cross-modal Representation Learning for Zero-shot Action Recognition
Microsoft(微软)
我们提出了一个跨模态转换器为基础的框架,联合编码视频数据和文本标签的zero-shot动作识别(ZSAR)。我们的模型采用了一个概念上的新管道,通过该管道,视觉表示以端到端的方式与视觉语义关联一起学习。模型设计提供了一种自然的机制,在共享的知识空间中学习视觉和语义表示,从而鼓励学习的视觉嵌入是有区别的,语义上更一致。在zero-shot推理中,我们设计了一个简单的语义转移方案,该方案嵌入了可见和不可见类之间的语义相关性信息,以合成不可见的视觉原型。因此,视觉结构中的区别性特征可以被保留和利用,以减轻典型的zero-shot问题的信息丢失,语义差距,和hubness问题。在严格的zero-shot设置下,不对额外的数据集进行预训练,实验结果表明,我们的模型大大提高了ZSAR的最新技术水平,在UCF 101,HMDB 51和ActivityNet基准数据集上达到了令人鼓舞的top-1精度。代码将提供。
2022-05-03 cs.CV
Learning Using Privileged Information for Zero-Shot Action Recognition
Tianjin University(天津大学);University of Wollongong(伍伦贡大学)
Zero-Shot动作识别(ZSAR)旨在识别在训练过程中从未见过的视频动作。大多数现有的方法假设一个共享的语义空间之间看到的和看不见的动作,并打算直接学习从视觉空间映射到语义空间。视觉空间和语义空间之间的语义鸿沟对这种方法提出了挑战。本文提出了一种新的方法,使用对象的语义作为特权信息,以缩小语义差距,因此,有效地帮助学习。特别是,一个简单的幻觉网络提出了隐式提取对象语义在测试过程中,而不显式提取对象和交叉注意模块的开发,以增强视觉特征的对象语义。在Olympic Sports、HMDB51和UCF101数据集上的实验表明,该方法的性能明显优于现有方法。
2022-06-22 cs.CV
Prototype Adaption and Projection for Few- and Zero-shot 3D Point Cloud Semantic Segmentation
Zhejiang University(浙江大学);Nanyang Technological University(南洋理工大学)
针对少样本和零样本3D点云语义分割,提出查询引导原型适应(QGPA)模块和自重建(SR)模块,并引入语义-视觉投影模型,在S3DIS和ScanNet上显著超越现有方法。
2023-05-23 cs.CV
Conterfactual Generative Zero-Shot Semantic Segmentation
Jilin University(吉林大学);Singapore University of Technology and Design(新加坡科技设计大学);Boston University(波士顿大学)
针对零样本语义分割生成模型因虚假统计关系导致预测偏差的问题,提出基于反事实因果推断消除混淆因子的新框架,并设计基于GCN的简单结构,在Pascal-VOC和Pascal-Context数据集上超越基线模型。
2025-01-28 cs.CV
Semantically Tied Paired Cycle Consistency for Zero-Shot Sketch-based Image Retrieval
Computer Vision Center(计算机视觉中心);Autonomous University of Barcelona(巴塞罗那自治大学);Amsterdam Machine Learning Lab(阿姆斯特丹机器学习实验室);University of Amsterdam(阿姆斯特丹大学)
基于Zero-shot草图的图像检索(SBIR)是计算机视觉中的一项新兴任务,它可以检索与草图查询相关的自然图像,这些图像可能在训练阶段看不到。现有的工作要么需要对齐的草图图像对或低效的内存融合层的视觉信息映射到一个语义空间。在这项工作中,我们提出了一个语义对齐的配对循环一致性生成(SEM-PCYC)模型的zero-shot SBIR,其中每个分支映射的视觉信息到一个共同的语义空间通过对抗训练。这些分支中的每一个都保持了周期的一致性,只需要在类别级别进行监督,并避免了对高价对齐的草图图像对的需要。对生成器输出的分类标准确保视觉到语义空间的映射是有区别的。此外,我们建议通过一个特征选择自动编码器,选择在同一个端到端模型的歧视边信息结合文本和层次边信息。我们的研究结果表明,在具有挑战性的Sketchy和TU-Berlin数据集上,zero-shot SBIR性能比最先进的SBIR性能有显著提高。
2019-03-08 cs.CV
Learning Cross-Image Object Semantic Relation in Transformer for Few-Shot Fine-Grained Image Classification
Fudan University(复旦大学);Oracle Health and AI(甲骨文健康与人工智能部门);Shanghai AI Laboratory(上海人工智能实验室)
Few-Shot细粒度学习旨在将查询图像分类到具有细粒度差异的一组支持类别中的一个。虽然通过深度神经网络学习不同对象的局部差异已经取得了成功,但如何在基于transformer的架构中利用查询支持的跨图像对象语义关系,在Few-Shot细粒度场景中仍然探索不足。在这项工作中,我们提出了一个基于transformer的双螺旋模型,即HelixFormer,实现跨图像对象语义关系挖掘的双向和对称的方式。HelixFormer由两个步骤组成:1)跨不同分支的关系挖掘过程(RMP),以及2)每个分支内的表示增强过程(REP)。通过所设计的RMP,每个分支可以提取细粒度的对象级跨图像语义关系映射(CSRMs)从其他分支的信息,确保更好的跨图像的交互语义相关的局部对象区域。此外,在CSRMs的帮助下,开发的REP可以加强每个分支中发现的语义相关局部区域的提取特征,提高模型区分细粒度对象的细微特征差异的能力。在五个公开的细粒度基准上进行的大量实验表明,HelixFormer可以有效地增强跨图像对象语义关系匹配,以识别细粒度对象,在1-shot和5-shot场景下实现比大多数最先进的方法更好的性能。我们的代码可在:https://github.com/JiakangYuan/HelixFormer
2022-07-02 cs.CV
Recursive Training for Zero-Shot Semantic Segmentation
Australian National University(澳大利亚国立大学);Data61 – CSIRO(澳大利亚联邦科学与工业研究组织数据61中心)
通用语义分割依赖于骨干CNN网络来提取区分特征,这些特征有助于将每个图像像素分类为“看到的”对象类(即,在训练期间可用的对象类)或背景类。Zero-shot语义分割是一项具有挑战性的任务,需要一个计算机视觉模型来识别属于一个对象类,它从来没有见过的图像像素。装备一个通用的语义分割模型,以分离图像像素的“看不见的”类的背景仍然是一个开放的挑战。最近的一些模型已经通过微调Zero-Shot设置的语义分割模型的最终像素分类层来解决这个问题,但是由于缺乏监督,难以学习区分特征。我们提出了一个递归的训练计划,监督的语义分割模型的再训练使用伪特征表示的zero-shot设置。为此,我们提出了一个零拍最大平均离散(Zero-Shot Maximum Mean Discreplanation,简称ZMMD)损失,它将像素分类层的高置信度输出作为伪特征表示进行加权,并将其反馈给生成器。通过在生成器端闭合循环,我们在重新训练期间提供监督,从而帮助模型为“看不见的”类学习更具鉴别力的特征表示。我们表明,使用我们的递归训练和EST-MMD损失,我们提出的模型在Pascal-VOC 2012数据集和Pascal-Context数据集上实现了最先进的性能。
2021-02-26 cs.CV
Predicting Visual Exemplars of Unseen Classes for Zero-Shot Learning
利用类语义描述和已知对象的示例,零样本学习使得可以训练用于其示例不可用的对象类的识别模型。在本文中,我们提出了一种新的零样本学习模型,利用聚类结构的语义嵌入空间。其关键思想是施加结构约束,语义表示必须预测其相应的视觉样本的位置。为此,这简化为从来自所看到的对象类别的标记数据的语义表示样本对训练多个基于内核的回归量。尽管简单,但我们的方法在标准基准数据集上的性能明显优于现有的零样本学习方法,包括包含20,000多个未知类别的ImageNet数据集。
2017-08-20 cs.CV
Skeleton based Zero Shot Action Recognition in Joint Pose-Language Semantic Space
Carnegie Mellon University(卡内基梅隆大学)
如何表现一个动作?如何描述一个我们从未见过的行为?这些问题通过零样本学习范式来解决,其中模型仅在类的子集上进行训练,并根据其正确分类以前从未见过的类中的示例的能力进行评估。在这项工作中,我们提出了一个基于身体姿势的zero shot动作识别网络,并在NTU RGB-D数据集上展示了其性能。我们的模型学习共同封装视觉相似性的基础上的姿势功能的动作表演者,以及相似性的自然语言描述的看不见的动作类名称。我们演示了这个姿势语言语义空间如何编码知识,使我们的模型能够正确预测训练过程中看不到的动作。
2019-11-26 cs.CV