Learning to Segment Medical Images from Few-Shot Sparse Labels
Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学)
在本文中,我们提出了一种新的方法,Few-Shot语义分割稀疏标记的图像。我们研究了我们的方法的有效性,这是基于模型不可知元学习(MAML)算法,在医疗场景中,使用稀疏标记和Few-Shot可以减轻生产新的注释数据集的成本。我们的方法在元训练中使用稀疏标签,在元测试中使用密集标签,从而使模型学习从稀疏标签预测密集标签。我们用四个胸部X射线数据集进行了实验,以评估两种类型的注释(网格和点)。结果表明,我们的方法是最合适的,当目标域与源域高度不同,实现Jaccard分数可比密集标签,使用不到2%的像素的图像标签在Few-Shot的情况下。
2021-08-22 cs.CV cs.LG
Are Fewer Labels Possible for Few-shot Learning?
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院)
由于数据和标签非常有限,少样本学习具有挑战性。大迁移(BiT)的最新研究表明,少样本学习可以从不同领域的大规模标记数据集的预训练中受益匪浅。这篇论文提出了一个更具挑战性的问题:“我们能在预训练(没有标签)和微调(有更少的标签)中使用尽可能少的标签进行少样本学习吗?".我们的关键见解是,在特征空间中的目标样本的聚类是我们所需要的Few-Shot微调。它解释了为什么香草无监督预训练(聚类差)比监督预训练差。在本文中,我们提出了一种无监督的预训练方法,它通过涉及目标数据来实现更好的聚类,即使目标数据的数量非常有限。改进的聚类结果对于识别最具代表性的样本(“特征样本”)供用户标记具有重要价值,而反过来,对标记的特征样本的继续微调进一步改进了聚类。因此,我们提出了特征微调,使更少的镜头学习,利用聚类和特征样本的协同进化的微调。我们在10个不同的Few-Shot目标数据集上进行了实验,我们的平均Few-Shot性能大大优于香草归纳无监督传输和监督传输。例如,当每个目标类别只有10个标记样本时,在上述两个基线上的平均准确率增益分别为9.2%和3.42。
2020-12-10 cs.CV cs.LG
Multi-Label Zero-Shot Learning with Transfer-Aware Label Embedding Projection
Temple University(天普大学);Carleton University(卡尔顿大学)
零样本学习将知识从可见类转移到新的不可见类,以减少标记数据以构建新分类器的人工劳动。然而,关于零样本学习的许多努力都集中在标准的多类设置上,更具挑战性的多标签zero-shot问题受到了有限的关注。在本文中,我们提出了一个转移感知嵌入投影方法来解决多标签零样本学习。该方法将标签嵌入向量投影到低维空间中,以诱导更好的标签间关系,并显式地促进从可见标签到不可见标签的信息传输,同时使用投影的标签嵌入学习最大余量多标签分类器。辅助信息可以方便地被纳入,以指导标签嵌入投影,以进一步改善标签关系结构的zero-shot知识转移。我们进行了zero-shot多标签图像分类的实验。实验结果证明了该方法的有效性。
2018-08-07 cs.CV cs.LG stat.ML
Few Shot Learning With No Labels
Few-Shot学习器的目标是识别新的类别,只有少量的训练样本。核心挑战是避免对有限数据的过拟合,同时确保对新类的良好泛化。现有文献利用大量的注释数据,简单地将标签要求从新类转移到基类。由于数据注释既耗时又昂贵,因此进一步减少标签要求是一个重要的目标。为此,我们的论文提出了一个更具挑战性的Few-Shot设置,在训练或测试期间不允许标签访问。通过利用自我监督学习图像表示和图像相似性的分类在测试时,我们实现了有竞争力的基线,同时使用\textbf{zero}标签,这是至少比国家的最先进的标签。我们希望这项工作是朝着发展少样本学习方法,不依赖于注释的数据在所有的一步。我们的代码将公开发布。
2020-12-26 cs.CV cs.LG
One-shot Text Field Labeling using Attention and Belief Propagation for Structure Information Extraction
Alibaba Group(阿里巴巴集团)
从文档图像中提取结构化信息抽取通常包括三个步骤:文本检测、文本识别和文本字段标注。虽然文本检测和文本识别已经在文献中得到了大量的研究和改进,但文本字段标注的研究较少,仍然面临着许多挑战。现有的基于学习的文本标注方法通常需要大量的标注样本来训练每种文档类型的特定模型。然而,由于隐私问题,收集大量文档图像并对其进行标记是困难的,有时甚至是不可能的。为每种类型的文档部署单独的模型也会消耗大量资源。面对这些挑战,我们探索一次性学习的文本字段标记任务。现有的一次性学习方法大多是基于规则的,很难在拥挤的区域标记字段,很少有地标和字段组成的多个单独的文本区域。为了缓解这些问题,我们提出了一种新的深度端到端可训练的方法,用于一次性文本字段标记,该方法利用注意力机制来传输文档图像之间的布局信息。我们进一步将条件随机场应用于传输的布局信息,以细化字段标记。我们收集并注释了一个真实世界的一次性字段标记数据集,其中包含大量的文档类型,并进行了大量的实验来检查所提出的模型的有效性。为了促进这方面的研究,将发布收集的数据集和一次性模型1。
2020-09-09 cs.CV cs.LG
Edge-labeling Graph Neural Network for Few-shot Learning
Korea Advanced Institute of Science and Technology(韩国科学技术院);Kakao Brain;MILA, Université de Montréal(蒙特利尔大学MILA)
在本文中,我们提出了一种新的边缘标记图神经网络(EGNN),它在边缘标记图上适应深度神经网络,用于少样本学习。以前的图神经网络(GNN)方法在少样本学习是基于节点标记的框架,它隐含地模型的类内相似性和类间不相似性。相比之下,所提出的EGNN学习预测的边缘标签,而不是节点标签上的图形,使显式聚类的进化迭代更新的边缘标签,直接利用两个集群内的相似性和集群间的相异性。它也非常适合在各种数量的类上执行而无需重新训练,并且可以很容易地扩展以执行转换推理。EGNN的参数是通过带有边缘标记损失的情景训练来学习的,以获得用于不可见低数据问题的可推广模型。在两个基准数据集的监督和半监督Few-Shot图像分类任务上,所提出的EGNN显着提高了现有GNN的性能。
2019-05-04 cs.CV cs.LG
Transductive Multi-label Zero-shot Learning
Queen Mary University of London(伦敦玛丽女王大学)
零样本学习作为一种减轻注释大规模识别问题的训练数据的通常令人望而却步的费用的手段已经受到越来越多的关注。这些方法已经取得了巨大的成功,通过学习中间语义表示的形式的属性,最近,语义词向量。然而,到目前为止,它们一直局限于单标签的情况下,相比之下,日益普及和更现实的多标签数据的重要性。在本文中,第一次,我们调查和形式化的一般框架多标签零样本学习,解决其中的独特挑战:如何利用多标签相关性在测试时没有训练数据的这些类?特别地,我们提出了(1)一个多输出深度回归模型来将图像投影到语义词空间中,该模型显式地利用了词向量的中间语义层中的相关性;(2)一种新的多标签数据的零样本学习算法,该算法利用了语义词向量表示的独特组合属性;以及(3)使从可见类学习的回归模型能够很好地推广到不可见类的转换学习策略。我们的零样本学习实验上的一些标准的多标签数据集表明,我们的方法优于各种基线。
2015-03-26 cs.CV cs.LG
NegRefine: Refining Negative Label-Based Zero-Shot OOD Detection
Simon Fraser University(西蒙弗雷泽大学);National Research Council Canada(加拿大国家研究理事会)
NegRefine提出负标签精炼框架,通过过滤子类别和专有名词负标签并引入多匹配感知评分,提升零样本OOD检测的鲁棒性。
2025-07-20 cs.CV cs.LG
Attribute Propagation Network for Graph Zero-shot Learning
University of Technology Sydney(悉尼科技大学);University of Washington(华盛顿大学)
零触发学习(zero-shot learning,缩写为ZRL)的目标是训练一个模型来对训练过程中没有看到的类样本进行分类。为了解决这个具有挑战性的任务,大多数CNOL方法通过一组预定义的属性将看不见的测试类与看到的(训练)类联系起来,这些属性可以描述同一语义空间中的所有类,因此在训练类上学习的知识可以适应看不见的类。在本文中,我们的目标是通过训练传播机制来优化属性空间,以便根据类图上的邻居和相关类来细化每个类的语义属性。我们表明,传播的属性可以产生分类器的zero-shot类显着提高性能,在不同的BNL设置。类的图通常是免费的或非常便宜的,例如WordNet或ImageNet类。当没有提供图时,给定类的预定义语义嵌入,我们可以学习以端到端方式生成图的机制以及传播机制。然而,这种图形辅助技术尚未在文献中得到很好的探讨。在本文中,我们介绍了属性传播网络(APNet),它是由1)一个图传播模型产生的属性向量为每个类和2)一个参数化的最近邻(NN)分类器分类图像的类与最近的属性向量图像的嵌入。为了更好地推广看不见的类,不同于以前的方法,我们采用了元学习策略训练的传播机制和相似性度量的NN分类器上的多个子图,每个与一个分类任务的训练类的子集。在两个零样本学习设置和五个基准数据集的实验中,APNet实现了令人信服的性能或新的最先进的结果。
2020-09-24 cs.CV cs.LG
Semi-Supervised Learning in the Few-Shot Zero-Shot Scenario
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
针对有标签数据中类别缺失的少样本零样本场景,提出在SSL目标函数中增加KL散度惩罚项,显著提升分类准确率。
2023-11-15 cs.CV cs.LG
Instance Credibility Inference for Few-Shot Learning
Fudan University(复旦大学);University of Oxford(牛津大学)
少样本学习(FSL)的目标是在每个类别的训练数据极其有限的情况下识别新对象。以前的努力是通过利用元学习范式或数据增强中的新原理来缓解这个极其缺乏数据的问题。相比之下,本文提出了一个简单的统计方法,称为实例可信度推断(ICI),利用分布支持少样本学习的未标记的实例。具体来说,我们首先训练一个线性分类器与标记的Few-Shot的例子,并用它来推断的伪标签的未标记的数据。为了衡量每个伪标记实例的可信度,我们提出通过增加附带参数的稀疏度来解决另一个线性回归假设,并根据稀疏度对伪标记实例进行排名。我们选择最值得信赖的伪标记实例与标记的示例一起重新训练线性分类器。这个过程被迭代,直到所有未标记的样本都被包括在扩展的训练集中,即,伪标记对于未标记的数据池是收敛的。在两个Few-Shot设置下的大量实验表明,我们的简单方法可以在四个广泛使用的少样本学习基准数据集上建立新的最先进的技术,包括miniImageNet,tieredImageNet,CIFAR-FS和CUB。我们的代码可在:https://github.com/Yikai-Wang/ICI-FSL
2020-04-03 cs.CV cs.LG
Transductive Zero-Shot Hashing for Multilabel Image Retrieval
Wuhan University(武汉大学);Sun Yat-Sen University(中山大学);University of South Carolina(南卡罗来纳大学)
散列编码已广泛应用于大规模图像检索的近似最近邻搜索。给定语义注释,例如类标签和训练数据的成对相似性,散列方法可以学习并生成有效且紧凑的二进制代码。虽然一些新引入的图像可能包含未定义的语义标签,我们称之为看不见的图像,但已经研究了zeor-shot散列技术。然而,现有的zeor-shot哈希方法主要针对单标签图像的检索,而不能处理多标签图像。在本文中,首次提出了一种新的直推式zero-shot散列方法,用于多标签不可见图像检索。为了预测未知数据/目标数据的标签,通过对已知数据/源数据的实例-概念一致性排序来建立视觉-语义桥梁。然后,成对的相似性损失和焦点量化损失被构造用于使用可见/源和不可见/目标数据来训练散列模型。在三个流行的多标签数据集上的广泛评估表明,所提出的哈希方法取得了显着优于竞争方法的结果。
2021-06-30 cs.CV cs.LG
Label Propagation Adaptive Resonance Theory for Semi-supervised Continuous Learning
Seoul National University(首尔大学);LG Electronics(LG电子)
半监督学习和持续学习是人类智能的基本范式。为了处理现实世界中的问题,很少给出标签,访问相同数据的机会有限,有必要以联合的方式应用这两个范例。在本文中,我们提出了标签传播自适应共振理论(LPART)的半监督连续学习。LPART使用在线标签传播机制来执行分类,并随着观察数据的积累逐渐提高其准确性。我们通过调整标记和未标记数据的比例,在视觉(MNIST,SVHN,CIFAR-10)和音频(NSynth)数据集上评估了所提出的模型。当使用标记和未标记数据时,准确率要高得多,这表明LPART在数据标签稀缺的环境中具有显著的优势。
2020-04-16 cs.CV cs.LG
Independent Prototype Propagation for Zero-Shot Compositionality
University of Twente(特文特大学);TNO(荷兰应用科学研究组织)
人类擅长组合zero-shot推理;当我们告诉某人斑马看起来像一匹有黑白条纹的马时,他以前从未见过斑马,但仍然能认出它。另一方面,机器学习系统通常利用训练数据中的虚假相关性,虽然这种相关性可以帮助识别上下文中的对象,但它们会损害泛化。为了能够处理未指定的数据集,同时在分类过程中仍然利用上下文线索,我们提出了ProtoProp,一种新的原型传播图方法。首先,我们学习对象的原型表示(例如,zebra),它们是条件独立的w.r.t.它们的属性标签(例如,条纹),反之亦然。接下来,我们通过组合图传播独立原型,以学习反映目标分布依赖关系的新属性-对象组合的组合原型。该方法不依赖于任何外部数据,如类层次结构图或预训练的词嵌入。我们评估我们的方法上AO-Clever,一个合成的和强烈的视觉数据集与干净的标签,和UT-Zappos,一个嘈杂的现实世界的数据集的细粒度的鞋类型。我们表明,在广义的成分zero-shot设置,我们优于国家的最先进的结果,并通过烧蚀,我们显示的方法的每个部分的重要性和他们的贡献的最终结果。
2021-06-12 cs.CV cs.LG
Warp-Refine Propagation: Semi-Supervised Auto-labeling via Cycle-consistency
Brown University(布朗大学);Preferred Networks, Inc.(优选网络公司);Toyota Research Institute (TRI)(丰田研究院)
用于语义分割的深度学习模型依赖于昂贵的、大规模的、手动注释的数据集。标记是一个繁琐的过程,每张图像可能需要数小时。通过在时间上传播稀疏标记的帧来自动注释视频序列是一种更具可扩展性的替代方案。在这项工作中,我们提出了一种新的标签传播方法,称为Warp-Refine传播,结合语义线索与几何线索,有效地自动标记视频。我们的方法学习优化几何扭曲的标签,并通过利用跨时间的周期一致性,在半监督设置中将学习到的语义先验注入其中。我们定量地表明,我们的方法在ApolloScape数据集上提高了13.1 mIoU的标签传播。此外,通过使用自动标记的帧进行训练,我们在三个语义分割基准上获得了有竞争力的结果,在NYU-V2和KITTI上将最先进的水平提高了1.8和3.61 mIoU,同时匹配了Cityscapes上当前的最佳结果。
2021-09-28 cs.CV cs.LG
CHiLS: Zero-Shot Image Classification with Hierarchical Label Sets
University of California - San Diego(加州大学圣地亚哥分校);Carnegie Mellon University(卡内基梅隆大学)
本文提出 CHiLS 方法,通过为每个类别生成子类并利用 CLIP 进行零样本分类后将预测映射回父类,在具有隐式语义层次的数据集上无需额外训练即可提升分类准确性。
2023-05-31 cs.CV cs.LG
Label Hallucination for Few-Shot Classification
Dartmouth College(达特茅斯学院)
Few-Shot分类需要适应从大型注释基础数据集学习的知识,以识别新的不可见类,每个类由很少的标记示例表示。在这种情况下,在大数据集上预训练一个高容量的网络,然后在少数几个例子上对其进行微调,会导致严重的过拟合。与此同时,在从大型标记数据集学习的“冻结”特征之上训练简单的线性分类器无法使模型适应新类的属性,从而有效地导致欠拟合。在本文中,我们提出了一种替代方法,这两个流行的战略。首先,我们的方法使用在新类上训练的线性分类器对整个大型数据集进行伪标签。这有效地“幻觉”了大数据集中的新类别,尽管新类别不存在于基础数据库中(新类别和基础类别是不相交的)。然后,除了新数据集上的标准交叉熵损失之外,它还对伪标记的基本示例进行蒸馏损失来微调整个模型。这一步有效地训练网络识别上下文和外观线索,这些线索对小说类别识别有用,但使用整个大规模基础数据集,从而克服了少样本学习固有的数据稀缺问题。尽管简单的方法,我们表明,我们的方法优于国家的最先进的四个完善的Few-Shot分类基准。
2021-12-06 cs.CV cs.LG
Zero-Shot and Few-Shot Learning for Lung Cancer Multi-Label Classification using Vision Transformer
Harvard Medical School(哈佛医学院)
肺癌是全球癌症相关死亡的主要原因。肺腺癌(LUAD)和肺鳞状细胞癌(LUSC)是非小细胞肺癌(NSCLC)最常见的组织学亚型。组织学是肺癌诊断的重要工具。病理学家根据优势亚型进行分类。虽然形态学仍然是诊断的标准,但需要开发重要的工具来阐明诊断。在我们的研究中,我们利用预先训练的视觉Transformer(ViT)模型在Zero-Shot和Few-Shot设置下对组织切片(来自数据集LC 25000)上的多标记肺癌进行分类。然后我们比较了Zero-Shot和Few-Shot ViT在准确度、精确度、召回率、灵敏度和特异度方面的性能。我们的研究表明,预训练的ViT模型在Zero-Shot设置中具有良好的性能,在Few-Shot设置中具有竞争力的准确性($99.87\%$)({epoch = 1}),在Few-Shot设置中具有最佳结果($100.00\%$)({epoch = 5})。
2022-05-31 cs.AI cs.CV cs.LG
Adaptive Anchor Label Propagation for Transductive Few-Shot Learning
Imperial College London(帝国理工学院);Institute of Advanced Research on Artificial Intelligence (IARAI)(人工智能高级研究院(IARAI))
本文提出自适应锚点标签传播算法,通过可微损失优化标注数据在流形中的位置,在多个小样本基准上显著超越标准标签传播。
2023-10-30 cs.CV
Shot in the Dark: Few-Shot Learning with No Base-Class Labels
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
少样本学习的目标是从少量标记的示例中为新类构建分类器,并且通常通过访问来自不同的“基类”集合的示例来促进。测试集(新类)和用于学习归纳偏差的基类之间的数据分布差异通常会导致新类的泛化能力较差。为了缓解由分布偏移引起的问题,以前的研究已经探索了使用未标记的例子,从新的类,除了标记的例子的基础类,这是已知的转换设置。在这项工作中,我们发现,令人惊讶的是,现成的自监督学习在miniImageNet上的5次Few-Shot率比转换的少数方法高出3.9%,而不使用任何基类标签。这促使我们更仔细地研究通过自我监督学习的特征在少样本学习中的作用。通过实验比较了监督特征和自监督特征的可移植性、鲁棒性、效率以及互补性。
2021-04-23 cs.CV
LaSO: Label-Set Operations networks for multi-label few-shot learning
IBM Research AI(IBM人工智能研究院);Tel-Aviv University(特拉维夫大学);Technion(以色列理工学院)
示例合成是解决少样本学习问题的主要方法之一,其中每个类只有少量样本可用。然而,目前的合成方法只解决了一个单一的类别标签的情况下,每个图像。在这项工作中,我们提出了一种新的技术,用于合成多个标签(尚未处理)的多标签Few-Shot分类方案的样本。我们建议在特征空间中组合成对的给定示例,使得所得到的合成特征向量将对应于其标签集是通过对相应输入对的标签集进行某些集合操作而获得的示例。因此,我们的方法能够产生包含两个输入样本中存在的标签的交集、并集或集差的样本。正如我们所展示的,这些集合运算推广到训练过程中看不到的标签。这使得能够对新类别的示例执行增强,从而促进多标签Few-Shot分类器学习。我们进行了大量的实验,显示出有希望的结果,标签集的操作能力的方法,直接(使用分类和检索指标),并在多标签少样本学习进行数据增强的背景下。我们提出了一个基准,这个新的和具有挑战性的任务,并表明我们的方法相比,所有常见的基线。
2019-02-26 cs.CV
Transductive Few-shot Learning with Prototype-based Label Propagation by Iterative Graph Refinement
Australian National University(澳大利亚国立大学);Data61(数据61);CSIRO(联邦科学与工业研究组织)
针对直推式少样本学习中原型估计不准与核函数图构建次优的问题,提出随原型迭代更新的原型-样本关系图及原型标签传播方法,并在多个数据集上取得SOTA。
2023-04-23 cs.AI cs.CV cs.LG
CLIP-driven Zero-shot Learning with Ambiguous Labels
College of Computer Science and Technology, Qingdao University(青岛大学计算机科学与技术学院);School of Computer Science, Shanghai JiaoTong University(上海交通大学计算机科学学院)
本文提出基于CLIP的模糊标签零样本学习框架,通过语义挖掘和部分零样本损失提升模型对模糊标签的处理能力。
2026-03-05 cs.CV
DPGN: Distribution Propagation Graph Network for Few-shot Learning
Northwestern Polytechnical University(西北工业大学);Megvii Technology(旷视科技)
大多数基于图网络的元学习方法都是对实例之间的实例级关系进行建模。我们进一步扩展了这个想法,以1-vs-N的方式显式地对一个示例与所有其他示例的分布级关系进行建模。提出了一种新的少样本学习方法-分布传播图网络(DPGN)。它同时表达了每个少样本学习任务中的分布级关系和实例级关系。为了将所有实例的分布级关系和实例级关系结合起来,我们构造了一个由点图和分布图组成的对偶完全图网络,每个节点代表一个实例。DPGN采用对偶图结构,在几个更新代内将标记信息从标记样本传播到未标记样本。在对少样本学习基准的广泛实验中,DPGN在监督设置下的5% $\sim$ 12%和半监督设置下的7% $\sim$ 13%中大幅优于最先进的结果。代码将被释放。
2020-04-01 cs.CV
Integrating Propositional and Relational Label Side Information for Hierarchical Zero-Shot Image Classification
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Army Research Laboratory(陆军研究实验室)
零样本学习(Zero-shot learning,缩写为ZRL)是从稀缺的标记数据中学习的最极端形式之一。它能够预测图像属于没有标记训练实例可用的类别。在本文中,我们提出了一个新的XML框架,利用标签属性边信息和语义标签层次结构。我们提出了两种方法,解除zero-shot预测和自定义条件随机场(CRF)模型,集成了两种形式的边信息。我们提出了这个框架的基准任务,专注于在一系列语义层次上进行预测。我们发现,解除zero-shot预测可以显着优于基线方法时,在指定的语义水平的预测,并提供的概率分布的CRF模型可以利用,以产生进一步的性能改进时,在层次结构上进行无约束的预测。
2019-02-14 cs.CV
Multi-Label Zero-Shot Human Action Recognition via Joint Latent Ranking Embedding
The University of Manchester(曼彻斯特大学)
人体动作识别是指从视频片段中自动识别人体动作。在现实中,视频流中经常存在多个人类动作。这样的视频流通常在全局级别上用一组相关的人类动作标签进行弱注释,而不是将每个标签分配给对应于单个动作的特定视频片段,这导致了多标签学习问题。此外,现实中存在许多有意义的人类动作,但是收集/注释关于所有各种人类动作的视频剪辑将是极其困难的,这导致零样本学习场景。据我们所知,还没有一项工作在人类行为识别中同时解决了上述所有问题。在本文中,我们制定了一个现实世界中的人类动作识别任务作为一个多标签零样本学习问题,并提出了一个框架来解决这个问题的整体方式。我们的框架从整体上解决了多标签学习的不同动作之间的未知时间边界问题,并利用了关于知识转移的不同人类动作之间的语义关系的辅助信息。因此,我们的框架导致一个联合潜在的排名嵌入多标签zero-shot人类动作识别。提出了一种新的双分量模型神经网络结构和交替学习算法来实现联合隐排序嵌入学习。因此,多标签zero-shot识别是通过在联合潜在视觉和语义嵌入空间中测量动作标签与测试视频剪辑的相关性分数来完成的。我们用不同的设置来评估我们的框架,包括一个专门为评估多标签零样本学习而设计的新型数据分割方案,在两个数据集上:早餐和字谜。实验结果证明了该框架的有效性。
2019-02-06 cs.AI cs.CV cs.LG
The Label Imitation Game: Turing Test Network for Zero-Shot Pseudo-Label Pruning
提出图灵测试网络(TTN)作为任务无关的“裁判”,通过对抗性交互在数据集上下文中评估伪标签,无需监督或重训练即可提升标签准确性,并实现零样本任务迁移。
2026-07-01 cs.AI cs.CV cs.LG
Progressive Ensemble Networks for Zero-Shot Recognition
Temple University(天普大学);Carleton University(卡尔顿大学)
尽管监督图像识别算法的进步,它们对标记数据的可用性和图像类别的快速扩展的依赖提出了零样本学习的重大挑战。零样本学习(Zero-shot learning,缩写为ZRL)旨在将知识从标记的类转移到未标记的类,以减少人类标记的努力。本文提出了一种新的渐进集成网络模型,该模型具有多个投影标签嵌入,以解决zero-shot图像识别问题。集成网络是通过学习多个图像分类功能与共享的特征提取网络,但不同的标签嵌入表示,这增强了分类器的多样性,并促进信息转移到未标记的类。然后,部署渐进训练框架,以逐渐用预测的伪标签标记每个未标记类中最有信心的图像,并用伪标签增强的训练数据更新系综网络。该模型对标记和未标记数据进行训练。它可以自然地桥接视觉外观中的域移位问题,并被扩展到广义零样本学习场景。我们在多个数据集上进行了实验,实验结果证明了该模型的有效性。
2019-04-06 cs.AI cs.CV cs.LG
Local Propagation for Few-Shot Learning
Inria(法国国家信息与自动化研究所);Univ Rennes(雷恩大学);CNRS(法国国家科学研究中心);IRISA(法国雷恩信息与自动化系统研究所);Safran(赛峰集团)
少样本学习面临的挑战是,可用的数据不足以捕捉潜在的分布。为了减轻这种情况,两个新兴的方向是(a)使用本地图像表示,本质上是将数据量乘以常数因子,以及(b)使用更多未标记的数据,例如通过转换推理,联合对多个查询。在这项工作中,我们把这两个想法结合在一起,介绍\emph{local propagation}。我们将局部图像特征视为独立的示例,我们在它们上构建一个图,并使用它来传播特征本身和标签,已知和未知。有趣的是,由于每个图像都有许多特征,因此即使是一个查询也会引起转换推理。因此,我们提供了一个普遍安全的选择,Few-Shot推断在非转导和转导设置,提高准确性相应的方法。这与现有的解决方案相反,现有的解决方案需要根据可用数据的数量来选择方法。
2021-01-05 cs.CV
Towards Cross-Granularity Few-Shot Learning: Coarse-to-Fine Pseudo-Labeling with Visual-Semantic Meta-Embedding
Shanghai Jiao Tong University(上海交通大学)
少样本学习的目标是在测试时仅用少量样本快速适应新类别,这主要是通过元学习的思想来解决的。然而,元学习方法本质上是跨各种Few-Shot任务进行学习,因此仍然需要具有细粒度监督的大规模训练数据来导出广义模型,从而涉及过高的注释成本。在本文中,我们将Few-Shot分类范式推向一个更具挑战性的场景,即,交叉粒度Few-Shot分类,其中模型在训练期间仅观察粗标签,而预期在测试期间执行细粒度分类。这项任务在很大程度上减轻了注释成本,因为细粒度的标记通常需要强大的特定于领域的专业知识。为了弥合跨粒度的差距,我们近似细粒度的数据分布的贪婪聚类的每个粗类到伪细类根据图像嵌入的相似性。然后,我们提出了一个元嵌入器,共同优化视觉和语义歧视,在实例和粗类明智的,以获得一个良好的特征空间,这个粗到细的伪标记过程。广泛的实验和消融研究进行了三个代表性的数据集上证明我们的方法的有效性和鲁棒性。
2021-07-20 cs.CV cs.LG stat.ML
Multi-Label Zero-Shot Learning with Structured Knowledge Graphs
National Taiwan University(台湾大学);Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们提出了一种新的多标签零样本学习(ML-SLML)深度学习架构,该架构能够为每个输入实例预测多个看不见的类标签。受人类利用感兴趣的对象之间的语义知识的方式的启发,我们提出了一个框架,采用知识图谱来描述多个标签之间的关系。我们的模型从语义标签空间中学习信息传播机制,该机制可用于对可见和不可见类标签之间的相互依赖关系进行建模。这样的调查结构化知识图谱的视觉推理,我们表明,我们的模型可以应用于解决多标签分类和ML-TML任务。与最先进的方法相比,我们的方法可以实现相当或改进的性能。
2018-05-26 cs.CV
Deep Metric Transfer for Label Propagation with Limited Annotated Data
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
我们研究对象识别的约束下,每个对象类只表示非常少的意见。半监督学习、迁移学习和Few-Shot识别都关注用很少的标记数据实现快速泛化。在本文中,我们提出了一个通用的框架,利用未标记的数据,以帮助概括所有三个任务。我们的方法是创建更多的训练数据,通过标签传播从少数标记的例子,以大量的未注释的图像。本文的主要贡献是,我们表明这样的标签传播方案可以是非常有效的,当用于传播的相似性度量是从其他相关领域转移。我们使用各种标签传播算法测试了监督和无监督度量学习方法的各种组合。我们发现,我们的框架是非常通用的,而不敏感的任何特定的技术。通过以这种方式利用未标记的数据,我们在所有三个任务上都取得了显着的改进。
2019-07-29 cs.AI cs.CV cs.LG
Iterative label cleaning for transductive and semi-supervised few-shot learning
Imperial College London(帝国理工学院);Inria(法国国家信息与自动化研究所);Univ Rennes(雷恩大学);CNRS(法国国家科学研究中心);IRISA(法国雷恩信息与自动化系统研究所)
少样本学习相当于学习表示和获取知识,使得可以在监督和数据都有限的情况下解决新的任务。通过转换推理和半监督学习可以提高性能,其中转换推理可以同时获得整个测试集,而半监督学习可以获得更多未标记的数据。针对这两种设置,我们引入了一种新的算法,该算法利用标记和未标记数据分布的流形结构来预测伪标签,同时平衡类并使用有限容量分类器的损失值分布来选择最干净的标签,迭代地提高伪标签的质量。我们的解决方案超越或匹配四个基准数据集的最新结果,即miniImageNet,tieredImageNet,CUB和CIFAR-FS,同时在特征空间预处理和可用数据量方面具有鲁棒性。可以在https://github.com/MichalisLazarou/iLPC中找到公开的源代码。
2023-03-28 cs.AI cs.CV cs.LG
Few-Shot Segmentation Propagation with Guided Networks
UC Berkeley(加州大学伯克利分校)
基于学习的视觉分割方法在特定类型的分割任务上取得了进展,但受到必要的监督,固定任务的狭窄定义以及在推理过程中缺乏控制以纠正错误的限制。为了弥补标准方法的刚性和注释负担,我们解决了Few-Shot分割的问题:给定很少的图像和很少的像素监督,相应地分割任何图像。我们提出了引导网络,它从任何数量的监督中提取潜在的任务表示,并优化我们的架构端到端,以实现快速,准确的Few-Shot分割。我们的方法可以在没有进一步优化的情况下切换任务,并在获得更多指导时快速更新。我们报告的第一个结果,从一个像素每个概念的分割,并显示实时交互式视频分割。我们的统一方法传播像素注释跨空间的交互式分割,跨时间的视频分割,跨场景的语义分割。我们的引导分割器在注释量和时间方面的准确性是最先进的。请访问http://github.com/shelhamer/revolver获取代码、模型和更多详细信息。
2018-05-25 cs.CV cs.LG stat.ML
Meta-Learning for Multi-Label Few-Shot Classification
The Australian National University(澳大利亚国立大学);Monash University(莫纳什大学);Data61-CSIRO(澳大利亚联邦科学与工业研究组织Data61)
即使拥有丰富的数据,多标签分类也被广泛认为是一项具有挑战性的任务。这项工作针对多标签元学习的问题,其中模型学习预测查询中的多个标签(例如,一个图像)通过观察几个支持的例子。在这样做时,我们首先提出了一个少样本学习(FSL)的基准测试,每个样本有多个标签。接下来,我们讨论并扩展了几种专门设计用于解决传统和单标签FSL的解决方案,以在多标签制度下工作。最后,我们引入了一个神经模块,通过利用关系推理来估计给定样本的标签计数。我们将在三个具有挑战性的数据集(即MS-COCO,iMaterialist和Open MIC)上实证展示标签计数模块,标签传播算法和传统FSL方法的扩展的好处。总的来说,我们的全面实验表明,建议的标签传播算法结合神经标签计数模块(NLC)应被视为选择的方法。
2021-10-26 cs.CV
Cross-modal Zero-shot Hashing by Label Attributes Embedding
Southwest University(西南大学);Shandong University(山东大学);Joint SDU-NTU Centre for Artificial Intelligence Research(山东大学-南洋理工大学人工智能联合研究中心);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);George Mason University(乔治梅森大学)
跨模态哈希算法是跨模态近似最近邻搜索中最有前途的方法之一。大多数CMH解决方案理想地假设训练集和测试集的标签是相同的。然而,该假设经常被违反,导致zero-shot CMH问题。最近的努力,以解决这个问题的重点是转移知识从可见的类看不见的标签属性。然而,属性是孤立的多模态数据的特征。为了减少信息差距,我们引入了一种方法,称为LAEH(标签属性嵌入zero-shot跨模态哈希)。LAEH首先通过word2vec模型得到标签的初始语义属性向量,然后使用一个转换网络将它们转换到一个公共子空间中。接下来,它利用哈希向量和特征相似性矩阵来指导不同模态的特征提取网络。同时,利用属性相似度作为标签相似度的补充,对标签嵌入和公共子空间进行修正。实验表明,LAEH算法优于相关的代表性的zero-shot和跨模态散列方法。
2021-11-07 cs.AI cs.CV cs.LG
Learning Feature-to-Feature Translator by Alternating Back-Propagation for Generative Zero-Shot Learning
Rutgers University(罗格斯大学);Hikvision Research Institute(海康威视研究院)
我们研究学习特征到特征翻译网络交替反向传播作为一个通用的解决方案,零样本学习(ZML)问题。它是一个基于模型的生成式CPDL框架。与基于生成对抗网络(GAN)或变分自编码器(VAE)的模型相比,需要辅助网络来辅助训练,我们的模型由一个条件生成器组成,该生成器将类级语义特征和高斯白噪声向量映射到视觉特征,并通过最大似然估计进行训练。训练过程是一个简单而有效的交替反向传播过程,迭代以下两个步骤:(i)推断反向传播以推断每个观察到的示例的潜在因素,以及(ii)学习反向传播以更新模型参数。我们表明,稍加修改,我们的模型是能够学习不完整的视觉功能,为CNOL。我们进行了广泛的比较与现有的生成式CNOL方法的五个基准,证明了我们的方法的优越性,不仅CNOL的性能,但收敛速度和计算成本。具体来说,我们的模型优于现有的国家的最先进的方法,由一个显着的利润率高达3.1%和4.0%,分别在BTL和广义BTL设置。
2019-11-11 cs.CV
Semantic Diversity Learning for Zero-Shot Multi-label Classification
DAMO Academy, Alibaba Group(达摩院,阿里巴巴集团)
训练神经网络模型以识别与图像相关联的多个标签(包括识别看不见的标签)是具有挑战性的,特别是对于描绘许多语义上不同的标签的图像。尽管这项任务具有挑战性,但它是一项必不可少的任务,因为它代表了许多现实世界的案例,例如自然图像的图像检索。我们认为,使用一个单一的嵌入向量来表示一个图像,作为通常的做法,是不足以排名相关的可见和不可见的标签准确。本研究介绍了一种端到端的多标签零样本学习模型训练,支持图像和标签的语义多样性。我们建议使用具有使用定制的损失函数训练的主嵌入向量的嵌入矩阵。此外,在训练过程中,我们建议在呈现更高语义多样性的损失函数图像样本中增加权重,以鼓励嵌入矩阵的多样性。大量的实验表明,我们提出的方法提高了zero-shot模型的质量,在几个常见的数据集(NUS-Wide,COCO,Open Images)上实现基于标签的图像检索SoTA结果。
2021-05-12 cs.CV
SimPropNet: Improved Similarity Propagation for Few-shot Image Segmentation
IIIT Hyderabad(海得拉巴国际信息技术学院);Adobe(奥多比)
Few-Shot分割(FSS)方法使用(支持)图像掩模对的小集合对目标(查询)图像中的特定对象类执行图像分割。最近的基于深度神经网络的FSS方法利用支持图像的前景特征与查询图像特征之间的高维特征相似性。在这项工作中,我们展示了现有方法中利用这种相似性信息的差距,并提出了一个框架- SimPropNet,以弥合这些差距。我们建议联合预测的支持和查询掩码,以迫使支持功能,以共享特性的查询功能。我们还建议使用一种新型的前景-背景注意力融合机制来利用查询和支持图像的背景区域中的相似性。我们的方法在PASCAL-5i数据集上实现了单次和五次分割的最新结果。本文包括详细的分析和消融研究提出的改进和定量比较与当代方法。
2020-05-02 cs.CV
Learning to Self-Train for Semi-Supervised Few-Shot Classification
Shanghai Jiao Tong University(上海交通大学);Singapore Management University(新加坡管理大学);Tianjin University(天津大学);Alibaba Group(阿里巴巴集团);National University of Singapore(新加坡国立大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland Informatics Campus(萨尔兰信息学园区)
Few-Shot分类(FSC)由于标记的训练数据的稀缺性(例如,每个类只有一个标记的数据点)而具有挑战性。元学习已被证明可以通过学习初始化FSC的分类模型来实现有希望的结果。在本文中,我们提出了一种新的半监督元学习方法,称为学习自训练(LST),它利用未标记的数据,特别是元学习如何挑选和标记这些无监督数据,以进一步提高性能。为此,我们通过大量的半监督Few-Shot任务来训练LST模型。在每个任务中,我们训练一个Few-Shot模型来预测未标记数据的伪标签,然后在标记和伪标记数据上重复自训练步骤,每个步骤都进行微调。我们还学习了一个软加权网络(SWN)来优化伪标签的自训练权重,以便更好的伪标签可以为梯度下降优化做出更多贡献。我们在两个ImageNet基准测试中评估了我们的LST方法,用于半监督Few-Shot分类,并在最先进的方法上取得了很大的改进。代码位于https://github.com/xinzheli1217/learning-to-self-train。
2019-09-29 cs.CV cs.LG stat.ML
Towards Unbiased Multi-label Zero-Shot Learning with Pyramid and Semantic Attention
The Hong Kong Polytechnic University(香港理工大学);University of Electronic Science and Technology of China(电子科技大学);Chongqing University(重庆大学)
多标签零样本学习将传统的单标签零样本学习扩展到更现实的场景,旨在为每个输入样本识别多个不可见的类别标签。现有的研究通常利用注意力机制来产生不同标签之间的相关性。然而,它们中的大多数通常偏向于几个主要类别,而忽略了输入样本中具有相同重要性的大多数次要类别,因此可能导致过度分散的注意力地图,不能充分覆盖次要类别。我们认为,忽视大类和小类之间的联系,即,分别对应全局和局部信息,是问题的原因。本文提出了一种新的无偏多标签零样本学习框架,通过考虑不同类别的特定区域来校准分类器的训练过程。具体地说,金字塔特征注意力(PFA)被提出来建立样本的全局和局部信息之间的相关性,以平衡每个类的存在。同时,对于生成的输入样本的语义表示,我们提出了语义注意(Semantic Attention,SA)来加强这些向量之间的元素相关性,从而促进它们的协调表示。在大规模多标签zero-shot基准NUS-WIDE和Open-Image上的大量实验表明,该方法明显优于其他代表性方法。
2022-03-07 cs.CV
Ensemble Teaching for Hybrid Label Propagation
Nanjing University of Science and Technology(南京理工大学);Minjiang University(闽江学院);University of Sydney(悉尼大学);Carnegie Mellon University(卡内基梅隆大学)
标签传播的目的是迭代扩散的标签信息从标记的例子到未标记的例子在一个相似性图。目前的标签传播算法不能一致地获得令人满意的性能,原因有二:一是单一的传播方法在处理各种实际数据时不稳定;二是传播顺序不当,忽略了不同样本的标记难度。针对上述缺陷,提出了一种新的传播算法--集成教学下的混合扩散算法(HyDEnT)。具体而言,HyDEnT集成了多种传播方法作为基础学习者,充分发挥他们的个人智慧,这有助于HyDEnT稳定,并获得一致的令人鼓舞的结果。更重要的是,HyDEnT在一群教师的指导下进行宣传。也就是说,在每一轮传播中,最简单的课程示例由教学算法明智地指定,以便学习者可以可靠且准确地确定它们的标签。为了最好地选择这些最简单的例子,合奏中的每个教师都应该从自己的角度综合考虑例子的困难,以及所有教师的共同知识。这是通过一个设计的优化问题,可以有效地解决通过块坐标下降法。在老师们的努力下,所有未标记的例子都从简单到困难进行了逻辑传播,从而使HyDEnT的传播质量比现有方法更好。
2019-04-08 cs.CV
Multi-label Zero-shot Classification by Learning to Transfer from External Knowledge
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Alibaba Group(阿里巴巴集团)
多标签zero-shot分类的目的是预测输入图像的多个不可见的类别标签。它比单一标签更具有挑战性。一方面,分配给每个图像的标签数量不受约束,使得模型更容易过拟合那些可见的类。另一方面,在现有的多标签分类数据集中,可见和不可见的类之间存在很大的语义差距。为了解决这些难题,本文提出了一种新的多标签zero-shot分类框架,通过学习从外部知识转移。我们观察到ImageNet通常用于预训练特征提取器,并且具有大而细粒度的标签空间。这促使我们将其作为外部知识来利用,以连接可见和不可见的类并促进泛化。具体来说,我们构建了一个知识图谱,不仅包括来自目标数据集的类,还包括来自ImageNet的类。由于ImageNet标签在目标数据集中不可用,我们提出了一种新的PosVAE模块来推断它们在扩展知识图谱中的初始状态。然后,我们设计了一个关系图卷积网络(RGCN)来传播类之间的信息,实现知识转移。在两个基准数据集上的实验结果证明了该方法的有效性。
2020-07-31 cs.CV
Self-Adaptive Label Augmentation for Semi-supervised Few-shot Classification
University of Science and Technology of China(中国科学技术大学);Texas A&M University(得克萨斯农工大学)
Few-Shot分类的目标是学习一个模型,该模型可以在只有少数标记样本可用的情况下很好地推广到新任务。为了利用在实际应用中更丰富的未标记数据,Ren等人\shortcite{ren2018meta}提出了一种半监督的Few-Shot分类方法,该方法通过手动定义的度量为每个未标记样本分配适当的标签。然而,手动定义的指标无法捕捉数据中的内在属性。在本文中,我们提出了一个\textbf{S} elf-\textbf{A}自适应的\textbf{L} abel \textbf{A}增强方法,称为\textbf{SALA},用于半监督Few-Shot分类。SALA的一个主要新颖性是任务自适应度量,它可以以端到端的方式自适应地学习不同任务的度量。SALA的另一个吸引人的特性是渐进的邻居选择策略,该策略在训练阶段逐步选择具有高置信度的未标记数据。实验表明,SALA优于几个国家的最先进的方法,半监督Few-Shot分类基准数据集。
2022-06-16 cs.CV
RoNFA: Robust Neural Field-based Approach for Few-Shot Image Classification with Noisy Labels
School of Mathematics and Information Science(数学与信息科学学院);Center for applied mathematics of Guangxi, Guangxi University(广西应用数学中心,广西大学)
本文提出RoNFA方法,通过特征表示场和类别表示场两个神经场及自适应感受野机制,在带噪标签的少样本图像分类中实现强鲁棒性,并在真实数据集上显著超越现有最先进方法。
2025-06-03 cs.CV
CXR-LT 2026 Challenge: Projection-Aware Multi-Label and Zero-Shot Chest X-Ray Classification
KAIST(韩国科学技术院);GIST(光州科学技术院);Korea University(高丽大学);KAIST Graduate School of AI (GSAI)(韩国科学技术院人工智能研究生院)
该挑战针对已知胸片病变的多标签分类和未知病变的零样本分类,通过整合投影特定模型的分类网络,提出双分支架构结合对比学习和LLM生成提示,提升零样本泛化能力。
2026-04-02 cs.CV
Class Enhancement Losses with Pseudo Labels for Zero-shot Semantic Segmentation
Monash University(莫纳什大学)
最近的掩码建议模型已经显著提高了zero-shot语义分割的性能。然而,在这些方法中,在训练期间使用“背景”嵌入是有问题的,因为所得到的模型往往会过度学习并将所有看不见的类分配为背景类,而不是它们的正确标签。此外,他们忽略了文本嵌入的语义关系,这可以说是高度信息化的zero-shot预测,因为看到的类可能与看不见的类有密切的关系。为此,本文提出了新的类增强损失,以绕过在训练过程中使用的背景嵌入,并同时利用文本嵌入和掩码建议之间的语义关系,通过排名的相似性得分。为了进一步捕捉可见类和不可见类之间的关系,我们提出了一个有效的伪标签生成管道,使用预训练的视觉语言模型。在多个基准数据集上的大量实验表明,我们的方法在zero-shot语义分割方面取得了最好的性能。我们的方法是灵活的,也可以应用到具有挑战性的开放词汇语义分割问题。
2023-01-18 cs.CV
Learning to Propagate Labels: Transductive Propagation Network for Few-shot Learning
CAI, University of Technology Sydney(悉尼科技大学CAI);University of Oxford(牛津大学);AITRICS;KAIST(韩国科学技术院);Baidu Research(百度研究院)
少样本学习的目标是学习一个分类器,即使在每个类的训练实例数量有限的情况下也能很好地泛化。最近引入的元学习方法通过在大量多类分类任务中学习通用分类器并将模型推广到新任务来解决这个问题。然而,即使有了这样的元学习,新分类任务中的低数据问题仍然存在。在本文中,我们提出了一种新的元学习框架--直推传播网络(TPN),它可以对整个测试集进行一次分类,以缓解低数据问题。具体来说,我们建议通过学习利用数据中的流形结构的图构造模块来学习将标签从标记实例传播到未标记的测试实例。TPN以端到端的方式联合学习特征嵌入和图构造的参数。我们在多个基准数据集上验证了TPN,它在很大程度上优于现有的少样本学习方法,并取得了最先进的结果。
2019-02-08 cs.CV cs.LG cs.NE
Learning Visually Consistent Label Embeddings for Zero-Shot Learning
HAVELSAN Inc.(哈维尔桑公司);Middle East Technical University(中东技术大学);Hacettepe University(哈塞特佩大学)
在这项工作中,我们提出了一个零样本学习方法,有效地建模类之间的知识转移,通过共同学习视觉上一致的词向量和标签嵌入模型在端到端的方式。其主要思想是将属性和类的向量空间词向量投影到视觉空间中,使得语义相关类的词表示变得更接近,并使用所提出的嵌入模型中的投影向量来识别未见过的类。我们在两个基准数据集上对所提出的方法进行了评估,实验结果表明,我们的方法在识别精度上有了显着的提高。
2019-05-16 cs.CV
Rethinking Knowledge Graph Propagation for Zero-Shot Learning
UiT The Arctic University of Norway(挪威北极大学);Tsinghua University(清华大学);Sun Yat-sen University(中山大学);Massachusetts Institute of Technology(麻省理工学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Carnegie Mellon University(卡内基梅隆大学)
图卷积神经网络最近显示出零样本学习任务的巨大潜力。这些模型具有很高的样本效率,因为图结构中的相关概念共享统计强度,从而在面临缺乏数据时可以推广到新的类别。然而,需要将知识传播到图中的远程节点的多层架构通过在每一层执行广泛的拉普拉斯平滑来稀释知识,从而降低性能。为了仍然享受图结构所带来的好处,同时防止稀释的知识从遥远的节点,我们提出了一个密集的图形传播(DGP)模块,精心设计的直接链接之间的遥远的节点。DGP允许我们通过额外的连接来利用知识图谱的分层图结构。这些连接是根据节点与其祖先和后代的关系添加的。加权方案进一步用于根据到节点的距离来加权它们的贡献,以改善图中的信息传播。结合两阶段训练方法中的表示微调,我们的方法优于最先进的零样本学习方法。
2019-03-27 cs.CV
Semi-Supervised Semantic Segmentation via Derivative Label Propagation
本文提出DerProp半监督语义分割框架,通过导数标签传播修正伪标签,缓解相似度歧义,提升分割性能。
2025-08-04 cs.CV
Label Anything: Multi-Class Few-Shot Semantic Segmentation with Visual Prompts
Department of Computer Science, University of Bari Aldo Moro, Bari, Italy(巴里阿尔多·莫罗大学计算机科学系);NVIDIA AI Technology Center, Bologna, Italy(英伟达人工智能技术中心)
本文提出Label Anything,一种基于Transformer的多提示多路少样本语义分割框架,通过支持点、框、掩码等多种视觉提示和统一训练策略,在COCO-20^i上取得最先进性能并显著降低标注负担。
2025-08-21 cs.CV
Generative Multi-Label Zero-Shot Learning
University of Guelph(圭尔夫大学);Vector Institute(向量研究所);Technology Innovation Institute(技术创新研究所);Mohamed Bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);Australian National University(澳大利亚国立大学);Linköping University(林雪平大学);University of Chinese Academy of Sciences(中国科学院大学);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
本文提出在属性级、特征级和跨级融合多标签类嵌入以合成多标签特征的生成式方法,在三个基准上优于现有技术并泛化至零样本检测任务。
2023-07-31 cs.CV
Structure propagation for zero-shot learning
Xi’an University of Technology(西安理工大学)
零样本学习的关键是如何找到图像与语义信息(文本或属性)之间的信息传递模型。现有的语义类匹配方法通常考虑语义类的相关性(语义类的流形结构)来构造图像与类标签之间的匹配函数。然而,图像类之间的关系(图像类的流形结构)对于兼容性模型的构建也是非常重要的。由于类的不可见性,很难捕捉图像类之间的关系,因此,图像类的流形结构往往被忽略。为了使图像类的流形结构和语义类信息的流形结构相互补充,提出了结构传播(SP)方法来提高分类器的分类性能。SP可以联合考虑图像类的流形结构和语义类的流形结构,以逼近对象类的内在结构。此外,SP还可以描述协调函数与这些流形结构之间的约束条件,以平衡结构传播迭代的影响。SP解决方案不仅提供了看不见的类标签,但也编码的结构传播的正转移的两个流形结构的关系。实验结果表明,SP算法在AwA、CUB、Dogs和SUN数据库上均能取得较好的效果。
2017-11-27 cs.CV