The Label Imitation Game: Turing Test Network for Zero-Shot Pseudo-Label Pruning
提出图灵测试网络(TTN)作为任务无关的“裁判”,通过对抗性交互在数据集上下文中评估伪标签,无需监督或重训练即可提升标签准确性,并实现零样本任务迁移。
2026-07-01 cs.AI cs.CV cs.LG
From Haystack to Needle: Label Space Reduction for Zero-shot Classification
IDLab, Ghent University - imec(IDLab,根特大学 - imec)
本文提出标签空间缩减方法,通过迭代排序和缩减候选类别来优化大语言模型零样本分类的标签空间,并利用蒸馏降低计算开销,在多个基准上显著提升宏观 F1 分数。
2025-11-05 cs.AI cs.CL cs.LG
Few-shot Learning for Multi-label Intent Detection
Harbin Institute of Technology(哈尔滨工业大学)
在本文中,我们研究了Few-Shot多标签分类的用户意图检测。对于多标签意图检测,最先进的工作估计标签实例相关性分数,并使用阈值来选择多个相关联的意图标签。为了仅用几个例子确定适当的阈值,我们首先学习数据丰富域上的通用阈值经验,然后通过基于非参数学习的校准将阈值适应于某些Few-Shot域。为了更好地计算标签-实例相关性得分,我们引入标签名称嵌入作为表示空间中的锚点,从而细化不同类别的表示,使其彼此分离。两个数据集上的实验表明,该模型显着优于强基线在一次拍摄和五次拍摄设置。
2020-10-11 cs.AI cs.CL
Multi-label Few/Zero-shot Learning with Knowledge Aggregated from Multiple Label Graphs
Monash University(蒙纳士大学);Deakin University(迪肯大学)
很少/零样本学习是许多分类任务的一大挑战,其中需要分类器来识别具有很少甚至没有训练样本的类的实例。在多标签分类中变得更加困难,其中每个实例被标记有多个类。在本文中,我们提出了一个简单的多图聚合模型,融合知识从多个标签图编码不同的语义标签关系,以研究如何聚合的知识可以有利于多标签零/Few-Shot文档分类。该模型利用三种语义信息,即,预训练的词嵌入、标签描述和预定义的标签关系。在两个大型临床数据集上得出的实验结果(即,MIMIC-II和MIMIC-III)和欧盟立法数据集表明,配备有多图知识聚合的方法在几乎所有的测量上都实现了显著的性能改善,几乎所有的测量都是在少数/zero-shot标签上。
2020-10-15 cs.AI cs.LG
Zero-shot Sequence Labeling for Transformer-based Sentence Classifiers
Imperial College London(帝国理工学院);King’s College London(伦敦国王学院)
我们研究如何在没有任何直接监督的情况下,在令牌级别将并行级Transformers修改为有效的序列标记器。当应用于基于变换器的架构时,用于zero-shot序列标记的现有方法不能很好地执行。由于Transformers包含多层多头自我注意,句子中的信息会分布在许多标记之间,从而对zero-shot标记级性能产生负面影响。我们发现,一个软的注意力模块,明确鼓励关注权重的锐度可以显着优于现有的方法。
2021-06-08 cs.AI cs.CL
Zero-Shot Learning for Joint Intent and Slot Labeling
AWS AI Labs(亚马逊云科技人工智能实验室)
获得面向任务的对话系统的基于训练神经网络(NN)的自然语言理解(NLU)组件所需的大量的任务级意图和令牌级槽标签注释是昂贵且困难的,特别是对于具有大量且不断增长的意图和槽类型的许多现实世界任务。虽然零样本学习方法,不需要标记的例子-只有功能和辅助信息-已经提出了只用于插槽标签,我们表明,可以有利地执行联合zero-shot意图分类和插槽标签。我们证明了捕获意图和插槽之间的依赖关系,以及在zero shot设置中的话语中的不同插槽之间的依赖关系的价值。我们描述了NN架构,翻译之间的单词和句子嵌入空间,并证明这些修改是必要的,使零样本学习这项任务。我们展示了强基线的实质性改进,并通过可视化和消融研究解释了每个架构修改背后的直觉。
2022-11-29 cs.AI cs.CL
The Benefits of Label-Description Training for Zero-Shot Text Classification
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院);Educational Testing Service(教育考试服务中心)
提出标签-描述微调方法,仅用语言描述标签构建小型数据集,在零样本文本分类中显著提升准确率与鲁棒性,并在多领域超越少样本域外分类。
2023-10-23 cs.AI cs.CL
PromptDA: Label-guided Data Augmentation for Prompt-based Few-shot Learners
Illinois Institute of Technology(伊利诺伊理工学院)
大型预训练语言模型(PLM)的最新进展通过特定于任务的微调在自然语言理解(NLU)任务方面取得了令人印象深刻的进展。然而,直接微调PLM严重依赖于足够的标记训练实例,这通常是很难获得的。PLM上的基于数据库的调优已被证明对于各种下游Few-Shot任务是强大的。现有的工作研究Few-Shot自然语言理解任务的基于语义的调整主要集中在派生适当的标签词与动词或生成提示模板,以引出语义从PLM。此外,传统的数据增强策略,如同义词替换,虽然广泛采用在低资源的情况下,只带来边际改进的少样本学习。因此,一个重要的研究问题出现了:如何设计有效的数据增强方法,为基础的Few-Shot调整?为此,考虑到标签语义是必不可少的,在基于标签的调整,我们提出了一种新的标签引导的数据增强的框架BattDA,它利用丰富的标签语义信息的数据增强。在Few-Shot文本分类任务上的大量实验结果表明,该框架通过有效利用标签语义和数据增强进行自然语言理解,具有优异的性能。我们的代码可在https://github.com/canyuchen/PromptDA上获得。
2023-03-22 cs.AI cs.CL
OTTER: Effortless Label Distribution Adaptation of Zero-shot Models
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对零样本模型因预训练数据不平衡导致的标签分布不匹配问题,提出基于最优传输的轻量调整方法OTTER,仅需下游标签分布估计,理论有误差界保证,实验在多类零样本任务上显著优于基线。
2024-10-30 cs.AI cs.LG
Automatic Multi-Label Prompting: Simple and Interpretable Few-Shot Classification
New York University(纽约大学);University of California, San Diego(加州大学圣地亚哥分校)
基于知识的学习(即,提示)是一种用于利用由预训练的语言模型学习的知识的新兴范例。在本文中,我们提出了自动多标签标注(AMuLaP),一个简单而有效的方法来自动选择标签映射的Few-Shot文本分类提示。我们的方法利用一对多的标签映射和一个基于代数的算法来选择标签映射给出一个提示模板。我们的实验表明,AMuLaP达到竞争力的性能,在没有人力或外部资源的情况下,在GLUE基准。
2022-04-14 cs.AI cs.CL cs.LG
Neural Label Search for Zero-Shot Multi-Lingual Extractive Summarization
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Microsoft Research Asia(微软亚洲研究院);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
在zero-shot多语言抽取式文本摘要中,通常在英语摘要数据集上训练模型,然后将其应用于其他语言的摘要数据集。给定英文黄金摘要和文档,用于提取摘要的摘要级标签通常使用语法生成。然而,在英语数据集上创建的这些单语标签在其他语言的数据集上可能不是最佳的,因为不同语言之间存在句法或语义差异。通过这种方式,可以将英语数据集翻译为其他语言,并使用语法学再次获得不同的标签集。为了充分利用这些不同标签集的信息,我们提出了NLSSum(用于摘要的神经标签搜索),它与我们的摘要模型一起学习这些不同标签集的分层权重。我们在MLSUM和WikiLingua数据集上进行了多语言zero-shot摘要实验,并在这两个数据集上使用人工和自动评估实现了最先进的结果。
2022-04-29 cs.AI cs.CL
Zero-Shot and Few-Shot Learning for Lung Cancer Multi-Label Classification using Vision Transformer
Harvard Medical School(哈佛医学院)
肺癌是全球癌症相关死亡的主要原因。肺腺癌(LUAD)和肺鳞状细胞癌(LUSC)是非小细胞肺癌(NSCLC)最常见的组织学亚型。组织学是肺癌诊断的重要工具。病理学家根据优势亚型进行分类。虽然形态学仍然是诊断的标准,但需要开发重要的工具来阐明诊断。在我们的研究中,我们利用预先训练的视觉Transformer(ViT)模型在Zero-Shot和Few-Shot设置下对组织切片(来自数据集LC 25000)上的多标记肺癌进行分类。然后我们比较了Zero-Shot和Few-Shot ViT在准确度、精确度、召回率、灵敏度和特异度方面的性能。我们的研究表明,预训练的ViT模型在Zero-Shot设置中具有良好的性能,在Few-Shot设置中具有竞争力的准确性($99.87\%$)({epoch = 1}),在Few-Shot设置中具有最佳结果($100.00\%$)({epoch = 5})。
2022-05-31 cs.AI cs.CV cs.LG
Label-template based Few-Shot Text Classification with Contrastive Learning
School of Computer Science, Chongqing University(重庆大学计算机学院)
针对现有小样本文本分类元学习方法对类别标签利用不足、依赖类间方差易受噪声影响的问题,提出融合标签模板嵌入、监督对比学习与注意力机制的框架,在四个典型数据集上性能超越现有最先进模型。
2024-12-13 cs.AI cs.CL
Few-shot Node Classification with Extremely Weak Supervision
University of Virginia(弗吉尼亚大学);Arizona State University(亚利桑那州立大学)
Few-Shot节点分类的目的是以有限的标记节点作为参考对节点进行分类。最近的Few-Shot节点分类方法通常从具有丰富标记节点的类(即,元训练类)然后推广到具有有限标记节点的类(即,元测试类)。然而,在现实世界的图,它通常是很难获得丰富的标记节点的许多类。在实践中,每个元训练类只能由几个标记节点组成,称为极弱监督问题。在Few-Shot节点分类中,由于用于元训练的标记节点非常有限,元训练和元测试之间的泛化差距将变得更大,从而导致次优性能。为了解决这个问题,我们研究了一个新的问题,Few-Shot节点分类与极弱的监督,并提出了一个原则性的框架X-FNC下流行的元学习框架。具体来说,我们的目标是在极弱的监督下,在不同的元训练任务中积累元知识,并将这些知识推广到元测试任务中。为了解决标签节点极其稀缺所带来的挑战,我们提出了两个基本模块来获取伪标签节点作为额外的参考,并有效地从极其有限的监督信息中学习。我们进一步在监督极弱的四节点分类数据集上进行了广泛的实验,以验证我们的框架与最先进的基线相比的优越性。
2023-01-06 cs.AI cs.LG
Towards Few-shot Entity Recognition in Document Images: A Label-aware Sequence-to-Sequence Framework
University of California, San Diego(加州大学圣地亚哥分校)
实体识别是理解文档图像的一项基本任务。传统的序列标记框架将实体类型视为类ID,并依赖于大量的数据和高质量的注释来学习语义,这在实践中通常是昂贵的。在本文中,我们的目标是建立一个实体识别模型,只需要几个镜头的注释文档图像。为了克服数据限制,我们建议利用标签表面名称来更好地通知目标实体类型语义的模型,并将标签嵌入到空间嵌入空间中以捕获区域和标签之间的空间对应关系。具体来说,我们超越了序列标记,并开发了一个新的标签感知seq 2seq框架,激光。该模型遵循一个新的标签计划,生成的标签表面名称逐字显式生成实体后。在训练过程中,LASER通过更新标签表面名称表示来细化标签语义,并加强标签区域相关性。通过这种方式,LASER通过语义和布局对应从文档图像中识别实体。在两个基准数据集上的大量实验证明了激光在Few-Shot设置下的优越性。
2022-03-30 cs.AI cs.CL cs.CV
Few Shot Rationale Generation using Self-Training with Dual Teachers
Carnegie Mellon University(卡内基梅隆大学);Amazon(亚马逊)
针对少样本且缺乏大规模人工理由与标签的场景,提出双教师自训练框架及MLR损失,将预测与理由教师蒸馏给多任务学生,提升标签建模和忠实理由生成。
2023-06-05 cs.AI cs.CL
Automatically Identifying Words That Can Serve as Labels for Few-Shot Text Classification
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心(LMU Munich));LMU Munich(慕尼黑大学)
最近的一种用于Few-Shot文本分类的方法是将文本输入转换为包含某种形式的任务描述的完形填空题,用预先训练的语言模型处理它们,并将预测的单词映射到标签。手动定义单词和标签之间的映射需要领域专业知识和对语言模型能力的理解。为了缓解这个问题,我们设计了一种方法,自动找到这样的映射给少量的训练数据。对于许多任务,我们的方法找到的映射执行几乎手工制作的标签到单词的映射。
2020-10-26 cs.AI cs.CL cs.LG
Active PETs: Active Data Annotation Prioritisation for Few-Shot Claim Verification with Pattern Exploiting Training
Queen Mary University of London(伦敦玛丽女王大学)
为了减轻标签数据的稀缺性对事实核查系统的影响,我们专注于Few-Shot索赔验证。尽管最近通过提出先进的语言模型对Few-Shot分类进行了研究,但缺乏对数据注释优先级的研究,以提高对要标记的少数镜头的选择以获得最佳模型性能。我们提出了主动PET,一种新的加权方法,利用各种语言模型的基础上的模式开发训练(PET)模型的合奏,积极选择未标记的数据作为候选人的注释。使用主动PET进行Few-Shot数据选择,在两个技术事实检查数据集上使用六种不同的预训练语言模型,显示出与基线方法相比的一致改进。我们展示了Active PETs-o的进一步改进,它进一步集成了过采样策略。我们的方法可以有效地选择要标记的实例,其中未标记的数据丰富,但标记的资源有限,从而不断提高Few-Shot声明验证性能。我们的代码可用。
2022-10-11 cs.AI cs.CL
Label-enhanced Prototypical Network with Contrastive Learning for Multi-label Few-shot Aspect Category Detection
Dalian University of Technology(大连理工大学);Peking University(北京大学)
多标记体类别检测允许一个评论语句包含多个体类别,在情感分析中具有更好的实用性,并受到越来越多的关注。由于标注大量数据是耗时且劳动密集型的,在现实世界的场景中经常发生数据稀缺,这激发了多标签Few-Shot方面类别检测。然而,对这一问题的研究仍处于起步阶段,可用的方法很少。在本文中,我们提出了一种新的标签增强的原型网络(LPN)的多标签Few-Shot方面类别检测。LPN的亮点可以总结如下。首先,它利用标签描述作为辅助知识来学习更多的判别原型,它可以保留方面相关的信息,同时消除不相关的方面造成的有害影响。其次,它与对比学习相结合,鼓励具有相同体标签的句子在嵌入空间中被拉到一起,同时将具有不同体标签的句子推开。此外,本文还引入了自适应多标签推理模块来预测句子中的体数,该方法简单而有效。在三个数据集上的大量实验结果表明,我们提出的模型LPN可以始终如一地实现最先进的性能。
2022-06-14 cs.AI cs.CL cs.LG
Progressive Ensemble Networks for Zero-Shot Recognition
Temple University(天普大学);Carleton University(卡尔顿大学)
尽管监督图像识别算法的进步,它们对标记数据的可用性和图像类别的快速扩展的依赖提出了零样本学习的重大挑战。零样本学习(Zero-shot learning,缩写为ZRL)旨在将知识从标记的类转移到未标记的类,以减少人类标记的努力。本文提出了一种新的渐进集成网络模型,该模型具有多个投影标签嵌入,以解决zero-shot图像识别问题。集成网络是通过学习多个图像分类功能与共享的特征提取网络,但不同的标签嵌入表示,这增强了分类器的多样性,并促进信息转移到未标记的类。然后,部署渐进训练框架,以逐渐用预测的伪标签标记每个未标记类中最有信心的图像,并用伪标签增强的训练数据更新系综网络。该模型对标记和未标记数据进行训练。它可以自然地桥接视觉外观中的域移位问题,并被扩展到广义零样本学习场景。我们在多个数据集上进行了实验,实验结果证明了该模型的有效性。
2019-04-06 cs.AI cs.CV cs.LG
Boosting Meta-Learning for Few-Shot Text Classification via Label-guided Distance Scaling
Dalian University of Technology(大连理工大学)
本文提出标签引导的距离缩放策略,通过利用标签语义提升少样本文本分类的性能,实验表明其优于现有方法。
2026-02-28 cs.AI cs.LG
Generating Pseudo-labels Adaptively for Few-shot Model-Agnostic Meta-Learning
Huazhong University of Science and Technology(华中科技大学)
模型不可知元学习(MAML)是一种著名的少样本学习方法,它激发了许多后续工作,如ANIL和BOIL。然而,作为一种归纳方法,MAML无法充分利用查询集的信息,限制了其获得更高通用性的潜力。为了解决这个问题,我们提出了一种简单而有效的方法,自适应地生成伪标签,并可以提高MAML家族的性能。所提出的方法,被称为基于生成伪标签的MAML(GP-MAML),GP-ANIL和GP-BOIL,利用查询集的统计数据,以提高新任务的性能。具体来说,我们自适应地添加伪标签并从查询集中挑选样本,然后使用挑选的查询样本和支持集重新训练模型。GP系列还可以在元测试期间使用来自伪查询集的信息来重新训练网络。而一些转导方法,如转导传播网络(TPN),努力实现这一目标。
2022-07-09 cs.AI cs.LG
Few-Shot Partial-Label Learning
Shandong University(山东大学);Joint SDU-NTU Centre for Artificial Intelligence Research, Shandong University(山东大学山东大学-南洋理工大学人工智能联合研究院);George Mason University(乔治梅森大学)
部分标签学习(PLL)通常侧重于通过对过度注释的样本进行训练来诱导噪声容忍的多类分类器,每个样本都用一组标签进行注释,但只有一个是有效标签。现有PLL解决方案的基本承诺是有足够的部分标记(PL)样本用于训练。然而,在处理新任务时,手头上只有几个PL样本比没有PL样本更常见。此外,现有的少样本学习算法假设支持集的精确标签;因此,不相关的标签可能会严重误导元学习者,从而导致性能受损。如何在少样本学习设置下启用PLL是一个重要的问题,但尚未得到很好的研究。在本文中,我们介绍了一种称为FsPLL(Few-Shot PLL)的方法。FsPLL首先通过嵌入网络进行自适应距离度量学习,并对先前遇到的任务进行校正原型。接下来,它计算嵌入网络中新任务的每个类的原型。一个看不见的例子可以通过它到每个原型的距离来分类。在广泛使用的Few-Shot数据集(Omniglot和miniImageNet)上的实验结果表明,我们的FsPLL可以在不同的设置中实现比最先进的方法更优越的性能,并且它需要更少的样本来快速适应新的任务。
2021-06-02 cs.AI cs.CL cs.LG
One-Shot Multi-Label Causal Discovery in High-Dimensional Event Sequences
BMW Group(宝马集团);Chair for Machine Learning and Computer Vision, Augsburg University(机器学习与计算机视觉主任,埃施魏尔大学)
针对高维事件序列因果发现现有方法无法扩展的问题,提出单样本因果自回归方法OSCAR,利用预训练Transformer推断马尔可夫边界,在真实汽车数据集上快速恢复可解释因果结构,支持生产规模诊断。
2025-11-13 cs.AI cs.LG
Towards Practical Multi-label Causal Discovery in High-Dimensional Event Sequences via One-Shot Graph Aggregation
BMW Group(宝马集团);Chair for Machine Learning and Computer Vision, Augsburg University(机器学习与计算机视觉主任,艾尔堡大学)
CARGO通过一次图聚合方法,在高维事件序列中实现高效的多标签因果发现,适用于医疗和车辆诊断等复杂场景。
2025-12-12 cs.AI cs.LG
Multi-Label Zero-Shot Human Action Recognition via Joint Latent Ranking Embedding
The University of Manchester(曼彻斯特大学)
人体动作识别是指从视频片段中自动识别人体动作。在现实中,视频流中经常存在多个人类动作。这样的视频流通常在全局级别上用一组相关的人类动作标签进行弱注释,而不是将每个标签分配给对应于单个动作的特定视频片段,这导致了多标签学习问题。此外,现实中存在许多有意义的人类动作,但是收集/注释关于所有各种人类动作的视频剪辑将是极其困难的,这导致零样本学习场景。据我们所知,还没有一项工作在人类行为识别中同时解决了上述所有问题。在本文中,我们制定了一个现实世界中的人类动作识别任务作为一个多标签零样本学习问题,并提出了一个框架来解决这个问题的整体方式。我们的框架从整体上解决了多标签学习的不同动作之间的未知时间边界问题,并利用了关于知识转移的不同人类动作之间的语义关系的辅助信息。因此,我们的框架导致一个联合潜在的排名嵌入多标签zero-shot人类动作识别。提出了一种新的双分量模型神经网络结构和交替学习算法来实现联合隐排序嵌入学习。因此,多标签zero-shot识别是通过在联合潜在视觉和语义嵌入空间中测量动作标签与测试视频剪辑的相关性分数来完成的。我们用不同的设置来评估我们的框架,包括一个专门为评估多标签零样本学习而设计的新型数据分割方案,在两个数据集上:早餐和字谜。实验结果证明了该框架的有效性。
2019-02-06 cs.AI cs.CV cs.LG
Cross-modal Zero-shot Hashing by Label Attributes Embedding
Southwest University(西南大学);Shandong University(山东大学);Joint SDU-NTU Centre for Artificial Intelligence Research(山东大学-南洋理工大学人工智能联合研究中心);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);George Mason University(乔治梅森大学)
跨模态哈希算法是跨模态近似最近邻搜索中最有前途的方法之一。大多数CMH解决方案理想地假设训练集和测试集的标签是相同的。然而,该假设经常被违反,导致zero-shot CMH问题。最近的努力,以解决这个问题的重点是转移知识从可见的类看不见的标签属性。然而,属性是孤立的多模态数据的特征。为了减少信息差距,我们引入了一种方法,称为LAEH(标签属性嵌入zero-shot跨模态哈希)。LAEH首先通过word2vec模型得到标签的初始语义属性向量,然后使用一个转换网络将它们转换到一个公共子空间中。接下来,它利用哈希向量和特征相似性矩阵来指导不同模态的特征提取网络。同时,利用属性相似度作为标签相似度的补充,对标签嵌入和公共子空间进行修正。实验表明,LAEH算法优于相关的代表性的zero-shot和跨模态散列方法。
2021-11-07 cs.AI cs.CV cs.LG
Iterative label cleaning for transductive and semi-supervised few-shot learning
Imperial College London(帝国理工学院);Inria(法国国家信息与自动化研究所);Univ Rennes(雷恩大学);CNRS(法国国家科学研究中心);IRISA(法国雷恩信息与自动化系统研究所)
少样本学习相当于学习表示和获取知识,使得可以在监督和数据都有限的情况下解决新的任务。通过转换推理和半监督学习可以提高性能,其中转换推理可以同时获得整个测试集,而半监督学习可以获得更多未标记的数据。针对这两种设置,我们引入了一种新的算法,该算法利用标记和未标记数据分布的流形结构来预测伪标签,同时平衡类并使用有限容量分类器的损失值分布来选择最干净的标签,迭代地提高伪标签的质量。我们的解决方案超越或匹配四个基准数据集的最新结果,即miniImageNet,tieredImageNet,CUB和CIFAR-FS,同时在特征空间预处理和可用数据量方面具有鲁棒性。可以在https://github.com/MichalisLazarou/iLPC中找到公开的源代码。
2023-03-28 cs.AI cs.CV cs.LG
mCPT at SemEval-2023 Task 3: Multilingual Label-Aware Contrastive Pre-Training of Transformers for Few- and Zero-shot Framing Detection
Graz University of Technology(格拉茨技术大学)
本文提出基于多语言Transformers和标签感知对比损失函数的预训练系统,解决多语言少样本与零样本框架检测问题,在零样本西班牙语任务中获胜并在8种语言中表现优异。
2023-08-01 cs.AI cs.CL cs.LG
Self-Training Pre-Trained Language Models for Zero- and Few-Shot Multi-Dialectal Arabic Sequence Labeling
Cairo University(开罗大学);University of British Columbia(不列颠哥伦比亚大学);The British University in Dubai(迪拜英国大学)
通常需要足够量的注释数据来微调用于下游任务的预训练语言模型。不幸的是,获取标记数据的成本可能很高,特别是对于多种语言和方言。我们建议在零和Few-Shot场景中自我训练预先训练的语言模型,以仅使用来自数据丰富的资源来提高数据稀缺品种的性能。我们证明了我们的方法在阿拉伯语序列标签的上下文中使用的语言模型微调现代标准阿拉伯语(MSA)只预测命名实体(NE)和部分的语音(POS)标签的几个方言阿拉伯语(DA)品种。我们表明,自我训练确实是强大的,提高zero-shot MSA到DA的传输高达\texttildelow 10\ %F $_1$(NER)和2\ %的准确性(POS标记)。我们在标记数据量有限的Few-Shot场景中获得了更好的性能。我们进行了一项消融研究,并表明直接观察到的性能提升来自用于自我训练的未标记DA示例。我们的工作开辟了机会,开发DA模型只利用MSA资源,它可以扩展到其他语言和任务。我们的代码和微调模型可以在www.example.com上访问。
2021-02-02 cs.AI cs.CL cs.NE
Transductive Few-shot Learning with Prototype-based Label Propagation by Iterative Graph Refinement
Australian National University(澳大利亚国立大学);Data61(数据61);CSIRO(联邦科学与工业研究组织)
针对直推式少样本学习中原型估计不准与核函数图构建次优的问题,提出随原型迭代更新的原型-样本关系图及原型标签传播方法,并在多个数据集上取得SOTA。
2023-04-23 cs.AI cs.CV cs.LG
Zero-shot Audio Source Separation through Query-based Learning from Weakly-labeled Data
Bytedance(字节跳动)
用于将音频分离成不同声源的深度学习技术面临若干挑战。标准架构需要为不同类型的音频源训练单独的模型。尽管一些通用分离器采用单一模型来针对多个源,但它们难以推广到看不见的源。在本文中,我们提出了一个三组件管道训练一个通用的音频源分离器从一个大的,但弱标记的数据集:AudioSet。首先,我们提出了一个基于变压器的声音事件检测系统处理弱标记的训练数据。其次,我们设计了一个基于查询的音频分离模型,利用这些数据进行模型训练。第三,我们设计了一个潜在的嵌入处理器来编码查询,指定音频目标分离,允许zero-shot泛化。我们的方法使用单个模型进行多个声音类型的声源分离,并且仅依赖于弱标记数据进行训练。此外,所提出的音频分离器可以在zero-shot设置中使用,学习分离在训练中从未见过的音频源类型。为了评估分离性能,我们在MUSDB 18上测试了我们的模型,同时在不相交的AudioSet上进行了训练。我们进一步验证了zero-shot性能进行另一个实验的音频源类型,是从培训。在这两种情况下,该模型都实现了与当前监督模型相当的源失真比(SDR)性能。
2022-02-12 cs.AI cs.LG cs.MM