Generating Pseudo-labels Adaptively for Few-shot Model-Agnostic Meta-Learning
Huazhong University of Science and Technology(华中科技大学)
模型不可知元学习(MAML)是一种著名的少样本学习方法,它激发了许多后续工作,如ANIL和BOIL。然而,作为一种归纳方法,MAML无法充分利用查询集的信息,限制了其获得更高通用性的潜力。为了解决这个问题,我们提出了一种简单而有效的方法,自适应地生成伪标签,并可以提高MAML家族的性能。所提出的方法,被称为基于生成伪标签的MAML(GP-MAML),GP-ANIL和GP-BOIL,利用查询集的统计数据,以提高新任务的性能。具体来说,我们自适应地添加伪标签并从查询集中挑选样本,然后使用挑选的查询样本和支持集重新训练模型。GP系列还可以在元测试期间使用来自伪查询集的信息来重新训练网络。而一些转导方法,如转导传播网络(TPN),努力实现这一目标。
2022-07-09 cs.AI cs.LG
Understanding Cross-Domain Few-Shot Learning Based on Domain Similarity and Few-Shot Difficulty
KAIST(韩国科学技术院);NAVER AI Lab(NAVER人工智能实验室);SNU AIIS(首尔大学人工智能研究所)
跨域少样本学习(CD-FSL)在处理源域和目标域之间的巨大差异方面引起了越来越多的关注-这是现实世界场景中的一个重要问题。为了克服这些巨大的差异,最近的工作已经考虑在预训练阶段利用来自目标域的小规模未标记数据。除了在源域上进行有监督的预训练之外,这些数据还可以在目标域上进行自我监督的预训练。在本文中,我们经验性地研究了基于领域相似性和目标领域的Few-Shot难度的预训练。我们发现,当目标域与源域不相似或目标域本身具有低Few-Shot难度时,自监督预训练的性能增益比监督预训练大。我们进一步设计了两个预训练方案,混合监督和两阶段学习,提高性能。在这种情况下,我们提出了六个研究结果的CD-FSL,这是支持广泛的实验和分析的三个源和八个目标基准数据集不同程度的域相似性和Few-Shot的难度。我们的代码可在https://github.com/sungnyun/understanding-cdfsl上获得。
2022-10-12 cs.LG
Optimizing GPT for Video Understanding: Zero-Shot Performance and Prompt Engineering
Tiktok Inc.(字节跳动公司)
本研究针对视频内容分类的行业挑战,提出通过提示优化和策略细化提升GPT的零样本分类性能,并引入基于分解-聚合的提示工程技术,实验表明该方法无需额外微调即可显著提升分类效果。
2025-04-25 cs.CL cs.CV cs.LG
Generating Classification Weights with GNN Denoising Autoencoders for Few-Shot Learning
University Paris-Est(巴黎东大学);Ecole des Ponts ParisTech(巴黎高科桥路学院)
给定一个已经在一组基类上训练过的初始识别模型,这项工作的目标是为少样本学习开发一个元模型。元模型,作为输入的一些新的类,几乎没有训练样本每类,必须适当地适应现有的识别模型到一个新的模型,可以正确地分类在一个统一的方式,新的和基本类。为了实现这一目标,它必须学会为这两种类型的类输出适当的分类权重向量。为了构建我们的元模型,我们使用了两个主要的创新:我们提出使用去噪自动编码器网络(DAE),该网络(在训练期间)将一组被高斯噪声破坏的分类权重作为输入,并学习重建目标区分分类权重。在这种情况下,在分类权重上注入的噪声起到正则化权重生成元模型的作用。此外,为了捕获我们的元模型的给定任务实例中不同类之间的相互依赖关系,我们建议将DAE模型实现为图神经网络(GNN)。为了验证我们的方法的有效性,我们在基于ImageNet的Few-Shot基准测试中对其进行了广泛的评估,并报告了超过先前方法的强有力的结果。我们论文的代码和模型将发布在:https://github.com/gidariss/wDAE_GNN_FewShot
2019-05-03 cs.CV cs.LG
SpeechLLMs for Large-scale Contextualized Zero-shot Slot Filling
Uniphore
本文针对口语理解中的槽位填充任务,利用speechLLMs建立经验上界,通过改进训练数据、架构和策略显著缩小性能差距,实现零样本泛化。
2025-10-17 cs.CL cs.LG
Generating Educational Materials with Different Levels of Readability using LLMs
MetaMetrics Inc.(美特斯麦特公司);Pennsylvania State University(宾夕法尼亚州立大学)
本研究提出分级文本生成任务,评估三款大模型通过零样本和少样本提示生成不同可读性教育材料的能力,发现少样本提示可提升性能,同时指出存在错误信息等问题,需进一步研究保障内容质量。
2024-06-18 cs.CL cs.HC
Unraveling Meta-Learning: Understanding Feature Representations for Few-Shot Tasks
University of Maryland, College Park(马里兰大学学院市分校)
元学习算法产生的特征提取器在Few-Shot分类上实现了最先进的性能。虽然文献中有丰富的元学习方法,但很少有人知道为什么最终的特征提取器表现如此出色。我们更好地理解了元学习的基本机制,以及使用元学习训练的模型与经典训练的模型之间的差异。在此过程中,我们介绍并验证了为什么元学习模型表现更好的几个假设。此外,我们开发了一个正则化,提高性能的标准训练例程的Few-Shot分类。在许多情况下,我们的例程优于元学习,同时运行速度快了一个数量级。
2020-07-01 cs.CV cs.LG stat.ML
SPARSEFIT: Few-shot Prompting with Sparse Fine-tuning for Jointly Generating Predictions and Natural Language Explanations
ETH Zürich(苏黎世联邦理工学院);University of Edinburgh(爱丁堡大学);University College London(伦敦大学学院)
本文提出 SparseFit 稀疏少样本微调策略,通过离散提示联合生成预测与自然语言解释,仅微调 6.8% 参数即可在性能和解释质量上达到或超越全量微调及现有参数高效微调方法。
2024-08-11 cs.AI cs.CL
Unified BERT for Few-shot Natural Language Understanding
International Digital Economy Academy(国际数字经济学院);South China University of Technology(华南理工大学)
即使预先训练的语言模型共享语义编码器,自然语言理解也会受到输出模式多样性的影响。本文在BERT框架的基础上,提出了一种统一的双向语言理解模型UBERT,它可以通过一个双仿射网络对不同自然语言理解任务的训练对象进行统一建模。具体而言,UBERT从各个方面对先验知识进行编码,统一构建跨多个NLU任务的学习表示,有利于增强捕捉共同语义理解的能力。通过使用双仿射来建模原始文本的开始和结束位置的分数对,可以将各种分类和提取结构转换为通用的跨度解码方法。实验表明,UBERT在2022 AIWIN -世界人工智能创新大赛、中国保险Few-Shot多任务赛道中斩获一等奖,实现了广泛信息抽取和语言推理任务的统一。
2022-08-13 cs.AI cs.CL
Prompt Balance Matters: Understanding How Imbalanced Few-Shot Learning Affects Multilingual Sense Disambiguation in LLMs
Department of Computer Science, Swansea University(计算机科学系,萨斯奎汉大学)
本研究针对少样本提示中样本分布不平衡的问题,采用GLOSSGPT提示法在五种语言上测试,发现不平衡样本会引发多语言词义消歧偏差,强调需采用平衡的提示策略。
2025-10-04 cs.CL
Extracting Zero-shot Common Sense from Large Language Models for Robot 3D Scene Understanding
Massachusetts Institute of Technology(麻省理工学院)
语义三维场景理解是机器人领域的一个重要问题。虽然在同时定位与地图构建算法方面已经取得了重大进展,但机器人仍然远不具备普通人关于家庭物体及其位置的常识知识。我们介绍了一种新的方法,利用常识嵌入在大语言模型的标签房间内包含的对象。该算法具有以下额外好处:(i)不需要特定于任务的预训练(完全在zero-shot机制中操作);(ii)推广到任意房间和对象标签,包括以前未见过的标签-这两者都是机器人场景理解算法中非常理想的特征。所提出的算法在由现代空间感知系统产生的3D场景图上操作,我们希望它将为机器人技术的更通用和可扩展的高级3D场景理解铺平道路。
2022-06-19 cs.CL cs.RO
Retrieving Versus Understanding Extractive Evidence in Few-Shot Learning
University of New Hampshire(新罕布什尔大学)
本研究针对小样本场景下大语言模型的文档内证据检索与解读关系展开分析,通过在五数据集上用两款闭源模型实验及消融研究,发现预测与检索错误强相关,但检索与解读错误多无关联,为下游应用提供了积极参考。
2025-02-19 cs.CL
Negative Margin Matters: Understanding Margin in Few-shot Classification
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);Xi’an Jiaotong University(西安交通大学)
本文在基于度量学习的少样本学习方法中引入了负间隔损失。负边际损失显著优于常规softmax损失,并在三个标准的Few-Shot分类基准上实现了最先进的准确性,几乎没有花里胡哨的东西。这些结果与度量学习领域的通常做法相反,即边际为零或正值。为了理解为什么负边缘损失对于Few-Shot分类表现良好,我们从经验和理论上分析了学习特征对于训练和新类的不同边缘的可辨别性。我们发现,虽然负边缘降低了训练类的特征区分度,但它也可以避免将同一新类的样本错误地映射到多个峰值或聚类,从而有利于新类的区分。代码可在https://github.com/bl0/negative-margin.few-shot上获得。
2020-03-26 cs.CV cs.LG stat.ML
Irony Detection, Reasoning and Understanding in Zero-shot Learning
\IEEEauthorblockN(作者)
针对反讽检测跨场景泛化难题,本文提出 IDADP 框架,利用聚焦反讽的提示增强 LLM 的零样本检测、推理与语义理解,并指出未来研究方向。
2025-06-11 cs.AI cs.CL
HeGTa: Leveraging Heterogeneous Graph-enhanced Large Language Models for Few-shot Complex Table Understanding
Southeast University(东南大学);Monash University(莫纳什大学);The University of Manchester(曼彻斯特大学);Alibaba Group(阿里巴巴集团);Nanjing University(南京大学)
针对少样本复杂表格理解中标注稀缺和结构复杂的问题,提出异构图增强LLM框架HGT,通过软提示对齐语义和多粒度自监督预训练,在多个基准上超越SOTA。
2024-12-15 cs.AI cs.CL cs.DB
A Zero-Shot Open-Vocabulary Pipeline for Dialogue Understanding
Koç University(科克大学);KUIS AI Lab(库伊斯人工智能实验室)
本文提出一种零样本开放词汇流水线,将领域分类与DST统一,并通过问答重构和自我精炼提示,在Multi-WOZ 2.1上以更少API请求实现最高20%的JGA提升。
2025-03-07 cs.AI cs.CL
Zero-Shot Scene Understanding with Multimodal Large Language Models for Automated Vehicles
Queensland University of Technology(昆士兰科技大学);Al-Ahliyya Amman University(阿曼尼亚阿曼大学);Arab American University(阿拉伯美国大学)
该研究评估4款多模态大模型在自动驾驶零样本场景理解中的表现,探索多数投票集成法的效果,发现GPT-4o性能领先但与小模型差距不大,集成法效果不一,为自动驾驶场景下的多模态大模型优化提供参考。
2025-03-18 cs.CL cs.CV
CHORUS: Zero-shot Hierarchical Retrieval and Orchestration for Generating Linear Programming Code
School of Computing, Queen’s University, Ontario, Canada(计算学院,皇后大学,安大略省,加拿大)
CHORUS通过分层分块、两阶段检索与结构化推理的RAG框架,显著提升开源LLM从自然语言生成Gurobi线性规划代码的性能,在NL4Opt-Code上超越或匹敌GPT3.5/GPT4。
2025-05-02 cs.AI cs.CL
Few Shot Rationale Generation using Self-Training with Dual Teachers
Carnegie Mellon University(卡内基梅隆大学);Amazon(亚马逊)
针对少样本且缺乏大规模人工理由与标签的场景,提出双教师自训练框架及MLR损失,将预测与理由教师蒸馏给多任务学生,提升标签建模和忠实理由生成。
2023-06-05 cs.AI cs.CL
Beyond Scale: Small Language Models are Comparable to GPT-4 in Mental Health Understanding
University of Melbourne(墨尔本大学);University of Auckland(奥克兰大学);RMIT University(皇家墨尔本理工学院)
本文系统评估了小型语言模型在六项心理健康理解任务上的表现,发现其零样本性能与大型模型相差不到2%,少样本提示可带来高达14.6%的提升,证明了其作为隐私保护型可扩展心理健康筛查工具的潜力。
2025-07-14 cs.CL
Few-Shot Character Understanding in Movies as an Assessment to Meta-Learning of Theory-of-Mind
Pattern Recognition Center, WeChat AI(微信AI模式识别中心);Syracuse University(雪城大学);New Jersey Institute of Technology(新泽西理工学院);Lehigh University(里海大学)
本文提出ToM-in-AMC数据集,评估机器在电影叙事中少样本角色理解的心智理论元学习能力,并设计ToM提示方法,发现现有模型(如GPT-4)在此任务上落后人类超过20%。
2024-02-02 cs.AI cs.CL
Understanding Zero-shot Rare Word Recognition Improvements Through LLM Integration
本研究通过集成大语言模型与语音识别系统,在190,000小时数据集上验证了LLM-ASR架构在零样本罕见词识别上优于传统模型,并揭示了LLM对罕见词错误率的改进及适配器和高质量数据的关键作用。
2025-02-22 cs.CL eess.AS
The ADAIO System at the BEA-2023 Shared Task on Generating AI Teacher Responses in Educational Dialogues
Center for Speech Technology Research(言语技术研究中心);University of Edinburgh(爱丁堡大学);Istituto Italiano di Tecnologia(意大利技术研究院);Università di Ferrara(费拉拉大学)
该研究提出ADAIO参赛系统,利用OpenAI GPT-3评估基线并设计提示,以text-davinci-003的少样本提示方法在BEA-2023共享任务中获得第二名。
2023-06-08 cs.AI cs.CL cs.CY
STD-PLM: Understanding Both Spatial and Temporal Properties of Spatial-Temporal Data with PLM
针对现有时空预测与补全方法任务单一、少/零样本效果差且PLM时空关联建模不足的问题,本文提出STD-PLM模型,通过时空分词器、拓扑感知节点嵌入及沙漏注意力模块,实现两类任务的高性能与强泛化。
2025-05-20 cs.AI cs.LG
A Video Is Worth 4096 Tokens: Verbalize Videos To Understand Them In Zero Shot
Adobe Media and Data Science Research (MDSR)(Adobe媒体与数据科学研究(MDSR));IIIT-Delhi(德里印度理工学院);State University of New York at Buffalo(纽约州立大学布法罗分校)
本文提出将长视频言语化为自然语言描述,再利用大语言模型进行零样本视频理解,在十五项任务上超越监督基线,并发布了首个说服策略识别数据集。
2023-10-26 cs.CL cs.CV
Evaluating Multimodal Large Language Models on Spoken Sarcasm Detection
University of Groningen, The Netherlands(Groningen大学,荷兰)
本文系统评估了LLMs和MLLMs在英汉口语讽刺检测中的表现,发现音频相关组合最优,且Qwen-Omni等模型具备跨语言多模态讽刺理解潜力。
2026-10-20 cs.CL cs.MM
Assume, Augment and Learn: Unsupervised Few-Shot Meta-Learning via Random Labels and Data Augmentation
University of Edinburgh(爱丁堡大学)
Few-Shot学习的领域已经在监督设置中进行了艰苦的探索,其中每个类的标签是可用的。另一方面,无监督的Few-Shot学习设置,其中不需要任何类型的标签,几乎没有调查。我们提出了一种方法,命名为假设,扩增和学习或AAL,用于生成Few-Shot任务使用未标记的数据。我们从未标记的数据集中随机标记图像的随机子集以生成支持集。然后通过对支持集的图像进行数据扩充,并重用支持集的标签,得到目标集。得到的Few-Shot任务可以用于训练任何标准的元学习框架。一旦经过训练,这样的模型可以直接应用于小型实标记数据集,而无需任何更改或微调。在我们的实验中,学习模型在Omniglot和Mini-Imagenet上的各种已建立的Few-Shot学习任务中实现了良好的泛化性能。
2019-03-05 cs.LG stat.ML
Generating Scientific Claims for Zero-Shot Scientific Fact Checking
University of Copenhagen(哥本哈根大学);University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
由于科学语言的复杂性和缺乏大量的训练数据,自动化的科学事实检查是困难的,因为注释需要领域专业知识。为了解决这一挑战,我们提出了科学的索赔生成,从科学的句子生成一个或多个原子和可验证的索赔的任务,并证明其实用性的zero-shot事实检查的生物医学索赔。我们提出了索赔BART,一个新的监督方法生成索赔文献支持,以及KBIN,一种新的方法生成索赔否定。此外,我们适应现有的无监督的实体为中心的索赔生成方法的生物医学索赔,我们称之为索赔实体。zero-shot事实检查的实验表明,CLAIMGEN-ENTITY和CLAIMGEN-BART,加上KBIN,实现了高达90%的性能完全监督模型训练手动注释的索赔和证据。一项严格的评估研究表明,与现有基线相比,生成的索赔和否定质量有了显著改善
2022-03-24 cs.CL
FewNLU: Benchmarking State-of-the-Art Methods for Few-Shot Natural Language Understanding
Tsinghua University(清华大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院);BAAI(北京智源人工智能研究院);Shanghai Qi Zhi Institute(上海期智研究院)
Few-Shot自然语言理解(NLU)任务最近引起了很多关注。然而,先前的方法是在一组不同的协议下进行评估的,这阻碍了公平的比较和测量该领域的进展。为了解决这个问题,我们引入了一个评估框架,在三个关键方面改进了以前的评估程序,即,测试性能、开发测试相关性和稳定性。在这个新的评估框架下,我们重新评估了几个国家的最先进的Few-Shot方法的NLU任务。我们的框架揭示了新的见解:(1)在以前的文献中,方法的绝对性能和相对差距都没有准确估计;(2)没有一种方法在大多数任务中具有一致的性能;(3)随着预训练模型的增大,某些方法的改进会减少;以及(4)来自不同方法的增益通常是互补的,并且最佳组合模型的性能接近于强的全监督基线。我们开源了我们的工具包FewNLU,它实现了我们的评估框架以及一些最先进的方法。
2022-03-15 cs.CL cs.LG
Vector Projection Network for Few-shot Slot Tagging in Natural Language Understanding
Shanghai Jiao Tong University(上海交通大学)
由于会话对话系统的巨大发展,Few-Shot槽标记变得对快速域转移和适应有吸引力。在本文中,我们提出了一个矢量投影网络的Few-Shot槽标记,利用投影的上下文词嵌入每个目标标签向量作为词标签的相似性。本质上,这种方法相当于具有自适应偏差的归一化线性模型。对比实验表明,我们提出的基于向量投影的相似性度量可以显着优于其他变种。具体来说,在基准SNIPS和NER的五次设置中,我们的方法分别通过F $_1$分数上的$6.30$和$13.79$点优于最强的少样本学习基线。我们的代码将在https://github.com/sz128/few_shot_slot_tagging_and_NER上发布。
2020-09-22 cs.CL
Towards a Better Understanding of Variations in Zero-Shot Neural Machine Translation Performance
University of Amsterdam(阿姆斯特丹大学)
本文通过40种语言、1560个语言方向的实验,揭示零样本神经机器翻译性能高度变化的三个关键因素:目标端翻译能力、词汇重叠和语言属性,并指出偏离目标问题只是零样本性能不足的症状。
2023-10-31 cs.CL cs.LG
Understanding and Mitigating the Uncertainty in Zero-Shot Translation
本文从不确定性角度分析零样本翻译中的偏离目标问题,识别外在数据不确定性和内在模型不确定性,并提出数据去噪与非似然训练两种互补方法,显著提升零样本翻译性能。
2024-10-19 cs.AI cs.CL cs.LG
Zero-Shot Adaptive Transfer for Conversational Language Understanding
Microsoft Corporation(微软公司)
像Alexa和Google Assistant这样的会话代理需要不断通过添加新的域来提高其语言理解能力。训练每个新领域需要大量的标记数据。虽然领域自适应方法减轻了注释成本,但是现有方法受到增加的训练时间和次优概念对齐的影响。为了解决这个问题,我们引入了一种新的Zero-Shot自适应传输方法槽标记,利用槽描述跨域传输可重用的概念,并享有有效的训练,没有任何明确的概念对齐。在与我们的商业个人数字助理相关的10个域的数据集上进行的广泛实验表明,我们的模型在很大程度上优于以前的最先进的系统,并且在低数据状态下实现了更高的改进。
2018-08-29 cs.CL
Cross-lingual Spoken Language Understanding with Regularized Representation Alignment
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));Department of Electronic and Computer Engineering(电子与计算机工程系);The Hong Kong University of Science and Technology(香港科技大学)
尽管目前的口语语言理解系统的跨语言模型的有希望的结果,他们仍然遭受不完善的跨语言表示之间的源和目标语言,这使得性能次优的对齐。为了解决这个问题,我们提出了一种正则化方法来进一步调整跨语言的单词级和单词级表示,而无需任何外部资源。首先,我们规范化的表示用户话语的基础上,其相应的标签。其次,我们正则化潜变量模型(Liu et al.,2019)通过利用对抗性训练来解开潜在变量。跨语言语言理解任务的实验表明,我们的模型优于当前国家的最先进的方法在两个Few-Shot和zero-shot的情况下,我们的模型,训练在一个Few-Shot设置只有3\%的目标语言训练数据,达到相当的性能与所有训练数据的监督训练。
2020-09-30 cs.CL cs.LG
VideoCLIP: Contrastive Pre-training for Zero-shot Video-Text Understanding
Facebook AI(脸书人工智能研究院);Carnegie Mellon University(卡内基梅隆大学)
我们提出了VideoCLIP,这是一种对比方法,用于预训练zero-shot视频和文本理解的统一模型,而无需在下游任务上使用任何标签。VideoCLIP通过将时间上重叠的正视频-文本对与最近邻检索的硬否定进行对比,来训练视频和文本的Transformer。我们对一系列下游任务的实验,包括序列级文本视频检索,VideoQA,令牌级动作定位和动作分割,揭示了最先进的性能,超过了先前的工作,在某些情况下甚至优于监督方法。代码可在https://github.com/pytorch/fairseq/tree/main/examples/MMPT上获得。
2021-10-01 cs.CL cs.CV
I$^2$KD-SLU: An Intra-Inter Knowledge Distillation Framework for Zero-Shot Cross-Lingual Spoken Language Understanding
Fudan University(复旦大学)
针对零样本跨语言SLU中意图与槽位缺乏相互引导的问题,提出I²KD-SLU框架,通过语言内同类预测蒸馏及意图-槽位跨任务蒸馏,在MultiATIS++上达到新SOTA。
2023-10-04 cs.CL
FewJoint: A Few-shot Learning Benchmark for Joint Language Understanding
Harbin Institute of Technology(哈尔滨工业大学);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室)
少样本学习(FSL)是机器学习未来的关键步骤之一,并引起了广泛的关注。然而,与计算机视觉等其他领域的快速发展相比,自然语言处理领域的FSL的发展要缓慢得多。其中一个主要原因是缺乏公共基准。NLP FSL研究总是在自己构建的Few-Shot数据集上报告新的结果,这在结果比较中是相当低效的,从而阻碍了累积进展。在本文中,我们提出了FewJoint,一个新的NLP少样本学习基准。与大多数NLP FSL研究仅关注简单的N-分类问题不同,我们的基准测试引入了Few-Shot联合对话语言理解,它还涵盖了结构预测和多任务依赖问题。这使得我们的基准测试能够反映出超越简单N分类的真实NLP复杂性。我们的基准测试用于SMP 2020-ECDT task-1的少样本学习竞赛。我们还提供了一个兼容的FSL平台,以简化实验设置。
2020-12-13 cs.AI cs.CL
GLiREL -- Generalist Model for Zero-Shot Relation Extraction
Quantexa(昆泰克萨斯)
本文提出 GLiREL,通过单次前向传播实现多实体零样本关系分类,并在 FewRel 与 WikiZSL 上达到最先进水平,同时提供多样化关系标签数据集的合成生成协议。
2025-01-06 cs.AI cs.CL cs.LG
FlipDA: Effective and Robust Data Augmentation for Few-Shot Learning
Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海期智研究院);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院)
大多数以前的文本数据增强方法仅限于简单的任务和弱基线。我们在硬任务上探索数据增强(即,Few-Shot自然语言理解)和强基线(即,具有超过十亿个参数的预训练模型)。在此设置下,我们复制了大量以前的增强方法,发现这些方法带来的边际收益最好,有时会降低性能很多。为了解决这一挑战,我们提出了一种新的数据增强方法FlipDA,它联合使用生成模型和分类器来生成标签翻转数据。FlipDA的核心思想是发现生成标签翻转数据比生成标签保留数据对性能更重要。实验表明,FlipDA在有效性和鲁棒性之间实现了良好的平衡-它大大改善了许多任务,同时不会对其他任务产生负面影响。
2022-03-15 cs.CL
CrossAligner & Co: Zero-Shot Transfer Methods for Task-Oriented Cross-lingual Natural Language Understanding
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Imperial College London(伦敦帝国理工学院)
面向任务的个人助理使人们能够使用自然语言与大量设备和服务进行交互。使神经对话系统可供更多用户使用的挑战之一是缺乏除少数语言外的所有语言的训练数据。Zero-shot方法试图通过在高资源语言(如英语)中获取任务知识来解决这个问题,目的是将其转移到低资源语言(S)中。为此,我们介绍CrossAligner,各种有效的方法的主要方法zero-shot跨语言迁移的基础上学习对齐未标记的并行数据。我们对各种方法及其加权组合进行了定量分析,其中一些方法超过了9种语言,15个测试集和3个基准多语言数据集的最新(SOTA)分数。最佳方法的详细定性错误分析表明,我们微调的语言模型可以zero-shot传输任务知识比预期的更好。
2022-03-18 cs.CL
Understanding and Improving Zero-shot Multi-hop Reasoning in Generative Question Answering
Carnegie Mellon University(卡内基梅隆大学);Bosch Research(博世研究院);Amazon(亚马逊)
生成式问答(QA)模型生成问题的答案,或者仅仅基于模型的参数(闭卷设置),或者另外检索相关证据(开卷设置)。生成式QA模型可以回答一些相对复杂的问题,但它们这样做的机制仍然知之甚少。我们进行了几项研究,旨在更好地了解多跳推理能力的生成QA模型。首先,我们将多跳问题分解为多个相应的单跳问题,并发现QA模型在这些表面上相同的问题链上的答案明显不一致。其次,我们发现模型缺乏zero-shot多跳推理能力:当只在单跳问题上训练时,模型对多跳问题的泛化能力很差。最后,我们证明了通过两种方法来提高模型的zero-shot多跳推理能力是可能的,这两种方法通过对单跳问题的串联或逻辑形式(SPARQL)进行训练来近似真实的多跳自然语言(NL)问题。总之,这些结果表明,多跳推理不会在生成式QA模型中自然出现,但可以通过训练或建模技术的进步来鼓励。
2022-10-09 cs.CL
Different Perturbations, Different Mechanisms: Understanding Continued Pre-training for Zero-Shot Dialect Robustness
University of Notre Dame(圣母大学)
本研究针对大型语言模型,系统对比6种训练条件下的6种扰动持续预训练策略,发现字符噪声CPT可提升零样本方言鲁棒性且保留标准性能,不同策略的鲁棒机制存在差异,为相关策略选择提供指导。
2026-08-07 cs.CL
Zero-Shot Learners for Natural Language Understanding via a Unified Multiple Choice Perspective
International Digital Economy Academy(国际数字经济学院);Waseda University(早稻田大学);Tsinghua University(清华大学)
我们为zero-shot学习者提出了一个新的范式,即格式不可知,它与任何格式兼容,并适用于一系列语言任务,例如文本分类、常识推理、共指消解和情感分析。零样本学习的目标是在给定任务上训练模型,使其可以在不进行任何额外训练的情况下解决新的学习任务。我们的方法将零样本学习转换为多项选择任务,避免了常用的大规模生成模型(如FLAN)中的问题。它不仅增加了模型的泛化能力,而且大大减少了参数的数量。我们的方法具有高效训练和部署的优点。我们的方法在几个基准测试中表现出最先进的性能,并在自然语言推理和文本分类等任务上取得了令人满意的结果。我们的模型仅用2.35亿个参数就取得了这一成功,这远远小于拥有数十亿个参数的最先进模型。代码和预训练模型可在https://github.com/IDEA-CCNL/Fengshenbang-LM上获得。
2022-10-18 cs.CL
WAVPROMPT: Towards Few-Shot Spoken Language Understanding with Frozen Language Models
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
在大规模文本上预训练的大规模自回归语言模型已经证明了它们令人印象深刻的能力,只需几个文本示例就可以执行新的自然语言任务,而无需进行微调。最近的研究进一步表明,这种Few-Shot学习能力可以通过训练编码器将图像编码为嵌入来扩展到文本图像设置,嵌入的功能类似于语言模型的文本嵌入。感兴趣的探索转移的Few-Shot学习能力的音频文本设置的可能性,我们提出了一种新的语音理解框架,WavPrompt,在那里我们微调wav2vec模型生成一个序列的音频嵌入理解的语言模型。我们表明,WavPrompt是一个Few-Shot学习者,可以执行语音理解任务比一个天真的文本基线。我们对不同的组件和超参数进行详细的消融研究,以经验确定最佳的模型配置。此外,我们进行了一个非语音理解实验,以显示WavPrompt可以提取更多的信息,而不仅仅是transmits。代码可在https://github.com/Hertin/WavPrompt上获得
2022-04-14 cs.AI cs.CL eess.AS
Generating Continuations in Multilingual Idiomatic Contexts
Portland State University(波特兰州立大学)
本研究针对生成式语言模型对习语等非组合性比喻语言的理解能力,用英、葡双语数据集在零样本、少样本、微调三种设置下测试续写任务,发现模型字面语境续写仅略优于习语语境,且双语表现相当。
2023-11-04 cs.AI cs.CL
ZeroSCROLLS: A Zero-Shot Benchmark for Long Text Understanding
Tel Aviv University(特拉维夫大学);Meta AI
本文提出仅含测试与验证集的长文本零样本理解基准 ZeroSCROLLS,涵盖改编与新增任务,并评估开源、闭源 LLM,发现 GPT-4 平均得分最高但聚合等任务仍具挑战。
2023-12-17 cs.AI cs.CL cs.LG
Zero-Shot Question Generation from Knowledge Graphs for Unseen Predicates and Entity Types
Université de Lyon(里昂大学);Laboratoire Hubert Curien(于贝尔·居里安实验室)
我们提出了一个神经模型,用于在“Zero-Shot”设置中从知识库三元组生成问题,即为包含在训练时未看到的谓词,主题类型或对象类型的三元组生成问题。我们的模型利用编码器-解码器架构中的自然语言语料库中的三元组出现,与原始的词性复制动作机制配对以生成问题。基准测试和人工评估表明,我们的模型为zero-shot QG设定了一个新的国家的最先进的。
2018-02-19 cs.CL
Exploiting GPT-4 Vision for Zero-shot Point Cloud Understanding
University of Science and Technology of China(中国科学技术大学)
本文提出利用GPT-4V的生成能力并结合系统化点云可视化策略,在不修改模型架构的情况下实现零样本点云分类,并在多种场景中验证了其优越性。
2024-01-15 cs.CL cs.CV
STORYWARS: A Dataset and Instruction Tuning Baselines for Collaborative Story Understanding and Generation
Columbia University(哥伦比亚大学)
针对协作故事理解与生成缺乏语料的问题,提出包含4万余协作故事的STORYWARS数据集及101个多任务基准,并验证指令调优模型INSTRUCTSTORY在零样本、少样本和全监督场景均取得最优性能。
2023-05-14 cs.CL
UniPSDA: Unsupervised Pseudo Semantic Data Augmentation for Zero-Shot Cross-Lingual Natural Language Understanding
Alibaba Group(阿里巴巴集团)
针对跨语言表示学习中浅层无监督数据缺乏全局上下文语义的问题,提出三阶段聚类的无监督伪语义数据增强机制UniPSDA,通过多语系知识替换句子关键成分并去偏,在多类零样本跨语言理解任务上提升性能。
2024-06-24 cs.CL
Thinking Aloud: Dynamic Context Generation Improves Zero-Shot Reasoning Performance of GPT-2
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Allen Institute for AI(艾伦人工智能研究所)
出声思维是人类推理者解决难题的一种有效的元认知策略。我们建议以类似的方式提高预先训练的神经语言模型的推理能力,即通过用语言模型本身动态生成的问题阐述来扩展任务的上下文。我们的主要结果是,动态的问题阐述显着提高了zero-shot性能的GPT-2在演绎推理和自然语言推理任务:虽然该模型使用的句法启发式预测的答案,它是能够(在一定程度上)生成合理的额外的上下文,这有利于成功地应用其启发式。我们探索了不同的方式产生的阐述,包括少数学习,并发现其相对性能随具体的问题特征(如问题的难度)。此外,阐述的有效性可以用阐述与相应问题在语义上的一致程度来解释。特别是,最忠实于原始问题描述的阐述可以将准确率提高24%。
2021-03-24 cs.CL
AmericasNLI: Evaluating Zero-shot Natural Language Understanding of Pretrained Multilingual Models in Truly Low-resource Languages
University of Colorado Boulder(科罗拉多大学博尔德分校);University of Stuttgart(斯图加特大学);University of Edinburgh(爱丁堡大学);Microsoft Turing(微软图灵);Facebook AI Research(脸书人工智能研究院);New York University(纽约大学);Universidad de la República, Uruguay(乌拉圭共和国大学);Universidad Tecnológica de Tlaxcala(特拉斯卡拉理工大学);University of Zurich(苏黎世大学);Carnegie Mellon University(卡内基梅隆大学);Universidad Nacional Autónoma de México(墨西哥国立自治大学);Universidade Tecnológica Federal do Paraná(巴拉那联邦理工大学);Dartmouth College(达特茅斯学院)
预训练的多语言模型能够在zero-shot设置中执行跨语言迁移,即使是预训练期间未看到的语言。然而,以前的工作评估性能看不见的语言在很大程度上被限制在低层次,语法任务,它仍然不清楚,如果零样本学习的高层次,语义任务是可能的看不见的语言。为了探讨这个问题,我们提出了AmericasNLI,XNLI的扩展(Conneau等人,2018年10月,美洲10种原住民语言。我们用XLM-R进行实验,测试多个zero-shot和基于预处理的方法。此外,我们通过持续的预训练探索模型自适应,并通过考虑仅假设模型来提供数据集分析。我们发现,XLM-R的zero-shot性能是穷人的所有10种语言,平均性能为38.62%。持续的预训练提供了改进,平均准确率为44.05%。令人惊讶的是,在翻译不佳的数据上进行训练的准确率远远超过所有其他方法,达到48.72%。
2022-03-16 cs.CL
UniFine: A Unified and Fine-grained Approach for Zero-shot Vision-Language Understanding
Columbia University(哥伦比亚大学);Microsoft Research(微软研究院);University of California, Los Angeles(加州大学洛杉矶分校)
提出UniFine框架,通过利用句子关键词和图像对象等细粒度信息进行图像-文本匹配,在零样本设置下统一处理VQA、SNLI-VE和VCR等视觉-语言任务,并在多个数据集上取得显著改进。
2026-06-03 cs.CL cs.CV
FS-DAG: Few Shot Domain Adapting Graph Networks for Visually Rich Document Understanding
OCI, Oracle USA(Oracle USA)
针对少样本视觉丰富文档理解任务,提出FS-DAG模型,通过模块化框架结合特定域与语言/视觉骨干网络,在90M参数下实现对OCR错误等挑战的鲁棒性,实验证明其收敛速度和性能优于现有方法,推动高效模型发展。
2025-11-11 cs.AI cs.CL cs.CV