Language Models are Few-shot Multilingual Learners
The Hong Kong University of Science and Technology（香港科技大学）；Google Brain（谷歌大脑）；ML Collective（机器学习集体）
通用语言模型已经展示了令人印象深刻的能力，在从很少的例子中推断指令时，在一系列下游自然语言处理（NLP）任务和基准测试上的表现与最先进的方法不相上下。在这里，我们评估了GPT和T5模型在没有任何参数更新的情况下对非英语语言进行多类分类的多语言技能。我们发现，给定一些英语示例作为上下文，预先训练的语言模型不仅可以预测英语测试样本，而且可以预测非英语测试样本。最后，我们发现语言模型的上下文内Few-Shot跨语言预测结果明显优于随机预测，并且与现有的最先进的跨语言模型相比具有竞争力。
2021-09-16 cs.AI cs.CL
Revisiting Graph Autoencoders as Implicit Contrastive Learners
Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（教育部多媒体可信感知与高效计算重点实验室，厦门大学）；Coupang Shanghai China（Coupang上海）；Sun Yat-sen University（中山大学）；Nanyang Technological University（南洋理工大学）
本文通过对比学习视角重新审视图自编码器，揭示其隐式对比学习本质，并强调对比视图设计的关键作用，提出非对称子图视图作为重要设计维度。
2026-05-27 cs.AI cs.LG stat.ML
Exploiting the Potential of Seq2Seq Models as Robust Few-Shot Learners
Kakao Corp.（Kakao公司）；NVIDIA（英伟达公司）；Kyunghee University（庆熙大学）
本文首次广泛比较了decoder-only与encoder-decoder模型的上下文少样本学习能力，并提出目标对齐提示与基于融合的方法，使seq2seq模型超越大六倍的模型并取得显著性能提升。
2024-08-27 cs.AI cs.CL
PromptDA: Label-guided Data Augmentation for Prompt-based Few-shot Learners
Illinois Institute of Technology（伊利诺伊理工学院）
大型预训练语言模型（PLM）的最新进展通过特定于任务的微调在自然语言理解（NLU）任务方面取得了令人印象深刻的进展。然而，直接微调PLM严重依赖于足够的标记训练实例，这通常是很难获得的。PLM上的基于数据库的调优已被证明对于各种下游Few-Shot任务是强大的。现有的工作研究Few-Shot自然语言理解任务的基于语义的调整主要集中在派生适当的标签词与动词或生成提示模板，以引出语义从PLM。此外，传统的数据增强策略，如同义词替换，虽然广泛采用在低资源的情况下，只带来边际改进的少样本学习。因此，一个重要的研究问题出现了：如何设计有效的数据增强方法，为基础的Few-Shot调整？为此，考虑到标签语义是必不可少的，在基于标签的调整，我们提出了一种新的标签引导的数据增强的框架BattDA，它利用丰富的标签语义信息的数据增强。在Few-Shot文本分类任务上的大量实验结果表明，该框架通过有效利用标签语义和数据增强进行自然语言理解，具有优异的性能。我们的代码可在https://github.com/canyuchen/PromptDA上获得。
2023-03-22 cs.AI cs.CL
Cross-Lingual IPA Contrastive Learning for Zero-Shot NER
LG Innotek；Carnegie Mellon University（卡内基梅隆大学）
本文提出CONLIPA数据集和IPAC跨语言IPA对比学习方法，通过缩小相似语音特征语言间的音位表示差距，提升高资源语言模型在低资源语言零样本NER上的性能，并取得显著平均增益。
2025-03-10 cs.AI cs.CL
Zero-shot stance detection based on cross-domain feature enhancement by contrastive learning
National University of Defense Technology（国防科技大学）
Zero-shot姿态检测是具有挑战性的，因为它需要检测的立场，以前看不见的目标在推理阶段。学习可转移的目标不变特征的能力对于zero-shot姿态检测是至关重要的。在这项工作中，我们提出了一个立场检测方法，可以有效地适应看不见的目标，其核心是捕捉目标不变的语法表达模式作为可转移的知识。具体来说，我们首先通过屏蔽句子的主题词来增强数据，然后将增强的数据馈送到无监督的对比学习模块以捕获可转移的特征。然后，为了适合特定的目标，我们将原始文本编码为目标特定的特征。最后，我们采用了一个注意力机制，它结合了句法表达模式与目标特定的功能，以获得增强功能，预测以前看不见的目标。实验表明，我们的模型在四个基准数据集上的性能优于竞争基线。
2022-10-07 cs.AI cs.CL
Focused Large Language Models are Stable Many-Shot Learners
School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）；Xiaohongshu Inc（小红书公司）
针对ICL在多样本设置下性能无法有效扩展的问题，提出无需训练的FocusICL方法，通过琐碎性过滤和分层注意力确保模型聚焦查询，实现5.2%的平均性能提升且扩展良好。
2024-08-26 cs.AI cs.CL
LEARNER: Contrastive Pretraining for Learning Fine-Grained Patient Progression from Coarse Inter-Patient Labels
Carnegie Mellon University（卡内基梅隆大学）；LSUHSC Internal Medicine（LSUHSC内科）；Cosmetic Surgery Facility LLC（美容外科诊所有限公司）
LEARNER通过对比学习利用患者间粗粒度标签，学习细粒度患者内变化，提升个性化医学中的治疗响应预测性能。
2025-11-19 cs.AI cs.CV cs.LG
Large Language Models are Contrastive Reasoners
Sun Yat-sen University Shenzhen, China（中山大学深圳校区）
本文提出对比提示方法，通过简单提示提升大型语言模型的推理能力，在算术和常识推理任务中优于零样本和少样本方法。
2025-02-17 cs.AI cs.CL
Large Language Models Meet Contrastive Learning: Zero-Shot Emotion Recognition Across Languages
Nanyang Technological University（南洋理工大学）；Southwest Jiaotong University（西南交通大学）；Kash Institute of Electronics and Information Industry（Kash电子信息产业研究院）；Southwest Petroleum University（西南石油大学）
本文提出结合对比学习与大语言模型的两阶段训练框架，实现跨语言零样本语音情绪识别，并构建大规模合成数据集M5SER，实验验证了其有效性。
2025-03-25 cs.AI cs.CL
HierarchicalContrast: A Coarse-to-Fine Contrastive Learning Framework for Cross-Domain Zero-Shot Slot Filling
College of Computer Science and Technology（计算机科学与技术学院）；Zhejiang University（浙江大学）
针对跨域零样本槽位填充在未见槽位上泛化能力差的问题，提出基于高斯分布嵌入的由粗到细分层对比学习框架HiCL，并设计迭代标签集语义推断方法独立评估未见槽位，在四个数据集上取得优于或可比的性能。
2023-10-20 cs.AI cs.CL
It's Not Just Size That Matters: Small Language Models Are Also Few-Shot Learners
LMU Munich（慕尼黑大学）；Sulzer GmbH（苏尔寿有限公司）
当缩放到数千亿个参数时，预训练的语言模型，例如GPT-3（Brown et al.，2020）实现了卓越的Few-Shot性能。然而，训练和应用这些大型模型需要大量的计算，导致大量的碳足迹，使研究人员和从业人员难以使用它们。我们表明，可以获得类似于GPT-3的性能与语言模型，是“绿色”，因为他们的参数计数是几个数量级小。这是通过将文本输入转换为包含任务描述的完形填空题，结合基于梯度的优化来实现的;利用未标记的数据可以进一步改进。我们确定成功的自然语言理解所需的关键因素与小语言模型。
2021-04-12 cs.AI cs.CL cs.LG
mcBERT: Momentum Contrastive Learning with BERT for Zero-Shot Slot Filling
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
为了解决目标域可用数据有限的问题，Zero-shot孔填充受到了相当大的关注。零样本学习的一个重要因素是使模型学习广义和可靠的表示。为此，我们提出了mc BERT（代表与BERT的动量对比学习），以开发一个强大的零射击（zero-shot）插槽填充模型。mcBERT使用BERT来初始化两个编码器，即查询编码器和密钥编码器，并且通过应用动量对比学习来训练。我们在SNIPS基准测试上的实验结果表明，mcBERT大大优于以前的模型，记录了一个新的国家的最先进的。此外，我们还表明，组成mcBERT的每个组件有助于性能的提高。
2022-06-28 cs.AI cs.CL cs.LG
Few-shot Text Classification with Dual Contrastive Consistency
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在本文中，我们将探讨如何利用预先训练的语言模型来执行Few-Shot文本分类，其中每个类只给出几个注释的例子。由于在这种情况下使用传统的交叉熵损失对语言模型进行微调会导致严重的过拟合，导致模型泛化效果不佳，因此我们采用了对少量标记数据进行有监督对比学习，对大量未标记数据进行一致性正则化的方法。此外，我们提出了一种新的对比一致性，以进一步提高模型性能和改进句子表示。在四个数据集上进行了广泛的实验后，我们证明了我们的模型（FTCC）可以优于最先进的方法，并具有更好的鲁棒性。
2022-09-29 cs.AI cs.CL cs.LG
GPT-3 Models are Poor Few-Shot Learners in the Biomedical Domain
深度神经语言模型在自然语言处理（NLP）的许多任务中取得了新的突破。最近的研究表明，深度Transformer语言模型（在大量文本上进行预训练）可以实现与最先进的模型相当的高水平的特定于任务的Few-Shot性能。然而，这些大语言模型在Few-Shot迁移学习中的能力尚未在生物医学领域中被探索。我们研究了两个强大的Transformer语言模型，即GPT-3和BioBERT，在各种生物医学NLP任务的Few-Shot设置的性能。实验结果表明，在很大程度上，这两种模型的表现都不如在完整训练数据上微调的语言模型。虽然GPT-3已经在开放域NLP任务的Few-Shot知识转移方面取得了接近最先进的结果，但它无法像BioBERT那样有效，BioBERT比GPT-3小几个数量级。关于BioBERT已经在大型生物医学文本语料库上进行了预训练，我们的研究表明，语言模型可能在很大程度上受益于特定于任务的少样本学习中的域内预训练。然而，域内预训练似乎是不够的;在生物医学NLP领域需要新的预训练和少样本学习策略。
2022-06-01 cs.AI cs.CL cs.LG
Few-shot Learning with Meta Metric Learners
Microsoft AI & Research（微软人工智能与研究）；IBM Research AI（IBM研究人工智能）；JD AI Research（京东人工智能研究）
少样本学习旨在学习新类的分类器，每个类只需几个训练样本。现有的基于元学习或度量学习的少样本学习方法在处理具有不同数量标签的不同领域时受到限制。元学习方法训练元学习器来预测复杂结构的任务特定网络的权重，要求跨任务的类的数量一致。度量学习方法为所有任务学习一个任务不变的度量，如果任务发散，它们就会失败。我们建议用元度量学习来处理这些限制。我们的元度量学习方法包括特定于任务的学习者，利用度量学习来处理灵活的标签，以及一个元学习者，发现好的参数和梯度下降来指定特定于任务的学习者的度量。因此，该模型能够处理不平衡的类，以及生成特定于任务的指标。我们测试我们的方法在"$k$-拍摄$N$-方式" Few-Shot学习设置在以前的工作和新的现实Few-Shot设置不同的多域任务和灵活的标签号码。实验表明，我们的方法在这两种情况下都取得了优异的性能。
2019-01-26 cs.AI cs.LG stat.ML
Differentiable Prompt Makes Pre-trained Language Models Better Few-shot Learners
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）；Alibaba Group（阿里巴巴集团）
大规模预训练语言模型通过展示作为Few-Shot学习者的卓越能力，为自然语言处理做出了重大贡献。然而，它们的有效性主要取决于模型参数的缩放和及时的设计，阻碍了它们在大多数实际应用中的实现。本文提出了一种新的可插入、可扩展、高效的方法DifferentiAble pRompT（DART），它可以将小的语言模型转换为更好的Few-Shot学习器，而无需任何提示工程。这种方法背后的主要原理涉及将潜在的自然语言处理任务重新表达为预先训练的语言模型的任务，并利用反向传播对提示模板和目标标签进行差异化优化。此外，所提出的方法可以：（i）插入任何预先训练的语言模型;（ii）扩展到广泛的分类任务。标准NLP任务的综合评估表明，该方法实现了更好的Few-Shot性能。代码可在https://github.com/zjunlp/DART上找到。
2022-05-04 cs.AI cs.CL cs.CV
LLMs as Zero-shot Graph Learners: Alignment of GNN Representations with LLM Token Embeddings
Beihang University（北京航空航天大学）
提出TEA-GLM框架，通过预训练GNN使其表示与LLM的token embeddings对齐，并训练线性投影器生成图token embeddings，结合统一指令实现跨数据集和跨任务的零样本图机器学习。
2024-12-19 cs.AI cs.CL cs.LG
Finetuned Language Models Are Zero-Shot Learners
Google Research（谷歌研究院）
本文探讨了一种提高语言模型零样本学习能力的简单方法。我们表明，指令微调-微调语言模型上的一组任务描述通过指令-大大提高了zero-shot性能看不见的任务。我们采用137 B参数预训练语言模型，并通过自然语言指令模板在60多个NLP任务上对其进行优化。我们评估这个防御调整模型，我们称之为FLAN，看不见的任务类型。FLAN大大提高了其未经修改的对应物的性能，并在我们评估的25个任务中的20个上超过了zero-shot 175 B GPT-3。FLAN在ANLI、RTE、BoolQ、AI 2-ARC、OpenbookQA和StoryCloze上的表现甚至超过了Few-Shot GPT-3。消融研究表明，微调数据集的数量，模型规模和自然语言指令是指令微调成功的关键。
2022-02-08 cs.CL
Language Models are Few-shot Learners for Prognostic Prediction
Bristol-Myers Squibb（百时美施贵宝）
本研究针对Transformer技术未应用于临床预后预测的现状，利用真实患者数据探索其在免疫治疗预后预测中的应用，验证了少样本场景下语言模型较传统方法在多癌症预后预测中准确率显著提升，展现了NLP在临床研究中的应用潜力。
2023-05-04 cs.AI cs.CL cs.LG
Large Language Models are Null-Shot Learners
Graduate School（研究生院）；Ritsumeikan University（立命馆大学）
本文提出null-shot prompting，通过引导LLMs利用不存在的“Examples”信息来利用幻觉，在多数数据集上提升性能，并可作为检测LLMs幻觉程度的工具。
2024-11-16 cs.AI cs.CL cs.LG
Bi-Granularity Contrastive Learning for Post-Training in Few-Shot Scene
Sun Yat-sen University（中山大学）
将预训练的语言模型应用于下游任务的主要范例是在标记的任务数据上对其进行微调，当标记的示例很少时，这些任务数据通常会不稳定且性能低下。缓解这个问题的一种方法是在微调之前对未标记的任务数据应用后训练，通过考虑令牌级或序列级相似性的对比学习使预训练模型适应目标域。受序列掩蔽成功的启发，我们认为标记级和序列级的相似性都可以用一对掩蔽序列来捕获。因此，我们提出了互补随机掩蔽（CRM）从输入序列中生成一对掩蔽序列用于序列级对比学习，然后开发对比掩蔽语言建模（CMLM）用于后训练，以整合标记级和序列级对比学习。实验结果表明，CMLM超越了最近的几个后训练方法在Few-Shot设置，而不需要数据增强。
2021-06-04 cs.CL
Beyond Prompting: Making Pre-trained Language Models Better Zero-shot Learners by Clustering Representations
ETH Zurich（苏黎世联邦理工学院）；Peking University（北京大学）
最近的研究表明，预训练语言模型（PLM）是zero-shot学习器。然而，大多数现有的zero-shot方法涉及繁重的人体工程学或复杂的自我训练管道，阻碍了它们在新情况下的应用。在这项工作中，我们表明，zero-shot文本分类可以提高简单的聚类文本中的嵌入空间的PLM。具体来说，我们适合未标记的文本与贝叶斯高斯混合模型初始化后，使用类名称的聚类位置和形状。尽管它很简单，但这种方法在主题和情感分类数据集上都取得了优异或相当的性能，并且在不平衡数据集上显著优于先前的工作。我们进一步探索我们的聚类方法的适用性，通过评估它在14个数据集更多样化的主题，文本长度和类的数量。我们的方法实现了平均20%的绝对改善基于神经网络的零样本学习。最后，我们比较了不同的PLM嵌入空间，发现即使PLM没有显式地预先训练以生成有意义的句子嵌入，文本也能很好地按主题聚类。这项工作表明，PLM嵌入可以分类文本没有特定的任务微调，从而提供了一种新的方式来分析和利用他们的知识和零样本学习能力。
2022-11-23 cs.CL cs.LG
Pre-trained Language Models Can be Fully Zero-Shot Learners
UC Santa Barbara（加州大学圣巴巴拉分校）；Microsoft（微软）
本文提出非参数提示预训练语言模型NPPrompt，仅利用预训练语言模型实现完全零样本语言理解，无需标注数据、额外语料或人工构建提示标签词，在文本分类和GLUE基准上显著超越此前最佳的完全零样本方法。
2023-05-26 cs.CL
Few-Shot Image Classification via Contrastive Self-Supervised Learning
School of Information；Communications Xi’an Jiaotong University Xi'an, P.R. China
大多数以前的少样本学习算法都是基于元训练，使用假的Few-Shot任务作为训练样本，其中需要大的标记基类。训练模型也受到任务类型的限制。在本文中，我们提出了一个新的无监督少样本学习的范例来修复的不足。我们分两个阶段解决了Few-Shot任务：通过对比自监督学习对可转移特征提取器进行元训练，并使用图聚合、自蒸馏和流形增强训练分类器。一旦经过元训练，该模型就可以用于任何类型的任务，并进行任务相关的分类器训练。我们的方法在标准Few-Shot视觉分类数据集上的各种既定Few-Shot任务中实现了最先进的性能，与可用的无监督少样本学习方法相比，提高了8- 28%。
2020-08-23 cs.AI cs.CV
Aggregated f-average Neural Network applied to Few-Shot Class Incremental Learning
Inria Saclay（法国国家信息与自动化研究所萨克雷中心）；CentraleSupélec（中央高等电力学院）；Université Paris Saclay（巴黎萨克雷大学）；École de Technologie Supérieure（高等技术学院）
本文提出聚合f-平均（AFA）浅层神经网络，融合基础平均与堆叠模型两种集成框架，以可解释架构和简单训练策略实现弱学习器预测的最优聚合，并在少样本类增量学习任务中表现良好。
2024-09-19 cs.AI cs.LG
Making Pre-trained Language Models Better Few-shot Learners
Princeton University（普林斯顿大学）；Massachusetts Institute of Technology（麻省理工学院）
最近的GPT-3模型（Brown等人，2020）仅通过利用自然语言提示和一些任务演示作为输入上下文，就实现了出色的Few-Shot性能。受他们的研究结果的启发，我们在更实际的场景中研究了少样本学习，在这种场景中，我们使用较小的语言模型，微调在计算上是有效的。我们提出了LM-BFF--更好的Few-Shot微调语言模型--一套简单而互补的技术，用于在少量带注释的示例上微调语言模型。我们的方法包括（1）基于提示的微调以及自动生成提示的新颖管道;以及（2）动态且有选择地将演示纳入每个上下文的细化策略。最后，我们提出了一个系统的评估分析Few-Shot性能的一系列NLP任务，包括分类和回归。我们的实验表明，我们的方法相结合，大大优于标准的微调程序，在这种低资源设置，实现了高达30%的绝对改善，平均11%，在所有任务。我们的方法对任务资源和领域专业知识的假设最少，因此构成了一个强大的任务不可知的方法少样本学习。
2021-06-02 cs.CL cs.LG
Premier-TACO is a Few-Shot Policy Learner: Pretraining Multitask Representation via Temporal Action-Driven Contrastive Loss
University of Maryland（马里兰大学）；Microsoft Research（微软研究院）；Tsinghua University（清华大学）
Premier-TACO 通过改进时间动作对比学习并引入新负样本采样策略，利用多任务离线数据预训练视觉表示，显著提升连续控制任务中的少样本策略学习效率。
2024-05-23 cs.AI cs.LG cs.RO
A Transformer-Based Contrastive Learning Approach for Few-Shot Sign Language Recognition
Universidade Federal do Rio Grande do Norte（联邦大学-里约格朗德杜北州分校）；CESAR；Lenovo（联想）
针对单目视频或2D姿态序列的手语识别难题，提出基于对比Transformer的模型，学习身体关键点序列的丰富表示，支持训练中未见手语的单样本和少样本分类任务，在LSA64数据集上效果良好。
2026-07-07 cs.AI cs.CL cs.CV
Making Pretrained Language Models Good Long-tailed Learners
Beijing Institute of Technology（北京理工大学）；Meituan（美团）
由于其能够有效地利用预先训练的知识，预调优在Few-Shot分类中表现出了吸引人的性能。这促使我们检查的假设，即调优也是长尾分类的一个有前途的选择，因为尾部类直观上是Few-Shot的。为了实现这一目标，我们进行了实证研究，以检验假设。实验结果表明，预调优使得预训练的语言模型至少是好的长尾学习者。为了直观地了解为什么自动调优可以在长尾分类中实现良好的性能，我们通过逐步弥合自动调优和常用微调之间的差距来进行深入分析。总而言之，与不太重要的输入结构相比，分类器结构和参数化是制作好长尾学习器的关键。最后，我们验证了我们的发现适用于Few-Shot分类。好的长尾学习者可以缩写为Glee。
2022-10-10 cs.CL cs.LG
Contrastive Distillation of Emotion Knowledge from LLMs for Zero-Shot Emotion Recognition
University of Michigan（密歇根大学）
提出对比蒸馏框架，从LLMs（如GPT-4）蒸馏情感知识至紧凑模型，实现零样本情感识别，性能接近GPT-4且规模小万倍以上。
2025-05-23 cs.CL
SCNet: Enhancing Few-Shot Semantic Segmentation by Self-Contrastive Background Prototypes
Tsinghua University（清华大学）；Tencent Youtu Lab（腾讯优图实验室）；University College London（伦敦大学学院）
Few-Shot语义分割的目标是在查询图像中分割新类别的对象，而支持图像中只有少量带注释的示例。大多数高级解决方案都利用了一个度量学习框架，该框架通过将每个像素与学习到的前景原型相匹配来执行分割。然而，这个框架遭受偏见的分类，由于不完整的建设的样本对前景原型。为了解决这个问题，在本文中，我们引入了一个互补的自我对比任务到Few-Shot语义分割。我们的新模型能够将区域中的像素与该区域的原型相关联，无论它们是在前景还是背景中。为此，我们直接从查询图像中生成自对比背景原型，从而构建完整的样本对，从而完成补充和辅助分割任务，以实现更好的分割模型的训练。在PASCAL-5 $^i$和COCO-20 $^i$上的大量实验清楚地证明了我们的建议的优越性。在不牺牲推理效率的情况下，我们的模型实现了Few-Shot语义分割的1次和5次设置的结果。
2021-04-28 cs.AI cs.CV
Graph Contrastive Learning Meets Graph Meta Learning: A Unified Method for Few-shot Node Tasks
Washington University in St. Louis（圣路易斯华盛顿大学）；Peking University（北京大学）；JD Explore Academy（京东探索研究院）
本文提出统一对比学习与元学习的新范式COLA，利用图增强识别语义相似节点以无标签构建元任务，从而充分利用所有节点并降低过拟合，在少样本节点分类任务上取得最优性能。
2023-09-19 cs.AI cs.LG
LiST: Lite Prompted Self-training Makes Parameter-Efficient Few-shot Learners
Purdue University（普渡大学）；Microsoft Research（微软研究院）
我们提出了一种新的方法LiST是精简自训练的缩写，用于少样本学习的大型预训练语言模型（PLM）的参数高效微调。LiST使用两种关键技术改进了最近采用基于FFT的微调（FN）的方法。第一个是使用自训练来利用大量未标记数据用于Few-Shot设置中的基于神经网络的FN。我们使用自我训练结合元学习来重新加权嘈杂的伪提示标签。自训练是昂贵的，因为它需要重复更新所有模型参数。因此，我们使用第二种技术进行轻量级微调，其中我们引入了少量特定于任务的参数，这些参数在自我训练期间进行微调，同时保持PLM编码器冻结。我们的实验表明，LiST可以有效地利用未标记的数据，以提高少样本学习的模型性能。此外，微调是高效的，因为它只更新一小部分参数，并且由于多个任务可以共享一个公共PLM编码器作为主干，因此减少了整体模型占用空间。对六个NLU任务的综合研究表明，LiST比经典微调提高了35%，比基于神经网络的FN提高了6%，当每个任务的标记示例不超过30个时，可训练参数的数量减少了96%。在只有14 M个可调参数的情况下，LiST在Few-Shot NLU任务上的性能比GPT-3在上下文中学习高出33%。
2022-05-18 cs.CL
Resources and Few-shot Learners for In-context Learning in Slavic Languages
Masaryk University（马萨里克大学）；Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）
本研究构建了捷克语、波兰语和俄语的上下文学习数据集，训练并评估了少样本学习器，发现多语言指令微调及目标语言单任务训练能显著提升模型性能。
2023-04-04 cs.CL
Few-Max: Few-Shot Domain Adaptation for Unsupervised Contrastive Representation Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
对比自监督学习方法学习将诸如图像的数据点映射到非参数表示空间而不需要标签。虽然非常成功，但目前的方法在训练阶段需要大量的数据。在目标训练集大小有限的情况下，泛化能力较差。在Few-Shot模式下，在大的源数据集上进行预训练并对目标样本进行微调，很容易出现过拟合，因为只有少量的目标样本可用。出于这一动机，我们提出了一种自监督对比学习的域自适应方法，称为Few-Max，以解决适应少样本学习下的目标分布的问题。为了量化表示质量，我们在一系列源和目标数据集上评估了Few-Max，包括ImageNet，VisDA和fastMRI，Few-Max始终优于其他方法。
2022-06-22 cs.AI cs.CV cs.LG
Large Language Models are Few-Shot Health Learners
Google（谷歌）
本文证明大型语言模型仅需少样本微调即可扎根生理与行为时间序列数据，并在心脏信号分析、活动识别、代谢计算及心理健康估计等临床与健康任务中实现有效推理。
2023-05-24 cs.CL cs.LG
Language Models of Code are Few-Shot Commonsense Learners
Carnegie Mellon University（卡内基梅隆大学）；Inspired Cognition
我们解决结构化常识推理的一般任务：给定一个自然语言输入，目标是生成一个图，如事件-或推理图。为了使用大语言模型（LM）来完成这个任务，现有的方法将输出图"串行化"为节点和边的平面列表。虽然可行，但这些序列化的图强烈偏离了LM预先训练的自然语言语料库，阻碍了LM正确地生成它们。在本文中，我们表明，当我们而不是框架结构化的常识推理任务的代码生成任务，预训练的LM的代码是更好的结构化常识推理比LM的自然语言，即使下游任务不涉及源代码。我们展示了我们的方法在三个不同的结构化常识推理任务。在所有这些自然语言任务中，我们表明，使用我们的方法，代码生成LM（CODEX）优于在目标任务上微调的自然LM（例如，T5）和其他强LM，如Few-Shot设置中的GPT-3。
2022-12-06 cs.CL cs.LG
Geometry-Aware Contrastive Learning for Few-Shot Automatic Modulation Recognition
Beijing University of Posts and Telecommunications（北京邮电大学）
提出动态一致性对比学习框架，通过虚拟对抗增强和语义一致性损失解决自监督学习中的各向同性增强、频谱不稳定和语义漂移问题，在少样本设置下提升自动调制识别准确率。
2026-05-26 cs.AI cs.LG
Prompt, Generate, then Cache: Cascade of Foundation Models makes Strong Few-shot Learners
The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiaotong University（上海交通大学）；University of Chinese Academy of Sciences（中国科学院大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Science（中国科学院深圳先进技术研究院）
低数据量下的视觉识别需要深度神经网络从有限的训练样本中学习广义表示。最近，基于CLIP的方法已经显示出有希望的Few-Shot性能，这得益于对比语言图像预训练。然后，我们质疑，如果更多样化的预训练知识可以级联，以进一步帮助Few-Shot表示学习。在本文中，我们提出了CaFo，这是一个级联的基础模型，它结合了各种预训练范例的各种先验知识，以实现更好的少样本学习。我们的CaFo融合了CLIP的语言对比知识、DINO的视觉对比知识、DALL-E的视觉生成知识和GPT-3的语言生成知识。具体来说，CaFo的工作原理是“提示，生成，然后缓存”。首先，我们利用GPT-3产生文本输入，以提示具有丰富下游语言语义的CLIP。然后，我们通过DALL-E生成合成图像，以扩展Few-Shot训练数据，而无需任何人力。最后，我们引入了一个可学习的缓存模型来自适应地混合CLIP和DINO的预测。通过这种合作，CaFo可以充分释放不同预训练方法的潜力，并将它们统一起来，以执行最先进的Few-Shot分类。代码可在https://github.com/ZrrSkywalker/CaFo上获得。
2023-03-03 cs.CL cs.CV
Prompt-Augmented Linear Probing: Scaling beyond the Limit of Few-shot In-Context Learners
Seoul National University（首尔大学）；NAVER Cloud（NAVER云）；KAIST（韩国科学技术院）；Hanyang University（汉阳大学）
针对上下文学习受输入长度限制、性能难随样本量扩展的问题，提出融合线性探测与上下文学习的提示增强线性探测方法，兼具可扩展性与表示增强能力，能以低开销缩小不同数据场景下的性能差距，可作为黑盒场景的替代方案。
2023-06-14 cs.CL cs.LG
Bidirectional Language Models Are Also Few-shot Learners
University of Pennsylvania（宾夕法尼亚大学）；Microsoft（微软）；Google Research（谷歌研究院）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
大语言模型，例如GPT-3（Brown等人，2020）可以执行任意任务，而无需在仅使用几个标记示例进行提示后进行微调。一个任意的任务可以被重新表述为一个自然语言提示，一个语言模型可以被要求生成完成，间接地执行任务的范式称为基于语义的学习。到目前为止，基于突现的学习能力主要是针对单向语言模型来证明的。然而，在去噪目标上预训练的双向语言模型（例如掩蔽语言建模）为迁移学习产生更强的学习表示。这激发了促进双向模式的可能性，但它们的预培训目标使它们在很大程度上与现有的激励范式不相容。我们提出了SAP（顺序自回归拟合），一种技术，使双向模型的提示。利用机器翻译任务作为案例研究，我们提出了双向mT5模型（Xue et al.，2021）与SAP进行比较，并证明其Few-Shot和zero-shot转换优于单向模型（如GPT-3和XGLM）的Few-Shot转换（Lin et al.，2021），尽管mT5的参数减少了约50%。我们进一步表明SAP在问答和摘要方面是有效的。这是第一次，我们的研究结果表明，基于语义的学习是一个更广泛的一类语言模型，而不仅仅是单向模型的新兴属性。
2023-02-06 cs.CL cs.LG
Few-shot Object Detection with Refined Contrastive Learning
BOE Technology Group Co., Ltd.（京东方科技集团股份有限公司）
针对少样本目标检测中易混淆类别识别失败及性能不稳定问题，提出精细化对比学习（FSRC）方法，通过预判定相似组并增强类间距离，在PASCAL VOC和COCO上超越现有方法。
2023-12-21 cs.AI cs.CV
Few-shot Detection of Anomalies in Industrial Cyber-Physical System via Prototypical Network and Contrastive Learning
Huazhong University of Science and Technology（华中科技大学）
工业4.0的快速发展扩大了网络攻击对工业网络物理系统（CPS）的破坏范围和破坏性。异常检测技术被用来识别这些攻击，保证工业CPS的正常运行。然而，它仍然是一个具有挑战性的问题，以应付与少数标记样本的情况。提出了一种基于原型网络和对比学习的Few-Shot异常检测模型（FSL-PN），用于工业CPS中有限标记数据的异常识别。具体来说，我们设计了一个对比度损失来辅助特征提取器的训练过程，并学习更多的细粒度特征，以提高区分性能。随后，为了解决分类过程中的过拟合问题，我们构造了一个具有特定正则化器的鲁棒成本函数，以增强泛化能力。基于两个公开的不平衡数据集的实验结果表明，FSL-PN模型能够显著提高F1值，降低异常信号识别的虚警率，保证工业CPS的安全性。
2023-02-21 cs.AI cs.CR cs.SY
Mitigating Bias in Automated Essay Scoring for ESL Learners via Contrastive Learning
Georgia Institute of Technology（佐治亚理工学院）；Georgia State University（佐治亚州立大学）
本文提出通过对比学习方法缓解自动评分系统对ESL学习者偏见的问题，通过构建匹配文章对数据集并使用三元组边际损失，有效减少了高熟练度评分差距，保持了评分一致性。
2026-11-03 cs.CL
Pre-trained Token-replaced Detection Model as Few-shot Learner
Soochow University（苏州大学）
预训练的掩蔽语言模型已经证明了作为Few-Shot学习者的卓越能力。在本文中，作为一种替代方案，我们提出了一种新的方法来少样本学习与预先训练的令牌替换检测模型，如ELECTRA。在这种方法中，我们将分类或回归任务重新表述为标记替换检测问题。具体来说，我们首先为每个任务定义一个模板和标签描述词，并将它们放入输入中，形成一个自然语言提示。然后，我们采用预先训练的标记替换检测模型来预测哪个标签描述词是最原始的（即，最少替换）。在16个数据集上的系统评估表明，我们的方法在单句和两句学习任务中的性能优于使用预先训练的掩蔽语言模型的Few-Shot学习者。
2023-03-21 cs.AI cs.CL
Assisting Language Learners: Automated Trans-Lingual Definition Generation via Contrastive Prompt Learning
Tsinghua University（清华大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
针对传统单语定义生成易包含学习者陌生词汇的问题，提出跨语言定义生成任务，设计提示组合与对比提示学习方法，经高低资源场景验证，生成质量优于基线方法。
2023-06-09 cs.CL
Contrastive Training Improves Zero-Shot Classification of Semi-structured Documents
University of Michigan（密歇根大学）；AWS AI Labs（亚马逊云科技人工智能实验室）
我们研究了半结构化文档分类在一个zero-shot设置。半结构化文档的分类比标准的非结构化文档更具挑战性，因为位置、布局和样式信息在解释此类文档时起着至关重要的作用。在训练和测试期间类别都是固定的标准分类设置在可能出现新文档类别的动态环境中是不够的。我们专注于专门的zero-shot设置，其中的推理是在新的看不见的类。为了解决这个问题，我们提出了一种基于匹配的方法，它依赖于一个成对的对比目标进行预训练和微调。我们的研究结果表明，在监督和无监督zero-shot设置中，Macro F $_1$从建议的预训练步骤中得到了显着的提升。
2022-10-11 cs.AI cs.CL
KECP: Knowledge Enhanced Contrastive Prompting for Few-shot Extractive Question Answering
East China Normal University（华东师范大学）；Alibaba Group（阿里巴巴集团）；Ant Group（蚂蚁集团）
摘要抽取式问答是机器阅读理解中的重要任务之一，通过微调预训练语言模型的广度选择头部可以解决抽取式问答问题。然而，大多数现有的MRC方法在少样本学习场景中可能表现不佳。为了解决这个问题，我们提出了一个新的框架命名为知识增强的对比调优（KECP）。而不是添加指针头PLM，我们引入了一个开创性的范式EQA转换成一个非自回归的掩蔽语言建模（MLM）生成问题的任务。同时，丰富的语义从外部知识库（KB）和通道上下文的支持，以增强表示的查询。此外，为了提高PLM的性能，我们采用MLM和对比学习目标对模型进行联合训练。在多个基准测试上的实验表明，我们的方法在Few-Shot设置中始终优于最先进的方法。
2022-05-06 cs.AI cs.CL
NSP-BERT: A Prompt-based Few-Shot Learner Through an Original Pre-training Task--Next Sentence Prediction
Army Engineering University of PLA（中国人民解放军陆军工程大学）
使用提示来利用语言模型来执行各种下游任务，也称为基于提示的学习或基于提示的学习，与预训练和微调范例相比，最近取得了显著的成功。尽管如此，实际上所有的基于完形填空的方法都是标记级的，这意味着它们都利用GPT的从左到右的语言模型或BERT的掩码语言模型来执行完形填空式的任务。在本文中，我们尝试在zero-shot场景中使用RoBERTa和其他模型放弃的BERT原始预训练任务-下一句预测（NSP）来完成几个NLP任务。与token级别的技术不同，我们的基于提示符级别的方法NSP-BERT不需要固定提示符的长度或要预测的位置，使其能够轻松处理实体链接等任务。基于NSP-BERT的特点，我们为各种下游任务提供了几个快速构建模板。我们提出了一个两阶段的提示方法，特别是词义消歧任务。我们的标签映射策略显着提高了模型在句子对任务上的表现。在FewCLUE基准测试中，我们的NSP-BERT在大多数任务上都优于其他zero-shot方法，并接近于Few-Shot方法。
2022-10-18 cs.AI cs.CL
Contrastive Identification and Generation in the Limit
University of New South Wales（新南威尔士大学）；University of Sydney（悉尼大学）
本文研究了极限下的对比识别与生成，提出对比可识别类的精确刻画、对比闭包维度及统一生成的样本复杂度，揭示了对比生成与文本识别的互不包含关系，并证明了在有限对抗污染下对比对偶对的识别优势。
2026-05-07 cs.AI cs.CL cs.DS
Adaptive Meta-learner via Gradient Similarity for Few-shot Text Classification
Sichuan University（四川大学）；The University of Adelaide（阿德莱德大学）
针对小样本文本分类中因样本与模型不匹配及特征区分不足导致的过拟合问题，提出基于梯度相似性的自适应元学习器（AMGS），通过内循环自监督辅助任务与外循环梯度约束提升模型泛化能力，实验证明其性能优于现有方法。
2023-07-28 cs.CL
CLIP Models are Few-shot Learners: Empirical Studies on VQA and Visual Entailment
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research（微软研究院）
CLIP在广泛的视觉任务中显示出卓越的zero-shot能力。以前，CLIP只被认为是一个强大的视觉编码器。然而，在从大量的图像-字幕对中通过语言监督进行预训练之后，CLIP本身也应该获得了一些用于视觉语言任务的Few-Shot能力。在这项工作中，我们的经验表明，CLIP可以是一个强大的视觉语言的Few-Shot学习者利用语言的力量。我们首先评估CLIP的zero-shot性能上一个典型的视觉问答任务，并证明了zero-shot跨模态传输能力的CLIP上的视觉蕴涵任务。然后，我们提出了一个参数高效微调策略，以提高Few-Shot性能的vqa任务。我们在视觉问答和视觉蕴涵任务上实现了有竞争力的零/Few-Shot结果，而无需引入任何额外的预训练过程。
2022-03-14 cs.CL cs.CV
Seal: Advancing Speech Language Models to be Few-Shot Learners
Didi Chuxing（滴滴出行）
本文提出Seal模型，通过KL散度损失训练投影器连接冻结的语音编码器和语言模型解码器，使语音语言模型具备少样本学习能力，并在两个语音理解任务上验证了其稳健性。
2024-07-20 cs.CL
