Efficient Cross-Task Prompt Tuning for Few-Shot Conversational Emotion Recognition
Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly（南洋理工大学-不列颠哥伦比亚大学老年积极生活卓越联合研究中心）；Nanyang Technological University（南洋理工大学）
针对少样本对话情感识别中数据驱动方法计算与样本效率低的问题，提出无导数的跨任务提示调优方法CTPT，通过挖掘跨任务共享知识和低维向量优化，在少样本及零样本迁移任务上取得优异结果。
2023-10-23 cs.CL
Multitask Pre-training of Modular Prompt for Chinese Few-Shot Learning
Fudan University（复旦大学）
针对少样本场景下提示调优效果不佳的问题，提出在38个中文任务上预训练的可组合模块化提示MP2，通过统一为阅读理解任务、选择性激活组合提示，在两种学习范式下均显著优于现有方法，且仅需8个参数即可快速适配下游任务。
2023-05-06 cs.CL
MultiInstruct: Improving Multi-Modal Zero-Shot Learning via Instruction Tuning
Virginia Tech（弗吉尼亚理工大学）
本研究提出首个多模态指令微调基准数据集MultiInstruct，基于OFA模型结合迁移学习策略，提升了多模态零样本性能，并设计敏感度指标验证了多任务微调对降低指令变体敏感度的作用。
2023-06-10 cs.CL
In-Context Learning Distillation for Efficient Few-Shot Fine-Tuning
Georgia Institute of Technology（佐治亚理工学院）
本文提出上下文学习蒸馏方法，通过知识蒸馏将少样本上下文信息内化，在大幅减少模型参数和内存消耗的同时，显著提升了自然语言推理任务的域外准确率与知识迁移能力。
2024-12-17 cs.CL
Few-shot Fine-tuning vs. In-context Learning: A Fair Comparison and Evaluation
Saarland University（萨尔兰大学）；University of Cambridge（剑桥大学）；Bar-Ilan University（巴伊兰大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）
本文在控制模型规模、示例数量和参数量的条件下公平比较少样本微调与上下文学习，发现微调模型同样具备良好的域外泛化能力，两种方法表现相似且均受模型规模和示例数量影响。
2023-05-30 cs.CL
RABBiT: Rapidly adaptive BOLD foundation model via brain-tuning for accurate zero-shot and few-shot prediction of speech-elicited responses in the brain
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
针对脑语言理解泛化难问题，提出RABBiT紧凑音频-fMRI编码器，依托脑调优等创新实现跨被试跨场景语音诱发脑响应的高精度零/少样本预测，支撑规模化脑语言分析。
2026-07-07 cs.CL
FPT: Feature Prompt Tuning for Few-shot Readability Assessment
Peking University（北京大学）；National Key Laboratory for Multimedia Information Processing（多媒体信息处理国家重点实验室）；School of Software and Microelectronics, Peking University（北京大学软件与微电子学院）；School of Computer Science, Peking University（北京大学计算机学院）
针对少样本可读性评估中传统提示缺乏语言知识、语言特征利用不稳健的问题，提出 FPT 框架，将语言特征注入可训练软提示并用新损失校准类别排序，显著优于现有提示方法、语言特征方法及 gpt-3.5-turbo-16k。
2024-04-10 cs.CL
HINT: Hypernetwork Instruction Tuning for Efficient Zero- & Few-Shot Generalisation
Allen Institute for AI（艾伦人工智能研究所）；Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
HINT提出用超网络将任务指令和示例转换为参数高效模块，在解码时拼接编码指令，从而以极低额外计算成本实现高效零样本与少样本泛化，性能显著超越现有基线。
2023-05-24 cs.CL
Deep Exploration of Cross-Lingual Zero-Shot Generalization in Instruction Tuning
LG AI Research（LG AI研究院）
本文通过英语与韩语元数据集的指令微调实验，并引入含51个基准的KORANI及跨语言模板，证明跨语言零样本泛化可显著提升未见任务表现。
2024-06-13 cs.CL
Q-Tuning: Queue-based Prompt Tuning for Lifelong Few-shot Language Learning
McMaster University（麦克马斯特大学）；Amazon（亚马逊公司）；The Ohio State University（俄亥俄州立大学）
本文提出Q-tuning方法，通过构建提示队列、自适应知识聚合、PCA驱逐规则及记忆保持正则化，实现预训练语言模型的终身少样本学习，在恒定复杂度下大幅超越现有方法。
2024-04-22 cs.CL
Fine-Tuning BERT for Schema-Guided Zero-Shot Dialogue State Tracking
University of Science and Technology of China（中国科学技术大学）
我们在对话系统技术挑战8（DSTC 8）中介绍了我们在轨道4上的工作。DSTC 8-Track 4旨在在zero-shot设置下执行对话状态跟踪（DST），其中模型需要在给定这些目标API的模式定义的情况下对看不见的服务API进行泛化。作为Siri、Alexa和Google Assistant等众多虚拟助手的核心，DST跟踪用户的目标和对话历史中发生的事情，主要包括意图预测、槽填充和用户状态跟踪，测试模型的自然语言理解能力。最近，预训练的语言模型已经取得了最先进的结果，并在各种NLP任务上显示出令人印象深刻的泛化能力，这为语言理解提供了一种很有前途的零样本学习方法。在此基础上，我们提出了一个模式引导的范例zero-shot对话状态跟踪（SGP-DST）微调BERT，最流行的预训练语言模型之一。SGP-DST系统包含四个模块，分别用于意图预测、时隙预测、时隙转移预测和用户状态汇总。根据官方评估结果，我们的SGP-DST（team 12）在25个参赛团队中，在联合目标准确性（排名提交的主要评估指标）方面排名第三，在所需的F1位置上排名第一。
2020-02-01 cs.CL
Aligning Instruction Tasks Unlocks Large Language Models as Zero-Shot Relation Extractors
The Ohio State University（俄亥俄州立大学）
针对大型语言模型在关系抽取任务上表现不佳的问题，提出QA4RE框架，通过将关系抽取与问答任务对齐，显著提升了模型在零样本和少样本设置下的性能与鲁棒性。
2023-05-18 cs.CL
LiST: Lite Prompted Self-training Makes Parameter-Efficient Few-shot Learners
Purdue University（普渡大学）；Microsoft Research（微软研究院）
我们提出了一种新的方法LiST是精简自训练的缩写，用于少样本学习的大型预训练语言模型（PLM）的参数高效微调。LiST使用两种关键技术改进了最近采用基于FFT的微调（FN）的方法。第一个是使用自训练来利用大量未标记数据用于Few-Shot设置中的基于神经网络的FN。我们使用自我训练结合元学习来重新加权嘈杂的伪提示标签。自训练是昂贵的，因为它需要重复更新所有模型参数。因此，我们使用第二种技术进行轻量级微调，其中我们引入了少量特定于任务的参数，这些参数在自我训练期间进行微调，同时保持PLM编码器冻结。我们的实验表明，LiST可以有效地利用未标记的数据，以提高少样本学习的模型性能。此外，微调是高效的，因为它只更新一小部分参数，并且由于多个任务可以共享一个公共PLM编码器作为主干，因此减少了整体模型占用空间。对六个NLU任务的综合研究表明，LiST比经典微调提高了35%，比基于神经网络的FN提高了6%，当每个任务的标记示例不超过30个时，可训练参数的数量减少了96%。在只有14 M个可调参数的情况下，LiST在Few-Shot NLU任务上的性能比GPT-3在上下文中学习高出33%。
2022-05-18 cs.CL
Analyzing Commonsense Emergence in Few-shot Knowledge Models
Allen Institute for AI（艾伦人工智能研究所）；EPFL（洛桑联邦理工学院）；University of Washington（华盛顿大学）
最近，常识知识模型--在知识图谱（KG）元组上微调的预训练语言模型（LM）--表明，相当数量的常识知识可以编码在大语言模型的参数中。然而，由于平行研究表明，LMs本身是陈述性常识关系的糟糕假设者，因此尚不清楚这种知识是在预训练期间学习的，还是从KG示例的微调中学习的。为了研究这一问题，我们在Few-Shot场景中对常识知识模型进行训练，以研究其常识表征能力的出现。我们的研究结果表明，常识知识模型可以从有限的例子中快速适应，这表明KG微调有助于学习预训练期间学习的编码知识的接口。重要的是，我们的绝对，角度和分布参数变化的分析，在Few-Shot微调提供了新的见解如何学习这个接口。
2021-09-10 cs.CL
Generating Synthetic Datasets for Few-shot Prompt Tuning
Nanyang Technological University（南洋理工大学）
针对少样本提示微调依赖大量标注数据的问题，利用LLM合成任务特定数据，并提出DawGen方法与梯度手术策略训练软提示，显著提升了少样本分类性能。
2024-10-08 cs.AI cs.CL
You Only Fine-tune Once: Many-Shot In-Context Fine-Tuning for Large Language Models
University of Florida（佛罗里达大学）
本文提出多示例上下文微调方法，通过扩展上下文学习原理，显著提升大型语言模型在多任务处理中的性能，接近专门微调水平并缓解灾难性遗忘问题。
2026-03-03 cs.AI cs.CL
RIFF: Learning to Rephrase Inputs for Few-shot Fine-tuning of Language Models
University of Alberta（阿尔伯塔大学）
本文提出RIFF方法，通过训练少样本释义模型改写输入文本，并与参数高效微调结合，在六个文本分类数据集上提升少样本性能。
2024-06-06 cs.CL cs.LG
Fine-tuning Large Language Models for Adaptive Machine Translation
ADAPT Centre（ADAPT中心）；Dublin City University（都柏林城市大学）；South East Technological University（东南理工大学）
本文通过微调Mistral 7B模型，利用医学领域零样本与单样本提示，提升其自适应机器翻译能力，在西班牙语到英语翻译中超越基线及NLLB 3.3B，并接近ChatGPT性能。
2023-12-20 cs.CL cs.IR
Embedding Hallucination for Few-Shot Language Fine-tuning
Dartmouth College（达特茅斯学院）；Northwestern University（西北大学）
Few-Shot语言学习者从预先训练的模型中调整知识，从少量标记的句子中识别新的类别。在这样的设置中，微调预训练的语言模型可能导致严重的过拟合。在本文中，我们提出了一种嵌入幻觉（EmbedHalluc）方法，该方法生成辅助嵌入标签对来扩展微调数据集。幻觉器是通过与神经网络进行对抗游戏来训练的，这样幻觉嵌入对微调数据集中的真实嵌入是不加区分的。通过使用扩展数据集进行训练，语言学习者可以有效地从各种幻觉嵌入中学习，以克服过度拟合问题。实验表明，我们提出的方法是有效的，在广泛的语言任务，优于目前的微调方法。此外，我们表明EmbedHalluc优于其他方法，解决这个过拟合问题，如常见的数据增强，半监督伪标签，和正则化。该守则将在https://github.com/yiren-jian/EmbedHalluc上提供。
2022-05-03 cs.AI cs.CL
PromptDA: Label-guided Data Augmentation for Prompt-based Few-shot Learners
Illinois Institute of Technology（伊利诺伊理工学院）
大型预训练语言模型（PLM）的最新进展通过特定于任务的微调在自然语言理解（NLU）任务方面取得了令人印象深刻的进展。然而，直接微调PLM严重依赖于足够的标记训练实例，这通常是很难获得的。PLM上的基于数据库的调优已被证明对于各种下游Few-Shot任务是强大的。现有的工作研究Few-Shot自然语言理解任务的基于语义的调整主要集中在派生适当的标签词与动词或生成提示模板，以引出语义从PLM。此外，传统的数据增强策略，如同义词替换，虽然广泛采用在低资源的情况下，只带来边际改进的少样本学习。因此，一个重要的研究问题出现了：如何设计有效的数据增强方法，为基础的Few-Shot调整？为此，考虑到标签语义是必不可少的，在基于标签的调整，我们提出了一种新的标签引导的数据增强的框架BattDA，它利用丰富的标签语义信息的数据增强。在Few-Shot文本分类任务上的大量实验结果表明，该框架通过有效利用标签语义和数据增强进行自然语言理解，具有优异的性能。我们的代码可在https://github.com/canyuchen/PromptDA上获得。
2023-03-22 cs.AI cs.CL
Zero-Shot Cross-Domain Code Search without Fine-Tuning
Zhejiang University（浙江大学）；Chongqing University（重庆大学）；Singapore Management University（新加坡管理大学）
本文提出CodeBridge，一种零样本、无需微调的跨领域代码搜索方法，通过将查询-代码匹配分解为查询-注释和代码-代码匹配，并利用LLM生成注释和伪代码进行融合，在多个数据集上显著优于现有方法。
2025-04-10 cs.CL cs.SE
Adapting Language Models for Zero-shot Learning by Meta-tuning on Dataset and Prompt Collections
University of California, Berkeley（加州大学伯克利分校）
大型预训练语言模型（LM），如GPT-3，已经获得了执行零样本学习的惊人能力。例如，为了在没有任何训练样本的情况下对情感进行分类，我们可以用评论和标签描述“用户喜欢这部电影吗？”，并询问下一个单词是“是”还是“不”。然而，下一单词预测训练目标仍然与目标零样本学习目标不一致。为了解决这个问题，我们提出了元调优，它通过在一组数据集上微调预训练的语言模型来直接优化零样本学习目标。我们专注于分类任务，并通过聚合43个现有数据集和以问答（QA）格式注释441个标签描述来构建元数据集。当对看不见的任务进行评估时，元调优模型的性能优于相同大小的QA模型和之前基于自然语言推理的SOTA零样本学习系统。此外，将参数计数从2.2亿增加到7.7亿，AUC-ROC评分提高了6.3%，我们预测更大的模型会表现得更好。因此，在现成的语言模型上测量零样本学习性能可能会低估它们的真正潜力，而在社区范围内聚合数据集并统一其格式的努力可以帮助构建更好地回答提示的模型。
2021-09-08 cs.AI cs.CL
Making Pre-trained Language Models Better Few-shot Learners
Princeton University（普林斯顿大学）；Massachusetts Institute of Technology（麻省理工学院）
最近的GPT-3模型（Brown等人，2020）仅通过利用自然语言提示和一些任务演示作为输入上下文，就实现了出色的Few-Shot性能。受他们的研究结果的启发，我们在更实际的场景中研究了少样本学习，在这种场景中，我们使用较小的语言模型，微调在计算上是有效的。我们提出了LM-BFF--更好的Few-Shot微调语言模型--一套简单而互补的技术，用于在少量带注释的示例上微调语言模型。我们的方法包括（1）基于提示的微调以及自动生成提示的新颖管道;以及（2）动态且有选择地将演示纳入每个上下文的细化策略。最后，我们提出了一个系统的评估分析Few-Shot性能的一系列NLP任务，包括分类和回归。我们的实验表明，我们的方法相结合，大大优于标准的微调程序，在这种低资源设置，实现了高达30%的绝对改善，平均11%，在所有任务。我们的方法对任务资源和领域专业知识的假设最少，因此构成了一个强大的任务不可知的方法少样本学习。
2021-06-02 cs.CL cs.LG
SPARSEFIT: Few-shot Prompting with Sparse Fine-tuning for Jointly Generating Predictions and Natural Language Explanations
ETH Zürich（苏黎世联邦理工学院）；University of Edinburgh（爱丁堡大学）；University College London（伦敦大学学院）
本文提出 SparseFit 稀疏少样本微调策略，通过离散提示联合生成预测与自然语言解释，仅微调 6.8% 参数即可在性能和解释质量上达到或超越全量微调及现有参数高效微调方法。
2024-08-11 cs.AI cs.CL
Prototypical Verbalizer for Prompt-based Few-shot Tuning
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Alibaba Group（阿里巴巴集团）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
预训练语言模型（PLM）的基于自适应的调优已经在少样本学习中显示出其有效性。通常，基于完形填空的优化将输入文本包装成一个完形填空题。为了进行预测，该模型通过一个动词化器将输出单词映射到标签，该动词化器可以是手动设计的，也可以是自动构建的。然而，手动动词在很大程度上依赖于特定领域的先验知识和人类的努力，而找到合适的标签词自动仍然是challenging.In这项工作中，我们提出了原型动词（ProtoVerb），这是直接从训练数据。具体来说，ProtoVerb通过对比学习学习原型向量作为动词。通过这种方式，原型总结了训练实例，并能够包含丰富的类级语义。我们在主题分类和实体分类任务上进行了实验，结果表明ProtoVerb的性能明显优于当前的自动语言描述器，特别是当训练数据非常稀缺时。更令人惊讶的是，即使在未调优的PLM上，ProtoVerb也能始终如一地增强基于自适应的调优，这表明了一种利用PLM的优雅的非调优方式。我们的代码可在https://github.com/thunlp/OpenPrompt获得。
2022-03-18 cs.CL cs.LG
Making Pre-trained Language Models End-to-end Few-shot Learners with Contrastive Prompt Tuning
Alibaba Group（阿里巴巴集团）；Carnegie Mellon University（卡内基梅隆大学）；Peking University（北京大学）
预训练的语言模型（PLM）在IR系统中的各种语言理解任务中取得了显著的性能，这些任务需要基于标记的训练数据的微调过程。对于低资源场景，PLM的基于任务的学习利用提示作为任务指导，并将下游任务转化为掩蔽的语言问题，以进行有效的Few-Shot微调。在大多数现有的方法中，基于机器学习的高性能在很大程度上依赖于手工制作的提示和言语化器，这可能会限制这种方法在现实世界场景中的应用。为了解决这个问题，我们提出CP调整，第一个端到端的对比提示微调框架微调PLM没有任何手工工程的任务特定的提示和言语。它集成了任务不变的连续提示编码技术，具有完全可训练的提示参数。我们进一步提出了成对代价敏感的对比学习过程来优化模型，以实现无动词的类映射，并增强提示的任务不变性。它明确地学习区分不同的类，并通过为简单和困难的情况分配不同的成本来使决策边界更平滑。在IR系统和不同PLM中使用的各种语言理解任务的实验表明，CP调整优于最先进的方法。
2022-04-01 cs.AI cs.CL
Zero-shot cross-lingual transfer in instruction tuning of large language models
Naver Labs Europe（Naver欧洲实验室）
本研究系统探讨了大型语言模型指令微调中的零样本跨语言迁移，发现只要在超参数调优中考虑多语言性并使用足够数据，仅用英语训练的模型也能在其他语言中生成正确且全面的响应，但存在事实性低和流畅性错误的问题。
2024-04-22 cs.AI cs.CL
FewCLUE: A Chinese Few-shot Learning Evaluation Benchmark
CLUE team（CLUE团队）
预训练语言模型（PLM）在自然语言理解任务中取得了巨大的成功。虽然不同的学习方案-微调，zero-shot，和少样本学习-已被广泛探索和比较的语言，如英语，有相对较少的工作，公平和全面的评估和比较这些方法，从而阻碍了累积的进展。在本文中，我们介绍了中文少样本学习评估基准（FewCLUE），第一个全面的Few-Shot评估基准中文。它包括九个任务，从单句和句子对分类任务到机器阅读理解任务。我们系统地评估了五种最先进的（SOTA）少样本学习方法（包括PET，ADAPET，LM-BFF，P-tuning和EFL），并在新构建的FewCLUE基准测试上比较了它们与微调和零样本学习方案的性能。实验结果表明：1）不同的少样本学习方法的效果对应用这些方法的预训练模型敏感; 2）PET和P调整分别使用RoBERTa和ERNIE实现最佳的整体性能。我们的基准被用于NLPCC 2021的少样本学习竞赛。此外，我们还提供了一个用户友好的工具包，以及一个在线排行榜，以帮助促进中国少样本学习的进一步进展。我们提供了不同学习方法的基线表现，为未来的研究提供参考。
2021-09-29 cs.AI cs.CL
PromptFix: Few-shot Backdoor Removal via Adversarial Prompt Tuning
School of Information Science & Technology, Pennsylvania State University（宾夕法尼亚州立大学信息科学与技术学院）；Department of Computer Science, Stony Brook University（石溪大学计算机科学系）
本文提出PromptFix，一种少样本场景下通过对抗性提示调优移除NLP模型后门的方法，保持模型参数不变，仅用两组软令牌近似并抵消触发词，在多种攻击和领域偏移下验证了有效性。
2024-06-06 cs.CL cs.LG
Instruction Tuning Vs. In-Context Learning: Revisiting Large Language Models in Few-Shot Computational Social Science
Qingdao University of Science and Technology（青岛科技大学）
本文对比了少样本计算社会科学任务中指令微调与上下文学习对大型语言模型分类性能的影响，发现ICL在多数任务中优于IT，且单纯增加样本数量不一定提升性能，强调了优化样本质量与提示策略的重要性。
2024-09-23 cs.AI cs.CL
Cold-Start Data Selection for Few-shot Language Model Fine-tuning: A Prompt-Based Uncertainty Propagation Approach
Georgia Institute of Technology（佐治亚理工学院）；Emory University（埃默里大学）；University of Washington（华盛顿大学）；Google（谷歌）
提出PATRON方法，利用基于提示的不确定性传播和分区后重写策略，在冷启动下选择少样本微调数据，显著提升分类性能。
2023-05-08 cs.CL cs.LG
The Right Time Matters: Data Arrangement Affects Zero-Shot Generalization in Instruction Tuning
Tsinghua University（清华大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Renmin University of China（中国人民大学）；Alibaba Group（阿里巴巴集团）
本文从数据排列角度研究指令微调中的零样本泛化机制，证明泛化发生在训练早期且损失可作指标，并提出以测试为中心的多轮排列框架来提升持续学习效果。
2025-04-07 cs.AI cs.CL cs.LG
The CoT Collection: Improving Zero-shot and Few-shot Learning of Language Models via Chain-of-Thought Fine-Tuning
KAIST AI（韩国科学技术院人工智能学院）；NAVER AI Lab（NAVER人工智能实验室）；University of Washington（华盛顿大学）
该研究提出CoT Collection数据集，通过思维链微调较小语言模型（Flan-T5 3B/11B），在BBH基准和领域任务上显著提升零样本与少样本推理能力，甚至超越ChatGPT。
2023-10-14 cs.AI cs.CL cs.LG
OneNet: A Fine-Tuning Free Framework for Few-Shot Entity Linking via Large Language Model Prompting
University of Science and Technology of China（中国科学技术大学）
提出免微调框架OneNet，利用大型语言模型少样本学习能力，通过实体缩减、双视角链接和共识判定三组件，在七个基准数据集上超越现有最先进实体链接方法。
2024-10-10 cs.AI cs.CL
Tuning Language Models as Training Data Generators for Augmentation-Enhanced Few-Shot Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究提出FewGen方法，通过调优自回归语言模型生成合成训练数据来增强少样本学习，在GLUE基准上显著优于现有方法。
2023-05-12 cs.CL cs.LG
Open-source Large Language Models are Strong Zero-shot Query Likelihood Models for Document Ranking
CSIRO（联邦科学与工业研究组织）；The University of Queensland（昆士兰大学）
本文研究仅预训练未微调的开源LLMs作为零样本查询似然模型的文档排序能力，发现额外指令微调可能降低效果，并提出结合LLM-QLM与混合检索器的先进排序系统。
2023-10-20 cs.CL cs.IR
Learning to Generate Instruction Tuning Datasets for Zero-Shot Task Adaptation
Brown University（布朗大学）
本研究提出开源条件任务生成模型Bonito，通过元模板构建的大规模数据集训练，可将无标注文本转为指令微调数据集，助力大语言模型在专业私有数据上实现零样本任务适配，性能显著优于自监督基线。
2024-09-11 cs.CL cs.LG
Fine-Tuning Without Forgetting In-Context Learning: A Theoretical Analysis of Linear Attention Models
KAIST（韩国科学技术院）
本文通过线性注意力模型理论分析，揭示了微调目标如何修改注意力参数并导致少样本性能下降的条件，提出仅更新值矩阵可保持上下文学习能力。
2026-05-31 cs.CL cs.LG stat.ML
LaFTer: Label-Free Tuning of Zero-shot Classifier using Language and Unlabeled Image Collections
Christian Doppler Laboratory for Embedded Machine Learning（克里斯蒂安·多普勒嵌入式机器学习实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Institute of Computer Graphics and Vision, TU Graz（格拉茨工业大学计算机图形与视觉研究所）
本文提出LaFTer方法，利用未标记图像集合和LLM自动生成的类别描述文本，在无需标签和配对VL数据的情况下微调零样本分类器，在多种数据集上实现了显著性能提升，甚至超越部分有监督基线。
2023-10-23 cs.CL cs.CV
Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
Few-Shot上下文学习（ICL）通过将少量训练样本作为输入的一部分，使预先训练的语言模型能够执行先前未见过的任务，而无需任何基于梯度的训练。ICL会产生大量的计算、内存和存储成本，因为每次进行预测时都要处理所有的训练样本。参数高效微调（PEFT）（例如适配器模块、提示微调、稀疏更新方法等）提供了一种替代范例，其中训练一小组参数以使模型能够执行新任务。在本文中，我们严格比较Few-Shot ICL和PEFT，并证明后者提供了更好的精度以及显着降低计算成本。一路上，我们引入了一种名为（IA）$^3$的新PEFT方法，该方法通过学习向量扩展激活，在仅引入相对少量的新参数的情况下获得更强的性能。我们还提出了一个基于T0模型的简单配方，称为T-Few，可以应用于新任务，而无需特定于任务的调整或修改。我们通过将T-Few应用于RAFT基准测试，验证了T-Few在完全看不见的任务上的有效性，首次实现了超人的性能，并以6%的绝对优势超越了最先进的技术。我们实验中使用的所有代码都是公开的。
2022-08-26 cs.AI cs.CL cs.LG
Ontology-enhanced Prompt-tuning for Few-shot Learning
Zhejiang University（浙江大学）；AZFT Joint Lab for Knowledge Engine（AZFT知识引擎联合实验室）；Hangzhou Innovation Center（杭州创新中心）；Alibaba Group（阿里巴巴集团）；Tecent（腾讯）
少样本学习（FSL）的目标是基于有限数量的样本进行预测。知识图谱和本体库等结构化数据已被用于各种任务中的Few-Shot设置。然而，现有方法所采用的先验知识存在知识缺失、知识噪声和知识异构等问题，影响了少样本学习的性能。在这项研究中，我们探索知识注入FSL与预先训练的语言模型，并提出本体增强提示微调（OntoPrompt）。具体来说，我们开发了基于外部知识图谱的本体转换，以解决知识缺失的问题，实现了结构化知识到文本的转换。我们进一步引入跨度敏感的知识注入，通过一个可见的矩阵来选择有用的知识来处理知识噪声问题。为了弥合知识和文本之间的差距，我们提出了一个集体训练算法来共同优化表示。我们评估我们提出的OntoPrompt在三个任务，包括关系抽取，事件抽取，和知识图谱完成，八个数据集。实验结果表明，我们的方法可以获得更好的Few-Shot性能比基线。
2022-01-27 cs.AI cs.CL cs.IR
COS-DPO: Conditioned One-Shot Multi-Objective Fine-Tuning Framework
Institute for Computational and Mathematical Engineering (ICME), Stanford University（计算与数学工程研究所（ICME），斯坦福大学）；Amazon（亚马逊）；Department of Mathematics, Stanford University（数学系，斯坦福大学）
COS-DPO框架通过条件化一次性训练扩展直接偏好优化，解决多目标微调问题，实现高效帕累托前沿刻画与训练后灵活权衡控制，并在排序与LLM对齐任务中验证有效性。
2025-06-20 cs.CL cs.LG math.OC
Retrieval-Augmented Few-Shot Prompting Versus Fine-Tuning for Code Vulnerability Detection
Electrical and Computer Engineering（电气与计算机工程）；American University of Beirut（贝鲁特美国大学）
本研究比较了检索增强的少样本提示与微调方法在代码漏洞检测中的性能，发现检索增强提示在效率和效果上均优于微调方法。
2025-11-28 cs.AI cs.CL cs.CR
M$^2$PT: Multimodal Prompt Tuning for Zero-shot Instruction Learning
Rochester Institute of Technology（罗切斯特理工学院）；U.S. Naval Research Laboratory（美国海军研究实验室）；Harvard Medical School（哈佛医学院）；ByteDance（字节跳动）；Meta AI；Meituan（美团）；University of Science and Technology of China（中国科学技术大学）；Shanghai Academy of AI for Science（上海人工智能科学研究院）；Fudan University（复旦大学）；University of Missouri - Kansas City（密苏里大学堪萨斯城分校）；University of California - Davis（加利福尼亚大学戴维斯分校）
针对现有参数高效微调方法多忽略多模态特性的问题，提出M$^2$PT多模态提示调优方法，分别向视觉编码器和语言处理器整合对应模态提示以促进跨模态特征提取与对齐，在多数据集上性能优于现有最优基线且经消融实验验证有效。
2024-10-30 cs.AI cs.CL cs.LG
Meta-learning Pathologies from Radiology Reports using Variance Aware Prototypical Networks
Covera Health（Covera健康公司）
基于transformer的大型预训练语言模型（如BERT和GPT）改变了自然语言处理（NLP）的格局。然而，微调这样的模型仍然需要针对每个目标任务的大量训练样本，因此注释多个数据集并在各种下游任务上训练这些模型变得耗时且昂贵。在这项工作中，我们提出了一个简单的扩展原型网络的Few-Shot文本分类。我们的主要思想是用高斯模型代替类原型，并引入一个正则化项，鼓励样本聚集在适当的类质心附近。实验结果表明，该方法在13个公共数据集和4个内部数据集上的性能优于各种强基线。此外，我们使用类分布作为一种工具，用于检测潜在的分布（OOD）数据点在部署过程中。
2022-11-10 cs.CL cs.LG
Domain-Oriented Prefix-Tuning: Towards Efficient and Generalizable Fine-tuning for Zero-Shot Dialogue Summarization
Beijing University of Posts and Telecommunications（北京邮电大学）；Meituan Group（美团集团）
目前最先进的抽象对话摘要器缺乏对新领域的泛化能力，摘要中的领域自适应研究一般依赖于大规模的预训练。为探索对话摘要领域自适应的轻量级微调方法，提出了一种高效、可推广的面向领域前缀调整模型。该模型利用领域词初始化前缀模块缓解领域纠缠，采用离散提示引导模型聚焦对话关键内容，增强模型泛化能力。我们进行了zero-shot实验，并在两个多领域对话摘要数据集TODSum和QMSum上建立了领域自适应基准。大量的实验和定性分析证明了本文方法的有效性。
2022-04-09 cs.CL
TKDP: Threefold Knowledge-enriched Deep Prompt Tuning for Few-shot Named Entity Recognition
Wuhan University（武汉大学）；National University of Singapore（新加坡国立大学）；University of São Paulo（圣保罗大学）
针对少样本命名实体识别中现有提示调优方法知识利用不足的问题，提出融合上下文、标签、义原三重知识的深度提示调优框架TKDP，在多个基准数据集上显著优于基线，且可适配其他少样本任务。
2023-06-10 cs.CL
Fine-tuning Encoders for Improved Monolingual and Zero-shot Polylingual Neural Topic Modeling
Johns Hopkins University（约翰霍普金斯大学）
神经主题模型可以用深度预训练的基于transformer的单词预测模型的学习表示来增强或替换词袋输入。使用来自多语言模型的表示的一个额外好处是，它们促进了zero-shot多语言主题建模。然而，虽然人们已经广泛观察到预训练的嵌入应该针对给定的任务进行微调，但对于主题建模等无监督任务来说，监督应该是什么样子还不清楚。因此，我们提出了几种微调编码器的方法，以改善单语和zero-shot多语言神经主题建模。我们考虑对辅助任务进行微调，构建新的主题分类任务，将主题分类目标直接集成到主题模型训练中，并继续进行预训练。我们发现，微调编码器表示的主题分类和主题分类任务直接集成到主题建模提高了主题质量，微调编码器表示的任何任务是促进跨语言迁移的最重要因素。
2021-04-11 cs.CL
Few-shot Unified Question Answering: Tuning Models or Prompts?
Carnegie Mellon University（卡内基梅隆大学）；Salesforce Research（赛富时研究院）
本文针对低资源少样本场景下的统一问答任务，对比了模型微调与提示微调两种范式，发现提示微调在良好初始化下表现相当且更具优势，为低资源场景下的统一问答系统开发提供了见解。
2023-05-23 cs.CL
Scaled Prompt-Tuning for Few-Shot Natural Language Generation
Hasso Plattner Institute（哈索·普拉特纳研究所）；University of Potsdam（波茨坦大学）
针对少样本自然语言生成，提出缩放提示微调（SPT）方法，在冻结大部分参数的同时提升性能与泛化能力，为数据匮乏和计算受限场景提供高效解决方案。
2023-09-13 cs.CL
Prompt Tuning for Few-Shot Continual Learning Named Entity Recognition
stu.xju.edu.cn（西安交通大学）
针对少样本持续学习命名实体识别中的少样本蒸馏困境，提出面向锚词的提示微调范式与记忆演示模板策略，通过弥合预训练与微调差距并提供历史任务重放样本，有效避免困境并提升性能。
2025-08-10 cs.CL
PETapter: Leveraging PET-style classification heads for modular few-shot parameter-efficient fine-tuning
Leibniz Institute for Media Research | Hans-Bredow-Institut (HBI)（莱比锡媒体研究所 | 哈恩-布雷多研究所）
提出 PETapter 方法，将 PEFT 与 PET 风格分类头结合，在大幅降低计算开销的同时实现与全量微调相当的少样本性能，提升参数效率与模块化共享能力。
2024-12-06 cs.CL
Improving Zero and Few-Shot Abstractive Summarization with Intermediate Fine-tuning and Data Augmentation
Yale University（耶鲁大学）；Facebook AI（脸书人工智能研究院）；Nanyang Technological University（南洋理工大学）；Renmin University of China（中国人民大学）
在大型文本语料库上使用自监督目标预训练的模型在英语文本摘要任务上实现了最先进的性能。然而，这些模型通常在数十万个数据点上进行微调，这在将摘要应用于新的利基领域时是不可行的要求。在这项工作中，我们介绍了一种新颖的和可推广的方法，称为WikiTransfer，用于微调预训练模型，以无监督的，特定于网络的方式进行摘要。WikiTransfer对伪摘要的预训练模型进行微调，伪摘要是从通用维基百科数据中产生的，其中包含目标数据集的特征，例如所需摘要的长度和抽象级别。WikiTransfer模型在CNN-DailyMail数据集上实现了最先进的zero-shot抽象摘要性能，并在另外三个不同的数据集上证明了我们的方法的有效性。这些模型对噪声数据更鲁棒，并且与来自其他摘要数据集的Few-Shot传输相比，使用10个和100个训练样本也实现了更好或相当的Few-Shot性能。为了进一步提高性能，我们通过往返转换采用数据增强，并引入正则化项以改进Few-Shot传输。为了了解数据集方面在传输性能和最终输出摘要质量中的作用，我们进一步研究了无监督微调数据的组件的影响，并使用自动和人工评估来分析Few-Shot性能。
2021-04-11 cs.CL
Soft Layer Selection with Meta-Learning for Zero-Shot Cross-Lingual Transfer
University of Maryland（马里兰大学）；Amazon AI（亚马逊人工智能）
多语言预训练的上下文嵌入模型（Devlin等人，2019）在zero-shot跨语言迁移任务上取得了令人印象深刻的表现。找到最有效的微调策略来微调高资源语言上的这些模型，使其能够很好地转移到zero-shot语言是一项重要的任务。在本文中，我们提出了一种新的元优化器来软选择预训练模型的哪些层在微调期间冻结。我们通过模拟zero-shot传输场景来训练元优化器。跨语言自然语言推理的结果表明，我们的方法优于简单的微调基线和X-MAML（Nooralahzadeh等人，2020年）。
2021-07-21 cs.CL
