Improving the Sample Efficiency of Prompt Tuning with Domain Adaptation
Nanyang Technological University（南洋理工大学）
提示微调，或者用从数据中学习的软提示对冻结的预训练语言模型（PLM）进行调节，已经在广泛的NLP任务中表现出令人印象深刻的性能。然而，提示微调需要一个大的训练数据集才能有效，并且在数据稀缺的情况下，通过微调整个PLM来表现更好。先前的工作（Gu等人，2022，Vu等人，2022）提议将在源域上预训练的软提示转移到目标域。在本文中，我们探讨了领域自适应的提示微调，一个问题的设置，从目标域的未标记的数据在预训练。我们提出了一种基于领域自适应的动态快速提示微调（OPTIMA），它将决策边界规则化，使其在源数据和目标数据分布相似的区域周围变得平滑。大量的实验表明，与强基线相比，OPTIMA显著提高了提示微调的可移植性和采样效率。此外，在Few-Shot设置中，OPTIMA大大超过了全模型调整。
2022-10-21 cs.CL
Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Meituan（美团）；International Innovation Center of Tsinghua University（清华大学国际创新中心）
调整预训练的语言模型（PLM）与特定任务的提示已经成为一种很有前途的文本分类方法。特别是，以前的研究表明，提示微调具有显着的优越性，在低数据的情况下，一般的微调方法与额外的分类器。提示微调的核心思想是插入文本片段，即，模板，并将分类问题转换为掩码语言建模问题，其中关键步骤是构建投影，即，在标签空间和标签词空间之间。语言化器通常是手工制作的或通过梯度下降搜索的，这可能缺乏覆盖范围，并给结果带来相当大的偏差和高方差。在这项工作中，我们专注于将外部知识纳入到动词，形成一个知识化的提示微调（KPT），以改善和稳定提示微调。具体来说，我们扩大的标签词空间的动词使用外部知识库（KBs）和细化扩展的标签词空间与PLM本身预测与扩展的标签词空间。零和Few-Shot文本分类任务的大量实验证明了知识提示微调的有效性。
2022-03-18 cs.CL
Q-Tuning: Queue-based Prompt Tuning for Lifelong Few-shot Language Learning
McMaster University（麦克马斯特大学）；Amazon（亚马逊公司）；The Ohio State University（俄亥俄州立大学）
本文提出Q-tuning方法，通过构建提示队列、自适应知识聚合、PCA驱逐规则及记忆保持正则化，实现预训练语言模型的终身少样本学习，在恒定复杂度下大幅超越现有方法。
2024-04-22 cs.CL
Model ensemble instead of prompt fusion: a sample-specific knowledge transfer method for few-shot prompt tuning
Georgia Institute of Technology（佐治亚理工学院）；Salesforce Research（赛富时研究院）
提示微调方法是在冻结的预训练模型上学习特定于任务的软提示，由于其参数效率而引起了越来越多的兴趣。对于大语言模型和足够的训练数据，提示微调可执行从快速到全模型的调优。然而，在Few-Shot设置中训练样本有限的情况下，提示微调无法匹配全模型微调的性能。在这项工作中，我们专注于提高Few-Shot性能的提示微调通过转移知识的软提示源任务。认识到集成方法在低数据状态下的良好泛化能力，我们首先实验并表明，基于不同来源提示的模型预测的简单集成，优于现有的多提示知识转移方法，例如在Few-Shot设置中的来源提示融合。基于这一观察，我们进一步研究了模型集成，并提出了特定于样本的源模型集成（SESoM）。SESoM学习在集成源模型输出时分别调整每个目标样本的每个源模型的贡献。通过这种方式，SESoM继承了模型集成方法的优越泛化能力，同时捕获每个源提示的样本特定能力。我们使用不同尺度的模型（T5-{base，large，XL}）在不同的8个NLP任务中进行实验，发现SESoM始终优于现有的相同和更大参数尺度的模型。
2023-03-01 cs.CL
Improving Prompt Tuning with Learned Prompting Layers
East China Normal University（华东师范大学）；Southern University of Science and Technology（南方科技大学）
本文提出选择性提示微调框架SPT，通过可学习概率门自动选择提示层，并结合SPT-DARTS双层优化提升性能，在多个基准上超越现有方法。
2023-10-31 cs.CL
PTR: Prompt Tuning with Rules for Text Classification
Tsinghua University（清华大学）
微调的预训练语言模型（PLM）在几乎所有NLP任务上都取得了令人敬畏的性能。通过使用额外的提示来微调PLM，我们可以进一步激发分布在PLM中的丰富知识，以更好地服务于下游任务。提示微调在情感分类和自然语言推理等少类分类任务上取得了可喜的成果。然而，手工设计大量的语言提示是繁琐和容易出错的。对于那些自动生成的提示，在非少数拍摄场景中验证其有效性也是昂贵且耗时的。因此，它仍然是具有挑战性的提示微调，以解决多类分类任务。为此，我们提出了提示微调与规则（PTR）的多类文本分类，并应用逻辑规则来构建提示与几个子提示。以这种方式，PTR能够将每个类的先验知识编码为提示微调。我们进行实验的关系分类，一个典型的和复杂的多类分类任务，结果表明，PTR可以显着和一贯优于现有的最先进的基线。这表明，PTR是一种很有前途的方法，利用人类的先验知识和PLM的复杂的分类任务。
2021-09-15 cs.CL
Multitask Prompt Tuning Enables Parameter-Efficient Transfer Learning
The Ohio State University（俄亥俄州立大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
提示微调，其中通过对学习的提示向量进行调节来使基本预训练模型适应每个任务，已经成为一种有前途的方法，用于有效地使大语言模型适应多个下游任务。然而，现有的方法通常从头开始学习软提示向量，并且还不清楚如何在多任务学习设置中利用提示向量来利用丰富的跨任务知识。我们提出了多任务提示微调（MPT），它首先学习一个单一的可转移的提示，从多个任务特定的源提示提取知识。然后，我们学习乘法低秩更新这个共享提示，以有效地适应每个下游目标任务。在23个NLP数据集上进行的大量实验表明，我们提出的方法优于最先进的方法，包括在某些情况下的完整微调基线，尽管只调整了0.035%的任务特定参数。
2023-03-06 cs.CL
ATTEMPT: Parameter-Efficient Multi-task Tuning via Attentional Mixtures of Soft Prompts
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
这项工作介绍了一种新的多任务，参数高效的语言模型（LM）调整方法，学习跨不同的任务，通过混合的软前缀小前缀嵌入向量预先训练不同的任务来转移知识。我们的方法，称为ATTEMPT（ATTENTIONAL Mixtures of提示微调），获得源提示作为大规模源任务的编码成少量的参数，并训练注意力模块插入源提示和新初始化的目标任务中的每个实例的目标提示。在训练过程中，只有目标任务提示和注意力权重（在多任务训练中任务之间共享）被更新，而原始LM和源提示保持不变。ATTEMPT是高度参数有效的（例如，更新的参数比完全微调少2，300倍），同时使用来自高资源任务的知识实现高任务性能。此外，它是模块化的，使用预先训练的软提示，可以灵活地添加或删除源提示，以实现有效的知识转移。我们在21个不同的NLP数据集上的实验结果表明，ATTEMPT的性能明显优于提示微调，并且优于或匹配完全微调或其他使用十倍以上参数的参数高效调优方法。最后，ATTEMPT在少样本学习设置中优于以前的工作。
2022-12-01 cs.CL
Ultra-Low-Dimensional Prompt Tuning via Random Projection
Dept. Computing Science & Alberta Machine Intelligence Institute (Amii), University of Alberta（阿尔伯塔大学计算机科学系与阿尔伯塔机器智能研究所）；Canada CIFAR AI Chair（加拿大CIFAR人工智能讲席）
本文提出超低维提示调优方法，通过在低维空间优化提示并在冻结随机矩阵上进行上投影，实现训练参数减少98%且保持性能，适用于大规模LLM定制。
2026-04-12 cs.CL
Clip-Tuning: Towards Derivative-free Prompt Learning with a Mixture of Rewards
Baidu（百度）
无导数提示学习已经成为提示微调的轻量级替代方案，它只需要模型推理来优化提示。然而，现有的工作并没有充分利用大型预训练语言模型（PLM）的过度参数化的特点。在本文中，我们提出了剪辑调整，一个简单而有效的方法，采用不同的冻结“细化”网络的PLM获得混合奖励，从而推进衍生物自由提示学习。稀疏网络由所有隐藏单元组成，这些隐藏单元在静态辍学策略中幸存下来，其推理预测反映了提示训练样本的部分视图的集合。我们的方法优于以前的无梯度提示学习方法，并在Few-Shot设置下的七个语言理解基准测试中与基于梯度的同行实现了对等。
2022-10-21 cs.CL
Toward Human Readable Prompt Tuning: Kubrick's The Shining is a good movie, and a good prompt too?
University of Washington（华盛顿大学）
大语言模型可以在指定所需行为的自然语言提示下以zero-shot方式执行新任务。这种提示通常是手工设计的，但也可以通过基于梯度的方法从标记的数据中学习。然而，是什么因素使提示有效，特别是当提示是自然语言时，还没有充分探索。在本文中，我们调查的共同属性共享有效的提示。首先，我们提出了一个人可读的提示微调方法（F LUENT P ROMPT）的基础上朗之万动力学，结合了流畅性约束，找到一个有效的和流畅的提示的多样性分布。我们的分析表明，有效的提示主题相关的任务域和校准的先验概率的标签词。基于这些发现，我们还提出了一种仅使用未标记数据生成提示的方法，在三个任务中的平均准确率超过强基线7.0%。
2022-12-20 cs.CL
The Power of Prompt Tuning for Low-Resource Semantic Parsing
ServiceNow Research（ServiceNow研究院）；Mila（Mila研究所）；McGill University（麦吉尔大学）；Facebook（脸书）
提示微调最近已经成为一种有效的方法，用于使预训练的语言模型适应许多语言理解和生成任务。在本文中，我们研究提示微调的语义解析-映射自然语言的话语到正式的意义表示的任务。在Overnight和TOPv 2的低资源分割上，我们发现即时调整的T5-xl显著优于其微调的对应物，以及强大的GPT-3和BART基线。我们还在不同的模型规模和目标表示中进行了消融研究，发现随着模型规模的增加，及时调整的T5模型在生成远离训练前分布的目标表示方面有所改善。
2022-04-01 cs.CL
Context-Tuning: Learning Contextualized Prompts for Natural Language Generation
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Université de Montréal（蒙特利尔大学）；School of Information, Renmin University of China（中国人民大学信息学院）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
最近，预训练语言模型（PLM）在语言生成方面取得了巨大的成功。为了利用PLM编码的丰富知识，一个简单而强大的范例是使用离散令牌或连续嵌入形式的提示。在现有的研究中，这些提示方法通常与输入无关，缺乏对输入语义的充分考虑。为了解决这个问题，我们提出了一种新的连续提示的方法，称为上下文调整，微调PLM的自然语言生成。首先，根据输入文本导出提示，以从PLM中提取有用的知识用于生成。我们把这种提示称为语境化提示。其次，我们使用连续的逆提示，以改善自然语言的生成过程，通过建模从输出到输入的逆生成过程，使生成的文本更相关的输入。此外，我们利用一个轻量级的上下文调整方法，微调只有0.12%的参数，同时保持良好的性能。我们的代码可在https://github.com/RUCAIBox/Context-Tuning上公开获取。
2022-10-03 cs.CL
Automatic Summarization of Doctor-Patient Encounter Dialogues Using Large Language Model through Prompt Tuning
University of Florida（佛罗里达大学）；University of Florida Health Cancer Center（佛罗里达大学健康癌症中心）
本研究提出通过提示调优生成式大型语言模型来自动总结医患对话，实验表明GatorTronGPT-20B模型在所有评估指标上表现最佳，且计算成本低。
2026-06-16 cs.CL
Zero-shot Cross-lingual Transfer of Prompt-based Tuning with a Unified Multilingual Prompt
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
基于预训练的调优已被证明对预训练的语言模型（PLM）是有效的。虽然大多数现有的工作集中在单语提示，我们研究多语种PLM的多语种提示，特别是在zero-shot跨语言设置。为了减轻为多种语言设计不同提示的努力，我们提出了一种新的模型，该模型使用统一的提示所有语言，称为UniPrompt。与离散提示和软提示不同，统一提示是基于模型的，与语言无关。具体地说，统一的提示是由一个多语言的PLM初始化，以产生语言无关的表示，之后与文本输入融合。在推理过程中，提示可以预先计算，因此不需要额外的计算成本。为了配合统一提示，我们提出了一种新的初始化方法的目标标签词，以进一步提高模型的跨语言的可移植性。大量的实验表明，我们提出的方法可以显着优于不同语言的强基线。我们发布数据和代码，以促进未来的研究。
2022-10-17 cs.CL
Multitask Pre-training of Modular Prompt for Chinese Few-Shot Learning
Fudan University（复旦大学）
针对少样本场景下提示调优效果不佳的问题，提出在38个中文任务上预训练的可组合模块化提示MP2，通过统一为阅读理解任务、选择性激活组合提示，在两种学习范式下均显著优于现有方法，且仅需8个参数即可快速适配下游任务。
2023-05-06 cs.CL
Prefix-Tuning: Optimizing Continuous Prompts for Generation
Stanford University（斯坦福大学）
微调是利用大型预训练语言模型执行下游任务的实际方法。然而，它修改了所有的语言模型参数，因此需要为每个任务存储一个完整的副本。在本文中，我们提出了前缀调整，一个轻量级的替代微调自然语言生成任务，保持语言模型参数冻结，但优化一个小的连续的特定于任务的向量（称为前缀）。前缀调优从提示中获得灵感，允许后续的令牌关注这个前缀，就好像它是“虚拟令牌”一样。我们将前缀调优应用于GPT-2以生成表到文本，并应用于BART以进行摘要。我们发现，通过只学习0.1%的参数，前缀调整在全数据设置中获得了相当的性能，在低数据设置中优于微调，并且更好地外推到训练过程中看不到的主题的示例。
2021-01-01 cs.CL
Decomposed Prompt Tuning via Low-Rank Reparameterization
Singapore University of Technology and Design（新加坡科技设计大学）；Institute for Infocomm Research, A*Star（新加坡科技研究局资讯通信研究院）
本文提出分解式提示调优，利用低秩矩阵初始化软提示，减少可训练参数，在SuperGLUE上验证了有效性。
2023-10-16 cs.CL
Bi-Directional Iterative Prompt-Tuning for Event Argument Extraction
Huazhong University of Science and Technology（华中科技大学）
近年来，提示微调在事件论元抽取中引起了越来越多的关注。然而，现有的提示微调方法由于缺乏对实体信息的考虑而没有取得令人满意的性能。在本文中，我们提出了一个双向迭代提示微调方法EAE，EAE任务被视为完形填空风格的任务，充分利用实体信息和预训练的语言模型（PLM）。此外，我们的方法探讨事件的论点相互作用，通过引入上下文实体的论点作用到提示建设。由于模板和动词化器是完形填空提示语中的两个重要组成部分，本文提出利用角色标签语义知识构造语义动词化器，并设计了三种模板用于EAE任务。ACE 2005英语数据集上的实验表明，该方法显着优于同行国家的最先进的方法。我们的代码可在https://github.com/HustMinsLab/BIP上获得。
2022-10-28 cs.CL
IAPT: Instruction-Aware Prompt Tuning for Large Language Models
East China Normal University（华东师范大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Minnesota（明尼苏达大学）；Pingan Technology（平安科技）
本文提出指令感知提示微调方法IAPT，仅用四个软令牌，通过在各Transformer层设置带瓶颈结构的软提示生成器并自动学习特有激活函数，在参数相当下优于基线且在多租户设置中比LoRA更高效。
2024-06-07 cs.CL
Few-shot Unified Question Answering: Tuning Models or Prompts?
Carnegie Mellon University（卡内基梅隆大学）；Salesforce Research（赛富时研究院）
本文针对低资源少样本场景下的统一问答任务，对比了模型微调与提示微调两种范式，发现提示微调在良好初始化下表现相当且更具优势，为低资源场景下的统一问答系统开发提供了见解。
2023-05-23 cs.CL
Generative Prompt Tuning for Relation Classification
Beijing University of Posts and Telecommunications（北京邮电大学）；Singapore University of Technology and Design（新加坡科技设计大学）
使用提示来探索包含在用于下游任务的预训练语言模型中的知识现在已经成为一个活跃的话题。目前的提示微调方法大多通过添加完形填空式短语并将所有标签映射为固定长度的动词化来将下游任务转换为掩蔽语言建模问题，这对于具有简单标签空间的任务是有效的。然而，当应用于呈现复杂标签空间的关系分类时，香草提示微调方法可能会由于严格的提示限制而难以处理具有任意长度的标签动词化。受预训练生成模型的文本填充任务的启发，可以灵活地预测缺失的跨度，我们提出了一种新的生成提示微调方法，将关系分类重新定义为填充问题，这使我们的方法摆脱了当前基于提示的方法的局限性，从而充分利用了实体和关系类型的丰富语义。此外，我们设计了实体引导的解码和判别关系评分，以在推理过程中有效和高效地生成和对齐关系。在完全监督设置和低资源设置下的广泛实验证明了我们的方法的有效性。
2022-10-22 cs.CL
Instruction Tuning and CoT Prompting for Contextual Medical QA with LLMs
New York University（纽约大学）；Columbia University（哥伦比亚大学）；University of Michigan（密歇根大学）
本研究针对开源大型语言模型在生物医学问答基准PubMedQA上的性能提升问题，通过对比标准指令提示、思维链提示及QLoRA参数高效指令调优策略，发现思维链提示可提升零样本推理，指令调优显著提高准确率，但思维链提示微调的收益具模型和规模依赖性。
2025-06-13 cs.CL
On the Analysis of Cross-Lingual Prompt Tuning for Decoder-based Multilingual Model
Seoul National University（首尔大学）；NAVER Cloud（NAVER云）；NAVER AI Lab（NAVER人工智能实验室）；University of Richmond（里士满大学）；Artificial Intelligence Institute, Seoul National University（首尔大学人工智能研究所）
本研究分析基于解码器的多语言模型XGLM中跨语言提示调优，发现其以极低参数更新率（0.13%）达到或超越微调性能，尤其对低资源语言更有效，且与令牌化方案相关。
2023-11-14 cs.CL
ADePT: Adaptive Decomposed Prompt Tuning for Parameter-Efficient Fine-tuning
Renmin University of China（中国人民大学）
ADePT通过引入适应性分解提示微调方法，改进了参数高效微调的性能，实现了更优的适应能力和更高效的推理速度。
2025-12-21 cs.CL
Latent Prompt Tuning for Text Summarization
The Hong Kong Polytechnic University（香港理工大学）；Microsoft（微软）；Microsoft Research Asia（微软亚洲研究院）
具有不同控制信号的开关（例如，长度、关键字等）可用于控制文本摘要。当控制信号可用时，它们可以控制生成的摘要的属性，并潜在地提高摘要质量（因为给出了更多信息）。不幸的是，控制信号在推断时间期间还不可用。在本文中，我们提出了莲花（简写为潜在的提示微调的总结），这是一个单一的模型，可以应用于控制和非控制（无控制信号）模式。在训练过程中，Lotus使用对比学习目标从具有黄金控制信号的提示中学习潜在的提示表示。实验表明，Lotus在不受控制的模式下在四个不同的摘要数据集上一致地改进了强（不可控）摘要模型。我们还演示了生成的摘要可以使用用户指定的控制令牌的提示进行控制。
2022-12-19 cs.CL
Self-Prompt Tuning: Enable Autonomous Role-Playing in LLMs
Nankai University（南开大学）；Lenovo Research（联想研究院）
针对角色扮演提示需人工设计的问题，提出自提示微调方法，构建LIMA-Role数据集微调LLMs，使其能自动生成专家角色提示，在多数NLP基准上性能优于标准指令微调基线。
2024-07-12 cs.CL
Residual Prompt Tuning: Improving Prompt Tuning with Residual Reparameterization
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Meta AI
针对提示调优性能不佳且对超参数敏感的问题，提出残差提示调优方法，通过带残差连接的浅层网络重参数化软提示嵌入，在SuperGLUE上显著提升性能并增强稳定性。
2023-05-06 cs.AI cs.CL
Building a Personalized Dialogue System with Prompt-Tuning
Waseda University（早稻田大学）；LINE Corporation（LINE公司）
没有一致响应的对话系统是不吸引人的。在这项研究中，我们建立了一个对话系统，可以响应基于给定的字符设置（人物）带来的一致性。针对语言模型规模迅速扩大的趋势，提出了一种对预先训练好的大规模语言模型进行提示微调的方法，该方法具有较低的学习成本。英语和日语的自动和手动评估的结果表明，有可能使用比微调更少的计算资源来构建具有更自然和个性化响应的对话系统。
2022-06-11 cs.CL
On Transferability of Prompt Tuning for Natural Language Processing
Tsinghua University（清华大学）；Tencent Inc（腾讯公司）；Institute for AI Industry Research (AIR)（人工智能产业研究院（AIR））
本文系统研究软提示在任务与模型间的可迁移性，证明其可零样本迁移、加速并改善提示调优，并发现激活神经元重叠率是关键指标。
2022-04-27 cs.CL
StablePrompt: Automatic Prompt Tuning using Reinforcement Learning for Large Language Models
KAIST（韩国科学技术院）
针对LLM提示调优中RL的不稳定性，提出StablePrompt框架，通过引入APPO算法和LLM锚定模型自适应调整策略更新，在保持语言能力的同时实现灵活搜索，在多任务上表现优异。
2024-10-10 cs.CL
A Survey on Prompt Tuning
University of Cambridge（剑桥大学）
本文综述提示调优，一种通过预置可训练连续向量适配冻结语言模型的参数高效方法，分类现有方法并分析其优缺点、挑战及未来方向。
2025-07-09 cs.CL
Learning a Better Initialization for Soft Prompts via Meta-Learning
Columbia University（哥伦比亚大学）
提示微调（PT）是使预训练的语言模型适应下游任务的有效方法。如果没有良好的初始化，则在Few-Shot设置下无法很好地执行提示微调。因此，提出了预训练提示微调（PPT），通过利用预训练数据来初始化提示。我们提出MetaPT（元学习提示微调），以进一步改善PPT的初始化，考虑潜在的结构内的预训练数据。具体来说，我们引入的结构，首先聚类预训练数据到不同的辅助任务与无监督的方法。然后，我们使用这些任务来用Meta学习算法预训练提示。这样的过程可以通过发现这些辅助任务之间的共性来使提示学习更好的初始化。我们评估我们的方法在七个下游任务。我们的MetaPT实现了比最先进的方法更好，更稳定的性能。
2022-05-25 cs.CL
Co$^2$PT: Mitigating Bias in Pre-trained Language Models through Counterfactual Contrastive Prompt Tuning
Texas A&M University（德州农工大学）；George Mason University（乔治梅森大学）
针对预训练语言模型在下游应用中放大社会偏见的问题，提出了一种名为Co$^2$PT的高效去偏方法，通过在下游任务中进行反事实对比提示微调来缓解偏见，实验证明其有效且能适应现有上游去偏模型。
2023-10-19 cs.CL
Optimizing Soft Prompt Tuning via Structural Evolution
School of Information and Software Engineering, University of Electronic Science and Technology of China（电子科技大学信息与软件工程学院）；School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）；College of Professional and Continuing Education, The Hong Kong Polytechnic University（香港理工大学专业及继续教育学院）；School of Robotics and Advanced Manufacture, Harbin Institute of Technology（哈尔滨工业大学机器人与先进制造学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）
本文提出基于拓扑形态演化的软提示微调优化方法，通过拓扑持久同调量化结构表示，改进模型收敛速度和微调性能，提升可解释性。
2026-02-18 cs.CL
FPT: Feature Prompt Tuning for Few-shot Readability Assessment
Peking University（北京大学）；National Key Laboratory for Multimedia Information Processing（多媒体信息处理国家重点实验室）；School of Software and Microelectronics, Peking University（北京大学软件与微电子学院）；School of Computer Science, Peking University（北京大学计算机学院）
针对少样本可读性评估中传统提示缺乏语言知识、语言特征利用不稳健的问题，提出 FPT 框架，将语言特征注入可训练软提示并用新损失校准类别排序，显著优于现有提示方法、语言特征方法及 gpt-3.5-turbo-16k。
2024-04-10 cs.CL
HiVe: Beyond Static Prompts for Multitask Learning via Hierarchy-based Vertical Mixture-of-Experts
Korea University（高丽大学）
该研究针对现有提示微调结构的局限，提出HiVe框架，通过训练构建提示层次结构、推理时采用V-MoE机制实现输入依赖的提示专业化，在多任务中性能优于基线方法。
2026-09-02 cs.CL
Multitask Vision-Language Prompt Tuning
University of California Berkeley（加州大学伯克利分校）；ByteDance Inc（字节跳动公司）
提示微调以任务特定的学习提示向量为条件，已经成为一种数据高效和参数高效的方法，用于使大型预训练视觉语言模型适应多个下游任务。然而，现有的方法通常考虑从零开始独立地学习每个任务的提示向量，从而无法利用跨不同视觉语言任务的丰富的可共享知识。在本文中，我们提出了多任务视觉语言提示微调（MVLPT），它将跨任务的知识到视觉语言模型的提示微调。具体而言，（i）我们证明了从多个源任务中学习单个可转移提示以初始化每个目标任务的提示的有效性;（ii）我们表明许多目标任务可以从共享提示向量中相互受益，因此可以通过多任务提示微调来共同学习。我们基准建议MVLPT使用三个代表性的提示微调方法，即文本提示微调，视觉提示微调，和统一的视觉语言提示微调。在20个视觉任务的结果表明，所提出的方法优于所有的单任务基线提示微调方法，设置新的国家的最先进的Few-Shot ELEVATER基准和跨任务的泛化基准。为了了解跨任务知识最有效的地方，我们还进行了一项大规模的研究任务的可转移性与20个视觉任务的400个组合的每一个提示微调方法。结果表明，每种提示微调方法的最佳性能MVLPT更倾向于不同的任务组合，并且许多任务可以相互受益，这取决于它们的视觉相似性和标签相似性。代码可在https://github.com/sIncerass/MVLPT上获得。
2022-12-05 cs.CL cs.CV
TuneVLSeg: Prompt Tuning Benchmark for Vision-Language Segmentation Models
Nepal Applied Mathematics and Informatics Institute for research (NAAMII)（尼泊尔应用数学与信息学研究所（NAAMII））
该研究提出开源基准框架TuneVLSeg，整合多种提示调优技术到视觉语言分割模型，在多类医学及自然域分割数据集上测试，发现视觉提示调优性价比突出，推进了域特定分割相关技术的应用。
2024-10-08 cs.CL cs.CV
CrossPT: Exploring Cross-Task Transferability through Multi-Task Prompt Tuning
本文提出 CrossPT 多任务提示微调框架，将目标提示分解为共享源提示与任务私有提示并通过注意力机制组合，在 GLUE 等基准上验证了其在低资源场景下优于传统提示微调的准确率、鲁棒性和参数效率。
2025-09-11 cs.AI cs.CL
Prompt-Tuning Can Be Much Better Than Fine-Tuning on Cross-lingual Understanding With Multilingual Language Models
Salesforce AI Research（赛富时人工智能研究院）
预训练的多语言模型在广泛的自然语言理解（NLU）任务上显示出zero-shot跨语言模型传输的显着性能增益。此前，对于zero-shot跨语言评估，预先训练的模型仅在英语数据上进行微调，并在多种目标语言上进行测试。在本文中，我们做了跨语言的评价各种自然语言理解任务（句子分类，序列标记，问答）使用提示微调，并比较它与微调。结果表明，提示微调实现了更好的跨语言迁移比微调跨数据集，只有0.1%至0.3%的调整参数。此外，我们通过分析表明，提示微调可以有更好的跨语言的下游任务的表示更好地对齐决策边界的可转移性。
2022-12-13 cs.AI cs.CL
SPT: Semi-Parametric Prompt Tuning for Multitask Prompted Learning
Nanyang Technological University（南洋理工大学）；Amazon Web Services（亚马逊云科技）
预训练的大语言模型可以以自然的方式有效地插入人类书写的提示。多任务提示学习可以通过一次完成一组不同的任务来帮助概括，从而提高更有效的下游微调的潜力。为了在同一批中执行有效的多任务推理，已经提出了诸如提示微调的参数高效微调方法。然而，现有的提示微调方法可能缺乏通用性。我们提出了SPT，半参数提示微调方法多任务提示学习。SPT的新颖组件是一个存储体，从该存储体中基于离散提示检索存储器提示。大量的实验，如（i）微调一个完整的语言模型与SPT的31个不同的任务，从8个不同的领域和评估zero-shot泛化9 heldout数据集下的5个NLP任务类别和（ii）预训练SPT的GLUE数据集和评估微调SuperGLUE数据集，证明了SPT的有效性。
2022-12-21 cs.AI cs.CL cs.LG
XPrompt: Exploring the Extreme of Prompt Tuning
Beijing Institute of Technology（北京理工大学）；Meituan（美团）；Meta AI；Sun Yat-Sen University（中山大学）
提示微调学习软提示以调节冻结的预训练语言模型（PLM），从而以参数高效的方式执行下游任务。虽然随着模型规模的增大，提示微调已经逐渐达到了微调的性能水平，但对于中小规模的模型（一般小于11 B参数），提示微调与微调之间仍存在较大的性能差距。在本文中，我们经验表明，训练的提示令牌可能会对下游任务产生负面影响，从而降低其性能。为了弥补这一差距，我们提出了一个新的提示微调模型与eXtremely小规模（XPrompt）下的彩票假说的政权。具体来说，XPrompt通过层次结构化的修剪消除了不同粒度级别的负提示符，从而产生了更具参数效率的提示符，同时具有竞争力的性能。在SuperGLUE任务上进行了全面的实验，广泛的结果表明，XPrompt能够在较小的模型规模上缩小性能差距。
2022-10-10 cs.CL cs.LG
SuperPos-Prompt: Enhancing Soft Prompt Tuning of Language Models with Superposition of Multi Token Embeddings
Sharif University of Technology（谢里夫理工大学）；Qatar Computing Research Institute（卡塔尔计算研究所）；Helmholtz Center for Infection Research（亥姆霍兹感染研究中心）
本文提出 SuperPos-Prompt 技术，通过叠加多个预训练词汇嵌入改进软提示学习，在 GLUE/SuperGLUE 上优于残差提示微调并加速收敛，同时发现冻结网络中省略 dropout 可进一步提升性能。
2024-06-07 cs.AI cs.CL
STT: Soft Template Tuning for Few-Shot Adaptation
University at Buffalo（布法罗大学）；Microsoft Research（微软研究院）；Adobe Research（奥多比研究院）
提示微调是一种非常有效的工具，可以使预先训练的模型适应下游任务。然而，标准的基于任务的方法主要考虑下游任务有足够数据的情况。目前还不清楚这种优势是否可以转移到Few-Shot制度，其中只有有限的数据可用于每个下游任务。虽然一些工作已经证明了在Few-Shot设置下的快速调整的潜力，但是通过搜索离散提示或在有限数据下调整软提示的主流方法仍然非常具有挑战性。通过大量的实证研究，我们发现对于少样本学习，提示微调和完全微调之间仍然存在差距。为了弥补这一差距，我们提出了一个新的非线性调优框架，称为软模板调优（STT）。STT结合了手动和自动提示，并将下游分类任务视为掩码语言建模任务。对不同设置的综合评价表明，STT可以在不引入额外参数的情况下缩小微调方法和基于自适应的方法之间的差距。值得注意的是，它甚至可以在情感分类任务上优于耗时和资源消耗的微调方法。
2022-07-18 cs.AI cs.CL
Generating Synthetic Datasets for Few-shot Prompt Tuning
Nanyang Technological University（南洋理工大学）
针对少样本提示微调依赖大量标注数据的问题，利用LLM合成任务特定数据，并提出DawGen方法与梯度手术策略训练软提示，显著提升了少样本分类性能。
2024-10-08 cs.AI cs.CL
Making Pre-trained Language Models End-to-end Few-shot Learners with Contrastive Prompt Tuning
Alibaba Group（阿里巴巴集团）；Carnegie Mellon University（卡内基梅隆大学）；Peking University（北京大学）
预训练的语言模型（PLM）在IR系统中的各种语言理解任务中取得了显著的性能，这些任务需要基于标记的训练数据的微调过程。对于低资源场景，PLM的基于任务的学习利用提示作为任务指导，并将下游任务转化为掩蔽的语言问题，以进行有效的Few-Shot微调。在大多数现有的方法中，基于机器学习的高性能在很大程度上依赖于手工制作的提示和言语化器，这可能会限制这种方法在现实世界场景中的应用。为了解决这个问题，我们提出CP调整，第一个端到端的对比提示微调框架微调PLM没有任何手工工程的任务特定的提示和言语。它集成了任务不变的连续提示编码技术，具有完全可训练的提示参数。我们进一步提出了成对代价敏感的对比学习过程来优化模型，以实现无动词的类映射，并增强提示的任务不变性。它明确地学习区分不同的类，并通过为简单和困难的情况分配不同的成本来使决策边界更平滑。在IR系统和不同PLM中使用的各种语言理解任务的实验表明，CP调整优于最先进的方法。
2022-04-01 cs.AI cs.CL
PTP: Boosting Stability and Performance of Prompt Tuning with Perturbation-Based Regularizer
University of Maryland（马里兰大学）；HKUST（香港科技大学）
针对现有提示调优训练不稳定的问题，该研究提出基于扰动正则化的PTP算法，通过平滑损失曲面提升稳定性与性能，在SuperGLUE和FewGLUE基准上取得显著提升。
2023-05-03 cs.AI cs.CL
Input-Tuning: Adapting Unfamiliar Inputs to Frozen Pretrained Models
Xi’an Jiaotong University（西安交通大学）；Microsoft Research Asia（微软亚洲研究院）；Beihang University（北京航空航天大学）；Microsoft Azure AI（微软Azure人工智能）；Peking University（北京大学）
最近，自动调优范式引起了极大的关注。通过仅使用冻结的预训练语言模型（PLM）来调整连续提示，快速调整朝着部署共享的冻结PLM以服务于众多下游任务迈出了一步。尽管自调优在某些自然语言理解（NLU）任务上表现出良好的性能，但其在自然语言生成（NLG）任务上的有效性仍然未被充分探索。在本文中，我们认为，阻碍NLG任务的快速调整发展的因素之一是不熟悉的输入（即，输入在语言上不同于预训练语料库）。例如，我们的初步探索揭示了一个很大的性能差距时，不熟悉的输入经常出现在NLG任务的微调和微调。这促使我们提出输入调整，微调连续提示和输入表示，导致一个更有效的方式来适应不熟悉的输入冻结PLM。我们提出的输入调整是概念上简单，经验强大。七个NLG任务的实验结果表明，输入调谐是显着的，并始终优于单调谐。此外，在这些任务中的三个任务上，输入调整可以实现与微调相当甚至更好的性能。
2022-03-07 cs.AI cs.CL
Enhancing Few-Shot Transfer Learning with Optimized Multi-Task Prompt Tuning through Modular Prompt Composition
本文提出一种模块化提示组合的多任务提示调优方法，通过分解共享与私有提示并优化组合方式，在少样本设置下显著提升GLUE等任务的准确性和鲁棒性。
2025-09-11 cs.AI cs.CL
When Do Prompting and Prefix-Tuning Work? A Theory of Capabilities and Limitations
University of Oxford（牛津大学）
本文从理论上分析 prompting、in-context learning、soft prompting 与 prefix-tuning，证明其无法改变相对注意力模式，因而只能激发已有能力而难以学习新任务。
2024-04-09 cs.CL cs.LG
Towards Unified Prompt Tuning for Few-shot Text Classification
East China Normal University（华东师范大学）；Alibaba Group（阿里巴巴集团）；Zhejiang Lab（之江实验室）；Ant Group（蚂蚁集团）
基于任务的微调通过采用特定于任务的提示，提高了预训练语言模型（PLM）在Few-Shot文本分类上的性能。然而，PLM在预训练期间不熟悉机器学习风格的表达，这限制了下游任务的少样本学习性能。如果模型能够在适应特定的NLP任务之前获得一些提示性知识，那将是可取的。我们提出了统一提示微调（UPT）框架，通过显式捕获非目标NLP数据集的提示语义，为BERT风格的模型提供更好的Few-Shot文本分类。在UPT中，提出了一种新的范式，用于跨不同NLP任务的联合提示学习，迫使PLM捕获任务不变的提示知识。我们进一步设计了一个名为知识增强的选择性掩蔽语言建模的自监督任务，以提高PLM的泛化能力，以准确适应以前看不见的任务。在跨多个任务进行多任务学习之后，PLM可以更好地针对低资源设置中的任何不同目标任务进行自动调整。对各种NLP任务的实验表明，UPT在基于神经网络的微调方面始终优于最先进的技术。
2022-05-11 cs.AI cs.CL
Dynamic Prompting: A Unified Framework for Prompt Tuning
University of California, Santa Barbara（加州大学圣巴巴拉分校）；NEC Laboratories America（NEC美国实验室）
本文提出统一动态提示微调框架，通过理论分析证明提示位置包围输入可捕获额外语义，并利用轻量级网络动态确定提示因素，在NLP、视觉及视觉-语言任务中显著提升性能。
2023-05-27 cs.AI cs.CL
DynaPrompt: Dynamic Test-Time Prompt Tuning
AIM Lab, University of Amsterdam（阿姆斯特丹大学 AIM 实验室）；Xiaohongshu Inc.（小红书公司）；Tsinghua University（清华大学）
为解决测试时提示调优忽略样本相关性及在线调优误差累积的问题，提出 DynaPrompt，通过基于预测熵和概率差的动态提示选择与追加机制，自适应优化提示缓冲区，在十四个数据集上有效提升了零样本泛化性能。
2025-01-27 cs.AI cs.CL cs.LG
