Automatic Summarization of Doctor-Patient Encounter Dialogues Using Large Language Model through Prompt Tuning
University of Florida（佛罗里达大学）；University of Florida Health Cancer Center（佛罗里达大学健康癌症中心）
本研究提出通过提示调优生成式大型语言模型来自动总结医患对话，实验表明GatorTronGPT-20B模型在所有评估指标上表现最佳，且计算成本低。
2026-06-16 cs.CL
Multitask Pre-training of Modular Prompt for Chinese Few-Shot Learning
Fudan University（复旦大学）
针对少样本场景下提示调优效果不佳的问题，提出在38个中文任务上预训练的可组合模块化提示MP2，通过统一为阅读理解任务、选择性激活组合提示，在两种学习范式下均显著优于现有方法，且仅需8个参数即可快速适配下游任务。
2023-05-06 cs.CL
Prompt-Reverse Inconsistency: LLM Self-Inconsistency Beyond Generative Randomness and Prompt Paraphrasing
Department of Computer Science & Engineering（计算机科学与工程系）；The Pennsylvania State University（宾夕法尼亚州立大学）
本研究发现了大语言模型的新型自不一致性“提示反转不一致（PRIN）”，即对同一问题的候选答案，LLM在回答正确/错误判定类反向提示时会出现矛盾，该问题会影响LLM作为评判者的可信度，研究还通过实验探究了其分布、缓解方法等，为可信AI发展提供参考。
2025-07-30 cs.CL
Prefix-Tuning: Optimizing Continuous Prompts for Generation
Stanford University（斯坦福大学）
微调是利用大型预训练语言模型执行下游任务的实际方法。然而，它修改了所有的语言模型参数，因此需要为每个任务存储一个完整的副本。在本文中，我们提出了前缀调整，一个轻量级的替代微调自然语言生成任务，保持语言模型参数冻结，但优化一个小的连续的特定于任务的向量（称为前缀）。前缀调优从提示中获得灵感，允许后续的令牌关注这个前缀，就好像它是“虚拟令牌”一样。我们将前缀调优应用于GPT-2以生成表到文本，并应用于BART以进行摘要。我们发现，通过只学习0.1%的参数，前缀调整在全数据设置中获得了相当的性能，在低数据设置中优于微调，并且更好地外推到训练过程中看不到的主题的示例。
2021-01-01 cs.CL
Bi-Directional Iterative Prompt-Tuning for Event Argument Extraction
Huazhong University of Science and Technology（华中科技大学）
近年来，提示微调在事件论元抽取中引起了越来越多的关注。然而，现有的提示微调方法由于缺乏对实体信息的考虑而没有取得令人满意的性能。在本文中，我们提出了一个双向迭代提示微调方法EAE，EAE任务被视为完形填空风格的任务，充分利用实体信息和预训练的语言模型（PLM）。此外，我们的方法探讨事件的论点相互作用，通过引入上下文实体的论点作用到提示建设。由于模板和动词化器是完形填空提示语中的两个重要组成部分，本文提出利用角色标签语义知识构造语义动词化器，并设计了三种模板用于EAE任务。ACE 2005英语数据集上的实验表明，该方法显着优于同行国家的最先进的方法。我们的代码可在https://github.com/HustMinsLab/BIP上获得。
2022-10-28 cs.CL
IAPT: Instruction-Aware Prompt Tuning for Large Language Models
East China Normal University（华东师范大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Minnesota（明尼苏达大学）；Pingan Technology（平安科技）
本文提出指令感知提示微调方法IAPT，仅用四个软令牌，通过在各Transformer层设置带瓶颈结构的软提示生成器并自动学习特有激活函数，在参数相当下优于基线且在多租户设置中比LoRA更高效。
2024-06-07 cs.CL
Instruction Tuning and CoT Prompting for Contextual Medical QA with LLMs
New York University（纽约大学）；Columbia University（哥伦比亚大学）；University of Michigan（密歇根大学）
本研究针对开源大型语言模型在生物医学问答基准PubMedQA上的性能提升问题，通过对比标准指令提示、思维链提示及QLoRA参数高效指令调优策略，发现思维链提示可提升零样本推理，指令调优显著提高准确率，但思维链提示微调的收益具模型和规模依赖性。
2025-06-13 cs.CL
Self-Prompt Tuning: Enable Autonomous Role-Playing in LLMs
Nankai University（南开大学）；Lenovo Research（联想研究院）
针对角色扮演提示需人工设计的问题，提出自提示微调方法，构建LIMA-Role数据集微调LLMs，使其能自动生成专家角色提示，在多数NLP基准上性能优于标准指令微调基线。
2024-07-12 cs.CL
Residual Prompt Tuning: Improving Prompt Tuning with Residual Reparameterization
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Meta AI
针对提示调优性能不佳且对超参数敏感的问题，提出残差提示调优方法，通过带残差连接的浅层网络重参数化软提示嵌入，在SuperGLUE上显著提升性能并增强稳定性。
2023-05-06 cs.AI cs.CL
On Transferability of Prompt Tuning for Natural Language Processing
Tsinghua University（清华大学）；Tencent Inc（腾讯公司）；Institute for AI Industry Research (AIR)（人工智能产业研究院（AIR））
本文系统研究软提示在任务与模型间的可迁移性，证明其可零样本迁移、加速并改善提示调优，并发现激活神经元重叠率是关键指标。
2022-04-27 cs.CL
Generative Prompt Internalization
KAIST AI（韩国科学技术院人工智能研究所）；Microsoft Research（微软研究院）
生成性提示内化通过联合训练方法实现复杂提示的内化，减少计算开销并提升模型性能。
2025-03-25 cs.AI cs.CL
CrossPT: Exploring Cross-Task Transferability through Multi-Task Prompt Tuning
本文提出 CrossPT 多任务提示微调框架，将目标提示分解为共享源提示与任务私有提示并通过注意力机制组合，在 GLUE 等基准上验证了其在低资源场景下优于传统提示微调的准确率、鲁棒性和参数效率。
2025-09-11 cs.AI cs.CL
XPrompt: Exploring the Extreme of Prompt Tuning
Beijing Institute of Technology（北京理工大学）；Meituan（美团）；Meta AI；Sun Yat-Sen University（中山大学）
提示微调学习软提示以调节冻结的预训练语言模型（PLM），从而以参数高效的方式执行下游任务。虽然随着模型规模的增大，提示微调已经逐渐达到了微调的性能水平，但对于中小规模的模型（一般小于11 B参数），提示微调与微调之间仍存在较大的性能差距。在本文中，我们经验表明，训练的提示令牌可能会对下游任务产生负面影响，从而降低其性能。为了弥补这一差距，我们提出了一个新的提示微调模型与eXtremely小规模（XPrompt）下的彩票假说的政权。具体来说，XPrompt通过层次结构化的修剪消除了不同粒度级别的负提示符，从而产生了更具参数效率的提示符，同时具有竞争力的性能。在SuperGLUE任务上进行了全面的实验，广泛的结果表明，XPrompt能够在较小的模型规模上缩小性能差距。
2022-10-10 cs.CL cs.LG
SuperPos-Prompt: Enhancing Soft Prompt Tuning of Language Models with Superposition of Multi Token Embeddings
Sharif University of Technology（谢里夫理工大学）；Qatar Computing Research Institute（卡塔尔计算研究所）；Helmholtz Center for Infection Research（亥姆霍兹感染研究中心）
本文提出 SuperPos-Prompt 技术，通过叠加多个预训练词汇嵌入改进软提示学习，在 GLUE/SuperGLUE 上优于残差提示微调并加速收敛，同时发现冻结网络中省略 dropout 可进一步提升性能。
2024-06-07 cs.AI cs.CL
Generating Synthetic Datasets for Few-shot Prompt Tuning
Nanyang Technological University（南洋理工大学）
针对少样本提示微调依赖大量标注数据的问题，利用LLM合成任务特定数据，并提出DawGen方法与梯度手术策略训练软提示，显著提升了少样本分类性能。
2024-10-08 cs.AI cs.CL
Making Pre-trained Language Models End-to-end Few-shot Learners with Contrastive Prompt Tuning
Alibaba Group（阿里巴巴集团）；Carnegie Mellon University（卡内基梅隆大学）；Peking University（北京大学）
预训练的语言模型（PLM）在IR系统中的各种语言理解任务中取得了显著的性能，这些任务需要基于标记的训练数据的微调过程。对于低资源场景，PLM的基于任务的学习利用提示作为任务指导，并将下游任务转化为掩蔽的语言问题，以进行有效的Few-Shot微调。在大多数现有的方法中，基于机器学习的高性能在很大程度上依赖于手工制作的提示和言语化器，这可能会限制这种方法在现实世界场景中的应用。为了解决这个问题，我们提出CP调整，第一个端到端的对比提示微调框架微调PLM没有任何手工工程的任务特定的提示和言语。它集成了任务不变的连续提示编码技术，具有完全可训练的提示参数。我们进一步提出了成对代价敏感的对比学习过程来优化模型，以实现无动词的类映射，并增强提示的任务不变性。它明确地学习区分不同的类，并通过为简单和困难的情况分配不同的成本来使决策边界更平滑。在IR系统和不同PLM中使用的各种语言理解任务的实验表明，CP调整优于最先进的方法。
2022-04-01 cs.AI cs.CL
PTP: Boosting Stability and Performance of Prompt Tuning with Perturbation-Based Regularizer
University of Maryland（马里兰大学）；HKUST（香港科技大学）
针对现有提示调优训练不稳定的问题，该研究提出基于扰动正则化的PTP算法，通过平滑损失曲面提升稳定性与性能，在SuperGLUE和FewGLUE基准上取得显著提升。
2023-05-03 cs.AI cs.CL
Input-Tuning: Adapting Unfamiliar Inputs to Frozen Pretrained Models
Xi’an Jiaotong University（西安交通大学）；Microsoft Research Asia（微软亚洲研究院）；Beihang University（北京航空航天大学）；Microsoft Azure AI（微软Azure人工智能）；Peking University（北京大学）
最近，自动调优范式引起了极大的关注。通过仅使用冻结的预训练语言模型（PLM）来调整连续提示，快速调整朝着部署共享的冻结PLM以服务于众多下游任务迈出了一步。尽管自调优在某些自然语言理解（NLU）任务上表现出良好的性能，但其在自然语言生成（NLG）任务上的有效性仍然未被充分探索。在本文中，我们认为，阻碍NLG任务的快速调整发展的因素之一是不熟悉的输入（即，输入在语言上不同于预训练语料库）。例如，我们的初步探索揭示了一个很大的性能差距时，不熟悉的输入经常出现在NLG任务的微调和微调。这促使我们提出输入调整，微调连续提示和输入表示，导致一个更有效的方式来适应不熟悉的输入冻结PLM。我们提出的输入调整是概念上简单，经验强大。七个NLG任务的实验结果表明，输入调谐是显着的，并始终优于单调谐。此外，在这些任务中的三个任务上，输入调整可以实现与微调相当甚至更好的性能。
2022-03-07 cs.AI cs.CL
Generative Caching for Structurally Similar Prompts and Responses
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）
本研究提出生成式缓存方法，通过识别结构相似提示的响应模式，提升缓存命中率和执行效率。
2025-11-14 cs.AI cs.CL
When Do Prompting and Prefix-Tuning Work? A Theory of Capabilities and Limitations
University of Oxford（牛津大学）
本文从理论上分析 prompting、in-context learning、soft prompting 与 prefix-tuning，证明其无法改变相对注意力模式，因而只能激发已有能力而难以学习新任务。
2024-04-09 cs.CL cs.LG
PromptKD: Distilling Student-Friendly Knowledge for Generative Language Models via Prompt Tuning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））；AITRICS
本文提出PromptKD方法，首次在知识蒸馏中利用提示调优，使生成式语言模型能传递对学生友好的知识，在仅添加教师模型0.0007%参数的情况下实现最先进性能，并有效缓解暴露偏差。
2024-09-27 cs.AI cs.CL cs.LG
Dynamic Prompting: A Unified Framework for Prompt Tuning
University of California, Santa Barbara（加州大学圣巴巴拉分校）；NEC Laboratories America（NEC美国实验室）
本文提出统一动态提示微调框架，通过理论分析证明提示位置包围输入可捕获额外语义，并利用轻量级网络动态确定提示因素，在NLP、视觉及视觉-语言任务中显著提升性能。
2023-05-27 cs.AI cs.CL
Prompt Tuning for Discriminative Pre-trained Language Models
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；National University of Singapore（新加坡国立大学）；Tencent（腾讯）
最近的工作表明，在刺激预训练的语言模型（PLM）的自然语言处理（NLP）任务的提示微调有前途的结果。然而，据我们所知，现有的工作集中在预训练生成目标令牌，如BERT的自动调整生成PLM。目前还不清楚是否以及如何区分PLM，例如，ELECTRA，可以有效地调谐。在这项工作中，我们提出了DPT，歧视性PLM的第一个提示微调框架，它将NLP任务重新表述为歧视性语言建模问题。文本分类和问答的综合实验表明，与普通的微调相比，DPT的性能显著提高，同时也避免了在全集合和低资源环境下调优大型PLM时出现的不稳定问题。本文的源代码和实验细节可以从https://github.com/thunlp/DPT获得。
2022-05-23 cs.AI cs.CL
Comparative Evaluation of Prompting and Fine-Tuning for Applying Large Language Models to Grid-Structured Geospatial Data
Argonne National Laboratory（阿贡国家实验室）
本文比较了提示与微调两种方法在大型语言模型处理网格地理空间数据上的效果，发现微调更利于结构化时空推理。
2025-05-21 cs.CL cs.ET
Tutorials on Stance Detection using Pre-trained Language Models: Fine-tuning BERT and Prompting Large Language Models
本文介绍两个立场检测教程，分别讲解BERT微调与LLMs提示技术，通过实践代码与评估揭示few-shot ChatGPT和FLAN-T5优于微调BERT的优势。
2023-07-28 cs.AI cs.CL
InfoPrompt: Information-Theoretic Soft Prompt Tuning for Natural Language Understanding
New York University（纽约大学）；Adobe Research（奥多比研究院）；Duke University（杜克大学）；University of Cambridge（剑桥大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出信息论软提示调优框架 InfoPrompt，通过两个互信息损失改善提示初始化与任务信息编码，显著提升少样本自然语言理解的收敛速度、性能和鲁棒性。
2023-06-08 cs.CL cs.LG stat.ML
Instance-wise Prompt Tuning for Pretrained Language Models
Peking University（北京大学）；Alibaba Group（阿里巴巴集团）
快速学习最近在弥合预训练任务和各种下游任务之间的差距方面获得了很大的普及。它冻结了预训练的语言模型（PLM），只为下游任务调整了一些与任务相关的参数（提示），大大降低了调整巨型模型的成本。实现这一点的关键是使用提示中包含的特定于任务的知识查询PLM的想法。本文揭示了现有方法的一个主要局限性，即对任务中所有输入数据的无差别提示忽略了来自输入数据的内在知识，导致次优性能。我们介绍实例明智的提示微调（IPT），第一提示学习范式，注入知识的输入数据实例的提示，从而提供更丰富和更具体的上下文信息的PLM。我们设计了一系列策略来生成实例提示，解决模型质量和成本效率等各种问题。在多个任务和资源设置中，IPT的性能明显优于基于任务的即时学习方法，并且仅用0.5% - 1.5%的调整参数就达到了与传统微调相当的性能。
2022-06-04 cs.AI cs.CL
PromptFix: Few-shot Backdoor Removal via Adversarial Prompt Tuning
School of Information Science & Technology, Pennsylvania State University（宾夕法尼亚州立大学信息科学与技术学院）；Department of Computer Science, Stony Brook University（石溪大学计算机科学系）
本文提出PromptFix，一种少样本场景下通过对抗性提示调优移除NLP模型后门的方法，保持模型参数不变，仅用两组软令牌近似并抵消触发词，在多种攻击和领域偏移下验证了有效性。
2024-06-06 cs.CL cs.LG
Universality and Limitations of Prompt Tuning
UCLA（加州大学洛杉矶分校）；Google（谷歌）
本研究首次从普适近似与局限性两个角度，理论分析软提示调优在Transformer架构中的作用，证明其普适性并揭示有限深度下的记忆限制，给出参数下界并与LoRA对比，且获实证支持。
2023-11-16 cs.CL cs.LG
Exploring Embedding Priors in Prompt-Tuning for Improved Interpretability and Control
New York University（纽约大学）
本文研究了提示调优中嵌入坍缩现象对模型性能的影响，提出嵌入先验以提升可解释性和可控性，并发现不同激活区域的嵌入能有效提升任务表现。
2026-03-09 cs.CL cs.LG
Black-box Prompt Tuning with Subspace Learning
Tsinghua University（清华大学）；Zhongguancun Laboratory（中关村实验室）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对黑盒提示调优因子空间选择次优而跨任务、跨 LLM 通用性不足的问题，本文提出 BSL，通过相似源任务元学习共同提示子空间，并在目标任务中于该子空间内无导数优化提示。
2024-06-17 cs.AI cs.CL
PromptDA: Label-guided Data Augmentation for Prompt-based Few-shot Learners
Illinois Institute of Technology（伊利诺伊理工学院）
大型预训练语言模型（PLM）的最新进展通过特定于任务的微调在自然语言理解（NLU）任务方面取得了令人印象深刻的进展。然而，直接微调PLM严重依赖于足够的标记训练实例，这通常是很难获得的。PLM上的基于数据库的调优已被证明对于各种下游Few-Shot任务是强大的。现有的工作研究Few-Shot自然语言理解任务的基于语义的调整主要集中在派生适当的标签词与动词或生成提示模板，以引出语义从PLM。此外，传统的数据增强策略，如同义词替换，虽然广泛采用在低资源的情况下，只带来边际改进的少样本学习。因此，一个重要的研究问题出现了：如何设计有效的数据增强方法，为基础的Few-Shot调整？为此，考虑到标签语义是必不可少的，在基于标签的调整，我们提出了一种新的标签引导的数据增强的框架BattDA，它利用丰富的标签语义信息的数据增强。在Few-Shot文本分类任务上的大量实验结果表明，该框架通过有效利用标签语义和数据增强进行自然语言理解，具有优异的性能。我们的代码可在https://github.com/canyuchen/PromptDA上获得。
2023-03-22 cs.AI cs.CL
PromptRad: Knowledge-Enhanced Multi-Label Prompt-Tuning for Low-Resource Radiology Report Labeling
Department of Artificial Intelligence and AI Research Center, Chang Gung University（人工智能系及AI研究中心，长庚大学）；Department of Radiology, Sijhih Cathay General Hospital（放射科，西吉医院）；Department of Medical Imaging and Intervention, Chang Gung Memorial Hospital（医学影像与介入科，长庚纪念医院）；Department of Trauma and Emergency Surgery, Chang Gung Memorial Hospital（创伤与急诊外科，长庚纪念医院）；Department of Computer Science, National Tsing Hua University（计算机科学系，国立清华大学）
本文提出PromptRad，一种基于知识的多标签提示微调方法，用于在低资源环境下进行放射报告标注，通过引入UMLS元词典中的同义词增强类别表示，以更少的标注数据实现优于传统方法的性能。
2026-05-20 cs.AI cs.CL
APrompt4EM: Augmented Prompt Tuning for Generalized Entity Matching
Peking University（北京大学）；China Telecom Research Institute（中国电信研究院）
针对低资源广义实体匹配中的提示设计与信息差距问题，提出融合上下文化软 token 提示调优和 LLM 信息增强的 APrompt4EM，以低成本实现优于中等规模 PLM 方法、媲美微调 LLM 的性能。
2024-05-08 cs.AI cs.CL
Efficient and Effective Prompt Tuning via Prompt Decomposition and Compressed Outer Product
Software College, Northeastern University（东北大学软件学院）；School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）
针对现有提示调优（PT）方法存在的软提示令牌语义关联缺失、长提示导致成本高的问题，提出LAMP方法，通过提示分解（Truncated SVD降维）和压缩外积增强交互，在多架构多数据集上性能和效率优于SOTA的PT和LoRA方法。
2025-02-16 cs.AI cs.CL
FPT: Improving Prompt Tuning Efficiency via Progressive Training
Tsinghua University（清华大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Jiangsu Collaborative Innovation Center for Language Ability（江苏语言能力协同创新中心）
最近，提示微调（PT）作为一种参数高效的预训练语言模型（PLM）调优方法得到了越来越多的关注。尽管PT大大减少了可调参数的数量，并取得了令人满意的性能，但由于其收敛速度慢，训练效率低下。为了提高PT的培训效率，我们首先对“部分PLM”的即时可转移性进行了一些新的观察，“部分PLM”是通过在深度或宽度上压缩PLM来定义的。我们观察到，软提示学习不同的部分PLM的各种大小是相似的参数空间，这意味着这些软提示可能会被转移部分PLM之间。受这些观察结果的启发，我们提出了快速提示微调（FPT），它首先使用小规模的部分PLM进行PT，然后逐步扩展其深度和宽度，直到完整的模型尺寸。在每次扩展之后，我们回收先前学习的软提示作为放大的部分PLM的初始化，然后继续PT。我们在5个任务上证明了FPT的可行性，并表明FPT可以节省超过30%的训练计算，同时实现相当的性能。
2022-11-13 cs.AI cs.CL
Model Tuning or Prompt Tuning? A Study of Large Language Models for Clinical Concept and Relation Extraction
University of Florida（佛罗里达大学）；University of Florida Health Cancer Center（佛罗里达大学健康癌症中心）；NVIDIA（英伟达）
本研究对比大语言模型的4种训练策略在临床概念与关系抽取任务的表现，验证了软提示的优势及冻结大模型在跨机构迁移、小样本场景的应用潜力。
2023-10-10 cs.AI cs.CL
LoPT: Low-Rank Prompt Tuning for Parameter Efficient Language Models
Microsoft AI（微软人工智能）
本文提出低秩提示调优LoPT，通过低秩模型优化提示，在保持与全参数提示调优相近效果的同时将可训练参数量减少5倍，并优于需多10-20倍参数的现有方法。
2024-06-27 cs.AI cs.CL cs.ET
PromptIntern: Saving Inference Costs by Internalizing Recurrent Prompt during Large Language Model Fine-tuning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft（微软公司）；Shanghai Jiao Tong University（上海交通大学）
本文提出 PromptIntern 方法，通过在微调阶段将循环提示内化到模型参数中，结合指令模板压缩与渐进式内化策略，在 NL2Code 任务上减少超 90% 输入 token 并大幅降低推理成本。
2024-10-15 cs.AI cs.CL cs.LG
Fundamental Limits of Prompt Tuning Transformers: Universality, Capacity and Efficiency
Northwestern University（西北大学）；National Taiwan University（台湾大学）；Fuzhou University（福州大学）；UC Berkeley（加州大学伯克利分校）
本文从统计和计算角度揭示单层单头Transformer上提示微调的通用逼近能力、所需token数量的指数下界以及由软提示键查询范数决定的效率相变，为设计高效提示微调方法提供理论基础。
2025-06-05 cs.AI cs.CL cs.LG
Hard Prompts Made Interpretable: Sparse Entropy Regularization for Prompt Tuning with RL
Microsoft Research Asia（微软亚洲研究院）；KAIST（韩国科学技术院）
针对RLPrompt产生不自然提示的问题，提出稀疏Tsallis熵正则化过滤低概率词元，在少样本分类、风格迁移和文本反演任务上显著提升提示的自然性和可解释性。
2024-07-20 cs.AI cs.CL cs.LG
The Synergy of Automated Pipelines with Prompt Engineering and Generative AI in Web Crawling
The Institute of Internal Auditors (IIA)（内部审计师协会（IIA））
本研究结合生成式AI与提示工程自动化网络爬虫，实验表明Claude AI在脚本质量和适应性上优于ChatGPT-4.0，并集成反爬方案以提升性能。
2024-12-29 cs.AI cs.CL cs.IR
Prompt-Counterfactual Explanations for Generative AI System Behavior
University of Antwerp（安特卫普大学）；NYU Stern School of Business（纽约大学斯特恩商学院）
本文提出了一种生成式AI系统的提示-反事实解释方法，用于分析和解释提示对输出特征的影响，以提升模型的可解释性和可控性。
2026-01-27 cs.AI cs.CL cs.CY
On the Role of Attention in Prompt-tuning
University of Michigan（密歇根大学）；UC Riverside（加州大学河滨分校）；Google Research（谷歌研究院）；University of Southern California（南加州大学）；University of British Columbia（不列颠哥伦比亚大学）
本文提出自包含 prompt-attention 模型，从表达能力、梯度学习轨迹和有限样本性能三方面分析提示微调中注意力的作用，并通过真实数据集实验验证理论结论。
2023-06-06 cs.CL cs.LG stat.ML
Prompt Engineering for Scale Development in Generative Psychometrics
University of Virginia（弗吉尼亚大学）
本文研究了提示工程策略如何影响大语言模型生成的人格评估题目质量，发现自适应提示设计在提升结构效度和保留题目池大小方面表现最佳，且其效益随模型能力增强而提升。
2026-03-16 cs.AI cs.CL cs.HC
Historical Test-time Prompt Tuning for Vision Foundation Models
College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；College of Computer Science and Technology, Zhejiang University of Technology（浙江工业大学计算机科学与技术学院）；University of Chinese Academy of Sciences（中国科学院大学）
针对测试时提示随数据流持续更新而性能退化的问题，本文提出 HisTPT，通过三类知识库和自适应检索机制记忆并复用历史知识，在多种视觉任务与持续变化领域中实现稳定优越的调优性能。
2024-10-27 cs.AI cs.CL cs.CV
SpeechPrompt: An Exploration of Prompt Tuning on Generative Spoken Language Model for Speech Processing Tasks
Amazon Inc.（亚马逊公司）；Meta AI
从自监督学习（SSL）模型学习的语音表示可以有益于各种语音处理任务。然而，使用SSL表示通常需要微调预训练的模型或设计特定于任务的下游模型和损失函数，这会导致大量内存使用和人力劳动。最近，自然语言处理（NLP）中的提示已被发现是利用预训练语言模型（LM）的有效技术。具体来说，即时调优使用固定的预训练模型优化了有限数量的特定于任务的参数;因此，每个任务只需要存储一小部分参数。即时调优通过利用预训练的LM的预测能力来提高计算和内存效率。然而，这样一种范式在言语界却鲜有研究。本文报告了基于生成口语模型（GSLM）的语音处理任务的提示调谐范式的第一次探索。实验结果表明，即时调整技术在语音分类任务中取得了竞争力的性能与更少的可训练参数比微调专门的下游模型。我们进一步研究了具有挑战性的序列生成任务的技术。快速调谐也展示了它的潜力，同时本文也讨论了它的局限性和可能的研究方向。源代码可在https://github.com/ga642381/SpeechPrompt上获得。
2022-07-10 cs.CL cs.LG cs.SD
UNH at CheckThat! 2025: Fine-tuning Vs Prompting in Claim Extraction
University of New Hampshire（新罕布什尔大学）
本研究参与CheckThat!任务2，比较微调与提示方法在社交媒体声明提取中的效果，发现微调FLAN-T5获得最佳METEOR分数，但其他方法可能提取更高质量声明。
2025-09-08 cs.AI cs.CL cs.IR
SpeechPrompt v2: Prompt Tuning for Speech Classification Tasks
National Taiwan University（台湾大学）；Pennsylvania State University（宾夕法尼亚州立大学）；Meta AI
提示调优是一种调整一小组参数的技术，以引导预训练的语言模型（LM）直接为下游任务生成输出。最近，提示调谐已经在自然语言处理（NLP）和语音处理领域证明了其存储和计算效率。这些优点还揭示了作为以统一的方式为多个任务提供预训练LM的候选方法的及时调整。在语音处理方面，SpeechPrompt在一些语音分类任务上表现出了较高的参数效率和竞争力。然而，SpeechPrompt是否能够服务于大量任务还没有答案。在这项工作中，我们提出了SpeechPrompt v2，一个提示调整框架，能够执行各种各样的语音分类任务，涵盖多种语言和韵律相关的任务。实验结果表明，SpeechPrompt v2在统一的框架下，可训练参数小于0.15M，达到了与现有作品相当的性能。
2023-03-01 cs.AI cs.CL cs.LG
Structured Prompt Tuning
National Taiwan University（台湾大学）；Meta AI
我们提出了结构化提示微调，一个简单而有效的方法来改善提示微调。我们通过超网络生成软提示嵌入，而不是将一系列可调嵌入前置到输入中。我们的方法包含了标准的提示微调，在模型设计中允许更大的灵活性，并且可以应用于单任务和多任务训练设置。根据经验，与标准提示微调相比，结构化提示微调在GLUE基准上显示出+1.2 $1. 5点的增益，并且对学习率的变化不太敏感。
2022-05-24 cs.CL
Global Prompt Cell: A Portable Control Module for Effective Prompt Tuning
Harbin Institute of Technology（哈尔滨工业大学）
针对提示调优中提示嵌入利用策略不足的问题，提出全局提示单元（GPC），在所有编码器层选择性保留提示信息，在SuperGLUE上提升5.8%。
2023-05-13 cs.CL
Late Prompt Tuning: A Late Prompt Could Be Better Than Many Prompts
Fudan University（复旦大学）
提示微调是一种用于利用预训练模型（PTM）的参数高效调优（PETuning）方法，其简单地将软提示预先添加到输入，并且仅优化提示以使PTM适应下游任务。尽管它是参数和部署高效的，但其性能仍然落后于其他最先进的PETuning方法。此外，由于整个模型的反向传播，提示微调的训练成本没有显著降低。通过实证分析，我们揭示了提示微调的滞后性能，并认识到从标签信号到插入提示的传播距离和提示对模型输出的影响之间的权衡。此外，我们提出了后期提示微调（LPT），其将后期提示插入PTM的中间层而不是输入层或所有层。后期提示由神经提示生成器根据提示插入层之前的隐藏状态获得，因此是依赖于实例的。通过在各种任务和PTM上的大量实验结果，我们表明LPT可以在全数据和Few-Shot场景下实现与全模型调整和其他PETuning方法竞争的性能，同时具有更快的训练速度和更低的内存成本。
2022-10-21 cs.CL
Prompt Tuning for Generative Multimodal Pretrained Models
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
提示微调已经成为模型调整的一种新范式，并且在自然语言预训练甚至视觉预训练中已经证明了成功。在这项工作中，我们探索了提示微调到多模态预训练的转移，重点是生成多模态预训练模型，而不是对比模型。具体来说，我们实现提示微调的统一序列到序列的预训练模型适应的理解和生成任务。实验结果表明，轻量级的提示微调可以达到与微调相当的性能，优于其他轻量级的调整方法。此外，与微调模型相比，微调模型对对抗攻击表现出更好的鲁棒性。我们进一步指出，实验因素，包括提示长度，提示深度，和重新参数化，有很大的影响模型的性能，从而我们经验性地提供了一个建议的设置提示微调。尽管提示微调具有明显的优势，但仍存在一些局限性，并指出了今后的研究方向。代码可从\url{https://github.com/OFA-Sys/OFA}获得
2022-08-04 cs.CL
P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks
Tsinghua University（清华大学）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）；Shanghai Qi Zhi Institute（上海期智研究院）
提示微调仅使用冻结的语言模型来调整连续提示，这大大减少了训练时的每任务存储和内存使用。然而，在NLU的背景下，先前的工作表明，提示微调对于正常大小的预训练模型表现不佳。我们还发现，现有的提示微调方法不能处理硬序列标记任务，表明缺乏通用性。我们提出了一个新的经验发现，即适当优化的提示微调可以在广泛的模型规模和NLU任务中普遍有效。它匹配微调的性能，同时只有0.1%-3%的调整参数。我们的方法P-Tuning v2是针对NLU优化和调整的深度提示微调\cite{li2021prefix,qin2021learning}的实现。鉴于P-Tuning v2的通用性和简单性，我们相信它可以作为微调的替代方案，并为未来的研究提供强大的基线。我们的代码和数据发布在https://github.com/THUDM/P-tuning-v2上。
2022-03-20 cs.CL
