On the Evolution of Syntactic Information Encoded by BERT's Contextualized Representations
Pompeu Fabra University（庞培法布拉大学）；Amazon AI（亚马逊人工智能）；Catalan Institute for Research and Advanced Studies (ICREA)（加泰罗尼亚研究与高级研究院（ICREA））
预训练的语言模型的适应性来解决监督任务已经成为NLP的一个基线，最近的许多工作都集中在研究语言信息是如何编码在预训练的句子表示。在其他信息中，已经表明，整个语法树隐式地嵌入在这种模型的几何形状中。由于这些模型经常被微调，因此了解编码的知识如何随着微调而演变变得越来越重要。在本文中，我们分析了嵌入式语法树的演变沿微调过程的BERT为六个不同的任务，涵盖所有层次的语言结构。实验结果表明，编码的句法信息被遗忘（PoS标记），加强（依赖和选区解析）或保存（语义相关的任务）在不同的方式沿微调过程中取决于任务。
2021-02-10 cs.CL
PromptASR for contextualized ASR with controllable style
Xiaomi Corp.（小米公司）
本文提出 PromptASR 框架，通过文本编码器和跨模态注意力注入内容、偏置及风格提示，实现语境化、风格可控的 E2E ASR，并显著降低词错误率。
2024-01-24 cs.CL cs.SD eess.AS
Contextualized Prompting For Stance Detection On Social Media
Institute of Intensive Care, University Hospital of Zurich and University of Zurich（重症医学研究所，苏黎世大学医院和苏黎世大学）；Institute of Computer Science, University of Goettingen（计算机科学研究所，哥廷根大学）；GESIS Leibniz Institute for the Social Sciences（社会科学研究莱比锡研究所）；Institut für Publizistik, Johannes Gutenberg-University Mainz（主笔研究所，美因茨约翰· Gutenberg 大学）；Ubiquitous Knowledge Processing Lab, Technical University of Darmstadt（无处不在知识处理实验室，达姆施塔特技术大学）
通过系统实验，研究在零样本提示中融入真实世界、推导和LLM生成的上下文特征对Twitter立场检测的影响，发现LLM生成的目标描述能持续提升准确率，而其他用户元数据效果不一。
2026-06-04 cs.CL
Can Language Models Take A Hint? Prompting for Controllable Contextualized Commonsense Inference
Apple（苹果公司）；Tufts（塔夫茨大学）；Dartmouth College（达特茅斯学院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Boston University（波士顿大学）；MIT Media Lab（麻省理工学院媒体实验室）
本文提出“hinting”数据增强技术，通过硬提示与软提示结合的前缀提示策略引导情境化常识推理，在ParaCOMET和GLUCOSE数据集上验证其能在不降低性能的同时提升生成断言的可控性。
2024-10-03 cs.AI cs.CL
BERT, mBERT, or BiBERT? A Study on Contextualized Embeddings for Neural Machine Translation
Johns Hopkins University（约翰斯·霍普金斯大学）
双向编码器在许多自然语言处理任务中使用掩蔽语言模型（例如BERT）的成功促使研究人员尝试将这些预先训练的模型纳入神经机器翻译（NMT）系统。然而，所提出的用于合并预训练模型的方法是不平凡的，并且主要集中在BERT上，其缺乏对其他预训练模型可能对翻译性能的影响的比较。在本文中，我们证明了简单地使用定制和合适的双语预训练语言模型（称为BiBERT）的输出（上下文嵌入）作为NMT编码器的输入，可以实现最先进的翻译性能。此外，我们还提出了一个随机层选择方法和双向翻译模型的概念，以确保充分利用上下文嵌入。在不使用反向翻译的情况下，我们的最佳模型在IWITOS '14数据集上实现了30.45的BLEU分数，对于En-> De和38.61的De->En，以及WMT'14数据集上的31.26的En->De和34.94的De->En，这超过了所有公布的数字。
2021-09-09 cs.CL
Transfer Learning Robustness in Multi-Class Categorization by Fine-Tuning Pre-Trained Contextualized Language Models
University of Rochester（罗切斯特大学）；U.S. Bank（美国合众银行）
这项研究比较了亚马逊产品数据的多类分类的有效性和鲁棒性，使用预训练的上下文语言模型进行迁移学习。具体来说，我们对BERT和XLNet进行了微调，这两个双向模型在许多自然语言任务和基准测试（包括文本分类）上都取得了最先进的性能。虽然现有的分类研究和基准集中在二进制目标，除了顺序排名任务，在这里，我们研究了这些模型的鲁棒性，类的数量从1增长到20。我们的实验证明了性能指标的近似线性下降（即，精确度、召回率、$F_1$分数和准确度）与类标签的数量。BERT在整个类别标签数量范围内使用相同的超参数，根据文本描述对产品进行分类，其性能始终优于XLNet。BERT在计算成本方面也比XLNet更经济实惠（即，时间和记忆力）。在研究的所有情况下，估计每个附加类别标签的性能退化率为1%。
2019-09-21 cs.CL cs.LG stat.ML
Unsupervised Domain Adaptation of Contextualized Embeddings for Sequence Labeling
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；Facebook AI Research（脸书人工智能研究院）；Georgia Institute of Technology（佐治亚理工学院）
ELMo和BERT等语境化词嵌入通过在大型未标记文本语料库上进行预训练，为广泛的自然语言处理任务提供了强大的性能基础。然而，这种方法的适用性是未知的，当目标域从预训练语料库变化很大。我们特别感兴趣的场景是，标记数据仅在一个规范的源域（如newstext）中可用，而目标域与标记文本和预训练文本都不同。为了解决这种情况下，我们提出了域自适应微调，其中的上下文嵌入适应掩蔽语言建模的文本从目标域。我们测试这种方法在两个具有挑战性的领域：早期现代英语和Twitter的序列标签。这两个领域与现有的预训练语料库有很大的不同，领域自适应微调在强BERT基线上产生了实质性的改进，在词汇表外的单词上取得了特别令人印象深刻的结果。我们的结论是，域自适应微调为序列标记对困难的新域的无监督适应提供了一种简单有效的方法。
2019-09-05 cs.CL cs.DL cs.LG
GUIR at SemEval-2020 Task 12: Domain-Tuned Contextualized Models for Offensive Language Detection
Information Retrieval Lab（信息检索实验室）；Georgetown University（乔治城大学）
攻击性语言检测是自然语言处理中一个重要而又具有挑战性的课题。我们提交了我们的意见，以OffensEval 2020共享任务，其中包括三个英语子任务：识别攻击性语言的存在（子任务A），识别攻击性语言中目标的存在（子任务B），以及识别目标的类别（子任务C）。我们的实验探索使用域调优的语境化语言模型（即，BERT）的这项任务。我们还试验了不同的组件和配置（例如，多视图SVM）堆叠在用于特定子任务的BERT模型上。我们提交的F1分数在子任务A中为91.7%，在子任务B中为66.5%，在子任务C中为63.2%。我们进行了消融研究表明，域调整大大提高了分类性能。此外，错误分析显示了我们的模型所造成的常见错误分类错误，并概述了未来的研究方向。
2020-07-28 cs.CL
Massive Choice, Ample Tasks (MaChAmp): A Toolkit for Multi-task Learning in NLP
IT University of Copenhagen（哥本哈根信息技术大学）；University of Groningen（格罗宁根大学）；University of Trento（特伦托大学）；Factmata（Factmata公司）；Microsoft Research - University of Trento（微软研究院-特伦托大学）
近年来，迁移学习，特别是将多任务学习与预训练的上下文嵌入和微调相结合的方法，极大地推进了自然语言处理领域。在本文中，我们提出了MaChaliban，一个工具包，用于在多任务设置中轻松微调上下文嵌入。MaChronze的好处是它灵活的配置选项，以及在统一的工具包中支持各种自然语言处理任务，从文本分类和序列标记到依存句法分析、掩码语言建模和文本生成。
2021-03-11 cs.CL
Learning ASR-Robust Contextualized Embeddings for Spoken Language Understanding
National Taiwan University（台湾大学）
使用预训练的语言模型（LM）来提取上下文化的单词表示，在各种NLP任务上取得了最先进的性能。然而，将该技术应用于自动语音识别器（ASR）生成的带噪转录本是令人关注的。因此，本文的重点是使上下文表示更具ASR鲁棒性。我们提出了一种新的混淆感知微调方法，以减轻ASR错误对预训练LM的影响。具体来说，我们微调LM产生类似的表示声学混淆的话，从词混淆网络（WCN）产生的ASR。在基准ATIS数据集上的实验表明，该方法在ASR成绩单上的口语语言理解性能得到显著提高。我们的源代码可以在https://github.com/MiuLab/SpokenVec上找到
2020-11-02 cs.CL cs.LG eess.AS
LionGuard: Building a Contextualized Moderation Classifier to Tackle Localized Unsafe Content
GovTech Singapore（新加坡政府科技局）
本文提出LionGuard，一个针对新加坡语境的审核分类器，用于防范不安全的大语言模型输出，在Singlish数据上显著优于现有审核API，展示了本地化对审核分类器的价值及低资源语言的可行方案。
2024-07-19 cs.AI cs.CL
Transformer-Based Contextualized Language Models Joint with Neural Networks for Natural Language Inference in Vietnamese
University of Information Technology（信息科技大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）
本文研究越南语自然语言推理，提出将上下文语言模型与神经网络联合的方法，在ViNLI数据集上取得82.78%的F1分数，并优于多种微调预训练模型。
2024-11-21 cs.CL
Structured Prompt Tuning
National Taiwan University（台湾大学）；Meta AI
我们提出了结构化提示微调，一个简单而有效的方法来改善提示微调。我们通过超网络生成软提示嵌入，而不是将一系列可调嵌入前置到输入中。我们的方法包含了标准的提示微调，在模型设计中允许更大的灵活性，并且可以应用于单任务和多任务训练设置。根据经验，与标准提示微调相比，结构化提示微调在GLUE基准上显示出+1.2 $1. 5点的增益，并且对学习率的变化不太敏感。
2022-05-24 cs.CL
Global Prompt Cell: A Portable Control Module for Effective Prompt Tuning
Harbin Institute of Technology（哈尔滨工业大学）
针对提示调优中提示嵌入利用策略不足的问题，提出全局提示单元（GPC），在所有编码器层选择性保留提示信息，在SuperGLUE上提升5.8%。
2023-05-13 cs.CL
Late Prompt Tuning: A Late Prompt Could Be Better Than Many Prompts
Fudan University（复旦大学）
提示微调是一种用于利用预训练模型（PTM）的参数高效调优（PETuning）方法，其简单地将软提示预先添加到输入，并且仅优化提示以使PTM适应下游任务。尽管它是参数和部署高效的，但其性能仍然落后于其他最先进的PETuning方法。此外，由于整个模型的反向传播，提示微调的训练成本没有显著降低。通过实证分析，我们揭示了提示微调的滞后性能，并认识到从标签信号到插入提示的传播距离和提示对模型输出的影响之间的权衡。此外，我们提出了后期提示微调（LPT），其将后期提示插入PTM的中间层而不是输入层或所有层。后期提示由神经提示生成器根据提示插入层之前的隐藏状态获得，因此是依赖于实例的。通过在各种任务和PTM上的大量实验结果，我们表明LPT可以在全数据和Few-Shot场景下实现与全模型调整和其他PETuning方法竞争的性能，同时具有更快的训练速度和更低的内存成本。
2022-10-21 cs.CL
Prompt Tuning for Generative Multimodal Pretrained Models
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
提示微调已经成为模型调整的一种新范式，并且在自然语言预训练甚至视觉预训练中已经证明了成功。在这项工作中，我们探索了提示微调到多模态预训练的转移，重点是生成多模态预训练模型，而不是对比模型。具体来说，我们实现提示微调的统一序列到序列的预训练模型适应的理解和生成任务。实验结果表明，轻量级的提示微调可以达到与微调相当的性能，优于其他轻量级的调整方法。此外，与微调模型相比，微调模型对对抗攻击表现出更好的鲁棒性。我们进一步指出，实验因素，包括提示长度，提示深度，和重新参数化，有很大的影响模型的性能，从而我们经验性地提供了一个建议的设置提示微调。尽管提示微调具有明显的优势，但仍存在一些局限性，并指出了今后的研究方向。代码可从\url{https://github.com/OFA-Sys/OFA}获得
2022-08-04 cs.CL
P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks
Tsinghua University（清华大学）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）；Shanghai Qi Zhi Institute（上海期智研究院）
提示微调仅使用冻结的语言模型来调整连续提示，这大大减少了训练时的每任务存储和内存使用。然而，在NLU的背景下，先前的工作表明，提示微调对于正常大小的预训练模型表现不佳。我们还发现，现有的提示微调方法不能处理硬序列标记任务，表明缺乏通用性。我们提出了一个新的经验发现，即适当优化的提示微调可以在广泛的模型规模和NLU任务中普遍有效。它匹配微调的性能，同时只有0.1%-3%的调整参数。我们的方法P-Tuning v2是针对NLU优化和调整的深度提示微调\cite{li2021prefix,qin2021learning}的实现。鉴于P-Tuning v2的通用性和简单性，我们相信它可以作为微调的替代方案，并为未来的研究提供强大的基线。我们的代码和数据发布在https://github.com/THUDM/P-tuning-v2上。
2022-03-20 cs.CL
PPT: Pre-trained Prompt Tuning for Few-shot Learning
Tsinghua University（清华大学）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
预训练语言模型（PLM）的测试通过弥合预训练任务和各种下游任务之间的差距，表现出显着的性能。在这些方法中，提示微调冻结PLM，只调整软提示，为大规模PLM适应下游任务提供了一个高效的解决方案。然而，提示微调还有待充分探索。在我们的试点实验中，我们发现，及时调整执行与传统的全模型微调时，下游数据是足够的，而它的表现差得多的少样本学习设置，这可能会阻碍提示微调在实践中的应用。我们将这种低性能归因于初始化软提示的方式。因此，在这项工作中，我们建议通过在预训练阶段添加软提示来预训练提示，以获得更好的初始化。我们将此预训练提示微调框架命名为“PPT”。为了保证PPT的通用性，我们将相似的分类任务制定为统一的任务形式，并为这个统一的任务预训练软提示。大量的实验表明，在全数据和Few-Shot设置下，为下游任务调整预训练的提示可以达到甚至超过全模型微调。我们的方法是有效和高效的，在实践中使用大型PLM。
2022-03-14 cs.CL
Improving the Sample Efficiency of Prompt Tuning with Domain Adaptation
Nanyang Technological University（南洋理工大学）
提示微调，或者用从数据中学习的软提示对冻结的预训练语言模型（PLM）进行调节，已经在广泛的NLP任务中表现出令人印象深刻的性能。然而，提示微调需要一个大的训练数据集才能有效，并且在数据稀缺的情况下，通过微调整个PLM来表现更好。先前的工作（Gu等人，2022，Vu等人，2022）提议将在源域上预训练的软提示转移到目标域。在本文中，我们探讨了领域自适应的提示微调，一个问题的设置，从目标域的未标记的数据在预训练。我们提出了一种基于领域自适应的动态快速提示微调（OPTIMA），它将决策边界规则化，使其在源数据和目标数据分布相似的区域周围变得平滑。大量的实验表明，与强基线相比，OPTIMA显著提高了提示微调的可移植性和采样效率。此外，在Few-Shot设置中，OPTIMA大大超过了全模型调整。
2022-10-21 cs.CL
Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Meituan（美团）；International Innovation Center of Tsinghua University（清华大学国际创新中心）
调整预训练的语言模型（PLM）与特定任务的提示已经成为一种很有前途的文本分类方法。特别是，以前的研究表明，提示微调具有显着的优越性，在低数据的情况下，一般的微调方法与额外的分类器。提示微调的核心思想是插入文本片段，即，模板，并将分类问题转换为掩码语言建模问题，其中关键步骤是构建投影，即，在标签空间和标签词空间之间。语言化器通常是手工制作的或通过梯度下降搜索的，这可能缺乏覆盖范围，并给结果带来相当大的偏差和高方差。在这项工作中，我们专注于将外部知识纳入到动词，形成一个知识化的提示微调（KPT），以改善和稳定提示微调。具体来说，我们扩大的标签词空间的动词使用外部知识库（KBs）和细化扩展的标签词空间与PLM本身预测与扩展的标签词空间。零和Few-Shot文本分类任务的大量实验证明了知识提示微调的有效性。
2022-03-18 cs.CL
Q-Tuning: Queue-based Prompt Tuning for Lifelong Few-shot Language Learning
McMaster University（麦克马斯特大学）；Amazon（亚马逊公司）；The Ohio State University（俄亥俄州立大学）
本文提出Q-tuning方法，通过构建提示队列、自适应知识聚合、PCA驱逐规则及记忆保持正则化，实现预训练语言模型的终身少样本学习，在恒定复杂度下大幅超越现有方法。
2024-04-22 cs.CL
Model ensemble instead of prompt fusion: a sample-specific knowledge transfer method for few-shot prompt tuning
Georgia Institute of Technology（佐治亚理工学院）；Salesforce Research（赛富时研究院）
提示微调方法是在冻结的预训练模型上学习特定于任务的软提示，由于其参数效率而引起了越来越多的兴趣。对于大语言模型和足够的训练数据，提示微调可执行从快速到全模型的调优。然而，在Few-Shot设置中训练样本有限的情况下，提示微调无法匹配全模型微调的性能。在这项工作中，我们专注于提高Few-Shot性能的提示微调通过转移知识的软提示源任务。认识到集成方法在低数据状态下的良好泛化能力，我们首先实验并表明，基于不同来源提示的模型预测的简单集成，优于现有的多提示知识转移方法，例如在Few-Shot设置中的来源提示融合。基于这一观察，我们进一步研究了模型集成，并提出了特定于样本的源模型集成（SESoM）。SESoM学习在集成源模型输出时分别调整每个目标样本的每个源模型的贡献。通过这种方式，SESoM继承了模型集成方法的优越泛化能力，同时捕获每个源提示的样本特定能力。我们使用不同尺度的模型（T5-{base，large，XL}）在不同的8个NLP任务中进行实验，发现SESoM始终优于现有的相同和更大参数尺度的模型。
2023-03-01 cs.CL
Contextualized Evaluations: Judging Language Model Responses to Underspecified Queries
University of Pennsylvania（宾夕法尼亚大学）；Allen Institute for AI（人工智能研究所）；University of Maryland, College Park（马里兰大学学院公园分校）
针对语言模型处理未明确指定查询的评估难题，提出情境化评估协议，通过综合构建查询情境来改善评估，发现情境能改变基准排名、减少表面判断，并揭示模型对WEIRD情境的潜在偏见及对不同情境敏感度不一。
2025-05-23 cs.CL
Improving Prompt Tuning with Learned Prompting Layers
East China Normal University（华东师范大学）；Southern University of Science and Technology（南方科技大学）
本文提出选择性提示微调框架SPT，通过可学习概率门自动选择提示层，并结合SPT-DARTS双层优化提升性能，在多个基准上超越现有方法。
2023-10-31 cs.CL
PTR: Prompt Tuning with Rules for Text Classification
Tsinghua University（清华大学）
微调的预训练语言模型（PLM）在几乎所有NLP任务上都取得了令人敬畏的性能。通过使用额外的提示来微调PLM，我们可以进一步激发分布在PLM中的丰富知识，以更好地服务于下游任务。提示微调在情感分类和自然语言推理等少类分类任务上取得了可喜的成果。然而，手工设计大量的语言提示是繁琐和容易出错的。对于那些自动生成的提示，在非少数拍摄场景中验证其有效性也是昂贵且耗时的。因此，它仍然是具有挑战性的提示微调，以解决多类分类任务。为此，我们提出了提示微调与规则（PTR）的多类文本分类，并应用逻辑规则来构建提示与几个子提示。以这种方式，PTR能够将每个类的先验知识编码为提示微调。我们进行实验的关系分类，一个典型的和复杂的多类分类任务，结果表明，PTR可以显着和一贯优于现有的最先进的基线。这表明，PTR是一种很有前途的方法，利用人类的先验知识和PLM的复杂的分类任务。
2021-09-15 cs.CL
Multitask Prompt Tuning Enables Parameter-Efficient Transfer Learning
The Ohio State University（俄亥俄州立大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
提示微调，其中通过对学习的提示向量进行调节来使基本预训练模型适应每个任务，已经成为一种有前途的方法，用于有效地使大语言模型适应多个下游任务。然而，现有的方法通常从头开始学习软提示向量，并且还不清楚如何在多任务学习设置中利用提示向量来利用丰富的跨任务知识。我们提出了多任务提示微调（MPT），它首先学习一个单一的可转移的提示，从多个任务特定的源提示提取知识。然后，我们学习乘法低秩更新这个共享提示，以有效地适应每个下游目标任务。在23个NLP数据集上进行的大量实验表明，我们提出的方法优于最先进的方法，包括在某些情况下的完整微调基线，尽管只调整了0.035%的任务特定参数。
2023-03-06 cs.CL
ATTEMPT: Parameter-Efficient Multi-task Tuning via Attentional Mixtures of Soft Prompts
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
这项工作介绍了一种新的多任务，参数高效的语言模型（LM）调整方法，学习跨不同的任务，通过混合的软前缀小前缀嵌入向量预先训练不同的任务来转移知识。我们的方法，称为ATTEMPT（ATTENTIONAL Mixtures of提示微调），获得源提示作为大规模源任务的编码成少量的参数，并训练注意力模块插入源提示和新初始化的目标任务中的每个实例的目标提示。在训练过程中，只有目标任务提示和注意力权重（在多任务训练中任务之间共享）被更新，而原始LM和源提示保持不变。ATTEMPT是高度参数有效的（例如，更新的参数比完全微调少2，300倍），同时使用来自高资源任务的知识实现高任务性能。此外，它是模块化的，使用预先训练的软提示，可以灵活地添加或删除源提示，以实现有效的知识转移。我们在21个不同的NLP数据集上的实验结果表明，ATTEMPT的性能明显优于提示微调，并且优于或匹配完全微调或其他使用十倍以上参数的参数高效调优方法。最后，ATTEMPT在少样本学习设置中优于以前的工作。
2022-12-01 cs.CL
Probing Neural Language Models for Human Tacit Assumptions
Johns Hopkins University（约翰斯·霍普金斯大学）
人类带有刻板的隐性假设（STA）（Prince，1978），或关于一般概念的命题信念。这种关联对于理解自然语言至关重要。我们构建了一个诊断集的单词预测提示，以评估最近的神经上下文语言模型训练的大型文本语料库捕获STA。我们的提示是基于对概念联想的心理学研究中的人类反应。我们发现模型在检索相关属性的概念时非常有效。我们的研究结果表明，经验证据表明，刻板的概念表征被捕获的神经模型来自半监督的语言曝光。
2020-06-16 cs.CL
Ultra-Low-Dimensional Prompt Tuning via Random Projection
Dept. Computing Science & Alberta Machine Intelligence Institute (Amii), University of Alberta（阿尔伯塔大学计算机科学系与阿尔伯塔机器智能研究所）；Canada CIFAR AI Chair（加拿大CIFAR人工智能讲席）
本文提出超低维提示调优方法，通过在低维空间优化提示并在冻结随机矩阵上进行上投影，实现训练参数减少98%且保持性能，适用于大规模LLM定制。
2026-04-12 cs.CL
Mining Contextualized Visual Associations from Images for Creativity Understanding
Columbia University（哥伦比亚大学）
本文提出可扩展至未标注图像的情境化视觉关联挖掘方法，据此为 MSCOCO 构建170万条分层抽象的创意描述，并提升创意领域零样本图文检索性能。
2025-07-25 cs.CL cs.CV
Clip-Tuning: Towards Derivative-free Prompt Learning with a Mixture of Rewards
Baidu（百度）
无导数提示学习已经成为提示微调的轻量级替代方案，它只需要模型推理来优化提示。然而，现有的工作并没有充分利用大型预训练语言模型（PLM）的过度参数化的特点。在本文中，我们提出了剪辑调整，一个简单而有效的方法，采用不同的冻结“细化”网络的PLM获得混合奖励，从而推进衍生物自由提示学习。稀疏网络由所有隐藏单元组成，这些隐藏单元在静态辍学策略中幸存下来，其推理预测反映了提示训练样本的部分视图的集合。我们的方法优于以前的无梯度提示学习方法，并在Few-Shot设置下的七个语言理解基准测试中与基于梯度的同行实现了对等。
2022-10-21 cs.CL
Toward Human Readable Prompt Tuning: Kubrick's The Shining is a good movie, and a good prompt too?
University of Washington（华盛顿大学）
大语言模型可以在指定所需行为的自然语言提示下以zero-shot方式执行新任务。这种提示通常是手工设计的，但也可以通过基于梯度的方法从标记的数据中学习。然而，是什么因素使提示有效，特别是当提示是自然语言时，还没有充分探索。在本文中，我们调查的共同属性共享有效的提示。首先，我们提出了一个人可读的提示微调方法（F LUENT P ROMPT）的基础上朗之万动力学，结合了流畅性约束，找到一个有效的和流畅的提示的多样性分布。我们的分析表明，有效的提示主题相关的任务域和校准的先验概率的标签词。基于这些发现，我们还提出了一种仅使用未标记数据生成提示的方法，在三个任务中的平均准确率超过强基线7.0%。
2022-12-20 cs.CL
The Power of Scale for Parameter-Efficient Prompt Tuning
Google Research（谷歌研究院）
在这项工作中，我们探索了“提示微调”，这是一种简单而有效的机制，用于学习“软提示”来调节冻结的语言模型以执行特定的下游任务。与GPT-3使用的离散文本提示不同，软提示是通过反向传播学习的，可以调整以包含来自任何数量的标记示例的信号。我们的端到端学习方法远远优于GPT-3的“Few-Shot”学习。更值得注意的是，通过使用T5对模型大小进行烧蚀，我们表明提示微调变得更具规模竞争力：当模型超过数十亿个参数时，我们的方法“缩小了差距”，并与模型调优（其中所有模型权重都被调优）的强大性能相匹配。这一发现尤其重要，因为大型模型的共享和服务成本很高，而将一个冻结模型重用于多个下游任务的能力可以减轻这一负担。我们的方法可以被看作是Li和Liang（2021）最近提出的“前缀调整”的简化，我们提供了与这种方法和其他类似方法的比较。最后，我们表明，空调冻结模型与软提示赋予域转移的鲁棒性的好处，相比，完整的模型调整。
2021-09-02 cs.CL
The Power of Prompt Tuning for Low-Resource Semantic Parsing
ServiceNow Research（ServiceNow研究院）；Mila（Mila研究所）；McGill University（麦吉尔大学）；Facebook（脸书）
提示微调最近已经成为一种有效的方法，用于使预训练的语言模型适应许多语言理解和生成任务。在本文中，我们研究提示微调的语义解析-映射自然语言的话语到正式的意义表示的任务。在Overnight和TOPv 2的低资源分割上，我们发现即时调整的T5-xl显著优于其微调的对应物，以及强大的GPT-3和BART基线。我们还在不同的模型规模和目标表示中进行了消融研究，发现随着模型规模的增加，及时调整的T5模型在生成远离训练前分布的目标表示方面有所改善。
2022-04-01 cs.CL
Automatic Summarization of Doctor-Patient Encounter Dialogues Using Large Language Model through Prompt Tuning
University of Florida（佛罗里达大学）；University of Florida Health Cancer Center（佛罗里达大学健康癌症中心）
本研究提出通过提示调优生成式大型语言模型来自动总结医患对话，实验表明GatorTronGPT-20B模型在所有评估指标上表现最佳，且计算成本低。
2026-06-16 cs.CL
Zero-shot Cross-lingual Transfer of Prompt-based Tuning with a Unified Multilingual Prompt
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
基于预训练的调优已被证明对预训练的语言模型（PLM）是有效的。虽然大多数现有的工作集中在单语提示，我们研究多语种PLM的多语种提示，特别是在zero-shot跨语言设置。为了减轻为多种语言设计不同提示的努力，我们提出了一种新的模型，该模型使用统一的提示所有语言，称为UniPrompt。与离散提示和软提示不同，统一提示是基于模型的，与语言无关。具体地说，统一的提示是由一个多语言的PLM初始化，以产生语言无关的表示，之后与文本输入融合。在推理过程中，提示可以预先计算，因此不需要额外的计算成本。为了配合统一提示，我们提出了一种新的初始化方法的目标标签词，以进一步提高模型的跨语言的可移植性。大量的实验表明，我们提出的方法可以显着优于不同语言的强基线。我们发布数据和代码，以促进未来的研究。
2022-10-17 cs.CL
Multitask Pre-training of Modular Prompt for Chinese Few-Shot Learning
Fudan University（复旦大学）
针对少样本场景下提示调优效果不佳的问题，提出在38个中文任务上预训练的可组合模块化提示MP2，通过统一为阅读理解任务、选择性激活组合提示，在两种学习范式下均显著优于现有方法，且仅需8个参数即可快速适配下游任务。
2023-05-06 cs.CL
Prefix-Tuning: Optimizing Continuous Prompts for Generation
Stanford University（斯坦福大学）
微调是利用大型预训练语言模型执行下游任务的实际方法。然而，它修改了所有的语言模型参数，因此需要为每个任务存储一个完整的副本。在本文中，我们提出了前缀调整，一个轻量级的替代微调自然语言生成任务，保持语言模型参数冻结，但优化一个小的连续的特定于任务的向量（称为前缀）。前缀调优从提示中获得灵感，允许后续的令牌关注这个前缀，就好像它是“虚拟令牌”一样。我们将前缀调优应用于GPT-2以生成表到文本，并应用于BART以进行摘要。我们发现，通过只学习0.1%的参数，前缀调整在全数据设置中获得了相当的性能，在低数据设置中优于微调，并且更好地外推到训练过程中看不到的主题的示例。
2021-01-01 cs.CL
Decomposed Prompt Tuning via Low-Rank Reparameterization
Singapore University of Technology and Design（新加坡科技设计大学）；Institute for Infocomm Research, A*Star（新加坡科技研究局资讯通信研究院）
本文提出分解式提示调优，利用低秩矩阵初始化软提示，减少可训练参数，在SuperGLUE上验证了有效性。
2023-10-16 cs.CL
Bi-Directional Iterative Prompt-Tuning for Event Argument Extraction
Huazhong University of Science and Technology（华中科技大学）
近年来，提示微调在事件论元抽取中引起了越来越多的关注。然而，现有的提示微调方法由于缺乏对实体信息的考虑而没有取得令人满意的性能。在本文中，我们提出了一个双向迭代提示微调方法EAE，EAE任务被视为完形填空风格的任务，充分利用实体信息和预训练的语言模型（PLM）。此外，我们的方法探讨事件的论点相互作用，通过引入上下文实体的论点作用到提示建设。由于模板和动词化器是完形填空提示语中的两个重要组成部分，本文提出利用角色标签语义知识构造语义动词化器，并设计了三种模板用于EAE任务。ACE 2005英语数据集上的实验表明，该方法显着优于同行国家的最先进的方法。我们的代码可在https://github.com/HustMinsLab/BIP上获得。
2022-10-28 cs.CL
IAPT: Instruction-Aware Prompt Tuning for Large Language Models
East China Normal University（华东师范大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Minnesota（明尼苏达大学）；Pingan Technology（平安科技）
本文提出指令感知提示微调方法IAPT，仅用四个软令牌，通过在各Transformer层设置带瓶颈结构的软提示生成器并自动学习特有激活函数，在参数相当下优于基线且在多租户设置中比LoRA更高效。
2024-06-07 cs.CL
Few-shot Unified Question Answering: Tuning Models or Prompts?
Carnegie Mellon University（卡内基梅隆大学）；Salesforce Research（赛富时研究院）
本文针对低资源少样本场景下的统一问答任务，对比了模型微调与提示微调两种范式，发现提示微调在良好初始化下表现相当且更具优势，为低资源场景下的统一问答系统开发提供了见解。
2023-05-23 cs.CL
Generative Prompt Tuning for Relation Classification
Beijing University of Posts and Telecommunications（北京邮电大学）；Singapore University of Technology and Design（新加坡科技设计大学）
使用提示来探索包含在用于下游任务的预训练语言模型中的知识现在已经成为一个活跃的话题。目前的提示微调方法大多通过添加完形填空式短语并将所有标签映射为固定长度的动词化来将下游任务转换为掩蔽语言建模问题，这对于具有简单标签空间的任务是有效的。然而，当应用于呈现复杂标签空间的关系分类时，香草提示微调方法可能会由于严格的提示限制而难以处理具有任意长度的标签动词化。受预训练生成模型的文本填充任务的启发，可以灵活地预测缺失的跨度，我们提出了一种新的生成提示微调方法，将关系分类重新定义为填充问题，这使我们的方法摆脱了当前基于提示的方法的局限性，从而充分利用了实体和关系类型的丰富语义。此外，我们设计了实体引导的解码和判别关系评分，以在推理过程中有效和高效地生成和对齐关系。在完全监督设置和低资源设置下的广泛实验证明了我们的方法的有效性。
2022-10-22 cs.CL
Instruction Tuning and CoT Prompting for Contextual Medical QA with LLMs
New York University（纽约大学）；Columbia University（哥伦比亚大学）；University of Michigan（密歇根大学）
本研究针对开源大型语言模型在生物医学问答基准PubMedQA上的性能提升问题，通过对比标准指令提示、思维链提示及QLoRA参数高效指令调优策略，发现思维链提示可提升零样本推理，指令调优显著提高准确率，但思维链提示微调的收益具模型和规模依赖性。
2025-06-13 cs.CL
On the Analysis of Cross-Lingual Prompt Tuning for Decoder-based Multilingual Model
Seoul National University（首尔大学）；NAVER Cloud（NAVER云）；NAVER AI Lab（NAVER人工智能实验室）；University of Richmond（里士满大学）；Artificial Intelligence Institute, Seoul National University（首尔大学人工智能研究所）
本研究分析基于解码器的多语言模型XGLM中跨语言提示调优，发现其以极低参数更新率（0.13%）达到或超越微调性能，尤其对低资源语言更有效，且与令牌化方案相关。
2023-11-14 cs.CL
ADePT: Adaptive Decomposed Prompt Tuning for Parameter-Efficient Fine-tuning
Renmin University of China（中国人民大学）
ADePT通过引入适应性分解提示微调方法，改进了参数高效微调的性能，实现了更优的适应能力和更高效的推理速度。
2025-12-21 cs.CL
Self-Prompt Tuning: Enable Autonomous Role-Playing in LLMs
Nankai University（南开大学）；Lenovo Research（联想研究院）
针对角色扮演提示需人工设计的问题，提出自提示微调方法，构建LIMA-Role数据集微调LLMs，使其能自动生成专家角色提示，在多数NLP基准上性能优于标准指令微调基线。
2024-07-12 cs.CL
Rare Words: A Major Problem for Contextualized Embeddings And How to Fix it by Attentive Mimicking
Sulzer GmbH（苏尔寿有限公司）；Center for Information and Language Processing（信息与语言处理中心）；LMU Munich（慕尼黑大学）
具有语言建模目标的预训练深度神经网络架构为许多自然语言处理任务带来了巨大的改进。以最近提出的BERT为例，我们证明了尽管在大量数据上进行了训练，但深度语言模型仍然难以理解罕见的单词。为了解决这个问题，我们调整了Attentive Mimicking，这是一种旨在显式学习罕见单词嵌入的方法，适用于深度语言模型。为了实现这一点，我们引入了单标记近似，这是一个即使在底层语言模型使用基于子词的标记化（即，它不将嵌入分配给所有字。为了评估我们的方法，我们创建了一个新的数据集，该数据集测试了语言模型在没有任何特定于任务的微调的情况下捕获单词语义属性的能力。使用这个数据集，我们表明，添加我们的适应版本的专心模仿BERT确实大大提高了其对罕见单词的理解。
2019-12-04 cs.CL cs.LG
TunBERT: Pretrained Contextualized Text Representation for Tunisian Dialect
iCompass；InstaDeep
预训练的上下文文本表示模型学习自然语言的有效表示，使其机器可理解。在注意力机制取得突破后，新一代的预训练模型被提出，并在Transformer的引入后取得了良好的性能。Transformers的双向编码器表示（BERT）已成为语言理解的最先进的模型。尽管他们取得了成功，但大多数可用的模型都是在印欧语言上训练的，然而对于代表性不足的语言和方言的类似研究仍然很少。在本文中，我们调查的可行性培训单语transformer为基础的语言模型的代表性不足的语言，特别是突尼斯方言。我们在情感分析任务、方言识别任务和阅读理解问答任务上评估了我们的语言模型。我们表明，使用嘈杂的网络抓取数据，而不是结构化数据（维基百科，文章等）。对于这种非标准化的语言更方便。此外，结果表明，一个相对较小的网络爬行数据集导致的性能是一样好，使用较大的数据集。最后，我们最好的TunBERT模型在所有三个下游任务中达到或改进了最先进的水平。我们发布了TunBERT预训练模型和用于微调的数据集。
2021-11-25 cs.CL cs.LG
Role-Aware Language Models for Secure and Contextualized Access Control in Organizations
Mohamed bin Zayed University of Artificial Intelligence（莫扎德·本·扎耶德人工智能大学）；Nazarbayev University（纳扎尔拜耶夫大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；New York University Abu Dhabi（纽约大学阿布扎克分校）
本文提出面向角色的语言模型，通过三种策略实现基于组织角色的安全访问控制，并通过实验验证其在不同组织结构下的性能和鲁棒性。
2026-02-23 cs.AI cs.CL
Residual Prompt Tuning: Improving Prompt Tuning with Residual Reparameterization
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Meta AI
针对提示调优性能不佳且对超参数敏感的问题，提出残差提示调优方法，通过带残差连接的浅层网络重参数化软提示嵌入，在SuperGLUE上显著提升性能并增强稳定性。
2023-05-06 cs.AI cs.CL
LTNER: Large Language Model Tagging for Named Entity Recognition with Contextualized Entity Marking
Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出 LTNER 框架，通过上下文化实体标记生成方法和基于 GPT-3.5 的免训练上下文学习提升 NER 性能，在 CoNLL03 上将 F1 从 85.9% 提高到 91.9%。
2024-04-08 cs.AI cs.CL
Domain-Adaptive Pre-Training for Arabic Aspect-Based Sentiment Analysis: A Comparative Study of Domain Adaptation and Fine-Tuning Strategies
Department of Computer Science, Faculty of Computing and Information Technology, King Abdulaziza University, Jeddah, Saudi Arabia（计算机科学系，计算与信息技术学院，国王阿卜杜勒阿齐兹大学，沙特阿拉伯吉达）
本文针对阿拉伯语方面级情感分析标注数据稀缺问题，提出领域自适应预训练方法，并比较特征提取、全量微调和适配器方法，发现适配器微调计算高效且性能有竞争力，同时通过错误分析指出需引入句法和语义感知模型。
2025-09-20 cs.AI cs.CL cs.LG
CIMR: Contextualized Iterative Multimodal Reasoning for Robust Instruction Following in LVLMs
Singapore Institute of Management（新加坡管理学院）
针对大视觉语言模型难处理复杂多步多模态指令的问题，提出带上下文感知迭代推理与自校正模块的CIMR框架，在新MAP数据集上准确率达91.5%，优于多款主流模型。
2025-07-22 cs.CL cs.LG
