GFlowPO: Generative Flow Network as a Language Model Prompt Optimizer
Korea Advanced Institute of Science;Korea University;Mila -- Qu\'ebec AI Institute
GFlowPO通过生成流网络和动态内存更新机制,提升语言模型提示优化的样本效率和性能。
2026-10-23 cs.AI cs.CL cs.LG
Towards Interpretable Soft Prompts
Harvard University(哈佛大学)
提出评估可训练提示可解释性的理论框架,基于忠实性和可审查性为PEZ和RLPrompt设计新目标函数,在GPT-2上实验揭示了软提示可解释性与任务性能间的根本权衡。
2025-04-02 cs.AI cs.CL cs.LG
Nemesis: Normalizing the Soft-prompt Vectors of Vision-Language Models
Southern University of Science and Technology(南方科技大学);University of Surrey(萨里大学)
本文揭示了VLMs软提示向量的低范数效应,并提出Nemesis方法对其进行归一化,首次系统研究了软提示向量范数对模型性能的影响,为软提示微调提供了新见解。
2024-08-26 cs.AI cs.CL cs.CV
Adapting LLMs for Efficient Context Processing through Soft Prompt Compression
Boston University(波士顿大学);University of California, Davis(加州大学戴维斯分校);Washington University in St. Louis(圣路易斯华盛顿大学);Carnegie Mellon University(卡内基梅隆大学)
本研究提出SoftPromptComp框架,结合自然语言摘要与软提示压缩,并采用加权机制优化信息保留,以降低计算开销并提升LLMs在长上下文处理中的效率与质量。
2024-04-18 cs.AI cs.CL cs.LG
SPeC: A Soft Prompt-Based Calibration on Performance Variability of Large Language Model in Clinical Notes Summarization
Rice University(莱斯大学);University of Texas Health Science Center(德克萨斯大学健康科学中心)
为解决提示增强大型语言模型在临床笔记摘要中导致的输出方差增加问题,提出模型无关的软提示校准流水线SPeC,有效降低方差并提升性能,提供更可靠的医疗信息摘要方案。
2023-08-04 cs.AI cs.CL cs.LG
Soft-prompt Tuning for Large Language Models to Evaluate Bias
Vector Institute for AI(矢量人工智能研究所);McGill University(麦吉尔大学);Amirkabir University(阿米尔卡比尔大学);York University(约克大学)
本文提出用软提示调优在情感分类任务中评估 OPT 与 Galactica 等 LLM 的群体公平性偏见,以避免人工提示引入偏见,并开源评估流程。
2024-03-05 cs.AI cs.CL cs.LG
How Reliable Are AI-Generated-Text Detectors? An Assessment Framework Using Evasive Soft Prompts
Arizona State University(亚利桑那州立大学)
本研究针对AI生成文本检测器的可靠性问题,提出基于通用规避型软提示的评估方法,通过提示调优与软提示迁移实现对主流检测器的规避,并用多模型多写作任务实验验证其效果。
2023-10-08 cs.AI cs.CL
Efficiently Enhancing Zero-Shot Performance of Instruction Following Model via Retrieval of Soft Prompt
KAIST(韩国科学技术院)
通过提示调优训练软提示嵌入并检索最接近查询实例的嵌入,仅增加0.007%参数即提升T0在未见任务上的性能,并在BIG-bench上平均准确率提高2.39个百分点。
2023-10-16 cs.AI cs.CL
Injecting Salesperson's Dialogue Strategies in Large Language Models with Chain-of-Thought Reasoning
National Taiwan University(台湾大学)
本文提出改进数据集SalesBot 2.0及基于思维链推理的新模型SalesAgent,通过策略性提示注入大语言模型常识与销售人员对话策略,有效提升了话题转换、意图理解与策略选择能力,增强了销售对话的连贯性与自然度。
2024-04-29 cs.AI cs.CL
Soft Begging: Modular and Efficient Shielding of LLMs against Prompt Injection and Jailbreaking based on Prompt Tuning
Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI)(德国人工智能研究中心);Centre for European Research in Trusted AI (CERTAIN)(欧洲可信人工智能研究中心);sequire technology GmbH(sequire技术有限公司)
本文提出“软乞求”方法,通过训练软提示抵消被破坏提示的影响,以模块化且高效的方式保护大语言模型免受提示注入和越狱攻击。
2024-07-03 cs.AI cs.CL cs.CR
SuperPos-Prompt: Enhancing Soft Prompt Tuning of Language Models with Superposition of Multi Token Embeddings
Sharif University of Technology(谢里夫理工大学);Qatar Computing Research Institute(卡塔尔计算研究所);Helmholtz Center for Infection Research(亥姆霍兹感染研究中心)
本文提出 SuperPos-Prompt 技术,通过叠加多个预训练词汇嵌入改进软提示学习,在 GLUE/SuperGLUE 上优于残差提示微调并加速收敛,同时发现冻结网络中省略 dropout 可进一步提升性能。
2024-06-07 cs.AI cs.CL
Improving Complex Reasoning with Dynamic Prompt Corruption: A soft prompt Optimization Approach
Zhejiang University(浙江大学);Hangzhou YunQi Academy of Engineering(杭州云栖工程学院);College of Computer Science and Technology, Zhejiang University of Technology(浙江工业大学计算机科学与技术学院);Alibaba Cloud Computing(阿里巴巴云计算)
针对提示调优在复杂推理任务中提升有限甚至性能下降的问题,提出动态提示损坏方法,通过动态调整软提示影响减轻干扰,在多个推理任务上使准确率提升4%-8%。
2025-04-13 cs.AI cs.CL
Learning to Translate from Soft to Hard LLM Prompts
Worcester Polytechnic Institute(沃斯特理工学院)
本文通过训练一个专用的软提示到自然语言翻译模型,提高了翻译质量,并展示了软提示可以转化为可移植的文本提示,在大型闭源模型上超越原软提示甚至少样本学习。
2026-08-05 cs.CL cs.LG
Soft Prompt Tuning for Augmenting Dense Retrieval with Large Language Models
Santa Clara University(圣克拉拉大学);Meta AI
针对领域训练数据不足及硬提示生成弱查询质量有限的问题,本文提出SPTAR,通过软提示调优和示例过滤生成高质量弱文档-查询对,提升任务特定稠密检索性能。
2024-06-17 cs.AI cs.CL cs.IR
Efficient Prompt Tuning by Multi-Space Projection and Prompt Fusion
Northeastern University, China(中国东北大学)
针对现有提示调优难平衡准确率与效率、跨任务性能不一致的问题,提出基于多空间投影与提示融合的EPT方法,通过软提示分解降本增效、多空间投影提升一致性,在13个NLP任务上效果优于11种对比方法。
2024-12-11 cs.AI cs.CL cs.LG
Soft Prompt Tuning for Cross-Lingual Transfer: When Less is More
Zortify S.A.(佐蒂夫公司);University of Luxembourg(卢森堡大学)
本文研究软提示调优(SPT)在跨语言迁移中的应用,通过冻结模型参数仅训练软提示,证明参数效率能提升向语言距离较远语言的迁移性能,并探讨提示长度和重新参数化等因素的影响。
2024-02-06 cs.AI cs.CL
Beyond Prompt and Parser Engineering: Soft-Prompt Tuning for Automated LLM Evaluation
Aleph Alpha Research Lab(Aleph Alpha 研究实验室);TU Darmstadt(达姆施塔特工业大学);Hessian.AI(黑森人工智能中心)
提出软提示调优方法,通过优化少量软提示向量使基础模型适应基准格式,公平评估其真实知识,效率高且无需完整后训练。
2026-10-23 cs.AI cs.CL
Soft-prompt tuning to predict lung cancer using primary care free-text Dutch medical notes
Informatics Institute, University of Amsterdam(阿姆斯特丹大学信息学研究所);Amsterdam UMC, University of Amsterdam(阿姆斯特丹大学阿姆斯特丹大学医学中心)
我们研究了不同的自然语言处理(NLP)方法的基础上,上下文化的词表示的问题,肺癌的早期预测,使用自由文本的病人的医疗记录的荷兰初级保健医生。由于肺癌在初级保健中的发病率较低,我们还解决了高度不平衡类别下的分类问题。具体来说,我们使用基于transformer的大型预训练语言模型(PLM)并研究:1)\textit{soft prompt-tuning} --一种使用少量训练数据来适应PLM的NLP技术--如何与标准模型微调相比较; 2)在高度不平衡的设置中,与PLM相比,更简单的静态词嵌入模型(WEM)是否更健壮;以及3)当模型在来自少量患者的笔记上训练时,模型的表现如何。我们发现:1)软提示微调是标准模型微调的有效替代方案; 2)与更简单的静态词嵌入模型相比,PLM显示出更好的区分度,但校准较差,因为分类问题变得更加不平衡; 3)当少量患者的训练模型混合时,结果显示PLM和WEM之间没有明显差异。我们所有的代码都是在\url{https://bitbucket.org/aumc-kik/prompt_tuning_cancer_prediction/}中开源的。
2023-03-28 cs.AI cs.CL cs.LG
Enhancing Cross-lingual Natural Language Inference by Soft Prompting with Multilingual Verbalizer
Tsinghua University(清华大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
针对跨语言自然语言推理中离散提示依赖专家设计且不可训练的问题,提出带多语言 Verbalizer 的软提示框架 SoftMV,通过双语词典生成增强多语言问题并利用一致性正则化对齐语义空间,在少样本和全样本设置下取得 SOTA 性能。
2023-05-22 cs.AI cs.CL
PSP: Pre-trained Soft Prompts for Few-Shot Abstractive Summarization
Beijing Institute of Technology(北京理工大学)
Few-Shot摘要摘要是自然语言生成中的一个具有挑战性的课题。为了支持它,我们设计了一个新的软提示架构,加上一个快速的预训练加微调范式,这是有效的,只调整非常轻的参数。软提示包括跨编码器和解码器的连续输入嵌入,以适应生成模型的结构。重要的是,一个新的内部提示放置在文本中引入捕获文档级的信息。其目的是将注意力放在理解文档上,从而更好地提示模型生成与文档相关的内容。摘要过程的第一步是使用自监督伪数据进行快速预训练。这将教授模型基本的汇总功能。然后使用Few-Shot示例对模型进行微调。在CNN/DailyMail和XSum数据集上的实验结果表明,我们的方法,只有0.1%的参数,优于全模型调整,其中所有的模型参数进行了调整。它还大幅超越了提示微调,并以3%的参数提供了与Prefix-Tuning竞争的结果。
2022-10-04 cs.AI cs.CL
Controlled Text Generation using T5 based Encoder-Decoder Soft Prompt Tuning and Analysis of the Utility of Generated Text in AI
Queen Mary University of London(伦敦玛丽女王大学)
受控文本生成是自然语言处理领域的一个重要课题,具有广阔的应用前景。为了实现这一任务,我们主要介绍了新的软提示微调的方法,使用软提示在编码器和解码器的水平在T5模型和研究的性能作为一个额外的软提示的行为相关的T5模型的解码器在受控文本生成仍然是未知的。然后,我们还研究了在解码器级别引导这种扩展的软提示T5模型的输出的可行性,最后分析了生成的文本在AI相关任务中的实用性,例如通过对用合成文本训练的分类器进行可解释性分析来训练AI模型,因为缺乏对生成正确标记的数据的方法的适当分析,这些数据将用于AI任务。通过对该生成模型以及人工生成的数据进行深入的内在和外在评估,我们发现,与在编码器级别具有单个软提示的T5模型相比,该模型产生了更好的结果,并且使用该人工生成的数据训练的情感分类器可以产生与使用真实标记数据训练的分类器的结果相当的分类结果,并且分类器该决定相对于输入文本内容是可解释的。
2022-12-06 cs.CL cs.LG
PERSOMA: PERsonalized SOft ProMpt Adapter Architecture for Personalized Language Prompting
Google Research(谷歌研究院)
PERSOMA提出一种个性化软提示适配器架构,通过将用户交互历史重采样、压缩并转化为软提示嵌入,高效建模用户偏好,实验证明其在处理大规模复杂用户历史上优于现有嵌入和文本提示方法。
2024-08-02 cs.AI cs.CL cs.IR
STT: Soft Template Tuning for Few-Shot Adaptation
University at Buffalo(布法罗大学);Microsoft Research(微软研究院);Adobe Research(奥多比研究院)
提示微调是一种非常有效的工具,可以使预先训练的模型适应下游任务。然而,标准的基于任务的方法主要考虑下游任务有足够数据的情况。目前还不清楚这种优势是否可以转移到Few-Shot制度,其中只有有限的数据可用于每个下游任务。虽然一些工作已经证明了在Few-Shot设置下的快速调整的潜力,但是通过搜索离散提示或在有限数据下调整软提示的主流方法仍然非常具有挑战性。通过大量的实证研究,我们发现对于少样本学习,提示微调和完全微调之间仍然存在差距。为了弥补这一差距,我们提出了一个新的非线性调优框架,称为软模板调优(STT)。STT结合了手动和自动提示,并将下游分类任务视为掩码语言建模任务。对不同设置的综合评价表明,STT可以在不引入额外参数的情况下缩小微调方法和基于自适应的方法之间的差距。值得注意的是,它甚至可以在情感分类任务上优于耗时和资源消耗的微调方法。
2022-07-18 cs.AI cs.CL
Discrete and Soft Prompting for Multilingual Models
LMU Munich(慕尼黑大学)
对于英语,已经表明离散和软提示在使用预训练的语言模型(PLM)的少样本学习中表现强劲。在本文中,我们表明,离散和软提示比微调在多语言的情况下:跨语言迁移和多语言自然语言推理的语言训练。例如,对于48个英语训练样本,微调在跨语言迁移中获得了33.74%的准确率,勉强超过了大多数基线(33.33%)。相比之下,离散和软提示优于微调,达到36.43%和38.79%。我们还展示了良好的性能,提示与训练数据在多种语言以外的英语。
2021-09-08 cs.CL
InfoPrompt: Information-Theoretic Soft Prompt Tuning for Natural Language Understanding
New York University(纽约大学);Adobe Research(奥多比研究院);Duke University(杜克大学);University of Cambridge(剑桥大学);Shanghai Jiao Tong University(上海交通大学)
本文提出信息论软提示调优框架 InfoPrompt,通过两个互信息损失改善提示初始化与任务信息编码,显著提升少样本自然语言理解的收敛速度、性能和鲁棒性。
2023-06-08 cs.CL cs.LG stat.ML
Vector-Quantized Input-Contextualized Soft Prompts for Natural Language Understanding
Salesforce Research(赛富时研究院);Singapore University of Technology and Design(新加坡科技设计大学)
作为一种调节大规模预训练的语言模型以执行下游任务的参数高效方法,提示微调在很大程度上取得了成功。到目前为止,软提示微调学习任务特定的连续向量的固定集合,即,在任务样本中保持静态的软令牌。然而,固定的提示可能无法很好地推广到任务所包含的各种输入。为了解决这一问题,我们提出了矢量量化的输入上下文化调优器(VIP)作为软提示微调框架的扩展。VIP特别关注两个方面--上下文提示,其通过小规模句子编码器学习软提示令牌的输入特定上下文化,以及量化提示,其通过矢量量化网络将上下文化提示映射到一组可学习的码本矢量。在各种语言理解任务上,如SuperGLUE,QA,关系分类,NER和NLI,VIP的表现优于软提示微调(PT)基线的平均幅度为1.19%。此外,我们的泛化研究表明,VIP学习更强大的提示表示,在Out-of-domain QA和NLI任务上分别超过PT 0.6% - 5.3%,在跨12个域的4个任务的多任务设置上超过PT 0.75%。
2022-10-22 cs.CL
Model Tuning or Prompt Tuning? A Study of Large Language Models for Clinical Concept and Relation Extraction
University of Florida(佛罗里达大学);University of Florida Health Cancer Center(佛罗里达大学健康癌症中心);NVIDIA(英伟达)
本研究对比大语言模型的4种训练策略在临床概念与关系抽取任务的表现,验证了软提示的优势及冻结大模型在跨机构迁移、小样本场景的应用潜力。
2023-10-10 cs.AI cs.CL
Learning How to Ask: Querying LMs with Mixtures of Soft Prompts
Johns Hopkins University(约翰斯·霍普金斯大学)
该研究针对预训练语言模型的提示来源问题,提出通过梯度下降学习由软词构成的提示混合体并集成最优提示的方法,实验证明该方法大幅优于现有方法,且随机初始化效果接近有依据初始化,揭示语言模型隐式事实知识此前被低估。
2021-04-14 cs.CL cs.LG
Task Prompt Vectors: Effective Initialization through Multi-Task Soft-Prompt Transfer
Faculty of Information Technology, Brno University of Technology(布拉格技术大学信息学院);Kempelen Institute of Intelligent Technologies(智能技术研究所);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
本文提出任务提示向量,通过多任务软提示迁移实现有效初始化,适用于低资源环境,并展示了其在不同语言模型架构中的独立性,提供了一种多任务提示算术的替代方案。
2026-05-12 cs.CL
Towards Lightweight Reliability: Using Soft Prompts for Hallucination Mitigation in Large Language Models
The University of Texas at Dallas(德克萨斯大学达拉斯分校);National Institute of Standards and Technology(国家标准与技术研究院)
提出一种参数高效的软提示方法RCSP,通过对比学习、课程学习和KL正则化平衡事实回忆、幻觉抑制和弃权,在多个QA数据集上优于基线。
2026-08-20 cs.CL cs.LG
TriSPrompt: A Hierarchical Soft Prompt Model for Multimodal Rumor Detection with Incomplete Modalities
Center for Data Science, Zhejiang University(数据科学中心,浙江大学);School of Software Technology, Zhejiang University(软件技术学院,浙江大学)
针对多模态数据中模态缺失导致谣言检测困难的问题,提出分层软提示模型TriSPrompt,整合三类提示处理不完整模态,在三个基准上准确率提升超13%。
2025-09-18 cs.AI cs.CL
Soft Prompt Guided Joint Learning for Cross-Domain Sentiment Analysis
Auckland University of Technology(奥克兰理工大学);University of Tasmania(塔斯马尼亚大学);Hefei University of Technology(合肥工业大学);Jilin University of Finance and Economics(吉林财经大学)
特征词提取是细粒度情感分析的一项基本任务,其目的是从对产品或服务的评论中发现客户的意见目标。传统的监督模型在标注数据集上可以取得很好的效果,但是当它们被应用于跨领域的体词提取任务时,性能会显着下降。现有的跨领域迁移学习方法要么直接将语言特征注入到语言模型中,难以将语言知识迁移到目标领域;要么依赖于固定的预定义提示,在所有潜在的方面术语跨度上构造提示是耗时的。针对这一局限性,本文提出了一种基于软学习的跨领域方位词联合提取方法。具体而言,通过结合外部语言特征,所提出的方法通过多个目标来学习源域和目标域之间的域不变表示,从而弥合了具有不同方面术语分布的域之间的差距。此外,所提出的方法插入一组可转移的软提示组成的多个可学习的向量,这是有益的检测方面的条款在目标领域。在基准数据集上进行了大量的实验,实验结果证明了该方法在跨领域体词提取中的有效性。
2023-03-01 cs.AI cs.CL
SwitchPrompt: Learning Domain-Specific Gated Soft Prompts for Classification in Low-Resource Domains
Adobe Research(奥多比研究院);Bosch Center for Artificial Intelligence(博世人工智能中心);Bosch Research North America(博世北美研究院)
对预训练的语言模型进行分类会在自然语言处理任务中产生有希望的结果,但由于预训练数据和下游任务之间的域间隙,当应用于低资源域时效果较差。在这项工作中,我们弥合这一差距与一种新的和轻量级的提示方法称为SwitchPrompt的适应语言模型训练的数据集从一般域到不同的低资源域。SwitchPrompt使用领域特定的关键字和可训练的门控提示,提供面向领域的提示,即对通用领域语言模型的目标领域的有效指导。我们在三个文本分类基准上的Few-Shot实验证明了与SwitchPrompt一起使用时通用域预训练语言模型的有效性。他们的表现甚至超过了使用最先进的基线提示方法训练的特定领域的同行,准确率提高了10.7%。这个结果表明SwitchPrompt有效地减少了对特定于领域的语言模型预训练的需求。
2023-02-14 cs.AI cs.CL
PromptAL: Sample-Aware Dynamic Soft Prompts for Few-Shot Active Learning
School of Cyberspace Security, Beijing University of Posts and Telecommunications(网络安全学院,北京邮电大学);Key Laboratory of Trustworthy Distributed Computing and Service (BUPT), Ministry of Education(可信分布式计算与服务重点实验室(北京邮电大学));QI-ANXIN Group(QI-ANXIN集团);RapidAI Research(RapidAI研究院);ZGC Lab(ZGC实验室)
针对少样本主动学习中经验分布偏离目标分布的问题,提出PromptAL框架,利用未标注数据构建样本感知动态软提示优化决策边界,并结合不确定性与全局局部多样性选择高质量样本,在多个数据集上优于九个基线。
2025-07-22 cs.CL cs.LG
Unlocking Memorization in Large Language Models with Dynamic Soft Prompting
George Mason University(乔治梅森大学);GE Healthcare(GE医疗);University of Pittsburgh(匹兹堡大学);William and Mary(威廉玛丽学院);Southern University of Science and Technology(南方科技大学);Florida State University(佛罗里达州立大学)
提出一种基于动态软提示的LLM记忆能力估计方法,通过训练transformer生成器生成适应输入变化的软提示,更准确提取记忆数据,在文本和代码生成任务中分别实现112.75%和32.26%的最大相对改进。
2024-09-20 cs.AI cs.CL cs.CR
MetaPrompting: Learning to Learn Better Prompts
Harbin Institute of Technology(哈尔滨工业大学)
压缩方法被认为是Few-Shot自然语言处理的关键技术之一。最近的研究提示从离散的令牌为基础的“硬提示”,连续的“软提示”,采用可学习的向量作为伪提示令牌,并取得更好的性能。虽然这些软激励方法显示出良好的前景,但它们在很大程度上依赖于良好的初始化。不幸的是,获得软提示的完美初始化需要理解内部语言模型的工作和精心设计,这不是一件容易的事情,并且必须为每个新任务从头开始。针对这一问题,本文提出了一种通用的软提示方法MetaPropagating,该方法采用模型无关的Meta学习算法,自动寻找更好的提示初始化,以快速适应新的提示任务,实验表明MetaPropagating解决了软提示初始化问题,并在四个不同的数据集上取得了显著的改进(单次设置的精度提高了6个点以上),实现了最先进的性能。
2023-02-03 cs.CL
Optimizing Soft Prompt Tuning via Structural Evolution
School of Information and Software Engineering, University of Electronic Science and Technology of China(电子科技大学信息与软件工程学院);School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院);College of Professional and Continuing Education, The Hong Kong Polytechnic University(香港理工大学专业及继续教育学院);School of Robotics and Advanced Manufacture, Harbin Institute of Technology(哈尔滨工业大学机器人与先进制造学院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);School of Computer Science and Technology, Tongji University(同济大学计算机科学与技术学院)
本文提出基于拓扑形态演化的软提示微调优化方法,通过拓扑持久同调量化结构表示,改进模型收敛速度和微调性能,提升可解释性。
2026-02-18 cs.CL
Triggering Multi-Hop Reasoning for Question Answering in Language Models using Soft Prompts and Random Walks
Purdue University(普渡大学);Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind)
针对预训练语言模型难以组合事实进行多跳问答的问题,本文利用知识图谱随机游走并训练软提示,将多跳问题映射到答案路径,在两个 T5 模型上显著提升 2 跳推理性能。
2023-06-06 cs.AI cs.CL
Learning an Anchored Prompt Space for Continual Adaptation of Large Language Models
提出LAPS方法,通过自蒸馏对齐历史提示并构建锚定提示空间学习任务间关系,在TRACE基准上提升大型语言模型持续适应性能并减少遗忘。
2026-10-28 cs.AI cs.CL
Efficient and Effective Prompt Tuning via Prompt Decomposition and Compressed Outer Product
Software College, Northeastern University(东北大学软件学院);School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院)
针对现有提示调优(PT)方法存在的软提示令牌语义关联缺失、长提示导致成本高的问题,提出LAMP方法,通过提示分解(Truncated SVD降维)和压缩外积增强交互,在多架构多数据集上性能和效率优于SOTA的PT和LoRA方法。
2025-02-16 cs.AI cs.CL
Topology-Aware Reasoning over Incomplete Knowledge Graph with Graph-Based Soft Prompting
Chalmers University of Technology and University of Gothenburg, Sweden(楚姆勒大学技术学院和哥德堡大学,瑞典);Technical University of Denmark, Kgs. Lyngby, Denmark(丹麦技术大学,基斯勒吕辛,丹麦)
本文提出基于图的软提示框架,通过图神经网络编码子图生成软提示,使LLM在更丰富的结构上下文中推理,减少缺失边的影响,提升多跳KBQA性能。
2026-08-06 cs.AI cs.CL
MoPD: Mixture-of-Prompts Distillation for Vision-Language Models
Department of Computer Science and Engineering, Southern University of Science and Technology(计算机科学与工程系,南方科技大学);School of Mathematical and Computer Sciences, University of Adelaide(数学与计算机科学学院,阿德莱德大学)
针对视觉语言模型软提示学习易过拟合已见类别的问题,提出 MoPD 方法,通过门控网络将人工硬提示知识蒸馏至软提示,显著提升了模型在未见类别上的泛化性能。
2025-09-12 cs.CL cs.CV cs.LG
IAPT: Instruction-Aware Prompt Tuning for Large Language Models
East China Normal University(华东师范大学);Carnegie Mellon University(卡内基梅隆大学);University of Minnesota(明尼苏达大学);Pingan Technology(平安科技)
本文提出指令感知提示微调方法IAPT,仅用四个软令牌,通过在各Transformer层设置带瓶颈结构的软提示生成器并自动学习特有激活函数,在参数相当下优于基线且在多租户设置中比LoRA更高效。
2024-06-07 cs.CL
SPoT: Better Frozen Model Adaptation through Soft Prompt Transfer
Google Research(谷歌研究院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
人们对参数有效的方法越来越感兴趣,以将预训练的语言模型应用于下游任务。基于Lester等人的提示微调方法(2021),该方法学习特定于任务的软提示来调节冻结的预训练模型以执行不同的任务,我们提出了一种新的基于Prompt的迁移学习方法,称为SPoT:Soft Prompt Transfer。SPoT首先学习一个或多个源任务的提示,然后使用它来初始化目标任务的提示。我们表明,SPoT显着提高性能的提示微调在许多任务。更值得注意的是,在所有模型大小中,SPoT在SuperGLUE基准测试中的性能都与标准模型调整(微调所有模型参数)相匹配或优于标准模型调整(微调所有模型参数),同时使用的特定于任务的参数减少了27,000倍。为了了解SPoT在哪里最有效,我们对160个组合中的26个NLP任务进行了一项大规模的任务可转移性研究,并证明许多任务可以通过即时转移相互受益。最后,我们提出了一个有效的检索方法,任务提示作为任务嵌入识别类似的任务,并预测一个新的目标任务的最可转移的源任务。
2022-03-16 cs.CL
One Student, Many Teachers: Multi-Task On-Policy Distillation via Soft-Prompt Privileged Context
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Johns Hopkins University(约翰霍普金斯大学);Nanyang Technological University(南洋理工大学)
研究提出一种多任务在线策略蒸馏方法,教师与学生仅通过可学习软提示区分,在骨干冻结时训练特定任务教师。单任务变体训练参数少且效果好,多任务变体保持通用能力基准同时实现最佳总体平均水平。
2026-07-22 cs.CL cs.LG
Learning a Better Initialization for Soft Prompts via Meta-Learning
Columbia University(哥伦比亚大学)
提示微调(PT)是使预训练的语言模型适应下游任务的有效方法。如果没有良好的初始化,则在Few-Shot设置下无法很好地执行提示微调。因此,提出了预训练提示微调(PPT),通过利用预训练数据来初始化提示。我们提出MetaPT(元学习提示微调),以进一步改善PPT的初始化,考虑潜在的结构内的预训练数据。具体来说,我们引入的结构,首先聚类预训练数据到不同的辅助任务与无监督的方法。然后,我们使用这些任务来用Meta学习算法预训练提示。这样的过程可以通过发现这些辅助任务之间的共性来使提示学习更好的初始化。我们评估我们的方法在七个下游任务。我们的MetaPT实现了比最先进的方法更好,更稳定的性能。
2022-05-25 cs.CL
Conflict-Aware Soft Prompting for Retrieval-Augmented Generation
Sungkyunkwan University(成均馆大学)
针对RAG中上下文与模型记忆冲突的问题,提出CARE框架,通过上下文评估器与软提示引导推理,在QA和事实验证基准上平均提升5.0%。
2025-09-26 cs.AI cs.CL
ATTEMPT: Parameter-Efficient Multi-task Tuning via Attentional Mixtures of Soft Prompts
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
这项工作介绍了一种新的多任务,参数高效的语言模型(LM)调整方法,学习跨不同的任务,通过混合的软前缀小前缀嵌入向量预先训练不同的任务来转移知识。我们的方法,称为ATTEMPT(ATTENTIONAL Mixtures of提示微调),获得源提示作为大规模源任务的编码成少量的参数,并训练注意力模块插入源提示和新初始化的目标任务中的每个实例的目标提示。在训练过程中,只有目标任务提示和注意力权重(在多任务训练中任务之间共享)被更新,而原始LM和源提示保持不变。ATTEMPT是高度参数有效的(例如,更新的参数比完全微调少2,300倍),同时使用来自高资源任务的知识实现高任务性能。此外,它是模块化的,使用预先训练的软提示,可以灵活地添加或删除源提示,以实现有效的知识转移。我们在21个不同的NLP数据集上的实验结果表明,ATTEMPT的性能明显优于提示微调,并且优于或匹配完全微调或其他使用十倍以上参数的参数高效调优方法。最后,ATTEMPT在少样本学习设置中优于以前的工作。
2022-12-01 cs.CL
Adapting Whisper for Parameter-efficient Code-Switching Speech Recognition via Soft Prompt Tuning
School of Computer Science(计算机科学学院);College of Computing and Data Science(计算与数据科学学院);College of Computing(计算学院)
本文提出基于软提示调优的参数高效方法,增强Whisper在低资源语码转换语音识别中的表现,通过深度提示调优和SPT4ASR组合,在SEAME和ASRU2019上实现错误率降低,且不损害原有语言性能。
2025-06-16 cs.AI cs.CL cs.SD
Generating Synthetic Datasets for Few-shot Prompt Tuning
Nanyang Technological University(南洋理工大学)
针对少样本提示微调依赖大量标注数据的问题,利用LLM合成任务特定数据,并提出DawGen方法与梯度手术策略训练软提示,显著提升了少样本分类性能。
2024-10-08 cs.AI cs.CL
Soft Language Prompts for Language Transfer
Faculty of Information Technology, Brno University of Technology(布拉格技术大学信息学院);Kempelen Institute of Intelligent Technologies(智能技术研究所);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
针对跨语言知识迁移难题,该研究结合参数高效微调方法,提出软语言提示技术,实验发现软语言提示搭配任务适配器的效果在多数场景下优于传统的语言+任务适配器组合。
2024-10-30 cs.CL
Injecting Domain-Specific Knowledge into Large Language Models: A Comprehensive Survey
Mohamed bin Zayed University of Artificial Intelligence(Mohamed bin Zayed大学);Northeastern University(东北大学);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院);ByteDance(字节跳动);Wuhan University(武汉大学)
该综述针对大语言模型在领域特定应用中效果受限的问题,系统梳理了动态知识注入等四类领域知识注入方法,对比其优劣并总结了相关数据集与研究挑战,还搭建了开源文献库供研究者参考。
2025-08-30 cs.CL
Latent Personal Memory: Represent personal memory as dynamic soft prompts
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Samsung Research America(三星美国研究院)
提出潜在个人记忆(LPM)框架,通过可解释的潜在槽矩阵和交叉注意力网络生成动态软提示,在冻结大语言模型上高效编码用户历史,在PersonaMem v1和LoCoMO基准上优于LoRA和提示调优,并大幅降低KV缓存使用。
2026-06-23 cs.AI cs.CL
Decomposed Prompt Tuning via Low-Rank Reparameterization
Singapore University of Technology and Design(新加坡科技设计大学);Institute for Infocomm Research, A*Star(新加坡科技研究局资讯通信研究院)
本文提出分解式提示调优,利用低秩矩阵初始化软提示,减少可训练参数,在SuperGLUE上验证了有效性。
2023-10-16 cs.CL