Language Shapes Mental Health Evaluations in Large Language Models
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Arizona State University(亚利桑那州立大学)
研究多语言LLM在心理健康评估中是否因语言不同而产生系统性偏差,发现中文提示比英文提示导致更高的污名相关评分和更保守的抑郁严重度判断。
2026-06-11 cs.CL
Salient Information Prompting to Steer Content in Prompt-based Abstractive Summarization
Amazon AWS AI Labs(亚马逊AWS AI实验室);Carnegie Mellon University(卡内基梅隆大学)
本文提出轻量级关键短语提取模型SigExt,将显著短语注入摘要提示,在多数据集及开放、专有LLM上一致提升ROUGE,并分析细节控制与幻觉影响。
2024-12-02 cs.AI cs.CL cs.LG
Prefix-Tuning: Optimizing Continuous Prompts for Generation
Stanford University(斯坦福大学)
微调是利用大型预训练语言模型执行下游任务的实际方法。然而,它修改了所有的语言模型参数,因此需要为每个任务存储一个完整的副本。在本文中,我们提出了前缀调整,一个轻量级的替代微调自然语言生成任务,保持语言模型参数冻结,但优化一个小的连续的特定于任务的向量(称为前缀)。前缀调优从提示中获得灵感,允许后续的令牌关注这个前缀,就好像它是“虚拟令牌”一样。我们将前缀调优应用于GPT-2以生成表到文本,并应用于BART以进行摘要。我们发现,通过只学习0.1%的参数,前缀调整在全数据设置中获得了相当的性能,在低数据设置中优于微调,并且更好地外推到训练过程中看不到的主题的示例。
2021-01-01 cs.CL
ProSG: Using Prompt Synthetic Gradients to Alleviate Prompt Forgetting of RNN-like Language Models
Sichuan University(四川大学)
针对类RNN语言模型因固定长度状态存储导致的提示生成遗忘问题,提出基于合成梯度的ProSG架构,通过低秩梯度近似将提示临时编码进模型参数,实验验证了其有效性。
2023-11-03 cs.CL
Exploring Lottery Prompts for Pre-trained Language Models
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Alibaba Group(阿里巴巴集团);DCST, Tsinghua University(清华大学计算机科学与技术系);BNRIST, IAI, Tsinghua University(清华大学人工智能研究院北京国家信息科学与技术研究中心);Pengcheng Laboratory(鹏城实验室)
本文研究实例级彩票提示,验证每个实例几乎都存在能诱导PLM正确预测的低成本提示,并通过提示集成方法将强彩票提示泛化到未见数据,在NLP分类任务上取得与无梯度、免优化基线相当的性能。
2023-05-31 cs.CL
Prompt-tuning in ASR systems for efficient domain-adaptation
Amazon(亚马逊)
自动语音识别(ASR)系统已经在非常不同的领域中的许多工业应用中找到了它们的用途。由于特定领域的系统在域内评估方面比通用系统表现得更好,因此显然需要内存和计算效率高的领域自适应。特别地,调整用于重新评分ASR假设的基于参数重转换器的语言模型是具有挑战性的。在这项工作中,我们克服了这个问题,使用提示微调,一种方法,训练少量的域令牌嵌入参数,以总理基于变换器的LM到一个特定的域。每个域只需要几个额外的参数,我们就可以在使用未适应LM的基线上获得更好的困惑分数。尽管是参数高效的,但这些改进与具有数亿参数的完全微调模型的改进相当。我们复制我们的研究结果在困惑的数字字出错率在特定领域的ASR系统中的一个这样的域。
2021-10-22 cs.CL
PT-MoE: An Efficient Finetuning Framework for Integrating Mixture-of-Experts into Prompt Tuning
University of Cambridge(剑桥大学)
本文提出 PT-MoE 框架,将矩阵分解与 MoE 路由融入 Prompt Tuning,在 17 个数据集上以更少参数实现 QA 与数学任务的先进性能和跨任务泛化。
2025-05-14 cs.CL
Training Prompt Matters: State-Adaptive Optimization for Robust Fine-Tuning
University of Science and Technology of China(中国科学技术大学)
本文提出状态自适应提示优化(SAPO)策略,通过将任务公式从静态输入转变为动态状态自适应变量,有效缓解灾难性遗忘并提升泛化能力,在多个基准上取得显著性能提升。
2026-06-01 cs.CL
IAPT: Instruction-Aware Prompt Tuning for Large Language Models
East China Normal University(华东师范大学);Carnegie Mellon University(卡内基梅隆大学);University of Minnesota(明尼苏达大学);Pingan Technology(平安科技)
本文提出指令感知提示微调方法IAPT,仅用四个软令牌,通过在各Transformer层设置带瓶颈结构的软提示生成器并自动学习特有激活函数,在参数相当下优于基线且在多租户设置中比LoRA更高效。
2024-06-07 cs.CL
Efficient Few-Shot Learning Without Prompts
Hugging Face;Technical University of Darmstadt(达姆施塔特工业大学);Intel Labs(英特尔研究院)
最近的Few-Shot方法,如参数高效微调(PEFT)和模式开发训练(PET),在标签稀缺的设置中取得了令人印象深刻的结果。然而,它们难以使用,因为它们受到来自手动制作的提示的高度可变性的影响,并且通常需要十亿个参数的语言模型来实现高准确性。为了解决这些缺点,我们提出了SetFit(句子Transformer微调),一个有效的和无干扰的框架,用于句子Transformers(ST)的Few-Shot微调。SetFit的工作原理是首先以对比暹罗的方式对少量文本对预训练的ST进行微调。然后使用所得到的模型来生成富文本嵌入,其用于训练分类头。这个简单的框架不需要提示或言语,并实现了高精度的数量级比现有技术少的参数。我们的实验表明,SetFit获得了与PEFT和PET技术相当的结果,同时训练速度快了一个数量级。我们还表明,SetFit可以应用于多语言设置,只需切换ST机构。我们的代码可以在https://github.com/huggingface/setfit上找到,我们的数据集可以在https://huggingface.co/setfit上找到。
2022-09-22 cs.CL
On Transferability of Prompt Tuning for Natural Language Processing
Tsinghua University(清华大学);Tencent Inc(腾讯公司);Institute for AI Industry Research (AIR)(人工智能产业研究院(AIR))
本文系统研究软提示在任务与模型间的可迁移性,证明其可零样本迁移、加速并改善提示调优,并发现激活神经元重叠率是关键指标。
2022-04-27 cs.CL
Infusing Hierarchical Guidance into Prompt Tuning: A Parameter-Efficient Framework for Multi-level Implicit Discourse Relation Recognition
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);Tianjin Key Laboratory of Cognitive Computing and Application(天津市认知计算与应用重点实验室)
本文提出参数高效的PEMI框架,通过提示微调与层次标签细化方法,以约0.1%可训练参数在PDTB 2.0和3.0上实现多级隐式篇章关系识别的可比性能。
2024-02-23 cs.CL
Attribute Controlled Dialogue Prompting
University of Waterloo(滑铁卢大学);Vector Institute(向量研究所);Huawei(华为)
本文提出一种基于实例级控制代码生成提示的对话生成算法,突破固定提示假设,在开放域对话任务上以5%-6%参数超越提示基线并媲美微调。
2023-07-11 cs.CL cs.LG
Instance-wise Prompt Tuning for Pretrained Language Models
Peking University(北京大学);Alibaba Group(阿里巴巴集团)
快速学习最近在弥合预训练任务和各种下游任务之间的差距方面获得了很大的普及。它冻结了预训练的语言模型(PLM),只为下游任务调整了一些与任务相关的参数(提示),大大降低了调整巨型模型的成本。实现这一点的关键是使用提示中包含的特定于任务的知识查询PLM的想法。本文揭示了现有方法的一个主要局限性,即对任务中所有输入数据的无差别提示忽略了来自输入数据的内在知识,导致次优性能。我们介绍实例明智的提示微调(IPT),第一提示学习范式,注入知识的输入数据实例的提示,从而提供更丰富和更具体的上下文信息的PLM。我们设计了一系列策略来生成实例提示,解决模型质量和成本效率等各种问题。在多个任务和资源设置中,IPT的性能明显优于基于任务的即时学习方法,并且仅用0.5% - 1.5%的调整参数就达到了与传统微调相当的性能。
2022-06-04 cs.AI cs.CL
Cutting Down on Prompts and Parameters: Simple Few-Shot Learning with Language Models
UC Irvine(加州大学欧文分校);University of Edinburgh(爱丁堡大学);UC Berkeley(加州大学伯克利分校);Facebook AI Research(脸书人工智能研究院);University College London(伦敦大学学院)
使用训练样本和任务描述来验证语言模型(LM)已被视为最近在少样本学习中取得成功的关键。在这项工作中,我们表明,微调LM在Few-Shot设置可以大大减少提示工程的需要。事实上,可以使用空提示,即既不包含特定于任务的模板也不包含训练样本的提示,并且在广泛的任务范围内实现与手动调整的提示竞争的准确性。虽然微调LM确实为每个下游任务引入了新的参数,但我们表明,这种内存开销可以大大减少:仅微调偏差项可以实现与标准微调相当或更好的精度,同时仅更新0.1%的参数。总而言之,我们建议微调LM用于少样本学习,因为它更准确,对不同的提示更鲁棒,并且可以与使用冻结LM一样有效。
2021-07-01 cs.CL cs.LG
Generating Synthetic Datasets for Few-shot Prompt Tuning
Nanyang Technological University(南洋理工大学)
针对少样本提示微调依赖大量标注数据的问题,利用LLM合成任务特定数据,并提出DawGen方法与梯度手术策略训练软提示,显著提升了少样本分类性能。
2024-10-08 cs.AI cs.CL
Robust Prompt Optimization for Large Language Models Against Distribution Shifts
National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学);Singapore Management University(新加坡管理大学)
针对大语言模型提示优化易受分布偏移影响的问题,提出广义提示优化框架,利用目标群体未标注数据,实现源群体优化提示对目标群体的泛化,实验验证了其有效性。
2024-02-05 cs.AI cs.CL
FPT: Improving Prompt Tuning Efficiency via Progressive Training
Tsinghua University(清华大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Jiangsu Collaborative Innovation Center for Language Ability(江苏语言能力协同创新中心)
最近,提示微调(PT)作为一种参数高效的预训练语言模型(PLM)调优方法得到了越来越多的关注。尽管PT大大减少了可调参数的数量,并取得了令人满意的性能,但由于其收敛速度慢,训练效率低下。为了提高PT的培训效率,我们首先对“部分PLM”的即时可转移性进行了一些新的观察,“部分PLM”是通过在深度或宽度上压缩PLM来定义的。我们观察到,软提示学习不同的部分PLM的各种大小是相似的参数空间,这意味着这些软提示可能会被转移部分PLM之间。受这些观察结果的启发,我们提出了快速提示微调(FPT),它首先使用小规模的部分PLM进行PT,然后逐步扩展其深度和宽度,直到完整的模型尺寸。在每次扩展之后,我们回收先前学习的软提示作为放大的部分PLM的初始化,然后继续PT。我们在5个任务上证明了FPT的可行性,并表明FPT可以节省超过30%的训练计算,同时实现相当的性能。
2022-11-13 cs.AI cs.CL
DimSteer: Steering LLM Authoring with Automatically Discovered Stylistic Controls
Cornell Tech(康奈尔科技学院);Harvard University(哈佛大学)
DimSteer通过自动发现并展示风格控制滑块,减少用户对提示回忆的依赖,实验表明其降低认知负担并提升识别式探索。研究验证了提示局部控制的有效性。
2026-10-06 cs.CL cs.HC
Towards Unified Task Embeddings Across Multiple Models: Bridging the Gap for Prompt-Based Large Language Models and Beyond
University of Warwick(华威大学);The Alan Turing Institute(阿兰·图灵研究所)
针对现有任务嵌入方法难以适配无梯度提示引导型LLMs、跨模型适应性差的问题,提出统一任务嵌入框架FUTE,将多类模型的任务嵌入映射到同一向量空间,实现跨模型相似性分析,拓展了任务嵌入的应用场景且性能不逊于架构特定方法。
2024-07-12 cs.CL cs.LG
À-la-carte Prompt Tuning (APT): Combining Distinct Data Via Composable Prompting
AWS AI Labs(AWS人工智能实验室);UCLA(加州大学洛杉矶分校)
我们介绍了点菜提示微调(APT),一个基于变换的计划,调整提示不同的数据,使他们可以任意组成的推理时间。可以在不同的设备上、在不同的时间、以及在不同的分布或域上隔离地训练各个提示。此外,每个提示仅包含有关其在训练期间暴露的数据子集的信息。在推理过程中,可以根据任意选择的数据源组装模型,我们称之为“点菜式学习”。点菜式学习使得能够构建特定于每个用户的个人访问权和偏好的定制模型。我们可以通过简单地添加或删除相应的提示来添加或删除模型中的信息,而无需从头开始重新训练。我们证明,点菜建立的模型实现的准确性在$5\%$的模型训练的工会各自的来源,具有可比的成本方面的培训和推理时间。对于持续学习基准Split CIFAR-100和CORe 50,我们实现了最先进的性能。
2023-02-15 cs.AI cs.CL cs.CV
APrompt4EM: Augmented Prompt Tuning for Generalized Entity Matching
Peking University(北京大学);China Telecom Research Institute(中国电信研究院)
针对低资源广义实体匹配中的提示设计与信息差距问题,提出融合上下文化软 token 提示调优和 LLM 信息增强的 APrompt4EM,以低成本实现优于中等规模 PLM 方法、媲美微调 LLM 的性能。
2024-05-08 cs.AI cs.CL
Parameter-Efficient Prompt Tuning Makes Generalized and Calibrated Neural Text Retrievers
Tsinghua University(清华大学);Meituan-Dianping Group(美团点评集团)
提示微调尝试更新预训练模型中的一些特定于任务的参数。它在语言理解和生成任务上都取得了与微调完整参数集相当的性能。在这项工作中,我们研究了神经文本检索器的提示微调问题。我们引入参数高效的提示微调跨域,跨域和跨主题设置的文本检索。通过广泛的分析,我们表明,该策略可以减轻两个问题-参数效率低下和弱的泛化能力-所面临的微调为基础的检索方法。值得注意的是,它可以显着提高域外zero-shot泛化的检索模型。通过仅更新0.1%的模型参数,提示微调策略可以帮助检索模型实现更好的泛化性能比传统的方法,其中所有参数都更新。最后,为了促进检索者跨主题泛化能力的研究,我们策划并发布了一个学术检索数据集,其中包含87个主题的18 K查询结果对,使其成为迄今为止最大的特定主题检索数据集。
2022-07-14 cs.CL cs.IR cs.LG
Input-Tuning: Adapting Unfamiliar Inputs to Frozen Pretrained Models
Xi’an Jiaotong University(西安交通大学);Microsoft Research Asia(微软亚洲研究院);Beihang University(北京航空航天大学);Microsoft Azure AI(微软Azure人工智能);Peking University(北京大学)
最近,自动调优范式引起了极大的关注。通过仅使用冻结的预训练语言模型(PLM)来调整连续提示,快速调整朝着部署共享的冻结PLM以服务于众多下游任务迈出了一步。尽管自调优在某些自然语言理解(NLU)任务上表现出良好的性能,但其在自然语言生成(NLG)任务上的有效性仍然未被充分探索。在本文中,我们认为,阻碍NLG任务的快速调整发展的因素之一是不熟悉的输入(即,输入在语言上不同于预训练语料库)。例如,我们的初步探索揭示了一个很大的性能差距时,不熟悉的输入经常出现在NLG任务的微调和微调。这促使我们提出输入调整,微调连续提示和输入表示,导致一个更有效的方式来适应不熟悉的输入冻结PLM。我们提出的输入调整是概念上简单,经验强大。七个NLG任务的实验结果表明,输入调谐是显着的,并始终优于单调谐。此外,在这些任务中的三个任务上,输入调整可以实现与微调相当甚至更好的性能。
2022-03-07 cs.AI cs.CL
Promptor: A Conversational and Autonomous Prompt Generation Agent for Intelligent Text Entry Techniques
University of Cambridge(剑桥大学)
本文提出Promptor,一个对话式自主提示生成智能体,通过自动生成复杂提示,使大型语言模型无需微调即可胜任智能文本输入任务,实验显示其提示在相似性和连贯性上分别提升35%和22%。
2023-10-15 cs.AI cs.CL
Controlled Text Generation using T5 based Encoder-Decoder Soft Prompt Tuning and Analysis of the Utility of Generated Text in AI
Queen Mary University of London(伦敦玛丽女王大学)
受控文本生成是自然语言处理领域的一个重要课题,具有广阔的应用前景。为了实现这一任务,我们主要介绍了新的软提示微调的方法,使用软提示在编码器和解码器的水平在T5模型和研究的性能作为一个额外的软提示的行为相关的T5模型的解码器在受控文本生成仍然是未知的。然后,我们还研究了在解码器级别引导这种扩展的软提示T5模型的输出的可行性,最后分析了生成的文本在AI相关任务中的实用性,例如通过对用合成文本训练的分类器进行可解释性分析来训练AI模型,因为缺乏对生成正确标记的数据的方法的适当分析,这些数据将用于AI任务。通过对该生成模型以及人工生成的数据进行深入的内在和外在评估,我们发现,与在编码器级别具有单个软提示的T5模型相比,该模型产生了更好的结果,并且使用该人工生成的数据训练的情感分类器可以产生与使用真实标记数据训练的分类器的结果相当的分类结果,并且分类器该决定相对于输入文本内容是可解释的。
2022-12-06 cs.CL cs.LG
Musketeer: Joint Training for Multi-task Vision Language Model with Task Explanation Prompts
The Chinese University of Hong Kong(香港中文大学);AWS AI Labs(AWS AI实验室)
提出Musketeer,一种多任务视觉语言模型,通过任务解释提示(TEP)减少任务干扰,实现参数共享,性能媲美或超越单任务基线。
2024-03-14 cs.AI cs.CL cs.CV
Prompt Tuning GPT-2 language model for parameter-efficient domain adaptation of ASR systems
Amazon(亚马逊)
自动语音识别(ASR)系统已经在非常不同的领域中的许多工业应用中找到了它们的用途,从而产生了以小的存储器和部署开销来适应新领域的需要。在这项工作中,我们介绍域提示,一种方法,涉及训练少量的域嵌入参数,以总理基于transformer的语言模型(LM)到一个特定的域。使用这种域适应LM重新评分ASR假设可以实现7-13%的WER减少一个新的领域,只有1000个未标记的文本域特定的句子。这种改进与完全微调的模型相当,甚至更好,即使只有0.02%的基本LM参数被更新。此外,我们的方法是部署友好的,因为学习的域嵌入是作为模型输入的前缀,而不是改变基础模型架构。因此,我们的方法是ASR系统中使用的LM的动态适应的理想选择,以逐步将其扩展到新的领域。
2022-07-21 cs.CL cs.LG
Discrete Prompt Tuning via Recursive Utilization of Black-box Multimodal Large Language Model for Personalized Visual Emotion Recognition
Graduate School of Information Science(信息科学研究生学校);Technology, Hokkaido University, Sapporo 060-0814, Japan(技术,北海道大学,札幌060-0814,日本);Office of Institutional Research, Hokkaido University, Sapporo 060-0808, Japan(机构研究办公室,北海道大学,札幌060-0808,日本);Faculty of Information Science(信息科学学院)
针对多模态大语言模型因训练数据偏向通用观点而在个性化视觉情感识别中表现受限的问题,提出一种受人类提示工程启发的离散提示调优方法,通过递归筛选最优自然语言提示并更新,实现精准的个性化视觉情感识别。
2025-08-30 cs.CL cs.LG
Super-Prompting: Utilizing Model-Independent Contextual Data to Reduce Data Annotation Required in Visual Commonsense Tasks
University of Alberta(阿尔伯塔大学)
预先训练的语言模型在使用上下文学习的少样本学习场景中表现出出色的结果。虽然这令人印象深刻,但语言模型的大小可能会限制它们在设备上的应用程序中的可用性,例如传感器或智能手机。对于较小的语言模型,需要特定于任务的数据注释来为特定目的微调语言模型。然而,数据注释对于小型研究小组,初创公司甚至公司来说都可能带来巨大的财务和时间负担。在本文中,我们分析了不同的基于语义的微调技术,以改善语言和多模态因果Transformer模型的结果。为了评估我们的结果,我们使用了一个集中在视觉常识推理的数据集。我们的研究结果表明,通过简单的基于模型不可知的神经网络的微调,只需使用35%-40%的微调训练数据集就可以达到相当的结果。所提出的方法节省了大量的时间和资金。由于所提出的方法使最小的架构假设,其他研究人员可以使用他们的Transformer模型的结果与最小的调整。我们计划免费发布源代码,以便社区更容易使用并为我们的工作做出贡献。
2022-04-25 cs.AI cs.CL
Extending Whisper with prompt tuning to target-speaker ASR
Shandong University(山东大学);North Carolina State University(北卡罗来纳州立大学);Shandong Normal University(山东师范大学)
本文提出利用提示微调将 Whisper 扩展至目标说话人 ASR,仅用约 1% 的任务特定参数即可达到与完全训练相当的性能,并保留时间戳等原有特性。
2024-01-11 cs.CL cs.SD eess.AS