A Better LLM Evaluator for Text Generation: The Impact of Prompt Output Sequencing and Optimization
The University of Tokyo(东京大学)
本文研究提示设计中输出顺序对LLM文本评估的影响,发现理由与分数的呈现顺序会显著改变评分,并指出数据充足时可通过优化提升评分对齐,为改进LLM评估的准确性与一致性提供关键见解。
2024-06-14 cs.CL
SPoT: Better Frozen Model Adaptation through Soft Prompt Transfer
Google Research(谷歌研究院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
人们对参数有效的方法越来越感兴趣,以将预训练的语言模型应用于下游任务。基于Lester等人的提示微调方法(2021),该方法学习特定于任务的软提示来调节冻结的预训练模型以执行不同的任务,我们提出了一种新的基于Prompt的迁移学习方法,称为SPoT:Soft Prompt Transfer。SPoT首先学习一个或多个源任务的提示,然后使用它来初始化目标任务的提示。我们表明,SPoT显着提高性能的提示微调在许多任务。更值得注意的是,在所有模型大小中,SPoT在SuperGLUE基准测试中的性能都与标准模型调整(微调所有模型参数)相匹配或优于标准模型调整(微调所有模型参数),同时使用的特定于任务的参数减少了27,000倍。为了了解SPoT在哪里最有效,我们对160个组合中的26个NLP任务进行了一项大规模的任务可转移性研究,并证明许多任务可以通过即时转移相互受益。最后,我们提出了一个有效的检索方法,任务提示作为任务嵌入识别类似的任务,并预测一个新的目标任务的最可转移的源任务。
2022-03-16 cs.CL
Better Few-Shot Relation Extraction with Label Prompt Dropout
Singapore University of Technology and Design(新加坡科技设计大学)
Few-Shot关系抽取的目标是基于非常有限的训练样本来学习识别两个实体之间的关系。最近的努力发现,文本标签(即,关系名称和关系描述)对于学习类表示非常有用,这将有益于少样本学习任务。然而,在学习过程中利用这些标签信息的最佳方式是一个重要的研究问题。现有的作品在很大程度上假设这样的文本标签总是存在于学习和预测过程中。在这项工作中,我们认为,这种方法可能并不总是导致最佳结果。相反,我们提出了一种新的方法,称为标签提示辍学,随机删除标签的描述在学习过程中。我们的实验表明,我们的方法是能够导致改进的类表示,产生显着更好的结果上的Few-Shot关系抽取任务。
2022-10-25 cs.CL
English Prompts are Better for NLI-based Zero-Shot Emotion Classification than Target-Language Prompts
University of Stuttgart(斯图加特大学);University of Bamberg(班贝格大学);University of the Basque Country(巴斯克大学)
针对非英文文本零样本情感分类的提示语言选择问题,研究通过基于自然语言推理的多语言大模型实验发现,使用英文提示的效果始终优于目标语言提示,填补了相关研究空白。
2024-03-07 cs.CL
PromptBERT: Improving BERT Sentence Embeddings with Prompts
Beihang University(北京航空航天大学);Microsoft(微软);Zhongguancun Laboratory(中关村实验室);Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能研究院)
我们提出了一种新的对比学习方法,用于学习更好的句子表示。本文首先分析了当前基于BERT的句子嵌入算法的不足,发现其主要原因是静态的标记嵌入偏差和无效的BERT层。然后提出了第一种基于提示的句子嵌入方法,并讨论了两种提示表示方法和三种提示搜索方法,使BERT能够实现更好的句子嵌入。此外,我们提出了一种新的无监督训练目标的模板去噪技术,这大大缩短了监督和无监督设置之间的性能差距。大量的实验表明了该方法的有效性。与SimCSE相比,在无监督设置下,基于BERT和RoBERTa的BertBert实现了2.29和2.58点的改进。
2022-10-13 cs.CL
Multi-Prompting Decoder Helps Better Language Understanding
National Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家重点实验室,南京大学)
针对模型即服务设置下单一提示质量依赖问题,提出多提示解码器(MPD)框架,通过多提示查询和最优传输、校准解码策略,在少样本自然语言理解任务上取得最优结果。
2025-05-31 cs.CL
Is Prompt-Based Finetuning Always Better than Vanilla Finetuning? Insights from Cross-Lingual Language Understanding
Center for Information and Language Processing (CIS), LMU Munich(慕尼黑大学信息与语言处理中心);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文提出 ProFiT 流程,系统比较基于提示的微调与普通微调在多类跨语言理解任务、少样本及全数据设置下的表现,并分析语言相似性等影响因素。
2023-07-15 cs.CL
Which is better? Exploring Prompting Strategy For LLM-based Metrics
Korea University(高丽大学)
针对传统自然语言生成评估指标与人类评估偏差大的问题,研究系统分析了开源大语言模型作为评估指标的三类方法,通过多组实验得出有效提示策略与相关能力洞见。
2023-11-07 cs.CL
Instances Need More Care: Rewriting Prompts for Instances with LLMs in the Loop Yields Better Zero-Shot Performance
George Mason University(乔治梅森大学);University of Iowa(爱荷华大学)
本文提出PRomPTed方法,通过LLMs在环为每个任务实例重写提示,在13个数据集和10种任务类型上显著提升零样本性能,并证明较弱模型重写提示可监督更强模型。
2024-06-11 cs.CL
Improving Prompt Tuning with Learned Prompting Layers
East China Normal University(华东师范大学);Southern University of Science and Technology(南方科技大学)
本文提出选择性提示微调框架SPT,通过可学习概率门自动选择提示层,并结合SPT-DARTS双层优化提升性能,在多个基准上超越现有方法。
2023-10-31 cs.CL
Better Zero-Shot Reasoning with Role-Play Prompting
Nankai University(南开大学);Lenovo Research(联想研究院)
本研究提出角色扮演提示方法,在零样本设置下显著提升大型语言模型的推理能力,在AQuA和Last Letter等基准上准确率大幅提升,并优于零样本思维链技术。
2024-03-14 cs.CL
Better to Ask in English: Evaluation of Large Language Models on English, Low-resource and Cross-Lingual Settings
University of New Brunswick(新不伦瑞克大学);Daffodil International University(水仙花国际大学);University of New South Wales(新南威尔士大学);Macquarie University(麦考瑞大学)
本研究通过零样本提示和五种提示设置评估GPT-4、Llama 2和Gemini在英语与南亚低资源语言中的表现,发现GPT-4全面领先且所有模型在英语提示下效果更好,揭示了低资源语言场景下LLMs的改进需求。
2024-10-17 cs.CL
DeMPT: Decoding-enhanced Multi-phase Prompt Tuning for Making LLMs Be Better Context-aware Translators
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);Huawei Translation Services Center(华为翻译服务中心)
本文提出DeMPT方法,通过将上下文感知NMT过程划分为三个独立阶段并引入不同连续提示,使LLMs区分建模和利用句间与句内上下文,并在解码阶段启发式增强源端信息利用,显著优于拼接方法并提升语篇建模性能。
2024-09-23 cs.CL
Prompt-Tuning Can Be Much Better Than Fine-Tuning on Cross-lingual Understanding With Multilingual Language Models
Salesforce AI Research(赛富时人工智能研究院)
预训练的多语言模型在广泛的自然语言理解(NLU)任务上显示出zero-shot跨语言模型传输的显着性能增益。此前,对于zero-shot跨语言评估,预先训练的模型仅在英语数据上进行微调,并在多种目标语言上进行测试。在本文中,我们做了跨语言的评价各种自然语言理解任务(句子分类,序列标记,问答)使用提示微调,并比较它与微调。结果表明,提示微调实现了更好的跨语言迁移比微调跨数据集,只有0.1%至0.3%的调整参数。此外,我们通过分析表明,提示微调可以有更好的跨语言的下游任务的表示更好地对齐决策边界的可转移性。
2022-12-13 cs.AI cs.CL
$p1$: Better Prompt Optimization with Fewer Prompts
Cornell University(康奈尔大学);Microsoft(微软);Harvard University(哈佛大学);Databricks AI Research(Databricks AI研究)
研究揭示提示优化有效性取决于系统提示与响应方差,提出$p1$过滤方法提升优化效果,实验显示其在推理基准上优于基线方法。
2026-08-28 cs.CL cs.LG
Dictionary Insertion Prompting for Multilingual Reasoning on Multilingual Large Language Models
The Chinese University of Hong Kong(香港中文大学);Southeast University(东南大学)
本文提出了一种名为字典插入提示(DIP)的新方法,通过在提示中插入词典中的英文对应词来提升多语言推理性能,实验表明在10到200种语言上效果显著。
2026-05-20 cs.CL
Discrete and Soft Prompting for Multilingual Models
LMU Munich(慕尼黑大学)
对于英语,已经表明离散和软提示在使用预训练的语言模型(PLM)的少样本学习中表现强劲。在本文中,我们表明,离散和软提示比微调在多语言的情况下:跨语言迁移和多语言自然语言推理的语言训练。例如,对于48个英语训练样本,微调在跨语言迁移中获得了33.74%的准确率,勉强超过了大多数基线(33.33%)。相比之下,离散和软提示优于微调,达到36.43%和38.79%。我们还展示了良好的性能,提示与训练数据在多种语言以外的英语。
2021-09-08 cs.CL
Revisiting Automated Prompting: Are We Actually Doing Better?
University of Cambridge(剑桥大学);Imperial College London(帝国理工学院);University of Oxford(牛津大学)
本文重新审视自动化提示技术,发现其在多个任务和K样本设置下并不始终优于手动提示,建议将手动提示作为基线。
2023-06-22 cs.CL cs.LG
GPS: Genetic Prompt Search for Efficient Few-shot Learning
Recurrent AI
基于正则化的技术在提高预训练语言模型的Few-Shot泛化能力方面表现出了巨大的潜力。然而,它们的性能严重依赖于提示的手动设计,因此需要大量的人工努力。在本文中,我们引入遗传提示搜索(GPS),以改善少样本学习的提示,它利用遗传算法自动搜索高性能的提示。GPS是无梯度的,不需要更新模型参数,只需要一个小的验证集。在不同数据集上的实验证明了GPS的有效性,它比人工提示高出2.6个点。我们的方法也优于其他参数有效的调整方法,如提示微调。
2022-10-31 cs.CL
Persona is a Double-edged Sword: Mitigating the Negative Impact of Role-playing Prompts in Zero-shot Reasoning Tasks
Pohang University of Science and Technology(浦项科技大学);Seoul National University(首尔大学)
本文研究角色扮演提示对LLM零样本推理的负面影响,并提出Jekyll & Hyde框架,通过集成角色扮演与中性提示结果并由LLM评估选择更优解,在12个推理数据集上提升推理鲁棒性。
2024-10-19 cs.CL
Better Language Model Inversion by Compactly Representing Next-Token Distributions
University of Southern California(美国南加州大学);Cornell University(康奈尔大学)
本文提出了一种通过紧凑表示下一项令牌分布来改进语言模型反向工程的方法,显著提升了隐藏提示的恢复率,并展示了其在复杂任务中的良好表现。
2025-12-11 cs.CL
Prompt-tuning in ASR systems for efficient domain-adaptation
Amazon(亚马逊)
自动语音识别(ASR)系统已经在非常不同的领域中的许多工业应用中找到了它们的用途。由于特定领域的系统在域内评估方面比通用系统表现得更好,因此显然需要内存和计算效率高的领域自适应。特别地,调整用于重新评分ASR假设的基于参数重转换器的语言模型是具有挑战性的。在这项工作中,我们克服了这个问题,使用提示微调,一种方法,训练少量的域令牌嵌入参数,以总理基于变换器的LM到一个特定的域。每个域只需要几个额外的参数,我们就可以在使用未适应LM的基线上获得更好的困惑分数。尽管是参数高效的,但这些改进与具有数亿参数的完全微调模型的改进相当。我们复制我们的研究结果在困惑的数字字出错率在特定领域的ASR系统中的一个这样的域。
2021-10-22 cs.CL
Can Prompt Probe Pretrained Language Models? Understanding the Invisible Risks from a Causal View
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院)
基于语义的探测已被广泛用于评估预训练语言模型(PLM)的能力。不幸的是,最近的研究发现这样的评价可能是不准确的,不一致的和不可靠的。此外,缺乏对其内部工作原理的理解,加上其广泛的适用性,有可能导致在现实世界的应用中评估和应用PLM的不可预见的风险。为了发现、理解和量化风险,本文从因果角度研究了基于提示的探测,强调了可能导致有偏见的结果和结论的三个关键偏见,并建议通过因果干预进行去偏见。本文为设计无偏数据集、更好的探测框架和更可靠的预训练语言模型评估提供了有价值的见解。此外,我们的结论也表明,我们需要重新思考识别更好的预训练语言模型的标准。我们在https://github.com/c-box/causalEval上公开发布了源代码和数据。
2022-03-23 cs.CL
Factual Probing Is [MASK]: Learning vs. Learning to Recall
Princeton University(普林斯顿大学)
Petroni等人(2019)证明,可以通过将世界事实表达为完形填空风格的提示,从预先训练的语言模型中检索世界事实,并将模型的预测准确性解释为它编码的事实信息量的下限。随后的工作试图通过寻找更好的提示来收紧估计,使用不相交的事实集作为训练数据。在这项工作中,我们做了两个互补的贡献,以更好地理解这些事实探测技术。首先,我们提出了OptiPrompt,一种新的和有效的方法,直接优化连续的嵌入空间。我们发现这种简单的方法能够预测LAMA基准测试中额外的6.4%的事实。其次,我们提出了一个更重要的问题:我们真的可以把这些探测结果解释为一个下界吗?有没有可能这些搜索方法也从训练数据中学习?我们发现,有些令人惊讶的是,这些方法使用的训练数据包含一定的潜在的事实分布,和所有现有的提示方法,包括我们的,能够利用它们更好的事实预测。我们进行了一组对照实验,将“学习”与“学习回忆”分开,提供了一个更详细的图片,说明不同的提示可以揭示预训练的语言模型。
2021-12-14 cs.CL
Enhancing PLM Performance on Labour Market Tasks via Instruction-based Finetuning and Prompt-tuning with Rules
University of Amsterdam(阿姆斯特丹大学);Randstad(任仕达)
本研究通过指令微调和带规则的提示调优,在无需额外模型层、人工标注和数据增强的情况下,显著提升了预训练语言模型在劳动力市场下游任务中的性能。
2023-08-31 cs.CL
Augmenting Large Language Model Translators via Translation Memories
Northeastern University(东北大学);NiuTrans Research(小牛翻译研究院)
本文提出利用翻译记忆作为提示来增强大型语言模型的机器翻译能力,实验证明高质量翻译记忆提示可显著提升预训练LLM的翻译效果,达到与最先进NMT系统相当的水平。
2023-05-27 cs.CL
Better Prompt Compression Without Multi-Layer Perceptrons
University of California, Los Angeles(加州大学洛杉矶分校);Natera(纳特拉公司)
该研究提出仅注意力压缩器AOC,通过移除Transformer块的MLP层构建轻量提示压缩编码器,在最高480倍压缩比下性能优于基于LoRA的基线方法,证明提示压缩编码器无需匹配原模型架构。
2025-01-12 cs.CL cs.LG
A Preliminary Empirical Study on Prompt-based Unsupervised Keyphrase Extraction
Beijing Jiaotong University(北京交通大学)
本研究通过实证调查不同提示在无监督关键词抽取中的效果,发现复杂提示不一定优于简单提示,但面对长文档时复杂提示更有效。
2024-05-26 cs.CL
Instance-adaptive Zero-shot Chain-of-Thought Prompting
College of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院);Alibaba Cloud Computing(阿里巴巴云计算);Shanghai Jiao Tong University(上海交通大学);College of Software, Zhejiang University(浙江大学软件学院)
本研究针对单一任务级零样本CoT提示适配性不足的问题,从信息流视角揭示推理机制,提出实例自适应提示策略IAP,在多个模型和推理任务上实现了性能提升。
2024-10-31 cs.CL
Fine-tuned vs. Prompt-tuned Supervised Representations: Which Better Account for Brain Language Representations?
KU Leuven(鲁汶大学)
该研究对比提示调优与全量微调的监督表征在神经解码中的表现,发现提示调优更贴合大脑语言表征机制,且细粒度概念意义任务的表征解码效果更优,揭示大脑语言表征更侧重细粒度概念信息。
2023-10-03 cs.AI cs.CL
Are Longer Prompts Always Better? Prompt Selection in Large Language Models for Recommendation Systems
NEC Corporation(日本电气公司)
本文针对LLM推荐系统中缺乏提示词选择指南的问题,通过90个提示词和5个数据集的450次实验分析,提出了一种基于数据集特征、仅需少量验证数据即可提升准确率并降低探索成本的提示词选择方法与策略。
2024-12-19 cs.CL cs.IR
Inverse is Better! Fast and Accurate Prompt for Few-shot Slot Tagging
Harbin Institute of Technology(哈尔滨工业大学)
近年来,学习方法在少样本学习中取得了令人瞩目的成功。这些方法用提示句段修改输入样本,并解码标签标记以将样本映射到相应的标签。然而,这样的范例对于槽标记的任务是非常低效的。由于槽标记样本是一个句子中的多个连续的单词,提示方法必须枚举所有的n-gram标记跨度来找到所有可能的槽,这大大降低了预测速度。为了解决这个问题,我们引入了一个反向范式的提示。与经典的将标记映射到标签的提示不同,我们可以根据给定的插槽类型来预测插槽值。这种反向提示仅需要对每个时隙类型进行一轮预测,并且大大加快了预测速度。此外,我们提出了一种新的迭代预测策略,模型通过考虑不同时隙类型之间的关系来学习改进预测。我们发现,有点令人惊讶的是,所提出的方法不仅预测速度更快,而且显着提高了效果(在10次拍摄设置上提高了6.1 F1分数),并实现了新的最先进的性能。
2022-04-02 cs.AI cs.CL
GPTs at Factify 2022: Prompt Aided Fact-Verification
Indian Institute of Technology (Indian School of Mines)(印度理工学院(印度矿业学院))
最紧迫的社会问题之一是打击虚假新闻。虚假的索赔,因为他们很难揭露,造成了很大的损害。为了解决这个问题,事实验证变得至关重要,因此一直是不同研究团体感兴趣的话题。仅使用文本形式的数据,我们提出了我们的解决方案的问题,并取得了竞争力的结果与其他方法。我们提出了我们的解决方案基于两种方法- PLM(预训练语言模型)的方法和提示的方法。基于PLM的方法使用传统的监督学习,其中模型被训练为将“x”作为输入,并且输出预测“y”作为P(y| x)。然而,基于语义的学习反映了设计输入以适应模型的想法,使得原始目标可以被重新构建为(掩蔽)语言建模的问题。我们可以进一步激发PLM提供的丰富知识,通过采用额外的提示来微调PLM,从而更好地服务于下游任务。我们的实验表明,所提出的方法比只是微调PLM更好。我们在FACTIFY数据集上获得了0.6946的F1分数,在竞争排行榜上排名第7。
2022-06-29 cs.CL
Prompt engineering paradigms for medical applications: scoping review and recommendations for better practices
Geneva University Hospitals(日内瓦大学医院);University of Geneva(日内瓦大学);Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);Sorbonne Université(索邦大学);INSERM(法国国家健康与医学研究院);Université Sorbonne Paris-Nord(索邦巴黎北大学)
本文通过综述114项医学提示工程研究,揭示提示设计占主导但基线评估不足等问题,并提出规范化建议以指导未来研究。
2024-05-02 cs.CL cs.LG
Prompt to be Consistent is Better than Self-Consistent? Few-Shot and Zero-Shot Fact Verification with Pre-trained Language Models
School of Computing and Information Systems(计算与信息系统学院);Singapore Management University(新加坡管理大学)
提出 ProToCo,通过生成声明变体并施加一致性约束,结合 PEFT 提升 PLM 的少样本与零样本事实验证能力,并在三个数据集上超越强基线及大型 ICL 模型。
2023-06-05 cs.CL
Prompt-Based Approach for Czech Sentiment Analysis
Department of Computer Science and Engineering(计算机科学与工程系)
本文首次提出针对捷克语基于方面的情感分析和情感分类的基于提示的方法,利用序列到序列模型同时解决基于方面的任务,并在零样本和少样本实验中证明其优于传统微调,且目标领域预训练可显著提升零样本性能。
2025-08-12 cs.CL
Frugal Prompting for Dialog Models
IIT Kharagpur(印度理工学院卡哈拉格普尔分校);Microsoft(微软)
本研究围绕大语言模型构建对话系统的提示方法展开,通过实验优化对话历史表示与提示结构,提出紧凑的节俭提示方案,在保障性能的同时降低推理API成本,助力LLM在交互式系统中的高效应用。
2023-11-05 cs.CL
Exploring the Curious Case of Code Prompts
University of Pennsylvania(宾夕法尼亚大学)
本文在问答、情感和摘要等更广泛任务上比较三款 GPT 模型的代码提示与文本提示,发现代码提示并非普遍更优,其效果受提示风格和文本指令微调影响。
2023-04-26 cs.CL
Synthetic Prompting: Generating Chain-of-Thought Demonstrations for Large Language Models
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);Microsoft(微软)
大语言模型可以通过使用思维链提示来执行各种推理任务,思维链提示通过逐步演示来引导它们找到答案。然而,提示的质量取决于给模型的演示,并且手工创建其中的许多是昂贵的。我们引入合成提示,一种利用一些手工制作的示例来提示模型自己生成更多示例的方法,并选择有效的演示来引发更好的推理。我们的方法在向后和向前过程之间交替,以生成新的示例。后向过程生成与采样推理链匹配的问题,使得问题是可解的和清晰的。正向过程为问题产生更详细的推理链,提高了示例的质量。我们评估我们的方法的数值,符号和算法推理任务,并表明它优于现有的提示技术。
2023-02-01 cs.CL
Maieutic Prompting: Logically Consistent Reasoning with Recursive Explanations
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
尽管大型预训练语言模型(LM)具有令人印象深刻的能力,但它们难以进行一致的推理;最近,促使LM生成自我指导推理的解释已经成为一个有希望的方向。然而,这些方法从根本上受到解释正确性的限制,而解释本身往往是嘈杂和不一致的。在这项工作中,我们开发了Maiphonestritting,它推断出一个问题的正确答案,即使从嘈杂和不一致的几代LM。Maillenkirting诱导溯因解释树(例如X是真的,因为.)递归地,然后将推理框架为这些解释及其逻辑关系的可满足性问题。我们在三个具有挑战性的基准测试上测试了Maillenetrating的真/假QA,这些基准测试需要复杂的常识推理。与最先进的提示方法相比,MaiPhonesting的准确率高出20%,并且作为一种完全无监督的方法,与监督模型相比具有竞争力。我们还表明,Maillenkirting提高了推理的鲁棒性,同时提供了可解释的理由。
2022-10-24 cs.CL
Better Synthetic Data by Retrieving and Transforming Existing Datasets
Carnegie Mellon University(卡内基梅隆大学)
提出 DataTune 方法,通过转换现有公开数据集生成高质量合成数据,在 BIG-Bench 任务上微调语言模型比基线提升 49%,显著增强数据多样性与难度。
2024-04-26 cs.CL
Retcon -- a Prompt-Based Technique for Precise Control of LLMs in Conversations
Google(谷歌)
Retcon是一种基于提示的LLM对话控制技术,通过少量示例实现轮次级控制,优于零样本和传统少量样本提示方法。
2026-02-09 cs.CL
Demystifying Prompts in Language Models via Perplexity Estimation
Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);Meta AI Research(元人工智能研究部);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
该研究针对语言模型提示选择影响性能的问题,提出提示性能与模型对其语言熟悉度相关的假设,验证了低困惑度提示效果更优,并设计了基于释义扩展和困惑度筛选的提示生成方法以提升任务性能。
2024-09-12 cs.CL
PTR: Prompt Tuning with Rules for Text Classification
Tsinghua University(清华大学)
微调的预训练语言模型(PLM)在几乎所有NLP任务上都取得了令人敬畏的性能。通过使用额外的提示来微调PLM,我们可以进一步激发分布在PLM中的丰富知识,以更好地服务于下游任务。提示微调在情感分类和自然语言推理等少类分类任务上取得了可喜的成果。然而,手工设计大量的语言提示是繁琐和容易出错的。对于那些自动生成的提示,在非少数拍摄场景中验证其有效性也是昂贵且耗时的。因此,它仍然是具有挑战性的提示微调,以解决多类分类任务。为此,我们提出了提示微调与规则(PTR)的多类文本分类,并应用逻辑规则来构建提示与几个子提示。以这种方式,PTR能够将每个类的先验知识编码为提示微调。我们进行实验的关系分类,一个典型的和复杂的多类分类任务,结果表明,PTR可以显着和一贯优于现有的最先进的基线。这表明,PTR是一种很有前途的方法,利用人类的先验知识和PLM的复杂的分类任务。
2021-09-15 cs.CL
Revisiting Direct Speech-to-Text Translation with Speech LLMs: Better Scaling than CoT Prompting?
Barcelona Supercomputing Center, Spain(巴塞罗那超级计算中心,西班牙);Universitat Politècnica de Catalunya, Spain(加泰罗尼亚理工大学,西班牙);DFKI GmbH, Saarland Informatics Campus, Saarbrücken, Germany(德意志联邦计算机研究中心(DFKI) GmbH,萨尔布吕肯,德国)
本文比较了CoT和直接提示在增加S2TT数据量下的表现,发现直接提示在数据增加时表现更优,可能成为更大资源下的更有效方法。
2026-01-23 cs.CL cs.SD
LLMs Can Better Capture Human Judgments--With the Right Prompts
Complexity Science Hub, Vienna(维也纳复杂科学中心);The Ohio State University(俄亥俄州立大学);University of Cambridge(剑桥大学);University of Chicago(芝加哥大学);Microsoft Research(微软研究院)
通过简单提示策略,LLMs 能恢复人类反应的完整分布,并减少对措辞变化的敏感性,提升 AI-人类对齐。
2026-11-10 cs.AI cs.CL
Fine-Tuning and Prompt Optimization: Two Great Steps that Work Better Together
Stanford University(斯坦福大学)
针对模块化NLP流水线端到端优化难的问题,提出结合权重与提示优化的BetterTogether策略,交替迭代让LM自我教学,实验显示其效果显著优于单类优化方法。
2024-10-07 cs.AI cs.CL cs.LG
What Makes Pre-trained Language Models Better Zero-shot Learners?
SenseTime Research(商汤科技研究院);Fudan University(复旦大学);University College Dublin(都柏林大学学院)
针对零样本场景下提示模板选择依赖标注数据的问题,提出基于困惑度的Perplection方法,提前预测模板性能,在无需标注样本时提升零样本文本分类效果。
2023-05-16 cs.AI cs.CL
Prompt-Based Bias Calibration for Better Zero/Few-Shot Learning of Language Models
Purdue University(普渡大学)
针对预训练语言模型固有偏差导致提示式零/少样本学习性能不佳的问题,提出零输入提示的高效偏差校准方法,仅更新0.1%参数,在多数据集上显著提升两类场景的学习性能。
2024-10-06 cs.CL cs.LG
Differentiable Prompt Makes Pre-trained Language Models Better Few-shot Learners
Zhejiang University(浙江大学);Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院);Alibaba Group(阿里巴巴集团)
大规模预训练语言模型通过展示作为Few-Shot学习者的卓越能力,为自然语言处理做出了重大贡献。然而,它们的有效性主要取决于模型参数的缩放和及时的设计,阻碍了它们在大多数实际应用中的实现。本文提出了一种新的可插入、可扩展、高效的方法DifferentiAble pRompT(DART),它可以将小的语言模型转换为更好的Few-Shot学习器,而无需任何提示工程。这种方法背后的主要原理涉及将潜在的自然语言处理任务重新表达为预先训练的语言模型的任务,并利用反向传播对提示模板和目标标签进行差异化优化。此外,所提出的方法可以:(i)插入任何预先训练的语言模型;(ii)扩展到广泛的分类任务。标准NLP任务的综合评估表明,该方法实现了更好的Few-Shot性能。代码可在https://github.com/zjunlp/DART上找到。
2022-05-04 cs.AI cs.CL cs.CV
Towards Unified Prompt Tuning for Few-shot Text Classification
East China Normal University(华东师范大学);Alibaba Group(阿里巴巴集团);Zhejiang Lab(之江实验室);Ant Group(蚂蚁集团)
基于任务的微调通过采用特定于任务的提示,提高了预训练语言模型(PLM)在Few-Shot文本分类上的性能。然而,PLM在预训练期间不熟悉机器学习风格的表达,这限制了下游任务的少样本学习性能。如果模型能够在适应特定的NLP任务之前获得一些提示性知识,那将是可取的。我们提出了统一提示微调(UPT)框架,通过显式捕获非目标NLP数据集的提示语义,为BERT风格的模型提供更好的Few-Shot文本分类。在UPT中,提出了一种新的范式,用于跨不同NLP任务的联合提示学习,迫使PLM捕获任务不变的提示知识。我们进一步设计了一个名为知识增强的选择性掩蔽语言建模的自监督任务,以提高PLM的泛化能力,以准确适应以前看不见的任务。在跨多个任务进行多任务学习之后,PLM可以更好地针对低资源设置中的任何不同目标任务进行自动调整。对各种NLP任务的实验表明,UPT在基于神经网络的微调方面始终优于最先进的技术。
2022-05-11 cs.AI cs.CL
Better by Comparison: Retrieval-Augmented Contrastive Reasoning for Automatic Prompt Optimization
University of Science and Technology of China(中国科学技术大学)
本文提出CRPO框架,通过对比推理提升提示优化效果,利用HelpSteer2数据集中的高质量示例进行对比分析,改进提示生成的鲁棒性和可解释性。
2025-10-03 cs.AI cs.CL cs.IR
Making Pre-trained Language Models Better Continual Few-Shot Relation Extractors
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出对比提示学习框架和记忆增强策略,利用预训练语言模型的隐式能力,有效缓解持续少样本关系抽取中的灾难性遗忘和过拟合问题,并在低资源场景下显著超越现有方法。
2024-02-24 cs.AI cs.CL
Beyond Prompting: Making Pre-trained Language Models Better Zero-shot Learners by Clustering Representations
ETH Zurich(苏黎世联邦理工学院);Peking University(北京大学)
最近的研究表明,预训练语言模型(PLM)是zero-shot学习器。然而,大多数现有的zero-shot方法涉及繁重的人体工程学或复杂的自我训练管道,阻碍了它们在新情况下的应用。在这项工作中,我们表明,zero-shot文本分类可以提高简单的聚类文本中的嵌入空间的PLM。具体来说,我们适合未标记的文本与贝叶斯高斯混合模型初始化后,使用类名称的聚类位置和形状。尽管它很简单,但这种方法在主题和情感分类数据集上都取得了优异或相当的性能,并且在不平衡数据集上显著优于先前的工作。我们进一步探索我们的聚类方法的适用性,通过评估它在14个数据集更多样化的主题,文本长度和类的数量。我们的方法实现了平均20%的绝对改善基于神经网络的零样本学习。最后,我们比较了不同的PLM嵌入空间,发现即使PLM没有显式地预先训练以生成有意义的句子嵌入,文本也能很好地按主题聚类。这项工作表明,PLM嵌入可以分类文本没有特定的任务微调,从而提供了一种新的方式来分析和利用他们的知识和零样本学习能力。
2022-11-23 cs.CL cs.LG