MetricPrompt: Prompting Model as a Relevance Metric for Few-shot Text Classification
Harbin Institute of Technology(哈尔滨工业大学)
针对少样本文本分类中提示模型依赖言语化器设计的问题,提出将任务重构为文本对相关性估计的MetricPrompt方法,用提示模型作相关性度量,在多数据集少样本设置下达SOTA性能。
2023-06-15 cs.CL
Syntax-aware Hybrid prompt model for Few-shot multi-modal sentiment analysis
School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院);School of Informatics, Xiamen University(厦门大学信息学院)
针对少样本多模态情感分析中标注数据匮乏的问题,提出结合手工提示与可学习提示的语法感知混合提示模型,利用注意力机制优化提示编码器,在句子级和方面级数据集上均取得显著性能提升。
2023-07-31 cs.CL
Natural Language Inference Prompts for Zero-shot Emotion Classification in Text across Corpora
Universidad de Jaén(哈恩大学);University of Stuttgart(斯图加特大学)
在文本情感分类中,相关标签集取决于领域和应用场景,并且在模型开发时可能不知道。这与监督学习的经典范例相冲突,在经典范例中,标签需要被预定义。获得具有灵活的标签集合的模型的解决方案是使用零样本学习的范例作为自然语言推理任务,这另外增加了不需要任何标记的训练数据的优点。这提出了如何提示用于零样本学习情感分类的自然语言推理模型的问题。提示公式的选项包括情绪名称愤怒或声明“这段文字表达愤怒”。在本文中,我们分析了如何敏感的自然语言推理为基础的zero-shot学习分类器是这样的变化,以提示下考虑的语料库:如何仔细提示需要选择?我们进行实验的一组情感数据集,根据不同的来源(推文,事件,博客)与三个自然语言推理模型呈现不同的语言寄存器,并表明,确实一个特定的提示制定的选择需要适合语料库。我们表明,这一挑战可以解决多种提示的组合。这样的集合在语料库中比单个提示更鲁棒,并且表现出与特定语料库的单个最佳提示几乎相同的性能。
2022-09-15 cs.CL
SeqZero: Few-shot Compositional Semantic Parsing with Sequential Prompts and Zero-shot Models
Amazon(亚马逊);Georgia Institute of Technology(佐治亚理工学院)
最近的研究表明,结合预训练的语言模型(LM)与规范话语的Few-Shot语义解析有希望的结果。由于形式语言的组成结构,规范话语往往冗长而复杂。学习生成这样的规范话语需要大量的数据来达到高性能。仅用Few-Shot样本进行微调,LM很容易忘记预先训练的知识,过拟合虚假偏差,并遭受成分分布外泛化错误。为了解决这些问题,我们提出了一种新的Few-Shot语义解析方法-- SeqZero。SeqZero将问题分解为一系列子问题,这些子问题对应于形式语言的子子句。基于分解,LM仅需要使用用于预测子子句的提示来生成简短答案。因此,SeqZero避免一次生成长的规范话语。此外,SeqZero不仅采用了Few-Shot模型,而且还采用了zero-shot模型来减轻过拟合。特别是,SeqZero通过集成配备了我们提出的约束重新缩放,从这两个模型的优点。SeqZero实现了GeoQuery和EscherceQuery上基于BART的模型的SOTA性能,这是两个具有组合数据分割的Few-Shot数据集。
2022-05-15 cs.CL
Dual Modality-Aware Gated Prompt Tuning for Few-Shot Multimodal Sarcasm Detection
IIT Guwahati(印度果阿瓦提理工学院)
本文提出DMDP框架,通过门控模态特定深度提示、跨层提示共享和跨模态对齐,提升少样本多模态讽刺检测性能,并在多个数据集上优于基线方法。
2025-07-06 cs.CL
Empowering Sentence Encoders with Prompting and Label Retrieval for Zero-shot Text Classification
NAVER(NAVER公司);KAIST(韩国科学技术院)
本研究提出 RaLP 框架,通过检索增强标签提示,利用句子编码器在零样本文本分类中取得与更大基线相当或更强的性能。
2023-05-19 cs.CL
Evolutionary Verbalizer Search for Prompt-based Few Shot Text Classification
Guangdong University of Technology(广东工业大学)
本文提出进化式言语器搜索(EVS)算法,自动构建最优言语器以改进基于提示的少样本文本分类,在五个数据集上验证了有效性。
2023-06-18 cs.CL
Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Meituan(美团);International Innovation Center of Tsinghua University(清华大学国际创新中心)
调整预训练的语言模型(PLM)与特定任务的提示已经成为一种很有前途的文本分类方法。特别是,以前的研究表明,提示微调具有显着的优越性,在低数据的情况下,一般的微调方法与额外的分类器。提示微调的核心思想是插入文本片段,即,模板,并将分类问题转换为掩码语言建模问题,其中关键步骤是构建投影,即,在标签空间和标签词空间之间。语言化器通常是手工制作的或通过梯度下降搜索的,这可能缺乏覆盖范围,并给结果带来相当大的偏差和高方差。在这项工作中,我们专注于将外部知识纳入到动词,形成一个知识化的提示微调(KPT),以改善和稳定提示微调。具体来说,我们扩大的标签词空间的动词使用外部知识库(KBs)和细化扩展的标签词空间与PLM本身预测与扩展的标签词空间。零和Few-Shot文本分类任务的大量实验证明了知识提示微调的有效性。
2022-03-18 cs.CL
PromptDA: Label-guided Data Augmentation for Prompt-based Few-shot Learners
Illinois Institute of Technology(伊利诺伊理工学院)
大型预训练语言模型(PLM)的最新进展通过特定于任务的微调在自然语言理解(NLU)任务方面取得了令人印象深刻的进展。然而,直接微调PLM严重依赖于足够的标记训练实例,这通常是很难获得的。PLM上的基于数据库的调优已被证明对于各种下游Few-Shot任务是强大的。现有的工作研究Few-Shot自然语言理解任务的基于语义的调整主要集中在派生适当的标签词与动词或生成提示模板,以引出语义从PLM。此外,传统的数据增强策略,如同义词替换,虽然广泛采用在低资源的情况下,只带来边际改进的少样本学习。因此,一个重要的研究问题出现了:如何设计有效的数据增强方法,为基础的Few-Shot调整?为此,考虑到标签语义是必不可少的,在基于标签的调整,我们提出了一种新的标签引导的数据增强的框架BattDA,它利用丰富的标签语义信息的数据增强。在Few-Shot文本分类任务上的大量实验结果表明,该框架通过有效利用标签语义和数据增强进行自然语言理解,具有优异的性能。我们的代码可在https://github.com/canyuchen/PromptDA上获得。
2023-03-22 cs.AI cs.CL
Zero-shot Approach to Overcome Perturbation Sensitivity of Prompts
Iowa State University(爱荷华州立大学)
针对提示词扰动敏感及依赖标注数据的问题,提出零样本方法,通过位置、推理和复述技术生成并排序提示,显著提升二分类情感分类性能。
2023-07-01 cs.AI cs.CL
The Art of Prompting: Event Detection based on Type Specific Prompts
Virginia Tech(弗吉尼亚理工大学);WeChat AI(微信人工智能)
我们比较各种形式的提示,以表示事件类型,并开发一个统一的框架,将事件类型的具体提示监督,Few-Shot,和zero-shot事件检测。实验结果表明,一个定义良好的和全面的事件类型提示可以显着提高事件检测的性能,特别是当注释的数据是稀缺的(Few-Shot事件检测)或不可用(zero-shot事件检测)。通过利用事件类型的语义,我们的统一框架显示出比以前最先进的基线高出24.3%的F分数。
2022-04-14 cs.AI cs.CL
Metacognition-Enhanced Few-Shot Prompting With Positive Reinforcement
Institute of AI for Education, East China Normal University(华东师范大学教育人工智能研究院);School of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院);Shanghai Changning Mental Health Center(上海市长宁区精神卫生中心)
提出元认知增强的少样本提示方法,结合正强化反馈,引导大语言模型反思思维过程以更好学习演示示例,在真实数据集上分类准确率和宏F1优于传统方法。
2023-12-24 cs.AI cs.CL
STPrompt: Semantic-guided and Task-driven prompts for Effective Few-shot Classification
University of Chinese Academy of Sciences(中国科学院大学);Institute of Information Engineering(信息工程研究所);Beijing Institute of Technology(北京理工大学);Guangzhou University(广州大学)
提示学习的有效性已在不同的预训练语言模型中得到证明。通过构造合适的模板和选择有代表性的标签映射,提示学习可以作为一种有效的知识探测器。然而,现有的方法中,寻找合适的提示需要多次实验尝试或适当的向量初始化来制定合适的模板和选择代表性的标签映射,这在少样本学习任务中更为常见。本文以PLM工作流程为出发点,尝试从任务语义的角度构建提示,提出了STPrompt -语义引导、任务驱动的提示模型。该模型首先在提示词扩充池中构建两个新的提示词,分别由语义依赖树和任务元数据描述生成,并自动选择合适的语义提示词来激励提示词学习过程.实验结果表明,该模型在5个不同的Few-Shot文本分类任务数据集上均取得了较好的性能,证明了语义和显著性更高的提示可以作为更好的知识证明工具。
2022-10-29 cs.AI cs.CL
Generating Synthetic Datasets for Few-shot Prompt Tuning
Nanyang Technological University(南洋理工大学)
针对少样本提示微调依赖大量标注数据的问题,利用LLM合成任务特定数据,并提出DawGen方法与梯度手术策略训练软提示,显著提升了少样本分类性能。
2024-10-08 cs.AI cs.CL
Residual Prompt Tuning: Improving Prompt Tuning with Residual Reparameterization
University of Toronto(多伦多大学);Vector Institute(向量研究所);Meta AI
针对提示调优性能不佳且对超参数敏感的问题,提出残差提示调优方法,通过带残差连接的浅层网络重参数化软提示嵌入,在SuperGLUE上显著提升性能并增强稳定性。
2023-05-06 cs.AI cs.CL
Zero-Shot Continuous Prompt Transfer: Generalizing Task Semantics Across Language Models
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii));Huawei Poisson Lab(华为泊松实验室)
针对连续提示跨模型可迁移性差的问题,提出将源提示编码到相对空间并搜索目标提示的零样本迁移方法,证实任务语义可跨模型泛化,多源融合还能进一步提升效果。
2024-07-12 cs.AI cs.CL
Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigm
Institute for Clarity in Documentation(文档清晰性研究所);Inria Paris-Rocquencourt(法国国家信息与自动化研究所巴黎-罗克库尔中心);Rajiv Gandhi University(拉吉夫·甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕尔默研究实验室)
用于将大型生成语言模型映射到监督任务的流行方法可能无法充分探测模型的新颖能力。使用GPT-3作为一个案例研究,我们表明,0镜头提示可以显着优于Few-Shot提示。我们认为,在这些情况下,Few-Shot示例的功能更好地描述为定位已经学习的任务,而不是元学习。这种分析促使我们重新思考提示在控制和评估强大的语言模型中的作用。在这项工作中,我们将讨论提示编程的方法,强调通过自然语言的镜头考虑提示的有用性。我们探索利用叙事和文化锚的能力来编码细微差别的意图和技术,以鼓励在产生判决之前将问题解构为组件的技术。通过这个更全面的提示编程理论,我们还介绍了一个元提示的想法,种子模型生成自己的自然语言提示的范围内的任务。最后,我们将讨论如何将这些更一般的方法与语言模型进行交互,可以纳入现有的和未来的基准和实际应用。
2021-02-15 cs.AI cs.CL
Enhancing Few-Shot Transfer Learning with Optimized Multi-Task Prompt Tuning through Modular Prompt Composition
本文提出一种模块化提示组合的多任务提示调优方法,通过分解共享与私有提示并优化组合方式,在少样本设置下显著提升GLUE等任务的准确性和鲁棒性。
2025-09-11 cs.AI cs.CL
Efficiently Enhancing Zero-Shot Performance of Instruction Following Model via Retrieval of Soft Prompt
KAIST(韩国科学技术院)
通过提示调优训练软提示嵌入并检索最接近查询实例的嵌入,仅增加0.007%参数即提升T0在未见任务上的性能,并在BIG-bench上平均准确率提高2.39个百分点。
2023-10-16 cs.AI cs.CL
LSTPrompt: Large Language Models as Zero-Shot Time Series Forecasters by Long-Short-Term Prompting
Georgia Institute of Technology(佐治亚理工学院);Microsoft Research Asia(微软亚洲研究院)
本文提出LSTPrompt方法,将时间序列预测分解为短期和长期子任务并定制提示,引导大语言模型定期重新评估预测机制,在零样本TSF任务中取得优于现有提示方法且可比肩基础TSF模型的性能。
2024-02-25 cs.AI cs.CL
A Study on Prompt-based Few-Shot Learning Methods for Belief State Tracking in Task-oriented Dialog Systems
Indian Institute of Technology, Kharagpur(印度理工学院卡拉格普尔分校)
我们解决了面向任务的会话系统的对话信念状态跟踪(DST)问题。最近利用基于transformer的模型来解决这个问题的方法已经取得了很好的效果。然而,训练这些模型在计算资源和时间方面都是昂贵的。此外,收集高质量的注释对话数据集仍然是研究人员面临的挑战,因为训练这些模型需要大量的注释。在最近成功的预训练语言模型和基于样本的学习的推动下,我们探索了基于样本的少样本学习用于对话信念状态跟踪。我们制定的DST问题作为一个2阶段的基于语义的语言建模任务和训练语言模型的任务,并提出了一个全面的实证分析,他们的单独和联合性能。我们展示了基于递归的方法在DST的少样本学习中的潜力,并为未来的改进提供了方向。
2022-04-18 cs.AI cs.CL
Exploring Prompt-Based Methods for Zero-Shot Hypernym Prediction with Large Language Models
Lomonosov Moscow State University(莫斯科国立大学);ISP RAS Research Center for Trusted Artificial Intelligence(俄罗斯科学院信息处理系统研究所可信人工智能研究中心)
本文研究基于大语言模型的零样本上位词预测方法,通过文本概率计算优化提示选择,并利用同下位词增强提示与迭代方法,在BLESS数据集上达到MAP=0.8。
2024-01-09 cs.AI cs.CL
Prompt Engineering and Calibration for Zero-Shot Commonsense Reasoning
University of Electronic Science and Technology of China(电子科技大学)
本文在较小语言模型上研究提示工程与校准对零样本常识推理的作用,发现各策略仅对特定模型有利,联合使用效果多为负面。
2023-04-14 cs.AI cs.CL
STT: Soft Template Tuning for Few-Shot Adaptation
University at Buffalo(布法罗大学);Microsoft Research(微软研究院);Adobe Research(奥多比研究院)
提示微调是一种非常有效的工具,可以使预先训练的模型适应下游任务。然而,标准的基于任务的方法主要考虑下游任务有足够数据的情况。目前还不清楚这种优势是否可以转移到Few-Shot制度,其中只有有限的数据可用于每个下游任务。虽然一些工作已经证明了在Few-Shot设置下的快速调整的潜力,但是通过搜索离散提示或在有限数据下调整软提示的主流方法仍然非常具有挑战性。通过大量的实证研究,我们发现对于少样本学习,提示微调和完全微调之间仍然存在差距。为了弥补这一差距,我们提出了一个新的非线性调优框架,称为软模板调优(STT)。STT结合了手动和自动提示,并将下游分类任务视为掩码语言建模任务。对不同设置的综合评价表明,STT可以在不引入额外参数的情况下缩小微调方法和基于自适应的方法之间的差距。值得注意的是,它甚至可以在情感分类任务上优于耗时和资源消耗的微调方法。
2022-07-18 cs.AI cs.CL
Effectiveness of Zero-shot-CoT in Japanese Prompts
Future University Hakodate(函馆未来大学)
本文比较了零样本思维链提示在日语和英语中的效果,发现其在GPT-3.5部分类别中有效,但在GPT-4o-mini中总体导致性能下降,仅大学数学等少数日语类别仍有提升。
2025-03-09 cs.AI cs.CL
QaNER: Prompting Question Answering Models for Few-shot Named Entity Recognition
Amazon AI(亚马逊人工智能);Facebook AI(脸书人工智能);National Taiwan University(台湾大学)
最近,预训练语言模型的基于提示的学习已经成功地在Few-Shot命名实体识别(NER)中通过利用提示作为任务指导来提高标签效率。然而,以前的基于小波变换的Few-Shot NER方法存在计算复杂性高、zero-shot能力差、需要人工提示工程或缺乏提示鲁棒性等局限性。在这项工作中,我们提出了一个新的基于学习的NER方法与问答(QA),称为QaNER解决这些缺点。我们的方法包括:1)一个改进的策略,将NER问题转化为QA公式; 2)NER提示QA模型的生成; 3)在几个注释NER示例上使用QA模型进行基于正则化的调优; 4)通过提示QA模型实现zero-shot NER。与以前的方法相比,QaNER的推理速度更快,对即时质量不敏感,对超参数具有鲁棒性,并且表现出更好的低资源性能和zero-shot能力。
2022-03-04 cs.AI cs.CL cs.LG
Two-Stage Prompt Optimization for Few-Shot Relation Extraction: From Reasoning-Guided Search to Gradient-Guided Refinement
University of Arizona(亚利桑那大学)
提出两阶段框架,结合推理和梯度优化自动优化提示,在少样本关系抽取任务中取得最优性能。
2026-06-28 cs.AI cs.CL
Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning
Technische Universität Darmstadt(达姆施塔特工业大学);Hugging Face
最近的基于语义的方法通过将下游任务重新定义为语言建模问题,允许预训练的语言模型在Few-Shot微调上实现强大的性能。在这项工作中,我们证明了,尽管它在低数据制度上具有优势,但用于句子对分类任务的微调的基于语义的模型仍然存在一个共同的陷阱,即采用基于词汇重叠的推理语义学,例如,模型错误地假设句子对具有相同的含义,因为它们由相同的单词集合组成。有趣的是,我们发现这种特殊的推理启发式在基于神经网络的模型的zero-shot评估中明显较少,这表明微调如何破坏在预训练期间学习的有用知识。然后,我们表明,添加一个正则化,保留预训练权重是有效的,在减轻这种破坏性的倾向,Few-Shot微调。我们对三个数据集的评估表明,三个相应的挑战数据集用于诊断推理推理机有希望的改进。
2021-09-09 cs.AI cs.CL
PSP: Pre-trained Soft Prompts for Few-Shot Abstractive Summarization
Beijing Institute of Technology(北京理工大学)
Few-Shot摘要摘要是自然语言生成中的一个具有挑战性的课题。为了支持它,我们设计了一个新的软提示架构,加上一个快速的预训练加微调范式,这是有效的,只调整非常轻的参数。软提示包括跨编码器和解码器的连续输入嵌入,以适应生成模型的结构。重要的是,一个新的内部提示放置在文本中引入捕获文档级的信息。其目的是将注意力放在理解文档上,从而更好地提示模型生成与文档相关的内容。摘要过程的第一步是使用自监督伪数据进行快速预训练。这将教授模型基本的汇总功能。然后使用Few-Shot示例对模型进行微调。在CNN/DailyMail和XSum数据集上的实验结果表明,我们的方法,只有0.1%的参数,优于全模型调整,其中所有的模型参数进行了调整。它还大幅超越了提示微调,并以3%的参数提供了与Prefix-Tuning竞争的结果。
2022-10-04 cs.AI cs.CL
Cross-lingual Prompting: Improving Zero-shot Chain-of-Thought Reasoning across Languages
Central South University(中南大学);Harbin Institute of Technology(哈尔滨工业大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
针对零样本思维链推理局限于单一语言的问题,提出跨语言提示CLP及跨语言自洽提示CLSP,通过跨语言对齐与任务特定求解生成推理路径,在多个基准上达到最先进性能。
2023-10-23 cs.AI cs.CL
Inverse is Better! Fast and Accurate Prompt for Few-shot Slot Tagging
Harbin Institute of Technology(哈尔滨工业大学)
近年来,学习方法在少样本学习中取得了令人瞩目的成功。这些方法用提示句段修改输入样本,并解码标签标记以将样本映射到相应的标签。然而,这样的范例对于槽标记的任务是非常低效的。由于槽标记样本是一个句子中的多个连续的单词,提示方法必须枚举所有的n-gram标记跨度来找到所有可能的槽,这大大降低了预测速度。为了解决这个问题,我们引入了一个反向范式的提示。与经典的将标记映射到标签的提示不同,我们可以根据给定的插槽类型来预测插槽值。这种反向提示仅需要对每个时隙类型进行一轮预测,并且大大加快了预测速度。此外,我们提出了一种新的迭代预测策略,模型通过考虑不同时隙类型之间的关系来学习改进预测。我们发现,有点令人惊讶的是,所提出的方法不仅预测速度更快,而且显着提高了效果(在10次拍摄设置上提高了6.1 F1分数),并实现了新的最先进的性能。
2022-04-02 cs.AI cs.CL
LAMPER: LanguAge Model and Prompt EngineeRing for zero-shot time series classification
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学清华大学深圳国际研究生院);School of Automation, Wuhan University of Technology(武汉理工大学自动化学院)
本研究构建了LAMPER框架,通过128个单变量数据集系统评估预训练语言模型在零样本时间序列分类中对多样化提示的适应性,发现其特征表示能力受模型最大输入token阈值影响。
2024-03-23 cs.AI cs.CL
On Few-Shot Prompting for Controllable Question-Answer Generation in Narrative Comprehension
Faculty of Engineering of the University of Porto (FEUP)(葡萄牙波尔图大学工程学院);Artificial Intelligence and Computer Science Laboratory (LIACC)(人工智能与计算机科学实验室)
本文提出少样本提示方法,从儿童叙事文本中控制生成问答对的显式性与叙事元素,并通过与参考模型对比验证其在语义接近度、多样性和连贯性上的优势。
2024-04-03 cs.AI cs.CL
Formulating Few-shot Fine-tuning Towards Language Model Pre-training: A Pilot Study on Named Entity Recognition
University of California, San Diego(加州大学圣地亚哥分校)
微调预训练的语言模型最近已经成为为各种任务构建NLP模型的常见做法,特别是Few-Shot任务。我们认为,在Few-Shot设置下,制定更接近预训练目标的微调应该能够从预训练的语言模型中释放出更多的好处。在这项工作中,我们采取了Few-Shot命名实体识别(NER)的试点研究,现有的微调策略与预训练有很大不同。我们提出了一种新的Few-Shot微调框架NER,FFF-NER。具体来说,我们引入了三种新类型的标记,“是实体”,“哪种类型”和括号,因此我们可以根据预训练的语言模型的选择,将NER微调制定为(屏蔽的)标记预测或生成。在我们的实验中,我们应用FFF-NER在几个基准数据集上对Few-Shot NER的BERT和BART进行微调,并观察到与现有微调策略相比的显着改进,包括序列标记,原型元学习和基于BART的方法。我们进一步进行了一系列的消融研究,显示Few-Shot NER性能与微调和预训练之间的相似性密切相关。
2022-10-31 cs.AI cs.CL
Few-Shot Bot: Prompt-Based Learning for Dialogue Systems
The Hong Kong University of Science and Technology(香港科技大学)
学习仅使用几个例子进行对话是对话式AI的一大挑战。目前最好的会话模式,要么是很好的闲聊(例如,BlenderBot)或面向目标的系统(例如,MinTL)是在大型会话数据集上微调的语言模型(LM)。训练这些模型是昂贵的,无论是在计算资源和时间方面,而且很难让它们与新的会话技能保持同步。一个简单但尚未探索的解决方案是基于梯度的少样本学习(Brown et al. 2020),它不需要基于梯度的微调,而是使用LM上下文中的一些示例作为学习的唯一来源。在本文中,我们探讨了基于会话的少样本学习在对话任务。我们基准LM的不同大小的九个响应生成任务,其中包括四个知识为基础的任务,面向任务的生成任务,三个开放聊天任务,并控制文体生成,和五个会话解析任务,其中包括对话状态跟踪,图形路径生成,人物信息抽取,文档检索,和互联网查询生成。目前最大的LM(GPT-J-6B)使用基于样本的少样本学习,因此不需要训练,达到了与完全训练的最先进模型竞争的性能。此外,我们提出了一种新的基于文本的Few-Shot分类器,也不需要任何微调,以选择最合适的提示给定的对话历史。最后,通过结合基于机器人的Few-Shot学习和技能训练的能力,我们创建了一个名为Few-Shot Bot(FSB)的端到端聊天机器人,它自动选择最合适的会话技能,查询不同的知识库或互联网,并使用检索到的知识生成类似人类的响应,所有这些都只使用每个技…
2021-10-15 cs.AI cs.CL
Retrieval augmented generation based dynamic prompting for few-shot biomedical named entity recognition using large language models
Department of Biomedical Informatics, School of Medicine, Emory University(生物医学信息学系,医学院,埃默里大学);Department of Computer Science, Emory University(计算机科学系,埃默里大学);National Library of Medicine, National Institutes of Health(国家医学图书馆,国立卫生研究院);Department of Biomedical Engineering, Georgia Institute of Technology and Emory University(生物医学工程系,佐治亚理工学院和埃默里大学)
本文提出基于RAG的动态提示策略,通过根据输入文本相似度选择上下文学习示例并动态更新提示,有效提升了LLMs在少样本生物医学NER任务上的性能。
2025-07-25 cs.AI cs.CL
Evaluating Prompts Across Multiple Choice Tasks In a Zero-Shot Setting
大语言模型已经表明,通过自然语言提示可以实现令人印象深刻的zero-shot性能(Radford et al.,2019; Brown等人,2020; Sanh等人,2021年)。然而,创建一个有效的提示需要大量的尝试和错误。这就向\textit{prompts}提出了一个问题:提示的质量如何影响它的表现?为此,我们从各种任务中收集并标准化提示,以用于它们不是为之设计的任务。然后,我们在固定的多项选择数据集上评估这些提示,以定量分析提示的某些属性如何影响性能。我们发现,包括选择和使用提示不使用在预培训提供了显着的改善。所有的实验和代码都可以在https://github.com/gabeorlanski/zero-shot-cross-task上找到。
2022-03-29 cs.AI cs.CL cs.LG
Prompt-Learning for Fine-Grained Entity Typing
Tsinghua University(清华大学);Alibaba Group(阿里巴巴集团);Seoul National University(首尔国立大学)
作为调整预训练语言模型(PLMs)以适应特定任务的一种有效方法,人工学习近年来受到了研究者的广泛关注。通过使用\textit{cloze}风格的语言提示来刺激PLM的通用知识,自动学习可以在一系列NLP任务上取得有希望的结果,例如自然语言推理,情感分类和知识探测。在这项工作中,我们研究了在完全监督,Few-Shot和zero-shot场景中细粒度实体类型化的学习应用。我们首先通过构建面向实体的动词化器和模板并进行掩码语言建模来开发一个简单有效的机器学习管道。此外,为了解决zero-shot制度,我们提出了一个自我监督的策略,进行分布级优化,自动总结实体类型的信息。在完全监督、Few-Shot和zero-shot设置下,对三个细粒度实体类型化基准(最多86个类)进行了广泛的实验,结果表明,自学习方法的性能显著优于微调基线,特别是当训练数据不足时。
2021-08-24 cs.AI cs.CL
Automatic Multi-Label Prompting: Simple and Interpretable Few-Shot Classification
New York University(纽约大学);University of California, San Diego(加州大学圣地亚哥分校)
基于知识的学习(即,提示)是一种用于利用由预训练的语言模型学习的知识的新兴范例。在本文中,我们提出了自动多标签标注(AMuLaP),一个简单而有效的方法来自动选择标签映射的Few-Shot文本分类提示。我们的方法利用一对多的标签映射和一个基于代数的算法来选择标签映射给出一个提示模板。我们的实验表明,AMuLaP达到竞争力的性能,在没有人力或外部资源的情况下,在GLUE基准。
2022-04-14 cs.AI cs.CL cs.LG
Diverge to Induce Prompting: Multi-Rationale Induction for Zero-Shot Reasoning
Department of Computer Science and Information Engineering, National Taiwan University, Taiwan(国家台湾大学计算机科学与信息工程系);Institute of Information Science, Academia Sinica, Taiwan(学术院信息科学研究所);AI Research Center (AINTU), National Taiwan University, Taiwan(国家台湾大学人工智能研究中心(AINTU))
本研究提出DIP框架,通过生成多个多样化的高层理由并诱导最终计划,以提升零样本推理的准确性,克服了传统链式思考提示中推理路径不稳定的问题。
2026-02-08 cs.AI cs.CL
CrossPT: Exploring Cross-Task Transferability through Multi-Task Prompt Tuning
本文提出 CrossPT 多任务提示微调框架,将目标提示分解为共享源提示与任务私有提示并通过注意力机制组合,在 GLUE 等基准上验证了其在低资源场景下优于传统提示微调的准确率、鲁棒性和参数效率。
2025-09-11 cs.AI cs.CL
An Empirical Evaluation of Prompting Strategies for Large Language Models in Zero-Shot Clinical Natural Language Processing
University of Pittsburgh(匹兹堡大学)
本文对GPT-3.5、BARD和LLAMA2在五个零样本临床NLP任务上的提示工程进行了系统评估,提出了启发式和集成提示,并对比零样本与少样本提示,为临床NLP的提示设计提供了新见解。
2023-09-14 cs.AI cs.CL
Prompt-Tuning Can Be Much Better Than Fine-Tuning on Cross-lingual Understanding With Multilingual Language Models
Salesforce AI Research(赛富时人工智能研究院)
预训练的多语言模型在广泛的自然语言理解(NLU)任务上显示出zero-shot跨语言模型传输的显着性能增益。此前,对于zero-shot跨语言评估,预先训练的模型仅在英语数据上进行微调,并在多种目标语言上进行测试。在本文中,我们做了跨语言的评价各种自然语言理解任务(句子分类,序列标记,问答)使用提示微调,并比较它与微调。结果表明,提示微调实现了更好的跨语言迁移比微调跨数据集,只有0.1%至0.3%的调整参数。此外,我们通过分析表明,提示微调可以有更好的跨语言的下游任务的表示更好地对齐决策边界的可转移性。
2022-12-13 cs.AI cs.CL
Discrete Prompt Optimization via Constrained Generation for Zero-shot Re-ranker
Korea Advanced Institute of Science and Technology(韩国高等科学技术研究院)
针对零样本重排序器中提示优化未被探索的问题,提出无需参数更新的离散提示优化方法Co-Prompt,通过指标引导PLM生成最优提示,显著提升重排序性能与可解释性。
2023-05-23 cs.AI cs.CL cs.IR
Continued Pretraining for Better Zero- and Few-Shot Promptability
MIT(麻省理工学院);Dataminr Inc.(Dataminr公司);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of California, Irvine(加州大学欧文分校)
最近引入的语言模型提示方法可以在零和Few-Shot设置中实现高准确度,同时需要很少或不需要学习的任务特定参数。尽管如此,这些方法仍然经常落后于完整的模型微调。在这项工作中,我们调查了一个专门的持续预训练阶段是否可以提高“可重复性”,即,自然语言提示的zero-shot性能或提示微调的Few-Shot性能。我们揭示了现有的持续预训练方法缺乏可重复性的设置。我们还确定了目前的方法差距,我们填补了彻底的大规模实验。我们证明了一个简单的配方,持续的预训练,在多任务学习过程中结合了可训练的提示,导致改善的可重复性在零和Few-Shot设置相比,现有的方法,高达31%的相对。另一方面,我们发现使用MAML风格的元学习(一种直接优化Few-Shot可重复性的方法)进行持续的预训练会产生低于标准的性能。我们用两种提示微调方法验证了我们的发现,并根据我们的结果,提供了具体的建议,以优化不同用例的可扩展性。
2022-10-21 cs.CL
How Few-shot Demonstrations Affect Prompt-based Defenses Against LLM Jailbreak Attacks
Peking University(北京大学)
本文研究少样本演示对基于提示的LLM防御策略的影响,发现其对RoP和ToP产生相反效果,提出实用部署建议。
2026-02-04 cs.AI cs.CL cs.CR
Dynamic Strategy Chain: Dynamic Zero-Shot CoT for Long Mental Health Support Generation
Jiangxi University of Finance and Economics(江西财经大学)
针对零样本思维链提示在心理健康长咨询文本生成中缺乏策略、无法个性化的问题,提出动态策略链方法,通过GPT2动态生成适配策略引导大模型生成回复,性能优于传统零样本思维链方法。
2023-08-21 cs.AI cs.CL cs.HC
GPS: Genetic Prompt Search for Efficient Few-shot Learning
Recurrent AI
基于正则化的技术在提高预训练语言模型的Few-Shot泛化能力方面表现出了巨大的潜力。然而,它们的性能严重依赖于提示的手动设计,因此需要大量的人工努力。在本文中,我们引入遗传提示搜索(GPS),以改善少样本学习的提示,它利用遗传算法自动搜索高性能的提示。GPS是无梯度的,不需要更新模型参数,只需要一个小的验证集。在不同数据集上的实验证明了GPS的有效性,它比人工提示高出2.6个点。我们的方法也优于其他参数有效的调整方法,如提示微调。
2022-10-31 cs.CL
Evaluating Prompting Strategies for Chart Question Answering with Large Language Models
Georgia State University, Atlanta GA, USA(佐治亚州立大学)
本文系统评估了四种提示策略在图表问答任务中的表现,发现Few-Shot Chain-of-Thought策略在准确性和格式遵循上表现最佳,为结构化数据推理任务提供了选择提示策略的指导。
2026-03-03 cs.AI cs.CL cs.LG
SPT: Semi-Parametric Prompt Tuning for Multitask Prompted Learning
Nanyang Technological University(南洋理工大学);Amazon Web Services(亚马逊云科技)
预训练的大语言模型可以以自然的方式有效地插入人类书写的提示。多任务提示学习可以通过一次完成一组不同的任务来帮助概括,从而提高更有效的下游微调的潜力。为了在同一批中执行有效的多任务推理,已经提出了诸如提示微调的参数高效微调方法。然而,现有的提示微调方法可能缺乏通用性。我们提出了SPT,半参数提示微调方法多任务提示学习。SPT的新颖组件是一个存储体,从该存储体中基于离散提示检索存储器提示。大量的实验,如(i)微调一个完整的语言模型与SPT的31个不同的任务,从8个不同的领域和评估zero-shot泛化9 heldout数据集下的5个NLP任务类别和(ii)预训练SPT的GLUE数据集和评估微调SuperGLUE数据集,证明了SPT的有效性。
2022-12-21 cs.AI cs.CL cs.LG
Multi-Target Few-Shot Prompting with Diffusion Language Models
University of Texas at Austin(德克萨斯大学奥斯汀分校)
该研究针对少样本提示中因果自回归模型生成效果不佳的问题,提出基于扩散语言模型的多目标少样本提示方法,通过示例引导填充共享画布的多个掩码区域,结合似然比奖励提升填充准确率,在基准测试和软件重构中验证了方法的有效性。
2026-10-16 cs.CL
Prompt-and-Rerank: A Method for Zero-Shot and Few-Shot Arbitrary Textual Style Transfer with Small Language Models
Stanford University(斯坦福大学);Oxford University(牛津大学)
我们提出了一种任意文本风格转换(TST)的方法-将文本转换为任何给定风格的任务-利用通用的预训练语言模型。我们的方法,重新排序,是基于TST任务的数学公式,将其分解为三个组成部分:文本相似性,目标风格强度和流畅性。具体地说,我们的方法首先使用zero-shot或Few-Shot提示来获得目标风格中的一组候选生成,然后根据上述三个分量的组合来重新排列这些候选生成。从经验上讲,我们的方法使小型预训练语言模型能够与最先进的大规模模型相媲美,同时消耗两个数量级的计算和内存。最后,我们对模型大小和即时设计的影响进行了系统的调查(例如,提示释义和定界符对选择)对七个不同文本样式转换数据集的样式转换质量的影响。
2022-05-23 cs.CL
Exploring Prompt-based Few-shot Learning for Grounded Dialog Generation
Tsinghua University(清华大学)
对话模型可以通过各种外部信息的基础大大加强,但接地对话语料库通常是不自然的访问。在这项工作中,我们专注于接地对话生成(GDG)的少样本学习。首先,我们提出了一个简单的提示方法GDG任务,不同的结构模型输入,如接地源和会话上下文,区分通过连续或离散提示。在三个典型的GDG任务,我们实证证明和深入分析我们的方法的有效性。然后,我们进行了广泛的实验,以彻底研究我们的提示方法如何与不同的预训练模型一起工作。我们发现,提示语言模型表现优于会话模型,并进一步分析了各种因素的影响,提示的效果。总体而言,我们的工作介绍了一个基于样本的视角,少样本学习的GDG任务,并提供了有价值的发现和见解,为未来的研究。
2022-01-14 cs.CL
PromptNER: A Prompting Method for Few-shot Named Entity Recognition via k Nearest Neighbor Search
Fudan University(复旦大学)
本文提出PromptNER,一种基于k近邻搜索的小样本命名实体识别提示方法,通过包含实体类别信息的提示构建标签原型,实现仅用支持集微调,在Few-NERD和CrossNER数据集上优于现有方法。
2023-05-20 cs.CL