Exploring Prompt-based Few-shot Learning for Grounded Dialog Generation
Tsinghua University（清华大学）
对话模型可以通过各种外部信息的基础大大加强，但接地对话语料库通常是不自然的访问。在这项工作中，我们专注于接地对话生成（GDG）的少样本学习。首先，我们提出了一个简单的提示方法GDG任务，不同的结构模型输入，如接地源和会话上下文，区分通过连续或离散提示。在三个典型的GDG任务，我们实证证明和深入分析我们的方法的有效性。然后，我们进行了广泛的实验，以彻底研究我们的提示方法如何与不同的预训练模型一起工作。我们发现，提示语言模型表现优于会话模型，并进一步分析了各种因素的影响，提示的效果。总体而言，我们的工作介绍了一个基于样本的视角，少样本学习的GDG任务，并提供了有价值的发现和见解，为未来的研究。
2022-01-14 cs.CL
PromptNER: A Prompting Method for Few-shot Named Entity Recognition via k Nearest Neighbor Search
Fudan University（复旦大学）
本文提出PromptNER，一种基于k近邻搜索的小样本命名实体识别提示方法，通过包含实体类别信息的提示构建标签原型，实现仅用支持集微调，在Few-NERD和CrossNER数据集上优于现有方法。
2023-05-20 cs.CL
Generative Zero-Shot Prompt Learning for Cross-Domain Slot Filling with Inverse Prompting
Beijing University of Posts and Telecommunications（北京邮电大学）；Meituan Group（美团集团）；University of Surrey（萨里大学）
本文提出生成式零样本提示学习框架与逆向提示策略，仅微调少量提示参数即可提升跨领域槽填充的泛化性和鲁棒性，在未见槽上F1提升13.44%。
2023-07-06 cs.CL
TKDP: Threefold Knowledge-enriched Deep Prompt Tuning for Few-shot Named Entity Recognition
Wuhan University（武汉大学）；National University of Singapore（新加坡国立大学）；University of São Paulo（圣保罗大学）
针对少样本命名实体识别中现有提示调优方法知识利用不足的问题，提出融合上下文、标签、义原三重知识的深度提示调优框架TKDP，在多个基准数据集上显著优于基线，且可适配其他少样本任务。
2023-06-10 cs.CL
Instance-adaptive Zero-shot Chain-of-Thought Prompting
College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）；Alibaba Cloud Computing（阿里巴巴云计算）；Shanghai Jiao Tong University（上海交通大学）；College of Software, Zhejiang University（浙江大学软件学院）
本研究针对单一任务级零样本CoT提示适配性不足的问题，从信息流视角揭示推理机制，提出实例自适应提示策略IAP，在多个模型和推理任务上实现了性能提升。
2024-10-31 cs.CL
Model ensemble instead of prompt fusion: a sample-specific knowledge transfer method for few-shot prompt tuning
Georgia Institute of Technology（佐治亚理工学院）；Salesforce Research（赛富时研究院）
提示微调方法是在冻结的预训练模型上学习特定于任务的软提示，由于其参数效率而引起了越来越多的兴趣。对于大语言模型和足够的训练数据，提示微调可执行从快速到全模型的调优。然而，在Few-Shot设置中训练样本有限的情况下，提示微调无法匹配全模型微调的性能。在这项工作中，我们专注于提高Few-Shot性能的提示微调通过转移知识的软提示源任务。认识到集成方法在低数据状态下的良好泛化能力，我们首先实验并表明，基于不同来源提示的模型预测的简单集成，优于现有的多提示知识转移方法，例如在Few-Shot设置中的来源提示融合。基于这一观察，我们进一步研究了模型集成，并提出了特定于样本的源模型集成（SESoM）。SESoM学习在集成源模型输出时分别调整每个目标样本的每个源模型的贡献。通过这种方式，SESoM继承了模型集成方法的优越泛化能力，同时捕获每个源提示的样本特定能力。我们使用不同尺度的模型（T5-{base，large，XL}）在不同的8个NLP任务中进行实验，发现SESoM始终优于现有的相同和更大参数尺度的模型。
2023-03-01 cs.CL
True Few-Shot Learning with Prompts -- A Real-World Perspective
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心）
基于提示的方法在少样本学习方面表现出色。然而，Perez等人（2021）最近对他们的性能表示怀疑，因为他们很难在“真正的”Few-Shot设置中获得良好的结果，其中提示和超参数无法在开发集上进行调整。鉴于此，我们对PET进行了广泛的研究，PET是一种将文本说明与基于示例的微调相结合的方法。我们表明，如果配置正确，PET在真正的Few-Shot设置中表现强劲，即，没有dev set。这种强大性能的关键是PET智能处理多个提示的能力。然后，我们通过在RAFT上运行PET来对我们的发现进行实际测试，RAFT是直接从现实NLP应用程序中获取的任务的基准，这些应用程序没有标记的开发或测试集。PET在RAFT上达到了新的技术水平，在11项任务中有7项任务的执行接近非专家人类。这些结果表明，像PET这样的基于机器学习的学习者擅长真正的少样本学习，并支持我们的信念，即从指令中学习将在实现类似人类的少样本学习能力的道路上发挥重要作用。
2021-11-26 cs.CL
MetricPrompt: Prompting Model as a Relevance Metric for Few-shot Text Classification
Harbin Institute of Technology（哈尔滨工业大学）
针对少样本文本分类中提示模型依赖言语化器设计的问题，提出将任务重构为文本对相关性估计的MetricPrompt方法，用提示模型作相关性度量，在多数据集少样本设置下达SOTA性能。
2023-06-15 cs.CL
PPT: Pre-trained Prompt Tuning for Few-shot Learning
Tsinghua University（清华大学）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
预训练语言模型（PLM）的测试通过弥合预训练任务和各种下游任务之间的差距，表现出显着的性能。在这些方法中，提示微调冻结PLM，只调整软提示，为大规模PLM适应下游任务提供了一个高效的解决方案。然而，提示微调还有待充分探索。在我们的试点实验中，我们发现，及时调整执行与传统的全模型微调时，下游数据是足够的，而它的表现差得多的少样本学习设置，这可能会阻碍提示微调在实践中的应用。我们将这种低性能归因于初始化软提示的方式。因此，在这项工作中，我们建议通过在预训练阶段添加软提示来预训练提示，以获得更好的初始化。我们将此预训练提示微调框架命名为“PPT”。为了保证PPT的通用性，我们将相似的分类任务制定为统一的任务形式，并为这个统一的任务预训练软提示。大量的实验表明，在全数据和Few-Shot设置下，为下游任务调整预训练的提示可以达到甚至超过全模型微调。我们的方法是有效和高效的，在实践中使用大型PLM。
2022-03-14 cs.CL
Syntax-aware Hybrid prompt model for Few-shot multi-modal sentiment analysis
School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）；School of Informatics, Xiamen University（厦门大学信息学院）
针对少样本多模态情感分析中标注数据匮乏的问题，提出结合手工提示与可学习提示的语法感知混合提示模型，利用注意力机制优化提示编码器，在句子级和方面级数据集上均取得显著性能提升。
2023-07-31 cs.CL
Multitask Pre-training of Modular Prompt for Chinese Few-Shot Learning
Fudan University（复旦大学）
针对少样本场景下提示调优效果不佳的问题，提出在38个中文任务上预训练的可组合模块化提示MP2，通过统一为阅读理解任务、选择性激活组合提示，在两种学习范式下均显著优于现有方法，且仅需8个参数即可快速适配下游任务。
2023-05-06 cs.CL
RAPS: A Novel Few-Shot Relation Extraction Pipeline with Query-Information Guided Attention and Adaptive Prototype Fusion
University of Science and Technology of China（中国科学技术大学）
Few-Shot关系抽取（FSRE）的目标是通过仅使用少量带注释的实例进行学习来识别不可见的关系。为了更有效地推广到新的关系，本文提出了一种新的管道FSRE任务的基础上查询信息引导的注意力和自适应原型fuSion，即RAPS。具体地说，RAPS首先通过查询信息引导的注意力模块，利用支持实例和查询实例之间丰富的交互信息，以获得更准确的初始原型表示的关系原型。然后，RAPS通过自适应原型融合机制将初始原型与相关信息进行融合，得到训练和预测的集成原型。在基准数据集FewRel 1.0上的实验表明，我们的方法对最先进的方法有显着的改进。
2022-11-08 cs.CL
Logic-guided Semantic Representation Learning for Zero-Shot Relation Classification
Zhejiang University（浙江大学）；AZFT Joint Lab for Knowledge Engine（AZFT知识引擎联合实验室）
关系分类的目的是从句子中提取实体对之间的语义关系。然而，大多数现有的方法只能识别在训练过程中出现的可见关系类。为了在测试时识别看不见的关系，我们探讨了zero-shot关系分类问题。以往的研究将这一问题视为阅读理解或语篇蕴涵问题，需要借助人工描述信息来提高关系类型的可理解性。因此，丰富的语义知识的关系标签被忽略。本文提出了一种新的逻辑引导的语义表示学习模型用于zero-shot关系分类。我们的方法通过隐含和显式的语义表示与知识图谱嵌入和逻辑规则之间的连接可见和不可见的关系。大量的实验结果表明，我们的方法可以推广到看不见的关系类型，并取得了可喜的进步。
2020-10-30 cs.CL
Prompt Balance Matters: Understanding How Imbalanced Few-Shot Learning Affects Multilingual Sense Disambiguation in LLMs
Department of Computer Science, Swansea University（计算机科学系，萨斯奎汉大学）
本研究针对少样本提示中样本分布不平衡的问题，采用GLOSSGPT提示法在五种语言上测试，发现不平衡样本会引发多语言词义消歧偏差，强调需采用平衡的提示策略。
2025-10-04 cs.CL
DynRank: Improving Passage Retrieval with Dynamic Zero-Shot Prompting Based on Question Classification
University of Innsbruck（因斯布鲁克大学）
针对开放域问答系统段落检索中传统静态提示方法适应性有限的问题，提出DynRank框架，通过动态零样本问题分类生成语境相关提示，集成到现有检索框架并在多个基准数据集验证，提升检索效果。
2024-11-30 cs.CL
Few-Shot Dialogue Summarization via Skeleton-Assisted Prompt Transfer in Prompt Tuning
School of Interactive Computing, Georgia Institute of Technology（佐治亚理工学院交互计算学院）；Adobe Research（奥多比研究院）；University of California San Diego（加利福尼亚大学圣迭戈分校）
本文提出骨架辅助提示迁移方法，通过自动提取对话骨架作为额外监督，改进从对话状态跟踪到对话摘要的跨任务知识迁移，显著提升少样本对话摘要性能。
2024-02-27 cs.CL
Macro-Queries: An Exploration into Guided Chart Generation from High Level Prompts
Laboratory for Advanced Visualization and Applications（高级可视化与应用实验室）；East-West Center（东西方中心）；Water Resources Research Center（水资源研究中心）
本文提出一种基于LLM的引导式流水线，通过高层用户问题（macro-queries）将数据转化为多样化可视化，结合提示技术、受Abela图表分类法启发的微调及SQL工具，旨在让新手用户更易访问广泛的数据可视化类型。
2024-08-22 cs.CL
Example-Guided Prompting for Document-Level Text Simplification
SCE（SCE（以色列SCE学院））；ScaDS.AI, TUD Dresden（ScaDS.AI，德累斯顿工业大学）
该研究针对文档级文本简化中提示指导不足的问题，提出示例引导提示方法，经OneStopEnglish语料库实验，可提升大语言模型的简化质量，性能优于或媲美相关基准系统。
2026-08-07 cs.CL
AI Coding with Few-Shot Prompting for Thematic Analysis
Asia School of Business（亚洲商学院）；Malaysia School of Pharmacy, Monash University（莫纳什大学马来西亚药学院）
本文研究如何利用GPT 3.5-Turbo结合少样本提示和语义相似段落的高质量编码，以低成本、可扩展的方式提升主题分析编码质量。
2025-04-10 cs.CL
The Few-shot Dilemma: Over-prompting Large Language Models
Siemens AG（西门子股份公司）；Technical University of Munich（慕尼黑技术大学）
本文提出一个提示框架，使用随机采样、语义嵌入和TF-IDF三种少样本选择方法，在多个LLM上实验发现过多领域特定示例会降低性能，并通过TF-IDF与分层采样结合找到最优示例数量，在软件需求分类上超越现有方法1%。
2026-07-28 cs.CL
Navigating Prompt Complexity for Zero-Shot Classification: A Study of Large Language Models in Computational Social Science
The University of Sheffield（谢菲尔德大学）
本研究评估了ChatGPT和OpenAssistant在六项计算社会科学任务中的零样本分类性能，发现其不及微调的BERT-large模型，且不同提示策略对准确率和F1分数的影响超过10%。
2024-03-24 cs.CL
Few-shot Unified Question Answering: Tuning Models or Prompts?
Carnegie Mellon University（卡内基梅隆大学）；Salesforce Research（赛富时研究院）
本文针对低资源少样本场景下的统一问答任务，对比了模型微调与提示微调两种范式，发现提示微调在良好初始化下表现相当且更具优势，为低资源场景下的统一问答系统开发提供了见解。
2023-05-23 cs.CL
Few-Shot Stance Detection via Target-Aware Prompt Distillation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
立场检测的目的是确定文本的作者是赞成，反对，还是中立的给定目标。该任务的主要挑战来自两方面：由变化的目标导致的少样本学习和缺乏目标的上下文信息。现有的研究主要集中在通过设计基于注意力的模型或引入噪声外部知识来解决第二个问题，而第一个问题仍然没有得到充分的研究。在本文中，受预先训练的语言模型（PLM）作为知识库和Few-Shot学习器的潜在能力的启发，我们提出了引入基于语义的微调的立场检测。PLM可以为目标提供必要的上下文信息，并通过提示实现少样本学习。考虑到目标在姿态检测任务中的关键作用，我们设计了目标感知提示，并提出了一种新的言语化。我们的动词化器不是将每个标签映射到一个具体的单词，而是将每个标签映射到一个向量，并选择最能捕捉立场和目标之间相关性的标签。此外，为了减轻可能的缺陷，处理不同的目标与一个单一的手工制作的提示，我们建议提取的信息从多个提示。实验结果表明，我们提出的模型在全数据和Few-Shot场景的优越性能。
2022-06-27 cs.CL
Beyond the Next Token: Towards Prompt-Robust Zero-Shot Classification via Efficient Multi-Token Prediction
Nanyang Technological University（南洋理工大学）；Singapore-ETH Centre（新加坡-ETH中心）；Tencent（腾讯）
针对大型语言模型因依赖 next-token 概率导致的提示脆弱性问题，提出多位置 token 概率预测方法 P3，在单次运行中模拟生成路径采样，显著提升了零样本文本分类的准确率与鲁棒性，降低了对提示工程的依赖。
2025-04-04 cs.CL
Natural Language Inference Prompts for Zero-shot Emotion Classification in Text across Corpora
Universidad de Jaén（哈恩大学）；University of Stuttgart（斯图加特大学）
在文本情感分类中，相关标签集取决于领域和应用场景，并且在模型开发时可能不知道。这与监督学习的经典范例相冲突，在经典范例中，标签需要被预定义。获得具有灵活的标签集合的模型的解决方案是使用零样本学习的范例作为自然语言推理任务，这另外增加了不需要任何标记的训练数据的优点。这提出了如何提示用于零样本学习情感分类的自然语言推理模型的问题。提示公式的选项包括情绪名称愤怒或声明“这段文字表达愤怒”。在本文中，我们分析了如何敏感的自然语言推理为基础的zero-shot学习分类器是这样的变化，以提示下考虑的语料库：如何仔细提示需要选择？我们进行实验的一组情感数据集，根据不同的来源（推文，事件，博客）与三个自然语言推理模型呈现不同的语言寄存器，并表明，确实一个特定的提示制定的选择需要适合语料库。我们表明，这一挑战可以解决多种提示的组合。这样的集合在语料库中比单个提示更鲁棒，并且表现出与特定语料库的单个最佳提示几乎相同的性能。
2022-09-15 cs.CL
SeqZero: Few-shot Compositional Semantic Parsing with Sequential Prompts and Zero-shot Models
Amazon（亚马逊）；Georgia Institute of Technology（佐治亚理工学院）
最近的研究表明，结合预训练的语言模型（LM）与规范话语的Few-Shot语义解析有希望的结果。由于形式语言的组成结构，规范话语往往冗长而复杂。学习生成这样的规范话语需要大量的数据来达到高性能。仅用Few-Shot样本进行微调，LM很容易忘记预先训练的知识，过拟合虚假偏差，并遭受成分分布外泛化错误。为了解决这些问题，我们提出了一种新的Few-Shot语义解析方法-- SeqZero。SeqZero将问题分解为一系列子问题，这些子问题对应于形式语言的子子句。基于分解，LM仅需要使用用于预测子子句的提示来生成简短答案。因此，SeqZero避免一次生成长的规范话语。此外，SeqZero不仅采用了Few-Shot模型，而且还采用了zero-shot模型来减轻过拟合。特别是，SeqZero通过集成配备了我们提出的约束重新缩放，从这两个模型的优点。SeqZero实现了GeoQuery和EscherceQuery上基于BART的模型的SOTA性能，这是两个具有组合数据分割的Few-Shot数据集。
2022-05-15 cs.CL
Do LLMs Work on Charts? Designing Few-Shot Prompts for Chart Question Answering and Summarization
National University of Singapore（新加坡国立大学）；York University（约克大学）；Nanyang Technological University（南洋理工大学）；Salesforce Research（Salesforce研究院）
针对现有图表任务微调方案成本高、泛化性差的问题，提出多模态少样本提示框架PromptChart，配套任务提示指南与视觉信息注入策略，在三项图表任务基准上实现SOTA。
2023-12-17 cs.CL
Enhanced Detection of Conversational Mental Manipulation Through Advanced Prompting Techniques
Dartmouth College（达特茅斯学院）
本研究探索不同提示技术在对话式精神操控检测中的效果，在二元检测任务上实现零样本、少样本设置的思维链提示，旨在探明技术性能差异原因以构建专用检测框架，初步发现未经过示例学习的复杂模型可能不适用高级提示技术。
2024-08-14 cs.CL
Dual Modality-Aware Gated Prompt Tuning for Few-Shot Multimodal Sarcasm Detection
IIT Guwahati（印度果阿瓦提理工学院）
本文提出DMDP框架，通过门控模态特定深度提示、跨层提示共享和跨模态对齐，提升少样本多模态讽刺检测性能，并在多个数据集上优于基线方法。
2025-07-06 cs.CL
Zero-Shot Chain-of-Thought Reasoning Guided by Evolutionary Algorithms in Large Language Models
School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；National Key Laboratory of General Artificial Intelligence（通用人工智能国家重点实验室）；Key Laboratory of Machine Perceptron (MOE), Peking University（北京大学机器感知教育部重点实验室）
本文提出一种基于进化算法动态生成零样本思维链提示的方法，通过初始化、进化操作和选择重写，在十个数据集上优于现有方法，提升了大语言模型的推理能力。
2024-02-08 cs.CL
MEAL: Stable and Active Learning for Few-Shot Prompting
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Center of Machine Learning（慕尼黑机器学习中心）；Meta AI Research（元人工智能研究部门）
针对少样本提示学习中数据选择和微调运行的高方差问题，提出集成方法降低运行变异性并引入首个针对提示学习的主动学习准则，组合方法MEAL在五个任务上提升性能2.3个百分点。
2023-11-20 cs.CL
Better Few-Shot Relation Extraction with Label Prompt Dropout
Singapore University of Technology and Design（新加坡科技设计大学）
Few-Shot关系抽取的目标是基于非常有限的训练样本来学习识别两个实体之间的关系。最近的努力发现，文本标签（即，关系名称和关系描述）对于学习类表示非常有用，这将有益于少样本学习任务。然而，在学习过程中利用这些标签信息的最佳方式是一个重要的研究问题。现有的作品在很大程度上假设这样的文本标签总是存在于学习和预测过程中。在这项工作中，我们认为，这种方法可能并不总是导致最佳结果。相反，我们提出了一种新的方法，称为标签提示辍学，随机删除标签的描述在学习过程中。我们的实验表明，我们的方法是能够导致改进的类表示，产生显着更好的结果上的Few-Shot关系抽取任务。
2022-10-25 cs.CL
Instances Need More Care: Rewriting Prompts for Instances with LLMs in the Loop Yields Better Zero-Shot Performance
George Mason University（乔治梅森大学）；University of Iowa（爱荷华大学）
本文提出PRomPTed方法，通过LLMs在环为每个任务实例重写提示，在13个数据集和10种任务类型上显著提升零样本性能，并证明较弱模型重写提示可监督更强模型。
2024-06-11 cs.CL
Two-Stage Prompt Optimization for Few-Shot Relation Extraction: From Reasoning-Guided Search to Gradient-Guided Refinement
University of Arizona（亚利桑那大学）
提出两阶段框架，结合推理和梯度优化自动优化提示，在少样本关系抽取任务中取得最优性能。
2026-06-28 cs.AI cs.CL
PromptDA: Label-guided Data Augmentation for Prompt-based Few-shot Learners
Illinois Institute of Technology（伊利诺伊理工学院）
大型预训练语言模型（PLM）的最新进展通过特定于任务的微调在自然语言理解（NLU）任务方面取得了令人印象深刻的进展。然而，直接微调PLM严重依赖于足够的标记训练实例，这通常是很难获得的。PLM上的基于数据库的调优已被证明对于各种下游Few-Shot任务是强大的。现有的工作研究Few-Shot自然语言理解任务的基于语义的调整主要集中在派生适当的标签词与动词或生成提示模板，以引出语义从PLM。此外，传统的数据增强策略，如同义词替换，虽然广泛采用在低资源的情况下，只带来边际改进的少样本学习。因此，一个重要的研究问题出现了：如何设计有效的数据增强方法，为基础的Few-Shot调整？为此，考虑到标签语义是必不可少的，在基于标签的调整，我们提出了一种新的标签引导的数据增强的框架BattDA，它利用丰富的标签语义信息的数据增强。在Few-Shot文本分类任务上的大量实验结果表明，该框架通过有效利用标签语义和数据增强进行自然语言理解，具有优异的性能。我们的代码可在https://github.com/canyuchen/PromptDA上获得。
2023-03-22 cs.AI cs.CL
Zero-shot Approach to Overcome Perturbation Sensitivity of Prompts
Iowa State University（爱荷华州立大学）
针对提示词扰动敏感及依赖标注数据的问题，提出零样本方法，通过位置、推理和复述技术生成并排序提示，显著提升二分类情感分类性能。
2023-07-01 cs.AI cs.CL
PromptKWS: A Novel Prompt-Guided Open-Vocabulary Keyword Spotting Framework
该研究提出PromptKWS框架，通过PPN和MHCA提升开放词汇KWS系统性能，在噪声等复杂环境中唤醒率超基线10%、平均准确率超纯声学模型15%
2026-09-01 cs.AI cs.CL
Can Prompting LLMs Unlock Hate Speech Detection across Languages? A Zero-shot and Few-shot Study
School of Computation, Information and Technology, TU Munich（技术计算与信息学院，慕尼黑工业大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本研究评估多语言LLM在零样本与少样本提示下跨八种非英语语言的仇恨言论检测，发现其虽在真实数据上逊于微调编码器，但泛化更优，且提示设计需针对语言定制。
2025-05-24 cs.CL cs.CY cs.MM
QaNER: Prompting Question Answering Models for Few-shot Named Entity Recognition
Amazon AI（亚马逊人工智能）；Facebook AI（脸书人工智能）；National Taiwan University（台湾大学）
最近，预训练语言模型的基于提示的学习已经成功地在Few-Shot命名实体识别（NER）中通过利用提示作为任务指导来提高标签效率。然而，以前的基于小波变换的Few-Shot NER方法存在计算复杂性高、zero-shot能力差、需要人工提示工程或缺乏提示鲁棒性等局限性。在这项工作中，我们提出了一个新的基于学习的NER方法与问答（QA），称为QaNER解决这些缺点。我们的方法包括：1）一个改进的策略，将NER问题转化为QA公式; 2）NER提示QA模型的生成; 3）在几个注释NER示例上使用QA模型进行基于正则化的调优; 4）通过提示QA模型实现zero-shot NER。与以前的方法相比，QaNER的推理速度更快，对即时质量不敏感，对超参数具有鲁棒性，并且表现出更好的低资源性能和zero-shot能力。
2022-03-04 cs.AI cs.CL cs.LG
Towards Unified Prompt Tuning for Few-shot Text Classification
East China Normal University（华东师范大学）；Alibaba Group（阿里巴巴集团）；Zhejiang Lab（之江实验室）；Ant Group（蚂蚁集团）
基于任务的微调通过采用特定于任务的提示，提高了预训练语言模型（PLM）在Few-Shot文本分类上的性能。然而，PLM在预训练期间不熟悉机器学习风格的表达，这限制了下游任务的少样本学习性能。如果模型能够在适应特定的NLP任务之前获得一些提示性知识，那将是可取的。我们提出了统一提示微调（UPT）框架，通过显式捕获非目标NLP数据集的提示语义，为BERT风格的模型提供更好的Few-Shot文本分类。在UPT中，提出了一种新的范式，用于跨不同NLP任务的联合提示学习，迫使PLM捕获任务不变的提示知识。我们进一步设计了一个名为知识增强的选择性掩蔽语言建模的自监督任务，以提高PLM的泛化能力，以准确适应以前看不见的任务。在跨多个任务进行多任务学习之后，PLM可以更好地针对低资源设置中的任何不同目标任务进行自动调整。对各种NLP任务的实验表明，UPT在基于神经网络的微调方面始终优于最先进的技术。
2022-05-11 cs.AI cs.CL
The Art of Prompting: Event Detection based on Type Specific Prompts
Virginia Tech（弗吉尼亚理工大学）；WeChat AI（微信人工智能）
我们比较各种形式的提示，以表示事件类型，并开发一个统一的框架，将事件类型的具体提示监督，Few-Shot，和zero-shot事件检测。实验结果表明，一个定义良好的和全面的事件类型提示可以显着提高事件检测的性能，特别是当注释的数据是稀缺的（Few-Shot事件检测）或不可用（zero-shot事件检测）。通过利用事件类型的语义，我们的统一框架显示出比以前最先进的基线高出24.3%的F分数。
2022-04-14 cs.AI cs.CL
Cutting Down on Prompts and Parameters: Simple Few-Shot Learning with Language Models
UC Irvine（加州大学欧文分校）；University of Edinburgh（爱丁堡大学）；UC Berkeley（加州大学伯克利分校）；Facebook AI Research（脸书人工智能研究院）；University College London（伦敦大学学院）
使用训练样本和任务描述来验证语言模型（LM）已被视为最近在少样本学习中取得成功的关键。在这项工作中，我们表明，微调LM在Few-Shot设置可以大大减少提示工程的需要。事实上，可以使用空提示，即既不包含特定于任务的模板也不包含训练样本的提示，并且在广泛的任务范围内实现与手动调整的提示竞争的准确性。虽然微调LM确实为每个下游任务引入了新的参数，但我们表明，这种内存开销可以大大减少：仅微调偏差项可以实现与标准微调相当或更好的精度，同时仅更新0.1%的参数。总而言之，我们建议微调LM用于少样本学习，因为它更准确，对不同的提示更鲁棒，并且可以与使用冻结LM一样有效。
2021-07-01 cs.CL cs.LG
Metacognition-Enhanced Few-Shot Prompting With Positive Reinforcement
Institute of AI for Education, East China Normal University（华东师范大学教育人工智能研究院）；School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；Shanghai Changning Mental Health Center（上海市长宁区精神卫生中心）
提出元认知增强的少样本提示方法，结合正强化反馈，引导大语言模型反思思维过程以更好学习演示示例，在真实数据集上分类准确率和宏F1优于传统方法。
2023-12-24 cs.AI cs.CL
STPrompt: Semantic-guided and Task-driven prompts for Effective Few-shot Classification
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Information Engineering（信息工程研究所）；Beijing Institute of Technology（北京理工大学）；Guangzhou University（广州大学）
提示学习的有效性已在不同的预训练语言模型中得到证明。通过构造合适的模板和选择有代表性的标签映射，提示学习可以作为一种有效的知识探测器。然而，现有的方法中，寻找合适的提示需要多次实验尝试或适当的向量初始化来制定合适的模板和选择代表性的标签映射，这在少样本学习任务中更为常见。本文以PLM工作流程为出发点，尝试从任务语义的角度构建提示，提出了STPrompt -语义引导、任务驱动的提示模型。该模型首先在提示词扩充池中构建两个新的提示词，分别由语义依赖树和任务元数据描述生成，并自动选择合适的语义提示词来激励提示词学习过程.实验结果表明，该模型在5个不同的Few-Shot文本分类任务数据集上均取得了较好的性能，证明了语义和显著性更高的提示可以作为更好的知识证明工具。
2022-10-29 cs.AI cs.CL
Generating Synthetic Datasets for Few-shot Prompt Tuning
Nanyang Technological University（南洋理工大学）
针对少样本提示微调依赖大量标注数据的问题，利用LLM合成任务特定数据，并提出DawGen方法与梯度手术策略训练软提示，显著提升了少样本分类性能。
2024-10-08 cs.AI cs.CL
Evaluating Prompts Across Multiple Choice Tasks In a Zero-Shot Setting
大语言模型已经表明，通过自然语言提示可以实现令人印象深刻的zero-shot性能（Radford et al.，2019; Brown等人，2020; Sanh等人，2021年）。然而，创建一个有效的提示需要大量的尝试和错误。这就向\textit{prompts}提出了一个问题：提示的质量如何影响它的表现？为此，我们从各种任务中收集并标准化提示，以用于它们不是为之设计的任务。然后，我们在固定的多项选择数据集上评估这些提示，以定量分析提示的某些属性如何影响性能。我们发现，包括选择和使用提示不使用在预培训提供了显着的改善。所有的实验和代码都可以在https://github.com/gabeorlanski/zero-shot-cross-task上找到。
2022-03-29 cs.AI cs.CL cs.LG
Zero-Shot Continuous Prompt Transfer: Generalizing Task Semantics Across Language Models
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；Huawei Poisson Lab（华为泊松实验室）
针对连续提示跨模型可迁移性差的问题，提出将源提示编码到相对空间并搜索目标提示的零样本迁移方法，证实任务语义可跨模型泛化，多源融合还能进一步提升效果。
2024-07-12 cs.AI cs.CL
Schema-Guided Paradigm for Zero-Shot Dialog
Carnegie Mellon University（卡内基梅隆大学）
开发机制，灵活地适应对话系统看不见的任务和领域是对话研究的一个主要挑战。神经模型从训练数据中隐式地记忆特定于任务的对话策略。我们认为这种内隐记忆排除了zero-shot迁移学习。为此，我们利用模式引导的范例，其中任务特定的对话策略显式地提供给模型。我们介绍了模式注意力模型（SAM）和改进的STAR语料库的模式表示。SAM在zero-shot设置中获得了显著的改进，与先前的工作相比，F1分数提高了+22。这些结果验证了对话中zero-shot概化的可行性。烧蚀实验也证明SAM的功效。
2021-06-13 cs.AI cs.CL cs.LG
Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigm
Institute for Clarity in Documentation（文档清晰性研究所）；Inria Paris-Rocquencourt（法国国家信息与自动化研究所巴黎-罗克库尔中心）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕尔默研究实验室）
用于将大型生成语言模型映射到监督任务的流行方法可能无法充分探测模型的新颖能力。使用GPT-3作为一个案例研究，我们表明，0镜头提示可以显着优于Few-Shot提示。我们认为，在这些情况下，Few-Shot示例的功能更好地描述为定位已经学习的任务，而不是元学习。这种分析促使我们重新思考提示在控制和评估强大的语言模型中的作用。在这项工作中，我们将讨论提示编程的方法，强调通过自然语言的镜头考虑提示的有用性。我们探索利用叙事和文化锚的能力来编码细微差别的意图和技术，以鼓励在产生判决之前将问题解构为组件的技术。通过这个更全面的提示编程理论，我们还介绍了一个元提示的想法，种子模型生成自己的自然语言提示的范围内的任务。最后，我们将讨论如何将这些更一般的方法与语言模型进行交互，可以纳入现有的和未来的基准和实际应用。
2021-02-15 cs.AI cs.CL
Enhancing Few-Shot Transfer Learning with Optimized Multi-Task Prompt Tuning through Modular Prompt Composition
本文提出一种模块化提示组合的多任务提示调优方法，通过分解共享与私有提示并优化组合方式，在少样本设置下显著提升GLUE等任务的准确性和鲁棒性。
2025-09-11 cs.AI cs.CL
Efficiently Enhancing Zero-Shot Performance of Instruction Following Model via Retrieval of Soft Prompt
KAIST（韩国科学技术院）
通过提示调优训练软提示嵌入并检索最接近查询实例的嵌入，仅增加0.007%参数即提升T0在未见任务上的性能，并在BIG-bench上平均准确率提高2.39个百分点。
2023-10-16 cs.AI cs.CL
Automatic Multi-Label Prompting: Simple and Interpretable Few-Shot Classification
New York University（纽约大学）；University of California, San Diego（加州大学圣地亚哥分校）
基于知识的学习（即，提示）是一种用于利用由预训练的语言模型学习的知识的新兴范例。在本文中，我们提出了自动多标签标注（AMuLaP），一个简单而有效的方法来自动选择标签映射的Few-Shot文本分类提示。我们的方法利用一对多的标签映射和一个基于代数的算法来选择标签映射给出一个提示模板。我们的实验表明，AMuLaP达到竞争力的性能，在没有人力或外部资源的情况下，在GLUE基准。
2022-04-14 cs.AI cs.CL cs.LG
Prompting ELECTRA: Few-Shot Learning with Discriminative Pre-Trained Models
Princeton University（普林斯顿大学）；Meta AI
预训练的掩蔽语言模型通过将下游任务制定为文本填充来成功地执行少样本学习。然而，作为全拍摄设置中的一个强有力的替代方案，像ELECTRA这样的区分性预训练模型并不适合这种范式。在这项工作中，我们适应基于模板的少样本学习ELECTRA，并表明它优于掩蔽语言模型在广泛的任务。ELECTRA经过预先训练，可以区分令牌是生成的还是原始的。我们自然地将其扩展到基于训练的少样本学习，通过训练对目标选项的原创性进行评分，而不引入新参数。我们的方法可以很容易地适应涉及多令牌预测的任务，而无需额外的计算开销。分析表明，ELECTRA学习的分布更好地与下游任务保持一致。
2022-10-26 cs.CL cs.LG
ZeroPrompt: Scaling Prompt-Based Pretraining to 1,000 Tasks Improves Zero-Shot Generalization
Recurrent AI
我们提出了一种多任务预训练方法ZeroPrompt用于zero-shot泛化，重点是任务缩放和zero-shot提示。虽然以前的模型只在几十个任务上进行训练，但我们首次使用真实世界的数据扩展到1,000个任务。这导致了一个重要的发现，即任务缩放可以是模型缩放的有效替代方案;即，模型大小对具有极大数量的任务的性能几乎没有影响。我们的研究结果表明，在FLOPs中，任务缩放可以将训练效率提高30倍。此外，我们提出了一个提示方法，结合了遗传算法自动搜索最好的提示看不见的任务，以及其他一些改进。从经验上讲，ZeroPrompt大大提高了各种学术和生产数据集上零样本学习的效率和性能。
2022-10-31 cs.CL cs.LG
