Generative Prompt Tuning for Relation Classification
Beijing University of Posts and Telecommunications(北京邮电大学);Singapore University of Technology and Design(新加坡科技设计大学)
使用提示来探索包含在用于下游任务的预训练语言模型中的知识现在已经成为一个活跃的话题。目前的提示微调方法大多通过添加完形填空式短语并将所有标签映射为固定长度的动词化来将下游任务转换为掩蔽语言建模问题,这对于具有简单标签空间的任务是有效的。然而,当应用于呈现复杂标签空间的关系分类时,香草提示微调方法可能会由于严格的提示限制而难以处理具有任意长度的标签动词化。受预训练生成模型的文本填充任务的启发,可以灵活地预测缺失的跨度,我们提出了一种新的生成提示微调方法,将关系分类重新定义为填充问题,这使我们的方法摆脱了当前基于提示的方法的局限性,从而充分利用了实体和关系类型的丰富语义。此外,我们设计了实体引导的解码和判别关系评分,以在推理过程中有效和高效地生成和对齐关系。在完全监督设置和低资源设置下的广泛实验证明了我们的方法的有效性。
2022-10-22 cs.CL
Submodular Evaluation Subset Selection in Automatic Prompt Optimization
Santa Clara University(圣克拉拉大学);Walmart Global Tech(沃尔玛全球技术)
本文提出SESS方法,通过子模优化选择评估子集,提升自动提示优化效果。
2026-01-07 cs.AI cs.CL
When Less Is Enough: Context Selection and Prompting Strategies for Bengali News Headline Generation
Charles Sturt University(查尔斯斯特大学);Chittagong University of Engineering and Technology(吉大港工程技术大学);Bangladesh Army University of Science and Technology(孟加拉国陆军理工大学)
该研究以孟加拉语新闻标题生成任务为对象,对比Gemini、Llama、GPT-4o,发现选定导语比全文输入更优,跨语言提示结合上下文丰富效果好,少样本提示对Gemini增益显著,为低资源多语言LLM应用提供启示。
2026-08-18 cs.CL
Prompting in the Dark: Assessing Human Performance in Prompt Engineering for Data Labeling When Gold Labels Are Absent
The Pennsylvania State University(宾夕法尼亚州立大学);GumGum Inc.(GumGum公司)
该研究针对无金标签的大语言模型数据标注场景,开发了PromptingSheet插件开展用户实验,发现黑暗提示模式准确率提升效果差,自动优化工具也受限,为相关工具设计提供参考。
2025-02-16 cs.AI cs.CL cs.HC
Automatic Multi-Label Prompting: Simple and Interpretable Few-Shot Classification
New York University(纽约大学);University of California, San Diego(加州大学圣地亚哥分校)
基于知识的学习(即,提示)是一种用于利用由预训练的语言模型学习的知识的新兴范例。在本文中,我们提出了自动多标签标注(AMuLaP),一个简单而有效的方法来自动选择标签映射的Few-Shot文本分类提示。我们的方法利用一对多的标签映射和一个基于代数的算法来选择标签映射给出一个提示模板。我们的实验表明,AMuLaP达到竞争力的性能,在没有人力或外部资源的情况下,在GLUE基准。
2022-04-14 cs.AI cs.CL cs.LG
Automatic Prompt Augmentation and Selection with Chain-of-Thought from Labeled Data
The Hong Kong University of Science and Technology(香港科技大学)
本文提出Automate-CoT策略,通过从少量标注数据自动增广并剪枝推理链、再用方差缩减策略梯度选择最优组合,实现无需人工标注推理链的思维链提示,并在多类推理任务上取得提升。
2024-02-27 cs.CL
LLM Prompt Duel Optimizer: Efficient Label-Free Prompt Optimization
Department of Statistics, The Pennsylvania State University(宾夕法尼亚州立大学统计系);Meta
本文提出基于LLM法官的成对偏好反馈的无标签提示优化框架PDO,通过双汤普逊采样和顶尖表现引导突变,在有限预算下高效选择强提示,实验表明其在BIG-bench Hard和MS MARCO任务中优于无标签基线。
2026-04-09 cs.CL stat.ML
MCS-SQL: Leveraging Multiple Prompts and Multiple-Choice Selection For Text-to-SQL Generation
Dunamu(다나무(Dunamu))
针对大语言模型在复杂文本到SQL任务上性能不足的问题,提出MCS-SQL方法,通过多提示优化模式、生成候选SQL并经LLM多选筛选,在BIRD和Spider基准上准确率超越现有ICL方法且在BIRD上达新SOTA。
2024-05-13 cs.CL
Eliciting Knowledge from Pretrained Language Models for Prototypical Prompt Verbalizer
Peking University(北京大学)
最近的进展,快速调整铸造Few-Shot分类任务作为一个掩蔽的语言建模问题。通过将输入包装到模板中并使用在标签空间和标签词空间之间构造映射的动词化器,自动调优可以在zero-shot和Few-Shot场景中获得优异的结果。然而,典型的自动调优需要手动设计的语言化器,这需要领域专业知识和人工努力。标签空间不足可能会给结果带来相当大的偏差。在本文中,我们专注于从预训练的语言模型中获取知识,并提出了一个原型提示动词化器的自动调优。标签由特征空间中的原型嵌入表示,而不是由离散的单词表示。在输入的掩蔽位置处的嵌入和原型嵌入之间的距离被用作分类标准。对于zero-shot设置,通过手动设计的模板从预训练的语言模型中引出知识以形成初始原型嵌入。对于Few-Shot设置,调整模型以学习有意义和可解释的原型嵌入。我们的方法通过对比学习优化模型。在几个低资源环境下的多类文本分类数据集上的实验结果表明,与其他动词化器构造方法相比,该方法是有效的。我们的实现可以在https://github.com/Ydongd/prototypical-prompt-verbalizer上获得。
2022-01-14 cs.CL
PrefPO: Pairwise Preference Prompt Optimization
Distyl AI
PrefPO通过强化学习反馈机制优化提示,无需标注数据即可提升模型性能,在多个基准测试中表现优异,同时改善提示质量并减少提示黑客问题。
2026-03-24 cs.CL
Humans Hallucinate Too: Language Models Identify and Correct Subjective Annotation Errors With Label-in-a-Haystack Prompts
University of Southern California(南加州大学)
针对自然语言处理中主观任务的人类标注差异问题,提出“草垛中的标签”纠正框架LiaHR,利用大型语言模型识别并纠正主观标注错误,提升标注信噪比,经实验验证有效。
2025-09-12 cs.CL
An Information-theoretic Approach to Prompt Engineering Without Ground Truth Labels
Brigham Young University(杨百翰大学)
预先训练的语言模型从它们所训练的大量语料库中获得大量的语言和事实知识,并且提示工程试图将这些模型与特定任务相匹配。不幸的是,现有的提示工程方法需要大量的标记数据,访问模型参数,或两者兼而有之。本文介绍了一种新的选择提示模板\textit{without labeled examples}和\textit{without direct access to the model}的方法。具体来说,在一组候选模板,我们选择的模板,最大化的互信息之间的输入和相应的模型输出。在8个数据集,代表7个不同的NLP任务,我们表明,当一个模板具有高互信息,它也有高精度的任务。在最大的模型上,使用我们的方法选择提示可以获得从平均提示准确度到最佳提示准确度的90%,并且不需要真值标签。
2022-03-21 cs.CL cs.LG
Are Longer Prompts Always Better? Prompt Selection in Large Language Models for Recommendation Systems
NEC Corporation(日本电气公司)
本文针对LLM推荐系统中缺乏提示词选择指南的问题,通过90个提示词和5个数据集的450次实验分析,提出了一种基于数据集特征、仅需少量验证数据即可提升准确率并降低探索成本的提示词选择方法与策略。
2024-12-19 cs.CL cs.IR
Flatness-Aware Prompt Selection Improves Accuracy and Sample Efficiency
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出 prompt flatness 指标量化语言提示预期效用,结合现有指标提升了性能与样本效率,在 6 个分类基准上平均准确率提升 5%,Pearson correlation 提升 10%。
2023-10-23 cs.CL cs.LG
Label-Guided Prompt for Multi-label Few-shot Aspect Category Detection
Shenyang Aerospace University(沈阳航空航天大学);Beijing Normal University(北京师范大学)
针对多标签少样本方面类别检测中关键词方法易受类别无关词干扰的问题,提出标签引导提示方法,结合上下文语义和大型语言模型生成的类别描述构建判别性原型,在两个公开数据集上Macro-F1提升3.86%-4.75%。
2024-07-30 cs.AI cs.CL
GLaPE: Gold Label-agnostic Prompt Evaluation and Optimization for Large Language Model
College of Zhiyuan, Shanghai Jiao Tong University(上海交通大学致远学院);School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University(上海交通大学电子信息与电气工程学院);Department of Computer Science and Engineering, Shanghai Jiao Tong University(上海交通大学计算机科学与工程系);Shanghai Key Laboratory of Trusted Data Circulation and Governance in Web3(上海市Web3可信数据流通与治理重点实验室)
针对现有LLM提示词优化依赖人工金标评估的局限,提出无金标提示词评估方法GLaPE,以自一致性为初始评分并优化相同答案提示词的分数,在无金标时仍能提供可靠评估,且在六个推理任务中优化效果与基于准确率的方法相当。
2024-12-02 cs.CL cs.LG
Bandit-Based Prompt Design Strategy Selection Improves Prompt Optimizers
Yokohama National University(横滨国立大学)
本文提出OPTS方法,通过显式选择提示设计策略提升EvoPrompt性能,采用Thompson采样机制在BIG-Bench Hard上验证效果,实现最优结果。
2025-07-11 cs.AI cs.CL cs.HC
Prompt Selection Matters: Enhancing Text Annotations for Social Sciences with Large Language Models
Université Paris 1 Panthéon-Sorbonne(巴黎第一大学先贤祠-索邦大学);Université Paris-Saclay(巴黎萨克雷大学);Institut Jean Nicod(让·尼科德研究所);Ecole Normale Supérieure(巴黎高等师范学院);PSL-EHESS-CNRS(巴黎文理研究大学-法国高等社会科学研究院-法国国家科学研究中心)
本文研究提示选择对大型语言模型社会科学文本标注准确性的影响,发现不同提示性能差异显著,并提出自动提示优化方法以系统构建高质量提示,同时提供浏览器实现工具。
2025-03-10 cs.AI cs.CL cs.CY
Automatic Prompt Generation via Adaptive Selection of Prompting Techniques
Spike Studio Inc.(Spike Studio公司)
本研究提出一种自适应选择提示技术的自动提示生成方法,通过构建关联任务簇与对应技术的知识库动态生成提示,在BBEH的23项任务上性能优于现有方法,为非专业用户高效使用大语言模型提供支持。
2025-10-20 cs.AI cs.CL
Integrating Expert Labels into LLM-based Emission Goal Detection: Example Selection vs Automatic Prompt Design
RheinMain University of Applied Sciences(莱茵河畔应用科学大学);Sociovestix Labs Ltd.(Sociovestix实验室)
本文研究企业减排目标检测中融入专家标签的方式,在769段真实商业报告数据集上比较动态少样本示例选择与LLM自动提示优化,发现自动提示优化效果更优且能捕捉任务细微之处。
2025-07-01 cs.CL cs.LG
Automatic Prompt Selection for Large Language Models
Cinnamon AI(肉桂人工智能公司);Hung Yen University of Technology and Education(兴安理工教育大学);Deakin University(迪肯大学)
本文提出一种自动提示选择方法,通过聚类生成候选提示、训练提示评估器并在测试时为输入选择最佳提示,在多个零样本问答数据集上取得有竞争力的性能。
2024-04-03 cs.CL cs.LG
Enhancing Zero-shot Chain of Thought Prompting via Uncertainty-Guided Strategy Selection
Microsoft Corporation(微软公司)
针对零样本 CoT 提示中人工示例成本高、触发短语不可靠的问题,提出 ZEUS,利用不确定性估计选择有效示例,并在四个推理基准上持续优于现有策略。
2024-12-06 cs.AI cs.CL
Equitable System-Prompt Selection via Constrained Mixed-Strategy GroupDRO
针对LLM不同表述问题的答案质量不均问题,提出约束混合策略GroupDRO框架选择系统提示,在双语医疗和消费金融基准上使LLM的最差损失平均降低13.7%。
2026-08-06 cs.AI cs.CE cs.CL
Auto prompting without training labels: An LLM cascade for product quality assessment in e-commerce catalogs
Amazon Catalog AI(亚马逊目录人工智能)
本研究提出一种免训练的LLM自动提示级联系统,无需训练标签即可优化电商商品质量评估提示,相比思维链提示提升8-10%的精确率和召回率,大幅降低专家工作量,且能跨语言、跨任务泛化。
2025-10-27 cs.AI cs.CL
Cold-Start Data Selection for Few-shot Language Model Fine-tuning: A Prompt-Based Uncertainty Propagation Approach
Georgia Institute of Technology(佐治亚理工学院);Emory University(埃默里大学);University of Washington(华盛顿大学);Google(谷歌)
提出PATRON方法,利用基于提示的不确定性传播和分区后重写策略,在冷启动下选择少样本微调数据,显著提升分类性能。
2023-05-08 cs.CL cs.LG
Learning to Grade Efficiently: A Bandit-Driven Prompt-Selection Framework for Low-Cost LLM Essay Scoring
Carleton University(卡尔顿大学)
本研究针对自动作文评分的固定提示选择策略成本高的问题,提出多臂老虎机驱动的自适应提示选择框架,在保证准确率的同时减少78.4%的LLM调用,生成成本-可靠性学习曲线,为教育技术平台提供平衡成本与有效性的方案。
2026-08-26 cs.AI cs.CL cs.LG
Coresets Before Score Sets: Evaluation-Unsupervised Prompt Subset Selection for LLM Benchmarks
University of Washington(华盛顿大学);University of California, Berkeley(加利福尼亚大学伯克利分校);Oracle(甲骨文公司);Together AI(Together AI公司);LMSYS;NVIDIA(英伟达公司)
研究大语言模型基准测试的核心集选择,采用评估无监督方法,利用次模子集选择,开发多种次模函数。在新大规模套件上实验发现设施选址函数效果好,该目标不限于特定模式,在相关排行榜上表现优且计算成本低,证明次模性对基准压缩有用。
2026-07-14 cs.AI cs.CL
Evaluation of the Automated Labeling Method for Taxonomic Nomenclature Through Prompt-Optimized Large Language Model
Kansai University(关西大学);The University of Tokyo(东京大学);Fukushima University(福岛大学);Nagoya University(名古屋大学)
本文通过提示优化的大型语言模型评估了自动标注方法在分类学命名中的可行性,发现其在形态、地理和人名类别中表现良好,但在生态与行为及文化背景类别中存在挑战。
2026-01-11 cs.AI cs.CL
LabelPrompt: Effective Prompt-based Learning for Relation Classification
Jiangnan University(江南大学);University of Surrey(萨里大学)
本文提出LabelPrompt提示学习框架,通过关系标签词元、实体感知对比学习和注意力查询策略提升关系分类性能,在少样本基准实验中表现优越。
2023-08-13 cs.AI cs.CL cs.IR
Beyond Similarity: Coverage-Aware Prompt Selection for Time Series Forecasting with LLMs
Yonsei University(延世大学)
针对基于相似性提示选择导致时间序列预测偏置的问题,提出覆盖感知框架CASP-LLM,通过使用跟踪与饱和门控正则化器(无额外参数)在多数基准上匹配或超越现有方法。
2026-09-22 cs.CL cs.LG
Prompt Tuned Embedding Classification for Multi-Label Industry Sector Allocation
Motherbrain(莫特布雷恩);EQT Group(EQT集团);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Amsterdam(阿姆斯特丹大学)
本研究针对多标签行业分类任务,提出提示调优嵌入分类(PTEC)方法,解决文本到文本分类的三类局限,提升性能且降低推理成本,验证了模型在不同知名度公司上的表现一致性,并开源代码与数据集。
2024-04-12 cs.AI cs.CL
Language Models in the Loop: Incorporating Prompting into Weak Supervision
Snorkel AI;Stanford University(斯坦福大学);Brown University(布朗大学)
我们提出了一种新的策略,当标记的训练数据有限时,将大型预训练语言模型应用于新任务。而不是在一个典型的zero-shot或Few-Shot的时尚应用模型,我们把模型作为标记功能在一个弱监督框架的基础。为了创建一个分类器,我们首先提示模型回答关于一个例子的多个不同的查询,并定义如何将可能的响应映射到标签和弃权的投票。然后,我们去噪这些嘈杂的标签源使用的Snorkel系统和训练的最终分类与所得的训练数据。我们的实验评估表明,在弱监督框架内提示大语言模型可以显著提高准确性。在WRENCH弱监督基准测试中,这种方法可以显著提高超过zero-shot的性能,平均减少19.5%的错误。我们还发现,这种方法产生的分类器具有可比或更高的准确性,从手工设计的规则训练。
2022-05-04 cs.CL cs.LG
PromptRefine: Enhancing Few-Shot Performance on Low-Resource Indic Languages with Example Selection from Related Example Banks
University of Maryland, College Park(马里兰大学 College Park 分校);Adobe Research(Adobe 研究)
本文提出PromptRefine,一种基于交替最小化的示例选择方法,利用相关高资源印度语系语言的辅助示例库和跨语言检索技术,显著提升了低资源印度语系语言在多项文本生成任务上的少样本ICL性能。
2025-05-31 cs.AI cs.CL cs.IR
Learn to Select: Exploring Label Distribution Divergence for In-Context Demonstration Selection in Text Classification
针对文本分类上下文学习中现有示例选择方法忽略标签分布对齐的问题,提出两阶段L2D选择方法,结合语义相似度与标签分布散度选示例,在7个基准上性能优于现有策略。
2025-11-10 cs.AI cs.CL cs.IR
Complexity-Based Prompting for Multi-Step Reasoning
University of Edinburgh(爱丁堡大学);Allen Institute for AI(艾伦人工智能研究所)
我们研究了促使大规模语言模型执行多步推理的任务。现有的工作表明,当提示与思维链(CoT),描述中间推理步骤走向最终答案的短句序列,大语言模型可以生成新的推理链和预测新的输入的答案。一个核心问题是,哪些推理示例是最有效的提示。在这项工作中,我们提出了基于复杂性的提示,一个简单而有效的多步推理的例子选择方案。我们表明,提示具有较高的推理复杂性,即,具有更多推理步骤的链,在强基线上的多步推理任务上实现了更好的性能。我们进一步扩展了我们的基于复杂性的标准,从提示(选择输入)到解码(选择输出),我们从模型中抽取多个推理链,然后从复杂推理链(而不是简单链)中选择大多数生成的答案。当用于提示GPT-3和Codex时,我们的方法大大提高了多步推理的准确性,并在三个数学基准(GSM 8 K,MultiArith和MathQA)和两个BigBenchHard任务(Date Understanding和Penguins)上实现了新的最先进(SOTA)性能,平均精度提高了+5.3和+18。与现有的例子选择方案,如手动调整或检索为基础的选择,选择基于推理的复杂性是直观的,易于实现,和注释效率。进一步的结果证明了格式扰动和分布偏移下复杂提示的性能增益的鲁棒性。
2023-01-30 cs.AI cs.CL cs.LG
Evaluating LLM Prompts for Data Augmentation in Multi-label Classification of Ecological Texts
University of Tyumen(秋明大学)
本研究评估了基于LLM提示词的数据增强方法在俄罗斯社交媒体绿色实践多标签分类任务中的效果,发现重写、生成或结合数据的策略均优于仅用原始数据微调的模型,其中改写并标注类别的提示词效果最佳。
2024-11-22 cs.CL cs.CY cs.SI
Selection-p: Self-Supervised Task-Agnostic Prompt Compression for Faithfulness and Transferability
The Hong Kong University of Science and Technology(香港科技大学);Tencent AILab(腾讯AI实验室)
本文提出Selection-p,一种基于自监督持续预训练的任务无关提示压缩方法,通过少量参数对token进行保留或丢弃的概率预测,在实现高达10倍压缩率的同时保持性能,并具备跨模型的强可迁移性。
2024-10-21 cs.AI cs.CL cs.LG
APEX: Automated Prompt Engineering eXpert with Dynamic Data Selection
Google(谷歌);UCLA(加州大学洛杉矶分校)
提出APEX框架,通过动态数据分层(易、难、混合)优先选择高杠杆子集,在固定预算下提升提示优化效率,在三个基准上平均提升11.2%和6.8%。
2026-06-11 cs.AI cs.CL cs.LG
L-TUNING: Synchronized Label Tuning for Prompt and Prefix in LLMs
Stevens Institute of Technology(史蒂文斯理工学院);Hajee Mohammad Danesh Science & Technology University(哈吉·穆罕默德·达内什科学技术大学);Noakhali Science & Technology University(诺阿卡利科学技术大学);Amazon(亚马逊)
针对大语言模型传统微调方法训练慢、标签token通用的问题,提出L-Tuning方法,通过微调经预训练LLM处理的标签token利用其语义知识,显著提升了NLI分类任务的训练效率与准确率。
2024-04-13 cs.AI cs.CL cs.LG
Prompt Selection and Augmentation for Few Examples Code Generation in Large Language Model and its Application in Robotics Control
Hong Kong Industrial Artificial Intelligence and Robotics Centre(香港工业人工智能及机器人中心)
提出一种结合多阶段增强与示例选择的提示算法,通过增加多样性和减少冗余提升LLM在数学推理与机械臂操作中的表现,在多个基准和模拟环境中显著提高成功率并大幅减少示例用量及推理时间。
2024-03-11 cs.AI cs.CL cs.LG
Empowering Sentence Encoders with Prompting and Label Retrieval for Zero-shot Text Classification
NAVER(NAVER公司);KAIST(韩国科学技术院)
本研究提出 RaLP 框架,通过检索增强标签提示,利用句子编码器在零样本文本分类中取得与更大基线相当或更强的性能。
2023-05-19 cs.CL
Better Few-Shot Relation Extraction with Label Prompt Dropout
Singapore University of Technology and Design(新加坡科技设计大学)
Few-Shot关系抽取的目标是基于非常有限的训练样本来学习识别两个实体之间的关系。最近的努力发现,文本标签(即,关系名称和关系描述)对于学习类表示非常有用,这将有益于少样本学习任务。然而,在学习过程中利用这些标签信息的最佳方式是一个重要的研究问题。现有的作品在很大程度上假设这样的文本标签总是存在于学习和预测过程中。在这项工作中,我们认为,这种方法可能并不总是导致最佳结果。相反,我们提出了一种新的方法,称为标签提示辍学,随机删除标签的描述在学习过程中。我们的实验表明,我们的方法是能够导致改进的类表示,产生显着更好的结果上的Few-Shot关系抽取任务。
2022-10-25 cs.CL
Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Meituan(美团);International Innovation Center of Tsinghua University(清华大学国际创新中心)
调整预训练的语言模型(PLM)与特定任务的提示已经成为一种很有前途的文本分类方法。特别是,以前的研究表明,提示微调具有显着的优越性,在低数据的情况下,一般的微调方法与额外的分类器。提示微调的核心思想是插入文本片段,即,模板,并将分类问题转换为掩码语言建模问题,其中关键步骤是构建投影,即,在标签空间和标签词空间之间。语言化器通常是手工制作的或通过梯度下降搜索的,这可能缺乏覆盖范围,并给结果带来相当大的偏差和高方差。在这项工作中,我们专注于将外部知识纳入到动词,形成一个知识化的提示微调(KPT),以改善和稳定提示微调。具体来说,我们扩大的标签词空间的动词使用外部知识库(KBs)和细化扩展的标签词空间与PLM本身预测与扩展的标签词空间。零和Few-Shot文本分类任务的大量实验证明了知识提示微调的有效性。
2022-03-18 cs.CL
HPT: Hierarchy-aware Prompt Tuning for Hierarchical Text Classification
Peking University(北京大学);Tencent Cloud Xiaowei(腾讯云小微)
层次文本分类(HTC)是一个具有挑战性的子任务,多标签分类,由于其复杂的标签层次。最近,预训练的语言模型(PLM)已被广泛采用的HTC通过微调范例。然而,在这种模式下,具有复杂标签层次的分类任务与PLM的屏蔽语言模型(MLM)预训练任务之间存在巨大差距,PLM的潜力无法充分发挥。为了弥补这一差距,在本文中,我们提出了HPT,层次意识的提示微调方法来处理HTC从多标签传销的角度来看。具体而言,我们构建了一个动态的虚拟模板和标签的话,采取软提示的形式融合的标签层次知识,并引入一个零界的多标签交叉熵损失,以协调HTC和传销的目标。大量的实验表明,HPT在3个流行的HTC数据集上实现了最先进的性能,并且擅长处理不平衡和低资源情况。我们的代码可在https://github.com/wzh9969/HPT上获得。
2022-10-10 cs.CL
Gen-Z: Generative Zero-Shot Text Classification with Contextualized Label Descriptions
Allen Institute for AI(艾伦人工智能研究所);Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学)
针对语言模型提示易受错误校准和提示变化影响的问题,提出生成式框架Gen-Z,通过测量输入文本在标签描述条件下的似然实现零样本分类,整合上下文信息提升性能并增强鲁棒性。
2023-11-13 cs.CL
Prompt-Based Metric Learning for Few-Shot NER
Tsinghua University(清华大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Qizhi Institute(上海期智研究院)
Few-Shot命名实体识别(NER)目标,概括为具有很少标记示例的不可见标签和/或域。现有的度量学习方法计算查询和支持集之间的标记级相似性,但不能完全将标签语义纳入建模。为了解决这个问题,我们提出了一个简单的方法,大大提高度量学习NER:1)多提示模式的设计,以增强标签语义; 2)我们提出了一种新的架构,有效地结合多个基于提示的表示。从经验上讲,我们的方法在18个考虑的设置中的16个下实现了新的最先进的(SOTA)结果,在微F1的相对增益方面,平均值为8.84%,最大值为34.51%,大大优于以前的SOTA。我们的代码可在https://github.com/AChen-qaq/ProML上获得。
2022-11-08 cs.CL
Pneg: Prompt-based Negative Response Generation for Dialogue Response Selection Task
Scatter Lab(斯卡特实验室);KAIST(韩国科学技术院)
在基于检索的对话系统中,响应选择模型充当排序器以在多个候选者中选择最合适的响应。然而,这样的选择模型往往依赖于上下文响应内容相似性,这使得模型容易受到语义相似但与对话上下文无关的对抗性响应的影响。最近的研究表明,利用这些对抗性反应作为负训练样本对于提高选择模型的辨别力是有用的。然而,收集人类书写的对抗性响应是昂贵的,并且现有的合成方法通常具有有限的可扩展性。为了克服这些局限性,本文提出了一种简单而有效的方法,利用大规模的语言模型生成对抗性的负面反应。对话选择任务的实验结果表明,我们的方法优于其他方法合成对抗性的负面反应。这些结果表明,我们的方法可以有效地替代人类注释器生成对抗性响应。我们的数据集和生成代码可以在https://github.com/leenw23/generating-negatives-by-gpt3上找到。
2022-10-31 cs.CL
Labels Need Prompts Too: Mask Matching for Natural Language Understanding Tasks
Peking University(北京大学);Boston University(波士顿大学)
针对自然语言理解任务,该研究首次将提示方法引入标签端,提出掩码匹配方法,通过匹配输入与标签的掩码表示预测,在多数据集上取得最优效果,为标签端提示研究提供了开创性探索。
2023-12-16 cs.AI cs.CL
Structured Prompt Optimization for Few-Shot Text Classification via Semantic Alignment in Latent Space
Northwestern University(西北大学);Syracuse University(雪城大学);University of Toronto(多伦多大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Purdue University(普渡大学)
本文提出通过潜在空间语义对齐的结构化提示优化方法,解决少样本文本分类中的语义冲突和标签模糊问题,提升分类性能和跨任务适用性。
2026-02-27 cs.CL
Automatic Label Sequence Generation for Prompting Sequence-to-sequence Models
Tsinghua University(清华大学);Princeton University(普林斯顿大学);Renmin University of China(中国人民大学);Tencent Inc(腾讯公司);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);International Innovation Center of Tsinghua University(清华大学国际创新中心);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
与使用预训练模型进行标准微调相比,将下游应用程序转换为语言建模任务的调优已被证明是样本高效的。然而,提示的一个缺陷是需要手动设计的模式,其结果可能不直观,并且需要大型验证集进行调优。为了应对这一挑战,我们提出了AutoSeq,一种全自动提示方法:(1)我们在序列到序列模型上采用自然语言提示,允许自由形式的生成和更大的标签搜索空间;(2)我们提出了标签序列-具有不定长度的短语来描述标签-它消除了手动模板的需要,比单个标签词更具表达力;(3)利用束搜索自动生成大量的标签序列候选,并提出了对比重排序的方法来获得最佳组合。AutoSeq显著优于其他非手动设计方法,例如软提示微调、适配器调优和对单个标签词的自动搜索;在各种任务中,生成的标签序列甚至优于策划的手动序列。我们的方法揭示了序列到序列模型在少样本学习中的潜力,并揭示了一条通往通用和自动提示的道路。本文的源代码可以从https://github.com/thunlp/Seq2Seq-Prompt获得。
2022-09-20 cs.CL cs.LG
Natural Language Inference Prompts for Zero-shot Emotion Classification in Text across Corpora
Universidad de Jaén(哈恩大学);University of Stuttgart(斯图加特大学)
在文本情感分类中,相关标签集取决于领域和应用场景,并且在模型开发时可能不知道。这与监督学习的经典范例相冲突,在经典范例中,标签需要被预定义。获得具有灵活的标签集合的模型的解决方案是使用零样本学习的范例作为自然语言推理任务,这另外增加了不需要任何标记的训练数据的优点。这提出了如何提示用于零样本学习情感分类的自然语言推理模型的问题。提示公式的选项包括情绪名称愤怒或声明“这段文字表达愤怒”。在本文中,我们分析了如何敏感的自然语言推理为基础的zero-shot学习分类器是这样的变化,以提示下考虑的语料库:如何仔细提示需要选择?我们进行实验的一组情感数据集,根据不同的来源(推文,事件,博客)与三个自然语言推理模型呈现不同的语言寄存器,并表明,确实一个特定的提示制定的选择需要适合语料库。我们表明,这一挑战可以解决多种提示的组合。这样的集合在语料库中比单个提示更鲁棒,并且表现出与特定语料库的单个最佳提示几乎相同的性能。
2022-09-15 cs.CL
MIDAS at SemEval-2020 Task 10: Emphasis Selection using Label Distribution Learning and Contextual Embeddings
NSIT-Delhi(德里奈塔吉苏巴斯理工学院);IIIT Delhi(德里 Indraprastha 信息技术学院);IIT Dhanbad(丹巴德印度理工学院);Bloomberg LP(彭博有限合伙企业)
本文介绍了我们提交给SemEval 2020 -任务10的书面文本中的重点选择。我们把这个重点选择问题看作是一个序列标签任务,我们用各种上下文嵌入模型来表示底层文本。我们还采用标签分布学习来解释注释者的分歧。我们对模型架构的选择、层的可训练性和不同的上下文嵌入进行了实验。我们表现最好的架构是不同模型的组合,整体匹配得分为0.783,在31个参赛团队中排名第15。最后,我们分析的结果,在词性标记,句子长度和单词排序。
2020-09-06 cs.CL
Low Resource Pipeline for Spoken Language Understanding via Weak Supervision
在弱监督学习(WSL)中,模型是在从语义规则和特定于任务的预训练模型中获得的噪声标签上训练的。规则对任务的泛化能力有限,需要大量的手动工作,而预训练的模型仅适用于有限的任务。在这项工作中,我们建议利用基于提示的方法作为弱源来获取未注释数据上的噪声标签。我们发现,任务不可知的提示是可推广的,并可用于获得不同的口语语言理解(SLU)任务,如情感分类,不流利检测和情感分类的嘈杂标签。这些提示还可以更新以添加特定于任务的上下文,从而为设计特定于任务的提示提供灵活性。我们证明了基于神经网络的方法为上述SLU任务生成可靠的标签,因此可以作为一个通用的弱源来训练弱监督模型(WSM)在没有标记的数据。我们提出的WSL流水线在所有三个基准SLU数据集上的Macro-F1上,在零和少样本学习上训练的弱源上优于其他竞争性低资源基准超过4%。所提出的方法也优于传统的基于规则的WSL管道超过5%的宏F1。
2022-06-21 cs.CL
Intent-calibrated Self-training for Answer Selection in Open-domain Dialogues
Shandong University(山东大学);Centrum Wiskunde & Informatica(荷兰国家数学与计算机科学研究所)
针对开放域对话答案选择标注数据稀缺问题,提出ICAST自训练框架,用伪意图标签校准伪答案标签,并在低标注比例下显著提升F1性能。
2023-07-13 cs.CL