From Prompts to Trees: Effective LLM-Guided Tree Generation for Few-Shot Tabular Classification
National University of Singapore（新加坡国立大学）；Huazhong University of Science and Technology（华中科技大学）
本文提出一种三阶段框架，通过提示LLM生成规则并组织成决策树，在少样本表格分类中实现高准确率与可解释性，同时降低推理成本和提示开销。
2026-10-08 cs.AI cs.CL cs.LG
LAMPER: LanguAge Model and Prompt EngineeRing for zero-shot time series classification
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学清华大学深圳国际研究生院）；School of Automation, Wuhan University of Technology（武汉理工大学自动化学院）
本研究构建了LAMPER框架，通过128个单变量数据集系统评估预训练语言模型在零样本时间序列分类中对多样化提示的适应性，发现其特征表示能力受模型最大输入token阈值影响。
2024-03-23 cs.AI cs.CL
SpeechPrompt v2: Prompt Tuning for Speech Classification Tasks
National Taiwan University（台湾大学）；Pennsylvania State University（宾夕法尼亚州立大学）；Meta AI
提示调优是一种调整一小组参数的技术，以引导预训练的语言模型（LM）直接为下游任务生成输出。最近，提示调谐已经在自然语言处理（NLP）和语音处理领域证明了其存储和计算效率。这些优点还揭示了作为以统一的方式为多个任务提供预训练LM的候选方法的及时调整。在语音处理方面，SpeechPrompt在一些语音分类任务上表现出了较高的参数效率和竞争力。然而，SpeechPrompt是否能够服务于大量任务还没有答案。在这项工作中，我们提出了SpeechPrompt v2，一个提示调整框架，能够执行各种各样的语音分类任务，涵盖多种语言和韵律相关的任务。实验结果表明，SpeechPrompt v2在统一的框架下，可训练参数小于0.15M，达到了与现有作品相当的性能。
2023-03-01 cs.AI cs.CL cs.LG
Cross-Dataset Bloom Question Classification: Supervised Models and Prompted LLMs
Leibniz Information Centre for Science and Technology（莱比锡信息科学与技术研究中心）；University of Genoa（热那亚大学）
评估监督ML/DL模型和LLM在跨数据集布鲁姆分类中的泛化能力，发现LLM更稳定，并基于最佳提示策略开发了轻量级UI。
2026-06-15 cs.AI cs.CL cs.CY
SwitchPrompt: Learning Domain-Specific Gated Soft Prompts for Classification in Low-Resource Domains
Adobe Research（奥多比研究院）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Bosch Research North America（博世北美研究院）
对预训练的语言模型进行分类会在自然语言处理任务中产生有希望的结果，但由于预训练数据和下游任务之间的域间隙，当应用于低资源域时效果较差。在这项工作中，我们弥合这一差距与一种新的和轻量级的提示方法称为SwitchPrompt的适应语言模型训练的数据集从一般域到不同的低资源域。SwitchPrompt使用领域特定的关键字和可训练的门控提示，提供面向领域的提示，即对通用领域语言模型的目标领域的有效指导。我们在三个文本分类基准上的Few-Shot实验证明了与SwitchPrompt一起使用时通用域预训练语言模型的有效性。他们的表现甚至超过了使用最先进的基线提示方法训练的特定领域的同行，准确率提高了10.7%。这个结果表明SwitchPrompt有效地减少了对特定于领域的语言模型预训练的需求。
2023-02-14 cs.AI cs.CL
Beyond the Hype: Embeddings vs. Prompting for Multiclass Classification Tasks
Thumbtack（Thumbtack公司）
本研究针对多类分类任务，对比基于嵌入的softmax模型与LLM提示框架，发现前者在准确率（高49.5%）、校准度、速度（图像14倍/文本81倍）和成本（低10倍）上更优，为专有数据集场景提供更合适的预测方案。
2025-11-11 cs.AI cs.CL cs.LG
Enhancing Sentiment Classification and Irony Detection in Large Language Models through Advanced Prompt Engineering Techniques
IU International University of Applied Sciences（国际应用科学大学）
本文通过高级提示工程技术提升大型语言模型在情感分类和讽刺检测中的性能，发现不同提示策略对不同模型和任务效果显著。
2026-01-13 cs.AI cs.CL
Zero-shot Approach to Overcome Perturbation Sensitivity of Prompts
Iowa State University（爱荷华州立大学）
针对提示词扰动敏感及依赖标注数据的问题，提出零样本方法，通过位置、推理和复述技术生成并排序提示，显著提升二分类情感分类性能。
2023-07-01 cs.AI cs.CL
Trusting CHATGPT: how minor tweaks in the prompts lead to major differences in sentiment classification
本研究测试GPT-4o mini对提示词微小调整的敏感性，发现其情感分类结果受提示词变化影响显著，挑战了模型稳健性，强调信任需考虑技术性能与社会制度关系。
2025-04-16 cs.AI cs.CL
Generative Prompt Tuning for Relation Classification
Beijing University of Posts and Telecommunications（北京邮电大学）；Singapore University of Technology and Design（新加坡科技设计大学）
使用提示来探索包含在用于下游任务的预训练语言模型中的知识现在已经成为一个活跃的话题。目前的提示微调方法大多通过添加完形填空式短语并将所有标签映射为固定长度的动词化来将下游任务转换为掩蔽语言建模问题，这对于具有简单标签空间的任务是有效的。然而，当应用于呈现复杂标签空间的关系分类时，香草提示微调方法可能会由于严格的提示限制而难以处理具有任意长度的标签动词化。受预训练生成模型的文本填充任务的启发，可以灵活地预测缺失的跨度，我们提出了一种新的生成提示微调方法，将关系分类重新定义为填充问题，这使我们的方法摆脱了当前基于提示的方法的局限性，从而充分利用了实体和关系类型的丰富语义。此外，我们设计了实体引导的解码和判别关系评分，以在推理过程中有效和高效地生成和对齐关系。在完全监督设置和低资源设置下的广泛实验证明了我们的方法的有效性。
2022-10-22 cs.CL
Beyond the Next Token: Towards Prompt-Robust Zero-Shot Classification via Efficient Multi-Token Prediction
Nanyang Technological University（南洋理工大学）；Singapore-ETH Centre（新加坡-ETH中心）；Tencent（腾讯）
针对大型语言模型因依赖 next-token 概率导致的提示脆弱性问题，提出多位置 token 概率预测方法 P3，在单次运行中模拟生成路径采样，显著提升了零样本文本分类的准确率与鲁棒性，降低了对提示工程的依赖。
2025-04-04 cs.CL
Navigating the Prompt Space: Improving LLM Classification of Social Science Texts Through Prompt Engineering
本文通过系统变化提示工程的三个方面，探讨如何通过增加提示上下文提高LLM对社会科学文本的分类准确性，发现最小的上下文增加能显著提升性能，但过度增加反而可能降低准确性。
2026-03-26 cs.CL cs.CY
Evaluating Prompting Strategies and Large Language Models in Systematic Literature Review Screening: Relevance and Task-Stage Classification
School of Mathematical and Computational Sciences（数学与计算科学学院）
本研究评估六种LLM与五种提示策略在系统性文献综述筛选中的交互效果，发现CoT-少样本平衡最佳，并提出低成本模型初筛加边界案例升级的分阶段工作流。
2025-10-17 cs.AI cs.CL
Prompt-Based Editing for Text Style Transfer
Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；University of Alberta（阿尔伯塔大学）
本文提出一种基于提示的编辑方法，将文本风格迁移的生成问题转化为分类问题，通过词级编辑搜索最大化风格得分，在三个基准上大幅超越参数多20倍的现有系统。
2023-12-22 cs.AI cs.CL cs.LG
Optimizing GPT for Video Understanding: Zero-Shot Performance and Prompt Engineering
Tiktok Inc.（字节跳动公司）
本研究针对视频内容分类的行业挑战，提出通过提示优化和策略细化提升GPT的零样本分类性能，并引入基于分解-聚合的提示工程技术，实验表明该方法无需额外微调即可显著提升分类效果。
2025-04-25 cs.CL cs.CV cs.LG
Prompting Underestimates LLM Capability for Time Series Classification
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
研究通过对比提示输出与线性探针，揭示LLM在时间序列分类中的实际能力被提示评估低估，且早期Transformer层能有效捕捉时间序列信息。
2026-03-12 cs.CL
Enhancing Source Code Classification Effectiveness via Prompt Learning Incorporating Knowledge Features
Beijing Institute of Technology（北京理工大学）；Qi-Anxin Technology Group（奇安信科技集团）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出CodeClassPrompt，利用提示学习与注意力机制从预训练模型中提取并融合多层知识特征，在降低计算开销的同时提升源代码分类效果。
2024-08-19 cs.AI cs.CL
Large Language Model Prompt Chaining for Long Legal Document Classification
Thomson Reuters Labs（汤姆森路透实验室）
本文提出一种提示链方法，通过摘要生成、语义检索相关示例和少样本上下文学习，在长法律文档分类任务中提升小模型性能，并超越ChatGPT零样本的micro-F1分数。
2023-08-08 cs.CL
A comprehensive study of LLM-based argument classification: from Llama through DeepSeek to GPT-5.2
Faculty of Computer Science, Faculty of Humanities（计算机科学系，人文科学系）；Institute of Mathematics Faculty of Humanities（人文科学学院数学研究所）；University of Silesia（斯蒂利亚大学）；AGH University of Krakow（克拉科夫AGH大学）
本文评估了GPT-5.2、Llama 4和DeepSeek等先进大语言模型在Args.me和UKP等论证分类数据集上的性能，通过高级提示策略提升分类准确率和鲁棒性，但揭示了模型在提示稳定性、隐含批评检测等方面存在的系统性缺陷。
2026-02-25 cs.AI cs.CL
Global Constraints with Prompting for Zero-Shot Event Argument Classification
HKUST（香港科技大学）；Tencent AI Lab（腾讯人工智能实验室）
确定事件参数的作用是事件提取的一个关键子任务。大多数以前的监督模型利用昂贵的注释，这对于开放域应用程序是不实际的。在这项工作中，我们建议使用全局约束，提示有效地处理事件参数分类没有任何注释和特定于任务的培训。具体来说，给定一个事件及其相关段落，该模型首先通过前缀提示和完形填空提示生成若干新段落，其中前缀提示指示事件类型和触发跨度，完形填空提示将每个候选角色与目标论元跨度连接起来。然后，预先训练的语言模型对新段落进行评分，从而进行初始预测。我们新颖的提示模板可以轻松适应所有事件和参数类型，无需手动操作。接下来，该模型通过利用跨任务、跨参数和跨事件关系的全局约束来正则化预测。大量的实验表明，我们的模型的有效性：它优于最好的zero-shot基线的12.5%和10.9%F1 ACE和ERE与给定的参数跨度和4.3%和3.3%F1，分别没有给定的参数跨度。我们已经公开了我们的代码。
2023-02-09 cs.CL
Navigating Prompt Complexity for Zero-Shot Classification: A Study of Large Language Models in Computational Social Science
The University of Sheffield（谢菲尔德大学）
本研究评估了ChatGPT和OpenAssistant在六项计算社会科学任务中的零样本分类性能，发现其不及微调的BERT-large模型，且不同提示策略对准确率和F1分数的影响超过10%。
2024-03-24 cs.CL
Prompting Implicit Discourse Relation Annotation
Saarland University（萨尔大学）；Utrecht University（乌得勒支大学）
本研究探讨多种提示技术以提升ChatGPT在隐式话语关系分类中的表现，但实验显示即使分解任务和复杂提示，准确率仍无显著提升，表明该任务在零样本或少样本下尚难解决。
2024-02-07 cs.AI cs.CL
Prompt Tuned Embedding Classification for Multi-Label Industry Sector Allocation
Motherbrain（莫特布雷恩）；EQT Group（EQT集团）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Amsterdam（阿姆斯特丹大学）
本研究针对多标签行业分类任务，提出提示调优嵌入分类（PTEC）方法，解决文本到文本分类的三类局限，提升性能且降低推理成本，验证了模型在不同知名度公司上的表现一致性，并开源代码与数据集。
2024-04-12 cs.AI cs.CL
Automating Categorization of Scientific Texts with In-Context Learning and Prompt-Chaining in Large Language Models
Technische Hochschule Mannheim（曼海姆技术大学）
本文评估了大语言模型在科学文本分类中的性能，发现提示链在处理ORKG层级分类时优于纯上下文学习，但在第三层级主题分类上仍存在50%的准确率限制。
2026-04-25 cs.AI cs.CL cs.DL
Large Language Models in the Workplace: A Case Study on Prompt Engineering for Job Type Classification
Bright Network；Silicon Grove
本文以真实职位分类任务为案例，研究提示工程对GPT-3.5系列模型的影响，发现精心设计的零样本gpt-3.5-turbo可超越监督式模型，且提示措辞对性能至关重要。
2023-04-18 cs.CL
PromptAug: Fine-grained Conflict Classification Using Data Augmentation
University of Glasgow（格拉斯哥大学）；Radboud University（拉德堡德大学）
PromptAug是一种基于LLM的数据增强方法，通过在极端数据稀缺场景下评估，在冲突和情感数据集上实现2%的准确率和F1分数提升，并识别出增强文本中的四种问题模式。
2025-06-24 cs.AI cs.CL cs.CY
CryptoLLM: Unleashing the Power of Prompted LLMs for SmartQnA and Classification of Crypto Posts
IIT Kharagpur（印度理工学院克勒格布尔分校）
本文提出 CryptoLLM，利用提示工程和 GPT-4-Turbo 的 64-shot 方法完成加密货币社交媒体帖子分类及问答相关性识别。
2025-03-18 cs.CL
Pre-Training and Prompting for Few-Shot Node Classification on Text-Attributed Graphs
Tsinghua University（清华大学）；University of Edinburgh（爱丁堡大学）；Zhipu AI（智谱AI）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Anhui University（安徽大学）
针对文本属性图上的少样本节点分类，提出P2TAG框架，通过图预训练和混合提示方法同时利用文本与图信息，在六个真实数据集上显著优于现有方法。
2024-07-22 cs.AI cs.LG cs.SI
Zero-shot prompt-based classification: topic labeling in times of foundation models in German Tweets
University Trier（特里尔大学）；krAil
本研究在德语推文主题标注任务中实证评估零样本提示分类，证明其效果与微调BERT相当，且无需标注训练数据，凸显NLP领域范式转变。
2024-06-26 cs.AI cs.CL
Making Pretrained Language Models Good Long-tailed Learners
Beijing Institute of Technology（北京理工大学）；Meituan（美团）
由于其能够有效地利用预先训练的知识，预调优在Few-Shot分类中表现出了吸引人的性能。这促使我们检查的假设，即调优也是长尾分类的一个有前途的选择，因为尾部类直观上是Few-Shot的。为了实现这一目标，我们进行了实证研究，以检验假设。实验结果表明，预调优使得预训练的语言模型至少是好的长尾学习者。为了直观地了解为什么自动调优可以在长尾分类中实现良好的性能，我们通过逐步弥合自动调优和常用微调之间的差距来进行深入分析。总而言之，与不太重要的输入结构相比，分类器结构和参数化是制作好长尾学习器的关键。最后，我们验证了我们的发现适用于Few-Shot分类。好的长尾学习者可以缩写为Glee。
2022-10-10 cs.CL cs.LG
GateNLP at SemEval-2025 Task 10: Hierarchical Three-Step Prompting for Multilingual Narrative Classification
Department of Computer Science, University of Sheffield (UK)（计算机科学系，谢菲尔德大学）
本文提出用于多语言叙事分类的分层三步提示（H3Prompt）方法，通过三步LLM提示策略将新闻文章分类至两级分类体系，并在SemEval 2025任务10的英语测试集中获得全球第一。
2025-05-28 cs.CL
Automated Few-shot Classification with Instruction-Finetuned Language Models
University of Cambridge（剑桥大学）；Boson AI（玻色人工智能）；Amazon Web Services（亚马逊云科技）；New York University（纽约大学）
提出AuT-Few方法，利用指令微调语言模型的提示鲁棒性，通过提示检索和类别描述生成实现自动化少样本分类，在多个数据集和RAFT基准上超越现有方法且无需手工提示。
2023-10-21 cs.CL
Sensitivity and Robustness of Large Language Models to Prompt Template in Japanese Text Classification Tasks
Yokohama National University（横滨国立大学）
本文评估多个 LLM 与 PLM 在日语分类基准上对提示模板变化的敏感性，发现 GPT-4 仅因句式调整准确率便从 49.21 降至 25.44，揭示其鲁棒性与输出一致性不足。
2023-06-08 cs.AI cs.CL
Evaluating LLM Prompts for Data Augmentation in Multi-label Classification of Ecological Texts
University of Tyumen（秋明大学）
本研究评估了基于LLM提示词的数据增强方法在俄罗斯社交媒体绿色实践多标签分类任务中的效果，发现重写、生成或结合数据的策略均优于仅用原始数据微调的模型，其中改写并标注类别的提示词效果最佳。
2024-11-22 cs.CL cs.CY cs.SI
Beyond Flesch-Kincaid: Prompt-based Metrics Improve Difficulty Classification of Educational Texts
Bocconi University（博科尼大学）；University of Zurich（苏黎世大学）
本文提出基于提示的文本难度指标，利用大语言模型捕捉抽象复杂特征，实验证明其能显著提升教育文本难度分类效果，优于传统静态指标。
2024-06-06 cs.CL
Efficient Text Classification with Conformal In-Context Learning
本文提出CICLe框架，通过结合轻量级分类器与符合性预测，提升文本分类效率，减少样本和提示长度，尤其在高类别不平衡任务中表现优异。
2025-12-05 cs.AI cs.CL
MOSLIM:Align with diverse preferences in prompts through reward classification
Alibaba Group（阿里巴巴集团）
MOSLIM提出用单一奖励模型和策略模型，通过提示控制多目标对齐，以分类替代评分生成奖励，在多数基准上超越现有方法且大幅降低GPU资源消耗。
2025-05-24 cs.AI cs.CL
Embroid: Unsupervised Prediction Smoothing Can Improve Few-Shot Classification
Stanford University（斯坦福大学）；Anthropic；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本研究提出无监督预测平滑方法Embroid，通过多嵌入表示的邻域预测一致性修正语言模型提示预测结果，无需额外标注数据即可提升少样本分类性能，适配多种模型与提示策略及特定领域。
2023-07-20 cs.CL cs.LG
Supervision versus Demonstration-Based In-Context Learning for Multiword Expression Classification
University of Chicago（芝加哥大学）；Fırat University（费拉特大学）
研究土耳其语多词表达分类，对比监督基线（BERTurk）与指令微调LLM在零样本、单样本和少样本提示下的表现，发现提示敏感性和演示偏差影响显著。
2026-06-05 cs.AI cs.CL
SciPrompt: Knowledge-augmented Prompting for Fine-grained Categorization of Scientific Topics
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Washington（华盛顿大学）；Technical University of Munich（慕尼黑工业大学）
SciPrompt框架通过自动检索科学文献中的领域标签词增强verbalizer，并结合相关性分数加权策略，显著提升了低资源场景下细粒度和新兴科学主题分类的性能。
2024-10-02 cs.CL
How Confident Is the First Token? An Uncertainty-Calibrated Prompt Optimization Framework for Large Language Model Classification and Understanding
China Jiliang University（中国嘉兴大学）
本文提出LSFU指标和UCPOF框架，通过校准提示优化提升模型性能，实验显示在少样本基准上准确率提升6.03%，超越全RAG方法，并降低检索触发率50.66%。
2026-02-23 cs.AI cs.CL
Eliciting Knowledge from Pretrained Language Models for Prototypical Prompt Verbalizer
Peking University（北京大学）
最近的进展，快速调整铸造Few-Shot分类任务作为一个掩蔽的语言建模问题。通过将输入包装到模板中并使用在标签空间和标签词空间之间构造映射的动词化器，自动调优可以在zero-shot和Few-Shot场景中获得优异的结果。然而，典型的自动调优需要手动设计的语言化器，这需要领域专业知识和人工努力。标签空间不足可能会给结果带来相当大的偏差。在本文中，我们专注于从预训练的语言模型中获取知识，并提出了一个原型提示动词化器的自动调优。标签由特征空间中的原型嵌入表示，而不是由离散的单词表示。在输入的掩蔽位置处的嵌入和原型嵌入之间的距离被用作分类标准。对于zero-shot设置，通过手动设计的模板从预训练的语言模型中引出知识以形成初始原型嵌入。对于Few-Shot设置，调整模型以学习有意义和可解释的原型嵌入。我们的方法通过对比学习优化模型。在几个低资源环境下的多类文本分类数据集上的实验结果表明，与其他动词化器构造方法相比，该方法是有效的。我们的实现可以在https://github.com/Ydongd/prototypical-prompt-verbalizer上获得。
2022-01-14 cs.CL
Empirical Prompt Engineering for Construct Identification with Large Language Models
Department of Educational Psychology, Neag School of Education, University of Connecticut（教育心理学系，教育学院，康涅狄格大学）；Department of Psychological Sciences, College of Liberal Arts and Sciences, University of Connecticut（心理学系，文理学院，康涅狄格大学）
本研究提出一个实证框架，通过提示工程优化大语言模型在心理学文本中识别构念的性能。实验评估五种提示策略，发现构念定义和任务框架最关键，结合代码簿引导和自动提示工程的少样本方法最接近专家判断。
2026-06-23 cs.CL
Divide, Cache, Conquer: Dichotomic Prompting for Efficient Multi-Label LLM-Based Classification
Department of Artificial Intelligence, Wroclaw Tech, Poland（人工智能系，沃拉布勒技术学院，波兰）
本文提出将多标签分类重构为逐维度的二分决策并结合前缀缓存以提升LLM推理效率，通过LLM到SLM蒸馏微调小模型，在24个情感维度上验证了方法的有效性与通用性。
2025-11-05 cs.CL
Joint Effects of Argumentation Theory, Audio Modality and Data Enrichment on LLM-Based Fallacy Classification
University of Groningen（格罗宁根大学）
本文研究了上下文与情感语调元数据对LLM在政治辩论谬误分类中的影响，发现引入理论思维链框架虽提升可解释性，但增加上下文和音频情感元数据常因注意力分散导致性能下降。
2025-09-14 cs.CL
Comparing BERT Sentence-Pair Classification and Few-Shot LLM Prompting for Detecting Threat and Solution Framing in German Climate News
University of Graz（格拉茨大学）；Technical University of Graz（格拉茨技术大学）
针对德语气候新闻句子级框架检测，比较了微调BERT（句子对分类）与少样本LLM提示（Llama 4）方法，BERT在F1上达到0.83，优于LLM的0.78。
2026-06-26 cs.CL
Prompt, Condition, and Generate: Classification of Unsupported Claims with In-Context Learning
University of Copenhagen（哥本哈根大学）；Pioneer Centre for AI（人工智能先锋中心）
本文提出从无依据声明中提炼叙事的新任务，构建12个争议主题、超120k条标注数据，并利用大语言模型上下文学习生成带证据声明以提升叙事分类性能，同时可推断立场和方面，有助于事实核查等应用。
2023-09-19 cs.CL
PIAST: Rapid Prompting with In-context Augmentation for Scarce Training data
Heinrich Heine Universität Düsseldorf（海因里希·海涅大学杜塞尔多夫）
PIAST通过生成少量示例快速构建提示，利用蒙特卡洛沙普利估计优化示例效用，实现在有限计算资源下提升文本简化、GSM8K和分类任务的性能。
2026-04-07 cs.CL
Discriminative Language Model as Semantic Consistency Scorer for Prompt-based Few-Shot Text Classification
Fudan University（复旦大学）
提出了一种新的基于语义的文本微调方法（称为DLM-SCS），该方法利用预训练的区分性语言模型ELECTRA来区分标记是原始的还是生成的，用于Few-Shot文本分类。其基本思想是，使用真标签实例化的提示应该比使用假标签的其他提示具有更高的语义一致性得分。由于提示通常由几个组件（或部分）组成，因此可以相应地分解其语义一致性。每个组件的语义一致性计算，然后利用预训练的ELECTRA模型，而不引入额外的参数。大量的实验表明，我们的模型优于几个国家的最先进的基于图像的Few-Shot方法。
2022-10-23 cs.AI cs.CL cs.LG
EPPAC: Entity Pre-typing Relation Classification with Prompt AnswerCentralizing
关系分类（RC）的目的是预测在给定的上下文中的一对主语和宾语之间的关系。最近，提示微调方法在RC中已经实现了高性能。然而，现有的提示微调方法具有以下问题：（1）众多类别降低RC性能;（2）手动设计的提示需要密集劳动。为了解决这些问题，本文提出了一种新的范例，实体预类型化的关系分类与提示答案集中（EPPAC）。EPPAC中的实体预绑定是为了解决第一个问题，使用一个双层框架，在RC之前预先类型化实体，并提出了快速回答集中，以解决第二个问题。大量的实验表明，我们提出的EPPAC优于国家的最先进的方法TACRED和TACREV的14.4%和11.1%，分别。该代码在补充材料中提供。
2022-03-08 cs.AI cs.CL
TSPE: Task-Specific Prompt Ensemble for Improved Zero-Shot Audio Classification
University of Maryland（马里兰大学）
本文提出TSPE，一种无需训练的任务特定硬提示集成方法，通过利用标签信息生成包含声音属性和来源的上下文丰富提示，在12个音频分类数据集上将ALMs的零样本性能提升了1.23-16.36%。
2025-04-03 cs.AI cs.CL cs.LG
Towards Unified Prompt Tuning for Few-shot Text Classification
East China Normal University（华东师范大学）；Alibaba Group（阿里巴巴集团）；Zhejiang Lab（之江实验室）；Ant Group（蚂蚁集团）
基于任务的微调通过采用特定于任务的提示，提高了预训练语言模型（PLM）在Few-Shot文本分类上的性能。然而，PLM在预训练期间不熟悉机器学习风格的表达，这限制了下游任务的少样本学习性能。如果模型能够在适应特定的NLP任务之前获得一些提示性知识，那将是可取的。我们提出了统一提示微调（UPT）框架，通过显式捕获非目标NLP数据集的提示语义，为BERT风格的模型提供更好的Few-Shot文本分类。在UPT中，提出了一种新的范式，用于跨不同NLP任务的联合提示学习，迫使PLM捕获任务不变的提示知识。我们进一步设计了一个名为知识增强的选择性掩蔽语言建模的自监督任务，以提高PLM的泛化能力，以准确适应以前看不见的任务。在跨多个任务进行多任务学习之后，PLM可以更好地针对低资源设置中的任何不同目标任务进行自动调整。对各种NLP任务的实验表明，UPT在基于神经网络的微调方面始终优于最先进的技术。
2022-05-11 cs.AI cs.CL
PTR: Prompt Tuning with Rules for Text Classification
Tsinghua University（清华大学）
微调的预训练语言模型（PLM）在几乎所有NLP任务上都取得了令人敬畏的性能。通过使用额外的提示来微调PLM，我们可以进一步激发分布在PLM中的丰富知识，以更好地服务于下游任务。提示微调在情感分类和自然语言推理等少类分类任务上取得了可喜的成果。然而，手工设计大量的语言提示是繁琐和容易出错的。对于那些自动生成的提示，在非少数拍摄场景中验证其有效性也是昂贵且耗时的。因此，它仍然是具有挑战性的提示微调，以解决多类分类任务。为此，我们提出了提示微调与规则（PTR）的多类文本分类，并应用逻辑规则来构建提示与几个子提示。以这种方式，PTR能够将每个类的先验知识编码为提示微调。我们进行实验的关系分类，一个典型的和复杂的多类分类任务，结果表明，PTR可以显着和一贯优于现有的最先进的基线。这表明，PTR是一种很有前途的方法，利用人类的先验知识和PLM的复杂的分类任务。
2021-09-15 cs.CL
Prompt-Learning for Short Text Classification
在短文本中，极短的长度、特征稀疏性和高歧义性给分类任务带来了巨大的挑战。近年来，作为一种有效的方法来调整预训练语言模型的特定下游任务，人工学习引起了大量的关注和研究。自动学习背后的主要直觉是将模板插入到输入中，并将文本分类任务转换为等效的完形填空式任务。然而，目前大多数的自动学习方法在进行完形填空式预测时，都是人工扩展标签词或只考虑知识的类名，这在短文本分类任务中不可避免地会产生遗漏和偏差。在本文中，我们提出了一个简单的短文本分类方法，利用基于知识扩展的学习。该方法充分考虑了短文本的特点，在扩展标注词空间时既考虑了短文本本身，又考虑了类名。具体地说，从Probase等开放的知识图谱中检索与短文本中的实体相关的前$N$概念，并通过计算所选概念与类标签之间的距离来进一步细化扩展后的标签词。实验结果表明，该方法与其他微调、自学习和知识自学习方法相比，在三个已知数据集上的性能比现有技术提高了6个精度点。
2022-03-31 cs.AI cs.CL
