Prompting as Scientific Inquiry
Department of Computer Science University of Chicago(计算机科学系芝加哥大学)
本文主张将提示视为对LLM进行行为科学探究的核心方法,而非炼金术,并论证提示与机制可解释性互补,是LLM科学的关键组成部分。
2025-07-04 cs.CL
Prompting PaLM for Translation: Assessing Strategies and Performance
Google(谷歌)
本研究深入评估了PaLM在机器翻译中的能力,发现优化提示中的示例质量是提升few-shot翻译性能的关键,尽管其表现优异但仍不及最先进的监督翻译系统。
2023-06-25 cs.CL
Maieutic Prompting: Logically Consistent Reasoning with Recursive Explanations
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
尽管大型预训练语言模型(LM)具有令人印象深刻的能力,但它们难以进行一致的推理;最近,促使LM生成自我指导推理的解释已经成为一个有希望的方向。然而,这些方法从根本上受到解释正确性的限制,而解释本身往往是嘈杂和不一致的。在这项工作中,我们开发了Maiphonestritting,它推断出一个问题的正确答案,即使从嘈杂和不一致的几代LM。Maillenkirting诱导溯因解释树(例如X是真的,因为.)递归地,然后将推理框架为这些解释及其逻辑关系的可满足性问题。我们在三个具有挑战性的基准测试上测试了Maillenetrating的真/假QA,这些基准测试需要复杂的常识推理。与最先进的提示方法相比,MaiPhonesting的准确率高出20%,并且作为一种完全无监督的方法,与监督模型相比具有竞争力。我们还表明,Maillenkirting提高了推理的鲁棒性,同时提供了可解释的理由。
2022-10-24 cs.CL
Controllable Generation from Pre-trained Language Models via Inverse Prompting
Tsinghua University(清华大学);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院);Recurrent AI, Ltd.(Recurrent AI 有限公司);DAMO Academy, Alibaba Inc.(阿里巴巴达摩院)
大规模预训练的语言模型已经展示出强大的生成真实文本的能力。然而,控制生成结果仍然具有挑战性。以往的方法如提示等还远远不够,这限制了语言模型的使用。为了应对这一挑战,我们提出了一种创新的方法,反向提示,以更好地控制文本生成。反向提示的核心思想是在束搜索过程中,利用生成文本对提示进行反向预测,增强了提示与生成文本的相关性,提供了更好的可控性。在实验上,我们预训练了一个大规模的汉语语言模型,对开放域诗歌生成和开放域长篇问答任务进行了系统的研究。我们的研究结果表明,我们提出的方法大大优于基线,我们的生成质量接近人类的一些任务的表现。叙述者可以在https://pretrain.aminer.cn/apps/poetry.html尝试我们的诗歌生成演示,而我们的QA演示可以在https://pretrain.aminer.cn/app/qa找到。对于研究人员,代码在https://github.com/THUDM/InversePrompting中提供。
2021-11-09 cs.AI cs.CL cs.LG
Prompting Disentangled Embeddings for Knowledge Graph Completion with Pre-trained Language Model
Powerchina Huadong Engineering Corporation Limited(中国电力建设集团华东勘测设计研究院有限公司);School of Computer Science, Hangzhou Dianzi University(杭州电子科技大学计算机学院);The University of Manchester(曼彻斯特大学);Zhejiang University(浙江大学);The University of Edinburgh(爱丁堡大学)
本文提出PDKGC方法,通过在冻结的预训练语言模型上使用硬任务提示和解耦结构提示,将文本信息与图结构知识有效结合,在三个KGC数据集上取得了优于现有方法的性能。
2025-01-03 cs.CL
Commonsense-Aware Prompting for Controllable Empathetic Dialogue Generation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提高预训练的语言模型的情感意识是对话生成任务的一个新兴的重要问题。虽然先前的研究已经介绍了提高移情对话生成的方法,但很少有人讨论如何将常识知识结合到预先训练的语言模型中以用于可控对话生成。在这项研究中,我们提出了一个新的框架,提高移情对话生成使用预先训练的语言模型1)通过即时言语化结合常识知识,和2)控制对话生成使用策略驱动的未来会话。我们进行了实验,揭示了社会常识知识的纳入和执法控制的生成有助于提高生成性能。最后,我们讨论了我们的研究对未来研究的影响。
2023-02-02 cs.CL cs.LG
Prompting with Pseudo-Code Instructions
IBM Research AI(IBM人工智能研究院)
本文探讨了伪代码指令提示对预训练语言模型性能的影响,通过在132项任务上对比BLOOM和CodeGen模型,发现伪代码提示显著提升了分类任务的F1分数和总体ROUGE-L分数,并首次证明了其有效性。
2023-10-19 cs.CL
Towards LLM-based Fact Verification on News Claims with a Hierarchical Step-by-Step Prompting Method
School of Computing and Information Systems(计算与信息系统学院);Singapore Management University(新加坡管理大学)
本文研究LLM在新闻声明事实验证中的应用,提出分层逐步HiSS提示方法,通过拆分声明并多步问答验证,在两个数据集上超过全监督SOTA与少样本ICL基线。
2023-09-30 cs.CL
Probing via Prompting
探测是一种流行的方法来辨别什么语言信息包含在预训练的语言模型的表示。然而,探测模式的选择机制一直受到激烈的争论,因为它是不清楚,如果探测只是提取信息或建模的语言属性本身。为了应对这一挑战,本文介绍了一种新的无模型的方法来探测,制定探测作为一个提示任务。我们进行了五个探测任务的实验,并表明我们的方法是可比的或更好地提取信息比诊断探针,而学习少得多的自己。我们进一步结合通过提示的方法与注意头修剪的探测,分析在其架构中的语言信息存储模型。然后,我们通过删除对该属性至关重要的头部并评估生成的模型在语言建模上的性能,来检查特定语言属性在预训练中的有用性。
2022-07-04 cs.CL
Leveraging Self-Attention for Input-Dependent Soft Prompting in LLMs
IIIT Hyderabad(海得拉尔印度理工学院);IIT Kharagpur(克拉格浦尔印度理工学院);Adobe Research India(印度Adobe研究)
针对大语言模型微调成本高的问题,提出ID-SPAM,利用自注意力根据输入生成软提示,以少量可训练参数提升任务表现与零样本领域迁移能力。
2025-06-05 cs.CL
Beyond Prompting: Making Pre-trained Language Models Better Zero-shot Learners by Clustering Representations
ETH Zurich(苏黎世联邦理工学院);Peking University(北京大学)
最近的研究表明,预训练语言模型(PLM)是zero-shot学习器。然而,大多数现有的zero-shot方法涉及繁重的人体工程学或复杂的自我训练管道,阻碍了它们在新情况下的应用。在这项工作中,我们表明,zero-shot文本分类可以提高简单的聚类文本中的嵌入空间的PLM。具体来说,我们适合未标记的文本与贝叶斯高斯混合模型初始化后,使用类名称的聚类位置和形状。尽管它很简单,但这种方法在主题和情感分类数据集上都取得了优异或相当的性能,并且在不平衡数据集上显著优于先前的工作。我们进一步探索我们的聚类方法的适用性,通过评估它在14个数据集更多样化的主题,文本长度和类的数量。我们的方法实现了平均20%的绝对改善基于神经网络的零样本学习。最后,我们比较了不同的PLM嵌入空间,发现即使PLM没有显式地预先训练以生成有意义的句子嵌入,文本也能很好地按主题聚类。这项工作表明,PLM嵌入可以分类文本没有特定的任务微调,从而提供了一种新的方式来分析和利用他们的知识和零样本学习能力。
2022-11-23 cs.CL cs.LG
Dictionary-based Phrase-level Prompting of Large Language Models for Machine Translation
Meta AI
大语言模型(LLM)通过提示展示了卓越的机器翻译(MT)能力,即使它们没有被明确训练用于此任务。然而,即使考虑到他们训练的数据量令人难以置信,LLM也很难翻译带有罕见单词的输入,这在低资源或域转移场景中很常见。我们表明,LLM提示可以提供一个有效的解决方案,以及罕见的话,通过使用双语词典的先验知识,提供控制提示。我们提出了一种新的方法,DiPMT,它提供了一组可能的翻译的一个子集的输入单词,从而使细粒度的短语级提示控制的LLM。大量的实验表明,DiPMT优于基线在低资源MT,以及域外MT。我们进一步提供了这种方法的优点和局限性的定性分析,包括实现的可控性的整体水平。
2023-02-15 cs.CL cs.LG
Meta-Task Prompting Elicits Embeddings from Large Language Models
University of Amsterdam(阿姆斯特丹大学);University of Maryland(马里兰大学);University of Technology Sydney(悉尼科技大学);Microsoft Corporation(微软公司);Tencent IEG(腾讯互动娱乐事业群)
本文提出MetaEOL方法,通过元任务提示从大型语言模型生成无监督句子嵌入,无需微调,在STS基准和下游任务中表现优异,并揭示新的缩放定律。
2024-07-22 cs.CL
Zero-Shot Prompting for Implicit Intent Prediction and Recommendation with Commonsense Reasoning
National Taiwan University(台湾大学)
针对虚拟助手只能处理显式意图、交互繁琐的问题,本文提出多领域对话框架,利用常识推理推断隐式意图并通过大型预训练语言模型进行零样本提示,以推荐并触发合适的任务型机器人。
2023-06-06 cs.CL
SwitchPrompt: Learning Domain-Specific Gated Soft Prompts for Classification in Low-Resource Domains
Adobe Research(奥多比研究院);Bosch Center for Artificial Intelligence(博世人工智能中心);Bosch Research North America(博世北美研究院)
对预训练的语言模型进行分类会在自然语言处理任务中产生有希望的结果,但由于预训练数据和下游任务之间的域间隙,当应用于低资源域时效果较差。在这项工作中,我们弥合这一差距与一种新的和轻量级的提示方法称为SwitchPrompt的适应语言模型训练的数据集从一般域到不同的低资源域。SwitchPrompt使用领域特定的关键字和可训练的门控提示,提供面向领域的提示,即对通用领域语言模型的目标领域的有效指导。我们在三个文本分类基准上的Few-Shot实验证明了与SwitchPrompt一起使用时通用域预训练语言模型的有效性。他们的表现甚至超过了使用最先进的基线提示方法训练的特定领域的同行,准确率提高了10.7%。这个结果表明SwitchPrompt有效地减少了对特定于领域的语言模型预训练的需求。
2023-02-14 cs.AI cs.CL
Comparative Evaluation of Prompting and Fine-Tuning for Applying Large Language Models to Grid-Structured Geospatial Data
Argonne National Laboratory(阿贡国家实验室)
本文比较了提示与微调两种方法在大型语言模型处理网格地理空间数据上的效果,发现微调更利于结构化时空推理。
2025-05-21 cs.CL cs.ET
Chain-of-Thought Reasoning Without Prompting
Google DeepMind(谷歌DeepMind)
本研究提出通过改变解码过程而非提示来激发LLMs的思维链推理,发现前k备选token中常含思维链路径,且置信度可区分思维链,实验证明该方法有效。
2024-05-23 cs.CL
Contextual Dynamic Prompting for Response Generation in Task-oriented Dialog Systems
AWS AI Labs(AWS人工智能实验室);University of Chicago(芝加哥大学)
响应生成是面向任务的对话系统的关键组成部分之一。现有的研究表明,大型预训练的语言模型可以适应这项任务。适应这种极其大的大语言模型的典型范例是通过对下游任务进行微调,这不仅耗时,而且涉及大量资源和对微调数据的访问。修正(Schick and Schütze,2020)已经成为许多NLP任务中微调的替代方案。在我们的工作中,我们探索的想法,使用提示响应生成面向任务的对话系统。具体来说,我们提出了一种方法,执行上下文动态提示的提示是从对话上下文学习。我们的目标是从对话上下文中提取有用的提示信号。在使用MultiWOZ 2.2数据集的实验中(Zang等人,2020),我们表明,上下文动态提示改善反应生成的综合得分(Mehri等人,2019年)由3个绝对点,和一个巨大的20点时,对话状态的合并。此外,这些对话的人类注释发现,结合上下文的代理人比香草前缀调整的代理人更受欢迎。
2023-02-10 cs.CL
Incorporating Pre-trained Model Prompting in Multimodal Stock Volume Movement Prediction
Peking University(北京大学);Mizuho Securities Co., Ltd(瑞穗证券株式会社)
针对多模态股票交易量走势预测中通用与领域知识缺乏及简单模态融合损害单模态表示的问题,提出ProMUSE模型,利用预训练语言模型与提示学习处理文本,并采用跨模态对比对齐及保留单模态头机制,实验证明其优于基线。
2023-09-11 cs.CE cs.CL
Large Language Models Perform Diagnostic Reasoning
National Taiwan University(台湾大学)
该研究提出DR-CoT提示方法,将思维链提示扩展至医学自动诊断推理,仅用两个示例即可让通用大语言模型的诊断准确率较标准提示提升15%,域外场景下提升18%,验证了恰当提示可激发大模型的专家知识推理能力。
2023-07-18 cs.CL
QA-prompting: Improving Summarization with Large Language Models using Question-Answering
Georgia Institute of Technology(佐治亚理工学院)
本文提出QA-prompting方法,在摘要生成前引入问答中间步骤以缓解长上下文位置偏差,无需微调或流水线,在多个数据集和十个预训练模型上ROUGE分数最高提升29%。
2025-09-21 cs.CL
MAGIC-Enhanced Keyword Prompting for Zero-Shot Audio Captioning with CLIP Models
Expedia Group, USA(Expedia集团);California Universities of Management and Sciences, USA(加州管理与科学大学);Jamia Hamdard, New Delhi, India(贾迈亚哈曼德大学);Macquarie University, Sydney, Australia(麦考瑞大学)
提出一种基于预训练音频CLIP模型和LLM的零样本音频字幕生成系统,通过MAGIC搜索和关键词提示优化token选择,使NLG平均得分提升35%。
2025-09-16 cs.CL
Few-Shot Cross-Lingual Transfer for Prompting Large Language Models in Low-Resource Languages
UNIVERSITY OF CALIFORNIA SANTA CRUZ(加州大学圣克鲁兹分校)
针对低资源语言大模型提示能力不足的问题,该研究对比少样本提示、语言自适应微调、机器翻译三种方法,在三类任务上验证少样本提示的平均效果最优且更具成本效益。
2024-03-09 cs.AI cs.CL cs.LG
Language Models in the Loop: Incorporating Prompting into Weak Supervision
Snorkel AI;Stanford University(斯坦福大学);Brown University(布朗大学)
我们提出了一种新的策略,当标记的训练数据有限时,将大型预训练语言模型应用于新任务。而不是在一个典型的zero-shot或Few-Shot的时尚应用模型,我们把模型作为标记功能在一个弱监督框架的基础。为了创建一个分类器,我们首先提示模型回答关于一个例子的多个不同的查询,并定义如何将可能的响应映射到标签和弃权的投票。然后,我们去噪这些嘈杂的标签源使用的Snorkel系统和训练的最终分类与所得的训练数据。我们的实验评估表明,在弱监督框架内提示大语言模型可以显著提高准确性。在WRENCH弱监督基准测试中,这种方法可以显著提高超过zero-shot的性能,平均减少19.5%的错误。我们还发现,这种方法产生的分类器具有可比或更高的准确性,从手工设计的规则训练。
2022-05-04 cs.CL cs.LG
iREL at SemEval-2024 Task 9: Improving Conventional Prompting Methods for Brain Teasers
International Institute of Information Technology, Hyderabad (IIIT-H)(国际信息技术研究所(海得拉巴))
本文提出结合静态与动态少样本提示及模型生成推理策略,提升预训练语言模型在BRAINTEASER脑力谜题任务中的横向思维能力,显著优于基线但不及人类。
2024-05-25 cs.CL
Will It Blend? Mixing Training Paradigms & Prompting for Argument Quality Prediction
Leiden University(莱顿大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本文介绍了我们对第九届论证挖掘研讨会(2022)的共同任务的贡献。我们的方法使用大语言模型的论点质量预测的任务。我们使用GPT-3进行提示工程,并研究了多任务学习,对比学习和中间任务训练的训练范式。我们发现,混合预测设置优于单一模型。验证GPT-3最适合预测论点有效性,而论点新颖性最好通过使用所有三种训练范式训练的模型来估计。
2022-10-05 cs.AI cs.CL
Chain of Thought Prompting Elicits Knowledge Augmentation
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学);Renmin University of China(中国人民大学)
本文提出CoT-KA方法,利用大型语言模型的思维链提示为深度学习增强知识,无需额外检索或推理模型,在多个推理基准上优于纯思维链和非增强方法。
2023-07-04 cs.CL
Structured Chain-of-Thought Prompting for Few-Shot Generation of Content-Grounded QA Conversations
IBM Research AI(IBM研究院人工智能部门)
本文提出结构化思维链提示方法,将内容 grounding 多轮问答生成任务分解为状态机中的多个专用状态,显著提升智能体对文档的忠实度,并仅用 6 个种子示例合成高质量训练数据,有效增强对话式问答智能体的域外泛化能力。
2024-02-20 cs.CL
Push the Limit of Multi-modal Emotion Recognition by Prompting LLMs with Receptive-Field-Aware Attention Weighting
Shanghai Jiao Tong University, Shanghai, China(上海交通大学);Xi'an Jiaotong-Liverpool University, Suzhou, China(西安交通大学-利物浦大学)
针对大语言模型难以低成本处理多模态情感识别的问题,提出Lantern框架,通过感受野感知注意力加权提示大语言模型融合多任务基础模型预测,在IEMOCAP数据集上显著提升性能。
2025-10-02 cs.CL
Decomposed Prompting: A Modular Approach for Solving Complex Tasks
Allen Institute for AI(艾伦人工智能研究所);Stony Brook University(石溪大学);University of Edinburgh(爱丁堡大学)
本文提出分解提示方法,通过将复杂任务模块化分解为可由专用LLM提示处理的简单子任务,并在符号推理和多跳问答等任务上验证其优于少样本提示的性能。
2023-04-11 cs.CL
Global Constraints with Prompting for Zero-Shot Event Argument Classification
HKUST(香港科技大学);Tencent AI Lab(腾讯人工智能实验室)
确定事件参数的作用是事件提取的一个关键子任务。大多数以前的监督模型利用昂贵的注释,这对于开放域应用程序是不实际的。在这项工作中,我们建议使用全局约束,提示有效地处理事件参数分类没有任何注释和特定于任务的培训。具体来说,给定一个事件及其相关段落,该模型首先通过前缀提示和完形填空提示生成若干新段落,其中前缀提示指示事件类型和触发跨度,完形填空提示将每个候选角色与目标论元跨度连接起来。然后,预先训练的语言模型对新段落进行评分,从而进行初始预测。我们新颖的提示模板可以轻松适应所有事件和参数类型,无需手动操作。接下来,该模型通过利用跨任务、跨参数和跨事件关系的全局约束来正则化预测。大量的实验表明,我们的模型的有效性:它优于最好的zero-shot基线的12.5%和10.9%F1 ACE和ERE与给定的参数跨度和4.3%和3.3%F1,分别没有给定的参数跨度。我们已经公开了我们的代码。
2023-02-09 cs.CL
Prompt, Translate, Fine-Tune, Re-Initialize, or Instruction-Tune? Adapting LLMs for In-Context Learning in Low-Resource Languages
University of California, Irvine(加州大学尔湾分校);University of California, Santa Cruz(加州大学圣克ruz分校)
本文全面研究了跨语言适配LLMs以用于低资源语言上下文学习的多种技术,发现少样本提示和翻译测试优于梯度方法,并提出VOR指标将性能退化归因于灾难性遗忘。
2025-06-23 cs.CL
Hypothesis Testing Prompting Improves Deductive Reasoning in Large Language Models
Shanghai Jiao Tong University(上海交通大学);MoE Key Lab of Artificial Intelligence(教育部人工智能重点实验室);AI Institute(人工智能研究院);State Key Lab of Advanced Optical Communication System and Network(先进光通信系统与网络国家重点实验室)
针对大语言模型现有提示方法在复杂推理中存在无效推理、路径虚构等问题,提出加入结论假设、逆向推理与事实验证的假设检验提示法,在ProofWriter和RuleTaker数据集上显著提升效果并优化推理过程。
2024-05-09 cs.AI cs.CL
Prompting Encoder Models for Zero-Shot Classification: A Cross-Domain Study in Italian
University of Pisa(比萨大学)
本文探讨了在意大利官僚和法律语言中使用小型领域专用编码器模型结合提示技术进行零样本分类的可行性,发现进一步预训练的模型在领域特定任务中适应性更强,且校准和领域内动词化器显著提升了性能。
2024-07-30 cs.AI cs.CL
BayesPrompt: Prompting Large-Scale Pre-Trained Language Models on Few-shot Inference via Debiased Domain Abstraction
University of Chinese Academy of Sciences(中国科学院大学);Tsinghua University(清华大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对提示微调在少样本模式下泛化能力不足的问题,提出BayesPrompt方法,通过去偏领域抽象学习包含领域判别信息的提示,抵御无关知识干扰,在基准测试上取得最优性能。
2024-03-20 cs.AI cs.CL
Adaptive Few-shot Prompting for Machine Translation with Pre-trained Language Models
Guangdong University of Technology(广东工业大学);The Chinese University of Hong Kong(香港中文大学)
本文提出自适应少样本提示框架AFSP,通过基于LLM嵌入的示例检索和候选重排序提升机器翻译效果,并构建外交中英平行数据集验证其有效性。
2025-01-03 cs.AI cs.CL
Causality-aware Concept Extraction based on Knowledge-guided Prompting
Fudan University(复旦大学);Meituan(美团);Fudan-Aishu Cognitive Intelligence Joint Research Center(复旦-爱数认知智能联合研究中心)
针对预训练语言模型因虚假共现导致概念抽取精度低的问题,提出基于结构因果模型的知识引导提示干预方法,利用知识图谱实体主题缓解概念偏差,在多语言数据集上验证了有效性。
2023-06-10 cs.AI cs.CL
Multi-Prompting Decoder Helps Better Language Understanding
National Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家重点实验室,南京大学)
针对模型即服务设置下单一提示质量依赖问题,提出多提示解码器(MPD)框架,通过多提示查询和最优传输、校准解码策略,在少样本自然语言理解任务上取得最优结果。
2025-05-31 cs.CL
A Survey on Prompting Techniques in LLMs
George Mason University(乔治梅森大学)
本文对大语言模型的各类提示技术展开综述,梳理现有研究的分类体系,同时指出该领域待解决的问题,为后续研究提供方向。
2024-04-16 cs.AI cs.CL
Empowering Large Language Model for Continual Video Question Answering with Collaborative Prompting
Nanyang Technological University(南洋理工大学)
针对持续学习场景下微调大语言模型易出现灾难性遗忘的问题,提出整合三类提示的协作提示方法ColPro,在两个视频问答数据集上取得了优于现有方法的性能。
2025-01-17 cs.CL cs.CV
Prompting Implicit Discourse Relation Annotation
Saarland University(萨尔大学);Utrecht University(乌得勒支大学)
本研究探讨多种提示技术以提升ChatGPT在隐式话语关系分类中的表现,但实验显示即使分解任务和复杂提示,准确率仍无显著提升,表明该任务在零样本或少样本下尚难解决。
2024-02-07 cs.AI cs.CL
Prompting for Multimodal Hateful Meme Classification
Singapore Management University(新加坡管理大学);Singapore University of Design and Technology(新加坡科技设计大学)
仇恨模因分类是一个具有挑战性的多模态任务,需要复杂的推理和上下文背景知识。理想情况下,我们可以利用明确的外部知识库来补充仇恨模因中的上下文和文化信息。然而,没有已知的明确的外部知识库,可以提供这样的仇恨言论上下文信息。为了解决这个问题,我们提出了一个简单而有效的基于语义的模型,提示预训练的语言模型(PLM)仇恨模因分类。具体来说,我们构造简单的提示,并提供了一些在上下文中的例子,利用预训练的Roberta语言模型仇恨模因分类的隐含知识。我们在两个公开的仇恨和攻击性模因数据集上进行了广泛的实验。我们的实验结果表明,AdvertHate能够达到90.96的高AUC,在仇恨模因分类任务上优于最先进的基线。我们还对各种提示设置进行了细粒度的分析和案例研究,并证明了提示对仇恨模因分类的有效性。
2023-02-08 cs.CL cs.IR cs.MM
Prompting Large Language Models with Audio for General-Purpose Speech Summarization
Massachusetts Institute of Technology(麻省理工学院)
本研究提出结合指令微调LLM与音频编码器的端到端语音摘要框架,经语音-文本配对数据训练后可通过提示实现跨领域多风格语音摘要,性能优于级联基线系统。
2024-06-10 cs.CL eess.AS
Graph Neural Prompting with Large Language Models
University of Notre Dame(圣母大学);Amazon(亚马逊)
提出图神经提示(GNP),一种即插即用方法,通过知识图谱增强预训练大型语言模型,在常识和生物医学推理任务上表现优越。
2023-12-28 cs.AI cs.CL cs.LG
Multilingual Relation Classification via Efficient and Effective Prompting
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
预训练的语言模型在各种NLP任务中取得了令人印象深刻的性能,特别是在低数据状态下。尽管在单语环境中的提示取得了成功,但由于手工制作多语言提示的成本很高,因此在多语言场景中应用基于提示的方法仅限于一组狭窄的任务。在本文中,我们提出了第一个工作基于XML的多语言关系分类(RC),通过引入一个高效和有效的方法,从关系三元组构造提示,只涉及最小的翻译类标签。我们评估了它在完全监督,Few-Shot和zero-shot场景中的性能,并分析了它在14种语言,提示变体和跨语言设置的英语任务训练中的有效性。我们发现,在完全监督和Few-Shot的情况下,我们的提示方法击败竞争基线:微调XLM-R_EM和空提示。在zero-shot实验中,它也大大优于随机基线。我们的方法需要很少的语言知识,可以作为一个强大的基线类似的多语言分类任务。
2022-10-26 cs.CL cs.LG
Investigating the Efficacy of Large Language Models in Reflective Assessment Methods through Chain of Thoughts Prompting
University of Pretoria(比勒陀利亚大学)
本研究评估四个 LLM 借助 CoT 提示评分医学生反思性文章及批判性思维的能力,发现 ChatGPT 表现最佳(Cohen kappa 为 0.53),Llama-7b 最差。
2023-09-30 cs.AI cs.CL
On the Suitability of pre-trained foundational LLMs for Analysis in German Legal Education
Universität Passau(帕绍大学);Institut für Rechtsdidaktik, Universität Passau(帕绍大学法律教学法研究所)
本文评估了预训练基础LLM在德国法律教育分析中的适用性,发现其在特定任务和复杂语境下表现不佳,为此引入基于RAG的提示示例选择方法显著提升预测,并证实其在低标注数据场景下优于基线。
2024-12-20 cs.AI cs.CL
BvSP: Broad-view Soft Prompting for Few-Shot Aspect Sentiment Quad Prediction
College of Software, Nankai University(南开大学软件学院);College of Computer Science, Nankai University(南开大学计算机学院);College of Artificial Intelligence, Tianjin University of Science and Technology(天津科技大学人工智能学院)
本文针对少样本方面情感四元组预测问题,提出宽视角软提示方法BvSP,通过多模板相关性选择、软提示引导和投票聚合,并构建FSQP数据集,在多个少样本设置下显著超越现有方法。
2024-06-11 cs.AI cs.CL
Boosting Theory-of-Mind Performance in Large Language Models via Prompting
Johns Hopkins University(约翰斯·霍普金斯大学)
本文评估GPT-4与GPT-3.5变体的心智理论任务表现,发现上下文思维链提示可显著提升RLHF训练模型的准确率,GPT-4甚至达到100%。
2023-04-26 cs.AI cs.CL
Ethicist: Targeted Training Data Extraction Through Loss Smoothed Soft Prompting and Calibrated Confidence Estimation
Institute for Artificial Intelligence(人工智能研究院);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua University(清华大学)
本文提出 Ethicist 方法,通过损失平滑软提示和校准置信度估计实现定向训练数据提取,显著提升公开基准上的提取性能,并分析了多种影响因素。
2023-07-10 cs.AI cs.CL
Chinese Metaphor Recognition Using a Multi-stage Prompting Large Language Model
School of Information Science and Engineering Yunnan University(云南大学信息科学与工程学院)
针对现有预训练模型无法处理缺本体/喻体的中文隐喻识别问题,提出多阶段生成式启发增强提示框架,结合小模型置信度、问题聚类采样和示例构建提示,在NLPCC-2024相关评测中取得优异成绩。
2024-08-17 cs.AI cs.CL
Memory-Space Visual Prompting for Efficient Vision-Language Fine-Tuning
School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院);National Key Laboratory of General Artificial Intelligence(通用人工智能全国重点实验室)
针对视觉提示增加语言模型输入长度的问题,本文提出MemVP,将视觉提示与FFN权重拼接以注入知识,在多种VL任务上降低训练与推理开销并超越PEFT方法。
2024-05-09 cs.CL cs.CV cs.LG
Least-to-Most Prompting Enables Complex Reasoning in Large Language Models
Google Research(谷歌研究院)
本文提出最少到最多提示策略,通过将复杂问题分解为简单子问题并依次求解,使大型语言模型能够泛化到比提示示例更难的任务,在 SCAN 等基准上显著超越思维链提示。
2023-04-16 cs.AI cs.CL
Self-Convinced Prompting: Few-Shot Question Answering with Repeated Introspection
Shenzhen University(深圳大学);The Hong Kong Polytechnic University(香港理工大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
提出自我确信提示框架,通过标准思维链、说服者和回答者三组件迭代内省,在7个数据集上显著提升少样本问答性能。
2023-10-10 cs.AI cs.CL