Text Is Not All You Need: Multimodal Prompting Helps LLMs Understand Humor
Northwestern University(西北大学)
针对大语言模型难以理解幽默的问题,研究提出结合文本与TTS生成的口语形式的多模态提示方法,在所有测试数据集上均提升了幽默解释效果。
2024-12-01 cs.CL cs.CY
LLM-as-a-Demographic: Whom Sociodemographic Prompting Helps, and Whom It Hurts
Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会);Almawave Labs(Almawave实验室)
该研究探究社会人口提示法对LLM主观任务评判的影响,发现其存在不对称性,会偏向多数群体、伤害少数群体,交叉特征会放大伤害,指令调优或为不对称性的来源。
2026-09-02 cs.CL
Self-Critique-Guided Curiosity Refinement: Enhancing Honesty and Helpfulness in Large Language Models via In-Context Learning
Seoul National University(首尔大学)
本文提出自我批判引导的好奇心细化提示策略,通过两个轻量级上下文学习步骤提升LLM的诚实性和有用性,在HONESET数据集上实现H²分数1.4%-4.3%的相对提升。
2025-06-19 cs.CL
A Hybrid Multi-Agent Prompting Approach for Simplifying Complex Sentences
Virginia Tech(弗吉尼亚理工大学)
针对大语言模型简化复杂句时需兼顾语义逻辑完整性的问题,提出结合先进提示与多智能体架构的混合方法,在游戏设计复杂句任务中成功率达70%,显著优于单智能体方法的48%。
2025-06-17 cs.CL
Mitigating Exaggerated Safety in Large Language Models
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本研究针对LLMs的过度安全问题,通过结合XSTest数据集与多种提示策略,测试不同模型的决策边界,成功将过度安全行为总体降低92.9%,在安全性与实用性间取得平衡。
2024-08-29 cs.CL
HELP ME THINK: A Simple Prompting Strategy for Non-experts to Create Customized Content with Models
Microsoft Research(微软研究院);Arizona State University(亚利桑那州立大学)
针对现有提示技术任务特定、通用性差且非专业用户使用门槛高的问题,本文提出HELP ME THINK提示策略,引导GPT3通过提问结合用户回答完成任务,在多类高难度任务上验证了有效性,为挖掘大语言模型能力提供了新思路。
2023-06-12 cs.AI cs.CL cs.CV
Prompting with Pseudo-Code Instructions
IBM Research AI(IBM人工智能研究院)
本文探讨了伪代码指令提示对预训练语言模型性能的影响,通过在132项任务上对比BLOOM和CodeGen模型,发现伪代码提示显著提升了分类任务的F1分数和总体ROUGE-L分数,并首次证明了其有效性。
2023-10-19 cs.CL
Dynamic Strategy Chain: Dynamic Zero-Shot CoT for Long Mental Health Support Generation
Jiangxi University of Finance and Economics(江西财经大学)
针对零样本思维链提示在心理健康长咨询文本生成中缺乏策略、无法个性化的问题,提出动态策略链方法,通过GPT2动态生成适配策略引导大模型生成回复,性能优于传统零样本思维链方法。
2023-08-21 cs.AI cs.CL cs.HC
Prompting Large Language Models for Zero-Shot Domain Adaptation in Speech Recognition
University of Cambridge(剑桥大学);Microsoft(微软)
本研究提出两种基于LLaMA的零样本ASR领域自适应方法(第二遍重打分和深度LLM融合),仅用领域文本提示即可有效降低域外数据集词错误率,并提升实体和词外词召回。
2023-06-28 cs.CL eess.AS eess.SP
Understanding QA generation: Extracting Parametric and Contextual Knowledge with CQA for Low Resource Bangla Language
Department of Computer Science and Engineering(计算机科学与工程系)
本文提出BanglaCQA数据集,通过反事实方法分析孟加拉语QA模型的知识来源,揭示CoT提示在提取参数化知识中的有效性。
2026-02-01 cs.CL
ReverseEOL: Improving Training-free Text Embeddings via Text Reversal in Decoder-only LLMs
Institute of Science Tokyo(东京科学研究所);Tencent(腾讯)
提出ReverseEOL方法,通过反转输入文本生成互补嵌入,结合前向嵌入提升冻结解码器仅LLM的文本表示能力,在STS和MTEB基准上显著提升无训练基线性能。
2026-06-04 cs.CL
Prompting Science Report 1: Prompt Engineering is Complicated and Contingent
Generative AI Labs, The Wharton School of Business, University of Pennsylvania(宾夕法尼亚大学沃顿商学院生成式人工智能实验室);WHU–Otto Beisheim School of Management(WHU-奥托·贝希姆管理学院);Glowforge(Glowforge公司)
本文通过实证测试指出,LLM 基准测试标准的选择会显著影响评估结果,且礼貌用语、约束回答等提示策略的效果因情境而异,并非普遍有效。
2025-03-04 cs.AI cs.CL
Enhancing Large Language Models Against Inductive Instructions with Dual-critique Prompting
The Chinese University of Hong Kong(香港中文大学)
本文针对大语言模型易受基于反事实前提的归纳式指令误导的问题,构建了INDust基准揭示其普遍脆弱性,并提出Dual-critique提示方法,有效提升了多种大语言模型抵御不同类型归纳式指令的鲁棒性。
2024-03-07 cs.CL
Prompting GPT-3 To Be Reliable
University of Maryland(马里兰大学);Microsoft(微软)
大语言模型(LLM)通过Few-Shot提示显示出令人印象深刻的能力。商业化的API(如OpenAI GPT-3)进一步增加了它们在现实世界语言应用程序中的使用。然而,如何提高GPT-3的可靠性的关键问题仍然是探索不足。虽然可靠性是一个宽泛且定义模糊的术语,但我们将可靠性分解为四个主要方面,这些方面与现有的ML安全框架相对应,并且被公认为非常重要:可推广性,社会偏见,校准和真实性。我们的核心贡献是建立简单有效的提示,提高GPT-3的可靠性,因为它:1)概括了分布,2)平衡人口分布,并使用自然语言指令来减少社会偏见,3)校准输出概率,4)更新LLM的事实知识和推理链。通过适当的提示,GPT-3在所有这些方面都比小规模的监督模型更可靠。我们发布所有处理过的数据集、评估脚本和模型预测。我们的系统性实证研究不仅对LLM的提示可靠性提出了新的见解,更重要的是,我们的提示策略可以帮助从业者更可靠地使用LLM,如GPT-3。
2023-02-15 cs.CL
Prompting Large Language Models for Clinical Temporal Relation Extraction
UTHealth at Houston(休斯顿德克萨斯大学健康科学中心);Mayo Clinic(妙佑医疗国际)
本文在2012 i2b2 CTRE任务上评估多种LLM的FFT与PEFT提示微调策略,全监督下GatorTron-Base硬提示以89.54% F1刷新SOTA,并分析了少样本设置差异。
2024-12-04 cs.CL cs.LG
Pragmatic Metacognitive Prompting Improves LLM Performance on Sarcasm Detection
Algoverse AI Research(Algoverse AI研究院)
本文提出语用元认知提示 PMP,通过语用推理与反思策略增强 LLM 的语境和隐含意义理解,并在 MUStARD、SemEval2018 上取得最优反讽检测性能。
2024-12-04 cs.CL
Fact-and-Reflection (FaR) Improves Confidence Calibration of Large Language Models
Tencent AI Lab(腾讯AI实验室);Carnegie Mellon University(卡内基梅隆大学)
本文研究提示策略对 LLM 置信度校准的影响,提出两阶段 Fact-and-Reflection (FaR) 提示,通过先引出事实再反思作答,显著降低校准误差并支持检索增强。
2024-09-08 cs.CL
EDDA: A Encoder-Decoder Data Augmentation Framework for Zero-Shot Stance Detection
Shenzhen University(深圳大学);Shenzhen Technology University(深圳技术大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Xi'an Jiaotong University(西安交通大学);Shenzhen x-nstitute(深圳x-研究院)
针对零样本立场检测中数据增强泛化不足的问题,提出编码器-解码器数据增强框架EDDA,利用大语言模型生成逻辑关联并增强句法多样性,显著提升了检测性能与可解释性。
2024-03-23 cs.CL
WHAT-IF: Exploring Branching Narratives by Meta-Prompting Large Language Models
University of Pennsylvania(宾夕法尼亚大学);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
该研究提出WHAT-IF系统,通过零样本元提示GPT-4基于预写故事的关键决策点生成分支叙事,以图结构存储情节树,支持玩家选择的互动式小说游戏,可生成连贯的替代故事线。
2025-10-20 cs.CL
SGPT: GPT Sentence Embeddings for Semantic Search
Peking University(北京大学)
解码器Transformers的规模不断增加,达到数千亿个参数。由于它们的规模,相同的解码器通过提示或微调在各种语言任务上设置最先进的结果。然而,这些大的基础模型仍然无法用于语义搜索和句子嵌入的相关领域。这可能会阻止新的最先进的结果,并迫使组织训练和维护单独的模型。为此,我们建议SGPT使用解码器的句子嵌入和语义搜索通过提示或微调。在58亿个参数上,SGPT比以前最好的句子嵌入提高了7%,并且在BEIR搜索基准上测量时优于具有1750亿个参数的并发方法。代码、模型和结果文件可在https://github.com/Muennighoff/sgpt上免费获得。
2022-08-05 cs.AI cs.CL cs.IR
Enhancing Chain of Thought Prompting in Large Language Models via Reasoning Patterns
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Wuhan AI Research(武汉人工智能研究院)
本文提出利用推理模式选择多样化示例以增强思维链提示,减轻噪声影响并提供可解释性,实验证明该方法在多种推理任务上更稳健且持续改进。
2025-03-13 cs.CL
The Prompt Makes the Person(a): A Systematic Evaluation of Sociodemographic Persona Prompting for Large Language Models
University of Mannheim(曼海姆大学);GESIS - Leibniz Institute for the Social Sciences(莱布尼茨社会科学研究所);Complexity Science Hub Vienna(维也纳复杂科学中心)
该研究针对大语言模型社会人口统计人格提示的模拟保真度问题,系统评估不同提示策略对15个交叉群体模拟的影响,发现访谈式提示与姓名启动可减少刻板印象,且小模型表现优于大模型,为相关提示设计提供指导。
2025-10-03 cs.CL
Chain-of-Thought Prompting Obscures Hallucination Cues in Large Language Models: An Empirical Evaluation
East China Normal University(东中国师范大学);Wuhan University(武汉大学);Xiaohongshu Inc.(小红书公司)
本文实证评估了思维链(CoT)提示对大型语言模型幻觉检测的影响,发现CoT虽能降低幻觉频率,却会掩盖检测信号从而损害检测方法的有效性,揭示了推理使用中被忽视的权衡。
2025-09-16 cs.CL
Code Prompting: a Neural Symbolic Method for Complex Reasoning in Large Language Models
Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院)
针对大语言模型自然语言中间推理步骤的缺陷,提出以代码为中间步骤的神经符号提示方法Code Prompting,在7个推理基准上优于CoT提示,并分析了其优势与影响因素。
2023-10-07 cs.AI cs.CL
Detecting Conversational Mental Manipulation with Intent-Aware Prompting
The University of Sydney(悉尼大学);University of Technology Sydney(悉尼科技大学);Xi’an Jiaotong-Liverpool University(西交利物浦大学);Harvard University(哈佛大学);University of New South Wales(新南威尔士大学)
该研究针对对话中心理操纵检测的复杂性,提出意图感知提示(IAP)方法,在MentalManip数据集上验证其可减少假阴性、提升检测效果,相关代码已公开。
2026-09-04 cs.CL
When Does a Classifier Help an LLM? Classifier-Guided Prompting and Hybrid Classifier-LLM Models for Credit-Default Prediction
Amador Valley High School(阿马多尔谷高中);Research Spark Hub Inc.(Research Spark Hub 公司)
本研究针对信用卡违约预测任务,对比了单模型性能,提出将分类器的预测概率加入LLM提示的方法,可提升其AUC-ROC至与随机森林相当,同时保持更高召回率,推荐使用该分类器引导提示。
2026-09-01 cs.CL cs.LG
Keyword-Centric Prompting for One-Shot Event Detection with Self-Generated Rationale Enhancements
State Key Laboratory of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University(一般人工智能国家重点实验室,智能科学与技术学院,北京大学)
针对LLM在事件检测中因缺乏触发词理解和过度解读导致ICL失效的问题,提出KeyCP++方法,通过构建触发词判别模板生成理由,减少对关键词依赖并促进规则学习,显著提升一次性事件检测性能。
2025-08-11 cs.CL
OmniVox: Zero-Shot Emotion Recognition with Omni-LLMs
Stony Brook University(石溪大学);Institute for Advanced Computational Science(高级计算科学研究院)
本文提出OmniVox,首次系统评估四种全模态大语言模型在零样本情绪识别任务上的表现,并引入声学提示策略,在IEMOCAP和MELD基准上验证其优于或媲美微调音频模型。
2025-03-28 cs.CL
CoRRPUS: Code-based Structured Prompting for Neurosymbolic Story Understanding
University of Pennsylvania(宾夕法尼亚大学);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
本文提出CoRRPUS系统,利用Codex等代码大语言模型引导符号方法跟踪故事状态,在bAbI Task 2和Re^3任务上以极少手工工程超越现有结构化LLM技术,强调符号表示与专门化提示对推理的重要性。
2023-06-08 cs.CL
Prompting Science Report 3: I'll pay you or I'll kill you -- but will you care?
University of Pennsylvania(宾夕法尼亚大学);WHU–Otto Beisheim School of Management(WHU-奥托·拜斯海姆管理学院);Glowforge
该研究通过在GPQA和MMLU-Pro基准上的实证测试,验证了给小费、威胁这两种常见提示策略对大模型整体基准性能无显著影响,仅会在单个问题层面造成性能差异,提示简单变体的效果或被高估。
2025-08-01 cs.AI cs.CL
Please Translate Again: Two Simple Experiments on Whether Human-Like Reasoning Helps Translation
Language Technology Lab University of Amsterdam(语言技术实验室 阿姆斯特丹大学)
本文通过实验检验LLM翻译中类人逐步推理的有效性,发现CoT式分解并非性能提升的明确来源,而“再翻译一次”的自我精炼策略效果更优,揭示了人类与LLM最优翻译策略的差异。
2025-09-22 cs.CL
PiVe: Prompting with Iterative Verification Improving Graph-based Generative Capability of LLMs
Monash University(莫纳什大学);VinUniversity;University of Cambridge(剑桥大学)
提出PiVe框架,通过训练小型语言模型作为验证器,利用细粒度纠正指令迭代提升LLM的图生成能力,并验证其在数据集上的改进及数据增强作用。
2024-05-30 cs.CL
Prompt Sketching for Large Language Models
ETH Zurich(苏黎世联邦理工学院)
针对大语言模型顺序提示中间响应脱节冗长的问题,提出提示草图范式,通过调整解码流程优化模板似然,零样本下在多数基准任务上优于现有方案,并发布相关草图和开源库。
2023-11-08 cs.AI cs.CL
Chain of Thought Still Thinks Fast: APriCoT Helps with Thinking Slow
Vanderbilt University(范德比大学);Tennessee Technological University(田纳西技术大学);Berea College(贝拉学院)
针对语言模型在MMLU任务中因吸收训练数据偏差而影响答案选择的问题,提出了反事实提示方法APriCoT,有效降低了基础概率影响并提升了整体准确率,实现了更稳健公平的慢思考。
2025-08-11 cs.AI cs.CL
BatchPrompt: Accomplish more with less
Microsoft(微软公司)
针对大模型单样本提示效率低、批量提示性能下降的问题,提出BPE批量排列集成与SEAS自反思早停技术,在多个NLP任务上以极少的调用和token成本达到甚至超过单样本提示性能。
2024-07-15 cs.CL
Do Encoders Suffice? A Systematic Comparison of Encoder and Decoder Safety Judges for LLM Adversarial Evaluation
PricewaterhouseCoopers(普华永道)
系统比较ModernBERT系列编码器分类器与基于LLM的解码器评判器在识别有害LLM输出上的性能,发现编码器可在保持低延迟和低成本的同时接近LLM评判器的效果。
2026-06-25 cs.AI cs.CL
Enhancing Zero-shot Chain of Thought Prompting via Uncertainty-Guided Strategy Selection
Microsoft Corporation(微软公司)
针对零样本 CoT 提示中人工示例成本高、触发短语不可靠的问题,提出 ZEUS,利用不确定性估计选择有效示例,并在四个推理基准上持续优于现有策略。
2024-12-06 cs.AI cs.CL
Image-of-Thought Prompting for Visual Reasoning Refinement in Multimodal Large Language Models
School of Engineering, Westlake University(西湖大学工程学院);City University of Hong Kong(香港城市大学);Research Center for Industries of the Future, Westlake University(西湖大学未来产业研究中心);Johns Hopkins University(约翰斯·霍普金斯大学)
提出 Image-of-Thought (IoT) 提示方法,通过自动设计视觉信息提取操作逐步生成视觉推理路径,结合文本与视觉推理路径,提升了多模态大语言模型在零样本视觉推理任务中的性能并增强了过程可解释性。
2024-05-29 cs.AI cs.CL cs.CV
Fine-Grained Emotion Classification from Mobile App Reviews: An Empirical Study with Large Language Models
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
本研究实证评估大语言模型在严重类别不平衡下对移动应用评论进行细粒度多标签情感分类,发现少样本提示性能最优(宏F1 0.642),而编码器微调结合生成式数据增强和损失重加权可在更低延迟下接近此性能,为需求工程提供可行方案。
2026-10-06 cs.CL cs.IR cs.SE
How do Large Language Models Navigate Conflicts between Honesty and Helpfulness?
Princeton University(普林斯顿大学);Google DeepMind(谷歌DeepMind)
本研究利用心理模型和实验分析LLMs在诚实与有用性间的权衡,发现RLHF能同时提升两者,而CoT提示偏向有用性,GPT-4 Turbo表现出类似人类的响应模式且可通过零样本提示引导其抽象价值观。
2024-02-13 cs.AI cs.CL cs.LG
Dialectical Behavior Therapy Approach to LLM Prompting
University of Bremen(不来梅大学);Texas Woman’s University(德克萨斯女子大学);Portland State University(波特兰州立大学)
本文提出一种受辩证行为疗法(DBT)启发的提示策略,通过应用DBT塑造对话的基本概念构建提示,显著提升了较小规模LLM在复杂推理任务上的准确率。
2024-10-10 cs.CL cs.LG
Commonsense-Aware Prompting for Controllable Empathetic Dialogue Generation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提高预训练的语言模型的情感意识是对话生成任务的一个新兴的重要问题。虽然先前的研究已经介绍了提高移情对话生成的方法,但很少有人讨论如何将常识知识结合到预先训练的语言模型中以用于可控对话生成。在这项研究中,我们提出了一个新的框架,提高移情对话生成使用预先训练的语言模型1)通过即时言语化结合常识知识,和2)控制对话生成使用策略驱动的未来会话。我们进行了实验,揭示了社会常识知识的纳入和执法控制的生成有助于提高生成性能。最后,我们讨论了我们的研究对未来研究的影响。
2023-02-02 cs.CL cs.LG
Exploiting the Potential of Seq2Seq Models as Robust Few-Shot Learners
Kakao Corp.(Kakao公司);NVIDIA(英伟达公司);Kyunghee University(庆熙大学)
本文首次广泛比较了decoder-only与encoder-decoder模型的上下文少样本学习能力,并提出目标对齐提示与基于融合的方法,使seq2seq模型超越大六倍的模型并取得显著性能提升。
2024-08-27 cs.AI cs.CL
Efficient Prompting via Dynamic In-Context Learning
ETH Zürich(苏黎世联邦理工学院)
提出DynaICL方案,通过训练元控制器根据输入复杂度和计算预算动态分配上下文示例数量,在保持性能的同时节省高达46%的token预算,并能泛化到未见模型与任务。
2023-05-18 cs.AI cs.CL cs.LG
A Systematic Analysis of Large Language Models with RAG-enabled Dynamic Prompting for Medical Error Detection and Correction
George Mason University(乔治·马歇尔大学);University of Washington(华盛顿大学)
本文提出基于RAG动态提示的医疗错误检测与纠正方法,通过对比不同提示策略,发现RDP在准确率、召回率和纠错可靠性方面表现更优。
2025-11-26 cs.AI cs.CL
R$^3$ Prompting: Review, Rephrase and Resolve for Chain-of-Thought Reasoning in Large Language Models under Noisy Context
East China Normal University(华东师范大学);Singapore Management University(新加坡管理大学);Alibaba Group(阿里巴巴集团)
针对大型语言模型在噪声上下文中推理不准确的问题,提出R$^3$ prompting交互式提示方法,通过关键句提取、变量声明和答案预测三步提升推理准确率,实验证明其鲁棒性与泛化能力。
2023-10-25 cs.AI cs.CL
Prompting Science Report 2: The Decreasing Value of Chain of Thought in Prompting
University of Pennsylvania(宾夕法尼亚大学);WHU–Otto Beisheim School of Management(WHU-奥托·拜斯海姆管理学院);Glowforge
本报告通过严格测试评估CoT提示,发现其收益高度依赖任务与模型,对具备内置推理能力的新模型价值有限,却显著增加token与时间成本。
2025-06-08 cs.AI cs.CL
Prompting and Adapter Tuning for Self-supervised Encoder-Decoder Speech Model
National Taiwan University(台湾大学);Meta AI
本研究针对自监督编码器-解码器语音模型Wav2Seq,提出提示和适配器调优方法,在序列生成任务上显著优于传统微调,并在跨语言和低资源场景下展现优势。
2023-11-14 cs.CL eess.AS eess.SP
Can Separators Improve Chain-of-Thought Prompting?
Yonsei University(延世大学);Linq
针对思维链提示示例密集易引发大语言模型认知过载的问题,提出在每个示例末尾添加分隔符的COT-SEP方法,显著提升复杂推理任务表现,并测试了分隔符类型、位置在多模型上的效果。
2024-10-09 cs.AI cs.CL
Sensitivity, Performance, Robustness: Deconstructing the Effect of Sociodemographic Prompting
Technical University of Darmstadt(达姆施塔特工业大学);University of Hamburg(汉堡大学)
本研究通过最大规模实验,分析社会人口统计提示对模型敏感性、性能和鲁棒性的影响,发现其可提升主观NLP任务的零样本学习,但效果因模型和数据集而异,在敏感应用中需谨慎使用。
2024-02-08 cs.AI cs.CL
The Maskability Index: Predicting Task-Objective Alignment in Pretrained Language Models
Sirjan University of Technology(锡尔詹理工大学);Department of Computer Engineering(计算机工程系)
研究提出可掩码性指数(MI),用于评估知识关系适合的提示方式,通过掩码与未掩码模板的DepthRank分数差异计算。在ATOMIC2020基准上评估发现MI与下游生成性能正相关,有助于选择提示模板和策略提取预训练语言模型的关系知识。
2026-07-23 cs.AI cs.CL
From Words to Widgets for Controllable LLM Generation
Cornell University(康奈尔大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Loyola University Maryland(路易斯安那大学马里兰分校)
本文提出Malleable Prompting技术,通过将自然语言提示中的偏好转化为可视化的小部件,使用户能更精确地控制LLM生成,提升可控性和透明度。
2026-08-11 cs.CL cs.HC
An Examination on the Effectiveness of Divide-and-Conquer Prompting in Large Language Models
University of Southern California(南加州大学);Coupang, Inc(Coupang公司);Microsoft Research, Asia(微软亚洲研究院)
本文通过理论分析考察大语言模型中分而治之提示策略的适用任务类型,并以大整数算术和事实验证两个案例验证了该策略在特定任务上的性能提升。
2024-07-02 cs.AI cs.CL cs.LG
Scenarios and Approaches for Situated Natural Language Explanations
Tohoku University(东北大学);Vector Institute for Artificial Intelligence(人工智能矢量研究所);Dalhousie University(达尔豪斯大学);Stevens Institute of Technology(史蒂文斯理工学院)
本文提出情境化自然语言解释基准数据集 SBE,通过三类提示方法在多种预训练语言模型上定量评估 LLMs 对受众情境的适配能力,并揭示了人设提示与上下文学习提示的局限性。
2024-06-07 cs.AI cs.CL