Conversational Prompt Engineering
IBM Research(IBM研究院)
本文提出对话式提示工程(CPE),通过聊天模型与用户简短交互,利用未标注数据和用户反馈逐步生成个性化少样本提示,实验表明其零样本提示效果可与更长的少样本提示相媲美,显著节省重复性任务成本。
2024-08-08 cs.CL
The Future of MLLM Prompting is Adaptive: A Comprehensive Experimental Evaluation of Prompt Engineering Methods for Robust Multimodal Performance
University College Dublin(都柏林大学);CeADAR: Ireland’s Centre for AI(爱尔兰人工智能与数据中心(CeADAR))
针对MLLMs提示工程优化问题,本文综合评估7种提示方法在13个开源MLLMs的24项任务上的表现,发现无单一最优方法,提出结合示例引导与选择性结构化推理的自适应策略可提升鲁棒性与准确性。
2025-04-14 cs.AI cs.CL cs.ET
Evaluating LLM-Based Goal Extraction in Requirements Engineering: Prompting Strategies and Their Limitations
Department of Control and Computer Engineering(控制与计算机工程系)
本文探讨了通过三个阶段自动提取功能目标以实现目标导向的需求工程,提出基于工程提示的LLM链,实验表明反馈循环机制在零样本学习中表现更优,但提示策略仍是性能限制因素。
2026-08-05 cs.AI cs.CL cs.SE
A Communication Theory Perspective on Prompting Engineering Methods for Large Language Models
AI Group, WeBank Co., Ltd(微众银行AI团队)
本文从通信理论视角系统梳理大语言模型提示工程方法,分析其在四类典型任务中的发展趋势,并为未来提示工程研究指明方向。
2023-10-24 cs.AI cs.CL
More Samples or More Prompts? Exploring Effective In-Context Sampling for LLM Few-Shot Prompt Engineering
Rensselaer Polytechnic Institute(伦斯勒理工学院);Northeastern University(东北大学);Tongji University(同济大学);Shanghai Jiao Tong University(上海交通大学);Michigan State University(密歇根州立大学)
本文提出上下文内采样(ICS)技术,通过优化多个ICL提示输入的构建来提升LLM少样本性能,并在多个NLI和QA数据集上验证其有效性,同时探索了基于数据相似度的ICS策略。
2024-04-02 cs.CL
DataAgent: Evaluating Large Language Models' Ability to Answer Zero-Shot, Natural Language Queries
Irvington High School(欧文顿高中);Pioneer High School(先锋高中);Davis Senior High School(戴维斯高级中学);The Loomis Chaffee School(卢米斯查菲学校);Bellarmine College Preparatory(贝拉明学院预备学校);Rutgers University(罗格斯大学);University of Maryland, College Park(马里兰大学学院市分校)
本文提出将GPT-3.5作为语言数据科学家,在多个基准数据集上评估其零样本回答自然语言数据查询的能力,并通过Chain-of-Thought和SayCan等提示工程技术验证了大语言模型在低层级数据分析中的潜力。
2024-03-29 cs.AI cs.CL
Metaphor identification using large language models: A comparison of RAG, prompt engineering, and fine-tuning
Department of Linguistics and Communication(语言学与传播学系);University of Birmingham(伯明翰大学);Centre for Arts, Memory & Communities(艺术、记忆与社区中心);Coventry University(考文垂大学)
本研究对比了检索增强生成、提示工程(含零样本、少样本、思维链策略)、微调三种大语言模型方法在全文隐喻识别任务中的表现,发现闭源大模型微调后中位F1达0.79,可部分自动化隐喻识别并支撑相关理论与协议完善。
2025-10-01 cs.AI cs.CL
Mitigating Hallucinations in Zero-Shot Scientific Summarisation: A Pilot Study
Department of Chemical Engineering and Biotechnology(化学工程与生物技术系);University of Cambridge(剑桥大学)
本研究探讨提示工程方法对缓解零样本科学摘要中的幻觉效果,发现上下文重复和随机添加能显著提升摘要与原文的对齐度。
2025-11-30 cs.AI cs.CL
Prompt Space Optimizing Few-shot Reasoning Success with Large Language Models
Wuhan University(武汉大学);Dartmouth College(达特茅斯学院);OPPO Research Institute(OPPO研究院);Rugster Unversity(鲁格斯特大学)
本文提出Prompt Space方法,通过文本嵌入和矩阵分解构建提示空间,以数学框架优化提示选择,在多个推理基准上超越现有少样本方法。
2024-03-28 cs.CL
Enhancing Zero-Shot Crypto Sentiment with Fine-tuned Language Model and Prompt Engineering
Gwangju Institute of Science and Technology(光州科学技术院);Islamic University of Technology(伊斯兰科技大学);SR University(SR大学)
本文研究大型语言模型的监督与指令微调技术以提升加密货币情感分析,发现微调使零样本性能平均提升40%,且简短指令比长复杂指令能带来更高的模型准确率。
2023-10-20 cs.CL
Large Language Models and Prompt Engineering for Biomedical Query Focused Multi-Document Summarisation
School of Computing(计算学院);Macquarie University(麦考瑞大学)
该研究将提示工程与GPT-3.5用于生物医学查询聚焦多文档摘要,验证了少样本提示、检索增强生成的效果,在BioASQ 11b中取得ROUGE-F1前两名的成绩。
2023-11-09 cs.CL
Beyond the Next Token: Towards Prompt-Robust Zero-Shot Classification via Efficient Multi-Token Prediction
Nanyang Technological University(南洋理工大学);Singapore-ETH Centre(新加坡-ETH中心);Tencent(腾讯)
针对大型语言模型因依赖 next-token 概率导致的提示脆弱性问题,提出多位置 token 概率预测方法 P3,在单次运行中模拟生成路径采样,显著提升了零样本文本分类的准确率与鲁棒性,降低了对提示工程的依赖。
2025-04-04 cs.CL
Apollo: Zero-shot MultiModal Reasoning with Multiple Experts
Technion(以色列理工学院);Bar Ilan University(巴伊兰大学)
Apollo提出一种零样本多模态推理框架,通过多专家基础模型去中心化协作执行复杂任务,无需提示工程或定制训练,在风格化图像描述和音频感知图像描述任务上优于半监督最先进模型。
2023-10-25 cs.AI cs.CL cs.CV
Large Language Models in the Workplace: A Case Study on Prompt Engineering for Job Type Classification
Bright Network;Silicon Grove
本文以真实职位分类任务为案例,研究提示工程对GPT-3.5系列模型的影响,发现精心设计的零样本gpt-3.5-turbo可超越监督式模型,且提示措辞对性能至关重要。
2023-04-18 cs.CL
APE: Active Learning-based Tooling for Finding Informative Few-shot Examples for LLM-based Entity Matching
Apple(苹果公司)
本文提出人在回路工具 APE,利用主动学习迭代筛选模糊样本并转化为少样本示例,以降低提示工程成本并提升 LLM 实体匹配效果。
2024-07-29 cs.CL
Prompt Engineering for Scale Development in Generative Psychometrics
University of Virginia(弗吉尼亚大学)
本文研究了提示工程策略如何影响大语言模型生成的人格评估题目质量,发现自适应提示设计在提升结构效度和保留题目池大小方面表现最佳,且其效益随模型能力增强而提升。
2026-03-16 cs.AI cs.CL cs.HC
Evaluating Prompt Engineering Strategies for Sentiment Control in AI-Generated Texts
German Aerospace Center (DLR), Institute of Software Technology, Cologne, Germany(德国航空航天中心(DLR),软件技术研究所,科隆,德国)
本文通过提示工程策略有效控制AI生成文本情感,相较于微调方法更具成本效益和实用性,尤其在数据受限环境下表现突出。
2026-02-06 cs.CL
On Problems of Implicit Context Compression for Software Engineering Agents
JetBrains Research(JetBrains研究院);Technical University of Munich, Germany(慕尼黑技术大学,德国)
研究软件工程代理在长周期任务中因上下文长度限制导致的失败问题,探讨连续嵌入编码方法的适用性及多步骤编码任务中的性能不足。
2026-05-11 cs.AI cs.CL cs.LG
TALEC: Teach Your LLM to Evaluate in Specific Domain with In-house Criteria by Criteria Division and Zero-shot Plus Few-shot
ByteDance China(字节跳动中国);University of Electronic Science and Technology of China(电子科技大学)
TALEC通过标准划分和零样本加少样本的上下文学习,教导LLM使用内部标准进行领域特定评估,与人类判断相关性超80%,可替代微调。
2025-09-24 cs.AI cs.CL
Prompt-Based One-Shot Exact Length-Controlled Generation with LLMs
本文提出一种基于倒计时提示的一次性方法,使大语言模型无需微调即可精确控制生成文本的token数量,在多个基准上显著提升长度合规率并保持答案质量。
2025-08-19 cs.AI cs.CL
Leveraging the Potential of Prompt Engineering for Hate Speech Detection in Low-Resource Languages
Bangladesh Institute of Governance and Management (BIGM)(孟加拉国治理与管理研究所);Department of Cyber Security Engineering, George Mason University(网络安全工程系,乔治·梅森大学)
本文针对低资源语言仇恨言论检测的数据集匮乏问题,在Llama2-7B模型上提出并评估了包括首创隐喻提示在内的六种提示策略,并与多种深度学习模型及词嵌入方法对比,证明了其在孟加拉语等语言中的有效性。
2025-06-30 cs.AI cs.CL
SHROOM-INDElab at SemEval-2024 Task 6: Zero- and Few-Shot LLM-Based Classification for Hallucination Detection
University of Amsterdam(阿姆斯特丹大学)
本文介绍 SHROOM-INDElab 系统,通过上下文特定提示定义与自动生成示例扩展 LLM 幻觉检测分类器,在 SemEval-2024 Task 6 两个赛道分获第四、第六名,并发现零样本优于自动少样本。
2024-04-04 cs.AI cs.CL
The Prompt Engineering Report Distilled: Quick Start Guide for Life Sciences
National Heart & Lung Institute, Faculty of Medicine, Imperial College London(英国伦敦帝国学院医学院国家心脏和肺研究所)
本文总结了生命科学领域中6种核心提示工程技巧,包括零样本、少样本、思考生成等,旨在提升LLM在文献总结、数据提取等任务中的效率与质量。
2026-04-29 cs.CL
!MSA at AraHealthQA 2025 Shared Task: Enhancing LLM Performance for Arabic Clinical Question Answering through Prompt Engineering and Ensemble Learning
Faculty of Computer Science, MSA University(计算机科学学院,MSA大学)
本文提出用于AraHealthQA-2025共享任务Track 2的系统,利用Gemini 2.5 Flash模型结合少样本提示、数据集预处理及集成学习,在阿拉伯语临床多项选择与开放式问答两项子任务中均斩获第二名。
2025-09-14 cs.CL
Multi-party Goal Tracking with LLMs: Comparing Pre-training, Fine-tuning, and Prompt Engineering
Heriot-Watt University(赫瑞-瓦特大学);Edinburgh Centre for Robotics(爱丁堡机器人中心);Alana AI(阿拉纳人工智能)
本研究比较微调、预训练和提示工程三种方法,在有限数据下用LLMs追踪多方对话中的用户目标,发现GPT-3.5-turbo配合推理风格提示效果最佳,但多方对话仍具挑战。
2023-08-29 cs.CL cs.HC
Developing a Scalable Benchmark for Assessing Large Language Models in Knowledge Graph Engineering
Institute for Applied Informatics(应用信息学研究所);Leipzig University(莱比锡大学)
本文提出了一个可扩展的基准测试框架LLM-KG-Bench,用于评估大型语言模型在知识图谱工程中的性能,涵盖语法修正、事实提取和数据集生成三个挑战,并提供了自动评估与可视化工具。
2023-08-31 cs.AI cs.CL cs.DB
A Systematic Review on Prompt Engineering in Large Language Models for K-12 STEM Education
Carnegie Mellon University(卡内基梅隆大学);University of Sheffield(谢菲尔德大学);Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院)
本研究通过PRISMA协议系统综述2021-2024年间30篇文献,分析了K-12 STEM教育中LLMs结合提示工程的应用,发现少样本和思维链等先进提示策略效果显著,且微调小模型在特定情境下可优于大模型。
2024-10-14 cs.CL cs.HC
Privacy Policy Analysis through Prompt Engineering for LLMs
SINTEF(辛泰夫研究院)
本文提出PAPEL框架,利用LLMs和提示工程自动化分析隐私政策,通过零样本、少样本及思维链提示实现信息提取、标注与摘要,在OPP-115基准上F1达0.8以上,减少训练需求并提升适应性。
2024-09-23 cs.CL cs.CY cs.SE
Compensating for Data with Reasoning: Low-Resource Machine Translation with LLMs
Department of Computer Science / University of Innsbruck(计算机科学系 / 因斯布鲁克大学)
本文提出Fragment-Shot Prompting及其无平行数据扩展Pivoted Fragment-Shot方法,利用LLM的推理能力补偿低资源语言翻译数据的不足,实验证明句法覆盖度与翻译质量正相关,且强推理模型能更有效地利用检索知识提升低资源语言间的翻译效果。
2025-05-28 cs.CL
When Many-Shot Prompting Fails: An Empirical Study of LLM Code Translation
Yildiz Technical University, Department of Computer Engineering(Yildiz技术大学计算机工程系)
本研究发现代码翻译中少量精心挑选的示例比大量示例更有效,挑战了ICL中'更多更好'的普遍假设。
2025-12-09 cs.AI cs.CL cs.PL
Sample Design Engineering: An Empirical Study of What Makes Good Downstream Fine-Tuning Samples for LLMs
AI Lab, SIME, Shanghai University of Finance and Economics(上海财经大学SIME AI实验室);Guangdong Yunxi Technology(广东云溪科技);Ant Group(蚂蚁集团)
本研究提出样本设计工程(SDE),通过优化输入、输出和推理设计提升 LLM 微调性能,实验证明其在复杂任务中优于启发式方法。
2024-04-19 cs.CL
Meta-Tool: Efficient Few-Shot Tool Adaptation for Small Language Models
LexisNexis, USA(LexisNexis美国公司)
本文通过Meta-Tool研究小语言模型是否能在不复杂适应机制下实现强工具使用性能,发现超网络适应无显著提升,提示应关注提示工程与示例整理。
2026-04-22 cs.AI cs.CL cs.LG
Batch Calibration: Rethinking Calibration for In-Context Learning and Prompt Engineering
Google Research(谷歌研究院);University of Cambridge(剑桥大学);Google DeepMind(谷歌DeepMind)
本文针对提示与 ICL 中的上下文偏差问题,提出零样本、仅推理且低成本的 Batch Calibration,并扩展至多任务少样本学习,在 PaLM 2 与 CLIP 上取得最优校准性能。
2024-12-01 cs.AI cs.CL cs.LG
Machine Translation with Large Language Models: Prompt Engineering for Persian, English, and Russian Directions
University of Isfahan(伊斯法罕大学)
本文研究波斯语、英语和俄语机器翻译中的提示工程,发现PaLM等多语言LLM可产生接近人工水平的翻译,并系统分类了LLM翻译错误,为上下文学习提示设计提供指导。
2024-01-16 cs.AI cs.CL cs.HC
Prompt engineering does not universally improve Large Language Model performance across clinical decision-making tasks
Harvard School of Public Health(哈佛陈曾熙公共卫生学院);Harvard Medical School(哈佛医学院);Broad Institute of MIT and Harvard(麻省理工学院和哈佛大学博德研究所)
本研究发现提示工程对LLMs在临床决策任务中的性能提升具有高度依赖模型和任务的特性,强调了定制化策略的重要性。
2026-08-11 cs.CL
Differentiable Prompt Makes Pre-trained Language Models Better Few-shot Learners
Zhejiang University(浙江大学);Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院);Alibaba Group(阿里巴巴集团)
大规模预训练语言模型通过展示作为Few-Shot学习者的卓越能力,为自然语言处理做出了重大贡献。然而,它们的有效性主要取决于模型参数的缩放和及时的设计,阻碍了它们在大多数实际应用中的实现。本文提出了一种新的可插入、可扩展、高效的方法DifferentiAble pRompT(DART),它可以将小的语言模型转换为更好的Few-Shot学习器,而无需任何提示工程。这种方法背后的主要原理涉及将潜在的自然语言处理任务重新表达为预先训练的语言模型的任务,并利用反向传播对提示模板和目标标签进行差异化优化。此外,所提出的方法可以:(i)插入任何预先训练的语言模型;(ii)扩展到广泛的分类任务。标准NLP任务的综合评估表明,该方法实现了更好的Few-Shot性能。代码可在https://github.com/zjunlp/DART上找到。
2022-05-04 cs.AI cs.CL cs.CV
Cutting Down on Prompts and Parameters: Simple Few-Shot Learning with Language Models
UC Irvine(加州大学欧文分校);University of Edinburgh(爱丁堡大学);UC Berkeley(加州大学伯克利分校);Facebook AI Research(脸书人工智能研究院);University College London(伦敦大学学院)
使用训练样本和任务描述来验证语言模型(LM)已被视为最近在少样本学习中取得成功的关键。在这项工作中,我们表明,微调LM在Few-Shot设置可以大大减少提示工程的需要。事实上,可以使用空提示,即既不包含特定于任务的模板也不包含训练样本的提示,并且在广泛的任务范围内实现与手动调整的提示竞争的准确性。虽然微调LM确实为每个下游任务引入了新的参数,但我们表明,这种内存开销可以大大减少:仅微调偏差项可以实现与标准微调相当或更好的精度,同时仅更新0.1%的参数。总而言之,我们建议微调LM用于少样本学习,因为它更准确,对不同的提示更鲁棒,并且可以与使用冻结LM一样有效。
2021-07-01 cs.CL cs.LG
OpenMedLM: Prompt engineering can out-perform fine-tuning in medical question-answering with open-source large language models
Montera, Inc dba Forta(Montera公司(经营名称为Forta))
本研究提出开源医学提示平台OpenMedLM,通过组合多种提示策略,在多个医学基准上超越依赖高成本微调的开源SOTA模型,证明提示工程可有效提升开源大模型的医学应用性能。
2024-02-29 cs.AI cs.CL cs.IR
llmNER: (Zero|Few)-Shot Named Entity Recognition, Exploiting the Power of Large Language Models
University of Chile(智利大学);Millennium Institute for Foundational Research on Data(数据基础研究千年研究所);Catholic University of Chile(智利天主教大学);Faculty of Physical and Mathematical Sciences, University of Chile(智利大学物理与数学学院)
本文提出 llmNER 库,通过简化提示构建与结果解析,支持基于大型语言模型的零样本和少样本命名实体识别,并在两个 NER 任务上验证其灵活性与有效性。
2024-06-06 cs.CL
Steps are all you need: Rethinking STEM Education with Prompt Engineering
IIIT Delhi(印度德里理工学院)
针对物理问答中LLM数学能力不足与幻觉问题,论文结合MoE模型和类比提示提升性能,并提出Analogical CoT以帮助小型开源模型使用类比提示。
2025-06-11 cs.CL
Cut the CARP: Fishing for zero-shot story evaluation
Charles River Analytics(查尔斯河分析公司);EleutherAI
大规模语言模型的最新进展(Raffel等人,2019; Brown等人,2020年)为机器驱动的文本生成带来了质和量的显著改进。尽管如此,机器生成的叙事文本的生成和评估仍然是一个具有挑战性的问题。对计算生成的故事的客观评估可能过于昂贵,需要精心注释的数据集,或者可能无法充分衡量生成的故事的叙事结构的逻辑连贯性。根据对比学习的最新进展(Radford等人,2021年),我们提出了对比创作和评论配对(CARP):一种可扩展的,有效的方法,用于执行定性优越,zero-shot评价的故事。我们发现人类对故事的评价与CARP的评价之间存在很强的相关性。模型输出与相应的人类输入的相关性比那些利用微调或提示工程方法的基于语言模型的方法更显著。我们还介绍和分析了故事评论数据集,这是一个新的语料库,由来自80,000多个故事的130万个对齐的故事评论对组成。我们希望这个语料库能引起NLP研究人员的兴趣。
2021-10-26 cs.CL
Beyond Prompting: Making Pre-trained Language Models Better Zero-shot Learners by Clustering Representations
ETH Zurich(苏黎世联邦理工学院);Peking University(北京大学)
最近的研究表明,预训练语言模型(PLM)是zero-shot学习器。然而,大多数现有的zero-shot方法涉及繁重的人体工程学或复杂的自我训练管道,阻碍了它们在新情况下的应用。在这项工作中,我们表明,zero-shot文本分类可以提高简单的聚类文本中的嵌入空间的PLM。具体来说,我们适合未标记的文本与贝叶斯高斯混合模型初始化后,使用类名称的聚类位置和形状。尽管它很简单,但这种方法在主题和情感分类数据集上都取得了优异或相当的性能,并且在不平衡数据集上显著优于先前的工作。我们进一步探索我们的聚类方法的适用性,通过评估它在14个数据集更多样化的主题,文本长度和类的数量。我们的方法实现了平均20%的绝对改善基于神经网络的零样本学习。最后,我们比较了不同的PLM嵌入空间,发现即使PLM没有显式地预先训练以生成有意义的句子嵌入,文本也能很好地按主题聚类。这项工作表明,PLM嵌入可以分类文本没有特定的任务微调,从而提供了一种新的方式来分析和利用他们的知识和零样本学习能力。
2022-11-23 cs.CL cs.LG
The Few-shot Dilemma: Over-prompting Large Language Models
Siemens AG(西门子股份公司);Technical University of Munich(慕尼黑技术大学)
本文提出一个提示框架,使用随机采样、语义嵌入和TF-IDF三种少样本选择方法,在多个LLM上实验发现过多领域特定示例会降低性能,并通过TF-IDF与分层采样结合找到最优示例数量,在软件需求分类上超越现有方法1%。
2026-07-28 cs.CL
Socratic Models: Composing Zero-Shot Multimodal Reasoning with Language
Google(谷歌)
大型预训练(例如,"基础")模型根据它们所训练的数据域而展现出不同的能力。虽然这些域是通用的,但它们可能仅勉强重叠。例如,视觉语言模型(VLM)是在互联网规模的图像标题上训练的,但是大语言模型(LM)是在没有图像的互联网规模的文本上进一步训练的(例如,电子表格、SAT问题、代码)。因此,这些模型在不同领域存储不同形式的常识知识。在这项工作中,我们表明这种多样性是共生的,并且可以通过苏格拉底模型(SM)来利用:一个模块化框架,其中多个预训练模型可以由zero-shot组成,即,通过多模态通知提示,彼此交换信息并捕获新的多模态能力,而不需要微调。通过最少的工程,SM不仅与最先进的zero-shot图像描述和视频到文本检索竞争,而且还实现了新的应用,例如(i)回答关于自我中心视频的自由形式的问题,(ii)参与与人的多模态辅助对话(例如,用于烹饪食谱)通过与外部API和数据库(例如,网络搜索),以及(iii)机器人感知和规划。
2022-05-27 cs.AI cs.CL cs.CV
Probabilistic AND-OR Attribute Grouping for Zero-Shot Learning
Google AI(谷歌人工智能)
在零样本学习(Zero-shot learning,ZRL)中,训练分类器在没有任何图像样本的情况下识别视觉类。相反,它被赋予了关于类的语义信息,比如文本描述或一组属性。从属性中学习可以从显式建模属性空间的结构中受益。不幸的是,从经验样本中学习一般结构对于典型的数据集大小是困难的。在这里,我们描述LAGO,概率模型,旨在捕捉自然的软与或属性组之间的关系。我们展示了如何通过深度属性检测模型来端到端地学习这个模型。软组结构可以作为模型的一部分从数据中共同学习,并且还可以容易地结合关于组的先验知识(如果可用的话)。软与或结构成功地捕获了有意义的和预测的结构,提高了零样本学习在三个基准测试中的两个上的准确性。最后,LAGO揭示了两种不同方法的统一公式:DAP(Lampert et al.,2009)和ESSENL(Romera-Paredes & Torr,2015)。有趣的是,每个属性只取一个单例组,引入了一个新的DAP软松弛,比DAP高出约40。
2018-07-07 cs.AI cs.CV cs.LG
Scaling Public Health Text Annotation: Zero-Shot Learning vs. Crowdsourcing for Improved Efficiency and Labeling Accuracy
University of Toronto(多伦多大学);Dalla Lana School of Public Health(达拉·拉纳公共卫生学院);Institute of Health Policy, Management, and Evaluation (IHPME)(卫生政策、管理与评价研究所);Faculty of Information(信息学院);Schwartz Reisman Institute(施瓦茨·赖斯曼研究所)
本研究针对公共卫生社交媒体数据标注耗时昂贵的问题,对比零样本LLM标注与传统众包标注的表现,发现LLM在简单分类任务中可媲美人类且大幅提速,但复杂任务准确性下降,为公共卫生研究标注提供高效方案。
2025-02-10 cs.CL
A Practical Survey on Zero-shot Prompt Design for In-context Learning
Columbia University(哥伦比亚大学)
本文综述了面向上下文学习的零样本提示设计方法,系统梳理离散、连续、少样本和零样本提示及手动设计、优化算法和评估策略,为高效利用LLM完成NLP任务提供指导。
2023-09-22 cs.AI cs.CL cs.ET
Enhancing Summarization Performance through Transformer-Based Prompt Engineering in Automated Medical Reporting
Utrecht University(乌得勒支大学);Verticai;Nivel (Netherlands institute for health services research)(荷兰卫生服务研究所(Nivel))
本文研究提示设计对 LLM 医疗对话摘要的影响,结合示例提示与模式提示,并通过 ROUGE 和专家人工评估验证双示例加领域上下文方法效果最佳。
2024-01-19 cs.CL
Reverse Prompt Engineering
Northwestern University(西北大学)
针对黑盒、零样本且仅有少量模型输出的场景,提出结合LLM与遗传算法优化的免训练提示反演框架,实现比现有方法更贴合原提示的高质量恢复。
2025-02-16 cs.CL
UPRISE: Universal Prompt Retrieval for Improving Zero-Shot Evaluation
Microsoft(微软)
本文提出 UPRISE,通过微调轻量通用提示检索器为零样本输入自动检索提示,并证明其可跨未见任务类型和不同规模 LLM 泛化,还能缓解 ChatGPT 幻觉。
2023-12-16 cs.CL
Few-shot clinical entity recognition in English, French and Spanish: masked language models outperform generative model prompting
Université Paris-Saclay(巴黎-萨克雷大学);Sorbonne Université(索邦大学)
本研究针对临床领域小样本命名实体识别任务,对比生成式大模型提示学习与掩码模型微调方法,发现轻量掩码biLSTM-CRF模型在英、法、西三语临床NER上F1更优且环境影响更低,提示当前LLM提示学习暂不适合临床NER生产。
2024-10-08 cs.CL
Navigating the Prompt Space: Improving LLM Classification of Social Science Texts Through Prompt Engineering
本文通过系统变化提示工程的三个方面,探讨如何通过增加提示上下文提高LLM对社会科学文本的分类准确性,发现最小的上下文增加能显著提升性能,但过度增加反而可能降低准确性。
2026-03-26 cs.CL cs.CY
Latent Fact-Checking: Detecting Misinformation through Activation Engineering
PUCRS(巴西天主教大学(里约格兰德 do 苏里));Kunumi Institute(库纳米研究所)
本研究提出基于激活工程的虚假信息检测框架,通过对比激活引出潜在空间的虚假信息方向,在多类模型和基准上实现了优于部分基线的检测性能,为可解释性驱动的虚假信息检测提供了新方向。
2026-09-07 cs.CL cs.LG
Financial Sentiment Analysis on News and Reports Using Large Language Models and FinBERT
Zhejiang University(浙江大学);Lehigh University(理海大学)
本文比较了LLMs与FinBERT在金融情感分析中的表现,发现结合少样本提示工程的GPT-4o可达到与微调FinBERT相当的水平。
2024-10-02 cs.CL cs.IR cs.SI