Ask Me Anything: A simple strategy for prompting language models
Stanford University(斯坦福大学);Numbers Station;University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
大语言模型(LLM)可以很好地转换到新任务,只需给出一个自然语言提示,演示如何执行任务,而无需额外的培训。提示是一个脆弱的过程,其中对提示的小修改可能导致模型预测的大变化,因此大量的努力致力于为任务设计一个精心设计的“完美提示”。为了减轻高度的努力,涉及的提示设计,我们反而问是否生产多个有效的,但不完美的,提示和聚合它们可以导致一个高质量的提示策略。我们的观察激发了我们提出的激励方法,问我任何事情(AMA)。我们首先发展的有效提示格式的理解,发现问答(QA)提示,鼓励开放式的一代(“谁去了公园?“)往往优于那些限制模型输出的结果(“约翰去了公园。输出True或False。").我们的方法递归地使用LLM本身将任务输入转换为有效的QA格式。我们应用收集到的提示,以获得几个嘈杂的投票输入的真实标签。我们发现,提示可以有非常不同的准确性和复杂的依赖关系,因此建议使用弱监督,一个程序相结合的嘈杂的预测,以产生最终的预测输入。我们在开源模型家族中评估AMA(例如,EleutherAI、BLOOM、OPT和T0)和模型尺寸(125 M-175 B参数),证明与Few-Shot基线相比,平均性能提升10.2%。这种简单的策略使开源GPT-J-6 B模型在20个流行基准测试中的15个上匹配并超过了Few-Shot GPT 3 - 175 B的性能。在这些任务中,GPT-J-6 B型号的平均性能优于…
2022-11-20 cs.CL
Exploring the Boundaries of GPT-4 in Radiology
Microsoft Health Futures(微软健康未来部门);Harvard University(哈佛大学)
本文评估了GPT-4在放射学报告文本任务上的性能,发现其通过多种提示策略在多项任务中表现与SOTA专用模型相当或更优,且具备充足的领域知识。
2023-10-23 cs.CL
You Don't Need Prompt Engineering Anymore: The Prompting Inversion
Independent Researcher(独立研究者)
本研究提出Sculpting提示方法,发现其在中端模型gpt-4o上优于标准CoT,但在gpt-5上效果相反,揭示提示策略需随模型能力共同演进。
2025-10-25 cs.AI cs.CL cs.LG
Joint Visual and Text Prompting for Improved Object-Centric Perception with Multimodal Large Language Models
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学);Angelalign Inc.(时代天使公司)
本文提出VTPrompt,通过检测模型生成对象视觉提示并与文本提示联合输入MLLM,在MME、MMB和POPE上显著提升GPT-4V与Gemini Pro的对象中心感知性能。
2024-04-06 cs.CL
The American Ghost in the Machine: How language models align culturally and the effects of cultural prompting
School of Data Science University of Virginia(数据科学学院 多伦多大学)
本研究通过文化提示测试了多种LLM对不同文化适应性,发现多数模型默认倾向美国,但对日本和中国文化对齐存在困难。
2025-12-13 cs.CL
Pragmatic Metacognitive Prompting Improves LLM Performance on Sarcasm Detection
Algoverse AI Research(Algoverse AI研究院)
本文提出语用元认知提示 PMP,通过语用推理与反思策略增强 LLM 的语境和隐含意义理解,并在 MUStARD、SemEval2018 上取得最优反讽检测性能。
2024-12-04 cs.CL
MultiTool-CoT: GPT-3 Can Use Multiple External Tools with Chain of Thought Prompting
Kyoto University(京都大学);National Institute of Informatics(国立信息学研究所)
本文提出 MultiTool-CoT 框架,通过思维链提示让 GPT-3 在推理中调用计算器和知识检索器等多个外部工具,在 NumGLUE Task 2 上取得最先进性能。
2023-05-26 cs.AI cs.CL cs.LG
Zero-Shot Chain-of-Thought Reasoning Guided by Evolutionary Algorithms in Large Language Models
School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);National Key Laboratory of General Artificial Intelligence(通用人工智能国家重点实验室);Key Laboratory of Machine Perceptron (MOE), Peking University(北京大学机器感知教育部重点实验室)
本文提出一种基于进化算法动态生成零样本思维链提示的方法,通过初始化、进化操作和选择重写,在十个数据集上优于现有方法,提升了大语言模型的推理能力。
2024-02-08 cs.CL
Will It Blend? Mixing Training Paradigms & Prompting for Argument Quality Prediction
Leiden University(莱顿大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本文介绍了我们对第九届论证挖掘研讨会(2022)的共同任务的贡献。我们的方法使用大语言模型的论点质量预测的任务。我们使用GPT-3进行提示工程,并研究了多任务学习,对比学习和中间任务训练的训练范式。我们发现,混合预测设置优于单一模型。验证GPT-3最适合预测论点有效性,而论点新颖性最好通过使用所有三种训练范式训练的模型来估计。
2022-10-05 cs.AI cs.CL
Evaluating Prompting Strategies for Chart Question Answering with Large Language Models
Georgia State University, Atlanta GA, USA(佐治亚州立大学)
本文系统评估了四种提示策略在图表问答任务中的表现,发现Few-Shot Chain-of-Thought策略在准确性和格式遵循上表现最佳,为结构化数据推理任务提供了选择提示策略的指导。
2026-03-03 cs.AI cs.CL cs.LG
Can GPT-3 Perform Statutory Reasoning?
University of Maryland School of Law(马里兰大学法学院);Télécom Paris Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院);Johns Hopkins University(约翰斯·霍普金斯大学)
本文探讨 GPT-3 在成文法推理任务上的能力,使用 SARA 数据集测试多种提示方法,虽优于先前结果,但在简单合成成文法上表现不佳,揭示其推理局限。
2023-05-10 cs.AI cs.CL
GSM-Plus-BN: A Perturbation-Based Benchmark for Bangla Mathematical Reasoning in Large Language Models
Southeast University(东南大学);Ahsanullah University of Science and Technology(阿山努拉科技大学)
研究针对大语言模型中孟加拉语数学推理评估缺乏的问题,引入GSM-Plus-BN数据集,用9000个样本评估六个开源LLMs,对比标准提示和思维链提示,发现大模型鲁棒性好,思维链提示有提升,但与英语基准有差距,为相关研究提供新资源和基线。
2026-07-16 cs.CL
AI Coding with Few-Shot Prompting for Thematic Analysis
Asia School of Business(亚洲商学院);Malaysia School of Pharmacy, Monash University(莫纳什大学马来西亚药学院)
本文研究如何利用GPT 3.5-Turbo结合少样本提示和语义相似段落的高质量编码,以低成本、可扩展的方式提升主题分析编码质量。
2025-04-10 cs.CL
Empathetic Cascading Networks: A Multi-Stage Prompting Technique for Reducing Social Biases in Large Language Models
ECN通过多阶段提示技术减少大型语言模型的社会偏见,提升对话AI的共情与包容性。
2026-02-19 cs.AI cs.CL
Boosting Theory-of-Mind Performance in Large Language Models via Prompting
Johns Hopkins University(约翰斯·霍普金斯大学)
本文评估GPT-4与GPT-3.5变体的心智理论任务表现,发现上下文思维链提示可显著提升RLHF训练模型的准确率,GPT-4甚至达到100%。
2023-04-26 cs.AI cs.CL
The Unreliability of Explanations in Few-shot Prompting for Textual Reasoning
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提示一个大语言模型(LLM),如GPT-3与解释改善上下文学习?我们研究这个问题的两个NLP任务,涉及推理的文本,即问答和自然语言推理。我们测试了四个LLM在三个文本推理数据集上的性能,使用的提示包括多种不同风格的解释。对于这些任务,我们发现,在OPT,GPT-3(davinci)和InstructGPT(text-davinci-001)的提示中包含解释,与标准的few show学习相比,只能产生小到中等的准确性提高。然而,text-davinci-002能够更大程度地受益。我们进一步表明,由LLM生成的解释可能不需要模型的预测,也不是事实上基于输入,即使是在简单的任务与提取的解释。然而,这些有缺陷的解释仍然可以作为事后验证LLM预测的一种方法。通过在我们的三个设置中的分析,我们表明,人类判断的解释是好的-逻辑上与输入和预测一致-更有可能与准确的预测共存。根据这些观察结果,我们使用自动提取的分数来训练校准器,这些分数评估解释的可靠性,使我们能够在所有数据集上提高性能。
2022-10-13 cs.CL
Metacognitive Prompting Improves Understanding in Large Language Models
Stanford University(斯坦福大学);Meta Platforms, Inc.(元平台公司)
本研究提出受人类内省推理启发的元认知提示(MP)策略,通过结构化自我认知评估提升大型语言模型理解能力,在十个NLU数据集上验证其优于现有提示方法。
2024-03-20 cs.AI cs.CL
Leveraging GPT-4 for Food Effect Summarization to Enhance Product-Specific Guidance Development via Iterative Prompting
Drexel University(德雷塞尔大学);United States Food and Drug Administration(美国食品药品监督管理局)
本研究提出一种三轮迭代提示方法,利用 GPT-4 从新药申请文件中生成食物效应摘要,实验表明其生成的摘要在事实一致性上表现优异,能显著提升特定产品指南评估的效率。
2023-06-28 cs.AI cs.CL cs.LG
The Few-shot Dilemma: Over-prompting Large Language Models
Siemens AG(西门子股份公司);Technical University of Munich(慕尼黑技术大学)
本文提出一个提示框架,使用随机采样、语义嵌入和TF-IDF三种少样本选择方法,在多个LLM上实验发现过多领域特定示例会降低性能,并通过TF-IDF与分层采样结合找到最优示例数量,在软件需求分类上超越现有方法1%。
2026-07-28 cs.CL
Multilingual Prompting for Improving LLM Generation Diversity
New York University(纽约大学);Columbia University(哥伦比亚大学)
针对LLM生成缺乏文化与观点多样性的问题,本文提出多语言提示方法,通过跨文化语言线索激活更广知识,并在多个模型上验证其优于现有多样性增强技术。
2025-09-27 cs.CL cs.CY
GPT is becoming a Turing machine: Here are some ways to program it
Fred Hutchinson Cancer Research Center(弗雷德·哈钦森癌症研究中心);University of California San Diego(加利福尼亚大学圣迭戈分校);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Microsoft Research(微软研究院)
我们证明,通过适当的提示,GPT-3系列的模型可以被触发,以执行必要的迭代行为,执行(而不仅仅是写或回忆)涉及循环的程序,包括在计算机科学课程或软件开发人员访谈中发现的几个流行的算法。我们通过以下三种方式之一(或组合)来触发对自注意力(IRSA)的执行和描述:1)在针对一个特定输入的目标程序的执行路径的示例中使用强重复结构,2)使用执行路径的片段进行重复,以及3)解释禁止(跳过)对所生成的文本的部分的自注意力。在动态程序执行中,IRSA比用功能更强大的GPT-4替换模型带来更大的准确性增益。IRSA在教育中有很好的应用前景,因为提示和响应类似于数据结构和算法课程中的学生作业。我们的研究结果对评估LLM具有影响,LLM通常针对上下文学习:我们表明,甚至可能不覆盖一个完整任务示例的提示可以触发算法行为,允许解决以前认为LLM很难解决的问题,例如逻辑谜题。因此,及时的设计在LLM表现中发挥着比以前认识到的更加关键的作用。
2023-03-25 cs.CL
Enhancing Sentiment Classification and Irony Detection in Large Language Models through Advanced Prompt Engineering Techniques
IU International University of Applied Sciences(国际应用科学大学)
本文通过高级提示工程技术提升大型语言模型在情感分类和讽刺检测中的性能,发现不同提示策略对不同模型和任务效果显著。
2026-01-13 cs.AI cs.CL
Exchange of Perspective Prompting Enhances Reasoning in Large Language Models
本文提出视角交换框架EoP,通过在不同问题定义间交换视角打破固定思维,在多个推理基准上显著提升了大语言模型的准确率。
2025-06-04 cs.CL
Prompt-Based Clarity Evaluation and Topic Detection in Political Question Answering
Research Spark Hub Inc.;Emerald High School
本文研究了基于提示的清晰度评估与政治问答主题检测,发现思维链提示显著提升清晰度和主题识别准确性,但细粒度逃避检测仍具挑战性。
2026-01-13 cs.AI cs.CL
SummQA at MEDIQA-Chat 2023:In-Context Learning with GPT-4 for Medical Summarization
Carnegie Mellon University(卡内基梅隆大学)
本文提出一种基于GPT-4的上下文学习医学对话摘要系统,通过选择语义相似对话作为上下文示例进行少样本提示,在MEDIQA 2023共享任务中取得多项前列成绩,验证了该方法的有效性并指出其不足。
2023-06-30 cs.CL
Evaluating Prompting Strategies and Large Language Models in Systematic Literature Review Screening: Relevance and Task-Stage Classification
School of Mathematical and Computational Sciences(数学与计算科学学院)
本研究评估六种LLM与五种提示策略在系统性文献综述筛选中的交互效果,发现CoT-少样本平衡最佳,并提出低成本模型初筛加边界案例升级的分阶段工作流。
2025-10-17 cs.AI cs.CL
Enhancing Clinical Note Generation with ICD-10, Clinical Ontology Knowledge Graphs, and Chain-of-Thought Prompting Using GPT-4
Computer Science, Old Dominion University(旧 Dominion 大学计算机科学系);Biomedical Informatics, University of Arkansas for Medical Sciences(阿肯色医学科学大学生物医学信息学系)
本研究利用ICD-10、临床本体知识图谱和链式推理提示法提升临床笔记生成质量,通过GPT-4在六个临床案例中验证了方法的有效性。
2025-12-04 cs.CL q-bio.QM
Iterative Prompting with Persuasion Skills in Jailbreaking Large Language Models
National Central University(中央大学)
本研究提出迭代提示技术,结合说服策略逐步优化提示以越狱大语言模型,在GPT-4和ChatGLM上达到90%攻击成功率,优于PAIR和PAP,与GCG和ArtPrompt相当。
2025-03-26 cs.AI cs.CL cs.ET
Code Prompting Elicits Conditional Reasoning Abilities in Text+Code LLMs
TU Darmstadt(达姆施塔特工业大学);Hessian Center for AI (hessian.AI)(黑森人工智能中心);Technion – IIT(以色列理工学院);IIT Kharagpur(克勒格布尔印度理工学院)
本文提出代码提示方法,将自然语言问题转化为代码以激发文本+代码LLMs的条件推理能力,并在多个模型和数据集上验证了显著性能提升及其作用机制。
2024-09-28 cs.CL
L3Cube-MahaEmotions: A Marathi Emotion Recognition Dataset with Synthetic Annotations using CoTR prompting and Large Language Models
Pune Institute of Computer Technology(普那计算机技术研究所);Indian Institute of Technology Madras(印度理工学院马德拉斯分校);L3Cube Labs(L3Cube实验室)
本文构建含11类细粒度标签的马拉地语情感数据集 L3Cube-MahaEmotions,利用 CoTR 提示和 GPT-4 合成训练标注,并发现通用 LLM 相比微调 BERT 泛化更优。
2025-08-29 cs.CL cs.LG
SCI-IDEA: Context-Aware Scientific Ideation Using Token and Sentence Embeddings
TIB—Leibniz Information Centre for Science and Technology(莱布尼茨科学与技术信息中心);L3S Research Center, Leibniz University Hannover(汉诺威莱布尼茨大学L3S研究中心)
SCI-IDEA框架利用LLM提示策略和“啊哈时刻”检测,从研究出版物中提取关键要素,迭代优化并评估科学想法,实验证明其在新颖性、兴奋度、可行性和有效性上均取得高分,兼顾伦理考量。
2025-03-25 cs.CL cs.DL
Prompting a Large Language Model to Generate Diverse Motivational Messages: A Comparison with Human-Written Messages
National University of Singapore(新加坡国立大学)
本研究验证了将众包任务指令用作LLM提示的效果,通过对比众包作者、采用众包流程的GPT-4及两种基线提示的GPT-4生成的激励信息多样性,发现众包流程提示能让GPT-4产出更多样化的内容。
2023-08-25 cs.CL cs.HC
Prompting Strategies for Language Model-Based Item Generation in K-12 Education: Bridging the Gap Between Small and Large Language Models
University of Florida(佛罗里达大学)
本研究比较微调中型模型Gemma与大型模型GPT-3.5在K-12形态学多选题自动生成中的表现,发现结合思维链与顺序设计的结构化提示策略能显著提升中型模型生成质量,为有限数据条件下的试题自动生成提供了实用可扩展的工作流程。
2025-08-27 cs.AI cs.CL
Harnessing the Power of Adversarial Prompting and Large Language Models for Robust Hypothesis Generation in Astronomy
Australian National University(澳大利亚国立大学);European Space Agency(欧洲空间局);Columbia University(哥伦比亚大学)
本研究利用GPT-4结合上下文提示与对抗性提示,从NASA ADS的1000篇论文中提取知识,显著提升天文学假设生成的稳健性与有效性。
2023-06-20 astro-ph.GA astro-ph.IM cs.AI
LLM-dCache: Improving Tool-Augmented LLMs with GPT-Driven Localized Data Caching
Microsoft Corporation(微软公司);Southern Illinois University(南伊利诺伊大学);University of Pittsburgh(匹兹堡大学)
本文提出LLM-dCache,将缓存操作作为可调用API暴露给工具增强型智能体,赋予LLMs通过提示自主管理缓存决策的能力,在工业级平台上将Copilot时间平均提升1.24倍。
2024-09-21 cs.CL cs.DC
Enhancing LLM Problem Solving with REAP: Reflection, Explicit Problem Deconstruction, and Advanced Prompting
Honda Research Institute USA, Inc.(本田美国研究院有限公司)
针对大语言模型复杂推理任务求解能力不足的问题,提出包含反思、显式问题解构与高级提示的REAP方法,在多个前沿模型上实现显著性能提升,同时兼具成本效益与输出可解释性优势。
2024-09-14 cs.AI cs.CL cs.LG
Toward Large Language Models as a Therapeutic Tool: Comparing Prompting Techniques to Improve GPT-Delivered Problem-Solving Therapy
University of Washington(华盛顿大学);Dartmouth College(达特茅斯学院)
本研究比较多种提示工程技术对GPT提供问题解决疗法的影响,发现恰当的提示工程能提升模型在症状识别与目标设定阶段的治疗质量、一致性和共情能力,为AI辅助心理治疗提供了实证依据。
2024-08-27 cs.AI cs.CL cs.ET
Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case Study in Medicine
Microsoft(微软);OpenAI
本文通过系统性提示工程提出 Medprompt,使 GPT-4 无需领域专用训练即在 MultiMedQA 全部九个医学基准上超越 Med-PaLM 2 等专用模型,并证明该方法可推广至多个其他领域。
2023-11-28 cs.CL
PerspectiveGap: A Benchmark for Multi-Agent Orchestration Prompting
University of Maryland(马里兰大学);The Chinese University of Hong Kong(香港中文大学);Stanford University(斯坦福大学)
提出PerspectiveGap基准,评估LLM为多智能体系统编写编排提示的能力,实验显示模型平均通过率仅14.9%,表明该能力独特且未被充分评估。
2026-07-14 cs.CL cs.MA
Learning-From-Mistakes Prompting for Indigenous Language Translation
National Chung Hsing University(国立中兴大学)
本文提出从错误中学习提示等方法,利用大语言模型和少量平行语料及词典,有效提升极低资源原住民语言的翻译性能。
2024-07-18 cs.CL
Prompting GPT-3.5 for Text-to-SQL with De-semanticization and Skeleton Retrieval
National University of Defense Technology(国防科技大学)
提出基于LLM的文本到SQL框架,通过去语义化提取问题骨架检索相似示例,并建模问题与数据库模式关系,在三个跨领域基准上超越现有模型。
2023-08-31 cs.AI cs.CL
Evaluating the Performance of AI Text Detectors, Few-Shot and Chain-of-Thought Prompting Using DeepSeek Generated Text
The University of Missouri(密苏里大学)
本文评估六款AI检测器识别DeepSeek-v3文本及抵御改写、拟人化攻击的能力,并测试DeepSeek少样本与CoT分类,发现拟人化攻击最有效,五样本提示仅误判1例。
2025-07-23 cs.AI cs.CL
GEMBA-MQM: Detecting Translation Quality Error Spans with GPT-4
Microsoft(微软)
本文提出 GEMBA-MQM,一种基于 GPT-4 和三次提示技术的翻译质量错误检测指标,无需人工参考译文且支持语言无关提示,在系统排名上达到最优准确度,但因其黑盒性质在学术使用中需谨慎。
2023-10-21 cs.CL
GRP: Goal-Reversed Prompting for Zero-Shot Evaluation with LLMs
Tencent(腾讯)
本文提出GRP方法,通过要求模型选择更差的答案来反转传统评估目标,从而提升判断准确性,实验表明其在多个基准测试中表现优异。
2026-05-12 cs.CL
Dissecting In-Context Learning of Translations in GPTs
Microsoft Azure AI(微软 Azure AI)
通过扰动高质量示例,发现目标端文本分布是GPT翻译上下文学习的关键信号,据此提出Zero-Shot-Context方法,显著提升GPT-3零样本翻译性能至媲美少样本水平。
2023-10-24 cs.AI cs.CL
Can Separators Improve Chain-of-Thought Prompting?
Yonsei University(延世大学);Linq
针对思维链提示示例密集易引发大语言模型认知过载的问题,提出在每个示例末尾添加分隔符的COT-SEP方法,显著提升复杂推理任务表现,并测试了分隔符类型、位置在多模型上的效果。
2024-10-09 cs.AI cs.CL
Investigating Large Language Models in Inferring Personality Traits from User Conversations
Kent State University(肯特州立大学)
本研究评估GPT-4o与GPT-4o mini零样本下从对话推断大五人格的能力,发现先算BFI-10条目得分再推特质的方法更准确,且两模型对抑郁症状群体的特质变化敏感度各有优势,为AI与心理学交叉研究提供基础。
2025-01-13 cs.CL
Reliability Check: An Analysis of GPT-3's Response to Sensitive Topics and Prompt Wording
University of Waterloo(滑铁卢大学)
本研究分析GPT-3对敏感主题的响应及提示词措辞的影响,发现其能正确识别阴谋论与刻板印象,但在常见误解和争议话题上易出错,且响应随提示与设置不一致,揭示了该模型的可靠性问题。
2023-06-09 cs.CL cs.LG
A Communication Theory Perspective on Prompting Engineering Methods for Large Language Models
AI Group, WeBank Co., Ltd(微众银行AI团队)
本文从通信理论视角系统梳理大语言模型提示工程方法,分析其在四类典型任务中的发展趋势,并为未来提示工程研究指明方向。
2023-10-24 cs.AI cs.CL
Preliminary Investigations of a Multi-Faceted Robust and Synergistic Approach in Semiconductor Electron Micrograph Analysis: Integrating Vision Transformers with Large Language and Multimodal Models
TCS Research(塔塔咨询服务公司研究院);IIIT Pune(浦那国际信息技术学院);IIT Palakkad(帕拉卡德印度理工学院);IIT Dharwad(达尔瓦德印度理工学院)
本研究提出一种结合LLMs零样本生成与LMMs少样本预测、融合图像与语言知识的创新架构,以解决半导体电子显微图中复杂纳米材料分类难题,实现了超越传统方法的精确识别与高通量筛选。
2024-08-24 cs.AI cs.CL cs.CV
Can Large Language Models Self-Correct in Medical Question Answering? An Exploratory Study
Department of Electrical and Computer Engineering, University of Minnesota(明尼苏达大学电气与计算机工程系);Division of Computational Health Sciences, Department of Surgery, University of Minnesota(明尼苏达大学外科学系计算健康科学部);Department of Software Engineering, University of St. Thomas(圣托马斯大学软件工程系)
本文探讨大语言模型在医疗问答中的自我反思能力,通过比较标准Co-T提示与迭代自我反思循环,发现自我反思并不总能提升准确性,且效果依赖于数据集和模型。
2026-04-02 cs.CL
Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4
Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学)
本文提出26条指导原则来优化大语言模型的提示设计,并在 LLaMA-1/2 和 GPT-3.5/4 上通过大量实验验证其有效性。
2024-01-18 cs.AI cs.CL
Evaluating Factual Consistency of Summaries with Large Language Models
City University of Hong Kong(香港城市大学);Hong Kong University of Science and Technology(香港科技大学)
本研究通过直接提示大型语言模型来评估摘要的事实一致性,系统比较了多种模型和提示方法,实验证明该方法在多个设置下均优于现有最佳系统,准确率最高提升12.2个百分点。
2023-10-12 cs.CL
Reasoning or Overthinking: Evaluating Large Language Models on Financial Sentiment Analysis
BlackRock, Inc.(黑石公司)
本文在金融情感分析任务上评估多种大语言模型,发现推理或思维链提示并未提升性能,反而可能引发过度思考,GPT-4o无思维链时表现最佳,表明系统1式直觉思维更契合人类判断。
2025-06-05 cs.AI cs.CL