ORPP: Self-Optimizing Role-playing Prompts to Enhance Language Model Capabilities
Harbin Institute of Technology（哈尔滨工业大学）
本文提出ORPP框架，通过将提示搜索空间限定在角色扮演场景并进行迭代优化与少样本迁移，以低计算开销生成高质量提示，在多数情况下超越现有提示优化方法并具备即插即用能力。
2025-06-03 cs.CL
When Do Prompting and Prefix-Tuning Work? A Theory of Capabilities and Limitations
University of Oxford（牛津大学）
本文从理论上分析 prompting、in-context learning、soft prompting 与 prefix-tuning，证明其无法改变相对注意力模式，因而只能激发已有能力而难以学习新任务。
2024-04-09 cs.CL cs.LG
Exploring the Sensitivity of LLMs' Decision-Making Capabilities: Insights from Prompt Variation and Hyperparameters
University of California, Irvine（加利福尼亚大学尔湾分校）
本研究通过改变提示和超参数，在Horizon任务上测试三个OpenAI模型，发现LLM决策能力对这些因素敏感，且简单调整提示后可呈现类似人类的探索-利用权衡。
2023-12-29 cs.CL
You Don't Need Prompt Engineering Anymore: The Prompting Inversion
Independent Researcher（独立研究者）
本研究提出Sculpting提示方法，发现其在中端模型gpt-4o上优于标准CoT，但在gpt-5上效果相反，揭示提示策略需随模型能力共同演进。
2025-10-25 cs.AI cs.CL cs.LG
UPAR: A Kantian-Inspired Prompting Framework for Enhancing Large Language Model Capabilities
University of California, Santa Barbara（加州大学圣巴巴拉分校）
本文提出受康德先验哲学启发的 UPAR 四阶段提示框架，通过理解、规划、行动和反思增强 LLM 推理，并在 GSM8K、因果判断及 SCIBENCH 上验证其性能提升。
2023-12-07 cs.AI cs.CL
Enhancing Function-Calling Capabilities in LLMs: Strategies for Prompt Formats, Data Integration, and Multilingual Translation
MediaTek Research（联发科研究院）
本研究通过探索提示格式、数据集成、决策标记、思维链推理及翻译流水线等策略，增强LLMs的函数调用能力，发现指令遵循数据可提升准确率与相关性检测，决策标记及翻译流水线也能带来显著改进。
2024-12-04 cs.CL
"Act Like a 5th Grader" is Not Enough: Bounding Knowledge in LLM-Based User Simulators
University of Stavanger（斯塔万格大学）
该研究针对基于大语言模型的用户模拟器存在的“超人偏差”问题，提出认知受限用户模拟器（CBUS）框架，通过明确建模认知边界提升模拟人类阅读行为的保真度。
2026-09-01 cs.AI cs.CL
Exploring the Capabilities of Prompted Large Language Models in Educational and Assessment Applications
IIT Kharagpur（印度理工学院克勒格布尔分校）
本文通过教材出题、多语言MCQ生成、孟加拉语语法纠错及HR面试评估等任务，系统比较受提示LLM与人类专家的能力，揭示其在教育评估中的潜力与局限。
2024-05-19 cs.CL
Confirming Our Biases? Evaluating the Capabilities, Risks, and Societal Impact of Large Language Models
University of Tübingen（蒂宾根大学）
本研究评估6个大型语言模型（LLMs）对160条跨10个主题的提示的响应，发现LLMs会系统调整响应以匹配提示框架，甚至在事实类情境中也如此，明确了其可被操纵的程度与界限。
2026-08-10 cs.CL
Prompt Risk Control: A Rigorous Framework for Responsible Deployment of Large Language Models
Columbia University（哥伦比亚大学）；Princeton University（普林斯顿大学）
本文提出提示风险控制框架，通过为最坏情况响应和用户间质量差异等风险度量提供严格上界来选择提示，并支持部署分布偏移，实验表明其能降低最坏结果风险，促进大语言模型负责任部署。
2024-03-27 cs.AI cs.CL cs.LG
TP-Eval: Tap Multimodal LLMs' Potential in Evaluation by Customizing Prompts
OpenGV Lab（OpenGV实验室）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University（上海交通大学电子信息与电气工程学院）
本文提出TP-Eval评估框架，通过为不同多模态大语言模型定制提示来缓解提示敏感性和评估偏差，从而更准确地挖掘模型能力并改进MLLM基准测试。
2024-10-23 cs.AI cs.CL cs.CV
Paraphrase Types Elicit Prompt Engineering Capabilities
University of Göttingen（戈丁根大学）；University of Toronto（多伦多大学）
本研究通过分析同义词类型对提示工程的影响，发现特定语言变化可提升语言模型的任务表现。
2026-02-15 cs.CL
Prompt Engineering Large Language Models' Forecasting Capabilities
LSE（伦敦政治经济学院）；UC San Diego（加利福尼亚大学圣迭戈分校）；Wharton（沃顿商学院）
本文通过在多个大模型上系统测试提示策略，发现简单提示工程对预测准确率提升有限，部分策略甚至有害，表明复杂预测任务需要更专门化的技术。
2025-06-02 cs.CL
TV-SAM: Increasing Zero-Shot Segmentation Performance on Multimodal Medical Images Using GPT-4 Generated Descriptive Prompts Without Human Annotation
Sichuan University（四川大学）；Case Western Reserve University（凯斯西储大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Urgench State University（乌尔根奇国立大学）；Gansu Agricultural University（甘肃农业大学）
本研究提出无需人工标注的零样本分割算法TV-SAM，通过集成GPT-4、GLIP和SAM自主生成文本与视觉提示，在7个数据集8种模态上表现优异，突显基础模型在专业领域的应用价值。
2024-10-14 cs.AI cs.CV
Visual Prompting with Iterative Refinement for Design Critique Generation
UC Berkeley（伯克利大学）；Google DeepMind（谷歌DeepMind）
提出一种迭代视觉提示方法，利用LLMs对UI截图生成设计评论及边界框，经Gemini-1.5-pro和GPT-4o评估，优于基线，缩小与人类差距50%，并泛化至开放词汇检测。
2025-05-22 cs.AI
Code-Mixer Ya Nahi: Novel Approaches to Measuring Multilingual LLMs' Code-Mixing Capabilities
South City International School（南城国际学校）；IISER Kolkata（加尔各答印度科学教育与研究学院）
本文提出Rule-Based Prompting提示技术，评估了GPT-3.5-turbo、GPT-4和Gemini Pro在五个语言对上的代码混合机器翻译能力，并构建了黄金标准数据集和代码混合聊天机器人。
2024-10-14 cs.AI cs.CL
EarthSpatialBench: Benchmarking Spatial Reasoning Capabilities of Multimodal LLMs on Earth Imagery
University of Florida（佛罗里达大学）；Indiana University Bloomington（印第安纳大学布卢明顿分校）
EarthSpatialBench是一个用于评估多模态大语言模型在地球影像上空间推理能力的综合基准测试，涵盖空间距离、方向、拓扑关系及复杂几何查询。
2026-02-17 cs.AI cs.CV
LLMs Prompted for Graphs: Hallucinations and Generative Capabilities
Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（雷恩信息、信号与图像研究所）；LAAS/CNRS（法国国家科学研究中心自动化与系统分析实验室）；PEReN
本文研究了LLMs在复述和生成图方面的能力，提出了基于幻觉视角的评估指标，发现图幻觉幅度可表征模型优越性，且生成任务结果良好可复现，为网络科学与机器学习社区搭建了桥梁。
2025-04-04 cs.AI cs.CL cs.SI
Reasoning Capabilities of Large Language Models on Dynamic Tasks
Leiden Institute of Advanced Computer Science（莱顿先进计算机科学研究所）；Leiden University（莱顿大学）
本研究评估了大型语言模型在动态任务中的推理能力，发现高级提示策略虽能缩小模型间性能差距，但会引入不稳定性，且模型在规划和空间协调等通用推理上仍存在根本性缺陷。
2025-08-10 cs.AI cs.CL
Black-Box Visual Prompt Engineering for Mitigating Object Hallucination in Large Vision Language Models
Amazon AWS AI（亚马逊云科技人工智能部门）；KAIST（韩国科学技术院）
针对大型视觉语言模型的物体幻觉问题，提出黑盒视觉提示工程框架，通过训练路由器模型动态选择最优视觉提示，无需访问模型内部即可有效缓解幻觉。
2025-04-30 cs.AI cs.CL cs.CV
Confidence Matters: Revisiting Intrinsic Self-Correction Capabilities of Large Language Models
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Carnegie Mellon University（卡内基梅隆大学）
该研究发现大语言模型自我纠错中置信度是关键潜在因素，提出IoE提示框架引导模型评估自身置信度以实现内在纠错，实验证明该方法能持续提升纠错后回答的准确率。
2024-05-13 cs.AI cs.CL
Automatic Engineering of Long Prompts
Google Inc.（谷歌公司）
本文研究长提示词的自动工程，提出带束搜索的贪心算法及两种利用搜索历史的技术，在Big Bench Hard八个任务上平均提升9.2%准确率。
2023-11-16 cs.AI cs.LG
Think Twice: Perspective-Taking Improves Large Language Models' Theory-of-Mind Capabilities
Carnegie Mellon University（卡内基梅隆大学）
本研究提出SimToM，一种基于模拟理论视角采择的两阶段提示框架，通过过滤角色已知信息来提升大语言模型的心智理论能力，实验显示显著优于现有方法。
2023-11-16 cs.AI cs.CL
Look & Mark: Leveraging Radiologist Eye Fixations and Bounding boxes in Multimodal Large Language Models for Chest X-ray Report Generation
UCL（伦敦大学学院）；Technical University of Munich（慕尼黑技术大学）；University of Oxford（牛津大学）；University of Glasgow（格拉斯哥大学）
提出Look & Mark策略，将放射科医生眼动注视和边界框集成到大模型提示框架中，无需重新训练即可显著提升胸部X光报告生成的准确性与可靠性。
2025-05-28 cs.CL cs.CV
BloomWise: Enhancing Problem-Solving capabilities of Large Language Models using Bloom's-Taxonomy-Inspired Prompts
Speech and Language Processing Group, National Technical University of Athens（国家技术大学雅典语音与语言处理组）；Institute for Language and Speech Processing, Athena Research Center（雅典研究中心语言与语音处理研究所）；National Technical University of Athens（国家技术大学雅典）
BloomWise是一种受布鲁姆分类学启发的提示技术，通过引导LLMs按认知层级逐步推理，在五个数学数据集上提升了问题解决能力和可解释性。
2025-08-07 cs.CL
Generalizable Chain-of-Thought Prompting in Mixed-task Scenarios with Large Language Models
Shanghai Jiao Tong University（上海交通大学）；Yale University（耶鲁大学）
本文提出GeM-CoT方法，通过先分类问题类型再从对应数据池自动采样或构建演示，在混合任务场景中同时提升思维链提示的泛化能力与推理性能，并在10个公共推理任务和23个BBH任务上验证了有效性。
2024-02-20 cs.AI cs.CL
PromptCL: Improving Event Representation via Prompt Template and Contrastive Learning
Dalian University of Technology（大连理工大学）
针对事件文本较短导致与预训练分布不一致的问题，提出PromptCL框架，利用提示模板扩展输入并结合对比学习，同时引入SPO语序与EventMLM训练模型理解事件组件关系，显著提升了事件表示性能与泛化能力。
2024-04-27 cs.CL
You Only Prompt Once: On the Capabilities of Prompt Learning on Large Language Models to Tackle Toxic Content
CISPA Helmholtz Center for Information Security（亥姆霍兹信息安全中心）；Delft University of Technology（代尔夫特理工大学）；NetApp（网存公司）
本文研究利用大语言模型与提示学习处理有毒内容，在毒性分类、有毒片段检测和去毒化三项任务上取得优于或接近专用模型的性能，并显著降低毒性同时保持语义。
2023-08-10 cs.CL cs.SI
On Prompt Sensitivity of ChatGPT in Affective Computing
University of Augsburg（奥格斯堡大学）；SYNCPILOT GmbH（SYNCPILOT有限公司）；Imperial College London（伦敦帝国学院）
本研究提出一种评估方法，通过分析温度和top-$p$等生成参数及不同提示结构对ChatGPT在情感分析、毒性检测和讽刺检测任务中的性能敏感性，探讨其在情感计算领域的提示有效性。
2024-03-20 cs.AI cs.CL
Locally Coherent, Globally Incoherent: Bounding Compositional Incoherence in Multi-Component LLM Agents
princeton（普林斯顿大学）
本文形式化多组件LLM代理中局部一致但全局不一致的失败，提出组合残差eps*度量不一致性，并通过层次投影修复和序贯一致性监测方法，在实验中发现广泛存在的不一致性及其对决策的影响。
2026-05-28 cs.AI cs.CL
Are Large Language Models Really Bias-Free? Jailbreak Prompts for Assessing Adversarial Robustness to Bias Elicitation
University of Calabria（卡拉布里亚大学）
本研究探究最新大型语言模型（LLMs）中的固有偏见，测试其对偏见诱导越狱提示的对抗性鲁棒性，通过实验证实LLMs仍可被操纵生成偏见响应，强调需增强缓解技术以提升AI公平性与可靠性。
2025-02-13 cs.AI cs.CL
Enhancing Few-shot Text-to-SQL Capabilities of Large Language Models: A Study on Prompt Design Strategies
Yale University（耶鲁大学）；Columbia University（哥伦比亚大学）；Allen Institute for AI（艾伦人工智能研究所）
本文研究通过上下文学习改进大型语言模型的Text-to-SQL能力，提出利用SQL语法结构检索示例并兼顾多样性与相似性的提示策略，结合数据库知识增强，在Spider数据集上取得优于现有系统的执行准确率。
2023-05-21 cs.CL
OMNIGUARD: An Efficient Approach for AI Safety Moderation Across Languages and Modalities
University of Washington（华盛顿大学）；Microsoft（微软公司）
Omniguard提出了一种跨语言和模态的高效方法，通过构建语言或模态无关的分类器提升有害提示检测的准确率，并在多语言、图像和音频提示任务中取得显著效果。
2025-12-09 cs.AI cs.CL cs.HC
Prompt-Driven Contrastive Learning for Transferable Adversarial Attacks
KAIST（韩国科学技术院）；ADD（国防发展局）
针对跨领域、跨架构对抗迁移难题，提出PDCL-Attack，利用CLIP与真实标签的提示驱动特征引导增强生成式攻击，实验证明其优于现有方法。
2025-03-13 cs.AI cs.CL cs.CV
Understanding Catastrophic Forgetting in Language Models via Implicit Inference
Carnegie Mellon University（卡内基梅隆大学）
该研究提出语言模型微调引发灾难性遗忘源于隐式任务推断偏差，通过Conjugate Prompting（含多语言翻译提示）可恢复部分预训练能力，也揭示安全微调存在被绕过的风险。
2024-04-14 cs.CL cs.LG
Reasoning Capabilities and Invariability of Large Language Models
Department of Informatics, Systems, and Communication (DISCo) University of Milano-Bicocca（信息学、系统与通信系（DISCo）米兰-比科卡大学）
本研究通过引入几何图形推理基准数据集，全面分析了大型语言模型的推理能力及其对提示的依赖性，发现模型规模和思维链提示位置显著影响其表现。
2025-05-01 cs.CL
Stress-Testing Capability Elicitation With Password-Locked Models
Redwood Research（红杉研究）；University of Cambridge（剑桥大学）
本文引入密码锁定模型以评估基于微调的能力提取方法，发现少量高质量演示或强化学习通常能有效提取隐藏能力，但在缺乏高质量演示时可能不可靠。
2024-05-29 cs.CL cs.LG
Survey on Reasoning Capabilities and Accessibility of Large Language Models Using Biology-related Questions
School of Computing, The University of Georgia（佐治亚大学计算学院）
本文回顾了生物医学与大型语言模型的进展及自然语言处理的整合，通过引入新问题列表调查排名前两位的语言模型，量化评估了LLM推理能力的改进及用户感知，并扩展了生物文献检索研究。
2024-05-11 cs.AI cs.CL
StraGo: Harnessing Strategic Guidance for Prompt Optimization
Institute of Software, CAS（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Microsoft（微软公司）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）
针对提示词优化中的提示词漂移问题，提出StraGo方法，结合成功与失败案例并利用上下文学习制定具体策略，提供逐步指导，在多任务上实现最先进的稳定优化效果。
2024-10-11 cs.CL
Achieving Tool Calling Functionality in LLMs Using Only Prompt Engineering Without Fine-Tuning
Hunan University（湖南大学）
针对许多 LLM 缺乏稳定工具调用能力且微调成本高的问题，本文提出仅依靠提示工程与巧妙代码设计的方法，并在多个模型和任务上实现 100% 成功率。
2024-07-06 cs.AI cs.HC cs.SE
Chain-of-Thought Reasoning Without Prompting
Google DeepMind（谷歌DeepMind）
本研究提出通过改变解码过程而非提示来激发LLMs的思维链推理，发现前k备选token中常含思维链路径，且置信度可区分思维链，实验证明该方法有效。
2024-05-23 cs.CL
LLM-Optic: Unveiling the Capabilities of Large Language Models for Universal Visual Grounding
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）
LLM-Optic利用大型语言模型作为文本和视觉定位器，增强现有视觉定位模型对复杂查询的理解，无需训练即可实现零样本通用视觉定位。
2024-05-28 cs.AI cs.CL cs.CV
Visual In-Context Prompting
HKUST（香港科技大学）；Microsoft Research（微软研究院）；IDEA（IDEA研究院）；SCUT（华南理工大学）；Tsinghua（清华大学）；UW-Madison（威斯康星大学麦迪逊分校）
本文提出了一种通用的视觉上下文提示框架，基于编码器-解码器架构支持多种提示类型和任意参考图像片段，在开放集分割与检测任务中展现出卓越性能。
2023-11-22 cs.AI cs.CV cs.LG
Revisiting OPRO: The Limitations of Small-Scale LLMs as Optimizers
University of Southern California（南加州大学）
本文重新评估OPRO在小规模LLM（如LLaMa-2和Mistral 7B）上的优化效果，发现其因推理能力有限而表现不佳，建议考虑模型能力与成本，并推荐直接指令作为基线。
2024-07-19 cs.CL cs.HC
Evaluating the Text-to-SQL Capabilities of Large Language Models
University of Cambridge（剑桥大学）；ServiceNow（ServiceNow公司）；Mila（米拉研究所）；McGill University（麦吉尔大学）
我们执行的Codex语言模型的文本到SQL的能力的实证评估。我们发现，在没有任何微调的情况下，Codex是Spider基准测试的强大基线;我们还分析了Codex在此设置中的故障模式。此外，我们在GeoQuery和Scholar基准测试中证明，提示中提供的少量域内示例使Codex能够比在此类Few-Shot示例上微调的最先进模型表现更好。
2022-03-15 cs.CL cs.DB cs.LG
Persona is a Double-edged Sword: Mitigating the Negative Impact of Role-playing Prompts in Zero-shot Reasoning Tasks
Pohang University of Science and Technology（浦项科技大学）；Seoul National University（首尔大学）
本文研究角色扮演提示对LLM零样本推理的负面影响，并提出Jekyll & Hyde框架，通过集成角色扮演与中性提示结果并由LLM评估选择更优解，在12个推理数据集上提升推理鲁棒性。
2024-10-19 cs.CL
Chatbot is Not All You Need: Information-rich Prompting for More Realistic Responses
Ulsan National Institute of Science and Technology（蔚山国立科学技术院）；Suleyman Demirel University（苏莱曼·德米雷尔大学）
本文提出利用五感、属性、情绪、关系和记忆等丰富信息提示，增强LLM生成更真实一致的角色模仿响应，并发布基准数据集与代码。
2023-12-25 cs.CL
MAF: Multimodal Adaptive Few-shot Prompting for Sentiment Analysis with MLLMs
Nanjing University of Posts and Telecommunications（南京邮电大学）
提出MAF框架，通过动态检索与查询相关的多模态示例，利用轻量级系数生成网络实时融合多模态相似度，结合多数投票提升MLLM在情感分析中的性能。
2026-06-16 cs.AI cs.CV cs.LG
Can large language models assist choice modelling? Insights into prompting strategies and current models' capabilities
Choice Modelling Centre & Institute for Transport Studies, University of Leeds（选择建模中心及交通研究学院，利兹大学）；CityAI Lab, Transport and Logistics group, Engineering Systems and Services Department, TU Delft（CityAI实验室，运输与物流组，工程系统与服务部门，代尔夫特理工大学）
本文研究大语言模型在离散选择建模中的潜力，通过实验框架评估七种领先模型在不同提示策略和信息可用性下的表现，揭示其在模型规范和估计中的能力与限制。
2026-08-26 cs.AI econ.EM
Chain-of-Thought Degrades Visual Spatial Reasoning Capabilities of Multimodal LLMs
Microsoft Research India（微软印度研究院）
研究发现链式思维范式在视觉空间推理任务中导致性能下降，通过实验揭示多模态模型在空间基准测试中的关键缺陷，并指出需转向以视觉为中心的推理方法。
2026-04-17 cs.AI cs.CV
iREL at SemEval-2024 Task 9: Improving Conventional Prompting Methods for Brain Teasers
International Institute of Information Technology, Hyderabad (IIIT-H)（国际信息技术研究所（海得拉巴））
本文提出结合静态与动态少样本提示及模型生成推理策略，提升预训练语言模型在BRAINTEASER脑力谜题任务中的横向思维能力，显著优于基线但不及人类。
2024-05-25 cs.CL
ResAgent: Entropy-based Prior Point Discovery and Visual Reasoning for Referring Expression Segmentation
Sun Yat-sen University（中山大学）
ResAgent通过熵引导的点发现和视觉推理方法，提升指称表达分割的准确性与效率。
2026-01-23 cs.AI cs.CV
Code Prompting Elicits Conditional Reasoning Abilities in Text+Code LLMs
TU Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森人工智能中心）；Technion – IIT（以色列理工学院）；IIT Kharagpur（克勒格布尔印度理工学院）
本文提出代码提示方法，将自然语言问题转化为代码以激发文本+代码LLMs的条件推理能力，并在多个模型和数据集上验证了显著性能提升及其作用机制。
2024-09-28 cs.CL
"Well, Keep Thinking": Enhancing LLM Reasoning with Adaptive Injection Decoding
Graduate School of Data Science, Seoul National University（首尔国立大学数据科学研究生院）
针对显式 CoT 提示依赖人工工程的问题，本文提出自适应注入解码策略，在模型即将过早结束时注入短语以延续推理，实验表明其可显著增强 LLM 推理能力。
2025-03-18 cs.CL
