System Prompt Optimization with Meta-Learning
KAIST（韩国科学技术院）
本文提出一种元学习框架，用于优化系统提示，使其对多样用户提示鲁棒且可迁移至未见任务，实验证明在14个数据集上泛化良好且适应更快。
2025-10-10 cs.AI cs.CL cs.LG
SIPDO: Closed-Loop Prompt Optimization via Synthetic Data Feedback
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Hong Kong University of Science and Technology（香港科学与技术大学）；University of South Florida（佛罗里达州立大学）
SIPDO通过合成数据反馈闭环优化提示，提升提示性能并优于传统提示微调方法。
2026-01-27 cs.AI cs.CL cs.LG
Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL
University of Cambridge（剑桥大学）；DAMTP（应用数学与理论物理系）
针对大语言模型零样本提示优化中被忽视的查询依赖问题及评估难、成本高的挑战，提出基于离线逆强化学习的Prompt-OIRL方法，通过离线奖励模型和N选最佳策略实现高效经济的查询依赖提示优化。
2024-03-07 cs.AI cs.CL cs.LG
Investigating Prompt Engineering in Diffusion Models
Red Dragon AI（红龙人工智能）
随着Text 2 Img扩散模型（例如DALL-E 2、Imagen、Mid Journey和Stable Diffusion）的使用的普及，艺术家面临的一个挑战是选择正确的提示以实现期望的艺术输出。我们提出的技术，用于测量的效果，特定的单词和短语的提示，并（在附录中）提出的提示，以产生预期的效果的选择指导。
2022-11-21 cs.AI cs.CL cs.CV
Error Taxonomy-Guided Prompt Optimization
University of Arizona（亚利桑那大学）
ETGPO通过自顶向下方法，利用误差分类指导提示优化，提升模型性能并降低计算成本。
2026-02-01 cs.AI cs.CL cs.LG
Prompt Compression in Diffusion Large Language Models: Evaluating LLMLingua-2 on LLaDA
University of Toronto（多伦多大学）；King Mongkut’s University of Technology Thonburi（泰国科技理工学院）
本文研究了提示压缩在扩散大型语言模型中的有效性，通过在LLDA上评估LLMLingua-2，发现提示压缩在数学推理任务中效果不佳，而摘要任务相对稳健，表明为扩散模型设计的提示压缩方法并不适用于所有场景。
2026-07-14 cs.AI cs.CL
On Discrete Prompt Optimization for Diffusion Models
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Google Research（谷歌研究院）；Google Deepmind（谷歌DeepMind）
提出首个基于梯度的文本到图像扩散模型离散提示优化框架，通过动态紧凑子空间和Shortcut Text Gradient解决搜索空间与梯度计算难题，可用于提示增强和对抗攻击。
2024-06-27 cs.AI cs.CL cs.CV
Dynamic VLM-Guided Negative Prompting for Diffusion Models
KAIST（韩国科学技术院）
我们提出了一种新的方法，利用视觉语言模型（VLM）的动态负提示扩散模型，在去噪过程中自适应地产生负提示。与使用固定否定提示的传统否定去噪方法不同，我们的方法在特定的去噪步骤生成中间图像预测，并查询VLM以生成上下文适当的否定提示。我们在各种基准数据集上评估了我们的方法，并展示了负指导强度和文本图像对齐之间的权衡。
2025-10-30 cs.AI cs.CV
Promptomatix: An Automatic Prompt Optimization Framework for Large Language Models
Salesforce AI Research（Salesforce AI研究院）
本文提出 Promptomatix 自动提示词优化框架，通过意图分析、合成数据、策略选择与成本感知优化，在 5 类任务上实现优于现有库的性能并降低开销。
2025-07-24 cs.AI cs.CL
Textual Gradients are a Flawed Metaphor for Automatic Prompt Optimization
Northeastern University（东北大学）；AWS AI Labs（AWS AI 实验室）
本文指出文本梯度隐喻在自动提示优化中存在偏差，通过实验揭示其行为与梯度类比不一致，为优化策略选择提供新视角。
2025-12-15 cs.CL cs.LG
DiffusionAttacker: Diffusion-Driven Prompt Manipulation for LLM Jailbreak
Beihang University（北京航空航天大学）；Tsinghua University（清华大学）；Zhongguancun Laboratory（中关村实验室）
提出 DiffusionAttacker，用 seq2seq 文本扩散模型和攻击损失引导提示词改写，并结合 Gumbel-Softmax 实现可微采样，在 Advbench 与 Harmbench 上提升 ASR、流畅性和多样性。
2025-01-05 cs.CL
ADOPT: Adaptive Dependency-Guided Joint Prompt Optimization for Multi-Step LLM Pipelines
Huawei Poisson Lab（华为泊松实验室）
ADOPT通过分析步骤间依赖关系和最终输出误差，构建全局文本梯度并分解为步骤级局部梯度，实现多步骤LLM流水线的高效联合提示优化，优于现有基线方法。
2026-04-08 cs.CL cs.LG
Is It Time To Treat Prompts As Code? A Multi-Use Case Study For Prompt Optimization Using DSPy
ALGORITMI Research Centre/LASI, University of Minho, Braga, 4710-057, Portugal（ALGORITMI研究中心/LASI，明霍大学，布拉加，4710-057，葡萄牙）
本文通过五个用例研究 DSPy 框架的程序化提示优化效果，发现其在提示评估等任务中显著提升性能，但效果因任务而异，提示需结合具体用例评估。
2025-07-04 cs.AI cs.CL cs.LG
Do Physicians Know How to Prompt? The Need for Automatic Prompt Optimization Help in Clinical Note Generation
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Fudan University（复旦大学）
本研究提出自动提示优化框架，发现GPT4 APO能标准化临床笔记生成质量，并建议结合专家定制化的两阶段优化流程。
2024-07-05 cs.AI cs.CL
Align-Pro: A Principled Approach to Prompt Optimization for LLM Alignment
University of Central Florida（中佛罗里达大学）；University of Maryland, College Park（马里兰大学帕克分校）；Purdue University（普渡大学）
本文提出Align-Pro，将提示优化形式化为优化问题，分析其次优性界及对提示器和目标模型的依赖，并通过多数据集实验验证其在无法参数微调时对齐LLM的有效性。
2025-01-07 cs.AI cs.LG
Robust Prompt Optimization for Large Language Models Against Distribution Shifts
National University of Singapore（新加坡国立大学）；University of Science and Technology of China（中国科学技术大学）；Singapore Management University（新加坡管理大学）
针对大语言模型提示优化易受分布偏移影响的问题，提出广义提示优化框架，利用目标群体未标注数据，实现源群体优化提示对目标群体的泛化，实验验证了其有效性。
2024-02-05 cs.AI cs.CL
Evolutionary Multi-Objective Optimization of Large Language Model Prompts for Balancing Sentiments
Carl von Ossietzky Universität Oldenburg（奥尔登堡卡尔·冯·奥西茨基大学）
本文提出 EMO-Prompts，利用进化多目标优化自动生成提示，并以情感分析验证其可引导大语言模型同时表达两种冲突情感。
2024-01-18 cs.AI cs.CL cs.LG
Learning from Contrastive Prompts: Automated Optimization and Adaptation
Clemson University（克莱姆森大学）；Amazon Services LLC（亚马逊服务有限责任公司）
针对现有提示优化方法仅依赖错误样本且跨模型及语言适应性不足的问题，提出 LCP 框架，利用对比学习从好坏提示示例中生成有效提示，在 Big-Bench Hard 数据集上实现超 76% 胜率并具备跨版本和语言的强适应性。
2024-09-23 cs.AI cs.CL
Thinking Inside the Mask: In-Place Prompting in Diffusion LLMs
针对扩散大语言模型双向特性，提出ICE框架，通过在掩码token位置集成原位提示并引入置信度感知早期退出机制，将前缀提示转为原位提示，显著提升准确率与推理速度。
2025-10-11 cs.CL
APIO: Automatic Prompt Induction and Optimization for Grammatical Error Correction and Text Simplification
Grammarly
本文提出APIO方法，无需人工种子提示即可自动归纳和优化提示，在语法错误纠正与文本简化任务上实现了纯LLM提示方法的最新最优性能。
2025-08-12 cs.AI cs.CL
Exploiting LLM-as-a-Judge Disposition on Free Text Legal QA via Prompt Optimization
Technical University of Munich（慕尼黑技术大学）
本文研究提示设计和法官选择在LLM-as-a-Judge评估自由文本法律问答中的作用，通过ProTeGi方法优化提示，发现自动优化优于人类设计，宽松反馈的提示在严格法官间转移更有效。
2026-04-23 cs.AI cs.CL
MARS: Multi-Agent Adaptive Reasoning with Socratic Guidance for Automated Prompt Optimization
针对现有自动提示优化（APO）方法存在的模板僵化和探索低效问题，提出MARS多智能体框架，通过POMDP建模和苏格拉底引导实现自适应优化，在多数据集上的优化性能、搜索效率和可解释性均优于现有方法。
2025-11-12 cs.AI cs.CL
ELPO: Ensemble Learning Based Prompt Optimization for Large Language Models
The University of Hong Kong（香港大学）
ELPO通过集成学习方法提升大型语言模型的提示优化效果，实现更准确和稳健的结果。
2025-11-20 cs.AI cs.CL
Exploring the Representation Manifolds of Stable Diffusion Through the Lens of Intrinsic Dimension
Pacific Northwest National Laboratory（太平洋西北国家实验室）；University of Washington（华盛顿大学）
摘要已成为一种重要的机制，通过它用户可以更有效地与多种风格的基础模型进行交互。事实上，过去几年已经表明，精心打磨的提示有时可以在这些模型中释放紧急功能。虽然已经有大量的经验性的探索，在社区内的提示，相对较少的作品研究了在数学水平上的提示。在这项工作中，我们的目标是采取的第一步，了解基本的几何属性诱导的提示稳定扩散，专注于模型内的内部表示的内在维度。我们发现，提示的选择有很大的影响，在这两个层次的模型，我们探讨的内在维度的代表性，但这种影响的性质取决于层被认为是。例如，在模型的某些瓶颈层中，表示的内在维度与提示困惑（使用代理模型测量）相关，而这种相关性在潜在层中并不明显。我们的证据表明，内在维度可能是一个有用的工具，为未来的研究不同的提示对文本到图像模型的影响。
2023-02-16 cs.CL cs.CV cs.LG
Submodular Evaluation Subset Selection in Automatic Prompt Optimization
Santa Clara University（圣克拉拉大学）；Walmart Global Tech（沃尔玛全球技术）
本文提出SESS方法，通过子模优化选择评估子集，提升自动提示优化效果。
2026-01-07 cs.AI cs.CL
PLHF: Prompt Optimization with Few-Shot Human Feedback
ZRT Technology（ZRT技术）；National Taiwan University（国立台湾大学）
针对缺乏明确质量指标时的 LLM 提示词优化难题，本文提出受 RLHF 启发的少样本框架 PLHF，通过评估器模块和单轮人类反馈估计输出质量，并在公开与工业数据集上优于既有输出评分策略。
2025-05-11 cs.AI cs.CL
Discrete Prompt Optimization via Constrained Generation for Zero-shot Re-ranker
Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）
针对零样本重排序器中提示优化未被探索的问题，提出无需参数更新的离散提示优化方法Co-Prompt，通过指标引导PLM生成最优提示，显著提升重排序性能与可解释性。
2023-05-23 cs.AI cs.CL cs.IR
DiffuMask: Diffusion Language Model for Token-level Prompt Pruning
University of Washington（华盛顿大学）；Oracle AI（甲骨文人工智能）
DiffuMask通过迭代掩码预测实现快速并行提示压缩，保留关键推理上下文，实现80%的提示长度缩减，同时保持或提升准确性。
2026-04-08 cs.CL
Learning from Prompt itself: the Hierarchical Attribution Prompt Optimization
HAPO框架通过动态归因机制、语义单元优化和多模态支持，提升提示优化效率，适用于多任务场景。
2026-01-06 cs.AI
Synth-SONAR: Sonar Image Synthesis with Enhanced Diversity and Realism via Dual Diffusion Models and GPT Prompting
SRM Institute of Science and Technology（SRM科学技术学院）
本研究提出声纳图像合成框架Synth-SONAR，结合扩散模型与GPT提示，通过双文本条件模型和生成式AI风格注入技术，生成了高质量、高多样性的合成声纳数据集。
2024-10-11 cs.AI cs.CV cs.LG
CAPO: Cost-Aware Prompt Optimization
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
针对现有自动提示优化成本高的问题，提出融合AutoML技术的CAPO进化算法，通过竞速减评估、多目标优化平衡性能与长度，在多实验中多数场景优于现有方法且成本更低。
2025-06-17 cs.AI cs.CL cs.NE
Prompt-A-Video: Prompt Your Video Diffusion Model via Preference-Aligned LLM
The University of Hong Kong（香港大学）；ByteDance（字节跳动）；Shanghai AI Lab（上海人工智能实验室）
提出基于LLM的提示适应框架Prompt-A-Video，通过奖励引导的提示进化和两阶段优化对齐系统，为视频扩散模型生成偏好对齐的提示，解决现有方法的模态不一致等问题。
2024-12-19 cs.CL cs.CV cs.MM
Better by Comparison: Retrieval-Augmented Contrastive Reasoning for Automatic Prompt Optimization
University of Science and Technology of China（中国科学技术大学）
本文提出CRPO框架，通过对比推理提升提示优化效果，利用HelpSteer2数据集中的高质量示例进行对比分析，改进提示生成的鲁棒性和可解释性。
2025-10-03 cs.AI cs.CL cs.IR
Knowing How to Edit: Reliable Evaluation Signals for Diagnosing and Optimizing Prompts at Query Level
School of Information Sciences, University of Illinois Urbana-Champaign（信息科学学院，伊利诺伊大学厄巴纳-香槟分校）；College of Engineering, Carnegie Mellon University（工程学院，卡内基梅隆大学）
提出一个基于性能导向的提示评估框架，并开发一个无需执行的评估器来预测多维质量分数，进而指导一个度量感知优化器以可解释的查询相关方式重写提示，在多个数据集和骨干模型上优于现有方法。
2026-06-07 cs.AI
iPrOp: Interactive Prompt Optimization for Large Language Models with a Human in the Loop
Fundamentals of Natural Language Processing, University of Bamberg, Germany（自然语言处理基础，巴姆堡大学，德国）
本文提出iPrOp，一种人在回路的交互式提示优化方法，通过提示变体、模型预测解释和性能指标引导用户参与优化，生成定制化最优提示并提升任务性能。
2025-06-27 cs.CL
RiOT: Efficient Prompt Refinement with Residual Optimization Tree
Zhejiang University（浙江大学）；University College London（伦敦大学学院）；Ant Group（蚂蚁集团）
针对自动提示词优化中多样性与语义漂移问题，提出残差优化树框架，通过文本梯度迭代生成多样候选并利用困惑度选择，以残差连接缓解漂移，在五个推理基准上超越现有方法。
2025-06-19 cs.CL
StraGo: Harnessing Strategic Guidance for Prompt Optimization
Institute of Software, CAS（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Microsoft（微软公司）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）
针对提示词优化中的提示词漂移问题，提出StraGo方法，结合成功与失败案例并利用上下文学习制定具体策略，提供逐步指导，在多任务上实现最先进的稳定优化效果。
2024-10-11 cs.CL
Concentrate Attention: Towards Domain-Generalizable Prompt Optimization for Language Models
Faculty of Electronic and Information Engineering, Xi’an Jiaotong University（西安交通大学电子与信息工程学院）；Queen Mary University of London（伦敦玛丽女王大学）；University of Chicago（芝加哥大学）
本文提出“Concentration”提示优化目标，通过增强解码token对提示token的回溯注意力并稳定深层注意力分布，在软提示和硬提示方法上分别提升领域泛化准确率1.42%和2.16%，同时保持域内性能。
2024-10-19 cs.CL
TAPO: Task-Referenced Adaptation for Prompt Optimization
City University of Hong Kong（香港城市大学）
针对自动提示优化忽视任务特性导致提示缺乏领域特异性的问题，本文提出TAPO多任务感知框架，通过任务感知指标选择、多指标评估和进化优化三个模块，在六个数据集上验证了有效性。
2025-02-26 cs.CL
Modular Prompt Optimization: Optimizing Structured Prompts with Section-Local Textual Gradients
Carnegie Mellon University（卡内基梅隆大学）
模块化提示优化通过局部文本梯度优化结构化提示，提升小型开源LLM的推理性能。
2026-01-07 cs.CL
BayesPO: Bayesian Prompt Optimization via Parallel-Tempered Gradient-Guided Discrete MCMC
研究将提示优化作为离散提示令牌上的贝叶斯后验采样问题，提出BayesPO框架，结合任务似然项与语言模型先验定义后验分布，用马尔可夫链蒙特卡罗实例化，实验表明其能发现有意义提示、逃离局部最优并提高准确率，同时揭示了两个主要局限。
2026-07-20 cs.CL
Generalizable Self-Evolving Memory for Automatic Prompt Optimization
Zhejiang University（浙江大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Alibaba Group（阿里巴巴集团）
本文提出MemAPO框架，通过双记忆机制积累可推广的提示经验，提升提示优化的泛化能力和持续改进能力。
2026-03-23 cs.CL
Rethinking Prompt Optimizers: From Prompt Merits to Optimization
School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore（南洋理工大学电子与电气工程学院）；Home Team Science and Technology Agency, Singapore（新加坡科技局）
MePO通过显式和可解释的设计优化提示，提升响应质量，适用于多种任务和模型类型。
2026-01-12 cs.CL
promptolution: A Unified, Modular Framework for Prompt Optimization
ELLIS Institute（ELLIS研究所）；University of Freiburg（弗赖堡大学）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Technical University of Munich（慕尼黑技术大学）；TU Dortmund University（多特蒙德技术大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（Lamarr机器学习与人工智能研究所）
promptolution 提供了一种统一的模块化框架，整合多种提示优化器，支持系统化的基准测试，并返回与框架无关的提示字符串，以提升大型语言模型在各种任务中的性能。
2026-02-23 cs.CL
Dual-Phase Accelerated Prompt Optimization
University of Science and Technology of China（中国科学技术大学）；National University of Singapore（新加坡国立大学）；Institute of Dataspace（天空间研究院）；AtomEcho Inc.（AtomEcho公司）；Academy of Cyber（网络研究院）
针对无梯度提示词优化收敛慢的问题，本文提出双阶段方法，通过元指令生成高质量初始提示词并在句子级利用历史经验迭代优化，在八个数据集上不到五步即稳定超过基线。
2024-10-02 cs.CL
Beyond Prompt Content: Enhancing LLM Performance via Content-Format Integrated Prompt Optimization
Fudan University（复旦大学）；Microsoft Research Asia（微软亚洲研究院）
针对现有提示词优化多侧重内容、忽略格式的问题，提出内容-格式一体化提示词优化方法CFPO，通过迭代联合优化内容与格式，在多任务和开源LLM上性能优于仅内容优化方法，且具模型无关性。
2025-05-21 cs.CL
CRCL at SemEval-2024 Task 2: Simple prompt optimizations
CRCL；CLB/CRCL
本文为SemEval-2024任务2构建基线，利用LLM Instruct模型和提示优化技术判断临床试验报告与陈述间的推理关系，发现合成CoT提示显著优于人工提示。
2024-05-03 cs.CL
Prompt Optimization Enables Stable Algorithmic Collusion in LLM Agents
Sakana AI Tokyo, Japan（日本东京Sakana AI）
研究探讨提示优化是否会导致市场模拟中出现共谋行为，提出元学习循环方法，发现优化后代理能发现更稳定的共谋策略，且在测试市场中表现良好，揭示了通用协调原理。
2026-04-20 cs.AI
Revisiting Self-Play Preference Optimization: On the Role of Prompt Difficulty
MiroMind AI；Singapore University of Technology and Design（新加坡科技设计大学）；Institute for Infocomm Research, A*Star（新加坡科技研究局资讯通信研究院）
本文研究了提示难度对自我对弈偏好优化的影响，发现困难提示会降低性能，而简单提示更有效，提出通过训练少量简单提示来提升模型表现。
2026-03-02 cs.CL
SUR-adapter: Enhancing Text-to-Image Pre-trained Diffusion Models with Large Language Models
Sun Yat-sen University（中山大学）；Guangdong University of Technology（广东工业大学）
本文提出 SUR-adapter，通过构建 SURD 数据集并利用大语言模型知识蒸馏，增强扩散模型对简洁叙述提示的语义理解与推理能力，从而提升文本到图像生成质量。
2023-11-29 cs.CL cs.CV
Localized Zeroth-Order Prompt Optimization
National University of Singapore（新加坡国立大学）；Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究院）；Guangdong Lab of AI and Digital Economy (SZ)（广东人工智能与数字经济实验室（深圳））；Laboratory for Information and Decision Systems, MIT（麻省理工学院信息与决策系统实验室）
针对现有提示优化全局搜索方法在部分任务表现不佳的问题，该研究通过实证得出局部最优更适合高效提示优化等洞见，提出融合神经正切核高斯过程的ZOPO算法，在性能与查询效率上均优于现有基准。
2024-03-05 cs.AI
The Devil is in the Prompts: Retrieval-Augmented Prompt Optimization for Text-to-Video Generation
Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Fudan University（复旦大学）
本文提出检索增强提示优化框架RAPO，通过双分支优化用户提示词以提升文本到视频生成质量，实验证明其能有效改善生成视频的静态与动态表现。
2025-05-06 cs.CL cs.CV
Erased but Exploitable: Black-box Embedding-Aware Prompting Against Unlearned Text-to-Image Diffusion Models
Department of Computer Engineering（计算机工程系）
提出一种黑盒嵌入感知对抗提示攻击BEAP，利用大语言模型迭代生成有效对抗提示，以恢复被遗忘概念，并在攻击成功率上提升超过60%。
2026-10-06 cs.AI cs.CV
LLM Prompt Duel Optimizer: Efficient Label-Free Prompt Optimization
Department of Statistics, The Pennsylvania State University（宾夕法尼亚州立大学统计系）；Meta
本文提出基于LLM法官的成对偏好反馈的无标签提示优化框架PDO，通过双汤普逊采样和顶尖表现引导突变，在有限预算下高效选择强提示，实验表明其在BIG-bench Hard和MS MARCO任务中优于无标签基线。
2026-04-09 cs.CL stat.ML
