Batch-Instructed Gradient for Prompt Evolution:Systematic Prompt Optimization for Enhanced Text-to-Image Synthesis
University College London（伦敦大学学院）
本文提出一种多智能体框架，通过基于迭代性能反馈的动态指令演化来优化文本到图像模型的输入提示，并利用UCB算法和HPS v2评估提升生成图像质量。
2024-06-13 cs.AI cs.CV
Progressive Prompt Detailing for Improved Alignment in Text-to-Image Generative Models
Boston University（波士顿大学）；Johns Hopkins University（约翰霍普金斯大学）
提出无需训练的SCoPE方法，通过将复杂提示分解为从粗到细的子提示并在推理时插值，显著提升文本到图像生成模型的提示对齐效果，在GenAI-Bench数据集上VQA得分平均提升超8分。
2025-05-30 cs.AI cs.CV
Multimodal Prompt Decoupling Attack on the Safety Filters in Text-to-Image Models
University of Science and Technology of China（中国科学技术大学）
提出多模态提示解耦攻击（MPDA），利用图像模态分离不安全提示，结合LLM解耦与改写及VLM生成描述，绕过T2I模型安全过滤器生成NSFW内容。
2025-09-21 cs.AI cs.CV
A User-Friendly Framework for Generating Model-Preferred Prompts in Text-to-Image Synthesis
本文提出UF-FGTG框架，通过粗细粒度提示数据集和自适应特征提取模块，自动优化用户输入提示以生成更高质量的图像。
2026-03-25 cs.AI cs.CV cs.MM
FreeInpaint: Tuning-free Prompt Alignment and Visual Rationality Enhancement in Image Inpainting
FreeInpaint通过无调优的扩散潜在特征优化方法，提升图像修复的提示对齐和视觉合理性。
2025-12-24 cs.CV
TIPO: Text to Image with Text Presampling for Prompt Optimization
TIPO通过文本预采样优化提示，提升文本到图像生成的视觉质量和人类偏好度。
2026-02-08 cs.CV
Prompt Reinjection: Alleviating Prompt Forgetting in Multimodal Diffusion Transformers for Text-to-Image Generation
University of Science and Technology of China（中国科学技术大学）
本研究针对多模态扩散变换器中提示遗忘问题，提出一种无需训练的提示重注入方法，通过将早期层的提示表示重新注入到后期层，以提升指令遵循能力和生成质量。
2026-08-03 cs.CV
Prompt Expansion for Adaptive Text-to-Image Generation
Google Research（谷歌研究院）；Princeton University（普林斯顿大学）；University of Oxford（牛津大学）
本文提出提示词扩展框架，将文本查询扩展为优化后的提示词集合，以提升文本到图像生成的质量与多样性，并通过人工评估验证其优于基线方法。
2023-12-27 cs.CV
ATT3D: Amortized Text-to-3D Object Synthesis
NVIDIA Corporation（英伟达公司）
针对DreamFusion等文本到三维方法需逐提示词漫长优化的问题，提出ATT3D摊销式框架，通过统一模型同时训练多提示词共享计算，缩短训练时间，实现知识共享与文本插值生成新资产及动画。
2023-06-06 cs.AI cs.CV cs.LG
Isolated Diffusion: Optimizing Multi-Concept Text-to-Image Generation Training-Freely with Isolated Diffusion Guidance
针对文本到图像扩散模型多概念生成中的概念渗漏问题，提出免训练的Isolated Diffusion方法，通过拆分提示、隔离重合成各主体优化文图一致性，兼容SD系列模型且效果优于现有方法。
2025-01-17 cs.CV
NSFW-Classifier Guided Prompt Sanitization for Safe Text-to-Image Generation
Purple Mountain Laboratories（紫金山实验室）；Fudan University（复旦大学）
针对文本到图像模型被越狱生成有害内容的问题，提出NSFW分类器引导的提示净化方法PromptSan，通过修改或添加后缀词元中和有害意图，在保持生成能力的同时实现最先进的安全性能。
2025-06-23 cs.CV
PEO: Training-Free Aesthetic Quality Enhancement in Pre-Trained Text-to-Image Diffusion Models with Prompt Embedding Optimization
KU Leuven（鲁文大学）；Université Paris-Saclay（巴黎-萨克雷大学）；Meta
本研究提出免训练的PEO方法，通过三重目标函数优化文本嵌入，在不依赖特定主干、无需训练的前提下提升预训练文本到图像扩散模型的生成美学质量，性能达当前最优水平。
2025-10-02 cs.CV
Iterative Prompt Refinement for Safer Text-to-Image Generation
Korea University（韩国大学）
本文提出了一种利用视觉语言模型（VLMs）分析输入提示词和生成图像的迭代提示词精炼算法，通过视觉反馈在保持用户意图的同时提升了文本到图像生成的安全性。
2025-09-17 cs.CV
POS: A Prompts Optimization Suite for Augmenting Text-to-Video Generation
Institution1（机构1）；Institution2（机构2）
本文提出免训练提示优化套件POS，通过最优噪声逼近器和语义保持重写器分别优化噪声与文本提示，从而显著提升文本到视频生成质量。
2024-06-10 cs.CV
EDITOR: Effective and Interpretable Prompt Inversion for Text-to-Image Diffusion Models
University of Massachusetts, Amherst（马萨诸塞大学阿姆赫斯特分校）；Georgia Institute of Technology（佐治亚理工学院）；Rutgers University（罗格斯大学）；University of Utah（犹他大学）；Dolby Laboratories（杜比实验室）
本文提出\sys技术，通过预训练模型初始化、潜在空间反向工程和嵌入到文本转换，提升文本到图像扩散模型的提示倒置效果，实现更高的图像相似性和可解释性。
2026-03-04 cs.CV
PromptSafe: Gated Prompt Tuning for Safe Text-to-Image Generation
Beihang University（北航）；Beijing University of Posts and Telecommunications（北京邮电大学）；Taishan University（泰山大学）；Nanyang Technological University（南洋理工大学）；Henan University of Science and Technology（河南科技大学）
提出门控提示微调框架 PromptSafe，通过纯文本软嵌入与推理时门控机制自适应调节防御强度，在保持良性生成质量的同时实现SOTA安全防护，并具备强泛化与抗攻击能力。
2025-08-14 cs.CV
PROMPTMINER: Black-Box Prompt Stealing against Text-to-Image Generative Models via Reinforcement Learning and Fuzz Optimization
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Dolby Laboratories（杜比实验室）
PROMPTMINER通过强化学习和模糊优化实现文本到图像生成模型的黑盒提示窃取，有效恢复图像生成提示。
2025-11-27 cs.CV
Seek for Incantations: Towards Accurate Text-to-Image Diffusion Synthesis through Prompt Engineering
Huawei（华为）
本文针对扩散模型在复杂文本到图像合成中的混淆问题，提出通过提示学习自动学习恰当文本描述的框架，利用质量与语义引导提升图文匹配度。
2024-01-12 cs.CV
TextureDiffusion: Target Prompt Disentangled Editing for Various Texture Transfer
Shenzhen International Graduate School Tsinghua University（清华大学深圳国际研究生院）
针对现有文本引导图像编辑方法难以迁移复杂纹理的问题，提出无需调优的TextureDiffusion方法，通过提示解耦、结构特征保留与编辑定位技术，实现多样纹理的和谐迁移及结构、背景的有效保留。
2025-01-14 cs.CV
Learning to Sample Effective and Diverse Prompts for Text-to-Image Generation
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Microsoft Research（微软研究院）；Hong Kong University of Science and Technology（香港科技大学）
针对RL优化提示词易产生相似后缀的问题，本文提出PAG，将提示词适配视为概率推断并用GFlowNets采样多样高质量提示词，同时通过流重激活等机制解决可塑性丧失。
2025-02-17 cs.CV
VP3D: Unleashing 2D Visual Prompt for Text-to-3D Generation
HiDream.ai Inc.（HiDream.ai公司）；Fudan University（复旦大学）
提出视觉提示引导的文本到3D扩散模型VP3D，通过2D图像作为视觉提示增强SDS优化并结合可微奖励函数，显著提升了3D生成的视觉保真度与纹理细节，并支持风格化生成。
2024-03-25 cs.CV cs.MM
Aligned but Stereotypical? How System Prompts Shape Demographic Bias in LLM-Based Text-to-Image Models
KAIST（韩国科学技术院）；HKUST (GZ)（香港科技大学（广州））
研究LLM增强的文本到图像系统在提示扩展中引入隐性人口统计偏见的问题，提出无训练的去偏框架FairPro，通过自适应生成公平性指令减少人口统计差异。
2026-06-15 cs.CV cs.LG
TextTIGER: Text-based Intelligent Generation with Entity Prompt Refinement for Text-to-Image Generation
Nara Institute of Science and Technology（奈良科学技術研究所）；The University of Tokyo（东京大学）；Chungnam National University（Chungnam国立大学）；Institute of Science Tokyo（东京科学研究所）
TextTIGER通过增强外部信息和大语言模型总结，优化实体描述以提升文本到图像生成性能，实验表明其在多种评估指标上优于仅使用描述的提示方法。
2026-04-18 cs.CL cs.CV
SafeText: Safe Text-to-image Models via Aligning the Text Encoder
Duke University（杜克大学）
SafeText通过微调文本编码器而非扩散模块来对齐文本到图像模型，在不影响安全提示图像质量的前提下有效防止有害图像生成，并优于六种现有对齐方法。
2025-02-28 cs.CR cs.CV
TextInVision: Text and Prompt Complexity Driven Visual Text Generation Benchmark
Arizona State University（亚利桑那州立大学）；Adobe Research（奥多比研究院）
本文提出大规模基准 TextInVision，从文本与提示复杂度、VAE 字符表示等维度评估扩散模型的图像内文本生成能力，并揭示拼写与上下文等共性缺陷。
2025-03-17 cs.CL cs.CV
Prompt-to-Prompt Image Editing with Cross Attention Control
Google Research（谷歌研究院）；Tel Aviv University（特拉维夫大学）
最近的大规模文本驱动的合成模型吸引了很多关注，由于其显着的能力，生成高度多样化的图像，按照给定的文本提示。这种基于文本的合成方法特别吸引那些习惯于口头描述其意图的人。因此，将文本驱动的图像合成扩展到文本驱动的图像编辑是很自然的。编辑对于这些生成模型来说是一个挑战，因为编辑技术的固有属性是保留大部分原始图像，而在基于文本的模型中，即使是对文本提示的微小修改也会导致完全不同的结果。现有技术的方法通过要求用户提供空间掩模来本地化编辑，从而忽略掩模区域内的原始结构和内容来减轻这一点。在本文中，我们追求一个直观的提示到提示的编辑框架，其中的编辑仅由文本控制。为此，我们深入分析了文本条件模型，并观察到交叉注意层是控制图像空间布局与提示中每个单词之间关系的关键。有了这个观察，我们提出了几个应用程序，通过编辑文本提示只监视图像合成。这包括通过替换单词进行本地化编辑，通过添加规范进行全局编辑，甚至微妙地控制单词在图像中的反映程度。我们在不同的图像和提示上展示了我们的结果，展示了高质量的合成和对编辑提示的保真度。
2022-08-02 cs.CL cs.CV cs.GR
Fast Prompt Alignment for Text-to-Image Generation
TikTok（抖音）
针对文生图中复杂提示与图像对齐难、现有迭代方法效率低的问题，提出单遍处理的快速提示对齐框架FPA，经多数据集和人工评估验证，其在保证对齐效果的同时大幅提升效率，适用于实时高需求场景。
2024-12-11 cs.CL cs.CV
Optimizing GPT for Video Understanding: Zero-Shot Performance and Prompt Engineering
Tiktok Inc.（字节跳动公司）
本研究针对视频内容分类的行业挑战，提出通过提示优化和策略细化提升GPT的零样本分类性能，并引入基于分解-聚合的提示工程技术，实验表明该方法无需额外微调即可显著提升分类效果。
2025-04-25 cs.CL cs.CV cs.LG
Self-Rewarding Large Vision-Language Models for Optimizing Prompts in Text-to-Image Generation
University of Macau（澳门大学）
本文提出了一种自奖励的大型视觉-语言模型框架，用于优化文本到图像生成中的提示，通过统一求解器和奖励模型实现自我改进，实验表明其优于其他方法。
2025-09-12 cs.CV
Region Prompt Tuning: Fine-grained Scene Text Detection Utilizing Region Text Prompt
University of Electronic Science and Technology of China（电子科技大学）
本文提出区域提示微调方法，通过字符与区域视觉token一一对应并结合双向距离损失，融合全局与局部得分图，提升细粒度场景文本检测性能。
2024-11-19 cs.AI cs.CV
Text-driven Prompt Generation for Vision-Language Models in Federated Learning
Bosch Center for AI（博世人工智能中心）；Tulane University（杜兰大学）
针对联邦学习中提示学习泛化不足的问题，提出FedTPG，利用任务相关文本输入生成上下文感知的提示，在九个数据集上优于现有方法，提升已见与未见类别的泛化能力。
2023-10-09 cs.AI cs.CV
AnchorOPT: Towards Optimizing Dynamic Anchors for Adaptive Prompt Learning
Nankai University（南开大学）；Nanjing University of Science and Technology（南京理工大学）
AnchorOPT通过动态锚点和位置矩阵优化，提升提示学习在跨任务和阶段的适应性与性能。
2025-11-26 cs.CL cs.CV
Prompt Group-Aware Training for Robust Text-Guided Nuclei Segmentation
Fudan University, Shanghai, China（复旦大学，上海，中国）
本文提出基于提示组的鲁棒文本引导核分割训练方法，通过组内一致性约束和质量引导正则化提升分割鲁棒性和泛化能力。
2026-03-06 cs.AI cs.CV
LASP: Text-to-Text Optimization for Language-Aware Soft Prompting of Vision & Language Models
Samsung AI Cambridge（三星剑桥人工智能研究院）；Technical University of Iasi（雅西技术大学）；Queen Mary University of London（伦敦玛丽女王大学）
本文提出LASP方法通过文本到文本交叉熵损失缓解视觉语言模型的软提示过拟合，并引入分组优化、重新校准机制和虚拟类增强鲁棒性，在11个数据集上显著超越现有工作并首次在8个数据集上超越手工提示和CLIP的未见类准确率。
2023-04-02 cs.AI cs.CV cs.LG
Image Super-Resolution with Text Prompt Diffusion
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；The University of Sydney（悉尼大学）；Westlake University（西湖大学）
本文提出PromptSR方法，通过引入文本提示为图像超分辨率提供退化先验，利用多模态大语言模型和预训练语言模型增强文本理解，在合成与真实图像上取得显著效果。
2025-03-11 cs.CV
Prompt me a Dataset: An investigation of text-image prompting for historical image dataset creation using foundation models
Max Planck Institute for the History of Science（马克斯·普朗克科学史研究所）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）；Tel-Aviv University（特拉维夫大学）；Technische Universität Berlin（柏林工业大学）
本文提出利用GroundDINO和SAM的顺序流程，从历史文档中提取图像以创建数据集，并评估文本-图像提示在不同复杂度人文数据集上的有效性。
2023-09-04 cs.AI cs.CV cs.DL
TextGround4M: A Prompt-Aligned Dataset for Layout-Aware Text Rendering
Central South University（中南大学）；Zhejiang University（浙江大学）；Microsoft Research（微软研究院）
本文提出TextGround4M数据集，通过细粒度布局监督提升文本生成的准确性，引入轻量训练策略和布局评估指标，验证了布局感知在文本到图像生成中的重要性。
2026-04-27 cs.CV
ViPCap: Retrieval Text-Based Visual Prompts for Lightweight Image Captioning
Hanyang University（汉阳大学）
ViPCap提出基于检索文本的视觉提示方法，通过将文本映射到CLIP空间并采样高斯分布增强视觉特征，在COCO等数据集上显著提升轻量级图像描述生成的效率与效果。
2025-01-24 cs.AI cs.CL cs.CV
LoGoPrompt: Synthetic Text Images Can Be Good Visual Prompts for Vision-Language Models
ShanghaiTech University（上海科技大学）
本文提出LoGoPrompt，将合成文本图像用作视觉语言模型的视觉提示，通过把分类目标重构为视觉提示选择来解决类别预测与提示生成的先后难题，在少样本学习、基类到新类泛化和领域泛化上一致超越现有方法。
2023-09-22 cs.CV
T-Rex2: Towards Generic Object Detection via Text-Visual Prompt Synergy
South China University of Technology（华南理工大学）；International Digital Economy Academy (IDEA)（国际数字经济学院）；The Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）
提出T-Rex2模型，通过对比学习协同文本与视觉提示，实现多模态输入的开放集目标检测，在广泛场景中展现卓越零样本检测能力。
2024-03-21 cs.CV
Text Promptable Surgical Instrument Segmentation with Vision-Language Models
Tongji University（同济大学）
提出文本可提示的手术器械分割方法，利用视觉语言模型与混合提示机制提升分割性能，为机器人辅助手术应用提供新方案。
2023-11-08 cs.CV
LDEPrompt: Layer-importance guided Dual Expandable Prompt Pool for Pre-trained Model-based Class-Incremental Learning
School of Information and Communication Engineering, BUPT（北京邮电大学信息与通信工程学院）；Engineering Research Center for Information Network, Ministry of Education（教育部信息网络工程研究中心）
本文提出LDEPrompt，通过动态冻结和扩展提示池，解决传统提示池固定、手动选择和依赖预训练模型的问题，实验表明其在类增量学习中表现优异。
2026-04-13 cs.CV
ProTPS: Prototype-Guided Text Prompt Selection for Continual Learning
University of Washington（华盛顿大学）；Alaska Pacific University（阿拉斯加太平洋大学）
ProTPS通过学习类特定的视觉原型和文本提示，减少新旧类别的语义重叠，从而缓解灾难性遗忘问题，在连续学习任务中表现出色。
2026-04-01 cs.CV
TIP-Editor: An Accurate 3D Editor Following Both Text-Prompts And Image-Prompts
Sun Yat-sen University（中山大学）；Tencent AI Lab（腾讯AI实验室）；Peng Cheng Laboratory（鹏城实验室）
提出3D场景编辑框架TIP-Editor，结合文本与图像提示及3D边界框，利用逐步2D个性化策略与3D高斯泼溅实现精准局部编辑，在质量和提示对齐上优于基线。
2024-04-25 cs.CV
Texts as Images in Prompt Tuning for Multi-Label Image Recognition
Tomorrow Advancing Life（好未来）；Harbin Institute of Technology（哈尔滨工业大学）；Pazhou Lab（琶洲实验室）
提示微调已被用作使大型视觉语言预训练模型（例如CLIP）适应数据有限或标签有限设置中的各种下游任务的有效方法。尽管如此，视觉数据（例如，图像）是现有方法中学习提示的默认先决条件。在这项工作中，我们主张，图像-文本对比学习的有效性，在对齐的两种方式（用于训练CLIP）进一步使它成为可行的处理文本作为图像的提示微调，并引入TaI提示。与可视化数据相比，文本描述易于收集，并且可以直接导出其类标签。特别是，我们将TaI提示应用于多标签图像识别，其中野生句子作为图像的替代品进行提示微调。此外，TaI，双粒度提示微调（TaI-DPT）进一步提出了提取粗粒度和细粒度的嵌入，以提高多标签识别性能。实验结果表明，我们提出的TaI-DPT优于zero-shot CLIP在多个基准测试，例如，MS-COCO、VOC 2007和NUS-WIDE，而它可以与现有的图像提示方法相结合，以进一步提高识别性能。代码发布于https://github.com/guozix/TaI-DPT。
2022-12-20 cs.CV
Nemesis: Normalizing the Soft-prompt Vectors of Vision-Language Models
Southern University of Science and Technology（南方科技大学）；University of Surrey（萨里大学）
本文揭示了VLMs软提示向量的低范数效应，并提出Nemesis方法对其进行归一化，首次系统研究了软提示向量范数对模型性能的影响，为软提示微调提供了新见解。
2024-08-26 cs.AI cs.CL cs.CV
Beyond Open Vocabulary: Multimodal Prompting for Object Detection in Remote Sensing Images
School of Computer Science and Engineering, Beihang University, Beijing, China（计算机科学与工程学院，北京航空航天大学，中国）
RS-MPOD提出了一种多模态开放词汇检测框架，通过整合视觉和文本提示提升遥感图像中目标检测的稳定性与准确性。
2026-02-02 cs.CV
TextRefiner: Internal Visual Feature as Efficient Refiner for Vision-Language Models Prompt Tuning
Xiamen University（厦门大学）
针对现有视觉语言模型提示学习粗粒度共享提示难以区分类别视觉概念、外部知识辅助方法推理成本高的问题，提出即插即用的TextRefiner方法，利用模型内部视觉特征优化文本提示，提升多基准性能且推理高效。
2024-12-11 cs.CV cs.MM
PromptTA: Prompt-driven Text Adapter for Source-free Domain Generalization
Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（西安交通大学人工智能与机器人学院）
本文提出PromptTA方法，通过提示驱动文本适配器更好地捕捉风格特征分布并采用重采样确保域知识全面覆盖，在无源域泛化任务中实现了最先进的性能。
2024-09-21 cs.CL cs.CV cs.LG
Text Prompt Injection of Vision Language Models
Ruizhe Zhu（独立研究者）
本文研究针对大型视觉语言模型的文本提示注入攻击方法，开发了一种低计算资源需求且对大型模型尤为有效的攻击算法，并通过实验验证了其高效性。
2025-10-10 cs.CL cs.CV
Optimizing CLIP Models for Image Retrieval with Maintained Joint-Embedding Alignment
HTW Berlin（柏林工程应用科学大学）
本文针对CLIP模型在图像检索中难以区分视觉不同但标题相似的图像的问题，提出顺序微调和伪标题对齐两种优化方法，在保持文本-图像对齐的同时提升图像检索、k-NN分类和零样本分类性能，并简化多模态检索系统基础设施。
2024-09-03 cs.CV cs.LG
