DDPT: Diffusion-Driven Prompt Tuning for Large Language Model Code Generation
University of Adelaide（阿德莱德大学）
本文提出扩散驱动提示调优方法DDPT，通过从高斯噪声学习生成最优提示嵌入，自动优化LLM代码生成的提示，实验表明其能有效提升提示优化效果。
2025-04-06 cs.AI cs.CL cs.LG
Evaluating the Robustness of Discrete Prompts
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；University of Liverpool（利物浦大学）
离散提示已被用于微调预训练的语言模型，用于各种NLP任务。特别是，从一小组训练实例中生成离散提示的自动方法已经报告了优越的性能。然而，仔细研究学习提示显示，它们包含嘈杂和反直觉的词汇结构，不会遇到手工编写的提示。这就提出了一个重要但尚未充分研究的问题，即自动学习离散提示在下游任务中使用时的鲁棒性。为了解决这个问题，我们进行了一个系统的研究离散提示的鲁棒性，通过应用精心设计的扰动到一个应用程序使用AutoPrompt，然后测量其性能在两个自然语言推理（NLI）数据集。我们的实验结果表明，虽然离散的基于神经网络的方法仍然相对稳健的扰动NLI输入，他们是高度敏感的其他类型的扰动，如洗牌和删除提示令牌。此外，它们在不同的NLI数据集上的泛化能力很差。我们希望我们的研究结果将激励未来的工作强大的离散提示学习。
2023-02-11 cs.AI cs.CL
Dynamic VLM-Guided Negative Prompting for Diffusion Models
KAIST（韩国科学技术院）
我们提出了一种新的方法，利用视觉语言模型（VLM）的动态负提示扩散模型，在去噪过程中自适应地产生负提示。与使用固定否定提示的传统否定去噪方法不同，我们的方法在特定的去噪步骤生成中间图像预测，并查询VLM以生成上下文适当的否定提示。我们在各种基准数据集上评估了我们的方法，并展示了负指导强度和文本图像对齐之间的权衡。
2025-10-30 cs.AI cs.CV
DiffusionDB: A Large-scale Prompt Gallery Dataset for Text-to-Image Generative Models
Georgia Tech（佐治亚理工学院）；IBM Research（IBM研究院）
本文提出大规模文本到图像提示数据集DiffusionDB，包含1400万张图像和180万个提示，通过分析提示特征与超参数影响，揭示模型错误及有害使用风险，为提示工程、深度伪造检测和人机交互研究提供基础。
2023-07-06 cs.AI cs.CV cs.HC
Prompt-Driven Feature Diffusion for Open-World Semi-Supervised Learning
School of Computer Science, Carleton University（卡尔顿大学计算机科学学院）
本文提出提示驱动特征扩散（PDFD）方法，利用类原型作为提示引导特征扩散，结合类条件对抗损失，解决开放世界半监督学习中未见类别的标记数据缺失问题，实验显示性能显著优于现有方法。
2024-04-17 cs.AI cs.CV cs.LG
Prompting Hard or Hardly Prompting: Prompt Inversion for Text-to-Image Diffusion Models
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（Vector人工智能研究所）
针对文本生成图像扩散模型提示词工程繁琐、现有嵌入反演结果缺乏可解释性的问题，提出基于延迟投影和扩散时间步语义特性的提示词反演方法，可直接生成可解释的语义提示词并应用于多种图像编辑任务。
2023-12-19 cs.CV cs.LG
SPARKE: Scalable Prompt-Aware Diversity and Novelty Guidance in Diffusion Models via RKE Score
Department of Computer Science and Engineering, The Chinese University of Hong Kong（计算机科学与工程系，香港中文大学）；Department of Information Engineering, The Chinese University of Hong Kong（信息工程系，香港中文大学）
针对提示引导扩散模型生成样本多样性不足的问题，提出SPARKE方法，通过条件潜变量RKE分数引导将计算复杂度降至O(n)，在不增加显著成本的同时提升生成数据的提示感知多样性。
2025-10-30 cs.AI cs.CV cs.LG
Decoding Diffusion: A Scalable Framework for Unsupervised Analysis of Latent Space Biases and Representations Using Natural Language Prompts
University of Waterloo（滑铁卢大学）
本文提出一种利用自然语言提示和图像描述映射潜在方向的无监督框架，无需训练特定向量即可自动分析扩散模型潜在空间中的偏差和表示，实现更可扩展和可解释的理解。
2024-11-04 cs.AI cs.CL cs.CV
Prompt Optimizer of Text-to-Image Diffusion Models for Abstract Concept Understanding
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对文生图扩散模型难以准确呈现抽象概念的问题，提出POAC方法，通过经抽象概念数据集微调的提示语言模型结合强化学习优化提示，显著提升生成图像的准确性与美学质量，且具备跨模型通用性。
2024-04-17 cs.AI cs.CV cs.LG
Continuous Prompt Generation from Linear Combination of Discrete Prompt Embeddings
MIT（麻省理工学院）
针对连续提示不可靠且难解释的问题，提出通过离散提示嵌入的线性组合构建连续提示的方法，训练模型预测权重以提升自然语言理解任务的性能，并验证了其对可解释性和推理准确性的改进。
2024-02-14 cs.CL
Prompt-Agnostic Adversarial Perturbation for Customized Diffusion Models
Xi’an Jiaotong University（西安交通大学）
针对定制化扩散模型的提示特定对抗保护方法适配性不足的问题，提出基于拉普拉斯近似建模提示分布、最大化扰动期望的提示无关对抗扰动方法，提升了防御稳定性与泛化性。
2024-10-10 cs.AI cs.CV
Unlearning the Unpromptable: Prompt-free Instance Unlearning in Diffusion Models
本文提出一种无提示的扩散模型实例取消学习方法，通过图像编辑、时间步加权和梯度手术，有效消除不可提示的不受欢迎输出，如面孔和文化误判，同时保持模型完整性。
2026-03-12 cs.CV cs.LG
Discrete and Soft Prompting for Multilingual Models
LMU Munich（慕尼黑大学）
对于英语，已经表明离散和软提示在使用预训练的语言模型（PLM）的少样本学习中表现强劲。在本文中，我们表明，离散和软提示比微调在多语言的情况下：跨语言迁移和多语言自然语言推理的语言训练。例如，对于48个英语训练样本，微调在跨语言迁移中获得了33.74%的准确率，勉强超过了大多数基线（33.33%）。相比之下，离散和软提示优于微调，达到36.43%和38.79%。我们还展示了良好的性能，提示与训练数据在多种语言以外的英语。
2021-09-08 cs.CL
Prompt Recovery for Image Generation Models: A Comparative Study of Discrete Optimizers
Department of Computer Science（计算机科学系）；Carnegie Mellon University（卡内基梅隆大学）；Department of Machine Learning（机器学习系）
本研究首次直接比较了GCG、PEZ、Random Search、AutoDAN和BLIP2等离散优化技术及图像描述器在图像生成模型提示反演中的表现，发现依赖CLIP相似度作为代理指标效果不佳，且训练良好的描述器往往优于离散优化器。
2025-04-29 cs.CV cs.LG
Prompting4Debugging: Red-Teaming Text-to-Image Diffusion Models by Finding Problematic Prompts
Department of Computer Science, National Yang Ming Chiao Tung University, Hsinchu, Taiwan（国家阳明交通大学计算机科学系）；IBM Research, NY 10598, USA（IBM研究院）
Prompting4Debugging通过寻找问题性提示揭示文本到图像扩散模型的安全漏洞，表明现有安全机制存在重大缺陷。
2026-01-14 cs.CL cs.CV
Multi-view Image Prompted Multi-view Diffusion for Improved 3D Generation
POSTECH（浦项科技大学）；Bytedance（字节跳动）
本文提出MultiImageDream方法，通过将ImageDream模型扩展为支持多视图图像输入提示，在无需微调预训练模型的情况下，显著提升了多视图和3D对象生成的性能。
2024-04-26 cs.CV
Exploring the Representation Manifolds of Stable Diffusion Through the Lens of Intrinsic Dimension
Pacific Northwest National Laboratory（太平洋西北国家实验室）；University of Washington（华盛顿大学）
摘要已成为一种重要的机制，通过它用户可以更有效地与多种风格的基础模型进行交互。事实上，过去几年已经表明，精心打磨的提示有时可以在这些模型中释放紧急功能。虽然已经有大量的经验性的探索，在社区内的提示，相对较少的作品研究了在数学水平上的提示。在这项工作中，我们的目标是采取的第一步，了解基本的几何属性诱导的提示稳定扩散，专注于模型内的内部表示的内在维度。我们发现，提示的选择有很大的影响，在这两个层次的模型，我们探讨的内在维度的代表性，但这种影响的性质取决于层被认为是。例如，在模型的某些瓶颈层中，表示的内在维度与提示困惑（使用代理模型测量）相关，而这种相关性在潜在层中并不明显。我们的证据表明，内在维度可能是一个有用的工具，为未来的研究不同的提示对文本到图像模型的影响。
2023-02-16 cs.CL cs.CV cs.LG
Not All Prompts Are Made Equal: Prompt-based Pruning of Text-to-Image Diffusion Models
University of Maryland（马里兰大学）；Florida State University（佛罗里达州立大学）
针对文本到图像扩散模型剪枝中静态方法忽略提示词容量差异、动态方法阻碍批处理并行性的问题，提出自适应提示词定制剪枝（APTP），通过提示词路由器和架构代码实现提示词感知剪枝，在SD V2.1上验证其优于基线且能发现挑战性提示词。
2025-02-11 cs.CV cs.LG
Prompt Compression in Diffusion Large Language Models: Evaluating LLMLingua-2 on LLaDA
University of Toronto（多伦多大学）；King Mongkut’s University of Technology Thonburi（泰国科技理工学院）
本文研究了提示压缩在扩散大型语言模型中的有效性，通过在LLDA上评估LLMLingua-2，发现提示压缩在数学推理任务中效果不佳，而摘要任务相对稳健，表明为扩散模型设计的提示压缩方法并不适用于所有场景。
2026-07-14 cs.AI cs.CL
LLM-grounded Diffusion: Enhancing Prompt Understanding of Text-to-Image Diffusion Models with Large Language Models
UC Berkeley（加州大学伯克利分校）；UCSF（加州大学旧金山分校）
本文提出LLM-grounded Diffusion，通过LLM生成带标题边界框的场景布局，再由控制器引导现成扩散模型完成布局定位生成，显著提升复杂提示理解与图像生成准确率。
2024-03-04 cs.CV
Beyond Single Tokens: Distilling Discrete Diffusion Models via Discrete MMD
Google DeepMind Amsterdam（谷歌深思亚马逊）
本文提出D-MMD方法，通过离散MMD蒸馏离散扩散模型，实现高质量和多样性的生成，优于传统方法。
2026-03-20 cs.CV cs.LG stat.ML
RLPrompt: Optimizing Discrete Text Prompts with Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；UC San Diego（加州大学圣地亚哥分校）；MIT（麻省理工学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Petuum Inc.（Petuum公司）
在使大型预训练的语言模型（LM）能够执行各种NLP任务方面，特别是当只有很少的下游数据可用时，编译已经取得了令人印象深刻的成功。然而，自动为每个任务找到最佳提示是具有挑战性的。大多数现有的工作采取调整软提示（例如，嵌入），其缺乏可解释性、跨LM的可重用性以及当梯度不可访问时的适用性。另一方面，离散提示难以优化，并且通常通过“枚举”（例如，释义）-然后选择”的策略，不系统地探索提示空间。提出了一种基于强化学习（RL）的高效离散提示优化方法RLPrompt。RLPrompt制定了一个参数有效的策略网络，该网络在带奖励的训练后生成所需的离散提示。为了克服大型LM环境中奖励信号的复杂性和随机性，我们引入了有效的奖励稳定性，大大提高了训练效率。RLPrompt可灵活地应用于不同类型的LM，例如掩码（例如，BERT）和从左到右模型（例如，GPT），用于分类和生成任务。在Few-Shot分类和无监督文本风格转换上的实验表明，该方法优于现有的各种微调或提示方法。有趣的是，所得到的优化提示通常是不合语法的胡言乱语文本;并且令人惊讶的是，这些胡言乱语提示可以在不同的LM之间转移以保持显著的性能，这表明LM提示可能不遵循人类语言模式。
2022-10-22 cs.CL cs.LG
Dialogue for Prompting: a Policy-Gradient-Based Discrete Prompt Generation for Few-shot Learning
Xi’an Jiaotong University（西安交通大学）
本文提出DP2O方法，通过GPT-4多轮对话生成可读提示、线性复杂度筛选高质量提示，并用策略梯度强化学习框架匹配提示与输入，在少样本任务中以极小参数量超越SOTA方法。
2024-01-16 cs.CL cs.LG
DiffusionX: Efficient Edge-Cloud Collaborative Image Generation with Multi-Round Prompt Evolution
College of Information Science（信息科学学院）；Electronic Engineering, Zhejiang University, Hangzhou, China（电子工程，浙江大学，杭州，中国）
提出云边协同框架 DiffusionX，由端侧轻量模型生成多轮预览、云端高容量模型最终精修，并用噪声水平预测器平衡负载，在保持或提升画质的同时降低生成延迟。
2025-10-18 cs.CV cs.LG
VidProM: A Million-scale Real Prompt-Gallery Dataset for Text-to-Video Diffusion Models
University of Technology Sydney（悉尼科技大学）；Zhejiang University（浙江大学）
本文提出首个百万级真实用户文本到视频提示数据集 VidProM，包含 167 万条提示和 669 万个视频，为提示工程、高效生成与视频复制检测等研究提供基础。
2024-09-30 cs.CL cs.CV
MirrorDiffusion: Stabilizing Diffusion Process in Zero-shot Image Translation by Prompts Redescription and Beyond
Guangdong University of Technology（广东工业大学）；CRRC Academy Co., Ltd.（中车研究院有限公司）；Sun Yat-sen University（中山大学）
本文提出MirrorDiffusion框架，通过提示词重描述机制在DDIM逆过程各时间步对齐文本提示词与潜在代码，解决DDPM逆过程位移累积导致的重建偏差，实现结构保持的零样本图像翻译。
2024-01-06 cs.AI cs.CV
Prompt-A-Video: Prompt Your Video Diffusion Model via Preference-Aligned LLM
The University of Hong Kong（香港大学）；ByteDance（字节跳动）；Shanghai AI Lab（上海人工智能实验室）
提出基于LLM的提示适应框架Prompt-A-Video，通过奖励引导的提示进化和两阶段优化对齐系统，为视频扩散模型生成偏好对齐的提示，解决现有方法的模态不一致等问题。
2024-12-19 cs.CL cs.CV cs.MM
Fast Sampling via Discrete Non-Markov Diffusion Models with Predetermined Transition Time
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对离散扩散模型采样加速不足的问题，提出DNDM及预定转移时间的免训练快速采样算法，并揭示有限到无限步采样的联系，在语言生成和翻译上实现速度与质量双提升。
2024-12-06 cs.AI cs.LG stat.ML
IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models
Tencent AI Lab（腾讯人工智能实验室）
本文提出轻量级 IP-Adapter，通过解耦文本与图像特征的交叉注意力层，使冻结的文生图扩散模型获得图像提示能力，并兼容自定义模型、文本提示与可控生成工具。
2023-08-13 cs.AI cs.CV
Synth-SONAR: Sonar Image Synthesis with Enhanced Diversity and Realism via Dual Diffusion Models and GPT Prompting
SRM Institute of Science and Technology（SRM科学技术学院）
本研究提出声纳图像合成框架Synth-SONAR，结合扩散模型与GPT提示，通过双文本条件模型和生成式AI风格注入技术，生成了高质量、高多样性的合成声纳数据集。
2024-10-11 cs.AI cs.CV cs.LG
Discrete Prompt Optimization via Constrained Generation for Zero-shot Re-ranker
Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）
针对零样本重排序器中提示优化未被探索的问题，提出无需参数更新的离散提示优化方法Co-Prompt，通过指标引导PLM生成最优提示，显著提升重排序性能与可解释性。
2023-05-23 cs.AI cs.CL cs.IR
DiffusionAttacker: Diffusion-Driven Prompt Manipulation for LLM Jailbreak
Beihang University（北京航空航天大学）；Tsinghua University（清华大学）；Zhongguancun Laboratory（中关村实验室）
提出 DiffusionAttacker，用 seq2seq 文本扩散模型和攻击损失引导提示词改写，并结合 Gumbel-Softmax 实现可微采样，在 Advbench 与 Harmbench 上提升 ASR、流畅性和多样性。
2025-01-05 cs.CL
PEO: Training-Free Aesthetic Quality Enhancement in Pre-Trained Text-to-Image Diffusion Models with Prompt Embedding Optimization
KU Leuven（鲁文大学）；Université Paris-Saclay（巴黎-萨克雷大学）；Meta
本研究提出免训练的PEO方法，通过三重目标函数优化文本嵌入，在不依赖特定主干、无需训练的前提下提升预训练文本到图像扩散模型的生成美学质量，性能达当前最优水平。
2025-10-02 cs.CV
Debiasing Scores and Prompts of 2D Diffusion for View-consistent Text-to-3D Generation
Korea University（高丽大学）
针对文本到三维生成中的视图不一致问题，提出分数去偏和提示去偏两种方法，减少伪影并提升三维一致性。
2023-12-19 cs.CL cs.CV cs.GR
DiffNAS: Bootstrapping Diffusion Models by Prompting for Better Architectures
Sensetime Research（商汤科技研究院）；The University of Sydney（悉尼大学）
本文提出DiffNAS，利用GPT-4作为超网络并借助搜索记忆和RFID代理，通过快速收敛训练策略，将扩散模型架构搜索效率提升2倍，并在CIFAR10上使FID改善0.37。
2023-10-10 cs.AI cs.CV cs.LG
G2D2: Gradient-Guided Discrete Diffusion for Inverse Problem Solving
Sony AI（索尼人工智能）；Stanford University（斯坦福大学）；Sony Group Corporation（索尼集团）
本文提出G2D2方法，利用离散扩散生成模型作为先验，通过变分分布近似和星形噪声过程解决连续空间中的线性逆问题，在保持与连续扩散相当性能的同时降低GPU内存消耗。
2025-09-19 cs.AI cs.CV cs.LG
MemBench: Memorized Image Trigger Prompt Dataset for Diffusion Models
KAIST（韩国科学技术院）；POSTECH（浦项科技大学）；Yonsei Univ.（延世大学）
本文提出首个图像记忆缓解评估基准MemBench，包含多种扩散模型的触发提示，并设计同时评估触发提示与通用提示的指标，验证现有缓解方法仍不足以实际应用。
2024-09-30 cs.CV
Test-Time Anchoring for Discrete Diffusion Posterior Sampling
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google（谷歌）
本研究提出锚定后验采样方法，通过量化期望和锚定重掩码实现离散扩散模型在后验采样中的高效和精确采样，提升图像生成和文本引导编辑的性能。
2026-01-30 cs.CV cs.LG stat.ML
Why Masking Diffusion Works: Condition on the Jump Schedule for Improved Discrete Diffusion
New York University（纽约大学）
本文揭示掩码扩散因内置已知跳跃时间分布而表现优异，并提出 SCUD 将该机制推广到任意离散扩散模型，在图像、文本和蛋白质数据上超越掩码扩散。
2025-09-27 cs.LG stat.ML
Interpretable Diffusion Models with B-cos Networks
Department of Computer Science, ETH Zürich, Switzerland（苏黎世联邦理工学院计算机科学系）
本文提出基于B-cos模块的可解释扩散模型，通过突出每个提示词token影响的像素区域，在保持高质量图像生成的同时揭示提示词与图像的对齐关系。
2025-07-05 cs.CV cs.LG
Prompt-Based Safety Guidance Is Ineffective for Unlearned Text-to-Image Diffusion Models
KAIST（韩国科学技术院）
针对文本到图像扩散模型中遗忘有害概念方法与基于提示的安全引导结合时性能下降的问题，提出用概念反演获得的隐式负嵌入替换负提示的方法，在裸体和暴力基准上提升了防御成功率且保留输入语义。
2025-11-11 cs.AI cs.CV cs.LG
Advanced Image Generation: Negative Prompt Optimization and Latent Classifier Guidance
该研究提出新系统，通过微调序列到序列语言模型集成负提示优化与潜在空间分类器引导，自动生成优化负提示，用混合分类器评估引导扩散步骤，减少伪影并提高语义保真度，提升Stable Diffusion图像生成质量。
2026-07-17 cs.CV cs.LG
Unifying Continuous and Discrete Text Diffusion with Non-simultaneous Diffusion Processes
School of Computer Science and Technology, University of Science and Technology of China（计算机科学与技术学院，中国科学技术大学）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）
提出NeoDiff模型，通过引入泊松扩散过程和自适应时间预测器，统一了离散与连续文本扩散模型的优势，实现了细粒度噪声控制，在多个文本生成任务中优于多种基线方法。
2025-05-28 cs.AI cs.CL cs.LG
Thinking Inside the Mask: In-Place Prompting in Diffusion LLMs
针对扩散大语言模型双向特性，提出ICE框架，通过在掩码token位置集成原位提示并引入置信度感知早期退出机制，将前缀提示转为原位提示，显著提升准确率与推理速度。
2025-10-11 cs.CL
PromptFlare: Prompt-Generalized Defense via Cross-Attention Decoy in Diffusion-Based Inpainting
Sungkyunkwan University（成均馆大学）
PromptFlare 通过向提示中语义无信息的共享 token 注入交叉注意力诱饵噪声来抑制扩散修复模型的采样过程，从而在 EditBench 上以更低计算和显存开销实现最先进的图像防篡改保护。
2025-08-22 cs.CV
Prompt Reinjection: Alleviating Prompt Forgetting in Multimodal Diffusion Transformers for Text-to-Image Generation
University of Science and Technology of China（中国科学技术大学）
本研究针对多模态扩散变换器中提示遗忘问题，提出一种无需训练的提示重注入方法，通过将早期层的提示表示重新注入到后期层，以提升指令遵循能力和生成质量。
2026-08-03 cs.CV
SD4Match: Learning to Prompt Stable Diffusion Model for Semantic Matching
University of Oxford（牛津大学）；University of Hong Kong（香港大学）
本文提出SD4Match方法，通过提示调优技术挖掘Stable Diffusion模型中UNet中间输出的特征图潜力，并引入条件提示模块根据输入图像对局部细节优化提示，在多个语义匹配数据集上显著超越以往方法并创下新基准。
2024-03-26 cs.CV cs.LG
PromptRR: Diffusion Models as Prompt Generators for Single Image Reflection Removal
State Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学）；Department of Computer Science at Memorial University of Newfoundland（纪念大学计算机科学系）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；School of Engineering, University of California at Merced（加州大学默塞德分校工程学院）
针对现有单图像反射去除方法忽略图像高低频差异的问题，提出PromptRR框架，以频率信息为视觉提示，通过扩散模型生成提示并引导恢复，在基准数据集上性能优于现有最先进方法。
2025-08-24 cs.CV
A Reparameterized Discrete Diffusion Model for Text Generation
The University of Hong Kong（香港大学）；ByteDance Inc.（字节跳动公司）；Google DeepMind（谷歌DeepMind）
本文提出重新参数化离散扩散模型，通过等价采样公式提升文本生成的训练与解码效果，并在实验中显著优于现有扩散模型。
2024-08-02 cs.CL cs.LG
Prompt-guided Precise Audio Editing with Diffusion Models
Tencent AI Lab（腾讯AI实验室）；Beijing Institute of Technology（北京理工大学）
本文提出无需训练的通用模块PPAE，利用扩散模型交叉注意力图和分层局部-全局流水线，仅通过文本提示实现精确音频编辑。
2024-05-11 cs.AI cs.LG cs.SD
Manipulating Embeddings of Stable Diffusion Prompts
Leipzig University（莱比锡大学）；University of Kassel（卡塞尔大学）
该研究针对文生图模型提示词工程操控精度有限的问题，提出基于梯度传递直接操控Stable Diffusion提示词嵌入的方法，开发三类实用交互工具，实现更细粒度的定向图像控制，用户研究验证了方法的易用性与生成效果优势。
2024-06-22 cs.CV cs.LG
Diffusion Model Patching via Mixture-of-Prompts
KAIST（韩国科学技术院）；Twelve Labs（Twelve Labs公司）
本研究提出扩散模型修补方法DMP，通过提示混合的动态门控机制，在冻结原模型、仅增少量参数的情况下，利用原始预训练数据进一步训练，显著提升了已收敛扩散模型的性能。
2024-12-11 cs.AI cs.CV
Hard Prompts Made Easy: Gradient-Based Discrete Optimization for Prompt Tuning and Discovery
University of YYY（YYY大学）；Institute of WWW（WWW研究所）
本文提出一种基于梯度的离散优化方法，可自动为文本到图像扩散模型和文本到文本分类 LM 发现可解释、可复用的硬提示词。
2023-06-01 cs.CL cs.LG
Seek for Incantations: Towards Accurate Text-to-Image Diffusion Synthesis through Prompt Engineering
Huawei（华为）
本文针对扩散模型在复杂文本到图像合成中的混淆问题，提出通过提示学习自动学习恰当文本描述的框架，利用质量与语义引导提升图文匹配度。
2024-01-12 cs.CV
