A Reparameterized Discrete Diffusion Model for Text Generation
The University of Hong Kong(香港大学);ByteDance Inc.(字节跳动公司);Google DeepMind(谷歌DeepMind)
本文提出重新参数化离散扩散模型,通过等价采样公式提升文本生成的训练与解码效果,并在实验中显著优于现有扩散模型。
2024-08-02 cs.CL cs.LG
Text Generation with Diffusion Language Models: A Pre-training Approach with Continuous Paragraph Denoise
Xiamen University(厦门大学);Microsoft Research Asia(微软亚洲研究院);Microsoft(微软);Tsinghua University(清华大学);Fudan University(复旦大学)
在本文中,我们介绍了一种新的diff语言的语言模型预训练框架,文本生成,我们称之为GENIE。GENIE是一个大规模的预训练扩散语言模型,它由一个编码器和一个基于扩散的解码器组成,它可以通过将随机噪声序列逐渐转换为连贯的文本序列来生成文本。为了在大规模语言语料库上对GENIE进行预训练,我们设计了一个新的连续段落去噪目标,该目标鼓励扩散解码器从损坏的版本中重建干净的文本段落,同时保持语义和句法一致性。我们评估GENIE的四个下游文本生成基准,即XSum,CNN/DailyMail,Gigaword和CommonGen。我们的实验结果表明,GENIE在这些基准测试中实现了与最先进的自回归模型相当的性能,并生成了更多样化的文本样本。GENIE的代码和模型可在https://github.com/microsoft/ProphetNet/tree/master/GENIE上获得。
2023-02-17 cs.CL cs.LG
SSD-LM: Semi-autoregressive Simplex-based Diffusion Language Model for Text Generation and Modular Control
University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出SSD-LM,一种半自回归且基于单纯形的扩散语言模型,通过在自然词汇空间上迭代生成文本块,结合现成分类器实现模块化控制,在文本生成质量与多样性上匹敌GPT-2并大幅超越现有扩散基线。
2023-06-26 cs.CL cs.LG
DiffuDetox: A Mixed Diffusion Model for Text Detoxification
University of Toronto(多伦多大学);LG Electronics(LG电子)
针对文本去毒化任务数据不足导致扩散模型生成文本流畅度下降的问题,提出混合扩散模型DiffuDetox,结合条件模型保多样性、无约束模型提流畅度的优势,经实验验证了其有效性。
2023-06-14 cs.CL cs.LG
Unifying Continuous and Discrete Text Diffusion with Non-simultaneous Diffusion Processes
School of Computer Science and Technology, University of Science and Technology of China(计算机科学与技术学院,中国科学技术大学);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室)
提出NeoDiff模型,通过引入泊松扩散过程和自适应时间预测器,统一了离散与连续文本扩散模型的优势,实现了细粒度噪声控制,在多个文本生成任务中优于多种基线方法。
2025-05-28 cs.AI cs.CL cs.LG
Text Diffusion with Reinforced Conditioning
Peking University(北京大学);Microsoft Corporation(微软公司)
本文提出文本扩散模型TREC,通过强化条件作用和时间感知方差缩放分别解决自条件退化及训练采样失配问题,实验证明其性能优于自回归、非自回归及扩散基线。
2024-02-19 cs.AI cs.CL cs.LG
Towards Latent Diffusion Suitable For Text
University of Amsterdam(阿姆斯特丹大学)
本文提出神经流扩散模型,用于高效生成文本,通过改进连续扩散模型在离散空间的应用,提升语言生成的连贯性和效率。
2026-01-07 cs.CL cs.LG stat.ML
Fine-grained Text Style Transfer with Diffusion-Based Language Models
University of Michigan(密歇根大学)
针对细粒度文本风格迁移任务,本文提出在StylePTB数据集上训练无外部知识的扩散语言模型,在单风格及组合风格迁移上均取得SOTA,证明了扩散语言模型在低资源场景下的潜力。
2023-06-12 cs.AI cs.CL cs.LG
3M-Diffusion: Latent Multi-Modal Diffusion for Language-Guided Molecular Structure Generation
Artificial Intelligence Research Laboratory(人工智能研究实验室);College of Information Sciences and Technology(信息科学与技术学院);Center for Artificial Intelligence Foundations and Scientific Applications(人工智能基础与科学应用中心);Institute for Computational and Data Sciences(计算与数据科学研究所);The Pennsylvania State University(宾夕法尼亚州立大学)
3M-Diffusion提出一种多模态分子生成方法,通过将分子图潜在空间与文本空间对齐并结合扩散模型,实现基于语言描述生成高质量、新颖且多样化的分子结构。
2024-10-02 cs.CL cs.LG q-bio.BM
BadGraph: A Backdoor Attack Against Latent Diffusion Model for Text-Guided Graph Generation
School of Computer Engineering and Science, Shanghai University(上海大学计算机工程与科学学院)
本文提出BadGraph,一种针对文本引导图生成的潜在扩散模型的后门攻击方法,通过文本触发器污染训练数据,在推理时触发指定子图,同时保持对清洁输入的正常性能。
2026-04-11 cs.CL cs.LG q-bio.BM
Diffusion-LM Improves Controllable Text Generation
Stanford University(斯坦福大学)
在不重新训练的情况下控制语言模型(LM)的行为是自然语言生成中的一个主要开放问题。虽然最近的工作已经证明了控制简单句子属性的成功(例如,情绪),在复杂的细粒度控制(例如,句法结构)。为了解决这个问题,我们开发了一个新的非自回归语言模型的基础上连续扩散,我们称之为扩散LM。基于最近连续域中扩散模型的成功,Diffusion-LM迭代地将高斯向量序列去噪为词向量,产生中间潜变量序列。这些中间变量的连续性和层次性使得简单的基于梯度的算法能够执行复杂的可控生成任务。我们展示了成功的控制扩散LM六个具有挑战性的细粒度控制任务,显着优于以前的工作。
2022-05-27 cs.AI cs.CL cs.LG
Diffusion Models for Non-autoregressive Text Generation: A Survey
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);School of Information, Renmin University of China(中国人民大学信息学院);Beijing Key Laboratory of Big Data Management and Analysis Methods(北京大数据管理与分析方法重点实验室)
本综述系统梳理了扩散模型在非自回归文本生成中的应用,涵盖模型定义、主流方法、关键设计、预训练语言模型利用及优化技术,并展望了未来方向。
2023-05-13 cs.CL
Flexible-length Text Infilling for Discrete Diffusion Models
Department of Computer Science(计算机科学系)
针对离散扩散模型无真实位置数据时无法实现灵活长度/位置文本补全的问题,提出带最优传输位置耦合的DDOT模型,联合去噪词元值与位置,兼容预训练去噪器,性能比肩最优非自回归模型且提升训练效率与灵活性。
2025-10-22 cs.AI cs.CL cs.CV
Diffusion-NAT: Self-Prompting Discrete Diffusion for Non-Autoregressive Text Generation
Renmin University of China(中国人民大学)
Diffusion-NAT将离散扩散模型与BART结合,通过统一去噪和掩码恢复任务及迭代自我提示,在7个数据集上超越非自回归和自回归文本生成方法。
2023-05-06 cs.CL
SeqDiffuSeq: Text Diffusion with Encoder-Decoder Transformers
Alibaba DAMO Academy(阿里巴巴达摩院);Alibaba Group(阿里巴巴集团);Tsinghua University(清华大学)
本文提出 SeqDiffuSeq,一种基于编码器-解码器 Transformers 的文本扩散模型,结合自条件与自适应噪声调度技术,有效提升了序列到序列文本生成的质量与推理效率。
2023-05-22 cs.CL
Table-to-Text Generation with Pretrained Diffusion Models
Moscow Institute of Physics and Technology(莫斯科物理技术学院);Artificial Intelligence Research Institute (AIRI)(人工智能研究所(AIRI))
本研究将预训练扩散模型适配于表格到文本生成任务,通过实验分析采样策略、预测聚合方法及预训练等影响,发现扩散模型能平衡质量与多样性,且结合MBR聚合与严格长度约束可获最高质量。
2024-09-10 cs.CL
Diffusion Adaptive Text Embedding for Text-to-Image Diffusion Models
KAIST(韩国科学技术院);NAVER Cloud(NAVER云)
针对文本生成图像扩散模型中文本嵌入固定、适配性不足的问题,提出扩散自适应文本嵌入DATE,无需额外训练即可在采样步动态更新文本嵌入,提升文图对齐效果且保留生成能力。
2025-10-28 cs.AI cs.LG
Improved Paraphrase Generation via Controllable Latent Diffusion
National Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);Collaborative Innovation Center of Novel Software Technology and Industrialization(软件新技术与产业化协同创新中心);Nanjing University(南京大学)
针对文本扩散模型的截断问题,本研究提出潜在扩散释义器LDP,在潜在空间建模可控扩散过程,在提升效率的同时更好平衡释义生成的质量与多样性,且可推广至其他文本生成与领域适配任务。
2025-01-17 cs.CL
Controllable Stylistic Text Generation with Train-Time Attribute-Regularized Diffusion
KU Leuven(卢森堡大学)
提出RegDiff,一种训练时注入属性信息的正则化扩散框架,无需采样分类器即可高效生成风格化文本,在五个数据集上优于强基线。
2025-10-07 cs.CL
SurGen: Text-Guided Diffusion Model for Surgical Video Generation
Stanford Medicine(斯坦福医学院);Johns Hopkins University(约翰斯·霍普金斯大学);Penn Medicine(宾夕法尼亚医学院)
本研究提出专为手术视频合成定制的文本引导扩散模型SurGen,其生成的视频在现有同类模型中分辨率最高、时长最长,实验证明该模型可作为外科实习生的有价值教育工具。
2024-09-24 cs.AI cs.CL cs.CV
TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion Models
NVIDIA(英伟达);University of Toronto(多伦多大学);Vector Institute(矢量研究所)
提出TexFusion,一种利用潜在扩散模型在不同2D视图上采样并聚合去噪预测以生成共享潜在纹理图的新方法,实现了高效、高质量且全局连贯的文本引导3D纹理合成,无需依赖真实3D纹理训练。
2023-10-20 cs.CV cs.LG
LDMol: A Text-to-Molecule Diffusion Model with Structurally Informative Latent Space Surpasses AR Models
本文提出文本到分子生成的潜在扩散模型 LDMol,通过对比学习构建结构信息潜在空间,在基准上超越自回归模型,并支持分子检索与编辑等下游任务。
2025-06-04 cs.AI cs.LG
Unlearning Concepts from Text-to-Video Diffusion Models
针对文本到视频扩散模型难以去除受版权或不安全概念的问题,本文提出迁移文本到图像模型文本编码器的少样本概念遗忘能力,以低成本在约100秒内实现有效遗忘。
2025-08-28 cs.CV cs.LG
Text-to-Level Diffusion Models With Various Text Encoders for Super Mario Bros
本文研究《超级马里奥兄弟》的文本到关卡生成,提出自动标注策略并训练扩散模型,发现简单Transformer文本编码器效果最佳且训练更快,还提供了关卡构建GUI。
2025-08-15 cs.AI cs.LG
InfoDiffusion: Information Entropy Aware Diffusion Process for Non-Autoregressive Text Generation
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);The Hong Kong Polytechnic University(香港理工大学)
针对扩散模型与人类文本生成过程的差异,提出非自回归模型 InfoDiffusion,采用关键信息优先策略、基于信息量的噪声调度及部分加噪结构,显著提升了生成质量、多样性与采样效率。
2023-10-18 cs.AI cs.CL
The Safety-Aware Denoiser for Text Diffusion Models
University of California, Berkeley(加州大学伯克利分校)
提出安全感知去噪器(SAD),在文本扩散模型的迭代去噪过程中引导生成文本进入安全区域,无需重训练即可实现灵活的安全约束,有效降低不安全生成同时保持生成质量。
2026-08-11 cs.AI cs.LG
Towards Real-time Text-driven Image Manipulation with Unconditional Diffusion Models
Yandex(杨德克斯)
本文提出一种基于无条件扩散模型的高效文本驱动图像操控算法,学习速度提升4.5-10倍、应用速度提升8倍,且仅需4秒即可动态适配用户指定的图像和文本,在保证高质量的同时显著降低了计算成本。
2023-04-10 cs.CV cs.LG
Segment-Level Diffusion: A Framework for Controllable Long-Form Generation with Diffusion Language Models
University of Cambridge(剑桥大学)
提出Segment-Level Diffusion框架,通过文本分割、对抗与对比学习及潜在空间引导,提升扩散模型长文本生成的连贯性与可控性,在四个数据集上取得优于或媲美基线的表现。
2025-05-25 cs.AI cs.CL
Vector Quantized Diffusion Model for Text-to-Image Synthesis
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院);Microsoft Cloud+AI(微软云与人工智能部门)
我们提出了矢量量化扩散(VQ扩散)模型的文本到图像的生成。这种方法是基于矢量量化变分自编码器(VQ-VAE),其潜在的空间是由最近开发的去噪扩散概率模型(DDPM)的条件变量建模。我们发现,这种潜在空间方法非常适合文本到图像生成任务,因为它不仅消除了现有方法的单向偏差,而且还允许我们采用掩蔽和替换扩散策略,以避免错误的积累,这是现有方法的一个严重问题。我们的实验表明,与具有相似参数数量的传统自回归(AR)模型相比,VQ扩散产生的文本到图像生成结果显着更好。与以前基于GAN的文本到图像方法相比,我们的VQ-Diffusion可以处理更复杂的场景,并大幅提高合成图像质量。最后,我们表明,在我们的方法中的图像生成计算可以通过重新参数化的高效。使用传统的AR方法,文本到图像的生成时间随着输出图像分辨率线性增加,因此即使对于正常大小的图像也是相当耗时的。VQ扩散使我们能够在质量和速度之间实现更好的权衡。实验结果表明,VQ-扩散模型与重新参数化是15倍的速度比传统的AR方法,同时实现了更好的图像质量。
2022-03-03 cs.CV cs.LG
Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding
Google Research(谷歌研究院)
我们提出了Imagen,一个文本到图像的扩散模型,具有前所未有的逼真度和深刻的语言理解水平。Imagen建立在大型Transformer语言模型理解文本的能力之上,并依赖于扩散模型在高保真图像生成方面的能力。我们的关键发现是,在纯文本语料库上预训练的通用大语言模型(例如T5)在编码图像合成的文本时非常有效:在Imagen中增加语言模型的大小可以大大提高样本保真度和图文对齐,而不是增加图像扩散模型的大小。Imagen在COCO数据集上获得了7.27的最新FID分数,而无需在COCO上进行训练,人类评分员发现Imagen样本在图文对齐方面与COCO数据本身不相上下。为了更深入地评估文本到图像模型,我们引入了DrawBench,这是一个针对文本到图像模型的全面且具有挑战性的基准。使用DrawBench,我们将Imagen与最近的方法(包括VQ-GAN+CLIP,潜空间扩散模型和DALL-E 2)进行了比较,并发现在样本质量和图文对齐方面,人类评分员在并排比较中更喜欢Imagen。有关结果的概述,请参见https://imagen.research.google/。
2022-05-23 cs.CV cs.LG
eDiff-I: Text-to-Image Diffusion Models with an Ensemble of Expert Denoisers
NVIDIA Corporation(英伟达公司)
基于扩散的大规模生成模型在文本条件下的高分辨率图像合成中取得了突破。从随机噪声开始,这种文本到图像扩散模型以迭代方式逐渐合成图像,同时以文本提示为条件。我们发现,他们的合成行为在整个过程中发生了质的变化:在采样早期,生成强烈依赖于文本提示生成文本对齐的内容,而后来,文本条件几乎完全被忽略。这表明在整个生成过程中共享模型参数可能并不理想。因此,与现有工作相比,我们建议训练专门用于不同合成阶段的文本到图像扩散模型的集合。为了保持训练效率,我们最初训练单个模型,然后将其拆分为针对迭代生成过程的特定阶段进行训练的专用模型。我们的合奏扩散模型,称为eDiff-I,在改进的文本对齐,同时保持相同的推理计算成本和保持高的视觉质量,优于以前的大规模文本到图像扩散模型的标准基准。此外,我们训练我们的模型来利用各种嵌入进行调节,包括T5文本、CLIP文本和CLIP图像嵌入。我们发现,这些不同的嵌入导致不同的行为。值得注意的是,CLIP图像嵌入允许以直观的方式将参考图像的样式传输到目标文本到图像输出。最后,我们展示了一种技术,使eDiff-I的“绘画与文字”的能力。用户可以选择输入文本中的单词,并将其绘制在画布上以控制输出,这对于在脑海中制作所需的图像非常方便。该项目的网页可在https://deepimagination.cc/eDiff-I/上找到
2023-03-14 cs.CV cs.LG
Text-to-image Diffusion Models in Generative AI: A Survey
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST));Kyung Hee University(庆熙大学)
本综述系统梳理文本到图像扩散模型的原理、方法改进、多模态应用及图像编辑,并探讨挑战与未来方向。
2024-11-08 cs.AI cs.CV cs.LG
Post-training Quantization for Text-to-Image Diffusion Models with Progressive Calibration and Activation Relaxing
Tsinghua University(清华大学);Tsingmao Intelligence(清萌智能)
针对文生图扩散模型量化难题,提出 PCR 训练后量化方法及 QDiffBench 评测基准,在 Stable Diffusion 系列上实现高精度、低成本量化。
2024-07-08 cs.CV cs.LG
Tuning Just Enough: Lightweight Backdoor Attacks on Multi-Encoder Diffusion Models
Computer Science Department, TU Darmstadt, Germany(图恩大学计算机科学系);Hessian Center for Artificial Intelligence (hessian.AI), Darmstadt, Germany(海德堡人工智能中心)
针对多编码扩散模型的轻量级后门攻击研究,通过仅调优少量参数实现有效攻击,揭示多编码器设置下的新漏洞。
2026-03-04 cs.CV cs.LG
DreamFusion: Text-to-3D using 2D Diffusion
Google Research(谷歌研究院);UC Berkeley(加州大学伯克利分校)
文本到图像合成的最新突破是由在数十亿图像-文本对上训练的扩散模型驱动的。将这种方法应用于3D合成将需要大规模的标记3D数据数据集和有效的3D数据去噪架构,而这两者目前都不存在。在这项工作中,我们绕过这些限制,使用预先训练的2D文本到图像扩散模型执行文本到3D合成。我们引入了一个基于概率密度蒸馏的损失,使使用的二维扩散模型作为一个参数化的图像发生器的优化之前。在类似DeepDream的过程中使用这种损失,我们通过梯度下降优化随机初始化的3D模型(神经辐射场,或NeRF),使其从随机角度的2D渲染实现低损失。给定文本的最终3D模型可以从任何角度查看,通过任意照明重新照明,或合成到任何3D环境中。我们的方法不需要3D训练数据,也不需要修改图像扩散模型,证明了预训练图像扩散模型作为先验的有效性。
2022-09-29 cs.CV cs.LG stat.ML
DiffusionCLIP: Text-Guided Diffusion Models for Robust Image Manipulation
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
最近,GAN反演方法与对比图像预训练(CLIP)相结合,使zero-shot图像操作由文本提示引导。然而,由于有限的GAN反演能力,它们的应用到不同的真实图像仍然是困难的。具体地,这些方法通常难以重建具有与训练数据相比的新颖姿态、视图和高度可变内容的图像,改变对象身份,或产生不想要的图像伪影。为了减轻这些问题,使真实图像的忠实操纵,我们提出了一种新的方法,称为DiffusionCLIP,使用扩散模型执行文本驱动的图像操作。基于最近扩散模型的完全反演能力和高质量图像生成能力,我们的方法即使在看不见的域之间也能成功地执行zero-shot图像操作,并通过操作来自广泛变化的ImageNet数据集的图像,向通用应用迈出了又一步。此外,我们提出了一种新的噪声组合方法,允许简单的多属性操作。广泛的实验和人类评估证实了我们的方法与现有基线相比具有强大和优越的操作性能。代码可在https://github.com/gwang-kim/DiffusionCLIP.git上获得。
2022-08-11 cs.AI cs.CV cs.LG
Regularization by Texts for Latent Diffusion Inverse Solvers
KAIST(韩国科学技术院)
本文提出文本正则化方法TReg,通过在潜在扩散逆求解中引入文本描述与自适应否定机制,有效缓解逆问题的模糊性,提升求解的准确性与效率。
2025-03-11 cs.AI cs.CV cs.LG
GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models
OpenAI(开放人工智能研究中心)
扩散模型最近已被证明可以生成高质量的合成图像,特别是当与指导技术配对以权衡多样性和保真度时。我们探讨了文本条件图像合成问题的扩散模型,并比较了两种不同的指导策略:CLIP指导和无分类器引导。我们发现,后者是首选的人类评价的真实感和标题相似性,并经常产生真实感的样本。使用无分类器引导的35亿参数文本条件扩散模型的样本比DALL-E的样本更受人类评估者的青睐,即使后者使用昂贵的CLIP重新排序。此外,我们发现,我们的模型可以进行微调,以执行图像修补,使强大的文本驱动的图像编辑。我们在过滤后的数据集上训练一个较小的模型,并在https://github.com/openai/glide-text2im上发布代码和权重。
2022-03-08 cs.CV cs.GR cs.LG
TextDestroyer: A Training- and Annotation-Free Diffusion Method for Destroying Anomal Text from Images
Key Laboratory of Multimedia Trusted Perception and Efficient Computing Xiamen University(多媒体可信感知与高效计算重点实验室 厦门大学)
本文提出TextDestroyer,首个免训练免标注的场景文本破坏扩散方法,通过三阶段分层获取掩码、扰乱潜在码并利用自注意力和反演潜在码替换实现完美背景恢复,彻底破坏文本且泛化性强。
2025-07-16 cs.AI cs.CV cs.LG
Mastering Text-to-Image Diffusion: Recaptioning, Planning, and Generating with Multimodal LLMs
Peking University(北京大学);Stanford University(斯坦福大学);Pika Labs(皮卡实验室)
提出免训练的RPG框架,利用多模态LLM思维链推理将复杂图像生成分解为子区域任务,结合互补区域扩散,显著提升文本到图像生成的组合性与语义对齐。
2024-05-05 cs.AI cs.CV cs.LG
Single Mesh Diffusion Models with Field Latents for Texture Generation
Google Research(谷歌研究院);PlayStation
提出直接在3D表面操作的场潜变量扩散模型框架,通过离散向量场编码纹理并学习去噪,实现高质量单网格纹理生成、编辑与迁移。
2024-05-28 cs.CV cs.GR cs.LG
LaDiC: Are Diffusion Models Really Inferior to Autoregressive Counterparts for Image-to-Text Generation?
Peking University(北京大学);Tsinghua University(清华大学);National Key Laboratory for Multimedia Information Processing(多媒体信息处理国家重点实验室)
针对扩散模型在图像字幕生成任务中表现落后于自回归模型的问题,本研究提出LaDiC架构,通过构建专用字幕潜在空间、引入正则化模块与Back&Refine技术,在MS COCO数据集上取得扩散类方法最优性能,证明扩散模型在该任务上具备与自回归模型竞争的潜力。
2024-04-16 cs.AI cs.CL cs.CV
Diffusion-SDF: Text-to-Shape via Voxelized Diffusion
Tsinghua University(清华大学)
针对文本到3D形状生成任务,提出Diffusion-SDF框架,结合SDF自编码器与体素化扩散模型,并设计UinU-Net架构,生成高质量、多样化的3D形状。
2023-05-07 cs.AI cs.CV cs.GR
Contextualized Diffusion Models for Text-Guided Image and Video Generation
Peking University(北京大学);Stanford University(斯坦福大学)
针对现有扩散模型正向与反向过程不一致导致文本语义传达受限的问题,提出ContextDiff模型,通过将跨模态上下文引入正反向全过程调整轨迹,在文本生成图像与视频编辑任务上达到SOTA。
2024-06-04 cs.AI cs.CV cs.LG
Noise2Music: Text-conditioned Music Generation with Diffusion Models
Google Research(谷歌研究院)
我们引入了Noise 2 Music,其中训练了一系列扩散模型,以从文本提示生成高质量的30秒音乐片段。连续训练并利用两种类型的扩散模型,生成器模型和扩散器模型,生成器模型生成以文本为条件的中间表示,扩散器模型生成以中间表示和可能的文本为条件的高保真音频,以生成高保真音乐。我们探索两种选择的中间表示,一个使用频谱图和其他使用音频较低的保真度。我们发现,生成的音频不仅能够忠实地反映文本提示的关键元素,如体裁,节奏,乐器,情绪和时代,但超越了地面细粒度的提示语义。预训练的大语言模型在这个故事中起着关键作用-它们用于为训练集的音频生成配对文本,并提取扩散模型摄取的文本提示的嵌入。生成的示例:https://google-research.github.io/noise2music
2023-03-06 cs.LG cs.SD eess.AS
Exposing the Fake: Effective Diffusion-Generated Images Detection
University of Electronic Science and Technology of China(电子科技大学);Drexel University(德雷塞尔大学)
针对扩散生成图像检测研究不足及其安全隐私风险,提出利用确定性反向与去噪误差的SeDID方法,含统计与神经网络两版本,检测性能优于现有方法。
2023-07-12 cs.CR cs.CV cs.LG
Shifted Diffusion for Text-to-image Generation
State University of New York at Buffalo(纽约州立大学布法罗分校);ByteDance(字节跳动)
我们提出柯基,一种新的方法,用于文本到图像的生成。Corgi是基于我们提出的移位扩散模型,它实现了更好的图像嵌入生成输入文本。与DALL-E 2中使用的基线扩散模型不同,我们的方法通过设计一个新的初始化分布和一个新的扩散过渡步骤,在其扩散过程中无缝编码预训练CLIP模型的先验知识。与强大的DALL-E 2基线相比,我们的方法在从文本生成图像嵌入方面的效率和有效性都更好,从而更好地生成文本到图像。进行了大量的大规模实验,并在定量措施和人类评价方面进行了评估,表明我们的方法相比现有的更强的生成能力。此外,我们的模型支持半监督和无语言训练,用于文本到图像的生成,其中训练数据集中只有部分图像或没有图像具有相关的标题。训练只有1.7%的图像被字幕,我们的半监督模型获得FID的结果相比,DALL-E 2的zero-shot文本到图像生成的MS-COCO上评估。Corgi还在下游无语言文本到图像生成任务的不同数据集上实现了新的最先进的结果,大大优于之前的方法Lafite。
2023-03-23 cs.AI cs.CV cs.LG
Text-Aware Image Restoration with Diffusion Models
KAIST AI(韩国科学技术院人工智能研究所);Korea University(韩国大学);Yonsei University(延世大学);Samsung Electronics(三星电子)
本文提出文本感知图像修复任务TAIR及SA-Text基准数据集,并设计多任务扩散框架TeReDiff,通过联合训练扩散模型与文本识别模块,显著提升退化图像中文本区域的修复与识别准确率。
2025-07-03 cs.AI cs.CV cs.LG
Text-guided Diffusion Model for 3D Molecule Generation
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学)
针对现有分子生成模型仅支持单一属性条件、难以处理复杂文本定制的问题,研究提出融合语言与扩散模型的TextSMOG方法,通过文本引导3D小分子生成,提升了生成稳定性与多样性,可有效响应复杂文本定制需求。
2024-10-04 cs.AI cs.LG physics.chem-ph
General Binding Affinity Guidance for Diffusion Models in Structure-Based Drug Design
University of California, Berkeley(加州大学伯克利分校);NVIDIA(NVIDIA公司)
BADGER是一种用于基于结构的药物设计中扩散模型的通用结合亲和力指导框架,通过两种互补策略提升配体生成的结合亲和力控制,并支持多约束优化设计真实可合成的药物候选物。
2026-02-10 cs.AI cs.LG physics.bio-ph
Text-to-Image Diffusion Models are Zero-Shot Classifiers
Google DeepMind(谷歌DeepMind)
提出利用扩散模型去噪能力作为标签似然代理的零样本分类方法,在多个数据集上与CLIP相当,并在形状/纹理偏差和属性绑定上超越CLIP,表明生成式预训练是视觉-语言任务的有力替代方案。
2023-09-05 cs.AI cs.CV cs.LG
VectorFusion: Text-to-SVG by Abstracting Pixel-Based Diffusion Models
UC Berkeley(加州大学伯克利分校)
扩散模型在文本到图像的合成中已经显示出令人印象深刻的结果。使用大量的字幕图像数据集,扩散模型学习生成高度多样化的对象和场景的光栅图像。然而,设计师经常使用矢量表示的图像,如可缩放矢量图形(SVG)的数字图标或艺术。矢量图形可以缩放到任何大小,是紧凑的。我们表明,一个文本条件下的扩散模型训练图像的像素表示,可以用来生成SVG可导出的矢量图形。我们这样做没有访问标题SVG的大型数据集。通过优化可微分矢量图形光栅化器,我们的方法,VectorFusion,提取抽象的语义知识的预训练的扩散模型。受最近文本到3D工作的启发,我们使用Score Distillation Sampling学习与标题一致的SVG。为了加快生成速度并提高保真度,VectorFusion还从图像样本中进行了重新排序。实验表明比以前的工作更高的质量,并展示了一系列的风格,包括像素艺术和草图。请参阅我们的项目网页https://ajayj.com/vectorfusion。
2022-11-21 cs.AI cs.CV cs.GR
DiffVoice: Text-to-Speech with Latent Diffusion
Shanghai Jiao Tong University(上海交通大学)
本文提出 DiffVoice,利用对抗增强 VAE 编码音素速率语音潜变量,并以扩散模型联合建模时长与表示,在自然度、文本语音编辑及零样本适配上取得先进结果。
2023-04-23 cs.AI cs.HC cs.LG
Mitigating data replication in text-to-audio generative diffusion models through anti-memorization guidance
本文提出反记忆指导技术,用于减轻文本到音频生成扩散模型中的数据复制问题,通过三种指导策略提升生成质量并保持音频保真度。
2026-01-29 cs.LG cs.SD eess.AS