GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models
OpenAI(开放人工智能研究中心)
扩散模型最近已被证明可以生成高质量的合成图像,特别是当与指导技术配对以权衡多样性和保真度时。我们探讨了文本条件图像合成问题的扩散模型,并比较了两种不同的指导策略:CLIP指导和无分类器引导。我们发现,后者是首选的人类评价的真实感和标题相似性,并经常产生真实感的样本。使用无分类器引导的35亿参数文本条件扩散模型的样本比DALL-E的样本更受人类评估者的青睐,即使后者使用昂贵的CLIP重新排序。此外,我们发现,我们的模型可以进行微调,以执行图像修补,使强大的文本驱动的图像编辑。我们在过滤后的数据集上训练一个较小的模型,并在https://github.com/openai/glide-text2im上发布代码和权重。
2022-03-08 cs.CV cs.GR cs.LG
Single Mesh Diffusion Models with Field Latents for Texture Generation
Google Research(谷歌研究院);PlayStation
提出直接在3D表面操作的场潜变量扩散模型框架,通过离散向量场编码纹理并学习去噪,实现高质量单网格纹理生成、编辑与迁移。
2024-05-28 cs.CV cs.GR cs.LG
TEXGen: a Generative Diffusion Model for Mesh Textures
The University of Hong Kong(香港大学);Beihang University(北京航空航天大学);VAST;Tsinghua University(清华大学)
本文提出TEXGen,一个7亿参数的扩散模型,首次实现在UV纹理空间直接以前馈方式生成高分辨率纹理贴图,支持文本和单视图图像引导,并可扩展用于纹理修复、补全与合成。
2024-11-22 cs.AI cs.CV cs.GR
PRedItOR: Text Guided Image Editing with Diffusion Prior
Adobe Applied Research(奥多比应用研究院)
扩散模型在生成高质量和创造性的文本图像方面表现出了卓越的能力。这种模型的一个有趣的应用是结构保持文本引导的图像编辑。现有的方法依赖于文本条件扩散模型,诸如稳定扩散或Imagen,并且需要文本嵌入的计算密集型优化或用于文本引导的图像编辑的模型权重的微调。我们探索文本引导的图像编辑与混合扩散模型(HDM)架构类似DALLE-2。我们的体系结构包括一个扩散先验模型,生成CLIP图像嵌入条件的文本提示和自定义潜空间扩散模型训练生成的图像条件的CLIP图像嵌入。我们发现,扩散先验模型可以用于在CLIP图像嵌入空间上执行文本引导的概念编辑,而无需任何微调或优化。我们将其与结构保持编辑的图像解码器使用现有的方法,如反向DDIM执行文本引导的图像编辑。我们的方法,PredItOR不需要额外的输入,微调,优化或目标,并显示出与基线相同或更好的结果。我们提供了进一步的分析和理解的扩散先验模型,并相信这开辟了新的可能性,在扩散模型的研究。
2023-03-20 cs.CV
Blended Diffusion for Text-driven Editing of Natural Images
The Hebrew University of Jerusalem(希伯来大学);Reichman University(赖希曼大学)
自然语言为图像编辑提供了高度直观的界面。在本文中,我们介绍了第一个解决方案,用于执行本地(基于区域)的编辑,在一般的自然图像,随着一个ROI掩模的基础上的自然语言描述。我们通过利用和组合预训练的语言图像模型(CLIP)来实现我们的目标,以将编辑转向用户提供的文本提示,并使用去噪扩散概率模型(DDPM)来生成自然的结果。为了将编辑区域与图像的未改变部分无缝融合,我们在空间上将输入图像的噪声版本与噪声水平进展处的本地文本引导扩散潜伏混合。此外,我们还证明了在扩散过程中添加增强可以减轻对抗性结果。我们比较了几个基线和相关的方法,定性和定量,并表明我们的方法优于这些解决方案的整体现实主义,能力,以保持背景和匹配的文本。最后,我们展示了几个文本驱动的编辑应用程序,包括向图像添加新对象,删除/替换/更改现有对象,背景替换和图像外推。代码可在:https://omriavrahami.com/blended-diffusion-page/
2022-03-28 cs.CV cs.GR cs.LG
Region-Aware Diffusion for Zero-shot Text-driven Image Editing
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);National Cheng-Kung University(台湾成功大学)
文本描述引导下的图像处理近年来受到了广泛的关注。在本研究中,我们专注于区域编辑的图像与给定的文字提示的指导。与现有的基于掩模的图像编辑方法不同,本文提出了一种新的基于区域感知的扩散模型(RDM),用于实体级图像编辑。为了在图像保真度和推理速度之间取得平衡,我们结合潜在空间扩散和增强的方向指导设计了密集扩散管道。此外,为了保留未编辑区域中的图像内容,我们引入区域感知实体编辑来修改感兴趣区域并保留不感兴趣区域。我们通过大量的定性和定量实验验证了所提出的RDM超越基线方法。结果表明,RDM优于以前的方法在视觉质量,整体协调,非编辑区域的内容保存,和文本-图像语义一致性。这些代码可在https://github.com/haha-lisa/RDM-Region-Aware-Diffusion-Model上获得。
2023-02-23 cs.CV cs.GR cs.MM
Text Embedding Knows How to Quantize Text-Guided Diffusion Models
Korea University(韩国大学)
本文提出QLIP量化方法,利用文本提示指导扩散模型每层位精度选择,降低计算复杂度并提升生成图像质量,可集成于现有量化方法。
2025-08-04 cs.CV
Infinite Texture: Text-guided High Resolution Diffusion Texture Synthesis
University of Washington(华盛顿大学);UC Berkeley(加州大学伯克利分校);Google Research(谷歌研究院)
本研究提出Infinite Texture方法,通过单纹理微调扩散模型结合分数聚合策略,实现单GPU上文本引导的任意分辨率纹理生成,效果优于现有方法,可应用于3D渲染与纹理迁移。
2024-05-13 cs.CV
Text-Guided Texturing by Synchronized Multi-View Diffusion
The Chinese University of Hong Kong(香港中文大学);City University of Hong Kong(香港城市大学);Monash University(莫纳什大学)
针对现有文本引导3D纹理生成方法多视角扩散不同步导致纹理不一致的问题,提出同步多视角扩散方法,通过每步去噪时共享重叠视角的纹理域隐空间内容保证一致性,生成效果优于现有最优方法。
2025-03-18 cs.CV
DiffusionGAN3D: Boosting Text-guided 3D Generation and Domain Adaptation by Combining 3D GANs and Diffusion Priors
Alibaba Group(阿里巴巴集团)
针对文本引导3D人像生成与域适应存在的灵活性差、不稳定等问题,提出结合3D GAN与扩散先验的DiffusionGAN3D框架,通过多模块设计提升生成质量与效率。
2024-04-12 cs.CV
Defending Text-to-image Diffusion Models: Surprising Efficacy of Textual Perturbations Against Backdoor Attacks
ASUS(华硕);National Taiwan University(台湾大学);University of Michigan(密歇根大学)
本文提出利用文本扰动这一简单策略有效防御文本到图像扩散模型的后门攻击,并从文本嵌入空间和交叉注意力图角度分析其有效性,为未来攻防策略提供见解。
2024-08-28 cs.CV
DoubleDiffusion: Combining Heat Diffusion with Denoising Diffusion for Texture Generation on 3D Meshes
The Australian National University(澳大利亚国立大学);Tencent XR Lab(腾讯XR实验室);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Monash University(莫纳什大学)
针对3D网格纹理生成中多视图图像转换导致的几何不一致等问题,提出DoubleDiffusion方法,结合热耗散扩散与去噪扩散直接在3D网格表面生成纹理,显著提升了生成效率。
2025-04-01 cs.CV
Isolated Diffusion: Optimizing Multi-Concept Text-to-Image Generation Training-Freely with Isolated Diffusion Guidance
针对文本到图像扩散模型多概念生成中的概念渗漏问题,提出免训练的Isolated Diffusion方法,通过拆分提示、隔离重合成各主体优化文图一致性,兼容SD系列模型且效果优于现有方法。
2025-01-17 cs.CV
Textile Pattern Generation Using Diffusion Models
Istanbul Technical University(伊斯坦布尔理工大学);Bilgi University(比尔吉大学)
本文针对文本引导生成纺织品图案效果不佳的问题,提出一种基于新构建数据集微调的扩散模型,实验证明其在图案生成质量和效率上均优于基线模型,有望简化纺织行业设计流程。
2023-04-02 cs.CV
Seek for Incantations: Towards Accurate Text-to-Image Diffusion Synthesis through Prompt Engineering
Huawei(华为)
本文针对扩散模型在复杂文本到图像合成中的混淆问题,提出通过提示学习自动学习恰当文本描述的框架,利用质量与语义引导提升图文匹配度。
2024-01-12 cs.CV
UFOGen: You Forward Once Large Scale Text-to-Image Generation via Diffusion GANs
Google(谷歌);Boston University(波士顿大学)
针对扩散模型文本到图像推理成本高的问题,本文提出 UFOGen,通过融合 diffusion-GAN 目标与预训练扩散模型初始化,实现单步高质量文本生成图像,并支持多种下游任务。
2023-12-07 cs.CV
Text2Tex: Text-driven Texture Synthesis via Diffusion Models
Technical University of Munich(慕尼黑工业大学);Snap Research(Snap研究院)
我们提出了Text2Tex,一种新的方法,从给定的文本提示生成高质量的纹理的三维网格。我们的方法将修复技术结合到一个预先训练的深度感知图像扩散模型中,从多个视点逐步合成高分辨率的部分纹理。为了避免在视图之间积累不一致和拉伸的伪影,我们动态地将渲染视图分割成一个生成掩码,该掩码表示每个可见纹素的生成状态。该分区视图表示引导深度感知修复模型生成和更新对应区域的部分纹理。此外,我们提出了一个自动视图序列生成方案,以确定下一个最佳的视图更新的部分纹理。大量的实验表明,我们的方法显着优于现有的文本驱动的方法和基于GAN的方法。
2023-03-20 cs.CV
Typographic Text Generation with Off-the-Shelf Diffusion Model
Kyushu University(九州大学)
本文提出一种结合 ControlNet 与 Blended Latent Diffusion 的排版文字生成系统,可在指定字体、颜色和效果的同时,在现有背景上自然添加和修改文字。
2024-02-22 cs.CV
Diffusion-SDF: Text-to-Shape via Voxelized Diffusion
Tsinghua University(清华大学)
针对文本到3D形状生成任务,提出Diffusion-SDF框架,结合SDF自编码器与体素化扩散模型,并设计UinU-Net架构,生成高质量、多样化的3D形状。
2023-05-07 cs.AI cs.CV cs.GR
Precise Parameter Localization for Textual Generation in Diffusion Models
Warsaw University of Technology(华沙技术大学);CISPA Helmholtz Center for Information Security(信息安全赫尔姆霍茨中心);IDEAS NCBR
通过局部化扩散模型中负责文本生成的注意力层,提升文本生成效率和性能,同时防止生成有毒文本。
2026-03-02 cs.CV
Diffusion Motion: Generate Text-Guided 3D Human Motion by Diffusion Model
Michigan State University(密歇根州立大学);Baidu Research (USA)(百度研究院(美国))
本文提出利用去噪扩散概率模型从复杂自然语言描述生成3D人体运动,通过无分类器引导融合文本嵌入,在HumanML3D上取得有竞争力结果并支持零样本生成。
2023-04-14 cs.CV
De-Diffusion Makes Text a Strong Cross-Modal Interface
Google DeepMind(谷歌DeepMind);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出 De-Diffusion 方法,将图像编码为文本并通过预训练扩散模型解码重建,使文本成为可解释且灵活的跨模态接口,在多种多模态任务上取得最优性能。
2023-11-01 cs.CV
CogView3: Finer and Faster Text-to-Image Generation via Relay Diffusion
Tsinghua University(清华大学);Zhipu AI(智谱AI)
针对单阶段文本生成图像扩散模型效率低、细节差的问题,提出采用中继扩散的级联框架CogView3,性能优于SDXL且推理成本更低。
2024-03-08 cs.CV
EasyText: Controllable Diffusion Transformer for Multilingual Text Rendering
EasyText提出了一种基于DiT的可控扩散变换器,用于多语言文本渲染,通过字符位置编码和插值技术实现精确生成,并利用大规模数据集提升性能。
2026-03-10 cs.CV
TINA+: Probing Residual Visual Knowledge in Unlearned Diffusion Models via Diffusion-Consistent Text-Free Inversion
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术学院);City University of Hong Kong(香港城市大学);Shenzhen Loop Area Institute(深圳河套学院);National University of Singapore(新加坡国立大学);Pengcheng Laboratory(鹏城实验室)
本研究提出TINA+,一种扩散一致无文本反演攻击,可探测未学习的扩散模型中残留的视觉知识,实验表明现有概念擦除方法多切断文本-图像链接而非消除视觉知识。
2026-08-19 cs.CV
Discffusion: Discriminative Diffusion Models as Few-shot Vision and Language Learners
UC Santa Cruz(加州大学圣克鲁兹分校);UC Santa Barbara(加州大学圣巴巴拉分校);Google(谷歌公司)
提出 DSD 方法,利用 Stable Diffusion 的交叉注意力分数和提示学习进行微调,将预训练扩散模型转化为少样本判别学习器,在图文匹配任务上取得优越结果。
2024-04-24 cs.CV
MD-ProjTex: Texturing 3D Shapes with Multi-Diffusion Projection
Bilkent University(比尔肯特大学);Adobe(奥多比公司)
MD-ProjTex利用预训练扩散模型,通过UV空间多视角一致性机制融合噪声预测并联合更新去噪方向,实现了快速且3D一致的文本引导纹理生成,计算效率与结果质量均优于现有方法。
2025-04-03 cs.CV
Unified Multi-Modal Latent Diffusion for Joint Subject and Text Conditional Image Generation
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Microsoft Research(微软研究院)
目前,通过使用扩散模型,放射学引导的图像生成已经取得了很大的成功。然而,文本可能不太详细,无法描述高度特定的主题,例如特定的狗或特定的汽车,这使得纯文本到图像的生成不够准确,无法满足用户的要求。在这项工作中,我们提出了一种新的统一多模态潜在扩散(UMM扩散),它需要联合文本和图像包含指定的主题作为输入序列,并生成定制的图像与主题。更具体地说,输入的文本和图像都被编码到一个统一的多模态潜空间中,在该潜空间中,输入的图像被学习以投影到伪词嵌入,并且可以进一步与文本组合以指导图像生成。此外,为了消除输入图像中的背景或光照等不相关部分,我们提出了一种新的扩散模型采样技术,用于图像生成器,融合了多模态输入和纯文本输入的结果。通过利用大规模预训练的文本到图像生成器和设计的图像编码器,我们的方法能够从输入文本和图像两个方面生成具有复杂语义的高质量图像。
2023-03-16 cs.CV
Predicated Diffusion: Predicate Logic-Based Attention Guidance for Text-to-Image Diffusion Models
Osaka University(大阪大学)
针对文本到图像扩散模型难以忠实表达用户意图的问题,提出基于谓词逻辑的注意力引导框架,将文本意图形式化为命题并最小化可微损失,生成更符合提示的图像。
2024-03-19 cs.CV
Accurate Compression of Text-to-Image Diffusion Models via Vector Quantization
本文针对十亿级文本到图像扩散模型提出基于向量量化的训练后压缩方法,在SDXL和SDXL-Turbo上将2B+参数模型压缩至约3比特,达到与先前4比特方法相当的图像质量和文本对齐效果。
2024-08-31 cs.CV
ARTIST: Improving the Generation of Text-rich Images with Disentangled Diffusion Models and Large Language Models
Duke University(杜克大学);Adobe Research(奥多比研究院)
针对扩散模型生成富文本图像时文本渲染不准确、融合性差的问题,提出ARTIST框架,通过解耦的文本扩散模型预训练与视觉扩散模型微调,并结合大型语言模型解读用户意图,在MARIO-Eval基准上实现各项指标高达15%的提升。
2024-12-02 cs.CV
Aerial Diffusion: Text Guided Ground-to-Aerial View Translation from a Single Image using Diffusion Models
University of Maryland College Park(马里兰大学帕克分校)
本文提出 Aerial Diffusion,结合逆透视映射启发的单应性、文本引导微调和交替采样,实现单张地面图像到高保真航拍视图的无监督转换。
2023-09-08 cs.CV
Enhancing Scene Text Detectors with Realistic Text Image Synthesis Using Diffusion Models
Huazhong University of Science and Technology(华中科技大学)
本文提出基于扩散模型的DiffText文本图像生成流程,通过无缝融合前景文本与背景特征并减少拼写错误,以更少的文本实例生成逼真合成数据,有效提升各类场景文本检测器的性能。
2023-11-28 cs.CV
Towards Detailed Text-to-Motion Synthesis via Basic-to-Advanced Hierarchical Diffusion Model
Sun Yat-sen University(中山大学);Tencent AI Lab(腾讯AI实验室);Xi’an Jiao Tong University(西安交通大学)
针对现有文本到动作扩散模型存在的模态不一致或细节匮乏问题,提出基础到进阶层次扩散模型B2A-HDM,结合低维基础扩散与高维进阶多去噪器扩散,在两个基准上实现了保真度、模态一致性和多样性的提升。
2023-12-18 cs.CV
TokenCompose: Text-to-Image Diffusion with Token-level Supervision
Princeton University(普林斯顿大学);Tsinghua University(清华大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
针对现有潜在扩散模型多类别对象组合效果差的问题,提出TokenCompose方法,通过微调阶段引入逐token一致性项提升文图一致性,可直接适配现有训练流程,微调Stable Diffusion后在多类别组合和图像真实感上均有明显提升。
2024-06-23 cs.CV
Unleashing Text-to-Image Diffusion Models for Visual Perception
Tsinghua University(清华大学);University of Washington(华盛顿大学)
扩散模型已成为生成模型的新趋势,并显示出强大的条件综合能力。其中,在大规模图像-文本对上预训练的文本到图像扩散模型通过可定制的提示高度可控。与关注低层属性和细节的无条件生成模型不同,文本到图像扩散模型由于视觉语言预训练而包含更多的高级知识。在本文中,我们提出了VPD(视觉感知与预训练的扩散模型),一个新的框架,利用语义信息的预训练的文本到图像的扩散模型在视觉感知任务。我们没有在基于扩散的管道中使用预训练的去噪自动编码器,而是简单地将其用作主干,旨在研究如何充分利用所学习的知识。具体来说,我们使用适当的文本输入提示去噪解码器,并使用适配器优化文本特征,从而更好地对齐预训练阶段,并使视觉内容与文本提示交互。我们还建议利用视觉特征和文本特征之间的交叉注意图来提供明确的指导。与其他预训练方法相比,我们表明,视觉语言预训练的扩散模型可以更快地适应下游的视觉感知任务,使用建议的VPD。通过对语义分割、参考图像分割和深度估计的实验,验证了该方法的有效性。值得注意的是,VPD在NYUv 2深度估计上达到0.254 RMSE,在RefCOCO-val参考图像分割上达到73.3% oIoU,在这两个基准上建立了新的记录。代码可在https://github.com/wl-zhao/VPD上获得
2023-03-03 cs.CV
UDiffText: A Unified Framework for High-quality Text Synthesis in Arbitrary Images via Character-aware Diffusion Models
Wangxuan Institute of Computer Technology(王选计算机研究所);Peking University(北京大学)
本文提出UDiffText,一个基于字符感知扩散模型的统一框架,通过轻量级字符级文本编码器和局部注意力控制,解决文本图像生成中的拼写错误问题,实现任意图像中高质量文本合成。
2023-12-08 cs.CV
TextDiffuser: Diffusion Models as Text Painters
Microsoft Research(微软研究院);HKUST(香港科技大学);Sun Yat-sen University(中山大学)
TextDiffuser通过Transformer生成关键词布局并结合扩散模型生成与背景协调的文本图像,同时发布包含1000万对数据的大规模OCR数据集MARIO-10M及评估基准MARIO-Eval,显著提升文本渲染质量。
2023-10-30 cs.CV
Versatile Diffusion: Text, Images and Variations All in One Diffusion Model
UIUC(伊利诺伊大学厄巴纳-香槟分校);Georgia Tech(佐治亚理工学院);U of Oregon(俄勒冈大学);UT Austin(德克萨斯大学奥斯汀分校);Picsart AI Research (PAIR)(Picsart AI 研究院)
本文提出统一多流多模态扩散模型 Versatile Diffusion,同时处理文本到图像、图像到文本和变体生成,并通过可共享可交换模块实现跨模态通用性,在多个任务上优于基线并支持风格语义解耦与多上下文混合等新扩展。
2024-01-11 cs.CV
$\textit{Revelio}$: Interpreting and leveraging semantic information in diffusion models
Boston University(波士顿大学);Runway
该研究提出$\textit{Revelio}$方法,利用k-SAE挖掘扩散模型中的单语义可解释特征,通过迁移学习验证解释有效性,在4个数据集上证明扩散特征的表示学习价值,分析多因素对扩散模型表示的影响,推动黑盒扩散模型的可解释性研究。
2025-08-02 cs.CV
clip2latent: Text driven sampling of a pre-trained StyleGAN using denoising diffusion and CLIP
Lambda, Inc(Lambda公司)
我们引入了一种新的方法,可以从预训练的CLIP和StyleGAN有效地创建文本到图像的模型。它可以使用现有的生成模型进行文本驱动采样,而无需任何外部数据或微调。这是通过训练一个以CLIP嵌入为条件的扩散模型来实现的,该模型对预训练的StyleGAN的潜在向量进行采样,我们称之为clip2latent。我们利用CLIP的图像和文本嵌入之间的对齐,以避免需要任何文本标记的数据来训练条件扩散模型。我们证明了clip2latent允许我们基于文本提示生成高分辨率(1024x1024像素)图像,具有快速采样,高图像质量和低训练计算和数据要求。我们还表明,使用经过充分研究的StyleGAN架构,无需进一步微调,就可以直接应用现有方法来控制和修改生成的图像,为我们的文本到图像管道添加进一步的控制层。
2022-10-05 cs.CV
Hierarchical Vision-Language Alignment for Text-to-Image Generation via Diffusion Models
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
本文提出VLAD模型,通过上下文组合模块与分层扩散的双流策略,解决复杂文本到图像生成中的视觉-语言对齐问题,并在多个基准上取得领先性能。
2025-01-01 cs.CV
MixDiffusion: Mixing Diffusion-based Uni-condition Text-to-Image Generation Models for Multi-condition Image Synthesis
研究针对现有基于扩散的文本到图像生成方法控制条件单一的问题,提出MixDiffusion框架,通过集成多个预训练单条件模型,支持多条件图像合成,具有无需训练、易部署和可扩展新模态的特点。
2026-07-21 cs.CV
DiffusionRet: Generative Text-Video Retrieval with Diffusion Model
Peking University(北京大学);Tsinghua University(清华大学);Peng Cheng Laboratory(鹏城实验室)
本文提出 DiffusionRet,将文本-视频检索建模为扩散去噪生成联合分布,并结合生成损失与对比损失训练,在五个基准及域外检索中取得优越性能。
2023-08-19 cs.CV
Text-DiFuse: An Interactive Multi-Modal Image Fusion Framework based on Text-modulated Diffusion Model
Electronic Information School(电子信息学院);Wuhan University(武汉大学)
针对现有多模态图像融合方法难处理复合退化、忽略前景特异性的问题,提出基于文本调制扩散模型的Text-DiFuse框架,通过特征级融合与文本控制重调制,实现复杂退化场景下的最优融合效果并提升语义性能。
2024-10-31 cs.CV
VectorFusion: Text-to-SVG by Abstracting Pixel-Based Diffusion Models
UC Berkeley(加州大学伯克利分校)
扩散模型在文本到图像的合成中已经显示出令人印象深刻的结果。使用大量的字幕图像数据集,扩散模型学习生成高度多样化的对象和场景的光栅图像。然而,设计师经常使用矢量表示的图像,如可缩放矢量图形(SVG)的数字图标或艺术。矢量图形可以缩放到任何大小,是紧凑的。我们表明,一个文本条件下的扩散模型训练图像的像素表示,可以用来生成SVG可导出的矢量图形。我们这样做没有访问标题SVG的大型数据集。通过优化可微分矢量图形光栅化器,我们的方法,VectorFusion,提取抽象的语义知识的预训练的扩散模型。受最近文本到3D工作的启发,我们使用Score Distillation Sampling学习与标题一致的SVG。为了加快生成速度并提高保真度,VectorFusion还从图像样本中进行了重新排序。实验表明比以前的工作更高的质量,并展示了一系列的风格,包括像素艺术和草图。请参阅我们的项目网页https://ajayj.com/vectorfusion。
2022-11-21 cs.AI cs.CV cs.GR
Reusing Computation in Text-to-Image Diffusion for Efficient Generation of Image Sets
University of Chicago(芝加哥大学);Adobe Research(Adobe研究)
本文提出一种免训练的文本到图像扩散加速方法,通过按语义相似性聚类提示并在早期去噪步骤共享计算,在降低计算成本的同时提升图像质量。
2025-08-28 cs.CV
Disciplined Diffusion: Text-to-Image Diffusion Model against NSFW Generation
Bellini College of Artificial Intelligence, Cybersecurity(人工智能与网络安全学院);Department of Electrical and Computer Engineering, College of Engineering(电气与计算机工程系);University of South Florida(佛罗里达州立大学)
本文提出Disciplined Diffusion,通过语义检索和局部编辑技术,有效识别并抑制生成图像中的恶意内容,提升文本到图像扩散模型的安全性与生成质量。
2026-05-01 cs.CV
RSDiff: Remote Sensing Image Generation from Text Using Diffusion Model
Nile University(尼罗河大学)
本研究针对遥感领域卫星图像生成增强需求,提出两阶段扩散模型RSDiff,通过LRDM生成初始图、SRDM优化分辨率,在RSICD数据集上表现优于现有模型,可生成地理细节准确的高分辨率卫星图像。
2024-10-05 cs.CV
Prompt-Free Diffusion: Taking "Text" out of Text-to-Image Diffusion Models
SHI Labs(SHI实验室);Picsart AI Research (PAIR)(Picsart人工智能研究院(PAIR));Tsinghua University(清华大学)
本文提出 Prompt-Free Diffusion,通过 SeeCoder 替代文本编码器,仅用参考图像、结构条件和噪声实现无文本提示的图像生成,性能可比肩先进 T2I 模型并支持多种下游应用。
2023-06-01 cs.CV
PI3D: Efficient Text-to-3D Generation with Pseudo-Image Diffusion
BNRist, Tsinghua University(BNRist,清华大学);VAST;The University of Adelaide(阿德莱德大学);Qinghai University(青海大学)
提出PI3D框架,将3D形状表示为伪RGB图像并微调预训练文本到图像扩散模型,结合分数蒸馏采样进行轻量级迭代细化,在3分钟内实现高质量文本到3D生成。
2024-04-21 cs.CV
Text2Stereo: Repurposing Stable Diffusion for Stereo Generation with Consistency Rewards
Texas A&M University(德克萨斯A&M大学);Leia Inc(Leia公司)
本文提出 Text2Stereo,通过微调 Stable Diffusion 并结合提示对齐与立体一致性奖励,实现文本驱动的高质量立体图像生成。
2025-07-23 cs.CV
Brush Your Text: Synthesize Any Scene Text on Images via Diffusion Model
Shanghai AI Laboratory(上海人工智能实验室)
针对扩散模型难以准确生成多语言场景文本的问题,提出免训练框架Diff-Text,以草图为先验、结合局部注意力约束与对比图像级提示,提升文本生成准确率与融合自然度。
2023-12-19 cs.CV
CTCal: Rethinking Text-to-Image Diffusion Models via Cross-Timestep Self-Calibration
State Key Laboratory of Complex and Critical Software Environment(复杂与关键软件环境国家重点实验室);School of Computer Science and Engineering(计算机科学与工程学院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出CTCal,通过利用早期时间步的准确文本-图像对齐来校准后期时间步的表示学习,提升文本到图像生成的对齐精度。
2026-03-21 cs.CV