Text-Guided Texturing by Synchronized Multi-View Diffusion
The Chinese University of Hong Kong(香港中文大学);City University of Hong Kong(香港城市大学);Monash University(莫纳什大学)
针对现有文本引导3D纹理生成方法多视角扩散不同步导致纹理不一致的问题,提出同步多视角扩散方法,通过每步去噪时共享重叠视角的纹理域隐空间内容保证一致性,生成效果优于现有最优方法。
2025-03-18 cs.CV
DiffusionGAN3D: Boosting Text-guided 3D Generation and Domain Adaptation by Combining 3D GANs and Diffusion Priors
Alibaba Group(阿里巴巴集团)
针对文本引导3D人像生成与域适应存在的灵活性差、不稳定等问题,提出结合3D GAN与扩散先验的DiffusionGAN3D框架,通过多模块设计提升生成质量与效率。
2024-04-12 cs.CV
Defending Text-to-image Diffusion Models: Surprising Efficacy of Textual Perturbations Against Backdoor Attacks
ASUS(华硕);National Taiwan University(台湾大学);University of Michigan(密歇根大学)
本文提出利用文本扰动这一简单策略有效防御文本到图像扩散模型的后门攻击,并从文本嵌入空间和交叉注意力图角度分析其有效性,为未来攻防策略提供见解。
2024-08-28 cs.CV
DoubleDiffusion: Combining Heat Diffusion with Denoising Diffusion for Texture Generation on 3D Meshes
The Australian National University(澳大利亚国立大学);Tencent XR Lab(腾讯XR实验室);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Monash University(莫纳什大学)
针对3D网格纹理生成中多视图图像转换导致的几何不一致等问题,提出DoubleDiffusion方法,结合热耗散扩散与去噪扩散直接在3D网格表面生成纹理,显著提升了生成效率。
2025-04-01 cs.CV
Isolated Diffusion: Optimizing Multi-Concept Text-to-Image Generation Training-Freely with Isolated Diffusion Guidance
针对文本到图像扩散模型多概念生成中的概念渗漏问题,提出免训练的Isolated Diffusion方法,通过拆分提示、隔离重合成各主体优化文图一致性,兼容SD系列模型且效果优于现有方法。
2025-01-17 cs.CV
Textile Pattern Generation Using Diffusion Models
Istanbul Technical University(伊斯坦布尔理工大学);Bilgi University(比尔吉大学)
本文针对文本引导生成纺织品图案效果不佳的问题,提出一种基于新构建数据集微调的扩散模型,实验证明其在图案生成质量和效率上均优于基线模型,有望简化纺织行业设计流程。
2023-04-02 cs.CV
Seek for Incantations: Towards Accurate Text-to-Image Diffusion Synthesis through Prompt Engineering
Huawei(华为)
本文针对扩散模型在复杂文本到图像合成中的混淆问题,提出通过提示学习自动学习恰当文本描述的框架,利用质量与语义引导提升图文匹配度。
2024-01-12 cs.CV
UFOGen: You Forward Once Large Scale Text-to-Image Generation via Diffusion GANs
Google(谷歌);Boston University(波士顿大学)
针对扩散模型文本到图像推理成本高的问题,本文提出 UFOGen,通过融合 diffusion-GAN 目标与预训练扩散模型初始化,实现单步高质量文本生成图像,并支持多种下游任务。
2023-12-07 cs.CV
Text2Tex: Text-driven Texture Synthesis via Diffusion Models
Technical University of Munich(慕尼黑工业大学);Snap Research(Snap研究院)
我们提出了Text2Tex,一种新的方法,从给定的文本提示生成高质量的纹理的三维网格。我们的方法将修复技术结合到一个预先训练的深度感知图像扩散模型中,从多个视点逐步合成高分辨率的部分纹理。为了避免在视图之间积累不一致和拉伸的伪影,我们动态地将渲染视图分割成一个生成掩码,该掩码表示每个可见纹素的生成状态。该分区视图表示引导深度感知修复模型生成和更新对应区域的部分纹理。此外,我们提出了一个自动视图序列生成方案,以确定下一个最佳的视图更新的部分纹理。大量的实验表明,我们的方法显着优于现有的文本驱动的方法和基于GAN的方法。
2023-03-20 cs.CV
Typographic Text Generation with Off-the-Shelf Diffusion Model
Kyushu University(九州大学)
本文提出一种结合 ControlNet 与 Blended Latent Diffusion 的排版文字生成系统,可在指定字体、颜色和效果的同时,在现有背景上自然添加和修改文字。
2024-02-22 cs.CV
Precise Parameter Localization for Textual Generation in Diffusion Models
Warsaw University of Technology(华沙技术大学);CISPA Helmholtz Center for Information Security(信息安全赫尔姆霍茨中心);IDEAS NCBR
通过局部化扩散模型中负责文本生成的注意力层,提升文本生成效率和性能,同时防止生成有毒文本。
2026-03-02 cs.CV
Diffusion Motion: Generate Text-Guided 3D Human Motion by Diffusion Model
Michigan State University(密歇根州立大学);Baidu Research (USA)(百度研究院(美国))
本文提出利用去噪扩散概率模型从复杂自然语言描述生成3D人体运动,通过无分类器引导融合文本嵌入,在HumanML3D上取得有竞争力结果并支持零样本生成。
2023-04-14 cs.CV
De-Diffusion Makes Text a Strong Cross-Modal Interface
Google DeepMind(谷歌DeepMind);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出 De-Diffusion 方法,将图像编码为文本并通过预训练扩散模型解码重建,使文本成为可解释且灵活的跨模态接口,在多种多模态任务上取得最优性能。
2023-11-01 cs.CV
CogView3: Finer and Faster Text-to-Image Generation via Relay Diffusion
Tsinghua University(清华大学);Zhipu AI(智谱AI)
针对单阶段文本生成图像扩散模型效率低、细节差的问题,提出采用中继扩散的级联框架CogView3,性能优于SDXL且推理成本更低。
2024-03-08 cs.CV
EasyText: Controllable Diffusion Transformer for Multilingual Text Rendering
EasyText提出了一种基于DiT的可控扩散变换器,用于多语言文本渲染,通过字符位置编码和插值技术实现精确生成,并利用大规模数据集提升性能。
2026-03-10 cs.CV
TINA+: Probing Residual Visual Knowledge in Unlearned Diffusion Models via Diffusion-Consistent Text-Free Inversion
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术学院);City University of Hong Kong(香港城市大学);Shenzhen Loop Area Institute(深圳河套学院);National University of Singapore(新加坡国立大学);Pengcheng Laboratory(鹏城实验室)
本研究提出TINA+,一种扩散一致无文本反演攻击,可探测未学习的扩散模型中残留的视觉知识,实验表明现有概念擦除方法多切断文本-图像链接而非消除视觉知识。
2026-08-19 cs.CV
Discffusion: Discriminative Diffusion Models as Few-shot Vision and Language Learners
UC Santa Cruz(加州大学圣克鲁兹分校);UC Santa Barbara(加州大学圣巴巴拉分校);Google(谷歌公司)
提出 DSD 方法,利用 Stable Diffusion 的交叉注意力分数和提示学习进行微调,将预训练扩散模型转化为少样本判别学习器,在图文匹配任务上取得优越结果。
2024-04-24 cs.CV
MD-ProjTex: Texturing 3D Shapes with Multi-Diffusion Projection
Bilkent University(比尔肯特大学);Adobe(奥多比公司)
MD-ProjTex利用预训练扩散模型,通过UV空间多视角一致性机制融合噪声预测并联合更新去噪方向,实现了快速且3D一致的文本引导纹理生成,计算效率与结果质量均优于现有方法。
2025-04-03 cs.CV
Unified Multi-Modal Latent Diffusion for Joint Subject and Text Conditional Image Generation
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Microsoft Research(微软研究院)
目前,通过使用扩散模型,放射学引导的图像生成已经取得了很大的成功。然而,文本可能不太详细,无法描述高度特定的主题,例如特定的狗或特定的汽车,这使得纯文本到图像的生成不够准确,无法满足用户的要求。在这项工作中,我们提出了一种新的统一多模态潜在扩散(UMM扩散),它需要联合文本和图像包含指定的主题作为输入序列,并生成定制的图像与主题。更具体地说,输入的文本和图像都被编码到一个统一的多模态潜空间中,在该潜空间中,输入的图像被学习以投影到伪词嵌入,并且可以进一步与文本组合以指导图像生成。此外,为了消除输入图像中的背景或光照等不相关部分,我们提出了一种新的扩散模型采样技术,用于图像生成器,融合了多模态输入和纯文本输入的结果。通过利用大规模预训练的文本到图像生成器和设计的图像编码器,我们的方法能够从输入文本和图像两个方面生成具有复杂语义的高质量图像。
2023-03-16 cs.CV
Predicated Diffusion: Predicate Logic-Based Attention Guidance for Text-to-Image Diffusion Models
Osaka University(大阪大学)
针对文本到图像扩散模型难以忠实表达用户意图的问题,提出基于谓词逻辑的注意力引导框架,将文本意图形式化为命题并最小化可微损失,生成更符合提示的图像。
2024-03-19 cs.CV
Accurate Compression of Text-to-Image Diffusion Models via Vector Quantization
本文针对十亿级文本到图像扩散模型提出基于向量量化的训练后压缩方法,在SDXL和SDXL-Turbo上将2B+参数模型压缩至约3比特,达到与先前4比特方法相当的图像质量和文本对齐效果。
2024-08-31 cs.CV
ARTIST: Improving the Generation of Text-rich Images with Disentangled Diffusion Models and Large Language Models
Duke University(杜克大学);Adobe Research(奥多比研究院)
针对扩散模型生成富文本图像时文本渲染不准确、融合性差的问题,提出ARTIST框架,通过解耦的文本扩散模型预训练与视觉扩散模型微调,并结合大型语言模型解读用户意图,在MARIO-Eval基准上实现各项指标高达15%的提升。
2024-12-02 cs.CV
Aerial Diffusion: Text Guided Ground-to-Aerial View Translation from a Single Image using Diffusion Models
University of Maryland College Park(马里兰大学帕克分校)
本文提出 Aerial Diffusion,结合逆透视映射启发的单应性、文本引导微调和交替采样,实现单张地面图像到高保真航拍视图的无监督转换。
2023-09-08 cs.CV
Enhancing Scene Text Detectors with Realistic Text Image Synthesis Using Diffusion Models
Huazhong University of Science and Technology(华中科技大学)
本文提出基于扩散模型的DiffText文本图像生成流程,通过无缝融合前景文本与背景特征并减少拼写错误,以更少的文本实例生成逼真合成数据,有效提升各类场景文本检测器的性能。
2023-11-28 cs.CV
Towards Detailed Text-to-Motion Synthesis via Basic-to-Advanced Hierarchical Diffusion Model
Sun Yat-sen University(中山大学);Tencent AI Lab(腾讯AI实验室);Xi’an Jiao Tong University(西安交通大学)
针对现有文本到动作扩散模型存在的模态不一致或细节匮乏问题,提出基础到进阶层次扩散模型B2A-HDM,结合低维基础扩散与高维进阶多去噪器扩散,在两个基准上实现了保真度、模态一致性和多样性的提升。
2023-12-18 cs.CV
TokenCompose: Text-to-Image Diffusion with Token-level Supervision
Princeton University(普林斯顿大学);Tsinghua University(清华大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
针对现有潜在扩散模型多类别对象组合效果差的问题,提出TokenCompose方法,通过微调阶段引入逐token一致性项提升文图一致性,可直接适配现有训练流程,微调Stable Diffusion后在多类别组合和图像真实感上均有明显提升。
2024-06-23 cs.CV
Unleashing Text-to-Image Diffusion Models for Visual Perception
Tsinghua University(清华大学);University of Washington(华盛顿大学)
扩散模型已成为生成模型的新趋势,并显示出强大的条件综合能力。其中,在大规模图像-文本对上预训练的文本到图像扩散模型通过可定制的提示高度可控。与关注低层属性和细节的无条件生成模型不同,文本到图像扩散模型由于视觉语言预训练而包含更多的高级知识。在本文中,我们提出了VPD(视觉感知与预训练的扩散模型),一个新的框架,利用语义信息的预训练的文本到图像的扩散模型在视觉感知任务。我们没有在基于扩散的管道中使用预训练的去噪自动编码器,而是简单地将其用作主干,旨在研究如何充分利用所学习的知识。具体来说,我们使用适当的文本输入提示去噪解码器,并使用适配器优化文本特征,从而更好地对齐预训练阶段,并使视觉内容与文本提示交互。我们还建议利用视觉特征和文本特征之间的交叉注意图来提供明确的指导。与其他预训练方法相比,我们表明,视觉语言预训练的扩散模型可以更快地适应下游的视觉感知任务,使用建议的VPD。通过对语义分割、参考图像分割和深度估计的实验,验证了该方法的有效性。值得注意的是,VPD在NYUv 2深度估计上达到0.254 RMSE,在RefCOCO-val参考图像分割上达到73.3% oIoU,在这两个基准上建立了新的记录。代码可在https://github.com/wl-zhao/VPD上获得
2023-03-03 cs.CV
UDiffText: A Unified Framework for High-quality Text Synthesis in Arbitrary Images via Character-aware Diffusion Models
Wangxuan Institute of Computer Technology(王选计算机研究所);Peking University(北京大学)
本文提出UDiffText,一个基于字符感知扩散模型的统一框架,通过轻量级字符级文本编码器和局部注意力控制,解决文本图像生成中的拼写错误问题,实现任意图像中高质量文本合成。
2023-12-08 cs.CV
TextDiffuser: Diffusion Models as Text Painters
Microsoft Research(微软研究院);HKUST(香港科技大学);Sun Yat-sen University(中山大学)
TextDiffuser通过Transformer生成关键词布局并结合扩散模型生成与背景协调的文本图像,同时发布包含1000万对数据的大规模OCR数据集MARIO-10M及评估基准MARIO-Eval,显著提升文本渲染质量。
2023-10-30 cs.CV
Versatile Diffusion: Text, Images and Variations All in One Diffusion Model
UIUC(伊利诺伊大学厄巴纳-香槟分校);Georgia Tech(佐治亚理工学院);U of Oregon(俄勒冈大学);UT Austin(德克萨斯大学奥斯汀分校);Picsart AI Research (PAIR)(Picsart AI 研究院)
本文提出统一多流多模态扩散模型 Versatile Diffusion,同时处理文本到图像、图像到文本和变体生成,并通过可共享可交换模块实现跨模态通用性,在多个任务上优于基线并支持风格语义解耦与多上下文混合等新扩展。
2024-01-11 cs.CV
$\textit{Revelio}$: Interpreting and leveraging semantic information in diffusion models
Boston University(波士顿大学);Runway
该研究提出$\textit{Revelio}$方法,利用k-SAE挖掘扩散模型中的单语义可解释特征,通过迁移学习验证解释有效性,在4个数据集上证明扩散特征的表示学习价值,分析多因素对扩散模型表示的影响,推动黑盒扩散模型的可解释性研究。
2025-08-02 cs.CV
clip2latent: Text driven sampling of a pre-trained StyleGAN using denoising diffusion and CLIP
Lambda, Inc(Lambda公司)
我们引入了一种新的方法,可以从预训练的CLIP和StyleGAN有效地创建文本到图像的模型。它可以使用现有的生成模型进行文本驱动采样,而无需任何外部数据或微调。这是通过训练一个以CLIP嵌入为条件的扩散模型来实现的,该模型对预训练的StyleGAN的潜在向量进行采样,我们称之为clip2latent。我们利用CLIP的图像和文本嵌入之间的对齐,以避免需要任何文本标记的数据来训练条件扩散模型。我们证明了clip2latent允许我们基于文本提示生成高分辨率(1024x1024像素)图像,具有快速采样,高图像质量和低训练计算和数据要求。我们还表明,使用经过充分研究的StyleGAN架构,无需进一步微调,就可以直接应用现有方法来控制和修改生成的图像,为我们的文本到图像管道添加进一步的控制层。
2022-10-05 cs.CV
Hierarchical Vision-Language Alignment for Text-to-Image Generation via Diffusion Models
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
本文提出VLAD模型,通过上下文组合模块与分层扩散的双流策略,解决复杂文本到图像生成中的视觉-语言对齐问题,并在多个基准上取得领先性能。
2025-01-01 cs.CV
MixDiffusion: Mixing Diffusion-based Uni-condition Text-to-Image Generation Models for Multi-condition Image Synthesis
研究针对现有基于扩散的文本到图像生成方法控制条件单一的问题,提出MixDiffusion框架,通过集成多个预训练单条件模型,支持多条件图像合成,具有无需训练、易部署和可扩展新模态的特点。
2026-07-21 cs.CV
DiffusionRet: Generative Text-Video Retrieval with Diffusion Model
Peking University(北京大学);Tsinghua University(清华大学);Peng Cheng Laboratory(鹏城实验室)
本文提出 DiffusionRet,将文本-视频检索建模为扩散去噪生成联合分布,并结合生成损失与对比损失训练,在五个基准及域外检索中取得优越性能。
2023-08-19 cs.CV
Text-DiFuse: An Interactive Multi-Modal Image Fusion Framework based on Text-modulated Diffusion Model
Electronic Information School(电子信息学院);Wuhan University(武汉大学)
针对现有多模态图像融合方法难处理复合退化、忽略前景特异性的问题,提出基于文本调制扩散模型的Text-DiFuse框架,通过特征级融合与文本控制重调制,实现复杂退化场景下的最优融合效果并提升语义性能。
2024-10-31 cs.CV
Reusing Computation in Text-to-Image Diffusion for Efficient Generation of Image Sets
University of Chicago(芝加哥大学);Adobe Research(Adobe研究)
本文提出一种免训练的文本到图像扩散加速方法,通过按语义相似性聚类提示并在早期去噪步骤共享计算,在降低计算成本的同时提升图像质量。
2025-08-28 cs.CV
Disciplined Diffusion: Text-to-Image Diffusion Model against NSFW Generation
Bellini College of Artificial Intelligence, Cybersecurity(人工智能与网络安全学院);Department of Electrical and Computer Engineering, College of Engineering(电气与计算机工程系);University of South Florida(佛罗里达州立大学)
本文提出Disciplined Diffusion,通过语义检索和局部编辑技术,有效识别并抑制生成图像中的恶意内容,提升文本到图像扩散模型的安全性与生成质量。
2026-05-01 cs.CV
RSDiff: Remote Sensing Image Generation from Text Using Diffusion Model
Nile University(尼罗河大学)
本研究针对遥感领域卫星图像生成增强需求,提出两阶段扩散模型RSDiff,通过LRDM生成初始图、SRDM优化分辨率,在RSICD数据集上表现优于现有模型,可生成地理细节准确的高分辨率卫星图像。
2024-10-05 cs.CV
Prompt-Free Diffusion: Taking "Text" out of Text-to-Image Diffusion Models
SHI Labs(SHI实验室);Picsart AI Research (PAIR)(Picsart人工智能研究院(PAIR));Tsinghua University(清华大学)
本文提出 Prompt-Free Diffusion,通过 SeeCoder 替代文本编码器,仅用参考图像、结构条件和噪声实现无文本提示的图像生成,性能可比肩先进 T2I 模型并支持多种下游应用。
2023-06-01 cs.CV
PI3D: Efficient Text-to-3D Generation with Pseudo-Image Diffusion
BNRist, Tsinghua University(BNRist,清华大学);VAST;The University of Adelaide(阿德莱德大学);Qinghai University(青海大学)
提出PI3D框架,将3D形状表示为伪RGB图像并微调预训练文本到图像扩散模型,结合分数蒸馏采样进行轻量级迭代细化,在3分钟内实现高质量文本到3D生成。
2024-04-21 cs.CV
Text2Stereo: Repurposing Stable Diffusion for Stereo Generation with Consistency Rewards
Texas A&M University(德克萨斯A&M大学);Leia Inc(Leia公司)
本文提出 Text2Stereo,通过微调 Stable Diffusion 并结合提示对齐与立体一致性奖励,实现文本驱动的高质量立体图像生成。
2025-07-23 cs.CV
Brush Your Text: Synthesize Any Scene Text on Images via Diffusion Model
Shanghai AI Laboratory(上海人工智能实验室)
针对扩散模型难以准确生成多语言场景文本的问题,提出免训练框架Diff-Text,以草图为先验、结合局部注意力约束与对比图像级提示,提升文本生成准确率与融合自然度。
2023-12-19 cs.CV
CTCal: Rethinking Text-to-Image Diffusion Models via Cross-Timestep Self-Calibration
State Key Laboratory of Complex and Critical Software Environment(复杂与关键软件环境国家重点实验室);School of Computer Science and Engineering(计算机科学与工程学院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出CTCal,通过利用早期时间步的准确文本-图像对齐来校准后期时间步的表示学习,提升文本到图像生成的对齐精度。
2026-03-21 cs.CV
Custom-Edit: Text-Guided Image Editing with Customized Diffusion Models
Seoul National University(首尔国立大学);NAVER AI Lab(NAVER人工智能实验室)
本文提出Custom-Edit方法,通过少量参考图像定制扩散模型并结合增强提示进行文本引导编辑,在保持源图像相似性的同时显著提升参考相似性。
2023-05-25 cs.CV
Recognition-Guided Diffusion Model for Scene Text Image Super-Resolution
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机技术研究所)
针对严重模糊图像生成能力不足的问题,提出识别引导扩散模型RGDiffSR,通过识别引导去噪网络提供语义指导,在TextZoom数据集上显著提升了文本识别准确率与图像保真度。
2023-11-22 cs.CV
Text-driven Human Motion Generation with Motion Masked Diffusion Model
University College London(伦敦大学学院)
本文提出运动掩码扩散模型MMDM,通过时间帧掩码和身体部位掩码增强扩散模型对时空关系的上下文推理能力,在HumanML3D和KIT-ML上有效平衡了运动质量与文本-运动一致性。
2024-09-29 cs.CV
UniDream: Unifying Diffusion Priors for Relightable Text-to-3D Generation
The Chinese University of Hong Kong(香港中文大学);VAST;The University of Hong Kong(香港大学);Zhejiang University(浙江大学);Shanghai AI Laboratory(上海人工智能实验室)
针对现有文本到3D生成方法因依赖RGB数据导致固有的光照问题、重光照能力不足的缺陷,提出融合统一扩散先验的UniDream框架,通过双阶段训练等三部分设计,生成的3D物体在纹理、表面平滑度、真实感及重光照能力上均优于现有方法。
2024-07-13 cs.CV
On Manipulating Scene Text in the Wild with Diffusion Models
The Australian National University(澳大利亚国立大学)
本文提出 DBEST 网络,通过单样本风格适配与文本识别引导增强扩散模型,在保留背景、颜色和字号等细节的同时实现野外场景文本替换,并在 COCO-text 与 ICDAR2013 上取得高字符级准确率。
2023-11-03 cs.CV
Get What You Want, Not What You Don't: Image Content Suppression for Text-to-Image Diffusion Models
Nankai University(南开大学);Universitat Autònoma de Barcelona(巴塞罗那自治大学);Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);Linkoping University(林雪平大学)
针对文本到图像扩散模型难以抑制提示中未要求内容的问题,提出软加权正则化与推理时文本嵌入优化方法,有效抑制不期望内容并促进期望内容生成,且适用于像素空间与潜在空间模型。
2024-02-08 cs.CV
THOR: Text to Human-Object Interaction Diffusion via Relation Intervention
ShanghaiTech University(上海科技大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出THOR扩散模型,通过关系干预机制增强人-物时空关系,并构建Text-BEHAVE数据集,有效解决文本生成动态人-物交互任务。
2024-03-17 cs.CV
UniCanvas: A Diffusion-base Unified Model for Text-in-Image Joint Generation
UMass Amherst(马萨诸塞大学阿默斯特分校);University of Michigan(密歇根大学);MIT(麻省理工学院)
提出UniCanvas,通过扩散模型在像素画布上以文本嵌入图像的方式实现图文联合生成,解决现有模型在视觉与文本生成上的不足。
2026-06-02 cs.CV
HiPA: Enabling One-Step Text-to-Image Diffusion Models via High-Frequency-Promoting Adaptation
National University of Singapore(新加坡国立大学)
HiPA提出一种参数高效的一步式文本到图像扩散方法,通过训练低秩适配器增强模型的高频能力,在MS-COCO上显著提升FID并大幅降低训练成本,同时适用于图像编辑、修复和超分辨率任务。
2023-11-30 cs.CV
Scene Text Image Super-resolution based on Text-conditional Diffusion Models
Toyota Motor Corporation(丰田汽车公司)
本文利用文本条件扩散模型进行场景文本图像超分辨率,提出由三个专用模型组成的框架合成LR-HR配对数据,显著提升STISR在TextZoom上的性能。
2023-12-22 cs.CV