TextCLIP: Text-Guided Face Image Generation And Manipulation Without Adversarial Training
Peking University(北京大学)
本文提出TextCLIP统一框架,结合StyleGAN与CLIP,在无需对抗训练的情况下实现文本引导的人脸图像生成与编辑,并在Multi-modal CelebA-HQ上超越现有方法。
2023-09-21 cs.CV
SSD: Towards Better Text-Image Consistency Metric in Text-to-Image Generation
Xi’an Jiaotong-Liverpool University(西交利物浦大学);University of Liverpool(利物浦大学);Duke Kunshan University(昆山杜克大学)
从给定文本生成一致和高质量的图像对于视觉语言理解是必不可少的。虽然在生成高质量图像方面取得了令人印象深刻的结果,但文本图像一致性仍然是现有基于GAN的方法的主要问题。特别是,最流行的度量$R$ -精度可能无法准确地反映文本-图像的一致性,往往会导致非常误导的语义生成的图像。尽管它的重要性,如何设计一个更好的文本图像一致性度量令人惊讶的是仍然在社区中探索不足。在本文中,我们进一步发展一种新的CLIP为基础的度量称为语义相似距离($SSD$),这是从理论上成立的分布的观点和经验验证的基准数据集。受益于所提出的度量,我们进一步设计了并行深度融合生成对抗网络(PDF-GAN),旨在通过融合不同粒度的语义信息并捕获准确的语义来提高文本-图像一致性。PDF-GAN配备了两个新的即插即用组件:硬否定句构造器和语义投影,可以减轻不一致的语义,弥合文本-图像语义鸿沟。一系列实验表明,与当前最先进的方法相比,我们的PDF-GAN可以显著提高文本图像的一致性,同时在CUB和COCO数据集上保持良好的图像质量。
2022-12-03 cs.CV
TextPainter: Multimodal Text Image Generation with Visual-harmony and Text-comprehension for Poster Design
University of Science and Technology of China(中国科学技术大学);Alibaba Group(阿里巴巴集团)
本文提出多模态方法 TextPainter,融合全局—局部背景视觉信息与语言模型文本理解,生成视觉和语义和谐的海报文本图像,并构建约8万张带标注的 PosterT80K 数据集。
2023-08-13 cs.CV
Cross-Modal Coherence for Text-to-Image Retrieval
Rutgers University(罗格斯大学);University of Pittsburgh(匹兹堡大学)
常见的图像-文本联合理解技术假定图像和相关文本可以普遍地由单个隐式模型表征。然而,共现图像和文本可以以不同的方式联系在一起,明确地对其建模可以提高当前联合理解模型的性能。在本文中,我们训练一个跨模态的连贯性模型的文本到图像检索任务。我们的分析表明,与图像-文本连贯性关系训练的模型可以检索图像最初配对的目标文本更经常比连贯性不可知模型。我们还表明,通过人类的评价,图像检索所提出的一致性感知模型是首选的一致性不可知的基线由一个巨大的利润。我们的研究结果提供了不同的方式,沟通和连贯关系的作用,在捕捉常识推理的文本和图像的见解。
2022-04-15 cs.CV
PRedItOR: Text Guided Image Editing with Diffusion Prior
Adobe Applied Research(奥多比应用研究院)
扩散模型在生成高质量和创造性的文本图像方面表现出了卓越的能力。这种模型的一个有趣的应用是结构保持文本引导的图像编辑。现有的方法依赖于文本条件扩散模型,诸如稳定扩散或Imagen,并且需要文本嵌入的计算密集型优化或用于文本引导的图像编辑的模型权重的微调。我们探索文本引导的图像编辑与混合扩散模型(HDM)架构类似DALLE-2。我们的体系结构包括一个扩散先验模型,生成CLIP图像嵌入条件的文本提示和自定义潜空间扩散模型训练生成的图像条件的CLIP图像嵌入。我们发现,扩散先验模型可以用于在CLIP图像嵌入空间上执行文本引导的概念编辑,而无需任何微调或优化。我们将其与结构保持编辑的图像解码器使用现有的方法,如反向DDIM执行文本引导的图像编辑。我们的方法,PredItOR不需要额外的输入,微调,优化或目标,并显示出与基线相同或更好的结果。我们提供了进一步的分析和理解的扩散先验模型,并相信这开辟了新的可能性,在扩散模型的研究。
2023-03-20 cs.CV
CanvasGAN: A simple baseline for text to image generation by incrementally patching a canvas
New York University(纽约大学)
我们提出了一个新的经常性生成模型,用于从文本字幕生成图像,同时参加文本字幕的特定部分。我们的模型通过在“画布”上增量添加补丁来创建图像,同时在每个时间步上关注文本标题中的单词。最后,画布通过一个升级网络来生成图像。我们还介绍了一种新的方法,用于生成视觉语义句子嵌入的基础上自我注意文本。我们比较我们的模型生成的图像与里德等。al.的模型,并表明我们的模型是一个更强大的基线文本图像生成任务。
2018-10-05 cs.CV
Adversarial nets with perceptual losses for text-to-image synthesis
Harvard University(哈佛大学)
生成对抗网络(GANs)中的最新方法可以从描述性文本中自动合成逼真的图像。尽管整体质量尚可,但生成的图像通常暴露出缺乏感兴趣对象的结构定义的可见缺陷。在本文中,我们的目标是通过提高生成图像的感知质量来扩展基于GAN的文本到图像合成的最新技术水平。区别于以前的工作,我们的合成图像生成器优化感知损失函数,测量像素,功能激活,纹理差异对自然图像。我们提出了视觉上更引人注目的合成图像的鸟类和花卉产生的文字描述相比,一些最突出的现有工作。
2017-08-30 cs.CV
TF-TI2I: Training-Free Text-and-Image-to-Image Generation via Multi-Modal Implicit-Context Learning in Text-to-Image Models
National Yang Ming Chiao Tung University
提出无需训练的TF-TI2I方法,利用MM-DiT架构中文本标记隐式学习视觉信息,通过参考上下文掩码和胜者全取模块实现选择性信息共享,并引入FG-TI2I基准,在复杂图像生成任务中表现稳健。
2026-06-26 cs.CV
Unified Multi-Modal Latent Diffusion for Joint Subject and Text Conditional Image Generation
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Microsoft Research(微软研究院)
目前,通过使用扩散模型,放射学引导的图像生成已经取得了很大的成功。然而,文本可能不太详细,无法描述高度特定的主题,例如特定的狗或特定的汽车,这使得纯文本到图像的生成不够准确,无法满足用户的要求。在这项工作中,我们提出了一种新的统一多模态潜在扩散(UMM扩散),它需要联合文本和图像包含指定的主题作为输入序列,并生成定制的图像与主题。更具体地说,输入的文本和图像都被编码到一个统一的多模态潜空间中,在该潜空间中,输入的图像被学习以投影到伪词嵌入,并且可以进一步与文本组合以指导图像生成。此外,为了消除输入图像中的背景或光照等不相关部分,我们提出了一种新的扩散模型采样技术,用于图像生成器,融合了多模态输入和纯文本输入的结果。通过利用大规模预训练的文本到图像生成器和设计的图像编码器,我们的方法能够从输入文本和图像两个方面生成具有复杂语义的高质量图像。
2023-03-16 cs.CV
Textual Localization: Decomposing Multi-concept Images for Subject-Driven Text-to-Image Generation
Durham University(杜伦大学)
针对主体驱动模型在多概念输入图像中难以指定目标概念的问题,提出一种文本定位模型,通过新颖的交叉注意力引导在微调时分解多概念,显著提升了图像保真度与图文对齐效果。
2024-02-15 cs.CV
Type-R: Automatically Retouching Typos for Text-to-Image Generation
CyberAgent;Kyushu University(九州大学)
提出Type-R后处理方法,通过识别、擦除、重生成文本框和纠正错别字修复图像中的文字渲染错误,结合Stable Diffusion或Flux在保持图像质量的同时实现最高文本渲染准确率。
2025-04-30 cs.CV
Text as Neural Operator: Image Manipulation by Text Instruction
Google Research(谷歌研究院);University of California, Merced(加利福尼亚大学默塞德分校);Carnegie Mellon University(卡内基梅隆大学);Waymo;University of Michigan(密歇根大学);Georgia Institute of Technology(佐治亚理工学院)
近年来,文本引导的图像处理在多媒体和计算机视觉领域得到了越来越多的关注。条件图像生成的输入已经从仅图像发展到多模态。在本文中,我们研究了一种设置,允许用户使用复杂的文本指令来添加,删除或更改对象编辑具有多个对象的图像。任务的输入是多模态的,包括(1)参考图像和(2)描述对图像的期望修改的自然语言的指令。我们提出了一种基于GAN的方法来解决这个问题。其核心思想是将文本视为神经操作符来局部修改图像特征。我们表明,该模型在三个公共数据集上对最近的强基线表现良好。具体来说,它生成的图像具有更高的保真度和语义相关性,并且当用作图像查询时,会导致更好的检索性能。
2021-11-29 cs.CV
VITAL: A Visual Interpretation on Text with Adversarial Learning for Image Labeling
School of Computer Science, Wuhan University, Wuhan, Hubei, China(中国湖北省武汉市武汉大学计算机学院);School of Information Engineering, Hubei University for Nationalities, Enshi, Hubei, China(中国湖北省恩施市湖北民族学院信息工程学院)
在本文中,我们提出了一种新的方法来解释文本信息提取视觉特征表示从多个高分辨率和照片般逼真的合成图像生成的文本到生成对抗网络(GAN),以提高图像标记的性能。首先,我们设计了一个堆叠的生成多对抗网络(GMAN),StackGMAN++,它是当前最先进的文本到图像GAN,StackGAN++的修改版本,以生成具有各种先验噪声的文本条件下的多个合成图像。然后我们从生成的合成图像中提取深层视觉特征,以探索文本的潜在视觉概念。最后,我们将图像级视觉特征、文本级特征和基于合成图像的视觉特征结合起来,对图像进行标签预测。我们在两个基准数据集上进行了实验,实验结果清楚地表明了我们所提出的方法的有效性。
2019-08-01 cs.CV
Brush Your Text: Synthesize Any Scene Text on Images via Diffusion Model
Shanghai AI Laboratory(上海人工智能实验室)
针对扩散模型难以准确生成多语言场景文本的问题,提出免训练框架Diff-Text,以草图为先验、结合局部注意力约束与对比图像级提示,提升文本生成准确率与融合自然度。
2023-12-19 cs.CV
Cycle-Consistent Inverse GAN for Text-to-Image Synthesis
Nanyang Technological University(南洋理工大学);Singapore Management University(新加坡管理大学)
本文探讨了一个开放的研究任务,文本到图像的合成自动生成或操纵图像的文本描述。现有的方法主要是以文本作为生成GAN的条件,并针对文本引导的图像生成和操作任务对不同的模型进行训练。在本文中,我们提出了一种新的统一框架的周期一致性逆GAN(CI-GAN)的文本到图像生成和文本引导的图像处理任务。具体来说,我们首先训练一个没有文本输入的GAN模型,旨在生成具有高多样性和高质量的图像。然后,我们学习一个GAN反演模型,将图像转换回GAN潜在空间,并获得每个图像的反演潜在代码,其中我们引入循环一致性训练来学习更鲁棒和一致的反演潜在代码。通过学习文本表示和潜在代码之间的相似性模型,我们进一步揭示了训练后的GAN模型的潜在空间语义。在文本引导的优化模块中,我们通过优化反转的潜在代码来生成具有所需语义属性的图像。在Recipe 1 M和CUB数据集上进行的大量实验验证了我们提出的框架的有效性。
2021-09-12 cs.CV
Image Inpainting for High-Resolution Textures using CNN Texture Synthesis
University of Applied Sciences Constance(康斯坦茨应用技术大学)
深度神经网络已成功应用于图像分割、图像超分辨率、着色和图像修补等问题。在这项工作中,我们提出了使用卷积神经网络(CNN)的图像修补的大区域的高分辨率纹理。由于有限的计算资源,用神经网络处理高分辨率图像仍然是一个悬而未决的问题。现有的方法将全局结构的修复和细节的传递分离,这导致在细节传递步骤中的模糊结果和全局一致性的损失。基于使用CNN的纹理合成的进展,我们提出了基于块的图像修补的CNN,能够优化全局以及细节纹理统计。我们的方法能够填充大型修复区域,通常超过高分辨率图像的可比方法的质量。对于参考补丁查找,我们建议使用与修复过程中使用的相同的汇总统计量。
2018-02-12 cs.CV
Text2Street: Controllable Text-to-image Generation for Street Views
Meituan(美团)
针对街景文本到图像生成中道路拓扑复杂、交通状况多样和天气多变的问题,提出Text2Street框架,通过车道感知道路拓扑生成器、基于位置的对象布局生成器和多重控制图像生成器,实现可控的街景图像生成,实验验证了其有效性。
2024-02-07 cs.CV
Prompt Expansion for Adaptive Text-to-Image Generation
Google Research(谷歌研究院);Princeton University(普林斯顿大学);University of Oxford(牛津大学)
本文提出提示词扩展框架,将文本查询扩展为优化后的提示词集合,以提升文本到图像生成的质量与多样性,并通过人工评估验证其优于基线方法。
2023-12-27 cs.CV
CPGAN: Full-Spectrum Content-Parsing Generative Adversarial Networks for Text-to-Image Synthesis
Beihang University(北京航空航天大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室)
文本到图像合成的典型方法寻求设计有效的生成架构来直接建模文本到图像的映射。由于跨模态翻译的存在,翻译难度相当大。在本文中,我们绕过这个问题,专注于分析的输入文本和合成图像的内容彻底建模的文本到图像的一致性在语义层面。特别是,我们设计了一个内存结构来解析文本内容,通过探索语义对应词汇表中的每个单词之间的各种视觉上下文相关的图像在文本编码。同时,合成的图像进行解析,学习其语义的对象感知的方式。此外,我们自定义了一个条件映射模型来模拟文字和图像子区域之间的细粒度相关性,以推动文本-图像语义对齐。在COCO数据集上的大量实验表明,我们的模型显着提高了最先进的性能(从35.69到52.73的初始得分)。
2020-07-12 cs.CV
OrienText: Surface Oriented Textual Image Generation
TCS Research(塔塔咨询服务研究实验室)
针对现有T2I扩散模型难以在复杂视角表面上准确生成文本的问题,提出OrienText方法,利用特定区域表面法线作为条件输入,实现图像中文本的准确渲染与正确方向定位。
2025-05-27 cs.CV
Cross-Modal Adaptive Dual Association for Text-to-Image Person Retrieval
Sun Yat-sen University(中山大学)
本文针对文本到图像行人检索中双向关联不一致问题,提出跨模态自适应双重关联方法CADA,通过文本Token到图像Patch关联和图像区域到文本属性关联实现精细双向匹配,实验验证了其优越性。
2023-12-04 cs.CV
TIQA: Human-Aligned Perceptual Text Quality Assessment in Generated Images
Lomonosov Moscow State University(洛蒙诺索夫莫斯科国立大学);ISP RAS Research Center for Trusted Artificial Intelligence(俄罗斯科学院信息与系统研究所在可信人工智能领域研究中心);MSU Institute for Artificial Intelligence(莫斯科大学人工智能研究所)
TIQA通过ANTIQA方法提升生成图像中文本质量评估的准确性,有效提高文本生成任务的过滤与重排序性能。
2026-10-01 cs.CV
A Review on Generative AI For Text-To-Image and Image-To-Image Generation and Implications To Scientific Images
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
本文综述了生成式AI中文本到图像和图像到图像生成的最新进展,比较了VAE、GAN和扩散模型三种架构,并探讨了其在科学图像理解中的优势、局限及未来研究方向。
2025-03-10 cs.CV
Fine-grained Cross-modal Fusion based Refinement for Text-to-Image Synthesis
Hefei University of Technology(合肥工业大学)
文本到图像合成是指从给定的文本描述生成视觉上逼真的和语义上一致的图像。以前的方法生成一个初始的低分辨率图像,然后将其细化为高分辨率。尽管取得了显著的进步,这些方法是有限的,在充分利用给定的文本,并可能产生文本不匹配的图像,特别是当文本描述是复杂的。提出了一种基于细粒度文本-图像融合的生成对抗网络(FF-GAN),它由两个模块组成:细粒度文本-图像融合模块(FF-Block)和全局语义细化模块(GSR)。FF-Block将注意力块和多个卷积层集成在一起,有效地将细粒度的词上下文特征融合到相应的视觉特征中,充分利用文本信息对初始图像进行更详细的细化。在细化过程中,提出了GSR来提高语言特征和视觉特征之间的全局语义一致性。在CUB-200和COCO数据集上进行的大量实验表明,FF-GAN在生成与给定文本语义一致的图像方面优于其他最先进的方法。代码可在www.example.com上获得。
2023-02-20 cs.CV
Conditional Text Image Generation with Diffusion Models
Alibaba DAMO Academy(阿里巴巴达摩院)
本文提出基于扩散模型的条件文本图像生成方法CTIG-DM,通过图像、文本、风格三条件控制生成,支持合成、增强、恢复、模仿四种模式,提升文本识别性能并支持领域适应与OOV词生成。
2023-06-19 cs.CV
Text-Adaptive Generative Adversarial Networks: Manipulating Images with Natural Language
Yonsei University(延世大学)
本文讨论了使用自然语言描述来处理图像的问题。我们的任务旨在语义修改图像中的对象的视觉属性,根据描述新的视觉外观的文本。虽然现有的方法合成的图像具有新的属性,他们不完全保留原始图像的文本无关的内容。在本文中,我们提出了文本自适应的生成对抗网络(TAGAN)来生成经过语义处理的图像,同时保留与文本无关的内容。我们的方法的关键是文本自适应分类器,它根据输入文本创建单词级的局部判别器来独立地分类细粒度属性。有了这个模板,生成器学习生成只有与给定文本对应的区域被修改的图像。实验结果表明,我们的方法优于现有的方法在CUB和牛津-102数据集,我们的结果大多是首选的用户研究。大量的分析表明,我们的方法是能够有效地解开视觉属性,并产生令人愉快的输出。
2018-11-28 cs.CV
TEXTS-Diff: TEXTS-Aware Diffusion Model for Real-World Text Image Super-Resolution
Amap, Alibaba Group(阿里集团地图部门)
TEXTS-Diff通过构建大规模高质量数据集和提出文本感知扩散模型,提升真实世界文本图像超分辨率中背景和文本区域的生成质量与准确性。
2026-01-24 cs.CV
End-to-end Training for Text-to-Image Synthesis using Dual-Text Embeddings
Indian Institute of Technology Madras(马德拉斯印度理工学院)
本文提出端到端训练专用于文本到图像合成的双文本嵌入,结合生成式与对比式训练分别优化照片真实感和文本图像对齐,在三个基准数据集上验证其优于共享嵌入及预训练判别式文本表示,并可用于文本到图像操作。
2025-02-03 cs.CV
TextCenGen: Attention-Guided Text-Centric Background Adaptation for Text-to-Image Generation
Chenhui Li(李晨辉)
针对 T2I 图像背景难以自然容纳文字的问题,本文提出免训练、即插即用的 TextCenGen,通过交叉注意力定位冲突对象并以力导向图迁移,在 27,000 图基准上降低 23% 显著性重叠并保持 98% 语义保真度。
2025-05-13 cs.CV
Text-to-Image Models Need Less from Text Encoders Than You Think
Technion – Israel Institute of Technology(技术学院 – 以色列理工学院);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本文发现基于扩散Transformer的文生图模型主要依赖文本编码器提供的单词含义和词序信息,而非完整的上下文信息,并通过构建仅含位置标记词袋的嵌入验证了这一观点。
2026-10-08 cs.CV
Enhancing Scene Text Detectors with Realistic Text Image Synthesis Using Diffusion Models
Huazhong University of Science and Technology(华中科技大学)
本文提出基于扩散模型的DiffText文本图像生成流程,通过无缝融合前景文本与背景特征并减少拼写错误,以更少的文本实例生成逼真合成数据,有效提升各类场景文本检测器的性能。
2023-11-28 cs.CV
Novel Object Synthesis via Adaptive Text-Image Harmony
RIKEN(理化学研究所);College of Computer Science, Nankai University(南开大学计算机学院)
针对文本与图像条件失衡导致扩散模型偏向单一输入的问题,提出ATIH,通过注意力调节、平衡损失和自适应相似度评分生成高保真且可编辑的新物体。
2024-10-28 cs.CV
Recurrent Affine Transformation for Text-to-image Synthesis
South China University of Technology(华南理工大学)
文本到图像合成的目的是生成自然的图像条件下的文本描述。该任务的主要困难在于有效地将文本信息融合到图像合成过程中。现有方法通常自适应地将合适的文本信息融合到具有多个隔离融合块的合成过程中(例如,条件批量归一化和实例归一化)。然而,孤立的融合块不仅相互冲突,而且增加了训练的难度(见补充资料第一页)。为了解决这些问题,我们提出了一种用于生成对抗网络的递归仿射变换(RAT),该变换将所有融合块与递归神经网络连接起来,以对它们的长期依赖性进行建模。此外,为了提高文本和合成图像之间的语义一致性,我们将一个空间注意力模型的合成。文本描述能够识别匹配的图像区域,监督生成器合成更多相关的图像内容。在CUB、Oxford-102和COCO数据集上的大量实验表明,与最先进的模型\footnote{https://github.com/senmaoy/Recurrent-Affine-Transformation-for-Text-to-image-Synthesis.git}相比,所提出的模型具有优越性
2022-04-22 cs.CV
DF-GAN: A Simple and Effective Baseline for Text-to-Image Synthesis
Nanjing University of Posts and Telecommunications(南京邮电大学);ETH Zürich(苏黎世联邦理工学院);Wuhan University(武汉大学);Peng Cheng Laboratory(鹏城实验室);University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, CAS(中国科学院自动化研究所)
从文本描述合成高质量的逼真图像是一项具有挑战性的任务。现有的文本到图像生成对抗网络一般采用堆栈架构作为骨干,但仍然存在三个缺陷。首先,堆叠架构引入了不同图像尺度的生成器之间的纠缠。其次,现有的研究倾向于在文本-图像语义一致性的对抗学习中应用和固定额外的网络,这限制了这些网络的监督能力。第三,基于跨模态注意力的文本图像融合,广泛采用的以往的作品是有限的几个特殊的图像尺度,因为计算成本。为此,我们提出了一种更简单但更有效的深度融合生成对抗网络(DF-GAN)。具体而言,我们建议:(i)一种新颖的一级文本到图像主干,其直接合成高分辨率图像而没有不同生成器之间的纠缠,(ii)由匹配感知梯度惩罚和单向输出组成的新颖的目标感知鉴别器,其增强了文本-图像语义一致性而不引入额外的网络,(iii)新颖的深度文本-图像融合块,该方法深化了融合过程,使文本与视觉特征充分融合。与目前最先进的方法相比,我们提出的DF-GAN更简单,但更有效地合成真实和文本匹配的图像,并在广泛使用的数据集上实现更好的性能。
2022-10-15 cs.CV
Defending Text-to-image Diffusion Models: Surprising Efficacy of Textual Perturbations Against Backdoor Attacks
ASUS(华硕);National Taiwan University(台湾大学);University of Michigan(密歇根大学)
本文提出利用文本扰动这一简单策略有效防御文本到图像扩散模型的后门攻击,并从文本嵌入空间和交叉注意力图角度分析其有效性,为未来攻防策略提供见解。
2024-08-28 cs.CV
InstantBooth: Personalized Text-to-Image Generation without Test-Time Finetuning
Adobe Inc(奥多比公司)
提出InstantBooth方法,通过可学习图像编码器和适配器层实现无需测试时微调的即时个性化文本到图像生成,在保持图像质量的同时速度提升100倍。
2023-04-06 cs.CV
An Empirical Study and Analysis of Text-to-Image Generation Using Large Language Model-Powered Textual Representation
Fudan University(复旦大学);INF Tech(INF科技);Soochow University(苏州大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出一种三阶段训练流程及轻量级适配器,将大语言模型作为文本编码器集成到文生图模型中,实现多语言和长上下文支持,提升图像生成质量。
2024-07-18 cs.CV
Inferring Semantic Layout for Hierarchical Text-to-Image Synthesis
University of Michigan(密歇根大学);Google Brain(谷歌大脑)
我们提出了一种新的层次化方法,通过推断语义布局的文本到图像的合成。我们的算法不是学习从文本到图像的直接映射,而是将生成过程分解为多个步骤,首先通过布局生成器从文本构建语义布局,然后通过图像生成器将布局转换为图像。所提出的布局生成器逐步构建一个语义布局在一个由粗到细的方式,通过生成对象的边界框和细化每个框内的对象形状估计框。图像生成器以推断的语义布局为条件来合成图像,该推断的语义布局提供了与文本描述匹配的图像的有用语义结构。我们的模型不仅生成语义上更有意义的图像,而且还允许自动注释生成的图像和用户控制的生成过程中,通过修改生成的场景布局。我们证明了所提出的模型在具有挑战性的MS-COCO数据集上的能力,并表明该模型可以大大提高图像质量,输出的可解释性和与输入文本的语义对齐。
2018-07-26 cs.CV
Leveraging Unpaired Data for Vision-Language Generative Models via Cycle Consistency
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Mila(米拉研究所);Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind);OpenAI
针对配对图像文本数据获取成本高或质量低的问题,提出基于循环一致性的ITIT训练范式,结合少量配对数据与大量非配对数据训练双向视觉语言生成模型,以远少于SOTA模型的配对数据达到相当的生成与描述性能。
2023-10-05 cs.CV
Fast Personalized Text-to-Image Syntheses With Attention Injection
Shanghai Jiao Tong University(上海交通大学);ShanghaiTech University(上海科技大学)
提出一种无需微调的快速个性化图像生成方法,通过操纵扩散模型的注意力层平衡文本与身份一致性,实验证明其优越性。
2024-03-17 cs.CV
ITstyler: Image-optimized Text-based Style Transfer
Tsinghua University(清华大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Shanghai AI Laboratory(上海人工智能实验室);Peng Cheng Laboratory(鹏城实验室)
基于文本的风格迁移是一个新兴的研究课题,它利用文本信息代替风格图像来指导风格迁移过程,极大地扩展了风格迁移的应用场景。然而,以前的方法需要额外的时间来优化或文本图像配对数据,导致有效性有限。在这项工作中,我们实现了一个数据高效的基于文本的风格传输方法,不需要在推理阶段的优化。具体来说,我们将文本输入转换到预先训练好的VGG网络的样式空间,以实现更有效的样式交换。我们还利用CLIP的多模态嵌入空间来学习仅与图像数据集的文本到样式映射。我们的方法可以实时传输任意新样式的文本输入,并合成高质量的艺术图像。
2023-01-26 cs.CV
StyleAugment: Learning Texture De-biased Representations by Style Augmentation without Pre-defined Textures
NAVER AI Lab(NAVER AI实验室);Yonsei University(延世大学)
最近的强大的视觉分类器偏向于纹理,而形状信息被忽略的模型。一个简单的尝试是使用艺术风格转移方法(称为Stylized ImageNet)来增强训练图像,可以减少纹理偏差。然而,Stylized ImageNet方法在保真度和多样性方面存在两个缺点。首先,由于自然图像和艺术绘画之间存在明显的语义鸿沟,生成的图像显示出较低的图像质量。此外,Stylized ImageNet训练样本在训练之前进行了预先计算,导致每个样本缺乏多样性。我们提出了一个StyleAugment,通过从mini-batch中增加样式。StyleAugment不依赖于预定义的样式引用,而是通过引用的mini-batch中的自然图像动态生成增强图像。因此,StyleAugment通过动态增强策略让模型观察到每个图像的大量混淆线索,而增强图像比艺术风格转换的图像更真实。我们在ImageNet数据集中使用鲁棒性基准验证了StyleAugment的有效性,例如纹理去偏精度,腐败鲁棒性,自然对抗样本和遮挡鲁棒性。在我们的实验中,StyleAugment比以前的无监督去偏置方法和最先进的数据增强方法表现出更好的泛化性能。
2021-08-24 cs.CV
Texturize a GAN Using a Single Image
我们可以定制一个深度生成模型,它可以生成与给定图像的纹理相匹配的图像吗?当你看到一个教堂的图像时,你可能想知道你是否可以为那个教堂获得类似的图片。在这里,我们提出了一种方法,用于使用一个参考图像来适应GANs,然后我们可以生成与给定图像具有相似纹理的图像。具体来说,我们修改预训练的GAN模型的权重,由用户给出的参考图像指导。我们使用一个补丁的对抗性损失,以鼓励模型的输出,以匹配给定的图像上的纹理,我们也使用拉普拉斯对抗性损失,以确保多样性和真实感,并缓解这两个损失之间的矛盾。实验表明,该方法能使GANs的输出与给定图像的纹理相匹配,同时保持多样性和真实感。
2023-03-11 cs.CV
CLIP-VQDiffusion : Langauge Free Training of Text To Image generation using CLIP and vector quantized diffusion model
INFINIQ
提出 CLIP-VQDiffusion,利用预训练 CLIP 模型在无文本配对数据集上实现文本到图像生成,在 FFHQ 数据集上 clipscore 提升 4.4%,且能生成逼真图像。
2024-03-22 cs.CV
TextDiff: Mask-Guided Residual Diffusion Models for Scene Text Image Super-Resolution
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出首个面向场景文本图像超分辨率的扩散框架 TextDiff,通过 TEM 生成初始去模糊图像与文本掩码,并由即插即用的 MRD 建模残差以锐化边缘,在基准上达到 SOTA。
2025-03-16 cs.CV
Contrastive Prompts Improve Disentanglement in Text-to-Image Diffusion Models
Carnegie Mellon University(卡内基梅隆大学)
本文提出 Contrastive Guidance,通过正负提示对比改进无分类器引导,在领域扩散模型、连续控制和零样本图像编辑中实现更好的图像因素解耦。
2024-02-21 cs.CV
Recognition-Guided Diffusion Model for Scene Text Image Super-Resolution
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机技术研究所)
针对严重模糊图像生成能力不足的问题,提出识别引导扩散模型RGDiffSR,通过识别引导去噪网络提供语义指导,在TextZoom数据集上显著提升了文本识别准确率与图像保真度。
2023-11-22 cs.CV
I2T2I: Learning Text to Image Synthesis with Textual Data Augmentation
Data Science Institute, Imperial College London(伦敦帝国理工学院数据科学研究所)
文本和图像之间的信息转换是人工智能中的一个基本问题,它连接了自然语言处理和计算机视觉。在过去的几年中,通过采用递归神经网络(RNN),图像字幕生成的性能得到了显着改善。与此同时,文本到图像生成开始使用特定类别的数据集(如鸟类和花卉)生成合理的图像。我们甚至看到了通过使用生成对抗网络(GANs)从多类别数据集(如Microsoft Common Objects in Context(MSCOCO))生成图像。然而,合成具有复杂形状的物体仍然具有挑战性。例如,动物和人类有许多自由度,这意味着它们可以呈现出许多复杂的形状。我们提出了一种新的训练方法称为图像-文本-图像(I2 T2 I),它集成了文本到图像和图像到文本(图像描述)合成,以提高文本到图像合成的性能。我们证明了我们的方法的能力,理解的句子描述,使I2 T2 I可以产生更好的多类别图像使用MSCOCO比国家的最先进的。我们还证明,I2 T2 I可以实现迁移学习通过使用一个预先训练的图像描述模块,以产生的MPII人体姿势的人的图像
2017-06-03 cs.CL cs.CV
CoBIT: A Contrastive Bi-directional Image-Text Generation Model
Columbia University(哥伦比亚大学);Google Research(谷歌研究院);UCLA(加州大学洛杉矶分校)
视觉和语言领域已经见证了预先训练的基础模型的扩散。大多数现有的方法都是使用CLIP等对比目标,PaLI等图像到文本生成目标或Parti等文本到图像生成目标进行独立预训练的。然而,这三个目标可以在相同的数据、图像-文本对上进行预训练,并且直观地说,它们相互补充,因为对比提供了全局对齐能力,而生成则提供了细粒度的理解。在这项工作中,我们提出了一个对比双向图像-文本生成模型(CoBIT),它试图将三个预训练目标统一在一个框架中。具体来说,CoBIT采用了一种新颖的unicoder-decoder结构,由图像unicoder,文本unicoder和交叉模态解码器组成。图像/文本unicoders可以在不同的任务中在编码和解码之间切换,实现灵活性和共享知识,有利于图像到文本和文本到图像的生成。CoBIT在图像理解、图像-文本理解(检索、字幕、VQA、SNLI-VE)和基于文本的内容创建方面具有卓越的性能,特别是在zero-shot场景中。例如,zero-shot ImageNet分类中的82.7%,zero-shot文本到图像生成中的9.37 FID得分和zero-shot字幕中的44.8 CIDER。
2023-03-23 cs.CL cs.CV
Uncovering the Text Embedding in Text-to-Image Diffusion Models
University of Science and Technology of China(中国科学技术大学);Alibaba Group(阿里巴巴集团)
本文深入分析文本到图像扩散模型中的文本嵌入空间,揭示词嵌入重要性、上下文相关性及通过SVD发现的语义潜力,为免学习图像编辑和语义发现提供指导。
2024-04-01 cs.AI cs.CV
Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding
Google Research(谷歌研究院)
我们提出了Imagen,一个文本到图像的扩散模型,具有前所未有的逼真度和深刻的语言理解水平。Imagen建立在大型Transformer语言模型理解文本的能力之上,并依赖于扩散模型在高保真图像生成方面的能力。我们的关键发现是,在纯文本语料库上预训练的通用大语言模型(例如T5)在编码图像合成的文本时非常有效:在Imagen中增加语言模型的大小可以大大提高样本保真度和图文对齐,而不是增加图像扩散模型的大小。Imagen在COCO数据集上获得了7.27的最新FID分数,而无需在COCO上进行训练,人类评分员发现Imagen样本在图文对齐方面与COCO数据本身不相上下。为了更深入地评估文本到图像模型,我们引入了DrawBench,这是一个针对文本到图像模型的全面且具有挑战性的基准。使用DrawBench,我们将Imagen与最近的方法(包括VQ-GAN+CLIP,潜空间扩散模型和DALL-E 2)进行了比较,并发现在样本质量和图文对齐方面,人类评分员在并排比较中更喜欢Imagen。有关结果的概述,请参见https://imagen.research.google/。
2022-05-23 cs.CV cs.LG
InstructBooth: Instruction-following Personalized Text-to-Image Generation
Korea University(高丽大学);KAIST(韩国科学技术院)
提出InstructBooth方法,通过唯一标识符个性化文本到图像模型并利用强化学习微调以最大化图文对齐奖励,在保持个性化能力的同时显著提升了与文本提示的对齐效果。
2024-02-15 cs.AI cs.CV
Variational Distribution Learning for Unsupervised Text-to-Image Generation
Seoul National University(首尔国立大学);Kakao Brain
我们提出了一种基于深度神经网络的文本到图像生成算法,当文本标题的图像在训练过程中不可用。在这项工作中,而不是简单地使用现有的图像描述方法生成训练图像的伪地面实况语句,我们采用了预训练的CLIP模型,该模型能够在联合空间中正确对齐图像和相应文本的嵌入,因此,在zero-shot识别任务中效果良好。我们优化的文本到图像的生成模型,最大限度地提高数据对数似然条件对图像-文本CLIP嵌入。为了更好地对齐这两个域中的数据,我们采用了一种基于变分推理的原则性方法,该方法有效地估计了给定图像及其CLIP特征的隐藏文本嵌入的近似后验。实验结果表明,该框架在无监督和半监督的文本到图像生成设置下的性能大大优于现有的方法。
2023-03-28 cs.CV cs.LG
TextureGAN: Controlling Deep Image Synthesis with Texture Patches
Georgia Institute of Technology(佐治亚理工学院);Adobe Research(奥多比研究院);UC Berkeley(加州大学伯克利分校);Argo AI(阿尔戈人工智能公司)
本文研究了由草图、颜色和纹理引导的深度图像合成。以前的图像合成方法可以通过草图和颜色笔画来控制,但我们是第一个研究纹理控制的方法。我们允许用户在草图上任意位置和比例放置纹理补丁,以控制所需的输出纹理。我们的生成网络学习合成与这些纹理建议一致的对象。为了实现这一点,我们开发了一个局部纹理损失,除了对抗和内容损失训练生成网络。我们进行实验,使用从真实图像和纹理从一个单独的纹理数据库中采样生成的草图,结果表明,我们提出的算法是能够生成可信的图像,是忠实于用户控制。消融研究表明,我们提出的管道可以生成更逼真的图像比直接适应现有的方法。
2018-04-14 cs.CV cs.GR