CustomText: Customized Textual Image Generation using Diffusion Models
TCS Research（塔塔咨询服务研究中心）
针对现有扩散模型文本渲染不准、字体属性控制有限的问题，提出CustomText方法，结合预训练TextDiffuser与针对一致性解码器训练的ControlNet，实现精准文本定制，在相关数据集上表现优于现有方法。
2024-05-21 cs.CV cs.LG
LAFITE: Towards Language-Free Training for Text-to-Image Generation
State University of New York at Buffalo（纽约州立大学布法罗分校）；Adobe Research（Adobe研究院）；Microsoft Research（微软研究院）
训练文本到图像生成模型的主要挑战之一是需要大量高质量的图像-文本对。虽然图像样本通常很容易访问，但相关的文本描述通常需要仔细的人工字幕，这特别耗时和成本。在本文中，我们提出了第一个工作，训练文本到图像生成模型，没有任何文本数据。我们的方法利用了强大的预训练CLIP模型的良好对齐的多模态语义空间：通过从图像特征生成文本特征，无缝地减轻了文本条件的要求。大量的实验表明了该方法的有效性。我们在标准的文本到图像生成任务中获得了最先进的结果。重要的是，所提出的无语言模型优于大多数使用完整图像-文本对训练的现有模型。此外，我们的方法可以应用于微调预训练模型，这节省了训练时间和训练文本到图像生成模型的成本。我们的预训练模型在MS-COCO数据集上的zero-shot文本到图像生成中获得了有竞争力的结果，但相对于最近提出的大型DALL-E模型，模型大小和训练数据大小仅为1%左右。
2022-03-24 cs.CV cs.LG
Variational Distribution Learning for Unsupervised Text-to-Image Generation
Seoul National University（首尔国立大学）；Kakao Brain
我们提出了一种基于深度神经网络的文本到图像生成算法，当文本标题的图像在训练过程中不可用。在这项工作中，而不是简单地使用现有的图像描述方法生成训练图像的伪地面实况语句，我们采用了预训练的CLIP模型，该模型能够在联合空间中正确对齐图像和相应文本的嵌入，因此，在zero-shot识别任务中效果良好。我们优化的文本到图像的生成模型，最大限度地提高数据对数似然条件对图像-文本CLIP嵌入。为了更好地对齐这两个域中的数据，我们采用了一种基于变分推理的原则性方法，该方法有效地估计了给定图像及其CLIP特征的隐藏文本嵌入的近似后验。实验结果表明，该框架在无监督和半监督的文本到图像生成设置下的性能大大优于现有的方法。
2023-03-28 cs.CV cs.LG
Unified Text-Image Generation with Weakness-Targeted Post-Training
FAIR at Meta（Meta旗下的FAIR）；University of Texas, Austin（德克萨斯大学奥斯汀分校）；University of Washington（华盛顿大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文提出通过针对性后训练实现统一文本图像生成，提升多模态生成性能。
2026-09-14 cs.AI cs.CV
Make-An-Animation: Large-Scale Text-conditional 3D Human Motion Generation
Meta AI
提出Make-An-Animation模型，通过两阶段训练（大规模图文数据预训练+运动捕捉数据微调）和类文本到视频的U-Net架构，解决小数据导致的泛化不足问题，实现SOTA文本到3D人体运动生成。
2023-05-16 cs.AI cs.CV
A Survey on Text-Driven 360-Degree Panorama Generation
Department of Statistical Science, University College London（统计科学系，伦敦大学学院）；Core AI team at Meta Reality Labs（Meta Reality Labs人工智能核心团队）
本文综述了文本驱动的360度全景生成技术，系统分析了最新算法，并延伸至3D场景与全景视频生成，同时指出当前局限与未来方向。
2025-11-05 cs.AI cs.CV
CLIP-Forge: Towards Zero-Shot Text-to-Shape Generation
Autodesk AI Lab（欧特克人工智能实验室）；Autodesk Research（欧特克研究院）
使用自然语言生成形状可以实现想象和创造我们周围事物的新方法。虽然最近在文本到图像生成方面取得了重大进展，但由于大规模的成对文本和形状数据的不可用，文本到形状生成仍然是一个具有挑战性的问题。我们提出了一个简单而有效的方法为zero-shot文本到形状的生成，规避这种数据稀缺。我们提出的方法名为CLIP-Forge，基于两阶段训练过程，该过程仅依赖于未标记的形状数据集和预训练的图像-文本网络（如CLIP）。我们的方法具有避免昂贵的推理时间优化的好处，以及为给定文本生成多个形状的能力。我们不仅定性和定量地展示了CLIP-Forge模型的有前途的zero-shot推广，而且还提供了广泛的比较评估，以更好地理解其行为。
2022-04-28 cs.AI cs.CV
FlexiTex: Enhancing Texture Generation via Visual Guidance
FlexiTex通过视觉引导增强模块和方向感知适配模块，利用视觉信息减少文本提示歧义、保留高频细节并避免Janus问题，从而生成高质量纹理。
2025-07-21 cs.AI cs.CV
CogVideo: Large-scale Pretraining for Text-to-Video Generation via Transformers
Tsinghua University（清华大学）；BAAI（北京智源人工智能研究院）
大规模预训练的Transformers已经在文本（GPT-3）和文本到图像（DALL-E和CogView）生成方面创造了里程碑。其在视频生成中的应用还面临着许多挑战：潜在的巨大计算成本使得从头开始的训练难以负担;文本视频数据集的稀缺性和弱相关性阻碍了模型理解复杂的运动语义。在这项工作中，我们提出了9 B参数Transformer CogVideo，通过继承预训练的文本到图像模型CogView 2进行训练。我们还提出了多帧率分层训练策略，以更好地对齐文本和视频片段。作为（可能）第一个开源的大规模预训练文本到视频模型，CogVideo在机器和人类评估中大幅优于所有公开可用的模型。
2022-05-29 cs.CL cs.CV cs.LG
Evaluating Reasoning Fidelity in Visual Text Generation
Stony Brook University（石桥大学）
通过长文本渲染、事实知识探测、上下文理解和多步推理等任务，评估当前文本到图像模型在视觉文本生成中是否忠实保持推理能力，发现其常产生语义错误和逻辑不一致，与纯文本模型存在显著差距。
2026-06-03 cs.AI cs.CL cs.CV
Text2Street: Controllable Text-to-image Generation for Street Views
Meituan（美团）
针对街景文本到图像生成中道路拓扑复杂、交通状况多样和天气多变的问题，提出Text2Street框架，通过车道感知道路拓扑生成器、基于位置的对象布局生成器和多重控制图像生成器，实现可控的街景图像生成，实验验证了其有效性。
2024-02-07 cs.CV
Semantically Invariant Text-to-Image Generation
Rochester Institute of Technology（罗切斯特理工学院）
图像描述已经展示了能够在给定输入图像或视频的情况下生成可信文本的模型。此外，最近的工作在图像生成中显示了显着的改善图像质量时，文本被用作先验。我们的工作通过创建一个可以实现图像和文本双向生成的架构将这些概念联系在一起。我们称这个网络为多模态向量表示（MMVR）。随着MMVR，我们提出了两个改进的文本条件图像生成。首先，引入了一个基于n-gram度量的成本函数，该成本函数概括了相对于图像的字幕。其次，多个语义相似的句子，以帮助生成更好的图像。定性和定量评价表明，MMVR改善现有的文本条件图像生成结果超过20%，同时集成视觉和文本形式。
2018-09-27 cs.CL cs.CV cs.LG
ET3D: Efficient Text-to-3D Generation via Multi-View Distillation
Westlake University（西湖大学）；Tongji University（同济大学）；Zhejiang University（浙江大学）
提出ET3D方法，利用预训练文本到图像扩散模型生成的图像监督3D生成对抗网络训练，实现仅需8毫秒的高效文本到3D生成且无需3D训练数据。
2023-11-27 cs.CV
Towards High-Fidelity Text-Guided 3D Face Generation and Manipulation Using only Images
Xi’an Jiaotong University（西安交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Sun Yat-sen University（中山大学）
本文提出TG-3DFace方法，利用文本引导生成高保真三维人脸，通过全局对比学习与细粒度对齐提升语义一致性，并引入方向性分类器引导增强创造性，在MVIC上较Latent3D提升9%。
2023-08-31 cs.CV
Textile Pattern Generation Using Diffusion Models
Istanbul Technical University（伊斯坦布尔理工大学）；Bilgi University（比尔吉大学）
本文针对文本引导生成纺织品图案效果不佳的问题，提出一种基于新构建数据集微调的扩散模型，实验证明其在图案生成质量和效率上均优于基线模型，有望简化纺织行业设计流程。
2023-04-02 cs.CV
Text-Animator: Controllable Visual Text Video Generation
University of Science and Technology of China（中国科学技术大学）；Tencent（腾讯）；Nanyang Technical University（南洋理工大学）；Huawei Tech.（华为技术有限公司）
提出Text-Animator方法，通过文本嵌入注入、相机控制和文本优化模块实现可控的视觉文本视频生成，在文本准确性和稳定性上优于现有方法。
2024-06-25 cs.CV
Harnessing the Power of Training-Free Techniques in Text-to-2D Generation for Text-to-3D Generation via Score Distillation Sampling
Pohang University of Science and Technology (POSTECH)（坡山科学技术大学）
本文通过文本到3D生成应用，研究训练无关技术（CFG和FreeU）对分数蒸馏采样的影响，发现尺度权衡并提出动态缩放策略，以平衡纹理细节与表面平滑度并减少几何缺陷。
2025-05-26 cs.CV
Hitem3D 2.0: Multi-View Guided Native 3D Texture Generation
Math Magic；South China University of Technology（华南理工大学）
Hitem3D 2.0通过整合2D多视角生成先验和原生3D纹理表示，提升3D纹理质量，解决纹理不完整、视角不一致和几何对齐问题。
2026-04-10 cs.CV
OrienText: Surface Oriented Textual Image Generation
TCS Research（塔塔咨询服务研究实验室）
针对现有T2I扩散模型难以在复杂视角表面上准确生成文本的问题，提出OrienText方法，利用特定区域表面法线作为条件输入，实现图像中文本的准确渲染与正确方向定位。
2025-05-27 cs.CV
The Lost Melody: Empirical Observations on Text-to-Video Generation From A Storytelling Perspective
Keio University（庆应义塾大学）；The University of Tokyo（东京大学）
本文从叙事视角研究文本生成视频任务，指出现有模型仅关注单场景视觉元素、缺乏叙事能力的局限，提出了视频叙事维度的评估框架并探讨未来方向。
2024-05-13 cs.CV
TextCLIP: Text-Guided Face Image Generation And Manipulation Without Adversarial Training
Peking University（北京大学）
本文提出TextCLIP统一框架，结合StyleGAN与CLIP，在无需对抗训练的情况下实现文本引导的人脸图像生成与编辑，并在Multi-modal CelebA-HQ上超越现有方法。
2023-09-21 cs.CV
TextTIGER: Text-based Intelligent Generation with Entity Prompt Refinement for Text-to-Image Generation
Nara Institute of Science and Technology（奈良科学技術研究所）；The University of Tokyo（东京大学）；Chungnam National University（Chungnam国立大学）；Institute of Science Tokyo（东京科学研究所）
TextTIGER通过增强外部信息和大语言模型总结，优化实体描述以提升文本到图像生成性能，实验表明其在多种评估指标上优于仅使用描述的提示方法。
2026-04-18 cs.CL cs.CV
ERNIE-ViLG: Unified Generative Pre-training for Bidirectional Vision-Language Generation
Baidu Inc.（百度公司）
传统的图文生成方法主要是将自然双向生成任务分开处理，侧重于设计特定于任务的框架来提高生成样本的质量和保真度。近年来，视觉语言预训练模型极大地提高了图像到文本生成任务的性能，但针对文本到图像合成任务的大规模预训练模型仍处于开发阶段。在本文中，我们提出了ERNIE-ViLG，一个统一的生成预训练框架的双向图像-文本生成与Transformer模型。基于图像量化模型，我们制定了图像生成和文本生成的自回归生成任务的文本/图像输入的条件。双向图像-文本生成建模简化了视觉和语言之间的语义对齐。对于文本到图像的生成过程，我们进一步提出了一种端到端的训练方法来联合学习视觉序列生成器和图像重建器。为了探索双向文本-图像生成的大规模预训练前景，我们在1.45亿（中文）图像-文本对的大规模数据集上训练了100亿参数ERNIE-ViLG模型，该模型实现了文本到图像和图像到文本任务的最新性能，在MS-COCO上获得7.9的FID用于文本到图像合成，在COCO-CN和AIC-ICC上获得最佳结果用于图像描述。
2021-12-31 cs.CL cs.CV
Extending One-Step Image Generation from Class Labels to Text via Discriminative Text Representation
本文提出通过判别性文本表示将MeanFlow框架从固定类标签扩展到灵活文本输入，提升生成内容的丰富性，并在扩散模型上验证了方法的有效性。
2026-04-20 cs.CV
DCText: Scheduled Attention Masking for Visual Text Generation via Divide-and-Conquer Strategy
Seoul National University（首尔大学）；Samsung Electronics（三星电子）
DCText通过分而治之策略和注意力遮罩技术，实现高效视觉文本生成，提升长文本和多文本处理能力，同时保持图像质量和生成效率。
2025-12-08 cs.CV
Exploring Motion-Language Alignment for Text-driven Motion Generation
Department of Automation, University of Science and Technology of China（中国科学技术大学自动化系）；State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，北京通用人工智能研究院）
本文提出MLA-Gen框架，通过整合全局运动先验与局部条件，提升文本驱动运动生成的对齐精度，并引入SinkRatio指标解决注意力集中问题，提升运动质量和语义对齐。
2026-10-14 cs.CV
4Dynamic: Text-to-4D Generation with Hybrid Priors
提出4Dynamic方法，利用视频先验直接监督，分静态与动态两阶段，结合定制SDS损失和先验切换策略，实现高质量文本到4D生成，支持单目视频输入。
2024-07-17 cs.CV
CanvasGAN: A simple baseline for text to image generation by incrementally patching a canvas
New York University（纽约大学）
我们提出了一个新的经常性生成模型，用于从文本字幕生成图像，同时参加文本字幕的特定部分。我们的模型通过在“画布”上增量添加补丁来创建图像，同时在每个时间步上关注文本标题中的单词。最后，画布通过一个升级网络来生成图像。我们还介绍了一种新的方法，用于生成视觉语义句子嵌入的基础上自我注意文本。我们比较我们的模型生成的图像与里德等。al.的模型，并表明我们的模型是一个更强大的基线文本图像生成任务。
2018-10-05 cs.CV
Localized Text-to-Image Generation for Free via Cross Attention Control
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）
本文提出交叉注意力控制（CAC），在无需额外训练或推理时间的情况下，通过控制推理时的交叉注意力图实现局部文本到图像生成，提升了多种位置信息下的生成性能和模型组合能力。
2023-06-26 cs.CV
Incorporating long-range consistency in CNN-based texture generation
University of Montreal（蒙特利尔大学）
Gatys等人（2015）表明，卷积网络中特征的成对乘积是图像纹理的非常有效的表示。我们提出了一个简单的修改表示，这使得它可以将远程结构到图像生成，并呈现满足各种对称性约束的图像。我们展示了如何这可以大大提高渲染的规则纹理和图像，包含其他种类的对称结构。我们还提出了应用程序修复和季节转移。
2016-11-05 cs.CV
DTVI: Dual-Stage Textual and Visual Intervention for Safe Text-to-Image Generation
Xidian University（西安电子科技大学）
本文提出DTVI双阶段防御框架，通过全提示嵌入层面的类别感知干预和视觉生成阶段的抑制，有效防御生成不安全内容，实验显示在多个有害类别上达到94.43%的防御成功率。
2026-03-29 cs.CV
TextPainter: Multimodal Text Image Generation with Visual-harmony and Text-comprehension for Poster Design
University of Science and Technology of China（中国科学技术大学）；Alibaba Group（阿里巴巴集团）
本文提出多模态方法 TextPainter，融合全局—局部背景视觉信息与语言模型文本理解，生成视觉和语义和谐的海报文本图像，并构建约8万张带标注的 PosterT80K 数据集。
2023-08-13 cs.CV
DesignDiffusion: High-Quality Text-to-Design Image Generation with Diffusion Models
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
提出DesignDiffusion框架，通过端到端单阶段扩散模型结合字符嵌入、字符定位损失及自博弈DPO微调策略，解决设计图像中文本与视觉元素风格不一致问题，实现高质量文本到设计图像生成。
2025-03-03 cs.CV
CoBIT: A Contrastive Bi-directional Image-Text Generation Model
Columbia University（哥伦比亚大学）；Google Research（谷歌研究院）；UCLA（加州大学洛杉矶分校）
视觉和语言领域已经见证了预先训练的基础模型的扩散。大多数现有的方法都是使用CLIP等对比目标，PaLI等图像到文本生成目标或Parti等文本到图像生成目标进行独立预训练的。然而，这三个目标可以在相同的数据、图像-文本对上进行预训练，并且直观地说，它们相互补充，因为对比提供了全局对齐能力，而生成则提供了细粒度的理解。在这项工作中，我们提出了一个对比双向图像-文本生成模型（CoBIT），它试图将三个预训练目标统一在一个框架中。具体来说，CoBIT采用了一种新颖的unicoder-decoder结构，由图像unicoder，文本unicoder和交叉模态解码器组成。图像/文本unicoders可以在不同的任务中在编码和解码之间切换，实现灵活性和共享知识，有利于图像到文本和文本到图像的生成。CoBIT在图像理解、图像-文本理解（检索、字幕、VQA、SNLI-VE）和基于文本的内容创建方面具有卓越的性能，特别是在zero-shot场景中。例如，zero-shot ImageNet分类中的82.7%，zero-shot文本到图像生成中的9.37 FID得分和zero-shot字幕中的44.8 CIDER。
2023-03-23 cs.CL cs.CV
Text-Guided 3D Face Synthesis -- From Generation to Editing
Netease Fuxi AI Lab（网易伏羲人工智能实验室）；Tsinghua University（清华大学）；Zhejiang University（浙江大学）；University of Queensland（昆士兰大学）
本文提出统一的文本引导三维人脸生成与编辑框架，通过几何-纹理解耦生成、UV域一致性保持正则化和自引导一致性权重策略，实现高质量且可迭代编辑的定制化三维人脸合成。
2023-12-01 cs.CV
MotionDiffuse: Text-Driven Human Motion Generation with Diffusion Model
Nanyang Technological University（南洋理工大学）；SenseTime（商汤科技）
人体运动建模对于许多现代图形应用程序非常重要，这些应用程序通常需要专业技能。为了消除外行的技能障碍，最近的运动生成方法可以直接生成以自然语言为条件的人体运动。然而，它仍然具有挑战性，以实现多样化和细粒度的运动生成与各种文本输入。为了解决这个问题，我们提出了MotionDiffuse，第一个基于扩散模型的文本驱动的运动生成框架，它展示了几个所需的属性超过现有的方法。1)概率映射。MotionDiffuse不是确定性的语言-运动映射，而是通过一系列注入变化的去噪步骤生成运动。2)现实合成。MotionDiffuse擅长对复杂的数据分布进行建模并生成生动的运动序列。3)多级操纵。MotionDiffuse响应身体部位上的细粒度指令，以及具有随时间变化的文本提示的任意长度运动合成。我们的实验表明，MotionDiffuse在文本驱动运动生成和动作条件运动生成上的令人信服的边缘优于现有的SoTA方法。定性分析进一步证明了MotionDiffuse在全面运动生成方面的可控性。首页：https://mingyuan-zhang.github.io/projects/MotionDiffuse.html
2022-08-31 cs.CV
LatexBlend: Scaling Multi-concept Customized Generation with Latent Textual Blending
Nanjing University of Science and Technology（南京理工大学）
本文提出LaTexBlend框架，通过在潜在文本空间中对单个概念进行紧凑表示并自由混合，实现高效可扩展的多概念定制图像生成，显著提升生成质量和计算效率。
2025-03-10 cs.CV
OpenLEAF: Open-Domain Interleaved Image-Text Generation and Evaluation
University of Rochester（罗切斯特大学）；Microsoft Azure AI（微软Azure人工智能）
本研究针对开放域交错图像-文本生成任务，提出基于LLM与预训练T2I模型的OpenLEAF框架，通过引入全局上下文提升图像一致性，并构建基准与LMM评估方法，经实验验证其在多类任务中生成高质量内容且评估方法有效。
2023-11-03 cs.CV
Precise Parameter Localization for Textual Generation in Diffusion Models
Warsaw University of Technology（华沙技术大学）；CISPA Helmholtz Center for Information Security（信息安全赫尔姆霍茨中心）；IDEAS NCBR
通过局部化扩散模型中负责文本生成的注意力层，提升文本生成效率和性能，同时防止生成有毒文本。
2026-03-02 cs.CV
MVPainter: Accurate and Detailed 3D Texture Generation via Multi-View Diffusion with Geometric Control
AMAP
针对3D纹理生成研究不足的问题，提出MVPainter方法，通过数据增强、ControlNet几何控制及PBR属性提取，在纹理对齐等三维度达最优效果，并开源完整流程。
2025-05-19 cs.CV
TPA3D: Triplane Attention for Fast Text-to-3D Generation
National Taiwan University（台湾大学）；NVIDIA（英伟达）
本文提出TPA3D，一种基于GAN的端到端可训练模型，通过在句子级和词级文本特征上引入三平面注意力机制，实现快速且与细粒度描述一致的文本到3D生成。
2024-09-30 cs.CV
UPainting: Unified Text-to-Image Diffusion Generation with Cross-modal Guidance
Baidu Inc.（百度公司）
扩散生成模型最近大大提高了文本条件图像生成的能力。现有的图像生成模型主要包括文本条件扩散模型和跨模态引导扩散模型，分别适用于小场景图像生成和复杂场景图像生成。在这项工作中，我们提出了一种简单而有效的方法，即UPainting，以统一简单和复杂的场景图像生成，如图1所示。基于架构改进和多样化的指导计划，UPainting有效地将跨模态指导从预训练的图像-文本匹配模型集成到文本条件扩散模型中，该模型利用预训练的Transformer语言模型作为文本编码器。我们的主要发现是，结合大规模Transformer语言模型在理解语言和图像-文本匹配模型在捕获跨模态语义和风格的能力，是有效的，以提高样本保真度和图像生成的图文对齐。这样，UPainting就具备了更通用的图像生成能力，可以更有效地生成简单和复杂场景的图像。为了全面比较文本到图像模型，我们进一步创建了一个更通用的基准测试，UniBench，在简单和复杂的场景中都有良好的中英文提示。我们将UPainting与最近的模型进行比较，发现UPainting在简单和复杂场景中的标题相似性和图像保真度方面大大优于其他模型。UPainting项目页\url{https://upainting.github.io/}。
2022-11-03 cs.CL cs.CV
Camera Control for Text-to-Image Generation via Learning Viewpoint Tokens
University of California, Irvine（加州大学尔湾分校）
本文提出通过学习参数化相机令牌实现文本到图像生成中的精确相机控制，结合3D渲染图像和真实增强图像，提升生成图像的准确性和保真度。
2026-04-21 cs.CV
Beyond Flat Text: Dual Self-inherited Guidance for Visual Text Generation
Nankai University（南开大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
针对扩散模型在倾斜、弯曲等复杂文本布局下易生成扭曲文本且与背景不协调的问题，本文提出免训练框架STGen，通过语义校正与结构注入双分支实现高质量协调的复杂布局视觉文本生成。
2025-03-22 cs.CV
UniCanvas: A Diffusion-base Unified Model for Text-in-Image Joint Generation
UMass Amherst（马萨诸塞大学阿默斯特分校）；University of Michigan（密歇根大学）；MIT（麻省理工学院）
提出UniCanvas，通过扩散模型在像素画布上以文本嵌入图像的方式实现图文联合生成，解决现有模型在视觉与文本生成上的不足。
2026-06-02 cs.CV
CLIP-VQDiffusion : Langauge Free Training of Text To Image generation using CLIP and vector quantized diffusion model
INFINIQ
提出 CLIP-VQDiffusion，利用预训练 CLIP 模型在无文本配对数据集上实现文本到图像生成，在 FFHQ 数据集上 clipscore 提升 4.4%，且能生成逼真图像。
2024-03-22 cs.CV
TexDreamer: Towards Zero-Shot High-Fidelity 3D Human Texture Generation
Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）；Tencent Youtu Laboratory（腾讯优图实验室）；Shanghai University（上海大学）
TexDreamer提出首个零样本多模态高保真三维人体纹理生成模型，通过纹理适应微调和特征翻译器，从文本或图像快速生成纹理，并构建了最大的高分辨率纹理数据集ATLAS。
2024-03-19 cs.CV
Text-to-Image Generation via Implicit Visual Guidance and Hypernetwork
University of Chicago（芝加哥大学）；Adobe Research（奥多比研究院）；University of Surrey（萨里大学）
我们开发了一种方法，文本到图像的生成，包括额外的检索图像，隐含的视觉指导损失和生成目标的组合驱动。与大多数现有的文本到图像的生成方法，仅仅把文本作为输入，我们的方法动态饲料的跨模态搜索结果到一个统一的训练阶段，从而提高质量，可控性和多样性的生成结果。我们提出了一种新的超网络调制的视觉-文本编码方案来预测编码层的权重更新，使视觉信息（例如布局，内容）有效地转移到相应的潜在域。实验结果表明，我们的模型指导额外的检索视觉数据优于现有的基于GAN的模型。在COCO数据集上，与最先进的方法相比，我们用最多$3.5 \times$更少的生成器参数实现了$9.13$的更好的FID。
2022-08-17 cs.CV
Intelligent Artistic Typography: A Comprehensive Review of Artistic Text Design and Generation
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
本文综述艺术文本生成，涵盖风格化与语义排版的方法、应用、数据集及未来方向，并提供了模型资源列表。
2024-07-20 cs.AI cs.CV cs.GR
Perception Driven Texture Generation
Ocean University of China（中国海洋大学）；Qingdao Agricultural University（青岛农业大学）
本文研究了一个新的任务，从感知描述生成纹理图像。以前的工作纹理生成集中在合成的例子或从程序模型生成。从感知属性生成纹理还没有得到很好的研究。同时，方向性、规则性和粗糙度等感知属性也是人类观察者描述纹理的重要因素。在本文中，我们提出了一种联合深度网络模型，该模型结合了对抗性训练和感知特征回归来生成纹理，而只需要随机噪声和用户定义的感知属性作为输入。在该模型中，初步训练的卷积神经网络本质上与对抗框架集成，该框架可以驱动生成的纹理具有给定的感知属性。所提出的模型的一个重要方面是，如果我们改变一个输入的感知特征，相应的外观生成的纹理也将被改变。我们设计了几个实验来验证所提出的方法的有效性。实验结果表明，该方法可以产生高质量的纹理图像与所需的感知特性。
2017-03-24 cs.AI cs.CV cs.LG
WordRobe: Text-Guided Generation of Textured 3D Garments
IIIT Hyderabad（印度国际信息技术学院海得拉巴分校）；Google Research（谷歌研究院）；Stability AI（稳定性人工智能公司）；IIT Jodhpur（印度理工学院焦特布尔分校）
针对文本生成高质量纹理3D服装的难题，提出WordRobe框架，通过由粗到精训练、潜在空间对齐及ControlNet单次推理生成纹理，性能优于现有方法，生成结果可直接用于布料模拟管线。
2024-07-14 cs.CV cs.GR
TextSLIP: Text Self-Supervised CLIP for Medical Report Generation
研究针对现有CLIP方法在医学报告生成中语义监督不足问题，提出TextSLIP框架，通过模态内文本对比学习增强CLIP，经实验验证其在报告生成指标上有改进，表明文本级对比学习对改善医学视觉-文本对齐有潜力。
2026-07-27 cs.AI cs.CV
Unconditional Image-Text Pair Generation with Multimodal Cross Quantizer
KAIST（韩国科学技术院）；Google Research（谷歌研究院）；Seoul National University（首尔国立大学）
虽然深度生成模型已经获得了很多关注，但大多数现有的作品都是为单峰生成而设计的。在本文中，我们探索了一种新的方法，无条件的图像-文本对生成。我们设计了多模态交叉量化VAE（MXQ-VAE），一种新的联合图像-文本表示的矢量量化器，我们发现，一个联合图像-文本表示空间是有效的语义一致的图像-文本对生成。为了在量化空间中学习多模态语义相关性，我们将VQ-VAE与Transformer编码器相结合，并应用输入掩蔽策略。具体地说，MXQ-VAE接受一个掩码的图像-文本对作为输入，并学习一个量化的联合表示空间，从而将输入转换为一个统一的代码序列，然后利用该代码序列进行无条件的图像-文本对生成。大量的实验表明，量化的联合空间和多模态生成能力的合成和真实世界的数据集之间的相关性。此外，我们证明了我们的方法在这两个方面的优越性超过几个基线。源代码可在https://github.com/ttumyche/MXQ-VAE上公开获取。
2022-10-14 cs.CV cs.LG
Text2Avatar: Text to 3D Human Avatar Generation with Codebook-Driven Body Controllable Attribute
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）
提出Text2Avatar方法，利用离散码本解耦特征并借助预训练模型生成伪数据，实现了从耦合文本提示生成逼真且多属性可控的3D人体化身。
2024-01-01 cs.AI cs.CV
