GANs N' Roses: Stable, Controllable, Diverse Image to Image Translation (works for videos too!)
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们将展示如何学习一个映射，该映射将从人脸图像派生的内容代码和随机选择的样式代码映射到动漫图像。我们从我们对风格和内容的简单而有效的定义中得出了一个对抗性的损失。这种对抗性的损失保证了地图的多样性--一个单一的内容代码可以产生非常广泛的动画。在合理的假设下，地图不仅是多样的，而且还正确地表示了动画的概率，条件是输入面。相比之下，目前的多模态生成程序不能捕捉动画中出现的复杂风格。大量的定量实验支持了这一观点。大量的定性结果表明，该方法可以产生更多样化的风格比SOTA比较。最后，我们证明了我们的内容和风格的形式化允许我们执行视频到视频的翻译，而无需对视频进行培训。
2021-06-11 cs.CV cs.GR cs.LG
AniGAN: Style-Guided Generative Adversarial Networks for Unsupervised Anime Face Generation
ByteDance（字节跳动）；National Tsing Hua University（国立清华大学）；Shenzhen University（深圳大学）
在本文中，我们提出了一个新的框架，将一个肖像照片脸到动画外观。我们的目标是合成动画的脸是风格一致的给定的参考动画脸。然而，与典型的翻译任务不同，这种动画面部翻译是具有挑战性的，因为动画面部之间的外观的复杂变化。现有的方法往往无法转移的风格的参考动画的脸，或引入显着的文物/扭曲的局部形状，其生成的脸。我们提出了AniGAN，一种新型的基于GAN的翻译器，可以合成高质量的动画面部。具体而言，提出了一种新的生成器架构，同时传输颜色/纹理风格和转换局部面部形状到动画类似的对应物的基础上的风格的参考动画脸，同时保持全局结构的源照片脸。我们提出了一个双分支学习的分布和域共享的分布，帮助生成视觉上令人愉快的动画脸，并有效地减轻文物。大量的实验selfie 2anime和一个新的face 2anime数据集定性和定量地证明了我们的方法比国家的最先进的方法的优越性。新的数据集可在https://github.com/bing-li-ai/AniGAN上获得。
2021-03-29 cs.AI cs.CV
PhysAnimator: Physics-Guided Generative Cartoon Animation
Netflix（网飞公司）；UCLA（加州大学洛杉矶分校）
提出PhysAnimator，结合物理模拟与生成模型，从静态动漫插画生成物理合理且风格化的动态动画，支持艺术控制并保证时间一致性。
2025-03-26 cs.CV cs.GR
Sketch Your Own GAN
Carnegie Mellon University（卡内基梅隆大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
用户可以通过绘制单个示例来创建深度生成模型吗？传统上，创建GAN模型需要收集大规模的样本数据集和深度学习的专业知识。相比之下，草图可能是传达视觉概念的最普遍的方式。在这项工作中，我们提出了一种方法，GAN草图，用于重写GANs与一个或多个草图，使GANs培训更容易为新手用户。特别地，我们根据用户草图改变原始GAN模型的权重。我们鼓励模型的输出通过跨域对抗损失来匹配用户草图。此外，我们探索不同的正则化方法，以保持原始模型的多样性和图像质量。实验表明，我们的方法可以塑造GANs，以匹配草图指定的形状和姿势，同时保持真实感和多样性。最后，我们展示了所得到的GAN的一些应用，包括潜在空间插值和图像编辑。
2021-09-20 cs.CV cs.LG
Face Synthesis from Visual Attributes via Sketch using Conditional VAEs and GANs
Rutgers, The State University of New Jersey（罗格斯大学新泽西州立大学）；Rutgers University（罗格斯大学）
从视觉属性自动合成人脸是计算机视觉中的一个重要问题，在执法和娱乐方面有着广泛的应用。随着深度生成卷积神经网络（CNN）的出现，已经尝试从属性和文本描述合成面部图像。在本文中，我们采取了一种不同的方法，我们将原始问题表述为阶段学习问题。首先合成与视觉属性相对应的人脸草图，然后基于合成的草图重建人脸图像。提议的Attribute2Sketch2Face框架基于深度条件变分自编码器（CVAE）和生成对抗网络（GANs）的组合，由三个阶段组成：（1）使用CVAE架构从属性合成面部草图，（2）使用基于GAN的框架增强粗略草图以产生更清晰的草图，以及（3）使用另一个基于GAN的网络从草图合成人脸。通过大量的实验和与现有方法的比较，验证了所提出的基于属性的三阶段人脸合成方法的有效性。
2017-12-30 cs.CV
Multi-Density Sketch-to-Image Translation Network
City University of Hong Kong（香港城市大学）；Brion-ASML（布里昂阿斯麦公司）
草图到图像（S2I）转换在图像合成和处理任务中起着重要作用，例如照片编辑和着色。一些特定的S2I翻译，包括草图到照片和草图到绘画，可以作为艺术设计行业的强大工具。然而，以前的方法仅支持具有单一密度水平的S2I转换，这为用户控制输入草图提供了较少的灵活性。在这项工作中，我们提出了第一个多层次的密度草图到图像的翻译框架，它允许输入草图，以涵盖从粗糙的对象轮廓到微观结构的广泛范围。此外，为了解决多层次密度输入草图的非连续表示问题，我们将密度水平投影到一个连续的潜在空间中，然后可以通过参数线性控制。这允许用户方便地控制输入草图的密度和图像的生成。此外，我们的方法已经在不同应用程序的各种数据集上成功验证，包括面部编辑，多模式草图到照片翻译和动画着色，为这些应用程序提供从粗到细的控制级别。
2020-06-18 cs.CV
Towards Realistic Face Photo-Sketch Synthesis via Composition-Aided GANs
Hangzhou Dianzi University（杭州电子科技大学）；Xidian University（西安电子科技大学）；Hefei University of Technology（合肥工业大学）；The University of Sydney（悉尼大学）；University of Chinese Academy of Sciences（中国科学院大学）
人脸照片-素描合成的目的是在给定的照片/素描的条件下生成面部素描/照片。它具有广泛的应用，包括数字娱乐和执法。由于结构现实主义和纹理一致性的限制，精确描绘面部照片/草图仍然具有挑战性。虽然现有的方法取得了令人信服的结果，他们大多产生模糊的效果和各种面部组件的巨大变形，导致合成图像的不切实际的感觉。为了应对这一挑战，在这项工作中，我们建议使用的面部组成信息，以帮助合成的面部素描/照片。特别是，我们提出了一种新的合成辅助生成对抗网络（CA-GAN）的人脸照片素描合成。在CA-GAN中，我们利用成对的输入，包括面部照片/草图和相应的像素面部标签来生成草图/照片。此外，为了将训练集中在硬生成的组件和精致的面部结构上，我们提出了一种成分重建损失。最后，我们使用堆栈CA-GAN（SCA-GAN）来进一步纠正缺陷并添加引人注目的细节。实验结果表明，我们的方法是能够生成视觉舒适和身份保持的人脸草图/照片在广泛的挑战性的数据。我们的方法达到了最先进的质量，大大降低了以前最好的Frechet Inception距离（FID）。此外，我们证明了所提出的方法是相当的推广能力。我们已经公开了我们的代码和结果：https://fei-hdu.github.io/ca-gan/。
2020-01-09 cs.CV
High-Quality Facial Photo-Sketch Synthesis Using Multi-Adversarial Networks
Rutgers, The State University of New Jersey（罗格斯新泽西州立大学）
从真实照片及其逆合成人脸草图有许多应用。然而，照片/素描合成仍然是一个具有挑战性的问题，由于事实上，照片和素描有不同的特点。在这项工作中，我们将此任务视为图像到图像的翻译问题，并探索最近流行的生成模型（GANs），以从草图和照片中的草图生成高质量的逼真照片。最近的基于GAN的方法在图像到图像的转换问题和照片到草图的合成方面表现出了很好的效果，但是，众所周知，它们在生成高分辨率逼真图像方面的能力有限。为此，我们提出了一种新的合成框架，称为使用多对抗网络的照片草图合成（PS2-MAN），以对抗的方式迭代生成低分辨率到高分辨率的图像。生成器的隐藏层被监督以首先生成较低分辨率的图像，然后在网络中进行隐式细化以生成较高分辨率的图像。此外，由于照片草图合成是一个耦合/配对的翻译问题，我们利用对信息使用CycleGAN框架。图像质量评估（IQA）和照片草图匹配实验进行了比较，以证明我们的框架的优越性能，现有的国家的最先进的解决方案。代码可在：https://github.com/lidan1/PhotoSketchMAN获得。
2018-03-03 cs.CV
Sketch2MinSurf: Vision-Language Guided Generation of Editable Minimal Surfaces from Hand-Drawn Sketches
School of Architecture, Tsinghua University（清华大学建筑学院）；Department of Architecture, National University of Singapore（新加坡国立大学建筑系）
本研究提出Sketch2MinSurf方法，结合视觉-语言引导和几何优化，从手绘草图生成平滑且可编辑的3D曲面，通过空间-拓扑编码和Sketch2MinSurf结构损失函数实现拓扑一致性与几何重建的联合约束。
2026-05-20 cs.CV
Dual-Domain Image Synthesis using Segmentation-Guided GAN
University of Bristol（布里斯托大学）
我们引入了一种分割指导的方法来合成图像，集成了来自两个不同领域的功能。由我们的双领域模型合成的图像属于语义掩码内的一个领域，并且属于图像的其余部分中的另一个领域-平滑地集成。我们建立在Few-Shot StyleGAN和单镜头语义分割的成功基础上，以最大限度地减少利用两个域所需的训练量。该方法结合了一个Few-Shot的跨域StyleGAN与潜在的优化器，以实现包含两个不同领域的特征的图像。我们使用分割引导的感知损失，它比较特定领域和双域合成图像之间的像素级和激活。结果定性和定量地表明，我们的模型能够在各种对象（人脸，马，猫，汽车），域（自然，漫画，草图）和基于部分的面具（眼睛，鼻子，嘴，头发，汽车发动机罩）上合成双域图像。该代码可在https://github.com/denabazazian/Dual-Domain-Synthesis上公开获取。
2022-04-19 cs.CV
SketchyGAN: Towards Diverse and Realistic Sketch to Image Synthesis
Georgia Institute of Technology（佐治亚理工学院）；Argo AI（Argo AI（公司））
从手绘草图合成真实感图像是计算机图形学和视觉领域的一个具有挑战性的问题。现有的方法要么需要精确的边缘图，或依赖于检索现有的照片。在这项工作中，我们提出了一种新的生成对抗网络（GAN）方法，该方法可以合成来自50个类别的合理图像，包括摩托车，马和沙发。我们展示了一个数据增强技术的草图，这是完全自动的，我们表明，增强的数据是有助于我们的任务。我们引入了一种新的网络构建块，适合于生成器和嵌入式系统，它通过在多个尺度上注入输入图像来改善信息流。与最先进的图像翻译方法相比，我们的方法生成了更逼真的图像，并获得了更高的初始分数。
2018-04-12 cs.CV
Creative Sketch Generation
University of Maryland, College Park（马里兰大学学院公园分校）；Facebook AI Research（Facebook人工智能研究院）；Georgia Institute of Technology（佐治亚理工学院）
素描或涂鸦是人们从事的一种流行的创造性活动。然而，大多数现有的工作，在自动草图理解或生成的草图是非常平凡的。在这项工作中，我们介绍了两个创意草图数据集-创意鸟类和创意生物-每个包含10 k草图以及部分注释。我们提出了Doodler GAN--一种基于零件的生成对抗网络（GAN）--来生成新零件外观的不可见组合。定量评估以及人体研究表明，我们的方法生成的草图比现有的方法更具创造性和更高的质量。事实上，在创意鸟中，受试者更喜欢DoodlerGAN生成的草图而不是人类绘制的草图！我们的代码可以在https://github.com/facebookresearch/DoodlerGAN上找到，演示可以在http://doodlergan.cloudcv.org上找到。
2021-03-03 cs.AI cs.CV
Sketch-to-Art: Synthesizing Stylized Art Images From Sketches
Playform - Artrendex Inc.；Department of Computer Science, Rutgers University（罗格斯大学计算机科学系）；Rutgers University（罗格斯大学）
我们提出了一种新的方法来合成充分详细的艺术风格化的图像从草图。给定一个草图，没有语义标记，以及一个特定风格的参考图像，模型可以合成有意义的细节与颜色和纹理。该模型由三个模块组成，旨在更好地捕捉和生成艺术风格。基于GAN框架，引入了双掩码机制来加强内容约束（来自草图），并开发了特征映射转换技术来加强风格一致性（到参考图像）。最后，提出了一种实例规范化的逆过程，以分离样式和内容信息，从而获得更好的合成性能。实验表明，基于拟议工艺采用的先前最先进技术，与基线相比，定性和定量都有显着提高。
2020-10-02 cs.CV eess.IV
DeLiGAN : Generative Adversarial Networks for Diverse and Limited Data
Indian Institute of Science（印度科学院）
最近的一类用于生成图像的方法，称为生成对抗网络（GAN），已被用于生成对象、卧室、手写数字和各种其他图像模态的令人印象深刻的逼真图像。然而，典型的基于GAN的方法需要大量的训练数据来捕获图像模态的多样性。在本文中，我们提出了DeLiGAN --一种新的基于GAN的架构，用于不同和有限的训练数据场景。在我们的方法中，我们将潜在生成空间重新参数化为混合模型，并学习混合模型的参数以及GAN的参数。对GAN框架的这种看似简单的修改是令人惊讶的有效的，并且导致模型在生成的样本中实现多样性，尽管使用有限的数据进行训练。在我们的工作中，我们证明了DeLiGAN可以生成手写数字，对象和手绘草图的图像，所有这些都使用有限的数据量。为了定量表征生成的样本的类内多样性，我们还引入了一个修改后的版本的“inception-score”，已被发现与人类评估生成的样本相关的措施。
2017-06-07 cs.CV
CLIP4Sketch: Enhancing Sketch to Mugshot Matching through Dataset Augmentation using Diffusion Models
IIIT-Hyderabad（印度信息技术研究所海得拉巴分校）；Michigan State University（密歇根州立大学）
提出 CLIP4Sketch 方法，利用扩散模型结合 CLIP 和 Adaface 嵌入生成受控素描数据集，显著提升了法医素描与大头照匹配的准确率，并优于 GAN 方法。
2024-08-13 cs.CV
Good Artists Copy, Great Artists Steal: Model Extraction Attacks Against Image Translation Models
Aalto University（阿尔托大学）；University of Waterloo（滑铁卢大学）；University of Helsinki（赫尔辛基大学）
机器学习模型通常通过推理API提供给潜在的客户端用户。当恶意客户端使用从对受害模型$F_V$的推理API的查询中收集的信息来构建具有类似功能的代理模型$F_A$时，就会发生模型窃取攻击。最近的研究表明，成功的图像分类模型提取，和自然语言处理模型。在本文中，我们展示了针对真实世界生成对抗网络（GAN）图像翻译模型的第一个模型窃取攻击。我们提出了一个框架进行这样的攻击，并表明对手可以成功地提取功能代理模型查询$F_V$使用数据从同一个域的训练数据$F_V$。对手不需要知道$F_V$的体系结构或其预期任务以外的任何其他信息。我们使用两种流行的图像转换类别的三个不同实例来评估我们的攻击的有效性：（1）自拍到动漫和（2）货币到照片（图像风格转换），以及（3）超分辨率（超分辨率）。使用GANs的标准性能指标，我们证明了我们的攻击是有效的。此外，我们进行了一项大规模（125名参与者）的用户研究，自拍到动画和货币到照片，以表明人类感知的图像所产生的$F_V$和$F_A$可以被认为是等效的，在科恩的d = 0.3的等效范围内。最后，我们表明，现有的防御模型窃取攻击（水印，对抗性的例子，中毒）不扩展到图像翻译模型。
2023-02-28 cs.CR cs.CV cs.LG
Component-Aware Sketch-to-Image Generation Using Self-Attention Encoding and Coordinate-Preserving Fusion
本文提出了一种基于自注意力编码和坐标保持融合的组件意识框架，用于提升草图到图像生成的逼真度和一致性。
2026-03-10 cs.CV
Semi-supervised Cycle-GAN for face photo-sketch translation in the wild
The University of Hong Kong（香港大学）；SenseTime Research（商汤科技研究院）；Baidu Inc（百度公司）
针对人脸照片-素描转换中配对数据少、未配对训练的Cycle-GAN存在隐写术问题，提出带噪声注入的半监督Semi-Cycle-GAN，用伪配对结合自监督训练，在公开基准和自然场景照片上均取得良好效果。
2023-07-18 cs.CV
Hunyuan-Game: Industrial-grade Intelligent Game Creation Model
Tencent（腾讯）
针对高质量游戏资产合成难题，提出Hunyuan-Game项目，基于海量数据构建图像与视频生成模型，深度融合领域知识，实现高保真游戏内容创作并提升设计效率。
2025-05-28 cs.CV
Mask Embedding in conditional GAN for Guided Synthesis of High Resolution Images
Duke University（杜克大学）；Duke University School of Medicine（杜克大学医学院）
条件生成对抗网络（cGAN）的最新进展在标签引导图像合成中显示出了希望。语义遮罩（如草图和标签图）是图像合成中另一种直观有效的指导形式。直接将语义掩码作为约束条件，大大降低了合成结果的可变性和质量。我们观察到这是由来自生成器的不同输入（例如掩码图像和潜在向量）的特征的不兼容性引起的。为了使用语义掩码作为指导，同时提供逼真的合成结果与细节，我们建议使用掩码嵌入机制，以允许在生成器中更有效的初始特征投影。我们通过使用CELEBA-HQ数据集训练掩模引导的人脸生成器来验证我们的方法的有效性。我们可以生成逼真的高分辨率面部图像，分辨率高达512*512，并带有遮罩引导。我们的代码是公开的。
2019-07-03 cs.CV cs.LG
Fashion Editing with Adversarial Parsing Learning
Sun Yat-sen University（中山大学）；Petuum Inc（Petuum公司）；ByteDance AI Lab（字节跳动AI实验室）
交互式服装图像处理是一个很有应用价值的研究课题，它使用户能够用草图和颜色笔画来编辑图像。现有的作品往往把它作为一个一般的修复任务，并没有充分利用语义结构信息的时装图像。此外，它们直接利用传统的卷积和归一化层来恢复不完整的图像，这往往会洗掉草图和颜色信息。在本文中，我们提出了一种新的时尚编辑生成对抗网络（FE-GAN），它能够通过自由形式的草图和稀疏的颜色笔画来操纵时尚图像。FE-GAN由两个模块组成：1）一个自由形式的解析网络，它通过操纵草图和颜色来学习控制人类解析生成; 2）一个解析感知的修复网络，它通过人类解析图的语义指导来渲染详细的纹理。在修复网络的解码器中，进一步在多个尺度上应用新的注意力归一化层，以提高合成图像的质量。在高分辨率时尚图像数据集上的大量实验表明，该方法在图像处理上的性能明显优于现有的方法。
2019-09-28 cs.CV eess.IV
d-Sketch: Improving Visual Fidelity of Sketch-to-Image Translation with Pretrained Latent Diffusion Models without Retraining
University of Technology Sydney（悉尼科技大学）；Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；Indian Statistical Institute Kolkata（印度统计研究所加尔各答分所）
针对草图到图像转换中形状一致性与真实感难平衡、重训练扩散模型成本高的问题，提出d-Sketch方法，通过轻量级映射网络利用预训练扩散模型特征泛化能力，无需重训练即可实现高保真转换，性能优于现有方法。
2025-02-19 cs.AI cs.CV cs.GR
Memory-efficient GAN-based Domain Translation of High Resolution 3D Medical Images
University of Lübeck（吕贝克大学）
生成对抗网络（GANs）目前很少应用于大尺寸的3D医学图像，由于其巨大的计算需求。本工作提出了一种基于多尺度块的GAN方法，用于通过以存储高效的方式生成高分辨率的3D医学图像体积来建立不成对域平移。实现内存高效图像生成的关键思想是首先生成图像的低分辨率版本，然后生成大小不变但分辨率不断增加的补丁。为了避免补丁文物，并纳入全球信息，补丁生成的条件是补丁从以前的分辨率尺度。这些多尺度GANs经过训练，可以从图像草图生成逼真的图像，以便执行不成对的域翻译。这允许保留测试数据的拓扑并生成训练域数据的外观。在尺寸为155x240x240的脑部MRI和尺寸高达512x512x512的胸部CT上执行域平移场景的评价。与常见的基于补丁的方法相比，多分辨率方案能够实现更好的图像质量并防止补丁伪影。此外，它还确保了与图像大小无关的恒定GPU内存需求，允许生成任意大的图像。
2020-10-06 cs.CV cs.LG eess.IV
DLP-GAN: learning to draw modern Chinese landscape photos with generative adversarial network
School of Computer and Communication, Lanzhou University of Technology（兰州理工大学计算机与通信学院）；School of Information Science and Engineering, Lanzhou University（兰州大学信息科学与工程学院）
针对山水画转现代照片的研究空白，提出搭载非对称循环映射、密集融合模块生成器及双一致性损失的DLP-GAN无监督跨域翻译框架，实验证明其效果优于现有最优方法。
2024-03-07 cs.AI cs.CV
Domain Disentangled Generative Adversarial Network for Zero-Shot Sketch-Based 3D Shape Retrieval
Nanjing University of Science and Technology（南京理工大学）
基于草图的三维形状检索是一个具有挑战性的任务，由于草图和三维形状之间的大的领域差异。由于现有的方法是在相同的类别上训练和评估的，因此它们不能有效地识别在训练期间未使用的类别。在本文中，我们提出了一种新的域解纠缠生成对抗网络（DD-GAN）的zero-shot草图为基础的3D检索，它可以检索在训练过程中没有访问的不可见的类别。具体来说，我们首先通过分解草图和3D形状的学习特征来生成域不变特征和域特定特征，其中域不变特征用于与相应的词嵌入对齐。然后，我们开发了一个生成对抗网络，该网络将所见类别的特定领域特征与对齐的领域不变特征相结合来合成样本，其中未见类别的合成样本通过使用相应的词嵌入来生成。最后，我们使用合成的不可见类别的样本与真实的可见类别的样本相结合，训练网络进行检索，使不可见类别可以识别。为了减少域偏移问题，我们利用未标记的未见过的样本，以提高识别器的区分能力。通过将生成的样本与未标记的未见过样本区分开，生成器可以生成更真实的未见过样本。在SHREC'13和SHREC'14数据集上的大量实验表明，该方法显着提高了不可见类别的检索性能。
2022-06-30 cs.CV
DiffSketching: Sketch Control Image Synthesis with Diffusion Models
本文提出DiffSketching，利用扩散模型结合跨域约束和分类器引导实现草图到图像合成，在生成质量、多样性和人类评估上超越GAN方法，且无需大规模草图-图像数据集。
2023-05-30 cs.AI cs.CV
Systematic Analysis of Image Generation using GANs
MIT College of Engineering（MIT工程学院）；MIT-WPU（马哈拉施特拉邦理工大学世界和平大学）
生成对抗网络在最近无监督学习的发展中至关重要。作为从文本或其他图像合成图像的示例，这些网络在性能方面比传统方法有了显着的改进。在对抗训练理念的基础上，这些网络的目标是从真实数据中估计潜在分布，然后将其作为输入来生成合成数据。基于这个基本原理，可以生成几个框架，这些框架是几个现实应用中的典范实现，例如艺术合成，高分辨率输出的生成和从人类绘制的草图合成图像，仅举几例。虽然理论上GANs提供了更好的结果，并证明在许多因素上优于传统方法，但为专用应用程序实现这些框架仍然是一个挑战。本研究探讨并提出了这些框架的分类，以及它们在各种图像到图像合成和文本到图像合成应用程序中的使用。批判性地分析了基本的GANs以及各种不同的利基框架。介绍了GANs用于图像生成的优点以及它们在其他框架中的缺点。还讨论了GANs在医疗保健、艺术和娱乐等行业的未来应用。
2019-08-30 cs.CV cs.LG eess.IV
An Infinite Parade of Giraffes: Expressive Augmentation and Complexity Layers for Cartoon Drawing
MIT Media Lab（麻省理工学院媒体实验室）
在本文中，我们探讨了小数据约束下的创意图像生成。为了部分自动化创建符合特定设计师风格的卡通草图，其中获取一个非常大的原始图像集是不可能的或成本高昂，我们利用特定领域的知识，大大减少了原始图像的要求，创建一个有效的无限数量的卡通长颈鹿从九个原始图纸。我们为卡通草图引入了“表达性增强”，这是一种数学变换，可以创建广泛的域适当的变化，远远超出了通常的仿射变换，并且我们表明，在绘图或“复杂性层”的时间阶段训练的链式GANs模型可以有效地添加角色适当的细节，并以设计师的风格完成新的绘图。我们讨论了这些工具在纺织品，图形，建筑元素和室内设计的设计过程中的应用。
2018-11-08 cs.CV cs.GR cs.LG
Two-phase Hair Image Synthesis by Self-Enhancing Generative Model
Megvii (Face++) USA（旷视（Face++）美国）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data, CUHK(SZ)（香港中文大学（深圳）深圳大数据研究院）
随着生成对抗网络（GANs）的兴起，在有限的指导下生成合理的头发图像，例如稀疏草图或低分辨率图像，已经成为可能。传统的图像到图像转换网络可以生成可识别的结果，但通常会丢失更精细的纹理，并且通常存在模糊伪影。在本文中，我们提出了一个高质量的头发图像合成的两阶段生成模型。两阶段流水线首先利用已有的图像平移模型生成粗图像，然后将具有自增强能力的再生网络应用于粗图像。自增强能力是通过一个建议的结构提取层，它提取的纹理和方向图从头发图像。在Sketch 2 Hair和Hair Super-Resolution两个任务上的大量实验表明，该方法能够合成具有更精细细节的合理头发图像，并且性能优于最先进的方法。
2019-02-28 cs.CV
Control3Diff: Learning Controllable 3D Diffusion Models from Single-view Images
Apple（苹果公司）；Shandong University（山东大学）；Peking University（北京大学）；University of Pennsylvania（宾夕法尼亚大学）
Control3Diff提出一种结合扩散模型与3D GAN优势的三维扩散模型，通过显式建模潜在分布实现对单视图图像合成过程的直接控制，无需辅助监督即可支持图像、草图和文本等多种条件输入。
2023-10-26 cs.CV cs.LG
CoGS: Controllable Generation and Search from Sketch and Style
Georgia Institute of Technology（佐治亚理工学院）；University of Surrey（萨里大学）；Adobe Inc.（奥多比公司）
我们提出了CoGS，一种新的方法，风格条件，草图驱动的图像合成。CoGS允许探索给定草图对象的不同外观可能性，从而实现对输出的结构和外观的解耦控制。经由输入草图和范例“样式”调节图像到基于变换器的草图和样式编码器来实现对对象结构和外观的粗粒度控制，以生成离散码本表示。我们将码本表示映射到度量空间中，从而在通过矢量量化GAN（VQ GAN）解码器生成图像之前，能够对多个合成选项之间的选择和插值进行细粒度控制。因此，我们的框架统一了搜索和合成任务，因为草图和样式对可以用于运行初始合成，该初始合成可以通过与搜索语料库中的类似结果组合来细化，以产生更接近地匹配用户意图的图像。我们证明了我们的模型，在我们新创建的伪草图数据集的125个对象类上训练，能够产生各种各样的语义内容和外观风格。
2022-07-20 cs.CV
Generative Adversarial Networks with Conditional Neural Movement Primitives for An Interactive Generative Drawing Tool
Bogazici University（博阿齐奇大学）
素描是视觉感知和视觉空间建构的抽象表现。在这项工作中，我们提出了一个新的框架，生成对抗网络与条件神经运动原语（GAN-CNMP），它结合了一种新的对抗损失CNMP，以提高草图的平滑性和一致性。通过实验，我们证明了该模型可以用较少的未标记样本进行训练，可以在潜在空间中自动构造分布，并且在形状一致性和平滑性方面比基本模型产生更好的结果。
2021-12-21 cs.AI cs.CV cs.GR
StackGAN++: Realistic Image Synthesis with Stacked Generative Adversarial Networks
Rutgers University（罗格斯大学）；Lehigh University（理海大学）；The Chinese University of Hong Kong（香港中文大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
虽然生成对抗网络（GANs）在各种任务中取得了显着的成功，但它们在生成高质量图像方面仍然面临挑战。在本文中，我们提出了堆叠生成对抗网络（StackGAN），旨在生成高分辨率的照片般逼真的图像。首先，我们提出了一个两阶段的生成对抗网络架构StackGAN-v1，用于文本到图像的合成。第一阶段GAN根据给定的文本描述绘制对象的原始形状和颜色，产生低分辨率图像。第二阶段GAN将第一阶段的结果和文本描述作为输入，并生成具有照片般逼真细节的高分辨率图像。其次，提出了一种先进的多阶段生成对抗网络架构StackGAN-v2，用于条件和无条件生成任务。我们的StackGAN-v2由树状结构的多个生成器和鉴别器组成;对应于同一场景的多个尺度的图像是从树的不同分支生成的。StackGAN-v2通过联合逼近多个分布，显示出比StackGAN-v1更稳定的训练行为。大量的实验表明，所提出的堆叠生成对抗网络在生成照片般逼真的图像方面明显优于其他最先进的方法。
2018-06-28 cs.AI cs.CV stat.ML
StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks
Rutgers University（罗格斯大学）；Lehigh University（理海大学）；The Chinese University of Hong Kong（香港中文大学）；Baidu Research（百度研究院）
从文本描述合成高质量图像是计算机视觉中的一个具有挑战性的问题，并且具有许多实际应用。现有的文本到图像的方法生成的样本可以大致反映给定的描述的含义，但他们不能包含必要的细节和生动的对象部分。在本文中，我们提出了堆叠生成对抗网络（StackGAN），以生成256 × 256的照片级真实感图像的文本描述为条件。我们通过草图细化过程将难题分解为更易于管理的子问题。第一阶段GAN根据给定的文本描述绘制对象的基本形状和颜色，产生第一阶段低分辨率图像。第二阶段GAN将第一阶段的结果和文本描述作为输入，并生成具有照片般逼真细节的高分辨率图像。它能够纠正第一阶段结果中的缺陷，并通过细化过程添加引人注目的细节。为了提高合成图像的多样性并稳定条件GAN的训练，我们引入了一种新的条件增强技术，该技术鼓励潜在条件流形中的平滑性。在基准数据集上进行的大量实验和与最新技术的比较表明，该方法在生成基于文本描述的照片级真实感图像方面取得了显着的改进。
2017-08-05 cs.AI cs.CV stat.ML
Neural-Polyptych: Content Controllable Painting Recreation for Diverse Genres
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）；Huawei Technologies Ltd.（华为技术有限公司）
本文提出统一框架 Neural-Polyptych，结合手绘草图与原始绘画片段，通过多尺度 GAN 和 Correspondence Attention 模块实现百万像素级、内容可控的多流派绘画再创作。
2024-09-29 cs.CV cs.GR
Diffusion idea exploration for art generation
LG Toronto AI Lab（LG多伦多人工智能实验室）；University of Toronto（多伦多大学）；LG Electronics Canada（LG电子加拿大公司）
本文提出利用最先进的扩散模型，以文本为主、粗略草图为辅作为引导信息，生成创意艺术图像，初步实验展示了有前景的定性结果。
2023-07-11 cs.CV
Towards Open-World Text-Guided Face Image Generation and Manipulation
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；University College London（伦敦大学学院）；Chinese University of Hongkong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳市大数据研究院）
现有的文本引导的图像合成方法只能产生有限的质量的结果，最多\mbox{$\text{256}^2$}分辨率和文本指令被限制在一个小的语料库。在这项工作中，我们提出了一个统一的框架，用于人脸图像生成和操作，从多模态输入中产生具有前所未有的1024分辨率的多样化和高质量的图像。更重要的是，我们的方法支持开放世界场景，包括图像和文本，无需任何重新训练，微调或后处理。具体来说，我们提出了一个全新的文本引导的图像生成和操作的基础上，一个预先训练的GAN模型的优越特性的范例。我们提出的范例包括两个新的策略。第一种策略是训练文本编码器以获得与上述预训练的GAN模型的分层语义一致的潜在代码。第二种策略是在预训练的语言模型的指导下直接优化预训练的GAN模型的潜在空间中的潜在代码。潜码可以从先验分布中随机采样或从给定图像中反转，这为图像生成和从多模态输入（例如草图或语义标签）的操作提供了固有的支持，并具有文本指导。为了便于文本引导的多模态合成，我们提出了多模态CelebA-HQ，一个大规模的数据集，由真实的人脸图像和相应的语义分割地图，草图和文本描述。在引入的数据集上进行的大量实验证明了我们所提出的方法的优越性能。代码和数据可在https://github.com/weihaox/TediGAN上获得。
2021-04-18 cs.CV cs.MM
Image Synthesis Using Spintronic Deep Convolutional Generative Adversarial Network
Department of Electrical Engineering, IIT Bombay（印度比哈尔理工学院电气工程系）；Department of Electrical Engineering, IIT Ropar（印度罗帕尔理工学院电气工程系）；School of Computing and Electrical Engineering (SCEE), IIT Mandi（印度曼迪理工学院计算与电气工程学院）
本文提出了一种混合CMOS-自旋电子深度卷积生成对抗网络，通过自旋电子硬件实现高效图像合成，降低了能耗并提升了性能。
2026-01-04 cs.CV physics.app-ph
Data relativistic uncertainty framework for low-illumination anime scenery image enhancement
Heriot-Watt University（赫瑞瓦特大学）
本文提出DRU框架，通过引入数据相对不确定性解决动漫场景低光照增强问题，提升图像感知和审美质量。
2026-03-11 cs.CV cs.LG cs.MM
From Flat to Spatial: Comparison of 4 methods constructing 3D, 2 and 1/2D Models from 2D Plans with neural networks
本文比较了四种从2D图像构建3D网格的神经网络方法，评估它们在建筑设计可视化中的适用性，展示了这些技术如何简化模型创建、缩短设计周期并提升精度。
2024-07-29 cs.CV cs.ET cs.GR
Adversarial Segmentation Loss for Sketch Colorization
Hacettepe University（哈斯特帕大学）；Middle East Technical University（中东技术大学）
我们介绍了一种新的方法，从草图或边缘地图生成彩色图像。目前的方法要么需要某种形式的额外的用户指导，要么仅限于“配对”翻译方法。我们认为，分割信息可以提供有价值的指导草图彩色化。为此，我们建议利用语义图像分割，提供了一个通用的全景分割网络，以创建一个额外的对抗性损失函数。我们的损失函数可以集成到任何基线GAN模型。我们的方法并不局限于包含分割标签的数据集，它可以被训练用于“不成对”的翻译任务。我们使用定性，定量和用户研究分析，在四个不同的数据集上显示了我们的方法在室内，室外和儿童书籍插图图像场景级上的有效性。我们的模型将其基线提高到FID指标的35个点。我们的代码和预训练模型可以在https://github.com/giddyyupp/AdvSegLoss上找到。
2021-06-13 cs.CV
Improving Sketch Colorization using Adversarial Segmentation Consistency
Hacettepe University（哈斯特帕大学）；Ecole des Ponts（巴黎路桥学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）；Middle East Technical University（中东技术大学）
我们提出了一种新的方法来产生彩色图像的草图。草图着色中的当前解决方案需要额外的用户指令或者限于“配对”翻译策略。我们利用语义图像分割从一个通用的全景分割网络生成一个额外的对抗损失函数。所提出的损失函数与任何GAN模型兼容。我们的方法不限于带有分割标签的数据集，也可以应用于不成对的翻译任务。使用定性和定量分析，并根据用户研究，我们证明了我们的方法对四个不同的图像数据集的有效性。在FID指标上，我们的模型将基线提高了35个点。我们的代码，预训练模型，脚本，以产生新引入的数据集和相应的草图图像可在https://github.com/giddyyupp/AdvSegLoss。
2023-01-20 cs.CV
SG-GAN: Fine Stereoscopic-Aware Generation for 3D Brain Point Cloud Up-sampling from a Single Image
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；VinUniversity（越南 VinUniversity 大学）；College of Engineering and Computer Science（工程与计算机科学学院）；School of Software, Tiangong University（天津工业大学软件学院）；Department of Mathematics, Hong Kong Baptist University（香港浸会大学数学系）
针对微创脑手术中3D重建点云稀疏和精度不足的问题，提出两阶段立体感知图生成对抗网络（SG-GAN），基于单张图像生成高密度精细点云，并通过参数无关注意力模块提升性能，优于现有方法。
2025-03-25 cs.CV eess.IV
