Unsupervised Facial Geometry Learning for Sketch to Photo Synthesis
West Virginia University（西弗吉尼亚大学）
人脸素描照片合成是执法和数字娱乐行业中的一个重要应用，其目标是学习人脸素描图像与其对应的照片级真实感图像之间的映射。然而，配对的草图-照片训练数据的有限数量通常阻止当前框架学习草图的几何形状与其匹配的照片真实感图像之间的鲁棒映射。因此，在这项工作中，我们提出了一种方法来学习合成一个真实感的图像，从一个人脸素描在一个无监督的方式。与目前的无监督图像到图像的翻译技术相比，我们的框架利用了一种新的感知机器学习人脸的几何形状。学习面部先验信息使网络能够去除面部草图中的几何伪影。我们证明，同时优化的人脸照片生成器网络，采用所提出的感知的纹理明智的组合，结果在合成照片的质量和识别率的显着提高。我们通过对多个基线草图照片数据集进行广泛的实验来评估所提出的网络。
2018-10-12 cs.CV
Capabilities, Limitations and Challenges of Style Transfer with CycleGANs: A Study on Automatic Ring Design Generation
Carnegie Mellon University（卡内基梅隆大学）；TECNALIA, Basque Research & Technology Alliance (BRTA)（TECNALIA，巴斯克研究与技术联盟（BRTA））；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））；University of Granada（格拉纳达大学）
渲染程序已经完全改变了设计过程，因为它们允许在制造之前看到产品的外观。然而，渲染过程是复杂的，并且花费大量的时间，不仅在渲染本身中，而且在场景的设置中。需要设置材料、灯光和相机，以获得最佳质量的结果。然而，在第一渲染中可能无法获得最佳输出。这一切都使得渲染过程成为一个繁琐的过程。自Goodfellow等人在2014年引入生成对抗网络（GANs）以来，它们已被用于生成计算机分配的合成数据，从不存在的人脸到医疗数据分析或图像风格转换。GANs已用于将图像纹理从一个域转移到另一个域。然而，需要两个领域的配对数据。当Zhu等人引入CycleGAN模型时，消除了这个昂贵的约束，允许将一个图像从一个域转换到另一个域，而不需要配对数据。这项工作验证了CycleGANs在从初始草图到代表3D设计的2D最终渲染的风格转换上的适用性，这是每个产品设计过程中最重要的一步。我们探讨了将CycleGAN作为设计管道的一部分的可能性，更确切地说，应用于环形设计的渲染。我们的贡献是这一过程的关键部分，因为它允许客户在购买前看到最终产品。这项工作为未来的研究奠定了基础，展示了GANs在设计中的可能性，并为新的应用程序接近工艺设计建立了起点。
2022-07-18 cs.CV cs.LG eess.IV
Towards Realistic Face Photo-Sketch Synthesis via Composition-Aided GANs
Hangzhou Dianzi University（杭州电子科技大学）；Xidian University（西安电子科技大学）；Hefei University of Technology（合肥工业大学）；The University of Sydney（悉尼大学）；University of Chinese Academy of Sciences（中国科学院大学）
人脸照片-素描合成的目的是在给定的照片/素描的条件下生成面部素描/照片。它具有广泛的应用，包括数字娱乐和执法。由于结构现实主义和纹理一致性的限制，精确描绘面部照片/草图仍然具有挑战性。虽然现有的方法取得了令人信服的结果，他们大多产生模糊的效果和各种面部组件的巨大变形，导致合成图像的不切实际的感觉。为了应对这一挑战，在这项工作中，我们建议使用的面部组成信息，以帮助合成的面部素描/照片。特别是，我们提出了一种新的合成辅助生成对抗网络（CA-GAN）的人脸照片素描合成。在CA-GAN中，我们利用成对的输入，包括面部照片/草图和相应的像素面部标签来生成草图/照片。此外，为了将训练集中在硬生成的组件和精致的面部结构上，我们提出了一种成分重建损失。最后，我们使用堆栈CA-GAN（SCA-GAN）来进一步纠正缺陷并添加引人注目的细节。实验结果表明，我们的方法是能够生成视觉舒适和身份保持的人脸草图/照片在广泛的挑战性的数据。我们的方法达到了最先进的质量，大大降低了以前最好的Frechet Inception距离（FID）。此外，我们证明了所提出的方法是相当的推广能力。我们已经公开了我们的代码和结果：https://fei-hdu.github.io/ca-gan/。
2020-01-09 cs.CV
Cali-Sketch: Stroke Calibration and Completion for High-Quality Face Image Generation from Human-Like Sketches
Tsinghua University（清华大学）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；University College London（伦敦大学学院）
图像生成技术由于其在安全和娱乐方面的广泛应用而受到越来越多的关注。基于草图的人脸生成由于有监督的交互而带来了更多的乐趣和更好的图像生成质量。然而，当一个草图不符合真实的脸作为输入，现有的监督图像到图像的翻译方法往往不能产生可接受的照片逼真的人脸图像。为了解决这个问题，在本文中，我们提出了Cali-Sketch，一个像人一样的素描照片般真实的图像生成方法。Cali-Sketch使用两个组成网络明确地建模笔划校准和图像生成：笔划校准网络（SCN），其校准面部特征的笔划并丰富面部细节，同时保留原始意图特征;以及图像合成网络（ISN），其将校准和丰富的草图转换为照片般逼真的面部图像。通过这种方式，我们设法将困难的跨域翻译问题解耦为两个更容易的步骤。大量的实验表明，与现有的方法相比，Cali-Sketch生成的人脸照片既具有照片般的真实感，又忠实于输入的草图。
2022-10-09 cs.CV
Semi-supervised Cycle-GAN for face photo-sketch translation in the wild
The University of Hong Kong（香港大学）；SenseTime Research（商汤科技研究院）；Baidu Inc（百度公司）
针对人脸照片-素描转换中配对数据少、未配对训练的Cycle-GAN存在隐写术问题，提出带噪声注入的半监督Semi-Cycle-GAN，用伪配对结合自监督训练，在公开基准和自然场景照片上均取得良好效果。
2023-07-18 cs.CV
Bridging Unpaired Facial Photos And Sketches By Line-drawings
Hangzhou Dianzi University（杭州电子科技大学）；AiSketcher Technology（AiSketcher科技）
在本文中，我们提出了一种新的方法来学习人脸素描合成模型，使用不成对的数据。我们的主要思想是通过使用线条绘制域$\mathcal{Z}$来桥接照片域$\mathcal{X}$和草图域$Y$。特别地，我们使用神经风格转换方法，即$F: \mathcal{X}/\mathcal{Y} \mapsto \mathcal{Z}$，将照片和草图映射到线条画。因此，我们获得了\textit{pseudo paired data} $(\mathcal{Z}, \mathcal{Y})$，并且可以以监督学习的方式学习映射$G:\mathcal{Z} \mapsto \mathcal{Y}$。在推理阶段，给定一张人脸照片，我们可以首先将其转换为线条画，然后通过$G \circ F$转换为草图。此外，我们提出了一种新的中风损失来产生不同类型的中风。我们的方法，称为sRender，符合人类艺术家的渲染过程。实验结果表明，sRender可以生成多风格的草图，并显着优于现有的不成对的图像到图像的翻译方法。
2021-02-25 cs.CV
Face sketch to photo translation using generative adversarial networks
Amirkabir University of Technology（阿米尔卡比尔理工大学）
将人脸草图转换为照片般逼真的人脸在执法和数字娱乐行业等许多应用中是一项有趣而重要的任务。这项任务最重要的挑战之一是草图和真实图像之间的固有差异，例如草图中缺乏皮肤组织的颜色和细节。随着对抗生成模型的出现，越来越多的方法被提出用于草图到图像的合成。然而，这些模型仍然受到限制，例如训练所需的大量配对数据，所生成图像的低分辨率或所生成图像的不真实外观。在本文中，我们提出了一种方法，用于将输入的面部素描转换为彩色照片，而不需要任何配对的数据集。为此，我们使用预先训练的人脸照片生成模型来合成高质量的自然人脸照片，并采用优化程序来保持对输入草图的高保真度。我们训练一个网络，将从输入草图中提取的人脸特征映射到人脸生成模型的潜在空间中的向量。此外，我们还研究了不同的优化标准，并将所提出的模型的结果与最先进的模型进行了定量和定性的比较。该模型的SSIM指数为0.655，rank-1人脸识别率为97.59%，且具有较高的图像质量。
2021-10-23 cs.CV
Inversion-by-Inversion: Exemplar-based Sketch-to-Photo Synthesis via Stochastic Differential Equations without Training
Beihang University（北京航空航天大学）；Renmin University of China（中国人民大学）；The University of Hong Kong（香港大学）
提出无需训练的两阶段方法Inversion-by-Inversion，通过形状增强反演和全控制反演，利用能量函数引导扩散模型，实现基于示例的草图到逼真彩色照片合成。
2024-01-03 cs.CV
Biphasic Face Photo-Sketch Synthesis via Semantic-Driven Generative Adversarial Network with Graph Representation Learning
Hong Kong University of Science and Technology（香港科技大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Beijing University of Posts and Telecommunications（北京邮电大学）；Peking University（北京大学）；Nanjing University（南京大学）；Shandong University of Science and Technology（山东科技大学）
本文提出语义驱动生成对抗网络结合图表示学习，通过类内语义图和类间结构图建模人脸结构，并采用双相交互循环训练策略，在CUFS和CUFSF数据集上实现了优于现有方法的照片-素描合成质量。
2023-12-03 cs.CV
Multi-Density Sketch-to-Image Translation Network
City University of Hong Kong（香港城市大学）；Brion-ASML（布里昂阿斯麦公司）
草图到图像（S2I）转换在图像合成和处理任务中起着重要作用，例如照片编辑和着色。一些特定的S2I翻译，包括草图到照片和草图到绘画，可以作为艺术设计行业的强大工具。然而，以前的方法仅支持具有单一密度水平的S2I转换，这为用户控制输入草图提供了较少的灵活性。在这项工作中，我们提出了第一个多层次的密度草图到图像的翻译框架，它允许输入草图，以涵盖从粗糙的对象轮廓到微观结构的广泛范围。此外，为了解决多层次密度输入草图的非连续表示问题，我们将密度水平投影到一个连续的潜在空间中，然后可以通过参数线性控制。这允许用户方便地控制输入草图的密度和图像的生成。此外，我们的方法已经在不同应用程序的各种数据集上成功验证，包括面部编辑，多模式草图到照片翻译和动画着色，为这些应用程序提供从粗到细的控制级别。
2020-06-18 cs.CV
Iconify: Converting Photographs into Icons
Kyushu University（九州大学）；The University of Electro-Communications（电气通信大学）
在本文中，我们解决了一个具有挑战性的域之间的转换任务的照片和图标图像。尽管图标通常源自真实对象图像（即，照片），专业的图形设计师应用严格的抽象和简化来生成图标图像。此外，这两个域之间没有一一对应关系，因此我们不能将其用作学习直接转换函数的基础事实。由于生成对抗网络（GAN）可以承担域转换的问题，没有任何对应关系，我们测试循环GAN和UNIT从照片图像分割的对象生成图标。我们对几个图像数据集的实验证明，CycleGAN学习了足够的抽象和简化能力来生成类似图标的图像。
2020-04-07 cs.CV cs.GR
Text-to-Image Diffusion Models are Great Sketch-Photo Matchmakers
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（科大讯飞-萨里人工智能联合研究中心）
本文首次探索文本到图像扩散模型在零样本基于草图的图像检索（ZS-SBIR）中的应用，提出通过选择最优特征层并结合视觉与文本提示的策略，显著提升了跨模态检索性能。
2024-03-20 cs.CV
DeepFacePencil: Creating Face Images from Freehand Sketches
University of Science and Technology of China（中国科学技术大学）
在本文中，我们探讨的任务，生成照片般逼真的人脸图像从手绘草图。现有的图像到图像的翻译方法需要一个大规模的成对的草图和图像的数据集进行监督。它们通常利用人脸图像的合成边缘图作为训练数据。然而，这些合成的边缘图严格地与相应的人脸图像的边缘对齐，这限制了它们对具有巨大笔画多样性的真实手绘草图的泛化能力。为了解决这个问题，我们提出了DeepFacetron，一个有效的工具，能够从手绘草图生成照片般逼真的人脸图像，基于一种新的双生成器图像翻译网络在训练过程中。设计了一种新的空间注意力池（SAP）来自适应地处理空间变化的笔划失真，以支持各种笔划风格和不同层次的细节。我们进行了广泛的实验，结果表明，我们的模型优于现有的方法，无论是图像质量和模型推广到手绘草图。
2020-08-31 cs.CV
Effect of Instance Normalization on Fine-Grained Control for Sketch-Based Face Image Generation
University of Science and Technology of China（中国科学技术大学）
草图是一种直观而有效的内容创建方法。虽然通过使用生成对抗网络在照片级真实感图像生成方面取得了重大进展，但对合成内容进行细粒度控制仍然具有挑战性。在现有的图像翻译网络中广泛采用的实例归一化层会洗掉输入草图中的细节，并导致对生成的人脸图像的期望形状失去精确控制。在本文中，我们全面调查的影响，实例规范化生成真实感的人脸图像从手绘草图。我们首先介绍了一种可视化的方法来分析特征嵌入草图与一组特定的变化。在视觉分析的基础上，我们修改了基线图像转换模型中的实例规范化层。我们精心设计了一套新的手绘草图，其中包括11类专门设计的变化，并进行了广泛的实验分析。实验结果和用户研究表明，该方法显著提高了合成图像的质量和与用户意图的一致性。
2022-07-17 cs.CV
3D Reconstruction from Sketches
Harvard University（哈佛大学）
该研究针对多草图三维重建问题，提出含草图拼接、CycleGAN转真实图、MegaDepth估深度的流程，构建图像-草图对数据集训练模型，发现拼接泛化性差但单草图三维重建部分表现优异。
2025-05-20 cs.CV cs.LG
SketchyGAN: Towards Diverse and Realistic Sketch to Image Synthesis
Georgia Institute of Technology（佐治亚理工学院）；Argo AI（Argo AI（公司））
从手绘草图合成真实感图像是计算机图形学和视觉领域的一个具有挑战性的问题。现有的方法要么需要精确的边缘图，或依赖于检索现有的照片。在这项工作中，我们提出了一种新的生成对抗网络（GAN）方法，该方法可以合成来自50个类别的合理图像，包括摩托车，马和沙发。我们展示了一个数据增强技术的草图，这是完全自动的，我们表明，增强的数据是有助于我们的任务。我们引入了一种新的网络构建块，适合于生成器和嵌入式系统，它通过在多个尺度上注入输入图像来改善信息流。与最先进的图像翻译方法相比，我们的方法生成了更逼真的图像，并获得了更高的初始分数。
2018-04-12 cs.CV
It's All About Your Sketch: Democratising Sketch Control in Diffusion Models
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（讯飞-萨里人工智能联合研究中心）
本文提出抽象感知框架，利用草图适配器、自适应时间步采样和判别性指导，解决扩散模型中直接草图控制导致的变形问题，实现业余草图生成精确图像的民主化。
2024-03-20 cs.CV
S2FGAN: Semantically Aware Interactive Sketch-to-Face Translation
Australian National University（澳大利亚国立大学）；CSIRO（联邦科学与工业研究组织）；Curtin University（科廷大学）；North South University（北南大学）
交互式面部图像操作尝试使用照片级真实面部和/或语义掩码作为输入来编辑单个和多个面部属性。在没有照片级真实感图像的情况下（只有草图/掩模可用），以前的方法只检索原始面部，但忽略了在翻译过程中辅助模型可控性和多样性的潜力。本文提出了一个草图到图像的生成框架S2 FGAN，旨在提高用户从简单草图到人脸属性编辑的理解能力和灵活性。该框架修改了生成对抗网络（GANs）上训练的约束潜在空间语义。我们采用两个潜在的空间来控制人脸的外观和调整所需的属性生成的脸。代替通过使用参考图像来约束翻译过程，用户可以命令模型通过在生成过程中涉及语义信息来修饰生成的图像。通过这种方式，我们的方法可以通过仅指定要更改的属性来操作单个或多个面属性。在CelebAMask-HQ数据集上的大量实验结果经验性地显示了我们在这项任务上的卓越性能和有效性。我们的方法成功地优于国家的最先进的方法，属性操纵，利用更大的控制属性强度。
2021-10-11 cs.CV
Face Sketch Synthesis with Style Transfer using Pyramid Column Feature
The University of Hong Kong（香港大学）；Baidu Research（百度研究院）
在本文中，我们提出了一种新的框架，基于深度神经网络的人脸素描合成从照片。模仿艺术家绘制草图的过程，我们的框架以级联的方式合成人脸草图。首先生成内容图像，该内容图像勾勒出面部的形状和关键面部特征。然后添加纹理和阴影以丰富草图的细节。我们利用一个完全的卷积神经网络（FCNN）创建的内容图像，并提出了一种风格转移方法，引入纹理和阴影的基础上新提出的金字塔列功能。实验结果表明，基于金字塔柱特征的风格转换方法不仅比传统的风格转换方法能更好地保留草图细节，而且优于传统的基于面片的风格转换方法。定量和定性评估表明，我们的框架优于其他国家的最先进的方法，也可以推广到不同的测试图像。代码可在https://github.com/chaofengc/Face-Sketch上获得
2020-09-18 cs.CV
Deep Plastic Surgery: Robust and Controllable Image Editing with Human-Drawn Sketches
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Texas A&M University（德克萨斯农工大学）
基于草图的图像编辑旨在根据人类绘制的草图提供的结构信息合成和修改照片。由于草图难以收集，以前的方法主要使用边缘图而不是草图来训练模型（称为基于边缘的模型）。然而，草图显示与边缘图的结构差异很大，从而失败的基于边缘的模型。此外，草图通常在不同用户之间表现出巨大的多样性，这要求编辑模型具有更高的通用性和鲁棒性。在本文中，我们提出了深整形手术，一种新颖的，强大的和可控的图像编辑框架，允许用户使用手绘草图输入交互式编辑图像。我们提出了一个草图细化策略，从艺术家的粗到细的绘图过程的启发，我们表明，可以帮助我们的模型很好地适应休闲和多样的草图，而不需要真正的草图训练数据。我们的模型还提供了一个细化级别控制参数，使用户能够灵活地定义如何“可靠”的输入草图应该被认为是最终的输出，草图的忠实性和输出逼真度之间的平衡（因为这两个目标可能会矛盾，如果输入草图画得不好）。为了实现多层次的细化，我们引入了一个基于风格的模块的水平调节，它允许自适应功能表示为不同的水平在一个单一的网络。大量的实验结果表明，我们的方法在提高图像编辑的视觉质量和用户可识别性方面的优越性。
2020-01-09 cs.CV
CLIP4Sketch: Enhancing Sketch to Mugshot Matching through Dataset Augmentation using Diffusion Models
IIIT-Hyderabad（印度信息技术研究所海得拉巴分校）；Michigan State University（密歇根州立大学）
提出 CLIP4Sketch 方法，利用扩散模型结合 CLIP 和 Adaface 嵌入生成受控素描数据集，显著提升了法医素描与大头照匹配的准确率，并优于 GAN 方法。
2024-08-13 cs.CV
PS-StyleGAN: Illustrative Portrait Sketching using Attention-Based Style Adaptation
IIIT-Hyderabad（印度理工学院海得拉巴分校）
本文提出PS-StyleGAN，利用StyleGAN的W+潜空间和注意力仿射变换模块，在少量成对样本和短训练时间下实现可编辑且保持身份的人像素描生成，并在多个数据集上优于现有方法。
2024-08-31 cs.CV
Quality Guided Sketch-to-Photo Image Synthesis
West Virginia University（西弗吉尼亚大学）
艺术家绘制的面部素描广泛用于视觉识别应用，主要用于执法机构，但这些素描的质量取决于艺术家清晰复制所有关键面部特征的能力，这些特征有助于捕捉主体的真实身份。最近的工作试图将这些草图合成为合理的视觉图像，以提高视觉识别和识别。然而，事实证明，从草图合成照片级逼真的图像是一项更具挑战性的任务，特别是对于嫌疑人识别等敏感应用。在这项工作中，我们提出了一种新的方法，采用生成对抗网络，将单个草图合成为具有独特属性（如头发颜色，性别等）的多个合成图像。质量引导编码器，其最小化在不同层处的合成图像和真实图像的潜在空间嵌入的感知相异性以及在整个训练过程中保持合成图像的身份的身份保持网络。我们的方法旨在提高合成图像的视觉吸引力，同时将多个属性分配给生成器，而不会损害合成图像的身份。我们使用XDOG过滤器为CelebA，WVU Multi-modal和CelebA-HQ数据集合成草图，并从CUHK，IIT-D和FERET数据集的草图上训练的辅助生成器合成草图。与目前的技术水平相比，我们的结果令人印象深刻。
2020-04-20 cs.CV eess.IV stat.ML
One-shot Face Sketch Synthesis in the Wild via Generative Diffusion Prior and Instruction Tuning
Guangdong University of Technology（广东工业大学）；Sun Yat-sen University（中山大学）
提出基于扩散模型和指令微调的一次性人脸素描合成方法，利用单对照片-素描样本训练，并构建OS-Sketch基准，实现真实场景下高质量素描生成。
2025-06-18 cs.CR cs.CV cs.CY
Component-Aware Sketch-to-Image Generation Using Self-Attention Encoding and Coordinate-Preserving Fusion
本文提出了一种基于自注意力编码和坐标保持融合的组件意识框架，用于提升草图到图像生成的逼真度和一致性。
2026-03-10 cs.CV
Face Sketch Synthesis via Semantic-Driven Generative Adversarial Network
Beijing University of Posts and Telecommunications（北京邮电大学）；Center for Research on Intelligent Perception and Computing, NLPR, CASIA（中国科学院自动化研究所模式识别国家重点实验室智能感知与计算研究中心）；Artificial Intelligence Research, CAS（中国科学院人工智能研究院）；Shandong University of Science and Technology（山东科技大学）
近年来，随着深度神经网络的发展，人脸素描合成取得了重大进展。素描肖像的精细描绘促进了广泛的应用，如数字娱乐和执法。然而，由于真实场景中光照的变化和复杂的背景，精确而逼真的人脸草图生成仍然是一个具有挑战性的任务。为了应对这些挑战，我们提出了一种新的语义驱动的生成对抗网络（SDGAN），它嵌入了全局结构级风格注入和局部类级知识重新加权。具体来说，我们进行人脸显著性检测的输入人脸照片，以提供整体的面部纹理结构，它可以被用作一个全局类型的先验信息。此外，我们利用人脸解析布局作为语义级空间之前，在SDGAN的生成器中执行全局结构化风格注入。此外，为了增强细节的真实感，我们提出了一种新的自适应重加权损失（ARLoss），致力于平衡不同语义类的贡献。在实验上，我们在CUFS和CUFSF数据集上的大量实验表明，我们提出的算法达到了最先进的性能。
2021-06-29 cs.CV
Conditional Human Sketch Synthesis with Explicit Abstraction Control
University of Surrey（萨里大学）；SketchX；CVSSP
针对现有草图合成抽象度隐式控制精度不足的问题，提出集成状态嵌入与笔画令牌的Transformer潜扩散模型，实现点级和笔画级显式抽象度控制，合成效果优于现有方法，具备实际应用潜力。
2023-06-15 cs.CV eess.IV
Unpaired Photo-to-Caricature Translation on Faces in the Wild
Ocean University of China（中国海洋大学）
近年来，由于条件生成对抗网络（cGANs）的成功，图像到图像的翻译已经取得了很大的进展。基于周期一致性损失的非配对方法如DualGAN、CycleGAN和DiscoGAN等都很受欢迎。然而，对于要求高层次视觉信息转换的翻译任务来说，如要求讽刺、夸张、逼真和艺术性的照片到漫画的翻译，仍然是非常具有挑战性的。我们提出了一种方法，用于学习将野生人脸从源照片域翻译到具有不同风格的目标漫画域，该方法也可用于其他高级图像到图像的翻译任务。为了在翻译时用局部统计量捕获全局结构，我们设计了一个具有一个粗搜索和一个细搜索的双路径模型。对于生成器，我们提供了一个额外的感知损失与对抗损失和循环一致性损失，以实现两个不同领域的表示学习。此外，可以通过辅助噪声输入来学习风格。在野外进行的照片到漫画的人脸翻译实验表明，我们所提出的方法比最先进的翻译方法及其潜在的实际应用具有相当大的性能增益。
2018-07-25 cs.CV
SketchRef: a Multi-Task Evaluation Benchmark for Sketch Synthesis
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
本文提出首个草图合成多任务评估基准SketchRef，通过类别预测、结构一致性估计及受简洁性约束的可识别性指标mRS，系统评估现有方法的优劣。
2025-04-09 cs.AI cs.CV
Runway Extraction and Improved Mapping from Space Imagery
PeopleTec（人民科技公司）
应用于监测机场跑道等关键基础设施的变化检测方法代表了救灾和城市规划的重要能力。目前的工作确定了两个生成对抗网络（GAN）的架构，可逆地转换之间的合理的跑道地图和卫星图像。我们从相同的角度使用配对图像（卫星地图）并使用Pix 2 Pix架构或条件GANs来说明训练能力。在没有可用对的情况下，我们同样证明了具有四个网络头（鉴别器-生成器对）的CycleGAN架构也可以提供从原始图像像素到轮廓或特征图的有效风格转移。为了强调跑道和停机坪的边界，我们通过实验表明，传统的灰褐色地图调色板不是一个必要的训练输入，但可以通过更高的对比度映射调色板（红色-黑色）来增强，以获得更清晰的跑道边界。我们预览了一个潜在的新用例（称为“sketch 2satellite”），其中一个人大致绘制了当前的跑道边界，并自动化机器输出合理的卫星图像。最后，我们确定了错误的跑道地图的例子，其中发布的卫星和映射的跑道不一致，但自动更新使用GANs呈现正确的地图。
2021-12-30 cs.CV cs.LG
Attribute-Guided Sketch Generation
University of Trento（特伦托大学）；Huazhong University of Science and Technology（华中科技大学）；EPFL（洛桑联邦理工学院）；University of Oxford（牛津大学）；University of Michigan（密歇根大学）；Texas State University（得克萨斯州立大学）
面部属性很重要，因为它们提供了详细的描述，并确定了人脸的视觉外观。在本文中，我们的目标是将人脸图像转换为草图，同时生成面部属性。为此，我们提出了一种新的属性引导草图生成对抗网络（ASGAN），它是一个端到端的框架，包含两对生成器和鉴别器，其中一个用于生成具有属性的人脸，而另一个用于图像到草图的翻译。这两个生成器形成一个W形网络（W-网），它们在权重共享约束下共同训练。此外，我们还提出了两个新的鉴别器，残余的一个专注于属性生成和三重之一，帮助生成逼真的草图。为了验证我们的模型，我们创建了一个包含8，804张图像的新的大型数据集，命名为属性面部照片和草图（AFPS）数据集，这是第一个包含与面部草图图像相关的属性的数据集。实验结果表明，所提出的网络（i）生成更多的照片般逼真的人脸与更清晰的面部属性比基线和（ii）具有良好的泛化能力，对不同的生成任务。
2019-04-14 cs.AI cs.CV cs.LG
Scribbler: Controlling Deep Image Synthesis with Sketch and Color
Georgia Institute of Technology（佐治亚理工学院）；Adobe Research（Adobe研究院）；Princeton University（普林斯顿大学）
最近，有几种很有前途的方法可以从深度卷积网络生成逼真的图像。这些方法避开了传统的计算机图形渲染管道，而是通过从大量照片（例如脸部或卧室）中学习来生成像素级别的图像。然而，这些方法的效用有限，因为用户难以控制网络产生什么。在本文中，我们提出了一种深度对抗图像合成架构，该架构以草图边界和稀疏颜色笔画为条件，以生成逼真的汽车、卧室或人脸。我们展示了一个基于草图的图像合成系统，它允许用户在草图上“涂鸦”，以指示对象的首选颜色。然后，我们的网络可以生成令人信服的图像，满足用户的颜色和草图约束。网络是前馈的，它允许用户实时的看到他们编辑的效果。我们比较最近的工作草图图像合成，并表明我们的方法可以产生更逼真，更多样化，更可控的输出。该架构在用户引导的灰度图像着色方面也是有效的。
2016-12-05 cs.CV cs.LG
HAIFIT: Human-to-AI Fashion Image Translation
Hunan University（湖南大学）；University of Warwick（华威大学）
针对现有草图到服装图像翻译方法易损失草图细节、偏离设计预期的问题，提出HAIFIT方法，通过多尺度特征融合与多维度特征依赖捕获生成高保真服装图像，在效果与速度上均优于现有方法，助力提升设计效率。
2024-08-14 cs.CV
Control3D: Towards Controllable Text-to-3D Generation
University of Science and Technology of China（中国科学技术大学）；Sun Yat-sen University（中山大学）；HiDream.ai Inc.（HiDream.ai 公司）
针对现有文本到3D生成技术缺乏可控性的问题，提出Control3D方法，通过改造2D条件扩散模型引导NeRF场景学习，并结合可微分草图模型保证几何一致性，实现基于文本和手绘草图的可控3D生成。
2023-11-09 cs.CV cs.MM
One-to-one Mapping for Unpaired Image-to-image Translation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Siemens Healthineers（西门子医疗）；Rutgers University（罗格斯大学）
最近，图像到图像的翻译在文献中引起了极大的兴趣，从生成对抗网络（GAN）的成功使用开始，到循环约束的引入，再到扩展到多个域。然而，在现有的方法中，不能保证两个图像域之间的映射是唯一的或一对一的。在这里，我们提出了一个自逆网络学习方法的不成对的图像到图像的翻译。在CycleGAN的基础上，我们通过在训练过程中交换输入和输出来简单地增加训练样本，并对每个映射方向进行单独的循环一致性损失来学习自反函数。这种学习的结果是经过验证的一对一映射函数。我们在各种数据集上进行了广泛的实验，包括跨模态医学图像合成，对象变形和语义标记，这些实验在定性和定量方面都证明了CycleGAN方法的明显改进。特别是我们所提出的方法达到了国家的最先进的结果城市景观基准数据集的标签照片不成对的方向性图像的翻译。
2020-01-15 cs.AI cs.CV cs.LG
DLP-GAN: learning to draw modern Chinese landscape photos with generative adversarial network
School of Computer and Communication, Lanzhou University of Technology（兰州理工大学计算机与通信学院）；School of Information Science and Engineering, Lanzhou University（兰州大学信息科学与工程学院）
针对山水画转现代照片的研究空白，提出搭载非对称循环映射、密集融合模块生成器及双一致性损失的DLP-GAN无监督跨域翻译框架，实验证明其效果优于现有最优方法。
2024-03-07 cs.AI cs.CV
AirSketch: Generative Motion to Sketch
University of Central Florida（中央佛罗里达大学）
本文提出AirSketch概念，通过基于数据增强的自监督训练可控图像扩散模型，直接从含噪手部追踪图像生成美观草图，实现了无需复杂硬件的无标记空中绘图。
2025-06-28 cs.AI cs.CV cs.GR
toon2real: Translating Cartoon Images to Realistic Images
Ahsanullah University of Science and Technology（阿赫桑努拉科技大学）
在图像到图像的转换方面，生成对抗网络（GANs）即使在无监督数据集中也取得了巨大的成功。在这项工作中，我们的目标是使用GAN将卡通图像转换为照片般逼真的图像。我们应用了几种最先进的模型来执行此任务;然而，它们无法执行高质量的翻译。我们观察到这两个域之间的浅差异导致了这个问题。基于这一思想，我们提出了一种基于CycleGAN模型的图像从卡通域到真实感域的转换方法。为了使我们的模型高效，我们实现了光谱归一化，这增加了我们模型的稳定性。我们展示了我们的实验结果，并表明，我们提出的模型已经实现了最低的弗雷歇初始距离得分和更好的结果相比，另一个国家的最先进的技术，单位。
2021-02-01 cs.CV eess.IV
Unsupervised Sketch-to-Photo Synthesis
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）；Peking University（北京大学）；Beihang University（北京航空航天大学）
人类可以想象一张真实的照片，给出一张手绘草图，不仅空间上不精确，几何上扭曲，而且没有颜色和视觉细节。我们首次研究了无监督的草图到照片合成，从未配对的草图照片数据中学习，其中草图的目标照片在训练过程中是未知的。现有的作品只处理风格变化或空间变形，从边缘对齐的线条画合成照片或在同一模态中转换形状，例如，彩色图像。我们的关键见解是将无监督的草图到照片合成分解为两个阶段的转换任务：首先从草图到灰度照片的形状转换，然后从灰度到彩色照片的内容丰富。我们还结合了一个自我监督的去噪目标和一个注意力模块来处理抽象和风格变化，这些变化是草图固有的和特定的。我们的合成是草图忠实和照片逼真，使草图为基础的图像检索在实践中。一个令人兴奋的必然产品是一个通用的和有前途的草图生成器，捕捉人类的视觉感知超越边缘地图的照片。
2020-03-23 cs.CV
End-to-End Photo-Sketch Generation via Fully Convolutional Representation Learning
Sun Yat-sen University（中山大学）；The Hong Kong Polytechnic University（香港理工大学）
基于草图的人脸识别是视觉和多媒体研究领域的一个有趣的课题，但由于人脸照片和草图之间存在很大的差异，因此具有很大的挑战性。在本文中，我们提出了一种新的方法，用于照片素描生成，旨在自动转换为人脸照片到细节保留的个人素描。与传统的基于样本字典合成草图的模型不同，我们开发了一个完全卷积的网络来学习端到端的照片草图映射。我们的方法将整个面部照片作为输入，并通过有效的推理和学习直接生成相应的草图图像，其中架构仅由非常小的卷积内核堆叠。为了更好地捕捉照片素描转换过程中的人的身份，我们定义了我们的优化目标的形式联合生成判别最小化。特别是，一个歧视性的正则化项被纳入到照片素描生成，增强了对其他个人的所生成的人的草图的可辨别性。在几个标准基准上进行的大量实验表明，我们的方法在照片草图生成和人脸草图验证方面都优于其他最先进的方法。
2015-04-11 cs.CV
Unsupervised Scene Sketch to Photo Synthesis
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）；Amazon（亚马逊）
草图是一种直观而强大的视觉表达，因为它们是快速执行的徒手画。提出了一种从场景草图合成真实感照片的方法。在不需要草图和照片对的情况下，我们的框架以无监督的方式直接从现成的大规模照片数据集中学习。为此，我们引入了一个标准化模块，该模块通过将照片和草图转换为标准化域（即边缘图），在训练期间提供伪草图-照片对。草图和照片之间的领域差距缩小，也使我们能够将它们分解为两个部分：整体场景结构和低层次的视觉风格，如颜色和纹理。利用这一优势，我们合成一个照片级真实感的图像相结合的草图和参考照片的视觉风格的结构。对感知相似性度量和人类感知研究的大量实验结果表明，该方法可以从场景草图中生成逼真的照片，并优于最先进的照片合成基线。我们还表明，我们的框架有利于可控的操作的照片合成，通过编辑相应的草图笔划，提供更多的细粒度的细节比以前的方法，依赖于区域级编辑。
2022-09-06 cs.CV
Controllable Text-to-Image Generation with GPT-4
UC Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）
本文提出Control-GPT，利用GPT-4生成TikZ程序化草图来引导扩散模型，通过将实例掩码转为多边形解决训练数据缺失问题，显著提升文本到图像生成的空间可控性并刷新最优水平。
2023-05-29 cs.AI cs.CV
Semi-Supervised Learning for Face Sketch Synthesis in the Wild
The University of Hong Kong（香港大学）；Baidu Research（百度研究院）
人脸素描合成在过去的几年里取得了很大的进展。基于深度神经网络的最新方法能够从人脸照片生成高质量的草图。然而，由于缺乏训练数据（照片-草图对），这些基于深度学习的方法都不能成功地应用于野外的人脸照片。在本文中，我们提出了一种半监督深度学习架构，该架构通过在训练中利用额外的人脸照片来扩展人脸草图合成以处理野外的人脸照片。我们不是用地面真实草图来监督网络，而是首先在输入照片和一个小的照片-草图对参考集中的照片之间的特征空间中执行补丁匹配。然后，我们组成一个伪草图特征表示使用相应的草图特征补丁来监督我们的网络。使用所提出的方法，我们可以训练我们的网络使用一个小的参考集的照片草图对连同一个大的人脸照片数据集没有地面真实草图。实验表明，我们的方法在公共基准测试和野外人脸照片上都达到了最先进的性能。代码可在https://github.com/chaofengc/Face-Sketch-Wild上获得。
2019-05-05 cs.CV
Learning to Sketch with Shortcut Cycle Consistency
Queen Mary University of London（伦敦玛丽女王大学）；The University of Edinburgh（爱丁堡大学）
看就是画--徒手画自然地建立了人类和机器视觉之间的联系。在本文中，我们提出了一种新的方法，用于将对象照片转换为草图，模仿人类的素描过程。这是一项极具挑战性的任务，因为照片和草图领域有很大的不同。此外，即使在参考照片中描绘相同的对象实例时，人类草图也表现出各种程度的复杂性和抽象性。这意味着即使照片-草图对可用，它们也只能提供弱的监督信号来学习翻译模型。与解决D（E（photo））-> sketch问题的现有监督方法相比，其中E（$\cdot$）和D（$\cdot$）分别表示编码器和解码器，我们利用逆问题（例如，D（E（sketch））-> photo），并与域内重建的无监督学习任务相结合，所有这些都在一个多任务学习框架内。与现有的基于周期一致性的无监督方法（即，D（E（D（E（photo）-> photo），我们引入在编码器瓶颈处强制执行的快捷一致性（例如，D（E（photo））-> photo）来利用额外的自我监督。定性和定量的结果表明，该模型优于一些国家的最先进的替代品。我们还表明，合成草图可以用来训练一个更好的细粒度的基于草图的图像检索（FG-SBIR）模型，有效地缓解了草图数据稀缺的问题。
2018-05-01 cs.CV
One-Step Image Translation with Text-to-Image Models
Carnegie Mellon University（卡内基梅隆大学）；Adobe Research（奥多比研究院）
本文提出一种通过对抗学习将单步扩散模型适配到新任务的方法，CycleGAN-Turbo在非配对翻译中优于现有方法，pix2pix-Turbo在配对任务中与Control-Net相当但推理更快。
2024-03-18 cs.CV cs.GR cs.LG
StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks
Rutgers University（罗格斯大学）；Lehigh University（理海大学）；The Chinese University of Hong Kong（香港中文大学）；Baidu Research（百度研究院）
从文本描述合成高质量图像是计算机视觉中的一个具有挑战性的问题，并且具有许多实际应用。现有的文本到图像的方法生成的样本可以大致反映给定的描述的含义，但他们不能包含必要的细节和生动的对象部分。在本文中，我们提出了堆叠生成对抗网络（StackGAN），以生成256 × 256的照片级真实感图像的文本描述为条件。我们通过草图细化过程将难题分解为更易于管理的子问题。第一阶段GAN根据给定的文本描述绘制对象的基本形状和颜色，产生第一阶段低分辨率图像。第二阶段GAN将第一阶段的结果和文本描述作为输入，并生成具有照片般逼真细节的高分辨率图像。它能够纠正第一阶段结果中的缺陷，并通过细化过程添加引人注目的细节。为了提高合成图像的多样性并稳定条件GAN的训练，我们引入了一种新的条件增强技术，该技术鼓励潜在条件流形中的平滑性。在基准数据集上进行的大量实验和与最新技术的比较表明，该方法在生成基于文本描述的照片级真实感图像方面取得了显着的改进。
2017-08-05 cs.AI cs.CV stat.ML
Face Photo Sketch Synthesis via Larger Patch and Multiresolution Spline
人脸照片素描合成由于其在数字娱乐和执法领域的潜在应用，近年来受到了研究者的关注。已经提出了一些基于补丁的方法来解决这个问题。这些方法通常更多地关注如何为给定的照片补丁获得草图补丁，而不是如何混合这些生成的补丁。然而，如果没有适当的混合方法，一些锯齿状的部分和斑驳的点会出现在整个人脸草图。为了得到更平滑的草图，我们提出了一种新的方法来减少这种锯齿状的部分和斑驳的点。在我们的系统中，我们采用了一种现有的方法，这是马尔可夫随机场（MRF），训练一个粗略的人脸素描。然后，该草图人脸草图将被划分成一些更大的块，并重新训练的非负矩阵分解（NMF）。最后，我们使用多分辨率样条和一个混合技巧称为全覆盖技巧混合这些重新训练的补丁。实验结果表明，与以往的一些方法相比，我们可以得到一个更平滑的人脸草图。
2015-09-19 cs.CV
DrawingInStyles: Portrait Image Generation and Editing with Spatially Conditioned StyleGAN
City University of Hong Kong（香港城市大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
草图到肖像生成的研究课题已经见证了深度学习技术的进步。最近提出的StyleGAN架构实现了最先进的生成能力，但由于其无条件生成的性质，原始的StyleGAN对于基于草图的创建并不友好。为了解决这个问题，我们提出了一个直接调节策略，以更好地保留StyleGAN框架下的空间信息。具体来说，我们引入了空间条件StyleGAN（简称SC-StyleGAN），它明确地将空间约束注入到原始的StyleGAN生成过程中。我们探索两种输入方式，草图和语义图，它们一起允许用户更准确，更容易地表达所需的生成结果。基于SC-StyleGAN，我们提出了DrawingInStyles，这是一种新颖的绘图界面，可供非专业用户轻松制作高质量，照片般逼真的面部图像，并具有精确的控制，无论是从头开始还是编辑现有图像。定性和定量的评价表明，我们的方法优越的生成能力，现有的和替代的解决方案。我们的系统的可用性和表现力的用户研究证实。
2022-05-31 cs.CV cs.GR
Sketch-a-Classifier: Sketch-based Photo Classifier Generation
Queen Mary University of London（伦敦玛丽女王大学）；The University of Edinburgh（爱丁堡大学）
当代深度学习技术已经使图像识别成为一种相当可靠的技术。然而，训练有效的照片分类器通常需要大量的例子，这限制了图像识别的可扩展性和对图像可能不可用的场景的适用性。这激发了对零样本学习的研究，零样本学习通过从其他模式（如文本）的知识转移来解决这个问题。在本文中，我们研究了另一种合成图像分类器的方法：几乎直接从用户的想象力，通过徒手素描。这种方法不要求类别是可命名的或可描述的，通过属性，按照零样本学习。我们通过训练一个{模型回归}网络来实现这一点，以从{手绘草图}空间映射到照片分类器的空间。事实证明，这种映射可以以类别不可知的方式学习，允许用户合成新类别的照片分类器，而不需要注释的训练照片。{We还表明，这种模式的分类器生成也可以用来提高现有的照片分类器的粒度，或作为一个补充，以名称为基础的零样本学习。
2018-04-30 cs.CV
Attribute-Centered Loss for Soft-Biometrics Guided Face Sketch-Photo Recognition
West Virginia University（西弗吉尼亚大学）
面部草图能够捕捉面部的空间拓扑，同时缺少一些面部属性，如种族、皮肤或头发颜色。现有的素描照片识别方法大多忽略了面部属性的重要性。在本文中，我们提出了一个新的损失函数，称为属性中心损失，训练深度耦合卷积神经网络（DCCNN）的面部属性引导草图照片匹配。具体来说，提出了一种以属性为中心的损失，它在共享的嵌入空间中学习几个不同的中心，用于具有不同属性组合的照片和草图。DCCNN同时被训练成围绕其关联中心映射照片和成对的已证实属性以及相应的法医草图，同时保留空间拓扑信息。重要的是，这些中心学会了彼此保持相对距离，这与它们相互矛盾的属性的数量有关。复合（E-PRIP）和半法医（IIIT-D半法医）数据库进行了广泛的实验。所提出的方法显着优于最先进的。
2018-04-09 cs.CV
An Approach: Modality Reduction and Face-Sketch Recognition
Jadavpur University（贾达普大学）
从人脸照片数据库中识别人脸素描是当前研究者面临的一个挑战性课题。由于训练集中的人脸照片图像和测试集中的人脸素描图像具有不同的模态。不同人的两张人脸照片之间的差异小于同一个人在一张人脸照片和人脸素描之间的差异。在本文中，为了减少人脸照片和人脸素描之间的模态，我们首先把人脸照片和人脸素描图像在一个新的维度，使用二维离散Haar小波变换的规模3，其次是一个负的方法。然后，使用主成分分析（PCA）从变换后的图像中提取特征。之后，我们使用SVM分类器和K-NN分类器进行更好的分类。我们所提出的方法是实验验证其鲁棒性对面部捕捉在一个良好的照明条件下，并在正面姿势。实验以100张男性和女性的人脸图像作为训练集，以100张男性和女性的人脸素描图像作为测试集，分别采集自香港中文大学训练和测试的裁剪照片和香港中文大学训练和测试的裁剪素描。
2013-12-05 cs.CV
SketchingReality: From Freehand Scene Sketches To Photorealistic Images
University of Surrey（塞拉利昂大学）；Université de Montréal（蒙特利尔大学）；Adobe Research（Adobe研究）
本文提出了一种基于调制的方法，通过优先考虑草图的语义解释而非严格遵循边缘位置，实现了从自由手草图到逼真图像的生成，并在语义对齐和图像质量上优于现有方法。
2026-02-16 cs.CV
More Photos are All You Need: Semi-Supervised Learning for Fine-Grained Sketch Based Image Retrieval
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（讯飞-萨里人工智能联合研究中心）
现有的基于细粒度草图的图像检索（FG-SBIR）模型所面临的一个根本挑战是数据稀缺-模型性能在很大程度上受到草图-照片对缺乏的影响。虽然照片的数量可以很容易地缩放，但每个相应的草图仍然需要单独制作。在本文中，我们的目标是减轻这样一个上限的草图数据，并研究是否未标记的照片单独（其中有很多）可以培养的性能增益。特别是，我们引入了一种新的半监督框架跨模态检索，可以额外利用大规模的未标记的照片，占数据稀缺。我们半监督设计的核心是一个顺序的照片到草图生成模型，旨在为未标记的照片生成成对的草图。重要的是，我们进一步引入了一个基于蒸馏损失的正则化器来提供对噪声训练样本的容忍度，并引入了一个基于蒸馏损失的正则化器来指导不忠实的生成。最后，我们将生成和检索视为两个共轭问题，每个模块都设计了一个联合学习过程，以相互受益。大量的实验表明，我们的半监督模型比最先进的监督替代方案以及可以利用未标记照片进行FG-SBIR的现有方法具有显着的性能提升。
2021-03-25 cs.CV
Deep Factorised Inverse-Sketching
Queen Mary University of London（伦敦玛丽女王大学）；The University of Edinburgh（爱丁堡大学）
基于草图的图像检索（FG-SBIR）等实际应用的推动下，手绘草图建模已成为当前的热门话题。草图显然与照片的边缘图有关，但是一张照片的人类徒手草图不仅仅是该照片边缘图的干净渲染。相反，有一个基本的抽象和图标渲染过程，其中整体几何形状被扭曲，突出的细节被选择性地包括在内。在本文中，我们研究了这个素描过程，并试图将其反转。我们通过将标志性的手绘草图转换为更像物体边界的几何现实投影的轮廓，并分别分解出突出的附加细节，来模拟这种反转。这种因式分解的重新表示使得将手绘草图与对象的照片实例相匹配变得更加容易。具体来说，我们提出了一种新的无监督图像风格转移模型的基础上强制执行循环嵌入一致性约束。一个深FG-SBIR模型，然后制定，以适应互补的歧视性细节，从每个分解草图，更好地匹配相应的照片。我们的方法进行了定性和定量评估，以证明其优越性超过一些国家的最先进的替代品的风格转移和FG-SBIR。
2018-08-07 cs.CV
