Semi-supervised Cycle-GAN for face photo-sketch translation in the wild
The University of Hong Kong（香港大学）；SenseTime Research（商汤科技研究院）；Baidu Inc（百度公司）
针对人脸照片-素描转换中配对数据少、未配对训练的Cycle-GAN存在隐写术问题，提出带噪声注入的半监督Semi-Cycle-GAN，用伪配对结合自监督训练，在公开基准和自然场景照片上均取得良好效果。
2023-07-18 cs.CV
Bridging Unpaired Facial Photos And Sketches By Line-drawings
Hangzhou Dianzi University（杭州电子科技大学）；AiSketcher Technology（AiSketcher科技）
在本文中，我们提出了一种新的方法来学习人脸素描合成模型，使用不成对的数据。我们的主要思想是通过使用线条绘制域$\mathcal{Z}$来桥接照片域$\mathcal{X}$和草图域$Y$。特别地，我们使用神经风格转换方法，即$F: \mathcal{X}/\mathcal{Y} \mapsto \mathcal{Z}$，将照片和草图映射到线条画。因此，我们获得了\textit{pseudo paired data} $(\mathcal{Z}, \mathcal{Y})$，并且可以以监督学习的方式学习映射$G:\mathcal{Z} \mapsto \mathcal{Y}$。在推理阶段，给定一张人脸照片，我们可以首先将其转换为线条画，然后通过$G \circ F$转换为草图。此外，我们提出了一种新的中风损失来产生不同类型的中风。我们的方法，称为sRender，符合人类艺术家的渲染过程。实验结果表明，sRender可以生成多风格的草图，并显着优于现有的不成对的图像到图像的翻译方法。
2021-02-25 cs.CV
Identity-Aware CycleGAN for Face Photo-Sketch Synthesis and Recognition
Beijing University of Posts and Telecommunications（北京邮电大学）
人脸素描合成与识别在数字娱乐和执法领域有着广泛的应用。最近，基于生成对抗网络（GANs）的方法显着提高了图像合成的质量，但它们没有明确考虑识别的目的。在本文中，我们首先提出了一种身份感知CycleGAN（IACycleGAN）模型，该模型应用了一种新的感知损失来监督图像生成网络。它改进了CycleGAN的照片素描合成，更加关注关键面部区域的合成，如眼睛和鼻子，这对身份识别很重要。此外，我们开发了合成模型和识别模型之间的相互优化过程，该过程通过IACycleGAN迭代合成更好的图像，并通过生成的和真实样本的三重丢失来增强识别模型。使用广泛使用的CUFS和CUFSF数据库上的photo-to-sketch和sketch-to-photo任务进行了广泛的实验。实验结果表明，该方法在合成图像质量和草图识别精度方面均优于现有的几种方法。
2021-03-30 cs.CV
Face sketch to photo translation using generative adversarial networks
Amirkabir University of Technology（阿米尔卡比尔理工大学）
将人脸草图转换为照片般逼真的人脸在执法和数字娱乐行业等许多应用中是一项有趣而重要的任务。这项任务最重要的挑战之一是草图和真实图像之间的固有差异，例如草图中缺乏皮肤组织的颜色和细节。随着对抗生成模型的出现，越来越多的方法被提出用于草图到图像的合成。然而，这些模型仍然受到限制，例如训练所需的大量配对数据，所生成图像的低分辨率或所生成图像的不真实外观。在本文中，我们提出了一种方法，用于将输入的面部素描转换为彩色照片，而不需要任何配对的数据集。为此，我们使用预先训练的人脸照片生成模型来合成高质量的自然人脸照片，并采用优化程序来保持对输入草图的高保真度。我们训练一个网络，将从输入草图中提取的人脸特征映射到人脸生成模型的潜在空间中的向量。此外，我们还研究了不同的优化标准，并将所提出的模型的结果与最先进的模型进行了定量和定性的比较。该模型的SSIM指数为0.655，rank-1人脸识别率为97.59%，且具有较高的图像质量。
2021-10-23 cs.CV
Inversion-by-Inversion: Exemplar-based Sketch-to-Photo Synthesis via Stochastic Differential Equations without Training
Beihang University（北京航空航天大学）；Renmin University of China（中国人民大学）；The University of Hong Kong（香港大学）
提出无需训练的两阶段方法Inversion-by-Inversion，通过形状增强反演和全控制反演，利用能量函数引导扩散模型，实现基于示例的草图到逼真彩色照片合成。
2024-01-03 cs.CV
Biphasic Face Photo-Sketch Synthesis via Semantic-Driven Generative Adversarial Network with Graph Representation Learning
Hong Kong University of Science and Technology（香港科技大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Beijing University of Posts and Telecommunications（北京邮电大学）；Peking University（北京大学）；Nanjing University（南京大学）；Shandong University of Science and Technology（山东科技大学）
本文提出语义驱动生成对抗网络结合图表示学习，通过类内语义图和类间结构图建模人脸结构，并采用双相交互循环训练策略，在CUFS和CUFSF数据集上实现了优于现有方法的照片-素描合成质量。
2023-12-03 cs.CV
Multi-Density Sketch-to-Image Translation Network
City University of Hong Kong（香港城市大学）；Brion-ASML（布里昂阿斯麦公司）
草图到图像（S2I）转换在图像合成和处理任务中起着重要作用，例如照片编辑和着色。一些特定的S2I翻译，包括草图到照片和草图到绘画，可以作为艺术设计行业的强大工具。然而，以前的方法仅支持具有单一密度水平的S2I转换，这为用户控制输入草图提供了较少的灵活性。在这项工作中，我们提出了第一个多层次的密度草图到图像的翻译框架，它允许输入草图，以涵盖从粗糙的对象轮廓到微观结构的广泛范围。此外，为了解决多层次密度输入草图的非连续表示问题，我们将密度水平投影到一个连续的潜在空间中，然后可以通过参数线性控制。这允许用户方便地控制输入草图的密度和图像的生成。此外，我们的方法已经在不同应用程序的各种数据集上成功验证，包括面部编辑，多模式草图到照片翻译和动画着色，为这些应用程序提供从粗到细的控制级别。
2020-06-18 cs.CV
DeepFacePencil: Creating Face Images from Freehand Sketches
University of Science and Technology of China（中国科学技术大学）
在本文中，我们探讨的任务，生成照片般逼真的人脸图像从手绘草图。现有的图像到图像的翻译方法需要一个大规模的成对的草图和图像的数据集进行监督。它们通常利用人脸图像的合成边缘图作为训练数据。然而，这些合成的边缘图严格地与相应的人脸图像的边缘对齐，这限制了它们对具有巨大笔画多样性的真实手绘草图的泛化能力。为了解决这个问题，我们提出了DeepFacetron，一个有效的工具，能够从手绘草图生成照片般逼真的人脸图像，基于一种新的双生成器图像翻译网络在训练过程中。设计了一种新的空间注意力池（SAP）来自适应地处理空间变化的笔划失真，以支持各种笔划风格和不同层次的细节。我们进行了广泛的实验，结果表明，我们的模型优于现有的方法，无论是图像质量和模型推广到手绘草图。
2020-08-31 cs.CV
Effect of Instance Normalization on Fine-Grained Control for Sketch-Based Face Image Generation
University of Science and Technology of China（中国科学技术大学）
草图是一种直观而有效的内容创建方法。虽然通过使用生成对抗网络在照片级真实感图像生成方面取得了重大进展，但对合成内容进行细粒度控制仍然具有挑战性。在现有的图像翻译网络中广泛采用的实例归一化层会洗掉输入草图中的细节，并导致对生成的人脸图像的期望形状失去精确控制。在本文中，我们全面调查的影响，实例规范化生成真实感的人脸图像从手绘草图。我们首先介绍了一种可视化的方法来分析特征嵌入草图与一组特定的变化。在视觉分析的基础上，我们修改了基线图像转换模型中的实例规范化层。我们精心设计了一套新的手绘草图，其中包括11类专门设计的变化，并进行了广泛的实验分析。实验结果和用户研究表明，该方法显著提高了合成图像的质量和与用户意图的一致性。
2022-07-17 cs.CV
SketchyGAN: Towards Diverse and Realistic Sketch to Image Synthesis
Georgia Institute of Technology（佐治亚理工学院）；Argo AI（Argo AI（公司））
从手绘草图合成真实感图像是计算机图形学和视觉领域的一个具有挑战性的问题。现有的方法要么需要精确的边缘图，或依赖于检索现有的照片。在这项工作中，我们提出了一种新的生成对抗网络（GAN）方法，该方法可以合成来自50个类别的合理图像，包括摩托车，马和沙发。我们展示了一个数据增强技术的草图，这是完全自动的，我们表明，增强的数据是有助于我们的任务。我们引入了一种新的网络构建块，适合于生成器和嵌入式系统，它通过在多个尺度上注入输入图像来改善信息流。与最先进的图像翻译方法相比，我们的方法生成了更逼真的图像，并获得了更高的初始分数。
2018-04-12 cs.CV
It's All About Your Sketch: Democratising Sketch Control in Diffusion Models
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（讯飞-萨里人工智能联合研究中心）
本文提出抽象感知框架，利用草图适配器、自适应时间步采样和判别性指导，解决扩散模型中直接草图控制导致的变形问题，实现业余草图生成精确图像的民主化。
2024-03-20 cs.CV
S2FGAN: Semantically Aware Interactive Sketch-to-Face Translation
Australian National University（澳大利亚国立大学）；CSIRO（联邦科学与工业研究组织）；Curtin University（科廷大学）；North South University（北南大学）
交互式面部图像操作尝试使用照片级真实面部和/或语义掩码作为输入来编辑单个和多个面部属性。在没有照片级真实感图像的情况下（只有草图/掩模可用），以前的方法只检索原始面部，但忽略了在翻译过程中辅助模型可控性和多样性的潜力。本文提出了一个草图到图像的生成框架S2 FGAN，旨在提高用户从简单草图到人脸属性编辑的理解能力和灵活性。该框架修改了生成对抗网络（GANs）上训练的约束潜在空间语义。我们采用两个潜在的空间来控制人脸的外观和调整所需的属性生成的脸。代替通过使用参考图像来约束翻译过程，用户可以命令模型通过在生成过程中涉及语义信息来修饰生成的图像。通过这种方式，我们的方法可以通过仅指定要更改的属性来操作单个或多个面属性。在CelebAMask-HQ数据集上的大量实验结果经验性地显示了我们在这项任务上的卓越性能和有效性。我们的方法成功地优于国家的最先进的方法，属性操纵，利用更大的控制属性强度。
2021-10-11 cs.CV
One-shot Face Sketch Synthesis in the Wild via Generative Diffusion Prior and Instruction Tuning
Guangdong University of Technology（广东工业大学）；Sun Yat-sen University（中山大学）
提出基于扩散模型和指令微调的一次性人脸素描合成方法，利用单对照片-素描样本训练，并构建OS-Sketch基准，实现真实场景下高质量素描生成。
2025-06-18 cs.CR cs.CV cs.CY
Face Sketch Synthesis with Style Transfer using Pyramid Column Feature
The University of Hong Kong（香港大学）；Baidu Research（百度研究院）
在本文中，我们提出了一种新的框架，基于深度神经网络的人脸素描合成从照片。模仿艺术家绘制草图的过程，我们的框架以级联的方式合成人脸草图。首先生成内容图像，该内容图像勾勒出面部的形状和关键面部特征。然后添加纹理和阴影以丰富草图的细节。我们利用一个完全的卷积神经网络（FCNN）创建的内容图像，并提出了一种风格转移方法，引入纹理和阴影的基础上新提出的金字塔列功能。实验结果表明，基于金字塔柱特征的风格转换方法不仅比传统的风格转换方法能更好地保留草图细节，而且优于传统的基于面片的风格转换方法。定量和定性评估表明，我们的框架优于其他国家的最先进的方法，也可以推广到不同的测试图像。代码可在https://github.com/chaofengc/Face-Sketch上获得
2020-09-18 cs.CV
Quality Guided Sketch-to-Photo Image Synthesis
West Virginia University（西弗吉尼亚大学）
艺术家绘制的面部素描广泛用于视觉识别应用，主要用于执法机构，但这些素描的质量取决于艺术家清晰复制所有关键面部特征的能力，这些特征有助于捕捉主体的真实身份。最近的工作试图将这些草图合成为合理的视觉图像，以提高视觉识别和识别。然而，事实证明，从草图合成照片级逼真的图像是一项更具挑战性的任务，特别是对于嫌疑人识别等敏感应用。在这项工作中，我们提出了一种新的方法，采用生成对抗网络，将单个草图合成为具有独特属性（如头发颜色，性别等）的多个合成图像。质量引导编码器，其最小化在不同层处的合成图像和真实图像的潜在空间嵌入的感知相异性以及在整个训练过程中保持合成图像的身份的身份保持网络。我们的方法旨在提高合成图像的视觉吸引力，同时将多个属性分配给生成器，而不会损害合成图像的身份。我们使用XDOG过滤器为CelebA，WVU Multi-modal和CelebA-HQ数据集合成草图，并从CUHK，IIT-D和FERET数据集的草图上训练的辅助生成器合成草图。与目前的技术水平相比，我们的结果令人印象深刻。
2020-04-20 cs.CV eess.IV stat.ML
Deep Plastic Surgery: Robust and Controllable Image Editing with Human-Drawn Sketches
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Texas A&M University（德克萨斯农工大学）
基于草图的图像编辑旨在根据人类绘制的草图提供的结构信息合成和修改照片。由于草图难以收集，以前的方法主要使用边缘图而不是草图来训练模型（称为基于边缘的模型）。然而，草图显示与边缘图的结构差异很大，从而失败的基于边缘的模型。此外，草图通常在不同用户之间表现出巨大的多样性，这要求编辑模型具有更高的通用性和鲁棒性。在本文中，我们提出了深整形手术，一种新颖的，强大的和可控的图像编辑框架，允许用户使用手绘草图输入交互式编辑图像。我们提出了一个草图细化策略，从艺术家的粗到细的绘图过程的启发，我们表明，可以帮助我们的模型很好地适应休闲和多样的草图，而不需要真正的草图训练数据。我们的模型还提供了一个细化级别控制参数，使用户能够灵活地定义如何“可靠”的输入草图应该被认为是最终的输出，草图的忠实性和输出逼真度之间的平衡（因为这两个目标可能会矛盾，如果输入草图画得不好）。为了实现多层次的细化，我们引入了一个基于风格的模块的水平调节，它允许自适应功能表示为不同的水平在一个单一的网络。大量的实验结果表明，我们的方法在提高图像编辑的视觉质量和用户可识别性方面的优越性。
2020-01-09 cs.CV
CLIP4Sketch: Enhancing Sketch to Mugshot Matching through Dataset Augmentation using Diffusion Models
IIIT-Hyderabad（印度信息技术研究所海得拉巴分校）；Michigan State University（密歇根州立大学）
提出 CLIP4Sketch 方法，利用扩散模型结合 CLIP 和 Adaface 嵌入生成受控素描数据集，显著提升了法医素描与大头照匹配的准确率，并优于 GAN 方法。
2024-08-13 cs.CV
PS-StyleGAN: Illustrative Portrait Sketching using Attention-Based Style Adaptation
IIIT-Hyderabad（印度理工学院海得拉巴分校）
本文提出PS-StyleGAN，利用StyleGAN的W+潜空间和注意力仿射变换模块，在少量成对样本和短训练时间下实现可编辑且保持身份的人像素描生成，并在多个数据集上优于现有方法。
2024-08-31 cs.CV
Component-Aware Sketch-to-Image Generation Using Self-Attention Encoding and Coordinate-Preserving Fusion
本文提出了一种基于自注意力编码和坐标保持融合的组件意识框架，用于提升草图到图像生成的逼真度和一致性。
2026-03-10 cs.CV
Face Sketch Synthesis via Semantic-Driven Generative Adversarial Network
Beijing University of Posts and Telecommunications（北京邮电大学）；Center for Research on Intelligent Perception and Computing, NLPR, CASIA（中国科学院自动化研究所模式识别国家重点实验室智能感知与计算研究中心）；Artificial Intelligence Research, CAS（中国科学院人工智能研究院）；Shandong University of Science and Technology（山东科技大学）
近年来，随着深度神经网络的发展，人脸素描合成取得了重大进展。素描肖像的精细描绘促进了广泛的应用，如数字娱乐和执法。然而，由于真实场景中光照的变化和复杂的背景，精确而逼真的人脸草图生成仍然是一个具有挑战性的任务。为了应对这些挑战，我们提出了一种新的语义驱动的生成对抗网络（SDGAN），它嵌入了全局结构级风格注入和局部类级知识重新加权。具体来说，我们进行人脸显著性检测的输入人脸照片，以提供整体的面部纹理结构，它可以被用作一个全局类型的先验信息。此外，我们利用人脸解析布局作为语义级空间之前，在SDGAN的生成器中执行全局结构化风格注入。此外，为了增强细节的真实感，我们提出了一种新的自适应重加权损失（ARLoss），致力于平衡不同语义类的贡献。在实验上，我们在CUFS和CUFSF数据集上的大量实验表明，我们提出的算法达到了最先进的性能。
2021-06-29 cs.CV
Conditional Human Sketch Synthesis with Explicit Abstraction Control
University of Surrey（萨里大学）；SketchX；CVSSP
针对现有草图合成抽象度隐式控制精度不足的问题，提出集成状态嵌入与笔画令牌的Transformer潜扩散模型，实现点级和笔画级显式抽象度控制，合成效果优于现有方法，具备实际应用潜力。
2023-06-15 cs.CV eess.IV
SketchRef: a Multi-Task Evaluation Benchmark for Sketch Synthesis
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
本文提出首个草图合成多任务评估基准SketchRef，通过类别预测、结构一致性估计及受简洁性约束的可识别性指标mRS，系统评估现有方法的优劣。
2025-04-09 cs.AI cs.CV
Attribute-Guided Sketch Generation
University of Trento（特伦托大学）；Huazhong University of Science and Technology（华中科技大学）；EPFL（洛桑联邦理工学院）；University of Oxford（牛津大学）；University of Michigan（密歇根大学）；Texas State University（得克萨斯州立大学）
面部属性很重要，因为它们提供了详细的描述，并确定了人脸的视觉外观。在本文中，我们的目标是将人脸图像转换为草图，同时生成面部属性。为此，我们提出了一种新的属性引导草图生成对抗网络（ASGAN），它是一个端到端的框架，包含两对生成器和鉴别器，其中一个用于生成具有属性的人脸，而另一个用于图像到草图的翻译。这两个生成器形成一个W形网络（W-网），它们在权重共享约束下共同训练。此外，我们还提出了两个新的鉴别器，残余的一个专注于属性生成和三重之一，帮助生成逼真的草图。为了验证我们的模型，我们创建了一个包含8，804张图像的新的大型数据集，命名为属性面部照片和草图（AFPS）数据集，这是第一个包含与面部草图图像相关的属性的数据集。实验结果表明，所提出的网络（i）生成更多的照片般逼真的人脸与更清晰的面部属性比基线和（ii）具有良好的泛化能力，对不同的生成任务。
2019-04-14 cs.AI cs.CV cs.LG
Scribbler: Controlling Deep Image Synthesis with Sketch and Color
Georgia Institute of Technology（佐治亚理工学院）；Adobe Research（Adobe研究院）；Princeton University（普林斯顿大学）
最近，有几种很有前途的方法可以从深度卷积网络生成逼真的图像。这些方法避开了传统的计算机图形渲染管道，而是通过从大量照片（例如脸部或卧室）中学习来生成像素级别的图像。然而，这些方法的效用有限，因为用户难以控制网络产生什么。在本文中，我们提出了一种深度对抗图像合成架构，该架构以草图边界和稀疏颜色笔画为条件，以生成逼真的汽车、卧室或人脸。我们展示了一个基于草图的图像合成系统，它允许用户在草图上“涂鸦”，以指示对象的首选颜色。然后，我们的网络可以生成令人信服的图像，满足用户的颜色和草图约束。网络是前馈的，它允许用户实时的看到他们编辑的效果。我们比较最近的工作草图图像合成，并表明我们的方法可以产生更逼真，更多样化，更可控的输出。该架构在用户引导的灰度图像着色方面也是有效的。
2016-12-05 cs.CV cs.LG
Unsupervised Sketch-to-Photo Synthesis
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）；Peking University（北京大学）；Beihang University（北京航空航天大学）
人类可以想象一张真实的照片，给出一张手绘草图，不仅空间上不精确，几何上扭曲，而且没有颜色和视觉细节。我们首次研究了无监督的草图到照片合成，从未配对的草图照片数据中学习，其中草图的目标照片在训练过程中是未知的。现有的作品只处理风格变化或空间变形，从边缘对齐的线条画合成照片或在同一模态中转换形状，例如，彩色图像。我们的关键见解是将无监督的草图到照片合成分解为两个阶段的转换任务：首先从草图到灰度照片的形状转换，然后从灰度到彩色照片的内容丰富。我们还结合了一个自我监督的去噪目标和一个注意力模块来处理抽象和风格变化，这些变化是草图固有的和特定的。我们的合成是草图忠实和照片逼真，使草图为基础的图像检索在实践中。一个令人兴奋的必然产品是一个通用的和有前途的草图生成器，捕捉人类的视觉感知超越边缘地图的照片。
2020-03-23 cs.CV
End-to-End Photo-Sketch Generation via Fully Convolutional Representation Learning
Sun Yat-sen University（中山大学）；The Hong Kong Polytechnic University（香港理工大学）
基于草图的人脸识别是视觉和多媒体研究领域的一个有趣的课题，但由于人脸照片和草图之间存在很大的差异，因此具有很大的挑战性。在本文中，我们提出了一种新的方法，用于照片素描生成，旨在自动转换为人脸照片到细节保留的个人素描。与传统的基于样本字典合成草图的模型不同，我们开发了一个完全卷积的网络来学习端到端的照片草图映射。我们的方法将整个面部照片作为输入，并通过有效的推理和学习直接生成相应的草图图像，其中架构仅由非常小的卷积内核堆叠。为了更好地捕捉照片素描转换过程中的人的身份，我们定义了我们的优化目标的形式联合生成判别最小化。特别是，一个歧视性的正则化项被纳入到照片素描生成，增强了对其他个人的所生成的人的草图的可辨别性。在几个标准基准上进行的大量实验表明，我们的方法在照片草图生成和人脸草图验证方面都优于其他最先进的方法。
2015-04-11 cs.CV
Unsupervised Scene Sketch to Photo Synthesis
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）；Amazon（亚马逊）
草图是一种直观而强大的视觉表达，因为它们是快速执行的徒手画。提出了一种从场景草图合成真实感照片的方法。在不需要草图和照片对的情况下，我们的框架以无监督的方式直接从现成的大规模照片数据集中学习。为此，我们引入了一个标准化模块，该模块通过将照片和草图转换为标准化域（即边缘图），在训练期间提供伪草图-照片对。草图和照片之间的领域差距缩小，也使我们能够将它们分解为两个部分：整体场景结构和低层次的视觉风格，如颜色和纹理。利用这一优势，我们合成一个照片级真实感的图像相结合的草图和参考照片的视觉风格的结构。对感知相似性度量和人类感知研究的大量实验结果表明，该方法可以从场景草图中生成逼真的照片，并优于最先进的照片合成基线。我们还表明，我们的框架有利于可控的操作的照片合成，通过编辑相应的草图笔划，提供更多的细粒度的细节比以前的方法，依赖于区域级编辑。
2022-09-06 cs.CV
HAIFIT: Human-to-AI Fashion Image Translation
Hunan University（湖南大学）；University of Warwick（华威大学）
针对现有草图到服装图像翻译方法易损失草图细节、偏离设计预期的问题，提出HAIFIT方法，通过多尺度特征融合与多维度特征依赖捕获生成高保真服装图像，在效果与速度上均优于现有方法，助力提升设计效率。
2024-08-14 cs.CV
Semi-Supervised Learning for Face Sketch Synthesis in the Wild
The University of Hong Kong（香港大学）；Baidu Research（百度研究院）
人脸素描合成在过去的几年里取得了很大的进展。基于深度神经网络的最新方法能够从人脸照片生成高质量的草图。然而，由于缺乏训练数据（照片-草图对），这些基于深度学习的方法都不能成功地应用于野外的人脸照片。在本文中，我们提出了一种半监督深度学习架构，该架构通过在训练中利用额外的人脸照片来扩展人脸草图合成以处理野外的人脸照片。我们不是用地面真实草图来监督网络，而是首先在输入照片和一个小的照片-草图对参考集中的照片之间的特征空间中执行补丁匹配。然后，我们组成一个伪草图特征表示使用相应的草图特征补丁来监督我们的网络。使用所提出的方法，我们可以训练我们的网络使用一个小的参考集的照片草图对连同一个大的人脸照片数据集没有地面真实草图。实验表明，我们的方法在公共基准测试和野外人脸照片上都达到了最先进的性能。代码可在https://github.com/chaofengc/Face-Sketch-Wild上获得。
2019-05-05 cs.CV
Control3D: Towards Controllable Text-to-3D Generation
University of Science and Technology of China（中国科学技术大学）；Sun Yat-sen University（中山大学）；HiDream.ai Inc.（HiDream.ai 公司）
针对现有文本到3D生成技术缺乏可控性的问题，提出Control3D方法，通过改造2D条件扩散模型引导NeRF场景学习，并结合可微分草图模型保证几何一致性，实现基于文本和手绘草图的可控3D生成。
2023-11-09 cs.CV cs.MM
Learning to Sketch with Shortcut Cycle Consistency
Queen Mary University of London（伦敦玛丽女王大学）；The University of Edinburgh（爱丁堡大学）
看就是画--徒手画自然地建立了人类和机器视觉之间的联系。在本文中，我们提出了一种新的方法，用于将对象照片转换为草图，模仿人类的素描过程。这是一项极具挑战性的任务，因为照片和草图领域有很大的不同。此外，即使在参考照片中描绘相同的对象实例时，人类草图也表现出各种程度的复杂性和抽象性。这意味着即使照片-草图对可用，它们也只能提供弱的监督信号来学习翻译模型。与解决D（E（photo））-> sketch问题的现有监督方法相比，其中E（$\cdot$）和D（$\cdot$）分别表示编码器和解码器，我们利用逆问题（例如，D（E（sketch））-> photo），并与域内重建的无监督学习任务相结合，所有这些都在一个多任务学习框架内。与现有的基于周期一致性的无监督方法（即，D（E（D（E（photo）-> photo），我们引入在编码器瓶颈处强制执行的快捷一致性（例如，D（E（photo））-> photo）来利用额外的自我监督。定性和定量的结果表明，该模型优于一些国家的最先进的替代品。我们还表明，合成草图可以用来训练一个更好的细粒度的基于草图的图像检索（FG-SBIR）模型，有效地缓解了草图数据稀缺的问题。
2018-05-01 cs.CV
Face Photo Sketch Synthesis via Larger Patch and Multiresolution Spline
人脸照片素描合成由于其在数字娱乐和执法领域的潜在应用，近年来受到了研究者的关注。已经提出了一些基于补丁的方法来解决这个问题。这些方法通常更多地关注如何为给定的照片补丁获得草图补丁，而不是如何混合这些生成的补丁。然而，如果没有适当的混合方法，一些锯齿状的部分和斑驳的点会出现在整个人脸草图。为了得到更平滑的草图，我们提出了一种新的方法来减少这种锯齿状的部分和斑驳的点。在我们的系统中，我们采用了一种现有的方法，这是马尔可夫随机场（MRF），训练一个粗略的人脸素描。然后，该草图人脸草图将被划分成一些更大的块，并重新训练的非负矩阵分解（NMF）。最后，我们使用多分辨率样条和一个混合技巧称为全覆盖技巧混合这些重新训练的补丁。实验结果表明，与以往的一些方法相比，我们可以得到一个更平滑的人脸草图。
2015-09-19 cs.CV
Sketch-a-Classifier: Sketch-based Photo Classifier Generation
Queen Mary University of London（伦敦玛丽女王大学）；The University of Edinburgh（爱丁堡大学）
当代深度学习技术已经使图像识别成为一种相当可靠的技术。然而，训练有效的照片分类器通常需要大量的例子，这限制了图像识别的可扩展性和对图像可能不可用的场景的适用性。这激发了对零样本学习的研究，零样本学习通过从其他模式（如文本）的知识转移来解决这个问题。在本文中，我们研究了另一种合成图像分类器的方法：几乎直接从用户的想象力，通过徒手素描。这种方法不要求类别是可命名的或可描述的，通过属性，按照零样本学习。我们通过训练一个{模型回归}网络来实现这一点，以从{手绘草图}空间映射到照片分类器的空间。事实证明，这种映射可以以类别不可知的方式学习，允许用户合成新类别的照片分类器，而不需要注释的训练照片。{We还表明，这种模式的分类器生成也可以用来提高现有的照片分类器的粒度，或作为一个补充，以名称为基础的零样本学习。
2018-04-30 cs.CV
Attribute-Centered Loss for Soft-Biometrics Guided Face Sketch-Photo Recognition
West Virginia University（西弗吉尼亚大学）
面部草图能够捕捉面部的空间拓扑，同时缺少一些面部属性，如种族、皮肤或头发颜色。现有的素描照片识别方法大多忽略了面部属性的重要性。在本文中，我们提出了一个新的损失函数，称为属性中心损失，训练深度耦合卷积神经网络（DCCNN）的面部属性引导草图照片匹配。具体来说，提出了一种以属性为中心的损失，它在共享的嵌入空间中学习几个不同的中心，用于具有不同属性组合的照片和草图。DCCNN同时被训练成围绕其关联中心映射照片和成对的已证实属性以及相应的法医草图，同时保留空间拓扑信息。重要的是，这些中心学会了彼此保持相对距离，这与它们相互矛盾的属性的数量有关。复合（E-PRIP）和半法医（IIIT-D半法医）数据库进行了广泛的实验。所提出的方法显着优于最先进的。
2018-04-09 cs.CV
An Approach: Modality Reduction and Face-Sketch Recognition
Jadavpur University（贾达普大学）
从人脸照片数据库中识别人脸素描是当前研究者面临的一个挑战性课题。由于训练集中的人脸照片图像和测试集中的人脸素描图像具有不同的模态。不同人的两张人脸照片之间的差异小于同一个人在一张人脸照片和人脸素描之间的差异。在本文中，为了减少人脸照片和人脸素描之间的模态，我们首先把人脸照片和人脸素描图像在一个新的维度，使用二维离散Haar小波变换的规模3，其次是一个负的方法。然后，使用主成分分析（PCA）从变换后的图像中提取特征。之后，我们使用SVM分类器和K-NN分类器进行更好的分类。我们所提出的方法是实验验证其鲁棒性对面部捕捉在一个良好的照明条件下，并在正面姿势。实验以100张男性和女性的人脸图像作为训练集，以100张男性和女性的人脸素描图像作为测试集，分别采集自香港中文大学训练和测试的裁剪照片和香港中文大学训练和测试的裁剪素描。
2013-12-05 cs.CV
AirSketch: Generative Motion to Sketch
University of Central Florida（中央佛罗里达大学）
本文提出AirSketch概念，通过基于数据增强的自监督训练可控图像扩散模型，直接从含噪手部追踪图像生成美观草图，实现了无需复杂硬件的无标记空中绘图。
2025-06-28 cs.AI cs.CV cs.GR
SketchingReality: From Freehand Scene Sketches To Photorealistic Images
University of Surrey（塞拉利昂大学）；Université de Montréal（蒙特利尔大学）；Adobe Research（Adobe研究）
本文提出了一种基于调制的方法，通过优先考虑草图的语义解释而非严格遵循边缘位置，实现了从自由手草图到逼真图像的生成，并在语义对齐和图像质量上优于现有方法。
2026-02-16 cs.CV
More Photos are All You Need: Semi-Supervised Learning for Fine-Grained Sketch Based Image Retrieval
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（讯飞-萨里人工智能联合研究中心）
现有的基于细粒度草图的图像检索（FG-SBIR）模型所面临的一个根本挑战是数据稀缺-模型性能在很大程度上受到草图-照片对缺乏的影响。虽然照片的数量可以很容易地缩放，但每个相应的草图仍然需要单独制作。在本文中，我们的目标是减轻这样一个上限的草图数据，并研究是否未标记的照片单独（其中有很多）可以培养的性能增益。特别是，我们引入了一种新的半监督框架跨模态检索，可以额外利用大规模的未标记的照片，占数据稀缺。我们半监督设计的核心是一个顺序的照片到草图生成模型，旨在为未标记的照片生成成对的草图。重要的是，我们进一步引入了一个基于蒸馏损失的正则化器来提供对噪声训练样本的容忍度，并引入了一个基于蒸馏损失的正则化器来指导不忠实的生成。最后，我们将生成和检索视为两个共轭问题，每个模块都设计了一个联合学习过程，以相互受益。大量的实验表明，我们的半监督模型比最先进的监督替代方案以及可以利用未标记照片进行FG-SBIR的现有方法具有显着的性能提升。
2021-03-25 cs.CV
DLP-GAN: learning to draw modern Chinese landscape photos with generative adversarial network
School of Computer and Communication, Lanzhou University of Technology（兰州理工大学计算机与通信学院）；School of Information Science and Engineering, Lanzhou University（兰州大学信息科学与工程学院）
针对山水画转现代照片的研究空白，提出搭载非对称循环映射、密集融合模块生成器及双一致性损失的DLP-GAN无监督跨域翻译框架，实验证明其效果优于现有最优方法。
2024-03-07 cs.AI cs.CV
Deep Factorised Inverse-Sketching
Queen Mary University of London（伦敦玛丽女王大学）；The University of Edinburgh（爱丁堡大学）
基于草图的图像检索（FG-SBIR）等实际应用的推动下，手绘草图建模已成为当前的热门话题。草图显然与照片的边缘图有关，但是一张照片的人类徒手草图不仅仅是该照片边缘图的干净渲染。相反，有一个基本的抽象和图标渲染过程，其中整体几何形状被扭曲，突出的细节被选择性地包括在内。在本文中，我们研究了这个素描过程，并试图将其反转。我们通过将标志性的手绘草图转换为更像物体边界的几何现实投影的轮廓，并分别分解出突出的附加细节，来模拟这种反转。这种因式分解的重新表示使得将手绘草图与对象的照片实例相匹配变得更加容易。具体来说，我们提出了一种新的无监督图像风格转移模型的基础上强制执行循环嵌入一致性约束。一个深FG-SBIR模型，然后制定，以适应互补的歧视性细节，从每个分解草图，更好地匹配相应的照片。我们的方法进行了定性和定量评估，以证明其优越性超过一些国家的最先进的替代品的风格转移和FG-SBIR。
2018-08-07 cs.CV
Multi-granularity Association Learning Framework for on-the-fly Fine-Grained Sketch-based Image Retrieval
Chongqing University of Posts and Telecommunications（重庆邮电大学）；University of California, Riverside（加利福尼亚大学河滨分校）
基于细粒度草图的图像检索（FG-SBIR）解决了在给定的查询草图中检索特定照片的问题。但是，它的广泛适用性受到限制，因为大多数人很难画出完整的草图，而且绘制过程往往需要时间。在这项研究中，我们的目标是用尽可能少的笔画数（不完整的草图）检索目标照片，命名为即时FG-SBIR（Bhunia et al. 2020），它在绘画开始时就开始检索每个笔画。我们认为，在每张照片的草图绘制片段中，这些不完整的草图之间存在着显著的相关性。为了更有效地学习照片和不完整草图之间共享的联合嵌入空间，我们提出了一个多粒度关联学习框架，进一步优化了所有不完整草图的嵌入空间。具体来说，基于草图的完整性，我们可以将一个完整的草图集分为几个阶段，每个阶段对应一个简单的线性映射层。此外，该框架引导当前草图的向量空间表示逼近后续草图的向量空间表示，实现了笔划较少草图的检索性能逼近笔划较多草图的检索性能。在实验中，我们提出了更现实的挑战，我们的方法在两个公开的细粒度草图检索数据集上实现了优于最先进的方法和替代基线的早期检索效率。
2022-01-13 cs.CV
Learning Deep Sketch Abstraction
SketchX, Queen Mary University of London（SketchX，伦敦玛丽女王大学）；The University of Edinburgh（爱丁堡大学）
手绘草图的识别、合成和基于草图的细粒度图像检索（FG-SBIR）等技术已经在不同的背景下得到了广泛的研究。草图分析的一个基本挑战是处理截然不同的人类绘画风格，特别是在抽象级别方面。在这项工作中，我们提出了第一个笔划级草图抽象模型的基础上的素描抽象的洞察力之间的可识别性和用于绘制它的笔划的数量进行权衡的过程。具体地说，我们训练模型抽象草图生成通过强化学习的笔划删除策略，学习预测哪些笔划可以安全地删除，而不影响可识别性。我们表明，我们的抽象模型可用于各种草图分析任务，包括：（1）建模笔划显着性和理解草图识别模型的决策，（2）合成给定类别的可变抽象的草图，或照片中的参考对象实例，以及（3）仅用照片训练FG-SBIR模型，绕过昂贵的照片-草图对收集步骤。
2018-04-13 cs.CV
Active Learning for Fine-Grained Sketch-Based Image Retrieval
Carnegie Mellon University（卡内基梅隆大学）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出一种基于数据分布的主动学习采样方法，利用已有照片-草图对与无草图照片的关系及其特征来平衡不确定性与多样性，显著减少FG-SBIR中的草图标注工作量，并在ChairV2和ShoeV2上验证了其优于现有基线。
2023-09-15 cs.CV
Instance-level Sketch-based Retrieval by Deep Triplet Classification Siamese Network
素描作为一种有效的交际工具，被用来表达事物的抽象和直观的意义。手绘草图的识别在许多实际应用中是非常有用的。虽然基于内容的草图识别已经研究了几十年，基于草图的图像检索（SBIR）任务的实例级最近引起了显着的研究关注。现有的数据集，如QMUL-Chair和QMUL-Shoe，专注于椅子和鞋子的检索任务。然而，在以前的实例级SBIR工作中有几个关键的限制。最先进的作品在很大程度上依赖于预训练过程，边缘图的质量，多重裁剪测试策略，以及增强草图图像。为了有效地解决实例级SBIR，我们提出了一种新的深度三元组分类连体网络（DeepTCNet），该网络采用DenseNet-169作为基本特征提取器，并通过三元组损失和分类损失进行了优化。关键是，我们提出的DeepTCNet可以打破以前作品中存在的局限性。在五个基准草图数据集上的实验验证了该模型的有效性。此外，为了研究基于草图的发型检索任务，本文提出了一个新的实例级照片-草图数据集- Hairstyle Photo-Sketch数据集，它由3600张草图和照片以及2400个草图-照片对组成。
2019-05-25 cs.CV
Sketch Down the FLOPs: Towards Efficient Networks for Human Sketch
SketchX, CVSSP, University of Surrey, United Kingdom（SketchX、CVSSP、塞夫顿大学、英国）；Department of Computer Science, University of Central Florida（计算机科学系、中央佛罗里达大学）
本文提出跨模态知识蒸馏网络和基于RL的画布选择器，使照片高效网络适应素描数据，在保持准确率的同时大幅降低FLOPs。
2025-05-29 cs.CV
Deep Sketch-Photo Face Recognition Assisted by Facial Attributes
West Virginia University（西弗吉尼亚大学）
在本文中，我们提出了一个深度耦合的框架，以解决匹配素描图像对画廊的mugshots的问题。人脸草图具有关于人脸的空间拓扑和几何细节的基本信息，但缺少一些重要的面部属性，如种族、头发、眼睛和肤色。我们提出了一个耦合的深度神经网络架构，利用面部属性，以提高素描照片识别性能。所提出的属性辅助深度卷积神经网络（AADCNN）方法利用面部属性并利用来自面部属性识别和面部验证任务的损失函数，以便在公共嵌入子空间中学习丰富的鉴别特征。面部属性识别任务通过将从具有不同面部属性的个体提取的嵌入特征分开来增加人与人之间的差异，而验证任务通过将与一个人相关的所有特征拉在一起来减少人与人之间的差异。学习的区分特征可以很好地推广到在训练数据中看不到的新身份。与传统的草图-照片识别方法相比，该体系结构能够充分利用草图和补充的人脸属性信息来训练深度模型。在复合（E-PRIP）和半法医（IIIT-D半法医）数据集上进行了广泛的实验。实验结果表明，与现有的草图照片识别算法相比，该方法具有一定的优越性
2018-07-31 cs.CV
Adversarial Open Domain Adaptation for Sketch-to-Photo Synthesis
Purdue University（普渡大学）；ByteDance Inc.（字节跳动公司）；Facebook（脸书公司）
在本文中，我们探讨了开放域的草图到照片的翻译，其目的是合成一个现实的照片从手绘草图与其类标签，即使该类的草图是失踪的训练数据。这是具有挑战性的，由于缺乏训练监督和大的几何失真之间的手绘草图和照片域。为了从照片中合成缺席的手绘草图，我们提出了一个框架，共同学习草图到照片和照片到草图生成。然而，从假草图训练的生成器在处理缺失类的草图时可能会导致不令人满意的结果，这是由于合成草图和真实草图之间的领域差距。为了缓解这个问题，我们进一步提出了一个简单而有效的开放域采样和优化策略，以“欺骗”生成器将假草图视为真实草图。我们的方法利用了学到的草图到照片和照片到草图的映射域中的数据，并将其推广到开放域类。我们验证我们的方法上的Scribble和SketchyCOCO数据集。与最近的竞争方法相比，我们的方法显示出令人印象深刻的结果，在合成逼真的颜色，纹理，并保持各种类别的开放域草图的几何组成。我们的代码可在https://github.com/Mukosame/AODA上获得
2021-12-22 cs.AI cs.CV
SceneTrilogy: On Human Scene-Sketch and its Complementarity with Photo and Text
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（讯飞-萨里人工智能联合研究中心）
在本文中，我们扩展场景理解，包括人体素描。其结果是一个完整的三部曲的场景表示从三个不同的和互补的形式-素描，照片和文字。我们不是学习一个严格的三向嵌入并完成它，而是专注于学习一个灵活的联合嵌入，它完全支持这种互补性带来的“可选性”。我们的嵌入支持两个轴上的可选性：（i）跨模态的可选性-使用模态的任何组合作为下游任务（如检索）的查询，（ii）跨任务的可选性-同时利用嵌入进行区分（例如，检索）或生成任务（例如，字幕）。这为最终用户提供了灵活性，充分利用了每种模式的最佳效果，因此首先满足了我们提出三部曲的目的。首先，信息瓶颈和条件可逆神经网络的组合从草图，照片和文本中的模态不可知性中分离出模态特定的组件。第二，使用修改的交叉注意，从草图，照片和文本的模态不可知的实例协同。一旦学会，我们表明我们的嵌入可以适应场景相关任务的多方面，包括那些首次通过包含草图而启用的任务，所有这些都没有任何特定于任务的修改。项目页：\url{http://www.pinakinathc.me/scenetrilogy}
2023-03-26 cs.CV
Sketch Less for More: On-the-Fly Fine-Grained Sketch Based Image Retrieval
University of Surrey（萨里大学）；University of Edinburgh（爱丁堡大学）
基于细粒度草图的图像检索（FG-SBIR）解决了给定用户查询草图的特定照片实例的检索问题。然而，它的广泛适用性受到绘制草图需要时间的事实的阻碍，并且大多数人都在努力绘制完整和忠实的草图。在本文中，我们重新制定了传统的FG-SBIR框架来应对这些挑战，最终目标是用尽可能少的笔划来检索目标照片。我们进一步提出了一个即时的设计，只要用户开始绘图就开始检索。为了实现这一点，我们设计了一个基于强化学习的跨模态检索框架，该框架直接优化了一个完整的草图绘制事件中地面实况照片的排名。此外，我们引入了一种新的奖励计划，规避了与不相关的草图笔划相关的问题，从而为我们提供了一个更一致的排名列表在检索过程中。我们在两个公开的细粒度草图检索数据集上实现了优于最先进方法和替代基线的早期检索效率。
2020-05-11 cs.CV
Controllable Text-to-Image Generation with GPT-4
UC Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）
本文提出Control-GPT，利用GPT-4生成TikZ程序化草图来引导扩散模型，通过将实例掩码转为多边形解决训练数据缺失问题，显著提升文本到图像生成的空间可控性并刷新最优水平。
2023-05-29 cs.AI cs.CV
Cross-modal Subspace Learning for Fine-grained Sketch-based Image Retrieval
Beijing University of Posts and Telecommunications（北京邮电大学）；Chinese Academy of Sciences（中国科学院）；Queen Mary University of London（伦敦玛丽女王大学）；Victoria University of Wellington（惠灵顿维多利亚大学）
基于草图的图像检索（SBIR）是具有挑战性的，由于草图和照片之间固有的领域差距。与像素完美的照片描绘相比，草图是对现实世界的高度抽象的标志性渲染。因此，直接使用低级视觉线索来匹配草图和照片是不够的，因为建立语义上遍历两种模态的公共低级子空间是不平凡的。大多数现有的SBIR研究没有直接解决这个跨模态问题。这自然促使我们探索SBIR中的跨模态检索方法的有效性，这些方法已经成功地应用于图像-文本匹配。在本文中，我们介绍并比较了一系列最先进的跨模态子空间学习方法，并在最近发布的两个细粒度SBIR数据集上对它们进行了基准测试。通过对实验结果的深入研究，我们证明了子空间学习可以有效地对草图-照片域间隙进行建模。此外，我们得出了一些关键的见解，以推动未来的研究。
2017-05-28 cs.CV
StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks
Rutgers University（罗格斯大学）；Lehigh University（理海大学）；The Chinese University of Hong Kong（香港中文大学）；Baidu Research（百度研究院）
从文本描述合成高质量图像是计算机视觉中的一个具有挑战性的问题，并且具有许多实际应用。现有的文本到图像的方法生成的样本可以大致反映给定的描述的含义，但他们不能包含必要的细节和生动的对象部分。在本文中，我们提出了堆叠生成对抗网络（StackGAN），以生成256 × 256的照片级真实感图像的文本描述为条件。我们通过草图细化过程将难题分解为更易于管理的子问题。第一阶段GAN根据给定的文本描述绘制对象的基本形状和颜色，产生第一阶段低分辨率图像。第二阶段GAN将第一阶段的结果和文本描述作为输入，并生成具有照片般逼真细节的高分辨率图像。它能够纠正第一阶段结果中的缺陷，并通过细化过程添加引人注目的细节。为了提高合成图像的多样性并稳定条件GAN的训练，我们引入了一种新的条件增强技术，该技术鼓励潜在条件流形中的平滑性。在基准数据集上进行的大量实验和与最新技术的比较表明，该方法在生成基于文本描述的照片级真实感图像方面取得了显着的改进。
2017-08-05 cs.AI cs.CV stat.ML
Modality-Aware Representation Learning for Zero-shot Sketch-based Image Retrieval
Seoul National University（首尔大学）；Google Research（谷歌研究院）
针对零样本基于草图的图像检索中成对样本收集困难的问题，提出通过文本对比间接对齐草图与照片的模态感知框架，解耦语义信息并实现高效跨模态检索。
2024-01-10 cs.CV
Convolutional Sketch Inversion
Radboud University（拉德堡德大学）
在本文中，我们使用深度神经网络来反转人脸草图，以合成照片级真实感的人脸图像。我们首先构建了一个半模拟数据集，其中包含了大量的计算机生成的人脸草图与不同的风格和相应的人脸图像，通过扩展现有的无约束的人脸数据集。然后，我们通过利用深度学习的最新进展，如批量归一化，深度残差学习，感知损失和随机优化，结合我们的新数据集，对计算机生成的草图和手绘草图进行训练模型，以获得最先进的结果。最后，我们展示了我们的模型在美术和法医艺术的潜在应用。与现有的基于补丁的方法相比，我们基于深度神经网络的方法可以通过在野外反转人脸草图来合成逼真的人脸图像。
2016-06-09 cs.CV
