CoGS: Controllable Generation and Search from Sketch and Style
Georgia Institute of Technology（佐治亚理工学院）；University of Surrey（萨里大学）；Adobe Inc.（奥多比公司）
我们提出了CoGS，一种新的方法，风格条件，草图驱动的图像合成。CoGS允许探索给定草图对象的不同外观可能性，从而实现对输出的结构和外观的解耦控制。经由输入草图和范例“样式”调节图像到基于变换器的草图和样式编码器来实现对对象结构和外观的粗粒度控制，以生成离散码本表示。我们将码本表示映射到度量空间中，从而在通过矢量量化GAN（VQ GAN）解码器生成图像之前，能够对多个合成选项之间的选择和插值进行细粒度控制。因此，我们的框架统一了搜索和合成任务，因为草图和样式对可以用于运行初始合成，该初始合成可以通过与搜索语料库中的类似结果组合来细化，以产生更接近地匹配用户意图的图像。我们证明了我们的模型，在我们新创建的伪草图数据集的125个对象类上训练，能够产生各种各样的语义内容和外观风格。
2022-07-20 cs.CV
Line Artist: A Multiple Style Sketch to Painting Synthesis Scheme
Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）
画一幅美丽的画是许多人从小的梦想。在本文中，我们提出了一种新的方案，线艺术家，合成艺术风格的绘画与写意素描图像，利用深度学习和先进的算法的力量。我们的方案包括三个模型。草图图像提取（SIE）模型被应用于生成训练数据。它包括平滑现实图像和铅笔素描提取。详细图像合成（DIS）模型训练条件生成对抗网络以生成详细的真实世界信息。自适应加权艺术风格转移（AWAST）模型能够使用VGG19网络和PageRank算法将多种风格的图像与内容相结合。然后通过优化迭代生成吸引人的艺术图像。实验在Kaggle Cats数据集和牛津建筑数据集上进行。我们的合成结果被证明是艺术，美丽和强大的。
2018-03-18 cs.CV
Curve-based Neural Style Transfer
Carnegie Mellon University（卡内基梅隆大学）
本文提出一种面向曲线设计草图的参数化神经风格迁移框架，结合形状编辑规则、曲线到像素转换和微调VGG19特征金字塔网络，以提升产品设计中的风格迁移效果。
2023-10-03 cs.AI cs.CV cs.GR
Sketch-to-Art: Synthesizing Stylized Art Images From Sketches
Playform - Artrendex Inc.；Department of Computer Science, Rutgers University（罗格斯大学计算机科学系）；Rutgers University（罗格斯大学）
我们提出了一种新的方法来合成充分详细的艺术风格化的图像从草图。给定一个草图，没有语义标记，以及一个特定风格的参考图像，模型可以合成有意义的细节与颜色和纹理。该模型由三个模块组成，旨在更好地捕捉和生成艺术风格。基于GAN框架，引入了双掩码机制来加强内容约束（来自草图），并开发了特征映射转换技术来加强风格一致性（到参考图像）。最后，提出了一种实例规范化的逆过程，以分离样式和内容信息，从而获得更好的合成性能。实验表明，基于拟议工艺采用的先前最先进技术，与基线相比，定性和定量都有显着提高。
2020-10-02 cs.CV eess.IV
SketchPatch: Sketch Stylization via Seamless Patch-level Synthesis
Tel Aviv University（特拉维夫大学）
图像到图像转换的范例被利用，通过几何纹理细节的转移来实现草图风格化。缺乏必要的数据量的标准训练的翻译系统，我们主张在补丁级别的操作，其中一些风格化的草图提供了丰富的挖掘潜力补丁具有基本的几何图元。在面片级别进行操作需要特别考虑完整的草图平移，因为面片的单独平移（不考虑相邻面片）可能会在面片边界处产生可见的接缝和伪影。对齐的样式化和普通图元对被组合以形成包含边界周围的样式化元素和内部的普通元素的输入混合体，并且被作为无缝翻译（ST）生成器的输入给出，无缝翻译（ST）生成器的输出补丁被期望重建完全样式化的补丁。一个对抗性的添加促进了在推理时对不同几何形状的泛化和鲁棒性，形成了一个简单有效的系统，用于任意草图风格化，如在各种样式和草图上所展示的。
2020-09-04 cs.CV cs.GR cs.LG
Self-Supervised Sketch-to-Image Synthesis
Artrendex Inc.（Artrendex公司）；Rutgers University（罗格斯大学）
从任意绘制的草图中想象出彩色的逼真图像是我们渴望机器模仿的人类能力之一。与以往的方法，要么需要草图图像对或利用低数量检测到的边缘作为草图，我们研究了基于样本的草图到图像（S2 I）合成任务中的自监督学习的方式，消除了配对的草图数据的必要性。为此，我们首先提出了一种无监督的方法来有效地合成一般RGB数据集的线条草图。与合成的配对数据，然后，我们提出了一个自我监督的自动编码器（AE）解耦的内容/风格特征从草图和RGB图像，并合成图像，既内容忠实的草图和风格一致的RGB图像。虽然以前的作品采用的周期一致性损失或专用注意力模块，以加强内容/风格的保真度，我们显示AE的优越性能与纯粹的自我监督。为了进一步提高高分辨率的合成质量，我们还利用对抗网络来细化合成图像的细节。在1024*1024分辨率上进行的大量实验证明了所提出的模型在CelebA-HQ和Wiki-Art数据集上的最新性能。此外，与建议的草图生成器，该模型显示出良好的性能风格混合和风格转移，这需要合成的图像是风格一致的和语义有意义的。我们的代码可以在https：//github.com/odegeasslbc/Self-Supervised-Sketch-to-Image-Synthesis-PyTorch上找到，请访问https://create.playform.io/my-projects? mode=sketch，用于我们模…
2020-12-22 cs.CV cs.GR cs.MM
AniFaceDrawing: Anime Portrait Exploration during Your Sketching
Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）；Waseda University（早稻田大学）
针对从不完整粗糙草图生成高质量动漫肖像的难题，提出基于StyleGAN隐空间探索的两阶段笔画级解耦渐进式S2I系统，可在手绘过程中实时生成对应高质量动漫肖像，经评估和用户研究验证了艺术创作辅助的有效性。
2023-06-13 cs.CV cs.GR
SketchEdit: Mask-Free Local Image Manipulation with Partial Sketches
Johns Hopkins University（约翰斯·霍普金斯大学）；Adobe Research（Adobe研究院）
基于草图的图像操作是一种交互式图像编辑任务，用于根据用户输入的草图修改图像。现有的方法通常将此任务制定为条件修复问题，其要求用户绘制指示除了草图之外要修改的区域的额外掩模。遮罩区域被视为孔洞，并由基于草图的修复模型填充。利用该公式，可以通过随机创建掩模和提取边缘或轮廓来容易地获得成对的训练数据。虽然此设置简化了数据准备和模型设计，但它使用户交互复杂化，并丢弃了遮罩区域中的有用信息。为此，我们研究了一种新的基于草图的图像操作范例：无掩模的局部图像操作，它只需要用户输入草图，并利用整个原始图像。给定图像和草图，我们的模型自动预测目标修改区域，并将其编码为结构不可知的风格向量。生成器然后基于样式向量和草图合成新的图像内容。最后，通过将生成器输出混合到原始图像的修改区域中来产生经操纵的图像。我们的模型可以通过学习从样式向量和草图重建图像区域来以自我监督的方式进行训练。所提出的方法提供了更简单，更直观的用户工作流程，基于草图的图像操作，并提供了更好的结果比以前的方法。更多结果、代码和交互式演示将在\url{https://zengxianyu.github.io/sketchedit}上提供。
2021-11-30 cs.CV cs.MM
Bridging Unpaired Facial Photos And Sketches By Line-drawings
Hangzhou Dianzi University（杭州电子科技大学）；AiSketcher Technology（AiSketcher科技）
在本文中，我们提出了一种新的方法来学习人脸素描合成模型，使用不成对的数据。我们的主要思想是通过使用线条绘制域$\mathcal{Z}$来桥接照片域$\mathcal{X}$和草图域$Y$。特别地，我们使用神经风格转换方法，即$F: \mathcal{X}/\mathcal{Y} \mapsto \mathcal{Z}$，将照片和草图映射到线条画。因此，我们获得了\textit{pseudo paired data} $(\mathcal{Z}, \mathcal{Y})$，并且可以以监督学习的方式学习映射$G:\mathcal{Z} \mapsto \mathcal{Y}$。在推理阶段，给定一张人脸照片，我们可以首先将其转换为线条画，然后通过$G \circ F$转换为草图。此外，我们提出了一种新的中风损失来产生不同类型的中风。我们的方法，称为sRender，符合人类艺术家的渲染过程。实验结果表明，sRender可以生成多风格的草图，并显着优于现有的不成对的图像到图像的翻译方法。
2021-02-25 cs.CV
DrawingInStyles: Portrait Image Generation and Editing with Spatially Conditioned StyleGAN
City University of Hong Kong（香港城市大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
草图到肖像生成的研究课题已经见证了深度学习技术的进步。最近提出的StyleGAN架构实现了最先进的生成能力，但由于其无条件生成的性质，原始的StyleGAN对于基于草图的创建并不友好。为了解决这个问题，我们提出了一个直接调节策略，以更好地保留StyleGAN框架下的空间信息。具体来说，我们引入了空间条件StyleGAN（简称SC-StyleGAN），它明确地将空间约束注入到原始的StyleGAN生成过程中。我们探索两种输入方式，草图和语义图，它们一起允许用户更准确，更容易地表达所需的生成结果。基于SC-StyleGAN，我们提出了DrawingInStyles，这是一种新颖的绘图界面，可供非专业用户轻松制作高质量，照片般逼真的面部图像，并具有精确的控制，无论是从头开始还是编辑现有图像。定性和定量的评价表明，我们的方法优越的生成能力，现有的和替代的解决方案。我们的系统的可用性和表现力的用户研究证实。
2022-05-31 cs.CV cs.GR
Picture that Sketch: Photorealistic Image Generation from Abstract Sketches
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（科大讯飞-萨里人工智能联合研究中心）
对于像你我这样未经训练的业余爱好者，我们给出了一个抽象的、变形的、普通的草图，这篇论文把它变成了一个照片级真实感的图像--就像图1（a）中所示的那些，都是未经挑选的。我们与现有技术的显著不同之处在于，我们不以口述类似于边缘图的草图开始，而是旨在使用抽象的徒手人类草图。在这样做的过程中，我们基本上民主化了草图到照片的流程，“描绘”一个草图，不管你的草图有多好。我们在一开始的贡献是一个解耦的编码器-解码器训练范例，其中解码器是一个仅在照片上训练的StyleGAN。这可以确保生成的结果始终具有照片级真实感。剩下的都是围绕着如何最好地处理素描和照片之间的抽象差距。为此，我们提出了一个在草图-照片对上训练的自回归草图映射器，它将草图映射到StyleGAN潜在空间。我们进一步引入了具体的设计来解决人类草图的抽象性质，包括在训练的草图-照片检索模型的背面进行细粒度的区分损失，以及部分感知的草图增强策略。最后，我们展示了我们的生成模型支持的一些下游任务，其中包括如何将基于草图的细粒度图像检索（草图社区中一个得到充分研究的问题）简化为图像（生成）到图像检索任务，超越了最先进的技术。我们在补充质询中提出了所得的结果，让大家看看。
2023-03-30 cs.CV
CLIP4Sketch: Enhancing Sketch to Mugshot Matching through Dataset Augmentation using Diffusion Models
IIIT-Hyderabad（印度信息技术研究所海得拉巴分校）；Michigan State University（密歇根州立大学）
提出 CLIP4Sketch 方法，利用扩散模型结合 CLIP 和 Adaface 嵌入生成受控素描数据集，显著提升了法医素描与大头照匹配的准确率，并优于 GAN 方法。
2024-08-13 cs.CV
Computational Decomposition of Style for Controllable and Enhanced Style Transfer
Shanghai Jiao Tong University（上海交通大学）
卷积神经网络（CNN）在艺术图像的生成中具有强大的神经风格转换功能。然而，仍然缺乏对艺术风格的感性成分的计算分析。与以往的研究不同，本文基于CNN产生的特征图，系统地研究了文本风格的特征。首先，我们不仅使用基于频谱的方法，包括快速傅立叶变换（FFT），离散余弦变换（DCT），而且还使用潜在变量模型，如主成分分析（PCA），独立成分分析（ICA），计算风格分解成基本元素。然后，风格的分解归纳出各种控制风格元素的方法，这些方法可以作为模块嵌入到最先进的风格转换算法中。这种风格的分解带来了几个好处。它使不同的艺术风格的计算编码，我们的风格基础与类似的风格聚类在一起，因此它有助于混合或干预的风格基础上的风格从一个以上的风格，使复合风格或新的风格可以产生产生风格的图像。实验结果表明，该方法不仅对绘画风格的转换，而且对草图风格的转换，这表明可能的应用在图片到草图的问题。
2018-11-24 cs.CV
VideoSketcher: Sequential Sketch Generation Using Video Model Priors
MIT（麻省理工学院）
提出VideoSketcher方法，结合LLM的语义规划与视频扩散模型的时序渲染，通过两阶段微调从少量样本学习笔画顺序与风格，生成高质量序列草图。
2026-06-19 cs.CV
SketchFFusion: Sketch-guided image editing with diffusion model
针对草图引导图像编辑中草图获取难及现有方法失真、细节丢失等问题，提出保留主轮廓且贴合用户风格的草图生成方案及基于结构向量的条件扩散模型SketchFFusion，性能优于现有方法。
2023-11-14 cs.CV
Face Sketch Synthesis via Semantic-Driven Generative Adversarial Network
Beijing University of Posts and Telecommunications（北京邮电大学）；Center for Research on Intelligent Perception and Computing, NLPR, CASIA（中国科学院自动化研究所模式识别国家重点实验室智能感知与计算研究中心）；Artificial Intelligence Research, CAS（中国科学院人工智能研究院）；Shandong University of Science and Technology（山东科技大学）
近年来，随着深度神经网络的发展，人脸素描合成取得了重大进展。素描肖像的精细描绘促进了广泛的应用，如数字娱乐和执法。然而，由于真实场景中光照的变化和复杂的背景，精确而逼真的人脸草图生成仍然是一个具有挑战性的任务。为了应对这些挑战，我们提出了一种新的语义驱动的生成对抗网络（SDGAN），它嵌入了全局结构级风格注入和局部类级知识重新加权。具体来说，我们进行人脸显著性检测的输入人脸照片，以提供整体的面部纹理结构，它可以被用作一个全局类型的先验信息。此外，我们利用人脸解析布局作为语义级空间之前，在SDGAN的生成器中执行全局结构化风格注入。此外，为了增强细节的真实感，我们提出了一种新的自适应重加权损失（ARLoss），致力于平衡不同语义类的贡献。在实验上，我们在CUFS和CUFSF数据集上的大量实验表明，我们提出的算法达到了最先进的性能。
2021-06-29 cs.CV
Sketch2Human: Deep Human Generation with Disentangled Geometry and Appearance Control
School of Creative Media, City University of Hong Kong（香港城市大学创意媒体学院）；Department of Computer Science & Engineering, HKUST（香港科技大学计算机科学与工程学系）；Shenzhen Research Institute of Big Data, Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）深圳大数据研究院）
提出Sketch2Human，首个由语义草图和参考图像引导的全身人体图像生成系统，基于StyleGAN-Human潜空间并设计新颖训练方案实现解耦的几何与外观控制，性能优于现有方法。
2024-04-24 cs.CV cs.GR
SketchFlow: Zero-Shot Vector Sketch Generation via GMM Prior Flow in CLIP Latent Space
Guangdong Provincial Key Laboratory of Visual Media and Multidimensional Intelligence（广东省视觉媒体与多维智能重点实验室）；Shenzhen University（深圳大学）
SketchFlow是基于CLIP潜在空间的零样本矢量草图生成框架，通过GMM先验流匹配与混合扩散解码器，实现了优于基线的视觉质量与零样本泛化能力。
2026-09-01 cs.CV
SC-FEGAN: Face Editing Generative Adversarial Network with User's Sketch and Color
ETRI（韩国电子通信研究院）
我们提出了一种新的图像编辑系统，生成的图像作为用户提供自由形式的面具，素描和颜色作为输入。我们的系统由一个端到端的可训练卷积网络组成。与现有的方法相反，我们的系统完全利用自由形式的用户输入的颜色和形状。这允许系统响应用户的草图和颜色输入，将其用作生成图像的指南。在我们的特定工作中，我们训练了具有额外风格损失的网络，这使得它可以生成逼真的结果，尽管图像的大部分被删除。我们提出的网络架构SC-FEGAN非常适合使用直观的用户输入生成高质量的合成图像。
2019-02-18 cs.CV
Text-Guided Scene Sketch-to-Photo Synthesis
rinna Co., Ltd.（林纳有限公司）；Osaka University（大阪大学）
我们提出了一种方法，场景级草图到照片合成与文本指导。虽然物体级草图到照片合成已经被广泛研究，但在没有充分反映目标风格的参考照片的情况下，全场景合成仍然具有挑战性。为此，我们利用最近大规模预训练生成模型的知识，从而实现文本引导的草图到照片合成，而无需参考图像。为了训练我们的模型，我们从一组照片中使用自监督学习。具体来说，我们使用一个预先训练的边缘检测器，将颜色和草图图像映射到一个标准化的边缘域，这减少了基于边缘的边缘图像（在训练过程中）和手绘草图图像（在推理过程中）之间的差距。我们通过微调潜空间扩散模型（即，稳定扩散）与草图和文本条件。实验表明，该方法将原始草图图像，而不是从彩色图像中提取的照片具有引人注目的视觉质量。
2023-02-14 cs.CV
High-Quality Medical Image Generation from Free-hand Sketch
Aillis, Inc.（Aillis公司）
针对医学手绘草图数据稀缺、现有模型泛化性差的问题，提出Sketch2MedI模型，通过StyleGAN潜在空间表示草图，仅用合成草图训练即可实现高质量手绘草图医学图像生成，在咽部图像生成任务上优于多个对比模型。
2024-07-09 cs.CV
Sketch-Guided Text-to-Image Diffusion Models
Google Research（谷歌研究院）；Tel Aviv University（特拉维夫大学）
文本到图像模型在机器学习的发展中引入了一个显着的飞跃，展示了从给定的文本提示合成高质量的图像。然而，这些强大的预训练模型仍然缺乏可以指导合成图像空间属性的控制手柄。在这项工作中，我们引入了一种通用的方法来指导预训练的文本到图像扩散模型，具有来自另一个域的空间映射（例如，在推理时间内绘制）。与以前的作品不同，我们的方法不需要训练一个专用的模型或专门的编码器的任务。我们的关键思想是训练一个潜在的指导预测器（LGP）-一个小的，每像素，多层感知器（MLP），映射噪声图像的潜在特征的空间地图，其中深层特征提取的核心去噪扩散概率模型（DDPM）网络。LGP仅在几千张图像上进行训练，并构成差分引导地图预测器，通过该预测器计算损失并传播回来，以推动中间图像与空间地图一致。每像素训练提供了灵活性和局部性，使该技术能够在域外草图上表现良好，包括徒手风格的绘图。我们特别关注草图到图像的翻译任务，揭示了一个强大的和富有表现力的方式来生成图像，遵循任意风格或域的草图的指导。项目页面：sketch-guided-diffusion.github.io
2022-11-24 cs.CV cs.GR cs.LG
GANime: Generating Anime and Manga Character Drawings from Sketches with Deep Learning
Stanford University（斯坦福大学）
本研究针对动漫产业草图上色成本高昂的瓶颈，评估了 Neural Style Transfer、C-GAN 和 CycleGAN 等图像到图像转换模型，发现 C-GAN 能生成最接近人类创作的高质量、高分辨率图像。
2025-08-10 cs.CV cs.LG
DeepFacePencil: Creating Face Images from Freehand Sketches
University of Science and Technology of China（中国科学技术大学）
在本文中，我们探讨的任务，生成照片般逼真的人脸图像从手绘草图。现有的图像到图像的翻译方法需要一个大规模的成对的草图和图像的数据集进行监督。它们通常利用人脸图像的合成边缘图作为训练数据。然而，这些合成的边缘图严格地与相应的人脸图像的边缘对齐，这限制了它们对具有巨大笔画多样性的真实手绘草图的泛化能力。为了解决这个问题，我们提出了DeepFacetron，一个有效的工具，能够从手绘草图生成照片般逼真的人脸图像，基于一种新的双生成器图像翻译网络在训练过程中。设计了一种新的空间注意力池（SAP）来自适应地处理空间变化的笔划失真，以支持各种笔划风格和不同层次的细节。我们进行了广泛的实验，结果表明，我们的模型优于现有的方法，无论是图像质量和模型推广到手绘草图。
2020-08-31 cs.CV
Deep Plastic Surgery: Robust and Controllable Image Editing with Human-Drawn Sketches
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Texas A&M University（德克萨斯农工大学）
基于草图的图像编辑旨在根据人类绘制的草图提供的结构信息合成和修改照片。由于草图难以收集，以前的方法主要使用边缘图而不是草图来训练模型（称为基于边缘的模型）。然而，草图显示与边缘图的结构差异很大，从而失败的基于边缘的模型。此外，草图通常在不同用户之间表现出巨大的多样性，这要求编辑模型具有更高的通用性和鲁棒性。在本文中，我们提出了深整形手术，一种新颖的，强大的和可控的图像编辑框架，允许用户使用手绘草图输入交互式编辑图像。我们提出了一个草图细化策略，从艺术家的粗到细的绘图过程的启发，我们表明，可以帮助我们的模型很好地适应休闲和多样的草图，而不需要真正的草图训练数据。我们的模型还提供了一个细化级别控制参数，使用户能够灵活地定义如何“可靠”的输入草图应该被认为是最终的输出，草图的忠实性和输出逼真度之间的平衡（因为这两个目标可能会矛盾，如果输入草图画得不好）。为了实现多层次的细化，我们引入了一个基于风格的模块的水平调节，它允许自适应功能表示为不同的水平在一个单一的网络。大量的实验结果表明，我们的方法在提高图像编辑的视觉质量和用户可识别性方面的优越性。
2020-01-09 cs.CV
HAIFIT: Human-to-AI Fashion Image Translation
Hunan University（湖南大学）；University of Warwick（华威大学）
针对现有草图到服装图像翻译方法易损失草图细节、偏离设计预期的问题，提出HAIFIT方法，通过多尺度特征融合与多维度特征依赖捕获生成高保真服装图像，在效果与速度上均优于现有方法，助力提升设计效率。
2024-08-14 cs.CV
SwiftSketch: A Diffusion Model for Image-to-Vector Sketch Generation
Tel Aviv University（特拉维夫大学）；Reichman University（赖希曼大学）；MIT（麻省理工学院）
针对现有矢量草图生成方法依赖耗时优化过程的问题，提出SwiftSketch扩散模型，通过Transformer解码器处理矢量离散性并捕捉笔触全局依赖，结合合成数据集训练，实现每秒级高质量图像到矢量草图生成。
2025-02-12 cs.CV
Neural Style Difference Transfer and Its Application to Font Generation
Kyushu University（九州大学）
设计字体需要大量的时间和精力。它需要专业技能，如素描，矢量化和图像编辑。此外，每个字母都必须单独设计。本文将介绍一种自动生成字体的方法。在我们提出的方法中，两种不同字体之间的字体风格的差异被发现，并使用神经风格转移转移到另一种字体。神经风格转移是一种将一幅图像的内容与另一幅图像的风格风格化的方法。我们提出了一种新的神经风格差异和内容差异损失的神经风格转移。有了这些损失，可以通过添加或删除字体样式来生成新字体。我们提供了各种输入字体组合的实验结果，并讨论了所提出的方法的局限性和未来的发展。
2020-01-21 cs.CV cs.LG
Sketch Me A Video
Zhejiang University（浙江大学）；Tencent（腾讯）；Fudan University（复旦大学）
对于艺术家来说，视频创作一直是一项有吸引力但又具有挑战性的任务。随着深度学习的进步，最近的工作尝试利用深度卷积神经网络来在引导视频的帮助下合成视频，并且已经取得了令人满意的结果。然而，获取引导视频或其他形式的引导时间信息在现实中是昂贵且困难的。因此，在这项工作中，我们引入了一个新的视频合成任务，采用两个粗糙的bad-drwan草图只作为输入，以创建一个逼真的肖像视频。提出了一种两阶段的草图到视频模型，该模型包括两个关键创新点：1）特征检索和投影（FRP）模块，该模块将输入的草图分割成不同的部分，利用这些部分合成一个真实的开始或结束帧，同时生成丰富的语义特征，以缓解由于不同用户任意绘制自由形式的草图风格而导致的草图域外问题。2)提出了一种基于运动投影的特征融合模块，将训练阶段的视频投影到正态分布的运动空间中，并将运动变量与提取的语义特征融合，以缓解测试阶段的引导时间信息缺失问题。在CelebAMask-HQ和VoxCeleb 2数据集上进行的实验很好地验证了该方法在从两个粗糙的草图合成高质量视频时可以获得良好的定量和定性结果。
2021-10-10 cs.CV
PyPotteryInk: One-Step Diffusion Model for Sketch to Publication-ready Archaeological Drawings
Sapienza University of Rome（罗马第一大学）
针对考古陶器记录中草图转可发表墨线图耗时的问题，提出开源单步扩散模型PyPotteryInk，基于改进img2img-turbo架构，通过动态重叠补丁法实现高分辨率输出，经数据集验证可精准捕捉细节、符合标准且大幅提速，支持微调适配多场景。
2025-02-09 cs.AI cs.CV cs.GR
FlipSketch: Flipping Static Drawings to Text-Guided Sketch Animations
University of Surrey（萨里大学）
提出 FlipSketch 系统，利用文本到视频扩散模型的运动先验，通过微调草图风格帧生成、参考帧噪声细化和双重注意力组合三项创新，将静态草图转换为文本引导动画，兼具直观性与手绘艺术表现力。
2024-11-16 cs.CV cs.GR
TediGAN: Text-Guided Diverse Face Image Generation and Manipulation
Tsinghua University（清华大学）；University College London（伦敦大学学院）；Chinese University of Hongkong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
在这项工作中，我们提出了TediGAN，一个新的框架，用于多模态图像生成和操作与文本描述。该方法由三个部分组成：StyleGAN反演模块，视觉语言相似性学习和实例级优化。反演模块将真实图像映射到训练有素的StyleGAN的潜在空间。视觉-语言相似性通过将图像和文本映射到一个公共的嵌入空间来学习文本-图像匹配。实例级优化是为了在操作中保持身份。我们的模型可以产生各种高质量的图像，分辨率达到前所未有的1024。使用基于样式混合的控制机制，我们的TediGAN本质上支持多模式输入的图像合成，例如草图或语义标签，有或没有实例指导。为了便于文本引导的多模态合成，我们提出了多模态CelebA-HQ，一个大规模的数据集，由真实的人脸图像和相应的语义分割地图，草图和文本描述。在引入的数据集上进行的大量实验证明了我们所提出的方法的优越性能。代码和数据可在https://github.com/weihaox/TediGAN上获得。
2021-03-29 cs.AI cs.CV cs.MM
SketchThinker-R1: Towards Efficient Sketch-Style Reasoning in Large Multimodal Models
FST and ICI, University of Macau, China（澳门大学FST和ICI）；Shanghai AI Laboratory, China（上海人工智能实验室）
SketchThinker-R1通过引入草图式推理机制，显著降低大得多模态模型的推理token成本，同时保持答案准确性。
2026-01-06 cs.CV
Multi-Style Facial Sketch Synthesis through Masked Generative Modeling
Shanghai Jiao Tong University（上海交通大学）
针对人脸素描合成中数据稀缺、风格受限及输入处理不足的问题，提出一种轻量级端到端模型，结合半监督学习与掩码图像令牌迭代预测，实现高质量多风格素描生成，在多个基准上显著优于现有算法。
2024-08-22 cs.AI cs.CV
Component-Aware Sketch-to-Image Generation Using Self-Attention Encoding and Coordinate-Preserving Fusion
本文提出了一种基于自注意力编码和坐标保持融合的组件意识框架，用于提升草图到图像生成的逼真度和一致性。
2026-03-10 cs.CV
Game of Sketches: Deep Recurrent Models of Pictionary-style Word Guessing
智能代理以类似人类的方式玩游戏的能力通常被认为是人工智能进步的基准。类似地，多学科任务（如视觉问答（VQA））的表现被认为是衡量计算机视觉进展的标志。在我们的工作中，我们将游戏和VQA结合在一起。具体来说，我们介绍了第一个计算模型，针对Pictionary，流行的社会游戏猜词。我们首先介绍了Sketch-QA，一个初级版本的视觉问答任务。在Pictionary之后，Sketch-QA使用增量累积的草图笔划序列作为视觉数据。值得注意的是，Sketch-QA涉及问一个固定的问题（“正在绘制什么对象？）和从人类猜测者那里收集开放式的猜测词。我们分析了由此产生的数据集，并提出了许多有趣的发现。为了模仿图画式的猜测，我们随后提出了一个深度神经模型，该模型可以生成猜测词，以响应时间上不断变化的人类绘制的草图。我们的模型甚至会在猜测时犯类似人类的错误，从而放大了人类的模仿因素。我们通过Sketch-QA任务生成的大规模猜测词数据集来评估我们的模型，并与各种基线进行比较。我们还进行了视觉图灵测试，以获得人类和我们的模型产生的猜测词的人类印象。实验结果表明，我们的方法的承诺Pictionary和类似的主题游戏。
2018-01-29 cs.AI cs.CV
An Infinite Parade of Giraffes: Expressive Augmentation and Complexity Layers for Cartoon Drawing
MIT Media Lab（麻省理工学院媒体实验室）
在本文中，我们探讨了小数据约束下的创意图像生成。为了部分自动化创建符合特定设计师风格的卡通草图，其中获取一个非常大的原始图像集是不可能的或成本高昂，我们利用特定领域的知识，大大减少了原始图像的要求，创建一个有效的无限数量的卡通长颈鹿从九个原始图纸。我们为卡通草图引入了“表达性增强”，这是一种数学变换，可以创建广泛的域适当的变化，远远超出了通常的仿射变换，并且我们表明，在绘图或“复杂性层”的时间阶段训练的链式GANs模型可以有效地添加角色适当的细节，并以设计师的风格完成新的绘图。我们讨论了这些工具在纺织品，图形，建筑元素和室内设计的设计过程中的应用。
2018-11-08 cs.CV cs.GR cs.LG
AutoSketch: VLM-assisted Style-Aware Vector Sketch Completion
National Taiwan University（国立台湾大学）；The University of Tokyo（东京大学）；Reichman University（里奇曼大学）
AutoSketch利用预训练视觉-语言模型提取部分草图的自然语言风格描述并生成风格调整代码，在矢量笔画优化中建立与部分草图对齐的扩散先验，从而实现风格感知的草图自动补全。
2025-08-22 cs.CV cs.GR
StyleMeUp: Towards Style-Agnostic Sketch-Based Image Retrieval
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（科大讯飞-萨里大学人工智能联合研究中心）
基于草图的图像检索（SBIR）是一个跨模态匹配问题，通常通过学习一个联合嵌入空间来解决，其中保留了照片和草图模态之间共享的语义内容。然而，SBIR中的一个基本挑战到目前为止在很大程度上被忽视了，即草图是由人类绘制的，并且在不同的用户之间存在相当大的风格差异。一个有效的SBIR模型需要明确地考虑这种风格的多样性，至关重要的是，要推广到看不见的用户风格。为此，提出了一种新的风格无关SBIR模型。与现有的模型不同，一个跨模态的变分自编码器（VAE）被用来明确地将每个草图分解为与相应的照片共享的语义内容部分和唯一的风格部分。重要的是，为了使我们的模型动态地适应任何看不见的用户风格，我们建议通过添加两个风格自适应组件来元训练我们的跨模态VAE：一组特征转换层到其编码器和一个正则化器到解开的语义内容潜在代码。有了这个元学习框架，我们的模型不仅可以解开SBIR的跨模态共享语义内容，而且可以适应任何看不见的用户风格，使SBIR模型真正的风格无关。大量的实验表明，我们的风格不可知模型产生的最先进的性能类别级和实例级SBIR。
2021-03-31 cs.CV
DrawVideo: Grounded and Faithful Multi-Shot Video Generation from Storyboard Keyframe Sketches
The University of Sydney（悉尼大学）；Charles Sturt University（查尔斯·斯特劳特大学）
提出 DrawVideo 框架，通过草图引导的故事板分解长视频为可控镜头，结合分层生成策略实现结构可控、外观一致的长视频生成。
2026-10-06 cs.AI cs.CV cs.GR
Biphasic Face Photo-Sketch Synthesis via Semantic-Driven Generative Adversarial Network with Graph Representation Learning
Hong Kong University of Science and Technology（香港科技大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Beijing University of Posts and Telecommunications（北京邮电大学）；Peking University（北京大学）；Nanjing University（南京大学）；Shandong University of Science and Technology（山东科技大学）
本文提出语义驱动生成对抗网络结合图表示学习，通过类内语义图和类间结构图建模人脸结构，并采用双相交互循环训练策略，在CUFS和CUFSF数据集上实现了优于现有方法的照片-素描合成质量。
2023-12-03 cs.CV
One-shot Face Sketch Synthesis in the Wild via Generative Diffusion Prior and Instruction Tuning
Guangdong University of Technology（广东工业大学）；Sun Yat-sen University（中山大学）
提出基于扩散模型和指令微调的一次性人脸素描合成方法，利用单对照片-素描样本训练，并构建OS-Sketch基准，实现真实场景下高质量素描生成。
2025-06-18 cs.CR cs.CV cs.CY
Name Your Style: An Arbitrary Artist-aware Image Style Transfer
Caritas Institute of Higher Education（明爱高等教育学院）；The Hong Kong Polytechnic University（香港理工大学）；École Polytechnique（巴黎综合理工学院）；CNRS（法国国家科学研究中心）；IP Paris（巴黎理工学院）
针对传统图像风格迁移需参考风格图像灵活性不足的问题，提出文本驱动的TxST方法，结合CLIP对比训练与交叉注意力模块，实现任意艺术家风格迁移，性能优于现有最优方法。
2024-12-07 cs.CV eess.IV
Sketch3DVE: Sketch-based 3D-Aware Scene Video Editing
Institute of Computing Technology, Chinese Academy of Sciences, China（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Hong Kong University of Science（香港科学大学）
Sketch3DVE提出一种基于草图的3D感知视频编辑方法，通过点云编辑、深度图几何对齐、3D感知掩码传播和视频扩散模型，解决大视点变化下3D场景视频的结构编辑与一致性保持问题。
2025-08-19 cs.CV cs.GR
Customize StyleGAN with One Hand Sketch
本文提出一种基于能量学习和CLIP跨域语义监督的框架，仅用单个草图即可控制预训练StyleGAN生成语义对齐的多模态图像，在无额外训练数据的严格设置下优于先前方法。
2023-10-29 cs.CV
SHAD3S: A model to Sketch, Shade and Shadow
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
图案填充是艺术家用来强调草图的第三维度和照亮场景的常用方法。我们的系统SHAD3S试图与人类在孵化通用三维（3D）形状的竞争，并试图帮助她在形式探索练习。我们的方法的新颖之处在于，除了它表示3D形状之外，我们没有对输入进行任何假设，并且，给定照明和纹理的上下文信息，我们在草图上合成准确的填充图案，而无需访问3D或伪3D。在这个过程中，我们致力于a）一种廉价而有效的方法来合成与任务相关的足够大的高保真数据集; b）创建一个具有条件生成对抗网络（CGAN）的管道;以及c）使用GIMP创建一个交互式实用程序，这是艺术家参与自动孵化或形式探索练习的工具。该工具的用户评价表明，该模型的性能确实令人满意地概括了不同的输入，无论是在风格和形状。一个简单的比较初始分数表明，生成的分布是不同的地面真相。
2021-09-05 cs.CV cs.GR
Semi-supervised reference-based sketch extraction using a contrastive learning framework
KAIST（韩国科学技术院）
本文提出一种基于对比学习框架的半监督多模态草图提取方法，利用非配对数据训练模仿参考草图风格，在定量和定性评估中优于现有最先进方法。
2024-07-19 cs.CV
Learning to Sketch Human Facial Portraits using Personal Styles by Case-Based Reasoning
Zhejiang University（浙江大学）；New Jersey Institute of Technology（新泽西理工学院）
本文采用基于案例的推理（CBR）来捕捉个人艺术家的个人风格，并相应地从照片中生成人脸肖像。针对每个被模仿的艺术家，首先从其源人脸照片和手绘草图样本中构造一系列实例，然后通过寻找和应用最佳实例，将其人脸照片的风格化转化为一个风格优化的迭代精化的风格转换过程。从这些实例中学习两个模型，适应度评价模型和参数估计模型，分别用于实例检索和自适应。适应度评估模型用于确定哪种情况最适合当前感兴趣的草图，参数估计模型用于自动调整情况。所得到的草图是逐步合成的检索和适应候选情况的迭代循环，直到达到所需的美学风格。为了探索新方法的有效性和优势，我们实验比较了所提出的方法与国家的最先进的基于实例的面部素描生成算法，以及一对夫妇的商业软件包生成的素描肖像。比较结果显示，我们的基于CBR的人脸肖像合成方法在捕捉和再现艺术家的个人插图风格方面优于同行方法。
2016-09-13 cs.CV
IlluSign: Illustrating Sign Language Videos by Leveraging the Attention Mechanism
Reichman University（雷赫曼大学）；University of Zurich（苏黎世大学）；Tel Aviv University（特拉维夫大学）
针对手语视频动态性导致的学习研究困难及人工绘制插图成本高的问题，本研究提出IlluSign方法，利用生成模型的注意力机制将手语视频转换为静态插图，为教育提供补充资源，降低成本。
2025-04-15 cs.CV
Image Referenced Sketch Colorization Based on Animation Creation Workflow
Institute of Science Tokyo（东京科学大学）；The University of Tokyo（东京大学）
针对现有素描着色方法在参考准确性、手动操作和伪影问题上的不足，提出一种基于扩散的框架，利用素描和RGB图像分别作为空间与颜色引导，通过拆分交叉注意力与LoRA模块独立处理前景背景，生成高质量无伪影结果。
2025-02-27 cs.CV cs.MM
Sketch3D: Style-Consistent Guidance for Sketch-to-3D Generation
Southeast University（东南大学）；University of Massachusetts Dartmouth（马萨诸塞大学达特茅斯分校）；Tulane University（杜兰大学）
本文提出 Sketch3D 范式，通过保形参考图像、3D高斯先验、多视图风格一致引导及结构、颜色和草图相似性优化，实现形状对齐草图、颜色匹配文本的3D资产生成。
2024-04-07 cs.CV
Iris Style Transfer: Enhancing Iris Recognition with Style Features and Privacy Preservation through Neural Style Transfer
Technical University of Munich（慕尼黑工业大学）
针对虹膜识别的鲁棒性需求与隐私担忧，该研究受神经风格迁移启发，利用虹膜风格特征提升识别准确率并抵抗变异，还提出通过神经风格迁移模糊可识别特征以保护隐私。
2025-04-14 cs.CV cs.HC
Stylized Face Sketch Extraction via Generative Prior with Limited Data
KAIST（韩国科学技术院）；Technical University of Munich（慕尼黑工业大学）
提出StyleSketch方法，利用StyleGAN先验和少量数据（16对样本）提取高分辨率风格化人脸素描，优于现有方法，并支持跨域扩展与语义编辑。
2024-03-17 cs.CV cs.GR
TANGLED: Generating 3D Hair Strands from Images with Arbitrary Styles and Viewpoints
ShanghaiTech University（上海科技大学）；Deemos Technology（Deemos科技公司）；Huazhong University of Science and Technology（华中科技大学）
针对现有方法难以处理多样风格发型的问题，提出TANGLED方法，通过MultiHair数据集、多视图线条画条件扩散框架及辫子约束后处理模块，实现从任意风格和视角图像生成3D发丝，提升模型泛化性与应用价值。
2025-02-10 cs.CV cs.GR
