Learning Deep Sketch Abstraction
SketchX, Queen Mary University of London（SketchX，伦敦玛丽女王大学）；The University of Edinburgh（爱丁堡大学）
手绘草图的识别、合成和基于草图的细粒度图像检索（FG-SBIR）等技术已经在不同的背景下得到了广泛的研究。草图分析的一个基本挑战是处理截然不同的人类绘画风格，特别是在抽象级别方面。在这项工作中，我们提出了第一个笔划级草图抽象模型的基础上的素描抽象的洞察力之间的可识别性和用于绘制它的笔划的数量进行权衡的过程。具体地说，我们训练模型抽象草图生成通过强化学习的笔划删除策略，学习预测哪些笔划可以安全地删除，而不影响可识别性。我们表明，我们的抽象模型可用于各种草图分析任务，包括：（1）建模笔划显着性和理解草图识别模型的决策，（2）合成给定类别的可变抽象的草图，或照片中的参考对象实例，以及（3）仅用照片训练FG-SBIR模型，绕过昂贵的照片-草图对收集步骤。
2018-04-13 cs.CV
SketchGNN: Semantic Sketch Segmentation with Graph Neural Networks
State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD&CG国家重点实验室）；School of Creative Media, City University of Hong Kong（香港城市大学创意媒体学院）；Shanghai Jiao Tong University（上海交通大学）
我们介绍了SketchGNN，一个卷积图神经网络的语义分割和标记的手绘矢量草图。我们把一个输入的基于笔划的草图作为一个图，与节点表示采样点沿输入笔划和边缘编码的笔划结构信息。为了预测每个节点的标签，我们的SketchGNN使用图卷积和静态-动态分支网络架构来提取三个级别的特征，即，点级、笔划级和草图级。SketchGNN显着提高了最先进的语义草图分割方法的准确性（在基于像素的度量中提高了11.2%，在基于组件的度量中提高了18.2%），并且比基于图像和基于序列的方法具有更少的参数。
2021-03-25 cs.CV
Generating Sketches in a Hierarchical Auto-Regressive Process for Flexible Sketch Drawing Manipulation at Stroke-Level
Sicong Zang, Shuhui Gao, Zhijun Fang
本文提出分层自回归生成过程，实现灵活的笔触级草图操作，通过自回归方式生成笔触嵌入并引导模型生成合适笔触。
2025-11-11 cs.AI cs.CV
Sketch Generation with Drawing Process Guided by Vector Flow and Grayscale
Shanghai Jiao Tong University（上海交通大学）；Huawei Hisilicon（华为海思）
我们提出了一种新的图像到铅笔的翻译方法，不仅可以生成高质量的铅笔素描，但也提供了绘图过程。现有的铅笔素描算法都是基于纹理渲染而不是直接模仿笔画，无法表现出素描的过程而只能表现出最终的结果。为了解决这个问题，我们首先建立了一个铅笔笔画模仿机制。接下来，我们开发了一个具有三个分支的框架来指导笔画绘制：第一个分支指导笔画的方向，第二个分支确定笔画的阴影，第三个分支进一步增强细节。在这个框架的指导下，我们可以通过每次绘制一笔来生成铅笔素描。我们的方法是完全可解释的。与现有的铅笔画算法的比较表明，我们的方法是优于其他的纹理质量，风格和用户评价。
2020-12-16 cs.CV
StrokeFusion: Vector Sketch Generation via Joint Stroke-UDF Encoding and Latent Sequence Diffusion
针对现有草图生成方法存在伪影、整体感知不足、相似特征提取困难的问题，提出两阶段框架StrokeFusion，通过联合笔画-UDF编码与笔画级隐扩散实现高保矢量真草图生成，性能优于现有最优方法。
2025-11-18 cs.CV cs.GR
Stroke of Surprise: Progressive Semantic Illusions in Vector Sketching
National Yang Ming Chiao Tung University
本文提出渐进语义错觉任务，通过逐步添加笔触实现单幅素描的语义转变，引入双分支Score Distillation Sampling机制解决双重约束问题，提升识别性和错觉强度。
2026-05-16 cs.CV
Learning to Sketch with Deep Q Networks and Demonstrated Strokes
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Adobe Research（奥多比研究院）
涂鸦是人们可以学习和掌握的一种有用和常见的智能技能。在这项工作中，我们提出了一个两阶段的学习框架，通过笔划演示和深度Q学习（SDQ）来教机器在模拟的绘画环境中涂鸦。开发的系统Doodle-SDQ生成一系列笔动作来再现参考绘图，并模仿人类画家的行为。在第一阶段，它通过从艺术家绘画中收集的一组strokeaction对中以监督的方式模仿来学习绘制简单的笔画。在第二阶段，它面临的挑战是在没有地面真实动作的情况下绘制真实的、更复杂的涂鸦;因此，它使用Qlearning进行训练。我们的实验证实，（1）涂鸦可以在没有直接的逐步动作监督的情况下学习，（2）通过监督学习进行带有笔画演示的预训练对提高性能很重要。我们进一步表明，Doodle-SDQ是有效的，在不同的媒体类型，包括素描和水彩画生产合理的图纸。
2018-10-14 cs.CV
SketchMamba: A Lightweight State-Space Model for Joint Progressive Sketch Classification and Stroke Auto-Completion
The National High School（国立高中）
研究针对矢量草图模型问题，提出SketchMamba单一因果序列模型，能连续分类草图并生成后续内容。通过密集逐步分类损失实现，在数据集上评估效果良好，参数主干表现出色，消融实验证实密集监督驱动早期预测，统一了识别与生成。
2026-07-28 cs.CV
3Doodle: Compact Abstraction of Objects with 3D Strokes
Seoul National University（首尔大学）
针对手绘草图主观性强、视角不一致难以捕捉3D形状的问题，提出3Doodle方法，通过优化3D笔触基元参数生成视角一致的描述性草图，效果优于现有方法。
2024-04-29 cs.CV
Sketching without Worrying: Noise-Tolerant Sketch-Based Image Retrieval
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（讯飞-萨里人工智能联合研究中心）
草图使许多令人兴奋的应用，特别是图像检索。害怕素描的问题（即，“我不能素描”），但已被证明是致命的广泛采用。本文解决了这种“恐惧”的头部，并首次提出了一个辅助模块，现有的检索模型，主要是让用户草图，而不必担心。我们首先进行了一项试点研究，揭示了秘密在于存在嘈杂的中风，但没有那么多的“我不能素描”。因此，我们设计了一个笔划子集选择器，{检测噪声笔划，只留下那些}，使成功检索的积极贡献。我们基于强化学习的公式根据中风对检索的贡献程度量化给定子集中存在的每个中风的重要性。当与预训练的检索模型作为预处理模块相结合时，我们实现了比标准基线8%-10%的显著增益，并进而报告了新的最先进的性能。最后但并非最不重要的是，我们展示了选择器一旦经过训练，也可以以即插即用的方式使用，以以前不可能的方式为各种草图应用程序提供支持。
2022-03-28 cs.CV
Multi-granularity Association Learning Framework for on-the-fly Fine-Grained Sketch-based Image Retrieval
Chongqing University of Posts and Telecommunications（重庆邮电大学）；University of California, Riverside（加利福尼亚大学河滨分校）
基于细粒度草图的图像检索（FG-SBIR）解决了在给定的查询草图中检索特定照片的问题。但是，它的广泛适用性受到限制，因为大多数人很难画出完整的草图，而且绘制过程往往需要时间。在这项研究中，我们的目标是用尽可能少的笔画数（不完整的草图）检索目标照片，命名为即时FG-SBIR（Bhunia et al. 2020），它在绘画开始时就开始检索每个笔画。我们认为，在每张照片的草图绘制片段中，这些不完整的草图之间存在着显著的相关性。为了更有效地学习照片和不完整草图之间共享的联合嵌入空间，我们提出了一个多粒度关联学习框架，进一步优化了所有不完整草图的嵌入空间。具体来说，基于草图的完整性，我们可以将一个完整的草图集分为几个阶段，每个阶段对应一个简单的线性映射层。此外，该框架引导当前草图的向量空间表示逼近后续草图的向量空间表示，实现了笔划较少草图的检索性能逼近笔划较多草图的检索性能。在实验中，我们提出了更现实的挑战，我们的方法在两个公开的细粒度草图检索数据集上实现了优于最先进的方法和替代基线的早期检索效率。
2022-01-13 cs.CV
VQ-SGen: A Vector Quantized Stroke Representation for Creative Sketch Generation
The University of Edinburgh（爱丁堡大学）；ShanghaiTech University（上海科技大学）
VQ-SGen提出矢量量化笔画表示及两阶段框架，解耦形状与位置并利用Transformer生成，在CreativeSketch数据集上超越现有方法，支持条件生成与草图补全。
2025-07-09 cs.CV cs.GR
SketchXAI: A First Look at Explainability for Human Sketches
University of Surrey（萨里大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（科大讯飞-萨里人工智能联合研究中心）
该研究首次将人类草图引入 XAI，提出兼顾笔画形状、位置与顺序的可解释性友好编码器，并定义笔画位置反转 SLI 任务，在实现最佳草图识别准确率的同时保持最小参数量。
2023-04-23 cs.CV
Sketchformer: Transformer-based Representation for Sketched Structure
Universidade de São Paulo（圣保罗大学）；University of Surrey（萨里大学）；Adobe Research（奥多比研究院）
Sketchformer是一种新的基于变换的表示，用于编码矢量形式的手绘草图输入，即作为一个笔划序列。Sketchformer有效地解决了多个任务：草图分类，基于草图的图像检索（SBIR），以及草图的重建和插值。我们报告了几种探索连续和标记化输入表示的变体，并对比了它们的性能。我们学习的嵌入，由字典学习标记化方案驱动，在分类和图像检索任务中产生最先进的性能，与LSTM序列到序列架构驱动的基线表示相比：SketchRNN和衍生物。我们表明，草图重建和插值显着改善Sketchformer嵌入复杂的草图与较长的笔划序列。
2020-02-24 cs.CV
VisioBlend: Sketch and Stroke-Guided Denoising Diffusion Probabilistic Model for Realistic Image Generation
Vidyavardhini’s College of Engineering and Technology（维迪亚瓦尔迪尼工程与技术学院）
针对手绘草图转图像中的多样性需求与训练数据限制，本文提出 VisioBlend 扩散框架，通过三维可控的草图与笔触引导实现逼真、灵活的图像生成，并利用合成数据增强数据集。
2024-05-15 cs.CV cs.LG
Make Your Brief Stroke Real and Stereoscopic: 3D-Aware Simplified Sketch to Portrait Generation
Tokyo Institute of Technology（东京工业大学）；Monash University（莫纳什大学）；Baidu Inc.（百度公司）；The University of Sydney（悉尼大学）；Baidu（百度）；Nanyang Technological University（南洋理工大学）
针对固定视角2D草图转肖像不生动的问题，提出SSP框架，利用三平面3D生成先验、区域感知体绘制与轮廓转草图模块，生成与草图匹配的立体3D人像。
2023-10-01 cs.CV
DeepFacePencil: Creating Face Images from Freehand Sketches
University of Science and Technology of China（中国科学技术大学）
在本文中，我们探讨的任务，生成照片般逼真的人脸图像从手绘草图。现有的图像到图像的翻译方法需要一个大规模的成对的草图和图像的数据集进行监督。它们通常利用人脸图像的合成边缘图作为训练数据。然而，这些合成的边缘图严格地与相应的人脸图像的边缘对齐，这限制了它们对具有巨大笔画多样性的真实手绘草图的泛化能力。为了解决这个问题，我们提出了DeepFacetron，一个有效的工具，能够从手绘草图生成照片般逼真的人脸图像，基于一种新的双生成器图像翻译网络在训练过程中。设计了一种新的空间注意力池（SAP）来自适应地处理空间变化的笔划失真，以支持各种笔划风格和不同层次的细节。我们进行了广泛的实验，结果表明，我们的模型优于现有的方法，无论是图像质量和模型推广到手绘草图。
2020-08-31 cs.CV
One Sketch for All: One-Shot Personalized Sketch Segmentation
University of Surrey（萨里大学）
提出了第一种一次性的个性化草图分割方法。我们的目标是分割属于同一类别的所有草图，提供一个单一的草图与给定的部分注释，同时（i）保留嵌入在样本中的部分语义，（ii）是强大的输入风格和抽象。我们将这种情况称为个性化。这样，我们就可以为下游的细粒度草图分析任务提供非常理想的个性化功能。为了训练一个健壮的分割模块，我们将样本草图变形为同一类别的每个可用草图。我们的方法推广到训练过程中没有观察到的草图。我们的主要贡献是一个草图特定的层次变形网络。给定通过图卷积网络获得的多级草图笔划编码，我们的方法在上层估计从目标到样本的刚体变换。从样本到全局扭曲的目标草图的更精细变形进一步通过在较低级别上的逐笔变形来获得。这两个级别的变形都是由在没有监督的情况下学习的关键点之间的均方距离引导的，以确保保留笔划语义。我们评估我们的方法对国家的最先进的分割和感知分组基线重新用于单镜头设置和对两个Few-Shot三维形状分割方法。我们表明，我们的方法优于所有的替代品超过$10\%$平均。消融研究进一步表明，我们的方法是强大的个性化：输入部分的语义和风格差异的变化。
2022-03-24 cs.CV
SwiftSketch: A Diffusion Model for Image-to-Vector Sketch Generation
Tel Aviv University（特拉维夫大学）；Reichman University（赖希曼大学）；MIT（麻省理工学院）
针对现有矢量草图生成方法依赖耗时优化过程的问题，提出SwiftSketch扩散模型，通过Transformer解码器处理矢量离散性并捕捉笔触全局依赖，结合合成数据集训练，实现每秒级高质量图像到矢量草图生成。
2025-02-12 cs.CV
Class-Agnostic Visio-Temporal Scene Sketch Semantic Segmentation
Koç University（科奇大学）
本文提出类别无关视觉-时序网络CAVT，首次在场景草图中同时实现实例级和笔画级分割，并构建了包含1K场景草图、403类对象的FrISS数据集，性能优于现有方法。
2024-09-30 cs.CV cs.LG
ProgressNet: Sketching and Prompting with a Frozen Text-to-Image Model
University of Surrey（萨里大学）
ProgressNet提出无需训练的推理时机制，使冻结的文本到图像模型能渐进式跟随草图绘制与提示修改，每轮约一秒，在FS-COCO上FID几乎不变，优于现有方法。
2026-10-05 cs.CV
SketchSense: Learning to Interpret Imperfect Sketch Guidance for Image Inpainting
Fudan University（复旦大学）
SketchSense是同步去噪RGB与结构流的框架，通过双向注意力融合等技术解释不完美草图引导，在图像修复的质量和结构保真度上较现有方法有显著提升。
2026-08-14 cs.CV
Bridging Unpaired Facial Photos And Sketches By Line-drawings
Hangzhou Dianzi University（杭州电子科技大学）；AiSketcher Technology（AiSketcher科技）
在本文中，我们提出了一种新的方法来学习人脸素描合成模型，使用不成对的数据。我们的主要思想是通过使用线条绘制域$\mathcal{Z}$来桥接照片域$\mathcal{X}$和草图域$Y$。特别地，我们使用神经风格转换方法，即$F: \mathcal{X}/\mathcal{Y} \mapsto \mathcal{Z}$，将照片和草图映射到线条画。因此，我们获得了\textit{pseudo paired data} $(\mathcal{Z}, \mathcal{Y})$，并且可以以监督学习的方式学习映射$G:\mathcal{Z} \mapsto \mathcal{Y}$。在推理阶段，给定一张人脸照片，我们可以首先将其转换为线条画，然后通过$G \circ F$转换为草图。此外，我们提出了一种新的中风损失来产生不同类型的中风。我们的方法，称为sRender，符合人类艺术家的渲染过程。实验结果表明，sRender可以生成多风格的草图，并显着优于现有的不成对的图像到图像的翻译方法。
2021-02-25 cs.CV
Sketch-Inspector: a Deep Mixture Model for High-Quality Sketch Generation of Cats
University of Southern California（南加州大学）；Sun Yat-sen University（中山大学）；University of Waterloo（滑铁卢大学）；Michigan State University（密歇根州立大学）
在人工智能（AI）的参与下，可以在某些主题下自动生成草图。尽管在这一领域的先前研究中已经取得了突破性进展，但相对较高比例的生成图形过于抽象而无法识别，这说明人工智能在绘画时无法学习目标对象的一般模式。本文认为，监督的过程中，中风的产生，可以导致更准确的草图解释。在此基础上，本文提出了一个带有辅助卷积神经网络（CNN）预测器的草图生成系统。此外，还引入了一种基于CNN的识别算法来判断最终产品的可识别性。由于基线模型在生成多类草图时是无效的，因此我们将模型限制为生成一个类别。因为猫的图像很容易识别，所以我们考虑从QuickDraw数据集中选择猫的草图。本文将所提出的模型与原始Sketch-RNN在75 K人画猫草图上进行了比较。结果表明，我们的模型产生的草图质量高于人类的草图。
2020-11-09 cs.CV
SketchAgent: Language-Driven Sequential Sketch Generation
MIT（麻省理工学院）；Stanford University（斯坦福大学）
针对人工系统难以捕捉人类草图动态抽象本质的问题，本研究提出无需训练微调的SketchAgent，利用多模态LLM序列特性与先验知识，通过上下文示例引入草图语言实现逐笔绘制，支持对话交互创作与协作。
2024-11-26 cs.CV
A complete hand-drawn sketch vectorization framework
University of Parma（帕尔马大学）；Adidas AG（阿迪达斯股份公司）
矢量化手绘草图是一项具有挑战性的任务，这对于为时尚和创意工作流程创建CAD矢量化版本至关重要。本文提出了一个完整的框架，自动转换嘈杂和复杂的手绘草图与不同的中风类型在一个精确的，可靠的和高度简化的矢量化模型。该框架包括一个新的线提取算法的基础上的多分辨率应用皮尔逊的互相关和一个新的无偏细化算法，可以摆脱涂鸦和可变宽度的中风，以获得干净的1像素线。其他贡献包括修剪，合并和边缘连接程序的变体后处理所获得的路径。最后，修改原施耐德的矢量化算法的设计，以获得更少的控制点，在所产生的贝塞尔样条。该框架的所有建议步骤都经过了广泛的测试，并与最先进的算法进行了比较，显示（定性和定量）其优越性。
2018-02-16 cs.CV
Block and Detail: Scaffolding Sketch-to-Image Generation
Stanford University（斯坦福大学）
本文提出契合艺术家迭代细化流程的草图到图像工具，通过两遍 ControlNet 生成与局部草图训练方案，从 blocking/detail 笔触生成高保真支架图像，用户评估显著优于 Scribble ControlNet。
2024-10-25 cs.CV cs.GR
What Sketch Explainability Really Means for Downstream Tasks
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（讯飞-萨里人工智能联合研究中心）
本文提出一种轻量级可移植的草图可解释性插件，通过笔触级归因图（SLA和P-SLA）解释模型行为，并应用于检索、生成、辅助绘画和对抗攻击等下游任务。
2024-03-14 cs.AI cs.CV
Conditional Human Sketch Synthesis with Explicit Abstraction Control
University of Surrey（萨里大学）；SketchX；CVSSP
针对现有草图合成抽象度隐式控制精度不足的问题，提出集成状态嵌入与笔画令牌的Transformer潜扩散模型，实现点级和笔画级显式抽象度控制，合成效果优于现有方法，具备实际应用潜力。
2023-06-15 cs.CV eess.IV
BézierSketch: A generative model for scalable vector sketches
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（科大讯飞-萨里大学人工智能联合研究中心）；University of Edinburgh（爱丁堡大学）
人体素描的神经生成模型的研究是一个迷人的当代建模问题，由于素描图像生成和人类绘画过程之间的联系。具有里程碑意义的SketchRNN通过顺序生成草图作为一系列路点提供了突破。然而，这会导致生成低分辨率图像，并且无法对长草图进行建模。在本文中，我们提出了BézierSketch，一种新的生成模型，完全矢量草图，可自动扩展和高分辨率。为此，我们首先介绍了一种新的逆图形方法来嵌入笔划，该方法训练编码器将每个笔划嵌入到其最佳拟合的Bézier曲线。这使我们能够将草图视为参数化笔划的短序列，从而训练具有更大容量的周期性草图生成器，以生成更长的草图，同时生成可扩展的高分辨率结果。我们报告定性和定量结果的快速，绘制!标杆
2020-07-14 cs.CV cs.LG eess.IV
AniFaceDrawing: Anime Portrait Exploration during Your Sketching
Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）；Waseda University（早稻田大学）
针对从不完整粗糙草图生成高质量动漫肖像的难题，提出基于StyleGAN隐空间探索的两阶段笔画级解耦渐进式S2I系统，可在手绘过程中实时生成对应高质量动漫肖像，经评估和用户研究验证了艺术创作辅助的有效性。
2023-06-13 cs.CV cs.GR
ContextSeg: Sketch Semantic Segmentation by Querying the Context with Attention
Shandong University（山东大学）；The University of Edinburgh（爱丁堡大学）
本文提出ContextSeg，一种两阶段草图语义分割方法，通过自编码器预测距离场强化结构信息，并利用自回归Transformer进行基于分组的标注以充分利用上下文，在两个数据集上取得最佳分割精度。
2024-03-25 cs.CV cs.GR
Sequential Dual Deep Learning with Shape and Texture Features for Sketch Recognition
DUT-RU International School of Information and Software Engineering, Dalian University of Technology（大连理工大学 DUT-RU 国际信息与软件学院）；Key Laboratory for Ubiquitous Network and Service Software of Liaoning Province（辽宁省泛在网络与服务软件重点实验室）；School of Software, Dalian University of Technology（大连理工大学软件学院）
任意性很强的手绘草图的识别具有很大的挑战性。现有的方法要么忽略了草图的几何特征，要么将草图视为具有固定结构顺序的手写体字符。因此，即使采用复杂的学习技术，它们也很难产生高的识别性能。在本文中，我们提出了一种结合形状和纹理特征的顺序深度学习策略。该方法采用编码的形状描述子来描述草图笔划的几何形状，具有很高的灵活性，而构造神经网络（CNN）的输出作为抽象的纹理特征。我们开发了具有难忘的门控递归单元（GRU）的双重深度网络，并将这两种类型的特征依次分别输入到双重网络中。这些双网络使另一个门控循环单元（GRU）能够进行特征融合，从而准确地识别不受笔画顺序影响的草图。TU-Berlin数据集上的实验表明，即使在出现显著的形状和外观变化时，我们的方法也优于人类和最先进算法的平均值。
2017-08-09 cs.CV
Abstracting Sketches through Simple Primitives
University of Tübingen（图宾根大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；University of Surrey（萨里大学）；Wageningen University（瓦赫宁根大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
人类在需要快速交流对象信息的游戏中表现出高水平的抽象能力。它们将消息内容分解为多个部分，并在可解释的协议中进行通信。为了使机器具备这种能力，我们提出了基于图元的草图抽象任务，其目标是在预算的影响下使用一组固定的绘图图元来表示草图。为了解决这个问题，我们的原始匹配网络（PMN）以自我监督的方式学习草图的可解释抽象。具体来说，PMN将草图的每个笔划映射到给定集合中最相似的图元，预测将选定图元与目标笔划对齐的仿射变换。我们端到端地学习这种笔划到图元的映射，当原始草图用预测的图元精确重建时，距离变换损失最小。我们的PMN抽象经验上实现了最高性能的草图识别和基于草图的图像检索给定的通信预算，而在同一时间是高度可解释的。这为草图分析开辟了新的可能性，例如通过提取定义对象类别的最相关图元来比较草图。代码可在https://github.com/ExplainableML/sketch-primitives上获得。
2022-07-27 cs.AI cs.CV
Sketch-Specific Data Augmentation for Freehand Sketch Recognition
Zhejiang Lab（之江实验室）；Harbin Institute of Technology（哈尔滨工业大学）；Xiamen University（厦门大学）；Tsinghua University（清华大学）；Australian National University（澳大利亚国立大学）
草图识别仍然是一个重大的挑战，由于有限的训练数据和大量的类内差异的手绘草图为同一对象。用于此任务的常规方法通常依赖于草图笔划的时间顺序的可用性、从不同模态获取的额外线索以及用真实图像对草图数据集的监督增强，这也限制了这些方法在真实场景中的适用性和可行性。在本文中，我们提出了一种新的草图特定的数据增强（SSDA）的方法，自动利用草图的数量和质量。在量化方面，我们引入了基于Bezier枢轴的变形（BPD）策略来丰富训练数据。为了提高质量，我们提出了一个平均中风重建（MSR）的方法来生成一组新类型的草图具有较小的类内方差。这两种解决方案都不受草图的任何多源数据和时间线索的限制。此外，我们表明，最近一些在真实图像的通用类上训练的深度卷积神经网络模型可能比大多数为草图识别而明确设计的精心设计的架构更好。由于SSDA可以与任何卷积神经网络集成，因此与现有方法相比具有明显的优势。我们广泛的实验评估表明，所提出的方法在TU-Berlin数据集上实现了最先进的结果（84.27%），比人类的性能提高了11.17%。最后，更多的实验表明，我们的方法的草图为基础的图像检索任务的实用价值。
2020-12-03 cs.CV
SketchINR: A First Look into Sketches as Implicit Neural Representations
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（科大讯飞-萨里人工智能联合研究中心）；University of Edinburgh（爱丁堡大学）
SketchINR 首次将矢量草图表示为隐式神经模型，通过固定维度潜在空间编码可变长度草图，在压缩率、保真度、并行解码速度和抽象重现能力上均显著优于现有方法。
2024-03-14 cs.AI cs.CV
From Scratch to Sketch: Deep Decoupled Hierarchical Reinforcement Learning for Robotic Sketching Agent
Seoul National University（首尔国立大学）
我们提出了一个自动学习框架的机器人素描代理，能够学习基于笔划的渲染和电机控制同时进行。我们制定的机器人素描问题作为一个深度解耦的分层强化学习;两个政策，基于笔划的渲染和电机控制独立学习，以实现子任务的绘图，并形成一个层次结构时，合作的现实世界的绘图。没有手工制作的功能，绘图序列或轨迹，和逆运动学，所提出的方法训练的机器人草图代理从头开始。我们进行了实验，6自由度的机器人手臂与2F夹具素描涂鸦。我们的实验结果表明，这两种策略成功地学习了子任务，并合作绘制目标图像。此外，通过不同的绘图工具和表面检查的鲁棒性和灵活性。
2022-08-09 cs.CV cs.RO
VideoSketcher: Sequential Sketch Generation Using Video Model Priors
MIT（麻省理工学院）
提出VideoSketcher方法，结合LLM的语义规划与视频扩散模型的时序渲染，通过两阶段微调从少量样本学习笔画顺序与风格，生成高质量序列草图。
2026-06-19 cs.CV
Draw This First
Wand Technologies；Bradbury Group
该研究反转草图生成逻辑，用预训练 latent flow-matching transformer 提供图像先验，训练 VAE 解码器预测顺序场等，可从文本生成有序矢量草图或反渲染图像为有序矢量，遵循绘制顺序指令。
2026-08-13 cs.CV cs.LG
AutoSketch: VLM-assisted Style-Aware Vector Sketch Completion
National Taiwan University（国立台湾大学）；The University of Tokyo（东京大学）；Reichman University（里奇曼大学）
AutoSketch利用预训练视觉-语言模型提取部分草图的自然语言风格描述并生成风格调整代码，在矢量笔画优化中建立与部分草图对齐的扩散先验，从而实现风格感知的草图自动补全。
2025-08-22 cs.CV cs.GR
Sketch2Mesh: Reconstructing and Editing 3D Shapes from Sketches
CVLab, EPFL（洛桑联邦理工学院计算机视觉实验室）
从二维草图重建三维形状一直是一个开放的问题，因为草图只提供非常稀疏和模糊的信息。在本文中，我们使用的编码器/解码器架构的草图网格翻译。当集成到为草图提供相机参数的用户界面中时，这使我们能够利用其潜在的参数化来表示和细化3D网格，以便其投影与草图中概述的外部轮廓相匹配。我们将证明这种方法易于部署，对样式更改具有鲁棒性，并且有效。此外，它可以用于形状细化给定只有单笔笔划。我们将我们的方法与最先进的草图方法进行比较-手绘和合成-并证明我们优于它们。
2021-09-30 cs.CV
FaceShop: Deep Sketch-based Face Image Editing
University of Bern（伯尔尼大学）；University of Maryland, College Park（马里兰大学帕克分校）
我们提出了一种新的系统，基于草图的人脸图像编辑，使用户能够直观地编辑图像，通过绘制感兴趣的区域上的几个笔画。我们的界面功能的工具来表达所需的图像操作，提供几何和颜色的约束，用户绘制的笔画。作为一种替代的直接用户输入，我们提出的系统自然支持复制粘贴模式，它允许用户编辑一个给定的图像区域，通过使用另一个示例图像的部分，而不需要手绘草图在所有。拟议的界面实时运行，并促进了互动和迭代的工作流程，以快速表达预期的编辑。我们的系统是基于一个新的草图域和一个卷积神经网络训练的端到端自动学习渲染图像区域对应的输入笔画。为了实现高质量和语义一致的结果，我们训练我们的神经网络上的两个同时进行的任务，即图像完成和图像翻译。据我们所知，我们是第一个将这两项任务结合在一个统一的框架中进行交互式图像编辑的公司。我们的研究结果表明，所提出的草图域，网络架构和训练过程很好地推广到真实的用户输入，并实现高质量的合成结果，而无需额外的后处理。
2018-06-07 cs.CV cs.GR
Sketch Less Face Image Retrieval: A New Challenge
Chongqing University of Posts and Telecommunications（重庆邮电大学）
在某些特定的场景中，人脸素描被用来识别一个人。然而，绘制一幅完整的人脸素描往往需要技巧和时间，这阻碍了它在实践中的广泛适用性。在这项研究中，我们提出了一个新的任务命名为无草图人脸图像检索（SLFIR），在检索中进行的每一个中风，并旨在检索目标人脸照片使用部分草图与尽可能少的中风（见图1）。首先，我们提出了一种通过绘制过程生成草图数据的方法，并将该数据集开放;其次，我们提出了一种两阶段的方法作为SLFIR的基础：（1）首先采用三元组网络学习完整草图与其目标人脸照片之间的联合嵌入空间;（2）将人脸草图的绘制过程看作一个序列，设计了一个LSTM模块来优化不完整人脸草图的表示。实验结果表明，该框架可以完成对局部草图或池草图的检索。
2023-02-11 cs.AI cs.CV
SketchGraphNet: A Memory-Efficient Hybrid Graph Transformer for Large-Scale Sketch Corpora Recognition
College of Computer, Qinghai Normal University（青海师范大学计算机学院）；College of Computer, Nanjing University（南京大学计算机学院）；College of Computer, Qinghai Minzu University（青海民族大学计算机学院）
SketchGraphNet通过混合图神经网络实现大规模草图识别，采用内存高效的全局注意力机制，提升训练效率与识别准确率。
2026-03-08 cs.AI cs.CV
Enhancing Sketch Animation: Text-to-Video Diffusion Models with Temporal Consistency and Rigidity Constraints
Graphics Research Group, Indraprastha Institute of Information Technology Delhi（印度普拉斯塔信息技术研究所图形研究组）
本文提出了一种基于文本到视频扩散模型的草图动画方法，通过引入时间一致性和刚性约束，提升了动画的平滑度和形状保持性。
2024-11-28 cs.CV cs.GR
SketchFlow: Zero-Shot Vector Sketch Generation via GMM Prior Flow in CLIP Latent Space
Guangdong Provincial Key Laboratory of Visual Media and Multidimensional Intelligence（广东省视觉媒体与多维智能重点实验室）；Shenzhen University（深圳大学）
SketchFlow是基于CLIP潜在空间的零样本矢量草图生成框架，通过GMM先验流匹配与混合扩散解码器，实现了优于基线的视觉质量与零样本泛化能力。
2026-09-01 cs.CV
Semantics-Preserving Sketch Embedding for Face Generation
随着图像到图像翻译任务的最新进展，在从草图生成人脸图像方面取得了显着进展。然而，现有的方法经常无法生成具有与输入草图在语义和几何上一致的细节的图像，特别是当绘制各种装饰笔划时。为了解决这个问题，我们引入了一种新的W-W+编码器架构，以利用W+空间的高表达能力和W空间的语义可控性。我们引入了一个显式的中间表示草图语义嵌入。通过语义特征匹配损失进行有效的语义监督，我们的草图嵌入精确地将输入草图中的语义传达到合成图像。此外，一个新的草图语义解释方法的设计，自动提取语义的矢量化草图。我们进行了大量的实验，合成草图和手绘草图，结果表明，我们的方法优于现有的方法在语义保持和泛化能力。
2023-02-08 cs.CV
Deep Reinforced Attention Regression for Partial Sketch Based Image Retrieval
Rochester Institute of Technology（罗切斯特理工学院）
基于细粒度草图的图像检索（FG-SBIR）旨在从给定查询草图的大型图库中找到特定的图像。尽管FG-SBIR在许多关键领域（例如，犯罪活动跟踪），但是现有的方法仍然具有低准确性，同时对诸如草图中不必要的笔划之类的外部噪声敏感。检索性能将进一步恶化下一个更实际的飞行设置，其中只有一个部分完整的草图，只有几个（嘈杂的）中风可用于检索相应的图像。我们提出了一个新的框架，利用一个独特设计的深度强化学习模型，执行双层探索，以处理部分草图训练和注意区域选择。通过将模型的注意力集中在草图的重要区域，该模型对不必要的笔画噪声保持了鲁棒性，并大幅度提高了检索精度。为了充分探索部分草图并定位要参与的重要区域，该模型执行用于全局探索的自举策略梯度，同时调整用于局部探索的管理定位器网络的标准偏差项。训练过程由一个混合损失来指导，该混合损失集成了强化损失和监督损失。提出了一种动态的排序奖励机制，以适应基于局部草图的实时图像检索过程。在三个公开数据集上进行的大量实验表明，我们提出的方法在基于部分草图的图像检索上达到了最先进的性能。
2021-11-21 cs.CV cs.IR cs.LG
Category-Epitomes : Discriminatively Minimalist Representations for Object Categories
Indian Institute of Science（印度科学学院）
手绘线条草图是一种有趣而独特的视觉表现形式。通常，这样的草图被研究并用作草图绘制过程的最终产品。然而，我们发现研究草图是有指导意义的，因为草图是随着时间的推移而添加的绘画笔画的连续积累的组成。以这种方式研究草图，使我们能够创建新的稀疏但歧视性的基于草图的表示对象类别，我们术语的类别摘要。我们的程序同时获得这些摘要提供了一个自然的措施，量化稀疏的原始草图，我们的术语摘要分数。我们构建和分析属于各种对象类别的徒手草图的类别摘要和摘要分数。我们的分析为研究宾语范畴的语义本质提供了一个新的视角。
2015-01-31 cs.CV
SketchGPT: Autoregressive Modeling for Sketch Generation and Recognition
Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
SketchGPT 提出将草图映射为抽象基元序列，利用序列到序列自回归模型统一实现草图生成、补全与识别，并通过定性与定量实验及人类评估验证其多样性和竞争力。
2024-05-06 cs.CV
Sketch-R2CNN: An Attentive Network for Vector Sketch Recognition
HKUST（香港科技大学）；University of Maryland, College Park（马里兰大学帕克分校）；Zhejiang University（浙江大学）；Alibaba A.I. Labs（阿里巴巴人工智能实验室）；City University of Hong Kong（香港城市大学）
手绘草图是一个动态的过程，其中点被顺序采样并分组为笔划，用于在电子设备上获取草图。为了识别一个草图对象，大多数现有的方法丢弃这些重要的时间排序和分组信息，从人类和简单的光栅草图到二进制图像进行分类。在本文中，我们提出了一种新的单分支注意网络架构RNN-Rasterization-CNN（简称Sketch-R2 CNN），以充分利用草图中的动态进行识别。Sketch-R2 CNN仅将具有分组的点序列的矢量草图作为输入，并且分别使用RNN用于矢量空间中的笔画注意估计和CNN用于像素空间中的2D特征提取。为了弥合神经网络中这两个空间之间的差距，我们提出了一个神经线光栅化模块，将矢量草图以及RNN估计的注意力转换为位图图像，随后由CNN使用。神经线光栅化模块以可微分的方式设计，以产生用于端到端学习的统一管道。我们在现有的大规模草图识别基准上进行了实验，结果表明，通过利用草图动态与注意力机制，我们的方法是更强大的，并取得了更好的性能比国家的最先进的方法。
2018-11-20 cs.CV cs.GR
LiveSketch: Query Perturbations for Guided Sketch-based Visual Search
University of Surrey（萨里大学）；Adobe Research（Adobe研究院）
LiveSketch是一种使用手绘查询搜索大型图像集的新算法。LiveSketch通过创建可视化建议来解决草图搜索的固有模糊性，这些建议在绘制查询时增加查询，使查询规范成为一个迭代而不是一次性的过程，有助于消除用户搜索意图的模糊性。我们的技术贡献是：三重convnet架构，其结合了基于RNN的变分自编码器以使用向量（基于笔划）查询来搜索图像;实时聚类以识别可能的搜索意图（以及因此，搜索嵌入内的目标）;以及使用来自这些目标的反向传播来扰动输入笔划序列，从而建议对查询的更改以引导搜索。我们使用67 M图像语料库显示了在准确性和任务时间方面的改进。
2019-04-14 cs.AI cs.CV cs.IR
Order Matters: 3D Shape Generation from Sequential VR Sketches
本文提出VRSketch2Shape框架，通过顺序感知的草图编码器和扩散生成器，提升从VR草图生成3D形状的几何精度与泛化能力。
2026-03-17 cs.CV
Deep Self-Supervised Representation Learning for Free-Hand Sketch
Nanyang Technological University（南洋理工大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Surrey（萨里大学）
在本文中，我们第一次解决的问题，自监督的表示学习的手绘草图。这重要地解决了草图社区面临的一个常见问题--注释的监督数据很难获得。这个问题是非常具有挑战性的，因为草图是高度抽象的，并且受到不同的绘画风格的影响，使得现有的为照片量身定制的解决方案不适合。我们的自监督学习范例成功的关键在于我们的草图特定的设计：（i）我们提出了一组专门为模仿不同绘画风格的草图设计的借口任务，以及（ii）我们进一步利用文本卷积网络（TCN）在双分支架构中用于草图特征学习，作为适应草图的连续笔划性质的手段。我们通过两个草图相关的应用程序（检索和识别）在百万级草图数据集上展示了我们的草图特定设计的优越性，并表明所提出的方法优于最先进的无监督表示学习方法，并显着缩小了与监督表示学习之间的性能差距。
2020-02-03 cs.CV
