Learning Deep Sketch Abstraction
SketchX, Queen Mary University of London（SketchX，伦敦玛丽女王大学）；The University of Edinburgh（爱丁堡大学）
手绘草图的识别、合成和基于草图的细粒度图像检索（FG-SBIR）等技术已经在不同的背景下得到了广泛的研究。草图分析的一个基本挑战是处理截然不同的人类绘画风格，特别是在抽象级别方面。在这项工作中，我们提出了第一个笔划级草图抽象模型的基础上的素描抽象的洞察力之间的可识别性和用于绘制它的笔划的数量进行权衡的过程。具体地说，我们训练模型抽象草图生成通过强化学习的笔划删除策略，学习预测哪些笔划可以安全地删除，而不影响可识别性。我们表明，我们的抽象模型可用于各种草图分析任务，包括：（1）建模笔划显着性和理解草图识别模型的决策，（2）合成给定类别的可变抽象的草图，或照片中的参考对象实例，以及（3）仅用照片训练FG-SBIR模型，绕过昂贵的照片-草图对收集步骤。
2018-04-13 cs.CV
SketchGNN: Semantic Sketch Segmentation with Graph Neural Networks
State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD&CG国家重点实验室）；School of Creative Media, City University of Hong Kong（香港城市大学创意媒体学院）；Shanghai Jiao Tong University（上海交通大学）
我们介绍了SketchGNN，一个卷积图神经网络的语义分割和标记的手绘矢量草图。我们把一个输入的基于笔划的草图作为一个图，与节点表示采样点沿输入笔划和边缘编码的笔划结构信息。为了预测每个节点的标签，我们的SketchGNN使用图卷积和静态-动态分支网络架构来提取三个级别的特征，即，点级、笔划级和草图级。SketchGNN显着提高了最先进的语义草图分割方法的准确性（在基于像素的度量中提高了11.2%，在基于组件的度量中提高了18.2%），并且比基于图像和基于序列的方法具有更少的参数。
2021-03-25 cs.CV
Generating Sketches in a Hierarchical Auto-Regressive Process for Flexible Sketch Drawing Manipulation at Stroke-Level
Sicong Zang, Shuhui Gao, Zhijun Fang
本文提出分层自回归生成过程，实现灵活的笔触级草图操作，通过自回归方式生成笔触嵌入并引导模型生成合适笔触。
2025-11-11 cs.AI cs.CV
Sketch Generation with Drawing Process Guided by Vector Flow and Grayscale
Shanghai Jiao Tong University（上海交通大学）；Huawei Hisilicon（华为海思）
我们提出了一种新的图像到铅笔的翻译方法，不仅可以生成高质量的铅笔素描，但也提供了绘图过程。现有的铅笔素描算法都是基于纹理渲染而不是直接模仿笔画，无法表现出素描的过程而只能表现出最终的结果。为了解决这个问题，我们首先建立了一个铅笔笔画模仿机制。接下来，我们开发了一个具有三个分支的框架来指导笔画绘制：第一个分支指导笔画的方向，第二个分支确定笔画的阴影，第三个分支进一步增强细节。在这个框架的指导下，我们可以通过每次绘制一笔来生成铅笔素描。我们的方法是完全可解释的。与现有的铅笔画算法的比较表明，我们的方法是优于其他的纹理质量，风格和用户评价。
2020-12-16 cs.CV
StrokeFusion: Vector Sketch Generation via Joint Stroke-UDF Encoding and Latent Sequence Diffusion
针对现有草图生成方法存在伪影、整体感知不足、相似特征提取困难的问题，提出两阶段框架StrokeFusion，通过联合笔画-UDF编码与笔画级隐扩散实现高保矢量真草图生成，性能优于现有最优方法。
2025-11-18 cs.CV cs.GR
Learning to Sketch with Deep Q Networks and Demonstrated Strokes
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Adobe Research（奥多比研究院）
涂鸦是人们可以学习和掌握的一种有用和常见的智能技能。在这项工作中，我们提出了一个两阶段的学习框架，通过笔划演示和深度Q学习（SDQ）来教机器在模拟的绘画环境中涂鸦。开发的系统Doodle-SDQ生成一系列笔动作来再现参考绘图，并模仿人类画家的行为。在第一阶段，它通过从艺术家绘画中收集的一组strokeaction对中以监督的方式模仿来学习绘制简单的笔画。在第二阶段，它面临的挑战是在没有地面真实动作的情况下绘制真实的、更复杂的涂鸦;因此，它使用Qlearning进行训练。我们的实验证实，（1）涂鸦可以在没有直接的逐步动作监督的情况下学习，（2）通过监督学习进行带有笔画演示的预训练对提高性能很重要。我们进一步表明，Doodle-SDQ是有效的，在不同的媒体类型，包括素描和水彩画生产合理的图纸。
2018-10-14 cs.CV
SketchMamba: A Lightweight State-Space Model for Joint Progressive Sketch Classification and Stroke Auto-Completion
The National High School（国立高中）
研究针对矢量草图模型问题，提出SketchMamba单一因果序列模型，能连续分类草图并生成后续内容。通过密集逐步分类损失实现，在数据集上评估效果良好，参数主干表现出色，消融实验证实密集监督驱动早期预测，统一了识别与生成。
2026-07-28 cs.CV
Sketching without Worrying: Noise-Tolerant Sketch-Based Image Retrieval
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（讯飞-萨里人工智能联合研究中心）
草图使许多令人兴奋的应用，特别是图像检索。害怕素描的问题（即，“我不能素描”），但已被证明是致命的广泛采用。本文解决了这种“恐惧”的头部，并首次提出了一个辅助模块，现有的检索模型，主要是让用户草图，而不必担心。我们首先进行了一项试点研究，揭示了秘密在于存在嘈杂的中风，但没有那么多的“我不能素描”。因此，我们设计了一个笔划子集选择器，{检测噪声笔划，只留下那些}，使成功检索的积极贡献。我们基于强化学习的公式根据中风对检索的贡献程度量化给定子集中存在的每个中风的重要性。当与预训练的检索模型作为预处理模块相结合时，我们实现了比标准基线8%-10%的显著增益，并进而报告了新的最先进的性能。最后但并非最不重要的是，我们展示了选择器一旦经过训练，也可以以即插即用的方式使用，以以前不可能的方式为各种草图应用程序提供支持。
2022-03-28 cs.CV
Multi-granularity Association Learning Framework for on-the-fly Fine-Grained Sketch-based Image Retrieval
Chongqing University of Posts and Telecommunications（重庆邮电大学）；University of California, Riverside（加利福尼亚大学河滨分校）
基于细粒度草图的图像检索（FG-SBIR）解决了在给定的查询草图中检索特定照片的问题。但是，它的广泛适用性受到限制，因为大多数人很难画出完整的草图，而且绘制过程往往需要时间。在这项研究中，我们的目标是用尽可能少的笔画数（不完整的草图）检索目标照片，命名为即时FG-SBIR（Bhunia et al. 2020），它在绘画开始时就开始检索每个笔画。我们认为，在每张照片的草图绘制片段中，这些不完整的草图之间存在着显著的相关性。为了更有效地学习照片和不完整草图之间共享的联合嵌入空间，我们提出了一个多粒度关联学习框架，进一步优化了所有不完整草图的嵌入空间。具体来说，基于草图的完整性，我们可以将一个完整的草图集分为几个阶段，每个阶段对应一个简单的线性映射层。此外，该框架引导当前草图的向量空间表示逼近后续草图的向量空间表示，实现了笔划较少草图的检索性能逼近笔划较多草图的检索性能。在实验中，我们提出了更现实的挑战，我们的方法在两个公开的细粒度草图检索数据集上实现了优于最先进的方法和替代基线的早期检索效率。
2022-01-13 cs.CV
VQ-SGen: A Vector Quantized Stroke Representation for Creative Sketch Generation
The University of Edinburgh（爱丁堡大学）；ShanghaiTech University（上海科技大学）
VQ-SGen提出矢量量化笔画表示及两阶段框架，解耦形状与位置并利用Transformer生成，在CreativeSketch数据集上超越现有方法，支持条件生成与草图补全。
2025-07-09 cs.CV cs.GR
SketchXAI: A First Look at Explainability for Human Sketches
University of Surrey（萨里大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（科大讯飞-萨里人工智能联合研究中心）
该研究首次将人类草图引入 XAI，提出兼顾笔画形状、位置与顺序的可解释性友好编码器，并定义笔画位置反转 SLI 任务，在实现最佳草图识别准确率的同时保持最小参数量。
2023-04-23 cs.CV
Sketchformer: Transformer-based Representation for Sketched Structure
Universidade de São Paulo（圣保罗大学）；University of Surrey（萨里大学）；Adobe Research（奥多比研究院）
Sketchformer是一种新的基于变换的表示，用于编码矢量形式的手绘草图输入，即作为一个笔划序列。Sketchformer有效地解决了多个任务：草图分类，基于草图的图像检索（SBIR），以及草图的重建和插值。我们报告了几种探索连续和标记化输入表示的变体，并对比了它们的性能。我们学习的嵌入，由字典学习标记化方案驱动，在分类和图像检索任务中产生最先进的性能，与LSTM序列到序列架构驱动的基线表示相比：SketchRNN和衍生物。我们表明，草图重建和插值显着改善Sketchformer嵌入复杂的草图与较长的笔划序列。
2020-02-24 cs.CV
VisioBlend: Sketch and Stroke-Guided Denoising Diffusion Probabilistic Model for Realistic Image Generation
Vidyavardhini’s College of Engineering and Technology（维迪亚瓦尔迪尼工程与技术学院）
针对手绘草图转图像中的多样性需求与训练数据限制，本文提出 VisioBlend 扩散框架，通过三维可控的草图与笔触引导实现逼真、灵活的图像生成，并利用合成数据增强数据集。
2024-05-15 cs.CV cs.LG
Make Your Brief Stroke Real and Stereoscopic: 3D-Aware Simplified Sketch to Portrait Generation
Tokyo Institute of Technology（东京工业大学）；Monash University（莫纳什大学）；Baidu Inc.（百度公司）；The University of Sydney（悉尼大学）；Baidu（百度）；Nanyang Technological University（南洋理工大学）
针对固定视角2D草图转肖像不生动的问题，提出SSP框架，利用三平面3D生成先验、区域感知体绘制与轮廓转草图模块，生成与草图匹配的立体3D人像。
2023-10-01 cs.CV
One Sketch for All: One-Shot Personalized Sketch Segmentation
University of Surrey（萨里大学）
提出了第一种一次性的个性化草图分割方法。我们的目标是分割属于同一类别的所有草图，提供一个单一的草图与给定的部分注释，同时（i）保留嵌入在样本中的部分语义，（ii）是强大的输入风格和抽象。我们将这种情况称为个性化。这样，我们就可以为下游的细粒度草图分析任务提供非常理想的个性化功能。为了训练一个健壮的分割模块，我们将样本草图变形为同一类别的每个可用草图。我们的方法推广到训练过程中没有观察到的草图。我们的主要贡献是一个草图特定的层次变形网络。给定通过图卷积网络获得的多级草图笔划编码，我们的方法在上层估计从目标到样本的刚体变换。从样本到全局扭曲的目标草图的更精细变形进一步通过在较低级别上的逐笔变形来获得。这两个级别的变形都是由在没有监督的情况下学习的关键点之间的均方距离引导的，以确保保留笔划语义。我们评估我们的方法对国家的最先进的分割和感知分组基线重新用于单镜头设置和对两个Few-Shot三维形状分割方法。我们表明，我们的方法优于所有的替代品超过$10\%$平均。消融研究进一步表明，我们的方法是强大的个性化：输入部分的语义和风格差异的变化。
2022-03-24 cs.CV
SwiftSketch: A Diffusion Model for Image-to-Vector Sketch Generation
Tel Aviv University（特拉维夫大学）；Reichman University（赖希曼大学）；MIT（麻省理工学院）
针对现有矢量草图生成方法依赖耗时优化过程的问题，提出SwiftSketch扩散模型，通过Transformer解码器处理矢量离散性并捕捉笔触全局依赖，结合合成数据集训练，实现每秒级高质量图像到矢量草图生成。
2025-02-12 cs.CV
Class-Agnostic Visio-Temporal Scene Sketch Semantic Segmentation
Koç University（科奇大学）
本文提出类别无关视觉-时序网络CAVT，首次在场景草图中同时实现实例级和笔画级分割，并构建了包含1K场景草图、403类对象的FrISS数据集，性能优于现有方法。
2024-09-30 cs.CV cs.LG
ProgressNet: Sketching and Prompting with a Frozen Text-to-Image Model
University of Surrey（萨里大学）
ProgressNet提出无需训练的推理时机制，使冻结的文本到图像模型能渐进式跟随草图绘制与提示修改，每轮约一秒，在FS-COCO上FID几乎不变，优于现有方法。
2026-10-05 cs.CV
SketchSense: Learning to Interpret Imperfect Sketch Guidance for Image Inpainting
Fudan University（复旦大学）
SketchSense是同步去噪RGB与结构流的框架，通过双向注意力融合等技术解释不完美草图引导，在图像修复的质量和结构保真度上较现有方法有显著提升。
2026-08-14 cs.CV
Sketch-Inspector: a Deep Mixture Model for High-Quality Sketch Generation of Cats
University of Southern California（南加州大学）；Sun Yat-sen University（中山大学）；University of Waterloo（滑铁卢大学）；Michigan State University（密歇根州立大学）
在人工智能（AI）的参与下，可以在某些主题下自动生成草图。尽管在这一领域的先前研究中已经取得了突破性进展，但相对较高比例的生成图形过于抽象而无法识别，这说明人工智能在绘画时无法学习目标对象的一般模式。本文认为，监督的过程中，中风的产生，可以导致更准确的草图解释。在此基础上，本文提出了一个带有辅助卷积神经网络（CNN）预测器的草图生成系统。此外，还引入了一种基于CNN的识别算法来判断最终产品的可识别性。由于基线模型在生成多类草图时是无效的，因此我们将模型限制为生成一个类别。因为猫的图像很容易识别，所以我们考虑从QuickDraw数据集中选择猫的草图。本文将所提出的模型与原始Sketch-RNN在75 K人画猫草图上进行了比较。结果表明，我们的模型产生的草图质量高于人类的草图。
2020-11-09 cs.CV
A complete hand-drawn sketch vectorization framework
University of Parma（帕尔马大学）；Adidas AG（阿迪达斯股份公司）
矢量化手绘草图是一项具有挑战性的任务，这对于为时尚和创意工作流程创建CAD矢量化版本至关重要。本文提出了一个完整的框架，自动转换嘈杂和复杂的手绘草图与不同的中风类型在一个精确的，可靠的和高度简化的矢量化模型。该框架包括一个新的线提取算法的基础上的多分辨率应用皮尔逊的互相关和一个新的无偏细化算法，可以摆脱涂鸦和可变宽度的中风，以获得干净的1像素线。其他贡献包括修剪，合并和边缘连接程序的变体后处理所获得的路径。最后，修改原施耐德的矢量化算法的设计，以获得更少的控制点，在所产生的贝塞尔样条。该框架的所有建议步骤都经过了广泛的测试，并与最先进的算法进行了比较，显示（定性和定量）其优越性。
2018-02-16 cs.CV
Block and Detail: Scaffolding Sketch-to-Image Generation
Stanford University（斯坦福大学）
本文提出契合艺术家迭代细化流程的草图到图像工具，通过两遍 ControlNet 生成与局部草图训练方案，从 blocking/detail 笔触生成高保真支架图像，用户评估显著优于 Scribble ControlNet。
2024-10-25 cs.CV cs.GR
What Sketch Explainability Really Means for Downstream Tasks
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（讯飞-萨里人工智能联合研究中心）
本文提出一种轻量级可移植的草图可解释性插件，通过笔触级归因图（SLA和P-SLA）解释模型行为，并应用于检索、生成、辅助绘画和对抗攻击等下游任务。
2024-03-14 cs.AI cs.CV
Conditional Human Sketch Synthesis with Explicit Abstraction Control
University of Surrey（萨里大学）；SketchX；CVSSP
针对现有草图合成抽象度隐式控制精度不足的问题，提出集成状态嵌入与笔画令牌的Transformer潜扩散模型，实现点级和笔画级显式抽象度控制，合成效果优于现有方法，具备实际应用潜力。
2023-06-15 cs.CV eess.IV
BézierSketch: A generative model for scalable vector sketches
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（科大讯飞-萨里大学人工智能联合研究中心）；University of Edinburgh（爱丁堡大学）
人体素描的神经生成模型的研究是一个迷人的当代建模问题，由于素描图像生成和人类绘画过程之间的联系。具有里程碑意义的SketchRNN通过顺序生成草图作为一系列路点提供了突破。然而，这会导致生成低分辨率图像，并且无法对长草图进行建模。在本文中，我们提出了BézierSketch，一种新的生成模型，完全矢量草图，可自动扩展和高分辨率。为此，我们首先介绍了一种新的逆图形方法来嵌入笔划，该方法训练编码器将每个笔划嵌入到其最佳拟合的Bézier曲线。这使我们能够将草图视为参数化笔划的短序列，从而训练具有更大容量的周期性草图生成器，以生成更长的草图，同时生成可扩展的高分辨率结果。我们报告定性和定量结果的快速，绘制!标杆
2020-07-14 cs.CV cs.LG eess.IV
ContextSeg: Sketch Semantic Segmentation by Querying the Context with Attention
Shandong University（山东大学）；The University of Edinburgh（爱丁堡大学）
本文提出ContextSeg，一种两阶段草图语义分割方法，通过自编码器预测距离场强化结构信息，并利用自回归Transformer进行基于分组的标注以充分利用上下文，在两个数据集上取得最佳分割精度。
2024-03-25 cs.CV cs.GR
Abstracting Sketches through Simple Primitives
University of Tübingen（图宾根大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；University of Surrey（萨里大学）；Wageningen University（瓦赫宁根大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
人类在需要快速交流对象信息的游戏中表现出高水平的抽象能力。它们将消息内容分解为多个部分，并在可解释的协议中进行通信。为了使机器具备这种能力，我们提出了基于图元的草图抽象任务，其目标是在预算的影响下使用一组固定的绘图图元来表示草图。为了解决这个问题，我们的原始匹配网络（PMN）以自我监督的方式学习草图的可解释抽象。具体来说，PMN将草图的每个笔划映射到给定集合中最相似的图元，预测将选定图元与目标笔划对齐的仿射变换。我们端到端地学习这种笔划到图元的映射，当原始草图用预测的图元精确重建时，距离变换损失最小。我们的PMN抽象经验上实现了最高性能的草图识别和基于草图的图像检索给定的通信预算，而在同一时间是高度可解释的。这为草图分析开辟了新的可能性，例如通过提取定义对象类别的最相关图元来比较草图。代码可在https://github.com/ExplainableML/sketch-primitives上获得。
2022-07-27 cs.AI cs.CV
SketchINR: A First Look into Sketches as Implicit Neural Representations
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（科大讯飞-萨里人工智能联合研究中心）；University of Edinburgh（爱丁堡大学）
SketchINR 首次将矢量草图表示为隐式神经模型，通过固定维度潜在空间编码可变长度草图，在压缩率、保真度、并行解码速度和抽象重现能力上均显著优于现有方法。
2024-03-14 cs.AI cs.CV
Vectorized Region Based Brush Strokes for Artistic Rendering
TCS Research（塔塔咨询服务研究院）
针对现有笔触绘画系统生成的笔触构图难符艺术原则的问题，提出一种带区域语义引导、可计算笔触参数并建立渲染顺序的图像转绘画方法，实现了高保真、高质量笔触的艺术渲染。
2025-06-11 cs.CV
From Scratch to Sketch: Deep Decoupled Hierarchical Reinforcement Learning for Robotic Sketching Agent
Seoul National University（首尔国立大学）
我们提出了一个自动学习框架的机器人素描代理，能够学习基于笔划的渲染和电机控制同时进行。我们制定的机器人素描问题作为一个深度解耦的分层强化学习;两个政策，基于笔划的渲染和电机控制独立学习，以实现子任务的绘图，并形成一个层次结构时，合作的现实世界的绘图。没有手工制作的功能，绘图序列或轨迹，和逆运动学，所提出的方法训练的机器人草图代理从头开始。我们进行了实验，6自由度的机器人手臂与2F夹具素描涂鸦。我们的实验结果表明，这两种策略成功地学习了子任务，并合作绘制目标图像。此外，通过不同的绘图工具和表面检查的鲁棒性和灵活性。
2022-08-09 cs.CV cs.RO
VideoSketcher: Sequential Sketch Generation Using Video Model Priors
MIT（麻省理工学院）
提出VideoSketcher方法，结合LLM的语义规划与视频扩散模型的时序渲染，通过两阶段微调从少量样本学习笔画顺序与风格，生成高质量序列草图。
2026-06-19 cs.CV
Draw This First
Wand Technologies；Bradbury Group
该研究反转草图生成逻辑，用预训练 latent flow-matching transformer 提供图像先验，训练 VAE 解码器预测顺序场等，可从文本生成有序矢量草图或反渲染图像为有序矢量，遵循绘制顺序指令。
2026-08-13 cs.CV cs.LG
AutoSketch: VLM-assisted Style-Aware Vector Sketch Completion
National Taiwan University（国立台湾大学）；The University of Tokyo（东京大学）；Reichman University（里奇曼大学）
AutoSketch利用预训练视觉-语言模型提取部分草图的自然语言风格描述并生成风格调整代码，在矢量笔画优化中建立与部分草图对齐的扩散先验，从而实现风格感知的草图自动补全。
2025-08-22 cs.CV cs.GR
FaceShop: Deep Sketch-based Face Image Editing
University of Bern（伯尔尼大学）；University of Maryland, College Park（马里兰大学帕克分校）
我们提出了一种新的系统，基于草图的人脸图像编辑，使用户能够直观地编辑图像，通过绘制感兴趣的区域上的几个笔画。我们的界面功能的工具来表达所需的图像操作，提供几何和颜色的约束，用户绘制的笔画。作为一种替代的直接用户输入，我们提出的系统自然支持复制粘贴模式，它允许用户编辑一个给定的图像区域，通过使用另一个示例图像的部分，而不需要手绘草图在所有。拟议的界面实时运行，并促进了互动和迭代的工作流程，以快速表达预期的编辑。我们的系统是基于一个新的草图域和一个卷积神经网络训练的端到端自动学习渲染图像区域对应的输入笔画。为了实现高质量和语义一致的结果，我们训练我们的神经网络上的两个同时进行的任务，即图像完成和图像翻译。据我们所知，我们是第一个将这两项任务结合在一个统一的框架中进行交互式图像编辑的公司。我们的研究结果表明，所提出的草图域，网络架构和训练过程很好地推广到真实的用户输入，并实现高质量的合成结果，而无需额外的后处理。
2018-06-07 cs.CV cs.GR
Sketch Less Face Image Retrieval: A New Challenge
Chongqing University of Posts and Telecommunications（重庆邮电大学）
在某些特定的场景中，人脸素描被用来识别一个人。然而，绘制一幅完整的人脸素描往往需要技巧和时间，这阻碍了它在实践中的广泛适用性。在这项研究中，我们提出了一个新的任务命名为无草图人脸图像检索（SLFIR），在检索中进行的每一个中风，并旨在检索目标人脸照片使用部分草图与尽可能少的中风（见图1）。首先，我们提出了一种通过绘制过程生成草图数据的方法，并将该数据集开放;其次，我们提出了一种两阶段的方法作为SLFIR的基础：（1）首先采用三元组网络学习完整草图与其目标人脸照片之间的联合嵌入空间;（2）将人脸草图的绘制过程看作一个序列，设计了一个LSTM模块来优化不完整人脸草图的表示。实验结果表明，该框架可以完成对局部草图或池草图的检索。
2023-02-11 cs.AI cs.CV
SketchGraphNet: A Memory-Efficient Hybrid Graph Transformer for Large-Scale Sketch Corpora Recognition
College of Computer, Qinghai Normal University（青海师范大学计算机学院）；College of Computer, Nanjing University（南京大学计算机学院）；College of Computer, Qinghai Minzu University（青海民族大学计算机学院）
SketchGraphNet通过混合图神经网络实现大规模草图识别，采用内存高效的全局注意力机制，提升训练效率与识别准确率。
2026-03-08 cs.AI cs.CV
Enhancing Sketch Animation: Text-to-Video Diffusion Models with Temporal Consistency and Rigidity Constraints
Graphics Research Group, Indraprastha Institute of Information Technology Delhi（印度普拉斯塔信息技术研究所图形研究组）
本文提出了一种基于文本到视频扩散模型的草图动画方法，通过引入时间一致性和刚性约束，提升了动画的平滑度和形状保持性。
2024-11-28 cs.CV cs.GR
Deep Reinforced Attention Regression for Partial Sketch Based Image Retrieval
Rochester Institute of Technology（罗切斯特理工学院）
基于细粒度草图的图像检索（FG-SBIR）旨在从给定查询草图的大型图库中找到特定的图像。尽管FG-SBIR在许多关键领域（例如，犯罪活动跟踪），但是现有的方法仍然具有低准确性，同时对诸如草图中不必要的笔划之类的外部噪声敏感。检索性能将进一步恶化下一个更实际的飞行设置，其中只有一个部分完整的草图，只有几个（嘈杂的）中风可用于检索相应的图像。我们提出了一个新的框架，利用一个独特设计的深度强化学习模型，执行双层探索，以处理部分草图训练和注意区域选择。通过将模型的注意力集中在草图的重要区域，该模型对不必要的笔画噪声保持了鲁棒性，并大幅度提高了检索精度。为了充分探索部分草图并定位要参与的重要区域，该模型执行用于全局探索的自举策略梯度，同时调整用于局部探索的管理定位器网络的标准偏差项。训练过程由一个混合损失来指导，该混合损失集成了强化损失和监督损失。提出了一种动态的排序奖励机制，以适应基于局部草图的实时图像检索过程。在三个公开数据集上进行的大量实验表明，我们提出的方法在基于部分草图的图像检索上达到了最先进的性能。
2021-11-21 cs.CV cs.IR cs.LG
LiveSketch: Query Perturbations for Guided Sketch-based Visual Search
University of Surrey（萨里大学）；Adobe Research（Adobe研究院）
LiveSketch是一种使用手绘查询搜索大型图像集的新算法。LiveSketch通过创建可视化建议来解决草图搜索的固有模糊性，这些建议在绘制查询时增加查询，使查询规范成为一个迭代而不是一次性的过程，有助于消除用户搜索意图的模糊性。我们的技术贡献是：三重convnet架构，其结合了基于RNN的变分自编码器以使用向量（基于笔划）查询来搜索图像;实时聚类以识别可能的搜索意图（以及因此，搜索嵌入内的目标）;以及使用来自这些目标的反向传播来扰动输入笔划序列，从而建议对查询的更改以引导搜索。我们使用67 M图像语料库显示了在准确性和任务时间方面的改进。
2019-04-14 cs.AI cs.CV cs.IR
CLIPascene: Scene Sketching with Different Types and Levels of Abstraction
Tel Aviv University（特拉维夫大学）；Reichman University（赖克曼大学）
本研究提出CLIPascene方法，将场景图像转换为解耦保真度、简洁度两类多层抽象的草图，通过两个MLP网络分别控制笔画排布与逐步精简，支持用户按需生成复杂场景的可控抽象草图。
2023-05-01 cs.CV cs.GR
Enhance Sketch Recognition's Explainability via Semantic Component-Level Parsing
Xidian University（西安电子科技大学）
该研究针对手绘草图识别的可解释性问题，提出嵌入语义组件级记忆模块的结构化识别网络，可自主学习类别语义组件记忆键，适配有无笔画语义标签的场景，经SPG、SketchIME数据集验证兼具灵活性与可解释性。
2023-12-13 cs.CV
DifferSketching: How Differently Do People Sketch 3D Objects?
City University of Hong Kong（香港城市大学）；Peking University（北京大学）；University of Surrey（萨里大学）
已经提出了多个草图数据集来理解人们如何绘制3D对象。然而，这样的数据集通常是小规模的，并且覆盖一小部分对象或类别。此外，这些数据集包含大部分来自专家用户的手绘草图，使得很难比较专家和新手用户的绘图，而这种比较对于为任何用户组提供更有效的基于草图的界面至关重要。这些观察促使我们分析具有和不具有足够绘图技能的人绘制3D对象的差异。我们邀请了70名新手用户和38名专家用户来绘制136个3D对象，这些对象被呈现为从多个视图渲染的362个图像。这将产生一个包含3，620个手绘多视图草图的新数据集，这些草图在某些视图下与其相应的3D对象配准。我们的数据集比现有的数据集大一个数量级。我们从三个层面分析收集到的数据，即，草图级、笔划级和像素级，在空间和时间特性下，以及在创建者组内和跨创建者组。我们发现，专业和新手的图纸显示出显着的差异，在笔画水平，无论是内在的和外在的。我们证明了我们的数据集在两个应用程序中的有用性：（i）手绘风格的草图合成，以及（ii）将其作为基于草图的3D重建的潜在基准。我们的数据集和代码可以在https://chufengxiao.github.io/DifferSketching/上找到。
2022-09-19 cs.CV cs.GR
LogoNet: a fine-grained network for instance-level logo sketch retrieval
Nanjing Normal University（南京师范大学）
针对实例级标志草图检索的挑战，本文构建了首个包含2k实例和9k草图的数据集，并提出了基于混合注意力机制的三分支CNN架构LogoNet，有效提升了检索准确率。
2023-04-05 cs.CV
SEA: Evaluating Sketch Abstraction Efficiency via Element-level Commonsense Visual Question Answering
Dongguk University（东国大学）
本文提出SEA指标，通过元素级常识视觉问答评估草图抽象效率，引入CommonSketch数据集，验证了草图抽象效率的评估方法。
2026-03-30 cs.CV
Emergence of Painting Ability via Recognition-Driven Evolution
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；RIKEN（理化学研究所）；The University of Tokyo（东京大学）；Tianjin Academy of Fine Art（天津美术学院）；Sakana AI
本文提出由笔触与调色板双分支构成、以高层视觉识别准确率驱动优化的类人绘画演化模型，能以极少笔触和颜色生成具审美效果的抽象素描，并可用于优于传统方法的位级图像压缩。
2025-01-09 cs.CV
Unsupervised Image to Sequence Translation with Canvas-Drawer Networks
Massachusetts Institute of Technology（麻省理工学院）；Autodesk（欧特克）；Autodesk Research（欧特克研究院）
将图像编码为一系列高级结构，如画笔笔划或离散形状，通常是人类和机器理解的关键。然而，在许多情况下，数据仅以像素形式提供。我们提出了一种方法，直接在一个高层次的域（如画笔），而不需要真正的成对数据生成图像。具体来说，我们训练一个“画布”网络来模仿高级结构到像素的映射，然后是一个高级“绘图”网络，该网络通过这种映射来优化，以解决所需的图像重建或翻译任务。我们成功地发现了符号，大型草图和3D对象的顺序矢量表示，仅利用像素数据。我们展示了我们的方法在图像分割中的应用，并提出了几个消融研究比较各种配置。
2018-09-26 cs.CV
Cross-Modal Hierarchical Modelling for Fine-Grained Sketch Based Image Retrieval
University of Surrey（萨里大学）
草图作为图像搜索查询是捕获细粒度视觉细节的文本的理想替代。先前在基于细粒度草图的图像检索（FG-SBIR）上的成功已经证明了处理草图而不是照片的独特特征的重要性，例如，时间与静态、笔划与像素以及抽象与像素完美。在本文中，我们研究了迄今为止被忽视的草图的另一个特点，即它们在细节层次方面是分层的-一个人通常会绘制各种程度的细节来描绘一个对象。这种层次结构通常在视觉上是不同的。在本文中，我们设计了一种新的网络，能够培养草图特定的层次结构，并利用它们来匹配草图与相应层次的照片。特别是，从草图和照片的特征是丰富使用跨模态的共同注意，再加上层次节点融合在每一个层次，形成一个更好的嵌入空间进行检索。常见的基准测试实验表明，我们的方法优于国家的最先进的显着保证金。
2020-08-11 cs.CV cs.IR
Bridging the Gap: Sketch-Aware Interpolation Network for High-Quality Animation Sketch Inbetweening
The University of Sydney（悉尼大学）；The Hong Kong Polytechnic University（香港理工大学）
针对手绘2D动画素描中间帧手工制作成本高、通用插值方法受素描细节少与关键帧形变大制约的问题，提出融合多层级引导与多流U-Transformer的SAIN网络，构建STD-12K数据集，实验证明其性能优于现有最优方法。
2024-08-14 cs.CV cs.MM
CLIPasso: Semantically-Aware Object Sketching
Swiss Federal Institute of Technology (EPFL)（瑞士联邦理工学院（洛桑））；Tel-Aviv University（特拉维夫大学）；Reichman University（赖希曼大学）
由于线条画的简单和最小的性质，抽象是素描的核心。抽象需要识别对象或场景的基本视觉属性，这需要语义理解和高级概念的先验知识。因此，抽象概念对艺术家来说是一个挑战，对机器来说更是如此。我们提出CLIPasso，对象的草图方法，可以实现不同层次的抽象，几何和语义简化的指导下。虽然草图生成方法通常依赖于显式草图数据集进行训练，但我们利用CLIP（对比语言图像预训练）的卓越能力从草图和图像中提取语义概念。我们将草图定义为一组贝塞尔曲线，并使用可微光栅化器直接针对基于CLIP的感知损失优化曲线的参数。通过改变笔画数来控制抽象程度。生成的草图展示了多个抽象层次，同时保持了可识别性，底层结构和所绘制主题的基本视觉组件。
2022-05-16 cs.AI cs.CV cs.GR
DiffSketcher: Text Guided Vector Sketch Synthesis through Latent Diffusion Models
Beihang University（北京航空航天大学）；The University of Hong Kong（香港大学）
本文提出DiffSketcher，通过扩展的SDS损失优化贝塞尔曲线，实现从自然语言提示直接生成向量草图，提升生成质量与可控性。
2026-04-08 cs.AI cs.CV
PA-TCNet: Pathology-Aware Temporal Calibration with Physiology-Guided Target Refinement for Cross-Subject Motor Imagery EEG Decoding in Stroke Patients
School of Artificial Intelligence, Chongqing University of Technology（重庆理工大学人工智能学院）；Chongqing Key Laboratory of Embodied Intelligence Perception and Autonomous Learning for Humanoid Robots（重庆 embodied 智能感知与人形机器人自主学习关键实验室）；Key Laboratory of Advanced Equipment Intelligence of the Chongqing Education Commission（重庆市教育委员会先进设备智能关键实验室）；School of Smart Health, Chongqing Polytechnic University of Electronic Technology（重庆电子工程职业大学智能健康学院）；Department of Language Science and Technology, The Hong Kong Polytechnic University（香港理工大学语言科学与技术系）；School of Pharmacy and Bioengineering, Chongqing University of Technology（重庆理工大学药学院与生物工程学院）；School of Computer Science and Engineering, Chongqing University of Technology（重庆理工大学计算机科学与工程学院）
本文提出PA-TCNet框架，通过病理意识时序校准与生理引导目标细化，提升中风患者跨受试者运动想象EEG解码的鲁棒性，实验在两个独立数据集上达到66.56%和72.75%的准确率。
2026-04-17 cs.AI cs.CV
FaCells. Teaching Machines the Language of Lines: Per Point Attribute Scores for Face-Sketch Classification
School of Engineering University of Buenos Aires（布宜诺斯艾利斯大学工程学院）
FaCells通过双向LSTM生成每点属性评分，将人脸素描转化为可可视化和可复现的艺术作品，提升模型可解释性与创作价值。
2025-11-20 cs.AI cs.CV
Neural Collage Transfer: Artistic Reconstruction via Material Manipulation
Seoul National University（首尔大学）
针对逐像素生成法不符合拼贴逐片实体特性的问题，提出基于强化学习的神经拼贴迁移方法，通过拼贴MDP、基于模型的软演员-评论家算法等实现高质量拼贴生成，效果优于逐像素生成法。
2023-11-03 cs.AI cs.CV
