Learning Deep Sketch Abstraction
SketchX, Queen Mary University of London（SketchX，伦敦玛丽女王大学）；The University of Edinburgh（爱丁堡大学）
手绘草图的识别、合成和基于草图的细粒度图像检索（FG-SBIR）等技术已经在不同的背景下得到了广泛的研究。草图分析的一个基本挑战是处理截然不同的人类绘画风格，特别是在抽象级别方面。在这项工作中，我们提出了第一个笔划级草图抽象模型的基础上的素描抽象的洞察力之间的可识别性和用于绘制它的笔划的数量进行权衡的过程。具体地说，我们训练模型抽象草图生成通过强化学习的笔划删除策略，学习预测哪些笔划可以安全地删除，而不影响可识别性。我们表明，我们的抽象模型可用于各种草图分析任务，包括：（1）建模笔划显着性和理解草图识别模型的决策，（2）合成给定类别的可变抽象的草图，或照片中的参考对象实例，以及（3）仅用照片训练FG-SBIR模型，绕过昂贵的照片-草图对收集步骤。
2018-04-13 cs.CV
Active Learning for Fine-Grained Sketch-Based Image Retrieval
Carnegie Mellon University（卡内基梅隆大学）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出一种基于数据分布的主动学习采样方法，利用已有照片-草图对与无草图照片的关系及其特征来平衡不确定性与多样性，显著减少FG-SBIR中的草图标注工作量，并在ChairV2和ShoeV2上验证了其优于现有基线。
2023-09-15 cs.CV
Instance-level Sketch-based Retrieval by Deep Triplet Classification Siamese Network
素描作为一种有效的交际工具，被用来表达事物的抽象和直观的意义。手绘草图的识别在许多实际应用中是非常有用的。虽然基于内容的草图识别已经研究了几十年，基于草图的图像检索（SBIR）任务的实例级最近引起了显着的研究关注。现有的数据集，如QMUL-Chair和QMUL-Shoe，专注于椅子和鞋子的检索任务。然而，在以前的实例级SBIR工作中有几个关键的限制。最先进的作品在很大程度上依赖于预训练过程，边缘图的质量，多重裁剪测试策略，以及增强草图图像。为了有效地解决实例级SBIR，我们提出了一种新的深度三元组分类连体网络（DeepTCNet），该网络采用DenseNet-169作为基本特征提取器，并通过三元组损失和分类损失进行了优化。关键是，我们提出的DeepTCNet可以打破以前作品中存在的局限性。在五个基准草图数据集上的实验验证了该模型的有效性。此外，为了研究基于草图的发型检索任务，本文提出了一个新的实例级照片-草图数据集- Hairstyle Photo-Sketch数据集，它由3600张草图和照片以及2400个草图-照片对组成。
2019-05-25 cs.CV
Sketch Down the FLOPs: Towards Efficient Networks for Human Sketch
SketchX, CVSSP, University of Surrey, United Kingdom（SketchX、CVSSP、塞夫顿大学、英国）；Department of Computer Science, University of Central Florida（计算机科学系、中央佛罗里达大学）
本文提出跨模态知识蒸馏网络和基于RL的画布选择器，使照片高效网络适应素描数据，在保持准确率的同时大幅降低FLOPs。
2025-05-29 cs.CV
Deep Sketch-Photo Face Recognition Assisted by Facial Attributes
West Virginia University（西弗吉尼亚大学）
在本文中，我们提出了一个深度耦合的框架，以解决匹配素描图像对画廊的mugshots的问题。人脸草图具有关于人脸的空间拓扑和几何细节的基本信息，但缺少一些重要的面部属性，如种族、头发、眼睛和肤色。我们提出了一个耦合的深度神经网络架构，利用面部属性，以提高素描照片识别性能。所提出的属性辅助深度卷积神经网络（AADCNN）方法利用面部属性并利用来自面部属性识别和面部验证任务的损失函数，以便在公共嵌入子空间中学习丰富的鉴别特征。面部属性识别任务通过将从具有不同面部属性的个体提取的嵌入特征分开来增加人与人之间的差异，而验证任务通过将与一个人相关的所有特征拉在一起来减少人与人之间的差异。学习的区分特征可以很好地推广到在训练数据中看不到的新身份。与传统的草图-照片识别方法相比，该体系结构能够充分利用草图和补充的人脸属性信息来训练深度模型。在复合（E-PRIP）和半法医（IIIT-D半法医）数据集上进行了广泛的实验。实验结果表明，与现有的草图照片识别算法相比，该方法具有一定的优越性
2018-07-31 cs.CV
Sketch Less for More: On-the-Fly Fine-Grained Sketch Based Image Retrieval
University of Surrey（萨里大学）；University of Edinburgh（爱丁堡大学）
基于细粒度草图的图像检索（FG-SBIR）解决了给定用户查询草图的特定照片实例的检索问题。然而，它的广泛适用性受到绘制草图需要时间的事实的阻碍，并且大多数人都在努力绘制完整和忠实的草图。在本文中，我们重新制定了传统的FG-SBIR框架来应对这些挑战，最终目标是用尽可能少的笔划来检索目标照片。我们进一步提出了一个即时的设计，只要用户开始绘图就开始检索。为了实现这一点，我们设计了一个基于强化学习的跨模态检索框架，该框架直接优化了一个完整的草图绘制事件中地面实况照片的排名。此外，我们引入了一种新的奖励计划，规避了与不相关的草图笔划相关的问题，从而为我们提供了一个更一致的排名列表在检索过程中。我们在两个公开的细粒度草图检索数据集上实现了优于最先进方法和替代基线的早期检索效率。
2020-05-11 cs.CV
Cross-modal Subspace Learning for Fine-grained Sketch-based Image Retrieval
Beijing University of Posts and Telecommunications（北京邮电大学）；Chinese Academy of Sciences（中国科学院）；Queen Mary University of London（伦敦玛丽女王大学）；Victoria University of Wellington（惠灵顿维多利亚大学）
基于草图的图像检索（SBIR）是具有挑战性的，由于草图和照片之间固有的领域差距。与像素完美的照片描绘相比，草图是对现实世界的高度抽象的标志性渲染。因此，直接使用低级视觉线索来匹配草图和照片是不够的，因为建立语义上遍历两种模态的公共低级子空间是不平凡的。大多数现有的SBIR研究没有直接解决这个跨模态问题。这自然促使我们探索SBIR中的跨模态检索方法的有效性，这些方法已经成功地应用于图像-文本匹配。在本文中，我们介绍并比较了一系列最先进的跨模态子空间学习方法，并在最近发布的两个细粒度SBIR数据集上对它们进行了基准测试。通过对实验结果的深入研究，我们证明了子空间学习可以有效地对草图-照片域间隙进行建模。此外，我们得出了一些关键的见解，以推动未来的研究。
2017-05-28 cs.CV
Modality-Aware Representation Learning for Zero-shot Sketch-based Image Retrieval
Seoul National University（首尔大学）；Google Research（谷歌研究院）
针对零样本基于草图的图像检索中成对样本收集困难的问题，提出通过文本对比间接对齐草图与照片的模态感知框架，解耦语义信息并实现高效跨模态检索。
2024-01-10 cs.CV
Doodle to Search: Practical Zero-Shot Sketch-based Image Retrieval
SketchX, CVSSP, University of Surrey（萨里大学视觉、语音与信号处理中心 SketchX）
在本文中，我们研究的问题，zero-shot草图为基础的图像检索（SBIR），人类的草图被用作查询进行检索的照片从看不见的类别。我们通过提出代表其实际应用向前迈出的坚实一步的新颖的EST-SBIR场景来重要地推进现有技术。新的设置独特地认识到两个重要的，但往往被忽视的挑战，实际的SBIR，（i）业余素描和照片之间的大域差距，（ii）走向大规模检索的必要性。我们首先向社区贡献了一个新的EST-SBIR数据集QuickDraw-Extended，它由跨越110个类别的330，000张草图和204，000张照片组成。高度抽象的业余人类草图是有目的地获取的，以最大限度地缩小领域差距，而不是包含在现有数据集中的草图，这些草图通常是半真实感的。然后，我们制定了一个EST-SBIR框架，共同模型草图和照片到一个共同的嵌入空间。提出了一种挖掘域间互信息的新策略，以缓解域间的鸿沟。外部语义知识进一步嵌入，以帮助语义转移。我们发现，令人惊讶的是，检索性能显着优于现有数据集上的最新技术，这些数据集已经可以使用我们模型的简化版本来实现。我们通过与新提出的数据集上的一些替代方案进行比较，进一步证明了我们的完整模型的优越性能。新的数据集，加上我们模型的所有训练和测试代码，将公开发布，以促进未来的研究
2020-08-19 cs.CV
ACNet: Approaching-and-Centralizing Network for Zero-Shot Sketch-Based Image Retrieval
Fudan University（复旦大学）；HKUST（香港科技大学）；Tencent PCG（腾讯平台与内容事业群）；UESTC（电子科技大学）
草图和照片之间的巨大领域差距以及高度抽象的草图表示方式给基于草图的图像检索（\underline{SBIR}）带来了挑战。zero-shot sketch-based图像检索（\underline{ZS-SBIR}）是更通用和实用的，但提出了一个更大的挑战，因为额外的知识差距之间的可见和不可见的类别。为了同时缓解这两个差距，我们提出了一个\textbf{A} pproaching和\textbf{C}集中\textbf{Net}工作（称为“\textbf{ACNet}“），以共同优化草图照片合成和图像检索。检索模块引导合成模块生成大量逐渐接近照片域的各种类似照片的图像，从而比以往更好地服务于检索模块，以学习领域不可知的表示和类别不可知的常识，以推广到看不见的类别。这些不同的图像生成与检索指导可以有效地缓解过拟合问题困扰具体类别特定的训练样本具有高梯度。我们还发现使用基于代理的NormSoftmax损失在zero-shot设置中是有效的，因为它的集中效应可以稳定我们的联合训练，并提高对未知类别的泛化能力。我们的方法是简单而有效的，它实现了最先进的性能在两个广泛使用的SB-SBIR数据集，并超过了以前的方法，由一个很大的利润。
2023-02-25 cs.CV
Compact and Effective Representations for Sketch-based Image Retrieval
DCC University of Chile（智利大学DCC）；Impresee Inc.（Impresee公司）
基于草图的图像检索（SBIR）在计算机视觉领域引起了越来越多的关注，并在实际应用中产生了很大的影响。例如，SBIR为电子商务搜索引擎带来了更多的好处，因为它允许用户通过绘制他们需要购买的内容来制定查询。然而，目前的方法显示出高精度的检索工作在高维空间，这会对内存消耗和时间处理等方面产生负面影响。虽然一些作者也提出了紧凑的表示，这些大大降低了低维的性能。因此，在这项工作中，我们提出了不同的评估方法，以产生紧凑的嵌入的背景下，基于草图的图像检索的结果。我们的主要兴趣是旨在保持原始空间的局部结构的策略。最近的无监督局部拓扑保持降维方法UMAP符合我们的要求，表现出出色的性能，甚至提高了SOTA方法所达到的精度。我们在两个不同的数据集中评估了六种方法。我们使用Flickr 15 K和电子商务数据集;后者是这项工作的另一个贡献。我们表明，UMAP允许我们有16个字节的特征向量，提高精度超过35%。
2021-04-20 cs.CV
Data-Free Sketch-Based Image Retrieval
University of Exeter（埃克塞特大学）；University of Surrey（萨里大学）
对深度学习模型的隐私和匿名保护的日益关注促进了无数据学习（DFL）的研究。我们第一次发现，对于像基于草图的图像检索（SBIR）这样的数据稀缺任务，在获取配对照片和手绘草图的困难限制了数据依赖的跨模态学习算法，DFL可以证明是一个更实用的范例。因此，我们提出了无数据（DF）-SBIR，其中，与现有的DFL问题不同，预先训练的单模态分类模型必须利用学习跨模态度量空间进行检索，而无需访问任何训练数据。预训练分类模型的广泛可用性，以及为SBIR获取配对照片草图数据集的困难证明了这种设置的实用性。我们提出了一种DF-SBIR的方法，它可以利用独立训练的模型的知识来对照片和草图进行分类。我们在Sketchy，TU-Berlin和QuickDraw基准上评估了我们的模型，根据最先进的DFL文献设计了各种基线，并观察到我们的方法远远超过了所有这些基准。我们的方法还实现了与依赖数据的方法竞争的mAP，同时不需要训练数据。可在\url{https://github.com/abhrac/data-free-sbir}上获得实施。
2023-03-14 cs.CV
Face Sketch Matching via Coupled Deep Transform Learning
IIIT-Delhi（印度德里信息技术学院）；West Virginia University（西弗吉尼亚大学）
人脸草图与数字图像的匹配是人脸识别的一个重要挑战，涉及到跨领域的匹配。目前的研究工作主要集中在提取域不变表示或学习从一个域到另一个域的映射。在这项研究中，我们提出了一种新的基于变换学习的方法，称为DeepTransformer，它学习两个域的特征之间的变换和映射函数。所提出的配方是独立的输入信息，可以应用于任何现有的学习或手工制作的功能。由于映射函数本质上是方向性的，我们提出了DeepTransformer的两种变体：（i）半耦合和（ii）完全耦合的深度变换学习。本研究还使用了一个新的IIIT-D复合素描与年龄（CSA）变化数据库，其中包含150个主题的素描图像以及年龄分离的数码照片。所提出的模型的性能进行评估的一个新的应用程序的草图草图匹配，随着草图到数码照片匹配。实验结果表明，与现有的最先进的素描匹配算法和商业人脸识别系统相比，所提出的模型的鲁棒性。
2017-10-09 cs.CV
Exploiting Unlabelled Photos for Stronger Fine-Grained SBIR
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（讯飞-萨里人工智能联合研究中心）
本文提出了一个强大的基线，超过了约11%的现有技术水平的细粒度草图为基础的图像检索（FG-SBIR）的文献。这并不是通过复杂的设计，而是通过解决社区面临的两个关键问题：（i）黄金标准三重态损失并不强制执行整体潜在空间几何形状，以及（ii）从来没有足够的草图来训练高精度模型。对于前者，我们提出了一个简单的修改标准的三重损失，明确地强制分离照片/草图实例。对于后者，我们提出了一种新的知识蒸馏模块，可以利用照片数据进行模型训练。然后，这两个模块都被插入到一个新的即插即用的训练模式中，可以进行更稳定的训练。更具体地说，对于（i），我们在草图中采用模态内三元组损失，以使同一实例的草图与其他草图更接近，并且在照片中再采用一个模态内三元组损失，以推开不同的照片实例，同时使同一照片的结构增强版本更接近（提供约4-6%的增益）。为了解决（ii），我们首先在前面提到的模态内照片三联体丢失上对大量未标记照片进行预训练。然后，我们通过匹配两个嵌入空间中各个样本的特征间距离的分布，提取教师嵌入空间中的实例与学生嵌入空间中的实例之间的上下文相似性（进一步获得约4-5%的增益）。除了优于现有技术显着，我们的模型也产生了令人满意的结果推广到新的类。项目页面：https://aneeshan95.github.io/Sketch_PVT/
2023-03-24 cs.CV
Generalisation and Sharing in Triplet Convnets for Sketch based Visual Search
University of Surrey（萨里大学）；University of Sao Paulo（圣保罗大学）
我们提出并评估了几个三元组CNN架构，用于测量草图和照片之间的相似性，在基于草图的图像检索（SBIR）任务的背景下。与最近的细粒度SBIR工作相比，我们研究了我们的网络从有限的训练数据中概括不同对象类别的能力，并详细探索了权重共享，预处理，数据增强和降维的策略。当在250类TU-柏林分类数据集上训练时，我们超过了$18\%$的Flickr 15 k类别级SBIR基准和$\sim10 \mathcal{T}_b$的TU-柏林SBIR基准上现有技术的性能，该数据集使用从互联网上收集的25 k相应照片进行增强。
2016-11-16 cs.CV
Zero-Shot Everything Sketch-Based Image Retrieval, and in Explainable Style
Samsung AI Centre（三星人工智能中心）；University of Edinburgh（爱丁堡大学）；University of Surrey（萨里大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文研究了基于零短草图的图像检索（ZERO-SBIR）的问题，但是与现有技术有两个显著的区别：（i）我们只用一个网络（“一切”）来处理ZERO-SBIR的所有变体（类别间，类别内和交叉数据集），以及（ii）我们真的很想了解这种草图-照片匹配是如何操作的（“可解释的”）。我们的关键创新在于认识到，这样的跨模态匹配问题可以减少到关键的本地补丁组的比较-类似于经验丰富的“词袋”的范例。通过这种变化，我们能够实现上述两个目标，并且不再需要外部语义知识。从技术上讲，我们的是一个基于transformer的跨模态网络，有三个新的组件：（i）一个自我注意模块，带有一个可学习的标记器，用于产生与信息量最大的局部区域相对应的视觉标记，（ii）一个交叉注意模块，用于计算两种模态之间的视觉标记之间的局部对应关系，以及最后（iii）基于核的关系网络，用于组装局部推定匹配并产生草图-照片对的总体相似性度量。实验表明，我们的确实提供了优越的性能在所有的SB-SBIR设置。所有重要的可解释的目标是通过可视化跨模态标记对应来优雅地实现的，并且第一次通过草图到照片合成，通过通用替换所有匹配的照片补丁。代码和型号可在\url{https://github.com/buptLinfy/ZSE-SBIR}上获得。
2023-03-25 cs.CV
Elevating All Zero-Shot Sketch-Based Image Retrieval Through Multimodal Prompt Learning
Indian Institute of Technology Bombay（印度孟买理工学院）；INRIA（法国国家信息与自动化研究所）
本文提出SpLIP多模态提示学习方案，通过双向提示共享策略和条件跨模态拼图任务，利用冻结的CLIP骨干网络显著提升了零样本、广义零样本及细粒度零样本SBIR的性能。
2024-07-23 cs.CV
Towards Practicality of Sketch-Based Visual Understanding
University of Surrey（萨里大学）
草图已经被用来概念化和描绘史前时代的视觉对象。素描研究在过去十年中蓬勃发展，特别是随着触摸屏设备的普及。素描的大部分使用都是围绕着这样一个事实，即它可以用来描绘视觉概念，而不受年龄、种族、语言或人口统计的影响。草图的细粒度的交互性有利于草图应用于各种视觉理解任务，如图像检索，图像生成或编辑，分割，3D形状建模等。然而，草图是高度抽象和主观的个人感知的基础上。虽然大多数人认为草图为用户提供了细粒度的控制来描绘视觉对象，但许多人认为草图绘制是一个繁琐的过程，因为与其他查询/支持模式（如文本/标签）相比，草图绘制技能有限。此外，收集细粒度的草图-照片关联是商业化草图应用程序的一个重要瓶颈。因此，本论文的目的是使基于草图的视觉理解向更实用的方向发展。
2022-10-27 cs.CV
StyleMeUp: Towards Style-Agnostic Sketch-Based Image Retrieval
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（科大讯飞-萨里大学人工智能联合研究中心）
基于草图的图像检索（SBIR）是一个跨模态匹配问题，通常通过学习一个联合嵌入空间来解决，其中保留了照片和草图模态之间共享的语义内容。然而，SBIR中的一个基本挑战到目前为止在很大程度上被忽视了，即草图是由人类绘制的，并且在不同的用户之间存在相当大的风格差异。一个有效的SBIR模型需要明确地考虑这种风格的多样性，至关重要的是，要推广到看不见的用户风格。为此，提出了一种新的风格无关SBIR模型。与现有的模型不同，一个跨模态的变分自编码器（VAE）被用来明确地将每个草图分解为与相应的照片共享的语义内容部分和唯一的风格部分。重要的是，为了使我们的模型动态地适应任何看不见的用户风格，我们建议通过添加两个风格自适应组件来元训练我们的跨模态VAE：一组特征转换层到其编码器和一个正则化器到解开的语义内容潜在代码。有了这个元学习框架，我们的模型不仅可以解开SBIR的跨模态共享语义内容，而且可以适应任何看不见的用户风格，使SBIR模型真正的风格无关。大量的实验表明，我们的风格不可知模型产生的最先进的性能类别级和实例级SBIR。
2021-03-31 cs.CV
Unsupervised Facial Geometry Learning for Sketch to Photo Synthesis
West Virginia University（西弗吉尼亚大学）
人脸素描照片合成是执法和数字娱乐行业中的一个重要应用，其目标是学习人脸素描图像与其对应的照片级真实感图像之间的映射。然而，配对的草图-照片训练数据的有限数量通常阻止当前框架学习草图的几何形状与其匹配的照片真实感图像之间的鲁棒映射。因此，在这项工作中，我们提出了一种方法来学习合成一个真实感的图像，从一个人脸素描在一个无监督的方式。与目前的无监督图像到图像的翻译技术相比，我们的框架利用了一种新的感知机器学习人脸的几何形状。学习面部先验信息使网络能够去除面部草图中的几何伪影。我们证明，同时优化的人脸照片生成器网络，采用所提出的感知的纹理明智的组合，结果在合成照片的质量和识别率的显着提高。我们通过对多个基线草图照片数据集进行广泛的实验来评估所提出的网络。
2018-10-12 cs.CV
Domain-Aware SE Network for Sketch-based Image Retrieval with Multiplicative Euclidean Margin Softmax
Tsinghua University（清华大学）；Fudan University（复旦大学）；Baidu Research（百度研究院）
本文提出了一种基于草图的图像检索方法，其关键是在草图和照片之间的数据表示方面架起一座桥梁。受近年来研究的通道式注意的启发，提出了一种领域感知的挤压和激励（Domain-Aware Squeeze-and-Excitation，DASE）网络，该网络将样本草图或照片的先验知识无缝地融合到SE模块中，使SE模块能够根据领域信号强调适当的通道。因此，所提出的网络可以切换其模式，以实现更好的域特征，具有更低的类内差异。此外，虽然以前的工作简单地集中在最小化类内距离和最大化类间距离，我们引入了一个损失函数，名为乘法欧几里德余量Softmax（MEMS），它引入乘法欧几里德余量到特征空间，并确保最大类内距离小于最小类间距离。这有助于学习高区分度的特征空间，并确保更准确的图像检索结果。在两个广泛使用的SBIR基准数据集上进行了大量的实验。我们的方法在两个数据集上都取得了更好的结果，大大超过了最先进的方法。
2021-07-26 cs.CV
Cross-Modal Hierarchical Modelling for Fine-Grained Sketch Based Image Retrieval
University of Surrey（萨里大学）
草图作为图像搜索查询是捕获细粒度视觉细节的文本的理想替代。先前在基于细粒度草图的图像检索（FG-SBIR）上的成功已经证明了处理草图而不是照片的独特特征的重要性，例如，时间与静态、笔划与像素以及抽象与像素完美。在本文中，我们研究了迄今为止被忽视的草图的另一个特点，即它们在细节层次方面是分层的-一个人通常会绘制各种程度的细节来描绘一个对象。这种层次结构通常在视觉上是不同的。在本文中，我们设计了一种新的网络，能够培养草图特定的层次结构，并利用它们来匹配草图与相应层次的照片。特别是，从草图和照片的特征是丰富使用跨模态的共同注意，再加上层次节点融合在每一个层次，形成一个更好的嵌入空间进行检索。常见的基准测试实验表明，我们的方法优于国家的最先进的显着保证金。
2020-08-11 cs.CV cs.IR
CLIP for All Things Zero-Shot Sketch-Based Image Retrieval, Fine-Grained or Not
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（讯飞-萨里人工智能联合研究中心）
在本文中，我们利用CLIP的zero-shot草图为基础的图像检索（ZH-SBIR）。我们很大程度上受到了基础模型的最新进展以及它们似乎提供的无与伦比的概括能力的启发，但这是第一次对其进行定制以使草图社区受益。我们提出了新的设计，如何最好地实现这种协同作用，为类别设置和细粒度设置（“所有”）。我们解决方案的核心是快速学习设置。首先，我们通过分解特定于草图的提示，我们已经有了一个类别级别的ESP-SBIR系统，它超过了所有现有技术，大幅度（24.8%）-这是研究CLIP和ESP-SBIR协同作用的一个很好的证明。然而，转移到细粒度的设置是棘手的，需要更深入地研究这种协同作用。为此，我们提出了两个具体的设计来解决问题的细粒度匹配性质：（i）额外的正则化损失，以确保草图和照片之间的相对分离在类别中是均匀的，这不是黄金标准的独立三重损失的情况，以及（ii）一个聪明的补丁洗牌技术，以帮助建立草图-照片对之间的实例级结构对应。有了这些设计，我们再次观察到显着的性能增益在该地区的26.9%，比以前的国家的最先进的。带回家的消息，如果有的话，是建议的CLIP和即时学习范式进行了很大的承诺，在解决其他草图相关的任务（不限于EST-SBIR），其中数据稀缺仍然是一个巨大的挑战。项目页面：www.example.com
2023-03-28 cs.CV
Freeview Sketching: View-Aware Fine-Grained Sketch-Based Image Retrieval
University of Surrey（萨里大学）
针对FG-SBIR中草图与目标视角不一致的问题，提出视角感知框架，利用3D物体多视角投影与解耦的可定制跨模态特征，同时支持视角无关和视角特定检索。
2024-07-01 cs.CV
Unsupervised Scene Sketch to Photo Synthesis
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）；Amazon（亚马逊）
草图是一种直观而强大的视觉表达，因为它们是快速执行的徒手画。提出了一种从场景草图合成真实感照片的方法。在不需要草图和照片对的情况下，我们的框架以无监督的方式直接从现成的大规模照片数据集中学习。为此，我们引入了一个标准化模块，该模块通过将照片和草图转换为标准化域（即边缘图），在训练期间提供伪草图-照片对。草图和照片之间的领域差距缩小，也使我们能够将它们分解为两个部分：整体场景结构和低层次的视觉风格，如颜色和纹理。利用这一优势，我们合成一个照片级真实感的图像相结合的草图和参考照片的视觉风格的结构。对感知相似性度量和人类感知研究的大量实验结果表明，该方法可以从场景草图中生成逼真的照片，并优于最先进的照片合成基线。我们还表明，我们的框架有利于可控的操作的照片合成，通过编辑相应的草图笔划，提供更多的细粒度的细节比以前的方法，依赖于区域级编辑。
2022-09-06 cs.CV
Sketch Less Face Image Retrieval: A New Challenge
Chongqing University of Posts and Telecommunications（重庆邮电大学）
在某些特定的场景中，人脸素描被用来识别一个人。然而，绘制一幅完整的人脸素描往往需要技巧和时间，这阻碍了它在实践中的广泛适用性。在这项研究中，我们提出了一个新的任务命名为无草图人脸图像检索（SLFIR），在检索中进行的每一个中风，并旨在检索目标人脸照片使用部分草图与尽可能少的中风（见图1）。首先，我们提出了一种通过绘制过程生成草图数据的方法，并将该数据集开放;其次，我们提出了一种两阶段的方法作为SLFIR的基础：（1）首先采用三元组网络学习完整草图与其目标人脸照片之间的联合嵌入空间;（2）将人脸草图的绘制过程看作一个序列，设计了一个LSTM模块来优化不完整人脸草图的表示。实验结果表明，该框架可以完成对局部草图或池草图的检索。
2023-02-11 cs.AI cs.CV
Sketch3T: Test-Time Training for Zero-Shot SBIR
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（讯飞-萨里人工智能联合研究中心）
基于Zero-shot草图的图像检索通常要求将训练好的模型应用于不可见的类别。在本文中，我们质疑认为，这种设置的定义是不兼容的内在抽象和主观性质的素描，即，该模型可能会很好地转移到新的类别，但结果将无法理解存在于不同测试时间分布中的草图。因此，我们扩展EST-SBIR，要求它转移到类别和草图分布。我们的主要贡献是一个测试时训练范例，可以适应只使用一个草图。由于没有配对的照片，我们使用草图光栅矢量重建模块作为一个自我监督的辅助任务。为了在测试时间更新期间保持训练的跨模态联合嵌入的保真度，我们设计了一种新的基于元学习的训练范式，以学习由该辅助任务引起的模型更新与区分性学习的主要目标之间的分离。大量的实验表明，我们的模型优于国家的最先进的，由于建议的测试时的适应，不仅转移到新的类别，但也适应新的素描风格。
2022-03-28 cs.CV
Multi-Granularity Representation Learning for Sketch-based Dynamic Face Image Retrieval
Chongqing University of Posts and Telecommunications（重庆邮电大学）
针对少素描人脸图像检索早期性能差的问题，提出多粒度表示学习方法，通过学习局部素描不同粒度区域表示并结合图像计算距离，在两个数据集上早期检索优于基线。
2023-12-31 cs.CV
A Zero-Shot Framework for Sketch-based Image Retrieval
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
基于草图的图像检索（SBIR）是从自然图像数据库中检索与给定手绘草图相对应的图像的任务。理想情况下，SBIR模型应该学会在草图中关联组件（例如，脚，尾巴等）。其中图像中的相应分量具有相似的形状特征。然而，目前的评价方法只是简单地集中在粗粒度的评价，重点是检索图像属于同一类的草图，但不一定具有相同的形状特征，在草图。因此，现有的方法只是学会将草图与训练期间看到的类相关联，因此无法推广到看不见的类。在本文中，我们提出了一个新的基准zero-shot SBIR模型在训练过程中看不到的新类中进行评估。我们通过大量的实验表明，现有的SBIR模型，在一个有区别的设置训练只学习类特定的映射，并未能推广到建议的zero-shot设置。为了规避这一点，我们提出了一种生成方法的SBIR任务，提出了深条件生成模型，以草图作为输入，并填补缺失的信息随机。实验表明，这些生成模型的性能显着优于几个国家的最先进的方法在提出的zero-shot框架的粗粒度SBIR任务。
2018-07-31 cs.CV
SeCo-SBIR: Semantically Consistent Prompt Learning for Zero-Shot Sketch-Based Image Retrieval
SeCo-SBIR是解决CLIP适配ZS-SBIR时域适配与泛化矛盾的语义一致提示学习框架，结合多模态提示、一致性约束与多目标损失，在三类ZS-SBIR基准上达最优性能。
2026-08-05 cs.CV
How to Handle Sketch-Abstraction in Sketch-Based Image Retrieval?
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（讯飞-萨里人工智能联合研究中心）
提出一种具备抽象感知能力的基于草图的图像检索框架，通过特征级设计利用预训练StyleGAN模型和抽象级别映射器动态选择特征维度，并引入Acc.@q损失在检索粒度级动态调整评估严格度，在多项SBIR任务中超越现有最先进方法。
2024-03-20 cs.CV
Partially Does It: Towards Scene-Level FG-SBIR with Partial Input
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（讯飞-萨里人工智能联合研究中心）
我们审视了场景级素描研究中的一个重要观察结果--场景素描的很大一部分是“局部的”。一项快速的试点研究显示：（i）由于场景的主观整体解释，场景草图不一定包含对应照片中的所有对象，（ii）由于对象级抽象，存在显著的空（白色）区域，并且因此，（iii）现有的场景级细粒度的基于草图的图像检索方法随着场景草图变得更加局部而崩溃。为了解决这个“部分”的问题，我们主张一个简单的基于集合的方法，使用最优运输（OT）模型跨模态区域关联性的部分意识的方式。重要的是，我们改进了OT，通过比较模态内邻接矩阵来进一步解释整体偏性。我们提出的方法不仅对部分场景草图具有鲁棒性，而且在现有数据集上具有最先进的性能。
2022-03-28 cs.CV
Adapt and Align to Improve Zero-Shot Sketch-Based Image Retrieval
本文提出“适配与对齐”方法，通过轻量域适配器增强草图域表示，并利用CLIP将图像嵌入与文本嵌入对齐，以改进零样本草图图像检索的跨域泛化与知识迁移能力。
2023-08-09 cs.AI cs.CV
VietFashion: Benchmarking Sketch-Text Composed Image Retrieval for Cultural Outfits
University of Science, Ho Chi Minh City, Vietnam（胡志明市理科大学）；Vietnam National University, Ho Chi Minh City, Vietnam（越南国家大学胡志明市分校）
提出VietFashion基准，针对越南传统服饰奥黛，结合手绘草图和文本描述进行多目标检索，揭示现有方法在细粒度文化语义和跨模态组合上的不足。
2026-06-12 cs.CV
Semantic-Aware Knowledge Preservation for Zero-Shot Sketch-Based Image Retrieval
Johns Hopkins University（约翰斯·霍普金斯大学）；Noah’s Ark Lab, Huawei Inc.（华为诺亚方舟实验室）
基于草图的图像检索（SBIR）被广泛认为是一个重要的视觉问题，有着广泛的实际应用。近年来，在更现实和更具有挑战性的零样本学习环境下，研究兴趣出现在解决这个问题上。在本文中，我们调查这个问题，从领域自适应的角度来看，我们表明是至关重要的，在提高特征嵌入的zero-shot的情况。基于一个框架，该框架从ImageNet上的预训练模型开始，并在SBIR基准测试的训练集上对其进行微调，我们提倡保留先前获得的知识的重要性，例如，从ImageNet中学习到的丰富的判别特征，以提高模型的传递能力。为此，我们设计了一种名为语义感知知识保护（SAKE）的方法，该方法以经济的方式微调预训练模型并利用语义信息，例如，类间关系，达到知识保存的目的。在两个扩展SBIR数据集TU-Berlin和Sketchy上的Zero-shot实验验证了该方法的优越性能。广泛的诊断实验验证，知识保存的好处SBIR在zero-shot设置，作为一个很大的一部分的性能增益是从更适当的结构化特征嵌入的照片图像。代码可在：https://github.com/qliu24/SAKE.
2019-09-27 cs.CV
ExtrudeNet: Unsupervised Inverse Sketch-and-Extrude for Shape Parsing
Nanyang Technological University（南洋理工大学）；Sensetime Research（商汤科技研究院）；Monash University（莫纳什大学）
草图-拉伸是计算机辅助设计中一种常见的直观造型过程。研究了通过反绘制-挤压的方法学习点云形状的问题。我们提出了ExtrudeNet，这是一个无监督的端到端网络，用于从点云中发现草图和挤出。在ExtrudeNet背后有两个新的技术组件：1）草图和挤出的有效表示，它可以用自由形式的草图和传统的圆柱体和盒体基元建模挤出; 2）用于计算网络学习中使用的符号距离场的数值方法。这是第一次尝试使用机器学习以无监督的方式对形状的草图和挤出建模过程进行逆向工程。ExtrudeNet不仅输出一个紧凑的，可编辑和可解释的形状表示，可以无缝集成到现代CAD软件中，而且还与标准CAD建模过程保持一致，促进各种编辑应用程序，这使我们的工作与现有的形状解析研究区分开来。代码发布于https://github.com/kimren227/ExtrudeNet。
2022-09-30 cs.CV cs.GR
Relation-Aware Meta-Learning for Zero-shot Sketch-Based Image Retrieval
Xidian University（西安电子科技大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）；Tsinghua University（清华大学）
针对ZS-SBIR的跨模态差异与未见类别泛化难题，提出关系感知四元组损失及RAMLN自适应间隔元学习框架，在Sketchy和TU-Berlin上显著超越现有方法。
2024-11-28 cs.AI cs.CV
Guiding Users to Where to Give Color Hints for Efficient Interactive Sketch Colorization via Unsupervised Region Prioritization
KAIST（韩国科学技术院）；NAVER WEBTOON（NAVER网络漫画）；Korea University（高丽大学）；UNIST（蔚山科学技术院）
现有的深度交互式着色模型集中于利用各种类型的交互（诸如逐点颜色提示、涂鸦或自然语言文本）作为在运行时反映用户意图的方法的方式。然而，另一种方法，积极地通知用户的最有效的区域，以给出提示草图图像着色，已经被开发不足。本文提出了一种新的模型引导的深度交互式着色框架，减少了所需的用户交互量，通过在着色模型中的区域的优先级。我们的方法，称为GuidingPainter，优先考虑模型最需要颜色提示的这些区域，而不仅仅是依赖于用户手动决定在哪里给出颜色提示。在我们广泛的实验中，我们表明，我们的方法优于现有的交互式着色方法在传统的指标，如PSNR和FID，并减少了所需的交互量。
2022-10-25 cs.CV
Modality-Aware Triplet Hard Mining for Zero-shot Sketch-Based Image Retrieval
Huazhong University of Science and Technology（华中科技大学）；Baidu Research（百度研究院）
本文从跨模态度量学习的角度研究了基于零镜头草图的图像检索（Zero-Shot Sketch-Based Image Retrieval，简称SBIR）问题。该任务具有两个特征：1）zero-shot设置需要具有良好的类内紧凑性和类间差异的度量空间以用于识别新类;以及2）草图查询和照片库处于不同的模态。度量学习的观点从两个方面使BS-SBIR受益。首先，它通过深度度量学习（DML）的最新良好实践促进了改进。通过结合DML中的两种基本学习方法，例如，通过分类训练和成对训练，我们建立了一个强有力的基线，用于EST-SBIR。没有花里胡哨，这个基线达到了有竞争力的检索精度。其次，它提供了一个见解，适当地抑制模态差距是至关重要的。为此，我们设计了一种新的方法命名为模态感知三元组硬挖掘（MATHM）。MATHM通过三种类型的成对学习来增强基线，例如，跨模态样本对、模态内样本对以及它们的组合。\We还设计了一种自适应加权方法，在训练过程中动态地平衡这三个分量。实验结果证实，MATHM带来了另一轮的显着改善的基础上强大的基线，并建立了新的国家的最先进的性能。例如，在TU-Berlin数据集上，我们实现了47.88+ 2.94%mAP@all和58.28+ 2.34%Prec@100。代码将在https://github.com/huangzongheng/MATHM上公开。
2021-12-16 cs.CV
semantic neural model approach for face recognition from sketch
针对当前人脸素描合成与识别多被分开研究的问题，提出一种可同时处理二者的语义神经模型方法，在正面无遮挡等假设下通过划分重叠人脸块学习，可应用于执法领域。
2023-05-01 cs.CV cs.LG
SketchParse : Towards Rich Descriptions for Poorly Drawn Sketches using Multi-Task Hierarchical Deep Networks
Indian Institute of Science（印度科学理工学院）
从语义上解释手绘线条草图的能力，虽然非常具有挑战性，但可以为多媒体中的新应用铺平道路。我们提出了SketchParse，这是第一个用于全自动解析手绘对象草图的深度网络架构。SketchParse被配置为两级全卷积网络。第一层包含所有对象类别共有的共享图层。第二层包含若干专家子网络。每个专家都专门从包含结构相似部件的对象类别中解析草图。实际上，两级配置使我们的体系结构能够在添加其他类别时有效地扩展。我们引入了一个路由器层，它（i）将草图特征从共享层中继到正确的专家（ii）消除了在推理过程中手动指定对象类别的需要。为了绕过费力的部件级注释，我们从语义对象部分图像数据集中草图化照片，并将其用于训练。我们的架构还将对象姿态预测作为一种新的辅助任务，提高了整体性能，同时提供有关草图的补充信息。我们证明了SketchParse的能力（一）在两个具有挑战性的大规模草图数据集（二）在解析看不见的，语义相关的对象类别（三）在提高细粒度的基于草图的图像检索。作为一个新颖的应用程序，我们还概述了如何SketchParse的输出可以用来生成手绘草图的标题风格的描述。
2017-09-05 cs.CV cs.GR cs.MM
Cross-Modal Fusion Distillation for Fine-Grained Sketch-Based Image Retrieval
University of Exeter（埃克塞特大学）；University of Tübingen（图宾根大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Surrey（萨里大学）
基于草图的图像检索的表示学习主要是通过学习丢弃模态特定信息的嵌入来解决的。由于来自不同模态的实例通常可以提供描述底层概念的互补信息，因此我们提出了一个用于视觉Transformer（XModalViT）的交叉注意框架，该框架融合了模态特定的信息，而不是丢弃它们。我们的框架首先将来自单个照片和草图模态的成对数据点映射到融合表示，从而统一来自两种模态的信息。然后，我们通过对比和关系跨模态知识蒸馏将上述模态融合网络的输入空间解耦为各个模态的独立编码器。这样的编码器可以应用于下游任务，如跨模态检索。我们通过进行广泛的实验，并在三个基于细粒度草图的图像检索基准测试（Shoe-V2，Chair-V2和Sketchy）上实现最先进的结果，展示了学习到的表示的表达能力。可在www.example.com上获得实现。
2022-10-19 cs.CV cs.LG
Beyond Domain Gap: Exploiting Subjectivity in Sketch-Based Person Retrieval
Wuhan University（武汉大学）；The University of Tokyo（东京大学）；National Institute of Informatics（国立信息学研究所）
本文研究基于草图的人物检索中的主观性问题，提出包含多目击者描述的大规模数据集，并设计NL融合模块和AttrAlign模块以融合主观性与引入客观性，在三个基准上取得领先性能。
2023-09-15 cs.CV cs.MM
Multi-Style Facial Sketch Synthesis through Masked Generative Modeling
Shanghai Jiao Tong University（上海交通大学）
针对人脸素描合成中数据稀缺、风格受限及输入处理不足的问题，提出一种轻量级端到端模型，结合半监督学习与掩码图像令牌迭代预测，实现高质量多风格素描生成，在多个基准上显著优于现有算法。
2024-08-22 cs.AI cs.CV
Picture that Sketch: Photorealistic Image Generation from Abstract Sketches
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（科大讯飞-萨里人工智能联合研究中心）
对于像你我这样未经训练的业余爱好者，我们给出了一个抽象的、变形的、普通的草图，这篇论文把它变成了一个照片级真实感的图像--就像图1（a）中所示的那些，都是未经挑选的。我们与现有技术的显著不同之处在于，我们不以口述类似于边缘图的草图开始，而是旨在使用抽象的徒手人类草图。在这样做的过程中，我们基本上民主化了草图到照片的流程，“描绘”一个草图，不管你的草图有多好。我们在一开始的贡献是一个解耦的编码器-解码器训练范例，其中解码器是一个仅在照片上训练的StyleGAN。这可以确保生成的结果始终具有照片级真实感。剩下的都是围绕着如何最好地处理素描和照片之间的抽象差距。为此，我们提出了一个在草图-照片对上训练的自回归草图映射器，它将草图映射到StyleGAN潜在空间。我们进一步引入了具体的设计来解决人类草图的抽象性质，包括在训练的草图-照片检索模型的背面进行细粒度的区分损失，以及部分感知的草图增强策略。最后，我们展示了我们的生成模型支持的一些下游任务，其中包括如何将基于草图的细粒度图像检索（草图社区中一个得到充分研究的问题）简化为图像（生成）到图像检索任务，超越了最先进的技术。我们在补充质询中提出了所得的结果，让大家看看。
2023-03-30 cs.CV
Semi-Supervised Learning for Face Sketch Synthesis in the Wild
The University of Hong Kong（香港大学）；Baidu Research（百度研究院）
人脸素描合成在过去的几年里取得了很大的进展。基于深度神经网络的最新方法能够从人脸照片生成高质量的草图。然而，由于缺乏训练数据（照片-草图对），这些基于深度学习的方法都不能成功地应用于野外的人脸照片。在本文中，我们提出了一种半监督深度学习架构，该架构通过在训练中利用额外的人脸照片来扩展人脸草图合成以处理野外的人脸照片。我们不是用地面真实草图来监督网络，而是首先在输入照片和一个小的照片-草图对参考集中的照片之间的特征空间中执行补丁匹配。然后，我们组成一个伪草图特征表示使用相应的草图特征补丁来监督我们的网络。使用所提出的方法，我们可以训练我们的网络使用一个小的参考集的照片草图对连同一个大的人脸照片数据集没有地面真实草图。实验表明，我们的方法在公共基准测试和野外人脸照片上都达到了最先进的性能。代码可在https://github.com/chaofengc/Face-Sketch-Wild上获得。
2019-05-05 cs.CV
Text-Guided Scene Sketch-to-Photo Synthesis
rinna Co., Ltd.（林纳有限公司）；Osaka University（大阪大学）
我们提出了一种方法，场景级草图到照片合成与文本指导。虽然物体级草图到照片合成已经被广泛研究，但在没有充分反映目标风格的参考照片的情况下，全场景合成仍然具有挑战性。为此，我们利用最近大规模预训练生成模型的知识，从而实现文本引导的草图到照片合成，而无需参考图像。为了训练我们的模型，我们从一组照片中使用自监督学习。具体来说，我们使用一个预先训练的边缘检测器，将颜色和草图图像映射到一个标准化的边缘域，这减少了基于边缘的边缘图像（在训练过程中）和手绘草图图像（在推理过程中）之间的差距。我们通过微调潜空间扩散模型（即，稳定扩散）与草图和文本条件。实验表明，该方法将原始草图图像，而不是从彩色图像中提取的照片具有引人注目的视觉质量。
2023-02-14 cs.CV
Transformers and CNNs both Beat Humans on SBIR
UMONS（蒙斯大学）
基于草图的图像检索（SBIR）的任务是检索自然图像（照片），匹配的语义和手绘草图查询的空间配置。草图的通用性扩展了可能的应用范围，并增加了对高效SBIR解决方案的需求。在本文中，我们研究了经典的基于三重态的SBIR解决方案，并表明对水平翻转的持久不变性（即使在模型微调之后）正在损害性能。为了克服这一局限性，我们提出了几种方法，并深入评估每一种方法，以检查其有效性。我们的主要贡献是双重的：我们提出并评估了几个直观的修改，以建立SBIR解决方案，更好地翻转等方差。我们表明，视觉Transformer更适合SBIR任务，并且它们的性能优于CNN，具有很大的优势。我们进行了大量的实验，并介绍了第一个模型在大规模SBIR基准测试（Sketchy）上超越人类的表现。我们最好的模型在粗略的基准上实现了62.25%的召回率（k = 1），而以前的最先进的方法为46.2%。
2022-09-14 cs.AI cs.CV cs.IR
Fuse and Attend: Generalized Embedding Learning for Art and Sketches
Myntra（Myntra公司）
虽然深度嵌入学习方法在多个计算机视觉任务中取得了广泛的成功，但用于表示自然图像的最先进方法不一定在其他领域的图像上表现良好，例如绘画，卡通和素描。这是因为与自然图像相比，这些领域的数据分布发生了巨大的变化。像sketch这样的域通常包含稀疏的信息像素。然而，识别这些领域中的对象是至关重要的，因为多个相关应用程序利用这些数据，例如，草图到图像检索。因此，实现一个可以在多个领域表现良好的嵌入式学习模型不仅具有挑战性，而且在计算机视觉中发挥着关键作用。为此，在本文中，我们提出了一种新的嵌入式学习方法，其目标是在不同的领域进行推广。在训练过程中，给定来自某个领域的查询图像，我们采用门控融合和注意力来生成一个正面示例，该示例包含查询对象类别（来自多个领域）的语义的广泛概念。通过对比学习，我们提取查询和正的嵌入，以便学习跨域鲁棒的表示。与此同时，为了让模型能够区分来自不同语义类别（跨领域）的示例，我们还维护了一个负嵌入池（来自不同类别）。我们使用DomainBed框架展示了我们的方法在流行的PACS（照片，艺术绘画，卡通和素描）数据集上的强大功能。
2022-08-20 cs.AI cs.CV cs.LG
High-Quality Facial Photo-Sketch Synthesis Using Multi-Adversarial Networks
Rutgers, The State University of New Jersey（罗格斯新泽西州立大学）
从真实照片及其逆合成人脸草图有许多应用。然而，照片/素描合成仍然是一个具有挑战性的问题，由于事实上，照片和素描有不同的特点。在这项工作中，我们将此任务视为图像到图像的翻译问题，并探索最近流行的生成模型（GANs），以从草图和照片中的草图生成高质量的逼真照片。最近的基于GAN的方法在图像到图像的转换问题和照片到草图的合成方面表现出了很好的效果，但是，众所周知，它们在生成高分辨率逼真图像方面的能力有限。为此，我们提出了一种新的合成框架，称为使用多对抗网络的照片草图合成（PS2-MAN），以对抗的方式迭代生成低分辨率到高分辨率的图像。生成器的隐藏层被监督以首先生成较低分辨率的图像，然后在网络中进行隐式细化以生成较高分辨率的图像。此外，由于照片草图合成是一个耦合/配对的翻译问题，我们利用对信息使用CycleGAN框架。图像质量评估（IQA）和照片草图匹配实验进行了比较，以证明我们的框架的优越性能，现有的国家的最先进的解决方案。代码可在：https://github.com/lidan1/PhotoSketchMAN获得。
2018-03-03 cs.CV
Face Photo Sketch Synthesis via Larger Patch and Multiresolution Spline
人脸照片素描合成由于其在数字娱乐和执法领域的潜在应用，近年来受到了研究者的关注。已经提出了一些基于补丁的方法来解决这个问题。这些方法通常更多地关注如何为给定的照片补丁获得草图补丁，而不是如何混合这些生成的补丁。然而，如果没有适当的混合方法，一些锯齿状的部分和斑驳的点会出现在整个人脸草图。为了得到更平滑的草图，我们提出了一种新的方法来减少这种锯齿状的部分和斑驳的点。在我们的系统中，我们采用了一种现有的方法，这是马尔可夫随机场（MRF），训练一个粗略的人脸素描。然后，该草图人脸草图将被划分成一些更大的块，并重新训练的非负矩阵分解（NMF）。最后，我们使用多分辨率样条和一个混合技巧称为全覆盖技巧混合这些重新训练的补丁。实验结果表明，与以往的一些方法相比，我们可以得到一个更平滑的人脸草图。
2015-09-19 cs.CV
Towards Realistic Face Photo-Sketch Synthesis via Composition-Aided GANs
Hangzhou Dianzi University（杭州电子科技大学）；Xidian University（西安电子科技大学）；Hefei University of Technology（合肥工业大学）；The University of Sydney（悉尼大学）；University of Chinese Academy of Sciences（中国科学院大学）
人脸照片-素描合成的目的是在给定的照片/素描的条件下生成面部素描/照片。它具有广泛的应用，包括数字娱乐和执法。由于结构现实主义和纹理一致性的限制，精确描绘面部照片/草图仍然具有挑战性。虽然现有的方法取得了令人信服的结果，他们大多产生模糊的效果和各种面部组件的巨大变形，导致合成图像的不切实际的感觉。为了应对这一挑战，在这项工作中，我们建议使用的面部组成信息，以帮助合成的面部素描/照片。特别是，我们提出了一种新的合成辅助生成对抗网络（CA-GAN）的人脸照片素描合成。在CA-GAN中，我们利用成对的输入，包括面部照片/草图和相应的像素面部标签来生成草图/照片。此外，为了将训练集中在硬生成的组件和精致的面部结构上，我们提出了一种成分重建损失。最后，我们使用堆栈CA-GAN（SCA-GAN）来进一步纠正缺陷并添加引人注目的细节。实验结果表明，我们的方法是能够生成视觉舒适和身份保持的人脸草图/照片在广泛的挑战性的数据。我们的方法达到了最先进的质量，大大降低了以前最好的Frechet Inception距离（FID）。此外，我们证明了所提出的方法是相当的推广能力。我们已经公开了我们的代码和结果：https://fei-hdu.github.io/ca-gan/。
2020-01-09 cs.CV
Cali-Sketch: Stroke Calibration and Completion for High-Quality Face Image Generation from Human-Like Sketches
Tsinghua University（清华大学）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；University College London（伦敦大学学院）
图像生成技术由于其在安全和娱乐方面的广泛应用而受到越来越多的关注。基于草图的人脸生成由于有监督的交互而带来了更多的乐趣和更好的图像生成质量。然而，当一个草图不符合真实的脸作为输入，现有的监督图像到图像的翻译方法往往不能产生可接受的照片逼真的人脸图像。为了解决这个问题，在本文中，我们提出了Cali-Sketch，一个像人一样的素描照片般真实的图像生成方法。Cali-Sketch使用两个组成网络明确地建模笔划校准和图像生成：笔划校准网络（SCN），其校准面部特征的笔划并丰富面部细节，同时保留原始意图特征;以及图像合成网络（ISN），其将校准和丰富的草图转换为照片般逼真的面部图像。通过这种方式，我们设法将困难的跨域翻译问题解耦为两个更容易的步骤。大量的实验表明，与现有的方法相比，Cali-Sketch生成的人脸照片既具有照片般的真实感，又忠实于输入的草图。
2022-10-09 cs.CV
Sketch-a-Classifier: Sketch-based Photo Classifier Generation
Queen Mary University of London（伦敦玛丽女王大学）；The University of Edinburgh（爱丁堡大学）
当代深度学习技术已经使图像识别成为一种相当可靠的技术。然而，训练有效的照片分类器通常需要大量的例子，这限制了图像识别的可扩展性和对图像可能不可用的场景的适用性。这激发了对零样本学习的研究，零样本学习通过从其他模式（如文本）的知识转移来解决这个问题。在本文中，我们研究了另一种合成图像分类器的方法：几乎直接从用户的想象力，通过徒手素描。这种方法不要求类别是可命名的或可描述的，通过属性，按照零样本学习。我们通过训练一个{模型回归}网络来实现这一点，以从{手绘草图}空间映射到照片分类器的空间。事实证明，这种映射可以以类别不可知的方式学习，允许用户合成新类别的照片分类器，而不需要注释的训练照片。{We还表明，这种模式的分类器生成也可以用来提高现有的照片分类器的粒度，或作为一个补充，以名称为基础的零样本学习。
2018-04-30 cs.CV
