Sketch-based Manga Retrieval using Manga109 Dataset
The University of Tokyo（东京大学）
日本漫画在全世界都很受欢迎。然而，目前的电子漫画档案提供非常有限的搜索支持，包括基于标题或作者的关键字搜索，或基于标签的分类。为了使漫画搜索体验更加直观、高效和愉快，我们提出了一个基于内容的漫画检索系统。首先，我们提出了一个漫画特定的图像描述框架。它包括有效的边缘标记，边缘方向直方图特征描述，和近似最近邻搜索使用产品量化。其次，我们提出了一个基于草图的界面作为一种自然的方式与漫画内容进行交互。该界面提供基于草图的查询、相关反馈和查询修饰。为了进行评估，我们建立了一个新的漫画图像数据集Manga 109，它由专业漫画艺术家绘制的109本漫画书组成，共21，142页。据我们所知，Manga 109是目前可用于研究的最大的漫画图像数据集。我们进行了比较研究，本地化评估，和一个大规模的定性研究。实验结果表明：（1）该方法的检索准确率高于已有方法;（2）该方法能够以合理的运行时间和准确率定位对象实例;（3）草图查询对于漫画搜索是有用的。
2015-10-15 cs.CV cs.IR cs.MM
Bridging the Gap: Sketch-Aware Interpolation Network for High-Quality Animation Sketch Inbetweening
The University of Sydney（悉尼大学）；The Hong Kong Polytechnic University（香港理工大学）
针对手绘2D动画素描中间帧手工制作成本高、通用插值方法受素描细节少与关键帧形变大制约的问题，提出融合多层级引导与多流U-Transformer的SAIN网络，构建STD-12K数据集，实验证明其性能优于现有最优方法。
2024-08-14 cs.CV cs.MM
'CADSketchNet' -- An Annotated Sketch dataset for 3D CAD Model Retrieval with Deep Neural Networks
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；National Institute of Technology Tiruchirappalli（印度国立理工学院蒂鲁吉拉伯利分校）
3D建模和数字存档领域的不断进步导致了数字存储数据量的爆发。因此，根据这些数据库中存储的数据类型，开发了几种检索系统。然而，与文本数据或图像不同，执行对3D模型的搜索是不平凡的。在3D模型中，检索3D工程/CAD模型或机械部件甚至更具挑战性，因为存在孔、体积特征、存在尖锐边缘等，使CAD成为一个独立的领域。本文提出的研究工作旨在开发一个数据集，适用于建立基于深度学习的三维CAD模型检索系统。从现有的CAD数据库中收集3D CAD模型，并准备了一个计算机生成的草图数据集，称为“CADSketchNet”。此外，CADSketchNet中还添加了组件的手绘草图。使用该数据集的草图图像，本文还旨在评估各种检索系统或搜索引擎的性能为3D CAD模型，接受草图图像作为输入查询。在CADSketchNet上构建了多个实验模型并进行了测试。这些实验，以及模型架构，相似性度量的选择与搜索结果一起报告。
2021-07-20 cs.AI cs.CV cs.GR
SHREC'22 Track: Sketch-Based 3D Shape Retrieval in the Wild
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；New York University（纽约大学）；Beihang University（北京航空航天大学）；IMT Nord Europe（北欧国立高等工业技术与矿业学校）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；New York University Abu Dhabi（纽约大学阿布扎比分校）；University of Science, VNUHCM（胡志明市国家大学科学大学）；Viet Nam National University, Ho Chi Minh City（胡志明市越南国家大学）
基于草图的三维形状检索（SBSR）是一个重要而又富有挑战性的课题，近年来受到越来越多的关注。现有的方法在受限的设置中解决问题，而没有适当地模拟真实的应用场景。为了模拟真实的场景，在这条赛道上，我们采用了由不同水平的业余爱好者绘制的大型草图，以及各种3D形状，不仅包括CAD模型，还包括从真实物体扫描的模型。我们定义了两个SBSR任务，并构建了两个基准测试，包括超过46，000个CAD模型，1，700个真实模型和145，000个草图。四个团队参加了这一轨道，并提交了15个运行的两个任务，通过7个常用的指标进行评估。我们希望，基准，比较结果，和开源的评估代码将促进未来的研究在这个方向的3D对象检索社区。
2022-07-11 cs.CV cs.GR cs.MM
Deep Self-Supervised Representation Learning for Free-Hand Sketch
Nanyang Technological University（南洋理工大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Surrey（萨里大学）
在本文中，我们第一次解决的问题，自监督的表示学习的手绘草图。这重要地解决了草图社区面临的一个常见问题--注释的监督数据很难获得。这个问题是非常具有挑战性的，因为草图是高度抽象的，并且受到不同的绘画风格的影响，使得现有的为照片量身定制的解决方案不适合。我们的自监督学习范例成功的关键在于我们的草图特定的设计：（i）我们提出了一组专门为模仿不同绘画风格的草图设计的借口任务，以及（ii）我们进一步利用文本卷积网络（TCN）在双分支架构中用于草图特征学习，作为适应草图的连续笔划性质的手段。我们通过两个草图相关的应用程序（检索和识别）在百万级草图数据集上展示了我们的草图特定设计的优越性，并表明所提出的方法优于最先进的无监督表示学习方法，并显着缩小了与监督表示学习之间的性能差距。
2020-02-03 cs.CV
Fine-Grained VR Sketching: Dataset and Insights
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（讯飞-萨里人工智能联合研究中心）
我们提出了第一个细粒度数据集的1,497个3D VR草图和3D形状对的椅子类别具有很大的形状多样性。我们的数据集支持草图社区最近的细粒度数据分析趋势，并将其扩展到积极发展的3D领域。我们主张最方便的素描方案，其中草图由稀疏的线条组成，不需要任何素描技巧，事先培训或耗时准确的绘图。然后，我们第一次研究了细粒度3D VR草图到3D形状检索的场景，作为一种新颖的VR草图应用程序和一个试验场，以推动通用的见解，为未来的研究提供信息。通过在这个新问题上仔细选择设计因素的组合进行实验，我们得出了重要的结论，以帮助后续工作。我们希望我们的数据集能够实现其他新的应用，特别是那些需要细粒度角度的应用，例如细粒度3D形状重建。该数据集可在tinyurl.com/VRSketch3DV21上获得。
2022-09-20 cs.CV
SketchyScene: Richly-Annotated Scene Sketches
Queen Mary University of London（伦敦玛丽女王大学）；Sun Yat-sen University（中山大学）；Shandong University（山东大学）；Simon Fraser University（西蒙弗雷泽大学）
我们贡献了第一个大规模的场景草图数据集，SketchyScene，其目标是在对象和场景级别上推进草图理解的研究。该数据集是通过新颖且精心设计的众包管道创建的，使用户能够高效地生成大量逼真且多样化的场景草图。SketchyScene包含超过29，000个场景级草图，7，000多对场景模板和照片，以及11，000多个对象草图。场景草图中的所有对象都具有地面实况语义和实例遮罩。该数据集还具有高度可扩展性和可扩展性，可以轻松地增强和/或更改场景组成。我们通过训练场景草图的语义分割的新计算模型来展示SketchyScene的潜在影响，并展示新数据集如何实现包括图像检索，草图着色，编辑和字幕等在内的几个应用程序。数据集和代码可以在https://github.com/SketchyScene/SketchyScene上找到。
2018-08-07 cs.AI cs.CV
LogoNet: a fine-grained network for instance-level logo sketch retrieval
Nanjing Normal University（南京师范大学）
针对实例级标志草图检索的挑战，本文构建了首个包含2k实例和9k草图的数据集，并提出了基于混合注意力机制的三分支CNN架构LogoNet，有效提升了检索准确率。
2023-04-05 cs.CV
A Sketch Based 3D Shape Retrieval Approach Based on Efficient Deep Point-to-Subspace Metric Learning
基于草图的三维形状检索
2019-03-13 cs.CV
Sketch Less for More: On-the-Fly Fine-Grained Sketch Based Image Retrieval
University of Surrey（萨里大学）；University of Edinburgh（爱丁堡大学）
基于细粒度草图的图像检索（FG-SBIR）解决了给定用户查询草图的特定照片实例的检索问题。然而，它的广泛适用性受到绘制草图需要时间的事实的阻碍，并且大多数人都在努力绘制完整和忠实的草图。在本文中，我们重新制定了传统的FG-SBIR框架来应对这些挑战，最终目标是用尽可能少的笔划来检索目标照片。我们进一步提出了一个即时的设计，只要用户开始绘图就开始检索。为了实现这一点，我们设计了一个基于强化学习的跨模态检索框架，该框架直接优化了一个完整的草图绘制事件中地面实况照片的排名。此外，我们引入了一种新的奖励计划，规避了与不相关的草图笔划相关的问题，从而为我们提供了一个更一致的排名列表在检索过程中。我们在两个公开的细粒度草图检索数据集上实现了优于最先进方法和替代基线的早期检索效率。
2020-05-11 cs.CV
Adversarial Training For Sketch Retrieval
Imperial College London（伦敦帝国理工学院）
生成对抗网络（GAN）能够学习未标记数据的优秀表示，可应用于图像生成和场景分类。GANs学习的表示尚未应用于检索。在本文中，我们证明了GANs学习的表示确实可以用于检索。我们认为遗产文件包含未标记的商人标志，类似于象形文字的草图状符号。我们介绍了一种新型的GAN架构，其设计特征使其适合草图检索。该草图-GAN的性能与原始GAN架构的修改版本相对于简单不变性性质进行比较。实验表明，sketch-GAN学习适合检索的表示，并且与标准GAN架构相比，还具有更高的旋转，缩放和平移稳定性。
2016-08-23 cs.CV
SketchMate: Deep Hashing for Million-Scale Human Sketch Retrieval
Beijing University of Posts and Telecommunications（北京邮电大学）；Queen Mary University of London（伦敦玛丽女王大学）；The University of Edinburgh（爱丁堡大学）
我们提出了一个用于草图检索的深度哈希框架，该框架首次适用于数百万规模的人类草图数据集。利用这个大型数据集，我们探索了一些在以前的文献中研究不足的草图特定特征。我们引入了草图哈希检索的新问题，而不是遵循传统的草图识别任务，这不仅更具挑战性，而且还为大规模草图分析提供了更好的测试平台，因为：（i）需要更细粒度的草图特征学习以适应风格和抽象的大变化，以及（ii）需要同时学习紧凑的二进制码以实现有效的检索。我们网络设计的关键是嵌入人类草图的独特特征，其中（i）两分支CNN-RNN架构适用于探索笔划的时间顺序，以及（ii）专门设计了一种新的哈希损失，以适应草图的时间和抽象特征。通过使用3.8M草图数据集，我们表明，专门为静态图像设计的最先进的哈希模型在时间草图数据上表现不佳。另一方面，我们的网络不仅在各种代码大小上提供了最佳的检索性能，而且在zero-shot设置下以及重新用于草图识别时也具有最佳的泛化性能。这种卓越的性能有效地证明了我们的草图特定设计的好处。
2018-04-04 cs.CV
Multi-granularity Association Learning Framework for on-the-fly Fine-Grained Sketch-based Image Retrieval
Chongqing University of Posts and Telecommunications（重庆邮电大学）；University of California, Riverside（加利福尼亚大学河滨分校）
基于细粒度草图的图像检索（FG-SBIR）解决了在给定的查询草图中检索特定照片的问题。但是，它的广泛适用性受到限制，因为大多数人很难画出完整的草图，而且绘制过程往往需要时间。在这项研究中，我们的目标是用尽可能少的笔画数（不完整的草图）检索目标照片，命名为即时FG-SBIR（Bhunia et al. 2020），它在绘画开始时就开始检索每个笔画。我们认为，在每张照片的草图绘制片段中，这些不完整的草图之间存在着显著的相关性。为了更有效地学习照片和不完整草图之间共享的联合嵌入空间，我们提出了一个多粒度关联学习框架，进一步优化了所有不完整草图的嵌入空间。具体来说，基于草图的完整性，我们可以将一个完整的草图集分为几个阶段，每个阶段对应一个简单的线性映射层。此外，该框架引导当前草图的向量空间表示逼近后续草图的向量空间表示，实现了笔划较少草图的检索性能逼近笔划较多草图的检索性能。在实验中，我们提出了更现实的挑战，我们的方法在两个公开的细粒度草图检索数据集上实现了优于最先进的方法和替代基线的早期检索效率。
2022-01-13 cs.CV
Sketching without Worrying: Noise-Tolerant Sketch-Based Image Retrieval
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（讯飞-萨里人工智能联合研究中心）
草图使许多令人兴奋的应用，特别是图像检索。害怕素描的问题（即，“我不能素描”），但已被证明是致命的广泛采用。本文解决了这种“恐惧”的头部，并首次提出了一个辅助模块，现有的检索模型，主要是让用户草图，而不必担心。我们首先进行了一项试点研究，揭示了秘密在于存在嘈杂的中风，但没有那么多的“我不能素描”。因此，我们设计了一个笔划子集选择器，{检测噪声笔划，只留下那些}，使成功检索的积极贡献。我们基于强化学习的公式根据中风对检索的贡献程度量化给定子集中存在的每个中风的重要性。当与预训练的检索模型作为预处理模块相结合时，我们实现了比标准基线8%-10%的显著增益，并进而报告了新的最先进的性能。最后但并非最不重要的是，我们展示了选择器一旦经过训练，也可以以即插即用的方式使用，以以前不可能的方式为各种草图应用程序提供支持。
2022-03-28 cs.CV
Domain-Smoothing Network for Zero-Shot Sketch-Based Image Retrieval
Xidian University（西安电子科技大学）
基于零镜头草图的图像检索（Zero-ShotSketch-Based Image Retrieval，ZE-SBIR）是一种新颖的跨模态检索任务，在zero-shot场景下，以抽象草图为查询对象对自然图像进行检索。现有的方法大多将草图-SBIR作为传统的分类问题，采用交叉熵或基于三元组的损失来实现检索，忽略了草图与自然图像之间的领域鸿沟以及草图类内差异较大的问题。为此，我们提出了一种新的域平滑网络（DSN）的EST-SBIR。具体而言，提出了一种跨模态对比方法来学习广义表示，通过挖掘具有额外增强样本的关系来平滑域间隙。此外，一个类别特定的存储体与草图功能的探索，以减少类内的多样性在草图域。大量的实验表明，我们的方法在Sketchy和TU-Berlin数据集上的性能明显优于最先进的方法。我们的源代码可在https://github.com/haowang1992/DSN上公开获取。
2021-06-22 cs.CV
Sketch-QNet: A Quadruplet ConvNet for Color Sketch-based Image Retrieval
Impresee Inc.（Impresee公司）
基于三元组丢失的连体网络的架构在基于图像的相似性搜索问题上表现出出色的性能。这种方法试图区分积极（相关）和消极（不相关）的项目。然而，它经历了一个关键的弱点。给定一个查询，它不能区分弱相关的项目，例如，相同类型的项目，但不同的颜色或纹理的给定查询，这可能是一个严重的限制，许多现实世界的搜索应用。因此，在这项工作中，我们提出了一个基于四元组的架构，克服了上述弱点。此外，我们提出了这个四元组网络，我们称之为Sketch-QNet，处理基于彩色草图的图像检索（CSBIR）问题的一个实例，实现了新的国家的最先进的结果。
2021-04-22 cs.CV
Deep Sketch Hashing: Fast Free-hand Sketch-Based Image Retrieval
University of East Anglia（东英吉利大学）；University of Electronic Science and Technology of China（电子科技大学）；Beihang University（北京航空航天大学）
基于手绘草图的图像检索（SBIR）是一种特定的跨视图检索任务，其中查询是抽象的和模糊的草图，而检索数据库是由自然图像组成的。这一领域的工作主要集中在提取草图和自然图像的代表性和共享特征。然而，这些都不能很好地应付草图和图像之间的几何失真，也是不可行的大规模SBIR由于沉重的连续值的距离计算。在本文中，我们加快SBIR通过引入一种新的二进制编码方法，命名为\textbf{Deep Sketch Hashing}（DSH），其中提出了一个半异构的深度架构，并纳入到一个端到端的二进制编码框架。具体地说，三个卷积神经网络被用来编码手绘草图，自然图像，特别是辅助草图令牌，采用作为桥梁，以减轻草图图像的几何失真。学习的DSH代码可以有效地捕获跨视图的相似性以及不同类别之间的内在语义相关性。据我们所知，DSH是第一个专门为具有端到端深度架构的类别级SBIR设计的哈希工作。建议的DSH在两个大规模的数据集TU-Berlin Extension和Sketchy上进行了全面评估，实验一致表明DSH的SBIR精度优于几种最先进的方法，同时实现了显着减少的检索时间和内存占用。
2017-03-16 cs.CV
Sketch-an-Anchor: Sub-epoch Fast Model Adaptation for Zero-shot Sketch-based Image Retrieval
Universidade de São Paulo（圣保罗大学）；Mercado Libre（美客多）
草图锚是一种新的方法，训练国家的最先进的Zero-shot基于草图的图像检索（ZSSBIR）模型在一个时代。大多数研究将ZSSBIR的问题分解为两个部分：继承自SBIR的图像和草图之间的域对齐，以及zero-shot协议所固有的对未知数据的泛化。我们认为，这些问题之一可以大大简化，并重新框架ZSSBIR问题周围已经恒星尚未充分探索Zero-shot基于图像的检索性能的现成的模型。我们的快速收敛模型保持了单域性能，同时学习从草图中提取相似的表示。为此，我们介绍了我们的语义分类器-指导嵌入学习基于单词的语义空间和功能，从现成的模型-并将它们与我们的小说锚定对比损失。经验证据表明，我们可以在所有基准数据集上实现最先进的性能，同时训练迭代次数比其他方法少100倍。
2023-03-29 cs.CV
Distribution Aligned Feature Clustering for Zero-Shot Sketch-Based Image Retrieval
University of Science and Technology Beijing（北京科技大学）
基于零镜头草图的图像检索（Zero-Shot Sketch-Based Image Retrieval，简称ZSBIR）是一个具有挑战性的跨模态检索任务。在现有技术中，通过对查询草图与图库中的每个图像之间的距离进行排序来进行检索。然而，域间隙和zero-shot设置使得神经网络难以推广。本文从一个新的角度：利用图库图像特征来应对挑战。我们提出了一种先聚类后检索的方法，该方法对图库图像进行聚类，并使用聚类质心作为检索代理。此外，提出了一种分布对齐损失，使图像和草图特征具有共同的高斯分布，从而减小了域间隙。尽管它很简单，我们提出的方法在流行的数据集上比最先进的方法有很大的优势，例如，在Sketchy和TU-Berlin数据集上，mAP@all的相对改善高达31%和39%。
2023-01-17 cs.CV
Learning Cross-Modal Deep Embeddings for Multi-Object Image Retrieval using Text and Sketch
Autonomous University of Barcelona（巴塞罗那自治大学）；Indian Statistical Institute（印度统计研究所）
在这项工作中，我们介绍了一个跨模态图像检索系统，允许文本和草图作为输入方式的查询。跨模态深度网络架构被制定为联合建模草图和文本输入模态以及图像输出模态，学习文本和图像之间以及草图和图像之间的共同嵌入。此外，注意力模型用于选择性地将注意力集中在图像的不同对象上，从而允许在查询中检索多个对象。实验表明，该方法在标准数据集上的单目标和多目标图像检索中均取得了较好的效果。
2018-04-28 cs.CV
Semantic Adversarial Network for Zero-Shot Sketch-Based Image Retrieval
基于零镜头草图的图像检索（Zero-Shot-based Image Retrieval，简称ZSBIR）是一种在zero-shot场景下对手绘草图图像进行跨模态检索的方法。以往的工作主要集中在建立图像与草图之间的对应关系或将图像特征与草图特征进行合成。然而，这两种方法都忽略了草图的类内差异，从而导致检索性能不理想。在本文中，我们提出了一种新的端到端的语义对抗方法的EST-SBIR。具体来说，我们设计了一个语义对抗模块，以最大限度地提高学习的语义特征和类别级词向量之间的一致性。此外，为了保持每个训练类别中合成特征的可辨别性，生成模块采用了三重丢失。此外，所提出的模型在端到端的策略中进行训练，以利用适合于EST-SBIR的更好的语义特征。在两个大规模流行数据集上进行的大量实验表明，该方法在Sketchy数据集上的检索性能比现有方法高出12%以上，在TU-Berlin数据集上高出约3%.
2019-10-18 cs.CV
Back To The Drawing Board: Rethinking Scene-Level Sketch-Based Image Retrieval
Faculty of Computer and Information Science University of Ljubljana（计算机与信息科学系卢布尔雅那大学）
针对场景级基于草图的图像检索，提出鲁棒训练目标，结合预训练、编码器与损失设计，在FS-COCO和SketchyCOCO上达到最先进性能，强调训练设计的关键作用。
2025-09-08 cs.CV
Instance-level Sketch-based Retrieval by Deep Triplet Classification Siamese Network
素描作为一种有效的交际工具，被用来表达事物的抽象和直观的意义。手绘草图的识别在许多实际应用中是非常有用的。虽然基于内容的草图识别已经研究了几十年，基于草图的图像检索（SBIR）任务的实例级最近引起了显着的研究关注。现有的数据集，如QMUL-Chair和QMUL-Shoe，专注于椅子和鞋子的检索任务。然而，在以前的实例级SBIR工作中有几个关键的限制。最先进的作品在很大程度上依赖于预训练过程，边缘图的质量，多重裁剪测试策略，以及增强草图图像。为了有效地解决实例级SBIR，我们提出了一种新的深度三元组分类连体网络（DeepTCNet），该网络采用DenseNet-169作为基本特征提取器，并通过三元组损失和分类损失进行了优化。关键是，我们提出的DeepTCNet可以打破以前作品中存在的局限性。在五个基准草图数据集上的实验验证了该模型的有效性。此外，为了研究基于草图的发型检索任务，本文提出了一个新的实例级照片-草图数据集- Hairstyle Photo-Sketch数据集，它由3600张草图和照片以及2400个草图-照片对组成。
2019-05-25 cs.CV
You'll Never Walk Alone: A Sketch and Text Duet for Fine-Grained Image Retrieval
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（讯飞-萨里人工智能联合研究中心）
本文提出一种组合性框架，利用预训练CLIP模型结合草图与文本进行细粒度图像检索，实现更精确查询并扩展至组合检索、域属性转移和细粒度生成等新应用。
2024-03-20 cs.CV
Stacked Semantic-Guided Network for Zero-Shot Sketch-Based Image Retrieval
基于零镜头草图的图像检索（Zero-Shot Sketch-based Image Retrieval，简称ZSBIR）是在zero-shot场景下，从自然图像库中进行跨域的手绘草图图像检索的任务。以往的工作主要集中在一个生成的方法，采取高度抽象和稀疏的草图作为输入，然后合成相应的自然图像。然而，固有的视觉稀疏性和大的类内方差的草图，使学习的条件解码器更困难，从而实现不理想的检索性能。在本文中，我们提出了一种新的堆叠语义引导网络，以解决独特的特点，草图在EST-SBIR。具体来说，我们设计了多层特征融合网络，将不同的中间特征表示信息在一个深神经网络，以减轻内在的稀疏性的草图。为了提高视觉知识从可见到不可见的类的转移，我们阐述了一个粗到细的条件解码器，首先生成粗粒度的特定于类别的对应特征（以辅助语义信息作为条件输入），然后生成细粒度的特定于实例的对应特征（以草图表示作为条件输入）。此外，回归损失和分类损失分别用于保持合成特征的语义和区分信息。在大规模Sketchy数据集和TU-Berlin数据集上的实验表明，该方法的检索性能比现有方法提高了20%以上.
2019-10-18 cs.CV
Sketch2Inspire: Structure-Sensitive Evaluation for Product Retrieval
Beihang University（北京航空航天大学）
该研究提出Sketch2Inspire资源，基于CLIP系列编码器评估多模态融合等方法，证实结构敏感检索下多模态输入增益更高，为产品检索评估提供诊断资源。
2026-09-01 cs.CV
Zero-Shot Sketch-Based Image Retrieval with Structure-aware Asymmetric Disentanglement
Shanghai Jiao Tong University（上海交通大学）
基于草图的图像检索（SBIR）的目标是使用手绘草图从自然图像库中检索相同类别的图像。然而，SBIR要求在训练期间看到所有测试类别，这在现实世界的应用中无法保证。因此，我们研究更具挑战性的零镜头SBIR（ZERO-SBIR），其中测试类别不出现在训练阶段。在认识到草图主要包含结构信息，而图像包含额外的外观信息的基础上，尝试通过非对称解缠实现结构感知的检索，提出了结构感知的非对称解缠（STRAD）方法，将图像特征解缠为结构特征和外观特征，而草图特征只投影到结构空间。通过对结构和外观空间的分离，实现了草图域和图像域之间的双向域转换。大量的实验表明，我们的STRAD方法显着优于国家的最先进的方法在三个大规模的基准数据集。
2020-09-18 cs.CV
Freeview Sketching: View-Aware Fine-Grained Sketch-Based Image Retrieval
University of Surrey（萨里大学）
针对FG-SBIR中草图与目标视角不一致的问题，提出视角感知框架，利用3D物体多视角投影与解耦的可定制跨模态特征，同时支持视角无关和视角特定检索。
2024-07-01 cs.CV
How to Handle Sketch-Abstraction in Sketch-Based Image Retrieval?
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（讯飞-萨里人工智能联合研究中心）
提出一种具备抽象感知能力的基于草图的图像检索框架，通过特征级设计利用预训练StyleGAN模型和抽象级别映射器动态选择特征维度，并引入Acc.@q损失在检索粒度级动态调整评估严格度，在多项SBIR任务中超越现有最先进方法。
2024-03-20 cs.CV
Modality-Aware Representation Learning for Zero-shot Sketch-based Image Retrieval
Seoul National University（首尔大学）；Google Research（谷歌研究院）
针对零样本基于草图的图像检索中成对样本收集困难的问题，提出通过文本对比间接对齐草图与照片的模态感知框架，解耦语义信息并实现高效跨模态检索。
2024-01-10 cs.CV
WAD-CMSN: Wasserstein Distance based Cross-Modal Semantic Network for Zero-Shot Sketch-Based Image Retrieval
South China University of Technology（华南理工大学）；Sun Yat-Sen University（中山大学）
基于Zero-shot草图的图像检索（ZSSBIR）作为计算机视觉的一个研究热点，近年来受到了广泛的关注。与基于草图的图像检索（SBIR）不同，ZSSBIR的主要目的是检索在训练期间可能不会出现的自由手绘草图的自然图像。以前的方法使用语义对齐的草图-图像对或利用内存昂贵的融合层将视觉信息投影到低维子空间，这忽略了高度抽象的草图和相关图像之间的显着异构跨域差异。这可能会导致训练阶段的表现不佳。为了解决这个问题，克服这个缺点，我们提出了一个基于Wasserstein距离的跨模态语义网络（WAD-CMSN）的ZSSBIR。具体来说，它首先通过Wasserstein距离以对抗训练的方式将每个分支（草图，图像）的视觉信息投影到一个公共的低维语义子空间。此外，身份匹配损失被用来选择有用的功能，这不仅可以捕获完整的语义知识，但也减轻了过度拟合现象所造成的WAD-CMSN模型。在具有挑战性的Sketchy（扩展）和TU-Berlin（扩展）数据集上的实验结果表明，所提出的WAD-CMSN模型优于几个竞争对手。
2022-02-11 cs.CV
ACNet: Approaching-and-Centralizing Network for Zero-Shot Sketch-Based Image Retrieval
Fudan University（复旦大学）；HKUST（香港科技大学）；Tencent PCG（腾讯平台与内容事业群）；UESTC（电子科技大学）
草图和照片之间的巨大领域差距以及高度抽象的草图表示方式给基于草图的图像检索（\underline{SBIR}）带来了挑战。zero-shot sketch-based图像检索（\underline{ZS-SBIR}）是更通用和实用的，但提出了一个更大的挑战，因为额外的知识差距之间的可见和不可见的类别。为了同时缓解这两个差距，我们提出了一个\textbf{A} pproaching和\textbf{C}集中\textbf{Net}工作（称为“\textbf{ACNet}“），以共同优化草图照片合成和图像检索。检索模块引导合成模块生成大量逐渐接近照片域的各种类似照片的图像，从而比以往更好地服务于检索模块，以学习领域不可知的表示和类别不可知的常识，以推广到看不见的类别。这些不同的图像生成与检索指导可以有效地缓解过拟合问题困扰具体类别特定的训练样本具有高梯度。我们还发现使用基于代理的NormSoftmax损失在zero-shot设置中是有效的，因为它的集中效应可以稳定我们的联合训练，并提高对未知类别的泛化能力。我们的方法是简单而有效的，它实现了最先进的性能在两个广泛使用的SB-SBIR数据集，并超过了以前的方法，由一个很大的利润。
2023-02-25 cs.CV
Active Learning for Fine-Grained Sketch-Based Image Retrieval
Carnegie Mellon University（卡内基梅隆大学）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出一种基于数据分布的主动学习采样方法，利用已有照片-草图对与无草图照片的关系及其特征来平衡不确定性与多样性，显著减少FG-SBIR中的草图标注工作量，并在ChairV2和ShoeV2上验证了其优于现有基线。
2023-09-15 cs.CV
Multi-Granularity Representation Learning for Sketch-based Dynamic Face Image Retrieval
Chongqing University of Posts and Telecommunications（重庆邮电大学）
针对少素描人脸图像检索早期性能差的问题，提出多粒度表示学习方法，通过学习局部素描不同粒度区域表示并结合图像计算距离，在两个数据集上早期检索优于基线。
2023-12-31 cs.CV
Progressive Domain-Independent Feature Decomposition Network for Zero-Shot Sketch-Based Image Retrieval
Xidian University（西安电子科技大学）
基于零镜头草图的图像检索（Zero-shot-based sketch-imageretrieval，简称ZS-SBIR）是一种在zero-shot场景下基于手绘草图的跨模态检索任务。大多数现有的方法解决了这个问题，同时投影视觉特征和语义监督到一个低维的公共空间进行有效的检索。然而，这种低维投影破坏了语义知识在原始语义空间中的完整性，从而在从不同模态学习语义时无法很好地传递有用的知识。此外，视觉特征中的领域信息和语义信息纠缠在一起，不利于缩小草图和图像之间的领域差距，不利于跨模态匹配。在本文中，我们提出了一个渐进的域独立的特征分解（PDFD）网络的EST-SBIR。具体地说，在原始语义知识的指导下，PDFD将视觉特征分解为领域特征和语义特征，然后将语义特征投影到公共空间作为检索特征。渐进式投射策略保持了较强的语义监督。此外，为了保证检索特征能够捕捉到干净完整的语义信息，引入了交叉重构损失，以鼓励检索特征和领域特征的任意组合能够重构视觉特征。大量的实验证明了我们的PDFD优于国家的最先进的竞争对手。
2022-05-06 cs.CV
Three-Stream Joint Network for Zero-Shot Sketch-Based Image Retrieval
Shandong University（山东大学）；Shandong Jianzhu University（山东建筑大学）
由于草图和自然图像之间存在较大的领域鸿沟，以及可见和不可见类别之间的语义不一致性，基于零镜头草图的图像检索（Zero-Shot Sketch-based Image Retrieval，简称ZSBIR）是一项具有挑战性的任务。以前的文献通过语义嵌入来连接可见和不可见的类别，这需要确切的类名和额外的提取工作的先验知识。大多数作品通过构造草图-图像对将草图和自然图像映射到一个公共的高层空间来缩小域间隙，忽略了图像和草图之间的非配对信息。为了解决这些问题，在本文中，我们提出了一种新的三流联合训练网络（3 JOIN）的EST-SBIR任务。为了缩小草图和图像之间的领域差异，我们提取自然图像的边缘图，并将其作为图像和草图之间的桥梁，这些草图与图像具有相似的内容和相似的风格。为了充分利用草图、自然图像和边缘图的组合，提出了一种新型的三流联合训练网络。此外，我们使用教师网络来提取样本的隐式语义，而无需其他语义的帮助，并将学习到的知识转移到看不见的类。在两个真实数据集上进行的大量实验证明了我们所提出的方法的优越性。
2022-04-12 cs.CV
Cross-modal Subspace Learning for Fine-grained Sketch-based Image Retrieval
Beijing University of Posts and Telecommunications（北京邮电大学）；Chinese Academy of Sciences（中国科学院）；Queen Mary University of London（伦敦玛丽女王大学）；Victoria University of Wellington（惠灵顿维多利亚大学）
基于草图的图像检索（SBIR）是具有挑战性的，由于草图和照片之间固有的领域差距。与像素完美的照片描绘相比，草图是对现实世界的高度抽象的标志性渲染。因此，直接使用低级视觉线索来匹配草图和照片是不够的，因为建立语义上遍历两种模态的公共低级子空间是不平凡的。大多数现有的SBIR研究没有直接解决这个跨模态问题。这自然促使我们探索SBIR中的跨模态检索方法的有效性，这些方法已经成功地应用于图像-文本匹配。在本文中，我们介绍并比较了一系列最先进的跨模态子空间学习方法，并在最近发布的两个细粒度SBIR数据集上对它们进行了基准测试。通过对实验结果的深入研究，我们证明了子空间学习可以有效地对草图-照片域间隙进行建模。此外，我们得出了一些关键的见解，以推动未来的研究。
2017-05-28 cs.CV
Ontology-aware Network for Zero-shot Sketch-based Image Retrieval
China University of Mining and Technology（中国矿业大学）
基于Zero-Shot草图的图像检索（ZSSBIR）是一个新兴的课题。开创性的工作集中在模态差距，但忽略了类间信息。虽然最近的工作已经开始考虑基于三重态或基于对比度的损失来挖掘类间信息，但需要仔细选择正样本和负样本，否则模型容易丢失模态特定信息。为了解决这些问题，提出了一种本体感知网络（OAN）。具体地说，提出了平滑的类间独立学习机制来保持类间特性。同时，基于蒸馏的一致性保持被用来保持特定的模态信息。大量的实验已经证明了我们的算法在两个具有挑战性的Sketchy和Tu-Berlin数据集上的优越性能。
2023-02-20 cs.CV
Towards 3D VR-Sketch to 3D Shape Retrieval
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（讯飞-萨里人工智能联合研究中心）
本文提出使用 3D VR 草图作为输入模态进行 3D 形状检索，构建了 VR 工具和数据集，并发现基于体积点的方法在此任务中表现更优。
2024-02-18 cs.CV
Towards Unsupervised Sketch-based Image Retrieval
National University of Singapore（新加坡国立大学）；University of Edinburgh（爱丁堡大学）；University of Surrey（萨里大学）
现有的基于草图的监督图像检索（SBIR）算法的实用价值在很大程度上受到密集的数据汇集和标记的要求的限制。在本文中，我们提出了第一次尝试在无监督SBIR删除标签成本（类别注释和草图照片配对），这是传统上需要的训练。现有的单域无监督表示学习方法在此应用程序中表现不佳，由于独特的跨域（草图和照片）的问题的性质。因此，我们引入了一个新的框架，同时执行草图照片域对齐和语义感知表示学习。从技术上讲，这是通过引入联合分布最优传输（JDOT）来对齐来自不同域的数据来支持的，我们使用可训练的集群原型和功能存储体来扩展这些数据，以进一步提高可扩展性和效率。大量的实验表明，我们的框架在新的无监督设置中实现了优异的性能，并且在zero-shot设置中的性能超过或优于现有技术。
2022-11-18 cs.CV
Diagram Image Retrieval using Sketch-Based Deep Learning and Transfer Learning
University of New Mexico（新墨西哥大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
图图像的图像检索的复杂问题的解决方案尚未达到。深度学习方法在目标检测和应用于自然图像的图像分类领域继续表现出色。然而，这种方法应用于二进制图像的应用仍然有限，由于缺乏关键的功能，如纹理，颜色和强度信息。本文提出了一种基于深度学习的方法，通过利用现有的用于图像搜索的大型自然图像存储库和基于草图的方法（草图与图表不同，但它们确实具有某些特征;例如，两种图像类型都是灰度（二进制），由轮廓组成，并且缺乏纹理），对二进制专利图像进行基于图像的搜索。我们首先使用深度学习从自然图像中生成草图用于图像检索，然后在草图上训练第二个深度学习模型。然后，我们通过迁移学习使用我们的一小组手动标记的专利图表图像，以适应从自然图像草图到图表的图像搜索。我们的实验结果显示了深度学习与迁移学习在专利图像中检测近似相同副本和基于内容查询相似图像的有效性。
2020-04-22 cs.CV
Diff-SBSR: Learning Multimodal Feature-Enhanced Diffusion Models for Zero-Shot Sketch-Based 3D Shape Retrieval
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
本文提出利用文本到图像扩散模型解决零样本素描基础3D形状检索问题，通过多模态特征增强策略提升语义上下文捕捉能力，实验表明方法在公开基准上优于现有技术。
2026-04-21 cs.CV
Doodle to Search: Practical Zero-Shot Sketch-based Image Retrieval
SketchX, CVSSP, University of Surrey（萨里大学视觉、语音与信号处理中心 SketchX）
在本文中，我们研究的问题，zero-shot草图为基础的图像检索（SBIR），人类的草图被用作查询进行检索的照片从看不见的类别。我们通过提出代表其实际应用向前迈出的坚实一步的新颖的EST-SBIR场景来重要地推进现有技术。新的设置独特地认识到两个重要的，但往往被忽视的挑战，实际的SBIR，（i）业余素描和照片之间的大域差距，（ii）走向大规模检索的必要性。我们首先向社区贡献了一个新的EST-SBIR数据集QuickDraw-Extended，它由跨越110个类别的330，000张草图和204，000张照片组成。高度抽象的业余人类草图是有目的地获取的，以最大限度地缩小领域差距，而不是包含在现有数据集中的草图，这些草图通常是半真实感的。然后，我们制定了一个EST-SBIR框架，共同模型草图和照片到一个共同的嵌入空间。提出了一种挖掘域间互信息的新策略，以缓解域间的鸿沟。外部语义知识进一步嵌入，以帮助语义转移。我们发现，令人惊讶的是，检索性能显着优于现有数据集上的最新技术，这些数据集已经可以使用我们模型的简化版本来实现。我们通过与新提出的数据集上的一些替代方案进行比较，进一步证明了我们的完整模型的优越性能。新的数据集，加上我们模型的所有训练和测试代码，将公开发布，以促进未来的研究
2020-08-19 cs.CV
More Photos are All You Need: Semi-Supervised Learning for Fine-Grained Sketch Based Image Retrieval
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（讯飞-萨里人工智能联合研究中心）
现有的基于细粒度草图的图像检索（FG-SBIR）模型所面临的一个根本挑战是数据稀缺-模型性能在很大程度上受到草图-照片对缺乏的影响。虽然照片的数量可以很容易地缩放，但每个相应的草图仍然需要单独制作。在本文中，我们的目标是减轻这样一个上限的草图数据，并研究是否未标记的照片单独（其中有很多）可以培养的性能增益。特别是，我们引入了一种新的半监督框架跨模态检索，可以额外利用大规模的未标记的照片，占数据稀缺。我们半监督设计的核心是一个顺序的照片到草图生成模型，旨在为未标记的照片生成成对的草图。重要的是，我们进一步引入了一个基于蒸馏损失的正则化器来提供对噪声训练样本的容忍度，并引入了一个基于蒸馏损失的正则化器来指导不忠实的生成。最后，我们将生成和检索视为两个共轭问题，每个模块都设计了一个联合学习过程，以相互受益。大量的实验表明，我们的半监督模型比最先进的监督替代方案以及可以利用未标记照片进行FG-SBIR的现有方法具有显着的性能提升。
2021-03-25 cs.CV
Zero-shot sketch-based remote sensing image retrieval based on multi-level and attention-guided tokenization
Anhui Province Key Laboratory of Wetland Ecosystem Protection and Restoration, Anhui University（安徽大学安徽省湿地生态保护与修复重点实验室）；School of Resources and Environmental Engineering, Anhui University（安徽大学资源与环境工程学院）；Shanghai Ubiquitous Navigation Technology Co. Ltd（上海普适导航科技股份有限公司）；The 54th Research Institute of China Electronics Technology Group Corporation（中国电子科技集团公司第五十四研究所）
针对现有草图遥感图像检索中多层次特征挖掘不足的问题，提出融合多层次特征提取、注意力引导分词与跨模态注意力更新的零样本检索方法，性能显著优于现有技术，泛化性强且可通过预计算提升扩展性，代码与数据集已公开。
2024-05-16 cs.CV
A Sketch Is Worth a Thousand Words: Image Retrieval with Text and Sketch
Georgia Institute of Technology（佐治亚理工学院）；Phranakhon Rajabhat University（帕纳空皇家大学）；Google Research（谷歌研究院）
我们解决的问题，检索图像与草图和文本查询。我们提出了任务前（文本和SKetch Transformer），一个端到端的可训练的图像检索模型，使用文本描述和草图作为输入。我们认为，这两种输入方式相辅相成的方式，不能单独实现。TASK-former遵循后期融合双编码器方法，类似于CLIP，它允许高效和可扩展的检索，因为检索集可以独立于查询进行索引。我们的经验表明，使用输入草图（即使是一个很差的绘制），除了文本大大增加检索召回相比，传统的基于文本的图像检索。为了评估我们的方法，我们在COCO数据集的测试集中收集了5,000张手绘草图。收集的草图可在https://janesjanes.github.io/tsbir/上找到。
2022-08-05 cs.CV cs.LG
Data-Free Sketch-Based Image Retrieval
University of Exeter（埃克塞特大学）；University of Surrey（萨里大学）
对深度学习模型的隐私和匿名保护的日益关注促进了无数据学习（DFL）的研究。我们第一次发现，对于像基于草图的图像检索（SBIR）这样的数据稀缺任务，在获取配对照片和手绘草图的困难限制了数据依赖的跨模态学习算法，DFL可以证明是一个更实用的范例。因此，我们提出了无数据（DF）-SBIR，其中，与现有的DFL问题不同，预先训练的单模态分类模型必须利用学习跨模态度量空间进行检索，而无需访问任何训练数据。预训练分类模型的广泛可用性，以及为SBIR获取配对照片草图数据集的困难证明了这种设置的实用性。我们提出了一种DF-SBIR的方法，它可以利用独立训练的模型的知识来对照片和草图进行分类。我们在Sketchy，TU-Berlin和QuickDraw基准上评估了我们的模型，根据最先进的DFL文献设计了各种基线，并观察到我们的方法远远超过了所有这些基准。我们的方法还实现了与依赖数据的方法竞争的mAP，同时不需要训练数据。可在\url{https://github.com/abhrac/data-free-sbir}上获得实施。
2023-03-14 cs.CV
Asymmetric Feature Maps with Application to Sketch Based Retrieval
Czech Technical University in Prague（布拉格捷克理工大学）
我们提出了一个新的概念，非对称特征映射（AFM），它允许评估多个内核之间的查询和数据库条目，而不增加内存需求。为了证明AFM方法的优点，我们推导出一个短的矢量图像表示，由于不对称的特征映射，支持有效的规模和平移不变的基于草图的图像检索。与大多数基于短码的检索系统不同，该方法提供了检索图像中的查询定位。通过用一维投影的分数的三角多项式来近似二维平移搜索，提高了搜索的效率。投影是AFM的一个特例。与传统的三角多项式相比，实现了一个数量级的加速。基于图像的平均查询扩展提高了结果，大大超过了标准基准测试的最新水平。
2017-04-12 cs.CV
Semantically Tied Paired Cycle Consistency for Zero-Shot Sketch-based Image Retrieval
Computer Vision Center（计算机视觉中心）；Autonomous University of Barcelona（巴塞罗那自治大学）；Amsterdam Machine Learning Lab（阿姆斯特丹机器学习实验室）；University of Amsterdam（阿姆斯特丹大学）
基于Zero-shot草图的图像检索（SBIR）是计算机视觉中的一项新兴任务，它可以检索与草图查询相关的自然图像，这些图像可能在训练阶段看不到。现有的工作要么需要对齐的草图图像对或低效的内存融合层的视觉信息映射到一个语义空间。在这项工作中，我们提出了一个语义对齐的配对循环一致性生成（SEM-PCYC）模型的zero-shot SBIR，其中每个分支映射的视觉信息到一个共同的语义空间通过对抗训练。这些分支中的每一个都保持了周期的一致性，只需要在类别级别进行监督，并避免了对高价对齐的草图图像对的需要。对生成器输出的分类标准确保视觉到语义空间的映射是有区别的。此外，我们建议通过一个特征选择自动编码器，选择在同一个端到端模型的歧视边信息结合文本和层次边信息。我们的研究结果表明，在具有挑战性的Sketchy和TU-Berlin数据集上，zero-shot SBIR性能比最先进的SBIR性能有显著提高。
2019-03-08 cs.CV
A Zero-Shot Framework for Sketch-based Image Retrieval
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
基于草图的图像检索（SBIR）是从自然图像数据库中检索与给定手绘草图相对应的图像的任务。理想情况下，SBIR模型应该学会在草图中关联组件（例如，脚，尾巴等）。其中图像中的相应分量具有相似的形状特征。然而，目前的评价方法只是简单地集中在粗粒度的评价，重点是检索图像属于同一类的草图，但不一定具有相同的形状特征，在草图。因此，现有的方法只是学会将草图与训练期间看到的类相关联，因此无法推广到看不见的类。在本文中，我们提出了一个新的基准zero-shot SBIR模型在训练过程中看不到的新类中进行评估。我们通过大量的实验表明，现有的SBIR模型，在一个有区别的设置训练只学习类特定的映射，并未能推广到建议的zero-shot设置。为了规避这一点，我们提出了一种生成方法的SBIR任务，提出了深条件生成模型，以草图作为输入，并填补缺失的信息随机。实验表明，这些生成模型的性能显着优于几个国家的最先进的方法在提出的zero-shot框架的粗粒度SBIR任务。
2018-07-31 cs.CV
Domain Disentangled Generative Adversarial Network for Zero-Shot Sketch-Based 3D Shape Retrieval
Nanjing University of Science and Technology（南京理工大学）
基于草图的三维形状检索是一个具有挑战性的任务，由于草图和三维形状之间的大的领域差异。由于现有的方法是在相同的类别上训练和评估的，因此它们不能有效地识别在训练期间未使用的类别。在本文中，我们提出了一种新的域解纠缠生成对抗网络（DD-GAN）的zero-shot草图为基础的3D检索，它可以检索在训练过程中没有访问的不可见的类别。具体来说，我们首先通过分解草图和3D形状的学习特征来生成域不变特征和域特定特征，其中域不变特征用于与相应的词嵌入对齐。然后，我们开发了一个生成对抗网络，该网络将所见类别的特定领域特征与对齐的领域不变特征相结合来合成样本，其中未见类别的合成样本通过使用相应的词嵌入来生成。最后，我们使用合成的不可见类别的样本与真实的可见类别的样本相结合，训练网络进行检索，使不可见类别可以识别。为了减少域偏移问题，我们利用未标记的未见过的样本，以提高识别器的区分能力。通过将生成的样本与未标记的未见过样本区分开，生成器可以生成更真实的未见过样本。在SHREC'13和SHREC'14数据集上的大量实验表明，该方法显着提高了不可见类别的检索性能。
2022-06-30 cs.CV
Sketch2Model: View-Aware 3D Modeling from Single Free-Hand Sketches
Tsinghua University（清华大学）
我们研究了从单个手绘草图生成3D网格的问题，旨在为新手用户提供快速的3D建模。它可以被看作是一个单视图重建问题，但有独特的挑战，所带来的变化和简洁的草图。绘制得不好的草图中的模糊性可能会导致难以确定草图对象的姿势。在本文中，我们解决的重要性，克服这种歧义的观点规范，并提出了一种新的视图感知生成方法。通过显式条件的生成过程中，一个给定的观点，我们的方法可以自动生成合理的形状与预测的观点，或指定的观点，以帮助用户更好地表达他们的意图。各种数据集上的广泛评估表明，我们的视图感知设计在解决草图歧义和提高重建质量的有效性。
2021-05-14 cs.CV
Compact and Effective Representations for Sketch-based Image Retrieval
DCC University of Chile（智利大学DCC）；Impresee Inc.（Impresee公司）
基于草图的图像检索（SBIR）在计算机视觉领域引起了越来越多的关注，并在实际应用中产生了很大的影响。例如，SBIR为电子商务搜索引擎带来了更多的好处，因为它允许用户通过绘制他们需要购买的内容来制定查询。然而，目前的方法显示出高精度的检索工作在高维空间，这会对内存消耗和时间处理等方面产生负面影响。虽然一些作者也提出了紧凑的表示，这些大大降低了低维的性能。因此，在这项工作中，我们提出了不同的评估方法，以产生紧凑的嵌入的背景下，基于草图的图像检索的结果。我们的主要兴趣是旨在保持原始空间的局部结构的策略。最近的无监督局部拓扑保持降维方法UMAP符合我们的要求，表现出出色的性能，甚至提高了SOTA方法所达到的精度。我们在两个不同的数据集中评估了六种方法。我们使用Flickr 15 K和电子商务数据集;后者是这项工作的另一个贡献。我们表明，UMAP允许我们有16个字节的特征向量，提高精度超过35%。
2021-04-20 cs.CV
Sketchformer: Transformer-based Representation for Sketched Structure
Universidade de São Paulo（圣保罗大学）；University of Surrey（萨里大学）；Adobe Research（奥多比研究院）
Sketchformer是一种新的基于变换的表示，用于编码矢量形式的手绘草图输入，即作为一个笔划序列。Sketchformer有效地解决了多个任务：草图分类，基于草图的图像检索（SBIR），以及草图的重建和插值。我们报告了几种探索连续和标记化输入表示的变体，并对比了它们的性能。我们学习的嵌入，由字典学习标记化方案驱动，在分类和图像检索任务中产生最先进的性能，与LSTM序列到序列架构驱动的基线表示相比：SketchRNN和衍生物。我们表明，草图重建和插值显着改善Sketchformer嵌入复杂的草图与较长的笔划序列。
2020-02-24 cs.CV
