LogoNet: a fine-grained network for instance-level logo sketch retrieval
Nanjing Normal University（南京师范大学）
针对实例级标志草图检索的挑战，本文构建了首个包含2k实例和9k草图的数据集，并提出了基于混合注意力机制的三分支CNN架构LogoNet，有效提升了检索准确率。
2023-04-05 cs.CV
Modality-Aware Representation Learning for Zero-shot Sketch-based Image Retrieval
Seoul National University（首尔大学）；Google Research（谷歌研究院）
针对零样本基于草图的图像检索中成对样本收集困难的问题，提出通过文本对比间接对齐草图与照片的模态感知框架，解耦语义信息并实现高效跨模态检索。
2024-01-10 cs.CV
Fine-Grained Instance-Level Sketch-Based Video Retrieval
Nanyang Technological University（南洋理工大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；University of Surrey（萨里大学）；University of Edinburgh（爱丁堡大学）
现有的草图分析工作研究描绘静态对象或场景的草图。在这项工作中，我们提出了一种新的跨模态检索问题的细粒度实例级基于草图的视频检索（FG-SBVR），其中草图序列被用作查询检索特定的目标视频实例。与基于草图的静态图像检索和粗粒度类别级视频检索相比，这更具挑战性，因为视觉外观和运动都需要同时在细粒度级别进行匹配。我们贡献了第一个具有丰富注释的FG-SBVR数据集。然后，我们引入了一种新的多流多模态深度网络，以在强监督和弱监督设置下执行FG-SBVR。该网络的关键组成部分是一个关系模块，旨在防止模型过拟合给定稀缺的训练数据。我们表明，该模型显着优于一些现有的国家的最先进的模型设计的视频分析。
2020-02-21 cs.CV cs.MM
Cross-modal Subspace Learning for Fine-grained Sketch-based Image Retrieval
Beijing University of Posts and Telecommunications（北京邮电大学）；Chinese Academy of Sciences（中国科学院）；Queen Mary University of London（伦敦玛丽女王大学）；Victoria University of Wellington（惠灵顿维多利亚大学）
基于草图的图像检索（SBIR）是具有挑战性的，由于草图和照片之间固有的领域差距。与像素完美的照片描绘相比，草图是对现实世界的高度抽象的标志性渲染。因此，直接使用低级视觉线索来匹配草图和照片是不够的，因为建立语义上遍历两种模态的公共低级子空间是不平凡的。大多数现有的SBIR研究没有直接解决这个跨模态问题。这自然促使我们探索SBIR中的跨模态检索方法的有效性，这些方法已经成功地应用于图像-文本匹配。在本文中，我们介绍并比较了一系列最先进的跨模态子空间学习方法，并在最近发布的两个细粒度SBIR数据集上对它们进行了基准测试。通过对实验结果的深入研究，我们证明了子空间学习可以有效地对草图-照片域间隙进行建模。此外，我们得出了一些关键的见解，以推动未来的研究。
2017-05-28 cs.CV
Towards Practicality of Sketch-Based Visual Understanding
University of Surrey（萨里大学）
草图已经被用来概念化和描绘史前时代的视觉对象。素描研究在过去十年中蓬勃发展，特别是随着触摸屏设备的普及。素描的大部分使用都是围绕着这样一个事实，即它可以用来描绘视觉概念，而不受年龄、种族、语言或人口统计的影响。草图的细粒度的交互性有利于草图应用于各种视觉理解任务，如图像检索，图像生成或编辑，分割，3D形状建模等。然而，草图是高度抽象和主观的个人感知的基础上。虽然大多数人认为草图为用户提供了细粒度的控制来描绘视觉对象，但许多人认为草图绘制是一个繁琐的过程，因为与其他查询/支持模式（如文本/标签）相比，草图绘制技能有限。此外，收集细粒度的草图-照片关联是商业化草图应用程序的一个重要瓶颈。因此，本论文的目的是使基于草图的视觉理解向更实用的方向发展。
2022-10-27 cs.CV
CLIP for All Things Zero-Shot Sketch-Based Image Retrieval, Fine-Grained or Not
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（讯飞-萨里人工智能联合研究中心）
在本文中，我们利用CLIP的zero-shot草图为基础的图像检索（ZH-SBIR）。我们很大程度上受到了基础模型的最新进展以及它们似乎提供的无与伦比的概括能力的启发，但这是第一次对其进行定制以使草图社区受益。我们提出了新的设计，如何最好地实现这种协同作用，为类别设置和细粒度设置（“所有”）。我们解决方案的核心是快速学习设置。首先，我们通过分解特定于草图的提示，我们已经有了一个类别级别的ESP-SBIR系统，它超过了所有现有技术，大幅度（24.8%）-这是研究CLIP和ESP-SBIR协同作用的一个很好的证明。然而，转移到细粒度的设置是棘手的，需要更深入地研究这种协同作用。为此，我们提出了两个具体的设计来解决问题的细粒度匹配性质：（i）额外的正则化损失，以确保草图和照片之间的相对分离在类别中是均匀的，这不是黄金标准的独立三重损失的情况，以及（ii）一个聪明的补丁洗牌技术，以帮助建立草图-照片对之间的实例级结构对应。有了这些设计，我们再次观察到显着的性能增益在该地区的26.9%，比以前的国家的最先进的。带回家的消息，如果有的话，是建议的CLIP和即时学习范式进行了很大的承诺，在解决其他草图相关的任务（不限于EST-SBIR），其中数据稀缺仍然是一个巨大的挑战。项目页面：www.example.com
2023-03-28 cs.CV
Cross-Modal Fusion Distillation for Fine-Grained Sketch-Based Image Retrieval
University of Exeter（埃克塞特大学）；University of Tübingen（图宾根大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Surrey（萨里大学）
基于草图的图像检索的表示学习主要是通过学习丢弃模态特定信息的嵌入来解决的。由于来自不同模态的实例通常可以提供描述底层概念的互补信息，因此我们提出了一个用于视觉Transformer（XModalViT）的交叉注意框架，该框架融合了模态特定的信息，而不是丢弃它们。我们的框架首先将来自单个照片和草图模态的成对数据点映射到融合表示，从而统一来自两种模态的信息。然后，我们通过对比和关系跨模态知识蒸馏将上述模态融合网络的输入空间解耦为各个模态的独立编码器。这样的编码器可以应用于下游任务，如跨模态检索。我们通过进行广泛的实验，并在三个基于细粒度草图的图像检索基准测试（Shoe-V2，Chair-V2和Sketchy）上实现最先进的结果，展示了学习到的表示的表达能力。可在www.example.com上获得实现。
2022-10-19 cs.CV cs.LG
More Photos are All You Need: Semi-Supervised Learning for Fine-Grained Sketch Based Image Retrieval
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（讯飞-萨里人工智能联合研究中心）
现有的基于细粒度草图的图像检索（FG-SBIR）模型所面临的一个根本挑战是数据稀缺-模型性能在很大程度上受到草图-照片对缺乏的影响。虽然照片的数量可以很容易地缩放，但每个相应的草图仍然需要单独制作。在本文中，我们的目标是减轻这样一个上限的草图数据，并研究是否未标记的照片单独（其中有很多）可以培养的性能增益。特别是，我们引入了一种新的半监督框架跨模态检索，可以额外利用大规模的未标记的照片，占数据稀缺。我们半监督设计的核心是一个顺序的照片到草图生成模型，旨在为未标记的照片生成成对的草图。重要的是，我们进一步引入了一个基于蒸馏损失的正则化器来提供对噪声训练样本的容忍度，并引入了一个基于蒸馏损失的正则化器来指导不忠实的生成。最后，我们将生成和检索视为两个共轭问题，每个模块都设计了一个联合学习过程，以相互受益。大量的实验表明，我们的半监督模型比最先进的监督替代方案以及可以利用未标记照片进行FG-SBIR的现有方法具有显着的性能提升。
2021-03-25 cs.CV
WAD-CMSN: Wasserstein Distance based Cross-Modal Semantic Network for Zero-Shot Sketch-Based Image Retrieval
South China University of Technology（华南理工大学）；Sun Yat-Sen University（中山大学）
基于Zero-shot草图的图像检索（ZSSBIR）作为计算机视觉的一个研究热点，近年来受到了广泛的关注。与基于草图的图像检索（SBIR）不同，ZSSBIR的主要目的是检索在训练期间可能不会出现的自由手绘草图的自然图像。以前的方法使用语义对齐的草图-图像对或利用内存昂贵的融合层将视觉信息投影到低维子空间，这忽略了高度抽象的草图和相关图像之间的显着异构跨域差异。这可能会导致训练阶段的表现不佳。为了解决这个问题，克服这个缺点，我们提出了一个基于Wasserstein距离的跨模态语义网络（WAD-CMSN）的ZSSBIR。具体来说，它首先通过Wasserstein距离以对抗训练的方式将每个分支（草图，图像）的视觉信息投影到一个公共的低维语义子空间。此外，身份匹配损失被用来选择有用的功能，这不仅可以捕获完整的语义知识，但也减轻了过度拟合现象所造成的WAD-CMSN模型。在具有挑战性的Sketchy（扩展）和TU-Berlin（扩展）数据集上的实验结果表明，所提出的WAD-CMSN模型优于几个竞争对手。
2022-02-11 cs.CV
Sketch and Text Synergy: Fusing Structural Contours and Descriptive Attributes for Fine-Grained Image Retrieval
Xidian University First Aircraft Design Institute（西安电子科技大学第一飞机设计院）
本文提出STBIR框架，通过融合草图的结构轮廓与文本的色彩纹理信息，提升细粒度图像检索性能，采用课程学习、特征空间优化和多阶段跨模态对齐机制，实验验证其优于现有方法。
2026-04-17 cs.AI cs.CV
Cross-Modal Attention Alignment Network with Auxiliary Text Description for zero-shot sketch-based image retrieval
School of Computer and Electronic Information, Nanjing Normal University（南京师范大学计算机与电子信息学院）
本文提出利用大语言模型为图像生成辅助文本描述，并通过跨模态注意力对齐网络实现零样本草图图像检索，在三个基准数据集上取得优于现有方法的性能。
2024-07-01 cs.CV
Modality-Aware Triplet Hard Mining for Zero-shot Sketch-Based Image Retrieval
Huazhong University of Science and Technology（华中科技大学）；Baidu Research（百度研究院）
本文从跨模态度量学习的角度研究了基于零镜头草图的图像检索（Zero-Shot Sketch-Based Image Retrieval，简称SBIR）问题。该任务具有两个特征：1）zero-shot设置需要具有良好的类内紧凑性和类间差异的度量空间以用于识别新类;以及2）草图查询和照片库处于不同的模态。度量学习的观点从两个方面使BS-SBIR受益。首先，它通过深度度量学习（DML）的最新良好实践促进了改进。通过结合DML中的两种基本学习方法，例如，通过分类训练和成对训练，我们建立了一个强有力的基线，用于EST-SBIR。没有花里胡哨，这个基线达到了有竞争力的检索精度。其次，它提供了一个见解，适当地抑制模态差距是至关重要的。为此，我们设计了一种新的方法命名为模态感知三元组硬挖掘（MATHM）。MATHM通过三种类型的成对学习来增强基线，例如，跨模态样本对、模态内样本对以及它们的组合。\We还设计了一种自适应加权方法，在训练过程中动态地平衡这三个分量。实验结果证实，MATHM带来了另一轮的显着改善的基础上强大的基线，并建立了新的国家的最先进的性能。例如，在TU-Berlin数据集上，我们实现了47.88+ 2.94%mAP@all和58.28+ 2.34%Prec@100。代码将在https://github.com/huangzongheng/MATHM上公开。
2021-12-16 cs.CV
A Theory-Inspired Framework for Few-Shot Cross-Modal Sketch Person Re-Identification
School of Informatics, Xiamen University（厦门大学信息学院）；School of Electronic Science and Engineering, Xiamen University（厦门大学电子科学与技术学院）；Institute of Artificial Intelligence, Xiamen University（厦门大学人工智能研究院）；Department of Artificial Intelligence, Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, School of Informatics, Key Laboratory of Digital Protection and Intelligent Processing of Intangible CulturalHeritage of Fujian and Taiwan, Ministry of Culture and Tourism, Xiamen University（人工智能系，教育部多媒体可信感知与高效计算重点实验室，厦门大学信息学院，福建省和台湾非物质文化遗产数字化保护与智能处理重点实验室，文化和旅游部，厦门大学）
本文提出KTCAA框架，通过理论指导的对齐增强和知识转移催化剂，解决少样本跨模态素描人重识别中的模态差距和数据稀缺问题。
2025-11-24 cs.CV
StyleMeUp: Towards Style-Agnostic Sketch-Based Image Retrieval
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（科大讯飞-萨里大学人工智能联合研究中心）
基于草图的图像检索（SBIR）是一个跨模态匹配问题，通常通过学习一个联合嵌入空间来解决，其中保留了照片和草图模态之间共享的语义内容。然而，SBIR中的一个基本挑战到目前为止在很大程度上被忽视了，即草图是由人类绘制的，并且在不同的用户之间存在相当大的风格差异。一个有效的SBIR模型需要明确地考虑这种风格的多样性，至关重要的是，要推广到看不见的用户风格。为此，提出了一种新的风格无关SBIR模型。与现有的模型不同，一个跨模态的变分自编码器（VAE）被用来明确地将每个草图分解为与相应的照片共享的语义内容部分和唯一的风格部分。重要的是，为了使我们的模型动态地适应任何看不见的用户风格，我们建议通过添加两个风格自适应组件来元训练我们的跨模态VAE：一组特征转换层到其编码器和一个正则化器到解开的语义内容潜在代码。有了这个元学习框架，我们的模型不仅可以解开SBIR的跨模态共享语义内容，而且可以适应任何看不见的用户风格，使SBIR模型真正的风格无关。大量的实验表明，我们的风格不可知模型产生的最先进的性能类别级和实例级SBIR。
2021-03-31 cs.CV
Ontology-aware Network for Zero-shot Sketch-based Image Retrieval
China University of Mining and Technology（中国矿业大学）
基于Zero-Shot草图的图像检索（ZSSBIR）是一个新兴的课题。开创性的工作集中在模态差距，但忽略了类间信息。虽然最近的工作已经开始考虑基于三重态或基于对比度的损失来挖掘类间信息，但需要仔细选择正样本和负样本，否则模型容易丢失模态特定信息。为了解决这些问题，提出了一种本体感知网络（OAN）。具体地说，提出了平滑的类间独立学习机制来保持类间特性。同时，基于蒸馏的一致性保持被用来保持特定的模态信息。大量的实验已经证明了我们的算法在两个具有挑战性的Sketchy和Tu-Berlin数据集上的优越性能。
2023-02-20 cs.CV
Adaptive Fine-Grained Sketch-Based Image Retrieval
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（讯飞-萨里人工智能联合研究中心）
最近的焦点细粒度草图为基础的图像检索（FG-SBIR）已经转向推广一个模型到新的类别，没有任何训练数据。然而，在现实世界的应用中，经训练的FG-SBIR模型通常被应用于新类别和不同的人类草图绘制者，即，不同的绘画风格。虽然这使泛化问题变得复杂，但幸运的是，通常有一些示例可用，使模型能够适应新的类别/风格。在本文中，我们提供了一个新的视角-而不是要求一个模型，概括，我们主张一个快速适应，只有很少的样本在测试过程中（在一个Few-Shot的方式）。为了解决这个新问题，我们引入了一个新的基于模型不可知元学习（MAML）的框架，并进行了几个关键修改：（1）作为一个基于边缘的对比损失的检索任务，我们简化了内部循环中的MAML训练，使其更加稳定和易于处理。(2)我们的对比损失的边际也是通过模型的其余部分元学习的。(3)在外循环中引入了三个额外的正则化损失，以使元学习的FG-SBIR模型对于类别/风格适应更有效。在公共数据集上进行的大量实验表明，与基于泛化和zero-shot的方法相比，有很大的增益，并且有一些强的Few-Shot基线。
2022-08-19 cs.CV
Elevating All Zero-Shot Sketch-Based Image Retrieval Through Multimodal Prompt Learning
Indian Institute of Technology Bombay（印度孟买理工学院）；INRIA（法国国家信息与自动化研究所）
本文提出SpLIP多模态提示学习方案，通过双向提示共享策略和条件跨模态拼图任务，利用冻结的CLIP骨干网络显著提升了零样本、广义零样本及细粒度零样本SBIR的性能。
2024-07-23 cs.CV
Domain-Smoothing Network for Zero-Shot Sketch-Based Image Retrieval
Xidian University（西安电子科技大学）
基于零镜头草图的图像检索（Zero-ShotSketch-Based Image Retrieval，ZE-SBIR）是一种新颖的跨模态检索任务，在zero-shot场景下，以抽象草图为查询对象对自然图像进行检索。现有的方法大多将草图-SBIR作为传统的分类问题，采用交叉熵或基于三元组的损失来实现检索，忽略了草图与自然图像之间的领域鸿沟以及草图类内差异较大的问题。为此，我们提出了一种新的域平滑网络（DSN）的EST-SBIR。具体而言，提出了一种跨模态对比方法来学习广义表示，通过挖掘具有额外增强样本的关系来平滑域间隙。此外，一个类别特定的存储体与草图功能的探索，以减少类内的多样性在草图域。大量的实验表明，我们的方法在Sketchy和TU-Berlin数据集上的性能明显优于最先进的方法。我们的源代码可在https://github.com/haowang1992/DSN上公开获取。
2021-06-22 cs.CV
Data-Free Sketch-Based Image Retrieval
University of Exeter（埃克塞特大学）；University of Surrey（萨里大学）
对深度学习模型的隐私和匿名保护的日益关注促进了无数据学习（DFL）的研究。我们第一次发现，对于像基于草图的图像检索（SBIR）这样的数据稀缺任务，在获取配对照片和手绘草图的困难限制了数据依赖的跨模态学习算法，DFL可以证明是一个更实用的范例。因此，我们提出了无数据（DF）-SBIR，其中，与现有的DFL问题不同，预先训练的单模态分类模型必须利用学习跨模态度量空间进行检索，而无需访问任何训练数据。预训练分类模型的广泛可用性，以及为SBIR获取配对照片草图数据集的困难证明了这种设置的实用性。我们提出了一种DF-SBIR的方法，它可以利用独立训练的模型的知识来对照片和草图进行分类。我们在Sketchy，TU-Berlin和QuickDraw基准上评估了我们的模型，根据最先进的DFL文献设计了各种基线，并观察到我们的方法远远超过了所有这些基准。我们的方法还实现了与依赖数据的方法竞争的mAP，同时不需要训练数据。可在\url{https://github.com/abhrac/data-free-sbir}上获得实施。
2023-03-14 cs.CV
Exploiting Unlabelled Photos for Stronger Fine-Grained SBIR
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（讯飞-萨里人工智能联合研究中心）
本文提出了一个强大的基线，超过了约11%的现有技术水平的细粒度草图为基础的图像检索（FG-SBIR）的文献。这并不是通过复杂的设计，而是通过解决社区面临的两个关键问题：（i）黄金标准三重态损失并不强制执行整体潜在空间几何形状，以及（ii）从来没有足够的草图来训练高精度模型。对于前者，我们提出了一个简单的修改标准的三重损失，明确地强制分离照片/草图实例。对于后者，我们提出了一种新的知识蒸馏模块，可以利用照片数据进行模型训练。然后，这两个模块都被插入到一个新的即插即用的训练模式中，可以进行更稳定的训练。更具体地说，对于（i），我们在草图中采用模态内三元组损失，以使同一实例的草图与其他草图更接近，并且在照片中再采用一个模态内三元组损失，以推开不同的照片实例，同时使同一照片的结构增强版本更接近（提供约4-6%的增益）。为了解决（ii），我们首先在前面提到的模态内照片三联体丢失上对大量未标记照片进行预训练。然后，我们通过匹配两个嵌入空间中各个样本的特征间距离的分布，提取教师嵌入空间中的实例与学生嵌入空间中的实例之间的上下文相似性（进一步获得约4-5%的增益）。除了优于现有技术显着，我们的模型也产生了令人满意的结果推广到新的类。项目页面：https://aneeshan95.github.io/Sketch_PVT/
2023-03-24 cs.CV
Relation-Aware Meta-Learning for Zero-shot Sketch-Based Image Retrieval
Xidian University（西安电子科技大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）；Tsinghua University（清华大学）
针对ZS-SBIR的跨模态差异与未见类别泛化难题，提出关系感知四元组损失及RAMLN自适应间隔元学习框架，在Sketchy和TU-Berlin上显著超越现有方法。
2024-11-28 cs.AI cs.CV
Zero-Shot Everything Sketch-Based Image Retrieval, and in Explainable Style
Samsung AI Centre（三星人工智能中心）；University of Edinburgh（爱丁堡大学）；University of Surrey（萨里大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文研究了基于零短草图的图像检索（ZERO-SBIR）的问题，但是与现有技术有两个显著的区别：（i）我们只用一个网络（“一切”）来处理ZERO-SBIR的所有变体（类别间，类别内和交叉数据集），以及（ii）我们真的很想了解这种草图-照片匹配是如何操作的（“可解释的”）。我们的关键创新在于认识到，这样的跨模态匹配问题可以减少到关键的本地补丁组的比较-类似于经验丰富的“词袋”的范例。通过这种变化，我们能够实现上述两个目标，并且不再需要外部语义知识。从技术上讲，我们的是一个基于transformer的跨模态网络，有三个新的组件：（i）一个自我注意模块，带有一个可学习的标记器，用于产生与信息量最大的局部区域相对应的视觉标记，（ii）一个交叉注意模块，用于计算两种模态之间的视觉标记之间的局部对应关系，以及最后（iii）基于核的关系网络，用于组装局部推定匹配并产生草图-照片对的总体相似性度量。实验表明，我们的确实提供了优越的性能在所有的SB-SBIR设置。所有重要的可解释的目标是通过可视化跨模态标记对应来优雅地实现的，并且第一次通过草图到照片合成，通过通用替换所有匹配的照片补丁。代码和型号可在\url{https://github.com/buptLinfy/ZSE-SBIR}上获得。
2023-03-25 cs.CV
Stacked Semantic-Guided Network for Zero-Shot Sketch-Based Image Retrieval
基于零镜头草图的图像检索（Zero-Shot Sketch-based Image Retrieval，简称ZSBIR）是在zero-shot场景下，从自然图像库中进行跨域的手绘草图图像检索的任务。以往的工作主要集中在一个生成的方法，采取高度抽象和稀疏的草图作为输入，然后合成相应的自然图像。然而，固有的视觉稀疏性和大的类内方差的草图，使学习的条件解码器更困难，从而实现不理想的检索性能。在本文中，我们提出了一种新的堆叠语义引导网络，以解决独特的特点，草图在EST-SBIR。具体来说，我们设计了多层特征融合网络，将不同的中间特征表示信息在一个深神经网络，以减轻内在的稀疏性的草图。为了提高视觉知识从可见到不可见的类的转移，我们阐述了一个粗到细的条件解码器，首先生成粗粒度的特定于类别的对应特征（以辅助语义信息作为条件输入），然后生成细粒度的特定于实例的对应特征（以草图表示作为条件输入）。此外，回归损失和分类损失分别用于保持合成特征的语义和区分信息。在大规模Sketchy数据集和TU-Berlin数据集上的实验表明，该方法的检索性能比现有方法提高了20%以上.
2019-10-18 cs.CV
Symmetrical Bidirectional Knowledge Alignment for Zero-Shot Sketch-Based Image Retrieval
Xidian University（西安电子科技大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
针对零样本草图图像检索中跨模态差异大、现有方法泛化性不足的问题，提出对称双向知识对齐框架与一对多聚类跨模态匹配方法，在多个基准数据集上取得优于现有最优方法的性能。
2023-12-16 cs.CV
Zero-Shot Sketch-Image Hashing
University of East Anglia（东安格利亚大学）；Inception Institute of Artificial Intelligence (IIAI)（人工智能初创研究院）；University of Electronic Science and Technology of China（电子科技大学）
最近的研究表明，跨模态二值表示学习方法可以有效地解决大规模草图图像检索问题，其中汉明距离匹配显著加快了相似性搜索的过程。提供训练和测试数据受到一组固定的预定义的类别，尖端SBIR和跨模态哈希作品获得可接受的检索性能。然而，大多数现有的方法失败时，查询草图的类别在训练过程中从未见过。在本文中，上述问题被简要介绍为一个新的，但现实的zero-shot SBIR哈希任务。我们阐述了这个特殊的任务的挑战，并相应地提出了一个zero-shot草图图像哈希（ZSIH）模型。构建了端到端的三网结构，其中两个网络作为二进制编码器。第三个网络分别利用Kronecker融合层和图卷积来减轻草图图像的异构性并增强数据之间的语义关系。作为ZSIH的一个重要组成部分，我们制定了一个产生式哈希方案重建语义知识表示的zero-shot检索。据我们所知，ZSIH是第一个适用于SBIR和交叉模式搜索的zero-shot哈希工作。在两个扩展数据集上进行了综合实验，草图和TU柏林与一个新的zero-shot列车测试分裂。所提出的模型显着优于相关工作。
2018-03-06 cs.CV
A Zero-Shot Framework for Sketch-based Image Retrieval
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
基于草图的图像检索（SBIR）是从自然图像数据库中检索与给定手绘草图相对应的图像的任务。理想情况下，SBIR模型应该学会在草图中关联组件（例如，脚，尾巴等）。其中图像中的相应分量具有相似的形状特征。然而，目前的评价方法只是简单地集中在粗粒度的评价，重点是检索图像属于同一类的草图，但不一定具有相同的形状特征，在草图。因此，现有的方法只是学会将草图与训练期间看到的类相关联，因此无法推广到看不见的类。在本文中，我们提出了一个新的基准zero-shot SBIR模型在训练过程中看不到的新类中进行评估。我们通过大量的实验表明，现有的SBIR模型，在一个有区别的设置训练只学习类特定的映射，并未能推广到建议的zero-shot设置。为了规避这一点，我们提出了一种生成方法的SBIR任务，提出了深条件生成模型，以草图作为输入，并填补缺失的信息随机。实验表明，这些生成模型的性能显着优于几个国家的最先进的方法在提出的zero-shot框架的粗粒度SBIR任务。
2018-07-31 cs.CV
Dual-Modal Prompting for Sketch-Based Image Retrieval
Northwestern Polytechnical University（西北工业大学）；Nanyang Technological University（南洋理工大学）
针对零样本细粒度基于草图的图像检索任务，提出双模态提示网络DP-CLIP，利用目标类别图像和文本标签构建自适应提示，在Sketchy数据集上Acc.@1提升7.3%。
2024-04-29 cs.CV
Dynamic Multi-level Weighted Alignment Network for Zero-shot Sketch-based Image Retrieval
School of Computer and Electronic Information（计算机与电子信息学院）；Nanjing Normal University（南京师范大学）；Nanjing（南京）；CHN（中国）
本文提出动态多级加权对齐网络解决ZS-SBIR中模态样本不平衡和信息不一致问题，通过单模态特征提取、跨模态多级加权和加权四元组损失模块，在三个基准数据集上取得优于现有方法的性能。
2025-11-02 cs.CV
Progressive Domain-Independent Feature Decomposition Network for Zero-Shot Sketch-Based Image Retrieval
Xidian University（西安电子科技大学）
基于零镜头草图的图像检索（Zero-shot-based sketch-imageretrieval，简称ZS-SBIR）是一种在zero-shot场景下基于手绘草图的跨模态检索任务。大多数现有的方法解决了这个问题，同时投影视觉特征和语义监督到一个低维的公共空间进行有效的检索。然而，这种低维投影破坏了语义知识在原始语义空间中的完整性，从而在从不同模态学习语义时无法很好地传递有用的知识。此外，视觉特征中的领域信息和语义信息纠缠在一起，不利于缩小草图和图像之间的领域差距，不利于跨模态匹配。在本文中，我们提出了一个渐进的域独立的特征分解（PDFD）网络的EST-SBIR。具体地说，在原始语义知识的指导下，PDFD将视觉特征分解为领域特征和语义特征，然后将语义特征投影到公共空间作为检索特征。渐进式投射策略保持了较强的语义监督。此外，为了保证检索特征能够捕捉到干净完整的语义信息，引入了交叉重构损失，以鼓励检索特征和领域特征的任意组合能够重构视觉特征。大量的实验证明了我们的PDFD优于国家的最先进的竞争对手。
2022-05-06 cs.CV
Zero-shot sketch-based remote sensing image retrieval based on multi-level and attention-guided tokenization
Anhui Province Key Laboratory of Wetland Ecosystem Protection and Restoration, Anhui University（安徽大学安徽省湿地生态保护与修复重点实验室）；School of Resources and Environmental Engineering, Anhui University（安徽大学资源与环境工程学院）；Shanghai Ubiquitous Navigation Technology Co. Ltd（上海普适导航科技股份有限公司）；The 54th Research Institute of China Electronics Technology Group Corporation（中国电子科技集团公司第五十四研究所）
针对现有草图遥感图像检索中多层次特征挖掘不足的问题，提出融合多层次特征提取、注意力引导分词与跨模态注意力更新的零样本检索方法，性能显著优于现有技术，泛化性强且可通过预计算提升扩展性，代码与数据集已公开。
2024-05-16 cs.CV
CLIP-Driven Fine-grained Text-Image Person Re-identification
Nanjing University of Science and Technology（南京理工大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
TIReID的目标是从候选图像池中检索与给定文本查询对应的图像。现有的方法采用先验知识，从单模态预训练，以促进学习，但缺乏多模态对应。此外，由于模态之间的巨大差距，现有的方法将原始模态特征嵌入到同一个潜在空间中进行跨模态对齐。然而，特征嵌入可能导致模态内信息失真。近年来，CLIP由于其强大的语义概念学习能力和丰富的多模态知识，能够帮助我们解决上述问题，引起了研究者的广泛关注。因此，在本文中，我们提出了一个CLIP驱动的细粒度信息挖掘框架（CFine），以充分利用TIReID的CLIP强大的知识。为了有效地传递多模态知识，我们进行细粒度的信息挖掘，挖掘模态内的判别线索和模态间的对应关系。具体来说，我们首先设计了一个多粒度的全局特征学习模块，充分挖掘模态内的判别局部信息，它可以通过增强全局图像（文本）和信息丰富的局部块（单词）之间的相互作用来强调与身份相关的判别线索。其次，提出了跨粒度特征细化（CFR）和细粒度对应关系发现（FCD）模块，建立模态间的跨粒度和细粒度交互，过滤掉非模态共享的图像块/词，并从粗到细挖掘跨模态对应关系。CFR和FCD在推理过程中被删除，以节省计算成本。注意，上述过程在原始模态空间中执行，而没有进一步的特征嵌入。在多个基准上的大量实验证明了我们的方法在TIReID上的优越性能。
2022-10-19 cs.CV
Partially Does It: Towards Scene-Level FG-SBIR with Partial Input
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（讯飞-萨里人工智能联合研究中心）
我们审视了场景级素描研究中的一个重要观察结果--场景素描的很大一部分是“局部的”。一项快速的试点研究显示：（i）由于场景的主观整体解释，场景草图不一定包含对应照片中的所有对象，（ii）由于对象级抽象，存在显著的空（白色）区域，并且因此，（iii）现有的场景级细粒度的基于草图的图像检索方法随着场景草图变得更加局部而崩溃。为了解决这个“部分”的问题，我们主张一个简单的基于集合的方法，使用最优运输（OT）模型跨模态区域关联性的部分意识的方式。重要的是，我们改进了OT，通过比较模态内邻接矩阵来进一步解释整体偏性。我们提出的方法不仅对部分场景草图具有鲁棒性，而且在现有数据集上具有最先进的性能。
2022-03-28 cs.CV
Learning Deep Sketch Abstraction
SketchX, Queen Mary University of London（SketchX，伦敦玛丽女王大学）；The University of Edinburgh（爱丁堡大学）
手绘草图的识别、合成和基于草图的细粒度图像检索（FG-SBIR）等技术已经在不同的背景下得到了广泛的研究。草图分析的一个基本挑战是处理截然不同的人类绘画风格，特别是在抽象级别方面。在这项工作中，我们提出了第一个笔划级草图抽象模型的基础上的素描抽象的洞察力之间的可识别性和用于绘制它的笔划的数量进行权衡的过程。具体地说，我们训练模型抽象草图生成通过强化学习的笔划删除策略，学习预测哪些笔划可以安全地删除，而不影响可识别性。我们表明，我们的抽象模型可用于各种草图分析任务，包括：（1）建模笔划显着性和理解草图识别模型的决策，（2）合成给定类别的可变抽象的草图，或照片中的参考对象实例，以及（3）仅用照片训练FG-SBIR模型，绕过昂贵的照片-草图对收集步骤。
2018-04-13 cs.CV
Bridging Data Trials and Task Barriers: A Unified Framework for Sketch Biometric Identification
IEEE
本文提出了一种统一框架，用于解决草图生物识别中的跨模态和跨任务挑战，通过高效的合成草图生成和任务序列持续学习，提升模型的鲁棒性和泛化能力。
2026-05-17 cs.CV
VietFashion: Benchmarking Sketch-Text Composed Image Retrieval for Cultural Outfits
University of Science, Ho Chi Minh City, Vietnam（胡志明市理科大学）；Vietnam National University, Ho Chi Minh City, Vietnam（越南国家大学胡志明市分校）
提出VietFashion基准，针对越南传统服饰奥黛，结合手绘草图和文本描述进行多目标检索，揭示现有方法在细粒度文化语义和跨模态组合上的不足。
2026-06-12 cs.CV
CrossATNet - A Novel Cross-Attention Based Framework for Sketch-Based Image Retrieval
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Deutsches Zentrum für Luft- und Raumfahrt (DLR)（德国航空航天中心）
我们提出了一个新的框架，跨模态零样本学习（CSCL）的背景下，基于草图的图像检索（SBIR）。传统上，SBIR模式主要考虑两个图像视图之间的同时映射和语义边信息。因此，它是可取的考虑细粒度的类主要在草图域中使用高度歧视性和语义丰富的特征空间。然而，现有的基于深度生成建模的SBIR方法主要集中在通过生成伪未见过类样本来弥合可见类和未见过类之间的差距。此外，由于在训练过程中不利用任何不可见的类信息而违反了WML协议，因此这些技术没有明确关注对共享空间的区分性质进行建模。此外，我们注意到，考虑到草图和彩色图像之间的显著域差异，为多视图视觉数据学习统一的特征空间是一项繁琐的任务。在这方面，作为一种补救措施，我们介绍了一种新的框架zero-shot SBIR。虽然我们定义了一个跨模态的三重损失，以确保共享空间的歧视性，创新的跨模态注意力学习策略，也提出了指导特征提取从图像域利用信息从各自的草图对应。为了保持共享空间的语义一致性，我们考虑了一个基于图CNN的模块，该模块将语义类拓扑传播到共享空间。为了确保在推理过程中提高响应时间，我们进一步探讨了用散列码表示共享空间的可能性。在基准TU-Berlin和Sketchy数据集上获得的实验结果证实了CrossATNet在产生最先进结果方面的优越性。
2021-04-20 cs.CV cs.LG
FS-COCO: Towards Understanding of Freehand Sketches of Common Objects in Context
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（科大讯飞-萨里人工智能联合研究中心）；Surrey Institute for People Centred AI（萨里以人为本人工智能研究所）
我们使用第一个手绘场景草图数据集FS-COCO将草图研究推进到场景。考虑到实际应用，我们收集的草图可以很好地传达场景内容，但可以在几分钟内由具有任何素描技能的人绘制草图。我们的数据集包括10，000个手绘场景矢量草图，每个点的时空信息由100个非专家个人，提供对象和场景级抽象。每个草图都增加了文本描述。使用我们的数据集，我们第一次研究了从手绘场景草图和草图标题的细粒度图像检索的问题。我们从以下方面获得见解：（一）使用笔划时间顺序在草图中编码的场景显著性;（二）从场景草图和图像标题中检索图像的性能比较;（三）草图和图像标题中信息的互补性，以及结合这两种方式的潜在好处。此外，我们扩展了一个流行的矢量草图LSTM为基础的编码器，以处理更大的复杂性比以前的工作所支持的草图。也就是说，我们提出了一个分层的草图解码器，我们利用在一个草图特定的“预文本”任务。我们的数据集首次实现了对手绘场景草图理解及其实际应用的研究。
2022-07-21 cs.CV
Generalisation and Sharing in Triplet Convnets for Sketch based Visual Search
University of Surrey（萨里大学）；University of Sao Paulo（圣保罗大学）
我们提出并评估了几个三元组CNN架构，用于测量草图和照片之间的相似性，在基于草图的图像检索（SBIR）任务的背景下。与最近的细粒度SBIR工作相比，我们研究了我们的网络从有限的训练数据中概括不同对象类别的能力，并详细探索了权重共享，预处理，数据增强和降维的策略。当在250类TU-柏林分类数据集上训练时，我们超过了$18\%$的Flickr 15 k类别级SBIR基准和$\sim10 \mathcal{T}_b$的TU-柏林SBIR基准上现有技术的性能，该数据集使用从互联网上收集的25 k相应照片进行增强。
2016-11-16 cs.CV
SketchTriplet: Self-Supervised Scenarized Sketch-Text-Image Triplet Generation
Beijing University of Posts and Telecommunications（北京邮电大学）；Alibaba Group（阿里巴巴集团）
本文提出自监督场景草图生成方法，无需现有场景草图，将单对象草图转为场景草图，并构建大规模“文本-草图-图像”三元组数据集，提升下游任务性能。
2024-05-29 cs.CV
Deep Reinforced Attention Regression for Partial Sketch Based Image Retrieval
Rochester Institute of Technology（罗切斯特理工学院）
基于细粒度草图的图像检索（FG-SBIR）旨在从给定查询草图的大型图库中找到特定的图像。尽管FG-SBIR在许多关键领域（例如，犯罪活动跟踪），但是现有的方法仍然具有低准确性，同时对诸如草图中不必要的笔划之类的外部噪声敏感。检索性能将进一步恶化下一个更实际的飞行设置，其中只有一个部分完整的草图，只有几个（嘈杂的）中风可用于检索相应的图像。我们提出了一个新的框架，利用一个独特设计的深度强化学习模型，执行双层探索，以处理部分草图训练和注意区域选择。通过将模型的注意力集中在草图的重要区域，该模型对不必要的笔画噪声保持了鲁棒性，并大幅度提高了检索精度。为了充分探索部分草图并定位要参与的重要区域，该模型执行用于全局探索的自举策略梯度，同时调整用于局部探索的管理定位器网络的标准偏差项。训练过程由一个混合损失来指导，该混合损失集成了强化损失和监督损失。提出了一种动态的排序奖励机制，以适应基于局部草图的实时图像检索过程。在三个公开数据集上进行的大量实验表明，我们提出的方法在基于部分草图的图像检索上达到了最先进的性能。
2021-11-21 cs.CV cs.IR cs.LG
Unsupervised Sketch-to-Photo Synthesis
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）；Peking University（北京大学）；Beihang University（北京航空航天大学）
人类可以想象一张真实的照片，给出一张手绘草图，不仅空间上不精确，几何上扭曲，而且没有颜色和视觉细节。我们首次研究了无监督的草图到照片合成，从未配对的草图照片数据中学习，其中草图的目标照片在训练过程中是未知的。现有的作品只处理风格变化或空间变形，从边缘对齐的线条画合成照片或在同一模态中转换形状，例如，彩色图像。我们的关键见解是将无监督的草图到照片合成分解为两个阶段的转换任务：首先从草图到灰度照片的形状转换，然后从灰度到彩色照片的内容丰富。我们还结合了一个自我监督的去噪目标和一个注意力模块来处理抽象和风格变化，这些变化是草图固有的和特定的。我们的合成是草图忠实和照片逼真，使草图为基础的图像检索在实践中。一个令人兴奋的必然产品是一个通用的和有前途的草图生成器，捕捉人类的视觉感知超越边缘地图的照片。
2020-03-23 cs.CV
Fine-Grained Scene Image Classification with Modality-Agnostic Adapter
School of Computer Science, Fudan University（复旦大学计算机科学学院）；Innovation Center of Calligraphy and Painting Creation Technology, MCT（中国传媒书画创作技术创新中心）；Videt Technology（维德科技）
本文提出模态无关适配器MAA，通过消除模态分布差异并利用Transformer进行语义级融合，使模型自适应学习不同模态的重要性，在细粒度场景图像分类基准上取得最先进结果，且易于扩展新模态。
2024-07-03 cs.CV
Deep Factorised Inverse-Sketching
Queen Mary University of London（伦敦玛丽女王大学）；The University of Edinburgh（爱丁堡大学）
基于草图的图像检索（FG-SBIR）等实际应用的推动下，手绘草图建模已成为当前的热门话题。草图显然与照片的边缘图有关，但是一张照片的人类徒手草图不仅仅是该照片边缘图的干净渲染。相反，有一个基本的抽象和图标渲染过程，其中整体几何形状被扭曲，突出的细节被选择性地包括在内。在本文中，我们研究了这个素描过程，并试图将其反转。我们通过将标志性的手绘草图转换为更像物体边界的几何现实投影的轮廓，并分别分解出突出的附加细节，来模拟这种反转。这种因式分解的重新表示使得将手绘草图与对象的照片实例相匹配变得更加容易。具体来说，我们提出了一种新的无监督图像风格转移模型的基础上强制执行循环嵌入一致性约束。一个深FG-SBIR模型，然后制定，以适应互补的歧视性细节，从每个分解草图，更好地匹配相应的照片。我们的方法进行了定性和定量评估，以证明其优越性超过一些国家的最先进的替代品的风格转移和FG-SBIR。
2018-08-07 cs.CV
Multi-Modal Reasoning Graph for Scene-Text Based Fine-Grained Image Classification and Retrieval
Computer Vision Center, UAB（巴塞罗那自治大学计算机视觉中心）
在自然图像中发现的场景文本实例携带明确的语义信息，可以为解决各种计算机视觉问题提供重要线索。在本文中，我们专注于利用视觉和文本线索形式的多模态内容来处理细粒度图像分类和检索的任务。首先，我们通过文本阅读系统从图像中获取文本实例。然后，我们将文本特征与显著图像区域相结合，以利用这两个源所携带的互补信息。具体来说，我们采用了一个图卷积网络进行多模态推理，并通过学习一个共同的语义空间之间的显着对象和文本中发现的图像，以获得关系增强功能。通过获得一组增强的视觉和文本特征，所提出的模型在两个不同的任务中，即在上下文和饮料瓶数据集中的细粒度分类和图像检索中，大大优于以前的最先进技术。
2020-09-21 cs.CV
Learning to Sketch with Shortcut Cycle Consistency
Queen Mary University of London（伦敦玛丽女王大学）；The University of Edinburgh（爱丁堡大学）
看就是画--徒手画自然地建立了人类和机器视觉之间的联系。在本文中，我们提出了一种新的方法，用于将对象照片转换为草图，模仿人类的素描过程。这是一项极具挑战性的任务，因为照片和草图领域有很大的不同。此外，即使在参考照片中描绘相同的对象实例时，人类草图也表现出各种程度的复杂性和抽象性。这意味着即使照片-草图对可用，它们也只能提供弱的监督信号来学习翻译模型。与解决D（E（photo））-> sketch问题的现有监督方法相比，其中E（$\cdot$）和D（$\cdot$）分别表示编码器和解码器，我们利用逆问题（例如，D（E（sketch））-> photo），并与域内重建的无监督学习任务相结合，所有这些都在一个多任务学习框架内。与现有的基于周期一致性的无监督方法（即，D（E（D（E（photo）-> photo），我们引入在编码器瓶颈处强制执行的快捷一致性（例如，D（E（photo））-> photo）来利用额外的自我监督。定性和定量的结果表明，该模型优于一些国家的最先进的替代品。我们还表明，合成草图可以用来训练一个更好的细粒度的基于草图的图像检索（FG-SBIR）模型，有效地缓解了草图数据稀缺的问题。
2018-05-01 cs.CV
A Sketch Is Worth a Thousand Words: Image Retrieval with Text and Sketch
Georgia Institute of Technology（佐治亚理工学院）；Phranakhon Rajabhat University（帕纳空皇家大学）；Google Research（谷歌研究院）
我们解决的问题，检索图像与草图和文本查询。我们提出了任务前（文本和SKetch Transformer），一个端到端的可训练的图像检索模型，使用文本描述和草图作为输入。我们认为，这两种输入方式相辅相成的方式，不能单独实现。TASK-former遵循后期融合双编码器方法，类似于CLIP，它允许高效和可扩展的检索，因为检索集可以独立于查询进行索引。我们的经验表明，使用输入草图（即使是一个很差的绘制），除了文本大大增加检索召回相比，传统的基于文本的图像检索。为了评估我们的方法，我们在COCO数据集的测试集中收集了5,000张手绘草图。收集的草图可在https://janesjanes.github.io/tsbir/上找到。
2022-08-05 cs.CV cs.LG
Distribution Aligned Feature Clustering for Zero-Shot Sketch-Based Image Retrieval
University of Science and Technology Beijing（北京科技大学）
基于零镜头草图的图像检索（Zero-Shot Sketch-Based Image Retrieval，简称ZSBIR）是一个具有挑战性的跨模态检索任务。在现有技术中，通过对查询草图与图库中的每个图像之间的距离进行排序来进行检索。然而，域间隙和zero-shot设置使得神经网络难以推广。本文从一个新的角度：利用图库图像特征来应对挑战。我们提出了一种先聚类后检索的方法，该方法对图库图像进行聚类，并使用聚类质心作为检索代理。此外，提出了一种分布对齐损失，使图像和草图特征具有共同的高斯分布，从而减小了域间隙。尽管它很简单，我们提出的方法在流行的数据集上比最先进的方法有很大的优势，例如，在Sketchy和TU-Berlin数据集上，mAP@all的相对改善高达31%和39%。
2023-01-17 cs.CV
Back To The Drawing Board: Rethinking Scene-Level Sketch-Based Image Retrieval
Faculty of Computer and Information Science University of Ljubljana（计算机与信息科学系卢布尔雅那大学）
针对场景级基于草图的图像检索，提出鲁棒训练目标，结合预训练、编码器与损失设计，在FS-COCO和SketchyCOCO上达到最先进性能，强调训练设计的关键作用。
2025-09-08 cs.CV
Blurring Modal Boundaries: A Unified Survey from Single- to Multi-Modal Person Re-ldentification
Wuhan University of Science and Technology（武汉科技大学）；Hubei Province Key Laboratory of Intelligent Information Processing and Real-time Industrial System（湖北省智能信息处理与实时工业系统重点实验室）；Wuhan University（武汉大学）；Anhui University（安徽大学）
综述行人重识别领域从单模态向多模态发展的转变，系统回顾关键跨模态任务，研究多模态融合ReID，提出基于Transformer的可见光-红外ReID基线框架，并概述未来研究方向。
2026-07-17 cs.CV
Semantic Adversarial Network for Zero-Shot Sketch-Based Image Retrieval
基于零镜头草图的图像检索（Zero-Shot-based Image Retrieval，简称ZSBIR）是一种在zero-shot场景下对手绘草图图像进行跨模态检索的方法。以往的工作主要集中在建立图像与草图之间的对应关系或将图像特征与草图特征进行合成。然而，这两种方法都忽略了草图的类内差异，从而导致检索性能不理想。在本文中，我们提出了一种新的端到端的语义对抗方法的EST-SBIR。具体来说，我们设计了一个语义对抗模块，以最大限度地提高学习的语义特征和类别级词向量之间的一致性。此外，为了保持每个训练类别中合成特征的可辨别性，生成模块采用了三重丢失。此外，所提出的模型在端到端的策略中进行训练，以利用适合于EST-SBIR的更好的语义特征。在两个大规模流行数据集上进行的大量实验表明，该方法在Sketchy数据集上的检索性能比现有方法高出12%以上，在TU-Berlin数据集上高出约3%.
2019-10-18 cs.CV
Cross-Paced Representation Learning with Partial Curricula for Sketch-based Image Retrieval
University of Trento（特伦托大学）；INRIA（法国国家信息与自动化研究所）；Columbia University（哥伦比亚大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
在本文中，我们解决的问题，学习强大的跨域表示草图为基础的图像检索（SBIR）。虽然大多数SBIR方法侧重于提取低级和中级描述符以进行直接特征匹配，但最近的工作已经表明了学习耦合特征表示来描述来自两个相关源的数据的好处。然而，跨域表示学习方法通常被转换为难以优化的非凸最小化问题，导致性能不令人满意。受自定进度学习的启发，一种旨在通过以有意义的顺序（即从容易到困难）利用样本来克服与局部最优值相关的收敛问题的学习方法，我们引入了跨进度部分课程学习（CPPCL）框架。相对于现有的自定进度学习方法，只考虑一个单一的模态，不能处理先验知识，CPPCL是专门设计来评估学习速度，通过联合处理来自双源的数据和特定模态的先验信息提供的形式部分课程。此外，由于学习的字典，我们表明，建议CPPCL嵌入强大的耦合表示SBIR。我们的方法进行了广泛的评估四个公开可用的数据集（即CUFS，Flickr15K，QueenMary SBIR和TU柏林扩展数据集），显示出优越的性能竞争SBIR方法。
2018-03-05 cs.CV
MCFNet: A Multimodal Collaborative Fusion Network for Fine-Grained Semantic Classification
School of Integrated Circuits, Jiangnan University, Wuxi 214122, China（集成电路学院，江南大学，无锡214122，中国）
提出MCFNet多模态协同融合网络，通过正则化集成融合模块与多模态决策分类模块，有效捕捉细粒度跨模态语义交互，显著提升高精度图像分类性能。
2025-05-29 cs.CV
A Survey on Heterogeneous Face Recognition: Sketch, Infra-red, 3D and Low-resolution
Beijing University of Posts and Telecommunications（北京邮电大学）；Queen Mary University of London（伦敦玛丽女王大学）
异构人脸识别（HFR）是指跨不同领域匹配人脸图像。由于其在执法方面的深远影响，它受到了研究界的极大兴趣。近年来，各种新的不变特征，跨模态匹配模型和异构数据集正在建立。这项调查提供了一个全面的审查既定的技术和最近的发展，高频电刀。此外，我们还详细介绍了通常用于评估的数据集和基准。最后，我们评估了该领域的现状，并讨论了未来研究的前景。
2014-10-10 cs.CV
Universal Perceptual Grouping
Beijing University of Posts and Telecommunications（北京邮电大学）；Queen Mary University of London（伦敦玛丽女王大学）；The University of Edinburgh（爱丁堡大学）
在这项工作中，我们的目标是开发一个通用的素描石斑鱼。也就是说，可以应用于任何域中的任何类别的草图以将构成笔划/段分组为语义上有意义的对象部分的分组器。实现这一目标的第一个障碍是缺乏具有分组注释的大规模数据集。为了克服这个问题，我们提供了迄今为止最大的草图感知分组（SPG）数据集，由均匀分布在25个对象类别中的20，000个独特草图组成。此外，我们提出了一种新的深度通用感知分组模型。该模型是在生成损失和判别损失的情况下学习的。生成损失提高了模型对不可见对象类别和数据集的泛化能力。区分损失包括局部分组损失和新的全局分组损失，以加强全局分组一致性。我们表明，该模型显着优于国家的最先进的分组。此外，我们表明，我们的分组是有用的一些草图分析任务，包括草图合成和细粒度的基于草图的图像检索（FG-SBIR）。
2018-08-07 cs.CV
