SketchYourSeg: Mask-Free Subjective Image Segmentation via Freehand Sketches
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（科大讯飞-萨里人工智能联合研究中心）
提出 SketchYourSeg 框架，以单张手绘草图跨图库查询主观分割目标，融合 SBIR 训练信号与 CLIP/DINOv2 掩码生成，实现无掩码、多粒度且高效精确的用户引导分割。
2025-03-17 cs.CV
QAHOI: Query-Based Anchors for Human-Object Interaction Detection
The University of Electro-Communications（电气通信大学）
作为目标检测任务下游的人-物交互（HOI）检测需要定位人和物体对并从图像中提取人和物体之间的语义关系。近年来，一步法因其高效性而成为一种新的发展趋势。然而，这些方法专注于检测可能的交互点或过滤人-对象对，忽略了不同对象在空间尺度上的位置和大小的变化。为了解决这个问题，我们提出了一种基于转换器的方法QAHOI（用于人与物体交互检测的基于查询的锚点），该方法利用多尺度架构从不同的空间尺度提取特征，并使用基于查询的锚点来预测所有元素HOI实例。我们进一步研究，一个强大的骨干显着提高QAHOI的准确性，和QAHOI与基于变压器的骨干表现优于最近的国家的最先进的方法，由大利润率的HICO-DET基准。源代码可从$\href{https://github.com/cjw2021/QAHOI}{\text{this https URL}}$获得。
2021-12-16 cs.CV
Where is my Wallet? Modeling Object Proposal Sets for Egocentric Visual Query Localization
Meta AI；KAUST（阿卜杜拉国王科技大学）
针对自我中心视觉查询定位中的隐式偏差，提出通过扩展标注、动态丢弃物体候选及基于Transformer的CocoFormer模块进行改进，在VQ2D和VQ3D任务及少样本检测中取得领先成绩。
2023-04-06 cs.CV
MonoVQD: Monocular 3D Object Detection with Variational Query Denoising and Self-Distillation
AITech Lab（AITech实验室）；Computer Science and Engineering Faculty（计算机科学与工程系）；Ho Chi Minh City University of Technology（胡志明市技术大学）；VNUHCM
MonoVQD通过掩码分离自注意力、变分查询去噪和自蒸馏三项创新，解决了DETR类架构在单目3D检测中的优化不稳定与梯度消失问题，在KITTI基准上取得领先性能，并展现出跨架构与多视图场景的强泛化能力。
2025-06-14 cs.CV
Bridging the Gap Between Object Detection and User Intent via Query-Modulation
Google Research（谷歌研究院）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
当通过相机或图片与对象交互时，用户通常有特定的意图。例如，他们可能想要执行视觉搜索。由于大多数目标检测模型依赖于图像像素作为其唯一输入，因此不期望的结果并不罕见。最典型的情况是：缺乏对感兴趣对象的高置信度检测，或者检测到错误的类别标签。当在设备上操作容量受限的移动对象检测器时，该问题尤其严重。在本文中，我们研究的技术，调制移动检测器，明确考虑到用户的意图，表示为一个简单的查询嵌入。与标准检测器相比，查询调制检测器在检测给定用户查询的对象方面表现出优越的性能。得益于从标准目标检测注释合成的大规模训练数据，查询调制检测器的性能也优于专门的指称表达识别系统。查询调制检测器也可以被训练为同时解决定位用户查询和标准检测，甚至在规范COCO任务中优于标准移动检测器。
2022-08-03 cs.AI cs.CV cs.LG
Conditional DETR for Fast Training Convergence
University of Science and Technology of China（中国科学技术大学）；Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
针对 DETR 训练收敛慢的问题，本文提出 conditional DETR，通过从解码器嵌入学习条件空间查询来增强多头交叉注意力、降低对内容嵌入的依赖，并显著加快多种主干网络下的收敛。
2023-09-29 cs.CV
Object as Query: Lifting any 2D Object Detector to 3D Detection
Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）；TuSimple（图森未来）
本研究提出MV2D框架，利用2D检测器生成带图像语义的动态目标查询，结合稀疏交叉注意力模块抑制噪声，可将任意2D检测器拓展至多视图3D检测，在nuScenes数据集上达到SOTA性能，为相关研究提供新基准。
2023-11-06 cs.CV
Sketch-QNet: A Quadruplet ConvNet for Color Sketch-based Image Retrieval
Impresee Inc.（Impresee公司）
基于三元组丢失的连体网络的架构在基于图像的相似性搜索问题上表现出出色的性能。这种方法试图区分积极（相关）和消极（不相关）的项目。然而，它经历了一个关键的弱点。给定一个查询，它不能区分弱相关的项目，例如，相同类型的项目，但不同的颜色或纹理的给定查询，这可能是一个严重的限制，许多现实世界的搜索应用。因此，在这项工作中，我们提出了一个基于四元组的架构，克服了上述弱点。此外，我们提出了这个四元组网络，我们称之为Sketch-QNet，处理基于彩色草图的图像检索（CSBIR）问题的一个实例，实现了新的国家的最先进的结果。
2021-04-22 cs.CV
SketchCleanNet -- A deep learning approach to the enhancement and correction of query sketches for a 3D CAD model retrieval system
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；Jadavpur University（贾达普大学）
搜索和检索仍然是计算机图形学、计算机视觉、工程设计等多个领域的主要研究课题。搜索引擎主要需要输入搜索查询和要搜索的项目数据库。在工程中，这是本文的主要内容，数据库由3D CAD模型，如垫圈，活塞，连杆等，从用户查询通常是在一个草图，试图捕捉3D模型的细节的形式。然而，草图有一些典型的缺陷，如间隙，过度绘制的部分（多笔划）等，因为检索结果是一样好的输入查询，草图需要清理和增强更好的检索结果。本文提出了一种深度学习方法来改进或清理查询草图。首先，分析不同类别的草图，以了解可能发生的许多可能的缺陷。然后，基于对这些缺陷的理解，创建清理或增强的查询草图的数据集。因此，执行深度神经网络的端到端训练，以便提供有缺陷草图和干净草图之间的映射。该网络将有缺陷的查询草图作为输入，并生成干净或增强的查询草图。定性和定量的比较，所提出的方法与其他国家的最先进的技术表明，所提出的方法是有效的。搜索引擎的结果报告使用有缺陷的和增强的查询草图，它表明，使用增强的查询草图从开发的方法产生改进的搜索结果。
2022-07-02 cs.AI cs.CV cs.LG
LogoNet: a fine-grained network for instance-level logo sketch retrieval
Nanjing Normal University（南京师范大学）
针对实例级标志草图检索的挑战，本文构建了首个包含2k实例和9k草图的数据集，并提出了基于混合注意力机制的三分支CNN架构LogoNet，有效提升了检索准确率。
2023-04-05 cs.CV
Context-aware Biaffine Localizing Network for Temporal Sentence Grounding
Huazhong University of Science and Technology（华中科技大学）；Zhejiang Gongshang University（浙江工商大学）；Microsoft AI（微软人工智能）；Dalian University of Technology（大连理工大学）；Huawei Cloud（华为云）
本文提出了时间句子接地（TSG）的问题，它的目的是确定一个特定的时间边界的一段未修剪的视频句子查询。以前的工作要么比较预定义的候选段与查询，并选择最好的一个排名，或直接回归的目标段的边界时间戳。在本文中，我们提出了一种新的本地化框架，得分的开始和结束索引的视频中的所有对同时与biaffine机制。特别是，我们提出了一个上下文感知的双仿射本地化网络（CBLN），它将本地和全球的背景到每个开始/结束位置的功能，基于双仿射的本地化。来自相邻帧的局部上下文有助于区分视觉上相似的外观，并且来自整个视频的全局上下文有助于推理时间关系。此外，我们还开发了一个多模态的自我注意模块，以提供细粒度的查询引导的视频表示这种biaffine策略。大量的实验表明，我们的CBLN显着优于国家的最先进的三个公共数据集（ActivityNet字幕，TACoS和Charades-STA），证明了所提出的本地化框架的有效性。
2021-03-22 cs.CV
SketchQL Demonstration: Zero-shot Video Moment Querying with Sketches
Georgia Institute of Technology（佐治亚理工学院）；Cisco（思科公司）
本文演示了视频数据库管理系统 SketchQL，它通过草图轨迹查询界面和预训练相似性模型实现零样本视频时刻检索。
2024-07-01 cs.CV cs.DB cs.LG
Asymmetric Feature Maps with Application to Sketch Based Retrieval
Czech Technical University in Prague（布拉格捷克理工大学）
我们提出了一个新的概念，非对称特征映射（AFM），它允许评估多个内核之间的查询和数据库条目，而不增加内存需求。为了证明AFM方法的优点，我们推导出一个短的矢量图像表示，由于不对称的特征映射，支持有效的规模和平移不变的基于草图的图像检索。与大多数基于短码的检索系统不同，该方法提供了检索图像中的查询定位。通过用一维投影的分数的三角多项式来近似二维平移搜索，提高了搜索的效率。投影是AFM的一个特例。与传统的三角多项式相比，实现了一个数量级的加速。基于图像的平均查询扩展提高了结果，大大超过了标准基准测试的最新水平。
2017-04-12 cs.CV
Learning Cross-Modal Deep Embeddings for Multi-Object Image Retrieval using Text and Sketch
Autonomous University of Barcelona（巴塞罗那自治大学）；Indian Statistical Institute（印度统计研究所）
在这项工作中，我们介绍了一个跨模态图像检索系统，允许文本和草图作为输入方式的查询。跨模态深度网络架构被制定为联合建模草图和文本输入模态以及图像输出模态，学习文本和图像之间以及草图和图像之间的共同嵌入。此外，注意力模型用于选择性地将注意力集中在图像的不同对象上，从而允许在查询中检索多个对象。实验表明，该方法在标准数据集上的单目标和多目标图像检索中均取得了较好的效果。
2018-04-28 cs.CV
LiveSketch: Query Perturbations for Guided Sketch-based Visual Search
University of Surrey（萨里大学）；Adobe Research（Adobe研究院）
LiveSketch是一种使用手绘查询搜索大型图像集的新算法。LiveSketch通过创建可视化建议来解决草图搜索的固有模糊性，这些建议在绘制查询时增加查询，使查询规范成为一个迭代而不是一次性的过程，有助于消除用户搜索意图的模糊性。我们的技术贡献是：三重convnet架构，其结合了基于RNN的变分自编码器以使用向量（基于笔划）查询来搜索图像;实时聚类以识别可能的搜索意图（以及因此，搜索嵌入内的目标）;以及使用来自这些目标的反向传播来扰动输入笔划序列，从而建议对查询的更改以引导搜索。我们使用67 M图像语料库显示了在准确性和任务时间方面的改进。
2019-04-14 cs.AI cs.CV cs.IR
Span-based Localizing Network for Natural Language Video Localization
Nanyang Technological University（南洋理工大学）；Institute of High Performance Computing, A*STAR（A*STAR高性能计算研究所）；Institute for Infocomm Research, A*STAR（A*STAR资讯通信研究所）
自然语言视频定位是在给定的视频和文本查询的情况下，从视频中找到与查询语义对应的匹配跨度。现有的解决方案将NLVL制定为排名任务并应用多模态匹配架构，或者制定为回归任务以直接回归目标视频跨度。在这项工作中，我们解决NLVL任务与跨度为基础的QA方法，将输入视频作为文本通道。我们提出了一个视频跨度本地化网络（VSLNet），在标准的跨度为基础的QA框架，以解决NLVL。拟议的VSLNet解决NLVL和跨度为基础的QA之间的差异，通过一个简单而有效的查询引导突出显示（QGH）的战略。QGH引导VSLNet在突出显示的区域内搜索匹配的视频范围。通过在三个基准数据集上的大量实验，我们表明，所提出的VSLNet优于最先进的方法;采用基于跨度的QA框架是解决NLVL的一个有前途的方向。
2020-06-14 cs.CL cs.CV
Localizing and Orienting Street Views Using Overhead Imagery
Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们的目标是确定地面查询图像的位置和方向匹配的参考数据库的开销（如卫星）图像。在这项任务中，我们收集了一个新的数据集，其中包含从美国11个城市采样的100万对街景和头顶图像。我们探索了几种用于跨域匹配的深度CNN架构-分类，混合，暹罗和三重网络。分类和混合架构是准确的，但速度很慢，因为它们只允许部分特征预计算。我们提出了一个新的损失函数，显着提高了暹罗和三重嵌入网络的准确性，同时保持其适用于大规模的检索任务，如图像地理定位。这个图像匹配任务是具有挑战性的，不仅是因为地面和头顶图像之间的巨大视点差异，而且因为街景的方向（即方位角）是未知的，使得对应更加困难。尽管如此，我们还是研究了几种匹配机制--训练旋转不变性，在查询时对可能的旋转进行采样，以及用我们的深度网络明确预测地面和头顶图像的相对旋转。事实证明，明确的方向监督也提高了位置预测的准确性。我们的最佳性能架构的准确度大约是常用的暹罗网络基线的2.5倍。
2017-03-22 cs.CV
Localizing Unseen Activities in Video via Image Query
Zhejiang University（浙江大学）；University of Electronic Science and Technology of China（电子科技大学）
未裁剪视频中的动作定位是视频理解领域的一个重要课题。然而，现有的动作定位方法仅限于一组预定义的动作，不能定位看不见的活动。因此，我们考虑一个新的任务，通过图像查询定位视频中看不见的活动，命名为基于图像的活动定位。该任务面临三个内在挑战：（1）如何消除图像查询中语义无关内容的影响;（2）如何处理不准确图像查询的模糊定位;（3）如何确定目标段的精确边界。然后，我们提出了一种新的自我注意力交互定位检索看不见的活动在一个端到端的方式。具体来说，我们首先设计了一个区域自注意方法与相对位置编码学习细粒度的图像区域表示。然后，我们使用一个本地的Transformer编码器来建立图像和视频内容的多步融合和推理。接下来，我们采用顺序敏感的定位器直接检索目标段。此外，我们通过重组ActivityNet数据集来构建新的数据集ActivityIBAL。大量的实验表明了该方法的有效性。
2019-06-28 cs.CV cs.IR
Towards Practicality of Sketch-Based Visual Understanding
University of Surrey（萨里大学）
草图已经被用来概念化和描绘史前时代的视觉对象。素描研究在过去十年中蓬勃发展，特别是随着触摸屏设备的普及。素描的大部分使用都是围绕着这样一个事实，即它可以用来描绘视觉概念，而不受年龄、种族、语言或人口统计的影响。草图的细粒度的交互性有利于草图应用于各种视觉理解任务，如图像检索，图像生成或编辑，分割，3D形状建模等。然而，草图是高度抽象和主观的个人感知的基础上。虽然大多数人认为草图为用户提供了细粒度的控制来描绘视觉对象，但许多人认为草图绘制是一个繁琐的过程，因为与其他查询/支持模式（如文本/标签）相比，草图绘制技能有限。此外，收集细粒度的草图-照片关联是商业化草图应用程序的一个重要瓶颈。因此，本论文的目的是使基于草图的视觉理解向更实用的方向发展。
2022-10-27 cs.CV
Sketch Less for More: On-the-Fly Fine-Grained Sketch Based Image Retrieval
University of Surrey（萨里大学）；University of Edinburgh（爱丁堡大学）
基于细粒度草图的图像检索（FG-SBIR）解决了给定用户查询草图的特定照片实例的检索问题。然而，它的广泛适用性受到绘制草图需要时间的事实的阻碍，并且大多数人都在努力绘制完整和忠实的草图。在本文中，我们重新制定了传统的FG-SBIR框架来应对这些挑战，最终目标是用尽可能少的笔划来检索目标照片。我们进一步提出了一个即时的设计，只要用户开始绘图就开始检索。为了实现这一点，我们设计了一个基于强化学习的跨模态检索框架，该框架直接优化了一个完整的草图绘制事件中地面实况照片的排名。此外，我们引入了一种新的奖励计划，规避了与不相关的草图笔划相关的问题，从而为我们提供了一个更一致的排名列表在检索过程中。我们在两个公开的细粒度草图检索数据集上实现了优于最先进方法和替代基线的早期检索效率。
2020-05-11 cs.CV
Distribution Aligned Feature Clustering for Zero-Shot Sketch-Based Image Retrieval
University of Science and Technology Beijing（北京科技大学）
基于零镜头草图的图像检索（Zero-Shot Sketch-Based Image Retrieval，简称ZSBIR）是一个具有挑战性的跨模态检索任务。在现有技术中，通过对查询草图与图库中的每个图像之间的距离进行排序来进行检索。然而，域间隙和zero-shot设置使得神经网络难以推广。本文从一个新的角度：利用图库图像特征来应对挑战。我们提出了一种先聚类后检索的方法，该方法对图库图像进行聚类，并使用聚类质心作为检索代理。此外，提出了一种分布对齐损失，使图像和草图特征具有共同的高斯分布，从而减小了域间隙。尽管它很简单，我们提出的方法在流行的数据集上比最先进的方法有很大的优势，例如，在Sketchy和TU-Berlin数据集上，mAP@all的相对改善高达31%和39%。
2023-01-17 cs.CV
Localizing the Common Action Among a Few Videos
Peking University（北京大学）；University of Amsterdam（阿姆斯特丹大学）
本文致力于本地化的时间范围内的行动，在一个长的未修剪的视频。现有的工作利用许多例子，他们的开始，他们的结束，和/或类的动作在训练时间，我们提出了Few-Shot共同的动作本地化。在一个长的未修剪的视频中，动作的开始和结束是基于一大堆包含相同动作的修剪视频示例来确定的，而不知道它们的公共类标签。为了解决这个问题，我们引入了一个新的3D卷积网络架构，能够将支持视频的表示与相关的查询视频片段对齐。该网络包括：（\textit{i}）相互增强模块，用于同时补充少数修剪的支持视频和未修剪的查询视频的表示;（\textit{ii}）渐进对齐模块，用于迭代地将支持视频融合到查询分支中;以及（\textit{iii}）成对匹配模块，用于加权不同支持视频的重要性。评估Few-Shot常见的动作本地化在未经修剪的视频包含一个或多个动作的实例证明了我们的建议的有效性和普遍适用性。
2020-08-25 cs.CV cs.LG eess.IV
Freeview Sketching: View-Aware Fine-Grained Sketch-Based Image Retrieval
University of Surrey（萨里大学）
针对FG-SBIR中草图与目标视角不一致的问题，提出视角感知框架，利用3D物体多视角投影与解耦的可定制跨模态特征，同时支持视角无关和视角特定检索。
2024-07-01 cs.CV
Multi-granularity Association Learning Framework for on-the-fly Fine-Grained Sketch-based Image Retrieval
Chongqing University of Posts and Telecommunications（重庆邮电大学）；University of California, Riverside（加利福尼亚大学河滨分校）
基于细粒度草图的图像检索（FG-SBIR）解决了在给定的查询草图中检索特定照片的问题。但是，它的广泛适用性受到限制，因为大多数人很难画出完整的草图，而且绘制过程往往需要时间。在这项研究中，我们的目标是用尽可能少的笔画数（不完整的草图）检索目标照片，命名为即时FG-SBIR（Bhunia et al. 2020），它在绘画开始时就开始检索每个笔画。我们认为，在每张照片的草图绘制片段中，这些不完整的草图之间存在着显著的相关性。为了更有效地学习照片和不完整草图之间共享的联合嵌入空间，我们提出了一个多粒度关联学习框架，进一步优化了所有不完整草图的嵌入空间。具体来说，基于草图的完整性，我们可以将一个完整的草图集分为几个阶段，每个阶段对应一个简单的线性映射层。此外，该框架引导当前草图的向量空间表示逼近后续草图的向量空间表示，实现了笔划较少草图的检索性能逼近笔划较多草图的检索性能。在实验中，我们提出了更现实的挑战，我们的方法在两个公开的细粒度草图检索数据集上实现了优于最先进的方法和替代基线的早期检索效率。
2022-01-13 cs.CV
Diagram Image Retrieval using Sketch-Based Deep Learning and Transfer Learning
University of New Mexico（新墨西哥大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
图图像的图像检索的复杂问题的解决方案尚未达到。深度学习方法在目标检测和应用于自然图像的图像分类领域继续表现出色。然而，这种方法应用于二进制图像的应用仍然有限，由于缺乏关键的功能，如纹理，颜色和强度信息。本文提出了一种基于深度学习的方法，通过利用现有的用于图像搜索的大型自然图像存储库和基于草图的方法（草图与图表不同，但它们确实具有某些特征;例如，两种图像类型都是灰度（二进制），由轮廓组成，并且缺乏纹理），对二进制专利图像进行基于图像的搜索。我们首先使用深度学习从自然图像中生成草图用于图像检索，然后在草图上训练第二个深度学习模型。然后，我们通过迁移学习使用我们的一小组手动标记的专利图表图像，以适应从自然图像草图到图表的图像搜索。我们的实验结果显示了深度学习与迁移学习在专利图像中检测近似相同副本和基于内容查询相似图像的有效性。
2020-04-22 cs.CV
Sketch-based Manga Retrieval using Manga109 Dataset
The University of Tokyo（东京大学）
日本漫画在全世界都很受欢迎。然而，目前的电子漫画档案提供非常有限的搜索支持，包括基于标题或作者的关键字搜索，或基于标签的分类。为了使漫画搜索体验更加直观、高效和愉快，我们提出了一个基于内容的漫画检索系统。首先，我们提出了一个漫画特定的图像描述框架。它包括有效的边缘标记，边缘方向直方图特征描述，和近似最近邻搜索使用产品量化。其次，我们提出了一个基于草图的界面作为一种自然的方式与漫画内容进行交互。该界面提供基于草图的查询、相关反馈和查询修饰。为了进行评估，我们建立了一个新的漫画图像数据集Manga 109，它由专业漫画艺术家绘制的109本漫画书组成，共21，142页。据我们所知，Manga 109是目前可用于研究的最大的漫画图像数据集。我们进行了比较研究，本地化评估，和一个大规模的定性研究。实验结果表明：（1）该方法的检索准确率高于已有方法;（2）该方法能够以合理的运行时间和准确率定位对象实例;（3）草图查询对于漫画搜索是有用的。
2015-10-15 cs.CV cs.IR cs.MM
Structure-Aware 3D VR Sketch to 3D Shape Retrieval
University of Surrey（萨里大学）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（讯飞-萨里人工智能联合研究中心）；Surrey Institute for People Centred AI（萨里以人为本人工智能研究所）
研究了基于草图的细粒度三维形状检索的实际任务。这项任务是特别感兴趣的2D草图被证明是有效的查询2D图像。然而，由于域间隙，它仍然很难实现强大的性能，在三维形状检索从二维草图。最近的工作证明了3D VR草图在这项任务上的优势。在我们的工作中，我们专注于3D VR草图中固有的不准确性所带来的挑战。我们观察到，检索结果与一个固定的保证金值，通常用于检索任务的三重损失，包含许多不相关的形状，往往只有一个或几个具有类似的结构的查询。为了缓解这个问题，我们第一次绘制自适应边缘值和形状相似性之间的连接。特别是，我们建议使用一个自适应的利润率值驱动的“拟合间隙”，这是结构保持变形下的两个形状的相似性的三重损失。我们还进行了用户研究，证实了这个拟合间隙确实是一个合适的标准来评估形状的结构相似性。此外，我们介绍了一个数据集的202 VR草图202 3D形状从内存中绘制，而不是从观察。代码和数据可在https://github.com/Rowl1ng/Structure-Aware-VR-Sketch-Shape-Retrieval上获得。
2022-09-19 cs.CV
Sketch-based Medical Image Retrieval
National Cancer Center Research Institute（国家癌症中心研究所）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；The University of Tokyo（东京大学）；RIKEN Information R&D and Strategy Headquarters（理化学研究所信息研发与战略总部）；National Cancer Center Hospital（国家癌症中心医院）
存储在医院中的医学图像的量比以往任何时候都增长得更快;然而，利用积累的医学图像已经受到限制。这是因为现有的基于内容的医学图像检索（CBMIR）系统通常需要示例图像来构建查询向量;然而，示例图像并不总是准备好的。此外，可能存在具有罕见特征的图像，这使得很难找到类似的示例图像，我们称之为孤立样本。在这里，我们介绍了一种新的草图为基础的医学图像检索（SBMIR）系统，使用户能够找到感兴趣的图像，而无需示例图像。其核心思想在于医学图像的特征分解，即医学图像的整个特征可以分解为正常和异常特征，并从正常和异常特征中重建。通过扩展这一思想，我们的SBMIR系统提供了一个易于使用的两步图形用户界面：用户首先选择一个模板图像，以指定一个正常的功能，然后绘制一个语义草图的模板图像上的疾病，以代表一个异常的功能。随后，它将这两种类型的输入，以构建一个查询向量，检索参考图像与最近的参考向量。使用两个数据集，10名具有不同临床背景的医疗保健专业人员参与了用户测试以进行评价。因此，我们的SBMIR系统使用户能够克服以前的挑战，包括基于细粒度图像特征的图像检索，没有示例图像的图像检索，以及孤立样本的图像检索。我们的SBMIR系统实现了灵活的医疗图像检索的需求，从而扩大了医疗图像数据库的效用。
2023-03-07 cs.CV
Sketch-based 3D Shape Retrieval using Convolutional Neural Networks
NICTA（澳大利亚国家信息与通信技术研究院）；ANU（澳大利亚国立大学）；University of Maryland at College Park（马里兰大学帕克分校）
从二维人体草图中检索三维模型在图形学、图像检索和计算机视觉等领域受到了广泛的关注。几乎总是在现有技术的方法中，为3D模型计算大量的“最佳视图”，希望查询草图使用预定义的特征与3D模型的这些2D投影之一匹配。我们认为，这两个阶段的方法（视图选择-匹配）是务实的，但也有问题，因为“最佳视图”是主观和模糊的，这使得匹配的输入模糊。匹配的这种不精确性质进一步使得手动选择特征具有挑战性。而不是依赖于难以捉摸的概念“最佳视图”和手工制作的功能，我们建议使用极简主义的方法来定义我们的意见，并学习草图和视图的功能。具体来说，我们大大减少了视图的数量，只有两个预定义的方向为整个数据集。然后，我们学习两个连体卷积神经网络（CNN），一个用于视图，一个用于草图。损失函数定义在域内以及跨域的相似性。我们在三个基准数据集上的实验表明，我们的方法明显优于最先进的方法，并且在所有传统指标上都优于它们。
2015-04-14 cs.CV
Fuse and Attend: Generalized Embedding Learning for Art and Sketches
Myntra（Myntra公司）
虽然深度嵌入学习方法在多个计算机视觉任务中取得了广泛的成功，但用于表示自然图像的最先进方法不一定在其他领域的图像上表现良好，例如绘画，卡通和素描。这是因为与自然图像相比，这些领域的数据分布发生了巨大的变化。像sketch这样的域通常包含稀疏的信息像素。然而，识别这些领域中的对象是至关重要的，因为多个相关应用程序利用这些数据，例如，草图到图像检索。因此，实现一个可以在多个领域表现良好的嵌入式学习模型不仅具有挑战性，而且在计算机视觉中发挥着关键作用。为此，在本文中，我们提出了一种新的嵌入式学习方法，其目标是在不同的领域进行推广。在训练过程中，给定来自某个领域的查询图像，我们采用门控融合和注意力来生成一个正面示例，该示例包含查询对象类别（来自多个领域）的语义的广泛概念。通过对比学习，我们提取查询和正的嵌入，以便学习跨域鲁棒的表示。与此同时，为了让模型能够区分来自不同语义类别（跨领域）的示例，我们还维护了一个负嵌入池（来自不同类别）。我们使用DomainBed框架展示了我们的方法在流行的PACS（照片，艺术绘画，卡通和素描）数据集上的强大功能。
2022-08-20 cs.AI cs.CV cs.LG
Open Vocabulary Semantic Scene Sketch Understanding
Surrey Institute for People-Centered AI（萨里以人为本人工智能研究所）；University of Surrey（萨里大学）；Stanford University（斯坦福大学）
本文提出基于CLIP视觉Transformer的开放词汇场景草图语义分割方法，通过两级层次网络、v-v自注意力及文本-视觉交叉注意力实现语义解耦，在FS-COCO上达到85.5%准确率，比零样本CLIP提高37个百分点。
2024-03-30 cs.CV
Compact and Effective Representations for Sketch-based Image Retrieval
DCC University of Chile（智利大学DCC）；Impresee Inc.（Impresee公司）
基于草图的图像检索（SBIR）在计算机视觉领域引起了越来越多的关注，并在实际应用中产生了很大的影响。例如，SBIR为电子商务搜索引擎带来了更多的好处，因为它允许用户通过绘制他们需要购买的内容来制定查询。然而，目前的方法显示出高精度的检索工作在高维空间，这会对内存消耗和时间处理等方面产生负面影响。虽然一些作者也提出了紧凑的表示，这些大大降低了低维的性能。因此，在这项工作中，我们提出了不同的评估方法，以产生紧凑的嵌入的背景下，基于草图的图像检索的结果。我们的主要兴趣是旨在保持原始空间的局部结构的策略。最近的无监督局部拓扑保持降维方法UMAP符合我们的要求，表现出出色的性能，甚至提高了SOTA方法所达到的精度。我们在两个不同的数据集中评估了六种方法。我们使用Flickr 15 K和电子商务数据集;后者是这项工作的另一个贡献。我们表明，UMAP允许我们有16个字节的特征向量，提高精度超过35%。
2021-04-20 cs.CV
Zero-Shot Sketch-Image Hashing
University of East Anglia（东安格利亚大学）；Inception Institute of Artificial Intelligence (IIAI)（人工智能初创研究院）；University of Electronic Science and Technology of China（电子科技大学）
最近的研究表明，跨模态二值表示学习方法可以有效地解决大规模草图图像检索问题，其中汉明距离匹配显著加快了相似性搜索的过程。提供训练和测试数据受到一组固定的预定义的类别，尖端SBIR和跨模态哈希作品获得可接受的检索性能。然而，大多数现有的方法失败时，查询草图的类别在训练过程中从未见过。在本文中，上述问题被简要介绍为一个新的，但现实的zero-shot SBIR哈希任务。我们阐述了这个特殊的任务的挑战，并相应地提出了一个zero-shot草图图像哈希（ZSIH）模型。构建了端到端的三网结构，其中两个网络作为二进制编码器。第三个网络分别利用Kronecker融合层和图卷积来减轻草图图像的异构性并增强数据之间的语义关系。作为ZSIH的一个重要组成部分，我们制定了一个产生式哈希方案重建语义知识表示的zero-shot检索。据我们所知，ZSIH是第一个适用于SBIR和交叉模式搜索的zero-shot哈希工作。在两个扩展数据集上进行了综合实验，草图和TU柏林与一个新的zero-shot列车测试分裂。所提出的模型显着优于相关工作。
2018-03-06 cs.CV
A Sketch Is Worth a Thousand Words: Image Retrieval with Text and Sketch
Georgia Institute of Technology（佐治亚理工学院）；Phranakhon Rajabhat University（帕纳空皇家大学）；Google Research（谷歌研究院）
我们解决的问题，检索图像与草图和文本查询。我们提出了任务前（文本和SKetch Transformer），一个端到端的可训练的图像检索模型，使用文本描述和草图作为输入。我们认为，这两种输入方式相辅相成的方式，不能单独实现。TASK-former遵循后期融合双编码器方法，类似于CLIP，它允许高效和可扩展的检索，因为检索集可以独立于查询进行索引。我们的经验表明，使用输入草图（即使是一个很差的绘制），除了文本大大增加检索召回相比，传统的基于文本的图像检索。为了评估我们的方法，我们在COCO数据集的测试集中收集了5,000张手绘草图。收集的草图可在https://janesjanes.github.io/tsbir/上找到。
2022-08-05 cs.CV cs.LG
Localizing Moments in Long Video Via Multimodal Guidance
Dartmouth（达特茅斯学院）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Northeastern University（东北大学）；Adobe Research（奥多比研究院）
本文提出一种多模态引导框架，通过修剪不可描述窗口提升长视频中自然语言定位性能，在MAD和Ego4D上分别超越最先进模型4.1%和4.52%。
2023-10-15 cs.AI cs.CV cs.LG
VietFashion: Benchmarking Sketch-Text Composed Image Retrieval for Cultural Outfits
University of Science, Ho Chi Minh City, Vietnam（胡志明市理科大学）；Vietnam National University, Ho Chi Minh City, Vietnam（越南国家大学胡志明市分校）
提出VietFashion基准，针对越南传统服饰奥黛，结合手绘草图和文本描述进行多目标检索，揭示现有方法在细粒度文化语义和跨模态组合上的不足。
2026-06-12 cs.CV
Cross-Modal Hierarchical Modelling for Fine-Grained Sketch Based Image Retrieval
University of Surrey（萨里大学）
草图作为图像搜索查询是捕获细粒度视觉细节的文本的理想替代。先前在基于细粒度草图的图像检索（FG-SBIR）上的成功已经证明了处理草图而不是照片的独特特征的重要性，例如，时间与静态、笔划与像素以及抽象与像素完美。在本文中，我们研究了迄今为止被忽视的草图的另一个特点，即它们在细节层次方面是分层的-一个人通常会绘制各种程度的细节来描绘一个对象。这种层次结构通常在视觉上是不同的。在本文中，我们设计了一种新的网络，能够培养草图特定的层次结构，并利用它们来匹配草图与相应层次的照片。特别是，从草图和照片的特征是丰富使用跨模态的共同注意，再加上层次节点融合在每一个层次，形成一个更好的嵌入空间进行检索。常见的基准测试实验表明，我们的方法优于国家的最先进的显着保证金。
2020-08-11 cs.CV cs.IR
Fine-Grained Instance-Level Sketch-Based Video Retrieval
Nanyang Technological University（南洋理工大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；University of Surrey（萨里大学）；University of Edinburgh（爱丁堡大学）
现有的草图分析工作研究描绘静态对象或场景的草图。在这项工作中，我们提出了一种新的跨模态检索问题的细粒度实例级基于草图的视频检索（FG-SBVR），其中草图序列被用作查询检索特定的目标视频实例。与基于草图的静态图像检索和粗粒度类别级视频检索相比，这更具挑战性，因为视觉外观和运动都需要同时在细粒度级别进行匹配。我们贡献了第一个具有丰富注释的FG-SBVR数据集。然后，我们引入了一种新的多流多模态深度网络，以在强监督和弱监督设置下执行FG-SBVR。该网络的关键组成部分是一个关系模块，旨在防止模型过拟合给定稀缺的训练数据。我们表明，该模型显着优于一些现有的国家的最先进的模型设计的视频分析。
2020-02-21 cs.CV cs.MM
Localizing Events in Videos with Multimodal Queries
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；TU Munich（慕尼黑工业大学）；University of Oxford（牛津大学）
针对现有视频事件定位仅依赖自然语言查询的局限，本文提出ICQ基准及ICQ-Highlight数据集，并设计多模态查询适应方法与伪多模态查询代理微调策略，系统评测12个模型，验证了多模态查询的实用价值。
2024-11-21 cs.AI cs.CV
Zero-shot sketch-based remote sensing image retrieval based on multi-level and attention-guided tokenization
Anhui Province Key Laboratory of Wetland Ecosystem Protection and Restoration, Anhui University（安徽大学安徽省湿地生态保护与修复重点实验室）；School of Resources and Environmental Engineering, Anhui University（安徽大学资源与环境工程学院）；Shanghai Ubiquitous Navigation Technology Co. Ltd（上海普适导航科技股份有限公司）；The 54th Research Institute of China Electronics Technology Group Corporation（中国电子科技集团公司第五十四研究所）
针对现有草图遥感图像检索中多层次特征挖掘不足的问题，提出融合多层次特征提取、注意力引导分词与跨模态注意力更新的零样本检索方法，性能显著优于现有技术，泛化性强且可通过预计算提升扩展性，代码与数据集已公开。
2024-05-16 cs.CV
Modality-Aware Triplet Hard Mining for Zero-shot Sketch-Based Image Retrieval
Huazhong University of Science and Technology（华中科技大学）；Baidu Research（百度研究院）
本文从跨模态度量学习的角度研究了基于零镜头草图的图像检索（Zero-Shot Sketch-Based Image Retrieval，简称SBIR）问题。该任务具有两个特征：1）zero-shot设置需要具有良好的类内紧凑性和类间差异的度量空间以用于识别新类;以及2）草图查询和照片库处于不同的模态。度量学习的观点从两个方面使BS-SBIR受益。首先，它通过深度度量学习（DML）的最新良好实践促进了改进。通过结合DML中的两种基本学习方法，例如，通过分类训练和成对训练，我们建立了一个强有力的基线，用于EST-SBIR。没有花里胡哨，这个基线达到了有竞争力的检索精度。其次，它提供了一个见解，适当地抑制模态差距是至关重要的。为此，我们设计了一种新的方法命名为模态感知三元组硬挖掘（MATHM）。MATHM通过三种类型的成对学习来增强基线，例如，跨模态样本对、模态内样本对以及它们的组合。\We还设计了一种自适应加权方法，在训练过程中动态地平衡这三个分量。实验结果证实，MATHM带来了另一轮的显着改善的基础上强大的基线，并建立了新的国家的最先进的性能。例如，在TU-Berlin数据集上，我们实现了47.88+ 2.94%mAP@all和58.28+ 2.34%Prec@100。代码将在https://github.com/huangzongheng/MATHM上公开。
2021-12-16 cs.CV
Adaptive Reconstruction Network for Weakly Supervised Referring Expression Grounding
Key Lab of Intell. Info. Process., Inst. of Comput. Tech., CAS（中国科学院计算技术研究所智能信息处理重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；University of Science and Technology of China（中国科学技术大学）；Peng Cheng Laboratory（鹏城实验室）
弱监督指称表达式接地的目的是根据语言查询定位图像中的指称对象，其中指称对象和查询之间的映射在训练阶段是未知的。为了解决这个问题，我们提出了一种新的端到端自适应重建网络（ARN）。该方法以自适应的方式建立图像区域建议和查询之间的对应关系：自适应接地和协作重建。具体来说，我们首先提取的主题，位置和上下文功能，分别代表的建议和查询。然后，我们设计了自适应接地模块，计算每个建议和查询之间的匹配得分的层次注意力模型。最后，基于注意力分数和建议特征，我们重建输入查询的语言重建损失，自适应重建损失，和属性分类损失的协作损失。这种自适应机制有助于我们的模型，以减轻不同的指称表达的差异。在四个大规模数据集上的实验表明，ARN的性能大大优于现有的最先进的方法。定性结果表明，建议的ARN可以更好地处理的情况下，一个特定类别的多个对象位于一起。
2019-08-28 cs.CV
DeepSSN: a deep convolutional neural network to assess spatial scene similarity
Beijing University of Chemical Technology（北京化工大学）；Chinese Academy of Sciences（中国科学院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of South Florida（南佛罗里达大学）
空间查询草图是一个直观的工具，探索人类的地理环境的空间知识，并支持场景数据库查询的通信。然而，传统的基于草图的空间搜索方法表现不够，由于他们无法找到隐藏的多尺度地图功能从心理草图。在这项研究中，我们提出了一种深度卷积神经网络，即深度空间场景网络（DeepSSN），以更好地评估空间场景相似性。在DeepSSN中，设计了三元组损失函数作为综合距离度量来支持相似性评估。在空间推理中使用定性约束网络的正例和反例挖掘策略，旨在确保在训练过程中不断增加三元组的区别。此外，我们开发了一个原型空间场景搜索系统使用建议的DeepSSN，其中用户通过草图输入空间查询和系统可以自动增加草图训练数据。该模型使用多源合并地图数据进行验证，其中包括数据增强后的131，300个标记场景样本。实证结果表明，DeepSSN使用平均倒数秩和精度指标优于基线方法，包括k-最近邻，多层感知器，AlexNet，DenseNet和ResNet。该研究通过引入一种针对空间场景查询的新型深度学习方法来推进地理信息检索研究。
2022-02-07 cs.AI cs.CV
FreestyleRet: Retrieving Images from Style-Diversified Queries
Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Peng Cheng Laboratory（鹏城实验室）；Tsinghua University（清华大学）
针对用户以文本、草图、低分辨率和艺术等多元风格表达检索意图的需求，本文提出新任务、Diverse-Style Retrieval 数据集及基于 Gram Matrix 与风格初始化提示调优的轻量框架。
2023-12-08 cs.CV cs.IR
Prompting Large Language Models to Reformulate Queries for Moment Localization
Fudan University（复旦大学）；Meituan（美团）
本文针对未裁剪视频时刻定位中查询难以被模型理解的问题，提出利用大型语言模型将原始查询重构为更友好的指令集。
2023-06-06 cs.CV
Iterative Shrinking for Referring Expression Grounding Using Deep Reinforcement Learning
Xi’an Jiaotong-Liverpool University（西交利物浦大学）；University of Liverpool（利物浦大学）
在本文中，我们正在解决无提案的指称表达式基础任务，旨在根据查询句子定位目标对象，而不依赖现成的对象提案。现有的无建议方法采用查询图像匹配分支来选择图像特征图中得分最高的点作为目标框中心，其宽度和高度由另一分支预测。然而，这些方法未能利用目标对象和参照对象之间的上下文关系，并且其推理过程缺乏可解释性。为了解决这些问题，本文提出了一种迭代收缩机制来定位目标，其中收缩方向由强化学习代理决定，并综合考虑当前图像块内的所有内容。此外，顺序收缩过程能够演示如何迭代地找到目标的推理。实验表明，该方法提高了4.32%的准确率比以前的国家的最先进的（SOTA）的方法在RefCOCOg数据集，查询语句长而复杂，与许多目标所引用的其他参考对象。
2021-03-09 cs.CV
Déjà Cue: Localizing States in Object Histories via Vocabulary-Relative Coordinates
该研究针对目标状态定位问题提出无需训练的 Déjà Cue 框架，通过词汇相对坐标系校准图像-文本相似度，在78个 VOST 序列上显著提升了 R@1 和 Top-1 tIoU 指标。
2026-08-04 cs.CV cs.LG cs.MM
PRVQL: Progressive Knowledge-guided Refinement for Robust Egocentric Visual Query Localization
University of North Texas（北卡罗来纳州立大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；U.S. Naval Research Laboratory（美国海军研究实验室）；Brookhaven National Laboratory（布鲁克海文国家实验室）
针对自我中心视觉查询定位中目标外观变化和背景杂乱问题，提出渐进式知识引导细化框架PRVQL，通过多阶段从视频中提取外观与空间知识来细化查询和视频特征，在Ego4D上取得最先进性能。
2025-06-30 cs.CV
SImProv: Scalable Image Provenance Framework for Robust Content Attribution
University of Surrey（萨里大学）；Adobe Research（奥多比研究院）
提出可扩展图像溯源框架SImProv，通过三阶段流程匹配查询图像并检测篡改，对常见变换鲁棒，在1亿图像数据集上验证有效。
2023-05-08 cs.CV
Text-based Localization of Moments in a Video Corpus
University of California（加利福尼亚大学）；SRI International（斯坦福国际研究院）
基于文本的视频矩定位的现有工作集中在时间上接地的未修剪的视频中的文本查询。这些作品假设相关视频是已知的，并试图将该时刻定位在该相关视频上。不同于这样的作品，我们放松了这一假设，并解决了本地化时刻在一个给定的句子查询的视频语料库的任务。该任务提出了独特的挑战，因为系统需要执行：（i）检索相关视频，其中仅视频的片段与所查询的句子相对应，以及（ii）基于句子查询对相关视频中的时刻进行时间定位。为了克服这一挑战，我们提出了分层矩对齐网络（HMAN），它可以学习一个有效的矩和句子的联合嵌入空间。除了学习视频内时刻之间的细微差异外，HMAN还专注于基于句子查询区分视频间全局语义概念。定性和定量结果三个基准基于文本的视频时刻检索数据集- Charades-STA，DiDeMo和ActivityNet字幕-表明，我们的方法实现了有前途的性能上提出的任务的时刻在一个语料库的视频时间定位。
2021-08-18 cs.CV
Deep Reinforced Attention Regression for Partial Sketch Based Image Retrieval
Rochester Institute of Technology（罗切斯特理工学院）
基于细粒度草图的图像检索（FG-SBIR）旨在从给定查询草图的大型图库中找到特定的图像。尽管FG-SBIR在许多关键领域（例如，犯罪活动跟踪），但是现有的方法仍然具有低准确性，同时对诸如草图中不必要的笔划之类的外部噪声敏感。检索性能将进一步恶化下一个更实际的飞行设置，其中只有一个部分完整的草图，只有几个（嘈杂的）中风可用于检索相应的图像。我们提出了一个新的框架，利用一个独特设计的深度强化学习模型，执行双层探索，以处理部分草图训练和注意区域选择。通过将模型的注意力集中在草图的重要区域，该模型对不必要的笔画噪声保持了鲁棒性，并大幅度提高了检索精度。为了充分探索部分草图并定位要参与的重要区域，该模型执行用于全局探索的自举策略梯度，同时调整用于局部探索的管理定位器网络的标准偏差项。训练过程由一个混合损失来指导，该混合损失集成了强化损失和监督损失。提出了一种动态的排序奖励机制，以适应基于局部草图的实时图像检索过程。在三个公开数据集上进行的大量实验表明，我们提出的方法在基于部分草图的图像检索上达到了最先进的性能。
2021-11-21 cs.CV cs.IR cs.LG
Efficient Point-to-Subspace Query in $\ell^1$: Theory and Applications in Computer Vision
Columbia University（哥伦比亚大学）
出于视觉任务，如鲁棒的人脸和物体识别，我们考虑以下一般问题：给定一个集合的低维线性子空间在高维环境（图像）空间和查询点（图像），有效地确定最近的子空间查询$\ell^1$距离。我们在理论上表明，柯西随机嵌入的对象到显着较低的维空间有助于保持身份的最近的子空间的恒定概率。这提供了有效地选择几个候选人进行准确搜索的可能性。我们勾勒出初步的实验，鲁棒的人脸和数字识别，以证实我们的理论。
2012-11-05 cs.CV stat.AP stat.ML
UNION: A Lightweight Target Representation for Efficient Zero-Shot Image-Guided Retrieval with Optional Textual Queries
UNION通过融合图像嵌入与空文本提示，实现高效零样本图像引导检索，仅需5,000训练样本即在多个基准测试中超越传统基线。
2025-11-27 cs.CV cs.IR
DQEN: Dual Query Enhancement Network for DETR-based HOI Detection
Faculty of Electrical Engineering and Computer Science, Ningbo University（电子工程与计算机科学学院，宁波大学）；Zhejiang Lab（浙江实验室）
针对DETR-based HOI检测中查询表示模糊的问题，提出双查询增强网络DQEN，通过物体感知特征和CLIP语义增强物体与交互查询，在HICO-Det和V-COCO上取得竞争性能。
2025-08-26 cs.CV
