EgoCVR: An Egocentric Benchmark for Fine-Grained Composed Video Retrieval
Tübingen AI Center, University of Tübingen（蒂宾根人工智能中心、蒂宾根大学）
针对现有组合视频检索框架在时序理解上的不足，提出了基于自我中心视角视频的细粒度评估基准 EgoCVR，包含 2,295 个查询，并采用免训练的通用重排序框架取得了强劲结果。
2024-07-23 cs.CV
Query-controllable Video Summarization
University of Amsterdam（阿姆斯特丹大学）
当视频集合变得庞大时，如何有效地在视频内和视频间进行探索是一个挑战。视频摘要是解决这个问题的方法之一。传统的摘要方法限制了视频探索的有效性，因为它们仅为给定的输入视频生成一个固定的视频摘要，与用户的信息需求无关。在这项工作中，我们介绍了一种方法，该方法将基于文本的查询作为输入，并生成与之对应的视频摘要。我们通过将视频摘要建模为监督学习问题来实现这一点，并提出了一种基于端到端深度学习的查询可控视频摘要方法，以生成查询相关的视频摘要。我们提出的方法包括一个视频摘要控制器，视频摘要生成器，和视频摘要输出模块。为了促进查询可控的视频摘要的研究和进行我们的实验，我们引入了一个数据集，其中包含基于帧的相关性分数标签。实验结果表明，基于文本的查询有助于控制视频摘要。它还表明基于文本的查询提高了我们的模型的性能。我们的代码和数据集：https://github.com/Jhhuangkay/Query-controllable-Video-Summarization。
2020-04-07 cs.CL cs.CV cs.IR
ViSeRet: A simple yet effective approach to moment retrieval via fine-grained video segmentation
Twelve Labs；KAIST（韩国科学技术院）
视频文本检索有许多现实世界的应用，如媒体分析，监控和机器人。本文介绍了ICCV Value Challenge 2021视频检索赛道的第一名解决方案。我们提出了一个简单而有效的方法来联合处理两个视频文本检索任务（视频检索和视频语料库矩检索），利用模型只训练视频检索任务。此外，我们还创建了一个集成模型，在Value Challenge中提出的所有四个数据集（TVr，How2r，YouCook2r和VATEXr）上实现了最先进的性能。
2021-10-12 cs.AI cs.CL cs.CV
VQPP: Video Query Performance Prediction Benchmark
University of Bucharest / Bitdefender（布加勒斯大学/Bitdefender）；University of Bucharest（布加勒斯大学）
本文提出VQPP基准，用于视频查询性能预测，包含两个数据集和两个系统，探索预检索和后检索预测器，并展示其在训练大型语言模型上的应用。
2026-02-19 cs.CV cs.IR cs.LG
Focus: Querying Large Video Datasets with Low Latency and Low Cost
Carnegie Mellon University（卡内基梅隆大学）；Microsoft（微软）；ETH Zürich（苏黎世联邦理工学院）
大量的视频从部署用于交通控制和监控的摄像机中连续记录，目的是回答“事后”查询：从许多天记录的视频中识别具有某些类别（汽车、行李）的对象的视频帧。虽然卷积神经网络（CNN）的进步已经能够以高精度回答这样的查询，但它们太昂贵且速度太慢。我们构建了Focus，一个在大型视频数据集上进行低延迟和低成本查询的系统。Focus使用廉价的摄取技术来索引视频中出现的对象。在摄取时，它使用CNN的压缩和视频特定的专业化。Focus通过在查询时明智地利用昂贵的CNN来处理廉价CNN的较低准确性。为了减少查询时间延迟，我们聚类相似的对象，从而避免冗余处理。通过对来自交通、监控和新闻频道的视频流进行实验，我们发现Focus使用的GPU周期比运行昂贵的摄取处理器少58倍，比在查询时处理所有视频快37倍。
2018-01-10 cs.CV cs.DB cs.DC
Query-adaptive Video Summarization via Quality-aware Relevance Estimation
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
尽管自动视频摘要的问题最近受到了很多关注，但是创建还突出显示与搜索查询相关的元素的视频摘要的问题却很少被研究。我们通过将查询相关摘要作为视频帧子集选择问题来解决这个问题，这使我们可以优化同时多样化，代表整个视频并与文本查询相关的摘要。我们量化的相关性，通过测量帧和查询之间的距离在一个共同的文本视觉语义嵌入空间诱导的神经网络。此外，我们扩展了模型，以捕获查询无关的属性，如帧质量。我们将我们的方法与之前用于缩略图选择的文本视觉嵌入的最新技术进行比较，并表明我们的模型在相关性预测方面优于它们。此外，我们引入了一个新的数据集，注释的多样性和查询特定的相关性标签。在这个数据集上，我们训练和测试了我们完整的视频摘要模型，并表明它优于标准基线，如最大边缘相关性。
2017-09-28 cs.CL cs.CV cs.MM
Query-Focused Extractive Video Summarization
Center for Research in Computer Vision at UCF（中佛罗里达大学计算机视觉研究中心）
视频数据呈爆炸性增长。随着视频数据的“大”化，智能化的视频摘要算法的研究成为一个迫切的需求。我们开发了一个概率模型，顺序和层次决定性点过程（SH-DPP），查询为中心的提取视频摘要。给定用户查询和长视频序列，我们的算法通过从视频中选择关键镜头来返回摘要。在摘要中包括镜头的决定取决于镜头与用户查询的相关性以及在视频的上下文中的重要性。我们在两个密集注释的视频数据集上验证了我们的方法。以查询为中心的视频摘要对于搜索引擎特别有用，来显示视频片段
2016-07-18 cs.CV
Selective Query-guided Debiasing for Video Corpus Moment Retrieval
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Chung-Ang University（中央大学）
针对视频时刻检索中现有系统依赖检索偏差、未充分学习多模态交互的问题，提出含“有偏时刻检索”和“选择性查询引导去偏”特性的SQuiDNet，在TVR等三个基准上验证了有效性并提升可解释性。
2025-04-13 cs.CV
Convolutional Hierarchical Attention Network for Query-Focused Video Summarization
Zhejiang University（浙江大学）；Huawei Technologies（华为技术有限公司）
针对传统视频摘要未考虑用户偏好的问题，提出由特征编码网络和查询相关性计算模块构成的CHAN模型，通过带注意力机制的卷积网络学习镜头特征并计算查询相关性，在基准数据集上取得了有竞争力的性能。
2020-02-15 cs.CV
On Semantic Similarity in Video Retrieval
University of Bristol（布里斯托尔大学）；University of Amsterdam（阿姆斯特丹大学）
目前的视频检索工作都发现他们的评价基于实例的假设，只有一个单一的字幕是相关的查询视频，反之亦然。我们证明，这种假设的结果往往不表示模型的检索能力的性能比较。我们提出了一个移动到语义相似性的视频检索，其中（i）多个视频/字幕可以被视为同样相关的，他们的相对排名不影响方法的报告性能和（ii）检索到的视频/字幕排名的相似性查询。我们提出了几个代理来估计大规模检索数据集中的语义相似性，而无需额外的注释。我们的分析是在三个常用的视频检索数据集（MSR-VTT，YouCook 2和EPIC-KITCHENS）上进行的。
2021-03-18 cs.CV
ViLL-E: Video LLM Embeddings for Retrieval
ViLL-E通过引入新的嵌入生成机制，提升复杂视频处理能力，在视频检索和时间定位任务中表现优异，同时在视频问答任务中保持竞争力。
2026-04-13 cs.CV
Multimodal Lengthy Videos Retrieval Framework and Evaluation Metric
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Edge Hill University（边山大学）
本文针对长视频检索中未见词汇与场景的挑战，提出融合视觉、听觉及字幕分割的统一框架，并设计长视频专用评估指标，在YouCook2上验证了有效性。
2025-04-06 cs.CV
Context Aware Query Image Representation for Particular Object Retrieval
Aalto University（阿尔托大学）
目前基于卷积神经网络（CNN）的图像表示模型在图像检索中表现出了巨大的性能。这种模型的灵感来自于人类视觉皮层中视觉通路上的信息流。我们建议，在特定的对象检索领域，提取CNN表示从查询图像与一个给定的感兴趣区域（ROI）的过程也可以从人类视觉的灵感建模。特别是，我们表明，通过使CNN关注ROI，同时提取查询图像表示，导致显着改善了具有挑战性的牛津5 k和巴黎6 k数据集的基线方法。此外，我们提出了一个扩展最近推出的编码方法CNN表示，区域最大激活卷积（R-MAC）。建议的扩展加权区域表示使用一种新的显着性措施之前，聚合。这导致检索精度的进一步提高。
2017-03-03 cs.CV
Query-Conditioned Three-Player Adversarial Network for Video Summarization
UiT The Arctic University of Norway（挪威特罗姆瑟大学（北极大学））；Carnegie Mellon University（卡内基梅隆大学）
视频摘要通过选择关键帧/镜头在视频理解中起着重要的作用。传统上，它的目标是在视频中找到最具代表性和多样性的内容作为简短的摘要。最近，一个更广义的任务，查询条件下的视频摘要，已被引入，它考虑到用户查询学习更多的面向用户的摘要。在本文中，我们提出了一个查询条件下的三人生成对抗网络来应对这一挑战。该生成器学习用户查询和视频内容的联合表示，并将三对查询条件摘要作为输入，以区分真实摘要与生成的摘要和随机摘要。引入三人损失用于生成器和训练器的联合训练，这迫使生成器学习更好的摘要结果，并且避免随机平凡摘要的生成。最近提出的查询条件下的视频摘要基准数据集上的实验表明，我们所提出的方法的效率和效果。
2018-07-17 cs.CV
Query-adaptive Image Retrieval by Deep Weighted Hashing
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）
散列方法在大规模图像检索中受到广泛关注。最近，一些深度哈希方法通过利用深度网络的强大表示能力，取得了令人鼓舞的结果。然而，现有的深度哈希方法平等地对待所有哈希位。一方面，大量的图像共享相同的距离查询图像由于离散的汉明距离，这提出了一个关键的问题，图像检索的细粒度的排名是非常重要的。另一方面，不同的哈希位对图像检索的贡献实际上是不同的，同等对待它们会极大地影响图像检索的准确性。为了解决上述两个问题，我们提出了查询自适应深度加权哈希（QaDWH）的方法，它可以执行细粒度的排序不同的查询加权汉明距离。首先，提出了一种新的深度哈希网络来联合学习哈希码和相应的类权重，使得学习的权重可以反映不同哈希位对不同图像类的重要性。其次，提出了一种查询自适应的图像检索方法，该方法通过融合图像的语义概率和学习到的类权值，快速生成不同查询图像的哈希位权值。细粒度的图像检索，然后进行加权汉明距离，它可以提供更准确的排名比传统的汉明距离。在四个广泛使用的数据集上的实验表明，该方法优于八种最先进的哈希方法。
2017-05-09 cs.CV
From Transformation to Target State: Rethinking Query Representation for Zero-Shot Composed Image Retrieval
Beijing Jiaotong University（北京交通大学）
本文针对零样本组合图像检索中查询表示的不匹配问题，提出将任务重构为目标状态重建后检索，并设计了无需训练的ASAP-CIR框架，利用冻结多模态大语言模型重建静态目标表示，实验表明该原理在多个基准上有效，尤其在多目标CIRCO上提升显著。
2026-10-06 cs.CV
Tree-Augmented Cross-Modal Encoding for Complex-Query Video Retrieval
National University of Singapore（新加坡国立大学）；Zhejiang Gongshang University（浙江工商大学）；Hefei University of Technology（合肥工业大学）
互联网上用户生成的视频的快速增长加剧了对基于文本的视频检索系统的需求。传统的方法主要倾向于基于概念的检索范式，简单的查询，这通常是无效的复杂查询，携带更复杂的语义。近年来，基于嵌入的范式已经成为一种流行的方法。它旨在将查询和视频映射到一个共享的嵌入空间中，在这个空间中，语义相似的文本和视频彼此更接近。尽管它很简单，但它放弃了对文本查询的语法结构的利用，使得它对复杂查询的建模不是最佳的。为了方便视频检索与复杂的查询，我们提出了一个树增强的跨模态编码方法，通过共同学习查询的语言结构和视频的时间表示。具体来说，给定一个复杂的用户查询，我们首先递归组成一个潜在的语义树结构描述的文本查询。然后，我们设计了一个树增强的查询编码器，以获得结构感知的查询表示和时间关注的视频编码器来模拟视频的时间特性。最后，查询和视频都被映射到一个联合嵌入空间进行匹配和排名。在这种方法中，我们有一个更好的理解和建模的复杂查询，从而实现了更好的视频检索性能。在大规模视频检索基准数据集上的实验证明了该方法的有效性。
2020-07-06 cs.CV
Sali4Vid: Saliency-Aware Video Reweighting and Adaptive Caption Retrieval for Dense Video Captioning
Hanyang University（翰阳大学）
针对现有密集视频字幕模型帧权重均等、忽略场景转换的问题，提出Sali4Vid框架，通过显著性感知视频重加权和自适应字幕检索优化任务效果，在两个基准上达SOTA。
2025-09-04 cs.CV
QAIR: Practical Query-efficient Black-Box Attacks for Image Retrieval
Alibaba Group（阿里巴巴集团）；EPFL（洛桑联邦理工学院）；Inst. of Comput. Tech CAS China（中国科学院计算技术研究所）；Institute for AI THBI Lab Tsinghua University（清华大学人工智能研究院THBI实验室）
我们研究了基于查询的图像检索攻击，以评估其对黑盒设置下的对抗性示例的鲁棒性，其中对手只能查询访问数据库中排名前k的未标记图像。与图像分类中的查询攻击相比，查询攻击根据返回的标签或置信度产生对手，由于难以量化部分检索列表上的攻击效果，挑战变得更加突出。本文首次尝试了基于查询的图像检索攻击（QAIR），彻底颠覆top-k检索结果。具体而言，设计了一种新的基于相关度的损失，通过测量攻击前后top-k检索结果的集合相似度来量化攻击效果，并指导梯度优化。为了进一步提高攻击效率，提出了一种递归的模型窃取方法来获取目标模型上的可传递先验，并生成先验引导梯度。综合实验表明，该攻击在黑盒设置下，对图像检索系统具有较高的攻击成功率和较少的查询次数。在真实世界的视觉搜索引擎上的攻击评估表明，它成功地欺骗了商业系统，如Bing视觉搜索，攻击成功率为98%，平均只有33个查询。
2021-03-23 cs.CV
VideoDetective: Clue Hunting via both Extrinsic Query and Intrinsic Relevance for Long Video Understanding
Nanjing University（南京大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出VideoDetective框架，通过结合查询与片段的相关性及片段间亲和力，有效定位长视频问答中的关键片段，提升多模态大语言模型在长视频理解中的性能。
2026-05-01 cs.CV
QueryProp: Object Query Propagation for High-Performance Video Object Detection
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
视频目标检测一直是计算机视觉中一个重要而又具有挑战性的课题。传统的方法主要集中在设计图像级或框级的特征传播策略，以利用时间信息。本文认为，一个更有效的和高效的特征传播框架，视频对象检测器可以获得改善的准确性和速度。为此，本文研究了对象级特征传播，并提出了一个高性能视频目标检测的对象查询传播（QueryProp）框架。QueryProp包含两种传播策略：1）从稀疏关键帧到密集非关键帧进行查询传播，减少非关键帧上的冗余计算; 2）从先前关键帧到当前关键帧进行查询传播，通过时间上下文建模提高特征表示。为了进一步促进查询传播，自适应传播门的设计，以实现灵活的关键帧选择。我们在ImageNet VID数据集上进行了广泛的实验。QueryProp实现了与最先进的方法相当的准确性，并取得了不错的准确性/速度权衡。代码可在https://github.com/hf1995/QueryProp上获得。
2022-07-22 cs.CV
VaRS-Doc: Interpretation-Aware Variant Representations via Latent Self-Probing for Visual Document Retrieval
本文针对视觉文档检索中固定文档表示难以适配不同查询意图的问题，提出VaRS-Doc框架，通过两阶段训练实现变体表示，在基准测试中达到最先进性能，解决了查询与文档编码的不匹配问题。
2026-08-04 cs.CV
QSVideo: Query-Conditioned Semantic Temporal Retrieval for Video Understanding
Michigan State University（密歇根州立大学）
针对视频理解中视觉语言模型性能随视频时长下降问题，提出QSVideo框架，通过查询条件语义排序器、联合优化相关性和多样性及时间对齐策略，提升视频VLM性能。
2026-07-07 cs.CV
EviDETR: Preserving Query-Relevant Temporal Evidence for Moment Retrieval and Highlight Detection
Beijing Normal-Hong Kong Baptist University（北京师范大学-香港浸会大学联合国际学院）
EviDETR通过语义感知特征重加权、时间Top-2混合专家解码器和MR2HD融合保留查询相关证据，在QVHighlights等基准上显著提升时刻检索与高亮检测性能。
2026-09-28 cs.CV
Video-QTR: Query-Driven Temporal Reasoning Framework for Lightweight Video Understanding
School of Software Technology, Zhejiang University, Hangzhou, China（浙江大学软件技术学院）；School of Computer Science, Zhejiang University, Hangzhou, China（浙江大学计算机科学学院）；School of Software Engineering, Xidian University, Xi’an, China（西安电子科技大学软件工程学院）
Video-QTR通过查询驱动的时序推理框架，实现轻量级视频理解，显著降低计算成本并提升效率。
2025-12-10 cs.CV
Video-Specific Query-Key Attention Modeling for Weakly-Supervised Temporal Action Localization
Northwestern University（西北大学）
提出VQK-Net，通过视频特定查询-键注意力建模学习每个视频每个动作类别的独特查询，实现弱监督时间动作定位，在三个数据集上达到最先进性能。
2023-12-25 cs.CV
MARS: What Retrieval Signals Are Hidden in Multimodal Large Language Models for Text-Video Retrieval?
Sejong University（世宗大学）
针对多模态大语言模型用于文本-视频检索时压缩线索导致细粒度检索受限的问题，提出MARS框架，通过多层多槽嵌入及难负样本感知的槽专业化目标，在四个基准上取得最优结果。
2026-09-03 cs.CV
CLIP2Video: Mastering Video-Text Retrieval via Image CLIP
Tencent（腾讯）
我们提出CLIP 2 Video网络，以端到端的方式将图像语言预训练模型传输到视频文本检索。视频和语言学习领域的主要方法试图从大规模视频-文本数据集中提取时空视频特征以及视频和语言之间的多模态交互。与之不同的是，我们利用预训练的图像-语言模型，将其简化为一个两阶段的框架，分别进行图像-文本的协同学习和增强视频帧和视频-文本之间的时间关系，使其能够在相对较小的数据集上进行训练。具体来说，基于对比度图像预训练（CLIP）模型捕获的空间语义，我们的模型包括一个时间差异块来捕获精细时间视频帧的运动，和一个时间对齐块来重新对齐视频片段和短语的标记，并增强多模态相关性。我们进行了彻底的消融研究，并在主要的文本到视频和视频到文本检索基准上实现了最先进的性能，包括MSR-VTT，MSVD和VATEX检索准确性的新记录。
2021-06-21 cs.CV
Targeted Mismatch Adversarial Attack: Query with a Flower to Retrieve the Tower
Czech Technical University in Prague（布拉格捷克技术大学）
访问在线视觉搜索引擎意味着共享私人用户内容-查询图像。我们为基于深度学习的检索系统引入了目标失配攻击的概念，以生成对抗图像来隐藏查询图像。生成的图像看起来与用户想要的查询完全不同，但会导致相同或非常相似的检索结果。将攻击转移到完全不可见的网络是一项挑战。我们成功地攻击部分未知的系统，通过设计各种损失函数的对抗图像的建设。这些包括损失函数，例如，用于未知的全局池化操作或未知的检索系统的输入分辨率。我们对标准检索基准进行了攻击评估，并将检索结果与原始图像和对抗图像进行了比较。
2019-08-24 cs.CV
Circulant temporal encoding for video retrieval and temporal alignment
INRIA（法国国家信息与自动化研究所）
我们解决的问题，具体的视频事件检索。给定特定事件的查询视频，例如，麦当娜的音乐会，目标是检索与查询在时间上重叠的同一事件的其他视频。我们的方法编码的视频帧描述符，共同代表他们的外观和时间顺序。它利用循环矩阵的性质来有效地比较频域中的视频。这在复杂性方面提供了显着的增益，并准确地定位了视频的匹配部分。描述符可以在频域中用适合于复数的乘积量化器压缩。在这种情况下，执行视频检索而不解压缩描述符。我们还考虑了一组视频的时间对齐。我们利用匹配的信心和估计的时间偏移量计算的所有对我们的检索方法的视频。我们的鲁棒算法通过最大化时间上一致的匹配集来在全局时间轴上对齐视频。全局时间对准使得能够同步回放给定场景的视频。
2015-11-30 cs.CV
CLIP4Clip: An Empirical Study of CLIP for End to End Video Clip Retrieval
Southwest Jiaotong University（西南交通大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft STCA（微软技术中心亚洲）
视频-文本检索在多模态研究中起着至关重要的作用，并已广泛应用于许多现实世界的Web应用中。CLIP（对比图像预训练）是一种图像语言预训练模型，已经证明了从网络收集的图像-文本数据集学习视觉概念的能力。在本文中，我们提出了一个CLIP 4Clip模型的知识转移的CLIP模型的视频语言检索在端到端的方式。本文通过实证研究探讨了以下几个问题：1）图像特征是否足以用于视频文本检索？2)基于CLIP的大规模视频文本数据集的后预训练如何影响性能？3)视频帧之间的时间依赖性模型的实际机制是什么？4）模型对视频文本检索任务的超参数敏感性。大量的实验结果表明，从CLIP转移CLIP 4Clip模型可以实现各种视频文本检索数据集上的SOTA结果，包括MSR-VTT，MSVC，LSMDC，ActivityNet和DiDeMo。我们在https://github.com/ArrowLuo/CLIP4Clip上发布代码。
2021-05-08 cs.CV
Learning Audio-guided Video Representation with Gated Attention for Video-Text Retrieval
POSTECH（浦项科技大学）
针对视频-文本检索中忽略音频及盲目利用音频导致表示次优的问题，提出基于门控注意力的音频引导视频表示学习框架AVIGATE，结合自适应边界对比损失优化视频-文本对齐，在所有公共基准上达到最先进性能。
2025-04-03 cs.CV
I Want This Product but Different : Multimodal Retrieval with Synthetic Query Expansion
本文讨论了使用多模态查询（查询结合了视觉输入与额外的语义信息在自然语言反馈）的媒体检索的问题。我们提出了一个SynthTriplet GAN框架，它解决了这个任务，通过扩展多模态查询与综合生成的图像，捕捉图像和文本输入的语义信息。我们介绍了一种新的三元组挖掘方法，使用合成图像作为锚直接优化生成的图像和目标图像的嵌入距离。我们证明，除了附加值的检索插图与合成图像的定制和用户反馈的重点，所提出的方法大大超过其他多模态生成方法，并实现了最先进的结果在多模态检索任务。我们还表明，与其他检索方法相比，我们的方法提供了可解释的嵌入。
2021-06-30 cs.AI cs.CV
FreestyleRet: Retrieving Images from Style-Diversified Queries
Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Peng Cheng Laboratory（鹏城实验室）；Tsinghua University（清华大学）
针对用户以文本、草图、低分辨率和艺术等多元风格表达检索意图的需求，本文提出新任务、Diverse-Style Retrieval 数据集及基于 Gram Matrix 与风格初始化提示调优的轻量框架。
2023-12-08 cs.CV cs.IR
Zero-shot Composed Image Retrieval Considering Query-target Relationship Leveraging Masked Image-text Pairs
Graduate School of Information Science and Technology, Hokkaido University（北海道大学信息科学与技术研究院）；Faculty of Information Science and Technology, Hokkaido University（北海道大学信息科学与技术学院）
提出一种利用掩码图文对进行端到端训练的零样本组合图像检索方法，通过学习查询与目标关系优化文本反演网络，实现更准确检索。
2024-06-27 cs.CV cs.IR
Query-Dependent Video Representation for Moment Retrieval and Highlight Detection
Sungkyunkwan University（成均馆大学）；Pyler
近年来，随着对视频理解的需求急剧增加，视频时刻检索和精彩片段检测（MR/HD）受到关注。MR/HD的关键目标是定位矩并估计裁剪一致性水平，即，显着性分数，以给定的文本查询。虽然最近的基于transformer的模型带来了一些进步，我们发现，这些方法没有充分利用给定的查询的信息。例如，文本查询和视频内容之间的相关性有时被忽略时预测的时刻和其显着性。为了解决这个问题，我们引入了查询相关的DETR（QD-DETR），一个检测Transformer专为MR/HD。当我们观察到一个给定的查询在Transformer架构中的微不足道的作用时，我们的编码模块从交叉注意层开始，将文本查询的上下文显式地注入到视频表示中。然后，为了提高模型的能力，利用查询信息，我们操纵的视频查询对产生不相关的对。这种负面的（不相关的）视频查询对被训练成产生低显着性分数，这反过来又鼓励模型估计查询视频对之间的精确一致性。最后，我们提出了一个输入自适应的显着性预测，自适应地定义显着性分数的标准，为给定的视频查询对。我们广泛的研究验证了建立MR/HD查询相关表示的重要性。具体而言，QD-DETR在QVHighlights，TVSum和Charades-STA数据集上的性能优于最先进的方法。代码可在github.com/wjun0830/QD-DETR上获得。
2023-03-24 cs.AI cs.CV
QuARI: Query Adaptive Retrieval Improvement
Washington University in St. Louis（华盛顿大学圣路易斯分校）；Saint Louis University（圣路易斯大学）；The George Washington University（乔治华盛顿大学）
针对视觉语言模型在大规模实例检索中表现不佳的问题，提出QuARI方法，通过学习将查询映射到特定的线性特征空间变换，以极低计算成本显著提升大规模图像检索与重排序性能，并超越现有最先进方案。
2025-05-27 cs.CV cs.LG
Automatic Query Image Disambiguation for Content-Based Image Retrieval
Friedrich Schiller University Jena（耶拿弗里德里希·席勒大学）
呈现给基于内容的图像检索系统的查询图像通常具有各种不同的解释，使得难以识别用户所追求的搜索目标。我们提出了一种克服这种模糊性的技术，同时保持所需的用户交互量最小。为了实现这一点，查询图像的邻域被划分为连贯的聚类，用户可以从中选择相关的。一种新的反馈集成技术，然后重新排名整个数据库方面的用户反馈和原始查询。我们在公开的MIRFLICKR-25 K数据集上评估了我们的方法，在基线检索上，它导致平均精度相对提高了23%，而基线检索并没有区分不同的图像感觉。
2017-11-02 cs.CV cs.IR
VRAG: Region Attention Graphs for Content-Based Video Retrieval
National University of Singapore（新加坡国立大学）；Facebook AI（Facebook人工智能）
基于内容的视频检索（CBVR）用于媒体共享平台上的视频推荐和过滤等应用。为了管理可扩展到数十亿视频的数据库，由于其效率，使用固定大小嵌入的视频级方法是首选。在本文中，我们介绍了视频区域注意力图网络（VRAG），它改进了最先进的视频级方法。我们通过区域级特征以更细的粒度表示视频，并通过区域级关系对视频时空动态进行编码。我们的VRAG捕捉区域之间的关系，基于它们的语义内容，通过自我注意和图卷积的排列不变聚合。此外，我们表明，视频级和帧级方法之间的性能差距可以通过分割视频镜头和使用镜头嵌入视频检索。我们评估我们的VRAG在几个视频检索任务，并实现了一个新的国家的最先进的视频级检索。此外，我们的镜头级VRAG表现出更高的检索精度比其他现有的视频级方法，更接近帧级方法的性能，更快的评估速度。最后，我们的代码将公开提供。
2022-05-18 cs.CV cs.MM
Video Editing for Video Retrieval
Singapore Management University（新加坡管理大学）；University of Bristol（布里斯托尔大学）
针对视频-文本检索中片段起止时间标注昂贵的问题，提出基于单一时间戳初始化并用学生-教师网络迭代编辑片段边界的模型无关方法，在三个模型和数据集上持续提升检索性能。
2024-09-07 cs.CV cs.IR
Content based video retrieval
Shah & Anchor Kutchhi Polytechnic（沙阿与安克尔库奇理工学院）；VJTI（维杰扬德拉·贾瓦哈拉尔·泰克工程技术学院）
基于内容的视频检索是一种方便搜索和浏览万维网上的大型图像集的方法。在这种方法中，视频分析进行低层次的视觉特性提取的视频帧。我们认为，为了建立一个有效的视频检索系统，视觉感知必须考虑。我们认为，采用多个特征进行索引和检索的技术将更有效地在视频的歧视和搜索任务。为了验证这一说法，基于内容的索引和检索系统实现了使用颜色直方图，各种纹理特征和其他方法。视频存储在Oracle 9i数据库中，用户研究测量响应的正确性。
2012-11-20 cs.CV cs.MM
VideoSearch-R1: Iterative Video Retrieval and Reasoning via Soft Query Refinement
KAIST（韩国科学技术院）；Korea University（高丽大学）
提出VideoSearch-R1框架，通过软查询细化（SQR）在连续潜空间优化搜索查询，结合GRPO训练，实现大规模视频库的迭代检索与精确时序定位，性能达SOTA。
2026-07-02 cs.AI cs.CV
Bi-Calibration Networks for Weakly-Supervised Video Representation Learning
JD Explore Academy（京东探索研究院）；University of Science and Technology of China（中国科学技术大学）；University of Rochester（罗切斯特大学）
利用与搜索的查询或周围文本配对的大量网络视频（例如，标题）提供了对监督视频表示学习的经济且可扩展的替代方案。然而，由于查询多义性（即，查询的许多可能含义）和文本同构（即，不同文本的相同句法结构）。在本文中，我们引入了一种新的设计，查询和文本之间的相互校准，以促进弱监督视频表示学习。具体来说，我们提出了双校准网络（BCN），新颖地耦合两个校准学习文本查询的修正案，反之亦然。从技术上讲，BCN对同一查询搜索到的所有视频标题进行聚类，并将每个聚类的质心作为文本原型。查询词汇表直接建立在查询词上。然后，在文本原型/查询词汇表上的视频到文本/视频到查询投影开始文本到查询或查询到文本校准，以估计对查询或文本的修改。我们还设计了一个选择方案来平衡这两个校正。新收集了两个大规模网络视频数据集，每个视频都有查询和标题，分别命名为YOVO-3 M和YOVO-10 M，用于弱监督视频表示学习。在3 M网络视频上学习的BCN视频特征在下游任务的线性模型协议下获得了更好的结果。更值得注意的是，BCN在更大的1000万个网络视频集上进行了进一步的微调，在Kinetics-400和Something-Something V2数据集上的前1准确率分别提高了1.6%和1.8%，超过了最先进的TDN和带有ImageNet预训练的ACTION-Net方法。源代码和数据集可在\url{https://github.com…
2022-06-21 cs.CV cs.MM
Autoregressive Retriever: Improving Query Understanding from Item Feedback for Universal Multimodal Retrieval
School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）；Zhongguancun Academy（中关村实验室）；Xiaohongshu（小红书）；Southeast Academy of Information Technology, Beijing Institute of Technology（北京理工大学东南信息科学研究院）；Zhongguancun Laboratory（中关村实验室）
针对通用多模态检索中查询表示无法利用检索项目优化的问题，提出ARR模型，通过交替检索项目与更新查询嵌入，结合监督微调与强化学习优化，在域内和零样本基准上性能优于基线。
2026-10-09 cs.CV cs.IR
CLIP2TV: Align, Match and Distill for Video-Text Retrieval
Tencent（腾讯）
现代的视频文本检索框架基本上由三部分组成：视频编码器、文本编码器和相似头。随着视觉和文本表示学习的成功，基于Transformer的编码器和融合方法也被应用于视频文本检索领域。在这份报告中，我们提出CLIP 2 TV，旨在探索关键要素在于基于Transformer的方法。为了实现这一目标，我们首先回顾了最近的一些多模态学习的工作，然后介绍了一些技术，视频文本检索，最后通过广泛的实验，在不同的配置进行评估。值得注意的是，CLIP 2 TV在MSR-VTT数据集上达到了52.9@R1，比之前的SOTA结果高出4.1%。
2022-07-21 cs.CL cs.CV
An Empirical Comparison of Video Frame Sampling Methods for Multi-Modal RAG Retrieval
Microsoft（微软公司）
本文通过实证比较多种视频帧采样方法在Video RAG检索中的召回率与存储效率，发现采样策略可在降低存储和处理成本的同时达到与存储全部帧相当或更优的recall@k表现，为实际系统设计提供依据。
2024-07-22 cs.CV cs.MM
VideoTapestry: Query-Adaptive Memory Refinement for Multi-Agent Long-Video Understanding
University of Science and Technology of China（中国科学技术大学）；Jilin University（吉林大学）；Hangzhou Dianzi University（杭州电子科技大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
VideoTapestry提出无需训练的多智能体框架，通过查询驱动的从粗到细精炼预构建分层视频记忆，在多个长视频基准上显著超越GPT-5.5，实现最先进性能。
2026-10-06 cs.AI cs.CV
Structured Query-Based Image Retrieval Using Scene Graphs
University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）；Intel Labs（英特尔实验室）
结构化查询可以捕获对象交互的复杂性（例如，“女人骑摩托车”），而不像单个对象（例如，“女人”或“摩托车”）。因此，使用结构化查询的检索比单个对象检索有用得多，但这是一个更具挑战性的问题。在本文中，我们提出了一种方法，它使用场景图嵌入的基础上的一种方法，以图像检索。我们研究如何视觉关系，来自场景图，可以用作结构化查询。视觉关系是场景图的有向子图，其中主语和宾语作为通过谓词关系连接的节点。值得注意的是，我们甚至能够在长尾COCO-Stuff数据集中发现的低频到中频对象上实现高召回率，并发现添加视觉关系启发的损失在最好的情况下将我们的召回率提高了10%。
2020-05-13 cs.CV cs.LG
BRIDGE: Multimodal-to-Text Retrieval via Reinforcement-Learned Query Alignment
High institute for computer & information systems（高等计算机与信息系统学院）；Chungbuk National University（忠北大学）；Assiut University（艾斯尤特大学）；University of Innsbruck（因斯布鲁克大学）
BRIDGE通过强化学习查询对齐模型和增强神经搜索检索器，解决多模态查询在文本库中的检索问题，实现优于多模态编码器的nDCG@10性能。
2026-04-08 cs.CV cs.IR
Improving Video Question Answering through query-based frame selection
Indian Institute of Technology, Bombay（印度理工学院孟买分校）；Indian Institute of Technology, Mandi（印度理工学院曼迪分校）
通过基于查询的帧选择方法提升视频问答的准确性，利用子模ularity互信息函数选择重要帧，实验表明在多动作视频任务中准确率提升达4%。
2026-01-12 cs.CV cs.LG
Enhancing Subsequent Video Retrieval via Vision-Language Models (VLMs)
Case Western Reserve University（凯斯西储大学）
针对视觉-语言模型难以应对自适应、时间敏感视频检索的问题，本文提出结合向量相似度搜索与图数据结构的框架，利用VLM嵌入初检并建模片段上下文关系实现自适应查询优化，经实验验证具备良好精度、扩展性与鲁棒性。
2025-03-21 cs.AI cs.CV cs.IR
DeepQAMVS: Query-Aware Hierarchical Pointer Networks for Multi-Video Summarization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Virginia Tech（弗吉尼亚理工大学）
最近网络视频共享平台的增长增加了对能够有效地浏览、检索和汇总视频内容的系统的需求。查询感知的多视频摘要是一种很有前途的技术，迎合了这一需求。在这项工作中，我们引入了一种新的用于多视频摘要的查询感知分层指针网络，称为DeepQAMVS，它联合优化了多个标准：（1）简洁性，（2）重要查询相关事件的代表性和（3）时间顺序合理性。我们设计了一个分层注意力模型，它分解了三个分布，每个分布从不同的模态收集证据，然后是一个指针网络，它选择要包含在摘要中的帧。DeepQAMVS通过强化学习进行训练，并结合了捕获代表性，多样性，查询适应性和时间一致性的奖励。我们在MVS1K数据集上实现了最先进的结果，推理时间与输入视频帧的数量呈线性关系。
2021-05-13 cs.AI cs.CV cs.IR
CaReBench: A Fine-Grained Benchmark for Video Captioning and Retrieval
Nanjing University（南京大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出含1,000对视频与详细人工字幕的 CaReBench 基准及 ReBias、CapST 指标，并以两阶段 SFT 训练 MLLM 基线，实现检索与描述的统一评估。
2025-03-18 cs.CV cs.IR cs.LG
Graph Based Temporal Aggregation for Video Retrieval
PES University（PES大学）
大规模视频检索是一个正在进行大量研究的领域。该领域的大部分工作都是使用VSE++等技术通过文本查询进行视频检索。然而，通过图像查询进行视频检索的研究很少，在这一领域已经完成的工作要么使用视频数据集内的图像查询，要么逐帧迭代视频。这些方法并不适用于来自数据集外部的查询，并且对于大型视频数据集也不能很好地扩展。为了克服这些问题，我们提出了一种新的方法，视频检索通过图像查询，其中一个无向图被构造从所有的视频帧的组合集进行搜索。该图的节点特征用于视频检索任务。通过使用来自数据集外部的查询图像在MSR-VTT数据集上进行实验。为了评估这种新方法，计算P@5、P@10和P@20度量。本研究中使用了两种不同的ResNet模型，即ResNet-152和ResNet-50。
2020-11-04 cs.CV cs.IR cs.LG
