Multi-Query Video Retrieval
Princeton University(普林斯顿大学)
基于文本描述的目标视频检索是一个具有重要实用价值的课题,近年来受到越来越多的关注。尽管最近取得了进展,现有的视频检索数据集的不完善的注释模型的评估和发展带来了重大挑战。在本文中,我们解决了这个问题,重点是研究较少的设置多查询视频检索,其中多个描述提供给模型搜索的视频档案。我们首先表明,多查询检索任务有效地减轻了不完善的注释所引入的数据集噪声,并更好地与人类对当前模型检索能力的评估判断相关。然后,我们研究了几种在训练时利用多个查询的方法,并证明了多查询启发的训练可以带来更好的性能和更好的泛化能力。我们希望在这个方向上的进一步研究可以为构建在现实世界的视频检索应用中表现更好的系统带来新的见解。
2022-07-20 cs.CV
MARS: What Retrieval Signals Are Hidden in Multimodal Large Language Models for Text-Video Retrieval?
Sejong University(世宗大学)
针对多模态大语言模型用于文本-视频检索时压缩线索导致细粒度检索受限的问题,提出MARS框架,通过多层多槽嵌入及难负样本感知的槽专业化目标,在四个基准上取得最优结果。
2026-09-03 cs.CV
CLIP2Video: Mastering Video-Text Retrieval via Image CLIP
Tencent(腾讯)
我们提出CLIP 2 Video网络,以端到端的方式将图像语言预训练模型传输到视频文本检索。视频和语言学习领域的主要方法试图从大规模视频-文本数据集中提取时空视频特征以及视频和语言之间的多模态交互。与之不同的是,我们利用预训练的图像-语言模型,将其简化为一个两阶段的框架,分别进行图像-文本的协同学习和增强视频帧和视频-文本之间的时间关系,使其能够在相对较小的数据集上进行训练。具体来说,基于对比度图像预训练(CLIP)模型捕获的空间语义,我们的模型包括一个时间差异块来捕获精细时间视频帧的运动,和一个时间对齐块来重新对齐视频片段和短语的标记,并增强多模态相关性。我们进行了彻底的消融研究,并在主要的文本到视频和视频到文本检索基准上实现了最先进的性能,包括MSR-VTT,MSVD和VATEX检索准确性的新记录。
2021-06-21 cs.CV
Circulant temporal encoding for video retrieval and temporal alignment
INRIA(法国国家信息与自动化研究所)
我们解决的问题,具体的视频事件检索。给定特定事件的查询视频,例如,麦当娜的音乐会,目标是检索与查询在时间上重叠的同一事件的其他视频。我们的方法编码的视频帧描述符,共同代表他们的外观和时间顺序。它利用循环矩阵的性质来有效地比较频域中的视频。这在复杂性方面提供了显着的增益,并准确地定位了视频的匹配部分。描述符可以在频域中用适合于复数的乘积量化器压缩。在这种情况下,执行视频检索而不解压缩描述符。我们还考虑了一组视频的时间对齐。我们利用匹配的信心和估计的时间偏移量计算的所有对我们的检索方法的视频。我们的鲁棒算法通过最大化时间上一致的匹配集来在全局时间轴上对齐视频。全局时间对准使得能够同步回放给定场景的视频。
2015-11-30 cs.CV
Fine-grained Text-Video Retrieval with Frozen Image Encoders
Alibaba Group(阿里巴巴集团)
针对现有文本-视频检索交叉注意力方法缺少细粒度空间信息的问题,提出两阶段架构CrossTVR,结合余弦相似度候选筛选与解耦交叉注意力模块,采用冻结CLIP策略支持大视觉模型,在数据集上取得更优效果与可扩展性。
2023-07-14 cs.CV
EgoCVR: An Egocentric Benchmark for Fine-Grained Composed Video Retrieval
Tübingen AI Center, University of Tübingen(蒂宾根人工智能中心、蒂宾根大学)
针对现有组合视频检索框架在时序理解上的不足,提出了基于自我中心视角视频的细粒度评估基准 EgoCVR,包含 2,295 个查询,并采用免训练的通用重排序框架取得了强劲结果。
2024-07-23 cs.CV
CLIP4Clip: An Empirical Study of CLIP for End to End Video Clip Retrieval
Southwest Jiaotong University(西南交通大学);Microsoft Research Asia(微软亚洲研究院);Microsoft STCA(微软技术中心亚洲)
视频-文本检索在多模态研究中起着至关重要的作用,并已广泛应用于许多现实世界的Web应用中。CLIP(对比图像预训练)是一种图像语言预训练模型,已经证明了从网络收集的图像-文本数据集学习视觉概念的能力。在本文中,我们提出了一个CLIP 4Clip模型的知识转移的CLIP模型的视频语言检索在端到端的方式。本文通过实证研究探讨了以下几个问题:1)图像特征是否足以用于视频文本检索?2)基于CLIP的大规模视频文本数据集的后预训练如何影响性能?3)视频帧之间的时间依赖性模型的实际机制是什么?4)模型对视频文本检索任务的超参数敏感性。大量的实验结果表明,从CLIP转移CLIP 4Clip模型可以实现各种视频文本检索数据集上的SOTA结果,包括MSR-VTT,MSVC,LSMDC,ActivityNet和DiDeMo。我们在https://github.com/ArrowLuo/CLIP4Clip上发布代码。
2021-05-08 cs.CV
Learning Audio-guided Video Representation with Gated Attention for Video-Text Retrieval
POSTECH(浦项科技大学)
针对视频-文本检索中忽略音频及盲目利用音频导致表示次优的问题,提出基于门控注意力的音频引导视频表示学习框架AVIGATE,结合自适应边界对比损失优化视频-文本对齐,在所有公共基准上达到最先进性能。
2025-04-03 cs.CV
QSVideo: Query-Conditioned Semantic Temporal Retrieval for Video Understanding
Michigan State University(密歇根州立大学)
针对视频理解中视觉语言模型性能随视频时长下降问题,提出QSVideo框架,通过查询条件语义排序器、联合优化相关性和多样性及时间对齐策略,提升视频VLM性能。
2026-07-07 cs.CV
T2VIndexer: A Generative Video Indexer for Efficient Text-Video Retrieval
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);School of Cyberspace Science and Technology, Beijing Institute of Technology(北京理工大学网络空间科学与技术学院);Université de Montréal(蒙特利尔大学);Mila(米拉计算科学研究所);Australia Institute of Machine Learning, University of Adelaide(阿德莱德大学澳大利亚机器学习研究所)
为提升文本-视频检索效率,提出序列到序列生成模型 T2VIndexer,通过视频标识符编码与查询-标识符增强方法直接生成视频标识符,在保持高准确率的同时大幅缩短检索时间。
2024-08-21 cs.CV
EA-VTR: Event-Aware Video-Text Retrieval
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);ARC Lab, Tencent PCG(腾讯平台与内容事业群ARC实验室);The University of Hong Kong(香港大学)
针对预训练数据事件信息不足、视频级对比学习难捕捉细粒度事件对齐的问题,该研究提出事件增强策略并构建EA-VTR模型,实现多任务下的性能提升与事件理解能力增强。
2024-07-10 cs.CV
IVCR-200K: A Large-Scale Multi-turn Dialogue Benchmark for Interactive Video Corpus Retrieval
Xiangtan University(湘潭大学);Hunan University(湖南大学);Zhejiang Gongshang University(浙江工商大学);Fudan University(复旦大学)
本文提出IVCR-200K数据集及基于多模态大语言模型的框架,用于交互视频语料检索,提升多轮对话式交互效果。
2025-12-01 cs.CV
Moment of Untruth: Dealing with Negative Queries in Video Moment Retrieval
University of Bristol(布里斯托大学)
针对视频时刻检索中无关查询导致假阳性预测的问题,提出负感知视频时刻检索任务,区分域内外负查询并构建新基准,提出UniVTG-NA模型,在实现98.4%平均负拒绝准确率的同时,Recall@1得分仅下降3.87%。
2025-02-13 cs.CV
Coarse to Fine: Video Retrieval before Moment Localization
Beijing University of Posts and Telecommunications(北京邮电大学);Tencent PCG(腾讯平台与内容事业群);Tianjin University(天津大学)
为了方便和快速,现有的视频语料矩检索(VCMR)方法通常采用基于相似性的特征对齐方法。然而,后期融合方法,如余弦相似性对齐无法充分利用查询文本和视频的信息。在本文中,我们结合特征对齐和特征融合,以提高VCMR的性能。
2021-10-14 cs.CV
Cap4Video: What Can Auxiliary Captions Do for Text-Video Retrieval?
The University of Sydney(悉尼大学);Baidu Inc.(百度公司);University of Chinese Academy of Sciences(中国科学院大学);Shanghai AI Laboratory(上海人工智能实验室)
现有的文本-视频检索方法大多集中在视频的视觉内容和文本查询语句之间的跨模态匹配。然而,在现实世界的场景中,在线视频往往伴随着相关的文本信息,如标题,标签,甚至字幕,可以用来匹配文本查询。这种洞察力促使我们提出了一种新颖的文本视频检索方法,其中我们使用zero-shot视频描述直接从视频中生成关联的字幕,其中知识来自网络规模的预训练模型(例如,CLIP和GPT-2)。考虑到生成的字幕,一个自然的问题出现了:它们给文本视频检索带来了什么好处?为了回答这个问题,我们引入了Cap 4Video,这是一个新的框架,它以三种方式利用字幕:i)输入数据:视频字幕对可以增加训练数据。ii)中间特征交互:我们在视频和字幕之间执行跨模态特征交互,以产生增强的视频表示。iii)输出分数:查询-字幕匹配分支可以补充原始查询-视频匹配分支以用于文本-视频检索。我们进行全面的消融研究,以证明我们的方法的有效性。在没有任何后处理的情况下,Cap 4Video在四个标准的文本视频检索基准上实现了最先进的性能:MSR-VTT(51.4%),VATEX(66.6%),MSVD(51.8%)和DiDeMo(52.0%)。该代码可在https://github.com/whwu95/Cap4Video上获得。
2023-03-28 cs.CV
VEDJE: Video-Efficient Discriminative Joint Encoder for Scalable Video-Text Retrieval
Ben-Gurion University of the Negev(内盖夫本-古里安大学);Texas A&M University(德克萨斯农工大学);Decart AI(德卡特人工智能公司)
该研究提出VEDJE模型,通过压缩视频帧特征并结合特征变化预测辅助训练,在多个视频-文本检索数据集上提升R@1指标,缩小缓存规模后仍保持较高召回率,实现高效可扩展的视频检索。
2026-10-14 cs.CV
A CLIP-Hitchhiker's Guide to Long Video Retrieval
University of Oxford(牛津大学);École des Ponts(巴黎桥路学院);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心)
我们在本文中的目标是适应图像-文本模型的长视频检索。最近的作品已经证明了国家的最先进的性能,在视频检索采用CLIP,有效地搭便车的图像-文本表示的视频任务。然而,在学习时间聚合方面取得的成功有限,这些时间聚合优于CLIP每帧提取的图像级表示的均值池化。我们发现,通过查询评分的帧嵌入的加权平均值的简单而有效的基线是一个显着的改善以上所有先前的时间建模尝试和平均池。在这样做的过程中,我们提供了一个改进的基线,其他人进行比较,并证明了国家的最先进的性能,这个简单的基线上的一套长视频检索基准。
2022-05-17 cs.CV
Interactive Video Retrieval with Dialog
RIKEN(理化学研究所)
现在,每个人都可以轻松地录制视频,视频的数量不断增加,研究改进的视频检索方法在当今世界非常重要。在要在由个人收集的大集合中识别目标视频的情况下,必须获得适当的信息以在目标数据库中的大量类似项目中检索正确的视频。本研究的目的是在这种情况下,通过引入系统和用户之间的交互或对话来检索目标视频。我们提出了一个系统来检索视频,询问有关的视频内容的问题,并利用用户的问题的反应。此外,我们通过实验证实了所提出的系统的有用性,使用的数据集称为AVSD,其中包括视频和对话的视频。
2019-05-07 cs.CV
In-Style: Bridging Text and Uncurated Videos with Style Transfer for Text-Video Retrieval
Goethe University Frankfurt(法兰克福大学);Max-Planck-Institute for Informatics(马克斯·普朗克信息学研究所);University of Bonn(波恩大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
本文提出In-Style方法,在仅使用未配对文本查询与未整理网络视频的新设定下,通过多风格对比训练将文本风格迁移到视频,提升零样本文本-视频检索性能。
2023-09-16 cs.CV
Colo-SCRL: Self-Supervised Contrastive Representation Learning for Colonoscopic Video Retrieval
Shanghai Jiao Tong University(上海交通大学);Zhongshan Hospital of Fudan University(复旦大学附属中山医院)
结肠镜视频检索是息肉治疗的重要环节,对大肠癌的防治具有重要的临床意义。然而,在动作识别数据集上训练的检索模型通常在结肠镜数据集上产生不令人满意的检索结果,这是由于它们之间存在很大的领域差距。为了解决这个问题,我们构建了一个大规模的结肠镜数据集命名为Colo-Pair的医疗实践。基于此数据集,提出了一种简单而有效的训练方法,称为Colo-SCRL,用于更鲁棒的表示学习。它旨在通过基于掩码自编码器的重建和动量对比来改进结肠镜检查的一般知识,以提高检索性能。据我们所知,这是第一次尝试采用对比学习范例的医学视频检索。实证结果表明,我们的方法显着优于当前国家的最先进的方法在结肠镜视频检索任务。
2023-03-28 cs.CV
Leveraging Auxiliary Information in Text-to-Video Retrieval: A Review
University of Bristol(布里斯托大学)
本综述回顾了81篇利用辅助信息提升文本到视频检索性能的研究论文,详细分析了相关方法论、基准数据集结果及未来研究方向。
2025-05-29 cs.CV
Tree-Augmented Cross-Modal Encoding for Complex-Query Video Retrieval
National University of Singapore(新加坡国立大学);Zhejiang Gongshang University(浙江工商大学);Hefei University of Technology(合肥工业大学)
互联网上用户生成的视频的快速增长加剧了对基于文本的视频检索系统的需求。传统的方法主要倾向于基于概念的检索范式,简单的查询,这通常是无效的复杂查询,携带更复杂的语义。近年来,基于嵌入的范式已经成为一种流行的方法。它旨在将查询和视频映射到一个共享的嵌入空间中,在这个空间中,语义相似的文本和视频彼此更接近。尽管它很简单,但它放弃了对文本查询的语法结构的利用,使得它对复杂查询的建模不是最佳的。为了方便视频检索与复杂的查询,我们提出了一个树增强的跨模态编码方法,通过共同学习查询的语言结构和视频的时间表示。具体来说,给定一个复杂的用户查询,我们首先递归组成一个潜在的语义树结构描述的文本查询。然后,我们设计了一个树增强的查询编码器,以获得结构感知的查询表示和时间关注的视频编码器来模拟视频的时间特性。最后,查询和视频都被映射到一个联合嵌入空间进行匹配和排名。在这种方法中,我们有一个更好的理解和建模的复杂查询,从而实现了更好的视频检索性能。在大规模视频检索基准数据集上的实验证明了该方法的有效性。
2020-07-06 cs.CV
MUVR: A Multi-Modal Untrimmed Video Retrieval Benchmark with Multi-Level Visual Correspondence
MoE Key Laboratory of Brain-Machine Intelligence Technology, College of Artificial Intelligence, Nanjing University of Aeronautics and Astronautics(脑机智能技术MoE实验室,人工智能学院,南京航空航天大学);Nanjing University(南京大学);The Hong Kong Polytechnic University(香港理工大学)
提出多模态未裁剪视频检索任务及基准MUVR,通过多级视觉对应和多种查询方式,评估检索模型与多模态大模型,揭示其处理未裁剪视频和多模态查询的局限。
2025-10-24 cs.CV
Bridging Video-text Retrieval with Multiple Choice Questions
The University of Hong Kong(香港大学);ARC Lab(ARC实验室);UC Berkeley(加州大学伯克利分校);Content Understanding Center(内容理解中心);Tencent PCG(腾讯平台与内容事业群)
近年来,预训练模型来学习可转移的视频-文本表示以用于检索引起了很多关注。以往的主流检索方法主要采用两个独立的编码器进行检索,但忽略了视频和文本之间的局部关联。另一种研究使用联合编码器来将视频与文本进行交互,但由于每个文本-视频对都需要输入模型,因此效率很低。在这项工作中,我们使细粒度的视频-文本交互,同时保持高效率的检索通过一个新的借口任务,称为多项选择问题(MCQ),其中参数模块BridgeFormer的训练,以回答“问题”通过诉诸视频功能的文本功能构建。具体来说,我们利用文本的丰富语义(即,名词和动词)来构建问题,利用这些问题可以训练视频编码器以捕获更多的区域内容和时间动态。以问答的形式,可以适当地建立本地视频-文本特征之间的语义关联。BridgeFormer可以被移除用于下游检索,仅用两个编码器就可以渲染出高效灵活的模型。我们的方法在具有不同实验设置的五个数据集(即,zero-shot和微调),包括HowTo 100 M(一百万个视频)。我们进一步进行zero-shot动作识别,这可以投射为视频到文本检索,我们的方法也显着优于其同行。作为一个额外的好处,我们的方法在单模态下游任务上实现了具有竞争力的结果,例如,具有线性评价的动作识别。
2022-03-17 cs.CV
Not All Pairs are Equal: Hierarchical Learning for Average-Precision-Oriented Video Retrieval
UCAS(中国科学院大学);ICT, CAS(中国科学院自动化研究所);IIE, CAS(中国科学院工程热物理研究所);Peng Cheng Laboratory(鹏城实验室)
针对视频检索中训练目标与平均精度(AP)评估指标不一致的问题,提出分层学习框架HAP-VR,采用TopK-Chamfer相似度与QuadLinear-AP损失,并约束帧级相似度,在多个基准上超越现有方法。
2024-07-22 cs.CV
Retrieval-Augmented Egocentric Video Captioning
Fudan University(复旦大学);The University of Tokyo(东京大学);Nanjing University(南京大学);Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室)
针对第一人称视频行为理解的挑战,提出检索增强的多模态字幕模型EgoInstructor,通过自动检索第三人称教学视频增强效果,设计EgoExoNCE损失训练跨视角检索模块,在7个基准上取得优异性能,显著提升第一人称视频字幕生成质量。
2024-06-19 cs.CV
Video retrieval based on deep convolutional neural network
Beijing Institution of Technology(北京理工大学)
近年来,随着网络视频的迅猛增长,快速视频检索的研究受到越来越多的关注。作为图像哈希技术的扩展,传统的视频哈希方法主要依赖于手工制作的特征,并将实值特征转换为二进制哈希码。由于视频提供的视觉信息远比图像丰富和复杂,因此从视频中提取特征比从图像中提取特征更具挑战性。因此,需要高级语义特征来表示视频,而不是低级手工制作的方法。本文提出了一种深度卷积神经网络来提取高层语义特征,然后将二进制哈希函数集成到该框架中以实现端到端的优化。特别地,我们的方法还结合了三元组损失函数,它保留了视频和分类损失函数的相对相似性和差异作为优化目标。在两个公开数据集上进行了实验,结果表明,与其他最先进的视频检索方法相比,我们提出的方法的优越性。
2017-12-01 cs.CV
StreamKV: Streaming Video Question-Answering with Segment-based KV Cache Retrieval and Compression
本文提出无需训练的StreamKV框架,通过动态语义分段、分段级摘要向量检索和引导提示压缩KV缓存,并以层级自适应方式统一检索与压缩,显著提升流式视频问答的准确率、内存效率和计算延迟。
2025-11-10 cs.CV
VeRVE: Versatile Retrieval for Videos via Unified Embeddings
Georgia Institute of Technology(佐治亚理工学院);Amazon(亚马逊);Keystone AI
本文提出VeRVE框架,结合语义和时刻级检索能力,支持复杂多模态查询,通过对比对齐视觉和文本嵌入实现高效检索,优于其他多模态大语言模型方法。
2026-04-17 cs.CV
TS2-Net: Token Shift and Selection Transformer for Text-Video Retrieval
Renmin University of China(中国人民大学);Tencent(腾讯)
文本-视频检索是一项具有重要实用价值的研究课题,受到了越来越多的关注,其中学习时空视频表示是研究的热点之一。现有的视频检索模型中的视频编码器通常直接采用预先训练好的视觉骨干,网络结构固定,无法进一步改进以产生细粒度的时空视频表示。在本文中,我们提出了令牌移位和选择网络(TS 2-Net),一种新的令牌移位和选择Transformer架构,动态调整令牌序列,并选择信息令牌在时间和空间维度从输入视频样本。标记移位模块在相邻帧之间来回地在时间上移位整个标记特征,以保留完整的标记表示并捕获细微的运动。然后标记选择模块选择对局部空间语义贡献最大的标记。基于全面的实验,所提出的TS 2-Net在主要的文本视频检索基准上实现了最先进的性能,包括MSRVTT,VATEX,LSMDC,ActivityNet和DiDeMo的新记录。
2022-07-16 cs.CV
Semantic Video Moments Retrieval at Scale: A New Task and a Baseline
Rutgers University(罗格斯大学)
出于越来越多的需要,节省搜索工作,获得相关的视频剪辑,而不是整个视频,我们提出了一个新的任务,命名为语义视频检索矩的规模(SVMR),其目的是找到相关的视频,再加上重新定位的视频剪辑在他们。而不是一个简单的视频检索和视频重新定位的组合,我们的任务更具挑战性,因为几个重要方面。在第一阶段,我们的SVMR应该考虑到以下事实:1)一个积极的候选长视频可以包含大量的无关片段,这些片段在语义上也是有意义的。2)如果长视频包含与两个查询相关的剪辑,则其对于两个完全不同的查询剪辑可以是肯定的。第二重定位阶段还表现出与现有视频重定位任务不同的假设,现有视频重定位任务保持参考视频必须包含对应于查询片段的语义相似的片段的假设。相反,在我们的场景中,由于第一阶段的不准确性,检索到的长视频可能是误报。为了解决这些挑战,我们提出了我们的两个阶段的基线解决方案的候选视频检索,其次是一个新的基于注意力的查询参考语义对齐框架,重新定位目标剪辑从候选视频。此外,我们从现成的ActivityNet-1.3和HACS中构建了两个更合适的基准数据集,以全面评估SVMR模型。大量的实验表明,我们的解决方案优于几个参考解决方案。
2022-10-15 cs.CV
CoVA: Text-Guided Composed Video Retrieval for Audio-Visual Content
CoVA通过整合视频、音频和文本特征,解决音频视觉内容检索中的跨模态变化问题,提出AVT复合融合方法并构建AV-Comp基准。
2026-01-30 cs.CV
ConTra: (Con)text (Tra)nsformer for Cross-Modal Video Retrieval
University of Bristol(布里斯托大学)
在本文中,我们重新审视跨模态剪辑句子检索的任务,剪辑是一个较长的未修剪的视频的一部分。当剪辑很短或视觉上模糊时,可以使用其局部时间上下文(即周围的视频片段)的知识来提高检索性能。我们提出了上下文Transformer(ConTra),一个编码器架构,模型之间的互动视频剪辑和它的本地时间上下文,以提高其嵌入式表示。重要的是,我们监督上下文Transformer使用对比损失的跨模态嵌入空间。我们探索视频和文本形式的上下文Transformers。结果一致表明,在三个数据集上的性能有所提高:YouCook 2,EPIC-KITCHENS和ActivityNet Captions的剪辑句子版本。详尽的消融研究和上下文分析表明所提出的方法的有效性。
2022-10-09 cs.CV
Dual Encoding for Zero-Example Video Retrieval
Zhejiang Gongshang University(浙江工商大学);Renmin University of China(中国人民大学);Zhejiang University(浙江大学);Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院);Alibaba Group(阿里巴巴集团)
本文针对零示例视频检索这一具有挑战性的问题进行了研究。在这样的检索范例中,终端用户通过在没有提供视觉示例的情况下以自然语言文本描述的自组织查询来搜索未标记的视频。给定视频作为帧序列和查询作为词序列,需要有效的序列到序列跨模态匹配。大多数现有的方法是基于概念的,从查询和视频中提取相关概念,并相应地建立两种模式之间的关联。相比之下,本文采用了一种无概念的方法,提出了一种双重深度编码网络,将视频和查询编码为它们自己的强大密集表示。双重编码在概念上简单,实际上有效并且是端到端的。在MSR-VTT、TRECVID 2016和2017 Ad-hoc视频搜索三个基准测试上的实验表明,该解决方案为零示例视频检索建立了一种新的最先进的技术。
2019-03-19 cs.CV
Deep Learning for Video-Text Retrieval: a Review
Dalian University of Technology(大连理工大学);National University of Defense Technology(国防科技大学)
视频文本检索(VTR)的目的是在给定的句子中搜索与语义相关的最相关的视频,反之亦然。一般来说,这个检索任务由四个连续的步骤组成:视频和文本特征表示提取,特征嵌入和匹配,以及目标函数。最后,从数据集中检索到的样本列表根据它们与查询的匹配相似性进行排名。近年来,深度学习技术取得了长足的进步,但如何有效地学习时空视频特征、如何缩小跨模态差异等问题仍是视频重建中的一个挑战。在本次调查中,我们回顾和总结了100多篇与VTR相关的研究论文,展示了几个常用基准数据集的最新性能,并讨论了潜在的挑战和方向,以期为视频文本检索领域的研究人员提供一些见解。
2023-02-24 cs.CV
MILES: Visual BERT Pre-training with Injected Language Semantics for Video-text Retrieval
The University of Hong Kong(香港大学);ARC Lab(ARC实验室);UC Berkeley(加州大学伯克利分校);National University of Singapore(新加坡国立大学);Tsinghua University(清华大学);Tencent PCG(腾讯平台与内容事业群)
视频-文本检索的主要预训练工作主要采用“双编码器”架构来实现高效检索,其中两个单独的编码器用于对比全局视频和文本表示,但忽略了详细的局部语义。最近成功的图像BERT预训练与掩蔽的视觉建模,促进学习的本地视觉上下文,激发一个可能的解决方案,以解决上述限制。在这项工作中,我们第一次调查掩蔽视觉建模在视频文本预训练与“双编码器”架构。我们采用额外的快照视频编码器作为一个不断发展的“tokenizer”,以产生掩模视频补丁预测的重建目标,执行掩蔽的视觉建模与注入的语义(MILES)。给定损坏的视频,视频编码器被训练为通过沿着空间和时间维度与可见区域进行推理来恢复被掩蔽的补丁的文本对齐特征,这增强了局部视觉特征的区分度和细粒度的跨模态对齐。我们的方法优于国家的最先进的方法,文本到视频检索四个数据集与zero-shot和微调评估协议。在zero-shot动作识别方面,我们的方法也明显优于基线模型,可以作为视频到文本的检索。
2022-04-26 cs.CV
Are All Combinations Equal? Combining Textual and Visual Features with Multiple Space Learning for Text-Based Video Retrieval
CERTH-ITI(希腊研究与技术中心-信息技术研究所)
在本文中,我们解决跨模态视频检索问题,更具体地说,我们专注于文本到视频检索。我们研究如何最佳地将多个不同的文本和视觉特征组合成特征对,从而生成多个联合特征空间,将文本-视频对编码成可比较的表示。为了学习这些表示,我们提出的网络架构是通过多空间学习过程进行训练的。此外,在检索阶段,我们引入了额外的softmax操作来修改推断的查询视频相似性。在基于三个大规模数据集(IACC.3,V3 C1和MSR-VTT)的几个设置中进行了广泛的实验,得出了关于如何最好地结合文本视觉特征和记录所提出的网络性能的结论。源代码可在https://github.com/bmezaris/TextToVideoRetrieval-TtimesV上公开获取
2022-11-21 cs.CV
An Empirical Study of Frame Selection for Text-to-Video Retrieval
Soochow University(苏州大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
本文首次系统实证研究文本到视频检索中的帧选择问题,分类并分析六种方法,证明合适的帧选择可在不损失性能的前提下显著提升检索效率。
2023-11-01 cs.CV
Training-Free Composed Video Retrieval via Visual Representation-Guided Video-LLM Reasoning
School of Computer Science and Technology, University of Chinese Academy of Sciences(中国科学院大学计算机科学与技术学院);State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院人工智能安全国家重点实验室);Beijing Academy of Artificial Intelligence(北京人工智能研究院);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络安全学院)
提出无训练框架,先利用冻结DINOv3模型筛选视觉相关候选,再通过大视觉语言模型评估指令匹配,最后推理精化,在CVPR 2026挑战赛中取得48.78 Recall@1和51.48 Recall@5。
2026-06-01 cs.CV
SCANet: Scene Complexity Aware Network for Weakly-Supervised Video Moment Retrieval
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
针对弱监督视频时刻检索中现有提案未考虑视频场景数量变化的问题,提出SCANet,通过测量视频场景复杂度生成自适应提案,在三个基准上取得最先进性能。
2025-04-14 cs.CV
Video-adverb retrieval with compositional adverb-action embeddings
University of Tübingen(蒂宾根大学);MPI for Intelligent Systems(智能系统马克斯·普朗克研究所)
提出在联合嵌入空间中对齐视频与组合式副词-动作文本嵌入的检索框架,结合残差门控、三元组损失和回归目标,在五个基准及未见组合泛化任务上达到最优。
2023-09-26 cs.CV
Bag of Genres for Video Retrieval
SAMSUNG Research Institute(三星研究院)
通常,视频由多个概念甚至流派组成。例如,新闻视频可能包含体育、动作、自然等。因此,以紧凑且有效的表示对这些概念/流派的分布进行编码是一项具有挑战性的任务。在这个意义上,我们提出了袋的流派表示,这是基于一个视觉词典定义的流派分类。每个视觉词对应于分类空间中的区域。类别包视频矢量包含视频内容中每个类别的激活摘要。我们评估了所提出的方法,使用MediaEval标记任务的数据集2012年的视频类型检索和视频事件检索使用EVVE数据集。结果表明,所提出的方法实现的结果相当或优于国家的最先进的方法,提供了一个更紧凑的表示比现有的功能的优势。
2020-12-26 cs.CV
AdaVideoRAG: Omni-Contextual Adaptive Retrieval-Augmented Efficient Long Video Understanding
Zhejiang University(浙江大学);Youtu Lab, Tencent(腾讯优图实验室);Huazhong University of Science and Technolog(华中科技大学);Nanyang Technological University(南洋理工大学)
AdaVideoRAG通过自适应检索增强框架提升长视频理解效率与准确性,支持多层级知识检索与深度语义分析。
2025-11-23 cs.CV
Fashion Focus: Multi-modal Retrieval System for Video Commodity Localization in E-commerce
Machine Intelligence Technology Lab, Alibaba Group(阿里巴巴集团机器智能技术实验室)
如今,电子商业中的直播、短视频购物呈指数级增长。然而,卖家需要手动地将销售产品的图像与未经修剪的视频中的展示的时间戳进行匹配,导致复杂的过程。为了解决这个问题,我们提出了一个创新的演示多模态检索系统称为“时尚焦点”,它能够准确地定位产品图像在在线视频的焦点。不同的模态有助于社区本地化,包括视觉内容,语言特征和交互上下文通过提出的多模态学习联合调查。我们的系统采用两个程序进行分析,包括视频内容结构化和多模态检索,自动实现准确的视频到商店的匹配。Fashion Focus提供了一个统一的框架,可以在观看视频时将消费者定向到相关的产品展示,并帮助卖家通过搜索和推荐有效地交付产品。
2021-02-09 cs.CV
A Large Cross-Modal Video Retrieval Dataset with Reading Comprehension
University of Chinese Academy of Sciences(中国科学院大学);National University of Singapore(新加坡国立大学);Zhejiang University(浙江大学);Kuaishou Technology(快手科技);Huazhong University of Science and Technology(华中科技大学)
本研究提出了具备文本阅读理解能力的大规模跨模态视频检索数据集TextVR,设计了对应的多模态检索基线,实验表明该基准为视频与语言领域带来了新的技术挑战与研究洞见。
2023-05-05 cs.CV
VVS: Video-to-Video Retrieval with Irrelevant Frame Suppression
Sejong University(世宗大学);NAVER Vision
针对基于视频级特征的CBVR检索精度不足的问题,提出端到端VVS框架,通过无关帧抑制提升未修剪视频的表征效果,在保持快推理的同时实现接近帧级方法的检索性能,达视频级方法SOTA。
2023-12-19 cs.CV
Human-in-the-loop Adaptation in Group Activity Feature Learning for Team Sports Video Retrieval
Toyota Technological Institute(丰田技术研究所);University of Hyogo(兵库大学)
本文提出一种人机协同适应方法,通过交互式微调优化群体活动特征学习,提升团队体育视频检索性能。
2026-02-03 cs.CV
Multi-modal Transformer for Video Retrieval
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LJK(让·昆茨曼实验室);Google Research(谷歌研究院)
检索与自然语言查询相关的视频内容的任务在有效处理互联网规模的数据集方面起着关键作用。大多数现有的方法,这个标题到视频检索问题没有充分利用跨模态提示存在于视频。此外,他们聚合每帧的视觉功能有限或没有时间信息。在本文中,我们提出了一个多模态的Transformer联合编码的不同形式的视频,这使得他们中的每一个参加其他。还利用Transformer架构对时间信息进行编码和建模。在自然语言方面,我们研究了联合优化语言嵌入和多模态Transformer的最佳实践。这个新的框架使我们能够在三个数据集上建立最先进的视频检索结果。更多详情请访问http://thoth.inrialpes.fr/research/MMT。
2020-07-21 cs.CV
Efficient Cross-Modal Video Retrieval with Meta-Optimized Frames
Hunan University(湖南大学);University of Science and Technology of China(中国科学技术大学);Singapore Management University(新加坡管理大学)
跨模态视频检索是多媒体领域的一项基本任务,其目标是在给定文本的条件下检索出语义相关的视频。大多数性能最好的方法主要利用Visual Transformer(ViT)来提取视频特征[1,2,3],遭受ViT的高计算复杂性,特别是对于编码长视频。一个常见且简单的解决方案是从视频中统一采样少量(例如4或8)帧(而不是使用整个视频)作为ViT的输入。帧的数量对ViT的性能有很大的影响,例如,使用8帧比使用4帧执行得更好,但需要更多的计算资源,从而导致折衷。为了摆脱这种折衷,本文介绍了一种基于双层优化程序(BOP)的自动视频压缩方法,该双层优化程序包括模型级(即,基本级)和帧级(即,元级)优化。模型级学习跨模态视频检索模型,其输入是通过帧级优化学习的“压缩帧”。进而,帧级优化是通过使用在整个视频上计算的视频检索模型的Meta丢失的梯度下降。我们将此BOP方法以及“压缩帧”称为元优化帧(MOF)。通过结合MOF,视频检索模型能够利用整个视频的信息(用于训练),而在实际实现中仅需要少量的输入帧。MOF的收敛性由Meta梯度下降算法保证。为了进行评估,我们在三个大规模的基准测试中进行了广泛的跨模态视频检索实验:MSR-VTT,MSVD和DiDeMo。我们的研究结果表明,MOF是一种通用的和有效的方法,以提高多个基线的方法,并可以实现一个新的国家的最先进的性能。
2022-10-16 cs.CV
MDMMT-2: Multidomain Multimodal Transformer for Video Retrieval, One More Step Towards Generalization
Huawei(华为)
在这项工作中,我们提出了一个新的国家的最先进的文本到视频检索任务的MSR-VTT,LSMDC,MSVD,YouCook 2和TGIF获得一个单一的模型。三种不同的数据源相结合:弱监督的视频,人群标记的文本图像对和文本视频对。仔细分析可用的预训练网络有助于选择最佳的先验知识网络。我们引入了三阶段的训练过程,提供了高的知识转移效率,并允许在训练过程中使用噪声数据集,而不会降低先验知识。此外,双位置编码用于更好地融合不同的模态和非方输入处理的一个简单的方法提出。
2022-03-14 cs.CV
CurvSpec: Adaptive Multi-Curvature Learning for Partial Relevant Video Retrieval
Tongji University(同济大学);SIGS, Tsinghua University(清华大学深圳国际研究生院);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
CurvSpec提出内容自适应曲率学习框架,通过并行欧几里得与双曲注意力及语义质心匹配,解决部分相关视频检索中的信号稀释与曲率刚性挑战,在三个基准上达到最优性能。
2026-09-30 cs.CV
Compression and Retrieval: Implicit Memory Retrieval for Video World Models
Huazhong University of Science and Technology(华中科技大学);HUJING Digital Media & Entertainment Group(虎鲸数字媒体与娱乐集团);Sun Yat-sen University(中山大学)
提出注意力驱动的隐式记忆检索机制CaR,通过位置编码注入视角信息实现灵活检索,并引入轻量级上下文压缩网络,在构建的SceneFly数据集上取得SOTA结果并展现强泛化性。
2026-06-23 cs.CV
Encode the Unseen: Predictive Video Hashing for Scalable Mid-Stream Retrieval
ICube, University of Strasbourg, CNRS, IHU Strasbourg(斯特拉斯堡大学ICube实验室、法国国家科学研究中心、斯特拉斯堡大学医院研究所)
本文研究了计算机视觉中的一个新问题:中间流视频到视频检索。该任务包括在数据库中搜索与正在播放的视频(例如来自直播流)相似的内容,该任务表现出具有挑战性的特性。只有视频的开始部分可用作查询,并且随着视频播放,不断添加新帧。为了在这种要求苛刻的情况下执行检索,我们提出了一种基于二进制编码器的方法,该方法既具有预测性又具有增量性,以便(1)在查询时考虑丢失的视频内容,以及(2)在整个流媒体中跟上重复的、不断演变的查询。特别是,我们提出了第一个哈希框架,推断出目前播放的视频看不见的未来内容。在FCVID和ActivityNet上的实验证明了该任务的可行性。我们的方法还产生了显着的mAP@20性能提高相比,从文献中改编为这项任务的基线,例如7.4%(2.6%)增加20%(50%)的运行时间FCVID使用大小为192位的位代码。
2020-10-02 cs.CV
Towards Scalable Video Anomaly Retrieval: A Synthetic Video-Text Benchmark
Xi’an Jiaotong University(西安交通大学);Hefei University of Technology(合肥工业大学);University of Macau(澳门大学)
本文提出首个大规模合成视频-文本异常检索基准SVTA,利用LLM和生成模型构建含41,315个视频的数据集,覆盖68类异常和30类正常活动,以解决数据稀缺与隐私问题并验证跨模态检索方法。
2025-06-02 cs.CV