Content-based Video Indexing and Retrieval Using Corr-LDA
Carnegie Mellon University(卡内基梅隆大学);Technicolor(特艺集团);NITK Surathkal(苏拉特卡尔国家技术学院);NIT Tiruchirappalli(蒂鲁吉拉伯利国家技术学院)
现有的基于Web的多媒体共享网站上的视频索引和检索方法是基于用户提供的稀疏标记。本文提出了一种非常具体的方式搜索视频剪辑,基于视频的内容。我们提出了我们的工作基于内容的视频索引和检索使用的对应潜在狄利克雷分配(corr-LDA)概率框架。这是一个模型,提供了自动注释的视频在数据库中的文本描述符,并带来了额外的好处,利用视频和文本的内容之间的语义关系。我们使用corr-LDA提供的概念级匹配来建立文本和多媒体之间的对应关系,以提高准确性检索内容的目标。在我们的实验中,我们只使用单个录音的音频分量,并将我们的结果与基于SVM的方法进行比较。
2019-11-19 cs.CV cs.IR
Dialogue-to-Video Retrieval
Dublin City University(都柏林城市大学)
近年来,网络上的对话/对话越来越多,特别是在社交媒体上。这启发了基于对话的检索的发展,其中基于对话的视频检索越来越受到推荐系统的关注。与其他视频检索任务不同,对话到视频检索使用用户生成的对话形式的结构化查询作为搜索描述符。我们提出了一种新的对话到视频检索系统,将结构化的会话信息。在AVSD数据集上进行的实验表明,我们提出的使用纯文本查询的方法在R@1上比以前的对应模型提高了15.8%。此外,我们的方法使用对话作为一个查询,提高检索性能的4.2%,6.2%,8.6%,在R@1,R@5和R@10上的最先进的模型分别为0.7%,3.6%和6.0%。
2023-03-23 cs.AI cs.IR
RoME: Role-aware Mixture-of-Expert Transformer for Text-to-Video Retrieval
随着社交渠道的普及,每天都有大量的视频上传;因此,通过用户文本查询检索最相关的视频内容起着更重要的作用。大多数方法只考虑全局视觉和文本特征之间的一个联合嵌入空间,而没有考虑每个模态的局部结构。其他一些方法分别考虑由全局和局部特征组成的多个嵌入空间,忽略了丰富的模态间相关性。我们提出了一种新的混合专家Transformer罗马,解开的文本和视频到三个层次的角色的空间背景,时间背景和对象的背景。我们利用一个基于transformer的注意力机制,充分利用视觉和文本嵌入在全球和当地的水平与混合的专家考虑之间的模态和结构的相关性。结果表明,我们的方法在YouCook 2和MSR-VTT数据集上的表现优于最先进的方法,给定相同的视觉骨干而无需预训练。最后,我们进行了广泛的消融研究,以阐明我们的设计选择。
2022-06-26 cs.CV cs.IR cs.LG
Semantic Role Aware Correlation Transformer for Text to Video Retrieval
Institute for Infocomm Research, A*STAR(A*STAR资讯通信研究院);School of Computer Science and Engineering, NTU(南洋理工大学计算机科学与工程学院);Department of Computer Science, National University of Singapore(新加坡国立大学计算机科学系)
随着社交媒体的出现,每天都会上传大量的视频片段,使用语言查询检索最相关的视觉内容变得至关重要。大多数方法的目标是学习一个联合嵌入空间的纯文本和视觉内容,没有充分利用其内部的模态结构和模态间的相关性。本文提出了一种新的Transformer,它将文本和视频明确地分解为对象、空间上下文和时间上下文的语义角色,并通过注意力机制来学习这三种角色之间的角色内和角色间的相关性,从而发现不同层次的区分特征进行匹配。在流行的YouCook2上的初步结果表明,我们的方法超越了当前最先进的方法,在所有指标上都有很高的利润率。它还在两个指标方面超过了两个SOTA方法。
2022-06-26 cs.CV cs.IR cs.LG
A Flexible and Scalable Framework for Video Moment Search
Nanyang Technological University(南洋理工大学);SenseTime Research(商汤科技研究院)
针对视频时刻搜索中长视频处理低效和单时刻假设的问题,提出 SPR 三阶段框架,通过片段检索、候选生成与重排序实现任意长度视频的可扩展 RVMR,并在 TVR-Ranking 上取得最优性能。
2025-01-09 cs.CV cs.IR
Retrieving Complex Tables with Multi-Granular Graph Representation Learning
University of Southern California(南加州大学)
自然语言表检索(NLTR)的任务是基于自然语言查询来检索语义相关的表。现有的用于此任务的学习系统通常基于表格被构造为多个框架的假设将表格视为纯文本。但是,表可以具有复杂的布局,这表明子表结构之间存在不同的依赖关系,例如嵌套的标题。因此,查询可能涉及跨这些结构分布的相关内容的不同跨度。此外,这样的系统无法推广到训练集之外的新场景。先前的方法仍然远离NLTR问题的可推广的解决方案,因为它们在处理复杂的表布局或多粒度查询方面存在不足。为了解决这些问题,我们提出了基于图的表检索(GTR),一个具有多粒度图表示学习的可推广的NLTR框架。在我们的框架中,一个表首先被转换成一个表格图,单元格节点,行节点和列节点,以捕捉不同粒度的内容。然后,表格图被输入到Graph Transformer模型,该模型可以捕获表格单元格内容和布局结构。为了增强模型的鲁棒性和通用性,我们进一步引入了基于图上下文匹配的自监督预训练任务。两个基准测试的实验结果表明,我们的方法导致显着的改进,目前国家的最先进的系统。进一步的实验表明,我们的方法在跨数据集的推广,并增强了处理复杂的表和满足不同的查询意图的能力有前途的性能。代码和数据可在https://github.com/FeiWang96/GTR上获得。
2021-05-04 cs.AI cs.CL cs.IR
Efficient Searching and Retrieval of Documents in PROSA
在分布式环境中检索资源比在集中式数据库中查找数据更困难。在过去的十年中,P2P系统出现了新的和有效的分布式资源共享的架构,但在这样的环境中搜索可能是困难的和耗时的。在本文中,我们讨论了资源发现的效率PROSA,自组织的P2P系统深受社交网络的启发。PROSA中的所有路由选择都是在本地进行的,只考虑下一个对等体与每个查询的相关性。我们表明,PROSA是能够有效地回答查询罕见的文件,转发它们通过最方便的路径,很可能共享匹配的资源节点。这一结果与PROSA中自然出现的小世界结构密切相关。
2007-02-22 cs.DC cs.IR
VideoRAG: Retrieval-Augmented Generation over Video Corpus
KAIST(韩国科学技术院)
本文提出VideoRAG框架,通过大视频语言模型动态检索并利用视频的视觉与文本信息进行检索增强生成,并引入帧选择与文本提取机制,有效提升了视频问答的准确性与多模态丰富度。
2025-05-28 cs.AI cs.CL cs.CV
Effective Distributed Representations for Academic Expert Search
University of Amsterdam(阿姆斯特丹大学);Zeta Alpha Vector(泽塔阿尔法向量公司)
专家搜索旨在根据用户的查询查找专家并对其进行排名。在学术界,检索专家是浏览大量学术知识的有效方法。在这里,我们研究如何不同的分布式表示的学术论文(即嵌入)影响学术专家检索。我们使用Microsoft Academic Graph数据集,并对以文档为中心的投票模型的不同配置进行了实验。特别是,我们探讨了使用上下文嵌入对搜索性能的影响。我们还介绍了通过改造纳入引用信息的论文嵌入的结果。此外,实验进行了使用不同的技术分配作者的权重的基础上,作者顺序。我们观察到,使用上下文嵌入由一个Transformer模型训练句子相似性任务产生最有效的文件表示为中心的专家检索。然而,改造论文嵌入和使用精心设计的作者贡献加权策略并没有提高检索性能。
2020-10-16 cs.AI cs.CL cs.IR
MLT-Dedup: Efficient Large-Scale Online Video Deduplication via Multi-Level Representations and Spatial-Temporal Matching
TikTok Singapore(TikTok新加坡);School of Computing, National University of Singapore(新加坡国立大学计算机学院);TikTok San Jose(TikTok圣何塞)
提出MLT-Dedup框架,采用多级视频编码器提取细粒度帧级和稀疏片段级嵌入,结合差分特征增强相似性模块进行时空匹配,在90%精度下降低在线重复率91%,索引容量提升5倍。
2026-06-11 cs.CV cs.IR cs.LG
WorldMM: Dynamic Multimodal Memory Agent for Long Video Reasoning
KAIST(韩国科学技术院);NTU Singapore(新加坡南洋理工大学)
WorldMM通过构建和检索多种互补记忆,提升长视频推理能力,实现8.4%的性能提升。
2026-03-27 cs.AI cs.CL cs.CV
FedVMR: A New Federated Learning method for Video Moment Retrieval
Shandong University(山东大学);University of Queensland(昆士兰大学);Shandong Jianzhu University(山东建筑大学)
尽管取得了巨大的成功,现有的视频时刻检索(VMR)的方法开发的假设下,数据集中存储。然而,在现实应用中,由于数据生成的固有性质和隐私问题,数据往往分布在不同的孤岛上,这给有效的大规模培训带来了巨大的挑战。在这项工作中,我们试图通过利用最近成功的联邦学习来克服上述限制。作为VMR领域的第一个探索,新的任务被定义为分布式数据的视频时刻检索。然后,提出了一种新的联邦学习方法FedVMR,以促进在分散环境中的大规模和安全的VMR模型的训练。在基准数据集上的实验证明了该方法的有效性。这项工作是第一次尝试在分散场景中实现安全有效的VMR训练,希望为相关研究领域的进一步研究铺平道路。
2022-10-28 cs.CV cs.IR cs.MM