College of Computer and Information Engineering, Zhejiang Gongshang University（浙江工商大学计算机与信息工程学院）；Renmin University of China（中国人民大学）；School of Computing, National University of Singapore（新加坡国立大学计算机学院）；School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机与信息工程学院）
Jianfeng Dong, Xirong Li, Chaoxi Xu, Xun Yang, Gang Yang, Xun Wang, Meng Wang
This paper attacks the challenging problem of video retrieval by text. In such a retrieval paradigm, an end user searches for unlabeled videos by ad-hoc queries described exclusively in the form of a natural-language sentence, with no visual example provided. Given videos as sequences of frames and queries as sequences of words, an effective sequence-to-sequence cross-modal matching is crucial. To that end, the two modalities need to be first encoded into real-valued vectors and then projected into a common space. In this paper we achieve this by proposing a dual deep encoding network that encodes videos and queries into powerful dense representations of their own. Our novelty is two-fold. First, different from prior art that resorts to a specific single-level encoder, the proposed network performs multi-level encoding that represents the rich content of both modalities in a coarse-to-fine fashion. Second, different from a conventional common space learning algorithm which is either concept based or latent space based, we introduce hybrid space learning which combines the high performance of the latent space and the good interpretability of the concept space. Dual encoding is conceptually simple, practically effective and end-to-end trained with hybrid space learning. Extensive experiments on four challenging video datasets show the viability of the new method.
Information Technologies Institute (ITI)（信息技术研究所（ITI））；Centre for Research and Technology Hellas (CERTH)（希腊研究与技术中心（CERTH））；Queen Mary University of London（伦敦玛丽女王大学）
Marine Video Kit: A New Marine Video Dataset for Content-based Analysis and Retrieval
Hong Kong University of Science and Technology（香港科技大学）；Charles University（查理大学）；Shenzhen University（深圳大学）
有效分析不寻常的特定领域的视频集合代表了一个重要的实际问题，其中最先进的通用模型仍然面临着局限性。因此，需要设计基准数据集，以挑战具有额外约束的特定领域的新的强大模型。重要的是要记住，特定于域的数据可能更嘈杂（例如，内窥镜或水下视频），并且通常需要更有经验的用户进行有效搜索。在本文中，我们专注于从水下环境中的移动摄像机拍摄的单镜头视频，这构成了一个不平凡的挑战，为研究目的。新的Marine Video Kit数据集的第一个碎片旨在解决视频检索和其他计算机视觉挑战。我们的数据集在视频浏览器摊牌2023期间的一个特殊会议中使用。除了基本的元数据统计，我们提出了一些见解的基础上，低层次的功能，以及选定的关键帧的语义注释。分析还包含实验显示的局限性，尊敬的通用模型检索。我们的数据集和代码可在https://hkust-vgd.github.io/marinevideokit上公开获取。
Video-ColBERT: Contextualized Late Interaction for Text-to-Video Retrieval
Johns Hopkins Applied Physics Laboratory（约翰霍普金斯应用物理实验室）；Johns Hopkins University（约翰霍普金斯大学）；Human Language Technology Center of Excellence（人类语言技术卓越中心）；DEVCOM Army Research Laboratory（陆军研究实验室）
Generative Ghost: Investigating Ranking Bias Hidden in AI-Generated Videos
State Key Lab of AI Safety, Institute of Computing Technology, CAS（人工智能安全国家重点实验室，计算技术研究所，中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；National University of Singapore（新加坡国立大学）
Fine-Grained Instance-Level Sketch-Based Video Retrieval
Nanyang Technological University（南洋理工大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；University of Surrey（萨里大学）；University of Edinburgh（爱丁堡大学）
Uncertainty-aware sign language video retrieval with probability distribution modeling
College of Computer Science, Sichuan University（四川大学计算机学院）；Peking University（北京大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
Exploiting Semantic Role Contextualized Video Features for Multi-Instance Text-Video Retrieval EPIC-KITCHENS-100 Multi-Instance Retrieval Challenge 2022
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；School of Computer Science and Engineering, NTU（南洋理工大学计算机科学与工程学院）
ViSeRet: A simple yet effective approach to moment retrieval via fine-grained video segmentation
Twelve Labs；KAIST（韩国科学技术院）
视频文本检索有许多现实世界的应用，如媒体分析，监控和机器人。本文介绍了ICCV Value Challenge 2021视频检索赛道的第一名解决方案。我们提出了一个简单而有效的方法来联合处理两个视频文本检索任务（视频检索和视频语料库矩检索），利用模型只训练视频检索任务。此外，我们还创建了一个集成模型，在Value Challenge中提出的所有四个数据集（TVr，How2r，YouCook2r和VATEXr）上实现了最先进的性能。
Video Corpus Moment Retrieval with Contrastive Learning
Nanyang Technological University（南洋理工大学）；Institute of Infocomm Research, A*STAR（信息通信研究院，新加坡科技研究局）；Singapore University of Technology and Design（新加坡科技设计大学）；Institute of High Performance Computing, A*STAR（高性能计算研究所，新加坡科技研究局）
Zhejiang Gongshang University（浙江工商大学）；Renmin University of China（中国人民大学）；Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）；Alibaba Group（阿里巴巴集团）
T2VIndexer: A Generative Video Indexer for Efficient Text-Video Retrieval
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；School of Cyberspace Science and Technology, Beijing Institute of Technology（北京理工大学网络空间科学与技术学院）；Université de Montréal（蒙特利尔大学）；Mila（米拉计算科学研究所）；Australia Institute of Machine Learning, University of Adelaide（阿德莱德大学澳大利亚机器学习研究所）
