In this paper, we propose a novel method for video moment retrieval (VMR) that achieves state of the arts (SOTA) performance on R@1 metrics and surpassing the SOTA on the high IoU metric (R@1, IoU=0.7).
First, we propose to use a multi-head self-attention mechanism, and further a cross-attention scheme to capture video/query interaction and long-range query dependencies from video context. The attention-based methods can develop frame-to-query interaction and query-to-frame interaction at arbitrary positions and the multi-head setting ensures the sufficient understanding of complicated dependencies. Our model has a simple architecture, which enables faster training and inference while maintaining .
Second, We also propose to use multiple task training objective consists of moment segmentation task, start/end distribution prediction and start/end location regression task. We have verified that start/end prediction are noisy due to annotator disagreement and joint training with moment segmentation task can provide richer information since frames inside the target clip are also utilized as positive training examples.
Third, we propose to use an early fusion approach, which achieves better performance at the cost of inference time. However, the inference time will not be a problem for our model since our model has a simple architecture which enables efficient training and inference.
Sign Language Video Retrieval with Free-Form Textual Queries
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）；University of Cambridge（剑桥大学）；Institut de Robòtica i Informàtica Industrial, CSIC-UPC（工业机器人与信息技术研究所（西班牙国家研究委员会-加泰罗尼亚理工大学））；École des Ponts（巴黎桥路学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）
SEA: Sentence Encoder Assembly for Video Retrieval by Textual Queries
Renmin University of China（中国人民大学）
通过文本查询来检索无标签视频，称为Ad-hoc Video Search（AVS），是多媒体数据管理和检索的核心主题。AVS的成功依赖于跨模态表示学习，该学习将查询语句和视频编码到公共空间中以进行语义相似度计算。受先前少数作品在结合多个句子编码器方面取得的初步成功的启发，本文通过开发一种新的通用方法来有效地利用不同的句子编码器，向前迈出了一步。所提出的方法，我们术语句子编码器组件（SEA）的新颖性，是双重的。首先，与仅使用单个公共空间的现有技术不同，SEA支持多个编码器特定的公共空间中的文本-视频匹配。这样的属性防止匹配被产生比其他编码器长得多的编码向量的特定编码器支配。其次，为了探索个体公共空间之间的互补性，我们提出了多空间多损失学习。在MSR-VTT、TRECVID AVS 2016-2019、TGIF和MSVD四个基准测试上的大量实验表明，SEA超越了最先进的水平。此外，SEA非常容易实现。所有这些都使SEA成为AVS的一个有吸引力的解决方案，并有希望通过收获新的句子编码器来不断推进任务。
FreestyleRet: Retrieving Images from Style-Diversified Queries
Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Peng Cheng Laboratory（鹏城实验室）；Tsinghua University（清华大学）
Efficient Media Retrieval from Non-Cooperative Queries
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；eBay Research Labs（eBay研究实验室）
文本在人工世界中无处不在，当涉及到书名和作者姓名时，文本很容易获得。使用来自Stanford Mobile Visual Search数据集的书籍封面集的图像以及来自openlibrary.org的其他书籍封面和元数据，我们构建了一个大规模的书籍封面检索数据集，每个数据集包含10万个干扰项封面以及标题和作者字符串。由于我们的查询图像是不好的条件，干净的文本提取，我们提出了一种方法，用于提取匹配的噪声和错误的OCR读数，并匹配它对干净的作者和书名字符串在一个标准的文档查找问题设置。最后，我们演示了如何使用这种文本匹配作为一个功能，结合流行的检索功能，如VLAD使用一个简单的学习设置，以实现检索精度的显着改善，无论是VLAD或单独的文本。
EvdCLIP: Improving Vision-Language Retrieval with Entity Visual Descriptions from Large Language Models
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Peng Cheng Laboratory（鹏城实验室）；School of Computer Science & Tech, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院）；College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机与软件学院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Hong Kong University of Science and Technology（香港科技大学）
Zhejiang Gongshang University（浙江工商大学）；Renmin University of China（中国人民大学）；Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）；Alibaba Group（阿里巴巴集团）
BRIDGE: Multimodal-to-Text Retrieval via Reinforcement-Learned Query Alignment
High institute for computer & information systems（高等计算机与信息系统学院）；Chungbuk National University（忠北大学）；Assiut University（艾斯尤特大学）；University of Innsbruck（因斯布鲁克大学）
