舞蹈视频标注的语义建模与检索

一种基于主动学习的有效视频标注和检索方法

An Active Learning Based Approach For Effective Video Annotation And Retrieval

传统的多媒体注释/检索系统，如归一化连续相关模型（NormCRM）[16]，需要一个完全标记的训练数据的良好性能。通过确定用于标记训练数据的顺序，主动学习允许甚至在训练数据被完全注释之前的良好性能。在这项工作中，我们提出了一个主动学习算法，它结合了一种新的措施，样本的不确定性与一种新的基于聚类的方法来确定样本密度和多样性，并将其与NormCRM。聚类也被迭代地细化，以确保样本之间的特征和标签级别的一致性。我们表明，我们的方法优于多个基线上最近，开放的角色动画数据集和流行的TRECVID语料库在这两个任务的注释和基于文本的检索视频。

基于点级监督的更快视频时刻检索

Faster Video Moment Retrieval with Point-Level Supervision

提出CFMR方法，通过点级监督降低标注成本，并设计基于概念的多模态对齐机制绕过跨模态交互模块，在保持检索精度的同时显著提升效率。

一种新的视频时间标注方法

A Novel Approach for Video Temporal Annotation

计算、通信和数据存储方面的最新进展已经导致越来越多的大型数字图书馆在因特网上公开可用。基于内容的视频检索的主要问题是从原始视频数据中推断语义。视频数据在这些图书馆中发挥着重要作用。视频检索系统处理的不是文字，而是视频记录的集合。因此，系统面临着视频理解的问题。由于视频数据的机器理解仍然是一个尚未解决的研究问题，通常使用文本注释来描述视频数据的内容，根据注释者的理解和视频数据的目的。大多数提出的视频注释系统是域相关的。此外，在这些系统中的许多系统中，视频数据的重要特征，即时间性，被忽视。在本文中，我们提出了一个框架，视频时间标注。该系统使用领域知识和时间本体来执行输入视频的时间注释。

面向电影制作中视频检索的具备语义理解的元数据生成系统

A Metadata Generation System with Semantic Understanding for Video Retrieval in Film Production

本文提出一种集成语义标注模型与用户需求导向信息融合的自动化元数据生成系统，用于电影制作中大规模原始视频检索，并在Film-RVSAD和SBTD两个基准数据集上验证了其有效性。

基于语义完备网络的弱监督视频矩检索

Weakly-Supervised Video Moment Retrieval via Semantic Completion Network

视频时刻检索是指从给定的自然语言查询中搜索出与该查询最相关的时刻。现有的方法大多是在完全监督的环境中训练的，这需要每个查询的时间边界的完整注释。然而，手动标记注释实际上是耗时且昂贵的。在本文中，我们提出了一种新的弱监督矩检索框架，只需要粗略的视频级注释进行训练。具体来说，我们设计了一个建议生成模块，聚合的上下文信息生成和评分的所有候选人的建议，在一个单一的通行证。然后，我们设计了一个算法，同时考虑开发和探索，以选择前K的建议。接下来，我们建立一个语义完成模块来衡量所选择的建议和查询之间的语义相似度，计算奖励，并提供反馈给建议生成模块进行评分细化。在ActivityCaptions和Charades-STA上的实验证明了我们提出的方法的有效性。

See What You See: Self-supervised Cross-modal Retrieval of Visual Stimuli from Brain Activity

Recent studies demonstrate the use of a two-stage supervised framework to generate images that depict human perception to visual stimuli from EEG, referring to EEG-visual reconstruction. They are, however, unable to reproduce the exact visual stimulus, since it is the human-specified annotation of images, not their data, that determines what the synthesized images are. Moreover, synthesized images often suffer from noisy EEG encodings and unstable training of generative models, making them hard to recognize. Instead, we present a single-stage EEG-visual retrieval paradigm where data of two mod…

CAMeL：用于基于文本的行人检索的跨模态自适应元学习

CAMeL: Cross-modality Adaptive Meta-Learning for Text-based Person Retrieval

针对合成数据领域偏差损害预训练模型可扩展性的问题，提出跨模态自适应元学习框架CAMeL，通过动态错误样本记忆单元和自适应双速更新策略增强泛化能力，在多个真实基准上达到SOTA。

WNTags：一个基于Web的词汇本体图像标注和检索工具

WNtags: A Web-Based Tool For Image Labeling And Retrieval With Lexical Ontologies

互联网上越来越多的图像文档不断激发人们对更好的标注模型和更有效的检索方法的研究。图片中的对象和事件的正式知识表示、它们的交互以及上下文复杂性不再是高质量图像存储库的选项，而是必需的。我们提出了一个基于本体的在线图像标注工具WNTags，并证明了它的有用性，在几个典型的多媒体检索任务使用国际情感图片系统情感标注的图像数据库。WNTags是围绕WordNet词汇本体构建的，但认为建议的上层合并本体是首选的标记形式主义。WNTags使用加权WordNet同义词集作为高级图像语义描述符，并使用词干和节点距离度量进行查询匹配。我们还阐述了我们不久的将来计划，以扩大与诱导影响的图像内容的描述，在人类的情感和注意力的研究刺激。

基于文本的图像和视频检索方法综述

Text Based Approach For Indexing And Retrieval Of Image And Video: A Review

多媒体中的文本数据包含了自动标注、索引等有用信息。用于从给定视频或图像识别覆盖或场景文本的提取信息。提取的文本可用于检索视频和图像。在本文中，首先，我们讨论了不同的技术，从图像和视频文本提取。其次，我们回顾了利用抽取的文本对图像和视频进行索引和检索的技术。

按语义草图查询

Query by Semantic Sketch

基于草图的查询公式化在图像和视频检索中非常常见，因为这些技术通常补充基于手动或机器生成的注释的文本检索方法。在本文中，我们提出了一种检索方法，允许查询视觉媒体收藏草图的概念图，从而合并基于草图的检索与搜索语义标签。用户可以绘制不同概念标签的空间分布，例如“天空”，“海洋”或“人”，然后使用这些草图找到表现出这些概念的类似分布的图像或视频场景。因此，这种方法不仅考虑了语义概念本身，而且还考虑了它们的语义关系以及它们的空间上下文。有效的矢量表示，即使在大型多媒体集合中也可以进行有效的检索。我们已经将语义草图查询模式集成到我们的检索引擎vitivr中，并证明了它的有效性。

面向带噪标签跨模态检索的统一最优传输框架

A Unified Optimal Transport Framework for Cross-Modal Retrieval with Noisy Labels

针对带噪标签导致错误语义对齐和异质鸿沟扩大的问题，本文提出基于最优传输的统一框架 UOT-RCL，通过部分 OT 语义校正与关系对齐提升跨模态检索鲁棒性。