A Hierarchical Multi-Modal Encoder for Moment Localization in Video Corpus
U. of Southern California（南加州大学）；Google Research（谷歌研究院）
识别长视频中语义匹配文本查询的短片段是一项具有挑战性的任务，在基于语言的视频搜索，浏览和导航中具有重要的应用潜力。典型的检索系统响应查询的整个视频或预定义的视频片段，但它是具有挑战性的本地化未定义的片段在未修剪和未分割的视频，其中穷举搜索所有可能的片段是棘手的。突出的挑战是视频的表示必须考虑时间域中不同级别的粒度。为了解决这个问题，我们提出了分层多模态编码器（HAMMER），编码的视频在粗粒度的剪辑级别和细粒度的帧级别提取信息在不同的尺度上基于多个子任务，即，视频检索，段时间定位和掩蔽语言建模。我们进行了广泛的实验，以评估我们的模型在ActivityNet字幕和TVR数据集上的视频语料库中的时刻定位。我们的方法优于以前的方法以及强大的基线，为这项任务建立了新的最先进的技术。
2020-11-24 cs.CL cs.CV
On Pursuit of Designing Multi-modal Transformer for Video Grounding
Peking University（北京大学）；Tencent AI Lab（腾讯人工智能实验室）；Columbia University（哥伦比亚大学）；National University of Singapore（新加坡国立大学）；Peng Cheng Laboratory（鹏城实验室）
视频接地的目的是定位对应于一个句子查询从未经修剪的视频的时间段。现有的视频打基础方法基本上可以分为两种框架：1）自顶向下模型：它预先定义一组候选片段，然后进行片段分类和回归。2)自底向上模型：它直接预测参考段边界的逐帧概率。然而，所有这些方法都不是端到端的，即，它们总是依赖于一些耗时的后处理步骤来改进预测。为此，我们将视频接地重新定义为一组预测任务，并提出了一种新的端到端多模态Transformer模型，称为GTR。具体来说，GTR有两个用于视频和语言编码的编码器，以及一个用于接地预测的跨模态解码器。为了方便端到端的训练，我们使用Cubic Embedding层将原始视频转换为一组视觉令牌。为了在解码器中更好地融合这两种模态，我们设计了一种新的多头跨模态注意。整个GTR通过多对一匹配损失进行优化。此外，我们进行了全面的研究，以调查不同的模型设计选择。三个基准测试的结果验证了GTR的优越性。所有三种典型的GTR变体在所有数据集和指标上都实现了破纪录的性能，推理速度快了几倍。
2022-04-11 cs.CL cs.CV
VLG-Net: Video-Language Graph Matching Network for Video Grounding
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
视频中的接地语言查询旨在识别与语言查询语义相关的时间间隔（或时刻）。解决这一具有挑战性的任务需要理解视频和查询的语义内容，并对其多模态交互进行细粒度推理。我们的关键思想是将这个挑战转化为算法图匹配问题。在图神经网络最新进展的推动下，我们建议利用图卷积网络来建模视频和文本信息以及它们的语义对齐。为了实现跨模态的信息的相互交换，我们设计了一种新的视频语言图匹配网络（VLG-Net）来匹配视频和查询图。核心成分包括分别建立在视频片段和查询令牌之上的表示图，并用于建模模态内关系。采用图匹配层进行跨模态上下文建模和多模态融合。最后，通过融合时刻的丰富片段特征，使用掩蔽时刻注意力池来创建候选时刻。我们在三个广泛使用的数据集上展示了优于最先进的接地方法的性能，这些数据集用于语言查询视频中时刻的时间定位：ActivityNet-Captions，TACoS和DiDeMo。
2021-08-16 cs.CL cs.CV
Multi-Modal Video Topic Segmentation with Dual-Contrastive Domain Adaptation
University of British Columbia（不列颠哥伦比亚大学）；Adobe Research（奥多比研究院）
本文提出一种结合视频转录文本与帧的多模态主题分割方法，并通过双对比域自适应框架提升模型在长视频和跨域场景下的准确性与可迁移性。
2023-11-30 cs.CL cs.CV cs.MM
Masking Modalities for Cross-modal Video Retrieval
Inria（法国国家信息与自动化研究所）；Google Research（谷歌研究院）
在计算机视觉和自然语言处理领域，对大规模未标记数据集进行预训练已经显示出令人印象深刻的性能改进。鉴于大规模教学视频数据集的出现，预训练视频编码器的常见策略是使用伴随的语音作为弱监督。然而，由于语音用于监督预训练，因此视频编码器永远不会看到它，视频编码器不会学习处理该模态。我们解决了当前预训练方法的这一缺点，这些方法未能利用口语中丰富的线索。我们的建议是使用所有可用的视频形式作为监督，即外观，声音和转录语音来预训练视频编码器。我们在输入中屏蔽整个模态，并使用其他两种模态进行预测。这鼓励每种模态与其他模态合作，我们的视频编码器学习处理外观和音频以及语音。我们展示了我们的“模态掩蔽”预训练方法在How2R，YouCook2和Condensed Movies数据集上进行视频检索的优越性能。
2021-11-03 cs.CV
Watch, Listen, and Describe: Globally and Locally Aligned Cross-Modal Attentions for Video Captioning
University of California, Santa Barbara（加州大学圣巴巴拉分校）
视频描述的主要挑战是结合音频和视觉提示。现有的多模态融合方法在视频理解中取得了令人鼓舞的结果。然而，在不同粒度的多模态的时间结构很少探索，如何选择性地融合在不同层次的细节的多模态表示仍然是未知的。在本文中，我们提出了一种新的层次对齐的跨模态注意力（HACA）框架学习和选择性地融合不同模态的全局和局部时间动态。此外，我们首次验证了深度音频特征在视频描述任务上的优越性能。最后，我们的HACA模型显著优于以前的最佳系统，并在广泛使用的MSR-VTT数据集上取得了新的最先进的结果。
2018-04-15 cs.AI cs.CL cs.CV
CFSum: A Transformer-Based Multi-Modal Video Summarization Framework With Coarse-Fine Fusion
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Zhejiang University（浙江大学）
本文提出CFSum，一种基于Transformer的多模态视频摘要框架，通过两阶段粗细特征融合机制深度融合视频、文本和音频特征，克服了现有方法模态融合不足及忽视音频的局限，实验证实了其有效性与优越性。
2025-03-01 cs.CV
All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation
Bar-Ilan University（巴伊兰大学）；NVIDIA（英伟达）
本文提出RecCAR正则化方法，通过对齐视频与伴随模态间的交叉注意力，缩小相互对应差距，提升联合视频生成中运动与音频的同步性和质量。
2026-09-24 cs.CV
MM-ViT: Multi-Modal Video Transformer for Compressed Video Action Recognition
OPPO US Research Center（OPPO美国研究中心）
本文提出了一种纯粹的基于transformer的方法，被称为多模态视频Transformer（MM-ViT），视频动作识别。与仅利用解码的RGB帧的其他方案不同，MM-ViT仅在压缩视频域中操作，并利用所有容易获得的模态，即，I帧、运动矢量、残差和音频波形。为了处理大量的时空令牌提取的多个模态，我们开发了几个可扩展的模型变量，分解跨空间，时间和模态维度的自我注意。此外，为了进一步探索丰富的跨模态相互作用及其影响，我们开发并比较了三种不同的跨模态注意力机制，这些机制可以无缝集成到Transformer构建块中。在三个公共动作识别基准（UCF-101，Something-Something-v2，Kinetics-600）上的广泛实验表明，MM-ViT在效率和准确性方面优于最先进的视频Transformers，并且在计算量大的光流方面表现得更好或与最先进的CNN相当。
2021-11-12 cs.CV
Cross-modal Learning for Multi-modal Video Categorization
Samsung Research America（三星美国研究院）
多模态机器学习（ML）模型可以以多个模态（例如，视频、音频、文本）并且对于各种问题中的视频内容分析是有用的（例如，目标检测、场景理解、活动识别）。在本文中，我们专注于使用多模态ML技术的视频分类问题。特别是，我们开发了一种新的多模态ML方法，我们称之为“跨模态学习”，其中一种模态影响另一种模态，但只有当模态之间存在相关性时-为此，我们首先训练一个相关塔，它指导模型中的主要多模态视频分类塔。我们展示了如何将这种跨模态原理应用于不同类型的模型（例如，RNN，Transformer，NetVLAD），并通过实验演示了我们提出的具有跨模态学习的多模态视频分类模型如何超越最先进的基线模型。
2020-06-06 cs.CV cs.LG
GPT2MVS: Generative Pre-trained Transformer-2 for Multi-modal Video Summarization
University of Amsterdam（阿姆斯特丹大学）；BBC Research and Development（BBC研发部）
传统的视频摘要方法生成固定的视频表示，而不管用户的兴趣。因此，这样的方法限制了用户在内容搜索和探索场景中的期望。多模态视频摘要是用来解决这个问题的方法之一。当使用多模态视频摘要来帮助视频探索时，基于文本的查询被认为是视频摘要生成的主要驱动因素之一，因为它是用户定义的。因此，对基于文本的查询和视频进行有效的编码对于多模态视频摘要的任务都是重要的。在这项工作中，提出了一种新的方法，使用专门的注意力网络和上下文的单词表示来解决这个任务。该模型包括一个上下文视频摘要控制器，多模态注意力机制，一个交互式注意力网络，和一个视频摘要生成器。通过对现有多模态视频摘要基准的评价，实验结果表明，与现有方法相比，该模型的准确率提高了+5.88%，F1分数提高了+4.06%。
2021-04-26 cs.AI cs.CL cs.CV
LongVALE: Vision-Audio-Language-Event Benchmark Towards Time-Aware Omni-Modal Perception of Long Videos
Southern University of Science and Technology（南方科技大学）；University of Birmingham（伯明翰大学）；University of Electronic Science and Technology of China（电子科技大学）；The University of Hong Kong（香港大学）；University of Manchester（曼彻斯特大学）
针对现有视频理解任务粗粒度、单模态及标注数据不足的问题，研究提出自动化构建流程，发布了含8.4K长视频、105K带精确时间边界和关系感知字幕的全模态事件基准LongVALE，并构建基线验证了其在推动视频大模型全模态细粒度时间理解上的有效性。
2025-03-20 cs.CL cs.CV cs.LG
Tencent Text-Video Retrieval: Hierarchical Cross-Modal Interactions with Multi-Level Representations
Tencent Data Platform（腾讯数据平台）
文本-视频检索在多模态理解中起着重要作用，近年来受到越来越多的关注。大多数现有的方法集中在构建整个视频和完整的字幕句子之间的对比对，而忽略了细粒度的跨模态关系，例如，剪辑短语或框架词。在本文中，我们提出了一种新的方法，命名为层次跨模态交互（HCMI），探索多层次的跨模态关系的视频句子，剪辑短语，和帧字的文本视频检索。考虑到内在的语义帧关系，HCMI执行自我注意，探索帧级的相关性和自适应聚类相关帧到剪辑级和视频级表示。以这种方式，HCMI构造用于帧-剪辑-视频粒度的多级视频表示以捕获细粒度的视频内容，以及用于文本模态的词-短语-句子粒度的多级文本表示。通过视频和文本的多级表示，分层对比学习被设计为探索细粒度的跨模态关系，即，框架词，剪辑短语和视频句子，这使得HCMI实现视频和文本模态之间的全面语义比较。通过自适应标签去噪和边缘样本增强，HCMI在各种基准测试中取得了新的最先进的结果，例如，MSR-VTT、MSVD、LSMDC、DiDemo和ActivityNet的Rank@1分别为55.0%、58.2%、29.7%、52.1%和57.3%。
2022-12-14 cs.CV
Extraction and Summarization of Explicit Video Content using Multi-Modal Deep Learning
University of Southern California（南加州大学）
提出一种基于多模态深度学习的自动化流水线，用于提取视频中的显式内容片段并生成文本摘要以判定年龄适宜性，最后通过标准指标验证了其有效性。
2023-11-21 cs.CL cs.CV cs.LG
MoVieDrive: Urban Scene Synthesis with Multi-Modal Multi-View Video Diffusion Transformer
Huawei Noah’s Ark Lab（华为诺亚实验室）；University of Toronto（多伦多大学）
本文提出MoVieDrive，通过多模态多视角视频扩散变换器生成城市驾驶场景视频，实现多模态数据生成与可控生成。
2026-03-13 cs.CV
mPLUG-2: A Modularized Multi-modal Foundation Model Across Text, Image and Video
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
提出模块化多模态基础模型mPLUG-2，通过共享与解耦模块实现模态协作与纠缠处理，在30多个下游任务上取得领先性能，并在MSRVTT上以较小规模获得新最优结果。
2023-02-01 cs.CL cs.CV cs.MM
Tencent AVS: A Holistic Ads Video Dataset for Multi-modal Scene Segmentation
Tencent Data Platform（腾讯数据平台）
近年来，公共基准测试极大地推进了时域视频分割和分类。然而，此类研究仍然主要集中在人类行为上，未能从整体上描述视频。此外，以往的研究往往关注视觉信息，而忽视了视频的多模态特性。为了填补这一空白，我们在广告领域构建了腾讯广告视频分割（TAVS）数据集，将多模态视频分析提升到一个新的水平。TAVS从“呈现形式”、“场所”和“风格”三个独立的角度描述视频，包含丰富的视频、音频和文本等多模态信息。TAVS在语义方面分层组织，用于全面的时间视频分割，具有用于多标签分类的三个类别级别，例如，“地方”-“工作场所”-“办公室”因此，TAVS区别于以前的时间分割数据集，由于其多模态信息，整体视图的类别，和层次粒度。它包括12，000个视频，82个类，33，900个片段，121，100个镜头和168，500个标签。伴随着TAVS，我们还提出了一个强大的多模态视频分割基线加上多标签类预测。进行了大量的实验来评估我们提出的方法以及现有的代表性方法，以揭示我们的数据集TAVS的关键挑战。
2022-12-09 cs.CV
Leveraging Modality Tags for Enhanced Cross-Modal Video Retrieval
School of Computer Science University of Bristol（计算机科学学院英国布里斯托尔大学）
针对视频检索的跨模态对齐问题，提出MAC-VR方法，利用基础模型提取的模态特定标签，结合辅助潜在概念的学习与对齐增强跨模态匹配，在多个数据集上取得优于或比肩现有SOTA的效果。
2025-08-31 cs.CV
Multi-modal Aggregation for Video Classification
Alibaba Group iDST（阿里巴巴集团数据科学与技术研究院）
在本文中，我们提出了一个大规模视频分类挑战（LSVC2017）[1]的解决方案，排名第一。我们专注于涵盖视觉，运动和音频的各种形式。此外，我们可视化了聚合过程，以更好地了解每种方式如何发挥作用。在提取的模态中，我们发现通过3D卷积计算的时空特征非常有前途，大大提高了性能。我们在使用集合模型的测试集上获得了官方度量mAP 0.8741。
2017-10-27 cs.CV
Cross-modal Causal Relation Alignment for Video Question Grounding
Sun Yat-sen University（中山大学）；Shenzhen Institute of Advanced Technology（深圳先进技术研究院）；Nanyang Technological University（南洋理工大学）
本文提出跨模态因果关联对齐框架CRA，通过高斯平滑定位、跨模态对齐和显式因果干预消除虚假相关性，提升视频问题定位的因果一致性与鲁棒性。
2025-03-05 cs.CL cs.CV cs.LG
HateMM: A Multi-Modal Dataset for Hate Video Classification
Indian Institute of Technology (IIT), Kharagpur（印度理工学院卡拉格普尔分校）；Microsoft, India（微软印度分公司）
针对视频仇恨言论检测研究不足的问题，构建了约43小时的多模态仇恨视频数据集HateMM，并利用多模态深度学习模型将检测性能提升约5.7%。
2023-05-06 cs.CL cs.CV cs.MM
Fashion Focus: Multi-modal Retrieval System for Video Commodity Localization in E-commerce
Machine Intelligence Technology Lab, Alibaba Group（阿里巴巴集团机器智能技术实验室）
如今，电子商业中的直播、短视频购物呈指数级增长。然而，卖家需要手动地将销售产品的图像与未经修剪的视频中的展示的时间戳进行匹配，导致复杂的过程。为了解决这个问题，我们提出了一个创新的演示多模态检索系统称为“时尚焦点”，它能够准确地定位产品图像在在线视频的焦点。不同的模态有助于社区本地化，包括视觉内容，语言特征和交互上下文通过提出的多模态学习联合调查。我们的系统采用两个程序进行分析，包括视频内容结构化和多模态检索，自动实现准确的视频到商店的匹配。Fashion Focus提供了一个统一的框架，可以在观看视频时将消费者定向到相关的产品展示，并帮助卖家通过搜索和推荐有效地交付产品。
2021-02-09 cs.CV
Multi-modal Representation Learning for Video Advertisement Content Structuring
Sun Yat-sen University（中山大学）
视频广告内容结构化的目的是对给定的视频广告进行分段，并在各个维度上对每个分段进行标记，例如呈现形式、场景和风格。与现实生活中的视频不同，视频广告包含了足够的和有用的多模态内容，如字幕和语音，这提供了关键的视频语义，并将增强结构化过程。在本文中，我们提出了一个多模态编码器学习多模态表示的视频广告之间的视频音频和文本的交互。基于多模态表示，我们然后应用边界匹配网络生成时间建议。为了使提案更准确，我们通过场景引导对齐和重新排名来改进生成的提案。最后，我们将建议定位嵌入到引入的多模态编码器中，以捕获每个建议的局部特征与整个视频的全局特征之间的时间关系，以进行分类。实验结果表明，该方法在ACM Multimedia 2021 Grand Challenge多模态广告视频理解任务中，与多个基线和Rank 1相比，取得了显著的提高。消融研究进一步表明，利用多模态内容，如字幕和语音在视频广告显着提高性能。
2021-09-04 cs.CV cs.MM
Low-Rank HOCA: Efficient High-Order Cross-Modal Attention for Video Captioning
本文讨论了具有挑战性的任务，视频描述的目的是产生描述的视频数据。近年来，基于注意力的编码器-解码器结构已被广泛用于视频描述中。现有文献中，注意力权重往往是根据单个通道的信息建立的，而忽略了多个通道之间的关联关系。基于此，本文提出了一种基于高阶跨模态注意（HOCA）的视频描述模型，该模型基于高阶相关张量计算注意权值，以充分捕捉不同模态之间的帧级跨模态交互。此外，我们新颖地引入了低秩HOCA，它采用张量分解，以减少非常大的空间需求的HOCA，导致在现实世界中的应用中的一个实用和有效的实现。在MSVD和MSR-VTT两个基准数据集上的实验结果表明，低秩HOCA建立了一个新的国家的最先进的。
2019-11-01 cs.CL cs.CV cs.LG
Cross-modal Manifold Cutmix for Self-supervised Video Representation Learning
UNC Charlotte（北卡罗来纳大学夏洛特分校）；Stony Brook University（石溪大学）
本文提出跨模态流形Cutmix（CMMC）和视频混合策略STC-mix，通过在特征空间中跨模态插入视频超立方体进行数据增强，在减少训练数据需求的同时，于动作识别和视频检索任务上达到与其他自监督方法相当的性能。
2023-07-27 cs.CV
Content-Based Video-Music Retrieval Using Soft Intra-Modal Structure Constraint
到目前为止，只有有限的研究已经进行了跨模态检索的合适的音乐为指定的视频或反之亦然。此外，许多现有的研究依赖于元数据，如关键字，标签，或相关的描述，必须单独产生和附加后。本文介绍了一种新的基于内容的视频和音乐跨模态检索方法，该方法通过深度神经网络实现。我们通过模态间排序损失来训练网络，使得具有相似语义的视频和音乐在嵌入空间中紧密地结合在一起。然而，如果仅使用模态间排序约束进行嵌入，则可能丢失模态特定的特征。为了解决这个问题，我们提出了一种新的软模内结构损失，利用嵌入前的模内样本之间的相对距离关系。我们还引入了合理的定量和定性实验协议，以解决不太成熟的视频音乐相关任务缺乏标准协议的问题。最后，我们构建了一个大规模的200 K视频-音乐对基准。所有数据集和源代码都可以在我们的在线存储库（https：//github.com/csehong/VM-NET）中找到。
2017-09-01 cs.CV
Video Relation Detection with Trajectory-aware Multi-modal Features
Beihang University（北京航空航天大学）；YITU Technology（依图科技）
视频关系检测问题是指检测视频中不同对象之间的关系，例如空间关系和动作关系。在本文中，我们提出了视频关系检测与故障感知多模态功能来解决这个问题。考虑到视频中视觉关系检测的复杂性，本文将其分解为三个子任务：目标检测、轨迹建议和关系预测。我们使用最先进的目标检测方法来保证目标轨迹检测的准确性，并使用多模态特征表示来帮助预测目标之间的关系。该方法在ACM Multimedia 2020的Video Relation Understanding Grand Challenge视频关系检测任务中以11.74 mAP的成绩获得第一名，大大优于其他方法。
2021-01-20 cs.CV
MM-Diffusion: Learning Multi-Modal Diffusion Models for Joint Audio and Video Generation
Renmin University of China（中国人民大学）；Peking University（北京大学）；Microsoft Research（微软研究院）
我们提出了第一个联合音频视频生成框架，同时带来了引人入胜的观看和收听体验，以实现高质量的逼真视频。为了生成联合音频-视频对，我们提出了一种新的多模态扩散模型（即，MM扩散），具有两个耦合的去噪自动编码器。与现有的单模态扩散模型相比，MM-扩散由一个顺序的多模态U-网络组成，用于设计的联合去噪过程。音频和视频的两个学习器从高斯噪声中逐渐生成对齐的音频-视频对。为了确保跨模态的语义一致性，我们提出了一种新的基于随机移位的注意力块桥接在两个通道上，这使得有效的跨模态对齐，从而加强了彼此的音频-视频保真度。大量的实验显示了无条件音频-视频生成和zero-shot条件任务（例如，视频到音频）。特别是，我们在Landscape和AIST++跳舞数据集上实现了最佳的FVD和FAD。1万票的图灵测试进一步证明了我们模型的主导偏好。代码和预训练模型可以在https://github.com/researchmm/MM-Diffusion下载。
2023-03-24 cs.CV
Tagging before Alignment: Integrating Multi-Modal Tags for Video-Text Retrieval
Tencent PCG（腾讯平台与内容事业群）；ARC Lab, Tencent PCG（腾讯平台与内容事业群ARC实验室）
近年来，视频文本检索中的视觉-语言对齐学习引起了人们的广泛关注。现有的方法要么将图像-文本预训练模型的知识转移到视频-文本检索任务中，而没有充分挖掘视频的多模态信息，要么简单地以暴力方式融合多模态特征，而没有明确的指导。在本文中，我们集成多模态信息在一个明确的方式，通过标记，并使用标记作为锚更好的视频文本对齐。各种预先训练的专家用于提取多个模态的信息，包括对象，人，运动，音频等。为了充分利用这些信息，我们提出了表（标签前aLignmEnt）网络，它由一个视觉编码器，一个标签编码器，一个文本编码器，和一个标签引导的跨模态编码器，用于联合编码多帧视觉特征和多模态标签信息。此外，为了加强视频和文本之间的交互，我们构建了一个联合跨模态编码器，其三元组输入为[vision，tag，text]，并执行两个额外的监督任务，视频文本匹配（VTM）和掩蔽语言建模（MLM）。大量的实验结果表明，表模型是能够实现国家的最先进的（SOTA）性能在各种视频文本检索基准，包括MSR-VTT，MSVD，LSMDC和DiDeMo。
2023-01-30 cs.CV
SGTA: Scene-Graph Based Multi-Modal Traffic Agent for Video Understanding
Technical University of Munich（慕尼黑工业大学）
SGTA结合结构化场景图与多模态推理，通过检测、跟踪和车道提取构建交通场景图，并利用ReAct处理大语言模型的推理轨迹，实现复杂视频问题的可解释决策。
2026-04-04 cs.CV
VideoFusion: A Spatio-Temporal Collaborative Network for Multi-modal Video Fusion
School of Robotics, Wuhan University, Wuhan, China（机器人学院，武汉大学，武汉，中国）；Electronic Information School, Wuhan University, Wuhan, China（电子信息学院，武汉大学，武汉，中国）；Southeast University, Nanjing, China（东南大学，南京，中国）
VideoFusion通过时空协作网络实现多模态视频融合，利用跨模态互补性和时间动态性提升视频一致性。
2026-03-02 cs.CV
Multi-modal Transformer for Video Retrieval
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LJK（让·昆茨曼实验室）；Google Research（谷歌研究院）
检索与自然语言查询相关的视频内容的任务在有效处理互联网规模的数据集方面起着关键作用。大多数现有的方法，这个标题到视频检索问题没有充分利用跨模态提示存在于视频。此外，他们聚合每帧的视觉功能有限或没有时间信息。在本文中，我们提出了一个多模态的Transformer联合编码的不同形式的视频，这使得他们中的每一个参加其他。还利用Transformer架构对时间信息进行编码和建模。在自然语言方面，我们研究了联合优化语言嵌入和多模态Transformer的最佳实践。这个新的框架使我们能够在三个数据集上建立最先进的视频检索结果。更多详情请访问http://thoth.inrialpes.fr/research/MMT。
2020-07-21 cs.CV
CrossVideo: Self-supervised Cross-modal Contrastive Learning for Point Cloud Video Understanding
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对点云视频理解中监督学习数据稀缺、标签难获取的问题，提出CrossVideo自监督跨模态对比学习方法，利用点云与图像视频的跨模态关系，结合模态内、跨模态及多层次对比策略，性能超越现有最优方法。
2024-01-17 cs.CV
Self-Supervised Learning by Cross-Modal Audio-Video Clustering
Facebook AI（Facebook 人工智能研究院）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
视觉和听觉模态高度相关，但它们包含不同的信息。它们的强相关性使得可以以良好的准确性预测一个的语义。它们的内在差异使得跨模态预测与模态内学习相比成为视频和音频表示的自监督学习的潜在更有价值的借口任务。基于这种直觉，我们提出了跨模态深度聚类（XDC），这是一种新的自监督方法，它利用一种模态（例如，音频）作为另一模态的监控信号（例如，视频）。这种跨模态监督帮助XDC利用两种模态之间的语义相关性和差异。我们的实验表明，XDC优于单模态聚类和其他多模态变体。XDC在多个视频和音频基准测试的自监督方法中达到了最先进的准确性。最重要的是，我们在大规模未标记数据上预训练的视频模型在HMDB 51和UCF 101上的动作识别方面明显优于在ImageNet和Kinetics上进行全面监督预训练的相同模型。据我们所知，XDC是第一个自监督学习方法，它在相同架构上的动作识别中优于大规模全监督预训练。
2020-10-26 cs.CV
Cross-Modal Reasoning with Event Correlation for Video Question Answering
Syracuse University（雪城大学）；Midea Group（美的集团）
针对视频问答缺乏事件关联推理的问题，提出事件关联图神经网络（EC-GNNs），引入密集字幕模态，通过跨模态推理和自适应融合提升答案准确性。
2023-12-20 cs.CV
MLLM as Video Narrator: Mitigating Modality Imbalance in Video Moment Retrieval
Queen Mary University of London（伦敦玛丽女王大学）；Adobe Research（奥多比研究院）；Peking University（北京大学）
针对视频时刻检索中因训练标注不足导致的模态不平衡问题，提出利用MLLM作为视频叙述者生成时间对齐的文本描述，并通过跨模态特征合并和单模态叙述-查询匹配机制提升检索性能。
2024-06-25 cs.CV
ConTra: (Con)text (Tra)nsformer for Cross-Modal Video Retrieval
University of Bristol（布里斯托大学）
在本文中，我们重新审视跨模态剪辑句子检索的任务，剪辑是一个较长的未修剪的视频的一部分。当剪辑很短或视觉上模糊时，可以使用其局部时间上下文（即周围的视频片段）的知识来提高检索性能。我们提出了上下文Transformer（ConTra），一个编码器架构，模型之间的互动视频剪辑和它的本地时间上下文，以提高其嵌入式表示。重要的是，我们监督上下文Transformer使用对比损失的跨模态嵌入空间。我们探索视频和文本形式的上下文Transformers。结果一致表明，在三个数据集上的性能有所提高：YouCook 2，EPIC-KITCHENS和ActivityNet Captions的剪辑句子版本。详尽的消融研究和上下文分析表明所提出的方法的有效性。
2022-10-09 cs.CV
Everything at Once -- Multi-modal Fusion Transformer for Video Retrieval
Goethe University Frankfurt（法兰克福歌德大学）；Columbia University（哥伦比亚大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；IBM Research AI（IBM研究院人工智能部门）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；UT Austin（德克萨斯大学奥斯汀分校）
最近，来自视频数据的多模态学习受到了越来越多的关注，因为它允许在没有人类注释的情况下训练语义上有意义的嵌入，从而实现zero-shot检索和分类等任务。在这项工作中，我们提出了一个多模态，模态不可知的融合Transformer的方法，学习多模态之间的信息交换，如视频，音频和文本，并将它们集成到一个联合的多模态表示，以获得一个嵌入，聚合多模态的时间信息。我们建议训练系统的组合损失的一切在一次，单一的模态以及对模态，明确地离开了任何附加组件，如位置或模态编码。在测试时，生成的模型可以处理和融合任何数量的输入模态。此外，Transformer的隐式属性允许处理不同长度的输入。为了评估所提出的方法，我们训练的大规模HowTo100 M数据集上的模型，并评估所得到的嵌入空间在四个具有挑战性的基准数据集上获得最先进的结果，在zero-shot视频检索和zero-shot视频动作定位。
2022-08-18 cs.CL cs.CV cs.SD
UniMMVSR: A Unified Multi-Modal Framework for Cascaded Video Super-Resolution
Tsinghua University（清华大学）；Huazhong University of Science and Technology（华中科技大学）；Kling Team, Kuaishou Technology（快手科技 Kling 团队）
UniMMVSR提出首个统一多模态级联视频超分框架，融合文本、图像和视频条件，显著提升生成细节与条件一致性，并支持4K视频生成。
2025-10-09 cs.CV
Learning Cross-modal Contrastive Features for Video Domain Adaptation
Boston University（波士顿大学）；NEC Labs America（NEC美国实验室）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
从视频中学习可转移和域自适应特征表示对于视频相关任务（如动作识别）非常重要。现有的视频领域自适应方法主要依赖于从RGB图像空间导出的对抗性特征对齐。然而，视频数据通常与多模态信息相关联，例如，RGB和光流，因此设计一种在跨领域自适应设置下考虑跨模态输入的更好方法仍然是一个挑战。为此，我们提出了一个统一的框架，视频领域自适应，同时正则化跨模态和跨域的功能表示。具体来说，我们把一个领域中的每一个模态作为一个视图，并利用对比学习技术与适当设计的采样策略。因此，我们的目标规范化的特征空间，原来缺乏跨模态的连接或跨域的对齐较少。我们在领域自适应动作识别基准数据集上进行实验，即，UCF，HMDB和EPIC-Kitchener，并证明了我们的组件对国家的最先进的算法的有效性。
2021-08-26 cs.CV
Towards Good Practices for Multi-modal Fusion in Large-scale Video Classification
Bytedance AI Lab（字节跳动人工智能实验室）
利用视觉帧和音频已被实验证明有效地提高大规模视频分类。以往的视频分类研究主要集中在提取视频帧间的视觉内容分析及其时间特征聚合。相比之下，多模态数据融合是通过简单的运算符，如平均和级联。受双线性池在视觉和语言融合中的成功启发，我们引入多模态分解双线性池（MFB）来融合视觉和音频表示。我们结合MFB与不同的视频级功能，并探讨其在视频分类的有效性。在具有挑战性的Youtube-8 M v2数据集上的实验结果表明，MFB在大规模视频分类中的性能明显优于简单的融合方法。
2018-09-28 cs.CV
VHAKG: A Multi-modal Knowledge Graph Based on Synchronized Multi-view Videos of Daily Activities
National Institute of Advanced Industrial Science and Technology (AIST)（日本国立先进工业科学技术研究所（AIST））；Fujitsu Ltd.（富士通公司）
本文基于日常活动的同步多视角模拟视频构建了多模态知识图谱VHAKG，包含以事件为中心的知识和逐帧细粒度变化，并提供查询工具，支持视觉-语言模型的基准测试。
2024-08-28 cs.AI cs.CL cs.CV
OmniVDiff: Omni Controllable Video Diffusion for Generation and Understanding
本文提出OmniVDiff全可控视频扩散框架，通过色彩空间联合分布学习与自适应控制策略，实现文本条件生成、视频理解及细粒度条件生成三大能力，在生成与理解任务中表现优异且适用于多下游场景。
2025-11-16 cs.CV
CoCo-BERT: Improving Video-Language Pre-training with Contrastive Cross-modal Matching and Denoising
Sun Yat-sen University（中山大学）；The Key Laboratory of Machine Intelligence and Advanced Computing (Sun Yat-sen University), Ministry of Education（机器智能与先进计算教育部重点实验室（中山大学））；JD AI Research（京东人工智能研究院）
BERT型结构导致了视觉语言预训练的革命，并在许多视觉语言下游任务上取得了最先进的结果。现有的解决方案主要利用具有掩码令牌的多模态输入来触发基于掩码的代理预训练任务（例如，掩蔽语言建模和掩蔽对象/帧预测）。在这项工作中，我们认为，这种掩盖的输入将不可避免地引入噪声的跨模态匹配代理任务，从而离开固有的视觉语言关联未被探索。作为替代方案，我们推导出用于视频语言预训练的特定形式的跨模态代理目标，即，对比跨模态匹配和去噪（CoCo）。通过将掩蔽帧/字序列视为主要未掩蔽帧/字序列的噪声增强，CoCo通过以对比的方式同时追求掩蔽和未掩蔽输入之间的模态间匹配和模态内去噪来加强视频-语言关联。我们的CoCo代理目标可以进一步集成到任何BERT类型的编码器-解码器结构中，用于视频语言预训练，称为对比跨模态BERT（CoCo-BERT）。我们在TV数据集和新收集的大规模GIF视频数据集（ACTION）上预训练CoCo-BERT。通过对广泛的下游任务（例如，跨模态检索、视频问答和视频描述），我们证明了CoCo-BERT作为预训练结构的优越性。
2021-12-14 cs.AI cs.CL cs.CV
Hypergraph Multi-modal Large Language Model: Exploiting EEG and Eye-tracking Modalities to Evaluate Heterogeneous Responses for Video Understanding
Peking University（北京大学）；Mininglamp Technology（Mininglamp科技）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出SRI-ADV广告视频主观响应数据集和超图多模态大语言模型HMLLM，通过融合EEG与眼动追踪数据评估不同人群对视频内容的理解差异，实验验证了其有效性。
2024-09-05 cs.CV
OmniMMI: A Comprehensive Multi-modal Interaction Benchmark in Streaming Video Contexts
Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）；State Key Laboratory of General Artificial Intelligence（通用人工智能国家重点实验室）；Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；X-LANCE Lab, Shanghai Jiao Tong University（上海交通大学X-LANCE实验室）
OmniMMI是一个面向流式视频情境的全面多模态交互基准，包含1121个视频和2290个问题，并提出了M4框架以实现推理高效的流式模型。
2025-03-29 cs.CV
Cross-Modal Graph with Meta Concepts for Video Captioning
Nanyang Technological University（南洋理工大学）；Singapore Management University（新加坡管理大学）；Salesforce Research Asia（Salesforce亚洲研究院）
视频描述的目标是将复杂的视觉内容解释为文本描述，这要求模型完全理解包括对象及其交互在内的视频场景。现有的方法采用现成的目标检测网络来给出对象建议，并使用注意力机制来建模对象之间的关系。它们通常会遗漏预训练模型中一些未定义的语义概念，并且无法识别对象之间的精确谓词关系。在本文中，我们研究了一个开放的研究任务，生成给定的视频的文本描述，并提出跨模态图（CMG）与Meta概念的视频描述。具体来说，为了覆盖视频字幕中有用的语义概念，我们弱学习文本描述的相应视觉区域，其中相关联的视觉区域和文本词被称为跨模态Meta概念。我们进一步动态地构建Meta概念图与学习的跨模态Meta概念。我们还构建了整体视频级和局部帧级视频图与预测的谓词模型视频序列结构。我们通过广泛的实验验证了我们提出的技术的有效性，并在两个公共数据集上获得了最先进的结果。
2022-08-01 cs.CV
Listen Then See: Video Alignment with Speaker Attention
Carnegie Mellon University（卡内基梅隆大学）
本文针对社交智能问答（SIQA）中文本模态支配导致视频模态被绕过的问题，提出一种跨模态对齐与表示融合方法，利用音频模态作为语言与视频的桥梁，在Social IQ 2.0数据集上达到82.06%准确率。
2024-04-21 cs.CL cs.CV cs.LG
SVAgent: Storyline-Guided Long Video Understanding via Cross-Modal Multi-Agent Collaboration
BCML, Heriot-Watt University（赫瑞瓦特大学BCML）；Nanyang Technological University（南洋理工大学）；Peking University（北京大学）
SVAgent通过跨模态多智能体协作，利用故事线引导实现视频问答的高效理解，提升推理鲁棒性和答案一致性。
2026-04-06 cs.CV
FMM-Attack: A Flow-based Multi-modal Adversarial Attack on Video-based LLMs
Tsinghua University（清华大学）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Tencent Technology (Beijing) Co.Ltd（腾讯科技（北京）有限公司）；Tencent Lab（腾讯实验室）；Peng Cheng Laboratory（鹏城实验室）；Peking University（北京大学）
本文提出首个针对视频 LLM 的对抗攻击方法 FMM-Attack，通过在视频少量帧上构建基于流的多模态对抗扰动，能有效诱导模型生成错误答案并产生幻觉，对理解多模态鲁棒性与安全特征对齐具有重要意义。
2024-03-21 cs.CV
Overview of the NLPCC 2025 Shared Task 4: Multi-modal, Multilingual, and Multi-hop Medical Instructional Video Question Answering Challenge
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究所，中国科学院）；School of Computer Science and Technology, Beijing Institute of Technology（计算机科学与技术学院，北京理工大学）；School of Engineering, Westlake University（工程学院，西湖大学）
本文介绍NLPCC 2025 M4IVQA挑战赛，设置单视频定位、视频语料检索和语料库定位三个赛道，推动面向医学教学视频的多模态、多语言、多跳问答研究。
2025-05-11 cs.AI cs.CL cs.CV
Multi-Modal Interaction Graph Convolutional Network for Temporal Language Localization in Videos
本文主要研究视频中的时间语言定位问题，其目的是在未经裁剪的视频中识别由自然语言句子描述的时刻的起点和终点。然而，它是不平凡的，因为它不仅需要全面理解的视频和句子查询，但也准确的语义之间的对应捕捉。现有的努力主要集中在探索视频片段和查询词之间的顺序关系以推理视频和句子查询，而忽略了其他模态内关系（例如，视频剪辑之间的语义相似性和查询词之间的句法依赖性）。为此，在这项工作中，我们提出了一个多模态交互图卷积网络（MIGCN），它共同探讨了复杂的模态内的关系和模态间的相互作用驻留在视频和句子查询，以促进理解和语义对应捕捉的视频和句子查询。此外，我们设计了一个自适应的上下文感知定位方法，其中的上下文信息被带到候选时刻和多尺度全连接层的设计，以排名和调整的边界生成的粗候选时刻具有不同的长度。Charades-STA和ActivityNet数据集上的大量实验证明了我们模型的良好性能和优越效率。
2021-10-12 cs.CV
A Large Cross-Modal Video Retrieval Dataset with Reading Comprehension
University of Chinese Academy of Sciences（中国科学院大学）；National University of Singapore（新加坡国立大学）；Zhejiang University（浙江大学）；Kuaishou Technology（快手科技）；Huazhong University of Science and Technology（华中科技大学）
本研究提出了具备文本阅读理解能力的大规模跨模态视频检索数据集TextVR，设计了对应的多模态检索基线，实验表明该基准为视频与语言领域带来了新的技术挑战与研究洞见。
2023-05-05 cs.CV
Learning Modal-Invariant and Temporal-Memory for Video-based Visible-Infrared Person Re-Identification
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Kunming University of Science and Technology（昆明理工大学）；The Chinese University of HongKong, Shenzhen（香港中文大学（深圳））
由于跨模态检索技术，可见红外（RGB-IR）的人重新识别（Re-ID）是通过将他们投射到一个共同的空间，允许人重新ID在24小时监控系统中实现。然而，相对于探针到图库，几乎所有现有的基于RGB-IR的跨模态人Re-ID方法都集中在图像到图像的匹配上，而包含更丰富的空间和时间信息的视频到视频的匹配仍然没有得到充分的探索。本文主要研究了基于视频的跨模态人物Re-ID方法。为了实现这一任务，构建了一个基于视频的RGB-IR数据集，其中收集了927个有效身份，463，259帧和21，863个轨迹，由12个RGB/IR摄像机捕获。基于我们构建的数据集，我们证明了随着tracklet中帧的增加，性能确实得到了更多的增强，证明了视频到视频匹配在RGB-IR人Re-ID中的重要性。此外，进一步提出了一种新的方法，该方法不仅将两个模态投影到模态不变子空间，而且还提取了运动不变的时间记忆。由于这两种策略，我们基于视频的跨模态人员Re-ID获得了更好的结果。代码和数据集发布在：https://github.com/VCMproject233/MITML。
2022-08-04 cs.CV
