Unsupervised Multimodal Video-to-Video Translation via Self-Supervised Learning
New York University（纽约大学）；ETH Zürich（苏黎世联邦理工学院）
现有的无监督视频到视频翻译方法不能产生帧级真实感、语义信息保持和视频级一致的翻译视频。在这项工作中，我们提出了UVIT，一种新的无监督视频到视频翻译模型。我们的模型分解的风格和内容，使用专门的编码器-解码器结构，并通过双向递归神经网络（RNN）单元传播帧间信息。风格-内容分解机制使我们能够获得风格一致的视频翻译结果，并为模态灵活的翻译提供了一个良好的接口。此外，通过改变我们的翻译中包含的输入帧和样式代码，我们提出了一个视频插值损失，它捕获序列中的时间信息，以自我监督的方式训练我们的构建块。我们的模型可以以多模式的方式产生照片般逼真，时空一致的翻译视频。主观和客观的实验结果验证了我们的模型优于现有的方法。更多详情请访问我们的项目网站：https://uvit.netlify.com
2020-04-14 cs.CV cs.LG eess.IV
Predicting the Popularity of Micro-videos with Multimodal Variational Encoder-Decoder Framework
Wuhan University（武汉大学）
作为一种新兴的用户生成内容，微视频极大地丰富了人们的娱乐体验和社交互动。然而，单个微视频的流行模式在研究人员中仍然难以捉摸。其中一个主要的挑战是，微视频的潜在受欢迎程度在各种外部因素的影响下往往会波动，这使得它充满了不确定性。此外，由于微视频主要由缺乏专业技术的个人上传，可能存在多种类型的噪音，掩盖了有用的信息。在本文中，我们提出了一个多模态变分编码器-解码器（MMVED）框架的微视频流行度预测任务。MMVED学习微视频的随机高斯嵌入，该嵌入提供了其流行程度的信息，同时保留了固有的不确定性。此外，通过深度变分信息瓶颈下限（IBLBO）的优化，学习的隐藏表示被证明是最大限度地表达流行度目标，同时最大限度地压缩微视频特征中的噪声。此外，贝叶斯产品的专家的原则被应用到多模态编码器，其中的信息保留或丢弃的决定是全面与所有可用的模态。在公共数据集和西瓜数据集上进行的大量实验证明了所提出的MMVED框架的有效性。
2020-03-28 cs.CL cs.CV cs.LG
Multimodal Subtask Graph Generation from Instructional Videos
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；LG AI Research（LG人工智能研究院）
真实世界的任务由多个相互依赖的子任务组成（例如，脏的平底锅在用于烹饪之前需要清洗）。在这项工作中，我们的目标是从教学视频描述的任务，这样的子任务之间的因果依赖关系建模。这是一个具有挑战性的问题，因为关于世界的完整信息通常无法从视频中获取，这需要强大的学习机制来理解事件的因果结构。我们提出了多模态子任务图生成（MSG 2），一种方法，构建一个子任务图定义一个任务的子任务之间的依赖关系相关的任务从嘈杂的网络视频。与以前的方法相比，我们的多模态方法生成的图形更接近人类注释的图形。MSG 2进一步执行下一子任务预测的下游任务，比ProceL和CrossTask数据集中的最近视频Transformer模型分别准确85%和30%。
2023-02-17 cs.AI cs.CL cs.CV
Understanding Chinese Video and Language via Contrastive Multimodal Pre-Training
University of Science and Technology of China（中国科学技术大学）；Alibaba Group（阿里巴巴集团）；Alibaba-NTU Singapore Joint Research Institute, Nanyang Technological University（阿里巴巴-南洋理工大学新加坡联合研究院）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；Zhejiang University（浙江大学）
预训练的神经模型最近在理解多模态内容方面取得了令人印象深刻的表现。然而，由于以下原因，预训练用于视频和语言理解的神经模型仍然非常具有挑战性，特别是对于中文视频语言数据。首先，现有的视频语言预训练算法主要关注单词和视频帧的共现，而忽略了视频语言内容的其他有价值的语义和结构信息，例如，时序和时空关系。其次，视频句子对齐与其他代理任务之间存在冲突。第三，缺乏大规模和高质量的中文视频语言数据集（例如，包括1000万个独特的视频），这是预训练技术成功的基本条件。在这项工作中，我们提出了一个新的视频-语言理解框架命名为VICTOR，这代表视频-语言理解通过对比multiTimOdal预训练。VICTOR在对比学习范式下构建了多个新的代理任务，使模型具有更强的鲁棒性，能够从不同角度捕捉更复杂的多模态语义和结构关系。VICTOR是在一个大规模的中文视频语言数据集上训练的，包括超过1000万个完整的视频，以及相应的高质量文本描述。我们将预训练的VICTOR模型应用于一系列下游应用，并与最先进的预训练方法（如VideoBERT和UniVL）进行比较，展示了其优越的性能。这些守则和经过培训的检查站将向公众开放，以促进研究界的进一步发展。
2021-04-19 cs.CV cs.MM
Progressive Video Summarization via Multimodal Self-supervised Learning
The University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）
现代视频摘要方法基于深度神经网络，其需要大量注释数据用于训练。然而，现有的视频摘要数据集规模较小，容易导致深度模型的过拟合。考虑到大规模数据集的标注是耗时的，我们提出了一个多模态自监督学习框架来获得视频的语义表示，这有利于视频摘要任务。具体而言，自监督学习是通过探索视频和文本之间的语义一致性，在粗粒度和细粒度的时尚，以及恢复视频中的掩蔽帧。多模态框架在新收集的由视频-文本对组成的数据集上进行训练。此外，我们引入了一种渐进式视频摘要方法，其中视频中的重要内容被逐步精确定位以生成更好的摘要。大量的实验证明了我们的方法的有效性和优越性的秩相关系数和F-得分。
2022-10-19 cs.CL cs.CV
Evaluation of an Audio-Video Multimodal Deepfake Dataset using Unimodal and Multimodal Detectors
Sungkyunkwan University（成均馆大学）
Deepfake生成方面取得的重大进展导致了安全和隐私问题。攻击者可以很容易地在图像中冒充一个人的身份，方法是将他的脸替换为目标人物的脸。此外，使用深度学习技术克隆人类声音的新领域也正在出现。现在，攻击者可以使用目标人物的几秒钟音频生成逼真的克隆人声音。随着deepfake可能造成的潜在危害的威胁不断出现，研究人员提出了deepfake检测方法。然而，它们仅关注于检测单个模态，即，视频或音频。另一方面，为了开发一个好的deepfake检测器，可以应对deepfake生成的最新进展，我们需要一个检测器，可以检测多种形式的deepfake，即，视频和音频。为了构建这样的检测器，我们需要一个包含视频和相应音频deepfake的数据集。我们能够找到最新的deepfake数据集，音频-视频多模态Deepfake检测数据集（FakeAVCeleb），它不仅包含deepfake视频，还包含合成的假音频。我们使用了这个多模态deepfake数据集，并使用最先进的单峰，基于集合的和多模态检测方法进行了详细的基线实验来评估它。通过详细的实验，我们得出结论，与基于集合的方法相比，单峰，仅处理单一模态，视频或音频，表现不佳。而纯粹基于多模态的基线提供最差的性能。
2021-09-07 cs.CV cs.MM cs.SD
VideoAdviser: Video Knowledge Distillation for Multimodal Transfer Learning
KDDI Research（KDDI研究院）；Keio University（庆应义塾大学）
本文提出 VideoAdviser，通过 CLIP 教师到 RoBERTa 学生的两步视频知识蒸馏，使纯文本模型获得多模态知识，并在情感分析和音视频检索上显著提升性能。
2023-09-27 cs.CL cs.CV
End-to-end Generative Pretraining for Multimodal Video Captioning
Google Research（谷歌研究院）
最近的视频和语言预训练框架缺乏生成句子的能力。我们提出了多模态视频生成预训练（MV-GPT），一个新的预训练框架，用于从未标记的视频中学习，可有效地用于生成任务，如多模态视频描述。与最近的视频语言预训练框架不同，我们的框架同时训练多模式视频编码器和句子解码器。为了克服在无标签的视频字幕的缺乏，我们利用未来的话语作为一个额外的文本源，并提出了一个双向的生成目标-我们生成未来的话语给出了目前的多模态上下文，以及目前的话语给出了未来的观察。为此，我们训练了一个端到端的编码器-解码器模型，以直接从原始像素和转录的语音生成字幕。我们的模型在四个标准基准上实现了多模态视频描述的最新性能，以及其他视频理解任务，如VideoQA，视频检索和动作分类。
2022-05-10 cs.AI cs.CL cs.CV
End-to-End Audio Visual Scene-Aware Dialog using Multimodal Attention-Based Video Features
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））；School of Interactive Computing, Georgia Tech（佐治亚理工学院交互计算学院）
对话系统需要理解动态的视觉场景，以便与用户就周围的对象和事件进行对话。用于现实世界应用的场景感知对话系统可以通过集成来自多个研究领域的最新技术来开发，包括：端到端对话技术，其使用从对话数据训练的模型来生成系统响应;视觉问答（VQA）技术，其使用学习的图像特征来回答关于图像的问题;以及视频描述技术，其中使用多模态信息从视频生成描述/字幕。我们引入了一个新的关于人类行为视频的对话集。每个对话框都是一个类型化的对话，由两个Amazon Mechanical Turk（AMT）工作人员之间的10个问答（QA）对组成。总的来说，我们收集了大约9,000个视频的对话。使用这个用于视听场景感知对话（AVSD）的新数据集，我们训练了一个端到端会话模型，该模型在关于视频的对话中生成响应。我们的实验表明，使用多模态功能开发的多模态注意力为基础的视频描述，提高了质量的动态场景（视频）生成的对话。我们的数据集，模型代码和预训练模型将公开用于新的视频场景感知对话挑战。
2018-06-30 cs.CL cs.CV cs.SD
Classification of Important Segments in Educational Videos using Multimodal Features
TIB -- Leibniz Information Centre for Science and Technology（TIB——莱布尼茨科学技术信息中心）；L3S Research Center, Leibniz University Hannover（汉诺威莱布尼茨大学L3S研究中心）
视频是在网络搜索期间学习中常用的内容类型。许多电子学习平台提供高质量的内容，但有时教育视频很长，涵盖许多主题。人类擅长从视频中提取重要部分，但这对计算机来说仍然是一个重大挑战。在本文中，我们解决的问题，分配的重要性分数的视频片段，这是多少信息，它们包含相对于整体主题的教育视频。我们提出了一个注释工具和一个新的数据集的注释教育视频收集流行的在线学习平台。此外，我们提出了一个多模态神经架构，利用国家的最先进的音频，视觉和文本功能。我们的实验研究视觉和时间信息的影响，以及多模态特征的组合对重要性预测。
2020-10-26 cs.CV cs.LG
FoleyGRAM: Video-to-Audio Generation with GRAM-Aligned Multimodal Encoders
Dept. Information Engineering, Electronics and Telecommunications (DIET), Sapienza University of Rome（信息工程、电子与电信系（DIET），罗马萨皮恩扎大学）
FoleyGRAM提出一种基于GRAM对齐多模态编码器的视频到音频生成方法，利用扩散模型和波形包络实现语义与时间对齐，在Greatest Hits基准上提升生成音频与视频的语义一致性。
2025-10-07 cs.CV cs.LG cs.MM
MAST: Multimodal Abstractive Summarization with Trimodal Hierarchical Attention
IIIT Hyderabad（印度国际信息技术研究所海得拉巴分校）；New York University（纽约大学）
本文提出了MAST，一个新的模型，多模态抽象文本摘要，利用所有三种形式的信息-文本，音频和视频-在多模态视频。以前的工作多模态摘要文本摘要只利用信息的文本和视频模态。我们研究的有用性和挑战，从音频模态派生的信息，并提出了一个序列到序列的三模态分层注意力为基础的模型，克服了这些挑战，让模型更加关注的文本模态。MAST在多模态语言理解的How2数据集上的内容F1得分和Rouge-L得分方面优于当前最先进的模型（视频-文本）2.51分和1.00分。
2020-10-15 cs.CL cs.CV cs.LG
Efficient Selective Audio Masked Multimodal Bottleneck Transformer for Audio-Video Classification
本文提出了一种名为AVT的音视频识别方法，通过瓶颈Transformer降低跨模态融合复杂度，并结合自监督目标与掩码音频片段损失提升学习效率，在多个数据集上显著超越现有方法。
2024-01-08 cs.AI cs.CV cs.LG
VMSMO: Learning to Generate Multimodal Summary for Video-based News Articles
Peking University（北京大学）；Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
当今流行的多媒体新闻格式是向用户提供生动的视频和相应的新闻文章，其被包括CNN、BBC的有影响力的新闻媒体以及包括Twitter和微博的社交媒体采用。在这种情况下，自动选择合适的视频封面框架并生成适当的文章摘要可以帮助编辑节省时间，读者更有效地做出决策。因此，在本文中，我们提出了基于视频的多模态摘要与多模态输出（VMSMO）的任务来解决这样的问题。在这项任务中的主要挑战是联合建模的时间依赖性的视频与文章的语义意义。为此，我们提出了一个基于双交互的多模态摘要（DIMS），由一个双交互模块和多模态生成器。在双交互模块中，我们提出了一个条件自注意力机制和一个全局注意力机制，前者捕获视频中的局部语义信息，后者从更高的层次处理新闻文本和视频之间的语义关系。在大规模真实世界VMSMO数据集上进行的大量实验表明，DIMS在自动度量和人工评估方面都达到了最先进的性能。
2020-10-12 cs.CL cs.CV
SynMulti: Synthetic-to-Real Learning for Multimodal Video Understanding
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（向量人工智能研究所）
本文提出统一合成数据管道，用于生成多模态视频数据，支持多种任务格式，提升模型推理能力，并在视频物体计数、视觉问答和分割任务中验证了其有效性。
2026-09-01 cs.CV cs.LG
Highlight Timestamp Detection Model for Comedy Videos via Multimodal Sentiment Analysis
NTU（南洋理工大学）
如今，互联网上的视频很流行。对视频的精确和深入理解对于平台和研究人员来说都是一个困难但有价值的问题。现有的视频理解模型在对象识别任务中表现良好，但目前仍然不能理解喜剧视频中的突出幽默帧等抽象和上下文特征。当前的工业工作也主要集中在基于对象外观的基本类别分类任务上。针对抽象类的特征检测方法仍是空白。一种包含视频帧信息、音频频谱信息和文本信息的数据结构提供了一个新的探索方向。多模态模型的提出，使这种深入的视频理解任务成为可能。在本文中，我们分析了视频的抽象理解的困难，并提出了一种多模态结构，以获得在这一领域的最先进的性能。然后，我们选择了多模态视频理解的几个基准，并应用最合适的模型，以找到最佳的性能。最后，对本文的模型和方法进行了总结和评价，并指出了进一步改进的方向。
2021-05-28 cs.AI cs.CL cs.CV
Ring That Bell: A Corpus and Method for Multimodal Metaphor Detection in Videos
University of Helsinki（赫尔辛基大学）；Bose Corporation（博士公司）
我们提出了第一个公开可用的多模态隐喻注释语料库。该语料库由视频组成，包括音频和字幕，这些视频已经由专家注释。此外，我们提出了一种方法来检测隐喻在新的数据集的基础上的文本内容的视频。该方法实现了较高的F1分数（62%）的隐喻标签。我们还尝试了其他模态和多模态方法;然而，这些方法并没有超过基于文本的模型。在我们的错误分析中，我们确实发现了视频可以帮助消除隐喻歧义的情况，但是，视觉线索对于我们的模型来说太微妙了。数据可在Zenodo上获得。
2022-12-15 cs.CL cs.CV cs.MM
Multimodal Fusion and Coherence Modeling for Video Topic Segmentation
Alibaba Group（阿里巴巴集团）；Speech Lab（语音实验室）
本文通过多模态融合架构、多模态对比学习以及面向视频主题分割的预训练与微调任务，改进有监督视频主题分割，并构建大规模中文讲座视频数据集，在英中讲座数据上取得优于基线方法的效果。
2024-12-30 cs.AI cs.CV eess.IV
Tell Me What Happened: Unifying Text-guided Video Completion via Multimodal Masked Video Generation
UC Santa Barbara（加州大学圣巴巴拉分校）；Meta；NEC Laboratories America（NEC美国实验室）
在给定前几个静态帧的情况下生成视频是具有挑战性的，因为它预期具有时间相干性的合理的未来帧。除了视频预测之外，从上一帧倒回或在头部和尾部之间填充的能力也至关重要，但它们很少被用于视频完成。由于可能存在来自仅几个帧的提示的不同结果，因此可以遵循自然语言来执行视频完成的系统可以显著地提高可控性。受此启发，我们引入了一个新的任务，文本引导的视频完成（TVC），它要求模型生成一个视频从部分帧的指导下的指令。然后，我们提出了多模式屏蔽视频生成（MMVG）来解决这个TVC任务。在训练过程中，MMVG将视频帧离散化为视觉令牌，并屏蔽其中的大部分以从任何时间点执行视频完成。在推理时，单个MMVG模型可以通过应用相应的掩蔽条件来解决TVC的所有3种情况，包括视频预测、倒带和填充。我们在各种视频场景中评估MMVG，包括自我中心，动画和游戏。大量的实验结果表明，MMVG是有效的，在生成高质量的视觉外观与文本指导的TVC。
2023-03-22 cs.CL cs.CV
A Challenging Multimodal Video Summary: Simultaneously Extracting and Generating Keyframe-Caption Pairs from Video
Tohoku University（东北大学）；LY Corporation（LY公司）
本文提出多模态视频摘要任务，要求同时提取关键帧并生成对应字幕，并构建数据集、评估框架及两个基线系统。
2023-12-04 cs.CL cs.CV
LAION-BVD: A 13-Million-Hour Open Video Dataset for Multimodal Pre-training
研究团队构建了千万小时级开源多模态视频数据集LAION-BVD，经其训练的模型在视频-文本、音频-文本及图像-文本基准上表现出色，为多模态预训练提供了大规模数据支撑。
2026-11-10 cs.AI cs.CV cs.LG
TV-TREES: Multimodal Entailment Trees for Neuro-Symbolic Video Reasoning
Johns Hopkins University（约翰斯·霍普金斯大学）
针对视频-语言模型单模态推理、缺乏可解释性的问题，提出多模态蕴涵树生成器TV-TREES，通过搜索证据与结论的蕴涵关系树实现联合模态推理，在TVQA基准上取得可解释的最优零样本性能。
2024-10-10 cs.AI cs.CL cs.CV
Language as the Medium: Multimodal Video Classification through text only
Unitary
本文提出一种模型无关方法，利用LLM对BLIP-2、Whisper和ImageBind生成的文本描述进行推理，将文本作为视觉和听觉的代理，实现零样本多模态视频分类，并在UCF-101和Kinetics上验证了有效性。
2023-09-19 cs.AI cs.CL cs.CV
Top1 Solution of QQ Browser 2021 Ai Algorithm Competition Track 1 : Multimodal Video Similarity
Baidu. Inc（百度公司）；Mininglamp. Inc（明略科技集团）；Sogou. Inc（搜狗公司）
在本文中，我们描述了QQ浏览器2021 AI算法竞赛（AIAC）赛道1的解决方案。我们使用多模态Transformer模型来进行视频嵌入的提取。在预训练阶段，我们通过三个任务对模型进行训练：（1）视频标签分类（VTC），（2）掩码语言建模（MLM）和（3）掩码框架建模（MFM）。在微调阶段，我们训练模型与视频相似度的基础上排名归一化的人类标签。我们的完整产品线在整合了几个型号后，在排行榜上获得了0.852的分数，我们在比赛中获得了第一名。源代码已在Github上发布。
2021-10-30 cs.CV cs.LG
M3-CVC: Controllable Video Compression with Multimodal Generative Models
State Key Laboratory of Integrated Chips and Systems（集成芯片与系统国家重点实验室）；Fudan University（复旦大学）
本文提出M3-CVC框架，通过多模态生成模型、语义-运动关键帧选择、LMM时空细节提取和文本引导条件扩散压缩，在超低码率下显著超越VVC标准，提升视频语义与感知保真度。
2024-12-25 cs.CV eess.IV
From Long Videos to Engaging Clips: A Human-Inspired Video Editing Framework with Multimodal Narrative Understanding
University of Science and Technology of China（中国科学技术大学）；ByteDance China（字节跳动中国）
针对现有自动视频编辑依赖文本线索、忽略视觉上下文导致输出不连贯的问题，提出融合多模态叙事理解的HIVE框架，通过场景分割拆分编辑子任务，还构建了DramaAD数据集，实验显示其性能优于基线，缩小了与人工编辑的质量差距。
2025-10-03 cs.CL cs.CV
M4V: Multimodal Mamba for Efficient Text-to-Video Generation
Meituan（美团）；University of Technology Sydney（技术大学悉尼分校）；Beijing Jiaotong University（北京交通大学）
研究针对文本到视频生成计算量大的问题，引入多模态曼巴框架M4V。设计MM-DiM块，采用多模态令牌重新组合设计，增强时空一致性。实验表明，该框架能在降计算成本的同时生成高质量视频。
2026-07-13 cs.AI cs.CV cs.LG
Video Captioning with Guidance of Multimodal Latent Topics
Renmin University of China（中国人民大学）；Carnegie Mellon University（卡内基梅隆大学）
开放域视频的主题多样性导致了描述视频内容的各种词汇和语言表达，因此，使得视频描述任务更具挑战性。在本文中，我们提出了一个统一的字幕框架，M&M TGM，挖掘多模态的主题在无监督的方式从数据和指导这些主题的字幕解码器。与预先定义的主题相比，多模态主题在语义和视觉上更连贯，更能反映视频的主题分布。我们制定的主题意识字幕生成作为一个多任务学习问题，其中我们添加了一个并行任务，主题预测，除了标题任务。对于主题预测任务，我们使用挖掘的主题作为教师来训练学生主题预测模型，该模型学习从视频的多模态内容中预测潜在主题。主题预测为学习过程提供了中间监督。对于字幕任务，我们提出了一种新的主题感知解码器，以生成更准确和详细的视频描述的指导下，从潜在的主题。整个学习过程是端到端的，它同时优化了这两项任务。在MSR-VTT和Youtube 2 Text数据集上进行的大量实验结果证明了我们提出的模型的有效性。M&M TGM不仅在多个评估指标和两个基准数据集上优于现有的最先进的方法，而且还具有更好的泛化能力。
2023-02-14 cs.CL cs.CV
Deep Multimodal Feature Encoding for Video Ordering
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Toronto（多伦多大学）；Massachusetts Institute of Technology（麻省理工学院）；Inria（法国国家信息与自动化研究所）
对视频的真正理解来自对其所有形式的联合分析：视频帧，音轨和任何伴随的文本，如隐藏字幕。我们提出了一种方法来学习一个紧凑的多模态特征表示，编码所有这些方式。我们的模型参数是通过推断一组无序视频在时间轴中的时间顺序的代理任务来学习的。为此，我们创建了一个新的多模态数据集的时间排序，包括约30 K场景（每个场景2-6个剪辑）的基础上的“大规模电影描述挑战”。我们分析和评估三个具有挑战性的任务的个人和联合模态：（i）推断一组视频的时间顺序;（ii）动作识别。我们的经验表明，多模态表示确实是互补的，可以发挥关键作用，提高许多应用程序的性能。
2020-04-05 cs.CV cs.LG cs.MM
VX2TEXT: End-to-End Learning of Video-Based Text Generation From Multimodal Inputs
Columbia University（哥伦比亚大学）；Facebook AI（脸书人工智能）；Georgia Tech（佐治亚理工学院）；Dartmouth（达特茅斯学院）
我们提出了\textsc{Vx2Text}，一个框架，从多模态输入的文本生成包括视频加文本，语音，或音频。为了利用Transformer网络，它已被证明是有效的建模语言，每个模态首先转换成一组语言嵌入的可学习的标记器。这使得我们的方法在语言空间中执行多模态融合，从而消除了对ad-hoc跨模态融合模块的需要。为了解决连续输入上标记化的不可微性（例如，视频或音频），我们利用能够进行端到端训练的松弛方案。此外，与以前的仅编码器模型不同，我们的网络包括一个自回归解码器，用于从语言编码器融合的多模态嵌入中生成开放式文本。这使得我们的方法完全生成，并使其直接适用于不同的“视频+ $x$到文本”的问题，而不需要为每个任务设计专门的网络头。该框架不仅概念简单，而且非常有效：实验表明，我们的方法基于一个单一的架构优于国家的最先进的三个基于视频的文本生成任务-字幕，问答和视听场景感知对话。
2021-01-29 cs.CL cs.CV
TLDW: Extreme Multimodal Summarisation of News Videos
The University of Sydney（悉尼大学）；International Digital Economy Academy (IDEA)（国际数字经济研究院（IDEA））；University of Rochester（罗切斯特大学）
随着多媒体数据的快速增长，具有多模态输出的多模态摘要越来越受到人们的关注。虽然已经提出了几种方法来总结视觉文本内容，但它们的多模态输出在极端水平上不够简洁，无法解决信息过载问题。极端的多模态摘要的结束，我们引入了一个新的任务，极端的多模态摘要与多模态输出（XMSMO）的情况下，TL;DW -太长;没有看，类似于TL; DR。XMSMO的目的是总结一个视频文档对到一个摘要具有极短的长度，其中包括一个封面框架作为视觉摘要和一个句子作为文本摘要。我们提出了一种新的无监督分层最优传输网络（HOT-Net）由三个部分组成：分层多模式编码器，分层多模态融合解码器，和最优传输求解器。我们的方法是在不使用参考摘要的情况下，通过从最佳运输计划下语义分布之间的距离的角度优化视觉和文本覆盖来训练的。为了便于对这一任务的研究，我们收集了一个大规模的数据集XMSMO-News，收集了4，891个视频文档对。实验结果表明，我们的方法在ROUGE和IoU指标方面取得了令人满意的性能。
2022-10-16 cs.CL cs.CV cs.MM
Building a Video-and-Language Dataset with Human Actions for Multimodal Logical Inference
Ochanomizu University（御茶水女子大学）；The University of Tokyo（东京大学）；Keio University（庆应义塾大学）
本文介绍了一个新的视频和语言数据集与人类的行动多模态逻辑推理，重点是有意和方面的表达，描述动态的人类行动。该数据集由200个视频、5,554个动作标签和1,942个动作三元组组成，这些三元组的形式为<subject，predicate，object>，可以转换为逻辑语义表示。该数据集有望用于评估视频和语义复杂的句子（包括否定和量化）之间的多模态推理系统。
2021-06-27 cs.CV
Integrating Video and Text: A Balanced Approach to Multimodal Summary Generation and Evaluation
IRIT, University of Toulouse, France（IRIT，图卢兹大学，法国）；Institute for Infocomm Research (I 2 R), A*STAR, Singapore（信息通信研究所（I2R），A*STAR，新加坡）；CNRS, IRIT, France（CNRS，IRIT，法国）
提出一种零样本文本到视频摘要方法，通过构建剧本表示整合多模态信息，并引入MFactSum评估指标，在SummScreen3D数据集上显著优于现有VLMs。
2025-10-31 cs.CL cs.CV
Multimodal Short Video Rumor Detection System Based on Contrastive Learning
Sichuan University Cyberspace Security Academy（四川大学网络空间安全学院）
提出基于对比学习的多模态短视频谣言检测系统，融合视频与文本特征并引入外部知识，有效解决短视频谣言识别难题。
2023-05-17 cs.CV cs.LG
Thinking with Video: Video Generation as a Promising Multimodal Reasoning Paradigm
Institute of Trustworthy Embodied AI, Fudan University（复旦大学可信具身智能研究所）；Shanghai Innovation Institute（上海创新研究院）；Shanghai Key Laboratory of Multimodal Embodied AI（上海市多模态具身人工智能重点实验室）；College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院）；The Chinese University of Hong Kong（香港中文大学）；Central South University（中南大学）；Fudan University（复旦大学）
本文提出'通过视频思考'范式，利用视频生成模型实现多模态推理，通过VideoThinkBench评估显示Sora-2在视觉和文本任务中均表现出色，证明视频生成模型在统一多模态理解与生成中的潜力。
2026-04-07 cs.CL cs.CV
SurgLLM: A Versatile Large Multimodal Model with Spatial Focus and Temporal Awareness for Surgical Video Understanding
Hong Kong Institute of Science & Innovation（香港科学与工业创新研究院）；CAMP, Technische Universität München（CAMP，慕尼黑技术大学）；Department of Surgery, Faculty of Medicine, The Chinese University of Hong Kong（香港中文大学医学院外科部）
针对现有手术视频理解模型空间感知不足、时间推理弱的问题，提出具备空间聚焦与时间感知的SurgLLM大模型，通过专用预训练、微调与任务动态集成，在多类手术视频理解任务上超越现有最优方法。
2025-08-30 cs.AI cs.CV cs.LG
MAiVAR: Multimodal Audio-Image and Video Action Recognizer
Edith Cowan University（伊迪丝·考恩大学）；The University of Western Australia（西澳大学）
目前，动作识别主要是在CNN处理的视频数据上执行的。我们研究了CNN的表示过程是否也可以通过在任务中结合基于图像的动作音频表示来用于多模式动作识别。为此，我们提出了多模态音频图像和视频动作识别器（MAiVAR），这是一种基于CNN的音频图像到视频融合模型，它考虑了视频和音频模态，以实现卓越的动作识别性能。MAiVAR提取音频的有意义的图像表示，并将其与视频表示融合，以在大规模动作识别数据集上实现更好的性能。
2022-09-11 cs.CV
MVAD: A Benchmark Dataset for Multimodal AI-Generated Video-Audio Detection
University of Science and Technology of China（中国科学技术大学）
针对现有数据集缺乏多模态真实性的问题，提出MVAD数据集，包含三种伪造模式、高质量样本及多样化的视觉风格和内容类别，用于检测AI生成的视频-音频内容。
2026-06-15 cs.CV
HAVEN: Hierarchically Aligned Multimodal Benchmark for Unified Video Understanding
Department of Information and Computer Sciences（信息与计算机科学系）
本文提出HAVEN，一个用于统一视频理解的层次对齐多模态基准，旨在解决现有多模态大语言模型在复杂叙事总结和推理方面评估不足的问题，通过引入全粒度和全多模态的数据集架构，提供了一个严谨的标准测试平台。
2026-05-19 cs.CV
MM-Ego: Towards Building Egocentric Multimodal LLMs for Video QA
CSE, HKUST（香港科技大学计算机科学与工程学系）；Apple（苹果公司）；UCLA（加利福尼亚大学洛杉矶分校）
本研究针对第一视角视频理解缺乏问答数据的问题，构建了大规模数据集和基准，提出带“记忆指针提示”机制的多模态架构，最终打造出在该任务上性能强大的MM-Ego模型。
2025-04-13 cs.AI cs.CV cs.LG
Tele-Omni: a Unified Multimodal Framework for Video Generation and Editing
TeleAI
Tele-Omni是一种统一多模态框架，通过解析文本、图像和参考视频指令，实现视频生成与编辑的灵活控制，提升时间一致性和视觉一致性。
2026-02-23 cs.CV
Exploiting Temporal Coherence for Multi-modal Video Categorization
Samsung Research America（三星美国研究院）
多模态ML模型可以以多种模态处理数据（例如，视频、图像、音频、文本）并且对于各种问题中的视频内容分析是有用的（例如，目标检测、场景理解）。在本文中，我们专注于视频分类的问题，通过使用多模态的方法。我们已经开发了一种新的基于时间相干性的正则化方法，该方法适用于不同类型的模型（例如，RNN、NetVLAD、Transformer）。我们通过实验证明了我们提出的多模态视频分类模型与时间一致性如何表现出强大的最先进的基线模型。
2020-06-06 cs.CV cs.LG stat.ML
Tuning Large Multimodal Models for Videos using Reinforcement Learning from AI Feedback
Yonsei University（延世大学）；University of Minnesota（明尼苏达大学）；Seoul National University（首尔大学）
本文提出VLM-RLAIF方法，通过AI反馈强化学习实现视频与文本模态对齐，并引入上下文感知奖励建模，在多个视频基准上超越现有SFT模型。
2024-06-17 cs.CV
Jailbreaking Multimodal Large Language Models using Multi-Clip Video
Department of Applied Artificial Intelligence, Sungkyunkwan University（应用人工智能系，成均馆大学）；Department of Human-Artificial Intelligence Interaction, Sungkyunkwan University（人机交互系，成均馆大学）
提出MCV SafetyBench数据集，通过多片段视频评估多模态大语言模型的安全漏洞，发现视频模态比图像更脆弱，动态和多样化上下文增加攻击成功率，并基于图像模态的鲁棒性提出防御策略。
2026-06-01 cs.AI cs.CL cs.CV
Video-based Cross-modal Auxiliary Network for Multimodal Sentiment Analysis
Shanghai University（上海大学）；University of Leicester（莱斯特大学）
多模态情感分析由于其在多模态交互中的信息互补性而具有广泛的应用。以往的研究多集中在研究有效的联合表示，但很少考虑到多模态融合的单峰特征提取不足和数据冗余。本文提出了一种基于视频的跨模态辅助网络（VCAN），它由音频特征映射模块和跨模态选择模块组成。第一模块被设计为显著增加音频特征提取中的特征多样性，旨在通过提供更全面的声学表示来提高分类精度。为了使模型能够处理冗余的视觉特征，第二个模块是针对有效地过滤冗余的视觉帧在整合视听数据。此外，一个分类器组由多个图像分类网络被引入到预测情感极性和情感类别。在RAVDESS、CMU-MOSI和CMU-MOSEI基准测试上的大量实验结果表明，VCAN在提高多模态情感分析的分类精度方面明显优于现有的方法。
2022-08-30 cs.CV cs.SD eess.AS
Dynamic Multimodal Fusion via Meta-Learning Towards Micro-Video Recommendation
Shandong University（山东大学）；National University of Singapore（新加坡国立大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
针对微视频推荐中静态多模态融合无法适配不同微视频模态关系的问题，提出基于元学习的动态融合框架MetaMMF，为每个微视频动态生成专属融合函数，在三个基准数据集上优于多个现有模型，还通过规范多变量分解提升了训练效率。
2025-01-13 cs.CV cs.IR cs.MM
Temporal Pyramid Transformer with Multimodal Interaction for Video Question Answering
Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences（中国科学院重庆绿色智能技术研究院）；Chongqing School, University of Chinese Academy of Sciences（中国科学院大学重庆学院）；University College London（伦敦大学学院）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人学会）
视频问答（VideoQA）是视觉理解和自然语言理解的多模态结合，具有挑战性。虽然现有的方法很少在多个时间尺度上利用视频中的外观运动信息，但用于文本语义提取的问题与视觉信息之间的交互经常被忽视。针对这些问题，本文提出了一种新的时间金字塔Transformer（TPT）模型与多模态交互的视频问答。TPT模型包括两个模块，即特定于XML的Transformer（QT）和可视化推理（VI）。给定从视频构建的时间金字塔，QT从每个单词和视觉内容之间的粗到细的多模态共现构建问题语义。在这种问题语义的指导下，VI从问题和视频之间的局部到全局的多层次交互中推断出视觉线索。在每个模块中，我们引入了多模态注意力机制来帮助提取问题-视频交互，并为跨不同层次的信息采用了剩余连接。通过在三个VideoQA数据集上的大量实验，我们证明了所提出的方法与最先进的方法相比具有更好的性能。
2021-09-10 cs.CV
Heterogeneous Memory Enhanced Multimodal Attention Model for Video Question Answering
JD Digits（京东数科）
本文提出了一种新的端到端可训练的视频问答（VideoQA）框架，该框架由三个主要部分组成：1）一个新的异构存储器，可以有效地从外观和运动特征中学习全局上下文信息; 2）一个重新设计的问题存储器，可以帮助理解问题的复杂语义并突出查询主题;以及3）新的多模态融合层，其通过利用自更新注意力关注相关视觉和文本提示来执行多步推理。我们的VideoQA模型首先生成全局上下文感知的视觉和文本特征，分别通过当前输入与记忆内容的相互作用。在此基础上，对多模态视觉表征和文本表征进行注意融合，从而推断出正确答案。可以进行多个推理循环以迭代地细化多模态数据的注意力权重并改进QA对的最终表示。实验结果表明，我们的方法实现了国家的最先进的性能在四个VideoQA基准数据集。
2019-04-08 cs.CV
Attention-Based Multimodal Fusion for Video Description
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
当前成功的视频描述方法是基于使用递归神经网络（RNN）的编码器-解码器句子生成。最近的工作已经显示出将时间和/或空间注意力机制集成到这些模型中的优势，其中解码器网络通过选择性地给予来自特定时间帧的编码特征（时间注意力）或来自特定空间区域的特征（空间注意力）更多权重来预测描述中的每个词。在本文中，我们建议扩展注意力模型，以选择性地参加不只是特定的时间或空间区域，但特定的输入形式，如图像特征，运动特征和音频特征。我们的新的模态相关的注意力机制，我们称之为多模态注意，提供了一种自然的方式来融合多模态信息的视频描述。我们在Youtube 2 Text数据集上评估了我们的方法，取得了与当前最先进技术相竞争的结果。更重要的是，我们证明了我们的模型结合了多模态注意力和时间注意力，显著优于单独使用时间注意力的模型。
2017-03-09 cs.CL cs.CV cs.MM
Multimodal Large Language Model-Enabled Video Translation: A Role-Oriented Survey
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术学院）
本文通过面向角色的分类法，系统综述了多模态大语言模型在视频翻译中的应用，将其分为语义推理器、表达执行器和视觉合成器三个功能角色，并总结了数据集、基准和评估指标，指出了端到端视频翻译的挑战与未来方向。
2026-06-01 cs.CV
Consolidating Diffusion-Generated Video Detection with Unified Multimodal Forgery Learning
School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院）；School of Information Science and Electronic Engineering, Shanghai Jiao Tong University（上海交通大学信息科学与电子工程学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Department of Computer Science and Engineering, Michigan State University（密歇根州立大学计算机科学与工程系）
本文提出MM-Det++算法，通过统一多模态学习检测扩散生成视频，结合时空分支和多模态分支，提升视频伪造检测的准确性和泛化能力。
2025-11-22 cs.CV
Deep Multimodal Learning: An Effective Method for Video Classification
Institute for Interdisciplinary Information Sciences（交叉信息研究院）；Tsinghua University（清华大学）
视频在互联网上变得无处不在。视频分析可以为检测和识别对象提供大量信息，并帮助人们理解人类行为以及与现实世界的交互。然而，面对结核病水平这样庞大的数据，必须采用有效的方法。递归神经网络（RNN）架构已被广泛用于许多顺序学习问题，如语言模型，时间序列分析等。在本文中，我们提出了一些变体的RNN，如堆叠双向LSTM/GRU网络与注意力机制分类大规模视频数据。我们还探讨了不同的多模态融合方法。我们的模型结合了视频和帧级的视觉和音频信息，并收到了很好的效果。还应用了包围方法。由于其多模态特性，我们决定将这种方法称为深度多模态学习（DML）。我们基于DML的模型在Google Cloud和我们自己的服务器上进行了训练，并在Google举办的Kaggle上的知名视频分类竞赛中进行了测试。
2018-11-30 cs.CV cs.MM
Hierarchical Multimodal Transformer to Summarize Videos
Xidian University（西安电子科技大学）；Northwestern Polytechnical University（西北工业大学）
虽然视频摘要在循环神经网络（RNN）的帮助下取得了巨大的成功，但是基于RNN的方法忽略了视频帧之间的全局依赖性和多跳关系，从而限制了性能。Transformer模型是解决这一问题的有效模型，在机器翻译、视频描述、\emph{etc}等序列建模任务中优于基于RNN的方法。基于Transformer的巨大成功和视频的自然结构（帧-镜头-视频），本文提出了一种分层的Transformer用于视频摘要，它能够捕捉帧和镜头之间的依赖关系，并利用镜头形成的场景信息对视频进行摘要。此外，我们认为，音频和视觉信息是必不可少的视频摘要任务。为了整合这两种信息，它们被编码在一个两个流的计划，和多模态融合机制的基础上的分层Transformer。在本文中，所提出的方法被表示为分层多模式Transformer（HMT）。大量的实验表明，HMT优于大多数传统的基于RNN和基于注意力的视频摘要方法。
2021-09-22 cs.AI cs.CV
Multimodal Fake News Video Explanation: Dataset, Analysis and Evaluation
School of Computer Science and Technology Soochow University（苏州大学计算机科学与技术学院）
针对多模态虚假新闻视频缺乏可解释性的问题，提出虚假新闻视频解释任务，构建包含2672条样本的FakeVE数据集，提出多模态关系图Transformer模型并建立基准，验证了模型解释生成的有效性。
2025-04-17 cs.CV cs.MM
