AdaMML: Adaptive Multi-Modal Learning for Efficient Video Recognition
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Boston University(波士顿大学);MIT(麻省理工学院)
多模态学习是一种利用各种模态来提高模型性能的学习方法,广泛应用于视频识别中。虽然传统的多模态学习提供了出色的识别结果,但其计算费用限制了其对许多现实世界应用的影响。在本文中,我们提出了一种自适应多模态学习框架,称为AdaMML,它可以根据输入为每个片段选择最佳模态,以实现高效的视频识别。具体来说,给定一个视频片段,使用多模态策略网络来决定识别模型应该使用什么模态进行处理,目标是提高准确性和效率。我们有效地训练的政策网络与识别模型,使用标准的反向传播。在四个具有挑战性的不同数据集上进行的广泛实验表明,与传统的基线相比,我们提出的自适应方法可以减少35%-55%的计算量,而传统的基线只是简单地使用所有的模态,而不考虑输入,同时还实现了与最先进的方法相比准确性的一致提高。
2021-05-12 cs.AI cs.CV cs.LG
GPT2MVS: Generative Pre-trained Transformer-2 for Multi-modal Video Summarization
University of Amsterdam(阿姆斯特丹大学);BBC Research and Development(BBC研发部)
传统的视频摘要方法生成固定的视频表示,而不管用户的兴趣。因此,这样的方法限制了用户在内容搜索和探索场景中的期望。多模态视频摘要是用来解决这个问题的方法之一。当使用多模态视频摘要来帮助视频探索时,基于文本的查询被认为是视频摘要生成的主要驱动因素之一,因为它是用户定义的。因此,对基于文本的查询和视频进行有效的编码对于多模态视频摘要的任务都是重要的。在这项工作中,提出了一种新的方法,使用专门的注意力网络和上下文的单词表示来解决这个任务。该模型包括一个上下文视频摘要控制器,多模态注意力机制,一个交互式注意力网络,和一个视频摘要生成器。通过对现有多模态视频摘要基准的评价,实验结果表明,与现有方法相比,该模型的准确率提高了+5.88%,F1分数提高了+4.06%。
2021-04-26 cs.AI cs.CL cs.CV
TriMotion: Modality-Agnostic Camera Control for Video Generation
GIST(光州科学技术院);Huawei Noah's Ark Lab(华为诺亚方舟实验室);Yonsei University(延世大学);Imperial College London(伦敦帝国理工学院)
提出TriMotion框架,通过将视频、姿态和文本输入映射到共享运动嵌入空间,实现模态无关的摄像机控制视频生成,并引入潜在运动一致性目标,无需像素级解码即可准确跟随目标轨迹。
2026-06-23 cs.AI cs.CV cs.RO
Tencent AVS: A Holistic Ads Video Dataset for Multi-modal Scene Segmentation
Tencent Data Platform(腾讯数据平台)
近年来,公共基准测试极大地推进了时域视频分割和分类。然而,此类研究仍然主要集中在人类行为上,未能从整体上描述视频。此外,以往的研究往往关注视觉信息,而忽视了视频的多模态特性。为了填补这一空白,我们在广告领域构建了腾讯广告视频分割(TAVS)数据集,将多模态视频分析提升到一个新的水平。TAVS从“呈现形式”、“场所”和“风格”三个独立的角度描述视频,包含丰富的视频、音频和文本等多模态信息。TAVS在语义方面分层组织,用于全面的时间视频分割,具有用于多标签分类的三个类别级别,例如,“地方”-“工作场所”-“办公室”因此,TAVS区别于以前的时间分割数据集,由于其多模态信息,整体视图的类别,和层次粒度。它包括12,000个视频,82个类,33,900个片段,121,100个镜头和168,500个标签。伴随着TAVS,我们还提出了一个强大的多模态视频分割基线加上多标签类预测。进行了大量的实验来评估我们提出的方法以及现有的代表性方法,以揭示我们的数据集TAVS的关键挑战。
2022-12-09 cs.CV
Content-Based Video-Music Retrieval Using Soft Intra-Modal Structure Constraint
到目前为止,只有有限的研究已经进行了跨模态检索的合适的音乐为指定的视频或反之亦然。此外,许多现有的研究依赖于元数据,如关键字,标签,或相关的描述,必须单独产生和附加后。本文介绍了一种新的基于内容的视频和音乐跨模态检索方法,该方法通过深度神经网络实现。我们通过模态间排序损失来训练网络,使得具有相似语义的视频和音乐在嵌入空间中紧密地结合在一起。然而,如果仅使用模态间排序约束进行嵌入,则可能丢失模态特定的特征。为了解决这个问题,我们提出了一种新的软模内结构损失,利用嵌入前的模内样本之间的相对距离关系。我们还引入了合理的定量和定性实验协议,以解决不太成熟的视频音乐相关任务缺乏标准协议的问题。最后,我们构建了一个大规模的200 K视频-音乐对基准。所有数据集和源代码都可以在我们的在线存储库(https://github.com/csehong/VM-NET)中找到。
2017-09-01 cs.CV
VideoFusion: A Spatio-Temporal Collaborative Network for Multi-modal Video Fusion
School of Robotics, Wuhan University, Wuhan, China(机器人学院,武汉大学,武汉,中国);Electronic Information School, Wuhan University, Wuhan, China(电子信息学院,武汉大学,武汉,中国);Southeast University, Nanjing, China(东南大学,南京,中国)
VideoFusion通过时空协作网络实现多模态视频融合,利用跨模态互补性和时间动态性提升视频一致性。
2026-03-02 cs.CV
HCMS: Hierarchical and Conditional Modality Selection for Efficient Video Recognition
Fudan University(复旦大学);University of Maryland(马里兰大学)
视频本质上是多模态的。传统的视频识别流水线通常融合多模态特征以提高性能。然而,这不仅在计算上昂贵,而且忽略了不同视频依赖于不同模式进行预测的事实。本文介绍了分层和条件模态选择(HCMS),一个简单而有效的多模态学习框架,有效的视频识别。HCMS以低成本模式运作,即,默认情况下,音频线索,并在每个输入的基础上动态地决定是否使用计算昂贵的模态,包括外观和运动线索。这是通过以分层方式组织的三个LSTM的协作来实现的。特别是,在高成本模态上操作的LSTM包含门控模块,该门控模块将较低级别的特征和历史信息作为输入,以自适应地确定是否激活其相应的模态;否则,它只是重复使用历史信息。我们进行了广泛的实验上的两个大规模的视频基准,FCVID和ActivityNet,结果表明,所提出的方法可以有效地探索多模态信息,提高分类性能,同时需要更少的计算。
2022-12-06 cs.CV
Seeing your sleep stage: cross-modal distillation from EEG to infrared video
Peking University(北京大学)
睡眠阶段的划分对各种疾病的诊断具有重要意义。然而,现有的自动化诊断方法大多采用医院中的多导睡眠图(PSG)机的“金标准”脑电图(EEG)或其他单模态感测信号,其昂贵且可进口,因此不适合家庭中的床旁监护。为了实现家庭睡眠阶段监测,本文分析了红外视频与脑电信号之间的关系,提出了一个新的任务:通过提取脑电信号中的有用知识到视觉信号中,利用红外视频对睡眠阶段进行分类。为了建立一个坚实的跨模态的基准,这个应用程序,我们开发了一个新的数据集,称为通过红外视频和脑电图看到你的睡眠阶段($S^3VE$)。$S^3VE$是一个大规模的数据集,包括用于睡眠阶段分类的同步红外视频和EEG信号,包括105名受试者和154,573个视频片段,长度超过1100小时。我们的贡献不仅限于数据集,而且还涉及一种新的跨模态蒸馏基线模型,即结构感知对比蒸馏(SACD),以提取EEG知识到红外视频特征。SACD在我们的$S^3VE$和现有的跨模态蒸馏基准上都达到了最先进的性能。基准和基线方法都将向社区发布。我们期望引起更多的关注,促进更多的发展,睡眠阶段的分类,更重要的是从临床信号/媒体到传统媒体的跨模态蒸馏。
2022-08-11 cs.AI cs.CV cs.MM
Causal Video Summarizer for Video Exploration
University of Amsterdam(阿姆斯特丹大学);Georgia Institute of Technology(佐治亚理工学院);IBM Research(IBM研究院)
本文提出因果视频摘要器CVS,通过概率编码器-解码器有效建模视频与文本查询的交互,在多模态视频摘要任务中较现有最优方法准确率提升5.4%、F1提升4.92%。
2023-07-04 cs.AI cs.CV cs.IR
Learning Cross-modal Contrastive Features for Video Domain Adaptation
Boston University(波士顿大学);NEC Labs America(NEC美国实验室);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
从视频中学习可转移和域自适应特征表示对于视频相关任务(如动作识别)非常重要。现有的视频领域自适应方法主要依赖于从RGB图像空间导出的对抗性特征对齐。然而,视频数据通常与多模态信息相关联,例如,RGB和光流,因此设计一种在跨领域自适应设置下考虑跨模态输入的更好方法仍然是一个挑战。为此,我们提出了一个统一的框架,视频领域自适应,同时正则化跨模态和跨域的功能表示。具体来说,我们把一个领域中的每一个模态作为一个视图,并利用对比学习技术与适当设计的采样策略。因此,我们的目标规范化的特征空间,原来缺乏跨模态的连接或跨域的对齐较少。我们在领域自适应动作识别基准数据集上进行实验,即,UCF,HMDB和EPIC-Kitchener,并证明了我们的组件对国家的最先进的算法的有效性。
2021-08-26 cs.CV
A Large Cross-Modal Video Retrieval Dataset with Reading Comprehension
University of Chinese Academy of Sciences(中国科学院大学);National University of Singapore(新加坡国立大学);Zhejiang University(浙江大学);Kuaishou Technology(快手科技);Huazhong University of Science and Technology(华中科技大学)
本研究提出了具备文本阅读理解能力的大规模跨模态视频检索数据集TextVR,设计了对应的多模态检索基线,实验表明该基准为视频与语言领域带来了新的技术挑战与研究洞见。
2023-05-05 cs.CV
Probing Visual-Audio Representation for Video Highlight Detection via Hard-Pairs Guided Contrastive Learning
Sensetime Research(商汤科技研究院);The Hong Kong Polytechnic University(香港理工大学)
视频精彩片段检测是一个重要而又具有挑战性的问题,旨在识别未修剪视频中的有趣时刻。这一任务的关键在于有效的视频表示,共同追求两个目标,\textit{i.e.},跨模态表示学习和细粒度的特征歧视。在本文中,这两个挑战,不仅丰富内模态和跨模态的关系表示建模,但也形成了有区别的方式的功能来解决。我们提出的方法主要利用内模态编码和跨模态同现编码的充分表示建模。具体而言,模态内编码增强了模态方面的功能,并通过在音频和视觉信号中的模态内关系学习来抑制不相关的模态。同时,跨模态同现编码关注同现的模态间关系,有选择地捕捉多模态之间的有效信息。从局部上下文中提取的全局信息进一步增强了多模态表示。此外,我们扩大了识别能力的特征嵌入与硬对引导对比学习(HPCL)计划。为了提高HPCL的特征区分度,进一步采用了硬对采样策略来挖掘硬样本。在两个基准上进行的大量实验证明了我们所提出的方法与其他最先进的方法相比的有效性和优越性。
2022-06-21 cs.CV
StructAlign: Structured Cross-Modal Alignment for Continual Text-to-Video Retrieval
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Xi’an Jiaotong University(西安交通大学);Shandong University(山东大学)
本文提出StructAlign,通过结构化跨模态对齐方法解决连续文本到视频检索中的模态错位和特征漂移问题,提升模型持续学习能力。
2026-04-25 cs.CV
Towards Balanced Alignment: Modal-Enhanced Semantic Modeling for Video Moment Retrieval
University of Science and Technology of China(中国科学技术大学);People’s Daily Online(人民网)
针对视频片段检索中的模态不均衡问题,提出双层级模态增强语义建模框架MESM,分别从帧-词和片段-句子层面增强视频与文本模态,实现更均衡的跨模态对齐,在多个基准上取得SOTA性能并具备强泛化能力。
2023-12-19 cs.CV
OVG-HQ: Online Video Grounding with Hybrid-modal Queries
Artificial Intelligence Research Institute, Shenzhen MSU-BIT University(人工智能研究院,深圳MSU-BIT大学);University of Adelaide(阿德莱德大学)
本文提出在线混合模态查询视频定位任务OVG-HQ,设计OVG-HQ-Unify框架,通过参数化记忆块和跨模态蒸馏解决在线上下文有限与模态不平衡问题,并构建多模态数据集及在线评估指标,实验证明其优于现有模型。
2025-08-16 cs.CV
XKD: Cross-modal Knowledge Distillation with Domain Alignment for Video Representation Learning
Vector Institute(矢量研究所)
XKD是一种自监督跨模态知识蒸馏框架,通过域对齐和模态无关设计,从无标签视频中学习表征,显著提升动作分类和声音分类性能。
2023-12-24 cs.CV
Multi-Modal Video Topic Segmentation with Dual-Contrastive Domain Adaptation
University of British Columbia(不列颠哥伦比亚大学);Adobe Research(奥多比研究院)
本文提出一种结合视频转录文本与帧的多模态主题分割方法,并通过双对比域自适应框架提升模型在长视频和跨域场景下的准确性与可迁移性。
2023-11-30 cs.CL cs.CV cs.MM
MS4UI: A Dataset for Multi-modal Summarization of User Interface Instructional Videos
Brown University(布朗大学);Adobe Research(Adobe研究院)
针对现有视频摘要基准无法提供UI教学视频所需逐步可执行指令与图示的问题,该研究提出新型基准MS4UI,构建含2413个视频、超167小时的多标注数据集,实验表明现有SOTA多模态摘要方法在该任务上表现不佳,凸显研发新方法的必要性。
2025-06-14 cs.CL cs.CV
Leveraging multimodal explanatory annotations for video interpretation with Modality Specific Dataset
Université Côte d’Azur(蔚蓝海岸大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究院)
该研究通过MOByGaze数据集研究概念感知监督的影响,提出概念模态特定数据集(CMSDs),提升了多模态视频理解模型性能,为可解释多模态学习提供了新方向。
2025-04-15 cs.CV cs.MM
Domain Adaptation in Multi-View Embedding for Cross-Modal Video Retrieval
University of Bristol(布里斯托大学);NAVER LABS Europe(NAVER LABS 欧洲)
鉴于画廊的无字幕的视频序列,本文认为检索视频的基础上,他们的相关性看不见的文本查询的任务。为了弥补注释的不足,我们依赖于由视频字幕对组成的相关视频库,称为源库,尽管其视频和目标库中的视频之间存在域间隙。因此,我们介绍了跨模态视频检索的无监督领域自适应的问题,以及一个新的基准上的细粒度的行动。我们提出了一种新的迭代域对齐方法,通过伪标签的目标视频和跨域(即源-目标)的排名。我们的方法使嵌入空间适应目标图库,始终优于仅源以及边缘和条件对齐方法。
2021-10-25 cs.CV cs.LG
VideoXum: Cross-modal Visual and Textural Summarization of Videos
University of Rochester(罗切斯特大学);OPPO US Research Center(OPPO美国研究中心)
提出联合视频与文本摘要新任务,构建大规模人工标注数据集VideoXum,设计端到端模型VTSUM-BILP及评估指标VT-CLIPScore,实现跨模态语义对齐并确立基准。
2024-04-23 cs.CL cs.CV
VAST: A Vision-Audio-Subtitle-Text Omni-Modality Foundation Model and Dataset
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Science(中国科学院自动化研究所)
针对现有视频-文本基础模型对音频、字幕模态关注不足的问题,该研究构建了2700万样本的全模态视频字幕数据集VAST-27M,训练出能处理多模态的VAST基础模型,在22项跨模态基准上取得SOTA结果。
2023-10-07 cs.AI cs.CL cs.CV
HateMM: A Multi-Modal Dataset for Hate Video Classification
Indian Institute of Technology (IIT), Kharagpur(印度理工学院卡拉格普尔分校);Microsoft, India(微软印度分公司)
针对视频仇恨言论检测研究不足的问题,构建了约43小时的多模态仇恨视频数据集HateMM,并利用多模态深度学习模型将检测性能提升约5.7%。
2023-05-06 cs.CL cs.CV cs.MM
Cross-Modal learning for Audio-Visual Video Parsing
Indian Institute of Techonology, Bombay(印度理工学院孟买分校)
在本文中,我们提出了一种新的方法,视听视频解析(AVVP)的任务,划分事件从视频分别为音频和视觉形式。所提出的解析方法同时检测的时间边界的开始和结束时间,这样的事件。我们展示了AVVP如何从以下面向有效跨模态学习的技术中受益:(i)对抗训练和跳过连接(ii)全局上下文感知注意力,以及(iii)使用音频-视频基础目标进行自我监督预训练以获得跨模态音频-视频表示。我们对Look,Listen,and Parse(LLP)数据集进行了广泛的实验评估,并表明我们在为AVVP提出的所有五个指标上都优于最先进的混合注意力网络(HAN)。我们还提出了几个消融来验证预训练,全局注意力和对抗性训练的效果。
2021-06-21 cs.CV cs.LG cs.SD
Multi-modal Ensemble Models for Predicting Video Memorability
University of California, Berkeley(加州大学伯克利分校)
对媒体记忆性进行建模一直是机器学习领域的一个挑战。MediaEval2020中的预测媒体可扩展性任务是解决此主题的类似挑战中的最新基准。基于在之前的挑战迭代中开发的技术,我们开发了使用提取的视频,图像,文本和音频特征的集成方法。重要的是,在这项工作中,我们介绍并证明了提取的音频嵌入作为预测媒体记忆性的任务的一个功能的有效性和高度的概括性。
2021-02-01 cs.AI cs.LG cs.MM
Chapter-Llama: Efficient Chaptering in Hour-Long Videos with LLMs
École des Ponts(巴黎桥路学院);IP Paris(巴黎理工学院);Univ Gustave Eiffel(Gustave Eiffel大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);École normale supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学);Google DeepMind(谷歌DeepMind)
提出Chapter-Llama框架,利用大上下文窗口的LLM处理语音转录和视频帧字幕,通过轻量级语音引导帧选择策略,在单次前向传递中实现小时长视频的高效章节划分,在VidChapters-7M基准上F1分数显著提升。
2025-03-31 cs.CV
Visual Subtitle Feature Enhanced Video Outline Generation
Baidu(百度)
随着视频数量的急剧增加,对帮助人们快速导航到他们感兴趣的视频片段的技术有很大的需求。然而,目前的视频理解的工作主要集中在视频内容摘要,而很少努力探索的视频结构。受文本轮廓生成的启发,我们提出了一种新的视频理解任务,即视频轮廓生成(VOG)。该任务被定义为包含两个子任务:(1)首先根据内容结构对视频进行分段,然后(2)为每个分段生成标题。为了学习和评估VOG,我们注释了一个10 k+的数据集,称为DuVOG。具体来说,我们使用OCR工具来识别视频的字幕。然后要求注释者将字幕划分为章节并为每一章命名。在视频中,突出显示的文本往往是标题,因为它更有可能吸引注意力。因此,我们提出了一个视觉字幕功能增强的视频轮廓生成模型(VSENet),它需要作为输入的文本字幕连同他们的视觉字体大小和位置。我们认为VOG任务作为一个序列标记的问题,提取跨度的标题所在的位置,然后重写它们,形成最终的大纲。此外,基于视频大纲和文本大纲之间的相似性,我们使用大量带有章节标题的文章来预训练我们的模型。在DuVOG上的实验表明,该模型在视频分割层的F1得分为77.1,在标题生成层的ROUGE-L_F0.5得分为85.0,大大优于其他基线方法。
2022-09-01 cs.AI cs.CL cs.CV
OmniNFT: Modality-wise Omni Diffusion Reinforcement for Joint Audio-Video Generation
University of Science and Technology of China(中国科学技术大学);Peking University(北京大学);JD Explore Academy(京东探索研究院)
本文提出OmniNFT,通过模态感知强化学习框架解决多模态联合生成中的模态一致性、梯度不平衡和信用分配问题,提升音频视频感知质量与同步性能。
2026-05-12 cs.AI cs.CV
Rethinking Multi-Modal Alignment in Video Question Answering from Feature and Sample Perspectives
Zhejiang University(浙江大学);Columbia University(哥伦比亚大学)
视频问答(VideoQA)的一个新目标是对视频中的事件因果关系和时间关系进行推理,但语言和视频之间的语义鸿沟是实现这一目标的主要障碍。现有的努力主要集中在设计复杂的架构,同时利用框架或对象级的视觉表示。在本文中,我们重新考虑的多模态对齐问题,在视频问答从特征和样本的角度,以实现更好的性能。从特征的角度出发,我们将视频分解为多个轨迹,首先利用VideoQA中的轨迹特征来增强两种模式之间的对齐。此外,我们采用了异构的图形架构,并设计了一个层次化的框架,使语义级和框架级的视觉特征与语言特征相一致。此外,我们发现VideoQA模型在很大程度上依赖于语言先验,并且总是忽略视觉-语言交互。因此,两个有效的,但便携式的训练增强策略的设计,以加强我们的模型的跨模态对应能力,从样本的角度。大量的结果表明,我们的方法优于所有国家的最先进的模型上具有挑战性的NExT-QA基准,这表明了所提出的方法的有效性。
2022-11-02 cs.AI cs.CV
Multi-Modal interpretable automatic video captioning
École Supérieure des Techniques Aéronautiques et de Construction Automobile (ESTACA)(高等航空与汽车制造技术学院(ESTACA));Télécom SudParis(南巴黎电信学院)
提出一种基于多模态对比损失的视频字幕生成方法,融合音频与视觉信息并利用多种注意力机制提升可解释性,在 MSR-VTT 和 VATEX 数据集上优于现有模型。
2024-11-11 cs.AI cs.CV
Phantom: Subject-consistent video generation via cross-modal alignment
Intelligent Creation Team, ByteDance(字节跳动智能创作团队)
本文提出Phantom统一视频生成框架,通过重新设计联合文本-图像注入模型并利用文本-图像-视频三元组数据学习跨模态对齐,在单主体和多主体参考下实现高保真主体一致视频生成,解决了图像内容泄漏和多主体混淆问题,性能优于现有闭源商业方案。
2025-04-10 cs.AI cs.CV
ResNetVLLM -- Multi-modal Vision LLM for the Video Understanding Task
University of Windsor(温莎大学)
本文提出ResNetVLLM,一种集成ResNet视觉编码器与大语言模型的跨模态框架,用于零样本视频理解,在多个基准上取得最先进性能。
2025-04-20 cs.AI cs.CV
MLVTG: Mamba-Based Feature Alignment and LLM-Driven Purification for Multi-Modal Video Temporal Grounding
State Key Laboratory of Media Convergence and Communication(媒体融合与传播国家重点实验室)
MLVTG通过结合MambaAligner和LLMRefiner,实现了多模态视频时间定位的高精度定位与语义净化。
2026-01-27 cs.AI cs.CV
UniSOT: A Unified Framework for Multi-Modality Single Object Tracking
School of Information Science, University of Science and Technology of China(信息科学学院,中国科学技术大学)
本文提出统一跟踪框架UniSOT,通过统一参数同时处理三种参考模态与四种视频模态的任意组合,在18个基准上表现优于特定模态方法。
2025-11-03 cs.AI cs.CV
Exploring Efficient Foundational Multi-modal Models for Video Summarization
Georgia Institute of Technology(佐治亚理工学院)
针对视频基础模型预训练对齐计算成本高且微调泛化能力难评估的问题,提出即插即用的视频语言模型,利用少样本指令适应策略避免对齐开销,并分析了不同方法在领域偏移下的泛化能力及数据限制下的实用性。
2024-10-09 cs.AI cs.CV
The Multi-Modal Video Reasoning and Analyzing Competition
Singapore University of Technology and Design(新加坡科技设计大学);Lancaster University(兰卡斯特大学);University of Melbourne(墨尔本大学);Xidian University(西安电子科技大学);Jiangnan University(江南大学);Wuhan University(武汉大学);Tsinghua University(清华大学);Sun Yat-sen University(中山大学);BOE Technology Group Co., Ltd(京东方科技集团股份有限公司)
本文介绍了与ICCV 2021联合举办的多模态视频推理和分析竞赛(MMVRAC)研讨会。本次比赛由视频问答、基于人脸的动作识别、基于鱼眼视频的动作识别、人物再识别四个不同的赛道组成,分别基于SUTD-AQUICQA和UAV-Human两个数据集。我们总结了参赛者在本次比赛中提交的表现最好的方法,并展示了他们在比赛中取得的成绩。
2021-08-18 cs.AI cs.CV
Watch, Listen, and Describe: Globally and Locally Aligned Cross-Modal Attentions for Video Captioning
University of California, Santa Barbara(加州大学圣巴巴拉分校)
视频描述的主要挑战是结合音频和视觉提示。现有的多模态融合方法在视频理解中取得了令人鼓舞的结果。然而,在不同粒度的多模态的时间结构很少探索,如何选择性地融合在不同层次的细节的多模态表示仍然是未知的。在本文中,我们提出了一种新的层次对齐的跨模态注意力(HACA)框架学习和选择性地融合不同模态的全局和局部时间动态。此外,我们首次验证了深度音频特征在视频描述任务上的优越性能。最后,我们的HACA模型显著优于以前的最佳系统,并在广泛使用的MSR-VTT数据集上取得了新的最先进的结果。
2018-04-15 cs.AI cs.CL cs.CV
Masking Modalities for Cross-modal Video Retrieval
Inria(法国国家信息与自动化研究所);Google Research(谷歌研究院)
在计算机视觉和自然语言处理领域,对大规模未标记数据集进行预训练已经显示出令人印象深刻的性能改进。鉴于大规模教学视频数据集的出现,预训练视频编码器的常见策略是使用伴随的语音作为弱监督。然而,由于语音用于监督预训练,因此视频编码器永远不会看到它,视频编码器不会学习处理该模态。我们解决了当前预训练方法的这一缺点,这些方法未能利用口语中丰富的线索。我们的建议是使用所有可用的视频形式作为监督,即外观,声音和转录语音来预训练视频编码器。我们在输入中屏蔽整个模态,并使用其他两种模态进行预测。这鼓励每种模态与其他模态合作,我们的视频编码器学习处理外观和音频以及语音。我们展示了我们的“模态掩蔽”预训练方法在How2R,YouCook2和Condensed Movies数据集上进行视频检索的优越性能。
2021-11-03 cs.CV
CFSum: A Transformer-Based Multi-Modal Video Summarization Framework With Coarse-Fine Fusion
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Zhejiang University(浙江大学)
本文提出CFSum,一种基于Transformer的多模态视频摘要框架,通过两阶段粗细特征融合机制深度融合视频、文本和音频特征,克服了现有方法模态融合不足及忽视音频的局限,实验证实了其有效性与优越性。
2025-03-01 cs.CV
Learnable Irrelevant Modality Dropout for Multimodal Action Recognition on Modality-Specific Annotated Videos
Shenzhen University(深圳大学);Pazhou Lab(琶洲实验室)
假设视频数据集是多模态注释的,其中听觉和视觉模态都是标记的或类相关的,当前的多模态方法应用模态融合或跨模态注意。然而,有效地利用特定于视觉的注释视频中的音频模态进行动作识别是特别具有挑战性的。为了应对这一挑战,我们提出了一个新的视听框架,有效地利用任何单独的视觉特定的注释数据集中的音频模态。我们采用语言模型(例如,BERT)来构建语义音频-视频标签字典(SAVLD),其将每个视频标签映射到其最K相关的音频标签,其中SAVLD充当音频和视频数据集之间的桥梁。然后,SAVLD连同预训练的音频多标签模型一起用于在训练阶段估计视听模态相关性。因此,提出了一种新的可学习的不相关模态丢弃(IMD),以完全丢弃不相关的音频模态并仅融合相关模态。此外,我们提出了一个新的双流视频Transformer有效地建模的视觉模态。包括Kinetics 400和UCF-101在内的几个视觉特定注释数据集的结果验证了我们的框架,因为它优于大多数相关的动作识别方法。
2022-03-27 cs.CV
All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation
Bar-Ilan University(巴伊兰大学);NVIDIA(英伟达)
本文提出RecCAR正则化方法,通过对齐视频与伴随模态间的交叉注意力,缩小相互对应差距,提升联合视频生成中运动与音频的同步性和质量。
2026-11-17 cs.CV
CrossCLR: Cross-modal Contrastive Learning For Multi-modal Video Representations
Amazon(亚马逊);University of Freiburg(弗莱堡大学)
对比学习允许我们通过对比负样本集合中的正对来灵活地定义强大的损失。最近,该原理也被用于学习视频和文本的跨模态嵌入,但没有充分利用其潜力。特别是,之前的丢失没有考虑模态内的相似性,这会导致嵌入效率低下,因为相同的内容被映射到嵌入空间中的多个点。通过Crosslink,我们提出了一个解决这个问题的对比损失。此外,我们根据输入嵌入定义了高度相关的样本集,并将其从阴性样本中排除,以避免假阴性问题。我们表明,这些原则始终提高学习嵌入的质量。使用Crosslink学习的联合嵌入扩展了Youcook 2和LSMDC数据集上的视频-文本检索以及Youcook 2数据集上的视频描述的最新技术水平。我们还通过学习其他模态对的改进联合嵌入来证明概念的一般性。
2021-09-30 cs.AI cs.CV cs.LG
MM-ViT: Multi-Modal Video Transformer for Compressed Video Action Recognition
OPPO US Research Center(OPPO美国研究中心)
本文提出了一种纯粹的基于transformer的方法,被称为多模态视频Transformer(MM-ViT),视频动作识别。与仅利用解码的RGB帧的其他方案不同,MM-ViT仅在压缩视频域中操作,并利用所有容易获得的模态,即,I帧、运动矢量、残差和音频波形。为了处理大量的时空令牌提取的多个模态,我们开发了几个可扩展的模型变量,分解跨空间,时间和模态维度的自我注意。此外,为了进一步探索丰富的跨模态相互作用及其影响,我们开发并比较了三种不同的跨模态注意力机制,这些机制可以无缝集成到Transformer构建块中。在三个公共动作识别基准(UCF-101,Something-Something-v2,Kinetics-600)上的广泛实验表明,MM-ViT在效率和准确性方面优于最先进的视频Transformers,并且在计算量大的光流方面表现得更好或与最先进的CNN相当。
2021-11-12 cs.CV
Tencent Text-Video Retrieval: Hierarchical Cross-Modal Interactions with Multi-Level Representations
Tencent Data Platform(腾讯数据平台)
文本-视频检索在多模态理解中起着重要作用,近年来受到越来越多的关注。大多数现有的方法集中在构建整个视频和完整的字幕句子之间的对比对,而忽略了细粒度的跨模态关系,例如,剪辑短语或框架词。在本文中,我们提出了一种新的方法,命名为层次跨模态交互(HCMI),探索多层次的跨模态关系的视频句子,剪辑短语,和帧字的文本视频检索。考虑到内在的语义帧关系,HCMI执行自我注意,探索帧级的相关性和自适应聚类相关帧到剪辑级和视频级表示。以这种方式,HCMI构造用于帧-剪辑-视频粒度的多级视频表示以捕获细粒度的视频内容,以及用于文本模态的词-短语-句子粒度的多级文本表示。通过视频和文本的多级表示,分层对比学习被设计为探索细粒度的跨模态关系,即,框架词,剪辑短语和视频句子,这使得HCMI实现视频和文本模态之间的全面语义比较。通过自适应标签去噪和边缘样本增强,HCMI在各种基准测试中取得了新的最先进的结果,例如,MSR-VTT、MSVD、LSMDC、DiDemo和ActivityNet的Rank@1分别为55.0%、58.2%、29.7%、52.1%和57.3%。
2022-12-14 cs.CV
Cross-modal Learning for Multi-modal Video Categorization
Samsung Research America(三星美国研究院)
多模态机器学习(ML)模型可以以多个模态(例如,视频、音频、文本)并且对于各种问题中的视频内容分析是有用的(例如,目标检测、场景理解、活动识别)。在本文中,我们专注于使用多模态ML技术的视频分类问题。特别是,我们开发了一种新的多模态ML方法,我们称之为“跨模态学习”,其中一种模态影响另一种模态,但只有当模态之间存在相关性时-为此,我们首先训练一个相关塔,它指导模型中的主要多模态视频分类塔。我们展示了如何将这种跨模态原理应用于不同类型的模型(例如,RNN,Transformer,NetVLAD),并通过实验演示了我们提出的具有跨模态学习的多模态视频分类模型如何超越最先进的基线模型。
2020-06-06 cs.CV cs.LG
MoVieDrive: Urban Scene Synthesis with Multi-Modal Multi-View Video Diffusion Transformer
Huawei Noah’s Ark Lab(华为诺亚实验室);University of Toronto(多伦多大学)
本文提出MoVieDrive,通过多模态多视角视频扩散变换器生成城市驾驶场景视频,实现多模态数据生成与可控生成。
2026-03-13 cs.CV
Leveraging Modality Tags for Enhanced Cross-Modal Video Retrieval
School of Computer Science University of Bristol(计算机科学学院英国布里斯托尔大学)
针对视频检索的跨模态对齐问题,提出MAC-VR方法,利用基础模型提取的模态特定标签,结合辅助潜在概念的学习与对齐增强跨模态匹配,在多个数据集上取得优于或比肩现有SOTA的效果。
2025-08-31 cs.CV
Multi-modal Aggregation for Video Classification
Alibaba Group iDST(阿里巴巴集团数据科学与技术研究院)
在本文中,我们提出了一个大规模视频分类挑战(LSVC2017)[1]的解决方案,排名第一。我们专注于涵盖视觉,运动和音频的各种形式。此外,我们可视化了聚合过程,以更好地了解每种方式如何发挥作用。在提取的模态中,我们发现通过3D卷积计算的时空特征非常有前途,大大提高了性能。我们在使用集合模型的测试集上获得了官方度量mAP 0.8741。
2017-10-27 cs.CV
Fashion Focus: Multi-modal Retrieval System for Video Commodity Localization in E-commerce
Machine Intelligence Technology Lab, Alibaba Group(阿里巴巴集团机器智能技术实验室)
如今,电子商业中的直播、短视频购物呈指数级增长。然而,卖家需要手动地将销售产品的图像与未经修剪的视频中的展示的时间戳进行匹配,导致复杂的过程。为了解决这个问题,我们提出了一个创新的演示多模态检索系统称为“时尚焦点”,它能够准确地定位产品图像在在线视频的焦点。不同的模态有助于社区本地化,包括视觉内容,语言特征和交互上下文通过提出的多模态学习联合调查。我们的系统采用两个程序进行分析,包括视频内容结构化和多模态检索,自动实现准确的视频到商店的匹配。Fashion Focus提供了一个统一的框架,可以在观看视频时将消费者定向到相关的产品展示,并帮助卖家通过搜索和推荐有效地交付产品。
2021-02-09 cs.CV
Cross-modal Manifold Cutmix for Self-supervised Video Representation Learning
UNC Charlotte(北卡罗来纳大学夏洛特分校);Stony Brook University(石溪大学)
本文提出跨模态流形Cutmix(CMMC)和视频混合策略STC-mix,通过在特征空间中跨模态插入视频超立方体进行数据增强,在减少训练数据需求的同时,于动作识别和视频检索任务上达到与其他自监督方法相当的性能。
2023-07-27 cs.CV
Video Relation Detection with Trajectory-aware Multi-modal Features
Beihang University(北京航空航天大学);YITU Technology(依图科技)
视频关系检测问题是指检测视频中不同对象之间的关系,例如空间关系和动作关系。在本文中,我们提出了视频关系检测与故障感知多模态功能来解决这个问题。考虑到视频中视觉关系检测的复杂性,本文将其分解为三个子任务:目标检测、轨迹建议和关系预测。我们使用最先进的目标检测方法来保证目标轨迹检测的准确性,并使用多模态特征表示来帮助预测目标之间的关系。该方法在ACM Multimedia 2020的Video Relation Understanding Grand Challenge视频关系检测任务中以11.74 mAP的成绩获得第一名,大大优于其他方法。
2021-01-20 cs.CV
MM-Diffusion: Learning Multi-Modal Diffusion Models for Joint Audio and Video Generation
Renmin University of China(中国人民大学);Peking University(北京大学);Microsoft Research(微软研究院)
我们提出了第一个联合音频视频生成框架,同时带来了引人入胜的观看和收听体验,以实现高质量的逼真视频。为了生成联合音频-视频对,我们提出了一种新的多模态扩散模型(即,MM扩散),具有两个耦合的去噪自动编码器。与现有的单模态扩散模型相比,MM-扩散由一个顺序的多模态U-网络组成,用于设计的联合去噪过程。音频和视频的两个学习器从高斯噪声中逐渐生成对齐的音频-视频对。为了确保跨模态的语义一致性,我们提出了一种新的基于随机移位的注意力块桥接在两个通道上,这使得有效的跨模态对齐,从而加强了彼此的音频-视频保真度。大量的实验显示了无条件音频-视频生成和zero-shot条件任务(例如,视频到音频)。特别是,我们在Landscape和AIST++跳舞数据集上实现了最佳的FVD和FAD。1万票的图灵测试进一步证明了我们模型的主导偏好。代码和预训练模型可以在https://github.com/researchmm/MM-Diffusion下载。
2023-03-24 cs.CV
Tagging before Alignment: Integrating Multi-Modal Tags for Video-Text Retrieval
Tencent PCG(腾讯平台与内容事业群);ARC Lab, Tencent PCG(腾讯平台与内容事业群ARC实验室)
近年来,视频文本检索中的视觉-语言对齐学习引起了人们的广泛关注。现有的方法要么将图像-文本预训练模型的知识转移到视频-文本检索任务中,而没有充分挖掘视频的多模态信息,要么简单地以暴力方式融合多模态特征,而没有明确的指导。在本文中,我们集成多模态信息在一个明确的方式,通过标记,并使用标记作为锚更好的视频文本对齐。各种预先训练的专家用于提取多个模态的信息,包括对象,人,运动,音频等。为了充分利用这些信息,我们提出了表(标签前aLignmEnt)网络,它由一个视觉编码器,一个标签编码器,一个文本编码器,和一个标签引导的跨模态编码器,用于联合编码多帧视觉特征和多模态标签信息。此外,为了加强视频和文本之间的交互,我们构建了一个联合跨模态编码器,其三元组输入为[vision,tag,text],并执行两个额外的监督任务,视频文本匹配(VTM)和掩蔽语言建模(MLM)。大量的实验结果表明,表模型是能够实现国家的最先进的(SOTA)性能在各种视频文本检索基准,包括MSR-VTT,MSVD,LSMDC和DiDeMo。
2023-01-30 cs.CV
SGTA: Scene-Graph Based Multi-Modal Traffic Agent for Video Understanding
Technical University of Munich(慕尼黑工业大学)
SGTA结合结构化场景图与多模态推理,通过检测、跟踪和车道提取构建交通场景图,并利用ReAct处理大语言模型的推理轨迹,实现复杂视频问题的可解释决策。
2026-04-04 cs.CV