Tell Me What Happened: Unifying Text-guided Video Completion via Multimodal Masked Video Generation
UC Santa Barbara(加州大学圣巴巴拉分校);Meta;NEC Laboratories America(NEC美国实验室)
在给定前几个静态帧的情况下生成视频是具有挑战性的,因为它预期具有时间相干性的合理的未来帧。除了视频预测之外,从上一帧倒回或在头部和尾部之间填充的能力也至关重要,但它们很少被用于视频完成。由于可能存在来自仅几个帧的提示的不同结果,因此可以遵循自然语言来执行视频完成的系统可以显著地提高可控性。受此启发,我们引入了一个新的任务,文本引导的视频完成(TVC),它要求模型生成一个视频从部分帧的指导下的指令。然后,我们提出了多模式屏蔽视频生成(MMVG)来解决这个TVC任务。在训练过程中,MMVG将视频帧离散化为视觉令牌,并屏蔽其中的大部分以从任何时间点执行视频完成。在推理时,单个MMVG模型可以通过应用相应的掩蔽条件来解决TVC的所有3种情况,包括视频预测、倒带和填充。我们在各种视频场景中评估MMVG,包括自我中心,动画和游戏。大量的实验结果表明,MMVG是有效的,在生成高质量的视觉外观与文本指导的TVC。
2023-03-22 cs.CL cs.CV
A Challenging Multimodal Video Summary: Simultaneously Extracting and Generating Keyframe-Caption Pairs from Video
Tohoku University(东北大学);LY Corporation(LY公司)
本文提出多模态视频摘要任务,要求同时提取关键帧并生成对应字幕,并构建数据集、评估框架及两个基线系统。
2023-12-04 cs.CL cs.CV
From Long Videos to Engaging Clips: A Human-Inspired Video Editing Framework with Multimodal Narrative Understanding
University of Science and Technology of China(中国科学技术大学);ByteDance China(字节跳动中国)
针对现有自动视频编辑依赖文本线索、忽略视觉上下文导致输出不连贯的问题,提出融合多模态叙事理解的HIVE框架,通过场景分割拆分编辑子任务,还构建了DramaAD数据集,实验显示其性能优于基线,缩小了与人工编辑的质量差距。
2025-10-03 cs.CL cs.CV
Video Captioning with Guidance of Multimodal Latent Topics
Renmin University of China(中国人民大学);Carnegie Mellon University(卡内基梅隆大学)
开放域视频的主题多样性导致了描述视频内容的各种词汇和语言表达,因此,使得视频描述任务更具挑战性。在本文中,我们提出了一个统一的字幕框架,M&M TGM,挖掘多模态的主题在无监督的方式从数据和指导这些主题的字幕解码器。与预先定义的主题相比,多模态主题在语义和视觉上更连贯,更能反映视频的主题分布。我们制定的主题意识字幕生成作为一个多任务学习问题,其中我们添加了一个并行任务,主题预测,除了标题任务。对于主题预测任务,我们使用挖掘的主题作为教师来训练学生主题预测模型,该模型学习从视频的多模态内容中预测潜在主题。主题预测为学习过程提供了中间监督。对于字幕任务,我们提出了一种新的主题感知解码器,以生成更准确和详细的视频描述的指导下,从潜在的主题。整个学习过程是端到端的,它同时优化了这两项任务。在MSR-VTT和Youtube 2 Text数据集上进行的大量实验结果证明了我们提出的模型的有效性。M&M TGM不仅在多个评估指标和两个基准数据集上优于现有的最先进的方法,而且还具有更好的泛化能力。
2023-02-14 cs.CL cs.CV
Integrating Video and Text: A Balanced Approach to Multimodal Summary Generation and Evaluation
IRIT, University of Toulouse, France(IRIT,图卢兹大学,法国);Institute for Infocomm Research (I 2 R), A*STAR, Singapore(信息通信研究所(I2R),A*STAR,新加坡);CNRS, IRIT, France(CNRS,IRIT,法国)
提出一种零样本文本到视频摘要方法,通过构建剧本表示整合多模态信息,并引入MFactSum评估指标,在SummScreen3D数据集上显著优于现有VLMs。
2025-10-31 cs.CL cs.CV
Thinking with Video: Video Generation as a Promising Multimodal Reasoning Paradigm
Institute of Trustworthy Embodied AI, Fudan University(复旦大学可信具身智能研究所);Shanghai Innovation Institute(上海创新研究院);Shanghai Key Laboratory of Multimodal Embodied AI(上海市多模态具身人工智能重点实验室);College of Computer Science and Artificial Intelligence, Fudan University(复旦大学计算机科学与人工智能学院);The Chinese University of Hong Kong(香港中文大学);Central South University(中南大学);Fudan University(复旦大学)
本文提出'通过视频思考'范式,利用视频生成模型实现多模态推理,通过VideoThinkBench评估显示Sora-2在视觉和文本任务中均表现出色,证明视频生成模型在统一多模态理解与生成中的潜力。
2026-04-07 cs.CL cs.CV
End-to-end Generative Pretraining for Multimodal Video Captioning
Google Research(谷歌研究院)
最近的视频和语言预训练框架缺乏生成句子的能力。我们提出了多模态视频生成预训练(MV-GPT),一个新的预训练框架,用于从未标记的视频中学习,可有效地用于生成任务,如多模态视频描述。与最近的视频语言预训练框架不同,我们的框架同时训练多模式视频编码器和句子解码器。为了克服在无标签的视频字幕的缺乏,我们利用未来的话语作为一个额外的文本源,并提出了一个双向的生成目标-我们生成未来的话语给出了目前的多模态上下文,以及目前的话语给出了未来的观察。为此,我们训练了一个端到端的编码器-解码器模型,以直接从原始像素和转录的语音生成字幕。我们的模型在四个标准基准上实现了多模态视频描述的最新性能,以及其他视频理解任务,如VideoQA,视频检索和动作分类。
2022-05-10 cs.AI cs.CL cs.CV
Highlight Timestamp Detection Model for Comedy Videos via Multimodal Sentiment Analysis
NTU(南洋理工大学)
如今,互联网上的视频很流行。对视频的精确和深入理解对于平台和研究人员来说都是一个困难但有价值的问题。现有的视频理解模型在对象识别任务中表现良好,但目前仍然不能理解喜剧视频中的突出幽默帧等抽象和上下文特征。当前的工业工作也主要集中在基于对象外观的基本类别分类任务上。针对抽象类的特征检测方法仍是空白。一种包含视频帧信息、音频频谱信息和文本信息的数据结构提供了一个新的探索方向。多模态模型的提出,使这种深入的视频理解任务成为可能。在本文中,我们分析了视频的抽象理解的困难,并提出了一种多模态结构,以获得在这一领域的最先进的性能。然后,我们选择了多模态视频理解的几个基准,并应用最合适的模型,以找到最佳的性能。最后,对本文的模型和方法进行了总结和评价,并指出了进一步改进的方向。
2021-05-28 cs.AI cs.CL cs.CV
Ring That Bell: A Corpus and Method for Multimodal Metaphor Detection in Videos
University of Helsinki(赫尔辛基大学);Bose Corporation(博士公司)
我们提出了第一个公开可用的多模态隐喻注释语料库。该语料库由视频组成,包括音频和字幕,这些视频已经由专家注释。此外,我们提出了一种方法来检测隐喻在新的数据集的基础上的文本内容的视频。该方法实现了较高的F1分数(62%)的隐喻标签。我们还尝试了其他模态和多模态方法;然而,这些方法并没有超过基于文本的模型。在我们的错误分析中,我们确实发现了视频可以帮助消除隐喻歧义的情况,但是,视觉线索对于我们的模型来说太微妙了。数据可在Zenodo上获得。
2022-12-15 cs.CL cs.CV cs.MM
Multimodal Pretraining for Dense Video Captioning
Mila;University of Montreal(蒙特利尔大学);Google Research(谷歌研究院)
学习具体的动手技能,如烹饪,汽车维修和家庭维修越来越多地通过教学视频发生。已知通过元信息(诸如针对所涉及的主要步骤的带时间戳的注释)来改善这种视频的用户体验。自动生成这样的注释是具有挑战性的,我们在这里描述两个相关的贡献。首先,我们构建并发布了一个新的密集视频描述数据集,视频时间轴标签(ViTT),具有各种教学视频连同时间戳注释。其次,我们探索了几种多模态序列到序列预训练策略,这些策略利用了大型无监督视频和标题类文本数据集。我们使用YouCook2和ViTT预训练并随后微调密集视频描述模型。我们表明,这样的模型推广良好,并在各种各样的教学视频是强大的。
2020-11-10 cs.CL cs.CV cs.LG
MAViC: Multimodal Active Learning for Video Captioning
ShareChat;INRIA(法国国家信息与自动化研究所);UIUC(伊利诺伊大学厄巴纳-香槟分校)
训练视频描述模型需要大量的带注释的视频-字幕对,导致高注释成本。主动学习有助于减少这些注释要求。然而,用于视频描述的主动学习是具有挑战性的,因为多个语义相似的字幕对于视频是有效的,导致即使对于信息量较少的样本也是高熵输出。此外,视频描述算法本质上是多模态的,具有视觉编码器和语言解码器。此外,输出的顺序和组合性质使问题更具挑战性。在本文中,我们介绍MAViC利用我们提出的多模态语义感知顺序熵(M-SASE)为基础的采集功能,以解决主动学习方法的挑战视频描述。我们的方法集成了语义相似性和不确定性的视觉和语言方面的收购功能。我们详细的实验经验证明的有效性M-SASE主动学习视频描述字幕和提高基线的大幅度。
2022-12-11 cs.CL cs.CV cs.LG
TV-TREES: Multimodal Entailment Trees for Neuro-Symbolic Video Reasoning
Johns Hopkins University(约翰斯·霍普金斯大学)
针对视频-语言模型单模态推理、缺乏可解释性的问题,提出多模态蕴涵树生成器TV-TREES,通过搜索证据与结论的蕴涵关系树实现联合模态推理,在TVQA基准上取得可解释的最优零样本性能。
2024-10-10 cs.AI cs.CL cs.CV
Language as the Medium: Multimodal Video Classification through text only
Unitary
本文提出一种模型无关方法,利用LLM对BLIP-2、Whisper和ImageBind生成的文本描述进行推理,将文本作为视觉和听觉的代理,实现零样本多模态视频分类,并在UCF-101和Kinetics上验证了有效性。
2023-09-19 cs.AI cs.CL cs.CV
Building a Video-and-Language Dataset with Human Actions for Multimodal Logical Inference
Ochanomizu University(御茶水女子大学);The University of Tokyo(东京大学);Keio University(庆应义塾大学)
本文介绍了一个新的视频和语言数据集与人类的行动多模态逻辑推理,重点是有意和方面的表达,描述动态的人类行动。该数据集由200个视频、5,554个动作标签和1,942个动作三元组组成,这些三元组的形式为<subject,predicate,object>,可以转换为逻辑语义表示。该数据集有望用于评估视频和语义复杂的句子(包括否定和量化)之间的多模态推理系统。
2021-06-27 cs.CV
TLDW: Extreme Multimodal Summarisation of News Videos
The University of Sydney(悉尼大学);International Digital Economy Academy (IDEA)(国际数字经济研究院(IDEA));University of Rochester(罗切斯特大学)
随着多媒体数据的快速增长,具有多模态输出的多模态摘要越来越受到人们的关注。虽然已经提出了几种方法来总结视觉文本内容,但它们的多模态输出在极端水平上不够简洁,无法解决信息过载问题。极端的多模态摘要的结束,我们引入了一个新的任务,极端的多模态摘要与多模态输出(XMSMO)的情况下,TL;DW -太长;没有看,类似于TL; DR。XMSMO的目的是总结一个视频文档对到一个摘要具有极短的长度,其中包括一个封面框架作为视觉摘要和一个句子作为文本摘要。我们提出了一种新的无监督分层最优传输网络(HOT-Net)由三个部分组成:分层多模式编码器,分层多模态融合解码器,和最优传输求解器。我们的方法是在不使用参考摘要的情况下,通过从最佳运输计划下语义分布之间的距离的角度优化视觉和文本覆盖来训练的。为了便于对这一任务的研究,我们收集了一个大规模的数据集XMSMO-News,收集了4,891个视频文档对。实验结果表明,我们的方法在ROUGE和IoU指标方面取得了令人满意的性能。
2022-10-16 cs.CL cs.CV cs.MM
MAiVAR: Multimodal Audio-Image and Video Action Recognizer
Edith Cowan University(伊迪丝·考恩大学);The University of Western Australia(西澳大学)
目前,动作识别主要是在CNN处理的视频数据上执行的。我们研究了CNN的表示过程是否也可以通过在任务中结合基于图像的动作音频表示来用于多模式动作识别。为此,我们提出了多模态音频图像和视频动作识别器(MAiVAR),这是一种基于CNN的音频图像到视频融合模型,它考虑了视频和音频模态,以实现卓越的动作识别性能。MAiVAR提取音频的有意义的图像表示,并将其与视频表示融合,以在大规模动作识别数据集上实现更好的性能。
2022-09-11 cs.CV
MVAD: A Benchmark Dataset for Multimodal AI-Generated Video-Audio Detection
University of Science and Technology of China(中国科学技术大学)
针对现有数据集缺乏多模态真实性的问题,提出MVAD数据集,包含三种伪造模式、高质量样本及多样化的视觉风格和内容类别,用于检测AI生成的视频-音频内容。
2026-06-15 cs.CV
HAVEN: Hierarchically Aligned Multimodal Benchmark for Unified Video Understanding
Department of Information and Computer Sciences(信息与计算机科学系)
本文提出HAVEN,一个用于统一视频理解的层次对齐多模态基准,旨在解决现有多模态大语言模型在复杂叙事总结和推理方面评估不足的问题,通过引入全粒度和全多模态的数据集架构,提供了一个严谨的标准测试平台。
2026-05-19 cs.CV
Tele-Omni: a Unified Multimodal Framework for Video Generation and Editing
TeleAI
Tele-Omni是一种统一多模态框架,通过解析文本、图像和参考视频指令,实现视频生成与编辑的灵活控制,提升时间一致性和视觉一致性。
2026-02-23 cs.CV
Tuning Large Multimodal Models for Videos using Reinforcement Learning from AI Feedback
Yonsei University(延世大学);University of Minnesota(明尼苏达大学);Seoul National University(首尔大学)
本文提出VLM-RLAIF方法,通过AI反馈强化学习实现视频与文本模态对齐,并引入上下文感知奖励建模,在多个视频基准上超越现有SFT模型。
2024-06-17 cs.CV
Predicting the Popularity of Micro-videos with Multimodal Variational Encoder-Decoder Framework
Wuhan University(武汉大学)
作为一种新兴的用户生成内容,微视频极大地丰富了人们的娱乐体验和社交互动。然而,单个微视频的流行模式在研究人员中仍然难以捉摸。其中一个主要的挑战是,微视频的潜在受欢迎程度在各种外部因素的影响下往往会波动,这使得它充满了不确定性。此外,由于微视频主要由缺乏专业技术的个人上传,可能存在多种类型的噪音,掩盖了有用的信息。在本文中,我们提出了一个多模态变分编码器-解码器(MMVED)框架的微视频流行度预测任务。MMVED学习微视频的随机高斯嵌入,该嵌入提供了其流行程度的信息,同时保留了固有的不确定性。此外,通过深度变分信息瓶颈下限(IBLBO)的优化,学习的隐藏表示被证明是最大限度地表达流行度目标,同时最大限度地压缩微视频特征中的噪声。此外,贝叶斯产品的专家的原则被应用到多模态编码器,其中的信息保留或丢弃的决定是全面与所有可用的模态。在公共数据集和西瓜数据集上进行的大量实验证明了所提出的MMVED框架的有效性。
2020-03-28 cs.CL cs.CV cs.LG
Temporal Pyramid Transformer with Multimodal Interaction for Video Question Answering
Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences(中国科学院重庆绿色智能技术研究院);Chongqing School, University of Chinese Academy of Sciences(中国科学院大学重庆学院);University College London(伦敦大学学院);Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人学会)
视频问答(VideoQA)是视觉理解和自然语言理解的多模态结合,具有挑战性。虽然现有的方法很少在多个时间尺度上利用视频中的外观运动信息,但用于文本语义提取的问题与视觉信息之间的交互经常被忽视。针对这些问题,本文提出了一种新的时间金字塔Transformer(TPT)模型与多模态交互的视频问答。TPT模型包括两个模块,即特定于XML的Transformer(QT)和可视化推理(VI)。给定从视频构建的时间金字塔,QT从每个单词和视觉内容之间的粗到细的多模态共现构建问题语义。在这种问题语义的指导下,VI从问题和视频之间的局部到全局的多层次交互中推断出视觉线索。在每个模块中,我们引入了多模态注意力机制来帮助提取问题-视频交互,并为跨不同层次的信息采用了剩余连接。通过在三个VideoQA数据集上的大量实验,我们证明了所提出的方法与最先进的方法相比具有更好的性能。
2021-09-10 cs.CV
Heterogeneous Memory Enhanced Multimodal Attention Model for Video Question Answering
JD Digits(京东数科)
本文提出了一种新的端到端可训练的视频问答(VideoQA)框架,该框架由三个主要部分组成:1)一个新的异构存储器,可以有效地从外观和运动特征中学习全局上下文信息; 2)一个重新设计的问题存储器,可以帮助理解问题的复杂语义并突出查询主题;以及3)新的多模态融合层,其通过利用自更新注意力关注相关视觉和文本提示来执行多步推理。我们的VideoQA模型首先生成全局上下文感知的视觉和文本特征,分别通过当前输入与记忆内容的相互作用。在此基础上,对多模态视觉表征和文本表征进行注意融合,从而推断出正确答案。可以进行多个推理循环以迭代地细化多模态数据的注意力权重并改进QA对的最终表示。实验结果表明,我们的方法实现了国家的最先进的性能在四个VideoQA基准数据集。
2019-04-08 cs.CV
Multimodal Large Language Model-Enabled Video Translation: A Role-Oriented Survey
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术学院)
本文通过面向角色的分类法,系统综述了多模态大语言模型在视频翻译中的应用,将其分为语义推理器、表达执行器和视觉合成器三个功能角色,并总结了数据集、基准和评估指标,指出了端到端视频翻译的挑战与未来方向。
2026-06-01 cs.CV
Consolidating Diffusion-Generated Video Detection with Unified Multimodal Forgery Learning
School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学学院);School of Information Science and Electronic Engineering, Shanghai Jiao Tong University(上海交通大学信息科学与电子工程学院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Department of Computer Science and Engineering, Michigan State University(密歇根州立大学计算机科学与工程系)
本文提出MM-Det++算法,通过统一多模态学习检测扩散生成视频,结合时空分支和多模态分支,提升视频伪造检测的准确性和泛化能力。
2025-11-22 cs.CV
AutoCut: End-to-end advertisement video editing based on multimodal discretization and controllable generation
Tsinghua University(清华大学);Kuaishou Technology(快手科技)
本文提出AutoCut框架,通过多模态离散化和可控生成实现广告视频编辑,提升一致性和可控性,降低生产成本和迭代时间。
2026-03-30 cs.CV
Prompt2LVideos: Exploring Prompts for Understanding Long-Form Multimodal Videos
Center for Visual Information Technology, IIIT Hyderabad(印度海得拉巴国际信息技术学院视觉信息技术中心)
本文提出Prompt2LVideos数据集,包含长时程讲座与新闻视频,并通过基线方法分析现有模型局限,倡导利用提示工程结合ASR和OCR来全面理解长时程多模态视频。
2025-03-11 cs.CV
LiveSeg: Unsupervised Multimodal Temporal Segmentation of Long Livestream Videos
Adobe Research(Adobe研究院);Carnegie Mellon University(卡内基梅隆大学)
直播视频已成为在线学习的重要组成部分,经验丰富的专家在课程中教授设计,数字营销,创意绘画和其他技能,使其成为宝贵的材料。然而,直播教程视频通常长达几个小时,录制好后直接上传到互联网上,这使得其他人很难快速跟上。大纲将是一个有益的解决方案,它需要根据主题对视频进行时间分割。在这项工作中,我们引入了一个名为MultiLive的大型Livestream视频数据集,并制定了长Livestream视频(TSLLV)任务的时间分割。我们提出了LiveSeg,一个无监督的实时视频时间分割解决方案,它利用了来自不同领域的多模态特征。与最先进的方法相比,我们的方法实现了$16.8\%$ F1评分性能的改善。
2022-10-12 cs.CV
Jailbreaking Multimodal Large Language Models using Multi-Clip Video
Department of Applied Artificial Intelligence, Sungkyunkwan University(应用人工智能系,成均馆大学);Department of Human-Artificial Intelligence Interaction, Sungkyunkwan University(人机交互系,成均馆大学)
提出MCV SafetyBench数据集,通过多片段视频评估多模态大语言模型的安全漏洞,发现视频模态比图像更脆弱,动态和多样化上下文增加攻击成功率,并基于图像模态的鲁棒性提出防御策略。
2026-06-01 cs.AI cs.CL cs.CV
Multimodal Subtask Graph Generation from Instructional Videos
University of Michigan, Ann Arbor(密歇根大学安娜堡分校);LG AI Research(LG人工智能研究院)
真实世界的任务由多个相互依赖的子任务组成(例如,脏的平底锅在用于烹饪之前需要清洗)。在这项工作中,我们的目标是从教学视频描述的任务,这样的子任务之间的因果依赖关系建模。这是一个具有挑战性的问题,因为关于世界的完整信息通常无法从视频中获取,这需要强大的学习机制来理解事件的因果结构。我们提出了多模态子任务图生成(MSG 2),一种方法,构建一个子任务图定义一个任务的子任务之间的依赖关系相关的任务从嘈杂的网络视频。与以前的方法相比,我们的多模态方法生成的图形更接近人类注释的图形。MSG 2进一步执行下一子任务预测的下游任务,比ProceL和CrossTask数据集中的最近视频Transformer模型分别准确85%和30%。
2023-02-17 cs.AI cs.CL cs.CV
Multimodal Semantic Attention Network for Video Captioning
University of Science and Technology of China(中国科学技术大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
受视频中不同模态携带互补信息这一事实的启发,我们提出了多模态语义注意网络(MSAN),这是一种新的编码器-解码器框架,将多模态语义属性用于视频描述。在编码阶段,我们检测和生成多模态语义属性,制定它作为一个多标签分类问题。此外,我们增加了辅助分类损失,我们的模型,可以获得更有效的视觉特征和高层次的多模态语义属性分布足够的视频编码。在解码阶段,我们将传统LSTM的每个权重矩阵扩展为属性相关权重矩阵的集合,并采用注意力机制在字幕过程的每个时间点关注不同的属性。我们在两个流行的公共基准上评估算法:MSVD和MSR-VTT,在六个评估指标上与当前最先进的算法取得了竞争结果。
2019-05-08 cs.CV
Multi-scale Cooperative Multimodal Transformers for Multimodal Sentiment Analysis in Videos
Tencent PCG(腾讯平台与内容事业群);University of Sydney(悉尼大学)
视频中的多模态情感分析是许多实际应用中的一项关键任务,它通常需要集成包括视觉、语言和声学行为在内的多模态流。为了提高多模态融合的鲁棒性,现有的一些方法让不同的模态相互通信,并通过Transformers对跨模态交互进行建模。然而,这些方法在交互过程中只使用单尺度表示,而忽略了利用包含不同层次语义信息的多尺度表示。因此,由Transformers学习的表示可能会有偏差,特别是对于未对齐的多模态数据。在本文中,我们提出了一个多尺度合作的多模态Transformer(MCMulT)架构的多模态情感分析。总体而言,“多尺度”机制能够利用每个模态的不同层次的语义信息,用于细粒度的跨模态交互。同时,每一个模态通过整合其源模态的多层次特征的跨模态交互来学习其特征层次。以这种方式,每对模态以合作的方式分别逐步建立特征层次结构。实验结果表明,我们的MCMulT模型不仅优于现有的方法对未对齐的多模态序列,但也有很强的性能对齐的多模态序列。
2022-06-17 cs.CV
Attention-Based Multimodal Fusion for Video Description
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室)
当前成功的视频描述方法是基于使用递归神经网络(RNN)的编码器-解码器句子生成。最近的工作已经显示出将时间和/或空间注意力机制集成到这些模型中的优势,其中解码器网络通过选择性地给予来自特定时间帧的编码特征(时间注意力)或来自特定空间区域的特征(空间注意力)更多权重来预测描述中的每个词。在本文中,我们建议扩展注意力模型,以选择性地参加不只是特定的时间或空间区域,但特定的输入形式,如图像特征,运动特征和音频特征。我们的新的模态相关的注意力机制,我们称之为多模态注意,提供了一种自然的方式来融合多模态信息的视频描述。我们在Youtube 2 Text数据集上评估了我们的方法,取得了与当前最先进技术相竞争的结果。更重要的是,我们证明了我们的模型结合了多模态注意力和时间注意力,显著优于单独使用时间注意力的模型。
2017-03-09 cs.CL cs.CV cs.MM
GEM-VPC: A dual Graph-Enhanced Multimodal integration for Video Paragraph Captioning
School of Computer Science, The University of Sydney(悉尼大学计算机科学学院);School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院)
本文提出GEM-VPC框架,通过构建视频特定时间图和主题图融合多模态信息与外部知识,并利用节点选择模块提升解码效率,在视频段落描述任务上取得优越性能。
2024-10-12 cs.CV
"How to rate a video game?" - A prediction system for video games based on multimodal information
International Institute of Information Technology Hyderabad(海得拉巴国际信息技术学院)
近年来,电子游戏已成为大多数人生活中不可或缺的一部分。这导致了大量与视频游戏相关的数据在网上共享。然而,这伴随着诸如不正确的评级,评论或任何正在共享的问题。推荐系统是一种强大的工具,它通过向用户提供有意义的推荐来帮助用户。一个简单的方法是根据与游戏相关的其他信息来预测视频游戏的得分。它可以用来验证用户提交的评级以及提供建议。这项工作提供了一种方法来预测G分数,它定义了一个视频游戏有多好,从它的预告片(视频)和摘要(文本)。我们首先提出模型来预测G分数的基础上拖车单独(单峰)。稍后,我们将展示,与仅使用视频信息相比,考虑来自多个模态的信息有助于模型表现得更好。由于我们无法找到任何合适的多模态视频游戏数据集,我们创建了自己的数据集VGD(视频游戏数据集),并将其与本工作一起提供。这里提到的方法可以推广到其他多模态数据集,如电影预告片和摘要等,最后,我们讨论了工作的缺点和一些方法来克服它们。
2018-05-29 cs.CV
A Computational Model of Message Sensation Value in Short Video Multimodal Features that Predicts Sensory and Behavioral Engagement
Department of Communication, University of Utah(犹他大学通讯系);Department of Communication, University of California, Davis(加州大学戴维斯分校通讯系);Department of Media and Communication, City University of Hong Kong(香港城市大学媒体与传播系);Division of Emerging Interdisciplinary Areas, Hong Kong University of Science and Technology(香港科学与技术大学新兴跨学科领域 division)
基于信息感知价值理论,通过多模态特征分析和人工评估构建计算模型,预测短视频的感官与行为参与,发现MSV与感官参与正相关,与行为参与呈倒U型关系。
2026-04-21 cs.CV
End-to-End Referring Video Object Segmentation with Multimodal Transformers
Technion – Israel Institute of Technology(以色列理工学院)
参考视频对象分割任务(RVOS)涉及在给定视频的帧中分割文本参考对象实例。由于这种多模态任务的复杂性,它结合了文本推理,视频理解,实例分割和跟踪,现有的方法通常依赖于复杂的管道,以解决it. In本文中,我们提出了一个简单的基于transformer的方法RVOS。我们的框架,称为多模态跟踪Transformer(MTTR),模型的RVOS任务作为一个序列预测问题。随着计算机视觉和自然语言处理的最新进展,MTTR基于这样一种认识,即视频和文本可以通过单个多模式Transformer模型有效而优雅地处理在一起。MTTR是端到端可训练的,不含与文本相关的感应偏差组件,并且不需要额外的掩码优化后处理步骤。因此,与现有方法相比,它大大简化了RVOS管道。对标准基准的评估表明,MTTR在多个指标上明显优于以前的技术。特别是,MTTR在A2 D-Sentences和JHMDB-Sentences数据集上分别显示出令人印象深刻的+5.7和+5.0 mAP增益,同时每秒处理76帧。此外,我们报告了Refer-YouTube-VOS公共验证集的强有力结果,这是一个更具挑战性的RVOS数据集,尚未得到研究人员的关注。复制我们实验的代码可以在https://github.com/mttr2021/MTTR上找到。
2022-04-03 cs.CL cs.CV cs.LG
VideoAesBench: Benchmarking the Video Aesthetics Perception Capabilities of Large Multimodal Models
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室)
VideoAesBench通过多样化视频内容和多类型问题评估大规模多模态模型的视频审美感知能力,揭示当前模型在该领域的不足。
2026-02-01 cs.CV
InternVid: A Large-scale Video-Text Dataset for Multimodal Understanding and Generation
OpenGVLab, Shanghai AI Laboratory(上海人工智能实验室 OpenGVLab);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Monash University(莫纳什大学);Nanjing University(南京大学);The University of Hong Kong(香港大学);Nanyang Technological University(南洋理工大学)
本文提出大规模视频-文本数据集InternVid及基于ViT-L的ViCLIP模型,通过大语言模型自主构建高质量数据集并利用对比学习训练,在零样本动作识别等任务上表现优异,推动多模态理解与生成研究。
2024-01-04 cs.CV
Understanding Long Videos with Multimodal Language Models
该研究探究大语言模型的知识与推理对长视频理解性能的影响,发现有限视频信息下仍有高准确率,进而提出融合三种以对象为中心的视频信息的MVU框架,在多基准及机器人任务上达最优性能。
2025-06-11 cs.CV
VideoAgent: A Memory-augmented Multimodal Agent for Video Understanding
BIGAI(北京智源人工智能研究院);Peking University(北京大学)
本研究提出记忆增强多模态智能体VideoAgent,通过结构化记忆和大语言模型零样本工具调用能力解决长视频理解问题,在多个基准上显著提升性能,缩小开源与私有模型差距。
2024-07-15 cs.CV
MM-Pyramid: Multimodal Pyramid Attentional Network for Audio-Visual Event Localization and Video Parsing
Fudan University(复旦大学)
视频中事件的识别和定位是视频理解的一项基本任务。由于事件可能发生在听觉和视觉模态,多模态的详细感知是必不可少的完整的场景理解。大多数以前的作品试图从整体的角度来分析视频。然而,它们没有考虑多尺度的语义信息,这使得模型难以定位不同长度的事件。在本文中,我们提出了一个多模态金字塔注意网络(\textbf{MM-Pyramid})的事件定位。具体来说,我们首先提出了关注特征金字塔模块。该模块通过多个堆叠金字塔单元来捕获时间金字塔特征,每个堆叠金字塔单元由固定大小的注意力块和膨胀卷积块组成。我们还设计了一个自适应语义融合模块,它利用一个单位级的注意力块和一个选择性的融合块,以集成金字塔功能交互。在视听事件定位和弱监督视听视频解析任务上的实验验证了该方法的有效性。
2022-07-12 cs.CV
SD-MVSum: Script-Driven Multimodal Video Summarization Method and Datasets
CERTH-ITI Thermi(CERTH-ITI热米)
本文提出SD-MVSum方法及两个大规模数据集,通过引入加权跨模态注意力机制,结合脚本与视频音频内容提升摘要相关性,验证了方法在脚本驱动视频摘要中的有效性。
2026-10-30 cs.CV
SkyVLaM: Multimodal Large Language Model for UAV Video Understanding in Remote Sensing
Beijing University of Posts and Telecommunications(北京邮电大学);Peking University(北京大学);Beijing Wuzi University(北京物资学院)
针对无人机视频理解任务,提出多模态大语言模型SkyVLaM,通过时间基感知器构建稀疏令牌,正则化稀疏基,自适应选择密集段,联合大语言模型处理,还构建SkyVid,实验证明其能有效分配视觉令牌预算,提升语言条件视频分割效果。
2026-07-21 cs.CV
Thinking With Videos: Multimodal Tool-Augmented Reinforcement Learning for Long Video Reasoning
针对多模态大模型长视频推理中跨模态交互不足、幻觉多的问题,提出端到端工具增强推理框架VITAL,构建多任务数据集并设计难度感知强化学习算法,在11个基准上实现性能提升。
2025-09-03 cs.CV
FV2ES: A Fully End2End Multimodal System for Fast Yet Effective Video Emotion Recognition Inference
在最新的社交网络中,越来越多的人更喜欢通过文字、语音、丰富的面部表情,在视频中表达自己的情感。多模态视频情感分析技术可以根据图像中的人类表情和手势、语音中的音调以及识别的自然语言来帮助自动理解用户的内心世界。然而,在现有的研究中,声学模态相对于视觉模态和文本模态长期处于边缘地位。也就是说,提高声学模态对整个多模态情感识别任务的贡献往往更加困难。此外,虽然通过引入常见的深度学习方法可以获得更好的性能,但这些训练模型的复杂结构总是导致推理效率低下,特别是当暴露于高分辨率和长长度视频时。此外,缺乏完全端到端的多模态视频情感识别系统阻碍了其应用。在本文中,我们设计了一个完全多模态的视频到情感系统(FV 2 ES),其优点有三:(1)在声谱上采用层次注意方法,突破了声学模态的有限贡献,在IEMOCAP和CMU-MOSEI数据集上均优于现有模型的性能;(2)引入多尺度视觉提取和单分支推理的思想,在保证预测精度的同时提高了效率;(3)将数据预处理进一步集成到对齐的多模态学习模型中,可以显著降低计算成本和存储空间。
2022-09-21 cs.CV
VideoGLaMM: A Large Multimodal Model for Pixel-Level Visual Grounding in Videos
Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);Tianjin University(天津大学);Carnegie Mellon University(卡内基梅隆大学);Linköping University(林雪平大学);Australian National University(澳大利亚国立大学)
VideoGLaMM通过双视觉编码器和时空解码器实现视频像素级定位,在三个任务上均超越现有方法。
2025-03-25 cs.CV
MoRoute: Dynamic Routing for In-Context Multimodal Video Generation
Sun Yat-sen University(中山大学);HUJING Digital Media & Entertainment Group(沪景数字媒体娱乐集团);Huazhong University of Science and Technology(华中科技大学)
MoRoute是采用动态层路由连接VLM与视频DiT的多模态视频生成框架,在三个基准数据集上均优于现有最优方法,提升了视频生成与编辑的性能。
2026-08-03 cs.CV
Moonshot: Towards Controllable Video Generation and Editing with Multimodal Conditions
Salesforce Research(赛富时研究院);Show Lab, National University of Singapore(新加坡国立大学Show Lab)
提出Moonshot视频生成模型,通过多模态视频块(MVB)同时处理图像和文本输入,并无训练开销地集成ControlNet,显著提升了视频视觉质量与时间一致性,支持多种可控生成与编辑应用。
2024-01-03 cs.CV
Dynamic Multimodal Fusion via Meta-Learning Towards Micro-Video Recommendation
Shandong University(山东大学);National University of Singapore(新加坡国立大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
针对微视频推荐中静态多模态融合无法适配不同微视频模态关系的问题,提出基于元学习的动态融合框架MetaMMF,为每个微视频动态生成专属融合函数,在三个基准数据集上优于多个现有模型,还通过规范多变量分解提升了训练效率。
2025-01-13 cs.CV cs.IR cs.MM
Deep Multimodal Learning: An Effective Method for Video Classification
Institute for Interdisciplinary Information Sciences(交叉信息研究院);Tsinghua University(清华大学)
视频在互联网上变得无处不在。视频分析可以为检测和识别对象提供大量信息,并帮助人们理解人类行为以及与现实世界的交互。然而,面对结核病水平这样庞大的数据,必须采用有效的方法。递归神经网络(RNN)架构已被广泛用于许多顺序学习问题,如语言模型,时间序列分析等。在本文中,我们提出了一些变体的RNN,如堆叠双向LSTM/GRU网络与注意力机制分类大规模视频数据。我们还探讨了不同的多模态融合方法。我们的模型结合了视频和帧级的视觉和音频信息,并收到了很好的效果。还应用了包围方法。由于其多模态特性,我们决定将这种方法称为深度多模态学习(DML)。我们基于DML的模型在Google Cloud和我们自己的服务器上进行了训练,并在Google举办的Kaggle上的知名视频分类竞赛中进行了测试。
2018-11-30 cs.CV cs.MM
Hierarchical Multimodal Transformer to Summarize Videos
Xidian University(西安电子科技大学);Northwestern Polytechnical University(西北工业大学)
虽然视频摘要在循环神经网络(RNN)的帮助下取得了巨大的成功,但是基于RNN的方法忽略了视频帧之间的全局依赖性和多跳关系,从而限制了性能。Transformer模型是解决这一问题的有效模型,在机器翻译、视频描述、\emph{etc}等序列建模任务中优于基于RNN的方法。基于Transformer的巨大成功和视频的自然结构(帧-镜头-视频),本文提出了一种分层的Transformer用于视频摘要,它能够捕捉帧和镜头之间的依赖关系,并利用镜头形成的场景信息对视频进行摘要。此外,我们认为,音频和视觉信息是必不可少的视频摘要任务。为了整合这两种信息,它们被编码在一个两个流的计划,和多模态融合机制的基础上的分层Transformer。在本文中,所提出的方法被表示为分层多模式Transformer(HMT)。大量的实验表明,HMT优于大多数传统的基于RNN和基于注意力的视频摘要方法。
2021-09-22 cs.AI cs.CV
LiveTalk: Real-Time Multimodal Interactive Video Diffusion via Improved On-Policy Distillation
SII SJTU GAIR
本文提出LiveTalk系统,通过改进的在线策略蒸馏实现实时多模态交互视频生成,显著提升效率和质量。
2025-12-29 cs.CV
End-to-End Audio Visual Scene-Aware Dialog using Multimodal Attention-Based Video Features
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL));School of Interactive Computing, Georgia Tech(佐治亚理工学院交互计算学院)
对话系统需要理解动态的视觉场景,以便与用户就周围的对象和事件进行对话。用于现实世界应用的场景感知对话系统可以通过集成来自多个研究领域的最新技术来开发,包括:端到端对话技术,其使用从对话数据训练的模型来生成系统响应;视觉问答(VQA)技术,其使用学习的图像特征来回答关于图像的问题;以及视频描述技术,其中使用多模态信息从视频生成描述/字幕。我们引入了一个新的关于人类行为视频的对话集。每个对话框都是一个类型化的对话,由两个Amazon Mechanical Turk(AMT)工作人员之间的10个问答(QA)对组成。总的来说,我们收集了大约9,000个视频的对话。使用这个用于视听场景感知对话(AVSD)的新数据集,我们训练了一个端到端会话模型,该模型在关于视频的对话中生成响应。我们的实验表明,使用多模态功能开发的多模态注意力为基础的视频描述,提高了质量的动态场景(视频)生成的对话。我们的数据集,模型代码和预训练模型将公开用于新的视频场景感知对话挑战。
2018-06-30 cs.CL cs.CV cs.SD