Audio-Visual LLM for Video Understanding
Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学);University of California, Santa Cruz(加州大学圣克鲁兹分校)
本研究提出用于视频理解的多模态大模型Audio-Visual LLM,通过模态增强训练实现多模态端到端联合训练,搭配GPT-4生成的视频指令数据集,在多项视频及音频理解任务上取得优异零样本表现。
2023-12-13 cs.CV
MILES: Visual BERT Pre-training with Injected Language Semantics for Video-text Retrieval
The University of Hong Kong(香港大学);ARC Lab(ARC实验室);UC Berkeley(加州大学伯克利分校);National University of Singapore(新加坡国立大学);Tsinghua University(清华大学);Tencent PCG(腾讯平台与内容事业群)
视频-文本检索的主要预训练工作主要采用“双编码器”架构来实现高效检索,其中两个单独的编码器用于对比全局视频和文本表示,但忽略了详细的局部语义。最近成功的图像BERT预训练与掩蔽的视觉建模,促进学习的本地视觉上下文,激发一个可能的解决方案,以解决上述限制。在这项工作中,我们第一次调查掩蔽视觉建模在视频文本预训练与“双编码器”架构。我们采用额外的快照视频编码器作为一个不断发展的“tokenizer”,以产生掩模视频补丁预测的重建目标,执行掩蔽的视觉建模与注入的语义(MILES)。给定损坏的视频,视频编码器被训练为通过沿着空间和时间维度与可见区域进行推理来恢复被掩蔽的补丁的文本对齐特征,这增强了局部视觉特征的区分度和细粒度的跨模态对齐。我们的方法优于国家的最先进的方法,文本到视频检索四个数据集与zero-shot和微调评估协议。在zero-shot动作识别方面,我们的方法也明显优于基线模型,可以作为视频到文本的检索。
2022-04-26 cs.CV
Learning from Multiple Sources for Video Summarisation
Queen Mary University of London(伦敦玛丽女王大学);The Chinese University of Hong Kong(香港中文大学)
许多视觉监视任务,e.g.video总结,传统上是通过分析基于图像的特征来完成的。仅仅依靠视觉线索来理解公共监控视频理解是不可靠的,因为从公共空间CCTV视频数据获得的视觉观察通常不够可信,并且感兴趣的事件可能是微妙的。另一方面,非视觉数据源,如天气预报和交通传感信号,是很容易获得的,但没有共同探索,以补充视频内容分析和摘要的视觉数据。在本文中,我们提出了一种新的无监督框架,共同学习从视觉和独立绘制的非视觉数据源,发现有意义的潜在结构的监控视频数据。特别是,我们研究的方法来处理不一致的尺寸和表示whist关联这些异构数据源,并得出有效的机制,以容忍来自不同来源的缺失和不完整的数据。我们表明,所提出的多源学习框架不仅比最先进的方法实现了更好的视频内容聚类,而且能够准确地从以前看不见的视频中推断出缺失的非视觉语义。此外,进行了全面的用户研究,以验证使用建议的多源模型生成的视频摘要的质量。
2015-02-06 cs.CV
Video-R4: Reinforcing Text-Rich Video Reasoning with Visual Rumination
University of Rochester(罗切斯特大学);Sony Group Corporation(索尼集团);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
Video-R4通过视觉沉思机制提升文本丰富视频的推理能力,采用多阶段学习框架实现像素基础的多模态推理。
2025-11-26 cs.CV
VIOLET : End-to-End Video-Language Transformers with Masked Visual-token Modeling
UC Santa Barbara(加州大学圣巴巴拉分校);Microsoft(微软)
视频语言(VidL)建模的一个巨大挑战在于从图像/视频理解模型中提取的固定视频表示与下游VidL数据之间的脱节。最近的研究试图通过端到端的培训来减轻这种脱节。为了使其在计算上可行,先前的工作倾向于"图像化"视频输入,即,将少量稀疏采样的帧馈送到2D CNN中,随后进行简单的均值池化或级联以获得总体视频表示。虽然实现有希望的结果,这种简单的方法可能会失去时间信息,这是必不可少的下游VidL任务。在这项工作中,我们提出了VIOLET,一个完全端到端的VIDEO-SIMULAGE Transformer,它采用了一个视频Transformer明确建模的时间动态的视频输入。此外,与以前的研究不同,这些研究发现视频输入的预训练任务(例如,掩蔽帧建模)不是很有效,我们设计了一个新的预训练任务,掩蔽视觉令牌建模(MVM),更好的视频建模。具体地说,原始视频帧补丁被“令牌化”为离散的视觉令牌,目标是基于掩蔽补丁恢复原始视觉令牌。综合分析表明,通过视频Transformer和MVM显式时间建模的有效性。因此,VIOLET在5个视频问答任务和4个文本到视频检索任务上实现了新的最先进的性能。
2022-04-16 cs.CV
Video Representation Learning with Visual Tempo Consistency
The Chinese University of Hong Kong(香港中文大学);Nanyang Technological University(南洋理工大学)
描述动作速度的视觉节奏在监督动作识别中显示出了其潜力。在这项工作中,我们表明,视觉节奏也可以作为一个自我监督信号的视频表示学习。我们建议通过分层对比学习(VTHCL)最大限度地提高慢视频和快视频表示之间的互信息。具体来说,通过分别以慢帧速率和快帧速率对同一实例进行采样,我们可以获得共享相同语义但包含不同视觉节奏的慢视频帧和快视频帧。在UCF-101(82.1%)和HMDB-51(49.2%)上,从VTHCL学习的视频表示在动作识别的自我监督评估协议下达到了竞争性能。此外,全面的实验表明,学习到的表示可以很好地推广到其他下游任务,包括AVA上的动作检测和Epic-Kitchen上的动作预测。最后,我们提出实例对应图(ICM)可视化共享语义捕获的对比学习。
2020-12-18 cs.CV
video-SALMONN: Speech-Enhanced Audio-Visual Large Language Models
Tsinghua University(清华大学);ByteDance Ltd(字节跳动公司)
针对音视频大语言模型中语音理解研究不足的问题,提出video-SALMONN端到端模型及多分辨率因果Q-Former结构与专用训练方法,在语音相关问答任务上实现显著准确率提升,具备更强的视频理解推理能力。
2024-06-22 cs.CV
EmoVid: A Multimodal Emotion Video Dataset for Emotion-Centric Video Understanding and Generation
针对现有视频生成忽略情感维度、缺乏衔接情感理解与生成的专用资源的问题,本文构建多模态情感标注数据集EmoVid,微调Wan2.1提出情感条件视频生成方法,显著提升生成视频的情感表达效果。
2025-11-14 cs.CV
MM-Pyramid: Multimodal Pyramid Attentional Network for Audio-Visual Event Localization and Video Parsing
Fudan University(复旦大学)
视频中事件的识别和定位是视频理解的一项基本任务。由于事件可能发生在听觉和视觉模态,多模态的详细感知是必不可少的完整的场景理解。大多数以前的作品试图从整体的角度来分析视频。然而,它们没有考虑多尺度的语义信息,这使得模型难以定位不同长度的事件。在本文中,我们提出了一个多模态金字塔注意网络(\textbf{MM-Pyramid})的事件定位。具体来说,我们首先提出了关注特征金字塔模块。该模块通过多个堆叠金字塔单元来捕获时间金字塔特征,每个堆叠金字塔单元由固定大小的注意力块和膨胀卷积块组成。我们还设计了一个自适应语义融合模块,它利用一个单位级的注意力块和一个选择性的融合块,以集成金字塔功能交互。在视听事件定位和弱监督视听视频解析任务上的实验验证了该方法的有效性。
2022-07-12 cs.CV
video-SALMONN-o1: Reasoning-enhanced Audio-visual Large Language Model
Tsinghua university(清华大学)
针对现有推理优化局限于数学问题和视觉图形输入、忽视通用视频理解的问题,本文提出首个开源推理增强音视频大语言模型video-SALMONN-o1,构建推理密集型数据集、提出pDPO方法并引入RivaBench基准,在视频推理任务上实现准确率提升并具备零样本合成视频检测能力。
2025-02-17 cs.CV
Visual Causal Scene Refinement for Video Question Answering
Sun Yat-sen University(中山大学)
本文提出VCSR框架,通过因果前门干预与QGR、CSS模块精炼视觉因果场景,缓解VideoQA中的伪相关问题并提升可解释性与稳健性。
2023-08-01 cs.CV
Towards Visually Explaining Video Understanding Networks with Perturbation
Institute of Industrial Science, The University of Tokyo(东京大学生产技术研究所);National Institute of Advanced Industrial Science and Technology(产业技术综合研究所);ETH Zürich(苏黎世联邦理工学院)
“让黑盒模型变得可解释”是伴随着深度学习网络发展的一个重要问题。对于以视觉信息作为输入的网络,一个基本但具有挑战性的解释方法是识别和可视化主导网络预测的输入像素/区域。然而,大多数现有的作品集中在解释网络采取单一的图像作为输入,并没有考虑存在于视频的时间关系。提供一种易于使用的视觉解释方法,适用于视频理解网络的多样化结构仍然是一个开放的挑战。在本文中,我们研究了一个通用的扰动为基础的方法,直观地解释视频理解网络。此外,我们提出了一种新的损失函数,以提高其结果在空间和时间维度上的平滑性的限制的方法。该方法使得不同网络结构之间的解释结果的比较成为可能,并且还可以避免对视频输入产生病态的对抗性解释。实验对比结果验证了该方法的有效性。
2020-11-09 cs.CV
Video Swin Transformers for Egocentric Video Understanding @ Ego4D Challenges 2022
Universidad de Los Andes(洛斯安第斯大学);Google Research(谷歌研究院)
我们实现了视频Swin Transformer作为一个基础架构的不归点时间定位和对象状态变化分类的任务。我们的方法在这两个挑战中都取得了有竞争力的性能。
2022-07-22 cs.CV
Rethinking Visual Token Compression for Video Large Language Models: A Simple Yet Strong Baseline
Central South University(中南大学);SenseTime Research and Tetras.AI(商汤科技研究与Tetras.AI)
本文提出SimpleCluster,一种无需训练的简单基线,通过位置感知跨帧聚类压缩视频视觉令牌,在多个基准上达到与复杂方法相当或更优的性能,并揭示特征空间保留是关键。
2026-09-29 cs.CV
Suppressing Static Visual Cues via Normalizing Flows for Self-Supervised Video Representation Learning
Sun Yat-sen University(中山大学);Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education(机器智能与先进计算教育部重点实验室)
尽管深度卷积神经网络在视频理解方面取得了很大进展,但现有方法学习的特征表示可能偏向于静态视觉线索。为了解决这个问题,我们提出了一种新的方法来抑制静态视觉线索(SSVC)的概率分析的基础上自我监督视频表示学习。在我们的方法中,视频帧首先编码,通过规范化流获得标准正态分布下的潜在变量。通过将视频中的静态因素建模为随机变量,每个潜在变量的条件分布变为移位和缩放正态。然后,选择随时间变化较小的潜变量作为静态线索并对其进行抑制以生成运动保持视频。最后,积极的对构造的运动保留的视频对比学习,以减轻静态线索的表示偏差的问题。较少偏置的视频表示可以更好地推广到各种下游任务。在公开的基准上进行的大量实验表明,当仅使用单个RGB模态进行预训练时,所提出的方法优于现有技术。
2021-12-08 cs.CV
TS-LLaVA: Constructing Visual Tokens through Thumbnail-and-Sampling for Training-Free Video Large Language Models
KU Leuven(KU Leuven(鲁汶大学))
本文提出TS-LLaVA,一种通过缩略图与采样策略构建视觉token的免训练视频大语言模型,在多个基准上达到SOTA,其34B模型在MVBench上超越GPT-4V,在MLVU上媲美72B的Video-LLaMA2。
2024-11-17 cs.CV
On the Importance of Video Action Recognition for Visual Lipreading
本文重点研究了单词级的视觉唇读,这需要从说话人的视频中解码出单词。最近,许多最先进的视觉唇读方法探索端到端可训练深度模型,涉及使用2D卷积网络(例如,ResNet)作为前端视觉特征提取器和序列模型(例如,Bi-LSTM或Bi-GRU)作为后端。虽然深度2D卷积神经网络可以提供信息丰富的基于图像的特征,但它忽略了相邻帧之间存在的时间运动。在这项工作中,我们研究了I3 D(充气3D ConvNet)的时空容量的视觉唇读能力。我们证明,在对大规模视频动作识别数据集(例如,动力学),我们的模型表现出相当大的改善唇读任务的性能。一组视频模型架构和输入数据表示之间的比较也报告。我们在LRW上的大量实验表明,以RGB视频和光流作为输入的双流I3 D模型达到了最先进的性能。
2019-09-16 cs.CV
Benchmarking Visual State Tracking in Multimodal Video Understanding
New York University(纽约大学);KAIST(韩国科学技术院)
提出VSTAT基准,通过需要连续感知和整合整个视频流的问题评估多模态大语言模型的视觉状态追踪能力,发现当前模型远低于人类表现,失败主要源于视觉感知而非文本推理。
2026-06-02 cs.CV
Vista-LLaMA: Reducing Hallucination in Video Language Models via Equal Distance to Visual Tokens
Zhejiang University(浙江大学);ByteDance Inc.(字节跳动公司)
为解决视频语言模型中的幻觉问题,提出 Vista-LLaMA 框架,通过省略视觉与文本标记间的相对位置编码并引入序列视觉投影器,在四个视频问答基准上达到新的最先进性能。
2025-03-03 cs.CV
LLMs Meet Long Video: Advancing Long Video Question Answering with An Interactive Visual Adapter in LLMs
Harbin Institute of Technology(哈尔滨工业大学)
针对长视频理解中计算成本高、视觉清晰度降低和无关 token 干扰的问题,提出在 LLM 内部集成交互式视觉适配器(IVA),通过时间帧选择器和空间特征交互器捕获细粒度视觉信号,显著提升了长视频问答任务的性能。
2024-08-25 cs.CL cs.CV
Empowering LLMs with Pseudo-Untrimmed Videos for Audio-Visual Temporal Understanding
针对未修剪音视频时间标注数据缺乏的问题,提出基于VALOR构建大规模伪未修剪数据集PU-VALOR,并微调多模态LLM得到AVicuna,实现音视频事件时间定位与时间感知对话,达到SOTA性能。
2025-10-08 cs.AI cs.CV
DynTok: Dynamic Compression of Visual Tokens for Efficient and Effective Video Understanding
Kuaishou Technology(快手科技)
本文提出DynTok动态视频令牌压缩策略,通过自适应分组与合并减少视觉令牌冗余,在保持性能的同时将令牌数降至44.4%,并在Video-MME和MLVU上取得优异结果。
2025-06-04 cs.CL cs.CV
See More, Think Deeper: Query-Expanded Visual Evidence and Answer-Clue Guided Reflection for Long Video Understanding
Baidu Inc.(百度公司);Harbin Institute of Technology(哈尔滨工业大学);Hong Kong University of Science and Technology(香港科技大学)
提出CoVER框架,通过动态收集查询扩展视觉证据和答案特定视觉反馈验证草稿答案,实现从答案中心生成到证据中心和视觉可验证推理的转变,在长视频理解任务上超越同规模模型及部分闭源模型。
2026-06-08 cs.AI cs.CV
Semi-Supervised Audio-Visual Video Action Recognition with Audio Source Localization Guided Mixup
Artificial Intelligence Graduate School(人工智能研究生院);Ulsan National Institute of Science & Technology(蔚山国家科学技术研究院)
针对半监督视频动作识别中单一模态的局限性,提出同时利用视觉和音频的视听半监督框架,并引入考虑跨模态关系的声源定位引导 Mixup 方法,在多个数据集上取得卓越性能。
2025-03-04 cs.AI cs.CV
Beyond Instructional Videos: Probing for More Diverse Visual-Textual Grounding on YouTube
Allen Institute for AI(艾伦人工智能研究所);Google Research(谷歌研究院)
从未标记的网络视频进行预训练已迅速成为在许多视频理解任务上实现高性能的事实手段。通过预测视觉内容和自动语音识别(ASR)标记之间的基础关系来学习特征。然而,之前的预训练工作仅限于教学视频;先验地,我们期望这个领域相对“容易“:教学视频中的说话者通常会引用所描述的文字对象/动作。我们问:类似的模型可以在更多样化的视频语料库上训练吗?如果是,什么类型的视频是“接地”的,什么类型的不是?我们将一个具有代表性的预训练模型与不同的YouTube 8 M数据集相匹配,并研究了其成功和失败的案例。我们发现,视觉文本接地确实是可能的,在以前未探索的视频类别,并在一个更多样化的集合上的预训练结果的表示,概括到非教学和教学领域。
2020-10-16 cs.CL cs.CV
FLoC: Facility Location-Based Efficient Visual Token Compression for Long Video Understanding
Qualcomm AI Research(高通人工智能研究)
FLoC提出了一种基于设施定位函数的高效视觉令牌压缩方法,通过懒惰贪心算法实现紧凑且多样化的令牌选择,有效提升长视频理解的处理效率和性能。
2026-03-05 cs.AI cs.CV
Audio-visual training for improved grounding in video-text LLMs
PhroneticAI(弗罗内蒂克人工智能公司)
本研究提出一种显式处理音视频输入的模型架构,利用视频指令微调数据训练,证明音频训练能提升响应基础对齐能力,并发布人工标注的音频感知问答基准数据集。
2024-07-21 cs.CL cs.CV cs.MM
Bridge to Answer: Structure-aware Graph Interaction Network for Video Question Answering
Yonsei University(延世大学)
本文提出了一种新的方法,称为桥回答,推断正确答案的问题,一个给定的视频,利用足够的图形交互的异构跨模态图。为了实现这一点,我们学习问题条件的视觉图形,利用视频和问题之间的关系,使每个视觉节点使用问题到视觉的相互作用,以涵盖视觉和语言的线索。此外,我们提出了桥接的视觉到视觉的互动,将两个互补的视觉信息的外观和运动,通过放置的问题图作为一个中间桥梁。这种桥接架构允许通过问题的组合语义传递可靠的消息,以生成适当的答案。因此,我们的方法可以学习的问题条件下的视觉表示归因于外观和运动,显示强大的视频问答的能力。大量的实验证明,该方法提供了有效的和优越的性能比国家的最先进的方法在几个基准。
2021-04-29 cs.CV cs.MM
Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Hupan Lab(湖畔实验室)
提出Video-LLaMA多模态框架,通过Video Q-former和Audio Q-former结合冻结的预训练编码器与LLMs,解决视频时序变化捕捉与音视频信号整合挑战,实现视频内容理解与响应生成。
2023-10-25 cs.CL cs.CV cs.SD
Audio Visual Scene-Aware Dialog Generation with Transformer-based Video Representations
NTT Computer and Data Science Laboratories, NTT Corporation(日本电信电话株式会社计算机与数据科学实验室)
已经有许多尝试来构建可以响应关于给定视听信息的问题的多模态对话系统,并且这种系统的代表性任务是视听场景感知对话(AVSD)。大多数传统的AVSD模型采用基于卷积神经网络(CNN)的视频特征提取器来理解视觉信息。虽然CNN倾向于获得时间和空间局部信息,但全局信息对于提高视频理解也至关重要,因为AVSD需要长期的时间视觉依赖性和整体视觉信息。在这项研究中,我们应用了基于变换器的视频特征,该特征可以比基于CNN的特征更有效地捕获时间和空间全局表示。我们的AVSD模型及其基于transformer的功能在答案生成方面获得了更高的客观性能分数。此外,我们的模型在DSTC 10中获得了接近人类答案的主观分数。我们观察到,基于transformer的视觉特征对AVSD任务是有益的,因为我们的模型倾向于正确回答需要时间和空间上广泛的视觉信息的问题。
2022-02-21 cs.CL cs.CV
Free Video-LLM: Prompt-guided Visual Perception for Efficient Training-free Video LLMs
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University of Sydney(悉尼大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Macau(澳门大学)
本文提出免训练框架Free Video-LLM,通过提示引导解耦时空维度并进行时间帧采样与空间RoI裁剪,有效减少视觉token数量,在多个视频问答基准上以更少token实现高准确率与高计算效率的最佳权衡。
2024-10-16 cs.AI cs.CV
VisionCoach: Reinforcing Grounded Video Reasoning via Visual-Perception Prompting
VisionCoach通过视觉提示指导强化学习,提升视频推理的时空定位能力,实现无需外部工具的高效推理。
2026-08-25 cs.AI cs.CV
Prompting Visual-Language Models for Efficient Video Understanding
Shanghai Jiao Tong University(上海交通大学);University of Oxford(牛津大学)
基于图像的视觉语言(I-VL)预训练在从大规模网络数据中学习联合视觉-文本表示方面取得了巨大的成功,揭示了zero-shot泛化的显着能力。本文提出了一个简单但强大的基线,以有效地适应预训练的I-VL模型,并利用其强大的能力,资源饥饿的视频理解任务,以最少的训练。具体来说,我们建议优化一些随机向量,称为连续提示向量,将视频相关任务转换为与预训练目标相同的格式。此外,为了弥合静态图像和视频之间的差距,时间信息编码与轻量级的Transformers堆叠上的逐帧视觉功能。在实验上,我们进行了广泛的消融研究,以分析关键部件。在动作识别,动作定位和文本视频检索的10个公共基准测试中,在闭集,Few-Shot和zero-shot场景中,我们实现了与现有方法相比具有竞争力或最先进的性能,尽管优化了显着较少的参数。
2022-07-15 cs.CL cs.CV
LAVE: Latent Visual Evidence-Enhanced Planning for Video Tool-use Agents
针对视频工具使用智能体的工具观测瓶颈,提出无训练框架LAVE,通过双通道观测接口复用隐式视觉证据,在三个基准数据集上提升了智能体性能,Video-MME得分较最强基线提高3.76分。
2026-08-11 cs.CV cs.LG cs.MA
Unifying Specialized Visual Encoders for Video Language Models
Department of Computer Science, Princeton University, Princeton, NJ, United States(普林斯顿大学计算机科学系);Salesforce Research, Palo Alto, CA, United States(Salesforce研究)
针对当前视频大语言模型依赖单视觉编码器导致视觉信息受限的问题,提出多编码器视频表示方法MERV,通过时空对齐多冻结视觉编码器特征生成统一表示,在多个基准上性能优于现有最优模型,且参数增量小、训练更快。
2025-06-15 cs.CL cs.CV cs.LG
Video Question Answering Using CLIP-Guided Visual-Text Attention
University of Nottingham Ningbo China(宁波诺丁汉大学);Nottingham Ningbo China Beacons of Excellence Research and Innovation Institute(宁波诺丁汉大学卓越灯塔研究与创新研究院);Nanyang Technological University(南洋理工大学)
视频和文本的跨模式学习在视频问答(VideoQA)中发挥着关键作用。本文提出了一种视觉-文本注意力机制,利用在大量通用领域语言-图像对上训练的对比图像-图像预训练(CLIP)来指导VideoQA的跨模态学习。具体来说,首先从目标应用领域中提取视频特征和文本特征,然后利用CLIP通过特定领域学习从通用知识领域中提取一对视觉-文本特征。然后,我们提出了一个跨域学习提取的目标域和一般域的视觉和语言特征之间的注意力信息。CLIP引导的视觉文本特征集被集成以预测答案。该方法在MSVD-QA和MSRVTT-QA数据集上进行了评估,并优于最先进的方法。
2023-03-08 cs.AI cs.CV cs.MM
MultiToP: Learning to Patch Visual Tokens to Mitigate Hallucinations in Video Large Multimodal Models
Zhejiang University(浙江大学);Sun Yat-sen University(中山大学);East China Normal University(华东师范大学)
提出MultiToP框架,通过轻量级视觉令牌修补器动态替换不可靠视觉令牌,结合信息引导排名校准和稀疏正则化,在不修改原模型情况下减少视频多模态模型幻觉,显著提升F1分数和问答准确率。
2026-06-12 cs.AI cs.CL cs.CV
DualVGR: A Dual-Visual Graph Reasoning Unit for Video Question Answering
Nanjing University of Posts and Telecommunications(南京邮电大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
视频问答是一个具有挑战性的任务,它要求智能体能够理解丰富的视频内容并进行时空推理。然而,现有的基于图的方法不能很好地执行多步推理,忽略了VideoQA的两个特性:(1)即使对于同一个视频,不同的问题可能需要不同数量的视频片段或对象来推断答案;(2)在推理过程中,外观和运动特征具有复杂的相互依赖性,它们相互关联,相互补充。基于这些观察,我们提出了一个双视觉图推理单元(DualVGR),它以端到端的方式对视频进行推理。我们的DualVGR的第一个贡献是设计了一个可解释的查询惩罚模块,它可以通过多个循环的推理过滤掉不相关的视觉特征。第二个贡献是提出了基于视频的多视图图注意力网络,它捕捉外观和运动特征之间的关系。我们的DualVGR网络在基准MSVD-QA和SVQA数据集上实现了最先进的性能,并在基准MSRVTT-QA数据集上展示了具有竞争力的结果。我们的代码可在https://github.com/MMIR/DualVGR-VideoQA上获得。
2021-07-10 cs.AI cs.CV cs.MM
VideoScaffold: Elastic-Scale Visual Hierarchies for Streaming Video Understanding in MLLMs
University of Science and Technology of China(中国科学技术大学);Ant Group(蚂蚁集团)
VideoScaffold通过弹性尺度事件分割和层次事件整合,实现了流媒体视频理解中的细粒度到抽象事件推理的动态转换,提升多模态大语言模型的视频处理性能。
2025-12-23 cs.AI cs.CL cs.CV
Self-Supervised Video Forensics by Audio-Visual Anomaly Detection
University of Michigan(密歇根大学)
被操纵的视频通常在其视觉和音频信号之间包含微妙的不一致。我们提出了一种基于异常检测的视频取证方法,可以识别这些不一致,并且可以单独使用真实的未标记数据进行训练。我们训练一个自回归模型来生成视听特征序列,使用特征集来捕获视频帧和声音之间的时间同步。在测试时,我们标记模型分配低概率的视频。尽管完全在真实视频上训练,我们的模型在检测操纵语音视频的任务上获得了很好的性能。项目网址:https://cfeng16.github.io/audio-visual-forensics
2023-03-27 cs.CV
Video-to-Video Translation for Visual Speech Synthesis
Imperial College London(帝国理工学院)
尽管在庆祝生成对抗网络(GANs)进步的图像到图像翻译方面取得了显着的成功,但视频域翻译的尝试非常有限。我们研究视频到视频翻译的任务,在视觉语音生成的背景下,其目标是将任何口语单词的输入视频转换为不同单词的输出视频。这是一个多领域的翻译,其中每个单词形成一个域的视频说出这个词。最先进的图像到图像翻译模型(StarGAN)对这种设置的适应性不足,词汇量很大。相反,我们建议使用单词的字符编码,并设计一种新的基于字符的GANs架构,用于视频到视频的翻译,称为视觉语音GAN(ViSpGAN)。我们是第一个演示视频到视频翻译的500个单词的词汇。
2019-05-28 cs.CV
ACAV100M: Automatic Curation of Large-Scale Datasets for Audio-Visual Video Representation Learning
Seoul National University(首尔大学);NVIDIA Research(英伟达研究院);Microsoft Research(微软研究院)
视觉观察与其对应的声音之间的自然关联为学习视频表示提供了强大的自我监督信号,这使得不断增长的在线视频数量成为有吸引力的训练数据来源。然而,由于编辑/配音音频,大部分在线视频包含不相关的视听信号,并且在这种未经策划的视频上训练的模型已经显示出学习次优表示。因此,现有的方法几乎完全依赖于具有预定分类的语义概念的数据集,其中存在很高的视听对应的机会。不幸的是,构建这样的数据集需要劳动密集型的手动注释和/或验证,这严重限制了在线视频用于大规模学习的实用性。在这项工作中,我们提出了一个自动数据集策展方法的基础上子集优化的目标是最大限度地提高视频中的音频和视觉通道之间的互信息。我们证明了我们的方法可以找到具有高视听对应性的视频,并表明与在现有手动管理的数据集上训练的模型相比,在我们的数据上训练的自监督模型具有竞争力的性能。我们的方法最重要的好处是可扩展性:我们发布的ACAV 100 M包含1亿个具有高视听对应性的视频,非常适合自监督视频表示学习。
2021-08-17 cs.CV
Video captioning with recurrent networks based on frame- and video-level features and visual content classification
Aalto University School of Science(阿尔托大学理学院)
在本文中,我们描述了使用递归神经网络(RNN)生成短视频片段的文本描述的系统,我们在参加ICCV 2015的2015年大规模电影描述挑战赛时使用了该系统。我们的工作建立在基于RNN的语言模型的静态图像字幕系统的基础上,并将此框架扩展到利用静态图像特征和视频特定特征的视频。此外,我们研究的有用性的视觉内容分类器作为额外的信息源字幕生成。实验结果表明,利用基于关键帧的功能,密集的轨迹视频功能和内容分类器输出一起提供了更好的性能比任何一个单独。
2015-12-09 cs.CV
Unsupervised Visual-Linguistic Reference Resolution in Instructional Videos
Stanford University(斯坦福大学);University of Southern California(南加州大学)
我们提出了一种用于教学视频中的参考分辨率的无监督方法,其中目标是在时间上链接实体(例如,“穿衣”)到动作(例如,“混合酸奶”)。关键的挑战是视频中实体的视觉外观和指称表达的变化不可避免地产生视觉语言模糊性。我们的目标是在没有监督的情况下解决引用,这一事实加剧了这一挑战。我们通过学习联合视觉语言模型来解决这些挑战,其中语言线索可以帮助解决视觉歧义,反之亦然。我们通过使用YouTube上的2000多个非结构化烹饪视频无监督地学习我们的模型来验证我们的方法,并表明我们的视觉语言模型可以大大提高教学视频中最先进的语言模型的参考分辨率。
2017-05-20 cs.CV
CoVA: Text-Guided Composed Video Retrieval for Audio-Visual Content
CoVA通过整合视频、音频和文本特征,解决音频视觉内容检索中的跨模态变化问题,提出AVT复合融合方法并构建AV-Comp基准。
2026-01-30 cs.CV
From Accuracy to Visual Dependence: Auditing and Filtering Modality Collapse in Traffic VideoQA
针对交通视频问答中模型依赖文本捷径而非视觉证据的问题,提出盲差距和视觉增益两个数据集级诊断指标,以及实例级捷径分数实现无训练过滤,提升视觉基础。
2026-06-29 cs.CV
DisCo: Towards Distinct and Coherent Visual Encapsulation in Video MLLMs
University of Chinese Academy of Sciences(中国科学院大学);The University of Hong Kong(香港大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Innovation Institute(上海创新研究院);Fudan University(复旦大学)
提出DisCo视觉封装方法,通过VCD和TFC模块生成语义独特且时间连贯的视觉token,显著提升视频MLLMs在多基准上的性能与token效率。
2025-07-14 cs.CV
Video-DPRP: A Differentially Private Approach for Visual Privacy-Preserving Video Human Activity Recognition
University of Galway(戈尔韦大学);Technological University Dublin(都柏林理工大学)
提出 Video-DPRP 框架,利用差分隐私与随机投影进行视频重建,在保障视觉隐私的同时实现高精度人体活动识别。
2025-03-03 cs.CV
An Attempt towards Interpretable Audio-Visual Video Captioning
University of Rochester(罗切斯特大学);University of Maryland(马里兰大学);Mississippi State University(密西西比州立大学)
自动生成一个自然语言句子来描述输入视频的内容是一个非常具有挑战性的问题。这是一项重要的多模态任务,其中听觉和视觉内容同等重要。虽然音频信息已被利用,以改善视频描述在以前的作品,它通常被视为一个额外的功能送入一个黑盒融合机。生成的句子中的单词是如何与听觉和视觉模态相关联的?这个问题仍然没有得到调查。在本文中,我们首次尝试设计一个可解释的视听视频描述网络,以发现句子中的单词和视听序列之间的关联。为了实现这一点,我们提出了一个多模态卷积神经网络为基础的视听视频描述框架,并介绍了一个模态感知模块,探索在句子生成过程中的模态选择。此外,我们收集了新的音频字幕和视觉字幕数据集,以进一步探索高层次视频理解的听觉和视觉模态之间的相互作用。大量的实验表明,情态感知模块使我们的模型在句子生成过程中的情态选择的解释。即使增加了可解释性,我们的视频描述网络仍然可以实现与最近的最先进的方法相当的性能。
2018-12-07 cs.CV
Unsupervised Video Highlight Detection by Learning from Audio and Visual Recurrence
University of Saskatchewan(萨斯喀彻温大学);Google DeepMind(谷歌DeepMind)
针对视频精彩片段检测依赖标注的问题,提出利用音频与视觉内容跨视频重复性生成伪标签并训练音视检测网络的无监督方法,在三个基准上性能优于已有方法。
2025-05-14 cs.CV
What You Say Is What You Show: Visual Narration Detection in Instructional Videos
UT Austin(德克萨斯大学奥斯汀分校);Meta AI
针对教学视频旁白与画面动作不匹配的噪声问题,提出利用多模态线索和伪标签的弱监督WYS^2方法实现视觉旁白检测,性能优于强基线,可提升视频摘要与时序对齐效果。
2023-07-18 cs.CV
Text-Animator: Controllable Visual Text Video Generation
University of Science and Technology of China(中国科学技术大学);Tencent(腾讯);Nanyang Technical University(南洋理工大学);Huawei Tech.(华为技术有限公司)
提出Text-Animator方法,通过文本嵌入注入、相机控制和文本优化模块实现可控的视觉文本视频生成,在文本准确性和稳定性上优于现有方法。
2024-06-25 cs.CV
Audio-Visual Event Localization in Unconstrained Videos
University of Rochester(罗切斯特大学)
在本文中,我们介绍了一个新的问题,在无约束的视频视听事件定位。我们将视听事件定义为在视频片段中既可见又可听的事件。我们收集了一个视听事件(AVE)数据集,系统地研究了三个时间定位任务:监督和弱监督视听事件定位,跨模态定位。我们开发了一个音频引导的视觉注意力机制来探索视听相关性,提出了一个双多模态残差网络(DMRN)来融合两种模态的信息,并引入了一个视听远程学习网络来处理跨模态定位。我们的实验支持以下发现:听觉和视觉模态的联合建模优于独立建模,学习的注意力可以捕捉发声对象的语义,时间对齐是视听融合的重要,建议DMRN是有效的融合视听功能,和两个模态之间的强相关性,使跨模态定位。
2018-03-23 cs.CV
Efficient Audio-Visual Fusion for Video Classification
University of Surrey(萨里大学)
提出Attend-Fusion高效音视频融合方法,在YouTube-8M数据集上以更低模型复杂度实现与较大基线模型相当的性能。
2024-11-08 cs.CV