Learn2Augment: Learning to Composite Videos for Data Augmentation in Action Recognition
University of Edinburgh（爱丁堡大学）；Meta AI
我们解决的问题，数据增强的视频动作识别。视频中的标准增强策略是手工设计的，并且随机地对可能的增强数据点的空间进行采样，而不知道哪些增强点会更好，或者通过随机抽样。我们建议学习是什么让一个好的视频动作识别，并只选择高质量的样本进行增强。特别是，我们选择的视频合成的前景和背景视频的数据增强过程中，这会导致多样化和现实的新样本。我们学习哪些视频对要增强，而不必实际合成它们。这减少了可能的增强的空间，这有两个优点：它节省了计算成本，并提高了最终训练分类器的准确性，因为增强对的质量高于平均水平。我们在整个训练设置范围上呈现实验结果：Few-Shot、半监督和全监督。我们观察到所有这些都比之前的工作和Kinetics，UCF 101，HMDB 51的基线有了一致的改进，并在有限数据的情况下实现了新的最先进的设置。在半监督设置中，我们看到了高达8.6%的改进。
2022-07-24 cs.CV
Extending Temporal Data Augmentation for Video Action Recognition
School of Computing Sciences, University of East Anglia（东英吉利大学计算科学学院）
像素空间增强在许多深度学习领域越来越受欢迎，这是由于其有效性、简单性和低计算成本。然而，用于视频的数据增强仍然是一个未被探索的研究主题，因为大多数作品一直将输入视为静态图像的堆栈，而不是时间上链接的一系列数据。最近，已经表明，在设计增强时涉及时间维度可以优于其仅用于视频动作识别的空间变体。在本文中，我们提出了一些新的增强这些技术，以加强空间和时间域之间的关系，实现更深层次的扰动。我们的技术的视频动作识别结果在UCF-101和HMDB-51数据集上的Top-1和Top-5设置中优于各自的变体。
2022-11-09 cs.CV
Locate before Answering: Answer Guided Question Localization for Video Question Answering
Fudan University（复旦大学）；Australian National University（澳大利亚国立大学）；bilibili company（哔哩哔哩公司）
针对长视频问答中的噪声与冗余问题，提出LocAns方法，先定位问题所在片段再回答，利用答案标签生成伪标签并采用交替训练，在两个长视频数据集上取得最优性能。
2023-10-12 cs.CV
Learning Temporally Invariant and Localizable Features via Data Augmentation for Video Recognition
Yonsei University（延世大学）；Cognex Deep Learning Lab（康耐视深度学习实验室）
随着大规模数据集和时空网络架构的发展，基于深度学习的视频识别已经显示出有希望的改进。在图像识别中，学习空间不变特征是提高识别性能和鲁棒性的关键因素。基于视觉归纳先验的数据增强，例如裁剪、翻转、旋转或光度抖动，是实现这些特征的代表性方法。最近的最先进的识别解决方案依赖于现代数据增强策略，该策略利用增强操作的混合。在这项研究中，我们将这些策略扩展到视频的时间维度，以学习时间不变或时间可定位的特征，以覆盖视频中的时间扰动或复杂动作。基于我们的新的时间数据增强算法，视频识别性能的提高，只使用有限的训练数据相比，空间只有数据增强算法，包括第一视觉归纳先验（VIPriors）的数据高效的动作识别挑战。此外，学习的特征是时间上可定位的，这是使用空间增强算法无法实现的。我们的源代码可在https://github.com/taeoh-kim/temporal_data_augmentation上获得。
2020-08-13 cs.CV
Open-vocabulary Video Question Answering: A New Benchmark for Evaluating the Generalizability of Video Question Answering Models
Korea University（高丽大学）
本文提出OVQA开放词汇视频问答基准，并设计基于GNN的软言语器聚合相似词语义，以评估并提升模型对罕见及未见答案的泛化能力。
2023-08-18 cs.CV
Composable Augmentation Encoding for Video Representation Learning
Google Research（谷歌研究院）；Brown University（布朗大学）；MIT（麻省理工学院）
我们专注于自监督视频表示学习的对比方法。对比学习中的一个常见范例是通过对同一实例的不同数据视图进行采样来构建正对，不同的数据实例作为负对。这些方法隐含地假设一组代表性的不变性的视图选择机制（例如，采样帧的时间偏移），这可能会导致下游的任务，违反这些不变性（细粒度的视频动作识别，将受益于时间信息）的性能差。为了克服这一限制，我们提出了一个“增强意识”的对比学习框架，在这里我们明确地提供了一个序列的增强参数化（如用于创建数据视图的时移的值）作为可组合增强编码（CATE），我们的模型时，投影的视频表示对比学习。我们表明，通过我们的方法学习的表示编码有关指定的空间或时间增强的有价值的信息，并且在这样做的过程中，还在许多视频基准上实现了最先进的性能。
2021-08-20 cs.CV
Zero-Shot Video Question Answering with Procedural Programs
Carnegie Mellon University（卡内基梅隆大学）；Fujitsu Research of America（富士通美国研究院）
本文提出ProViQ，利用大语言模型生成程序化视频查询程序，通过视觉模块执行子任务，在零样本视频问答及其他视频任务上取得最先进结果。
2023-12-01 cs.CV
Invariant Grounding for Video Question Answering
National University of Singapore（新加坡国立大学）；University of Science and Technology of China（中国科学技术大学）
视频问答（VideoQA）是回答关于视频的问题的任务。其核心是理解视频中的视觉场景与所讨论的语言语义之间的一致性，从而得出答案。在领先的视频问答模型中，典型的学习目标，经验风险最小化（ERM），锁定在视频问题对和答案之间的表面相关性作为对齐。然而，ERM可能存在问题，因为它倾向于过度利用与问题无关的场景和答案之间的虚假相关性，而不是检查问题关键场景的因果关系。因此，VideoQA模型遭受不可靠的推理。在这项工作中，我们首先采取的因果关系看视频QA，并认为不变的基础是排除虚假相关性的关键。为此，我们提出了一个新的学习框架，不变接地视频QA（IGV），接地的关键问题的场景，其因果关系与答案是不变的，在不同的干预措施的补充。通过IGV，VideoQA模型被迫屏蔽回答过程免受虚假相关的负面影响，这显着提高了推理能力。在三个基准数据集上的实验验证了IGV在准确性、视觉可解释性和泛化能力方面优于领先基线。
2022-06-06 cs.CV
Uncovering Temporal Context for Video Question and Answering
University of Technology Sydney（悉尼科技大学）；Carnegie Mellon University（卡内基梅隆大学）
在这项工作中，我们引入视频问答在时间域推断过去，描述现在和预测未来。我们提出了一种使用递归神经网络来学习视频时间结构的编码器-解码器方法，并引入了双通道排名损失来回答多项选择题。我们使用“填空”的问题形式探索了更好地理解视频内容的方法，并设法从TACoS，MPII-MD，MEDTest 14数据集收集了109，895个持续时间超过1，000小时的视频片段，而相应的390，744个问题则由注释生成。大量的实验表明，我们的方法显着优于比较基线。
2015-11-15 cs.CV
Video Question Answering: Datasets, Algorithms and Challenges
National University of Singapore（新加坡国立大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Sea-NExT Joint Lab（Sea-NExT联合实验室）
视频问答（VideoQA）的目的是根据给定的视频回答自然语言问题。随着联合视觉和语言理解研究的发展，它越来越受到人们的关注。然而，与ImageQA相比，VideoQA在很大程度上还没有得到充分的探索，进展缓慢。尽管不同的算法不断被提出，并在不同的VideoQA数据集上取得了成功，但我们发现缺乏有意义的调查来对它们进行分类，这严重阻碍了它的进步。因此，本文为VideoQA提供了清晰的分类和全面的分析，重点关注数据集，算法和独特的挑战。最后指出了视频内容认知的研究方向，即从事实问答到推理问答。
2022-11-02 cs.CV
Recent Advances in Video Question Answering: A Review of Datasets and Methods
School of Engineering and Applied Science, Ahmedabad University（艾哈迈达巴德大学工程与应用科学学院）
视频问答（VQA）是计算机视觉领域中一个新兴的具有挑战性的课题。一些视觉信息检索技术，如视频描述/描述和视频引导的机器翻译已经先于VQA的任务。视频质量分析是从视频场景中提取时间和空间信息并进行解释的一种方法。据我们所知，以前没有为VQA任务进行过调查。
2021-03-18 cs.CV
Answering from Sure to Uncertain: Uncertainty-Aware Curriculum Learning for Video Question Answering
School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院）；Computer Science & Software Engineering, University of Western Australia（西澳大学计算机科学与软件工程系）；School of Computing and Communications, Lancaster University（兰卡斯特大学计算与通讯学院）；Department of Data Science & AI, Monash University（莫纳什大学数据科学与人工智能系）
本文提出基于不确定性的课程学习方法，用于提升视频问答的性能和不确定性量化能力。
2026-01-05 cs.CV
VISTA: Enhancing Long-Duration and High-Resolution Video Understanding by Video Spatiotemporal Augmentation
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
本文提出 VISTA 视频时空增强框架，利用现有视频-字幕数据合成长时长、高分辨率指令数据，并构建 VISTA-400K 与 HRVideoBench，显著提升视频 LMM 性能。
2024-12-01 cs.CV
Question-Instructed Visual Descriptions for Zero-Shot Video Question Answering
MBZUAI（穆罕默德·本·扎耶德人工智能大学）
提出Q-ViD，一种利用指令感知开源视觉语言模型生成问题引导的帧描述，并借助大语言模型进行推理的零样本视频问答方法，在多个基准上达到或超越现有最优性能。
2024-07-21 cs.CV
MarioQA: Answering Questions by Watching Gameplay Videos
POSTECH（浦项科技大学）
我们提出了一个框架来分析模型的各个方面的视频问答（VideoQA）使用可定制的合成数据集，这是自动构建的游戏视频。我们的工作是出于这样一个事实，即现有的模型通常只在需要非常高层次的推理或主要包含通过单帧推理可访问的实例的数据集上进行测试。因此，难以测量训练模型的能力和灵活性，并且现有技术通常依赖于深度神经网络的ad-hoc实现，而没有对数据集和模型的清晰洞察。我们对理解视频事件之间的时间关系以解决VideoQA问题特别感兴趣;这是因为推理时间依赖性是视频中最明显的组成部分之一。为了实现这一目标，我们使用{ \em Super Mario Bros.}游戏视频，以便它包含不同层次的推理复杂性的事件。使用数据集，我们表明，正确构造的数据集与事件在不同的复杂程度是至关重要的学习有效的模型和提高整体性能。
2017-08-13 cs.CV
Learning Situation Hyper-Graphs for Video Question Answering
University of Central Florida（中佛罗里达大学）；Mayo Clinic（梅奥诊所）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Goethe University Frankfurt（法兰克福歌德大学）；Western Michigan University（西密歇根大学）
本文提出SHG-VQA架构，通过预测视频情境超图并结合交叉注意力回答视频问题，在AGQA和STAR基准上显著提升性能。
2023-05-06 cs.CV
Neural-Symbolic VideoQA: Learning Compositional Spatio-Temporal Reasoning for Real-world Video Question Answering
Harbin University of Science and Technology（哈尔滨理工大学）
本文提出神经符号框架 NS-VideoQA，通过 SPN 将视频结构化为符号表示，并用 SRM 与多态执行器完成组合式时空推理，在 AGQA Decomp 上验证了有效性。
2024-04-05 cs.CV
Streaming Video Question-Answering with In-context Video KV-Cache Retrieval
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）
提出免训练方法 ReKV，通过滑动窗口注意力、KV-Cache 存储与按需检索机制，实现视频编码与问答分离，显著提升流式长视频问答的效率与准确性。
2025-03-01 cs.CV
ATM: Action Temporality Modeling for Video Question Answering
Michigan State University（密歇根州立大学）
针对视频问答中时间推理不足的问题，提出ATM方法，通过光流、动作中心对比学习及防打乱视频训练三重机制提升时间性推理，并在多个基准上超越现有方法。
2023-09-05 cs.CV
LiVLR: A Lightweight Visual-Linguistic Reasoning Framework for Video Question Answering
Xi’an Jiaotong University（西安交通大学）
视频问答（VideoQA）是在理解多模态视频内容的基础上正确回答给定问题的一种方法。从视频理解的角度来看，一个好的VideoQA框架需要在不同的语义层次上理解视频内容，并灵活地整合多样化的视频内容，以提取与问题相关的内容。为此，我们提出了一个轻量级的视觉语言推理框架LiVLR。具体来说，LiVLR首先利用基于图的视觉和语言编码器来获得多粒度的视觉和语言表示。随后，所获得的表示与设计的多样性感知视觉语言推理模块（DaVL）集成。DaVL在生成问题相关联合表征时考虑了不同表征类型之间的差异，可以灵活调整不同表征类型的重要性，是一种有效且通用的表征整合方法。建议的LiVLR是轻量级的，并显示其性能优势的两个VideoQA基准测试，MRSVTT-QA和KnowIT VQA。广泛的消融研究证明了LiVLR关键组件的有效性。
2021-11-30 cs.CV
Sports-QA: A Large-Scale Video Question Answering Benchmark for Complex and Professional Sports
本文提出Sports-QA数据集和Auto-Focus Transformer模型，用于复杂专业的体育视频问答任务，实现了最先进的性能。
2026-01-05 cs.CV
Mounting Video Metadata on Transformer-based Language Model for Open-ended Video Question Answering
Seoul National University（首尔大学）
视频问答最近受到多模态视频研究者的大量关注。大多数视频问答数据集通常是选择题的形式。但是，多项选择任务的模型并不能推断出答案。相反，它比较候选答案以选择正确答案。此外，它也很难扩展到其他任务。在本文中，我们挑战现有的多项选择视频问答，将其改为开放式视频问答。为了解决开放式问答，我们使用预训练的GPT 2模型。该模型通过视频输入和字幕进行微调。通过将现有的DramaQA数据集更改为开放式问答进行消融研究，结果表明可以使用视频元数据提高性能。
2021-08-11 cs.AI cs.CV
NEWSKVQA: Knowledge-Aware News Video Question Answering
IIIT-Hyderabad（印度国际信息技术研究所海得拉巴分校）；Microsoft（微软）
在视频的背景下提出问题可以帮助视频索引，视频检索系统，视频摘要，学习管理系统和监控视频分析。虽然存在大量关于视觉问答的工作，但是关于视频问答的工作（1）限于电影、电视节目、游戏或人类活动等领域，并且（2）主要基于常识推理。在本文中，我们探索了一个新的前沿视频问答：回答知识为基础的问题，在新闻视频的背景下。为此，我们策划了一个新的12K新闻视频数据集，跨越156小时，1M多项选择问答对覆盖8263个独特的实体。我们将数据集公开提供。使用这个数据集，我们提出了一种新的方法，NEWSKVQA（知识感知新闻视频问答），它执行多模态推理的文本多项选择题，视频，他们的成绩单和知识库，并提出了一个强大的基线。
2022-02-08 cs.CV cs.MM
VDMA: Video Question Answering with Dynamically Generated Multi-Agents
Panasonic Connect Co., Ltd.（松下连接公司）
本文提出 VDMA 方法，通过动态生成专家智能体的多智能体系统补充现有视频问答生成系统，以提升 EgoSchema Challenge 2024 中回答的准确性与上下文适配性。
2024-07-04 cs.CV
StreamKV: Streaming Video Question-Answering with Segment-based KV Cache Retrieval and Compression
本文提出无需训练的StreamKV框架，通过动态语义分段、分段级摘要向量检索和引导提示压缩KV缓存，并以层级自适应方式统一检索与压缩，显著提升流式视频问答的准确率、内存效率和计算延迟。
2025-11-10 cs.CV
On the hidden treasure of dialog in video question answering
Inria（法国国家信息与自动化研究所）；Univ Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；IRISA（法国IRISA研究所）；InterDigital（InterDigital公司）
从原始数据中对电影和电视节目等视频中的故事进行高层次的理解是极具挑战性的。现代视频问答（VideoQA）系统通常使用附加的人造源，如情节概要、脚本、视频描述或知识库。在这项工作中，我们提出了一种新的方法来理解整个故事没有这样的外部来源。秘密在于对话框：与之前的任何工作不同，我们将对话框视为噪音源，通过对话框摘要转换为文本描述，就像最近的方法处理视频一样。每个模态的输入由Transformers独立编码，并且一个简单的融合方法结合了所有模态，使用软时间注意力在长输入上进行定位。我们的模型在KnowIT VQA数据集上的表现远远优于最先进的技术水平，而无需使用特定于问题的人工注释或人工绘图摘要。它甚至超过了以前从未看过任何整集的人类评估者。代码可在https://engindeniz.github.io/dialogsummary-videoqa上获得
2021-08-19 cs.CV
Hierarchical Conditional Relation Networks for Video Question Answering
Applied Artificial Intelligence Institute（应用人工智能研究所）；Deakin University（迪肯大学）
视频问答（VideoQA）是具有挑战性的，因为它需要建模能力，以提取动态的视觉工件和遥远的关系，并将它们与语言概念。我们引入了一个通用的可重用神经单元，称为条件关系网络（CRN），它可以作为构建块来构建更复杂的视频表示和推理结构。CRN将张量对象数组和条件特征作为输入，并计算编码输出对象数组。模型的建立成为一个简单的练习，复制，重新安排和堆叠这些可重用的单元，为不同的模态和上下文信息。因此，这种设计支持高阶关系和多步推理。VideoQA的最终架构是CRN层次结构，其分支表示子视频或剪辑，所有这些都共享与上下文条件相同的问题。我们对知名数据集的评估取得了新的SoTA结果，证明了构建通用推理单元对复杂领域（如VideoQA）的影响。
2020-03-17 cs.CV
Video Graph Transformer for Video Question Answering
Sea AI Lab（Sea人工智能实验室）；Sea-NExT Joint Lab（Sea-NExT联合实验室）；National University of Singapore（新加坡国立大学）
提出了一种用于视频问答（VideoQA）的视频图Transformer（VGT）模型。VGT的独特性有两个方面：1）它设计了一个动态图Transformer模块，该模块通过显式捕获视觉对象、它们的关系和动态来编码视频，以进行复杂的时空推理; 2）它利用解纠缠的视频和文本Transformers进行视频和文本之间的相关性比较，以执行QA，而不是纠缠的跨模态Transformer进行答案分类。视觉-文本通信由额外的跨模态交互模块完成。通过更合理的视频编码和QA解决方案，我们表明，VGT可以在无预训练场景下，在挑战动态关系推理的VideoQA任务上实现比现有技术更好的性能。它的性能甚至超过了那些用数百万外部数据预训练的模型。我们进一步表明，VGT也可以从自我监督的跨模态预训练中受益匪浅，但数据数量级较小。这些结果清楚地证明了VGT的有效性和优越性，并揭示了其在更有效的数据预训练方面的潜力。通过全面的分析和一些启发式的观察，我们希望VGT可以促进VQA的研究，超越粗糙的识别/描述，对细粒度的关系推理在现实的视频。我们的代码可在https://github.com/sail-sg/VGT上获得。
2022-07-21 cs.CV
Object-centric Video Question Answering with Visual Grounding and Referring
University of Amsterdam（阿姆斯特丹大学）；SAI, Shanghai Jiao Tong University（上海交通大学SAI研究所）；Xiaohongshu Inc（小红书公司）
本文提出支持视觉提示输入与对象定位输出的 VideoLLM，通过 STOM 传播跨帧视觉提示，并构建 VideoInfer 数据集，在12个基准上提升视频问答与分割性能。
2025-07-25 cs.CV
Heterogeneous Memory Enhanced Multimodal Attention Model for Video Question Answering
JD Digits（京东数科）
本文提出了一种新的端到端可训练的视频问答（VideoQA）框架，该框架由三个主要部分组成：1）一个新的异构存储器，可以有效地从外观和运动特征中学习全局上下文信息; 2）一个重新设计的问题存储器，可以帮助理解问题的复杂语义并突出查询主题;以及3）新的多模态融合层，其通过利用自更新注意力关注相关视觉和文本提示来执行多步推理。我们的VideoQA模型首先生成全局上下文感知的视觉和文本特征，分别通过当前输入与记忆内容的相互作用。在此基础上，对多模态视觉表征和文本表征进行注意融合，从而推断出正确答案。可以进行多个推理循环以迭代地细化多模态数据的注意力权重并改进QA对的最终表示。实验结果表明，我们的方法实现了国家的最先进的性能在四个VideoQA基准数据集。
2019-04-08 cs.CV
VideoDistill: Language-aware Vision Distillation for Video Question Answering
Tsinghua University（清华大学）；Shanghai AI Laboratory（上海人工智能实验室）；Zhongguancun Laboratory（中关村实验室）
本文提出 VideoDistill 框架，通过语言感知门控、可微稀疏采样和视觉细化模块，以目标驱动方式提取问题相关视觉信息，在通用和长视频 VideoQA 基准上取得最先进性能，并缓解语言捷径问题。
2024-04-01 cs.CV
Static or Dynamic: Towards Query-Adaptive Token Selection for Video Question Answering
Nanyang Technological University（南洋理工大学）
针对视频问答中长视频token过多且静态与动态信息重要性被忽视的问题，提出explore-then-select策略，通过探索关键帧与增量帧的token分配并利用查询感知注意力指标选择最优组合，在多个基准上实现高达5.8%的性能提升。
2025-09-15 cs.CV
Understanding Video Scenes through Text: Insights from Text-based Video Question Answering
IIIT Hyderabad（海得拉巴国际信息技术研究所）；Wadhwani AI（瓦德瓦尼人工智能研究所）；Computer Vision Center, UAB（巴塞罗那自治大学计算机视觉中心）
本文探索NewsVideoQA和M4-ViteVQA两个基于文本的视频问答数据集，发现纯文本模型BERT-QA即可达到与原方法相当的性能，揭示了数据集构建的不足，并分析了跨域训练的挑战与益处。
2023-09-11 cs.CV
Video Evidence Indexing: Learning Where to Look from Video Previews for Token-Budgeted Long-Video Question Answering
针对长视频问答中视觉令牌成本高的问题，提出令牌预算受限的视频证据索引（VEI），通过低分辨率预览定位关键帧并构建高分辨率证据集，结合特权自蒸馏提升有限预算下的问答准确性与证据定位。
2026-10-02 cs.CV
VideoAuto-R1: Video Auto Reasoning via Thinking Once, Answering Twice
Meta AI；King Abdullah University of Science and Technology (KAUST)（卡布斯大学）；Princeton University（普林斯顿大学）
本文提出VideoAuto-R1框架，通过一次推理两次回答策略提升视频理解效率，实现准确率和效率的双重提升。
2026-03-21 cs.CV
GHR-VQA: Graph-guided Hierarchical Relational Reasoning for Video Question Answering
School of ECE National Technical University of Athens（国家技术大学雅典电子工程学院）；Robotics Institute Athena Research Center（雅典研究中心机器人研究所）；University of Luxembourg（卢森堡大学）
GHR-VQA通过图引导的层次关系推理框架，利用场景图捕捉视频中的人-物交互，提升视频问答任务的性能。
2025-11-25 cs.CV
Motion-Appearance Co-Memory Networks for Video Question Answering
University of Southern California（南加利福尼亚大学）
视频问答是理解视频时间结构的一项重要任务。我们观察到视频QA与图像QA相比有三个独特的属性：（1）它处理包含更丰富信息的长序列图像，不仅在数量上，而且在种类上;（2）运动和外观信息通常彼此相关，并能够为对方提供有用的注意线索;（3）不同的问题需要不同数量的帧来推断答案。基于这些观察，我们提出了一个运动外观记忆网络的视频QA。我们的网络基于动态内存网络（DMN）的概念构建，并引入了新的视频质量保证机制。具体而言，有三个突出的方面：（1）共记忆注意力机制，利用来自运动和外观的线索来产生注意力;（2）时间conv-decov网络来生成多层次的上下文事实;（3）动态事实集成方法来动态地构建不同问题的时间表示。我们在TGIF-QA数据集上评估了我们的方法，结果在TGIF-QA的所有四个任务上都显着优于最先进的方法。
2018-03-29 cs.CV
Video Question Answering for People with Visual Impairments Using an Egocentric 360-Degree Camera
Sungkyunkwan University（成均馆大学）；Korea Aerospace University（韩国航空大学）
本文提出一个基于360度自我中心相机的视频问答数据集，以应对视障人士在信息获取、导航和社交方面的多重现实挑战，实验表明现有VideoQA方法仍难以达到令人满意的辅助性能。
2024-05-30 cs.CV
Eyes on the Road: State-of-the-Art Video Question Answering Models Assessment for Traffic Monitoring Tasks
Arizona State University（亚利桑那州立大学）
本文利用GPT-4o在合成与真实交通视频上评估多种VideoQA模型，发现VideoLLaMA-2准确率最高但仍受限于多目标跟踪与时序推理。
2024-12-02 cs.CV
Object-Centric Representation Learning for Video Question Answering
Applied Artificial Intelligence Institute, Deakin University（迪肯大学应用人工智能研究所）
视频问答（Video QA）为类人智能行为提供了一个强大的测试平台。这项任务需要新的能力来整合视频处理，语言理解，将抽象的语言概念绑定到具体的视觉工件，并在时空上进行审慎推理。神经网络提供了一种很有前途的方法，通过从示例中学习而不是手工制作特征和规则来实现这一潜力。然而，神经网络主要是基于特征的-它们将数据映射到非结构化的向量表示，因此可能会陷入通过表面统计而不是符号系统中真正的系统推理来利用捷径的陷阱。为了解决这个问题，我们提倡以对象为中心的表示作为从视频构建时空结构的基础，基本上弥合了低级模式识别和高级符号代数之间的语义差距。为此，我们提出了一个新的查询引导的表示框架，把一个视频对象，其功能和相互作用的动态和有条件地推断成一个不断发展的关系图。对象的生活，然后总结成简历，贷款自然审慎的关系推理，产生一个答案的查询。该框架在主要的视频QA数据集上进行了评估，证明了以对象为中心的视频推理方法的明显优势。
2021-07-09 cs.CV
ViLA: Efficient Video-Language Alignment for Video Question Answering
University of Maryland, College Park（马里兰大学帕克分校）；Amazon（亚马逊公司）
本文提出ViLA网络，通过可学习文本引导帧提示器和跨模态蒸馏模块，在视频问答中实现高效关键帧采样与对齐，以更少帧数和更低延迟超越现有方法。
2024-10-01 cs.CV
FocusGraph: Graph-Structured Frame Selection for Embodied Long Video Question Answering
AXXX；MIRAI；Yandex；FusionBrain Lab（FusionBrain实验室）
FocusGraph通过图结构帧选择和轻量级模型实现高效长视频问答，提升性能并减少推理时间。
2026-10-02 cs.CV
Controllable Augmentations for Video Representation Learning
Shanghai Jiao Tong University（上海交通大学）；The Chinese University of Hong Kong（香港中文大学）；Heriot-Watt University（赫瑞瓦特大学）；Tencent（腾讯）
本文主要研究自监督视频表示学习。大多数现有的方法遵循对比学习管道，通过对不同的剪辑进行采样来构建正对和负对。然而，这种提法往往偏向于静态背景，难以建立全球的时间结构。主要原因是正对，即，从同一视频采样的不同剪辑具有有限的时间感受野，并且通常共享相似的背景但运动不同。为了解决这些问题，我们提出了一个框架，共同利用本地剪辑和全球视频学习详细的区域级对应关系以及一般的长期时间关系。基于一组可控的增强，我们通过软时空区域对比度实现精确的外观和运动模式对齐。我们的公式是能够避免低层次的冗余捷径互信息最小化，以提高推广。我们还引入了局部-全局时序依赖性，以进一步弥合剪辑级和视频级表示之间的差距，以实现鲁棒的时间建模。大量的实验表明，我们的框架是优于三个视频基准动作识别和视频检索，捕捉更准确的时间动态。
2022-04-01 cs.CV
Grounded Question-Answering in Long Egocentric Videos
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Lab（上海人工智能实验室）
本文针对长时第一人称视频中的开放式问答任务，提出统一查询定位与回答的模型，利用大语言模型合成数据，并引入封闭式问答评估，在QaEgo4D和Ego4D-NLQ上取得最先进性能。
2024-04-01 cs.CV
The Forgettable-Watcher Model for Video Question Answering
近年来，人们提出了许多视觉问答方法，旨在通过回答自然语言问题来理解视觉场景。虽然图像问答已经引起了极大的关注，但视频问答在很大程度上尚未开发。视频QA不同于图像QA，因为信息和事件分散在多个帧中。为了更好地利用视频的时间结构和答案的短语结构，我们提出了两种机制：重新观看和重新阅读机制，并将它们结合到forgetable-watcher模型。然后，我们提出了一个TGIF-QA数据集的视频问答的自动生成问题的帮助下。最后，我们在我们的数据集上评估模型。实验结果表明了我们提出的模型的有效性。
2017-05-03 cs.CL cs.CV
Characterizing Video Question Answering with Sparsified Inputs
Columbia University（哥伦比亚大学）；Amazon Alexa AI（亚马逊Alexa人工智能）；Rice University（莱斯大学）
本文研究视频问答中的输入稀疏化问题，提出基于Gumbel的可学习选择模块自适应选择多模态输入，实验表明仅用10%视频长度即可保持约94%的性能，并发现视觉与文本输入具有互补性。
2023-11-27 cs.CV
Temporal Pyramid Transformer with Multimodal Interaction for Video Question Answering
Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences（中国科学院重庆绿色智能技术研究院）；Chongqing School, University of Chinese Academy of Sciences（中国科学院大学重庆学院）；University College London（伦敦大学学院）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人学会）
视频问答（VideoQA）是视觉理解和自然语言理解的多模态结合，具有挑战性。虽然现有的方法很少在多个时间尺度上利用视频中的外观运动信息，但用于文本语义提取的问题与视觉信息之间的交互经常被忽视。针对这些问题，本文提出了一种新的时间金字塔Transformer（TPT）模型与多模态交互的视频问答。TPT模型包括两个模块，即特定于XML的Transformer（QT）和可视化推理（VI）。给定从视频构建的时间金字塔，QT从每个单词和视觉内容之间的粗到细的多模态共现构建问题语义。在这种问题语义的指导下，VI从问题和视频之间的局部到全局的多层次交互中推断出视觉线索。在每个模块中，我们引入了多模态注意力机制来帮助提取问题-视频交互，并为跨不同层次的信息采用了剩余连接。通过在三个VideoQA数据集上的大量实验，我们证明了所提出的方法与最先进的方法相比具有更好的性能。
2021-09-10 cs.CV
Overview of TREC 2024 Medical Video Question Answering (MedVidQA) Track
National Library of Medicine（美国国家医学图书馆）
本文介绍TREC 2024 MedVidQA赛道，提出医学视频问答与指令生成新任务，旨在利用多模态AI理解医学视频，为自然语言问题提供视觉答案并生成操作步骤，以支持临床决策和公众急救教育。
2024-12-15 cs.CV
Efficient End-to-End Video Question Answering with Pyramidal Multimodal Transformer
Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences（中国科学院重庆绿色智能技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Tsinghua University（清华大学）
本文提出了一种新的端到端视频问答（VideoQA）方法，除了目前流行的使用大规模预训练与巨大的特征提取器。我们通过金字塔多模态Transformer（PMT）模型实现了这一点，该模型简单地包含了一个可学习的词嵌入层，一些卷积层和Transformer层。我们使用各向异性金字塔来实现跨不同时空尺度的视频语言交互。除了典型的金字塔，其中包括自下而上和自上而下的横向连接的途径，提出了新的策略，将视觉特征流分解成不同尺度的空间和时间的子流，并实现其与语言语义的相互作用，同时保持本地和全局语义的完整性。我们展示了更好的或同等的性能与高的计算效率对国家的最先进的方法在五个VideoQA基准。我们的消融研究显示了我们模型的可扩展性，通过利用具有可重复使用的预训练权重的特征提取器以及金字塔的有效性，实现了文本到视频检索的竞争结果。
2023-03-05 cs.CV
ChineseVideoBench: Benchmarking Multi-modal Large Models for Chinese Video Question Answering
Bytedance Inc.（字节跳动公司）
ChineseVideoBench通过提供中文视频问答的基准测试，评估多模态大语言模型的性能，揭示了当前模型在复杂中文视频内容上的挑战。
2025-11-23 cs.CV
Joint Engagement Classification using Video Augmentation Techniques for Multi-person Human-robot Interaction
MIT Media Lab（麻省理工学院媒体实验室）
情感理解能力对于社交机器人以直观和互惠的方式与一组用户自主交互至关重要。然而，多人情感理解的挑战不仅来自于对每个用户的情感状态的准确感知（例如，接合）而且还包括对成员之间的影响相互作用的认识（例如，共同参与），表现为他们之间复杂但微妙的非语言交流。在这里，我们提出了一种新的混合框架，通过将深度学习框架与各种视频增强技术相结合来识别亲子二元体的联合参与。使用亲子二人组与家中的社交机器人一起阅读故事书的数据集，我们首先使用四种视频增强技术（General Aug，DeepFake，CutOut和Mixed）应用数据集训练基于RGB帧和基于RGB的联合接合识别模型，以提高联合接合分类性能。其次，我们展示了在机器人-父母-孩子交互环境中使用训练模型的实验结果。第三，我们引入了一个基于行为的指标来评估模型的学习表示，以研究识别联合参与时的模型可解释性。这项工作是充分释放端到端视频理解模型潜力的第一步，这些模型在大型公共数据集上进行了预训练，并通过数据增强和可视化技术进行了增强，用于在野外多人人机交互中进行影响识别。
2022-12-28 cs.CV
MIST: Multi-modal Iterative Spatial-Temporal Transformer for Long-form Video Question Answering
National University of Singapore（新加坡国立大学）；Google Brain（谷歌大脑）；Microsoft（微软）；Microsoft Research Asia（微软亚洲研究院）；Zhejiang University（浙江大学）
为了构建能够辅助人类日常活动的视频问答（VideoQA）系统，必须从具有多样化和复杂事件的长格式视频中寻求答案。现有的多模态VQA模型在图像或短视频剪辑上取得了令人满意的性能，特别是最近大规模多模态预训练的成功。然而，当将这些方法扩展到长格式视频时，新的挑战出现了。一方面，使用密集视频采样策略在计算上是禁止的。另一方面，依赖于稀疏采样的方法在需要多事件和多粒度视觉推理的场景中挣扎。在这项工作中，我们引入了一个名为多模态迭代时空Transformer（MIST）的新模型，以更好地适应长格式VideoQA的预训练模型。具体来说，MIST将传统的密集时空自注意力分解为级联的片段和区域选择模块，这些模块自适应地选择与问题本身密切相关的帧和图像区域。不同粒度的视觉概念，然后通过一个注意力模块有效地处理。此外，MIST迭代地在多个层上进行选择和注意，以支持对多个事件的推理。在AGQA、NExT-QA、STAR和Env-QA等4个VideoQA数据集上的实验结果表明，MIST具有最先进的性能，并且在计算效率和可解释性方面具有优势。
2022-12-19 cs.CV
Hierarchical Object-oriented Spatio-Temporal Reasoning for Video Question Answering
Applied Artificial Intelligence Institute, Deakin University（迪肯大学应用人工智能研究所）
视频问答（Video QA）是开发新AI功能的强大测试平台。这项任务需要学习在时空中跨视觉和语言领域对物体、关系和事件进行推理。高级推理要求从关联视觉模式识别提升到对对象、它们的行为和交互的类似符号的操纵。为了达到这个目标，我们提出了一个面向对象的推理方法，视频被抽象为一个动态的流的相互作用的对象。在视频事件流的每个阶段，这些对象彼此交互，并且它们的交互相对于查询并且在视频的整体上下文下进行推理。这种机制被具体化为一个家庭的通用神经元和他们的多层架构称为层次面向对象的时空推理（HOSTR）网络。该神经模型以分层嵌套的时空图的形式维护对象的一致生命线。在这个图中，动态交互式面向对象的表示是建立在视频序列，分层抽象的自下而上的方式，并收敛到正确答案的关键信息。该方法在多个主要的视频QA数据集上进行了评估，并在这些任务中建立了新的最先进的技术。对模型行为的分析表明，面向对象推理是一种可靠的、可解释的、有效的视频质量保证方法。
2021-08-25 cs.CV
Structured Two-stream Attention Network for Video Question Answering
University of Electronic Science Technology of China（电子科技大学）；Monash University（莫纳什大学）；JD AI Research（京东人工智能研究院）
迄今为止，视觉问答（VQA）（即，图像QA和视频QA）仍然是视觉和语言理解中圣杯，尤其是对于视频QA。与图像QA主要侧重于理解图像区域级细节和相应问题之间的关联相比，视频QA需要一个模型来跨视频以及文本的空间和长距离时间结构进行联合推理，以提供准确的答案。在本文中，我们提出了一个结构化的双流注意力网络，即STA，来回答一个自由形式或开放式的自然语言问题的内容，一个给定的视频QA的问题。首先，我们使用我们的结构化片段组件和编码文本特征来推断视频中丰富的长距离时间结构。然后，我们的结构化双流注意力组件同时定位重要的视觉实例，减少背景视频的影响，并专注于相关的文本。最后，结构化的两个流融合组件将不同段的查询和视频感知上下文表示，并推断答案。在大规模视频QA数据集\textit{TGIF-QA}上的实验表明，我们提出的方法明显优于最佳对应物（即，对于视频输入具有一种表示），对于动作，变换，TrameQA和Count任务。它也优于最好的竞争对手（即，有两个代表）的行动，Trans.，TrameQA任务分别减少4.1%、4.7%和5.1%。
2022-06-02 cs.CV
