Scene Graph Reasoning for Visual Question Answering
Siemens AG（西门子股份公司）；Ludwig Maximilian University of Munich（慕尼黑大学）；Technical University of Munich（慕尼黑工业大学）
视觉问答涉及回答关于图像的自由形式的问题。由于它需要对问题的深刻语言理解以及将其与图像中存在的各种对象相关联的能力，因此这是一项雄心勃勃的任务，需要计算机视觉和自然语言处理的技术。我们提出了一种新的方法，通过执行上下文驱动，顺序推理的基础上的对象和它们的语义和空间关系存在于场景中的任务。作为第一步，我们推导出一个场景图，它描述了图像中的对象，以及它们的属性和相互关系。然后，强化代理学习在提取的场景图上自主导航以生成路径，然后这些路径是导出答案的基础。我们对具有挑战性的GQA数据集进行了第一次实验研究，其中手动策划的场景图，我们的方法几乎达到了人类性能的水平。
2020-07-02 cs.CV cs.LG stat.ML
The meaning of "most" for visual question answering models
University of Cambridge（剑桥大学）
在视觉场景的上下文中正确解释量词语句需要非平凡的推理机制。以“大多数”为例，我们讨论了两种依赖于根本不同的认知概念的策略。我们的目标是确定视觉问答的深度学习模型在训练这些问题时学习什么策略。为此，我们仔细设计数据，以复制心理语言学的实验，其中对人类进行了同样的研究。针对电影视觉问答模型，我们的实验表明，出现了一种形式的近似数系统，其性能下降与韦伯定律预测的更困难的场景。此外，我们确定混杂因素，如空间布置的场景，这阻碍了该系统的有效性。
2019-06-04 cs.AI cs.CL cs.CV
SQA3D: Situated Question Answering in 3D Scenes
Beijing Institute for General Artificial Intelligence (BIGAI)（北京通用人工智能研究院）；UCLA（加州大学洛杉矶分校）；Tsinghua University（清华大学）；Peking University（北京大学）
本文提出SQA3D任务与数据集，要求智能体在3D场景中基于文本描述的情境进行推理问答，并评估现有模型与人类表现差距，以推动具身AI的情境理解与推理研究。
2023-04-12 cs.AI cs.CL cs.CV
Spatiotemporal Deformable Scene Graphs for Complex Activity Detection
Oxford Brookes University（牛津布鲁克斯大学）
长期复杂活动识别和定位对于智能汽车和手术机器人等自主系统的决策至关重要。在这里，我们通过一种新的可变形，时空场景图的方法，包括三个主要的建筑模块：（i）动作管检测，（ii）零件的可变形几何形状的建模，和（iii）一个图卷积网络的问题。首先，在一系列片段中检测动作管。接下来，设计了一个新的3D可变形RoI池层，用于学习组成动作管的灵活、可变形几何形状。最后，将所有部件视为节点，并基于不同的语义（如出现顺序、共享相同的动作标签和特征相似度）将它们连接起来，构建场景图。我们还为最近发布的ROAD自动驾驶和SARAS-ESAD手术动作数据集提供了新的时间复杂活动注释，并显示了我们的框架对不同领域的适应性。我们的方法在两个增强数据集上都显着优于基于图的竞争对手。
2022-10-30 cs.CV cs.LG
Neural-Symbolic VideoQA: Learning Compositional Spatio-Temporal Reasoning for Real-world Video Question Answering
Harbin University of Science and Technology（哈尔滨理工大学）
本文提出神经符号框架 NS-VideoQA，通过 SPN 将视频结构化为符号表示，并用 SRM 与多态执行器完成组合式时空推理，在 AGQA Decomp 上验证了有效性。
2024-04-05 cs.CV
Geode: A Zero-shot Geospatial Question-Answering Agent with Explicit Reasoning and Precise Spatio-Temporal Retrieval
Georgia Institute of Technology（佐治亚理工学院）
Geode是一个零样本地理空间问答智能体，通过显式推理和精确时空检索，显著提升复杂地理空间查询的回答准确性，优于现有最先进预训练模型。
2024-06-26 cs.AI cs.CL cs.MA
Vista: Scene-Aware Optimization for Streaming Video Question Answering under Post-Hoc Queries
Vista通过场景感知分割、压缩和召回技术，实现了高效且可扩展的流视频问答，提升了长上下文推理能力，同时保持低延迟和内存效率。
2026-02-09 cs.AI cs.CV
Knowledge-Based Video Question Answering with Unsupervised Scene Descriptions
Osaka University（大阪大学）
为了理解电影，人们不断地对特定场景中的对话和动作进行推理，并将它们与已经看到的整体故事情节联系起来。受这种行为的启发，我们设计了ROLL，一个基于知识的视频故事问答模型，它利用了电影理解的三个关键方面：对话理解，场景推理和故事情节回忆。在ROLL中，这些任务中的每一个都负责通过1）处理场景对话，2）生成无监督视频场景描述，以及3）以弱监督方式获取外部知识来提取丰富多样的信息。为了正确回答给定的问题，每个启发认知任务产生的信息通过Transformers编码，并通过模态加权机制融合，该机制平衡了来自不同来源的信息。详尽的评估证明了我们的方法的有效性，这产生了一个新的国家的最先进的两个具有挑战性的视频问答数据集：KnowIT VQA和TVQA+。
2020-07-17 cs.CL cs.CV
Compositional 4D Dynamic Scenes Understanding with Physics Priors for Video Question Answering
Johns Hopkins University（约翰霍普金斯大学）；Tsinghua University（清华大学）；Max Planck Institute for Informatics（马克斯·普朗克研究所（信息学））；University of Freiburg（弗赖堡大学）
针对视频问答中4D动态理解不足，提出DynSuperCLEVR数据集和NS-4DPhysics模型，结合物理先验与显式场景表征，显著提升速度、加速度和碰撞问题的推理性能。
2025-04-23 cs.AI cs.CV
A Dataset for Spatiotemporal-Sensitive POI Question Answering
Department of Data Science, City University of Hong Kong（城市大学数据科学系）；Department of Computer Science, Zhejiang University of Technology（浙江工业大学计算机科学系）
针对现有问答数据集缺乏时空敏感问题、难以评估模型时空推理能力的问题，研究构建了以兴趣点为核心的POI-QA双语时空敏感问答数据集，实验表明当前顶尖多语种大语言模型在该数据集上表现远逊于人类，可为相关算法发展提供可靠基准。
2025-05-16 cs.LG
Scene Graph Reasoning with Prior Visual Relationship for Visual Question Answering
Beihang University（北京航空航天大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
可视化问答的关键问题之一是在问题的引导下对可视化内容中的语义线索进行推理，如何对关系语义进行建模仍然是一个巨大的挑战。为了充分捕捉视觉语义，我们提出了一个结构化的视觉表示-场景图，嵌入对象和对象间的关系。这显示出比vanilla向量表示和隐式视觉关系学习更大的好处。基于现有的视觉关系模型，我们提出了一个视觉关系编码器，该编码器将视觉关系投射到受视觉上下文和语言先验约束的学习深度语义空间中。在此基础上，提出了一种场景图卷积网络（SceneGCN），用于对对象属性和关系语义进行联合推理，以获得正确答案。我们在具有挑战性的GQA数据集和经典的VQA 2.0数据集上证明了该模型的有效性和可解释性，与现有的最佳模型相比，GQA的准确率达到了54.56%。
2019-08-21 cs.AI cs.CV cs.MM
Action Genome: Actions as Composition of Spatio-temporal Scene Graphs
Stanford University（斯坦福大学）
动作识别通常将动作和活动视为视频中发生的单一事件。然而，来自认知科学和神经科学的证据表明，人们积极地将活动编码为一致的分层部分结构。然而，在计算机视觉中，很少有探索的表示编码的事件partonomies已经取得。受事件的原型单位是一个动作-对象交互的证据的启发，我们引入动作基因组，一种将动作分解成时空场景图的表示。动作基因组捕获动作发生时对象之间的变化及其成对关系。它包含10 K视频，其中包含0.4M对象和1.7M视觉关系注释。与动作基因组，我们扩展了现有的动作识别模型，将场景图作为时空特征银行，以实现更好的性能上的字谜数据集。接下来，通过分解和学习的视觉关系，导致在一个动作的时间变化，我们证明了一个分层的事件分解的效用，使Few-Shot动作识别，实现42.7%的mAP使用少至10个例子。最后，我们基准现有的场景图模型的时空场景图预测的新任务。
2019-12-15 cs.CV
Enhancing Long Video Question Answering with Scene-Localized Frame Grouping
针对长视频问答中MLLMs场景感知不足的问题，提出SceneQA场景与LVSQA数据集，并设计SLFG方法，通过场景定位与动态帧重组增强理解，无需改架构，即插即用，实验表现优异。
2025-08-05 cs.AI cs.CV
STRIVE: Structured Spatiotemporal Exploration for Reinforcement Learning in Video Question Answering
University of Bonn（波恩大学）；Microsoft（微软）；Meta；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔人工智能与机器学习研究所）
STRIVE通过构建多时空变体和联合归一化提升视频问答的奖励信号，采用重要性感知采样机制增强策略更新稳定性，实验表明在多个大模型上提升了视频推理性能。
2026-05-10 cs.CV
Hierarchical Question-Answering for Driving Scene Understanding Using Vision-Language Models
Center for ICT and Automotive Convergence, Kyungpook National University（信息与汽车融合研究中心，庆北国立大学）；School of Electronic and Electrical Engineering, Kyungpook National University（电子电气工程学院，庆北国立大学）
本文提出一种基于微调视觉-语言模型的分层问答方法，通过结构化问题树和动态跳过策略高效理解驾驶场景，在保证关键细节捕获能力的同时显著降低推理时间。
2025-06-03 cs.AI cs.CV
Adversarial Training with OCR Modality Perturbation for Scene-Text Visual Question Answering
School of Computing and Artificial Intelligence, Southwest Jiaotong University（西南交通大学计算机与人工智能学院）
针对场景文本视觉问答中OCR错误和空间信息利用不足的问题，提出含对抗性OCR增强和空间感知自注意力的多模态对抗训练架构，在ST-VQA和TextVQA上显著提升性能。
2024-03-14 cs.AI cs.CV
Generating Natural Language Explanations for Visual Question Answering using Scene Graphs and Visual Attention
Samsung Research（三星研究院）；SRI International（斯坦福国际研究院）
在本文中，我们提出了一种新的方法，可解释的问答（XQA）的任务，即，生成针对所述视觉问答（VQA）问题的自然语言（NL）解释。我们使用两个信息源生成NL解释，该解释包括支持对图像提出的问题的答案的证据：（a）图像中实体的注释（例如，对象标签、区域描述、关系短语），以及（b）由VQA模型在回答问题时生成的注意力图。我们展示了如何结合视觉注意力地图与NL表示的相关场景图实体，仔细选择使用语言模型，可以给出合理的文字解释，而不需要任何额外的收集数据（解释说明等）。我们在Visual Genome（VG）数据集上运行我们的算法，并进行内部用户研究，以证明我们的方法在强大的基线上的有效性。我们还发布了一个实时Web演示，展示了我们的VQA和使用场景图和视觉注意力的文本解释生成。
2019-02-15 cs.AI cs.CL
Keyword-Aware Relative Spatio-Temporal Graph Networks for Video Question Answering
Institute for Infocomm Research (I2R), Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局（A*STAR）信息通信研究院（I2R））；School of Computing, National University of Singapore（新加坡国立大学计算学院）；SCSE, Nanyang Technological University（南洋理工大学计算机科学与工程学院）
本文提出关键词感知的相对时空图网络（KRST），通过注意力机制突出关键词并建模对象间相对关系，解耦时空推理，在多个视频问答数据集上超越现有方法。
2023-07-25 cs.CV
Surgical-VQA: Visual Question Answering in Surgical Scenes using Transformer
National University of Singapore（新加坡国立大学）；Imperial College London（帝国理工学院）；National Institute of Technology, Tiruchirappalli（蒂鲁吉拉伯利国家理工学院）；Chinese University of Hong Kong（香港中文大学）；Shun Hing Institute of Advanced Engineering（信兴高等工程研究所）
手术中的视觉问答（VQA）在很大程度上尚未开发。专业的外科医生很少，而且经常被临床和学术工作负担过重。这种超负荷的工作往往限制了他们回答病人、医学生或初级住院医生关于外科手术的问卷调查的时间。有时，学生和初级居民也避免在课堂上问太多问题，以减少干扰。虽然计算机辅助模拟器和过去的外科手术记录已经为他们提供了观察和提高他们的技能，但他们仍然非常依赖医学专家来回答他们的问题。拥有一个外科VQA系统作为可靠的“第二意见”可以作为一个备份，减轻医疗专家在回答这些问题时的负担。缺乏注释的医学数据和特定领域术语的存在限制了外科手术VQA的探索。在这项工作中，我们设计了一个手术VQA任务，回答问卷调查的基础上手术现场的手术程序。进一步扩展MICCAI内窥镜视觉挑战2018数据集和工作流程识别数据集，我们引入了两个Surgical-VQA数据集，其中包含分类和基于检查的答案。为了执行Surgical-VQA，我们采用视觉-文本Transformers模型。我们进一步引入了一个基于残差MLP的VisualBert编码器模型，该模型加强了视觉和文本标记之间的交互，提高了基于分类的回答的性能。此外，我们研究了输入图像块的数量和时间视觉特征对模型性能的影响，在分类和基于问答的回答。
2022-06-26 cs.AI cs.CV cs.LG
Hierarchical Object-oriented Spatio-Temporal Reasoning for Video Question Answering
Applied Artificial Intelligence Institute, Deakin University（迪肯大学应用人工智能研究所）
视频问答（Video QA）是开发新AI功能的强大测试平台。这项任务需要学习在时空中跨视觉和语言领域对物体、关系和事件进行推理。高级推理要求从关联视觉模式识别提升到对对象、它们的行为和交互的类似符号的操纵。为了达到这个目标，我们提出了一个面向对象的推理方法，视频被抽象为一个动态的流的相互作用的对象。在视频事件流的每个阶段，这些对象彼此交互，并且它们的交互相对于查询并且在视频的整体上下文下进行推理。这种机制被具体化为一个家庭的通用神经元和他们的多层架构称为层次面向对象的时空推理（HOSTR）网络。该神经模型以分层嵌套的时空图的形式维护对象的一致生命线。在这个图中，动态交互式面向对象的表示是建立在视频序列，分层抽象的自下而上的方式，并收敛到正确答案的关键信息。该方法在多个主要的视频QA数据集上进行了评估，并在这些任务中建立了新的最先进的技术。对模型行为的分析表明，面向对象推理是一种可靠的、可解释的、有效的视频质量保证方法。
2021-08-25 cs.CV
Visual Causal Scene Refinement for Video Question Answering
Sun Yat-sen University（中山大学）
本文提出VCSR框架，通过因果前门干预与QGR、CSS模块精炼视觉因果场景，缓解VideoQA中的伪相关问题并提升可解释性与稳健性。
2023-08-01 cs.CV
Spatiotemporal Knowledge Graphs as Persistent Scene Memory for Embodied Question Answering
Applied AI Institute, Moscow, Russia（莫斯科应用人工智能研究所）
VL-KnG通过构建时空知识图谱实现高效具身场景理解，采用LLM驱动的时空对象关联和图增强检索，无需3D重建，支持常数时间推理，优于现有前沿VLMs。
2026-07-21 cs.AI cs.RO
Towards Fine-Grained Video Question Answering
Stanford University（斯坦福大学）
本文提出MOMA-QA数据集和SGVLM模型，通过场景图预测、帧检索与大语言模型结合，提升细粒度视频问答中的时间定位和空间关系推理能力。
2025-03-10 cs.AI cs.CV cs.LG
CausalChaos! Dataset for Comprehensive Causal Action Question Answering Over Longer Causal Chains Grounded in Dynamic Visual Scenes
Institute of High-Performance Computing, Agency for Science, Technology and Research, Singapore（高性能计算研究所，科技研究局，新加坡）；Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；Singapore Polytechnic（新加坡理工学院）
针对因果视频问答中现有数据集因果推理深度不足的问题，利用卡通特性构建CausalChaos!数据集，含因果链等问题并引入错误答案挖掘，为因果关系建模等发展助力。
2026-07-07 cs.AI cs.CL cs.CV
Graph-Structured Representations for Visual Question Answering
Australian Centre for Visual Technologies（澳大利亚视觉技术中心）；The University of Adelaide（阿德莱德大学）
本文提出了一种改进的视觉问答（VQA）与场景内容和问题的结构化表示。VQA中的一个关键挑战是需要在视觉和文本域上进行联合推理。主流的基于CNN/LSTM的VQA方法受到单一向量表示的限制，这些向量表示在很大程度上忽略了场景中的结构和问题的形式。CNN特征向量无法有效地捕捉多个对象实例这样简单的情况，LSTM将问题处理为一系列单词，这并不能反映语言结构的真实复杂性。相反，我们建议在场景对象和问题词上构建图，我们描述了一个深度神经网络，它利用了这些表示中的结构。这显示出比LSTM的顺序处理显著的益处。我们的方法的整体功效是由显着的改进，证明了国家的最先进的，从71.2%到74.4%的准确性的“抽象场景”多项选择基准，从34.7%到39.1%的准确性对“平衡”的场景，即图像与细粒度的差异和相反的是/否回答同一个问题。
2017-03-30 cs.AI cs.CL cs.CV
HySTER: A Hybrid Spatio-Temporal Event Reasoner
Imperial College London（帝国理工学院）
视频问答（VideoQA）的任务是回答关于视频的自然语言问题，并作为一个代理来评估模型在场景序列理解中的性能。目前为VideoQA设计的大多数方法都是端到端的深度学习架构，这些架构在复杂的时间和因果推理中苦苦挣扎，并且在推理步骤中提供有限的透明度。我们提出了HySTER：一个混合时空事件推理器，用于推理视频中的物理事件。我们的模型利用深度学习方法的优势，在答案集编程框架中利用符号人工智能的推理能力和可解释性从视频帧中提取信息。我们定义了一个方法的基础上一般的时间，因果关系和物理规则，可以跨任务转移。我们将我们的模型应用于CLEVRER数据集，并在问答准确性方面展示了最先进的结果。这项工作为将归纳逻辑程序设计纳入VideoQA领域奠定了基础。
2021-01-17 cs.AI cs.CL cs.CV
Synthetic Visual Genome 2: Extracting Large-scale Spatio-Temporal Scene Graphs from Videos
Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）；Woven by Toyota（丰田编织）；Microsoft（微软公司）
SVG2通过自动化流程生成大规模视频场景图，TRaSER模型在视频问答中提升准确率1.5-4.6%
2026-03-06 cs.CV
Bridge Frame and Event: Common Spatiotemporal Fusion for High-Dynamic Scene Optical Flow
Huazhong University of Science and Technology（华中科技大学）；National University of Singapore（新加坡国立大学）
本文针对高动态场景光流中帧与事件模态差距大的问题，提出通用时空融合方法，通过视觉边界定位和运动相关性融合，利用参考边界引导互补运动知识融合，缓解跨模态差异并提升光流估计性能。
2025-03-11 cs.CV
Understanding Video Scenes through Text: Insights from Text-based Video Question Answering
IIIT Hyderabad（海得拉巴国际信息技术研究所）；Wadhwani AI（瓦德瓦尼人工智能研究所）；Computer Vision Center, UAB（巴塞罗那自治大学计算机视觉中心）
本文探索NewsVideoQA和M4-ViteVQA两个基于文本的视频问答数据集，发现纯文本模型BERT-QA即可达到与原方法相当的性能，揭示了数据集构建的不足，并分析了跨域训练的挑战与益处。
2023-09-11 cs.CV
TUMTraffic-VideoQA: A Benchmark for Unified Spatio-Temporal Video Understanding in Traffic Scenes
本文提出TUMTraffic-VideoQA数据集与基准，通过基于元组的时空目标表达统一多项选择视频问答、指称目标描述和时空目标定位三项任务，并引入TUMTraffic-Qwen基线模型，为智能交通系统的细粒度时空推理研究提供基础。
2025-02-04 cs.CV
Discovering Spatio-Temporal Rationales for Video Question Answering
National University of Singapore（新加坡国立大学）；University of Science and Technology of China（中国科学技术大学）
针对复杂长视频问答问题，提出可微时空合理化模块STR自适应提取关键时空信息，结合答案交互机制构建Transformer架构TranSTR，在多个数据集上取得最优性能，推动复杂VideoQA研究。
2023-07-22 cs.CV
CaST-Bench: Benchmarking Causal Chain-Grounded Spatio-Temporal Reasoning for Video Question Answering
Woven by Toyota（丰田公司）；The University of Tokyo（东京大学）
提出CaST-Bench基准，通过构建包含因果链时空标注的数据集和评估指标，系统评测视觉语言模型在视频因果推理中的细粒度证据定位能力。
2026-07-03 cs.CV
SceneLLM: Implicit Language Reasoning in LLM for Dynamic Scene Graph Generation
Singapore University of Technology and Design（新加坡科技设计大学）；Lancaster University（兰卡斯特大学）
本文提出 SceneLLM 框架，通过视频到语言映射、空间信息聚合、最优传输和 LoRA 微调，将 LLM 用作动态场景图生成的隐式场景分析器，并在 Action Genome 基准上取得领先结果。
2025-05-07 cs.AI cs.CV
Invariant Grounding for Video Question Answering
National University of Singapore（新加坡国立大学）；University of Science and Technology of China（中国科学技术大学）
视频问答（VideoQA）是回答关于视频的问题的任务。其核心是理解视频中的视觉场景与所讨论的语言语义之间的一致性，从而得出答案。在领先的视频问答模型中，典型的学习目标，经验风险最小化（ERM），锁定在视频问题对和答案之间的表面相关性作为对齐。然而，ERM可能存在问题，因为它倾向于过度利用与问题无关的场景和答案之间的虚假相关性，而不是检查问题关键场景的因果关系。因此，VideoQA模型遭受不可靠的推理。在这项工作中，我们首先采取的因果关系看视频QA，并认为不变的基础是排除虚假相关性的关键。为此，我们提出了一个新的学习框架，不变接地视频QA（IGV），接地的关键问题的场景，其因果关系与答案是不变的，在不同的干预措施的补充。通过IGV，VideoQA模型被迫屏蔽回答过程免受虚假相关的负面影响，这显着提高了推理能力。在三个基准数据集上的实验验证了IGV在准确性、视觉可解释性和泛化能力方面优于领先基线。
2022-06-06 cs.CV
NExT-QA:Next Phase of Question-Answering to Explaining Temporal Actions
National University of Singapore（新加坡国立大学）
我们引入了NExT-QA，一个严格设计的视频问答（VideoQA）基准，以推进视频理解从描述到解释的时间动作。基于数据集，我们建立了多选择和开放式问答任务，目标是因果动作推理，时间动作推理和常见场景理解。通过对基线和已建立的VideoQA技术的广泛分析，我们发现表现最好的方法擅长浅层场景描述，但在因果和时间动作推理方面较弱。此外，在多选择QA上有效的模型，当适应开放式QA时，仍然难以概括答案。这就对这些模型的推理能力提出了质疑，并强调了改进的可能性。通过对不同问题类型的详细结果和对未来工作的启发性观察，我们希望NExT-QA将指导下一代VQA研究超越肤浅的场景描述，更深入地理解视频。(The数据集和相关资源可在https：//github.com/doc-doc/NExT-QA.git获得）
2021-05-23 cs.AI cs.CV
FlowZero: Zero-Shot Text-to-Video Synthesis with LLM-Driven Dynamic Scene Syntax
University of Technology Sydney（悉尼科技大学）；Zhejiang University（浙江大学）
提出FlowZero框架，结合LLM与图像扩散模型，通过生成动态场景语法指导视频生成，并引入迭代自优化和运动动力学增强连贯性，实现零样本高质量文本到视频合成。
2023-11-27 cs.AI cs.CV
VoQA: Visual-only Question Answering
SKLCCSE, School of Artificial Intelligence, Beihang University, Beijing, China（北京航空航天大学人工智能学院）；Hangzhou International Innovation Institute, Beihang University, Hangzhou, China（北京航空航天大学杭州国际创新研究院）
VoQA通过仅依赖视觉信息回答问题，改进了传统VQA的局限性，通过问题对齐微调策略提升纯视觉推理能力。
2025-11-30 cs.AI cs.CV
EgoTextVQA: Towards Egocentric Scene-Text Aware Video Question Answering
Hefei University of Technology（合肥工业大学）；National University of Singapore（新加坡国立大学）；University of Science and Technology of China（中国科学技术大学）
本研究推出面向第一视角场景文本问答的基准EgoTextVQA，评估发现现有多模态大模型表现不佳，同时指出了提升性能的关键方向，为相关研究提供可靠测试平台。
2025-03-21 cs.CV cs.MM
Scene-Text Grounding for Text-Based Video Question Answering
National University of Singapore（新加坡国立大学）；University of Science and Technology of China（中国科学技术大学）
针对现有TextVideoQA决策不透明、依赖场景文本识别的问题，本文提出带定位的TextVideoQA任务与T2S-QA模型，构建ViTXT-GQA数据集，实验表明现有技术存在局限，场景文本识别是主要挑战。
2025-05-19 cs.CV cs.MM
Multi-Modal Scene Graph with Kolmogorov-Arnold Experts for Audio-Visual Question Answering
State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications, China（网络与交换技术国家重点实验室，北京邮电大学）
本文提出基于多模态场景图与科莫戈罗夫-阿诺尔德专家网络的SHRIKE模型，用于提升音频-视觉问答任务中的跨模态交互建模与时间推理性能。
2026-08-11 cs.AI
Multi-Scale Attention for Audio Question Answering
Beijing Key Laboratory of Big Data Management and Analysis Methods（大数据管理与分析方法北京市重点实验室）
针对音频问答在细粒度场景中时间推理不足的问题，提出多尺度窗口注意力融合模型MWAFM，通过异步混合注意力和多尺度窗口注意力聚合跨模态时间上下文并捕获不同长度声音事件，实验证明其有效性。
2023-05-29 cs.AI cs.MM cs.SD
Robust Trajectory Forecasting for Multiple Intelligent Agents in Dynamic Scene
Meituan-Dianping Group（美团点评集团）；Wenzhou University（温州大学）
动态场景中多个交互智能体的轨迹预测是机器人系统和自动驾驶等应用中的一个重要问题。由于智能体之间的复杂交互以及它们与周围场景的交互，该问题是一个巨大的挑战。在本文中，我们提出了一种新的方法，在动态场景中的多智能体的鲁棒轨迹预测。所提出的方法由三个主要的相互关联的部分组成：用于全局时空交互式特征提取的交互网络、用于解码动态场景的环境网络（即，智能体的周围道路拓扑），以及结合时空特征、场景特征、智能体的过去轨迹和一些随机噪声的预测网络，用于智能体的鲁棒轨迹预测。在行人-步行和车辆-行人异构数据集上的实验表明，该方法在预测精度方面优于现有的预测方法。
2020-05-27 cs.CV cs.LG cs.RO
VQA-GNN: Reasoning with Multimodal Knowledge via Graph Neural Networks for Visual Question Answering
KDDI Research（KDDI研究所）；Stanford University（斯坦福大学）
提出VQA-GNN模型，通过超级节点连接场景图与概念图并利用多模态GNN进行双向融合与跨模态消息传递，在VCR和GQA任务上显著提升了视觉问答的概念级推理性能。
2023-09-15 cs.AI cs.CL cs.CV
Yin and Yang: Balancing and Answering Binary Visual Questions
Virginia Tech（弗吉尼亚理工大学）；Army Research Laboratory（陆军研究实验室）
语言的复杂组成结构使得视觉和语言的交叉问题具有挑战性。但是语言也提供了一个强大的先验，可以产生良好的表面性能，而底层模型没有真正理解视觉内容。这可能会阻碍在多模态AI的计算机视觉方面推动最先进技术的进展。在本文中，我们解决二进制视觉问答（VQA）的抽象场景。我们将这个问题表述为问题中询问的概念的视觉验证。具体来说，我们将问题转换为一个元组，它简洁地概括了图像中要检测的视觉概念。如果这个概念可以在图像中找到，则问题的答案是“是”，否则是“否”。抽象场景扮演着两个角色：（1）它们使我们能够专注于VQA任务的高级语义，而不是低级识别问题，也许更重要的是，（2）它们为我们提供了平衡数据集的模态，以便控制语言先验，视觉的作用是必不可少的。特别是，我们为每个问题收集细粒度的场景对，这样对于一个场景，问题的答案是“是”，而对于完全相同的问题，另一个场景的答案是“否”。事实上，在我们的平衡数据集上，单独的语言先验并不比偶然性更好。此外，我们提出的方法匹配的性能的最先进的VQA方法的不平衡数据集，并优于它的平衡数据集。
2016-04-19 cs.CL cs.CV cs.LG
ReVA: A Scene-Centric Dataset Beyond Repetition for Remote Sensing Video Question Answering
Lehigh University（理海大学）；University of Southern California（南加州大学）；Qualcomm AI Research（高通人工智能研究院）
针对现有遥感基准的重复问题和静态图像局限，本文提出ReVA数据集，包含2,438个无人机视频和22K问答对，评估MLLMs的时空推理能力，并揭示当前模型的不足。
2026-09-29 cs.CV
NuRisk: A Visual Question Answering Dataset for Agent-Level Risk Assessment in Autonomous Driving
Professorship of Autonomous Vehicle Systems, TUM School of Engineering and Design, Technical University of Munich（自主车辆系统教授职位，TUM工程与设计学院，慕尼黑技术大学）；Munich Institute of Robotics and Machine Intelligence (MIRMI)（慕尼黑机器人与机器智能研究所（MIRMI））
NuRisk 数据集通过 2.9K 场景和 1.1M agent 级样本，提供基于鸟瞰图的时序图像及量化风险标注，提升自动驾驶中 agent 行为与情境的时空推理能力。
2026-04-19 cs.AI
R4DSG: Relative 4D Scene Graph Memory for Object-Centric Question Answering in Long Egocentric Video
Samsung R&D Institute China - Beijing（三星中国研发研究院（北京））；Shanghai Jiao Tong University（上海交通大学）
该研究提出R4DSG，一种面向长时序自我中心视频的相对4D场景图记忆，在EgoLifeQA数据集的对象相关问答任务中，较EgoRAG-Text取得显著性能提升，可作为可穿戴助手等的实用记忆载体。
2026-08-12 cs.AI cs.CV cs.HC
GraphPad: Inference-Time 3D Scene Graph Updates for Embodied Question Answering
University of Waterloo（滑铁卢大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文提出 GraphPad，一种可通过 API 在线修改的三维场景图记忆系统，在 OpenEQA 上以更少输入帧实现 55.3% 准确率，较仅图像基线提升 3.0%，证明语言驱动的推理时记忆精炼能提升具身问答性能。
2025-06-01 cs.AI
Skeleton-based Zero-Shot Spatio-Temporal Action Localization via Weakly-Supervised Pretraining
Konica Minolta, Inc.（柯尼卡美能达公司）；Keio University（庆应义塾大学）；CyberAgent（CyberAgent公司）；NVIDIA（英伟达公司）
该研究提出基于骨骼的零样本时空动作定位方法，通过弱监督视觉-语言预训练与场景混合判别对比学习，解决标注限制问题，在四个公开数据集上验证了有效性。
2026-08-27 cs.CV
S3Mem: Structured Spatiotemporal Scene-Event Memory for Long-Horizon Interactive Question Answering
University of Science and Technology of China（中国科学技术大学）；Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；City University of Hong Kong（香港城市大学）；The Chinese University of Hong Kong（香港中文大学）；Fudan University（复旦大学）；The University of Sydney（悉尼大学）；Beihang University（北航）
提出S3MEM框架，通过结构化场景-事件记忆和锚点敏感检索，在长时域交互式问答中实现比通用记忆接口更优的准确率-效率平衡。
2026-06-08 cs.AI cs.CL
Spatio-Temporal Context for Action Detection
Apple（苹果公司）
动作检测在视频理解中起着关键作用，因此近年来对动作检测的研究也越来越多。事实证明，对行为者与其背景之间的互动（空间或时间）进行建模对于这项任务至关重要。虽然最近的作品使用空间特征与聚合的时间信息，这项工作提出使用非聚合的时间信息。该方法的主要贡献是引入了两个交叉注意块，有效地对场景中的空间关系进行建模，并捕捉短距离的时间交互。在AVA数据集上的实验表明，该方法能够有效地对场景中相关元素之间的时空关系进行建模，优于其他方法，这些方法通过+0.31 mAP来模拟参与者与其上下文的交互。
2021-06-29 cs.CV
VRU-Accident: A Vision-Language Benchmark for Video Question Answering and Dense Captioning for Accident Scene Understanding
University of Central Florida（中央佛罗里达大学）
本文提出VRU-Accident基准，通过1K真实事故视频和6K多选题问答及密集描述标注，系统评估17个多模态大模型在弱势道路使用者事故场景中的推理与描述能力，揭示其在事故原因、类型和可预防性理解上的不足。
2025-07-22 cs.CV
Towards Spatial Audio Understanding via Question Answering
Audio Research Group, Tampere University, Tampere, Finland（塔尔皮奥大学音频研究组）
本文提出基于问答范式的一阶环绕声空间音频理解框架，构建了STARSS23的细粒度文本描述与QA数据集，并开发基线模型，仅用场景级监督即取得与帧级监督SELD模型相当的性能。
2025-07-12 cs.SD eess.AS
AGQA: A Benchmark for Compositional Spatio-Temporal Reasoning
University of Pennsylvania（宾夕法尼亚大学）；Stanford University（斯坦福大学）
视觉事件是一个时间动作的组合，涉及空间上与对象交互的演员。在开发能够推理组合时空事件的计算机视觉模型时，我们需要能够分析进展并发现缺点的基准。现有的视频问答基准测试是有用的，但它们往往将多个错误来源合并到一个准确性度量中，并且具有模型可以利用的强烈偏见，因此很难查明模型的弱点。我们提出了行动基因组问答（AGQA），一个新的基准组合时空推理。AGQA包含$9.6K$视频的$192M$不平衡问题答案对。我们还提供了一个平衡的子集的$3.9M$问题答案对，$3$数量级大于现有的基准，最大限度地减少偏见，通过平衡的答案分布和类型的问题结构。虽然人类评估者将我们的问题-答案对中的$86.02\%$标记为正确，但最好的模型只能达到$47.74\%$的准确性。此外，AGQA还引入了多个训练/测试分割来测试各种推理能力，包括对新组合、间接引用和更多组合步骤的概括。使用AGQA，我们评估了现代视觉推理系统，证明了最好的模型几乎没有比利用语言偏见的非视觉基线更好的表现，并且现有的模型都没有推广到训练过程中看不到的新成分。
2021-03-30 cs.CL cs.CV
