Modelling Spatio-Temporal Interactions For Compositional Action Recognition
Centre for Frontier AI Research（前沿人工智能研究中心）；Institute of High Performance Computing（高性能计算研究所）
本文面向组合式动作识别，提出融合逐帧手物细粒度交互、长程时空交互及全局运动信息的 token 建模方法，并在 Something-Else 上取得最优性能。
2024-09-19 cs.CV
Learning Latent Spatio-Temporal Compositional Model for Human Action Recognition
Sun Yat-Sen University（中山大学）；IBM Research（IBM研究院）
动作识别是多媒体理解中的一个重要问题。本文通过建立一个表达性的组合动作模型来解决这个问题。我们在视频中的一个动作实例建模与合奏的时空组成：一些离散的时间锚帧，其中每一个被进一步分解到一个布局的可变形部分。通过这种方式，我们的模型可以识别时空与或图（STAOG）来表示动作的潜在结构，例如三级跳远，摇摆和跳高。STAOG模型包括四层：（i）底部的一批叶节点，用于检测视频补丁内的各种动作部分;（ii）底部的或节点，即开关变量，以激活它们的子叶节点用于结构可变性;（iii）锚定帧内的与节点，用于验证空间组成;以及（iv）顶部的根节点，用于聚合时间锚定帧上的分数。此外，上下文之间的相互作用被定义在空间和时间域的叶节点。对于模型训练，我们开发了一种新的弱监督学习算法，该算法迭代地确定结构配置（例如，与或节点相关联的叶节点的产生）以及多层参数的优化。通过充分利用时空组合和相互作用，我们的方法很好地处理大的类内动作方差（例如，不同的视图，个人外观，时空结构）。具有挑战性的数据库上的实验结果表明，我们的方法优于其他竞争方法的性能。
2015-02-01 cs.CV
STEP: Enhancing Video-LLMs' Compositional Reasoning by Spatio-Temporal Graph-guided Self-Training
Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）
本文提出STEP方法，利用时空场景图引导视频大语言模型自生成推理数据，通过思维链监督提升多步组合推理能力，实验显示在复杂推理任务上提升21.3%。
2025-03-30 cs.CV cs.LG
STPro: Spatial and Temporal Progressive Learning for Weakly Supervised Spatio-Temporal Grounding
BITS Pilani（毕拉尼理工学院）；University of Central Florida（中佛罗里达大学）
本文针对弱监督时空视频定位任务提出STPro渐进式学习框架，通过子动作时间课程学习与拥挤度引导空间课程学习两个模块，有效解决了组合动作理解与复杂场景适应问题，在多个基准数据集上取得最优性能。
2025-04-05 cs.CV
Dense but Efficient VideoQA for Intricate Compositional Reasoning
Kakao Brain；Hanyang University（汉阳大学）
众所周知，大多数传统的视频问答（VideoQA）数据集由需要简单推理过程的简单问题组成。然而，长视频不可避免地包含复杂的组合语义结构以及时空轴，这需要一个模型来理解视频中固有的组合结构。在本文中，我们提出了一种新的组合视频问答方法的基础上Transformer架构与变形注意力机制，以解决复杂的视频问答任务。引入可变形注意力，从密集的视觉特征图中采样信息丰富的视觉特征子集，以有效地覆盖时间上长范围的帧。此外，复杂问句中的依存结构也与语言嵌入相结合，以便于理解疑问词之间的关系。大量的实验和烧蚀研究表明，建议的密集，但有效的模型优于其他基线。
2022-10-19 cs.CV
Something-Else: Compositional Action Recognition with Spatial-Temporal Interaction Networks
University of Oxford（牛津大学）；TwentyBN；UC Berkeley（加州大学伯克利分校）；Tel Aviv University（特拉维夫大学）
人类的动作是自然合成的：人类可以很容易地识别和执行与训练演示中使用的对象不同的动作。在本文中，我们通过观察主体与客体之间的相互作用来研究动作的组合性。我们提出了一个新的模型，可以明确的原因组成对象和代理执行一个动作之间的几何关系。为了训练我们的模型，我们在Something-Something数据集上收集密集的对象框注释。我们提出了一种新的成分动作识别任务，其中动词和名词的训练组合不与测试集重叠。我们的模型的新颖的方面是适用于活动与突出的对象交互动态和对象，可以跟踪使用国家的最先进的方法;对于活动没有明确定义的空间对象代理的相互作用，我们依赖于基线场景级的时空表示。我们表明，我们的方法的有效性，不仅在建议的组成动作识别任务，但也在一个Few-Shot组成设置，需要模型概括在对象外观和动作类别。
2020-09-12 cs.CV
GHR-VQA: Graph-guided Hierarchical Relational Reasoning for Video Question Answering
School of ECE National Technical University of Athens（国家技术大学雅典电子工程学院）；Robotics Institute Athena Research Center（雅典研究中心机器人研究所）；University of Luxembourg（卢森堡大学）
GHR-VQA通过图引导的层次关系推理框架，利用场景图捕捉视频中的人-物交互，提升视频问答任务的性能。
2025-11-25 cs.CV
CoTasks: Chain-of-Thought based Video Instruction Tuning Tasks
KDDI Research, Inc.（KDDI研究公司）
CoTasks框架通过将复杂视频问题分解为帧定位、实体跟踪、时空关系提取四类基础任务，以CoT式结构化监督提升视频大语言模型的组合推理能力，在NeXT-QA上显著提高多个模型的推理性能。
2025-07-18 cs.CL cs.CV
RAVU: Retrieval Augmented Video Understanding with Compositional Reasoning over Graph
Fujitsu Research of India Private Limited（日本富士通印度研究私有限公司）
RAVU提出通过时空图构建视频长期记忆，并将查询分解为组合推理步骤进行检索增强，从而在仅使用5-10帧的情况下显著提升长视频多跳推理与对象跟踪的问答性能。
2025-05-06 cs.AI cs.CV
Eyes on the Road: State-of-the-Art Video Question Answering Models Assessment for Traffic Monitoring Tasks
Arizona State University（亚利桑那州立大学）
本文利用GPT-4o在合成与真实交通视频上评估多种VideoQA模型，发现VideoLLaMA-2准确率最高但仍受限于多目标跟踪与时序推理。
2024-12-02 cs.CV
Learning Compositional Spatio-Temporal Video Grounding with Synthetic Curriculum
Monash University（莫纳什大学）；Southeast University（东南大学）；Shanghai University of Electric Power（上海电力大学）
本文针对现有时空视频定位模型忽略组合式查询的问题，提出CompSTVG任务，构建合成数据引擎与STVG-CompBench基准，引入CurrSTVG框架提升模型在组合式查询上的性能。
2026-09-01 cs.CV
Hierarchical Conditional Relation Networks for Multimodal Video Question Answering
Applied AI Institute（应用人工智能研究院）；Deakin University（迪肯大学）
视频QA在多个方面挑战建模人员。视频建模不仅需要建立动态视觉通道的时空模型，还需要建立相关信息通道（如字幕或音频）的多模态结构。视频QA至少增加了两层复杂性-在语言查询的上下文中为每个通道选择相关内容，并响应于查询组成时空概念和关系。为了满足这些要求，我们从两个方面开始：（a）内容选择和关系构建可以共同封装到一个条件计算结构中，以及（b）视频长度结构可以分层组成。对于（a），本文介绍了一种称为条件关系网络（CRN）的通用可重用神经单元，它将一组张量对象作为输入，并转换为一组新的对象，这些对象对输入的关系进行编码。CRN的通用设计有助于简化视频QA的常见复杂模型构建过程，通过简单的块堆叠，灵活地适应两个不同领域的输入方式和条件功能。因此，我们通过引入用于视频QA的分层条件关系网络（HCRN）来实现洞察（b）。HCRN的主要目的是利用视频的视觉内容的内在属性及其伴随的频道的组合性，层次结构，以及近和远的长期关系。然后，HCRN以两种形式应用于视频QA，其中答案仅从视觉内容中推理的短形式，以及呈现相关信息（例如字幕）的长形式。我们严格的评估表明，在经过充分研究的基准测试（包括TGIF-QA和TVQA等大规模真实世界数据集）上，SOTA得到了一致的改进，证明了我们的CRN单元和HCRN在视频QA等复杂领域的强大能力。
2021-01-03 cs.AI cs.CV
Unleashing Hierarchical Reasoning: An LLM-Driven Framework for Training-Free Referring Video Object Segmentation
提出免训练框架PARSE-VOS，利用LLM进行层次化粗到细推理，通过解析查询、时空定位和两阶段识别，在三个基准上达到最先进性能。
2025-09-06 cs.AI cs.CV
Recognition of Visually Perceived Compositional Human Actions by Multiple Spatio-Temporal Scales Recurrent Neural Networks
Korea Institute of Science and Technology（韩国科学技术院）；Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
本文提出了一种新的神经网络模型，用于识别视觉感知的人类行为。在传统的卷积神经网络模型基础上引入多时间尺度递归动力学，提出了多时空尺度递归神经网络（MSTRNN）模型。MSTRNN的一个基本特征是其结构同时对不同层之间在多个尺度上变化的神经活动施加空间和时间约束。根据向上和向下因果关系原理，假设网络在学习过程中可以利用这些约束来发展有意义的结构，如功能层次结构。为了评估模型的特性，本研究使用了三种类型的人类动作视频数据集，包括不同类型的原始动作和不同层次的组合性。将MSTRNN在使用这些数据集进行测试时的性能与该领域使用的其他代表性深度学习模型的性能进行比较。通过对数据集的学习获得的内部表示的分析阐明了通过提取数据集底层的基本组成性可以开发什么样的功能层次结构。
2017-02-22 cs.AI cs.CV cs.LG
Compositional Semantics for Open Vocabulary Spatio-semantic Representations
Graduate School of Informatics, Nagoya University（名古屋大学信息学研究科）；Ludolab；TIER IV
提出潜在组合语义嵌入z*作为可查询时空语义记忆的知识表示，证明其存在性、最优性及可发现性，并引入充分相似性推理方法提升重叠语义推理性能。
2026-05-22 cs.CV cs.LG
TimeBlind: A Spatio-Temporal Compositionality Benchmark for Video LLMs
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University of Pittsburgh（匹兹堡大学）；Carnegie Mellon University（卡内基梅隆大学）
TimeBlind通过细粒度时空理解基准揭示视频大语言模型对时间动态理解的不足，展示其在实例准确率上的显著劣势，强调对静态视觉捷径的依赖。
2026-09-09 cs.AI cs.CV
CATER: A diagnostic dataset for Compositional Actions and TEmporal Reasoning
Carnegie Mellon University（卡内基梅隆大学）；Argo AI
计算机视觉在性能上经历了一场戏剧性的革命，这在很大程度上是由在大规模监督数据集上训练的深度特征驱动的。然而，这些改进大多集中在静态图像分析上;视频理解的改进相当有限。即使已经提出了新的数据集和时空模型，简单的逐帧分类方法通常仍然具有竞争力。我们认为，目前的视频数据集受到场景和对象结构的隐含偏见的困扰，这可能会使时间结构的变化相形见绌。在这项工作中，我们建立了一个视频数据集，具有完全可观察和可控的对象和场景偏差，并且真正需要时空理解才能解决。我们的数据集，名为CATER，综合使用标准的3D对象库，并测试识别需要长期推理的对象运动组合的能力。除了是一个具有挑战性的数据集，CATER还提供了大量的诊断工具，通过完全可观察和可控制来分析现代时空视频架构。使用CATER，我们可以深入了解一些最新的最先进的深度视频架构。
2020-04-05 cs.CV
Inferring Compositional 4D Scenes without Ever Seeing One
INSAIT, Sofia University “St. Kliment Ohridski”（INSAIT，索非亚大学“圣克莱门特·奥赫里德斯基”）
COM4D通过设计空间和时间注意力训练，仅用静态多物体或动态单物体监督，一致预测4D/3D对象的结构和时空配置，无需4D组合训练数据，实现从单目视频重建完整持久的4D场景。
2026-03-25 cs.CV
Learning to Reason Iteratively and Parallelly for Complex Visual Reasoning Scenarios
Carnegie Mellon University（卡内基梅隆大学）；IHPC, A*STAR（新加坡科技研究局资讯通信研究院）；Centre for Frontier AI Research, A*STAR（新加坡科技研究局前沿人工智能研究中心）
本文提出全神经迭代与并行推理机制IPRM，通过结合逐步组合推理与并行路径探索，以轻量可微模块提升复杂视觉问答性能，并在多个图像与视频VQA基准上优于现有方法。
2024-11-20 cs.AI cs.CV cs.LG
HECTOR: Hybrid Editable Compositional Object References for Video Generation
HECTOR通过混合可编辑组合对象引用，实现了视频生成中对复杂时空约束的高保真度满足和运动可控性提升。
2026-03-09 cs.CV
Plan-and-Verify Video Reward Reasoning with Spatio-Temporal Scene Graph Grounding
Korea University（高丽大学）
提出SG-PVR视频奖励模型，通过计划-验证推理和时空场景图，系统验证提示中的每个条件，实现细粒度语义对齐，提升文本到视频生成的组合对齐。
2026-09-29 cs.CV
VideoComposer: Compositional Video Synthesis with Motion Controllability
Alibaba Group（阿里巴巴集团）；Ant Group（蚂蚁集团）
本文提出组合式视频生成框架 VideoComposer，通过压缩视频运动向量与统一的 STC-encoder 融合文本、空间和时间条件，实现高帧间一致性的多形式运动可控视频合成。
2023-06-06 cs.CV
STARCaster: Spatio-Temporal AutoRegressive Video Diffusion for Identity- and View-Aware Talking Portraits
Imperial College London, UK（伦敦帝国理工学院）；FAU Erlangen–Nürnberg, Germany（埃朗根-纽伦堡大学）
研究提出STARCaster模型，通过重新思考参考和几何范式，采用组合方法及解耦学习，解决语音驱动肖像动画和动态视点控制问题，能有效泛化，超越先前方法。
2026-07-21 cs.CV
VGIF-Score: Interpretable and Diagnostic Evaluation of Spatio-Temporal Instruction Following in Video Generation
Beijing University of Posts and Telecommunications（北京邮电大学）；China Telecommunications Group Co., Ltd.（中国电信集团有限公司）
研究视频生成模型遵循长指令能力评估不足问题，提出VGIF-Score框架，含客观完成和主观满意度分支，能生成统一分数，在VGIF-Bench基准实验中对视频生成指令跟随提供可靠、可解释及有诊断作用的评估。
2026-07-16 cs.CV
CoVEBench: Can Video Editing Models Handle Complex Instructions?
Nanjing University（南京大学）；Kuaishou Technology（快手科技）
提出CoVEBench基准，包含416个源视频和626条多点编辑指令，通过MLLM评估指令遵循度和保真度，揭示当前模型在组合编辑中常遗漏编辑或破坏保留约束。
2026-06-11 cs.AI cs.CV
SVAG-Bench: A Large-Scale Benchmark for Multi-Instance Spatio-temporal Video Action Grounding
LMU Munich（慕尼黑大学）；MCML；Technical University of Munich（慕尼黑技术大学）；University of Zurich（苏黎世大学）；University of Oxford（牛津大学）；Amazon（亚马逊）；NVIDIA（英伟达）
SVAG-Bench通过多实例整合任务，评估模型在复杂场景中对动作的时空定位能力，包含688个视频和19590个注释，支持细粒度评估多主体歧义消除和动作组合性。
2026-05-14 cs.CV
Can Image Models Imagine Time? ImageTime: A Novel Benchmark for Probing Visual World Modeling Through Spatiotemporal Consistency
University of Science and Technology of China（中国科学技术大学）
提出ImageTime基准，通过四关键帧协议（初始状态、动作开始、过渡状态、最终状态）评估图像生成模型在时空一致性上的表现，揭示模型在维持连贯视觉世界状态方面的能力与不足。
2026-06-09 cs.AI cs.CV
CLiViS: Unleashing Cognitive Map through Linguistic-Visual Synergy for Embodied Visual Reasoning
School of Computer Science and Technology, East China Normal University（东华大学计算机科学与技术学院）；King Abdullah University of Science and Technology（科廷大学）；Fudan University（复旦大学）
提出CLiViS框架，通过LLM进行高层任务规划并协调VLM驱动的开放世界视觉感知，构建动态认知地图以迭代更新场景上下文，实现无需训练的具身视觉推理。
2026-05-25 cs.AI cs.CL cs.CV
Imagine This! Scripts to Compositions to Videos
University of Washington（华盛顿大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
想象一个用自然语言描述的场景，具有实体的现实布局和外观，是对空间、视觉和语义世界知识的最终考验。为了实现这一目标，我们提出了组成，检索和融合网络（CRAFT），一个模型能够学习这些知识，从视频字幕数据和应用它，同时从新的字幕生成视频。CRAFT显式地预测所提到的实体（人物和对象）的时间布局，从视频数据库中检索时空实体片段并将它们融合以生成场景视频。我们的贡献包括CRAFT组件的顺序训练，同时联合建模布局和外观，以及鼓励学习组合表示检索的损失。我们评估CRAFT对标题的语义保真度，构图一致性和视觉质量。CRAFT优于直接像素生成方法，并且可以很好地推广到看不见的字幕和没有文本注释的看不见的视频数据库。我们展示了工艺上火石，一个新的丰富的注释视频字幕数据集超过25000个视频。有关CRAFT生成的视频的一瞥，请参见https://youtu.be/688Vv86n0z8。
2018-04-10 cs.CL cs.CV cs.IR
Look, Remember and Reason: Grounded reasoning in videos with language models
Qualcomm AI Research（高通人工智能研究院）
本文提出通过检测、重识别和跟踪等低层代理任务端到端训练语言模型，并以“观察、记忆、推理”流程提升视频因果与组合时空推理性能。
2024-01-22 cs.CV cs.LG
Long-term Recurrent Convolutional Networks for Visual Recognition and Description
UC Berkeley（加州大学伯克利分校）；International Computer Science Institute（国际计算机科学研究所）；UT Austin（德克萨斯大学奥斯汀分校）；UMass Lowell（马萨诸塞大学洛厄尔分校）
基于深度卷积网络的模型主导了最近的图像判读任务;我们研究了也是循环的或“时间深度”的模型是否对涉及序列、视觉和其他方面的任务有效。我们开发了一种新的递归卷积架构，适用于端到端可训练的大规模视觉学习，并展示了这些模型在基准视频识别任务、图像描述和检索问题以及视频叙事挑战上的价值。与假设固定的时空感受野或简单的时间平均用于顺序处理的当前模型相比，递归卷积模型是“双深”的，因为它们可以在空间和时间“层”中组合。当目标概念复杂和/或训练数据有限时，这样的模型可能具有优势。当非线性被纳入网络状态更新时，学习长期依赖性是可能的。长期RNN模型的吸引力在于它们可以直接映射可变长度的输入（例如，视频帧）到可变长度输出（例如，自然语言文本），并且可以对复杂的时间动态进行建模;然而，它们可以用反向传播进行优化。我们的周期性长期模型直接连接到现代视觉convnet模型，并且可以联合训练，以同时学习时间动态和卷积感知表示。我们的研究结果表明，这些模型具有明显的优势，国家的最先进的模型识别或生成的单独定义和/或优化。
2016-05-31 cs.CV
