Something-Else: Compositional Action Recognition with Spatial-Temporal Interaction Networks
University of Oxford(牛津大学);TwentyBN;UC Berkeley(加州大学伯克利分校);Tel Aviv University(特拉维夫大学)
人类的动作是自然合成的:人类可以很容易地识别和执行与训练演示中使用的对象不同的动作。在本文中,我们通过观察主体与客体之间的相互作用来研究动作的组合性。我们提出了一个新的模型,可以明确的原因组成对象和代理执行一个动作之间的几何关系。为了训练我们的模型,我们在Something-Something数据集上收集密集的对象框注释。我们提出了一种新的成分动作识别任务,其中动词和名词的训练组合不与测试集重叠。我们的模型的新颖的方面是适用于活动与突出的对象交互动态和对象,可以跟踪使用国家的最先进的方法;对于活动没有明确定义的空间对象代理的相互作用,我们依赖于基线场景级的时空表示。我们表明,我们的方法的有效性,不仅在建议的组成动作识别任务,但也在一个Few-Shot组成设置,需要模型概括在对象外观和动作类别。
2020-09-12 cs.CV
Revisiting spatio-temporal layouts for compositional action recognition
KU Leuven(鲁汶大学)
识别人类行为从根本上说是一个时空推理问题,并且至少在某种程度上应该对所涉及的人类和对象的外观保持不变。出于这个假设,在这项工作中,我们采取以对象为中心的方法来识别动作。之前有多项工作研究了这种设置,但仍不清楚(i)精心制作的基于时空布局的方法可以识别人类行为的程度,以及(ii)如何以及何时融合来自布局和外观模型的信息。本文的主要焦点是组合/Few-Shot动作识别,其中我们提倡在时空布局上使用多头注意力(已被证明对空间推理有效),即,对象边界框的配置。我们评估不同的方案,以注入视频外观信息的系统,并基准我们的方法对背景杂乱的动作识别。在Something-Else和Action Genome数据集上,我们演示了(i)如何扩展多头注意力用于基于时空布局的动作识别,(ii)如何通过与基于布局的模型融合来提高基于外观的模型的性能,(iii)即使在非合成背景杂乱的视频数据集上,基于布局和基于外观的模型之间的融合也提高了性能。
2021-11-02 cs.CV
Inferring Temporal Compositions of Actions Using Probabilistic Automata
The Australian e-Health Research Centre, CSIRO(澳大利亚联邦科学与工业研究组织(CSIRO)澳大利亚电子健康研究中心);Australian Centre for Robotic Vision (ACRV), Australian National University(澳大利亚国立大学澳大利亚机器人视觉中心(ACRV));Mitsubishi Electric Research Labs (MERL)(三菱电机研究实验室(MERL));A*AI, A*STAR(新加坡科技研究局(A*STAR)A*AI)
本文提出了一个框架来识别视频中原子动作的时间组成。具体来说,我们建议表达时间组成的动作作为语义正则表达式,并推导出一个推理框架,使用概率自动机来识别复杂的动作,满足这些表达式的输入视频功能。我们的方法是从现有的作品,无论是预测长期复杂的活动,无序的原子动作集,或检索视频使用自然语言句子不同。相反,所提出的方法允许仅使用预先训练的动作分类器来识别复杂的细粒度活动,而不需要任何额外的数据、注释或神经网络训练。为了评估我们的方法的潜力,我们提供了合成数据集和具有挑战性的真实动作识别数据集,如MultiTHUMOS和Charades的实验。我们的结论是,所提出的方法可以扩展国家的最先进的原始动作分类器,大大更复杂的活动,没有大的性能下降。
2020-04-28 cs.CV
STAT: Towards Generalizable Temporal Action Localization
University of Electronic Science and Technology of China(电子科技大学);University of Science and Technology Beijing(北京科技大学);University at Buffalo(布法罗大学)
针对弱监督时序动作定位跨分布泛化能力差的问题,提出GTAL任务及基于教师-学生结构的STAT方法,通过优化和对齐模块适应不同动作尺度,在跨分布评估下显著提升性能。
2024-04-20 cs.CV
Action Genome: Actions as Composition of Spatio-temporal Scene Graphs
Stanford University(斯坦福大学)
动作识别通常将动作和活动视为视频中发生的单一事件。然而,来自认知科学和神经科学的证据表明,人们积极地将活动编码为一致的分层部分结构。然而,在计算机视觉中,很少有探索的表示编码的事件partonomies已经取得。受事件的原型单位是一个动作-对象交互的证据的启发,我们引入动作基因组,一种将动作分解成时空场景图的表示。动作基因组捕获动作发生时对象之间的变化及其成对关系。它包含10 K视频,其中包含0.4M对象和1.7M视觉关系注释。与动作基因组,我们扩展了现有的动作识别模型,将场景图作为时空特征银行,以实现更好的性能上的字谜数据集。接下来,通过分解和学习的视觉关系,导致在一个动作的时间变化,我们证明了一个分层的事件分解的效用,使Few-Shot动作识别,实现42.7%的mAP使用少至10个例子。最后,我们基准现有的场景图模型的时空场景图预测的新任务。
2019-12-15 cs.CV
Reliable Egocentric Action Anticipation via Temporal Reliability Suppression and Compositional Graph Decoding
University of Exeter(埃克塞特大学)
针对可穿戴动作预测在时间损坏下的可靠性问题,提出结合时间可靠性抑制与鲁棒动词-名词图解码的轻量框架,显著提升损坏准确率与鲁棒性并减少稀有组合预测。
2026-09-15 cs.CV
Modelling Spatio-Temporal Interactions For Compositional Action Recognition
Centre for Frontier AI Research(前沿人工智能研究中心);Institute of High Performance Computing(高性能计算研究所)
本文面向组合式动作识别,提出融合逐帧手物细粒度交互、长程时空交互及全局运动信息的 token 建模方法,并在 Something-Else 上取得最优性能。
2024-09-19 cs.CV
CATER: A diagnostic dataset for Compositional Actions and TEmporal Reasoning
Carnegie Mellon University(卡内基梅隆大学);Argo AI
计算机视觉在性能上经历了一场戏剧性的革命,这在很大程度上是由在大规模监督数据集上训练的深度特征驱动的。然而,这些改进大多集中在静态图像分析上;视频理解的改进相当有限。即使已经提出了新的数据集和时空模型,简单的逐帧分类方法通常仍然具有竞争力。我们认为,目前的视频数据集受到场景和对象结构的隐含偏见的困扰,这可能会使时间结构的变化相形见绌。在这项工作中,我们建立了一个视频数据集,具有完全可观察和可控的对象和场景偏差,并且真正需要时空理解才能解决。我们的数据集,名为CATER,综合使用标准的3D对象库,并测试识别需要长期推理的对象运动组合的能力。除了是一个具有挑战性的数据集,CATER还提供了大量的诊断工具,通过完全可观察和可控制来分析现代时空视频架构。使用CATER,我们可以深入了解一些最新的最先进的深度视频架构。
2020-04-05 cs.CV
VideoComposer: Compositional Video Synthesis with Motion Controllability
Alibaba Group(阿里巴巴集团);Ant Group(蚂蚁集团)
本文提出组合式视频生成框架 VideoComposer,通过压缩视频运动向量与统一的 STC-encoder 融合文本、空间和时间条件,实现高帧间一致性的多形式运动可控视频合成。
2023-06-06 cs.CV
EgoAction: Egocentric Action Composition with Reliability-Aware Temporal Fusion for the EPIC-KITCHENS Action Detection Challenge at CVPR 2026
Shandong University(山东大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
提出 EgoAction 统一解耦检测与融合流水线,通过动态加权融合(DWF)自适应组合动词和名词检测流,解决自我中心视频中动作边界定位的可靠性问题。
2026-06-04 cs.CV
TVTA: Trajectory-Aware Viseme-Guided Temporal Aggregation for Event-Based Lip Reading
Harbin Institute of Technology(哈尔滨工业大学)
针对基于事件唇读方法的局限,提出时间增强框架,引入轨迹感知差分聚合、视素引导聚合及指数移动平均师生训练策略,在DVS-Lip基准上验证有效性,消融研究验证各部分贡献,定性结果表明学到有意义视素感知结构。
2026-07-10 cs.CV
AGQA: A Benchmark for Compositional Spatio-Temporal Reasoning
University of Pennsylvania(宾夕法尼亚大学);Stanford University(斯坦福大学)
视觉事件是一个时间动作的组合,涉及空间上与对象交互的演员。在开发能够推理组合时空事件的计算机视觉模型时,我们需要能够分析进展并发现缺点的基准。现有的视频问答基准测试是有用的,但它们往往将多个错误来源合并到一个准确性度量中,并且具有模型可以利用的强烈偏见,因此很难查明模型的弱点。我们提出了行动基因组问答(AGQA),一个新的基准组合时空推理。AGQA包含$9.6K$视频的$192M$不平衡问题答案对。我们还提供了一个平衡的子集的$3.9M$问题答案对,$3$数量级大于现有的基准,最大限度地减少偏见,通过平衡的答案分布和类型的问题结构。虽然人类评估者将我们的问题-答案对中的$86.02\%$标记为正确,但最好的模型只能达到$47.74\%$的准确性。此外,AGQA还引入了多个训练/测试分割来测试各种推理能力,包括对新组合、间接引用和更多组合步骤的概括。使用AGQA,我们评估了现代视觉推理系统,证明了最好的模型几乎没有比利用语言偏见的非视觉基线更好的表现,并且现有的模型都没有推广到训练过程中看不到的新成分。
2021-03-30 cs.CL cs.CV
Inferring Compositional 4D Scenes without Ever Seeing One
INSAIT, Sofia University “St. Kliment Ohridski”(INSAIT,索非亚大学“圣克莱门特·奥赫里德斯基”)
COM4D通过设计空间和时间注意力训练,仅用静态多物体或动态单物体监督,一致预测4D/3D对象的结构和时空配置,无需4D组合训练数据,实现从单目视频重建完整持久的4D场景。
2026-03-25 cs.CV
TEA: Temporal Adaptive Satellite Image Semantic Segmentation
Institute of Computing Technology, Chinese Academy of Sciences(计算技术研究所,中国科学院)
TEA提出一种时间自适应的卫星图像语义分割方法,通过教师-学生模型和全序列重建提升模型在不同时间长度下的分割性能。
2026-01-08 cs.CV
Why Can't I Open My Drawer? Mitigating Object-Driven Shortcuts in Zero-Shot Compositional Action Recognition
Kyung Hee University(庆熙大学);NAVER Cloud(NAVER云)
本文针对零样本组合动作识别中对象驱动的快捷方式问题,提出RCORE方法,通过引入共现先验正则化和时间顺序正则化提升组合泛化能力。
2026-07-03 cs.AI cs.CV
Towards Smooth Video Composition
The Chinese University of Hong Kong(香港中文大学);Shanghai AI Laboratory(上海人工智能实验室);Ant Group(蚂蚁集团);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
视频生成需要随着时间的推移合成具有动态内容的一致且持久的帧。这项工作研究了使用生成对抗网络(GANs)构建任意长度(从几帧到无限长)视频的时间关系。首先,对组成相邻帧,我们表明,单图像生成的无混叠操作,加上充分的预先学习的知识,带来了平稳的帧过渡,而不影响每帧的质量。其次,通过将时间移位模块(TSM),最初设计用于视频理解,到的同步,我们设法推进生成器在合成更一致的动态。第三,我们开发了一种新的基于B样条的运动表示,以确保时间平滑,实现无限长的视频生成。它可以超出训练中使用的帧数。还提出了一种低秩时间调制,以减轻长视频生成的重复内容。我们在各种数据集上评估了我们的方法,并在视频生成基线上显示了实质性的改进。代码和模型将在https://genforce.github.io/StyleSV上公开。
2022-12-14 cs.CV
What Do Verifiable Rewards Teach Video-Language Models About Time? A Controlled Multi-Model Study
University of Colorado Boulder(科罗拉多大学博尔德分校)
本研究通过多模型受控实验发现,可验证奖励训练虽提升视频问答基准准确率,但增益多源于非视觉线索,且不带来时序理解,混合真实视频可防止域外退化。
2026-11-17 cs.CV
VideoComp: Advancing Fine-Grained Compositional and Temporal Alignment in Video-Text Models
Google DeepMind(谷歌DeepMind)
本文提出 VideoComp 基准与学习框架,通过构建多事件视频组合性基准和分层成对偏好损失,提升视频-文本模型在细粒度时序对齐上的能力。
2025-04-10 cs.AI cs.CL cs.CV
ST-CoNAL: Consistency-Based Acquisition Criterion Using Temporal Self-Ensemble for Active Learning
Hanyang University(汉阳大学)
现代深度学习在各个领域都取得了巨大的成功。然而,它需要标记大量的数据,这是昂贵的和劳动密集型的。主动学习(AL),它识别最具信息量的样本进行标记,变得越来越重要,以最大限度地提高训练过程的效率。现有的人工智能方法大多使用单一的最终固定模型来获取待标记样本。这种策略可能不够好,因为没有考虑给定训练数据的模型的结构不确定性来获取样本。在这项研究中,我们提出了一种新的收购标准的基础上产生的传统的随机梯度下降(SGD)优化的时间自集成。这些自集成模型通过捕获通过SGD迭代获得的中间网络权重来获得。我们的采集功能依赖于学生和教师模型之间的一致性测量。学生模型被赋予固定数量的时间自集成模型,教师模型通过平均学生模型的权重来构造。使用建议的收购标准,我们提出了一个AL算法,即学生-教师一致性为基础的AL(ST-CoNAL)。在CIFAR-10、CIFAR-100、Caltech-256和Tiny ImageNet数据集上对图像分类任务进行的实验表明,所提出的ST-CoNAL比现有的采集方法具有更好的性能。此外,大量的实验表明,我们的方法的鲁棒性和有效性。
2022-10-16 cs.CV cs.LG
VideoGuide: Improving Video Diffusion Models without Training Through a Teacher's Guide
Kim Jaechul Graduate School of AI, KAIST(KAIST 金在哲人工智能研究生院)
针对文本到视频生成时序一致性难保障、现有改进方法存在画质下降等权衡问题,该研究提出无需训练的VideoGuide框架,通过推理早期引入引导模型的去噪样本插值,显著提升时序一致性与图像保真度,还可实现先验蒸馏增强文本连贯性。
2024-12-08 cs.AI cs.CV cs.LG
CamChoreo: Benchmarking Temporally Grounded Compositional Camera Motion Understanding for Vision Language Models
The Hong Kong University of Science and Technology(香港科技大学);Tencent(腾讯)
本研究提出CamDistill方法,通过几何知识蒸馏实现时序锚定的组合式相机运动理解,推出含4229个片段的CamChoreo基准,提升了相机运动识别的细粒度与效率。
2026-11-13 cs.AI cs.CV
Recognition of Visually Perceived Compositional Human Actions by Multiple Spatio-Temporal Scales Recurrent Neural Networks
Korea Institute of Science and Technology(韩国科学技术院);Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
本文提出了一种新的神经网络模型,用于识别视觉感知的人类行为。在传统的卷积神经网络模型基础上引入多时间尺度递归动力学,提出了多时空尺度递归神经网络(MSTRNN)模型。MSTRNN的一个基本特征是其结构同时对不同层之间在多个尺度上变化的神经活动施加空间和时间约束。根据向上和向下因果关系原理,假设网络在学习过程中可以利用这些约束来发展有意义的结构,如功能层次结构。为了评估模型的特性,本研究使用了三种类型的人类动作视频数据集,包括不同类型的原始动作和不同层次的组合性。将MSTRNN在使用这些数据集进行测试时的性能与该领域使用的其他代表性深度学习模型的性能进行比较。通过对数据集的学习获得的内部表示的分析阐明了通过提取数据集底层的基本组成性可以开发什么样的功能层次结构。
2017-02-22 cs.AI cs.CV cs.LG
You Only Teach Once: Learn One-Shot Bimanual Robotic Manipulation from Video Demonstrations
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Harbin Institute of Technology, Weihai(哈尔滨工业大学(威海));DexForce, Shenzhen(深圳DexForce)
针对双臂机器人操作挑战,提出YOTO框架,从单次双目视频演示中提取动作模式并生成多样化训练数据,学习定制化双臂扩散策略,在5个复杂任务中实现高精度与强泛化。
2025-04-27 cs.CV cs.RO
ChronoStitch: Training-Free Composition of Visual KV Memories for Long-Horizon Temporal Reasoning
KGraph AI Solutions Pvt. Ltd.(KGraph人工智能解决方案私人有限公司)
针对长视频问答中视觉KV记忆组合问题,ChronoStitch提出免训练方法,先将键值重基于全局坐标系,解决几何不一致问题,再处理残余内容差距,通过选择性重新计算部分视觉令牌,提升事件排序准确性且运行速度更快。
2026-07-23 cs.CV eess.IV
TC-Bench: Benchmarking Temporal Compositionality in Text-to-Video and Image-to-Video Generation
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);University of Waterloo(滑铁卢大学)
本文提出 TC-Bench 基准,通过状态化提示、对齐真实视频与新指标评估文生视频和图生视频的时间组合性,发现现有模型仅能完成不足 20% 的组合变化。
2024-06-12 cs.AI cs.CL cs.CV
Generation of Complex 3D Human Motion by Temporal and Spatial Composition of Diffusion Models
Florence University(佛罗伦萨大学)
针对训练阶段未见过的复杂3D人体动作生成难题,提出利用GPTs知识分解复杂动作、结合扩散模型时空重组简单动作的推理阶段方法,可适配任意预训练扩散模型,在基准数据集上性能优于现有最优方法。
2024-09-18 cs.CV cs.LG
Seeing in the Dark: A Teacher-Student Framework for Dark Video Action Recognition via Knowledge Distillation and Contrastive Learning
School of Information Technology, Monash University, Malaysia;Faculty of Information Technology, Monash University, Australia;Robotics \& Autonomous Systems Lab, TCS Research, India;Dept of Electrical Engineering, University of Malaya, Malaysia
针对低光视频动作识别,提出 ActLumos 师生框架,通过 DFF、SupCon、自监督预训练与知识蒸馏,将多流能力压缩为单流推理并取得最先进结果。
2025-10-19 cs.AI cs.CV cs.HC
Understanding and Mitigating the Video-Action Generalization Gap via Temporal Ratio
Georgia Tech(佐治亚理工学院);Amazon FAR(亚马逊FAR)
研究视频动作泛化差距,引入时间比率(TR),通过TR衡量动作头对未来潜在展开的依赖程度,提出推理时自适应引导方法,利用TR特性缓解组合泛化差距。
2026-07-10 cs.CV cs.RO
AI Powered High Quality Text to Video Generation with Enhanced Temporal Consistency
Microsoft(微软)
针对文本到视频生成中的时间一致性和细粒度控制问题,提出MOVAI分层框架,通过组合场景解析器、时间-空间注意力机制和渐进式视频精修模块,在多项指标上实现最先进性能。
2025-10-30 cs.AI cs.CV cs.IR