The IKEA ASM Dataset: Understanding People Assembling Furniture through Actions, Objects and Pose
Australian National University(澳大利亚国立大学);Australian Centre for Robotic Vision (ACRV)(澳大利亚机器人视觉中心);University of Technology Sydney(悉尼科技大学)
为解决现有数据集在视角和标注上的局限,本文提出了包含三百万帧、多视角的家具组装视频数据集 IKEA ASM,涵盖深度、原子动作、物体分割和人体姿态,并对其动作识别等任务进行了基准测试,以推动多模态整体性方法的发展。
2023-05-17 cs.CV
Predicting Motivations of Actions by Leveraging Text
Massachusetts Institute of Technology(麻省理工学院);University of Maryland Baltimore County(马里兰大学巴尔的摩分校)
理解人类行为是计算机视觉的关键问题。然而,识别动作只是理解一个人在做什么的第一步。在本文中,我们介绍了预测为什么一个人在图像中执行了一个动作的问题。这个问题在人类活动理解中有许多应用,例如预测或解释一个动作。为了研究这个问题,我们引入了一个新的数据集的人执行的动作注释可能的动机。然而,仅图像中的信息可能不足以自动解决此任务。由于人类可以依靠他们一生的经验来推断动机,我们建议通过使用最近开发的自然语言模型来挖掘存储在大量文本中的知识,从而使计算机视觉系统能够访问其中的一些经验。虽然我们离完全理解动机还很远,但我们的研究结果表明,将知识从语言转移到视觉中可以帮助机器理解为什么图像中的人可能会执行某个动作。
2016-11-30 cs.CV
Keypoint-Integrated Instruction-Following Data Generation for Enhanced Human Pose and Action Understanding in Multimodal Models
Department of Informatics, Graduate School of Informatics and Engineering, The University of Electro-Communications(信息学院、信息与工程研究生院、电通通信大学)
本文提出将人体关键点与字幕、边界框等视觉特征集成以生成指令跟随数据,构建20万余样本数据集并建立HPAUB基准,微调LLaVA-1.5-7B后整体性能提升21.18%。
2025-06-02 cs.CV
Assembly101: A Large-Scale Multi-View Video Dataset for Understanding Procedural Activities
Meta Reality Labs Research(Meta现实实验室);National University of Singapore(新加坡国立大学)
Assembly101是一个新的程序性活动数据集,包含4321个视频,这些视频是人们组装和拆卸101个“可拆卸”玩具车的视频。参与者在没有固定指令的情况下工作,序列在动作顺序、错误和纠正方面具有丰富而自然的变化。Assembly101是第一个多视图动作数据集,同时具有静态(8)和自我中心(4)记录。序列注释有超过100K的粗粒度和1M的细粒度动作段,以及18M的3D手部姿势。我们基准三个动作理解任务:识别,预测和时间分割。此外,我们提出了一个新的任务检测错误。独特的记录格式和丰富的注释集使我们能够研究新玩具的泛化,跨视图传输,长尾分布以及姿势与外观。我们设想Assembly101将作为一个新的挑战,调查各种活动的理解问题。
2022-05-01 cs.CV
SportsCap: Monocular 3D Human Motion Capture and Fine-grained Understanding in Challenging Sports Videos
ShanghaiTech University(上海科技大学);Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences(中国科学院上海微系统与信息技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Huazhong University of Science and Technology(华中科技大学)
无标记运动捕获和理解专业非日常人类运动是一项重要但尚未解决的任务,其遭受复杂的运动模式和严重的自遮挡,特别是对于单目设置。在本文中,我们提出了SportsCap -第一种方法,同时捕捉三维人体运动和理解细粒度的动作,从单目具有挑战性的体育视频输入。我们的方法利用语义和时间结构的子运动之前的嵌入空间中的运动捕捉和理解中的数据驱动的多任务的方式。为了实现复杂运动模式下的鲁棒捕获,我们提出了一个有效的运动嵌入模块,通过相应的映射函数以及子运动分类器恢复隐式运动嵌入和显式3D运动细节。基于这样的混合运动信息,我们引入了一个多流时空图卷积网络(ST-GCN)来预测细粒度的语义动作属性,并采用一个语义属性映射块组装各种相关的动作属性到一个高层次的动作标签的整体详细的理解整个序列,从而使各种应用,如动作评估或运动评分。在公开数据集和我们提出的数据集上的综合实验表明,在具有挑战性的单目体育视频输入下,我们的新方法不仅显着提高了3D人体运动捕捉的准确性,而且还恢复了精确的细粒度语义动作属性。
2021-07-16 cs.CV
Event ActivityNet: A Large-Scale Simulated-Event Benchmark for Untrimmed Action Understanding
本文提出大规模模拟事件基准Event ActivityNet,解决长时序事件动作理解数据集不足的问题,建立基线并验证其预训练对原生事件微调的性能提升效果。
2026-08-04 cs.CV
NTU RGB+D 120: A Large-Scale Benchmark for 3D Human Activity Understanding
Nanyang Technological University(南洋理工大学);Chalmers University of Technology(查尔姆斯理工大学);Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室);Alibaba Group(阿里巴巴集团)
基于深度的人体活动分析的研究取得了出色的性能,并证明了3D表示的动作识别的有效性。现有的基于深度和基于RGB+ D的动作识别基准具有许多局限性,包括缺乏大规模训练样本,不同类别类别的实际数量,相机视图的多样性,各种环境条件以及各种人类主体。在这项工作中,我们介绍了一个用于RGB+D人体动作识别的大规模数据集,该数据集从106个不同的主题中收集,包含超过11.4万个视频样本和800万帧。该数据集包含120个不同的动作类,包括日常、相互和健康相关的活动。我们评估了一系列现有的3D活动分析方法在该数据集上的性能,并展示了将深度学习方法应用于基于3D的人类动作识别的优势。此外,我们研究了一个新的一次性3D活动识别问题,我们的数据集,并提出了一个简单而有效的部分语义相关性感知(APSR)框架,这产生了有前途的结果识别的新的动作类。我们相信,这个大规模数据集的引入将使社区能够应用、适应和开发各种数据饥渴的学习技术,用于基于深度和RGB+ D的人类活动理解。[The数据集可在以下网址获得:http://rose1.ntu.edu.sg/Datasets/actions.asp]
2019-06-10 cs.CV
Quo Vadis, Skeleton Action Recognition ?
IIIT Hyderabad(海得拉巴国际信息技术学院)
在本文中,我们研究了当前和即将到来的前沿景观的基于机器人的人类动作识别。为了研究野外的动作识别,我们引入了Skeletics-152,这是一个来自Kinetics-700(一个大规模动作数据集)的RGB视频的策划和3-D姿势注释子集。我们扩展我们的研究,包括上下文外的行动,通过引入mimeton-mimetics,一个数据集来自最近推出的Mimetics数据集。我们还介绍了Metaphorics,这是一个带有流行社交游戏Dumb Charades和解释性舞蹈表演的标题风格注释YouTube视频的数据集。我们在NTU-120数据集上对最先进的模型进行基准测试,并对结果进行多层次评估。在新引入的数据集上对NTU-120的最佳表现者进行基准测试的结果揭示了野外行动引起的挑战和领域差距。总的来说,我们的工作表征了现有方法和数据集的优势和局限性。通过引入的数据集,我们的工作为人类动作识别开辟了新的领域。
2021-04-07 cs.CV cs.GR cs.MM
TACO: Benchmarking Generalizable Bimanual Tool-ACtion-Object Understanding
Tsinghua University(清华大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Qi Zhi Institute(上海期智研究院);Beijing University of Posts and Telecommunications(北京邮电大学);Beijing Institute of Technology(北京理工大学)
本文构建了大规模双手手物交互数据集 TACO,并提出全自动数据采集流水线,对组合动作识别、手物运动预测和协作抓取合成等可泛化任务进行基准测试,揭示了手物运动分析与合成的新挑战与机遇。
2024-03-25 cs.CV
FEEL (Force-Enhanced Egocentric Learning): A Dataset for Physical Action Understanding
University of Maryland, College Park, USA(马里兰大学 College Park 分校)
FEEL数据集结合了自定义压阻手套收集的力测量与自我中心视频,通过力驱动物理交互,用于接触理解与动作表征学习,取得最佳分割结果并提升跨任务迁移性能。
2026-03-16 cs.CV cs.LG cs.RO
Diving Deeper Into Pedestrian Behavior Understanding: Intention Estimation, Action Prediction, and Event Risk Assessment
Huawei Technologies Canada(华为技术加拿大公司);York University(约克大学)
本文围绕行人行为理解,定义意图估计、动作预测和事件风险评估三个任务,并在 JAAD 和 PIE 数据集上构建新基准与三类指标,系统评估四个 SOTA 模型,揭示任务差异、模态作用及互补关系。
2024-06-29 cs.CV cs.RO
SynPick: A Dataset for Dynamic Bin Picking Scene Understanding
University of Bonn(波恩大学)
我们提出了SynPick,一个合成数据集的动态场景理解在装箱方案。与现有的数据集相比,我们的数据集既位于现实的工业应用领域-受着名的亚马逊机器人挑战赛(ARC)的启发-又具有动态场景,其中包含我们为ARC 2017开发的挑选启发式选择的真实挑选动作。该数据集与流行的BOP数据集格式兼容。我们详细描述了数据集的生成过程,包括使用NVIDIA PhysX物理引擎的对象排列生成和操纵模拟。为了覆盖大的动作空间,我们执行无目标和有目标的拾取动作,以及随机移动动作。为了建立对象感知的基线,在数据集上评估最先进的姿态估计方法。我们证明了有用的操作过程中,而不是单镜头估计,即使与天真的过滤方法跟踪构成。生成器的源代码和数据集是公开的。
2021-07-10 cs.CV cs.RO
Paxion: Patching Action Knowledge in Video-Language Foundation Models
UIUC(伊利诺伊大学厄巴纳-香槟分校);UNC(北卡罗来纳大学)
针对视频-语言模型在动作知识理解上的缺陷,提出 Paxion 框架与 DVDM 目标,通过 Knowledge Patcher 和 Knowledge Fuser 修补动作知识,显著提升模型在动作相关任务上的性能。
2023-10-21 cs.CL cs.CV
Commonsense Reasoning for Identifying and Understanding the Implicit Need of Help and Synthesizing Assistive Actions
Lab-STICC/ENIB(STICC实验室/布雷斯特国立高等工程师学院);Flinders University of South Australia(南澳弗林德斯大学);CNRS(法国国家科学研究中心)
人机交互(HRI)是服务机器人的一个新兴分支。虽然大多数现有的方法依赖于明确的信号(即语音,手势)参与,目前的文献是缺乏解决方案,以解决隐式用户的需求。在本文中,我们提出了一个架构(a)检测用户隐式需要的帮助和(b)生成一组辅助动作,而无需事先学习。任务(a)将使用用于场景图生成的最先进的解决方案结合常识知识的使用来执行;而任务(b)将使用附加常识知识以及对图结构的情感分析来执行。最后,我们提出了一个评估我们的解决方案,使用已建立的基准(例如基因组数据集)以及人体实验。我们的方法的主要动机是在一个单一的架构中的感知决策行动循环的嵌入。
2022-02-23 cs.AI cs.CL cs.CV
From Isolated Islands to Pangea: Unifying Semantic Space for Human Action Understanding
Shanghai Jiao Tong University(上海交通大学)
本文提出统一的动作语义空间,将多个异构数据集对齐为统一数据库“盘古大陆”,并设计新模型实现物理空间到语义空间的映射,显著提升动作理解与迁移学习性能。
2024-04-03 cs.AI cs.CV cs.LG
Pose And Joint-Aware Action Recognition
Johns Hopkins University(约翰斯·霍普金斯大学);University of Maryland, College Park(马里兰大学帕克分校);Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心)
动作识别的最新进展主要集中在RGB和光流特征上。在本文中,我们将探讨基于关节的动作识别问题。与其他模态不同,关节及其运动的星座生成具有简洁的人体运动信息的模型用于活动识别。我们提出了一个新的模型,基于关节的动作识别,首先提取运动特征,从每个关节分别通过一个共享的运动编码器,然后进行集体推理。我们的关节选择器模块对关节信息进行重新加权,以选择最具鉴别力的关节用于任务。我们还提出了一种新的联合对比损失,拉在一起的联合功能,传达相同的动作组。我们通过使用几何感知的数据增强技术来加强基于关节的表示,该技术在保持动作动态的同时抖动姿势热图。我们在JHMDB,HMDB,Charades,AVA动作识别数据集上展示了当前最先进的基于联合的方法的巨大改进。与RGB和基于流的方法的后期融合产生了额外的改进。我们的模型在Mimetics上的表现也优于现有的基线,Mimetics是一个具有上下文外操作的数据集。
2021-10-29 cs.CV
Can masking background and object reduce static bias for zero-shot action recognition?
Nagoya Institute of Technology(名古屋工业大学);National Institute of Advanced Industrial Science and Technology (AIST)(独立行政法人产业技术综合研究所(AIST))
本文研究零样本动作识别中的静态偏差,通过掩蔽背景和物体训练CLIP模型,减少对静态外观的依赖,提升动作关注度与性能。
2025-01-22 cs.CV
Action Understanding with Multiple Classes of Actors
University of Rochester(罗切斯特大学);Salesforce MetaMind;University of Michigan(密歇根大学)
尽管进展迅速,现有的作品动作理解严格集中在一种类型的动作代理,我们称之为演员-一个人的成年人,忽略了其他演员执行的动作的多样性。为了克服这种狭隘的观点,我们的论文标志着计算机视觉社区的第一次努力,共同考虑算法理解各种类型的演员正在进行各种行动。首先,我们收集了一个大型的注释演员动作数据集(A2 D),由3782个短视频和31个时间上未修剪的长视频。我们制定了一般的演员动作理解问题,并实例化它在各种粒度:视频级的单标签和多标签演员动作识别,和像素级演员动作分割。我们提出并研究了一套全面的图形模型,考虑各种类型的演员和行动之间的相互作用。我们的研究结果使我们有确凿的证据表明,演员和动作的联合建模提高了性能,其中每一个独立的建模,并进一步提高可以通过考虑在视频理解的多尺度自然。因此,我们的论文总结了明确考虑各种行为者在全面行动理解中的价值的论点,并为以后探索这一新问题的工作提供了一个数据集和基准。
2017-04-27 cs.CV
Home Action Genome: Cooperative Compositional Action Understanding
Stanford University(斯坦福大学);Panasonic Corporation(松下公司)
现有的动作识别研究将活动视为视频中发生的单一事件。最近,将动作制定为原子动作的组合的好处已经显示出改善动作理解的希望,随着包含此类注释的数据集的出现,允许我们学习捕获此信息的表示。然而,仍然缺乏研究,扩大行动组成和利用多个观点和多种形式的数据表示学习。为了促进这一方向的研究,我们引入家庭动作基因组(HOMAGE):一个多视图动作数据集,具有多个模态和视点,并辅以分层活动和原子动作标签以及密集的场景组成标签。利用丰富的多模态和多视图设置,我们提出了合作组合动作理解(CCAU),一个协作学习框架的分层动作识别,是知道的组成动作元素。CCAU在所有模式中显示出一致的业绩改善。此外,我们证明了在Few-Shot动作识别中共同学习组合物的实用性,仅用单个样本就实现了28.6%的mAP。
2021-05-11 cs.CV
Compositional Structure Learning for Action Understanding
SUNY at Buffalo(纽约州立大学布法罗分校);UCLA(加州大学洛杉矶分校);University of Michigan(密歇根大学)
动作理解文献的焦点主要是分类,然而,有许多应用需要更丰富的动作理解,例如移动机器人和视频搜索,以及分类,定位和检测的解决方案。在本文中,我们提出了一个组成模型,利用一个新的中级表示称为组成轨迹和一个局部铰接时空变形部分模型(LALSDPM)的充分行动的理解。我们的方法在捕捉动态人类活动的可变结构方面是有利的。首先,组成轨迹捕获空间时间中长范围的,经常共同出现的轨迹组,并将它们表示在有区别的层次结构中,其中人体运动在很大程度上与相机运动分离;其次,LASTARCHIVE学习具有多层可变形部分的结构化模型,以捕获多个层次的关节运动。我们实现了我们的方法,并在所有三个问题上展示了最先进的性能:动作检测,定位和识别。
2014-10-21 cs.CV
Action Scene Graphs for Long-Form Understanding of Egocentric Videos
University of Catania(卡塔尼亚大学);Intel Labs(英特尔实验室)
本文提出 EASG 表示并扩展 Ego4D 数据集,定义生成任务与基线,验证其在动作预测和活动摘要中的长时程理解价值。
2023-12-06 cs.CV
What Actions are Needed for Understanding Human Actions in Videos?
Carnegie Mellon University(卡内基梅隆大学)
对人类活动进行推理的正确方法是什么?哪些前进方向最有希望?在这项工作中,我们分析了视频中人类活动理解的现状。本文的目标是检查数据集,评估指标,算法和潜在的未来方向。我们着眼于定义活动的定性属性,如姿势可变性,简洁性和密度。实验考虑了多个最先进的算法和多个数据集。结果表明,虽然有内在的模糊性的时间范围内的活动,目前的数据集仍然允许有效的基准。我们发现,细粒度的理解对象和姿势结合时间推理时,可能会产生实质性的改进算法的准确性。我们提出了许多类型的信息,将需要实现实质性的收益,在活动的理解:对象,动词,意图和顺序推理。该软件和其他信息将提供给其他研究人员,以了解他们自己的算法。
2017-08-09 cs.CV
Review of Video Predictive Understanding: Early Action Recognition and Future Action Prediction
Lassonde School of Engineering(拉松德工程学院);York University(约克大学)
视频预测理解包括广泛的努力,这些努力涉及从当前和历史视频观察中预测未观察到的未来。动作预测是视频预测理解的一个主要子领域,也是本文的重点。这个子领域有两个主要的细分:早期动作识别和未来动作预测。早期行动识别是指尽快识别正在进行的行动。未来行为预测关注的是对先前观察到的行为之后的行为的预期。在任何一种情况下,过去、当前和潜在的未来信息之间的\textbf{\textit{causal}}关系都是主要关注点。各种数学工具,如马尔可夫链,高斯过程,自回归建模和贝叶斯递归滤波被广泛采用,与计算机视觉技术联合用于这两个任务。然而,这些方法面临的挑战,如维数灾难,泛化能力差,并从特定领域的知识的约束。最近,已经广泛地提出了依赖于深度卷积神经网络和循环神经网络的结构,用于改善现有视觉任务(一般而言)和动作预测任务(具体而言)的性能。但是,它们也有各自的缺点,\eg依赖于大量的训练数据,缺乏强有力的理论支撑。在本次调查中,我们首先介绍了视频预测理解这一广泛领域的主要子领域,这些领域最近受到了广泛的关注,并被证明具有实用价值。接下来,对各种早期动作识别和未来动作预测算法进行了全面的回顾,并提供了适当组织的部门。最后,我们总结了未来的研究方向。
2021-07-16 cs.CV
G3Ego: Gaze-Guided Graphs for Egocentric Action Understanding
University of Zagreb(萨格勒布大学);University of Twente(特文特大学)
本研究提出G3Ego框架,将注视直接融入图构建以识别动作相关实体,在EGTEA Gaze+和MECCANO数据集上实现有竞争力的动作理解性能,且在类别不平衡评估下提升Macro-F1,无需昂贵视频预训练。
2026-08-21 cs.CV
LLaVAction: evaluating and training multi-modal large language models for action understanding
LLaVAction通过引入动作标记和两阶段流程提升多模态大语言模型的动作理解能力,显著提升基准测试性能。
2026-01-12 cs.CV
Exploring the Temporal Consistency for Point-Level Weakly-Supervised Temporal Action Localization
University of Chinese Academy of Science, Beijing,100190, China(中国科学院大学);Macquarie University(麦考瑞大学)
本文提出一种多任务学习框架,通过三个自监督任务提升点监督时间动作定位的模型时间理解能力,验证了在四个基准数据集上的有效性。
2026-09-16 cs.CV
On Discriminative vs. Generative classifiers: Rethinking MLLMs for Action Understanding
National University of Singapore(国立新加坡大学)
本文提出GAD分类器,通过生成辅助判别方法提升封闭集动作理解的准确性和效率,达到SOTA效果。
2026-03-03 cs.CV
Social Scene Understanding: End-to-End Multi-Person Action Localization and Collective Activity Recognition
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Stanford University(斯坦福大学);IDIAP Research Institute(IDIAP研究所)
我们提出了一个统一的框架来理解原始图像序列中的人类社会行为。我们的模型联合检测多个人,推断他们的社会行动,并估计集体行动与一个单一的前馈通过一个神经网络。我们提出了一个单一的架构,不依赖于外部检测算法,而是端到端的训练,以生成密集的建议地图,通过一种新的推理方案进行细化。时间一致性通过人级匹配递归神经网络来处理。完整的模型将一系列帧作为输入,并输出检测结果以及对个人行动和集体活动的估计。我们展示了我们的算法在多个公开的基准测试的最先进的性能。
2016-11-28 cs.CV
Open-ended Hierarchical Streaming Video Understanding with Vision Language Models
Yonsei University(延世大学)
提出分层流媒体视频理解任务及OpenHOUSE系统,利用LLMs丰富数据集并扩展动作感知至自由文本生成,其专用模块显著提升了相邻动作边界检测性能。
2025-09-15 cs.CV
A Hierarchical Pose-Based Approach to Complex Action Understanding Using Dictionaries of Actionlets and Motion Poselets
P. Universidad Catolica de Chile(智利天主教大学);Stanford University(斯坦福大学);Universidad del Norte(北方大学)
在本文中,我们介绍了一个新的层次模型,人体动作识别使用身体关节位置。我们的模型可以对视频中的复杂动作进行分类,并对组成正在执行的复杂动作的原子动作执行时空注释。也就是说,对于每个原子动作,模型通过估计其开始和结束时间来生成时间动作注释,以及通过推断执行动作所涉及的人体部位来生成空间注释。我们的模型包括三个关键的新特性:(i)它可以在没有空间监督的情况下进行训练,因为它可以仅从时间动作注释中自动发现活动的身体部位;(ii)它联合学习对身体部位和原子动作的视觉可变性进行编码的运动possible和actionlet的灵活表示;(iii)丢弃空闲或无信息的身体部位的机制,这增加了其对常见姿态估计误差的鲁棒性。我们使用多个动作识别基准评估我们的方法的性能。我们的模型始终优于基线和最先进的动作识别方法。
2016-06-15 cs.CV
OR-Action: Multi-Role Video Understanding with Fine-Grained Actions
Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Carl Zeiss AG(卡尔蔡司股份公司)
针对手术室活动理解中场景图方法缺乏时间建模的问题,提出基于公开数据集的细粒度多角色动作基准,并引入纯视觉时序模型,显著优于图方法,同时提出多视角到单视角特征对齐策略提升单视角性能。
2026-06-12 cs.CV
HyrCap: Hybrid Rank-Calibration of Action Proposals for Temporal Event Understanding
Peking University(北京大学);Zhongguancun Academy(中关村学院);Zhongguancun Institute of Artificial Intelligence(中关村人工智能研究院);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
提出HyrCap框架,结合混合特征与排名校准处理时间动作检测问题,经分阶段评估在公开基准上达最优性能,为时间事件理解提供新范式。
2026-10-14 cs.CV
How Do You Do It? Fine-Grained Action Understanding with Pseudo-Adverbs
University of Amsterdam(阿姆斯特丹大学)
我们的目标是了解动作是如何执行的,并识别细微的差异,例如“坚定地折叠”与“温柔地折叠”。为此,我们提出了一种方法,认识到副词在不同的行动。然而,这样的细粒度的注释是很难获得的,他们的长尾性质使得它具有挑战性的识别副词在罕见的动作副词组成。因此,我们的方法使用具有多个副词伪标签的半监督学习来利用仅具有动作标签的视频。结合这些伪副词的自适应阈值,我们能够有效地利用现有的数据,同时解决长尾分布。此外,我们收集了三个现有的视频检索数据集的副词注释,这使我们能够引入识别看不见的动作副词组合和看不见的域中的副词的新任务。实验表明,我们的方法的有效性,它优于以前的工作,在识别副词和半监督的作品适用于副词识别。我们还展示了副词如何与细粒度的行动。
2022-06-10 cs.CV
Foundation Model for Skeleton-Based Human Action Understanding
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, China(新一代人工智能技术及交叉应用关键实验室(东南大学),中华人民共和国教育部,中国);School of Software, Northwestern Polytechnical University(西北工业大学软件学院);State Key Laboratory for Novel Software Technology and School of Intelligence Science and Technology, Nanjing University(新型软件技术国家重点实验室和南京大学智能科学与技术学院);School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院)
本文提出统一骨架密集表示学习框架 USDRL,通过密集时空编码器、多粒度特征去相关和多视角一致性训练构建骨架动作理解基础模型,在 25 个基准、9 类任务上显著超越现有方法。
2025-08-18 cs.CV
Long Activity Video Understanding using Functional Object-Oriented Network
University of South Florida(南佛罗里达大学)
视频理解是计算机视觉中最具挑战性的课题之一。在本文中,一个四阶段的视频理解流水线,同时认识到所有的原子动作和单一的正在进行的活动在一个视频。该管道使用来自视频的对象和运动以及基于图形的知识表示网络作为先验参考。训练两个深度网络来识别每个视频序列中与动作相关联的对象和运动。然后使用低级别图像特征来识别该视频序列中的感兴趣对象。置信度分数基于感兴趣对象在动作中的参与被分配给感兴趣对象,并且置信度分数基于来自深度神经网络的结果被分配给运动类,该深度神经网络将视频中的正在进行的动作分类为运动类。使用知识表示网络、对象置信度和运动置信度来为与动作相关联的每个候选功能单元计算置信度分数。因此,每个动作与功能单元相关联,并且进一步评估动作序列以识别视频中的单个正在进行的活动。在管道中使用的知识表示被称为功能面向对象的网络,这是一个基于图形的网络编码有关的操纵任务的知识有用。在烹饪视频数据集上进行了实验,以测试所提出的算法与动作推理和活动分类。实验表明,使用面向功能对象的网络,提高视频理解显着。
2018-07-03 cs.CV
LLaVA-Pose: Enhancing Human Pose and Action Understanding via Keypoint-Integrated Instruction Tuning
Department of Informatics, Graduate School of Informatics and Engineering, The University of Electro-Communications(信息学院、信息工程研究生院、东京电波通信大学)
本文提出LLaVA-Pose模型,通过将人体关键点与传统视觉特征结合生成指令微调数据,显著提升了视觉语言模型在人体姿态与动作理解任务上的性能。
2025-06-26 cs.CV
MA-Bench: Towards Fine-grained Micro-Action Understanding
CVLab, College of Information Technology, United Arab Emirates University(阿拉伯联合酋长国大学信息技术学院CVLab);University College London(伦敦大学学院);Hefei University of Technology(合肥工业大学);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院);CCAI, Zhejiang University(浙江大学计算机辅助设计与图形学国家重点实验室)
本文提出MA-Bench基准,包含1000个视频和三级评估架构,系统评估微动作识别与解释,通过23个MLLM的实验发现微动作细粒度理解存在挑战,并构建MA-Bench-Train训练集提升模型性能。
2026-03-27 cs.CV
Open-Vocabulary Video Relation Extraction
Fudan University(复旦大学);Zhejiang University of Technology(浙江工业大学);Zhejiang Lab(之江实验室)
针对视频理解忽视动作中参与者与关系的问题,提出开放词汇视频关系抽取任务,构建含18万视频的Moments-OVRE数据集,并设计跨模态映射模型生成关系三元组,完成基准测试。
2023-12-25 cs.CV
3DInAction: Understanding Human Actions in 3D Point Clouds
Australian National University(澳大利亚国立大学);Technion, Israel Institute of Technology(以色列理工学院)
针对三维点云动作识别中缺乏结构、置换不变性和点数不固定等难题,提出3DinAction流程,通过估计时间移动块(t-patches)并结合分层架构学习时空表示,在DFAUST和IKEA ASM数据集上取得性能提升。
2024-03-29 cs.CV
Understanding hand-object manipulation by modeling the contextual relationship between actions, grasp types and object attributes
Institute of Industrial Science, The University of Tokyo(东京大学生产技术研究所);Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
提出了一种基于计算机视觉技术的理解日常手部操作的新方法。具体来说,我们专注于识别手抓类型,对象属性和操作动作在一个统一的框架内,通过探索它们的上下文关系。我们的假设是,有必要联合建模手,对象和动作,以准确地识别多个任务,这些任务是相互关联的手对象操作。在所提出的模型中,我们探讨了各种语义之间的关系的行动,把握类型和对象属性,并显示如何上下文可以用来提高每个组件的识别。我们还探讨了手和物体之间的空间关系,以便在杂乱的环境中从手检测被操纵的物体。所有三个识别任务的实验结果表明,我们提出的方法优于传统的外观为基础的方法,这些方法的目的是不考虑上下文关系参与手对象操作。对习得语境的可视化和概括性研究进一步支持了我们的假设。
2018-07-22 cs.CV
LUMINA-26: Low-Light Understanding for Modeling and Interpreting Night-time Actions
Delhi Technological University(德里理工大学);Delhi College of Arts and Commerce, University of Delhi(德里大学德里艺术与商业学院)
针对低光照下动作识别困难,提出包含6784个视频片段、26类动作的LUMINA-26数据集,并设计Illumi-Net网络,利用光照线索引导自适应增强和时空特征提取,在ELLAR和LUMINA-26上达到最优性能。
2026-06-23 cs.CV
ActionArt: Advancing Multimodal Large Models for Fine-Grained Human-Centric Video Understanding
Sun Yat-sen University, China(中山大学);Tongyi Lab, Alibaba Group(通义实验室,阿里巴巴集团);Peng Cheng Laboratory, Shenzhen, China(鹏城实验室,深圳,中国);Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education, China(教育部人工智能与先进计算重点实验室)
本文提出ActionArt细粒度视频字幕数据集及八个子任务,评估多模态大模型,并设计基于MLLMs自动生成数据的代理任务,显著缩小了与人工标注数据的性能差距。
2025-04-25 cs.CV
Understanding the Robustness of Skeleton-based Action Recognition under Adversarial Attack
University of Leeds(利兹大学);Zhejiang University(浙江大学);University of Bath(巴斯大学)
动作识别在自动驾驶汽车、监控等领域有着广泛的应用,其鲁棒性是主要关注点。在本文中,我们研究了最先进的动作识别器对对抗攻击的鲁棒性,这是迄今为止很少研究的。为此,我们提出了一种新的方法来攻击依赖于3D骨架运动的动作识别器。我们的方法涉及到一个创新的感知损失,确保了攻击的不可感知性。实证研究表明,我们的方法是有效的白盒和黑盒的情况下。它的普遍性在各种动作识别器和数据集上得到了证明。它的多功能性表现在不同的进攻策略上。它的欺骗性在广泛的知觉研究中得到了证明。我们的方法表明,对抗攻击的三维骨骼运动,一种类型的时间序列数据,是显着不同于传统的对抗攻击问题。它的成功引起了人们对动作识别器鲁棒性的严重关注,并提供了潜在改进的见解。
2021-03-18 cs.CV
Compositional Context Fine-Tuning Vision-Language Model for Complex Assembly Action Understanding from Videos
New York University Abu Dhabi(纽约大学阿布扎比分校);The University of Auckland(奥克兰大学)
针对装配动作理解难题,提出组合上下文微调方法及层划分交替训练方法,将动作分解为语义元素并微调视觉语言模型,创建相关数据集,实验证明该方法优于基线且能提供可解释预测,助力人机协作装配。
2026-07-14 cs.CV
Cross-view Action Recognition Understanding From Exocentric to Egocentric Perspective
University of Arkansas(阿肯色大学)
本文提出一种新颖的跨视角动作识别学习方法(CVAR),通过引入基于几何的约束和跨视角自注意力损失,有效将外中心视频知识转移到自我中心视角,并在多个基准上取得最先进性能。
2024-08-26 cs.CV
Enhancing Video Transformers for Action Understanding with VLM-aided Training
Utrecht University(乌得勒支大学);University of Science and Technology of China(中国科学技术大学)
提出 FTP 框架,通过在训练期间利用 VLM 输出对齐 ViTs 的视觉编码并引入四个动作特征处理器,以增强视频动作理解模型的泛化能力,在 Kinetics-400 和 Something-Something V2 上达到 SOTA 性能。
2024-03-24 cs.CV
Therbligs in Action: Video Understanding through Motion Primitives
University of Maryland, College Park(马里兰大学帕克分校)
本文提出一种以Therblig为基本原子的层次化动作建模方法,通过可微的规则推理增强逻辑一致性,并在EPIC Kitchens 100和50-Salads数据集上验证了其在动作分割、预测和识别任务上的显著提升。
2023-04-06 cs.CV
Understanding Multimodal Complementarity for Single-Frame Action Anticipation
Department of Computer Technology, University of Alicante(阿尔瓦雷斯大学计算机技术系);Institute of Computer Science, FORTH(福蒂研究所);Computer Science Department, University of Crete(克里特大学计算机科学系);Department of Management, Science and Technology, Hellenic Mediterranean University(希腊地中海大学管理、科学与技术系)
本研究通过单帧动作预测框架AAG+,探索多模态互补性对动作预测的影响,验证单帧信息在动作预测中的有效性。
2026-01-29 cs.CV
ACE: Action Concept Enhancement of Video-Language Models in Procedural Videos
Honda Research Institute(本田研究所)
本文提出动作概念增强(ACE)微调技术,通过随机替换标签并引入同义词与负样本,提升视频-语言模型对程序性动作的概念理解与零样本分类鲁棒性。
2024-11-23 cs.CV
GTA: Global Temporal Attention for Video Action Understanding
University of Maryland(马里兰大学);Fudan University(复旦大学);Facebook AI(Facebook人工智能)
自我注意力学习成对交互来建模长距离依赖关系,从而极大地改进了视频动作识别。在本文中,我们寻求更深入的理解自注意视频中的时间建模。我们首先证明,纠缠模型的时空信息平坦的所有像素是次优的,无法捕捉帧之间的时间关系明确。为此,我们引入了全局时间注意力(GTA),它以解耦的方式在空间注意力之上执行全局时间注意力。我们将GTA应用于像素和语义相似的区域,以捕获不同级别的空间粒度的时间关系。与传统的计算特定于实例的注意力矩阵的自注意力不同,GTA直接学习全局注意力矩阵,该矩阵旨在对跨不同样本进行概括的时间结构进行编码。我们进一步增强GTA与跨通道多头时尚,利用更好的时间建模通道的相互作用。在2D和3D网络上进行的大量实验表明,我们的方法始终增强了时间建模,并在三个视频动作识别数据集上提供了最先进的性能。
2021-11-02 cs.CV
The Role of Video Generation in Enhancing Data-Limited Action Understanding
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);VCIP & TMCC & DISSec, College of Computer Science, Nankai University(南开大学计算机学院);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络安全学院);Queen Mary University of London(伦敦大学玛丽女王学院)
本文提出利用文本到视频扩散变换器生成标注数据,并采用信息增强和不确定性标签平滑策略,解决数据受限的动作理解问题,在四个数据集上实现零样本动作识别的最优性能。
2025-10-10 cs.CV
Go Beyond Earth: Understanding Human Actions and Scenes in Microgravity Environments
Karlsruhe Institute of Technology, Germany(卡尔斯鲁厄大学,德国);Hunan University, China(湖南大学,中国);INSAIT, Sofia University, Bulgaria(INSAIT,索菲亚大学,保加利亚);Waseda University, Japan(早稻田大学,日本);KTH Royal Institute of Technology, Sweden(瑞典皇家理工学院,瑞典);RISE Research Institutes of Sweden, Sweden(瑞典RISE研究机构,瑞典)
本文提出MicroG-4M数据集,用于微重力环境下的人类行为和场景理解,包含50种动作、1238个丰富描述和7000多个问答对,支持动作识别、视频captioning和视觉问答任务。
2026-03-23 cs.CV
Mimic Human Cognition, Master Multi-Image Reasoning: A Meta-Action Framework for Enhanced Visual Understanding
East China Normal University(华东师范大学);ByteDance(字节跳动)
提出受人类认知启发的元动作框架CINEMA,将多图像推理分解为五个结构化元动作,结合检索树采样和两阶段强化学习,在多个基准上超越GPT-4o。
2026-06-23 cs.CV
SAGE: Synchronized Action-Gaze Recognition and Anticipation for Human Behavior Understanding
Honda Research Institute, USA(美国本田研究院);Rensselaer Polytechnic Institute(伦斯勒理工学院)
研究人类对象交互、注视模式及其预测间的关联,提出SAGE统一框架,利用基于Transformer架构将注视数据纳入时空注意力机制,在多场景下联合建模动作与注视,建立新基准数据集,实验效果良好。
2026-07-07 cs.CV