Tripping through time: Efficient Localization of Activities in Videos
NEC Labs America（美国电气通信实验室）
通过语言查询在未经修剪的视频中定位时刻是一项新的有趣任务，需要能够准确地将语言融入视频。以前的作品通过处理整个视频来完成这一任务，通常不止一次，以定位相关活动。在这种方法的实际应用中，例如视频监控，效率是关键的系统要求。在本文中，我们提出了TripNet，一个端到端的系统，使用门控注意力架构模型细粒度的文本和视觉表示，以对齐文本和视频内容。此外，TripNet使用强化学习，通过学习如何智能地跳过视频，有效地定位长视频中的相关活动片段。它提取几帧的视觉特征来执行活动分类。在我们对Charades-STA、ActivityNet Captions和TACoS数据集的评估中，我们发现TripNet仅查看整个视频的32-41%，从而实现了高准确性并节省了处理时间。
2020-08-18 cs.CV
Video Event Recognition and Anomaly Detection by Combining Gaussian Process and Hierarchical Dirichlet Process Models
University of Twente（特文特大学）；Leibniz University Hannover（汉诺威莱布尼茨大学）；Zhejiang University（浙江大学）
在本文中，我们提出了一个无监督学习框架，用于分析监控视频中的活动和交互。在我们的框架中，三个层次的视频事件连接的层次狄利克雷过程（HDP）模型：低层次的视觉功能，简单的原子活动，和多代理的相互作用。原子活动表示为低级别特征的分布，而复杂的相互作用表示为原子活动的分布。这个学习过程是无监督的。给定训练视频序列，基于光流提取低层视觉特征，然后将其聚类为不同的原子活动，并将视频片段聚类为不同的交互。HDP模型自动决定簇的数量，即原子活动和相互作用的类别。基于所学习的原子活动和交互，生成训练数据集以训练高斯过程（GP）分类器。然后，经过训练的GP模型在新捕获的视频中工作，对交互进行分类，并实时的检测异常事件。此外，通过HDP隐马尔可夫模型（HMM）学习的视频事件之间的时间依赖性被有效地集成到GP分类器中，以提高新捕获视频的分类准确性。我们的框架结合了生成模型（HDP）和判别模型（GP）的优点。我们提供了详细的实验表明，我们的框架享有良好的性能，在拥挤的交通场景中实时视频事件分类。
2018-02-09 cs.CV
Human Activity Learning using Object Affordances from RGB-D Videos
Cornell University（康奈尔大学）
人类活动包括按顺序执行的多个子活动，并涉及与各种对象的交互。这使得推理对象的启示活动识别的中心任务。在这项工作中，我们考虑的问题，共同标记的对象启示和人类活动的RGB-D视频。我们将问题框架为马尔可夫随机场，其中节点表示对象和子活动，边缘表示对象启示之间的关系，它们与子活动的关系以及它们随时间的演变。我们制定的学习问题，使用结构SVM的方法，其中标签在各种交替的时间分割被认为是潜在变量。我们在一个包含从四个主题收集的120个活动视频的数据集上测试了我们的方法，并获得了81.8%的端到端精确度和80.0%的召回率来标记活动。
2012-08-04 cs.CV
ReActNet: Temporal Localization of Repetitive Activities in Real-World Videos
Institute of Computer Science, FORTH（希腊研究与技术基金会计算机科学研究所）；University of Crete（克里特大学）
我们解决了视频中重复活动的时间定位问题，即，识别包含某种重复或周期性运动的视频的所有片段的问题。为此，所提出的方法通过成对帧距离的矩阵来表示视频。这些距离是在用卷积神经网络获得的帧表示上计算的。在这种表示的基础上，我们设计，实现和评估ReActNet，这是一种轻量级的卷积神经网络，它将给定的帧分类为属于（或不属于）重复的视频片段。所采用的表示的一个重要属性是，它可以处理任意数量和持续时间的重复段。此外，所提出的训练过程需要相对少量的带注释的视频。我们的方法提出了几个限制性的假设，现有的方法有关的内容的视频和所观察到的重复活动的类型。在最近公开的数据集上的实验结果验证了我们的设计选择，验证了ReActNet的泛化潜力，并证明了其与当前最先进技术相比的优越性能。
2019-10-14 cs.CV
Learning Latent Super-Events to Detect Multiple Activities in Videos
Department of Computer Science, Indiana University, Bloomington（印第安纳大学计算机科学系）
在本文中，我们介绍了从活动视频中学习潜在超级事件的概念，并介绍了它如何有利于连续视频中的活动检测。我们将超级事件定义为在视频中一起发生的具有特定时间组织的多个事件的集合;它与子事件的概念相反。真实世界视频包含多个活动并且很少被分段（例如，监控视频），并且学习潜在的超级事件允许模型捕获事件在视频中如何在时间上相关。我们设计了时间结构过滤器，使模型能够专注于视频的特定子区间，并将它们与软注意力机制一起使用，以学习潜在超级事件的表示。超级事件表示与每帧或每段CNN相结合，以提供帧级注释。我们的方法被设计为完全可区分的，能够与使用它们的活动检测器一起对潜在的超级事件表示进行端到端的学习。我们对多个公共视频数据集的实验证实，所提出的潜在超级事件学习的概念显着有利于活动检测，推进了最先进的技术。
2018-03-29 cs.CV
Learning To Recognize Procedural Activities with Distant Supervision
Columbia University（哥伦比亚大学）；Facebook AI Research（脸书人工智能研究院）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Dartmouth（达特茅斯学院）
在本文中，我们考虑分类细粒度的多步骤活动（例如，烹饪不同的食谱，进行不同的家居装修，创造各种形式的艺术和手工艺品）从长达几分钟的视频。准确地对这些活动进行分类不仅需要识别组成任务的各个步骤，还需要捕获它们的时间依赖性。这个问题与传统的动作分类有很大的不同，传统的动作分类模型通常是在视频上优化的，这些视频只有几秒钟的时间，并且被手动修剪以包含简单的原子动作。虽然步骤注释可以使模型的训练能够识别程序活动的各个步骤，但由于在长视频中手动注释时间边界的成本过高，该领域现有的大规模数据集不包括此类片段标签。为了解决这个问题，我们建议自动识别教学视频中的步骤，利用远程监督的文本知识库（wikiHow），其中包括执行各种复杂的活动所需的步骤的详细描述。我们的方法使用一个语言模型来匹配嘈杂的，自动转录的语音从视频中的知识库中的步骤描述。我们证明，经过训练以识别这些自动标记的步骤（无需人工监督）的视频模型产生了一种表示，该表示在四个下游任务上实现了卓越的泛化性能：程序活动识别，步骤分类，步骤预测和以自我为中心的视频分类。
2022-06-16 cs.CV
Out the Window: A Crowd-Sourced Dataset for Activity Classification in Security Video
Systems & Technology Research（系统与技术研究院）
Out the Window（OTW）数据集是一个众包活动数据集，包含来自NIST扩展视频活动（ActEV）挑战的17个活动的5，668个实例。这些视频是从亚马逊土耳其机器人上的工作人员那里众包的，他们使用了一种新颖的场景表演策略，这种策略收集了每个场景中自然活动的多个实例。土耳其人被指示将他们的移动终端靠在楼上俯瞰室外空间的窗户上，走到外面执行涉及人，车辆和物体的场景，最后将视频上传给我们进行注释。VIRAT Ground 2.0上的活动分类性能评估显示，OTW数据集的平均分类准确率提高了8.3%，在涉及人与车辆的最具挑战性的活动上提高了12.5%。
2019-09-15 cs.CV
TinyAction Challenge: Recognizing Real-world Low-resolution Activities in Videos
Center for Research in Computer Vision（计算机视觉研究中心）；University of Central Florida（中佛罗里达大学）
本文总结了在CVPR 2021的ActivityNet研讨会上组织的TinyAction挑战。这项挑战的重点是识别视频中存在的真实世界低分辨率活动。动作识别任务目前集中在对高质量视频中的动作进行分类，其中演员和动作清晰可见。虽然在最近的工作中，各种方法已经被证明对识别任务有效，但它们通常不处理低分辨率的视频，其中动作发生在一个很小的区域。然而，许多真实世界的安全视频通常以较小的分辨率捕获实际动作，这使得在微小区域中识别动作成为一项具有挑战性的任务。在这项工作中，我们提出了一个基准数据集TinyVIRAT-v2，它由自然发生的低分辨率动作组成。这是TinyVIRAT数据集的扩展，由具有多个标签的操作组成。这些视频是从安全视频中提取的，这使得它们更加逼真，更具挑战性。我们使用当前最先进的动作识别方法的数据集作为基准，并提出了TinyAction挑战。
2021-07-24 cs.CV
Learning Multimodal Representations for Unseen Activities
Indiana University（印第安纳大学）；Stony Brook University（石溪大学）
我们提出了一种学习联合多模态表示空间的方法，该空间能够识别视频中看不见的活动。我们首先使用成对的文本和视频数据来比较在嵌入空间上放置各种约束的效果。我们还提出了一种使用对抗公式来改进联合嵌入空间的方法，使其能够从未配对的文本和视频数据中受益。通过使用未配对的文本数据，我们展示了学习更好地捕捉看不见的活动的表示的能力。除了在公开数据集上进行测试外，我们还引入了一个新的大规模文本/视频数据集。我们通过实验证实，使用配对和未配对的数据来学习共享嵌入空间有利于三个困难的任务：（i）zero-shot活动分类，（ii）无监督活动发现，以及（iii）看不见的活动字幕，优于最先进的技术。
2020-07-07 cs.CV
Peeking into the Future: Predicting Future Person Activities and Locations in Videos
Carnegie Mellon University（卡内基梅隆大学）；Google AI（谷歌人工智能）；Stanford University（斯坦福大学）
解读人类行为以预测他们未来的路径/轨迹以及他们会从视频中做什么在许多应用中很重要。受此启发，本文研究了预测行人的未来路径与未来活动。我们提出了一个端到端的，多任务的学习系统，利用丰富的视觉功能，人类的行为信息和与周围环境的互动。为了便于训练，网络通过预测活动将发生的未来位置的辅助任务来学习。实验结果表明，我们的国家的最先进的性能超过两个公共基准对未来的轨迹预测。此外，我们的方法是能够产生有意义的未来活动的预测除了路径。结果提供了第一个经验证据，联合建模的路径和活动有利于未来的路径预测。
2019-05-31 cs.CV
Cooking in the kitchen: Recognizing and Segmenting Human Activities in Videos
University of Bonn（波恩大学）；Brown University（布朗大学）
随着动作识别研究的成熟，重点正在从使用手动分割的视频数据集对基本任务导向的动作进行分类，转向理解现实世界中复杂的目标导向的日常人类活动。时间结构化模型似乎很容易解决这一系列问题，但到目前为止，这些模型优于简单的非结构化词袋模型的情况很少。随着大型人类活动数据集的可用性越来越高，再加上新的特征编码技术的发展，这些技术可以产生更紧凑的表示，现在是时候重新审视结构化生成方法了。在这里，我们描述了一个端到端的生成方法，从编码的功能，复杂的人类活动的结构建模，通过应用Fisher向量和时间模型的视频序列的分析。我们系统地评估了所提出的方法在几个可用的数据集（ADL，MPIICooking和早餐数据集）使用各种性能指标。通过广泛的系统评估，我们证明了基于Fisher向量的紧凑视频表示与基于HMM的建模相结合，在准确性方面获得了非常显着的收益，并且当使用足够的训练样本进行适当训练时，结构化时间模型在测试的性能指标上大幅优于非结构化词袋类型的模型。
2016-03-17 cs.CV
Recent Standard Development Activities on Video Coding for Machines
Tencent Media Lab（腾讯媒体实验室）；Gyrfalcon Technology Inc.（Gyrfalcon Technology公司）；China Telecom Research Institute（中国电信研究院）；Nokia Technologies（诺基亚技术）
近年来，视频数据已经主导了互联网流量，并成为主要的数据格式之一。随着新兴的5G和物联网（IoT）技术，越来越多的视频由边缘设备生成，通过网络发送，并由机器消费。机器消耗的视频量超过了人类消耗的视频量。机器视觉任务包括目标检测、分割、跟踪和其他基于机器的应用，这些任务与人类消费的任务有很大不同。另一方面，由于视频数据量大，在传输之前对视频进行压缩是必不可少的。因此，高效的机器视频编码（VCM）已成为学术界和工业界的重要课题。2019年7月，国际标准化组织，MPEG创建了一个名为VCM的特设小组，以研究潜在标准化工作的要求。在本文中，我们将讨论MPEG VCM组的最新发展活动。具体来说，我们将首先提供MPEG VCM组的概述，包括用例、要求、处理管道、潜在VCM标准的计划，然后是评估框架，包括机器视觉任务、数据集、评估指标和锚点生成。然后，我们介绍到目前为止提出的技术解决方案，并讨论了最近的响应MPEG VCM组发出的证据呼吁。
2021-05-26 cs.CV
A Heat-Map-based Algorithm for Recognizing Group Activities in Videos
Shanghai Jiao Tong University（上海交通大学）；Nanjing University（南京大学）；MediaTek Inc.（联发科技股份有限公司）
本文提出了一种新的基于热图的群体活动识别算法。该算法首先将人体运动轨迹建模为一系列的“热源”，然后应用热扩散过程来创建一个热图（HM）来表示群体活动。在此基础上，提出了一种新的基于关键点（KPB）的方法来处理不同尺度和旋转的热图之间的对齐。提出了一种基于曲面拟合的群体活动识别方法。我们提出的HM特征可以有效地嵌入组活动的时间运动信息，而提出的KPB和SF方法可以有效地利用热图的特征进行活动识别。实验结果证明了我们提出的算法的有效性。
2015-02-21 cs.CV
When will you do what? - Anticipating Temporal Occurrences of Activities
University of Bonn（波恩大学）
分析视频中的人类行为最近受到了越来越多的关注。虽然大多数作品都专注于对观察到的视频帧进行分类和标记，或者预测最近的未来，但在几秒钟内进行长期预测是一项具有许多实际应用的任务，尚未得到解决。在本文中，我们提出了两种方法来预测相当大量的未来行动和他们的持续时间。CNN和RNN都经过训练，可以根据之前看到的内容学习未来的视频标签。我们表明，我们的方法即使对于具有大量不同动作的长视频也能对未来进行准确的预测，甚至可以处理嘈杂或错误的输入信息。
2018-04-03 cs.CV
Language-driven Description Generation and Common Sense Reasoning for Video Action Recognition
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon.com LLC（亚马逊公司）
本文提出一个利用语言模型常识先验的框架，通过上下文摘要、描述生成和多模态识别头，在遮挡严重的视频中识别动作，并在Action Genome和Charades数据集上验证了有效性。
2025-06-20 cs.CV
Tragedy Plus Time: Capturing Unintended Human Activities from Weakly-labeled Videos
Arizona State University（亚利桑那州立大学）
在包含无意执行的动作的视频中，代理无法实现其预期目标。在这样的视频中，计算机视觉系统很难理解目标导向行为等高级概念，这是人类从很小的时候就存在的一种能力。在人工智能代理中灌输这种能力将使它们能够在目的论的镜头下评估人类行为，从而使它们成为更好的社会学习者。为了验证深度学习模型执行此任务的能力，我们策划了基于Oops数据集的W-Oops数据集[15]。W-Oops由2,100个无意的人类动作视频组成，其中44个目标导向和30个无意的视频级活动标签通过人类注释收集。由于昂贵的段注释过程中，我们提出了一个弱监督的算法定位的目标导向以及无意的时间区域的视频利用单独的视频级标签。特别是，我们采用了一个基于注意力机制的策略，预测的时间区域，最有助于分类任务。同时，我们设计的重叠正则化允许模型专注于视频的不同部分，以推断目标导向和无意的活动，同时保证它们的时间顺序。大量的定量实验验证了我们的定位方法的有效性。我们进一步进行了一个视频描述的实验，这表明，建议的本地化模块确实有助于目的论的行动理解。
2022-04-28 cs.CV
Scalable Temporal Localization of Sensitive Activities in Movies and TV Episodes
Amazon Prime Video（亚马逊Prime Video）
为了帮助客户做出更明智的观看选择，视频流媒体服务尝试调整其内容，并提供更多的可见性，以了解其电影和电视剧集的哪些部分包含适合年龄的材料（例如，裸体、性、暴力或吸毒）。定位这些敏感活动的监督模型需要大量的剪辑级标记数据，这是很难获得的，而弱监督模型通常不能提供有竞争力的准确性。为了应对这一挑战，我们提出了一种新的Coarse2Fine网络，旨在利用容易获得的视频级弱标签，结合稀疏的剪辑级标签的年龄适当的活动。我们的模型聚合帧级预测以进行视频级分类，因此能够利用稀疏剪辑级标签以及视频级标签。此外，通过以分层方式执行帧级预测，我们的方法能够克服由于年龄适当的内容的罕见性而引起的标签不平衡问题。我们使用来自521个子类型和250个国家的41，234部电影和电视剧（约3年的视频内容）对我们的方法进行了比较，使其成为迄今为止最大规模的实证分析。我们的方法提供了107.2%的相对mAP改善（从5.5%到11.4%），超过现有的最先进的活动本地化方法。
2022-06-16 cs.CV
Selective Spatio-Temporal Aggregation Based Pose Refinement System: Towards Understanding Human Activities in Real-World Videos
Inria（法国国家信息与自动化研究所）；Université Côte d’Azur（蔚蓝海岸大学）；Toyota Motor Europe（丰田汽车欧洲公司）
利用人体姿态数据来理解人类活动已经引起了人们的广泛关注。然而，由于真实世界的未注释视频中的遮挡、截断和低分辨率，最先进的姿态估计器难以获得高质量的2D或3D姿态数据。因此，在这项工作中，我们提出了1）一种选择性时空聚合机制，名为SST-A，它可以细化和平滑由多个专家姿态估计器提取的关键点位置，2）一个有效的弱监督自训练框架，它利用聚合的姿态作为伪地面实况，而不是手工制作的注释来进行真实世界的姿态估计。进行了广泛的实验，不仅评估上游的姿势细化，但也下游的动作识别性能的四个数据集，丰田Smarthome，NTU-RGB+D，字谜，和Kinetics-50。我们证明，我们的姿态优化系统（SSTA-PRS）细化的骨架数据可以有效地提升各种现有的动作识别模型，从而实现具有竞争力或最先进的性能。
2020-11-10 cs.CV
Learning Asynchronous and Sparse Human-Object Interaction in Videos
Applied Artificial Intelligence Institute, Deakin University（迪肯大学应用人工智能研究所）
人类活动可以从视频中学习。通过有效的建模，不仅可以发现动作标签，还可以发现活动的时间结构，例如子活动的进展。从原始视频信号中自动识别这种结构是一种新的能力，它保证了真实的建模和成功的识别人-物体交互。为了实现这一目标，我们引入了异步稀疏交互图网络（ASSIGN），这是一种循环图网络，能够自动检测与视频场景中的实体相关联的交互事件的结构。ASSIGN开创了视频实体自主行为的学习，包括它们的动态结构以及它们与共存邻居的交互。在我们的模型中，实体的生命与其他实体的生命是异步的，因此在适应复杂场景时更加灵活。它们的交互在时间上是稀疏的，因此更忠实于真实的潜在性质，在推理和学习中更鲁棒。ASSIGN在人-物交互识别方面进行了测试，在分割和标记原始视频中的人类子活动和对象启示方面表现出卓越的性能。发现模型的时间结构的原生能力也消除了对外部分割的依赖，这在以前是强制性的。
2021-03-03 cs.CV
PAMI-AD: An Activity Detector Exploiting Part-attention and Motion Information in Surveillance Videos
Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Key Laboratory of Network System and Network Culture（北京网络系统与网络文化重点实验室）
监控视频中的活动检测是一项具有挑战性的任务，由小对象，复杂的活动类别，其未经修剪的性质，等现有的方法通常是有限的性能，由于不准确的建议，穷人的分类器或不充分的后处理方法。在这项工作中，我们提出了一个全面而有效的活动检测系统，在未经修剪的监控视频为中心的人和车辆为中心的活动。它由四个模块组成，即，对象定位器、建议过滤器、活动分类器和活动细化器。对于以人为中心的活动，提出了一种新的部分-注意力机制来探索不同身体部位的细节特征。对于以车辆为中心的活动，我们提出了一种定位掩蔽方法来联合编码运动和前景注意力特征。我们在大规模的活动检测数据集VIRAT上进行了实验，对两组活动都取得了最好的结果。此外，我们的团队在TRECVID 2021 ActEV挑战赛中获得第一名。
2022-05-09 cs.CV
TimeProVe: Propose, then Verify for Efficient Long Video Temporal Reasoning in Activities of Daily Living
University of North Carolina, Charlotte（北卡罗来纳大学夏洛特分校）
提出TimeProVe框架，先通过轻量模块生成基于动作的候选假设，再调用昂贵VLM验证，在长视频问答中降低75%VLM调用和93%推理成本，性能提升7.3%。
2026-06-19 cs.CV
Assembly101: A Large-Scale Multi-View Video Dataset for Understanding Procedural Activities
Meta Reality Labs Research（Meta现实实验室）；National University of Singapore（新加坡国立大学）
Assembly101是一个新的程序性活动数据集，包含4321个视频，这些视频是人们组装和拆卸101个“可拆卸”玩具车的视频。参与者在没有固定指令的情况下工作，序列在动作顺序、错误和纠正方面具有丰富而自然的变化。Assembly101是第一个多视图动作数据集，同时具有静态（8）和自我中心（4）记录。序列注释有超过100K的粗粒度和1M的细粒度动作段，以及18M的3D手部姿势。我们基准三个动作理解任务：识别，预测和时间分割。此外，我们提出了一个新的任务检测错误。独特的记录格式和丰富的注释集使我们能够研究新玩具的泛化，跨视图传输，长尾分布以及姿势与外观。我们设想Assembly101将作为一个新的挑战，调查各种活动的理解问题。
2022-05-01 cs.CV
SKI Models: Skeleton Induced Vision-Language Embeddings for Understanding Activities of Daily Living
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Inria（法国国家信息与自动化研究所）
本文提出SKI模型，通过SkeletonCLIP将3D骨架信息注入视觉-语言模型，在推理时无需骨架数据即可提升ADL视频的零样本动作识别与视频描述生成能力。
2025-02-05 cs.CV
Human-like Relational Models for Activity Recognition in Video
University of Surrey（萨里大学）；National Institute of Technology（国家理工学院）
深度神经网络的视频活动识别对于许多类来说都令人印象深刻。然而，它低于人类的表现，特别是在具有挑战性的歧视活动。人类通过识别明确识别的物体和部件之间的关键时空关系来区分这些复杂的活动，例如，物体进入容器的孔。深度神经网络很难有效地学习这些关键关系。因此，我们提出了一个更人性化的方法来识别活动，它解释了一个视频在连续的时间阶段，并提取特定的对象和手在这些阶段之间的关系。从这些提取的关系学习随机森林分类器。我们将该方法应用于一个具有挑战性的东西-东西数据集的子集，并在具有挑战性的活动上实现了对神经网络基线更强大的性能。
2022-01-11 cs.CV
Just Add $π$! Pose Induced Video Transformers for Understanding Activities of Daily Living
UNC Charlotte（北卡罗来纳大学夏洛特分校）
本文提出π-ViT，通过2D和3D骨架诱导模块将姿态信息融入视频Transformer的RGB表示，在推理时无需姿态和额外开销，并在多个ADL数据集上取得最优性能。
2023-11-30 cs.CV
VPN: Learning Video-Pose Embedding for Activities of Daily Living
INRIA（法国国家信息与自动化研究所）；Université Nice Côte d’Azur（蔚蓝海岸大学）
在本文中，我们专注于识别日常生活活动（ADL）的时空方面。ADL有两个特定的属性（i）微妙的时空模式和（ii）随时间变化的相似的视觉模式。因此，ADL可能看起来非常相似，并且通常需要查看它们的细粒度细节以区分它们。由于最近的时空3D ConvNets过于僵化，无法捕捉动作中微妙的视觉模式，我们提出了一种新的视频姿势网络：VPN。这个VPN的两个关键组成部分是空间嵌入和注意力网络。空间嵌入将3D姿态和RGB线索投影在公共语义空间中。这使得动作识别框架能够利用这两种模态来学习更好的时空特征。为了区分类似的动作，注意力网络提供了两个功能-（i）利用人体拓扑结构的端到端可学习姿势骨干，以及（ii）用于提供跨视频的联合时空注意力权重的耦合器。实验表明，VPN优于最先进的结果，大规模的人类活动数据集：NTU-RGB+D 120，其子集NTU-RGB+D 60，一个现实世界中具有挑战性的人类活动数据集：丰田Smarthome和一个小规模的人机交互数据集西北加州大学洛杉矶分校的动作分类。
2020-07-06 cs.CV
Recognition of Daily Activities through Multi-Modal Deep Learning: A Video, Pose, and Object-Aware Approach for Ambient Assisted Living
Alicante Institute for Health and Biomedical Research (ISABIAL)（阿利坎特健康与生物医学研究所（ISABIAL））；ValgrAI - Valencian Graduate School and Research Network of Artificial Intelligence（瓦尔格AI——瓦伦西亚人工智能研究生院与研究网络）
本文提出一种多模态深度学习方法，结合视频、姿态和物体信息，用于老年人日常活动识别，提升环境辅助养老系统的准确性与实用性。
2026-03-04 cs.CV
An end-to-end generative framework for video segmentation and recognition
University of Bonn（波恩大学）；Brown University（布朗大学）
我们描述了一种端到端的生成方法，用于分割和识别人类活动。在这种方法中，一个视觉表示的基础上减少费舍尔矢量相结合的结构化的时间模型进行识别。我们表明，Fisher向量的统计特性使其成为生成模型（如高斯混合）的特别合适的前端。该系统进行评估的识别复杂的活动，以及他们的行动单位解析。使用从人类烹饪活动到动物行为的各种视频数据集，我们的实验表明，对于较大的数据集，即当有足够的数据可用于训练结构化生成模型时，所产生的架构优于最先进的方法。
2016-03-17 cs.CV
Gazing Into Missteps: Leveraging Eye-Gaze for Unsupervised Mistake Detection in Egocentric Videos of Skilled Human Activities
University of Catania（卡塔尼亚大学）；The University of Tokyo（东京大学）
本文提出一种利用眼动信号在第一人称视频中实现无监督错误检测的方法，通过眼动补全任务显式建模眼动与视觉标记的相关性，利用预测与观察的眼动轨迹不一致性识别错误，在多个数据集上取得显著相对增益并排名第一。
2025-07-16 cs.CV
Localizing Unseen Activities in Video via Image Query
Zhejiang University（浙江大学）；University of Electronic Science and Technology of China（电子科技大学）
未裁剪视频中的动作定位是视频理解领域的一个重要课题。然而，现有的动作定位方法仅限于一组预定义的动作，不能定位看不见的活动。因此，我们考虑一个新的任务，通过图像查询定位视频中看不见的活动，命名为基于图像的活动定位。该任务面临三个内在挑战：（1）如何消除图像查询中语义无关内容的影响;（2）如何处理不准确图像查询的模糊定位;（3）如何确定目标段的精确边界。然后，我们提出了一种新的自我注意力交互定位检索看不见的活动在一个端到端的方式。具体来说，我们首先设计了一个区域自注意方法与相对位置编码学习细粒度的图像区域表示。然后，我们使用一个本地的Transformer编码器来建立图像和视频内容的多步融合和推理。接下来，我们采用顺序敏感的定位器直接检索目标段。此外，我们通过重组ActivityNet数据集来构建新的数据集ActivityIBAL。大量的实验表明了该方法的有效性。
2019-06-28 cs.CV cs.IR
Improving Keystep Recognition in Ego-Video via Dexterous Focus
University of Minnesota（明尼苏达大学）
本文提出一种与网络架构无关的自视视频关键步骤识别框架，通过将输入稳定为以手部为中心的视频，在Ego-Exo4D细粒度基准上超越现有基线，无需改动底层模型。
2025-06-01 cs.CV
TimeGate: Conditional Gating of Segments in Long-range Activities
University of Amsterdam（阿姆斯特丹大学）；Qualcomm AI Research, Qualcomm Technologies Netherlands B.V.（高通人工智能研究院，高通技术荷兰有限公司）
当识别长距离活动时，探索整个视频是详尽的，并且计算成本很高，因为它可能长达几分钟。因此，仅对视频的显著部分进行采样是非常重要的。我们提出了TimeGate以及一个新型的条件门控模块，用于从长期活动中采样最具代表性的片段。TimeGate有两个新颖之处，解决了以前采样方法的缺点，如SCSampler。首先，它实现了对段的可微分采样。因此，TimeGate可以与现代CNN相匹配，并作为一个单一的统一模型进行端到端的训练。其次，采样以片段及其上下文为条件。因此，TimeGate更适合长距离活动，其中片段的重要性在很大程度上取决于视频上下文。TimeGate减少了现有CNN在长距离活动的三个基准上的计算：Charades，Breakfast和MultiThumos。特别是，TimeGate将I3D的计算量减少了50%，同时保持了分类精度。
2020-04-03 cs.CV
Learning Grammar of Complex Activities via Deep Neural Networks
Khoury College of Computer Sciences（胡里计算机学院）；Northeastern University（东北大学）
受在线流媒体服务上越来越多的公开视频数据以及对分析连续视频流（如自动驾驶）的应用越来越感兴趣的推动，本技术报告提供了对标签约束下用于视频学习的深度神经网络的理论见解。我建立在以前的工作视频学习计算机视觉，对模型的性能进行观察，并提出进一步的机制，以帮助改善我们的观察。
2021-01-07 cs.AI cs.CV
Multi-Label Activity Recognition using Activity-specific Features and Activity Correlations
Rutgers University–New Brunswick（罗格斯大学新布朗斯维克分校）；Amazon Web Service（亚马逊网络服务）
多标签活动识别被设计用于识别在每个视频中同时或顺序执行的多个活动。最近的活动识别网络专注于单一活动，即假设每个视频中只有一个活动。这些网络为所有活动提取共享特征，这些特征不是为多标签活动设计的。我们引入了一种多标签活动识别方法，该方法为每个活动提取独立的特征描述符并学习活动相关性。这种结构可以端到端训练，并插入任何现有的网络结构进行视频分类。我们的方法在四个多标签活动识别数据集上的表现优于最先进的方法。为了更好地理解系统生成的特定于活动的特征，我们在Charades数据集中可视化了这些特定于活动的特征。
2021-03-04 cs.CV
Dynamic Matrix Decomposition for Action Recognition
University of Engineering and Technology, Peshawar（白沙瓦工程技术大学）
设计一种自动分析视频中不同动作的技术，以检测感兴趣的活动的存在，今天是非常重要的。在本文中，我们探讨了一个强大的和动态的外观技术，以识别不同的动作活动。我们还利用低秩和结构化稀疏矩阵分解（LSMD）方法来更好地模拟这些活动。我们的方法是有效的编码本地化的时空特征，使本地运动发生在视频中的分析。我们提出的模型使用相邻帧的差异作为方法的输入，从而迫使它捕捉视频中发生的变化。我们的模型的性能进行测试的基准数据集的检测精度。与我们的模型取得的结果表明，我们的模型在检测动作活动的前景。
2019-02-20 cs.CV
SAVCHOI: Detecting Suspicious Activities using Dense Video Captioning with Human Object Interactions
University of Southern California（南加州大学）
在监控视频中检测可疑活动是实时监控中的一个长期问题，导致难以检测犯罪。因此，我们提出了一种新的方法来检测和总结监控视频中的可疑活动。我们还为UCF-Crime视频数据集创建了地面实况摘要。我们修改了一个预先存在的方法，利用人-物交互（HOI）模型的视觉功能的双模态Transformer的这项任务。此外，我们验证我们的方法对现有的国家的最先进的算法密集视频描述任务的ActivityNet字幕数据集。我们观察到，这种用于密集字幕的公式比其他讨论的BLEU@1，BLEU@2，BLEU@3，BLEU@4和METEOR的基于BMT的方法表现得更好。我们进一步对数据集和模型进行了比较分析，以报告基于不同NMS阈值（使用遗传算法搜索）的发现。在这里，我们的公式优于BLEU@1，BLEU@2，BLEU@3的所有模型，以及BLEU@4和METEOR的大多数模型，分别比ADV-INF Global少25%和0.5%。
2022-10-22 cs.AI cs.CV
How You Move Your Head Tells What You Do: Self-supervised Video Representation Learning with Egocentric Cameras and IMU Sensors
Indiana University（印第安纳大学）；Facebook Reality Labs（脸书现实实验室）
从头戴式摄像机中了解用户的活动是增强和虚拟现实（AR/VR）应用的基本任务。典型的方法是使用由人类标记的数据以监督的方式训练分类器。由于昂贵的注释成本和活动标签的封闭覆盖，这种方法具有局限性。解决这些限制的一种潜在方法是使用自监督学习（SSL）。SSL不依赖于人工注释，而是利用数据的内在属性来学习表示。我们对学习以自我为中心的视频表示特别感兴趣，这些视频表示受益于用户日常活动产生的头部运动，这些头部运动可以很容易地从嵌入在AR/VR设备中的IMU传感器中获得。为了实现这个目标，我们提出了一个简单而有效的方法来学习视频表示学习告诉相应的视频剪辑和头部运动对。我们证明了我们的学习表示识别人和狗的自我中心活动的有效性。
2021-10-04 cs.CV
Sensor-Augmented Egocentric-Video Captioning with Dynamic Modal Attention
Hitachi, Ltd.（日立制作所）
自动描述视频，或称视频描述，在多媒体领域得到了广泛的研究。本文提出了一种新的任务，传感器增强自我中心的视频描述，一个新构建的数据集，它称为MMAC字幕，和新提出的任务，有效地利用多模态数据的视频和运动传感器，或惯性测量单元（IMU）的方法。虽然传统的视频描述任务由于固定摄像机的有限视角而难以处理人类活动的详细描述，但自我中心视觉具有更大的潜力，可用于基于近得多的视角来生成人类活动的更细粒度的描述。此外，我们利用可穿戴传感器数据作为辅助信息，以减轻自我中心视觉的固有问题：运动模糊，自遮挡和相机范围外的活动。我们提出了一种方法，有效地利用传感器数据与视频数据的基础上的注意力机制，动态地确定模态，需要更多的关注，考虑到上下文信息。我们将所提出的传感器融合方法与MMAC Captions数据集上的强基线进行了比较，发现使用传感器数据作为自我中心视频数据的补充信息是有益的，并且我们提出的方法优于强基线，证明了所提出的方法的有效性。
2021-09-07 cs.CV
Learning to Compose Topic-Aware Mixture of Experts for Zero-Shot Video Captioning
University of California, Santa Barbara（加州大学圣巴巴拉分校）；The Ohio State University（俄亥俄州立大学）
虽然在视频描述中已经取得了有希望的结果，但现有的模型仅限于训练语料库中的固定活动清单，并且不推广到开放的词汇场景。在这里，我们介绍了一个新的任务，zero-shot视频描述，旨在描述看不见的活动的域外视频。不同活动的视频通常需要不同的字幕策略，如选词、语义构建、风格表达等，这对在没有配对训练数据的情况下刻画新颖的活动提出了很大的挑战。但与此同时，类似的活动在这些方面有一些共同之处。因此，本文提出了一种基于主题感知的混合专家模型（TAMoE），用于zero-shot视频描述，该模型能够根据不同的主题嵌入来组合不同的专家，将从可见活动中学习到的知识隐式地传递给不可见活动。此外，我们利用外部的主题相关的文本语料库来构建主题嵌入每个活动，它体现了主题内最相关的语义向量。实验结果不仅验证了该方法在利用语义知识进行视频描述方面的有效性，而且在描述新颖活动时也显示了其较强的泛化能力。
2018-11-23 cs.CL cs.CV cs.IR
Unsupervised Discovery of Actions in Instructional Videos
Robotics at Google（谷歌机器人部门）；Google Research（谷歌研究院）
在本文中，我们解决的问题，自动发现原子的行动在无监督的方式从教学视频。教学视频包含复杂的活动，是智能代理的丰富信息源，例如，自主机器人或虚拟助手，它们可以自动“读取”教学视频中的步骤并执行它们。然而，视频很少用原子活动、它们的边界或持续时间来注释。我们提出了一种无监督的方法来学习原子动作的结构化的人类任务，从各种教学视频。我们提出了一个序列随机自回归模型的时间分割的视频，学习表示和发现的顺序关系的任务的不同原子动作，并提供自动和无监督的自标记的视频。我们的方法优于最先进的无监督方法，具有很大的利润率。我们将开放源代码。
2021-06-28 cs.CV
Learning Human Activities and Object Affordances from RGB-D Videos
Cornell University（康奈尔大学）
理解人类活动和对象启示是两个非常重要的技能，特别是对于在人类环境中操作的个人机器人。在这项工作中，我们考虑的问题，提取一个描述性的标签的子活动序列正在执行的人，更重要的是，他们的互动与对象的形式相关联的启示。给定RGB-D视频，我们将人类活动和对象启示联合建模为马尔可夫随机场，其中节点表示对象和子活动，边缘表示对象启示之间的关系，它们与子活动的关系以及它们随时间的演变。我们制定的学习问题，使用结构支持向量机（SSVM）的方法，在不同的替代时间分割的标签被认为是潜在变量。我们在一个具有挑战性的数据集上测试了我们的方法，该数据集包括从4个受试者收集的120个活动视频，并获得了79.4%的可供性，63.4%的子活动和75.0%的高级别活动标签的准确性。然后，我们演示了使用这种描述性的标签在执行辅助任务的PR2机器人。
2013-05-06 cs.AI cs.CV cs.RO
A Video-grounded Dialogue Dataset and Metric for Event-driven Activities
National Institute of Advanced Industrial Science and Technology (AIST)（日本国立先进工业科学技术研究所（AIST））；Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
本文提出了VDAct数据集和VDEval评估指标，通过包含更长更复杂的视频和基于会话上下文的评估，解决了事件驱动活动中视频对话理解的挑战。
2025-01-30 cs.CL cs.CV
Multi-Focused Video Group Activities Hashing
Ningbo University（宁波大学）；Jiangnan University（江南大学）
本文提出M-STVH方法，通过多焦点表征学习实现对群体活动和物体视觉特征的联合建模，提升视频检索性能。
2025-12-27 cs.AI cs.CV
A Unified Approach for Modeling and Recognition of Individual Actions and Group Activities
University of Maryland, College Park（马里兰大学学院市分校）
识别群体活动是具有挑战性的，因为很难隔离个体实体，找到个体所扮演的各自角色，并表示参与者之间的复杂互动。视频中的个体动作和组活动可以在公共框架中表示，因为它们共享以下公共功能：两者都由描述运动的一组低级特征组成，例如，根据在时间和空间维度上的一组组成约束，每个像素的光流或每个特征点的轨迹。在本文中，我们提出了一个统一的模型来评估两个给定的个人或群体活动之间的相似性。我们的方法避免了明确提取个人演员，识别和代表人与人之间的互动。与所提出的方法，从视频数据库中检索可以通过查询的例子，和活动可以通过查询包含已知的活动的视频识别。所建议的视频匹配过程可以以无监督的方式执行。我们通过识别一组人类行为和足球比赛来展示我们方法的性能。
2012-08-21 cs.CV stat.ML
What Actions are Needed for Understanding Human Actions in Videos?
Carnegie Mellon University（卡内基梅隆大学）
对人类活动进行推理的正确方法是什么？哪些前进方向最有希望？在这项工作中，我们分析了视频中人类活动理解的现状。本文的目标是检查数据集，评估指标，算法和潜在的未来方向。我们着眼于定义活动的定性属性，如姿势可变性，简洁性和密度。实验考虑了多个最先进的算法和多个数据集。结果表明，虽然有内在的模糊性的时间范围内的活动，目前的数据集仍然允许有效的基准。我们发现，细粒度的理解对象和姿势结合时间推理时，可能会产生实质性的改进算法的准确性。我们提出了许多类型的信息，将需要实现实质性的收益，在活动的理解：对象，动词，意图和顺序推理。该软件和其他信息将提供给其他研究人员，以了解他们自己的算法。
2017-08-09 cs.CV
Fine-grained Activities of People Worldwide
Visym Labs（Visym实验室）；Systems & Technology Research（系统与技术研究院）
每天，人类都会进行许多密切相关的活动，这些活动涉及微妙的区别性动作，例如穿衬衫与穿夹克，或者握手与击掌。通过道德视觉人工智能进行活动识别可以深入了解我们的日常生活模式，但现有的活动识别数据集并不能捕捉到世界各地这些人类活动的巨大多样性。为了解决这一限制，我们引入了Collector，这是一款免费的移动应用程序，可以录制视频，同时注释同意受试者的对象和活动。这个新的数据汇集平台被用来管理人的活动数据集（CAP），这是第一个大规模的，精细的全球人的活动数据集。CAP数据集包含来自33个国家的780名受试者收集的512个精细活动标签的145万个视频剪辑。我们为此数据集提供活动分类和活动检测基准，并分析基线结果，以深入了解世界各地的人们如何执行常见活动。数据集、基准、评估工具、公共排行榜和移动应用程序可在visym.github.io/cap上使用。
2022-10-20 cs.CV
VHAKG: A Multi-modal Knowledge Graph Based on Synchronized Multi-view Videos of Daily Activities
National Institute of Advanced Industrial Science and Technology (AIST)（日本国立先进工业科学技术研究所（AIST））；Fujitsu Ltd.（富士通公司）
本文基于日常活动的同步多视角模拟视频构建了多模态知识图谱VHAKG，包含以事件为中心的知识和逐帧细粒度变化，并提供查询工具，支持视觉-语言模型的基准测试。
2024-08-28 cs.AI cs.CL cs.CV
ZSTAD: Zero-Shot Temporal Activity Detection
Xi’an Jiaotong University（西安交通大学）；Monash University（莫纳什大学）；The University of Queensland（昆士兰大学）；Carnegie Mellon University（卡内基梅隆大学）
视频分析和监控的一个组成部分是时间活动检测，这意味着同时识别和定位长未修剪视频中的活动。目前，最有效的时间活动检测方法是基于深度学习的，并且它们通常在大规模注释视频的训练中表现得非常好。然而，这些方法在实际应用中受到限制，由于无法获得关于某些活动类的视频和耗时的数据注释。为了解决这个具有挑战性的问题，我们提出了一种新的任务设置称为zero-shot时间活动检测（ZSTAD），在训练中从未见过的活动仍然可以被检测到。我们设计了一个基于R-C3 D的端到端深度网络作为该解决方案的架构。所提出的网络进行了优化，创新的损失函数，认为嵌入的活动标签及其超类，同时学习的共同语义的可见和不可见的活动。在THUMOS 14和Charades数据集上进行的实验表明，在检测看不见的活动方面表现出良好的性能。
2020-03-12 cs.CV
Learning Robot Activities from First-Person Human Videos Using Convolutional Future Regression
School of Informatics and Computing, Indiana University（印第安纳大学信息学与计算学院）
我们设计了一种新的方法，允许机器人学习的新活动，从未标记的人类的例子视频。给定从人类的观点来看人类执行相同活动的视频（即，第一人称视频），我们的目标是让机器人学习活动的时间结构作为其未来的回归网络，并学习将这种模型转移到自己的运动执行中。我们提出了一个新的深度学习模型：我们扩展了最先进的卷积目标检测网络，用于训练视频中人手的表示/估计，并新引入了使用完全卷积网络进行回归的概念（即，预测）对应于未来帧的中间场景表示（例如，1-2秒后）。结合这些可以直接预测人手和物体的未来位置，这使得机器人能够使用我们的操纵网络来推断电机控制计划。我们通过实验证实，我们的方法可以从未标记的人类交互视频中学习机器人活动，并证明我们的机器人能够直接根据其相机输入实时执行学习的协作活动。
2017-07-24 cs.AI cs.CV cs.LG
UnweaveNet: Unweaving Activity Stories
University of Bristol（布里斯托大学）；Columbia University（哥伦比亚大学）
我们的生活可以被看作是一个复杂的编织活动;我们从一个活动切换到另一个，以最大限度地提高我们的成就或对我们提出的要求作出反应。观察一段无脚本的日常活动视频，我们通过一个我们称之为解编织的过程将视频解析为它的组成活动线程。为了实现这一点，我们引入了一个视频表示，明确捕捉活动线程称为线程库，以及一个神经控制器能够检测目标的变化和恢复过去的活动，共同形成UnweaveNet。我们在来自无脚本自我中心数据集EPIC-KITCHENS的序列上训练和评估UnweaveNet。我们提出并展示了以自我监督的方式预训练UnweaveNet的功效。
2022-04-04 cs.CV
AssemblyHands-X: Modeling 3D Hand-Body Coordination for Understanding Bimanual Human Activities
The University of Tokyo（东京大学）
本文提出无标记3D手-身体基准AssemblyHands-X，结合多视角三角测量与SMPL-X拟合生成标注，并证明联合建模手身姿态可提升双手动作识别。
2025-09-28 cs.CV
Object Detection During Newborn Resuscitation Activities
University of Stavanger（斯塔万格大学）；Laerdal Medical（莱达尔医疗）；Haydom Lutheran Hospital（海多姆路德医院）；Aga Khan University（阿迦汗大学）；Stavanger University Hospital（斯塔万格大学医院）
出生窒息是低资源国家的一个主要新生儿死亡问题。国际指南提供了治疗建议;然而，不同治疗方法的重要性和效果尚未得到充分探讨。在坦桑尼亚收集新生儿复苏期间的可用数据，用于分析复苏活动和新生儿的反应。分析中的一个重要步骤是创建事件的活动时间表，其中活动包括通气、抽吸、刺激等。方法：可用的记录是具有较大变化的嘈杂的真实世界视频。我们提出了一个两步的过程，以检测活动可能在时间上重叠。第一步是检测和跟踪相关对象，如袋式面罩复苏器，心率传感器等，第二步是使用该信息来识别复苏活动。本文的主题是第一步，目标检测和跟踪是基于卷积神经网络和后处理。结果如下：在20个视频的测试集上，活动期间的目标检测的性能为96.97%（通气）、100%（附接/移除心率传感器）和75%（抽吸）。该系统还估计了医疗保健提供者的数量，其绩效为71.16%。结论：所提出的目标检测和跟踪系统在嘈杂的新生儿复苏视频中提供了有希望的结果。重要性：这是对新生儿复苏事件进行全面分析的第一步，这可以提供有关不同新生儿复苏活动的重要性和影响的重要见解
2023-03-14 cs.CV
Globally Continuous and Non-Markovian Activity Analysis from Videos
Disney Research Los Angeles（迪士尼洛杉矶研究院）；University of Leeds（利兹大学）；Trinity College Dublin（都柏林圣三一学院）
自动识别视频中的活动是视觉中的经典问题，有助于理解行为，描述场景和检测异常。为此，我们提出了一种无监督的方法。给定视频数据，我们会发现随着时间的推移出现，高峰，衰退和消失的重复活动模式。通过使用非参数贝叶斯方法，我们学习耦合的空间和时间模式与最小的先验知识。为了模拟模式的时间变化，以前的作品计算马尔可夫进程或局部连续的图案，而我们在全球连续和非马尔可夫的方式建模时间。从视觉上看，这些模式描绘了主要活动的流程。在时间上，每种模式都有其独特的出现-消失周期。为了计算紧凑的模式表示，我们还提出了一种混合采样方法。通过将这些模式与详细的环境信息相结合，我们可以解释活动的语义并报告异常。此外，我们的方法更好地拟合数据，并检测到以前难以检测到的异常。
2018-10-11 cs.CV
Learning to Adapt to Unseen Abnormal Activities under Weak Supervision
Seoul National University（首尔大学）
我们提出了一个元学习框架，用于视频中的弱监督异常检测，当只有视频级的二进制标签注释可用时，检测器学习有效地适应看不见的异常活动类型。我们的工作是出于这样一个事实，即现有的方法遭受不同的看不见的例子，从穷人的推广。我们声称，配备了元学习方案的异常检测器通过将模型引导到初始化点以进行更好的优化来消除限制。我们在两个具有挑战性的数据集UCF-Crime和ShanghaiTech上评估了我们的框架的性能。实验结果表明，我们的算法提高了在弱监督环境中定位不可见异常事件的能力。除了技术上的贡献外，我们还对UCF-Crime数据集中缺失的标签进行了标注，使我们的任务得到了有效的评估。
2022-03-25 cs.CV
