Recognizing Activities of Daily Living with a Wrist-mounted Camera
The University of Tokyo（东京大学）
我们提出了一种新的数据集和一种新的算法，用于从第一人称可穿戴相机中识别日常生活活动（ADL）。处理对象是至关重要的自我中心的ADL识别。为了与环境中的其他对象分开地对与用户的动作相关的对象进行特定检查，许多先前的工作已经解决了从头戴式和胸戴式相机捕获的图像中的被处理对象的检测。然而，检测被处理的对象并不总是容易的，因为它们往往在图像中显得很小。它们可能被用户的身体遮挡。如本文所述，我们将相机安装在用户的手腕上。腕戴式摄像机可以大规模地捕获被处理的对象，因此它使我们能够跳过目标检测过程。为了比较腕戴式摄像头和头戴式摄像头，我们还开发了一个新颖的公开数据集，其中包括两个摄像头同时捕获的日常活动的视频和注释。此外，我们提出了一个有区别的视频表示，保留空间和时间信息编码后提取的卷积神经网络（CNN）的帧描述符。
2016-04-28 cs.CV
TinyAction Challenge: Recognizing Real-world Low-resolution Activities in Videos
Center for Research in Computer Vision（计算机视觉研究中心）；University of Central Florida（中佛罗里达大学）
本文总结了在CVPR 2021的ActivityNet研讨会上组织的TinyAction挑战。这项挑战的重点是识别视频中存在的真实世界低分辨率活动。动作识别任务目前集中在对高质量视频中的动作进行分类，其中演员和动作清晰可见。虽然在最近的工作中，各种方法已经被证明对识别任务有效，但它们通常不处理低分辨率的视频，其中动作发生在一个很小的区域。然而，许多真实世界的安全视频通常以较小的分辨率捕获实际动作，这使得在微小区域中识别动作成为一项具有挑战性的任务。在这项工作中，我们提出了一个基准数据集TinyVIRAT-v2，它由自然发生的低分辨率动作组成。这是TinyVIRAT数据集的扩展，由具有多个标签的操作组成。这些视频是从安全视频中提取的，这使得它们更加逼真，更具挑战性。我们使用当前最先进的动作识别方法的数据集作为基准，并提出了TinyAction挑战。
2021-07-24 cs.CV
Cooking in the kitchen: Recognizing and Segmenting Human Activities in Videos
University of Bonn（波恩大学）；Brown University（布朗大学）
随着动作识别研究的成熟，重点正在从使用手动分割的视频数据集对基本任务导向的动作进行分类，转向理解现实世界中复杂的目标导向的日常人类活动。时间结构化模型似乎很容易解决这一系列问题，但到目前为止，这些模型优于简单的非结构化词袋模型的情况很少。随着大型人类活动数据集的可用性越来越高，再加上新的特征编码技术的发展，这些技术可以产生更紧凑的表示，现在是时候重新审视结构化生成方法了。在这里，我们描述了一个端到端的生成方法，从编码的功能，复杂的人类活动的结构建模，通过应用Fisher向量和时间模型的视频序列的分析。我们系统地评估了所提出的方法在几个可用的数据集（ADL，MPIICooking和早餐数据集）使用各种性能指标。通过广泛的系统评估，我们证明了基于Fisher向量的紧凑视频表示与基于HMM的建模相结合，在准确性方面获得了非常显着的收益，并且当使用足够的训练样本进行适当训练时，结构化时间模型在测试的性能指标上大幅优于非结构化词袋类型的模型。
2016-03-17 cs.CV
InceptB: A CNN Based Classification Approach for Recognizing Traditional Bengali Games
Daffodil International University（达法迪尔国际大学）
体育活动是我们日常生活中不可或缺的一部分。在计算机视觉领域，引入自主决策和预测模型来识别和分析不同的体育赛事和活动已经成为一个新兴的趋势。尽管人工智能和计算机视觉在识别不同的流行西方游戏方面取得了进展和生动的应用，但在识别传统孟加拉国游戏方面应用计算机视觉的努力仍然很少。在本文中，我们描述了一种新的基于深度学习的方法来识别传统的孟加拉语游戏。我们已经重新训练了由Google为我们的分类方法开发的著名的Inception V3架构的最后一层。我们的方法显示出良好的效果，平均准确率约为80%，正确识别5个传统的孟加拉国体育赛事。
2018-09-16 cs.CV
When Vehicles See Pedestrians with Phones:A Multi-Cue Framework for Recognizing Phone-based Activities of Pedestrians
University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Laboratory for Intelligent and Safe Automobiles（智能与安全汽车实验室）
智能车辆社区已经投入了相当大的努力来对驾驶员行为进行建模，并且特别是检测和克服驾驶员分心，以努力减少由驾驶员疏忽引起的事故。然而，随着该领域越来越多地转向自主和半自主解决方案，驱动程序不再是决策过程中不可或缺的一部分，这表明需要将工作重点重新放在其他地方。为此，我们建议改为研究行人分心问题。特别是，我们专注于检测行人谁是从事次要活动，涉及他们的手机和类似的手持多媒体设备从纯粹的视觉为基础的立场。为了实现这一目标，我们提出了一个管道，结合关节的人的姿态估计，其次是一个软对象标签转移从一个集合的样本SVM训练的最近邻居在姿态特征空间。我们还将头部凝视功能和先前的姿势信息进行手机相关的行人活动识别。最后，我们提供了一种方法来可靠地跟踪铰接的姿势的行人通过一系列的图像使用粒子滤波器与高斯过程动态模型（GPDM），然后可以用来估计顺序变化的活动分数在一个非常低的计算成本。整个框架是快速的（特别是对于顺序数据）和准确的，并且易于扩展以包括其他次要活动和分散注意力的来源。
2018-01-24 cs.CV
Recognizing Video Events with Varying Rhythms
Arizona State University（亚利桑那州立大学）
识别视频事件的长，复杂的视频与多个子活动最近一直受到关注。这项任务比传统的动作识别更具有挑战性，相对均匀的短视频剪辑。在本文中，我们探讨了识别长而复杂的事件与不同的动作节奏，这在文献中没有被考虑，但实际上是一个挑战的问题。我们的工作部分受到人类如何识别具有不同节奏的事件的启发：快速捕捉对特定事件贡献最大的帧。我们提出了一个两阶段的\emph{end-to-end}框架，其中第一阶段选择最重要的帧，而第二阶段使用所选择的帧识别事件。我们的模型在训练阶段只需要\emph{event-level labels}，因此当子活动标签丢失或难以获得时更实用。大量的实验结果表明，我们的模型可以实现显着提高事件识别从长视频，同时保持高精度，即使测试视频遭受严重的节奏变化。这证明了我们的方法在现实世界中基于视频的应用中的潜力，其中测试和训练视频在子活动的节奏上可能会有很大的不同。
2020-01-14 cs.CV
A Unified Approach for Modeling and Recognition of Individual Actions and Group Activities
University of Maryland, College Park（马里兰大学学院市分校）
识别群体活动是具有挑战性的，因为很难隔离个体实体，找到个体所扮演的各自角色，并表示参与者之间的复杂互动。视频中的个体动作和组活动可以在公共框架中表示，因为它们共享以下公共功能：两者都由描述运动的一组低级特征组成，例如，根据在时间和空间维度上的一组组成约束，每个像素的光流或每个特征点的轨迹。在本文中，我们提出了一个统一的模型来评估两个给定的个人或群体活动之间的相似性。我们的方法避免了明确提取个人演员，识别和代表人与人之间的互动。与所提出的方法，从视频数据库中检索可以通过查询的例子，和活动可以通过查询包含已知的活动的视频识别。所建议的视频匹配过程可以以无监督的方式执行。我们通过识别一组人类行为和足球比赛来展示我们方法的性能。
2012-08-21 cs.CV stat.ML
Let's Play for Action: Recognizing Activities of Daily Living by Learning from Life Simulation Video Games
Institute for Anthropomatics and Robotics（人类工程学与机器人研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
识别日常生活活动（ADL）是智能辅助机器人的一个重要过程，但收集大型注释数据集需要耗时的时间标记并引发隐私问题，例如，如果数据是在真实的家庭中收集的。在这项工作中，我们探索的概念，构建训练样本ADL识别玩生活模拟视频游戏，并介绍了SIMS4ACTION数据集创建的流行的商业游戏模拟人生4。我们通过“自上而下”的方式专门执行感兴趣的动作来构建Sims4Action，而游戏环境允许我们在环境，摄像机角度和主体外观之间自由切换。虽然从理论角度来看，游戏数据的ADL识别很有趣，但关键的挑战在于将其转移到现实世界的应用中，例如智能家居或辅助机器人。为了满足这一要求，Sims4Action附带了一个GamingToReal基准测试，其中模型在从现有ADL数据集导出的真实视频上进行评估。我们在我们的框架中集成了两种基于视频的活动识别的现代算法，揭示了生活模拟视频游戏作为训练数据的廉价且侵入性小得多的来源的价值。然而，我们的研究结果也表明，涉及游戏和真实数据混合的任务具有挑战性，开辟了一个新的研究方向。我们将在https://github.com/aroitberg/sims4action上公开我们的数据集。
2021-07-12 cs.AI cs.CV cs.MM
Group Activity Recognition in Computer Vision: A Comprehensive Review, Challenges, and Future Perspectives
School of Computer Science, Universiti Sains Malaysia（马来西亚理科大学计算机科学学院）；School of Engineering, College of Technology and Business, Guangzhou（广州工商学院工程学院）
本文综述了计算机视觉中群体活动识别的方法，从传统到基于HRNN、关系模型等最新技术，比较性能并总结挑战与未来方向。
2023-07-25 cs.AI cs.CV
Timeception for Complex Action Recognition
University of Amsterdam（阿姆斯特丹大学）
本文着重于识别视频中的人类活动的时间方面，一个重要的视觉线索，长期以来一直被低估。我们重新审视活动的传统定义，并将其限制为复杂行动：一组具有弱时间模式的单一行动，用于特定目的。相关的工作使用时空3D卷积与固定的内核大小，太刚性，以捕捉复杂的动作的时间范围的变化，和太短的长范围的时间建模。相比之下，我们使用多尺度时间卷积，并且我们降低了3D卷积的复杂性。结果是时间感受卷积层，它推导出分钟长的时间模式，比最佳相关作品长8倍。因此，Timeception在识别Charades，Breakfast Actions和MultiTHUMOS的人类活动方面达到了令人印象深刻的准确性。此外，我们证明了时间感受学习长距离的时间依赖性和容忍复杂的动作的时间范围。
2019-04-28 cs.CV
Integrating Features for Recognizing Human Activities through Optimized Parameters in Graph Convolutional Networks and Transformer Architectures
Khalifa University（哈利法大学）；Abu Dhabi University（阿布扎比大学）
本研究提出一种特征融合技术，将Transformer与参数优化的图卷积网络（PO-GCN）的最终层特征集成输入分类器，在四个公开数据集上验证了该方法显著提升了人类活动识别的准确率与F1分数。
2024-08-29 cs.AI cs.CV cs.RO
TinyVIRAT: Low-resolution Video Action Recognition
University of Central Florida（中佛罗里达大学）
现有的动作识别研究主要集中在动作清晰可见的高质量视频上。在现实世界的监控环境中，视频中的动作是以各种分辨率捕获的。大多数活动发生在一个小的分辨率距离和识别这样的活动是一个具有挑战性的问题。在这项工作中，我们专注于识别视频中的微小动作。我们介绍了一个基准数据集，TinyVIRAT，其中包含自然的低分辨率活动。TinyVIRAT视频中的动作有多个标签，它们是从监控视频中提取的，这使得它们更逼真，更具挑战性。我们提出了一种新的方法来识别视频中的微小动作，该方法利用渐进式生成方法来提高低分辨率动作的质量。所提出的方法还包括一个弱训练的注意力机制，它有助于集中在视频中的活动区域。我们进行了大量的实验，基准测试所提出的TinyVIRAT数据集，并观察到所提出的方法显着提高了动作识别性能的基线。我们还评估了所提出的方法在综合调整大小的动作识别数据集，并实现了最先进的结果与现有的方法相比。数据集和代码可在https://github.com/UgurDemir/Tiny-VIRAT上公开获得。
2020-07-14 cs.CV eess.IV
TimeGate: Conditional Gating of Segments in Long-range Activities
University of Amsterdam（阿姆斯特丹大学）；Qualcomm AI Research, Qualcomm Technologies Netherlands B.V.（高通人工智能研究院，高通技术荷兰有限公司）
当识别长距离活动时，探索整个视频是详尽的，并且计算成本很高，因为它可能长达几分钟。因此，仅对视频的显著部分进行采样是非常重要的。我们提出了TimeGate以及一个新型的条件门控模块，用于从长期活动中采样最具代表性的片段。TimeGate有两个新颖之处，解决了以前采样方法的缺点，如SCSampler。首先，它实现了对段的可微分采样。因此，TimeGate可以与现代CNN相匹配，并作为一个单一的统一模型进行端到端的训练。其次，采样以片段及其上下文为条件。因此，TimeGate更适合长距离活动，其中片段的重要性在很大程度上取决于视频上下文。TimeGate减少了现有CNN在长距离活动的三个基准上的计算：Charades，Breakfast和MultiThumos。特别是，TimeGate将I3D的计算量减少了50%，同时保持了分类精度。
2020-04-03 cs.CV
Learning To Recognize Procedural Activities with Distant Supervision
Columbia University（哥伦比亚大学）；Facebook AI Research（脸书人工智能研究院）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Dartmouth（达特茅斯学院）
在本文中，我们考虑分类细粒度的多步骤活动（例如，烹饪不同的食谱，进行不同的家居装修，创造各种形式的艺术和手工艺品）从长达几分钟的视频。准确地对这些活动进行分类不仅需要识别组成任务的各个步骤，还需要捕获它们的时间依赖性。这个问题与传统的动作分类有很大的不同，传统的动作分类模型通常是在视频上优化的，这些视频只有几秒钟的时间，并且被手动修剪以包含简单的原子动作。虽然步骤注释可以使模型的训练能够识别程序活动的各个步骤，但由于在长视频中手动注释时间边界的成本过高，该领域现有的大规模数据集不包括此类片段标签。为了解决这个问题，我们建议自动识别教学视频中的步骤，利用远程监督的文本知识库（wikiHow），其中包括执行各种复杂的活动所需的步骤的详细描述。我们的方法使用一个语言模型来匹配嘈杂的，自动转录的语音从视频中的知识库中的步骤描述。我们证明，经过训练以识别这些自动标记的步骤（无需人工监督）的视频模型产生了一种表示，该表示在四个下游任务上实现了卓越的泛化性能：程序活动识别，步骤分类，步骤预测和以自我为中心的视频分类。
2022-06-16 cs.CV
Drawing and Recognizing Chinese Characters with Recurrent Neural Network
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Montreal（蒙特利尔大学）
最近基于深度学习的方法在手写识别方面取得了巨大成功。汉字是世界上使用最广泛的书写系统之一。以往的研究主要集中在手写体汉字的识别上。然而，识别只是理解语言的一个方面，另一个具有挑战性和有趣的任务是教机器自动书写（象形）汉字。在本文中，我们提出了一个框架，通过使用循环神经网络（RNN）作为一个判别模型识别汉字和生成模型绘制（生成）汉字。为了识别汉字，以前的方法通常采用卷积神经网络（CNN）模型，需要将在线手写轨迹转换为图像表示。相反，我们基于RNN的方法是一个端到端系统，它直接处理序列结构，不需要任何特定领域的知识。使用RNN系统（结合LSTM和GRU），可以在ICDAR-2013竞赛数据库上实现最先进的性能。此外，在RNN框架下，提出了一个带有字符嵌入的条件生成模型，用于自动绘制可识别的汉字。生成的字符（矢量格式）是人类可读的，也可以通过判别RNN模型以高精度识别。实验结果验证了使用RNN作为生成和区分模型的有效性，用于绘制和识别汉字的任务。
2016-06-21 cs.CV
VPN: Learning Video-Pose Embedding for Activities of Daily Living
INRIA（法国国家信息与自动化研究所）；Université Nice Côte d’Azur（蔚蓝海岸大学）
在本文中，我们专注于识别日常生活活动（ADL）的时空方面。ADL有两个特定的属性（i）微妙的时空模式和（ii）随时间变化的相似的视觉模式。因此，ADL可能看起来非常相似，并且通常需要查看它们的细粒度细节以区分它们。由于最近的时空3D ConvNets过于僵化，无法捕捉动作中微妙的视觉模式，我们提出了一种新的视频姿势网络：VPN。这个VPN的两个关键组成部分是空间嵌入和注意力网络。空间嵌入将3D姿态和RGB线索投影在公共语义空间中。这使得动作识别框架能够利用这两种模态来学习更好的时空特征。为了区分类似的动作，注意力网络提供了两个功能-（i）利用人体拓扑结构的端到端可学习姿势骨干，以及（ii）用于提供跨视频的联合时空注意力权重的耦合器。实验表明，VPN优于最先进的结果，大规模的人类活动数据集：NTU-RGB+D 120，其子集NTU-RGB+D 60，一个现实世界中具有挑战性的人类活动数据集：丰田Smarthome和一个小规模的人机交互数据集西北加州大学洛杉矶分校的动作分类。
2020-07-06 cs.CV
Multi-Task Temporal Convolutional Networks for Joint Recognition of Surgical Phases and Steps in Gastric Bypass Procedures
University Hospital of Strasbourg（斯特拉斯堡大学医院）；IHU Strasbourg（斯特拉斯堡大学医院研究所）；Fondazione Policlinico Universitario Agostino Gemelli IRCCS（阿戈斯蒂诺·杰梅利大学综合医院基金会IRCCS）；IRCAD（斯特拉斯堡消化癌症研究所）；University of Verona（维罗纳大学）；ICube（斯特拉斯堡大学工程、计算机科学、成像与数学实验室）；University of Strasbourg（斯特拉斯堡大学）；CNRS（法国国家科学研究中心）
目的：手术活动的自动分割和分类对于在计算机辅助干预和机器人辅助手术中的自主功能中提供高级支持至关重要。先前的工作集中在识别粗糙的活动，如阶段，或细粒度的活动，如手势。这项工作旨在直接从视频中联合识别两个互补的粒度级别，即阶段和步骤。方法：我们介绍腹腔镜胃旁路手术的两个相关的手术活动，阶段和步骤。我们提出了一个多任务多阶段时间卷积网络（MTMS-TCN）以及一个多任务卷积神经网络（CNN）训练设置，以共同预测阶段和步骤，并从它们的互补性中受益，以更好地评估程序的执行。我们评估所提出的方法在一个大型的视频数据集，包括40个外科手术（手术40）。结果：我们提出了几个基线模型的实验结果，相位和步骤的识别上的Cassass 40数据集。与单任务方法相比，所提出的MTMS-TCN方法在相位和步骤识别中的准确率、精确率和召回率均优于1-2%。此外，对于步骤识别，与基于LSTM的模型相比，MTMS-TCN在准确性，精确度和召回率方面的性能优越3-6%。结论：在这项工作中，我们提出了一个用于手术活动识别的多任务多阶段时间卷积网络，与具有多级注释的Pastorass 40胃旁路数据集上的单任务模型相比，该网络显示了改进的结果。该方法表明，阶段和步骤的联合建模有利于提高对每类活动的整体识别。
2021-02-24 cs.CV
Human Gaze Guided Attention for Surgical Activity Recognition
手术活动的建模和自动识别是实现手术自动化的基本步骤，在向外科医生提供及时反馈方面发挥着重要作用。准确识别视频中的手术活动提出了一个具有挑战性的问题，需要一个有效的手段来学习空间和时间动态。人类注视和视觉显著性携带关于视觉注意的重要信息，并且可以用于提取更好地反映这些空间和时间动态的更多相关特征。在这项研究中，我们建议使用人类的目光与时空注意力机制的活动识别手术视频。我们的模型由基于I3D的架构组成，使用3D卷积学习时空特征，并使用人类凝视作为监督来学习注意力地图。我们评估我们的模型上的缝合任务的JIGSAWS，这是一个公开的手术视频理解数据集。据我们所知，我们是第一个使用人类凝视进行手术活动识别的人。我们的研究结果和消融研究支持使用人类凝视来引导注意力的贡献，其准确率为85.4%，优于最先进的模型。
2022-11-13 cs.CV eess.IV
Inferring Temporal Compositions of Actions Using Probabilistic Automata
The Australian e-Health Research Centre, CSIRO（澳大利亚联邦科学与工业研究组织（CSIRO）澳大利亚电子健康研究中心）；Australian Centre for Robotic Vision (ACRV), Australian National University（澳大利亚国立大学澳大利亚机器人视觉中心（ACRV））；Mitsubishi Electric Research Labs (MERL)（三菱电机研究实验室（MERL））；A*AI, A*STAR（新加坡科技研究局（A*STAR）A*AI）
本文提出了一个框架来识别视频中原子动作的时间组成。具体来说，我们建议表达时间组成的动作作为语义正则表达式，并推导出一个推理框架，使用概率自动机来识别复杂的动作，满足这些表达式的输入视频功能。我们的方法是从现有的作品，无论是预测长期复杂的活动，无序的原子动作集，或检索视频使用自然语言句子不同。相反，所提出的方法允许仅使用预先训练的动作分类器来识别复杂的细粒度活动，而不需要任何额外的数据、注释或神经网络训练。为了评估我们的方法的潜力，我们提供了合成数据集和具有挑战性的真实动作识别数据集，如MultiTHUMOS和Charades的实验。我们的结论是，所提出的方法可以扩展国家的最先进的原始动作分类器，大大更复杂的活动，没有大的性能下降。
2020-04-28 cs.CV
Order Matters: On Parameter-Efficient Image-to-Video Probing for Recognizing Nearly Symmetric Actions
Institute for Artificial Intelligence, University of Stuttgart（人工智能研究所，斯图加特大学）；Intelligent Assistive Systems Lab, University of Hildesheim（智能辅助系统实验室，希尔德斯海姆大学）
STEP通过轻量级探测扩展，利用帧级位置编码等方法提升对近似对称动作的识别精度，优于PEFT和全微调模型。
2026-02-22 cs.CV
Spatio-Temporal Proximity-Aware Dual-Path Model for Panoramic Activity Recognition
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院(KAIST)）
针对全景活动识别中多尺度交互与多粒度理解挑战，提出基于时空邻近感知的双路径网络SPDP-Net，通过个体到全局与个体到社交双路径相互增强，在JRDB-PAR数据集上取得46.5%的F1分数。
2024-03-21 cs.CV
When the Few Outweigh the Many: Illicit Content Recognition with Few-Shot Learning
Eindhoven University of Technology（埃因霍温理工大学）；Jheronimus Academy of Data Science（杰罗尼姆斯数据科学学院）；Tilburg University（蒂尔堡大学）；University of Padova（帕多瓦大学）
本文研究利用孪生神经网络的单样本和少样本学习方法，从暗网图像中识别非法活动，在10类数据集上20-Shot实验达到90.9%准确率，为暗网自动化执法提供了低成本且有前景的替代方案。
2023-11-28 cs.AI cs.CR cs.CV
Coarse Temporal Attention Network (CTA-Net) for Driver's Activity Recognition
Edge Hill University（边山大学）
在从视频中识别传统人类活动方面取得了重大进展，这些视频侧重于涉及有区别的身体运动、身体-物体和/或人-人交互的高度独特的动作。驾驶员的活动是不同的，因为它们是由相同的主体以相似的身体部位运动执行的，从而导致微妙的变化。为了解决这个问题，我们提出了一个新的框架，利用时空注意力模型的微妙变化。我们的模型被命名为粗时间注意力网络（CTA-Net），其中粗时间分支被引入到可训练的一瞥网络中。其目标是通过关注视频的特定部分，允许一瞥捕捉高级时间关系，例如“期间”，“之前”和“之后”。这些分支还尊重视频中时间动态的拓扑，确保不同的分支学习有意义的空间和时间变化。然后，该模型使用创新的注意力机制，通过探索LSTM的隐藏状态来生成用于活动识别的高级动作特定上下文信息。注意力机制通过在构建视频的表示时对每个隐藏状态进行加权来帮助学习确定每个隐藏状态对于识别任务的重要性。我们的方法在四个公开访问的数据集上进行了评估，并且在仅使用RGB视频作为输入的情况下，其性能明显优于最先进的技术。
2021-01-17 cs.AI cs.CV cs.LG
