SAFER-Activities: A Dataset for Smart Assessment of Fall Events and Routine Activities
KU Leuven（鲁汶大学）；Asian Institute of Technology（亚洲理工学院）
提出SAFER-Activities数据集，含66小时多摄像头视频、85,310个动作实例和30类帧级标注，用于跌倒检测与活动监控，并验证了骨架模型在跨域泛化上的优势。
2026-09-10 cs.AI cs.CV
Learning To Recognize Procedural Activities with Distant Supervision
Columbia University（哥伦比亚大学）；Facebook AI Research（脸书人工智能研究院）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Dartmouth（达特茅斯学院）
在本文中，我们考虑分类细粒度的多步骤活动（例如，烹饪不同的食谱，进行不同的家居装修，创造各种形式的艺术和手工艺品）从长达几分钟的视频。准确地对这些活动进行分类不仅需要识别组成任务的各个步骤，还需要捕获它们的时间依赖性。这个问题与传统的动作分类有很大的不同，传统的动作分类模型通常是在视频上优化的，这些视频只有几秒钟的时间，并且被手动修剪以包含简单的原子动作。虽然步骤注释可以使模型的训练能够识别程序活动的各个步骤，但由于在长视频中手动注释时间边界的成本过高，该领域现有的大规模数据集不包括此类片段标签。为了解决这个问题，我们建议自动识别教学视频中的步骤，利用远程监督的文本知识库（wikiHow），其中包括执行各种复杂的活动所需的步骤的详细描述。我们的方法使用一个语言模型来匹配嘈杂的，自动转录的语音从视频中的知识库中的步骤描述。我们证明，经过训练以识别这些自动标记的步骤（无需人工监督）的视频模型产生了一种表示，该表示在四个下游任务上实现了卓越的泛化性能：程序活动识别，步骤分类，步骤预测和以自我为中心的视频分类。
2022-06-16 cs.CV
Transferring Knowledge from Text to Video: Zero-Shot Anticipation for Procedural Actions
University of Bonn（波恩大学）；Indian Institute of Technology (ISM) Dhanbad（印度理工学院（印度矿业学院）丹巴德分校）；National University of Singapore（新加坡国立大学）
我们能教会机器人识别和预测它以前从未见过的活动吗？我们通过从文本中学习视频模型来解决这个问题。本文提出了一种分层模型，从大规模的文本语料库中概括教学知识，并将知识转移到视频。给定教学视频的一部分，我们的模型识别并预测未来多个步骤的连贯和合理的动作，所有这些都是丰富的自然语言。为了证明我们的模型的能力，我们介绍了\emph{Tasty Videos Dataset V2}，一个集合的4022食谱零样本学习，识别和预测。各种评估指标的广泛实验证明了我们的方法的泛化潜力，给定有限的视频数据的训练模型。
2022-11-05 cs.CV
Hearing Lips: Improving Lip Reading by Distilling Speech Recognizers
Zhejiang University（浙江大学）；Stevens Institute of Technology（史蒂文斯理工学院）；Alibaba Group（阿里巴巴集团）
由于深度学习和大规模数据集的可用性，唇读近年来取得了前所未有的发展。尽管取得了令人鼓舞的结果，唇读的性能，不幸的是，仍然不如其对应的语音识别之一，由于其致动的模糊性，使得它具有挑战性的唇运动视频提取判别特征。在本文中，我们提出了一种新的方法，称为唇语音（LIBS），其目标是加强唇读从语音识别器的学习。我们的方法背后的基本原理是，从语音识别器中提取的特征可以提供互补和判别的线索，这是强大的，从嘴唇的微妙运动，从而促进唇读者的培训。具体来说，这是通过从语音识别器到唇读器提取多粒度知识来实现的。为了进行这种跨模态的知识蒸馏，我们利用一个有效的对齐方案来处理不一致的长度的音频和视频，以及一个创新的过滤策略，以完善语音识别器的预测。该方法在CMLR和LRS2数据集上实现了新的最先进的性能，在字符出错率方面分别优于基线7.66%和2.75%。
2019-11-26 cs.CV cs.LG eess.AS
Video2IMU: Realistic IMU features and signals from videos
VTT Technical Research Centre of Finland（芬兰VTT技术研究中心）；University of Oulu（奥卢大学）
来自可穿戴传感器数据的人体活动识别（HAR）可识别无约束环境中的运动或活动。HAR是一个具有挑战性的问题，因为它在不同学科之间存在很大的差异。获得大量标记数据并不简单，因为可穿戴传感器信号在简单的人类检查时不容易标记。在我们的工作中，我们提出了使用神经网络的现实信号和功能，使用人类活动的单目视频的生成。我们展示了如何利用这些生成的功能和信号，而不是他们真正的对手，训练HAR模型，可以识别活动使用可穿戴传感器获得的信号。为了证明我们的方法的有效性，我们进行实验的活动识别数据集创建的工业工作安全的改善。我们表明，我们的模型是能够真实地生成虚拟传感器信号和功能，可用于训练的HAR分类器与使用真实的传感器数据训练的一个性能相当。我们的研究结果使得可以使用可用的标记视频数据来训练HAR模型，以分类来自可穿戴传感器的信号。
2022-02-14 cs.CV
Fine-grained Human Activity Recognition Using Virtual On-body Acceleration Data
Georgia Institute of Technology（佐治亚理工学院）；Emory University（埃默里大学）
以前的工作已经证明，使用跨模态传输方法（如IMUTube）从视频中提取的虚拟加速度测量数据有利于训练复杂和有效的人类活动识别（HAR）模型。像IMUTube这样的系统最初设计用于覆盖基于大量身体（部分）运动的活动。然而，生活是复杂的，日常生活的一系列活动仅基于相当微妙的运动，这就产生了一个问题，即像IMUTube这样的系统在多大程度上对细粒度HAR也有价值，即，IMUTube什么时候坏？在这项工作中，我们首先介绍了一种措施，以定量评估人类运动的细微之处，是潜在的活动的兴趣-运动细微指数（MSI）-它捕获本地像素运动和姿态变化的目标虚拟传感器位置附近，并将其与最终的活动识别精度。然后，我们在IMUTube上进行了一次“压力测试”，并探索了跨模态转移方法适用于哪些具有潜在微妙运动的活动，以及哪些不适用。因此，本文中提出的工作使我们能够在实际场景中绘制出IMUTube应用的前景。
2022-11-02 cs.CV
Multi-Type Activity Recognition in Robot-Centric Scenarios
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）；Indiana University（印第安纳大学）
活动识别在机器人与人类交互、监视或协助人类的场景中非常有用。在过去的几年里，许多类型的活动-单一的行动，两个人的互动或以自我为中心的活动，仅举几例-已经被分析了。虽然传统方法单独处理这些类型的活动，但自主机器人应该能够检测和识别多种类型的活动，以有效地完成其任务。我们提出了一种方法，本质上是能够检测和识别不同类型的活动发生顺序或并发。我们提出了一个新的统一的描述符，称为关系历史图像（RHI），它可以从所有的活动类型，我们感兴趣的。然后，我们制定了一个优化程序来检测和识别不同类型的活动。我们将我们的方法应用于从以机器人为中心的角度记录的新数据集，并与多个基线相比系统地评估其质量。最后，我们展示了RHI描述符在公开数据集上进行广泛比较的有效性。
2016-04-12 cs.CV
Effective Human Activity Recognition Based on Small Datasets
The Hong Kong Polytechnic University（香港理工大学）
最近关于基于视觉的人类活动识别（HAR）的工作主要集中在为任务设计复杂的深度学习模型。在这样做时，需要收集大型数据集。由于获取和处理大型训练数据集通常非常昂贵，因此必须解决如何在不影响识别精度的情况下减少数据集大小的问题。为此，我们提出了一种由三个步骤组成的HAR方法：（i）涉及基于原始数据的变换生成新特征的数据变换，（ii）涉及基于AdaBoost算法学习分类器和使用由变换后的特征组成的训练数据的特征提取，以及（iii）参数确定和模式识别，包括基于在（ii）中生成的特征确定参数，以及使用这些参数作为用于识别人类活动的深度学习算法的训练数据。与现有方法相比，该方法具有简单、鲁棒的优点。所提出的方法已经过测试，在一个相对较小的真实数据集上进行了大量的实验。实验结果表明，该方法在训练数据较小的情况下也能较准确地识别人体活动。
2020-04-29 cs.CV cs.LG eess.IV
Semantically-Aware Diver Activity Recognition Framework for Effective Underwater Multi-Human-Robot Collaboration
University of Minnesota（明尼苏达大学）
提出DAR-Net框架，结合Transformer时间推理与像素级场景监督，通过多损失训练对齐全局活动识别与局部人机交互语义，解决低可见度水下环境中的潜水员活动识别问题，并发布首个水下潜水员活动数据集UDA。
2026-06-11 cs.CV cs.RO
VPN: Learning Video-Pose Embedding for Activities of Daily Living
INRIA（法国国家信息与自动化研究所）；Université Nice Côte d’Azur（蔚蓝海岸大学）
在本文中，我们专注于识别日常生活活动（ADL）的时空方面。ADL有两个特定的属性（i）微妙的时空模式和（ii）随时间变化的相似的视觉模式。因此，ADL可能看起来非常相似，并且通常需要查看它们的细粒度细节以区分它们。由于最近的时空3D ConvNets过于僵化，无法捕捉动作中微妙的视觉模式，我们提出了一种新的视频姿势网络：VPN。这个VPN的两个关键组成部分是空间嵌入和注意力网络。空间嵌入将3D姿态和RGB线索投影在公共语义空间中。这使得动作识别框架能够利用这两种模态来学习更好的时空特征。为了区分类似的动作，注意力网络提供了两个功能-（i）利用人体拓扑结构的端到端可学习姿势骨干，以及（ii）用于提供跨视频的联合时空注意力权重的耦合器。实验表明，VPN优于最先进的结果，大规模的人类活动数据集：NTU-RGB+D 120，其子集NTU-RGB+D 60，一个现实世界中具有挑战性的人类活动数据集：丰田Smarthome和一个小规模的人机交互数据集西北加州大学洛杉矶分校的动作分类。
2020-07-06 cs.CV
Inferring Temporal Compositions of Actions Using Probabilistic Automata
The Australian e-Health Research Centre, CSIRO（澳大利亚联邦科学与工业研究组织（CSIRO）澳大利亚电子健康研究中心）；Australian Centre for Robotic Vision (ACRV), Australian National University（澳大利亚国立大学澳大利亚机器人视觉中心（ACRV））；Mitsubishi Electric Research Labs (MERL)（三菱电机研究实验室（MERL））；A*AI, A*STAR（新加坡科技研究局（A*STAR）A*AI）
本文提出了一个框架来识别视频中原子动作的时间组成。具体来说，我们建议表达时间组成的动作作为语义正则表达式，并推导出一个推理框架，使用概率自动机来识别复杂的动作，满足这些表达式的输入视频功能。我们的方法是从现有的作品，无论是预测长期复杂的活动，无序的原子动作集，或检索视频使用自然语言句子不同。相反，所提出的方法允许仅使用预先训练的动作分类器来识别复杂的细粒度活动，而不需要任何额外的数据、注释或神经网络训练。为了评估我们的方法的潜力，我们提供了合成数据集和具有挑战性的真实动作识别数据集，如MultiTHUMOS和Charades的实验。我们的结论是，所提出的方法可以扩展国家的最先进的原始动作分类器，大大更复杂的活动，没有大的性能下降。
2020-04-28 cs.CV
SKI Models: Skeleton Induced Vision-Language Embeddings for Understanding Activities of Daily Living
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Inria（法国国家信息与自动化研究所）
本文提出SKI模型，通过SkeletonCLIP将3D骨架信息注入视觉-语言模型，在推理时无需骨架数据即可提升ADL视频的零样本动作识别与视频描述生成能力。
2025-02-05 cs.CV
ElderSim: A Synthetic Data Generation Platform for Human Action Recognition in Eldercare Applications
Korea Institute of Science and Technology (KIST)（韩国科学技术研究院）
为了训练深度学习模型，用于基于视觉的老年人日常活动的动作识别，我们需要在各种日常生活环境和条件下获取的大规模活动数据集。然而，大多数用于人类行为识别的公共数据集在许多方面与老年人的活动不同或覆盖范围有限，使得仅利用现有数据集很好地识别老年人的日常活动具有挑战性。最近，通过从真实模拟环境生成合成数据并使用这些数据来训练深度学习模型，已经积极地补偿了可用数据集的这种限制。在本文中，基于这些想法，我们开发了ElderSim，一个行动模拟平台，可以生成合成数据的老年人的日常活动。对于55种常见的日常活动的老人，ElderSim生成逼真的运动的合成人物与各种可调的数据生成选项，并提供不同的输出方式，包括RGB视频，二维和三维骨骼轨迹。然后，我们生成KIST SynADL，一个大规模的老年人的日常生活活动的综合数据集，从ElderSim和使用的数据，除了真实的数据集训练三个国家的最先进的人类动作识别模型。根据几个新提出的假设不同的真实和合成数据集配置进行训练的场景的实验，我们观察到通过增加我们的合成数据可以显著提高性能。我们还提供指导和见解，以有效利用合成数据，帮助识别老年人的日常活动。
2020-10-28 cs.CV cs.LG eess.IV
Unsupervised Deep Learning-based clustering for Human Activity Recognition
University of Milano - Bicocca（米兰比可卡大学）
针对惯性传感器人类活动识别缺乏标注数据的问题，提出DISC无监督深度学习聚类架构，结合循环自编码器与聚类准则自动标注信号，在三个公开数据集上优于四种深度聚类方法。
2022-11-10 cs.CV cs.LG
ZSTAD: Zero-Shot Temporal Activity Detection
Xi’an Jiaotong University（西安交通大学）；Monash University（莫纳什大学）；The University of Queensland（昆士兰大学）；Carnegie Mellon University（卡内基梅隆大学）
视频分析和监控的一个组成部分是时间活动检测，这意味着同时识别和定位长未修剪视频中的活动。目前，最有效的时间活动检测方法是基于深度学习的，并且它们通常在大规模注释视频的训练中表现得非常好。然而，这些方法在实际应用中受到限制，由于无法获得关于某些活动类的视频和耗时的数据注释。为了解决这个具有挑战性的问题，我们提出了一种新的任务设置称为zero-shot时间活动检测（ZSTAD），在训练中从未见过的活动仍然可以被检测到。我们设计了一个基于R-C3 D的端到端深度网络作为该解决方案的架构。所提出的网络进行了优化，创新的损失函数，认为嵌入的活动标签及其超类，同时学习的共同语义的可见和不可见的活动。在THUMOS 14和Charades数据集上进行的实验表明，在检测看不见的活动方面表现出良好的性能。
2020-03-12 cs.CV
THORN: Temporal Human-Object Relation Network for Action Recognition
Inria（法国国家信息与自动化研究所）；Université Côte d’Azur（蔚蓝海岸大学）
大多数动作识别模型将人类活动视为单一事件。然而，人类的活动往往遵循一定的等级制度。事实上，许多人类活动都是合成的。此外，这些动作大多是人与物体的交互。在本文中，我们建议利用定义一个动作的一组交互来识别人的动作。在这项工作中，我们提出了一个端到端的网络：THORN，它可以利用重要的人与对象和对象与对象的交互来预测动作。该模型建立在3D骨干网络之上。我们的模型的关键组成部分是：1）一个对象表示过滤器建模对象。2)对象关系推理模块，用于捕获对象关系。3)一个分类层来预测动作标签。为了展示THORN的鲁棒性，我们在EPIC-Kitchen 55和EGTEA Gaze+上进行了评估，这是两个最大和最具挑战性的第一人称和人机交互数据集。THORN在这两个数据集上都实现了最先进的性能。
2022-04-20 cs.CV
Dominant Codewords Selection with Topic Model for Action Recognition
National Institute of Advanced Industrial Science and Technology (AIST)（产业技术综合研究所（AIST））；Keio University（庆应义塾大学）；Technische Universitat Munchen (TUM)（慕尼黑工业大学（TUM））
在本文中，我们提出了一个框架，用于识别人类活动，只使用主题占主导地位的码字和混合的主题间向量。潜在的狄利克雷分配（LDA）是用来开发近似的人类运动原语，这些都是中级表示，他们自适应地整合主导向量分类人类活动时。在LDA主题建模中，动作视频（文档）由词袋（从字典输入）表示，并且这些基于改进的密集轨迹。输出主题对应于人体运动基元，例如手指移动或细微的腿部运动。我们消除了杂质，如错过跟踪或改变光线条件，在每个运动基元。运动基元的组装向量是动作的改进表示。我们在四个不同的数据集上展示了我们的方法。
2016-05-01 cs.CV
InceptB: A CNN Based Classification Approach for Recognizing Traditional Bengali Games
Daffodil International University（达法迪尔国际大学）
体育活动是我们日常生活中不可或缺的一部分。在计算机视觉领域，引入自主决策和预测模型来识别和分析不同的体育赛事和活动已经成为一个新兴的趋势。尽管人工智能和计算机视觉在识别不同的流行西方游戏方面取得了进展和生动的应用，但在识别传统孟加拉国游戏方面应用计算机视觉的努力仍然很少。在本文中，我们描述了一种新的基于深度学习的方法来识别传统的孟加拉语游戏。我们已经重新训练了由Google为我们的分类方法开发的著名的Inception V3架构的最后一层。我们的方法显示出良好的效果，平均准确率约为80%，正确识别5个传统的孟加拉国体育赛事。
2018-09-16 cs.CV
DISCOVER: Identifying Patterns of Daily Living in Human Activities from Smart Home Data
Georgia Institute of Technology（佐治亚理工学院）
DISCOVER通过自监督学习和可视化接口，从智能家庭数据中发现日常活动模式，以更细粒度和个性化的方式识别居民行为，为健康监测和认知退化研究提供新方法。
2026-02-03 cs.AI cs.CV cs.HC
Automatic Operating Room Surgical Activity Recognition for Robot-Assisted Surgery
Intuitive Surgical Inc.（直觉外科公司）
手术室（OR）中手术活动的自动识别是创建下一代智能手术设备和工作流程监控/支持系统的关键技术。这种系统可以潜在地提高OR的效率，从而降低成本并改善对患者的护理。在本文中，我们研究了机器人辅助手术中的自动手术活动识别。我们收集了第一个大规模的数据集，包括400个完整长度的多视角视频，这些视频来自使用飞行时间相机捕获的各种机器人手术病例。我们用10种最受认可和临床相关的活动类别对视频进行了密集注释。此外，我们研究了最先进的计算机视觉动作识别技术，并使其适应OR环境和数据集。首先，我们对Inflated 3D ConvNet（I3 D）进行微调，以便在我们的数据集上进行剪辑级活动识别，并使用它从视频中提取特征。然后，这些特征被馈送到3个时间高斯混合层的堆栈，该堆栈从相邻剪辑中提取上下文，并最终通过长短期记忆网络来学习全长视频中的活动顺序。我们广泛地评估了模型，并达到了88%的平均平均精度的峰值性能。
2020-06-29 cs.CV
Personalization in Human Activity Recognition
University of Milano Bicocca（米兰比可卡大学）
近年来，人们对能够自动识别人所进行的活动的技术越来越感兴趣。这个领域被称为人类活动识别（HAR）。HAR在监测人们的福祉方面至关重要，特别是老年人和受退化性疾病影响的人。主要挑战之一涉及人口的多样性，以及如何由于身体特征和生活方式而以不同的方式开展相同的活动。在本文中，我们探讨了利用物理特征和信号相似性的可能性，以实现不依赖于此信息的深度学习分类器更好的结果。
2020-09-01 cs.CV cs.LG
Surgical Activity Recognition in Robot-Assisted Radical Prostatectomy using Deep Learning
Georgia Institute of Technology（佐治亚理工学院）；University of Southern California（南加利福尼亚大学）；Intuitive Surgical Inc.（直觉外科手术公司）
不良的手术结果对患者和医院来说是昂贵的。基准手术护理的方法通常限于整个手术过程中的总体测量，尽管特定任务的执行在很大程度上是不良结果的原因。为了从任务而不是整个过程中产生度量，需要自动识别各个手术任务的方法。在本文中，我们提出了几种方法来识别机器人辅助微创手术中的手术活动，使用深度学习。我们收集了100个机器人辅助根治性前列腺切除术（RARP）的临床数据集，每个手术有12个任务，并提出了“RP-Net”，这是InceptionV 3模型的修改版本，用于基于图像的手术活动识别。我们使用RP-Net在所有任务中实现了80.9%的平均准确率和76.7%的平均召回率，优于本文中探索的所有其他基于RNN和CNN的模型。我们的研究结果表明，RARP期间的自动手术活动识别是可行的，可以成为高级分析的基础。
2018-06-01 cs.CV
EasyLens: A Training-Free Plug-and-Play Subtle-Lesion Representation Amplifier for Medical Vision-Language Models
Jilin University（吉林大学）；School of Computer Science, The University of Sydney（悉尼大学计算机科学学院）；ByteDance（字节跳动）；Institute of Translational Medicine, Shanghai Jiao Tong University（上海交通大学转化医学研究院）
提出EasyLens，一种无需训练的即插即用模块，通过构建病理-解剖原型空间、反事实推理选择病变相关补丁以及形态引导残差增强，放大医学视觉语言模型对微病变的表示能力。
2026-10-08 cs.AI cs.CV
Unstructured Human Activity Detection from RGBD Images
Cornell University（康奈尔大学）
能够检测和识别人类活动对于包括个人辅助机器人在内的多种应用至关重要。在本文中，我们执行非结构化的人类活动在非结构化环境中的检测和识别。我们使用RGBD传感器（Microsoft Kinect）作为输入传感器，并根据人体姿势和运动以及图像和点云信息计算一组特征。我们的算法是基于分层最大熵马尔可夫模型（MEMM），它认为一个人的活动组成的一组子活动。我们使用动态规划方法推断出两层图结构。我们测试了我们的算法，检测和识别四个人在不同环境中（如厨房，客厅，办公室等）进行的十二种不同活动，并且即使在训练集中之前没有见过该人时也能实现良好的性能。
2012-02-14 cs.CV cs.RO
Machine-Generated Hierarchical Structure of Human Activities to Reveal How Machines Think
Abdullah Gül University（阿卜杜拉·居尔大学）；Boğaziçi University（博阿齐奇大学）；University College Dublin（都柏林大学学院）
基于深度学习的计算机视觉模型已被证明是人类活动识别（HAR）的突破性方法。然而，大多数现有的工作都致力于通过创建新的模型架构，增加模型复杂性或通过在更大的数据集上训练来改进模型参数来提高预测精度。在这里，我们提出了一个与现有工作不同的替代想法，以提高模型的准确性，并通过自动为类似的人类活动组创建更高级别的汇总标签来塑造模型预测，以符合人类的理解。首先，我们论证了构建一个层次化的人类活动识别标记系统的重要性和可行性。然后，我们利用黑盒HAR模型的预测来识别不同活动之间的相似性。最后，我们调整层次聚类方法，自动生成活动的层次树，并进行实验。在该系统中，同一级别上的活动标签将具有设计的准确度，并反映特定数量的活动细节。该策略通过掩盖一些敏感的预测，实现了识别活动中的细节程度与用户隐私之间的权衡;并且还提供了在涉及隐私的场景中使用以前禁止的入侵模型的可能性。由于层次结构是从机器的角度生成的，因此上层的预测提供了更好的准确性，这在训练集中有太详细的标签时特别有用，这些标签对最终预测目标来说是微不足道的。此外，对这些树的结构的分析可以揭示预测模型中的偏差，并指导未来的数据汇集策略。
2021-01-19 cs.CV cs.CY
PovNet+: A Deep Learning Architecture for Socially Assistive Robots to Learn and Assist with Multiple Activities of Daily Living
University of Toronto（多伦多大学）
PovNet+是一种多模态深度学习架构，用于社交辅助机器人识别多种日常活动并主动发起辅助行为，提升了ADL分类准确率和人机交互能力。
2026-01-28 cs.CV cs.RO
Discovery and recognition of motion primitives in human activities
我们提出了一个用于自动发现和识别人类活动视频中运动基元的新框架。给定视频中人的3D姿态，通过优化“运动通量”（捕获一组骨骼关节的运动变化的量）来发现人的运动基元。提出了基元的归一化，以使它们相对于受试者解剖变化和数据采样率不变。发现的原语是未知的，未标记的，并通过分层非参数贝叶斯混合模型无监督地收集到类。一旦类被确定和标记，它们将被进一步分析以建立用于识别所发现的基元的模型。每个基元模型由一组学习参数定义。给定新的视频数据和给定出现在视频上的对象的估计姿态，运动被分割成基元，这些基元以根据所学习的模型的参数给出的概率被识别。使用我们的框架，我们建立了一个公开可用的数据集的人体运动原语，使用从著名的运动捕捉数据集的序列。我们希望我们的框架，通过提供一个客观的方法来发现和分类人类运动，将是一个有用的工具，在众多的研究领域，包括视频分析，人类启发的运动生成，学习演示，直观的人机交互，和人类行为分析。
2019-02-04 cs.AI cs.CV cs.RO
ORACLE: Orchestrate NPC Daily Activities using Contrastive Learning with Transformer-CVAE
Korea University（韩国大学）
ORACLE通过对比学习与Transformer-CVAE生成逼真室内日常活动计划，解决数据不平衡、样本稀缺和缺乏预训练模型的问题，提升NPC在数字环境中的真实性。
2026-03-25 cs.CL cs.CV cs.GR
HAMLET: A Hierarchical Multimodal Attention-based Human Activity Recognition Algorithm
Univ. of Virginia（弗吉尼亚大学）
为了流畅地与人合作，机器人需要准确识别人类活动的能力。虽然现代机器人配备了各种传感器，但由于多模态数据融合的困难，鲁棒的人类活动识别（HAR）仍然是机器人的一项具有挑战性的任务。为了解决这些挑战，在这项工作中，我们引入了一个基于深度神经网络的多模态HAR算法，HAMLET。HAMLET采用分层结构，低层采用多头自注意力机制对单峰数据的时空特征进行编码。我们开发了一种新的多模态注意力机制，用于分离和融合显著的单峰特征，以计算上层的多模态特征。最后，多模态特征被用于一个完全连接的神经网络来识别人类活动。我们通过将其性能与三个人类活动数据集上的几种最先进的活动识别算法进行比较来评估我们的算法。结果表明，HAMLET在测试的所有数据集和指标中均优于所有其他评估基线，UTD-MHAD [1]和UT-Kinect [2]数据集的最高前1准确率分别为95.12%和97.45%，UCSD-MIT [3]数据集的F1得分为81.52%。我们进一步可视化的单峰和多峰注意地图，这为我们提供了一个工具来解释注意力机制对HAR的影响。
2020-08-03 cs.CV cs.RO
Coarse Temporal Attention Network (CTA-Net) for Driver's Activity Recognition
Edge Hill University（边山大学）
在从视频中识别传统人类活动方面取得了重大进展，这些视频侧重于涉及有区别的身体运动、身体-物体和/或人-人交互的高度独特的动作。驾驶员的活动是不同的，因为它们是由相同的主体以相似的身体部位运动执行的，从而导致微妙的变化。为了解决这个问题，我们提出了一个新的框架，利用时空注意力模型的微妙变化。我们的模型被命名为粗时间注意力网络（CTA-Net），其中粗时间分支被引入到可训练的一瞥网络中。其目标是通过关注视频的特定部分，允许一瞥捕捉高级时间关系，例如“期间”，“之前”和“之后”。这些分支还尊重视频中时间动态的拓扑，确保不同的分支学习有意义的空间和时间变化。然后，该模型使用创新的注意力机制，通过探索LSTM的隐藏状态来生成用于活动识别的高级动作特定上下文信息。注意力机制通过在构建视频的表示时对每个隐藏状态进行加权来帮助学习确定每个隐藏状态对于识别任务的重要性。我们的方法在四个公开访问的数据集上进行了评估，并且在仅使用RGB视频作为输入的情况下，其性能明显优于最先进的技术。
2021-01-17 cs.AI cs.CV cs.LG
An IoT Based Framework For Activity Recognition Using Deep Learning Technique
B.M.S. College of Engineering（B.M.S.工程学院）
活动识别是识别和识别智能体的动作或目标的能力。代理可以是执行具有最终目标的动作的任何对象或实体。代理可以是执行动作的单个代理或执行动作或具有某种交互的代理组。人类活动识别由于其在许多实际应用中的需求而受到欢迎，例如娱乐，医疗保健，模拟和监控系统。基于视觉的活动识别正在获得优势，因为它不需要任何人为干预或与人类的身体接触。此外，还有一组联网的摄像机，旨在跟踪和识别代理的活动。需要跟踪或识别人类活动的传统应用程序使用可穿戴设备。然而，这种应用需要人的身体接触。为了克服这些挑战，可以使用基于视觉的活动识别系统，该系统使用相机来记录视频和执行识别任务的处理器。这项工作分两个阶段进行。在第一阶段中，提出了一种用于实现活动识别的方法，该方法使用图像的背景减除，然后使用3D-卷积神经网络。已经报道了在3D-卷积神经网络之前使用背景减除的影响。在第二阶段，工作进一步扩展并在Raspberry Pi上实现，可用于记录视频流，然后识别视频中涉及的活动。因此，提供了使用小型的基于IoT的设备进行活动识别的概念验证，其可以增强系统并以各种形式扩展其应用，例如增加便携性、联网和设备的其他能力。
2019-06-17 cs.CV cs.LG stat.ML
Action-slot: Visual Action-centric Representations for Multi-label Atomic Activity Recognition in Traffic Scenes
National Yang Ming Chiao Tung University（国立阳明交通大学）；Google（谷歌）
本文提出Action-slot，一种基于槽注意力的方法，通过设计动作槽和背景槽学习以动作为中心的视觉表示，同时捕获运动与上下文信息，并构建了更大且类别平衡的合成数据集TACO，显著提升了多标签原子活动识别的性能。
2024-04-20 cs.CV cs.LG
Large-Scale Mapping of Human Activity using Geo-Tagged Videos
University of California, Merced（加州大学默塞德分校）；University of Southern California（南加州大学）
本文是第一次使用地理标记视频的视觉内容来执行人类活动的时空映射。我们利用最近基于深度学习的视频分析框架，称为隐藏双流网络，来识别YouTube视频中的一系列活动。该框架是有效的，并且可以实时的或更快地运行，这对于识别在流视频中发生的事件或减少分析已经捕获的视频的延迟是重要的。这对于在智慧城市应用中使用视频非常重要。我们进行了一系列的实验，以显示我们的方法是能够准确地映射活动的空间和时间。我们还展示了使用视觉内容的标签/标题的优势。
2017-11-28 cs.CV cs.CY cs.MM
Improved Actor Relation Graph based Group Activity Recognition
University of Alberta（阿尔伯塔大学）
本研究提出一种基于演员关系图的群体活动识别方法，利用NCC和SAD计算外观相似度并结合MobileNet提取特征，通过图卷积网络实现群体活动分类与可视化。
2020-12-29 cs.CV cs.MM
An Unsupervised Approach for Automatic Activity Recognition based on Hidden Markov Model Regression
University Paris-Est Créteil (UPEC)（巴黎东克雷泰伊大学）；University Sud Toulon-Var（南土伦瓦尔大学）；University Paris-Est（巴黎东大学）；IFSTTAR（法国交通发展与网络科学研究院）
使用有监督的机器学习方法来从身体上可穿戴加速度计识别人类活动通常需要大量的标记数据。当地面真相信息不可用，太昂贵，耗时或难以收集时，人们必须依赖于无监督的方法。本文提出了一种新的无监督的方法，从使用惯性可穿戴传感器测量的原始加速度数据的人体活动识别。所提出的方法是基于联合分割的多维时间序列使用隐马尔可夫模型（HMM）在多元回归的背景下。该模型是在无监督框架中使用期望最大化（EM）算法学习的，其中不需要活动标签。所提出的方法考虑到数据的顺序出现。因此，它适用于时间加速度数据，以准确地检测活动。它允许对人类活动进行分割和分类。实验结果表明，相对于标准的监督和无监督分类方法，所提出的方法的效率
2013-12-25 cs.CV cs.LG stat.ML
Real Time 3D Indoor Human Image Capturing Based on FMCW Radar
Ball State University（鲍尔州立大学）
大多数智能系统，如灵巧家庭和智能健康响应人的位置和活动。然而，传统的解决方案要么需要可穿戴传感器，要么导致隐私泄露。本文提出了一种环境雷达解决方案，它是一种实时、隐私安全和抗黑暗环境的系统。在该解决方案中，我们使用低功耗的调频连续波（FMCW）雷达阵列来捕获反射信号，然后构建3D图像帧。该方案设计了$1)$数据预处理机制来去除背景静态反射，设计了$2)$信号处理机制来将接收到的复杂雷达信号转换为包含空间信息的矩阵，设计了$3)$深度学习方案来滤除人体粗糙表面引起的断帧。该解决方案已在研究领域进行了广泛的评估，并捕获可识别特定活动的实时人体图像。我们的研究结果表明，室内拍摄是清晰的识别逐帧相比，相机记录的视频。
2018-12-08 cs.CV cs.LG
P2LHAP:Wearable sensor-based human activity recognition, segmentation and forecast through Patch-to-Label Seq2Seq Transformer
School of Computer Science, University of South China（南华大学计算机学院）；School of Computer Science and Technology, Dalian University of Technology（大连理工大学计算机科学与技术学院）；Department of Computer & Communication Engineering, University of Science and Technology Beijing（北京科技大学计算机与通信工程学院）
本文提出P2LHAP框架，通过Patch-to-Label Seq2Seq Transformer在单任务模型中同时实现传感器数据的人类活动识别、分割和预测，在三个公共数据集上显著优于现有方法。
2024-09-21 cs.AI cs.CV
Automatic Interaction and Activity Recognition from Videos of Human Manual Demonstrations with Application to Anomaly Detection
Istituto Italiano di Tecnologia（意大利技术研究院）；University of Genoa（热那亚大学）；Politecnico di Milano（米兰理工大学）；University of Trento（特伦托大学）
本文提出利用场景图提取时空交互特征并结合事件分割聚类的方法，实现手工演示视频中交互与活动的自动识别及异常检测。
2023-07-07 cs.CV cs.RO
Simulating reaction time for Eureka effect in visual object recognition using artificial neural network
Center for Information and Neural Networks (CiNet), Advanced ICT Research Institute, NICT（信息与神经网络中心（CiNet），高级信息通信技术研究所，日本信息通信研究机构）；Osaka University（大阪大学）
人类大脑可以在观察一段时间后识别隐藏在严重退化图像中的物体，这被称为一种尤里卡效应，可能与人类的创造力有关。先前的心理学研究表明，这种“尤里卡识别”的基础是多种随机活动的神经过程。在这里，我们构建了一个基于人工神经网络的模型，模拟人类尤里卡识别的特点。
2022-06-30 cs.AI cs.CV cs.LG
