Analysis of Gait Pattern to Recognize the Human Activities
Jay Prakash Gupta, Pushkar Dixit, Nishant Singh, Vijay Bhaskar Semwal
基于计算机视觉的人体行为识别是对图像序列进行行为标记的过程。针对该问题的精确系统被应用于诸如视觉监视、人机交互和视频检索等领域。
Human activity recognition based on the computer vision is the process of labelling image sequences with action labels. Accurate systems for this problem are applied in areas such as visual surveillance, human computer interaction and video retrieval.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
Beyond Gait: Person Identification from Millimeter-Wave Point Clouds Across Activities of Daily Living
提出活动条件专家混合框架，利用日常生活活动超越步态，通过DS-SDPNet实现毫米波点云人员识别，显著提升闭集识别和重识别性能。
Biometric Authorization System using Gait Biometry
人类步态是一种新的生物识别技术，旨在通过行走方式识别个人，在视觉监控应用中发挥着越来越重要的作用。在本文中，提出了一种新的混合整体的方法来展示如何行为行走特性可以用来识别未经授权的和可疑的人，当他们进入一个监控区域。首先，背景建模从输入视频捕获的摄像机部署的安全和前景移动对象在各个帧中使用背景减法算法进行分割。然后提取步态的空间、时间和小波分量，并进行融合，用于训练和测试多类支持向量机模型。所提出的系统进行评估，使用NLPR数据库的侧视视频。实验结果表明，该系统取得了令人满意的识别率，同时也表明，采用径向基函数（RBF）的SVM的分类能力优于其他核函数。
GaitMixer: Skeleton-based Gait Representation Learning via Wide-spectrum Multi-axial Mixer
现有的步态识别方法大多是基于外观的，它依赖于从人体行走活动的视频数据中提取的轮廓。研究较少的基于步态的步态识别方法直接从2D/3D人体骨架序列中学习步态动力学，这在理论上是存在由衣服，发型和携带物体引起的外观变化的更鲁棒的解决方案。然而，基于服务器的解决方案的性能仍然远远落后于基于外观的解决方案。本文旨在通过提出一种新的网络模型GaitMixer来缩小这种性能差距，以从骨骼序列数据中学习更具鉴别力的步态表示。特别是，GaitMixer遵循异构多轴混合器架构，该架构利用空间自注意混合器和时间大内核卷积混合器来学习步态特征图中丰富的多频信号。在广泛使用的步态数据库CASIA-B上进行的实验表明，GaitMixer在很大程度上优于以前的基于SOTA的方法，同时与代表性的基于外观的解决方案相比，实现了具有竞争力的性能。代码将在https://github.com/exitudio/gaitmixer上提供
GaitGraph: Graph Convolutional Network for Skeleton-Based Gait Recognition
步态识别是一种很有前途的基于视频的生物特征识别个人的步行模式，从长距离。目前，大多数步态识别方法使用轮廓图像来表示每个帧中的人。然而，轮廓图像可能会丢失细粒度的空间信息，并且大多数文献没有考虑如何在复杂场景中获得这些轮廓。此外，轮廓图像不仅包含步态特征，还包含其他可识别的视觉线索。因此，这些方法不能被认为是严格的步态识别。我们利用人体姿态估计的最新进展，直接从RGB图像中估计鲁棒的骨架姿态，以恢复基于模型的步态识别，并具有更清晰的步态表示。因此，我们提出了步态图，结合骨架姿态与图卷积网络（GCN），以获得一个现代的基于模型的步态识别方法。其主要优点是更清晰，更优雅的步态特征提取和使用GCN结合强大的时空建模的能力。在流行的CASIA-B步态数据集上的实验表明，该方法在基于模型的步态识别中具有最先进的性能。代码和模型是公开的。
MHRGait: Gait Recognition from Momentum Human Rig Pose
本文提出基于MHR姿态的MHRGait步态识别方法，建模关节控制的时空特征，其变体MHRGait++融合轮廓模态，在多数据集取得优异性能，参数与计算量更低，为步态识别提供新表征思路。
Persistent-homology-based gait recognition
步态识别是视频监控任务中一项重要的生物特征识别技术，因为它具有远距离使用的优势。在本文中，我们提出了一个持久的同源性为基础的方法来提取拓扑特征（所谓的{ \it拓扑步态签名}）从步态序列的身体轮廓。%它已被用于在人类识别，性别分类，进行目标检测和监测人类活动的距离相同的作者的几个会议论文。本文的创新之处在于研究了拓扑步态特征在小扰动下的稳定性和步态序列中包含的步态周期数。换句话说，我们表明，拓扑步态签名是鲁棒的存在下的噪声中的身体轮廓和步态周期的数量包含在一个给定的步态序列。我们还表明，计算我们的拓扑步态签名的身体轮廓的最低的第四部分，我们避免了上半身的运动，是无关的步态的自然动态，例如携带一个包或穿一件外套。
GaitAdapt: Continual Learning for Evolving Gait Recognition
针对步态识别重训练遗忘旧知识的问题，提出持续学习任务GaitAdapt及非回放方法GaitAdapter，结合GPAK模块和EDSN方法，有效保留多任务知识并提升判别能力。
GaitSet: Regarding Gait as a Set for Cross-View Gait Recognition
步态作为一种可远距离识别的生物特征，在预防犯罪、司法鉴定和社会安全等方面有着广泛的应用。为了描述步态，现有的步态识别方法要么使用步态模板，其中时间信息很难保存，要么使用步态序列，这必须保留不必要的序列约束，从而失去了步态识别的灵活性。在本文中，我们提出了一个新的观点，步态被视为一组独立的框架组成。我们提出了一个名为GaitSet的新网络来从集合中学习身份信息。该方法基于集合视角，不受帧间置换的影响，能够自然地融合不同场景下拍摄的视频帧，如不同视角、不同着装/携带条件等。实验表明，在正常行走条件下，我们的单模型方法在CASIA-B步态数据集上的平均rank-1准确率为95.0%，在OU-MVLP步态数据集上的准确率为87.1%。这些结果代表了新的最先进的识别精度。在各种复杂的情况下，我们的模型表现出显着的鲁棒性。在CASIA-B上，该算法在背包和穿外套行走条件下的识别准确率分别为87.2%和70.4%。这些方法远远优于现有的最佳方法。所提出的方法还可以在测试样本中使用少量帧来实现令人满意的精度，例如，在仅7帧的CASIA-B上为82.5%。源代码已在https://github.com/AbnerHqC/GaitSet上发布。
GaitMA: Pose-guided Multi-modal Feature Fusion for Gait Recognition
提出GaitMA框架，融合轮廓与骨架热图两种模态，通过共注意力对齐和互学习模块实现稳健步态识别，在Gait3D、OU-MVLP和CASIA-B上表现优越。
Explicit Time-Frequency Dynamics for Skeleton-Based Gait Recognition
本文提出Wavelet Feature Stream，通过时频分析增强骨架步态识别的动态信息，提升在外观变化下的识别性能，尤其在携带物品等场景下表现更优。
JointsGait:A model-based Gait Recognition Method based on Gait Graph Convolutional Networks and Joints Relationship Pyramid Mapping
步态作为一种独特的生物特征，具有远距离识别的优势，在公共安全领域有着广泛的应用。考虑到三维位姿估计在实际应用中比二维位姿估计更具挑战性，本文对利用二维关节进行步态识别进行了研究，提出了一种新的基于模型的步态识别方法JointsGait。基于外观特征的步态识别算法是目前比较流行的方法。然而，外观特征受到外部因素的影响，这些因素可能导致外观的剧烈变化，例如服装。与以往的方法不同，JointsGait首先使用步态图卷积网络从2D关节提取时空特征，受外部因素的干扰较小。其次，关节关系金字塔映射（JRPM）提出了时空步态特征映射到一个具有生物优势的歧视性特征空间，根据人体关节的关系，当人们在不同的尺度上行走。最后，我们设计了一种融合损失策略，以帮助关节特征对交叉视图不敏感。我们的方法在两个大型数据集上进行了评估，Kinect步态生物测量数据集和CASIA-B。在Kinect步态数据库中，JointsGait仅使用了关节的二维坐标，但与基于模型的三维关节识别算法相比，其识别精度令人满意。在CASIA-B数据库上，该方法在所有步行条件下的性能都大大优于基于模型的方法，在服装严重影响人的外观时，该方法的性能甚至优于基于外观的方法。实验结果表明，JointsGait实现了最先进的性能，尽管低维特征（2D身体关节），并受视图变化和服装变化的影响较小。
Learning To Recognize Procedural Activities with Distant Supervision
在本文中，我们考虑分类细粒度的多步骤活动（例如，烹饪不同的食谱，进行不同的家居装修，创造各种形式的艺术和手工艺品）从长达几分钟的视频。准确地对这些活动进行分类不仅需要识别组成任务的各个步骤，还需要捕获它们的时间依赖性。这个问题与传统的动作分类有很大的不同，传统的动作分类模型通常是在视频上优化的，这些视频只有几秒钟的时间，并且被手动修剪以包含简单的原子动作。虽然步骤注释可以使模型的训练能够识别程序活动的各个步骤，但由于在长视频中手动注释时间边界的成本过高，该领域现有的大规模数据集不包括此类片段标签。为了解决这个问题，我们建议自动识别教学视频中的步骤，利用远程监督的文本知识库（wikiHow），其中包括执行各种复杂的活动所需的步骤的详细描述。我们的方法使用一个语言模型来匹配嘈杂的，自动转录的语音从视频中的知识库中的步骤描述。我们证明，经过训练以识别这些自动标记的步骤（无需人工监督）的视频模型产生了一种表示，该表示在四个下游任务上实现了卓越的泛化性能：程序活动识别，步骤分类，步骤预测和以自我为中心的视频分类。
GaitSet: Cross-view Gait Recognition through Utilizing Gait as a Deep Set
步态是一种可以远距离识别的独特生物特征，因此，它在预防犯罪、法医鉴定和社会安全方面有着广泛的应用。为了描述步态，现有的步态识别方法要么利用步态模板，这使得它很难保持时间信息，或步态序列，保持不必要的顺序约束，从而失去了步态识别的灵活性。在本文中，我们提出了一种新的观点，即利用步态作为深度集，这意味着一组步态帧由全局-局部融合深度网络集成，其灵感来自我们的左半球和右半球处理信息以学习可用于识别的信息的方式。基于这种深集视角，我们的方法不受帧排列的影响，并且可以自然地整合来自不同场景下获取的不同视频的帧，例如不同的视角，不同的衣服或不同的物品携带条件。实验表明，在正常行走条件下，我们的单模型方法在CASIA-B步态数据集上的平均rank-1准确率为96.1%，在OU-MVLP步态数据集上的准确率为87.9%。在各种复杂的场景下，我们的模型也表现出很高的鲁棒性。它实现了90.8%和70.3%的准确率CASIA-B下，背着包和穿着外套的步行条件下，分别显着优于现有的最好的方法。此外，所提出的方法保持了令人满意的准确性，即使在测试样本中只有少量的帧，例如，它达到了85.0%的CASIA-B，即使只使用7帧。源代码已在https://github.com/AbnerHqC/GaitSet上发布。
Multi-Channel Time-Series Person and Soft-Biometric Identification
本研究使用深度架构从多通道时间序列HAR的可穿戴设备记录中识别人与软生物特征，提出属性表示法，并在四个数据集上验证了其有效性及活动对识别性能的影响。
DyGait: Exploiting Dynamic Representations for High-performance Gait Recognition
步态识别是一种生物特征识别技术，它通过人的行走模式来识别人的身份。与其他生物特征识别技术相比，步态识别具有更难伪装、无需主体协作、可应用于远距离等特点。因此，它在预防犯罪和社会安全方面具有独特的潜力和广泛的应用。目前，大多数步态识别方法直接从视频帧中提取特征来建立表示。然而，这些架构平等地从不同的特征中学习表示，但对动态特征没有足够的关注，动态特征是指轮廓随时间变化的动态部分（例如腿）的表示。由于人体的动态部分在行走过程中比其他部分（例如袋子）更具信息性，因此在本文中，我们提出了一种名为DyGait的新颖且高性能的框架。这是步态识别的第一个框架，旨在专注于动态特征的提取。具体来说，为了充分利用动态信息，我们提出了一个动态增强模块（DAM），它可以自动建立人体动态部位的时空特征表示。实验结果表明，我们的DyGait网络优于其他国家的最先进的步态识别方法。它在GREW数据集上实现了71.4%的平均Rank-1准确率，在Gait 3D数据集上实现了66.3%，在CASIA-B数据集上实现了98.4%，在OU-MVLP数据集上实现了98.3%。
MSA-GCN:Multiscale Adaptive Graph Convolution Network for Gait Emotion Recognition
步态情感识别在智能系统中起着至关重要的作用。大多数现有的方法通过关注局部动作来识别情绪。但是，他们忽略了不同情绪在时域上的有效距离是不同的，而行走过程中的局部动作是相当相似的。因此，情绪应该由全局状态来表示，而不是间接的局部行为。为了解决这些问题，本文提出了一种新的多尺度自适应图卷积网络（MSA-GCN），通过构造动态时域感受野和设计多尺度信息聚合来识别情绪。在该模型中，设计了一种自适应选择性时空图卷积，动态选择卷积核，以获得不同情绪的软时空特征。此外，设计了一种跨尺度映射融合机制（CSFM）来构造自适应邻接矩阵，以增强信息交互，减少冗余。与以往的最先进的方法相比，该方法在两个公共数据集上实现了最佳性能，提高了2%的mAP。我们还进行了广泛的消融研究，以显示我们的方法中不同组件的有效性。
Can Deep Learning Recognize Subtle Human Activities?
深度学习推动了计算机视觉最近令人兴奋的进展，灌输了这些算法可以解决任何视觉任务的信念。然而，通常用于训练和测试计算机视觉算法的数据集具有普遍的混杂因素。这种偏差使得人们很难真正估计这些算法的性能，以及计算机视觉模型在训练分布之外的外推效果如何。在这项工作中，我们提出了一个新的动作分类挑战，该挑战在人类身上表现良好，但在最先进的深度学习模型中表现不佳。作为原理的证明，我们考虑三个示范性任务：喝酒，阅读和坐着。使用最先进的计算机视觉模型达到的最佳准确率分别为61.7%、62.8%和76.8%，而人类参与者在这三项任务中的准确率超过90%。我们提出了一种严格的方法来减少创建数据集时的混淆，以及比较人类与计算机视觉性能时的混淆。源代码和数据集是公开的。
Gait Recognition in the Wild: A Large-scale Benchmark and NAS-based Baseline
本文提出首个野外步态识别大规模基准GREW，并设计首个基于NAS的步态识别模型SPOSGait，在多个基准上大幅超越现有方法。
GaitPoint+: A Gait Recognition Network Incorporating Point Cloud Analysis and Recycling
本文提出GaitPoint+步态识别网络，将骨架关键点建模为3D点云并以轻量点处理提取特征，再与轮廓特征融合，同时通过Recycling Max-Pooling回收被最大池化丢弃的关键点，显著提升多种CNN基线性能。
Attribute-Centric Vision-Language Alignment for Fine-Grained Gait Understanding
针对现有步态属性识别基准注释有限、方法未直接匹配视觉与文本类表示的问题，提出大规模多模态基准RA-GAR和以属性为中心的视觉-语言对齐框架Gait-VL，在RA-GAR上实现最优属性识别性能，且可迁移至下游身份识别任务。
Camera-LiDAR Cross-modality Gait Recognition
本文提出首个相机与激光雷达跨模态步态识别框架 CL-Gait，通过双流网络、对比预训练和基于单目深度估计的伪点云生成策略缓解三维与二维模态差异，实验验证了该任务的挑战性与可行性。
HDNet: Hierarchical Dynamic Network for Gait Recognition using Millimeter-Wave Radar
步态识别在各种实际应用中有着广泛的应用。随着计算机视觉技术的发展，目前最流行的方法是从RGB图像中识别人体步态。然而，RGB摄像头的感知能力在恶劣环境下会下降，视觉监控可能会导致隐私侵犯。由于毫米波雷达的鲁棒性和非侵入性，基于雷达的步态识别近年来受到越来越多的关注。在这项研究中，我们提出了一个层次动态网络（HDNet）的步态识别使用毫米波雷达。为了探索更多的动态信息，我们提出了点流作为一种新的点云描述。我们还设计了一个动态帧采样模块，以提高计算效率，而不会显着降低性能。为了证明我们的方法的优越性，我们在两个公共的基于毫米波雷达的步态识别数据集上进行了广泛的实验，结果表明我们的模型优于现有的最先进的方法。
Multi-Type Activity Recognition in Robot-Centric Scenarios
活动识别在机器人与人类交互、监视或协助人类的场景中非常有用。在过去的几年里，许多类型的活动-单一的行动，两个人的互动或以自我为中心的活动，仅举几例-已经被分析了。虽然传统方法单独处理这些类型的活动，但自主机器人应该能够检测和识别多种类型的活动，以有效地完成其任务。我们提出了一种方法，本质上是能够检测和识别不同类型的活动发生顺序或并发。我们提出了一个新的统一的描述符，称为关系历史图像（RHI），它可以从所有的活动类型，我们感兴趣的。然后，我们制定了一个优化程序来检测和识别不同类型的活动。我们将我们的方法应用于从以机器人为中心的角度记录的新数据集，并与多个基线相比系统地评估其质量。最后，我们展示了RHI描述符在公开数据集上进行广泛比较的有效性。
Fisher Motion Descriptor for Multiview Gait Recognition
本文的目标是通过分析步态来识别个体。而不是使用二进制轮廓作为输入数据（如在许多以前的作品中所做的），我们建议和评估使用的运动描述符的基础上密集采样的短期轨迹。我们利用国家的最先进的人检测器来定义目标人周围的描述符的自定义空间配置，获得丰富的步态运动的表示。局部运动特征（描述的Divergence-Curl-Shear描述符）提取的不同空间区域的人被组合成一个单一的高层次的步态描述符，通过使用Fisher矢量编码。所提出的方法，创造金字塔费舍尔运动，实验验证的'CASIA'数据集（部分B和C），'TUM GAID'数据集，'CMU Mobo'数据集和最近的'AVA多视图步态'数据集。结果表明，这种新方法在步态识别问题上取得了最先进的结果，允许在单个和多个摄像机设置上从不同的角度识别行走的人，穿着不同的衣服，背着包，以不同的速度行走，而不限于直线行走路径。
Leveraging Smartphone Sensors for Detecting Abnormal Gait for Smart Wearable Mobile Technologies
步行是人类最常见的陆地运动方式之一。步行是人类进行大多数日常活动所必需的。当一个人走路时，有一种模式，它被称为步态。步态分析用于体育和医疗保健。我们可以用不同的方式分析这种步态，比如使用监控摄像头或实验室环境中的深度图像摄像头捕捉的视频。它也可以被可穿戴传感器识别。例如，在一个实施例中，加速度计、力传感器、陀螺仪、柔性测角仪、磁阻传感器、电磁跟踪系统、力传感器和肌电图（EMG）。通过这些传感器进行分析需要实验室条件，或者用户必须佩戴这些传感器。为了检测人类步态动作的异常，我们需要单独地结合传感器。我们可以通过检测到异常的人体步态来了解一个人的健康状况。了解正常步态与异常步态可以通过智能穿戴技术来了解受试者的健康状况。因此，在本文中，我们提出了一种通过智能手机传感器来分析异常人体步态的方法。虽然智能手机和智能手表等智能设备现在被大多数人使用。所以，我们可以通过这些智能穿戴设备的传感器来追踪他们的步态。
GlidarCo: gait recognition by 3D skeleton estimation and biometric feature correction of flash lidar data
在过去的十年中，使用非侵入性获取的数据的步态识别已经吸引了越来越多的兴趣。在各种形式的数据源，它是实验发现，涉及骨架表示的数据是经得起可靠的特征压缩和快速处理。基于模型的步态识别方法，利用从一个合适的模型，如骨架的功能，认识到他们的观点和尺度不变的属性。我们提出了一种基于模型的步态识别方法，使用单闪光激光雷达记录的序列。现有的最先进的基于模型的方法，利用Kinect和Mocap收集的高质量骨骼数据的功能，仅限于受控的实验室环境。常规研究工作的绩效受到数据质量差的负面影响。我们解决了具有挑战性的情况下，如低质量和噪声的激光雷达成像过程中，降低了最先进的基于激光雷达的系统的性能的步态识别的问题。我们提出GlidarCo在所述条件下实现步态识别的高精度。一个过滤机制纠正错误的骨骼关节测量，和强大的统计数据集成到传统的特征矩编码的动态运动。作为比较，基于长度和基于矢量的特征提取的噪声骨架进行了研究离群去除。实验结果表明，该方法在提高步态识别噪声低分辨率激光雷达数据的有效性。
IDNet: Smartphone-based Gait Recognition with Convolutional Neural Networks
在这里，我们提出了IDNet，一个来自智能手机获取的运动信号的用户认证框架。它的目标是通过用户裤子前口袋里的商用智能手机提供的加速度计和陀螺仪（惯性）信号，从他们的行走方式中识别目标用户。IDNet具有几项创新，包括：i）一个强大的和智能手机方向无关的步行周期提取模块，ii）一个基于卷积神经网络的新型特征提取器，iii）一个单类支持向量机来分类步行周期，以及这些到iv）多阶段认证技术的一致集成。IDNet是第一个利用深度学习方法作为步态识别通用特征提取器的系统，并将后续步行周期的分类结果结合到多阶段决策框架中。实验结果表明，我们的方法对国家的最先进的技术的优越性，导致错误分类率（假阴性或阳性）小于0.15%，少于五个步行周期。设计选择的讨论和动机，在整个，评估其对用户身份验证性能的影响。
Explainable Parkinsons Disease Gait Recognition Using Multimodal RGB-D Fusion and Large Language Models
本文提出基于多模态RGB-D融合与大语言模型的帕金森病步态识别框架，通过增强时空表示和语言解释提高识别准确性和临床可解释性。
ETRI-Activity3D: A Large-Scale RGB-D Dataset for Robots to Recognize Daily Activities of the Elderly
深度学习是许多现代算法的基础，众所周知，它是数据饥渴的。特别是，很难获得适用于预期应用的数据集。为了应对这种情况，我们引入了一个新的数据集，称为ETRI-Activity 3D，专注于老年人在机器人视图中的日常活动。新数据集的主要特点是：1）从对老年人日常生活的近距离观察中选择实际行动类别; 2）真实的数据汇集，反映机器人的工作环境和服务情况; 3）克服当前3D活动分析基准数据集的局限性的大规模数据集。该数据集包含112，620个样本，包括RGB视频，深度图和骨架序列。在数据采集期间，要求100名受试者进行55项日常活动。此外，我们提出了一种新的网络称为四流自适应CNN（FSA-CNN）。提出的FSA-CNN具有三个主要特性：对时空变化的鲁棒性，输入自适应激活函数，以及传统双流方法的扩展。在实验部分，我们使用NTU RGB+D和ETRI-Activity 3D证实了所提出的FSA-CNN的优越性。此外，两个年龄组之间的域的差异进行了实验验证。最后，扩展FSA-CNN处理多模态数据进行了研究。
Open-Set Gait Recognition from Sparse mmWave Radar Point Clouds
本文首次研究基于稀疏毫米波雷达点云的开放集步态识别，提出结合有监督分类与无监督重建的神经网络及概率新颖性检测算法，并发布mmGait10数据集，F1分数平均提升24%。
Computer vision tools for the non-invasive assessment of autism-related behavioral markers
发育障碍的早期发现是儿童结局的关键，可以启动促进发育和改善预后的干预措施。对自闭症谱系障碍（ASD）的研究表明，行为标记可以在生命的第一年后期观察到。这些研究中有许多涉及广泛的逐帧视频观察和对儿童自然行为的分析。虽然非侵入性，这些方法是非常耗时的，需要高水平的观察员培训，因此，他们是不切实际的临床和大人口的研究目的。ASD的诊断措施可用于婴儿，但只有在早期诊断经验丰富的专家使用时才准确。这项工作是一个长期多学科项目的第一个里程碑，该项目旨在帮助临床医生和全科医生自动完成早期检测/测量任务。我们专注于提供计算机视觉工具，以测量和识别基于自闭症观察量表（AOSI）的ASD行为标记。特别是，我们开发的算法来衡量三个关键的AOSI活动，评估视觉注意力。我们增加了这些AOSI活动与额外的测试，分析不对称模式的无支撑步态。第一组算法涉及通过跟踪面部特征来评估头部运动，而步态分析依赖于视频中的联合前景分割和2D身体姿势估计。我们的研究结果提供了有见地的知识，以增加临床医生的行为观察从真正的临床评估。
Inferring Temporal Compositions of Actions Using Probabilistic Automata
本文提出了一个框架来识别视频中原子动作的时间组成。具体来说，我们建议表达时间组成的动作作为语义正则表达式，并推导出一个推理框架，使用概率自动机来识别复杂的动作，满足这些表达式的输入视频功能。我们的方法是从现有的作品，无论是预测长期复杂的活动，无序的原子动作集，或检索视频使用自然语言句子不同。相反，所提出的方法允许仅使用预先训练的动作分类器来识别复杂的细粒度活动，而不需要任何额外的数据、注释或神经网络训练。为了评估我们的方法的潜力，我们提供了合成数据集和具有挑战性的真实动作识别数据集，如MultiTHUMOS和Charades的实验。我们的结论是，所提出的方法可以扩展国家的最先进的原始动作分类器，大大更复杂的活动，没有大的性能下降。
Learning Group Activities from Skeletons without Individual Action Labels
为了理解人类行为，我们不仅要识别个体行为，还要对复杂的群体活动和互动进行建模。层次模型在群体活动识别中获得最佳结果，但需要在演员级别上进行细粒度的个人动作注释。在本文中，我们表明，只使用骨架数据，我们可以训练一个国家的最先进的端到端系统，只使用组活动标签在序列水平。我们的实验表明，在没有个人动作监督的情况下训练的模型表现不佳。另一方面，我们证明了可以从任何预训练的特征提取器中计算伪标签，并具有可比的最终性能。最后，我们精心设计的精益构成唯一的架构显示出高度竞争力的结果，甚至在自我监督的变体更复杂的多模态方法。
Augmenting Bag-of-Words: Data-Driven Discovery of Temporal and Structural Information for Activity Recognition
我们提出了数据驱动的技术来增强词袋（BoW）模型，这允许对复杂的长期活动进行更强大的建模和识别，特别是当活动的结构和拓扑结构事先未知时。我们的方法专门解决了标准BoW方法的局限性，它不能代表活动流中固有的潜在时间和因果信息。此外，我们还建议使用随机采样的正则表达式来发现和编码活动中的模式。我们证明了我们的方法在实验评估中的有效性，我们成功地识别活动和检测异常在四个复杂的数据集。
Transformer-based Action recognition in hand-object interacting scenarios
本报告介绍了ECCV 2022人体、手和活动（HBHA）的第二名解决方案，该解决方案来自以自我为中心和多视角相机挑战赛：动作识别。这项挑战旨在从自我中心的角度认识手与物体的互动。我们提出了一个框架，估计关键点的两只手和一个对象与基于transformer的关键点估计器和识别行动的基础上估计的关键点。我们在测试集上取得了87.19%的前1准确率。
Recognizing Fine-Grained and Composite Activities using Hand-Centric Features and Script Data
近年来，对活动的确认取得了令人瞩目的进展。然而，检测细粒度活动和了解它们如何组合成复合活动的挑战在很大程度上被忽视了。在这项工作中，我们处理这两个任务，并提出了一个数据集，提供详细的注释来解决这些问题。第一个挑战是检测细粒度的活动，这是由低的类间变异性定义的，通常以细粒度的身体运动为特征。我们探索人类的姿势和手可以帮助解决这一挑战，通过比较两个姿势为基础的和两个以手为中心的功能与国家的最先进的整体功能。为了应对第二个挑战，识别复合活动，我们利用这些活动是组合的，并且可以从文本描述或脚本中获得活动的基本组件。我们展示了以手为中心的方法对细粒度活动分类和检测的好处。对于复合活动识别，我们发现分解为属性允许在复合材料之间共享信息，并且对于攻击这个硬任务至关重要。使用脚本数据，我们可以识别新的复合材料，而无需训练数据。
Convolutional Relational Machine for Group Activity Recognition
我们提出了一个端到端的深度卷积神经网络，称为卷积关系机（CRM），用于识别群体活动，利用图像或视频中个人之间的空间关系信息。它学习基于个人和团体活动产生中间空间表示（活动地图）。多阶段细化组件负责减少活动图中的错误预测。最后，聚合组件使用精炼的信息来识别组活动。实验结果表明，建设性的贡献的信息提取和活动地图的形式表示。CRM在排球和集体活动数据集上显示出优于最先进模型的优势。
Unsupervised Pre-trained Models from Healthy ADLs Improve Parkinson's Disease Classification of Gait Patterns
深度学习算法在不同医疗保健应用中的应用和使用正在稳步增长。然而，使用这样的算法可能被证明是具有挑战性的，因为它们需要捕获不同的可能变化的大量训练数据。这使得它们很难在临床环境中使用，因为在大多数健康应用中，研究人员通常不得不使用有限的数据。较少的数据会导致深度学习模型过度拟合。在本文中，我们要问的是，如何使用来自不同环境、不同用例以及数据分布差异很大的数据。我们通过使用来自进行日常生活活动的健康受试者的单传感器加速度计数据（源数据集）来验证该用例，以提取与用于帕金森病分类的多传感器加速度计步态数据（目标数据集）相关的特征。我们使用源数据集训练预训练模型，并将其用作特征提取器。我们表明，提取的目标数据集的功能，可以用来训练一个有效的分类模型。我们的预训练源模型由卷积自动编码器组成，目标分类模型是一个简单的多层感知器模型。我们探索了两种不同的预训练源模型，使用不同的活动组进行训练，并分析了预训练模型的选择对帕金森病分类任务的影响。
Are Accelerometers for Activity Recognition a Dead-end?
基于加速度计（以及其他惯性传感器）的人类活动识别（HAR）研究是一个死胡同。这个传感器没有提供足够的信息让我们在HAR的核心领域取得进展-从传感器数据中识别日常活动。尽管人们在改进特征工程和机器学习模型方面做出了持续和长期的努力，但我们能够可靠识别的活动只是略有扩展，早期模型的许多相同缺陷今天仍然存在。我们不应该依赖加速度数据，而应该考虑具有更丰富信息的模态-一个合乎逻辑的选择是图像。随着图像传感硬件和建模技术的快速发展，我们相信，图像传感器的广泛采用将为广泛的人类活动提供准确和可靠的推理机会。在本文中，我们的情况下，成像仪代替加速度计作为默认传感器的人类活动识别。我们对过去工作的回顾导致我们观察到HAR的进展已经停滞，这是由于我们对加速计的依赖。我们进一步论证了活动识别的图像的适合性，通过说明其丰富的信息和计算机视觉的显着进步。通过可行性分析，我们发现在设备上部署成像器和CNN不会对现代移动硬件造成实质性负担。总的来说，我们的工作强调了远离加速度计的必要性，并呼吁进一步探索使用成像器进行活动识别。
ElderSim: A Synthetic Data Generation Platform for Human Action Recognition in Eldercare Applications
为了训练深度学习模型，用于基于视觉的老年人日常活动的动作识别，我们需要在各种日常生活环境和条件下获取的大规模活动数据集。然而，大多数用于人类行为识别的公共数据集在许多方面与老年人的活动不同或覆盖范围有限，使得仅利用现有数据集很好地识别老年人的日常活动具有挑战性。最近，通过从真实模拟环境生成合成数据并使用这些数据来训练深度学习模型，已经积极地补偿了可用数据集的这种限制。在本文中，基于这些想法，我们开发了ElderSim，一个行动模拟平台，可以生成合成数据的老年人的日常活动。对于55种常见的日常活动的老人，ElderSim生成逼真的运动的合成人物与各种可调的数据生成选项，并提供不同的输出方式，包括RGB视频，二维和三维骨骼轨迹。然后，我们生成KIST SynADL，一个大规模的老年人的日常生活活动的综合数据集，从ElderSim和使用的数据，除了真实的数据集训练三个国家的最先进的人类动作识别模型。根据几个新提出的假设不同的真实和合成数据集配置进行训练的场景的实验，我们观察到通过增加我们的合成数据可以显著提高性能。我们还提供指导和见解，以有效利用合成数据，帮助识别老年人的日常活动。
ZSTAD: Zero-Shot Temporal Activity Detection
视频分析和监控的一个组成部分是时间活动检测，这意味着同时识别和定位长未修剪视频中的活动。目前，最有效的时间活动检测方法是基于深度学习的，并且它们通常在大规模注释视频的训练中表现得非常好。然而，这些方法在实际应用中受到限制，由于无法获得关于某些活动类的视频和耗时的数据注释。为了解决这个具有挑战性的问题，我们提出了一种新的任务设置称为zero-shot时间活动检测（ZSTAD），在训练中从未见过的活动仍然可以被检测到。我们设计了一个基于R-C3 D的端到端深度网络作为该解决方案的架构。所提出的网络进行了优化，创新的损失函数，认为嵌入的活动标签及其超类，同时学习的共同语义的可见和不可见的活动。在THUMOS 14和Charades数据集上进行的实验表明，在检测看不见的活动方面表现出良好的性能。
Pedestrian Path, Pose and Intention Prediction through Gaussian Process Dynamical Models and Pedestrian Activity Recognition
根据全球组织发布的几份报告，每年有数千名行人死于交通事故。由于这一事实，车辆技术一直在发展，以减少这些死亡的意图。这一演变尚未完成，因为例如，行人路径的预测可以改进当前的自动紧急制动系统（AEBS）。为此，本文提出了一种方法来预测未来的行人路径，姿势和意图提前1 s。该方法基于平衡高斯过程动态模型（B-GPDM），将从沿行人身体放置的关键点或关节提取的3D时间相关信息减少到低维空间。B-GPDM还能够推断未来的潜在位置并重建其相关观测。然而，学习所有类型的行人活动的通用模型通常提供不太精确的预测。出于这个原因，所提出的方法获得四种类型的活动，即步行，停止，启动和站立的多个模型，并选择最相似的模型来估计未来的行人状态。该方法在步态起始后125 ms检测起始活动，准确率为80%，在事件发生前58.33ms识别停止意图，准确率为70%。关于路径预测，在事件时间（TTE）为1 s时停止活动的平均误差为238.01 mm，在TTE为0 s时开始动作的平均误差为331.93 mm。
Unsupervised Deep Learning-based clustering for Human Activity Recognition
针对惯性传感器人类活动识别缺乏标注数据的问题，提出DISC无监督深度学习聚类架构，结合循环自编码器与聚类准则自动标注信号，在三个公开数据集上优于四种深度聚类方法。
A Unified Approach for Modeling and Recognition of Individual Actions and Group Activities
识别群体活动是具有挑战性的，因为很难隔离个体实体，找到个体所扮演的各自角色，并表示参与者之间的复杂互动。视频中的个体动作和组活动可以在公共框架中表示，因为它们共享以下公共功能：两者都由描述运动的一组低级特征组成，例如，根据在时间和空间维度上的一组组成约束，每个像素的光流或每个特征点的轨迹。在本文中，我们提出了一个统一的模型来评估两个给定的个人或群体活动之间的相似性。我们的方法避免了明确提取个人演员，识别和代表人与人之间的互动。与所提出的方法，从视频数据库中检索可以通过查询的例子，和活动可以通过查询包含已知的活动的视频识别。所建议的视频匹配过程可以以无监督的方式执行。我们通过识别一组人类行为和足球比赛来展示我们方法的性能。
THORN: Temporal Human-Object Relation Network for Action Recognition
大多数动作识别模型将人类活动视为单一事件。然而，人类的活动往往遵循一定的等级制度。事实上，许多人类活动都是合成的。此外，这些动作大多是人与物体的交互。在本文中，我们建议利用定义一个动作的一组交互来识别人的动作。在这项工作中，我们提出了一个端到端的网络：THORN，它可以利用重要的人与对象和对象与对象的交互来预测动作。该模型建立在3D骨干网络之上。我们的模型的关键组成部分是：1）一个对象表示过滤器建模对象。2)对象关系推理模块，用于捕获对象关系。3)一个分类层来预测动作标签。为了展示THORN的鲁棒性，我们在EPIC-Kitchen 55和EGTEA Gaze+上进行了评估，这是两个最大和最具挑战性的第一人称和人机交互数据集。THORN在这两个数据集上都实现了最先进的性能。
Do You Live a Healthy Life? Analyzing Lifestyle by Visual Life Logging
健康的生活方式是改善健康和幸福的关键，对生活质量和疾病预防有相当大的影响。当前的生活日志/自我中心数据集不适合生活方式分析;因此，在计算机视觉领域没有关于生活方式分析的研究。在这项工作中，我们研究了生活方式分析的问题，并建立了一个可视化的生活日志数据集的生活方式分析（VLDLA）。VLDLA包含可穿戴相机从上午8：00到下午6：00每3秒拍摄的图像，持续7天。与当前的生活记录/自我中心数据集相比，我们的数据集适合于生活方式分析，因为图像是以短时间间隔拍摄的，以捕捉短时间的活动;此外，图像是从早上到晚上连续拍摄的，以记录用户执行的所有活动。基于我们的数据集，我们对每个帧中的用户活动进行分类，并使用用户的三个潜在流畅度来衡量用户生活方式的健康程度，这三个潜在流畅度随着时间的推移而变化并与活动相关联。基于所识别的活动来计算三个潜在流畅度的分数，并且基于潜在流畅度的分数来确定当天的生活方式的健康程度。实验结果表明，该方法可以用来分析用户的生活方式的健康。
Language-driven Description Generation and Common Sense Reasoning for Video Action Recognition
本文提出一个利用语言模型常识先验的框架，通过上下文摘要、描述生成和多模态识别头，在遮挡严重的视频中识别动作，并在Action Genome和Charades数据集上验证了有效性。
Adversarial Background-Aware Loss for Weakly-supervised Temporal Activity Localization
近年来，对未修剪视频中的时间定位活动进行了广泛的研究。尽管最近的进展，现有的方法弱监督的时间活动本地化的斗争，以识别活动时，没有发生。为了解决这个问题，我们提出了一种新的方法命名为A2 CL-PT。在我们的方法中考虑了特征空间的两个三元组：一个三元组用于学习每个活动类的判别特征，另一个三元组用于区分每个视频的活动相关特征和没有活动发生的特征（即背景特征）。为了进一步提高性能，我们使用两个并行的分支来构建我们的网络，这两个分支以对抗的方式运行：第一个分支定位视频中最突出的活动，第二个分支从视频的非本地化部分中找到其他补充活动。在THUMOS 14和ActivityNet数据集上进行的大量实验表明，我们提出的方法是有效的。具体而言，THUMOS 14数据集上从0.1到0.9的IoU阈值的平均mAP从27.9%显著提高到30.0%。
Day2Dark: Pseudo-Supervised Activity Recognition beyond Silent Daylight
针对黑暗环境下行为识别性能差的问题，提出伪监督学习方案和黑暗自适应音视频识别器，利用无标注黑暗视频和光照不变的音频信息提升识别效果，在多个数据集上表现优于现有方法。
SAFER-Activities: A Dataset for Smart Assessment of Fall Events and Routine Activities
提出SAFER-Activities数据集，含66小时多摄像头视频、85,310个动作实例和30类帧级标注，用于跌倒检测与活动监控，并验证了骨架模型在跨域泛化上的优势。
InceptB: A CNN Based Classification Approach for Recognizing Traditional Bengali Games
体育活动是我们日常生活中不可或缺的一部分。在计算机视觉领域，引入自主决策和预测模型来识别和分析不同的体育赛事和活动已经成为一个新兴的趋势。尽管人工智能和计算机视觉在识别不同的流行西方游戏方面取得了进展和生动的应用，但在识别传统孟加拉国游戏方面应用计算机视觉的努力仍然很少。在本文中，我们描述了一种新的基于深度学习的方法来识别传统的孟加拉语游戏。我们已经重新训练了由Google为我们的分类方法开发的著名的Inception V3架构的最后一层。我们的方法显示出良好的效果，平均准确率约为80%，正确识别5个传统的孟加拉国体育赛事。
DASZL: Dynamic Action Signatures for Zero-shot Learning
活动识别有许多实际应用，其中潜在活动描述的集合组合很大。这使得识别系统的端到端监督训练不切实际，因为没有训练集实际上能够包含整个标签集。在本文中，我们提出了一种细粒度的识别方法，模型的动态动作签名的组成活动。这种组合方法允许我们将细粒度识别重新构建为zero-shot活动识别，其中检测器由深度学习组件支持的简单第一原理状态机“动态”组成。我们在奥林匹克运动和UCF101数据集上评估了我们的方法，我们的模型在多个实验范式下建立了一个新的最先进的模型。我们还扩展了这种方法，形成一个独特的框架，zero-shot联合分割和分类的活动在视频中，并证明了第一个结果在zero-shot解码的复杂动作序列上广泛使用的手术数据集。最后，我们证明了我们可以使用现成的对象检测器来识别完全从头设置中的活动，而无需额外的训练。
Automatic Operating Room Surgical Activity Recognition for Robot-Assisted Surgery
手术室（OR）中手术活动的自动识别是创建下一代智能手术设备和工作流程监控/支持系统的关键技术。这种系统可以潜在地提高OR的效率，从而降低成本并改善对患者的护理。在本文中，我们研究了机器人辅助手术中的自动手术活动识别。我们收集了第一个大规模的数据集，包括400个完整长度的多视角视频，这些视频来自使用飞行时间相机捕获的各种机器人手术病例。我们用10种最受认可和临床相关的活动类别对视频进行了密集注释。此外，我们研究了最先进的计算机视觉动作识别技术，并使其适应OR环境和数据集。首先，我们对Inflated 3D ConvNet（I3 D）进行微调，以便在我们的数据集上进行剪辑级活动识别，并使用它从视频中提取特征。然后，这些特征被馈送到3个时间高斯混合层的堆栈，该堆栈从相邻剪辑中提取上下文，并最终通过长短期记忆网络来学习全长视频中的活动顺序。我们广泛地评估了模型，并达到了88%的平均平均精度的峰值性能。
Zero-Fi: Zero-Shot Wi-Fi-Based Human Activity Recognition via Contrastive Signal-Language Alignment
Zero-Fi是一种对比信号-语言对齐框架，可在无需新活动类标注Wi-Fi样本或模型适配的情况下，实现基于Wi-Fi的零样本人体活动识别，在大规模公开基准数据集上验证了有效性。
Personalization in Human Activity Recognition
近年来，人们对能够自动识别人所进行的活动的技术越来越感兴趣。这个领域被称为人类活动识别（HAR）。HAR在监测人们的福祉方面至关重要，特别是老年人和受退化性疾病影响的人。主要挑战之一涉及人口的多样性，以及如何由于身体特征和生活方式而以不同的方式开展相同的活动。在本文中，我们探讨了利用物理特征和信号相似性的可能性，以实现不依赖于此信息的深度学习分类器更好的结果。
Surgical Activity Recognition in Robot-Assisted Radical Prostatectomy using Deep Learning
不良的手术结果对患者和医院来说是昂贵的。基准手术护理的方法通常限于整个手术过程中的总体测量，尽管特定任务的执行在很大程度上是不良结果的原因。为了从任务而不是整个过程中产生度量，需要自动识别各个手术任务的方法。在本文中，我们提出了几种方法来识别机器人辅助微创手术中的手术活动，使用深度学习。我们收集了100个机器人辅助根治性前列腺切除术（RARP）的临床数据集，每个手术有12个任务，并提出了“RP-Net”，这是InceptionV 3模型的修改版本，用于基于图像的手术活动识别。我们使用RP-Net在所有任务中实现了80.9%的平均准确率和76.7%的平均召回率，优于本文中探索的所有其他基于RNN和CNN的模型。我们的研究结果表明，RARP期间的自动手术活动识别是可行的，可以成为高级分析的基础。
Unstructured Human Activity Detection from RGBD Images
能够检测和识别人类活动对于包括个人辅助机器人在内的多种应用至关重要。在本文中，我们执行非结构化的人类活动在非结构化环境中的检测和识别。我们使用RGBD传感器（Microsoft Kinect）作为输入传感器，并根据人体姿势和运动以及图像和点云信息计算一组特征。我们的算法是基于分层最大熵马尔可夫模型（MEMM），它认为一个人的活动组成的一组子活动。我们使用动态规划方法推断出两层图结构。我们测试了我们的算法，检测和识别四个人在不同环境中（如厨房，客厅，办公室等）进行的十二种不同活动，并且即使在训练集中之前没有见过该人时也能实现良好的性能。
Machine-Generated Hierarchical Structure of Human Activities to Reveal How Machines Think
基于深度学习的计算机视觉模型已被证明是人类活动识别（HAR）的突破性方法。然而，大多数现有的工作都致力于通过创建新的模型架构，增加模型复杂性或通过在更大的数据集上训练来改进模型参数来提高预测精度。在这里，我们提出了一个与现有工作不同的替代想法，以提高模型的准确性，并通过自动为类似的人类活动组创建更高级别的汇总标签来塑造模型预测，以符合人类的理解。首先，我们论证了构建一个层次化的人类活动识别标记系统的重要性和可行性。然后，我们利用黑盒HAR模型的预测来识别不同活动之间的相似性。最后，我们调整层次聚类方法，自动生成活动的层次树，并进行实验。在该系统中，同一级别上的活动标签将具有设计的准确度，并反映特定数量的活动细节。该策略通过掩盖一些敏感的预测，实现了识别活动中的细节程度与用户隐私之间的权衡;并且还提供了在涉及隐私的场景中使用以前禁止的入侵模型的可能性。由于层次结构是从机器的角度生成的，因此上层的预测提供了更好的准确性，这在训练集中有太详细的标签时特别有用，这些标签对最终预测目标来说是微不足道的。此外，对这些树的结构的分析可以揭示预测模型中的偏差，并指导未来的数据汇集策略。
Discovery and recognition of motion primitives in human activities
我们提出了一个用于自动发现和识别人类活动视频中运动基元的新框架。给定视频中人的3D姿态，通过优化“运动通量”（捕获一组骨骼关节的运动变化的量）来发现人的运动基元。提出了基元的归一化，以使它们相对于受试者解剖变化和数据采样率不变。发现的原语是未知的，未标记的，并通过分层非参数贝叶斯混合模型无监督地收集到类。一旦类被确定和标记，它们将被进一步分析以建立用于识别所发现的基元的模型。每个基元模型由一组学习参数定义。给定新的视频数据和给定出现在视频上的对象的估计姿态，运动被分割成基元，这些基元以根据所学习的模型的参数给出的概率被识别。使用我们的框架，我们建立了一个公开可用的数据集的人体运动原语，使用从著名的运动捕捉数据集的序列。我们希望我们的框架，通过提供一个客观的方法来发现和分类人类运动，将是一个有用的工具，在众多的研究领域，包括视频分析，人类启发的运动生成，学习演示，直观的人机交互，和人类行为分析。
Effective Human Activity Recognition Based on Small Datasets
最近关于基于视觉的人类活动识别（HAR）的工作主要集中在为任务设计复杂的深度学习模型。在这样做时，需要收集大型数据集。由于获取和处理大型训练数据集通常非常昂贵，因此必须解决如何在不影响识别精度的情况下减少数据集大小的问题。为此，我们提出了一种由三个步骤组成的HAR方法：（i）涉及基于原始数据的变换生成新特征的数据变换，（ii）涉及基于AdaBoost算法学习分类器和使用由变换后的特征组成的训练数据的特征提取，以及（iii）参数确定和模式识别，包括基于在（ii）中生成的特征确定参数，以及使用这些参数作为用于识别人类活动的深度学习算法的训练数据。与现有方法相比，该方法具有简单、鲁棒的优点。所提出的方法已经过测试，在一个相对较小的真实数据集上进行了大量的实验。实验结果表明，该方法在训练数据较小的情况下也能较准确地识别人体活动。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈
发表机构由 AI 从论文文本抽取，如发现错误，欢迎反馈修正建议。