Recognizing Activities of Daily Living with a Wrist-mounted Camera
The University of Tokyo（东京大学）
我们提出了一种新的数据集和一种新的算法，用于从第一人称可穿戴相机中识别日常生活活动（ADL）。处理对象是至关重要的自我中心的ADL识别。为了与环境中的其他对象分开地对与用户的动作相关的对象进行特定检查，许多先前的工作已经解决了从头戴式和胸戴式相机捕获的图像中的被处理对象的检测。然而，检测被处理的对象并不总是容易的，因为它们往往在图像中显得很小。它们可能被用户的身体遮挡。如本文所述，我们将相机安装在用户的手腕上。腕戴式摄像机可以大规模地捕获被处理的对象，因此它使我们能够跳过目标检测过程。为了比较腕戴式摄像头和头戴式摄像头，我们还开发了一个新颖的公开数据集，其中包括两个摄像头同时捕获的日常活动的视频和注释。此外，我们提出了一个有区别的视频表示，保留空间和时间信息编码后提取的卷积神经网络（CNN）的帧描述符。
2016-04-28 cs.CV
TinyAction Challenge: Recognizing Real-world Low-resolution Activities in Videos
Center for Research in Computer Vision（计算机视觉研究中心）；University of Central Florida（中佛罗里达大学）
本文总结了在CVPR 2021的ActivityNet研讨会上组织的TinyAction挑战。这项挑战的重点是识别视频中存在的真实世界低分辨率活动。动作识别任务目前集中在对高质量视频中的动作进行分类，其中演员和动作清晰可见。虽然在最近的工作中，各种方法已经被证明对识别任务有效，但它们通常不处理低分辨率的视频，其中动作发生在一个很小的区域。然而，许多真实世界的安全视频通常以较小的分辨率捕获实际动作，这使得在微小区域中识别动作成为一项具有挑战性的任务。在这项工作中，我们提出了一个基准数据集TinyVIRAT-v2，它由自然发生的低分辨率动作组成。这是TinyVIRAT数据集的扩展，由具有多个标签的操作组成。这些视频是从安全视频中提取的，这使得它们更加逼真，更具挑战性。我们使用当前最先进的动作识别方法的数据集作为基准，并提出了TinyAction挑战。
2021-07-24 cs.CV
Cooking in the kitchen: Recognizing and Segmenting Human Activities in Videos
University of Bonn（波恩大学）；Brown University（布朗大学）
随着动作识别研究的成熟，重点正在从使用手动分割的视频数据集对基本任务导向的动作进行分类，转向理解现实世界中复杂的目标导向的日常人类活动。时间结构化模型似乎很容易解决这一系列问题，但到目前为止，这些模型优于简单的非结构化词袋模型的情况很少。随着大型人类活动数据集的可用性越来越高，再加上新的特征编码技术的发展，这些技术可以产生更紧凑的表示，现在是时候重新审视结构化生成方法了。在这里，我们描述了一个端到端的生成方法，从编码的功能，复杂的人类活动的结构建模，通过应用Fisher向量和时间模型的视频序列的分析。我们系统地评估了所提出的方法在几个可用的数据集（ADL，MPIICooking和早餐数据集）使用各种性能指标。通过广泛的系统评估，我们证明了基于Fisher向量的紧凑视频表示与基于HMM的建模相结合，在准确性方面获得了非常显着的收益，并且当使用足够的训练样本进行适当训练时，结构化时间模型在测试的性能指标上大幅优于非结构化词袋类型的模型。
2016-03-17 cs.CV
InceptB: A CNN Based Classification Approach for Recognizing Traditional Bengali Games
Daffodil International University（达法迪尔国际大学）
体育活动是我们日常生活中不可或缺的一部分。在计算机视觉领域，引入自主决策和预测模型来识别和分析不同的体育赛事和活动已经成为一个新兴的趋势。尽管人工智能和计算机视觉在识别不同的流行西方游戏方面取得了进展和生动的应用，但在识别传统孟加拉国游戏方面应用计算机视觉的努力仍然很少。在本文中，我们描述了一种新的基于深度学习的方法来识别传统的孟加拉语游戏。我们已经重新训练了由Google为我们的分类方法开发的著名的Inception V3架构的最后一层。我们的方法显示出良好的效果，平均准确率约为80%，正确识别5个传统的孟加拉国体育赛事。
2018-09-16 cs.CV
When Vehicles See Pedestrians with Phones:A Multi-Cue Framework for Recognizing Phone-based Activities of Pedestrians
University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Laboratory for Intelligent and Safe Automobiles（智能与安全汽车实验室）
智能车辆社区已经投入了相当大的努力来对驾驶员行为进行建模，并且特别是检测和克服驾驶员分心，以努力减少由驾驶员疏忽引起的事故。然而，随着该领域越来越多地转向自主和半自主解决方案，驱动程序不再是决策过程中不可或缺的一部分，这表明需要将工作重点重新放在其他地方。为此，我们建议改为研究行人分心问题。特别是，我们专注于检测行人谁是从事次要活动，涉及他们的手机和类似的手持多媒体设备从纯粹的视觉为基础的立场。为了实现这一目标，我们提出了一个管道，结合关节的人的姿态估计，其次是一个软对象标签转移从一个集合的样本SVM训练的最近邻居在姿态特征空间。我们还将头部凝视功能和先前的姿势信息进行手机相关的行人活动识别。最后，我们提供了一种方法来可靠地跟踪铰接的姿势的行人通过一系列的图像使用粒子滤波器与高斯过程动态模型（GPDM），然后可以用来估计顺序变化的活动分数在一个非常低的计算成本。整个框架是快速的（特别是对于顺序数据）和准确的，并且易于扩展以包括其他次要活动和分散注意力的来源。
2018-01-24 cs.CV
Recognizing Video Events with Varying Rhythms
Arizona State University（亚利桑那州立大学）
识别视频事件的长，复杂的视频与多个子活动最近一直受到关注。这项任务比传统的动作识别更具有挑战性，相对均匀的短视频剪辑。在本文中，我们探讨了识别长而复杂的事件与不同的动作节奏，这在文献中没有被考虑，但实际上是一个挑战的问题。我们的工作部分受到人类如何识别具有不同节奏的事件的启发：快速捕捉对特定事件贡献最大的帧。我们提出了一个两阶段的\emph{end-to-end}框架，其中第一阶段选择最重要的帧，而第二阶段使用所选择的帧识别事件。我们的模型在训练阶段只需要\emph{event-level labels}，因此当子活动标签丢失或难以获得时更实用。大量的实验结果表明，我们的模型可以实现显着提高事件识别从长视频，同时保持高精度，即使测试视频遭受严重的节奏变化。这证明了我们的方法在现实世界中基于视频的应用中的潜力，其中测试和训练视频在子活动的节奏上可能会有很大的不同。
2020-01-14 cs.CV
A Unified Approach for Modeling and Recognition of Individual Actions and Group Activities
University of Maryland, College Park（马里兰大学学院市分校）
识别群体活动是具有挑战性的，因为很难隔离个体实体，找到个体所扮演的各自角色，并表示参与者之间的复杂互动。视频中的个体动作和组活动可以在公共框架中表示，因为它们共享以下公共功能：两者都由描述运动的一组低级特征组成，例如，根据在时间和空间维度上的一组组成约束，每个像素的光流或每个特征点的轨迹。在本文中，我们提出了一个统一的模型来评估两个给定的个人或群体活动之间的相似性。我们的方法避免了明确提取个人演员，识别和代表人与人之间的互动。与所提出的方法，从视频数据库中检索可以通过查询的例子，和活动可以通过查询包含已知的活动的视频识别。所建议的视频匹配过程可以以无监督的方式执行。我们通过识别一组人类行为和足球比赛来展示我们方法的性能。
2012-08-21 cs.CV stat.ML
Let's Play for Action: Recognizing Activities of Daily Living by Learning from Life Simulation Video Games
Institute for Anthropomatics and Robotics（人类工程学与机器人研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
识别日常生活活动（ADL）是智能辅助机器人的一个重要过程，但收集大型注释数据集需要耗时的时间标记并引发隐私问题，例如，如果数据是在真实的家庭中收集的。在这项工作中，我们探索的概念，构建训练样本ADL识别玩生活模拟视频游戏，并介绍了SIMS4ACTION数据集创建的流行的商业游戏模拟人生4。我们通过“自上而下”的方式专门执行感兴趣的动作来构建Sims4Action，而游戏环境允许我们在环境，摄像机角度和主体外观之间自由切换。虽然从理论角度来看，游戏数据的ADL识别很有趣，但关键的挑战在于将其转移到现实世界的应用中，例如智能家居或辅助机器人。为了满足这一要求，Sims4Action附带了一个GamingToReal基准测试，其中模型在从现有ADL数据集导出的真实视频上进行评估。我们在我们的框架中集成了两种基于视频的活动识别的现代算法，揭示了生活模拟视频游戏作为训练数据的廉价且侵入性小得多的来源的价值。然而，我们的研究结果也表明，涉及游戏和真实数据混合的任务具有挑战性，开辟了一个新的研究方向。我们将在https://github.com/aroitberg/sims4action上公开我们的数据集。
2021-07-12 cs.AI cs.CV cs.MM
Group Activity Recognition in Computer Vision: A Comprehensive Review, Challenges, and Future Perspectives
School of Computer Science, Universiti Sains Malaysia（马来西亚理科大学计算机科学学院）；School of Engineering, College of Technology and Business, Guangzhou（广州工商学院工程学院）
本文综述了计算机视觉中群体活动识别的方法，从传统到基于HRNN、关系模型等最新技术，比较性能并总结挑战与未来方向。
2023-07-25 cs.AI cs.CV
Timeception for Complex Action Recognition
University of Amsterdam（阿姆斯特丹大学）
本文着重于识别视频中的人类活动的时间方面，一个重要的视觉线索，长期以来一直被低估。我们重新审视活动的传统定义，并将其限制为复杂行动：一组具有弱时间模式的单一行动，用于特定目的。相关的工作使用时空3D卷积与固定的内核大小，太刚性，以捕捉复杂的动作的时间范围的变化，和太短的长范围的时间建模。相比之下，我们使用多尺度时间卷积，并且我们降低了3D卷积的复杂性。结果是时间感受卷积层，它推导出分钟长的时间模式，比最佳相关作品长8倍。因此，Timeception在识别Charades，Breakfast Actions和MultiTHUMOS的人类活动方面达到了令人印象深刻的准确性。此外，我们证明了时间感受学习长距离的时间依赖性和容忍复杂的动作的时间范围。
2019-04-28 cs.CV
Integrating Features for Recognizing Human Activities through Optimized Parameters in Graph Convolutional Networks and Transformer Architectures
Khalifa University（哈利法大学）；Abu Dhabi University（阿布扎比大学）
本研究提出一种特征融合技术，将Transformer与参数优化的图卷积网络（PO-GCN）的最终层特征集成输入分类器，在四个公开数据集上验证了该方法显著提升了人类活动识别的准确率与F1分数。
2024-08-29 cs.AI cs.CV cs.RO
Multi-Label Activity Recognition using Activity-specific Features and Activity Correlations
Rutgers University–New Brunswick（罗格斯大学新布朗斯维克分校）；Amazon Web Service（亚马逊网络服务）
多标签活动识别被设计用于识别在每个视频中同时或顺序执行的多个活动。最近的活动识别网络专注于单一活动，即假设每个视频中只有一个活动。这些网络为所有活动提取共享特征，这些特征不是为多标签活动设计的。我们引入了一种多标签活动识别方法，该方法为每个活动提取独立的特征描述符并学习活动相关性。这种结构可以端到端训练，并插入任何现有的网络结构进行视频分类。我们的方法在四个多标签活动识别数据集上的表现优于最先进的方法。为了更好地理解系统生成的特定于活动的特征，我们在Charades数据集中可视化了这些特定于活动的特征。
2021-03-04 cs.CV
Human Activity Recognition in RGB-D Videos by Dynamic Images
RGB-D视频中的人体活动识别在过去十年中一直是一个活跃的研究课题。然而，在文献中还没有发现用于识别其中多个表演者同时表演的RGB-D视频中的人类活动的努力。在本文中，我们介绍了这样一个具有挑战性的数据集与几个表演者执行的活动。我们提出了一种新的方法来识别人类活动在这样的视频。所提出的方法的目的是通过产生对应于输入视频的动态图像来捕获整个视频的运动信息。我们使用两个并行的ResNext-101分别为RGB视频和深度视频生成动态图像。动态图像仅包含运动信息，因此消除了不必要的背景信息。我们通过神经网络的全连接层分别发送从RGB和深度视频中提取的两个动态图像。所提出的动态图像通过从视频中提取稀疏矩阵来降低识别过程的复杂性。然而，所提出的系统保持所需的运动信息，用于识别活动。所提出的方法已在MSR Action 3D数据集上进行了测试，并显示出与最先进的性能相当的性能。我们还将所提出的方法应用于我们自己的数据集，其中所提出的方法优于最先进的方法。
2018-07-09 cs.CV
TinyVIRAT: Low-resolution Video Action Recognition
University of Central Florida（中佛罗里达大学）
现有的动作识别研究主要集中在动作清晰可见的高质量视频上。在现实世界的监控环境中，视频中的动作是以各种分辨率捕获的。大多数活动发生在一个小的分辨率距离和识别这样的活动是一个具有挑战性的问题。在这项工作中，我们专注于识别视频中的微小动作。我们介绍了一个基准数据集，TinyVIRAT，其中包含自然的低分辨率活动。TinyVIRAT视频中的动作有多个标签，它们是从监控视频中提取的，这使得它们更逼真，更具挑战性。我们提出了一种新的方法来识别视频中的微小动作，该方法利用渐进式生成方法来提高低分辨率动作的质量。所提出的方法还包括一个弱训练的注意力机制，它有助于集中在视频中的活动区域。我们进行了大量的实验，基准测试所提出的TinyVIRAT数据集，并观察到所提出的方法显着提高了动作识别性能的基线。我们还评估了所提出的方法在综合调整大小的动作识别数据集，并实现了最先进的结果与现有的方法相比。数据集和代码可在https://github.com/UgurDemir/Tiny-VIRAT上公开获得。
2020-07-14 cs.CV eess.IV
TimeGate: Conditional Gating of Segments in Long-range Activities
University of Amsterdam（阿姆斯特丹大学）；Qualcomm AI Research, Qualcomm Technologies Netherlands B.V.（高通人工智能研究院，高通技术荷兰有限公司）
当识别长距离活动时，探索整个视频是详尽的，并且计算成本很高，因为它可能长达几分钟。因此，仅对视频的显著部分进行采样是非常重要的。我们提出了TimeGate以及一个新型的条件门控模块，用于从长期活动中采样最具代表性的片段。TimeGate有两个新颖之处，解决了以前采样方法的缺点，如SCSampler。首先，它实现了对段的可微分采样。因此，TimeGate可以与现代CNN相匹配，并作为一个单一的统一模型进行端到端的训练。其次，采样以片段及其上下文为条件。因此，TimeGate更适合长距离活动，其中片段的重要性在很大程度上取决于视频上下文。TimeGate减少了现有CNN在长距离活动的三个基准上的计算：Charades，Breakfast和MultiThumos。特别是，TimeGate将I3D的计算量减少了50%，同时保持了分类精度。
2020-04-03 cs.CV
Convolutional Relational Machine for Group Activity Recognition
Amirkabir University of Technology (AUT)（阿米尔卡比尔理工大学（AUT））；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院（EPFL））
我们提出了一个端到端的深度卷积神经网络，称为卷积关系机（CRM），用于识别群体活动，利用图像或视频中个人之间的空间关系信息。它学习基于个人和团体活动产生中间空间表示（活动地图）。多阶段细化组件负责减少活动图中的错误预测。最后，聚合组件使用精炼的信息来识别组活动。实验结果表明，建设性的贡献的信息提取和活动地图的形式表示。CRM在排球和集体活动数据集上显示出优于最先进模型的优势。
2019-04-05 cs.CV
Learning To Recognize Procedural Activities with Distant Supervision
Columbia University（哥伦比亚大学）；Facebook AI Research（脸书人工智能研究院）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Dartmouth（达特茅斯学院）
在本文中，我们考虑分类细粒度的多步骤活动（例如，烹饪不同的食谱，进行不同的家居装修，创造各种形式的艺术和手工艺品）从长达几分钟的视频。准确地对这些活动进行分类不仅需要识别组成任务的各个步骤，还需要捕获它们的时间依赖性。这个问题与传统的动作分类有很大的不同，传统的动作分类模型通常是在视频上优化的，这些视频只有几秒钟的时间，并且被手动修剪以包含简单的原子动作。虽然步骤注释可以使模型的训练能够识别程序活动的各个步骤，但由于在长视频中手动注释时间边界的成本过高，该领域现有的大规模数据集不包括此类片段标签。为了解决这个问题，我们建议自动识别教学视频中的步骤，利用远程监督的文本知识库（wikiHow），其中包括执行各种复杂的活动所需的步骤的详细描述。我们的方法使用一个语言模型来匹配嘈杂的，自动转录的语音从视频中的知识库中的步骤描述。我们证明，经过训练以识别这些自动标记的步骤（无需人工监督）的视频模型产生了一种表示，该表示在四个下游任务上实现了卓越的泛化性能：程序活动识别，步骤分类，步骤预测和以自我为中心的视频分类。
2022-06-16 cs.CV
OpenPack: A Large-scale Dataset for Recognizing Packaging Works in IoT-enabled Logistic Environments
Graduate School of Information Science and Technology, Osaka University（大阪大学信息科学与技术研究生院）
研究引入大规模包装工作识别数据集 OpenPack，包含 53.8 小时多模态传感器数据，推动工业领域工作活动机器识别研究。
2024-04-20 cs.AI cs.CV
ATARS: An Aerial Traffic Atomic Activity Recognition and Temporal Segmentation Dataset
National Chengchi University（国立政治大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）；National Yang Ming Chiao Tung University（国立阳明交通大学）
针对现有交通原子活动数据集视角受限、仅含视频级标注的问题，该研究推出首个航拍多标签ATARS数据集，提出多标签时间原子活动识别新任务，实验验证了数据集的独特挑战并给出未来研究方向。
2025-03-24 cs.CV
VPN: Learning Video-Pose Embedding for Activities of Daily Living
INRIA（法国国家信息与自动化研究所）；Université Nice Côte d’Azur（蔚蓝海岸大学）
在本文中，我们专注于识别日常生活活动（ADL）的时空方面。ADL有两个特定的属性（i）微妙的时空模式和（ii）随时间变化的相似的视觉模式。因此，ADL可能看起来非常相似，并且通常需要查看它们的细粒度细节以区分它们。由于最近的时空3D ConvNets过于僵化，无法捕捉动作中微妙的视觉模式，我们提出了一种新的视频姿势网络：VPN。这个VPN的两个关键组成部分是空间嵌入和注意力网络。空间嵌入将3D姿态和RGB线索投影在公共语义空间中。这使得动作识别框架能够利用这两种模态来学习更好的时空特征。为了区分类似的动作，注意力网络提供了两个功能-（i）利用人体拓扑结构的端到端可学习姿势骨干，以及（ii）用于提供跨视频的联合时空注意力权重的耦合器。实验表明，VPN优于最先进的结果，大规模的人类活动数据集：NTU-RGB+D 120，其子集NTU-RGB+D 60，一个现实世界中具有挑战性的人类活动数据集：丰田Smarthome和一个小规模的人机交互数据集西北加州大学洛杉矶分校的动作分类。
2020-07-06 cs.CV
Learning Asynchronous and Sparse Human-Object Interaction in Videos
Applied Artificial Intelligence Institute, Deakin University（迪肯大学应用人工智能研究所）
人类活动可以从视频中学习。通过有效的建模，不仅可以发现动作标签，还可以发现活动的时间结构，例如子活动的进展。从原始视频信号中自动识别这种结构是一种新的能力，它保证了真实的建模和成功的识别人-物体交互。为了实现这一目标，我们引入了异步稀疏交互图网络（ASSIGN），这是一种循环图网络，能够自动检测与视频场景中的实体相关联的交互事件的结构。ASSIGN开创了视频实体自主行为的学习，包括它们的动态结构以及它们与共存邻居的交互。在我们的模型中，实体的生命与其他实体的生命是异步的，因此在适应复杂场景时更加灵活。它们的交互在时间上是稀疏的，因此更忠实于真实的潜在性质，在推理和学习中更鲁棒。ASSIGN在人-物交互识别方面进行了测试，在分割和标记原始视频中的人类子活动和对象启示方面表现出卓越的性能。发现模型的时间结构的原生能力也消除了对外部分割的依赖，这在以前是强制性的。
2021-03-03 cs.CV
Few-Shot Continual Learning for Activity Recognition in Classroom Surveillance Images
University of Electronic Science and Technology of China（电子科技大学）
针对真实课堂监控中正常教学活动样本多、非教学活动样本少且持续出现的问题，本文构建 ARIC 数据集，并提出结合 SCL 与 ACC 的少样本持续学习方法，取得优于现有方法的性能。
2024-09-05 cs.CV
How You Move Your Head Tells What You Do: Self-supervised Video Representation Learning with Egocentric Cameras and IMU Sensors
Indiana University（印第安纳大学）；Facebook Reality Labs（脸书现实实验室）
从头戴式摄像机中了解用户的活动是增强和虚拟现实（AR/VR）应用的基本任务。典型的方法是使用由人类标记的数据以监督的方式训练分类器。由于昂贵的注释成本和活动标签的封闭覆盖，这种方法具有局限性。解决这些限制的一种潜在方法是使用自监督学习（SSL）。SSL不依赖于人工注释，而是利用数据的内在属性来学习表示。我们对学习以自我为中心的视频表示特别感兴趣，这些视频表示受益于用户日常活动产生的头部运动，这些头部运动可以很容易地从嵌入在AR/VR设备中的IMU传感器中获得。为了实现这个目标，我们提出了一个简单而有效的方法来学习视频表示学习告诉相应的视频剪辑和头部运动对。我们证明了我们的学习表示识别人和狗的自我中心活动的有效性。
2021-10-04 cs.CV
Multi-Task Temporal Convolutional Networks for Joint Recognition of Surgical Phases and Steps in Gastric Bypass Procedures
University Hospital of Strasbourg（斯特拉斯堡大学医院）；IHU Strasbourg（斯特拉斯堡大学医院研究所）；Fondazione Policlinico Universitario Agostino Gemelli IRCCS（阿戈斯蒂诺·杰梅利大学综合医院基金会IRCCS）；IRCAD（斯特拉斯堡消化癌症研究所）；University of Verona（维罗纳大学）；ICube（斯特拉斯堡大学工程、计算机科学、成像与数学实验室）；University of Strasbourg（斯特拉斯堡大学）；CNRS（法国国家科学研究中心）
目的：手术活动的自动分割和分类对于在计算机辅助干预和机器人辅助手术中的自主功能中提供高级支持至关重要。先前的工作集中在识别粗糙的活动，如阶段，或细粒度的活动，如手势。这项工作旨在直接从视频中联合识别两个互补的粒度级别，即阶段和步骤。方法：我们介绍腹腔镜胃旁路手术的两个相关的手术活动，阶段和步骤。我们提出了一个多任务多阶段时间卷积网络（MTMS-TCN）以及一个多任务卷积神经网络（CNN）训练设置，以共同预测阶段和步骤，并从它们的互补性中受益，以更好地评估程序的执行。我们评估所提出的方法在一个大型的视频数据集，包括40个外科手术（手术40）。结果：我们提出了几个基线模型的实验结果，相位和步骤的识别上的Cassass 40数据集。与单任务方法相比，所提出的MTMS-TCN方法在相位和步骤识别中的准确率、精确率和召回率均优于1-2%。此外，对于步骤识别，与基于LSTM的模型相比，MTMS-TCN在准确性，精确度和召回率方面的性能优越3-6%。结论：在这项工作中，我们提出了一个用于手术活动识别的多任务多阶段时间卷积网络，与具有多级注释的Pastorass 40胃旁路数据集上的单任务模型相比，该网络显示了改进的结果。该方法表明，阶段和步骤的联合建模有利于提高对每类活动的整体识别。
2021-02-24 cs.CV
Human Gaze Guided Attention for Surgical Activity Recognition
手术活动的建模和自动识别是实现手术自动化的基本步骤，在向外科医生提供及时反馈方面发挥着重要作用。准确识别视频中的手术活动提出了一个具有挑战性的问题，需要一个有效的手段来学习空间和时间动态。人类注视和视觉显著性携带关于视觉注意的重要信息，并且可以用于提取更好地反映这些空间和时间动态的更多相关特征。在这项研究中，我们建议使用人类的目光与时空注意力机制的活动识别手术视频。我们的模型由基于I3D的架构组成，使用3D卷积学习时空特征，并使用人类凝视作为监督来学习注意力地图。我们评估我们的模型上的缝合任务的JIGSAWS，这是一个公开的手术视频理解数据集。据我们所知，我们是第一个使用人类凝视进行手术活动识别的人。我们的研究结果和消融研究支持使用人类凝视来引导注意力的贡献，其准确率为85.4%，优于最先进的模型。
2022-11-13 cs.CV eess.IV
Globally Continuous and Non-Markovian Activity Analysis from Videos
Disney Research Los Angeles（迪士尼洛杉矶研究院）；University of Leeds（利兹大学）；Trinity College Dublin（都柏林圣三一学院）
自动识别视频中的活动是视觉中的经典问题，有助于理解行为，描述场景和检测异常。为此，我们提出了一种无监督的方法。给定视频数据，我们会发现随着时间的推移出现，高峰，衰退和消失的重复活动模式。通过使用非参数贝叶斯方法，我们学习耦合的空间和时间模式与最小的先验知识。为了模拟模式的时间变化，以前的作品计算马尔可夫进程或局部连续的图案，而我们在全球连续和非马尔可夫的方式建模时间。从视觉上看，这些模式描绘了主要活动的流程。在时间上，每种模式都有其独特的出现-消失周期。为了计算紧凑的模式表示，我们还提出了一种混合采样方法。通过将这些模式与详细的环境信息相结合，我们可以解释活动的语义并报告异常。此外，我们的方法更好地拟合数据，并检测到以前难以检测到的异常。
2018-10-11 cs.CV
Inferring Temporal Compositions of Actions Using Probabilistic Automata
The Australian e-Health Research Centre, CSIRO（澳大利亚联邦科学与工业研究组织（CSIRO）澳大利亚电子健康研究中心）；Australian Centre for Robotic Vision (ACRV), Australian National University（澳大利亚国立大学澳大利亚机器人视觉中心（ACRV））；Mitsubishi Electric Research Labs (MERL)（三菱电机研究实验室（MERL））；A*AI, A*STAR（新加坡科技研究局（A*STAR）A*AI）
本文提出了一个框架来识别视频中原子动作的时间组成。具体来说，我们建议表达时间组成的动作作为语义正则表达式，并推导出一个推理框架，使用概率自动机来识别复杂的动作，满足这些表达式的输入视频功能。我们的方法是从现有的作品，无论是预测长期复杂的活动，无序的原子动作集，或检索视频使用自然语言句子不同。相反，所提出的方法允许仅使用预先训练的动作分类器来识别复杂的细粒度活动，而不需要任何额外的数据、注释或神经网络训练。为了评估我们的方法的潜力，我们提供了合成数据集和具有挑战性的真实动作识别数据集，如MultiTHUMOS和Charades的实验。我们的结论是，所提出的方法可以扩展国家的最先进的原始动作分类器，大大更复杂的活动，没有大的性能下降。
2020-04-28 cs.CV
Dominant Codewords Selection with Topic Model for Action Recognition
National Institute of Advanced Industrial Science and Technology (AIST)（产业技术综合研究所（AIST））；Keio University（庆应义塾大学）；Technische Universitat Munchen (TUM)（慕尼黑工业大学（TUM））
在本文中，我们提出了一个框架，用于识别人类活动，只使用主题占主导地位的码字和混合的主题间向量。潜在的狄利克雷分配（LDA）是用来开发近似的人类运动原语，这些都是中级表示，他们自适应地整合主导向量分类人类活动时。在LDA主题建模中，动作视频（文档）由词袋（从字典输入）表示，并且这些基于改进的密集轨迹。输出主题对应于人体运动基元，例如手指移动或细微的腿部运动。我们消除了杂质，如错过跟踪或改变光线条件，在每个运动基元。运动基元的组装向量是动作的改进表示。我们在四个不同的数据集上展示了我们的方法。
2016-05-01 cs.CV
Elderly Activity Recognition in the Wild: Results from the EAR Challenge
La Rochelle University（拉罗谢尔大学）
本文针对EAR挑战赛提出基于迁移学习和多源数据整理的老年人日常活动识别方案，在公开排行榜上取得0.81455准确率。
2025-03-10 cs.CV
Extreme Low Resolution Activity Recognition with Multi-Siamese Embedding Learning
EgoVid Inc.（EgoVid公司）；Indiana University（印第安纳大学）；Ulsan National Institute of Science and Technology（蔚山科学技术院）
本文提出了一种从极低分辨率（例如，16x12）视频。极低分辨率识别不仅是分析远距离动作所必需的，而且对于实现对人类活动的隐私保护识别至关重要。我们设计了一个新的双流多连体卷积神经网络。这个想法是明确地捕捉低分辨率（LR）视频的固有属性，即来自完全相同场景的两个图像通常具有完全不同的像素值，这取决于它们的LR变换。我们的方法学习了共享的嵌入空间，该空间将具有相同内容的LR视频映射到相同的位置，而不管它们的变换如何。我们通过实验证实，我们的方法联合学习这种变换鲁棒LR视频表示和分类器在两个公共标准数据集上的性能优于以前最先进的低分辨率识别方法。
2018-02-04 cs.CV
Activity Recognition Using A Combination of Category Components And Local Models for Video Surveillance
University of Washington（华盛顿大学）；Microsoft Research, Microsoft Corp.（微软研究院）
本文提出了一种新的方法，自动识别的人的活动，视频监控应用。我们建议表示活动的类别组件的组合，并证明，这种方法提供了灵活性，以增加新的活动的系统和能力，以处理的问题，建立模型的活动缺乏训练数据。为了提高识别精度，提出了一种基于置信度帧的识别算法，该算法将识别活动的置信度较高的视频帧作为一个专门的局部模型来帮助对其余视频帧进行分类。实验结果表明了该方法的有效性。
2015-02-28 cs.CV cs.MM
Learning Attribute Representation for Human Activity Recognition
TU Dortmund University（多特蒙德工业大学）；Department of Computer Science（计算机科学系）
属性表示在图像识别和单词识别中变得相关，在存在不平衡和不相交数据集的情况下提供支持。然而，对于使用来自身体传感器的序列数据的人类活动识别，缺乏人类标记的属性。本文介绍了一种搜索属性，代表有利的信号段识别人类活动。它提出了三种深度架构，包括时间卷积和以IMU为中心的设计，用于预测属性。随机和学习的属性表示，以及网络的经验评估是在两个数据集上进行的，优于最先进的。
2018-02-02 cs.CV
Advances in Human Action Recognition: A Survey
University of North Texas（北德克萨斯大学）
由于在视频监控、人机交互、视频检索等方面的广泛应用，人体动作识别一直是计算机视觉的重要研究课题。这些应用程序背后的一个核心问题是自动识别感兴趣的低级操作和高级活动。前者通常是后者的基础。这项调查概述了人类行为识别的最新进展，在过去的几年中，根据以前的调查提出了一个良好的分类。从这项最先进的调查中，研究人员可以看到这一领域的进展全景，以供未来研究。
2015-01-23 cs.CV
Recognizing Abnormal Heart Sounds Using Deep Learning
Philips Research North America（飞利浦北美研究院）；PARC, A Xerox Company（施乐帕洛阿尔托研究中心）
本文介绍的工作将深度学习应用于自动心脏听诊的任务，即识别心音中的异常。我们描述了一种自动心音分类算法，该算法将时频热图表示与深度卷积神经网络（CNN）的使用相结合。考虑到错误分类的成本敏感性，我们的CNN架构使用修改后的损失函数进行训练，该函数直接优化了灵敏度和特异性之间的权衡。我们在2016年PhysioNet Computing in Cardiology挑战赛中评估了我们的算法，其目标是从单个，短的，可能有噪音的录音中准确分类正常和异常心音。我们进入挑战的最终特异性为0.95，灵敏度为0.73，总分为0.84。我们在所有挑战条目中获得了最大的特异性得分，并且仅使用单个CNN，与使用集成方法的排名第一的完成者相比，我们的算法在总体得分上仅相差0.02。
2017-10-19 cs.CV cs.SD
Spatio-Temporal Proximity-Aware Dual-Path Model for Panoramic Activity Recognition
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院(KAIST)）
针对全景活动识别中多尺度交互与多粒度理解挑战，提出基于时空邻近感知的双路径网络SPDP-Net，通过个体到全局与个体到社交双路径相互增强，在JRDB-PAR数据集上取得46.5%的F1分数。
2024-03-21 cs.CV
VPN++: Rethinking Video-Pose embeddings for understanding Activities of Daily Living
Stony Brook University（石溪大学）；Inria（法国国家信息与自动化研究所）
已经针对将RGB和3D姿势组合用于日常生活活动（ADL）的识别进行了许多尝试。ADL可能看起来非常相似，并且通常需要对细粒度的细节进行建模以区分它们。由于最近的3D ConvNets过于僵化，无法捕捉动作中微妙的视觉模式，因此该研究方向主要是结合RGB和3D Poses的方法。但是在没有合适的传感器的情况下，从RGB流计算3D姿态的成本很高。这限制了上述方法在需要低延迟的实际应用中的使用。那么，如何最好地利用3D姿势识别ADL？为此，我们提出了一个姿势驱动的注意力机制的扩展：视频姿势网络（VPN），探索两个不同的方向。一种是通过特征级蒸馏将Pose知识转移到RGB中，另一种是通过注意力级蒸馏模仿姿势驱动的注意力。最后，这两种方法被集成到一个模型中，我们称之为VPN++。我们表明，VPN++不仅是有效的，而且还提供了一个高速度和高弹性的噪音姿势。VPN++，无论有没有3D姿势，在4个公共数据集上的表现都优于代表性基线。代码可在https://github.com/srijandas07/vpnplusplus上获得。
2021-05-17 cs.AI cs.CV
Unstructured Human Activity Detection from RGBD Images
Cornell University（康奈尔大学）
能够检测和识别人类活动对于包括个人辅助机器人在内的多种应用至关重要。在本文中，我们执行非结构化的人类活动在非结构化环境中的检测和识别。我们使用RGBD传感器（Microsoft Kinect）作为输入传感器，并根据人体姿势和运动以及图像和点云信息计算一组特征。我们的算法是基于分层最大熵马尔可夫模型（MEMM），它认为一个人的活动组成的一组子活动。我们使用动态规划方法推断出两层图结构。我们测试了我们的算法，检测和识别四个人在不同环境中（如厨房，客厅，办公室等）进行的十二种不同活动，并且即使在训练集中之前没有见过该人时也能实现良好的性能。
2012-02-14 cs.CV cs.RO
Multimodal Generation of Novel Action Appearances for Synthetic-to-Real Recognition of Activities of Daily Living
Institute for Anthropomatics and Robotics（人类工程学与机器人研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
针对合成到真实领域偏移导致ADL识别准确率下降的问题，提出多模态活动领域生成框架，通过从单一视频推断的多种模态生成新型动作外观，结合分类损失保持语义，显著提升跨域识别性能并达到SOTA。
2022-08-03 cs.CV
When the Few Outweigh the Many: Illicit Content Recognition with Few-Shot Learning
Eindhoven University of Technology（埃因霍温理工大学）；Jheronimus Academy of Data Science（杰罗尼姆斯数据科学学院）；Tilburg University（蒂尔堡大学）；University of Padova（帕多瓦大学）
本文研究利用孪生神经网络的单样本和少样本学习方法，从暗网图像中识别非法活动，在10类数据集上20-Shot实验达到90.9%准确率，为暗网自动化执法提供了低成本且有前景的替代方案。
2023-11-28 cs.AI cs.CR cs.CV
Hunting Group Clues with Transformers for Social Group Activity Recognition
Hitachi America, Ltd.（日立美国有限公司）
本文提出了一种新的社会群体活动识别框架。社会群体活动识别是群体活动识别的一个扩展任务，需要识别多个子群体活动并识别群体成员。大多数现有的方法通过细化区域特征，然后将其总结为活动特征来解决这两个任务。这种启发式特征设计使得特征的有效性容易受到不完整的人定位的影响，并且忽视了场景上下文的重要性。此外，区域特征对于识别组成员是次优的，因为特征可能由区域中的人的特征主导并且具有不同的语义。为了克服这些缺点，我们建议利用Transformers中的注意力模块来生成有效的社会群体特征。我们的方法是这样设计的，注意力模块识别，然后聚合相关的社会群体活动的功能，为每个社会群体产生一个有效的功能。组成员信息被嵌入到特征中，从而被前馈网络访问。前馈网络的输出非常简洁地代表了群体，以至于群体成员可以通过群体和个体之间的简单匈牙利匹配来识别。实验结果表明，我们的方法优于国家的最先进的方法排球和集体活动数据集。
2022-07-12 cs.CV
Discovery and recognition of motion primitives in human activities
我们提出了一个用于自动发现和识别人类活动视频中运动基元的新框架。给定视频中人的3D姿态，通过优化“运动通量”（捕获一组骨骼关节的运动变化的量）来发现人的运动基元。提出了基元的归一化，以使它们相对于受试者解剖变化和数据采样率不变。发现的原语是未知的，未标记的，并通过分层非参数贝叶斯混合模型无监督地收集到类。一旦类被确定和标记，它们将被进一步分析以建立用于识别所发现的基元的模型。每个基元模型由一组学习参数定义。给定新的视频数据和给定出现在视频上的对象的估计姿态，运动被分割成基元，这些基元以根据所学习的模型的参数给出的概率被识别。使用我们的框架，我们建立了一个公开可用的数据集的人体运动原语，使用从著名的运动捕捉数据集的序列。我们希望我们的框架，通过提供一个客观的方法来发现和分类人类运动，将是一个有用的工具，在众多的研究领域，包括视频分析，人类启发的运动生成，学习演示，直观的人机交互，和人类行为分析。
2019-02-04 cs.AI cs.CV cs.RO
A Correlation Based Feature Representation for First-Person Activity Recognition
Shahid Beheshti University（沙希德·贝赫什提大学）；Cyberspace Research Institute, Shahid Beheshti University（沙希德·贝赫什提大学网络空间研究院）
提出了一种简单有效的第一人称视频活动识别方法。所提出的方法是适当的高维特征，如那些从卷积神经网络（CNN）提取的表示。每帧（每段）提取的特征被认为是一组时间序列，和帧间和帧内的时间序列关系被用来表示视频描述符。为了找到时间间的关系，将序列分组，并计算每对组之间的线性相关性。它们之间的关系可以表示场景的动力学和局部运动。引入的分组策略有助于大大降低计算成本。此外，我们在时间方向上分割序列，以保留长期运动并更好地关注每个局部时间窗口。为了提取周期性运动模式，这可以被认为是各种活动的主要组成部分，利用时间序列内的相关性。该表示方法导致可以线性分类的高度区分的特征。实验证明，我们的方法优于国家的最先进的方法在两个具有挑战性的第一人称数据集上识别第一人称活动。
2018-02-09 cs.CV
Automatic Face Understanding: Recognizing Families in Photos
Northeastern University（东北大学）
我们建立了最大的亲属识别数据库。使用一种新的聚类算法标记数据，该算法使用标签建议作为辅助信息来指导更准确的聚类。节省了大量的时间和人力投入。从统计数据来看，FIW比其前任取得了巨大的进步。我们在亲属关系验证、家庭分类、三主题验证和大规模搜索和检索方面有几个基准。我们还在FIW上训练CNN，并在著名的KinWild I和II上部署模型以获得SOTA。最近，我们进一步增强了FIW与MM。现在，视频动态，音频和文本字幕可以用于亲属识别系统的决策。我们预计FIW将对研究和现实产生重大影响。此外，我们还解决了面部地标定位的经典问题。这些网络中的大多数具有基于L1或L2规范的目标，这继承了一些缺点。地标的位置是根据生成的热图确定的，根据热图，预测的地标位置在不考虑扩散的情况下受到惩罚：高散射对应于低置信度，反之亦然。为了解决这个问题，我们引入了一个惩罚低信心的目标。另一个问题是对标记数据的依赖，这是昂贵的收集和容易出错。我们通过提出一个对抗性训练框架来解决这两个问题，该框架利用未标记的数据来提高模型性能。我们的方法声称SOTA在著名的基准。此外，我们的模型是鲁棒的，具有较小的尺寸：1/8的通道数与CPU上的SOTA实时相当。最后，我们建立了BFW作为衡量种族和性别亚组偏倚的代理，使我们能够表征每个亚组的FR性能。我们发现，当使用单个阈值来确定样本对是否是真实的时，性能是非最优的。
2021-01-10 cs.CV
Large-Scale Mapping of Human Activity using Geo-Tagged Videos
University of California, Merced（加州大学默塞德分校）；University of Southern California（南加州大学）
本文是第一次使用地理标记视频的视觉内容来执行人类活动的时空映射。我们利用最近基于深度学习的视频分析框架，称为隐藏双流网络，来识别YouTube视频中的一系列活动。该框架是有效的，并且可以实时的或更快地运行，这对于识别在流视频中发生的事件或减少分析已经捕获的视频的延迟是重要的。这对于在智慧城市应用中使用视频非常重要。我们进行了一系列的实验，以显示我们的方法是能够准确地映射活动的空间和时间。我们还展示了使用视觉内容的标签/标题的优势。
2017-11-28 cs.CV cs.CY cs.MM
ARIC: An Activity Recognition Dataset in Classroom Surveillance Images
University of Electronic Science and Technology of China（电子科技大学）
针对课堂监控图像中活动识别面临的类别不平衡和高相似性挑战，构建了多视角、32类、三模态的ARIC数据集，并支持持续学习与少样本持续学习，以推动开放教学场景研究。
2025-02-28 cs.CV
Can Local Vision-Language Models improve Activity Recognition over Vision Transformers? -- Case Study on Newborn Resuscitation
University of Stavanger, Dept. of electrical eng. and computer science（斯塔万格大学电气工程与计算机科学系）
本研究探讨了局部视觉-语言模型在新生儿复苏视频活动识别中的应用，通过LoRA微调提升性能，达到0.91的F1分数，优于TimeSFormer基线。
2026-02-12 cs.CV
Making Every Frame Matter: Continuous Activity Recognition in Streaming Video via Adaptive Video Context Modeling
Nanjing University（南京大学）；Microsoft Research（微软研究院）；AIR, Tsinghua University（清华大学AIR）
针对流式视频中多尺度未裁剪连续活动识别难题，提出CARS系统，通过自适应时空上下文建模、空间特征提取和活动感知状态更新，在边缘设备上实现超过30 FPS的高效识别并显著提升准确率。
2025-03-13 cs.CV
A Critical Analysis on Machine Learning Techniques for Video-based Human Activity Recognition of Surveillance Systems: A Review
Rajshahi University of Engineering & Technology（拉杰沙希工程技术大学）
本文批判性综述了监控系统中基于视频的人体活动识别技术，系统比较了CNN、RNN、HMM、K均值聚类等机器学习与深度学习方法在特征提取、参数初始化和准确率等方面的表现，旨在为研究者提供有效方案并展望未来发展方向。
2024-09-01 cs.CV
Human Activity Recognition Using Robust Adaptive Privileged Probabilistic Learning
在这项工作中，一种新的方法的基础上学习使用特权信息（LUPI）范式识别复杂的人类活动的建议，在测试过程中处理丢失的信息。我们提出了一种监督概率方法，集成LUPI到一个隐藏的条件随机场（HCRF）模型。所提出的模型被称为HCRF+，可以使用最大似然法和最大边际法进行训练。它采用了自训练技术的目标函数的正则化参数的自动估计。此外，该方法通过由学生的\textit{t} -密度函数对特权信息的条件分布进行建模，提供了对离群值（如噪声或缺失数据）的鲁棒性，该密度函数自然地集成到HCRF+框架中。对不同形式的保密信息进行了调查。使用四个具有挑战性的公开可用的数据集和实验结果表明，该方法的有效性相对于最先进的LUPI框架中使用手工制作的功能和功能提取的卷积神经网络。
2017-09-19 cs.CV
Semantically-Aware Diver Activity Recognition Framework for Effective Underwater Multi-Human-Robot Collaboration
University of Minnesota（明尼苏达大学）
提出DAR-Net框架，结合Transformer时间推理与像素级场景监督，通过多损失训练对齐全局活动识别与局部人机交互语义，解决低可见度水下环境中的潜水员活动识别问题，并发布首个水下潜水员活动数据集UDA。
2026-06-11 cs.CV cs.RO
CERN: Confidence-Energy Recurrent Network for Group Activity Recognition
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Oregon State University（俄勒冈州立大学）
这项工作是关于识别视频中不同语义级别的人类活动，包括个人动作，交互和群体活动。识别是使用两级层次的长短期记忆（LSTM）网络来实现的，形成了一个前馈深度架构，可以进行端到端的训练。与现有的LSTM架构相比，我们做出了两个关键贡献，将我们的方法命名为信心能量循环网络- CERN。首先，我们指定了一个新的能量层（EL）来估计我们预测的能量，而不是使用常见的softmax层进行预测。第二，而不是找到共同的最小能量类分配，这可能是数值不稳定的不确定性下，我们指定的EL额外计算的p值的解决方案，并以这种方式估计最有信心的能量最小值。对集体活动和排球数据集的评估表明：（i）我们的两个贡献相对于常见的softmax和能量最小化公式的优势，以及（ii）相对于最先进的方法的优越性能。
2017-04-10 cs.CV cs.LG stat.ML
Efficient Dense Labeling of Human Activity Sequences from Wearables using Fully Convolutional Networks
The University of Adelaide（阿德莱德大学）；China University of Mining and Technology（中国矿业大学）
在普适计算中，识别序列中的人类活动是一个具有挑战性的研究领域。大多数方法在连续的样本上使用固定大小的滑动窗口来提取特征--手工制作的或学习的特征--并为窗口中的所有样本预测单个标签。这种方法产生两个关键问题：i）一个窗口中的样本可能不总是共享相同的标签。因此，在一个窗口内对所有样本使用一个标签不可避免地会导致信息丢失; ii）测试阶段受到训练期间选择的窗口大小的约束，而最佳窗口大小在实践中很难调整。我们提出了一种有效的算法，可以预测每个样本的标签，我们称之为密集标签，在一个序列的人类活动的任意长度使用完全卷积网络。特别是，我们的方法克服了滑动窗口步骤所带来的问题。此外，我们的算法自动学习特征和分类器。我们发布了一个新的基于可穿戴传感器的住院患者日常活动数据集。我们进行了广泛的实验，并证明了我们提出的方法能够在三个具有挑战性的数据集：机会，手势和我们的新数据集的分类和标签错位措施方面优于最先进的技术。
2017-02-20 cs.CV cs.HC
EgoCHARM: Resource-Efficient Hierarchical Activity Recognition using an Egocentric IMU Sensor
Carnegie Mellon University（卡内基梅隆大学）；Meta Reality Labs（Meta 现实实验室）
本文提出资源高效的EgoCHARM算法，利用单个头戴IMU和半监督分层学习，以少量参数实现高层级与低层级活动的高F1识别，并可直接部署于IMU芯片。
2025-04-24 cs.CV cs.LG
Towards LLM-Powered Ambient Sensor Based Multi-Person Human Activity Recognition
Orange Innovation（奥兰治创新公司）；Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LIG（信息与信号处理实验室）
针对传统人体活动识别存在的数据稀缺、泛化难及多人场景识别复杂等问题，提出基于大语言模型的LAHAR框架，利用提示工程实现主体分离与动作级描述，在ARAS数据集上取得与最优方法相当的高分辨率准确率及多人场景鲁棒性。
2024-06-25 cs.AI cs.CV
