EmbraceNet for Activity: A Deep Multimodal Fusion Architecture for Activity Recognition
Yonsei University（延世大学）
使用多个传感器的人体活动识别是近几十年来一个具有挑战性但有前途的任务。在本文中，我们提出了一个深度多模态融合模型的活动识别的基础上最近提出的特征融合架构命名为EmbraceNet。我们的模型独立处理每个传感器数据，将特征与EmbraceNet架构相结合，并对融合的特征进行后处理以预测活动。此外，我们还提出了额外的流程来提高模型的性能。我们将从我们提出的模型中获得的结果提交给SHL识别挑战，团队名称为“Yonsei-MCML”。"
2020-04-29 cs.LG eess.SP stat.ML
BSDGAN: Balancing Sensor Data Generative Adversarial Networks for Human Activity Recognition
Nanjing Tech University（南京工业大学）；Xidian University（西安电子科技大学）
物联网技术的发展使得各种传感器可以集成到移动设备中。基于传感器数据的人体活动识别（HAR）已成为机器学习和普适计算领域的一个活跃的研究课题。然而，由于人类活动的频率不一致，人类活动数据集中每项活动的数据量是不平衡的。由于传感器资源的有限性和人工标注传感器数据的高成本，人体活动识别面临着高度不平衡的活动数据集的挑战。在本文中，我们提出了平衡传感器数据生成对抗网络（BSDGAN）生成传感器数据的少数人类活动。建议BSDGAN由一个发电机模型和一个可重构模型。考虑到人类活动数据集的极端不平衡性，使用自动编码器初始化BSDGAN的训练过程，确保每个活动的数据特征可以学习。生成的活动数据与原始数据集相结合，以平衡人类活动类别之间的活动数据量。我们在两个公开的不平衡人类活动数据集WISDM和UNIMIB上部署了多个人类活动识别模型。实验结果表明，BSDGAN能够有效地捕捉真实人体活动传感器数据的数据特征，生成真实感较强的合成传感器数据。同时，平衡的活动数据集可以有效地帮助活动识别模型提高识别精度。
2022-08-07 cs.LG eess.SP
Ensembles of Deep LSTM Learners for Activity Recognition using Wearables
Newcastle University（纽卡斯尔大学）；Georgia Institute of Technology（佐治亚理工学院）
最近，深度学习（DL）方法已经非常成功地引入到无处不在和可穿戴计算中的人类活动识别（HAR）场景中。特别是克服人工特征设计的需要与优越的分类能力相结合的前景，使深度神经网络对现实生活中的HAR应用非常有吸引力。尽管基于DL的方法现在在该领域的许多识别任务中优于最先进的方法，但仍然存在重大挑战。最突出的是，现实生活中的数据集问题，通常包括不平衡的数据集和有问题的数据质量，仍然限制了使用可穿戴设备进行活动识别的有效性。在本文中，我们通过深度长短期记忆（LSTM）网络的集成来解决这些挑战。我们已经为LSTM网络开发了修改后的训练程序，并将不同的LSTM学习器组合成分类器集合。我们在形式上和经验上都证明了，深度LSTM学习者的集合优于单个LSTM网络。通过对三个标准基准（机会，PAMAP2，斯柯达）进行广泛的实验评估，我们展示了我们的方法的出色识别能力及其在人类活动识别的实际应用中的潜力。
2017-03-28 cs.AI cs.CV cs.LG
Stacked Generalization for Human Activity Recognition
Center for Pattern Analysis and Machine Learning Dept. of Electrical and Computer Engineering University of Waterloo（滑铁卢大学电气与计算机工程系模式分析与机器学习中心）；University of Waterloo（滑铁卢大学）
这篇简短的论文旨在讨论人类活动识别（HAR）的经典机器学习方法的有效性和性能。它提出了两个重要的模型-额外的树和堆叠分类器，强调最佳实践，算法和措施，需要最大限度地提高这些模型的性能。
2020-09-22 cs.LG
Mobile Exergames: Activity Recognition Based on Smartphone Sensors
Polytechnic of Coimbra, Coimbra Institute of Engineering（科英布拉理工学院科英布拉工程学院）
本文提出了一种基于智能手机传感器的2D无限游戏，通过结合运动和语音识别技术，实现高精度的人体活动识别，提升游戏沉浸感。
2026-01-31 cs.LG
Activity Recognition on a Large Scale in Short Videos - Moments in Time Dataset
瞬间捕捉了我们生活的很大一部分。准确识别这些时刻是具有挑战性的，因为这些时刻的解释是多样和复杂的。动作识别是指对给定视频中存在的期望动作/活动进行分类的动作。在这项工作中，我们在Moments in Time数据集上进行实验，以准确识别3秒片段中发生的活动。我们使用最先进的技术进行视觉，听觉和时空定位，并开发方法来准确地对时间数据集的时刻中的活动进行分类。我们使用基于视觉的文本特征和融合技术的新方法表现良好，在20个类别上提供了89.23%的前5名准确率-这是对基线TRN模型的显着改进。
2018-09-13 cs.CV cs.LG cs.MM
Human activity recognition based on time series analysis using U-Net
Beijing University of Posts and Telecommunications（北京邮电大学）；AIdong Super AI (Beijing) Co., Ltd（北京爱动超级人工智能有限公司）
传统的基于时间序列的人体活动识别采用滑动窗口分析方法。该方法面临的多类窗口问题，错误地标记为一个类的窗口内的不同类的采样点。本文提出了一种基于U-Net的HAR算法，在每个采样点进行活动标记和预测。将三轴加速度计的活动数据映射成单像素列多通道图像，输入U-Net网络进行训练和识别。我们的方案可以完成像素级的手势识别功能。该方法不需要人工进行特征提取，能够有效识别长期活动序列中的短期行为。我们收集了卫生数据集，并使用四个开放数据集测试了所提出的方案。实验结果表明，与支持向量机（SVM）、k-近邻（kNN）、决策树（DT）、二次判别分析（QDA）、卷积神经网络（CNN）和全卷积网络（FCN）方法相比，该方法在每个数据集上都具有最高的准确率和F1-评分，并且具有稳定的性能和较高的鲁棒性。同时，在U-Net完成训练后，我们的建议可以达到足够快的识别速度。
2018-09-20 cs.AI cs.LG stat.ML
A dataset for complex activity recognition withmicro and macro activities in a cooking scenario
Kyushu Institute of Technology（九州工业大学）；INRIA（法国国家信息与自动化研究所）
复杂活动识别可以从理解组成它们的步骤中受益。然而，目前的数据集只标注了一个标签，阻碍了这方面的研究。在本文中，我们描述了一个新的数据集，用于基于传感器的活动识别，其特征在于烹饪场景中的宏观和微观活动。三个传感系统同时测量，即运动捕捉系统，跟踪身体上的25个点;两个智能手机加速度计，一个在臀部，另一个在前臂;两个智能手表，每个手腕上一个。数据集被标记为配方（宏活动）和步骤（微活动）。我们总结了使用传统活动识别管道的基线分类结果。该数据集旨在轻松用于测试和开发活动识别方法。
2020-06-18 cs.HC cs.LG
Fullie and Wiselie: A Dual-Stream Recurrent Convolutional Attention Model for Activity Recognition
University of New South Wales（新南威尔士大学）；RMIT University（皇家墨尔本理工大学）；Northwestern Polytechnical University（西北工业大学）
多模态特征在基于可穿戴传感器的人体活动识别（HAR）中起着关键作用。自适应地选择最显著的特征是最大化多模态传感器数据的有效性的一种有前途的方法。在这方面，我们提出了一个“收集充分和明智地选择（Fullie和Wiselie）”的原则，以及双流循环卷积注意力模型，循环注意力和活动框架（RAAF），以提高识别性能。我们首先收集模态特征和每对特征之间的关系来生成活动框架，然后引入注意力机制来精确地从活动框架中选择最显著的区域。所选择的帧不仅最大限度地利用有效的功能，但也减少了要有效地计算的功能的数量。我们进一步分析的超参数，准确性，可解释性，和注释依赖性的基础上广泛的实验所提出的模型。结果表明，RAAF在两个基准数据集上取得了有竞争力的性能，并在现实生活中的情况下工作得很好。
2017-11-21 cs.AI cs.HC cs.LG
Personalized Activity Recognition with Deep Triplet Embeddings
Sunnybrook Research Institute（桑尼布鲁克研究所）；University of Toronto（多伦多大学）
惯性人类活动识别的监督学习方法的一个重大挑战是个体用户之间的数据的异质性，导致一些科目的客观算法的性能非常差。我们提出了一种基于全卷积神经网络的深度嵌入的个性化活动识别方法。我们用分类交叉熵损失和三重损失来训练嵌入，并描述了一种基于主题三重的新的三重损失函数。我们评估这些方法在三个公开的惯性人类活动识别数据集（MHEALTH，WISDM和SPAR）比较分类精度，分布外活动检测和嵌入泛化到新的活动。新的主题三元组损失提供了最佳的整体性能，并且所有个性化的深度嵌入都优于我们的基线个性化工程特征嵌入和非个性化的全卷积神经网络分类器。
2020-01-15 cs.LG stat.ML
Contrastive Predictive Coding for Human Activity Recognition
Georgia Institute of Technology（佐治亚理工学院）
特征提取是使用穿戴式运动传感器进行人体活动识别（HAR）的关键。最近，学习表示已被成功地使用，提供了有前途的替代手动工程的功能。我们的工作重点是有效地利用少量的标记数据和机会主义利用的未标记的数据，是直接收集在移动和无处不在的计算场景。我们假设并证明，明确考虑传感器数据的时间性在代表性水平发挥了重要作用，有效的HAR在具有挑战性的情况下。我们将对比预测编码（CPC）框架引入到人类活动识别中，该框架捕获传感器数据流的长期时间结构。通过对现实生活中的识别任务的一系列实验评估，我们证明了它的有效性，改进的HAR。基于CPC的预训练是自我监督的，并且由此产生的学习表示可以集成到标准活动链中。它导致显着提高识别性能时，只有少量的标记训练数据，从而证明了我们的方法的实用价值。
2020-12-09 cs.LG
Self-Supervised WiFi-Based Activity Recognition
University of Bristol（布里斯托大学）
传统的活动识别方法涉及使用可穿戴传感器或相机来识别人类活动。在这项工作中，我们从WiFi设备中提取细粒度的物理层信息，用于室内环境中的被动活动识别。虽然这些数据无处不在，但很少有方法被设计用于利用大量未标记的WiFi数据。我们建议使用自监督对比学习，以提高活动识别性能时，使用多个视图的传输的WiFi信号捕获不同的同步接收器。我们进行的实验中，发射器和接收器被安排在不同的物理布局，以涵盖视线（LoS）和非LoS（NLoS）的条件。我们将所提出的对比学习系统与非对比系统进行比较，并观察到基于WiFi的活动识别任务的宏观平均F1分数增加了17.7%，以及在一次和少样本学习场景中的显着改进。
2021-04-19 cs.LG cs.NI
Few-Shot Learning-Based Human Activity Recognition
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
少样本学习是一种通过从相关任务转移知识来学习具有非常少量的标记训练数据的模型的技术。在本文中，我们提出了一个少样本学习方法可穿戴传感器的人体活动识别，一种技术，寻求高层次的人类活动知识，从低层次的传感器输入。由于获得人类生成的活动数据的高成本和活动模式之间普遍存在的相似性，当只有少量数据可用于模型训练时，从现有的活动识别模型借用信息比收集更多的数据来从头开始训练新模型可能更有效。所提出的Few-Shot人体活动识别方法利用深度学习模型进行特征提取和分类，同时以模型参数传递的方式执行知识传递。为了减轻负迁移，我们提出了一个度量跨域类的相关性，使知识的相关性较高的知识分配较大的权重在知识转移。在广泛的实验结果表明，所提出的方法的优点。
2019-03-25 cs.LG stat.ML
ActiLabel: A Combinatorial Transfer Learning Framework for Activity Recognition
基于传感器的人类活动识别已成为从行为医学到游戏等许多新兴应用的关键组成部分。然而，物联网时代传感器设备多样性的空前增长限制了活动识别模型在不同领域的应用。我们提出了ActiLabel的组合框架，学习结构之间的相似性的事件在任意域和不同的域。结构上的相似性是通过一个图模型来捕捉的，这个图模型被称为it依赖图，它抽象了低层信号和特征空间中活动模式的细节。然后通过找到依赖图之间的最佳分层映射来自主学习活动标签。基于三个公共数据集的大量实验证明了ActiLabel优于最先进的迁移学习和深度学习方法。
2020-03-16 cs.LG stat.ML
Modeling the Trade-off of Privacy Preservation and Activity Recognition on Low-Resolution Images
Tsinghua University（清华大学）；Zhongguancun Laboratory（中关村实验室）；University of Washington（华盛顿大学）
使用低分辨率图像传感器的计算机视觉系统可以提供智能服务（例如，活动识别），但从硬件级别保留不必要的视觉隐私信息。然而，保护视觉隐私和实现准确的机器识别对图像分辨率有着对立的需求。对隐私保护和机器识别性能的权衡进行建模可以指导未来使用低分辨率图像传感器的隐私保护计算机视觉系统。在本文中，使用在家里的日常生活活动（ADL）的情况下，我们首先获得了最重要的视觉隐私功能，通过用户调查。然后，我们量化和分析了图像分辨率对人类和机器识别性能的影响，在活动识别和隐私意识任务。我们还研究了现代图像超分辨率技术如何影响这些效果。基于这些结果，我们提出了一种在低分辨率图像上对隐私保护和活动识别进行权衡的建模方法。
2023-03-18 cs.CV cs.HC cs.LG
Deep Learning for Sensor-based Activity Recognition: A Survey
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing Key Laboratory of Mobile Computing and Pervasive Device（北京市移动计算与普适设备重点实验室）；Institute of High Performance Computing, A*STAR（高性能计算研究所，新加坡科技研究局(A*STAR)（注：A*STAR为新加坡科技研究局，此处按要求提取到机构级别，即Institute of High Performance Computing, A*STAR））
基于传感器的活动识别从大量的低层次传感器读数中寻找关于人类活动的深刻的高层次知识。传统的模式识别方法在过去几年中取得了巨大的进步。然而，这些方法往往严重依赖于启发式手工制作的特征提取，这可能会阻碍其泛化性能。此外，现有的方法在无监督和增量学习任务中受到破坏。最近，深度学习的最新进展使得执行自动高级特征提取成为可能，从而在许多领域实现了有希望的性能。从那时起，基于深度学习的方法已被广泛用于基于传感器的活动识别任务。本文综述了基于深度学习的基于传感器的活动识别的最新进展。我们从三个方面总结现有的文献：传感器模态，深度模型和应用。我们还对现有工作提出了详细的见解，并为未来的研究提出了巨大的挑战。
2017-12-14 cs.AI cs.CV cs.LG
Domain Adaptation Under Behavioral and Temporal Shifts for Natural Time Series Mobile Activity Recognition
Washington State University（华盛顿州立大学）
越来越多的人的行为被捕获在移动设备上，导致对自动人类活动识别的兴趣增加。然而，现有的数据集通常由脚本运动组成。我们的长期目标是在自然环境中进行移动活动识别。我们收集了一个数据集来支持这一目标，其中包括与下游任务（如健康监测和干预）相关的活动类别。由于人类行为存在很大的差异，我们从两个不同年龄组的许多参与者那里收集数据。由于人类行为可能会随着时间的推移而变化，我们还收集了参与者一个月内的数据，以捕捉时间漂移。我们假设移动活动识别可以受益于无监督的领域自适应算法。为了解决这一需求和测试这一假设，我们分析了跨人和跨时间的领域自适应的性能。然后，我们增强无监督的领域自适应与对比学习和弱监督时，标签比例。该数据集可在https://github.com/WSU-CASAS/smartwatch-data上获得
2022-07-10 cs.LG
An Empirical Comparison of SVM and Some Supervised Learning Algorithms for Vowel recognition
National School of Engineering of Tunis-ENIT（突尼斯国家工程学院）
在这篇文章中，我们进行了一些监督学习算法的元音识别性能的研究。本研究旨在比较每种算法的准确性。因此，我们提出了五个监督学习分类器和两个组合分类器：SVM，KNN，朴素贝叶斯，二次贝叶斯正常（QDC）和最接近的平均值之间的实证比较。这些算法进行了测试，元音识别使用TIMIT语料库和梅尔频率倒谱系数（MFCC）。
2015-07-22 cs.CL cs.LG
maxVSTAR: Maximally Adaptive Vision-Guided CSI Sensing with Closed-Loop Edge Model Adaptation for Robust Human Activity Recognition
基于WiFi信道状态信息（CSI）的人类活动识别（HAR）为智能环境提供了一种保护隐私、无需设备的传感解决方案。然而，它在边缘设备上的部署受到域转移的严重限制，在不同的环境和硬件条件下，识别性能会恶化。本研究提出了maxVSTAR（最大自适应视觉引导传感技术的活动识别），一个闭环，视觉引导模型自适应框架，自主减轻边缘部署的CSI传感系统的域转移。所提出的系统集成了一个跨模态的师生架构，其中一个高精度的基于YOLO的视觉模型作为一个动态的监督信号，提供实时活动标签的CSI数据流。这些标签可以直接在边缘自动在线微调基于CSI的轻量级HAR模型，称为活动识别传感技术（STAR）。这种闭环再训练机制使STAR能够在无需人工干预的情况下不断适应环境变化。大量的实验证明了maxVSTAR的有效性。当部署在未经校准的硬件上时，基线STAR模型的识别准确率从93.52%下降到49.14%。在一个视觉引导适应周期后，maxVSTAR将准确率恢复到81.51%。这些结果证实了该系统在注重隐私的物联网环境中进行动态自监督模型自适应的能力，为在网络边缘使用CSI感知的长期自主HAR建立了一个可扩展的实用范例。
2025-10-30 cs.LG
A Survey of Human Activity Recognition in Smart Homes Based on IoT Sensors Algorithms: Taxonomies, Challenges, and Opportunities with Deep Learning
IMT Atlantique（IMT大西洋学院）；Delta Dore company（Delta Dore公司）
物联网（IoT）技术的最新进展和传感器成本的降低鼓励了智能环境（例如灵巧家庭）的发展。灵巧家庭可以提供家庭辅助服务，以改善其居民的生活质量，自主性和健康，特别是对老年人和受抚养人。为了提供这样的服务，灵巧家庭必须能够了解其居民的日常活动。在灵巧家庭中识别人类活动的技术每天都在进步。但新的挑战每天都在出现。在本文中，我们提出了最近的算法，作品，挑战和分类领域的人类活动识别在灵巧家庭通过环境传感器。此外，由于灵巧家庭中的活动识别是一个年轻的领域，我们提出了具体的问题，缺少和需要的贡献。而且还提出了方向，研究机会和解决方案，以加速这一领域的进步。
2021-10-18 cs.AI cs.HC cs.LG
Tri-axial Self-Attention for Concurrent Activity Recognition
Amazon（亚马逊）；Meitu（美图）
我们提出了一个并发活动识别系统。为了提取与不同活动相关联的特征，我们提出了一个特征到活动的注意力，将提取的全局特征映射到与单个活动相关联的子特征。为了对单个活动的时间关联进行建模，我们提出了一个变换器网络编码器，该编码器为每个活动建模独立的时间关联。为了使并发活动预测意识到活动之间的潜在关联，我们提出了自我注意与关联掩码。我们的系统在三个常用的并发活动检测数据集上实现了最先进或相当的性能。我们的可视化结果表明，我们的系统能够找到重要的时空特征，最终决策。我们还表明，我们的系统可以应用于一般的多标签分类问题。
2018-12-06 cs.CV cs.LG
Zero-Shot Activity Recognition with Videos
KU Leuven（鲁汶大学）；TU Munich（慕尼黑工业大学）
在本文中，我们研究了使用视频的zero-shot活动识别任务。我们引入了一个自动编码器为基础的模型来构建一个多模态联合嵌入空间之间的视觉和文本流形。在视觉方面，我们使用活动视频和最先进的3D卷积动作识别网络来提取特征。在文本方面，我们使用了GloVe词嵌入。zero-shot识别结果采用top-n精度进行评价。然后，流形学习能力衡量平均最近邻重叠。最后，我们提供了一个广泛的讨论的结果和未来的方向。
2020-01-22 cs.CL cs.CV cs.LG
EgoCHARM: Resource-Efficient Hierarchical Activity Recognition using an Egocentric IMU Sensor
Carnegie Mellon University（卡内基梅隆大学）；Meta Reality Labs（Meta 现实实验室）
本文提出资源高效的EgoCHARM算法，利用单个头戴IMU和半监督分层学习，以少量参数实现高层级与低层级活动的高F1识别，并可直接部署于IMU芯片。
2025-04-24 cs.CV cs.LG
Hierarchical Self Attention Based Autoencoder for Open-Set Human Activity Recognition
Independent University Bangladesh（孟加拉国独立大学）
针对传感器故障或受试者残疾导致的未见活动识别问题，提出一种基于分层自注意力的自编码器方法，在五个数据集上显著提升了闭集分类性能与对噪声的鲁棒性，并实现特征的可解释选择。
2021-03-07 cs.CV cs.LG
AdaSense: Adaptive Low-Power Sensing and Activity Recognition for Wearable Devices
Brown University（布朗大学）
可穿戴设备具有严格的功率和内存限制。因此，需要在不牺牲精度的情况下优化这些设备上的功耗。本文介绍了AdaSense：一个感知，特征提取和分类协同优化的人类活动识别框架。所提出的技术通过根据用户活动在不同传感器配置之间动态切换来降低功耗。该框架选择的配置，代表帕累托边界的准确性和能源的权衡。AdaSense还使用低开销处理和分类方法。所介绍的方法实现了69%的降低功耗的传感器与不到1.5%的活动识别精度下降。
2020-06-10 cs.HC cs.LG eess.SP
Deep Adversarial Learning with Activity-Based User Discrimination Task for Human Activity Recognition
AASS, Örebro University（厄勒布鲁大学AASS研究中心）；Faculty of Information Science and Electrical Engineering, Kyushu University（九州大学情报科学与电气工程学院）；ETSIDI, Universidad Politéctina de Madrid（马德里理工大学高等航空工程技术学院）
本文提出含新型基于活动的用户判别任务的对抗深度学习框架，以缓解 HAR 中的人际差异，并在三个数据集的 LOOCV 基准上取得优于以往方法和任务的分类效果。
2025-03-18 cs.CV cs.LG eess.SP
Transfer Learning for Activity Recognition in Mobile Health
Dartmouth College（达特茅斯学院）；Washington State University（华盛顿州立大学）；George Washington University（乔治华盛顿大学）；University of Washington（华盛顿大学）；Georgia Institute of Technology（佐治亚理工学院）；University of California Los Angeles（加利福尼亚大学洛杉矶分校）；University of Southern California（南加利福尼亚大学）
虽然来自惯性传感器的活动识别具有移动健康的潜力，但传感平台和用户运动模式的差异会导致性能下降。针对这些挑战，我们提出了一个迁移学习框架，transFall，基于传感器的活动识别。TransFall的设计包含两层数据转换、标签估计层和模型生成层，用于识别新场景的活动。我们通过分析和经验验证了TransFall。
2020-07-12 cs.HC cs.LG stat.ML
Subject Cross Validation in Human Activity Recognition
Concordia University（康考迪亚大学）
K-fold Cross Validation通常用于评估分类器并调整其超参数。但是，它假设数据点是独立和相同分布（i.i.d.）的。从而可以随机和均匀地选择训练和测试集中使用的样本。在人类活动识别数据集中，我们注意到，由于不同的因素，由相同的受试者产生的样本可能是相关的。因此，k折交叉验证可能会高估活动识别器的性能，特别是当使用重叠滑动窗口时。在本文中，我们研究了主题交叉验证对人体活动识别性能的影响，无论是与非重叠和重叠滑动窗口。结果表明，k折交叉验证人为地将识别器的性能提高了约10%，当使用重叠窗口时甚至提高了16%。此外，我们没有观察到使用重叠窗口的任何性能增益。我们的结论是，人类活动识别系统应进行评估的主题交叉验证，重叠的窗口是不值得他们额外的计算成本。
2019-04-09 cs.LG stat.ML
Classification of human activity recognition using smartphones
智能手机已经成为通信手段中最受欢迎和最广泛使用的设备。如今，通过嵌入式传感器可以在移动设备上识别人类活动，可以利用嵌入式传感器通过预测用户活动来管理移动设备上的用户行为。为了达到这一目的，本研究对存储活动特征、分类以及将它们映射到学习算法进行了研究。在这项研究中，我们通过深度信念网络对测试和训练数据进行分类，训练数据的正确诊断率为98.25%，测试数据的正确诊断率为93.01%。因此，在这项研究中，我们证明了深度信念网络是一种适用于这一特定目的的方法。
2020-01-06 cs.CY cs.LG eess.SP
Semi-Supervised Convolutional Neural Networks for Human Activity Recognition
Carnegie Mellon University（卡内基梅隆大学）
用于训练活动识别分类器的标记数据通常在大小和多样性方面受到限制。因此，当在现实世界的用例中使用时，学习的模型可能无法很好地泛化。半监督学习使用未标记的示例来增强标记的示例，通常会提高性能。然而，在活动识别文献中研究的半监督方法假设特征工程已经完成。在本文中，我们解除这一假设，并提出了两个半监督的方法，基于卷积神经网络（CNN）学习判别隐藏功能。我们的半监督CNN从标记和未标记的数据中学习，同时还对原始传感器数据进行特征学习。在三个真实世界数据集上的实验中，我们表明，我们的CNN在平均F1得分（Fm）方面优于监督方法和传统的半监督学习方法高达18%。
2018-01-22 cs.LG stat.ML
Deep Learning for Sensor-based Human Activity Recognition: Overview, Challenges and Opportunities
Aalborg University（奥尔堡大学）；University of New South Wales（新南威尔士大学）；Northwestern Polytechnical University（西北工业大学）；Michigan State University（密歇根州立大学）
传感器设备和物联网的广泛普及使基于传感器的活动识别的应用成为可能。然而，在实际场景中存在可能影响识别系统性能的实质性挑战。近年来，随着深度学习在许多领域的有效性得到证明，大量的深度学习方法被用来解决活动识别中的挑战。在这项研究中，我们提出了一个国家的最先进的深度学习方法的调查，基于传感器的人类活动识别。我们首先介绍了多模态的感觉数据，并提供信息的公共数据集，可用于评估在不同的挑战任务。然后，我们提出了一个新的分类结构的深层方法的挑战。对挑战和挑战相关的深层方法进行了总结和分析，形成了当前研究进展的概述。在这项工作的最后，我们讨论了开放的问题，并为未来的方向提供了一些见解。
2021-01-22 cs.HC cs.LG
Online Feature Selection for Activity Recognition using Reinforcement Learning with Multiple Feedback
University of Bristol（布里斯托大学）
机器学习和物联网的最新进展吸引了人们对自动活动识别的关注，其中用户佩戴具有传感器的设备，并且他们的输出被映射到预定义的活动集合。然而，很少有研究考虑可穿戴设备功耗和活动识别准确性之间的平衡。当计算负载的一部分发生在可穿戴设备上时，这是特别重要的。在本文中，我们提出了一种新的方法来执行特征选择的设备上的基础上强化学习（RL），找到功耗和准确性之间的最佳平衡。为了加快学习速度，我们扩展了RL算法来处理多个反馈源，并使用它们来调整策略，同时估计反馈精度。我们在SPHERE挑战数据集上评估了我们的系统，这是一个公开的研究数据集。结果表明，我们提出的方法实现了可穿戴功耗和活动识别精度之间的良好权衡。
2019-08-16 cs.LG stat.ML
Uncertainty Quantification for Deep Context-Aware Mobile Activity Recognition and Unknown Context Discovery
Texas A&M University（得克萨斯农工大学）；University of Washington（华盛顿大学）
可穿戴计算中的活动识别面临两个关键挑战：i）活动特征可能是上下文相关的，并且在不同的上下文或情况下会发生变化; ii）未知的上下文和活动可能会不时发生，这需要算法的灵活性和适应性。我们开发了一种上下文感知的深度模型混合物，称为α- \b{eta}网络，结合基于最大熵的不确定性量化（UQ），以增强人类活动识别性能。我们通过以数据驱动的方式识别高级上下文来指导模型开发，从而将准确性和F分数提高了10%。为了确保训练的稳定性，我们在公共和内部数据集中使用了基于聚类的预训练，通过未知上下文发现提高了准确性。
2020-03-03 cs.LG stat.ML
Human Activity Recognition Using LSTM-RNN Deep Neural Network Architecture
University of Pretoria（比勒陀利亚大学）；Malmö University（马尔默大学）
使用原始传感器数据来建模和训练用于人类活动识别的网络可以用于许多不同的应用，从健身跟踪到安全监控应用。这些模型可以很容易地扩展到使用不同的数据源进行训练，以提高准确性或扩展不同预测类别的分类。本文讨论了WISDM提供的可用数据集和不同轴的每个类的独特功能。此外，设计了一个长短期记忆（LSTM）架构模型的人类活动识别的应用。在前500次训练中，准确率超过94%，损失小于30%。
2019-05-02 cs.LG eess.SP stat.ML
BAR: Bayesian Activity Recognition using variational inference
Intel Labs（英特尔实验室）
深度神经网络中的不确定性估计对于设计可靠和鲁棒的AI系统至关重要。用于识别可疑活动的视频监控等应用程序设计有深度神经网络（DNN），但DNN不提供不确定性估计。在安全和安全关键应用中捕获可靠的不确定性估计将有助于建立对AI系统的信任。我们的贡献是将贝叶斯深度学习框架应用于视觉活动识别应用，并量化模型的不确定性以及原则性置信度。在训练贝叶斯DNN的同时，我们利用随机变分推理技术来推断模型参数的近似后验分布，并对模型参数的后验进行蒙特卡洛采样以获得预测分布。我们表明，贝叶斯推理适用于DNN提供可靠的置信度的视觉活动识别任务相比，传统的DNN。我们还表明，与非贝叶斯基线相比，我们的方法将视觉活动识别精确度-回忆AUC提高了6.2%。我们通过选择分发视频样本的一个子集来评估我们在Moments-In-Time（MiT）活动识别数据集上的模型。
2018-12-01 cs.CV cs.LG cs.NE
Design and Analysis of Efficient Attention in Transformers for Social Group Activity Recognition
Hitachi America, Ltd.（日立美国有限公司）
针对社会群体活动识别中区域特征易受定位和动作语义影响、大量嵌入向量导致注意力失效的问题，探索Transformer解码器的注意力设计，提出的方法取得了当前最优性能。
2024-04-15 cs.CV cs.LG
Human Activity Recognition models using Limited Consumer Device Sensors and Machine Learning
University of Wisconsin Eau-Claire（威斯康星大学欧克莱尔分校）
随着人类活动识别在日常生活方式和医疗环境中应用的增加，其越来越受欢迎。实现高效可靠的人类活动识别的目标带来了诸多好处，例如可访问使用和更好地分配资源;特别是在医疗行业。活动识别和分类可以使用许多复杂的数据记录设置来获得，但也需要观察模型之间的性能如何变化，这些模型严格限于使用来自易于访问的设备的传感器数据：智能手机和智能手表。本文介绍了不同的模型，仅限于训练使用这种传感器的调查结果。使用k最近邻、支持向量机或随机森林分类器算法训练模型。性能和评估是通过比较使用不同的移动传感器组合的各种模型的性能，以及它们如何影响模型的性能。结果显示，严格使用仅从智能手机和智能手表收集的有限传感器数据以及传统的机器学习概念和算法训练的模型有希望。
2022-01-21 cs.CR cs.LG
Semi-Supervised Phoneme Recognition with Recurrent Ladder Networks
Universität Hamburg（汉堡大学）
梯形网络是半监督学习领域的一个值得注意的新概念，它在图像识别任务中显示出最先进的结果，同时与许多现有的神经架构兼容。我们提出了经常性的梯形网络，一种新的修改的梯形网络，半监督学习的递归神经网络，我们评估与音素识别任务的TIMIT语料库。我们的研究结果表明，该模型能够始终优于基线，并实现完全监督的基线性能，只有75%的标签，这表明该模型能够使用无监督数据作为有效的正则化器。
2017-09-18 cs.CL cs.LG cs.NE
An IoT Based Framework For Activity Recognition Using Deep Learning Technique
B.M.S. College of Engineering（B.M.S.工程学院）
活动识别是识别和识别智能体的动作或目标的能力。代理可以是执行具有最终目标的动作的任何对象或实体。代理可以是执行动作的单个代理或执行动作或具有某种交互的代理组。人类活动识别由于其在许多实际应用中的需求而受到欢迎，例如娱乐，医疗保健，模拟和监控系统。基于视觉的活动识别正在获得优势，因为它不需要任何人为干预或与人类的身体接触。此外，还有一组联网的摄像机，旨在跟踪和识别代理的活动。需要跟踪或识别人类活动的传统应用程序使用可穿戴设备。然而，这种应用需要人的身体接触。为了克服这些挑战，可以使用基于视觉的活动识别系统，该系统使用相机来记录视频和执行识别任务的处理器。这项工作分两个阶段进行。在第一阶段中，提出了一种用于实现活动识别的方法，该方法使用图像的背景减除，然后使用3D-卷积神经网络。已经报道了在3D-卷积神经网络之前使用背景减除的影响。在第二阶段，工作进一步扩展并在Raspberry Pi上实现，可用于记录视频流，然后识别视频中涉及的活动。因此，提供了使用小型的基于IoT的设备进行活动识别的概念验证，其可以增强系统并以各种形式扩展其应用，例如增加便携性、联网和设备的其他能力。
2019-06-17 cs.CV cs.LG stat.ML
Personalizing Smartwatch Based Activity Recognition Using Transfer Learning
Virginia Tech（弗吉尼亚理工学院）；Qeexo Co.（Qeexo公司）
智能手表越来越多地用于识别人类的日常生活活动。这些设备可以采用不同种类的机器学习（ML）解决方案。其中一种ML模型是梯度提升机（GBM），它在文献中表现出了出色的性能。GBM可以在部署到任何设备之前在可用数据集上进行训练。然而，该数据集可能并不代表现实生活中人类的每一种行为。例如，用于检测老年人和年轻人跑步活动的ML模型可能会因为他们的活动模式不同而给出不同的结果。这可能导致活动识别的准确性降低。因此，提出了一种基于迁移学习的方法，在该方法中，通过仅调整其参数而不重新训练其估计器来进行GBM的设备上校准，可以显著提高用户特定的性能。实验结果表明，该方法可以显著提高基于用户的活动识别准确率。
2019-09-03 cs.CY cs.LG stat.ML
RARR : Robust Real-World Activity Recognition with Vibration by Scavenging Near-Surface Audio Online
University of California, Merced（加州大学默塞德分校）；University of California, Davis School Of Medicine（加州大学戴维斯分校医学院）
针对家庭振动活动识别依赖大量标注数据的问题，提出RARR框架，利用近表面音频合成数据预训练并以少量数据微调，提升跨用户与环境的日常活动追踪鲁棒性。
2025-08-28 cs.LG cs.SD
Non-local Graph Convolutional Network for joint Activity Recognition and Motion Prediction
Bosch Center for Artificial Intelligence（博世人工智能中心）
基于三维人脸的运动预测和行为识别是人类行为分析中的两个相互交织的任务。在这项工作中，我们提出了一种运动上下文建模方法，提供了一种新的方式来结合图形卷积神经网络和递归神经网络的优点，联合人体运动预测和活动识别。我们的方法基于使用LSTM编码器-解码器和非局部特征提取注意力机制来建模人体骨骼数据的空间相关性和运动帧之间的时间相关性。所提出的网络可以很容易地包括两个输出分支，一个用于活动识别，一个用于未来运动预测，它们可以联合训练以增强性能。在Human 3.6M，CMU Mocap和NTU RGB-D数据集上的实验结果表明，我们提出的方法在基于LSTM的基线方法中提供了最佳的预测能力，同时实现了与其他最先进方法相当的性能。
2021-08-03 cs.CV cs.LG cs.RO
SparseSense: Human Activity Recognition from Highly Sparse Sensor Data-streams Using Set-based Neural Networks
The University of Adelaide（阿德莱德大学）
无电池或所谓的无源可穿戴设备为人类活动识别（HAR）提供了新的创新方法，特别是在老年人的医疗保健应用中。无源传感器成本低、重量轻、不显眼并且理想地是一次性的;对于医院和疗养院中的医疗保健应用具有吸引力的属性。尽管传感应用的令人信服的主张，从这些传感器的数据流的特点是高稀疏性-传感器读数之间的时间间隔是不规则的，而每单位时间的读数的数量往往是有限的。在本文中，我们严格探讨了从时间稀疏数据中学习活动识别模型的问题。我们描述了如何以端到端的方式使用深度学习范式直接从稀疏数据中学习。我们在老年人的真实无源传感器数据集上展示了最先进的深度学习人类活动识别模型的显着分类性能改进。此外，我们通过对基准数据集的补充实验和对学习到的活动特征空间的可视化来深入了解模型的行为。
2019-06-06 cs.HC cs.LG stat.ML
Sensor Data for Human Activity Recognition: Feature Representation and Benchmarking
University of Liverpool（利物浦大学）；Delft University of Technology（代尔夫特理工大学）
人类活动识别（HAR）领域专注于获取和分析从监控设备（例如传感器）捕获的数据。该领域有广泛的应用;例如，辅助生活，安全监控和智能交通。在HAR中，活动识别模型的开发取决于这些设备捕获的数据以及用于分析这些数据的方法，这些数据直接影响性能指标。在这项工作中，我们解决了使用不同的机器学习（ML）技术准确识别人类活动的问题。我们提出了一个新的特征表示的基础上连续发生的意见，并将其与以前使用的特征表示使用广泛的分类方法。实验结果表明，基于所提出的表示技术优于基线，并实现了更好的准确性，为高和低频率的动作。我们还研究了添加更多功能及其预处理技术如何影响性能结果，从而在人类活动识别数据集上实现最先进的准确性。
2020-05-15 cs.LG stat.ML
Transformer Networks for Data Augmentation of Human Physical Activity Recognition
University of Siegen（锡根大学）
数据增强是分类中广泛使用的技术，以增加用于训练的数据。它提高了泛化能力，减少了训练所需的注释人类活动数据量，从而减少了数据集所需的劳动力和时间。与图像不同，传感器时间序列数据不能通过计算简单的变换算法来增强。最先进的模型，如递归生成对抗网络（RGAN），用于生成真实的合成数据。在本文中，Transformer为基础的生成对抗网络，具有全局关注的数据，PAMAP 2和真实世界的人类活动识别数据集与RGAN进行了比较。较新的方法提供了改进的时间和节省计算资源所需的数据增强比以前的方法。
2021-09-04 cs.CV cs.LG
Explainable Activity Recognition for Smart Home Systems
Georgia Institute of Technology（佐治亚理工学院）；KDDI Research（KDDI研究所）
本文针对智能家居活动识别缺乏可解释性的问题，提出基于XAI方法的可解释活动识别框架，通过SHAP等方法生成自然语言解释，实验表明SHAP解释成功率达92%，且83%的用户偏好自然语言解释而非简单活动标签，为智能家居自动化中XAI方法选择提供了建议。
2023-05-26 cs.HC cs.LG
Subject Invariant Contrastive Learning for Human Activity Recognition
Georgia Institute of Technology（佐治亚理工学院）；Center for Signal and Information Processing CSIP（信号与信息处理中心）
本文提出主体不变对比学习（SICL）损失函数，通过对同一主体的负样本对重新加权来抑制主体特定线索，从而提升人类活动识别模型对新主体的泛化能力，并在三个公开基准上验证了其有效性。
2025-07-04 cs.CV cs.LG
Self-Supervised learning with cross-modal transformers for emotion recognition
情感识别是一项具有挑战性的任务，由于有限的可用性在野生标记数据集。自监督学习已经在语音和自然语言等领域的有限标记数据集的任务上显示出改进。像BERT这样的模型学会了在词嵌入中加入上下文，这转化为在下游任务（如问答）中的性能提高。在这项工作中，我们将自监督训练扩展到多模态应用程序。我们学习多模态表示使用Transformer训练的掩蔽语言建模任务的音频，视觉和文本功能。该模型在情感识别的下游任务上进行了微调。我们在CMU-MOSEI数据集上的结果表明，与基线相比，这种预训练技术可以将情感识别性能提高3%。
2020-11-20 cs.CL cs.LG
From User-independent to Personal Human Activity Recognition Models Exploiting the Sensors of a Smartphone
University of Oulu（奥卢大学）
在这项研究中，提出了一种新的方法来获得用户相关的人类活动识别模型，通过利用智能手机的传感器不引人注目。识别由两个模型组成：基于传感器融合的用户无关的数据标记模型和基于单传感器的用户相关的最终识别模型。所提出的方法的功能进行测试与人类活动数据集，包括从加速度计和磁力计的数据，并与两个分类器。与传统的用户无关模型的检测精度的比较表明，所提出的方法是有潜力的，在十个情况下，它是优于传统的方法，但更多的实验，使用不同的传感器组合，以显示该方法的全部潜力。
2019-05-29 cs.HC cs.LG
Self-Adaptation of Activity Recognition Systems to New Sensors
Bonsai Systems GmbH（Bonsai Systems有限公司）；ETH Zürich（苏黎世联邦理工学院）；University of Kassel（卡塞尔大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
传统的活动识别系统在训练的基础上工作，考虑到一组固定的传感器。在本文中，我们关注的问题是模式识别如何在没有任何用户输入或用户输入最少的情况下利用新的信息源。因此，我们提出了一种机会主义活动识别的方法，无处不在的传感器导致动态变化的输入空间。我们的方法是机器学习的成熟原则的变体，依赖于无监督聚类来发现数据中的结构，并以半监督的方式从少量标记的数据中推断聚类标签。阐述的挑战，超过3000个传感器组合的评估，从三个多用户实验详细介绍，并显示我们的方法的潜在好处。
2017-01-30 cs.CV cs.LG stat.ML
Applications of human activity recognition in industrial processes -- Synergy of human and technology
TU Dortmund University（多特蒙德工业大学）
人与技术的协作依赖于语言和非语言沟通。机器必须能够检测和理解人类的动作，以促进非语言交流。在这篇文章中，我们介绍了正在进行的内部物流中人类活动识别的研究，并展示了它如何在工业环境中应用。我们展示了如何使用语义属性灵活地描述人类活动，以及上下文信息如何提高分类器自动识别它们的性能。除此之外，我们提出了一个基于网络物理孪生的概念，可以减少为人类活动识别创建训练数据集所需的精力和时间。在未来，它将有可能训练一个分类器单独与现实的模拟数据，同时保持甚至提高分类性能。
2022-12-05 cs.CV cs.LG
SPAct: Self-supervised Privacy Preservation for Action Recognition
University of Central Florida（中佛罗里达大学）
视觉隐私信息泄漏是视频理解（如活动识别）快速发展的应用中出现的关键问题。现有的用于减轻动作识别中的隐私泄露的方法需要隐私标签以及来自视频数据集的动作标签。然而，为隐私标签注释视频数据集的帧是不可行的。自监督学习（SSL）的最新发展释放了未标记数据的未开发潜力。这是第一次，我们提出了一种新的训练框架，它以自我监督的方式从输入视频中删除隐私信息，而不需要隐私标签。我们的训练框架由三个主要部分组成：匿名化功能，自我监督隐私删除分支和动作识别分支。我们训练我们的框架使用极大极小优化策略，以最小化的动作识别成本函数和最大化的隐私成本函数，通过对比自我监督损失。采用现有的协议的已知的行动和隐私属性，我们的框架实现了竞争性的行动隐私权衡现有的国家的最先进的监督方法。此外，我们引入了一个新的协议来评估学习的匿名化功能的泛化到新的动作和隐私属性，并表明我们的自监督框架优于现有的监督方法。代码可在：https://github.com/DAVEISHAN/SPAct
2022-03-29 cs.CR cs.CV cs.LG
Online Human Activity Recognition Employing Hierarchical Hidden Markov Models
Amirkabir University of Technology（阿米尔卡比尔理工大学）
在过去的几年里，人们对人类活动识别（HAR）的兴趣越来越大。特别是基于传感器的HAR方法由于其隐私保护性质而越来越受欢迎。此外，由于互联网的广泛可访问性，在过去几十年中出现了广泛的基于流媒体的应用程序，例如在线HAR。然而，在智能环境中提出足够强大的在线活动识别方法仍然被认为是一个巨大的挑战。本文提出了一种新的层次隐马尔可夫模型的在线应用，以检测当前活动的传感器事件的实时流。我们的方法包括两个阶段。在第一阶段中，根据活动模式的开始和结束对数据流进行分段。此外，正在进行的活动与每个接收观察一起报告。该阶段使用分层隐马尔可夫模型实现。第二阶段致力于基于统计特征校正所提供的用于分段数据流的标签。所提出的模型还可以发现在另一个活动期间发生的活动-所谓的中断活动。在检测到活动窗格之后，将利用统计特征（诸如活动发生的时间和活动的持续时间）来校正预测的标签。我们通过对两个不同的灵巧家庭数据集进行测试来验证我们提出的方法，并证明了其有效性，这与最先进的方法相竞争。
2019-03-12 cs.LG stat.ML
Tutorial on Deep Learning for Human Activity Recognition
University of Siegen（锡根大学）
能够从可穿戴惯性传感器估计人类活动的活动识别系统在过去几十年中已经取得了很大进展。不仅最先进的方法远离了特征工程，并完全采用了端到端的深度学习方法，用于设置实验、准备数据集和验证活动识别方法的最佳实践也得到了类似的发展。本教程首次在2021年ACM可穿戴计算机国际研讨会（ISWC'21）和普适和普适计算国际联合会议（UbiComp'21）上举行。本教程在对活动识别研究领域进行了简短介绍之后，提供了对人类活动深度学习数据管道中最重要步骤的动手和交互式演练。本教程中显示的所有演示幻灯片，其中还包含所有代码练习的链接，以及本教程的GitHub页面的链接，可以在https://mariusbock.github.io/dl-for-har上找到
2021-10-13 cs.HC cs.LG
