Continual Learning in Human Activity Recognition: an Empirical Analysis of Regularization
University of St Andrews(圣安德鲁斯大学)
考虑到专注于计算机视觉领域的深度神经网络的持续学习技术的增长趋势,需要确定这些技术中的哪一个可以很好地推广到其他任务,如人类活动识别(HAR)。由于最近的方法主要由丢失正则化项和记忆重放组成,因此我们对HAR数据集上使用这些技术的一些突出的任务增量学习技术进行了成分分析。我们发现,大多数正则化方法缺乏实质性的效果,并提供了一个直觉,当他们失败。因此,我们的情况下,持续学习算法的发展应该是由相当不同的任务域的动机。
2020-07-06 cs.CV cs.LG
BSDGAN: Balancing Sensor Data Generative Adversarial Networks for Human Activity Recognition
Nanjing Tech University(南京工业大学);Xidian University(西安电子科技大学)
物联网技术的发展使得各种传感器可以集成到移动设备中。基于传感器数据的人体活动识别(HAR)已成为机器学习和普适计算领域的一个活跃的研究课题。然而,由于人类活动的频率不一致,人类活动数据集中每项活动的数据量是不平衡的。由于传感器资源的有限性和人工标注传感器数据的高成本,人体活动识别面临着高度不平衡的活动数据集的挑战。在本文中,我们提出了平衡传感器数据生成对抗网络(BSDGAN)生成传感器数据的少数人类活动。建议BSDGAN由一个发电机模型和一个可重构模型。考虑到人类活动数据集的极端不平衡性,使用自动编码器初始化BSDGAN的训练过程,确保每个活动的数据特征可以学习。生成的活动数据与原始数据集相结合,以平衡人类活动类别之间的活动数据量。我们在两个公开的不平衡人类活动数据集WISDM和UNIMIB上部署了多个人类活动识别模型。实验结果表明,BSDGAN能够有效地捕捉真实人体活动传感器数据的数据特征,生成真实感较强的合成传感器数据。同时,平衡的活动数据集可以有效地帮助活动识别模型提高识别精度。
2022-08-07 cs.LG eess.SP
EmbraceNet for Activity: A Deep Multimodal Fusion Architecture for Activity Recognition
Yonsei University(延世大学)
使用多个传感器的人体活动识别是近几十年来一个具有挑战性但有前途的任务。在本文中,我们提出了一个深度多模态融合模型的活动识别的基础上最近提出的特征融合架构命名为EmbraceNet。我们的模型独立处理每个传感器数据,将特征与EmbraceNet架构相结合,并对融合的特征进行后处理以预测活动。此外,我们还提出了额外的流程来提高模型的性能。我们将从我们提出的模型中获得的结果提交给SHL识别挑战,团队名称为“Yonsei-MCML”。"
2020-04-29 cs.LG eess.SP stat.ML
SALIENCE: An Unsupervised User Adaptation Model for Multiple Wearable Sensors Based Human Activity Recognition
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
无监督用户自适应将来自训练用户和新用户的数据的特征分布对齐,因此经过良好训练的可穿戴人体活动识别(WHAR)模型可以很好地适应新用户。随着可穿戴传感器技术的发展,基于WHAR的多传感器可穿戴系统得到了越来越多的关注。为了解决不同传感器的可移植性不同的挑战,我们提出了SALIENCE(基于多个可穿戴传感器的人体活动识别的无监督用户自适应模型)模型。它分别对齐每个传感器的数据以实现局部对齐,同时统一对齐所有传感器的数据以确保全局对齐。此外,提出了一种注意机制,使SALIENCE的活动分类器集中在具有较强特征区分度和良好分布对齐的传感器上。在两个公开的WHAR数据集上进行了实验,实验结果表明,我们的模型可以产生一个有竞争力的性能。
2022-04-27 cs.LG eess.SP
AdaSense: Adaptive Low-Power Sensing and Activity Recognition for Wearable Devices
Brown University(布朗大学)
可穿戴设备具有严格的功率和内存限制。因此,需要在不牺牲精度的情况下优化这些设备上的功耗。本文介绍了AdaSense:一个感知,特征提取和分类协同优化的人类活动识别框架。所提出的技术通过根据用户活动在不同传感器配置之间动态切换来降低功耗。该框架选择的配置,代表帕累托边界的准确性和能源的权衡。AdaSense还使用低开销处理和分类方法。所介绍的方法实现了69%的降低功耗的传感器与不到1.5%的活动识别精度下降。
2020-06-10 cs.HC cs.LG eess.SP
Investigating Deep Neural Network Architecture and Feature Extraction Designs for Sensor-based Human Activity Recognition
Sharif University of Technology(谢里夫理工大学);Allameh Tabataba'i University(阿拉姆·塔巴塔巴伊大学)
该研究针对基于传感器的人体活动识别任务,在两个数据集上开展实验,探究不同深度学习、机器学习方法、训练机制及特征表示的性能与有效性。
2023-09-26 cs.AI cs.LG eess.SP
Deep Adversarial Learning with Activity-Based User Discrimination Task for Human Activity Recognition
AASS, Örebro University(厄勒布鲁大学AASS研究中心);Faculty of Information Science and Electrical Engineering, Kyushu University(九州大学情报科学与电气工程学院);ETSIDI, Universidad Politéctina de Madrid(马德里理工大学高等航空工程技术学院)
本文提出含新型基于活动的用户判别任务的对抗深度学习框架,以缓解 HAR 中的人际差异,并在三个数据集的 LOOCV 基准上取得优于以往方法和任务的分类效果。
2025-03-18 cs.CV cs.LG eess.SP
Human Activity Recognition Using LSTM-RNN Deep Neural Network Architecture
University of Pretoria(比勒陀利亚大学);Malmö University(马尔默大学)
使用原始传感器数据来建模和训练用于人类活动识别的网络可以用于许多不同的应用,从健身跟踪到安全监控应用。这些模型可以很容易地扩展到使用不同的数据源进行训练,以提高准确性或扩展不同预测类别的分类。本文讨论了WISDM提供的可用数据集和不同轴的每个类的独特功能。此外,设计了一个长短期记忆(LSTM)架构模型的人类活动识别的应用。在前500次训练中,准确率超过94%,损失小于30%。
2019-05-02 cs.LG eess.SP stat.ML
Activity Recognition using Hierarchical Hidden Markov Models on Streaming Sensor Data
Amirkabir University of Technology(阿米尔卡比尔理工大学)
从传感器数据中识别活动涉及各种挑战,例如重叠活动,活动标记和活动检测。虽然识别领域的每个挑战都非常重要,但最重要的挑战是在线活动识别。本研究尝试使用在线层次隐马尔可夫模型来检测传感器数据流上的活动,该模型可以预测具有任何传感器事件的环境中的活动。活动识别样本通过活动持续时间等统计特征进行标记。我们提出的方法在现实世界中的两个不同的灵巧家庭数据集上进行测试的结果表明,一个数据集的结果提高了4%,达到了59%,而另一个数据的结果达到了64.6%,通过使用最好的方法。
2018-10-04 cs.LG stat.ML
Stacked Generalization for Human Activity Recognition
Center for Pattern Analysis and Machine Learning Dept. of Electrical and Computer Engineering University of Waterloo(滑铁卢大学电气与计算机工程系模式分析与机器学习中心);University of Waterloo(滑铁卢大学)
这篇简短的论文旨在讨论人类活动识别(HAR)的经典机器学习方法的有效性和性能。它提出了两个重要的模型-额外的树和堆叠分类器,强调最佳实践,算法和措施,需要最大限度地提高这些模型的性能。
2020-09-22 cs.LG
Deep Activity Recognition Models with Triaxial Accelerometers
尽管几乎所有的手机和可穿戴设备都广泛安装了加速度计,但由于现有识别方法的识别准确率不高,加上标记的训练数据稀缺,使用加速度计的活动识别仍然不成熟。我们考虑使用三轴加速度计和深度学习范例的人类活动识别问题。这篇论文表明,深度活动识别模型(a)提供了更好的人类活动识别准确性,(b)避免了现有系统中手工特征的昂贵设计,(c)利用大量未标记的加速度样本进行无监督特征提取。此外,提出了一种深度学习和隐马尔可夫模型(DL-HMM)的混合方法用于序列活动识别。这种混合方法将深度活动识别模型的分层表示与隐马尔可夫模型中时间序列的随机建模相结合。我们在现实世界的数据集上显示了使用三轴加速度计进行人类活动识别的最先进方法的实质性识别改进。
2016-10-25 cs.HC cs.LG cs.NE
Mobile Exergames: Activity Recognition Based on Smartphone Sensors
Polytechnic of Coimbra, Coimbra Institute of Engineering(科英布拉理工学院科英布拉工程学院)
本文提出了一种基于智能手机传感器的2D无限游戏,通过结合运动和语音识别技术,实现高精度的人体活动识别,提升游戏沉浸感。
2026-01-31 cs.LG
Classification of human activity recognition using smartphones
智能手机已经成为通信手段中最受欢迎和最广泛使用的设备。如今,通过嵌入式传感器可以在移动设备上识别人类活动,可以利用嵌入式传感器通过预测用户活动来管理移动设备上的用户行为。为了达到这一目的,本研究对存储活动特征、分类以及将它们映射到学习算法进行了研究。在这项研究中,我们通过深度信念网络对测试和训练数据进行分类,训练数据的正确诊断率为98.25%,测试数据的正确诊断率为93.01%。因此,在这项研究中,我们证明了深度信念网络是一种适用于这一特定目的的方法。
2020-01-06 cs.CY cs.LG eess.SP
Multi-agent Attentional Activity Recognition
University of New South Wales(新南威尔士大学);Northwestern Polytechnical University(西北工业大学)
多模态是基于传感器的活动识别的重要特征。在这项工作中,我们考虑人类活动的两个固有特性,时空变化的显着性的功能和活动和相应的身体部位运动之间的关系。在此基础上,我们提出了一个多智能体时空注意力模型。时空注意力机制有助于智能地选择信息模态及其活跃时段。该模型中的多个智能体通过独立选择与单个运动相关联的模态来表示跨身体部位的集体运动活动。在共同的识别目标下,智能体共享获得的信息并协调其选择策略以学习最佳识别模型。在四个真实数据集上的实验结果表明,该模型优于现有的方法。
2019-05-22 cs.HC cs.LG eess.SP
Deep Learning in Human Activity Recognition with Wearable Sensors: A Review on Advances
Northwestern University(西北大学);McGill University(麦吉尔大学);Georgia Institute of Technology(佐治亚理工学院);Columbia University(哥伦比亚大学)
移动和可穿戴设备已经实现了许多应用,包括活动跟踪、健康监测和人机交互,这些应用测量并改善了我们的日常生活。其中许多应用是通过利用许多移动和可穿戴设备中的丰富低功耗传感器集合来执行人类活动识别(HAR)而实现的。最近,深度学习极大地推动了HAR在移动和可穿戴设备上的边界。本文系统地梳理和总结了可穿戴HAR领域深度学习方法的研究现状,分析了其发展趋势和面临的主要挑战。我们还提出了基于深度学习的HAR的前沿和未来方向。
2022-03-03 cs.HC cs.LG eess.SP
Contrastive Predictive Coding for Human Activity Recognition
Georgia Institute of Technology(佐治亚理工学院)
特征提取是使用穿戴式运动传感器进行人体活动识别(HAR)的关键。最近,学习表示已被成功地使用,提供了有前途的替代手动工程的功能。我们的工作重点是有效地利用少量的标记数据和机会主义利用的未标记的数据,是直接收集在移动和无处不在的计算场景。我们假设并证明,明确考虑传感器数据的时间性在代表性水平发挥了重要作用,有效的HAR在具有挑战性的情况下。我们将对比预测编码(CPC)框架引入到人类活动识别中,该框架捕获传感器数据流的长期时间结构。通过对现实生活中的识别任务的一系列实验评估,我们证明了它的有效性,改进的HAR。基于CPC的预训练是自我监督的,并且由此产生的学习表示可以集成到标准活动链中。它导致显着提高识别性能时,只有少量的标记训练数据,从而证明了我们的方法的实用价值。
2020-12-09 cs.LG
Wearable Sensor Data Based Human Activity Recognition using Machine Learning: A new approach
Vietnam National University of Agriculture(越南农业国立大学);ENSAIT(法国国立高等纺织艺术与工业学院)
近年来,基于可穿戴传感器数据的人体活动识别(HAR)发展迅速。人们可以在这一领域找到许多实际应用,特别是在医疗保健领域。决策树、支持向量机、朴素贝叶斯、K-近邻、多层感知器等机器学习算法在HAR中得到了成功的应用。虽然这些方法快速且易于实现,但由于在许多情况下性能不佳,它们仍然具有一定的局限性。在本文中,我们提出了一种新的方法集成学习的基础上,以提高这些机器学习方法的性能HAR。
2019-05-09 cs.HC cs.LG eess.SP
Can Ensemble of Classifiers Provide Better Recognition Results in Packaging Activity?
University of Dhaka(达卡大学);Osaka University(大阪大学)
基于以太网的运动捕捉(MoCap)系统已经在游戏和电影行业中广泛使用,用于模仿复杂的人类动作很长时间。MoCap数据也证明了其在人类活动识别任务中的有效性。然而,对于较小的数据集来说,这是一项非常具有挑战性的任务。缺乏这类工业活动数据进一步增加了困难。在这项工作中,我们提出了一种基于集成的机器学习方法,旨在更好地处理MoCap数据集。实验是根据2021年便当包装活动识别挑战赛中给出的MoCap数据进行的。便当是一个日语单词,类似于午餐盒。在处理原始的MoCap数据在第一,我们已经取得了惊人的准确性98%的10倍交叉验证和留一交叉验证82%,通过使用所提出的集成模型。
2022-11-05 cs.CV cs.LG eess.SP
A dataset for complex activity recognition withmicro and macro activities in a cooking scenario
Kyushu Institute of Technology(九州工业大学);INRIA(法国国家信息与自动化研究所)
复杂活动识别可以从理解组成它们的步骤中受益。然而,目前的数据集只标注了一个标签,阻碍了这方面的研究。在本文中,我们描述了一个新的数据集,用于基于传感器的活动识别,其特征在于烹饪场景中的宏观和微观活动。三个传感系统同时测量,即运动捕捉系统,跟踪身体上的25个点;两个智能手机加速度计,一个在臀部,另一个在前臂;两个智能手表,每个手腕上一个。数据集被标记为配方(宏活动)和步骤(微活动)。我们总结了使用传统活动识别管道的基线分类结果。该数据集旨在轻松用于测试和开发活动识别方法。
2020-06-18 cs.HC cs.LG
maxVSTAR: Maximally Adaptive Vision-Guided CSI Sensing with Closed-Loop Edge Model Adaptation for Robust Human Activity Recognition
基于WiFi信道状态信息(CSI)的人类活动识别(HAR)为智能环境提供了一种保护隐私、无需设备的传感解决方案。然而,它在边缘设备上的部署受到域转移的严重限制,在不同的环境和硬件条件下,识别性能会恶化。本研究提出了maxVSTAR(最大自适应视觉引导传感技术的活动识别),一个闭环,视觉引导模型自适应框架,自主减轻边缘部署的CSI传感系统的域转移。所提出的系统集成了一个跨模态的师生架构,其中一个高精度的基于YOLO的视觉模型作为一个动态的监督信号,提供实时活动标签的CSI数据流。这些标签可以直接在边缘自动在线微调基于CSI的轻量级HAR模型,称为活动识别传感技术(STAR)。这种闭环再训练机制使STAR能够在无需人工干预的情况下不断适应环境变化。大量的实验证明了maxVSTAR的有效性。当部署在未经校准的硬件上时,基线STAR模型的识别准确率从93.52%下降到49.14%。在一个视觉引导适应周期后,maxVSTAR将准确率恢复到81.51%。这些结果证实了该系统在注重隐私的物联网环境中进行动态自监督模型自适应的能力,为在网络边缘使用CSI感知的长期自主HAR建立了一个可扩展的实用范例。
2025-10-30 cs.LG
Personalized Activity Recognition with Deep Triplet Embeddings
Sunnybrook Research Institute(桑尼布鲁克研究所);University of Toronto(多伦多大学)
惯性人类活动识别的监督学习方法的一个重大挑战是个体用户之间的数据的异质性,导致一些科目的客观算法的性能非常差。我们提出了一种基于全卷积神经网络的深度嵌入的个性化活动识别方法。我们用分类交叉熵损失和三重损失来训练嵌入,并描述了一种基于主题三重的新的三重损失函数。我们评估这些方法在三个公开的惯性人类活动识别数据集(MHEALTH,WISDM和SPAR)比较分类精度,分布外活动检测和嵌入泛化到新的活动。新的主题三元组损失提供了最佳的整体性能,并且所有个性化的深度嵌入都优于我们的基线个性化工程特征嵌入和非个性化的全卷积神经网络分类器。
2020-01-15 cs.LG stat.ML
Posture Recognition in the Critical Care Settings using Wearable Devices
University of Florida(佛罗里达大学)
重症监护病房(ICU)患者的低体力活动水平与不良临床结局有关。因此,需要对ICU中的身体活动进行连续和客观的测量,以量化身体活动与患者结局之间的关联。这种测量也将帮助临床医生评估拟议的康复和物理治疗方案在改善身体活动方面的疗效。在这项研究中,我们使用可穿戴传感器的数据研究了ICU人群中姿势识别的可行性。
2021-10-07 cs.HC cs.LG eess.SP
A Survey of Human Activity Recognition in Smart Homes Based on IoT Sensors Algorithms: Taxonomies, Challenges, and Opportunities with Deep Learning
IMT Atlantique(IMT大西洋学院);Delta Dore company(Delta Dore公司)
物联网(IoT)技术的最新进展和传感器成本的降低鼓励了智能环境(例如灵巧家庭)的发展。灵巧家庭可以提供家庭辅助服务,以改善其居民的生活质量,自主性和健康,特别是对老年人和受抚养人。为了提供这样的服务,灵巧家庭必须能够了解其居民的日常活动。在灵巧家庭中识别人类活动的技术每天都在进步。但新的挑战每天都在出现。在本文中,我们提出了最近的算法,作品,挑战和分类领域的人类活动识别在灵巧家庭通过环境传感器。此外,由于灵巧家庭中的活动识别是一个年轻的领域,我们提出了具体的问题,缺少和需要的贡献。而且还提出了方向,研究机会和解决方案,以加速这一领域的进步。
2021-10-18 cs.AI cs.HC cs.LG
Application of Machine Learning Techniques in Human Activity Recognition
人类活动检测在过去的十年中取得了巨大的增长,在普适计算领域发挥了重要作用。这种新兴的流行可以归因于其大量的现实生活中的应用,主要是处理以人为本的问题,如医疗保健和老年人护理。许多研究尝试与数据采掘和机器学习技术已经经历了准确地检测人类活动的电子健康系统。本文综述了预测数据采掘的一些算法,并比较了这些模型的准确性和性能。最后对未来的研究方向进行了讨论。
2015-10-19 cs.LG
Tri-axial Self-Attention for Concurrent Activity Recognition
Amazon(亚马逊);Meitu(美图)
我们提出了一个并发活动识别系统。为了提取与不同活动相关联的特征,我们提出了一个特征到活动的注意力,将提取的全局特征映射到与单个活动相关联的子特征。为了对单个活动的时间关联进行建模,我们提出了一个变换器网络编码器,该编码器为每个活动建模独立的时间关联。为了使并发活动预测意识到活动之间的潜在关联,我们提出了自我注意与关联掩码。我们的系统在三个常用的并发活动检测数据集上实现了最先进或相当的性能。我们的可视化结果表明,我们的系统能够找到重要的时空特征,最终决策。我们还表明,我们的系统可以应用于一般的多标签分类问题。
2018-12-06 cs.CV cs.LG
Modeling the Trade-off of Privacy Preservation and Activity Recognition on Low-Resolution Images
Tsinghua University(清华大学);Zhongguancun Laboratory(中关村实验室);University of Washington(华盛顿大学)
使用低分辨率图像传感器的计算机视觉系统可以提供智能服务(例如,活动识别),但从硬件级别保留不必要的视觉隐私信息。然而,保护视觉隐私和实现准确的机器识别对图像分辨率有着对立的需求。对隐私保护和机器识别性能的权衡进行建模可以指导未来使用低分辨率图像传感器的隐私保护计算机视觉系统。在本文中,使用在家里的日常生活活动(ADL)的情况下,我们首先获得了最重要的视觉隐私功能,通过用户调查。然后,我们量化和分析了图像分辨率对人类和机器识别性能的影响,在活动识别和隐私意识任务。我们还研究了现代图像超分辨率技术如何影响这些效果。基于这些结果,我们提出了一种在低分辨率图像上对隐私保护和活动识别进行权衡的建模方法。
2023-03-18 cs.CV cs.HC cs.LG
EgoCHARM: Resource-Efficient Hierarchical Activity Recognition using an Egocentric IMU Sensor
Carnegie Mellon University(卡内基梅隆大学);Meta Reality Labs(Meta 现实实验室)
本文提出资源高效的EgoCHARM算法,利用单个头戴IMU和半监督分层学习,以少量参数实现高层级与低层级活动的高F1识别,并可直接部署于IMU芯片。
2025-04-24 cs.CV cs.LG
Hierarchical Self Attention Based Autoencoder for Open-Set Human Activity Recognition
Independent University Bangladesh(孟加拉国独立大学)
针对传感器故障或受试者残疾导致的未见活动识别问题,提出一种基于分层自注意力的自编码器方法,在五个数据集上显著提升了闭集分类性能与对噪声的鲁棒性,并实现特征的可解释选择。
2021-03-07 cs.CV cs.LG
Subject Cross Validation in Human Activity Recognition
Concordia University(康考迪亚大学)
K-fold Cross Validation通常用于评估分类器并调整其超参数。但是,它假设数据点是独立和相同分布(i.i.d.)的。从而可以随机和均匀地选择训练和测试集中使用的样本。在人类活动识别数据集中,我们注意到,由于不同的因素,由相同的受试者产生的样本可能是相关的。因此,k折交叉验证可能会高估活动识别器的性能,特别是当使用重叠滑动窗口时。在本文中,我们研究了主题交叉验证对人体活动识别性能的影响,无论是与非重叠和重叠滑动窗口。结果表明,k折交叉验证人为地将识别器的性能提高了约10%,当使用重叠窗口时甚至提高了16%。此外,我们没有观察到使用重叠窗口的任何性能增益。我们的结论是,人类活动识别系统应进行评估的主题交叉验证,重叠的窗口是不值得他们额外的计算成本。
2019-04-09 cs.LG stat.ML
Deep Learning for Sensor-based Human Activity Recognition: Overview, Challenges and Opportunities
Aalborg University(奥尔堡大学);University of New South Wales(新南威尔士大学);Northwestern Polytechnical University(西北工业大学);Michigan State University(密歇根州立大学)
传感器设备和物联网的广泛普及使基于传感器的活动识别的应用成为可能。然而,在实际场景中存在可能影响识别系统性能的实质性挑战。近年来,随着深度学习在许多领域的有效性得到证明,大量的深度学习方法被用来解决活动识别中的挑战。在这项研究中,我们提出了一个国家的最先进的深度学习方法的调查,基于传感器的人类活动识别。我们首先介绍了多模态的感觉数据,并提供信息的公共数据集,可用于评估在不同的挑战任务。然后,我们提出了一个新的分类结构的深层方法的挑战。对挑战和挑战相关的深层方法进行了总结和分析,形成了当前研究进展的概述。在这项工作的最后,我们讨论了开放的问题,并为未来的方向提供了一些见解。
2021-01-22 cs.HC cs.LG
Online Feature Selection for Activity Recognition using Reinforcement Learning with Multiple Feedback
University of Bristol(布里斯托大学)
机器学习和物联网的最新进展吸引了人们对自动活动识别的关注,其中用户佩戴具有传感器的设备,并且他们的输出被映射到预定义的活动集合。然而,很少有研究考虑可穿戴设备功耗和活动识别准确性之间的平衡。当计算负载的一部分发生在可穿戴设备上时,这是特别重要的。在本文中,我们提出了一种新的方法来执行特征选择的设备上的基础上强化学习(RL),找到功耗和准确性之间的最佳平衡。为了加快学习速度,我们扩展了RL算法来处理多个反馈源,并使用它们来调整策略,同时估计反馈精度。我们在SPHERE挑战数据集上评估了我们的系统,这是一个公开的研究数据集。结果表明,我们提出的方法实现了可穿戴功耗和活动识别精度之间的良好权衡。
2019-08-16 cs.LG stat.ML
Zero-Shot Activity Recognition with Videos
KU Leuven(鲁汶大学);TU Munich(慕尼黑工业大学)
在本文中,我们研究了使用视频的zero-shot活动识别任务。我们引入了一个自动编码器为基础的模型来构建一个多模态联合嵌入空间之间的视觉和文本流形。在视觉方面,我们使用活动视频和最先进的3D卷积动作识别网络来提取特征。在文本方面,我们使用了GloVe词嵌入。zero-shot识别结果采用top-n精度进行评价。然后,流形学习能力衡量平均最近邻重叠。最后,我们提供了一个广泛的讨论的结果和未来的方向。
2020-01-22 cs.CL cs.CV cs.LG
Uncertainty Quantification for Deep Context-Aware Mobile Activity Recognition and Unknown Context Discovery
Texas A&M University(得克萨斯农工大学);University of Washington(华盛顿大学)
可穿戴计算中的活动识别面临两个关键挑战:i)活动特征可能是上下文相关的,并且在不同的上下文或情况下会发生变化; ii)未知的上下文和活动可能会不时发生,这需要算法的灵活性和适应性。我们开发了一种上下文感知的深度模型混合物,称为α- \b{eta}网络,结合基于最大熵的不确定性量化(UQ),以增强人类活动识别性能。我们通过以数据驱动的方式识别高级上下文来指导模型开发,从而将准确性和F分数提高了10%。为了确保训练的稳定性,我们在公共和内部数据集中使用了基于聚类的预训练,通过未知上下文发现提高了准确性。
2020-03-03 cs.LG stat.ML
Design and Analysis of Efficient Attention in Transformers for Social Group Activity Recognition
Hitachi America, Ltd.(日立美国有限公司)
针对社会群体活动识别中区域特征易受定位和动作语义影响、大量嵌入向量导致注意力失效的问题,探索Transformer解码器的注意力设计,提出的方法取得了当前最优性能。
2024-04-15 cs.CV cs.LG
Human Activity Recognition models using Limited Consumer Device Sensors and Machine Learning
University of Wisconsin Eau-Claire(威斯康星大学欧克莱尔分校)
随着人类活动识别在日常生活方式和医疗环境中应用的增加,其越来越受欢迎。实现高效可靠的人类活动识别的目标带来了诸多好处,例如可访问使用和更好地分配资源;特别是在医疗行业。活动识别和分类可以使用许多复杂的数据记录设置来获得,但也需要观察模型之间的性能如何变化,这些模型严格限于使用来自易于访问的设备的传感器数据:智能手机和智能手表。本文介绍了不同的模型,仅限于训练使用这种传感器的调查结果。使用k最近邻、支持向量机或随机森林分类器算法训练模型。性能和评估是通过比较使用不同的移动传感器组合的各种模型的性能,以及它们如何影响模型的性能。结果显示,严格使用仅从智能手机和智能手表收集的有限传感器数据以及传统的机器学习概念和算法训练的模型有希望。
2022-01-21 cs.CR cs.LG
RARR : Robust Real-World Activity Recognition with Vibration by Scavenging Near-Surface Audio Online
University of California, Merced(加州大学默塞德分校);University of California, Davis School Of Medicine(加州大学戴维斯分校医学院)
针对家庭振动活动识别依赖大量标注数据的问题,提出RARR框架,利用近表面音频合成数据预训练并以少量数据微调,提升跨用户与环境的日常活动追踪鲁棒性。
2025-08-28 cs.LG cs.SD
Sensor Data for Human Activity Recognition: Feature Representation and Benchmarking
University of Liverpool(利物浦大学);Delft University of Technology(代尔夫特理工大学)
人类活动识别(HAR)领域专注于获取和分析从监控设备(例如传感器)捕获的数据。该领域有广泛的应用;例如,辅助生活,安全监控和智能交通。在HAR中,活动识别模型的开发取决于这些设备捕获的数据以及用于分析这些数据的方法,这些数据直接影响性能指标。在这项工作中,我们解决了使用不同的机器学习(ML)技术准确识别人类活动的问题。我们提出了一个新的特征表示的基础上连续发生的意见,并将其与以前使用的特征表示使用广泛的分类方法。实验结果表明,基于所提出的表示技术优于基线,并实现了更好的准确性,为高和低频率的动作。我们还研究了添加更多功能及其预处理技术如何影响性能结果,从而在人类活动识别数据集上实现最先进的准确性。
2020-05-15 cs.LG stat.ML
Transformer Networks for Data Augmentation of Human Physical Activity Recognition
University of Siegen(锡根大学)
数据增强是分类中广泛使用的技术,以增加用于训练的数据。它提高了泛化能力,减少了训练所需的注释人类活动数据量,从而减少了数据集所需的劳动力和时间。与图像不同,传感器时间序列数据不能通过计算简单的变换算法来增强。最先进的模型,如递归生成对抗网络(RGAN),用于生成真实的合成数据。在本文中,Transformer为基础的生成对抗网络,具有全局关注的数据,PAMAP 2和真实世界的人类活动识别数据集与RGAN进行了比较。较新的方法提供了改进的时间和节省计算资源所需的数据增强比以前的方法。
2021-09-04 cs.CV cs.LG
Ensembles of Deep LSTM Learners for Activity Recognition using Wearables
Newcastle University(纽卡斯尔大学);Georgia Institute of Technology(佐治亚理工学院)
最近,深度学习(DL)方法已经非常成功地引入到无处不在和可穿戴计算中的人类活动识别(HAR)场景中。特别是克服人工特征设计的需要与优越的分类能力相结合的前景,使深度神经网络对现实生活中的HAR应用非常有吸引力。尽管基于DL的方法现在在该领域的许多识别任务中优于最先进的方法,但仍然存在重大挑战。最突出的是,现实生活中的数据集问题,通常包括不平衡的数据集和有问题的数据质量,仍然限制了使用可穿戴设备进行活动识别的有效性。在本文中,我们通过深度长短期记忆(LSTM)网络的集成来解决这些挑战。我们已经为LSTM网络开发了修改后的训练程序,并将不同的LSTM学习器组合成分类器集合。我们在形式上和经验上都证明了,深度LSTM学习者的集合优于单个LSTM网络。通过对三个标准基准(机会,PAMAP2,斯柯达)进行广泛的实验评估,我们展示了我们的方法的出色识别能力及其在人类活动识别的实际应用中的潜力。
2017-03-28 cs.AI cs.CV cs.LG
An IoT Based Framework For Activity Recognition Using Deep Learning Technique
B.M.S. College of Engineering(B.M.S.工程学院)
活动识别是识别和识别智能体的动作或目标的能力。代理可以是执行具有最终目标的动作的任何对象或实体。代理可以是执行动作的单个代理或执行动作或具有某种交互的代理组。人类活动识别由于其在许多实际应用中的需求而受到欢迎,例如娱乐,医疗保健,模拟和监控系统。基于视觉的活动识别正在获得优势,因为它不需要任何人为干预或与人类的身体接触。此外,还有一组联网的摄像机,旨在跟踪和识别代理的活动。需要跟踪或识别人类活动的传统应用程序使用可穿戴设备。然而,这种应用需要人的身体接触。为了克服这些挑战,可以使用基于视觉的活动识别系统,该系统使用相机来记录视频和执行识别任务的处理器。这项工作分两个阶段进行。在第一阶段中,提出了一种用于实现活动识别的方法,该方法使用图像的背景减除,然后使用3D-卷积神经网络。已经报道了在3D-卷积神经网络之前使用背景减除的影响。在第二阶段,工作进一步扩展并在Raspberry Pi上实现,可用于记录视频流,然后识别视频中涉及的活动。因此,提供了使用小型的基于IoT的设备进行活动识别的概念验证,其可以增强系统并以各种形式扩展其应用,例如增加便携性、联网和设备的其他能力。
2019-06-17 cs.CV cs.LG stat.ML
Explainable Activity Recognition for Smart Home Systems
Georgia Institute of Technology(佐治亚理工学院);KDDI Research(KDDI研究所)
本文针对智能家居活动识别缺乏可解释性的问题,提出基于XAI方法的可解释活动识别框架,通过SHAP等方法生成自然语言解释,实验表明SHAP解释成功率达92%,且83%的用户偏好自然语言解释而非简单活动标签,为智能家居自动化中XAI方法选择提供了建议。
2023-05-26 cs.HC cs.LG
BAR: Bayesian Activity Recognition using variational inference
Intel Labs(英特尔实验室)
深度神经网络中的不确定性估计对于设计可靠和鲁棒的AI系统至关重要。用于识别可疑活动的视频监控等应用程序设计有深度神经网络(DNN),但DNN不提供不确定性估计。在安全和安全关键应用中捕获可靠的不确定性估计将有助于建立对AI系统的信任。我们的贡献是将贝叶斯深度学习框架应用于视觉活动识别应用,并量化模型的不确定性以及原则性置信度。在训练贝叶斯DNN的同时,我们利用随机变分推理技术来推断模型参数的近似后验分布,并对模型参数的后验进行蒙特卡洛采样以获得预测分布。我们表明,贝叶斯推理适用于DNN提供可靠的置信度的视觉活动识别任务相比,传统的DNN。我们还表明,与非贝叶斯基线相比,我们的方法将视觉活动识别精确度-回忆AUC提高了6.2%。我们通过选择分发视频样本的一个子集来评估我们在Moments-In-Time(MiT)活动识别数据集上的模型。
2018-12-01 cs.CV cs.LG cs.NE
Subject Invariant Contrastive Learning for Human Activity Recognition
Georgia Institute of Technology(佐治亚理工学院);Center for Signal and Information Processing CSIP(信号与信息处理中心)
本文提出主体不变对比学习(SICL)损失函数,通过对同一主体的负样本对重新加权来抑制主体特定线索,从而提升人类活动识别模型对新主体的泛化能力,并在三个公开基准上验证了其有效性。
2025-07-04 cs.CV cs.LG
Non-local Graph Convolutional Network for joint Activity Recognition and Motion Prediction
Bosch Center for Artificial Intelligence(博世人工智能中心)
基于三维人脸的运动预测和行为识别是人类行为分析中的两个相互交织的任务。在这项工作中,我们提出了一种运动上下文建模方法,提供了一种新的方式来结合图形卷积神经网络和递归神经网络的优点,联合人体运动预测和活动识别。我们的方法基于使用LSTM编码器-解码器和非局部特征提取注意力机制来建模人体骨骼数据的空间相关性和运动帧之间的时间相关性。所提出的网络可以很容易地包括两个输出分支,一个用于活动识别,一个用于未来运动预测,它们可以联合训练以增强性能。在Human 3.6M,CMU Mocap和NTU RGB-D数据集上的实验结果表明,我们提出的方法在基于LSTM的基线方法中提供了最佳的预测能力,同时实现了与其他最先进方法相当的性能。
2021-08-03 cs.CV cs.LG cs.RO
From User-independent to Personal Human Activity Recognition Models Exploiting the Sensors of a Smartphone
University of Oulu(奥卢大学)
在这项研究中,提出了一种新的方法来获得用户相关的人类活动识别模型,通过利用智能手机的传感器不引人注目。识别由两个模型组成:基于传感器融合的用户无关的数据标记模型和基于单传感器的用户相关的最终识别模型。所提出的方法的功能进行测试与人类活动数据集,包括从加速度计和磁力计的数据,并与两个分类器。与传统的用户无关模型的检测精度的比较表明,所提出的方法是有潜力的,在十个情况下,它是优于传统的方法,但更多的实验,使用不同的传感器组合,以显示该方法的全部潜力。
2019-05-29 cs.HC cs.LG
Semi-Supervised Convolutional Neural Networks for Human Activity Recognition
Carnegie Mellon University(卡内基梅隆大学)
用于训练活动识别分类器的标记数据通常在大小和多样性方面受到限制。因此,当在现实世界的用例中使用时,学习的模型可能无法很好地泛化。半监督学习使用未标记的示例来增强标记的示例,通常会提高性能。然而,在活动识别文献中研究的半监督方法假设特征工程已经完成。在本文中,我们解除这一假设,并提出了两个半监督的方法,基于卷积神经网络(CNN)学习判别隐藏功能。我们的半监督CNN从标记和未标记的数据中学习,同时还对原始传感器数据进行特征学习。在三个真实世界数据集上的实验中,我们表明,我们的CNN在平均F1得分(Fm)方面优于监督方法和传统的半监督学习方法高达18%。
2018-01-22 cs.LG stat.ML
Applications of human activity recognition in industrial processes -- Synergy of human and technology
TU Dortmund University(多特蒙德工业大学)
人与技术的协作依赖于语言和非语言沟通。机器必须能够检测和理解人类的动作,以促进非语言交流。在这篇文章中,我们介绍了正在进行的内部物流中人类活动识别的研究,并展示了它如何在工业环境中应用。我们展示了如何使用语义属性灵活地描述人类活动,以及上下文信息如何提高分类器自动识别它们的性能。除此之外,我们提出了一个基于网络物理孪生的概念,可以减少为人类活动识别创建训练数据集所需的精力和时间。在未来,它将有可能训练一个分类器单独与现实的模拟数据,同时保持甚至提高分类性能。
2022-12-05 cs.CV cs.LG
SparseSense: Human Activity Recognition from Highly Sparse Sensor Data-streams Using Set-based Neural Networks
The University of Adelaide(阿德莱德大学)
无电池或所谓的无源可穿戴设备为人类活动识别(HAR)提供了新的创新方法,特别是在老年人的医疗保健应用中。无源传感器成本低、重量轻、不显眼并且理想地是一次性的;对于医院和疗养院中的医疗保健应用具有吸引力的属性。尽管传感应用的令人信服的主张,从这些传感器的数据流的特点是高稀疏性-传感器读数之间的时间间隔是不规则的,而每单位时间的读数的数量往往是有限的。在本文中,我们严格探讨了从时间稀疏数据中学习活动识别模型的问题。我们描述了如何以端到端的方式使用深度学习范式直接从稀疏数据中学习。我们在老年人的真实无源传感器数据集上展示了最先进的深度学习人类活动识别模型的显着分类性能改进。此外,我们通过对基准数据集的补充实验和对学习到的活动特征空间的可视化来深入了解模型的行为。
2019-06-06 cs.HC cs.LG stat.ML
Online Human Activity Recognition Employing Hierarchical Hidden Markov Models
Amirkabir University of Technology(阿米尔卡比尔理工大学)
在过去的几年里,人们对人类活动识别(HAR)的兴趣越来越大。特别是基于传感器的HAR方法由于其隐私保护性质而越来越受欢迎。此外,由于互联网的广泛可访问性,在过去几十年中出现了广泛的基于流媒体的应用程序,例如在线HAR。然而,在智能环境中提出足够强大的在线活动识别方法仍然被认为是一个巨大的挑战。本文提出了一种新的层次隐马尔可夫模型的在线应用,以检测当前活动的传感器事件的实时流。我们的方法包括两个阶段。在第一阶段中,根据活动模式的开始和结束对数据流进行分段。此外,正在进行的活动与每个接收观察一起报告。该阶段使用分层隐马尔可夫模型实现。第二阶段致力于基于统计特征校正所提供的用于分段数据流的标签。所提出的模型还可以发现在另一个活动期间发生的活动-所谓的中断活动。在检测到活动窗格之后,将利用统计特征(诸如活动发生的时间和活动的持续时间)来校正预测的标签。我们通过对两个不同的灵巧家庭数据集进行测试来验证我们提出的方法,并证明了其有效性,这与最先进的方法相竞争。
2019-03-12 cs.LG stat.ML
Tutorial on Deep Learning for Human Activity Recognition
University of Siegen(锡根大学)
能够从可穿戴惯性传感器估计人类活动的活动识别系统在过去几十年中已经取得了很大进展。不仅最先进的方法远离了特征工程,并完全采用了端到端的深度学习方法,用于设置实验、准备数据集和验证活动识别方法的最佳实践也得到了类似的发展。本教程首次在2021年ACM可穿戴计算机国际研讨会(ISWC'21)和普适和普适计算国际联合会议(UbiComp'21)上举行。本教程在对活动识别研究领域进行了简短介绍之后,提供了对人类活动深度学习数据管道中最重要步骤的动手和交互式演练。本教程中显示的所有演示幻灯片,其中还包含所有代码练习的链接,以及本教程的GitHub页面的链接,可以在https://mariusbock.github.io/dl-for-har上找到
2021-10-13 cs.HC cs.LG
Personalization in Human Activity Recognition
University of Milano Bicocca(米兰比可卡大学)
近年来,人们对能够自动识别人所进行的活动的技术越来越感兴趣。这个领域被称为人类活动识别(HAR)。HAR在监测人们的福祉方面至关重要,特别是老年人和受退化性疾病影响的人。主要挑战之一涉及人口的多样性,以及如何由于身体特征和生活方式而以不同的方式开展相同的活动。在本文中,我们探讨了利用物理特征和信号相似性的可能性,以实现不依赖于此信息的深度学习分类器更好的结果。
2020-09-01 cs.CV cs.LG
Human Activity Recognition on wrist-worn accelerometers using self-supervised neural networks
Verily Life Sciences, LLC (Alphabet)(Verily生命科学有限责任公司(Alphabet))
日常生活活动能力(ADL)是整体健康的重要指标,但难以在临床上测量。使用腕戴式加速度计的自动化和准确的人类活动识别(HAR)实现了对ADL的实用且具有成本效益的远程监测。开发高质量HAR的关键障碍是缺乏大型标记数据集,以及将在小型策划数据集上训练的模型应用于现实生活中连续的异构数据流时的性能损失。在这项工作中,我们设计了一个自监督学习范例,以创建一个强大的表示加速度计数据,可以概括跨设备和主题。我们证明了这种表示可以分离日常生活活动,并使用很少的标签实现强大的HAR准确性(在多个基准数据集上)。我们还提出了一种分割算法,可以识别显着活动的片段,并在连续的现实生活数据上提高HAR的准确性。
2021-12-22 cs.CV cs.LG
Human Activity Recognition using Smartphones
Veermata Jijabai Technological Institute(维尔马塔·吉贾巴伊技术学院)
本项目开发了一个Android应用,利用智能手机加速度计数据,通过中值滤波和特征提取,结合机器学习算法实现实时人类活动识别和卡路里消耗计算。
2024-04-03 cs.AI cs.LG
Self-Adaptation of Activity Recognition Systems to New Sensors
Bonsai Systems GmbH(Bonsai Systems有限公司);ETH Zürich(苏黎世联邦理工学院);University of Kassel(卡塞尔大学);German Research Center for Artificial Intelligence(德国人工智能研究中心)
传统的活动识别系统在训练的基础上工作,考虑到一组固定的传感器。在本文中,我们关注的问题是模式识别如何在没有任何用户输入或用户输入最少的情况下利用新的信息源。因此,我们提出了一种机会主义活动识别的方法,无处不在的传感器导致动态变化的输入空间。我们的方法是机器学习的成熟原则的变体,依赖于无监督聚类来发现数据中的结构,并以半监督的方式从少量标记的数据中推断聚类标签。阐述的挑战,超过3000个传感器组合的评估,从三个多用户实验详细介绍,并显示我们的方法的潜在好处。
2017-01-30 cs.CV cs.LG stat.ML