Preliminary Investigation of SSL for Complex Work Activity Recognition in Industrial Domain via MoIL
本研究提出基序识别学习(MoIL)自监督方法,利用传感器数据基序预训练神经网络,在有限标签下实现工业复杂工作活动的高精度识别。
2024-04-21 cs.HC
Deep Activity Recognition Models with Triaxial Accelerometers
尽管几乎所有的手机和可穿戴设备都广泛安装了加速度计,但由于现有识别方法的识别准确率不高,加上标记的训练数据稀缺,使用加速度计的活动识别仍然不成熟。我们考虑使用三轴加速度计和深度学习范例的人类活动识别问题。这篇论文表明,深度活动识别模型(a)提供了更好的人类活动识别准确性,(b)避免了现有系统中手工特征的昂贵设计,(c)利用大量未标记的加速度样本进行无监督特征提取。此外,提出了一种深度学习和隐马尔可夫模型(DL-HMM)的混合方法用于序列活动识别。这种混合方法将深度活动识别模型的分层表示与隐马尔可夫模型中时间序列的随机建模相结合。我们在现实世界的数据集上显示了使用三轴加速度计进行人类活动识别的最先进方法的实质性识别改进。
2016-10-25 cs.HC cs.LG cs.NE
A dataset for complex activity recognition withmicro and macro activities in a cooking scenario
Kyushu Institute of Technology(九州工业大学);INRIA(法国国家信息与自动化研究所)
复杂活动识别可以从理解组成它们的步骤中受益。然而,目前的数据集只标注了一个标签,阻碍了这方面的研究。在本文中,我们描述了一个新的数据集,用于基于传感器的活动识别,其特征在于烹饪场景中的宏观和微观活动。三个传感系统同时测量,即运动捕捉系统,跟踪身体上的25个点;两个智能手机加速度计,一个在臀部,另一个在前臂;两个智能手表,每个手腕上一个。数据集被标记为配方(宏活动)和步骤(微活动)。我们总结了使用传统活动识别管道的基线分类结果。该数据集旨在轻松用于测试和开发活动识别方法。
2020-06-18 cs.HC cs.LG
Human Activity Recognition (HAR) in Smart Homes
人类活动识别(HAR)通常包括监视和分析一个或多个人的行为,以推断他们的活动。在灵巧家庭环境中,HAR包括监视居民的日常活动。由于这种监控,灵巧家庭可以提供家庭辅助服务,以提高居民的生活质量,自主性和健康,特别是对于老年人和受抚养人。
2021-12-20 cs.HC eess.SP
Multimodal Transformer for Nursing Activity Recognition
University of Central Florida(中佛罗里达大学)
在人口老龄化的情况下,老年患者的安全是医院和疗养院的首要问题,这需要增加护士护理。通过执行护士活动识别,我们不仅可以确保所有患者都能得到平等的护理,而且还可以将护士从他们执行的活动的手动记录中解放出来,从而为老年人提供公平安全的护理场所。在这项工作中,我们提出了一个多模态变换为基础的网络,提取骨骼关节和加速度数据的特征,并融合它们来执行护士活动识别。我们的方法在护士护理活动识别挑战赛的护士活动识别基准数据集上实现了81.8%的准确率。我们进行消融研究表明,我们的融合模型优于单一模态Transformer变体(仅使用加速度或骨骼关节数据)。在NCRC数据集上,我们的解决方案的性能也优于最先进的ST-GCN、GRU和其他经典的基于手工特征的分类器解决方案1.6%。代码可在\url{https://github.com/Momilijaz96/MMT_for_NCRC}上获得。
2022-04-09 cs.CV cs.HC
Deep Learning for Sensor-based Human Activity Recognition: Overview, Challenges and Opportunities
Aalborg University(奥尔堡大学);University of New South Wales(新南威尔士大学);Northwestern Polytechnical University(西北工业大学);Michigan State University(密歇根州立大学)
传感器设备和物联网的广泛普及使基于传感器的活动识别的应用成为可能。然而,在实际场景中存在可能影响识别系统性能的实质性挑战。近年来,随着深度学习在许多领域的有效性得到证明,大量的深度学习方法被用来解决活动识别中的挑战。在这项研究中,我们提出了一个国家的最先进的深度学习方法的调查,基于传感器的人类活动识别。我们首先介绍了多模态的感觉数据,并提供信息的公共数据集,可用于评估在不同的挑战任务。然后,我们提出了一个新的分类结构的深层方法的挑战。对挑战和挑战相关的深层方法进行了总结和分析,形成了当前研究进展的概述。在这项工作的最后,我们讨论了开放的问题,并为未来的方向提供了一些见解。
2021-01-22 cs.HC cs.LG
Multi-Person Brain Activity Recognition via Comprehensive EEG Signal Analysis
University of New South Wales(新南威尔士大学);Singapore Management University(新加坡管理大学);Macquarie University(麦考瑞大学);RMIT University(皇家墨尔本理工大学)
基于脑电图(EEG)的脑活动识别是灵巧家庭和智能医疗领域中的许多重要应用(诸如意图预测、电器控制和神经疾病诊断)的基础研究领域。现有技术大多集中在单个人的二进制大脑活动识别,这限制了它们在更广泛和复杂的实际场景中的部署。因此,多人和多类别的大脑活动识别最近得到了普及。脑电活动识别面临的另一个挑战是由于脑电信号中存在大量噪声和低信噪比,导致识别准确率低。此外,脑电信号处理中的特征工程是耗时的,并且高度依赖于专家经验。在本文中,我们试图解决上述挑战,提出了一种方法,具有更好的解释能力,通过原始脑电图(EEG)信号分析,多人和多类脑活动识别。具体来说,我们分析了类间和人间的脑电信号特征,在此基础上捕捉类间脑电信号数据的差异。然后,我们采用自动编码器层,通过消除各种伪影来自动细化原始EEG信号。我们评估我们的方法在公共和本地EEG数据集上进行了广泛的实验,以探讨几个因素(如归一化方法,训练数据大小,和Autoencoder隐藏神经元大小)对识别结果的影响。实验结果表明,该方法与现有方法相比具有较高的识别准确率,对多人脑电识别的研究具有一定的促进作用。
2017-09-26 cs.CV cs.HC
Rethinking Activity Awareness: The Design, Evaluation & Implication of Integrating Activity Awareness into Mobile Messaging
如今,不同类型的上下文信息被集成到移动消息传送中以增加表现力和感知,包括移动终端设置、位置、活动和心率。由于识别准确率较低,有时用户无法通过活动感知准确推断他人的状态。最近,活动识别技术已经发展。然而,用户行为的活动意识与改进的技术还没有被研究。在这项研究中,我们设计了一个移动即时通讯应用程序ActAware,它集成了基于改进的活动识别技术的活动感知,即,提高了识别准确性,并增加了活动转换通知。我们进行了一项实地研究来探索用户行为,发现活动感知可以让用户推测聊天中断的原因,计划沟通,推测聊天伙伴是否离开/到达,加深对生活模式的理解。与披露其他类型的上下文信息相比,用户对在ActAware中披露活动信息的隐私担忧较少。基于这些发现,我们为移动消息传递提供了设计建议,以更好地支持活动感知。
2022-12-01 cs.HC cs.SI
Human Activity Recognition for Mobile Robot
The Chinese University of Hong Kong(香港中文大学)
随着包括家用清洁机器人在内的移动机器人在发达国家数量的不断增加,人类活动识别对于协调的人机交互是不可避免的。毋庸置疑,这对机器人来说确实是一项具有挑战性的任务,学习人类活动对于自主移动机器人(AMR)在没有任何指导的情况下在不受控制的环境中导航是有利的。为复杂的人类行为构建正确的分类器是不平凡的,因为简单的行为可以组合起来识别复杂的人类活动。本文利用卷积神经网络训练了一个人体活动识别模型。我们使用Vicon物理动作数据集训练和验证了模型,并在我们生成的数据集(VMCUHK)上测试了模型。我们的实验表明,我们的方法执行高精度,人类活动识别任务的Vicon物理动作数据集和VMCUHK数据集。
2018-01-23 cs.CV cs.HC cs.RO
Modeling the Trade-off of Privacy Preservation and Activity Recognition on Low-Resolution Images
Tsinghua University(清华大学);Zhongguancun Laboratory(中关村实验室);University of Washington(华盛顿大学)
使用低分辨率图像传感器的计算机视觉系统可以提供智能服务(例如,活动识别),但从硬件级别保留不必要的视觉隐私信息。然而,保护视觉隐私和实现准确的机器识别对图像分辨率有着对立的需求。对隐私保护和机器识别性能的权衡进行建模可以指导未来使用低分辨率图像传感器的隐私保护计算机视觉系统。在本文中,使用在家里的日常生活活动(ADL)的情况下,我们首先获得了最重要的视觉隐私功能,通过用户调查。然后,我们量化和分析了图像分辨率对人类和机器识别性能的影响,在活动识别和隐私意识任务。我们还研究了现代图像超分辨率技术如何影响这些效果。基于这些结果,我们提出了一种在低分辨率图像上对隐私保护和活动识别进行权衡的建模方法。
2023-03-18 cs.CV cs.HC cs.LG
Explainable Activity Recognition for Smart Home Systems
Georgia Institute of Technology(佐治亚理工学院);KDDI Research(KDDI研究所)
本文针对智能家居活动识别缺乏可解释性的问题,提出基于XAI方法的可解释活动识别框架,通过SHAP等方法生成自然语言解释,实验表明SHAP解释成功率达92%,且83%的用户偏好自然语言解释而非简单活动标签,为智能家居自动化中XAI方法选择提供了建议。
2023-05-26 cs.HC cs.LG
Human Activity Behavioural Pattern Recognition in Smarthome with Long-hour Data Collection
本文提出一种融合环境传感器与智能手机传感器的混合深度学习框架,利用GRU模型以95%准确率识别基本活动,并基于活动时长与频率识别人类行为模式,用于老年人居家监护等应用。
2023-07-09 cs.HC cs.IR
From User-independent to Personal Human Activity Recognition Models Exploiting the Sensors of a Smartphone
University of Oulu(奥卢大学)
在这项研究中,提出了一种新的方法来获得用户相关的人类活动识别模型,通过利用智能手机的传感器不引人注目。识别由两个模型组成:基于传感器融合的用户无关的数据标记模型和基于单传感器的用户相关的最终识别模型。所提出的方法的功能进行测试与人类活动数据集,包括从加速度计和磁力计的数据,并与两个分类器。与传统的用户无关模型的检测精度的比较表明,所提出的方法是有潜力的,在十个情况下,它是优于传统的方法,但更多的实验,使用不同的传感器组合,以显示该方法的全部潜力。
2019-05-29 cs.HC cs.LG
Tutorial on Deep Learning for Human Activity Recognition
University of Siegen(锡根大学)
能够从可穿戴惯性传感器估计人类活动的活动识别系统在过去几十年中已经取得了很大进展。不仅最先进的方法远离了特征工程,并完全采用了端到端的深度学习方法,用于设置实验、准备数据集和验证活动识别方法的最佳实践也得到了类似的发展。本教程首次在2021年ACM可穿戴计算机国际研讨会(ISWC'21)和普适和普适计算国际联合会议(UbiComp'21)上举行。本教程在对活动识别研究领域进行了简短介绍之后,提供了对人类活动深度学习数据管道中最重要步骤的动手和交互式演练。本教程中显示的所有演示幻灯片,其中还包含所有代码练习的链接,以及本教程的GitHub页面的链接,可以在https://mariusbock.github.io/dl-for-har上找到
2021-10-13 cs.HC cs.LG
AdaSense: Adaptive Low-Power Sensing and Activity Recognition for Wearable Devices
Brown University(布朗大学)
可穿戴设备具有严格的功率和内存限制。因此,需要在不牺牲精度的情况下优化这些设备上的功耗。本文介绍了AdaSense:一个感知,特征提取和分类协同优化的人类活动识别框架。所提出的技术通过根据用户活动在不同传感器配置之间动态切换来降低功耗。该框架选择的配置,代表帕累托边界的准确性和能源的权衡。AdaSense还使用低开销处理和分类方法。所介绍的方法实现了69%的降低功耗的传感器与不到1.5%的活动识别精度下降。
2020-06-10 cs.HC cs.LG eess.SP
Transfer Learning for Activity Recognition in Mobile Health
Dartmouth College(达特茅斯学院);Washington State University(华盛顿州立大学);George Washington University(乔治华盛顿大学);University of Washington(华盛顿大学);Georgia Institute of Technology(佐治亚理工学院);University of California Los Angeles(加利福尼亚大学洛杉矶分校);University of Southern California(南加利福尼亚大学)
虽然来自惯性传感器的活动识别具有移动健康的潜力,但传感平台和用户运动模式的差异会导致性能下降。针对这些挑战,我们提出了一个迁移学习框架,transFall,基于传感器的活动识别。TransFall的设计包含两层数据转换、标签估计层和模型生成层,用于识别新场景的活动。我们通过分析和经验验证了TransFall。
2020-07-12 cs.HC cs.LG stat.ML
SparseSense: Human Activity Recognition from Highly Sparse Sensor Data-streams Using Set-based Neural Networks
The University of Adelaide(阿德莱德大学)
无电池或所谓的无源可穿戴设备为人类活动识别(HAR)提供了新的创新方法,特别是在老年人的医疗保健应用中。无源传感器成本低、重量轻、不显眼并且理想地是一次性的;对于医院和疗养院中的医疗保健应用具有吸引力的属性。尽管传感应用的令人信服的主张,从这些传感器的数据流的特点是高稀疏性-传感器读数之间的时间间隔是不规则的,而每单位时间的读数的数量往往是有限的。在本文中,我们严格探讨了从时间稀疏数据中学习活动识别模型的问题。我们描述了如何以端到端的方式使用深度学习范式直接从稀疏数据中学习。我们在老年人的真实无源传感器数据集上展示了最先进的深度学习人类活动识别模型的显着分类性能改进。此外,我们通过对基准数据集的补充实验和对学习到的活动特征空间的可视化来深入了解模型的行为。
2019-06-06 cs.HC cs.LG stat.ML
Robust Activity Recognition for Adaptive Worker-Robot Interaction using Transfer Learning
San Diego State University(圣地亚哥州立大学)
本文提出一种基于迁移学习的建筑工人活动识别方法,利用预训练模型微调,以更少数据和计算实现鲁棒自适应识别,助力协作机器人部署。
2023-08-28 cs.AI cs.HC cs.RO
An Ontology-Based, Fully Probabilistic, Scalable Method for Human Activity Recognition
效率和可扩展性是人类活动识别研究界尚未做出可行回应的障碍。本文提出了一种活动识别方法。知识模型采用本体论的形式,本体论是知识表示和推理的最新发展。本体以关于主体的低级活动和位置的概率信息开始,然后用从数据中学习或由用户定义的断言公理填充。与仅从传感器读数中选择最可能的候选者的方法不同,所提出的方法保持多个候选者,每个候选者具有已知的置信度,并将其参与决策。该方法使系统能够更灵活地处理传感器的不可靠读数,提高了最终的识别率。此外,为了解决系统的可扩展性问题,设计并实现了一个系统,用于在关系数据库管理系统中进行推理和存储。数值评估和概念基准测试证明了所提出的系统的可行性。
2021-09-07 cs.DB cs.HC cs.LO
Multi-agent Attentional Activity Recognition
University of New South Wales(新南威尔士大学);Northwestern Polytechnical University(西北工业大学)
多模态是基于传感器的活动识别的重要特征。在这项工作中,我们考虑人类活动的两个固有特性,时空变化的显着性的功能和活动和相应的身体部位运动之间的关系。在此基础上,我们提出了一个多智能体时空注意力模型。时空注意力机制有助于智能地选择信息模态及其活跃时段。该模型中的多个智能体通过独立选择与单个运动相关联的模态来表示跨身体部位的集体运动活动。在共同的识别目标下,智能体共享获得的信息并协调其选择策略以学习最佳识别模型。在四个真实数据集上的实验结果表明,该模型优于现有的方法。
2019-05-22 cs.HC cs.LG eess.SP
Fullie and Wiselie: A Dual-Stream Recurrent Convolutional Attention Model for Activity Recognition
University of New South Wales(新南威尔士大学);RMIT University(皇家墨尔本理工大学);Northwestern Polytechnical University(西北工业大学)
多模态特征在基于可穿戴传感器的人体活动识别(HAR)中起着关键作用。自适应地选择最显著的特征是最大化多模态传感器数据的有效性的一种有前途的方法。在这方面,我们提出了一个“收集充分和明智地选择(Fullie和Wiselie)”的原则,以及双流循环卷积注意力模型,循环注意力和活动框架(RAAF),以提高识别性能。我们首先收集模态特征和每对特征之间的关系来生成活动框架,然后引入注意力机制来精确地从活动框架中选择最显著的区域。所选择的帧不仅最大限度地利用有效的功能,但也减少了要有效地计算的功能的数量。我们进一步分析的超参数,准确性,可解释性,和注释依赖性的基础上广泛的实验所提出的模型。结果表明,RAAF在两个基准数据集上取得了有竞争力的性能,并在现实生活中的情况下工作得很好。
2017-11-21 cs.AI cs.HC cs.LG
Human Activity Recognition using Smartphone
Texas A&M University(德州农工大学)
人体活动识别在医学研究和人体测量系统中有着广泛的应用。在这个项目中,我们设计了一个基于智能手机的健壮的活动识别系统。该系统使用三维智能手机加速度计作为唯一的传感器来收集时间序列信号,从时间和频率域中生成31个特征。活动分为4种不同的被动学习方法,即,二次分类器、k-最近邻算法、支持向量机和人工神经网络。通过特征提取和子集选择两者来执行简化。除了被动学习之外,我们还应用主动学习算法来减少数据标记开销。实验结果表明,被动学习的分类正确率达到84.4%,对手机常见的位置和姿态具有较强的鲁棒性。对真实数据的主动学习的结果表明,减少了标记劳动,以实现与被动学习相当的性能。
2014-01-30 cs.CY cs.HC cs.LG
VCHAR:Variance-Driven Complex Human Activity Recognition framework with Generative Representation
Rutgers University(罗格斯大学)
针对复杂活动标注成本高、序列标注不现实的问题,本文提出 VCHAR 框架,用区间分布和生成式视频解释提升识别准确率与可解释性。
2024-08-06 cs.AI cs.CV cs.HC
Posture Recognition in the Critical Care Settings using Wearable Devices
University of Florida(佛罗里达大学)
重症监护病房(ICU)患者的低体力活动水平与不良临床结局有关。因此,需要对ICU中的身体活动进行连续和客观的测量,以量化身体活动与患者结局之间的关联。这种测量也将帮助临床医生评估拟议的康复和物理治疗方案在改善身体活动方面的疗效。在这项研究中,我们使用可穿戴传感器的数据研究了ICU人群中姿势识别的可行性。
2021-10-07 cs.HC cs.LG eess.SP
A Survey of Human Activity Recognition in Smart Homes Based on IoT Sensors Algorithms: Taxonomies, Challenges, and Opportunities with Deep Learning
IMT Atlantique(IMT大西洋学院);Delta Dore company(Delta Dore公司)
物联网(IoT)技术的最新进展和传感器成本的降低鼓励了智能环境(例如灵巧家庭)的发展。灵巧家庭可以提供家庭辅助服务,以改善其居民的生活质量,自主性和健康,特别是对老年人和受抚养人。为了提供这样的服务,灵巧家庭必须能够了解其居民的日常活动。在灵巧家庭中识别人类活动的技术每天都在进步。但新的挑战每天都在出现。在本文中,我们提出了最近的算法,作品,挑战和分类领域的人类活动识别在灵巧家庭通过环境传感器。此外,由于灵巧家庭中的活动识别是一个年轻的领域,我们提出了具体的问题,缺少和需要的贡献。而且还提出了方向,研究机会和解决方案,以加速这一领域的进步。
2021-10-18 cs.AI cs.HC cs.LG