PhyMask: Robust Sensing of Brain Activity and Physiological Signals During Sleep with an All-textile Eye Mask
临床级可穿戴睡眠监测是一个具有挑战性的问题，因为它需要同时监测大脑活动、眼球运动、肌肉活动、心肺功能和全身运动。这需要在不同位置佩戴多个传感器，以及将不舒适的粘合剂和分立的电子元件放置在头部。因此，现有的可穿戴设备要么损害舒适度，要么损害跟踪睡眠变量的准确性。我们提出了PhyMask，这是一种全纺织品睡眠监测解决方案，可连续使用，实用且舒适，并且仅使用放置在头部的舒适纺织品传感器来获取所有感兴趣的睡眠信号。我们表明，PhyMask可以用来准确地测量睡眠阶段和先进的睡眠标记，如纺锤波和k复合体在现实世界中的强大。我们验证了PhyMask对多导睡眠图的影响，并表明它明显优于两种商用睡眠跟踪可穿戴设备Fitbit和Oura Ring。
2021-08-11 cs.HC eess.SP
A 'one-size-fits-most' walking recognition method for smartphones, smartwatches, and wearable accelerometers
个人数字设备的普及为研究人类行为提供了前所未有的机会。目前最先进的方法使用“活动计数”来量化身体活动，这是一种忽略特定类型身体活动的测量方法。我们提出了一种亚秒级三轴加速度计数据的步行识别方法，其中活动分类是基于步行的固有特征：强度，周期性和持续时间。我们验证了我们的方法对20个公开可用的，注释的数据集在不同的身体位置（大腿，腰部，胸部，手臂，手腕）收集的步行活动数据。我们证明了我们的方法可以以高灵敏度和特异性估计步行时间：不同身体位置的平均灵敏度范围在0.92和0.97之间，而常见日常活动的平均特异性通常高于0.95。我们还评估了该方法的算法公平性的人口和人体测量变量和测量环境（身体位置，环境）。最后，我们将我们的方法作为MATLAB和Python的开源软件发布。
2022-07-15 cs.HC eess.SP
Towards Deep Clustering of Human Activities from Wearables
The University of Adelaide（阿德莱德大学）
我们利用低成本的可穿戴传感模式用于健康和保健领域的关键人类行为和活动监测应用的能力依赖于监督学习机制;在这里，深度学习范式已经证明在从注释数据中学习活动表示方面非常成功。然而，收集和注释感觉活动数据集的昂贵工作是劳动密集型的，耗时的，并且不能扩展到大量的数据。虽然现有的深度聚类的无监督补救措施利用了为静态图像数据集量身定制的网络架构和优化目标，但从身体传感器捕获的原始序列数据中发现聚类结构的深度架构仍然在很大程度上未被探索。在本文中，我们开发了一种无监督的端到端学习策略，用于解决可穿戴设备中人类活动识别（HAR）的基本问题。通过广泛的实验，包括与现有方法的比较，我们展示了我们的方法的有效性，共同学习感官数据的无监督表示，并生成具有强烈语义对应的聚类分配到不同的人类活动。
2020-08-19 cs.HC cs.LG eess.SP
Deep ConvLSTM with self-attention for human activity decoding using wearables
Nanyang Technological University（南洋理工大学）；Galgotias College of Engineering and Technology（加尔各答工程技术学院）
从可穿戴传感器准确解码人类活动可以帮助与医疗保健和环境感知相关的应用。在这个领域中，目前的方法使用递归和/或卷积模型来从来自多个传感器的时间序列数据中捕获时空特征。我们提出了一种深度神经网络架构，不仅可以捕获多个传感器时间序列数据的时空特征，还可以通过利用自我注意力机制来选择和学习重要的时间点。我们在六个公共数据集上展示了所提出的方法在不同数据采样策略中的有效性，并证明了自我注意力机制在使用递归和卷积网络的深度网络上的性能有了显着的提高。我们还表明，所提出的方法提供了一个统计上显着的性能增强比以前的国家的最先进的方法测试数据集。所提出的方法为更好地从多个身体传感器解码人类活动开辟了途径。所提出的模型的代码实现可在https://github.com/isukrit/encodingHumanActivity上获得。
2020-12-18 cs.HC cs.LG eess.SP
An Overview of Human Activity Recognition Using Wearable Sensors: Healthcare and Artificial Intelligence
University of California, Davis（加州大学戴维斯分校）
随着物联网（IoT）和人工智能（AI）技术的快速发展，人类活动识别（HAR）已经应用于各种领域，例如安全和监控、人机交互和娱乐。尽管已经发表了一些调查和综述论文，但缺乏关注使用可穿戴传感器的医疗保健应用的HAR概述论文。因此，我们通过提交这份概述文件来填补这一空白。特别是，我们提出了我们的项目，以说明系统设计的HAR应用程序的医疗保健。我们的项目包括重症监护病房（ICU）患者的人类活动早期移动识别和杜氏肌营养不良症（DMD）患者的步态分析。我们涵盖了设计HAR系统的基本组成部分，包括传感器因素（例如，类型、数量和放置位置），AI模型选择（例如，经典机器学习模型与深度学习模型）和特征工程。此外，我们还强调了此类面向医疗保健的HAR系统所面临的挑战，并为医学界和计算机科学界提出了几个研究机会。
2023-01-18 cs.HC cs.LG eess.SP
Conditional-UNet: A Condition-aware Deep Model for Coherent Human Activity Recognition From Wearables
George Mason University（乔治梅森大学）
从可穿戴传感器收集的多通道时间序列数据中识别人类活动越来越实用。然而，在现实世界中，连贯的活动和身体运动可能同时发生，例如在走路或坐着时移动头部。一个新的问题，所谓的“相干人类活动识别（Co-HAR）”，比正常的多类分类任务更复杂，因为不同的运动信号混合和相互干扰。另一方面，我们认为这样的Co-HAR作为一个密集的标签问题，分类每个样本的时间步长与标签，以提供高保真度和持续时间变化的支持应用程序。在本文中，一种新的条件感知的深度架构“条件UNet”的开发，允许密集标记的Co-HAR问题。我们还贡献了第一个同类的Co-HAR数据集，用于步行或坐姿条件下的头部运动识别，以供未来研究。头部姿态识别实验表明，我们的模型实现了F1分数的总体性能增益2%-3%，比现有的最先进的深度方法，更重要的是，系统和全面的改进，真正的头部姿态类。
2020-04-15 cs.HC cs.LG eess.SP
BIOWISH: Biometric Recognition using Wearable Inertial Sensors detecting Heart Activity
Roma Tre University（罗马第三大学）
可穿戴设备的使用越来越多，这要归功于可以部署的广泛应用程序，这些应用程序可以利用其监测身体活动和健康相关参数的能力。它们的使用最近被提出来执行生物识别，利用记录的特征的唯一性来生成有区别的标识符。大多数关于这一主题的研究都考虑了来自心脏活动的信号，主要使用通过心电图的电测量或使用光电体积描记术的光学记录来检测它。在本文中，我们提出了一种生物识别方法，使用可穿戴惯性传感器检测心脏活动（BIOWISH）。更详细地说，我们调查的可行性，利用通过心震图和陀螺仪获得的机械测量识别一个人。采用几种特征提取器和分类器，包括依赖于迁移学习和连体训练的深度学习技术，从所考虑的信号中获得独特的特征，并区分合法和冒名顶替的主体。多会话数据库，包括从执行不同活动的受试者取得的采集，被用来执行模拟验证系统的实验测试。所获得的结果证明，来自胸部振动的测量，可穿戴惯性传感器收集的标识符，可以用来保证高识别性能，即使考虑短时间的记录。
2022-10-18 cs.CV eess.SP
Wearable-based Human Activity Recognition with Spatio-Temporal Spiking Neural Networks
Yale University（耶鲁大学）
我们研究了人类活动识别（HAR）任务，该任务根据可穿戴传感器的时间序列数据预测用户的日常活动。近年来，研究人员使用端到端的人工神经网络（ANN）来提取HAR中的特征并进行分类。然而，人工神经网络对可穿戴设备造成巨大的计算负担，并且缺乏时间特征提取。在这项工作中，我们利用脉冲神经网络（SNN）--一种受生物神经元启发的架构--来完成HAR任务。SNN允许时空提取特征，并享受低功耗计算与二进制尖峰。我们在三个带有SNN的HAR数据集上进行了广泛的实验，证明SNN在准确性方面与ANN不相上下，同时减少了高达94%的能耗。该代码可在https://github.com/Intelligent-Computing-Lab-Yale/SNN_HAR上公开获取
2022-11-14 cs.LG cs.NE eess.SP
Activity-Aware Deep Cognitive Fatigue Assessment using Wearables
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
自COVID-19成为全球大流行以来，认知疲劳一直是工人的常见问题，并已成为日益严重的全球问题。虽然现有的多模态可穿戴传感器辅助自动认知疲劳监测工具专注于对特定人群（如游戏玩家，运动员，建筑工人）进行物理和生理传感器（ECG，PPG，Activography）分析，但由于其对不同人的生理反应不同，活动意识至关重要。在本文中，我们提出了一个新的框架，活动感知循环神经网络（\emph{AcRoNN}），可以推广个人活动识别和提高认知疲劳估计显着。我们使用来自5个人的一个实时收集的数据集和来自27个人的另一个公开可用的数据集来评估和比较我们提出的方法与最先进的方法。19%的改善。
2021-05-05 cs.LG cs.MM eess.SP
CovidRhythm: A Deep Learning Model for Passive Prediction of Covid-19 using Biobehavioral Rhythms Derived from Wearable Physiological Data
Worcester Polytechnic Institute（伍斯特理工学院）
研究深度学习模型是否可以从SARS-CoV-2病毒引起的人体生理（心率）和静息活动节律（节律失调）的破坏中检测出Covid-19。我们提出了CovidRhythm，这是一种新型的具有多头自我注意力（MHSA）的门控递归单元（GRU）网络，它结合了从使用消费级智能可穿戴设备被动收集的心率和活动（步数）数据中提取的传感器和节奏特征，以预测Covid-19。从可穿戴传感器数据中提取了总共39个特征（标准差、平均值、久坐和活动发作的最小/最大/平均长度）。使用9个参数（mesor，振幅，acrophase，和每日内的变化）的生物行为节律进行建模。然后将这些特征输入CovidRhythm，用于预测处于潜伏期（生物症状出现前一天）的Covid-19。传感器和生物行为节律特征的组合实现了0.79的最高AUC-ROC [灵敏度= 0.69，特异性=0.89，F $_{0.1}$ = 0.76]，在使用24小时历史可穿戴生理学来区分Covid阳性患者与健康对照方面优于先前的方法。当单独使用或与探头功能结合使用时，节律功能最能预测Covid-19感染。传感器特征最能预测健康受试者。结合24小时活动和睡眠信息的昼夜休息-活动节律被破坏得最厉害。CovidRhythm证明，来自消费级可穿戴数据的生物行为节律可以促进及时的Covid-19检测。据我们所知，我们的工作是第一个使用深度学习和来自消费级可穿戴数据…
2023-01-12 cs.HC cs.LG eess.SP
A Wearable Multi-Modal Edge-Computing System for Real-Time Kitchen Activity Recognition
本文设计集成六类传感器与双微控制器的可穿戴多模态边缘系统，在本地端到端实时识别厨房活动，并以184.5 kB模型实现87.83%准确率和25.26 ms推理。
2024-09-10 eess.SP
Fruit Picker Activity Recognition with Wearable Sensors and Machine Learning
CSIRO（澳大利亚联邦科学与工业研究组织）
针对水果采摘袋清空时机难以掌握的问题，本文利用可穿戴传感器时间序列数据，提出半监督标注与活动识别方法，比较集成模型和深度循环卷积神经网络，后者在真实数据集上达到86%准确率。
2023-04-20 cs.LG eess.SP
Comparative Efficacy of Commercial Wearables for Circadian Rhythm Home Monitoring from Activity, Heart Rate, and Core Body Temperature
本研究通过36人两周真实世界佩戴实验，比较商用可穿戴设备基于活动、心率和体温估计的昼夜节律峰值相位，验证其可用于家庭昼夜节律评估并预测昼夜型。
2024-04-04 eess.SP
Activity Detection from Wearable Electromyogram Sensors using Hidden Markov Model
Amity University（阿米提大学）
表面肌电图（sEMG）在用于医疗保健系统、手势分析和识别以及手语交流的消费电子产品的最近发展中具有重要意义。对于这样的系统，必须确定连续记录的sEMG信号中的活动区域。所提出的工作提供了一种新的活动检测方法的基础上隐马尔可夫模型（HMM）使用sEMG信号记录时，各种手势进行。检测过程是基于概率的观点，利用数学模型设计的。消除了对活动检测阈值的要求，使其独立于主体和活动。通过将检测到的过渡区域周围的信号段分类为活动或静止来断言预测输出的正确性。将分类输出与给予受试者执行活动的刺激中的过渡区域进行比较。活动开始检测的平均准确度为96.25%，而活动终止区域的平均准确度为87.5%，与所考虑的一组六个活动和四个主题。
2020-04-27 cs.LG eess.SP stat.ML
Self-supervised Learning for Human Activity Recognition Using 700,000 Person-days of Wearable Data
University of Oxford（牛津大学）；Nuffield Department of Population Health, University of Oxford（牛津大学纳菲尔德人口健康系）；Big Data Institute, University of Oxford（牛津大学大数据研究所）；Department of Engineering Science, University of Oxford（牛津大学工程科学系）；Department of Computer Science, University of Oxford（牛津大学计算机科学系）
针对人体活动识别标注数据不足的问题，研究利用UK-Biobank的70万人天无标注可穿戴数据开展自监督学习，所得模型在7个基准上F1提升2.5%-100%且跨场景泛化性好，开源模型可助力构建高性能活动分类器。
2024-06-20 cs.AI cs.LG eess.SP
Unimodal and Multimodal Sensor Fusion for Wearable Activity Recognition
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；RPTU Kaiserslautern-Landau（凯撒斯劳滕-兰道莱茵-普法尔茨理工大学）
本博士研究采用惯性、压力和纺织电容等传感模态，结合机器学习算法在嵌入式与边缘端实现人类活动识别，涵盖手势跟踪、面部识别及姿态识别等场景。
2024-04-24 cs.LG eess.SP
Learning from the Best: Contrastive Representations Learning Across Sensor Locations for Wearable Activity Recognition
University of Kaiserslautern（凯泽斯劳滕大学）
我们解决了众所周知的可穿戴活动识别问题，即必须与传感器一起工作，这些传感器在它们提供的信息方面不是最佳的，但由于可穿戴性/可用性问题而必须使用（例如，需要与腕戴式IMU一起工作，因为它们嵌入在大多数智能手表中）。为了缓解这个问题，我们提出了一种方法，可以促进使用来自传感器的信息，这些信息仅在训练过程中存在，并且在系统的后续使用过程中不可用。该方法通过在联合训练期间与分类损失相结合的对比损失将信息从源传感器转移到目标传感器数据的潜在表示。我们在著名的PAMAP 2和机会基准上评估了该方法，用于源和目标传感器的不同组合，显示平均（在所有活动中）F1得分提高了5%到13%之间，其中单个活动的改进特别适合于从20%到40%之间的额外信息中受益。
2022-10-04 cs.LG eess.SP
A comparative study on wearables and single-camera video for upper-limb out-of-thelab activity recognition with different deep learning architectures
University of Valladolid（巴利亚多利德大学）；University of Geneva（日内瓦大学）；University of Applied Sciences Western Switzerland (HES-SO) Valais-Wallis（瑞士西部应用科学与艺术大学（HES-SO）瓦莱-沃利斯）
本研究比较了可穿戴IMU与单摄像头视频在不同深度学习架构下用于实验室外上肢活动识别的效果，旨在确定机器学习系统的理想输入，以提高患者追踪的可行性。
2024-02-04 cs.CV cs.LG eess.SP
Toward a Wearable RFID System for Real-Time Activity Recognition Using Radio Patterns
老年人护理是实时的【形】活动识别系统支持的众多应用之一。传统方法使用摄像头、身体传感器网络或来自各种来源的无线电模式来进行活动识别。然而，这些方法由于易用性、覆盖范围或隐私保护问题而受到限制。在本文中，我们提出了一种新的可穿戴射频识别（RFID）系统，旨在提供一个易于使用的解决方案，具有高检测覆盖率。我们的系统使用免维护的无源标签，可以嵌入到衣服中，以减少磨损和维护工作。一个小型的RFID阅读器也戴在用户的身体上，以扩大检测范围，因为用户移动。我们利用RFID无线电模式和提取的空间和时间特征来表征各种活动。我们还解决了标签读数的假阴性和标签/天线校准的问题，并设计了一个快速的在线识别系统。天线和标签选择是自动完成的，以探索实现目标精度所需的最少数量的设备。我们开发了一个原型系统，其中包括一个可穿戴RFID系统和一个智能手机来演示的工作原理，并进行了实验研究，四个科目超过两个星期。实验结果表明，该系统在5秒的延迟时间内实现了93.6%的高识别准确率。此外，该系统只需要两个天线和四个标记的身体部位，以实现85%的高识别准确率。
2020-03-08 cs.OH eess.SP
Recording Brain Activity While Listening to Music Using Wearable EEG Devices Combined with Bidirectional Long Short-Term Memory Networks
School of Music, Jiangxi Normal University（江西师范大学音乐学院）；School of Electronic Information, HuZhou College（湖州学院电子信息学院）；San Francisco State University（旧金山州立大学）
本研究提出结合Bi-LSTM网络与注意力机制处理可穿戴EEG设备采集的听音乐脑电信号，在SEED和DEAP数据集上分别达到98.28%和92.46%的情绪识别准确率，显著优于传统模型，为脑机接口和情感计算提供技术支持。
2024-08-22 cs.HC cs.LG eess.SP
Sparse Wearable Sonomyography Sensor-based Proprioceptive Proportional Control Across Multiple Gestures
Indian Institute of Technology Delhi（印度德里理工学院）；All India Institute of Medical Sciences（全印度医学科学研究院）
本研究利用8通道可穿戴声肌图（SMG）系统实现多手势实时位置比例控制，经8名受试者测试，所有手势平均成功率超80%，验证了SMG作为直观人机界面的潜力。
2024-03-08 cs.HC cs.RO eess.SP
Consistency Based Weakly Self-Supervised Learning for Human Activity Recognition with Wearables
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
针对可穿戴人体活动识别中数据无标签、监督方法依赖标签的问题，提出含嵌入学习和小样本微调两阶段的弱自监督方法，在三个基准数据集上实现了与纯监督方法相当的聚类性能。
2024-07-29 cs.AI cs.HC cs.LG
Smart-Badge: A wearable badge with multi-modal sensors for kitchen activity recognition
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
人类的健康与其日常行为和环境密切相关。然而，对大多数人来说，保持健康的生活方式仍然是一个挑战，因为很难识别他们的生活行为，并确定他们周围的情况，以采取适当的行动。人类活动识别是建立用户行为模型的一种很有前途的方法，通过这种方法，用户可以获得关于他们习惯的反馈，并鼓励他们养成更健康的生活方式。在本文中，我们提出了一种智能光可穿戴徽章，具有六种传感器，包括红外阵列传感器MLX 90640，提供隐私保护，低成本和非侵入性功能，以识别现实的未经修改的厨房环境中的日常活动。应用基于数据和特征融合方法的多通道卷积神经网络（MC-CNN）对与潜在不健康习惯相关的14种人类活动进行分类。同时，我们评估了红外阵列传感器对这些活动的识别精度的影响。我们展示了所提出的工作的性能，以检测10名志愿者进行的14项活动，平均准确率为92.44%，F1得分为88.27%。
2023-01-12 cs.LG eess.SP
Label Flipping Data Poisoning Attack Against Wearable Human Activity Recognition System
Robert Morris University（罗伯特·莫里斯大学）；Southern Illinois University（南伊利诺伊大学）；Louisiana State University Shreveport（路易斯安那州立大学什里夫波特分校）
人类活动识别（HAR）是一个使用有效的机器学习（ML）方法将传感器数据解释为人类运动的问题。HAR系统依赖于来自不受信任用户的数据，这使得它们容易受到数据投毒攻击。在中毒攻击中，攻击者操纵传感器读数来污染训练集，误导HAR产生错误的结果。针对HAR系统，设计了一种标签翻转数据投毒攻击，在数据汇集阶段恶意更改传感器读数的标签。由于传感环境中的高噪声和不确定性，这种攻击对识别系统构成严重威胁。此外，当活动识别模型部署在安全关键型应用中时，标签翻转攻击的脆弱性是危险的。本文揭示了如何通过基于智能手机的传感器数据汇集应用程序在实践中进行攻击。据我们所知，这是一个早期的研究工作，探索通过标签翻转中毒攻击HAR模型。我们实现了所提出的攻击，并在基于以下机器学习算法的活动识别模型上进行了测试：多层感知器，决策树，随机森林和XGBoost。最后，我们评估的有效性K-最近邻（KNN）为基础的防御机制对建议的攻击。
2022-08-17 cs.CR cs.HC cs.LG
Towards Learning Discrete Representations via Self-Supervision for Wearables-Based Human Activity Recognition
Georgia Institute of Technology（佐治亚理工学院）
本文针对可穿戴 HAR 中传统离散化信息损失问题，引入自监督 VQ 学习传感器片段到码本的离散映射，在多项基准上达到甚至超过连续表征性能。
2023-06-01 cs.LG eess.SP
Recognition of Physiological Patterns during Activities of Daily Living Using Wearable Biosignal Sensors
本研究通过分析22项日常生活活动的可穿戴生物信号数据，识别出不同强度活动的生理模式及运动速度与肌肉活动的比例趋势，为跌倒预防的活动识别与风险预测框架开发提供支撑。
2025-05-27 eess.SP
A Wearable Ultra-Low-Power sEMG-Triggered Ultrasound System for Long-Term Muscle Activity Monitoring
本文提出一种集成sEMG与超声的可穿戴超低功耗系统，通过sEMG信号处理触发超声唤醒，在保证肌肉活动监测精度的同时节省超59%能耗。
2023-09-14 cs.SY eess.SP eess.SY
Past, Present, and Future of Sensor-Based Human Activity Recognition Using Wearables: A Surveying Tutorial on a Still Challenging Task
Georgia Institute of Technology（佐治亚理工学院）；Nokia Bell Labs（诺基亚贝尔实验室）；DFKI（德国人工智能研究中心）；RPTU Kaiserslautern-Landau（凯泽斯劳滕-兰道莱茵-普法尔茨大学）
本文综述了基于可穿戴传感器的人体活动识别从手工特征到当前方法的发展历程，指出其在流行基准上性能停滞的问题，并提出引入基础模型世界知识的新范式，同时提供面向实际应用的开发教程。
2025-01-02 cs.LG eess.SP
Distributed Agent-Based Collaborative Learning in Cross-Individual Wearable Sensor-Based Human Activity Recognition
Purdue University（普渡大学）
针对可穿戴人体活动识别的去中心化数据特性与隐私需求，提出基于多智能体的分布式协作学习方法，在PAMAP2、HARTH数据集上验证其局部与全局泛化效果优于中心化模型。
2023-11-06 cs.AI cs.LG cs.MA
Extracting Digital Biomarkers for Unobtrusive Stress State Screening from Multimodal Wearable Data
Boğaziçi University（博阿齐奇大学）
随着可穿戴技术的发展，一种新的医疗数据已经成为有价值的医疗信息。这些数据提供了有关个人生理和心理状态的有意义的信息，例如活动水平，情绪，压力和认知健康。这些生物标志物被命名为数字，因为它们是从集成了各种传感器的数字设备中收集的。在这项研究中，我们通过检查从手机和智能手表收集的数据来探索与压力模式相关的数字生物标志物。我们在Tesserae数据集上利用机器学习技术，准确地说是随机森林，来提取压力生物标志物。使用特征选择技术，我们利用可穿戴设备的天气、活动、心率（HR）、压力、睡眠和位置（工作-家庭）测量来确定最重要的压力相关生物标志物。我们相信，我们有助于解释来自不同设备的具有广泛特征的压力生物标志物。此外，我们分类的$5$不同的压力水平与最重要的功能，我们的研究结果表明，我们可以实现$85\%$整体类的准确性，通过调整类的不平衡，并增加额外的功能与个性特征。与相关研究相比，我们在日常生活场景中使用数字生物标志物识别压力状态的结果相似甚至更好，目标是更多的类别。
2023-03-08 cs.HC cs.LG eess.SP
InMyFace: Inertial and Mechanomyography-Based Sensor Fusion for Wearable Facial Activity Recognition
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；RPTU Kaiserslautern-Landau（凯泽斯劳滕-兰道莱茵兰-普法尔茨工业大学）
针对可穿戴场景中摄像头不便的问题，本文提出融合惯性、压力与肌音传感器的面部活动识别系统，实验显示跨用户F1达79%，性能与最先进非摄像头方案相当。
2023-02-08 cs.LG eess.SP
Weakly Supervised Multi-Task Representation Learning for Human Activity Analysis Using Wearables
The University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本文提出弱监督多输出孪生网络，将可穿戴传感器数据映射到多个表示空间，实现多任务同时学习并在多项实验中优于单任务监督方法。
2023-08-06 cs.AI cs.LG eess.SP
Assessing the State of Self-Supervised Human Activity Recognition using Wearables
Georgia Institute of Technology（佐治亚理工学院）
自监督学习在基于可穿戴设备的人类活动识别（HAR）领域的出现为解决该领域最紧迫的挑战提供了机会，即利用未标记的数据来获得可靠的识别系统，以适应只能收集少量标记训练样本的情况。因此，自我监督，即，“预训练-然后微调”的范例有可能成为主要的端到端训练方法的强有力的替代方案，更不用说用于经典活动识别链的手工制作的特征了。最近，许多将自监督学习引入HAR领域的贡献，包括多任务自监督，Masked Reconstruction，CPC和Simplified，仅举几例。随着这些方法的初步成功，现在已经到了对该领域潜在的自我监督学习进行系统盘点和分析的时候了。这份文件提供的正是这一点。我们通过引入一个框架来评估自监督HAR研究的进展，该框架对模型性能进行了多方面的探索。我们将框架组织成三个维度，每个维度包含三个组成标准，每个维度都可以捕获性能的特定方面，包括对不同源和目标条件的鲁棒性，数据集特征的影响以及特征空间特征。我们利用这个框架来评估HAR的七种最先进的自监督方法，从而形成对这些技术属性的见解，并建立它们对不同场景的学习表示的价值。
2022-11-19 cs.LG eess.SP
Sequential Weakly Labeled Multi-Activity Localization and Recognition on Wearable Sensors using Recurrent Attention Networks
School of Electrical and Automation Engineering, Nanjing Normal University（南京师范大学电气与自动化工程学院）；School of Electronic and Information Engineering, Nanjing University of Information Science and Technology（南京信息工程大学电子与信息工程学院）
针对现有注意力模型仅能处理单活动弱标注数据的局限，提出循环注意力网络RAN，可基于粗粒度序列弱标签同时实现多活动类型推断与定位，有效降低人工标注成本，在自建及公开数据集上验证了有效性。
2021-08-03 cs.LG eess.SP stat.ML
Are Anxiety Detection Models Generalizable? A Cross-Activity and Cross-Population Study Using Wearables
Indian Institute of Science Education and Research Bhopal (IISERB)（印度科学教育与研究学院博帕尔分校（IISERB））；All India Institute of Medical Sciences Bhopal（全印医学科学学院博帕尔分校）
该研究通过111名参与者、三项引发焦虑的活动及3348个模型，系统评估可穿戴设备焦虑检测在跨活动和跨人群场景下的泛化性，发现AUROC仅略高于基线，焦虑类召回率存在波动，揭示现有模型泛化能力有限。
2025-03-24 cs.AI cs.LG eess.SP
Disentangling Imperfect: A Wavelet-Infused Multilevel Heterogeneous Network for Human Activity Recognition in Flawed Wearable Sensor Data
School of Computer Science and Engineering, Tianjin University of Technology（天津理工大学计算机科学与工程学院）；Technical University of Denmark（丹麦技术大学）；Aalborg University（奥尔堡大学）
针对可穿戴传感器数据不完整含噪及人体活动多尺度特征的挑战，提出多级异构神经网络MHNN，利用多级离散小波分解提取多分辨率特征抑制噪声，结合异构特征提取器和交叉聚合模块，在七个数据集上优于前沿模型且鲁棒性强。
2024-01-26 cs.LG eess.SP
Self-supervised transfer learning of physiological representations from free-living wearable data
University of Cambridge（剑桥大学）；Alan Turing Institute（阿兰·图灵研究所）
智能手表等可穿戴设备正在成为越来越受欢迎的工具，用于客观地监测自由生活条件下的身体活动。到目前为止，研究主要集中在人类活动识别的纯监督任务上，在从低水平信号推断高水平健康结果方面取得的成功有限。在这里，我们提出了一种新的自监督表示学习方法，使用活动和心率（HR）信号，没有语义标签。通过深度神经网络，我们将HR响应设置为活动数据的监督信号，利用它们的潜在生理关系。此外，我们提出了一个自定义的分位数损失函数，占长尾HR分布存在于一般人群。我们在最大的自由生活组合传感数据集（包括> 28万小时的手腕加速度计和可穿戴ECG数据）中评估我们的模型。我们的贡献是双重的：i）预训练任务创建了一个模型，可以仅基于廉价的活动传感器准确预测HR，ii）我们通过提出一种简单的方法来利用通过该任务捕获的信息，将学习到的潜在表示（嵌入）从窗口级聚合到用户级。值得注意的是，我们表明嵌入可以通过线性分类器的迁移学习在各种下游任务中推广，捕获生理上有意义的个性化信息。例如，它们可用于预测与个人健康，健身和人口统计特征相关的变量，优于无监督自动编码器和常见的生物标记。总的来说，我们提出了第一个多模式自我监督方法的行为和生理数据与大规模的健康和生活方式监测的影响。
2020-11-18 cs.CY cs.LG eess.SP
Seeker: Synergizing Mobile and Energy Harvesting Wearable Sensors for Human Activity Recognition
新兴的超低功耗物联网（IoT）设备对智能处理的需求越来越大，最近的工作表明，通过直接在IoT设备（节点）上执行推理任务，而不仅仅是传输传感器数据，可以大大提高效率。然而，基于深度神经网络（DNN）的推理的计算和功率需求对能量收集无线传感器网络（EH-WSN）中的节点提出了重大挑战。此外，这些任务通常需要来自多个物理分布的EH传感器节点的响应，这除了每个节点的约束之外还带来了关键的系统优化挑战。为了解决这些挑战，我们提出了\emph{Seeker}，一种新的方法来有效地执行DNN推理人类活动识别（HAR）任务，使用EH-WSN和主机移动终端。导引头最大限度地减少通信开销，最大限度地提高计算在每个传感器，而不违反服务质量。\emph{Seeker}使用\emph{store-and-execute}方法来完成EH传感器节点上的推理子集，从而减少与移动主机的通信。此外，对于由于所收集的能量约束而未完成的那些推断，其利用\emph{activity aware coreset}（AAC）构造来将紧凑特征高效地传送到主机设备，其中系综技术用于高效地完成推断。\emph{Seeker}以$86.8\%$精度执行HAR，超过了现有技术方法的$81.2\%$精度。此外，通过使用AAC，它将通信数据量降低了$8.9\times$。
2022-03-25 cs.NI eess.SP
Human Activity Recognition Using Self-Supervised Representations of Wearable Data
Verily Life Sciences（Verily生命科学）
针对人类活动识别标注数据不足、算法传感器适配性差的问题，提出基于大规模无标注数据冻结自监督表示加浅层带时间平滑多层感知机的6分类模型，在分布内和跨传感器分布外场景均取得优异性能，推动设备无关HAR发展。
2023-04-26 cs.AI cs.LG eess.SP
Role of Data Augmentation Strategies in Knowledge Distillation for Wearable Sensor Data
Arizona State University（亚利桑那州立大学）；SRI International（斯坦福国际研究院）
深度神经网络由数千或数百万个参数参数化，并且在许多分类问题中显示出巨大的成功。然而，大量的参数使得这些模型很难集成到智能手机和可穿戴设备等边缘设备中。为了解决这个问题，知识蒸馏（KD）已经被广泛采用，其使用预先训练的高容量网络来训练适合于边缘设备的小得多的网络。在本文中，我们第一次研究了使用KD对可穿戴设备的时间序列数据的适用性和挑战。KD的成功应用需要在训练期间具体选择数据增强方法。然而，目前尚不清楚是否存在在KD期间选择增强方法的一致策略。在本文中，我们报告了一个详细的研究结果，比较和对比各种常见的选择和一些混合数据增强策略在KD为基础的人类活动分析。这一领域的研究往往是有限的，因为没有太多的综合数据库可在公共领域从可穿戴设备。我们的研究考虑了从小规模公开获得的数据库到来自人类活动和久坐行为的大规模干预性研究的数据库。我们发现，KD过程中数据增强技术的选择对最终性能有不同程度的影响，并发现最佳网络选择以及数据增强策略是特定于手头的数据集。然而，我们还总结了一组通用的建议，可以在数据库之间提供强大的基线性能。
2022-01-01 cs.HC cs.LG eess.SP
Assessing cognitive function among older adults using machine learning and wearable device data: a feasibility study
City University of Hong Kong（香港城市大学）；Chinese Academy of Sciences（中国科学院）
本研究利用NHANES中2400余名老年人的可穿戴设备数据训练机器学习模型，发现CatBoost等模型在预测处理速度、工作记忆和注意力方面表现优异，验证了基于可穿戴设备的认知监测系统的可行性。
2024-03-24 cs.HC cs.LG eess.SP
Auto-Augmentation Contrastive Learning for Wearable-based Human Activity Recognition
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；The Beijing Key Laboratory of Mobile Computing and Pervasive Device（北京移动计算与普适设备重点实验室）；Shandong Academy of Intelligent Computing Technology（山东省智能计算技术研究院）；Peng Cheng Laboratory（鹏城实验室）；Institute of Robotics and Autonomous Systems（机器人与自主系统研究所）
本文提出了一种自适应增强对比学习方法，用于提升基于可穿戴设备的人体活动识别的识别准确率。
2026-01-30 cs.AI cs.LG eess.SP
A Novel Multi-Stage Training Approach for Human Activity Recognition from Multimodal Wearable Sensor Data Using Deep Neural Network
BUET（孟加拉国工程技术大学）；Princeton University（普林斯顿大学）
深度神经网络是利用各种可穿戴传感器的数据自动识别人类行为的有效选择。这些网络使完全依赖数据的特征提取过程自动化。然而，时间序列数据中的各种噪声以及传感器之间复杂的模态间关系使这一过程变得更加复杂。在本文中，我们提出了一种新的多阶段训练方法，增加了多样性，在这个特征提取过程中，通过结合各种不同的角度提取的特征，使准确的动作识别。最初，不是使用单一类型的变换，而是对时间序列数据进行大量变换，以获得原始数据中编码的特征的多样化表示。提出了一种高效的深度CNN架构，可以单独训练该架构以从不同的变换空间中提取特征。随后，这些CNN特征提取器被合并到最优架构中，该最优架构被精细地调整以用于通过组合训练阶段或多个顺序训练阶段来优化多样化的提取特征。这种方法提供了一个机会，探索原始传感器数据中的编码功能，利用各种各样的观察窗口，具有巨大的范围，有效地选择功能，最终收敛。在三个公开的数据集上进行了广泛的实验，这些数据集提供了出色的性能，UCI HAR数据库的平均五倍交叉验证准确率为99.29%，USC HAR数据库为99.02%，SKODA数据库为97.21%，优于其他最先进的方法。
2021-01-03 cs.LG eess.SP
SWL-Adapt: An Unsupervised Domain Adaptation Model with Sample Weight Learning for Cross-User Wearable Human Activity Recognition
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
针对跨用户可穿戴活动识别中的用户差异与标注稀缺，提出 SWL-Adapt，通过元优化学习样本权重以选择性域对齐，并在三个数据集上取得最优性能。
2023-06-02 cs.CV cs.LG eess.SP
Generative models for wearables data
Evidation Health；Sage Bionetworks（Sage生物网络研究所）
针对医学研究中数据稀缺的问题，开发了一种多任务自注意力模型来生成逼真的可穿戴设备活动数据，并通过定量和定性方法验证了生成数据与真实样本的相似度。
2023-07-31 cs.LG eess.SP
Balancing Continual Learning and Fine-tuning for Human Activity Recognition
Nokia Bell Labs（诺基亚贝尔实验室）；University of Cambridge（剑桥大学）
本研究针对基于可穿戴设备的HAR任务，采用并改造了持续自监督模型CaSSLe和半监督持续学习模型Kaizen，通过结合对比学习与自训练利用无标签和有标签数据，并发现反映新旧类比例的加权因子能实现最佳持续学习权衡。
2024-01-04 cs.LG eess.SP
TSAK: Two-Stage Semantic-Aware Knowledge Distillation for Efficient Wearable Modality and Model Optimization in Manufacturing Lines
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；RPTU Kaiserslautern-Landau（凯泽斯劳滕-兰道莱茵-普法尔茨理工大学）
提出两阶段语义感知知识蒸馏方法TSAK，通过减少传感器模态和模型大小，在保持识别性能的同时实现制造产线高效可穿戴HAR。
2024-08-26 cs.LG eess.SP
Evaluating Contrastive Learning on Wearable Timeseries for Downstream Clinical Outcomes
University of Cambridge（剑桥大学）
大量的个人生成的健康数据（可穿戴设备）被收集，但注释以馈送到机器学习模型的过程是不切实际的。本文讨论了使用对比度损失的自监督方法，如Simplified和BYOL，以前应用于视觉领域，可以应用于高维健康信号，用于跨越睡眠，心脏和代谢条件的各种疾病的下游分类任务。为此，我们调整数据增强步骤和整体架构，以适应数据的时间性质（可穿戴痕迹），并通过比较其他最先进的方法，包括监督学习和对抗性无监督表示学习方法，对5个下游任务进行评估。我们表明，Simplified在大多数下游评估任务中优于对抗方法和全监督方法，并且所有自监督方法都优于全监督方法。这项工作为应用于可穿戴时间序列领域的对比方法提供了一个全面的基准，显示了下游临床结果的任务不可知表示的前景。
2021-11-13 cs.LG eess.SP
DynImp: Dynamic Imputation for Wearable Sensing Data Through Sensory and Temporal Relatedness
University of Washington（华盛顿大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
在可穿戴传感应用中，数据不可避免地会被不规则地采样或部分缺失，这对任何下游应用都提出了挑战。可穿戴数据的一个独特之处在于它是时间序列数据，并且每个通道都可以与另一个通道相关，例如加速度计的x，y，z轴。我们认为，传统的方法很少使用的时间序列动态的数据，以及从不同的传感器的功能的相关性。我们提出了一个模型，称为DynImp，处理不同时间点的缺失与最近的邻居沿特征轴，然后将数据送入一个基于LSTM的去噪自动编码器，可以重建沿时间轴的缺失。我们实验的极端失踪的情况下（$>50\%$失踪率），这还没有被广泛测试的可穿戴数据的模型。我们的实验表明，该方法可以利用相关传感器的多模态特征，并从历史时间序列动态学习，以重建极端缺失下的数据。
2022-09-26 cs.LG eess.SP
Personalized Step Counting Using Wearable Sensors: A Domain Adapted LSTM Network Approach
AstraZeneca（阿斯利康）
活动监测器广泛用于测量各种身体活动（PA），作为移动性、健身和总体健康的指标。类似地，步数的纵向趋势的实时监测作为日常活动中的疾病相关变化的个性化测量具有显著的临床潜力。然而，供应商、身体位置和个体步态差异之间不一致的步数准确性限制了临床实用性。PA监护仪内的三轴加速度计可用于提高设备和个人的步数准确性。在这项研究中，我们假设：（1）原始三轴传感器数据可以建模，以创建可靠和准确的步数，（2）广义步数模型，然后可以有效地适应每一个独特的步态模式，使用很少的新数据。首先，使用开源原始传感器数据来构建长短期记忆（LSTM）深度神经网络以对步数进行建模。然后，我们使用不同的设备和不同的受试者生成了一个新的、完全独立的数据集。最后，对少量的受试者特定数据进行域调整，以产生具有高个性化步数准确度的个性化模型。这些结果表明，使用大型免费数据集训练的模型可以适应大型历史数据集罕见的患者人群。
2020-12-11 cs.LG eess.SP
