Continuous Multi-user Activity Tracking via Room-Scale mmWave Sensing
本文提出MARS系统,利用单个商用毫米波雷达和动态空间分时方法,在无环境先验知识下同时追踪多用户并识别宏观与微观活动,实现高精度连续活动感知。
2023-09-21 cs.HC
Tracking Human Daily Cognitive Activity from EEG and Biometric Data
Kazakh-British Technical University(哈英理工大学)
本文提出一种融合脑电图、生理信号、行为背景和自我报告的多模态框架,用于追踪日常认知活动,通过试点研究验证了可行性,并揭示了动机与唤醒度、注意力等的强相关性及时间依赖模式。
2026-10-05 cs.HC
3D Human Pose Estimation for Free-form Activity Using WiFi Signals
Florida State University(佛罗里达州立大学);Trinity University(三一大学);Rutgers University(罗格斯大学)
WiFi人体感测在实现新兴的人机交互应用方面变得越来越有吸引力。相应的技术已经逐渐从多个活动类型的分类发展到更细粒度的3D人体姿态跟踪。然而,现有的基于WiFi的3D人体姿态跟踪仅限于一组预定义的活动。在这项工作中,我们提出了Winect,一个3D人体姿态跟踪系统的自由形式的活动,使用商品WiFi设备。我们的系统通过估计由人体的一组关节组成的3D骨架姿势来跟踪自由形式的活动。特别是,我们结合信号分离和关节运动建模,以实现自由形式的活动跟踪。我们的系统首先通过利用从人体反射的信号的二维到达角来识别移动的肢体,并分离每个肢体的纠缠信号。然后,它跟踪每个肢体,并通过建模肢体和相应关节的运动之间的内在关系来构建身体的3D骨架。我们的评估结果表明,Winect是环境无关的,在各种具有挑战性的环境下,包括非视距(NLoS)场景下,自由形式的活动跟踪达到厘米级的精度。
2021-10-15 cs.CV cs.HC
Evaluating Visual Prompts with Eye-Tracking Data for MLLM-Based Human Activity Recognition
KAIST(韩国科学技术院);Adobe Research(Adobe研究院)
本文通过眼动数据可视化方法提升多模态LLM处理高频传感器数据的效率,验证了视觉提示在人类活动识别中的有效性与扩展性。
2026-02-27 cs.AI cs.CV cs.HC
Teaching HCI Design in a Flipped Learning M.Sc. Course Using Eye-Tracking Peer Evaluation Data
本文介绍了一个翻转课堂的人机交互(HCI)硕士课程的经验。成功完成本课程的学生参加了12个简短的研讨会,基于翻转课堂模型。每个研讨会侧重于一个特定的人机交互活动,而在研讨会之前,两个小时的讲座被用来介绍翻转学习概念的学生。所有其余的教育材料都在每次讲习班之前在线提供给学生。这些材料主要是教授的简短讲座,形式是在课程的YouTube频道上上传的视频和使用大学学习管理系统提供的文件。对于每个讲习班,学生必须做好参加的准备,在具体的讲习班开始之前,通过简短的测验进行测试。本文介绍的活动是一个互动系统的设计和评估。学生们被要求分成六组,每组三到四名学生。然后,一个系统的描述,模糊到足以激发创造力,被随机分配到每个组。本文件中介绍的活动是整个课程中时间最长的活动,它在随后的四个讲习班中进行。本文介绍了本实验的设置,同伴互评的方法和使用眼动追踪数据收集和分析,以帮助学生对改进他们的设计。学生们创建了一个功能有限的系统工作模型,并使用该模型的同行评估中的眼动追踪数据改进了该模型。这些数据的使用为他们提供了改进模型和进行设计更改的洞察力。本文介绍了样本的模型的不同版本之间取得的进展,并得出结论,提出初步的积极成果,学生的定性评价本实验。
2019-03-04 cs.HC
Goal-setting And Achievement In Activity Tracking Apps: A Case Study Of MyFitnessPal
活动跟踪应用程序通常将目标作为其核心激励工具之一。这个工具有两个关键组成部分:设定目标,然后实现目标。尽管它在许多突出的自我跟踪应用程序的功能中起着至关重要的作用,但对自我跟踪应用程序的目标设定和成就方面的研究相对较少。在这里,我们探讨这个问题,调查一个特定的目标设定和实现过程,这是广泛的,记录的,对应用程序及其用户的成功至关重要:MyFitnessTools中的减肥目标。我们对140万用户和减肥目标进行了大规模研究,以前所未有的详细方式了解人们如何设定和实现目标。我们发现,即使对于困难的长期目标,前7天内的行为也可以预测那些最终实现目标的人,也就是说,那些至少减轻了他们设定的体重的人,以及那些没有实现的人。例如,早期大量减肥(一些研究人员将其归类为不可持续的)会导致更高的目标实现率。我们还表明,早期的食物摄入,自我监控的动机,对目标的态度是重要的因素。然后,我们表明,我们可以使用我们的研究结果来预测目标的实现,在设定目标后7天,准确率为79%ROC AUC。最后,我们讨论了我们的研究结果如何为提高自我跟踪应用程序的目标实现提供信息。
2019-04-04 cs.CY cs.HC
Device-Free User Authentication, Activity Classification and Tracking using Passive Wi-Fi Sensing: A Deep Learning Based Approach
University of Moratuwa(莫拉图瓦大学);University of Melbourne(墨尔本大学)
与视频摄像机馈送相关的隐私问题已经导致对以非侵入性方式提供诸如用户认证、活动分类和跟踪的功能的合适替代方案的日益增长的需求。现有的基础设施使Wi-Fi成为可能的候选者,然而,利用传统的信号处理方法通过感测微弱的环境Wi-Fi信号来提取充分表征事件所需的信息被认为是具有挑战性的。本文介绍了一种新型的端到端深度学习框架,该框架同时预测用户的身份、活动和位置,以创建类似于通过摄像机提供的信息的用户简档。该系统是完全自主的,不需要用户干预,不像需要用户发起的初始化或用户持有的传输设备,以促进预测的系统。该系统还可以通过预测用户在连续时间步长上的位置来预测用户的轨迹。通过实验对系统的性能进行了评估。
2019-11-26 cs.HC cs.LG eess.SP
UBIWEAR: An end-to-end, data-driven framework for intelligent physical activity prediction to empower mHealth interventions
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
毋庸置疑,体育活动对个人的健康至关重要。然而,缺乏身体活动的全球流行已经引起了重大的个人和社会经济影响。近年来,大量的工作展示了自我跟踪技术创造积极健康行为改变的能力。这项工作的动机是个性化和自适应的目标设定技术,通过自我跟踪鼓励身体活动的潜力。为此,我们提出了UBIWEAR,这是一个用于智能身体活动预测的端到端框架,其最终目标是为数据驱动的目标设定干预提供支持。为了实现这一目标,我们尝试了许多机器学习和深度学习范例,作为身体活动预测任务的强大基准。为了训练我们的模型,我们利用“MyHeartCounts”,这是一个从数千名用户中收集的开放的大规模数据集。我们还提出了一个自跟踪聚合数据预处理的规定性框架,以促进现实世界中的数据争吵,嘈杂的数据。我们的最佳模型实现了1087步的MAE,在绝对误差方面比最先进的水平低65%,证明了体力活动预测任务的可行性,并为未来的研究铺平了道路。
2023-01-03 cs.AI cs.HC
Emotional Engagement in Narrative Medical Visualization: An Electrodermal Activity and Eye-Tracking Study
University of Magdeburg(马格德堡大学);University of Bergen(卑尔根大学)
本研究通过皮肤电活动、眼动追踪和问卷的混合方法,比较个体人物与人群层面框架的医学数据故事,发现人物插图与生理唤醒峰值相关,且不同框架引发不同情感品质,推进了叙事医学可视化的时间分辨评估。
2026-09-15 cs.GR cs.HC
Fast Adaptation of Activity Sensing Policies in Mobile Devices
随着移动设备中诸如加速度计之类的传感器的激增,活动和运动跟踪已经成为理解和创建吸引人的用户体验的可行技术。针对用户统计信息先验未知、随时间变化以及不同用户统计信息不一致的情况,提出了一种快速自适应学习的活动跟踪策略。在我们的随机优化中,用户活动需要在蜂窝数据限制下与后端同步,以避免蜂窝运营商的过度收费。使用无线或有线充电对移动终端间歇地充电,以接收传输和感测操作所需的能量。首先,我们提出了一个活动跟踪策略,制定一个随机优化作为一个约束马尔可夫决策过程(CMDP)。其次,我们证明了CMDP的最优策略具有一个阈值结构,使用拉格朗日松弛方法和子模块的概念。因此,我们提出了一个快速的Q-学习算法,通过考虑的政策结构,以提高收敛速度比传统的Q-学习。最后,仿真例子来支持本文的理论研究结果。
2016-11-10 cs.HC cs.IT math.IT
Tracking Fringe and Coordinated Activity on Twitter Leading Up To the US Capitol Attack
本研究分析美国国会骚乱前7个月Twitter上的边缘内容与阴谋论演变,发现用户存在定向放大等协同操纵行为,这类内容最终合流为“选举被窃取”论调,揭示社交媒体易催生线下暴力风险。
2023-07-17 cs.HC cs.SI
Sensor2Text: Enabling Natural Language Interactions for Daily Activity Tracking Using Wearable Sensors
Chinese Academy of Sciences(中国科学院);SIAT(深圳先进技术研究院);Massachusetts Institute of Technology(麻省理工学院);Vanderbilt University(范德堡大学);University of SIAT(深圳大学)
本文提出 Sensor2Text,通过迁移学习、师生网络、编码器-解码器架构与大语言模型,使可穿戴传感器数据支持日常活动识别、描述及自然语言问答,并在保护隐私和突破视野限制方面优于或比肩视觉-语言模型。
2024-10-26 cs.AI cs.HC cs.LG
MyMove: Facilitating Older Adults to Collect In-Situ Activity Labels on a Smartwatch with Speech
University of Maryland(马里兰大学);Microsoft Research(微软研究院);CJE SeniorLife(CJE老年生活机构);Pennsylvania State University(宾夕法尼亚州立大学)
目前的活动跟踪技术主要是根据年轻人的数据进行训练,这可能导致解决方案不适合老年人。要为老年人构建活动跟踪器,收集他们的训练数据至关重要。为此,我们研究的可行性和挑战与老年人在收集活动标签,利用语音。具体来说,我们构建了MyMove,这是一款基于语音的智能手表应用程序,可以以较低的捕获负担促进原位标记。我们进行了一项为期7天的部署研究,其中13名老年人在佩戴大腿佩戴活动监测器的同时收集了他们的活动标签和智能手表传感器数据。参与者高度参与,共收集了1,224份口头报告。我们提取了1,885个活动与相应的努力水平和时间跨度,并检查了这些报告作为活动标签的有用性。我们讨论了我们的方法和收集的数据集在支持老年人通过个性化活动跟踪技术的影响。
2022-04-01 cs.AI cs.HC
PhyMask: Robust Sensing of Brain Activity and Physiological Signals During Sleep with an All-textile Eye Mask
临床级可穿戴睡眠监测是一个具有挑战性的问题,因为它需要同时监测大脑活动、眼球运动、肌肉活动、心肺功能和全身运动。这需要在不同位置佩戴多个传感器,以及将不舒适的粘合剂和分立的电子元件放置在头部。因此,现有的可穿戴设备要么损害舒适度,要么损害跟踪睡眠变量的准确性。我们提出了PhyMask,这是一种全纺织品睡眠监测解决方案,可连续使用,实用且舒适,并且仅使用放置在头部的舒适纺织品传感器来获取所有感兴趣的睡眠信号。我们表明,PhyMask可以用来准确地测量睡眠阶段和先进的睡眠标记,如纺锤波和k复合体在现实世界中的强大。我们验证了PhyMask对多导睡眠图的影响,并表明它明显优于两种商用睡眠跟踪可穿戴设备Fitbit和Oura Ring。
2021-08-11 cs.HC eess.SP
Predict Moves
移动应用程序和身体上的设备正在成为越来越普遍的身体活动跟踪工具。我们建议利用自我跟踪者的习惯来支持持续预测他们是否会达到日常步骤目标,从而实现各种潜在的有说服力的干预措施。我们的目标是通过利用历史数据和其他定性(使用系统的动机,位置,性别)和定量(年龄)特征来改善预测。我们从两个活动跟踪平台(Moves和Fitbit)收集了数据集,旨在检查我们从一个平台获得的模型是否可以推广到另一个平台。在下面的文章中,我们建立了一个管道来提取数据并将其格式化以进行建模。我们讨论了我们采取的方法和我们的发现,同时选择数据集的功能和分类模型。我们进一步讨论了模型在不同类型数据集上的泛化能力,以及可能包含非标准特征以进一步提高模型的准确性。
2016-10-18 cs.HC
An Affordable Bio-Sensing and Activity Tagging Platform for HCI Research
我们提出了一种新的多模态生物传感平台,能够集成多个数据流,用于实时应用。该系统由中央计算模块和配套耳机组成。计算节点收集,时间戳和传输数据,同时还为各种传感器提供接口,包括脑电图,光电容积描记图,心电图和眼睛凝视等。配套耳机包含视线跟踪摄像头。通过将许多测量系统集成到一个可访问的软件包中,我们能够探索以前无法回答的问题,从开放环境的相互作用到情绪反应研究。虽然有些集成传感器是从头开始设计的,以适应一个紧凑的形状因子,我们验证了传感器的准确性,并发现它们的性能类似,在某些情况下比,替代品。
2018-02-22 cs.HC
A-DisETrac Advanced Analytic Dashboard for Distributed Eye Tracking
本研究提出分布式眼动追踪高级分析仪表板A-DisETrac,可并行监测多用户、实时计算多类眼动指标,经试点验证用户体验良好,还揭示了高级眼动指标与协作行为的关联。
2024-04-11 cs.HC
Quantified Canine: Inferring Dog Personality From Wearables
能够评估狗的个性可以用来,例如,匹配收容所的狗与未来的主人,并个性化狗的活动。这种评估通常依赖于专家或对狗主人进行的心理量表,这两种方法都很昂贵。为了应对这一挑战,我们制造了一种名为“Patchkeeper”的设备,可以绑在宠物的胸部,通过加速度计和陀螺仪测量活动。在涉及12只健康狗的野外部署中,我们从两份经过验证的问卷中收集了1300小时的传感器活动数据和狗个性测试结果。通过匹配这两个数据集,我们训练了10个机器学习分类器,这些分类器可以从活动数据中预测狗的个性,AUC在[0.63-0.90]之间,这表明了使用可穿戴技术跟踪宠物心理信号的价值。
2023-01-25 cs.HC
Leveraging Pre-Trained Language Models to Streamline Natural Language Interaction for Self-Tracking
NAVER AI Lab, NAVER CLOVA(NAVER CLOVA NAVER AI实验室);Google(谷歌)
当前用于自跟踪工具的自然语言交互在很大程度上依赖于针对特定跟踪主题和数据格式优化的定制实现,这既不能推广也不能扩展到自跟踪的巨大设计空间。然而,在自跟踪的背景下训练机器学习模型是具有挑战性的,因为跟踪主题和数据格式种类繁多。在本文中,我们提出了一种用于自跟踪的新型NLP任务,该任务从描述为纯文本的回顾性活动日志中提取封闭和开放式信息,以及执行此任务的域不可知的基于GPT-3的NLU框架。该框架使用合成样本将任务转换为10次学习,以解决引导新跟踪主题时的冷启动问题。我们的初步评估表明,我们的方法显着优于基线QA模型。更进一步,我们讨论了NLP和HCI研究人员可以合作的未来应用领域。
2022-06-07 cs.AI cs.CL cs.HC
Deep Learning in Human Activity Recognition with Wearable Sensors: A Review on Advances
Northwestern University(西北大学);McGill University(麦吉尔大学);Georgia Institute of Technology(佐治亚理工学院);Columbia University(哥伦比亚大学)
移动和可穿戴设备已经实现了许多应用,包括活动跟踪、健康监测和人机交互,这些应用测量并改善了我们的日常生活。其中许多应用是通过利用许多移动和可穿戴设备中的丰富低功耗传感器集合来执行人类活动识别(HAR)而实现的。最近,深度学习极大地推动了HAR在移动和可穿戴设备上的边界。本文系统地梳理和总结了可穿戴HAR领域深度学习方法的研究现状,分析了其发展趋势和面临的主要挑战。我们还提出了基于深度学习的HAR的前沿和未来方向。
2022-03-03 cs.HC cs.LG eess.SP
ArUcoGlide: a Novel Wearable Robot for Position Tracking and Haptic Feedback to Increase Safety During Human-Robot Interaction
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院)
本文提出ArUcoGlide可穿戴机器人框架,融合标记跟踪、触觉反馈与APF避碰算法,在共享空间协作实验中缩短操作时间并增大人机安全距离。
2023-07-17 cs.HC cs.RO