SmartControllerJS: A JavaScript library to turn smartphones into controllers for web-based interactive experiments
我们介绍SmartControllerJS，一个新的JavaScript库，用于快速，经济高效地设计通过日常智能手机控制的Web应用程序。SmartControllerJS的核心是在两个网页之间建立连接，一个页面在桌面浏览器上运行，另一个页面在用户的智能手机上运行。智能手机网页加载控制器界面，允许用户控制在其计算机浏览器上运行的Web应用程序。SmartControllerJS框架在设计交互式用户实验时可以实现快速迭代循环，因为它具有最小的摩擦并允许扩展，同时没有运行成本。我们首先描述这个库是如何构建的，如何使用它，并提供交互式示例。然后，我们提出了两个游戏设计的公共屏幕上的结果，从用户研究评估的可接受性和易用性。最后，我们实现了一个基于用户反馈的自定义控制器，并介绍了连接监控工具。我们相信SmartControllerJS可以加速人机交互研究人员的交互实验设计，并成为教育项目的有用工具。我们的所有代码均可在https://github.com/SmartControllerJS上找到，所有演示的链接可在表I中找到。为了探索我们的演示，我们建议您在台式计算机上阅读本文，并手持智能手机。
2022-08-08 cs.HC
Wearable AR in Everyday Contexts: Insights from a Digital Ethnography of YouTube Videos
针对当前研究多在受控环境考察可穿戴AR、对日常使用洞察有限的问题，本研究通过分析112个YouTube视频的27小时内容，揭示其在日常场景的使用现状及限制，并提出促进其安全伦理整合的开发启示。
2025-02-11 cs.HC
Synapse: Interactive Guidance by Demonstration with Trial-and-Error Support for Older Adults to Use Smartphone Apps
随着智能手机的广泛采用，移动应用程序（app）正在兴起，以提供食品配送和远程医疗等关键服务。虽然给日常生活带来了便利，但这一趋势可能会给老年人带来障碍，因为他们往往不如年轻人那么精通技术。亲自或屏幕共享支持是有帮助的，但受到帮助者可用性的限制。视频教程可能很有用，但需要用户在观看教程和在应用程序中执行相应操作之间切换上下文，这在手机上很麻烦。虽然互动式教程已被证明是有前途的，但没有一个是为老年人设计的。此外，试验和错误的方法已被证明是有益的老年人，但他们往往缺乏支持使用的方法。受交互式教程和试错方法的启发，我们设计了一个独立于应用程序的移动服务\textit{Synapse}，帮助提供者可以在智能手机上创建多模式交互式教程，帮助接收者（例如，老年人）在完成同一任务时接受互动指导和试错支持。我们对18名60岁及以上的老年人进行了用户研究。我们的定量和定性结果表明，Synapse比传统的视频方法提供了更好的支持，使参与者感到更自信和更有动力。最后，我们提出了进一步的设计考虑，以更好地支持老年人在智能手机上的试错。
2022-09-20 cs.HC
Talking Spell: A Wearable System Enabling Real-Time Anthropomorphic Voice Interaction with Everyday Objects
针对现有AI伴侣需绑定特定物品易致疏离的问题，研究提出可穿戴系统Talking Spell，借助CV、大视觉语言模型等技术让日常物品拥有拟人语音，经用户研究验证其能有效建立情感联结，提供个性化交互体验。
2025-08-28 cs.HC
Between Post-Flaneur and Smartphone Zombie Smartphone Users Altering Visual Attention and Walking Behavior in Public Space
Istanbul Technical University（伊斯坦布尔理工大学）；KU Leuven（鲁汶大学）
智能手机在我们日常生活中的广泛使用创造了公共空间的新的占用和行为模式。认识到这些对于城市设计和规划实践至关重要，有助于我们改善人类，技术和城市环境之间的关系。这项研究旨在通过观察公共空间中智能手机用户视觉注意力和行走行为的变化来研究他们，并通过这种方式揭示新出现的数字。为此，我们以10分钟的时间间隔对比利时根特的科伦马克特广场进行了为期7天的观察。智能手机用户的注视和行走行为被编码为地理定位和时间数据，使用统计和空间分析方法进行分析和映射。通过开发和实施识别智能手机用户特征的新方法，这项研究对新颖的空间占用进行了细致入微的描述。这些发现使我们更好地理解和了解了后恐慌症和智能手机僵尸等新兴人物的不同行为模式，同时揭示了他们与公共空间的视觉互动和运动的变化。结果引发了研究人员和设计师如何利用空间分析方法，并重新思考未来的公共空间作为一个混合构建整合虚拟和物理的问题。
2021-02-26 cs.AI cs.CY cs.HC
Understanding User Privacy Perceptions of GenAI Smartphones
Huazhong University of Science and Technology（华中科技大学）；New York University（纽约大学）
研究探讨用户对生成式人工智能智能手机隐私影响的认知及隐私设计期望，通过访谈揭示用户对数据生命周期中隐私问题的关注，并提出隐私增强建议。
2026-04-07 cs.CR cs.HC
Your Day in Your Pocket: Complex Activity Recognition from Smartphone Accelerometers
EPFL（洛桑联邦理工学院）
人类活动识别（HAR）可实现情景感知用户体验，移动应用可根据用户活动更改内容和交互。因此，智能手机对于HAR来说变得很有价值，因为它们允许大规模和多样化的数据汇集。尽管HAR中的先前工作设法检测简单活动（即，坐、走、跑）具有良好的精度（即，尽管使用加速度计（例如，加速度计），但是复杂的日常活动的识别仍然是一个开放的问题，特别是在人们久坐不动的远程工作/学习环境中。此外，了解一个人的日常活动可以帮助创建旨在支持其福祉的应用程序。本文研究了专门使用智能手机加速度计数据的复杂活动的识别。我们使用了在大流行期间从五个国家的600多名用户收集的大型智能手机传感数据集，并表明可以实现基于深度学习的八种复杂活动（睡觉，吃饭，看视频，在线交流，参加讲座，运动，购物，学习）的二元分类，AUROC分数高达0. 76，部分个性化模型。这显示了令人鼓舞的迹象，表明在大流行后的世界中，仅使用手机加速计数据来评估复杂活动。
2023-01-17 cs.AI cs.HC cs.MM
Building Energy Consumption Models Based On Smartphone User's Usage Patterns
Federal University of Pernambuco (UFPE)（伯南布哥联邦大学（UFPE））；Federal Institute of Pernambuco（伯南布哥联邦学院）
智能手机在日常任务中的使用越来越多，这激发了许多关于能耗表征的研究，旨在提高智能手机设备的效率并增加用户使用时间。在这种情况下，研究能够表征用户使用模式的机制至关重要，因此智能手机的组件可以适应以更低的能耗促进最佳用户体验。本研究的目标是建立一个基于用户使用模式的能源消耗模型，旨在提供最准确的模型，供应用程序开发人员使用和自动优化。为了开发能耗模型，我们建立了一种方法来识别智能手机能耗中影响最大的组件，并识别每个有影响力的设备的状态。此外，我们建立了一种方法来证明使用不准确的硬件构建的模型的鲁棒性和评估所建立的模型的准确性的策略。在训练和测试每个策略以基于用户的使用对能耗进行建模并执行Nemenyi测试之后，我们证明了当智能手机的平均功率为1970.1mW时，可以获得158.57mW的平均绝对误差。一些研究表明，智能手机的主要工作负载是用户。基于这一事实，我们开发了一种自动模型构建方法，该方法能够分析用户的使用数据并构建智能模型，该模型可以根据用户的使用模式估计智能手机的能耗。通过自动模型构建方法，我们可以采取策略来最大限度地减少消耗电池的组件的使用。
2020-12-15 cs.HC cs.LG
An Exploration of User and Bystander Attitudes About Mobile Live-Streaming Video
多亏了Periscope和Facebook Live等移动应用程序，直播视频又有了一个时刻。然而，目前尚不清楚智能手机的普及在多大程度上影响了这项技术在日常社交场合的接受程度，以及移动环境或可供性将如何影响社会规范的变化和有关隐私、监控和知识产权的政策辩论。这项民族志风格的研究探讨了在两个典型的户外社交活动：运动尾随和屋顶派对中，“美国中产阶级”参与者对移动直播视频的熟悉程度和态度以及相关的法律和道德问题。对110名旁观者使用智能手机的现场观察，包括对20名旁观者的采访，显示许多人并不完全知道他们的图像或讲话何时在休闲环境中直播，并希望获得更强的通知和同意这种广播的能力。
2019-02-18 cs.HC
Not Just Pockets: Understanding Phone-Carrying Behaviors of Wheelchair Users for Mobile Context-Awareness
Carnegie Mellon University（卡内基梅隆大学）
研究轮椅使用者手机携带行为，通过调查与访谈的混合方法，揭示其携带位置受多种因素影响，发现超出口袋存放的模式，阐述携带位置可作情境代理，为开发相关应用提供设计启示。
2026-07-17 cs.HC
Learning About Social Context from Smartphone Data: Generalization Across Countries and Daily Life Moments
本文基于五国581名年轻成年人的大规模多模态手机感知数据，评估社会情境推断的跨场景与跨国泛化，发现多国和国家模型AUC均超90%，但难以泛化至未见国家。
2024-03-01 cs.CY cs.HC
Do LLMs Need to See Everything? A Benchmark and Study of Failures in LLM-driven Smartphone Automation using Screentext vs. Screenshots
University of Melbourne（墨尔本大学）；School of Computer Science（计算机科学学院）；University of Auckland（奥克兰大学）
本文通过DailyDroid基准测试，探讨LLM驱动的智能手机自动化在文本与截图输入下的性能差异，揭示UI可访问性、输入模态及LLM应用设计中的关键问题。
2026-04-20 cs.AI cs.HC cs.MA
Development, Deployment, and Evaluation of DyMand -- An Open-Source Smartwatch and Smartphone System for Capturing Couples' Dyadic Interactions in Chronic Disease Management in Daily Life
夫妇的二元互动是感兴趣的，因为它们提供了洞察关系质量和慢性疾病管理。目前，对夫妻互动的动态评估需要在随机或预定的时间收集数据，这可能会错过重要的夫妻互动/对话时刻。在这项工作中，我们开发、部署和评估了DyMand，这是一种新型的开源智能手表和智能手机系统，用于根据伴侣的互动时刻收集伴侣的自我报告和传感器数据。我们基于智能手表的算法使用两个智能手表之间的蓝牙信号强度，每个智能手表由一个合作伙伴佩戴，以及语音活动检测机器学习算法来推断合作伙伴正在进行交互，然后触发数据汇集。我们部署了DyMand系统在一个为期7天的实地研究，并收集数据的社会支持，情绪健康，健康行为从13（N=26）的瑞士为基础的异性恋夫妇管理糖尿病2型的一个合作伙伴。当应用程序运行时，我们的系统触发了99.1%的预期数量的传感器和自我报告数据，77.6%的算法触发的录音包含合作伙伴的对话时刻，而计划触发的比例为43.8%。可用性评价表明DyMand易于使用。DyMand可以被社会、临床或健康心理学研究人员用来了解夫妻在日常生活中的社会动态，并为正在管理慢性病的夫妻开发和提供行为干预。
2022-05-16 cs.CY cs.HC
LightMem-Ego: Your AI Memory for Everyday Life
Zhejiang University（浙江大学）；South China University of Technology（华南理工大学）；Central China Normal University（华中师范大学）；Lenovo Group Limited（联想集团有限公司）
针对移动和可穿戴设备上个人AI助手回答过去经历查询难的问题，提出LightMem-Ego轻量级流多模态记忆系统，能捕获、对齐并组织视觉和音频流成分层记忆，基于多模态证据生成答案，可部署在多种设备上提供多种支持。
2026-07-14 cs.AI cs.CL cs.CV
TapType: Ten-finger text entry on everyday surfaces via Bayesian inference
ETH Zürich（苏黎世联邦理工学院）
本研究提出TapType移动文本输入系统，通过双腕惯性传感器结合贝叶斯神经网络与n-gram语言模型，实现无源表面上的全尺寸十指打字，训练后普通用户打字速度达19词/分钟、错误率0.6%，可应用于移动设备、混合现实等场景。
2024-10-08 cs.CV cs.HC
Beyond Screen Time: Demonstrating the Value of App Activity Logs to Understand User Behavior Further
Hasso Plattner Institute（哈索·普拉特纳研究所）；riedel.wtf GmbH（riedel.wtf有限公司）；University of Potsdam（波茨坦大学）；Stanford University（斯坦福大学）；University of Cambridge（剑桥大学）；Max-Planck Institute for Human Development（马克斯·普朗克人类发展研究所）
本研究通过分析4,571,252个应用事件，证明事件级应用活动日志比屏幕时间更能揭示用户行为差异，并支持15-22%的参与者重识别，为HCI研究提供方法论与隐私启示。
2026-09-22 cs.HC
Roaming across the Castle Tunnels: an Empirical Study of Inter-App Navigation Behaviors of Android Users
移动应用程序（又称，应用程序）在我们的日常生活中已经变得不可或缺。完成任务可能需要用户在各种应用程序之间导航。与通过超链接内在互连的网页不同，移动应用程序通常是孤立的构建块，应用程序之间缺乏直接链接在很大程度上影响了任务完成的效率。在本文中，我们首次对智能手机用户的应用程序间导航行为进行了深入的实证研究，该研究基于三个多月的大规模用户研究收集的综合数据集。我们提出了一个模型来区分信息页面和过渡页面，在此基础上，大量的应用程序间的导航被确定。我们发现，在孤立的应用程序之间开发“隧道”具有降低导航成本的巨大潜力。我们的分析提供了各种实际的影响，如何提高应用程序导航体验从操作系统的角度和开发人员的角度。
2017-06-26 cs.HC
Computers as Bad Social Actors: Dark Patterns and Anti-Patterns in Interfaces that Act Socially
本研究通过调查和访谈揭示了自动化系统在模仿社交行为时存在操纵和语用不当等问题，将其归纳为新兴的“社交”暗模式与反模式，并提出了改善界面交互的规范建议。
2024-01-05 cs.HC
