Open Challenges of Blind People using Smartphones
盲人在使用智能手机时面临重大挑战。改进非视觉移动无障碍的重点一直是触摸屏访问一级。我们的研究调查了盲人在日常使用手机时所面临的挑战。在本文中，我们提出了一套研究进行的目标人群，新手和专家，使用各种方法，针对识别和验证的挑战;和应对机制。通过多种方法，我们通过各种用户专业知识和设备在本地识别和验证挑战，并通过分析最大的Android和iOS盲人专用论坛进行大规模的分析。我们为盲人提供了智能手机挑战的优先语料库，并讨论了未来研究的一系列方向，以解决开放和经常被忽视的挑战。
2019-10-30 cs.HC
The Smartphone Brain Scanner: A Mobile Real-time Neuroimaging System
将低成本无线EEG传感器与智能手机相结合，为日常环境中的移动大脑成像提供了新的机会。我们提出了一个框架，用于构建多平台，便携式EEG应用程序与实时的【形】三维源重建。该系统-智能手机大脑扫描仪-将现成的神经耳机或EEG帽与智能手机或平板电脑相结合，因此代表了第一个用于实时的【形】3D EEG成像的完全移动系统。我们讨论了一个完全便携式系统的好处和挑战，包括技术限制，以及实时的【形】重建大脑活动的三维图像。我们提出了一个简单的实验中捕获的大脑活动的例子，涉及想象的手指轻敲，显示在相关的大脑区域获得的信号是类似的标准EEG实验室设备获得的。虽然使用现成的消费者神经耳机的移动解决方案中的信号质量较低，使用高密度标准EEG设备，我们建议，移动应用程序的开发可以抵消的缺点，并提供全新的机会，在自然环境中的神经成像。
2013-04-01 cs.HC
SmartControllerJS: A JavaScript library to turn smartphones into controllers for web-based interactive experiments
我们介绍SmartControllerJS，一个新的JavaScript库，用于快速，经济高效地设计通过日常智能手机控制的Web应用程序。SmartControllerJS的核心是在两个网页之间建立连接，一个页面在桌面浏览器上运行，另一个页面在用户的智能手机上运行。智能手机网页加载控制器界面，允许用户控制在其计算机浏览器上运行的Web应用程序。SmartControllerJS框架在设计交互式用户实验时可以实现快速迭代循环，因为它具有最小的摩擦并允许扩展，同时没有运行成本。我们首先描述这个库是如何构建的，如何使用它，并提供交互式示例。然后，我们提出了两个游戏设计的公共屏幕上的结果，从用户研究评估的可接受性和易用性。最后，我们实现了一个基于用户反馈的自定义控制器，并介绍了连接监控工具。我们相信SmartControllerJS可以加速人机交互研究人员的交互实验设计，并成为教育项目的有用工具。我们的所有代码均可在https://github.com/SmartControllerJS上找到，所有演示的链接可在表I中找到。为了探索我们的演示，我们建议您在台式计算机上阅读本文，并手持智能手机。
2022-08-08 cs.HC
Talking Spell: A Wearable System Enabling Real-Time Anthropomorphic Voice Interaction with Everyday Objects
针对现有AI伴侣需绑定特定物品易致疏离的问题，研究提出可穿戴系统Talking Spell，借助CV、大视觉语言模型等技术让日常物品拥有拟人语音，经用户研究验证其能有效建立情感联结，提供个性化交互体验。
2025-08-28 cs.HC
MicroCam: Leveraging Smartphone Microscope Camera for Context-Aware Contact Surface Sensing
MicroCam利用智能手机的IMU和显微镜相机感知接触表面，通过持续学习优化深度神经网络，实现高精度、鲁棒的情境感知应用。
2024-07-22 cs.HC
Between Post-Flaneur and Smartphone Zombie Smartphone Users Altering Visual Attention and Walking Behavior in Public Space
Istanbul Technical University（伊斯坦布尔理工大学）；KU Leuven（鲁汶大学）
智能手机在我们日常生活中的广泛使用创造了公共空间的新的占用和行为模式。认识到这些对于城市设计和规划实践至关重要，有助于我们改善人类，技术和城市环境之间的关系。这项研究旨在通过观察公共空间中智能手机用户视觉注意力和行走行为的变化来研究他们，并通过这种方式揭示新出现的数字。为此，我们以10分钟的时间间隔对比利时根特的科伦马克特广场进行了为期7天的观察。智能手机用户的注视和行走行为被编码为地理定位和时间数据，使用统计和空间分析方法进行分析和映射。通过开发和实施识别智能手机用户特征的新方法，这项研究对新颖的空间占用进行了细致入微的描述。这些发现使我们更好地理解和了解了后恐慌症和智能手机僵尸等新兴人物的不同行为模式，同时揭示了他们与公共空间的视觉互动和运动的变化。结果引发了研究人员和设计师如何利用空间分析方法，并重新思考未来的公共空间作为一个混合构建整合虚拟和物理的问题。
2021-02-26 cs.AI cs.CY cs.HC
Useful but Distracting: Keyword Highlights and Time-Synchronization in Captions for Language Learning
本研究调查语言学习者对增强字幕的偏好，实现含关键词高亮、时间同步高亮等功能的处理流程，发现时间同步关键词高亮虽为学习首选却在日常场景中过于分心，需优化设计平衡学习效果与日常使用体验。
2023-07-12 cs.HC
Understanding User Privacy Perceptions of GenAI Smartphones
Huazhong University of Science and Technology（华中科技大学）；New York University（纽约大学）
研究探讨用户对生成式人工智能智能手机隐私影响的认知及隐私设计期望，通过访谈揭示用户对数据生命周期中隐私问题的关注，并提出隐私增强建议。
2026-04-07 cs.CR cs.HC
Your Day in Your Pocket: Complex Activity Recognition from Smartphone Accelerometers
EPFL（洛桑联邦理工学院）
人类活动识别（HAR）可实现情景感知用户体验，移动应用可根据用户活动更改内容和交互。因此，智能手机对于HAR来说变得很有价值，因为它们允许大规模和多样化的数据汇集。尽管HAR中的先前工作设法检测简单活动（即，坐、走、跑）具有良好的精度（即，尽管使用加速度计（例如，加速度计），但是复杂的日常活动的识别仍然是一个开放的问题，特别是在人们久坐不动的远程工作/学习环境中。此外，了解一个人的日常活动可以帮助创建旨在支持其福祉的应用程序。本文研究了专门使用智能手机加速度计数据的复杂活动的识别。我们使用了在大流行期间从五个国家的600多名用户收集的大型智能手机传感数据集，并表明可以实现基于深度学习的八种复杂活动（睡觉，吃饭，看视频，在线交流，参加讲座，运动，购物，学习）的二元分类，AUROC分数高达0. 76，部分个性化模型。这显示了令人鼓舞的迹象，表明在大流行后的世界中，仅使用手机加速计数据来评估复杂活动。
2023-01-17 cs.AI cs.HC cs.MM
Building Energy Consumption Models Based On Smartphone User's Usage Patterns
Federal University of Pernambuco (UFPE)（伯南布哥联邦大学（UFPE））；Federal Institute of Pernambuco（伯南布哥联邦学院）
智能手机在日常任务中的使用越来越多，这激发了许多关于能耗表征的研究，旨在提高智能手机设备的效率并增加用户使用时间。在这种情况下，研究能够表征用户使用模式的机制至关重要，因此智能手机的组件可以适应以更低的能耗促进最佳用户体验。本研究的目标是建立一个基于用户使用模式的能源消耗模型，旨在提供最准确的模型，供应用程序开发人员使用和自动优化。为了开发能耗模型，我们建立了一种方法来识别智能手机能耗中影响最大的组件，并识别每个有影响力的设备的状态。此外，我们建立了一种方法来证明使用不准确的硬件构建的模型的鲁棒性和评估所建立的模型的准确性的策略。在训练和测试每个策略以基于用户的使用对能耗进行建模并执行Nemenyi测试之后，我们证明了当智能手机的平均功率为1970.1mW时，可以获得158.57mW的平均绝对误差。一些研究表明，智能手机的主要工作负载是用户。基于这一事实，我们开发了一种自动模型构建方法，该方法能够分析用户的使用数据并构建智能模型，该模型可以根据用户的使用模式估计智能手机的能耗。通过自动模型构建方法，我们可以采取策略来最大限度地减少消耗电池的组件的使用。
2020-12-15 cs.HC cs.LG
An Exploration of User and Bystander Attitudes About Mobile Live-Streaming Video
多亏了Periscope和Facebook Live等移动应用程序，直播视频又有了一个时刻。然而，目前尚不清楚智能手机的普及在多大程度上影响了这项技术在日常社交场合的接受程度，以及移动环境或可供性将如何影响社会规范的变化和有关隐私、监控和知识产权的政策辩论。这项民族志风格的研究探讨了在两个典型的户外社交活动：运动尾随和屋顶派对中，“美国中产阶级”参与者对移动直播视频的熟悉程度和态度以及相关的法律和道德问题。对110名旁观者使用智能手机的现场观察，包括对20名旁观者的采访，显示许多人并不完全知道他们的图像或讲话何时在休闲环境中直播，并希望获得更强的通知和同意这种广播的能力。
2019-02-18 cs.HC
Not Just Pockets: Understanding Phone-Carrying Behaviors of Wheelchair Users for Mobile Context-Awareness
Carnegie Mellon University（卡内基梅隆大学）
研究轮椅使用者手机携带行为，通过调查与访谈的混合方法，揭示其携带位置受多种因素影响，发现超出口袋存放的模式，阐述携带位置可作情境代理，为开发相关应用提供设计启示。
2026-07-17 cs.HC
Do LLMs Need to See Everything? A Benchmark and Study of Failures in LLM-driven Smartphone Automation using Screentext vs. Screenshots
University of Melbourne（墨尔本大学）；School of Computer Science（计算机科学学院）；University of Auckland（奥克兰大学）
本文通过DailyDroid基准测试，探讨LLM驱动的智能手机自动化在文本与截图输入下的性能差异，揭示UI可访问性、输入模态及LLM应用设计中的关键问题。
2026-04-20 cs.AI cs.HC cs.MA
Development, Deployment, and Evaluation of DyMand -- An Open-Source Smartwatch and Smartphone System for Capturing Couples' Dyadic Interactions in Chronic Disease Management in Daily Life
夫妇的二元互动是感兴趣的，因为它们提供了洞察关系质量和慢性疾病管理。目前，对夫妻互动的动态评估需要在随机或预定的时间收集数据，这可能会错过重要的夫妻互动/对话时刻。在这项工作中，我们开发、部署和评估了DyMand，这是一种新型的开源智能手表和智能手机系统，用于根据伴侣的互动时刻收集伴侣的自我报告和传感器数据。我们基于智能手表的算法使用两个智能手表之间的蓝牙信号强度，每个智能手表由一个合作伙伴佩戴，以及语音活动检测机器学习算法来推断合作伙伴正在进行交互，然后触发数据汇集。我们部署了DyMand系统在一个为期7天的实地研究，并收集数据的社会支持，情绪健康，健康行为从13（N=26）的瑞士为基础的异性恋夫妇管理糖尿病2型的一个合作伙伴。当应用程序运行时，我们的系统触发了99.1%的预期数量的传感器和自我报告数据，77.6%的算法触发的录音包含合作伙伴的对话时刻，而计划触发的比例为43.8%。可用性评价表明DyMand易于使用。DyMand可以被社会、临床或健康心理学研究人员用来了解夫妻在日常生活中的社会动态，并为正在管理慢性病的夫妻开发和提供行为干预。
2022-05-16 cs.CY cs.HC
LightMem-Ego: Your AI Memory for Everyday Life
Zhejiang University（浙江大学）；South China University of Technology（华南理工大学）；Central China Normal University（华中师范大学）；Lenovo Group Limited（联想集团有限公司）
针对移动和可穿戴设备上个人AI助手回答过去经历查询难的问题，提出LightMem-Ego轻量级流多模态记忆系统，能捕获、对齐并组织视觉和音频流成分层记忆，基于多模态证据生成答案，可部署在多种设备上提供多种支持。
2026-07-14 cs.AI cs.CL cs.CV
Towards Wearable Opportunistic Crowdsensing for Open-Vocabulary Activity Data Collection Through User-Scheduled Trigger-Action Routines
Tsinghua University（清华大学）；Renmin University of China（中国人民大学）；University of Toronto（多伦多大学）；Beijing National Research Center for Information Science and Technology (BNRist)（北京信息科学与技术国家研究中心）；Qinghai University（青海大学）
研究针对日常可穿戴活动数据采集的标注难题，提出机会人群感知系统Pebbl，通过触发-动作例程实现原位标注，实验验证其低负担、高可靠性，为用户贡献活动数据采集提供新途径。
2026-08-05 cs.HC
Glass+Skin: An Empirical Evaluation of the Added Value of Finger Identification to Basic Single-Touch Interaction on Touch Screens
诸如智能手机或交互式手表之类的小型设备的可用性通常受到命令词汇表的有限大小的阻碍。本文试图更好地理解手指识别如何帮助用户调用触摸屏上的命令，即使没有求助于多点触摸输入。我们描述了手指识别如何在有限的房地产的约束下增加输入词汇的大小，我们讨论了一些视觉线索来传达这种新的方式给新手用户。我们报告了一个对照实验，评估，在大范围的输入词汇量的大小，单触摸命令选择与手指识别的效率。我们分析的数据，不仅在传统的时间和错误的指标，而且在吞吐量的香农理论的基础上，我们显示提供了一个合成的和吝啬的帐户用户的性能。结果表明，设计者所需的输入词汇量越大，单个手指的识别就越有希望。
2019-01-24 cs.HC
TapType: Ten-finger text entry on everyday surfaces via Bayesian inference
ETH Zürich（苏黎世联邦理工学院）
本研究提出TapType移动文本输入系统，通过双腕惯性传感器结合贝叶斯神经网络与n-gram语言模型，实现无源表面上的全尺寸十指打字，训练后普通用户打字速度达19词/分钟、错误率0.6%，可应用于移动设备、混合现实等场景。
2024-10-08 cs.CV cs.HC
Beyond Screen Time: Demonstrating the Value of App Activity Logs to Understand User Behavior Further
Hasso Plattner Institute（哈索·普拉特纳研究所）；riedel.wtf GmbH（riedel.wtf有限公司）；University of Potsdam（波茨坦大学）；Stanford University（斯坦福大学）；University of Cambridge（剑桥大学）；Max-Planck Institute for Human Development（马克斯·普朗克人类发展研究所）
本研究通过分析4,571,252个应用事件，证明事件级应用活动日志比屏幕时间更能揭示用户行为差异，并支持15-22%的参与者重识别，为HCI研究提供方法论与隐私启示。
2026-09-22 cs.HC
Supporting Piggybacked Co-Located Leisure Activities via Augmented Reality
技术，尤其是智能手机，被认为是从面对面的互动中夺走了意义和时间，并将人们隔离在“数字泡沫”中。我们认为这不是数码产品的固有属性，而是技术设计缺乏想象力的证据。利用增强现实（AR）实现这一目标，使我们能够为多个人、他们的宠物和他们的环境创造体验。在这项工作中，我们探索了AR技术的设计，该技术“搭载”在日常休闲活动中，以促进密切关系（与其他人和宠物）之间的协同互动。我们设计、开发和部署了三个这样的AR应用程序，并通过一项41名参与者和19只宠物的用户研究对其进行了评估。我们获得了关于AR在新渠道中刺激和丰富交互的能力，定制的重要性以及AR设备物理方面设计的挑战的关键见解（例如，手持智能手机）。这些见解指导了协同定位AR的新研究空间的设计意义。
2023-03-19 cs.CY cs.HC
Augmenting Mobile Phone Interaction with Face-Engaged Gestures
用户面部的移动很容易被智能手机的前置摄像头检测到，这是一种未充分利用的移动交互输入方式。我们介绍了三套面部参与的交互技术，以增强传统的移动输入，它利用头部运动与触摸手势和设备运动的组合，所有通过手机的内置传感器感测。我们系统地提出了使用三种输入方式中的一种或多种（即，触摸、运动和头部）。所提出的技术的附加示能表示扩展了移动交互词汇，并且可以促进诸如单手或无触摸交互的独特使用场景。进行了初步评估，用户对新技术有积极的反应，表明直观和方便的用户体验的承诺。
2016-10-02 cs.HC
Roaming across the Castle Tunnels: an Empirical Study of Inter-App Navigation Behaviors of Android Users
移动应用程序（又称，应用程序）在我们的日常生活中已经变得不可或缺。完成任务可能需要用户在各种应用程序之间导航。与通过超链接内在互连的网页不同，移动应用程序通常是孤立的构建块，应用程序之间缺乏直接链接在很大程度上影响了任务完成的效率。在本文中，我们首次对智能手机用户的应用程序间导航行为进行了深入的实证研究，该研究基于三个多月的大规模用户研究收集的综合数据集。我们提出了一个模型来区分信息页面和过渡页面，在此基础上，大量的应用程序间的导航被确定。我们发现，在孤立的应用程序之间开发“隧道”具有降低导航成本的巨大潜力。我们的分析提供了各种实际的影响，如何提高应用程序导航体验从操作系统的角度和开发人员的角度。
2017-06-26 cs.HC
Evaluating Telugu Proficiency in Large Language Models_ A Comparative Analysis of ChatGPT and Gemini
本研究通过设计20个涵盖语法、词汇和推理等问题，对比评估了ChatGPT和Gemini在泰卢固语上的能力，揭示了两者在真实语言交互中的优缺点及适用性，为AI多语言发展提供参考。
2025-01-29 cs.CL cs.HC
Internet of Tangible Things (IoTT): Challenges and Opportunities for Tangible Interaction with IoT
在物联网时代，越来越多的家用设备和日常物品能够向互联网发送和从互联网检索信息，为用户提供创新服务。然而，这些设备中的大多数仅提供智能手机或Web接口来控制IoT对象属性和功能。结果，通常，交互与物理世界断开，降低了用户体验并增加了将用户隔离在数字气泡中的风险。我们认为，有形的互动可以抵消这一趋势，本文讨论了潜在的好处和有形的互动应用于物联网仍然面临的挑战。为了强调这一需求，我们引入了物联网这个术语。在本文中，在分析了物联网中人机交互当前面临的挑战后，我们总结了有形交互的当前趋势，并推断了八个有形交互属性，可用于设计与物联网对象的新型交互。通过对应用于物联网的有形交互进行系统的文献综述，我们展示了在开创该领域的系统中已经探索的内容，以及仍需进行的未来探索。
2017-08-08 cs.HC
TapNav: Adaptive Spatiotactile Screen Readers for Tactually Guided Touchscreen Interactions for Blind and Low Vision People
本文提出TapNav，一种结合触觉覆盖层和自适应音频反馈的空间触觉屏幕阅读器，通过触摸点与空间导航帮助盲人用户更快探索界面并减轻认知负荷，并提供设计指南。
2025-10-17 cs.HC
Automatic Macro Mining from Interaction Traces at Scale
Google Research（谷歌研究院）
针对移动交互轨迹中多步骤宏任务难以大规模提取的问题，提出基于LLM的自动挖掘方法，生成带自然语言描述且可执行的宏任务，并通过用户评估、人工对比和自动执行验证其有效性。
2024-04-16 cs.CL cs.HC cs.LG
GraphPilot: GUI Task Automation with One-Step LLM Reasoning Powered by Knowledge Graph
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机学院）
GraphPilot通过基于知识图谱的LLM推理一步完成GUI任务自动化，显著提升任务完成率并降低延迟。
2026-01-24 cs.HC
Game-Master LLMs for Task-Based Role-Play: Supporting the Acquisition of Idiomatic Language in L2 Learning
Purdue University（普渡大学）
本文提出一种基于LLM的任务型角色扮演游戏，通过沉浸式叙事帮助学习者自然习得俚语，实验表明该方法在词汇理解和句法使用方面效果显著，且学习成果能长期保持。
2026-08-18 cs.HC
CUIfy the XR: An Open-Source Package to Embed LLM-powered Conversational Agents in XR
Technical University of Munich (TUM)（慕尼黑工业大学）
本文提出开源Unity包CUIfy，通过集成LLM、STT和TTS模型，在XR环境中实现低延迟、多NPC的语音交互，以构建更自然的对话用户界面。
2025-03-03 cs.AI cs.HC
