A new conversational interaction concept for document creation and editing on mobile devices for visually impaired users
本文介绍了正在进行的开发的会话交互的概念，使视障用户可以轻松地创建和编辑文本文件的移动设备上使用主要是语音输入。为了验证这一概念，基于自然语言理解（NLU）平台Google Dialogflow，开发了一个原型应用程序，并在iOS和Android系统上进行了测试。应用程序和交互概念由有视觉障碍和没有视觉障碍的用户反复测试。根据他们的反馈，这一概念在两个移动平台上不断完善、调整和改进。在一个迭代的以用户为中心的设计方法，以下研究问题进行了调查：视力受损的用户可以主要依靠语音命令，以有效地创建和编辑移动设备上的文档？用户测试发现，基于会话语音命令的交互概念对于视障用户来说是简单和直观的。然而，也有人发现，仅仅依靠语音命令会产生自己的障碍，手势和语音交互的组合会更强大。未来的研究和更广泛的可用性测试应在视障用户中进行，以优化互动的概念。
2023-01-06 cs.HC
Personal Data Visualisation on Mobile Devices: A Systematic Literature Review
个人数据涵盖我们日常生活和活动的多个方面，包括健康、财务、社交、互联网等。个人数据可视化旨在改善探索这些大量个人数据时的用户体验，并可能提供见解，以帮助个人制定决策和实现目标。不同背景、性别和年龄的人通常需要在移动设备上访问他们的数据。虽然有许多个人跟踪应用程序，但尚未评估使用这些应用程序和可视化时的用户体验。文献中有关于个人数据可视化的出版物。尽管如此，没有系统的文献综述调查了这一领域的差距，以帮助开发新的个人数据可视化技术，重点是用户体验。在这篇系统性文献综述中，我们考虑了2010年至2020年在三个在线数据库中发表的研究。我们筛选了195项研究，并确定了29篇符合纳入标准的论文。我们的主要发现是各种类型的个人数据，并且用户在发现的论文中得到了很好的解决，包括健康，运动，饮食，驾驶习惯，生活日志，生产力等用户类型从天真的用户到专家和开发人员用户，根据实验的目标。然而，关于数据可视化任务的移动终端能力和限制尚未得到很好的解决。没有关于移动设备上个人数据可视化的最佳实践、数据可视化的评估框架或个人数据可视化的设计框架的研究
2022-02-17 cs.HC
Needs and Challenges of Personal Data Visualisations in Mobile Health Apps: User Survey
个人数据可视化正在成为成功采用移动健康（m-health）应用程序的关键因素。因此，了解用户在使用移动个人数据可视化时的需求和挑战对于确保这些应用程序的采用至关重要。本文介绍了一项用户调查的结果，以了解用户的人口统计数据，任务，需求和使用移动个人数据可视化的挑战。我们有56个完整的答案。该调查的主要发现是：1）51%的用户使用多种健康跟踪应用程序来实现他们的目标/需求; 2）条形图和饼图是查看健康数据最有利的图表; 3）用户更喜欢使用文本和图表的混合来可视化他们的数据-解释是必不可少的。此外，参与者报告的三大挑战是：显示的数据太多，文本重叠，可视化对信息探索没有帮助。另一方面，用户的前三大鼓励因素是易于阅读的呈现数据，易于导航，以及图表中显示的质量数据。此外，乐趣和好奇心是移动健康跟踪应用程序的主要驱动力。最后，根据调查结果，我们提出了数据可视化设计和开发指南，应避免报告的挑战，并确保用户满意度。在未来的工作中，我们计划将我们的研究放在背景中，并调查以下移动健康领域中可视化数据的痛苦和收益：体育活动，心脏监测，血压，睡眠模式和饮食习惯。
2022-09-02 cs.HC
Designing for Mobile and Immersive Visual Analytics in the Field
实地的数据汇集和分析对于环境科学和公共安全等领域的业务至关重要。然而，现场工作人员目前在现场的有效数据汇集和分析中面临面向数据和平台的问题，例如有限的连接性、屏幕空间和注意力资源。在本文中，我们将探讨可视化分析工具如何通过更深入地将数据集成到这些操作中来改变现场实践。我们使用了一个结合移动、云和沉浸式分析组件的设计探针来指导对来自五个领域的十位专家的采访，以探索可视化分析如何支持该领域的数据汇集和分析需求。结果确定了当前方法和目标场景的缺点，并为未来的现场分析系统的设计考虑。我们将这些发现体现在FieldView中，这是一个可扩展的开源原型，旨在支持现场分析的关键用例。我们的研究结果表明，整合移动和沉浸式技术，以提高数据的各种现场操作和可视化分析工具的新方向，以改变现场工作的效用的潜力。
2019-08-02 cs.HC
A Spatial Knowledge Acquisition Comparison Between Digital Visual Thematic Maps, Non-Visual Interactive Text Thematic Maps, and Tables
Georgia Institute of Technology（佐治亚理工学院）；The Smith-Kettlewell Eye Research Institute（史密斯-凯特尔韦尔眼研究所）；XR Navigation（XR导航）
研究比较了视觉地图、交互文本地图和表格在空间知识获取中的表现，发现地图类比表性能更优，挑战了传统无障碍实践，推动重新审视数字专题地图的无障碍立法。
2026-05-08 cs.HC
SeeReader: An (Almost) Eyes-Free Mobile Rich Document Viewer
在移动设备上阅读文档是一项挑战。不仅屏幕小且难以阅读，而且使用有限的视觉注意力来导航环境可能是困难的且具有潜在危险。使用文本到语音（TTS）处理大声朗读内容可以缓解这些问题，但仅适用于不包含丰富视觉信息的内容。在本文中，我们介绍了一种新的技术，SeeReader，它结合了TTS与自动内容识别和文档演示控制，允许用户收听文档，同时也被告知重要的视觉内容。总之，这些服务允许用户在移动设备上阅读丰富的文档，同时保持对视觉环境的感知。
2009-09-11 cs.HC
GazeSync: A Mobile Eye-Tracking Tool for Analyzing Visual Attention on Dynamically Manipulated Content
University of St Andrews（圣安德鲁斯大学）；University of Essex（埃塞克斯大学）；King’s College London（伦敦国王学院）
GazeSync通过同步设备眼动估计与实时图像变换矩阵，解决动态内容中视觉注意力的准确捕捉问题，验证了其在引导操控、阅读和视觉搜索任务中的有效性。
2026-03-30 cs.HC
SituFont: A Just-in-Time Adaptive Intervention System for Enhancing Mobile Readability in Situational Visual Impairments
Cornell University（康奈尔大学）；The University of Sydney（悉尼大学）；Tsinghua University（清华大学）；Nankai University（南开大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
SituFont通过实时调整字体参数，提升智能手机在情境性视觉障碍下的阅读可读性，通过人机交互和传感器数据优化文本展示。
2026-01-27 cs.HC
Child-Computer Interaction with Mobile Devices: Recent Works, New Dataset, and Age Detection
Universidad Autonoma de Madrid（马德里自治大学）；Hospital Universitario Infanta Leonor（莱昂诺尔公主大学医院）
本文概述了最近的研究在儿童计算机与移动设备的交互，并描述了我们的框架ChildCI打算：i）克服了该领域缺乏大规模公开数据库的问题，ii）随着时间的推移，对儿童的认知和神经运动发育有了更好的理解，这与文献中大多数以前的研究集中在单次习得上相反，以及iii）通过获取诸如学校成绩和儿童疾病等额外信息，实现电子学习和电子健康的新应用。我们的框架包括一个新的移动应用程序，特定的数据采集协议，以及ChildCI数据集（ChildCIdb v1）的首次发布，计划每年扩展一次，以实现纵向研究。在我们的框架中，儿童使用手写笔和手指与平板设备进行交互，执行不同的任务，需要不同水平的神经运动和认知技能。ChildCIdb是文献中第一个包含400多名18个月至8岁儿童的数据库，因此考虑到皮亚杰理论的前三个发展阶段。此外，作为一个潜在的ChildCI框架的演示，我们包括实验结果的ChildCIdb启用的许多应用程序之一：基于设备交互的儿童年龄检测。
2022-02-22 cs.CV cs.HC
Perceptions of Blind Adults on Non-Visual Mobile Text Entry
本研究通过采访12位失明成人，梳理出当前非视觉移动文本输入存在的三大问题，调研了用户对新型输入方法的态度，最终提炼出五个未来发展方向，为相关界面优化提供参考。
2025-05-21 cs.HC
Accessibility evaluation of major assistive mobile applications available for the visually impaired
本研究评估了视障人士使用Seeing AI等四款基于AI/CV的移动应用时面临的挑战，通过WCAG等参数及用户反馈，指出了应用在准确性、无障碍性等方面的改进领域，以助力开发者构建更优的辅助应用。
2024-07-05 cs.HC
Understanding How Visually Impaired Players Socialize in Mobile Games
基于对30名中国视障玩家的访谈，本研究揭示了移动游戏在满足其社交需求的同时，仍面临技术障碍、无障碍功能不足和社区分化等挑战，并为设计更具包容性的移动游戏提供了建议。
2025-07-20 cs.CY cs.HC
Speejis: Enhancing User Experience of Mobile Voice Messaging with Automatic Visual Speech Emotion Cues
本文提出Speejis，通过副语言语音处理和连续情感模型从语音中自动生成视觉情感线索，用户研究表明其显著提升语音消息的用户体验。
2025-02-07 cs.HC
Forecasting User Attention During Everyday Mobile Interactions Using Device-Integrated and Wearable Sensors
视觉注意力在移动交互期间是高度分散的，但是注意力转移的不稳定性质目前限制了注意力用户界面在事实之后（即，在转移已经发生之后）进行适应。相反，我们研究的是注意力预测--在不久的将来预测用户的注视行为（明显的视觉注意力）的挑战性任务。我们提出了一个新的长期数据集的日常手机互动，连续记录从20名参与者从事共同的活动在大学校园超过4.5小时（超过90小时）。我们提出了一种概念验证的方法，使用设备集成的传感器和身体佩戴的摄像头来编码丰富的信息，设备的使用和用户的视觉场景。我们证明，我们的方法可以预测双向注意力转移，并预测是否主要的注意力集中在手持移动终端。我们研究了不同的功能集对性能的影响，并讨论了在移动交互过程中预测用户注意力的巨大潜力和挑战。
2018-07-25 cs.HC
Data@Hand: Fostering Visual Exploration of Personal Data on Smartphones Leveraging Speech and Touch Interaction
大多数移动健康应用程序使用数据可视化来帮助人们查看他们的健康和活动数据，但这些应用程序对可视化数据探索的支持有限。此外，尽管有巨大的潜在好处，但在个人数据环境中的移动可视化研究很少。这项工作旨在通过语音实现灵活的时间操作，使人们能够在智能手机上轻松导航和比较他们的个人健康数据。我们设计并开发了Data@Hand，这是一款移动应用程序，利用了两种互补模式的协同作用：语音和触摸。通过对13名Fitbit长期用户的探索性研究，我们研究了多模态交互如何帮助参与者探索自己的健康数据。参与者成功地采用了多模式互动（即，语音和触摸），以方便和流畅的数据探索。基于定量和定性的研究结果，我们讨论了多模态交互的设计意义和机会，以更好地支持移动设备上的视觉数据探索。
2021-01-15 cs.HC
Proteus: Shapeshifting Desktop Visualizations for Mobile via Multi-level Intelligent Adaptation
Nanyang Technological University（南洋理工大学）；Providence Health & Services（普罗维登斯健康与服务）；The Hong Kong Polytechnic University（香港理工大学）
Proteus通过多级智能适应技术，自动将桌面可视化转换为移动端可读的可视化，解决移动端屏幕尺寸和交互方式差异导致的显示问题。
2026-04-25 cs.HC cs.MA
How far are we from quantifying visual attention in mobile HCI?
ETH Zürich（苏黎世联邦理工学院）；University of Stuttgart（斯图加特大学）
随着越来越多的移动设备争夺我们的注意力，量化用户何时、多久或多长时间在视觉上关注他们的设备已经成为移动人机交互的核心挑战。受最近使用机器学习和设备集成摄像头进行自动目光接触检测的进展的鼓舞，我们对日常移动交互中量化视觉注意力的可行性进行了基本调查。我们确定了与野外移动设备上感知注意力相关的核心挑战和错误来源，包括面部和眼睛可见性的影响，稳健的头部姿势估计的重要性，以及对准确凝视估计的需求。基于这种分析，我们提出了未来的研究方向，并讨论如何目光接触检测代表了令人兴奋的新应用程序的基础，对下一代的普适注意用户界面。
2019-07-25 cs.CV cs.HC
A Survey of Mobile Computing for the Visually Impaired
Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）；Polytechnique Montréal（蒙特利尔高等理工学院）；McGill University（麦吉尔大学）
世界上视力受损或失明（VIB）的人数估计为数亿人。基于对VIB和辅助技术开发人员的一系列采访，本文对基于机器学习的移动应用程序进行了调查，并确定了最相关的应用程序。我们将讨论这些应用程序的功能，它们如何与VIB用户的需求和要求保持一致，以及如何使用联邦学习和模型压缩等技术来改进它们。作为这项研究的结果，我们确定了有前途的未来移动感知，微导航和内容摘要的研究方向。
2018-11-27 cs.AI cs.HC
LAVA: Long-horizon Visual Action based Food Acquisition
University of Maryland（马里兰大学）
针对现有机器人辅助喂食对半固体和可变形食物操作不足的问题，提出LAVA分层策略，实现长时程食物获取，在46碗试验中成功率89±4%，优于基线。
2024-03-19 cs.HC cs.RO
Mul2MAR: A Multi-Marker Mobile Augmented Reality Application for Improved Visual Perception
本文提出一种低成本的多标记移动增强现实应用Mul2MAR，结合红青3D眼镜实现舒适的立体AR视觉感知，并在多种物体、场景和视图上验证了其有效性。
2025-02-09 cs.GR cs.HC
Understanding Visual Saliency in Mobile User Interfaces
Aalto University（阿尔托大学）；Indian Institute Of Technology, Goa（印度理工学院果阿分校）；Nokia Technologies（诺基亚技术公司）；Yildiz Technical University（耶尔德兹技术大学）；Huawei Technologies（华为技术有限公司）
对于图形用户界面（UI）设计，了解什么吸引视觉注意力是很重要的。虽然以前关于显着性的工作主要集中在桌面和基于Web的UI上，但移动应用程序UI在几个方面与这些不同。我们提出了一项对照研究的结果，有30名参与者和193个移动用户界面。这些结果说明了期望在引导用户看向哪里方面的作用。对显示、文本和图像的左上角的强烈偏见是明显的，而颜色或大小等自下而上的特征对显着性的影响较小。经典的无参数显着性模型显示出与数据的弱拟合，而数据驱动模型在专门针对该数据集进行训练时显着改善（例如，NSS从0.66上升到0.84）。我们还发布了第一个注释数据集，用于调查移动UI中的视觉显着性。
2021-01-22 cs.CV cs.HC
"I was Confused by It; It was Confused by Me:" Exploring the Experiences of People with Visual Impairments around Mobile Service Robots
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
移动服务机器人已经变得越来越普遍。然而，这些机器人可能会给视力障碍（PVI）的人带来潜在的可访问性问题和安全问题。我们试图探索PVI围绕主流移动服务机器人所面临的挑战，并确定他们的需求。17名PVI接受了采访，讲述了他们对三种新兴机器人的体验：真空机器人、送货机器人和无人机。我们通过考虑他们在机器人周围的不同角色-直接用户和旁观者-全面调查了PVI的机器人体验。我们的研究强调了参与者对移动服务机器人的可访问性，安全性和隐私问题的挑战和担忧。我们发现，缺乏可访问的反馈使得PVI难以精确控制，定位和跟踪机器人的状态。此外，作为旁观者遇到移动机器人会使参与者感到困惑，甚至害怕，从而带来安全和隐私方面的障碍。我们进一步提炼了设计考虑因素，以实现更易接近和更安全的PVI机器人。
2022-08-29 cs.HC cs.RO
AgentLens: Adaptive Visual Modalities for Human-Agent Interaction in Mobile GUI Agents
Sungkyunkwan University (SKKU)（成均馆大学）
本文提出AgentLens，一种自适应使用三种视觉模态的移动GUI代理，通过混合实时视觉交互提升人机交互的透明度与多任务处理能力，实验显示其在可用性和用户接受度上表现优异。
2026-09-09 cs.AI cs.HC cs.MA
Looks Right, Works Right: A Project-Level Benchmark for Multi-Screen Mobile App Generation
Harbin Institute of Technology（哈尔滨工业大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
针对现有设计转代码基准的局限，提出首个项目级多屏移动应用生成基准MobileForge，通过五轴评估及两种测试方法，发现前沿多模态LLM构建的应用存在导航、保真度和可维护性问题。
2026-08-24 cs.AI cs.HC
Walking through Discussions: A Mobile Visual Analytics System for In-Situ Group Discussion Analysis
Central South University（中南大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Hong Kong University of Science and Technology（香港科技大学）
本研究提出移动视觉分析系统MobileGroupVis，适配小屏幕触控交互，用于现场分析课堂小组讨论，可辅助教师监控小组、诊断异常并开展课堂干预。
2026-08-11 cs.AI cs.HC
HelpViz: Automatic Generation of Contextual Visual MobileTutorials from Text-Based Instructions
University of Washington（华盛顿大学）；Google Research（谷歌研究院）
提出HelpViz工具，通过解析文本指令并在Android模拟器上执行动作，自动生成情境化视觉移动教程，实验证明其提高了执行鲁棒性且更受用户偏好。
2021-08-07 cs.AI cs.HC
Insight: Enhancing Mobile Accessibility for Blind and Visually Impaired Users with LLMs
Arizona State University（亚利桑那州立大学）
本文提出Insight，一种基于LLM的Android无障碍服务，通过自然语言交互和实时屏幕摘要提升视障用户体验，实验显示其在减少心理努力和任务时间方面优于TalkBack。
2026-05-10 cs.AI cs.HC
Catroid: A Mobile Visual Programming System for Children
Catroid是一个免费开源的可视化程序设计语言、编程环境、图像处理程序和网站。Catroid允许8岁以上的临时用户和首次用户仅使用Android手机或平板电脑开发自己的动画和游戏。Catroid还允许通过蓝牙无线控制外部硬件，如Lego Mindstorms机器人，蓝牙Arduino板，以及Parrot的流行和廉价的AR.Drone四轴飞行器。
2012-04-28 cs.CY cs.HC cs.PL
Toward Accessible Mobile Money: A Voice-Driven, Biometrically Secured USSD Automation Framework for Visually Impaired Users
Carnegie Mellon University Africa（卡内基梅隆大学非洲校区）
提出基于Android的智能中间件，通过语音交互、生物特征安全PIN注入和隐私保护屏幕变暗机制（Blackout Mode），将USSD交易成功率提升至90%以上，完成时间缩短至12-15秒。
2026-05-29 cs.CR cs.HC
Thermodynamic Human-Computer Interaction
Heriot-Watt University（赫瑞-瓦特大学）
该研究提出一种基于热力学的人机交互统一框架，可跨交互模态扩展、无需训练数据且评估时间为O(1)，在网页预取任务中取得1.37的预取点击比和98.1%的目标预测准确率。
2026-09-04 cs.HC cs.PF physics.data-an
VINS: Visual Search for Mobile User Interface Design
Northeastern University（东北大学）；University of California at Santa Cruz（加州大学圣克鲁兹分校）
搜索相关的移动用户界面设计实例可以帮助界面设计者获得设计灵感和比较设计方案。然而，找到这样的设计示例是具有挑战性的，特别是当前的搜索系统仅依赖于基于文本的查询，而不考虑UI结构和内容。本文介绍了VINS，一个可视化搜索框架，它以UI图像（线框，高保真）作为输入，并检索视觉上相似的设计示例。我们首先调查界面设计师，以更好地了解他们的例子发现过程。然后，我们开发了一个大规模的UI数据集，它提供了界面视图层次结构的准确规范（即，所有UI组件及其特定位置）。通过利用这个数据集，我们提出了一个基于对象检测的图像检索框架，模型的UI上下文和层次结构。该框架实现了76.39%的平均精度的UI检测和查询类似的UI设计的高性能。
2021-02-10 cs.CV cs.DB cs.HC
Automated Visual Attention Detection using Mobile Eye Tracking in Behavioral Classroom Studies
提出一种基于移动眼动与迁移学习人脸识别的自动化流水线，以最少人工标注识别教师视觉关注的学生，在U形和小型教室中准确率分别约0.7和0.9，可辅助教学改进。
2025-09-25 cs.AI cs.CV cs.HC
