Continuous Gaze Tracking With Implicit Saliency-Aware Calibration on Mobile Devices
视线跟踪是一种有用的人机接口，在一系列移动应用中发挥着越来越重要的作用。视线校准是视线跟踪中不可缺少的一个环节，它将眼睛坐标转换为屏幕坐标。现有的视线跟踪方法要么精度有限，要么需要用户配合校准，从而损害了体验质量。在本文中，我们提出了vGaze，在移动设备上使用隐式显着性感知校准的连续凝视跟踪。vGaze的设计源于我们对视觉显著性和用户注视之间的时间和空间依赖关系的洞察。vGaze是一款轻量级软件，可识别具有“有用”显着性信息的视频帧，感知用户的头部运动，仅使用那些“有用”帧执行机会主义校准，并利用历史信息加速显着性检测。我们在商用移动终端上实现了vGaze，并评估了其在各种场景下的性能。结果表明，vGaze可以与视频播放应用程序一起实时的工作。视线跟踪的平均误差为1.51 cm（2.884度），使用历史信息时减小到0.99 cm（1.891度），使用指示器时减小到0.57 cm（1.089度）。
2022-09-30 cs.HC cs.NI
Towards Better Semantic Understanding of Mobile Interfaces
Google Research（谷歌研究院）
提高移动设备的可访问性和自动化能力可以对无数用户的日常生活产生重大的积极影响。为了促进这一方向的研究，我们发布了一个人工注释的数据集，其中包含大约50万个独特的注释，旨在增加对UI元素功能的理解。该数据集增强了来自RICO的图像和视图层次结构，RICO是一个大型移动UI数据集，具有基于其形状和语义的图标注释，以及不同元素及其相应文本标签之间的关联，从而显著增加了UI元素的数量和分配给它们的类别。我们还发布了使用仅图像和多模态输入的模型;我们对各种架构进行了实验，并研究了在新数据集上使用多模态输入的好处。我们的模型在看不见的应用程序的评估集上表现出强大的性能，表明它们对新屏幕的通用性。这些模型与新的数据集相结合，可以实现创新功能，例如通过标签引用UI元素，改进覆盖范围和更好的图标语义等，这将大大有助于使UI对每个人都更有用。
2022-10-06 cs.CL cs.CV cs.HC
A Deep Learning Framework for Visual Attention Prediction and Analysis of News Interfaces
University of Malta（马耳他大学）
本研究提出结合SaRa与DeepGaze IIE的深度学习框架优化UI显著性预测，通过眼动和鼠标追踪实验发现不同年龄群体新闻界面注意力模式存在显著差异，验证了鼠标追踪用于大规模显著性研究的可行性。
2025-03-21 cs.CV cs.HC
Enhancing Saliency Prediction in Monitoring Tasks: The Role of Visual Highlights
Saarland University（萨尔大学）
本研究针对无人机监控任务，验证视觉高亮可加快注意力投向对应区域，进而结合高亮的时空信息构建HISM显著性模型以预测注意力变化，为显著性预测提供新方向。
2024-05-15 cs.CV cs.HC
Enhancing Model Assessment in Vision-based Interactive Machine Teaching through Real-time Saliency Map Visualization
交互式机器教学系统允许用户通过用户引导的训练和模型评估的迭代过程来创建定制的机器学习模型。它们主要提供每个标签或类别的置信度分数作为用户评估的反馈。然而，我们观察到，这样的反馈并不一定足以让用户确认模型的行为。特别是，置信度得分并不总是提供对数据中哪些特征用于学习的充分理解，这可能导致创建错误训练的模型。在这篇演示论文中，我们提出了一个基于视觉的交互式机器教学界面，在评估阶段具有实时的【形】显着图可视化。这种可视化可以提供当前模型利用每个图像帧的哪些区域进行分类的反馈，从而更好地指导用户在迭代教学中纠正相应的概念。
2021-08-26 cs.HC
Mnemonical Body Shortcuts: Gestural Interface for Mobile Devices
移动设备的用户界面仍然与台式计算机提供的传统界面非常相似，但在移动环境中使用时，这些界面可能会出现很大的问题。移动交互中的人体手势识别是提供合适的移动可用性的重要领域。为了提高移动终端的交互性和移动性能，本文提出了一种基于体空间的方法--记忆体快捷方式。人体被呈现为一个丰富的有意义的关系库，总是可以与之互动。这些基于身体的手势允许用户自然地与移动设备交互，而没有移动限制。使用射频识别（RFID）技术进行了初步研究，验证记忆体快捷方式作为一个适当的新的移动交互机制。在这些研究之后，我们开发了使用加速度计的惯性感测原型，结束于能够正确识别记忆体快捷方式的移动设备的手势界面的构造和用户测试，并且还提供合适的用户控制机制和音频、视觉和触觉反馈。
2014-02-06 cs.HC
User Interface Factors of Mobile UX: A Study with an Incident Reporting Application
智能手机现在无处不在，但我们对最大化移动用户体验（UX）的用户界面因素的理解仍然有限。这项工作提出了一个对照实验，调查的因素，影响的可用性和UX的移动事件报告app.Results表明，顺序的用户界面元素的事项，同时努力提高UX，并有没有标签和滚动作为导航方式之间的区别，在简短的形式。这些研究结果可以作为积木的衍生指南移动事件报告。
2021-02-04 cs.HC
Understanding Individual Differences: Towards Effective Mobile Interface Design and Adaptation for the Blind
没有两个人是一样的。我们通常会忽略这种多样性，因为我们有能力适应，并且在不知不觉中成为界面专家，而这些界面可能一开始就不适应。这种适应并不总是在用户的范围内。盲人是一个被忽视的群体。空间能力、记忆力和触觉灵敏度是用户之间存在差异的一些特征。无论如何，所有人都采用相同的方法，忽略了他们的能力和需求。与移动设备的交互对视觉要求很高，这扩大了盲人之间的差距。我们的研究目标是确定影响移动交互的个人属性，考虑到盲人，并将它们与移动交互方式相匹配，在一个全面的和可扩展的设计空间。我们的目标是为设备设计，设备处方和接口适配提供知识。
2014-02-05 cs.HC
Understanding Interface Design and Mobile Money Perceptions in Latin America
移动货币可促进发展中国家的金融包容性，因为这些国家通常移动电话使用率高，汇款活动稳定。拉丁美洲的许多国家都达到了使用移动货币的最低技术要求，但该地区的采用率相对较低。本文调查了导致拉丁美洲人不信任并因此不采用移动货币的不同因素。为此，我们分析了市场上的27个移动货币应用程序，并调查了拉丁美洲人对此类界面的看法。从我们的研究中，我们挑出了对发展中国家用户采用影响最大的界面功能。我们发现，对于拉丁美洲市场来说，创建移动应用程序至关重要，这些应用程序允许用户可视化和理解他们的资金流向收件人的工作流程。我们研究了这些发现在设计未来的移动货币应用程序，可以有效地提高使用电子金融交易在拉丁美洲的重要性。
2018-03-13 cs.HC
Modeling Mobile Interface Tappability Using Crowdsourcing and Deep Learning
点击是移动触摸屏界面中非常重要的手势，但人们仍然经常需要通过反复试验来了解哪些元素是可重复的。预测这种日常手势的人类行为可以帮助移动应用程序设计人员了解其应用程序可用性的一个重要方面，而无需进行用户研究。在本文中，我们提出了一种方法，在规模上的移动接口的可扩展性建模。我们使用众包对一组丰富的移动应用程序进行了大规模的界面可扩展性数据汇集，并通过计算研究了人们用来区分可扩展元素和不可扩展元素的各种意符。基于数据集，我们开发并训练了一个深度神经网络，该网络可以预测用户将界面元素感知为可扩展或不可扩展的可能性。使用经过训练的可扩展性模型，我们开发了TapShoe，这是一种工具，可以自动诊断人类用户所感知的每个元素的可扩展性（由我们的模型预测）与开发人员或设计人员指定的元素的预期或实际可扩展状态之间的不匹配。该模型在识别可识别的UI元素方面达到了合理的准确率：平均准确率为90.2%，召回率为87.0%。通过与7位专业交互设计师的非正式评估，设计师对可扩展性模型和TapShoe表示满意。
2019-02-28 cs.HC
Brain Computer Interfaces for Mobile Apps: State-of-the-art and Future Directions
近年来，在利用移动设备的感测能力来开发应用方面已经有了显著的进步。主要目标是通过使其轻松和方便来增强用户与应用程序交互的方式。本文探讨了使用脑机接口（BCI），一个不断发展的子集的人机交互（HCI）范例，控制移动设备的能力。我们提出了一个全面的调查，在这一领域的最先进的，讨论的挑战和限制，在使用BCI的移动应用程序。此外，我们提出了可能的方式，在未来可以受益于BCI应用程序。本文巩固了在这一领域正在进行的研究方向，并得出结论的可行性和效益，使用BCI系统有效地增强到移动应用程序开发领域。
2015-09-04 cs.HC
Emerging Natural User Interfaces in Mobile Computing: A Bottoms-Up Survey
移动和可穿戴接口和交互范例受到可用屏幕不动产以及计算和电力资源的高度限制。尽管存在许多向移动用户显示信息的方式，但是向移动终端输入数据通常限于传统的基于触摸的交互，这使用户从他们正在进行的活动中分心。此外，新兴的应用，如增强、混合和虚拟现实（AR/MR/VR），需要新型的输入方法，以便与复杂的虚拟世界进行交互，这对传统的人机交互（HCI）技术提出了挑战。利用自然用户界面（NUI）作为使用自然直观动作与计算系统交互的范例，是满足移动计算及其现代应用中的这些挑战的许多方法之一。脑机接口，使思想只有免提交互，肌电输入方法，跟踪身体姿势和凝视跟踪输入接口-是NUI适用于移动和可穿戴交互的例子。可穿戴设备的广泛采用和移动技术的渗透，以及AR/MR/VR市场的不断增长，推动了新交互模式的探索和实施。生物信号采集技术和伴随的生态系统的同时发展为应对公开挑战提供了有用的工具箱。在这次调查中，我们提出了最先进的生物信号采集方法，总结和评估NUI领域的最新发展，并概述了在移动场景中的潜在应用。该调查将提供一个自下而上的概述，从（i）基本的生物学方面和信号采集技术，（ii）便携式NUI硬件解决方案，（iii）NUI支持的应用程序，以及（iv）研究挑战和开放问题。
2019-11-13 cs.HC
Examining Input Modalities and Visual Feedback Designs in Mobile Expressive Writing
本文通过实地研究考察移动表达性写作中输入模态与视觉反馈设计对可用性和宣泄效果的影响，发现键盘输入优于语音消息，且用户对写作后视觉反馈的偏好因压力类型而异，为移动界面设计提供实证依据。
2025-09-19 cs.HC
Predicting the usability of mobile applications using AI tools: the rise of large user interface models, opportunities, and challenges
Islamic University of Madinah（麦地那伊斯兰大学）；University of Sussex（萨塞克斯大学）；Superior University（苏必利尔大学）；Universiti Brunei Darussalam（文莱达鲁萨兰国大学）
本文提出大型用户界面模型（LUIMs），用于在移动应用中通过AI生成用户界面并预测可用性，并探讨其机遇与挑战。
2024-05-05 cs.AI cs.HC
VINS: Visual Search for Mobile User Interface Design
Northeastern University（东北大学）；University of California at Santa Cruz（加州大学圣克鲁兹分校）
搜索相关的移动用户界面设计实例可以帮助界面设计者获得设计灵感和比较设计方案。然而，找到这样的设计示例是具有挑战性的，特别是当前的搜索系统仅依赖于基于文本的查询，而不考虑UI结构和内容。本文介绍了VINS，一个可视化搜索框架，它以UI图像（线框，高保真）作为输入，并检索视觉上相似的设计示例。我们首先调查界面设计师，以更好地了解他们的例子发现过程。然后，我们开发了一个大规模的UI数据集，它提供了界面视图层次结构的准确规范（即，所有UI组件及其特定位置）。通过利用这个数据集，我们提出了一个基于对象检测的图像检索框架，模型的UI上下文和层次结构。该框架实现了76.39%的平均精度的UI检测和查询类似的UI设计的高性能。
2021-02-10 cs.CV cs.DB cs.HC
Design and implementation of a user interface for a multi-device spatially-aware mobile system
本论文的目的是设计与发展一个互动系统，以加强合作意义建构。系统设计是在相关工作调研和初步用户调研的基础上进行的。该系统基于多个空间感知移动设备。空间意识是通过运动跟踪系统建立的。关于平板电脑的位置的信息由服务器接收。服务器与设备通信并管理每个设备的内容。所实现的系统支持基于设备的相对空间布置来管理跨设备的信息元素。该系统的评价是通过用户研究完成的。
2016-01-08 cs.HC
Understanding and Predicting Temporal Visual Attention Influenced by Dynamic Highlights in Monitoring Task
本研究通过无人机监控任务实验，量化了视觉高亮对注视行为的时域影响，并开发了高亮信息显著性模型（HISM）以预测归一化显著性随时间的变化，从而优化高亮部署时机，提升界面设计。
2025-10-09 cs.HC
Sketch Interface for Teleoperation of Mobile Manipulator to Enable Intuitive and Intended Operation: A Proof of Concept
本研究开发了一种基于网络、利用机器学习处理草图的移动机械臂遥操作直观界面，经两项验证表明其可降低工作负荷、提升操作直观性与效率，为人机协作开辟新途径。
2025-05-21 cs.HC cs.RO
Expressive haptics for enhanced usability of mobile interfaces in situations of impairments
为情境感知而设计可以为残疾人提供更好的解决方案，同样，探索残疾人的需求可以带来解决情境障碍的创新。这反过来又可以为残疾人创造非污名化的辅助技术，最终每个人都可以从中受益。在本文中，我们调查的潜力，先进的触觉恭维的图形用户界面的移动设备，从而提高用户体验的所有人在某些情况下（如阳光干扰互动）和视障人士。我们探索这个问题的技术解决方案，并证明我们的理由，专注于创造动觉力反馈。我们提出了初步的设计概念和研究，以期共同创造愉快的和富有表现力的触觉互动与潜在的用户的情景和永久性障碍的动机。
2019-04-12 cs.HC
User-Sensitive Mobile Interfaces: Accounting for Individual Differences amongst the Blind
移动电话渗透到我们的日常生活中，在许多方面发挥着日益扩大的作用。它们的普遍性使它们在赋予残疾人权力方面发挥了关键作用。然而，如果不提供包容性的办法，它就会成为一种强有力的排斥手段。尽管目前的解决方案试图弥补视力的不足，但并非所有信息都能到达盲人用户。良好的空间能力仍然需要理解设备及其界面，以及需要记住屏幕上的位置或键盘上的键和相关操作。这些问题是由许多个人属性，如年龄，失明的年龄或触觉敏感性，往往被设计师忘记。更糟糕的是，整个盲人群体被反复认为是同质的（通常是刻板印象）。因此，所有用户都面临相同的解决方案，而忽略了他们的特定能力和需求。我们通常忽略这种多样性，因为我们有能力适应并成为界面专家，而这些界面可能一开始就不适应。这种适应并不总是触手可及的。与移动设备的交互对视觉要求很高，这扩大了盲人之间的差距。了解个体差异的影响及其与需求的关系至关重要，以便能够部署更具包容性的解决方案。我们探索盲人之间的个体差异，并评估他们是如何与移动界面的需求，无论是在低（例如执行屏幕上的手势）和高层次（文本输入）的任务。结果证实，不同的能力水平有显着的影响所取得的成绩由一个盲人。特别是，其他被忽视的属性，如触觉敏锐度，压力敏感度，空间能力或语言智商已被证明与特定的移动需求和参数化相匹配。
2014-02-05 cs.HC
Dark Haptics: Exploring Manipulative Haptic Design in Mobile User Interfaces
本文首次提出“暗黑触觉”概念，通过实证研究展示移动界面中操纵性触觉反馈能促使用户放弃隐私，为后续减轻其危害的研究奠定基础。
2025-04-11 cs.HC
A study of the interface usability issues of mobile learning applications for smart phones from the users perspective
提出了一个测量移动学习应用可用性特征的概念框架。此外，还设计和实施了一个智能手机软件原型，以评估移动学习应用程序的可用性问题。这个原型已经开发，使用Java语言和Android软件开发工具包，建议的概念框架的指导方针的基础上。通过在西方大学进行的一项基于网络的调查，将所提出的模型的可用性与一个普遍可用的类似移动应用程序（基于黑板）进行了比较。这两个模型进行了评估，在易用性，用户满意度，吸引力和可学习性。调查问卷的结果表明，参与者认为基于我们提出的框架的用户界面更用户友好相比，基于黑板的用户界面。
2015-01-08 cs.CY cs.HC
InsightEdu: Mobile Discord Bot Management and Analytics for Educators
Technical University of Munich（慕尼黑工业大学）
InsightEdu是一款专为教育者设计的移动Discord机器人管理工具，通过触控界面提升教学互动效率
2026-01-29 cs.HC
Mobile Re-Finding of Web Information Using a Voice Interface
移动访问信息是一个相当大的问题，许多用户，特别是在Web上找到的信息。在本文中，我们将探讨如何通过电话访问的语音控制服务，可以支持移动用户的需求，细化以前在Web上找到的特定信息。我们概述了在创建这样一个服务的挑战，并描述了架构和用户界面的问题，我们建立了一个探索性的原型称为WebContext中发现。我们还提出了一项研究的结果，我们的经验与WebContext的动机，探索人们记住的信息，他们试图重新找到，以及他们如何表达在协作对话中的信息细化请求。作为研究的一部分，我们研究如何最终用户创建的网页注释可以用来帮助支持移动信息重新查找。我们观察了URL、页面标题和页面内容描述的使用，以帮助识别搜索过程中的路径点。此外，我们观察到注释被广泛使用，这表明用户明确添加的上下文可以在重新查找中发挥重要作用。
2004-01-31 cs.HC cs.IR
HAT: Head-Worn Assistive Teleoperation of Mobile Manipulators
Carnegie Mellon University（卡内基梅隆大学）
家庭中的移动机械手可以为患有严重运动障碍的个人提供更多的自主性，这些人在没有护理人员的帮助下通常无法完成日常生活活动（ADL）。辅助移动机械手的遥操作可以使运动障碍的个体能够独立地执行自我护理和家务任务，但有限的运动功能可能会阻碍一个人与机器人交互的能力。在这项工作中，我们提出了一个独特的基于惯性的可穿戴辅助接口，嵌入在一个熟悉的头戴式服装，为个人与严重的运动障碍，远程操作和执行物理任务的移动机械手。我们评估这个可穿戴接口与健全的（N = 16）和运动障碍的个人（N = 2）进行日常生活能力和日常家务。我们的研究结果表明，可穿戴接口使参与者完成物理任务的低出错率，高感知易用性，低工作量的措施。总的来说，这种基于惯性的可穿戴设备作为一种新的辅助接口选项，用于控制家庭中的移动机械手。
2023-02-12 cs.HC cs.RO
Independence in the Home: A Wearable Interface for a Person with Quadriplegia to Teleoperate a Mobile Manipulator
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）；Hello Robot Inc.（Hello Robot 公司）
本研究提出并迭代了可穿戴头戴式接口HAT，用于四肢瘫痪患者远程操作移动机械臂，结合共享控制方法，7天家庭实验证明其在效率、错误率、学习曲线和工作负荷等指标上表现优异。
2024-01-02 cs.HC cs.RO
Intelligent Exploration for User Interface Modules of Mobile App with Collective Learning
Business Intelligence Lab, Baidu Research（百度研究院商业智能实验室）；Baidu TPG User Experience Department（百度TPG用户体验部）；National Engineering Laboratory of Deep Learning Technology and Application（深度学习技术及应用国家工程实验室）；Key Lab of IIP of Chinese Academy of Sciences (CAS), Institute of Computing Technology, CAS（中国科学院智能信息处理重点实验室，中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Peking University（北京大学）；Shandong University（山东大学）；Rutgers University（罗格斯大学）
移动应用界面通常由一组用户界面模块组成。如何正确设计这些用户界面模块对于手机应用程序实现用户满意度至关重要，然而，除了依靠设计师的判断之外，很少有方法来确定用户界面模块的设计变量。通常，需要费力的后处理步骤来验证每个设计变量的关键变化。因此，可以测试的设计解决方案数量非常有限。这是耗时的，几乎不可能找出最佳的设计解决方案，因为有许多模块。为此，我们介绍FEELER，一个框架，快速和智能地探索设计解决方案的用户界面模块与集体机器学习的方法。FEELER可以帮助设计师定量测量不同设计方案的偏好得分，旨在方便设计师方便快捷地调整用户界面模块。我们在两个真实数据集上进行了广泛的实验评估，以证明其在中国最受欢迎的移动应用程序之一百度应用程序中用户界面模块设计的真实案例中的适用性。
2020-08-31 cs.HC cs.LG cs.SE
Better Situational Awareness in AR-HRC? A Comparative Study of Augmented Reality and Mobile Interfaces for Human-Robot Collaboration
Duke University（杜克大学）；Lancaster University（兰卡斯特大学）
本研究通过30人实验对比AR与移动界面，发现AR仅提升机器人感知层面意识，未增强高层机器人或环境意识，为安全关键型AR-HRC界面设计提供了注意力机制层面的依据。
2026-10-15 cs.HC
MUIAnno: An Expert-Annotated Dataset and Evaluation Benchmark for Mobile UI Understanding
King Fahd University of Petroleum and Minerals（国王法赫德石油与矿产大学）；SDAIA–KFUPM Joint Research Center for Artificial Intelligence, King Fahd University of Petroleum and Minerals（沙特数据与人工智能局-国王法赫德石油与矿产大学人工智能联合研究中心）
本文提出MUIAnno，一个公开的专家标注数据集，用于移动UI理解，通过收集多个类别的应用，提供高质量的UI标注，支持未来研究。
2026-05-17 cs.HC
Accessibility Recommendations for Designing Better Mobile Application User Interfaces for Seniors
针对老年人移动应用可访问性不足的问题，通过两次焦点小组研究（共38名老年人）得出用户画像，开发模型驱动工具集生成适配原型并验证，最终提出细化画像与可访问性建议以助力包容性设计。
2025-04-17 cs.HC cs.SE
HORUS: A Mixed Reality Interface for Managing Teams of Mobile Robots
DIBRIS Department, RICE Laboratory, University of Genoa（DIBRIS部门、RICE实验室、热那亚大学）
提出混合现实界面HORUS，通过Mini-Map和多种遥操作模式实现多机器人团队监控与任务分配，用户研究验证其在搜索救援任务中的协调有效性。
2026-06-05 cs.HC cs.RO
Widget Captioning: Generating Natural Language Description for Mobile User Interface Elements
Google Research（谷歌研究院）；Georgia Tech（佐治亚理工学院）
用户界面（UI）元素（如替代文本）的自然语言描述对于可访问性和基于语言的交互至关重要。然而，这些描述在移动UI中经常缺失。我们提出了小部件字幕，一个新的任务，自动生成语言描述的UI元素从多模态输入，包括图像和结构表示的用户界面。我们收集了一个大规模的数据集，用于众包的小部件字幕。我们的数据集包含162，859个由人类工作人员创建的语言短语，用于在21，750个独特的UI屏幕上注释61，285个UI元素。我们彻底分析了数据集，并训练和评估了一组深度模型配置，以研究每个特征模态以及学习策略的选择如何影响预测字幕的质量。任务制定和数据集以及我们的基准模型为这种连接语言和用户界面的新型多模态字幕任务奠定了坚实的基础。
2020-10-08 cs.AI cs.CL cs.HC
Shifting Focus with HCEye: Exploring the Dynamics of Visual Highlighting and Cognitive Load on User Attention and Saliency Prediction
Saarland University（萨尔大学）
本文通过 HCEye 眼动实验研究视觉高亮与认知负荷对用户注意力的联合影响，发现动态高亮在认知负荷下仍能吸引注意力，并证明考虑认知负荷可提升显著性模型性能。
2024-05-02 cs.AI cs.HC
Automatic code generation from sketches of mobile applications in end-user development using Deep Learning
Federal University of Santa Catarina（圣卡塔琳娜联邦大学）
终端用户或计算教育中的移动应用程序开发的一个常见需求是使用App Inventor（一种流行的基于块的编程环境）将用户界面的草图转换为线框代码。由于这项任务具有挑战性且耗时，我们提出了Sketch 2aia方法来自动化这一过程。Sketch 2aia采用深度学习来检测最常见的用户界面组件及其在手绘草图上的位置，创建用户界面的中间表示，然后自动生成线框的App Inventor代码。该方法实现了平均用户界面组件分类准确率为87，72%，初步用户评估的结果表明，它生成的线框，密切反映的草图在视觉相似性。该方法已被实现为一个Web工具，并可用于支持最终用户的移动应用程序的开发，有效和高效地以及在K-12的用户界面设计的教学。
2021-03-09 cs.AI cs.HC cs.SE
Exploring the Effect of Viewing Attributes of Mobile AR Interfaces on Remote Collaborative and Competitive Tasks
University of British Columbia（不列颠哥伦比亚大学）
本文研究了移动AR界面中目标观看角度、同步方式和辅助小屏幕等观看属性对远程协作与竞争任务的影响，提出五种技术并通过用户研究证明，允许在小屏幕上异步观看对象操作的技术能实现最佳表现和用户偏好，为MAR远程任务设计提供了新方案与建议。
2025-11-03 cs.HC
GPTVoiceTasker: Advancing Multi-step Mobile Task Efficiency Through Dynamic Interface Exploration and Learning
针对现有移动虚拟助手效率低、意图理解差的问题，研究提出基于LLMs的GPTVoiceTasker，可智能解读指令、执行交互并从历史指令学习自动化，实验证实其指令解读与自动化能力优异，真实场景任务效率提升34.85%且已开源。
2024-08-14 cs.HC
Towards Augmented Reality-driven Human-City Interaction: Current Research on Mobile Headsets and Future Challenges
增强现实（AR）的交互设计越来越受到学术界和工业界的关注。该调查讨论了260篇文章（占2015 - 2019年间发表文章的68.8%），以回顾互联城市中的人类互动领域，重点是增强现实驱动的互动。我们提供了一个人与城市的互动和相关的技术方法的概述，其次是信息可视化的最新趋势的审查，约束界面，并体现在AR耳机的互动。我们强调了界面设计和输入技术中值得进一步研究的问题，并推测具有互补会话用户界面（CUI）的AR是智能城市中与沉浸式系统进行无处不在交互的关键推动因素。我们的工作有助于研究人员了解AR在人与城市互动中的当前潜力和未来需求。
2021-05-25 cs.HC
The Ubiquitous Interactor - Device Independent Access to Mobile Services
泛在交互器（UBI）解决了围绕需要从许多不同设备访问的服务而出现的设计和开发问题。在UBI中，相同的服务可以在不同的设备上呈现不同的用户界面。这是通过将用户和服务之间的交互与表示分离来实现的。交互对于所有设备保持相同，并且为不同的设备提供不同的呈现信息。这样，可以为许多不同的设备创建定制的用户界面，而无需增加开发和维护工作。在本文中，我们描述了UBI的系统设计，系统实现，并为系统实现了两个服务：日历服务和股票经纪人服务。
2003-05-05 cs.HC
Reconstructing ERP Signals Using Generative Adversarial Networks for Mobile Brain-Machine Interface
Korea University（高丽大学）
实际的脑机接口已被广泛研究，以准确地检测人类的意图，在现实世界中使用大脑信号。然而，由于诸如行走和头部运动的伪影，脑电（EEG）信号失真，因此脑信号的幅度可能比期望的EEG信号大。由于这些伪影，在移动环境中准确地检测人类意图是具有挑战性的。在本文中，我们提出了基于生成对抗网络的重建框架，使用行走过程中的事件相关电位（ERP）。我们使用一个预先训练好的卷积编码器来表示潜在变量，并通过与编码器相反形状相似的生成模型来重建ERP。最后，使用判别模型对ERP进行分类，验证了该框架的有效性。结果表明，重建的信号具有与站立时ERP相似的重要成分，如N200和P300。重建的脑电信号的准确性与行走过程中的原始噪声脑电信号相似。重建脑电信号的信噪比显著提高，为1.3。生成式模型的损失率为0.6301，相对较低，说明训练生成式模型具有较高的性能。重建的ERP结果表明，通过降噪的效果，分类性能在步行过程中得到了改善。所提出的框架可以帮助识别人的意图，即使在移动环境中的脑机接口的基础上。
2020-05-18 cs.HC cs.LG eess.SP
User interface design for military AR applications
为军事态势感知设计一个用户界面对以有用和可用的方式管理信息提出了挑战。我们提出了一套集成的功能，用于军事应用的移动增强现实应用程序的信息的呈现和交互。我们的研究集中在四个方面。我们根据与用户的相关性（进而根据位置）过滤信息，评估用于呈现代表从用户视图中遮挡的实体的信息的方法，通过类似于当前军事中使用的技术的自上而下的地图视图隐喻实现交互，并促进与其他移动用户和/或指挥中心的协作。此外，我们改进了用户界面架构，以符合主题专家的要求。我们讨论了在我们的工作和未来的研究方向的经验教训。
2019-04-21 cs.HC
Mobile Augmented Reality: User Interfaces, Frameworks, and Intelligence
University of Oulu（奥卢大学）；The Hong Kong University of Science and Technology（香港科技大学）；KAIST（韩国科学技术院）；University of Helsinki（赫尔辛基大学）；Norwegian University of Science and Technology（挪威科技大学）
移动增强现实（MAR）将计算机生成的虚拟对象与移动设备的物理环境相集成。MAR系统使用户能够与MAR设备（如智能手机和头戴式可穿戴设备）进行交互，并执行从物理世界到具有数字实体的混合世界的无缝过渡。这些MAR系统通过使用MAR设备提供对数字内容的通用可访问性来支持用户体验。在过去的20年中，许多MAR系统已经开发出来，但尚未从以用户为中心的设计角度对MAR框架的研究和设计进行系统的回顾。本文介绍了调查现有MAR框架的第一次努力（count：37）并通过自上而下的方法进一步讨论了关于MAR的最新研究：1）MAR应用; 2）自适应于用户移动性和上下文的MAR可视化技术; 3）MAR框架的系统评估，包括支持的平台和相应的特征，例如跟踪、特征提取加上感测能力;以及4）支持MAR系统内的智能操作的底层机器学习方法。最后，我们总结了新兴研究领域的发展，目前的最先进的，并讨论了重要的开放挑战和可能的理论和技术方向。这项调查旨在使研究人员和MAR系统开发人员都受益。
2021-06-16 cs.AI cs.CV cs.CY
An Overview of Mobile Capacitive Touch Technologies Trends
触摸感应作为一种主要的人机界面，广泛应用于智能手表、手机、平板电脑和电视等各种商用产品中。现有技术的触摸检测主要基于互电容感测，其需要必要的接触触摸，限制了移动用户体验。近年来，远程手势感知技术因其能够为移动界面提供额外的用户体验而受到学术界和工业界的广泛关注。电容式手势遥感主要基于自电容检测，通过消除寄生互电容实现高分辨率。在这项工作中，我们概述了不同代的触摸屏技术，比较触摸和远程手势传感技术的差异。此外，还比较了不同的远程手势传感技术。最后对各种拓扑结构的局限性和潜力进行了讨论，并对未来的技术发展趋势进行了总结。
2016-12-25 cs.ET cs.HC
Enhancing Flexibility and Adaptability in Conjoined Human-Robot Industrial Tasks with a Minimalist Physical Interface
Istituto Italiano di Tecnologia（意大利技术研究院）
本文提出了一种物理接口的协作移动机械手在工业制造和物流应用。拟议的工作建立在我们早期的MOCA-MAN接口，通过该接口，操作员可以物理耦合到移动机械手，以协助执行日常活动。之前的界面是基于连接到用户一只手臂上的磁性夹具进行耦合，以及基于另一只手臂上的EMG传感器的手镯，用于通过手势进行人机通信。新的界面提供了以下补充：i）类似工业的设计，允许工人轻松耦合/解耦并在本地操作移动机械手; ii）通过简单的按钮板提供简单的通信通道，允许仅用一只手控制机器人; iii）界面提供增强的本地操作能力，不会影响工人的移动性。此外，与六个人类受试者的实验评估进行分析，以增强运动和灵活性的建议接口的流动性约束，可用性和物理负载减少。
2023-01-19 cs.HC cs.RO
Mobile Fitting Room: On-device Virtual Try-on via Diffusion Models
Georgia Tech（佐治亚理工学院）
针对时尚电商虚拟试穿在移动端与隐私上的挑战，本文提出首个设备端扩散模型虚拟试穿系统，通过新颖技术流程与界面设计实现隐私保护与用户定制。
2024-02-02 cs.AI cs.HC cs.LG
Optimizing User Interface Layouts via Gradient Descent
自动化部分用户界面（UI）设计过程一直是一个长期的挑战。我们提出了一种自动化的技术，用于优化移动UI的布局。我们的方法使用梯度下降的神经网络模型的任务性能相对于模型的输入进行布局修改，从而提高预测的出错率和任务完成时间。我们首先通过扩展先前的工作神经网络为基础的性能预测2维移动用户界面与扩展的交互空间。然后，我们将我们的方法应用于两个UI，包括一个模型没有经过训练的UI，以发现具有显著改善的预测性能的布局替代方案。最后，我们通过实验证实了这些预测，优化布局的效果提高了9.2%。这证明了该算法在提高布局的任务性能方面的有效性，以及其概括和改进新界面布局的能力。
2020-02-25 cs.HC
A wireless hand-held platform for robotic behavior control
自主机器人平台中对可定制属性的需求，例如老年人的家庭护理和人机控制界面的并行实现，创造了一个机会来引入部署在托管代码中运行机器人命令应用程序的常用移动设备的方法。本文将讨论一个人机界面，并演示了一个原型组成的移动终端运行可配置的应用程序与移动机器人通信使用托管，类型安全的语言，C#.NET，通过蓝牙。
2014-09-08 cs.HC cs.RO
On the Usability (In)Security of In-App Browsing Interfaces in Mobile Apps
由于在各种应用场景中频繁遇到web URL（例如，聊天和电子邮件阅读），许多移动应用构建其应用内浏览界面（IABI）以提供无缝的用户体验。虽然这通过避免主题应用程序和系统内置浏览器应用程序之间的不断切换实现了用户友好性，但我们发现，如果没有良好的设计或定制，IABI可能会导致可用性安全风险。在本文中，我们对Android和iOS应用程序中应用内浏览界面的可用性（不）安全性进行了首次实证研究。具体来说，我们从包含IABI的五个常见应用程序类别（包括Facebook和Gmail）中收集了25个知名移动应用程序的数据集，并进行了系统分析（但不是最终用户研究），其中包括八个精心设计的安全测试，并涵盖了打开，显示和导航应用程序内网页的整个过程。在这个过程中，我们得到了三个主要的安全发现：（1）大约30%的测试应用无法提供足够的URL信息，让用户在打开URL时做出明智的决定;（2）几乎所有的自定义IABI都存在各种问题，无法提供足够的指示器来忠实地向用户显示应用内页面，而基于Chrome自定义标签和SFSafariViewController的十个IABI通常是安全的;以及（3）只有少数IABI会发出警告，提醒用户在导航（可能是网络钓鱼）登录页面期间输入密码的风险。大多数开发人员已经承认了我们的发现，但他们修复可用性问题的意愿和准备程度与修复技术漏洞相比相当低，这是可用性安全研究中的一个难题。…
2022-09-04 cs.CR cs.HC
Multi-face emotion detection for effective Human-Robot Interaction
CESI LINEACT
针对人机交互中情绪感知的需求，研究提出集成于移动人形机器人的多人脸情绪检测界面，经评估多类深度神经网络模型并权衡准确率与内存占用，实现了多人情绪实时展示功能。
2025-01-13 cs.AI cs.CV cs.HC
CNN-based Facial Affect Analysis on Mobile Devices
本文重点介绍了用于移动设备面部情感分析的卷积神经网络（CNN）架构的设计、部署和评估。与传统的CNN方法不同，部署到移动设备的模型必须在保持高性能的同时最大限度地减少存储需求。因此，我们提出了三种已建立的CNN架构的变体，并在一个大型的、野外的面部图像基准数据集上对它们进行了比较评估。我们的研究结果表明，所提出的架构保留了类似的性能数据集基线，同时最大限度地减少存储要求：实现58%的准确度为8类情绪分类和平均RMSE为0.39的效价/唤醒预测。为了证明部署这些模型在现实世界中的应用的可行性，我们实现了一个音乐推荐界面的基础上预测的用户影响。虽然CNN模型没有在音乐推荐的背景下进行训练，但我们的案例研究表明：（i）经过训练的模型实现了与基准数据集相似的预测性能，以及（ii）用户倾向于积极评价界面提供的歌曲推荐。在iPhone 6S上部署的模型的平均运行时间相当于约45 fps，这表明所提出的架构也非常适合视频流的实时部署。
2018-07-23 cs.HC
Insight: Enhancing Mobile Accessibility for Blind and Visually Impaired Users with LLMs
Arizona State University（亚利桑那州立大学）
本文提出Insight，一种基于LLM的Android无障碍服务，通过自然语言交互和实时屏幕摘要提升视障用户体验，实验显示其在减少心理努力和任务时间方面优于TalkBack。
2026-05-10 cs.AI cs.HC
CR-Eyes: A Computational Rational Model of Visual Sampling Behavior in Atari Games
ScaDS.AI, Leipzig University（莱比锡大学）；Leipzig University（莱比锡大学）；Interdisciplinary Transformation University（跨学科转型大学）
CR-Eyes通过强化学习模拟Atari游戏中视觉采样与游戏行为，结合感知与认知约束，学习视觉注视与动作决策，展现与人类数据一致的任务表现和注视模式。
2026-03-27 cs.HC
Characterising divergence between heuristic and language-model ratings of mobile user interface quality
Metropolitan University（大都会大学）
本文利用RICO数据集构建评估语料库，通过启发式基线与多语言模型对比，系统检验LLM在移动UI质量评估中的可靠性，并归纳失败分类及架构解释。
2026-11-11 cs.CL cs.HC cs.SE
AppAgent v2: Advanced Agent for Flexible Mobile Interactions
University of Technology Sydney（悉尼技术大学）；Tencent（腾讯）；Beijing Jiaotong University（北京交通大学）；Westlake University（西湖大学）
本文提出AppAgent v2，一种基于LLM的移动设备多模态智能体框架，通过构建灵活动作空间与探索部署双阶段机制，结合RAG技术实现跨应用复杂任务的高效准确执行。
2025-09-17 cs.AI cs.HC
GhostUI: Unveiling Hidden Interactions in Mobile UI
Seoul National University（首尔国立大学）
GhostUI通过提供隐藏交互数据集，提升移动应用中VLMs对隐含手势的识别和任务自动化能力。
2026-01-27 cs.AI cs.HC
