User Interface Factors of Mobile UX: A Study with an Incident Reporting Application
智能手机现在无处不在，但我们对最大化移动用户体验（UX）的用户界面因素的理解仍然有限。这项工作提出了一个对照实验，调查的因素，影响的可用性和UX的移动事件报告app.Results表明，顺序的用户界面元素的事项，同时努力提高UX，并有没有标签和滚动作为导航方式之间的区别，在简短的形式。这些研究结果可以作为积木的衍生指南移动事件报告。
2021-02-04 cs.HC
Predicting the usability of mobile applications using AI tools: the rise of large user interface models, opportunities, and challenges
Islamic University of Madinah（麦地那伊斯兰大学）；University of Sussex（萨塞克斯大学）；Superior University（苏必利尔大学）；Universiti Brunei Darussalam（文莱达鲁萨兰国大学）
本文提出大型用户界面模型（LUIMs），用于在移动应用中通过AI生成用户界面并预测可用性，并探讨其机遇与挑战。
2024-05-05 cs.AI cs.HC
Understanding Individual Differences: Towards Effective Mobile Interface Design and Adaptation for the Blind
没有两个人是一样的。我们通常会忽略这种多样性，因为我们有能力适应，并且在不知不觉中成为界面专家，而这些界面可能一开始就不适应。这种适应并不总是在用户的范围内。盲人是一个被忽视的群体。空间能力、记忆力和触觉灵敏度是用户之间存在差异的一些特征。无论如何，所有人都采用相同的方法，忽略了他们的能力和需求。与移动设备的交互对视觉要求很高，这扩大了盲人之间的差距。我们的研究目标是确定影响移动交互的个人属性，考虑到盲人，并将它们与移动交互方式相匹配，在一个全面的和可扩展的设计空间。我们的目标是为设备设计，设备处方和接口适配提供知识。
2014-02-05 cs.HC
Intelligent Exploration for User Interface Modules of Mobile App with Collective Learning
Business Intelligence Lab, Baidu Research（百度研究院商业智能实验室）；Baidu TPG User Experience Department（百度TPG用户体验部）；National Engineering Laboratory of Deep Learning Technology and Application（深度学习技术及应用国家工程实验室）；Key Lab of IIP of Chinese Academy of Sciences (CAS), Institute of Computing Technology, CAS（中国科学院智能信息处理重点实验室，中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Peking University（北京大学）；Shandong University（山东大学）；Rutgers University（罗格斯大学）
移动应用界面通常由一组用户界面模块组成。如何正确设计这些用户界面模块对于手机应用程序实现用户满意度至关重要，然而，除了依靠设计师的判断之外，很少有方法来确定用户界面模块的设计变量。通常，需要费力的后处理步骤来验证每个设计变量的关键变化。因此，可以测试的设计解决方案数量非常有限。这是耗时的，几乎不可能找出最佳的设计解决方案，因为有许多模块。为此，我们介绍FEELER，一个框架，快速和智能地探索设计解决方案的用户界面模块与集体机器学习的方法。FEELER可以帮助设计师定量测量不同设计方案的偏好得分，旨在方便设计师方便快捷地调整用户界面模块。我们在两个真实数据集上进行了广泛的实验评估，以证明其在中国最受欢迎的移动应用程序之一百度应用程序中用户界面模块设计的真实案例中的适用性。
2020-08-31 cs.HC cs.LG cs.SE
Understanding Interface Design and Mobile Money Perceptions in Latin America
移动货币可促进发展中国家的金融包容性，因为这些国家通常移动电话使用率高，汇款活动稳定。拉丁美洲的许多国家都达到了使用移动货币的最低技术要求，但该地区的采用率相对较低。本文调查了导致拉丁美洲人不信任并因此不采用移动货币的不同因素。为此，我们分析了市场上的27个移动货币应用程序，并调查了拉丁美洲人对此类界面的看法。从我们的研究中，我们挑出了对发展中国家用户采用影响最大的界面功能。我们发现，对于拉丁美洲市场来说，创建移动应用程序至关重要，这些应用程序允许用户可视化和理解他们的资金流向收件人的工作流程。我们研究了这些发现在设计未来的移动货币应用程序，可以有效地提高使用电子金融交易在拉丁美洲的重要性。
2018-03-13 cs.HC
Modeling Mobile Interface Tappability Using Crowdsourcing and Deep Learning
点击是移动触摸屏界面中非常重要的手势，但人们仍然经常需要通过反复试验来了解哪些元素是可重复的。预测这种日常手势的人类行为可以帮助移动应用程序设计人员了解其应用程序可用性的一个重要方面，而无需进行用户研究。在本文中，我们提出了一种方法，在规模上的移动接口的可扩展性建模。我们使用众包对一组丰富的移动应用程序进行了大规模的界面可扩展性数据汇集，并通过计算研究了人们用来区分可扩展元素和不可扩展元素的各种意符。基于数据集，我们开发并训练了一个深度神经网络，该网络可以预测用户将界面元素感知为可扩展或不可扩展的可能性。使用经过训练的可扩展性模型，我们开发了TapShoe，这是一种工具，可以自动诊断人类用户所感知的每个元素的可扩展性（由我们的模型预测）与开发人员或设计人员指定的元素的预期或实际可扩展状态之间的不匹配。该模型在识别可识别的UI元素方面达到了合理的准确率：平均准确率为90.2%，召回率为87.0%。通过与7位专业交互设计师的非正式评估，设计师对可扩展性模型和TapShoe表示满意。
2019-02-28 cs.HC
Brain Computer Interfaces for Mobile Apps: State-of-the-art and Future Directions
近年来，在利用移动设备的感测能力来开发应用方面已经有了显著的进步。主要目标是通过使其轻松和方便来增强用户与应用程序交互的方式。本文探讨了使用脑机接口（BCI），一个不断发展的子集的人机交互（HCI）范例，控制移动设备的能力。我们提出了一个全面的调查，在这一领域的最先进的，讨论的挑战和限制，在使用BCI的移动应用程序。此外，我们提出了可能的方式，在未来可以受益于BCI应用程序。本文巩固了在这一领域正在进行的研究方向，并得出结论的可行性和效益，使用BCI系统有效地增强到移动应用程序开发领域。
2015-09-04 cs.HC
Emerging Natural User Interfaces in Mobile Computing: A Bottoms-Up Survey
移动和可穿戴接口和交互范例受到可用屏幕不动产以及计算和电力资源的高度限制。尽管存在许多向移动用户显示信息的方式，但是向移动终端输入数据通常限于传统的基于触摸的交互，这使用户从他们正在进行的活动中分心。此外，新兴的应用，如增强、混合和虚拟现实（AR/MR/VR），需要新型的输入方法，以便与复杂的虚拟世界进行交互，这对传统的人机交互（HCI）技术提出了挑战。利用自然用户界面（NUI）作为使用自然直观动作与计算系统交互的范例，是满足移动计算及其现代应用中的这些挑战的许多方法之一。脑机接口，使思想只有免提交互，肌电输入方法，跟踪身体姿势和凝视跟踪输入接口-是NUI适用于移动和可穿戴交互的例子。可穿戴设备的广泛采用和移动技术的渗透，以及AR/MR/VR市场的不断增长，推动了新交互模式的探索和实施。生物信号采集技术和伴随的生态系统的同时发展为应对公开挑战提供了有用的工具箱。在这次调查中，我们提出了最先进的生物信号采集方法，总结和评估NUI领域的最新发展，并概述了在移动场景中的潜在应用。该调查将提供一个自下而上的概述，从（i）基本的生物学方面和信号采集技术，（ii）便携式NUI硬件解决方案，（iii）NUI支持的应用程序，以及（iv）研究挑战和开放问题。
2019-11-13 cs.HC
VINS: Visual Search for Mobile User Interface Design
Northeastern University（东北大学）；University of California at Santa Cruz（加州大学圣克鲁兹分校）
搜索相关的移动用户界面设计实例可以帮助界面设计者获得设计灵感和比较设计方案。然而，找到这样的设计示例是具有挑战性的，特别是当前的搜索系统仅依赖于基于文本的查询，而不考虑UI结构和内容。本文介绍了VINS，一个可视化搜索框架，它以UI图像（线框，高保真）作为输入，并检索视觉上相似的设计示例。我们首先调查界面设计师，以更好地了解他们的例子发现过程。然后，我们开发了一个大规模的UI数据集，它提供了界面视图层次结构的准确规范（即，所有UI组件及其特定位置）。通过利用这个数据集，我们提出了一个基于对象检测的图像检索框架，模型的UI上下文和层次结构。该框架实现了76.39%的平均精度的UI检测和查询类似的UI设计的高性能。
2021-02-10 cs.CV cs.DB cs.HC
Sketch Interface for Teleoperation of Mobile Manipulator to Enable Intuitive and Intended Operation: A Proof of Concept
本研究开发了一种基于网络、利用机器学习处理草图的移动机械臂遥操作直观界面，经两项验证表明其可降低工作负荷、提升操作直观性与效率，为人机协作开辟新途径。
2025-05-21 cs.HC cs.RO
Examining Input Modalities and Visual Feedback Designs in Mobile Expressive Writing
本文通过实地研究考察移动表达性写作中输入模态与视觉反馈设计对可用性和宣泄效果的影响，发现键盘输入优于语音消息，且用户对写作后视觉反馈的偏好因压力类型而异，为移动界面设计提供实证依据。
2025-09-19 cs.HC
Design and implementation of a user interface for a multi-device spatially-aware mobile system
本论文的目的是设计与发展一个互动系统，以加强合作意义建构。系统设计是在相关工作调研和初步用户调研的基础上进行的。该系统基于多个空间感知移动设备。空间意识是通过运动跟踪系统建立的。关于平板电脑的位置的信息由服务器接收。服务器与设备通信并管理每个设备的内容。所实现的系统支持基于设备的相对空间布置来管理跨设备的信息元素。该系统的评价是通过用户研究完成的。
2016-01-08 cs.HC
A study of the interface usability issues of mobile learning applications for smart phones from the users perspective
提出了一个测量移动学习应用可用性特征的概念框架。此外，还设计和实施了一个智能手机软件原型，以评估移动学习应用程序的可用性问题。这个原型已经开发，使用Java语言和Android软件开发工具包，建议的概念框架的指导方针的基础上。通过在西方大学进行的一项基于网络的调查，将所提出的模型的可用性与一个普遍可用的类似移动应用程序（基于黑板）进行了比较。这两个模型进行了评估，在易用性，用户满意度，吸引力和可学习性。调查问卷的结果表明，参与者认为基于我们提出的框架的用户界面更用户友好相比，基于黑板的用户界面。
2015-01-08 cs.CY cs.HC
Mobile Re-Finding of Web Information Using a Voice Interface
移动访问信息是一个相当大的问题，许多用户，特别是在Web上找到的信息。在本文中，我们将探讨如何通过电话访问的语音控制服务，可以支持移动用户的需求，细化以前在Web上找到的特定信息。我们概述了在创建这样一个服务的挑战，并描述了架构和用户界面的问题，我们建立了一个探索性的原型称为WebContext中发现。我们还提出了一项研究的结果，我们的经验与WebContext的动机，探索人们记住的信息，他们试图重新找到，以及他们如何表达在协作对话中的信息细化请求。作为研究的一部分，我们研究如何最终用户创建的网页注释可以用来帮助支持移动信息重新查找。我们观察了URL、页面标题和页面内容描述的使用，以帮助识别搜索过程中的路径点。此外，我们观察到注释被广泛使用，这表明用户明确添加的上下文可以在重新查找中发挥重要作用。
2004-01-31 cs.HC cs.IR
HAT: Head-Worn Assistive Teleoperation of Mobile Manipulators
Carnegie Mellon University（卡内基梅隆大学）
家庭中的移动机械手可以为患有严重运动障碍的个人提供更多的自主性，这些人在没有护理人员的帮助下通常无法完成日常生活活动（ADL）。辅助移动机械手的遥操作可以使运动障碍的个体能够独立地执行自我护理和家务任务，但有限的运动功能可能会阻碍一个人与机器人交互的能力。在这项工作中，我们提出了一个独特的基于惯性的可穿戴辅助接口，嵌入在一个熟悉的头戴式服装，为个人与严重的运动障碍，远程操作和执行物理任务的移动机械手。我们评估这个可穿戴接口与健全的（N = 16）和运动障碍的个人（N = 2）进行日常生活能力和日常家务。我们的研究结果表明，可穿戴接口使参与者完成物理任务的低出错率，高感知易用性，低工作量的措施。总的来说，这种基于惯性的可穿戴设备作为一种新的辅助接口选项，用于控制家庭中的移动机械手。
2023-02-12 cs.HC cs.RO
Independence in the Home: A Wearable Interface for a Person with Quadriplegia to Teleoperate a Mobile Manipulator
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）；Hello Robot Inc.（Hello Robot 公司）
本研究提出并迭代了可穿戴头戴式接口HAT，用于四肢瘫痪患者远程操作移动机械臂，结合共享控制方法，7天家庭实验证明其在效率、错误率、学习曲线和工作负荷等指标上表现优异。
2024-01-02 cs.HC cs.RO
SemanticLock: An authentication method for mobile devices using semantically-linked images
我们介绍SemanticLock，一个用于移动设备的单因素图形身份验证解决方案。SemanticLock使用一组图形图像作为密码令牌，构建一个语义上令人难忘的故事，代表用户的密码。要使用我们的解决方案，需要在触摸屏上的\textit{continous flow}或\textit{discrete}移动中执行熟悉的快速操作，将图像拖放到相应位置。SemanticLock的认证强度基于从图像标记的定位和所选图像的类型导出的大量可能的语义构造。Semantic Lock对污迹攻击具有很高的抵抗力，并且由于其图形化范例，它同样表现出更高的可记忆性。在一项为期三周的用户研究中，21名参与者将SemanticLock与其他身份验证系统进行了比较，我们发现SemanticLock在速度、记忆力、用户接受度和可用性方面都优于PIN，并与PATTERN相匹配。此外，定性测试还显示，SemanticLock在喜欢能力方面更胜一筹。SemanticLock也进行了评估，而参与者走不受阻碍，走阻碍携带“日常”的项目，以分析这些活动对其使用的影响。
2019-10-09 cs.CR cs.HC
Expressive haptics for enhanced usability of mobile interfaces in situations of impairments
为情境感知而设计可以为残疾人提供更好的解决方案，同样，探索残疾人的需求可以带来解决情境障碍的创新。这反过来又可以为残疾人创造非污名化的辅助技术，最终每个人都可以从中受益。在本文中，我们调查的潜力，先进的触觉恭维的图形用户界面的移动设备，从而提高用户体验的所有人在某些情况下（如阳光干扰互动）和视障人士。我们探索这个问题的技术解决方案，并证明我们的理由，专注于创造动觉力反馈。我们提出了初步的设计概念和研究，以期共同创造愉快的和富有表现力的触觉互动与潜在的用户的情景和永久性障碍的动机。
2019-04-12 cs.HC
Reconstructing ERP Signals Using Generative Adversarial Networks for Mobile Brain-Machine Interface
Korea University（高丽大学）
实际的脑机接口已被广泛研究，以准确地检测人类的意图，在现实世界中使用大脑信号。然而，由于诸如行走和头部运动的伪影，脑电（EEG）信号失真，因此脑信号的幅度可能比期望的EEG信号大。由于这些伪影，在移动环境中准确地检测人类意图是具有挑战性的。在本文中，我们提出了基于生成对抗网络的重建框架，使用行走过程中的事件相关电位（ERP）。我们使用一个预先训练好的卷积编码器来表示潜在变量，并通过与编码器相反形状相似的生成模型来重建ERP。最后，使用判别模型对ERP进行分类，验证了该框架的有效性。结果表明，重建的信号具有与站立时ERP相似的重要成分，如N200和P300。重建的脑电信号的准确性与行走过程中的原始噪声脑电信号相似。重建脑电信号的信噪比显著提高，为1.3。生成式模型的损失率为0.6301，相对较低，说明训练生成式模型具有较高的性能。重建的ERP结果表明，通过降噪的效果，分类性能在步行过程中得到了改善。所提出的框架可以帮助识别人的意图，即使在移动环境中的脑机接口的基础上。
2020-05-18 cs.HC cs.LG eess.SP
User-Sensitive Mobile Interfaces: Accounting for Individual Differences amongst the Blind
移动电话渗透到我们的日常生活中，在许多方面发挥着日益扩大的作用。它们的普遍性使它们在赋予残疾人权力方面发挥了关键作用。然而，如果不提供包容性的办法，它就会成为一种强有力的排斥手段。尽管目前的解决方案试图弥补视力的不足，但并非所有信息都能到达盲人用户。良好的空间能力仍然需要理解设备及其界面，以及需要记住屏幕上的位置或键盘上的键和相关操作。这些问题是由许多个人属性，如年龄，失明的年龄或触觉敏感性，往往被设计师忘记。更糟糕的是，整个盲人群体被反复认为是同质的（通常是刻板印象）。因此，所有用户都面临相同的解决方案，而忽略了他们的特定能力和需求。我们通常忽略这种多样性，因为我们有能力适应并成为界面专家，而这些界面可能一开始就不适应。这种适应并不总是触手可及的。与移动设备的交互对视觉要求很高，这扩大了盲人之间的差距。了解个体差异的影响及其与需求的关系至关重要，以便能够部署更具包容性的解决方案。我们探索盲人之间的个体差异，并评估他们是如何与移动界面的需求，无论是在低（例如执行屏幕上的手势）和高层次（文本输入）的任务。结果证实，不同的能力水平有显着的影响所取得的成绩由一个盲人。特别是，其他被忽视的属性，如触觉敏锐度，压力敏感度，空间能力或语言智商已被证明与特定的移动需求和参数化相匹配。
2014-02-05 cs.HC
Dark Haptics: Exploring Manipulative Haptic Design in Mobile User Interfaces
本文首次提出“暗黑触觉”概念，通过实证研究展示移动界面中操纵性触觉反馈能促使用户放弃隐私，为后续减轻其危害的研究奠定基础。
2025-04-11 cs.HC
Accessibility Recommendations for Designing Better Mobile Application User Interfaces for Seniors
针对老年人移动应用可访问性不足的问题，通过两次焦点小组研究（共38名老年人）得出用户画像，开发模型驱动工具集生成适配原型并验证，最终提出细化画像与可访问性建议以助力包容性设计。
2025-04-17 cs.HC cs.SE
HORUS: A Mixed Reality Interface for Managing Teams of Mobile Robots
DIBRIS Department, RICE Laboratory, University of Genoa（DIBRIS部门、RICE实验室、热那亚大学）
提出混合现实界面HORUS，通过Mini-Map和多种遥操作模式实现多机器人团队监控与任务分配，用户研究验证其在搜索救援任务中的协调有效性。
2026-06-05 cs.HC cs.RO
Mobile Fitting Room: On-device Virtual Try-on via Diffusion Models
Georgia Tech（佐治亚理工学院）
针对时尚电商虚拟试穿在移动端与隐私上的挑战，本文提出首个设备端扩散模型虚拟试穿系统，通过新颖技术流程与界面设计实现隐私保护与用户定制。
2024-02-02 cs.AI cs.HC cs.LG
InsightEdu: Mobile Discord Bot Management and Analytics for Educators
Technical University of Munich（慕尼黑工业大学）
InsightEdu是一款专为教育者设计的移动Discord机器人管理工具，通过触控界面提升教学互动效率
2026-01-29 cs.HC
Automatic code generation from sketches of mobile applications in end-user development using Deep Learning
Federal University of Santa Catarina（圣卡塔琳娜联邦大学）
终端用户或计算教育中的移动应用程序开发的一个常见需求是使用App Inventor（一种流行的基于块的编程环境）将用户界面的草图转换为线框代码。由于这项任务具有挑战性且耗时，我们提出了Sketch 2aia方法来自动化这一过程。Sketch 2aia采用深度学习来检测最常见的用户界面组件及其在手绘草图上的位置，创建用户界面的中间表示，然后自动生成线框的App Inventor代码。该方法实现了平均用户界面组件分类准确率为87，72%，初步用户评估的结果表明，它生成的线框，密切反映的草图在视觉相似性。该方法已被实现为一个Web工具，并可用于支持最终用户的移动应用程序的开发，有效和高效地以及在K-12的用户界面设计的教学。
2021-03-09 cs.AI cs.HC cs.SE
Mobile Augmented Reality: User Interfaces, Frameworks, and Intelligence
University of Oulu（奥卢大学）；The Hong Kong University of Science and Technology（香港科技大学）；KAIST（韩国科学技术院）；University of Helsinki（赫尔辛基大学）；Norwegian University of Science and Technology（挪威科技大学）
移动增强现实（MAR）将计算机生成的虚拟对象与移动设备的物理环境相集成。MAR系统使用户能够与MAR设备（如智能手机和头戴式可穿戴设备）进行交互，并执行从物理世界到具有数字实体的混合世界的无缝过渡。这些MAR系统通过使用MAR设备提供对数字内容的通用可访问性来支持用户体验。在过去的20年中，许多MAR系统已经开发出来，但尚未从以用户为中心的设计角度对MAR框架的研究和设计进行系统的回顾。本文介绍了调查现有MAR框架的第一次努力（count：37）并通过自上而下的方法进一步讨论了关于MAR的最新研究：1）MAR应用; 2）自适应于用户移动性和上下文的MAR可视化技术; 3）MAR框架的系统评估，包括支持的平台和相应的特征，例如跟踪、特征提取加上感测能力;以及4）支持MAR系统内的智能操作的底层机器学习方法。最后，我们总结了新兴研究领域的发展，目前的最先进的，并讨论了重要的开放挑战和可能的理论和技术方向。这项调查旨在使研究人员和MAR系统开发人员都受益。
2021-06-16 cs.AI cs.CV cs.CY
Better Situational Awareness in AR-HRC? A Comparative Study of Augmented Reality and Mobile Interfaces for Human-Robot Collaboration
Duke University（杜克大学）；Lancaster University（兰卡斯特大学）
本研究通过30人实验对比AR与移动界面，发现AR仅提升机器人感知层面意识，未增强高层机器人或环境意识，为安全关键型AR-HRC界面设计提供了注意力机制层面的依据。
2026-10-15 cs.HC
MUIAnno: An Expert-Annotated Dataset and Evaluation Benchmark for Mobile UI Understanding
King Fahd University of Petroleum and Minerals（国王法赫德石油与矿产大学）；SDAIA–KFUPM Joint Research Center for Artificial Intelligence, King Fahd University of Petroleum and Minerals（沙特数据与人工智能局-国王法赫德石油与矿产大学人工智能联合研究中心）
本文提出MUIAnno，一个公开的专家标注数据集，用于移动UI理解，通过收集多个类别的应用，提供高质量的UI标注，支持未来研究。
2026-05-17 cs.HC
Characterising divergence between heuristic and language-model ratings of mobile user interface quality
Metropolitan University（大都会大学）
本文利用RICO数据集构建评估语料库，通过启发式基线与多语言模型对比，系统检验LLM在移动UI质量评估中的可靠性，并归纳失败分类及架构解释。
2026-11-11 cs.CL cs.HC cs.SE
Screen2Words: Automatic Mobile UI Summarization with Multimodal Learning
University of Toronto（多伦多大学）；Google Research（谷歌研究院）
移动用户界面摘要生成移动屏幕的简洁语言描述，用于传达屏幕的重要内容和功能，这对于许多基于语言的应用场景都很有用。我们提出了Screen2Words，一种新的屏幕摘要方法，自动封装到一个连贯的语言短语的UI屏幕的基本信息。总结移动屏幕需要全面理解移动UI的多模态数据，包括文本，图像，结构以及UI语义，从而激发我们的多模态学习方法。我们收集并分析了由人类工作人员注释的大规模屏幕摘要数据集。我们的数据集包含超过112k的语言摘要，跨越$\sim$ 22k个独特的UI屏幕。然后，我们用一组具有不同配置的深度模型进行实验。我们对这些模型的自动准确性指标和人工评级的评估表明，我们的方法可以为移动屏幕生成高质量的摘要。我们展示了Screen2Words的潜在用例，并开源了我们的数据集和模型，为进一步桥接语言和用户界面奠定了基础。
2021-08-07 cs.AI cs.HC cs.LG
Exploring the Effect of Viewing Attributes of Mobile AR Interfaces on Remote Collaborative and Competitive Tasks
University of British Columbia（不列颠哥伦比亚大学）
本文研究了移动AR界面中目标观看角度、同步方式和辅助小屏幕等观看属性对远程协作与竞争任务的影响，提出五种技术并通过用户研究证明，允许在小屏幕上异步观看对象操作的技术能实现最佳表现和用户偏好，为MAR远程任务设计提供了新方案与建议。
2025-11-03 cs.HC
GPTVoiceTasker: Advancing Multi-step Mobile Task Efficiency Through Dynamic Interface Exploration and Learning
针对现有移动虚拟助手效率低、意图理解差的问题，研究提出基于LLMs的GPTVoiceTasker，可智能解读指令、执行交互并从历史指令学习自动化，实验证实其指令解读与自动化能力优异，真实场景任务效率提升34.85%且已开源。
2024-08-14 cs.HC
An Overview of Mobile Capacitive Touch Technologies Trends
触摸感应作为一种主要的人机界面，广泛应用于智能手表、手机、平板电脑和电视等各种商用产品中。现有技术的触摸检测主要基于互电容感测，其需要必要的接触触摸，限制了移动用户体验。近年来，远程手势感知技术因其能够为移动界面提供额外的用户体验而受到学术界和工业界的广泛关注。电容式手势遥感主要基于自电容检测，通过消除寄生互电容实现高分辨率。在这项工作中，我们概述了不同代的触摸屏技术，比较触摸和远程手势传感技术的差异。此外，还比较了不同的远程手势传感技术。最后对各种拓扑结构的局限性和潜力进行了讨论，并对未来的技术发展趋势进行了总结。
2016-12-25 cs.ET cs.HC
Enhancing Flexibility and Adaptability in Conjoined Human-Robot Industrial Tasks with a Minimalist Physical Interface
Istituto Italiano di Tecnologia（意大利技术研究院）
本文提出了一种物理接口的协作移动机械手在工业制造和物流应用。拟议的工作建立在我们早期的MOCA-MAN接口，通过该接口，操作员可以物理耦合到移动机械手，以协助执行日常活动。之前的界面是基于连接到用户一只手臂上的磁性夹具进行耦合，以及基于另一只手臂上的EMG传感器的手镯，用于通过手势进行人机通信。新的界面提供了以下补充：i）类似工业的设计，允许工人轻松耦合/解耦并在本地操作移动机械手; ii）通过简单的按钮板提供简单的通信通道，允许仅用一只手控制机器人; iii）界面提供增强的本地操作能力，不会影响工人的移动性。此外，与六个人类受试者的实验评估进行分析，以增强运动和灵活性的建议接口的流动性约束，可用性和物理负载减少。
2023-01-19 cs.HC cs.RO
Towards Augmented Reality-driven Human-City Interaction: Current Research on Mobile Headsets and Future Challenges
增强现实（AR）的交互设计越来越受到学术界和工业界的关注。该调查讨论了260篇文章（占2015 - 2019年间发表文章的68.8%），以回顾互联城市中的人类互动领域，重点是增强现实驱动的互动。我们提供了一个人与城市的互动和相关的技术方法的概述，其次是信息可视化的最新趋势的审查，约束界面，并体现在AR耳机的互动。我们强调了界面设计和输入技术中值得进一步研究的问题，并推测具有互补会话用户界面（CUI）的AR是智能城市中与沉浸式系统进行无处不在交互的关键推动因素。我们的工作有助于研究人员了解AR在人与城市互动中的当前潜力和未来需求。
2021-05-25 cs.HC
A wireless hand-held platform for robotic behavior control
自主机器人平台中对可定制属性的需求，例如老年人的家庭护理和人机控制界面的并行实现，创造了一个机会来引入部署在托管代码中运行机器人命令应用程序的常用移动设备的方法。本文将讨论一个人机界面，并演示了一个原型组成的移动终端运行可配置的应用程序与移动机器人通信使用托管，类型安全的语言，C#.NET，通过蓝牙。
2014-09-08 cs.HC cs.RO
On the Usability (In)Security of In-App Browsing Interfaces in Mobile Apps
由于在各种应用场景中频繁遇到web URL（例如，聊天和电子邮件阅读），许多移动应用构建其应用内浏览界面（IABI）以提供无缝的用户体验。虽然这通过避免主题应用程序和系统内置浏览器应用程序之间的不断切换实现了用户友好性，但我们发现，如果没有良好的设计或定制，IABI可能会导致可用性安全风险。在本文中，我们对Android和iOS应用程序中应用内浏览界面的可用性（不）安全性进行了首次实证研究。具体来说，我们从包含IABI的五个常见应用程序类别（包括Facebook和Gmail）中收集了25个知名移动应用程序的数据集，并进行了系统分析（但不是最终用户研究），其中包括八个精心设计的安全测试，并涵盖了打开，显示和导航应用程序内网页的整个过程。在这个过程中，我们得到了三个主要的安全发现：（1）大约30%的测试应用无法提供足够的URL信息，让用户在打开URL时做出明智的决定;（2）几乎所有的自定义IABI都存在各种问题，无法提供足够的指示器来忠实地向用户显示应用内页面，而基于Chrome自定义标签和SFSafariViewController的十个IABI通常是安全的;以及（3）只有少数IABI会发出警告，提醒用户在导航（可能是网络钓鱼）登录页面期间输入密码的风险。大多数开发人员已经承认了我们的发现，但他们修复可用性问题的意愿和准备程度与修复技术漏洞相比相当低，这是可用性安全研究中的一个难题。…
2022-09-04 cs.CR cs.HC
Human-Following and -guiding in Crowded Environments using Semantic Deep-Reinforcement-Learning for Mobile Service Robots
Berlin Institute of Technology（柏林工业大学）
辅助机器人在物流、人力辅助等各个行业都得到了广泛的关注。在诸如机场或训练站的拥挤环境中引导或跟随人搬运重物或货物的任务仍然是一个公开的问题。在这些用例中，机器人不仅需要与人类进行智能交互，还需要在人群中安全导航。因此，特别是高度动态的环境由于人类的易变行为模式和不可预测的运动而构成了巨大的挑战。在本文中，我们提出了一种基于深度强化学习的智能体，用于在拥挤的环境中执行人类引导和跟随任务。因此，我们将语义信息提供给代理人的高级信息，如人类的社会状态，安全模型和类类型。我们评估我们提出的方法对基准方法没有语义信息，并证明了增强的导航安全性和鲁棒性。此外，我们证明了智能体可以学习适应人类的行为，这大大提高了人机交互。
2022-06-12 cs.HC cs.RO
User interface design for military AR applications
为军事态势感知设计一个用户界面对以有用和可用的方式管理信息提出了挑战。我们提出了一套集成的功能，用于军事应用的移动增强现实应用程序的信息的呈现和交互。我们的研究集中在四个方面。我们根据与用户的相关性（进而根据位置）过滤信息，评估用于呈现代表从用户视图中遮挡的实体的信息的方法，通过类似于当前军事中使用的技术的自上而下的地图视图隐喻实现交互，并促进与其他移动用户和/或指挥中心的协作。此外，我们改进了用户界面架构，以符合主题专家的要求。我们讨论了在我们的工作和未来的研究方向的经验教训。
2019-04-21 cs.HC
Optimizing User Interface Layouts via Gradient Descent
自动化部分用户界面（UI）设计过程一直是一个长期的挑战。我们提出了一种自动化的技术，用于优化移动UI的布局。我们的方法使用梯度下降的神经网络模型的任务性能相对于模型的输入进行布局修改，从而提高预测的出错率和任务完成时间。我们首先通过扩展先前的工作神经网络为基础的性能预测2维移动用户界面与扩展的交互空间。然后，我们将我们的方法应用于两个UI，包括一个模型没有经过训练的UI，以发现具有显著改善的预测性能的布局替代方案。最后，我们通过实验证实了这些预测，优化布局的效果提高了9.2%。这证明了该算法在提高布局的任务性能方面的有效性，以及其概括和改进新界面布局的能力。
2020-02-25 cs.HC
AppAgent v2: Advanced Agent for Flexible Mobile Interactions
University of Technology Sydney（悉尼技术大学）；Tencent（腾讯）；Beijing Jiaotong University（北京交通大学）；Westlake University（西湖大学）
本文提出AppAgent v2，一种基于LLM的移动设备多模态智能体框架，通过构建灵活动作空间与探索部署双阶段机制，结合RAG技术实现跨应用复杂任务的高效准确执行。
2025-09-17 cs.AI cs.HC
Comparative Evaluation of an XR Pen-based Control Interface for Semi-Autonomous Mobile Robot Navigation in Service Environments
Université catholique de Louvain (UCLouvain)（鲁汶大学）；Ritsumeikan University（立命馆大学）
本研究提出并比较了基于XR笔、运动控制器、手势及计算机基线的四种半自主移动机器人导航控制界面，实验表明XR笔选择时间最优，运动控制器感知负荷与可用性最佳，支持XR控制作为新手用户的直观替代方案。
2026-09-28 cs.HC cs.RO
Multi-face emotion detection for effective Human-Robot Interaction
CESI LINEACT
针对人机交互中情绪感知的需求，研究提出集成于移动人形机器人的多人脸情绪检测界面，经评估多类深度神经网络模型并权衡准确率与内存占用，实现了多人情绪实时展示功能。
2025-01-13 cs.AI cs.CV cs.HC
Edhibou: a Customizable Interface for Decision Support in a Semantic Portal
随着所需技术的成熟，语义Web正变得越来越现实。然而，在现阶段，重要的是提供便利最终用户使用和部署这些技术的工具。在本文中，我们描述了EdHibou，一个自动生成的，基于本体的图形用户界面，集成在一个语义门户。EdHibou的特殊性在于它利用OWL推理能力在底层本体上提供智能功能，如决策支持。我们基于OWL中临床指南的形式化，介绍了EdHibou在医疗决策支持中的应用，并展示了如何利用图形组件本体对其进行定制。
2008-11-03 cs.AI cs.HC
Reactive Semantics for User Interface Description Languages
本文针对用户界面描述语言形式化验证不足的问题，为核心响应式UIDL Smalite提出指称语义模型，为构建形式化验证的UIDL编译器奠定基础。
2025-08-19 cs.HC cs.PL cs.SE
