VisiMark: Characterizing and Augmenting Landmarks for People with Low Vision in Augmented Reality to Support Indoor Navigation
本文通过形成性研究理解低视力人群的地标选择困难，设计并评估AR界面VisiMark，以空间概览和原地增强帮助其感知更有意义的认知地标。
2025-02-14 cs.HC
Augmenting Teleportation in Virtual Reality With Discrete Rotation Angles
运动是虚拟现实（VR）中最基本的交互任务之一，在撰写本文时，远距传送被广泛接受为最先进的运动技术。远距传送的一个主要缺点是伴随的物理旋转，这是在远距传送之前或之后调整用户方向所必需的。这是用于系留式盔装显示器（HMD）和静态身体姿势的限制因素，并且由于缺少视差提示，对于具有三个自由度（DOF）的HMD，可能引起额外的模拟器不适。为了避免物理旋转，以前的工作提出了离散旋转在固定的时间间隔（InPlace）作为一种基于生物的技术与低模拟器病，但不同的时间间隔对空间定向障碍，用户的存在和性能的影响仍有待探讨。在商业VR游戏中发现的一种未评估的技术是在传送过程中重新定向（TeleTurn），这可以防止物理旋转，但由于其连续的方向选择，可能会增加交互时间。在一项探索性用户研究中，参与者可以自由地应用这两种技术，我们评估了旋转参数对用户性能和偏好的影响。我们的结果表明，离散的原地旋转不会引起显着的空间迷失方向，而用户在场评分则有所增加。离散远距转弯和无旋转远距传送的排名更高，并且比连续远距转弯获得了更高的存在分数，这是目前VR游戏中最先进的技术。根据观察，参与者避免TeleTurn旋转时，离散原地旋转可用，我们提炼的指导方针，设计无物理旋转的隐形传态。
2021-06-08 cs.HC
HoloBots: Augmenting Holographic Telepresence with Mobile Robots for Tangible Remote Collaboration in Mixed Reality
University of Tsukuba（筑波大学）；University of Calgary（卡尔加里大学）
本文提出HoloBots系统，通过同步全息用户运动与桌面移动机器人，实现混合现实中的有形远程协作，显著提升了用户的共存感和共享体验。
2023-07-30 cs.HC cs.RO
From 2D Document Interactions into Immersive Information Experience: An Example-Based Design by Augmenting Content, Spatializing Placement, Enriching Long-Term Interactions, and Simplifying Content Creations
本研究针对平面界面下文档处理的认知局限，提出利用 VR、MR、语音助手和生成式 AI 等新兴技术，通过增强内容、空间化放置、丰富长期交互与简化创作，将 2D 文档交互转化为沉浸式信息体验。
2024-11-17 cs.HC
Augmenting Heritage: An Open-Source Multiplatform AR Application
本文针对增强现实平台需安装专有应用限制全球可用性的问题，提出一种基于网站开源嵌入式解决方案的低成本移动AR流程，用于可视化扫描的博物馆文物。
2023-09-28 cs.HC cs.MM
Dynamic X-Ray Vision in Mixed Reality
X射线视觉是一种允许用户看穿墙壁和其他障碍物的技术，是增强现实（AR）和混合现实（MR）的流行技术。在本文中，我们展示了一个动态的X射线视觉窗口，实时渲染的基础上，用户的当前位置，并在物理环境中的移动而变化。此外，窗口的位置和透明度也基于用户的眼睛注视动态地呈现。我们为当前最先进的MR头戴式设备（HMD）- HoloLens 2构建了这个X射线视觉窗口，集成了几个不同的功能：场景理解，眼动追踪和剪切原语。
2022-09-15 cs.HC
Towards Immersive Virtual Reality Simulations of Bionic Vision
仿生视觉是一个快速发展的领域，旨在开发视觉神经假体（“仿生眼”），以恢复盲人的有用视力。然而，一个主要的突出挑战是预测人们在使用他们的设备时“看到”什么。当前设备的有限视野需要头部运动来扫描场景，这在计算机屏幕上很难模拟。此外，许多仿生视觉的计算模型缺乏生物真实感。为了解决这些挑战，我们建议在沉浸式虚拟现实（VR）中嵌入模拟假肢视觉（SPV）的生物现实模型，以便有视力的受试者可以在现实世界的任务中充当“虚拟患者”。
2021-02-21 cs.HC
Immersive Virtual Reality Simulations of Bionic Vision
仿生视觉使用神经假体来恢复患有不可治愈的失明的人的有用视力。然而，一个主要的突出挑战是预测人们在使用他们的设备时“看到”什么。当前设备的有限视野需要头部运动来扫描场景，这在计算机屏幕上很难模拟。此外，许多仿生视觉的计算模型缺乏生物真实感。为了解决这些挑战，我们提出了VR-SPV，一个开源的虚拟现实工具箱，用于模拟假肢视觉，使用心理学验证的计算模型，让有视力的参与者“通过眼睛看到”的仿生眼用户。为了证明其效用，我们系统地评估了临床报告的视觉失真如何影响字母识别和沉浸式避障任务中的性能。我们的研究结果强调了使用适当的光幻视模型预测仿生视觉的视觉效果时的重要性。
2022-03-09 cs.HC
WeldAR: Augmenting Live Hands-On Training with In-Situ Guidance for Novice Learners
Carnegie Mellon University（卡内基梅隆大学）；School of Design, Carnegie Mellon University（卡内基梅隆大学设计学院）
WeldAR通过实时AR指导提升初学者焊接技能，实验证实其在提升移动速度和工作角度方面有效。
2026-03-09 cs.HC
Preprint Touch-less Interactive Augmented Reality Game on Vision Based Wearable Device
这是我们关于个人和普适计算的论文的预印本。基于新兴的交互技术创建普及游戏的兴趣越来越大。为了在基于视觉的可穿戴设备上开发无接触、交互式和增强现实游戏，设计了一种无接触的运动交互技术。用户在摄像机前通过动态的手/脚手势与增强现实游戏进行交互，从而触发交互事件与场景中的虚拟对象进行交互。基于所提出的非接触交互技术，开发了三款具有11种动态手势的原始增强现实游戏。最后，提出了一个比较评估，以证明社会的可接受性和可用性的非接触的方法，运行在一个混合的可穿戴框架或与谷歌眼镜，以及工作量评估，用户的情绪和满意度。
2015-09-07 cs.HC
VisionPulse: A Virtual Reality System Enabling Accessible Discovery and Navigation for Blind and Low Vision Users
Arizona State University（亚利桑那州立大学）
研究针对盲人和低视力用户在VR中自由探索受限的问题，提出VisionPulse系统，让用户通过自然动作和多模态反馈探索虚拟环境，经实验验证该系统受用户青睐，为包容性VR设计提供了参考。
2026-07-27 cs.HC
What to Distinguish and How? Opportunities and Challenges of Augmenting Multiple, Cluttered Objects in Complex Scenes for People with Low Vision
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Washington（华盛顿大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
研究针对低视力人群在复杂场景中难以感知多物体的问题，构建可穿戴AR系统SceneGlance按重要性区分物体，经实验发现能转移其注意力并支持相关感知策略，但存在权衡，还揭示了复杂场景中AR增强的挑战及设计启示。
2026-10-08 cs.HC
Guided Reality: Generating Visually-Enriched AR Task Guidance with LLMs and Vision Models
本文提出Guided Reality，一个全自动AR系统，利用LLMs和视觉模型生成嵌入式动态视觉引导，通过五类视觉引导策略和用户研究（N=16）验证其提升任务执行与培训效果。
2025-09-24 cs.HC
Simulating Vision Impairment in Virtual Reality -- A Comparison of Visual Task Performance with Real and Simulated Tunnel Vision
本研究通过VR眼动追踪模拟隧道视觉，对比真实视网膜色素变性患者与模拟者在视觉任务中的表现，发现任务表现等价但注视行为存在差异，验证了VR模拟用于群体层面研究的可行性及其局限。
2023-12-05 cs.HC
Orientation and mobility test in virtual reality, a tool for quantitative assessment of functional vision: dataset and evaluation in healthy subjects
本研究开发并评估了新型虚拟现实坐姿定向与移动（VR-S-O&M）测试方案，提供健康受试者（N=42）的数据集及初步分析，验证其生态有效性，为功能性视力评估提供更精细指标和提升生活质量创造机遇。
2025-04-18 cs.HC
The World According to a Social Robot -- Augmenting Human-Robot Dialogue With Vision Language Models
Institute of Information Systems, University of Lübeck（信息系统研究所，吕贝克大学）
研究探讨如何用视觉语言模型增强人机对话，通过将米斯特拉尔人工智能语言模型与胡椒机器人结合用于人机交互对话，并研究视觉信息对响应时间的影响，发现纳入视觉信息可增添对话背景，且使用欧洲托管的语言模型便于实际应用。
2026-07-21 cs.HC cs.RO
Head, Gaze, or Finger? Comparing Object Selection Techniques in Augmented Reality for People with Low Vision
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Rochester（罗切斯特大学）
研究低视力人群在增强现实中对象选择技术，通过混合方法研究，让20名低视力者和18名视力正常者用头部、注视、手指指向三种技术在两种场景选目标，发现不同技术优劣势及低视力者偏好，为其可访问AR交互技术提供见解。
2026-07-09 cs.HC
NavSight in the Wild: Understanding Real-World Use of a Mobile Augmented Reality Application for People with Low Vision in Outdoor Navigation
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文通过7天日记研究，探究移动AR应用NavSight在12名低视力人群户外导航中的真实使用情况，明确其效果、挑战及设计启示，为相关辅助AR系统提供依据。
2026-10-30 cs.HC
The Relative Importance of Depth Cues and Semantic Edges for Indoor Mobility Using Simulated Prosthetic Vision in Immersive Virtual Reality
该研究在沉浸式VR中用模拟假体视觉模型测试深度线索与语义边缘对室内移动的作用，发现深度线索更利于避障，约半数用户偏好模式灵活切换，为优化仿生眼视觉功能提供依据。
2022-10-07 cs.HC
Using virtual reality to enhance mobility, safety, and equity for persons with vision loss in urban environments
本研究探索虚拟现实（VR）作为创新工具，通过与纽约市交通局合作开发的VR工作坊，让城市规划师等参与者体验视力障碍模拟及移动挑战，显著提升其认知与应对信心，证明VR在促进包容性城市设计中的有效性。
2024-11-25 cs.HC
Penetration Vision through Virtual Reality Headsets: Identifying 360-degree Videos from Head Movements
本研究发现VR头显用户的头部运动可被利用为侧信道，提出INTRUDE系统通过提取头部运动轨迹并与视频显著性指纹匹配，能以超96%的准确率识别用户观看的360度视频，且在多场景下均有效。
2024-03-08 cs.HC
"The Guide Has Your Back": Exploring How Sighted Guides Can Enhance Accessibility in Social Virtual Reality for Blind and Low Vision People
本研究针对社交VR中盲人和低视力用户的可及性障碍，基于实体明眼向导模式设计辅助框架，经16名用户测试发现偏好多元，提出动态调整环境等新方向，开辟VR可及性设计新空间。
2024-10-29 cs.HC
PunchPulse: A Physically Demanding Virtual Reality Boxing Game Designed with, for and by Blind and Low-Vision Players
本研究提出PunchPulse，一款与盲人和低视力玩家共同设计的VR拳击运动游戏，通过多阶段迭代评估，证明其能有效帮助该群体达到中等至剧烈运动强度，并促进包容性身体活动。
2025-08-04 cs.HC
Augmenting Teamwork through AI Agents as Spatial Collaborators
本文提出 AR 中的空间感知 AI 智能体应作为适应性队友，实时识别团队需求并动态生成协作资源，以情境驱动干预提升团队绩效与决策。
2025-03-12 cs.HC
Comparing Pass-Through Quality of Mixed Reality Devices: A User Experience Study During Real-World Tasks
本研究通过31名用户在阅读和拼图任务中的体验，比较了Apple Vision Pro、Meta Quest 3和Varjo XR3的透视质量，发现Apple Vision Pro在工作负荷和晕屏症方面表现最佳。
2025-02-10 cs.HC
Gaze-Vergence-Controlled See-Through Vision in Augmented Reality
Beihang University（北京航空航天大学）；Peng Cheng Laboratory（鹏城实验室）
增强现实（AR）透视视觉是一个有趣的研究课题，因为它使用户能够透过墙壁看到被遮挡的物体。现有的研究大多集中在透视视觉的视觉效果上，而交互方法的研究较少。然而，我们认为，使用共同的互动方式，例如，空中点击和语音，可能不是控制透视视觉的最佳方式。这是因为当我们想要看穿某物时，它与我们的凝视深度/聚散度有物理关系，因此应该由眼睛自然控制。基于这一思想，本文提出了一种新的凝视-聚散度控制（GVC）透视视觉技术。由于需要注视深度，我们用两个红外摄像头和相应的算法构建了一个注视跟踪模块，并组装到微软HoloLens 2中，实现注视深度估计。然后，我们提出了两种不同的GVC模式的透视视觉，以适应不同的情况。大量的实验结果表明，我们的凝视深度估计是有效和准确的。通过与传统的交互方式相比，我们的GVC技术也被证明是优越的效率和更受用户的青睐。最后，我们提出了四个例子的应用程序的凝视聚散度控制透视视觉。
2022-07-06 cs.CV cs.HC
Extended Reality for Knowledge Work in Everyday Environments
虚拟和增强现实有可能改变信息工作。通过将便携式盔装显示器与键盘和平板电脑等传统交互设备相结合，改变员工感官的能力可以将日常环境转变为高效的办公室。虽然近年来为消费者推出了一系列更好、更便宜、更轻的头戴式显示器，但要让这一愿景成为现实，仍有许多挑战需要解决。本章总结了延展实境在日常环境中的知识工作领域的最新技术，并提出了解决开放性挑战的步骤。
2021-11-06 cs.HC
Smart Glasses for CVI: Co-Designing Extended Reality Solutions to Support Environmental Perception by People with Cerebral Visual Impairment
本文通过双钻石框架下的共同设计研究，探索智能眼镜如何帮助CVI患者改善环境感知，验证其在物体定位、文本阅读、人脸识别、对话参与和感官压力管理方面的有效性。
2025-07-17 cs.HC
PeriphAR: Fast and Accurate Real-World Object Selection with Peripheral Augmented Reality Displays
University of Michigan（密歇根大学）
本文提出PeriphAR技术，利用边缘视觉提升 gaze-based 选择的准确性，通过对比颜色、形状等属性，优化边缘视觉中的颜色对比度，提升现实世界物体检测性能。
2026-03-18 cs.HC
Augmented Reality and Robotics: A Survey and Taxonomy for AR-enhanced Human-Robot Interaction and Robotic Interfaces
University of Calgary（卡尔加里大学）；University College London（伦敦大学学院）
本文基于对460篇研究论文的调查，对增强现实和机器人技术进行了分类。增强和混合现实（AR/MR）已经成为增强人机交互（HRI）和机器人接口（例如，致动的和形状改变的界面）。最近，越来越多的HCI、HRI和机器人研究已经证明了AR如何实现人与机器人之间更好的交互。然而，研究往往仍然集中在个人的探索和关键的设计策略，研究问题很少进行系统的分析。在本文中，我们综合和分类这一研究领域在以下方面：1）增强现实的方法; 2）机器人的特点; 3）目的和好处; 4）分类的信息; 5）设计组件和策略的视觉增强; 6）交互技术和方式; 7）应用领域;和8）评估策略。我们制定了关键的挑战和机遇，以指导和通知未来的研究在AR和机器人。
2022-03-07 cs.CV cs.HC cs.RO
AEGIS: A real-time multimodal augmented reality computer vision based system to assist facial expression recognition for individuals with autism spectrum disorder
University of Waterloo（滑铁卢大学）；Vision and Image Processing Lab（视觉与图像处理实验室）
对于大多数人来说，解释社交线索的能力是自然的，但对于那些患有自闭症谱系障碍（ASD）的人来说，有些人在这方面存在缺陷。本文介绍了一种多模式增强现实（AR）系统的开发，该系统结合了计算机视觉和深度卷积神经网络（CNN）的使用，以帮助个人在社交环境中检测和解释面部表情。我们称之为AEGIS（增强现实表情引导解释系统）的拟议系统是一种辅助技术，可部署在各种用户设备上，包括平板电脑，智能手机，视频会议系统或智能眼镜，展示其极端的灵活性和广泛的用例，以轻松融入日常生活。给定一个流式视频摄像机源，每个真实世界的帧都被传递到AEGIS中，处理为面部边界框，然后输入到我们的新型深度卷积时间窗神经网络（TimeConvNet）中。我们利用空间和时间信息来提供准确的表情预测，然后将其转换为相应的可视化并绘制在原始视频帧上。该系统实时的【形】运行，需要最少的设置，并且使用简单。通过使用AEGIS，我们可以帮助ASD患者学习更好地识别表情，从而改善他们的社交体验。
2020-10-22 cs.CV cs.HC
HarassGuard: Detecting Harassment Behaviors in Social Virtual Reality with Vision-Language Models
Kwangwoon University（光云大学）；ETRI（韩国电子通信研究院）；Chungbuk National University（忠北大学）
本文提出HarassGuard系统，通过视觉输入检测社交VR中的身体骚扰行为，利用提示工程和微调VLMs，在不使用敏感生物数据的情况下实现高准确率的骚扰检测。
2026-04-01 cs.CV cs.HC
AI Assisted AR Assembly: Object Recognition and Computer Vision for Augmented Reality Assisted Assembly
Massachusetts Institute of Technology（麻省理工学院）；Cornell University（康奈尔大学）
针对装配前需手动整理组件的问题，提出结合深度学习目标识别的AI辅助AR装配工作流，可实时定位组件并显示分步指引，通过乐高装配案例验证了方案可行性。
2025-11-13 cs.AI cs.CV cs.HC
RASSAR: Room Accessibility and Safety Scanning in Augmented Reality
本研究推出移动AR应用RASSAR，结合LiDAR与实时计算机视觉半自动识别室内可达性和安全问题，通过三项研究验证其设计合理性与最优性能，为相关AI工具发展提供参考。
2024-04-11 cs.HC
EnVisionVR: A Scene Interpretation Tool for Visual Accessibility in Virtual Reality
本文提出EnVisionVR，一种利用视觉语言模型、语音输入和多模态反馈的VR场景解读无障碍工具，经12名BLV用户评估显著提升了虚拟对象定位与交互能力。
2025-02-05 cs.HC
TouchScribe: Augmenting Non-Visual Hand-Object Interactions with Automated Live Visual Descriptions
University of Michigan（密歇根大学）
TouchScribe通过自动化实时视觉描述增强手-物体交互，帮助视障人士更准确地理解物体特征。
2026-02-08 cs.HC
Indicating Robot Vision Capabilities with Augmented Reality
通过增强现实指示器提升人机协作中对机器人视觉能力的理解
2026-03-05 cs.HC cs.RO
Understanding the Use of a Large Language Model-Powered Guide to Make Virtual Reality Accessible for Blind and Low Vision People
Cornell University（康奈尔大学）
研究探讨了利用大型语言模型驱动的指南提升视障和低视力用户虚拟现实可访问性的问题，通过实验发现用户在不同情境下对指南的不同反应，提出未来设计建议。
2026-03-30 cs.AI cs.ET cs.HC
The Office of the Future: Virtual, Portable and Global
虚拟现实有可能改变我们的工作方式。我们设想，未来的办公室工作人员能够在任何地方仅使用便携式标准输入设备和沉浸式盔装显示器高效地工作。虚拟现实有可能实现这一点，它允许用户创建他们选择的工作环境，并使他们摆脱物理世界的限制，如有限的空间或嘈杂的环境。在这篇文章中，我们探讨了实现这一愿景的机遇和挑战，并讨论了最近发现的文本输入在虚拟现实作为一个核心的办公室任务的影响。
2018-12-05 cs.HC
Computational Trichromacy Reconstruction: Empowering the Color-Vision Deficient to Recognize Colors Using Augmented Reality
University of Rochester（罗切斯特大学）
本文提出一种基于增强现实的辅助技术，通过计算颜色空间变换帮助色觉缺陷者重建三维颜色感知，使其能准确识别颜色并解决颜色名称混淆。
2024-09-26 cs.CV cs.HC
ChromaCorrect: Prescription Correction in Virtual Reality Headsets through Perceptual Guidance
University of Leeds（利兹大学）；University College London（伦敦大学学院）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
当今世界人口的很大一部分患有视力障碍并佩戴处方眼镜。然而，当与增强和虚拟现实头戴式设备一起使用时，眼镜导致额外的体积和不适，从而负面地影响观看者的视觉体验。在这项工作中，我们补救处方眼镜在虚拟现实（VR）头戴式设备中的使用，通过将光学复杂性完全转移到软件中，并提出了一种处方感知渲染方法，用于提供更清晰和身临其境的VR图像。为此，我们开发了一个可区分的显示和视觉感知模型封装显示特定的参数，颜色和视觉敏锐度的人类视觉系统和用户特定的屈光不正。使用这个可微分的视觉感知模型，我们优化的渲染图像在显示器中使用随机梯度下降求解器。通过这种方式，我们为视力障碍人士提供了无需处方眼镜的更清晰图像。我们在各种显示器上评估了我们的方法，包括台式机和VR头显，并为视力障碍的用户展示了显着的质量和对比度改进。
2022-12-08 cs.GR cs.HC cs.LG
SIGMA: An Open-Source Interactive System for Mixed-Reality Task Assistance Research
Microsoft Research（微软研究院）；Microsoft（微软公司）
SIGMA是一个开源交互系统，结合混合现实设备与大型语言视觉模型，提供逐步任务指导，旨在降低研究门槛并推动社区驱动的端到端评估。
2024-05-16 cs.AI cs.HC
Berkeley Open Extended Reality Recordings 2023 (BOXRR-23): 4.7 Million Motion Capture Recordings from 105,852 Extended Reality Device Users
针对XR领域缺乏大规模人类动作数据集的问题，本文发布了BOXRR-23数据集，包含来自105,852名用户的470万条动作捕捉记录，规模远超现有数据集，并采用高效的XROR文件格式。
2023-09-30 cs.HC
LandmarkLens: Predicting and Presenting Effective Landmarks for Mixed-Reality Urban Exploration
The University of Tokyo（东京大学）
该研究针对方向感差人群空间导航困难问题，构建混合现实导航系统LandmarkLens，经实验验证其可提升方向感差者的场景识别性能，助力空间知识获取。
2026-09-01 cs.HC
ClickAIXR: On-Device Multimodal Vision-Language Interaction with Real-World Objects in Extended Reality
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
ClickAIXR通过设备端视觉-语言模型与基于控制器的对象选择方法，实现对现实世界对象的精确点击交互，提升隐私和延迟方面的可信度。
2026-04-06 cs.CV cs.GR cs.HC
Unleashing the Potentials of Immersive Augmented Reality for Software Engineering
在沉浸式增强现实（IAR）中，用户可以佩戴盔装显示器，以查看叠加到他们的世界视图中的计算机生成的图像。IAR被证明在几个领域都是有益的，例如，汽车，医药，游戏和工程，具有积极的影响，例如，协作和沟通。我们认为IAR在软件工程中有着巨大的潜力，但到目前为止，这一研究领域一直被忽视。在这篇展望论文中，我们引出了在软件工程中使用IAR的潜力和障碍。我们确定了可能的领域，可以支持IAR技术相关的IAR的改进，典型的软件工程任务。我们进一步展示了IAR技术的创新使用如何从根本上提高软件工程师的典型活动，通过一系列全面的使用场景概述了实际应用。最后，我们根据我们的场景和草图研究活动，使我们的愿景成为现实，反思当前IAR技术的局限性。我们认为这篇论文是相关的学术界和工业界一样，在指导步骤的创新研究和应用程序IAR在软件工程。
2020-01-05 cs.HC cs.SE
Towards Quality of Experience Determination for Video in Augmented Binocular Vision Scenarios
随着移动智能手机消费市场的持续增长以及增强现实可穿戴设备的日益增长，几种研究途径调查了移动用户感知的质量与正在发挥作用的交付机制之间的关系，以支持移动用户的高质量体验。在本文中，我们提出了第一项研究，评估手机电影质量和观众感知质量的关系，其在增强现实设置与透视设备。我们发现，参与者倾向于高估视频质量，并表现出依赖于电影内容及其动态的准确性的显着变化。因此，我们的研究结果，可以广泛地影响未来的媒体适应和交付机制，这种新的显示格式的移动多媒体。
2015-03-04 cs.HC cs.MM
TouchInsight: Uncertainty-aware Rapid Touch and Text Input for Mixed Reality from Egocentric Vision
Meta Reality Labs（元宇宙实验室）；ETH Zürich（苏黎世联邦理工学院）；Department of Computer Science（计算机科学系）
针对混合现实中头戴相机触摸输入检测不准的问题，提出TouchInsight实时流水线，用带不确定性建模的神经网络实现十指触摸精准检测，离线定位误差6.3mm，在线双手打字达37词/分钟、错误率2.9%。
2024-10-08 cs.CV cs.HC
Towards Semi-automatic Detection and Localization of Indoor Accessibility Issues using Mobile Depth Scanning and Computer Vision
University of Washington（华盛顿大学）
为了帮助改善室内空间的安全性和可达性，研究人员和卫生专业人员已经创建了评估工具，使房主和训练有素的专家能够审计和改善房屋。随着计算机视觉、增强现实（AR）和移动传感器的进步，新的方法现在成为可能。我们介绍RASSAR（增强现实中的房间无障碍和安全扫描），这是一种新的概念验证原型，用于使用LiDAR +相机数据，机器学习和AR半自动识别，分类和定位室内无障碍和安全问题。我们目前的RASSAR原型的概述和初步评估在一个单一的家庭。
2022-10-05 cs.CV cs.CY cs.HC
DiOS -- An Extended Reality Operating System for the Metaverse
在最近设备和网络功能的改进的推动下，延展实境（XR）正变得越来越普遍;工业界和学术界都在设想像虚拟世界这样雄心勃勃的项目。然而，XR仍然受到当前移动系统架构的限制。本文介绍了一种XR专用操作系统（XROS）。这种XROS集成了硬件支持、计算机视觉算法和XR专用网络，作为支持XR技术的原语。这些原语将物理-数字世界表示为应用程序之间的单个共享资源。这样的XROS允许开发一致的和系统范围的交互和显示方法，对传感器数据进行系统的隐私保护，并在简化应用程序开发的同时提高性能。
2022-01-10 cs.HC cs.MM cs.OS
Memento: Augmenting Personalized Memory via Practical Multimodal Wearable Sensing in Visual Search and Wayfinding Navigation
提出Memento框架，利用多模态可穿戴传感器检测认知状态并提供现场提示，在视觉搜索与寻路导航任务中显著提升短期回忆与降低认知负荷。
2025-04-28 cs.HC cs.MM
ORCESTRA: VLM-driven Visual Robot programming in Mixed Reality
Skolkovo Institute of Science and Technology（斯科尔科沃科技学院）；R&D Center, MWS（MWS研发中心）
ORCESTRA是一款混合现实系统，通过无代码路径点示教和语言引导控制实现机器人数字孪生编程，支持多种异构机器人，其混合现实验证可作为语言引导机器人物理部署前的安全层。
2026-08-04 cs.CV cs.HC cs.RO
Grounded GUI Understanding for Vision-Based Spatial Intelligent Agent: Exemplified by Extended Reality Apps
The Chinese University of Hong Kong（香港中文大学）；Harbin Institute of Technology（哈尔滨工业大学）；Southern University of Science and Technology（南方科技大学）；The Hong Kong University of Science and Technology（香港科学大学）
针对XR应用可交互GUI元素检测的现有方法适配难题，提出零样本上下文相关检测框架Orienter，经语义理解、候选检测、可交互性分类及反馈循环实现检测，效果优于现有方法。
2025-10-01 cs.AI cs.CV cs.HC
