VisiMark: Characterizing and Augmenting Landmarks for People with Low Vision in Augmented Reality to Support Indoor Navigation
本文通过形成性研究理解低视力人群的地标选择困难，设计并评估AR界面VisiMark，以空间概览和原地增强帮助其感知更有意义的认知地标。
2025-02-14 cs.HC
A Systematic Review of Extended Reality (XR) for Understanding and Augmenting Vision Loss
在过去的十年中，延展实境（XR）已经成为一种辅助技术，不仅可以增强失去视力的人的残余视力，还可以研究通过视觉神经假体恢复盲人的基本视力。为了充分利用这些新兴技术，及时了解这项研究的现状并确定存在的任何缺点是有价值的。在这里，我们对来自106个不同场所的227篇出版物进行了系统的文献综述，评估了XR技术在促进视觉无障碍方面的潜力。与其他评论相比，我们从多个科学学科中抽取研究样本，专注于增强一个人的剩余视力，并要求研究以适当的最终用户进行定量评估为特征。我们总结了来自不同XR研究领域的突出发现，展示了过去十年来景观的变化，并确定了文献中的科学空白。具体来说，我们强调需要进行真实世界的验证，扩大最终用户的参与，以及对不同的基于XR的辅助工具的适用性和可用性有更细致入微的理解。通过将最终用户的参与扩大到设计过程的早期阶段，并将重点从行为性能转移到可用性的定性评估，未来的研究有可能开发XR技术，不仅可以研究视力丧失，而且还可以实现新颖的视觉无障碍辅助工具，有可能影响数百万视力丧失患者的生活。
2022-11-04 cs.HC
JARVIS: A Just-in-Time Augmented Reality VLM-Powered Instruction System for Cross-Reality Task Guidance
the University of Hong Kong（香港大学）；University of California, Los Angeles（加州大学洛杉矶分校）；the University of Utah（犹他大学）
JARVIS通过视觉语言模型生成上下文相关的分步指导，实现实时状态验证和自适应视觉反馈，提升跨现实任务的可用性、工作负荷、成功率和可视化效果。
2026-05-17 cs.HC
Augmenting Teleportation in Virtual Reality With Discrete Rotation Angles
运动是虚拟现实（VR）中最基本的交互任务之一，在撰写本文时，远距传送被广泛接受为最先进的运动技术。远距传送的一个主要缺点是伴随的物理旋转，这是在远距传送之前或之后调整用户方向所必需的。这是用于系留式盔装显示器（HMD）和静态身体姿势的限制因素，并且由于缺少视差提示，对于具有三个自由度（DOF）的HMD，可能引起额外的模拟器不适。为了避免物理旋转，以前的工作提出了离散旋转在固定的时间间隔（InPlace）作为一种基于生物的技术与低模拟器病，但不同的时间间隔对空间定向障碍，用户的存在和性能的影响仍有待探讨。在商业VR游戏中发现的一种未评估的技术是在传送过程中重新定向（TeleTurn），这可以防止物理旋转，但由于其连续的方向选择，可能会增加交互时间。在一项探索性用户研究中，参与者可以自由地应用这两种技术，我们评估了旋转参数对用户性能和偏好的影响。我们的结果表明，离散的原地旋转不会引起显着的空间迷失方向，而用户在场评分则有所增加。离散远距转弯和无旋转远距传送的排名更高，并且比连续远距转弯获得了更高的存在分数，这是目前VR游戏中最先进的技术。根据观察，参与者避免TeleTurn旋转时，离散原地旋转可用，我们提炼的指导方针，设计无物理旋转的隐形传态。
2021-06-08 cs.HC
Visualizing Engineering Fundamentals: Design of Mixed Reality and Physical Toolkits for Effective Learning
The University of Texas at Arlington（阿灵顿得克萨斯大学）
本研究通过用户实验比较了课堂讲授、混合现实应用和物理工具包三种教学方式，发现结合可视化与动手交互的多模态体验最受学生欢迎，为工程教育工具的人本设计提供了指导。
2026-07-02 cs.HC
HoloBots: Augmenting Holographic Telepresence with Mobile Robots for Tangible Remote Collaboration in Mixed Reality
University of Tsukuba（筑波大学）；University of Calgary（卡尔加里大学）
本文提出HoloBots系统，通过同步全息用户运动与桌面移动机器人，实现混合现实中的有形远程协作，显著提升了用户的共存感和共享体验。
2023-07-30 cs.HC cs.RO
Post-Lecture Interactive Environments for Conceptual Learning: A Randomized Comparison of Mixed Reality and Tangible Instruction in Undergraduate STEM Education
The University of Texas at Arlington（阿灵顿得克萨斯大学）
研究本科固体力学课后互动环境对概念学习的作用，用随机比较法对比沉浸式混合现实应用、实体工程工具包与纯讲座教学，发现互动环境效果好，各有优势。
2026-07-07 cs.HC
CARING-AI: Towards Authoring Context-aware Augmented Reality INstruction through Generative Artificial Intelligence
针对AIGC缺乏上下文信息限制AR指令创作的问题，开发CARING-AI系统，利用GenAI生成融入时空上下文的人形化身动画指令，两项用户研究验证了其系统可用性与创作便捷性。
2025-01-27 cs.HC
PaperToPlace: Transforming Instruction Documents into Spatialized and Context-Aware Mixed Reality Experiences
针对纸质说明与物理环境缺乏连接、操作效率低的问题，研究提出包含创作与使用双管线的PaperToPlace工作流，可快速将纸质说明空间化为MR体验并智能放置步骤，实验验证了其可用性与效率优势。
2023-08-26 cs.HC
Augmenting Heritage: An Open-Source Multiplatform AR Application
本文针对增强现实平台需安装专有应用限制全球可用性的问题，提出一种基于网站开源嵌入式解决方案的低成本移动AR流程，用于可视化扫描的博物馆文物。
2023-09-28 cs.HC cs.MM
Evaluating Digital Work Instructions with Augmented Reality versus Paper-based Documents for Manual, Object-Specific Repair Tasks in a Case Study with Experienced Workers
本文针对涡轮叶片特定对象维修任务，提出结合数字工作说明与增强现实的认知辅助系统，并通过十名经验丰富金属工人的对比实验，证明其相较纸质流程可提速21%、降低26%主观负荷。
2023-06-06 cs.HC
BrickPal: Augmented Reality-based Assembly Instructions for Brick Models
针对传统积木拼装说明制作繁琐且缺乏交互的问题，本文提出增强现实系统BrickPal，利用NLP生成拼装序列并在AR头显中提供实时指导，实验证明其有效且序列可用性与人工调整相当。
2023-07-06 cs.AI cs.HC
Guided Reality: Generating Visually-Enriched AR Task Guidance with LLMs and Vision Models
本文提出Guided Reality，一个全自动AR系统，利用LLMs和视觉模型生成嵌入式动态视觉引导，通过五类视觉引导策略和用户研究（N=16）验证其提升任务执行与培训效果。
2025-09-24 cs.HC
Augmenting Automation: Intent-Based User Instruction Classification with Machine Learning
Stevens Institute of Technology（史蒂文斯理工学院）
本文针对传统电气自动化依赖预定义命令、灵活性不足的问题，提出基于机器学习的用户意图分类方法，并实现可动态控制电路的意图型自动化系统。
2024-03-02 cs.AI cs.CL cs.HC
WeldAR: Augmenting Live Hands-On Training with In-Situ Guidance for Novice Learners
Carnegie Mellon University（卡内基梅隆大学）；School of Design, Carnegie Mellon University（卡内基梅隆大学设计学院）
WeldAR通过实时AR指导提升初学者焊接技能，实验证实其在提升移动速度和工作角度方面有效。
2026-03-09 cs.HC
SketchMeHow: Interactive Projection Guided Task Instruction with User Sketches
在这项工作中，我们提出了一个交互式通用教学框架SketchMeHow指导普通用户实时完成日常任务。与传统的基于增强现实的教学系统相比，该框架利用用户草图作为系统输入，从绘图界面获取用户的生产意图。给定用户草图，可以基于每个任务的子任务划分和空间定位来分析指定的任务指令。采用投影仪-摄像机系统，利用空间增强现实技术对终端用户进行投影引导。为了验证所提出的框架，我们进行了多米诺骨牌安排和便当生产的两个案例研究。从我们的用户研究，建议的系统可以帮助新手用户完成任务，有效地与用户满意度。我们相信所提出的SketchMeHow可以拓宽基于草图的现实世界应用在人机交互的研究课题。
2021-09-07 cs.HC
Augmented Reality Applied to LEGO Construction: AR-based Building Instructions with High Accuracy & Precision and Realistic Object-Hand Occlusions
BRICKxAR是一种新颖的增强现实（AR）教学方法，用于乐高等建筑玩具。通过BRICKxAR，物理乐高建筑由虚拟砖块指导。与现有技术相比，通过基于标记的配准的新设计，虚拟物理模型对准的准确性显著提高，其可以在整个模型中实现小于1 mm的平均误差。真实感物体遮挡的完成，揭示真实的空间关系之间的物理和虚拟砖。实现了乐高玩家的手部检测和遮挡，以可视化真实手部和虚拟砖块之间的正确空间关系，并允许虚拟砖块被真实手部“抓住”。这些功能的集成使得AR指令可以用于小部件装配，通过构建乐高凯旋门的工作AR原型，配准和遮挡精度的定量测量以及AR指令功能的启发式评估进行验证。
2020-12-20 cs.CY cs.HC
An Overview of Enhancing Distance Learning Through Augmented and Virtual Reality Technologies
虽然远程学习与面对面教学相比有许多有趣的教育优势，但它也不是没有缺点。我们首先评估了远程学习作为一个整体所带来的教育挑战，并确定了4个主要挑战，远程学习目前提出相比，在人的指令：缺乏社会互动，减少学生的参与和重点，减少理解和信息保留，以及缺乏灵活和可定制的教师资源。在深入评估了这些挑战之后，我们研究了AR/VR技术如何解决每个挑战以及它们当前的缺点，最后概述了进一步的研究，以充分了解AR/VR技术应用于远程学习的潜力。
2023-03-28 cs.HC
Augmented Assembly: Object Recognition and Hand Tracking for Adaptive Assembly Instructions in Augmented Reality
Massachusetts Institute of Technology（麻省理工学院）；Cornell University（康奈尔大学）
本文提出一种基于增强现实的自适应装配系统，通过对象识别和手部追踪实现动态指导与错误检测，提升装配效率与用户体验。
2025-11-22 cs.AI cs.HC
Text2VR: Automated instruction Generation in Virtual Reality using Large language Models for Assembly Task
University College Dublin（都柏林大学学院）
本文提出Text2VR方法，利用大语言模型从文本自动生成VR装配任务指令，通过颜色变化和动画演示提升培训效果并降低开发成本。
2025-07-19 cs.CV cs.HC cs.MM
The Impact of Simple, Brief, and Adaptive Instructions within Virtual Reality Training: Components of Cognitive Load Theory in an Assembly Task
本研究通过VR形状装配实验操纵内在、外在和相关认知负荷，发现自适应培训可在不增加工作量或损害保持的情况下缩短培训时间。
2025-07-28 cs.HC
Focus on the Experts: Co-designing an Augmented Reality Eye-Gaze Tracking System with Surgical Trainees to Improve Endoscopic Instruction
为解决外科培训监督成本高、扩展性差的问题，研究团队与18名外科受训者合作共同设计了一套AR眼动追踪系统，以提供实时交互的补充训练方法，改善内窥镜手术学习且不影响患者护理。
2025-06-27 cs.HC
Multi-3D-Models Registration-Based Augmented Reality (AR) Instructions for Assembly
Texas A&M University（得克萨斯农工大学）
本文提出无标记逐步原位三维AR装配指令方法BRICKxAR（M3D），通过深度学习三维模型配准并结合装配阶段与步骤计数，实现小型零件装配的精确可视化与交互控制。
2023-11-29 cs.CV cs.HC
Going Down the Abstraction Stream with Augmented Reality and Tangible Robots: the Case of Vector Instruction
CHILI Lab Ecole Polytechnique Fédérale de Lausanne（CHILI实验室 雅各布·冯·利希滕堡联邦理工学院）；School of Computing & Information Systems University of Melbourne（计算与信息系统学院 澳大利亚墨尔本大学）
本研究通过增强现实与有形机器人实现具体性消退，设计三阶段游戏化环境，实验证明该方法能提升向量加法学习效果。
2025-04-20 cs.HC cs.RO
HoloTouch: Interacting with Mixed Reality Visualizations Through Smartphone Proxies
我们贡献的互动技术，增强混合现实（MR）的可视化与智能手机代理。通过将盔装显示器（HMD）与移动触摸屏相结合，我们可以通过精确的触摸输入、触觉反馈、高分辨率2D图形和物理操作来增强低分辨率全息3D图表。我们的方法旨在补充MR和物理可视化。大多数当前的MR可视化遭受不可靠的跟踪、低视觉分辨率和不精确的输入。另一方面，数据物理化虽然允许自然的物理操作，但在动态和交互式修改方面受到限制。我们演示了智能手机或平板电脑等移动设备如何作为MR数据交互的物理代理，创建支持精确操作和丰富输入和输出的动态可视化。我们描述了6种交互技术，这些技术利用了HMD和智能手机的综合物理性、传感和输出能力，并通过原型系统展示了这些交互。根据评估，我们概述了结合MR和物理图表的优势的机会。
2023-03-15 cs.HC
GhostObjects: Instructing Robots by Manipulating Spatially Aligned Virtual Twins in Augmented Reality
Princeton University（普林斯顿大学）
本文提出GhostObjects方法，利用增强现实中与世界对齐的虚拟孪生体进行直接操控来指导机器人，支持多对象套索选择和默认位置回弹，从而超越简单抓放任务。
2025-08-14 cs.HC cs.RO
Beyond Passive Viewing: A Pilot Study of a Hybrid Learning Platform Augmenting Video Lectures with Conversational AI
Vizuara AI Labs（Vizuara AI实验室）
本文通过对比传统视频教学与AI增强视频平台，发现AI助教显著提升学习效果和参与度，为开发可扩展的自适应学习系统提供了初步证据。
2026-03-10 cs.AI cs.HC
Augmenting Teamwork through AI Agents as Spatial Collaborators
本文提出 AR 中的空间感知 AI 智能体应作为适应性队友，实时识别团队需求并动态生成协作资源，以情境驱动干预提升团队绩效与决策。
2025-03-12 cs.HC
Beyond Static Instruction: A Multi-agent AI Framework for Adaptive Augmented Reality Robot Training
本文提出多智能体AI框架，用于增强现实机器人训练中的动态适应，通过多模态输入预处理和LLM自主推理实现个性化学习环境调整。
2026-03-13 cs.AI cs.HC cs.RO
InteRecon: Towards Reconstructing Interactivity of Personal Memorable Items in Mixed Reality
针对个人纪念物品数字化方法无法保留现实交互性的问题，提出交互式数字物品（IDI）概念并开发AR原型InteRecon，实现物品物理外观与交互性的重建，为增强个人记忆存档提供新机遇。
2025-02-14 cs.HC
Jointly Optimizing Sensing Pipelines for Multimodal Mixed Reality Interaction
混合现实应用中的自然人机交互绝大多数是多模态的：人类通过视觉、听觉和手势提示的组合来传达意图和指令。然而，在资源受限的可穿戴设备上支持这种多模态指令（MMI）的低延迟和准确理解仍然是一个开放的挑战，特别是随着用于每个单独模态的最新理解技术越来越多地利用复杂的深度神经网络模型。我们证明了克服延迟的核心限制的可能性-与-通过利用跨模态依赖性来进行精度折衷--即，通过用不同模态的更复杂模型的增加的准确性来补偿一个模型的较差性能。我们提出了一个传感器融合架构，执行MMI的理解在一个准同步的方式，通过融合视觉，语音和姿势输入。该架构是可重构的，并支持动态修改的复杂性的数据处理管道为每个单独的模态响应于上下文的变化。使用一个有代表性的“课堂”的背景下，一组四个共同的互动原语，然后，我们演示了如何选择低和高复杂度的模型，为每个人的模态耦合。特别是，我们表明，（a）一个明智的组合，低和高复杂度的模型跨模态可以提供一个戏剧性的3倍减少理解延迟，同时增加10-15%的准确性，和（b）正确的集体选择的模型是上下文相关的，与一些模型组合的性能显着更敏感的场景上下文的变化或选择的互动。
2020-12-18 cs.HC
Voice2Action: Language Models as Agent for Efficient Real-Time Interaction in Virtual Reality
Cornell Tech（康奈尔科技学院）
针对VR中部署大语言模型智能体存在的交互效率低、3D操作类别复杂的问题，提出Voice2Action框架，通过分层分析语音与文本指令、结合环境反馈实时划分交互任务，在城市工程VR场景中实现了更高效准确的交互效果。
2023-09-29 cs.AI cs.CL cs.HC
CPR Emergency Assistance Through Mixed Reality Communication
本研究设计了用于CPR急救远程援助的混合现实通信系统，通过RGBD体视捕获实现专家空间引导，实验显示其相比视频会议可增加专家视觉交流，且急救表现与负荷无显著差异。
2023-12-14 cs.HC
ChameleonControl: Teleoperating Real Human Surrogates through Mixed Reality Gestural Guidance for Remote Hands-on Classrooms
我们提出了变色龙控制，一个真正的人类远程操作系统，可扩展的远程教学动手教室。与现有的视频或基于AR/VR的远程实践教育相比，ChameleonControl使用真人作为远程教师的替代品。在现有的基于人的临场感方法的基础上，我们提出了一种新的方法，通过同步的混合现实手势导航和口头交流来远程操作人类代理人。通过在本地用户的MR视图中覆盖远程指导者的虚拟手，远程指导者可以指导和控制本地用户，就好像他们物理上存在一样。这允许本地用户/代理人将他们的手部动作和手势与远程教师同步，有效地远程操作真实的人。我们在物理治疗培训教室以及其他应用领域（如机械装配、手语和烹饪课程）部署和评估我们的系统。研究结果证实，我们的方法可以提高参与度和共同存在感，显示出远程动手教室的未来潜力。
2023-02-21 cs.HC
An Interaction Design Toolkit for Physical Task Guidance with Artificial Intelligence and Mixed Reality
本文针对人工智能与混合现实物理任务指导系统中的交互设计挑战，提出包含设计考量、设计模式和交互画布的交互设计工具包，为从业者和研究人员提供宝贵资源。
2024-12-22 cs.HC
Explainable OOHRI: Communicating Robot Capabilities and Limitations as Augmented Reality Affordances
Princeton University（普林斯顿大学）
本文提出X-OOHRI，一种通过AR界面传达机器人能力和限制的可解释面向对象人机交互系统，通过视觉符号和颜色编码提升人机交互效率。
2026-01-21 cs.HC cs.RO
ViSTAR: Virtual Skill Training with Augmented Reality with 3D Avatars and LLM coaching agent
Harvard University（哈佛大学）；University of Tsukuba（筑波大学）；Dolby Laboratories（杜比实验室）；University of Minnesota-Twin Cities（明尼苏达大学双城分校）
ViSTAR通过AR技术提供篮球技能训练，利用3D虚拟角色和LLM教练代理提供平衡、姿势和节奏反馈，提升自我观察和运动修正能力。
2026-03-18 cs.HC
What Are You Really Asking For? A Comparative 5W1H Analysis of Learner Questioning in CPR Training with IVAs in Screen-based and Augmented Reality Environments
KAIST（韩国科学技术院）
研究通过5W1H框架比较AR和视频IVAs在CPR培训中的提问差异，发现AR-IVA促进更频繁的澄清性提问，而视频IVAs促进流程优化提问，且动机和策略特征影响提问模式。
2026-03-15 cs.HC
Gesture Recognition for Feedback Based Mixed Reality and Robotic Fabrication: A Case Study of the UnLog Tower
Cornell University（康奈尔大学）
本研究以 UnLog Tower 为例，提出通过实时手势识别将用户与物理对象的交互作为输入，驱动 MR 环境中的数字信息修改与生成，实现物理与虚拟环境间的双向反馈，并应用于机器人建造、人工装配和质量控制。
2025-07-03 cs.ET cs.HC cs.RO
BodyDigitizer: An Open Source Photogrammetry-based 3D Body Scanner
Coburg University（科堡大学）
随着增强和虚拟现实的日益普及，在从远程临场感、游戏到医疗应用的各种应用领域中，需要将人类表示为虚拟化身。除了对3D化身进行明确建模之外，创建特定于个人的化身的传感方法正在变得流行。然而，负担得起的解决方案通常遭受低视觉质量和专业解决方案往往过于昂贵，无法部署在非营利项目。我们提出了一个开源项目，BodyDigitizer，其目的是提供高分辨率的基于摄影测量的3D人体扫描仪的构建指令和配置软件。我们的系统包括多达96台Rasperry PI摄像机、有源LED照明、坚固的框架结构和开源配置软件。我们在一个非营利性的混合现实健康项目中展示了身体扫描仪的适用性。详细的构建说明和软件可在http://www.bodydigitizer.org上获得。
2017-10-28 cs.CV cs.HC
Mixed-Reality Robot Behavior Replay: A System Implementation
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
随着机器人变得越来越复杂，它们必须解释自己的行为以获得信任和接受。然而，仅通过口头解释可能难以完全传达有关过去行为的信息，特别是关于由于机器人或人类的动作而不再存在的对象。人类经常试图模仿过去的动作来配合口头解释。受这种人与人之间的互动的启发，我们在这篇工具论文中描述了机器人过去行为重放系统的技术实现。具体来说，我们使用行为树来编码和分离机器人行为，使用无模式MongoDB来结构化地存储和查询底层传感器数据和关节控制消息，以供将来重播。我们的方法推广到不同类型的重放，包括操纵和导航重放，以及视觉（即，增强现实（AR））和听觉重放。此外，我们简要总结了用户研究，以进一步提供其有效性和效率的经验证据。示例代码和说明可在GitHub上获得，网址为https://github.com/umhan35/robot-behavior-replay。
2022-09-30 cs.HC cs.RO
A Comparison of Visualisation Methods for Disambiguating Verbal Requests in Human-Robot Interaction
KTH Royal Institute of Technology（瑞典皇家理工学院）
拾取人类用户请求的对象是人机交互中的常见任务。当多个对象匹配用户的口头描述时，机器人需要在执行动作之前澄清用户指的是哪个对象。先前的研究集中在感知用户的多模态行为，以补充口头命令或尽量减少后续问题的数量，以减少任务时间。在本文中，我们提出了一个系统的参考消歧的基础上可视化和比较三种方法来消除歧义的自然语言指令。在YuMi机器人的受控实验中，我们研究了三种条件下的工作空间的实时增强-混合现实，增强现实和监视器作为基线-使用时间和准确性等客观指标，以及参与度，沉浸感和显示干扰等主观指标。在准确性和参与的条件之间的显着差异，但没有发现在任务时间的差异。尽管混合现实条件下的出错率更高，但参与者发现该模式比其他两种更吸引人，但总体上显示出对增强现实条件的偏好，而不是监视器和混合现实条件。
2018-01-26 cs.HC cs.RO
Nudging the Somas: Exploring How Live-Configurable Mixed Reality Objects Shape Open-Ended Intercorporeal Movements
Reality Design Lab；University of Oxford（牛津大学）；Simon Fraser University（西蒙菲莎大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；East China Normal University（华东师范大学）；Monash University（蒙纳士大学）
本研究通过GravField系统探索可配置混合现实物体如何通过实时引导促进开放性群体协调，强调具身动态在引导集体运动中的作用。
2026-02-28 cs.CY cs.HC
PanoCoach: Enhancing Tactical Coaching and Communication in Soccer with Mixed-Reality Telepresence
针对足球战术沟通中空间感知和实时交流困难的问题，提出混合现实远程呈现方案PanoCoach，结合平板2D/3D注释与VR第一人称视角，提升战术指导与球员临场感。
2024-09-20 cs.GR cs.HC
Encode-Store-Retrieve: Augmenting Human Memory through Language-Encoded Egocentric Perception
University of Cambridge（剑桥大学）
本文提出一种记忆增强智能体，利用大型视觉语言模型将自我中心视频编码为自然语言并存入向量数据库，结合大型语言模型进行自然语言查询，在QA-Ego4D上取得最优成绩并显著提升情景记忆回忆表现。
2024-10-18 cs.AI cs.CV cs.HC
Mixed Reality Communication for Medical Procedures: Teaching the Placement of a Central Venous Catheter
American University（美利坚大学）；Graz University of Technology（格拉茨工业大学）；George Washington University（乔治华盛顿大学）
针对医疗操作技能分布不均的问题，研发了一套混合现实实时通信系统，通过体三维场景捕捉与叠加实现远程专家的空间引导，经CVC置管教学模拟实验验证，其效果优于传统视频会议培训。
2023-12-14 cs.CV cs.HC
Vid2Coach: Transforming How-To Videos into Task Assistants
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of California, Berkeley（加州大学伯克利分校）
本文提出Vid2Coach，将操作视频转化为面向BLV用户的可穿戴智能眼镜助手，结合步骤补全、RAG非视觉变通方法和进度感知反馈，实验显示烹饪错误减少58.5%。
2025-07-25 cs.CV cs.HC
Autonomous Workflow for Multimodal Fine-Grained Training Assistants Towards Mixed Reality
Centrum Wiskunde & Informatica（数学与计算机科学中心）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；University College London（伦敦大学学院）；Shandong University（山东大学）；TU Delft（代尔夫特理工大学）
本文提出一个面向XR环境的自主多模态细粒度训练助手工作流，设计集成LLM、记忆、规划与视觉-语言能力的智能体，并自动合成LEGO-MRTA拼搭对话数据集，通过多个开源LLM基准验证微调效果，以推动XR中智能助手与HCI研究发展。
2024-06-05 cs.AI cs.CL cs.HC
