AssemblyLens: Exploring the Role of Structural Roadmaps and Strategies of Furniture Assembly Used by Blind and Low Vision Individuals
Massachusetts Institute of Technology(麻省理工学院)
本研究开发了AssemblyLens技术探针,为8名盲人和低视力者提供可访问的家具组装说明,揭示其组装策略并提出8条设计建议,以提升该群体的组装自主性。
2026-10-12 cs.HC
Lost in Instructions: Study of Blind Users' Experiences with DIY Manuals and AI-Rewritten Instructions for Assembly, Operation, and Troubleshooting of Tangible Products
Stony Brook University(石溪大学);Old Dominion University(老道明大学)
研究探讨盲人用户在使用DIY手册和AI生成的指令进行实物产品组装、操作和故障排除时的体验,发现现有工具不足,需改进以提供更有效的指导。
2026-02-20 cs.AI cs.HC
Multi-3D-Models Registration-Based Augmented Reality (AR) Instructions for Assembly
Texas A&M University(得克萨斯农工大学)
本文提出无标记逐步原位三维AR装配指令方法BRICKxAR(M3D),通过深度学习三维模型配准并结合装配阶段与步骤计数,实现小型零件装配的精确可视化与交互控制。
2023-11-29 cs.CV cs.HC
Speech to Reality: On-Demand Production using Natural Language, 3D Generative AI, and Discrete Robotic Assembly
Computer Science and Artificial Intelligence Lab(计算机科学与人工智能实验室);Massachusetts Institute of Technology(麻省理工学院);Center for Bits and Atoms(比特与原子中心);Department of Mechanical Engineering(机械工程系)
提出一种集成自然语言、3D生成式AI和离散机器人装配的系统,将语音转化为物理对象,通过离散化和修改AI生成的几何形状以满足制造约束,实现5分钟内按需生产。
2025-09-15 cs.AI cs.HC cs.RO
Video2MR: Automatically Generating Mixed Reality 3D Instructions by Augmenting Extracted Motion from 2D Videos
Video2MR利用AI动作捕捉将2D教学视频转化为3D化身,通过姿势对比、轨迹可视化、时间操控和视角重定位等增强技术,在Hololens 2上提供更沉浸的体育学习体验。
2024-05-28 cs.HC
JARVIS: A Just-in-Time Augmented Reality VLM-Powered Instruction System for Cross-Reality Task Guidance
the University of Hong Kong(香港大学);University of California, Los Angeles(加州大学洛杉矶分校);the University of Utah(犹他大学)
JARVIS通过视觉语言模型生成上下文相关的分步指导,实现实时状态验证和自适应视觉反馈,提升跨现实任务的可用性、工作负荷、成功率和可视化效果。
2026-05-17 cs.HC
Towards Deeper Understanding of Natural User Interactions in Virtual Reality Based Assembly Tasks
该研究通过绿野仙踪实验探索虚拟现实装配任务中的自然用户交互,分析语音、手部追踪等数据,揭示不同场景下的交互策略差异,并提供数据集,为相关多模态界面设计提供指导。
2025-08-23 cs.HC cs.SY eess.SY
Visualizing Engineering Fundamentals: Design of Mixed Reality and Physical Toolkits for Effective Learning
The University of Texas at Arlington(阿灵顿得克萨斯大学)
本研究通过用户实验比较了课堂讲授、混合现实应用和物理工具包三种教学方式,发现结合可视化与动手交互的多模态体验最受学生欢迎,为工程教育工具的人本设计提供了指导。
2026-07-02 cs.HC
AiBAT: Artificial Intelligence/Instructions for Build, Assembly, and Test
Jet Propulsion Laboratory, California Institute of Technology(加州理工学院喷气推进实验室)
AiBAT 系统通过分析装配图纸并自动提取信息来辅助填充 IBAT 指令模板,从而减少人工编写时间与成本,本文介绍其系统架构、初步结果及未来工作方向。
2024-10-03 cs.AI cs.AR cs.ET
Post-Lecture Interactive Environments for Conceptual Learning: A Randomized Comparison of Mixed Reality and Tangible Instruction in Undergraduate STEM Education
The University of Texas at Arlington(阿灵顿得克萨斯大学)
研究本科固体力学课后互动环境对概念学习的作用,用随机比较法对比沉浸式混合现实应用、实体工程工具包与纯讲座教学,发现互动环境效果好,各有优势。
2026-07-07 cs.HC
CARING-AI: Towards Authoring Context-aware Augmented Reality INstruction through Generative Artificial Intelligence
针对AIGC缺乏上下文信息限制AR指令创作的问题,开发CARING-AI系统,利用GenAI生成融入时空上下文的人形化身动画指令,两项用户研究验证了其系统可用性与创作便捷性。
2025-01-27 cs.HC
PaperToPlace: Transforming Instruction Documents into Spatialized and Context-Aware Mixed Reality Experiences
针对纸质说明与物理环境缺乏连接、操作效率低的问题,研究提出包含创作与使用双管线的PaperToPlace工作流,可快速将纸质说明空间化为MR体验并智能放置步骤,实验验证了其可用性与效率优势。
2023-08-26 cs.HC
Design, Assembly, Calibration, and Measurement of an Augmented Reality Haploscope
单倍镜是一种光学系统,它产生一个仔细控制的虚像。自1838年惠斯通的原始立体镜发展以来,单倍镜已被用于测量人类立体视觉的感知特性。本文提出了一种增强现实(AR)haploscope,它允许观看叠加在现实世界中的虚拟对象。我们的实验室已经使用了几代这种设备来对AR现象进行一系列仔细的感知测量,这些测量在过去8年的出版物中已经有描述。本文系统地介绍了我们的AR单倍镜的设计,组装,校准和测量。在过去的10年里,这些方法在我们的实验室中得到了发展和改进。尽管惠斯通的立体镜的原始报告已经过去了180年,但我们以前还没有找到一篇描述这些细节的论文。
2019-08-21 cs.GR cs.HC
Beyond Static Instruction: A Multi-agent AI Framework for Adaptive Augmented Reality Robot Training
本文提出多智能体AI框架,用于增强现实机器人训练中的动态适应,通过多模态输入预处理和LLM自主推理实现个性化学习环境调整。
2026-03-13 cs.AI cs.HC cs.RO
Augmented Reality Applied to LEGO Construction: AR-based Building Instructions with High Accuracy & Precision and Realistic Object-Hand Occlusions
BRICKxAR是一种新颖的增强现实(AR)教学方法,用于乐高等建筑玩具。通过BRICKxAR,物理乐高建筑由虚拟砖块指导。与现有技术相比,通过基于标记的配准的新设计,虚拟物理模型对准的准确性显著提高,其可以在整个模型中实现小于1 mm的平均误差。真实感物体遮挡的完成,揭示真实的空间关系之间的物理和虚拟砖。实现了乐高玩家的手部检测和遮挡,以可视化真实手部和虚拟砖块之间的正确空间关系,并允许虚拟砖块被真实手部“抓住”。这些功能的集成使得AR指令可以用于小部件装配,通过构建乐高凯旋门的工作AR原型,配准和遮挡精度的定量测量以及AR指令功能的启发式评估进行验证。
2020-12-20 cs.CY cs.HC
Evaluating Digital Work Instructions with Augmented Reality versus Paper-based Documents for Manual, Object-Specific Repair Tasks in a Case Study with Experienced Workers
本文针对涡轮叶片特定对象维修任务,提出结合数字工作说明与增强现实的认知辅助系统,并通过十名经验丰富金属工人的对比实验,证明其相较纸质流程可提速21%、降低26%主观负荷。
2023-06-06 cs.HC
The Impact of Simple, Brief, and Adaptive Instructions within Virtual Reality Training: Components of Cognitive Load Theory in an Assembly Task
本研究通过VR形状装配实验操纵内在、外在和相关认知负荷,发现自适应培训可在不增加工作量或损害保持的情况下缩短培训时间。
2025-07-28 cs.HC
Text2VR: Automated instruction Generation in Virtual Reality using Large language Models for Assembly Task
University College Dublin(都柏林大学学院)
本文提出Text2VR方法,利用大语言模型从文本自动生成VR装配任务指令,通过颜色变化和动画演示提升培训效果并降低开发成本。
2025-07-19 cs.CV cs.HC cs.MM
Guided Reality: Generating Visually-Enriched AR Task Guidance with LLMs and Vision Models
University of Colorado Boulder(科罗拉多大学博尔德分校);University of Calgary(卡尔加里大学)
本文提出Guided Reality,一个全自动AR系统,利用LLMs和视觉模型生成嵌入式动态视觉引导,通过五类视觉引导策略和用户研究(N=16)验证其提升任务执行与培训效果。
2025-09-24 cs.HC
Small Object Detection for Near Real-Time Egocentric Perception in a Manual Assembly Scenario
SmartFactory-KL(凯泽斯劳滕智能工厂);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
近实时的【形】检测头戴式增强现实设备的视频流中的小对象是一个巨大的挑战:训练数据通常是稀缺的,输入视频流的质量可能是有限的,并且小对象是众所周知的难以检测。然而,在工业场景中,通常可以利用上下文知识来检测小物体。此外,对象的CAD数据通常是可用的,并且可以用于生成合成训练数据。我们描述了一个近实时的【形】的小型目标检测管道,用于手动装配场景中的自我中心感知:我们基于Unity中的CAD数据和现实背景生成训练数据集。然后,我们训练一个YOLOv4模型进行两阶段的检测过程:首先,识别上下文,然后检测感兴趣的小对象。我们在增强现实设备Microsoft Hololens 2上评估我们的管道。
2021-06-11 cs.AI cs.CV cs.HC
Going Down the Abstraction Stream with Augmented Reality and Tangible Robots: the Case of Vector Instruction
CHILI Lab Ecole Polytechnique Fédérale de Lausanne(CHILI实验室 雅各布·冯·利希滕堡联邦理工学院);School of Computing & Information Systems University of Melbourne(计算与信息系统学院 澳大利亚墨尔本大学)
本研究通过增强现实与有形机器人实现具体性消退,设计三阶段游戏化环境,实验证明该方法能提升向量加法学习效果。
2025-04-20 cs.HC cs.RO
Voice2Action: Language Models as Agent for Efficient Real-Time Interaction in Virtual Reality
Cornell Tech(康奈尔科技学院)
针对VR中部署大语言模型智能体存在的交互效率低、3D操作类别复杂的问题,提出Voice2Action框架,通过分层分析语音与文本指令、结合环境反馈实时划分交互任务,在城市工程VR场景中实现了更高效准确的交互效果。
2023-09-29 cs.AI cs.CL cs.HC
SketchMeHow: Interactive Projection Guided Task Instruction with User Sketches
在这项工作中,我们提出了一个交互式通用教学框架SketchMeHow指导普通用户实时完成日常任务。与传统的基于增强现实的教学系统相比,该框架利用用户草图作为系统输入,从绘图界面获取用户的生产意图。给定用户草图,可以基于每个任务的子任务划分和空间定位来分析指定的任务指令。采用投影仪-摄像机系统,利用空间增强现实技术对终端用户进行投影引导。为了验证所提出的框架,我们进行了多米诺骨牌安排和便当生产的两个案例研究。从我们的用户研究,建议的系统可以帮助新手用户完成任务,有效地与用户满意度。我们相信所提出的SketchMeHow可以拓宽基于草图的现实世界应用在人机交互的研究课题。
2021-09-07 cs.HC
Generative Timelines for Instructed Visual Assembly
Czech Institute of Informatics, Robotics and Cybernetics at the Czech Technical University in Prague(布拉格捷克技术大学信息学、机器人学与控制论研究所);AI Initiative, KAUST(阿卜杜拉国王科技大学AI计划);Adobe Research(奥多比研究院);CIIRC CTU(捷克技术大学信息学、机器人学与控制论研究所)
本文提出Timeline Assembler生成式模型,通过大型多模态语言模型和自动数据集生成方法,实现基于自然语言指令的图像与视频时间线装配,并在复杂装配任务中显著优于GPT-4o等基线模型。
2024-11-19 cs.CV cs.HC cs.MM
Multimodal Sensing and Machine Learning to Compare Printed and Verbal Assembly Instructions Delivered by a Social Robot
Louisville Automation and Robotics Research Institute (LARRI), University of Louisville(路易斯维尔自动化与机器人研究研究所(LARRI)、路易斯维尔大学)
本文利用BVP和EDA多模态生理信号及CNN/LSTM模型,比较纸质与社交机器人装配指令下的工人负荷,发现CNN结合多模态数据预测效果最佳。
2025-06-01 cs.HC cs.RO
Design of VR Engine Assembly Teaching System
虚拟现实(VR)是一个热门的研究课题,在军事、教育等领域得到了有效的应用。虚拟现实在教育中的应用前景十分广阔。它可以有效地降低人力成本,资源消耗,激发学生的学习兴趣,提高学生的知识水平。新能源汽车近年来也得到了广泛的推广,新能源汽车的生产在其中起到了关键作用,但汽车发动机拆装的教学仍然保留着较为传统的方式。这就是为什么应用VR技术具有重要意义。该项目使用Unity 3D引擎开发了一款基于VR的发动机教学软件,旨在让用户使用VR头戴设备、手柄等配件,在虚拟环境中模拟汽车发动机的拆装。设计了模块化的系统框架,将软件分为系统层和功能层。系统层包括消息系统和数据配置系统。功能层包括用户界面系统、拆装功能和数据模块。除了满足功能需求外,我们还使用Unity UPR工具来检查性能问题,并通过关闭垂直同步和打开某些场景对象的静态开关来优化产品性能。
2022-07-12 cs.HC
Enhancing performance in bolt torque tightening using a connected torque wrench and augmented reality
本文提出结合AR与6-DoF追踪联网扭矩扳手的螺栓拧紧方法,并通过与纸质说明对比实验验证其可提升任务绩效、操作辅助性与拧紧可靠性。
2025-05-15 cs.HC physics.class-ph
GhostObjects: Instructing Robots by Manipulating Spatially Aligned Virtual Twins in Augmented Reality
Princeton University(普林斯顿大学)
本文提出GhostObjects方法,利用增强现实中与世界对齐的虚拟孪生体进行直接操控来指导机器人,支持多对象套索选择和默认位置回弹,从而超越简单抓放任务。
2025-08-14 cs.HC cs.RO
An Overview of Enhancing Distance Learning Through Augmented and Virtual Reality Technologies
虽然远程学习与面对面教学相比有许多有趣的教育优势,但它也不是没有缺点。我们首先评估了远程学习作为一个整体所带来的教育挑战,并确定了4个主要挑战,远程学习目前提出相比,在人的指令:缺乏社会互动,减少学生的参与和重点,减少理解和信息保留,以及缺乏灵活和可定制的教师资源。在深入评估了这些挑战之后,我们研究了AR/VR技术如何解决每个挑战以及它们当前的缺点,最后概述了进一步的研究,以充分了解AR/VR技术应用于远程学习的潜力。
2023-03-28 cs.HC
Focus on the Experts: Co-designing an Augmented Reality Eye-Gaze Tracking System with Surgical Trainees to Improve Endoscopic Instruction
为解决外科培训监督成本高、扩展性差的问题,研究团队与18名外科受训者合作共同设计了一套AR眼动追踪系统,以提供实时交互的补充训练方法,改善内窥镜手术学习且不影响患者护理。
2025-06-27 cs.HC
Generative Tutorial: Towards Live Contextualized Visual Instructions for Physical Tasks
University of Michigan(密歇根大学)
本文提出生成式教程框架,利用增强现实和生成模型,根据用户环境实时生成视觉指令,实验表明能提升任务执行质量并缩短确认时间。
2026-09-22 cs.AI cs.HC
Semantic Reality: Interactive Context-Aware Visualization of Inter-Object Relationships in Augmented Reality
Google(谷歌);University of Minnesota(明尼苏达大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
本文提出Semantic Reality系统,通过多模态推理和空间锚定技术,实现增强现实中的多物体关系交互可视化,提升任务理解和参与度。
2026-04-06 cs.HC
Effectiveness of machining equipment user guides: A comparative study of augmented reality and traditional media
本研究针对材料成型加工场景,对比视频、纸质、AR三类用户手册对机械工程专业学生作业表现、任务负荷与接受度的影响,以明确最优的操作指导媒介。
2025-01-24 cs.GR cs.HC
Arigatō: Effects of Adaptive Guidance on Engagement and Performance in Augmented Reality Learning Environments
体验式学习(ExL)是通过经验学习的过程,或者更具体地说,是“通过反思来学习”。在本文中,我们提出了一个模拟这些经验,在增强现实(AR),解决语言学习的问题。这样的系统提供了一个很好的设置,以支持在真实环境中以数字形式的“自适应制导”。自适应指导允许为每个学习者定制指令和学习内容,从而创造独特的学习体验。我们开发了一种用于语言学习的自适应指导AR系统,我们称之为Arigatō(增强现实教学指导和定制Omniverse),它提供即时帮助,针对学习者需求的资源,这些资源的操作以及相关反馈。考虑到指导,我们采用这个原型来研究指导量(固定与自适应量)和指导类型(固定与自适应关联)对参与的影响,从而影响AR环境中语言学习的学习结果。指导量的结果表明,与适应量相比,固定量的指导组在即时和延迟(7天后)回忆测试中得分更高。然而,这一组也投入了显着更高的精神努力来完成任务。结果表明,自适应联想组优于固定联想组的即时,延迟(7天后)回忆测试,学习效率。适应性联想组也表现出明显更低的脑力劳动,花更少的时间来完成任务。
2022-07-02 cs.HC
Explainable OOHRI: Communicating Robot Capabilities and Limitations as Augmented Reality Affordances
Princeton University(普林斯顿大学)
本文提出X-OOHRI,一种通过AR界面传达机器人能力和限制的可解释面向对象人机交互系统,通过视觉符号和颜色编码提升人机交互效率。
2026-01-21 cs.HC cs.RO
CLAd-VR: Cognitive Load-based Adaptive Training for Machining Tasks in Virtual Reality
New York University(纽约大学);Massachusetts Institute of Technology(麻省理工学院)
针对现有VR培训系统静态不适应性,提出CLAd-VR,利用EEG和LSTM实时分类认知负荷,动态调整任务难度与指导,提升制造业技能培训效果。
2025-10-06 cs.HC
Gesture Recognition for Feedback Based Mixed Reality and Robotic Fabrication: A Case Study of the UnLog Tower
Cornell University(康奈尔大学)
本研究以 UnLog Tower 为例,提出通过实时手势识别将用户与物理对象的交互作为输入,驱动 MR 环境中的数字信息修改与生成,实现物理与虚拟环境间的双向反馈,并应用于机器人建造、人工装配和质量控制。
2025-07-03 cs.ET cs.HC cs.RO
Robot Programming with Augmented Reality: The Role of Spatial Ability
Zuse Institute Berlin(柏林泽努斯研究所);Weizenbaum Institute(魏泽恩鲍姆研究所);University of Potsdam(波茨坦大学)
本研究探讨AR在机器人编程中对空间能力影响的补偿作用,发现AR可减轻空间能力较低学习者的劣势。
2026-09-22 cs.HC cs.RO
ChameleonControl: Teleoperating Real Human Surrogates through Mixed Reality Gestural Guidance for Remote Hands-on Classrooms
我们提出了变色龙控制,一个真正的人类远程操作系统,可扩展的远程教学动手教室。与现有的视频或基于AR/VR的远程实践教育相比,ChameleonControl使用真人作为远程教师的替代品。在现有的基于人的临场感方法的基础上,我们提出了一种新的方法,通过同步的混合现实手势导航和口头交流来远程操作人类代理人。通过在本地用户的MR视图中覆盖远程指导者的虚拟手,远程指导者可以指导和控制本地用户,就好像他们物理上存在一样。这允许本地用户/代理人将他们的手部动作和手势与远程教师同步,有效地远程操作真实的人。我们在物理治疗培训教室以及其他应用领域(如机械装配、手语和烹饪课程)部署和评估我们的系统。研究结果证实,我们的方法可以提高参与度和共同存在感,显示出远程动手教室的未来潜力。
2023-02-21 cs.HC
Too Immersive for the Field? Addressing Safety Risks in Extended Reality User Studies
TU Berlin(柏林工业大学);University of Zagreb Faculty of Electrical Engineering and Computing(萨格勒布大学电气工程和计算学院);DFKI(德国人工智能研究中心);Hochschule Hamm-Lippstadt(哈姆-利普施塔特应用科技大学)
本文探讨了扩展现实用户研究在非实验室环境中的安全风险,并提出解决策略以确保研究的安全性和包容性。
2026-02-26 cs.HC
From Brick to Click: Comparing LEGO Building in Virtual Reality and the Physical World
本文通过22名参与者在物理、VR及增强超能力VR三种环境中的乐高搭建实验,发现增强VR在创造性自由搭建中最受青睐,并提出平衡自动化与用户控制的VR设计建议。
2025-02-06 cs.HC
Quantifying the Impact of XR Visual Guidance on User Performance Using a Large-Scale Virtual Assembly Experiment
本研究通过199人参与的大规模虚拟装配实验,证明XR视觉引导可将任务完成时间和错误减少超过50%,并探讨了认知负荷等因素,为工业应用提供实践指导。
2023-08-07 cs.HC
Beyond LunAR: An augmented reality UI for deep-space exploration missions
随着太空探索工作转向深空任务,宇航员通信和任务完成方面出现了新的挑战。月球通信的往返传播延迟为2.6秒,而火星任务的时间延迟增加到近22分钟。这就需要航天员独立于地球上的援助,并使能够提供的有限通信具有更大的意义。为了解决这个问题,我们为新的xEMU宇航服制作了一个增强现实用户界面原型,用于行星表面任务。该用户界面帮助完成通常由任务控制中心的飞行控制员完成的功能,或者目前以不必要的困难的方式完成的功能。我们通过基于AR模型的任务指令、采样任务辅助、笔记记录以及遥测监控和显示等功能来实现这一点。
2020-11-30 cs.GR cs.HC
An Interaction Design Toolkit for Physical Task Guidance with Artificial Intelligence and Mixed Reality
本文针对人工智能与混合现实物理任务指导系统中的交互设计挑战,提出包含设计考量、设计模式和交互画布的交互设计工具包,为从业者和研究人员提供宝贵资源。
2024-12-22 cs.HC
Enhancing User Performance and Human Factors through Visual Guidance in AR Assembly Tasks
本研究通过受试者间实验考察AR装配任务中视觉引导对用户绩效和人为因素的影响,发现任务完成时间减少31%但错误率上升,揭示了速度与准确性之间的权衡,并为未来研究提供方向。
2025-03-07 cs.HC
Visualizing Causality in Mixed Reality for Manual Task Learning: An Exploratory Study
本研究通过48名用户的实验,探索混合现实中不同层级因果关系可视化对手动任务学习的影响,发现展示所有层级因果关系时用户表现最佳,并据此提出设计建议。
2025-02-28 cs.HC
Evaluating Augmented Reality Communication: How Can We Teach Procedural Skill in AR?
本研究分析AR通信系统用于教授超声引导下CVC置入操作的效果,对比其与视频会议教学的差异,考察AR组件的使用模式并提出AR设计建议。
2023-12-14 cs.HC
SelfIE: Self-Initiated Explorable Instructions Towards Enhanced User Experience
提出自发可探索(SelfIE)指令设计,融合线性和非线性访问,通过积木组装实验证明其显著提升用户偏好,并在平板和OHMD原型中评估了可用性与配置权衡。
2024-07-29 cs.HC
Implementation of Augmented Reality as an Educational Tool for Practice in Early Childhood
UIN Sunan Gunung Djati Bandung(乌因·苏南·贡多迪蒂帕蒂万隆大学)
本研究通过增强现实技术开发洗手学习应用,提升幼儿对礼拜程序的理解和学习兴趣。
2025-12-19 cs.HC q-fin.CP
From Speech-to-Spatial: Grounding Utterances on A Live Shared View with Augmented Reality
Center for Visual Computing, Stony Brook University(石溪大学视觉计算中心)
本文提出Speech-to-Spatial框架,通过语音指令生成空间定位的AR指导,无需额外线索或人工标注,提升任务效率和可用性。
2026-04-10 cs.CL cs.ET cs.HC
Exploring Eye Tracking to Detect Cognitive Load in Complex Virtual Reality Training
Northeastern University(东北大学)
本文研究在复杂VR训练中利用眼动追踪和机器学习检测认知负荷,通过冷喷涂VR系统实验验证了MLP与随机森林基于瞳孔扩张和注视时长的预测可行性。
2024-11-18 cs.HC cs.LG
Task Breakpoint Generation using Origin-Centric Graph in Virtual Reality Recordings for Adaptive Playback
KAIST UVR Lab(韩国科学技术院虚拟现实实验室);KAIST KI-ITC ARRC(韩国科学技术院知识融合技术集成应用研究中心)
本文提出基于起源中心图的任务断点生成方法,用于自适应VR播放中的任务分割。
2026-03-08 cs.HC
Label Guidance based Object Locating in Virtual Reality
虚拟现实中的目标定位技术在虚拟装配、虚拟维修、虚拟远程指导等虚拟现实应用中有着广泛的应用。然而,当在虚拟环境(VE)中存在大量对象时,用户不能有效且舒适地定位目标对象。本文提出了一种基于标签引导的虚拟现实中目标物体定位方法。首先,我们引入了基于标签引导的目标定位流水线,提高了目标定位的效率。它将所有对象的标签排列在同一屏幕上,让用户先选择目标标签,然后使用飞行标签将用户引导到目标对象。在此基础上,提出了一种两级层次的分类定向标签布局,使用户能够高效、舒适地选择候选标签。在此基础上,提出了基于视角和视线的标签引导方法,在候选标签的引导下,为候选标签生成特定的飞行轨迹,更新候选标签的飞行速度,保留有效的候选标签,并在目标定位过程中实时的去除无效的候选标签。用户研究结果表明,与传统方法相比,该方法显著提高了目标定位的效率,降低了目标定位的任务量。
2022-12-07 cs.HC
ViSTAR: Virtual Skill Training with Augmented Reality with 3D Avatars and LLM coaching agent
Harvard University(哈佛大学);University of Tsukuba(筑波大学);Dolby Laboratories(杜比实验室);University of Minnesota-Twin Cities(明尼苏达大学双城分校)
ViSTAR通过AR技术提供篮球技能训练,利用3D虚拟角色和LLM教练代理提供平衡、姿势和节奏反馈,提升自我观察和运动修正能力。
2026-03-18 cs.HC