Comparing Controller-Free Pointing Techniques Across Depth for 2D Selection in Augmented Reality
Carleton University(卡尔顿大学);Monash University(莫纳什大学)
基于ISO 9241-411标准,系统评估五种免控制器指向技术在增强现实中跨深度(2m、6m、10m)的二维目标选择性能,发现头部和眼部指向显著优于手部方法,且头部指向准确性和一致性最佳。
2026-06-07 cs.HC
Varifocal Displays Reduce the Impact of the Vergence-Accommodation Conflict on 3D Pointing Performance in Augmented Reality Systems
Shibaura Institute of Technology(芝浦工业大学);Nara Institute of Science and Technology(奈良先端科学技术大学院大学);University of Calgary(卡尔加里大学);Concordia University(康考迪亚大学);Shanghai Jiao Tong University(上海交通大学);Simon Fraser University(西蒙菲莎大学)
变焦显示屏通过动态匹配焦点距离缓解视近冲突,提升增强现实系统中3D指针性能,但个体差异显著。
2026-09-01 cs.HC
AI Assisted AR Assembly: Object Recognition and Computer Vision for Augmented Reality Assisted Assembly
Massachusetts Institute of Technology(麻省理工学院);Cornell University(康奈尔大学)
针对装配前需手动整理组件的问题,提出结合深度学习目标识别的AI辅助AR装配工作流,可实时定位组件并显示分步指引,通过乐高装配案例验证了方案可行性。
2025-11-13 cs.AI cs.CV cs.HC
Model-Based and Sample-Efficient AI-Assisted Math Discovery in Sphere Packing
本文提出基于模型和样本效率的方法,通过SDP游戏在4-16维中获得新的上界,展示了AI在长期几何问题中的应用潜力。
2025-12-08 cs.AI
Metrics for 3D Object Pointing and Manipulation in Virtual Reality
The University of Edinburgh(爱丁堡大学)
在遥操作和虚拟现实中评估人体运动的性能是一个具有挑战性的问题,特别是在三维空间中,由于复杂的空间设置。尽管存在多种指标,但仍缺少令人信服的标准化3D指标,这加剧了不同研究之间的研究间可比性。因此,评估人类在虚拟环境中的表现是一个长期的研究目标,一个性能指标,结合两个或两个以上的指标在一个公式仍然在很大程度上未被探索,特别是在更高的维度。缺乏这样的度量主要是由于指向和操纵之间的差异,3D中的复杂空间变量,以及平移和旋转运动的组合。在这项工作中,设计了四个实验,并进行了逐步提高空间复杂性的研究和比较现有的指标彻底。研究的目标是量化这些3D任务的难度,并在全3D近个人空间中充分模拟人类的表现。因此,一个新的模型扩展已被提出,其适用性已在所有的实验结果进行了验证,显示出改进的建模和表示的人的表现在组合运动的3D对象指向和操作任务比现有的工作。最后,讨论了该技术在虚拟现实中的三维交互、遥操作和目标任务设计等方面的应用。
2021-06-12 cs.HC cs.RO
Expanding Targets in Virtual Reality Environments: A Fitts' Law Study
本研究针对VR HMD场景下目标扩展研究不足的问题,采用ISO 9241-411多方向指向任务开展用户实验,发现移动中扩展目标宽度1.5/2.5倍可显著缩短选择时间,为VR交互设计提供参考。
2023-08-24 cs.HC
Evaluating the Impact of LLM-Assisted Annotation in a Perspectivized Setting: the Case of FrameNet Annotation
Federal University of Juiz de Fora(弗雷德里克大学);Gothenburg University(哥德堡大学);Brazilian National Council for Scientific and Technological Development - CNPq(巴西科学与技术发展国家委员会 - CNPq)
本文评估了基于LLM的语义角色标注器在透视化设置下对类FrameNet语义标注的半自动化影响,发现半自动设置能提升框架多样性并保持覆盖率,而全自动设置除时间外表现较差。
2025-10-29 cs.AI cs.CL
A Taxonomy of Confabulations and the Perception-Reality Gap in LLM-Assisted Immersive Scene Editing
University of Cambridge(剑桥大学)
研究LLM辅助沉浸式3D场景编辑中的虚构,通过对24名非专业用户的探索性研究构建分类法,报告其普遍性与破坏性,定义感知-现实差距结构,强调负载下虚构意识饱和度,得出对未来系统减轻虚构的设计启示。
2026-07-28 cs.HC
Beyond Conversations: Spatially-Anchored Previews for Intent Disambiguation in LLM-Assisted Geometry Editing in Virtual Reality
University of Cambridge(剑桥大学);German Research Center for Artificial Intelligence(德国人工智能研究中心);Coburg University of Applied Sciences and Arts(科堡应用科学艺术大学)
研究虚拟现实中大型语言模型辅助几何编辑的意图消歧问题,通过结合澄清问题与空间锚定图形预览的混合方法,经实验验证其能提升交互稳定性、改善用户体验,为相关系统集成提供设计依据。
2026-07-28 cs.HC
Virtual Reality Assisted Human Perception in ADAS Development: a Munich 3D Model Study
随着自动驾驶(AD)和高级驾驶员辅助系统(ADAS)的发展,用户舒适度的相关性越来越受到关注。从系统开发的早期阶段开始,在道路上驾驶之前,测试和验证感知舒适性能变得非常重要。目前大多数ADAS测试程序在执行此类舒适性评估方面效率不高。其中一个主要挑战是将高质量、真实和可预测的虚拟交通场景集成到ADAS测试框架中,该框架具有能够感知虚拟环境的基于物理的传感器。在本文中,我们提出了我们的发展虚拟现实为基础的ADAS测试框架,提高人类的感知评价。主要贡献在于三个方面。首先,我们介绍了我们在德国慕尼黑市的一个大的和高质量的(现实主义,结构,纹理)的3D交通模型的发展。其次,我们优化了三维模型的虚拟现实的目的,并实时能够人在环ADAS测试。最后,将模型集成到ADAS框架中,以测试和验证ADAS功能和感知舒适性能。开发的框架组件与说明性的例子。
2022-08-23 cs.HC
SimulataR: Rapid Assisted Reality Prototyping using Design-Blended Videos
SimulataR 提出一种基于桌面的低成本快速辅助现实原型方法,通过将第一人称视角视频与设计原型融合来模拟 aR 体验,经用户研究和设计案例验证其有效性。
2025-02-09 cs.HC
RemVerse: Supporting Reminiscence Activities for Older Adults through AI-Assisted Virtual Reality
RemVerse利用AI生成视觉线索和对话,在VR中支持老年人怀旧,经14人用户研究验证,能触发、具体化并深化记忆,提升参与度和自主性。
2025-07-17 cs.HC
See or Hear? Exploring the Effect of Visual and Audio Hints and Gaze-assisted Task Feedback for Visual Search Tasks in Augmented Reality
本研究提出一种结合视觉/音频提示与注视辅助任务反馈的AR搜索方法,通过用户实验验证其效果,发现组合提示在反馈下可提升搜索效率。
2023-11-14 cs.HC
Accuracy Evaluation of Touch Tasks in Commodity Virtual and Augmented Reality Head-Mounted Displays
越来越多的用于增强现实和虚拟现实(AR/VR)的面向消费者的盔装显示器(HMD)能够进行手指和手跟踪。我们报告了现成的VR和AR HMD在用于基于触摸的任务(如指向或绘图)时的准确性。具体来说,我们报告了VR盔装显示器Oculus Quest、Vive Pro和Leap Motion控制器在连接到VR HMD时的手指跟踪精度,以及AR盔装显示器Microsoft HoloLens 2和Magic Leap的手指跟踪精度。我们提出了两个实验的结果,在其中,我们比较了使用人类参与者和机器人的绝对和相对指向任务的准确性。结果表明,HTC Vive的空间精度低于Oculus Quest和Leap Motion,而微软HoloLens 2的空间精度高于Magic Leap One。这些发现可以作为决策支持的研究人员和从业人员在选择哪些系统在未来使用。
2021-09-22 cs.HC
Location-Independent Robot-Assisted Finishing Using Digital Twins and Extended Reality
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);University of Oulu(奥卢大学)
本文提出一种基于数字孪生和扩展现实的信息物理系统,用于金属增材制造部件的机器人辅助精加工,实现与位置无关的编程与远程操作,并验证了其精度和延迟满足监督需求。
2026-09-09 cs.HC
Assessing Augmented Reality Selection Techniques for Passengers in Moving Vehicles: A Real-World User Study
针对行驶车辆中乘客选择车外数字对象的需求,本文在真实道路条件下比较四种AR选择技术,发现眼部注视最受偏好且性能相当,手指指向则较慢且精度较低。
2023-07-12 cs.HC
ImaginateAR: AI-Assisted In-Situ Authoring in Augmented Reality
University of Washington(华盛顿大学);Niantic Spatial, Inc.(Niantic Spatial公司)
ImaginateAR通过自然语言交互结合AI和3D生成技术,使用户能快速创建户外AR场景,提升非专业人士的AR创作能力。
2025-08-23 cs.HC
Artificial Intelligence Assisted Infrastructure Assessment Using Mixed Reality Systems
University of Central Florida(中佛罗里达大学)
传统的民用基础设施视觉评估方法存在一定的局限性,如采集数据的主观性、检测时间长、人工成本高等。虽然目前采用的一些新技术,即机器人技术,能够收集客观、量化的数据,但在许多情况下,视察员本身的专门知识仍然至关重要,因为这些技术的设计目的不是与人类视察员互动。本研究旨在创建一个智能的,以人为本的方法,为桥梁业主的基础设施检查,维护,管理实践和安全提供显着的贡献。通过开发智能混合现实框架,该框架可以集成到可穿戴全息耳机设备中,例如,桥梁检查员可以自动分析他或她在元件上看到的某种缺陷,例如裂缝,实时显示其尺寸信息以及状态。这种系统可以通过加速检查员的基本任务(例如缺陷测量、状况评估和管理系统的数据处理)来潜在地减少基础设施检查的时间和成本。以人为中心的人工智能将帮助检查员收集更多量化和客观的数据,同时结合检查员的专业判断。这项研究详细解释了所描述的系统和相关方法,将注意力引导的半监督深度学习实施到混合现实技术中,该技术在评估期间与人类检查员进行交互。因此,检查员和AI将协作或通信以改进视觉检查。
2018-12-09 cs.AI cs.CV cs.HC
Human-Augmented Reality Interaction in Rebar Inspection
University of New Mexico(新墨西哥大学)
本研究通过30名参与者实验评估了增强现实辅助钢筋检测系统,发现AR能显著降低身体姿势负担和任务完成时间,同时提升系统可用性,减少职业风险。
2026-04-28 cs.HC
Impact of Extended Reality on Robot-Assisted Surgery Training
Rowan-Virtua School of Osteopathic Medicine(罗文-弗吉尼亚骨科医学院);Rowan University(罗文大学)
本研究通过系统综述与荟萃分析发现,扩展现实模拟器可显著提升新手外科医生的手术表现,其效果与传统物理模拟器训练相当,能在低成本低风险环境下传授复杂手术技能。
2025-01-22 cs.HC cs.RO
Virtual Reality Therapy for the Psychological Well-being of Palliative Care Patients in Hong Kong
在本文中,我们介绍了新的虚拟现实(VR)和增强现实(AR)的治疗,以改善姑息治疗患者的心理健康,根据与临床心理学家谁成功地实施了虚拟现实辅助干预姑息治疗患者在香港医院系统的采访。我们的VR和AR辅助干预是对传统姑息治疗的改编,同时促进患者在因身体虚弱和COVID-19相关限制而被隔离在医院时与家人和朋友的沟通。我们提出的第一个系统是一个网络化的,metaverse平台姑息治疗患者创建定制的虚拟环境与治疗师,家人和朋友的功能作为沉浸式和协作版本的“生活回顾”和“回忆治疗”。第二个拟议的系统将研究在AR环境中使用混合现实远程呈现和触觉触摸,这将允许姑息治疗患者在虚拟空间中物理感受朋友和家人,增加在该环境中的存在感和沉浸感。
2022-07-24 cs.HC
GazePointAR: A Context-Aware Multimodal Voice Assistant for Pronoun Disambiguation in Wearable Augmented Reality
University of Washington(华盛顿大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
GazePointAR是一种基于情境的多模态语音助手,通过结合眼动、指向手势和对话历史来提升可穿戴增强现实中的代词消歧能力。
2024-04-12 cs.HC
Divergent Perceptuomotor Recalibration in Virtual Reality and Video-Passthrough Mixed Reality on the Same Head-Mounted Display
University of Toronto(多伦多大学)
本研究对比同一设备上VR与MR-VPT的手动指向任务,发现二者感知运动重校准模式存在差异,需分别验证对应交互技术。
2026-08-07 cs.HC
Utility of Optical See-Through Head Mounted Displays in Augmented Reality-Assisted Surgery: A systematic review
本文对2013年至2020年期间光学透视盔装显示器(OST-HMD)在增强现实(AR)手术应用中的使用情况进行了系统综述。文章分类如下:OST-HMD器械、手术专业、手术应用背景、可视化内容、实验设计和评价、人机交互的准确性和人为因素。91篇文章符合所有纳入标准。出现了一些明显的趋势。微软的HoloLens在该领域越来越占主导地位,整形外科手术是最受欢迎的应用(28.6%)。到目前为止,最常见的手术环境是手术引导(n=58),分割的术前模型主导可视化(n = 40)。实验主要涉及幻影(n = 43)或系统设置(n = 21),与病人的案例研究排名第三(n = 19),反映了该领域的比较婴儿期。实验涵盖了从注册到感知的问题,具有非常不同的准确性结果。人为因素对OST-HMD实用性具有重要意义。提出的系统解决了一些因素,例如注意力从手术部位转移和2D图像到3D患者解剖结构的心理映射。其他持久的人为因素仍然存在或由OST-HMD解决方案引起,包括易用性,舒适性和空间感知问题。已发表文章的显著上升趋势是明确的,但此类器械尚未在手术室中确立,并且缺乏显示受益的临床研究。在实验室中集中精力解决技术注册和感知因素,再加上设计,结合人为因素的考虑,以解决明确的临床问题,应确保当前的重大研究工作将取得成功。
2022-02-08 cs.HC
Head, Gaze, or Finger? Comparing Object Selection Techniques in Augmented Reality for People with Low Vision
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Rochester(罗切斯特大学)
研究低视力人群在增强现实中对象选择技术,通过混合方法研究,让20名低视力者和18名视力正常者用头部、注视、手指指向三种技术在两种场景选目标,发现不同技术优劣势及低视力者偏好,为其可访问AR交互技术提供见解。
2026-07-09 cs.HC
Gesture First, LLM-Assisted Voice Complement: Exploring Multimodal Robot 'Puppeteer' Teleoperation Via Virtual Counterpart in Augmented Reality
KTH Royal Institute of Technology(皇家理工学院)
本文探讨了通过增强现实中的虚拟对应物实现多模态机器人遥控的方法,比较了仅手势和结合语音与手势的交互方式在性能和用户体验上的差异,提出设计指南以平衡效率、鲁棒性和用户专业性。
2026-05-16 cs.HC cs.RO
Steering Versus Teleporting in Mobile Virtual Reality
Carleton University(卡尔顿大学);Technical University of Denmark(丹麦技术大学);Monash University(蒙纳士大学)
本研究在移动虚拟现实中比较注视与控制器导向的转向和传送,发现注视适合传送、控制器指向利于转向,并为低成本窄视场硬件提出设计建议。
2026-09-28 cs.HC
Quantifying and attenuating pathologic tremor in virtual reality
我们提出了一种虚拟现实(VR)体验,在评估患有活动性上肢震颤的患者时创建了研究级基准,同时为患者提供了在没有病理性震颤的情况下参与VR体验的机会。在VR游戏应用中准确和精确地使用手持运动控制器可能会限制上肢震颤患者。与此同时,测量震颤的客观工具并没有广泛的常规临床使用。我们使用了一个商用的VR系统,并设计了一个具有挑战性的虚拟气球爆裂测试,模拟了一个常见的鼻子到目标的指向任务,由医疗从业者主观评估震颤在检查室。在我们的VR体验中,我们提供了一种软件模式,该模式使用低通滤波器来调整一系列过去数据点上的手部位置和指向方向。该数字滤波器为手部运动创建平滑函数,其有效地去除VR表示中的患者震颤。当病人完成了伸手任务的试验时,病理性震颤的定量数据被数字化记录下来。通过速度、准确性和跨三个运动轴计算的震颤分量,可以以定量、可复制和令人愉快的方式评估患者的震颤幅度。去除数字空间中的震颤可以允许具有显著上肢震颤的患者具有症状的客观临床测量,同时向患者提供正反馈和交互。
2018-09-16 cs.HC q-bio.QM
A Tool for Estimating Success Rates of Raycasting-Based Object Selection in Virtual Reality
Meiji University(明治大学);LY Corporation(LY公司)
本文提出了一种基于Unity的工具,用于估计VR中基于射线追踪的对象选择成功率,以提升UI设计的可用性。
2026-01-07 cs.HC
3D Augmented Reality-Assisted CT-Guided Interventions: System Design and Preclinical Trial on an Abdominal Phantom using HoloLens 2
Perelman School of Medicine at the University of Pennsylvania(宾夕法尼亚大学佩雷尔曼医学院)
背景:平面外病变对CT引导介入治疗提出了挑战。增强现实(AR)头戴式设备已经发展并且能够容易地提供虚拟3D引导以改进CT引导的靶向。目的:描述使用HoloLens 2的三维(3D)AR辅助导航系统的设计,并通过CT引导模拟评估其性能。材料和方法:进行了一项前瞻性试验,评估有和没有AR引导的腹部体模上的CT引导针靶向。共入组了8名具有不同临床经验的操作员,共进行了86次穿刺。比较有无AR引导的手术效率、辐射剂量和并发症发生率。还对第一次进针进行了矢量分析。结果:达到目标的平均总针次从无AR的7.4次减少到有AR的3.4次(减少54.2%,p=0.011)。平均剂量长度乘积(DLP)从无AR的538 mGy-cm降至AR的318 mGy-cm(降低41.0%,p=0.009)。击中非靶病变的并发症发生率从无AR的11.9%(7/59针通过)降至AR的0%(0/27针通过)。有AR与无AR时,第一针通过更接近于理想目标轨迹(分别为4.6°与8.0°偏移,p=0.018)。医学生、住院医生和主治医生在AR指导下的表现都处于同一水平。结论:3D AR引导可以显著提高手术效率并节省辐射剂量,以瞄准具有挑战性的平面外病变。AR引导将所有操作者的性能提高到相同水平,而不考虑先前的临床经验。
2020-05-19 cs.CV cs.HC physics.med-ph
Exploring Users' Pointing Performance on Virtual and Physical Large Curved Displays
本研究通过两项用户实验比较了物理与虚拟大型曲面显示器上的指向性能,发现两者无显著差异,且中心位置性能更优,表明虚拟显示器可作为物理显示器的可行替代。
2023-10-10 cs.HC
Exploring Bi-Manual Teleportation in Virtual Reality
本研究通过用户实验评估了VR中双手传送技术,提出改进的菲茨定律模型,证明双手操作(优势手指向、非优势手选择)能提升传送速度与准确性,并为设计者提供优化指南。
2024-04-20 cs.HC
Dissociable Spatial and Temporal Effects of Interaction Latency in Virtual Reality
University of Toronto(多伦多大学)
通过实验在VR手动指向中施加手与虚拟手之间的延迟,发现交互延迟对终点误差和运动时间产生可分离的空间与时间影响,表明仅用运动时间或效率指标无法全面评估延迟敏感交互。
2026-06-25 cs.HC
Speech recognition assisted by large language models to command software orally -- Application to an augmented and virtual reality web app for immersive molecular graphics
EPFL(洛桑联邦理工学院)
通过结合Chrome的语音识别和大型语言模型的函数调用方法,开发了一个语音控制网页应用,用于沉浸式分子图形。
2026-03-03 cs.HC
EchoLadder: Progressive AI-Assisted Design of Immersive VR Scenes
EchoLadder提出一种利用大型视觉语言模型的人机协作流水线,支持VR场景的交互式修改,通过渐进式设计建议提升新手用户的创造力。
2025-08-04 cs.HC
MIRAGE: Enabling Real-Time Automotive Mediated Reality
Ulm University(乌尔姆大学);UCL Interaction Centre(伦敦大学学院交互中心);Mercedes-Benz Tech Innovation GmbH(梅赛德斯-奔驰技术创新有限公司)
MIRAGE是一个开源工具,通过先进的计算模型实现实时汽车中介现实,提升驾驶安全并探索其伦理与交互设计影响。
2026-01-27 cs.HC
FocusFlow: Leveraging Focal Depth for Gaze Interaction in Virtual Reality
FocusFlow将焦点深度纳入VR注视输入,通过焦点深度检测算法和分层UI实现免手层切换,提升头显设备上注视交互的直观性与效率。
2023-08-14 cs.HC
Deep Learning-Based Semantic Segmentation for Real-Time Kidney Imaging and Measurements with Augmented Reality-Assisted Ultrasound
Institute for Artificial Intelligence in Medicine (IKIM), Essen University Hospital (AöR), University of Duisburg-Essen(人工智能医学研究所(IKIM)、埃森大学医院(AöR)、杜伊斯堡-埃森大学);Center for Virtual and Extended Reality in Medicine (ZvRM), University Hospital Essen (AöR)(医学虚拟与扩展现实中心(ZvRM)、埃森大学医院(AöR));Institute of Computer Graphics and Vision (ICG), Graz University of Technology(计算机图形与视觉研究所(ICG)、格拉茨技术大学);Department of Electrical and Information Engineering (DEI), Polytechnic University of Bari(电气与信息工程系(DEI)、巴里理工学院);Pediatric Clinic II, University Children’s Hospital Essen, University Duisburg-Essen(儿童医院第二儿科诊所、埃森儿童医院、杜伊斯堡-埃森大学);Medical Faculty, University of Duisburg-Essen(医学系、杜伊斯堡-埃森大学);Cancer Research Center Cologne Essen (CCCE), West German Cancer Center, University Hospital Essen (AöR)(科隆-埃森癌症研究中心(CCCE)、西德癌症中心、埃森大学医院(AöR));German Cancer Consortium (DKTK), Partner site University Hospital Essen (AöR)(德国癌症联盟(DKTK)、合作伙伴站点埃森大学医院(AöR));Technical University Dortmund, Faculty of Physics(多特蒙德技术大学、物理系);Faculty of Computer Science, University of Duisburg-Essen(计算机科学系、杜伊斯堡-埃森大学)
本研究提出基于深度学习的语义分割与增强现实技术结合的实时肾脏超声成像与测量方法,通过HoloLens-2实现两种AR-DL辅助管道,利用开源数据集和模型验证可行性与准确性,提升临床诊断效率。
2025-06-30 cs.AI cs.CV cs.HC
Augmented Assembly: Object Recognition and Hand Tracking for Adaptive Assembly Instructions in Augmented Reality
Massachusetts Institute of Technology(麻省理工学院);Cornell University(康奈尔大学)
本文提出一种基于增强现实的自适应装配系统,通过对象识别和手部追踪实现动态指导与错误检测,提升装配效率与用户体验。
2025-11-22 cs.AI cs.HC
Experimental Analysis of Freehand Multi-Object Selection Techniques in Virtual Reality Head-Mounted Displays
针对VR头显中徒手多对象选择技术研究不足的问题,本文实证比较了三种模式切换手势与两种组选择技术组合而成的六种方案,揭示了各方案的性能与用户体验差异,并提出了三项设计启示。
2024-09-02 cs.HC
A Health Monitoring System Based on Flexible Triboelectric Sensors for Intelligence Medical Internet of Things and its Applications in Virtual Reality
Henan University(河南大学);University of Waterloo(滑铁卢大学)
本研究提出一种结合柔性可穿戴摩擦电传感器与深度学习的智能医疗物联网系统,通过嵌入四个传感器的腕带精准监测帕金森病患者的肢体运动、心脏及身份等,为Health 4.0社会提供低成本、高灵敏的全面评估方案。
2023-09-13 cs.AI cs.HC eess.SP
An Exploration of Hands-free Text Selection for Virtual Reality Head-Mounted Displays
诸如使用手持控制器或做出手势的基于手的交互已经被广泛采用作为用于与虚拟现实(VR)和增强现实(AR)盔装显示器(HMD)两者交互的主要方法。相比之下,免提交互避免了对用户的手的需要,尽管它可以提供额外的好处,但在探索和评估这些HMD的免提技术方面的研究有限。随着VR HMD变得无处不在,人们将需要进行文本编辑,这需要选择文本片段。与免提交互类似,文本选择也未得到充分研究。本研究的重点是通过免提交互进行文本选择。我们的探索涉及到一个用户研究,24名参与者调查的性能,用户体验,和三个免提选择机制(驻留,闪烁,语音)的工作量,以补充基于头的指向。结果表明,Blink在完成时间上优于Dwell和Voice。用户的主观反馈也表明,Blink是文本选择的首选技术。这项工作是第一个探索在VR HMD中进行文本选择的免提交互。我们的研究结果为这一重要领域的进一步研究提供了坚实的平台。
2022-10-15 cs.HC
Rambler in the Wild: A Diary Study of LLM-Assisted Writing With Speech
通过十天的日记研究,本文考察了十二位写作者使用LLM辅助语音写作工具Rambler的真实体验,揭示了其情境化写作策略及语音写作在心理与效率上的优势,为未来设计提供了方向。
2025-02-08 cs.HC
Levitation Simulator: Prototyping Ultrasonic Levitation Interfaces in Virtual Reality
我们提出的悬浮模拟器,一个系统,使研究人员和设计人员迭代开发和原型悬浮接口的想法在虚拟现实。这包括用户测试和正式实验。我们推导出一个模型的悬浮粒子在这样的接口的运动。在此基础上,我们开发了一个虚拟现实中悬浮界面的交互式仿真,它展示了真实界面的动力学特性。费茨定律指向研究的结果表明,悬浮模拟器能够实现与真实原型相当的性能。我们在悬浮模拟器中开发了前两个专门用于悬浮界面的交互式游戏:LeviShooter和BeadBounce,然后在真实界面上实现它们。我们的研究结果表明,在两种环境中,参与者在玩游戏时经历了相似的用户参与度。我们分享我们的悬浮模拟器作为开源,从而使悬浮研究民主化,而不需要悬浮装置。
2020-05-13 cs.HC cs.SY eess.SY
Voluminous Fur Stroking Experience through Interactive Visuo-Haptic Model in Virtual Reality
本研究开发集成头戴式显示器与超声波触觉显示器的系统,提出动态适应手部动作的交互式视触觉模型,显著增强了虚拟现实中抚摸丰盈毛发的真实感。
2024-06-28 cs.HC
Accessibility of Virtual Reality Locomotion Modalities to Adults and Minors
虚拟现实(VR)是一种重要的新技术,它从根本上改变了人们体验娱乐和教育内容的方式。由于大多数目前可用的VR产品都是一刀切的,因此即使对于健康的儿童,也不能很好地理解内容设计和用户界面设计的可访问性。需要更多的研究来确保儿童在VR中能够拥有与成人同等优秀的用户。在我们的研究中,我们试图探索健康成年人和未成年人在VR中运动的可及性,包括客观和主观两个维度。我们进行了一项用户体验实验,受试者使用四种不同的运动方式之一来完成一项简单的任务,即在VR中移动和触摸水下动物,以及在不佩戴VR耳机的情况下进行真实世界的行走作为基线。我们的研究结果表明,完全反映现实世界运动的身体运动是成年人和未成年人最不喜欢的。然而,在控制器辅助运动的不同模式中,成人和未成年人之间的偏好和挑战水平存在差异。
2019-04-16 cs.HC
Investigating A Geometrical Solution to the Vergence-Accommodation Conflict for Targeted Movements in Virtual Reality
University of Toronto(多伦多大学);Toronto Metropolitan University(多伦多都会大学);Georgia Tech University(佐治亚理工学院);Ontario Tech University(安大略理工大学)
本文提出了一种基于视觉的几何模型软件解决方案,通过3D指向任务和着色器程序实验,有效减轻了虚拟现实中的视差-调节冲突对运动的影响,提升了交互准确性与用户体验。
2025-05-29 cs.HC
Interactive authoring of outcome-oriented lesson plans for immersive Virtual Reality training
本文提出LLM辅助的交互式系统FlowTrainer,结合逆向设计方法,帮助教育工作者以结果为导向高效创作iVR培训教案,并通过焊接用例验证其有效性。
2025-05-06 cs.HC
Who Explains Privacy Policies to Me? Embodied and Textual LLM-Powered Privacy Assistants in Virtual Reality
Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI) Dresden/Leipzig, Leipzig University(莱比锡大学可扩展数据分析与人工智能中心);LMU Munich(慕尼黑大学);University of the Bundeswehr Munich(联邦国防军慕尼黑大学)
本研究提出基于大型语言模型的虚拟现实隐私助手,通过文本和具身交互模式提升用户对隐私政策的理解和决策质量。
2026-03-02 cs.HC
Fast, Accurate, but Sometimes Too-Compelling Support: The Impact of Imperfectly Automated Cues in an Augmented Reality Head-Mounted Display on Visual Search Performance
虽然在复杂场景中对目标的视觉搜索可能会受益于使用增强现实(AR)盔装显示器(HMD)技术来帮助有效地引导人类注意力,但不完全可靠的自动化支持可能会在偶尔的错误中表现出来。目前的研究探讨了不同的HMD线索,可能支持视觉搜索性能和自动化错误后各自的后果的有效性。56名参与者在一个房间里搜索了一个包含48个物体的3D环境,以便在每次试验之前找到一个目标物体。他们在没有帮助的情况下进行搜索,或者在HMD的三种提示中的一种的帮助下进行搜索:指向目标的箭头,突出显示目标的平面视图小地图,以及描绘目标对象外观的持续可见图标。在一组参与者的17%的试验中,提示是不正确的,而在第二组中,提示是100%正确的。通过分析和建模的搜索速度和准确性,结果表明,箭头和小地图线索描绘的位置信息更有效的比图标线索描绘的视觉外观,无论是整体,当线索是正确的。然而,在暗示出错的罕见情况下,也有一个权衡。最有效的基于AR的提示导致了更大的自动化偏差,其中提示更经常被盲目地跟随,而没有仔细检查原始图像。结果表明了增强现实的好处,以及当AR传达的信息可能由于不完全可靠的系统而不正确时,需要检查潜在的成本。
2023-03-24 cs.HC
Designing a User Interface for Generative Design in Augmented Reality: A Step Towards More Visualization and Feed-Forwarding
针对增强现实中生成式设计缺乏高效界面问题,提出一种自动生成设计约束的UI系统,支持构建环境、编辑对象并导出CSV,通过直观交互和即时反馈提升设计体验。
2025-03-27 cs.HC
Facilitating Self-monitored Physical Rehabilitation with Virtual Reality and Haptic feedback
身体康复对于关节置换手术后的恢复至关重要。作为代表,全膝关节置换术(TKA)需要患者进行密集的身体锻炼,以恢复膝关节的活动范围和肌肉力量。然而,目前的关节置换物理康复方法高度依赖于治疗师的监督,现有的计算机辅助系统缺乏对实现自我监测的考虑,使得家庭物理康复困难。在本文中,我们调查的设计建议,使自我监测康复通过临床观察和焦点小组访谈医生和治疗师。有了这些知识,我们进一步探讨了虚拟现实(VR)为基础的视觉呈现和补充触觉运动指导功能,在我们的实现VReHab,一个自我监测和多模式的物理康复系统与VR和振动触觉和气动反馈在TKA康复的背景。我们发现,第三个角度的实时重建运动的虚拟化身覆盖与目标姿态有效地提供运动感知和指导,而触觉反馈有助于提高用户的运动精度和稳定性。最后,我们实施了\systemname,以促进自我监测术后练习,并通过10例患者的临床研究验证了其有效性。
2022-10-02 cs.HC
Evaluation of Text Selection Techniques in Virtual Reality Head-Mounted Displays
文本选择是包括虚拟现实(VR)盔装显示器(HMD)在内的交互系统中的基本活动。它适用于:跨应用程序或平台共享信息,在阅读文章时突出显示和做笔记,以及文本编辑任务。尽管它很有用,但文本选择交互的空间在VR HMD中还没有得到充分的探索。在这项研究中,我们进行了一项用户研究,24名参与者调查的性能和用户偏好的六个文本选择技术(控制器+驻留,控制器+点击,头+驻留,头+点击,手+驻留,手+捏)。结果显示,Head+Click排名第一,因为它具有出色的速度-准确性性能(第二快的任务完成速度和第三低的总错误率),提供最佳的用户体验,并产生非常低的工作负载-其次是Controller+Click,它具有最快的速度和与Head+Click相当的体验,但总出错率要高得多。根据系统或用户的目标,其他方法也可能是有用的。作为第一个系统的评价指向 * 选择技术在VR中的文本选择,这项工作的结果提供了一个坚实的基础,在这个领域的进一步研究日益重要的VR的未来,以帮助它成为一个更普遍和普及的平台。
2022-10-15 cs.HC cs.MM
Integrating Virtual and Augmented Reality into Public Education: Opportunities and Challenges in Language Learning
TU Berlin(柏林工业大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Hamm-Lippstadt University of Applied Sciences(哈姆-利普施塔特应用科学大学)
本文研究了VR和AR在公共教育中语言学习的机遇与挑战,提出通过优化界面设计和教师培训来提升技术应用效果。
2026-03-09 cs.HC