3D Augmented Reality Tangible User Interface using Commodity Hardware
在过去的几年中,新兴的增强和虚拟现实(AR-VR)领域已经取得了巨大的增长。对于AR系统也变得非常流行的接口是有形接口或被动触觉接口。具体地说,是一种界面,用户可以在其中使用作为物理对象的输入设备来操纵数字信息。这项工作提出了一个低成本的增强现实系统与有形的界面,提供现实和虚拟世界之间的互动。该系统实时估计小彩球(输入设备)的3D位置,将其映射到3D虚拟世界,然后使用它来控制在移动终端中运行的AR应用程序。使用我们的“输入”设备的3D位置,它允许我们实现比2D输入设备更复杂的交互性。最后,我们提出了一个简单、快速和鲁棒的算法,可以估计凸四边形的角点。该算法适用于标记的快速配准,与现有技术相比显着提高了性能。
2020-03-02 cs.HC
Sketched Reality: Sketching Bi-Directional Interactions Between Virtual and Physical Worlds with AR and Actuated Tangible UI
The University of Tokyo(东京大学);University of Calgary(卡尔加里大学);IIIT-Delhi(德里印度理工学院);University of Chicago(芝加哥大学)
本文介绍了草图现实,一种方法,结合AR草图和驱动的有形用户界面(TUI)的双向草图交互。双向草图使虚拟草图和物理对象能够通过物理驱动和数字计算相互“影响”。在现有的AR草图中,虚拟世界和物理世界之间的关系只是单向的--虽然物理交互可以影响虚拟草图,但虚拟草图对物理对象或环境没有回报作用。相反,双向草绘交互允许草绘和致动TUI之间的无缝耦合。在本文中,我们采用桌面大小的小型机器人(索尼Toio)和基于iPad的AR草图工具来演示这一概念。在我们的系统中,在iPad上绘制和模拟的虚拟草图(例如,线、墙、圆柱和弹簧)可以移动、致动、碰撞和约束物理Toio机器人,就好像虚拟草图和物理对象通过AR和机器人运动之间的无缝耦合存在于同一空间中一样。本文提出了一套新颖的交互和双向AR草图的设计空间。我们展示了一系列潜在的应用,如有形的物理教育,可探索的机制,有形的儿童游戏,并通过草图现场机器人编程。
2022-10-04 cs.HC cs.RO
Two Explorative Studies on Tangible Augmented Reality for Neurodevelopmental Disorders
University of Applied Sciences Hamm-Lippstadt(哈姆-利普施塔特应用科学大学);Politecnico di Milano(米兰理工大学)
本文通过两项探索性研究评估两个实体增强现实应用(Holomarket和ATOF)在神经发育障碍个体中的可用性与喜爱度,结果表明其具有作为治疗工具的潜力。
2025-10-16 cs.HC
Cube2Pipes : Investigating Hybrid Gameplay Using AR and a Tangible 3D Puzzle
本研究通过Cube2Pipes游戏,将2×2魔方作为实体界面结合桌面AR,探索混合游戏玩法是否比纯虚拟游戏更吸引用户,并评估其对理解魔方空间移动的帮助。
2024-06-15 cs.GR cs.HC
A Review of Prototyping in XR: Linking Extended Reality to Digital Fabrication
本文系统综述了XR中的原型制作技术,提出五个研究问题并总结了组件、工作流程及最新趋势,探讨了将扩展现实与数字制造联系起来的挑战与机遇。
2025-04-03 cs.HC
MolecuSense: Using Force-Feedback Gloves for Creating and Interacting with Ball-and-Stick Molecules in VR
我们贡献了MolecuSense,一个物理分子构建套件的虚拟版本,基于虚拟现实(VR)中的可视化和与力反馈手套的交互。针对化学教育,我们的目标是让虚拟分子结构更加有形。初步用户研究的结果表明,VR分子构建试剂盒得到了积极的接受。与物理构建套件相比,VR分子构建套件在自然交互方面处于同一水平。此外,它还促进了典型的数字优势,例如分子的保存,出口和共享。研究参与者的反馈也揭示了未来有形分子可视化的潜在途径。
2022-03-17 cs.HC
Tangible Web: An Interactive Immersion Virtual RealityCreativity System that Travels Across Reality
针对当前虚拟现实展示缺乏沉浸感的问题,本文提出一种基于外部传感器环境参数增强VR美学的物理网络系统,通过多模态交互提升视觉吸引力,为在线艺术社区提供虚拟世界交互新见解。
2023-04-05 cs.HC cs.MM
VR Calm Plus: Coupling a Squeezable Tangible Interaction with Immersive VR for Stress Regulation
The Pennsylvania State University(宾夕法尼亚州立大学);Tsinghua University(清华大学);City University of Hong Kong(香港城市大学)
VR Calm Plus通过结合可压缩实体交互与沉浸式VR,提升压力调节效果,增强积极情绪与放松体验。
2026-02-04 cs.HC
Prototyping and Evaluating a Real-time Neuro-Adaptive Virtual Reality Flight Training System
Royal Netherlands Aerospace Centre(荷兰皇家航空研究中心);Tilburg University(蒂尔堡大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本文研究了基于BCI的神经自适应飞行训练系统在VR模拟中的效果,通过对比自适应与固定难度序列,发现主观负荷和飞行表现无显著差异,但飞行员更偏好自适应系统。
2026-05-07 cs.HC
Robotic Haptic Proxies for Collaborative Virtual Reality
提出了一种新的虚拟现实中的交互方法,使用移动机器人作为触觉反馈的代理。这种方法允许VR用户与远程协作者共享和操纵有形的物理对象。因为参与者不直接观察机器人代理,所以它们与虚拟对象之间的映射不需要是直接的。在本文中,我们描述了我们的实现,各种场景的互动,和初步的用户研究。
2017-01-31 cs.HC
Manipulating Tangible Virtual Object Dynamics to Promote Learning of Precision Force Generation
Department of Cognitive Robotics, Delft University of Technology, Delft, 2628 CD, The Netherlands;Department of Socio-medical Sciences, Erasmus School of Health Policy \& Management, Erasmus University Rotterdam, Rotterdam, 3062PA, The Netherlands.;Department of Applied Mathematics, Delft University of Technology, Delft, 2628 CD, The Netherlands;Department of Rehabilitation Medicine, Erasmus Medical Center, Rotterdam, 3015 GD, The Netherlands
本研究提出通过操控有形虚拟物体的动力学(线性、高斯或反对称高斯弹簧模型)来训练精确力控制,实验表明反对称高斯组在训练中力精度最高,但长期保留无显著差异,且参与者主要依赖学习到的目标伸长而非目标力。
2026-05-26 cs.HC cs.RO
Levitation Simulator: Prototyping Ultrasonic Levitation Interfaces in Virtual Reality
我们提出的悬浮模拟器,一个系统,使研究人员和设计人员迭代开发和原型悬浮接口的想法在虚拟现实。这包括用户测试和正式实验。我们推导出一个模型的悬浮粒子在这样的接口的运动。在此基础上,我们开发了一个虚拟现实中悬浮界面的交互式仿真,它展示了真实界面的动力学特性。费茨定律指向研究的结果表明,悬浮模拟器能够实现与真实原型相当的性能。我们在悬浮模拟器中开发了前两个专门用于悬浮界面的交互式游戏:LeviShooter和BeadBounce,然后在真实界面上实现它们。我们的研究结果表明,在两种环境中,参与者在玩游戏时经历了相似的用户参与度。我们分享我们的悬浮模拟器作为开源,从而使悬浮研究民主化,而不需要悬浮装置。
2020-05-13 cs.HC cs.SY eess.SY
DipMe: Haptic Recognition of Granular Media for Tangible Interactive Applications
School of Instrument Science and Engineering, Southeast University(东南大学仪器科学与工程学院);School of Artificial Intelligence, Jilin University(吉林大学人工智能学院)
提出智能设备DipMe,通过蘸取操作获取触觉信号并结合机器学习实时识别颗粒介质类型,构建了多个有形交互应用,拓展了颗粒材料作为新型交互媒介的潜力。
2024-11-13 cs.AI cs.HC
An XR rapid prototyping framework for interoperability across the reality spectrum
延展实境(XR)频谱是混合、增强和虚拟现实的超集,其应用正日益突出,并且可用于各种领域,例如虚拟博物馆。在教育、文化遗产、健康/治疗、娱乐、营销等领域都可以找到这样的例子。现在的大多数计算机图形应用程序仅用于在上述现实之一中操作。XR光谱缺乏应用是一个真正的缺点。这个问题的解决有很多好处。首先,跨XR频谱发布应用程序可以有助于发现其最合适的现实。此外,应用程序可以在特定的现实中更具沉浸感,这取决于其上下文。此外,它的可用性增加到更广泛的用户。例如,如果应用程序在虚拟和增强现实中发布,则可能缺少VR头戴式耳机但没有移动AR设备的用户可以访问该应用程序。在这一点上出现的问题是,“是否有可能在不牺牲UI/UX的情况下以半自动的方式在XR上转换完整的软件应用程序堆栈?".这可能相当困难,具体取决于体系结构和应用程序实现。现在大多数公司只支持一种现实,因为他们缺乏UI/UX软件架构或资源来支持完整的XR频谱。在这项工作中,我们提出了一个“自动现实过渡”的背景下,虚拟博物馆的应用。我们提出了一个开发框架,它将自动允许这种XR过渡。这个框架可以将任何XR项目转换为不同的现实,例如增强或虚拟。它还缩短了开发时间,同时提高了3D应用程序的XR可用性,鼓励开发人员发布跨XR频谱的应用程序。
2021-01-09 cs.GR cs.HC
HoloBots: Augmenting Holographic Telepresence with Mobile Robots for Tangible Remote Collaboration in Mixed Reality
University of Tsukuba(筑波大学);University of Calgary(卡尔加里大学)
本文提出HoloBots系统,通过同步全息用户运动与桌面移动机器人,实现混合现实中的有形远程协作,显著提升了用户的共存感和共享体验。
2023-07-30 cs.HC cs.RO
VR with Older Adults: Participatory Design of a Virtual ATM Training Simulation
在本文中,我们报告了一项研究,一组老年人,他们从事参与式设计研讨会,以创建一个VR ATM培训模拟。根据观察、记录和开发的VR应用程序,我们提出了研讨会的结果,并为最终用户(在这种情况下是老年人)组织机会提供了考虑和建议,以直接参与尖端ICT解决方案的共同创造。其中包括为VR和AR等新兴技术共同设计界面和交互方案。我们讨论了用户参与和硬件和软件工具,适合参与式原型的VR应用程序等方面。最后,我们提出了进一步研究的想法,在该领域的VR参与式原型设计与不同熟练程度的用户,采取措施,制定一个统一的框架,在AR和VR的协同设计。
2019-11-01 cs.CY cs.HC
Exploring Experiential Differences Between Virtual and Physical Memory-Linked Objects in Extended Reality
University of Calgary(卡尔加里大学);Drexel University(德雷塞尔大学)
本研究通过三种交互方式比较虚拟与物理记忆关联对象在扩展现实中的体验,发现物理对象增强社交连接,虚拟对象平衡参与度与易用性,传统虚拟画廊界面效率高但缺乏个人化。
2026-03-22 cs.HC
Deciphering Contact Interactions and Exploration Strategies Underlying Tactile Perception of Material Softness
我们的触觉是必不可少的,并且渗透在涉及自然探索和情感交流的互动中。例如,我们经常在杂货店判断水果的成熟度,抚摸配偶的手臂以提供安慰,抚摸纺织品以衡量其柔软度。同时,提供触觉反馈的交互式显示器在我们的日常生活中变得正常和普遍,并且将丰富和沉浸式交互扩展到增强和虚拟现实中。为了复制触觉并使虚拟对象感觉有形,这种反馈需要传递一种顺应感或柔软感,这是触觉感知的关键维度之一。由于我们对柔软度感知的理解仍然不完整,本研究旨在了解探索性策略和感知线索,可以最佳地编码材料的柔软度。具体来说,我们采用计算有限元建模,生物力学实验,心理物理评估和数据驱动分析的方法。总的来说,这项工作可能有助于工程下一代可穿戴触觉显示,这必须是更有形的,兼容的,和感知自然主义。
2022-10-23 cs.HC q-bio.QM
Understanding Currencies in Video Games: A Review
本文综述了电子游戏货币的现状,通过区分游戏机制与虚拟货币模式并考察11款游戏,为游戏设计师的内部经济设计提供了见解。
2024-09-28 cs.CY cs.HC
Haptic Assembly and Prototyping: An Expository Review
University of Connecticut(康涅狄格大学)
触觉技术在数字产品开发中的一个重要应用是虚拟原型(VP),其中一部分涉及交互式规划,仿真和验证装配相关活动,统称为虚拟装配(VA)。尽管在过去的二十年中进行了大量的研究和开发工作,但触觉辅助VP/VA的工业采用速度比预期的要慢。撇开硬件限制不谈,软件开发中面临的主要障碍可以追溯到缺乏有效和高效的触觉反馈计算模型。这样的模型必须1)适应组装任意形状的对象时所面临的固有几何复杂性;以及2)符合由臭名昭著的帧速率要求所施加的计算时间限制--即,与用于图形渲染的更易管理的30-60 Hz相比,用于触觉反馈的1 kHz。同时实现这些相互竞争的目标绝非易事。这项调查提出了一些概念和计算的挑战和机遇,以及有前途的未来方向,在触觉辅助VP/VA,重点是触觉组件从几何建模和空间推理的角度。主要的重点是重新审视用于实时处理约束多体仿真的不同方法的定义和分类,从基于物理和基于几何的混合和统一的方法,使用各种辅助计算设备来指定,施加和解决装配约束。特别注意的是新开发的“分析方法”继承了运动规划和蛋白质对接,已显示出很大的希望作为一种替代范式,更流行的组合方法。
2017-12-03 cs.CG cs.GR cs.HC
Towards a Deep(er) Understanding of Interaction through Modeling, Simulation, and Optimization
传统的以用户为中心的设计流程已经很难跟上日益快速的技术发展和日益多样化的用户偏好。作为一种解决方案,我们建议通过对整个人机交互循环的模拟和优化来增强进行用户研究的久经考验的方法。这种方法允许通过显式建模更好地理解现象,通过仿真构建虚拟原型,并通过优化改进交互技术。构建预测用户模型还支持HCI理论的创建和验证,并构成了迈向新的、智能的和自适应的用户界面的决定性一步。我们报告我们的经验,在虚拟开发新的互动技术的例子声悬浮,并提出我们的优化为基础的框架HCI。有了这个,我们努力获得更好的理解交互,并在同一时间饲料的问题,如哪些工具和教程是必要的,使虚拟原型更容易为不同的受众的讨论。
2023-02-22 cs.HC
Scenior: An Immersive Visual Scripting system based on VR Software Design Patterns for Experiential Training
虚拟现实(VR)已经重新成为一种低成本、高可用性的消费产品,模拟器培训正在迅速成为许多工业部门的标准。然而,现有的系统要么专注于游戏环境,功能有限,要么只支持虚拟环境的内容创建,而不支持任何快速原型设计和修改。在这个项目中,我们提出了一个无代码的可视化脚本平台,通过快速原型和VR软件设计模式来复制游戏化的培训场景。我们实现并比较了两种创作工具:a)可视化脚本和b)VR编辑器,用于快速重建VR训练场景。我们的可视化脚本模块能够利用基于节点的脚本系统生成培训应用程序,而VR编辑器使用户/开发人员能够直接从虚拟环境中定制和填充新的VR培训场景。我们还介绍了动作原型,这是一种新的软件设计模式,适合复制VR体验的行为任务。此外,我们提出的培训scenegraph架构的主要模型,以代表培训场景的模块化,动态和高度自适应的非循环图的基础上结构化的教育课程。最后,对拟议解决方案进行的基于用户的评估表明,用户(无论其编程专业知识如何)都可以有效地使用这些工具在VR中创建和修改培训场景。
2020-05-03 cs.GR cs.HC
Enhancing immersion in Virtual Reality sports through Physical Interactions
Indian Institute of Technology, Bombay(孟买印度理工学院)
本文通过设计物理控制器原型,解决现有VR控制器在体育虚拟场景中的沉浸性问题,评估其在滑冰游戏中的表现,以提升沉浸感和现实感。
2026-04-22 cs.CY cs.HC
Toward a Unified Metadata Schema for Ecological Momentary Assessment with Voice-First Virtual Assistants
针对语音输入歧义和EMA部署难题,本文提出统一元数据模式,以可运行时渲染的规则支持跨语音设备的语音EMA调查,加速原型迭代。
2024-07-06 cs.HC
FreeIMU: An Open Hardware Framework for Orientation and Motion Sensing
方向和运动感测广泛应用于各种消费产品,如手机、平板电脑和相机,因为它们能够与虚拟信息进行即时交互。然而,任何具有方向和运动感测能力的设备的原型阶段都是相当困难的过程,因为它可能涉及复杂的硬件设计、数学算法和编程。在本文中,我们提出了FreeIMU,一个开放的硬件框架原型定位和运动传感能力的设备。该框架由一个包含各种传感器的小电路板和一个软件库组成,构建在Arduino平台之上。硬件和库都是在开放许可下发布的,并得到了一个活跃社区的支持,允许在研究和商业项目中实施。
2013-03-20 cs.AR cs.ET cs.HC
Deep Learning Development Environment in Virtual Reality
虚拟现实(VR)提供沉浸式可视化和直观的交互。我们利用VR使任何生物医学专业人员都能够部署深度学习(DL)模型进行图像分类。虽然DL模型可以成为数据分析的强大工具,但它们也具有很大的挑战性。为了使深度学习更容易理解和直观,我们构建了一个基于虚拟现实的深度学习开发环境。在我们的环境中,用户可以移动有形物体,仅用双手构建神经网络。我们的软件会自动将这些配置转换为可训练的模型,然后在测试数据集上实时报告其结果的准确性。此外,我们已经丰富了虚拟对象的可视化模型的组件,使用户可以实现洞察他们正在开发的DL模型。通过这种方法,我们弥合了不同专业领域的专业人员之间的差距,同时为模型分析和数据交互提供了一个新的视角。我们进一步建议,深度学习中的开发和可视化技术可以通过集成虚拟现实而受益。
2019-06-13 cs.HC cs.LG cs.MM
Simulating a questionnaire on the framing effects in decision-making processes in a serious game
技术的快速发展引入了新的人机交互形式,这反过来又产生了许多新的媒体形式和一个全新的交互多媒体领域。其中一个主要的媒体,已经越来越受欢迎,因为它的早期发展是视频游戏。很长一段时间以来,视频游戏都是为了娱乐而开发和发行的,然而,在2010年代后期,研究人员对游戏的特性以及如何将其用于不同目的产生了兴趣。电子游戏允许动作-反应的紧密循环,这为许多类型的实验提供了肥沃的土壤,这些实验在物理世界中是不可能或难以进行的,因此可以作为强大的虚拟替代品。能够为玩家产生沉浸式体验的视频游戏提供了探索人类行为和决策过程的替代方式,其中玩家相信他们在游戏中“实际上在那里”,并且游戏是现实的延伸。前景理论问卷调查在假设的情况下探索决策。在大多数情况下,这些实验是在受控环境中进行的,并依赖于受访者的想象力来重现呈现给他们的情况。创造一个虚拟世界,玩家可以直接与之互动,并面对他们的决定的有形后果,使前景理论问题的假设情况更接近受访者。如果玩家可以与虚拟世界互动并操纵虚拟世界,那么他们就更容易对虚拟世界和他们的角色产生共鸣,因此,假设答案代表了玩家决策的更现实的形象。
2021-10-28 cs.HC
Applied User Research in Virtual Reality: Tools, Methods, and Challenges
本章系统梳理了VR用户研究的工具与方法,并通过ESA Argonaut月球着陆器案例展示其在航天早期设计中的可用性评估价值,同时指出当前技术局限与未来接口研究方向。
2024-02-24 cs.HC cs.MM
TouchVR: a Wearable Haptic Interface for VR Aimed at Delivering Multi-modal Stimuli at the User's Palm
Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术研究院(Skoltech))
TouchVR是一种新型的可穿戴式触觉接口,它通过DeltaTouch触觉显示在手掌上提供多模态触觉刺激,通过振动电机在指尖上提供振动触觉反馈。DeltaTouch显示器能够在接触点处生成3D力矢量,并呈现重量、滑动、接触、柔软度和纹理的多模态触觉。VR系统由HTC Vive Pro基站和盔装显示器(HMD)组成,以及用于在VR中跟踪用户手部运动的Leap Motion控制器。MatrixTouch、BallFeel和RoboX应用程序已经开发出来,以展示所提出的技术的能力。一个新的触觉界面可能会给用户带来一个新的沉浸感,使其更具交互性和有形性。
2019-11-11 cs.HC cs.RO