CARING-AI: Towards Authoring Context-aware Augmented Reality INstruction through Generative Artificial Intelligence
针对AIGC缺乏上下文信息限制AR指令创作的问题,开发CARING-AI系统,利用GenAI生成融入时空上下文的人形化身动画指令,两项用户研究验证了其系统可用性与创作便捷性。
2025-01-27 cs.HC
MRGEN: A Conceptual Framework for LLM-Powered Mixed Reality Authoring Tools for Education
LIUM, Le Mans Université(里摩斯大学);IRISA, Université de Rennes(里莫斯大学)
本文提出MRGEN框架,利用大语言模型帮助教师创建适用于移动设备的混合现实学习活动,实验显示AI辅助显著缩短任务时间,90%以上参与者认为AI支持有助于构思和对齐学习目标。
2026-03-12 cs.AI cs.HC
AdapTest: Supporting Designers in Authoring and Evaluating Environmentally Responsive User Interfaces for Extended Reality
KAIST(韩国科学技术院);Adobe Research(Adobe研究);National University of Singapore(新加坡国立大学)
AdapTest是支持设计师创作评估XR环境响应式UI的原位工具,经12名设计师对比研究,可帮助其考虑更多环境因素,为该领域提供以设计师为中心的集成方法。
2026-10-19 cs.HC
PoVRPoint: Authoring Presentations in Mobile Virtual Reality
虚拟现实(VR)通过补充具有大的三维输出空间和空间输入的传统输入设备,具有支持移动知识工作者的潜力。以前支持VR知识工作的研究探索了使用物理键盘的文本输入和使用组合笔和触摸输入的电子表格交互等领域。受这些工作的启发,本文探讨了在移动环境中创作演示文稿的VR设计空间。我们提出PoVRPoint -一套工具耦合笔和触摸式编辑的演示文稿在移动设备上,如平板电脑,与VR提供的交互功能。我们研究扩展显示空间的效用,例如,帮助用户识别目标幻灯片,支持幻灯片上的对象的空间操作,创建动画,并促进多个,可能被遮挡的形状的安排。除此之外,我们的研究结果表明:1)VR提供的宽视场导致与视觉上突出的目标的仅平板电脑界面相比,目标载玻片识别时间显着更快; 2)与两个基线界面相比,VR中的三维视图在存在遮挡的情况下能够显着更快地进行对象重新排序。用户研究进一步证实,互动技术被发现是可用的和愉快的。
2022-01-17 cs.HC
Jigsaw: Authoring Immersive Storytelling Experiences with Augmented Reality and Internet of Things
针对AR沉浸式叙事视觉局限、创作门槛高的问题,提出融合移动AR与IoT设备的Jigsaw系统,支持新手创作体验沉浸式故事,实验验证其有效性,同时指出感官过载挑战并讨论设计方向。
2025-01-14 cs.HC
MARVisT: Authoring Glyph-based Visualization in Mobile Augmented Reality
本文提出移动 AR 创作工具 MARVisT,通过现实信息辅助非专家绑定数据、真实对象与虚拟字形,以快速创建基于字形的 AR 可视化,并用示例和用户研究验证其效果。
2024-05-10 cs.GR cs.HC
Understanding Young People's Creative Goals with Augmented Reality
通过八场工作坊调查17名年轻人的AR创作需求,提出四种创作方式及四项设计启示,以促进年轻人参与AR内容创作。
2024-11-04 cs.HC
CAVE-AR: A VR Authoring System to Interactively Design, Simulate, and Debug Multi-user AR Experiences
尽管增强现实(AR)取得了进展,但用这项技术创造有意义的体验的过程仍然极具挑战性。由于不同的跟踪实现和硬件限制,开发AR应用程序要么需要低级编程技能,要么通过特定的创作工具完成,这在很大程度上牺牲了定制AR体验的可能性。现有的开发工作流也不支持预览或模拟AR体验,需要一个漫长的试错过程,内容创建者在每次迭代中部署和物理测试应用程序。为了减轻这些限制,我们提出了CAVE-AR,一种新颖的虚拟现实系统,用于创作,模拟和调试自定义AR体验。CAVE-AR可作为独立或插件工具使用,其概念是在同一个全球参考系统中表示AR内容和跟踪信息,混合地理信息,建筑特征和传感器数据以模拟AR体验的上下文。由于其对现有跟踪技术的新颖抽象,CAVE-AR独立于用户设备运行,并与现有编程工具集成,以提供最大的灵活性。我们的VR应用程序为设计师提供了创建和修改AR应用程序的方法,即使其他人正在使用它。CAVE-AR进一步允许设计师跟踪用户的行为方式,预览他们当前看到的内容,并通过几个不同的渠道与他们进行交互。为了说明我们提出的开发工作流程,并展示我们的创作系统的优势,我们介绍了两个CAVEAR用例中创建和测试的增强现实应用程序。我们将CAVE-AR工作流程与传统开发方法进行了比较,并展示了模拟和实时应用程序调试的重要性。
2019-02-28 cs.HC
In-Situ Immersive Analytics Authoring through Ergonomic Keyboard Support
提出人体支撑键盘(BSK)系统,允许用户在增强现实中移动使用蓝牙键盘,实验表明其在移动场景下具有可接受的错误率和任务完成时间,并提升了舒适度,为沉浸式分析创作提供了表达性和人体工学支持。
2026-06-08 cs.HC
SonifyAR: Context-Aware Sound Generation in Augmented Reality
SonifyAR提出基于大语言模型的AR声音创作系统,通过演示编程自动收集AR事件上下文,并结合推荐、检索、生成与迁移方法生成上下文感知音效,经用户研究与示例应用验证其可用性。
2024-08-12 cs.HC
Planar or Spatial: Exploring Design Aspects and Challenges for Presentations in Virtual Reality with No-coding Interface
University of Waterloo(滑铁卢大学)
本文通过专业访谈提出VR演示的设计方面与挑战,并构建无代码创作原型VRStory;12人用户研究表明用户虽认可沉浸空间特性,却仍偏好平面静态格式。
2025-10-20 cs.HC
HOICraft: In-Situ VLM-based Authoring Tool for Part-Level Hand-Object Interaction Design in VR
KAIST(韩国科学技术院);New York University(纽约大学)
HOICraft是一种基于VLM的VR手-物体交互设计工具,通过推荐可交互元素、自定义属性和映射手部运动,提升VR中HOI设计效率。
2026-02-09 cs.HC
PaperToPlace: Transforming Instruction Documents into Spatialized and Context-Aware Mixed Reality Experiences
针对纸质说明与物理环境缺乏连接、操作效率低的问题,研究提出包含创作与使用双管线的PaperToPlace工作流,可快速将纸质说明空间化为MR体验并智能放置步骤,实验验证了其可用性与效率优势。
2023-08-26 cs.HC
The Gesture Authoring Space: Authoring Customised Hand Gestures for Grasping Virtual Objects in Immersive Virtual Environments
TU Kaiserslautern(凯泽斯劳滕工业大学);German Research Center for Artificial Intelligence(德国人工智能研究中心)
自然的用户界面正在兴起。增强、虚拟和混合现实盔装显示器的制造商越来越多地将新传感器集成到其消费级产品中,从而无需额外硬件即可实现手势识别。这为虚拟环境中的徒手交互提供了新的可能性。这项工作提出了一个手势创作工具,对象特定的抓取手势,允许在现实世界中的虚拟对象被抓住。所提出的解决方案使用模板匹配进行手势识别,并且不需要技术知识来设计和创建定制的手势。在用户研究中,所提出的方法相比,捏手势和控制器抓虚拟物体。不同的抓取技术进行了比较,在准确性,任务完成时间,可用性和自然性。研究表明,手势创建的方法被用户认为是一个更自然的输入方式比其他人。
2022-07-03 cs.CV cs.HC
PartInteractor: Intent-Driven Part-Aware 3D Authoring for Continuous Co-Creation in XR
The Pennsylvania State University(宾夕法尼亚州立大学)
PartInteractor是支持语音、草图、图像输入的部件感知三维创作框架,将语义部件层级作为可操控单元,提升生成后控制与意图一致性,助力XR中持续人机协同创作。
2026-08-04 cs.HC
SonoCraftAR: Towards Supporting Personalized Authoring of Sound-Reactive AR Interfaces by Deaf and Hard of Hearing Users
University of Washington(华盛顿大学);Dong-A University(东亚大学);University of Michigan(密歇根大学)
SonoCraftAR通过自然语言输入实现聋人及听力障碍者自定义声音反应AR界面创作,展示开放式的可视化创作可能性及AI辅助的可及性提升。
2025-08-25 cs.HC
It Depends: Re_Authoring Play Through Clinical Reasoning in Wearable AR Rehab Games
Bouvé College of Health Sciences, Northeastern University(东北大学布韦健康科学学院);Ghost Lab, Northeastern University(东北大学幽灵实验室);College of Arts, Media and Design, Northeastern University(东北大学艺术、媒体与设计学院)
研究通过临床推理重新创作可穿戴AR康复游戏,探讨了三种重新创作方式,并提出设计原则和指南以促进临床应用。
2026-03-13 cs.HC
VRCopilot: Authoring 3D Layouts with Generative AI Models in VR
University of Michigan(密歇根大学)
该研究提出整合预训练生成式AI的VR混合主动创作系统VRCopilot,通过多模态交互和线框中间表示支持人机协同3D布局创作,经用户研究验证了不同创作模式的用户自主权与创造力表现差异。
2024-08-18 cs.AI cs.ET cs.HC
Who Explains Privacy Policies to Me? Embodied and Textual LLM-Powered Privacy Assistants in Virtual Reality
Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI) Dresden/Leipzig, Leipzig University(莱比锡大学可扩展数据分析与人工智能中心);LMU Munich(慕尼黑大学);University of the Bundeswehr Munich(联邦国防军慕尼黑大学)
本研究提出基于大型语言模型的虚拟现实隐私助手,通过文本和具身交互模式提升用户对隐私政策的理解和决策质量。
2026-03-02 cs.HC
Envisioning Audio Augmented Reality in Everyday Life
The University of Sydney(悉尼大学);Contxtual
本文通过自民族志和调查研究,提出AAR在日常生活中的十种角色框架,强调情境感知设计的重要性。
2026-01-29 cs.HC
CarGameAR: An Integrated AR Car Game Authoring Interface for Custom-Built Car Programed on Arduino Board
本研究提出CarGameAR集成式AR赛车游戏创作界面,可控制Arduino自制小车运动,支持虚拟环境键盘操控与AR手势交互,兼具教育与娱乐应用价值。
2023-04-28 cs.HC
PlayWrite: A Multimodal System for AI Supported Narrative Co-Authoring Through Play in XR
Institute of Neurosciences of the University of Barcelona(巴塞罗那大学神经科学研究所);Autodesk Research(Autodesk研究)
PlayWrite是一种通过XR中的游戏化互动实现AI支持的叙事协作写作的多模态系统,通过直接操控虚拟角色和道具,结合多智能体AI管道和大型语言模型,促进高度即兴和游戏化的创作过程。
2026-03-02 cs.AI cs.HC
ReRoom: Blending Virtual and Physical Contexts for In Situ Room Planning in Mixed Reality
College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机科学与软件工程学院);Department of Interactive Media, Hong Kong Baptist University(香港浸会大学互动媒体系)
ReRoom是一款混合现实系统,通过虚拟房间代理实现原位房间布局创作,采用技能引导的布局智能体生成高质量布局,其原位工作流可优化房间规划体验。
2026-09-04 cs.GR cs.HC
reVISit-XR: Bringing Extended Reality into Embeddable, Trackable, and Replayable Visualization Studies
Worcester Polytechnic Institute(伍斯特理工学院)
reVISit-XR扩展了reVISit,使WebXR刺激在实证可视化研究中可嵌入、可追踪、可回放,通过序列化场景、收集响应和捕获状态,支持完整研究生命周期,并通过示例和部署研究验证可行性。
2026-10-07 cs.HC
Breaking the Plane: Exploring Real-Time Visualization of 3D Surfaces in Augmented Reality with Handwritten Input
本文介绍一款AR头显应用,通过手写输入解析方程并实时绘制三维函数曲面,结合交互与动态可视化,显著提升学习参与度和问题解决效果。
2025-07-08 cs.HC
Pika: Empowering Non-Programmers to Author Executable Governance Policies in Online Communities
Pika 系统通过声明式语言和表单化 Web 界面,使非程序员能以比程序员快约 2.5 倍的速度编写可执行在线社区治理策略,降低技术门槛并支持多样化治理需求。
2024-02-27 cs.HC
Teachable Reality: Prototyping Tangible Augmented Reality with Everyday Objects by Leveraging Interactive Machine Teaching
IIIT-Delhi(德里英迪拉甘地信息技术学院);University of Calgary(卡尔加里大学)
本文介绍了可教现实,一个增强现实(AR)的原型工具,用于创建交互式的有形AR应用程序与任意的日常对象。Teachable Reality利用基于视觉的交互式机器教学(例如,Teachable Machine),它可以捕捉真实世界的交互,用于AR原型设计。它使用按需计算机视觉模型识别用户定义的有形和手势交互。在此基础上,用户可以轻松创建功能性AR原型,而无需编程,并通过一个用户操作创作界面实现。因此,我们的方法允许有形AR应用程序的灵活性,可定制性和通用性,可以解决当前基于标记的方法的局限性。我们探索设计空间并展示各种AR原型,其中包括有形和可变形的界面,上下文感知助手和身体驱动的AR应用程序。我们的用户研究和专家访谈的结果证实,我们的方法可以降低创建功能性AR原型的障碍,同时还可以实现灵活和通用的原型设计体验。
2023-02-21 cs.CV cs.HC cs.LG
Immersive Invaders: Privacy Threats from Deceptive Design in Virtual Reality Games and Applications
本研究通过评估12款顶级VR应用,揭示欺骗性设计在VR中的表现,发现VR特有功能放大数据披露,并提出平衡沉浸与隐私的伦理设计建议。
2025-09-12 cs.HC
Towards Driving Policies with Personality: Modeling Behavior and Style in Risky Scenarios via Data Collection in Virtual Reality
University of Maryland, College Park(马里兰大学帕克分校)
自动驾驶研究目前面临着风险场景表示的数据稀疏性。这样的数据在现实世界中很难从道德上获得,而且通过模拟获得也不可靠。虚拟现实(VR)驾驶模拟器的最新进展降低了在模拟中解决这个问题的障碍。我们提出了第一个数据汇集框架,用于使用VR从真实人类驾驶数据的风险场景,以及伴随的数字驾驶个性特征。我们验证所得数据集的统计分析和模型的驾驶行为与八因素的个性向量的基础上的多维驾驶风格量表(MDSI)。我们的方法、数据集和分析表明,可以在没有深度学习或大型数据集的情况下对真实的驾驶个性进行建模,以补充自动驾驶研究。
2023-03-08 cs.HC cs.RO
Task Breakpoint Generation using Origin-Centric Graph in Virtual Reality Recordings for Adaptive Playback
KAIST UVR Lab(韩国科学技术院虚拟现实实验室);KAIST KI-ITC ARRC(韩国科学技术院知识融合技术集成应用研究中心)
本文提出基于起源中心图的任务断点生成方法,用于自适应VR播放中的任务分割。
2026-03-08 cs.HC
Learning Visualization Policies of Augmented Reality for Human-Robot Collaboration
The State University of New York at Binghamton(纽约州立大学宾汉姆顿分校)
在人机协作领域,增强现实(AR)技术使人们能够可视化机器人的状态。目前基于AR的可视化策略是手动设计的,这需要大量的人力和领域知识。当可视化的信息太少时,人类用户发现AR界面没有用;当可视化的信息太多时,他们发现难以处理可视化的信息。在本文中,我们开发了一个名为VARIL的框架,使AR代理能够从演示中学习可视化策略(可视化什么,何时以及如何)。我们创建了一个基于Unity的平台,用于模拟仓库环境,人类和机器人队友在交付任务上进行协作。我们已经收集了一个数据集,其中包括可视化机器人当前和计划行为的演示。与真实人类参与者的实验结果表明,与文献中的竞争基线相比,我们学习的可视化策略显着提高了人类-机器人团队的效率,同时降低了人类用户的分心程度。VARIL已经在一个内置的实验室模拟仓库中进行了演示。
2022-11-13 cs.HC cs.LG cs.RO
When Generative AI Meets Extended Reality: Enabling Scalable and Natural Interactions
Pennsylvania State University(宾夕法尼亚州立大学)
本文探讨生成式AI与扩展现实的结合,通过三个用例展示如何通过语言驱动交互和自动化内容生成解决XR在可扩展性和自然交互方面的挑战。
2026-01-13 cs.AI cs.HC
Automated capture and delivery of assistive task guidance with an eyewear computer: The GlaciAR system
在本文中,我们描述和评估的混合现实系统,旨在增强用户的任务指导应用相结合的自动化和无监督的信息收集与微创视频指南。其结果是一个自包含的系统,我们称之为GlaciAR(用于增强现实的启用玻璃的上下文交互),该系统通过从观察用户执行的动作中提取上下文交互来运行。GlaciAR能够i)基于头部运动注意力模型自动确定相关时刻,ii)自动生成视频指导信息,iii)基于目标检测方法触发这些视频指导,iv)通过观察多个用户而无需监督地学习,以及v)完全在当前眼镜计算机(Google Glass)上运行。我们描述了GlaciAR的组成部分,以及对用户如何使用该系统实现三项任务的评估。我们认为这项工作是朝着开发系统的第一步,该系统旨在扩大指导系统中众所周知的困难创作问题,并通过微创视觉指导增强人们的自然能力。
2016-12-29 cs.HC
Enhancing User Experience in Virtual Reality with Radial Basis Function Interpolation Based Stereoscopic Camera Control
向用户提供深度丰富的虚拟现实(VR)体验而不引起不适仍然是当今市场上可买到的盔装显示器(HMD)的挑战,为了将视觉不适保持到最小,HMD对立体相机参数实施严格的措施。然而,这些措施往往会导致深度感较浅的VR体验。我们提出了第一种方法,可以与现有的消费者HMD一起用于虚拟环境(VE)中的自动立体相机控制。使用径向基函数插值和投影矩阵操作,我们的方法使得有可能显着提高整体感知深度方面的用户体验,同时保持与默认安排的视觉不适。在我们的实现中,我们还引入了第一个沉浸式界面,用于为任何VE创作独特的3D立体电影摄影,以体验消费者HMD。我们进行了一项用户研究,展示了我们的方法在卓越的图片质量和感知深度方面的好处。我们还研究了结合我们的方法使用景深(DoF)的效果,并观察到添加我们的DoF实现被视为降级的体验,如果不是类似的话。
2019-11-11 cs.GR cs.HC
Tell-XR: Conversational End-User Development of XR Automations
Tell-XR利用大语言模型以对话方式引导非程序员通过ECA规则定义XR自动化,经形成性研究确定关键对话阶段并设计系统架构,在VR博物馆和AR智能家居两个场景中验证了其有效性。
2025-04-12 cs.HC
Sketch-based Access Control: A Multimodal Interface for Translating User Preferences into Intent-Aligned Policies
Carnegie Mellon University(卡内基梅隆大学)
本文提出SBAC系统,结合草图和多模态大语言模型,帮助用户逐步完善访问策略,发现潜在问题并验证策略行为。
2026-05-11 cs.CR cs.HC
A computational medical XR discipline
本文提出计算医学扩展现实(CMXR)学科,融合计算科学与智能XR、空间计算及深度学习方法,以解决医学和神经科学中的培训、规划、导航、治疗与康复等难题。
2024-07-01 cs.GR cs.HC
CoGen3D: An Agentic Human-AI Co-Design Pipeline for 3D Asset Generation for Virtual Reality
Nanjing University of Information Science and Technology(南京信息工程大学);Japan Advanced Institute of Science and Technology(日本科学技术大学);The University of Sydney(悉尼大学);University of Copenhagen(哥本哈根大学);TU Dortmund University(多特蒙德技术大学);Research Center Trustworthy Data Science and Security(可信数据科学与安全研究中心)
研究针对虚拟现实3D资产创作需建模专业知识的问题,引入CoGen3D智能人机协同设计管道,经用户研究评估,发现其可促进创作、改变情感反应,推动创作从技术执行转向协作空间设计。
2026-07-07 cs.AI cs.HC
Annotating Privacy Policies in the Sharing Economy
Uber、Airbnb和TaskRabbit等数字共享经济(DSE)的应用程序已成为现代社会经济增长和共享繁荣的主要推动力。然而,通过这些应用程序进行的商品、服务和数据的复杂交换经常使其最终用户的隐私处于危险之中。DSE应用程序的隐私政策旨在披露如何收集和处理私人用户数据。然而,在现实中,这样的政策是冗长和难以理解的,使DSE用户容易受到隐私侵犯的做法。为了解决这些问题,在本文中,我们提出了一种自动化的方法来注释DSE市场中的隐私政策。我们的方法识别这些政策中的数据汇集声明,并将其映射到应用程序的质量功能。视觉和文字注释,然后用来进一步解释和证明这些索赔。所提出的方法与18 DSE应用程序的用户进行了评估。结果表明,注释隐私政策可以显着提高他们的可理解性的平均DSE用户。我们的研究结果旨在帮助DSE应用程序开发人员起草更易于理解的隐私政策,并帮助其最终用户在世界上增长最快的软件生态系统之一中做出更明智的决策。
2022-10-26 cs.CR cs.HC cs.SE
Decoding pedestrian and automated vehicle interactions using immersive virtual reality and interpretable deep learning
Ryerson University(瑞尔森大学)
为了确保在自动驾驶汽车时代行人友好的街道,重新评估城市地区的现行政策,做法,设计,规则和法规至关重要。本研究调查行人过街行为,作为城市动态的一个重要因素,预计将受到自动驾驶汽车的存在。为此,提出了一个可解释的机器学习框架,以探讨在自动驾驶汽车存在的情况下,影响行人在穿过中间街区人行横道前等待时间的因素。为了收集丰富的行为数据,我们开发了一个动态和沉浸式的虚拟现实实验,180名参与者来自大多伦多地区(GTA)4个不同地点的异质人群。然后使用数据驱动的Cox比例风险(CPH)模型分析行人等待时间行为,其中协变量的线性组合被灵活的非线性深度神经网络取代。所提出的模型在拟合优度方面实现了5%的改进,但更重要的是,使我们能够纳入更丰富的协变量集。一个基于博弈论的可解释性方法被用来了解不同的协变量的行人等待过马路前的时间的贡献。结果表明,道路上自动驾驶汽车的存在,更宽的车道宽度,道路上的高密度,有限的视线距离和缺乏步行习惯是导致等待时间延长的主要因素。我们的研究表明,为了向对残疾人友好的城市地区迈进,应考虑国家一级的儿童教育方案,加强老年人的安全措施,推广积极的交通方式,并修订交通规则和条例。
2021-01-05 cs.HC cs.LG
Assistive VR Gym: Interactions with Real People to Improve Virtual Assistive Robots
Georgia Institute of Technology(佐治亚理工学院)
多功能机器人护理人员可以使全球数百万人受益,包括老年人和残疾人。最近的工作探索了机器人护理人员如何通过物理模拟学习与人互动,但将学到的知识转移到真正的机器人上仍然具有挑战性。虚拟现实(VR)有可能帮助弥合模拟和现实世界之间的差距。我们介绍了辅助VR健身房(AVR健身房),它使真人能够与虚拟辅助机器人进行交互。我们还提供证据表明,AVR Gym可以帮助研究人员提高模拟训练的辅助机器人与真人的性能。在AVR Gym之前,我们使用两个模拟机器人(来自Willow Garage的PR2和来自Kinova的Jaco),仅在模拟中训练机器人控制策略(原始策略),用于四个机器人任务(机器人辅助喂食,饮水,瘙痒抓挠和床上洗澡)。与AVR Gym合作,我们根据从真人测试原始政策中获得的见解制定了修订后的政策。通过对AVR Gym的八名参与者进行的正式研究,我们发现原始策略表现不佳,修订后的策略表现明显更好,并且用于训练修订后策略的生物力学模型的改进导致模拟人更好地匹配真实参与者。值得注意的是,与会者非常不同意原始政策在援助方面取得了成功,但非常同意修订后的政策在援助方面取得了成功。总的来说,我们的研究结果表明,VR可以用来提高模拟训练的控制策略的性能,而不会使人处于危险之中,从而成为真正的机器人辅助的宝贵垫脚石。
2020-07-22 cs.HC cs.LG cs.RO