发表机构
Skolkovo Institute of Science and Technology; R&D Center, MWS（斯科尔科沃科技学院; MWS研发中心）
机构由 AI 辅助整理，请以论文原文为准。AI 中文总结
ORCESTRA是一款混合现实系统，通过无代码路径点示教和语言引导控制实现机器人数字孪生编程，支持多种异构机器人，其混合现实验证可作为语言引导机器人物理部署前的安全层。
AI 中文摘要
ORCESTRA是一种混合现实系统，用于通过无代码路径点示教和语言引导控制对机器人数字孪生进行编程。在透视混合现实工作空间中，用户可将机器人孪生体放置在真实表面上，示教轨迹，保存机器人相关的交互片段，或发出语音/文本命令，视觉语言模型会将这些命令转换为结构化的数字孪生计划。两种交互模式共享一个后端，用于度量对齐、具身感知验证、预览、确认及数字孪生执行。该系统支持异构机器人具身，包括固定基座操纵器、移动基座和人形机器人，证明混合现实验证可作为物理部署前语言引导机器人编程的安全层。
英文摘要
ORCESTRA is a mixed-reality system for programming robot digital twins through no-code waypoint teaching and language-guided control. In a passthrough mixed-reality workspace, users place robot twins on real surfaces, teach trajectories, save robot-relative episodes, or issue spoken/typed commands that a vision-language model converts into structured digital-twin plans. Both interaction modes share a backend for metric grounding, embodiment-aware validation, preview, confirmation, and digital-twin execution. The system supports heterogeneous robot embodiments, including fixed-base manipulators, a mobile base, and a humanoid robot, demonstrating MR validation as a safety layer for language-guided robot programming before physical deployment.
Comments4 page, 3 figures, 1 table, ISMAR 2026
