Enabling Intuitive Human-Robot Teaming Using Augmented Reality and Gesture Control
US CCDC Army Research Laboratory(美国CCDC陆军研究实验室);Oak Ridge Associated Universities(橡树岭联合大学);Defence Science and Technology(国防科学技术集团);Swinburne University of Technology(斯威本科技大学)
人机合作提供了巨大的潜力,因为有机会结合异质代理的优势。然而,实现有效的人机团队的关键挑战之一是有效的信息交换-从人到机器人以及从机器人到人。在这项工作中,我们提出并分析了一个增强现实,基于手势的系统,通过改进的信息交换,支持直观的人机合作。我们提出的系统不需要外部仪器,除了人类可穿戴设备,并显示出面向服务的任务的现实世界的适用性的承诺。此外,我们提出了与人类参与者进行的试点研究的初步结果,并强调了经验教训和开放的研究问题,这些问题可能有助于指导自主HRI系统的未来开发、部署和实验。
2019-09-13 cs.AI cs.HC cs.RO
A 3D Mixed Reality Interface for Human-Robot Teaming
ETH Zürich(苏黎世联邦理工学院);Microsoft Mixed Reality Lab(微软混合现实实验室)
本研究提出一种混合现实人机协作系统,含实时多智能体视觉SLAM建图与拖放式控制模块,可实现非视距机器人定位、3D地图叠加可视化及远程位姿控制,经用户研究和实部署验证,相关应用已开源。
2023-10-03 cs.RO
Negotiation-based Human-Robot Collaboration via Augmented Reality
SUNY Binghamton(纽约州立大学宾汉姆顿分校);OPPO US Research Center(OPPO美国研究中心)
有效的人机协作(HRC)需要人类和机器人队友之间的广泛沟通,因为他们的行为可能会产生冲突,协同作用,或两者兼而有之。我们开发了一种新颖的增强现实(AR)界面,以弥合人类和机器人队友之间的沟通差距。在我们的AR接口的基础上,我们为HRC开发了一个AR介导的基于协商的(ARN)框架。我们已经进行了实验,在模拟和真实的机器人在办公室环境中,多个移动机器人的工作交付任务。这些机器人无法独自完成任务,有时需要人类队友的帮助,因此人机合作是必要的。结果表明,与非AR基线方法相比,ARN显着减少了人类-机器人团队的任务完成时间。
2020-03-13 cs.MA cs.RO
Extended Reality as a Mediation Layer for Situated Human Control in Human-Robot Teaming
Coburg University of Applied Sciences and Arts(科堡应用科学与艺术大学);University of Cambridge(剑桥大学);University of Birmingham(伯明翰大学)
研究探讨扩展现实在人机协作中作为情境化人类控制中介层的作用,通过床边护理等场景阐述观点,确定四种中介功能和六个设计维度,为使机器人自主性在动态环境中更具操作性和问责性的XR系统规划研究议程。
2026-07-29 cs.AI cs.HC cs.RO
Design and Evaluation of an Augmented Reality Head-Mounted Display Interface for Human Robot Teams Collaborating in Physically Shared Manufacturing Tasks
Monash University(莫纳什大学);University of British Columbia(不列颠哥伦比亚大学)
我们提供了一个可穿戴的增强现实(AR)系统,我们已经开发的人类-机器人团队工作的任务,需要在共享的物理工作空间的实验评估。AR技术的最新进展已经促进了用于许多人机交互应用的更直观的用户界面的开发。虽然人们预计AR可以为机器人助手提供更直观的界面,帮助人类工人在各种制造场景中工作,但机器人技术的现有研究在很大程度上仅限于远程操作和编程。工业5.0设想人类和机器人在团队中合作。事实上,有许多工业任务可以从人机协作中受益。一个主要的例子是高价值复合材料制造。与我们的行业合作伙伴合作开发这个示例应用程序,我们评估了我们的AR界面设计,用于人类-机器人团队中的共享物理工作空间协作。我们使用建立指标对我们的界面进行了多维分析。我们的用户研究结果(n=26)表明,主观上,AR界面感觉更新颖,标准的操纵杆界面对用户来说感觉更可靠。然而,AR界面被发现可以减少物理需求和任务完成时间,同时提高机器人的利用率。此外,用户选择与机器人合作的自由度也可能影响系统的感知可用性。
2022-03-16 cs.RO
Mixed Reality as Communication Medium for Human-Robot Collaboration
University of Genoa(热那亚大学)
参与协作活动的人类自然能够通过多模态通信将其意图传达给队友,该通信由显式和隐式线索组成。类似地,可以通过使机器人能够经由多个通信信道将其意图传达给人类队友来实现更自然形式的人类-机器人协作。在本文中,我们假设,如果协作机器人能够以直观的方式预测它们与人类队友的动作,那么就可以进行更好的沟通。为了支持这样的说法,我们提出了一个机器人系统的架构,通过该架构,机器人可以利用现代盔装显示器提供动力的混合现实接口,将计划的运动传达给人类队友。具体来说,机器人的全息图,这是叠加到真正的机器人在人类队友的角度来看,显示了机器人的未来运动,让人类提前了解他们,并可能以适当的方式对他们作出反应。我们进行了初步的用户研究,以评估在一个复杂的协作任务的有效性,建议预期的可视化。实验结果表明,一个改进的和更自然的合作,可以通过采用这种预期的通信模式。
2022-06-30 cs.RO
Design and Implementation of a Human-Robot Joint Action Framework using Augmented Reality and Eye Gaze
Monash University(莫纳什大学);University of Victoria(维多利亚大学)
当人类共同完成一项联合任务时,每个人都会建立一个关于情况及其演变的内部模型。有效的协作取决于这些个体模型如何重叠以在团队成员之间形成共享的心理模型,这对于人机团队中的协作过程非常重要。准确的共享心智模型的开发和维护需要个人意图的双向沟通以及解释其他团队成员意图的能力。为了实现有效的人机协作,提出了一种新的人机协作联合行动框架的设计与实现,该框架利用增强现实(AR)技术和用户眼睛注视实现意图的双向交流。我们通过一项有37名参与者的用户研究测试了我们的新框架,发现我们的系统提高了任务效率、信任度和任务流畅性。因此,使用AR和眼睛凝视来实现双向通信是改善影响人类和机器人之间协作的核心组件的一种有前途的方法。
2022-08-25 cs.RO
PIP-LLM: Integrating PDDL-Integer Programming with LLMs for Coordinating Multi-Robot Teams Using Natural Language
Department of Computer Science, University of Southern California(计算机科学系,南加州大学);GRASP Lab, University of Pennsylvania(GRASP实验室,宾夕法尼亚大学)
提出PIP-LLM框架,结合PDDL团队级规划与整数规划机器人级规划,将自然语言指令分解为子任务依赖图,优化旅行成本与负载,提升多机器人协调的成功率和可扩展性。
2025-10-26 cs.AI cs.RO
RICO-MR: An Open-Source Architecture for Robot Intent Communication through Mixed Reality
University of Genoa(热那亚大学)
本文提出RICO-MR开源架构,利用混合现实和头戴式显示器向人类队友传达机器人意图,具备模块化、可重用和可扩展特性,支持独立使用或集成开发,适用于多机器人与人类的复杂协作场景。
2023-09-09 cs.RO
Can A Single Human Supervise A Swarm of 100 Heterogeneous Robots?
Collaborative Robotics and Intelligent Systems Institute(协作机器人与智能系统研究所);Oregon State University(俄勒冈州立大学);SIFT, LLC(SIFT有限责任公司)
本研究通过实地演习验证了单个人类能够监管100个异构机器人蜂群执行真实任务,尽管工作量常超阈值,但任务仍成功完成。
2023-07-31 cs.AI cs.HC cs.RO
Self-Centering 3-DoF Feet Controller for Hands-Free Locomotion Control in Telepresence and Virtual Reality
University of Bonn(波恩大学)
本文提出一种用于远程呈现机器人和虚拟现实的自对中3自由度坐姿脚部控制器,通过双轴倾斜、垂直轴旋转及弹簧自对中实现移动控制,成功应用于竞赛且公开模型,助力免手持移动操控。
2024-11-26 cs.HC cs.RO
Enabling Waypoint Generation for Collaborative Robots using LLMs and Mixed Reality
MIT Media Lab(麻省理工学院媒体实验室);University of Southern Denmark(南丹麦大学);Universal Robots A/S(优傲机器人公司)
提出一种利用大语言模型和增强现实实现自然语言控制机器人路径点生成的框架,并通过真实机器人上的拾放任务验证其有效性。
2024-07-17 cs.HC cs.RO
Learning Visualization Policies of Augmented Reality for Human-Robot Collaboration
The State University of New York at Binghamton(纽约州立大学宾汉姆顿分校)
在人机协作领域,增强现实(AR)技术使人们能够可视化机器人的状态。目前基于AR的可视化策略是手动设计的,这需要大量的人力和领域知识。当可视化的信息太少时,人类用户发现AR界面没有用;当可视化的信息太多时,他们发现难以处理可视化的信息。在本文中,我们开发了一个名为VARIL的框架,使AR代理能够从演示中学习可视化策略(可视化什么,何时以及如何)。我们创建了一个基于Unity的平台,用于模拟仓库环境,人类和机器人队友在交付任务上进行协作。我们已经收集了一个数据集,其中包括可视化机器人当前和计划行为的演示。与真实人类参与者的实验结果表明,与文献中的竞争基线相比,我们学习的可视化策略显着提高了人类-机器人团队的效率,同时降低了人类用户的分心程度。VARIL已经在一个内置的实验室模拟仓库中进行了演示。
2022-11-13 cs.HC cs.LG cs.RO
Planning with Verbal Communication for Human-Robot Collaboration
Carnegie Mellon University(卡内基梅隆大学);Cornell University(康奈尔大学)
人类合作者通过语言和非语言沟通有效地协调他们的行动。我们认为,人类-机器人团队也应该如此。我们提出了一种形式主义,使机器人之间做一个任务,并发出一个话语,以最佳的决定。我们专注于两种类型的话语:口头命令,机器人表达它希望人类队友如何表现,以及状态传达动作,机器人解释为什么它会这样做。人类受试者的实验表明,使机器人发出口头命令是最有效的形式沟通的目标,同时保持用户的信任机器人。交流为什么信息应该明智地处理,因为许多参与者质疑机器人陈述的真实性。
2017-06-14 cs.RO
ORCESTRA: VLM-driven Visual Robot programming in Mixed Reality
Skolkovo Institute of Science and Technology(斯科尔科沃科技学院);R&D Center, MWS(MWS研发中心)
ORCESTRA是一款混合现实系统,通过无代码路径点示教和语言引导控制实现机器人数字孪生编程,支持多种异构机器人,其混合现实验证可作为语言引导机器人物理部署前的安全层。
2026-08-04 cs.CV cs.HC cs.RO
Human-Robot Interaction in a Shared Augmented Reality Workspace
UCLA Center for Vision, Cognition, Learning, and Autonomy (VCLA)(加州大学洛杉矶分校视觉、认知、学习与自主中心(VCLA))
我们设计和开发了一个新的共享增强现实(AR)工作空间的人机交互(HRI),它建立了一个双向的人类代理和机器人之间的通信。在原型系统中,共享的AR工作空间实现了共享感知,因此物理机器人不仅可以在自己的视图中感知虚拟元素,还可以通过感知人类代理的凝视和姿势来推断人类代理的效用-在AR中感知和交互所需的成本。这种新的HRI设计还提供了共享操作,其中物理机器人可以作为主动代理控制和更改AR中的虚拟对象;至关重要的是,机器人可以主动与人类代理交互,而不是纯粹被动地执行接收到的命令。在实验中,我们设计了一个资源收集游戏,定性地演示了机器人如何感知,处理和操纵AR和定量评估HRI的功效使用共享的AR工作空间。我们进一步讨论了该系统如何可能有利于未来的HRI研究,否则具有挑战性。
2020-12-09 cs.HC cs.RO
Ergodic Specifications for Flexible Swarm Control: From User Commands to Persistent Adaptation
Northwestern University(西北大学);Raytheon BBN Technologies(雷神BBN技术公司)
本文提出了一种制定群体控制和高层次的任务规划,是动态响应用户的命令和适应环境的变化。我们设计了一个端到端的管道,从用户命令的触觉平板电脑界面到基于分散遍历覆盖的机器人代理的板载控制。我们的方法证明了可靠的和动态的控制群体集体通过使用遍历规范规划和执行代理轨迹,以及响应用户和外部输入。我们验证了我们的方法在虚拟现实仿真环境中,并在现实世界的实验中,在DARPA OFFSET城市群挑战FX3现场测试与机器人群,基于用户的控制群和基于任务的任务需要一个动态和灵活的响应,实时变化的条件和目标。
2020-06-10 cs.RO
Learning to Stack: Cube-Stacking Imitation Learning from Virtual Reality Demonstrations
University of Louisville(路易斯维尔大学)
本研究提出基于虚拟现实的数据收集流程,在Isaac Sim中收集200个立方体堆叠演示,训练行为克隆策略,实现无需重复遥操作的演示复用。
2026-09-17 cs.RO
HGIC: A Hand Gesture Based Interactive Control System for Efficient and Scalable Multi-UAV Operations
College of Aeronautics and Engineering, Kent State University(肯特州立大学航空与工程学院);Department of Computer Science, Kent State University(肯特州立大学计算机科学系);College of Engineering, Cornell University(康奈尔大学工程学院);Department of Systems Science and Industrial Engineering, Binghamton University(宾汉姆顿大学系统科学与工业工程系)
针对多无人机系统操作中操作员认知负荷高、可扩展性受限的问题,提出基于手势的交互控制系统HGIC,利用计算机视觉将手势转为模块化命令,无需专用硬件,降低培训需求并提升效率,将开源以推动人机交互创新。
2024-03-08 cs.RO
A Comparison of Visualisation Methods for Disambiguating Verbal Requests in Human-Robot Interaction
KTH Royal Institute of Technology(瑞典皇家理工学院)
拾取人类用户请求的对象是人机交互中的常见任务。当多个对象匹配用户的口头描述时,机器人需要在执行动作之前澄清用户指的是哪个对象。先前的研究集中在感知用户的多模态行为,以补充口头命令或尽量减少后续问题的数量,以减少任务时间。在本文中,我们提出了一个系统的参考消歧的基础上可视化和比较三种方法来消除歧义的自然语言指令。在YuMi机器人的受控实验中,我们研究了三种条件下的工作空间的实时增强-混合现实,增强现实和监视器作为基线-使用时间和准确性等客观指标,以及参与度,沉浸感和显示干扰等主观指标。在准确性和参与的条件之间的显着差异,但没有发现在任务时间的差异。尽管混合现实条件下的出错率更高,但参与者发现该模式比其他两种更吸引人,但总体上显示出对增强现实条件的偏好,而不是监视器和混合现实条件。
2018-01-26 cs.HC cs.RO
ARROCH: Augmented Reality for Robots Collaborating with a Human
SUNY Binghamton(纽约州立大学宾汉姆顿分校);OPPO US Research Center(OPPO美国研究中心)
人机协作通常需要广泛的通信,例如,使用自然语言和手势。增强现实(AR)为弥合机器人与人之间的沟通鸿沟提供了另一种方式。然而,目前大多数基于AR的人机通信方法是单向的,专注于人类如何适应机器人的行为,并限于单机器人域。在本文中,我们开发了AR机器人与人类协作(ARROCH),这是一种新的算法和系统,支持室内多房间环境中的双向,多转向,人-多机器人通信。人类可以透过障碍物观察机器人的当前状态和意图,并提供反馈,而机器人的行为则会调整为人类-多机器人团队合作。实验已经进行了真正的机器人和人类参与者使用协作交付任务。结果表明,ARROCH在用户体验和团队效率方面都优于标准的非AR方法。此外,我们还使用Unity(用于AR和人体模拟)和Gazebo(用于机器人模拟)开发了一个新的模拟环境。仿真结果表明,ARROCH的优越性基于AR的基线在人机协作。
2022-02-25 cs.RO
Explainable OOHRI: Communicating Robot Capabilities and Limitations as Augmented Reality Affordances
Princeton University(普林斯顿大学)
本文提出X-OOHRI,一种通过AR界面传达机器人能力和限制的可解释面向对象人机交互系统,通过视觉符号和颜色编码提升人机交互效率。
2026-01-21 cs.HC cs.RO
Evaluating Gesture Recognition in Virtual Reality
Sapienza Università di Roma(罗马大学);PaleBlue
本文旨在解决人机交互中手势识别系统的数据生成与标准化挑战,提出利用虚拟现实仿真生成数据,并定义可作为地面机器人标准的手势命令。
2024-01-09 cs.HC cs.RO
Integrating Large Language Models with Multimodal Virtual Reality Interfaces to Support Collaborative Human-Robot Construction Work
University of Michigan(密歇根大学)
本文提出融合语音、控制器、ROS、BIM、游戏引擎与LLM聊天界面的多模态VR系统,并通过12名工人的石膏板安装实验验证其低负荷、高可用的人机协作价值。
2024-04-04 cs.HC cs.RO
Flying Together: Human-Guided Immersive Shared Control for Aerial Robot Teams in Unknown Environments
New York University(纽约大学);Ecole Polytechnique Federale de Lausanne(洛桑联邦理工学院);University of California Berkeley(加州大学伯克利分校)
本文提出了一种基于虚拟现实的共享控制框架,用于在约束和未知环境中操作无人机团队,通过实时用户引导探索,提升在无结构环境中的自主导航能力。核心方法是一种基于用户引导的运动原语规划器,结合阻抗控制器,使操作员能够灵活影响团队行为并引导无人机前往自主规划器可能忽略的感兴趣区域。
2026-05-20 cs.RO
Morphology dictates a robot's ability to ground crowd-proposed language
University of Vermont(佛蒙特大学)
随着越来越多的机器人与人类在物理上接近,确保它们做出的决策和执行的行动符合人类价值观至关重要。要做到这一点,机器人需要理解人类发出命令背后的真实意图。在本文中,我们将安全机器人定义为一个从人类接收自然语言命令,考虑响应该命令的动作,并准确预测人类将如何判断该动作,如果在现实中执行。我们的贡献是双重的:首先,我们引入了一个网络平台,供人类用户向模拟机器人提出命令。机器人接收命令并根据这些建议的命令采取行动,然后用户提供积极和/或消极的强化。接下来,我们为每个机器人训练一个评论家,以预测人群对人群提出的命令之一的反应。其次,我们证明了机器人的形态在其语言基础中起着重要作用:批评者表明,实验中使用的两个机器人的预测误差比其他机器人低。因此,根据我们的定义,这两个机器人更安全,因为它们更准确地执行所提出的命令。
2017-12-20 cs.AI cs.RO
A Multi-Operator Mixed-Reality Interface for Multi-Robot Control and Coordination: Co-Located and Private Workspace Collaboration
DIBRIS Department, RICE Laboratory, University of Genoa(DIBRIS部门,RICE实验室,热那亚大学)
提出一种扩展至多操作员协作的混合现实界面,支持共位共享工作空间和私有工作空间两种模式,通过注册驱动场景构建、轻量级会话同步和单机器人控制租约防止命令冲突。实验表明两种模式任务性能相当,但共位模式显著提升协作感知和操作员偏好。
2026-06-05 cs.HC cs.RO
HoloSpot: Intuitive Object Manipulation via Mixed Reality Drag-and-Drop
ETH Zurich(苏黎世联邦理工学院);Microsoft(微软公司)
本文提出HoloSpot,一种基于混合现实的拖放界面系统,通过将扫描房间投影为3D全息图并基于Spot-Compose框架将用户拖放命令转化为实时机器人动作,实现了直观的物体操作,并在端到端测试和用户研究中验证了其在危险环境中提升人机协作效率的有效性。
2024-10-14 cs.HC cs.RO
Kinesthetic Teaching in Robotics: a Mixed Reality Approach
University of Genoa(热那亚大学)
本文提出一种基于混合现实的新型通信接口,用于在任意机器人平台上进行动觉示教,并通过多受试者、双机器人用户研究验证其相比传统物理示教在用户体验和任务指标上的表现。
2024-09-03 cs.RO
A Virtual Reality Simulation Pipeline for Online Mental Workload Modeling
University of California Santa Cruz(加州大学圣克鲁兹分校)
无缝的人机交互(HRI)和合作的人机(HR)合作严重依赖于准确和及时的人类心理负荷(MW)模型。认知负荷理论(CLT)认为,典型的物理环境产生典型的心理过程,物理环境的保真度与提高建模精度相对应。虚拟现实(VR)系统提供能够复制复杂场景的沉浸式环境,特别是与高风险、高压力场景相关联的那些场景。被动生物信号建模显示出作为MW建模的非侵入性方法的前景。然而,VR系统很少包括多模态心理生理反馈或利用生物信号数据进行在线MW建模。在这里,我们开发了一种新的VR仿真管道,灵感来自NASA的多属性任务电池II(MATB-II)的任务架构,能够同步收集客观性能,主观性能和被动的人类生物信号在模拟危险的探索环境。我们的系统设计通过机器人操作系统(ROS)提取和发布生物特征,促进基于心理生理学的实时的MW模型集成到完整的端到端系统中。能够在线评估MW的VR模拟管道可以为推进HR系统和VR体验奠定基础,使这些系统能够自适应地改变其行为以响应操作员MW。
2021-11-24 cs.HC cs.RO
HAVEN: A Unity-based Virtual Robot Environment to Showcase HRI-based Augmented Reality
由于COVID-19大流行,出于限制病毒传播的社交距离措施,不允许亲自进行人机交互(HRI)研究。因此,虚拟现实(VR)模拟与虚拟机器人可以提供一种替代现实生活中的HRI研究。像一个真正的智能机器人一样,虚拟机器人可以利用相同的先进算法来自主行动。本文介绍了HAVEN(基于HRI的增强在虚拟机器人环境中使用uNity),一个VR模拟,使用户能够与虚拟机器人进行交互。该系统设计的目标是使研究人员能够进行HRI增强现实研究,使用虚拟机器人,而不是在真实的环境中。该框架还介绍了两种常见的HRI实验设计:走廊通过场景和人-机器人团队对象检索场景。两者都反映了HAVEN作为未来基于AR的HRI研究工具的潜力。
2020-11-06 cs.RO
Gesture First, LLM-Assisted Voice Complement: Exploring Multimodal Robot 'Puppeteer' Teleoperation Via Virtual Counterpart in Augmented Reality
KTH Royal Institute of Technology(皇家理工学院)
本文探讨了通过增强现实中的虚拟对应物实现多模态机器人遥控的方法,比较了仅手势和结合语音与手势的交互方式在性能和用户体验上的差异,提出设计指南以平衡效率、鲁棒性和用户专业性。
2026-05-16 cs.HC cs.RO
Alternative Modes of Interaction in Proximal Human-in-the-Loop Operation of Robots
Arizona State University(亚利桑那州立大学)
自然语言指令中的模糊性和噪声对将自主系统应用于涉及人类和机器的安全关键工作流程造成了重大障碍。在本文中,我们建议建立在电生理监测方法和增强现实技术的最新进展,开发人类和机器人之间的通信的替代模式,参与大规模的近端协作任务。我们将首先介绍增强现实技术,用于将机器人的意图投射到其人类队友,人类队友可以与这些提示进行交互,以与机器人进行实时协作计划执行。然后,我们将研究如何使用脑电图(EEG)反馈来监测人类对离散事件的反应,以及在执行计划时的长期情感状态。这些信号可以被学习代理(也就是情感机器人)用来修改其策略。我们将提出一个端到端的系统,能够证明这些互动模式。我们希望拟议的系统将激发研究,以增强人机交互与替代形式的通信,以提高安全性,生产率和团队的流畅性,特别是在工程环境中,如工厂车间或制造业的装配线,可以强制使用这种可穿戴设备。
2017-03-27 cs.HC cs.RO
Behavioral Cloning Models Reality Check for Autonomous Driving
针对基于视觉的自动驾驶行为克隆系统缺乏真实世界验证的问题,本文用缩放研究车采集数据并在多赛道测试,证实前沿BC横向控制方法实时预测转向角误差低,具备实际应用潜力。
2024-09-11 cs.AI cs.CV cs.RO
Haptic-Enhanced Virtual Reality Simulator for Robot-Assisted Femur Fracture Surgery
Rowan University(罗文大学);Virtua Health(维克托健康医疗系统);Rowan-Virtua School of Osteopathic Medicine(罗文-维克托 osteopathic 医学院)
本文开发了用于Robossis机器人辅助股骨骨折手术的触觉增强VR模拟器,集成Sigma-7触觉控制器、RSR机器人和Meta Quest头显,验证了6自由度跟随和防骨段重叠能力,为未来系统实施提供基础。
2023-10-29 cs.RO
Human-Centric Autonomous Systems With LLMs for User Command Reasoning
KTH Royal Institute of Technology(KTH皇家理工学院);Scania AB(斯堪尼亚公司)
本文提出利用大型语言模型从车内用户命令中推理系统需求,通过少样本多变量二元分类实验验证其有效性,并公开代码与模型。
2023-12-19 cs.AI cs.CL cs.RO
Virtual Barriers in Augmented Reality for Safe and Effective Human-Robot Cooperation in Manufacturing
Monash University(莫纳什大学)
安全性是任何人机协作场景中的基本要求。为了确保这种情况下的用户的安全,我们提出了一种新的虚拟障碍系统的增强现实接口。我们的系统提供了两种类型的虚拟障碍,以确保安全:1)一个虚拟人障碍,封装和跟随用户,以保护他们免受碰撞的机器人,和2)虚拟障碍障碍,用户可以产卵,以保护物体或区域,机器人不应该进入。为了实现有效的人机协作,我们的系统包括一个直观的机器人编程界面,利用语音命令和手势,并具有自动路径重新规划的能力,当检测到潜在的碰撞作为一个障碍物相交的机器人的规划路径的结果。我们通过用户研究比较了我们的新系统与标准的2D显示界面,参与者模仿工业制造过程完成一项任务。实验结果表明,该系统提高了用户的安全感和工作效率,使交互更加直观。
2021-04-12 cs.RO
Prosody for Intuitive Robotic Interface Design: It's Not What You Said, It's How You Said It
Google Labs(谷歌实验室);Google DeepMind(谷歌DeepMind);Hoku Labs(霍库实验室)
本研究通过设计研究方法探索韵律作为直觉人机交互信号,实验表明参与者依赖韵律控制四足机器人导航,为未来直觉界面设计提供多功能交际信号潜力。
2024-03-13 cs.HC cs.RO
GestOS: Advanced Hand Gesture Interpretation via Large Language Models to control Any Type of Robot
ISR Lab(ISR实验室);Skoltech(斯克里普钦技术学院)
GestOS 提出一种基于手势的操作系统,通过轻量级视觉感知与大语言模型推理将手势语义化,并依据机器人能力、状态和指令集动态分配任务,实现异构机器人团队的自适应高层控制。
2025-09-17 cs.RO
Multimodal Grounding for Embodied AI via Augmented Reality Headsets for Natural Language Driven Task Planning
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Tartu(塔尔图大学)
本文提出利用AR头显在EAI智能体与人类操作员之间建立多模态接地,验证其支持自然语言驱动工业巡检与人机协作的可行性,并分析提示词鲁棒性问题。
2023-04-26 cs.RO
A Survey of Research on Control of Teams of Small Robots in Military Operations
Army Research Laboratory(陆军研究实验室)
虽然一些优秀的评论文章军事机器人已经出现在现有的文献中,本文侧重于一个独特的子空间的相关问题:小型军事机器人组织成中等规模的小队,在地面作战环境中运行。具体来说,我们考虑以下几点:-指挥实用的小型机器人,与当前一代相当,小型无人地面车辆(例如,与较大的车辆大小的机器人或微型机器人相比,PackBots)具有有限的计算和传感器有效载荷;- 复杂的三维物理环境,如城市地区或山区地形及其带来的固有困难,包括有限和多变的观测领域,困难的导航和间歇性的通信; -敌对的环境中,活跃的,智能的敌人是决定机器人部队行为的关键考虑因素;-有目的的,部分自主的,协调的行为是这样一个机器人部队生存和完成任务所必需的;这些行为远比编队控制或野战覆盖行为复杂得多。
2016-06-03 cs.RO
End-to-end Decentralized Multi-robot Navigation in Unknown Complex Environments via Deep Reinforcement Learning
Sun Yat-sen University(中山大学)
本文提出了一种基于深度强化学习(DRL)的机器人团队导航方法,通过未知的复杂环境,机器人团队的几何质心旨在到达目标位置,同时避免碰撞并保持连通性。分散的机器人级别的政策是使用集中学习和分散执行的机制。所提出的方法可以得到端到端的政策,映射到机器人的速度控制命令的原始激光雷达测量,而无需构建障碍物地图。仿真和室内真实无人地面车辆(UGV)实验结果验证了该方法的有效性。
2019-07-03 cs.RO
An LLM-based Framework for Human-Swarm Teaming Cognition in Disaster Search and Rescue
School of Electronics and Information, Northwestern Polytechnical University(电子工程学院,西北工业大学);Chongqing Institute for Brain and Intelligence, Guangyang Bay Laboratory(脑科学与智能研究院,广阳湾实验室)
本文提出基于大语言模型的LLM-CRF系统,通过自然交互捕捉意图并实现任务规划,显著提升灾难救援任务效率与成功率。
2025-11-06 cs.AI cs.RO
Improving Human Legibility in Collaborative Robot Tasks through Augmented Reality and Workspace Preparation
University of Colorado Boulder(科罗拉多大学博尔德分校)
针对人机协作中人类行为预测不准易引发安全问题的痛点,提出通过优化工作空间物体布置与AR投射虚拟障碍提升人类行为可解读性的算法,经两项用户研究验证可改善任务流畅度与安全性。
2023-11-09 cs.RO
A Decade of Human-Robot Interaction Through Immersive Lenses: Reviewing Extended Reality as a Research Instrument in Social Robotics
Institute of Computer Science(计算机科学研究所);Institute of Positive Computing, University of Applied Sciences Ruhr West(积极计算研究所,鲁尔西大学应用科学学院)
本文综述了过去十年中扩展现实作为社交机器人研究工具的应用现状,指出其在实证研究中的不足,并提出四阶段路线图以推动其发展。
2026-02-19 cs.RO
Intuitive Human-Drone Collaborative Navigation in Unknown Environments through Mixed Reality
New York University(纽约大学);Tandon School of Engineering(坦登工程学院);Worcester Polytechnic Institute(伍斯特理工学院)
本文提出一种基于混合现实的人机接口,通过HMD共享空间信息,在未知环境中实现超越传统遥控的直观安全协同导航,并在模拟灾后场景中验证其优于FPV控制。
2025-04-08 cs.RO
User-customizable Shared Control for Robot Teleoperation via Virtual Reality
Institute for Experiential Robotics (IER)(体验式机器人研究所(IER));Northeastern University(东北大学);Amazon(亚马逊公司)
该研究提出一种用户可定制的VR机器人遥操作共享控制方法,让用户可直接观察编辑仲裁参数,经两周用户实验验证,该方法在任务精准度与流畅度上优于直接遥操作和传统共享控制。
2024-08-14 cs.RO
Toward Evidence-Driven Human-Agent-Robot Teaming for Earth-Independent Anomaly Triage
NASA Ames Research Center(美国国家航空航天局艾姆斯研究中心);SETI Institute(搜寻地外文明研究所);The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Michigan(密歇根大学);Repertory Robotics
本文提出一种基于证据的权限受限闭环架构,用于深空任务中的人-智能体-机器人协作异常分诊,通过有状态协调器、具身智能体和移动机器人获取证据,并在硬件在环原型中验证。
2026-10-08 cs.AI cs.HC cs.RO
Leveraging Augmented Reality for Improved Situational Awareness During UAV-Driven Search and Rescue Missions
Saint Louis University(圣路易斯大学)
本文提出增强现实系统 VizCom-AR,通过可视化通信解决无人机搜救任务中远程与现场操作员间无线电沟通的局限,实验证明其能有效提升双方空间感知、地理信息交换能力并补充现有工具,为大规模救援提供基础设计框架。
2024-10-16 cs.RO
Controlling Collectives of AI Agents in Reasoning Space with Spatial Transformers
University of Pennsylvania(宾夕法尼亚大学)
提出COMPASS去中心化多机器人架构,利用空间Transformer在推理空间生成反馈令牌,实现大规模智能体编队飞行,零样本泛化至1024个机器人。
2026-09-24 cs.AI cs.RO
A Schwarz-Christoffel Mapping-based Framework for Sim-to-Real Transfer in Autonomous Robot Operations
University of Virginia(弗吉尼亚大学)
针对机器人仿真与现实部署的性能差距及系统退化导致的模型差异问题,提出基于施瓦茨-克里斯托费尔映射的轻量级保角映射框架,实现控制规划策略从专家端到退化机器人的迁移,经仿真与实机验证可有效缩小sim-to-real差距。
2025-03-20 cs.RO
CoPlanVLM: Coordinated Path Planning for a Robot Team using Vision Language Models
University of California, Irvine(加州大学欧文分校);University of Florida(佛罗里达大学);Torch Technologies, LLC(Torch科技有限责任公司);Air Force Research Laboratory(空军研究实验室)
CoPlanVLM通过三个组件提升VLM的空间推理能力,实现机器人团队协调路径规划,在仿真与实体硬件上验证,成功率84.4%,路径较基准短27%。
2026-10-14 cs.RO
Autonomous Reality Modelling for Cultural Heritage Sites employing cooperative quadrupedal robots and unmanned aerial vehicles
New York University Abu Dhabi(纽约大学阿布扎比分校);University of the Aegean(爱琴大学)
本文提出利用自主四足机器人与无人机协同执行文化遗产地的三维实景建模,以系统化、可重复的方式减少人工干预,成果可服务于数字孪生平台中的安全监测与管理。
2024-02-20 cs.AI cs.LG cs.RO
End-to-end Neural Network Based Quadcopter control
Delft University of Technology(代尔夫特理工大学);European Space Agency(欧洲空间局)
针对四旋翼飞行器神经网络控制器的仿真现实差距与内环限制问题,提出端到端G&CNets与自适应力矩补偿策略,在能量最优性和鲁棒性上优于传统微分平坦性控制器。
2023-06-22 cs.RO cs.SY eess.SY