DVRP-MHSI: Dynamic Visualization Research Platform for Multimodal Human-Swarm Interaction
College of Intelligence Science and Technology, National University of Defense Technology(国防科技大学智能科学学院);School of Robotics, Hunan University(湖南大学机器人学院)
本文提出DVRP-MHSI,一个支持多模态交互(如脑机、眼动、肌电、触摸)的实时动态可视化开放平台,由低成本全向轮式机器人和双工作站构成,旨在加速人-群交互研究,并通过演示实验验证其有效性。
2024-08-20 cs.HC cs.RO
From One to Many: How Active Robot Swarm Sizes Influence Human Cognitive Processes
University of Konstanz(康斯坦茨大学);Justus Liebig University(吉森大学)
本研究探究15个机器人集群中不同活跃机器人数量对操作者认知与感知反应的影响,发现多活跃机器人会加快时间流逝感并增强心流,同时随持续时间增加情绪唤醒度与任务难度,为人机协作界面设计提供指导。
2024-03-20 cs.HC cs.RO
The Effect of Data Visualisation Quality and Task Density on Human-Swarm Interaction
University of Southampton(南安普顿大学);University of Bournemouth(伯恩茅斯大学)
本文通过120人参与的仿真用户研究,考察高质量可视化数据对人-集群协同搜救的影响,发现其提高信任与工作负荷,但未显著提升伤亡识别任务绩效。
2023-07-17 cs.HC cs.RO
Personalized Human-Swarm Interaction through Hand Motion
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Ecole Normale Supérieure Paris-Saclay(巴黎-萨克雷高等师范学校);Université Paris-Saclay(巴黎-萨克雷大学)
集体机器人系统的控制,如无人机群,往往委托给自主导航算法,由于其高维。然而,与其他机器人实体一样,无人机群仍然可以受益于人类操作员的远程操作,人类操作员的感知和决策能力仍然超出了自主系统的范围。无人机群远程操作只是在黎明,标准的人类群体接口(HRI)是失踪的日期。在这项研究中,我们分析了天真的用户与一群无人机的自发互动策略。我们实现了一个机器学习算法来定义一个个性化的身体-机器接口(BoMI)的基础上,只有一个简短的校准过程。在这个过程中,人类操作员被要求自发地移动,就好像他们在控制一个模拟的无人机群一样。我们评估了手是最常用的身体部分,因此我们选择了LEAP运动控制器来跟踪它们,让用户控制空中无人机群。这种选择使我们的界面便携,因为它不依赖于一个集中的系统来跟踪人体。我们验证了我们的算法来定义个性化的HRI的一组参与者在一个现实的模拟环境中,表现出良好的性能和用户体验的结果。我们的方法给用户留下了前所未有的自由,可以根据他们的身体运动偏好在位置和速度控制之间进行选择。
2021-03-13 cs.HC cs.RO
Crowdsourcing Swarm Manipulation Experiments: A Massive Online User Study with Large Swarms of Simple Robots
Boston Children’s Hospital(波士顿儿童医院);Harvard Medical School(哈佛医学院);Rice University(莱斯大学)
微型和纳米机器人有可能彻底改变许多应用,包括靶向材料输送,组装和手术。同样的属性,承诺突破性的解决方案-小规模和大人口-提出了独特的挑战,以产生控制的运动。我们希望使用大量的机器人来执行操作任务;不幸的是,今天进行的人类群体交互研究的样本量有限,难以重现,并且容易出现硬件故障。我们提出一个替代方案。本文探讨了我们通过启动SwarmControl.net发现的危险、陷阱和可能性,这是一款在线游戏,玩家可以操纵多达500个机器人完成操纵挑战。我们记录了数千名玩家的统计数据,并使用游戏来探索大人口机器人控制的各个方面。我们目前的游戏框架作为一个新的,开源的工具,大规模的用户实验。我们的研究结果在人类控制微型和纳米机器人方面具有潜在的应用,为自动控制器提供了洞察力,并为大型在线机器人研究实验提供了模板。
2014-02-15 cs.RO
A Study on Human-Swarm Interaction: A Framework for Assessing Situation Awareness and Task Performance
本文提出了一个用于人机群交互研究的框架,通过基于平板电脑的界面评估操作员在单目标搜索任务中的态势感知与任务绩效,发现客观态势感知对主观感知和绩效有显著影响,为界面设计提供了系统化指导。
2025-10-31 cs.HC cs.RO
Solving Two-Player General-Sum Games Between Swarms
Arizona State University(亚利桑那州立大学)
针对高维下HJI偏微分方程求解双人一般和博弈的维数灾难问题,将研究拓展至双人群体博弈,用柯尔莫哥洛夫前向方程建模群体演化,基于PINN生成的策略收益优于Nash DDQN、与数值求解器相当。
2023-11-03 cs.GT cs.MA cs.RO
Warmth and Competence in the Swarm: Designing Effective Human-Robot Teams
School of Electrical and Electronic Engineering, University of Sheffield, Sheffield, UK(电气与电子工程学院,谢菲尔德大学,谢菲尔德,英国);Department of Computer Science, Technical University of Darmstadt, Darmstadt, Germany(计算机科学系,达姆施塔特技术大学,达姆施塔特,德国);School of Computer Science, University of Sheffield, Sheffield, UK(计算机科学学院,谢菲尔德大学,谢菲尔德,英国)
研究通过两个实验探讨蜂群行为对人类社会感知的影响,发现行为特征影响感知的温暖和能力,且这些感知比任务表现更能预测团队偏好。
2026-04-21 cs.HC cs.RO
Outlining the design space of eXplainable swarm (xSwarm): experts perspective
Bournemouth University(伯恩茅斯大学);University of Southampton(南安普顿大学)
本研究通过调查26位专家,概述了可解释群体(xSwarm)的设计空间,旨在明确群体机器人中可解释性的需求与挑战,为建立该新研究领域奠定基础。
2023-09-03 cs.CY cs.HC cs.RO
Can A Single Human Supervise A Swarm of 100 Heterogeneous Robots?
Collaborative Robotics and Intelligent Systems Institute(协作机器人与智能系统研究所);Oregon State University(俄勒冈州立大学);SIFT, LLC(SIFT有限责任公司)
本研究通过实地演习验证了单个人类能够监管100个异构机器人蜂群执行真实任务,尽管工作量常超阈值,但任务仍成功完成。
2023-07-31 cs.AI cs.HC cs.RO
A wearable general-purpose solution for Human-Swarm Interaction
MIT Media Lab(麻省理工学院媒体实验室)
大批机器人将彻底改变许多工业应用,从有针对性的材料交付到精准农业。控制这些群体的运动和行为对人类操作员提出了独特的挑战,他们还不能有效地将他们的高级意图传达给应用中的一组机器人。这项工作提出了一种新的人群接口的基础上,新的可穿戴手势控制和触觉反馈设备。这项工作旨在结合可穿戴的手势识别设备,可以检测高层次的意图,便携式设备,可以检测笛卡尔信息和手指运动,和可穿戴的先进的触觉设备,可以提供实时反馈。该项目是第一个设想可穿戴的人类群体交互(HSI)界面,该界面将经典控制回路的输入和反馈组件(输入,输出,反馈)分开,并且是第一个适合室内和室外环境的同类产品。
2017-06-24 cs.HC cs.MA cs.RO
Adaptive Human-Swarm Interaction based on Workload Measurement using Functional Near-Infrared Spectroscopy
University of Southampton(南安普顿大学);University of Nottingham(诺丁汉大学);Bournemouth University(伯恩茅斯大学);Defence Science and Technology Laboratory(国防科学技术实验室)
针对人机群体交互中操作员工作负荷管理难题,提出基于fNIRS的神经反馈技术,通过机器学习处理脑活动数据并动态调整交互界面,以降低负荷、提升性能。
2024-05-13 cs.HC cs.RO
The Effect of Predictive Formal Modelling at Runtime on Performance in Human-Swarm Interaction
University of Southampton(南安普顿大学);University of Glasgow(格拉斯哥大学);University of Nottingham(诺丁汉大学);Bournemouth University(伯恩茅斯大学)
本文研究运行时预测性形式化建模对人机集群协作的影响,通过60人模拟空中投送实验表明,提供基于无人机数量的完成时间预测可提升任务性能且不增加工作负荷。
2024-01-22 cs.HC cs.RO
Demonstrating Performance Benefits of Human-Swarm Teaming
University of Southampton(南安普顿大学)
自主机器人群可以为搜索和救援等安全关键任务带来鲁棒性,可扩展性和适应性,但其应用仍然非常有限。使用人工控制的半自主群可以将机器人群带到现实世界的应用中。人类操作员可以为群体定义目标,监控他们的表现,干涉或否决他们的决定和行为。我们提出了“人类和机器人互动群”模拟器(HARIS),允许多用户与机器人群进行交互,并通过模拟机器人群完成任务,从包裹递送到搜索和救援,促进定性和定量的用户研究,具有不同程度的人类控制。在这个演示中,我们展示了模拟器,通过使用它来研究通过在一个完全自主的系统上保持“人在回路中”所提供的性能增益。这一点在搜索和救援方面得到了说明,并自主地向有需要的人分配资源。
2023-03-23 cs.RO
A Neuro-inspired Theory of Joint Human-Swarm Interaction
Department of Human-Machine-Systems, Fraunhofer FKIE(人机系统部门,弗劳恩霍夫FKIE研究所);Humanoid Robots Lab, Computer Science, University of Bonn(人形机器人实验室,计算机科学,波恩大学)
本文提出一种神经启发的群体人类交互理论,旨在为人类-群体循环设计提供理论支持。
2025-11-29 cs.HC cs.MA cs.NE
Trust Repairing for Human-Swarm Cooperation inDynamic Task Response
人-无人机合作中出现紧急情况,例如犯罪活动跟踪和紧急地面援助需求。应急响应通常对多无人机系统的运动控制有很高的要求,既要保持团队的性能,又要保持团队的行为。然而,无人机群在现实环境中执行任务时,由于系统可靠性、环境干扰等现实因素的影响,群中的部分机器人会出现群集速度慢、航向错误、空间关系差等异常行为。同时,人与无人机群之间的不正确信任会将故障机器人的异常行为映射到整个无人机群,并要求人类管理者进行耗时的干预,破坏无人机群对动态任务的响应,甚至由于累积错误而导致任务失败。正确反映人与无人机群之间的信任关系,重建信任关系,改善不正确信任带来的性能问题。我们提出了一个动态的信任修复模型。动态信任模型针对无人机监控系统,可以帮助无人机群减少故障无人机对无人机群性能的负面影响,获得灵活的反应和稳定的无人机监控任务性能。实验结果表明,信任模型可以提高群体对动态任务的响应性能,重新获得人类的信任。
2020-07-06 cs.RO
Industry Led Use-Case Development for Human-Swarm Operations
University of Southampton(南安普顿大学);University of Nottingham(诺丁汉大学)
在无人驾驶汽车领域,自主机器人群体有望提高效率和集体自主性。这些蜂群未来将如何运作,以及将出现什么样的通信要求和运作边界,都还有待充分界定。与11名专业无人驾驶飞行器操作员和设计人员举办了一个讲习班,目的是确定开发和测试机器人群的使用案例。专家们定义了三个场景,然后进行了编译,以生成一个单一的用例,概述了与高度自治的群协作时的场景、目标、代理、通信要求和操作阶段。我们编译的用例旨在供研究人员,设计师和制造商测试和定制他们的设计流程,以适应人类群体交互中的一些关键问题。应用示例包括为模拟开发提供信息、为进一步的设计研讨会奠定基础以及识别人类操作员和群体之间可能出现的信任问题。
2022-07-24 cs.HC cs.MA cs.RO
Explaining Autonomous Decisions in Swarms of Human-on-the-Loop Small Unmanned Aerial Systems
University of Notre Dame(圣母大学)
人工智能的快速发展已经将焦点从传统的人类指导机器人转移到不需要明确人类控制的完全自主机器人。这些通常被称为人在回路(HotL)系统。HotL系统的透明性需要对自主行为进行清晰的解释,以便人类了解环境中发生的事情,并理解机器人以某种方式行为的原因。然而,在复杂的多机器人环境中,特别是那些机器人是自主的,移动的,需要间歇性干预,人类可能会努力保持态势感知。向人类提供关于自主行为的丰富解释往往会使他们承受过多的信息,并对他们对情况的理解产生负面影响。因此,解释多个机器人的自主行为或自主性会产生一种设计张力,需要仔细研究。本文探讨了用户界面(UI)设计权衡与提供及时和详细的解释的自主行为的小无人机(sUAS)或无人机群。我们分析了UI设计选择对人类意识的影响。我们对经验不足和专业的sUAS操作员进行了多项用户研究,以展示我们的设计解决方案,并为设计HotL多sUAS界面提供初步指导。
2021-09-05 cs.HC cs.RO
Trust Aware Emergency Response for A Resilient Human-Swarm Cooperative System
College of Aeronautics and Engineering, Kent State University(肯特州立大学航空与工程学院)
一个人类群体合作系统,它混合了多个机器人和一个人类监督者,形成一个异构的团队,被广泛用于紧急情况下,如社会安全中的犯罪跟踪和自然灾害中的受害者援助。这些突发场景需要协作团队快速终止当前任务并将系统转移到新任务,这给运动规划带来了困难。此外,由于即时的任务转换,来自物理系统和先前任务的不确定性积累,以降低群体的性能,导致机器人故障,并影响人类和机器人群体之间的合作效率。因此,考虑到快速过渡的要求和引入的不确定性,与执行允许任务之间逐渐过渡的正常任务相比,人类群体系统响应紧急任务具有挑战性。人类信任揭示了他人的行为期望,并用于调整不满意的行为以获得更好的合作。受人类信任的启发,本文提出了一种信任感知的反射控制(Trust-R)来动态校准人类群体的合作。Trust-R基于加权平均子序列简化算法(WMSR)和人类信任建模,帮助群体从人类信任的角度自我反思其性能,然后在人类干预之前的早期阶段主动纠正其错误行为。在真实重力模拟环境中设计了一个典型的任务场景(应急响应),并对145名志愿者进行了人类用户研究。通过改进群体性能和提高信任分数,验证了Trust-R在纠正应急响应中错误行为的有效性。
2021-03-06 cs.RO
Data Games: A Game-Theoretic Approach to Swarm Robotic Data Collection
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
联网自动驾驶汽车(AV)车队收集TB级的传感数据,这些数据通常被传输到中央服务器(“云”)以训练机器学习(ML)模型。理想情况下,这些车队应该上传所有数据,特别是来自罕见操作环境的数据,以便训练健壮的ML模型。然而,由于高昂的网络带宽和数据标签成本,这是不可行的。相反,我们提出了一种合作数据采样策略,在这种策略中,地理分布的AV合作在云中收集不同的ML训练数据集。由于AV具有共享的目标,但关于彼此的本地数据分布和感知模型的信息最少,因此我们可以自然地将合作数据汇集视为$N$ -玩家数学游戏。我们表明,我们的合作采样策略使用最少的信息收敛到一个集中的预言机的政策,所有AV的完整信息。此外,我们从理论上描述了我们的博弈论策略相比贪婪采样的性能优势。最后,我们通过实验证明,我们的方法在4个感知数据集上的性能优于标准基准,最高可达$21.9\%$,包括在恶劣天气条件下的自动驾驶。至关重要的是,我们在真实世界数据集上的实验结果与我们的理论保证密切一致。
2023-03-07 cs.AI cs.MA cs.RO
SwarmCloak: Landing of a Swarm of Nano-Quadrotors on Human Arms
Skoltech(斯科尔科沃科技学院);UEC(电气通信大学)
我们提出了一个新的系统SwarmCloak的四个飞行机器人的舰队在人类的手臂上使用光敏感的着陆垫与振动触觉反馈着陆。我们开发了两种类型的可穿戴触觉显示器与振动马达,这是由四轴飞行器底部的LED阵列发出的光激活。在一项用户研究中,参与者被要求调整手臂的位置,以降落多达两架无人机,只有视觉反馈,只有触觉反馈或视觉-触觉反馈。实验表明,当无人机数量增加时,触觉反馈在准确着陆和操作员的便利性方面发挥着更重要的作用。一个重要的发现是,最好的着陆性能是通过触觉和视觉反馈的结合来实现的。所提出的技术可能会对人类与群体的互动产生强烈的影响,从皮肤表面就可以提供新的直观性和参与群体部署。
2019-11-22 cs.RO
Express Yourself: Enabling large-scale public events involving multi-human-swarm interaction for social applications with MOSAIX
Princeton University(普林斯顿大学);We The Curious(我们好奇);University of Bristol(布里斯托尔大学);PAL Robotics(PAL机器人公司)
本文提出MOSAIX系统,通过63个去中心化机器人Tiles群体在科学博物馆收集294名参与者输入并按主题聚合,实现了大规模多人-群体交互公共活动,为未来社会应用研究提供了实践经验。
2024-11-15 cs.RO
Human-guided Swarms: Impedance Control-inspired Influence in Virtual Reality Environments
School of Mechanical and Materials Engineering(机械与材料工程学院);Washington State University(华盛顿州立大学);Department of Mechanical and Industrial Engineering(机械与工业工程系);University of Massachusetts(马萨诸塞大学)
本文提出一种基于阻抗控制启发的影响机制,在VR环境中实现人类监督者引导大规模无人机群体穿越狭窄峡谷,兼顾任务完成与保持群体涌现行为。
2024-02-06 cs.MA cs.RO
SwarmPaint: Human-Swarm Interaction for Trajectory Generation and Formation Control by DNN-based Gesture Interface
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
具有多智能体系统的遥操作任务在支持人类群体协作团队的探索和救援行动中具有很大的潜力。然而,它需要一个直观的和自适应的控制方法,以确保在混乱和动态变化的环境中群体的稳定性。我们提出了一种新的人类群体交互系统,允许用户控制群体的位置和形成,无论是直接的手运动或轨迹绘制与手势界面的基础上DNN手势识别。SwarmPaint的关键技术是用户能够通过在交互模式之间切换来执行各种任务,而无需额外的设备。两种类型的相互作用,提出并开发调整群体行为:自由形式的轨迹生成控制和成形的编队控制。两个初步的用户研究进行了探索用户的性能和主观体验,从人类群体的互动,通过开发的控制模式。实验结果表明,足够的准确性在轨迹跟踪任务(平均误差为5.6厘米的手势绘制和3.1厘米的鼠标绘制与尺寸为1米乘1米的图案)超过三个评估的轨迹模式和高达7.3厘米的精度在目标任务与两个目标图案的1米实现的SwarmPaint接口。此外,参与者认为轨迹绘制界面比通过手势直接控制形状和位置更直观(12.9%),使用起来更省力(22.7%),尽管其物理工作量和性能失败被认为更重要(分别为9.1%和16.3%)。
2021-06-28 cs.RO
SwarmTouch: Guiding a Swarm of Micro-Quadrotors with Impedance Control using a Wearable Tactile Interface
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究所)
为了实现无人机编队由人类操作员的平稳和安全的引导,我们提出了一种新的人机交互策略,结合阻抗控制和振动触觉反馈。所提出的方法考虑到人手的速度,并相应地使用四旋翼之间的阻抗互连来改变编队形状和动力学,这有助于实现自然的群体行为。提出了几种触觉模式代表静态和动态参数的群体。用户可以在指尖感受到群体的状态,并接收有价值的信息,以提高复杂编队的可控性。一项用户研究揭示了具有高识别率的模式。飞行实验证明了在杂乱的环境中仅使用触觉反馈来精确导航编队的可能性。受试者表示,触觉可以引导无人机编队通过障碍物,并使人类群体通信更具互动性。所提出的技术可能会对人类与群体的互动产生强烈的影响,在群体导航过程中提供更高水平的意识。
2019-09-05 cs.RO
Designing Effective Human-Swarm Interaction Interfaces: Insights from a User Study on Task Performance
University of New South Wales (UNSW) Canberra(新南威尔士大学(UNSW)堪培拉校区)
本文提出了一种系统方法设计人-群体交互界面,通过用户研究验证了其在目标搜索任务中对机器人群的引导效果,尤其在移动危险情况下表现优异。
2026-01-29 cs.HC cs.RO
Augmented Reality for Human-Swarm Interaction in a Swarm-Robotic Chemistry Simulation
University of Colorado at Boulder(科罗拉多大学博尔德分校)
我们提出了一种方法来注册一个机器人群体的个体成员在增强现实显示,同时显示有关群体动态的用户,否则将被隐藏的相关信息。同一群中的个体成员和集群通过它们的颜色来识别,并且通过以特定的时间间隔闪烁来识别,该时间间隔与它们的邻居闪烁的时间间隔不同。我们表明,这个问题是一个实例的图着色问题,它可以在O(log(n))的时间在分布式的方式解决。我们展示了我们的方法,使用群体化学模拟,其中机器人模拟单个原子,形成分子的化学规则。然后,使用增强现实来显示有关单个群成员的内部状态以及它们的拓扑关系(对应于分子键)的信息。
2019-12-02 cs.CV cs.RO
Evaluating the Potential of Drone Swarms in Nonverbal HRI Communication
Fordham University(福特汉姆大学);Google(谷歌)
人与人之间的交流充满了情感和情绪,通过语言和非语言交流来传达和感知。我们的论点是,无人机群可以用来通过非语言渠道传达丰富的信息:通过他们的运动或行为模式引导,通常与人类观众互动或警告人类观众。而且,这种方法具有独特的优点,例如相对于其他形式的用户界面的灵活性和移动性。在本文中,我们提出了一个用户研究,以了解人类参与者如何感知和解释微型无人机Crazyflie四轴飞行器飞行三种不同的飞行编队的群体行为,以弥合前端技术(无人机)和人类观察者的情感感知之间的心理差距。我们提出的问题是,人类观察者是否真的会认为附近的一群无人机没有威胁,足以成为交流的工具,以及人类是否会从群体行为中直觉地感受到一些交流,尽管缺乏口头或书面语言。我们的研究结果表明,有统计学显着支持的论文,人类参与者是开放的解释无人机的运动有意图,并可能解释他们的运动作为通信。这支持了无人机群作为通信资源、紧急情况指导、公共事件警务、旅游指导等的潜在用途。
2020-07-11 cs.RO
Mixed-Granularity Human-Swarm Interaction
Worcester Polytechnic Institute(伍斯特理工学院);PTC Inc(参数技术公司)
我们提出了一个增强现实人群界面,结合了两种形式的互动:面向环境和面向机器人。面向环境的模态允许用户修改环境(虚拟或物理),以指示机器人群要达到的目标。面向机器人的模态可以选择单个机器人,将其重新分配给其他任务,以提高性能或纠正故障。以前的研究得出结论,面向环境的交互可能证明更难以掌握未经培训的用户。在本文中,我们报告的用户研究表明,至少在集体运输,面向环境的互动是更有效的比纯粹的机器人为导向的互动,这两个相结合,实现显着的功效。
2019-01-24 cs.RO
Human-in-the-Loop Swarms: A Bionic Swarm Approach to Real-World Soil Mapping
New Jersey Institute of Technology(新泽西理工学院);University of Washington(华盛顿大学)
提出Bionic Swarm系统,通过人类用户替代机器人难以实现的任务,结合蓝牙传感器和集中式服务器运行群体算法,并在真实户外环境中验证了Score-Biased-Search算法,降低了实地群体机器人研究的门槛。
2026-05-27 cs.MA cs.RO
Pattern-Derived Visual Swarm Games: Multi-Scale Drone-Vision States for Interception and Sustainability Audits
Bahçeşehir University(巴切谢希尔大学)
该研究将无人机视觉标注流转为虚拟群体游戏状态,通过Bloom表示、多尺度有限博弈及相关技术提升屏幕安全与目标定位准确率,选出预算自适应策略用于拦截与可持续性审计。
2026-08-26 cs.GT cs.RO eess.IV
Swarm Body: Embodied Swarm Robots
Georgia Institute of Technology(佐治亚理工学院);OMRON SINIC X Corporation(欧姆龙SINIC X公司);Cluster Metaverse Lab(Cluster元宇宙实验室)
本文提出具身集群机器人概念,并以手部为对象,结合VR与真实机器人实验分析形状、密度及部位对应关系对具身感的影响,给出可实现具身的系统配置与设计依据。
2024-03-01 cs.ET cs.HC cs.RO
SwarmCloak: Landing of Two Micro-Quadrotors on Human Hands Using Wearable Tactile Interface Driven by Light Intensity
University of ElectroCommunications, Tokyo(东京电机大学)
对于人类操作员来说,在半空中抓住一个小尺寸的四旋翼飞行器,而不是把它降落在一个表面上,往往更容易和更快。然而,此类情况下的交互策略尚未得到适当考虑,特别是当必须同时降落多架无人机时。在本文中,我们提出了一种新的互动策略,土地多个机器人的人手,使用振动触觉反馈。我们开发了一种可穿戴的触觉显示器,它由四轴飞行器底部的LED环发出的光的强度激活。我们进行了实验,参与者被要求调整手掌的位置,以不同的着陆速度降落一个或两个垂直下降的无人机,只有视觉反馈,只有触觉反馈或视觉触觉反馈。我们对无人机着陆位置、着陆垫和人头轨迹进行了统计分析。双因素方差分析表明,反馈条件之间的统计学显着差异。实验分析证明,随着无人机数量的不断增加,触觉反馈在手的准确定位和操作的方便性方面发挥着越来越重要的作用。单架和两架无人机的最精确着陆是通过触觉和视觉反馈的结合实现的。
2020-01-31 cs.HC cs.RO
Omnipotent Virtual Giant for Remote Human-Swarm Interaction
The University of Manchester(曼彻斯特大学)
本文提出了一个直观的人类群体互动框架的灵感来自我们的童年记忆,我们与生活的蚂蚁互动,改变他们的位置和环境,如果我们是无所不能的相对于蚂蚁。类似地,在虚拟现实中,我们可以是一个超级强大的虚拟巨人,可以在广阔而遥远的环境中管理一群移动机器人,通过飞越或环绕世界,并通过拾取和放置机器人或创建虚拟墙壁来协调它们。这项工作实现了这一想法,使用虚拟现实与Leap Motion,然后通过使用真实和虚拟移动机器人在混合现实中的概念验证实验进行验证。我们进行可用性分析,以量化的整体系统的有效性,以及在这项工作中提出的个人接口。结果表明,所提出的方法是直观和可行的互动与群机器人,但可能需要适当的培训,为新的终端用户界面设备。
2019-04-01 cs.RO
Underwater Human-Robot and Human-Swarm Interaction: A Review and Perspective
Technology Innovation Institute(技术创新研究院);Khalifa University(哈利法大学)
本综述梳理了水下人机交互(UHRI)及水下手势识别(UGR)的最新进展,探讨其在多机器人系统中的应用,提出融合人机自然交互与集群协调能力可提升水下复杂环境作业鲁棒性。
2024-06-21 cs.RO
Trade-offs of Dynamic Control Structure in Human-swarm Systems
School of Electronics and Computer Science, University of Southampton(南安普顿大学电子与计算机科学学院)
本文针对人-集群环境监测任务,比较集中式与分散式控制的权衡,提出一种灵活混合控制方法,在性能上比集中式系统提高19.2%,同时将发送给人类操作员的消息数量减少23.1%,证明集中化并非总是最优。
2024-08-05 cs.RO
Gesture based Human-Swarm Interactions for Formation Control using interpreters
Department of Mechanical and Aerospace Engineering, University of California at San Diego, La Jolla, CA 92093, USA(机械与航空航天工程系,加州大学圣地亚哥分校,拉古拉,CA 92093,美国)
本文提出了一种新颖的人群-蜂群交互框架,通过手势控制蜂群形状和编队。该框架利用可穿戴臂带记录手势,通过解释器将手势转化为蜂群控制指令,结合机器学习和最优控制技术实现编队控制。
2018-04-23 cs.MA cs.RO cs.SY
Towards Decentralized Human-Swarm Interaction by Means of Sequential Hand Gesture Recognition
Arizona State University(亚利桑那州立大学);BASIS(贝赛思)
在这项工作中,我们提出了一种新的方法的初步工作,人群交互(HSI),可用于改变一群机器人的宏观行为与分散的传感和控制。通过集成一个小而有能力的手势识别卷积神经网络(CNN)与下一代机器人操作系统\emph{ros2},它使分散的实现多机器人应用程序的机器人软件,我们证明了编程一群机器人识别和响应一系列的手势,能够对应于不同类型的群体行为的可行性。我们测试我们的方法使用一系列的手势,修改目标机器人之间的距离在一组三个Turtlebot3汉堡机器人,以防止机器人碰撞障碍物。该方法在三个不同的露台模拟环境和物理试验台,再现的模拟环境之一进行了验证。
2021-02-04 cs.MA cs.RO
Melding LLM and temporal logic for reliable human-swarm collaboration in complex scenarios
School of Advanced Manufacturing and Robotics, Peking University(北京大学先进制造与机器人学院);Division of Natural and Applied Sciences, Duke Kunshan University(杜克昆山大学自然与应用科学学院);School of Automaton, Southeast University(东南大学自动化学院);School of Automation Science and Electrical Engineering, Beihang University(北航自动化科学与电气工程学院)
本文提出一种神经符号框架,结合时序逻辑与大语言模型,实现长周期人-群智协作,通过形式化任务规划与上下文感知推理,提升动态环境中任务规划的可靠性与效率。
2026-05-08 cs.RO
Leveraging Human Feedback to Evolve and Discover Novel Emergent Behaviors in Robot Swarms
University of Utah(犹他大学)
该研究提出结合自监督学习、人在回路反馈、新颖性搜索与聚类的框架,以自动发现并分类机器人群体的涌现行为。
2023-07-16 cs.LG cs.MA cs.RO
Design of a Formation Control System to Assist Human Operators in Flying a Swarm of Robotic Blimps
Department of Electronic and Computer Engineering, Hong Kong University of Science and Technology(香港科技大学电子与计算机工程系);School of Software Engineering, Beijing Jiaotong University(北京交通大学软件学院);Department of Electronic Engineering, Sunchon National University(全州国立大学电子工程系);Department of Computer Science, Emory University(埃默里大学计算机科学系)
针对室内机器人飞艇集群,本文设计带动态领航者切换的领航者—跟随者编队控制系统,由人工仅控制领航者、跟随者依靠机载视觉与激光高度计自主定位,实验证明其能在急转弯等场景中稳定编队并减轻操作负担。
2025-05-14 cs.MA cs.RO cs.SY
An LLM-based Framework for Human-Swarm Teaming Cognition in Disaster Search and Rescue
School of Electronics and Information, Northwestern Polytechnical University(电子工程学院,西北工业大学);Chongqing Institute for Brain and Intelligence, Guangyang Bay Laboratory(脑科学与智能研究院,广阳湾实验室)
本文提出基于大语言模型的LLM-CRF系统,通过自然交互捕捉意图并实现任务规划,显著提升灾难救援任务效率与成功率。
2025-11-06 cs.AI cs.RO
Human-LLM Synergy in Context-Aware Adaptive Architecture for Scalable Drone Swarm Operation
Honda Research Institute Europe, Germany(本田欧洲研究机构)
针对灾害响应中无人机蜂群协调的固定架构低效问题,提出利用大语言模型根据实时任务参数动态选择集中式、层级式或全息式架构的自适应方法,仿真验证其在可扩展性、能效和连接性上优于静态模型。
2025-09-03 cs.MA cs.RO
Brain-Swarm Interface (BSI): Controlling a Swarm of Robots with Brain and Eye Signals from an EEG Headset
Boston University(波士顿大学);Stanford University(斯坦福大学)
这项工作提出了一种新的婚姻群机器人和脑机接口技术,以产生一个接口,连接用户到一群机器人。建议的界面使用户能够控制群的大小和运动,采用只是思想和眼球运动。思想和眼球运动通过一个现成的脑电图(EEG)耳机从头皮上记录下来。信号处理技术用于滤除噪声并从原始信号中解码用户的眼球运动,而隐马尔可夫模型技术用于从滤波后的信号中破译用户的想法。机器人的动力学控制使用基于势场的群控制器。人类用户通过脑群接口来调节势场的形状和运动参数以移动机器人。该方法被证明是实验室环境中的一个人控制一群三个M3PI机器人,以及控制一群128个机器人在计算机模拟。
2016-12-24 cs.MA cs.RO
Scale-Invariant Specifications for Human-Swarm Systems
Northwestern University(西北大学);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Yale University(耶鲁大学);Unmanned Laboratory(无人系统实验室);Raytheon BBN Technologies(雷神BBN技术公司);Systems and Technology Research(系统与技术研究公司)
我们提出了一种方法,用于控制一个群体使用其频谱分解-也就是说,通过描述一组轨迹的一个群体在整个操作域的空间分布-保证规模不变性相对于代理的数量都用于计算和运营商负责控制的群体。我们使用遍历控制,分散在整个网络中,用于实现。在DARPA OFFSET计划的现场设置中,我们使用STOMP接口为操作员测试了这种接口设计-雷神BBN在OFFSET计划的整个持续时间内使用的相同接口。在这些测试中,我们证明了我们的方法是规模不变的-用户规范不依赖于代理的数量;它是持久的-规范保持活跃,直到用户指定一个新的命令;它是实时的-用户可以在任何时候与群进行交互和中断。此外,我们表明,频谱/遍历规范的群体行为优雅地降低代理的数量下降,使运营商保持相同的方法,代理成为禁用或添加到网络。我们证明了我们的系统在一个领域相关的模拟器上的各种战术方案与多达50个代理的规模不变性和动态响应。我们还展示了我们的系统在现场与一个较小的团队代理的动态响应。最后,我们为我们的系统提供代码。
2022-12-12 cs.RO
DroneARchery: Human-Drone Interaction through Augmented Reality with Haptic Feedback and Multi-UAV Collision Avoidance Driven by Deep Reinforcement Learning
Skolkovo Institute of Science and Technology(斯科尔科沃科技学院)
提出了一种基于RL的群体行为驱动的增强现实(AR)人机交互的新概念,以实现对无人机群体编队的直观和沉浸式控制。我们开发的DroneARchery系统允许用户快速部署一群无人机,生成模拟射箭的飞行路径。触觉接口LinkGlide将弓弦张力的触觉刺激传递到前臂,以提高瞄准精度。释放的无人机群动态地避免彼此之间的碰撞,无人机跟随用户,以及基于深度强化学习的行为控制的外部障碍物。开发的概念在与人类的场景中进行了测试,其中用户使用真实的无人机从虚拟弓射击以击中目标。人类操作员在AR中观察无人机的弹道轨迹,并通过触觉显示实现弓弦张力的逼真和高度可识别的体验。实验结果表明,该系统通过应用AR技术和传递拉力的触觉反馈,使轨迹预测精度提高了63.3%。DroneARchery用户在控制无人机时强调了自然性(5分制中的4.3分)和增加的信心(5分制中的4.7分)。我们设计了触觉模式,以呈现触觉显示的四个滑动距离(张力)和三个施加的力水平(刚度)。用户表现出区分触觉模式产生的触觉显示代表不同的弓弦张力(平均识别率为72.8%)和刚度(平均识别率为94.2%)。该研究的新颖之处在于开发了一种基于AR的无人机控制方法,不需要操作员的特殊技能和培训。
2022-10-14 cs.HC cs.RO
Generative adversarial imitation learning for robot swarms: Learning from human demonstrations and trained policies
University of Konstanz(康斯坦茨大学);Zukunftskolleg(未来学院)
本文提出基于生成对抗模仿学习的框架,从人类示范和训练策略中学习机器人群体的集体行为,并在真实机器人上验证了其有效性。
2026-03-03 cs.LG cs.MA cs.RO
Gesture-Controlled Aerial Robot Formation for Human-Swarm Interaction in Safety Monitoring Applications
Department of Cybernetics, Faculty of Electrical Engineering, Czech Technical University in Prague(电子工程系控制学系,捷克技术大学);Department of Power Generation Technologies and Materials, Ricerca sul Sistema Energetico(发电技术与材料系,能源系统研究)
本文提出一种基于手势的非接触式人机群交互编队控制方法,通过领导者-跟随者无人机编队监测高处作业工人安全,并结合人体检测跟踪、位置估计和手势检测模块,在真实无人机上首次实现完整HSI系统并验证其有效性。
2025-07-21 cs.RO
Continuous Sculpting: Persistent Swarm Shape Formation Adaptable to Local Environmental Changes
Northwestern University(西北大学);McCormick School of Engineering(麦考密克工程学院);Center for Robotics and Biosystems(机器人与生物系统中心);University of Pennsylvania(宾夕法尼亚大学);General Robotics, Automation, Sensing and Perception (GRASP) Lab(通用机器人、自动化、感知与操作实验室(GRASP实验室))
本文提出“连续雕塑”算法,通过机器人进出形状循环、离队充电、消息传递与运动协同,使群体形状在任意人为或环境变化下永久维持,并在仿真与真实移动机器人上验证。
2024-04-02 cs.RO
Human Implicit Preference-Based Policy Fine-tuning for Multi-Agent Reinforcement Learning in USV Swarm
Korea Military Academy (KMA)(韩国军事学院);KAIST(韩国科学技术院);Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);University of California, Riverside(加州大学河滨分校)
提出一种基于人类反馈的MARL方法,通过Agent-Level Feedback系统解决信用分配问题,并利用LLM评估器在多场景下验证,有效优化了USV集群策略。
2025-03-07 cs.AI cs.LG cs.MA
LARS: Light Augmented Reality System for Swarm
Science of Intelligence, Research Cluster of Excellence(卓越研究集群「智能科学」);Humboldt University of Berlin(柏林洪堡大学);University of Konstanz(康斯坦茨大学)
本研究提出开源高性价比的轻型增强现实系统LARS,通过光投射场景实现间接群机器人及人机交互,兼容多类机器人平台,可提升实验自由度与可复现性,在保留机器人真实性的同时丰富环境动态元素。
2024-10-17 cs.HC cs.RO
DronePaint: Swarm Light Painting with DNN-based Gesture Recognition
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
我们提出了一种新的人类群体交互系统,允许用户直接控制一群无人机在复杂的环境中,通过轨迹绘制与手势接口的基础上,基于DNN的手势识别。开发的基于CV的系统允许用户通过人类的手势和运动实时控制群体行为,而无需额外的设备,提供方便的工具来改变群体的形状和形成。提出并实现了两种类型的交互来调整群体的层次结构:轨迹绘制和自由形式轨迹生成控制。实验结果表明,手势识别系统的准确性高(99.75%),允许用户实现相对较高的精度的轨迹绘制(平均误差为5.6厘米相比,3.1厘米的鼠标绘图)在三个评估的轨迹模式。所提出的系统可以潜在地应用于复杂环境探索、使用无人机的喷漆和交互式无人机表演,允许用户通过无人机群来创建自己的艺术对象。
2021-07-23 cs.RO
Low Cost Swarm Based Diligent Cargo Transit System
National Institute of Technology Trichy(特里奇国家理工学院);Intel India(英特尔印度公司)
本文提出一种适用于发展中国家的低成本群体智能货运系统,通过低成本组件和对现有车辆的有限改造,有效减少人力与资源投入,实现经济且稳健的货物自动化转移。
2023-04-03 cs.RO
Auto-HSI: Personalized human control of a robot swarm on demand by using LLMs for online automatic code generation
IRIDIA, Université Libre de Bruxelles(布鲁塞尔自由大学IRIDIA研究所);Department of Aerospace Science and Technology, Politecnico di Milano(米兰理工大学航空航天科学与技术系);Télécom Physique Strasbourg, Université de Strasbourg(斯特拉斯堡大学斯特拉斯堡电信物理学院);Polytech Lyon, Lyon 1 Université Claude Bernard(里昂第一大学里昂理工学院);University of Pisa(比萨大学);Scuola Superiore Sant’Anna(圣安娜高等研究学院)
Auto-HSI利用LLM根据自然语言和手势自动生成代码,为未经训练的操作员按需创建个性化人-集群交互界面,实现手势控制机器人集群,并在仿真和真实实验中验证了有效性。
2026-09-16 cs.AI cs.HC cs.MA