Human-Piloted Drone Racing: Visual Processing and Control
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院)
人类比算法更快地驾驶无人机,尽管受限于固定的相机角度,身体速率控制和数百毫秒的响应延迟。更好地理解人类飞行员从高度动态的视觉信息中选择适当的运动命令的能力,可以为解决基于视觉的自主导航中的当前挑战提供关键的见解。本文研究了在无人机竞速任务中人眼运动、控制行为和飞行性能之间的关系。我们使用高度逼真的无人机竞赛模拟器从21名经验丰富的无人机飞行员那里收集了多模态数据集,该模拟器也用于招募专业飞行员。我们的研究结果显示,随着时间的推移,无人机竞赛性能的特定任务改进。特别地,我们发现眼睛注视跟踪未来的路点(即,第一次注视平均发生在到达大门前1.5秒和16米处。此外,人类飞行员一直在观察未来飞行路线的内部,以进行横向(即,左转和右转)和垂直机动(即,上升和下降)。最后,我们发现飞行员的眼球运动和四旋翼飞行的指令方向之间有很强的相关性,平均视觉运动反应潜伏期为220 ms。这些结果突出了协调眼球运动在人类驾驶的无人机比赛中的重要性。我们将我们的数据集公开提供。
2021-03-08 cs.RO
Dream to Fly: Model-Based Reinforcement Learning for Vision-Based Drone Flight
Robotics and Perception Group, Department of Informatics, University of Zurich(苏黎世大学信息学系机器人感知组)
本文提出基于模型的强化学习方法,通过像素观测实现无人机敏捷飞行,展示了在模拟和真实世界中的高效表现,推动了基于像素的自主飞行技术发展。
2026-04-10 cs.RO
DronePick: Object Picking and Delivery Teleoperation with the Drone Controlled by a Wearable Tactile Display
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
我们报告的遥控操作系统DronePick提供远程对象采摘和交付由人类控制的四轴飞行器。所提出的系统的主要新颖之处在于,人类用户不断地获得视觉和触觉反馈准确的遥操作。DronePick由配备磁性抓取器的四轴飞行器、带手指运动跟踪传感器的触觉手套、手部跟踪系统和虚拟现实(VR)应用程序组成。人类操作员通过改变手的位置来遥控四轴飞行器。表示远程对象相对于四轴飞行器的位置的所提出的振动触觉图案被递送到手套。它可以帮助操作员确定四轴飞行器何时位于物体正上方。当通过将手紧握在手套中发送“拾取”命令时,四轴飞行器降低其高度,并且磁性抓取器附着目标物体。整个场景在VR中并行模拟。来自四轴飞行器的气流和VR物体的相对位置帮助操作员确定要拾取的交付物体的确切位置。实验结果表明,振动触觉模式被用户以较高的识别率识别:平均识别率为99%,平均识别时间为2.36s。开发并测试了DronePick的现实实现,其特点是物体拾取和交付给人类。
2019-08-07 cs.HC cs.RO
Intercepting an Agile Target with Net-Carrying Drones using Competitive Multi-Agent Reinforcement Learning
IAS, Thales LAS, Rungis, France(法国Thales LAS研究所);RIS, LAAS-CNRS Toulouse, France(法国CNRS实验室)
研究用携带捕捉网的无人机团队拦截敏捷无人机的问题,采用带优先虚拟自我博弈的多智能体近端策略优化训练智能体,在高保真模拟器中用低级控制命令训练,结果表明该方案优于基线,且相关因素对追逃任务策略学习至关重要。
2026-07-08 cs.RO
Towards Reproducible Evaluations for Flying Drone Controllers in Virtual Environments
KAIST(韩国科学技术院);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));University of Helsinki(赫尔辛基大学);Fudan University(复旦大学);The Hong Kong University of Science and Technology(香港科技大学)
对无人机飞行的自然用户界面(NUI)的研究关注正在上升。然而,NUI是高度多样化的,并且主要通过不同的物理环境进行评估,导致这些解决方案之间的性能难以比较。我们提出了一个虚拟环境,即VRFlightSim,使丰富的无人机飞行细节的比较评估,以解决这个问题。我们首先复制了一个最先进的(SOTA)界面,并在我们的虚拟环境中设计了两个任务(交叉和指向)。然后,有13名参与者的两项用户研究证明了VRFlightSim的必要性,并进一步强调了开放数据接口设计的潜力。
2022-07-29 cs.HC cs.MM cs.RO
OmniAI: A Surface-Adaptive Aerial Projection Interface for Human--Drone Interaction
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)理工学院)
OmniAI是一种具现化空中智能体,通过自适应投影实现人机交互,采用RGB-D与RANSAC检测投影表面,支持语音、手势控制,为情境感知人机交互提供移动空间AR界面。
2026-08-04 cs.RO
SwarmCloak: Landing of Two Micro-Quadrotors on Human Hands Using Wearable Tactile Interface Driven by Light Intensity
University of ElectroCommunications, Tokyo(东京电机大学)
对于人类操作员来说,在半空中抓住一个小尺寸的四旋翼飞行器,而不是把它降落在一个表面上,往往更容易和更快。然而,此类情况下的交互策略尚未得到适当考虑,特别是当必须同时降落多架无人机时。在本文中,我们提出了一种新的互动策略,土地多个机器人的人手,使用振动触觉反馈。我们开发了一种可穿戴的触觉显示器,它由四轴飞行器底部的LED环发出的光的强度激活。我们进行了实验,参与者被要求调整手掌的位置,以不同的着陆速度降落一个或两个垂直下降的无人机,只有视觉反馈,只有触觉反馈或视觉触觉反馈。我们对无人机着陆位置、着陆垫和人头轨迹进行了统计分析。双因素方差分析表明,反馈条件之间的统计学显着差异。实验分析证明,随着无人机数量的不断增加,触觉反馈在手的准确定位和操作的方便性方面发挥着越来越重要的作用。单架和两架无人机的最精确着陆是通过触觉和视觉反馈的结合实现的。
2020-01-31 cs.HC cs.RO
SkySim: A ROS2-based Simulation Environment for Natural Language Control of Drone Swarms using Large Language Models
Heriot-Watt University(赫瑞-瓦特大学)
SkySim通过基于ROS2的仿真框架,利用大型语言模型实现无人机群的自然语言控制,结合人工势场算法确保安全执行,验证了空间推理精度和实时碰撞避免能力。
2026-02-01 cs.HC cs.RO
Unmanned Aerial Vehicle Control Through Domain-based Automatic Speech Recognition
Universidad Central de Chile(智利中央大学);Universidade de Pernambuco(伯南布哥大学);Deakin University(迪肯大学)
目前,无人机等无人驾驶飞行器正在成为我们生活的一部分,并深入到社会的许多领域,包括工业化世界。控制无人机的移动和动作的常见替代方案是通过无线触觉接口,可以找到不同的遥控设备。然而,通过此类设备进行控制并不是一种自然的、类似人类的通信接口,有时对某些用户来说很难掌握。在这项工作中,我们提出了一个基于域的语音识别架构,以有效地控制无人驾驶飞机,如无人机。无人机控制是使用更自然、更人性化的方式来传达指令。此外,我们实现了一种使用西班牙语和英语语言进行命令解释的算法,以及在模拟的家庭环境中控制无人机的运动。进行的实验涉及参与者以两种语言向无人机发出语音命令,以比较每种语言的有效性,同时考虑实验参与者的母语。此外,不同程度的失真已被应用到语音命令,以测试所提出的方法时,面对嘈杂的输入信号。所获得的结果表明,无人驾驶飞行器能够解释用户语音指令,与仅使用基于云的算法而不使用基于域的指令相比,当使用音素匹配时,实现两种语言的语音到动作识别的改进。使用原始音频输入,基于云的方法对英语和西班牙语指令的准确率分别达到74.81%和97.04%,而使用我们的音素匹配方法,结果得到改善,对英语和西班牙语的准确率分别达到93.33%和100.00%。
2020-09-09 cs.AI cs.RO
Experimental Analysis of Quadcopter Drone Hover Constraints for Localization Improvements
West Virginia University(西弗吉尼亚大学)
本文研究在地面机器人与无人机多传感器融合定位中引入无人机悬停约束,利用自动驾驶仪控制指令对速度状态施加约束,并通过增量因子图优化和运动捕捉实验验证其能有效提升无人机定位性能。
2025-04-10 cs.RO
CaptAinGlove: Capacitive and Inertial Fusion-Based Glove for Real-Time on Edge Hand Gesture Recognition for Drone Control
DFKI(德国人工智能研究中心);RPTU Kaiserslautern-Landau(凯撒斯劳滕-兰道莱茵-普法尔茨理工大学)
本文提出低功耗、小内存的纺织手套CaptAinGlove,通过轻量CNN与分层多模态融合实现无人机手势的实时边缘识别,离线F1达80%,边缘实时F1达67%。
2023-06-07 cs.HC cs.LG cs.RO
Hand-worn Haptic Interface for Drone Teleoperation
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
无人机遥控操作通常使用远程无线电控制器来完成,这些设备对于没有经验的用户来说很难掌握。此外,反馈给用户的关于机器人状态的信息量有限,通常仅限于视觉,可能在几种情况下成为操作的瓶颈。在这项工作中,我们提出了一个可穿戴的接口无人机遥操作和评估,通过用户研究。所提出的系统的两个主要特点是一个数据手套,允许用户控制无人机的轨迹,通过手部运动和触觉系统,用于增强他们对机器人周围环境的认识。该接口可用于无经验操作员在视线范围内操作机器人系统,并允许他们安全地执行检查和搜救任务中常见的任务,例如接近墙壁和穿越能见度有限的狭窄通道。除了可穿戴界面的设计和实现之外,我们还进行了一项系统研究,通过三项用户研究(n = 36)来评估系统的有效性,以评估用户的学习路径及其在有限可见度下执行任务的能力。我们在模拟和真实环境中验证了我们的想法。我们的研究结果表明,该系统可以提高遥操作性能在不同的情况下相比,标准的遥控器,使其成为一个可行的替代标准的人机界面。
2020-04-15 cs.RO
Learning Vision-based Cohesive Flight in Drone Swarms
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
本文提出了一种数据驱动的方法,从一个简单的群集算法学习基于视觉的集体行为。我们模拟了一群四旋翼无人机,并将控制器制定为回归问题,其中我们直接从原始相机图像生成3D速度命令。该数据集是通过同时采集全向图像和从群集算法计算相应的控制命令来创建的。我们表明,在无人机的视觉输入上训练的卷积神经网络不仅可以学习鲁棒的碰撞避免,而且可以以样本高效的方式学习群的一致性。神经控制器有效地学习在视觉输入中定位其他代理,我们通过可视化对代理运动影响最大的区域来显示。该弱监督显著图可以被有效地计算,并且可以用作其他代理的后续检测和相对定位的先验。我们消除了依赖于羊群成员之间的共享位置,只考虑本地的视觉信息控制。因此,我们的工作可以被视为迈向完全分散的、基于视觉的群体的第一步,而不需要通信或视觉标记来帮助检测其他代理。
2018-09-03 cs.CV cs.LG cs.MA
UB-ANC Drone: A Flexible Airborne Networking and Communications Testbed
University at Buffalo(布法罗大学)
我们目前在布法罗的机载网络和通信测试床(UB-ANC无人机)的大学。UB-ANC Drone是一个开放的软件/硬件平台,旨在促进对协议栈不同层的机载网络和通信协议进行快速测试和可重复的比较评估。它将能够自主飞行的四轴飞行器与复杂的指挥和控制功能以及嵌入式软件定义无线电(SDR)相结合,从而能够灵活部署新型通信和网络协议。这与现有的机载网络测试平台形成对比,现有的机载网络测试平台依赖于标准的不灵活的无线技术,例如,Wi-Fi或Zigbee。UB-ANC Drone的设计强调模块化和可扩展性,并围绕研究和爱好社区开发的流行开源项目和标准构建。这使得UB-ANC Drone高度可定制,同时也简化了其采用。在本文中,我们描述了UB-ANC Drone的硬件和软件架构。
2018-07-21 cs.NI cs.RO
The Impact of Virtual Reality and Viewpoints in Body Motion Based Drone Teleoperation
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
远程机器人系统的操作可能是一项具有挑战性的任务,需要直观和高效的界面,以使没有经验的用户能够达到高水平的熟练程度。身体-机器接口(BoMI)代表了标准控制设备(如鼠标)的一种有前途的替代方案,因为它们利用了直观的身体运动和手势。已经表明,使用虚拟现实(VR)和第一人称视角可以增加用户在化身中的存在感。然而,目前还不清楚这些有益的影响是否也发生在显示不同于人类的运动模式的非拟人机器人的遥操作中。在这里,我们描述的非拟人无人机的远程操作的实验结果表明,VR与更高的空间存在感相关,而与机器人一致移动的视点与更高的意义上的实施例。此外,实验结果表明,自发身体运动模式在可变性、幅度和机器人相关性方面受到VR和视点条件的影响,这表明无人机遥操作BoMI的设计必须考虑到虚拟现实的使用和选择。观点。
2021-01-30 cs.HC cs.RO
TypeFly: Flying Drones with Large Language Model
Yale University(耶鲁大学)
本文提出ChatFly系统,结合专为token效率设计的MiniSpec编程语言及其运行时,有效减少LLM生成无人机控制计划的延迟,降低高达62%的响应时间,实现响应迅速且智能的无人机控制。
2024-09-26 cs.AI cs.HC cs.RO
GazeRace: Revolutionizing Remote Piloting with Eye-Gaze Control
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
本文提出GazeRace系统,利用MediaPipe库将眼动转化为无人机指令,实现直观的远程驾驶,测试表明其在保持相当速度的同时将轨迹长度减少18%,提高了控制精度并降低了用户挫败感。
2024-08-21 cs.RO
WiredSwarm: High Resolution Haptic Feedback Provided by a Swarm of Drones to the User's Fingers for VR interaction
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
我们提出了一种新的交互策略的概念,提供丰富的触觉反馈在虚拟现实(VR)中,当每个用户的手指连接到微型四旋翼与电线。所描述的技术代表了第一个飞行可穿戴触觉接口。该解决方案可能能够在VR中的精细运动交互期间向每个手指提供高分辨率的力反馈。系绳的尖端连接到底部下方的四轴飞行器的中心。因此,飞行稳定性正在增加,相互作用力变得越来越强,这允许使用较小的无人机。
2019-11-12 cs.HC cs.RO
FLAGRED -- Fuzzy Logic-based Algorithm Generalizing Risk Estimation for Drones
Université de Sherbrooke(谢布鲁克大学);Hydro-Quebec Research Institute(魁北克水电研究院)
本文提出一种基于模糊逻辑的无人机风险实时估计算法FLAGRED,仅利用电机指令数据即可泛化到不同机型,实测性能优于ArduCopter并有效区分高低风险场景。
2024-02-07 cs.RO
Count Every Rotation and Every Rotation Counts: Exploring Drone Dynamics via Propeller Sensing
Shenzhen International Graduate School, Tsinghua University, China(清华大学深圳国际研究生院);The University of Hong Kong(香港大学);Meituan Academy of Robotics Shenzhen, China(美团机器人研究院(深圳));School of Software, Tsinghua University, China(清华大学软件学院)
通过螺旋桨旋转速度感知提升无人机传感性能,提出基于事件相机的解决方案,实现高精度飞行指令推断和跟踪精度提升。
2025-11-25 cs.RO
SwarmHive: Heterogeneous Swarm of Drones for Robust Autonomous Landing on Moving Robot
Skoltech(斯科尔科沃科技学院)
本文重点研究了异构无人机群,以实现移动机器人的编队动态着陆。科学家们还没有完成这项艰巨的任务。关键技术是,我们建议在领导者无人机上只安装一个摄像头,而不是用计算机视觉来促进无人机群的每个代理,从而大大增加有效载荷并缩短飞行时间。跟随无人机接收来自领导者UAV的命令,并与人工势场保持无碰撞轨迹。实验结果表明,高精度的群体降落在一个静态的移动平台(RMSE为4.48厘米)。在最大速度为1.0 m/s和1.5 m/s的移动平台上,蜂群着陆的RMSE分别为8.76 cm和8.98 cm。拟议中的SwarmHive技术将允许蜂群节省时间着陆,以便进一步为无人机充电。这将使多智能体机器人系统能够实现自我可持续的操作,用于救援行动,检查和维护,自主仓库库存,货物交付等场景。
2022-06-17 cs.RO
Embodied Flight with a Drone
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
大多数人机界面,如鼠标和键盘,需要训练和持续的认知努力,并提供有限程度的机器人状态及其环境的意识。嵌入式交互,而不是界面,可以弥合人类和机器人之间的差距,使人类能够通过远端机器人身体自然地感知和行动。建立一个具体的互动和映射人类的运动和非拟人化的机器人是特别具有挑战性的。在本文中,我们描述了一个自然和沉浸式的体现互动,允许用户控制和体验无人机飞行与自己的身体。该装置使用商业飞行模拟器,跟踪手部运动并提供触觉和视觉反馈。本文讨论了如何将模拟器与真正的无人机集成,如何将身体运动与无人机运动映射,以及由此产生的具体交互如何为不熟练的用户提供更自然和身临其境的飞行体验。
2017-07-06 cs.RO
Intuitive Human-Drone Collaborative Navigation in Unknown Environments through Mixed Reality
New York University(纽约大学);Tandon School of Engineering(坦登工程学院);Worcester Polytechnic Institute(伍斯特理工学院)
本文提出一种基于混合现实的人机接口,通过HMD共享空间信息,在未知环境中实现超越传统遥控的直观安全协同导航,并在模拟灾后场景中验证其优于FPV控制。
2025-04-08 cs.RO
3D Characterization of Smoke Plume Dispersion Using Multi-View Drone Swarm
Minnesota Robotics Institute, St. Anthony Falls Laboratory, University of Minnesota(明尼苏达机器人研究所、圣安东尼瀑布实验室、明尼苏达大学)
提出由1架管理机与4架工作机组成的多视角无人机集群,结合同步环绕成像和NeRF三维重建,以约1 s分辨率表征烟羽扩散动态。
2025-05-10 cs.RO
Demonstrating Agile Flight from Pixels without State Estimation
University of Zurich(苏黎世大学)
该研究提出首个无需显式状态估计的视觉驱动四旋翼系统,通过非对称演员-评论家强化学习训练策略,结合Swin-transformer门检测器,实现了最高40km/h、2g加速度的敏捷飞行,可依托现成硬件运行。
2024-06-18 cs.RO
PILOT: High-Precision Indoor Localization for Autonomous Drones
Department of Electrical and Computer Engineering, Virginia Tech(弗吉尼亚理工大学电气与计算机工程系)
在许多情况下,无人机(UAV),又名无人机,需要具有自主飞行的能力才能成功执行任务。为了实现这些自主飞行,无人机需要不断地知道它们的位置。然后,基于当前位置和最终目的地,将生成导航命令,并将无人机引导到目的地。定位可以很容易地在户外环境中使用GPS信号和无人机惯性测量单元(IMU)进行。然而,这种方法在室内环境或GPS拒绝区域中是不可行的。在本文中,我们提出了一种专门针对室内环境设计的无人机定位方案,称为PILOT(自主无人机的高精度室内定位)。PILOT依靠超声波信号来估计目标无人机的位置。为了对无人机的位置进行精确的最终估计,PILOT部署了一个三阶段定位方案。前两个阶段提供对室内环境的多径衰落效应的鲁棒性,并减轻测距误差。然后,在第三阶段,PILOT部署了一个简单而有效的技术,以减少由发射机和接收机之间的相对几何形状引起的定位误差,并显着降低高度估计误差。在不同场景下对PILOT算法进行了性能评估,结果表明PILOT算法在无人机三维定位中达到厘米级精度。
2022-01-25 cs.RO eess.SP
FleetScape: A Mixed Reality Sandtable for Spatial Supervision and Control of Scalable Drone Fleets
University of Toulouse, Fédération ENAC ISAE-SUPAERO ONERA(图卢兹大学、法国航空航天学校联合会、高等航空航天学院、法国航空航天研究院);CNRS, IPAL(法国国家科学研究中心、IPAL机构);National University of Singapore(新加坡国立大学);National University of Singapore, Augmented Human Lab(新加坡国立大学增强人类实验室);National University of Singapore, School of Computing(新加坡国立大学计算机学院)
该研究提出混合现实沙盘系统FleetScape,通过空间交互优化无人机机群监督,经用户研究验证其对态势感知和控制切换的作用,同时得出相关设计启示。
2026-08-31 cs.HC cs.RO
Deep Drone Racing: Learning Agile Flight in Dynamic Environments
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院);Intel Labs(英特尔实验室)
自主敏捷飞行给机器人技术带来了根本性的挑战,例如应对不可靠的状态估计,对动态变化的环境做出最佳反应,以及在严重的资源约束下实时的耦合感知和动作。在本文中,我们认为这些挑战的背景下,自主的,基于视觉的无人机赛车在动态环境中。我们的方法将卷积神经网络(CNN)与最先进的路径规划和控制系统相结合。CNN直接将原始图像映射为路点和期望速度形式的鲁棒表示。然后,规划器使用该信息来生成短的、最小加加速度的轨迹段和相应的电机命令,以达到期望的目标。我们展示了我们的方法在自主敏捷飞行的情况下,其中一个基于视觉的四旋翼机穿越无人机赛车轨道可能移动门。我们的方法不需要任何显式的环境地图,并完全板载运行。我们广泛测试的精度和鲁棒性的方法在模拟和物理世界。我们还评估了我们的方法对国家的最先进的导航方法和专业的人类无人机飞行员。
2018-10-09 cs.RO
anafi_ros: from Off-the-Shelf Drones to Research Platforms
Nanyang Technological University(南洋理工大学)
现成的无人机操作简单,易于维护空中系统。然而,由于专有的飞行软件,这些无人机通常不提供任何开源接口,使它们能够在研究或教学中自主飞行。这项工作介绍了一个用于ROS1和ROS2的软件包,用于与Parrot ANAFI家族的现成无人机进行直接接口。开发的ROS包与硬件无关,允许无缝连接到所有四种支持的无人机模型。该框架可以轻松连接到同一地面站的单个无人机或一组无人机。开发的软件包在无人机能力的极限下进行了密集测试,并进行了精心记录,以方便全球其他研究小组使用。
2023-03-03 cs.RO
Swarm-in-Blocks: Simplifying Drone Swarm Programming with Block-Based Language
本文介绍基于块的语言Swarm-in-Blocks及其2.0版本,使无人机集群编程无需深入掌握ROS或编程知识,从而简化集群管理并拓展编程教育机会。
2025-08-15 cs.RO
HADRON: Human-friendly Control and Artificial Intelligence for Military Drone Operations
Royal Military Academy of Brussels(布鲁塞尔皇家军事学院)
HADRON项目开发测试多项新技术,从直观控制、多机指挥监督、AI辅助半自动化数据处理三方面实现军用无人机蜂群的人性化控制,降低操作员培训需求与认知负荷。
2024-08-13 cs.RO
Learning Deep Sensorimotor Policies for Vision-based Autonomous Drone Racing
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院)
自主无人机可以在远程和非结构化环境中运行,从而实现各种现实应用。然而,缺乏有效的基于视觉的算法一直是实现这一目标的绊脚石。现有系统通常需要手工设计的组件来进行状态估计、规划和控制。这样的顺序设计涉及费力的调整、人工智能以及复合延迟和错误。本文通过学习深度感觉运动策略来解决基于视觉的无人机竞赛问题。我们使用对比学习从输入图像中提取鲁棒的特征表示,并利用两阶段的作弊学习框架来训练神经网络策略。由此产生的策略直接推断控制命令与从原始图像中学习的特征表示,放弃了全局一致的状态估计,轨迹规划和手工控制设计的需要。我们的实验结果表明,我们的基于视觉的政策可以实现相同水平的赛车性能的状态为基础的政策,同时对不同的视觉干扰和干扰是强大的。我们相信这项工作可以作为开发基于智能视觉的自主系统的垫脚石,这些系统可以像人类飞行员一样纯粹通过图像输入来控制无人机。
2022-10-26 cs.AI cs.RO
MuJoCo-Drones-Gym: A GPU-Accelerated Multi-Drone Simulator for Control and Reinforcement Learning
TAU-Intelligence
提出基于MuJoCo物理引擎的GPU加速多无人机模拟器MuJoCo-Drones-Gym,支持任意数量Crazyflie 2.x纳米四旋翼,提供模块化物理模型、动作接口和观测空间,集成PettingZoo多智能体强化学习,涵盖悬停、速度跟踪等七种任务环境。
2026-06-06 cs.RO
A Deployment Study of Identity-Gated Drone Gesture Control
Université Paris-Saclay(巴黎-萨克雷大学);IBISC Laboratory(IBISC实验室)
本文提出身份门控手势控制栈IGate,结合面部验证与手势识别,在DJI Tello EDU上验证,离线等错误率0.32%,飞行中19.3%,手势分类准确率优于几何规则。
2026-09-23 cs.CV cs.RO
FlightAR: AR Flight Assistance Interface with Multiple Video Streams and Object Detection Aimed at Immersive Drone Control
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
本文提出FlightAR界面,将无人机FPV与底部摄像头画面通过AR叠加到头戴显示器,提升飞行员态势感知,并通过NASA-TLX和UEQ评估验证其优于传统FPV护目镜的用户体验。
2024-10-22 cs.RO
Taking Flight with Dialogue: Enabling Natural Language Control for PX4-based Drone Agent
University of Southampton Malaysia(英国南安普顿大学马来西亚分校);Connected Intelligence Research Group(连接智能研究组);Sustainable Electronic Technologies(可持续电子技术)
针对空中机器人研究不足及 UAV 视觉-语言系统依赖闭源模型的问题,提出集成 PX4、ROS 2 与 Ollama 本地模型的开源智能体框架,并在仿真和实机上基准测试多种 LLM 与 VLM。
2025-06-09 cs.RO
OPTILOD: Optimal Beacon Placement for High-Accuracy Indoor Localization of Drones
Virginia Tech(弗吉尼亚理工学院暨州立大学)
对于许多应用,无人机需要完全或部分自主操作。为了完全或部分自主飞行,无人机需要访问位置服务以获取导航命令。虽然使用全球定位系统(GPS)是一个显而易见的选择,但GPS并不总是可用的,可能被欺骗或干扰,并且在室内和地下环境中非常容易出错。利用信标的测距方法是目前常用的定位方法之一,特别适用于室内环境。一般来说,这类定位误差是由于两个因素造成的:测距误差和信标与待定位目标之间的相对几何形状引起的误差。本文提出了OPTILOD(Optimal Beacon Placement for High-Accuracy Indoor Localization of Drones),这是一种用于三维室内环境中信标最优放置的优化算法。OPTILOD利用进化算法的进步来计算信标的最小数量及其最佳位置,以最大限度地减少定位误差。这些问题属于混合整数规划(MIP)类,并且都被认为是NP困难的。尽管如此,OPTILOD可以提供多个最佳的信标配置,最大限度地减少定位误差和部署的信标的数量,同时和时间效率。
2022-01-26 cs.RO eess.SP
Selfie Drone Stick: A Natural Interface for Quadcopter Photography
University of Technology, Baghdad(巴格达技术大学);University of Central Florida(中佛罗里达大学);Google(谷歌)
物理自拍杆扩展了用户的范围,使其能够获取包括更多背景场景的个人照片。类似地,四轴飞行器可以从用户无法到达的有利位置捕获照片;但是远程操作四轴飞行器到好的视点是一项困难的任务。本文介绍了一种用于四轴飞行器摄影的自然界面,即SelfieDroneStick,它允许用户根据手机的传感器将四轴飞行器引导到最佳有利位置。用户使用他们的智能手机指定他们想要的远程自拍的组成,四轴飞行器自动飞行到一系列有利位置,从那里可以拍摄所需的照片。机器人控制器是从现实世界的图像和模拟飞行数据的组合进行训练的。本文描述了在真实机器人上部署深度强化学习模型所需的两个关键创新:1)用于将学习从仿真转移到硬件平台的抽象状态表示,以及2)用于训练控制器的奖励塑造和分级范例。这两个改进被认为是必不可少的学习机器人控制器从模拟成功地转移到真正的机器人。
2020-08-18 cs.LG cs.RO
MonoRace: Winning Champion-Level Drone Racing with Robust Monocular AI
Control & Operation, Delft University of Technology(控制与操作,代尔夫特理工大学)
MonoRace通过单目AI和鲁棒状态估计,在无外部跟踪系统下实现冠军级无人机竞速,以500Hz运行神经网络,超越所有AI和人类冠军。
2026-01-21 cs.RO
HoverAI: An Embodied Aerial Agent for Natural Human-Drone Interaction
Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Skolkovo Institute of Science and Technology(斯克尔科沃信息科技研究所)
HoverAI通过结合无人机移动、视觉投影和对话式AI,实现了人-无人机自然交互的具身代理,提升了空间感知与社交响应能力。
2026-01-20 cs.RO
OmniRace: 6D Hand Pose Estimation for Intuitive Guidance of Racing Drone
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
本文提出OmniRace,首次利用6D手部姿态估计和手势识别实现竞速无人机的低层级直观控制,实验表明其使赛道完成时间缩短25.1%,路径长度从102.9米降至83.7米,神经网络平均准确率达99.75%。
2024-10-21 cs.RO
Preserving Relative Localization of FoV-Limited Drone Swarm via Active Mutual Observation
Huzhou Institute, Zhejiang University(浙江大学湖州研究院);Institute of Cyber-Systems and Control, College of Control Science and Engineering, Zhejiang University(浙江大学控制科学与工程学院 cyber系统与控制研究所);The Hong Kong University of Science and Technology (GZ)(香港科技大学(广州))
针对视场受限无人机集群中相互观测与环境观测的矛盾,本文提出基于卡尔曼滤波不确定性评估的主动偏航规划定位校正系统,将定位漂移降低最多65%并成功维持编队。
2024-07-01 cs.RO
SwarMan: Anthropomorphic Swarm of Drones Avatar with Body Tracking and Deep Learning-Based Gesture Recognition
Skoltech(斯科尔科沃科学技术学院)
拟人机器人化身为远程情感交流提供了一种概念上的新方法,使世界各地的人们能够在传统的2D和3D图像数据上进行更广泛的情感和社会交流。然而,目前的远程呈现机器人有几个限制,如高重量,系统的复杂性,防止其快速部署,以及有限的工作空间的化身安装在静态或轮式移动平台。在本文中,我们提出了一个新的概念,通过一个机器人化身的基础上拟人化的无人机群电信; SwarMan。开发的系统由九个纳米飞行器组成,由操作员通过手势识别界面远程控制。SwarMan允许操作员通过直接跟随他们的动作和识别预先记录的情绪模式之一来进行交流,从而将捕捉到的情绪作为无人机上的照明。LSTM MediaPipe网络在收集的600个短视频的数据集上进行了训练,其中包含五种情绪手势。在测试数据集上,情感识别的准确率为97%。由于通过群体化身的通信显着改变了操作员的视觉外观,我们研究了用户识别和响应由无人机群执行的情绪的能力。实验结果表明,用户之间的情绪评级的高度一致性。此外,当通过SwarMan界面进行沟通时,用户表示身体需求较低(Likert量表为2.25),并对其表现感到满意(Likert量表为1.38)。
2022-10-04 cs.RO
PLANE: An Extensible Open Source Framework for modeling the Internet of Drones
Politecnico di Bari(巴里理工大学)
Python Library for simulating unManNed vehiclEs(PLANE)是一个用Python编写的开源软件模块,专注于无人机(UAV),它们的运动和飞行力学,因此特别关注描述无人机运动的方程。在无人机互联网(IoD)的背景下,该模块可广泛用于研究无人机可能发现障碍物的场景中的位置/协调的相互控制,因为它发生在人口稠密的城市场景中。重点放在易用性、性能评估、文档和应用程序编程接口(API)一致性上。该软件工具具有最小的依赖性,并在MIT许可证下分发。源代码、二进制文件和文档可以从GitHub下载。
2019-06-19 cs.RO cs.SE
Package Delivery Using Autonomous Drones in Skyways
The University of Sydney(悉尼大学)
目前的无人机交付系统主要集中在点对点的包裹交付上。我们提供多站式无人机服务系统,可在指定地理区域内随时随地交付包裹。我们定义了一个空中交通网络,其中考虑到飞行规则,包括禁区和禁飞区。高架路节点通常表示可以充当充电站和递送目的地两者的建筑物屋顶。一个基于启发式的A* 算法用于计算从源到目的地的最佳路径,同时考虑到一些约束条件,包括交付时间,充电站的可用性等。我们使用悉尼CBD的3D模型在室内测试台环境中部署我们的无人机交付系统。我们描述了一个图形化的用户界面来监控Skyway网络中的实时包裹递送。
2021-08-13 cs.RO
Spatial Assisted Human-Drone Collaborative Navigation and Interaction through Immersive Mixed Reality
New York University, Tandon School of Engineering(纽约大学坦登工程学院)
本文提出基于混合现实的远程沉浸框架,利用双向空间感知、虚拟力指令、避障规划与可变导纳控制增强人-无人机认知和物理协作,并通过协同规划探索任务验证。
2024-04-06 cs.RO cs.SY eess.SY
Flight Dynamics to Sensing Modalities: Exploiting Drone Ground Effect for Accurate Edge Detection
Shenzhen International Graduate School, Tsinghua University, China(清华大学深圳国际研究生院);Computer Science Department, Carnegie Mellon University, USA(卡内基梅隆大学计算机科学系);Shenzhen Smart City Communication Co., Ltd., China(深圳智慧城市通信有限公司);School of Software, Tsinghua University, Beijing 100084, China(清华大学软件学院)
本文提出AirTouch系统,利用无人机地面效应作为新感知模态,通过分析姿态传感器和飞行命令实现精确边缘检测,平均误差0.051米,功耗仅43毫瓦,性能优于基线86%。
2025-09-25 cs.NI cs.RO
Magnisketch Drone Control
Carnegie Mellon University(卡内基梅隆大学)
本文提出 Magnasketch 无人机系统,利用模型预测控制结合磁力动力学,在磁性绘图板上实现图像到艺术的转换,虽误差略大但绘图更平滑且具备全状态控制优势。
2024-12-14 cs.RO cs.SY eess.SY
Neuro-LIFT: A Neuromorphic, LLM-based Interactive Framework for Autonomous Drone FlighT at the Edge
Electrical and Computer Engineering, Purdue University(电子与计算机工程系,普渡大学)
提出 Neuro-LIFT 框架,结合 LLM 与神经形态视觉,在 Parrot Bebop2 无人机上实现实时、低延迟的自然语言交互导航与避障。
2025-04-26 cs.CV cs.LG cs.NE
Fast-Racing: An Open-source Strong Baseline for SE(3) Planning in Autonomous Drone Racing
Zhejiang University(浙江大学);Huzhou Institute of Zhejiang University(浙江大学湖州研究院);DJI(大疆)
近年来,随着空中机器人自主化的发展,无人机自主竞赛越来越受到人们的关注。在专业的飞行员比赛中,熟练的操作员总是控制无人机以积极的姿态敏捷地避开障碍物,以便尽快到达目的地。像精英飞行员一样的自主飞行需要在SE(3)中进行规划,其非平凡性和复杂性阻碍了我们社区目前令人信服的解决方案。为了弥补这一差距,本文提出了一个开源基线,其中包括一个高性能的SE(3)规划器和一个为无人机比赛量身定制的具有挑战性的仿真平台。我们将SE(3)轨迹生成指定为软惩罚优化问题,并利用其底层并行结构加快求解过程。此外,为了提供一个挑战规划者的测试平台,我们开发了精细的无人机赛道,模拟了SE(3)中的真实设置和必需品规划。此外,我们提供了必要的系统组件,如公共地图接口和基线控制器,使我们的工作插件和使用。通过我们的基线,我们希望未来促进SE(3)规划和自主无人机竞赛的研究。
2021-09-07 cs.RO
Challenges in Drone Firmware Analyses of Drone Firmware and Its Solutions
School of Cybersecurity, Korea University(高丽大学 cybersecurity学院)
本文针对无人机固件因输入接口受限、加密与签名等导致的动态分析困难,提出相应解决方案,并在大疆无人机上验证了方法的有效性。
2024-06-10 cs.CR cs.RO
Learning Vision-based Flight in Drone Swarms by Imitation
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
今天部署的分散式无人机群要么依赖于代理之间的位置共享,要么依赖于视觉标记的帮助来检测群成员。本文提出了一种基于模仿学习的无标记无人机群的视觉协调方法。每个智能体都由一个小而高效的卷积神经网络控制,该网络将原始全向图像作为输入,并预测与群集算法计算的速度相匹配的3D速度命令。我们开始在仿真中训练,并提出了一个简单而有效的无监督领域自适应方法,将学习到的控制器转移到现实世界中。我们进一步训练控制器与我们的动作捕捉大厅收集的数据。我们表明,在无人机的视觉输入上训练的卷积神经网络不仅可以学习鲁棒的智能体间碰撞避免,而且可以以样本高效的方式学习群的凝聚力。神经控制器有效地学习在视觉输入中定位其他代理,我们通过可视化对代理运动影响最大的区域来显示。我们删除的依赖群成员之间的共享位置只考虑本地视觉信息的控制。因此,我们的工作可以被视为迈向完全分散的、基于视觉的群体的第一步,而不需要通信或视觉标记。
2019-08-08 cs.CV cs.LG cs.MA
Fleets Need a Context Plane: Rethinking Cooperative Perception for Autonomous Drones
Texas Tech University(德克萨斯理工大学)
针对无人机机群协同感知的上下文适配问题,提出上下文平面接口,实现低开销运行时策略决策,在UAV3D上验证了其准确率与全量共享相当且带宽占用极低。
2026-09-02 cs.DC cs.ET cs.RO
SkyDreamer: Interpretable End-to-End Vision-Based Drone Racing with Model-Based Reinforcement Learning
Faculty of Aerospace Engineering, Delft University of Technology(航空航天工程学院,代尔夫特理工大学)
SkyDreamer是首个端到端视觉无人机竞速策略,利用基于模型的强化学习实现可解释的隐式状态估计,无需外部标定即可机载高速飞行,速度达21米/秒,并鲁棒应对视觉和电池等现实差距。
2025-10-16 cs.RO