Image Generation for Efficient Neural Network Training in Autonomous Drone Racing
DOPI;Nanyang Technological University(南洋理工大学);Aarhus University(奥胡斯大学)
无人机竞赛是一项休闲运动,其目标是在最短的时间内通过一系列门,同时避免碰撞。在自主无人机竞赛中,必须通过仅依靠计算机视觉方法来检测目标门,在未知环境中完全自主地飞行来完成该任务。由于背景物体和光照条件变化等挑战,基于颜色或几何形状的传统目标检测算法往往会失败。卷积神经网络在计算机视觉方面提供了令人印象深刻的进步,但需要大量的数据来学习。收集这些数据是一个繁琐的过程,因为无人机必须手动飞行,并且收集的数据可能会受到传感器故障的影响。在这项工作中,提出了一种半合成数据集生成方法,使用真实背景图像和门的随机3D渲染的组合,以提供不受这些缺点影响的无限数量的训练样本。使用检测结果,视线引导算法被用于通过门。在几个实验性的实时测试中,所提出的框架成功地展示了快速可靠的检测和导航。
2020-08-06 cs.CV cs.RO
Visual Model-predictive Localization for Computationally Efficient Autonomous Racing of a 72-gram Drone
Delft University of Technology(代尔夫特理工大学)
无人机竞速正在成为风靡全球的电子竞技项目,击败人类最优秀的无人机竞速飞行员也迅速成为人工智能和机器人技术的新的重大挑战。在本文中,我们提出了一种策略,自主无人机比赛,这是计算更有效的导航方法,如视觉惯性里程计和同时定位与地图构建。这种快速、轻量、基于视觉的导航算法通过将竞赛门检测与模型动态预测相融合来估计无人机的位置。理论分析和仿真结果表明,在处理快速无人机比赛中出现的相对低频的视觉更新和偶尔的大离群值时,与卡尔曼滤波相比,该方法具有明显的优势。飞行测试是在一个名为“垃圾桶”的小型赛车四旋翼上进行的,该赛车配备了一个Jevois智能相机,总重量为72 g。测试赛道包括围绕4门赛道的3圈。这些门间隔4米,可以从它们的假定位置移位。平均速度为2 m/s,最大速度为2.6m/s。据我们所知,这款飞行平台是世界上最小的无人驾驶赛车,比现有最轻的无人驾驶赛车(420克)轻6倍,同时仍然是世界上最快的无人驾驶赛车之一。
2019-12-15 cs.RO
Continual Learning for Robust Gate Detection under Dynamic Lighting in Autonomous Drone Racing
Nanyang Technological University(南洋理工大学);Aarhus University(奥胡斯大学)
本文针对自主无人机竞速中动态光照导致的门检测困难问题,提出一种结合轻量级神经网络与持续学习的感知方法,通过融合位置、距离和朝向预测实现鲁棒门检测。
2024-05-02 cs.CV cs.LG cs.RO
Tiny-PULP-Dronets: Squeezing Neural Networks for Faster and Lighter Inference on Multi-Tasking Autonomous Nano-Drones
University of Bologna(博洛尼亚大学);ETH Zürich(苏黎世联邦理工学院);Technology Innovation Institute(技术创新研究院);Dalle Molle Institute for Artificial Intelligence(达勒·莫勒人工智能研究所)
本文提出 Tiny-PULP-Dronet 压缩方法,在保持 PULP-Dronet 飞行性能的同时将参数减少50倍、乘加运算减少27倍,为资源受限纳米无人机实现多任务智能提供轻量推理方案。
2024-07-02 cs.CV cs.LG cs.RO
AlphaPilot: Autonomous Drone Racing
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院)
本文提出了一种新的系统,自主的,基于视觉的无人机比赛相结合的学习数据抽象,非线性滤波,和时间最优轨迹规划。该系统已成功部署在第一届自动无人机竞速世界锦标赛:2019年AlphaPilot挑战赛。与传统的无人机竞赛系统(仅检测下一个门)相反,我们的方法利用任何可见的门,并利用多个同时的门检测来补偿状态估计的漂移,并构建门的全局地图。全局地图和漂移补偿的状态估计允许无人机即使在门不是立即可见的情况下也导航通过比赛跑道,并且还使得能够基于近似的无人机动态实时的规划通过比赛跑道的接近时间最优的路径。该系统已被证明可以成功引导无人机通过紧凑的赛道,速度高达8米/秒,并在2019年AlphaPilot挑战赛中排名第二。
2021-08-20 cs.CV cs.RO cs.SY
Accountability in Autonomous Drone-Based Firefighting: Insights From a Field Trial
University of Zurich(苏黎世大学);Zeppelin University(塞普豪森大学)
通过实地试验,研究自主无人机在消防中对问责制的影响,发现角色不确定性和人机交互新问题,并提出建议以负责任地整合无人机。
2026-06-17 cs.HC cs.RO
From Photons to Physics: Autonomous Indoor Drones and the Future of Objective Property Assessment
Mill Hill Garage(米尔希尔车库)
本文综述了自主室内无人机结合物理感知技术,将财产评估从主观视觉检查转变为客观定量测量,涵盖平台架构、先进传感、主动重建及与BIM和UAD等标准集成等关键领域。
2025-08-04 cs.CV cs.RO
An Autonomous Drone System with Jamming and Relative Positioning Capabilities
University of Cyprus(塞浦路斯大学);KIOS Research and Innovation Center of Excellence(KIOS卓越研究与创新中心)
随着无人机(UAV)未经授权的操作数量的增加,实施多功能反无人机系统正成为必要。在这项工作中,我们开发了一种基于无人机的反无人机系统,该系统采用检测和跟踪流氓无人机的算法,结合无线拦截能力,共同干扰流氓无人机,同时实现对追击者无人机的自我定位。在所提出的系统中,软件定义无线电(SDR)用于在干扰传输和频谱扫描功能之间切换,以分别实现所需的GPS中断和自定位。大量的现场实验证明了所提出的解决方案在各种参数设置下的真实环境中的有效性。
2022-06-09 cs.RO eess.SP
A simple vision-based navigation and control strategy for autonomous drone racing
AGH University of Science and Technology(AGH科技大学)
在本文中,我们提出了一个控制系统,允许无人机自主飞行通过一系列标有ArUco标签的门。使用了简单且低成本的DJI Tello EDU四旋翼平台。基于制造商提供的API,我们创建了一个Python应用程序,可以通过WiFi与无人机进行通信,根据视觉反馈实现无人机定位,并生成控制。提出了两种控制策略,比较和批判性分析。此外,还测量了所用定位方法的准确性。在膝上计算机(约40 fps)和Nvidia Jetson TX2嵌入式GPU平台(约25 fps)上评估应用。我们在GitHub上提供开发的代码。
2021-04-20 cs.CV cs.RO cs.SY
Redefining Aerial Innovation: Autonomous Tethered Drones as a Solution to Battery Life and Data Latency Challenges
本文探讨自主系留无人机通过系绳供电和直接数据传输,解决电池寿命和数据延迟问题,提升长时间监视与实时处理能力,推动无人机行业创新。
2024-02-28 cs.RO
VLN-Pilot: Large Vision-Language Model as an Autonomous Indoor Drone Operator
University Institute for Compute Research(计算研究大学研究所);University of Alicante(阿利坎特大学)
VLN-Pilot利用大型视觉-语言模型实现自主室内无人机导航,通过自然语言指令和视觉感知结合,提高飞行任务的自主性和安全性。
2026-02-05 cs.CV cs.RO
Event-based Navigation for Autonomous Drone Racing with Sparse Gated Recurrent Network
Aarhus University(奥胡斯大学)
基于事件的视觉已经彻底改变了机器人的感知任务,它承诺更快的响应,更低的能耗和更低的带宽,而不会引入运动模糊。在这项工作中,提出了一种新的深度学习方法,基于门控递归单元,利用稀疏卷积检测赛道中的门,使用基于事件的视觉的自主无人机赛车问题。我们在一个真实的机器人平台上展示了感知管道的效率和功效,该平台可以安全地实时导航典型的自主无人机赛道。在整个实验中,我们表明,基于事件的视觉与所提出的门控递归单元和模拟事件数据上的预训练模型显着提高了门检测精度。此外,公开发布了一个基于事件的无人机竞赛数据集,包括模拟和真实数据序列。
2022-04-05 cs.RO
PILOT: High-Precision Indoor Localization for Autonomous Drones
Department of Electrical and Computer Engineering, Virginia Tech(弗吉尼亚理工大学电气与计算机工程系)
在许多情况下,无人机(UAV),又名无人机,需要具有自主飞行的能力才能成功执行任务。为了实现这些自主飞行,无人机需要不断地知道它们的位置。然后,基于当前位置和最终目的地,将生成导航命令,并将无人机引导到目的地。定位可以很容易地在户外环境中使用GPS信号和无人机惯性测量单元(IMU)进行。然而,这种方法在室内环境或GPS拒绝区域中是不可行的。在本文中,我们提出了一种专门针对室内环境设计的无人机定位方案,称为PILOT(自主无人机的高精度室内定位)。PILOT依靠超声波信号来估计目标无人机的位置。为了对无人机的位置进行精确的最终估计,PILOT部署了一个三阶段定位方案。前两个阶段提供对室内环境的多径衰落效应的鲁棒性,并减轻测距误差。然后,在第三阶段,PILOT部署了一个简单而有效的技术,以减少由发射机和接收机之间的相对几何形状引起的定位误差,并显着降低高度估计误差。在不同场景下对PILOT算法进行了性能评估,结果表明PILOT算法在无人机三维定位中达到厘米级精度。
2022-01-25 cs.RO eess.SP
Autonomous Execution of Cinematographic Shots with Multiple Drones
University of Seville(塞维利亚大学);Instituto Superior Tecnico(里斯本高等理工学院)
本文提出了一种系统,用于执行自主电影摄影任务与一队无人机。该系统允许媒体导演设计任务,涉及不同类型的镜头与一个或多个摄像机,顺序或同时运行。我们介绍了完整的架构,其中包括任务设计,规划和执行的组件。然后,我们专注于与自主任务执行相关的组件。首先,我们提出了一种新的参数化描述镜头,考虑不同类型的相机运动和跟踪的目标,我们用它来实现一组规范的镜头。第二,对于多无人机拍摄执行,我们提出了分布式控制器,激活不同的镜头控制器上的无人机。此外,基于事件的机制用于在无人机之间同步拍摄执行,并考虑拍摄规划期间的不准确性。最后,我们展示了该系统与实地实验拍摄体育活动,包括一个真正的赛船会事件。我们报告的系统集成和经验教训,在我们的实验活动。
2020-06-22 cs.RO
Fast-Racing: An Open-source Strong Baseline for SE(3) Planning in Autonomous Drone Racing
Zhejiang University(浙江大学);Huzhou Institute of Zhejiang University(浙江大学湖州研究院);DJI(大疆)
近年来,随着空中机器人自主化的发展,无人机自主竞赛越来越受到人们的关注。在专业的飞行员比赛中,熟练的操作员总是控制无人机以积极的姿态敏捷地避开障碍物,以便尽快到达目的地。像精英飞行员一样的自主飞行需要在SE(3)中进行规划,其非平凡性和复杂性阻碍了我们社区目前令人信服的解决方案。为了弥补这一差距,本文提出了一个开源基线,其中包括一个高性能的SE(3)规划器和一个为无人机比赛量身定制的具有挑战性的仿真平台。我们将SE(3)轨迹生成指定为软惩罚优化问题,并利用其底层并行结构加快求解过程。此外,为了提供一个挑战规划者的测试平台,我们开发了精细的无人机赛道,模拟了SE(3)中的真实设置和必需品规划。此外,我们提供了必要的系统组件,如公共地图接口和基线控制器,使我们的工作插件和使用。通过我们的基线,我们希望未来促进SE(3)规划和自主无人机竞赛的研究。
2021-09-07 cs.RO
Autonomous Overhead Powerline Recharging for Uninterrupted Drone Operations
University of Southern Denmark(南丹麦大学)
本文提出一种全自主电力线自充电无人机系统,通过机载感知导航、被动夹持机构和分裂铁芯电流互感器取电,在室外三相电力线环境中实现多轮连续起降充电与数小时不间断作业。
2024-03-11 cs.RO
Autonomous Drone Landing with Fiducial Markers and a Gimbal-Mounted Camera for Active Tracking
Reykjavík University(雷克雅未克大学)
精确着陆是自主无人机飞行中的一个剩余挑战。基准标记为无人机提供了一种计算成本低的方式来定位着陆垫并自主执行精确着陆。然而,该领域的大多数工作依赖于刚性安装或面向下的摄像机,这限制了无人机检测标记的能力。我们提出了一种自主着陆的方法,使用万向架安装的摄像机快速搜索的着陆垫,通过简单地旋转到位,同时倾斜的相机向上和向下,并不断瞄准在着陆垫在方法和着陆过程中的相机。该方法演示了在没有人为干预的情况下,在物理无人机上使用5个测试基准系统中的4个进行成功的搜索,跟踪和着陆。每个基准系统,我们提出了从无人机到着陆垫中心的距离分布后,每次成功着陆。我们还展示了具有代表性的例子,飞行轨迹,标记跟踪性能,并在着陆过程中为每个通道的控制输出。最后,我们讨论每个系统的质量优势和弱点。
2022-11-11 cs.RO cs.SY eess.SY
Towards autonomous photogrammetric forest inventory using a lightweight under-canopy robotic drone
Department of Remote Sensing and Photogrammetry, Finnish Geospatial Research Institute FGI, The National Land Survey of Finland(遥感与摄影测量系,芬兰地理空间研究 institute FGI,芬兰国家土地测绘局)
本文提出了一种轻量级树冠下无人机原型,利用开源方法实现自主飞行和摄影测量,成功在森林中完成数据采集并实现高精度树木胸径估计。
2025-12-29 cs.CV cs.RO
Autonomous Delivery of Multiple Packages Using Single Drone in Urban Airspace
The University of Sydney(悉尼大学)
目前的无人机交付解决方案主要集中在使用一架无人机的单个包裹交付。然而,无人机技术的最新发展使无人机能够在一次行程中运送多个包裹。我们使用最近的目的地第一的战略,更快地交付的包裹在一个skyway网络。该演示是一个概念验证原型,用于在城市空域中遵循空中交通网络进行多包裹递送。我们使用悉尼CBD的3D模型在室内测试台环境中部署和测试这种多包裹无人机交付。演示:https://youtu.be/YTwsIfUvWPc
2022-09-04 cs.DC cs.RO
An Autonomous Hybrid Drone-Rover Vehicle for Weed Removal and Spraying Applications in Agriculture
IIITDM Kancheepuram(坎奇普拉姆印度信息技术设计制造学院);IISc Bangalore(班加罗尔印度科学学院)
本文提出一种自主混合无人机-漫游车,融合两者优势以应对垂直农业和多地形作业需求,并通过实验验证其避障、除草和喷药能力。
2023-08-09 cs.RO
A Step-by-Step Guide to Creating a Robust Autonomous Drone Testing Pipeline
Macquarie University(麦考瑞大学)
本文提出涵盖软件在环、硬件在环等四阶段的自主无人机测试分步指南,结合着陆系统案例说明验证方法,介绍相关新兴测试趋势,助力全面验证无人机系统、降低部署风险。
2025-06-13 cs.RO cs.SE
Learning by Cheating : An End-to-End Zero Shot Framework for Autonomous Drone Navigation
Indian Institute of Technology, Gandhinagar(印度理工学院甘地纳格尔分校)
本文提出了一种新的框架,自主无人机导航通过杂乱的环境。控制策略在训练期间在低级环境中学习,并在推理期间应用于复杂环境。在训练环境中学习的控制器被欺骗,相信机器人仍然处于训练环境中,而实际上它正在更复杂的环境中导航。本文提出的框架可以适用于在更复杂的任务中重用简单的策略。我们还表明,该框架可以用作强化学习算法的解释工具。
2021-11-11 cs.RO
Visual Attention Prediction Improves Performance of Autonomous Drone Racing Agents
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院)
人类驾驶无人机的速度比经过端到端自主飞行训练的神经网络更快。这可能与人类飞行员有效选择任务相关视觉信息的能力有关。这项工作研究了能够模仿人眼注视行为和注意力的神经网络是否可以提高神经网络的性能,以适应基于视觉的自主无人机比赛的挑战性任务。我们假设基于凝视的注意力预测可以是基于模拟器的无人机竞赛任务中视觉信息选择和决策的有效机制。我们使用18名人类无人机飞行员的眼睛注视和飞行轨迹数据来测试这一假设,以训练视觉注意力预测模型。然后,我们使用这个视觉注意力预测模型训练一个端到端的控制器,用于基于视觉的自主无人机比赛,使用模仿学习。我们将注意力预测控制器的无人机竞赛性能与使用原始图像输入和基于图像的抽象(即,特色曲目)。通过比较通过自主飞行完成具有挑战性的赛道的成功率,我们的结果表明,基于注意力预测的控制器(88%的成功率)优于RGB图像(61%的成功率)和特征跟踪(55%的成功率)控制器基线。此外,视觉注意力预测和特征跟踪为基础的模型表现出更好的泛化性能比基于图像的模型进行评估时,保持了参考轨迹。我们的研究结果表明,人类视觉注意力预测提高了基于视觉的自主无人机竞赛代理的性能,并为实现基于视觉、快速和敏捷的自主飞行迈出了重要的一步,最终可以达到甚至超过人类的表现。
2022-03-02 cs.HC cs.LG cs.RO
AeroBridge: Autonomous Drone Handoff System for Emergency Battery Service
Macquarie University(麦考瑞大学)
本文提出一种面向无人机的紧急电池服务(EBS)系统,通过独特的电池转移机构和CMP定位方法,结合对角对齐设计减轻下洗效应,实现了5秒内0.5米距离的高精度空中电池转移。
2024-03-25 cs.RO
Autonomous Drone Racing: A Survey
University of Zurich(苏黎世大学);Czech Technical University in Prague(布拉格捷克技术大学);UC Berkeley(加州大学伯克利分校)
该综述系统梳理自主无人机竞速中基于模型与基于学习的感知、规划、控制和状态估计方法,并总结高速飞行挑战及未来开放问题。
2024-07-08 cs.RO
Aggressive Trajectory Generation for A Swarm of Autonomous Racing Drones
Zhejiang University(浙江大学);Zhejiang University of Technology(浙江工业大学);Northwestern Polytechnical University(西北工业大学)
自主无人机竞赛正在成为挑战四旋翼自主技术的绝佳平台,包括规划,导航和控制技术。然而,关于这个主题的大多数研究主要集中在单个无人机场景。在本文中,我们描述了一种新的时间最优轨迹生成方法,用于生成时间最优轨迹,使一群四旋翼飞行器以其最大机动性无碰撞地通过预定义的航路点。我们在Gazebo仿真中验证了该方法,其中5个四旋翼的群可以在35 m * 35 m的空间中以14 m/s的最高速度飞行通过复杂的6路点赛道。在4 m × 2 m的飞行平台上,对两个四旋翼飞行器进行了通过3个航路点的飞行试验,验证了该方法的可行性。仿真和实际飞行测试表明,该方法可以为一群自主竞赛无人机生成最优攻击轨迹。该方法也可以很容易地转移到其他类型的机器人群。
2023-03-01 cs.RO
Generic Drone Control Platform for Autonomous Capture of Cinema Scenes
Technicolor R&D Rennes(特艺集团研发中心雷恩分部)
电影业一直在使用无人机作为一种新的工具来制作越来越复杂和美观的镜头。然而,目前的拍摄过程依赖于无人机的手动控制,这使得工作变得困难,有时甚至不方便。在本文中,我们解决了缺乏自主系统操作通用旋翼无人机拍摄的目的。我们提出了一个全球性的控制架构的基础上,许多无人机使用的高层次通用API。我们的解决方案集成了通用旋翼无人机的复合耦合模型和全状态反馈策略。为了解决捕捉电影场景的具体任务,我们结合了控制架构与自动相机路径规划方法,包括电影技术。通过一系列的实验证明了我们的系统所提供的可能性。
2017-12-12 cs.RO
Autonomous Drone Racing: Time-Optimal Spatial Iterative Learning Control within a Virtual Tube
Beihang University(北京航空航天大学)
针对无人机竞速中训练和比赛时间长的问题,提出一种模仿顶尖车手经验的时间最优空间迭代学习控制方法,在线迭代学习轨迹以无模型、低计算成本实现最优竞速,并在仿真和真实四旋翼实验中超越现有最先进方法。
2023-06-28 cs.RO
Drift-Corrected Monocular VIO and Perception-Aware Planning for Autonomous Drone Racing
Department of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)(电气工程系,韩国科学技术院(KAIST))
本文提出了一种校正VIO漂移的方法,结合YOLO门检测器和卡尔曼滤波器,以提升无人机竞速中的视觉惯性里程计精度与感知规划性能。
2025-12-23 cs.RO
Roofline Model for UAVs:A Bottleneck Analysis Tool for Designing Compute Systems for Autonomous Drones
提出了一种用于自主式无人机计算系统设计的瓶颈分析工具。该工具通过利用自主无人机中各种组件之间的基本关系提供见解,例如传感器,计算,身体动力学。为了保证安全运行,同时最大限度地提高性能(例如,为了提高无人机的飞行速度,必须仔细设计(或选择)计算、传感器和其他机械性能。我们提出的工具的目标是提供一个可视化的模型,帮助系统架构师了解最佳的计算设计(或选择)的自主无人机。该工具可在此处获得:https://bit.ly/skyline-tool
2022-06-15 cs.RO
Autonomous Recharging and Flight Mission Planning for Battery-operated Autonomous Drones
Khalifa University(哈利法大学);Australian National University(澳大利亚国立大学);Ubiquiti Inc(优比快科技公司)
本文针对电池驱动的自主无人机,构建了能耗估算机器学习模型,将飞行任务规划与充电优化建模为多准则ATSP问题,设计了具有性能保证的近似算法,并通过仿真和真实实验验证了其有效性与实用性。
2022-04-19 cs.DS cs.RO
Efficient Optical flow and Stereo Vision for Velocity Estimation and Obstacle Avoidance on an Autonomous Pocket Drone
Delft University of Technology(代尔夫特理工大学);University of Liverpool(利物浦大学);Radboud University of Nijmegen(奈梅亨拉德堡德大学)
微型飞行器(MAV)非常适合在室内环境中飞行,但由于其严格的硬件限制,自主导航具有挑战性。本文提出了一种高效的计算机视觉算法Edge-FS,用于速度和深度的确定。它在具有嵌入式STM32 F4微处理器(168 MHz,192 kB)的4 g立体摄像机上以20 Hz运行,并使用特征直方图来计算光流和立体视差。基于立体的距离估计用于缩放光流,以便检索无人机的速度。速度和深度测量用于仅依赖于机载传感器的40 g口袋无人机的完全自主飞行。该方法允许微型飞行器控制其速度和避免障碍物。
2017-03-14 cs.RO
Autonomous Drone Delivery to Your Door and Yard
Purdue University(普渡大学)
在这项工作中,我们提出了一个系统,使交付无人机能够根据收件人的愿望在房屋周围的各个位置自主导航和交付包裹,而不需要目前使用的任何外部标记。这一发展的动力来自于深度学习的最新进展,这些进展可能会取代目前由交付无人机用于识别交付包裹的地点的专用标记。所提出的系统更自然,因为它接受关于在哪里交付包裹的指令作为输入,类似于提供给人类快递员的指令。首先,我们提出了一种基于语义图像分割的下降位置估计器,使无人机能够在房子周围找到一个安全的地方,在那里它可以从更高的高度下降。在此之后,我们提出了一种策略,用于将无人机从下降位置视觉路由到它要交付包裹的特定站点,例如前门。我们在模拟环境中广泛评估了这种方法,并证明了使用我们的系统,送货无人机可以将包裹送到前门以及房屋周围的其他指定位置。相对于基于前沿探索的策略,使用该系统的无人机发现并到达20个测试房屋的前门的速度快了161%。
2022-05-10 cs.RO
SwarmHive: Heterogeneous Swarm of Drones for Robust Autonomous Landing on Moving Robot
Skoltech(斯科尔科沃科技学院)
本文重点研究了异构无人机群,以实现移动机器人的编队动态着陆。科学家们还没有完成这项艰巨的任务。关键技术是,我们建议在领导者无人机上只安装一个摄像头,而不是用计算机视觉来促进无人机群的每个代理,从而大大增加有效载荷并缩短飞行时间。跟随无人机接收来自领导者UAV的命令,并与人工势场保持无碰撞轨迹。实验结果表明,高精度的群体降落在一个静态的移动平台(RMSE为4.48厘米)。在最大速度为1.0 m/s和1.5 m/s的移动平台上,蜂群着陆的RMSE分别为8.76 cm和8.98 cm。拟议中的SwarmHive技术将允许蜂群节省时间着陆,以便进一步为无人机充电。这将使多智能体机器人系统能够实现自我可持续的操作,用于救援行动,检查和维护,自主仓库库存,货物交付等场景。
2022-06-17 cs.RO
Learning Deep Sensorimotor Policies for Vision-based Autonomous Drone Racing
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院)
自主无人机可以在远程和非结构化环境中运行,从而实现各种现实应用。然而,缺乏有效的基于视觉的算法一直是实现这一目标的绊脚石。现有系统通常需要手工设计的组件来进行状态估计、规划和控制。这样的顺序设计涉及费力的调整、人工智能以及复合延迟和错误。本文通过学习深度感觉运动策略来解决基于视觉的无人机竞赛问题。我们使用对比学习从输入图像中提取鲁棒的特征表示,并利用两阶段的作弊学习框架来训练神经网络策略。由此产生的策略直接推断控制命令与从原始图像中学习的特征表示,放弃了全局一致的状态估计,轨迹规划和手工控制设计的需要。我们的实验结果表明,我们的基于视觉的政策可以实现相同水平的赛车性能的状态为基础的政策,同时对不同的视觉干扰和干扰是强大的。我们相信这项工作可以作为开发基于智能视觉的自主系统的垫脚石,这些系统可以像人类飞行员一样纯粹通过图像输入来控制无人机。
2022-10-26 cs.AI cs.RO
A Search and Detection Autonomous Drone System: from Design to Implementation
University of Massachusetts(马萨诸塞大学)
利用自主无人机或无人驾驶飞行器(UAV)在支持紧急情况(例如搜索和救援(SAR)和野火检测)方面显示出比先前方法更大的优势。在这些行动中,就寻找目标所花费的时间而言,搜索效率至关重要,因为随着时间的推移,失踪人员的生存能力下降,野火管理变得更加困难,造成灾难性后果。在这项工作中,它被认为是一个场景,其中无人机旨在搜索和检测失踪人员(例如,徒步旅行者或登山者)或给定区域中的潜在火点。为了获得最短路径的目标,提供了一个通用的框架来模拟目标的位置是概率已知的目标检测问题。为此,提出了两种算法:路径规划和目标检测。路径规划算法基于贝叶斯推理,目标检测通过残差神经网络(ResNet)完成,该残差神经网络在无人机捕获的图像数据集以及网络上现有的图片和数据集上进行训练。通过仿真和实验,将所提出的路径规划算法与两种基准算法进行了比较。结果表明,该算法显着减少了任务的平均时间。
2022-11-29 cs.CV cs.LG cs.RO
SCALOFT: An Initial Approach for Situation Coverage-Based Safety Analysis of an Autonomous Aerial Drone in a Mine Environment
University of York(约克大学)
本文提出测试方法SCALOFT,通过开发测试用例、实时监控和检测安全违规来评估矿井中自主无人机的安全性,并通过引入种子故障验证了其有效性。
2025-05-27 cs.RO
Learned Inertial Odometry for Autonomous Drone Racing
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院)
惯性里程计是解决敏捷四旋翼飞行器状态估计问题的一种有吸引力的方法。它价格便宜,重量轻,并且不受感知退化的影响。然而,仅仅依靠惯性测量的积分进行状态估计是不可行的。这种测量中存在的误差和时变偏差导致姿态估计中的大漂移的累积。最近,惯性里程计在估计行人的运动方面取得了重大进展。最先进的算法依赖于学习人类典型的运动先验,但不能转移到无人机上。在这项工作中,我们提出了一种基于学习的里程计算法,该算法使用惯性测量单元(IMU)作为自主无人机赛车任务的唯一传感器模态。我们的系统的核心思想是耦合一个基于模型的滤波器,由惯性测量驱动,与一个基于学习的模块,可以访问推力测量。我们表明,我们的惯性里程计算法是优于国家的最先进的基于滤波器和基于优化的视觉惯性里程计,以及国家的最先进的学习惯性里程计估计的姿态的自主赛车无人机。此外,我们表明,我们的系统是可比的视觉惯性里程计的解决方案,使用相机,并利用已知的门的位置和外观。我们相信,在自主无人机比赛中的应用为敏捷四旋翼飞行的惯性里程计的新研究铺平了道路。
2023-02-28 cs.RO
Package Delivery Using Autonomous Drones in Skyways
The University of Sydney(悉尼大学)
目前的无人机交付系统主要集中在点对点的包裹交付上。我们提供多站式无人机服务系统,可在指定地理区域内随时随地交付包裹。我们定义了一个空中交通网络,其中考虑到飞行规则,包括禁区和禁飞区。高架路节点通常表示可以充当充电站和递送目的地两者的建筑物屋顶。一个基于启发式的A* 算法用于计算从源到目的地的最佳路径,同时考虑到一些约束条件,包括交付时间,充电站的可用性等。我们使用悉尼CBD的3D模型在室内测试台环境中部署我们的无人机交付系统。我们描述了一个图形化的用户界面来监控Skyway网络中的实时包裹递送。
2021-08-13 cs.RO
Fully neuromorphic vision and control for autonomous drone flight
Delft University of Technology(代尔夫特理工大学)
生物传感和处理是异步和稀疏的,导致低延迟和节能的感知和行动。在机器人技术中,基于事件的视觉和脉冲神经网络的神经形态硬件有望表现出类似的特性。然而,由于当前嵌入式神经形态处理器的网络大小受限以及训练脉冲神经网络的困难,机器人实现仅限于具有低维感觉输入和运动动作的基本任务。在这里,我们提出了第一个完全神经形态的视觉控制管道,用于控制自由飞行的无人机。具体来说,我们训练一个脉冲神经网络,接受高维原始事件为基础的相机数据和输出低级别的控制动作,执行自主视觉为基础的飞行。网络的视觉部分由五层和28.8k个神经元组成,将传入的原始事件映射到自我运动估计,并在真实事件数据上进行自监督学习训练。控制部分包括一个单一的解码层,并在无人机模拟器的进化算法学习。机器人实验表明,一个成功的仿真到现实迁移的完全学习的神经形态管道。无人机可以准确地遵循不同的自我运动设定点,允许悬停,着陆和侧向操纵$\unicode{x2014}$,即使在同一时间偏航。神经形态流水线在英特尔的Loihi神经形态处理器上运行,执行频率为200 Hz,每个推理仅花费27 $\unicode{x00b5}$ J。这些结果说明了神经形态传感和处理的潜力,使更小,更智能的机器人。
2023-03-15 cs.AI cs.CV cs.LG
Bayesian Optimization for Fast Radio Mapping and Localization with an Autonomous Aerial Drone
School of Electrical;Computer Engineering, University of Georgia, Athens, GA, USA
本文提出一种利用高斯过程进行无线电信号估计并结合贝叶斯优化进行无人机自主导航引导的算法,通过仿真与飞行实验验证其在窄带频谱共享下构建无线电地图与定位的有效性。
2024-07-27 cs.NI cs.RO
Learning Generalizable Policy for Obstacle-Aware Autonomous Drone Racing
TU Delft(代尔夫特理工大学);MAVLab(MAV实验室)
本研究利用深度强化学习,通过域随机化和并行经验收集,开发了一种可泛化的障碍感知无人机竞速策略,在模拟实验中实现最高70公里/小时的速度,并开源代码。
2024-11-06 cs.AI cs.RO
SIGN: Safety-Aware Image-Goal Navigation for Autonomous Drones via Reinforcement Learning
Department of Electrical and Computer Engineering, National University of Singapore(电子与计算机工程系,新加坡国立大学)
本文提出了一种基于强化学习的仿真到现实框架,实现无人机的安全图像目标导航,通过直接速度控制和深度安全模块实现自主探索与避障。
2025-12-06 cs.RO
On Realistic Target Coverage by Autonomous Drones
Georgia Institute of Technology(佐治亚理工学院);University of Maryland, College Park(马里兰大学帕克分校);Carnegie Mellon University(卡内基梅隆大学);Qatar University(卡塔尔大学)
具有先进传感和机动性的低成本微型无人机可以实现新型智能传感系统。为了充分发挥这种无人机的潜力,有必要开发新的增强型配方,以适应常见和新兴的传感场景。也就是说,视觉感测中的几个基本挑战仍未解决,包括:1)在相机帧中拟合相当大的目标; 2)匹配目标姿态的有效视点; 3)被环境中的元素(包括其他目标)遮挡。在本文中,我们介绍阿格斯:一个自治系统,利用无人机通过两层架构逐步收集目标信息。为了应对上述挑战,Argus采用了一种新颖的几何模型,可以捕获目标形状和覆盖范围限制。认识到无人机是最稀缺的资源,Argus的目标是最大限度地减少覆盖一组目标所需的无人机数量。我们证明这个问题是NP难的,甚至很难近似,然后推导出一个最好的近似算法以及竞争性的采样启发式,根据大规模模拟运行速度高达100倍。为了测试Argus的行动,我们演示和分析其性能的原型实现。最后,我们提出了一些扩展,以适应更多的应用程序的要求,并强调一些开放的问题。
2018-09-05 cs.RO
Some Problems of Deployment and Navigation of Civilian Aerial Drones
University of New South Wales(新南威尔士大学)
最大的挑战之一是确定无人机的部署和导航,以使其在不同的应用中受益最大。许多研究问题已经提出了关于这个主题。例如,无人机支持的野生动物监测近年来备受关注。不幸的是,这种方法对不同种类的野生动物造成了严重的干扰。此外,由于能够在需要时将通信供应迅速转向需求,配备有基站的无人机,即,无人机蜂窝正在成为向受灾地区的受害者和救援队提供蜂窝网络的一个有前途的解决方案。然而,很少有研究调查了有限回程通信距离的多个无人机小区的最佳部署。此外,使用自主无人机作为许多现实生活应用的飞行交互器尚未得到充分讨论。凭借卓越的机动性,无人机自主空中互动可能用于预防鲨鱼袭击和动物放牧。尽管如此,以前对自主无人机的研究并没有详细讨论这些应用。本报告探讨了所有上述研究问题的解决方案,特别关注无人机的部署和导航。仿真结果验证了所提方法的有效性。我们相信,我们在这份报告中的发现为自主民用无人机的基本好处提供了新的启示。
2021-06-24 cs.RO cs.SY eess.SY
Assessing Wind Impact on Semi-Autonomous Drone Landings for In-Contact Power Line Inspection
University of Sherbrooke(舍布鲁克大学);Hydro-Québec(魁北克水电公司)
本研究提出一种基于 NADILE 无人机的半自主降落控制方案,通过蒙特卡洛方法分析不同风况与策略下的降落成功率,发现两阶段策略最优,并经实验验证了其有效性。
2023-09-11 cs.RO cs.SY eess.SY
Risk Assessment, Prediction, and Avoidance of Collision in Autonomous Drones
University of Coimbra(科英布拉大学)
无人机(UAV),特别是无人机,在不同领域,主要是军事用途中具有重要意义。最近,我们可以看到民用空间对自主无人机的接受程度也在增长。然而,在无人机能够在没有人类监视的情况下安全使用之前,还有很长的路要走。许多子系统和组件涉及位置估计、路线规划、软件/数据安全和碰撞避免,以使自主无人机在民用空间飞行,而不会对自己、其他无人机、环境或人类造成伤害。本研究的最终目标是通过定量安全风险评估来推进避碰和缓解技术。为此,需要识别无人机飞行/任务期间可能发生的最相关的故障/故障/威胁。对历史数据的分析也是一种相关工具,有助于描述无人机系统中最常见和最相关的问题,这些问题可能会导致安全隐患。然后,我们需要通过使用故障注入技术来定量地估计它们的影响。了解无人机的日益增长的兴趣和他们的巨大潜力,未来的商业应用,这项工作的预期成果将有助于研究人员为未来的相关研究。此外,我们设想公司利用预期结果开发更安全的无人机应用,空中交通管制员利用预期结果构建故障预测和防撞解决方案。
2021-08-29 cs.DC cs.RO
BatMobility: Towards Flying Without Seeing for Autonomous Drones
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对无人机光学传感器在恶劣环境下易失效的问题,提出纯毫米波雷达感知系统BatMobility,实现无线电流估计与避障,在多场景下性能媲美甚至优于商用光学传感器。
2023-07-21 cs.CV cs.RO
A Real-Time Game Theoretic Planner for Autonomous Two-Player Drone Racing
Stanford University(斯坦福大学);University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院);Universidad de Zaragoza(萨拉戈萨大学)
为了在多人无人机比赛中取得成功,玩家不仅要以最佳方式跟随赛道,还要通过战略性阻挡、伪装和机会主义传球与其他无人机竞争,同时避免碰撞。由于向对手公布自己的策略是不可取的,这需要每个玩家独立地预测其他玩家的未来行动。纳什均衡是一个强大的工具来模拟这一点和类似的多代理协调问题,其中缺乏通信阻碍了代理之间的充分协调。在本文中,我们提出了一种新的滚动时域规划算法,利用迭代最佳响应计算方案内的灵敏度分析,可以近似纳什均衡在实时的。我们还描述了一个基于视觉的管道,允许每个玩家估计对手的相对位置。我们证明,我们的解决方案有效地竞争对替代策略在大量的无人机赛车模拟。机载视觉传感硬件实验证明了我们的策略的实用性。
2018-01-26 cs.RO
Situation-Aware Deep Reinforcement Learning for Autonomous Nonlinear Mobility Control in Cyber-Physical Loitering Munition Systems
Korea University(高丽大学);Ajou University(亚洲大学)
随着无人机技术的快速发展,无人机在包括军事领域在内的诸多领域得到了广泛的应用。本文研究了一种新的基于态势感知DRL的无人机自主非线性机动控制算法在信息物理巡洋弹药中的应用。在战场上,基于DRL的自主控制算法的设计并不简单,因为真实世界的数据收集通常是不可用的。因此,本文采用Unity环境构建信息物理虚拟环境的方法。基于虚拟信息物理战场场景,可以设计、评估和可视化基于DRL的自动化非线性无人机机动控制算法。此外,在真实战场场景中,存在许多不利于线性轨迹控制的障碍。因此,我们提出的自主非线性无人机移动控制算法利用了Unity虚拟场景中使用Raycast功能实现的情况感知组件。根据收集的态势感知信息,无人机可以在飞行过程中自主地非线性地调整其轨迹。因此,这种方法显然有利于在障碍物部署的战场上避开障碍物。我们的可视化为基础的性能评估表明,该算法是优于其他线性移动性控制算法。
2022-12-31 cs.RO cs.SY eess.SY
AIRA: A Low-cost IR-based Approach Towards Autonomous Precision Drone Landing and NLOS Indoor Navigation
Columbia University(哥伦比亚大学);Northwestern University(西北大学)
针对资源受限微型无人机精准降落难题,提出低成本红外平台AIRA,以三个光电二极管实现11.1米距离内误差低于10厘米的降落,并支持弱光与部分非视距导航。
2024-07-08 cs.RO cs.SY eess.SY
Simultaneous drone localisation and wind turbine model fitting during autonomous surface inspection
University of Bristol(布里斯托大学);Perceptual Robotics
我们提出了一种方法,同时定位和风力涡轮机模型拟合的无人机执行自动表面检查。我们使用涡轮机的骨架参数化,可以很容易地集成到非线性最小二乘优化器中,结合无人机3D轨迹的姿态图表示,使我们能够同时优化两组参数。给定来自机载相机的图像,我们使用CNN来推断骨架模型的投影,从而通过成本函数建立对应约束。然后,这与在图中的关键帧处进行的GPS/IMU测量相结合,以便在无人机围绕涡轮机导航时进行连续优化。我们提出了两个变种的成本函数,一个基于传统的2D点对应关系和其他直接图像插值内推断的投影。从模拟和真实世界的数据的实验结果表明,同时优化提供了改进的本地化,只有优化的姿态,并结合使用这两个成本函数证明是最有效的。
2019-04-09 cs.RO
Wall Detection Via IMU Data Classification In Autonomous Quadcopters
Fordham University(福特汉姆大学)
在障碍物附近飞行的自动无人机需要能够检测和避开障碍物,否则会与它们相撞。在之前的工作中,无人机可以使用安装在无人机上或环境中的摄像头、超声波或激光传感器的数据来检测和避开墙壁。并不总是能够对环境进行测量,并且添加到无人机上的传感器会消耗有效载荷和功率-这两者对于无人机来说都是有限的。本文研究了如何数据采掘分类技术可以用来预测一个障碍物是在与无人机的基础上只监测空气干扰。我们对转子的气流进行了物理建模,以推导出更高级别的分类特征。数据是从无人机的IMU收集的,而它是在左、前、右都有墙的情况下飞行的,也有没有墙的情况下。从原始数据中总共产生了18个更高级别的特征。我们使用了80%,20%的训练测试方案,包括RandomForest(RF),K-Nearest Neighbor(KNN)和ConcententBoosting(GB)分类器。我们的研究结果表明,使用RF分类器,它可以以90%的准确率预测墙壁相对于无人机的方向。
2021-03-29 cs.RO cs.SY eess.SY
ORBSLAM3-Enhanced Autonomous Toy Drones: Pioneering Indoor Exploration
DataHeroes(DataHeroes公司);University of Haifa(海法大学);Rice University(莱斯大学)
针对玩具无人机在无GPS室内环境中的自主探索难题,提出基于ORB-SLAM3的实时系统,结合离群点去除和出口检测算法,实现有效定位、建图与路径规划,实验验证了其效能。
2023-12-20 cs.LG cs.RO