Bridging Performance and Generalization in Reinforcement Learning for Agile Flight
Robotics and Perception Group, University of Zurich（苏黎世大学机器人感知组）
提出基于学习进度感知切换和物理信息赛道生成器的框架，实现无人机竞速零样本泛化，速度与泛化性能均优于现有方法。
2026-06-26 cs.RO
Event-based Navigation for Autonomous Drone Racing with Sparse Gated Recurrent Network
Aarhus University（奥胡斯大学）
基于事件的视觉已经彻底改变了机器人的感知任务，它承诺更快的响应，更低的能耗和更低的带宽，而不会引入运动模糊。在这项工作中，提出了一种新的深度学习方法，基于门控递归单元，利用稀疏卷积检测赛道中的门，使用基于事件的视觉的自主无人机赛车问题。我们在一个真实的机器人平台上展示了感知管道的效率和功效，该平台可以安全地实时导航典型的自主无人机赛道。在整个实验中，我们表明，基于事件的视觉与所提出的门控递归单元和模拟事件数据上的预训练模型显着提高了门检测精度。此外，公开发布了一个基于事件的无人机竞赛数据集，包括模拟和真实数据序列。
2022-04-05 cs.RO
Learning Generalizable Policy for Obstacle-Aware Autonomous Drone Racing
TU Delft（代尔夫特理工大学）；MAVLab（MAV实验室）
本研究利用深度强化学习，通过域随机化和并行经验收集，开发了一种可泛化的障碍感知无人机竞速策略，在模拟实验中实现最高70公里/小时的速度，并开源代码。
2024-11-06 cs.AI cs.RO
AirSim Drone Racing Lab
Microsoft（微软）；Stanford University（斯坦福大学）；University of Zurich and ETH（苏黎世大学和苏黎世联邦理工学院）
无人机竞赛是一个集计算机视觉、规划、状态估计和控制于一体的具有挑战性的研究课题。我们介绍AirSim Drone Racing Lab，这是一个模拟框架，用于实现自动化算法的快速原型设计，并实现该领域的机器学习研究，其目标是减少与现场机器人相关的时间，金钱和风险。我们的框架能够在多个照片般逼真的环境中生成赛道，编排无人机比赛，配备一套门资产，允许多个传感器模态（单眼，深度，神经形态事件，光流），不同的相机模型，以及规划，控制，计算机视觉和基于学习的算法的基准测试。我们使用我们的框架在NeurIPS 2019上举办了一场基于模拟的无人机竞赛。比赛的二进制文件可以在我们的github仓库中找到。
2020-03-12 cs.CV cs.RO
Human-Piloted Drone Racing: Visual Processing and Control
University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）
人类比算法更快地驾驶无人机，尽管受限于固定的相机角度，身体速率控制和数百毫秒的响应延迟。更好地理解人类飞行员从高度动态的视觉信息中选择适当的运动命令的能力，可以为解决基于视觉的自主导航中的当前挑战提供关键的见解。本文研究了在无人机竞速任务中人眼运动、控制行为和飞行性能之间的关系。我们使用高度逼真的无人机竞赛模拟器从21名经验丰富的无人机飞行员那里收集了多模态数据集，该模拟器也用于招募专业飞行员。我们的研究结果显示，随着时间的推移，无人机竞赛性能的特定任务改进。特别地，我们发现眼睛注视跟踪未来的路点（即，第一次注视平均发生在到达大门前1.5秒和16米处。此外，人类飞行员一直在观察未来飞行路线的内部，以进行横向（即，左转和右转）和垂直机动（即，上升和下降）。最后，我们发现飞行员的眼球运动和四旋翼飞行的指令方向之间有很强的相关性，平均视觉运动反应潜伏期为220 ms。这些结果突出了协调眼球运动在人类驾驶的无人机比赛中的重要性。我们将我们的数据集公开提供。
2021-03-08 cs.RO
Aggressive Trajectory Generation for A Swarm of Autonomous Racing Drones
Zhejiang University（浙江大学）；Zhejiang University of Technology（浙江工业大学）；Northwestern Polytechnical University（西北工业大学）
自主无人机竞赛正在成为挑战四旋翼自主技术的绝佳平台，包括规划，导航和控制技术。然而，关于这个主题的大多数研究主要集中在单个无人机场景。在本文中，我们描述了一种新的时间最优轨迹生成方法，用于生成时间最优轨迹，使一群四旋翼飞行器以其最大机动性无碰撞地通过预定义的航路点。我们在Gazebo仿真中验证了该方法，其中5个四旋翼的群可以在35 m * 35 m的空间中以14 m/s的最高速度飞行通过复杂的6路点赛道。在4 m × 2 m的飞行平台上，对两个四旋翼飞行器进行了通过3个航路点的飞行试验，验证了该方法的可行性。仿真和实际飞行测试表明，该方法可以为一群自主竞赛无人机生成最优攻击轨迹。该方法也可以很容易地转移到其他类型的机器人群。
2023-03-01 cs.RO
A Real-Time Game Theoretic Planner for Autonomous Two-Player Drone Racing
Stanford University（斯坦福大学）；University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）；Universidad de Zaragoza（萨拉戈萨大学）
为了在多人无人机比赛中取得成功，玩家不仅要以最佳方式跟随赛道，还要通过战略性阻挡、伪装和机会主义传球与其他无人机竞争，同时避免碰撞。由于向对手公布自己的策略是不可取的，这需要每个玩家独立地预测其他玩家的未来行动。纳什均衡是一个强大的工具来模拟这一点和类似的多代理协调问题，其中缺乏通信阻碍了代理之间的充分协调。在本文中，我们提出了一种新的滚动时域规划算法，利用迭代最佳响应计算方案内的灵敏度分析，可以近似纳什均衡在实时的。我们还描述了一个基于视觉的管道，允许每个玩家估计对手的相对位置。我们证明，我们的解决方案有效地竞争对替代策略在大量的无人机赛车模拟。机载视觉传感硬件实验证明了我们的策略的实用性。
2018-01-26 cs.RO
Polynomial-based Online Planning for Autonomous Drone Racing in Dynamic Environments
Zhejiang University（浙江大学）；Huzhou Institute of Zhejiang University（浙江大学湖州研究院）
针对动态环境无人机竞速的在线重规划难题，提出基于多项式轨迹表示的优化框架，通过硬约束保障航点穿越精度，并行多拓扑规划避免局部最优，在DJI Robomaster赛事中夺冠且完赛时间不到第二名一半。
2023-06-26 cs.RO
MonoRace: Winning Champion-Level Drone Racing with Robust Monocular AI
Control & Operation, Delft University of Technology（控制与操作，代尔夫特理工大学）
MonoRace通过单目AI和鲁棒状态估计，在无外部跟踪系统下实现冠军级无人机竞速，以500Hz运行神经网络，超越所有AI和人类冠军。
2026-01-21 cs.RO
PencilNet: Zero-Shot Sim-to-Real Transfer Learning for Robust Gate Perception in Autonomous Drone Racing
Aarhus University（奥胡斯大学）；Nanyang Technological University（南洋理工大学）；Technical University of Munich（慕尼黑工业大学）
在自主和移动机器人技术中，主要挑战之一是对环境的强大动态感知，这通常是未知的和动态的，就像自主无人机比赛一样。在这项工作中，我们提出了一种新的基于深度神经网络的感知方法，用于赛车门检测- PencilNet -它依赖于铅笔过滤器顶部的轻量级神经网络骨干。这种方法将门的2D位置、距离和方向的预测统一在单个姿势元组中。我们表明，我们的方法是有效的zero-shot仿真到现实迁移学习，不需要任何现实世界的训练样本。此外，与最先进的方法相比，我们的框架对快速飞行下常见的照明变化具有高度鲁棒性。一组完整的实验证明了这种方法在多个具有挑战性的场景中的有效性，其中无人机在不同的照明条件下完成各种轨道。
2022-07-28 cs.RO
OmniRace: 6D Hand Pose Estimation for Intuitive Guidance of Racing Drone
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
本文提出OmniRace，首次利用6D手部姿态估计和手势识别实现竞速无人机的低层级直观控制，实验表明其使赛道完成时间缩短25.1%，路径长度从102.9米降至83.7米，神经网络平均准确率达99.75%。
2024-10-21 cs.RO
Drift-Corrected Monocular VIO and Perception-Aware Planning for Autonomous Drone Racing
Department of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)（电气工程系，韩国科学技术院（KAIST））
本文提出了一种校正VIO漂移的方法，结合YOLO门检测器和卡尔曼滤波器，以提升无人机竞速中的视觉惯性里程计精度与感知规划性能。
2025-12-23 cs.RO
Deep Drone Racing: From Simulation to Reality with Domain Randomization
University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）；Intel（英特尔）
动态变化的环境、不可靠的状态估计以及在严重资源约束下的操作是限制小型自主无人机部署的基本挑战。我们在动态环境中自主、基于视觉的无人机竞赛的背景下应对这些挑战。一架比赛无人机必须高速穿越可能有移动门的赛道。我们通过将最先进的规划和控制系统的性能与卷积神经网络（CNN）的感知意识相结合来实现此功能。由此产生的模块化系统既独立于平台又独立于领域：它在仿真中进行训练，并部署在物理四旋翼上，无需任何微调。通过域随机化生成的丰富的模拟数据，使我们的系统对照明“与”门外观的变化具有鲁棒性。据我们所知，我们的方法是第一个演示zero-shot仿真到现实迁移敏捷无人机飞行任务。我们广泛地测试了我们的系统的精度和鲁棒性，无论是在模拟和物理平台上，并显示出显着的改进，在最先进的。
2019-11-25 cs.RO
Vector Field Augmented Differentiable Policy Learning for Vision-Based Drone Racing
Shanghai Jiao Tong University（上海交通大学）
本文提出DiffRacing框架，通过整合向量场和可微损失提升无人机赛车的样本效率与飞行性能。
2026-03-09 cs.RO
Learned Inertial Odometry for Autonomous Drone Racing
University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）
惯性里程计是解决敏捷四旋翼飞行器状态估计问题的一种有吸引力的方法。它价格便宜，重量轻，并且不受感知退化的影响。然而，仅仅依靠惯性测量的积分进行状态估计是不可行的。这种测量中存在的误差和时变偏差导致姿态估计中的大漂移的累积。最近，惯性里程计在估计行人的运动方面取得了重大进展。最先进的算法依赖于学习人类典型的运动先验，但不能转移到无人机上。在这项工作中，我们提出了一种基于学习的里程计算法，该算法使用惯性测量单元（IMU）作为自主无人机赛车任务的唯一传感器模态。我们的系统的核心思想是耦合一个基于模型的滤波器，由惯性测量驱动，与一个基于学习的模块，可以访问推力测量。我们表明，我们的惯性里程计算法是优于国家的最先进的基于滤波器和基于优化的视觉惯性里程计，以及国家的最先进的学习惯性里程计估计的姿态的自主赛车无人机。此外，我们表明，我们的系统是可比的视觉惯性里程计的解决方案，使用相机，并利用已知的门的位置和外观。我们相信，在自主无人机比赛中的应用为敏捷四旋翼飞行的惯性里程计的新研究铺平了道路。
2023-02-28 cs.RO
Optimality Principles in Spacecraft Neural Guidance and Control
Advanced Concepts Team of the European Space Research & Technology Centre（欧洲空间研究与技术中心先进概念团队）；Delft University of Technology（代尔夫特理工大学）
该研究提出端到端G&CNets神经制导控制架构，可将最优性原理相关计算转移至星上实现实时规划，经仿真任务验证有效，并提出用无人机竞速测试以支撑未来航天及地面机器人应用。
2023-05-22 astro-ph.EP cs.LG cs.RO
Time-Optimal Gate-Traversing Planner for Autonomous Drone Racing
University of Toronto Institute for Aerospace Studies (UTIAS)（多伦多大学航空航天研究所）；University of Toronto Division of Engineering Science (EngSci)（多伦多大学工程科学系）
针对无人机竞速中忽略门配置导致路径保守的问题，提出一种时间最优过门规划器，在单旋翼推力限制下建模不同门约束，以秒级计算生成更省时轨迹，并通过仿真与真实飞行验证其可进一步缩短单圈时间。
2024-05-04 cs.RO
Autonomous Drone Racing: A Survey
University of Zurich（苏黎世大学）；Czech Technical University in Prague（布拉格捷克技术大学）；UC Berkeley（加州大学伯克利分校）
该综述系统梳理自主无人机竞速中基于模型与基于学习的感知、规划、控制和状态估计方法，并总结高速飞行挑战及未来开放问题。
2024-07-08 cs.RO
Visual Attention Prediction Improves Performance of Autonomous Drone Racing Agents
University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）
人类驾驶无人机的速度比经过端到端自主飞行训练的神经网络更快。这可能与人类飞行员有效选择任务相关视觉信息的能力有关。这项工作研究了能够模仿人眼注视行为和注意力的神经网络是否可以提高神经网络的性能，以适应基于视觉的自主无人机比赛的挑战性任务。我们假设基于凝视的注意力预测可以是基于模拟器的无人机竞赛任务中视觉信息选择和决策的有效机制。我们使用18名人类无人机飞行员的眼睛注视和飞行轨迹数据来测试这一假设，以训练视觉注意力预测模型。然后，我们使用这个视觉注意力预测模型训练一个端到端的控制器，用于基于视觉的自主无人机比赛，使用模仿学习。我们将注意力预测控制器的无人机竞赛性能与使用原始图像输入和基于图像的抽象（即，特色曲目）。通过比较通过自主飞行完成具有挑战性的赛道的成功率，我们的结果表明，基于注意力预测的控制器（88%的成功率）优于RGB图像（61%的成功率）和特征跟踪（55%的成功率）控制器基线。此外，视觉注意力预测和特征跟踪为基础的模型表现出更好的泛化性能比基于图像的模型进行评估时，保持了参考轨迹。我们的研究结果表明，人类视觉注意力预测提高了基于视觉的自主无人机竞赛代理的性能，并为实现基于视觉、快速和敏捷的自主飞行迈出了重要的一步，最终可以达到甚至超过人类的表现。
2022-03-02 cs.HC cs.LG cs.RO
Deep Drone Racing: Learning Agile Flight in Dynamic Environments
University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）；Intel Labs（英特尔实验室）
自主敏捷飞行给机器人技术带来了根本性的挑战，例如应对不可靠的状态估计，对动态变化的环境做出最佳反应，以及在严重的资源约束下实时的耦合感知和动作。在本文中，我们认为这些挑战的背景下，自主的，基于视觉的无人机赛车在动态环境中。我们的方法将卷积神经网络（CNN）与最先进的路径规划和控制系统相结合。CNN直接将原始图像映射为路点和期望速度形式的鲁棒表示。然后，规划器使用该信息来生成短的、最小加加速度的轨迹段和相应的电机命令，以达到期望的目标。我们展示了我们的方法在自主敏捷飞行的情况下，其中一个基于视觉的四旋翼机穿越无人机赛车轨道可能移动门。我们的方法不需要任何显式的环境地图，并完全板载运行。我们广泛测试的精度和鲁棒性的方法在模拟和物理世界。我们还评估了我们的方法对国家的最先进的导航方法和专业的人类无人机飞行员。
2018-10-09 cs.RO
AlphaPilot: Autonomous Drone Racing
University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）
本文提出了一种新的系统，自主的，基于视觉的无人机比赛相结合的学习数据抽象，非线性滤波，和时间最优轨迹规划。该系统已成功部署在第一届自动无人机竞速世界锦标赛：2019年AlphaPilot挑战赛。与传统的无人机竞赛系统（仅检测下一个门）相反，我们的方法利用任何可见的门，并利用多个同时的门检测来补偿状态估计的漂移，并构建门的全局地图。全局地图和漂移补偿的状态估计允许无人机即使在门不是立即可见的情况下也导航通过比赛跑道，并且还使得能够基于近似的无人机动态实时的规划通过比赛跑道的接近时间最优的路径。该系统已被证明可以成功引导无人机通过紧凑的赛道，速度高达8米/秒，并在2019年AlphaPilot挑战赛中排名第二。
2021-08-20 cs.CV cs.RO cs.SY
Onboard Safety Guarantees for Racing Drones: High-speed Geofencing with Control Barrier Functions
California Institute of Technology（加州理工学院）
本文详细介绍了实际确保遥控竞赛无人机安全的理论和实现。我们仅利用10克微控制器上的在线计算，在7”竞速无人机上以超过100 km/h的速度展示了强大而实用的安全保证。为了实现这一目标，我们利用框架的控制障碍函数（CBF），保证安全编码为前向集不变性。为了使这种方法实际上适用，我们提出了一个隐式定义的CBF，它利用备份控制器，使梯度的评估，确保安全。应用于硬件的方法可以平滑地、最小限度地保守地改变飞行员的期望输入，使他们能够突破无人机的极限，而不必担心坠毁。此外，该方法与预先存在的飞行控制器一起工作，从而在附近没有安全风险时保持不变的飞行。其他好处包括无人机在失去视线或无线电故障时的安全性和稳定性。
2022-01-12 cs.RO cs.SY eess.SY
Learning Deep Sensorimotor Policies for Vision-based Autonomous Drone Racing
University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）
自主无人机可以在远程和非结构化环境中运行，从而实现各种现实应用。然而，缺乏有效的基于视觉的算法一直是实现这一目标的绊脚石。现有系统通常需要手工设计的组件来进行状态估计、规划和控制。这样的顺序设计涉及费力的调整、人工智能以及复合延迟和错误。本文通过学习深度感觉运动策略来解决基于视觉的无人机竞赛问题。我们使用对比学习从输入图像中提取鲁棒的特征表示，并利用两阶段的作弊学习框架来训练神经网络策略。由此产生的策略直接推断控制命令与从原始图像中学习的特征表示，放弃了全局一致的状态估计，轨迹规划和手工控制设计的需要。我们的实验结果表明，我们的基于视觉的政策可以实现相同水平的赛车性能的状态为基础的政策，同时对不同的视觉干扰和干扰是强大的。我们相信这项工作可以作为开发基于智能视觉的自主系统的垫脚石，这些系统可以像人类飞行员一样纯粹通过图像输入来控制无人机。
2022-10-26 cs.AI cs.RO
On Your Own: Pro-level Autonomous Drone Racing in Uninstrumented Arenas
Autonomous Robotics Research Center, Technology Innovation Institute（自主机器人研究中心、技术创新院）
该研究提出了一种在无仪器赛场中实现专业级无人机竞速的自主系统，通过受控环境与挑战性环境的对比验证了其性能。
2026-01-30 cs.RO
Continual Learning for Robust Gate Detection under Dynamic Lighting in Autonomous Drone Racing
Nanyang Technological University（南洋理工大学）；Aarhus University（奥胡斯大学）
本文针对自主无人机竞速中动态光照导致的门检测困难问题，提出一种结合轻量级神经网络与持续学习的感知方法，通过融合位置、距离和朝向预测实现鲁棒门检测。
2024-05-02 cs.CV cs.LG cs.RO
SPIRAL: Self-Play Incremental Racing Algorithm for Learning in Multi-Drone Competitions
Department of Mechatronics Engineering Faculty of Engineering Turkish-German University（机械工程系 工程学院 德土大学）
SPIRAL通过自博弈机制实现多无人机竞赛中的自主学习，提供灵活且可扩展的学习框架，提升竞赛策略的稳健性和适应性。
2025-10-26 cs.AI cs.MA cs.RO
Image Generation for Efficient Neural Network Training in Autonomous Drone Racing
DOPI；Nanyang Technological University（南洋理工大学）；Aarhus University（奥胡斯大学）
无人机竞赛是一项休闲运动，其目标是在最短的时间内通过一系列门，同时避免碰撞。在自主无人机竞赛中，必须通过仅依靠计算机视觉方法来检测目标门，在未知环境中完全自主地飞行来完成该任务。由于背景物体和光照条件变化等挑战，基于颜色或几何形状的传统目标检测算法往往会失败。卷积神经网络在计算机视觉方面提供了令人印象深刻的进步，但需要大量的数据来学习。收集这些数据是一个繁琐的过程，因为无人机必须手动飞行，并且收集的数据可能会受到传感器故障的影响。在这项工作中，提出了一种半合成数据集生成方法，使用真实背景图像和门的随机3D渲染的组合，以提供不受这些缺点影响的无限数量的训练样本。使用检测结果，视线引导算法被用于通过门。在几个实验性的实时测试中，所提出的框架成功地展示了快速可靠的检测和导航。
2020-08-06 cs.CV cs.RO
Mastering Diverse, Unknown, and Cluttered Tracks for Robust Vision-Based Drone Racing
Shanghai Jiao Tong University（上海交通大学）
本文提出了一种两阶段学习框架，通过软碰撞训练和硬碰撞细化，提升无人机在多样化、未知和杂乱环境中的稳健性与泛化能力。
2025-12-11 cs.RO
Rethinking Reference Trajectories in Agile Drone Racing: A Unified Reference-Free Model-Based Controller via MPPI
College of Control Science and Engineering, Zhejiang University（控制科学与工程学院，浙江大学）
本文提出一种基于MPPI的无参考无人机竞速控制方法，将门禁进度目标直接纳入优化，并与轨迹跟踪和轮廓控制在统一框架下比较，证明其性能达到或超过基于参考的方法。
2025-09-18 cs.RO
Gate-Aware Online Planning for Two-Player Autonomous Drone Racing
College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院）；Department of Automation, Zhejiang University of Technology（浙江工业大学自动化系）
本文提出PMPC方法，通过质点模型参考、最优航向计算和磁感应线引导，实现两架四旋翼无人机在线无碰撞竞速门穿越，机载运行频率200 Hz，实测最高速度6.1 m/s。
2024-09-23 cs.RO
Curriculum Reinforcement Learning for Quadrotor Racing with Random Obstacles
School of Automation and Perception, Shanghai Jiao Tong University（自动化与感知学院，上海交通大学）；Faculty of Aerospace Engineering, Delft University of Technology（航空航天工程学院，代尔夫特理工大学）
本文提出一种课程强化学习框架，通过多阶段学习和领域随机化提升四旋翼赛车在随机障碍物环境中的鲁棒性和速度
2026-02-27 cs.RO
A simple vision-based navigation and control strategy for autonomous drone racing
AGH University of Science and Technology（AGH科技大学）
在本文中，我们提出了一个控制系统，允许无人机自主飞行通过一系列标有ArUco标签的门。使用了简单且低成本的DJI Tello EDU四旋翼平台。基于制造商提供的API，我们创建了一个Python应用程序，可以通过WiFi与无人机进行通信，根据视觉反馈实现无人机定位，并生成控制。提出了两种控制策略，比较和批判性分析。此外，还测量了所用定位方法的准确性。在膝上计算机（约40 fps）和Nvidia Jetson TX2嵌入式GPU平台（约25 fps）上评估应用。我们在GitHub上提供开发的代码。
2021-04-20 cs.CV cs.RO cs.SY
Self-supervised Domain Adaptation for Visual 3D Pose Estimation of Nano-drone Racing Gates by Enforcing Geometric Consistency
Dalle Molle Institute for Artificial Intelligence (IDSIA)（达勒莫利人工智能研究所）；USI-SUPSI；University of Milan（米兰大学）；Integrated Systems Laboratory (IIS)（集成系统实验室）；ETHZ（苏黎世联邦理工学院）
本研究提出了一种通过强制几何一致性提升纳米无人机赛道门3D姿态估计的自监督领域适应方法，实验表明其在位置和方向估计上优于现有方法。
2026-03-03 cs.RO
RaceVLA: VLA-based Racing Drone Navigation with Human-like Behaviour
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
RaceVLA利用视觉-语言-动作模型模拟人类飞行员决策，实现自主竞速无人机导航，在复杂高速场景中展现出优于OpenVLA和RT-2的实时调整能力与鲁棒泛化性。
2025-03-04 cs.AI cs.RO
Aggressive Perception-Aware Navigation using Deep Optical Flow Dynamics and PixelMPC
Georgia Institute of Technology（佐治亚理工学院）
最近，基于视觉的控制通过利用机器学习的力量而获得了牵引力。在这项工作中，我们耦合到一个模型预测控制（MPC）框架的可视化管道。我们引入了深度光流（DOF）动力学，它是光流和机器人动力学的结合。使用DOF动态，MPC明确地将相关像素的预测移动并入机器人的规划轨迹中。我们实现的自由度是内存效率，数据效率，计算成本低，使它可以在MPC框架中使用的实时计算。建议的像素模型预测控制（PixelMPC）算法控制机器人完成高速比赛任务，同时保持重要功能（门）的可见性。这提高了基于视觉的定位估计器的可靠性，并最终导致安全的自主飞行。所提出的算法进行了测试，在真实感仿真与高速无人机赛车任务。
2020-01-07 cs.CV cs.LG cs.RO
Dual Pose-Graph Semantic Localization for Vision-Based Autonomous Drone Racing
Robotics Group (ARG-SnT), University of Luxembourg -- SnT, Luxembourg（机器人组（ARG-SnT），卢森堡大学——SnT，卢森堡）
本文提出双图姿态图架构，融合里程计与语义检测以实现稳健定位。通过临时图累积关键帧间观测并优化为单个约束，再推广至持久主图，提升信息丰富度并保持实时性能。
2026-04-16 cs.RO
The Artificial Intelligence behind the winning entry to the 2019 AI Robotic Racing Competition
Delft University of Technology（代尔夫特理工大学）
机器人技术是人工智能（AI）发展的下一个前沿，因为机器人操作的现实世界代表了一个巨大的，复杂的，连续的状态空间，具有固有的实时要求。目前，机器人技术的一个极端挑战是无人驾驶飞机竞赛。人类无人机赛车手可以以高达190公里/小时的速度在复杂的赛道上飞行。用自主无人机实现类似的速度意味着在资源极端限制的情况下解决人工智能的基本问题。在这篇文章中，我们介绍了第一个AI机器人赛车（AIRR）赛道的获胜解决方案，这是一个由四场比赛组成的比赛，所有参赛队伍都使用相同的无人机，他们只能有限地进入。我们方法的核心是受到人类飞行员如何将对比赛门的嘈杂观察与他们对无人机动态的心理模型相结合以实现快速控制的启发。我们的方法主要集中在使用有效的深度神经分割网络和主动视觉进行门检测。此外，我们的贡献，鲁棒状态估计和基于风险的控制。这使我们在最后一场比赛中达到了约9.2米/秒的速度，这是以前的无人机比赛所无法比拟的。虽然我们的解决方案是最快和最强大的，但它仍然输给了最好的人类飞行员之一Gab 707。所提出的方法为缩小与人类无人机飞行员的差距指明了一个有希望的方向，这是将人工智能带入现实世界的重要一步。
2021-09-30 cs.AI cs.RO
Robust Tightly-Coupled Filter-Based Monocular Visual-Inertial State Estimation and Graph-Based Evaluation for Autonomous Drone Racing
Unmanned Systems Research Group (USRG), School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)（无人系统研究组（USRG）、电气工程学院、韩国科学技术院（KAIST））
提出ADR-VINS，一种基于误差状态卡尔曼滤波器的单目视觉惯性框架，通过直接像素重投影误差实现鲁棒状态估计，仅需两个可见角点；并引入ADR-FGO离线图优化生成高保真参考轨迹，用于无GNSS环境下的性能评估。
2026-06-23 cs.RO
Autonomous Drone Racing with Deep Reinforcement Learning
University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）；RWTH Aachen University（亚琛工业大学）
在许多机器人任务中，例如自主无人机比赛，目标是尽可能快地通过一组航路点。这项任务的一个关键挑战是规划时间最优的轨迹，这通常是通过假设提前完全了解要经过的航路点来解决的。由此产生的解决方案要么是高度专业化的单轨布局，或次优，由于简化假设的平台动力学。在这项工作中，一种新的方法来近时间最优轨迹生成四旋翼。利用深度强化学习和相对门观测，我们的方法可以计算接近时间最优的轨迹，并使轨迹适应环境变化。我们的方法表现出计算的优势，基于非平凡的轨道配置的轨迹优化的方法。在模拟和现实世界中的一组赛道上对所提出的方法进行了评估，使用物理四旋翼机实现了高达60 km/h的速度。
2021-08-02 cs.AI cs.RO
SkyDreamer: Interpretable End-to-End Vision-Based Drone Racing with Model-Based Reinforcement Learning
Faculty of Aerospace Engineering, Delft University of Technology（航空航天工程学院，代尔夫特理工大学）
SkyDreamer是首个端到端视觉无人机竞速策略，利用基于模型的强化学习实现可解释的隐式状态估计，无需外部标定即可机载高速飞行，速度达21米/秒，并鲁棒应对视觉和电池等现实差距。
2025-10-16 cs.RO
Curriculum-Based Iterative Self-Play for Scalable Multi-Drone Racing
Department of Mechatronics Engineering Faculty of Engineering Turkish-German University（机械工程系 工程学院 德土大学）
本文提出CRUISE框架，结合渐进课程与自博弈训练多无人机竞速策略，在高保真仿真中速度接近两倍于博弈论规划器，验证了课程结构的关键作用。
2025-10-26 cs.AI cs.MA cs.RO
Beauty and the Beast: Optimal Methods Meet Learning for Drone Racing
University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）；Intel（英特尔）
自主微型飞行器仍在与快速和敏捷的机动、动态环境、不完善的感测和状态估计漂移作斗争。无人驾驶飞机竞赛将这些挑战摆在了前面。人类飞行员在经过几次练习后，可以在以前看不见的轨道上飞行。相比之下，最先进的自主导航算法需要精确的环境度量地图或在感兴趣的轨道中收集的大量训练数据。为了弥补这一差距，我们提出了一种方法，可以在以前看不见的环境中飞行一个新的轨道，而无需精确的地图或昂贵的数据汇集。我们的方法代表了全球的轨道布局与粗略的门的位置，这可以很容易地估计从一个单一的演示飞行。在测试时，卷积网络预测最近的门的姿态及其不确定性。这些预测纳入了一个扩展的卡尔曼滤波器，以保持最佳的最大后验估计的门的位置。这使得该框架能够应对可能源于可观测性差或缺乏可见门的误导性高方差估计。给定估计的门姿态，我们使用模型预测控制来快速准确地导航通过轨道。我们在物理世界中进行了广泛的实验，通过复杂多样的前所未见的赛道展示了敏捷和稳健的飞行。所提出的方法被用于赢得IROS 2018年自主无人机竞赛，超过第二名团队两倍。
2019-03-01 cs.RO
Robust Navigation for Racing Drones based on Imitation Learning and Modularization
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出了一种基于视觉的模块化无人机竞速导航系统，该系统使用定制的卷积神经网络（CNN）的感知模块来产生高级导航命令，然后利用最先进的规划器和控制器来生成低级控制命令，从而利用基于数据和基于模型的方法的优点。与仅将当前相机图像作为CNN输入的最先进方法不同，我们进一步添加了最新的三个无人机状态作为输入的一部分。我们的方法在各种轨道布局中优于最先进的方法，并通过单个训练网络提供两种可切换的导航行为。基于CNN的感知模块被训练为模仿专家策略，该专家策略基于预先计算的全局轨迹自动生成地面实况导航命令。由于广泛的随机化和我们在数据汇集收集过程中修改的数据集聚合（Dagger）策略，我们的导航系统，这是纯粹的模拟训练与合成纹理，成功地在环境中随机选择逼真的纹理，而无需进一步微调。
2021-05-27 cs.AI cs.CV cs.LG
Onboard UAV State Estimation for Fast Flights Without External Localization Systems: A2RL Drone Racing Finalist Approach
Department of Cybernetics, Faculty of Electrical Engineering, Czech Technical University in Prague（控制系，电气工程系，布拉格捷克技术大学）
本文提出了一种基于视觉和IMU的无人机快速飞行状态估计方法，通过修正VIO漂移实现高精度状态估计，并在A2RL无人机赛车挑战中取得优异成绩。
2026-10-22 cs.RO
A Sim-to-Real Deep Learning-based Framework for Autonomous Nano-drone Racing
University of Bologna（博洛尼亚大学）；Dalle Molle Institute for Artificial Intelligence, USI-SUPSI（USI-SUPSI 达勒·莫勒人工智能研究所）；Autonomous Robotics Research Center, Technology Innovation Institute（技术创新研究院自主机器人研究中心）；ETH Zürich（苏黎世联邦理工学院）
针对纳米无人机机载资源受限的竞速难题，提出仅用仿真图像训练的全机载深度学习视觉导航方案，包含避障网络、sim-to-real数据集采集流程与适配的导航策略，斩获IMAV 2022纳米无人机AI挑战赛冠军，为该领域发展提供基础。
2023-12-14 cs.RO cs.SY eess.IV
Vision-Guided MPPI for Agile Drone Racing: Navigating Arbitrary Gate Poses via Neural Signed Distance Fields
College of Control Science and Engineering, Zhejiang University（控制科学与工程学院，浙江大学）
本文提出基于视觉的MPPI框架，利用神经签名距离场实现无需参考的敏捷无人机飞行，有效应对动态变化的赛道和门姿态。
2026-03-07 cs.RO
Race Against the Machine: a Fully-annotated, Open-design Dataset of Autonomous and Piloted High-speed Flight
Autonomous Robotics Research Center of the Technology Innovation Institute（技术创新研究所自主机器人研究中心）；University of Bologna（博洛尼亚大学）
本文提出一个开放设计的自主与驾驶高速飞行数据集，用于支持无人机赛车研究，提供高精度飞行数据和标注信息，促进相关技术的发展和比较。
2024-02-24 cs.RO
Dream to Fly: Model-Based Reinforcement Learning for Vision-Based Drone Flight
Robotics and Perception Group, Department of Informatics, University of Zurich（苏黎世大学信息学系机器人感知组）
本文提出基于模型的强化学习方法，通过像素观测实现无人机敏捷飞行，展示了在模拟和真实世界中的高效表现，推动了基于像素的自主飞行技术发展。
2026-04-10 cs.RO
Actor-Critic Model Predictive Control: Differentiable Optimization meets Reinforcement Learning for Agile Flight
Robotics and Perception Group, University of Zurich（机器人与感知组，苏黎世大学）
本文提出行为者-评论者模型预测控制框架，结合可微优化与强化学习，提升四旋翼无人机在动态不确定环境中的敏捷飞行性能。
2025-12-05 cs.RO
AttentionSwarm: Reinforcement Learning with Attention Control Barier Function for Crazyflie Drones in Dynamic Environments
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Intelligent Space Robotics Laboratory（智能空间机器人实验室）；Skolkovo Institute of Science and Technology（斯克尔科维科学与技术学院）；AI Center（人工智能中心）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本研究提出新型基准AttentionSwarm及基于注意力模型的CBF框架，结合注意力机制与安全控制理论实现动态环境下无人机集群安全高效控制，经Crazyflie 2.1无人机实验验证无碰撞导航率达95%-100%，为多机器人应用提供基础。
2025-10-22 cs.RO cs.SY eess.SY
CA-AC-MPC: CUDA-Accelerated Actor-Critic Model Predictive Control
PRISMA Lab and CREATE Consortium, Department of Electrical Engineering and Information Technology, University of Naples Federico II（PRISMA实验室和CREATE联盟，电气工程与信息技术系，那不勒斯费德里科二世大学）
提出CUDA加速的AC-MPC变体，通过GPU并行优化降低训练和推理延迟，在敏捷无人机竞速任务中实现最先进圈速和近极限动态性能。
2026-05-27 cs.AI cs.DC cs.RO
Simultaneous learning of state-to-state minimum-time planning and control
Department of Cybernetics, Faculty of Electrical Engineering, Czech Technical University in Prague（控制系，电气工程学院，布拉格捷克技术大学）
本文提出一种基于强化学习的框架，同时学习状态到状态的最短时间规划与控制，利用质点模型轨迹作为代理奖励和课程学习实现泛化，并在仿真和真实实验中验证了其鲁棒性。
2025-10-22 cs.RO
Demonstrating Agile Flight from Pixels without State Estimation
University of Zurich（苏黎世大学）
该研究提出首个无需显式状态估计的视觉驱动四旋翼系统，通过非对称演员-评论家强化学习训练策略，结合Swin-transformer门检测器，实现了最高40km/h、2g加速度的敏捷飞行，可依托现成硬件运行。
2024-06-18 cs.RO
One Net to Rule Them All: Domain Randomization in Quadcopter Racing Across Different Platforms
Micro Air Vehicle Lab of the Faculty of Aerospace Engineering, Delft University of Technology（航空航天工程学院微空气车辆实验室，代尔夫特理工大学）
本研究提出首个通过域随机化训练的神经网络四旋翼竞速控制器，仅依赖当前状态直接计算电机指令，在3英寸和5英寸无人机上验证了其跨平台泛化能力，揭示了鲁棒性与速度间的权衡。
2025-04-30 cs.AI cs.RO cs.SY
