PCVPC: Perception Constrained Visual Predictive Control For Agile Quadrotors
我们提出了一种感知约束视觉预测控制(PCVPC)算法的四旋翼,使侵略性的飞行,而不使用任何位置信息。我们的框架利用非线性模型预测控制(NMPC)制定一个约束的基于图像的视觉伺服(IBVS)问题。四旋翼动力学,图像动力学,致动约束,并考虑到能见度约束,以处理高敏捷性的四旋翼机动。将IBVS应用于敏捷无人机的两个主要挑战被认为是:(i)深度对强烈方向变化的高度敏感性,以及(ii)由于欠驱动性质,视觉伺服目标和动作目标之间的冲突。为了应对第一个挑战,我们通过方位向量和距离来参数化视觉特征,通过该距离,深度将不再参与图像动态。同时,我们解决了冲突的问题,通过补偿旋转在未来的视觉伺服成本使用预测的方向的四旋翼。我们的方法在模拟中表明,(i)它可以在没有任何位置信息的情况下工作,(ii)它可以在轨迹跟踪中实现9 m/s的最大参考速度而不会丢失目标,以及(iii)它可以到达地标,例如,无人机比赛中的一个门,从不同的初始配置。
2021-09-22 cs.RO cs.SY eess.SY
WESPR: Wind-adaptive Energy-Efficient Safe Perception & Planning for Robust Flight with Quadrotors
University of Maryland, College Park(马里兰大学学院公园分校)
WESPR通过预测环境几何对局部风的影响,实现四旋翼无人机的风适应性路径规划与控制优化,显著提升飞行稳定性与路径精度。
2026-08-20 cs.RO
Unifying Foundation Models with Quadrotor Control for Visual Tracking Beyond Object Categories
New York University, Tandon School of Engineering(纽约大学坦登工程学院)
本文提出结合基础模型检测器、多层跟踪器与无模型控制器的四旋翼视觉跟踪框架,仅用机载相机和IMU即可在复杂室内外实现超越类别的鲁棒实时跟踪。
2024-04-08 cs.RO
FastBridge: Closing the Model-Based Realization Gap in Safety Filters on 3D Gaussian Splatting for Fast Quadrotor Flight
针对快速四旋翼飞行中安全滤波器的模型实现差距,提出一种基于全四旋翼动力学的非线性、执行器感知安全滤波器,利用碰撞锥指数障碍函数和备份CBF,在保持QP可行性的同时降低轨迹加加速度47%并提速2.25倍。
2026-07-02 cs.RO
Agilicious: Open-Source and Open-Hardware Agile Quadrotor for Vision-Based Flight
University of Zurich(苏黎世大学)
本文提出开源开放硬件的四旋翼软硬件框架 Agilicious,通过高推重比、GPU 机载计算和灵活软件栈支持模型与神经网络控制,并验证高速跟踪、视觉特技、避障及硬件在环仿真。
2023-07-12 cs.RO
EVPeriscope: Extended Perception across Aerial and Ground Vehicles with Event-based Propeller Tracking
University of Pennsylvania(宾夕法尼亚大学)
EVPeriscope利用事件相机检测四旋翼螺旋桨高频信号,实现地面与空中机器人的可靠相对定位,在恶劣条件下支持闭环导航,扩展地面机器人感知能力。
2026-09-11 cs.RO
RADAR Perception for Dynamic Obstacle Avoidance onboard small-scale Quadrotor UAVs
University of Klagenfurt(克拉根福大学)
该研究针对小型四旋翼无人机,提出首个毫米波RADAR感知与控制系统,结合交互多模型跟踪器与控制障碍函数控制器,实现快速动态避障,在多环境实验中精度达标,端到端延迟约14ms。
2026-11-09 cs.RO eess.SY
ClearNav: Perception-Aligned Quadrotor Flight Using Differential-Physics
Worcester Polytechnic Institute(伍斯特理工学院);Northeastern University(东北大学)
ClearNav是一种基于微分物理的导航策略,通过约束运动方向、惩罚障碍物附近速度,在仿真和真实杂乱环境中提升四旋翼飞行的成功率、降低碰撞率。
2026-10-14 cs.AI cs.LG cs.RO
TOPPQuad: Dynamically-Feasible Time Optimal Path Parametrization for Quadrotors
University of Pennsylvania(宾夕法尼亚大学)
针对四旋翼在杂乱环境中时间最优轨迹规划的非凸难题,提出显式结合刚体动力学及电机与状态约束的TOPPQuad算法,在保障硬件安全的前提下生成更快轨迹并支持双向电机。
2024-04-10 cs.RO math.OC
Cooperative Circumnavigation for Multi-Quadrotor Systems via Onboard Sensing
School of Aeronautics and Astronautics, Sun Yat-sen University (Shenzhen Campus)(航空宇航学院,中山大学(深圳校区))
提出一种无外部定位依赖的多四旋翼协同环绕飞行框架,通过异构感知、改进与分布式 Kalman 滤波器实现鲁棒目标状态估计与相对定位,并利用振荡器编队策略构建控制器,实验验证了其在遮挡环境下的有效性与容错性。
2025-06-26 cs.RO
An Efficient B-spline-Based Kinodynamic Replanning Framework for Quadrotors
Hong Kong University of Science and Technology(香港科技大学)
四旋翼的轨迹重新规划对于在未知环境中实现完全自主飞行至关重要。分层运动规划框架结合了路径规划和路径参数化,由于其时间效率而受到欢迎。然而,路径规划不能正确地处理非静态的初始状态的四旋翼,这可能会导致非光滑的,甚至动态不可行的轨迹。在本文中,我们提出了一个有效的kinodynamic重新规划框架,利用B样条,这有利于处理非静态状态,并保证安全性和动态的可行性的有利性质。我们的框架从一个有效的B样条基kinodynamic(EBK)搜索算法,找到一个可行的轨迹,以最小的控制工作量和时间。为了补偿EBK搜索引起的离散化,提出了一种弹性优化(EO)方法来细化控制点的位置。对国家的最先进的进行系统的比较,以验证性能。使用两种不同的基于视觉的四旋翼进行全面的机载实验,显示了该框架的普遍适用性。
2019-06-24 cs.AI cs.RO
Trajectory Replanning for Quadrotors Using Kinodynamic Search and Elastic Optimization
Hong Kong University of Science and Technology(香港科技大学)
我们专注于重新规划的情况下,考虑时间效率,非静态初始状态和动态的可行性是非常重要的。通过研究B样条参数化的性质,提出了一种实时的基于B样条的Kinodynamic(RBK)搜索算法,该算法将A* 和Dijkstra等仅基于位置的最短路径搜索转化为高效的Kinodynamic搜索. RBK搜索是贪婪的,并产生一个动态可行的时间参数化的轨迹有效,这有利于非静态的初始状态的四旋翼。为了应对贪婪搜索和网格结构引起的离散化的限制,我们采用弹性优化(EO)方法作为优化后过程,以改进RBK搜索提供的控制点放置。EO方法通过求解二次约束二次规划(QCQP)问题,找到了表示自由空间的膨胀弹性管内的最优控制点位置。基于B样条的局部控制特性,设计了一种滚动时域重规划器。我们的方法对两个国家的最先进的方法进行了系统的比较。我们将我们的重新规划系统与基于单目视觉的四旋翼飞行器相结合,并验证了我们的机载性能。
2019-03-04 cs.RO
Critical slowing down for predicting controller induced loss of control in quadrotors
Delft University of Technology(代尔夫特理工大学)
研究利用临界减速开发预测方案预测四旋翼飞行器控制器引发的失控,通过真实飞行数据评估,该方法能提前0.9秒预测,检测精度高且数据依赖小,无需重新参数化可通用不同场景。
2026-07-29 cs.RO cs.SY eess.SY
The Blackbird Dataset: A large-scale dataset for UAV perception in aggressive flight
Massachusetts Institute of Technology(麻省理工学院)
Blackbird无人机(UAV)数据集是一个大规模的、激进的室内飞行数据集,使用定制的四旋翼平台收集,用于评估敏捷感知。Blackbird数据集的灵感来自未来高速全自主无人机竞赛的潜力,包含17条飞行轨迹和5种环境下168次飞行的10多个小时的飞行数据,速度高达$7.0ms^-1$。每次飞行都包括来自120 Hz立体声和向下的真实感虚拟相机、100 Hz IMU、$\sim190Hz$电机速度传感器和360 Hz毫米精度运动捕捉地面实况的传感器数据。每次飞行的相机图像都使用FlightGoggles在各种环境中进行了逼真的渲染,以方便高性能感知算法的简单实验。该数据集可从http://blackbird-dataset.mit.edu/下载
2018-10-03 cs.CV cs.RO
Experiments in Fast, Autonomous, GPS-Denied Quadrotor Flight
University of Pennsylvania(宾夕法尼亚大学)
在未知环境中的高速导航是机器人技术中的一个具有挑战性的问题。它需要快速计算和机器人上所有子系统的紧密集成,以便感知-动作循环中的延迟尽可能小。空中机器人增加了有效载荷容量的限制,这限制了可以携带机载的计算量。这就要求导航系统中的每个组件都有有效的算法。在本文中,我们描述了我们的四旋翼系统,该系统能够在室内和室外混合环境中平稳导航,并且能够以超过18 m/s的速度飞行。我们提供了我们的系统的概述和有关实现我们平台的高速导航能力的特定组件技术的详细信息。我们证明了我们的系统的鲁棒性,通过高速自主飞行和导航通过各种障碍丰富的环境。
2018-06-19 cs.RO
Geometric Adaptive Control with Neural Networks for a Quadrotor UAV in Wind fields
针对风场引起的非结构力和力矩扰动,提出一种基于多层神经网络在线调整权重的几何自适应控制器,实现位置和航向跟踪误差的一致最终有界。
2019-03-05 cs.RO cs.SY eess.SY
Aggressive Quadrotor Flight through Narrow Gaps with Onboard Sensing and Computing using Active Vision
University of Zurich(苏黎世大学)
我们解决了在复杂环境中自主四旋翼飞行的主要挑战之一,即通过狭窄的间隙飞行。虽然以前的工作依赖于非机载定位系统或间隙位置和方向的准确先验知识,但我们仅依赖于机载传感和计算,并通过将单个机载相机的间隙检测与IMU融合来估计完整状态。该问题由于两个原因而具有挑战性:(i)相对于间隙的四旋翼姿态不确定性随着距间隙的距离成二次方地增加;(ii)四旋翼必须主动地控制其朝向间隙的取向以实现状态估计(即,主动视觉)。我们通过生成考虑几何、动态和感知约束的轨迹来解决这个问题:在接近机动过程中,四旋翼始终面对间隙以允许状态估计,同时尊重车辆动力学;在穿过间隙期间,四旋翼到间隙边缘的距离最大化。此外,我们在其执行过程中重新规划的轨迹,以应付不同的不确定性的状态估计。我们成功地评估和证明所提出的方法在许多实际的实验。据我们所知,这是第一项工作,解决并实现自主,积极的飞行通过狭窄的差距,只使用机载传感和计算,而没有预先知道的差距的姿态。
2018-04-05 cs.RO
On-device Self-supervised Learning of Visual Perception Tasks aboard Hardware-limited Nano-quadrotors
Dalle Molle Institute for Artificial Intelligence (IDSIA)(达勒·莫勒人工智能研究所(IDSIA));KU Leuven(鲁汶大学);ETH Zürich(苏黎世联邦理工学院)
针对硬件受限纳米无人机在未知环境中因域偏移导致感知模型性能下降的问题,提出设备端自监督微调方法,在GAP9芯片上22秒即可实现平均绝对误差最高30%的提升。
2024-03-06 cs.AI cs.RO
Rotor-Failure-Aware Quadrotors Flight in Unknown Environments
School of Robotics and Automation, Nanjing University(南京大学机器人与自动化学院);Institute of Cyber-Systems and Control, College of Control Science and Engineering, Zhejiang University(浙江大学控制系统研究所);Department of Aeronautical and Aviation Engineering, The Hong Kong Polytechnic University(香港理工大学航空工程系);School of Aeronautic Science and Engineering, Beihang University(北航航空科学与工程学院)
本文提出一种具有旋转故障意识的四旋翼导航系统,通过复合故障检测与诊断非线性模型预测控制器和LiDAR平台,在未知复杂环境中实现旋转故障的快速检测与飞行稳定。
2026-03-25 cs.RO
Monocular Event-Based Vision for Obstacle Avoidance with a Quadrotor
GRASP, University of Pennsylvania(宾夕法尼亚大学GRASP实验室);Robotics and Perception Group, University of Zurich(苏黎世大学机器人与感知组)
提出首个仅用单目事件相机的四旋翼避障方法,通过深度预测预训练和真实数据微调,实现室内外避障,并发现高速比低速更有利。
2024-11-05 cs.RO
Vision Transformers for End-to-End Vision-Based Quadrotor Obstacle Avoidance
University of Pennsylvania(宾夕法尼亚大学)
该研究提出并验证了基于vision transformer (ViT)的端到端视觉到控制方法,用于高速四旋翼无人机在密集环境中的避障,发现ViT结合循环机制在高达7m/s的速度下显著提升了泛化性能并降低了能耗。
2025-04-01 cs.AI cs.RO eess.IV
DuctAM: A Duct-Assisted Quadrotor-Based Aerial Manipulator Enabling High-Force Push-and-Pull Interactions
Nanyang Technological University(南洋理工大学);NTU–VinUni Joint Research Laboratory for Embodied AI and Robotics(南洋理工大学-维纳大学具身智能与机器人联合研究实验室);VinUniversity(维纳大学)
本文提出DuctAM,一种通过集成导管风扇增强水平力能力的四旋翼空中机械臂,采用姿态-力解耦控制,实验验证了其在推拉任务中的高效性与稳定性。
2026-09-15 cs.RO
Curriculum Reinforcement Learning for Quadrotor Racing with Random Obstacles
School of Automation and Perception, Shanghai Jiao Tong University(自动化与感知学院,上海交通大学);Faculty of Aerospace Engineering, Delft University of Technology(航空航天工程学院,代尔夫特理工大学)
本文提出一种课程强化学习框架,通过多阶段学习和领域随机化提升四旋翼赛车在随机障碍物环境中的鲁棒性和速度
2026-02-27 cs.RO
Optimizing for Aesthetically Pleasing Quadrotor Camera Motion
ETH Zürich(苏黎世联邦理工学院)
在本文中,我们首先贡献了一个大规模的在线研究(N=400),以更好地了解空中视频的美感。结果表明,优化所有关键帧的轨迹平滑度至关重要。然而,对于专家来说,时间控制仍然是一个重要的工具。满足这一双重目标在技术上是具有挑战性的,因为它需要放弃优化公式中的期望属性。其次,本研究通知,我们提出了一种方法,优化位置和时间参考配合联合。这允许生成全局平滑的轨迹,同时保持用户对参考定时的控制。该制剂是作为一个变量,无限的地平线,轮廓以下的算法。最后,比较实验室研究表明,我们的优化方案在感知可用性和结果视频的偏好方面优于最先进的方案。对于新手来说,我们的方法可以产生更平滑,更好看的结果,专家也可以从生成的时间中受益。
2019-06-27 cs.GR cs.HC cs.RO
Constrained Reinforcement Learning using Distributional Representation for Trustworthy Quadrotor UAV Tracking Control
针对四旋翼无人机空气动力学扰动难精确辨识的问题,提出结合约束分布强化扰动估计器ConsDRED与SMPC的可解释跟踪框架,理论保证收敛性,实验验证其超参数敏感度低、跟踪误差较现有技术降低至少70%,平衡性能与约束满足。
2024-07-15 cs.AI cs.RO cs.SY
JuggleRL: Mastering Ball Juggling with a Quadrotor via Deep Reinforcement Learning
Tsinghua University(清华大学)
JuggleRL通过深度强化学习使四旋翼机实现精准球类抛接,实现实验室与现实环境的高性能击球表现。
2026-01-14 cs.RO
Perception-Aware Perching on Powerlines with Multirotors
Universidad de Sevilla(塞维利亚大学);University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院)
多旋翼空中机器人正被广泛用于电力线的检查。为了在没有人为干预的情况下实现连续、可靠的检查,机器人必须能够栖息在电力线上为电池充电。高度通用的栖息能力是必要的,以适应各种配置和约束,是目前在真正的电力线系统。本文提出了一种新的栖息轨迹生成框架,计算感知感知,无碰撞,和动态可行的机动,引导机器人到所需的最终状态。轨迹生成是通过使用原始-对偶内点法求解非线性规划问题来实现的。该问题考虑了机器人的完整动态模型,直到其单转子推力,并最大限度地减少最终的姿态和速度误差,同时避免碰撞,并最大限度地提高机动过程中电力线的可见性。所产生的演习同时考虑栖息和后恢复轨迹。该框架采用电力线的有效数学表示定义的成本和约束,使在线板载执行资源受限的硬件。该方法在一个敏捷的四旋翼机上进行电力线检查和各种栖息机动,最终俯仰值高达180度。所开发的代码可在以下网址获得:https://github.com/grvcPerception/pa_powerline_perching
2022-02-13 cs.CV cs.RO
Avoiding dynamic small obstacles with onboard sensing and computating on aerial robots
University of Hong Kong(香港大学)
在实际应用中,自主四旋翼仍然面临重大挑战,例如检测和避免非常小的甚至动态的障碍物(例如,树枝、电线)。在本文中,我们提出了一种紧凑,集成,完全自主的四旋翼系统,它可以在混乱的环境中安全飞行,同时避免动态的小障碍物。我们的四旋翼平台配备了一个前视三维(3D)光探测和测距(激光雷达)传感器来感知环境,以及一台机载嵌入式计算机来执行所有的估计,映射和规划任务。具体而言,计算机估计UAV的当前姿态,维护本地地图(时间累积点云KD树),并使用运动动力学A* 搜索来计算到目标点的安全轨迹。整个感知和规划系统可以在50 Hz下运行,并经过精心优化。各种室内和室外实验表明,该系统可以避免动态的小障碍物(下至20毫米直径的酒吧),同时飞行速度为2米/秒,在杂乱的环境。我们的代码和硬件设计在Github上开源。
2021-02-28 cs.RO
WAND: Learning Robust Navigation under Complex Wind Disturbances and Dense Obstacles for Quadrotors
University of Science and Technology of China(中国科学技术大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出WAND强化学习框架,通过TCN估计风扰动加速度并结合WindAdapter实现扰动抑制,在12种仿真场景中成功率平均提升8.3个百分点,20次室内飞行试验成功18次,验证了四旋翼无人机在复杂环境下的鲁棒导航能力。
2026-10-09 cs.RO
PAMPC: Perception-Aware Model Predictive Control for Quadrotors
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院)
我们提出了第一个感知感知模型预测控制框架,统一控制和规划方面的行动和感知目标的四旋翼。我们的框架利用数值优化来计算满足系统动力学的轨迹,并需要在平台的限制内的控制输入。同时,它通过最大化感兴趣点的可见性并最小化其在图像平面中的速度来优化感知目标,以实现鲁棒和可靠的感测。考虑感知和动作目标的运动规划和控制是具有挑战性的,由于其各自的要求可能产生的冲突。例如,对于跟踪参考轨迹的四旋翼,它需要旋转以使其推力与期望加速度的方向对准。然而,感知目标可能需要最小化这种旋转以最大化感兴趣点的可见性。因此,一个基于模型的优化框架,能够考虑感知和行动目标,并通过系统动力学耦合它们,是必要的。我们的感知感知模型预测控制框架通过迭代求解非线性优化问题以滚动时域方式工作。它能够实时运行,完全机载我们的轻量级,小型四旋翼使用低功耗ARM计算机,以与视觉惯性里程计管道。我们在实验中验证了我们的方法,证明了(I)感知和行动目标之间的矛盾,以及(II)在极具挑战性的照明条件下改善了行为。
2018-07-10 cs.RO
GPA-Teleoperation: Gaze Enhanced Perception-aware Safe Assistive Aerial Teleoperation
Zhejiang University(浙江大学);Huzhou Institute of Zhejiang University(浙江大学湖州研究院);Nanjing Institute of Technology(南京工程学院)
凝视是一种直观和直接的方式来表示个人的意图。然而,当涉及到辅助空中遥操作,旨在执行操作者的意图,很少有人关注凝视。现有的方法直接从遥控器(RC)输入中获取意图,这是不准确的,不稳定的,并且对非专业操作者不友好。此外,大多数遥操作工作不考虑环境感知,这是至关重要的,以保证安全。在本文中,我们提出了GPA遥操作,凝视增强感知觉的辅助遥操作框架,系统地解决了上述问题。该方法利用视线信息捕获操作者的意图,生成与之匹配的拓扑路径,并将其细化为安全可行的轨迹,增强了操作者对感兴趣环境的感知意识。此外,所提出的方法被集成到一个定制的四旋翼系统。大量具有挑战性的室内和室外真实世界的实验和基准比较验证了所提出的系统是可靠的,鲁棒的,甚至适用于不熟练的用户。我们将发布我们的系统源代码,以利于相关研究。
2022-02-07 cs.RO
APF-PF: Probabilistic Depth Perception for 3D Reactive Obstacle Avoidance
University of Colorado Boulder(科罗拉多大学博尔德分校)
本文提出了一个框架,三维避障存在的部分可观性的环境障碍。该方法侧重于实用的人工势函数(APF)控制器在一个实际的设置,噪音和不完整的信息接近是不可避免的。我们提出了一种粒子滤波器(PF)的方法来估计潜在的障碍物的位置在输入深度图像流。然后,可能的候选人被用来生成一个动作,操纵机器人在每个时刻朝着负梯度的潜力。在四旋翼无人机上进行了严格的实验验证,结果表明,当机器人对错误感知信息敏感时,该方法具有鲁棒性和可靠性。所提出的感知和控制栈在无人机上运行,证明了实时应用和敏捷机器人的计算可行性。
2021-03-17 cs.RO cs.SY eess.SY
Decoupling Physical Speed from Path Parameterization in Singularity-Free Guiding Vector Fields
Hunan University(湖南大学);Hunan Normal University(湖南师范大学);National University of Defense Technology(国防科技大学);Information Support Force Engineering University(信息支援部队工程大学)
针对SF-GVF中期望速度依赖路径参数化且部分归一化可能引入新奇异点的问题,提出具有指定物理速度的新型SF-GVF,实现指数收敛和物理速度可控,仿真与实验验证有效性。
2026-09-18 cs.RO
HPA-MPC: Hybrid Perception-Aware Nonlinear Model Predictive Control for Quadrotors with Suspended Loads
Worcester Polytechnic Institute(伍斯特理工学院);New York University(纽约大学)
本文提出HPA-MPC方法,通过混合动力学建模和感知感知代价,解决带悬挂负载四旋翼在松弛-张紧转换下的稳定控制与负载可见性问题,并实现完全机载运行。
2024-11-18 cs.RO
Learning Constraints from Locally-Optimal Demonstrations under Cost Function Uncertainty
University of Michigan(密歇根大学)
我们提出了一种算法,学习参数约束从局部最优的演示,其中被优化的成本函数是不确定的学习者。我们的方法使用的Karush-Kuhn-Tucker(KKT)的最优性条件的演示内的混合整数线性规划(MILP)学习的约束是一致的局部最优性的演示,通过使用一个已知的约束参数化或递增增长的参数化,是一致的演示。我们提供了理论保证的保守性恢复的安全/不安全集,并分析了限制学习时,使用局部最优的演示。我们评估我们的方法对高维约束和系统的学习约束7自由度臂和四旋翼的例子,表明它优于竞争的约束学习方法,并可以有效地用于规划新的约束满足轨迹的环境。
2020-01-25 cs.LG cs.RO cs.SY
SwordRiding: A Unified Navigation Framework for Quadrotors in Unknown Complex Environments via Online Guiding Vector Fields
Pengcheng Laboratory, Shenzhen, Guangdong, China(鹏城实验室,深圳,广东,中国);School of Automation, Beijing Institute of Technology, Beijing, China(自动化学院,北京理工大学,北京,中国);School of Artificial Intelligence and Robotics, Hunan University(人工智能与机器人学院,湖南大学);Department of Control Science and Engineering, Harbin Institute of Technology(控制科学与工程学院,哈尔滨工业大学);National Key Laboratory of Autonomous Intelligent Unmanned Systems(自主智能无人系统国家重点实验室);Department of Mechanical and Automation Engineering, the Chinese University of Hong Kong, Hong Kong, China(机械与自动化工程系,香港中文大学,香港,中国)
SwordRiding提出了一种基于在线引导矢量场的四旋翼无人机统一导航框架,通过闭环导航提升在未知复杂环境中的实时适应性和鲁棒性。
2025-11-27 cs.RO cs.SY eess.SY
Perception-Aware Time-Optimal Planning for Quadrotor Waypoint Flight
University of Toronto Institute for Aerospace Studies (UTIAS)(多伦多大学航空航天研究所在加拿大);Robotics and Perception Group(机器人与感知组)
本文提出了一种感知意识时间最优轨迹优化框架,结合动力学、视觉约束和环境几何,提升四旋翼飞行的感知可靠性与效率。
2026-03-04 cs.RO
Flying in Highly Dynamic Environments with End-to-end Learning Approach
The University of Hong Kong(香港大学);HKU-TCL Joint Research Center for Artificial Intelligence(香港大学-TCL人工智能联合研究中心)
针对多动态障碍物环境下四旋翼避障难题,提出融合激光雷达点云编码、二维障碍物地图与深度强化学习的端到端网络,可直接输出加速度指令并在单一网络中实现感知、导航及悬停状态转换。
2025-03-18 cs.RO cs.SY eess.SY
PCMPC: Perception-Constrained Model Predictive Control for Quadrotors with Suspended Loads using a Single Camera and IMU
New York University(纽约大学)
本文提出PCMPC方法,在SE(3)×S^2流形上对悬挂负载四旋翼进行滚动时域控制,融合单目相机、IMU和电机转速实现500 Hz实时状态估计,并通过实验验证了不同速度下的负载轨迹跟踪性能。
2021-07-22 cs.RO
ES-HPC-MPC: Exponentially Stable Hybrid Perception Constrained MPC for Quadrotor with Suspended Payloads
Worcester Polytechnic Institute(沃斯特理工大学);University of California Berkeley(加州大学伯克利分校)
针对带悬挂载荷四旋翼空中运输的混合欠驱动控制与感知难题,提出融合ES-CLFs与CBFs的ES-HPC-MPC框架,经仿真与实实验证,可在缆索松弛-张紧切换等场景下保障稳定跟踪与感知约束满足。
2025-10-29 cs.RO cs.SY eess.SY
Trajectory and Morphology Planning for Morphing Quadrotors in Ultra-Narrow Passages using Limited Perception
Department of Civil & Environmental Engineering, Texas A&M University(土木与环境工程系,德克萨斯农工大学)
本文提出一种运动规划框架,用于在极端受限环境中为变形四旋翼规划形态和轨迹。通过开发一种新颖的障碍物避障成本函数,使四旋翼能够在有限的2D激光雷达感知下导航通过极狭窄的缝隙。
2026-11-04 cs.RO cs.SY eess.SY
PL-EVIO: Robust Monocular Event-based Visual Inertial Odometry with Point and Line Features
The University of Hong Kong(香港大学)
本文提出PL-EVIO,一种融合事件角点、事件线与图像点特征的实时单目事件视觉惯性里程计,通过互补约束提升精度与鲁棒性,并在基准、四旋翼闭环飞行和户外实验中验证优势。
2023-09-26 cs.CV cs.RO
Autonomous Flights inside Narrow Tunnels
Department of Electronic and Computer Engineering, the Hong Kong University of Science and Technology(电子与计算机工程系,香港科学与技术大学);School of Intelligent Systems Engineering, SunYat-sen University(智能系统工程学院,中山大学);Institute of Unmanned Systems, Beihang University(无人系统研究院,北航大学)
本文提出一种用于狭窄隧道(直径0.5米)自主飞行的实时系统,集成虚拟全向感知与融合气流扰动的运动规划器,实验验证其性能优于人类飞行员。
2025-05-26 cs.RO
VISION-SLS: Safe Perception-Based Control from Learned Visual Representations via System Level Synthesis
Institute for Dynamic Systems and Control, ETH Zürich(动态系统与控制研究所,苏黎世联邦理工学院)
本文提出VISION-SLS方法,通过高分辨率RGB图像实现非线性输出反馈控制,在校准的不确定性范围内保证约束满足。方法结合学习的低维观测映射和系统级合成策略,实现可扩展的安全控制。
2026-04-27 cs.CV cs.LG cs.RO
Vision and Learning for Deliberative Monocular Cluttered Flight
Carnegie Mellon University(卡内基梅隆大学);NVIDIA Corporation(英伟达公司);George Mason University(乔治梅森大学);Harvey Mudd College(哈维穆德学院)
摄像机提供了丰富的信息来源,同时对于中小型无人机(UAV)来说是被动的、便宜的和轻便的。在这项工作中,我们提出了滚动时域控制,这是广泛应用于地面车辆,单目视觉作为唯一的传感模式,自主无人机飞行在密集的杂波的第一个实现。我们通过许多贡献使其在无人机上变得可行:通过相关和多样的感知和控制的新型耦合,对机器人周围场景的多种解释,利用机器学习的最新进展来展示任何时候预算成本敏感的特征选择,以及用于单目深度预测的快速非线性回归。我们经验性地证明了我们的新管道的功效,通过超过2公里的真实世界的实验,通过密集的树木与四旋翼从现成的零件。此外,我们的管道旨在将来自其他模式(如立体声和激光雷达)的信息结合起来。
2014-11-24 cs.CV cs.LG cs.RO
Powerline Tracking with Event Cameras
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院)
具有四旋翼的电力线的自主检测具有挑战性。飞行需要持续的感知来密切关注线条。我们提出了一种方法,使用事件相机鲁棒跟踪电力线。活动摄像机对运动模糊具有固有的鲁棒性,具有低延迟和高动态范围。这些特性对于使用无人机自主检查电力线是有利的,其中快速运动和具有挑战性的照明条件是常见的。我们的方法通过检测时空信号中的平面来识别事件流中的线,并通过时间来跟踪它们。该实现运行板载,并能够检测多个不同的线路在实时高达每秒$320$千事件的速率。在现实世界中的飞行沿电力线的性能进行评估。跟踪器能够持续地跟踪电力线,其中线路$10\times$的平均寿命比现有方法长。
2021-08-01 cs.RO
Perception-Aware Motion Planning via Multiobjective Search on GPUs
Stanford University(斯坦福大学)
在本文中,我们描述了一个框架,通过感知感知的运动规划问题,我们寻求一个低成本的运动计划,对感知定位质量的单独约束计算本地化,强大的运动计划。为了解决这个问题,我们引入了多目标感知感知规划(MPAP)算法,通过多目标搜索探索状态空间,同时考虑成本和感知启发式。这个框架可以容纳大范围的解释学,允许那些捕捉本地化漂移的历史依赖性和代表复杂的现代感知方法。我们提出了两个这样的算法,一个来自机器人感知的简化模型,第二个来自地面实况传感器误差,我们证明能够预测一个国家的最先进的感知系统的性能。然后,通过蒙特卡罗方法验证这种基于启发式搜索的解决方案轨迹是本地化和鲁棒的。感知感知规划的额外计算负担被GPU大规模并行化所抵消。通过数值实验表明,该算法可以在大约一秒钟内找到局部化良好的鲁棒解。最后,我们使用Google Tango进行本地化,在四旋翼飞行感知感知和感知不可知计划上演示MPAP,发现四旋翼每次都安全地执行感知感知计划,而由于本地化丢失,超过20%的感知不可知运行会崩溃。
2017-12-06 cs.RO
Latent Activation Editing: Inference-Time Refinement of Learned Policies for Safer Multirobot Navigation
Department of Computer Science, University of Southern California(南加州大学计算机科学系);Automatic Control Laboratory, ETH Zürich(苏黎世联邦理工学院自动控制实验室)
提出潜在激活编辑(LAE)框架,通过在推理时在线检测并编辑中间激活,在不修改权重或架构的情况下降低预训练策略的碰撞率,在四旋翼导航中实现近90%的碰撞减少。
2026-06-01 cs.RO
ASAP: Adaptive Transmission Scheme for Online Processing of Event-based Algorithms
Universidad de Sevilla(塞维利亚大学)
针对机器人在线事件感知因事件速率和处理时间变化导致的溢出与响应延迟问题,提出包含自适应事件丢弃和事件包大小调整的 ASAP 框架,并在四旋翼与扑翼机器人上验证。
2022-09-18 cs.RO
Real-Time Glass Detection and Reprojection using Sensor Fusion Onboard Aerial Robots
ARL DCIST CRA;NSF Grant CCR-2112665(NSF CCR-2112665);NSF Graduate Research Fellowship Grant No. DGE-1845298(NSF DGE-1845298);IoT4Ag Engineering Research Center
针对低SWaP无人机,提出融合ToF相机与超声波传感器及轻量卷积模型的实时透明障碍物检测建图框架,在嵌入式CPU上高效运行并实验验证。
2025-10-07 cs.CV cs.RO cs.SY
Learning Perception-Aware Agile Flight in Cluttered Environments
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院);Czech Technical University in Prague(捷克布拉格技术大学)
最近,神经控制策略已经优于现有的基于模型的规划和控制方法,用于在最短时间内自主导航四旋翼通过杂乱的环境。然而,它们没有感知意识,这是基于视觉的导航的一个关键要求,因为相机的视野有限,四旋翼机的驱动不足。我们提出了一个基于学习的系统,实现感知感知,敏捷的飞行在混乱的环境中。我们的方法通过利用特权作弊学习框架将模仿学习与强化学习(RL)相结合。使用强化学习,我们首先训练一个感知感知的教师政策与完整的状态信息飞行在最短的时间内通过杂乱的环境。然后,我们使用模仿学习将其知识提炼成基于视觉的学生策略,该策略仅通过相机感知环境。我们的方法将感知和控制紧密结合,在计算速度(快10倍)和成功率方面表现出显着优势。我们使用硬件在环仿真演示了闭环控制性能。
2023-03-03 cs.AI cs.RO
Learning High-Speed Flight in the Wild
Robotics and Perception Group, UZH(苏黎世大学机器人与感知组);Intelligent Systems Lab, Intel(英特尔智能系统实验室)
四旋翼飞行器很灵活。与大多数其他机器不同,它们可以高速穿越极其复杂的环境。到目前为止,只有专业的人类飞行员才能充分利用他们的能力。具有机载传感和计算的自主操作一直限于低速。最先进的方法通常将导航问题分为子任务:传感,绘图和规划。虽然这种方法在低速时已经证明是成功的,但它所建立的分离对于在杂乱环境中的高速导航来说可能是有问题的。实际上,子任务是按顺序执行的,这导致处理延迟增加,并通过管道复合错误。在这里,我们提出了一种端到端的方法,可以在复杂的自然和人造环境中高速自主飞行四旋翼,纯粹是机载传感和计算。关键的原则是直接映射嘈杂的感官观察到无碰撞的轨迹在一个后退的地平线时尚。这种直接映射大大减少了处理延迟,并提高了对噪声和不完整感知的鲁棒性。感觉运动映射由卷积网络执行,该卷积网络通过特权学习专门在模拟中进行训练:模仿专家访问特权信息。通过模拟真实的传感器噪声,我们的方法实现了从模拟到具有挑战性的现实世界环境的zero-shot转移,这些环境在训练过程中从未经历过:茂密的森林,积雪覆盖的地形,脱轨的火车和倒塌的建筑物。我们的工作表明,经过模拟训练的端到端策略能够在具有挑战性的环境中实现高速自主飞行,优于传统的避障管道。
2021-10-11 cs.LG cs.RO cs.SY
Hybrid F' and ROS2 Architecture for Vision-Based Autonomous Flight: Design and Experimental Validation
Skolkovo Institute of Science and Technology(斯克尔科沃科学与技术研究所)
本文提出一种混合F'与ROS2架构,通过视觉导航验证了其在自主飞行中的实时性能和高效运行能力。
2026-02-17 cs.RO
Guided Diffusion with Distilled Vision-Language Reliability for Aerial Navigation
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
提出一种可靠性感知的扩散规划器,通过蒸馏视觉语言模型生成场景级可靠性热图,引导去噪过程处理不可靠区域,显著降低无人机导航中的障碍物违反率并提高区域可靠性。
2026-06-15 cs.RO