Control of a Tail-Sitter VTOL UAV Based on Recurrent Neural Networks
Hong Kong University of Science and Technology (HKUST)(香港科技大学);University of Hong Kong(香港大学)
尾坐式垂直起降无人机(VTOL)具有悬停和高效水平飞行的能力,具有紧凑的机械结构。我们提出了一个统一的控制器设计这样的无人机,基于循环神经网络。这种设计方法的优点是各种飞行模式(即,悬停、过渡和水平飞行)以统一的方式进行控制,而不是将它们分开处理并在运行时彼此切换。该控制器由外环位置控制器和内环姿态控制器组成。内环控制器由比例姿态控制器和回路成形线性角速率控制器组成。对于外环控制器,我们提出了一个非线性求解器来计算所需的姿态和推力,根据无人机的动力学和空气动力学模型,除了一个级联的PID控制器的位置和速度跟踪。我们采用递归神经网络(RNN)来近似的非线性求解器,这遭受高计算复杂性的行为。所提出的RNN具有可忽略的近似误差,并且可以实时实现(例如,50 Hz)。此外,RNN生成比非线性求解器更平滑的输出。我们提供了整个闭环系统的稳定性和鲁棒性的分析。仿真和实验结果也证明了该方法的有效性。
2021-04-05 cs.RO
Navigation and Control of Unconventional VTOL UAVs in Forward-Flight with Explicit Wind Velocity Estimation
针对非常规VTOL无人机前飞问题,提出基于IEKF的紧耦合风速与导航状态估计及SO(3)姿态控制分配方案,蒙特卡洛仿真验证了其鲁棒性。
2024-02-29 cs.RO
Data-Efficient Deep Reinforcement Learning for Attitude Control of Fixed-Wing UAVs: Field Experiments
SINTEF DIGITAL(SINTEF数字研究所);NTNU(挪威科技大学)
本文提出一种数据高效的深度强化学习方法用于固定翼无人机姿态控制,仅需三分钟飞行数据即可在仿真中训练并直接部署到真实无人机,性能与ArduPlane PID控制器相当,无需在线学习。
2023-04-19 cs.LG cs.RO cs.SY
Quaternion Feedback Based Autonomous Control of a Quadcopter UAV with Thrust Vectoring Rotors
University of Cincinnati(辛辛那提大学);Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校)
在本文中,我们提出了一个自主飞行控制器的四轴飞行器的推力矢量能力。这种无人机属于具有倾斜运动使能旋翼的多旋翼类别。由于车辆被认为是过度驱动的性质,动力学和控制分配必须仔细分析。此外,这种新型飞行器在大姿态机动时悬停的可能性要求无奇异性姿态控制。因此,四元数状态反馈被用来计算无人机电机的控制命令,同时避免了基于欧拉角的控制器所经历的万向节锁定条件。由于没有三角参数,四元数实现还降低了状态估计的总体复杂度。利用四轴飞行器的动力学模型和状态空间,设计了无人机的姿态控制器和控制分配。控制分配,特别是,通过线性化系统悬停条件。这种数学方法使得控制分配比现有方法更准确。姿态控制器的Lyapunov稳定性分析证明了全局稳定性。四元数反馈姿态控制器是由一个外部的位置控制器回路,产生转子倾斜和所需的四元数命令的系统。通过数值仿真对无人机跟踪姿态阶跃指令和跟踪航路点导航任务的性能进行了评估。
2020-06-28 cs.RO cs.SY eess.SY
Attitude- and Cruise Control of a VTOL Tiltwing UAV
IEEE
本文提出了一种过量驱动的垂直起降(VTOL)倾转翼无人机的数学建模、控制器设计和飞行测试方法,通过简化空气动力学和第一原理,建立了能够捕捉关键空气动力学效应的动态模型,包括螺旋桨滑流对机翼的影响和机翼后失速特性。通过优化如功率最优调平等方法解决了无人机的过量驱动问题,并开发了由低层姿态控制器和高层巡航控制器组成的控制系统,通过系统线性化和查找表确定飞行包线内调平的强非线性变化,通过广泛的飞行测试验证了控制系统在所有飞行阶段(悬停、过渡、巡航)的性能。
2019-05-04 cs.RO cs.SY eess.SY
Deep Reinforcement Learning Attitude Control of Fixed-Wing UAVs Using Proximal Policy Optimization
SINTEF Digital(挪威科技工业研究院数字研究所);Norwegian University of Science and Technology(挪威科技大学)
与有经验的人类飞行员相比,用于无人机(UAV)的当代自动驾驶系统在其飞行包线中受到更多限制,从而限制了UAV可以操作的条件以及它们可以自主完成的任务类型。提出了一种深度强化学习(DRL)控制器来处理非线性姿态控制问题,使固定翼无人机能够扩展飞行包线。开发了一种使用近端策略优化(PPO)算法的概念验证控制器,并证明该控制器能够将固定翼无人机从一组初始条件稳定到参考滚转、俯仰和空速值。概述了训练过程,并考虑了其进展速度的关键因素,发现最重要的因素是限制观察向量中变量的数量,并包括这些变量的几个先前时间步长的值。训练的强化学习(RL)控制器相比,比例积分微分(PID)控制器,并发现收敛在更多的情况下比PID控制器,具有可比的性能。此外,RL控制器的推广以及看不见的干扰的形式,风和湍流,即使在严重的干扰条件。
2019-11-13 cs.RO cs.SY eess.SY
Autonomous UAV Navigation Using Reinforcement Learning
University of Nevada, Reno(内华达大学雷诺分校)
无人飞行器(UAV)通常用于未知环境中的任务,其中环境的精确数学模型可能不可用。本文提供了一个框架,使用强化学习,让无人机在这样的环境中成功地导航。我们进行了模拟和实际实现,以展示无人机如何成功地学习在未知环境中导航。最后,讨论了将强化学习算法应用于无人机系统和无人机飞行控制的技术问题。这将使具有学习能力的无人机能够在更重要的应用中继续进行研究,例如野火监测或搜索和救援任务。
2018-01-16 cs.RO
Decision Transformer for UAV-Mounted RIS-Assisted Dynamic D2D Communications
Jiangsu Second Normal University(江苏第二师范学院)
本文提出用决策Transformer优化无人机轨迹、姿态与RIS相位,在动态D2D通信中最大化平均总速率,实现跨场景零样本迁移并优于直接DRL。
2026-09-10 cs.AI cs.RO
ASTER: Attitude-aware Suspended-payload Quadrotor Traversal via Efficient Reinforcement Learning
ASTER通过高效强化学习实现缆悬系统自主倒飞,利用混合动力学指导的状态初始化策略提升姿态控制与轨迹敏捷性。
2026-03-11 cs.RO
A Ducted Fan UAV for Safe Aerial Grabbing and Transfer of Multiple Loads Using Electromagnets
South China University of Technology(华南理工大学)
本文提出一种机身外部安装电磁铁的共轴涵道风扇无人机,无需复杂附加执行器即可安全抓取和转移多个负载,并实现人机空中直接交接,通过ADRC控制器抑制扰动,飞行试验验证了其有效性。
2024-09-24 cs.RO
MPS: A New Method for Selecting the Stable Closed-Loop Equilibrium Attitude-Error Quaternion of a UAV During Flight
Washington State University (WSU)(华盛顿州立大学);University of Southern California (USC)(南加州大学)
提出模型预测选择(MPS)方法,通过动态切换控制律符号项最小化偏航成本,实时选择无人机稳定闭环平衡姿态误差四元数,百次飞行实验表明其性能指标较基准控制器平均降低60.30%。
2024-09-14 cs.RO cs.SY eess.SY
WaveLander: A Generalizable Hierarchical Control Framework for UAV Landing on Wave-Disturbed Platforms via Reinforcement Learning
提出WaveLander分层强化学习框架,将垂直着陆决策与低层飞行稳定解耦,通过策略映射平台相对观测为标量垂直速度参考,实现鲁棒着陆并泛化到未知扰动。
2026-07-03 cs.RO
Multitask Reinforcement Learning for Quadcopter Attitude Stabilization and Tracking using Graph Policy
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Stuttgart(斯图加特大学);Instituto Superior Técnico(高等技术学院)
本文提出一种基于图卷积网络和IsaacGym并行仿真的多任务SAC强化学习框架,统一解决四旋翼姿态跟踪与激进稳定问题,并在Pixhawk上实现400 Hz实时控制。
2025-03-11 cs.RO
Modeling and Robust Attitude Controller Design for a Small Size Helicopter
The State Key Laboratory of High Performance Complex Manufacturing, Central South University(中南大学高性能复杂制造国家重点实验室);Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
介绍了一种小型无人机控制器的设计与应用。本文主要研究小型直升机的建模和姿态控制器设计问题。基于非简化的直升机模型,结合非线性控制方法和无模型方法,提出了一种新的鲁棒姿态控制律。在真实直升机平台上进行了阵风和地面效应两种情况下的实验,实验结果表明了所提出的控制算法的有效性和所得到的控制器的鲁棒性。
2018-12-20 cs.RO
Reinforcement Learning Based Prediction of PID Controller Gains for Quadrotor UAVs
本文提出基于DDPG强化学习的四旋翼PID控制器增益在线微调方法,通过离线训练与仿真实验验证,相比手动调谐显著减小姿态误差并提升轨迹跟踪性能。
2025-02-06 cs.RO cs.SY eess.SY
OptiRoute: A Heuristic-assisted Deep Reinforcement Learning Framework for UAV-UGV Collaborative Route Planning
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出OptiRoute框架,利用强化学习优化无人机-无人地面车协同路径中的充电地点选择,并结合约束规划生成路径,实验表明其优于遗传算法基线,可减少任务时间、空闲时间与能耗。
2023-09-18 cs.RO
An improved nonlinear FastEuler AHRS estimation based on the SVDCKF algorithm
Northwestern Polytechnical University(西北工业大学)
提出了一种基于改进的非线性FastEuler航姿系统(AHRS)估计模型的奇异值分解立方卡尔曼滤波器(SVDCKF)融合算法。本文的贡献在于推导了低成本的IMU/MAG组合航姿系统模型,并结合四元数姿态确定方法,利用FastEuler算法对陀螺姿态更新进行修正,提高了解算的实时性。此外,SVDCKF算法融合了各种原始传感器数据,与CKF算法相比,提高了滤波精度。仿真和实验结果表明,在低动态和高动态飞行条件下,该算法与CKF算法相比具有更高的姿态解算精度。
2020-02-18 cs.RO
PyFlyt -- UAV Simulation Environments for Reinforcement Learning Research
Coventry University(考文垂大学);University of Leicester(莱斯特大学)
本文提出PyFlyt,一个基于Bullet物理引擎并支持Gymnasium API的无人机仿真平台,填补了强化学习在无人机领域缺乏标准化测试库的空白,并验证了其在四旋翼和固定翼控制中的有效性。
2023-04-03 cs.RO
Deep Reinforcement Learning based Local Planner for UAV Obstacle Avoidance using Demonstration Data
Northwestern Polytechnical University(西北工业大学);Cranfield University(克兰菲尔德大学);City, University of London(伦敦大学城市学院)
针对未知环境下无人机导航问题,提出了一种深度强化学习(DRL)方法。然而,DRL算法受到数据效率问题的限制,因为它们通常需要大量的数据才能达到合理的性能。为了加快DRL训练过程,我们开发了一种新的学习框架,它结合了模仿学习和强化学习,并建立在双延迟DDPG(TD3)算法。我们新引入的策略和Q值网络都是在仿真阶段通过专家演示学习的。为了解决从模仿到强化学习的分布失配问题,在开始与环境交互时,采用TD误差和衰减模仿损失来更新预训练网络。所提出的算法的性能证明了具有挑战性的三维无人机导航问题,使用深度相机和素描在各种仿真环境。
2020-08-06 cs.RO
Model-Free versus Model-Based Reinforcement Learning for Fixed-Wing UAV Attitude Control Under Varying Wind Conditions
ONERA(法国航空航天研究院);Université Paris-Saclay(巴黎萨克雷大学);AKKODIS Research(AKKODIS研究公司)
本文以PID为基准,比较了无模型和基于模型的强化学习在固定翼无人机姿态控制中的性能,发现Temporal Difference Model Predictive Control在跟踪精度和鲁棒性上表现更优,并引入致动波动指标评估能效与执行器磨损。
2024-09-26 cs.LG cs.RO cs.SY
Prediction-Informed Landing Window Planning for UAV Landing on USV in High Sea States
针对高海况下无人机在无人水面艇自主着陆难的问题,提出预测辅助分层控制框架,通过预训练模型显式预测USV姿态优化着陆窗口选择,经虚实验证实验证实其可行性。
2026-10-12 cs.LG cs.RO
Robust Reinforcement Learning Algorithm for Vision-based Ship Landing of UAVs
Texas A&M University(得克萨斯农工大学)
研究了一种具有垂直起降能力的无人机自主着舰算法,该算法仅使用无人机中的单目摄像机进行跟踪和定位。船舶着舰是一项具有挑战性的任务,由于小的着陆空间,六个自由度的船舶甲板运动,有限的视觉参考定位,以及恶劣的环境条件,如阵风。我们首先开发了一种计算机视觉算法,该算法使用来自无人机上的单目视觉相机的图像流来估计无人机相对于着陆平台上的水平基准杆的相对位置。我们的方法是由海军直升机飞行员跟踪地平线参考栏作为视觉提示的实际船舶着陆程序的动机。然后,我们开发了一个强大的强化学习(RL)算法,用于控制无人机对着陆平台,即使在恶劣的环境条件下,如阵风。我们证明了我们的算法相比,一个基准的非线性PID控制方法的优越性能,无论是在模拟实验中使用的露台环境和在现实世界中的设置使用鹦鹉ANAFI四旋翼和亚尺度船舶平台进行6自由度(DOF)甲板运动。
2022-09-17 cs.RO
Swashplateless-elevon Actuation for a Dual-rotor Tail-sitter VTOL UAV
The University of Hong Kong(香港大学);Sun Yat-sen University(中山大学)
针对双旋翼尾座式VTOL无人机,论文提出无倾斜盘升降副翼作动SEA,通过电机调速控俯仰、升降副翼专控偏航,实验证明其抗扰、近地起飞及固定翼飞行表现优于CEA。
2023-09-24 cs.RO
Olympus: A Jumping Quadruped for Planetary Exploration Utilizing Reinforcement Learning for In-Flight Attitude Control
NTNU(挪威科技大学);Autonomous Robots Lab(自主机器人实验室)
本文介绍了专为火星重力设计的跳跃腿式机器人Olympus,通过仿真优化其设计以实现高效跳跃,并利用强化学习策略实现飞行中姿态控制,成功跨越仿真到现实鸿沟完成实验验证。
2025-03-05 cs.LG cs.RO
Quaternion-based Adaptive Backstepping Fast Terminal Sliding Mode Control for Quadrotor UAVs with Finite Time Convergence
Carleton University(卡尔顿大学)
本文针对四旋翼无人机轨迹跟踪中的奇异性与不确定性问题,提出基于四元数的自适应反步控制和自适应快速终端滑模控制方法,实现有限时间收敛并抑制控制抖振。
2024-07-31 cs.RO cs.SY eess.SY
Multi-Agent Reinforcement Learning for Autonomous UAV Exploration in Wildfire Response
本研究提出深度强化学习框架训练无人机智能体在模拟野火环境中导航监测,实验显示其行为稳定有效,凸显DRL无人机系统在自主野火监测中的潜力。
2026-09-10 cs.LG cs.RO
UAV Obstacle Avoidance by Human-in-the-Loop Reinforcement in Arbitrary 3D Environment
Chang’an University(长安大学);Xi’an Jiaotong University(西安交通大学)
本文提出一种结合人在回路的深度强化学习方法,通过动态调整奖励函数实现无人机在任意三维复杂环境中的自动避障,并在城市、乡村和森林场景中验证了其能缩短训练收敛时间、提升导航效率与准确性。
2023-04-07 cs.AI cs.RO
Autonomous Decision Making for UAV Cooperative Pursuit-Evasion Game with Reinforcement Learning
本文提出基于深度强化学习的多无人机协同追逃博弈决策模型,采用多环境异步双深度Q网络与优先级经验回放算法,通过角色与目标分配提升协作能力,仿真验证了自主决策与协作性能。
2024-11-05 cs.AI cs.MA cs.RO
Multi-UAV Conflict Resolution with Graph Convolutional Reinforcement Learning
Autonomous University of Barcelona(巴塞罗那自治大学)
安全是空中交通的首要问题。无人机(UAV)之间的飞行安全是通过成对的分离最小值,利用冲突检测和解决方法来确保的。现有的方法主要处理成对冲突,然而由于交通密度的预期增加,可能会发生与两个以上的UAV的遭遇。在本文中,我们模型的多无人机冲突解决多智能体强化学习问题。我们实现了一个基于图神经网络的算法,合作代理可以进行通信,共同产生决议演习。该模型进行评估的情况下,3和4本代理。结果表明,智能体能够成功地解决多无人机冲突,通过合作的策略。
2021-11-29 cs.LG cs.MA cs.RO
Autonomous Unmanned Aerial Vehicle Navigation using Reinforcement Learning: A Systematic Review
Western University(韦仕敦大学)
在不同的应用中,例如包裹递送、交通监控、搜索和救援行动以及军事战斗中,对使用无人驾驶飞行器(UAV)(被称为无人机)的需求越来越大。在所有这些应用中,无人机都用于自主导航环境-无需人工干预,执行特定任务并避开障碍物。无人机自主导航通常使用强化学习(RL)来实现,其中代理作为某个领域的专家来导航环境,同时避开障碍物。了解导航环境和算法的局限性在选择合适的RL算法有效地解决导航问题中起着至关重要的作用。因此,本研究首先确定了主要的无人机导航任务,并讨论了导航框架和仿真软件。然后,根据无人机导航问题的环境、算法特点、能力和应用,对强化学习算法进行了分类和讨论,为实践者和研究者选择适合无人机导航应用的强化学习算法提供参考。此外,已确定的差距和机会将推动无人机导航研究。
2022-08-25 cs.AI cs.RO
UAV Target Tracking in Urban Environments Using Deep Reinforcement Learning
IIIT-Delhi(印度德里信息技术学院);Indian Institute of Science Education and Research, Bhopal(印度博帕尔科学教育与研究学院)
在城市环境中,由于视野有限、障碍物的遮挡以及目标运动的不确定性,无人机对目标的持续跟踪是一项困难的任务。车辆需要在3D中进行智能规划,以便最大限度地提高目标可见性。在本文中,我们介绍了目标跟踪DQN(TF-DQN),一种基于深度Q网络的深度强化学习技术,具有课程训练框架,用于无人机在存在障碍物和目标运动不确定性的情况下持续跟踪目标。该算法进行了评估,通过几个模拟实验定性以及定量。结果表明,无人机在不同的环境中持续跟踪目标,同时避开训练环境和不可见环境中的障碍物。
2020-07-21 cs.RO cs.SY eess.SY
Observer-based Controller for VTOL-UAVs Tracking using Direct Vision-Aided Inertial Navigation Measurements
Carleton University(卡尔顿大学);The Hong Kong Polytechnic University(香港理工大学);University of Szeged(塞格德大学)
本研究提出一种基于观测器的VTOL-UAV控制器,可直接利用VA-INS测量值实现6 DoF轨迹跟踪,省去姿态位置重建,计算效率更高,闭环误差指数稳定,适用于GPS不可用环境,且提供了离散版本并完成测试。
2023-08-25 cs.RO cs.SY eess.SY
Memory-based Deep Reinforcement Learning for Obstacle Avoidance in UAV with Limited Environment Knowledge
Indian Institute of Science(印度科学学院)
本文介绍了我们的方法,使无人机四旋翼,配备了单目摄像机,自主避免碰撞与障碍物在非结构化和未知的室内环境。当与地面车辆机器人中的避障相比时,UAV导航带来了额外的挑战,因为UAV运动不再限于明确的室内地面或街道环境。室内和室外环境中的水平结构,如装饰品、家具、吊扇、招牌、树枝等,也成为与地面车辆机器人不同的相关障碍。因此,为地面机器人开发的避障方法显然不适用于无人机导航。目前的无人机单目图像避障控制方法严重依赖于环境信息。这些控制器不能完全保留和利用关于周围环境的广泛可用的信息来进行决策。我们提出了一种基于深度强化学习的无人机避障(OA)和自主探索方法,该方法能够做到完全相同。在我们的方法中的关键思想是部分可观测性的概念,以及无人机如何能够保留有关环境结构的相关信息,以做出更好的未来导航决策。我们的OA技术使用具有时间注意力的递归神经网络,并在导航过程中没有碰撞的距离方面提供了比以前更好的结果。此外,我们的技术具有很高的推理率(机器人应用中的一个关键因素),并且是节能的,因为它最大限度地减少了无人机的振荡运动,减少了功率浪费。
2018-11-08 cs.LG cs.RO
Autonomous UAV Navigation: A DDPG-based Deep Reinforcement Learning Approach
Stevens Institute of Technology(斯蒂文斯理工学院);University of Carthage(迦太基大学)
在本文中,我们提出了一个自主无人机路径规划框架,使用深度强化学习方法。其目标是采用一个自我训练的无人机作为一个飞行的移动单元,以达到空间分布的移动或静态目标在一个给定的三维城市区域。在该方法中,设计了一个具有连续动作空间的深度确定性策略梯度(DDPG)来训练无人机穿越障碍物到达指定目标。设计了一个自定义的奖励函数,以最小化无人机与其目的地之间的距离,同时惩罚碰撞。数值模拟研究了无人机在学习环境和自主确定不同选定场景的轨迹方面的行为。
2020-03-21 cs.AI cs.LG cs.RO
Adaptive Backstepping and Non-singular Sliding Mode Control for Quadrotor UAVs with Unknown Time-varying Uncertainties
Carleton University(卡尔顿大学)
针对四旋翼无人机位置姿态跟踪的奇异性与精度难题,提出级联的基于四元数的自适应反步控制与非奇异滑模控制方案,通过自适应律更新参数,保证渐近稳定性,在未知时变不确定性和大初始误差下仍具良好控制效果。
2024-07-13 cs.RO cs.SY eess.SY
Motion Planning by Reinforcement Learning for an Unmanned Aerial Vehicle in Virtual Open Space with Static Obstacles
School of Integrated Technology, Yonsei University(延世大学整合技术学院);Electronics and Telecommunications Research Institute(电子通信研究院)
在这项研究中,我们应用强化学习的邻近策略优化算法的基础上执行运动规划的无人机(UAV)在开放空间与静态障碍。强化学习在真实无人机中的应用存在时间和成本等限制,因此,我们使用Gazebo模拟器在虚拟环境中对虚拟四旋翼无人机进行训练。随着强化学习的进行,模型的平均奖励和目标率增加。此外,训练模型的测试表明,无人机达到了81%的目标率使用简单的奖励函数在这项工作中建议。
2020-09-24 cs.LG cs.RO
Flight Control of Sliding Arm Quadcopter with Dynamic Structural Parameters
University of Cincinnati(辛辛那提大学)
介绍了一种新型四轴飞行器的概念设计和飞行控制器设计。该设计能够在飞行过程中变形无人机的形状,以实现位置和姿态控制。我们考虑的动态重心(CoG),导致连续变化的惯性矩(MoI)参数的无人机在这个设计。这些动态结构参数对系统的稳定性和控制起着至关重要的作用。四轴飞行器臂长是一个可变参数,采用基于姿态反馈的控制律进行驱动。实时计算MoI参数,并将其纳入系统的运动方程中。无人机利用螺旋桨的角运动和可变的四轴飞行器臂长进行定位和导航控制。CoG的运动空间是一个设计参数,它受致动器限制和系统稳定性要求的约束。详细介绍了该系统的运动方程、飞行控制器设计和可能的应用。此外,建议的形状变化的无人机系统的航路点导航任务和复杂的轨迹跟踪的比较数值模拟进行评估。
2020-04-27 cs.RO cs.SY eess.SY
Reinforcement Learning for Autonomous Point-to-Point UAV Navigation
University of Lagos(拉各斯大学);Iowa State University(爱荷华州立大学)
本项目开发了一种强化学习方法,使无人机能在无人工干预下自主进行点对点导航,通过试错学习导航策略,并在真实平台上验证了其可行性与低人工监督需求。
2025-09-17 cs.RO cs.SY eess.SY
Reinforcement Learning-Based Monocular Vision Approach for Autonomous UAV Landing
Software Project Management Research Team, ENSIAS, University Mohammed V(穆罕默德五世大学ENSIAS软件项目管理研究团队)
针对无人机自主着陆依赖复杂深度传感器的问题,提出仅用前置单目相机并结合强化学习估计高度与深度的方法,经仿真和实验验证可实现鲁棒精确着陆。
2025-05-11 cs.AI cs.CV cs.RO
A Lyapunov-Based Switching Scheme for Selecting the Stable Closed-Loop Fixed Attitude-Error Quaternion During Flight
Washington State University(华盛顿州立大学);California Institute of Technology(加州理工学院);School of Mechanical and Materials Engineering, Washington State University(华盛顿州立大学机械与材料工程学院)
本文提出一种基于李雅普诺夫函数的切换控制方案,通过实时选择最小代价的稳定闭环姿态误差四元数,在31克四旋翼飞行实验中显著降低了控制代价和旋转功率。
2024-10-21 cs.RO cs.SY eess.SY
Cooperative Multi-Agent Deep Reinforcement Learning for Reliable Surveillance via Autonomous Multi-UAV Control
Korea University(高丽大学);Mofl Inc.(Mofl公司);Hallym University(翰林大学);University of Central Florida(中佛罗里达大学);Ajou University(亚洲大学)
使用无人机(UAV)进行基于CCTV的监控被认为是智能城市环境中安全的关键技术。本文创建了一个案例,其中的无人机与闭路电视摄像机飞越城市地区的灵活和可靠的监视服务。无人机的部署应覆盖大面积,同时尽量减少重叠和阴影区域,以建立可靠的监视系统。然而,无人机的操作受到高度不确定性的影响,需要自主回收系统。这项工作开发了一种基于多智能体深度强化学习的管理方案,用于智能城市应用中的可靠行业监控。本文采用的核心思想是自主补充无人机的通信不足的网络需求。通过密集的模拟,我们提出的算法优于国家的最先进的算法在监视覆盖范围,用户支持能力和计算成本。
2022-01-15 cs.AI cs.LG cs.RO
A Vision Based Deep Reinforcement Learning Algorithm for UAV Obstacle Avoidance
Iowa State University(爱荷华州立大学)
近年来,将强化学习与无人机(UAV)集成以实现自主飞行一直是一个活跃的研究领域。一个重要的部分集中在障碍物检测和避免无人机导航通过的环境。在看不见的环境中进行探索可以通过深度Q网络(DQN)来解决。然而,使用统一的动作采样进行价值探索可能会导致冗余状态,其中通常环境固有地承担稀疏的奖励。为了解决这个问题,我们提出了两种技术来改善无人机避障探测。第一种是基于收敛的方法,该方法使用收敛误差来遍历未探索的动作,并使用时间阈值来平衡探索和利用。第二种是使用域网络的基于指导的方法,该域网络使用高斯混合分布将先前看到的状态与预测的下一个状态进行比较,以选择下一个动作。这些方法的性能和评估在多个3-D仿真环境中实现,复杂性的变化。所提出的方法证明了一个两倍的平均奖励相比,最先进的改进。
2021-03-11 cs.AI cs.CV cs.RO
Predictor-Based Time Delay Control of A Hex-Jet Unmanned Aerial Vehicle
School of Intelligent Systems Engineering, Sun Yat-sen University(中山大学智能工程学院);State Key Laboratory of Robotics and Systems, Harbin Institute of Technology(哈尔滨工业大学机器人与系统国家重点实验室)
本文提出 Hex-Jet 涡轮喷气动力无人飞行器平台,融合推力矢量与差动推力简化姿态控制,并采用基于频域模型的预测器时延控制方法缓解涡轮喷气动态引起的滚转时延,飞行测试验证了其有效性。
2025-03-12 cs.RO cs.SY eess.SY
Deep Reinforcement Learning-based UAV Navigation and Control: A Soft Actor-Critic with Hindsight Experience Replay Approach
Research Institute of Electrical and Computer Engineering, Hanyang University(汉阳大学电气与计算机工程研究所);Hanyang University(汉阳大学)
在本文中,我们提出了SACHER(具有后见之明经验重放(HER)的软演员-评论家(SAC)),它构成了一类深度强化学习(DRL)算法。SAC是一种基于最大熵框架的非策略无模型DRL算法,在探索性、鲁棒性和学习性能方面优于早期的DRL算法。然而,在SAC中,最大化熵增强目标可能会降低学习结果的最优性。HER被称为样本高效重放方法,其通过允许代理从失败和成功中学习来增强非策略DRL算法的性能。我们将HER应用于SAC,并提出SACHER来提高SAC的学习性能。更确切地说,SACHER比SAC更快、更准确地实现了所需的最佳结果,因为HER提高了SAC的采样效率。我们应用SACHER无人机(UAV)的导航和控制问题,其中SACHER生成的无人机在各种障碍物的操作下的最优导航路径。具体来说,我们显示SACHER的跟踪误差和累积奖励在无人机操作方面的有效性,通过比较它们与那些国家的最先进的DRL算法,SAC和DDPG。注意,无人机导航和控制问题中的SACHER可以应用于无人机的任意模型。
2021-06-05 cs.LG cs.RO cs.SY
Fault Tolerant Control of Multirotor UAV for Piloted Outdoor Flights
Intel GmbH(英特尔股份公司)
针对多旋翼无人机执行机构损坏的情况,提出了一种基于虚拟控制集(AVCS)的多旋翼平台容错控制体系结构。研究了多旋翼无人机在舵机故障后的主动控制系统,并对影响其可控性的参数进行了辨识。基于对可控性的研究,提出了对FTC的要求。实施的控制解决方案将在四旋翼英特尔Shooting Star无人机平台上进行测试,仅使用机载传感器进行室内和室外飞行。姿态控制方案采用简化姿态控制,控制分配采用基于伪逆的模型逆和顺序去饱和,以确保倾斜优先。该模型是确定与离线普通最小二乘法例程,随后更新的递归最小二乘法。实施离线校准例程以校正IMU距旋转中心的偏移距离,以校正由四旋翼中故障后的高速自旋引起的加速度计偏置。
2020-11-01 cs.RO
Reinforcement Learning Compensated Extended Kalman Filter for Attitude Estimation
Delft University of Technology(代尔夫特理工大学);University of Essex(埃塞克斯大学);Sun Yat-Sen University(中山大学)
惯性测量组合被广泛应用于各个领域,用于姿态估计。许多算法已经被提出来改善估计性能。然而,它们中的大多数仍然遭受1)不准确的初始估计,2)不准确的初始滤波器增益,以及3)非高斯过程和/或测量噪声。在本文中,我们利用强化学习来补偿经典的扩展卡尔曼滤波器估计,即,以从传感器测量中学习滤波器增益。并分析了估计误差的收敛性。仿真数据和实际数据均验证了算法的有效性。
2021-07-27 cs.RO
Imperative MPC: An End-to-End Self-Supervised Learning with Differentiable MPC for UAV Attitude Control
Carnegie Mellon University(卡内基梅隆大学);Pennsylvania State University(宾夕法尼亚州立大学)
针对无人机姿态控制,提出结合惯性里程计和可微模型预测控制的自监督端到端框架,通过双层优化协同提升IMU预测与MPC参数学习,在强风下表现有效。
2025-04-29 cs.RO cs.SY eess.SY
Vision-based Distributed Multi-UAV Collision Avoidance via Deep Reinforcement Learning for Navigation
Shantou University(汕头大学)
多无人机系统的在线路径规划是一个具有挑战性的课题。它需要确保实时的无碰撞路径规划,特别是当多无人机系统在某些场合可能变得非常拥挤时。提出了一种基于视觉的多无人机分散避碰策略,该策略以深度图像和惯性测量值作为感知输入,输出无人机的操纵指令。在多无人机三维场景中,使用基于策略梯度的强化学习算法和自动编码器,将策略与深度图像的潜在表示一起训练。每个无人机遵循相同的训练策略,独立行动以达到目标,而不会与其他无人机发生碰撞或通信。我们验证我们的政策在各种模拟场景。实验结果表明,该方法能够保证多无人机在三维空间中实现完全自主的无碰撞导航,具有良好的鲁棒性和可扩展性。
2022-03-05 cs.RO
Sim-to-Real Deep Reinforcement Learning based Obstacle Avoidance for UAVs under Measurement Uncertainty
IIIT Hyderabad(海得拉巴国际信息技术学院)
深度强化学习正迅速成为训练自主无人机(UAV)的流行方法。本文分析了测量不确定性对基于深度强化学习(DRL)的无人机航路点导航和避障性能的影响。测量不确定性源于用于定位和检测障碍物的传感器中的噪声。测量不确定度/噪声被认为遵循具有未知非零均值和方差的高斯概率分布。我们评估的DRL代理训练使用的近端策略优化(PPO)算法在连续的状态和动作空间的环境中的性能。在存在不同程度的噪声的情况下,对于每个模拟事件,环境被随机化为具有不同数量的障碍物,以捕获现实传感器测量的影响。去噪技术,如低通滤波器和卡尔曼滤波器,在存在无偏噪声的情况下提高了性能。此外,我们表明,在评估过程中人为地将噪声注入到测量中实际上提高了某些情况下的性能。在PyBullet物理模拟器中,在各种UAV导航场景下对DRL代理进行了广泛的训练和测试。为了评估我们的方法的实际有效性,我们在仿真中训练的政策移植到一个真正的无人机上,没有任何进一步的修改,并在现实世界的环境中验证结果。
2023-03-13 cs.RO
Multi-UAV Adaptive Path Planning Using Deep Reinforcement Learning
University of Bonn(波恩大学)
有效的航空数据汇集在许多遥感应用中是重要的。在大规模监测场景中,部署一组无人驾驶飞行器(UAV)可以提高空间覆盖范围和对个别故障的鲁棒性。然而,一个关键的挑战是无人机的合作路径规划,以有效地实现联合任务的目标。提出了一种新的基于深度强化学习的多智能体信息路径规划方法,用于无人机团队自适应地形监测场景。我们引入了新的网络特征表示,以有效地学习在3D工作空间中的路径规划。通过利用反事实基线,我们的方法明确地解决了信用分配学习合作行为。我们的实验评估表明,改进的规划性能,即更快地映射感兴趣的区域,相对于非反事实的变体。合成和现实世界的数据的结果表明,我们的方法具有优越的性能相比,最先进的非学习为基础的方法,同时可转移到不同的团队规模和沟通的限制。
2023-03-02 cs.RO
EasyUUV: An LLM-Enhanced Universal and Lightweight Sim-to-Real Reinforcement Learning Framework for UUV Attitude Control
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学);Department of Mechanical Engineering, The University of Hong Kong(香港大学机械工程系);Department of Data and Systems Engineering, The University of Hong Kong(香港大学数据与系统工程系);School of Civil Engineering, Southwest Jiaotong University(西南交通大学土木工程学院);School of Information and Software Engineering, University of Electronic Science and Technology of China(电子科技大学信息与软件工程学院);Department of Data Science, New Jersey Institute of Technology(新泽西理工学院数据科学系);Ocean College, Zhejiang University(浙江大学海洋学院)
提出EasyUUV框架,结合并行强化学习与混合控制架构,并集成多模态大语言模型自适应调整参数,实现UUV姿态控制的鲁棒性和泛化性,经仿真与实船验证。
2026-06-23 cs.RO
Intelligent Control of Spacecraft Reaction Wheel Attitude Using Deep Reinforcement Learning
Swinburne University of Technology(斯winburne大学);University of South Australia(南澳大利亚大学);Systems Research Institute Polish Academy of Sciences(波兰科学院系统研究所)
本研究提出TD3-HD深度强化学习控制策略,通过结合TD3、HER和DWC提升卫星反作用轮故障下的容错性与适应性,实验证明其姿态误差更低、稳定性更强。
2025-07-11 cs.AI cs.RO
Towards Low-Gravity Planetary Exploration using Reinforcement Learning for Walking, Jumping, and In-flight Attitude Control
Autonomous Robots Lab(自主机器人实验室);NTNU(挪威特罗姆瑟大学)
本文利用强化学习为四足机器人在火星低重力环境下开发行走、垂直跳跃、前向跳跃及飞行姿态控制策略,实现跨越障碍物并安全着陆,仿真与实验验证了策略的有效性。
2026-05-23 cs.RO cs.SY eess.SY
Reinforcement Learning with Formal Performance Metrics for Quadcopter Attitude Control under Non-nominal Contexts
Uber ATCP(优步ATCP);LIX(LIX实验室);Ecole polytechnique(巴黎综合理工学院);CNRS(法国国家科学研究中心);IP-Paris(巴黎理工学院)
我们探讨了强化学习的方法来设计控制器,广泛讨论的情况下,四轴飞行器的姿态控制器。我们提供了所有的细节,允许重现我们的方法,从一个模型的动态crazyflie 2.0在各种标称和非标称条件下,包括部分电机故障和阵风。我们开发了一个强大的形式的信号时序逻辑定量评估车辆的行为和衡量控制器的性能。本文详细描述了在训练算法、神经网络结构、超参数、观测空间等方面的选择。我们讨论了所获得的控制器的鲁棒性,无论是部分损失的一个转子的功率和阵风,并通过强化学习的实际控制器的设计得出结论。
2021-07-27 cs.AI cs.LG cs.RO