Using reinforcement learning to improve drone-based inference of greenhouse gas fluxes
University of Oslo（奥斯陆大学）；dScience - Centre for Computational and Data Science, University of Oslo（奥斯陆大学dScience计算与数据科学中心）
本研究提出一个结合数据同化和强化学习的无人机表面通量估计框架，通过优化采样策略，使无人机能比预定义路径更准确地量化CO2热点，且基于信息的奖励函数无需真实通量即可达到与基于误差的奖励函数相当的性能。
2024-01-08 cs.LG cs.RO physics.ao-ph
Energy-Aware Multi-Agent Reinforcement Learning for Collaborative Execution in Mission-Oriented Drone Networks
Colby College（科尔比学院）；Columbia University（哥伦比亚大学）
针对任务型无人机网络协同执行的能量与轨迹设计挑战，提出基于多智能体强化学习的协同执行模型，以电池电量驱动设计，实现高任务成功率。
2024-10-29 cs.AI cs.LG cs.MA
Scheduling Drone and Mobile Charger via Hybrid-Action Deep Reinforcement Learning
Beijing Forestry University（北京林业大学）；Engineering Research Center for Forestry-oriented Intelligent Information Processing, National Forestry and Grassland Administration（国家林业和草原局林业智能信息处理工程研究中心）
针对无人机与移动充电器的调度问题，提出混合动作深度强化学习框架HaDMC，通过动作解码器和相互学习实现高效协作，实验验证其有效性。
2024-03-16 cs.AI cs.LG cs.RO
Dashing for the Golden Snitch: Multi-Drone Time-Optimal Motion Planning with Multi-Agent Reinforcement Learning
College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院）；Zhejiang University of Technology（浙江工业大学）
本文提出一种基于多智能体强化学习的去中心化策略网络，结合软无碰撞机制与CTDE定制的PPO算法，实现了多无人机在复杂动态场景下的近时间最优飞行，并在真实实验中验证了其高速机动的有效性与轻量化部署能力。
2025-03-05 cs.LG cs.RO
Deep Reinforcement Learning for Time-Critical Wilderness Search And Rescue Using Drones
University of Glasgow（格拉斯哥大学）；School of Engineering（工程学院）；Aerospace Sciences Research Division（航空航天科学研究部）
本文提出利用深度强化学习结合先验概率分布图优化无人机荒野搜索路径，并通过cubature引入连续动作空间，实验显示其搜索效率比传统算法提升超过160%。
2024-05-22 cs.LG cs.RO cs.SY
Strategic Coordination of Drones via Short-term Distributed Optimization and Long-term Reinforcement Learning
School of Computer Science, University of Leeds（利兹大学计算机科学学院）
针对大规模动态环境中无人机群自主任务分配的NP难问题，提出融合长期DRL与短期集体学习的混合优化方法，解决现有方案适应性、复杂度等局限，实验性能提升显著，实现高效交通监控。
2025-11-12 cs.LG cs.MA cs.RO
SmartPathfinder: Pushing the Limits of Heuristic Solutions for Vehicle Routing Problem with Drones Using Reinforcement Learning
University of Memphis（孟菲斯大学）
针对带无人机车辆路径问题（VRPD）求解质量与计算耗时的挑战，本文提出新型强化学习框架与启发式核心组件无缝集成，建立通用结合原则，有效提升了求解质量与计算速度。
2024-04-13 cs.CY cs.LG
Dynamic Collaborative Multi-Agent Reinforcement Learning Communication for Autonomous Drone Reforestation
Aleph Alpha
我们采用协作式多智能体强化学习（MARL）设置来实现基于无人机的自主重新造林。代理可以作为动态变化的网络的一部分进行通信。我们在一个高影响力的问题背后探索协作和沟通。森林是控制二氧化碳上升的主要资源。不幸的是，全球森林体积正在以前所未有的速度减少。许多地区太大，很难穿越种植新的树木。为了有效地覆盖尽可能多的区域，在这里，我们提出了一个基于图神经网络（GNN）的通信机制，使合作。代理可以共享需要重新造林的区域的位置信息，这增加了查看的区域和种植的树木数量。我们比较我们提出的通信机制与多代理基线没有能力进行通信。结果表明，沟通如何实现协作，提高集体绩效，种植精度和个人代理的冒险倾向。
2022-11-14 cs.AI cs.LG cs.MA
A Deep Reinforcement Learning Approach for Solving the Traveling Salesman Problem with Drone
Suleyman Demirel University（苏莱曼·德米雷尔大学）；UNIST（蔚山科学技术院）；Korea University（高丽大学）；Amazon（亚马逊）；University of South Florida（南佛罗里达大学）
强化学习最近在许多组合最优化问题的学习质量解决方案中显示出了希望。特别是，基于注意力的编码器-解码器模型在各种路由问题上表现出很高的效率，包括流动推销员问题（TSP）。不幸的是，它们在TSP with Drone（TSP-D）中表现不佳，需要协调不同的车辆-卡车和无人机。在TSP-D中，两辆车一前一后地移动，并且可能需要在节点处等待另一辆车加入。基于注意力的无状态解码器无法在车辆之间进行这种协调。我们提出了一个混合模型，它使用注意编码器和长短期记忆（LSTM）网络解码器，其中解码器的隐藏状态可以表示所做的动作序列。我们的经验表明，这样的混合模型提高了一个纯粹的基于注意力的模型的解决方案的质量和计算效率。最小-最大容量限制车辆路径问题（mmCVRP）的实验结果也表明，混合模型比基于注意力的模型更适合于多车辆的协调路径问题。所提出的模型展示了与运筹学基线方法相当的结果。
2022-12-05 cs.AI cs.LG math.OC
Safe multi-agent motion planning under uncertainty for drones using filtered reinforcement learning
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Mitsubishi Electric Corporation（三菱电机株式会社）
本文提出一种结合强化学习与机会约束凸优化的多无人机运动规划方法，在不确定杂乱环境中以高概率保证安全避碰，且训练简单、可实时实施。
2023-10-31 cs.AI cs.LG cs.MA
NAVREN-RL: Learning to fly in real environment via end-to-end deep reinforcement learning using monocular images
Georgia Institute of Technology（佐治亚理工学院）
我们提出了NAVREN-RL，一种通过端到端强化学习RL在室内真实环境中导航无人机的方法。考虑到微型无人机的成本和重量约束，设计了一个合适的奖励函数，使传感器的数量最少。少量专家数据的收集和基于知识的数据聚合被集成到RL过程中，以帮助收敛。在Parrot AR无人机上进行了不同室内场景的实验，并将结果与其他基线技术进行了比较。我们展示了无人机如何成功地避开障碍物并在不同的领域导航。
2018-07-22 cs.CV cs.LG cs.RO
Guiding drones by information gain
University of Oslo（奥斯陆大学）
本研究针对无人机气体源定位问题，比较了短视的infotaxis与深度强化学习两种信息增益驱动采样策略，证明深度强化学习在非各向同性羽流环境中性能更优。
2024-01-08 cs.LG
An End-to-End Deep Reinforcement Learning Approach for Solving the Traveling Salesman Problem with Drones
School of Management Science and Real Estate, Chongqing University（重庆大学管理科学与房地产学院）；School of Management, Guizhou University（贵州大学管理学院）；Chongqing Changan Minsheng APLL Logistics Co., Ltd.（重庆长安民生APLL物流有限公司）；State Grid Chongqing Electric Power Company Material Branch（国网重庆市电力公司物资分公司）
本文提出一种端到端分层Actor-Critic深度强化学习框架，结合Transformer编码器与Minimal Gated Unit解码器，并引入优化的k近邻稀疏注意力机制，在TSP-D基准实例上以更短计算时间和更低训练成本取得优于启发式算法和现有强化学习方法的性能。
2025-11-07 cs.AI cs.LG
Canaries and Whistles: Resilient Drone Communication Networks with (or without) Deep Reinforcement Learning
The Alan Turing Institute（艾伦·图灵研究所）；Imperial College London（伦敦帝国理工学院）
针对供应链被入侵的无人机通信对抗场景，论文比较专家策略与多智能体深度强化学习，并通过观测设计、专家课程和奖励改进提出混合策略，显著提升网络弹性。
2023-12-08 cs.AI cs.CR cs.LG
Autonomous Navigation via Deep Reinforcement Learning for Resource Constraint Edge Nodes using Transfer Learning
Georgia Institute of Technology（佐治亚理工学院）
智能而敏捷的无人机正在云边缘迅速变得无处不在。这些无人机的使用受到其有限的功率和计算能力的限制。在本文中，我们提出了一种基于迁移学习（TL）的方法，以减少通过深度强化学习训练深度神经网络进行自主导航所需的机载计算，以获得目标算法性能。使用虚幻游戏引擎手动设计3D逼真元环境库，并对网络进行端到端训练。然后，这些经过训练的元权重在测试环境中用作网络的初始化器，并针对最后几个完全连接的层进行微调。无人机动力学和环境特性的变化进行了显示的方法的鲁棒性。使用NVIDIA GPU分析器，能耗和训练延迟分别减少了3.7倍和1.8倍，而在坠毁前平均行驶距离（即平均安全飞行（MSF））方面的性能没有显着下降。该方法还使用DJI Tello无人机在真实环境中进行了测试，并报告了类似的结果。
2019-10-12 cs.LG stat.ML
Deep Reinforcement Learning for Drone Route Optimization in Post-Disaster Road Assessment
School of Civil and Environmental Engineering, Nanyang Technological University（南洋理工大学土木与环境工程学院）；Department of Business Administration, National Taiwan University（台湾大学商业行政系）；School of Maritime Economics and Management, Dalian Maritime University（大连海事大学海运经济与管理学院）；The Key Laboratory of Road and Traffic Engineering of the Ministry of Education, Tongji University（同济大学交通工程教育部长期实验室）
本研究提出基于深度强化学习的AEDM模型，用于灾后道路评估中的无人机路线优化，显著提升解决方案质量和推理速度，适用于时间敏感的灾害响应场景。
2025-11-28 cs.LG
Reinforcement Learning for Delivery Drone-Based Participatory Sensing in Dynamic Environments
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Beijing Institute of Technology（北京理工大学）
研究动态环境中基于送货无人机的参与式传感问题，提出双时间尺度强化学习框架TSRL，该框架分宏观和微观两层协作决策，实验表明其显著优于基线，在杭州和上海分别提升系统利润20.1%和46.6%。
2026-09-23 cs.CY cs.LG
RAPID: Robust and Agile Planner Using Inverse Reinforcement Learning for Vision-Based Drone Navigation
本文提出基于逆强化学习的无人机高速视觉导航规划器，通过减少环境交互和提升鲁棒性，实现复杂环境中的敏捷飞行。
2025-11-19 cs.AI cs.CV cs.LG
Learning to Fly via Deep Model-Based Reinforcement Learning
Volkswagen Group, Machine Learning Research Lab（大众集团机器学习研究实验室）；Technical University of Darmstadt（达姆施塔特工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
在不需要工程模型的情况下学习控制机器人一直是一个长期目标，有望实现多样化和新颖的应用。然而，强化学习只取得了有限的影响，实时机器人控制，由于其高要求的现实世界的互动。在这项工作中，通过利用学习的概率模型的无人机动力学，我们学习的推力-姿态控制器的四旋翼通过基于模型的强化学习。没有先验知识的飞行动力学假设，相反，一个连续的潜变量模型，生成和作为一个在线过滤器，学习从原始的感官输入。控制器和价值函数的优化完全通过传播随机分析梯度通过生成的潜在轨迹。我们表明，“学习飞行”可以通过使用单个无人机不到30分钟的经验来实现，并且可以仅使用机载计算资源和传感器在自制无人机上进行部署。
2020-08-04 cs.AI cs.LG cs.RO
Reinforcement Twinning for Hybrid Control of Flapping-Wing Drones
Environmental and Applied Fluid Dynamics, von Karman Institute for Fluid Dynamics（环境与应用流体动力学，冯·卡门流体动力学研究所）；Department of Mechanical Engineering, Vrije Universiteit Brussel（机械工程系，自由大学布鲁塞尔）；Department of Electromechanical, Systems and Metal Engineering, Ghent University（机电系统与金属工程系，根特大学）；Aero-Thermo-Mechanics Laboratory, École Polytechnique de Bruxelles, Université Libre de Bruxelles（航空热力学力学实验室，布鲁塞尔理工学院，自由大学布鲁塞尔）；Experimental Aerodynamics and Propulsion Lab, Universidad Carlos III de Madrid（实验空气动力学与推进实验室，马德里卡洛斯三世大学）
提出一种混合无模型/基于模型的扑翼无人机控制方法，通过强化孪生算法结合强化学习与自适应数字孪生，利用迁移学习和策略裁判提升样本效率与控制鲁棒性。
2026-06-19 cs.LG cs.RO
A Scalable Decentralized Reinforcement Learning Framework for UAV Target Localization Using Recurrent PPO
University of Moratuwa（莫拉图瓦大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Nanyang Technological University（南洋理工大学）
针对感知退化环境下的无人机目标定位问题，提出基于Recurrent PPO的去中心化强化学习框架，支持单/双无人机模式，双机模式虽准确率略低但定位步数更少，为无人机集群目标定位提供了高效方案。
2024-12-09 cs.LG cs.RO
DSSE: a drone swarm search environment
Insper；Embraer
基于PettingZoo的多智能体强化学习环境，无人机通过动态概率输入搜索目标。
2026-05-27 cs.AI cs.LG cs.RO
Transformer-Guided Deep Reinforcement Learning for Optimal Takeoff Trajectory Design of an eVTOL Drone
Department of Mechanical and Aerospace Engineering（机械与航空航天工程系）；AIAA Student Member（AIAA学生会员）；AIAA member（AIAA会员）
针对eVTOL无人机最优起飞轨迹设计中传统方法受维度限制、普通DRL训练难的问题，提出Transformer引导的DRL方法，大幅提升训练效率与能耗优化准确率。
2025-11-18 cs.LG
Scaling up Energy-Aware Multi-Agent Reinforcement Learning for Mission-Oriented Drone Networks with Individual Reward
Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）；Department of Computer Science, Colby College（科尔比学院计算机科学系）
提出基于个体奖励函数的能量感知多智能体强化学习模型，利用深度Q网络解决无人机网络动态环境和电池容量限制下的轨迹规划问题，实验表明在任务密度高时成功率接近100%，且扩展性优于共享奖励模型。
2026-05-24 cs.AI cs.LG cs.MA
Machine Learning assisted Handover and Resource Management for Cellular Connected Drones
KTH Royal Institute of Technology（瑞典皇家理工学院）；Aalto University（阿尔托大学）
为无人机实现蜂窝连接带来了广泛的挑战和机遇。蜂窝连接的无人机的通信受到三维移动性和视线信道特性的影响，这导致随着高度的增加，更多的无人机。我们在空中和地面用户共存的小区规划模拟表明，无人机对基站的严重干扰是地面用户上行链路通信的主要挑战。在这里，我们首先通过考虑斯德哥尔摩的真实地理网络数据，提出了陆地和无人机通信共存的主要挑战。然后，我们推导出分析模型的关键性能指标（KPI），包括通信延迟和干扰蜂窝网络，并制定切换和无线资源管理（H-RRM）优化问题。之后，我们将这个问题转化为机器学习问题，并提出了一种深度强化学习解决方案来解决H-RRM问题。最后，使用仿真结果，我们提出了无人机的速度和高度，以及可容忍的干扰水平，塑造网络中的最佳H-RRM策略。特别是，在不同的无人机的高度/速度的切换决策的热图已经提出，这促进了传统的切换方案的修订，并重新定义在天空中的小区的边界。
2020-01-22 cs.LG eess.SP stat.ML
Knowledge Transfer in Deep Reinforcement Learning for Slice-Aware Mobility Robustness Optimization
Nokia Bell Labs（诺基亚贝尔实验室）；Technical University of Munich（慕尼黑工业大学）；Nokia Software（诺基亚软件部门）
自组织网络中的传统移动性鲁棒性优化（MRO）旨在通过优化小区特定的切换参数来提高切换性能。然而，这样的解决方案不能满足下一代网络的需求与网络切片，因为它只保证接收信号的强度，而不是每个切片的服务质量。为了提供真正无缝的移动服务，我们提出了一种基于深度强化学习的切片感知移动鲁棒性优化（SAMRO）方法，该方法通过优化切片特定的切换参数来提高切换性能，并确保切片服务。此外，为了允许安全和样本有效的在线训练，我们开发了一个两步迁移学习方案：1）正则化的离线强化学习，以及2）有效的在线微调与混合经验重放。系统级仿真结果表明，与传统的MRO算法相比，SAMRO算法在优化切换性能的同时，显著提高了切片感知服务的连续性。
2022-03-07 cs.AI cs.LG cs.NI
Meta-Reinforcement Learning for Trajectory Design in Wireless UAV Networks
Virginia Tech（弗吉尼亚理工大学）；Princeton University（普林斯顿大学）
研究了能量受限无人机在动态网络环境下的最优飞行轨迹设计问题。在所考虑的模型中，派遣无人机基站（DBS）为地面用户提供上行链路连接，其需求是动态的和不可预测的。在这种情况下，DBS的轨迹必须自适应地调整，以满足动态用户访问请求。为此，提出了一种元学习算法，以适应DBS的轨迹，当它遇到新的环境，通过调整强化学习（RL）的解决方案。元学习算法提供了一种解决方案，该解决方案基于有限的先前经验在新环境中快速适应DBS。元调整RL示出，以产生一个更快的收敛到最佳的覆盖率在看不见的环境中具有相当低的计算复杂度，相比基线策略梯度算法。仿真结果表明，与传统的策略梯度算法相比，该算法的收敛速度提高了25%，通信性能提高了10%左右。同时，DBS服务超过50%的用户请求的概率与基线策略梯度算法相比增加了约27%。
2020-05-25 cs.IT cs.LG cs.NI
Nearest-Neighbor-based Collision Avoidance for Quadrotors via Reinforcement Learning
Technische Universität Darmstadt（达姆施塔特工业大学）
碰撞避免算法是许多无人机应用的核心兴趣。特别是，分散的方法可能是在集中式通信在计算上变得禁止的情况下实现强大的无人机群解决方案的关键。在这项工作中，我们从椋鸟群（Sturnus vulgaris）中汲取生物学灵感，并将其应用于端到端学习分散式避碰。更具体地说，我们提出了一个新的，可扩展的观察模型仿生最近邻信息约束，导致快速学习和良好的碰撞避免行为。通过提出一种通用的强化学习方法，我们获得了一种基于端到端学习的方法，将碰撞避免与任意任务（如包收集和编队更改）相集成。为了验证这种方法的通用性，我们成功地应用我们的方法，通过运动模型的中等复杂性，建模的势头，但允许直接应用到现实世界的四旋翼与标准的PID控制器。与之前的工作相比，我们发现，在我们足够丰富的运动模型中，最近邻信息确实足以学习有效的碰撞避免行为。我们学习的策略在模拟中进行测试，随后转移到现实世界的无人机上，以验证其在现实世界中的适用性。
2022-02-18 cs.AI cs.LG cs.RO
RAPID-RL: A Reconfigurable Architecture with Preemptive-Exits for Efficient Deep-Reinforcement Learning
Purdue University（普渡大学）；Yale University（耶鲁大学）；Georgia Institute of Technology（佐治亚理工学院）
当今的深度强化学习（RL）系统在构建超越人类水平的智能代理方面表现出了巨大的潜力。然而，与底层深度神经网络（DNN）相关联的计算复杂性导致功耗高的实现。这使得深度RL系统不适合部署在资源受限的边缘设备上。为了应对这一挑战，我们提出了一种可重配置的架构，具有抢占式出口，以实现高效的深度RL（RAPID-RL）。RAPID-RL支持根据输入的难度级别有条件激活DNN层。这允许在推理期间动态调整计算工作量，同时保持有竞争力的性能。我们通过使用能够生成中间预测以及相关置信度得分的侧分支来增强深度Q网络（DQN）来实现这一点。我们还提出了一种新的训练方法，用于在动态RL设置中学习动作和分支置信度。我们的实验评估所提出的框架雅达利2600游戏任务和现实的无人机导航任务的开源无人机模拟器（PEOPLE）。我们表明，与没有任何侧分支的基线DQN相比，RAPID-RL在Atari（无人机导航）任务上保持0.88倍（0.91倍）以上的性能的同时，会产生0.34倍（0.25倍）的操作数（OPS）。OPS的减少导致快速和有效的推理，证明对于资源受限的边缘非常有益，其中以最小的计算做出快速决策是必不可少的。
2021-09-16 cs.LG
A Markov Decision Process Approach for Managing Medical Drone Deliveries
University of Twente（特文特大学）；University of Arkansas（阿肯色大学）
我们考虑在无人机中心优化配送操作的问题，该无人机中心将无人机调度到不同的地理位置，从而产生对医疗用品的随机需求。无人机交付是一种创新方法，它带来了许多好处，例如低接触交付，从而减少了大流行病和疫苗可预防疾病的传播。虽然我们专注于这项工作的医疗用品交付，但无人机交付适用于许多其他物品，包括食品，邮政包裹和电子商务。在本文中，我们的目标是解决与不同地理位置的随机需求相关的无人机交付挑战。我们考虑与地理位置相关的不同类别的需求，这些需求需要不同的飞行范围，这与无人机电池中的电量直接相关。我们根据它们与无人机枢纽的距离对随机需求进行分类，使用马尔可夫决策过程对问题进行建模，并使用代表一家知名无人机送货公司的真实数据进行计算测试。我们解决了这个问题，使用强化学习方法，并显示其高性能相比，使用动态规划的精确解。最后，我们分析了结果，并为管理无人机枢纽运营提供了见解。
2021-11-29 cs.AI cs.LG math.OC
VolleyBots: A Testbed for Multi-Drone Volleyball Game Combining Motion Control and Strategic Play
Tsinghua University（清华大学）
VolleyBots通过结合运动控制与战略博弈，测试多无人机乒乓球竞技，展示了强化学习在复杂任务中的应用与潜力。
2026-02-26 cs.AI cs.LG cs.RO
Multi-Agent Reinforcement Learning for Unmanned Aerial Vehicle Coordination by Multi-Critic Policy Gradient Optimization
School of Informatics, University of Leicester（莱斯特大学信息学院）
针对多智能体强化学习在无人机协同中存在的误差反向传播困难、忽略协作的问题，提出含多价值估计网络与新型优势函数的多评判器策略优化架构，实现稳定训练与最优协同。
2020-12-31 cs.AI cs.LG cs.RO
Performance Characterization of Canonical Mobility Models in Drone Cellular Networks
在本文中，我们描述了几个典型的移动性模型在无人机蜂窝网络中，无人机基站（DBS）服务于地面上的用户设备（UE）的性能。具体而言，我们考虑以下四种移动模型：（i）直线（SL）、（ii）随机停止（RS）、（iii）随机行走（RW）和（iv）随机航路点（RWP），其中SL移动性模型受第三代合作伙伴计划（3GPP）用于无人机的放置和轨迹的仿真模型的启发，而其他三个是公知的规范模型（或其变体），它们在现实性和易处理性之间提供了有用的平衡。假设最近邻关联策略，我们考虑用于UE的两种服务模型：（i）UE独立模型（UIM），以及（ii）UE依赖模型（UDM）。虽然服务DBS遵循与UIM中的其他DBS相同的移动性模型，但是假设它飞向UDM中感兴趣的UE，并且在到达那里之后悬停在其位置上方。本文的主要贡献是一个统一的方法来描述所有的移动性和服务模型的DBS的点过程。使用此，我们提供了如典型UE所见的平均接收速率和会话速率的精确数学表达式。此外，使用变分法的工具，我们具体地证明了简单的SL移动模型提供了其他一般移动模型（包括无人机遵循弯曲轨迹的模型）的性能下限，只要这些模型中每个无人机的运动是独立和同分布的（i.i.d.）。据我们所知，这是第一个为无限无人机蜂窝网络提供关键规范移动模型的严格分析并在它们之间建立有用连接的工作。
2019-08-14 cs.IT math.IT
Argus: Smartphone-enabled Human Cooperation via Multi-Agent Reinforcement Learning for Disaster Situational Awareness
Rutgers University（罗格斯大学）；Department of Homeland Security Science & Technology Directorate（国土安全部科学技术局）
Argus利用多智能体强化学习（MARL）框架，使用事故区域周围的智能体创建灾难现场的3D地图，以促进救援行动。这些智能体既可以是灾难现场的人类旁观者，也可以是可以帮助人类的无人机或机器人。代理参与使用智能手机（或无人机情况下的机载摄像头）捕获场景的图像，由MARL算法指导。这些图像被用来构建灾难现场的实时的3D地图。通过模拟和真实的实验，评估的框架在跟踪环境的随机动态性方面的有效性。
2019-04-29 cs.AI cs.CY cs.LG
Mobility-Aware Computation Offloading for Swarm Robotics using Deep Reinforcement Learning
Xidian University（西安电子科技大学）；Norfolk State University（诺福克州立大学）
针对群体机器人资源有限、规模受限的问题，提出基于边缘服务器侧移动感知深度强化学习的计算卸载方案，可在满足延迟要求的同时以最少机器人能耗保障计算精度。
2023-08-22 cs.LG cs.RO cs.SY
Learning to Seek: Autonomous Source Seeking with Deep Reinforcement Learning Onboard a Nano Drone Microcontroller
Harvard University（哈佛大学）；Delft University of Technology（代尔夫特理工大学）；Robotics at Google（谷歌机器人部门）
我们提出了一个高度约束的纳米四轴飞行器上完全自主的源搜索，通过贡献特定于应用的系统和观察功能设计，使推理的深度RL政策机载纳米四轴飞行器。我们的深度RL算法为一个具有挑战性的问题找到了一个高性能的解决方案，即使在存在高噪声水平的情况下，也可以在具有不同障碍物配置的真实和模拟环境中推广。我们验证了我们的方法与模拟和现场测试Bitcraze CrazyFlie只使用廉价和无处不在的Cortex-M4微控制器单元。结果表明，通过端到端的特定应用系统设计，与纳米四轴飞行器上基于学习的导航方法相比，我们的贡献消耗的额外功率几乎少三倍。由于我们在资源限制范围内精心设计的观测空间，我们的解决方案在混乱和随机的测试环境中实现了94%的成功率，而之前的成功率为80%。我们还比较了我们的策略，一个简单的有限状态机（FSM），面向有效的探索，并证明我们的政策是更强大的和弹性的避障以及高达70%的效率更高的源搜索。为此，我们提供了一个廉价而轻便的端到端微型机器人学习（tinyRL）解决方案，在一个纳米四轴飞行器上运行，证明了它在使用有限的感官输入的具有挑战性的任务中是强大和高效的。
2021-01-15 cs.AI cs.LG cs.RO
TrajGPT-R: Generating Urban Mobility Trajectory with Reinforcement Learning-Enhanced Generative Pre-trained Transformer
The University of Tokyo（东京大学）；Toyota Motor Corporation（丰田汽车公司）
TrajGPT-R通过强化学习增强的生成式预训练变换器生成城市移动轨迹，提升了轨迹生成的可靠性和多样性，为交通管理和城市规划提供支持。
2026-02-24 cs.AI cs.LG
3GPP-inspired Stochastic Geometry-based Mobility Model for a Drone Cellular Network
本文研究了基于随机几何的无人机蜂窝网络时变性能的表征，其中无人机基站（DBS）的初始位置被建模为泊松点过程（PPP），并且每个DBS被假设为在随机方向上沿直线移动。该无人机放置和轨迹模型密切模仿第三代合作伙伴计划（3GPP）用于无人机相关研究的模型。假设地面上典型用户设备（UE）的最近邻关联策略，我们考虑用于服务DBS的移动性的两个模型：（i）UE独立模型，和（ii）UE依赖模型。使用来自随机几何的位移定理，我们表征了典型UE所看到的时变干扰场，使用该时变干扰场，我们导出了典型UE处的时变覆盖概率和数据率。我们还比较了我们的模型与更复杂的移动模型，其中DBS可能会在非线性轨迹移动，并证明了我们的模型估计的覆盖概率和速率作为这些更一般的模型的下限。据我们所知，这是第一次对3GPP启发的无人机移动模型进行严格分析，并建立该模型与更一般的非线性移动模型之间的联系。
2019-05-08 cs.IT eess.SP math.IT
Human-Centric Aware UAV Trajectory Planning in Search and Rescue Missions Employing Multi-Objective Reinforcement Learning with AHP and Similarity-Based Experience Replay
Interdisciplinary Centre for Security, Reliability and Trust (SnT), University of Luxembourg（卢森堡大学安全、可靠性与信任跨学科中心）；University of Luxembourg（卢森堡大学）
本文提出融合AHP与基于相似性经验回放的多目标强化学习框架，以兼顾作业、舒适与安全来规划搜救无人机轨迹，并调查性别线索和拟人化设计对公众接受与信任的影响。
2024-02-28 cs.AI cs.HC cs.LG
Hybrid Multi-agent Deep Reinforcement Learning for Autonomous Mobility on Demand Systems
Technical University of Munich（慕尼黑工业大学）；Google Research（谷歌研究院）；Stanford University（斯坦福大学）
针对自主按需出行系统，提出结合多智能体软演员-评论家与加权二分匹配的前瞻性控制策略，在真实数据上优于现有基准。
2023-05-10 cs.LG cs.MA cs.SY
Fundamentals of Drone Cellular Network Analysis under Random Waypoint Mobility Model
在本文中，我们提出了第一个随机几何为基础的性能分析的无人机蜂窝网络中，无人机基站（DBS）最初分布的基础上泊松点过程（PPP）和移动根据随机航路点（RWP）移动模型。基于最近邻关联策略来选择用于地面上的典型用户设备（UE）的服务DBS。我们进一步假设用于服务DBS的两个服务模型：（i）UE独立模型（UIM），以及（ii）UE依赖模型（UDM）。对于典型的UE，所有其他DBS被认为是干扰DBS。我们引入了一个简化的RWP（SRWP）流动性模型来描述干扰DBS的运动，并描述其关键的分布特性，我们的分析所需的。在这些结果的基础上，我们使用位移定理分析了UIM和MDM的典型UE所看到的干扰场，这形成了将典型UE处的平均速率表征为时间的函数的基础。据我们所知，这是第一个分析移动无人机网络性能的工作，其中无人机在无限平面上遵循RWP移动模型。
2019-08-24 cs.IT eess.SP math.IT
Context-Aware Mobility Management in HetNets: A Reinforcement Learning Approach
Technische Universität Dresden（德累斯顿工业大学）；University of Oulu（奥卢大学）；Florida International University（佛罗里达国际大学）
在异构网络（HetNet）环境中使用小小区部署预计将成为4G网络及更高网络的关键特征，并且对于提供更高的用户吞吐量和小区边缘覆盖至关重要。然而，由于宏基站和微微基站（BS）的不同覆盖范围大小，这种范式转变在密集网络中引入了额外的要求和挑战。在这些挑战中，用户设备（UE）的切换性能将受到影响，尤其是当高速UE穿越微微小区时。在本文中，我们提出了一个基于协调和上下文感知的移动性管理（MM）的小小区网络使用强化学习的工具的过程。在这里，宏BS和微微BS联合了解其长期流量负载和最佳小区范围扩展，并根据其速度和历史速率（在层之间交换）调度其UE。所提出的方法不仅在UE吞吐量方面优于经典MM，而且还能够实现更好的公平性。平均而言，高达80%的增益是实现UE吞吐量，而切换失败的概率降低了三个因素，所提出的基于学习的MM方法。
2015-05-07 cs.LG cs.NI
Optimal Beam Association for High Mobility mmWave Vehicular Networks: Lightweight Parallel Reinforcement Learning Approach
University of Technology Sydney（悉尼科技大学）
在智能交通系统（ITS）中，期望车辆具有要求超高数据率和低延迟通信的高级应用和服务。为此，毫米波（mmWave）通信已经成为非常有前途的解决方案。然而，由于车辆的高机动性和毫米波波束对动态阻塞的固有敏感性，将毫米波纳入ITS特别具有挑战性。本文通过为高移动性下的毫米波车载网络开发最佳波束关联框架来解决这些问题。具体来说，我们使用半马尔可夫决策过程来捕捉环境的动态性和不确定性。Q-学习算法通常用于寻找最优策略。然而，Q学习因其收敛速度慢而臭名昭著。我们没有采用深度强化学习结构（如文献中的大多数作品），而是利用道路上通常有多辆车的事实来加速学习过程。为此，我们开发了一个轻量级的，但非常有效的并行Q-学习算法，快速获得最佳的政策，同时学习各种车辆。大量的模拟表明，我们提出的解决方案可以提高数据率的47%，减少断开概率的29%，相比其他解决方案。
2021-06-07 cs.LG cs.NI eess.SP
Distributed Reinforcement Learning for Flexible and Efficient UAV Swarm Control
University of Padova（帕多瓦大学）；Aalborg University（奥尔堡大学）
在过去的几年中，由于无人机的价格降低和功能增强，无人机（UAV）在监控和偏远地区监控应用中的使用已经变得普遍。群中的无人机需要合作探索未知区域，以识别和监视感兴趣的目标，同时尽量减少它们的运动。在这项工作中，我们提出了一种分布式强化学习（RL）方法，无需修改即可扩展到更大的群体。所提出的框架依赖于无人机通过通信信道交换一些信息的可能性，以实现上下文感知和隐式协调群的行动。实验结果表明，该方法能有效地解决目标和障碍物的非均匀分布问题，对通信信道损伤具有鲁棒性。此外，当代理在特定场景中接受培训时，他们可以通过最少的额外培训来适应新的场景。我们还表明，我们的方法实现了更好的性能相比，计算密集型前瞻性启发式。
2021-03-08 cs.LG cs.RO
Spatial-Temporal Interplay in Human Mobility: A Hierarchical Reinforcement Learning Approach with Hypergraph Representation
University of Macau（澳门大学）；Northeast Normal University（东北师范大学）；Dalian Maritime University（大连海事大学）
针对人类移动中时空权衡的个体差异，提出STI-HRL层次强化学习框架，结合超图嵌入捕捉时空交互，在真实数据集上超越现有方法。
2023-12-25 cs.AI cs.CY cs.LG
Multi-Agent Deep Reinforcement Learning for Efficient Passenger Delivery in Urban Air Mobility
Korea University（高丽大学）；Ajou University（亚洲大学）
城市空中交通（UAM），也被称为无人机出租车或电动垂直起降（eVTOL），将在未来的交通运输中发挥关键作用。通过将UAM应用于实际的未来运输，可以实现几个好处，即，(i)与传统运输相比，乘客的总旅行时间可以减少，以及（i i）没有环境污染，并且由于电池将用于UAM系统中，所以操作该系统没有特殊的劳动力成本。然而，飞行环境中存在着各种动态和不确定因素，即，乘客突然的服务请求、电池放电和UAM之间的碰撞。因此，本文提出了一种新的合作MADRL算法的基础上集中式训练和分布式执行（CTDE）的概念，在UAM网络中的可靠和有效的乘客交付。根据性能评估的结果，我们证实，该算法优于其他现有的算法，服务的乘客数量增加（30%）和等待时间，每个服务的乘客减少（26%）。
2023-01-25 cs.LG cs.MA
Mobility-Aware Cooperative Caching in Vehicular Edge Computing Based on Asynchronous Federated and Deep Reinforcement Learning
Jiangnan University（江南大学）；State Key Laboratory of Integrated Services Networks (Xidian University)（综合业务网理论及关键技术国家重点实验室（西安电子科技大学））；Qualcomm（高通公司）；Tsinghua University（清华大学）；University of Kent（肯特大学）；Banma Network Technology Co., Ltd.（斑马网络技术有限公司）
车载边缘计算（VEC）可以将内容缓存在网络边缘的不同RSU中，以支持实时车载应用。在VEC中，由于车辆的高移动性，需要提前缓存用户数据，了解车辆用户最感兴趣的内容。由于用户数据通常包含隐私信息，用户不愿意与他人共享他们的数据。为了解决这个问题，传统的联邦学习（FL）需要通过聚合所有用户的局部模型来同步更新全局模型，以保护用户的隐私。然而，车辆可能在实现其局部模型训练之前频繁地驶出VEC的覆盖区域，因此局部模型不能如预期那样上传，这将降低全局模型的准确性。此外，本地RSU的缓存容量有限，而流行内容多样，因此预测的流行内容的大小通常超过本地RSU的缓存容量。因此，VEC应该在考虑内容传输延迟的同时将预测的流行内容缓存在不同的RSU中。在本文中，我们考虑到车辆的移动性，并提出了一个合作的缓存方案在VEC的基础上异步联邦和深度强化学习（CAFR）。我们首先考虑车辆的移动性，并提出了一个异步FL算法来获得一个准确的全局模型，然后提出了一个算法来预测流行内容的基础上的全局模型。此外，我们考虑车辆的移动性，并提出了一种深度强化学习算法，以获得最佳的合作缓存位置的预测流行的内容，以优化内容的传输延迟。大量的实验结果表明，CAFR方案优于其他基线缓存方案。
2022-08-02 cs.DC cs.LG
DroneCells: Improving 5G Spectral Efficiency using Drone-mounted Flying Base Stations
我们研究了一种称为DroneCells的蜂窝网络场景，其中小型化基站（BS）安装在无人机上为移动用户提供服务。我们建议无人机永不停止，并以减少BS和服务用户之间的距离的方式在小区内连续移动，从而潜在地提高网络的频谱效率。通过考虑商用无人机的实际移动性约束，我们设计了无人机移动算法来提高DroneCells的频谱效率。由于最优问题是NP难的，我们提出了一系列实际可实现的算法，具有不同的复杂性和性能。仿真结果表明，与无人机悬停在固定位置的情况相比，使用现有的消费者无人机，所提出的算法可以很容易地将频谱效率提高34%，将5个百分点的分组吞吐量提高50%.未来可以期待更敏捷的无人机带来更大的收益。一个令人惊讶的结果是，无人机只需要以最小的速度飞行就可以实现这些增益，避免对无人机电池寿命产生任何负面影响。我们进一步证明，最佳的解决方案提供了最好的启发式算法，采用博弈论，使无人机BS的移动性决策只有适度的改进。
2020-03-23 cs.IT cs.NI math.IT
Robust Electric Vehicle Balancing of Autonomous Mobility-On-Demand System: A Multi-Agent Reinforcement Learning Approach
University of Connecticut（康涅狄格大学）；University of Illinois, Chicago（伊利诺伊大学芝加哥分校）
本文针对电动自动驾驶车辆在自主按需出行系统中的供需不确定性问题，提出基于多智能体强化学习的REBAMA算法，通过对抗智能体建模不确定性并训练鲁棒平衡策略，显著提升了奖励、充电利用公平性与供需公平性。
2023-07-30 cs.AI cs.LG cs.MA
Vision-Based Autonomous Drone Control using Supervised Learning in Simulation
Imperial College London（伦敦帝国理工学院）
有限的功率和计算资源，缺乏高端传感器设备和GPS拒绝的环境是自主微区域飞行器（MAV）面临的挑战。我们解决这些挑战的背景下自主导航和着陆的微型飞行器在室内环境中，并提出了一种基于视觉的控制方法，使用监督学习。为了实现这一点，我们收集的数据样本，在模拟环境中标记根据路径规划算法确定的最优控制命令。基于这些数据样本，我们训练了一个卷积神经网络（CNN），它将低分辨率图像和传感器输入映射到高级控制命令。我们已经观察到有希望的结果，在有障碍和无障碍的模拟环境，表明我们的模型是能够成功地导航MAV对着陆平台。我们的方法比类似的强化学习方法需要更短的训练时间，并且可以克服可比的监督学习方法所面临的手动数据汇集的局限性。
2020-09-09 cs.AI cs.LG cs.RO
Locker-based Truck-Drone Routing with Integrated Considerations of Pickups, Deliveries, and No-Fly Zones
Faculty of Science and Technology, University of Nottingham Ningbo China（宁波诺丁汉大学理工学院）
针对储物柜式卡车-无人机配送中取货、送货及禁飞区约束，提出两阶段深度强化学习神经启发式方法，以最小化总运营成本。
2026-07-01 cs.AI cs.LG cs.RO
Dynamic Resource Management for Providing QoS in Drone Delivery Systems
University of Toronto（多伦多大学）
无人机已被视为包裹递送的替代手段，以减少递送成本和时间。由于电池的限制，无人机最适合最后一英里的交付，即，从包裹配送中心（PDC）到客户的递送。由于典型的递送系统由多个PDC组成，每个PDC具有随机且随时间变化的需求，因此动态无人机到PDC分配在以有效的方式满足需求方面将是非常重要的。在本文中，我们研究了动态无人机分配问题的无人机交付系统的目标是提供可测量的服务质量（QoS）保证。我们采用一个模糊的理论方法来模拟客户服务的性质的问题。此外，我们采取深度强化学习的方法来获得一个动态的无人机重新分配的政策。该策略保证了在每个PDC中等待的包的队列长度的概率上限，这从服务提供商和客户的角度来看都是有益的。我们评估我们提出的算法的性能，考虑三个广泛的到达类，包括伯努利，时变伯努利，和马尔可夫调制伯努利到达。我们的研究结果表明，所提出的方法优于基线，特别是在时变和马尔可夫调制伯努利到达的情况下，这更能代表现实世界的需求模式。此外，我们的算法满足QoS约束，在所有研究的情况下，同时最大限度地减少使用中的无人机的平均数量。
2021-03-06 cs.LG cs.MA cs.RO
Global Rewards in Multi-Agent Deep Reinforcement Learning for Autonomous Mobility on Demand Systems
Technical University of Munich（慕尼黑工业大学）；Polytechnique Montréal（蒙特利尔理工学院）
针对自主按需出行系统中基于局部奖励的多智能体深度强化学习调度算法存在奖励信号偏差、性能受限的问题，提出基于反事实基线分配全局奖励的新算法，在真实数据上取得显著性能提升，还可改善车辆平衡与需求预测能力。
2024-05-19 cs.LG cs.MA cs.SY
Fleet Rebalancing for Expanding Shared e-Mobility Systems: A Multi-agent Deep Reinforcement Learning Approach
University of Exeter（埃克塞特大学）；The Alan Turing Institute（阿兰·图灵研究所）；University of Warwick（华威大学）；Tongji University（同济大学）；University of Leeds（利兹大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Columbia University（哥伦比亚大学）
针对扩展中的共享电动出行系统，提出一种考虑续航与充电约束的多智能体深度强化学习车队再平衡方法，通过高保真模拟与动作级联策略优化，显著提升需求满足率和净收入。
2022-11-11 cs.AI cs.LG cs.SY
