Human-Centric Aware UAV Trajectory Planning in Search and Rescue Missions Employing Multi-Objective Reinforcement Learning with AHP and Similarity-Based Experience Replay
Interdisciplinary Centre for Security, Reliability and Trust (SnT), University of Luxembourg（卢森堡大学安全、可靠性与信任跨学科中心）；University of Luxembourg（卢森堡大学）
本文提出融合AHP与基于相似性经验回放的多目标强化学习框架，以兼顾作业、舒适与安全来规划搜救无人机轨迹，并调查性别线索和拟人化设计对公众接受与信任的影响。
2024-02-28 cs.AI cs.HC cs.LG
Reinforcement Learning for Low-Thrust Trajectory Design of Interplanetary Missions
Sapienza University of Rome（罗马大学）
本文研究了使用强化学习的鲁棒设计的小推力行星际轨道存在严重的干扰，建模为高斯加性过程噪声，观测噪声，控制驱动误差的推力大小和方向，并可能有多个错过的推力事件。最优控制问题被改写为时间离散马尔可夫决策过程，以符合强化学习的标准公式。采用最先进算法近端策略优化的开源实现来执行深度神经网络的训练过程，用于将航天器（观察到的）状态映射到最优控制策略。由此产生的制导和控制网络提供了一个强大的标称轨迹和相关的闭环制导律。一个典型的地球-火星任务的数值结果。首先，为了验证所提出的方法，将（确定性）未扰动场景中找到的解决方案与间接技术提供的最佳解决方案进行比较。然后，所获得的闭环制导律的鲁棒性和最优性进行评估通过Monte Carlo运动在所考虑的不确定情况下进行。这些初步结果为在行星际飞行任务的稳健设计中使用强化学习开辟了新的视野。
2020-08-19 cs.AI cs.LG math.OC
SFR-DeepResearch: Towards Effective Reinforcement Learning for Autonomously Reasoning Single Agents
Salesforce AI Research（Salesforce AI研究院）
本文提出SFR-DeepResearch，一种基于合成数据的持续强化学习方法，用于训练自主推理单智能体，在保持推理能力的同时增强智能体技能，其最佳模型SFR-DR-20B在“人类最后的考试”基准上达到28.7%的准确率。
2025-09-09 cs.AI cs.CL
Optimal Multi-Debris Mission Planning in LEO: A Deep Reinforcement Learning Approach with Co-Elliptic Transfers and Refueling
Department of Computer Science, Julius-Maximilians-Universität Würzburg, Germany（计算机科学系，乌尔姆-马克西米利安大学，德国）
本文提出一种结合共椭圆转移与补给的深度强化学习方法，用于近地轨道多碎片任务规划，实验显示其在任务效率和计算性能上优于传统方法。
2026-02-04 cs.LG cs.RO physics.space-ph
Multi-Start Team Orienteering Problem for UAS Mission Re-Planning with Data-Efficient Deep Reinforcement Learning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
在本文中，我们研究了多启动团队定向问题（MSTOP），一个任务重新规划问题，车辆最初位于远离仓库，并有不同的燃料量。我们考虑/假设多辆车的目标是行驶以最大化资源下收集的利润之和（例如，时间、燃料）消耗限制。这样的重新规划问题发生在广泛的智能无人机应用中，其中任务环境的变化迫使多个车辆的操作从原始计划改变。为了用深度强化学习（RL）解决这个问题，我们开发了一个策略网络，它在每个部分巡回上具有自注意力，在部分巡回和剩余节点之间具有编码器-解码器注意力。我们提出了一个修改后的REINFORCE算法，其中贪婪的推出基线被替换为本地小批量基线的基础上多个，可能是非重复的样本推出。通过为每个训练实例绘制多个样本，我们可以更快地学习，并以显著更少的实例获得稳定的策略梯度估计器。所提出的训练算法优于传统的贪婪卷展基线，即使与最大熵目标相结合。
2023-03-02 cs.LG cs.RO math.OC
Smart Magnetic Microrobots Learn to Swim with Deep Reinforcement Learning
University of Pittsburgh（匹兹堡大学）；Carnegie Mellon University（卡内基梅隆大学）
游泳微型机器人越来越多地开发复杂的材料和动态形状，并预计在复杂的环境中，系统动力学是难以建模和微型机器人的位置控制是不直接实现的。深度强化学习是一种很有前途的自主开发鲁棒控制器的方法，用于创建智能微型机器人，该机器人可以调整其行为以在未表征的环境中运行，而无需对系统动力学建模。在这里，我们报告的智能螺旋磁性水凝胶microrobot的发展，使用软演员评论家强化学习算法自主推导出一个控制策略，允许microrobot游泳通过一个未表征的仿生流体环境下的控制下的时变磁场产生的三轴阵列的电磁铁。强化学习代理学习成功的控制策略，训练步骤少于100，000，展示了快速学习的样本效率。我们还证明了，我们可以微调的控制策略学习的强化学习代理通过拟合数学函数的学习策略的动作分布，通过回归。应用于微型机器人控制的深度强化学习可能会显著扩展下一代微型机器人的能力。
2022-01-14 cs.AI cs.RO cs.SY
Assessing the Robustness of Intelligence-Driven Reinforcement Learning
University of Brescia（布雷西亚大学）；Cardiff University（卡迪夫大学）
本文研究基于奖励机的智能驱动强化学习在军事噪声环境下的鲁棒性，初步结果提示需进一步研究证据推理与学习以强化现有方法。
2023-11-15 cs.AI cs.CR cs.LG
Enhancing Aerial Combat Tactics through Hierarchical Multi-Agent Reinforcement Learning
Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA), USI-SUPSI（瑞士智能系统研究所（IDSIA）及USI-SUPSI）；Armasuisse Science + Technology（Armasuisse科学与技术）
针对异构多机空战仿真，本文提出双层分层MARL框架，低层课程学习训练单机控制策略、高层训练指挥官宏观决策，实证验证了其优势。
2025-05-13 cs.AI cs.LG cs.MA
Cyber Deception for Mission Surveillance via Hypergame-Theoretic Deep Reinforcement Learning
Department of Computer Science, Virginia Tech（弗吉尼亚理工大学计算机科学系）；Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心）；Department of Computer Science, North Carolina State University（北卡罗来纳州立大学计算机科学系）；US Army Research Laboratory（美国陆军研究实验室）
本文提出基于超博弈深度强化学习的网络欺骗策略，通过诱饵无人机有效防御DDoS攻击，提升任务性能并降低能耗。
2026-03-21 cs.AI cs.CR cs.GT
Leveraging High-Fidelity Digital Models and Reinforcement Learning for Mission Engineering: A Case Study of Aerial Firefighting Under Perfect Information
Grado Department of Industrial and Systems Engineering, Virginia Tech, Blacksburg, VA（弗吉尼亚理工学院与州立大学工业与系统工程系）
本文提出结合高保真数字模型与强化学习的任务协调方法，通过空中灭火案例展示其在任务工程中的有效性，证明了DE与分析工具结合的潜力。
2025-12-29 cs.AI cs.CY cs.SY
Interpretable Policies for Reinforcement Learning by Genetic Programming
Technical University of Munich, Department of Informatics（慕尼黑技术大学信息学院）；Siemens AG, Corporate Technology（西门子股份公司企业技术部）
本文提出基于模型驱动批量强化学习和遗传编程的GPRL方法，通过预存的默认状态-动作轨迹样本自动生成可解释的强化学习策略，实验表明其优于传统符号回归方法。
2018-04-04 cs.AI cs.NE cs.SY
UAV Path Planning using Global and Local Map Information with Deep Reinforcement Learning
Technical University of Munich（慕尼黑工业大学）；EURECOM（欧洲通信学院）
自主无人机（UAV）的路径规划方法通常是针对一种特定类型的任务而设计的。提出了一种基于深度强化学习（DRL）的无人机自主路径规划方法，该方法可应用于多种任务场景。具体来说，我们比较了覆盖路径规划（CPP），其中无人机的目标是调查数据收集（DH）的感兴趣区域，其中无人机从分布式物联网（IoT）传感器设备收集数据。通过利用环境的结构化地图信息，我们训练具有相同架构的双深度Q网络（DDQN）在两个明显不同的任务场景中做出运动决策，平衡各自的任务目标与导航约束。通过引入一种新的方法，利用一个压缩的全球地图的环境相结合的裁剪，但未压缩的本地地图显示附近的无人机代理，我们证明了所提出的方法可以有效地扩展到大型环境。我们还扩展了以前的结果，推广控制策略，不需要再培训时，场景参数的变化，并提供了一个详细的分析关键的地图处理参数的路径规划性能的影响。
2021-10-21 cs.LG cs.RO
Coordinated Strategies in Realistic Air Combat by Hierarchical Multi-Agent Reinforcement Learning
IDSIA, USI-SUPSI（Dalle Molle人工智能研究所，提契诺大学-瑞士南部应用科学与艺术大学）；Armasuisse S+T（瑞士联邦国防采购局科学技术部）
针对真实空战中的态势感知与非线性动力学挑战，提出分层多智能体强化学习框架，结合异构动力学、课程学习与联赛对战，提升缠斗场景的学习效率与作战性能。
2025-10-22 cs.AI cs.HC cs.LG
AI-Driven Risk-Aware Scheduling for Active Debris Removal Missions
Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）
本文提出一种基于深度强化学习的自主决策规划模型，用于轨道转移飞行器的最优碎片清除序列规划，使智能体能在动态轨道条件下自主更新计划并处理高碰撞风险碎片。
2024-09-25 cs.AI
Reinforcement Learning-enabled Satellite Constellation Reconfiguration and Retasking for Mission-Critical Applications
DoD Center of Excellence in AI/ML (CoE-AIML)（美国国防部人工智能/机器学习卓越中心）；Howard University（霍华德大学）
本文针对卫星星座在任务关键场景下发生故障后的重构与任务重分配问题，提出基于GPS星座的系统建模方法，并引入Q学习、策略梯度、DQN和PPO等强化学习技术进行管理，实验表明DQN与PPO在平均奖励、任务完成率和响应时间上表现有效。
2024-09-03 cs.AI cs.LG cs.SY
Unsupervised Visuomotor Control through Distributional Planning Networks
Stanford University（斯坦福大学）
虽然强化学习（RL）有可能使机器人自主地获得广泛的技能，但在实践中，RL通常需要手动地对奖励函数进行按任务设计，特别是在现实世界中，计算进度所需的环境方面无法直接访问。为了使机器人能够自主学习技能，我们转而考虑没有奖励的强化学习问题。我们的目标是学习一个无监督的嵌入空间，在这个空间下，机器人可以测量自己朝着目标前进的进度。我们的方法显式优化的度量空间下，达到特定状态的动作序列是最佳的，当目标是最终达到的状态。这使得能够学习有效的和以控制为中心的表示，从而产生更自主的强化学习算法。在三个模拟环境和两个真实操作问题上的实验表明，该方法可以从未标记的交互中学习有效的目标度量，并将学习到的目标度量用于自主强化学习.
2019-02-14 cs.CV cs.LG cs.RO
An Imitative Reinforcement Learning Framework for Pursuit-Lock-Launch Missions
Harbin Institute of Technology（哈尔滨工业大学）；Tsinghua University（清华大学）；Harbin Engineering University（哈尔滨工程大学）
针对无人作战飞机视距内交战的策略学习难题，提出一种模仿强化学习框架，通过专家模仿与自主探索结合，在Harfang3D环境中实现“追瞄发射”任务，成功率高达100%，优于现有方法。
2025-10-10 cs.LG cs.RO
Oranits: Mission Assignment and Task Offloading in Open RAN-based ITS using Metaheuristic and Deep Reinforcement Learning
Department of Smart City, Hanyang University（翰阳大学智能城市系）
提出Oranits系统模型，通过元启发式算法CGG-ARO和深度强化学习框架MA-DDQN优化车辆协作中的任务依赖与卸载成本，分别提升任务完成率7.7%和12.5%。
2026-06-19 cs.AI cs.DC cs.GT
Safe Reinforcement Learning with Scene Decomposition for Navigating Complex Urban Environments
Stanford University（斯坦福大学）；Honda Research Institute（本田研究院）
在城市环境中导航对自动驾驶汽车来说是一项复杂的任务。他们必须在考虑众多交通参与者的同时安全有效地达到目标。我们提出了一个模块化的决策算法，自主导航交叉口，解决现有的基于规则和强化学习（RL）的方法的挑战。我们首先提出了一个安全的RL算法依赖于模型检查器，以确保安全保证。为了使决策策略对感知错误和遮挡具有鲁棒性，我们引入了一种使用基于学习的方法的信念更新技术。最后，我们使用场景分解的方法来扩展我们的算法，多个交通参与者的环境。我们的经验表明，我们的算法优于基于规则的方法和强化学习技术在一个复杂的交叉口的情况。
2019-04-25 cs.AI cs.LG cs.RO
Self-Supervised Curriculum Generation for Autonomous Reinforcement Learning without Task-Specific Knowledge
Seoul National University（首尔大学）
提出一种无需任务特定知识的自主强化学习算法，通过自监督训练的成功判别器生成自适应课程，使智能体能高效解决稀疏奖励任务并显著减少手动重置次数。
2024-02-18 cs.LG cs.RO
SLAC: Safe and Efficient Real-Robot Reinforcement Learning via Unsupervised Simulation Pre-Training
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Sony AI（索尼人工智能）；Amazon Robotics（亚马逊机器人技术）
研究旨在解决高自由度机器人强化学习难题，提出SLAC方法，利用低保真模拟器预训练潜在动作空间，通过定制无监督方法训练并用于新型离策略算法，在双手移动操纵任务中达领先性能，高效学习复杂任务。
2026-07-20 cs.AI cs.LG cs.RO
You Only Live Once: Single-Life Reinforcement Learning
Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
强化学习算法通常被设计为学习可以重复且自主地完成任务的性能策略，通常从头开始。然而，在许多现实情况下，目标可能不是学习可以重复执行任务的策略，而是简单地在一次试验中成功执行一次新任务。例如，想象一个救灾机器人的任务是从倒塌的建筑物中取回物品，在那里它无法得到人类的直接监督。它必须在一次测试时间内取回这个物体，并且必须在克服未知障碍物的同时这样做，尽管它可能会利用灾难发生前对建筑物的了解。我们将这种问题设置形式化，我们称之为单生命强化学习（SLRL），其中代理必须在没有干预的情况下在单个事件内完成任务，利用其先前的经验，同时与某种形式的新颖性竞争。SLRL提供了一个自然的环境来研究自主适应不熟悉情况的挑战，我们发现，为标准情景强化学习设计的算法通常很难从这种环境中的分布状态恢复过来。出于这种观察，我们提出了一种算法，$Q$加权对抗学习（QWALE），它采用了分布匹配策略，利用代理的先前经验作为指导，在新的情况下。我们在几个单寿命连续控制问题上的实验表明，基于我们的分布匹配公式的方法更成功20-60%，因为它们可以更快地从新状态恢复。
2022-10-17 cs.AI cs.LG
Show me what you want: Inverse reinforcement learning to automatically design robot swarms by demonstration
Université libre de Bruxelles（布鲁塞尔自由大学）
自动设计是生成机器人群控制软件的一种很有前途的方法。到目前为止，自动设计依赖于任务特定的目标函数来指定所需的集体行为。在本文中，我们探讨的可能性，指定所需的集体行为，通过示范。我们开发Demo-Cho，一种自动设计方法，将逆强化学习与机器人群控制软件的自动模块化设计相结合。我们表明，只有在演示的基础上，而不需要提供一个明确的目标函数，Demo-Cho成功地生成了控制软件来执行四个任务。我们目前在模拟和物理机器人获得的结果。
2023-01-17 cs.LG cs.RO
Analyzing Knowledge Transfer in Deep Q-Networks for Autonomously Handling Multiple Intersections
The University of Pennsylvania（宾夕法尼亚大学）；Honda Research Institute（本田研究所）
我们分析了如何自主处理一种类型的交叉点的知识，表示为深度Q网络，转化为其他类型的交叉点（任务）。我们将交集处理视为深度强化学习问题，它将状态动作Q函数近似为深度神经网络。使用交通模拟器，我们表明，直接复制一个网络训练的一种类型的交叉口到另一种类型的交叉口降低了成功率。我们还表明，当一个网络在任务A上进行预训练，然后在任务B上进行微调时，产生的网络不仅在任务B上的性能比专门在任务A上训练的网络更好，而且还保留了关于任务A的知识。最后，我们研究了终身学习的设置，在那里我们训练一个单一的网络上五种不同类型的交叉点顺序，并表明所产生的网络表现出灾难性遗忘的知识在以前的任务。这一结果表明，需要一个长期记忆组件来保存知识。
2017-05-02 cs.AI cs.LG
Hierarchical Multi-Agent Reinforcement Learning for Air Combat Maneuvering
Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)（达勒·莫尔人工智能研究所（IDSIA））；USI-SUPSI（瑞士意大利语区大学-瑞士意大利语区应用科学与艺术大学）；Armasuisse Science + Technology（瑞士联邦国防采购局科技中心）
本文提出分层多智能体强化学习框架，通过低层单位控制策略与高层指挥官策略协同，结合课程学习和联赛自博弈，解决多异构智能体空战决策难题。
2023-09-20 cs.AI cs.LG cs.MA
Macro Action Reinforcement Learning with Sequence Disentanglement using Variational Autoencoder
Dwango Artificial Intelligence Laboratory（Dwango人工智能实验室）；NTT Secure Platform Laboratories（NTT安全平台实验室）
将强化学习应用于现实世界问题的一个问题是动作空间上的维数灾难。宏动作，一系列的原始动作，已被研究，以减少关于时间轴的动作空间的维数。然而，以前的研究依赖于人类定义宏动作或假设宏动作是相同原始动作的重复。我们提出了因子化宏动作强化学习（FaMARL），它自主学习一系列动作的分解因子表示，以生成可直接应用于一般强化学习算法的宏动作。FaMARL在需要大量搜索的环境中表现出比其他强化学习算法更高的分数。
2019-06-04 cs.AI cs.LG cs.RO
GRIMGEP: Learning Progress for Robust Goal Sampling in Visual Deep Reinforcement Learning
为了扩大强化学习的范围，设计能够自主学习各种技能的代理是至关重要的。它将增加学习技能的多样性，并减少为每个技能手动设计奖励功能的负担。自我监督的代理人，设定自己的目标，并试图最大限度地提高这些目标的多样性，已经显示出很大的希望实现这一目标。然而，目前已知的代理试图最大化采样目标的多样性的限制是，他们往往会被吸引到噪音或更一般的环境中的部分，不能控制（干扰）。当智能体可以访问预定义的目标特征或专家知识时，绝对学习进度（ALP）提供了一种区分可以控制的区域和不能控制的区域的方法。然而，当代理仅被提供原始感觉输入（例如图像）时，这些方法常常不足。在这项工作中，我们将这些概念扩展到无监督的基于图像的目标探索。我们提出了一个框架，允许代理自主识别和忽略嘈杂的分心区域，同时在可学习区域中搜索新颖性，以提高整体性能并避免灾难性遗忘。我们的框架可以与任何最先进的新奇寻求目标探索方法相结合。我们构建了一个丰富的三维图像为基础的环境与干扰。在这个环境中的实验表明，代理使用我们的框架成功地识别出有趣的区域的环境，从而大大提高了性能。源代码可在https://sites.google.com/view/grimgep上获得。
2022-11-07 cs.AI cs.LG cs.RO
Using Deep Reinforcement Learning Methods for Autonomous Vessels in 2D Environments
Institute for Big Data Analytics, Dalhousie University（达尔豪西大学大数据分析研究所）；Institute for Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）
无人水面车辆技术（USVs）是一个令人兴奋的话题，它基本上是部署一种算法来安全有效地执行任务。尽管强化学习是一种众所周知的建模这种任务的方法，但当结合偏离策略和函数近似时，可能会发生不稳定和发散。在这项工作中，我们使用深度强化学习将Q学习与神经表示相结合，以避免不稳定性。我们的方法使用深度Q学习，并将其与敏捷方法的滚动波规划方法相结合。我们的方法包含两个关键部分，以便在未知环境中执行任务。第一种是路径规划器，负责生成到达目的地的潜在有效路径，而不考虑根的细节。后者是一个决策模块，负责在价值函数的背景下，在不久的将来USV开发步骤中避免障碍物的短期决策。使用两种算法进行模拟：一个基本的香草血管导航仪（VVN）作为基线和一个改进的血管导航仪与计划和局部视图（VNPLV）。实验结果表明，所提出的方法提高了VVN的性能平均为55.31长距离任务。我们的模型通过深度强化学习在未知环境中规划自适应路径，成功地证明了避障。
2020-03-23 cs.AI cs.LG
Overcoming Exploration: Deep Reinforcement Learning for Continuous Control in Cluttered Environments from Temporal Logic Specifications
Lehigh University（利哈伊大学）；Boston University（波士顿大学）
使用深度强化学习（DRL）的机器人导航任务的无模型连续控制依赖于用于探索的噪声策略对奖励的密度敏感。在实践中，机器人通常部署在杂乱的环境中，包含许多障碍物和狭窄的通道。设计密集有效的奖励是具有挑战性的，导致训练过程中的探索问题。这样的问题变得更加严重时，任务描述使用时序逻辑规范。这项工作提出了一个深策略梯度算法，用于控制机器人在混乱的环境中运行时，任务被指定为线性时序逻辑（LTL）公式的未知动态。为了克服训练过程中探索的环境挑战，我们提出了一种新的路径规划引导的奖励计划，通过整合基于采样的方法来有效地完成目标达成任务。为了促进LTL的满意度，我们的方法分解成子目标，达到任务，以分布式的方式解决的LTL任务。我们的框架被证明可以显着提高性能（有效性，效率）和探索的机器人在大规模混乱的环境中执行复杂的任务。视频演示可以在YouTube频道上找到：https://youtu.be/yMh_NUNWxho。
2023-02-23 cs.LG cs.RO
Driving Tasks Transfer in Deep Reinforcement Learning for Decision-making of Autonomous Vehicles
Chongqing University（重庆大学）；University of Waterloo（滑铁卢大学）
知识转移是实现自动驾驶汽车实时决策的一个很有前途的概念。本文构建了一个迁移深度强化学习框架，用于跨路段环境下驾驶任务的迁移。自动驾驶汽车在无信号交叉口的行驶任务分为左转、右转和直行。自主车辆（AEV）的目标是高效、安全地通过交叉口。这一目标促使研究车辆提高速度，避免碰撞其他车辆。从一个驾驶任务中学习到的决策策略在另一个驾驶任务中进行传递和评估。仿真结果表明，与相似任务相关的决策策略是可传递的。结果表明，所提出的控制框架可以减少时间消耗，实现在线实施.
2020-10-10 cs.AI cs.LG
Dexterous Manipulation from Images: Autonomous Real-World RL via Substep Guidance
UC Berkeley（加州大学伯克利分校）；Meta AI Research（Meta人工智能研究院）；University of Washington（华盛顿大学）
复杂和接触丰富的机器人操作任务，特别是那些涉及多指手和欠驱动的对象操作，提出了一个重大的挑战，任何控制方法。基于强化学习的方法为这种设置提供了一个有吸引力的选择，因为它们可以使机器人学习微妙地平衡接触力并灵巧地重新定位物体，而无需强有力的建模假设。然而，在现实世界的灵巧操作系统上运行强化学习通常需要大量的人工工程。这否定了强化学习原则上应该提供的自主数据汇集和易用性的好处。在本文中，我们描述了一个基于视觉的灵巧操作系统，提供了一个“无编程”的方法，为用户定义新的任务，并使机器人与复杂的多指手，通过互动来学习执行它们。我们系统的核心原则是，在基于视觉的环境中，用户应该能够提供高水平的中间监督，以规避遥操作或动觉教学中的挑战，使机器人不仅能够有效地学习任务，而且能够自主练习。我们的系统包括一个框架，让用户定义一个最终的任务和中间的子任务与图像的例子，一个强化学习过程，学习任务自主没有干预，和实验结果与四指机器人手学习多阶段的对象操作任务直接在现实世界中，没有模拟，手动建模，或奖励工程。
2022-12-19 cs.AI cs.CV cs.LG
ReSyn: Autonomously Scaling Synthetic Environments for Reasoning Models
Carnegie Mellon University（卡内基梅隆大学）；Amazon Web Services（亚马逊网络服务）
ReSyn通过生成多样化推理环境，利用验证器监督和任务多样性提升推理语言模型的推理能力。
2026-02-23 cs.AI cs.LG
Autonomous Extracting a Hierarchical Structure of Tasks in Reinforcement Learning and Multi-task Reinforcement Learning
Washington State University（华盛顿州立大学）
强化学习（RL）虽然通常功能强大，但学习速度较慢，特别是在高维空间中。任务的自主分解和分层方法的使用有可能大大加快这些领域的学习。本文提出了一种新的实用方法，可以自主分解任务，利用关联规则挖掘，发现隐藏在数据采掘实体之间的关系。提出了一种新的基于关联规则挖掘的任务层次结构提取方法ARM-HSTRL（Association Rule Mining to extract Hierarchical Structure of Tasks in强化学习）。它提取强化学习中子目标的时间和结构关系，以及多任务强化学习。特别是，它找到了子目标和它们之间的关系。实验结果表明，该方法在强化学习的两个主要问题上具有显著的效率和性能。
2017-09-15 cs.AI
Autonomous UAV Navigation: A DDPG-based Deep Reinforcement Learning Approach
Stevens Institute of Technology（斯蒂文斯理工学院）；University of Carthage（迦太基大学）
在本文中，我们提出了一个自主无人机路径规划框架，使用深度强化学习方法。其目标是采用一个自我训练的无人机作为一个飞行的移动单元，以达到空间分布的移动或静态目标在一个给定的三维城市区域。在该方法中，设计了一个具有连续动作空间的深度确定性策略梯度（DDPG）来训练无人机穿越障碍物到达指定目标。设计了一个自定义的奖励函数，以最小化无人机与其目的地之间的距离，同时惩罚碰撞。数值模拟研究了无人机在学习环境和自主确定不同选定场景的轨迹方面的行为。
2020-03-21 cs.AI cs.LG cs.RO
Hierarchical Reinforcement Learning Framework for Stochastic Spaceflight Campaign Design
Georgia Institute of Technology（佐治亚理工学院）
针对存在不确定性的多任务航天任务设计问题，本文提出结合强化学习与混合整数线性规划（MILP）的分层框架，通过分层优化任务级与子任务级决策，为空间任务设计提供新的解决方案。
2022-02-17 cs.LG cs.SY eess.SY
Generating Interpretable Fuzzy Controllers using Particle Swarm Optimization and Genetic Programming
Technical University of Munich（慕尼黑工业大学）；Siemens AG（西门子股份公司）
使用预先存在的工厂轨迹数据自主训练可解释的控制策略（称为策略）在工业应用中具有极大的兴趣。模糊控制器作为可解释的、有效的系统控制器已经在工业中使用了几十年。在这项研究中，我们引入了一个模糊遗传编程（GP）的方法，称为模糊GP强化学习（FGPRL），可以选择相关的状态特征，确定所需的模糊规则集的大小，并自动调整所有的控制器参数同时。每个GP个体的适应度使用基于模型的批处理强化学习（RL）来计算，该批处理首先使用可用的系统样本来训练模型，然后执行Monte Carlo推出以预测每个策略候选者的性能。我们比较FGPRL的相关方法称为模糊粒子群强化学习（FPSRL），它使用群体智能调整模糊政策参数的扩展版本。使用工业基准的实验表明，FGPRL能够自主学习可解释的模糊策略，具有较高的控制性能。
2018-04-29 cs.AI
DeepRacer: Educational Autonomous Racing Platform for Experimentation with Sim2Real Reinforcement Learning
Amazon Web Services（亚马逊云科技）
DeepRacer是一个端到端RL实验平台，可用于系统地研究开发智能控制系统的关键挑战。使用该平台，我们演示了1/18比例的汽车如何使用带有单目摄像头的RL学习自动驾驶。它在模拟中进行训练，没有在物理世界中进行额外的调整，并演示了：1）强大的强化学习算法的制定和解决方案，2）通过联合感知和动态缩小现实差距，3）用于训练最佳策略的分布式按需计算架构，以及4）用于确定何时停止训练的强大评估方法。这是深度强化学习在机器人控制代理上的首次成功大规模部署，该机器人控制代理仅使用原始相机图像作为观察结果，并使用无模型学习方法来执行鲁棒的路径规划。我们在GitHub上开源了我们的代码和视频演示：https://git.io/fjxoJ。
2019-11-05 cs.AI cs.LG cs.RO
Deep RL for Fast Long-Horizon Operations Scheduling on NASA's Carruthers Geocorona Observatory Mission
NASA（美国国家航空航天局）
提出一种深度强化学习框架，通过宏动作抽象和动态动作掩码解决长时域组合优化问题，为NASA Carruthers Geocorona天文台生成全局可行调度，提升科学质量，并在6小时内完成训练。
2026-06-23 astro-ph.EP astro-ph.IM cs.LG
Scaling up Energy-Aware Multi-Agent Reinforcement Learning for Mission-Oriented Drone Networks with Individual Reward
Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）；Department of Computer Science, Colby College（科尔比学院计算机科学系）
提出基于个体奖励函数的能量感知多智能体强化学习模型，利用深度Q网络解决无人机网络动态环境和电池容量限制下的轨迹规划问题，实验表明在任务密度高时成功率接近100%，且扩展性优于共享奖励模型。
2026-05-24 cs.AI cs.LG cs.MA
DRiLLS: Deep Reinforcement Learning for Logic Synthesis
Brown University（布朗大学）；American University in Cairo（开罗美国大学）
逻辑综合需要对综合优化流程进行广泛的调整，其中结果的质量（QoR）取决于所使用的优化序列。由于可能的优化排列的指数数量，有效的设计空间探索是具有挑战性的。因此，优化过程的自动化是必要的。在这项工作中，我们提出了一种新的强化学习为基础的方法，导航的优化空间，没有人为干预。我们展示了一个优势演员评论家（A2C）代理，旨在尽量减少受时间约束的区域的培训。使用所提出的方法，设计可以自动优化与无人在回路中。综合EPFL基准套件的评估表明，该代理优于现有的勘探方法，并提高了QoR的平均13%。
2019-11-13 cs.AI cs.LG cs.NE
Distributed Area Coverage with High Altitude Balloons Using Multi-Agent Reinforcement Learning
NREIP Intern（NREIP实习生）；U.S. Naval Research Laboratory（美国海军研究实验室）；U.S. Government（美国政府）
针对小型高空气球编队本地化区域覆盖任务中现有确定性方法表现不佳的问题，本研究扩展RLHAB仿真环境，将QMIX多智能体强化学习算法适配于该任务，实现了与理论最优确定性方法相近的性能，为复杂多HAB自主任务提供基础。
2025-10-04 cs.LG cs.MA cs.RO
Autonomous Robotic Arm Manipulation for Planetary Missions using Causal Machine Learning
Cranfield University（克兰菲尔德大学）；School of Aerospace, Transport and Manufacturing, Cranfield University（克兰菲尔德大学航空、运输与制造学院）
本文提出在模拟行星环境中结合因果机器学习与强化学习，使机械臂无需先验知识或预收集数据即可通过交互识别物体的质量、摩擦系数等因果因素。
2024-03-01 astro-ph.EP astro-ph.IM cs.LG
Online Reinforcement Learning for Dynamic Multimedia Systems
在我们以前的工作中，我们提出了一个系统的跨层框架的动态多媒体系统，它允许每一层作出自主和前瞻性的决定，最大限度地提高系统的长期性能，同时满足应用程序的实时延迟约束。所提出的解决方案解决了跨层优化离线，假设多媒体系统的概率动态是已知的先验。然而，在实践中，这些动态是先验未知的，因此必须在线学习。在本文中，我们解决这个问题，让多媒体系统层学习，通过反复相互作用，自主优化系统的长期性能在运行时。我们提出了两种强化学习算法，用于在不同的设计约束下优化系统：第一种算法以集中的方式解决跨层优化，第二种算法以分散的方式解决跨层优化。我们分析这两种算法所需的计算，内存和层间通信开销。在注意到所提出的强化学习算法学习速度太慢之后，我们引入了一种互补的加速学习算法，该算法利用了有关系统动态的部分知识，以显着提高系统的性能。在我们的实验中，我们证明了分散式学习可以像集中式学习一样执行，同时使层能够自主行动。此外，我们表明，现有的应用程序无关的强化学习算法，和现有的近视学习算法部署在多媒体系统中，执行显着不如我们提出的应用程序感知和前瞻性的学习方法。
2009-06-29 cs.LG cs.MM
Mission schedule of agile satellites based on Proximal Policy Optimization Algorithm
随着在轨卫星数量和类型的不断增加以及任务的复杂化，卫星任务规划是当今空间活动的重要组成部分。提出了一种结合近端策略优化算法的任务调度模型。与传统的启发式规划方法不同，本文将强化学习算法引入到启发式规划中，找到了一种新的描述问题的方法。本文考虑了包括数据下载在内的几个约束条件。
2020-07-05 cs.AI
Metric State Space Reinforcement Learning for a Vision-Capable Mobile Robot
我们解决的问题，自主学习控制器的视觉能力的移动机器人。我们扩展了McCallum（1995）的最近序列记忆算法，以允许在状态动作轨迹上的一般度量。我们证明了我们的方法的可行性，成功地运行我们的算法在一个真正的移动机器人。该算法是新颖和独特的，因为它（a）探索环境，并直接在移动机器人上学习，而不使用手工制作的计算机模型作为中间步骤，（b）不需要手动离散化的传感器输入空间，（c）工作在分段连续的感知空间，（d）处理部分可观测性。与以前的方法相比，这允许从更少的经验中学习。
2006-03-07 cs.LG cs.RO
Autonomous Robotic Reinforcement Learning with Asynchronous Human Feedback
University of Washington（华盛顿大学）；Massachusetts Institute of Technology（麻省理工学院）
针对现实世界中自主机器人学习面临的奖励塑形困难和免重置训练难题，本文提出GEAR系统，利用远程非专家异步人类反馈学习距离函数指导探索，并结合自监督目标导向策略学习，使机器人能够在真实环境中持续自主改进。
2023-10-31 cs.AI cs.LG cs.RO
Optimal Options for Multi-Task Reinforcement Learning Under Time Constraints
University of Rome ‘Sapienza’（罗马第一大学（Sapienza大学））；Federal University of Rio Grande do Sul (UFRGS)（南里奥格兰德联邦大学（UFRGS））；National Research Council of Italy (CNR)（意大利国家研究委员会（CNR））
强化学习可以极大地受益于使用选项作为编码重复行为和促进探索的一种方式。一个重要的开放问题是如何能够自主学习有用的选项时，解决相关任务的特定分布的代理。我们调查的一些条件，影响最优的选项，在设置代理人有一个有限的时间预算学习每个任务和任务分配可能涉及不同程度的相似性的问题。我们直接搜索最优的选项集，发现的选项显着不同的因素，如可用的学习时间预算和发现的选项优于流行的选项生成算法。
2020-01-06 cs.AI cs.LG stat.ML
Decision Making for Human-in-the-loop Robotic Agents via Uncertainty-Aware Reinforcement Learning
Columbia University（哥伦比亚大学）；Amazon Alexa AI（亚马逊Alexa人工智能）
在人在回路范例中，机器人代理能够在解决任务时大部分自主行动，但可以在需要时向外部专家请求帮助。然而，知道何时请求这种帮助是至关重要的：太少的请求可能导致机器人犯错，但太多的请求可能会使专家过载。在本文中，我们提出了一个基于强化学习的方法来解决这个问题，当一个半自主智能体对任务的最终成功信心不足时，它会请求外部帮助。置信水平通过估计当前状态的回报方差来计算。我们表明，这种估计可以在训练过程中使用Bellman递归迭代改进。在离散导航问题的完全和部分可观察的状态信息，我们表明，我们的方法有效地利用了有限的预算的专家调用在运行时，尽管没有访问的专家在训练时。
2023-03-14 cs.AI cs.LG cs.RO
Multi-agent Reinforcement Learning for Decentralized Stable Matching
University of Kentucky（肯塔基大学）
在现实世界中，人们/实体通常独立自主地寻找匹配，例如寻找工作、合作伙伴、室友等。我们提出了使用一个多智能体强化学习（MARL）范式的空间制定分散双边匹配市场的独立和自主智能体。拥有独立行动的自主智能体会使我们的环境变得非常动态和不确定。此外，代理人缺乏其他代理人的偏好知识，必须探索环境并与其他代理人交互，通过嘈杂的奖励来发现自己的偏好。我们认为这样的设置更好地接近现实世界，我们研究我们的MARL方法的有用性it. Along传统的稳定匹配的情况下，代理人有严格的顺序偏好，我们检查我们的方法的适用性不完整的列表和领带稳定匹配。我们调查我们的结果的稳定性，不稳定性水平（不稳定的结果）和公平性。我们的MARL方法大多产生稳定和公平的结果。
2021-12-04 cs.AI cs.LG cs.MA
Autonomous Racing using a Hybrid Imitation-Reinforcement Learning Architecture
SRM Institute of Science and Technology（SRM科学技术研究所）
在这项工作中，我们提出了一个严格的端到端的自动驾驶汽车控制策略，旨在最大限度地减少单圈时间的时间攻击赛车事件。我们还介绍了作为本研究项目的一部分开发的AutoRACE模拟器，该模拟器用于模拟精确的车辆和环境动力学以及逼真的视听效果。我们采用了一种混合模仿-强化学习架构，并制作了一种新颖的奖励函数来训练深度神经网络策略，以便在不到20小时的时间内自主驾驶（使用模仿学习）和比赛（使用强化学习）一辆汽车。部署结果报告为10个不同的人类玩家的10个自动圈与100个手动圈的直接比较。自主智能体不仅表现出优越的性能，比最佳手动圈速快了0.96秒，而且在平均圈速方面也领先人类选手1.46秒。这种优势可以通过自主智能体更好的轨迹优化和更低的反应时间来证明。
2022-11-26 cs.AI cs.LG cs.NE
Reinforcement Learning for Optimal Experiment Design in Parameter Identification of Mechatronic Systems
Josef Ressel Centre for Intelligent and Secure Industrial Automation, Salzburg University of Applied Sciences, Salzburg, Austria（约瑟夫·雷斯尔智能与安全工业自动化中心，萨尔茨堡应用技术大学，萨尔茨堡，奥地利）；Paris Lodron University of Salzburg, Salzburg, Austria（萨尔茨堡巴黎洛登伦大学，萨尔茨堡，奥地利）
提出一种强化学习智能体，通过奖励塑形自主满足安全约束，为Quanser Aero 2测试平台学习最优激励信号，在三个辨识参数上均达到竞争性估计精度，且安全违规率仅0.75%。
2026-05-19 cs.LG cs.RO
Adaptable Automation with Modular Deep Reinforcement Learning and Policy Transfer
Northeastern University（东北大学）
深度强化学习（RL）的最新进展为智能自动化创造了前所未有的机会，机器可以自主学习执行给定任务的最佳策略。然而，目前的深度强化学习算法主要专注于窄范围的任务，样本效率低下，缺乏足够的稳定性，这反过来又阻碍了它们的工业应用。本文通过开发和测试基于任务模块化和迁移学习概念的Hyper-Actor Soft Actor-Critic（HASAC）RL框架来解决这一限制。建议的HASAC的目标是提高一个代理的适应性，以新的任务，通过一个“超演员”的前任务的学习政策转移到新的任务。HASAC框架进行了测试，一个新的虚拟机器人操作基准，元世界。数值实验表明，HASAC在奖励值、成功率和任务完成时间方面优于最先进的深度RL算法。
2020-11-27 cs.AI cs.HC cs.LG
Solving Challenging Dexterous Manipulation Tasks With Trajectory Optimisation and Reinforcement Learning
Warwick Manufacturing Group, University of Warwick（华威大学华威制造集团）；University of Warwick（华威大学）
训练代理自主学习如何使用拟人机器人手有可能导致系统能够在非结构化和不确定的环境中执行多种复杂的操作任务。在这项工作中，我们首先介绍了一套具有挑战性的模拟操作任务，目前的强化学习和轨迹优化技术发现困难。其中包括两个模拟的手必须在彼此之间传递或投掷物体的环境，以及代理必须学习在手指之间旋转一支长笔的环境。然后，我们介绍了一个简单的轨迹优化，在这些环境中执行显着优于现有的方法。最后，在具有挑战性的PenSpin任务中，我们将通过轨迹优化生成的次优演示与离线强化学习相结合，获得了远远超过这两种方法的性能，有效地解决了环境问题。我们所有结果的视频可在以下网站获得：https://dexterous-manipulation.github.io/
2021-05-16 cs.AI cs.RO
Self-supervised reinforcement learning for speaker localisation with the iCub humanoid robot
Italian Institute of Technology（意大利理工学院）；University of Genova（热那亚大学）；University of Lethbridge（莱斯布里奇大学）
在未来，机器人将与人类进行越来越多的互动，并且必须进行自然和有效的沟通。自动语音识别系统（ASR）将在创造自然交互和使机器人成为更好的伴侣方面发挥重要作用。人类擅长在嘈杂环境中进行语音识别，能够滤除噪音。在这种嘈杂的环境中，看一个人的脸是人类过滤语音所依赖的机制之一。拥有一个可以看向说话者的机器人可以在具有挑战性的环境中提高ASR的性能。为了实现这一目标，我们提出了一个基于自我监督强化学习的框架，该框架受到人类早期发展的启发，允许机器人自主创建一个数据集，该数据集后来用于学习使用深度学习网络来定位扬声器。
2020-11-12 cs.AI cs.RO
