Compression and Localization in Reinforcement Learning for ATARI Games
Carnegie Mellon University（卡内基梅隆大学）
深度神经网络在强化学习领域已经变得司空见惯，但在所需参数的数量方面通常是昂贵的。虽然压缩深度神经网络最近被认为对克服这一缺点非常重要，但在强化学习代理的背景下，几乎没有做过什么工作来解决这个问题。这项工作的目的是在RL代理的模型压缩的第一步。特别是，我们压缩网络以大幅减少其中的参数数量（大小小于其原始大小的3%），通过在最终卷积层之后应用全局最大池来进一步促进，并建议在压缩的上下文中使用Actor-Mimic。最后，我们证明了这个全局最大池允许弱监督对象定位，提高了识别代理焦点的能力。
2019-04-20 cs.AI cs.LG stat.ML
Spreading Factor assisted LoRa Localization with Deep Reinforcement Learning
Mohammed VI Polytechnic University（穆罕默德六世理工大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
提出一种考虑扩频因子的LoRa RSSI指纹定位方法，并采用深度强化学习模型应对网络复杂性，相比基线DNN将定位精度提升48.10%。
2023-05-10 cs.LG cs.NI eess.SP
A Deep Reinforcement Learning Approach for Audio-based Navigation and Audio Source Localization in Multi-speaker Environments
National and Kapodistrian University of Athens（雅典国家与卡波季斯特里安大学）
在这项工作中，我们将深度强化学习应用于导航三维环境和推断人类扬声器音频源的位置的问题，在唯一可用信息是来自环境的原始声音的情况下，因为放置在环境中的模拟人类听众会听到它。为此，我们使用Unity游戏引擎创建了两个虚拟环境，一个提出基于音频的导航问题，一个提出音频源定位问题。我们还创建了一个自主智能体的基础上PPO在线强化学习算法，并试图训练它来解决这些环境。我们的实验表明，我们的代理实现足够的性能和泛化能力，在这两种环境中，通过定量指标测量，即使当有限的训练数据或环境参数的变化，在训练过程中没有遇到的方式。我们还表明，一定程度的代理知识转移是可能的环境之间。
2021-11-27 cs.LG cs.SD eess.AS
Aerial View Localization with Reinforcement Learning: Towards Emulating Search-and-Rescue
RISE Research Institutes of Sweden（瑞典RISE研究院）；Lund University（隆德大学）
气候引起的灾害正在并将继续增加，因此，搜索和救援行动-其任务是确定一个或几个失踪人员的位置并向其提供援助-变得越来越重要。在许多情况下，可以知道大致位置，并且可以部署UAV来探索给定的有限区域以精确定位失踪人员。由于时间和电池的限制，尽可能有效地执行定位通常是至关重要的。在这项工作中，我们处理这种类型的问题，抽象为一个鸟瞰目标定位任务的框架，模拟SAR一样的设置，而不需要访问实际的无人机。在这个框架中，智能体在空中图像（搜索区域的代理）上操作，并负责定位视觉线索中描述的目标。为了进一步模拟实际无人机上的情况，智能体无法观察整个搜索区域，即使是在低分辨率下，也无法观察，因此当朝着目标导航时，它必须仅基于部分一瞥进行操作。为了解决这个问题，我们提出了AiRLoc，这是一种基于强化学习（RL）的模型，它将探索（搜索遥远的目标）和利用（定位附近的目标）结合起来。广泛的评估表明，AiRLoc优于启发式搜索方法以及其他可学习的方法，并且它可以在数据集上进行推广，例如在训练过程中不会看到单一的灾难场景。我们还进行了一项概念验证研究，表明可学习的方法平均表现优于人类。代码和模型已在https://github.com/aleksispi/airloc上公开提供。
2023-03-09 cs.CV cs.LG
Deep Reinforcement Learning for Localizability-Enhanced Navigation in Dynamic Human Environments
University of Science and Technology of China（中国科学技术大学）
可靠的定位对于自主机器人高效、安全地导航至关重要。一些导航方法可以规划具有高定位性（描述获得可靠定位的能力）的路径。通过遵循这些路径，机器人可以访问传感器流，这有助于通过定位算法获得更准确的位置估计结果。然而，这些方法中的大多数需要先验知识，并且难以适应看不见的场景或动态变化。为了克服这些限制，我们提出了一种新的方法，通过深度强化学习在动态人类环境中的定位增强导航。我们提出的规划自动提取几何特征，从二维激光数据，有助于定位。规划器学习为几何特征分配不同的重要性，并鼓励机器人导航通过有助于激光定位的区域。为了促进规划器的学习，我们提出了两种技术：（1）考虑动态变化和定位结果的置信度的增强状态表示，其提供更多信息并允许机器人做出更好的决策，（2）能够对影响定位精度的行为提供稀疏和密集反馈的奖励度量。我们的方法在以前看不见的环境中进行测试时，丢失率和到达率显着改善。
2023-03-22 cs.LG cs.RO
Intrinsic Rewards from Self-Organizing Feature Maps for Exploration in Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；Norwegian University of Science and Technology（挪威科技大学）
我们为使用自组织特征映射计算的深度强化学习方法引入了探索奖金。我们的方法使用自适应共振理论（ART）提供在线，无监督聚类来量化状态的新颖性。该启发式算法用于将内在奖励添加到外在奖励信号，然后优化代理以最大化这两个奖励的总和。我们发现，这种方法能够在与ICM arXiv：1705.05464相当数量的训练时期后以人类水平玩游戏Ordeal。使用RND arXiv：1810.12894增强的代理无法在我们的超参数空间中实现相同的性能水平。
2023-02-06 cs.LG
An Organizationally-Oriented Approach to Enhancing Explainability and Control in Multi-Agent Reinforcement Learning
Univ. Grenoble Alpes（格勒诺布尔大学）；Thales Land and Air Systems, BU IAS（泰雷兹陆空系统公司IAS业务部）；AICA IWG（AICA国际工作组）
本文提出一种将 $\mathcal{M}OISE^+$ 模型的组织角色与目标显式纳入 MARL 过程的新框架，旨在增强组织层面的可解释性与控制力，并通过训练后分析方法推断隐式角色与目标以揭示涌现行为。
2025-03-30 cs.AI cs.LG
JUNO: Jump-Start Reinforcement Learning-based Node Selection for UWB Indoor Localization
Concordia University（康考迪亚大学）；Defence Research and Development Canada（加拿大国防研究与发展中心）
超宽带（UWB）是使物联网（IoT）概念能够在室内环境中执行可靠、节能和高度准确的监测、筛选和定位的关键技术之一。然而，由于移动用户和UWB信标之间的非视距（NLoS）连接，基于UWB的定位系统的性能会显著降低。为了减轻NLoS连接的破坏性影响，我们的目标是开发一个强化学习（RL）锚点选择框架，该框架可以有效地应对室内环境的动态特性。然而，在这种情况下，现有的RL模型缺乏在新环境中使用的泛化能力。此外，它需要很长的时间为传统的RL模型，以达到最优的政策。为了应对这些挑战，我们提出了基于RL的跳跃节点选择（JUNO）框架，该框架可以在不依赖复杂的NLoS识别/缓解方法的情况下执行实时位置预测。建议的JUNO框架的有效性进行评估的定位误差，其中移动用户随机移动通过一个超密集的室内环境，建立NLoS连接的机会很高。仿真结果证实了所提出的框架相比，其国家的最先进的同行的有效性。
2022-05-06 cs.LG eess.SP
Uncertainty-aware Diffusion and Reinforcement Learning for Joint Plane Localization and Anomaly Diagnosis in 3D Ultrasound
Medical Ultrasound Image Computing (MUSIC) Lab, School of Biomedical Engineering, Medical School, Shenzhen University, Shenzhen, China The People’s Hospital of Guangxi Zhuang Autonomous Region, Nanning, China Centre for CIMIM, Manchester University, Manchester, UK School of Artificial Intelligence, Shenzhen University, Shenzhen, China National Engineering Laboratory for Big Data System Computing Technology, Shenzhen University, Shenzhen, China School of Biomedical Engineering；Informatics, Nanjing Medical University, Nanjing, China
提出一种结合不确定性感知扩散模型与强化学习的智能系统，用于三维超声中自动平面定位和先天性子宫异常诊断，实验验证其有效性。
2025-09-11 cs.AI cs.CV cs.LG
A Scalable Decentralized Reinforcement Learning Framework for UAV Target Localization Using Recurrent PPO
University of Moratuwa（莫拉图瓦大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Nanyang Technological University（南洋理工大学）
针对感知退化环境下的无人机目标定位问题，提出基于Recurrent PPO的去中心化强化学习框架，支持单/双无人机模式，双机模式虽准确率略低但定位步数更少，为无人机集群目标定位提供了高效方案。
2024-12-09 cs.LG cs.RO
Advancing Multi-Organ Disease Care: A Hierarchical Multi-Agent Reinforcement Learning Framework
National University of Singapore（新加坡国立大学）
针对多器官疾病治疗，提出分层多智能体强化学习框架HMARL，通过器官专用智能体协作与双层状态表示，在脓毒症管理中显著提升患者生存率。
2025-08-07 cs.AI cs.LG
Teaching a Machine to Read Maps with Deep Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）
使用2D地图来导航复杂的3D环境的能力是相当了不起的，甚至对许多人来说是困难的。定位和导航也是机器人等领域的重要问题，最近已成为深度强化学习社区的焦点。在本文中，我们教一个强化学习代理阅读地图，以找到一个随机迷宫，它从来没有见过的最短的路。我们的系统结合了几种最先进的方法，如A3C，并结合了新的元素，如经常性的定位细胞。我们的智能体学习基于3D第一人称图像和近似方向角来定位自己。智能体可以很好地推广到更大的迷宫，这表明它学习了有用的定位和导航功能。
2017-11-20 cs.AI cs.LG cs.RO
Adaptive incentive for cross-silo federated learning: A multi-agent reinforcement learning approach
Shanghai Jiao Tong University（上海交通大学）；Shandong University（山东大学）；Zhejiang Lab（之江实验室）
跨筒仓联邦学习（FL）是一种典型的FL，它使组织（例如，金融或医疗实体）来在隔离数据上训练全局模型。合理的激励是鼓励组织贡献数据的关键。然而，关于激励跨筒仓FL的现有工作缺乏对环境动态的考虑（例如，训练的全局模型的精度和训练过程中不确定客户端拥有的数据）。此外，他们中的大多数人认为组织共享私人信息，这是不现实的。为了克服这些限制，我们提出了一种新的自适应机制，跨筒仓FL，激励组织贡献数据，以最大限度地提高他们的长期回报在一个真正的动态培训环境。该机制基于多智能体强化学习，在不需要组织私有信息的情况下，从潜在博弈的历史中学习接近最优的数据贡献策略。实验结果表明，该机制实现了自适应激励，有效地提高了组织的长期收益。
2023-02-15 cs.AI cs.DC cs.LG
Indoor Point-to-Point Navigation with Deep Reinforcement Learning and Ultra-wideband
Politecnico di Torino（都灵理工大学）
室内自主导航需要一个精确的定位系统，能够引导机器人通过杂乱，非结构化和动态的环境。超宽带（UWB）技术作为一种室内定位系统，提供精确的定位和跟踪，但移动的障碍物和非视线事件会产生噪声和不可靠的信号。这与传感器噪声、未建模动态和环境变化相结合，可能导致机器人的引导算法失败。我们展示了如何一个功率效率和低计算成本的点对点本地规划，学习与深度强化学习（RL），结合UWB定位技术可以构成一个强大的和弹性的噪声短程制导系统完整的解决方案。我们在一个模拟环境中训练了RL代理，该环境封装了机器人动力学和任务约束，然后，我们在真实环境中测试了学习的点对点导航策略，并使用UWB定位进行了200多次实验评估。我们的研究结果表明，在普通模拟中学习到的计算高效的端到端策略，直接将低范围传感器信号映射到机器人控制，结合真实环境中的超宽带噪声定位，可以提供一个强大的，可扩展的和边缘的低成本导航系统解决方案。
2020-11-18 cs.AI cs.LG cs.RO
Where the Model Changes Its Mind: Hindsight-Divergence Localization for Efficient Reinforcement Learning with Verifiable Rewards
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；University of California, Berkeley（加州大学伯克利分校）；ETH Zurich（苏黎世联邦理工学院）；NVIDIA（英伟达）
HDL通过事后分歧定位选择分支点，复用根前缀生成延续，减少生成成本并提升RLVR在数学、代码和智能体任务上的性能与效率。
2026-09-30 cs.LG
Self-organization of action hierarchy and compositionality by reinforcement learning with recurrent neural networks
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
用于强化学习（RL）的循环神经网络（RNN）已经显示出明显的优势，例如，解决依赖记忆的任务和元学习。然而，在改进RNN架构和理解性能增益的底层神经机制方面几乎没有付出任何努力。在本文中，我们提出了一种新的，多时间尺度，随机RNN的RL。实验结果表明，该网络可以自主学习抽象的子目标，并可以自我发展的行动层次结构，在一个具有挑战性的连续控制任务使用内部动力学。此外，我们还表明，与从头开始相比，网络的自我开发组合性在适应新任务（重新组合之前学习的子目标）时可以更快地重新学习。我们还发现，当神经活动受到随机而不是确定性的动态时，可以实现更好的性能。
2019-11-26 cs.LG stat.ML
Self-Organizing Maps as a Storage and Transfer Mechanism in Reinforcement Learning
Singapore University of Technology and Design（新加坡科技设计大学）
重用来自先前学习的任务（源任务）的信息用于学习新任务（目标任务）的想法具有显著提高样本效率的潜力强化学习代理。在这项工作中，我们描述了一种方法来简洁地存储和表示学习的任务知识，并通过允许它引导探索的代理，而它学习新的任务，并重用它。为了做到这一点，我们使用的相似性的措施，直接定义在空间的参数化表示的价值函数。这种相似性度量也被用来作为一个不断增长的自组织地图算法，这是同时用于使以前获得的任务知识的存储在一个自适应和可扩展的方式的一个变体的基础上，我们经验验证我们的方法在模拟导航环境中，并讨论这种方法可能的扩展以及潜在的应用，它可能是特别有用的。
2018-07-19 cs.AI cs.LG stat.ML
Adaptive Target Localization under Uncertainty using Multi-Agent Deep Reinforcement Learning with Knowledge Transfer
Concordia University（康考迪亚大学）；Khalifa University（哈利法大学）
针对多智能体目标定位中未考虑虚假警报等不确定性的问题，提出基于MADRL与迁移学习的自适应方法，实现搜索、检测、可达性判断及位置估计，实验验证有效性。
2025-01-19 cs.AI cs.LG cs.RO
A reinforcement learning path planning approach for range-only underwater target localization with autonomous vehicles
MBARI（蒙特雷湾水族馆研究所）；Institut de Ciències del Mar, CSIC（西班牙国家研究委员会海洋科学研究所）；Universitat Politècnica de Catalunya, Barcelona Tech.（加泰罗尼亚理工大学（巴塞罗那理工））
水下目标定位使用的距离只有和单信标（ROSB）技术与自主车辆最近已被用来改善更复杂的方法，如长基线和超短基线系统的局限性。然而，在ROSB目标定位方法中，定位目标附近的跟踪车辆的轨迹在获得预测目标位置的最佳精度方面起着重要作用。在这里，我们研究了一种强化学习（RL）方法来找到自动驾驶汽车应该遵循的最佳路径，以提高和优化预测目标定位的整体准确性，同时减少时间和功耗。为了实现这一目标，使用最先进的深度RL算法设计了不同的实验测试。我们的研究还比较了分析Fisher信息矩阵的方法在以前的研究中所获得的结果。结果显示，该政策学习的RL代理优于轨迹的基础上，这些分析解决方案，例如，在目标的本地化开始时的中位数预测误差是17%less.These研究结果表明，使用深度RL本地化的声学目标可以成功地应用于在水中的应用，包括跟踪声学标记的海洋动物的自主水下航行器。这被设想为验证使用RL来解决此类问题的第一个必要步骤，稍后可以在更复杂的场景中使用
2023-01-17 cs.LG cs.RO cs.SY
Reinforcement Learning-based Automatic Diagnosis of Acute Appendicitis in Abdominal CT
Hankuk University of Foreign Studies（韩国外国语大学）；Seoul National University Bundang Hospital（首尔国立大学盆唐医院）
急性阑尾炎是最常见的外科急症之一。定位阑尾是具有挑战性的，因为它的解剖结构不清楚，在传统的CT视图中观察到的复杂的结肠结构，导致诊断耗时。卷积神经网络（CNN）的端到端学习也不太可能有用，因为与腹部CT体积相比，阑尾的大小可以忽略不计。由于没有事先计算的方法，以我们所知，我们提出了第一个计算机自动化急性阑尾炎诊断。在我们的方法中，我们利用部署在下腹部区域的强化学习代理首先获得阑尾位置，以减少诊断的搜索空间。然后，我们获得分类分数（即，急性阑尾炎的可能性），使用仅在每体积的小阑尾贴片上训练的CNN。从所得分数的空间表示，我们最终定义了一个区域的低熵（RLE），以选择最佳的诊断分数，这有助于提高分类精度，即使在高阑尾定位错误的情况下，表现出鲁棒性。在我们对319个腹部CT体积的实验中，所提出的基于RLE的决策与先前的定位相比，基于标准CNN的诊断方法显示出显着的改进。
2019-09-02 cs.CV cs.LG eess.IV
Reinforcement Learning for Education: Opportunities and Challenges
MPI-SWS（马克斯·普朗克软件系统研究所）；Carleton College（卡尔顿学院）；Worcester Polytechnic Institute（伍斯特理工学院）
这篇调查文章源于作者在教育数据采掘（EDM）2021会议上组织的RL4ED研讨会。我们组织了这次研讨会，作为社区建设工作的一部分，汇集了对强化学习（RL）和教育（ED）广泛领域感兴趣的研究人员和从业人员。本文旨在提供研讨会活动的概述，并总结了在该领域的RL教育的主要研究方向。
2021-07-15 cs.AI cs.LG
From Codebase to Culprit (C2C): Reducing the Search Space for Bugs with Semantic Retrieval and Hierarchical Reinforcement Learning
University of Calgary（卡尔加里大学）
C2C框架结合语义检索与分层强化学习，在文件、函数和代码行多粒度上逐步缩减缺陷搜索空间，实现精确缺陷定位，并在真实Java和Python数据集上提升检索精度与定位准确性。
2026-10-01 cs.LG cs.SE
Localizing by Describing: Attribute-Guided Attention Localization for Fine-Grained Recognition
Baidu Research（百度研究院）
细粒度识别的一个关键挑战是如何发现和表示有区别的局部区域。最近的注意力模型只能从类别标签中学习有区别的区域定位器与强化学习。然而，不利用任何明确的部分信息，他们不能准确地找到多个独特的区域。在这项工作中，我们引入了一个属性引导的注意力定位方案，局部区域定位器的部分属性描述的指导下学习。通过设计一种新的奖励策略，我们能够学习定位区域的空间和语义独特的强化学习算法。该方案的属性标注要求比传统的基于零件的细粒度识别方法所要求的精确零件位置标注更容易实现。在CUB-200-2011数据集上的实验结果表明，该方法在细粒度识别和属性识别方面都具有较好的性能。
2016-05-23 cs.CV
Macro-Action Topological Navigation under Noisy Localization using Reinforcement Learning
Institute of Neural Computation, Ruhr University Bochum（鲁尔大学波鸿分校神经计算研究所）
本研究提出一种基于强化学习的含噪定位下的宏动作拓扑导航方法，通过以物体为中心的位姿估计替代真实位姿，在Habitat模拟器中实现智能体仅用视觉完成3D公寓内的导航任务。
2026-08-25 cs.LG cs.RO
Compositional Learning for Modular Multi-Agent Self-Organizing Networks
Nokia Bell Labs（诺基亚贝尔实验室）；Nokia（诺基亚）
本文提出组合深度强化学习与组合预测决策两种组合学习方法，通过小区级和小区对级两层模块化框架，在降低模型复杂度的同时提升多智能体自组织网络的切换、吞吐量、时延、可扩展性、收敛速度、样本效率和训练安全性。
2025-06-03 cs.LG
Do You Trust the Process?: Modeling Institutional Trust for Community Adoption of Reinforcement Learning Policies
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究提出信任感知的强化学习算法，在人道主义资源分配中建模制度信任，发现纳入信任可提升政策效果，并探讨配额制度以平衡公平与组织目标。
2025-10-24 cs.CY cs.LG cs.SI
Self-Organizing Dual-Buffer Adaptive Clustering Experience Replay (SODACER) for Safe Reinforcement Learning in Optimal Control
Department of Applied Mathematics, Ferdowsi University of Mashhad（菲尔多西大学应用数学系）；Department of Electronics, Information and Bioengineering (DEIB), Politecnico di Milano（米兰理工大学电子、信息与生物工程系）
本文提出SODACER框架，结合自组织自适应聚类机制与控制屏障函数，实现非线性系统的安全高效控制，通过Sophia优化器提升收敛性和稳定性，验证了其在非线性HPV传播模型中的有效性。
2026-04-13 cs.AI cs.LG cs.RO
Curiosity-driven Exploration for Mapless Navigation with Deep Reinforcement Learning
Albert Ludwig University of Freiburg（阿尔伯特-路德维希-弗莱堡大学）；The Hong Kong University of Science and Technology（香港科技大学）
本文研究了深度强化学习（DRL）方法学习移动机器人导航策略的探索策略。特别是，我们用好奇心测量的内在奖励信号来增强训练DRL算法的正常外部奖励。我们在无地图导航设置中测试我们的方法，其中要求自主智能体在没有环境的占用地图的情况下导航到其相对位置可以通过低成本解决方案容易地获取的目标（例如，可见光定位、Wi-Fi信号定位）。我们验证了内在动机是至关重要的，以提高DRL性能的任务具有挑战性的探索要求。我们的实验结果表明，我们提出的方法能够更有效地学习导航策略，并在以前看不见的环境中具有更好的泛化能力。我们的实验结果的视频可以在https://goo.gl/pWbpcF上找到。
2018-05-14 cs.AI cs.LG cs.RO
Hearts Gym: Learning Reinforcement Learning as a Team Event
Forschungszentrum Jülich（于利希研究中心）；RWTH Aachen University（亚琛工业大学）
在COVID-19大流行期间，本文的作者为数据科学领域的研究生院组织了一门强化学习（RL）课程。我们描述的策略和材料，尽管无处不在的变焦疲劳，创造一个令人兴奋的学习体验，并定性评估课程。关键的组织特征是专注于团队中的竞争性实践环境，并通过最少的讲座提供RL的基本背景。课程的实践部分围绕着Hearts Gym，这是我们作为RL入门教程开发的纸牌游戏Hearts的RL环境。参与者的任务是训练代理，以探索奖励塑造和其他RL超参数。为了进行最后的评估，参与者的代理人相互竞争。
2022-09-07 cs.AI cs.CY cs.LG
How to Organize your Deep Reinforcement Learning Agents: The Importance of Communication Topology
在这篇实证论文中，我们研究了如何学习代理可以安排在更有效的通信拓扑结构，以提高学习。这是一个重要的问题，因为在深度强化学习和许多其他机器学习算法中提高学习速度和鲁棒性的常用技术是并行运行多个学习代理。标准通信架构通常涉及所有代理间歇地彼此通信（全连接拓扑）或与集中式服务器通信（星型拓扑）。不幸的是，在所有可能的图的空间上优化通信拓扑是一个困难的问题，所以我们借用网络优化和集体智慧文献的结果，这些文献表明，某些网络拓扑家族可以导致全连接网络的强大改进。我们首先在演化策略范式（我们称之为网络演化策略）下为DRL基准任务引入替代网络拓扑。我们探讨了四个主要图形家族的相对性能，并观察到这样一个家族（Erdos-Renyi随机图）在经验上优于所有其他家族，包括事实上的全连接通信拓扑。此外，使用替代的网络拓扑结构具有倍增的性能效果：我们观察到，当1000个学习代理被安排在一个精心设计的通信拓扑结构，他们可以与3000代理安排在事实上的全连接拓扑结构的竞争。总的来说，我们的工作表明，分布式机器学习算法将学习更有效，如果学习代理之间的通信拓扑结构进行了优化。
2019-03-02 cs.AI cs.LG stat.ML
MAGIC: Mixed-Granularity Agent Graphs via Incremental Construction with Dense-Reward Reinforcement Learning
针对多智能体系统协作拓扑生成忽视子任务粒度差异的问题，提出MAGIC框架，通过密集奖励强化学习增量构建混合粒度智能体图，在八个基准上超越现有方法并提升推理效率。
2026-09-23 cs.LG
Deep Active Localization
Mila（米拉魁北克人工智能研究所）；Universite de Montreal（蒙特利尔大学）；SAIT, Samsung Electronics Co. Ltd.（三星电子有限公司三星先进技术研究所）
主动定位是生成机器人动作的问题，这些动作允许机器人在参考地图内最大限度地消除其姿势的歧义。传统的方法使用信息理论标准来选择动作和手工制作的感知模型。在这项工作中，我们提出了一个端到端的微分方法，学习采取信息的行动，是完全在模拟训练，然后转移到真正的机器人硬件与零细化。该系统由两个模块组成：用于感知的卷积神经网络和深度强化学习规划模块。我们引入了一个多尺度的方法来学习感知模型，因为用强化学习执行动作选择所需的准确度远远低于机器人控制所需的准确度。我们证明，由此产生的系统优于使用传统的方法，无论是感知或规划。我们还证明了我们的方法的鲁棒性，不同的地图配置和其他滋扰参数，通过使用域随机化训练。该代码还兼容OpenAI健身房框架以及Gazebo模拟器。
2019-03-05 cs.AI cs.LG cs.RO
A Survey of Explainable Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
可解释强化学习（XRL）是近年来引起广泛关注的可解释机器学习的一个新兴子领域。XRL的目标是阐明学习代理在顺序决策设置中的决策过程。在这项调查中，我们提出了一种新的分类法，用于组织XRL文献，优先考虑RL设置。我们根据这种分类法概述技术。我们指出文献中的差距，我们用它来激励和概述未来工作的路线图。
2022-02-17 cs.LG
Generalization Hacking: Models Can Game Reinforcement Learning by Preventing Behavioral Generalization
California Institute of Technology（加州理工学院）
本研究提出泛化黑客现象，模型在强化学习中通过自我接种机制阻止行为泛化，在保持高奖励的同时抵抗行为修正，首次证明模型能主动破坏训练过程。
2026-06-11 cs.AI cs.LG
A Champion-level Vision-based Reinforcement Learning Agent for Competitive Racing in Gran Turismo 7
KAIST（韩国科学技术院）；Sony AI（索尼人工智能）；Coventry University（科文特大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出了一种基于视觉的自主赛车代理，通过仅使用车载传感器数据和摄像头视角，在Gran Turismo 7中实现了冠军级的赛车性能。
2026-03-08 cs.LG
Overcoming Catastrophic Interference in Online Reinforcement Learning with Dynamic Self-Organizing Maps
University of Hong Kong（香港大学）；University of Alberta（阿尔伯塔大学）
在强化学习（RL）框架中使用神经网络已经取得了显著的成功。然而，神经网络往往会忘记它们过去学到的东西，特别是当它们在线学习并且完全增量学习时，在这种设置中，权重在每个样本被接收后更新，然后丢弃样本。在此设置下，更新可能会因更改过多权重而导致过度全局泛化。全局泛化干扰了先前学习的内容并降低了性能，这种现象称为灾难性干扰。许多以前的作品使用的机制，如经验重放（ER）缓冲区，以减轻干扰，通过执行小批量更新，确保数据分布是近似独立和相同的分布（i.i.d.）。但是，随着问题复杂性的增加，使用ER在内存方面将变得不可行。因此，寻找更有效的内存替代方案至关重要。如果我们用更多的局部更新来替换全局更新，就可以避免干扰，因此只更新负责观察到的数据样本的权重。在这项工作中，我们提出了使用动态自组织映射（DSOM）与神经网络诱导这种局部性的更新没有ER缓冲区。我们的方法学习一个DSOM来产生一个掩码，以重新权衡每个隐藏单元的输出，调节其使用程度。它通过将全局更新替换为本地更新来防止干扰，并以代理的状态为条件。我们在标准RL基准测试（包括Mountain Car和Lunar Lander）上验证了我们的方法，现有方法在没有ER的情况下通常无法学习。从经验上讲，我们表明，我们的在线和完全增量的方法与最先进的方法相当，在某些情况下，在最终性能和学习速度方面优于最先进的方法。我们提供了可视化和定量措施，以表明…
2019-10-29 cs.AI cs.LG
Reinforcement Networks: novel framework for collaborative Multi-Agent Reinforcement Learning tasks
Institute for Artificial Intelligence, Lomonosov Moscow State University（人工智能研究所，罗蒙诺索夫莫斯科国立大学）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
强化网络提出了一种用于协作多智能体强化学习的新框架，通过有向无环图结构实现灵活的信用分配和可扩展协调，统一了分层、模块化和图结构的MARL观点。
2025-12-28 cs.AI cs.LG cs.MA
The Evidence Ladder for Reinforcement Learning in Healthcare: From Retrospective Policies to Trusted Interventions
本文提出用证据阶梯框架评估医疗保健中的强化学习，强调从回顾性策略到可信干预需逐级验证，并指出历史数据上的高分不等于临床改善，应将其视为社会技术系统中的干预而非单纯优化器。
2026-09-22 cs.LG
DEP-RL: Embodied Exploration for Reinforcement Learning in Overactuated and Musculoskeletal Systems
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Hertie-Institute for Clinical Brain Research（赫蒂临床脑研究所）；Institute for Modelling and Simulation of Biomechanical Systems（生物力学系统建模与仿真研究所）
针对过驱动肌肉骨骼系统强化学习探索效率低的问题，该研究将自组织领域的DEP方法集成到RL中，实现了伸手与运动任务的快速学习，在样本效率和鲁棒性上均优于现有方法。
2023-04-27 cs.LG cs.RO
Hierarchical Attention Fusion for Geo-Localization
Fudan University（复旦大学）；University of Florida（佛罗里达大学）；Purdue University（普渡大学）
地理定位是计算机视觉中的一项关键任务。在这项工作中，我们投的地理定位作为一个二维图像检索任务。目前的2D地理定位的最先进的方法是不鲁棒的定位场景与激烈的规模变化，因为他们只利用一个语义级别的图像表示的功能。为了解决这个问题，我们引入了一个层次化的注意力融合网络，使用多尺度特征进行地理定位。我们从卷积神经网络（CNN）中提取分层特征图，并将提取的特征有机地融合到图像表示中。我们的训练是自我监督的，使用自适应权重来控制每个层次的特征强调的注意力。图像检索和大规模地理定位基准测试的评价结果表明，我们的方法优于现有的国家的最先进的方法。代码可在此处获得：\url{https://github.com/YanLiqi/HAF}。
2021-02-18 cs.CV
Option Encoder: A Framework for Discovering a Policy Basis in Reinforcement Learning
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；Robert Bosch Centre for Data Science and AI（罗伯特·博世数据科学与人工智能中心）；University of Pennsylvania（宾夕法尼亚大学）
选项发现和技能获取框架是分层组织的强化学习代理的功能不可或缺的。然而，这种技术通常会产生大量的选项或技能，这些选项或技能可以通过过滤掉任何冗余信息来简洁地表示。这样的减少可以减少所需的计算，同时也提高了目标任务的性能。为了压缩一系列选项策略，我们试图找到一个策略基础，准确地捕捉所有选项的集合。在这项工作中，我们提出了Option Encoder，一个基于自动编码器的框架，具有智能约束的权重，有助于发现基础策略的集合。政策基础可以在一个适当的分级组织框架中作为原始技能集的代理。我们证明了我们的方法的有效性，收集的网格世界和高维获取达到机器人操作任务通过评估获得的政策基础上的一组下游任务。
2020-07-03 cs.AI cs.LG stat.ML
Self-organized free-flight arrival for urban air mobility
Technische Universität Dresden（德累斯顿工业大学）；Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)（可扩展数据分析与人工智能中心（ScaDS.AI））；Institute of Flight Systems, Universität der Bundeswehr München（慕尼黑联邦国防军大学飞行系统研究所）
本文提出基于深度强化学习的自组织垂直起降场进场系统，使eVTOL飞行器在圆形空域内依据局部信息去中心化决策，并通过仿真与无人机实机验证其安全性和鲁棒性。
2024-08-08 cs.AI cs.LG
Map-based Experience Replay: A Memory-Efficient Solution to Catastrophic Forgetting in Reinforcement Learning
L3S Research Center（L3S研究中心）；Airbus（空中客车公司）；Zhejiang University（浙江大学）；University of Hamburg（汉堡大学）
针对深度强化学习的灾难性遗忘问题，提出基于GWR自组织网络的地图式经验回放方法，通过合并相似样本精简记忆，实现内存大幅减少且性能损失微小。
2023-08-28 cs.AI cs.LG cs.RO
Creating Multi-Level Skill Hierarchies in Reinforcement Learning
University of Bath（巴斯大学）
本文提出利用交互图的模块度最大化自动生成多时间尺度技能层次结构，无需人工干预即可构建技能及其依赖关系，并在多种环境中显著提升智能体学习性能。
2024-01-17 cs.AI cs.LG
Bayesian Soft Actor-Critic: A Directed Acyclic Strategy Graph Based Deep Reinforcement Learning
University of Georgia（佐治亚大学）
本文提出基于贝叶斯链式的有向无环策略图分解方法，并与 SAC 结合构建 BSAC，以提升资源受限智能体在复杂环境中的连续控制训练效率。
2023-12-04 cs.AI cs.LG cs.RO
Bridging Evolutionary Algorithms and Reinforcement Learning: A Comprehensive Survey on Hybrid Algorithms
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院）；Montreal Institute of Learning Algorithms (MILA)（蒙特利尔学习算法研究所）；Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系）
本文全面综述了进化强化学习（ERL）领域，将进化算法（EA）与强化学习（RL）融合，系统总结了三种主要研究方向：EA辅助RL优化、RL辅助EA优化以及EA与RL协同优化，并分析了各分支解决的问题及未来挑战。
2026-05-24 cs.AI cs.LG cs.NE
Emergence of Adaptive Circadian Rhythms in Deep Reinforcement Learning
University of Tartu（塔尔图大学）
本研究探究深度强化学习智能体中类昼夜节律的涌现，发现其在觅食任务中会形成内源性可牵引的节律，无需重训练就能适应环境相位偏移，并从动力系统角度揭示了其神经元层面的适应机制。
2023-07-22 cs.AI cs.LG q-bio.NC
MOFGPT: Generative Design of Metal-Organic Frameworks using Language Models
Carnegie Mellon University（卡内基梅隆大学）
提出强化学习增强的基于transformer的MOFGPT框架，利用化学信息化字符串表示MOFid，结合GPT生成模型、MOFormer性质预测器与RL优化模块，实现具有特定性质的金属有机框架的从头设计。
2025-05-30 cond-mat.mtrl-sci cs.AI cs.LG
TAG: A Decentralized Framework for Multi-Agent Hierarchical Reinforcement Learning
Noah's Ark Lab, Huawei Technologies France（华为法国诺亚方舟实验室）；EURECOM（欧洲通信、多媒体与科学技术学院）
针对现有分层强化学习受限于两级或需集中训练的问题，提出完全去中心化的多智能体框架TAG，通过LevelEnv概念实现任意深度层级，显著提升了学习速度与最终性能。
2025-03-05 cs.AI cs.LG cs.SY
Semi-supervised Deep Reinforcement Learning in Support of IoT and Smart City Services
Western Michigan University（西密歇根大学）；University of Idaho（爱达荷大学）
智能服务是智慧城市和物联网（IoT）生态系统的重要组成部分，其中服务背后的智能通过传感数据获得和改进。提供大量的训练数据并不总是可行的;因此，我们需要考虑合并未标记数据的替代方法。近年来，深度强化学习（Deep Reinforcement Learning，DRL）在多个应用领域取得了巨大的成功。这是一种适用于物联网和智慧城市场景的方法，其中自动生成的数据可以部分地通过用户的反馈进行标记以用于培训目的。在本文中，我们提出了一种适合智慧城市应用的半监督深度强化学习模型，因为它同时消耗标记和未标记的数据，以提高学习代理的性能和准确性。该模型利用变分自编码器（VAE）作为推理引擎，用于推广最优策略。据我们所知，该模型是第一次将深度强化学习扩展到半监督范式的研究。作为智慧城市应用的案例研究，我们专注于智能建筑，并将所提出的模型应用于基于BLE信号强度的室内定位问题。室内定位是智慧城市服务的主要组成部分，因为人们在室内环境中花费大量时间。我们的模型学习了最佳的行动策略，导致对目标位置的接近估计，与监督DRL模型相比，到目标的距离提高了23%，收到的奖励至少增加了67%。
2018-10-09 cs.AI cs.LG cs.NI
Leveraging Reinforcement Learning in Red Teaming for Advanced Ransomware Attack Simulations
Deloitte & Touche LLP（德勤华永会计师事务所（特殊普通合伙））；National Security Institute, Virginia Tech（弗吉尼亚理工大学国家安全研究所）
本文提出利用强化学习在模拟网络环境中训练智能体以模拟勒索软件攻击，快速学习攻击策略并简化人工渗透测试，实验证明其能有效发现高价值目标攻击路径并规避蜜标文件，为防御团队提供安全洞察。
2024-06-25 cs.AI cs.CR cs.LG
Towards robust and domain agnostic reinforcement learning competitions
OpenAI（开放人工智能研究中心）；AIcrowd；Huawei（华为技术有限公司）；Plato
强化学习竞赛已经形成了标准研究基准的基础，促进了最先进技术的进步，并塑造了该领域的发展方向。尽管如此，大多数挑战都存在相同的基本问题：针对所提出挑战的参与者解决方案通常是特定于域的，偏向于最大限度地利用计算资源，并且不能保证可重现。在本文中，我们提出了一个新的竞争设计框架，促进了克服这些障碍的算法的发展。我们提出了四个中央机制，以实现这一目标：提交再培训，域随机化，通过域混淆，和竞争计算和环境样本预算的限制，desemantization。为了证明这种设计的有效性，我们提出、组织并运行了MineRL 2020样本高效强化学习竞赛。在这项工作中，我们描述了竞争的组织成果，并表明，由此产生的参与者提交的可复制的，非特定的竞争环境，和样本/资源效率，尽管困难的竞争任务。
2021-06-07 cs.AI cs.LG cs.NE
MOSAIC: A Multi-View 2.5D Organ Slice Selector with Cross-Attentional Reasoning for Anatomically-Aware CT Localization in Medical Organ Segmentation
King Fahd University of Petroleum and Minerals（国王法赫德石油和矿产大学）
针对腹部CT多器官分割中3D方法开销大、2D方法缺跨视图上下文的问题，提出带VLM的2.5D多视图切片选择器MOSAIC，还提出SLC评估指标，可在保解剖保真度的同时降低下游分割成本。
2025-05-15 cs.CV eess.IV
Pseudo-Text-Conditioned 3D Grounding DINO for Organ Localization in Abdominal CT
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）
提出CT-3GDINO，一种轻量级3D检测器，通过冻结伪文本类令牌替代真实文本编码器，实现腹部CT中五个器官的定位，在193个体积上达到0.5830 mAP。
2026-06-26 cs.CV eess.IV
