Addressing Optimism Bias in Sequence Modeling for Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
基于Transformer神经网络架构的自然语言处理（NLP）的令人印象深刻的结果激发了研究人员探索将离线强化学习（RL）视为通用序列建模问题。最近的工作基于这种范式已经取得了国家的最先进的结果，在几个主要是确定性离线Atari和D4RL基准。然而，由于这些方法将国家和行动联合建模为单个排序问题，因此它们很难理清政策和世界动态对回报的影响。因此，在对抗或随机环境中，这些方法会导致过度乐观的行为，这在自动驾驶等安全关键系统中可能是危险的。在这项工作中，我们提出了一种方法，明确地解开政策和世界模型，这使我们能够在测试时搜索的政策，是强大的多个可能的未来的环境中解决这种乐观偏见。我们在模拟中展示了我们的方法在各种自动驾驶任务上的优越性能。
2022-07-21 cs.AI cs.LG cs.RO
One-Step Flow Q-Learning: Addressing the Diffusion Policy Bottleneck in Offline Reinforcement Learning
OFQL通过一步流匹配范式，无需辅助模块或蒸馏，实现高效的一步动作生成，提升离线强化学习的训练速度和鲁棒性。
2026-02-24 cs.LG
Distributional Soft Actor-Critic: Off-Policy Reinforcement Learning for Addressing Value Estimation Errors
Tsinghua University（清华大学）
在强化学习（RL）中，函数逼近误差容易导致Q值高估，从而大大降低策略性能。本文提出了一种分布式软行动者-批评者（DSAC）算法，这是一种用于连续控制设置的非策略RL方法，通过减轻Q值高估来提高策略性能。我们首先在理论上发现，学习状态-动作回报的分布函数可以有效地减轻Q值高估，因为它能够自适应地调整Q-价值函数的更新步长。然后，通过将收益分布函数嵌入到最大熵RL中，提出了分布式软策略迭代（DSPI）框架。最后，我们提出了DSPI的一个深度非策略行动者-批评者变体，称为DSAC，它通过将状态-行动回报的方差保持在合理范围内来直接学习连续回报分布，以解决梯度爆炸和消失问题。我们评估了DSAC在MuJoCo连续控制任务套件上的性能，实现了最先进的性能。
2021-06-11 cs.AI cs.LG cs.SY
Understanding and Addressing the Pitfalls of Bisimulation-based Representations in Offline Reinforcement Learning
Beijing Institute of Technology（北京理工大学）；Alibaba Group（阿里巴巴集团）；McGill University（麦吉尔大学）；Mila, Quebec AI Institute（米拉魁北克人工智能研究所）；Wayve
本文分析了基于互模拟的表示方法在离线强化学习中失效的原因，提出使用期望算子和奖励缩放策略改进表示学习，并在MICo和SimSR上验证了性能提升。
2023-10-26 cs.LG
STAIR: Addressing Stage Misalignment through Temporal-Aligned Preference Reinforcement Learning
Beijing Key Laboratory of Embodied Intelligence Systems, Department of Automation, Tsinghua University, Beijing, China（北京智能体智能系统重点实验室，自动化系，清华大学，北京，中国）；The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences, Beijing, China（复杂系统认知与决策智能重点实验室，自动化研究所，中国科学院，北京，中国）
针对PbRL在多阶段任务中因跨阶段偏好比较导致的阶段不对齐问题，提出STAIR，利用对比学习的时间距离识别阶段并优先进行同阶段比较，实验证明其有效且符合人类认知。
2025-09-28 cs.LG
Toybox: A Suite of Environments for Experimental Evaluation of Deep Reinforcement Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Smith College（史密斯学院）
深度强化学习（RL）的评估具有内在的挑战性。特别是，学习的策略在很大程度上是不透明的，并且关于深度RL代理行为的假设很难在黑箱环境中进行测试。相当大的努力已经进入解决不透明性，但几乎没有努力一直致力于生产高品质的环境，实验评估代理的行为。我们介绍了TOYBOX，这是一个新的高性能，开源 * Atari环境子集，重新设计用于深度RL的实验评估。我们表明，TOYBOX使广泛的实验和分析，是不可能在其他环境中。*https：kdl-umass.github.io/Toybox/
2019-05-07 cs.LG stat.ML
Addressing Maximization Bias in Reinforcement Learning with Two-Sample Testing
Technische Universität Dresden（德累斯顿工业大学）；Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)（可扩展数据分析与人工智能中心（ScaDS.AI））
针对强化学习价值估计中的最大化偏差，提出基于双样本检验的 TE 与推广 KE，并改造 Q-Learning 和 BDQN，实现可调偏差、收敛保证与性能提升。
2024-08-12 cs.LG
HyAR: Addressing Discrete-Continuous Action Reinforcement Learning via Hybrid Action Representation
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；School of Cybersecurity, Northwestern Polytechnical University（西北工业大学网络空间安全学院）
离散-连续混合动作空间是机器人控制、游戏人工智能等许多实际问题的自然背景。然而，大多数强化学习（RL）的工作只展示了成功的控制与离散或连续的动作空间，而很少考虑到混合的动作空间。解决混合动作RL的一种简单方法是通过离散化或连续化将混合动作空间转换为统一的齐次动作空间，以便可以应用常规RL算法。然而，这忽略了混合动作空间的底层结构，也导致了可扩展性问题和额外的近似困难，从而导致退化的结果。在本文中，我们提出了混合动作表示（HyAR）学习一个紧凑的和可解码的潜在的表示空间的原始混合动作空间。HyAR构造了隐空间，并通过嵌入表和条件变分自动编码器（VAE）嵌入离散动作和连续参数之间的依赖关系。为了进一步提高有效性，通过无监督的环境动态预测来训练动作表示以使其在语义上平滑。最后，代理然后学习其政策与传统的DRL算法在学习的表示空间和与环境进行交互，通过解码的混合动作嵌入到原始的动作空间。我们评估HyAR在各种环境中的离散连续的动作空间。结果表明，HyAR的优越性相比，以前的基线，特别是对于高维动作空间。
2022-03-16 cs.AI cs.LG
AltNet: Addressing the Plasticity-Stability Dilemma in Reinforcement Learning
University of Massachusetts（马萨诸塞大学）
AltNet通过双网络机制实现强化学习中的可塑性恢复，避免性能下降，提升样本效率和性能。
2026-03-09 cs.AI cs.LG
Addressing the issue of stochastic environments and local decision-making in multi-objective reinforcement learning
Federation University Australia（澳大利亚联邦大学）；Institute of Innovation, Science and Sustainability（创新、科学与可持续发展研究所）
多目标强化学习（MORL）是在传统的强化学习（RL）基础上发展起来的一个解决多目标问题的新方法。一种常见的算法是通过使用向量Q值结合效用函数来扩展标量值Q学习，该效用函数捕获用户对动作选择的偏好。本研究遵循以前的作品，并侧重于什么因素影响的频率与值为基础的MORL Q-学习算法学习的最佳政策的环境中的随机状态转换的情况下，目标是最大限度地提高标量预期回报（SER）-也就是说，最大限度地提高平均结果在多个运行，而不是在每个单独的情节的结果。分析了随机环境和MORL Q-学习算法之间的相互作用，并在一个简单的多目标马尔可夫决策过程（MOMDP）空间交易者问题上运行。实验结果表明，设计良好的奖励信号可以提高原始基线算法的性能，但它仍然不足以解决更一般的环境。MORL Q-Learning的一个变体结合了全局统计数据，在原始Space Traders问题中表现优于基线方法，但在训练结束时找到所需SER最优策略的有效性仍然低于100%。另一方面，期权学习保证收敛到期望的SER最优策略，但它不能扩展到解决现实生活中更复杂的问题。本论文的主要贡献是确定噪声Q值估计的问题在多大程度上影响的能力，学习最优策略的随机环境下，非线性效用和恒定的学习率的组合。
2022-11-16 cs.AI cs.LG
Inverted Landing in a Small Aerial Robot via Deep Reinforcement Learning for Triggering and Control of Rotational Maneuvers
The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出基于深度强化学习与物理仿真的倒置着陆控制策略，经域随机化完成 sim-to-real 迁移，并通过实验揭示影响着陆成功的关键因素。
2023-04-25 cs.LG cs.RO cs.SY
Accuracy-based Curriculum Learning in Deep Reinforcement Learning
Sorbonne Université（索邦大学）；INRIA（法国国家信息与自动化研究所）
在本文中，我们研究了一种新的形式的自动化课程学习的基础上自适应选择的准确性要求，称为基于准确性的课程学习。使用基于深度确定性策略梯度算法的强化学习代理并解决Reacher环境，我们首先表明，使用随机抽样的各种准确性要求训练的代理比要求始终非常准确时更有效地学习。然后，我们表明，自适应选择的准确性要求，根据当地的能力进步的措施，自动生成一个课程的难度逐步增加，从而导致更好的学习效率比随机抽样。
2018-09-21 cs.AI cs.LG stat.ML
Discriminator-Actor-Critic: Addressing Sample Inefficiency and Reward Bias in Adversarial Imitation Learning
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；Google Brain（谷歌大脑）
我们确定了两个问题的基础上的对抗性模仿学习框架的算法的家庭。第一个问题是这些算法中使用的奖励函数中存在的隐式偏差。虽然这些偏见可能在某些环境中工作得很好，但它们也可能导致其他环境中的次优行为。其次，即使这些算法可以从一些专家演示中学习，它们也需要与环境进行大量的交互，以便在许多现实世界的应用中模仿专家。为了解决这些问题，我们提出了一种名为Discriminator-Actor-Critic的新算法，该算法使用非策略强化学习将策略-环境交互样本复杂度降低了10倍。此外，由于我们的奖励函数被设计为无偏的，我们可以将我们的算法应用于许多问题，而无需进行任何特定于任务的调整。
2018-10-15 cs.LG stat.ML
Extrapolation in Gridworld Markov-Decision Processes
Brown University（布朗大学）
强化学习中的外推是在测试时对训练时不可能出现的状态进行概括的能力。在这里，我们考虑四个因素，导致在一个简单的Gridworld环境中改进外推：（a）避免最大Q值（或其他确定性方法）在测试时进行动作选择，（b）以自我为中心的网格世界表示，（c）使用旋转和镜像不变卷积将旋转和镜像对称构建到学习机制中（而不是标准的衰减不变卷积），以及（d）向损失函数添加最大熵项，以鼓励同样频繁地选择同样好的动作。
2020-04-14 cs.LG stat.ML
Addressing Function Approximation Error in Actor-Critic Methods
McGill University（麦吉尔大学）；University of Amsterdam（阿姆斯特丹大学）
在基于值的强化学习方法（如深度Q学习）中，已知函数近似误差会导致高估的值估计和次优策略。我们发现，这个问题仍然存在的演员，评论家设置，并提出新的机制，以尽量减少其对演员和评论家的影响。我们的算法建立在双Q学习的基础上，通过取一对批评者之间的最小值来限制高估。我们得出了目标网络和高估偏差之间的联系，并建议延迟策略更新，以减少每次更新的错误，进一步提高性能。我们在OpenAI健身房任务套件上评估了我们的方法，在每个测试环境中都优于最先进的技术。
2018-10-22 cs.AI cs.LG stat.ML
Online Estimation and Inference for Robust Policy Evaluation in Reinforcement Learning
School of Mathematics, Shanghai University of Finance and Economics（上海财经大学数学学院）；Stern School of Business, New York University（纽约大学斯特恩商学院）；Daniels School of Business, Purdue University（普渡大学丹尼尔斯商学院）
针对强化学习中存在异常值污染和重尾奖励的问题，提出一种完全在线的鲁棒策略评估程序，建立估计量的 Bahadur 型表示并支持基于渐近分布的在线统计推断，经实验验证有效提升了在线策略评估的可靠性与通用性。
2025-03-01 cs.LG stat.ML
Boosting Reinforcement Learning in 3D Visuospatial Tasks Through Human-Informed Curriculum Design
York University（约克大学）
本文通过人类指导的课程设计提升强化学习在复杂三维视觉空间任务中的性能。
2025-11-17 cs.AI cs.LG
Provably Efficient Partially Observable Risk-Sensitive Reinforcement Learning with Hindsight Observation
Tsinghua University（清华大学）；Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
本文研究带事后观测的部分可观测风险敏感强化学习，将其纳入POMDP与熵风险度量框架，提出首个可证明高效算法，并利用测度变换和beta向量给出多项式遗憾保证。
2024-02-28 cs.LG stat.ML
Comparing Deep Reinforcement Learning and Evolutionary Methods in Continuous Control
University of Alberta（阿尔伯塔大学）
强化学习和进化策略是解决复杂控制问题的两种主要方法。两者都是强有力的竞争者，都有自己的奉献者社区。近年来，这两个小组都非常积极地在各自的领域中开发新的进展，并设计出尖端技术来解决复杂的连续控制任务。在这里，在深度强化学习的背景下，我们制定了并行版本的近端策略优化方法和深度确定性策略梯度方法。此外，我们对两个阵营中最先进的技术进行了彻底的比较，包括连续控制;进化方法和深度强化学习方法。结果表明，没有持续的赢家。
2018-03-07 cs.AI cs.LG
Exploring and Addressing Reward Confusion in Offline Preference Learning
ETH Zurich（苏黎世联邦理工学院）；UC Berkeley（加州大学伯克利分校）；University of Toronto（多伦多大学）
本文研究了离线偏好学习中虚假相关性导致的奖励混淆问题，创建了相关基准，并提出利用偏好传递性与主动学习构建全局偏好链的方法来显著减少该问题。
2024-10-15 cs.AI cs.LG
Differentiable Quantum Architecture Search in Asynchronous Quantum Reinforcement Learning
Wells Fargo（富国银行）
本文提出DiffQAS-QRL方法，通过可微量子架构搜索自动设计量子电路参数与结构，并结合异步强化学习实现并行训练，在多环境中达到与手工设计电路相当的性能，降低了对量子专业知识的需求。
2024-07-25 cs.AI cs.DC cs.LG
Reinforcement Learning in Hyperbolic Spaces: Models and Experiments
Faculty of Natural Sciences and Mathematics（自然科学与数学系）；University of Montenegro（黑山大学）；Faculty of Engineering（工程学院）；University of Rijeka（里耶卡大学）；Faculty of Technical Engineering（技术工程学院）；University of Bihać（比哈奇大学）
本文将多智能体未知环境探索形式化为双曲空间中的强化学习问题，通过引入统计与动力学模型并基于黑盒优化视角实现相关算法。
2024-10-12 cs.LG
PIC: Permutation Invariant Critic for Multi-Agent Deep Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
样本效率和可扩展性是多智能体强化学习系统的两个重要目标。最近的工作使我们更接近这些目标，通过利用依赖于所有观察和行动的深网评论器，从单个代理的角度解决环境的非平稳性。评论家输入以用户指定的顺序连接代理观察和动作。然而，由于深度网络不是置换不变的，因此尽管环境保持相同，但置换的输入会改变评论家的输出。为了避免这种低效率，我们提出了一个“置换不变的评论家”（PIC），它会产生相同的输出，无论代理置换。这种一致的表示使我们的模型能够扩展到30倍以上的代理，并在具有挑战性的多代理粒子环境（MPE）上实现15%至50%的测试情节奖励改进。
2019-10-31 cs.CV cs.LG stat.ML
Priors Matter: Addressing Misspecification in Bayesian Deep Q-Learning
Delft University of Technology（代尔夫特理工大学）
本文揭示贝叶斯深度 Q-learning 的冷后验效应，检验高斯似然与先验假设，并提出可实施的改进先验方案以提升算法性能。
2025-08-29 cs.AI cs.LG
A Survey of State Representation Learning for Deep Reinforcement Learning
Mila - Québec AI Institute, Université de Montréal（魁北克人工智能研究所，蒙特利尔大学）；Google DeepMind（谷歌DeepMind）
本综述系统分类了深度强化学习中无模型在线设置下的状态表示学习方法，分为六大类，并探讨了评估表示质量的技术与未来方向，旨在为新研究者提供指南。
2025-06-20 cs.AI cs.LG stat.ML
User-Interactive Offline Reinforcement Learning
Siemens Technology（西门子技术）；TU Munich（慕尼黑工业大学）
离线强化学习算法在实践中仍然缺乏信任，这是由于所学习的策略比生成数据集的原始策略表现得更差或以用户不熟悉的意外方式表现的风险。与此同时，离线RL算法无法调整其最重要的超参数-学习策略与原始策略的接近度。我们提出了一种算法，允许用户在运行时调整这个超参数，从而同时解决上述两个问题。这允许用户从原始行为开始，并连续授予更大的偏差，以及在策略恶化或行为与熟悉的行为相差太远时随时停止。
2023-01-25 cs.LG
FLASH-RL: Federated Learning Addressing System and Static Heterogeneity using Reinforcement Learning
École nationale Supérieure d’Informatique（阿尔及尔国立高等计算机学院）；Univ. Polytechnique Hauts-de-France（上法兰西理工大学）
FLASH-RL提出基于双重深度Q学习与声誉效用函数的联邦学习客户端选择框架，兼顾系统与静态异构性，在MNIST、CIFAR-10及MobiAct上显著降低延迟并减少训练轮次。
2023-11-12 cs.AI cs.DC cs.LG
On-Policy Deep Reinforcement Learning for the Average-Reward Criterion
New York University（纽约大学）；New York University Shanghai（上海纽约大学）
我们开发的理论和算法的平均奖励的政策强化学习（RL）。我们首先考虑限制两种策略的长期平均回报的差异。我们表明，以前的工作的基础上贴现回报（舒尔曼等人，2015; Achiam等人，2017）导致平均奖励设置中的无意义约束。通过直接处理平均回报准则，我们得到了一个新的界限，它取决于两个政策之间的平均分歧和凯梅尼常数。基于这个界限，我们开发了一个迭代过程，产生一个序列的单调改进的平均奖励标准的政策。然后，可以将此迭代过程与经典的DRL（深度强化学习）方法相结合，从而产生针对长期平均奖励标准的实用DRL算法。特别是，我们证明了平均奖励TRPO（ATRPO），它适应的政策TRPO算法的平均奖励标准，显着优于TRPO在最具挑战性的MuJuCo环境。
2021-06-14 cs.AI cs.LG stat.ML
Enhancing Reinforcement Learning for the Floorplanning of Analog ICs with Beam Search
University of Trieste（特里埃斯特大学）；Infineon Technologies AT（英飞凌科技AT）；Infineon Technologies AG（英飞凌科技AG）
本文提出将束搜索与强化学习结合的混合方法，用于模拟IC布局规划，在无需重训练的情况下灵活适应不同目标权重并解决拥塞，实验显示面积、死区和线长较标准RL提升约5-85%。
2025-05-08 cs.AI cs.LG
Attractor Selection in Nonlinear Energy Harvesting Using Deep Reinforcement Learning
Dynamical Systems Research Laboratory（动态系统研究实验室）；Department of Mechanical Engineering & Materials Science（机械工程与材料科学系）；Duke University（杜克大学）
最近的研究工作表明，有意使用非线性增强能量收集系统的能力。在非线性收获器中出现的主要挑战之一是，非线性通常会导致具有可能共存的期望和不期望响应的多个吸引子。本文提出了一种基于永磁转磁传动的非线性能量采集器，该能量采集器具有不同水平的电功率输出，并具有共存的吸引子。此外，提出了一种利用深度强化学习的控制方法，实现了在具有约束驱动的共存吸引子之间的吸引子切换。
2020-10-03 cs.LG cs.SY eess.SY
Meta-Reinforcement Learning with Discrete World Models for Adaptive Load Balancing
Kennesaw State University（肯尼索州立大学）
本文提出将元强化学习与DreamerV3结合用于操作系统负载均衡，实现动态工作负载下的快速自适应，并在标准与自适应试验中优于A2C，同时具备抗灾难性遗忘能力。
2025-03-11 cs.AI cs.LG cs.OS
Pre-training with Non-expert Human Demonstration for Deep Reinforcement Learning
Washington State University（华盛顿州立大学）
深度强化学习（deep RL）通过使用深度神经网络作为函数逼近器直接从原始输入图像学习，在复杂的顺序任务中取得了卓越的性能。然而，直接从原始图像中学习是数据效率低下的。除了学习策略之外，代理还必须学习复杂状态的特征表示。因此，深度强化学习通常学习速度较慢，并且通常需要大量的训练时间和数据才能达到合理的性能，这使得它不适用于数据昂贵的现实环境。在这项工作中，我们通过解决两个学习目标之一，即特征学习，来提高深度RL的数据效率。我们利用监督学习对一小组非专家的人类演示进行预训练，并在Atari域中使用异步优势演员-评论家算法（A3 C）对我们的方法进行经验评估。我们的研究结果表明，学习速度显着提高，即使当提供的演示是嘈杂和低质量的。
2018-12-21 cs.AI cs.LG stat.ML
Adapting Double Q-Learning for Continuous Reinforcement Learning
University of Torontoland（多伦多兰大学）；University of Edenborrow（伊登伯勒大学）
针对离策略强化学习中的高估偏差，本文提出一种双组件混合策略，由独立网络分别最大化和评估，在 MuJoCo 上取得接近 SOTA 的结果。
2023-09-25 cs.AI cs.LG
SimSR: Simple Distance-based State Representation for Deep Reinforcement Learning
Beijing Institute of Technology（北京理工大学）；University of the Sunshine Coast（阳光海岸大学）
这项工作探讨了如何从基于图像的观察与深度强化学习方法学习强大的和可推广的状态表示。针对现有互模拟度量中存在的计算复杂性、严格假设和表示坍塌等问题，设计了简单状态表示（SimSR）算子. SimSR使我们能够设计一种随机近似方法，可以实际学习从观测到潜在表示空间的映射函数（编码器）。除了与现有工作的理论分析和比较，我们实验和比较我们的工作与最近的国家的最先进的解决方案在视觉MuJoCo任务。结果表明，我们的模型总体上取得了较好的性能，具有较好的鲁棒性和良好的泛化能力。
2022-02-27 cs.AI cs.LG
Decentralized Multi-Agent Reinforcement Learning for Task Offloading Under Uncertainty
University of Manitoba（曼尼托巴大学）
多智能体强化学习（MARL）是强化学习的一个具有挑战性的子领域，由于环境的非平稳性和组合动作空间的高维性。深度MARL算法已被应用于解决不同的任务卸载问题。然而，在现实世界的应用中，代理所需的信息（即奖励和状态）会受到噪声和变化的影响。深度MARL的稳定性和对实际挑战的鲁棒性仍然是一个开放的研究问题。在这项工作中，我们应用最先进的MARL算法来解决任务卸载与奖励的不确定性。我们发现，在奖励信号的扰动可以诱导性能下降相比，学习完美的奖励。我们希望本文能够激发更多的研究，研究和解决在无线通信系统中部署深度MARL解决方案的实际挑战。
2021-07-26 cs.LG cs.MA
FedMRL: Data Heterogeneity Aware Federated Multi-agent Deep Reinforcement Learning for Medical Imaging
Indian Institute of Technology Patna（印度理工学院巴特那分校）；Rajiv Gandhi Institute of Petroleum Technology（拉吉夫·甘地石油技术学院）
针对联邦医学影像学习中客户端数据非独立同分布导致的全局模型性能下降问题，提出融合公平损失、MARL近端项计算与SOM自适应权重调整的FedMRL框架，在两个公开医学数据集上性能优于现有最优方法。
2024-07-08 cs.AI cs.CV cs.DC
Continual Deep Reinforcement Learning with Task-Agnostic Policy Distillation
University of Southampton（南安普顿大学）；University of Hamburg（汉堡大学）
本文提出 TAPD 框架，通过无外部目标、最大化内在动机的任务无关探索与策略蒸馏，缓解持续深度强化学习中的遗忘、迁移、扩展和无标签问题。
2024-11-25 cs.LG
Deep Reinforcement Learning for Autonomous Driving: A Survey
Navya（纳维亚）；Valeo（法雷奥）；ENSTA Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎高等先进技术学院）；AKKA Technologies（AKKA科技公司）；National University of Ireland, Galway（爱尔兰国立高威大学）
随着深度表示学习的发展，强化学习（RL）领域已经成为一个强大的学习框架，现在能够在高维环境中学习复杂的策略。本文总结了深度强化学习（DRL）算法，并提供了一个分类的自动驾驶任务，其中（D）RL方法已被采用，同时解决关键的计算挑战，在现实世界中部署的自动驾驶代理。它还描绘了相邻的领域，如行为克隆，模仿学习，逆强化学习，相关的，但不是经典的RL算法。模拟器在训练代理中的作用，验证，测试和鲁棒化RL中现有解决方案的方法进行了讨论。
2021-01-23 cs.AI cs.LG cs.RO
Curriculum Learning for Reinforcement Learning Domains: A Framework and Survey
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Oxford（牛津大学）；University of Leeds（利兹大学）；Tufts University（塔夫茨大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；University of Alberta（阿尔伯塔大学）；Sony AI（索尼人工智能）
强化学习（RL）是一种流行的范式，用于解决智能体只有有限的环境反馈的顺序决策任务。尽管在过去的三十年中取得了许多进步，但许多领域的学习仍然需要与环境进行大量的交互，这在现实场景中可能非常昂贵。为了解决这个问题，迁移学习已经被应用于强化学习，使得在开始学习下一个更难的任务时可以利用在一个任务中获得的经验。最近，一些研究探索了如何将任务或数据样本本身排序到课程中，以学习一个可能很难从头开始学习的问题。在这篇文章中，我们提出了一个强化学习的课程学习（CL）框架，并使用它来调查和分类现有的CL方法的假设，能力和目标。最后，我们使用我们的框架，发现开放的问题，并建议未来的RL课程学习研究的方向。
2020-09-17 cs.AI cs.LG stat.ML
Fairness in Reinforcement Learning with Bisimulation Metrics
McGill University（麦吉尔大学）；Mila（米拉研究所）；DeepMind（深度思维公司）
本文建立互模拟度量与强化学习群体公平性的联系，提出利用互模拟度量学习奖励函数和观测动态的新方法，并在贷款与大学录取基准上验证其减少序列决策差异的有效性。
2024-12-31 cs.CY cs.LG
Deep Reinforcement Learning Xiangqi Player with Monte Carlo Tree Search
Columbia University（哥伦比亚大学）
本文提出一种结合神经网络与蒙特卡洛树搜索的深度强化学习系统，用于中国象棋的自我对弈与自我改进，克服高分支因子和不对称棋子动态等挑战，推进AI在文化策略游戏中的应用。
2025-06-18 cs.AI cs.LG
DCE: Offline Reinforcement Learning With Double Conservative Estimates
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）
离线强化学习在解决传统强化学习的应用挑战方面引起了人们极大的兴趣。离线强化学习使用先前收集的数据集来训练代理，而无需任何交互。为了解决OOD（分布外）行动的高估问题，保守估计为所有输入提供了较低的值。以往的保守估计方法通常难以避免OOD行为对Q值估计的影响。此外，这些算法通常需要损失一定的计算效率来达到保守估计的目的。本文提出了一种简单的保守估计方法-双保守估计（DCE），它利用两种保守估计方法来约束策略。该算法在隐式实现保守估计的同时，引入了V-函数，避免了分布内作用的误差。此外，我们的算法使用了一个可控的惩罚项，改变训练中的保守程度。我们从理论上展示了这种方法如何影响OOD行动和分布行动的估计。我们的实验分别表明，两种保守的估计方法影响所有状态动作的估计。DCE在D4 RL上展示了最先进的性能。
2022-09-27 cs.LG
Toward Policy Explanations for Multi-Agent Reinforcement Learning
University of Virginia（弗吉尼亚大学）；Bar-Ilan University（巴伊兰大学）
多智能体强化学习（MARL）的进步使一系列令人兴奋的多智能体应用（如协作AI和自动驾驶）能够进行顺序决策。解释代理决策对于提高系统透明度，提高用户满意度和促进人类-代理协作至关重要。然而，现有的可解释的强化学习的工作主要集中在单智能体设置，不适合解决多智能体环境所带来的挑战。我们提出了新的方法来产生两种类型的政策解释MARL：（一）政策总结的代理合作和任务序列，和（ii）语言解释回答查询代理行为。三个MARL域上的实验结果证明了我们的方法的可扩展性。一项用户研究表明，生成的解释显着提高用户的性能，并增加主观评分的指标，如用户满意度。
2022-05-23 cs.AI cs.LG
Safe Reinforcement Learning with Scene Decomposition for Navigating Complex Urban Environments
Stanford University（斯坦福大学）；Honda Research Institute（本田研究院）
在城市环境中导航对自动驾驶汽车来说是一项复杂的任务。他们必须在考虑众多交通参与者的同时安全有效地达到目标。我们提出了一个模块化的决策算法，自主导航交叉口，解决现有的基于规则和强化学习（RL）的方法的挑战。我们首先提出了一个安全的RL算法依赖于模型检查器，以确保安全保证。为了使决策策略对感知错误和遮挡具有鲁棒性，我们引入了一种使用基于学习的方法的信念更新技术。最后，我们使用场景分解的方法来扩展我们的算法，多个交通参与者的环境。我们的经验表明，我们的算法优于基于规则的方法和强化学习技术在一个复杂的交叉口的情况。
2019-04-25 cs.AI cs.LG cs.RO
ARCLE: The Abstraction and Reasoning Corpus Learning Environment for Reinforcement Learning
Gwangju Institute of Science and Technology（光州科学技术院）；Korea University（高丽大学）
本文提出ARCLE强化学习环境以应对抽象与推理语料库（ARC）的归纳推理挑战，通过近端策略优化、非分解策略和辅助损失有效缓解了动作空间和目标达成问题，并提出了MAML、GFlowNets和世界模型等未来研究方向。
2024-07-30 cs.AI cs.LG
SPECTra: Scalable Multi-Agent Reinforcement Learning with Permutation-Free Networks
University of Seoul（首尔大学）
针对协作式 MARL 的置换问题与智能体数量扩展难题，本文提出 SPECTra，利用低复杂度置换等变智能体网络、可扩展超网络非线性混合及课程学习，在 SMACv2 和 GRF 上取得优于现有方法的性能。
2025-03-14 cs.AI cs.LG
An Automatic Ground Collision Avoidance System with Reinforcement Learning
本文提出一种基于人工智能的自动地面避障系统，旨在提升先进喷气式教练机的操作效能，通过有限观测空间内的避障设计提升安全性和操作能力。
2026-04-27 cs.LG cs.RO
Automating the resolution of flight conflicts: Deep reinforcement learning in service of air traffic controllers
University of Piraeus（比雷埃夫斯大学）；CRIDA
密集和复杂的空中交通场景需要比空中交通管制员（ATCO）今天使用的战术冲突检测和解决（CD\&R）工具所表现出的更高水平的自动化。然而，空中交通管制（ATC）领域对安全至关重要，需要人工智能系统，操作员可以放心地放弃控制，确保操作完整性和自动化采用。实现这一目标的两个主要因素是解决方案的质量和决策的透明度。本文提出了使用图卷积强化学习方法在多智能体环境中运行，其中每个智能体（飞行）与其他智能体一起执行CD\&R任务。我们表明，这种方法可以提供高质量的解决方案，就利益相关者的利益（空中交通管制员和空域用户），解决运营透明度问题。
2022-06-15 cs.LG cs.MA
Weight Clipping for Deep Continual and Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Google DeepMind（谷歌DeepMind）；CIFAR AI（CIFAR人工智能研究院）
深度连续学习和强化学习中的许多失败都与权重大小的增加有关，这使得它们很难改变，并可能导致过拟合。虽然许多方法解决了这些学习失败，但它们通常会改变优化器或架构，这种复杂性阻碍了各种系统的广泛采用。在本文中，我们专注于学习失败，与增加权重范数，我们提出了一个简单的技术，可以很容易地添加到现有的学习系统：裁剪神经网络的权重，以限制它们到一个特定的范围。我们在一系列的监督和强化学习实验中研究了权重裁剪的有效性。我们的实证结果突出了权重裁剪的好处，泛化，解决可塑性和政策崩溃的损失，并促进学习与大重放比率。
2024-07-01 cs.AI cs.LG
Survey on Fair Reinforcement Learning: Theory and Practice
Eindhoven University of Technology（埃因霍温理工大学）
公平感知学习的目标是通过数据驱动的机器学习技术来满足各种公平约束以及通常的性能标准。公平意识学习的研究大多采用公平监督学习的环境。然而，许多动态现实世界的应用程序可以更好地使用顺序决策问题建模，公平强化学习提供了一个更合适的替代方案来解决这些问题。在这篇文章中，我们提供了一个广泛的概述公平的方法，已通过强化学习（RL）框架实现。我们讨论了各种实际应用中，RL方法已被应用到实现一个公平的解决方案，具有高精度。我们进一步包括公平强化学习理论的各个方面，将它们组织成单智能体RL，多智能体RL，通过RL的长期公平性和离线学习。此外，我们强调了几个主要的问题，以探索，以推进公平RL领域，即- i）纠正社会偏见，ii）群体公平或个人公平的可行性，iii）在RL的可解释性。我们的工作是有益的研究人员和从业人员，因为我们讨论的文章提供数学保证，以及文章与实证研究现实世界的问题。
2022-05-20 cs.LG
Reinforcement Learning for Decision-Level Interception Prioritization in Drone Swarm Defense
Artificial Twin（人工双）
针对无人机蜂群防御中的拦截优先级决策问题，本文提出在离散动作空间中使用强化学习智能体协调多效应器，并通过高保真仿真验证其相比规则基线的更低损害与更高防御效率。
2025-09-20 cs.LG
AutoEG: Automated Experience Grafting for Off-Policy Deep Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）；SUNY Binghamton（纽约州立大学宾汉姆顿分校）
深度强化学习（RL）算法经常需要禁止交互经验以确保学习策略的质量。这种局限性部分是因为智能体在早期学习阶段不能从许多低质量的试验中学习到很多，这导致低学习率。针对这一局限性，本文做出了两方面的贡献。首先，我们开发了一种算法，称为经验嫁接（EG），使RL代理重新组织部分的几个高质量的轨迹从经验池生成许多合成轨迹，同时保持质量。其次，在EG的基础上，我们进一步开发了一个AutoEG代理，它可以自动学习调整基于移植的学习策略。从一组六个机器人控制环境中收集的结果表明，与标准深度RL算法（DDPG）相比，AutoEG将学习过程的速度提高了至少30%。
2020-04-23 cs.AI cs.LG
Human-centered collaborative robots with deep reinforcement learning
KTH Royal Institute of Technology（瑞典皇家理工学院）
我们提出了一个基于强化学习的以人为中心的协作系统框架。该框架是积极主动的，通过最大限度地减少完成任务所花的总时间，平衡了及时行动的好处和采取不当行动的风险。该框架以无监督的方式进行端到端的学习，以综合的方式解决感知不确定性和决策。该框架被证明是提供更流畅的协调人类和机器人合作伙伴之间的一个例子任务的包装相比，感知和决策系统独立学习的替代品，使用监督学习。所提出的方法的最大好处是，它允许快速适应新的人类合作伙伴和任务，因为繁琐的注释的运动数据被避免，并在线进行学习。
2020-07-02 cs.AI cs.LG cs.RO
Learning Practical Communication Strategies in Cooperative Multi-Agent Reinforcement Learning
University of Southern California（南加州大学）
在多智能体强化学习中，通信对于鼓励智能体之间的合作至关重要。在现实的无线网络中，由于网络条件随代理的移动性和传输过程的随机性而变化，通信可能是高度不可靠的。我们提出了一个框架来学习实际的通信策略，解决三个基本问题：（1）当：代理学习的通信时间不仅基于消息的重要性，但也无线信道条件。(2)内容：代理通过无线网络测量增加消息内容，以更好地选择游戏和通信动作。(3)如何：代理使用一种新的神经消息编码器来保存接收到的消息中的所有信息，而不管消息的数量和顺序如何。在现实的无线网络设置下模拟标准的基准测试，我们显示出显着的改进，在游戏性能，收敛速度和通信效率相比，国家的最先进的。
2022-09-02 cs.AI cs.LG cs.MA
