Distributional Soft Actor-Critic: Off-Policy Reinforcement Learning for Addressing Value Estimation Errors
Tsinghua University（清华大学）
在强化学习（RL）中，函数逼近误差容易导致Q值高估，从而大大降低策略性能。本文提出了一种分布式软行动者-批评者（DSAC）算法，这是一种用于连续控制设置的非策略RL方法，通过减轻Q值高估来提高策略性能。我们首先在理论上发现，学习状态-动作回报的分布函数可以有效地减轻Q值高估，因为它能够自适应地调整Q-价值函数的更新步长。然后，通过将收益分布函数嵌入到最大熵RL中，提出了分布式软策略迭代（DSPI）框架。最后，我们提出了DSPI的一个深度非策略行动者-批评者变体，称为DSAC，它通过将状态-行动回报的方差保持在合理范围内来直接学习连续回报分布，以解决梯度爆炸和消失问题。我们评估了DSAC在MuJoCo连续控制任务套件上的性能，实现了最先进的性能。
2021-06-11 cs.AI cs.LG cs.SY
InferNet for Delayed Reinforcement Tasks: Addressing the Temporal Credit Assignment Problem
North Carolina State University（北卡罗来纳州立大学）
时态信用分配问题是人工智能领域中一个著名的、具有挑战性的问题。虽然强化学习（RL），特别是深度RL，在即时奖励可用时工作良好，但当只有延迟奖励可用或奖励函数有噪声时，它可能会失败。在这项工作中，我们建议委托CAP到一个基于神经网络的算法命名为Infernet，明确学习推断延迟奖励的即时奖励。InferNet的有效性在两个在线RL任务上进行了评估：一个简单的GridWorld和40个Atari游戏;以及两个离线RL任务：GridWorld和现实生活中的败血症治疗任务。对于所有任务，使用InferNet推断奖励的有效性与两种设置的即时和延迟奖励进行比较：有噪声奖励和无噪声奖励。总的来说，我们的研究结果表明，InferNet的有效性对噪声奖励函数是鲁棒的，并且是一种有效的附加机制，用于在广泛的RL任务中解决时间CAP，从经典的RL模拟环境到现实世界的RL问题，以及在线和离线学习。
2021-05-02 cs.LG
Addressing Inherent Uncertainty: Risk-Sensitive Behavior Generation for Automated Driving using Distributional Reinforcement Learning
fortiss GmbH（福蒂斯有限公司）；Technische Universität München（慕尼黑工业大学）
对于SAE 3级以上的高度自动化驾驶，行为生成算法必须可靠地考虑交通环境的固有不确定性，例如由各种人类驾驶风格引起的不确定性。这种不确定性可能会产生模糊的决策，要求算法适当地平衡低概率的危险事件（例如碰撞）和高概率的有益事件（例如快速穿过十字路口）。最先进的行为生成算法缺乏决策结果的分布式处理。这妨碍了在模棱两可的情况下进行适当的风险评估，往往鼓励不安全或保守的行为。因此，我们提出了一个两步的方法，结合离线分布学习与在线风险评估的风险敏感行为生成。具体来说，我们首先使用深度分布式强化学习在不确定环境中学习最优策略。在执行过程中，通过将已建立的风险标准（例如条件风险值）应用于学习的状态-动作回报分布来选择最佳风险敏感动作。在交叉路口的情况下，我们评估不同的风险标准，并证明我们的方法增加了安全性，同时保持积极的驾驶风格。我们的方法将鼓励进一步研究风险敏感方法对自动驾驶车辆的好处。
2021-02-05 cs.AI
Boosting Reinforcement Learning in 3D Visuospatial Tasks Through Human-Informed Curriculum Design
York University（约克大学）
本文通过人类指导的课程设计提升强化学习在复杂三维视觉空间任务中的性能。
2025-11-17 cs.AI cs.LG
Addressing Rotational Learning Dynamics in Multi-Agent Reinforcement Learning
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Universität des Saarlandes（萨尔大学）；Politecnico di Milano（米兰理工大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）
本文将MARL重述为变分不等式问题，并把可处理旋转动力学的梯度VI方法集成到现有算法中，从而提升均衡收敛与团队协作表现。
2025-02-20 cs.LG stat.ML
One-Step Flow Q-Learning: Addressing the Diffusion Policy Bottleneck in Offline Reinforcement Learning
OFQL通过一步流匹配范式，无需辅助模块或蒸馏，实现高效的一步动作生成，提升离线强化学习的训练速度和鲁棒性。
2026-02-24 cs.LG
Understanding and Addressing the Pitfalls of Bisimulation-based Representations in Offline Reinforcement Learning
Beijing Institute of Technology（北京理工大学）；Alibaba Group（阿里巴巴集团）；McGill University（麦吉尔大学）；Mila, Quebec AI Institute（米拉魁北克人工智能研究所）；Wayve
本文分析了基于互模拟的表示方法在离线强化学习中失效的原因，提出使用期望算子和奖励缩放策略改进表示学习，并在MICo和SimSR上验证了性能提升。
2023-10-26 cs.LG
Comparing Deep Reinforcement Learning and Evolutionary Methods in Continuous Control
University of Alberta（阿尔伯塔大学）
强化学习和进化策略是解决复杂控制问题的两种主要方法。两者都是强有力的竞争者，都有自己的奉献者社区。近年来，这两个小组都非常积极地在各自的领域中开发新的进展，并设计出尖端技术来解决复杂的连续控制任务。在这里，在深度强化学习的背景下，我们制定了并行版本的近端策略优化方法和深度确定性策略梯度方法。此外，我们对两个阵营中最先进的技术进行了彻底的比较，包括连续控制;进化方法和深度强化学习方法。结果表明，没有持续的赢家。
2018-03-07 cs.AI cs.LG
Exploring and Addressing Reward Confusion in Offline Preference Learning
ETH Zurich（苏黎世联邦理工学院）；UC Berkeley（加州大学伯克利分校）；University of Toronto（多伦多大学）
本文研究了离线偏好学习中虚假相关性导致的奖励混淆问题，创建了相关基准，并提出利用偏好传递性与主动学习构建全局偏好链的方法来显著减少该问题。
2024-10-15 cs.AI cs.LG
STAIR: Addressing Stage Misalignment through Temporal-Aligned Preference Reinforcement Learning
Beijing Key Laboratory of Embodied Intelligence Systems, Department of Automation, Tsinghua University, Beijing, China（北京智能体智能系统重点实验室，自动化系，清华大学，北京，中国）；The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences, Beijing, China（复杂系统认知与决策智能重点实验室，自动化研究所，中国科学院，北京，中国）
针对PbRL在多阶段任务中因跨阶段偏好比较导致的阶段不对齐问题，提出STAIR，利用对比学习的时间距离识别阶段并优先进行同阶段比较，实验证明其有效且符合人类认知。
2025-09-28 cs.LG
Priors Matter: Addressing Misspecification in Bayesian Deep Q-Learning
Delft University of Technology（代尔夫特理工大学）
本文揭示贝叶斯深度 Q-learning 的冷后验效应，检验高斯似然与先验假设，并提出可实施的改进先验方案以提升算法性能。
2025-08-29 cs.AI cs.LG
Addressing Maximization Bias in Reinforcement Learning with Two-Sample Testing
Technische Universität Dresden（德累斯顿工业大学）；Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)（可扩展数据分析与人工智能中心（ScaDS.AI））
针对强化学习价值估计中的最大化偏差，提出基于双样本检验的 TE 与推广 KE，并改造 Q-Learning 和 BDQN，实现可调偏差、收敛保证与性能提升。
2024-08-12 cs.LG
Enhancing Reinforcement Learning for the Floorplanning of Analog ICs with Beam Search
University of Trieste（特里埃斯特大学）；Infineon Technologies AT（英飞凌科技AT）；Infineon Technologies AG（英飞凌科技AG）
本文提出将束搜索与强化学习结合的混合方法，用于模拟IC布局规划，在无需重训练的情况下灵活适应不同目标权重并解决拥塞，实验显示面积、死区和线长较标准RL提升约5-85%。
2025-05-08 cs.AI cs.LG
Adapting Double Q-Learning for Continuous Reinforcement Learning
University of Torontoland（多伦多兰大学）；University of Edenborrow（伊登伯勒大学）
针对离策略强化学习中的高估偏差，本文提出一种双组件混合策略，由独立网络分别最大化和评估，在 MuJoCo 上取得接近 SOTA 的结果。
2023-09-25 cs.AI cs.LG
SimSR: Simple Distance-based State Representation for Deep Reinforcement Learning
Beijing Institute of Technology（北京理工大学）；University of the Sunshine Coast（阳光海岸大学）
这项工作探讨了如何从基于图像的观察与深度强化学习方法学习强大的和可推广的状态表示。针对现有互模拟度量中存在的计算复杂性、严格假设和表示坍塌等问题，设计了简单状态表示（SimSR）算子. SimSR使我们能够设计一种随机近似方法，可以实际学习从观测到潜在表示空间的映射函数（编码器）。除了与现有工作的理论分析和比较，我们实验和比较我们的工作与最近的国家的最先进的解决方案在视觉MuJoCo任务。结果表明，我们的模型总体上取得了较好的性能，具有较好的鲁棒性和良好的泛化能力。
2022-02-27 cs.AI cs.LG
Deep Reinforcement Learning Xiangqi Player with Monte Carlo Tree Search
Columbia University（哥伦比亚大学）
本文提出一种结合神经网络与蒙特卡洛树搜索的深度强化学习系统，用于中国象棋的自我对弈与自我改进，克服高分支因子和不对称棋子动态等挑战，推进AI在文化策略游戏中的应用。
2025-06-18 cs.AI cs.LG
Toward Policy Explanations for Multi-Agent Reinforcement Learning
University of Virginia（弗吉尼亚大学）；Bar-Ilan University（巴伊兰大学）
多智能体强化学习（MARL）的进步使一系列令人兴奋的多智能体应用（如协作AI和自动驾驶）能够进行顺序决策。解释代理决策对于提高系统透明度，提高用户满意度和促进人类-代理协作至关重要。然而，现有的可解释的强化学习的工作主要集中在单智能体设置，不适合解决多智能体环境所带来的挑战。我们提出了新的方法来产生两种类型的政策解释MARL：（一）政策总结的代理合作和任务序列，和（ii）语言解释回答查询代理行为。三个MARL域上的实验结果证明了我们的方法的可扩展性。一项用户研究表明，生成的解释显着提高用户的性能，并增加主观评分的指标，如用户满意度。
2022-05-23 cs.AI cs.LG
ARCLE: The Abstraction and Reasoning Corpus Learning Environment for Reinforcement Learning
Gwangju Institute of Science and Technology（光州科学技术院）；Korea University（高丽大学）
本文提出ARCLE强化学习环境以应对抽象与推理语料库（ARC）的归纳推理挑战，通过近端策略优化、非分解策略和辅助损失有效缓解了动作空间和目标达成问题，并提出了MAML、GFlowNets和世界模型等未来研究方向。
2024-07-30 cs.AI cs.LG
SPECTra: Scalable Multi-Agent Reinforcement Learning with Permutation-Free Networks
University of Seoul（首尔大学）
针对协作式 MARL 的置换问题与智能体数量扩展难题，本文提出 SPECTra，利用低复杂度置换等变智能体网络、可扩展超网络非线性混合及课程学习，在 SMACv2 和 GRF 上取得优于现有方法的性能。
2025-03-14 cs.AI cs.LG
FLASH-RL: Federated Learning Addressing System and Static Heterogeneity using Reinforcement Learning
École nationale Supérieure d’Informatique（阿尔及尔国立高等计算机学院）；Univ. Polytechnique Hauts-de-France（上法兰西理工大学）
FLASH-RL提出基于双重深度Q学习与声誉效用函数的联邦学习客户端选择框架，兼顾系统与静态异构性，在MNIST、CIFAR-10及MobiAct上显著降低延迟并减少训练轮次。
2023-11-12 cs.AI cs.DC cs.LG
Accuracy-based Curriculum Learning in Deep Reinforcement Learning
Sorbonne Université（索邦大学）；INRIA（法国国家信息与自动化研究所）
在本文中，我们研究了一种新的形式的自动化课程学习的基础上自适应选择的准确性要求，称为基于准确性的课程学习。使用基于深度确定性策略梯度算法的强化学习代理并解决Reacher环境，我们首先表明，使用随机抽样的各种准确性要求训练的代理比要求始终非常准确时更有效地学习。然后，我们表明，自适应选择的准确性要求，根据当地的能力进步的措施，自动生成一个课程的难度逐步增加，从而导致更好的学习效率比随机抽样。
2018-09-21 cs.AI cs.LG stat.ML
Weight Clipping for Deep Continual and Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Google DeepMind（谷歌DeepMind）；CIFAR AI（CIFAR人工智能研究院）
深度连续学习和强化学习中的许多失败都与权重大小的增加有关，这使得它们很难改变，并可能导致过拟合。虽然许多方法解决了这些学习失败，但它们通常会改变优化器或架构，这种复杂性阻碍了各种系统的广泛采用。在本文中，我们专注于学习失败，与增加权重范数，我们提出了一个简单的技术，可以很容易地添加到现有的学习系统：裁剪神经网络的权重，以限制它们到一个特定的范围。我们在一系列的监督和强化学习实验中研究了权重裁剪的有效性。我们的实证结果突出了权重裁剪的好处，泛化，解决可塑性和政策崩溃的损失，并促进学习与大重放比率。
2024-07-01 cs.AI cs.LG
AutoEG: Automated Experience Grafting for Off-Policy Deep Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）；SUNY Binghamton（纽约州立大学宾汉姆顿分校）
深度强化学习（RL）算法经常需要禁止交互经验以确保学习策略的质量。这种局限性部分是因为智能体在早期学习阶段不能从许多低质量的试验中学习到很多，这导致低学习率。针对这一局限性，本文做出了两方面的贡献。首先，我们开发了一种算法，称为经验嫁接（EG），使RL代理重新组织部分的几个高质量的轨迹从经验池生成许多合成轨迹，同时保持质量。其次，在EG的基础上，我们进一步开发了一个AutoEG代理，它可以自动学习调整基于移植的学习策略。从一组六个机器人控制环境中收集的结果表明，与标准深度RL算法（DDPG）相比，AutoEG将学习过程的速度提高了至少30%。
2020-04-23 cs.AI cs.LG
Deconfounding Reinforcement Learning in Observational Settings
University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Microsoft Research（微软研究院）；Alan Turing Institute（阿兰·图灵研究所）
我们提出了一个通用的配方，解决强化学习（RL）的问题，在设置与观测数据。也就是说，我们考虑的问题，学习好的政策，仅从历史数据中，未观察到的因素（混杂因素）影响观察到的行动和奖励。我们的公式使我们能够扩展一个代表性的RL算法，演员-评论家的方法，其decofounding变体，与此扩展的方法很容易被应用到其他RL算法。除此之外，我们还通过修改OpenAI Gym环境和MNIST数据集，开发了一个新的基准测试，用于评估去基础RL算法。使用这个基准测试，我们证明了所提出的算法优于传统的RL方法在混杂的环境与观测数据。据我们所知，这是第一次考虑混杂因素来解决具有观测数据的完整RL问题。代码可在https://github.com/CausalRL/DRL上获得。
2018-12-26 cs.LG stat.ML
Physics-Informed Model and Hybrid Planning for Efficient Dyna-Style Reinforcement Learning
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；ISIR（智能系统与机器人研究所）
本文利用部分物理知识学习动力学模型并生成想象轨迹训练无模型策略与 Q 函数，同时结合模型进行混合规划，从而在强化学习的样本效率、推理时间和渐近性能间取得更优平衡。
2024-07-02 cs.AI cs.LG
Meta-Reinforcement Learning with Discrete World Models for Adaptive Load Balancing
Kennesaw State University（肯尼索州立大学）
本文提出将元强化学习与DreamerV3结合用于操作系统负载均衡，实现动态工作负载下的快速自适应，并在标准与自适应试验中优于A2C，同时具备抗灾难性遗忘能力。
2025-03-11 cs.AI cs.LG cs.OS
Differentiable Quantum Architecture Search in Asynchronous Quantum Reinforcement Learning
Wells Fargo（富国银行）
本文提出DiffQAS-QRL方法，通过可微量子架构搜索自动设计量子电路参数与结构，并结合异步强化学习实现并行训练，在多环境中达到与手工设计电路相当的性能，降低了对量子专业知识的需求。
2024-07-25 cs.AI cs.DC cs.LG
Addressing Function Approximation Error in Actor-Critic Methods
McGill University（麦吉尔大学）；University of Amsterdam（阿姆斯特丹大学）
在基于值的强化学习方法（如深度Q学习）中，已知函数近似误差会导致高估的值估计和次优策略。我们发现，这个问题仍然存在的演员，评论家设置，并提出新的机制，以尽量减少其对演员和评论家的影响。我们的算法建立在双Q学习的基础上，通过取一对批评者之间的最小值来限制高估。我们得出了目标网络和高估偏差之间的联系，并建议延迟策略更新，以减少每次更新的错误，进一步提高性能。我们在OpenAI健身房任务套件上评估了我们的方法，在每个测试环境中都优于最先进的技术。
2018-10-22 cs.AI cs.LG stat.ML
Reinforcement Learning in POMDPs with Memoryless Options and Option-Observation Initiation Sets
Artificial Intelligence Lab, Vrije Universiteit Brussel（布鲁塞尔自由大学人工智能实验室）
许多现实世界的强化学习问题具有层次性，并且通常表现出一定程度的部分可观察性。虽然层次结构和部分可观测性通常是分开解决的（例如通过结合递归神经网络和选项），但我们表明，在许多情况下，同时解决这两个问题更简单，更有效。更具体地说，我们的初始设置的选项条件上的先前执行的选项，并表明，这样的选项观察初始集（OOI）的选项至少是表达有限状态控制器（FSC），一个国家的最先进的POMDPs学习方法。OOI很容易基于任务的直观描述进行设计，导致可解释的策略，并保持顶级和选项策略无记忆。我们的实验表明，OOI允许代理在挑战POMDPs时学习最优策略，同时比递归神经网络在选项上的样本效率更高。
2017-09-12 cs.AI cs.LG
Deep Reinforcement Learning for Autonomous Driving: A Survey
Navya（纳维亚）；Valeo（法雷奥）；ENSTA Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎高等先进技术学院）；AKKA Technologies（AKKA科技公司）；National University of Ireland, Galway（爱尔兰国立高威大学）
随着深度表示学习的发展，强化学习（RL）领域已经成为一个强大的学习框架，现在能够在高维环境中学习复杂的策略。本文总结了深度强化学习（DRL）算法，并提供了一个分类的自动驾驶任务，其中（D）RL方法已被采用，同时解决关键的计算挑战，在现实世界中部署的自动驾驶代理。它还描绘了相邻的领域，如行为克隆，模仿学习，逆强化学习，相关的，但不是经典的RL算法。模拟器在训练代理中的作用，验证，测试和鲁棒化RL中现有解决方案的方法进行了讨论。
2021-01-23 cs.AI cs.LG cs.RO
Robust Deep Reinforcement Learning Through Adversarial Attacks and Training : A Survey
Institut de Recherche Technologique SystemX（技术研究 institute SystemX）
本文综述了深度强化学习中的对抗攻击与训练方法，系统分类并比较其目标与机制，以提升模型对环境变化和扰动的鲁棒性。
2026-06-09 cs.AI cs.LG
Optimizing Energy Management of Smart Grid using Reinforcement Learning aided by Surrogate models built using Physics-informed Neural Networks
针对强化学习求解智能电网最优潮流时依赖昂贵模拟器、样本效率低的问题，提出用PINNs代理模型替代原环境，从而显著加速策略训练并获得收敛结果。
2025-10-20 cs.AI cs.LG
Thresholded Lexicographic Ordered Multiobjective Reinforcement Learning
University of Michigan（密歇根大学）；Colorado State University（科罗拉多州立大学）
本文研究字典序多目标强化学习，指出现有方法缺乏理论保证且实际性能受限，进一步分析其缺陷并提出修正，同时提出基于字典序投影优化（LPO）的策略优化方法，并在基准问题上验证了所提算法。
2024-09-04 cs.AI cs.LG
Safe Reinforcement Learning with Scene Decomposition for Navigating Complex Urban Environments
Stanford University（斯坦福大学）；Honda Research Institute（本田研究院）
在城市环境中导航对自动驾驶汽车来说是一项复杂的任务。他们必须在考虑众多交通参与者的同时安全有效地达到目标。我们提出了一个模块化的决策算法，自主导航交叉口，解决现有的基于规则和强化学习（RL）的方法的挑战。我们首先提出了一个安全的RL算法依赖于模型检查器，以确保安全保证。为了使决策策略对感知错误和遮挡具有鲁棒性，我们引入了一种使用基于学习的方法的信念更新技术。最后，我们使用场景分解的方法来扩展我们的算法，多个交通参与者的环境。我们的经验表明，我们的算法优于基于规则的方法和强化学习技术在一个复杂的交叉口的情况。
2019-04-25 cs.AI cs.LG cs.RO
A Comprehensive Survey of Reinforcement Learning: From Algorithms to Practical Challenges
Wilfrid Laurier University（劳里埃大学）
本文全面综述强化学习算法，从基础表格方法到深度强化学习技术，按可扩展性和样本效率等标准分类评估，并提供算法选择与实现的实用见解。
2025-02-01 cs.AI cs.LG
Trajectory Inspection: A Method for Iterative Clinician-Driven Design of Reinforcement Learning Studies
MIT（麻省理工学院）；Harvard Medical School（哈佛医学院）；Harvard Pilgrim Healthcare Institute（哈佛朝圣者医疗保健研究所）
强化学习（RL）具有显著改善临床决策的潜力。然而，通过RL从观察数据中学习的治疗策略对研究设计中的微妙选择很敏感。我们强调了一种简单的方法，轨迹检查，使临床医生进入一个迭代的设计过程，基于模型的RL研究。我们确定模型在哪里推荐了意想不到的积极治疗或期望从其建议中获得令人惊讶的积极结果。然后，我们检查临床轨迹与学习的模型和政策一起模拟实际的医院课程。将这种方法应用于最近关于RL用于脓毒症管理的工作，我们发现了对出院的模型偏倚，可能与小样本量有关的高血管加压药剂量的偏好，以及在不停用血管加压药的情况下出院的临床不合理预期。我们希望通过迭代检测和解决我们的方法发现的问题，将导致RL政策，激发更多的部署信心。
2020-12-21 cs.AI cs.LG
A Simple Reward-free Approach to Constrained Reinforcement Learning
Princeton University（普林斯顿大学）
在约束强化学习（RL）中，学习代理不仅要优化整体奖励，还要满足额外的安全性、多样性或预算约束。因此，现有的约束RL解决方案需要几个新的算法成分，显着不同于标准RL。另一方面，无奖励强化学习是在无约束文献中独立开发的，它在不使用奖励信息的情况下学习过渡动态，因此自然能够在共同动态下解决具有多个目标的强化学习。本文桥接了无报酬强化学习和约束强化学习。特别地，我们提出了一个简单的元算法，使得给定任何无奖励的RL预言，可以直接解决可接近性和约束RL问题，样本复杂度的开销可以忽略不计。利用现有的无奖励的RL求解器，我们的框架提供了尖锐的样本复杂性结果约束RL在表格MDP设置，匹配最好的现有结果的一个因素的水平依赖性，我们的框架直接扩展到一个设置的表格两个球员马尔可夫游戏，并给出了一个新的结果约束RL与线性函数近似。
2021-07-12 cs.AI cs.LG
FedMRL: Data Heterogeneity Aware Federated Multi-agent Deep Reinforcement Learning for Medical Imaging
Indian Institute of Technology Patna（印度理工学院巴特那分校）；Rajiv Gandhi Institute of Petroleum Technology（拉吉夫·甘地石油技术学院）
针对联邦医学影像学习中客户端数据非独立同分布导致的全局模型性能下降问题，提出融合公平损失、MARL近端项计算与SOM自适应权重调整的FedMRL框架，在两个公开医学数据集上性能优于现有最优方法。
2024-07-08 cs.AI cs.CV cs.DC
Exploiting Estimation Bias in Clipped Double Q-Learning for Continous Control Reinforcement Learning Tasks
University of Padova（帕多瓦大学）；Human-Inspired Technology Research Center（仿人技术研究中心）
本文提出一种偏差利用（BE）机制，在Actor-Critic方法的深度双Q学习中动态选择最有利的估计偏差，以解决连续控制强化学习中的次优策略问题，且不增加计算复杂度。
2024-10-11 cs.AI cs.LG
Offline Reinforcement Learning with OOD State Correction and OOD Action Suppression
Tsinghua University（清华大学）
针对离线强化学习中未被充分研究的分布外状态导致性能下降的问题，提出统一分布外状态校正与动作抑制的SCAS方法，无需额外调优即有优异性能且抗扰动鲁棒性更强。
2024-11-01 cs.AI cs.LG
Reinforcement Learning with Fast and Forgetful Memory
University of Cambridge（剑桥大学）；Toshiba Europe Ltd.（东芝欧洲有限公司）
针对强化学习中借用监督学习记忆模型存在的训练效率差异问题，提出专门适配RL的快速遗忘记忆模型，可直接替代RNN，在多基准中获更高奖励且训练速度快两个数量级。
2023-10-06 cs.AI cs.LG
Human-centered collaborative robots with deep reinforcement learning
KTH Royal Institute of Technology（瑞典皇家理工学院）
我们提出了一个基于强化学习的以人为中心的协作系统框架。该框架是积极主动的，通过最大限度地减少完成任务所花的总时间，平衡了及时行动的好处和采取不当行动的风险。该框架以无监督的方式进行端到端的学习，以综合的方式解决感知不确定性和决策。该框架被证明是提供更流畅的协调人类和机器人合作伙伴之间的一个例子任务的包装相比，感知和决策系统独立学习的替代品，使用监督学习。所提出的方法的最大好处是，它允许快速适应新的人类合作伙伴和任务，因为繁琐的注释的运动数据被避免，并在线进行学习。
2020-07-02 cs.AI cs.LG cs.RO
Learning Practical Communication Strategies in Cooperative Multi-Agent Reinforcement Learning
University of Southern California（南加州大学）
在多智能体强化学习中，通信对于鼓励智能体之间的合作至关重要。在现实的无线网络中，由于网络条件随代理的移动性和传输过程的随机性而变化，通信可能是高度不可靠的。我们提出了一个框架来学习实际的通信策略，解决三个基本问题：（1）当：代理学习的通信时间不仅基于消息的重要性，但也无线信道条件。(2)内容：代理通过无线网络测量增加消息内容，以更好地选择游戏和通信动作。(3)如何：代理使用一种新的神经消息编码器来保存接收到的消息中的所有信息，而不管消息的数量和顺序如何。在现实的无线网络设置下模拟标准的基准测试，我们显示出显着的改进，在游戏性能，收敛速度和通信效率相比，国家的最先进的。
2022-09-02 cs.AI cs.LG cs.MA
Model-Based Episodic Memory Induces Dynamic Hybrid Controls
Applied AI Institute, Deakin University（应用人工智能研究所，迪肯大学）
情景控制通过从情景记忆中回忆过去的经验，使强化学习中的样本效率成为可能。我们提出了一个新的基于模型的情景记忆的轨迹解决目前的局限性情景控制。我们的记忆估计轨迹值，引导智能体采取好的策略。建立在记忆，我们构建了一个互补的学习模型，通过一个动态的混合控制统一的基于模型的，情节和习惯性的学习到一个单一的架构。实验表明，我们的模型允许显着更快，更好的学习比其他强大的强化学习代理在各种环境中，包括随机和非马尔可夫设置。
2021-11-06 cs.AI cs.LG
GPG: A Simple and Strong Reinforcement Learning Baseline for Model Reasoning
AMAP, Alibaba Group（阿里巴巴集团高德地图）
GPG提出了一种简化且高效的强化学习方法，通过直接优化原始目标并消除冗余组件，实现了在多种任务中优于传统方法的性能。
2026-02-03 cs.AI cs.LG
Centralized Reward Agent for Knowledge Sharing and Transfer in Multi-Task Reinforcement Learning
School of Computing, National University of Singapore（新加坡国立大学计算机学院）；TikTok Pte. Ltd., Singapore（新加坡TikTok公司）；School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电子与电气工程学院）；Department of Electrical and Computer Engineering, National University of Singapore（新加坡国立大学电气与计算机工程系）
本文提出一种集成集中式奖励智能体与分布式策略智能体的多任务强化学习框架，通过奖励塑形实现知识共享与迁移，在Meta-World等基准上验证了其鲁棒性和对新任务的适应性。
2025-10-26 cs.AI cs.LG
Reinforcement Learning in Hyperbolic Spaces: Models and Experiments
Faculty of Natural Sciences and Mathematics（自然科学与数学系）；University of Montenegro（黑山大学）；Faculty of Engineering（工程学院）；University of Rijeka（里耶卡大学）；Faculty of Technical Engineering（技术工程学院）；University of Bihać（比哈奇大学）
本文将多智能体未知环境探索形式化为双曲空间中的强化学习问题，通过引入统计与动力学模型并基于黑盒优化视角实现相关算法。
2024-10-12 cs.LG
CausalPlayground: Addressing Data-Generation Requirements in Cutting-Edge Causality Research
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Universiteit van Amsterdam（阿姆斯特丹大学）；Leiden University（莱顿大学）
针对因果效应研究中合成数据生成工具不足的问题，提出CausalPlayground库，提供标准化SCM生成、采样与共享平台，并集成Gymnasium支持在线交互，以提升研究效率与可比性。
2024-05-21 cs.AI cs.LG
Creativity of AI: Hierarchical Planning Model Learning for Facilitating Deep Reinforcement Learning
Sun Yat-sen University（中山大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出一种结合符号选项与分层规划模型的深度强化学习框架，通过循环训练自动学习规划模型以提升数据效率、可解释性与可迁移性，并在两个领域验证了其有效性。
2023-07-07 cs.AI cs.LG
Safety-Gymnasium: A Unified Safe Reinforcement Learning Benchmark
Institute for AI, Peking University（北京大学人工智能研究院）；Beijing Institute for General Artificial Intelligence (BIGAI)（北京通用人工智能研究院）
针对AI系统部署的安全隐患及SafeRL落地需求，本文提出统一基准Safety-Gymnasium，覆盖多场景安全任务与多输入形式，并配套含16种前沿算法的SafePO库，以推动SafeRL的评估对比与实际应用发展。
2024-10-06 cs.AI cs.LG
SPEQ: Offline Stabilization Phases for Efficient Q-Learning in High Update-To-Data Ratio Reinforcement Learning
MICC - University of Florence（MICC - 佛罗伦萨大学）；SEED – Electronic Arts（SEED – 美国艺电）
本文提出SPEQ算法，通过低UTD在线训练结合固定回放缓冲区上的周期性高UTD离线稳定阶段，在MuJoCo上以更少梯度更新和训练时间保持或超越现有高UTD方法。
2025-03-18 cs.AI cs.LG
Memory-based Deep Reinforcement Learning for POMDPs
University of Waterloo（滑铁卢大学）；Monash University（莫纳什大学）
深度强化学习（DRL）的一个有前途的特性是它能够以端到端的方式学习最优策略，而不依赖于特征工程。然而，大多数方法假设完全可观察的状态空间，即完全可观察的马尔可夫决策过程（MDP）。在现实世界的机器人中，这种假设是不切实际的，因为传感器灵敏度限制和传感器噪声等问题，以及缺乏关于观察设计是否完整的知识。这些场景导致部分可观察的MDP（POMDP）。本文通过在TD 3中引入记忆成分，提出了基于长短期记忆的双延迟深度确定性策略梯度（LSTM-TD 3），并在MDP和POMDP中与其他DRL算法进行了性能比较。我们的研究结果表明，内存组件在解决POMDPs的显着优势，包括处理丢失和嘈杂的观测数据的能力。
2021-09-13 cs.AI cs.LG cs.RO
Discovering Reinforcement Learning Algorithms
DeepMind（深度思维）
强化学习（RL）算法根据几种可能的规则之一更新代理的参数，这些规则是通过多年的研究手动发现的。从数据中自动发现更新规则可以产生更有效的算法，或者更好地适应特定环境的算法。虽然之前已经尝试解决这个重大的科学挑战，它仍然是一个悬而未决的问题，它是否是可行的发现替代RL的基本概念，如价值函数和时间差学习。本文介绍了一种新的元学习方法，发现一个完整的更新规则，其中包括“预测什么”（例如价值函数）和“如何从它学习”（例如自举）通过与一组环境的交互。该方法的输出是一个RL算法，我们称之为学习策略梯度（LPG）。实证结果表明，我们的方法发现自己的替代概念的价值函数。此外，它还发现了一种自举机制来维护和使用其预测。令人惊讶的是，当仅在玩具环境中训练时，LPG有效地推广到复杂的Atari游戏，并实现了非平凡的性能。这显示了从数据中发现通用RL算法的潜力。
2021-01-05 cs.AI cs.LG
LLMs Are In-Context Bandit Reinforcement Learners
Cornell University（康奈尔大学）；EPFL（洛桑联邦理工学院）；Harvard University（哈佛大学）
本文研究LLM能否基于外部奖励进行在线上下文赌博机强化学习，通过500M至70B模型的分类实验验证ICRL能力，并分析其稳定性、标签形式、扩展趋势及错误推理局限。
2025-09-29 cs.AI cs.CL cs.LG
