Rogue-Gym: A New Challenge for Generalization in Reinforcement Learning
The University of Tokyo（东京大学）
在本文中，我们提出了Rogue-Gym，这是一个简单而经典的roguelike游戏，用于评估强化学习（RL）中的泛化能力。结合深度神经网络的最新进展，RL已经成功地在许多游戏（如Atari 2600）中训练了人类级别的智能体，而无需人类知识。然而，有人指出，用RL方法训练的智能体往往过拟合训练环境，并且它们在略有不同的环境中工作得很差。为了研究这个问题，已经提出了一些研究环境与程序内容生成。在这些研究之后，我们建议使用roguelikes作为基准来评估RL代理的泛化能力。在我们的Rogue-Gym中，代理需要在每次开始新游戏时探索结构不同的地牢。由于地下城的结构非常多样化，我们相信Rogue-Gym的泛化基准是足够公平的。在我们的实验中，我们评估了一种标准的强化学习方法PPO，有和没有泛化增强。结果表明，一些被认为是有效的增强未能减轻Rogue-Gym中的过拟合，虽然其他人略有提高泛化能力。
2019-06-01 cs.LG stat.ML
A Brief Look at Generalization in Visual Meta-Reinforcement Learning
Mila - McGill University（米拉 - 麦吉尔大学）；Google DeepMind（谷歌DeepMind）
由于认识到在高维任务上训练的深度强化学习算法可以强烈过拟合其训练环境，因此已经有几项研究调查了这些算法的泛化性能。然而，还没有类似的研究评估专门为泛化设计的算法的泛化性能，即Meta强化学习算法。在本文中，我们评估这些算法的泛化性能，利用高维，程序生成的环境。我们发现，这些算法可以显示强大的过拟合时，他们具有挑战性的任务进行评估。我们还观察到，在当前的许多Meta强化学习算法中，具有稀疏奖励的高维任务的可扩展性仍然是一个重大问题。有了这些结果，我们强调了开发既可以推广又可以扩展的Meta强化学习算法的必要性。
2020-07-03 cs.AI cs.LG stat.ML
Delay-Aware Multi-Agent Reinforcement Learning for Cooperative and Competitive Environments
State Key Laboratory of Automotive Safety and Energy, Tsinghua University（清华大学汽车安全与节能国家重点实验室）；Carnegie Mellon University（卡内基梅隆大学）
在现实世界的信息物理系统中，行动和观测延迟是普遍存在的，这给强化学习的设计带来了挑战。这是一个艰巨的任务时，处理多代理系统，其中一个代理的延迟可能会蔓延到其他代理。为了解决这个问题，本文提出了一种新的框架来处理延迟以及非平稳训练问题的多智能体任务与无模型的深度强化学习。我们正式定义的延迟意识马尔可夫博弈，包括在环境中的所有代理的延迟。为了解决延迟感知马尔可夫博弈，我们采用集中式训练和分散式执行，允许代理使用额外的信息来缓解多代理系统在训练过程中的非平稳性问题，而无需在执行过程中使用集中式控制器。实验在多智能体粒子环境中进行，包括合作通信，合作导航和竞争实验。我们还测试了所提出的算法在交通场景中，需要协调的所有自动驾驶车辆，以显示延迟意识的实用价值。实验结果表明，所提出的时延感知多智能体强化学习算法有效地抑制了时延带来的性能下降.代码和演示视频可在https://github.com/baimingc/delay-aware-MARL上获得。
2020-08-29 cs.LG cs.MA stat.ML
Equivalence Between Wasserstein and Value-Aware Loss for Model-based Reinforcement Learning
Brown University（布朗大学）；Cornell Tech（康奈尔科技校区）
生成模型的学习是基于模型的强化学习的关键组成部分。虽然在表格设置中学习一个好的模型是一项简单的任务，但在近似设置中学习一个有用的模型是具有挑战性的。在这种情况下，一个重要的问题是用于模型学习的损失函数，因为改变损失函数可以对规划的有效性产生显著影响。最近，Farahmand et al.（2017）提出了一种值感知模型学习（VAML）目标，该目标在模型学习期间捕获价值函数的结构。使用Asadi et al.（2018）的工具，我们证明了最小化VAML目标实际上等同于最小化Wasserstein度量。这种等价性加深了我们对值感知模型的理解，也为Wasserstein在基于模型的强化学习中的应用奠定了理论基础。
2018-07-08 cs.AI cs.LG stat.ML
Learner-aware Teaching: Inverse Reinforcement Learning with Preferences and Constraints
Microsoft Research（微软研究院）；MPI-SWS（马克斯·普朗克软件系统研究所）；ETH Zurich（苏黎世联邦理工学院）
逆强化学习（IRL）使智能体能够通过观察（接近）最优策略的演示来学习复杂的行为。典型的假设是，学习者的目标是匹配教师的示范行为。在本文中，我们考虑的设置，学习者有自己的喜好，它另外考虑。例如，这些偏好可以捕获行为偏见，不匹配的世界观或物理约束。我们研究了两种教学方法：学习者不可知的教学，其中教师提供示范，从一个最佳的政策，忽略学习者的喜好，和学习者意识到的教学，其中教师占学习者的喜好。我们设计的学习者意识的教学算法，并表明显着的性能改善，可以实现学习者不可知的教学。
2019-10-29 cs.AI cs.LG stat.ML
The Role of Pretrained Representations for the OOD Generalization of Reinforcement Learning Agents
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Technical University of Denmark（丹麦技术大学）；Amazon Lablets（亚马逊实验室）；Google Brain（谷歌大脑）；KTH Stockholm（斯德哥尔摩皇家理工学院）
在现实世界的环境中，构建样本效率高的代理来推广分布外（OOD）仍然是实现更高层次认知的道路上一个基本的未解决的问题。一种特别有前途的方法是从我们世界的低维预训练表示开始，这应该有助于有效的下游学习和泛化。通过在模拟机器人设置上训练240个表示和超过10，000个强化学习（RL）策略，我们评估了预训练的基于VAE的表示的不同属性在多大程度上影响下游代理的OOD泛化。我们观察到，许多代理人是令人惊讶的强大的现实分布偏移，包括具有挑战性的模拟真实的情况下。此外，我们发现，一个简单的下游代理任务的泛化性能可靠地预测我们的RL代理的泛化性能在广泛的OOD设置。因此，这种代理任务可以用于选择预训练的表示，这将导致代理泛化。
2022-04-16 cs.LG stat.ML
Model-Advantage and Value-Aware Models for Model-Based Reinforcement Learning: Bridging the Gap in Theory and Practice
Georgia Institute of Technology（佐治亚理工学院）；Allen Institute for AI（艾伦人工智能研究所）
这项工作表明，值感知模型学习，其众多的理论优势，也是切实可行的解决具有挑战性的连续控制任务，在流行的基于模型的强化学习算法。首先，我们推导出一种新的值感知模型学习目标，通过限制模型优势，即模型性能差异，在两个MDP或模型之间给定一个固定的政策，在大多数连续控制环境中实现优越的性能。其次，我们确定了在天真地替换价值感知目标的最大似然在dyna风格的基于模型的RL算法的陈旧价值估计的问题。我们提出的补救措施，这个问题的桥梁长期存在的差距，在理论和实践中的价值感知模型学习，使所有的价值感知目标的成功部署，在解决几个连续控制机器人操作和运动任务。我们的结果是通过对两种流行的基于开源模型的RL算法SLBO和MBPO进行最小修改而获得的，无需调整任何现有的超参数，同时在某些环境中也展示了比这些基线更好的价值感知目标性能。
2022-01-28 cs.AI cs.LG stat.ML
Assessing Generalization in Deep Reinforcement Learning
University of California Berkeley（加州大学伯克利分校）；Intel Labs（英特尔实验室）；National University of Singapore（新加坡国立大学）；University of Texas Austin（得克萨斯大学奥斯汀分校）
深度强化学习（RL）在许多任务上取得了突破性的成果，但智能体往往无法泛化到它们所训练的环境之外。因此，促进泛化的深度RL算法正受到越来越多的关注。然而，在这一领域的作品使用各种各样的任务和实验设置进行评估。文献缺乏一个控制评估的优点，不同的推广计划。我们的目标是在深度RL中促进社区范围内的泛化进展。为此，我们提出了一个基准和实验协议，并进行了系统的实证研究。我们的框架包含一组不同的环境，我们的方法涵盖了分布内和分布外泛化，我们的评估包括专门处理泛化的深度RL算法。我们的关键发现是，“香草”深度RL算法的泛化能力优于专门为解决泛化问题而提出的专门方案。
2019-03-15 cs.AI cs.LG stat.ML
SNeRL: Semantic-aware Neural Radiance Fields for Reinforcement Learning
Seoul National University（首尔国立大学）；ASRI（自动化与系统研究所）；AIIS（人工智能创新研究所）
本文提出SNeRL，通过在NeRF中并行引入三维语义场和蒸馏特征场，联合优化卷积编码器学习语义感知的三维神经隐式表示，在无模型和基于模型的强化学习中均优于现有像素级和三维感知表示。
2023-05-31 cs.AI cs.CV cs.LG
Context-Aware Safe Reinforcement Learning for Non-Stationary Environments
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
在为现实任务部署强化学习代理时，安全性是一个关键问题。最近，安全的强化学习算法已经被开发出来，以优化代理的性能，同时避免违反安全约束。然而，很少有研究涉及到环境中的非平稳扰动，这可能会导致灾难性的后果。在本文中，我们提出了上下文感知安全的强化学习（CASRL）方法，一个元学习框架，以实现安全适应非平稳环境。我们使用一个概率潜变量模型来实现快速推断的后验环境的过渡分布的上下文数据。安全约束，然后评估与不确定性感知轨迹采样。安全违规的高成本导致数据集中不安全记录的稀缺性。我们通过在模型训练过程中启用优先级采样和在约束规划过程中使用领域知识制定先验安全约束来解决这个问题。该算法在现实的安全关键环境中进行评估，非平稳干扰。结果表明，该算法在安全性和鲁棒性方面显着优于现有的基线。
2021-01-02 cs.LG
Contingency-Aware Exploration in Reinforcement Learning
University of Michigan（密歇根大学）；Google Brain（谷歌大脑）
本文研究了学习环境的偶然性意识和可控方面是否可以导致强化学习中更好的探索。为了研究这个问题，我们考虑在街机学习元素（ALE）上评估这个假设的实例。在这项研究中，我们开发了一个专注的动力学模型（ADM），发现可控元素的观察，这往往是与雅达利游戏中的角色的位置。ADM以自我监督的方式进行训练，以预测代理所采取的行动。所学习的偶然性信息被用作用于探索目的的状态表示的一部分。我们证明了演员-评论家算法与基于计数的探索相结合，使用我们的表示实现了令人印象深刻的结果，一组臭名昭著的具有挑战性的雅达利游戏，由于稀疏的奖励。例如，我们在《蒙特祖玛的复仇》中报告了一个>11,000分的最新分数，而没有使用专家演示、明确的高级信息（例如，RAM状态）或监控数据。我们的实验证实，偶然意识确实是一个非常强大的概念，用于解决强化学习中的探索问题，并为进一步的研究开辟了有趣的研究问题。
2019-03-04 cs.AI cs.LG stat.ML
Contrastive Behavioral Similarity Embeddings for Generalization in Reinforcement Learning
Google Research（谷歌研究院）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；DeepMind（深度思维公司）
在少数环境中训练的强化学习方法很少学习推广到未知环境的策略。为了提高泛化能力，我们将强化学习中固有的顺序结构融入到表示学习过程中。这种方法与最近的方法是正交的，这些方法很少明确地利用这种结构。具体来说，我们引入了一个理论上的动机的政策相似性度量（PSM）测量状态之间的行为相似性。PSM分配高相似性的状态，在这些状态以及在未来的状态是相似的最优策略。我们还提出了一个对比表示学习过程中嵌入任何状态相似性度量，我们与PSM实例化，以获得政策相似性嵌入（PSE）。我们证明了PSE在不同的基准测试中提高了泛化能力，包括具有虚假相关性的LQR，从像素的跳跃任务和分散DM控制套件。
2021-03-18 cs.AI cs.LG stat.ML
The Principle of Unchanged Optimality in Reinforcement Learning Generalization
Google Brain（谷歌大脑）
最近的几篇论文研究了强化学习（RL）中的泛化，提出了新的环境或向现有环境添加噪声的方法，然后在这些环境中对算法和模型架构进行基准测试。我们讨论了RL基准的微妙概念属性，这些属性在监督学习（SL）中是不需要的，并且还讨论了RL基准应该具有的属性。其中最主要的是我们称之为不变最优性原则：应该存在一个在所有训练和测试任务中都是最优的$π$。在这项工作中，我们讨论了为什么这个原则是重要的，以及如何可以打破或满足由于微妙的选择状态表示或模型架构。最后，我们讨论的挑战和未来的研究线在理论上分析泛化基准。
2019-06-02 cs.AI cs.LG stat.ML
Context-aware Active Multi-Step Reinforcement Learning
SUNY at Buffalo（纽约州立大学布法罗分校）；Baidu（百度）；Salesforce（赛富时）
强化学习最近引起了人们的极大关注，特别是策略梯度算法，已经在具有挑战性的决策和控制任务上得到了展示。在本文中，我们提出了一个积极的多步TD算法与自适应步长学习演员和评论家。具体来说，我们的模型由两个部分组成：主动步长学习和自适应多步TD算法。首先，我们将时间范围划分为块，并在每个块中主动选择状态和动作。然后，给定选定的样本，我们提出了自适应的多步TD，它推广TD（$λ$），但自适应地打开/关闭备份，从未来的回报不同的步骤。特别地，自适应多步TD引入了上下文感知机制，这里是二元分类器，其基于上下文变化来决定是否打开其未来备份。因此，我们的模型是一种主动学习和多步TD算法的结合，它具有学习的能力，而不需要重要性采样。我们评估了我们的方法在离散和连续的空间任务分别在一个关闭的政策设置，并展示了竞争力的结果相比，其他强化学习基线。
2019-11-27 cs.AI cs.LG stat.ML
Dynamics Generalization via Information Bottleneck in Deep Reinforcement Learning
UC Berkeley（加州大学伯克利分校）
尽管深度强化学习（RL）在解决顺序决策问题方面取得了重大进展，但RL代理通常过度适应训练环境，并难以适应新的、不可见的环境。这阻止了RL在现实世界中的鲁棒应用，其中系统动态可能会严重偏离训练设置。在这项工作中，我们的主要贡献是提出了一个信息论正则化目标和一个基于退火的优化方法，以实现更好的推广能力的RL代理。我们展示了我们的方法在不同领域的极端推广效益，从迷宫导航到机器人任务;我们第一次表明，代理可以推广到测试参数超过10个标准差远离训练参数分布。这项工作提供了一种原则性的方法，通过逐渐去除对任务解决来说冗余的信息来提高RL中的泛化能力;它为从训练到极端不同的测试设置的泛化系统研究打开了大门，重点是信息论和机器学习之间的联系。
2020-08-03 cs.AI cs.LG stat.ML
On the Generalization Gap in Reparameterizable Reinforcement Learning
Salesforce Research（赛富时研究院）
理解强化学习（RL）中的泛化是一个重大挑战，因为传统监督学习理论的许多常见假设不适用。我们专注于一类特殊的可重参数化RL问题，其中的轨迹分布可以使用重参数化技巧进行分解。对于这类问题，估计的期望回报是有效的，轨迹可以确定性地计算给定的周边随机变量，这使得我们能够研究重新参数化的强化学习使用监督学习和迁移学习理论。通过这些关系，我们得到保证的内在和外部误差的预期和经验回报之间的差距，根据Rademacher复杂性以及PAC贝叶斯界。我们的界限表明，可重参数化RL的泛化能力与多个因素有关，包括环境过渡的“平滑性”，奖励和代理策略函数类。我们还通过模拟实证验证了泛化差距与这些因素之间的关系。
2019-05-29 cs.AI cs.LG stat.ML
Reinforcement Learning Generalization with Surprise Minimization
University of Toronto（多伦多大学）
泛化对于深度强化学习算法来说仍然是一个具有挑战性的问题，这些算法通常在同一组确定性游戏环境中进行训练和测试。当测试环境是不可见的和扰动的，但任务的性质保持不变，泛化差距可能会出现。在这项工作中，我们提出并评估了一个惊喜最小化代理的泛化基准，以显示从简单的密度模型中学习到的额外奖励可以在提供恒定熵源和随机性的程序生成的游戏环境中表现出鲁棒性。
2020-07-02 cs.AI cs.LG
Learning Context-aware Task Reasoning for Efficient Meta-reinforcement Learning
ShanghaiTech University（上海科技大学）
尽管最近基于深度网络的强化学习（RL）取得了成功，但在学习新任务时仍然难以达到人类水平的效率。虽然以前的努力试图使用元学习策略来解决这一挑战，但它们通常会遭受策略上RL算法的采样效率低下或离策略学习的元过拟合。在这项工作中，我们提出了一种新的元RL策略来解决这些限制。特别是，我们将元RL问题分解为三个子任务，任务探索，任务推理和任务实现，实例化两个深度网络代理和一个任务编码器。在元训练期间，我们的方法学习用于任务实现的任务条件演员网络，具有鼓励任务探索中的任务信息体验的自我监督奖励塑造的探索者网络，以及用于任务推理的上下文感知的基于图的任务编码器。我们在几个公共基准上进行了大量的实验，结果表明，我们的算法有效地进行了任务推理的探索，提高了训练和测试过程中的样本效率，并减轻了元过拟合问题。
2022-05-02 cs.AI cs.LG stat.ML
Dynamic Interaction-Aware Scene Understanding for Reinforcement Learning in Autonomous Driving
University of Freiburg（弗莱堡大学）；BMWGroup（宝马集团）；Cluster of Excellence BrainLinks-BrainTools（脑连接-脑工具卓越集群）
自动驾驶系统中的通用管道是高度模块化的，包括一个感知组件，该组件提取周围物体的列表并将这些列表传递给高级决策组件。在这种情况下，利用深度强化学习的优势进行高级决策需要特殊的架构来处理不同对象类型的多个可变长度序列，例如车辆，车道或交通标志。与此同时，该架构必须能够覆盖流量参与者之间的交互，以便找到要采取的最佳行动。在这项工作中，我们提出了新的深度场景架构，可以学习复杂的交互感知场景表示的基础上扩展1）深度集或2）图卷积网络。我们提出了Graph-Q和DeepScene-Q非策略强化学习算法，在使用公开的交通模拟器SUMO进行评估时，这两种算法的性能都优于最先进的方法。
2019-09-30 cs.AI cs.LG cs.RO
A Dissection of Overfitting and Generalization in Continuous Reinforcement Learning
McGill University（麦吉尔大学）；Facebook AI Research（Facebook人工智能研究院）
在机器学习中过度拟合的风险和危险是众所周知的。然而，大多数对此的治疗，包括诊断工具和补救措施，都是针对监督学习的情况而开发的。在这项工作中，我们的目标是提供新的视角来描述和预防深度强化学习（RL）方法中的过拟合，特别关注连续域。我们研究了几个方面，如如何定义和诊断过拟合在MDPs，以及如何通过注入足够的培训多样性来降低风险。这项工作补充了最近关于深度RL方法的脆性的发现，并为RL研究人员和从业者提供了实际的观察。
2018-06-25 cs.AI cs.LG stat.ML
Deep Reinforcement Learning in Ice Hockey for Context-Aware Player Evaluation
Simon Fraser University（西蒙弗雷泽大学）
已经提出了各种机器学习模型来评估职业运动员的表现。然而，他们只有有限的能力来模拟玩家的表现如何取决于游戏环境。本文提出了一种捕获游戏上下文的新方法：我们应用深度强化学习（DRL）从国家曲棍球联盟（NHL）的3M逐场比赛事件中学习动作值Q函数。神经网络表示使用基于占有的LSTM集成了连续上下文信号和游戏历史。学习的Q函数用于评估玩家在不同游戏情境下的行为。为了评估玩家的整体表现，我们引入了一个新的游戏影响指标（GIM），聚合玩家的行动的价值。实证评估表明，GIM是一致的，在整个赛季，并与标准的成功措施和未来的工资高度相关。
2018-07-16 cs.AI cs.LG stat.ML
CALF: Communication-Aware Learning Framework for Distributed Reinforcement Learning
University of Cambridge（剑桥大学）
本文提出CALF框架，通过在仿真中训练考虑通信延迟等网络条件的策略，减少实际部署中的性能差距，验证了通信约束建模对实现鲁棒现实执行的重要性。
2026-03-13 cs.AI cs.LG
Measuring and Characterizing Generalization in Deep Reinforcement Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Brown University（布朗大学）
深度学习方法在具有挑战性的控制任务中取得了卓越的性能。对结果行为的观察给人的印象是，智能体已经构建了一个支持有见地的行动决策的广义表示。我们重新审视RL中的泛化意味着什么，并根据代理在策略上，策略外和不可达状态下的表现提出了几个定义。我们提出了一套实用的方法来评估这些定义的泛化代理。我们在深度强化学习的一个常见基准任务上演示了这些技术，并且我们表明，学习后的网络对于与策略状态仅略有不同的状态做出了糟糕的决策，即使这些状态没有被对抗性地选择。总之，这些结果对深度Q网络学习广义表征的程度提出了质疑，并表明在支持表示学习的主张之前，需要进行更多的实验和分析。
2018-12-11 cs.AI cs.LG stat.ML
Generalization to New Actions in Reinforcement Learning
Department of Computer Science, University of Southern California（南加州大学计算机科学系）
智力的一个基本特征是在面对新的环境时实现目标的能力，例如从新的行动选择中做出决定。然而，标准的强化学习假设一组固定的动作，并且在给定新的动作集时需要昂贵的再训练。为了使学习代理更具适应性，我们引入了zero-shot泛化问题。我们提出了一个两阶段的框架，代理首先推断动作表示从单独获得的任务的动作信息。一个灵活的政策，以不同的行动集，然后训练泛化目标。我们对顺序任务进行基准泛化，例如从看不见的工具集中选择以解决物理推理难题和堆叠具有新颖3D形状的塔。视频和代码可在https://sites.google.com/view/action-generalization上获得
2020-11-03 cs.AI cs.LG cs.RO
Completion-Aware Cross-Fidelity Offline-to-Online Reinforcement Learning for Multi-Line Bus Holding
Central South University（中南大学）
针对运营车队无法探索及模拟器与目标动态差异问题，提出完成度感知的跨保真度离线到在线强化学习方法，用于多线路公交驻站控制，解决低乘客时间与不完整行程并存的失效模式。
2026-10-20 cs.AI cs.LG
Do Androids Dream of Electric Fences? Safety-Aware Reinforcement Learning with Latent Shielding
Imperial College London（伦敦帝国理工学院）；University College London（伦敦大学学院）；Apricity
新兴的强化学习系统进入现实世界应用的趋势日益增长，伴随着对其安全性和鲁棒性的日益关注。近年来，已经提出了各种方法来解决安全意识强化学习的挑战;然而，这些方法通常需要预先提供手工制作的环境模型，或者环境相对简单且低维。我们提出了一种新的方法，安全意识的深度强化学习在高维环境中称为潜在的屏蔽。潜在屏蔽利用基于模型的代理学习的环境的内部表示来“想象”未来的轨迹，并避免那些被认为不安全的轨迹。我们的实验表明，这种方法导致改善遵守正式定义的安全规范。
2021-12-21 cs.LG cs.LO cs.NE
PPO Dash: Improving Generalization in Deep Reinforcement Learning
Vidya Gamer, LLC（维迪亚游戏有限责任公司）
深度强化学习容易出现过拟合，Atari 2600 benchmark等传统基准测试会加剧这一问题。障碍塔挑战通过使用随机环境和单独的种子进行训练，验证和测试来解决这个问题。本文研究了PPO算法的各种改进和最佳实践，使用障碍塔挑战来实证研究它们对泛化的影响。我们的实验表明，该组合提供了最先进的性能障碍塔的挑战。
2019-07-25 cs.AI cs.LG
Do Agents Dream of Electric Sheep?: Improving Generalization in Reinforcement Learning through Generative Learning
University of Bologna（博洛尼亚大学）；University College London（伦敦大学学院）
受过度拟合大脑假说启发，提出基于生成式增强的想象强化学习方法，在ProcGen稀疏奖励环境中显著提升智能体泛化能力。
2024-03-12 cs.AI cs.LG
AI Recommendation Systems for Lane-Changing Using Adherence-Aware Reinforcement Learning
Systems Engineering Program, Cornell University（系统工程项目，康奈尔大学）；School of Civil and Environmental Engineering, Cornell University（土木与环境工程学院，康奈尔大学）
本文提出一种遵从感知深度Q网络方法，在半自动驾驶环境中考虑驾驶员的部分遵从，以优化车道变换推荐并提升单车行驶效率。
2025-04-28 cs.AI cs.LG cs.SY
Evaluation-Aware Reinforcement Learning
本文提出EvA-RL框架，通过在训练时考虑评估准确性，解决传统策略评估方法中高方差或偏倚问题，理论和实验表明其在评估精度与预期回报间取得平衡。
2026-03-20 cs.AI cs.LG
Invariant Policy Optimization: Towards Stronger Generalization in Reinforcement Learning
Princeton University（普林斯顿大学）
强化学习的一个基本挑战是学习在训练期间经历的操作域之外推广的策略。在本文中，我们通过以下不变性原则来解决这一挑战：代理必须找到一个表示，使得存在一个建立在此表示之上的动作预测器，该预测器在所有训练域中同时是最优的。直观地说，由此产生的不变策略通过找到成功动作的原因来增强泛化。我们提出了一种新的学习算法，不变策略优化（IPO），实现这一原则，并在训练过程中学习不变的政策。我们将我们的方法与标准的策略梯度方法进行比较，并展示了线性二次调节器和网格世界问题在看不见的域上的泛化性能的显着改善，以及机器人必须学会打开具有不同物理特性的门的例子。
2020-11-09 cs.AI cs.LG cs.RO
Ranking-aware Reinforcement Learning for Ordinal Ranking
AMAP, Alibaba Group（阿里集团AMAP）
RARL通过整合回归和学习到排名任务，利用排名-aware奖励和响应突变操作提升有序排名性能。
2026-01-28 cs.AI cs.LG
QoS and Jamming-Aware Wireless Networking Using Deep Reinforcement Learning
Intelligent Automation Inc.（智能自动化公司）；U.S. Army C5ISR（美国陆军C5ISR）；University of Minnesota（明尼苏达大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
研究了在受到外部窃听和干扰攻击的对抗性无线网络中的服务质量和干扰感知通信问题。为了确保强大的通信对干扰，干扰感知路由协议的开发，使节点能够避免通信孔的干扰攻击。然后，提出了一种基于深度强化学习的分布式协作框架，该框架允许节点评估网络状况，并就是否参与数据通信、保护网络免受干扰和窃听攻击或干扰其他传输做出深度学习驱动的分布式实时决策。其目标是最大限度地提高网络性能，包括吞吐量，能源效率，延迟和安全指标。仿真结果表明，所提出的干扰感知路由方法对干扰是鲁棒的，并且当吞吐量被优先考虑时，所提出的深度强化学习方法可以实现吞吐量的显着（测量为三倍）增加，与具有分配给节点的固定角色的基准策略相比。
2019-10-13 cs.LG cs.NI
Generalization of Reinforcement Learning with Policy-Aware Adversarial Data Augmentation
Carleton University（卡尔顿大学）
在强化学习（RL）中，泛化鸿沟是阻碍RL智能体学习通用技能和适应变化环境的重要障碍。提高强化学习系统的泛化能力可以显著提高其在现实工作环境中的性能。在这项工作中，我们提出了一种新的策略感知对抗数据增强方法，以增强自动生成的轨迹数据的标准策略学习方法。与常用的基于观测变换的数据增强方法不同，该方法基于策略梯度目标逆向生成新的轨迹数据，旨在通过策略感知的数据增强更有效地提高RL agent的泛化能力.此外，我们还部署了一个混合步骤来整合原始数据和生成的数据，以增强泛化能力，同时减轻对抗数据的过度偏差。我们进行了一些RL任务的实验，通过将其与标准基线和最先进的mixreg方法进行比较来研究所提出的方法的泛化性能。实验结果表明，该方法在训练多样性有限的情况下具有较好的泛化能力，并达到了最先进的泛化测试性能。
2021-12-03 cs.LG
Learning Dynamics and Generalization in Reinforcement Learning
University of Oxford（牛津大学）；DeepMind（深度思维）
解决强化学习（RL）问题带来了两个相互竞争的挑战：拟合潜在不连续的价值函数，以及很好地推广到新的观察结果。在本文中，我们分析了时间差算法的学习动力学，以获得新的洞察这两个目标之间的紧张关系。我们从理论上表明，时间差学习鼓励代理在训练早期拟合价值函数的非光滑成分，同时诱导二阶效应，阻碍泛化。我们在一系列环境中训练的深度RL代理中证实了这些发现，发现使用时间差算法训练的神经网络在密集奖励任务中表现出比随机初始化网络和使用策略梯度方法训练的网络更弱的状态间泛化能力。最后，我们研究了训练后的策略蒸馏如何避免这个陷阱，并表明这种方法提高了对ProcGen套件中新环境的泛化能力，并提高了对输入扰动的鲁棒性。
2022-06-05 cs.LG
$λ$-models: Effective Decision-Aware Reinforcement Learning with Latent Models
University of Toronto（多伦多大学）；Vector Institute（矢量研究院）
本文研究决策感知强化学习模型的关键组件，指出 MuZero 式潜变量模型的重要性及其损失在随机环境中的偏差，并给出不同场景下损失函数选择的实践建议。
2024-02-29 cs.AI cs.LG
Knowledge Transfer in Deep Reinforcement Learning for Slice-Aware Mobility Robustness Optimization
Nokia Bell Labs（诺基亚贝尔实验室）；Technical University of Munich（慕尼黑工业大学）；Nokia Software（诺基亚软件部门）
自组织网络中的传统移动性鲁棒性优化（MRO）旨在通过优化小区特定的切换参数来提高切换性能。然而，这样的解决方案不能满足下一代网络的需求与网络切片，因为它只保证接收信号的强度，而不是每个切片的服务质量。为了提供真正无缝的移动服务，我们提出了一种基于深度强化学习的切片感知移动鲁棒性优化（SAMRO）方法，该方法通过优化切片特定的切换参数来提高切换性能，并确保切片服务。此外，为了允许安全和样本有效的在线训练，我们开发了一个两步迁移学习方案：1）正则化的离线强化学习，以及2）有效的在线微调与混合经验重放。系统级仿真结果表明，与传统的MRO算法相比，SAMRO算法在优化切换性能的同时，显著提高了切片感知服务的连续性。
2022-03-07 cs.AI cs.LG cs.NI
Entropy-Aware Model Initialization for Effective Exploration in Deep Reinforcement Learning
Electronics and Telecommunications Research Institute (ETRI)（电子和电信研究院（ETRI））
本文针对深度强化学习中的探索问题，发现低初始熵导致学习失败，提出熵感知模型初始化策略，有效减少失败并提升性能、稳定性和学习速度。
2021-08-24 cs.AI cs.LG
Value-aware Importance Weighting for Off-policy Reinforcement Learning
University of Alberta（阿尔伯塔大学）
针对离策略强化学习中重要性采样权重方差过大导致稳定性问题，提出价值感知重要性权重，在保证无偏估计的同时降低方差，并将其扩展应用于多种预测算法进行实证评估。
2023-06-27 cs.AI cs.LG
Balancing Classification and Calibration Performance in Decision-Making LLMs via Calibration Aware Reinforcement Learning
University of Southern California（南加州大学）；AWS AI Labs（AWS AI实验室）
本文提出一种校准感知强化学习方法，通过调整决策标记概率，在保持准确性的同时减少过度自信，提升决策LLM的校准性能。
2026-01-19 cs.LG
Mind the Uncertainty: Risk-Aware and Actively Exploring Model-Based Reinforcement Learning
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）
提出一种基于轨迹采样的模型强化学习方法，通过概率安全约束及分离认知与偶然不确定性来平衡乐观与悲观，有效管理风险，在不确定及安全关键的控制环境中表现优异。
2023-09-11 cs.AI cs.LG cs.RO
On the Sample Complexity of Reinforcement Learning with Policy Space Generalization
UC Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）；NYU（纽约大学）
研究了具有策略空间泛化的大规模强化学习（RL）问题的最优样本复杂度，即Agent具有最优策略位于已知策略空间的先验知识.已有的结果表明，在没有泛化模型的情况下，RL算法的样本复杂度将不可避免地依赖于状态空间和动作空间的基数，而在许多实际问题中，这两个基数都非常大。为了避免这种对状态空间和动作空间大小的依赖性，本文提出了一种新的策略空间规避维数的概念，它刻画了任意马尔可夫决策过程（MDP）中策略学习的内在复杂性.使用一个模拟器的甲骨文，我们证明了一个接近最优的样本复杂度上界，只依赖于线性的逃避者的尺寸。我们进一步证明了类似的遗憾界在确定性系统没有模拟器。
2020-08-17 cs.AI cs.DS cs.LG
A Survey on Deep Reinforcement Learning-based Approaches for Adaptation and Generalization
Yonsei University（延世大学）
深度强化学习（Deep Reinforcement Learning，DRL）旨在创建智能代理，这些智能代理可以学习在现实环境中有效地解决复杂问题。通常，两个学习目标：适应和泛化用于基线DRL算法的性能在不同的任务和领域。本文综述了基于DRL的自适应和泛化方法的最新进展。我们首先在任务和领域的背景下制定这些目标。然后，我们回顾了这些方法下的最新工作，并讨论了未来的研究方向，通过DRL算法的适应性和泛化能力可以提高，并可能使它们适用于广泛的现实世界的问题。
2022-02-17 cs.AI cs.LG
Improving Generalization in Meta Reinforcement Learning using Learned Objectives
The Swiss AI Lab IDSIA（瑞士人工智能实验室IDSIA）；USI（瑞士意大利语区大学）；SUPSI（瑞士南方应用科技大学）
生物进化已经将许多学习者的经验提炼成人类的通用学习算法。我们的新型Meta强化学习算法MetaGenRL就是受到这个过程的启发。MetaGenRL提取了许多复杂智能体的经验，以元学习一个低复杂度的神经目标函数，决定未来的个体将如何学习。与最近的元RL算法不同，MetaGenRL可以推广到与元训练完全不同的新环境。在某些情况下，它甚至优于人类工程RL算法。MetaGenRL在元训练期间使用非策略二阶梯度，这大大提高了其样本效率。
2020-02-14 cs.AI cs.LG cs.NE
Action Robust Reinforcement Learning via Optimal Adversary Aware Policy Optimization
MoE Key Lab of Artificial Intelligence（人工智能MOE关键实验室）；AI Institute（人工智能研究院）；Shanghai Jiao Tong University（上海交通大学）
本文提出最优对手感知策略迭代（OA-PI）框架，通过针对最优动作对手优化策略来提升深度强化学习的动作鲁棒性，并可集成到TD3和PPO等主流算法中，在保持标称性能与样本效率的同时有效增强鲁棒性。
2025-07-04 cs.LG
HiFuzz: Hierarchical Reinforcement Learning for Semantic-Aware and Adaptive CPU Fuzzing
Hong Kong University of Science and Technology (HKUST), Hong Kong（香港科技大学）
针对传统变异模糊测试在处理器验证中效率低的问题，提出HiFuzz框架，采用分层强化学习及结构化生成过程，集成自适应机制与编码器，经实验验证，该框架在覆盖率和漏洞检测上显著优于现有工具。
2026-07-09 cs.AR cs.LG
RA-PbRL: Provably Efficient Risk-Aware Preference-Based Reinforcement Learning
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Oregon State University（俄勒冈州立大学）；University of California, Davis（加利福尼亚大学戴维斯分校）
针对单回合奖励下的安全关键场景，论文提出 RA-PbRL，以优化嵌套与静态分位数风险目标，并证明其次线性遗憾上界且得到实验支持。
2025-01-09 cs.LG
Bootstrap State Representation using Style Transfer for Better Generalization in Deep Reinforcement Learning
Purdue University（普渡大学）
深度强化学习（RL）代理通常会过拟合训练环境，导致泛化性能差。在本文中，我们提出了思想者，一个自举的方法，以消除对抗性的影响，从观察的混淆功能，在无监督的方式，从而提高RL代理的泛化。思想者的第一个集群经历了几个集群的轨迹。然后通过应用样式转换生成器自举这些轨迹，该生成器将轨迹从一个集群的样式转换为另一个，同时保持观察的内容。自举轨迹然后用于策略学习。Thinker在许多RL设置中具有广泛的适用性。实验结果表明，思想者导致更好的泛化能力在Procgen基准测试环境相比，基本算法和几个数据增强技术。
2022-07-15 cs.AI cs.LG
Topology-Aware Graph Reinforcement Learning for Dynamic Routing in Cloud Networks
Carnegie Mellon University（卡内基梅隆大学）；Northeastern University（东北大学）；Northwestern University（西北大学）；New York University（纽约大学）
针对云网络动态路由优化中拓扑感知不足、决策不稳定的问题，提出融合SASE模块与PAGU机制的拓扑感知图强化学习方法，在GEANT数据集上多项指标优于现有模型，实现高效鲁棒的动态路由。
2025-09-05 cs.LG
FoX: Formation-aware exploration in multi-agent reinforcement learning
UNIST（蔚山科学技术院）
针对多智能体强化学习中探索空间随智能体数量指数增长及部分可观测问题，本文提出基于编队等价关系的编队感知探索框架FoX，通过引导智能体仅凭自身观测感知编队并访问多样化编队状态来缩减搜索空间，在GRF和SMAC任务上显著优于现有MARL算法。
2024-01-14 cs.LG
CARE-RL: Capability-Aware Reinforcement Learning for Mitigating Cross-Domain Conflicts
National University of Singapore（新加坡国立大学）
提出CARE-RL框架，结合协议感知奖励生成与能力感知优化，通过PA-GRM和DACSP方法缓解多领域强化学习中的奖励不可靠与能力干扰问题。
2026-05-30 cs.AI cs.LG
A Reinforcement Learning Approach to Health Aware Control Strategy
健康感知控制（HAC）已经成为一个领域，其中控制综合的基础上寻求系统/部件的故障概率或剩余使用寿命（RUL）的关键部件的预测。RUL的数学动态（转换）模型很少可用，这使得RUL信息很难被纳入控制范式。本文提出了一种新的健康感知控制框架，其中基于强化学习的方法是用来学习一个最优控制政策面对组件退化集成全局系统过渡数据（产生的分析模型，模仿真实系统）和RUL预测。在每个步骤生成的RUL预测被跟踪到RUL的期望值。后者被集成在成本函数内，该成本函数被最大化以学习最优控制。所提出的方法进行了研究，使用模拟的直流电机和轴磨损。
2020-10-19 cs.AI cs.LG
Time-Aware Q-Networks: Resolving Temporal Irregularity for Deep Reinforcement Learning
North Carolina State University（北卡罗来纳州立大学）
深度强化学习（DRL）在诱导有效的行动策略方面表现出出色的性能，这些策略可以最大化许多复杂任务的预期长期回报。大部分的日间行车灯的工作一直集中在离散的时间步长的事件序列，忽略了连续事件之间的不规则的时间间隔。鉴于在许多现实世界领域中，数据通常由具有不规则时间间隔的时间序列组成，因此考虑时间事件之间的时间间隔以捕获状态的潜在渐进模式是很重要的。在这项工作中，我们提出了一个通用的时间感知RL框架：时间感知Q网络（TQN），它考虑了深度RL框架内的物理时间间隔。TQN从两个方面处理时间不规则性：1）过去的流逝时间和预期的下一个观察时间，用于时间感知状态近似; 2）未来的动作时间窗口，用于时间感知奖励折扣。实验结果表明，TQN从两个方面都能捕捉到时间不规则序列的底层结构，在四种时间间隔不规则的背景下，TQN的性能明显优于DQN.更具体地说，我们的研究结果表明，在经典的RL任务，如CartPole和MountainCar和Atari基准与随机分段的时间间隔，时间感知折扣单独更重要，而在现实世界的任务，如核反应堆操作和脓毒症患者治疗与固有的时间间隔，时间感知状态和时间感知折扣都是至关重要的。此外，为了提高智能体的学习能力，我们探索了三种提升方法：双网络，决斗网络和优先经验重放，我们的结果表明，对于两个现实世界的任务，将所有三种提升方法与TQN相结合特别有效。
2021-05-06 cs.LG
Buffer-aware Wireless Scheduling based on Deep Reinforcement Learning
Huawei Technologies（华为技术有限公司）
本文对蜂窝网络下行分组调度问题进行了建模，使吞吐量、公平性和丢包率联合优化。两个基因辅助的启发式搜索方法来探索解决方案的空间。提出了一种基于A2C算法的深度强化学习（DRL）框架。在该框架中采用了几种方法来提高采样和训练效率，并使算法适应特定的调度问题。数值结果表明，DRL优于基线算法，并达到类似的性能基因辅助方法，而不使用未来的信息。
2019-11-13 cs.IT cs.LG math.IT
