DRIBO: Robust Deep Reinforcement Learning via Multi-View Information Bottleneck
Boston University（波士顿大学）
深度强化学习（DRL）代理通常对训练环境中看不到的视觉变化敏感。为了解决这个问题，我们利用RL的顺序性来学习鲁棒的表示，该表示仅对基于无监督多视图设置的观察中的任务相关信息进行编码。具体来说，我们引入了一个新的对比版本的多视图信息瓶颈（MIB）的目标时间数据。我们用这个辅助目标从像素中训练RL代理，以学习鲁棒的表示，这些表示可以压缩与任务无关的信息，并预测与任务相关的动态。这种方法使我们能够训练高性能的策略，这些策略对视觉干扰是鲁棒的，并且可以很好地推广到看不见的环境。我们证明，当背景被自然视频取代时，我们的方法可以在DeepMind控制套件中的各种视觉控制任务上实现SOTA性能。此外，我们表明，我们的方法优于完善的基准推广到看不见的环境中的Procgen基准。我们的代码是开源的，可以在https：//github上找到。com/BU-DEPEND-Lab/DRIBO.
2022-07-14 cs.AI cs.LG
RICE: Breaking Through the Training Bottlenecks of Reinforcement Learning with Explanation
Northwestern University（西北大学）；Presentation High School（普雷森特高中）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出RICE方案，通过解释方法识别关键状态并构造混合初始状态分布，突破深度强化学习训练瓶颈，并在多个环境和应用中验证其显著提升智能体性能。
2024-06-06 cs.AI cs.CR cs.LG
LLM-Guided Reinforcement Learning: Addressing Training Bottlenecks through Policy Modulation
Lehigh University（理海大学）
本文提出一种大语言模型引导的策略调制框架，通过LLM识别关键状态、提供动作建议并分配隐式奖励，无需额外训练或人工干预，在标准RL基准上超越最先进基线，有效解决训练瓶颈。
2025-05-27 cs.AI cs.LG
BARReL: Bottleneck Attention for Adversarial Robustness in Vision-Based Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）；University of Konstanz（康斯坦茨大学）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
对抗性扰动的鲁棒性已经在计算机视觉的许多领域进行了探索。这种鲁棒性在基于视觉的强化学习中尤其重要，因为自主智能体的行为在现实世界中可能是安全批评或有影响力的。我们研究了基于视觉的强化学习代理对基于梯度的对抗攻击的敏感性，并评估了潜在的防御。我们观察到，CNN架构中包含的瓶颈注意力模块（BAM）可以作为潜在的工具来提高对对抗攻击的鲁棒性。我们展示了如何通过将空间激活限制在显著区域来使用学习的注意力地图来恢复卷积层的激活。在许多RL环境中，BAM增强的架构在推理过程中表现出更强的鲁棒性。最后，我们讨论了潜在的未来研究方向。
2022-08-22 cs.AI cs.CR cs.CV
Rule-Bottleneck Reinforcement Learning: Joint Explanation and Decision Optimization for Resource Allocation with Language Agents
Harvard John A. Paulson School of Engineering and Applied Sciences（哈佛大学约翰·A·保尔森工程与应用科学学院）；Harvard T.H. Chan School of Public Health（哈佛大学陈曾熙公共卫生学院）；Google DeepMind（谷歌DeepMind）
针对深度RL策略缺乏透明度、语言智能体决策有效性不足的问题，提出RBRL框架，联合优化决策与解释，在真实场景中性能媲美深度RL且效率优于LLM微调，解释质量获提升。
2025-02-15 cs.AI cs.LG
Mind the GAP! The Challenges of Scale in Pixel-based Deep Reinforcement Learning
Google DeepMind（谷歌DeepMind）
本文揭示像素深度强化学习扩展中编码器与密集层间瓶颈是性能下降主因，并提出全局平均池化作为简单有效的解决方案。
2025-10-24 cs.AI cs.LG
A Survey Analyzing Generalization in Deep Reinforcement Learning
University College London（伦敦大学学院）
该综述形式化分析了深度强化学习的泛化性问题，阐释过拟合根源，分类讲解各类提升泛化性的方法，覆盖多类子领域，可为领域发展提供指南并助力构建鲁棒高泛化性的深度神经策略。
2024-10-30 cs.AI cs.LG stat.ML
Neural Distillation as a State Representation Bottleneck in Reinforcement Learning
ISAE-SUPAERO, Université de Toulouse（图卢兹大学高等航空航天学院）；Sandbox AQ（Sandbox AQ公司）
在处理强化学习中的多个任务时，学习良好的状态表示是一项关键技能，因为它允许任务之间的转移和更好的泛化。然而，定义什么构成有用的表示远不简单，并且到目前为止还没有标准的方法来找到这样的编码。在本文中，我们认为，蒸馏-一个过程，旨在模仿一组给定的政策与一个单一的神经网络-可以用来学习状态表示显示有利的特性。在这方面，我们定义了三个标准，衡量理想的功能的状态编码：在输入空间中选择重要变量的能力，有效地分离状态，根据其相应的最佳行动的能力，和新任务的状态编码的鲁棒性。我们首先评估这些标准，并验证蒸馏对玩具环境的基础上的标准倒立摆问题的状态表示的贡献，然后扩展我们的分析更复杂的视觉任务的雅达利和Procgen基准。
2022-10-05 cs.AI cs.LG
A Brief Look at Generalization in Visual Meta-Reinforcement Learning
Mila - McGill University（米拉 - 麦吉尔大学）；Google DeepMind（谷歌DeepMind）
由于认识到在高维任务上训练的深度强化学习算法可以强烈过拟合其训练环境，因此已经有几项研究调查了这些算法的泛化性能。然而，还没有类似的研究评估专门为泛化设计的算法的泛化性能，即Meta强化学习算法。在本文中，我们评估这些算法的泛化性能，利用高维，程序生成的环境。我们发现，这些算法可以显示强大的过拟合时，他们具有挑战性的任务进行评估。我们还观察到，在当前的许多Meta强化学习算法中，具有稀疏奖励的高维任务的可扩展性仍然是一个重大问题。有了这些结果，我们强调了开发既可以推广又可以扩展的Meta强化学习算法的必要性。
2020-07-03 cs.AI cs.LG stat.ML
Heterogeneous Information-Bottleneck Coordination Graphs for Multi-Agent Reinforcement Learning
Australian Artificial Intelligence Institute (AAII)（澳大利亚人工智能研究所）
本文提出异质信息瓶颈协调图（HIBCG），通过理论指导机制解决多智能体强化学习中协调图的边存在性和信息传递容量分配问题，通过信息瓶颈方法构建组对齐的块对角先验，实现边存在性和信息容量的理论验证。
2026-07-13 cs.AI cs.LG cs.MA
Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization
Mila（米拉）；Google（谷歌）；National University of Singapore（新加坡国立大学）
矢量量化（VQ）是一种离散化潜在表示的方法，已成为深度学习工具包的主要组成部分。理论和经验表明，表示的离散化导致改进的泛化，包括在强化学习中，其中离散化可以用于瓶颈多智能体通信，以促进代理专业化和鲁棒性。大多数基于矢量量化的方法的离散化紧密度由表示矢量中的离散码的数量和码本大小定义，它们被固定为超参数。在这项工作中，我们建议学习动态选择离散化的输入条件下的紧密性，基于假设数据自然包含的复杂性，要求不同程度的代表性粗糙度的变化。我们表明，动态变化的紧密性的通信瓶颈可以提高模型的视觉推理和强化学习任务的性能。
2022-02-02 cs.AI cs.LG
Breaking the Exploration Bottleneck: Rubric-Scaffolded Reinforcement Learning for General LLM Reasoning
Zhejiang University（浙江大学）；Li Auto Inc.（力汽车公司）；Nanyang Technological University（南洋理工大学）；The Chinese University of Hong Kong（香港中文大学）；Hangzhou City University（杭州市大学）
本文提出Rubric-Scaffolded Reinforcement Learning，通过引入检查表式评分标准作为探索和利用的指导框架，突破通用大语言模型推理的探索瓶颈，提升推理能力。
2026-08-01 cs.AI cs.LG
A Consciousness-Inspired Planning Agent for Model-Based Reinforcement Learning
McGill University（麦吉尔大学）；Mila；Université de Montréal（蒙特利尔大学）；DeepMind
我们提出了一个端到端的，基于模型的深度强化学习代理，它在规划过程中动态地关注其状态的相关部分。代理使用一个基于集合的表示瓶颈机制，迫使代理出席在每个规划步骤的实体的数量是小的。在实验中，我们调查的瓶颈机制与几套定制的环境具有不同的挑战。我们一直观察到，该设计允许规划代理，以概括他们的学习任务解决能力，在兼容的看不见的环境中参加相关的对象，从而导致更好的分布外泛化性能。
2021-11-04 cs.AI cs.LG
An Information-Theoretic Analysis of OOD Generalization in Meta-Reinforcement Learning
Simon Fraser University（西蒙弗雷泽大学）
本文从信息论角度研究元强化学习中的分布外泛化，推导了两种分布偏移场景下的泛化界限，并分析了基于梯度的元强化学习算法的泛化性能。
2026-04-06 cs.LG stat.ML
Assessing Generalization in Deep Reinforcement Learning
University of California Berkeley（加州大学伯克利分校）；Intel Labs（英特尔实验室）；National University of Singapore（新加坡国立大学）；University of Texas Austin（得克萨斯大学奥斯汀分校）
深度强化学习（RL）在许多任务上取得了突破性的成果，但智能体往往无法泛化到它们所训练的环境之外。因此，促进泛化的深度RL算法正受到越来越多的关注。然而，在这一领域的作品使用各种各样的任务和实验设置进行评估。文献缺乏一个控制评估的优点，不同的推广计划。我们的目标是在深度RL中促进社区范围内的泛化进展。为此，我们提出了一个基准和实验协议，并进行了系统的实证研究。我们的框架包含一组不同的环境，我们的方法涵盖了分布内和分布外泛化，我们的评估包括专门处理泛化的深度RL算法。我们的关键发现是，“香草”深度RL算法的泛化能力优于专门为解决泛化问题而提出的专门方案。
2019-03-15 cs.AI cs.LG stat.ML
Escaping the Context Bottleneck: Active Context Curation for LLM Agents via Reinforcement Learning
Tongji University（同济大学）；Stanford University（斯坦福大学）；CurrentsAI Research（CurrentsAI 研究院）
本文提出一种解耦上下文管理和任务执行的框架，通过强化学习训练轻量级策略模型ContextCurator，有效减少工作内存中的信息熵，提升LLM在长周期任务中的表现。
2026-04-13 cs.AI
Contrastive Behavioral Similarity Embeddings for Generalization in Reinforcement Learning
Google Research（谷歌研究院）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；DeepMind（深度思维公司）
在少数环境中训练的强化学习方法很少学习推广到未知环境的策略。为了提高泛化能力，我们将强化学习中固有的顺序结构融入到表示学习过程中。这种方法与最近的方法是正交的，这些方法很少明确地利用这种结构。具体来说，我们引入了一个理论上的动机的政策相似性度量（PSM）测量状态之间的行为相似性。PSM分配高相似性的状态，在这些状态以及在未来的状态是相似的最优策略。我们还提出了一个对比表示学习过程中嵌入任何状态相似性度量，我们与PSM实例化，以获得政策相似性嵌入（PSE）。我们证明了PSE在不同的基准测试中提高了泛化能力，包括具有虚假相关性的LQR，从像素的跳跃任务和分散DM控制套件。
2021-03-18 cs.AI cs.LG stat.ML
Distributional Reinforcement Learning with Information Bottleneck for Uncertainty-Aware DRAM Equalization
Control Laboratory, School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院控制实验室）
本文提出了一种结合信息瓶颈与条件价值-at-风险优化的分布式强化学习框架，用于具有不确定性感知的DRAM均衡优化，实现了显著的性能提升和可靠性改进。
2026-03-05 cs.LG
The Principle of Unchanged Optimality in Reinforcement Learning Generalization
Google Brain（谷歌大脑）
最近的几篇论文研究了强化学习（RL）中的泛化，提出了新的环境或向现有环境添加噪声的方法，然后在这些环境中对算法和模型架构进行基准测试。我们讨论了RL基准的微妙概念属性，这些属性在监督学习（SL）中是不需要的，并且还讨论了RL基准应该具有的属性。其中最主要的是我们称之为不变最优性原则：应该存在一个在所有训练和测试任务中都是最优的$π$。在这项工作中，我们讨论了为什么这个原则是重要的，以及如何可以打破或满足由于微妙的选择状态表示或模型架构。最后，我们讨论的挑战和未来的研究线在理论上分析泛化基准。
2019-06-02 cs.AI cs.LG stat.ML
EvoCoT: Overcoming the Exploration Bottleneck in Reinforcement Learning
School of Computer Science, Peking University（北京大学计算机科学学院）；College of AI, Tsinghua University（清华大学人工智能学院）；Imperial College London（伦敦帝国理工学院）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
EvoCoT通过两阶段链式思维优化框架，解决强化学习中稀疏奖励下的探索瓶颈问题，提升大语言模型的推理能力。
2026-04-20 cs.LG
Measurement-based Online Available Bandwidth Estimation employing Reinforcement Learning
Institute of Communications Technology\ Universit\" a t Hannover
准确、快速地估计具有不同交叉流量的网络中的可用带宽是一项具有挑战性的任务。公认的探测工具，先进先出复用的瓶颈链路的流体流模型的基础上，通过测量数据包分散估计可用带宽。估计变得更加困难，如果数据包分散偏离假设的流体流模型中存在的非流体突发的交叉流量，多个瓶颈链路，和不准确的时间戳。这促使我们探索使用机器学习工具进行可用带宽估计。因此，我们考虑强化学习并实现单状态多臂强盗技术，该技术遵循$ε$ -贪心算法来找到可用带宽。我们的测量和测试表明，我们提出的方法确定可用带宽具有高精度。此外，我们的方法收敛到可用带宽下的各种臭名昭著的困难条件下，如沉重的流量突发，不同的交叉流量强度，多个瓶颈链路，并在网络中的紧张链路和瓶颈链路是不一样的。与分段线性网络（一种采用卡尔曼滤波器的基于模型的直接探测技术）相比，我们的方法在某些网络场景中显示出更准确的估计和更快的收敛速度，并且不需要测量噪声统计。
2019-06-05 cs.LG cs.NI stat.ML
Multimodal Information Bottleneck for Deep Reinforcement Learning with Multiple Sensors
Tsinghua University（清华大学）；Beijing National Research Centre for Information Science and Technology（北京国家信息科学与技术研究中心）
针对多传感器强化学习中无关信息干扰的问题，提出多模态信息瓶颈模型，融合视觉与本体感受并过滤任务无关信息，提升样本效率和零样本噪声鲁棒性。
2024-10-23 cs.LG cs.RO
Interpretable Concept Bottlenecks to Align Reinforcement Learning Agents
TU Darmstadt（达姆施塔特工业大学）；Hessian Center for Artificial Intelligence (hessian.AI)（黑森人工智能中心）；Centre for Cognitive Science, TU Darmstadt（达姆施塔特工业大学认知科学中心）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
针对深度强化学习智能体的黑箱特性导致难以对齐与修正的问题，提出集成连续概念瓶颈层、可表示对象间关系的SCoBots，在保持性能的同时提升可解释性，还发现并解决了Pong游戏中未知的错位问题，实现更符合人类要求的智能体对齐。
2024-10-28 cs.LG cs.SC
Resolving Action Bottleneck: Agentic Reinforcement Learning Informed by Token-Level Energy
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Potsdam Institute for Climate Impact Research（波茨坦气候影响研究所）；Technical University of Berlin（柏林技术大学）；University of Southern California（南加州大学）；University of Hong Kong（香港大学）；Broad Institute of MIT and Harvard（MIT和哈佛大学Broad研究所）
本文提出ActFocus方法，通过令牌级能量建模解决强化学习中令牌级训练信号分配不均的问题，显著提升性能。
2026-05-14 cs.AI cs.CL cs.LG
On the Generalization Gap in Reparameterizable Reinforcement Learning
Salesforce Research（赛富时研究院）
理解强化学习（RL）中的泛化是一个重大挑战，因为传统监督学习理论的许多常见假设不适用。我们专注于一类特殊的可重参数化RL问题，其中的轨迹分布可以使用重参数化技巧进行分解。对于这类问题，估计的期望回报是有效的，轨迹可以确定性地计算给定的周边随机变量，这使得我们能够研究重新参数化的强化学习使用监督学习和迁移学习理论。通过这些关系，我们得到保证的内在和外部误差的预期和经验回报之间的差距，根据Rademacher复杂性以及PAC贝叶斯界。我们的界限表明，可重参数化RL的泛化能力与多个因素有关，包括环境过渡的“平滑性”，奖励和代理策略函数类。我们还通过模拟实证验证了泛化差距与这些因素之间的关系。
2019-05-29 cs.AI cs.LG stat.ML
A Dissection of Overfitting and Generalization in Continuous Reinforcement Learning
McGill University（麦吉尔大学）；Facebook AI Research（Facebook人工智能研究院）
在机器学习中过度拟合的风险和危险是众所周知的。然而，大多数对此的治疗，包括诊断工具和补救措施，都是针对监督学习的情况而开发的。在这项工作中，我们的目标是提供新的视角来描述和预防深度强化学习（RL）方法中的过拟合，特别关注连续域。我们研究了几个方面，如如何定义和诊断过拟合在MDPs，以及如何通过注入足够的培训多样性来降低风险。这项工作补充了最近关于深度RL方法的脆性的发现，并为RL研究人员和从业者提供了实际的观察。
2018-06-25 cs.AI cs.LG stat.ML
Measuring and Characterizing Generalization in Deep Reinforcement Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Brown University（布朗大学）
深度学习方法在具有挑战性的控制任务中取得了卓越的性能。对结果行为的观察给人的印象是，智能体已经构建了一个支持有见地的行动决策的广义表示。我们重新审视RL中的泛化意味着什么，并根据代理在策略上，策略外和不可达状态下的表现提出了几个定义。我们提出了一套实用的方法来评估这些定义的泛化代理。我们在深度强化学习的一个常见基准任务上演示了这些技术，并且我们表明，学习后的网络对于与策略状态仅略有不同的状态做出了糟糕的决策，即使这些状态没有被对抗性地选择。总之，这些结果对深度Q网络学习广义表征的程度提出了质疑，并表明在支持表示学习的主张之前，需要进行更多的实验和分析。
2018-12-11 cs.AI cs.LG stat.ML
Reinforcement Learning Generalization with Surprise Minimization
University of Toronto（多伦多大学）
泛化对于深度强化学习算法来说仍然是一个具有挑战性的问题，这些算法通常在同一组确定性游戏环境中进行训练和测试。当测试环境是不可见的和扰动的，但任务的性质保持不变，泛化差距可能会出现。在这项工作中，我们提出并评估了一个惊喜最小化代理的泛化基准，以显示从简单的密度模型中学习到的额外奖励可以在提供恒定熵源和随机性的程序生成的游戏环境中表现出鲁棒性。
2020-07-02 cs.AI cs.LG
PPO Dash: Improving Generalization in Deep Reinforcement Learning
Vidya Gamer, LLC（维迪亚游戏有限责任公司）
深度强化学习容易出现过拟合，Atari 2600 benchmark等传统基准测试会加剧这一问题。障碍塔挑战通过使用随机环境和单独的种子进行训练，验证和测试来解决这个问题。本文研究了PPO算法的各种改进和最佳实践，使用障碍塔挑战来实证研究它们对泛化的影响。我们的实验表明，该组合提供了最先进的性能障碍塔的挑战。
2019-07-25 cs.AI cs.LG
Do Agents Dream of Electric Sheep?: Improving Generalization in Reinforcement Learning through Generative Learning
University of Bologna（博洛尼亚大学）；University College London（伦敦大学学院）
受过度拟合大脑假说启发，提出基于生成式增强的想象强化学习方法，在ProcGen稀疏奖励环境中显著提升智能体泛化能力。
2024-03-12 cs.AI cs.LG
Generalization and Regularization in DQN
University of Alberta（阿尔伯塔大学）；Google Research（谷歌研究院）；DeepMind Alberta（DeepMind 阿尔伯塔）
深度强化学习算法已经显示出在高维任务中学习复杂控制策略的令人印象深刻的能力。然而，尽管在流行的基准测试中性能不断提高，但当在非常相似的环境中进行评估时，通过深度强化学习算法学习的策略可能难以推广。在本文中，我们提出了一个协议来评估泛化强化学习通过不同模式的Atari 2600游戏。通过该协议，我们评估了DQN的泛化能力，DQN是最传统的深度强化学习算法之一，我们提供的证据表明，DQN对训练环境过度专业化。然后，我们全面评估dropout和$\ell_2$正则化的影响，以及重用学习的表示来提高DQN的泛化能力的影响。尽管正则化在深度强化学习中没有得到充分利用，但我们证明了它实际上可以帮助DQN学习更多的一般特征。这些特性可以在类似的任务中重复使用和微调，从而大大提高DQN的样本效率。
2020-01-17 cs.AI cs.LG stat.ML
Diagnosing Bottlenecks in Deep Q-learning Algorithms
University of California, Berkeley（加州大学伯克利分校）
Q-学习方法代表了强化学习中常用的一类算法：它们通常是有效和简单的，并且可以很容易地与深度强化学习（RL）的函数逼近器相结合。然而，Q学习方法与函数逼近的行为在理论上和经验上都知之甚少。在这项工作中，我们的目标是通过实验研究Q学习中的潜在问题，通过一个“单元测试“框架，我们可以利用神谕来解开错误的来源。具体来说，我们研究了与函数近似、采样误差和非平稳性相关的问题，并在可用的情况下，验证Oracle设置中发现的趋势是否适用于现代深度RL方法。我们发现，大型神经网络架构有很多好处方面的学习稳定性，提供了几个实际的补偿过拟合，并开发了一种新的采样方法的基础上明确补偿函数逼近误差，产生公平的改善高维连续控制域。
2019-02-26 cs.LG stat.ML
Understanding What Affects the Generalization Gap in Visual Reinforcement Learning: Theory and Empirical Evidence
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Tsinghua University（清华大学）；IEG, Tencent（腾讯IEG）；School of Computer Science, Peking University（北京大学计算机学院）
本文从理论与实证两方面揭示了视觉强化学习中测试环境存在干扰物时影响泛化差距的关键因素，证明最小化训练与测试环境间的表征距离是缩小泛化差距的最核心手段，并在 DMC-GB 基准上验证了该结论。
2024-10-16 cs.AI cs.LG stat.ML
GeneraLight: Improving Environment Generalization of Traffic Signal Control via Meta Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
交通拥堵问题一直是现代城市关注的问题。为了缓解交通拥堵，近年来研究人员使用强化学习（RL）来开发更好的交通信号控制（TSC）算法。然而，大多数RL模型都是在相同的交通流环境中训练和测试的，这导致了严重的过拟合问题。由于现实世界中的交通流环境是不断变化的，这些模型由于缺乏泛化能力而难以应用。此外，可获得的交通流数据数量有限，这给模型的泛化能力测试带来了额外的困难。本文设计了一种基于Wasserstein生成对抗网络的新型流量生成器来生成足够多的、多样的、高质量的流量，并利用它们来构建合适的训练和测试环境。然后，我们提出了一个元RL TSC框架GeneraLight，以提高TSC模型的泛化能力。GeneraLight通过结合流聚类和模型无关元学习的思想来提高泛化性能。我们在多个真实世界的数据集上进行了广泛的实验，以显示GeneraLight在推广到不同流量时的卓越性能。
2020-09-17 cs.AI cs.LG stat.ML
Regularization Guarantees Generalization in Bayesian Reinforcement Learning through Algorithmic Stability
Technion – Israel Institute of Technology（以色列理工学院）
在贝叶斯强化学习（RL）设置中，假设未知问题参数（奖励和转换）的先验分布，并寻求优化（后验）预期回报的策略。一个常见的近似，最近已被推广为元RL，是训练代理上的样本$N$问题的实例，从以前的，希望对于足够大的$N$，良好的泛化行为，一个看不见的测试实例将获得。在这项工作中，我们研究推广贝叶斯RL下的可能近似正确（PAC）的框架，使用算法稳定性的方法。我们的主要贡献是通过增加正则化，最优策略在适当的意义下变得稳定。文献中的大多数稳定性结果建立在正则化损失的强凸性上-这种方法不适合RL，因为马尔可夫决策过程（MDP）不是凸的。相反，建立在最近的结果的镜像下降在正则化MDPs的快速收敛速度，我们表明，正则化MDPs满足一定的二次增长标准，这是足以建立稳定性。这个结果，这可能是独立的利益，使我们能够研究正则化的效果推广贝叶斯RL设置。
2021-09-24 cs.AI cs.LG stat.ML
Generalization to New Actions in Reinforcement Learning
Department of Computer Science, University of Southern California（南加州大学计算机科学系）
智力的一个基本特征是在面对新的环境时实现目标的能力，例如从新的行动选择中做出决定。然而，标准的强化学习假设一组固定的动作，并且在给定新的动作集时需要昂贵的再训练。为了使学习代理更具适应性，我们引入了zero-shot泛化问题。我们提出了一个两阶段的框架，代理首先推断动作表示从单独获得的任务的动作信息。一个灵活的政策，以不同的行动集，然后训练泛化目标。我们对顺序任务进行基准泛化，例如从看不见的工具集中选择以解决物理推理难题和堆叠具有新颖3D形状的塔。视频和代码可在https://sites.google.com/view/action-generalization上获得
2020-11-03 cs.AI cs.LG cs.RO
Improving Generalization in Reinforcement Learning with Mixture Regularization
National University of Singapore（新加坡国立大学）；ByteDance AI Lab（字节跳动人工智能实验室）
深度强化学习（RL）在有限的环境中训练的代理往往会遭受过拟合，并且无法推广到看不见的测试环境。为了提高其通用性，数据增强的方法（如剪切和随机卷积），以前探索增加数据的多样性。然而，我们发现这些方法只是局部扰动的观察，无论训练环境，提高数据的多样性和泛化性能表现出有限的效果。在这项工作中，我们介绍了一种简单的方法，名为mixreg，它训练代理的混合观察来自不同的训练环境，并施加线性约束的观察插值和监督（例如相关的奖励）插值。Mixreg更有效地增加了数据多样性，并帮助学习更顺畅的策略。我们验证了其有效性，提高泛化进行了广泛的实验上的大型Procgen基准。结果显示，mixreg在看不见的测试环境中的性能远远优于成熟的基线。Mixreg简单、有效、通用。它可以应用于基于策略和基于值的RL算法。代码可在https://github.com/kaixin96/mixreg上获得。
2020-10-21 cs.AI cs.LG stat.ML
Generalization of Reinforcement Learners with Working and Episodic Memory
DeepMind（深度思维）
记忆是智力的一个重要方面，在许多深度强化学习模型中发挥作用。然而，在理解特定的记忆系统何时比其他系统更有帮助以及它们的泛化能力方面，几乎没有取得进展。该领域还没有看到一个普遍的一致和严格的方法来评估代理人的表现。在本文中，我们的目标是开发一个全面的方法来测试不同种类的记忆体中的代理和评估如何以及代理可以应用它在训练中学到的坚持集，从训练集不同的尺寸，我们建议是相关的评估内存特定的泛化。为此，我们首先构建了一组不同的记忆任务，使我们能够在多个维度上评估测试时的泛化。其次，我们开发和执行多个消融剂的架构，结合多个内存系统，观察其基线模型，并调查其性能对任务套件。
2020-02-19 cs.AI cs.LG stat.ML
A Survey on Deep Reinforcement Learning-based Approaches for Adaptation and Generalization
Yonsei University（延世大学）
深度强化学习（Deep Reinforcement Learning，DRL）旨在创建智能代理，这些智能代理可以学习在现实环境中有效地解决复杂问题。通常，两个学习目标：适应和泛化用于基线DRL算法的性能在不同的任务和领域。本文综述了基于DRL的自适应和泛化方法的最新进展。我们首先在任务和领域的背景下制定这些目标。然后，我们回顾了这些方法下的最新工作，并讨论了未来的研究方向，通过DRL算法的适应性和泛化能力可以提高，并可能使它们适用于广泛的现实世界的问题。
2022-02-17 cs.AI cs.LG
Mitigating Relative Over-Generalization in Multi-Agent Reinforcement Learning
University of Warwick（华威大学）；Alan Turing Institute（阿兰·图灵研究所）；Nanyang Technological University（南洋理工大学）
针对多智能体强化学习中孤立学习导致的相对过度泛化问题，提出MaxMax Q-Learning方法，通过迭代采样和评估下一状态并选择最大Q值进行学习，有效提升协作任务的收敛性与样本效率。
2024-11-17 cs.AI cs.LG stat.ML
Quantifying Generalization in Reinforcement Learning
OpenAI（开放人工智能）
本文研究了深度强化学习中的过拟合问题。在RL中最常见的基准测试中，习惯上使用相同的环境进行训练和测试。这种做法提供了相对较少的洞察力，代理的能力，概括。我们通过使用程序生成的环境来构建不同的训练集和测试集来解决这个问题。最值得注意的是，我们引入了一个名为CoinRun的新环境，该环境被设计为RL泛化的基准。使用CoinRun，我们发现代理过度适应令人惊讶的大训练集。然后，我们证明了更深的卷积架构可以提高泛化能力，就像传统的监督学习方法一样，包括L2正则化、dropout、数据增强和批量归一化。
2019-07-14 cs.LG stat.ML
Invariant Policy Optimization: Towards Stronger Generalization in Reinforcement Learning
Princeton University（普林斯顿大学）
强化学习的一个基本挑战是学习在训练期间经历的操作域之外推广的策略。在本文中，我们通过以下不变性原则来解决这一挑战：代理必须找到一个表示，使得存在一个建立在此表示之上的动作预测器，该预测器在所有训练域中同时是最优的。直观地说，由此产生的不变策略通过找到成功动作的原因来增强泛化。我们提出了一种新的学习算法，不变策略优化（IPO），实现这一原则，并在训练过程中学习不变的政策。我们将我们的方法与标准的策略梯度方法进行比较，并展示了线性二次调节器和网格世界问题在看不见的域上的泛化性能的显着改善，以及机器人必须学会打开具有不同物理特性的门的例子。
2020-11-09 cs.AI cs.LG cs.RO
Bootstrap State Representation using Style Transfer for Better Generalization in Deep Reinforcement Learning
Purdue University（普渡大学）
深度强化学习（RL）代理通常会过拟合训练环境，导致泛化性能差。在本文中，我们提出了思想者，一个自举的方法，以消除对抗性的影响，从观察的混淆功能，在无监督的方式，从而提高RL代理的泛化。思想者的第一个集群经历了几个集群的轨迹。然后通过应用样式转换生成器自举这些轨迹，该生成器将轨迹从一个集群的样式转换为另一个，同时保持观察的内容。自举轨迹然后用于策略学习。Thinker在许多RL设置中具有广泛的适用性。实验结果表明，思想者导致更好的泛化能力在Procgen基准测试环境相比，基本算法和几个数据增强技术。
2022-07-15 cs.AI cs.LG
On the Generalization of Representations in Reinforcement Learning
University of Oxford（牛津大学）；Google Brain（谷歌大脑）；McGill University（麦吉尔大学）
在强化学习中，状态表示被用来处理大的问题空间。状态表示既可以用很少的参数来近似价值函数，也可以推广到新遇到的状态。它们的特征可以隐式地（作为神经网络的一部分）或显式地（例如，\citet{dayan1993improving}的后继表示）学习。虽然表示的近似性质得到了合理的理解，但缺乏对这些表示如何以及何时泛化的精确表征。在这项工作中，我们解决了这个差距，并提供了一个翔实的范围所产生的泛化误差从一个特定的状态表示。这个界限是基于有效维数的概念，有效维数衡量的是知道一个状态下的值通知其他状态下的值的程度。我们的界限适用于任何状态表示，并量化的表示，以及概括和那些近似之间的自然张力。我们补充我们的理论结果与实证调查的经典表示学习方法的文献和结果的街机学习环境，并发现学习表示的泛化行为是很好地解释了他们的有效尺寸。
2022-03-01 cs.AI cs.LG stat.ML
Control-Diverse Reinforcement Fine-Tuning: Decoupling the Shared Control Bottleneck of RL Post-Training
本研究提出CD-RFT方法，定义后训练控制系数揭示RL后训练的共享控制瓶颈，通过正则化减少控制坍缩，在Qwen2.5-7B等模型上实现控制解耦与多任务能力提升，效果可迁移至Llama-3.2-3B。
2026-08-11 cs.LG
Domain Generalization for Robust Model-Based Offline Reinforcement Learning
University of Cambridge（剑桥大学）；University College London（伦敦大学学院）
现有的离线强化学习（RL）算法通常假设训练数据是：1）由已知策略生成的，或者2）完全未知的来源。我们考虑多演示者离线RL，这是一个中间地带，我们知道哪些演示者生成了每个数据集，但不对演示者的基本策略进行假设。这是从多个人类操作员收集数据时最自然的设置，但尚未探索。由于不同的示威者诱导不同的数据分布，我们表明，这可以很自然地被框定为一个领域泛化问题，每个示威者对应于一个不同的域。具体来说，我们提出了基于域不变模型的离线RL（DIMORL），其中我们应用风险外推（REx）（Krueger等人，2020年）的学习动态和奖励模型的过程。我们的研究结果表明，与汇集所有演示者数据的自然基线相比，使用REx训练的模型表现出改进的领域泛化性能。我们观察到，由此产生的模型经常能够在离线基于模型的RL设置中学习高级策略，可以提高策略学习过程的稳定性，并可能增加探索。
2022-11-27 cs.AI cs.LG stat.ML
Zero-Shot Task Generalization with Multi-Task Deep Reinforcement Learning
University of Michigan（密歇根大学）；Google Brain（谷歌大脑）；Microsoft Research（微软研究院）
作为在强化学习（RL）中开发zero-shot任务泛化能力的一步，我们引入了一个新的RL问题，其中代理应该在学习解决子任务的有用技能后学习执行指令序列。在这个问题中，我们考虑两种类型的概括：以前看不见的指令和更长的指令序列。对于看不见的指令的泛化，我们提出了一个新的目标，鼓励学习相似的子任务之间的对应关系，通过类比。对于顺序指令的泛化，我们提出了一个层次结构，其中Meta控制器学习使用所获得的技能来执行指令。为了处理延迟奖励，我们在Meta控制器中提出了一种新的神经结构，它可以学习何时更新子任务，这使得学习更有效。随机3D域上的实验结果表明，所提出的想法是至关重要的推广到更长的指令，以及看不见的指令。
2017-11-07 cs.AI cs.LG
On the Sample Complexity of Reinforcement Learning with Policy Space Generalization
UC Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）；NYU（纽约大学）
研究了具有策略空间泛化的大规模强化学习（RL）问题的最优样本复杂度，即Agent具有最优策略位于已知策略空间的先验知识.已有的结果表明，在没有泛化模型的情况下，RL算法的样本复杂度将不可避免地依赖于状态空间和动作空间的基数，而在许多实际问题中，这两个基数都非常大。为了避免这种对状态空间和动作空间大小的依赖性，本文提出了一种新的策略空间规避维数的概念，它刻画了任意马尔可夫决策过程（MDP）中策略学习的内在复杂性.使用一个模拟器的甲骨文，我们证明了一个接近最优的样本复杂度上界，只依赖于线性的逃避者的尺寸。我们进一步证明了类似的遗憾界在确定性系统没有模拟器。
2020-08-17 cs.AI cs.DS cs.LG
Improving Generalization in Meta Reinforcement Learning using Learned Objectives
The Swiss AI Lab IDSIA（瑞士人工智能实验室IDSIA）；USI（瑞士意大利语区大学）；SUPSI（瑞士南方应用科技大学）
生物进化已经将许多学习者的经验提炼成人类的通用学习算法。我们的新型Meta强化学习算法MetaGenRL就是受到这个过程的启发。MetaGenRL提取了许多复杂智能体的经验，以元学习一个低复杂度的神经目标函数，决定未来的个体将如何学习。与最近的元RL算法不同，MetaGenRL可以推广到与元训练完全不同的新环境。在某些情况下，它甚至优于人类工程RL算法。MetaGenRL在元训练期间使用非策略二阶梯度，这大大提高了其样本效率。
2020-02-14 cs.AI cs.LG cs.NE
One-Step Flow Q-Learning: Addressing the Diffusion Policy Bottleneck in Offline Reinforcement Learning
OFQL通过一步流匹配范式，无需辅助模块或蒸馏，实现高效的一步动作生成，提升离线强化学习的训练速度和鲁棒性。
2026-02-24 cs.LG
Inferring Behavior-Specific Context Improves Zero-Shot Generalization in Reinforcement Learning
University of Freiburg（弗莱堡大学）
针对强化学习零样本泛化难题，提出将上下文表示学习与策略学习直接整合的方法，可获取行为特定上下文表示，在多模拟域零样本设置下性能优于现有技术，推动了可泛化强化学习系统的发展。
2024-04-15 cs.AI cs.LG
Provable Zero-Shot Generalization in Offline Reinforcement Learning
The Chinese University of Hong Kong（香港中文大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）
本文针对离线强化学习零样本泛化问题，提出悲观经验风险最小化和悲观近端策略优化两种方法，并证明二者均能找到近最优且可泛化到新环境的策略。
2025-03-11 cs.AI cs.LG
Rogue-Gym: A New Challenge for Generalization in Reinforcement Learning
The University of Tokyo（东京大学）
在本文中，我们提出了Rogue-Gym，这是一个简单而经典的roguelike游戏，用于评估强化学习（RL）中的泛化能力。结合深度神经网络的最新进展，RL已经成功地在许多游戏（如Atari 2600）中训练了人类级别的智能体，而无需人类知识。然而，有人指出，用RL方法训练的智能体往往过拟合训练环境，并且它们在略有不同的环境中工作得很差。为了研究这个问题，已经提出了一些研究环境与程序内容生成。在这些研究之后，我们建议使用roguelikes作为基准来评估RL代理的泛化能力。在我们的Rogue-Gym中，代理需要在每次开始新游戏时探索结构不同的地牢。由于地下城的结构非常多样化，我们相信Rogue-Gym的泛化基准是足够公平的。在我们的实验中，我们评估了一种标准的强化学习方法PPO，有和没有泛化增强。结果表明，一些被认为是有效的增强未能减轻Rogue-Gym中的过拟合，虽然其他人略有提高泛化能力。
2019-06-01 cs.LG stat.ML
What Makes Value Learning Efficient in Residual Reinforcement Learning?
Nanyang Technical University（南洋理工大学）；Mila - Quebec AI Institute（魁北克AI研究所）；National University of Singapore（新加坡国立大学）
DAWN通过数据锚定预热和归一化解决残差强化学习中价值学习的冷启动和尺度不匹配问题，提升效率。
2026-02-11 cs.LG
