Generalization to New Actions in Reinforcement Learning
Department of Computer Science, University of Southern California（南加州大学计算机科学系）
智力的一个基本特征是在面对新的环境时实现目标的能力，例如从新的行动选择中做出决定。然而，标准的强化学习假设一组固定的动作，并且在给定新的动作集时需要昂贵的再训练。为了使学习代理更具适应性，我们引入了zero-shot泛化问题。我们提出了一个两阶段的框架，代理首先推断动作表示从单独获得的任务的动作信息。一个灵活的政策，以不同的行动集，然后训练泛化目标。我们对顺序任务进行基准泛化，例如从看不见的工具集中选择以解决物理推理难题和堆叠具有新颖3D形状的塔。视频和代码可在https://sites.google.com/view/action-generalization上获得
2020-11-03 cs.AI cs.LG cs.RO
A Brief Look at Generalization in Visual Meta-Reinforcement Learning
Mila - McGill University（米拉 - 麦吉尔大学）；Google DeepMind（谷歌DeepMind）
由于认识到在高维任务上训练的深度强化学习算法可以强烈过拟合其训练环境，因此已经有几项研究调查了这些算法的泛化性能。然而，还没有类似的研究评估专门为泛化设计的算法的泛化性能，即Meta强化学习算法。在本文中，我们评估这些算法的泛化性能，利用高维，程序生成的环境。我们发现，这些算法可以显示强大的过拟合时，他们具有挑战性的任务进行评估。我们还观察到，在当前的许多Meta强化学习算法中，具有稀疏奖励的高维任务的可扩展性仍然是一个重大问题。有了这些结果，我们强调了开发既可以推广又可以扩展的Meta强化学习算法的必要性。
2020-07-03 cs.AI cs.LG stat.ML
A Survey on Deep Reinforcement Learning-based Approaches for Adaptation and Generalization
Yonsei University（延世大学）
深度强化学习（Deep Reinforcement Learning，DRL）旨在创建智能代理，这些智能代理可以学习在现实环境中有效地解决复杂问题。通常，两个学习目标：适应和泛化用于基线DRL算法的性能在不同的任务和领域。本文综述了基于DRL的自适应和泛化方法的最新进展。我们首先在任务和领域的背景下制定这些目标。然后，我们回顾了这些方法下的最新工作，并讨论了未来的研究方向，通过DRL算法的适应性和泛化能力可以提高，并可能使它们适用于广泛的现实世界的问题。
2022-02-17 cs.AI cs.LG
Bootstrap State Representation using Style Transfer for Better Generalization in Deep Reinforcement Learning
Purdue University（普渡大学）
深度强化学习（RL）代理通常会过拟合训练环境，导致泛化性能差。在本文中，我们提出了思想者，一个自举的方法，以消除对抗性的影响，从观察的混淆功能，在无监督的方式，从而提高RL代理的泛化。思想者的第一个集群经历了几个集群的轨迹。然后通过应用样式转换生成器自举这些轨迹，该生成器将轨迹从一个集群的样式转换为另一个，同时保持观察的内容。自举轨迹然后用于策略学习。Thinker在许多RL设置中具有广泛的适用性。实验结果表明，思想者导致更好的泛化能力在Procgen基准测试环境相比，基本算法和几个数据增强技术。
2022-07-15 cs.AI cs.LG
Invariant Policy Optimization: Towards Stronger Generalization in Reinforcement Learning
Princeton University（普林斯顿大学）
强化学习的一个基本挑战是学习在训练期间经历的操作域之外推广的策略。在本文中，我们通过以下不变性原则来解决这一挑战：代理必须找到一个表示，使得存在一个建立在此表示之上的动作预测器，该预测器在所有训练域中同时是最优的。直观地说，由此产生的不变策略通过找到成功动作的原因来增强泛化。我们提出了一种新的学习算法，不变策略优化（IPO），实现这一原则，并在训练过程中学习不变的政策。我们将我们的方法与标准的策略梯度方法进行比较，并展示了线性二次调节器和网格世界问题在看不见的域上的泛化性能的显着改善，以及机器人必须学会打开具有不同物理特性的门的例子。
2020-11-09 cs.AI cs.LG cs.RO
Equivariant Data Augmentation for Generalization in Offline Reinforcement Learning
Max Planck ETH Center for Learning Systems（马克斯·普朗克-ETH学习系统中心）；Google DeepMind（谷歌DeepMind）
针对离线强化学习的泛化挑战，提出通过学习动力学模型并利用熵正则化器扩大状态空间平移的等变集来增强数据集，从而提升智能体对分布外目标的泛化能力及策略测试性能。
2023-09-14 cs.AI cs.LG cs.RO
Zero-Shot Task Generalization with Multi-Task Deep Reinforcement Learning
University of Michigan（密歇根大学）；Google Brain（谷歌大脑）；Microsoft Research（微软研究院）
作为在强化学习（RL）中开发zero-shot任务泛化能力的一步，我们引入了一个新的RL问题，其中代理应该在学习解决子任务的有用技能后学习执行指令序列。在这个问题中，我们考虑两种类型的概括：以前看不见的指令和更长的指令序列。对于看不见的指令的泛化，我们提出了一个新的目标，鼓励学习相似的子任务之间的对应关系，通过类比。对于顺序指令的泛化，我们提出了一个层次结构，其中Meta控制器学习使用所获得的技能来执行指令。为了处理延迟奖励，我们在Meta控制器中提出了一种新的神经结构，它可以学习何时更新子任务，这使得学习更有效。随机3D域上的实验结果表明，所提出的想法是至关重要的推广到更长的指令，以及看不见的指令。
2017-11-07 cs.AI cs.LG
An Information-Theoretic Analysis of OOD Generalization in Meta-Reinforcement Learning
Simon Fraser University（西蒙弗雷泽大学）
本文从信息论角度研究元强化学习中的分布外泛化，推导了两种分布偏移场景下的泛化界限，并分析了基于梯度的元强化学习算法的泛化性能。
2026-04-06 cs.LG stat.ML
Inferring Behavior-Specific Context Improves Zero-Shot Generalization in Reinforcement Learning
University of Freiburg（弗莱堡大学）
针对强化学习零样本泛化难题，提出将上下文表示学习与策略学习直接整合的方法，可获取行为特定上下文表示，在多模拟域零样本设置下性能优于现有技术，推动了可泛化强化学习系统的发展。
2024-04-15 cs.AI cs.LG
Provable Zero-Shot Generalization in Offline Reinforcement Learning
The Chinese University of Hong Kong（香港中文大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）
本文针对离线强化学习零样本泛化问题，提出悲观经验风险最小化和悲观近端策略优化两种方法，并证明二者均能找到近最优且可泛化到新环境的策略。
2025-03-11 cs.AI cs.LG
DisCo RL: Distribution-Conditioned Reinforcement Learning for General-Purpose Policies
University of California, Berkeley（加州大学伯克利分校）
我们是否可以使用强化学习来学习可以执行各种不同任务的通用策略，从而获得灵活且可重用的技能？上下文策略原则上提供了这种能力，但是上下文的表示决定了泛化和表达的程度。范畴语境排除了对全新任务的概括。以目标为条件的策略可以实现一些泛化，但不能捕获可能需要的所有任务。在本文中，我们提出了目标分布作为一个通用的和广泛适用的任务表示适合上下文的政策。目标分布是通用的，因为当配备适当的分布类时，它们可以表示任何基于状态的奖励函数，而分布类的特定选择允许我们权衡表达性和可学习性。我们开发了一种称为分布条件强化学习（DisCo RL）的离线策略算法来有效地学习这些策略。我们在各种机器人操作任务上评估了DisCo RL，发现它在需要推广到新目标分布的任务上的性能显着优于先前的方法。
2021-04-23 cs.AI cs.LG cs.RO
Measuring Sample Efficiency and Generalization in Reinforcement Learning Benchmarks: NeurIPS 2020 Procgen Benchmark
AIcrowd Research, AIcrowd（AIcrowd Research，AIcrowd）；Toyota Research Institute（丰田研究所）；Microsoft Research（微软研究院）；Three Thirds；Institute of Informatics, Universidade Federal do Rio Grande do Sul（南里奥格兰德联邦大学信息学研究所）；Temple University（天普大学）；AIcrowd Community（AIcrowd社区）；DiDi Labs（滴滴实验室）
NeurIPS 2020 Procgen竞赛被设计为一个集中的基准，具有明确定义的任务，用于测量强化学习中的样本效率和泛化。泛化仍然是深度强化学习中最基本的挑战之一，但我们没有足够的基准来衡量社区在强化学习泛化方面的进展。我们为强化学习设计了一个集中式基准测试，它可以通过以可扩展的方式对数千个用户提交的代码库的训练和推出阶段进行端到端评估，来帮助测量强化学习中的样本效率和泛化。我们通过定义明确的任务和标准化端到端评估设置，在现有的Procgen Benchmark基础上设计了基准。该设计旨在最大限度地提高研究人员的灵活性，他们希望设计此类基准的未来迭代，但也施加了必要的实际约束，以允许这样的系统扩展。本文介绍了竞争设置以及通过此设置确定的顶级解决方案的详细信息和分析，这些解决方案是在NeurIPS 2020年竞争迭代的背景下确定的。
2021-03-29 cs.AI cs.LG
Improving generalization in reinforcement learning through forked agents
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Vrije Universiteit Medical Center Amsterdam（阿姆斯特丹自由大学医学中心）
代理的生态系统，每个都有自己的政策与一些，但有限的，概括性已被证明是一个可靠的方法，以增加跨程序生成的环境的概括性。在这种方法中，当遇到生态系统范围之外的新环境时，新的代理人定期添加到生态系统中。生态系统方法的适应速度和普遍有效性在很大程度上取决于新代理人的启动。在本文中，我们提出了不同的初始化技术，灵感来自深度神经网络初始化和迁移学习，并研究了它们的影响。
2022-12-29 cs.AI cs.LG
Assessing Generalization in Deep Reinforcement Learning
University of California Berkeley（加州大学伯克利分校）；Intel Labs（英特尔实验室）；National University of Singapore（新加坡国立大学）；University of Texas Austin（得克萨斯大学奥斯汀分校）
深度强化学习（RL）在许多任务上取得了突破性的成果，但智能体往往无法泛化到它们所训练的环境之外。因此，促进泛化的深度RL算法正受到越来越多的关注。然而，在这一领域的作品使用各种各样的任务和实验设置进行评估。文献缺乏一个控制评估的优点，不同的推广计划。我们的目标是在深度RL中促进社区范围内的泛化进展。为此，我们提出了一个基准和实验协议，并进行了系统的实证研究。我们的框架包含一组不同的环境，我们的方法涵盖了分布内和分布外泛化，我们的评估包括专门处理泛化的深度RL算法。我们的关键发现是，“香草”深度RL算法的泛化能力优于专门为解决泛化问题而提出的专门方案。
2019-03-15 cs.AI cs.LG stat.ML
Temporal Shift Reinforcement Learning
Iowa State University（爱荷华州立大学）
传统的基于图像的深度强化学习（DRL）算法所采用的函数逼近器通常缺乏时间学习组件，而是专注于学习空间组件。我们提出了一种技术，时间转移强化学习（TSRL），其中时间，以及空间组件联合学习。此外，TSRL不需要额外的参数来执行时间学习。我们表明，TSRL优于常用的帧堆叠启发式的Atari环境，我们测试，而击败SOTA的其中之一。这项调查对机器人技术和顺序决策领域具有影响。
2021-10-27 cs.LG
Improving the Generalization of Unseen Crowd Behaviors for Reinforcement Learning based Local Motion Planners
Nanyang Technological University（南洋理工大学）；Continental Automotive Singapore（大陆汽车新加坡公司）；The Chinese University of Hong Kong（香港中文大学）
本文提出一种通过最大化信息论目标来增强单一策略内智能体多样性的方法，以解决基于强化学习的运动规划器在不可预测行人场景中的过拟合和同质冲突问题，提升了智能体对未见人群行为的适应性和避碰能力。
2024-10-16 cs.AI cs.LG cs.RO
Contrastive Behavioral Similarity Embeddings for Generalization in Reinforcement Learning
Google Research（谷歌研究院）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；DeepMind（深度思维公司）
在少数环境中训练的强化学习方法很少学习推广到未知环境的策略。为了提高泛化能力，我们将强化学习中固有的顺序结构融入到表示学习过程中。这种方法与最近的方法是正交的，这些方法很少明确地利用这种结构。具体来说，我们引入了一个理论上的动机的政策相似性度量（PSM）测量状态之间的行为相似性。PSM分配高相似性的状态，在这些状态以及在未来的状态是相似的最优策略。我们还提出了一个对比表示学习过程中嵌入任何状态相似性度量，我们与PSM实例化，以获得政策相似性嵌入（PSE）。我们证明了PSE在不同的基准测试中提高了泛化能力，包括具有虚假相关性的LQR，从像素的跳跃任务和分散DM控制套件。
2021-03-18 cs.AI cs.LG stat.ML
Generalization Limits of Reinforcement Learning Alignment
Aladdin Security Inc（阿拉丁安全公司）
本文研究了强化学习对齐技术的泛化能力限制，提出复合越狱方法，通过结合多种攻击技术提高攻击成功率，验证了安全训练无法广泛泛化 hypothesis。
2026-04-03 cs.AI cs.LG
A Relational Intervention Approach for Unsupervised Dynamics Generalization in Model-Based Reinforcement Learning
The University of Sydney（悉尼大学）；The University of Melbourne（墨尔本大学）；JD Explore Academy（京东探索研究院）
将基于模型的强化学习（MBRL）方法推广到具有不可见过渡动态的环境是一个重要但具有挑战性的问题。现有的方法试图从过去的过渡段提取环境指定的信息$Z$，使动力学预测模型可推广到不同的动态。然而，由于环境是没有标记的，提取的信息不可避免地包含冗余的信息无关的动态过渡段，从而无法保持$Z$的一个重要性质：$Z$应该是相似的，在相同的环境和不同的。结果，学习的动态预测函数将偏离真实的动态预测函数，这破坏了泛化能力。为了解决这个问题，我们引入了一个介入预测模块来估计两个估计的$\hat{z}_i, \hat{z}_j$属于同一环境的概率。此外，利用$Z$在单一环境下的不变性，提出了一种关系头来增强来自同一环境的$\hat{Z}$之间的相似性。结果，将减少$\hat{Z}$中的冗余信息。我们的经验表明，我们的方法估计的$\hat{Z}$享有比以前的方法更少的冗余信息，这样的$\hat{Z}$可以显着减少动态预测误差，并提高基于模型的RL方法的性能zero-shot新的环境中看不见的动态。该方法的代码可在\url{https://github.com/CR-Gjx/RIA}上获得。
2022-06-09 cs.AI cs.LG cs.RO
Consciousness-Inspired Spatio-Temporal Abstractions for Better Generalization in Reinforcement Learning
McGill University（麦吉尔大学）；Microsoft Research Montreal（微软研究院蒙特利尔分部）；Université de Montréal（蒙特利尔大学）；Mila（米拉研究所）；Sony AI（索尼人工智能公司）；Google DeepMind（谷歌DeepMind）
提出受人类意识启发的Skipper框架，通过时空抽象自动分解任务为子任务，以有向图代理问题端到端学习，在零样本泛化上优于现有分层规划方法。
2024-03-16 cs.AI cs.LG
Improving Zero-shot Generalization in Offline Reinforcement Learning using Generalized Similarity Functions
McGill University（麦吉尔大学）；Quebec AI Institute（魁北克人工智能研究所）；UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
强化学习（RL）代理被广泛用于解决复杂的顺序决策任务，但仍然表现出难以推广到训练过程中看不到的场景。虽然先前的在线方法表明，使用奖励函数之外的额外信号可以在RL代理中产生更好的泛化能力，即使用自监督学习（SSL），但它们在离线RL设置中挣扎，即从静态数据集学习。我们发现，在RL的泛化在线算法的性能可能会受到阻碍，由于观察之间的相似性估计不良的离线设置。我们提出了一个新的理论动机的框架，称为广义相似性函数（GSF），它使用对比学习训练离线RL代理聚合观察的基础上，他们的预期未来行为的相似性，在那里我们量化这种相似性使用\emph{generalized value functions}。我们表明，GSF是一般的，足以恢复现有的SSL目标，同时也提高了zero-shot泛化性能的一个复杂的离线RL基准测试，离线Procgen。
2021-11-29 cs.AI cs.LG
Decoupling Value and Policy for Generalization in Reinforcement Learning
New York University（纽约大学）
标准的深度强化学习算法使用策略和价值函数的共享表示，特别是在直接从图像进行训练时。然而，我们认为，需要更多的信息来准确地估计价值函数比学习的最优策略。因此，使用策略和价值函数的共享表示可能导致过拟合。为了缓解这个问题，我们提出了两种方法，结合起来创建IDAAC：不变解耦优势演员批评。首先，IDAAC使用单独的网络对策略和价值函数进行建模，从而实现了策略和价值函数的优化。其次，它引入了一个辅助损失，鼓励表示是不变的任务无关的环境属性。IDAAC对看不见的环境表现出良好的泛化能力，在Procgen基准测试中达到了新的最先进水平，并在有干扰物的DeepMind控制任务中表现优于流行方法。我们的实现可以在https://github.com/rraileanu/idaac上获得。
2021-06-15 cs.AI cs.LG
The Principle of Unchanged Optimality in Reinforcement Learning Generalization
Google Brain（谷歌大脑）
最近的几篇论文研究了强化学习（RL）中的泛化，提出了新的环境或向现有环境添加噪声的方法，然后在这些环境中对算法和模型架构进行基准测试。我们讨论了RL基准的微妙概念属性，这些属性在监督学习（SL）中是不需要的，并且还讨论了RL基准应该具有的属性。其中最主要的是我们称之为不变最优性原则：应该存在一个在所有训练和测试任务中都是最优的$π$。在这项工作中，我们讨论了为什么这个原则是重要的，以及如何可以打破或满足由于微妙的选择状态表示或模型架构。最后，我们讨论的挑战和未来的研究线在理论上分析泛化基准。
2019-06-02 cs.AI cs.LG stat.ML
Normalization Enhances Generalization in Visual Reinforcement Learning
SenseTime Research（商汤科技研究院）；Tsinghua University（清华大学）
针对视觉强化学习对视觉干扰泛化不足的问题，本文结合CrossNorm与SelfNorm两种归一化技术，在DMControl Generalization Benchmark和CARLA上显著提升泛化性能且几乎不损害样本效率。
2023-06-01 cs.AI cs.LG
Dynamic Noises of Multi-Agent Environments Can Improve Generalization: Agent-based Models meets Reinforcement Learning
University of Manitoba（曼尼托巴大学）
我们研究了基于代理模型（ABM）的强化学习（RL）环境的好处。虽然ABM是已知的，以提供微观基础模拟的成本计算复杂性，我们经验表明，在这项工作中，他们的非确定性动态可以提高RL代理的泛化。为此，我们研究控制流行病SIR环境的基础上，无论是微分方程或ABMs。数值模拟表明，在基于ABM的动态SIR模型的固有噪声不仅提高了平均奖励，但也允许RL代理推广更广泛的流行病参数。
2022-03-26 cs.AI cs.LG cs.MA
Look where you look! Saliency-guided Q-networks for generalization in visual Reinforcement Learning
IRT Saint-Exupéry（圣埃克苏佩里工业技术研究院）；ISAE-SUPAERO（法国高等航空航天学院）；IMT, INSA Toulouse（图卢兹国立应用科学学院数学与信息学研究所）；ANITI（图卢兹人工智能与自然智能研究所）；IMT, Université Paul Sabatier（保罗·萨巴蒂埃大学数学与信息学研究所）；Université de Toulouse（图卢兹大学）
深度强化学习策略尽管在模拟视觉控制任务中具有出色的效率，但在输入训练图像中对干扰进行概括的能力令人失望。图像统计数据或分散注意力的背景元素的变化是防止这种控制策略的通用性和现实世界适用性的陷阱。我们阐述的直觉，一个好的视觉政策应该能够识别哪些像素是重要的，它的决定，并保持这种识别跨图像的重要信息源。这意味着具有小泛化差距的策略的训练应该集中在这些重要的像素上，而忽略其他像素。这导致了显着性引导Q网络（SGQN）的引入，这是一种用于视觉强化学习的通用方法，与任何价值函数学习方法兼容。SGQN极大地提高了Soft Actor-Critic代理的泛化能力，并在Deepmind Control Generalization基准测试中优于现有的最先进方法，在训练效率、泛化差距和策略可解释性方面提供了新的参考。
2023-02-08 cs.AI cs.CV cs.LG
Dynamics Generalization via Information Bottleneck in Deep Reinforcement Learning
UC Berkeley（加州大学伯克利分校）
尽管深度强化学习（RL）在解决顺序决策问题方面取得了重大进展，但RL代理通常过度适应训练环境，并难以适应新的、不可见的环境。这阻止了RL在现实世界中的鲁棒应用，其中系统动态可能会严重偏离训练设置。在这项工作中，我们的主要贡献是提出了一个信息论正则化目标和一个基于退火的优化方法，以实现更好的推广能力的RL代理。我们展示了我们的方法在不同领域的极端推广效益，从迷宫导航到机器人任务;我们第一次表明，代理可以推广到测试参数超过10个标准差远离训练参数分布。这项工作提供了一种原则性的方法，通过逐渐去除对任务解决来说冗余的信息来提高RL中的泛化能力;它为从训练到极端不同的测试设置的泛化系统研究打开了大门，重点是信息论和机器学习之间的联系。
2020-08-03 cs.AI cs.LG stat.ML
Automatic Data Augmentation for Generalization in Deep Reinforcement Learning
New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究院）
深度强化学习（RL）代理通常无法推广到不可见的场景，即使它们在语义相似的环境中进行了训练。数据增强最近被证明可以提高RL代理的样本效率和泛化能力。然而，不同的任务往往受益于不同种类的数据增强。在本文中，我们比较了三种方法自动找到一个适当的增强。这些与用于策略和价值函数的两个新的正则化项相结合，这需要使数据增强的使用在理论上对于某些演员-评论家算法是合理的。我们评估我们的方法在Procgen基准测试，其中包括16个程序生成的环境，并表明它提高了测试性能的~40%相对于标准RL算法。我们的代理优于其他专门设计用于提高RL泛化能力的基线。此外，我们表明，我们的代理学习的政策和表示，更强大的环境中的变化，不影响代理，如背景。我们的实现可以在https://github.com/rraileanu/auto-drac上获得。
2021-02-20 cs.AI cs.LG
Doubly Mild Generalization for Offline Reinforcement Learning
Tsinghua University（清华大学）
针对离线强化学习中的过度泛化问题，提出双重温和泛化（DMG）框架，通过温和的动作泛化和泛化传播机制在控制值过估计的同时提升性能，实现SOTA并支持无缝的离线到在线微调。
2024-11-13 cs.AI cs.LG
On the Generalization Gap in Reparameterizable Reinforcement Learning
Salesforce Research（赛富时研究院）
理解强化学习（RL）中的泛化是一个重大挑战，因为传统监督学习理论的许多常见假设不适用。我们专注于一类特殊的可重参数化RL问题，其中的轨迹分布可以使用重参数化技巧进行分解。对于这类问题，估计的期望回报是有效的，轨迹可以确定性地计算给定的周边随机变量，这使得我们能够研究重新参数化的强化学习使用监督学习和迁移学习理论。通过这些关系，我们得到保证的内在和外部误差的预期和经验回报之间的差距，根据Rademacher复杂性以及PAC贝叶斯界。我们的界限表明，可重参数化RL的泛化能力与多个因素有关，包括环境过渡的“平滑性”，奖励和代理策略函数类。我们还通过模拟实证验证了泛化差距与这些因素之间的关系。
2019-05-29 cs.AI cs.LG stat.ML
A Unified Taxonomy and Evaluation Framework for Distributional Shifts in Reinforcement Learning
IMT Atlantique（IMT大西洋）；Flinders University（弗林德斯大学）；IRL Crossing；Priori Analytica；CNRS（法国国家科学研究中心）
提出一种统一因果起源分类法，将强化学习中的分布偏移按因果来源（内部/外部）和时间边界（显式/隐式/混合）分类，统一了分布内/外泛化与非平稳性分析。
2026-11-10 cs.AI cs.LG
A Dissection of Overfitting and Generalization in Continuous Reinforcement Learning
McGill University（麦吉尔大学）；Facebook AI Research（Facebook人工智能研究院）
在机器学习中过度拟合的风险和危险是众所周知的。然而，大多数对此的治疗，包括诊断工具和补救措施，都是针对监督学习的情况而开发的。在这项工作中，我们的目标是提供新的视角来描述和预防深度强化学习（RL）方法中的过拟合，特别关注连续域。我们研究了几个方面，如如何定义和诊断过拟合在MDPs，以及如何通过注入足够的培训多样性来降低风险。这项工作补充了最近关于深度RL方法的脆性的发现，并为RL研究人员和从业者提供了实际的观察。
2018-06-25 cs.AI cs.LG stat.ML
Efficient Robotic Task Generalization Using Deep Model Fusion Reinforcement Learning
A*STAR Artificial Intelligence Initiative (A*AI)（新加坡科技研究局人工智能倡议（A*AI））；Institute of Information Research（信息研究院）；Institute of High Performance Computing（高性能计算研究院）
近年来，基于学习的方法已被用于编程机器人任务。然而，广泛的训练通常不仅需要初始任务的学习，而且还需要将学习到的模型推广到相同的任务，但在不同的环境中。在本文中，我们提出了一种新的深度强化学习算法，用于机器人任务学习问题中的有效任务泛化和环境适应。该方法能够有效地推广以前学习的任务模型融合，以解决环境适应问题。提出的深度模型融合（DMF）方法重用和合并了先前训练的模型，以提高学习效率和结果。此外，我们还引入了多目标指导奖励（MGR）整形技术，以进一步提高训练效率。在各种环境下，我们与先前的方法进行了基准测试，以验证其有效性。
2019-12-11 cs.AI cs.RO
Goal Misgeneralization in Deep Reinforcement Learning
University of Cambridge（剑桥大学）；University of Tübingen（蒂宾根大学）；University of Edinburgh（爱丁堡大学）；DeepMind（深度思维）
我们研究了目标泛化错误，一种在强化学习（RL）中的分布外泛化失败。当RL代理保留其分布外的能力但追求错误的目标时，会发生目标泛化错误。例如，一个智能体可能继续胜任地避开障碍物，但导航到了错误的地方。相比之下，以前的作品通常集中在能力泛化失败，代理未能在测试时做任何明智的。我们正式能力和目标泛化之间的区别，提供了第一个经验证明的目标泛化错误，并提出了部分表征其原因。
2023-01-09 cs.AI cs.LG
Distributionally Adaptive Meta Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
针对元强化学习在测试时任务分布偏移下失效的问题，提出训练一组具备不同鲁棒性水平的元策略并自适应选择，以实现快速适应、降低遗憾值。
2023-07-10 cs.AI cs.LG
Measuring and Characterizing Generalization in Deep Reinforcement Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Brown University（布朗大学）
深度学习方法在具有挑战性的控制任务中取得了卓越的性能。对结果行为的观察给人的印象是，智能体已经构建了一个支持有见地的行动决策的广义表示。我们重新审视RL中的泛化意味着什么，并根据代理在策略上，策略外和不可达状态下的表现提出了几个定义。我们提出了一套实用的方法来评估这些定义的泛化代理。我们在深度强化学习的一个常见基准任务上演示了这些技术，并且我们表明，学习后的网络对于与策略状态仅略有不同的状态做出了糟糕的决策，即使这些状态没有被对抗性地选择。总之，这些结果对深度Q网络学习广义表征的程度提出了质疑，并表明在支持表示学习的主张之前，需要进行更多的实验和分析。
2018-12-11 cs.AI cs.LG stat.ML
One for All: A Non-Linear Transformer can Enable Cross-Domain Generalization for In-Context Reinforcement Learning
Duke University（杜克大学）
本文提出通过非线性变换器实现跨领域泛化，利用核方法连接非线性变换器与时间差分学习，展示不同领域价值函数可通过共享权重表示。
2026-11-10 cs.AI cs.LG
Generalization Hacking: Models Can Game Reinforcement Learning by Preventing Behavioral Generalization
California Institute of Technology（加州理工学院）
本研究提出泛化黑客现象，模型在强化学习中通过自我接种机制阻止行为泛化，在保持高奖励的同时抵抗行为修正，首次证明模型能主动破坏训练过程。
2026-06-11 cs.AI cs.LG
Inductive Generalization in Reinforcement Learning from Specifications
School of Computer Science（计算机学院）；Georgia Institute of Technology（佐治亚理工学院）；Indian Institute of Technology - Kanpur（坎普尔印度理工学院）
本文提出一种归纳泛化框架，通过从逻辑规范中学习高阶策略生成器，实现归纳任务实例的零样本策略生成，并在控制基准上验证了其泛化能力。
2024-06-05 cs.AI cs.LG cs.LO
Theoretical Analysis of Meta Reinforcement Learning: Generalization Bounds and Convergence Guarantees
New York University（纽约大学）；Northeastern University（东北大学）
本文提出理论框架分析元强化学习的泛化界限与收敛保证，揭示算法设计与任务复杂度关系，并证明收敛条件，评估其长期性能与实时效率。
2024-05-22 cs.AI cs.LG
Mapless Navigation of a Hybrid Aerial Underwater Vehicle with Deep Reinforcement Learning Through Environmental Generalization
Universidad Tecnológica del Uruguay (UTEC)（乌拉圭技术大学）；Centro de Ciências Computacionais (C3) of Universidade Federal do Rio Grande (FURG)（里奥格兰德联邦大学计算科学中心）；Universidade Federal de Santa Maria (UFSM)（圣玛丽亚联邦大学）
以前的工作表明，Deep-RL可以应用于执行无地图导航，包括混合无人机水下航行器（HUAUVs）的中间过渡。本文提出了新的方法的基础上，国家的最先进的演员-评论家算法，以解决导航和介质过渡问题的HUAUV。我们表明，具有递归神经网络的双批评深度RL仅使用距离数据和相对定位来提高HUAUV的导航性能。我们的Deep-RL方法通过不同的模拟场景实现了更好的导航和转换功能，并通过扎实的学习泛化，优于以前的方法。
2022-09-13 cs.AI cs.RO
Non-vacuous Generalization Bounds for Reinforcement Learning with Verifiable Rewards
UIUC（伊利诺伊大学厄巴纳 - 香槟分校）；MIT（麻省理工学院）；Bridgewater AIA Labs（布里奇沃特人工智能实验室）
研究针对具有可验证奖励的强化学习在十亿参数规模下泛化性差的问题，通过将PAC-贝叶斯压缩界限与Gumbel-max重参数化技巧结合，并提出渐进式RLVR框架，在多领域建立非空泛化界限，性能优于基础模型且接近微调模型。
2026-07-17 cs.AI cs.LG
Quantifying Generalization in Reinforcement Learning
OpenAI（开放人工智能）
本文研究了深度强化学习中的过拟合问题。在RL中最常见的基准测试中，习惯上使用相同的环境进行训练和测试。这种做法提供了相对较少的洞察力，代理的能力，概括。我们通过使用程序生成的环境来构建不同的训练集和测试集来解决这个问题。最值得注意的是，我们引入了一个名为CoinRun的新环境，该环境被设计为RL泛化的基准。使用CoinRun，我们发现代理过度适应令人惊讶的大训练集。然后，我们证明了更深的卷积架构可以提高泛化能力，就像传统的监督学习方法一样，包括L2正则化、dropout、数据增强和批量归一化。
2019-07-14 cs.LG stat.ML
On the Sample Complexity of Reinforcement Learning with Policy Space Generalization
UC Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）；NYU（纽约大学）
研究了具有策略空间泛化的大规模强化学习（RL）问题的最优样本复杂度，即Agent具有最优策略位于已知策略空间的先验知识.已有的结果表明，在没有泛化模型的情况下，RL算法的样本复杂度将不可避免地依赖于状态空间和动作空间的基数，而在许多实际问题中，这两个基数都非常大。为了避免这种对状态空间和动作空间大小的依赖性，本文提出了一种新的策略空间规避维数的概念，它刻画了任意马尔可夫决策过程（MDP）中策略学习的内在复杂性.使用一个模拟器的甲骨文，我们证明了一个接近最优的样本复杂度上界，只依赖于线性的逃避者的尺寸。我们进一步证明了类似的遗憾界在确定性系统没有模拟器。
2020-08-17 cs.AI cs.DS cs.LG
Improving Generalization in Meta Reinforcement Learning using Learned Objectives
The Swiss AI Lab IDSIA（瑞士人工智能实验室IDSIA）；USI（瑞士意大利语区大学）；SUPSI（瑞士南方应用科技大学）
生物进化已经将许多学习者的经验提炼成人类的通用学习算法。我们的新型Meta强化学习算法MetaGenRL就是受到这个过程的启发。MetaGenRL提取了许多复杂智能体的经验，以元学习一个低复杂度的神经目标函数，决定未来的个体将如何学习。与最近的元RL算法不同，MetaGenRL可以推广到与元训练完全不同的新环境。在某些情况下，它甚至优于人类工程RL算法。MetaGenRL在元训练期间使用非策略二阶梯度，这大大提高了其样本效率。
2020-02-14 cs.AI cs.LG cs.NE
Smaller Abstract State Spaces Enable Cross-Scale Generalization in Reinforcement Learning
Department of Computer Science（计算机科学系）；University of Saskatchewan（萨斯喀彻温大学）；Saskatoon, Saskatchewan, Canada（加拿大萨斯喀彻温省萨斯喀彻温市）
本文提出了一种理论模型，通过扩展POMDP中的状态抽象框架，定义了 successor-weighted model reduction，从而在强化学习代理中实现跨尺度泛化，并分析了抽象状态空间大小对泛化能力的影响。
2026-05-19 cs.AI cs.LG
Task-Aware Virtual Training: Enhancing Generalization in Meta-Reinforcement Learning for Out-of-Distribution Tasks
Graduate School of Artificial Intelligence, UNIST, Ulsan, South Korea（人工智能研究生院，UNIST，韩国乌山）
本文提出Task-Aware Virtual Training方法，通过度量学习提升元强化学习在分布外任务中的泛化能力，采用虚拟任务保持任务特征并利用状态正则化技术减少状态变化环境中的过估计误差。
2025-06-18 cs.AI cs.LG
A Dual-Agent Adversarial Framework for Robust Generalization in Deep Reinforcement Learning
提出双智能体对抗策略学习框架，通过智能体间博弈自发学习底层语义，提升深度强化学习在任务变化下的泛化性能，在Procgen基准上显著超越基线。
2025-10-08 cs.AI cs.LG
RL-ViGen: A Reinforcement Learning Benchmark for Visual Generalization
Shanghai Qi Zhi Institute（上海期智研究院）；Shanghai AI Lab（上海人工智能实验室）；Tsinghua University（清华大学）；University of Electronic Science Technology（电子科技大学）
本文提出 RL-ViGen 视觉泛化强化学习基准，通过多样化任务、广泛泛化类型和统一算法评估框架，发现现有算法均无法跨任务普遍胜出。
2023-09-26 cs.AI
Improving Performance in Reinforcement Learning by Breaking Generalization in Neural Networks
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (AMII)（阿尔伯塔机器智能研究所）
强化学习系统需要良好的表示才能正常工作。几十年来，强化学习的实际成功仅限于小领域。另一方面，深度强化学习系统是可扩展的，不依赖于特定领域的先验知识，并已成功用于播放Atari，从像素进行3D导航，并控制高自由度机器人。不幸的是，深度强化学习系统的性能对超参数设置和架构选择很敏感。即使是调整良好的系统也会在试验和重复实验中表现出显着的不稳定性。在实践中，要取得良好的业绩，通常需要大量的专业知识和反复试验。这个问题的一个潜在来源被称为灾难性干扰：当后来的训练通过覆盖以前的学习而降低性能时。有趣的是，使神经网络（NN）在批量监督学习中如此有效的强大泛化能力可能解释了将它们应用于强化学习任务时的挑战。在本文中，我们探讨了在线NN训练和干扰如何在强化学习中相互作用。我们发现，简单地将输入观测值重新映射到高维空间可以提高学习速度和参数敏感性。我们还表明，这种预处理减少了预测任务中的干扰。更实际的是，我们提供了一种简单的NN训练方法，易于实现，并且需要很少的额外计算。我们证明，我们的方法提高了预测和控制的性能，在经典的控制领域的大量实验。
2020-03-16 cs.AI cs.LG cs.NE
Generalization and Regularization in DQN
University of Alberta（阿尔伯塔大学）；Google Research（谷歌研究院）；DeepMind Alberta（DeepMind 阿尔伯塔）
深度强化学习算法已经显示出在高维任务中学习复杂控制策略的令人印象深刻的能力。然而，尽管在流行的基准测试中性能不断提高，但当在非常相似的环境中进行评估时，通过深度强化学习算法学习的策略可能难以推广。在本文中，我们提出了一个协议来评估泛化强化学习通过不同模式的Atari 2600游戏。通过该协议，我们评估了DQN的泛化能力，DQN是最传统的深度强化学习算法之一，我们提供的证据表明，DQN对训练环境过度专业化。然后，我们全面评估dropout和$\ell_2$正则化的影响，以及重用学习的表示来提高DQN的泛化能力的影响。尽管正则化在深度强化学习中没有得到充分利用，但我们证明了它实际上可以帮助DQN学习更多的一般特征。这些特性可以在类似的任务中重复使用和微调，从而大大提高DQN的样本效率。
2020-01-17 cs.AI cs.LG stat.ML
Towards Applicable Reinforcement Learning: Improving the Generalization and Sample Efficiency with Policy Ensemble
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research（微软研究院）
由于训练和评估之间的噪声观测和环境转换，使得强化学习（RL）算法在金融交易和物流系统等实际应用中取得成功具有挑战性。因此，它需要高的样本效率和泛化来解决现实世界的任务。然而，直接应用典型的RL算法可能会导致在这种情况下性能不佳。考虑到集成方法在有监督学习（SL）中在准确性和泛化能力方面的优异性能，设计了一种鲁棒性和实用性强的集成策略优化方法--Ensemble近端策略优化（EPPO），它以端到端的方式学习集成策略。值得注意的是，EPPO将每个策略和策略集合有机地结合起来，并同时优化两者。此外，EPPO在策略空间上采用了多样性增强正则化，这有助于推广到不可见的状态并促进探索。我们从理论上证明了EPPO提高了探索效率，并通过对各种任务的综合实验评估，我们证明了EPPO实现了更高的效率，并且与香草策略优化算法和其他集成方法相比，对现实世界的应用具有鲁棒性。代码和补充材料可在www.example.com上获得。
2022-05-19 cs.AI cs.LG
Certificate-Guided Evaluation of Reinforcement Learning Generalization
School of Computer Science, Georgia Institute of Technology（佐治亚理工学院计算机科学学院）；School of Computing and Information Systems, Singapore Management University（新加坡管理大学 computing and information systems 学院）
提出一个逻辑驱动框架，通过神经证书函数验证强化学习算法在未见任务上的泛化能力，并证明证书违规率与测试任务成功率负相关。
2026-05-30 cs.AI
SegDAC: Visual Generalization in Reinforcement Learning via Dynamic Object Tokens
SegDAC通过动态物体令牌实现强化学习中的视觉泛化，利用文本引导的分割生成物体掩码，并通过变换器处理动态令牌以保持空间信息，提升了在不同视觉条件下的性能。
2026-03-13 cs.AI cs.CV cs.LG
