Learning from Symmetry: Meta-Reinforcement Learning with Symmetrical Behaviors and Language Instructions
Technical University of Munich(慕尼黑工业大学);Sun Yat-sen University(中山大学);Pazhou Lab(琶洲实验室)
本文提出一种结合对称行为与语言指令的双MDP元强化学习方法,通过利用行为与指令的对称性增强任务信息,在多个操作任务中显著提升了元强化学习的泛化能力和学习效率。
2023-07-04 cs.AI
Gradient Coupling: The Hidden Barrier to Generalization in Agentic Reinforcement Learning
Taobao & Tmall Group of Alibaba(阿里巴巴淘宝与天猫集团);Beijing Institute of Technology(北京理工大学);Beijing Key Laboratory of Research on Large Models and Intelligent Governance(北京大型模型与智能治理重点实验室);Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE(下一代智能搜索与推荐工程技术研究中心)
本文提出了一种通过训练演员同时作为分类器来分离好坏动作,从而缓解代理强化学习中梯度耦合问题并提升泛化能力的方法。
2026-01-15 cs.AI
Reinforcement Learning Generalization with Surprise Minimization
University of Toronto(多伦多大学)
泛化对于深度强化学习算法来说仍然是一个具有挑战性的问题,这些算法通常在同一组确定性游戏环境中进行训练和测试。当测试环境是不可见的和扰动的,但任务的性质保持不变,泛化差距可能会出现。在这项工作中,我们提出并评估了一个惊喜最小化代理的泛化基准,以显示从简单的密度模型中学习到的额外奖励可以在提供恒定熵源和随机性的程序生成的游戏环境中表现出鲁棒性。
2020-07-02 cs.AI cs.LG
PPO Dash: Improving Generalization in Deep Reinforcement Learning
Vidya Gamer, LLC(维迪亚游戏有限责任公司)
深度强化学习容易出现过拟合,Atari 2600 benchmark等传统基准测试会加剧这一问题。障碍塔挑战通过使用随机环境和单独的种子进行训练,验证和测试来解决这个问题。本文研究了PPO算法的各种改进和最佳实践,使用障碍塔挑战来实证研究它们对泛化的影响。我们的实验表明,该组合提供了最先进的性能障碍塔的挑战。
2019-07-25 cs.AI cs.LG
Do Agents Dream of Electric Sheep?: Improving Generalization in Reinforcement Learning through Generative Learning
University of Bologna(博洛尼亚大学);University College London(伦敦大学学院)
受过度拟合大脑假说启发,提出基于生成式增强的想象强化学习方法,在ProcGen稀疏奖励环境中显著提升智能体泛化能力。
2024-03-12 cs.AI cs.LG
A Survey Analyzing Generalization in Deep Reinforcement Learning
University College London(伦敦大学学院)
该综述形式化分析了深度强化学习的泛化性问题,阐释过拟合根源,分类讲解各类提升泛化性的方法,覆盖多类子领域,可为领域发展提供指南并助力构建鲁棒高泛化性的深度神经策略。
2024-10-30 cs.AI cs.LG stat.ML
Salience-Invariant Consistent Policy Learning for Generalization in Visual Reinforcement Learning
Institute of Automation, CASIA(中国科学院自动化研究所);Pengcheng Laboratory(鹏城实验室);School of Artificial Intelligence, UCAS(中国科学院大学人工智能学院)
针对视觉强化学习中的泛化问题,提出显著性不变一致性策略学习(SCPL)算法,通过价值与策略一致性模块及动力学模块捕获任务相关表征,在多个基准上显著提升零样本泛化性能。
2025-02-24 cs.AI
One Subgoal at a Time: Zero-Shot Generalization to Arbitrary Linear Temporal Logic Requirements in Multi-Task Reinforcement Learning
Division of Systems Engineering, Boston University(系统工程系,波士顿大学);Department of Electrical and Computer Engineering, Boston University(电气与计算机工程系,波士顿大学)
本文提出 GenZ-LTL 方法,通过将任意 LTL 规范分解为到达-避障子目标并一次一个地求解,结合子目标诱导观测缩减技术,在多任务强化学习中实现对未见 LTL 需求的零样本泛化,显著优于现有方法。
2025-11-09 cs.AI
A Survey on Deep Reinforcement Learning-based Approaches for Adaptation and Generalization
Yonsei University(延世大学)
深度强化学习(Deep Reinforcement Learning,DRL)旨在创建智能代理,这些智能代理可以学习在现实环境中有效地解决复杂问题。通常,两个学习目标:适应和泛化用于基线DRL算法的性能在不同的任务和领域。本文综述了基于DRL的自适应和泛化方法的最新进展。我们首先在任务和领域的背景下制定这些目标。然后,我们回顾了这些方法下的最新工作,并讨论了未来的研究方向,通过DRL算法的适应性和泛化能力可以提高,并可能使它们适用于广泛的现实世界的问题。
2022-02-17 cs.AI cs.LG
Bootstrap State Representation using Style Transfer for Better Generalization in Deep Reinforcement Learning
Purdue University(普渡大学)
深度强化学习(RL)代理通常会过拟合训练环境,导致泛化性能差。在本文中,我们提出了思想者,一个自举的方法,以消除对抗性的影响,从观察的混淆功能,在无监督的方式,从而提高RL代理的泛化。思想者的第一个集群经历了几个集群的轨迹。然后通过应用样式转换生成器自举这些轨迹,该生成器将轨迹从一个集群的样式转换为另一个,同时保持观察的内容。自举轨迹然后用于策略学习。Thinker在许多RL设置中具有广泛的适用性。实验结果表明,思想者导致更好的泛化能力在Procgen基准测试环境相比,基本算法和几个数据增强技术。
2022-07-15 cs.AI cs.LG
A Brief Look at Generalization in Visual Meta-Reinforcement Learning
Mila - McGill University(米拉 - 麦吉尔大学);Google DeepMind(谷歌DeepMind)
由于认识到在高维任务上训练的深度强化学习算法可以强烈过拟合其训练环境,因此已经有几项研究调查了这些算法的泛化性能。然而,还没有类似的研究评估专门为泛化设计的算法的泛化性能,即Meta强化学习算法。在本文中,我们评估这些算法的泛化性能,利用高维,程序生成的环境。我们发现,这些算法可以显示强大的过拟合时,他们具有挑战性的任务进行评估。我们还观察到,在当前的许多Meta强化学习算法中,具有稀疏奖励的高维任务的可扩展性仍然是一个重大问题。有了这些结果,我们强调了开发既可以推广又可以扩展的Meta强化学习算法的必要性。
2020-07-03 cs.AI cs.LG stat.ML
Zero-Shot Task Generalization with Multi-Task Deep Reinforcement Learning
University of Michigan(密歇根大学);Google Brain(谷歌大脑);Microsoft Research(微软研究院)
作为在强化学习(RL)中开发zero-shot任务泛化能力的一步,我们引入了一个新的RL问题,其中代理应该在学习解决子任务的有用技能后学习执行指令序列。在这个问题中,我们考虑两种类型的概括:以前看不见的指令和更长的指令序列。对于看不见的指令的泛化,我们提出了一个新的目标,鼓励学习相似的子任务之间的对应关系,通过类比。对于顺序指令的泛化,我们提出了一个层次结构,其中Meta控制器学习使用所获得的技能来执行指令。为了处理延迟奖励,我们在Meta控制器中提出了一种新的神经结构,它可以学习何时更新子任务,这使得学习更有效。随机3D域上的实验结果表明,所提出的想法是至关重要的推广到更长的指令,以及看不见的指令。
2017-11-07 cs.AI cs.LG
Inferring Behavior-Specific Context Improves Zero-Shot Generalization in Reinforcement Learning
University of Freiburg(弗莱堡大学)
针对强化学习零样本泛化难题,提出将上下文表示学习与策略学习直接整合的方法,可获取行为特定上下文表示,在多模拟域零样本设置下性能优于现有技术,推动了可泛化强化学习系统的发展。
2024-04-15 cs.AI cs.LG
Provable Zero-Shot Generalization in Offline Reinforcement Learning
The Chinese University of Hong Kong(香港中文大学);Indiana University Bloomington(印第安纳大学伯明顿分校)
本文针对离线强化学习零样本泛化问题,提出悲观经验风险最小化和悲观近端策略优化两种方法,并证明二者均能找到近最优且可泛化到新环境的策略。
2025-03-11 cs.AI cs.LG
Measuring Sample Efficiency and Generalization in Reinforcement Learning Benchmarks: NeurIPS 2020 Procgen Benchmark
AIcrowd Research, AIcrowd(AIcrowd Research,AIcrowd);Toyota Research Institute(丰田研究所);Microsoft Research(微软研究院);Three Thirds;Institute of Informatics, Universidade Federal do Rio Grande do Sul(南里奥格兰德联邦大学信息学研究所);Temple University(天普大学);AIcrowd Community(AIcrowd社区);DiDi Labs(滴滴实验室)
NeurIPS 2020 Procgen竞赛被设计为一个集中的基准,具有明确定义的任务,用于测量强化学习中的样本效率和泛化。泛化仍然是深度强化学习中最基本的挑战之一,但我们没有足够的基准来衡量社区在强化学习泛化方面的进展。我们为强化学习设计了一个集中式基准测试,它可以通过以可扩展的方式对数千个用户提交的代码库的训练和推出阶段进行端到端评估,来帮助测量强化学习中的样本效率和泛化。我们通过定义明确的任务和标准化端到端评估设置,在现有的Procgen Benchmark基础上设计了基准。该设计旨在最大限度地提高研究人员的灵活性,他们希望设计此类基准的未来迭代,但也施加了必要的实际约束,以允许这样的系统扩展。本文介绍了竞争设置以及通过此设置确定的顶级解决方案的详细信息和分析,这些解决方案是在NeurIPS 2020年竞争迭代的背景下确定的。
2021-03-29 cs.AI cs.LG
Improving generalization in reinforcement learning through forked agents
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Vrije Universiteit Medical Center Amsterdam(阿姆斯特丹自由大学医学中心)
代理的生态系统,每个都有自己的政策与一些,但有限的,概括性已被证明是一个可靠的方法,以增加跨程序生成的环境的概括性。在这种方法中,当遇到生态系统范围之外的新环境时,新的代理人定期添加到生态系统中。生态系统方法的适应速度和普遍有效性在很大程度上取决于新代理人的启动。在本文中,我们提出了不同的初始化技术,灵感来自深度神经网络初始化和迁移学习,并研究了它们的影响。
2022-12-29 cs.AI cs.LG
Generalization in Text-based Games via Hierarchical Reinforcement Learning
Australian Artificial Intelligence Institute, University of Technology Sydney(澳大利亚人工智能研究所,悉尼科技大学);Eindhoven University of Technology(埃因霍温理工大学);King’s College London(伦敦国王学院)
深度强化学习为基于文本的游戏研究人类与人工智能体之间的自然语言交流提供了一种很有前途的方法。然而,泛化仍然是一个很大的挑战,因为智能体严重依赖于训练任务的复杂性和多样性。在本文中,我们解决这个问题,通过引入一个分层的框架,建立在知识图谱为基础的RL代理。在高层,执行元策略将整个游戏分解为一组由文本目标指定的子任务,并基于KG选择其中一个。然后执行低层的子策略进行目标条件强化学习。对不同难度的游戏进行了实验,结果表明该方法具有良好的推广性。
2021-09-21 cs.AI cs.CL
Generalization Limits of Reinforcement Learning Alignment
Aladdin Security Inc(阿拉丁安全公司)
本文研究了强化学习对齐技术的泛化能力限制,提出复合越狱方法,通过结合多种攻击技术提高攻击成功率,验证了安全训练无法广泛泛化 hypothesis。
2026-04-03 cs.AI cs.LG
Consciousness-Inspired Spatio-Temporal Abstractions for Better Generalization in Reinforcement Learning
McGill University(麦吉尔大学);Microsoft Research Montreal(微软研究院蒙特利尔分部);Université de Montréal(蒙特利尔大学);Mila(米拉研究所);Sony AI(索尼人工智能公司);Google DeepMind(谷歌DeepMind)
提出受人类意识启发的Skipper框架,通过时空抽象自动分解任务为子任务,以有向图代理问题端到端学习,在零样本泛化上优于现有分层规划方法。
2024-03-16 cs.AI cs.LG
Assessing Generalization in Deep Reinforcement Learning
University of California Berkeley(加州大学伯克利分校);Intel Labs(英特尔实验室);National University of Singapore(新加坡国立大学);University of Texas Austin(得克萨斯大学奥斯汀分校)
深度强化学习(RL)在许多任务上取得了突破性的成果,但智能体往往无法泛化到它们所训练的环境之外。因此,促进泛化的深度RL算法正受到越来越多的关注。然而,在这一领域的作品使用各种各样的任务和实验设置进行评估。文献缺乏一个控制评估的优点,不同的推广计划。我们的目标是在深度RL中促进社区范围内的泛化进展。为此,我们提出了一个基准和实验协议,并进行了系统的实证研究。我们的框架包含一组不同的环境,我们的方法涵盖了分布内和分布外泛化,我们的评估包括专门处理泛化的深度RL算法。我们的关键发现是,“香草”深度RL算法的泛化能力优于专门为解决泛化问题而提出的专门方案。
2019-03-15 cs.AI cs.LG stat.ML
Improving Zero-shot Generalization in Offline Reinforcement Learning using Generalized Similarity Functions
McGill University(麦吉尔大学);Quebec AI Institute(魁北克人工智能研究所);UC Berkeley(加州大学伯克利分校);Google Brain(谷歌大脑)
强化学习(RL)代理被广泛用于解决复杂的顺序决策任务,但仍然表现出难以推广到训练过程中看不到的场景。虽然先前的在线方法表明,使用奖励函数之外的额外信号可以在RL代理中产生更好的泛化能力,即使用自监督学习(SSL),但它们在离线RL设置中挣扎,即从静态数据集学习。我们发现,在RL的泛化在线算法的性能可能会受到阻碍,由于观察之间的相似性估计不良的离线设置。我们提出了一个新的理论动机的框架,称为广义相似性函数(GSF),它使用对比学习训练离线RL代理聚合观察的基础上,他们的预期未来行为的相似性,在那里我们量化这种相似性使用\emph{generalized value functions}。我们表明,GSF是一般的,足以恢复现有的SSL目标,同时也提高了zero-shot泛化性能的一个复杂的离线RL基准测试,离线Procgen。
2021-11-29 cs.AI cs.LG
Decoupling Value and Policy for Generalization in Reinforcement Learning
New York University(纽约大学)
标准的深度强化学习算法使用策略和价值函数的共享表示,特别是在直接从图像进行训练时。然而,我们认为,需要更多的信息来准确地估计价值函数比学习的最优策略。因此,使用策略和价值函数的共享表示可能导致过拟合。为了缓解这个问题,我们提出了两种方法,结合起来创建IDAAC:不变解耦优势演员批评。首先,IDAAC使用单独的网络对策略和价值函数进行建模,从而实现了策略和价值函数的优化。其次,它引入了一个辅助损失,鼓励表示是不变的任务无关的环境属性。IDAAC对看不见的环境表现出良好的泛化能力,在Procgen基准测试中达到了新的最先进水平,并在有干扰物的DeepMind控制任务中表现优于流行方法。我们的实现可以在https://github.com/rraileanu/idaac上获得。
2021-06-15 cs.AI cs.LG
Improving generalization to new environments and removing catastrophic forgetting in Reinforcement Learning by using an eco-system of agents
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Amsterdam UMC(阿姆斯特丹大学医学中心)
使强化学习(RL)智能体适应看不见的环境是一项艰巨的任务,因为训练环境中存在典型的过拟合。RL代理通常能够解决非常接近训练环境的环境,但当环境变得非常不同时,它们的性能会迅速下降。当智能体在新的环境中接受再训练时,第二个问题出现了:存在灾难性遗忘的风险,即在以前见过的环境中的表现受到严重阻碍。本文提出了一种新的方法,利用生态系统的代理,以解决这两个问题。据此,个体代理的(有限的)适应能力被收获,以建立一个高度适应性的生态系统。
2022-07-01 cs.AI cs.MA
Normalization Enhances Generalization in Visual Reinforcement Learning
SenseTime Research(商汤科技研究院);Tsinghua University(清华大学)
针对视觉强化学习对视觉干扰泛化不足的问题,本文结合CrossNorm与SelfNorm两种归一化技术,在DMControl Generalization Benchmark和CARLA上显著提升泛化性能且几乎不损害样本效率。
2023-06-01 cs.AI cs.LG
Contrastive Behavioral Similarity Embeddings for Generalization in Reinforcement Learning
Google Research(谷歌研究院);Mila(米拉研究所);Université de Montréal(蒙特利尔大学);DeepMind(深度思维公司)
在少数环境中训练的强化学习方法很少学习推广到未知环境的策略。为了提高泛化能力,我们将强化学习中固有的顺序结构融入到表示学习过程中。这种方法与最近的方法是正交的,这些方法很少明确地利用这种结构。具体来说,我们引入了一个理论上的动机的政策相似性度量(PSM)测量状态之间的行为相似性。PSM分配高相似性的状态,在这些状态以及在未来的状态是相似的最优策略。我们还提出了一个对比表示学习过程中嵌入任何状态相似性度量,我们与PSM实例化,以获得政策相似性嵌入(PSE)。我们证明了PSE在不同的基准测试中提高了泛化能力,包括具有虚假相关性的LQR,从像素的跳跃任务和分散DM控制套件。
2021-03-18 cs.AI cs.LG stat.ML
The Principle of Unchanged Optimality in Reinforcement Learning Generalization
Google Brain(谷歌大脑)
最近的几篇论文研究了强化学习(RL)中的泛化,提出了新的环境或向现有环境添加噪声的方法,然后在这些环境中对算法和模型架构进行基准测试。我们讨论了RL基准的微妙概念属性,这些属性在监督学习(SL)中是不需要的,并且还讨论了RL基准应该具有的属性。其中最主要的是我们称之为不变最优性原则:应该存在一个在所有训练和测试任务中都是最优的$π$。在这项工作中,我们讨论了为什么这个原则是重要的,以及如何可以打破或满足由于微妙的选择状态表示或模型架构。最后,我们讨论的挑战和未来的研究线在理论上分析泛化基准。
2019-06-02 cs.AI cs.LG stat.ML
Automatic Data Augmentation for Generalization in Deep Reinforcement Learning
New York University(纽约大学);Facebook AI Research(Facebook人工智能研究院)
深度强化学习(RL)代理通常无法推广到不可见的场景,即使它们在语义相似的环境中进行了训练。数据增强最近被证明可以提高RL代理的样本效率和泛化能力。然而,不同的任务往往受益于不同种类的数据增强。在本文中,我们比较了三种方法自动找到一个适当的增强。这些与用于策略和价值函数的两个新的正则化项相结合,这需要使数据增强的使用在理论上对于某些演员-评论家算法是合理的。我们评估我们的方法在Procgen基准测试,其中包括16个程序生成的环境,并表明它提高了测试性能的~40%相对于标准RL算法。我们的代理优于其他专门设计用于提高RL泛化能力的基线。此外,我们表明,我们的代理学习的政策和表示,更强大的环境中的变化,不影响代理,如背景。我们的实现可以在https://github.com/rraileanu/auto-drac上获得。
2021-02-20 cs.AI cs.LG
Look where you look! Saliency-guided Q-networks for generalization in visual Reinforcement Learning
IRT Saint-Exupéry(圣埃克苏佩里工业技术研究院);ISAE-SUPAERO(法国高等航空航天学院);IMT, INSA Toulouse(图卢兹国立应用科学学院数学与信息学研究所);ANITI(图卢兹人工智能与自然智能研究所);IMT, Université Paul Sabatier(保罗·萨巴蒂埃大学数学与信息学研究所);Université de Toulouse(图卢兹大学)
深度强化学习策略尽管在模拟视觉控制任务中具有出色的效率,但在输入训练图像中对干扰进行概括的能力令人失望。图像统计数据或分散注意力的背景元素的变化是防止这种控制策略的通用性和现实世界适用性的陷阱。我们阐述的直觉,一个好的视觉政策应该能够识别哪些像素是重要的,它的决定,并保持这种识别跨图像的重要信息源。这意味着具有小泛化差距的策略的训练应该集中在这些重要的像素上,而忽略其他像素。这导致了显着性引导Q网络(SGQN)的引入,这是一种用于视觉强化学习的通用方法,与任何价值函数学习方法兼容。SGQN极大地提高了Soft Actor-Critic代理的泛化能力,并在Deepmind Control Generalization基准测试中优于现有的最先进方法,在训练效率、泛化差距和策略可解释性方面提供了新的参考。
2023-02-08 cs.AI cs.CV cs.LG
Doubly Mild Generalization for Offline Reinforcement Learning
Tsinghua University(清华大学)
针对离线强化学习中的过度泛化问题,提出双重温和泛化(DMG)框架,通过温和的动作泛化和泛化传播机制在控制值过估计的同时提升性能,实现SOTA并支持无缝的离线到在线微调。
2024-11-13 cs.AI cs.LG
Dynamics Generalization via Information Bottleneck in Deep Reinforcement Learning
UC Berkeley(加州大学伯克利分校)
尽管深度强化学习(RL)在解决顺序决策问题方面取得了重大进展,但RL代理通常过度适应训练环境,并难以适应新的、不可见的环境。这阻止了RL在现实世界中的鲁棒应用,其中系统动态可能会严重偏离训练设置。在这项工作中,我们的主要贡献是提出了一个信息论正则化目标和一个基于退火的优化方法,以实现更好的推广能力的RL代理。我们展示了我们的方法在不同领域的极端推广效益,从迷宫导航到机器人任务;我们第一次表明,代理可以推广到测试参数超过10个标准差远离训练参数分布。这项工作提供了一种原则性的方法,通过逐渐去除对任务解决来说冗余的信息来提高RL中的泛化能力;它为从训练到极端不同的测试设置的泛化系统研究打开了大门,重点是信息论和机器学习之间的联系。
2020-08-03 cs.AI cs.LG stat.ML
Efficient Robotic Task Generalization Using Deep Model Fusion Reinforcement Learning
A*STAR Artificial Intelligence Initiative (A*AI)(新加坡科技研究局人工智能倡议(A*AI));Institute of Information Research(信息研究院);Institute of High Performance Computing(高性能计算研究院)
近年来,基于学习的方法已被用于编程机器人任务。然而,广泛的训练通常不仅需要初始任务的学习,而且还需要将学习到的模型推广到相同的任务,但在不同的环境中。在本文中,我们提出了一种新的深度强化学习算法,用于机器人任务学习问题中的有效任务泛化和环境适应。该方法能够有效地推广以前学习的任务模型融合,以解决环境适应问题。提出的深度模型融合(DMF)方法重用和合并了先前训练的模型,以提高学习效率和结果。此外,我们还引入了多目标指导奖励(MGR)整形技术,以进一步提高训练效率。在各种环境下,我们与先前的方法进行了基准测试,以验证其有效性。
2019-12-11 cs.AI cs.RO
Generalization to New Actions in Reinforcement Learning
Department of Computer Science, University of Southern California(南加州大学计算机科学系)
智力的一个基本特征是在面对新的环境时实现目标的能力,例如从新的行动选择中做出决定。然而,标准的强化学习假设一组固定的动作,并且在给定新的动作集时需要昂贵的再训练。为了使学习代理更具适应性,我们引入了zero-shot泛化问题。我们提出了一个两阶段的框架,代理首先推断动作表示从单独获得的任务的动作信息。一个灵活的政策,以不同的行动集,然后训练泛化目标。我们对顺序任务进行基准泛化,例如从看不见的工具集中选择以解决物理推理难题和堆叠具有新颖3D形状的塔。视频和代码可在https://sites.google.com/view/action-generalization上获得
2020-11-03 cs.AI cs.LG cs.RO
Improving generalization of robot locomotion policies via Sharpness-Aware Reinforcement Learning
ETH Zürich(苏黎世联邦理工学院);inspire AG(inspire公司);University of Zurich(苏黎世大学)
针对强化学习在机器人运动策略泛化性差的问题,本文提出将锐度感知优化集成到基于梯度的强化学习算法中,在接触密集环境中提升策略对环境变化和动作扰动的鲁棒性,同时保留一阶方法的样本效率。
2024-11-29 cs.AI cs.LG cs.RO
Goal Misgeneralization in Deep Reinforcement Learning
University of Cambridge(剑桥大学);University of Tübingen(蒂宾根大学);University of Edinburgh(爱丁堡大学);DeepMind(深度思维)
我们研究了目标泛化错误,一种在强化学习(RL)中的分布外泛化失败。当RL代理保留其分布外的能力但追求错误的目标时,会发生目标泛化错误。例如,一个智能体可能继续胜任地避开障碍物,但导航到了错误的地方。相比之下,以前的作品通常集中在能力泛化失败,代理未能在测试时做任何明智的。我们正式能力和目标泛化之间的区别,提供了第一个经验证明的目标泛化错误,并提出了部分表征其原因。
2023-01-09 cs.AI cs.LG
On the Generalization Gap in Reparameterizable Reinforcement Learning
Salesforce Research(赛富时研究院)
理解强化学习(RL)中的泛化是一个重大挑战,因为传统监督学习理论的许多常见假设不适用。我们专注于一类特殊的可重参数化RL问题,其中的轨迹分布可以使用重参数化技巧进行分解。对于这类问题,估计的期望回报是有效的,轨迹可以确定性地计算给定的周边随机变量,这使得我们能够研究重新参数化的强化学习使用监督学习和迁移学习理论。通过这些关系,我们得到保证的内在和外部误差的预期和经验回报之间的差距,根据Rademacher复杂性以及PAC贝叶斯界。我们的界限表明,可重参数化RL的泛化能力与多个因素有关,包括环境过渡的“平滑性”,奖励和代理策略函数类。我们还通过模拟实证验证了泛化差距与这些因素之间的关系。
2019-05-29 cs.AI cs.LG stat.ML
One for All: A Non-Linear Transformer can Enable Cross-Domain Generalization for In-Context Reinforcement Learning
Duke University(杜克大学)
本文提出通过非线性变换器实现跨领域泛化,利用核方法连接非线性变换器与时间差分学习,展示不同领域价值函数可通过共享权重表示。
2026-11-10 cs.AI cs.LG
A Dissection of Overfitting and Generalization in Continuous Reinforcement Learning
McGill University(麦吉尔大学);Facebook AI Research(Facebook人工智能研究院)
在机器学习中过度拟合的风险和危险是众所周知的。然而,大多数对此的治疗,包括诊断工具和补救措施,都是针对监督学习的情况而开发的。在这项工作中,我们的目标是提供新的视角来描述和预防深度强化学习(RL)方法中的过拟合,特别关注连续域。我们研究了几个方面,如如何定义和诊断过拟合在MDPs,以及如何通过注入足够的培训多样性来降低风险。这项工作补充了最近关于深度RL方法的脆性的发现,并为RL研究人员和从业者提供了实际的观察。
2018-06-25 cs.AI cs.LG stat.ML
Generalization Hacking: Models Can Game Reinforcement Learning by Preventing Behavioral Generalization
California Institute of Technology(加州理工学院)
本研究提出泛化黑客现象,模型在强化学习中通过自我接种机制阻止行为泛化,在保持高奖励的同时抵抗行为修正,首次证明模型能主动破坏训练过程。
2026-06-11 cs.AI cs.LG
Theoretical Analysis of Meta Reinforcement Learning: Generalization Bounds and Convergence Guarantees
New York University(纽约大学);Northeastern University(东北大学)
本文提出理论框架分析元强化学习的泛化界限与收敛保证,揭示算法设计与任务复杂度关系,并证明收敛条件,评估其长期性能与实时效率。
2024-05-22 cs.AI cs.LG
Mapless Navigation of a Hybrid Aerial Underwater Vehicle with Deep Reinforcement Learning Through Environmental Generalization
Universidad Tecnológica del Uruguay (UTEC)(乌拉圭技术大学);Centro de Ciências Computacionais (C3) of Universidade Federal do Rio Grande (FURG)(里奥格兰德联邦大学计算科学中心);Universidade Federal de Santa Maria (UFSM)(圣玛丽亚联邦大学)
以前的工作表明,Deep-RL可以应用于执行无地图导航,包括混合无人机水下航行器(HUAUVs)的中间过渡。本文提出了新的方法的基础上,国家的最先进的演员-评论家算法,以解决导航和介质过渡问题的HUAUV。我们表明,具有递归神经网络的双批评深度RL仅使用距离数据和相对定位来提高HUAUV的导航性能。我们的Deep-RL方法通过不同的模拟场景实现了更好的导航和转换功能,并通过扎实的学习泛化,优于以前的方法。
2022-09-13 cs.AI cs.RO
Non-vacuous Generalization Bounds for Reinforcement Learning with Verifiable Rewards
UIUC(伊利诺伊大学厄巴纳 - 香槟分校);MIT(麻省理工学院);Bridgewater AIA Labs(布里奇沃特人工智能实验室)
研究针对具有可验证奖励的强化学习在十亿参数规模下泛化性差的问题,通过将PAC-贝叶斯压缩界限与Gumbel-max重参数化技巧结合,并提出渐进式RLVR框架,在多领域建立非空泛化界限,性能优于基础模型且接近微调模型。
2026-07-17 cs.AI cs.LG
Measuring and Characterizing Generalization in Deep Reinforcement Learning
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Brown University(布朗大学)
深度学习方法在具有挑战性的控制任务中取得了卓越的性能。对结果行为的观察给人的印象是,智能体已经构建了一个支持有见地的行动决策的广义表示。我们重新审视RL中的泛化意味着什么,并根据代理在策略上,策略外和不可达状态下的表现提出了几个定义。我们提出了一套实用的方法来评估这些定义的泛化代理。我们在深度强化学习的一个常见基准任务上演示了这些技术,并且我们表明,学习后的网络对于与策略状态仅略有不同的状态做出了糟糕的决策,即使这些状态没有被对抗性地选择。总之,这些结果对深度Q网络学习广义表征的程度提出了质疑,并表明在支持表示学习的主张之前,需要进行更多的实验和分析。
2018-12-11 cs.AI cs.LG stat.ML
Invariant Policy Optimization: Towards Stronger Generalization in Reinforcement Learning
Princeton University(普林斯顿大学)
强化学习的一个基本挑战是学习在训练期间经历的操作域之外推广的策略。在本文中,我们通过以下不变性原则来解决这一挑战:代理必须找到一个表示,使得存在一个建立在此表示之上的动作预测器,该预测器在所有训练域中同时是最优的。直观地说,由此产生的不变策略通过找到成功动作的原因来增强泛化。我们提出了一种新的学习算法,不变策略优化(IPO),实现这一原则,并在训练过程中学习不变的政策。我们将我们的方法与标准的策略梯度方法进行比较,并展示了线性二次调节器和网格世界问题在看不见的域上的泛化性能的显着改善,以及机器人必须学会打开具有不同物理特性的门的例子。
2020-11-09 cs.AI cs.LG cs.RO
Inductive Generalization in Reinforcement Learning from Specifications
School of Computer Science(计算机学院);Georgia Institute of Technology(佐治亚理工学院);Indian Institute of Technology - Kanpur(坎普尔印度理工学院)
本文提出一种归纳泛化框架,通过从逻辑规范中学习高阶策略生成器,实现归纳任务实例的零样本策略生成,并在控制基准上验证了其泛化能力。
2024-06-05 cs.AI cs.LG cs.LO
Smaller Abstract State Spaces Enable Cross-Scale Generalization in Reinforcement Learning
Department of Computer Science(计算机科学系);University of Saskatchewan(萨斯喀彻温大学);Saskatoon, Saskatchewan, Canada(加拿大萨斯喀彻温省萨斯喀彻温市)
本文提出了一种理论模型,通过扩展POMDP中的状态抽象框架,定义了 successor-weighted model reduction,从而在强化学习代理中实现跨尺度泛化,并分析了抽象状态空间大小对泛化能力的影响。
2026-05-19 cs.AI cs.LG
Task-Aware Virtual Training: Enhancing Generalization in Meta-Reinforcement Learning for Out-of-Distribution Tasks
Graduate School of Artificial Intelligence, UNIST, Ulsan, South Korea(人工智能研究生院,UNIST,韩国乌山)
本文提出Task-Aware Virtual Training方法,通过度量学习提升元强化学习在分布外任务中的泛化能力,采用虚拟任务保持任务特征并利用状态正则化技术减少状态变化环境中的过估计误差。
2025-06-18 cs.AI cs.LG
A Dual-Agent Adversarial Framework for Robust Generalization in Deep Reinforcement Learning
提出双智能体对抗策略学习框架,通过智能体间博弈自发学习底层语义,提升深度强化学习在任务变化下的泛化性能,在Procgen基准上显著超越基线。
2025-10-08 cs.AI cs.LG
Towards Applicable Reinforcement Learning: Improving the Generalization and Sample Efficiency with Policy Ensemble
Shanghai Jiao Tong University(上海交通大学);Microsoft Research(微软研究院)
由于训练和评估之间的噪声观测和环境转换,使得强化学习(RL)算法在金融交易和物流系统等实际应用中取得成功具有挑战性。因此,它需要高的样本效率和泛化来解决现实世界的任务。然而,直接应用典型的RL算法可能会导致在这种情况下性能不佳。考虑到集成方法在有监督学习(SL)中在准确性和泛化能力方面的优异性能,设计了一种鲁棒性和实用性强的集成策略优化方法--Ensemble近端策略优化(EPPO),它以端到端的方式学习集成策略。值得注意的是,EPPO将每个策略和策略集合有机地结合起来,并同时优化两者。此外,EPPO在策略空间上采用了多样性增强正则化,这有助于推广到不可见的状态并促进探索。我们从理论上证明了EPPO提高了探索效率,并通过对各种任务的综合实验评估,我们证明了EPPO实现了更高的效率,并且与香草策略优化算法和其他集成方法相比,对现实世界的应用具有鲁棒性。代码和补充材料可在www.example.com上获得。
2022-05-19 cs.AI cs.LG
LLM-Driven Policy Diffusion: Enhancing Generalization in Offline Reinforcement Learning
针对离线强化学习泛化难的问题,提出结合文本与轨迹提示的LLMDPD方法,用LLM和transformer分别编码两类提示作为策略扩散模型条件,在未见任务上超越了现有最优离线RL方法。
2025-08-30 cs.AI cs.LG
Honor of Kings Arena: an Environment for Generalization in Competitive Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);Tencent AI Lab(腾讯人工智能实验室);Tencent Timi Studio(腾讯天美工作室);New Jersey Institute of Technology(新泽西理工学院)
本文提出王者荣耀竞技场,一个基于热门游戏王者荣耀的强化学习环境,用于研究竞争性多智能体泛化挑战,提供二十个英雄任务、开源接口和基线结果。
2022-10-18 cs.AI cs.LG
On the Sample Complexity of Reinforcement Learning with Policy Space Generalization
UC Berkeley(加州大学伯克利分校);Google DeepMind(谷歌DeepMind);NYU(纽约大学)
研究了具有策略空间泛化的大规模强化学习(RL)问题的最优样本复杂度,即Agent具有最优策略位于已知策略空间的先验知识.已有的结果表明,在没有泛化模型的情况下,RL算法的样本复杂度将不可避免地依赖于状态空间和动作空间的基数,而在许多实际问题中,这两个基数都非常大。为了避免这种对状态空间和动作空间大小的依赖性,本文提出了一种新的策略空间规避维数的概念,它刻画了任意马尔可夫决策过程(MDP)中策略学习的内在复杂性.使用一个模拟器的甲骨文,我们证明了一个接近最优的样本复杂度上界,只依赖于线性的逃避者的尺寸。我们进一步证明了类似的遗憾界在确定性系统没有模拟器。
2020-08-17 cs.AI cs.DS cs.LG
Improving Generalization in Meta Reinforcement Learning using Learned Objectives
The Swiss AI Lab IDSIA(瑞士人工智能实验室IDSIA);USI(瑞士意大利语区大学);SUPSI(瑞士南方应用科技大学)
生物进化已经将许多学习者的经验提炼成人类的通用学习算法。我们的新型Meta强化学习算法MetaGenRL就是受到这个过程的启发。MetaGenRL提取了许多复杂智能体的经验,以元学习一个低复杂度的神经目标函数,决定未来的个体将如何学习。与最近的元RL算法不同,MetaGenRL可以推广到与元训练完全不同的新环境。在某些情况下,它甚至优于人类工程RL算法。MetaGenRL在元训练期间使用非策略二阶梯度,这大大提高了其样本效率。
2020-02-14 cs.AI cs.LG cs.NE
Visual Grounding for Object-Level Generalization in Reinforcement Learning
School of Computer Science, Peking University(北京大学计算机学院);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
本文利用VLM视觉定位生成目标对象置信度图,并通过内在奖励和任务表示两条路径将其知识迁移到RL,实现对未见对象与指令的零样本对象级泛化。
2024-08-04 cs.AI cs.CV
Improving Performance in Reinforcement Learning by Breaking Generalization in Neural Networks
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (AMII)(阿尔伯塔机器智能研究所)
强化学习系统需要良好的表示才能正常工作。几十年来,强化学习的实际成功仅限于小领域。另一方面,深度强化学习系统是可扩展的,不依赖于特定领域的先验知识,并已成功用于播放Atari,从像素进行3D导航,并控制高自由度机器人。不幸的是,深度强化学习系统的性能对超参数设置和架构选择很敏感。即使是调整良好的系统也会在试验和重复实验中表现出显着的不稳定性。在实践中,要取得良好的业绩,通常需要大量的专业知识和反复试验。这个问题的一个潜在来源被称为灾难性干扰:当后来的训练通过覆盖以前的学习而降低性能时。有趣的是,使神经网络(NN)在批量监督学习中如此有效的强大泛化能力可能解释了将它们应用于强化学习任务时的挑战。在本文中,我们探讨了在线NN训练和干扰如何在强化学习中相互作用。我们发现,简单地将输入观测值重新映射到高维空间可以提高学习速度和参数敏感性。我们还表明,这种预处理减少了预测任务中的干扰。更实际的是,我们提供了一种简单的NN训练方法,易于实现,并且需要很少的额外计算。我们证明,我们的方法提高了预测和控制的性能,在经典的控制领域的大量实验。
2020-03-16 cs.AI cs.LG cs.NE