On the Sample Complexity of Reinforcement Learning with Policy Space Generalization
UC Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）；NYU（纽约大学）
研究了具有策略空间泛化的大规模强化学习（RL）问题的最优样本复杂度，即Agent具有最优策略位于已知策略空间的先验知识.已有的结果表明，在没有泛化模型的情况下，RL算法的样本复杂度将不可避免地依赖于状态空间和动作空间的基数，而在许多实际问题中，这两个基数都非常大。为了避免这种对状态空间和动作空间大小的依赖性，本文提出了一种新的策略空间规避维数的概念，它刻画了任意马尔可夫决策过程（MDP）中策略学习的内在复杂性.使用一个模拟器的甲骨文，我们证明了一个接近最优的样本复杂度上界，只依赖于线性的逃避者的尺寸。我们进一步证明了类似的遗憾界在确定性系统没有模拟器。
2020-08-17 cs.AI cs.DS cs.LG
Decoupling Value and Policy for Generalization in Reinforcement Learning
New York University（纽约大学）
标准的深度强化学习算法使用策略和价值函数的共享表示，特别是在直接从图像进行训练时。然而，我们认为，需要更多的信息来准确地估计价值函数比学习的最优策略。因此，使用策略和价值函数的共享表示可能导致过拟合。为了缓解这个问题，我们提出了两种方法，结合起来创建IDAAC：不变解耦优势演员批评。首先，IDAAC使用单独的网络对策略和价值函数进行建模，从而实现了策略和价值函数的优化。其次，它引入了一个辅助损失，鼓励表示是不变的任务无关的环境属性。IDAAC对看不见的环境表现出良好的泛化能力，在Procgen基准测试中达到了新的最先进水平，并在有干扰物的DeepMind控制任务中表现优于流行方法。我们的实现可以在https://github.com/rraileanu/idaac上获得。
2021-06-15 cs.AI cs.LG
Horizon Generalization in Reinforcement Learning
UC Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）
本文研究强化学习中的视野泛化问题，提出目标导向策略应通过规划不变性实现从近目标到远目标的泛化，并从理论和实验上证明了其可行性。
2025-01-06 cs.AI cs.LG
Towards Applicable Reinforcement Learning: Improving the Generalization and Sample Efficiency with Policy Ensemble
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research（微软研究院）
由于训练和评估之间的噪声观测和环境转换，使得强化学习（RL）算法在金融交易和物流系统等实际应用中取得成功具有挑战性。因此，它需要高的样本效率和泛化来解决现实世界的任务。然而，直接应用典型的RL算法可能会导致在这种情况下性能不佳。考虑到集成方法在有监督学习（SL）中在准确性和泛化能力方面的优异性能，设计了一种鲁棒性和实用性强的集成策略优化方法--Ensemble近端策略优化（EPPO），它以端到端的方式学习集成策略。值得注意的是，EPPO将每个策略和策略集合有机地结合起来，并同时优化两者。此外，EPPO在策略空间上采用了多样性增强正则化，这有助于推广到不可见的状态并促进探索。我们从理论上证明了EPPO提高了探索效率，并通过对各种任务的综合实验评估，我们证明了EPPO实现了更高的效率，并且与香草策略优化算法和其他集成方法相比，对现实世界的应用具有鲁棒性。代码和补充材料可在www.example.com上获得。
2022-05-19 cs.AI cs.LG
MANGA: Method Agnostic Neural-policy Generalization and Adaptation
Preferred Networks, Inc.（优选网络公司）；University of Toronto（多伦多大学）
在本文中，我们的目标是在不同的动态参数和电机噪声变化的多个环境中传输策略的问题，通过引入一个框架，该框架将策略学习和系统辨识的过程。在存在电机噪声的情况下，将学习到的策略有效地转移到动态配置发生变化的未知环境中对于在现实世界中操作机器人非常重要，我们的工作是在这个方向上的一个新尝试。我们介绍MANGA：方法不可知神经策略泛化和自适应，训练动态条件策略，并有效地学习估计环境中给定的非策略状态转换推出的环境的动态参数。我们的方案与所使用的训练方法的类型无关-可以使用强化学习（RL）和模仿学习（IL）策略。我们证明了我们的方法的有效性，通过实验与四个不同的MuJoCo代理商和以前提出的传输基线进行比较。
2019-11-19 cs.AI cs.LG cs.RO
Improving Generalization in Mountain Car Through the Partitioned Parameterized Policy Approach via Quasi-Stochastic Gradient Descent
University of Florida（佛罗里达大学）
强化学习的问题，找到一个控制策略，最大限度地减少了最小的时间目标的山地车环境。特别地，对一类参数化非线性反馈策略进行了优化，使其在最短时间内到达最高峰的顶点。采用准随机梯度下降（qSGD）方法进行优化。在试图找到最佳的最小时间的政策，一个新的参数化的政策方法被认为是寻求学习的状态空间的不同区域的最佳政策参数，而不是依赖于一个单一的宏观政策参数的整个状态空间。这种分区的参数化政策的方法被证明优于统一的参数化政策的方法，并导致更大的推广比以前的方法，其中山地车成为被困在状态空间中的圆形轨迹。
2021-05-28 cs.AI cs.LG cs.SY
Investigation on the generalization of the Sampled Policy Gradient algorithm
采样策略梯度（SPG）算法是一种新的离线执行者-评论者变体，它在动作空间中采样以近似策略梯度。它通过使用评论家来评估采样的动作来实现这一点。SPG提供了理论上的承诺，类似的算法，如DPG，因为它搜索的动作Q值空间独立于局部梯度，使其能够避免局部极小值。本文的目的是比较SPG两个类似的演员评论家算法，CACLA和DPG。该比较是在两种不同的环境、两种不同的网络架构以及与使用经验缓冲区相比的关于策略转换的训练中进行的。结果似乎表明，虽然SPG通常不执行最差的，它并不总是匹配的性能最好的算法在特定的任务。进一步的实验需要得到一个更好的估计SPG的质量。
2019-10-09 cs.AI cs.LG
Provable Zero-Shot Generalization in Offline Reinforcement Learning
The Chinese University of Hong Kong（香港中文大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）
本文针对离线强化学习零样本泛化问题，提出悲观经验风险最小化和悲观近端策略优化两种方法，并证明二者均能找到近最优且可泛化到新环境的策略。
2025-03-11 cs.AI cs.LG
Measuring and Characterizing Generalization in Deep Reinforcement Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Brown University（布朗大学）
深度学习方法在具有挑战性的控制任务中取得了卓越的性能。对结果行为的观察给人的印象是，智能体已经构建了一个支持有见地的行动决策的广义表示。我们重新审视RL中的泛化意味着什么，并根据代理在策略上，策略外和不可达状态下的表现提出了几个定义。我们提出了一套实用的方法来评估这些定义的泛化代理。我们在深度强化学习的一个常见基准任务上演示了这些技术，并且我们表明，学习后的网络对于与策略状态仅略有不同的状态做出了糟糕的决策，即使这些状态没有被对抗性地选择。总之，这些结果对深度Q网络学习广义表征的程度提出了质疑，并表明在支持表示学习的主张之前，需要进行更多的实验和分析。
2018-12-11 cs.AI cs.LG stat.ML
Improving Generalization of Reinforcement Learning with Minimax Distributional Soft Actor-Critic
Tsinghua University（清华大学）
强化学习（RL）在许多顺序决策和控制任务中取得了显著的性能。然而，一个常见的问题是，学习的近最优策略总是过拟合的训练环境，并可能无法扩展到从未遇到过的情况在训练过程中。在实际应用中，环境的随机性通常会导致一些破坏性事件，这应该是自动驾驶等安全关键系统的重点。在本文中，我们引入了极大极小公式和分布框架，以提高RL算法的推广能力，并开发了极大极小分布软演员-评论（DSAC）算法。极大极小化模型旨在寻求最优策略，其中主角策略最大化行动价值函数，而对手策略试图最小化它;分布框架旨在学习状态-行动收益分布，从中我们可以明确地建模不同收益的风险，从而制定风险规避的主角策略和风险寻求的对手策略。我们在交叉路口的自动驾驶汽车的决策任务上实现了我们的方法，并在不同的环境中测试了训练后的策略。结果表明，我们的方法可以大大提高的推广能力的主角代理不同的环境变化。
2020-09-30 cs.LG stat.ML
Generalization of Reinforcement Learning with Policy-Aware Adversarial Data Augmentation
Carleton University（卡尔顿大学）
在强化学习（RL）中，泛化鸿沟是阻碍RL智能体学习通用技能和适应变化环境的重要障碍。提高强化学习系统的泛化能力可以显著提高其在现实工作环境中的性能。在这项工作中，我们提出了一种新的策略感知对抗数据增强方法，以增强自动生成的轨迹数据的标准策略学习方法。与常用的基于观测变换的数据增强方法不同，该方法基于策略梯度目标逆向生成新的轨迹数据，旨在通过策略感知的数据增强更有效地提高RL agent的泛化能力.此外，我们还部署了一个混合步骤来整合原始数据和生成的数据，以增强泛化能力，同时减轻对抗数据的过度偏差。我们进行了一些RL任务的实验，通过将其与标准基线和最先进的mixreg方法进行比较来研究所提出的方法的泛化性能。实验结果表明，该方法在训练多样性有限的情况下具有较好的泛化能力，并达到了最先进的泛化测试性能。
2021-12-03 cs.LG
LLM-Driven Policy Diffusion: Enhancing Generalization in Offline Reinforcement Learning
针对离线强化学习泛化难的问题，提出结合文本与轨迹提示的LLMDPD方法，用LLM和transformer分别编码两类提示作为策略扩散模型条件，在未见任务上超越了现有最优离线RL方法。
2025-08-30 cs.AI cs.LG
Going Beyond Heuristics by Imposing Policy Improvement as a Constraint
National Taiwan University（台湾大学）；Massachusetts Institute of Technology（麻省理工学院）
针对启发式奖励在强化学习中难以平衡的问题，提出HEPO框架，将策略改进作为约束，有效利用启发式并缓解奖励黑客，在标准基准上表现优越，且能减少人工设计奖励的负担。
2025-07-07 cs.AI cs.LG
Adversarial Augmentation Policy Search for Domain and Cross-Lingual Generalization in Reading Comprehension
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
阅读理解模型通常过度拟合训练数据集的细微差别，并且在对抗性评估中失败。使用对抗性增强的数据集进行训练可以提高对这些对抗攻击的鲁棒性，但会损害模型的泛化。在这项工作中，我们提出了几个有效的对手和自动化的数据增强策略搜索方法，其目标是使阅读理解模型对对抗性评估更加鲁棒，同时也提高了对源域以及新领域和语言的泛化能力。我们首先提出了三种新的方法来生成QA对手，在上下文中引入多个混淆点，依赖于干扰物的插入位置，并揭示了混合对抗策略与句法和语义释义方法的复合效果。接下来，我们发现用均匀采样的对手来增强训练数据集可以提高对对抗攻击的鲁棒性，但会导致原始未增强数据集的性能下降。我们解决这个问题，通过RL和更有效的贝叶斯策略搜索方法，自动学习的最佳增强策略组合的转换概率为每个对手在一个大的搜索空间。使用这些习得的策略，我们表明对抗性训练可以显着改善域内、域外和跨语言（德语、俄语、土耳其语）的泛化能力。
2020-11-17 cs.AI cs.CL cs.LG
Rethinking Value Function Learning for Generalization in Reinforcement Learning
Seoul National University（首尔国立大学）；Neural Processing Research Center（神经处理研究中心）；DeepMetrics
我们的工作重点是在多个视觉多样的环境中训练RL代理，以提高观察泛化性能。在现有方法中，使用不相交的网络架构分别优化策略和价值网络，以避免干扰并获得更准确的价值函数。我们发现，多环境设置中的价值网络比传统的单环境设置中的优化更具挑战性，并且更容易记住训练数据。此外，我们还发现，对价值网络进行适当的正则化对于提高训练和测试性能都是必要的。为此，我们提出了延迟临界策略梯度（DCPG），这是一种策略梯度算法，它通过使用比策略网络更多的训练数据来优化价值网络，从而隐含地惩罚价值估计。这可以使用单个统一的网络架构来实现。此外，我们还引入了一个简单的自我监督任务，该任务使用单个神经网络来学习环境的正向和反向动态，该神经网络可以与价值网络联合优化。我们提出的算法显着提高观察泛化性能和样本效率的Procgen基准。
2023-01-08 cs.AI cs.LG
Hierarchical Prompt Decision Transformer: Improving Few-Shot Policy Generalization with Global and Adaptive Guidance
University of Virginia（弗吉尼亚大学）；Amazon（亚马逊公司）
针对决策Transformer少样本泛化中静态提示缺乏上下文针对性的问题，提出带检索增强的分层提示方法，通过全局与自适应两层软令牌实现动态引导，在7项基准任务上优于所有基线。
2024-12-13 cs.LG
Out-of-Distribution Generalization with a SPARC: Racing 100 Unseen Vehicles with a Single Policy
针对机器人控制中测试时无显式上下文信息的分布外泛化难题，提出单阶段鲁棒控制适应框架SPARC，在赛车与MuJoCo扰动环境中验证了其可靠的泛化效果。
2025-11-12 cs.AI cs.LG
Learning Invariable Semantical Representation from Language for Extensible Policy Generalization
Tsinghua University（清华大学）；Beijing Innovation Center for Future Chip（北京未来芯片创新中心）；LSBDPA Beijing Key Laboratory（北京市LSBDPA重点实验室）；North China University of Technology（北方工业大学）
最近，将自然语言指令纳入强化学习（RL）以学习语义上有意义的表示并促进泛化引起了许多关注。然而，语言指令中的语义信息通常与特定于任务的状态信息纠缠在一起，这阻碍了语义不变和可重用表示的学习。在本文中，我们提出了一种学习这种表示的方法，称为元素随机化，该方法使用一组具有随机元素的环境从指令中提取任务相关但与环境无关的语义，例如，拓扑结构或纹理，但同样的语言指令。我们从理论上证明了通过随机化学习语义不变表示的可行性。在实践中，我们相应地开发了一个层次结构的政策，其中一个高层次的政策的目的是通过提出子目标作为语义不变的表示来调节的行为的目标条件下的低层次的政策。在具有挑战性的长时间任务上的实验表明：（1）我们的低级别策略可靠地概括了环境变化的任务;（2）我们的分层策略在看不见的新任务中表现出可扩展的概括性，这些新任务可以分解为几个可解决的子任务;（3）通过存储和重放语言轨迹作为简洁的策略表示，代理可以一次性完成任务，即，一旦一个成功的轨道已经实现。
2022-01-26 cs.AI cs.CL
Policy Architectures for Compositional Generalization in Control
Stanford University（斯坦福大学）；Meta AI (FAIR)（Meta人工智能（基础人工智能研究院））
控制、机器人和规划中的许多任务可以使用环境中各种实体的期望目标配置来指定。学习目标制约策略是解决此类任务的自然范式。然而，目前的方法很难学习和概括的任务复杂性的增加，如环境实体或目标的组成的数量的变化。在这项工作中，我们引入了一个框架，用于在任务中建模基于实体的组合结构，并创建合适的策略设计，可以利用这种结构。我们的策略利用了Deep Sets和自注意力等架构，非常灵活，可以进行端到端的训练，而不需要任何动作原语。当使用标准强化和模仿学习方法对一套模拟机器人操作任务进行训练时，我们发现这些架构以更少的数据实现了更高的成功率。我们还发现，这些架构可以实现更广泛的组合泛化，产生的策略可以外推到与训练中不同数量的实体，并以新颖的方式将学习到的技能缝合在一起（即组合）。结果的视频可以在https://sites.google.com/view/comp-gen-rl上找到。
2022-03-10 cs.AI cs.LG cs.RO
Bad Habits: Policy Confounding and Out-of-Trajectory Generalization in RL
Phaidra（菲德拉）；Delft University of Technology（代尔夫特理工大学）
本文针对强化学习中智能体因策略收敛形成依赖特定轨迹的虚假关联习惯、偏离轨迹时表现失效的策略混淆问题，给出了该现象的数学刻画并通过示例说明其发生条件。
2024-06-24 cs.LG
Equilibrium Policy Generalization: A Reinforcement Learning Framework for Cross-Graph Zero-Shot Generalization in Pursuit-Evasion Games
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Dalian University of Technology（大连理工大学）；Università della Svizzera italiana（瑞士意大利大学）；Politecnico di Milano（米兰理工学院）
本文提出EPG框架，通过均衡策略训练实现追捕-躲避游戏中跨图零样本泛化的高效解决方案。
2025-12-12 cs.LG
Accelerating Natural Gradient with Higher-Order Invariance
Computer Science Department, Stanford University（斯坦福大学计算机科学系）
自然梯度的一个吸引人的性质是它对模型的任意可微重新参数化是不变的。然而，这种不变性需要无限小的步骤，并失去了在实际的实现小，但有限的步长。本文从黎曼几何和数值微分方程求解的角度研究了不变性。我们定义一个数值方法的不变性阶为它收敛到不变解的阶。我们建议使用高阶积分器和测地线修正，以获得更不变的优化轨迹。我们证明了测地线校正更新的数值收敛性质，并表明它们可以作为平原自然梯度的计算效率。在实验中，我们证明了不变性导致更快的优化，我们的技术改进了深度神经网络训练中的传统自然梯度和强化学习的自然策略梯度。
2018-06-07 cs.LG
Permutation Invariant Policy Optimization for Mean-Field Multi-Agent Reinforcement Learning: A Principled Approach
Georgia Institute of Technology（佐治亚理工学院）；Northwestern University（西北大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
多智能体强化学习（MARL）在存在更多智能体的情况下变得更具挑战性，因为联合状态和动作空间的容量随着智能体的数量呈指数级增长。为了解决这样的规模挑战，我们识别了一类具有排列不变性的协作MARL问题，并将其表示为平均场马尔可夫决策过程（MDP）。为了利用其中的置换不变性，我们提出了平均场近端策略优化（MF-PPO）算法，其核心是一个置换不变的actor-critic神经架构。我们证明了MF-PPO达到全局最优的政策在一个次线性收敛速度。此外，它的样本复杂性是独立的代理的数量。我们验证了MF-PPO的理论优势，在多智能体粒子环境（MPE）的数值实验。特别是，我们证明了由置换不变神经架构引入的归纳偏差使MF-PPO能够以较少的模型参数胜过现有的竞争对手，这是其泛化性能的关键。
2021-05-18 cs.LG cs.MA
Salience-Invariant Consistent Policy Learning for Generalization in Visual Reinforcement Learning
Institute of Automation, CASIA（中国科学院自动化研究所）；Pengcheng Laboratory（鹏城实验室）；School of Artificial Intelligence, UCAS（中国科学院大学人工智能学院）
针对视觉强化学习中的泛化问题，提出显著性不变一致性策略学习（SCPL）算法，通过价值与策略一致性模块及动力学模块捕获任务相关表征，在多个基准上显著提升零样本泛化性能。
2025-02-24 cs.AI
Generalization, Mayhems and Limits in Recurrent Proximal Policy Optimization
TU Dortmund University（多特蒙德工业大学）；Hochschule Rhein-Waal（莱茵-瓦尔应用科学大学）；Universiteit Leiden（莱顿大学）
乍一看，在深度强化学习算法中使用递归层似乎很简单，可以使代理在部分可观察环境的设置中利用内存。从广泛使用的近端策略优化（PPO）开始，我们强调了重要的细节，一个人必须得到正确的添加递归时，以实现正确和有效的实施，即：正确塑造神经网络的前向传递，安排训练数据，相应地选择隐藏状态的序列开始和掩蔽填充损失计算。我们进一步探讨了经常性PPO的局限性，通过基准测试贡献的新环境迫击炮混乱和灼热的聚光灯，挑战代理人的记忆超越了单纯的能力和分心的任务。值得注意的是，当扩展训练种子的数量时，我们可以在Mortar Mayhem中证明向强泛化的过渡，而代理在灼热聚光灯上没有成功，这似乎是基于记忆的代理的一个严峻挑战。
2022-05-23 cs.LG
Federated reinforcement learning for robot motion planning with zero-shot generalization
School of Electrical Engineering；Computer Science, \ Pennsylvania State University, University Park, PA., 16802, USA
提出一种联邦强化学习框架，使多机器人在不共享原始数据的情况下协作学习运动规划策略，并从到达时间、安全性、收敛性和最优性差距等方面提供零样本泛化理论保证。
2024-04-07 cs.AI cs.DC cs.LG
Sharpness-Guided Group Relative Policy Optimization via Probability Shaping
本文提出GRPO-SG，通过降低可能引起过大梯度的token权重，提升RLVR的泛化能力，实验显示在数学推理、逻辑谜题和工具增强问答中表现更优。
2026-05-13 cs.LG
Model-Invariant State Abstractions for Model-Based Reinforcement Learning
University of Alberta（阿尔伯塔大学）；FAIR（脸书人工智能研究院）
动力学模型的准确性和泛化性是基于模型的强化学习（MBRL）成功的关键。随着任务复杂性的增加，学习精确动力学模型的样本效率也会降低。然而，许多复杂的任务在动态中也表现出稀疏性，即，动作对系统动力学仅具有局部影响。在本文中，我们利用这个属性的因果不变性的角度来看，在单任务设置，引入一种新的类型的状态抽象称为\textit{model-invariance}。与先前形式的状态抽象不同，模型不变性状态抽象利用状态变量的因果稀疏性。这允许组合泛化到看不见的状态，这是状态抽象的非因子形式无法做到的。我们证明了一个最佳的政策，可以学习这个模型不变的状态抽象，并显示在一个简单的玩具域改进的泛化。接下来，我们提出了一种实用的方法来近似学习复杂域的模型不变表示，并通过在具有挑战性的任务（例如基于MuJoCo的Humanoid）上显示出比标准最大似然方法更好的建模性能来验证我们的方法。最后，在MBRL设置中，我们在其他连续控制任务的主机上显示出相对于样本效率的强大性能增益。
2021-06-07 cs.AI cs.LG cs.RO
Improving Generalization in Aerial and Terrestrial Mobile Robots Control Through Delayed Policy Learning
Universidad Tecnologica del Uruguay（乌拉圭技术大学）；Universidade Federal de Rio Grande（里奥格兰德联邦大学）；Universidade Federal de Santa Maria（圣玛丽亚联邦大学）；University of Tsukuba（筑波大学）；VersusAI（维瑟斯人工智能公司）
本文针对空中与地面移动机器人DRL控制中泛化能力差的问题，探讨了延迟策略更新（DPU）技术，发现其能显著减少泛化不足并加速智能体学习，提升在多样任务与未知场景中的效率。
2024-06-04 cs.AI cs.RO
Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation
KAIST AI（韩国科学技术院人工智能学院）；Microsoft（微软公司）；University of Toronto（多伦多大学）；Mila（米拉计算科学研究所）；Université de Montréal（蒙特利尔大学）；CIFAR AI Chair（加拿大高级研究院人工智能主席项目机构）
提出在策略反向蒸馏（OPRD），通过评估教师策略偏移并放大验证器驱动的梯度分量，在弱到强泛化中加速学生优化并超越教师，且适用于多教师和强到弱蒸馏场景。
2026-10-20 cs.CL cs.LG
Zero-Shot Policy Transfer with Disentangled Task Representation of Meta-Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）；Intrinsic Innovation LLC（Intrinsic创新有限责任公司）；Tsinghua University（清华大学）
人类能够将各种任务抽象为多个属性的不同组合。这种组合性的视角对于人类的快速学习和适应至关重要，因为相关任务的先前经验可以结合起来，在新的组合设置中进行概括。在这项工作中，我们的目标是通过利用任务组合性来实现强化学习（RL）代理的零触发（zero-shot）策略泛化。我们提出的方法是一个Meta强化学习算法与解开任务表示，明确编码任务的不同方面。然后，通过推断看不见的组合任务表示，通过所获得的解纠缠，而无需额外的探索，来执行策略泛化。评估是在三个模拟任务和一个具有挑战性的现实世界的机器人插入任务。实验结果表明，该方法以zero-shot的方式实现了对不可见组合任务的策略泛化。
2022-10-01 cs.LG cs.RO
Analyzing Generalization in Policy Networks: A Case Study with the Double-Integrator System
University of Electronic Science and Technology of China（电子科技大学）；Air Force Engineering University（空军工程大学）；Xi’an Institute of High-Tech（西安高新技术研究所）
本文通过状态划分技术分析深度强化学习策略网络在扩展状态空间中的性能退化，发现tanh饱和导致划分边界线性化，引发类似bang-bang控制的超调现象，并实验验证该现象为网络固有属性。
2023-12-31 cs.AI cs.LG cs.SY
Explore to Generalize in Zero-Shot RL
Technion – Israel Institute of Technology（以色列理工学院）
针对零样本强化学习中的过拟合问题，提出Explore to Generalize算法，通过训练奖励优化智能体集成并在测试时结合探索性动作实现泛化，在ProcGen Maze和Heist等任务上取得最先进结果。
2024-01-15 cs.LG
Learning Lipschitz Feedback Policies from Expert Demonstrations: Closed-Loop Guarantees, Generalization and Robustness
University of California, Riverside（加州大学河滨分校）
在这项工作中，我们提出了一个框架来学习反馈控制政策，保证闭环泛化和对抗鲁棒性。这些策略是直接从专家演示中学习的，包含在状态控制输入对的数据集中，而不需要任务和系统模型的任何先验知识。我们使用Lipschitz约束的损失最小化方案来学习具有认证的闭环鲁棒性的反馈策略，其中Lipschitz约束作为一种机制来调整泛化性能和对对抗性干扰的鲁棒性。我们的分析利用Lipschitz属性获得闭环保证的泛化和鲁棒性的学习政策。特别是，我们推导出一个有限的样本界的策略学习错误和建立鲁棒闭环稳定下学习的控制策略。我们还得到了关于专家政策和有界（对抗性）的状态测量干扰下的闭环性能恶化的闭环遗憾的界限。数值结果验证了我们的分析，并证明了我们的鲁棒反馈策略学习框架的有效性。最后，我们的研究结果表明，标称闭环性能和对抗性鲁棒性之间存在潜在的权衡，并且标称闭环性能的改善只能以牺牲对抗性扰动的鲁棒性为代价。
2022-01-20 cs.LG cs.SY eess.SY
Error-Aware Policy Learning: Zero-Shot Generalization in Partially Observable Dynamic Environments
Georgia Institute of Technology（佐治亚理工学院）；Stanford University（斯坦福大学）
仿真提供了一种安全有效的方法来生成用于学习复杂机器人任务的有用数据。然而，匹配仿真和真实世界的动态可能是相当具有挑战性的，特别是对于具有大量未观察或不可测量的参数的系统，这些参数可能存在于机器人动态本身或机器人与之交互的环境中。我们引入了一种新的方法来解决这样一个模拟到真实的问题，通过制定能够适应新环境的政策，在zero-shot的方式。我们的方法的关键是一个错误感知政策（EAP），明确意识到在培训过程中不可观察的因素的影响。EAP将目标环境中的预测未来状态误差作为输入，该预测未来状态误差由与EAP同时训练的误差预测函数提供。我们验证了我们的方法上训练，以帮助人类用户从外部推动恢复辅助行走设备。我们表明，一个训练有素的EAP髋关节扭矩辅助设备可以转移到不同的人类代理人看不见的生物力学特性。此外，我们表明，我们的方法可以应用于其他标准的RL控制任务。
2021-03-13 cs.LG cs.RO
Orthogonal Policy Gradient and Autonomous Driving Application
China Institute of Atomic Energy（中国原子能科学研究院）
深度强化学习的一个较少解决的问题是缺乏基于新状态和新目标的泛化能力，对于复杂任务，需要给出正确的策略并评估当前状态的所有可能动作。幸运的是，深度强化学习在两个子问题上都取得了巨大的进步：给出正确的策略，并根据状态评估所有行动。本文提出了一种称为正交策略梯度下降（OPGD）的方法，使Agent能够根据当前状态和动作集学习策略梯度，从而学习具有泛化能力的策略网络。在三维自动驾驶环境TORCS上，将该方法与基线模型进行了比较，并给出了详细的实验结果分析和证明。
2018-11-15 cs.AI cs.RO
Batch size-invariance for policy optimization
OpenAI
我们说一个算法是批量不变的，如果批量大小的变化可以在很大程度上通过其他超参数的变化来补偿。众所周知，随机梯度下降通过学习率在小批量时具有此属性。然而，一些策略优化算法（如PPO）不具有此属性，因为它们如何控制策略更新的大小。在这项工作中，我们将展示如何使这些算法批量大小不变。我们的关键见解是将邻近策略（用于控制策略更新）与行为策略（用于策略外纠正）解耦。我们的实验有助于解释为什么这些算法工作，并展示了它们如何更有效地利用陈旧数据。
2022-09-24 cs.LG stat.ML
Effect-Invariant Mechanisms for Policy Generalization
ETH Zürich（苏黎世联邦理工学院）；University of Copenhagen（哥本哈根大学）；University of Michigan（密歇根大学）；Harvard University（哈佛大学）
本文提出完全不变性的松弛形式“效应不变性”，无需底层因果图假设即可从数据中直接检验该性质，从而实现零样本和少样本策略泛化，并在模拟与移动医疗数据上验证了有效性。
2023-06-27 cs.LG stat.ML
Invariance in Policy Optimisation and Partial Identifiability in Reward Learning
Oxford University（牛津大学）；Future of Humanity Institute, Oxford University（牛津大学人类未来研究所）；the University of Melbourne（墨尔本大学）；University of California, Berkeley（加州大学伯克利分校）；Center for Human-Compatible Artificial Intelligence, University of California, Berkeley（加州大学伯克利分校人类兼容人工智能中心）；FAR AI, Inc（FAR人工智能公司）
本文研究奖励学习中奖励函数仅部分可辨识的问题，形式化刻画专家演示、轨迹比较等数据源下的不可辨识空间，并基于不变性框架分析其对策略优化等下游任务的影响。
2023-06-07 cs.AI cs.LG stat.ML
Non-Vacuous Generalization Bounds: Can Rescaling Invariances Help?
针对ReLU网络中缩放不变性导致不同权重分布对应相同函数但PAC-Bayes复杂度差异大的问题，提出在不变提升表示中研究PAC-Bayes界，并探讨其相关保证与算法问题。
2025-09-30 cs.LG stat.ML
On the benefits of representation regularization in invariance based domain generalization
Université Laval（拉瓦尔大学）；Western University（韦仕敦大学）；Vector Institute（向量研究所）；Mila（米拉人工智能研究所）
可靠的机器学习的一个重要方面是设计一个可部署的系统，以推广新的相关但未观察到的环境。领域泛化的目的是缓解观察到的和看不见的环境之间的这种预测差距。以前的方法通常采用学习不变表示来实现良好的经验性能。在本文中，我们揭示了仅仅学习不变表示容易受到看不见的环境的影响。为此，我们得到了新的理论分析，以控制不可见的测试环境错误的表示学习，这突出了控制表示的平滑性的重要性。在实践中，我们的分析进一步启发了一个有效的正则化方法，以提高领域泛化的鲁棒性。我们的正则化是正交的，可以直接采用现有的领域泛化算法不变的表示学习。实验结果表明，我们的算法优于基础版本在各种数据集和不变性标准。
2021-05-30 cs.LG stat.ML
On the Strong Correlation Between Model Invariance and Generalization
Australian National University（澳大利亚国立大学）
泛化和不变性是任何机器学习模型的两个基本属性。泛化捕获模型对不可见数据进行分类的能力，而不变性则度量模型预测对数据转换的一致性。现有的研究表明，一个积极的关系：一个模型推广以及应该是不变的某些视觉因素。在此基础上，我们做了两个贡献。首先，我们引入了有效不变性（EI），这是一种简单合理的模型不变性度量，不依赖于图像标签。给定对测试图像及其转换版本的预测，EI测量预测的一致性以及置信度。第二，使用EI计算的不变性分数，我们进行大规模的定量相关性研究之间的泛化和不变性，重点是旋转和灰度变换。从以模型为中心的角度来看，我们观察到不同模型的泛化和不变性在分布内和分布外数据集上都表现出很强的线性关系。从以数据集为中心的角度来看，我们发现在不同的测试集上，某个模型的准确性和不变性线性相关。除了这些主要的发现，其他次要的，但有趣的见解也进行了讨论。
2022-07-14 cs.LG
Understanding the Generalization Benefit of Model Invariance from a Data Perspective
Department of Computer Science（计算机科学系）；University of Maryland, College Park（马里兰大学帕克分校）
对某些类型的数据转换具有不变性的机器学习模型在实践中已经证明了优越的泛化性能。然而，解释为什么不变性会导致更好的泛化的潜在机制并没有得到很好的理解，限制了我们为给定数据集选择适当数据转换的能力。本文通过引入由变换引起的样本覆盖，即，数据集的代表性子集，可以使用转换近似恢复整个数据集。基于这一概念，我们改进了不变模型的推广界，并通过变换引起的样本覆盖数来表征一组数据变换的适用性，即，其诱导样本覆盖的最小尺寸。我们表明，推广界可以收紧适当的转换，有一个小的样本覆盖数。此外，我们提出的样本覆盖数可以根据经验进行评估，为选择转换以开发模型不变性以获得更好的泛化提供了实用指南。我们评估了多个数据集上常用变换的样本覆盖数，并证明了一组变换的样本覆盖数越小，表明不变模型的测试和训练误差之间的差距越小，从而验证了我们的主张。
2023-02-23 cs.CV cs.LG stat.ML
Relative Generalization Invariance of LLM Pretraining
本研究提出相对泛化不变性（RGI），发现优化器和架构变化仅引起token级损失的均匀偏移，而数据流改变会显著影响相对泛化，为区分LLM预训练各组件作用提供新视角。
2026-09-29 cs.AI cs.LG
Fast generalization error bound of deep learning without scale invariance of activation functions
Graduate School of Engineering Science, Osaka University（大阪大学工学研究科）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能项目中心）
在深度学习的理论分析中，发现深度学习的哪些特征会导致良好的性能是一项重要的任务。在本文中，使用Suzuki（2018）开发的分析泛化误差的框架，我们导出了具有更一般激活函数的深度神经网络的快速学习率。在Suzuki（2018）中，假设激活函数的尺度不变性，推导出了深度学习的严格泛化误差界。他们提到，激活函数的尺度不变性对于推导严格的误差界是必不可少的。而整流线性单元（ReLU; Nair和Hinton，2010）满足尺度不变性，其他著名的激活函数包括S形和双曲正切函数，以及指数线性单元（ELU; Clevert等人，2016年，不满足这个条件。现有的分析表明，当具有尺度不变激活的深度学习可以达到比$O(1/\sqrt{n})$更快的速率时，具有非尺度不变激活的深度学习可能具有更慢的$O(1/\sqrt{n})$收敛速率。在本文中，在没有激活函数的尺度不变性的情况下，我们推导出了与Suzuki（2018）基本相同的紧泛化误差界。从这个结果中，至少在Suzuki（2018）的框架中，可以看出激活函数的尺度不变性对于获得快速收敛速度并不重要。同时，也表明Suzuki（2018）提出的理论框架可以广泛应用于分析具有一般激活函数的深度学习。
2019-07-25 cs.LG stat.ML
Contrastive ACE: Domain Generalization Through Alignment of Causal Mechanisms
University of Hong Kong（香港大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Hong Kong University of Science and Technology（香港科技大学）
领域泛化的目的是从多个源领域中学习跨不同分布的知识不变量，同时对下游任务具有语义意义，以提高模型对未知目标领域的泛化能力。基本目标是了解这些观测分布背后的基本“不变性”，这种不变性已被证明与因果关系密切相关。虽然许多现有的方法利用的属性，因果功能是跨域不变的，我们认为因果不变性的平均因果效应的功能的标签。这种不变性规范了我们的训练方法，其中对特征进行干预，以加强跨域分类器因果预测的稳定性。因此，我们的工作揭示了一些光的领域泛化问题，通过引入不变性的机制到学习过程中。在多个基准数据集上的实验证明了该方法对SOTA的性能。
2021-06-02 cs.LG stat.ML
When is invariance useful in an Out-of-Distribution Generalization problem ?
Preferred Networks
分布外（OOD）泛化问题的目标是训练一个能在所有环境下泛化的预测器。该领域的流行方法使用这样的假设，即这种预测器应该是一个\textit{invariant predictor}，它捕获在不同环境中保持恒定的机制。虽然这些方法在各种案例研究中取得了实验成功，但这一假设的理论验证仍有很大的空间。本文提出了一组新的理论条件所需的不变预测，以实现OOD最优性。我们的理论不仅适用于非线性情形，而且推广了\citet{rojas2018invariant}中的必要条件。我们还从我们的理论中推导出帧间梯度对齐算法，并在MNIST衍生的基准数据集上以及在\citet{aubinlinear}提出的三个\textit{Invariance Unit Tests}中的两个上证明了其竞争力。
2021-11-25 cs.LG stat.ML
Predicting Out-of-Domain Generalization with Neighborhood Invariance
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Massachusetts Institute of Technology（麻省理工学院）；New York University（纽约大学）；Prescient Design, Genentech（基因泰克Prescient Design）
针对现有泛化预测方法依赖分布匹配和梯度等强假设的问题，本文提出无需真实标签、分布或模型假设的邻域不变性，并在多类任务中验证其与OOD泛化的稳健相关性。
2023-07-17 cs.LG stat.ML
The role of invariance in spectral complexity-based generalization bounds
EPFL（洛桑联邦理工学院）；University of Edinburgh（爱丁堡大学）
深度卷积神经网络（CNN）已经被证明能够在数据上拟合随机标签，同时仍然能够很好地推广正常标签。最近有人提出通过复杂性的后验度量来描述CNN能力，以解决这一明显的悖论。这些复杂性度量通常通过显示它们与GE的经验相关来验证;在随机标签与正常标签上训练的网络在经验上更大。专注于频谱复杂性的情况下，我们从理论上和经验上研究的复杂性测度的不敏感性相关的CNN的不变性，并显示频谱复杂性的几个限制，因此发生。对于谱复杂度的一个特定公式，我们表明它会导致卷积和局部连接架构（不具有相同的有利的不变性）的上界复杂度估计相同。这与一般的直觉和经验结果相反。
2020-03-06 cs.LG stat.ML
Boosted Control Functions: Distribution generalization and invariance in confounded models
University of Copenhagen（哥本哈根大学）；Imperial College London（伦敦帝国学院）；ETH Zürich（苏黎世联邦理工学院）；University of Geneva（日内瓦大学）
本文提出增强控制函数（BCF）以实现分布变化下的预测鲁棒性，通过强不变性概念和ControlTwicing算法提升模型泛化能力。
2025-12-23 cs.LG stat.ML
Lost in Serialization: Invariance and Generalization of LLM Graph Reasoners
University of Cambridge（剑桥大学）；ETH Zurich（苏黎世联邦理工学院）
研究LLM图推理器对图表示对称性的缺乏不变性，通过分解序列化因素并评估微调影响，发现大模型更鲁棒，微调降低节点重标敏感但增加结构和格式敏感，且不保证泛化。
2026-06-09 cs.AI cs.LG
Domain Generalization through the Lens of Angular Invariance
Tsinghua University（清华大学）；Peking University（北京大学）
领域泛化（DG）的目的是将在多个源域上训练的分类器推广到具有域偏移的未知目标域。现有DG文献中一个普遍的主题是具有各种不变性假设的域不变表示学习。然而，之前的工作限制了现实世界挑战的根本假设：如果由深度神经网络（DNN）诱导的映射可以很好地对齐源域，那么这样的映射也会对齐目标域。在本文中，我们简单地将DNN作为特征提取器，以放松分布对齐的要求。具体地说，我们提出了一个新的角度不变性和伴随的范数移位假设。基于提出的不变性项，我们提出了一种新的深度DG方法，称为角度不变性领域泛化网络（AIDGN）。AIDGN的优化目标是开发与冯-米塞斯-费舍尔（vMF）混合模型。在多个DG基准数据集上的实验验证了该方法的有效性。
2022-10-28 cs.LG
Learning Subset-Shared Invariances for Domain Generalization with Mixture-of-Experts
VinUniversity
针对域泛化中全局不变性限制表示空间的问题，提出子集共享不变性，通过专家混合架构学习路由条件不变性，提升域外泛化性能。
2026-06-25 cs.LG
Respecting Domain Relations: Hypothesis Invariance for Domain Generalization
Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）
在领域泛化中，训练过程中可以使用多个带标签的非独立且非同分布的源域，而目标域的数据和标签都不可用。目前，学习领域不变表示（DIR）是领域泛化的主流方法。在这项工作中，我们定义了现有的作品中采用的概率术语的DIR，并表明，通过学习DIR，过于严格的要求施加有关的不变性。具体地，DIR旨在完美地对齐不同域的表示，即它们的输入分布。然而，这对于良好地推广到目标域是不必要的，并且甚至可能处理有价值的分类信息。我们建议学习所谓的假设不变表示（HIR），它通过仅仅对齐后验而不是对齐表示来放松不变性假设。我们报告了在公共领域泛化数据集上的实验结果，表明学习HIR比学习DIR更有效。事实上，我们的方法甚至可以与使用领域先验知识的方法竞争。
2020-10-15 cs.CV cs.LG
