Natural Policy Gradients In Reinforcement Learning Explained
传统的策略梯度方法存在根本性缺陷。自然梯度收敛得更快更好，形成了当代强化学习的基础，如信任域策略优化（TRPO）和近端策略优化（PPO）。本课堂讲稿旨在阐明自然策略梯度背后的直觉，着重于思考过程和关键的数学结构。
2022-09-05 cs.LG math.OC
Enhancing LLMs for Physics Problem-Solving using Reinforcement Learning with Human-AI Feedback
IIIT Delhi（德里印度信息技术学院）
本文提出RLHAIF方法，结合人类与AI反馈强化学习，并在PhyQA上评估PPO、DPO和Remax，显著提升LLaMA2与Mistral的物理推理及答题准确性。
2024-12-06 cs.AI cs.LG
Traffic Management of Autonomous Vehicles using Policy Based Deep Reinforcement Learning and Intelligent Routing
Pakistan Institute of Engineering and Applied Sciences（巴基斯坦工程与应用科学学院）；Carleton University（卡尔顿大学）
深度强化学习（DRL）使用多样化的非结构化数据，使RL能够在高维环境中学习复杂的策略。基于自主车辆的智能交通系统（ITS）为基于策略的日间行车提供了一个很好的平台。深度学习架构解决了传统算法的计算挑战，同时有助于AV的实际采用和部署。自动驾驶汽车实施的主要挑战之一是，如果不可靠和有效地管理，它可能会加剧道路上的交通拥堵。考虑每辆车的整体影响，使用高效可靠的技术，可以真正帮助优化交通流量管理和减少拥堵。为此，我们提出了一个智能交通控制系统，处理复杂的交通拥堵的情况下，在交叉口和交叉口后面。提出了一种基于日间行车灯的信号控制系统，该系统能够根据交叉口当前的拥堵状况动态调整交通信号。针对交叉口后道路的拥堵问题，采用重路由技术对路网中的车辆进行负载均衡。为了实现所提出的方法的实际好处，我们打破了数据孤岛，并结合使用来自传感器、探测器、车辆和道路的所有数据，以实现可持续的结果。我们使用SUMO微模拟器进行模拟。我们所提出的方法的意义体现在结果。
2022-06-28 cs.AI cs.LG
Towards Revealing the Effectiveness of Small-Scale Fine-tuning in R1-style Reinforcement Learning
本研究提出重蒸馏技术，通过从RL训练策略采样提升小规模SFT效率，以少量样本匹配RL性能，并揭示R1风格RL机制。
2025-08-05 cs.AI cs.LG
Lane-Merging Using Policy-based Reinforcement Learning and Post-Optimization
fortiss GmbH（福蒂思有限公司）；Technische Universität München（慕尼黑工业大学）
许多当前的行为生成方法难以处理真实世界的交通情况，因为它们不能很好地扩展复杂性。然而，可以使用数据驱动的方法离线学习行为。特别是，强化学习是有前途的，因为它隐含地学习如何利用收集的经验的行为。在这项工作中，我们将基于策略的强化学习与局部优化相结合，以培养和综合这两种方法中最好的一种。基于策略的强化学习算法为后期优化提供了初始解和指导性参考。因此，优化器只需计算单个同伦类，例如\在另一辆车的后面或前面行驶。通过在强化学习期间存储状态历史，它可以用于约束检查，优化器可以考虑交互。后优化还充当安全层，因此，该新方法可以应用于安全关键应用中。我们评估所提出的方法使用变道的情况下，不同数量的车辆。
2020-03-06 cs.AI cs.LG cs.MA
An Invitation to Deep Reinforcement Learning
University of Tübingen, Tübingen AI Center（图宾根大学，图宾根人工智能中心）
本文以监督学习为基础，通过将强化学习视为其泛化形式，面向具备基础知识的读者系统介绍深度强化学习，使其能够理解PPO等前沿算法。
2025-05-09 cs.AI cs.LG
EduGym: An Environment and Notebook Suite for Reinforcement Learning Education
Leiden University（莱顿大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
针对强化学习教学中公式与代码脱节、现有代码库过于复杂的问题，本文提出教育性环境与交互式notebook套件EduGym，通过将特定学习挑战与公式、代码结合，获得86%使用者认可。
2024-02-22 cs.AI cs.CY cs.LG
Estimation Error Correction in Deep Reinforcement Learning for Deterministic Actor-Critic Methods
Bilkent University（比尔肯特大学）
在基于值的深度强化学习方法中，价值函数的近似会导致高估偏差并导致次优策略。我们发现，在旨在克服高估偏差的深度演员-评论家方法中，如果代理接收到的强化信号具有较高的方差，则会出现显著的低估偏差。为了最大限度地减少低估，我们引入了一个无参数的新型深度Q学习变体。我们的Q值更新规则结合了Clipped Double Q-learning和Maxmin Q-learning背后的概念，通过最大值和最小值运算符的嵌套组合来计算critic目标，以限制近似值估计。我们评估了我们对几个OpenAI Gym连续控制任务套件的修改，在每个测试环境中提高了最先进的水平。
2021-09-23 cs.AI cs.LG stat.ML
CORE: Concept-Oriented Reinforcement for Bridging the Definition-Application Gap in Mathematical Reasoning
University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）；Arizona State University（亚利桑那州立大学）
CORE通过引入概念导向的强化学习框架，解决大语言模型在数学推理中概念应用不足的问题，通过合成概念对齐习题和注入概念片段提升模型的推理能力。
2026-05-07 cs.AI cs.LG
On Neural Consolidation for Transfer in Reinforcement Learning
ISAE-SUPAERO, Université de Toulouse（图卢兹大学高等航空航天学院）；Sandbox AQ（Sandbox AQ公司）
虽然迁移学习被认为是深度强化学习的一个里程碑，但其背后的机制仍然知之甚少。特别是，预测知识是否可以在两个给定的任务之间转移仍然是一个悬而未决的问题。在这项工作中，我们探索使用网络蒸馏作为一种特征提取方法，以更好地理解的背景下，转移可能发生。值得注意的是，我们表明，蒸馏不会阻止知识转移，包括从多个任务转移到一个新的任务时，我们将这些结果与没有事先蒸馏的转移进行比较。由于不同游戏之间的差异性，我们将工作重点放在Atari基准上，但也考虑到它们在视觉功能方面的相似性。
2022-10-05 cs.AI cs.LG
The Gambler's Problem and Beyond
The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）
我们分析了赌徒问题，这是一个简单的强化学习问题，赌徒有机会加倍或输掉赌注，直到达到目标。这是Sutton和Barto（2018）在强化学习教科书中介绍的一个早期例子，他们提到了一个有趣的最优值函数模式，其中包含高频分量和重复的非光滑点。然而，没有进一步调查。我们提供了离散和连续情况下的最优值函数的精确公式。虽然看起来很简单，但价值函数是病态的：分形、自相似、取零或无穷大的导数，而且不能写成初等函数。事实上，它是广义康托函数之一，它拥有迄今为止未知的复杂性。我们的分析可以为在实际应用和实现中改进值函数近似、基于梯度的算法和Q学习提供见解。
2020-07-12 cs.AI cs.LG stat.ML
SLM Lab: A Comprehensive Benchmark and Modular Software Framework for Reproducible Deep Reinforcement Learning
California Institute of Technology（加州理工学院）
我们介绍SLM实验室，一个可重复的强化学习（RL）研究的软件框架。SLM Lab实现了许多流行的RL算法，提供同步和异步并行实验执行，超参数搜索和结果分析。SLM Lab中的RL算法以模块化的方式实现，因此算法性能的差异可以自信地归因于算法之间的差异，而不是实现之间的差异。在这项工作中，我们提出了SLM实验室背后的设计选择，并使用它来产生一个全面的单代码库RL算法基准。此外，由于SLM实验室的模块化设计，我们引入并评估了Soft Actor-Critic算法的离散动作变体（Haarnoja等人，2018）和RL代理的混合同步/异步训练方法。
2019-12-28 cs.AI cs.LG stat.ML
Deep Reinforcement Learning in a Handful of Trials using Probabilistic Dynamics Models
Berkeley Artificial Intelligence Research（伯克利人工智能研究院）；University of California, Berkeley（加州大学伯克利分校）
基于模型的强化学习（RL）算法可以获得优异的样本效率，但在渐近性能方面往往落后于最好的无模型算法。对于高容量参数函数逼近器（如深度网络）来说尤其如此。在本文中，我们研究如何弥合这一差距，采用不确定性感知的动力学模型。我们提出了一种名为轨迹采样概率集合（PETS）的新算法，该算法将不确定性感知深度网络动力学模型与基于采样的不确定性传播相结合。我们与最先进的基于模型和无模型的深度RL算法的比较表明，我们的方法在几个具有挑战性的基准任务上与无模型算法的渐近性能相匹配，同时需要显著更少的样本（例如，在半猎豹任务上，样本分别比软演员批评和近端策略优化少8倍和125倍）。
2018-11-02 cs.AI cs.LG cs.RO
Analyzing the Strategy of Propaganda using Inverse Reinforcement Learning: Evidence from the 2022 Russian Invasion of Ukraine
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本研究采用逆强化学习方法，基于大规模亲俄宣传帖子数据集，分析2022年俄乌冲突中Twitter宣传社区的策略，发现机器人与人类的互动模式存在差异。
2023-07-24 cs.AI cs.CY cs.LG
On the model-based stochastic value gradient for continuous reinforcement learning
Facebook AI Research（脸书人工智能研究院）；NYU（纽约大学）
十多年来，基于模型的强化学习一直被视为一种利用基于控制的领域知识来提高强化学习代理的样本效率的方法。虽然基于模型的代理在概念上很有吸引力，但它们的策略在最终奖励方面往往落后于无模型代理，特别是在非平凡的环境中。作为回应，研究人员提出了基于模型的代理越来越复杂的组件，从概率动力学模型的集合，以减少模型错误的算法。在这种趋势的逆转，我们表明，简单的基于模型的代理可以从现有的想法，不仅匹配，但优于最先进的无模型代理的样本效率和最终奖励。我们发现，一个无模型的软值估计的政策评估和基于模型的随机值梯度的政策改进是一个有效的组合，实现国家的最先进的结果，在高维人形控制任务，大多数基于模型的代理是无法解决的。我们的研究结果表明，基于模型的政策评估值得密切关注。
2021-05-27 cs.AI cs.LG cs.RO
Patterns, predictions, and actions: A story about machine learning
这本关于机器学习的研究生教科书讲述了数据模式如何支持预测和相应行动的故事。从决策制定的基础开始，我们将介绍作为监督学习组成部分的表示、优化和泛化。关于作为基准的数据集的一章考察了它们的历史和科学基础。自包含的因果关系介绍，因果推理的实践，顺序决策和强化学习为读者提供了概念和工具来推理行动及其后果。全文讨论了历史背景和社会影响。我们邀请来自各种背景的读者;一些概率，微积分和线性代数的经验就足够了。
2021-10-26 cs.LG stat.ML
On Hard Exploration for Reinforcement Learning: a Case Study in Pommerman
Borealis AI（北方人工智能公司）
如何在具有稀疏、延迟和欺骗性奖励的领域中进行最佳探索是强化学习（RL）的一个重要开放问题。本文认为这样一个域，最近提出的多代理基准Pommerman。这个领域对于RL来说是非常具有挑战性的-过去的工作表明，无模型RL算法无法在不人为降低环境复杂性的情况下实现显著的学习。本文通过对Pommerman中随机探索的困难性的深入分析，阐明了这一失败背后的原因。虽然无模型的随机探索通常是徒劳的，我们开发了一个基于模型的自动推理模块，可以用于更安全的探索修剪行动，肯定会导致代理死亡。我们的经验表明，这个模块可以显着提高学习。
2019-07-26 cs.AI cs.LG stat.ML
TauRieL: Targeting Traveling Salesman Problem with a deep reinforcement learning inspired architecture
Barcelona Supercomputing Center (BSC)（巴塞罗那超级计算中心（BSC））
在本文中，我们提出了TauRieL和目标旅行商问题（TSP），因为它在理论和应用科学中具有广泛的适用性。TauRieL利用一个演员-评论家启发的架构，采用普通的前馈网络，以获得一个策略更新向量$v$。然后，我们使用$v$来改进状态转移矩阵，我们从生成的政策。此外，状态转移矩阵允许求解器从预先计算的解（例如最近邻）进行初始化。在在线学习设置中，TauRieL将训练和搜索统一起来，可以在几秒钟内生成接近最佳的结果。Actor-Critic架构中神经网络的输入是原始的2-D输入，这一决定背后的设计思想是保持神经网络比具有宽嵌入的架构相对较小，同时省略嵌入的任何分布式表示。因此，与最先进的离线技术相比，TauRieL在每个TSP实例中生成TSP解决方案的速度快两个数量级，在最坏情况下性能影响为6.1%。
2019-05-14 cs.AI cs.LG cs.NE
An Alternative Softmax Operator for Reinforcement Learning
Brown University（布朗大学）
应用于一组值的softmax运算符有点像最大化函数，有点像平均值。在顺序决策中，softmax通常用于需要最大化效用的设置，但也可以对冲由于将所有权重放在单个最大效用决策之后而产生的问题。玻尔兹曼softmax算子是最常用的softmax算子在此设置中，但我们表明，该算子是容易行为不端。在这项工作中，我们研究了一个可微的softmax算子，除了其他属性外，它是一个非扩展，确保了学习和规划中的收敛行为。我们介绍了一种变体的SARSA算法，通过利用新的运营商，计算玻尔兹曼政策与状态相关的温度参数。我们表明，该算法是收敛的，它在实践中表现良好。
2017-06-14 cs.AI cs.LG stat.ML
Defense Against Reward Poisoning Attacks in Reinforcement Learning
MPI-SWS（马克斯·普朗克软件系统研究所）
研究了强化学习中奖励中毒攻击的防御策略。作为一个威胁模型，我们考虑攻击，最小限度地改变奖励，使攻击者的目标策略唯一最优下中毒的奖励，与最优差距指定的攻击参数。我们的目标是设计代理，对这种攻击的最坏情况下的效用w.r.t.真实的、未中毒的奖励，同时在中毒的奖励下计算他们的策略。我们提出了一个优化框架，用于获得最佳的防御策略，无论是当攻击参数是已知的和未知的。此外，我们表明，防御政策的建议的优化问题的解决方案具有可证明的性能保证。特别是，我们提供了以下界限相对于真实的，未中毒的，奖励：a）防御策略的预期回报的下限，以及b）这些防御策略与攻击者的目标策略相比是次优的上限。最后，我们通过说明我们的正式结果背后的直觉，并表明导出的界限是非平凡的。
2021-06-20 cs.AI cs.LG
Situated GAIL: Multitask imitation using task-conditioned adversarial inverse reinforcement learning
Osaka University（大阪大学）；The University of Tokyo（东京大学）
生成对抗式模仿学习（GAIL）在机器人学习领域受到越来越多的关注。它使机器人能够学习一种策略来完成专家演示的任务，同时估计专家行为背后的奖励函数。然而，该框架仅限于学习具有单个奖励函数的单个任务。本研究提出了一个扩展框架，称为情境GAIL（S-GAIL），其中一个任务变量被引入到GAIL框架的生成器和生成器。任务变量的作用是区分不同的上下文，使框架学习不同的奖励函数和策略的多个任务。为了实现早期收敛的学习和鲁棒性在奖励估计，我们引入了一个术语来调整熵正则化系数在发电机的目标函数。我们使用两个设置（在离散网格世界中导航和在连续空间中手臂到达）的实验表明，所提出的框架可以比现有框架更有效地获得多个奖励函数和策略。任务变量使我们的框架能够区分上下文，同时在多个任务之间共享公共知识。
2019-11-01 cs.AI cs.LG cs.RO
Heterogeneous RBCs via Deep Multi-Agent Reinforcement Learning
Università La Sapienza di Roma（罗马拉·索菲亚大学）；Banca d’Italia（意大利银行）
本文提出MARL-BC框架，结合深度多代理强化学习与RBC模型，解决传统模型在异质性建模方面的局限性。
2026-02-16 cs.LG cs.MA econ.TH
The Effects of Memory Replay in Reinforcement Learning
Stanford University（斯坦福大学）
经验回放是深度强化学习许多最新进展背后的关键技术。允许智能体从早期记忆中学习可以加速学习并打破不希望的时间相关性。尽管其广泛的应用，很少有人知道的经验重放的属性。记忆量如何影响学习动力？它是否有助于优先考虑某些经验？在本文中，我们解决这些问题，制定了一个动力系统ODE模型的Q-学习经验重放。我们推导出一个简单的设置的常微分方程的解析解。我们表明，即使在这个非常简单的设置中，保持的内存量可以大大影响代理的性能。太多或太少的记忆都会减慢学习速度。此外，我们还描述了优先重播损害代理学习的制度。我们表明，我们的解析解与实验有很好的一致性。最后，我们提出了一个简单的算法，自适应地改变内存缓冲区的大小，实现一贯良好的经验性能。
2017-10-18 cs.AI cs.LG stat.ML
Efficient and Robust Reinforcement Learning with Uncertainty-based Value Expansion
Baidu（百度）
通过将动力学模型集成到无模型强化学习（RL）方法中，基于模型的值扩展（MVE）算法在样本效率和值估计方面显示出显著的优势。然而，这些方法遭受更高的函数逼近误差比无模型方法在随机环境中，由于缺乏建模的环境随机性。因此，在一些具有挑战性的场景中，它们的性能落后于最好的无模型算法。在本文中，我们提出了一种新的混合强化学习方法，建立在MVE，即风险规避价值扩张（RAVE）。随着想象力的推出所产生的合奏的概率动力学模型，我们进一步引入规避风险，寻求较低的置信区间的估计。在一系列具有挑战性的环境中进行的实验表明，通过完全建模的不确定性，RAVE大大提高了以前的基于模型的方法的鲁棒性，并产生最先进的性能。凭借这项技术，我们的解决方案在NeurIPS 2019：学习移动中获得第一名。
2019-12-10 cs.AI cs.LG
Control of synaptic plasticity via the fusion of reinforcement learning and unsupervised learning in neural networks
大脑可以学习快速有效地执行各种任务。然而，大多数使我们能够学习的机制都不清楚或非常复杂。最近，神经科学和人工智能做出了相当大的努力来理解和建模大脑惊人的学习能力背后的结构和机制。然而，在目前认知神经科学的理解中，人们普遍认为突触可塑性在我们惊人的学习能力中起着至关重要的作用。这种机制也被称为信用分配问题（CAP），是神经科学和人工智能（AI）中的一个基本挑战。神经科学家的观察清楚地证实了错误反馈系统和无监督学习这两种重要机制在突触可塑性中的作用。在此基础上，提出了一种融合强化学习（RL）和无监督学习（UL）的学习规则。在该计算模型中，利用非线性最优控制理论模拟误差反馈环系统，将输出误差映射到神经元的膜电位（神经元状态），并利用基于神经元膜电位或神经元活动的无监督学习规则模拟突触可塑性动力学，以保证输出误差最小.
2023-03-26 cs.AI cs.LG cs.NE
A Survey of Multi-Agent Deep Reinforcement Learning with Graph Neural Network-Based Communication
Université Lyon 1, INSA Lyon, CNRS, LIRIS, UMR 5205（里昂1大学，里昂国立应用科学学院，国家科学研究中心，LIRIS，UMR 5205）
本文综述了基于图神经网络的多智能体强化学习通信方法，提出通用通信过程以明确方法核心思想。
2026-04-28 cs.AI cs.LG cs.MA
Cooperative Backdoor Attack in Decentralized Reinforcement Learning with Theoretical Guarantee
Shandong University（山东大学）；The George Washington University（乔治·华盛顿大学）
本文提出一种去中心化强化学习中的协同后门攻击方法，将后门行为按状态空间分解到多个恶意智能体策略中，实现隐蔽注入，并给出理论保证与Atari实验验证。
2024-05-24 cs.AI cs.LG
Off-Dynamics Inverse Reinforcement Learning from Hetero-Domain
Westlake University（西湖大学）；Tsinghua University（清华大学）
我们提出了一种异域逆强化学习的方法，该方法在模拟器中学习奖励函数，并借鉴了现实世界中的演示。该方法背后的直觉是，奖励函数不仅应该以模仿专家为导向，而且应该鼓励根据模拟器与现实世界之间的动态差异进行调整的行为。为了实现这一目标，采用了广泛使用的GAN启发的IRL方法，并通过量化动态差异来修改其识别策略生成轨迹的算法。训练过程中的训练过程中，可以产生可转移的奖励函数适合模拟器的动力学，这可以通过推导来保证。实际上，我们的方法为不利用两个域之间的差异的演示轨迹分配了更高的奖励。通过对连续控制任务的大量实验，我们的方法显示了其有效性，并证明了其可扩展性的高维任务。
2021-10-21 cs.LG
Introspection-based Explainable Reinforcement Learning in Episodic and Non-episodic Scenarios
Universität Hamburg（汉堡大学）；UNSW Sydney（悉尼新南威尔士大学）
随着当今社会中机器人系统和人机环境的日益增多，理解机器人所采取的行动背后的推理变得越来越重要。为了增加这种理解，向用户提供关于为什么采取特定行动的解释。除其他效果外，这些解释提高了用户对其机器人合作伙伴的信任。创建这些解释的一个选项是基于内省的方法，该方法可以与强化学习代理结合使用，以提供成功的概率。这些可以反过来用于以人类可理解的方式推理代理所采取的行动。在这项工作中，这种基于内省的方法开发和评估的基础上进一步的情节和非情节的机器人模拟任务。此外，提出了一个额外的归一化步骤的Q值，这使得使用基于内省的方法在负的和相对较小的Q值。所获得的结果表明，情景机器人任务的内省的可行性，此外，基于内省的方法可以用来生成在非情景机器人环境中所采取的行动的解释。
2022-11-23 cs.AI cs.RO
On the Statistical Complexity for Offline and Low-Adaptive Reinforcement Learning with Structures
Princeton University（普林斯顿大学）；UC San Diego（加州大学圣迭戈分校）
本文综述离线RL中OPE与OPL的统计复杂性、近最优依实例方法及证明技术，并引入低自适应探索以弥合离线与在线RL。
2025-01-03 cs.AI cs.LG
V2I Connectivity-Based Dynamic Queue-Jump Lane for Emergency Vehicles: A Deep Reinforcement Learning Approach
New York University Tandon School of Engineering（纽约大学坦登工程学院）；C2SMART University Transportation Center（C2SMART大学交通中心）
应急车辆（EMV）服务是城市的一项重要功能，由于城市交通拥堵，因此极具挑战性。EMV服务延迟背后的一个主要原因是阻塞EMV的车辆之间缺乏沟通和合作。本文研究了V2 I连接下EMV业务的改进。我们认为，建立动态队列跳转车道（DQJLs）的基础上实时协调连接的车辆。我们开发了一种新的马尔可夫决策过程制定的DQJL问题，明确占接近EMV的司机的反应的不确定性。我们提出了一种基于深度神经网络的强化学习算法，可以有效地计算最优协调指令。我们还验证了我们的方法在微观仿真试验台上使用模拟城市交通（SUMO）。验证结果表明，与我们提出的方法，集中控制系统节省了约15%的EMV通过时间比基准系统。
2021-05-29 cs.AI cs.LG cs.SY
Deep Reinforcement Learning with Double Q-learning
Google DeepMind（谷歌DeepMind）
众所周知，流行的Q-学习算法在某些条件下会高估动作值。以前不知道在实践中，这种高估是否常见，它们是否会损害业绩，以及它们是否可以普遍预防。在本文中，我们肯定地回答了所有这些问题。特别是，我们首先表明，最近的DQN算法，它结合了Q学习与深度神经网络，在雅达利2600域的一些游戏中受到严重高估。然后，我们表明，背后的想法双Q-学习算法，这是在一个表格设置，可以推广到大规模的函数逼近。我们提出了一个具体的适应DQN算法，并表明，由此产生的算法不仅减少了观察到的高估，假设，但这也导致更好的性能在几个游戏。
2015-12-08 cs.LG
Adapting Critic Match Loss Landscape Visualization to Off-policy Reinforcement Learning
本文将已建立的批评者匹配损失景观可视化方法从在线扩展到非策略强化学习，揭示批评者学习的优化几何。通过调整Soft Actor-Critic算法中的损失评估，利用固定回放批次和预计算的批评者目标，分析批评者参数在主成分平面上的投影，形成3D景观并叠加优化路径。
2026-03-15 cs.AI cs.LG cs.RO
Theoretical Analysis of Meta Reinforcement Learning: Generalization Bounds and Convergence Guarantees
New York University（纽约大学）；Northeastern University（东北大学）
本文提出理论框架分析元强化学习的泛化界限与收敛保证，揭示算法设计与任务复杂度关系，并证明收敛条件，评估其长期性能与实时效率。
2024-05-22 cs.AI cs.LG
A Behavior-Aware Approach for Deep Reinforcement Learning in Non-stationary Environments without Known Change Points
Australian Artificial Intelligence Institute (AAII), University of Technology Sydney（悉尼科技大学澳大利亚人工智能研究院）
针对非平稳环境下深度强化学习性能下降的问题，提出行为感知检测与适应（BADA）框架，利用Wasserstein距离检测环境变化并通过行为正则化适应新环境，实验证明其优于现有算法。
2024-05-23 cs.AI cs.LG
Less is more -- the Dispatcher/ Executor principle for multi-task Reinforcement Learning
Google DeepMind（谷歌DeepMind）
本文提出多任务强化学习中的调度器/执行器原则，通过结构化设计提升泛化能力和数据效率，尤其在数据有限时具有重要价值。
2026-02-27 cs.AI cs.LG cs.RO
Foundations for Transfer in Reinforcement Learning: A Taxonomy of Knowledge Modalities
Google DeepMind（谷歌DeepMind）
本文提出强化学习知识迁移的分类体系，系统梳理动力学模型、奖励模型、价值函数、策略和原始数据等知识模态，分析其属性与迁移目标的匹配关系，并强调从人工设计迁移向学习式迁移转变的重要性。
2023-12-04 cs.AI cs.LG cs.RO
Sim-to-Real Reinforcement Learning for Deformable Object Manipulation
Imperial College London（帝国理工学院）
我们已经看到了最近的进展，在刚性物体的操作，但与可变形物体的相互作用显着落后。由于可变形物体的配置空间很大，使用传统建模方法的解决方案需要大量的工程工作。也许，绕过显式建模的需要，而是以端到端的方式学习控制是一种更好的方法？尽管越来越多的人对使用端到端的机器人学习方法感兴趣，但只有少量的工作集中在它们对可变形物体操纵的适用性上。此外，由于学习这些端到端解决方案需要大量数据，一个新兴的趋势是在仿真中学习控制策略，然后将其转移到现实世界中。到目前为止，还没有工作探讨是否有可能学习和转移可变形对象的政策。我们相信，如果要进一步采用模拟到真实的方法，那么应该可以学习与各种各样的物体进行交互，而不仅仅是刚性物体。在这项工作中，我们使用了最先进的深度强化学习算法的组合来解决操纵可变形物体（特别是布料）的问题。我们在三个任务上评估我们的方法-将毛巾折叠到一个标记处，对角折叠面巾，将一块布挂在衣架上。我们的代理在域随机化的模拟中进行了充分的训练，然后成功地部署在现实世界中，而没有看到任何真实的可变形物体。
2018-10-08 cs.AI cs.LG cs.RO
High-Performance Reinforcement Learning on Spot: Optimizing Simulation Parameters with Distributional Measures
RAI Institute（RAI研究所）；Department of Electrical Engineering and Computer Science（电气工程与计算机科学系）
本文提出利用Wasserstein距离和最大均值差异量化sim2real差距，并作为CMA-ES的评分函数优化Spot机器人仿真参数，首次在Spot硬件上公开部署端到端强化学习策略，实现超过5.2 m/s的运动速度及多种步态。
2025-07-03 cs.LG cs.RO
Bilateral Deep Reinforcement Learning Approach for Better-than-human Car Following Model
University of Toronto（多伦多大学）；Arab Academy for Science, Technology, and Maritime Transport（阿拉伯科学、技术与海运学院）
在未来的几年和几十年里，自动驾驶汽车（AV）将变得越来越普遍，为更安全，更方便的旅行提供新的机会，并利用自动化和连接性提供更智能的交通控制方法。跟车是自动驾驶的主要功能。近年来，基于强化学习的汽车跟随受到关注，其目标是学习并达到与人类相当的性能水平。然而，大多数现有的RL方法将车辆跟随建模为单边问题，仅感测前方车辆。然而，最近的文献，Wang和Horn [16]表明，考虑前车和后车的双边车辆跟随具有更好的系统稳定性。在本文中，我们假设可以使用RL学习这种双边汽车跟随，同时学习其他目标，如效率最大化，颠簸最小化和安全奖励，从而获得优于人类驾驶的学习模型。我们提出并引入了一个深度强化学习（DRL）框架，通过将双边信息集成到状态和奖励函数中，基于双边控制模型（DRL）进行车辆跟随控制。此外，我们使用一个分散的多智能体强化学习框架，以产生相应的控制行动，为每个代理。我们的模拟结果表明，我们学习的政策是优于人类驾驶政策方面（a）车间车头时距，（b）平均速度，（c）加加速度，（d）碰撞时间（TTC）和（e）字符串稳定性。
2022-10-03 cs.LG cs.RO
What's Behind PPO's Collapse in Long-CoT? Value Optimization Holds the Secret
ByteDance Seed（字节跳动 Seed）
本文揭示了PPO在长CoT任务中失败的原因是价值初始化偏差和奖励信号衰减，提出VC-PPO方法，通过预训练价值模型和解耦GAE计算解决这些问题，在AIME上显著提升了性能。
2025-03-03 cs.LG
TREX: Trajectory Explanations for Multi-Objective Reinforcement Learning
Trinity College Dublin（都柏林三一学院）
TREX通过轨迹归因框架为多目标强化学习策略提供解释，通过生成不同用户偏好下的轨迹并划分语义段，量化行为段对帕累托权衡的影响，实验验证了其在MuJoCo多目标环境中的有效性。
2026-03-23 cs.AI cs.LG
Selectively Sharing Experiences Improves Multi-Agent Reinforcement Learning
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）；Computer Science Department, Stanford University（斯坦福大学计算机科学系）；The Taub Faculty of Computer Science, Technion - Israel Institute of Technology（以色列理工学院陶布计算机科学学院）
提出选择性多智能体优先经验回放方法，通过智能体间共享少量高度相关的经验，在仅需有限通信的去中心化训练下显著提升多智能体强化学习性能。
2024-04-23 cs.AI cs.LG cs.MA
Sim-to-Real Transfer in Deep Reinforcement Learning for Robotics: a Survey
University of Turku（图尔库大学）
深度强化学习最近在机器人领域的多个领域取得了巨大成功。由于收集真实世界数据的局限性，即，样本的低效率和收集它的成本，模拟环境被用于训练不同的代理。这不仅有助于提供潜在的无限数据源，而且还消除了真实机器人的安全问题。尽管如此，一旦模型被转移到真实的机器人中，模拟世界和真实世界之间的差距会降低策略的性能。因此，目前正在进行多种研究努力，以缩小这种模拟与实际之间的差距，实现更有效的政策转移。近年来，出现了适用于不同领域的多种方法，但据我们所知，缺乏对不同方法进行总结和分析的全面审查。在这篇调查论文中，我们涵盖了深度强化学习中的仿真到现实迁移背后的基本背景，并概述了目前使用的主要方法：域随机化，领域自适应，模仿学习，元学习和知识蒸馏。我们对一些最相关的近期作品进行了分类，并概述了主要的应用场景。最后，我们讨论了不同方法的主要机遇和挑战，并指出了最有前途的方向。
2021-07-08 cs.LG cs.RO
Applying supervised and reinforcement learning methods to create neural-network-based agents for playing StarCraft II
近年来，人们提出了多种方法来创建用于玩各种复杂的实时计算机游戏（如星际争霸II或Dota 2）的代理，然而，它们要么将大量的专家知识嵌入到代理中，要么使用对大多数研究人员来说过于庞大的计算资源。我们提出了一个神经网络架构，用于玩星际争霸II的完整双人比赛，该架构采用通用监督和强化学习进行训练，可以在具有单个GPU的单个消费级PC上进行训练。我们还表明，我们的实现了一个不平凡的性能相比，在游戏中脚本机器人。除了在一张选定的地图上进行游戏外，我们对游戏没有任何简化的假设，而且我们使用很少的专业知识。原则上，我们的方法可以应用于任何RTS游戏的小修改。虽然我们的结果在最终性能方面远远落后于最先进的大规模方法，但我们相信我们的工作可以作为其他小规模实验的坚实基线。
2021-09-26 cs.AI
Optimal Transport Meets Reinforcement Learning: A Survey
University of Warwick（华威大学）
本综述系统梳理最优传输在强化学习目标与算法中的应用，分类现有方法，探讨动机、实际考量与开放问题，为相关研究提供全面参考。
2026-10-02 cs.AI cs.LG stat.ML
A Comparative Analysis of Expected and Distributional Reinforcement Learning
University of Oxford（牛津大学）；Google Brain（谷歌大脑）
自一年前引入以来，强化学习的分布式方法（分布式RL）相对于对期望值（期望RL）建模的标准方法产生了强有力的结果。然而，除了收敛保证之外，很少有理论结果调查分布式RL提供改进背后的原因。在本文中，我们开始调查这个基本问题，通过分析的差异，在表格，线性近似，非线性近似设置。我们证明，在许多实现的表格和线性近似设置，分布RL的行为完全相同的预期RL。在两种方法行为不同的情况下，分布式强化学习实际上会在不引起相同行为的情况下损害性能。然后，我们继续进行实证分析，将控制设置中的分布和预期RL方法与非线性逼近器进行比较，以区分分布RL方法的改进来自何处。
2019-02-21 cs.LG stat.ML
A Signaling Game Approach to Databases Querying and Interaction
Oregon State University（俄勒冈州立大学）；University of California San Diego（加利福尼亚大学圣地亚哥分校）
由于大多数用户并不确切了解数据库的结构和/或内容，他们的查询并不确切反映他们的信息需求。数据库管理系统（DBMS）可以与用户交互，并使用他们对返回结果的反馈来了解他们查询背后的信息需求。当前的查询接口假设用户在与DBMS交互期间不学习和修改他们以查询的形式表达他们的信息需求的方式。使用现实世界的交互工作量，我们表明，用户学习和修改如何表达他们的信息需求，在他们与DBMS的交互和他们的学习是准确地建模一个著名的强化学习机制。现有的数据交互系统假设用户不修改策略，无法有效地发现用户查询背后的信息需求。我们建模的用户和DBMS之间的交互作为一个游戏，具有相同的利益之间的两个理性的代理人，其目标是建立一个共同的语言表示信息需求的形式查询。我们提出了一种强化学习方法，学习和回答查询背后的信息需求，并适应用户的策略变化，并证明它提高了回答查询的有效性随机发言。我们提出了这种方法在大型关系数据库上的两种有效实现。我们对真实世界的查询工作负载进行了广泛的实证研究，表明我们的算法是高效和有效的。
2018-05-04 cs.AI cs.DB
The False Dawn: Reevaluating Google's Reinforcement Learning for Chip Macro Placement
Univ. of Michigan（密歇根大学）；Google（谷歌）；Meta；Stanford（斯坦福大学）；Nova Ukraine（乌克兰新星）；UCSD（加州大学圣地亚哥分校）
本文通过元分析重新评估谷歌用于芯片宏布局的强化学习方法，揭示其落后于人类设计师、模拟退火算法和商业软件，并指出原《自然》论文存在严重完整性问题。
2024-09-28 cs.AI cs.AR cs.CY
IPAPRec: A promising tool for learning high-performance mapless navigation skills with deep reinforcement learning
National University of Singapore（新加坡国立大学）；Advanced Remanufacturing and Technology Centre（先进再制造与技术中心）；Zhejiang University（浙江大学）
研究如何提高深度强化学习（Deep Reinforcement Learning，DRL）训练的导航Agent的泛化性能和学习速度。虽然DRL在机器人无地图导航方面具有巨大的潜力，但在训练场景中表现良好的DRL代理通常在不熟悉的场景中表现不佳。在这项工作中，我们提出LiDAR读数的表示是代理性能下降背后的关键因素，并提出了一个强大的输入预处理（IP）方法来解决这个问题。由于这种方法使用自适应参数倒数函数来预处理LiDAR读数，因此我们将这种方法称为IPAPRec，将其归一化版本称为IPAPRecN。IPAPRec/IPAPRecN可以突出激光扫描中重要的短距离值，并压缩不重要的长距离值的范围，这很好地解决了传统激光扫描表示所引起的问题。它们的高性能得到了广泛的模拟和真实世界的实验验证。实验结果表明，与传统方法相比，该方法可以显著提高导航智能体的泛化性能，并大大减少训练时间。
2022-06-25 cs.AI cs.RO
Driver Modeling through Deep Reinforcement Learning and Behavioral Game Theory
Bilkent University（比尔肯特大学）
本文提出了一种深度强化学习和层次博弈论的协同组合，作为高速公路驾驶场景下驾驶员行为预测的建模框架。需要一个可以解决多个人与人和人与自动化交互的建模框架，其中所有代理都可以同时建模为决策者，这是这项工作背后的主要动机。这样的建模框架可以用于自动驾驶车辆的验证和确认：据估计，为了使自动驾驶车辆达到与有驾驶员的汽车相同的安全水平，需要数百万英里的驾驶测试。本文提出的建模框架可用于由多个人类决策者组成的高保真交通模拟器中，以通过允许安全和快速评估自动驾驶算法来减少测试所花费的时间和精力。为了证明所提出的建模框架的保真度，游戏理论的驱动程序模型进行比较，从交通数据中提取的真实人类驾驶员的行为模式。
2020-03-24 cs.LG cs.MA
Misspecification in Inverse Reinforcement Learning
Oxford University（牛津大学）
逆强化学习（IRL）的目的是从策略$π$推断奖励函数$R$。为此，我们需要一个$π$如何与$R$相关的模型。在目前的文献中，最常见的模型是最优性，玻尔兹曼合理性和因果熵最大化。IRL背后的主要动机之一是从人类行为中推断人类偏好。然而，人类偏好和人类行为之间的真实关系比IRL目前使用的任何模型都要复杂得多。这意味着它们被错误地指定，这引起了人们的担忧，即如果将它们应用于现实世界的数据，可能会导致不合理的推论。在本文中，我们提供了一个数学分析如何强大的不同的IRL模型是错误的规格，并准确地回答如何演示政策可能不同于每个标准模型之前，该模型导致错误的推断奖励函数$R$。我们还介绍了一个框架，推理IRL中的误指定，连同正式的工具，可以用来很容易地推导出新的IRL模型的误指定的鲁棒性。
2023-03-24 cs.LG
Convergence and stability of Q-learning in Hierarchical Reinforcement Learning
Institute for Systems Theory and Automatic Control, University of Stuttgart（斯图加特大学系统理论与自动控制研究所）
本文提出封建Q学习方案，分析其收敛与稳定性，并通过实验验证理论结果，为分层强化学习提供理论基础。
2025-11-21 cs.LG cs.SY eess.SY
Neural architecture impact on identifying temporally extended Reinforcement Learning tasks
Albert-Ludwigs-University, Freiburg（弗赖堡阿尔伯特-路德维希大学）
针对深度强化学习神经网络可解释性差的问题，提出多种基于注意力的强化学习架构及适配图像RL的Vision Transformer架构，在Atari游戏上表现良好且更易解释、训练更快更省资源。
2023-10-04 cs.AI cs.LG
