Digital Twin-Driven Adaptive Sim-to-Real Alignment via Reinforcement Learning for Vibration-Based Bearing Health Monitoring Under Data Scarcity
Harbin Institute of Technology, China（哈尔滨工业大学，中国）；Eastern Institute of Technology, China（东方技术研究院，中国）
针对数据稀缺下振动监测的故障诊断问题，提出基于强化学习的数字孪生自适应对齐方法，通过策略网络为不同故障类型生成特定仿射变换，平衡特征间隙与类间可分性，在三个数据集上验证了有效性。
2026-06-25 cs.CL cs.LG
Approximating Shapley Explanations in Reinforcement Learning
University of Bath（巴斯大学）
本文提出FastSVERL方法，通过近似Shapley值实现强化学习解释的可扩展计算，以应对时间依赖、离线数据和智能体行为演化等挑战。
2025-11-08 cs.LG
Principled Fast and Meta Knowledge Learners for Continual Reinforcement Learning
University of Alberta（阿尔伯塔大学）；National Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institution of Automation, Chinese Academy of Sciences（认知与决策智能复杂系统国家重点实验室，自动化研究所，中国科学院）；Edmonton Research Center, Huawei Canada（华为加拿大爱德蒙顿研究中心）；Huawei Noah’s Ark Lab（华为诺亚实验室）；BetaInfinity
本研究提出双学习器框架，通过快速学习器与元学习器协同作用，解决持续强化学习中的知识转移与整合问题，实现高效累积学习。
2026-03-01 cs.LG
Towards Principled Unsupervised Multi-Agent Reinforcement Learning
Politecnico di Milano（米兰理工学院）；Technion（技术学院）
本文研究多智能体无监督预训练与任务无关探索问题，刻画不同目标形式的理论及实践难点，提出可扩展的去中心化信赖域策略搜索算法，并通过数值验证表明混合熵在可处理性与性能间具有优异权衡。
2025-10-19 cs.AI cs.LG
All Models are Wrong, Knowing Where is Useful: On Model Uncertainty in Reinforcement Learning
German Federal Ministry of Research, Technology and Space (BMFTR)（德国联邦研究、技术和空间部）；Robotics Institute Germany (RIG)（德国机器人研究所）；Institute for Data Science in Mechanical Engineering, RWTH Aachen University（机械工程数据科学研究所，亚琛工业大学）；NHR Center NHR4CES at RWTH Aachen University（亚琛工业大学NHR4CES中心）
提出通过针对性处理概率模型的不确定性来减轻模型利用的框架，并展示在硬件直接学习和安全探索方面的成功。
2026-05-31 cs.LG cs.SY eess.SY
Abstraction for Deep Reinforcement Learning
DeepMind（深度思维）；Imperial College London（伦敦帝国理工学院）；Santa Fe Institute（圣塔菲研究所）
我们在深度强化学习的背景下解决抽象问题。类比推理和联想记忆的各种成熟方法可能会对这个问题产生影响，但由于需要端到端的可微性，它们存在困难。我们回顾了人工智能和机器学习的发展，这些发展可以促进它们的采用。
2022-04-29 cs.AI cs.LG
Edge-Compatible Reinforcement Learning for Recommendations
Adobe Research（Adobe研究院）
大多数为边缘计算设计的强化学习（RL）推荐系统必须在推荐选择期间同步，或者依赖于无原则的拼凑算法集合。在这项工作中，我们建立在异步coagent策略梯度算法\citep{kostas2020asynchronous}提出了一个原则性的解决方案，这个问题。我们提出的这类算法可以在互联网上分发，并异步实时运行。当给定的边缘无法以足够的速度响应数据请求时，这不是问题;该算法旨在边缘设置中运行和学习，网络问题是此设置的一部分。其结果是一个有原则的，理论上有基础的RL算法，旨在分布在这个异步环境中并在其中学习。在这项工作中，我们详细描述了这种算法和一类建议的架构，并证明他们在实践中工作良好的异步设置，即使网络质量下降。
2022-08-10 cs.LG
Who Bears the Burden? Learning Responsibility for Shared Constraints in Multi-Agent Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）
针对多智能体共享成本约束的惩罚分配问题，提出LiRA方法，通过学习共同乘子的责任份额优化社会福利，在多个基准上提升平均福利达29%。
2026-10-07 cs.AI cs.GT cs.LG
Can Optimal Transport Improve Federated Inverse Reinforcement Learning?
Rochester Institute of Technology（罗切斯特理工学院）
本文提出基于最优传输的联邦逆强化学习方法，通过Wasserstein均值融合提升跨异构环境的奖励估计一致性。
2026-01-01 cs.LG cs.SY eess.SY
Optimism as Risk-Seeking in Multi-Agent Reinforcement Learning
Laboratory for Information & Decision Systems, Massachusetts Institute of Technology（信息与决策系统实验室，麻省理工学院）；Harvard University（哈佛大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对协作式多智能体强化学习中风险规避导致次优均衡的问题，基于凸风险度量对偶表示提出原则性框架，将风险寻求目标解释为乐观主义，推导策略梯度定理并开发去中心化算法，实证表明其持续改善协调。
2025-11-11 cs.LG cs.SY eess.SY
Reinforcement Learning with Anticipation: A Hierarchical Approach for Long-Horizon Tasks
National Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学）；School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学）
针对长时程目标条件任务中分层强化学习的不稳定性与缺乏理论保证问题，提出RLA框架，通过低层策略与高层预期模型协同，基于价值几何一致性训练，实现全局最优策略的收敛。
2025-09-06 cs.LG
TGRL: An Algorithm for Teacher Guided Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；Technion - Israel Institute of Technology（以色列理工学院）
TGRL通过比较有无教师监督的反事实表现，动态自动平衡教师引导与奖励学习，在无需超参数调优的情况下在多个领域优于强基线。
2024-02-20 cs.LG
A Principled Path to Fitted Distributional Evaluation
Texas A&M University（德克萨斯A&M大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；George Washington University（乔治华盛顿大学）
本文针对分布离策略评估缺乏统一设计框架的问题，提出构建有理论依据的 FDE 方法的指导原则，开发新方法并证明现有方法，实验显示其优越性能。
2025-10-19 cs.LG stat.ML
Principled Exploration via Optimistic Bootstrapping and Backward Induction
Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）；Tencent Robotics X（腾讯 Robotics X）；Tianjin University（天津大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
一种可证明有效的探索的原则方法是将置信上限（UCB）作为奖励并入价值函数中。然而，UCB被指定用于处理线性和表格设置，并且与深度强化学习（DRL）不兼容。在本文中，我们提出了一个原则性的探索方法DRL通过乐观引导和反向归纳（OB 2 I）。OB 2 I通过DRL中的非参数bootstrap构建了通用的UCB奖金。UCB奖金估计乐观探索的状态-动作对的认知不确定性。我们在线性环境中建立了拟议的UCB奖金和LSVI-UCB之间的理论联系。我们传播未来的不确定性在一个时间一致的方式通过情节向后更新，这利用了理论上的优势，并在经验上提高了样本效率。我们在MNIST迷宫和Atari套件中的实验表明，OB 2 I优于几种最先进的探索方法。
2021-05-17 cs.LG
Approximate Model-Based Shielding for Safe Reinforcement Learning
Imperial College London（帝国理工学院）
针对强化学习应用于安全关键系统时样本效率低、无最坏性能保障的问题，提出无需系统安全动力学先验的近似基于模型屏蔽算法AMBS，有理论支撑且在带状态依赖安全标签的Atari游戏上性能优于其他安全方法。
2023-07-27 cs.AI cs.LG cs.SY
Explaining Reinforcement Learning with Shapley Values
University of Bath（巴斯大学）
针对强化学习系统的可解释性需求，本文提出用于解释强化学习的Shapley值框架SVERL，分析了过往方法的局限，该方法能在多领域生成符合人类直觉的智能体性能解释。
2023-06-09 cs.LG
Convergence and stability of Q-learning in Hierarchical Reinforcement Learning
Institute for Systems Theory and Automatic Control, University of Stuttgart（斯图加特大学系统理论与自动控制研究所）
本文提出封建Q学习方案，分析其收敛与稳定性，并通过实验验证理论结果，为分层强化学习提供理论基础。
2026-11-13 cs.LG eess.SY math.OC
Deep Reinforcement Learning for Asset Allocation: Reward Clipping
SK Inc.(SK C&C)（SK集团（SK C&C））
近年来，有许多尝试将强化学习应用于资产配置，以获得更稳定的利润。在本文中，我们比较了几种强化学习算法-仅演员，演员评论家和PPO模型之间的性能。在此基础上，分析了各种模型的特点，并介绍了改进的算法，即奖励裁剪模型。在金融领域中，特别是在投资组合优化方面，报酬裁剪模型似乎优于其他现有的模型，无论是在牛市还是熊市中，它都具有优势。最后，我们将这些模型与传统投资策略在市场下降和上升期间的表现进行比较。
2023-01-02 cs.AI cs.LG q-fin.CP
Multi-lane Cruising Using Hierarchical Planning and Reinforcement Learning
胜任多车道巡航需要使用车道变化和车道内机动，以达到良好的速度和保持安全。提出了一种结合分层强化学习框架和状态-动作空间抽象的多车道自主巡航系统设计。虽然所提出的解决方案遵循行为决策，运动规划和控制的经典层次结构，它引入了一个关键的中间抽象的运动规划器内的状态动作空间离散化，根据高层次的行为决策。我们认为，这种设计允许有原则的运动规划模块化扩展，相比之下，使用单片行为克隆或一大套手写的规则。此外，我们证明了我们的状态-动作空间抽象允许训练模型的转移，而无需从几乎没有动态的模拟环境重新训练到具有更真实动态的模拟环境。总之，这些结果表明，我们提出的分层架构是一种很有前途的方式，使强化学习应用于复杂的多车道巡航在现实世界中。
2021-10-01 cs.LG cs.RO cs.SY
TROLL: Trust Regions improve Reinforcement Learning for Large Language Models
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Microsoft Research（微软研究院）
TROLL通过引入基于信任区域的离散可微投影，改进了大型语言模型的强化学习训练，提升了训练速度、稳定性和最终成功率。
2026-02-23 cs.LG stat.ML
Reinforcement Learning, Bit by Bit
DeepMind（深度思维公司）
本文探讨强化学习在真实环境中数据效率低下的问题，通过概念与遗憾分析提供信息获取与保留的原则性指导，并设计简单智能体验证其数据效率。
2023-05-04 cs.AI cs.LG
Self-Paced Contextual Reinforcement Learning
Technische Universität Darmstadt（达姆施塔特工业大学）
将学习到的技能推广和适应新的情况是智能自主机器人的核心要求。尽管上下文强化学习为跨相关任务的行为的学习和概括提供了原则性框架，但它通常依赖于从未知的、不受控制的上下文分布中对环境进行不知情的采样，从而错过了结构化的顺序学习的好处。我们引入了一种新的相对熵强化学习算法，使代理的自由来控制中间任务分布，允许其逐步向目标上下文分布。实证评估表明，所提出的课程学习计划大大提高了样本效率，并使学习的情况下，广泛和尖锐的目标上下文分布，其中经典的方法执行次优。
2019-10-07 cs.LG stat.ML
Will it Blend? Composing Value Functions in Reinforcement Learning
University of the Witwatersrand（威特沃特斯兰德大学）；Council for Scientific and Industrial Research（科学与工业研究委员会）
终身学习代理的一个重要属性是结合现有技能来解决看不见的任务的能力。然而，一般来说，如何以原则性的方式组合技能还不清楚。我们提供了一个“配方”的熵正则化强化学习（RL）的最佳价值函数的组成，然后将其扩展到标准的RL设置。在视频游戏环境中演示了组合，其中具有现有策略库的代理能够解决新任务，而无需进一步学习。
2018-07-12 cs.LG stat.ML
Preference elicitation and inverse reinforcement learning
Frankfurt Institute for Advanced Studies（法兰克福高等研究院）；EPFL（洛桑联邦理工学院）
我们陈述了逆强化学习在偏好诱导方面的问题，从而得到了一个原则性的（贝叶斯）统计公式。这概括了以前的工作贝叶斯逆强化学习，并允许我们获得一个后验分布代理的偏好，政策和可选的，获得的奖励序列，从观察。通过分析和实验结果，我们研究了所得方法与其他统计方法的关系。我们表明，偏好可以准确地确定，即使所观察到的代理的政策是次优相对于自己的喜好。在这种情况下，显着改善的政策，相对于代理的喜好，获得相比，其他方法和表现的政策。
2011-06-29 cs.LG stat.ML
RLCSD: Reinforcement Learning with Contrastive On-Policy Self-Distillation
Tsinghua University（清华大学）；Tongyi Lab, Alibaba Group（阿里巴巴集团通义实验室）；Peking University（北京大学）
针对策略自蒸馏中特权诱导的风格漂移问题，提出RLCSD方法，通过对比正确与错误提示下的师生差距来抑制风格偏移，提升推理模型在数学和逻辑推理任务上的性能。
2026-09-15 cs.CL cs.LG
Sensor to Pixels: Decentralized Swarm Gathering via Image-Based Reinforcement Learning
Technion Israel Institute of Technology（技术学院以色列理工学院）
本研究提出了一种基于图像强化学习的去中心化蜂群聚集方法，通过结构化视觉输入提升多智能体系统的收敛效率。
2026-01-06 cs.LG cs.MA cs.SY
Offline Reinforcement Learning with Generative Trajectory Policies
School of Computing, Data Sciences；Computer Engineering Department, UCLA, Los Angeles, USA
本文提出生成轨迹策略（GTP），通过统一扩散、流匹配和一致性模型为常微分方程驱动的连续时间生成轨迹，并引入两种理论自适应方法，在D4RL基准上达到最先进性能。
2026-05-28 cs.AI cs.LG
Optimistic World Models: Efficient Exploration in Model-Based Deep Reinforcement Learning
Department of Electrical；Computer Engineering, Texas A\&M University, College Station, Texas, USA
本文提出乐观世界模型，通过引入乐观动态损失提升深度强化学习中的高效探索能力，显著提高样本效率和累积回报。
2026-02-10 cs.AI cs.LG cs.SY
Reinforcement Learning via AIXI Approximation
University of NSW（新南威尔士大学）；NICTA（澳大利亚国家信息与通信技术研究院）；Medicare Australia（澳大利亚医疗保险局）；ANU（澳大利亚国立大学）；University College London（伦敦大学学院）
本文介绍了一个可扩展的通用强化学习代理的设计原则。这种方法是基于一个直接近似的AIXI，贝叶斯最优概念一般强化学习代理。在此之前，人们还不清楚AIXI的理论是否能够激励实际算法的设计。我们回答这个迄今为止开放的问题是肯定的，通过提供第一个计算上可行的近似AIXI代理。为了发展我们的近似，我们引入了一个蒙特卡罗树搜索算法以及代理特定的扩展上下文树加权算法。经验上，我们提出了一组令人鼓舞的结果，一些随机的，未知的，部分可观察的域。
2010-07-13 cs.LG
Asset Allocation: From Markowitz to Deep Reinforcement Learning
Open University of Catalonia（加泰罗尼亚开放大学）
资产配置是一种投资策略，旨在根据一定的目标、风险承受能力和投资期限，通过不断地重新分配投资组合的资产，来平衡风险和回报。不幸的是，没有简单的公式可以为每个人找到正确的分配。因此，投资者可能会使用不同的资产配置策略来尝试实现其财务目标。在这项工作中，我们进行了广泛的基准研究，以确定一些优化技术的有效性和可靠性。特别是，我们专注于基于现代投资组合理论的传统方法，以及基于深度强化学习的机器学习方法。我们评估了模型在不同市场趋势下的表现，即，看涨和看跌的市场。为了可重复性，我们在此存储库中提供了代码实现代码。
2022-07-14 cs.AI cs.LG q-fin.PM
Robust Inverse Reinforcement Learning under Transition Dynamics Mismatch
EPFL（洛桑联邦理工学院）；The Alan Turing Institute（艾伦图灵研究所）；University of Cambridge（剑桥大学）
研究了专家和学习者之间转换动力学失配下的逆强化学习（IRL）问题。具体而言，我们认为最大因果熵（MCE）IRL学习模型，并提供了一个严格的上限学习者的性能退化的基础上的$\ell_1$ -专家和学习者之间的过渡动态的距离。利用Robust RL文献中的见解，我们提出了一种鲁棒的MCE IRL算法，这是一种帮助解决这种不匹配的原则性方法。最后，我们经验证明了我们的算法相比，标准MCE IRL算法在有限和连续MDP问题的过渡动态失配的稳定性能。
2021-11-30 cs.LG stat.ML
Hardness in Markov Decision Processes: Theory and Practice
Queen Mary University of London（伦敦玛丽女王大学）
仔细分析强化学习方法在困难（具有挑战性）环境中的经验优势和弱点对于激励创新和评估该领域的进展至关重要。在表格式强化学习中，没有建立良好的环境选择标准来进行这种分析，这部分是由于缺乏对丰富的环境硬度理论的广泛理解。本文的目标是通过四个主要贡献来揭示这一理论的实际用途。首先，我们提出了一个系统的调查理论的硬度，这也确定了有前途的研究方向。其次，我们介绍了Colosseum，这是一个开创性的软件包，可以进行经验硬度分析，并实现了由不同硬度测量方法组成的环境的原则性基准。第三，我们提出了一个实证分析，提供了新的见解可计算的措施。最后，我们在我们新提出的基准测试五个表格代理。虽然推进对非表格强化学习中硬度的理论理解仍然至关重要，但我们在表格设置中的贡献旨在为原则性非表格基准迈出坚实的一步。因此，我们基准四个代理在非表格版本的斗兽场环境，获得的结果表明，表格硬度措施的一般性。
2022-10-24 cs.LG
Thermodynamics of Reinforcement Learning Curricula
本文基于非平衡热力学提出强化学习课程的几何框架，通过最小化超额热力学功确定最优课程，提出MEW算法用于最大熵强化学习的温度退火调度。
2026-03-12 cs.AI cs.LG
EUBRL: Epistemic Uncertainty Directed Bayesian Reinforcement Learning
National University of Singapore（新加坡国立大学）
EUBRL通过信念不确定性引导，在稀疏奖励、长时间跨度和随机性任务中实现了高效、可扩展且一致的强化学习性能。
2026-02-28 cs.LG
AstraFlow: Dataflow-Oriented Reinforcement Learning for Agentic LLMs
Carnegie Mellon University（卡内基梅隆大学）；University of Michigan（密歇根大学）；UC Berkeley（加州大学伯克利分校）；Meta
AstraFlow通过数据流导向的强化学习系统，实现复杂多策略协作训练和高效利用异构计算资源，提升代理LLM的推理与工具使用能力。
2026-05-15 cs.AI cs.LG
Reinforcement Learning and Control as Probabilistic Inference: Tutorial and Review
UC Berkeley（加州大学伯克利分校）
强化学习或最优控制的框架提供了智能决策的数学形式化，其功能强大且适用广泛。虽然强化学习问题的一般形式能够对不确定性进行有效推理，但强化学习与概率模型中的推理之间的联系并不明显。然而，当涉及到算法设计时，这种联系具有相当大的价值：原则上将问题形式化为概率推理，使我们能够使用各种近似推理工具，以灵活而强大的方式扩展模型，并推理组合性和部分可观测性。在这篇文章中，我们将讨论如何推广的强化学习或最优控制问题，这有时被称为最大熵强化学习，是等价于确定性动力学的情况下的精确概率推理，和变分推理的情况下的随机动力学。我们将提出一个详细的推导这个框架，概述以前的工作，借鉴了这一点和相关的想法，提出新的强化学习和控制算法，并描述未来的研究前景。
2018-05-20 cs.AI cs.LG cs.RO
Correlation Priors for Reinforcement Learning
Technische Universität Darmstadt（达姆施塔特工业大学）
许多决策问题自然地表现出从底层环境的特征继承的明显结构。例如，在马尔可夫决策过程模型中，两个不同的状态可以具有内在相关的语义或编码类似的物理状态配置。这通常意味着状态之间的局部相关过渡动态。为了在这样的环境中完成某项任务，操作Agent通常需要执行一系列时间和空间相关的动作。虽然存在各种方法来捕捉这些连续的状态动作域的相关性，离散环境的原则性解决方案是失踪。在这项工作中，我们提出了一个贝叶斯学习框架的基础上Pólya-Gamma增强，使类似的推理在这种情况下。我们展示了一些常见的决策相关的问题，如模仿学习，子目标提取，系统辨识和贝叶斯强化学习的框架。通过显式地对这些问题的潜在相关性结构进行建模，所提出的方法与相关性不可知模型相比，即使在大小小一个数量级的数据集上进行训练，也会产生更好的预测性能。
2019-10-28 cs.AI cs.LG cs.SY
Knowing When to Quit: A Principled Framework for Dynamic Abstention in LLM Reasoning
Hebrew University of Jerusalem（特拉维夫大学）
本文提出一个基于正则化强化学习框架的动态弃权原则，通过价值函数与弃权奖励的比较来决定是否提前终止推理，在数学推理和毒性避免任务上优于现有方法。
2026-06-15 cs.CL cs.LG stat.ML
Theoretically Principled Deep RL Acceleration via Nearest Neighbor Function Approximation
University of California, Los Angeles（加州大学洛杉矶分校）
最近，深度强化学习（RL）通过将深度神经网络集成到RL框架中，取得了显著的经验成功。然而，这些算法往往需要大量的训练样本，并承认很少的理论理解。为了缓解这些问题，我们提出了一种理论上有原则的最近邻（NN）函数近似器，可以改善深度RL方法中的价值网络。受人类相似性判断的启发，NN近似器使用对过去观察的滚动来估计动作值，并且可以证明获得仅取决于环境的内在复杂性的小遗憾界。我们提出了（1）最近邻行为者-评论家（NNAC），一种在线策略梯度算法，证明了将函数近似与深度RL相结合的实用性，以及（2）一个即插即用的NN更新模块，有助于训练现有的深度RL方法。经典控制和MuJoCo运动任务的实验表明，神经网络加速代理实现更高的样本效率和稳定性比基线代理。基于其理论上的优势，我们相信NN逼近器可以进一步应用于其他复杂领域，以加快学习。
2021-10-09 cs.AI cs.LG
Virtual vs. Real: Trading Off Simulations and Physical Experiments in Reinforcement Learning with Bayesian Optimization
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zurich（苏黎世联邦理工学院）；Max Planck ETH Center for Learning Systems（马克斯·普朗克-苏黎世联邦理工学习系统中心）
本文提出利用模拟数据优化强化学习，通过结合低成本但不准确的模拟信息与高成本但准确的物理实验，提高效率。
2017-03-03 cs.LG cs.RO cs.SY
Sample-Efficient Reinforcement Learning with Maximum Entropy Mellowmax Episodic Control
Imperial College London（帝国理工学院）
深度网络使强化学习能够扩展到更复杂和更具挑战性的领域，但这些方法通常需要大量的训练数据。另一种方法是使用样本有效的情景控制方法：神经启发算法，其使用非/半参数模型，基于存储和检索先前经历的过渡来预测值。进一步提高这些方法的样本效率的一种方式是使用更有原则的探索策略。因此，在这项工作中，我们提出了最大熵mellowmax情节控制（MEMEC），根据玻尔兹曼政策与状态相关的温度采样行动。我们证明了MEMEC在经典的强化学习环境和Atari游戏中优于其他基于不确定性和softmax的探索方法，实现了更快速的学习和更高的最终奖励。
2019-11-21 cs.LG cs.NE stat.ML
Incorporating Explicit Uncertainty Estimates into Deep Offline Reinforcement Learning
New York University（纽约大学）；Microsoft Research Montréal（微软蒙特利尔研究院）
在离线强化学习环境中，大多数理论上的工作都需要精确的不确定性估计。这一要求限制了在该工作中推导出的算法，以表格和线性设置，其中存在这样的估计。在这项工作中，我们开发了一种新的方法，将可扩展的不确定性估计到一个称为深SPIBB的离线强化学习算法，扩展SPIBB系列算法的环境具有更大的状态和动作空间。我们使用深度学习社区最近在不确定性估计方面的创新，以获得更可扩展的不确定性估计，以插入到深度SPIBB中。虽然这些不确定性的估计不允许在表格的情况下，相同的理论保证，我们认为，SPIBB机制，将不确定性是更强大和更灵活的比悲观的方法，将不确定性作为一个价值函数罚款。我们从经验上证明了这一点，表明深度SPIBB在获得相同不确定性估计的情况下优于基于悲观主义的方法，并且在多个环境和数据集上的表现至少与其他各种强基线相当。
2022-06-02 cs.LG
ReLOAD: Reinforcement Learning with Optimistic Ascent-Descent for Last-Iterate Convergence in Constrained MDPs
UCL（伦敦大学学院）；DeepMind（深度思维）
近年来，强化学习（RL）已被应用于现实世界的问题越来越成功。这样的应用程序通常需要对代理的行为进行约束。现有的约束RL（CRL）算法依赖于梯度下降-上升，但这种方法有一个警告。虽然这些算法保证平均收敛，但它们不保证最后收敛，即，代理的当前策略可能永远不会收敛到最优解。在实践中，人们经常观察到，政策在满足约束和最大化奖励之间交替，很少同时实现这两个目标。在这里，我们通过引入带有乐观上升下降（ReLOAD）的强化学习来解决这个问题，这是一种具有保证最后收敛性的原则CRL方法。我们证明了它的经验有效性的各种CRL问题，包括离散MDP和连续控制。在这个过程中，我们建立了一个具有挑战性的CRL问题的基准。
2023-03-06 cs.LG
The Art of Scaling Reinforcement Learning Compute for LLMs
Meta；Harvard University（哈佛大学）；Periodic Labs
本研究通过40万GPU小时的大规模实验，提出RL计算扩展的预测框架，并给出最佳实践方案ScaleRL，成功在10万GPU小时运行中预测验证性能。
2025-10-15 cs.AI cs.LG
Extended Radial Basis Function Controller for Reinforcement Learning
Tsinghua University（清华大学）；Amazon Studios（亚马逊影业）
在强化学习中已经尝试利用关于系统结构的先验知识。本文提出了一种混合强化学习控制器，动态插值基于模型的线性控制器和任意可微的政策。线性控制器的设计基于局部线性化模型知识，并稳定系统在附近的一个工作点。两个控制器之间的插值系数由测量当前状态和操作点之间的距离的缩放距离函数确定。整个混合控制器被证明保持附近的工作点的稳定性保证，并仍然具有通用函数逼近属性的任意非线性政策。学习已经完成了基于模型（PILCO）和无模型（DDPG）的框架。在OpenAI gym上进行的仿真实验证明了所提出的混合控制器的稳定性和鲁棒性。因此，本文介绍了一种原则性的方法，允许直接导入控制方法到强化学习。
2020-12-09 cs.LG stat.ML
CurveRL: Principled Distribution-Aware Context Reweighting for LLM Reasoning
University of Pennsylvania（宾夕法尼亚大学）
本文提出CurveRL方法，通过分位数坐标变换实现分布感知的提示重加权，在RLVR框架下统一优化理论并显著提升推理性能。
2026-05-23 cs.LG stat.ML
Hierarchical Reinforcement Learning with Uncertainty-Guided Diffusional Subgoals
Aalto University（阿尔托大学）
针对分层强化学习中低层策略变化导致高层难以生成有效子目标的问题，提出利用高斯过程先验正则化的条件扩散模型生成复杂子目标并进行不确定性量化，显著提升了样本效率和性能。
2025-05-27 cs.LG
There are Levels to It: Red Teaming Dialogue With Hierarchical Reinforcement Learning
本文提出将LLM红队测试形式化为马尔可夫决策过程，采用分层强化学习训练生成式智能体，通过细粒度token级有害性奖励学习多轮攻击策略，以发现现有方法遗漏的微妙漏洞，实现更稳健的AI部署。
2026-10-14 cs.AI cs.LG
Fast TRAC: A Parameter-Free Optimizer for Lifelong Reinforcement Learning
Harvard College（哈佛学院）；Harvard University（哈佛大学）
针对终身强化学习中的可塑性丧失问题，本文基于在线凸优化理论提出无参数优化器TRAC，无需调参和分布偏移先验，在多环境实验中验证了其缓解可塑性丧失、快速适应分布偏移的优异效果。
2024-10-30 cs.AI cs.LG
Maximum Entropy Diverse Exploration: Disentangling Maximum Entropy Reinforcement Learning
Binghamton University（宾汉姆顿大学）；Yantai University（烟台大学）
两个迄今为止断开的研究线程，多样性探索（DE）和最大熵强化学习已经解决了强化学习算法通过表面上不同的机制所面临的广泛问题。在这项工作中，我们确定了这两种方法之间的联系。首先，提出了一个基于鉴别器的多样性目标，并将其与常用的发散性度量相连接。然后，我们将这个目标扩展到最大熵框架，并提出了一个算法最大熵多样性探索（MEDE），它提供了一个原则性的方法来学习不同的行为。理论研究表明，由MEDE学习的策略集捕获与最优最大熵策略相同的模态。实际上，所提出的算法将最大熵策略分解为不同的组成策略。实验表明，MEDE在学习高性能和多样化的策略方面优于现有技术。
2019-11-03 cs.AI cs.LG stat.ML
Variance-Aware Baselines and Adaptive Learning Rates for Reinforcement Learning with Verifiable Rewards
University of California, Berkeley（加州大学伯克利分校）
OBLR-PO通过理论框架优化学习率和基线，提升大型语言模型后训练的稳定性与性能。
2026-08-04 cs.LG stat.ML
Deep Epistemic Value Functions for Optimistic Exploration
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
针对深度认知价值函数在探索中的脆弱性，本文通过系统实证分析揭示其表示、传播和优化中的失败模式，提出DEVOTE算法，在无奖励探索和连续控制任务中更有效地到达新状态并获得更高回报。
2026-09-29 cs.LG
Mean--Variance Portfolio Selection by Continuous-Time Reinforcement Learning: Algorithms, Regret Analysis, and Empirical Study
Columbia University（哥伦比亚大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出一种连续时间强化学习方法，用于均值-方差投资组合选择，通过直接学习预承诺投资策略，不需估计市场系数，并在Black-Scholes市场中证明了其性能保证，实证显示其在波动市场中表现优异。
2026-11-13 cs.LG eess.SY math.OC
Robust Point Cloud Reinforcement Learning via PCA-Based Canonicalization
Purdue University（普渡大学）
针对点云强化学习对相机位姿不匹配敏感的问题，提出基于PCA的点云规范化框架PPC，将点云对齐到统一规范位姿，提升了机器人任务对未见相机位姿的鲁棒性。
2025-10-28 cs.LG cs.RO
