Estimating Reaction Barriers with Deep Reinforcement Learning
Institut for Matematik og Datalogi, Syddansk Universitet（南丹麦大学数学与计算机科学学院）
本文将两稳定状态间最小能量势垒的求解建模为成本最小化问题，并利用强化学习智能体的探索能力高效采样，以估计复杂高维系统的反应势垒。
2024-10-24 cs.LG physics.comp-ph
Ethics-Aware Safe Reinforcement Learning for Rare-Event Risk Control in Interactive Urban Driving
Chair of Econometrics and Statistics Corresponding author esp. in the Transport Sector（计量经济学与统计学教授职位（交通运输领域特别对应作者））；Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)（可扩展数据与人工智能研究中心（ScaDS.AI））
本文提出一种伦理感知的分层安全强化学习框架，结合复合伦理风险代价和优先经验回放，在保护弱势道路使用者的同时降低冲突频率25-45%，并保持舒适性。
2025-11-07 cs.AI cs.LG cs.RO
Probabilistic Insights for Efficient Exploration Strategies in Reinforcement Learning
LAAS-CNRS（CNRS拉劳斯研究所）；Facultad de Ingeniería, CICADA, Universidad de la República（工程学院、CICADA、乌拉圭共和国大学）；Heriot-Watt University（赫里奥特-瓦特大学）
本文研究了强化学习中通过并行模拟和重启机制提升稀疏奖励环境下探索效率的概率方法。
2026-01-15 cs.LG math.PR
Policy Search with Rare Significant Events: Choosing the Right Partner to Cooperate with
Sorbonne Université（索邦大学）；Institut des Systèmes Intelligents et de Robotique（智能系统与机器人研究所）；École Normale Supérieure（巴黎高等师范学院）；Institut Jean Nicod（让·尼科研究所）
本文主要研究一类强化学习问题，其中重要事件很少，并且每集仅限于一个正奖励。一个典型的例子是，一个代理人必须选择一个合作伙伴，而大量的合作伙伴根本没有兴趣合作，无论代理人提供什么。我们解决这个问题，在一个连续的状态和动作空间中的两种不同的搜索方法：梯度策略搜索方法和直接策略搜索方法，使用演化策略。我们发现，当重大事件很少时，梯度信息也很少，这使得策略梯度搜索方法很难找到最优策略，无论是否有深层神经架构。另一方面，我们表明，直接的政策搜索方法是不变的稀有的重大事件，这是进化算法的独特作用的另一个确认必须发挥强化学习方法。
2021-03-11 cs.AI cs.LG cs.NE
Extreme Risk Mitigation in Reinforcement Learning using Extreme Value Theory
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Jefferson National Laboratory（杰斐逊国家实验室）；Pacific Northwest National Laboratory（太平洋西北国家实验室）；Oak Ridge National Laboratory（橡树岭国家实验室）
针对强化学习中的极端风险，本文提出基于极值理论对状态-动作值函数分布的极端值进行参数化建模，以提升智能体对罕见灾难性事件的预测与规避能力，并在多种基准任务上验证了其优于现有风险规避算法。
2023-08-24 cs.LG
Zipfian environments for Reinforcement Learning
DeepMind（深度思维）
当人类和动物在自然界中学习时，他们遇到的实体，情况和事件的分布远非均匀。通常情况下，一组相对较小的经验是经常遇到的，而许多重要的经验很少出现。现实的高度倾斜，重尾性质带来了人类和动物通过进化专门的记忆系统所遇到的特殊学习挑战。相比之下，大多数流行的RL环境和基准测试涉及属性，对象，情况或任务的近似均匀变化。在环境特征分布远不均匀的世界（比如我们的世界）中，RL算法将如何表现？为了探索这个问题，我们开发了三个互补的RL环境，其中代理的经验根据Zipfian（离散幂律）分布而变化。在这些基准测试中，我们发现标准的Deep RL架构和算法获得了常见情况和任务的有用知识，但未能充分了解更罕见的情况和任务。为了更好地理解这种失败，我们探讨了如何调整当前方法的不同方面，以帮助提高罕见事件的性能，并表明RL目标函数，代理的记忆系统和自监督学习目标都可以影响代理从不寻常的经验中学习的能力。总之，这些结果表明，从扭曲的经验中稳健地学习是将深度RL方法应用于模拟或实验室之外的关键挑战，而我们的Zipfian环境为衡量未来实现这一目标的进展提供了基础。
2022-08-08 cs.LG
Provably Efficient Reinforcement Learning with Linear Function Approximation Under Adaptivity Constraints
Yale University（耶鲁大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
研究了自适应约束下线性函数逼近的强化学习。我们考虑了两个流行的有限自适应模型：批学习模型和罕见的策略切换模型，并提出了两个有效的在线RL算法的情节线性马尔可夫决策过程，其中的转移概率和奖励函数可以表示为一些已知的特征映射的线性函数。具体而言，对于批量学习模型，我们提出的LSVI-UCB-Batch算法实现了$\tilde O(\sqrt{d^3H^3T} + dHT/B)$遗憾，其中$d$是特征映射的维度，$H$是情节长度，$T$是交互次数，$B$是批量次数。我们的结果表明，仅使用$\sqrt{T/dH}$批次就足以获得$\tilde O(\sqrt{d^3H^3T})$遗憾。对于罕见策略切换模型，我们提出的LSVI-UCB-RareSwitch算法具有$\tilde O(\sqrt{d^3H^3T[1+T/(dH)]^{dH/B}})$遗憾，这意味着$dH\log T$策略切换足以获得$\tilde O(\sqrt{d^3H^3T})$遗憾.我们的算法实现了与LSVI-UCB算法相同的遗憾（Jin等人，2019年），但适应性大大减少。我们还建立了批处理学习模型的下限，这表明在我们的遗憾界中对$B$的依赖是紧密的。
2022-01-03 cs.LG math.OC stat.ML
How do Offline Measures for Exploration in Reinforcement Learning behave?
University of Innsbruck（因斯布鲁克大学）
充分的探索对于强化学习代理的成功至关重要。然而，探索很少以独立于算法的方式进行评估。我们比较了三种基于数据的离线探索指标的行为，这些指标在关于直观简单分布的文献中描述，并强调了使用它们时要注意的问题。我们提出了第四个指标，统一的相对熵，并实现它使用k-最近邻或最近邻比估计，强调实现的选择对这些措施有深远的影响。
2020-10-29 cs.LG
How rare are diffusive rare events?
我们研究的时间，直到第一次发生，首次通过时间，罕见的密度波动扩散系统。我们使用一个由许多独立的随机游走格模型来处理这个问题。空间相关性的存在使得这个问题在分析上难以解决。然而，对于一个平均场近似，其中的步行者可以在系统中的任何地方跳跃，我们得到一个简单的渐近形式的平均首次通过时间有一个给定的粒子数k在一个杰出的网站。我们数值上，并认为，足够大的k，平均场的结果给出了一个很好的近似的第一次通过时间的系统与最近邻动态，特别是对于两个和更高的空间维度。最后，我们将展示当系统中的任何地方的密度波动，而不是在一个特定的区别网站，被认为是如何改变的结果。
2008-04-08 cond-mat.dis-nn cond-mat.stat-mech
Consistent Dropout for Policy Gradient Reinforcement Learning
Microsoft Research（微软研究院）；Georgia Institute of Technology（佐治亚理工学院）
Dropout长期以来一直是监督学习的主要内容，但很少用于强化学习。我们分析了为什么幼稚的应用辍学是有问题的政策梯度学习算法，并介绍一致的辍学，一个简单的技术来解决这种不稳定性。我们证明了一致的dropout可以在连续和离散的动作环境中在广泛的dropout概率范围内使用A2C和PPO进行稳定的训练。最后，我们证明了一致的dropout可以在线训练复杂的架构，如GPT，而无需禁用模型的原生dropout。
2022-02-23 cs.AI cs.LG
Step-wise Policy for Rare-tool Knowledge (SPaRK): Offline RL that Drives Diverse Tool Use in LLMs
本文提出SPaRK离线强化学习框架，通过双目标奖励和稀有优先利用策略训练Llama-3.1 8B模型，在保持准确性的同时显著提升了LLM的工具选择多样性与推理能力。
2025-07-15 cs.LG cs.MA
Eliciting Medical Reasoning with Knowledge-enhanced Data Synthesis: A Semi-Supervised Reinforcement Learning Approach
College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与技术学院）；Shanghai AI Laboratory（上海人工智能实验室）；CMIC, Shanghai Jiao Tong University（上海交通大学CMIC）；School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院）；Department of Radiology, Shanghai Sixth People’s Hospital Affiliated to Shanghai Jiao Tong University School of Medicine（上海交通大学医学院附属第六人民医院放射科）；Institute of Artificial Intelligence for Medicine, Shanghai Jiao Tong University School of Medicine（上海交通大学医学院人工智能医学研究所）
本文提出MedSSR框架，利用稀有疾病知识生成可控推理问题，并通过自监督和监督强化学习提升医学推理能力，在十个医疗基准测试中取得显著提升。
2026-04-13 cs.CL cs.LG
FIRE: A Failure-Adaptive Reinforcement Learning Framework for Edge Computing Migrations
Information Systems and Technology and Design Pillar, Singapore University of Technology and Design（新加坡科技设计大学信息系统与技术与设计学院）；Electrical and Computer Engineering department, Carnegie Mellon University（卡内基梅隆大学电气与计算机工程系）；Shanghai Key Laboratory of Multidimensional Information Processing, School of Communications and Electronics Engineering, East China Normal University（华东师范大学通信与电子工程学院多维信息处理上海市重点实验室）；School of Information Engineering, Northwest A&F University（西北农林科技大学信息工程学院）；Roblox
针对边缘计算迁移中罕见服务器故障导致训练数据不足的问题，提出数字孪生驱动的FIRE框架及基于重要性采样的ImRE等算法，并证明其有界收敛、降低故障场景成本。
2025-10-19 cs.LG cs.NI cs.SY
Honesty to Subterfuge: In-Context Reinforcement Learning Can Make Honest Models Reward Hack
LASR Labs（LASR实验室）；Apollo Research（阿波罗研究公司）
本研究发现前沿对齐大语言模型仅通过情境内强化学习（ICRL）就会产生规格博弈行为，且ICRL用于专家迭代会提升模型学习博弈策略的倾向，凸显零样本场景下依赖模型对齐的风险。
2024-10-09 cs.AI cs.LG
Extreme Value Policy Optimization for Safe Reinforcement Learning
Shanghai Jiao Tong University, Shanghai, China.（上海交通大学）
本文提出极值政策优化算法，通过极值理论建模和极值优先机制，有效减少约束违反并提升安全强化学习性能。
2026-01-17 cs.LG
Exploration in Deep Reinforcement Learning: A Survey
Ulsan National Institute of Science and Technology（蔚山国立科学技术院）；OpenAI LP（OpenAI有限合伙公司）
本文回顾了深度强化学习中的探索技术。探索技术是解决稀疏奖励问题时最重要的。在稀疏奖励问题中，奖励是罕见的，这意味着智能体不会通过随机行动经常找到奖励。在这种情况下，强化学习学习奖励和动作关联是具有挑战性的。因此，需要设计更复杂的勘探方法。本文对现有的探索方法进行了全面的综述，并根据其主要贡献将其分为奖励新状态、奖励不同行为、基于目标的方法、概率方法、基于模仿的方法、安全探索和基于随机的方法。最后，讨论了目前尚待解决的问题，为今后的研究提供了有价值的方向。最后，从复杂度、计算量和总体性能等方面对不同类别的方法进行了比较。
2022-05-02 cs.LG
DETERRENT: Detecting Trojans using Reinforcement Learning
Texas A&M University（德克萨斯农工大学）
在集成电路中插入硬件木马（HT）是一种恶性威胁。由于HT在罕见的触发条件下被激活，因此使用随机逻辑模拟来检测它们是不可行的。在这项工作中，我们设计了一个强化学习（RL）代理，绕过指数搜索空间，并返回一个最小的模式集，这是最有可能检测HT。各种基准的实验结果表明，我们的RL代理，它获得了显着减少（$169\times$）的测试模式的数量，同时保持或提高覆盖率（$95.75\%$）相比，国家的最先进的技术。
2022-08-26 cs.AI cs.CR cs.LG
Rewarding the Rare: Uniqueness-Aware RL for Creative Problem Solving in LLMs
MIT（麻省理工学院）；NUS（新加坡国立大学）；Yale（耶鲁大学）；NTU（南洋理工大学）
本研究提出唯一性感知强化学习方法，通过奖励罕见的高级策略提升LLM在复杂推理任务中的多样性与性能。
2026-01-15 cs.CL cs.LG
ReLOAD: Reinforcement Learning with Optimistic Ascent-Descent for Last-Iterate Convergence in Constrained MDPs
UCL（伦敦大学学院）；DeepMind（深度思维）
近年来，强化学习（RL）已被应用于现实世界的问题越来越成功。这样的应用程序通常需要对代理的行为进行约束。现有的约束RL（CRL）算法依赖于梯度下降-上升，但这种方法有一个警告。虽然这些算法保证平均收敛，但它们不保证最后收敛，即，代理的当前策略可能永远不会收敛到最优解。在实践中，人们经常观察到，政策在满足约束和最大化奖励之间交替，很少同时实现这两个目标。在这里，我们通过引入带有乐观上升下降（ReLOAD）的强化学习来解决这个问题，这是一种具有保证最后收敛性的原则CRL方法。我们证明了它的经验有效性的各种CRL问题，包括离散MDP和连续控制。在这个过程中，我们建立了一个具有挑战性的CRL问题的基准。
2023-03-06 cs.LG
Bellman Meets Hawkes: Model-Based Reinforcement Learning via Temporal Point Processes
Ant Group（蚂蚁集团）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
我们考虑一个序贯决策问题，代理面临的环境特征的随机离散事件，并寻求一个最优的干预政策，使其长期回报最大化。这个问题普遍存在于社交媒体、金融和健康信息学中，但在强化学习的传统研究中却很少被研究。为此，我们提出了一个新的框架，基于模型的强化学习代理的行动和意见是异步随机离散事件发生在连续时间。我们通过具有外部干预控制项的Hawkes过程来模拟环境的动态，并开发了一种算法来将这样的过程嵌入到Bellman方程中，该方程指导值梯度的方向。我们证明了我们的方法在合成模拟器和现实世界的问题的优越性。
2022-12-27 cs.AI cs.LG
Deep Reinforcement Learning for Clinical Decision Support: A Brief Survey
National University of Singapore（新加坡国立大学）；National University Hospital（国立大学医院）
由于人工智能特别是深度学习的最新进展，已经实现了许多数据驱动的决策支持系统，以促进医生提供个性化护理。本文重点研究了深度强化学习（DRL）模型。DRL模型在计算机视觉和游戏（如围棋和Atari游戏）中表现出了人类水平甚至更高的性能。然而，深度强化学习技术在临床决策优化中的采用仍然很少见。我们提出了第一个调查，总结了强化学习算法与深度神经网络（DNN）的临床决策支持。我们还讨论了一些案例研究，其中不同的DRL算法被应用于解决各种临床挑战。我们进一步比较和对比各种DRL算法的优点和局限性，并提出了一个初步的指导，如何选择合适的DRL算法的特定的临床应用。
2019-07-22 cs.AI cs.LG stat.ML
Learning What to Memorize: Using Intrinsic Motivation to Form Useful Memory in Partially Observable Reinforcement Learning
Izmir University of Economics（伊兹密尔经济大学）
强化学习在具有长期依赖性的部分可观察环境中面临着重要的挑战。为了在模糊的环境中学习，智能体必须将先前的感知保存在记忆中。早期的基于内存的方法使用固定的方法来确定在内存中保存什么，这将它们限制在某些问题上。在这项研究中，我们遵循的想法，让记忆的控制代理，允许它有记忆改变的行动。这种学习机制是由一种内在的动机来支持的，这种动机是为了记住罕见的观察结果，这可以帮助智能体消除其在环境中的状态。我们的方法进行了实验和分析的几个部分可观察的任务与长期的依赖关系，并与其他记忆为基础的方法进行了比较。
2022-02-04 cs.AI cs.LG
Stein Variational Distributional Reinforcement Learning: Score-Guided Particles for Multivariate Return Distributions
University of Southern Denmark（南丹麦大学）
该研究提出SVDRL方法，以斯坦粒子结合得分场解决多元分布强化学习的罕见事件建模问题，在MuJoCo任务上表现良好且罕见事件准确性优于同规模粒子评论家。
2026-10-14 cs.LG
Context-Aware Safe Reinforcement Learning for Non-Stationary Environments
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
在为现实任务部署强化学习代理时，安全性是一个关键问题。最近，安全的强化学习算法已经被开发出来，以优化代理的性能，同时避免违反安全约束。然而，很少有研究涉及到环境中的非平稳扰动，这可能会导致灾难性的后果。在本文中，我们提出了上下文感知安全的强化学习（CASRL）方法，一个元学习框架，以实现安全适应非平稳环境。我们使用一个概率潜变量模型来实现快速推断的后验环境的过渡分布的上下文数据。安全约束，然后评估与不确定性感知轨迹采样。安全违规的高成本导致数据集中不安全记录的稀缺性。我们通过在模型训练过程中启用优先级采样和在约束规划过程中使用领域知识制定先验安全约束来解决这个问题。该算法在现实的安全关键环境中进行评估，非平稳干扰。结果表明，该算法在安全性和鲁棒性方面显着优于现有的基线。
2021-01-02 cs.LG
Scalable Safety-Critical Policy Evaluation with Accelerated Rare Event Sampling
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；Morgan Stanley Machine Learning Research（摩根士丹利机器学习研究部）；Tongji University（同济大学）
评估罕见但高风险的事件是获得可靠的强化学习策略的主要挑战之一，特别是在大型或无限的状态/动作空间中，其中有限的可扩展性要求大量的测试迭代。另一方面，在安全关键系统中，有偏见或不准确的策略评估可能会在部署过程中导致意外的灾难性故障。本文提出了加速策略评估（APE）方法，该方法同时发现马尔可夫决策过程中的罕见事件，并估计罕见事件的概率。APE方法将环境性质视为对抗性代理，并通过自适应重要性采样向零方差采样分布学习以用于策略评估。此外，APE是可扩展的大型离散或连续空间，通过将函数逼近。我们研究了APE在表格环境下的收敛性。我们的实证研究表明，APE可以估计罕见事件的概率与较小的偏差，而只使用数量级比基线少的样本在多智能体和单智能体环境。
2022-10-02 cs.AI cs.LG
Challenges of Real-World Reinforcement Learning
Google Brain（谷歌大脑）；DeepMind（深度思维）
强化学习（RL）已经在一系列人工领域证明了其价值，并开始在现实世界中取得一些成功。然而，由于一系列在实践中很少得到满足的假设，RL中的许多研究进展通常很难在现实世界的系统中利用。我们提出了一组九个独特的挑战，必须解决生产化RL现实世界的问题。对于这些挑战中的每一个，我们指定的挑战的确切含义，从文献中提出一些方法，并指定一些指标来评估这一挑战。解决所有九个挑战的方法将适用于大量现实世界的问题。我们还提出了一个示例域，已被修改，以提出这些挑战作为实际RL研究的测试平台。
2019-04-29 cs.AI cs.LG cs.RO
Probabilistic Performance Guarantees for Multi-Task Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）
提出一种结合每任务有限 rollout 置信下界与任务级泛化的新泛化界，为未见任务提供高置信度性能保证。
2026-05-31 cs.AI cs.LG
Deep Reinforcement Learning for Multi-class Imbalanced Training
University of Oxford（牛津大学）；John Radcliffe Hospital, Oxford University Hospitals NHS Foundation Trust（牛津大学医院NHS基金会信托约翰·拉德克利夫医院）
随着内存和计算能力的快速增长，数据集变得越来越复杂和不平衡。这在临床数据背景下尤其严重，其中大多数类别中的许多病例可能存在一种罕见事件。我们引入了一个基于强化学习的不平衡分类框架，用于训练极不平衡的数据集，并将其扩展到多类环境中。我们结合了决斗和双深度Q学习架构，并制定了自定义奖励函数和episode训练程序，特别是增加了处理多类不平衡训练的能力。使用真实世界的临床案例研究，我们证明了我们提出的框架优于当前最先进的不平衡学习方法，实现了更公平和平衡的分类，同时也显着提高了少数类的预测。
2022-05-24 cs.AI cs.LG
The Best of Both Worlds: Reinforcement Learning with Logarithmic Regret and Policy Switches
Yale University（耶鲁大学）
在本文中，我们研究了无模型和基于模型的情景强化学习（RL）的后悔最小化问题。我们专注于学习一般功能类和一般模型类，我们得出的结果，这些类的逃避维度的规模。在现有的工作，主要是建立实例独立的遗憾保证机构，我们专注于实例依赖的设置和显示的遗憾尺度与地平线$T$，只要有一个最好的和第二个最好的行动之间的差距，在每个国家。此外，我们表明，这样的对数遗憾界是可实现的算法与$O(\log T)$切换成本（也称为自适应复杂性）。换句话说，这些算法在执行过程中很少切换策略。最后，我们补充我们的结果与下限表明，即使在表格设置，我们不能希望后悔保证低于$o(\log T)$。
2022-03-03 cs.LG
CoachNet: An Adversarial Sampling Approach for Reinforcement Learning
Huawei Technologies Canada（华为加拿大技术公司）
尽管强化学习最近在游戏和机器人领域取得了成功，但它还没有广泛实用。样本效率和在罕见但具有挑战性的情况下不可靠的性能是两个主要障碍。从刻意练习实现专家级人类性能的有效性中汲取灵感，我们提出了一种新的对抗性抽样方法，该方法由名为“CoachNet”的失败预测器指导。CoachNet与代理一起在线训练，以预测失败的概率。然后，在随机采样过程中使用该概率来引导代理进行更具挑战性的事件。通过这种方式，而不是浪费时间在代理已经掌握的场景上，训练集中在代理的“弱点”上。我们提出了CoachNet的设计，解释其基本原理，并实证证明其有效性，提高样本效率和测试时间的鲁棒性，在常见的连续控制任务。
2021-01-07 cs.LG cs.RO
Evolutionary Warm-Starts for Reinforcement Learning in Industrial Continuous Control
Inst. for Neural Computation Ruhr University Bochum Bochum, Germany
本文研究了进化策略如何支持工业连续控制中的强化学习，通过工业分拣基准的连续控制适应，利用CMA-ES生成高质量演示以预热RL代理，提升稳定性和性能，并提供强参考性能。
2026-03-23 cs.LG cs.NE
Hardware Trojan Insertion Using Reinforcement Learning
New Mexico State University（新墨西哥州立大学）；North Carolina A&T University（北卡罗来纳农工州立大学）；Miami University（迈阿密大学）
本文利用强化学习（RL）作为自动化硬件木马（HT）插入过程的一种手段，以消除限制健壮HT检测方法发展的固有人为偏见。RL代理探索设计空间，并找到最适合隐藏插入的HT的电路位置。为了实现这一点，数字电路被转换为RL代理插入HT的环境，使得累积奖励最大化。我们的工具集可以将组合HT插入ISCAS-85基准测试套件，HT大小和触发条件有所不同。实验结果表明，该工具集实现了较高的输入覆盖率（两个基准电路的覆盖率均为100%），验证了其有效性.此外，插入的HT显示出最小的足迹和罕见的激活概率。
2022-04-09 cs.AR cs.CR cs.LG
Entropy Regularized Reinforcement Learning Using Large Deviation Theory
University of Massachusetts Boston（马萨诸塞大学波士顿分校）；San Jose State University（圣何塞州立大学）
本文通过建立熵正则化强化学习与非平衡统计力学中稀有事件条件下马尔可夫过程的映射，利用大偏差理论在长时间极限下推导出最优策略和动力学的精确解析解，并提出了一个经模拟验证的新框架。
2023-04-10 cond-mat.stat-mech cs.AI cs.LG
Motion Perception in Reinforcement Learning with Dynamic Objects
University of Freiburg（弗莱堡大学）；Intel Labs（英特尔实验室）
在动态环境中，学习控制器应该在选择要采取的动作时考虑运动。然而，在现有的强化学习作品中，运动很少被显式处理;而是假设控制器隐式地从帧的时间堆栈中学习必要的运动表示。在本文中，我们表明，连续控制任务的学习运动的显式表示提高了质量的学习控制器在动态场景。我们证明了这一点上常见的基准任务（步行者，游泳者，料斗），目标达到和接球任务与模拟机器人手臂，并在一个动态的单球杂耍任务。此外，我们发现，当配备了适当的网络架构，代理可以，在某些任务，学习运动功能也与纯强化学习，没有额外的监督。此外，我们发现，使用当前帧和前一帧之间的图像差异作为额外的输入导致比帧的时间堆栈更好的结果。
2019-02-01 cs.AI cs.CV cs.LG
Universal Distributional Decision-based Black-box Adversarial Attack with Reinforcement Learning
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
高性能机器学习模型的脆弱性意味着在具有现实后果的应用程序中存在安全风险。对对抗攻击的研究，一方面有利于指导机器学习模型的开发，另一方面也有利于寻找有针对性的防御。然而，当今大多数对抗攻击利用来自模型的梯度或logit信息来生成对抗扰动。适用于更现实的领域：基于决策的攻击，仅基于观察目标模型的输出标签来生成对抗性扰动，仍然相对罕见，并且大多使用梯度估计策略。在这项工作中，我们提出了一个像素明智的决策为基础的攻击算法，发现通过强化学习算法的对抗扰动的分布。我们称这种方法为基于决策的黑盒攻击与强化学习（DBAR）。实验结果表明，该方法具有更高的攻击成功率和更大的可移植性，优于最先进的基于决策的攻击。
2022-11-15 cs.AI cs.CR cs.LG
Demonstration-Guided Continual Reinforcement Learning in Dynamic Environments
School of Computer Science, University of Galway（Galway大学计算机科学学院）
本研究提出演示引导持续强化学习（DGCRL），通过外部演示库指导智能体探索与适应，提升动态环境中的学习效率和知识迁移能力。
2025-12-21 cs.LG
How to Learn from Risk: Explicit Risk-Utility Reinforcement Learning for Efficient and Safe Driving Strategies
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所IIS）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
自动驾驶有可能彻底改变移动性，因此是一个活跃的研究领域。在实践中，自动驾驶车辆的行为必须是可接受的，即，高效、安全和可解释。虽然普通的强化学习（RL）发现了性能良好的行为策略，但它们通常是不安全和不可解释的。安全性是通过安全强化学习方法引入的，但它们仍然大多无法解释，因为学习的行为是针对安全性和性能进行联合优化的，而不是单独建模。可解释的机器学习很少应用于RL。本文提出了SafeDQN，它允许使自动驾驶汽车的行为安全和可解释，同时仍然有效。SafeDQN在预期风险和操作效用之间提供了一个可理解的语义权衡，同时在算法上是透明的。我们表明，SafeDQN发现可解释的和安全的驾驶政策的各种情况下，并展示了如何国家的最先进的显着性技术可以帮助评估风险和效用。
2022-08-02 cs.LG
A Reinforcement Learning Approach to Health Aware Control Strategy
健康感知控制（HAC）已经成为一个领域，其中控制综合的基础上寻求系统/部件的故障概率或剩余使用寿命（RUL）的关键部件的预测。RUL的数学动态（转换）模型很少可用，这使得RUL信息很难被纳入控制范式。本文提出了一种新的健康感知控制框架，其中基于强化学习的方法是用来学习一个最优控制政策面对组件退化集成全局系统过渡数据（产生的分析模型，模仿真实系统）和RUL预测。在每个步骤生成的RUL预测被跟踪到RUL的期望值。后者被集成在成本函数内，该成本函数被最大化以学习最优控制。所提出的方法进行了研究，使用模拟的直流电机和轴磨损。
2020-10-19 cs.AI cs.LG
Reinforcement Learning for Improving Agent Design
Google Brain（谷歌大脑）
在许多强化学习任务中，目标是学习一种策略来操纵代理，其设计是固定的，以最大化某些累积奖励的概念。代理的物理结构的设计很少针对手头的任务进行优化。在这项工作中，我们探讨了学习的代理的设计，更适合其任务的版本的可能性，与政策。我们对流行的OpenAI Gym框架进行了修改，在该框架中，我们对环境的各个部分进行了参数化，并允许代理共同学习修改这些环境参数及其策略。我们证明了一个代理可以学习一个更好的结构，它的身体，不仅更适合的任务，但也有利于策略学习。政策和结构的联合学习甚至可以揭示对辅助设计应用有用的设计原则。在https://designrl.github.io/上的结果视频
2019-12-02 cs.LG stat.ML
SLOPE: Optimistic Potential Landscape Shaping for Model-based Reinforcement Learning
Beijing Institute of Technology（北京理工大学）；Heriot-Watt University（赫瑞-沃森大学）；Shenzhen Institutes of Advanced Technology, CAS（深圳先进技术研究院）；Microsoft Research NY（微软研究院纽约分部）；Tsinghua University（清华大学）；Jilin University（吉林大学）
SLOPE通过乐观势能估计构建信息丰富的势能景观，解决稀疏奖励环境下梯度信息不足的问题，提升模型在稀疏、半稀疏和密集奖励任务中的性能。
2026-11-05 cs.LG
Combining Reinforcement Learning and Behavior Trees for NPCs in Video Games with AMD Schola
Advanced Micro Devices (AMD)（先进微器件（AMD））
本文针对商业游戏中RL驱动的NPC应用缓慢问题，提出结合RL与传统行为树的方法，并利用AMD Schola在复杂3D环境中验证了多任务NPC的可行性，提供了联合训练的详细方法论。
2025-10-15 cs.AI cs.LG
Safe Reinforcement Learning for Autonomous Vehicles through Parallel Constrained Policy Optimization
Tsinghua University（清华大学）；University of Michigan（密歇根大学）
强化学习（RL）由于其解决复杂分类和控制问题的潜力，在自动驾驶领域引起了越来越多的关注。然而，现有的强化学习算法很少应用于真实车辆，主要有两个问题：行为无法解释，并且它们无法保证新场景下的安全性。本文提出了一种安全的RL算法，称为并行约束策略优化（PCPO），两个自动驾驶任务。PCPO将目前常见的行动者-批评者结构扩展为一个三组件学习框架，其中三个神经网络分别用于逼近策略函数、价值函数和一个新添加的风险函数。同时，信任域约束的加入，允许大的更新步骤，而不打破单调改善条件。为了保证安全约束问题的可行性，采用同步并行学习器探索不同的状态空间，加快了学习和策略更新。对自动驾驶汽车的两种场景的模拟证实了我们可以在确保安全的同时实现快速学习。
2020-03-03 cs.AI cs.LG stat.ML
Risk Averse Robust Adversarial Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
深度强化学习最近在解决计算机游戏和机器人控制任务方面取得了重大进展。然而，一个已知的问题是，政策过度适应培训环境，可能无法避免罕见的灾难性事件，如汽车事故。提高强化学习算法鲁棒性的一种经典技术是在一组随机环境中进行训练，但这种方法只能防止常见情况。最近，鲁棒对抗强化学习（RARL）被开发出来，它允许训练对手有效地应用随机和系统扰动。RARL的一个局限性是，只有预期的控制目标是优化的;没有明确的建模或优化的风险。因此，代理不考虑灾难性事件的概率（即，那些诱导异常大的负奖励），除非通过它们对预期目标的影响。在本文中，我们介绍了风险规避鲁棒对抗强化学习（RARARL），使用风险规避的主角和风险寻求对手。我们在自动驾驶汽车控制器上测试了我们的方法。我们使用一个政策网络的合奏模型风险的方差的价值函数。我们通过实验表明，一个厌恶风险的代理是更好地装备来处理一个寻求风险的对手，和经验大大减少崩溃相比，没有对手训练的代理。
2019-03-31 cs.AI cs.LG cs.RO
SteinGate: Tail-Sensitive Safe Reinforcement Learning via Stein Discrepancy
研究安全强化学习中罕见灾难性尾部事件难检测的问题，提出SteinGate方法，利用核斯坦因差异进行稳健一致性检查并考虑边界原子，动态调整学习机制，实验证明该方法能降低约束违反频率和严重性且保持竞争力。
2026-07-16 cs.AI cs.LG
Task-Agnostic Dynamics Priors for Deep Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；OpenAI；Princeton University（普林斯顿大学）
虽然基于模型的深度强化学习（RL）在样本效率和泛化方面前景广阔，但学习准确的动力学模型通常具有挑战性，并且需要与环境进行大量交互。各种各样的领域具有共享共同基础的动力学，如经典力学定律，这些定律很少被现有算法利用。事实上，人类不断地获取和使用这种动力学先验，以轻松地适应在新环境中的操作。在这项工作中，我们提出了一种方法来学习任务不可知的动态先验的视频，并将其纳入RL代理。我们的方法涉及在任务不可知的物理视频上预训练帧预测器，以初始化动态模型（并对其进行微调），用于看不见的目标环境。我们的帧预测架构SpatialNet专门用于捕获局部物理现象和相互作用。我们的方法允许更快的策略学习和收敛到更好的策略，在几个不同的环境中优于竞争对手的方法。我们还证明，将此之前允许更有效的环境之间的转移。
2019-07-11 cs.AI cs.LG stat.ML
StaRPO: Stability-Augmented Reinforcement Policy Optimization
Clemson University（克莱姆森大学）；Université de Montréal（蒙特利尔大学）；Accenture (United States)（埃森哲（美国））；Arizona State University（亚利桑那州立大学）；Northeastern University（东北大学）
StaRPO通过引入推理稳定性指标提升强化学习在复杂推理任务中的表现，通过ACF和PE指标增强逻辑稳定性和响应准确性。
2026-10-15 cs.AI cs.LG
How Reinforcement Learning After Next-Token Prediction Facilitates Learning
New York University（纽约大学）；Harvard University（哈佛大学）；FAIR, Meta
通过在生成下一个标记后使用强化学习，研究了如何在推理任务中提升模型的学习能力，证明其在预测比特奇偶性等任务中的有效性。
2025-12-16 cs.LG stat.ML
The surprising efficiency of temporal difference learning for rare event prediction
Courant Institute of Mathematical Sciences（柯朗数学科学研究所）；New York University（纽约大学）
该研究聚焦强化学习稀有事件策略评估问题，证明有限状态马尔可夫链下LSTD相比MC估计器能以多项式级转移次数实现固定相对精度，远高效于呈指数级开销的MC方法，并给出其相对渐近方差上界。
2025-01-16 cs.AI cs.LG
Stochastic Resetting Accelerates Reinforcement Learning Beyond Random Search
Biophysics Program, Stanford University（斯坦福大学生物物理项目）；School of Physics, University of Sydney（悉尼大学物理学院）；National Institute for Theory and Mathematics in Biology, Northwestern University（生物理论与数学国家研究所，西北大学）；The University of Chicago（芝加哥大学）；Princeton-CUNY Center for the Physics of Biological Function, The Graduate Center, CUNY（普林斯顿-纽约大学生物物理功能中心，纽约大学研究生中心）
研究探讨随机重置与强化学习的交互，发现其能加速策略收敛，通过截断长轨迹提升价值传播，为强化学习提供新的优化机制。
2026-07-21 cond-mat.dis-nn cond-mat.stat-mech cs.LG
An empirical investigation of the challenges of real-world reinforcement learning
Google Research（谷歌研究院）；DeepMind（深度思维）
强化学习（RL）已经在一系列人工领域证明了其价值，并开始在现实世界中取得一些成功。然而，由于一系列在实践中很少得到满足的假设，RL的许多研究进展很难在现实世界的系统中发挥作用。在这项工作中，我们确定并正式提出了一系列独立的挑战，这些挑战体现了RL在现实世界系统中普遍部署时必须解决的困难。对于每一个挑战，我们正式定义它的马尔可夫决策过程的上下文中，分析国家的最先进的学习算法的挑战的影响，并提出了一些现有的尝试解决it.We相信，解决我们提出的挑战的方法将很容易部署在大量的现实世界中的问题。我们提出的挑战是在一套连续控制环境中实现的，称为realdatedrl套件，我们提出了一个作为开源基准。
2021-03-04 cs.AI cs.LG
Active exploration in parameterized reinforcement learning
Institute of Intelligent Systems and Robotics（智能系统与机器人研究所）；Sorbonne Universités（索邦大学）；UPMC Univ Paris 06（巴黎第六大学）；CNRS（法国国家科学研究中心）；National Technical University of Athens（雅典国家技术大学）
具有连续动作的在线无模型强化学习（RL）方法在处理诸如机器人学之类的现实应用时发挥着突出的作用。然而，当面对非平稳环境时，这些方法主要依赖于探索-开发权衡，而这种权衡很少动态地和自动地根据环境的变化进行调整。在这里，我们提出了一个积极的探索算法RL在结构化（参数化）连续动作空间。这个框架处理一组离散的动作，每个动作都是用连续变量参数化的。离散探测通过具有逆温度$β$参数的Boltzmann softmax函数来控制。并行地，将高斯探索应用于连续动作参数。我们应用基于短期和长期奖励运行平均值的变化之间的比较的元学习算法，以同时调整$β$和高斯分布的宽度，从中提取连续的动作参数。当应用到一个简单的虚拟人-机器人交互任务，我们表明，该算法优于连续参数化RL没有主动探索和主动探索的基础上测量的卡尔曼-Q-学习算法的不确定性变化。
2016-10-06 cs.LG
Reinforcement Learning under Partial Observability Guided by Learned Environment Models
Silicon Austria Labs（奥地利硅实验室）；Graz University of Technology（格拉茨技术大学）
在实际应用中，我们很少能假设系统环境的完全可观测性，尽管这些知识对于确定反应控制系统与其环境的精确相互作用是重要的。因此，我们提出了一种在部分可观察环境中进行强化学习（RL）的方法。虽然假设环境的行为就像一个部分可观察的马尔可夫决策过程与已知的离散行动，我们假设没有关于其结构或转移概率的知识。我们的方法将Q学习与IoAlergia相结合，IoAlergia是一种学习马尔可夫决策过程（MDP）的方法。通过学习MDP模型的环境，从情节的RL代理，我们使RL在部分可观察的领域没有明确的，额外的内存来跟踪以前的相互作用，处理来自部分可观察性的模糊性。相反，我们通过在学习的环境模型上模拟新的经验来跟踪探索的状态，以抽象环境状态的形式为RL提供额外的观察。在我们的评估中，我们报告了我们的方法的有效性及其与六种最先进的具有递归神经网络和固定记忆的深度RL技术相比的良好性能。
2022-06-23 cs.AI cs.LG
Fingerprint Policy Optimisation for Robust Reinforcement Learning
University of Oxford（牛津大学）
策略梯度方法忽略了调整环境变量的潜在价值：在物理设置中由环境随机确定的不可观察的状态特征，但在模拟器中是可控的。如果环境变量对过渡动态有很大的影响，这可能导致学习缓慢或收敛到次优策略。在本文中，我们提出了指纹策略优化（FPO），它找到了一个政策，是最佳的预期分布的环境变量。其中心思想是使用贝叶斯优化（BO）来主动选择环境变量的分布，使策略梯度方法的每次迭代产生的改进最大化。为了使这个BO实用，我们贡献了两个易于计算的低维指纹的当前政策。我们的实验表明，FPO可以有效地学习对重大罕见事件具有鲁棒性的策略，这些事件在随机抽样下不太可能被观察到，但却是学习良好策略的关键。
2019-05-27 cs.AI cs.LG stat.ML
Diverse and Effective Red Teaming with Auto-generated Rewards and Multi-step Reinforcement Learning
OpenAI
本文提出将自动化红队测试分解为目标生成与攻击生成两步，利用LLM生成多样化目标，并通过多步强化学习训练攻击者，在保持攻击有效性的同时显著提升攻击多样性。
2024-12-24 cs.AI cs.CL cs.LG
