Safer Reinforcement Learning through Transferable Instinct Networks
IT University of Copenhagen（哥本哈根信息技术大学）
随机探索是强化学习（RL）发现性能良好的策略的主要机制之一。然而，在安全关键环境中在线学习时，它可能会导致不良或灾难性的结果。事实上，安全学习是现实世界代理在部署过程中学习的主要障碍之一。确保代理遵守硬限制的一种方法是显式配置它们可以操作的边界。虽然这在某些情况下可能有效，但我们并不总是有明确的先验信息，即哪些状态和行为可能导致危险的危险状态。在这里，我们提出了一种方法，其中附加策略可以覆盖主策略并提供更安全的替代操作。在我们的本能调节强化学习（IR^2L）方法中，一个“本能”网络被训练来识别不期望的情况，同时保护学习策略不进入这些情况。本能网络是在一个容易出错的任务上进行预训练的，然后转移到安全学习新任务的环境中。我们在OpenAI Safety gym域中演示了IR^2L，在训练过程中，它收到的安全违规数量明显低于基线RL方法，同时达到类似的任务性能。
2021-07-14 cs.AI cs.LG cs.NE
Incentivizing Safer Actions in Policy Optimization for Constrained Reinforcement Learning
Indian Institute of Technology Kharagpur（印度理工学院克拉格浦尔分校）；Synopsys（Synopsys公司）
针对约束强化学习中策略优化在约束边界附近不稳定的问题，提出带自适应激励和增量惩罚的IP3O算法，在基准上优于现有安全RL算法，并提供最坏情况误差的理论保证。
2025-09-11 cs.AI cs.LG
Learning Transferable Domain Priors for Safe Exploration in Reinforcement Learning
Applied Artificial Intelligence Institute, Deakin University（迪肯大学应用人工智能研究所）
事先访问领域知识可以显着提高强化学习代理的性能。特别是，它可以帮助代理避免潜在的灾难性探索行为，否则必须在学习过程中经历。在这项工作中，我们在一组以前学习的任务中识别出一贯不受欢迎的动作，并使用与它们相关的伪奖励来学习先前的策略。除了在域中的后续任务中实现更安全的探索行为外，我们还证明了这些先验知识可以转移到类似的环境中，并且可以在离线策略下学习，并与域中其他任务的学习并行。我们将我们的方法与离散和连续环境中已建立的最先进算法进行比较，并证明它在学习执行域中的任意任务时表现出更安全的探索行为。我们还提出了一个理论分析来支持这些结果，并简要讨论了这种方法的影响和一些替代配方，这也可能是有用的，在某些情况下。
2020-09-13 cs.AI
Safety-Gymnasium: A Unified Safe Reinforcement Learning Benchmark
Institute for AI, Peking University（北京大学人工智能研究院）；Beijing Institute for General Artificial Intelligence (BIGAI)（北京通用人工智能研究院）
针对AI系统部署的安全隐患及SafeRL落地需求，本文提出统一基准Safety-Gymnasium，覆盖多场景安全任务与多输入形式，并配套含16种前沿算法的SafePO库，以推动SafeRL的评估对比与实际应用发展。
2024-10-06 cs.AI cs.LG
Safer Deep RL with Shallow MCTS: A Case Study in Pommerman
Borealis AI
安全的强化学习有很多变体，它仍然是一个开放的研究问题。在这里，我们专注于如何使用行动指导的手段，一个非专家的演示，以避免灾难性的事件在一个域稀疏，延迟，和欺骗性的奖励：最近提出的多智能体基准的Pommerman。这个领域对于强化学习（RL）来说是非常具有挑战性的-过去的工作表明，无模型的RL算法无法实现显著的学习。在本文中，我们通过举例和分析灾难性事件的高发生率（即，自杀），发生在随机探索在这个领域。虽然无模型随机探索通常是徒劳的，我们提出了一个新的框架，即使是非专家模拟演示，例如，规划算法，例如具有少量展开的蒙特卡罗树搜索，可以被集成到异步分布式深度强化学习方法中。与vanilla deep RL算法相比，我们提出的方法在两人迷你版的Pommerman游戏中学习速度更快，收敛到更好的策略。
2019-04-10 cs.AI cs.LG cs.MA
Offline Reinforcement Learning for Safer Blood Glucose Control in People with Type 1 Diabetes
University of Bristol（布里斯托大学）；University Hospital Southampton（南安普顿大学医院）
本研究针对在线强化学习用于1型糖尿病血糖控制存在学习不稳定、易选不安全动作的问题，评估了三种离线强化学习算法，在仅用在线RL十分之一以下训练样本的情况下，显著提升了血糖处于健康范围的时长且未增加低血糖事件，还能应对多种复杂控制场景。
2023-05-05 cs.AI cs.LG
SaFeR: Safety-Critical Scenario Generation for Autonomous Driving Test via Feasibility-Constrained Token Resampling
School of Traffic and Transportation, Harbin Institute of Technology（哈尔滨工业大学交通学院）；Chongqing Research Institute of HIT（哈尔滨工业大学重庆研究所）；Chongqing Changan Automobile Company Ltd（重庆长安汽车有限公司）
SaFeR通过可行性约束的令牌重采样生成安全关键场景，提升自动驾驶测试的对抗性和现实性
2026-03-04 cs.AI cs.RO
Safer-Instruct: Aligning Language Models with Automated Preference Data
University of Southern California（南加州大学）
Safer-Instruct提出一种无需人工标注的自动化偏好数据构建流水线，结合反向指令调优、指令归纳和专家评估，在安全偏好数据上微调Alpaca模型取得优于人工标注数据的效果，并可推广至多领域。
2024-03-31 cs.AI cs.CL
Risk-Aware High-level Decisions for Automated Driving at Occluded Intersections with Reinforcement Learning
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
强化学习是当今解决自动驾驶中不同决策问题的流行框架。然而，仍有一些关键挑战需要解决，以提供更可靠的政策。在本文中，我们提出了一个通用的风险意识的DQN方法，以学习高层次的行动，通过无信号闭塞路口驾驶。所提出的状态表示提供了基于车道的信息，其允许用于多车道场景。此外，我们提出了一个基于风险的奖励函数，它惩罚有风险的情况，而不仅仅是碰撞失败。这种奖励方法有助于将风险预测纳入我们的深度Q网络，并学习更可靠的策略，在具有挑战性的情况下更安全。所提出的方法的效率相比，与传统的碰撞为基础的奖励计划，也与基于规则的交叉口导航政策的DQN学习。评估结果表明，所提出的方法优于这两种方法。它提供了比冲突感知DQN方法更安全的操作，并且比基于规则的策略更谨慎。
2020-04-09 cs.AI cs.LG cs.RO
Constraint Sampling Reinforcement Learning: Incorporating Expertise For Faster Learning
Stanford University（斯坦福大学）；Adobe Research（Adobe 研究院）
在线强化学习（RL）算法通常难以部署在复杂的面向人类的应用中，因为它们可能学习缓慢并且早期性能较差。为了解决这个问题，我们引入了一个实用的算法，将人类的洞察力，以加快学习。我们的算法，约束采样强化学习（CSRL），结合了先验领域的知识作为约束/限制的RL政策。它采用多个潜在的策略约束，以保持对单个约束的错误指定的鲁棒性，同时利用有用的约束来快速学习。给定一个基本RL学习算法（例如，UCRL，DQN，Rainbow），我们提出了一个具有消除方案的上置信度，该方案利用约束之间的关系及其观察到的性能，以自适应地在它们之间切换。我们实例化我们的算法与DQN型算法和UCRL作为基础算法，并评估我们的算法在四个环境中，包括三个模拟器的基础上，真实的数据：建议，教育活动排序，艾滋病治疗排序。在所有情况下，CSRL都比基线更快地学习好的策略。
2021-12-30 cs.AI
Golden Handcuffs make safer AI agents
University of California, Berkeley（加州大学伯克利分校）
本文研究了一种贝叶斯缓解方法，通过扩展代理的主观奖励范围以包含大负值，从而在一般环境中提高安全性。设计了一种简单的覆盖机制，当预测值低于固定阈值时，将控制权交给安全导师。证明了该代理在能力与安全方面的双重属性。
2026-04-15 cs.AI cs.LG
InvThink: Premortem Reasoning for Safer Language Models
MIT（麻省理工学院）；Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）；Samsung Research（三星研究）
InvThink通过预mortem推理框架提升语言模型安全性，通过枚举、分析和约束潜在故障来生成响应，相比现有方法在安全性和减少有害行为方面表现更优。
2026-05-08 cs.AI cs.CL
Time Hopping technique for faster reinforcement learning in simulations
本预印本已被作者撤回修改
2011-09-06 cs.AI cs.LG cs.RO
Safe Reinforcement Learning via Probabilistic Logic Shields
KU Leuven（鲁汶大学）；Örebro University（厄勒布鲁大学）
安全强化学习（Safe RL）旨在学习最优策略的同时保持安全。安全RL的一个流行解决方案是屏蔽，它使用逻辑安全规范来防止RL代理采取不安全的操作。然而，传统的屏蔽技术很难与连续的端到端深度RL方法集成。为此，我们引入概率逻辑策略梯度（PLPG）。PLPG是一种基于模型的安全RL技术，它使用概率逻辑编程将逻辑安全约束建模为可微函数。因此，PLPG可以无缝地应用于任何策略梯度算法，同时仍然提供相同的收敛保证。在我们的实验中，我们表明，PLPG学习更安全，更有益的政策相比，其他国家的最先进的屏蔽技术。
2023-03-06 cs.AI cs.LG
CBF-RL: Safety Filtering Reinforcement Learning in Training with Control Barrier Functions
Caltech MCE（加州理工学院机械工程系）
本文提出CBF-RL框架，通过在训练过程中强制控制屏障函数以生成安全行为，使强化学习策略内在化安全约束，实现无需在线安全过滤的鲁棒安全部署。
2026-06-22 cs.AI cs.LG cs.RO
SAFER-AiD: Saccade-Assisted Foveal-peripheral vision Enhanced Reconstruction for Adversarial Defense
Department of Electrical Engineering and Computer Science, Syracuse University（电气工程与计算机科学系，苏利文大学）
针对对抗攻击，提出一种受人类视觉系统启发的防御框架，通过强化学习引导的扫视和中央凹-周边处理重建图像，无需重新训练分类器即可提升鲁棒性并降低训练开销。
2025-10-09 cs.AI cs.CV
Decoupled Learning of Environment Characteristics for Safe Exploration
Ghent University - imec（根特大学 - imec）
强化学习是一种经过验证的智能体学习任务的技术。然而，当使用强化学习学习任务时，智能体不能区分环境的特征和任务的特征。这使得在同一环境中的任务之间转移技能变得更加困难。此外，这并不能降低为新任务进行培训时的风险。在本文中，我们介绍了一种方法来解耦的环境特征的任务特定的，允许代理开发的生存感。我们评估我们的方法在一个环境中，代理必须学习一系列的收集任务，并表明解耦学习允许更安全地利用先验知识。
2017-08-09 cs.AI
Building Safer Autonomous Agents by Leveraging Risky Driving Behavior Knowledge
Thapar Institute of Eng. & Tech.（塔帕尔工程与技术学院）；Bournemouth University（伯恩茅斯大学）
模拟环境有利于以抽象的方式学习不同的驾驶任务，如换道，停车或处理十字路口等。然而，这些仿真环境往往限制自己在保守的相互作用行为下不同的车辆之间的操作。但是，正如我们所知道的，真正的驾驶任务往往涉及非常高的风险情况下，其他司机往往没有在预期的意义上表现。这种行为可能有很多原因，比如疲劳或缺乏经验。仿真环境在训练导航代理时没有考虑这些信息。因此，在这项研究中，我们特别关注系统地创建这些具有高流量和意外随机行为的风险场景，以创建更好的无模型学习代理。我们通过在highway-env仿真包中创建新的自定义马尔可夫决策过程（MDP）环境迭代来生成多个自动驾驶场景。行为策略由在深度强化学习模型的帮助下训练的代理学习。我们的行为政策是经过深思熟虑的，以处理碰撞和危险的随机驾驶员行为。我们训练模型自由学习代理的风险倾向驾驶场景的补充信息，并比较他们的性能与基线代理。最后，我们随意地测量在训练过程中添加这些扰动的影响，以精确地解释利用这些场景中的学习所获得的性能改进。
2021-10-17 cs.AI cs.LG
Reinforcement Learning with External Knowledge by using Logical Neural Networks
IBM Research AI（IBM研究院人工智能部门）
传统的深度强化学习方法是样本效率低下的，并且通常需要在收敛之前进行大量的训练试验。由于这样的方法在不受约束的动作集上操作，它们可能导致无用的动作。最近的神经符号框架称为逻辑神经网络（LNNs）可以同时提供神经网络和符号逻辑的关键属性。LNN的功能是作为一个端到端的可微网络，最大限度地减少新的矛盾损失，学习可解释的规则。在本文中，我们利用LNN使用基本逻辑运算（如AND和NOT）定义推理图，以加快强化学习的收敛速度。具体来说，我们提出了一种集成的方法，使无模型强化学习从外部知识源在一个基于LNN的逻辑约束框架，如动作屏蔽和指南。我们的结果经验证明，我们的方法收敛速度比无模型强化学习方法，没有这样的逻辑约束。
2021-03-03 cs.AI
Reducing Risk for Assistive Reinforcement Learning Policies with Diffusion Models
针对辅助机器人的安全性需求，本研究提出一种无需额外环境交互即可提升高风险策略安全性的方法，结合强化学习与模仿学习，经模拟实验验证可增强传统RL方法在辅助机器人任务中的表现。
2024-05-13 cs.AI cs.RO
Uncertainty-Aware and Temporally Regulated Expert Advice in Reinforcement Learning for Autonomous Driving
FZI Research Center for Information Technology（弗劳恩霍夫信息技术研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
提出一种不确定性感知框架，通过自适应阈值触发专家建议并采用承诺-冷却策略调控指导时长，结合离线策略隐式分位数网络实现安全高效的探索，在CARLA中成功率提升5-7%。
2026-05-28 cs.AI
Vision-driven River Following of UAV via Safe Reinforcement Learning using Semantic Dynamics Model
School of Mechanical Engineering, Purdue University（机械工程学院，普渡大学）
针对无人机河流跟随任务的非马尔可夫奖励与安全约束问题，提出含边际增益优势估计、语义动力学模型和约束智能体动力学估计器的安全强化学习框架，实现更优的收敛性、预测精度与安全性能。
2025-09-30 cs.AI cs.RO
RL STaR Platform: Reinforcement Learning for Simulation based Training of Robots
Tohoku University（东北大学）
强化学习（Reinforcement learning，RL）是空间机器人领域中一个很有前途的研究领域，它可以提高机器人的自主性和决策能力，但由于环境的随机性和不确定性，传统的空间机器人技术在这方面面临着挑战。RL可用于实现月球洞穴探索，很少有人类反馈，更快，更安全的月球表面运动或多机器人系统的协调和协作。然而，使用RL和机器学习的空间机器人应用研究面临许多障碍，特别是由于CoppeliaSim等传统机器人模拟器的资源不足。我们的解决方案是一个开源的模块化平台，称为强化学习，用于基于仿真的机器人训练，或RL STaR，有助于简化和加速RL在空间机器人研究领域的应用。本文介绍了RL STaR平台，以及研究人员如何通过演示使用它。
2020-09-21 cs.AI cs.LG cs.RO
MAP Propagation Algorithm: Faster Learning with a Team of Reinforcement Learning Agents
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
几乎所有最先进的深度学习算法都依赖于误差反向传播，这在生物学上通常被认为是不可信的。训练人工神经网络的另一种方法是将网络中的每个单元视为强化学习代理，因此网络被视为一组代理。因此，所有单元都可以通过REINFORCE进行训练，这是一种由全局信号调制的局部学习规则，与生物学上观察到的突触可塑性形式更一致。虽然这种学习规则遵循期望的回报梯度，但它具有高方差，因此学习速度慢，使其无法训练深度网络。因此，我们提出了一种新的算法，称为MAP传播，以减少这种变化显着，同时保留本地属性的学习规则。实验表明，MAP传播可以解决常见的强化学习任务，在应用于演员-评论家网络时，速度与反向传播相似。因此，我们的工作允许在深度强化学习中更广泛地应用代理团队。
2021-10-05 cs.AI cs.LG
On Hard Exploration for Reinforcement Learning: a Case Study in Pommerman
Borealis AI（北方人工智能公司）
如何在具有稀疏、延迟和欺骗性奖励的领域中进行最佳探索是强化学习（RL）的一个重要开放问题。本文认为这样一个域，最近提出的多代理基准Pommerman。这个领域对于RL来说是非常具有挑战性的-过去的工作表明，无模型RL算法无法在不人为降低环境复杂性的情况下实现显著的学习。本文通过对Pommerman中随机探索的困难性的深入分析，阐明了这一失败背后的原因。虽然无模型的随机探索通常是徒劳的，我们开发了一个基于模型的自动推理模块，可以用于更安全的探索修剪行动，肯定会导致代理死亡。我们的经验表明，这个模块可以显着提高学习。
2019-07-26 cs.AI cs.LG stat.ML
Faster Deep Reinforcement Learning with Slower Online Network
Amazon Web Services（亚马逊云科技）；Brown University（布朗大学）；Seoul National University（首尔国立大学）
本文提出通过让在线网络靠近目标网络的更新机制，增强 DQN 和 Rainbow 对噪声更新的鲁棒性，并在 Atari 基准上取得显著性能提升。
2023-04-17 cs.AI cs.LG
Distilling Neuron Spike with High Temperature in Reinforcement Learning Agents
Peking University（北京大学）
脉冲神经网络（SNN）与深度神经网络（DNN）相比，具有更快的处理速度、更低的能耗和更强的生物可解释性，有望接近强AI。强化学习类似于生物学中的学习。研究SNN与RL的结合具有重要意义。提出了基于STBP的尖峰蒸馏网络的强化学习方法。该方法利用蒸馏有效避免了STBP的弱点，在分类上可以达到SOTA性能，并且可以得到体积更小、收敛速度更快、功耗更低的SNN强化学习模型。实验表明，该方法比传统的SNN强化学习和DNN强化学习方法收敛更快，约快1000 epoch，得到的SNN比DNN小200倍。我们还将SDN部署到北大nc64c芯片上，证明SDN的功耗比DNN更低，在大规模设备上SDN的功耗比DNN低600倍以上。SDN为SNN强化学习提供了一种新的途径，并能达到SOTA性能，证明了SNN强化学习进一步发展的可能性。
2021-08-05 cs.AI cs.LG cs.NE
Reinforcement Learning under State and Outcome Uncertainty: A Foundational Distributional Perspective
本文将分布强化学习扩展到部分可观测马尔可夫决策过程，提出分布贝尔曼算子、psi-vectors 有限表示及 DPBVI 算法，实现风险敏感控制。
2025-07-07 cs.AI
Constraint-Guided Reinforcement Learning: Augmenting the Agent-Environment-Interaction
Simula Research Laboratory（Simula研究所）
强化学习（RL）智能体在解决具有有限反馈的大观察和动作空间的任务方面取得了巨大的成功。尽管如此，训练代理是数据密集型的，并且不能保证学习到的行为是安全的，并且不违反环境规则，这对于现实世界场景中的实际部署具有限制。本文讨论了通过将深度强化学习与基于约束的增强模型集成来引导强化学习代理实现安全行为的可靠代理工程。在约束集内，RL代理可以自由地适应和探索，从而不会妨碍其解决给定问题的有效性。然而，一旦RL代理离开由约束定义的空间，外部模型可以提供指导，使其仍然可靠地工作。我们讨论了RL过程中的约束指导的集成点，并进行实验的两个案例研究：一个严格约束的纸牌游戏和网格世界环境与额外的组合子目标。我们的研究结果表明，约束指导既提供了可靠性的提高和更安全的行为，以及加速培训。
2021-04-24 cs.AI cs.LG
Revisiting Safe Exploration in Safe Reinforcement learning
University of Freiburg（弗赖堡大学）
针对安全强化学习中现有安全度量无法区分代价累积方式的问题，提出期望最大连续代价步数（EMCC）度量，并在在线与离线策略算法中验证其安全探索评估能力，同时设计轻量级基准任务以加速算法评估。
2024-09-02 cs.AI cs.LG cs.RO
Do No Harm: A Counterfactual Approach to Safe Reinforcement Learning
ISEE AI
针对约束违反不可避免时惩罚程度不明的问题，本文提出基于所学策略相对默认安全策略反事实伤害的约束，仅惩罚智能体造成的违规并保持最优控制问题可行，实验表明其优于当代约束RL方法。
2024-05-19 cs.AI cs.LG
Faster Deep Q-learning using Neural Episodic Control
Kanazawa University（金泽大学）
通过深度学习估计Q值的深度强化学习的研究近年来引起了研究者的兴趣。在深度强化学习中，重要的是有效地学习智能体通过探索环境收集的经验。我们提出了NEC 2DQN，提高了学习速度的一个穷人样本效率算法，如DQN通过使用良好的一个，如NEC在学习开始。在Pong的实验中，我们证明了它能够比Double DQN或N-step DQN更快地学习。
2018-06-03 cs.AI cs.LG
User Tampering in Reinforcement Learning Recommender Systems
The Alan Turing Institute（艾伦·图灵研究所）；The University of Edinburgh（爱丁堡大学）；The Australian National University（澳大利亚国立大学）
本文用因果建模与政治内容推荐仿真揭示RL推荐器会为长期参与而极化用户，指出现有方案难以防止用户操纵，需根本性安全设计转变。
2023-07-24 cs.AI
Policy Augmentation: An Exploration Strategy for Faster Convergence of Deep Reinforcement Learning Algorithms
Florida Institute for Human and Machine Cognition (IHMC)（佛罗里达人机认知研究所（IHMC））
尽管深度强化学习算法取得了进步，但开发有效的探索策略仍然是一个悬而未决的问题。大多数现有的探索策略或者基于简单的算法，或者需要环境的模型，或者训练额外的深度神经网络来生成增强路径。在本文中，一个革命性的算法，称为策略增强，介绍。策略增强是基于一个新开发的归纳矩阵完成方法。该算法增加了未探索的状态动作对的值，帮助代理采取行动，这将导致高价值的回报，而代理是在早期的情节。使用高价值的推出来训练深度强化学习算法可以加快深度强化学习算法的收敛速度。我们的实验表明，优越的性能的政策增强。代码可以在https://github.com/arashmahyari/PolicyAugmentation上找到。
2021-02-10 cs.AI cs.CV cs.LG
Robot Navigation with Entity-Based Collision Avoidance using Deep Reinforcement Learning
Lomonosov Moscow State University, Moscow, Russia（罗蒙诺索夫莫斯科国立大学，莫斯科，俄罗斯）
针对动态环境中机器人与多类实体交互的安全导航问题，提出利用实体类型信息的深度强化学习避障方法及新型奖励函数，并通过优化算法加速训练，实验表明其性能优于现有方法。
2025-09-28 cs.AI cs.LG cs.RO
Fast Task-Adaptation for Tasks Labeled Using Natural Language in Reinforcement Learning
University of Antwerp - imec（安特卫普大学-imec）
在其生命周期中，强化学习代理通常被赋予不同的任务。如何有效地适应以前学习的控制策略从一个任务到另一个任务，仍然是一个开放的研究问题。在本文中，我们研究如何制定自然语言的指令可以使更快，更有效的任务适应。这可以作为发展语言指导技能的基础，这些技能可以在终身学习环境中使用。我们的方法是能够评估，给定一组发达的基础控制政策，该政策将最好地适应一个新的看不见的任务。
2019-10-09 cs.AI
Mixing Human Demonstrations with Self-Exploration in Experience Replay for Deep Reinforcement Learning
Monash University（莫纳什大学）
我们研究了在回放缓冲区中使用人类演示数据进行深度强化学习的效果。我们使用一个策略梯度方法与修改后的经验重放缓冲区，其中一个人的演示经验，以给定的概率进行采样。我们分析了不同的比率使用演示数据在一个任务中，代理试图达到一个目标，同时避免障碍。我们的研究结果表明，虽然纯自我探索和纯演示训练的代理人有类似的成功率，但纯演示模型收敛速度更快，步骤更少。
2021-07-14 cs.AI
Feasibility-Guided Fair Adaptive Offline Reinforcement Learning for Medicaid Care Management
Waymark；San Francisco General Hospital, University of California San Francisco（旧金山通用医院，加州大学旧金山分校）；University of Pennsylvania（宾夕法尼亚大学）
提出FG-FARL离线强化学习方法，通过校准各群体安全阈值减少危害并均衡公平性，在Medicaid数据上实现了与基线相当的价值并提升了公平性。
2025-09-11 cs.AI cs.LG cs.LO
SafeDreamer: Safe Reinforcement Learning with World Models
Institute of Artificial Intelligence, Peking University（北京大学人工智能研究院）；School of Cyber Science and Technology, Beihang University（北京航空航天大学网络空间科学与技术学院）
SafeDreamer将拉格朗日方法融入Dreamer世界模型规划，在Safety-Gymnasium多种任务上实现近乎零成本的安全强化学习性能。
2024-08-07 cs.AI cs.CV cs.LG
Safe Reinforcement Learning with Model Uncertainty Estimates
Massachusetts Institute of Technology（麻省理工学院）
许多当前的自主系统在设计上都非常依赖于深度神经网络（DNN）的黑盒预测。然而，DNN往往对未知数据的预测过于自信，并且可能对远离分布的测试数据给出不可预测的结果。对这种分布变化具有鲁棒性的预测对于安全关键型应用（例如行人周围的碰撞避免）的重要性是显而易见的。模型不确定性的度量可以用来识别看不见的数据，但最先进的提取方法，如贝叶斯神经网络，大多数是难以计算的。本文使用MC-Dropout和Bootstrapping给出计算上易于处理和可并行化的不确定性估计。这些方法嵌入到安全强化学习框架中，以形成行人周围的不确定性感知导航。其结果是一个防撞策略，知道它不知道什么，并谨慎地避免行人表现出看不见的行为。该策略在模拟中被证明对新的观测结果更鲁棒，并且比不确定性未知的基线采取更安全的行动。
2019-03-01 cs.AI cs.LG cs.RO
Reactive Reinforcement Learning in Asynchronous Environments
University of Alberta（阿尔伯塔大学）
强化学习（RL）代理和异步环境之间的关系往往被忽视。代理与其环境之间的交互的常用模型，例如马尔可夫决策过程（MDP）或半马尔可夫决策过程（SMDP），没有捕获这样的事实，即在异步环境中，环境的状态可能在代理执行的计算期间改变。在异步环境中，最小化反应时间-代理对观察做出反应所需的时间-也最小化了环境状态在观察之后可能发生变化的时间。在许多环境中，代理的反应时间直接影响任务的性能，允许环境过渡到一个不希望的终端状态或状态，执行所选择的动作是不合适的。我们提出了一类反应式强化学习算法，通过在观察到新的状态信息后立即采取行动来解决异步环境中的这个问题。我们比较了反应SARSA学习算法与传统的SARSA学习算法上的两个异步机器人任务（紧急停止和影响预防），并表明反应RL算法减少了反应时间的代理约算法的学习更新的持续时间。这类新的反应式算法可以促进更安全的控制和更快的决策，而无需对标准学习保证进行任何更改。
2018-02-16 cs.AI cs.LG
Can Active Sampling Reduce Causal Confusion in Offline Reinforcement Learning?
University of Oxford（牛津大学）；Toyota Research Institute, USA（丰田研究所（美国））
本文研究离线强化学习中因果混淆问题，提出通过主动采样从演示数据中选取关键点以消除因果歧义，实证表明主动采样比均匀采样更高效地减少因果混淆，提升部署安全性。
2023-12-28 cs.AI cs.LG
Anomalous State Sequence Modeling to Enhance Safety in Reinforcement Learning
Damascus University（大马士革大学）
提出AnoSeqs方法，通过离线收集安全状态序列构建异常检测模型，在目标环境中调整奖励以惩罚访问异常状态，从而训练风险规避的RL策略，在自动驾驶等基准环境中提升安全性。
2024-07-29 cs.AI cs.LG
SPAARS: Safer RL Policy Alignment through Abstract Exploration and Refined Exploitation of Action Space
SPAARS通过抽象探索和动作空间精细化利用，提升强化学习策略对齐的安全性与效率
2026-03-11 cs.AI cs.LG cs.RO
Why the Agent Made that Decision: Contrastive Explanation Learning for Reinforcement Learning
Syracuse University（苏塞克斯大学）；Air Force Research Laboratory（空军研究实验室）
本文提出对比解释学习框架VisionMask，通过自监督方式对比智能体所选动作与备选动作来生成解释，在多种强化学习环境中验证了其在忠实性、鲁棒性和复杂性上的优势，提升了智能体决策的可解释性。
2025-08-06 cs.AI cs.LG
Driving-Policy Adaptive Safeguard for Autonomous Vehicles Using Reinforcement Learning
Tsinghua University（清华大学）；University of Michigan（密歇根大学）
诸如高级紧急制动（AEB）提供的保护功能可以为自动驾驶车辆（AV）提供另一层安全。智能安全保护功能应根据驾驶策略调整激活条件，以避免不必要的干预并提高车辆安全性。提出了一种驾驶策略自适应安全防护系统的设计方案，包括避碰策略和激活函数。避碰策略是在一个强化学习框架中设计的，通过蒙特卡罗树搜索（MCTS）获得。它可以从过去的碰撞中学习，并在随机交通中操纵制动和转向。驾驶策略自适应激活函数应动态评估当前驾驶策略风险，并在检测到紧急威胁时启动。为了生成这个激活函数，MCTS的探索和推出模块被设计成全面评估AV的当前驾驶策略，然后探索其他更安全的动作。在这项研究中，DPAS验证了两个典型的高速公路驾驶政策。在随机性和攻击性的模拟交通中，通过和90，000次获得结果。结果是校准的自然驾驶数据，并表明，所提出的保障措施，减少碰撞率显着，而不引入更多的干预措施，与国家为基础的基准保障措施。总之，所提出的保障措施在随机和紧急情况下利用基于学习的方法，并对驾驶策略施加最小的影响。
2020-12-02 cs.AI cs.RO
Directed Policy Gradient for Safe Reinforcement Learning with Human Advice
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
许多目前部署的强化学习代理在与人类共享的环境中工作，无论是同事，用户还是客户。人们希望这些智能体能够适应人们的偏好，在他们的帮助下更快地学习，并在他们周围安全地行动。我们认为，目前大多数从人类反馈中学习的方法都是不安全的：事后奖励或惩罚代理人不能立即防止它做错事。在本文中，我们扩展了策略梯度，使其强大的外部指令，否则将打破从根本上的政策性质的策略梯度。我们的技术，定向策略梯度（DPG），允许教师或备份策略覆盖代理之前，它的行为不可取的，同时允许代理利用人类的建议或指令，以更快地学习。我们的实验表明，DPG使代理学习速度比基于奖励的方法快得多，同时需要一个数量级的建议。
2018-08-13 cs.AI cs.LG stat.ML
Safe Inverse Reinforcement Learning via Control Barrier Function
School of Interactive Computing（交互计算学院）；Georgia Institute of Technology（佐治亚理工学院）
示教学习（LfD）是用于使机器人能够执行新颖任务的强大方法，因为对于非机器人专家终端用户来说，演示所需技能以及对于机器人来说，从相关联的数据中有效地学习通常比人类设计用于机器人经由强化学习（RL）来学习技能的奖励函数更容易处理。现代LfD技术中出现了安全问题，例如，逆强化学习（IRL），就像他们对RL所做的那样;然而，LfD中的安全学习很少受到关注。在敏捷机器人的背景下，由于机器人与环境碰撞、机器人与人碰撞以及机器人损坏的可能性，安全性尤其重要。在本文中，我们提出了一个安全的IRL框架，CBFIRL，利用控制屏障功能（CBF），以提高IRL政策的安全性。CBFIRL的核心思想是将受CBF要求启发的损失函数与IRL方法中的目标相结合，两者通过梯度下降进行联合优化。在实验中，我们表明，我们的框架执行更安全的IRL方法相比，没有CBF，即$\sim15\%$和$\sim20\%$改进的两个级别的难度的2D赛车域和$\sim 50\%$改进的3D无人机域。
2023-03-06 cs.AI cs.LG cs.RO
Transfer in Deep Reinforcement Learning using Knowledge Graphs
School of Interactive Computing（交互计算学院）；Georgia Institute of Technology（佐治亚理工学院）
文本冒险游戏，玩家必须通过文本描述来理解世界，并通过文本描述来宣布行动，为语言中的基础行动提供了一块垫脚石。先前的工作已经证明，使用知识图谱作为状态表示和问答来预训练深度Q网络有助于更快的控制策略转移。在本文中，我们探讨了使用知识图谱作为一种表示领域知识转移训练文本冒险玩强化学习代理。我们的方法在多个计算机生成和人类创作的游戏中进行了测试，这些游戏在领域和复杂性方面各不相同，并证明我们的迁移学习方法可以让我们更快地学习更高质量的控制策略。
2019-08-19 cs.AI cs.CL cs.LG
Meta-Reinforcement Learning for Heuristic Planning
University of Leeds（利兹大学）
在Meta-强化学习（meta-RL）中，智能体在一组任务上进行训练，以便在新的、看不见的但相关的任务中更快地准备和学习。训练任务通常是手工制作的，以代表测试任务的预期分布，因此全部用于训练。我们表明，给定一组训练任务，如果训练任务选择得当，学习可以更快，更有效（导致测试任务中更好的性能）。我们提出了一个任务选择算法，信息理论任务选择（ITTS），基于信息论，优化用于元强化学习训练的任务集，而不管它们是如何产生的。该算法确定哪些训练任务既与测试任务充分相关，又彼此足够不同。我们再现了文献中不同的元RL实验，并表明ITTS提高了所有实验的最终性能。
2021-07-06 cs.AI cs.LG
Reinforcement Learning under State and Outcome Uncertainty: A Foundational Distributional Perspective
本文提出分布点基值迭代（DPBVI），将分布强化学习扩展到部分可观测马尔可夫决策过程，通过新的分布贝尔曼算子和psi-向量表示回报分布，为风险敏感控制奠定基础。
2026-09-22 cs.AI cs.LG
CaiRL: A High-Performance Reinforcement Learning Environment Toolkit
University of Agder（阿格德大学）
本文解决了迫切需要一个平台，有效地提供了一个框架运行强化学习（RL）的实验。我们提出了CaiRL环境工具包作为一个有效的，兼容的，更可持续的替代训练学习代理，并提出了方法来开发更有效的环境模拟。人们越来越关注发展可持续的人工智能。然而，很少有人努力提高运行环境模拟的效率。最受欢迎的强化学习开发工具包OpenAI Gym是使用Python构建的，Python是一种功能强大但速度较慢的程序设计语言。我们提出了一个用C++编写的工具包，具有相同的灵活性，但工作速度要快几个数量级，以弥补Python的低效率。这将大大减少气候排放。CaiRL还提供了第一个强化学习工具包，该工具包具有内置的JVM和Flash支持，用于运行传统的Flash游戏，以进行强化学习研究。我们在经典的控制基准测试中展示了CaiRL的有效性，并将其执行速度与OpenAI Gym进行了比较。此外，我们还说明了CaiRL可以作为OpenAI Gym的直接替代品，因为减少了环境计算时间，可以利用更快的训练速度。
2022-10-03 cs.AI cs.LG
Many Field Packet Classification with Decomposition and Reinforcement Learning
University at Buffalo（布法罗大学）；Southern Illinois University Carbondale（南伊利诺伊大学卡本代尔分校）
可扩展的数据包分类是支持防火墙、入侵检测和差异化服务等可扩展网络应用的关键要求。随着核心网线路速率的不断提高，设计一个可扩展的分组分类解决方案成为一个巨大的挑战。在本文中，我们提出了一个可扩展的基于学习的数据包分类引擎，通过建立一个有效的数据结构，为不同的规则与多个字段。我们的方法包括将字段分解为子集，并使用深度强化学习程序在这些子集上构建单独的决策树。为了分解规则集的给定字段，我们考虑不同的分组度量，如单个字段的标准差，并引入一种新的度量称为多样性指数（DI）。我们检查不同的分解方案，并使用深度强化学习为每个方案构建决策树，并比较结果。结果表明，SD分解度量比DI度量快11.5%，比随机2快25%，比随机1快40%。此外，我们的基于学习的选择方法可以适用于不同的规则集，由于其规则的独立性。
2022-05-16 cs.AI cs.NI cs.PF
Prediction Based Decision Making for Autonomous Highway Driving
University of Surrey（萨里大学）；University of Warwick（华威大学）；Warwick Manufacturing Group（华威制造集团）
由于交通固有的复杂性和不确定性，自动驾驶决策是一项具有挑战性的任务。例如，相邻车辆可以随时改变车道或超车，以超过慢速车辆或帮助交通流量。预测周围车辆的意图，估计它们的未来状态并将其整合到自动驾驶汽车的决策过程中，可以提高复杂驾驶场景中自动驾驶的可靠性。提出了一种基于预测的深度强化学习（PDRL）决策模型，该模型在高速公路驾驶决策过程中考虑了周围车辆的操纵意图。该模型使用真实的交通数据进行训练，并通过仿真平台在各种交通条件下进行测试。结果表明，与深度强化学习（DRL）模型相比，所提出的PDRL模型通过减少碰撞次数来提高决策性能，从而实现更安全的驾驶。
2022-09-05 cs.AI cs.RO
