Predictive Safety Shield for Dyna-Q Reinforcement Learning
Departement U2IS, ENSTA Paris, Institut Polytechnique de Paris（ENSTA巴黎大学U2IS部门，巴黎理工学院）；Department of Electrical Engineering and Computer Science, University of California, Berkeley, USA（加州大学伯克利分校电气工程与计算机科学系）
本文提出了一种预测安全护盾，通过环境模型的安全模拟本地更新Q函数，以在保持严格安全保证的同时提高模型强化学习性能。
2025-11-26 cs.AI cs.LG cs.RO
ROVE: Unlocking Human Interventions for Humanoid Manipulation via Reinforcement Learning
XPENG Robotics（小鹏机器人）；Fudan University（复旦大学）；The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）
提出ROVE框架，利用强化学习和乐观价值估计，从次优人类干预轨迹中学习高价值行为，提升人形机器人操作性能。
2026-10-05 cs.LG cs.RO
Safe Reinforcement Learning with Chance-constrained Model Predictive Control
UC Berkeley（加州大学伯克利分校）
现实世界中的强化学习（RL）问题通常要求智能体通过遵守一组设计的约束来安全地行为。我们通过将基于模型预测控制（MPC）的安全指南与线性设置中具有连续动作的修改后的策略梯度框架相耦合来解决安全RL的挑战。该指南通过在MPC公式中嵌入安全要求作为机会约束来强制执行系统的安全操作。然后，策略梯度训练步骤包括训练基本策略以安全地运行的安全惩罚。我们从理论上证明，这种惩罚允许一个可证明安全的最佳基础政策，并说明我们的方法与模拟线性化四旋翼实验。
2022-03-28 cs.LG cs.SY eess.SY
Safe Reinforcement Learning Using Robust Action Governor
University of Michigan（密歇根大学）；Ford Motor Company（福特汽车公司）
强化学习（RL）本质上是一种试错学习过程，在探索和利用过程中可能会导致不安全的行为。这阻碍了RL在现实世界控制问题中的应用，特别是对安全关键系统的应用。在本文中，我们介绍了一个安全RL的框架，该框架基于RL算法与附加安全监督模块的集成，称为鲁棒动作总督（RAG），该模块利用集合理论技术和在线优化来管理学习过程中的安全相关要求。我们说明了这一建议的安全RL框架，通过应用汽车自适应巡航控制。
2021-04-30 cs.LG cs.SY eess.SY
Prescriptive Process Monitoring Under Resource Constraints: A Reinforcement Learning Approach
Institute of Computer Science, University of Tartu（计算机科学研究所，塔尔图大学）
针对现有处方流程监控强化学习方法假设资源无限的问题，提出结合共形预测考虑预测不确定性的资源约束下强化学习方法，经真实数据集验证可提升净干预收益。
2024-01-20 cs.AI cs.LG
Government Intervention in Catastrophe Insurance Markets: A Reinforcement Learning Approach
The American University in Cairo（开罗美国大学）；Université du Québec à Montréal（魁北克大学蒙特利尔分校）
本文设计了一个微观基础社会的连续重复博弈，其中有三种类型的代理人：个人，保险公司和政府。我们使用强化学习（RL），与多臂强盗问题密切相关，来学习每花费1美元的一组拟议政策干预对福利的影响。本文件通过逐案比较，严格讨论了拟议干预措施的可取性。本文提供了一个框架，算法的政策评估使用校准的理论模型，可以协助可行性研究。
2022-07-03 cs.LG cs.MA econ.GN
UniIntervene: Agentic Intervention for Efficient Real-World Reinforcement Learning
Nanyang Technological University（南洋理工大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
提出UniIntervene智能干预模型，通过检测低效探索并自主恢复策略至高价值状态，在真实机器人操作任务中平均成功率提升8.6%，人类干预减少57%。
2026-06-11 cs.LG cs.RO
Weakly Supervised Reinforcement Learning for Autonomous Highway Driving via Virtual Safety Cages
University of Surrey（萨里大学）
神经网络和强化学习的使用在自主车辆控制中变得越来越流行。然而，由此产生的控制策略的不透明性对在自主车辆中部署基于神经网络的控制提出了重大障碍。在本文中，我们提出了一种基于强化学习的方法，自主车辆纵向控制，其中基于规则的安全笼提供增强的安全性的车辆以及弱监督的强化学习代理。通过将代理引导到有意义的状态和动作，这种弱监督改善了训练过程中的收敛性，并增强了最终训练策略的安全性。这种基于规则的监督控制器具有完全可解释的进一步优势，从而使传统的验证和验证方法能够确保车辆的安全性。我们比较了有和没有安全笼的模型，以及具有最佳和约束模型参数的模型，并表明弱监督始终提高了探索的安全性，收敛速度和模型性能。此外，我们表明，当模型参数受到约束或次优时，安全笼可以使模型学习安全驾驶策略，即使模型无法单独通过强化学习进行训练。
2021-03-17 cs.LG cs.SY eess.SY
Exploring with Sticky Mittens: Reinforcement Learning with Expert Interventions via Option Templates
University of Pennsylvania（宾夕法尼亚大学）；Vanderbilt University（范德堡大学）；Children’s Hospital of Philadelphia（费城儿童医院）
具有稀疏奖励的长时间机器人学习任务对当前的强化学习算法提出了重大挑战。使人类能够学习具有挑战性的控制任务的一个关键特征是，他们经常接受专家干预，使他们能够在掌握低级别控制动作之前理解任务的高级结构。我们提出了一个利用专家干预来解决长期强化学习任务的框架。我们考虑\emph{option templates}，这是一种编码潜在选项的规范，可以使用强化学习进行训练。我们制定专家干预，允许代理执行选项模板之前，学习实现。这使他们能够使用一个选项，然后再投入昂贵的资源来学习it.We评估我们的方法上三个具有挑战性的强化学习问题，表明它优于国家的最先进的方法两个数量级。培训代理的视频和我们的代码可以在https://sites.google.com/view/stickymittens上找到
2022-11-17 cs.AI cs.LG stat.ML
Learning Control Barrier Functions and their application in Reinforcement Learning: A Survey
Polytechnique Montréal（蒙特利尔理工学院）
本文综述了安全强化学习中控制障碍函数的应用，并探讨了自动学习控制障碍函数的数据驱动方法，以提升强化学习在真实机器人应用中的安全性与有效性。
2024-04-22 cs.AI cs.LG cs.RO
Safe multi-agent deep reinforcement learning for joint bidding and maintenance scheduling of generation units
ETH Zurich（苏黎世联邦理工学院）
针对竞争性电力市场环境下发电竞价决策和机组检修计划问题，提出了一种安全的强化学习算法。在这个问题中，每个单位的目标是找到一个投标策略，最大限度地提高其收入，同时保持其可靠性，通过安排预防性维护。维护调度提供了一些安全约束，这些约束应始终得到满足。在发电机组报价策略信息不完全的情况下，满足关键的安全可靠性约束是一个具有挑战性的问题。双层优化和强化学习是解决这类问题的最先进方法。然而，无论是双层优化还是强化学习都无法处理不完整信息和关键安全约束的挑战。为了应对这些挑战，我们提出了安全的深度确定性策略梯度强化学习算法，该算法基于强化学习和预测安全过滤器的组合。实例研究表明，该方法可以实现更高的利润相比，其他国家的最先进的方法，同时满足系统的安全约束。
2021-12-20 cs.AI cs.LG cs.SY
When to Ask for Help: Proactive Interventions in Autonomous Reinforcement Learning
Stanford University（斯坦福大学）
强化学习的一个长期目标是设计能够在世界中自主交互和学习的代理。这种自主性的一个关键挑战是存在不可逆状态，需要外部帮助才能恢复，例如当机器人手臂将物体推离桌子时。虽然标准的代理需要不断的监控，以决定何时干预，我们的目标是设计主动代理，可以要求人类干预，只有在需要的时候。为此，我们提出了一种算法，有效地学习检测和避免不可逆转的状态，并主动寻求帮助的情况下，代理不进入他们。在一组具有未知不可逆状态的连续控制环境中，我们发现与现有方法相比，我们的算法具有更好的采样和干预效率。我们的代码可在https://sites.google.com/view/proactive-interventions上公开获取
2022-10-19 cs.LG
UniIntervene++: An Adaptive Intervention Agent for Efficient Real-World Reinforcement Learning
Nanyang Technological University（南洋理工大学）
提出自适应干预智能体UniIntervene++，通过半马尔可夫决策过程学习控制分配，动态决定干预时机与方式，在真实世界操作任务中成功率89.67%，干预率仅0.77%。
2026-10-05 cs.LG cs.RO
Safe Continual Reinforcement Learning Methods for Nonstationary Environments. Towards a Survey of the State of the Art
McMaster Centre for Software Certification（麦克斯特软件认证中心）；Department of Computing and Software（计算与软件系）；McMaster University（麦克斯特大学）
本文综述了非平稳环境下安全持续强化学习的最新方法，探讨了理论挑战和未来发展方向。
2026-01-08 cs.AI cs.LG
LexiSafe: Offline Safe Reinforcement Learning with Lexicographic Safety-Reward Hierarchy
LexiSafe通过字典序优先级与结构偏差的统一，提供了一种理论严谨且实用的离线安全强化学习框架，以提升物理系统中的安全性能。
2026-03-11 cs.LG cs.SY eess.SY
Physical Deep Reinforcement Learning Towards Safety Guarantee
Technical University of Munich（慕尼黑工业大学）；Wayne State University（韦恩州立大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
深度强化学习（Deep Reinforcement Learning，DRL）在高维状态和/或动作空间自治系统的许多复杂决策任务中取得了巨大成功。然而，安全性和稳定性仍然是主要的问题，阻碍了日间行车灯的应用，安全关键的自治系统。为了解决这些问题，我们提出了Phy-DRL：一个物理深度强化学习框架。Phy-DRL在两个架构设计中是新颖的：i）类似于Lyapunov的奖励，以及ii）剩余控制（即，基于物理模型控制和数据驱动控制的集成）。并发的物理奖励和剩余控制赋予Phy-DRL（数学上）可证明的安全性和稳定性保证。通过对倒立摆系统的仿真实验，验证了Phy-DRL在保证安全性和稳定性的同时，具有较强的鲁棒性，并能显著提高训练速度和训练回报。
2023-03-29 cs.LG cs.SY eess.SY
Safe Exploration in Model-based Reinforcement Learning using Control Barrier Functions
Boston University（波士顿大学）
本文提出了一种基于基于模型的强化学习（MBRL）框架，用于在线学习无限时域最优控制问题的价值函数，同时服从以控制障碍函数（CBF）表示的安全约束。我们的方法是促进了一类新的CBFs，称为Lyapunov样CBFs（LCBFs）的发展，保留CBFs的开发微创安全控制政策的有益特性，同时也具有理想的Lyapunov样的质量，如积极的半定。我们展示了如何使用这些LCBFs来增强基于学习的控制策略以保证安全，然后利用这种方法在MBRL环境中开发安全的探索框架。我们证明，我们的方法可以处理更一般的安全约束比比较方法通过数值例子。
2022-09-19 cs.LG cs.SY eess.SY
From Thermal Preference Prediction to Adaptive Thermal Intervention: A Reinforcement Learning Approach Using Physiological and Environmental Sensing
Nottingham Trent University（诺丁汉特伦特大学）；York University（约克大学）
针对传统HVAC系统无法捕捉个体生理变异性的问题，提出整合多模态感知与强化学习的两阶段个性化热舒适方法，助力开发更响应的建筑控制策略。
2026-08-24 cs.AI cs.LG
Measuring Interventional Robustness in Reinforcement Learning
Knowledge Discovery Laboratory（知识发现实验室）；College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
强化学习的最新工作集中在学习策略的几个特征上，这些特征超越了最大化奖励。这些属性包括公平性、可解释性、泛化性和鲁棒性。在本文中，我们定义了干预鲁棒性（IR），有多少可变性引入到学习政策的附带方面的培训过程中，如训练数据的顺序或代理采取的特定探索行动的措施。当它产生的代理在干预下采取非常相似的行动时，训练过程具有高IR，尽管训练过程的这些附带方面存在变化。我们开发了一种直观的IR定量测量方法，并在三个Atari环境中的八种算法中计算了数十种干预措施和状态。从这些实验中，我们发现IR随训练量和算法类型而变化，并且高性能并不意味着高IR，正如人们所期望的那样。
2022-09-19 cs.AI cs.LG
Learning-based Model Predictive Control for Safe Exploration and Reinforcement Learning
University of Freiburg（弗赖堡大学）；ETH Zurich（苏黎世联邦理工学院）
强化学习已经成功地用于解决复杂未知环境中的困难任务。然而，这些方法通常在学习过程中不提供任何安全保证。这是特别有问题的，因为强化学习代理积极探索他们的环境。这阻止了它们在安全关键的实际应用中的使用。在本文中，我们提出了一种基于学习的模型预测控制方案，在整个学习过程中提供高概率的安全保证。基于一个可靠的统计模型，我们构建可证明准确的置信区间预测轨迹。与以前的方法不同，我们允许输入依赖的不确定性。基于这些可靠的预测，我们保证轨迹满足安全约束。此外，我们使用终端集约束递归地保证在每次迭代的安全控制动作的存在。我们评估所得到的算法，以安全地探索倒立摆的动力学，并解决一个具有安全约束的推车杆系统上的强化学习任务。
2019-06-27 cs.AI cs.LG cs.SY
Safe Reinforcement Learning via Confidence-Based Filters
Technical University of Munich（慕尼黑工业大学）；ETH Zurich（苏黎世联邦理工学院）
在将强化学习（RL）部署到现实世界系统时，确保安全性是一个至关重要的挑战。我们开发了基于置信度的安全过滤器，一种控制理论方法，用于验证通过标准RL技术学习的标称策略的状态安全约束，基于概率动力学模型。我们的方法是基于重新制定的状态约束的成本函数，减少安全验证的标准RL任务。通过利用幻觉输入的概念，我们扩展了这个公式，以确定一个“备份”的政策，是安全的未知系统的高概率。最后，标称策略在向备份策略推出期间的每个时间步骤被最小化地调整，使得可以在之后保证安全恢复。我们提供正式的安全保证，并以经验证明我们的方法的有效性。
2022-07-04 cs.AI cs.LG cs.SY
Interactive Double Deep Q-network: Integrating Human Interventions and Evaluative Predictions in Reinforcement Learning of Autonomous Driving
Center for Applied Autonomous Sensor Systems (AASS)（应用自主传感器系统中心）；Örebro University（奥雷布罗大学）；Computer Vision Laboratory（计算机视觉实验室）；Linköping University（利德斯霍尔大学）
交互式双深Q网络通过整合人类干预与评估预测，提升自动驾驶强化学习的性能和适应性。
2025-04-28 cs.AI cs.LG cs.RO
Leveraging Deep Reinforcement Learning for Metacognitive Interventions across Intelligent Tutoring Systems
North Carolina State University（北卡罗来纳州立大学）
本文通过两项课堂实验比较静态分类干预与DRL自适应元认知干预，发现DRL能缩小学生元认知差距，并促进其在后续无干预辅导系统中的迁移学习。
2023-04-17 cs.AI cs.CY cs.HC
Do Androids Dream of Electric Fences? Safety-Aware Reinforcement Learning with Latent Shielding
Imperial College London（伦敦帝国理工学院）；University College London（伦敦大学学院）；Apricity
新兴的强化学习系统进入现实世界应用的趋势日益增长，伴随着对其安全性和鲁棒性的日益关注。近年来，已经提出了各种方法来解决安全意识强化学习的挑战;然而，这些方法通常需要预先提供手工制作的环境模型，或者环境相对简单且低维。我们提出了一种新的方法，安全意识的深度强化学习在高维环境中称为潜在的屏蔽。潜在屏蔽利用基于模型的代理学习的环境的内部表示来“想象”未来的轨迹，并避免那些被认为不安全的轨迹。我们的实验表明，这种方法导致改善遵守正式定义的安全规范。
2021-12-21 cs.LG cs.LO cs.NE
Designing and evaluating an online reinforcement learning agent for physical exercise recommendations in N-of-1 trials
Hasso Plattner Institute for Digital Engineering, University of Potsdam（波茨坦大学哈索·普拉特纳数字工程研究所）；Hasso Plattner Institute for Digital Health at Mount Sinai, Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院西奈山哈索·普拉特纳数字健康研究所）；Harvard University（哈佛大学）
本文提出一种基于N-of-1试验设计的在线强化学习智能体，用于体育锻炼推荐以减轻子宫内膜异位症疼痛，仿真表明该个性化干预可行且能改善患者收益。
2023-11-23 cs.LG stat.AP stat.ME
Safety Generalization Under Distribution Shift in Safe Reinforcement Learning: A Diabetes Testbed
Department of Computer Science, University of Virginia（弗吉尼亚大学计算机科学系）
研究安全强化学习算法在分布偏移下训练时安全保证能否迁移到部署中，使用糖尿病管理作为测试平台，发现安全泛化差距并通过测试时屏蔽有效恢复安全性。
2026-05-24 cs.AI cs.LG cs.SY
Safe Reinforcement Learning with Contrastive Risk Prediction
Carleton University（卡尔顿大学）
在机器人应用中，安全违规行为会导致严重后果，随着强化学习（RL）在机器人领域的广泛应用，推动了对强化学习安全探索（safe RL）的研究。在这项工作中，我们提出了一种安全RL的风险预防训练方法，该方法学习统计对比分类器来预测导致不安全状态的状态-动作对的概率。基于预测的风险概率，我们可以收集风险预防轨迹，并重塑奖励函数与风险惩罚，以诱导安全的RL策略。我们在机器人模拟环境中进行实验。结果表明，该方法具有相当的性能与国家的最先进的基于模型的方法，并优于传统的无模型的安全RL方法。
2022-09-10 cs.AI cs.LG cs.RO
Designing Reinforcement Learning Algorithms for Digital Interventions: Pre-implementation Guidelines
Harvard University（哈佛大学）；University of Michigan（密歇根大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
在线强化学习（RL）算法越来越多地用于移动医疗和在线教育领域的个性化数字干预。在这些设置中设计和测试RL算法的常见挑战包括确保RL算法可以在实时约束下学习和稳定运行，并考虑环境的复杂性，例如，缺乏用户动态的精确机械模型。为了指导人们如何应对这些挑战，我们扩展了PCS（可预测性，可计算性，稳定性）框架，这是一个数据科学框架，将机器学习和统计学的最佳实践融入监督学习（Yu和Kumbier，2020），以设计数字干预设置的RL算法。此外，我们提供了如何设计仿真环境，使用PCS框架评估RL候选算法的重要工具的指导方针。我们说明了使用PCS框架设计RL算法的Oralytics，移动健康研究，旨在改善用户的刷牙行为，通过个性化的干预消息的交付。Oralytics将于2022年底进入该领域。
2022-08-18 cs.AI cs.LG
The Evidence Ladder for Reinforcement Learning in Healthcare: From Retrospective Policies to Trusted Interventions
本文提出用证据阶梯框架评估医疗保健中的强化学习，强调从回顾性策略到可信干预需逐级验证，并指出历史数据上的高分不等于临床改善，应将其视为社会技术系统中的干预而非单纯优化器。
2026-09-22 cs.LG
Discovering What You Can Control: Interventional Boundary Discovery for Reinforcement Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）
本文提出干预边界发现方法，通过随机化动作生成干预对比，利用FDR校正的两样本检验确定观测维度，有效识别可控状态维度。
2026-09-29 cs.AI cs.LG
Leveraging Analytic Gradients in Provably Safe Reinforcement Learning
Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出首个有效安全防护方法，用于解析梯度强化学习，通过改进映射和梯度公式，结合先进算法和可微仿真，验证了安全防护对性能无影响。
2026-05-07 cs.AI cs.LG cs.RO
Reinforcement Learning with Ensemble Model Predictive Safety Certification
Technical University of Munich (TUM)（慕尼黑工业大学（TUM））；Fraunhofer IKS（弗劳恩霍夫智能与通信系统研究所）
提出集成模型预测安全认证算法，结合基于模型的深度强化学习与基于管道的模型预测控制，利用安全控制器生成的离线数据纠正智能体动作，显著减少约束违反次数。
2024-02-06 cs.LG cs.RO
Angel or Demon: Investigating the Plasticity Interventions' Impact on Backdoor Threats in Deep Reinforcement Learning
Zhejiang University（浙江大学）；National University of Defense Technology（国防科技大学）；Xi'an Jiaotong University（西安交通大学）
研究通过分析14664个案例，发现仅有一种干预（SAM）加剧了后门威胁，其他干预则缓解了威胁，提出新的稳健后门注入框架和异常损失景观尖锐度作为检测指标。
2026-05-14 cs.AI cs.CR cs.LG
Enhancing Navigational Safety in Crowded Environments using Semantic-Deep-Reinforcement-Learning-based Navigation
Berlin Institute of Technology（柏林工业大学）
社交人群中的智能导航是移动机器人的一个重要方面，用于交付，医疗保健或援助等应用。深度强化学习作为保守方法的替代规划方法出现，并承诺更有效和灵活的导航。然而，在高度动态的环境中，采用不同种类的障碍物类，安全航行仍然提出了一个巨大的挑战。在本文中，我们提出了一种基于语义深度强化学习的导航方法，该方法通过考虑高级障碍物信息来教授特定于对象的安全规则。特别是，智能体通过考虑特定的危险区域来学习特定于对象的行为，以增强脆弱对象类周围的安全性。我们测试的方法对基准避障方法，并发现增加了安全性。此外，我们证明了智能体可以通过保持依赖于语义信息的个人安全距离来学习更安全地导航。
2021-09-23 cs.LG cs.RO
Revisiting Safe Exploration in Safe Reinforcement learning
University of Freiburg（弗赖堡大学）
针对安全强化学习中现有安全度量无法区分代价累积方式的问题，提出期望最大连续代价步数（EMCC）度量，并在在线与离线策略算法中验证其安全探索评估能力，同时设计轻量级基准任务以加速算法评估。
2024-09-02 cs.AI cs.LG cs.RO
Safe Reinforcement Learning on Autonomous Vehicles
Honda Research Institute USA（美国本田研究所）
强化学习已经取得了许多进展，但学习过程的典型不受约束的探索阻止了这些方法在许多安全关键应用中的采用。安全强化学习的最新工作使用理想化模型来实现其保证，但这些模型不容易适应现实世界系统的随机性或高维性。我们研究了预测如何为约束探索提供一个通用和直观的框架，并展示了它如何用于安全地学习自动驾驶汽车上的交叉路口处理行为。
2019-09-27 cs.AI cs.LG cs.RO
Counterexample-Guided Repair of Reinforcement Learning Systems Using Safety Critics
University of Konstanz（康斯坦茨大学）
针对深度强化学习智能体违反安全约束的问题，提出一种利用安全评论器的反例引导修复算法，通过梯度约束优化联合修复智能体与评论器，消除不安全行为。
2024-05-24 cs.LG cs.LO
A Safety Modulator Actor-Critic Method in Model-Free Safe Reinforcement Learning and Application in UAV Hovering
College of Electronics and Information Engineering, Sichuan University（四川大学电子信息工程学院）；City University of Hong Kong（香港城市大学）；Institute of Unmanned Aerial Vehicle Systems, Lingchuan Industry（凌川工业无人机系统研究所）
针对无模型安全强化学习的安全约束与Q值过估计问题，提出带分布型Critic的安全调制器Actor-Critic方法，经无人机悬停仿真与实场景实验验证，其安全性与性能均优于主流基线。
2024-10-09 cs.AI cs.LG cs.RO
Safe Continual Reinforcement Learning under Nonstationarity via Adaptive Safety Constraints
McMaster Centre for Software Certification（麦斯特软件认证中心）；Department of Computing and Software（计算与软件系）；McMaster University（麦斯特大学）
本文提出了一种结合三种自适应安全机制的框架，用于在非平稳环境下实现安全的持续强化学习，通过自适应约束机制减少分布偏移下的安全违规，同时保持任务性能。
2026-05-13 cs.LG
Reinforcement Learning Enables Autonomous Microrobot Navigation and Intervention in Simulated Blood Capillaries
Institute for Computational Physics, University of Stuttgart（斯图加特大学计算物理研究所）
开发基于物理的毛细血管网络仿真，利用深度强化学习训练微机器人通过趋化性导航，发现多种通用策略并实现靶向血流阻塞与恢复。
2026-06-26 cs.LG cs.RO physics.bio-ph
Planning Multiple Epidemic Interventions with Reinforcement Learning
New York University Abu Dhabi（纽约大学阿布扎比分校）；New York University（纽约大学）
该研究将多种连续流行病干预规划建模为马尔可夫决策过程，并利用 PPO 与 SAC 强化学习算法在常微分方程疾病模型中搜索低成本方案，实验表明其优于手工政策基线。
2023-06-07 cs.LG
Stochastic Intervention for Causal Inference via Reinforcement Learning
University of Technology Sydney（悉尼科技大学）
因果推理方法广泛应用于精准医疗、最优政策和经济学等决策领域。因果推断的核心是干预策略的治疗效果估计，例如药物剂量的变化和经济援助的增加。现有的方法大多局限于确定性的处理和比较不同处理下的结果。然而，他们无法解决随机治疗下的治疗效果估计的实质性近期兴趣，例如，“如果采取50%剂量减少，所有单位的健康状况如何变化”。换句话说，它们缺乏提供细粒度治疗效果估计以支持合理决策的能力。在我们的研究中，我们提出了一个新的有效的框架来估计随机干预的治疗效果的因果推理研究。特别地，我们开发了一个基于非参数影响函数的随机干预效应估计器（SIE），理论上保证了鲁棒性和快速收敛速度。此外，我们构建了一个定制的强化学习算法的基础上的随机搜索求解器，可以有效地找到最优的政策，以产生最大的预期结果的决策过程。最后，我们进行了实证研究，以证明我们的框架可以实现显着的性能与国家的最先进的基线相比。
2021-05-28 cs.AI cs.LG
Safe Reinforcement Learning in Constrained Markov Decision Processes
IBM Research AI（IBM研究院）；Tsinghua University（清华大学）
安全强化学习是一种很有前途的方法，用于优化在安全关键应用中运行的代理的策略。在本文中，我们提出了一种算法，SNO-MDP，探索和优化马尔可夫决策过程未知的安全约束。具体来说，我们采取逐步的方法来优化安全性和累积奖励。在我们的方法中，智能体首先通过扩大安全区域来学习安全约束，然后在已认证的安全区域内优化累积奖励。我们提供了理论保证的安全约束的满意度和近最优的累积奖励下适当的规律性假设。在我们的实验中，我们通过两个实验证明了SNO-MDP的有效性：一个是在一个新的、开放的环境GP-SAFETY-GYM中使用合成数据，另一个是使用真实的观测数据模拟火星表面探测。
2020-08-15 cs.AI cs.LG cs.RO
Safe Reinforcement Learning with Probabilistic Control Barrier Functions for Ramp Merging
Carnegie Mellon University（卡内基梅隆大学）
之前的工作着眼于将强化学习和模仿学习方法应用于自动驾驶场景，但算法的安全性或效率都受到了影响。通过使用嵌入到强化学习策略中的控制障碍函数，我们可以获得安全的策略来优化自动驾驶车辆的性能。然而，控制障碍函数需要一个很好的近似模型的汽车。我们使用概率控制障碍函数作为模型不确定性的估计。该算法作为在线版本在CARLA中实现（Dosovitskiy等人，2017年）模拟器，并作为从NGSIM数据库中提取的数据集的离线版本。该算法不仅是一种安全的匝道并道算法，而且是一种适用于高速公路匝道并道的安全自动驾驶算法。
2022-12-01 cs.AI cs.LG cs.RO
Safety-Oriented Pruning and Interpretation of Reinforcement Learning Policies
Simula Research Laboratory（西穆拉研究院）
针对神经网络剪枝可能破坏强化学习策略安全性的问题，提出结合剪枝与模型检查的VERINTER方法，量化剪枝及神经连接对安全属性的影响，在维持剪枝策略安全性的同时提升可解释性，且在多场景验证有效。
2024-09-16 cs.LG
Sampling-Based Safe Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）
本文提出了一种基于采样的安全强化学习方法，通过在有限的动力学样本集上联合施加约束，确保学习过程中的安全性，并在连续域中提供实用的安全保证，同时通过限制认知不确定性实现了高效的探索。
2026-10-12 cs.AI cs.LG cs.RO
Active Learning of Causal Structures with Deep Reinforcement Learning
Sharif University of Technology（谢里夫理工大学）
我们研究实验设计问题，以从干预数据中学习因果结构。我们考虑一个主动学习的设置，其中实验者决定干预系统中的变量之一，在每一步，并使用干预的结果，以恢复变量之间的进一步的因果关系。目标是以最少的干预措施充分识别因果结构。我们提出了第一个基于深度强化学习的实验设计问题解决方案。在所提出的方法中，我们使用一个图神经网络将输入图嵌入到向量中，并将它们馈送到另一个神经网络，该神经网络输出一个变量，用于在每一步中进行干预。两个网络通过Q迭代算法联合训练。实验结果表明，该方法在恢复因果结构方面取得了有竞争力的性能，同时显着减少密集图中的执行时间。
2020-09-07 cs.AI cs.LG
Context-Aware Safe Reinforcement Learning for Non-Stationary Environments
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
在为现实任务部署强化学习代理时，安全性是一个关键问题。最近，安全的强化学习算法已经被开发出来，以优化代理的性能，同时避免违反安全约束。然而，很少有研究涉及到环境中的非平稳扰动，这可能会导致灾难性的后果。在本文中，我们提出了上下文感知安全的强化学习（CASRL）方法，一个元学习框架，以实现安全适应非平稳环境。我们使用一个概率潜变量模型来实现快速推断的后验环境的过渡分布的上下文数据。安全约束，然后评估与不确定性感知轨迹采样。安全违规的高成本导致数据集中不安全记录的稀缺性。我们通过在模型训练过程中启用优先级采样和在约束规划过程中使用领域知识制定先验安全约束来解决这个问题。该算法在现实的安全关键环境中进行评估，非平稳干扰。结果表明，该算法在安全性和鲁棒性方面显着优于现有的基线。
2021-01-02 cs.LG
Group-driven Reinforcement Learning for Personalized mHealth Intervention
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
由于智能手机和可穿戴设备的普及，移动健康（mHealth）技术有望为人们的健康带来积极和广泛的影响。最先进的移动健康决策方法依赖于一些理想的假设。这些方法要么假设用户是完全同质的，要么假设用户是完全异质的。然而，在现实中，用户可能与一些但不是所有用户相似。在本文中，我们提出了一种新的群体驱动的强化学习方法的mHealth。我们的目标是了解如何在相似的用户之间共享信息，以更好地将有限的用户信息转换为更清晰的学习RL策略。具体来说，我们采用K-means聚类方法根据轨迹信息的相似性对用户进行分组，并为每个组学习共享的RL策略。大量的实验结果表明，我们的方法可以实现明显的收益超过最先进的RL方法的mHealth。
2017-08-14 cs.CY cs.LG
Safe Reinforcement Learning with Scene Decomposition for Navigating Complex Urban Environments
Stanford University（斯坦福大学）；Honda Research Institute（本田研究院）
在城市环境中导航对自动驾驶汽车来说是一项复杂的任务。他们必须在考虑众多交通参与者的同时安全有效地达到目标。我们提出了一个模块化的决策算法，自主导航交叉口，解决现有的基于规则和强化学习（RL）的方法的挑战。我们首先提出了一个安全的RL算法依赖于模型检查器，以确保安全保证。为了使决策策略对感知错误和遮挡具有鲁棒性，我们引入了一种使用基于学习的方法的信念更新技术。最后，我们使用场景分解的方法来扩展我们的算法，多个交通参与者的环境。我们的经验表明，我们的算法优于基于规则的方法和强化学习技术在一个复杂的交叉口的情况。
2019-04-25 cs.AI cs.LG cs.RO
Safety-Guided Deep Reinforcement Learning via Online Gaussian Process Estimation
Boston University（波士顿大学）
强化学习（RL）的一个重要方面与智能体如何探索环境有关。传统的勘探策略通常注重效率而忽视安全。然而，对于实际应用，在勘探期间确保制剂的安全至关重要，因为采取不安全的行动或达到不安全的状态可能对制剂造成不可逆转的损害。安全探索的主要挑战在于，对于大的连续状态或动作空间和未知环境，难以表征不安全状态和动作。在本文中，我们提出了一种新的方法，在深度强化学习中引入安全性估计来指导探索和策略搜索。通过使用成本函数来捕获基于故障的安全性，我们的关键思想是制定作为候选李雅普诺夫函数的安全成本的状态-动作价值函数，并扩展控制理论的结果，以近似其导数使用在线高斯过程（GP）估计。我们展示了如何使用这些统计模型来指导代理在未知的环境中获得高性能的控制策略与可证明的稳定性证书。
2019-04-22 cs.AI cs.LG cs.RO
Safe Distributional Reinforcement Learning
UM-SJTU Joint Institute（上海交大-密西根联合学院）；Shanghai Jiao Tong University（上海交通大学）
强化学习（RL）的安全性是自动驾驶或金融等许多领域的训练和执行的关键属性。在本文中，我们形式化它的约束RL制定的分布RL设置。我们的通用模型接受各种安全定义（例如，预期业绩的界限、CVaR、方差或达到不良状态的概率）。为了保证学习过程中的安全性，我们扩展了一种安全策略优化方法来解决我们的问题。分布式强化学习的观点导致了一个更有效的算法，同时还满足了自然安全的约束。我们经验验证我们的主张对适当的国家的最先进的安全RL算法的人工和真实的域。
2021-02-26 cs.LG
A Survey of Safe Reinforcement Learning and Constrained MDPs: A Technical Survey on Single-Agent and Multi-Agent Safety
International Institute of Information Technology, Hyderabad, India（国际信息科技研究所，印度海得拉巴）；Meta SuperIntelligence, USA（Meta超智能，美国）
本文综述了安全强化学习和约束马尔可夫决策过程，涵盖单智能体和多智能体安全方法，总结了理论基础和最新算法，并提出五个开放性问题以推动该领域发展。
2026-04-29 cs.LG
DESTA: A Framework for Safe Reinforcement Learning with Markov Games of Intervention
Huawei R&D UK（华为英国研发中心）；Tsinghua University（清华大学）；Zhejiang Normal University（浙江师范大学）；University College London（伦敦大学学院）；Peking University（北京大学）
强化学习（RL）涉及在未知系统中执行探索性操作。这可能会将学习代理置于危险和潜在的灾难性系统状态。目前在强化学习中解决安全学习的方法同时权衡了安全探索和任务完成。在本文中，我们介绍了新一代RL求解器，它们学会最大限度地减少安全违规行为，同时在安全策略可以容忍的范围内最大化任务奖励。我们的方法引入了一种新的安全RL的两人框架，称为分布式探索安全训练算法（DESTA）。DESTA的核心是两个自适应代理之间的博弈：安全代理，被委托的任务是最小化安全违规和任务代理，其目标是最大化环境奖励。具体地说，安全代理可以在任何给定的点选择性地控制系统，以防止违反安全，而任务代理可以在任何其他状态下自由地执行其策略。该框架使安全代理能够在训练和测试期间学习在某些状态下采取行动，以最大限度地减少未来的安全违规行为，而任务代理则在其他任何地方执行最大限度地提高任务性能的行动。从理论上讲，我们证明了DESTA收敛到稳定点，使预训练策略的安全违规行为最小化。经验上，我们显示DESTA的能力，以增加现有的政策的安全性，其次，构建安全的强化学习政策时，任务代理和安全代理同时进行培训。我们在OpenAI gym的Lunar Lander和Frozen Lake中展示了DESTA与领先的RL方法的卓越性能。
2023-03-01 cs.LG
