Provably Safe Trajectory Optimization in the Presence of Uncertain Convex Obstacles
Massachusetts Institute of Technology（麻省理工学院）
现实世界的环境本质上是不确定的，为了在这些环境中安全运行，机器人必须能够围绕这种不确定性进行规划。在运动规划的上下文中，我们希望系统能够在机器人移动时保持可接受的安全水平，即使不知道附近障碍物的确切位置。在本文中，我们解决这个机会约束运动规划问题，使用顺序凸优化框架。为了约束碰撞的风险所产生的计划运动，我们采用几何对象称为$ε$ -阴影计算机器人和不确定的障碍物之间的碰撞风险的上限。我们使用这些$ε$阴影为基础的估计约束的非线性轨迹优化问题，然后我们解决迭代线性化的非凸风险约束。这种顺序优化方法可以快速找到完成所需运动的轨迹，同时保持用户指定的碰撞风险限制。我们的方法可以应用于具有任意凸几何形状的机器人和环境;即使在复杂的环境中，它也能在不到一秒的时间内运行，并为规划轨迹的安全性提供可证明的保证，从而实现在现实环境中快速，反应和安全的机器人运动。
2020-03-17 cs.RO
Provably Safe and Deadlock-Free Execution of Multi-Robot Plans under Delaying Disturbances
Massachusetts Institute of Technology（麻省理工学院）
多机器人系统中的一个长期挑战是在机器人受到干扰的环境中可靠地协调多个机器人的运动的能力。我们考虑的干扰，迫使机器人暂时停止，并延迟其沿其计划轨迹的前进，可用于建模，例如，路过的人类，机器人必须屈服。虽然反应式避碰方法经常用于这种情况下，它们可能会导致机器人之间的死锁。我们设计了一个多机器人的控制策略，执行协调的轨迹计算的多机器人轨迹规划器，并给出了一个证明，该策略是安全的，无死锁，即使机器人受到延迟干扰。我们的模拟结果表明，所提出的策略规模显着更好的干扰强度比天真的活力保持方法。实验结果进一步证实了所提出的方法是更可靠的，也更有效的比国家的最先进的反应技术。
2016-03-28 cs.RO
Learning Personalized Safety Interventions for Haptic Human-Robot Shared Control
研究针对现有触觉引导系统不足，提出LfH框架，通过从稀疏演示中学习用户偏好的安全干预，基于可微CBF优化层自动调整参数，经实验验证可学习个性化安全干预并减少反馈与偏好的不匹配。
2026-07-23 cs.RO
Provably Safe Deep Reinforcement Learning for Robotic Manipulation in Human Environments
Technical University of Munich（慕尼黑工业大学）
深度强化学习（RL）在机械手的运动规划中已经显示出有希望的结果。然而，没有方法保证高度动态的障碍物，如人类，在基于RL的机械手控制的安全。这种缺乏正式的安全保证阻止了RL在现实世界的人类环境中的机械手的应用。因此，我们提出了一种屏蔽机制，确保ISO验证的人类安全，同时在机械手上训练和部署RL算法。我们利用人类和机械手的快速可达性分析，以保证机械手在人类进入其范围之前完全停止。我们提出的方法通过防止情节结束冲突来保证安全性并显着提高RL性能。我们证明了我们提出的方法在模拟使用人体运动捕捉数据的性能。
2022-05-12 cs.AI cs.RO
Provably Safe Stein Variational Clarity-Aware Informative Planning
University of Michigan（密歇根大学）；Embry-Riddle Aeronautical University（安柏瑞德航空大学）
针对自主机器人信息收集任务中信息非均匀衰减及安全约束问题，提出嵌入清晰度动态、结合底层安全过滤机制的Stein变分清晰度感知信息规划框架，实验证明其安全一致且能减少信息赤字。
2025-11-13 cs.RO
Learning Control Policies to Provably Satisfy Hard Affine Constraints for Black-Box Hybrid Dynamical Systems
University of California Berkeley（加州大学伯克利分校）
本文提出通过学习强化学习策略以保证黑盒混合动力系统闭环中满足线性状态约束，通过强制策略在约束边界附近为线性且排斥性，确保轨迹不违反约束，同时考虑状态跃迁对约束的影响。
2026-09-29 cs.RO
Provably Safe Tolerance Estimation for Robot Arms via Sum-of-Squares Programming
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）
公差估计问题是工程应用中普遍存在的问题。例如，在现代机器人技术中，有效地估计关节容差（\ie）仍然具有挑战性，所述关节容差是与参考机器人状态的最大允许偏差，使得仍然满足安全约束。提出了一种基于平方和规划的关节公差估计算法。从理论上证明了该算法提供了一个紧的关节公差下限。大量的数值研究表明，所提出的方法是计算效率和接近最优。该算法在JTE工具箱中实现，可在\url{https://github.com/intelligent-control-lab/Sum-of-Square-Safety-Optimization}上获得。
2021-04-18 cs.LG cs.RO
Leveraging Analytic Gradients in Provably Safe Reinforcement Learning
Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出首个有效安全防护方法，用于解析梯度强化学习，通过改进映射和梯度公式，结合先进算法和可微仿真，验证了安全防护对性能无影响。
2026-05-07 cs.AI cs.LG cs.RO
An imminent collision monitoring system with safe stopping interventions for autonomous aerial flights
Carnegie Mellon University（卡内基梅隆大学）
避免冲突需要在规划时间范围方面进行权衡。根据规划者的不同，在地图更新的不确定环境中，安全并不总是能得到保证。为了缓解规划者导致车辆进入碰撞状态或车辆到达没有轨迹可行的点的情况，我们提出了一种连续的碰撞检查算法。即将发生碰撞检查系统持续监控车辆安全性，并规划安全轨迹，引导车辆在观察地图内停止。我们在现实生活中的实验中测试了我们提出的管道以及遥控导航，并且在模拟的随机森林和仓库环境中，我们表明，使用我们的方法，我们能够以至少90%的成功率减轻碰撞。
2022-06-17 cs.RO
A Finite-Sampling, Operational Domain Specific, and Provably Unbiased Connected and Automated Vehicle Safety Metric
Ohio State University（俄亥俄州立大学）
互联自动化车辆安全指标通过分析涉及SV与其他动态道路用户和环境特征之间的交互的数据来确定主体车辆（SV）的性能。当数据集仅包含从自然混合交通驾驶环境中收集的有限样本集时，通过指定SV在哪个域中预计是安全的以及SV在该域中的统计安全性如何，预计度量将安全评估结果从观察到的有限样本推广到未观察到的情况。然而，据我们所知，现有的安全性指标都不能证明上述属性具有特定于操作领域的、保证完整的和可证明无偏见的安全性评价结果。在本文中，我们提出了一种新的安全性度量，涉及$α$ -形状和$ε$ -几乎鲁棒前向不变集来表征SV的几乎安全的可操作域和概率SV保持在安全域内，分别。所提出的方法的经验表现在几个不同的操作设计领域通过一系列的情况下，涵盖了各种保真度水平（现实世界和模拟器），驾驶环境（高速公路，城市和十字路口），道路使用者（汽车，卡车和行人），和SV驾驶行为（人类驾驶员和自动驾驶算法）。
2022-02-02 cs.RO cs.SY eess.SY
Provably Safe Reinforcement Learning via Action Projection using Reachability Analysis and Polynomial Zonotopes
Technical University of Munich（慕尼黑工业大学）；Stony Brook University（石溪大学）
虽然强化学习在许多应用中产生了非常有前途的结果，但其主要缺点是缺乏安全保证，这阻碍了其在安全关键系统中的使用。在这项工作中，我们解决这个问题的安全盾的非线性连续系统，解决达到避免任务。我们的安全盾通过将建议的动作投影到最接近的安全动作来防止从强化学习代理应用潜在的不安全动作。这种方法被称为动作投影，并通过混合整数优化来实现。动作投影的安全约束是通过应用参数化的可达性分析，使用多项式zonotopes，这使得能够准确地捕捉系统上的动作的非线性影响。与其他最先进的动作投影方法相比，我们的安全防护罩可以有效地处理输入约束和动态障碍物，简化将空间机器人尺寸纳入安全约束，尽管有过程噪声和测量误差，但仍能保证鲁棒的安全性，并且非常适合高维系统，正如我们在几个具有挑战性的基准系统上所展示的那样。
2023-03-14 cs.LG cs.RO cs.SY
Provably Safe, Yet Scalable Reinforcement Learning
MIT（麻省理工学院）
提出PS2-RL框架，通过两阶段架构（学习备份策略隐式构造控制不变集，再通过可微投影层训练RL策略）实现可证明安全且可扩展的强化学习，在高达10维状态空间中保持性能与安全性。
2026-11-05 cs.LG cs.RO cs.SY
Provably Safe Control of Lagrangian Systems in Obstacle-Scattered Environments
KTH Royal Institute of Technology（KTH皇家理工学院）
针对一类拉格朗日系统在障碍物环境中的安全性和渐近稳定性问题，提出了一种混合反馈控制律。而不是执行轨迹规划和实施的随机跟踪反馈控制律，我们的方法需要在环境中的位置序列（路径计划）和抽象的无障碍空间。遵循路径计划的问题被解释为一系列的到达-避免问题：系统需要连续到达路径计划的每个位置，同时保持在安全区域内。无障碍椭圆体被用作定义这种安全区域的一种方式，每个安全区域包含两个连续的位置。可行控制障碍函数（CBF）直接从几何约束（椭球体）创建，确保前向不变性，因此安全。每个位置的可达性由渐近稳定的控制李雅普诺夫函数（CLF）保证。然后将CBF和CLF编码成二次规划（QP），而不需要松弛变量。此外，我们还提出了一个切换机制，保证控制律是正确的，定义良好，即使在QP之间的过渡。仿真结果表明，该方法在两个复杂的情况下的有效性。
2020-09-04 cs.RO math.OC
An Efficient Reachability-Based Framework for Provably Safe Autonomous Navigation in Unknown Environments
University of California, Berkeley（加州大学伯克利分校）
提出一种基于Hamilton-Jacobi可达性的高效实时安全分析框架，在未知环境中为自主导航提供可证明的安全保证，且不依赖特定规划器，并已在仿真和硬件上验证。
2019-05-01 cs.AI cs.LG cs.RO
Forward Invariance in Trajectory Spaces for Safety-critical Control
KTH Royal Institute of Technology（瑞典皇家理工学院）；Digital Futures（数字未来机构）
本文提出轨迹空间中的前向不变性（FITS），将安全滚动时域控制提升到轨迹空间，利用控制障碍函数框架合成满足安全约束的轨迹，在保证安全性的同时不牺牲性能。
2024-07-17 cs.RO
Provably Safe Motion Planning Under Unknown Disturbances
Department of Aerospace Engineering Sciences at the University of Colorado Boulder（科罗拉多大学博尔德分校航空航天工程科学系）；Department of Aerospace and Ocean Engineering（航空航天与海洋工程系）；Delft University of Technology（代尔夫特理工大学）；Italian Institute of Artificial Intelligence（意大利人工智能研究所）
针对未知分布随机扰动下的机器人系统，提出一种基于Wasserstein模糊管的学习型采样运动规划算法，实现概率完备且保守性低的安全规划。
2026-05-30 cs.RO cs.SY eess.SY
Provably Safe Decentralized Contingency MPC under State-Only Information and Limited Sensing for Nonlinear Multi-agent Systems
针对仅状态信息与有限感知下的非线性多智能体系统，提出可证安全的分散式应急模型预测控制方法，通过新颖安全集更新机制降低保守性，在密集场景中验证了其有效性。
2026-09-01 cs.MA cs.RO cs.SY
Implicit Safe Set Algorithm for Provably Safe Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
针对深度强化学习缺乏硬安全保证的问题，提出无模型的隐式安全集算法，通过查询黑盒动态函数综合安全控制律，在Safety Gym基准上实现零违规并获得95%的累积奖励。
2025-08-13 cs.AI cs.LG cs.RO
GLAS: Global-to-Local Safe Autonomy Synthesis for Multi-Robot Motion Planning with End-to-End Learning
California Institute of Technology（加州理工学院）
我们提出了GLAS：全球到本地的自主合成，一个可证明安全的，自动化的分布式多机器人运动规划的政策产生。我们的方法结合了集中规划的优势，避免局部极小值的分散控制器的可扩展性和分布式计算的优势。特别是，我们的合成策略只需要附近邻居和障碍物的相对状态信息，并计算可证明安全的动作。我们的方法有三个主要组成部分：i）我们使用全局规划器生成演示轨迹，并从中提取局部观察结果，ii）我们使用深度模仿学习来学习可以在线有效运行的分散策略，iii）我们引入了一个新的可微分安全模块，以确保无碰撞操作，从而允许端到端的策略培训。我们的数值实验表明，我们的政策有一个高20%的成功率比最佳互惠碰撞避免，ORCA，在广泛的机器人和障碍物密度。我们展示了我们的方法在空中集群，执行政策的低端微控制器实时。
2020-06-28 cs.RO
EnergyShield: Provably-Safe Offloading of Neural Network Controllers for Energy Efficiency
University of California, Irvine（加州大学欧文分校）
为了缓解基于神经网络（NN）的自动驾驶系统（ADS）的高能量需求，我们考虑将NN控制器从ADS卸载到附近的边缘计算基础设施的问题，但要保证正式的车辆安全性能。特别是，我们提出了能量盾框架，它重新利用控制器的“盾牌”作为一个低功耗的运行时安全监视器的ADS车辆。具体而言，EnergyShield中的防护罩不仅提供安全干预措施，还在车辆安全受到损害之前对可容忍的边缘响应时间进行正式的、基于状态的量化。使用EnergyShield，ADS可以通过将NN计算无线卸载到边缘计算机来节省能源，同时仍然保持正式的安全保证，直到它收到响应（车载硬件提供及时的故障安全）。为了验证EnergyShield的优势，我们在Carla仿真环境中实施并测试了它。我们的研究结果表明，与车载NN评估相比，EnergyShield可保持安全的车辆运行，同时提供显着的节能效果：在一系列无线条件和边缘延迟下，能耗降低24%至54%。
2023-02-13 cs.DC cs.LG cs.RO
Provably Safe Model-Based Meta Reinforcement Learning: An Abstraction-Based Approach
University of California, Irvine（加利福尼亚大学尔湾分校）
虽然传统的强化学习专注于设计可以执行一项任务的代理，但元学习的目标是解决设计可以概括为不同任务的代理的问题（例如，环境、障碍和目标），这些因素在设计或训练这些智能体时没有考虑到。本着这种精神，在本文中，我们考虑训练一个可证明安全的神经网络（NN）控制器的不确定非线性动力系统，可以推广到新的任务，不存在的训练数据，同时保持强大的安全保证的问题。我们的方法是在训练阶段学习一组NN控制器。当任务在运行时可用时，我们的框架将仔细选择这些NN控制器的子集，并将它们组合成最终的NN控制器。我们的方法的关键是计算非线性动力系统的有限状态抽象的能力。这个抽象模型捕获闭环系统在所有可能的NN权重下的行为，并用于训练NN，并在任务可用时组合它们。我们提供了理论保证，管理所产生的NN的正确性。我们评估了我们的方法控制轮式机器人在杂乱的环境中，不存在的训练数据的问题。
2021-09-03 cs.LG cs.RO cs.SY
Computationally and Sample Efficient Safe Reinforcement Learning Using Adaptive Conformal Prediction
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
针对自主系统安全强化学习中不确定性量化难、模型选择影响大的问题，提出结合正交傅里叶特征、自适应共形预测与控制屏障函数的回合式安全学习框架，实现高效安全的近似最优控制，经理论和仿真验证有效。
2025-03-22 cs.RO
Intervention Aided Reinforcement Learning for Safe and Practical Policy Optimization in Navigation
Baidu Inc.（百度公司）；City University of HongKong（香港城市大学）
深度神经网络与强化学习的结合在下一代智能控制中显示出巨大的潜力。然而，在实际应用中存在安全性和成本方面的挑战。在本文中，我们提出了干预辅助强化学习（IARL）的框架，它利用人类干预的机器人与环境的互动，以改善政策。我们使用无人机（UAV）作为测试平台。我们建立了神经网络作为我们的策略，将传感器读数映射到无人机上的控制信号。我们的实验场景涵盖了模拟和现实。我们表明，我们的方法大大减少了人为干预，提高了自主导航的性能，同时它确保了安全性，并保持可接受的培训成本。
2018-11-15 cs.AI cs.RO
Safe Reinforcement Learning Using Advantage-Based Intervention
Institute for Robotics and Intelligent Machines, Georgia Institute of Technology（佐治亚理工学院机器人与智能机器研究所）；Paul G. Allen School of Computer Science and Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Microsoft Research（微软研究院）
许多序贯决策问题涉及到寻找一个策略，使总回报最大化，同时遵守安全约束。尽管最近的许多研究都集中在开发安全的强化学习（RL）算法，这些算法在训练后产生安全的策略，但确保训练期间的安全仍然是一个悬而未决的问题。一个基本的挑战是执行探索，同时仍然满足未知的马尔可夫决策过程（MDP）的约束。在这项工作中，我们解决这个问题的机会约束设置。我们提出了一个新的算法，SAILR，使用干预机制的基础上优势函数，以保持整个训练的代理安全和优化代理的政策，使用现成的RL算法设计的无约束MDPs。我们的方法在训练和部署期间都有很强的安全保证（即，在训练之后并且没有干预机制）以及与最优安全约束策略相比的策略性能。在我们的实验中，我们表明，SAILR在训练过程中违反的约束远远低于标准的安全RL和受约束的MDP方法，并收敛到一个性能良好的策略，可以安全地部署，而无需干预。我们的代码可在https://github.com/nolanwagener/safe_rl上获得。
2021-07-19 cs.LG cs.RO cs.SY
How to Learn from What a Human Would Avoid? Intervention-Aware World Models with Real-World RL for Dexterous Manipulation
HKUST (Guangzhou)（香港科技大学（广州））；Italian Institute of Technology（意大利理工学院）；Zhejiang University（浙江大学）
针对真实世界灵巧操作中硬件故障代价高昂的问题，提出干预感知世界模型WHIRL，将人类干预转化为预测信号，通过风险塑形使16自由度LEAP手在复杂抓取任务中达到96.7%成功率，并减少84%干预负担。
2026-09-09 cs.RO
Safe Navigation for Robotic Digestive Endoscopy via Human Intervention-based Reinforcement Learning
University of Chinese Academy of Sciences（中国科学院大学）；Chinese University of Hong Kong（香港中文大学）；Shenzhen University General Hospital（深圳大学总医院）
针对机器人消化内镜自动导航缺乏人类干预易致碰撞的问题，提出基于人类干预的近端策略优化框架HI-PPO，结合EEM、RPA和BCS机制提升复杂环境下的安全导航效率，实验证明其轨迹误差和安全得分达到人类专家水平。
2025-03-30 cs.AI cs.RO
Provably Optimal Reinforcement Learning under Safety Filtering
Princeton University（普林斯顿大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文证明在安全过滤下强化学习可实现最优性能，通过安全关键MDP和过滤MDP的理论框架，展示安全与性能优化的分离，并验证了在安全过滤器下的训练和部署方法。
2026-09-21 cs.LG cs.RO cs.SY
Safe Adaptation with Multiplicative Uncertainties Using Robust Safe Set Algorithm
Carnegie Mellon University（卡内基梅隆大学）
长期以来，在适应下保持安全一直被认为是自治系统的重要能力。由于这些系统估计和改变系统动力学的自我模型，关于如何为这样的系统开发安全保证的问题继续受到关注。我们提出了一种新的鲁棒安全控制方法，使用基于集合的安全约束，使具有动态不确定性的机器人系统安全地适应和运行在其环境中。该方法包括设计一个标量能量函数（安全指标）的自适应系统参数的不确定性和基于优化的控制综合方法。对一个两连杆机械臂进行了仿真研究，结果表明，我们所提出的方法在产生参数不确定性的自适应系统的可证明安全控制方面的有效性。
2021-09-07 cs.RO
CoRL-MPPI: Enhancing MPPI With Learnable Behaviours For Efficient And Provably-Safe Multi-Robot Collision Avoidance
CoRL-MPPI通过结合协同强化学习与MPPI，提升多机器人避障的效率与安全性。
2026-07-14 cs.MA cs.RO
Provably safe and human-like car-following behaviors: Part 2. A parsimonious multi-phase model with projected braking
Department of Civil and Environmental Engineering, California Institute for Telecommunications and Information Technology, Institute of Transportation Studies（土木与环境工程系、电信与信息科技研究院、交通研究学院）
针对自动驾驶跟驰中安全证明与类人加减速难以兼顾的问题，提出融合扩展 Newell 模型与投影制动控制律的简约多阶段模型，并通过相平面证明和仿真验证其无碰撞、有界减速及类人制动性能。
2025-05-15 cs.RO cs.SY eess.SY
ShieldNN: A Provably Safe NN Filter for Unsafe NN Controllers
Electrical Engineering and Computer Science, University of California, Irvine（加州大学欧文分校电气工程与计算机科学系）；Electrical and Computer Engineering, University of Virginia（弗吉尼亚大学电气与计算机工程系）；Mechanical Engineering, Iowa State University（爱荷华州立大学机械工程系）
本文提出ShieldNN闭式CBF防护算法，面向非仿射KBM直接处理转向与速度约束并给出安全控制集合，可在RL神经网络控制器训练中实现高效多障碍物防护，显著提升训练回合完成率。
2025-03-15 cs.LG cs.RO cs.SY
Efficiently Combining Human Demonstrations and Interventions for Safe Training of Autonomous Systems in Real-Time
US Army Research Laboratory（美国陆军研究实验室）；Texas A&M University（得克萨斯农工大学）；Columbia University（哥伦比亚大学）
本文研究了如何利用不同形式的人类互动安全训练自主系统在实时的【形】从人类示范和干预学习。我们实现了自主系统的学习周期的两个组成部分，这是我们的框架，结合多种形式的人类互动。目前的努力采用人类示范，通过模仿学习来教授期望的行为，然后利用干预数据来纠正模仿学习者产生的不期望的行为，从而在仅几分钟的训练后安全地将新任务教授给自主智能体。我们演示了这种方法在一个自主栖息任务中使用四旋翼连续滚动，俯仰，偏航和油门命令和图像从一个向下面对的摄像头在高保真模拟环境中捕获。与仅从演示示教学习相比，我们的方法提高了相同数量的人类交互的任务完成性能，同时还需要平均少32%的数据来实现该性能。这提供了证据表明，结合多种人类交互模式可以提高自治系统的训练速度和策略的整体性能。
2018-11-28 cs.AI cs.HC cs.RO
SafeInferCom: Safe Inference-Time Compute via Verifier-Guided Mid-Generation Intervention for Robotic Task Planning
University of Notre Dame（圣母大学）；Washington State University（华盛顿州立大学）
针对大型推理语言模型用于机器人任务规划时的推理可靠性与计算浪费问题，提出SafeInferCom框架，通过验证器引导的生成中干预提升规划成功率、加速错误修正并减少token使用，经多模型、多领域及真实机械臂验证有效。
2026-10-09 cs.AI cs.CL cs.LO
Provably safe and human-like car-following behaviors: Part 1. Analysis of phases and dynamics in standard models
Department of Civil and Environmental Engineering, California Institute for Telecommunications and Information Technology, Institute of Transportation Studies（土木与环境工程系、电信与信息科技研究院、交通研究学院）
本文用多阶段动力学分析 Newell、IDM 与 Gipps 等标准跟驰模型，依据安全与类人原则揭示其局限，并由仿真与实证验证。
2025-05-15 cs.RO cs.SY eess.SY
Safe Online Learning via Smooth Safety-Structured Policy Composition
Technical University of Munich（慕尼黑工业大学）；University of Oxford（牛津大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出AutoSafe架构，通过将结构化安全监控与干预直接集成到动作生成中，实现性能与安全行为之间的平滑风险依赖转换，在连续控制基准和实物倒立摆系统上验证了强安全性与学习平滑性。
2026-07-01 cs.LG cs.RO
Efficient Learning of Safe Driving Policy via Human-AI Copilot Optimization
Centre for Perceptual and Interactive Intelligence（感知与交互智能研究中心）；The Chinese University of Hong Kong（香港中文大学）；University of California, Los Angeles（加州大学洛杉矶分校）
人为干预是将人类知识注入强化学习训练回路的有效途径，既能带来快速学习，又能保证训练安全。由于人工干预的预算非常有限，设计人类专家何时以及如何在训练中与学习代理交互仍然具有挑战性。在这项工作中，我们开发了一种新的人在回路学习方法，称为人类-人工智能副驾驶优化（human-AI Copilot optimization，HACO）。为了允许智能体在危险环境中充分探索，同时确保训练安全，人类专家可以接管控制并演示如何避免可能的危险情况或琐碎行为。建议的HACO，然后有效地利用数据从试错探索和人类的部分演示训练一个高性能的代理。该算法从部分人类行为中提取代理状态-动作值，并对代理进行优化，在提高代理值的同时减少人类的干预。实验结果表明，在安全驾驶基准测试中，该算法具有较高的样本效率。HACO可以训练智能体在看不见的交通场景中驾驶，只需少量的人工干预预算，并实现高安全性和可推广性，大大优于强化学习和模仿学习基线。代码和演示视频可在https://decisionforce.github.io/HACO/上获得。
2022-02-17 cs.AI cs.LG cs.RO
Learning from Interventions using Hierarchical Policies for Safe Learning
University of Rochester（罗切斯特大学）；University of California San Diego（加州大学圣地亚哥分校）
通过行为克隆（BC）的示教学习（LfD）在多个复杂任务中效果良好。然而，典型的LfD方法的局限性在于，它需要针对所有场景的专家演示，包括那些算法已经经过良好训练的场景。最近提出的从干预中学习（LfI）通过使用专家监督员克服了这一限制。只有在怀疑将要采取不安全的行动时，专家监督员才进行干预。虽然LfI比LfD有显著改善，但最先进的LfI无法解释由专家的反应时间引起的延迟，只能学习短期行为。我们通过以下方式解决这些局限性：1）将专家的干预及时插入，2）将政策分为两个层次，一个层次为未来生成子目标，另一个层次为实现这些期望的子目标生成行动。这种子目标预测迫使算法学习长期行为，同时对专家的反应时间也具有鲁棒性。我们的实验表明，LfI在分层策略框架中使用子目标比典型的LfD训练得更快，并且实现了更好的渐近性能。
2019-12-04 cs.AI cs.CV cs.HC
SAFER: Safe Collision Avoidance using Focused and Efficient Trajectory Search with Reinforcement Learning
Apple Inc.（苹果公司）
本文提出SAFER避碰系统，结合强化学习、在线轨迹规划与自动紧急制动，通过学习修正控制动作来聚焦搜索无碰撞轨迹，在真实环境中实现了更安全、高效且平滑的机器人控制。
2023-06-28 cs.AI cs.RO
Minimal Intervention Shared Control with Guaranteed Safety under Non-Convex Constraints
Aalto University（阿alto大学）
本文提出了一种考虑约束的辅助控制器，通过在线计算控制动作，确保递归可行性、严格约束满足和最小偏离用户意图，适用于非凸约束的现实场景。
2026-03-17 cs.HC cs.RO cs.SY
MAMPS: Safe Multi-Agent Reinforcement Learning via Model Predictive Shielding
University of Pennsylvania（宾夕法尼亚大学）
强化学习是一种很有前途的方法来学习控制策略，以执行复杂的多智能体机器人任务。然而，在模拟中学习的策略往往无法保证甚至简单的安全属性，例如避障。为了确保安全性，我们提出了多智能体模型预测屏蔽（MAMPS），这是一种可证明地保证任意学习策略安全的算法。特别是，它通过尽可能频繁地使用学习策略来操作，但是在不能保证学习策略的安全性的情况下使用备份策略。使用多代理仿真环境，我们展示了如何MAMPS可以实现良好的性能，同时确保安全。
2019-12-28 cs.AI cs.MA cs.RO
Can't Touch This: Real-Time, Safe Motion Planning and Control for Manipulators Under Uncertainty
Robotics Institute, University of Michigan（密歇根大学机器人研究所）；Agility Robotics；Mechanical Engineering, Georgia Institute of Technology（佐治亚理工学院机械工程系）
提出ARMOUR框架，通过有界误差鲁棒控制、递归Newton-Euler输入计算和扫掠体积过近似，实现不确定性下机械臂可证明安全的实时运动规划与控制。
2023-11-01 cs.RO cs.SY eess.SY
