ActSafeGuard: Differentiable and Training-Aligned Constraint Enforcement for Flow-Matching Policies
Shanghai Jiao Tong University（上海交通大学）；Shanghai Institute of Innovation（上海创新研究院）
ActSafeGuard提出一种可微分且训练对齐的安全防护层，通过解析射线缩放算子将硬约束融入流匹配策略学习，实现100%逐步安全率并保持或提升任务成功率。
2026-09-15 cs.AI cs.RO
ActFovea: Runtime Safeguarding for VLA Policies via Spatiotemporal Visual-Action Consistency
ActFovea是一种即插即用的VLA策略运行时安全保障框架，通过构建动作条件化凹形区域、检测时空一致性及触发安全故障，提升了机器人操纵在各类干扰下的成功率与安全性。
2026-08-03 cs.AI cs.RO
To Do or Not to Do: Ensuring the Safety of Visuomotor Policies Learned from Demonstrations
Department of Computer Science（计算机科学系）
本文提出了一种政策无关的安全度量，确保视觉-运动策略在状态空间特定区域内的最大任务成功率，通过视图合成和Nagumo子切线条件分析，验证了策略安全性和性能的平衡。
2026-05-02 cs.RO
A Safe Action Is Not Enough: Feasible-Future Decoding for Vision-Language-Action Policies
Huawei Heisenberg Research Center（华为海森堡研究中心）；TU Berlin（柏林工业大学）；UCL Center for AI（伦敦大学学院人工智能中心）
针对VLA策略中安全动作不可行的问题，提出可行性-似然差距概念，开发警报触发、无需训练的VICS-G重新排序器，在Safety-CHORES上降低安全成本1.9%-57.5%且性能损失极小。
2026-10-07 cs.AI cs.RO
Reducing Risk for Assistive Reinforcement Learning Policies with Diffusion Models
针对辅助机器人的安全性需求，本研究提出一种无需额外环境交互即可提升高风险策略安全性的方法，结合强化学习与模仿学习，经模拟实验验证可增强传统RL方法在辅助机器人任务中的表现。
2024-05-13 cs.AI cs.RO
GoSafe: Globally Optimal Safe Robot Learning
RWTH Aachen University（亚琛工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zürich（苏黎世联邦理工学院）
当从数据中学习机器人系统的策略时，安全性是一个主要问题，因为违反安全约束可能会导致硬件损坏。SafeOpt是一种高效的贝叶斯优化（BO）算法，可以在学习策略的同时保证高概率的安全性。然而，它的搜索空间限于一个初始给定的安全区域。我们通过在初始安全区域之外进行探索来扩展这种方法，同时仍然以高概率保证安全。这是通过学习一组初始条件来实现的，在潜在故障的情况下，我们可以使用学习的备份控制器安全地恢复。我们推导出保证收敛到全局最优的条件，并在硬件实验中验证GoSafe。
2021-05-27 cs.LG cs.RO cs.SY
SafeVLA: Towards Safety Alignment of Vision-Language-Action Model via Constrained Learning
Institute for Artificial Intelligence, Peking University（人工智能研究院，北京大学）；PKU-PsiBot Joint Lab（北京大学PsiBot联合实验室）；State Key Laboratory of General Artificial Intelligence, Peking University（通用人工智能国家重点实验室，北京大学）；Zhongguancun Academy（中关村学院）
本文提出SafeVLA方法，通过约束学习整合安全约束，有效降低安全违规成本并提升任务成功率，同时确保安全性和泛化能力。
2026-04-19 cs.AI cs.RO
Safe Self-Supervised Learning in Real of Visuo-Tactile Feedback Policies for Industrial Insertion
UC Berkeley（加州大学伯克利分校）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Autodesk（欧特克）；Autodesk Research（欧特克研究院）
工业插入任务通常是重复执行的，零件受到严格的公差和容易破裂。在现实中学习工业插入策略是具有挑战性的，因为零件与环境之间的碰撞可能导致零件的滑动或断裂。在本文中，我们提出了一个安全的自我监督的方法来学习视觉触觉插入政策，是强大的把握姿势变化。该方法减少了人工输入和零件与容器之间的碰撞。该方法将插入任务分为两个阶段。在第一对准阶段中，学习基于抓取的抓取姿态估计模型以将插入部分与容器对准。在第二插入阶段，学习基于视觉的策略以将零件引导到插座中。该机器人使用力-扭矩传感来实现安全的自我监督数据汇集管道。来自NIST装配任务板的USB插入任务的物理实验表明，所得到的策略可以在45个不同的初始抓取姿势上实现45/45的插入成功，在两个基线上进行改进：（1）在50个人类插入演示上训练的行为克隆代理（1/45）和（2）在真实环境中训练的在线RL策略（TD 3）（0/45）。
2023-03-21 cs.RO
Learning from Interventions using Hierarchical Policies for Safe Learning
University of Rochester（罗切斯特大学）；University of California San Diego（加州大学圣地亚哥分校）
通过行为克隆（BC）的示教学习（LfD）在多个复杂任务中效果良好。然而，典型的LfD方法的局限性在于，它需要针对所有场景的专家演示，包括那些算法已经经过良好训练的场景。最近提出的从干预中学习（LfI）通过使用专家监督员克服了这一限制。只有在怀疑将要采取不安全的行动时，专家监督员才进行干预。虽然LfI比LfD有显著改善，但最先进的LfI无法解释由专家的反应时间引起的延迟，只能学习短期行为。我们通过以下方式解决这些局限性：1）将专家的干预及时插入，2）将政策分为两个层次，一个层次为未来生成子目标，另一个层次为实现这些期望的子目标生成行动。这种子目标预测迫使算法学习长期行为，同时对专家的反应时间也具有鲁棒性。我们的实验表明，LfI在分层策略框架中使用子目标比典型的LfD训练得更快，并且实现了更好的渐近性能。
2019-12-04 cs.AI cs.CV cs.HC
A Reachability-based Safety Certificate for Dynamical System Motion Policies
University of Pennsylvania（宾夕法尼亚大学）
本研究提出一种基于后向可达管的值函数作为安全证书，用于动力系统运动策略，在无控制输入和稳定性条件下简化可达性计算，并在多种DS构造及Franka机械臂上验证其有效性，同时避免CBF方法的鞍点问题。
2026-10-01 cs.RO
Detecting Unsafe Behavior in Neural Network Imitation Policies for Caregiving Robotics
本文研究护理机器人模仿学习中的不安全行为检测，针对扩散策略提出集成预测器与改进归一化流算法以解决“Policy Stopping”问题，在辅助机器人基准上优于 VAE 和 Tran-AD。
2024-07-29 cs.RO
RAIL: Reachability-Aided Imitation Learning for Safe Policy Execution
Georgia Institute of Technology（佐治亚理工学院）
本文提出RAIL方法，通过基于可达性的安全过滤器对模仿学习策略强制执行硬约束，并发现硬约束会显著降低高违规率高性能策略的表现，但有时能提升低性能策略的安全任务完成能力。
2024-09-28 cs.RO
Towards Safe Imitation Learning via Potential Field-Guided Flow Matching
Department of Robotics, Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（机器人系，Mohamed bin Zayed大学人工智能学院）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Division of Robotics, Perception, and Learning, KTH Royal Institute of Technology（机器人、感知与学习 division，皇家理工学院）
提出势场引导的流匹配策略（PF2MP），通过从成功演示中同时学习任务策略和障碍物势场来调制流匹配向量场，在不影响任务成功率的前提下显著减少碰撞，实现安全的运动生成。
2025-08-12 cs.RO
Provably Learning Nash Policies in Constrained Markov Potential Games
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
针对安全多智能体强化学习中约束马尔可夫博弈难求解的问题，提出约束马尔可夫势博弈框架及坐标上升算法CA-CMPG，证明其在表格有限场景下收敛到Nash策略并给出首个未知场景的样本复杂度界。
2023-06-13 cs.GT cs.LG cs.MA
Safe Robot Learning in Assistive Devices through Neural Network Repair
Arizona State University（亚利桑那州立大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；Toyota NA-R&D（丰田北美研发中心）
针对神经网络控制器在辅助机器人设备上可能输出不安全动作的问题，提出将NN修复建模为MIQP，在满足形式化安全约束的同时优化原损失，并在小腿假肢实验中验证其可生成安全策略。
2023-03-08 cs.RO
Value Functions are Control Barrier Functions: Verification of Safe Policies using Control Theory
University College London（伦敦大学学院）
本文提出将价值函数与控制屏障函数建立理论联系，通过控制理论验证方法为强化学习策略提供安全证书，并给出验证指标与实现细节，推动安全可验证的RL控制系统设计。
2023-12-05 cs.AI cs.LG cs.RO
X-Safe: Embodiment-Agnostic Safeguarding for Robot Arm Manipulation Policies via Action Masking
University of California, Berkeley（加州大学伯克利分校）
提出X-Safe方法，在机器人配置空间中直接推理，提供碰撞避免的形式化概率保证，无需额外数据或工程适配即可跨实体迁移。
2026-10-15 cs.LG cs.RO cs.SY
Certifiably-correct Control Policies for Safe Learning and Adaptation in Assistive Robotics
Arizona State University（亚利桑那州立大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；Toyota NA-R&D（丰田北美研发中心）
保证以人为中心的应用程序的安全性在机器人学习中至关重要，因为学习的策略可能会在以前看不见的场景中表现出不安全的行为。我们提出了一个框架，本地修复一个错误的策略网络，以满足一组正式的安全约束，使用混合二次规划（MIQP）。我们的MIQP公式明确地施加了安全约束的学习策略，同时最小化原始的损失函数。然后验证策略网络在本地是安全的。我们展示了我们的框架的应用程序，以获得机器人小腿假肢的安全政策。
2023-03-12 cs.RO
Learning Safe Autonomous Driving Policies Using Predictive Safety Representations
Yardi School of Artificial Intelligence, Indian Institute of Technology Delhi（雅迪人工智能学院，印度理工学院德里）
本文提出利用预测安全表示改进自动驾驶策略学习，通过实验验证了其在提升安全性和效率方面的有效性。
2025-12-23 cs.LG cs.RO
Turning Safety into Competence: Minimally Exploitable Robot Policies via Safety-Filtered Reinforcement Learning
Johns Hopkins University（约翰霍普金斯大学）；Princeton University（普林斯顿大学）
针对竞争性任务中机器人策略易被利用的问题，提出S2C两阶段框架，分离安全综合与任务学习，通过对抗性RL学习安全过滤器，在模拟和硬件测试中优于八个基线，实现高胜率与低可利用性。
2026-09-24 cs.AI cs.LG cs.RO
Accelerating Safe Reinforcement Learning with Constraint-mismatched Policies
Princeton University（普林斯顿大学）；Siemens Corporation, Corporate Technology（西门子公司企业技术部）
我们考虑的问题时，强化学习提供（1）基线控制策略和（2）一组约束，学习者必须满足。基线策略可以来自演示数据或教师代理，并且可以为学习提供有用的线索，但它也可能对于手头的任务是次优的，并且不能保证满足指定的约束，这些约束可能编码安全性，公平性或其他特定于应用的要求。为了安全地学习基线策略，我们提出了一种迭代策略优化算法，该算法在最大化任务的预期回报，最小化与基线策略的距离以及将策略投影到满足约束的集合之间交替。我们从理论上分析了我们的算法，并提供了一个有限时间收敛保证。在我们对五个不同的控制任务的实验中，我们的算法始终优于几个最先进的基线，实现了10倍的约束违规和40%的平均奖励。
2021-07-10 cs.AI cs.LG cs.RO
Formal Verification of Learned Multi-Agent Communication Policies via Decision Tree Distillation
University of Arkansas at Little Rock（阿肯色大学小石城分校）
提出通过决策树蒸馏将多智能体强化学习策略转化为可解释模型，并利用PRISM进行形式化验证，确保安全属性转移至原始网络，在无人机编队任务中实现88.9%属性满足率。
2026-06-19 cs.AI cs.LG cs.LO
SafetyNet: Safe planning for real-world self-driving vehicles using machine-learned policies
Toyota（丰田）；Woven Planet（织女星）；Level 5 self-driving division（Level 5自动驾驶部门）
在本文中，我们介绍了第一个用于完全控制自动驾驶车辆的安全系统，该系统通过人类演示进行训练，并部署在具有挑战性的真实城市环境中。当前的行业标准解决方案使用基于规则的系统进行规划。虽然它们在常见场景中表现相当不错，但工程复杂性使得这种方法与人类水平的性能不兼容。另一方面，机器学习（ML）规划解决方案的性能可以通过简单地添加更多的样本数据来提高。然而，ML方法不能提供安全保证，有时行为不可预测。为了解决这个问题，我们的方法使用了一个简单而有效的基于规则的回退层，对ML规划者的决策进行合理性检查（例如避免冲突，确保物理可行性）。这使我们能够利用机器学习来处理复杂的情况，同时仍然确保安全性，将机器学习计划器冲突减少了95%。我们使用模仿学习对机器学习规划人员进行了300小时的专家驾驶演示训练，并将其与旧金山市中心的后备层一起部署，在那里它可以完全控制真实车辆并导航各种具有挑战性的城市驾驶场景。
2021-09-28 cs.AI cs.CV cs.LG
Minimizing Safety Interference for Safe and Comfortable Automated Driving with Distributional Reinforcement Learning
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
尽管强化学习（RL）最近取得了进展，但其在自动驾驶汽车等安全关键领域的应用仍然具有挑战性。虽然惩罚RL代理的风险情况可以帮助学习安全的策略，但它也可能导致高度保守的行为。在本文中，我们提出了一个分布式RL框架，以学习自适应策略，可以在运行时根据所需的舒适度和实用性调整其保守性水平。使用主动安全验证方法，所提出的框架可以保证从RL产生的动作是根据最坏情况假设的故障安全。同时，鼓励该政策，以尽量减少安全干扰，并产生更舒适的行为。我们使用一个高级模拟器对所提出的方法和基线策略进行了训练和评估，该模拟器具有各种随机场景，包括现实中很少发生但非常关键的几个角落案例。根据我们的实验，使用分布式RL学习的策略的行为可以在运行时自适应，并且对环境的不确定性具有鲁棒性。定量地，学习的分布式RL代理比正常的DQN策略平均快8秒，并且与基于规则的策略相比，需要的安全干扰减少83%，平均穿越时间略有增加。我们还研究了在感知噪声较高的环境中学习策略的敏感性，并表明我们的算法学习策略，当感知噪声比在闭塞交叉口自动合并和交叉的训练配置高两倍时，仍然可以可靠地驾驶。
2021-07-15 cs.AI cs.RO
Value Functions for Temporal Logic: Optimal Policies and Safety Filters
Massachusetts Institute of Technology（麻省理工学院）；University of California（加州大学）
研究时序逻辑价值函数在无限时间 horizon 下的最优策略与安全过滤机制，通过非马尔可夫策略避免路径病态并证明其鲁棒性。
2026-05-01 cs.AI cs.LG cs.LO
VLPSA: Vision-Language-Poisson-Safe Actions for Full-Body Safety of Learned Policies
California Institute of Technology（加州理工学院）
VLPSA提出一种基于泊松安全函数的安全过滤框架，为VLA策略提供全身碰撞避免，无需重训练，在SafeLIBERO上将碰撞避免率从23.1%提升至91.2%，并在Franka FR3上实现实时部署。
2026-09-22 cs.RO
Safety Considerations in Deep Control Policies with Safety Barrier Certificates Under Uncertainty
Microsoft Corporation（微软公司）；Technion - Israel Institute of Technology（以色列理工学院）
深度机器学习的最新进展已经显示出通过强化和模仿学习等方法解决复杂感知和控制回路的前景。然而，由于部分可观测性和难以表征神经网络的行为等问题，保证这种学习的深度策略的安全性一直是一个挑战。虽然在培训过程中非常强调安全学习，但在部署或测试时保证安全并非易事。本文扩展了如何在温和的假设下，安全屏障证书可以用来保证安全与深控制政策，尽管由于感知和其他潜在变量产生的不确定性。特别是对于动态平滑和不确定性具有有限支持的场景，所提出的框架围绕现有的深度控制策略，并通过动态评估和修改嵌入式网络的策略来生成安全操作。我们的框架利用控制障碍功能，以创建空间的控制动作，是安全的不确定性，当原始的行动被发现违反安全约束，使用二次规划，以最小限度地修改原始的行动，以确保他们躺在安全集。环境的表示是通过欧几里德符号距离场建立的，然后用于推断动作的安全性并保证前向不变性。我们实现了这种方法在模拟中的无人机赛车环境，并表明我们的方法相比，只依赖于模仿学习，以产生控制动作的基线更安全的行动。
2020-03-02 cs.RO
Safe Score Matching: Diffusion Policies with Hamilton-Jacobi Reachability for Online Safe Reinforcement Learning
针对在线安全强化学习，提出安全分数匹配（SSM）方法，利用Hamilton-Jacobi可达性门控双分支分数目标，将Q分数匹配扩展到硬约束场景，在多个基准上实现低违规率与高性能。
2026-09-29 cs.LG cs.RO
Safe Continual Domain Adaptation after Sim2Real Transfer of Reinforcement Learning Policies in Robotics
Technical University of Munich（慕尼黑工业大学）；University of California, Berkeley（加州大学伯克利分校）；Technische Universität Berlin（柏林工业大学）；L3S Research Center, Leibniz Universität Hannover（莱布尼茨汉诺威大学L3S研究中心）
该研究结合安全强化学习与持续学习，使机器人策略在 sim2real 部署后能安全适应当前真实域分布和动力学，并避免灾难性遗忘。
2025-03-13 cs.AI cs.RO
SafeStage: Evaluating Safety Before, During, and After Vision-Language-Conditioned Robot Manipulation
Worcester Polytechnic Institute（伍斯特理工学院）；Futurewei Technologies Inc.（未来华为技术有限公司）
SafeStage提出一个生命周期分阶段的基准，通过97个风险场景评估视觉-语言条件机器人操作在执行前、中、后的安全性，发现任务成功常伴随安全违规，并提供统一诊断平台。
2026-09-21 cs.RO
SATA: Safe and Adaptive Torque-Based Locomotion Policies Inspired by Animal Learning
MARMot Lab, National University of Singapore（新加坡国立大学MARMot实验室）；Computational Robotics Lab, ETH Zurich（苏黎世联邦理工学院计算机器人实验室）；BioRob Lab, EPFL（洛桑联邦理工学院BioRob实验室）
SATA框架受动物运动学习启发，通过改进早期探索解决力矩型策略训练难题，实现零样本仿真到真实迁移，并在复杂地形和外部扰动下展现出显著的安全性与柔顺性。
2025-05-08 cs.LG cs.RO
SafeFlowMPC: Predictive and Safe Trajectory Planning for Robot Manipulators with Learning-based Policies
SafeFlowMPC结合流匹配和在线优化，为机器人机械臂提供安全且灵活的预测轨迹规划方法，通过实验验证其在抓取和人机交互任务中的高效性能。
2026-02-17 cs.RO
Towards Online Safety Corrections for Robotic Manipulation Policies
U.S. Naval Research Laboratory（美国海军研究实验室）
针对强化学习机器人控制器在执行时遇新障碍物易碰撞的安全问题，提出iKinQP-RL混合方法，用逆运动学二次规划控制器在线校正RL策略动作，实验证明其可在高任务成功率下完全消除新障碍物碰撞。
2024-09-12 cs.RO
Safe Motion Planning in Unknown Environments: Optimality Benchmarks and Tractable Policies
Harvard University（哈佛大学）；Stanford University（斯坦福大学）
本文解决了规划一个安全的问题（即，无碰撞）轨迹，例如，通过视线感知。尽管它的普遍存在的性质，这种制定运动规划已收到相对较少的理论研究，而不是设置的环境是假定已知的。一个根本的挑战是，与具有已知障碍的运动规划不同，甚至不清楚要争取的最优策略是什么。我们的贡献是三方面的。首先，我们提出了一个概念的安全规划在未知的环境中的比较（而不是竞争）分析的精神，最优性，以获得一个基准，至少在概念上，可实现的目标。其次，通过利用这个理论基准，我们得到了一个伪最优类的政策，可以无缝地结合任何数量的先验或学习的信息，同时仍然保证机器人永远不会碰撞。最后，我们证明了我们的算法方法的实用性，在数值实验中使用一系列的环境类型和动态，包括与最先进的方法进行比较。我们的框架的一个关键方面是，它自动和隐含地权衡探索与开发的方式是最佳的信息。
2018-04-16 cs.AI cs.RO
Runtime Safety Filtering for Learned Small UAS Separation Policies under GNSS Degradation
研究在GNSS退化时小型无人机分离策略的运行时安全过滤问题，对比动作过滤和观测过滤两种方法，发现动作过滤安全改进小，观测过滤能减少近90%的空中碰撞且更稳健，表明保留策略决策权限更优。
2026-09-01 cs.LG cs.MA cs.RO
Shield-Loco: Shielding Locomotion Policies with Predictive Safety Filtering
Robert Bosch Center for Cyber Physical Systems（罗伯特·博世网络物理系统中心）；Indian Institute of Science（印度科学研究院）；Munich Institute of Robotics and Machine Intelligence (MIRMI)（慕尼黑机器人与机器智能研究所（MIRMI））；Technical University of Munich（慕尼黑技术大学）；Department of Computer Science & Automation（计算机科学与自动化部门）；Department of Mechanical Engineering（机械工程系）；Carnegie Mellon University（卡内基梅隆大学）；Institute for Advanced Study（高级研究 institute）
提出一种预测性安全过滤器，通过全物理模型优化接触序列，减少四足机器人在密集杂乱环境中的安全违规，同时保持任务性能。
2026-06-05 cs.RO
Safe Real-Time Policy Steering via Noise-Space Trajectory Optimization for One-Step Generative Policies
Purdue University（普渡大学）
针对生成式机器人策略部署时的实时约束问题，提出INSPO方法，通过在输入噪声空间进行轨迹优化实现推理时引导，提升任务成功率与约束满足度，且运行时更低。
2026-09-21 cs.RO
Achieving Safe Control Online through Integration of Harmonic Control Lyapunov-Barrier Functions with Unsafe Object-Centric Action Policies
Human-Robot Interaction Laboratory（人机交互实验室）；Tufts University（塔夫茨大学）；MA 02155, USA（马萨诸塞州02155, 美国）
该研究提出融合信号时序逻辑导出的谐波控制李雅普诺夫-障碍函数与任意机器人策略的方法，通过安全证书将不安全策略转化为有形式化保证的安全策略，在机械臂避障任务中验证了有效性且可推广到复杂场景。
2025-11-18 cs.LO cs.RO
Latent Activation Editing: Inference-Time Refinement of Learned Policies for Safer Multirobot Navigation
Department of Computer Science, University of Southern California（南加州大学计算机科学系）；Automatic Control Laboratory, ETH Zürich（苏黎世联邦理工学院自动控制实验室）
提出潜在激活编辑（LAE）框架，通过在推理时在线检测并编辑中间激活，在不修改权重或架构的情况下降低预训练策略的碰撞率，在四旋翼导航中实现近90%的碰撞减少。
2026-06-01 cs.RO
From Demonstrations to Safe Deployment: Path-Consistent Safety Filtering for Diffusion Policies
Department of Computer Engineering, Munich Institute of Robotics and Machine Intelligence (MIRMI), Technical University of Munich（计算机工程系，慕尼黑机器人与机器智能研究所（MIRMI），慕尼黑技术大学）；Department of Aeronautics and Astronautics, Stanford University（航空与航天系，斯坦福大学）
本文提出路径一致安全过滤方法，用于提升扩散策略在动态环境中的安全性和任务成功率。
2026-03-10 cs.RO cs.SY eess.SY
Towards Safe Autonomous Driving Policies using a Neuro-Symbolic Deep Reinforcement Learning Approach
George Washington University（乔治华盛顿大学）；Istanbul University-Cerrahpasa（伊斯坦布尔大学-杰拉赫帕夏）；University of Surrey（萨里大学）
本文提出神经符号深度强化学习方法DRLSL，结合经验学习与逻辑推理，在真实环境中实现安全自动驾驶，并在HighD数据集上验证了其避免不安全行为、快速收敛及良好泛化能力。
2025-08-17 cs.AI cs.LG cs.LO
Safe Decentralized Multi-Agent Control using Black-Box Predictors, Conformal Decision Policies, and Control Barrier Functions
Washington University in St. Louis（圣路易斯华盛顿大学）
针对去中心化多智能体机器人场景中黑盒模型预测轨迹不确定的安全控制挑战，提出基于共形决策理论自适应调整控制障碍函数约束严格程度的方法，合成平衡安全与任务的控制器，并在Stanford Drone Dataset中验证了性能。
2025-03-07 cs.MA cs.RO cs.SY
SafeSteps: Learning Safer Footstep Planning Policies for Legged Robots via Model-Based Priors
Istituto Italiano di Tecnologia (IIT)（意大利技术研究院）
提出一种四足机器人落足点规划策略，通过学习地形安全信息并采用掩码PPO算法，显著减少安全违规，提升性能与样本效率。
2025-01-29 cs.RO
Exploring the trade off between human driving imitation and safety for traffic simulation
Univ Paris Est Creteil（巴黎东克雷泰伊大学）；Huawei Technologies France（华为技术法国公司）
交通仿真是自动驾驶汽车性能定量评价的重要手段。为了使模拟器成为一个有价值的测试平台，需要使场景中的每个交通代理动画化的驾驶策略像人类一样行事，同时保持最低限度的安全保证。从记录的人类驾驶数据或通过强化学习来学习交通代理的驾驶策略似乎是在不受控制的交叉口或环形交叉口中生成逼真且高度交互的交通情况的有吸引力的解决方案。在这项工作中，我们表明，在学习驾驶策略时，模仿人类驾驶和保持安全之间存在权衡。我们通过比较各种模仿学习和强化学习算法在应用于驾驶任务时的表现来做到这一点。我们还提出了一个多目标学习算法（MOPPO），提高了这两个目标。我们在从INTERACTION Dataset中提取的高度互动的驾驶场景上测试我们的驾驶策略，以评估它们的行为是否像人类。
2022-08-09 cs.LG cs.RO
Physics-model-guided Worst-case Sampling for Safe Reinforcement Learning
Technical University of Munich（慕尼黑工业大学）；Wayne State University（韦恩州立大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出物理模型引导的最坏情况采样策略，并将其集成至Phy-DRL框架，以解决DRL训练中忽略安全关键极端场景的问题，显著提升了采样效率与策略鲁棒性。
2024-12-17 cs.AI cs.LG cs.RO
Towards Safe Robot Foundation Models
Technical University of Darmstadt（达姆施塔特工业大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）；University of Oxford（牛津大学）；Robotics Institute Germany（德国机器人研究所）；Centre for Cognitive Science（认知科学中心）
本文提出将安全强化学习算法ATACOM扩展为通用策略的安全层，以约束动作空间并确保安全状态转移，使机器人基础模型无需专门微调即可在安全关键场景中部署，并在空气曲棍球环境中验证了其防碰撞有效性。
2025-03-10 cs.RO
Learning Control Policies to Provably Satisfy Hard Affine Constraints for Black-Box Hybrid Dynamical Systems
University of California Berkeley（加州大学伯克利分校）
本文提出通过学习强化学习策略以保证黑盒混合动力系统闭环中满足线性状态约束，通过强制策略在约束边界附近为线性且排斥性，确保轨迹不违反约束，同时考虑状态跃迁对约束的影响。
2026-09-29 cs.RO
Hybrid Deep Reinforcement Learning and Planning for Safe and Comfortable Automated Driving
Saarland University（萨尔大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
我们提出了一种新的混合学习方法，HyLEAR，用于解决POMDPs中自动驾驶汽车的无碰撞导航问题。HyLEAR利用插入式学习将混合规划器的知识嵌入深度强化学习器中，以更快地确定安全舒适的驾驶策略。特别地，混合规划器将行人路径预测和风险感知路径规划与基于驾驶行为规则的推理相结合，使得驾驶策略还尽可能地考虑乘坐舒适性和给定的驾驶行为规则集。我们对关键交通场景的CARLA-CTS 1基准的实验性能分析表明，HyLEAR在安全性和乘坐舒适性方面可以显着优于选定的基线。
2022-12-30 cs.AI cs.RO
SLowRL: Safe Low-Rank Adaptation Reinforcement Learning for Locomotion
McGill University（麦吉尔大学）；Mila - Quebec AI Institute（魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；Technical University of Munich（慕尼黑技术大学）
本文提出SLowRL框架，结合低秩适应与安全约束，实现动态运动任务的高效安全强化学习调优，实验显示在真实机器人上细调时间减少46.5%且安全违规接近零。
2026-03-17 cs.RO
Adaptive Safety Filtering for Frozen ACC Policies via Conformal Residual Calibration
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Wuhan University of Technology（武汉理工大学）；Shanghai Jiao Tong University（上海交通大学）
针对冻结ACC策略部署时违反约束的问题，提出残差感知共形动作过滤（RACF），通过校准残差分位数生成运行裕度，在2,400个试验中提升安全性19.9个百分点并降低投影频率，同时减少计算开销。
2026-09-29 cs.CV cs.RO cs.SY
Probabilistic Safety Guarantee for Stochastic Control Systems Using Average Reward MDPs
University of New Hampshire（新罕布什尔大学）
针对随机控制系统因状态变量不可预测演化难以满足安全约束的问题，提出将安全目标转化为平均奖励MDP目标的算法，通过线性规划计算安全策略，在双积分器和倒立摆系统验证得该方法比最小折扣奖励解更优。
2025-11-11 cs.LG cs.RO cs.SY
Safe-Planner: A Single-Outcome Replanner for Computing Strong Cyclic Policies in Fully Observable Non-Deterministic Domains
KU Leuven（鲁汶大学）；Flanders Make（法兰德斯制造研究所）
重规划器是解决不确定性规划问题的有效方法。尽管显示出良好的可扩展性，但现有的重新规划器通常无法解决涉及大量误导性规划的问题，即，然而，由于其最小长度，在每次重新规划迭代中可能会发现不导致强解决方案的弱计划。再规划者在这类问题中表现不佳是由于他们的所有结果决定性。也就是说，当从非确定性编译到经典时，它们将所有编译的经典运算符包含在单个确定性域中，这导致重新规划器不断生成误导性计划。我们介绍了一个离线的重规划，称为安全规划（SP），它依赖于一个单一的结果确定编译一个非确定性域的一组经典域，并排序的经典域的排名。所提出的单结果确定性和逻辑学允许在不同的经典域之间交替。我们的实验表明，这种方法可以让SP避免产生误导性的计划，但产生弱计划，直接导致强的解决方案。实验表明，SP优于国家的最先进的非确定性求解器解决更广泛的问题。我们还验证了SP在现实世界中的非确定性机器人任务的实际效用。
2021-09-23 cs.AI cs.RO
Conservative Safety Critics for Exploration
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of California Berkeley（加州大学伯克利分校）
安全探索是强化学习（RL）中的一个主要挑战：当主动数据汇集需要部署部分训练的策略时，我们必须确保这些策略避免灾难性的不安全区域，同时仍然能够进行试错学习。在本文中，我们的目标是在RL的安全探索的问题，通过学习一个保守的安全估计的环境状态，通过一个批评，并证明上限的灾难性故障的可能性在每个训练迭代。我们从理论上描述了安全性和政策改进之间的权衡，表明安全约束在训练过程中很可能以高概率得到满足，推导出我们的方法的可证明收敛保证，这种方法的渐近性并不比标准RL差，并证明了所提出的方法在一系列具有挑战性的导航，操纵和运动任务上的有效性。从经验上讲，我们表明，所提出的方法可以实现有竞争力的任务性能，同时在训练过程中产生显着较低的灾难性故障率比以前的方法。视频在这个网址https://sites.google.com/view/conservative-safety-critics/home
2021-04-26 cs.AI cs.LG cs.RO
Safe and Steerable Geometric Motion Policies for Robotic Dexterous Manipulation
Computer Science Department, Stanford University（斯坦福大学计算机科学系）；Laboratory of Signals and Systems, University of Paris-Saclay, CNRS, CentraleSupélec（巴黎-萨克雷大学信号实验室，CNRS，CentraleSupélec）；Toyota Research Institute（丰田研究院）
本研究提出SafePBDS框架，通过几何一致的方法计算最优且可证明安全的配置流形加速度，以实现机器人灵巧操作中的目标和约束的持续协调，并在模拟和Franka Panda-Allegro手平台上验证了其在灵巧抓取和手部重定向中的高效规划和安全保障。
2026-05-20 cs.RO
