SMC-ES: Automated synthesis of formally verified control policies
Department of Computer Science, Sapienza University of Rome(罗马第一大学计算机科学系)
研究在安全关键环境中自动合成有形式保证的控制策略问题,提出基于仿真的新方法,开发SMC-ES算法,经实验验证其可行性,虽计算成本增加,但能提供形式保证且性能有竞争力。
2026-07-17 cs.AI cs.LG cs.NE
Safe Policy Improvement in Constrained Markov Decision Processes
TU Wien(维也纳工业大学)
通过强化学习(RL)从给定的一组正式需求自动合成策略取决于奖励信号的构造,并且由许多策略改进步骤的迭代应用组成。合成算法必须在单一目标中平衡目标、安全性和舒适性要求,并保证策略改进不会增加违反安全要求的数量,特别是对于安全关键型应用。在这项工作中,我们提出了一个解决方案的综合问题,解决其两个主要的挑战:从一组正式的要求和安全的政策更新的奖励塑造。对于前者,我们提出了一个自动奖励整形过程,定义了一个标量奖励信号符合任务规范。对于后者,我们引入了一个算法,以确保该政策的改进,在一个安全的方式与高置信度的保证。我们还讨论了采用基于模型的RL算法,以有效地使用收集到的数据和训练预测轨迹上的无模型代理,其中安全违规不会产生与现实世界中相同的影响。最后,我们在标准控制基准中证明了即使在超参数的严重扰动下,所得到的学习过程也是有效的和鲁棒的。
2022-10-20 cs.AI cs.FL cs.LG
Likelihood Hacking in Probabilistic Program Synthesis
University of Oxford, Department of Computer Science(牛津大学计算机科学系);University of Edinburgh, School of Informatics(爱丁堡大学信息学院);CIFAR Fellow, Learning in Machines and Brains(CIFAR Fellow, 机器与大脑学习)
研究概率程序合成中语言模型通过强化学习生成程序时可能人为夸大边际似然奖励的问题,提出安全语言片段SafeStan以防止似然黑客行为。
2026-08-19 cs.LG cs.PL
An Inductive Synthesis Framework for Verifiable Reinforcement Learning
Galois, Inc.(Galois公司);Purdue University(普渡大学)
尽管在过去十年中,在开发有用的机器学习应用方面取得了巨大的进步,但由于缺乏对其行为的强有力的保证,它们的广泛采用受到了阻碍。在本文中,我们考虑如何将为传统软件系统开发的形式化验证技术重新用于验证支持强化学习的系统,这是一类特别重要的机器学习系统。我们的技术不是通过检查和改变复杂神经网络实现的结构来加强安全性,而是使用黑盒方法来合成确定性程序,更简单,更可解释的网络近似值,即使网络部署在未预料到的或以前未观察到的环境中,也可以保证所需的安全属性。我们的方法框架的问题,神经网络验证的反例和语法引导归纳合成程序在这些程序。的合成过程中搜索一个确定性的程序和归纳不变的无限状态转换系统,表示一个应用程序的控制逻辑的规范。还可以提供定义基于环境的约束的附加规范以进一步细化搜索空间。结合神经网络实现部署的合成程序通过监视和防止由神经策略提出的潜在不安全动作来动态地实施安全条件。在广泛的网络物理应用的实验结果表明,软件启发的形式化验证技术可以用来实现可信的强化学习系统与低开销。
2019-07-16 cs.AI cs.LG stat.ML
Synthesis of Safety Specifications for Probabilistic Systems
Imperial College(帝国学院)
本文提出了一种基于PCTL的概率系统安全规范合成方法,通过理论框架和价值迭代算法实现更一般的时间属性表达。
2025-11-20 cs.AI cs.LG cs.LO
Scalable synthesis of safety certificates from data with application to learning-based control
Institute for Dynamic Systems and Control, ETH Zurich(动态系统与控制研究所,苏黎世联邦理工学院)
本文提出了一种高效的方法来合成安全集和控制律,通过基于凸优化问题的近似方法,提高了可扩展性,同时利用高斯过程先验减少保守性,应用于自动驾驶车队等场景。
2020-05-24 cs.LG cs.SY eess.SY
Towards Data-Driven Synthesis of Autonomous Vehicle Safety Concepts
NVIDIA(英伟达);University of California, Berkeley(加州大学伯克利分校)
随着安全关键型自动驾驶汽车(AV)很快将在我们的社会中普及,最近在整个行业和学术界提出了许多用于可信AV部署的安全概念。然而,就适当的安全概念达成共识仍然是一项难以实现的任务。在本文中,我们主张使用汉密尔顿-雅可比(HJ)的可达性作为一个统一的数学框架,比较现有的安全概念,并通过这个框架的元素,提出了方法来定制安全概念(从而扩大其适用性)的情况下,在数据驱动的方式对代理行为的隐式期望。具体来说,我们表明,(一)现有的主要安全概念可以嵌入在HJ可达性框架,从而使一个共同的语言比较和对比建模假设,和(ii)HJ可达性可以作为一个归纳的偏见,有效地推理,在学习的背景下,两个关键的,但往往被忽视的安全方面:责任和上下文依赖。
2022-06-20 cs.LG cs.RO cs.SY
Pick-to-Learn for Systems and Control: Data-driven Synthesis with State-of-the-art Safety Guarantees
Imperial College London(伦敦帝国学院);University of Oxford(牛津大学);University of Brescia(布雷西亚大学);Politecnico di Milano(米兰理工大学)
本文提出Pick-to-Learn框架,通过数据驱动方法实现系统与控制中的安全性和性能保证,展示了其在多个核心问题上的优越表现和广泛应用潜力。
2025-12-04 cs.LG cs.SY eess.SY
Safety Beyond the Training Data: Robust Out-of-Distribution MPC via Conformalized System Level Synthesis
Georgia Institute of Technology(佐治亚理工学院);ETH Zurich(苏黎世联邦理工学院)
本文提出一种基于符合预测和系统级合成的方法,用于在分布外情况下实现稳健的非线性模型预测控制,提升系统安全性和鲁棒性。
2026-02-12 cs.LG cs.RO cs.SY
Geometry of Radial Basis Neural Networks for Safety Biased Approximation of Unsafe Regions
Georgia Institute of Technology(佐治亚理工学院);Ford Motor Company(福特汽车公司)
基于障碍函数的不等式约束是对控制系统实施安全规范的一种手段。当与凸优化程序结合使用时,它们提供了一种计算效率高的方法来加强一般类控制仿射系统的安全性。采用这种方法时的主要假设之一是障碍函数本身的先验知识,即,安全设置的知识。在导航通过未知的环境中,局部安全集随时间而演变,这样的知识是不存在的。这篇手稿的重点是基于安全和不安全的样本测量来合成表征安全集的归零障碍函数,例如,从导航应用中的感知数据。先前的工作制定了一个监督机器学习算法,其解决方案保证了具有特定水平集属性的调零障碍函数的构建。然而,它没有探索用于合成过程的神经网络设计的几何形状。这篇手稿描述了用于归零障碍函数合成的神经网络的具体几何形状,并显示了网络如何提供必要的表示分裂成安全和不安全的区域的状态空间。
2023-03-28 cs.LG cs.RO cs.SY
Counterexample-Guided Synthesis of Perception Models and Control
UC Berkeley(加州大学伯克利分校);Waymo;Google(谷歌)
基于学习的感知系统的最新进展已经导致自动驾驶汽车和手术机器人等机器人系统的性能大幅改善。然而,这些感知系统很难分析,其中的错误可能会传播,导致灾难性的故障。在本文中,我们考虑的问题,合成安全和鲁棒控制器的机器人系统依赖于复杂的感知模块的反馈。我们提出了一个反例指导的合成框架,迭代地建立简单的代理模型的复杂的感知模块,使我们能够找到安全的控制策略。该框架使用证伪器来寻找违反安全属性的系统的反例或痕迹,以提取使感知模块和错误的有效建模成为可能的信息。然后,这些模型用于合成对感知错误具有鲁棒性的控制器。如果由此产生的政策是不安全的,我们收集新的反例。通过重复这个过程,我们最终找到了一个控制器,即使在感知失败的情况下,它也可以保持系统的安全。我们在模拟中展示了我们的框架,即车道保持和自动制动,并表明它生成了安全的控制器,以及基于深度神经网络的感知系统的简单模型,可以为感知系统的操作提供有意义的见解。
2021-05-14 cs.LG cs.LO cs.RO
SAFES: Sequential Privacy and Fairness Enhancing Data Synthesis for Responsible AI
Lucy Family Institute for Data & Society(数据与社会卢西家族研究所);University of Notre Dame(北德克萨斯大学);Department of Applied and Computational Mathematics and Statistics(应用与计算数学与统计系)
提出 SAFES 序贯数据合成框架,将差分隐私合成与公平感知预处理结合,支持在隐私、公平性和效用间灵活权衡,并在真实数据集上验证其低效用损失下显著改善公平性。
2025-10-20 cs.CR cs.LG
VISION-SLS: Safe Perception-Based Control from Learned Visual Representations via System Level Synthesis
Institute for Dynamic Systems and Control, ETH Zürich(动态系统与控制研究所,苏黎世联邦理工学院)
本文提出VISION-SLS方法,通过高分辨率RGB图像实现非线性输出反馈控制,在校准的不确定性范围内保证约束满足。方法结合学习的低维观测映射和系统级合成策略,实现可扩展的安全控制。
2026-04-27 cs.CV cs.LG cs.RO
Safety Certification in the Latent space using Control Barrier Functions and World Models
Indian Institute of Technology, Roorkee(印度理工学院,罗尔基)
本文提出一种半监督框架,在世界模型潜空间中学习控制屏障证书,结合有限标注数据和视觉Transformer,实现数据高效的安全视觉运动策略合成。
2025-07-18 cs.CV cs.LG cs.RO
DeFiFlowBench: Benchmarking and Improving Safe Executability in Natural-Language DeFi Workflow Synthesis
SRM Institute of Science and Technology(SRM科学与技术学院)
提出DeFiFlowBench基准和Koan-Safe方法,通过明确交易保护与执行评估,提升自然语言DeFi工作流合成的安全可执行性。
2026-09-11 cs.LG cs.SE