MORTAR: A Model-based Runtime Action Repair Framework for AI-enabled Cyber-Physical Systems
University of Alberta（阿尔伯塔大学）；Singapore Management University（新加坡管理大学）；The University of Tokyo（东京大学）
针对黑盒AI控制器难以在运行时保障安全的问题，提出MORTAR框架，通过预测模型评估动作安全性并优化修复不安全动作，以低开销提升任务完成率。
2024-08-07 cs.AI cs.SE
Evaluating LLMs' Effectiveness on Real-World Consumer Device Repair Questions
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Toronto（多伦多大学）
本文通过引入包含991个真实维修问题的基准测试，评估六种大语言模型在英语和孟加拉语上的正确性、完整性、实用性和安全性，发现模型虽能提供有用帮助，但在高风险维修任务中仍不可靠。
2026-06-02 cs.AI cs.CL
Multi-Perspective Agentic Program Repair via Code Property Graphs and Temporal Execution Graphs
研究针对大语言模型在自动程序修复中的局限，提出CT-Repair框架，通过代码属性图和时间执行图表示证据，利用三阶段过滤管道及多视角智能体分析错误并生成修复策略，实验证明该方法能有效提高修复有效性。
2026-07-15 cs.AI cs.SE
ContraFix: Skill-Enhanced Contrastive Runtime Analysis for Vulnerability Repair
Beihang University（北京航空航天大学）；The University of Hong Kong（香港大学）
本文提出ContraFix框架，通过差分运行时证据和可重用的修复技能，解决大型语言模型代理在自动漏洞修复中的语义误解问题，实现了在SEC-Bench和PatchEval上的高准确率。
2026-07-03 cs.AI cs.CL cs.CR
ADReFT: Adaptive Decision Repair for Safe Autonomous Driving via Reinforcement Fine-Tuning
Singapore Management University（新加坡国立管理大学）；University of Alberta（阿尔伯塔大学）；Zhejiang Sci-Tech University（浙江科技大学）
针对自动驾驶系统在线修复方法缺乏泛化性且过于保守的问题，提出基于强化学习微调的自适应决策修复方法ADReFT，通过离线学习识别安全关键状态并生成自适应修复动作，有效提升了系统的安全性与修复性能。
2025-06-30 cs.AI cs.LG cs.SE
HTN Plan Repair Algorithms Compared: Strengths and Weaknesses of Different Methods
University of Maryland（马里兰大学）；SIFT, LLC（SIFT有限责任公司）；Naval Research Laboratory（海军研究实验室）
本文比较了三种HTN计划修复算法（SHOPFixer、IPyHOPPER和Rewrite），通过理论分析揭示其问题定义差异，并在基准问题上实证评估其运行时性能和修复覆盖范围。
2025-04-22 cs.AI
Managed Autonomy at Runtime: Gear-Based Safety and Governance for Single- and Multi-Agent Cyber-Physical Systems
DNRS.ai, USA
提出一种离散时间控制系统，通过五个执行档位和效用门控调度，在单智能体场景中证明单调稳定性、执行安全性和最终稳定，在多智能体CPS中结合治理状态实现分布式安全保证，在UR5机器人装配单元上达到99.6%异常检测率。
2026-07-02 cs.AI
NEXUS: Structured Runtime Safety for Tool-Using LLM Agents
University of Central Florida（中佛罗里达大学）；North South University（南北大学）；University of Southern Queensland（南昆士兰大学）
研究工具使用型大语言模型智能体运行时安全问题，提出NEXUS结构化计划安全监控器，结合多种方法进行分级升级。在多个基准测试中表现出色，如合成基准测试F1分数达0.949等，还具有低延迟、低开销特点，相关成果已公开。
2026-07-23 cs.AI
Safe Bilevel Delegation (SBD): A Formal Framework for Runtime Delegation Safety in Multi-Agent Systems
Jilin University（吉林大学）
本文提出SBD框架，通过双层优化问题在运行时动态调整安全与效率的权衡，理论证明了安全单调性、内政策收敛性和责任传播界，应用于医疗AI、金融风险控制和教育代理监督领域。
2026-04-30 cs.AI
On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment
National University of Singapore（新加坡国立大学）
本文提出FATE框架，通过将验证者评分的失败轨迹转化为修复监督，结合Pareto-Front Policy Optimization方法，提升代理安全性同时保持有用行为，实验显示在不同模型和规模上均有效。
2026-05-12 cs.AI
Adaptive GR(1) Specification Repair for Liveness-Preserving Shielding in Reinforcement Learning
Imperial College London（伦敦帝国理工学院）；Universidad de Buenos Aires（布宜诺斯艾利斯大学）
本文提出基于GR(1)规范的自适应防护框架，通过在线修复规范实现环境假设违反时的安全与存活保持。
2026-08-26 cs.AI
Towards Repairing Neural Networks Correctly
Zhejiang University（浙江大学）；Singapore Management University（新加坡管理大学）；Huawei International Pte Ltd（华为国际有限公司）
神经网络越来越多地应用于支持安全关键应用（如自动驾驶汽车、无人机和基于人脸识别的身份验证）中的决策。虽然已经提出了许多令人印象深刻的静态验证技术来解决神经网络的正确性问题，但静态验证可能永远无法充分扩展以处理真实世界的神经网络。在这项工作中，我们提出了一个运行时验证方法，以确保正确的神经网络。给定一个神经网络和一个理想的安全属性，我们采用最先进的静态验证技术来确定战略位置，以引入额外的门，“正确的”神经网络的行为在运行时。实验结果表明，我们的方法有效地产生神经网络，保证满足的性质，同时是与原始的神经网络的大部分时间一致。
2021-05-06 cs.AI cs.LG
ClawProBench: Trace-Aware Evaluation of AI Agents with Runtime Coverage and Frozen Workplace-Style Holdouts
The Chinese University of Hong Kong（香港中文大学）
该研究提出ClawProBench基准，基于OpenClaw运行时构建，通过含102场景的全配置集与68场景的冻结保留集评估AI智能体，采用安全门控公式评分，发现最终答案排行榜存在缺陷，不同评估视角的智能体排名差异显著。
2026-08-25 cs.AI
DDOR: Delta Debugging for Explainable Overrefusal Testing and Repair
Southeast University（东南大学）；Singapore Management University（新加坡管理学院）；Zhejiang University（浙江大学）；Huzhou Institute of Industrial Control Technology（湖州工业控制技术研究所）
提出DDOR框架，通过delta调试定位最小拒绝触发片段（mRTF），实现黑盒环境下大语言模型过度拒绝行为的自动化测试与修复。
2026-06-02 cs.AI cs.SE
Automated Repair of AI Code with Large Language Models and Formal Verification
The University of Manchester（曼彻斯特大学）；Federal University of Amazonas（亚马逊联邦大学）
本研究针对AI代码的内存安全漏洞问题，通过程序变异扩展NeuroCodeBench数据集，结合ESBMC形式化验证工具与大语言模型实现漏洞自动修复，并对比了多种提示工程技术及迭代调用方法的修复性能。
2024-05-14 cs.AI cs.SE
TeleGen: Improving LLM-Based Web Application Generation via Runtime Telemetry
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；University of Waterloo（滑铁卢大学）；The Hong Kong University of Science and Technology（香港科技大学）
TeleGen通过运行时遥测增强LLM生成Web应用的修复过程，将WebGen-Bench任务成功率提升8.5个百分点，并有效诊断隐藏执行路径的交互失败。
2026-10-06 cs.AI cs.SE
Detecting Architectural Drift in Safety-Critical Firmware through Runtime Trace Analysis
University of Naples Federico II（那不勒斯费德里科二世大学）；Micron Technology, Inc（美光技术公司）；DIETI
研究在长寿命安全关键固件中检测架构漂移问题，核心方法是收集硬件辅助执行跟踪，经抽象比较找出差异，还基于大语言模型生成报告，贡献是经评估该方法有效。
2026-07-07 cs.AI cs.SE
Position: AI Safety Requires Effective Controllability
Singapore Management University（新加坡管理大学）；Ant Group（蚂蚁集团）
本文提出AI安全应将可控性作为首要目标，通过定义可控性、引入基准测试ControlBench并分析现有对齐机制的不足，提出以控制为中心的架构框架。
2026-05-26 cs.AI
Combining Cost-Constrained Runtime Monitors for AI Safety
MARS；Redwood Research
针对AI运行时安全监控的成本约束问题，提出基于Neyman-Pearson引理的多监控器组合优化算法，在代码审查场景下召回率较基线翻倍，且组合监控效果帕累托优于单监控器。
2025-10-21 cs.AI cs.CY
Compositional Safety Failures in Harness Evolution: Identification and Runtime Monitoring
针对工具链演化中跨组件更新交互导致的组合式安全失效，提出类型化超图建模与运行时监控方法，在三个基准上识别出61种失效，有效降低检查成本并保持效用。
2026-10-23 cs.AI cs.SE
Hierarchical Reinforcement Learning with Runtime Safety Shielding for Power Grid Operation
Department of Electrical Engineering（电气工程系）；Delhi Technological University (DTU), India（德里技术大学（DTU），印度）
本文提出一种安全约束的分层控制框架，通过分离长周期决策与实时可行性执行，提升电网运行的安全性和泛化能力。
2026-04-15 cs.AI cs.LG
LabGuard: Grounding Natural-Language Laboratory Rules into Runtime Guards for Embodied Laboratory Agents
Wuhan University（武汉大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Northeastern University（东北大学）
提出LabGuard，一种将自然语言实验室规则转化为可执行规范并部署为运行时守卫的安全套件，通过三个核心组件实现规则到监控的映射，实验表明能有效降低不安全事件。
2026-08-03 cs.AI
Benchmark Dataset Generation and Evaluation for Excel Formula Repair with LLMs
Microsoft（微软）
本文针对Excel公式修复缺乏高质量数据集的问题，提出基于论坛种子样本和LLM-as-a-Judge验证的数据生成流水线，构建了618个样本的基准，并提出上下文感知修复基线，评估了多种LLMs的性能。
2025-08-14 cs.AI cs.SE
Correct-by-Construction Runtime Enforcement in AI -- A Survey
Graz University of Technology（格拉茨工业大学）；Clausthal University of Technology（克劳斯塔尔工业大学）；KTH Royal Institute of Technology（KTH皇家理工学院）
强制执行是指在运行时强制执行与系统的正式规范相关的正确行为的理论、技术和工具。在本文中，我们感兴趣的技术，构建运行时的执法者的具体应用领域的安全执行人工智能。我们讨论了传统上如何在人工智能领域处理安全问题，以及如何通过集成运行时执行器来更正式地保证自学习代理的安全性。我们调查的选择工作，这样的执法者，在那里我们区分离散和连续的动作空间的方法。本文的目的是促进更好地了解不同执法技术的优势和局限性，重点关注由于其在人工智能中的应用而产生的具体挑战。最后，我们提出了一些开放的挑战和未来工作的途径。
2022-08-30 cs.AI cs.LO
Runtime Enforcement of Hybrid System Properties
Indian Institute of Technology Bhubaneswar（印度理工学院布巴内斯瓦尔分校）；Indian Association for the Cultivation of Science（印度科学培养协会）；Univ Rennes, Inria, CNRS, IRISA（里昂大学、Inria、CNRS、IRISA）
提出一种结合离散事件编辑与连续时间监控的运行时强制执行框架，使用混合自动机建模安全需求，通过运行时可达性分析合成安全纠正动作，在自适应巡航控制系统中验证有效性。
2026-06-11 cs.AI cs.FL
Automated Repair of Neural Networks
Technion—Israel Institute of Technology（以色列理工学院）
在过去的十年中，神经网络（NN）已被广泛用于许多应用，包括安全关键的，如自治系统。尽管它们正在被采用，但众所周知，NN容易受到对抗攻击的影响。因此，保证此类系统正确工作非常重要。为了解决这些问题，我们引入了一个框架，用于修复不安全的NN w.r.t.安全规范，即利用可满足性模理论（SMT）求解器。我们的方法是能够搜索一个新的，安全的NN表示，通过修改只有少数的权重值。此外，我们的技术试图最大限度地提高与原始网络的决策边界的相似性。我们进行了广泛的实验，证明我们提出的框架，以产生安全的神经网络的w.r.t.对抗鲁棒性属性，只有轻微的准确性损失（在相似性方面）。此外，我们将我们的方法与一个天真的基线进行比较，以实证证明其有效性。最后，我们提供了一个算法来自动修复神经网络给定的安全属性，并提出了一些算法来提高其计算性能。目前，通过这种方法，我们能够生产小尺寸（即，具有多达几百个参数）校正NN，由分段线性ReLU激活函数组成。然而，我们的框架是一般的意义上，它可以合成神经网络的w.r.t.一阶逻辑规范的任何可判定片段。
2022-07-17 cs.AI cs.LG
Springdrift: An Auditable Persistent Runtime for LLM Agents with Case-Based Memory, Normative Safety, and Ambient Self-Perception
Springdrift通过可审计的执行子系统、基于案例的记忆层和规范安全机制，实现了LLM代理在跨会话任务连续性和环境自我感知方面的突破，展示了无显式指令下的自主诊断能力。
2026-04-06 cs.AI
ARES: Adaptive Red-Teaming and End-to-End Repair of Policy-Reward System
Amazon Nova Responsible AI（亚马逊Nova责任AI）
ARES通过自适应红队测试和端到端修复方法，系统发现并缓解策略-奖励系统双重漏洞，提升安全鲁棒性。
2026-04-20 cs.AI cs.CR cs.LG
Runtime Safety Monitoring of Deep Neural Networks for Perception: A Survey
Institute for Applied Informatics and Formal Description Methods（应用信息学与形式描述方法研究所）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
本文综述了深度神经网络感知系统的运行时安全监控方法，将其分为监控输入、内部表示和输出三类，分析各自优劣并指出未来研究方向。
2025-11-08 cs.AI cs.CV cs.LG
Swiss Cheese Model for AI Safety: A Taxonomy and Reference Architecture for Multi-Layered Guardrails of Foundation Model Based Agents
Data61, CSIRO（Data61 联邦科学与工业研究组织（CSIRO））
本文针对基于基础模型的智能体运行时安全问题，提出了运行时护栏的综合分类法，并受瑞士奶酪模型启发设计了包含质量属性、流水线和产物三个维度的多层护栏参考架构，为构建AI安全设计提供指导。
2025-01-27 cs.AI cs.SE
AgentWall: A Runtime Safety Layer for Local AI Agents
本文提出AgentWall，一种用于本地AI代理的运行时安全与可观测性层，通过拦截代理操作、评估政策、要求人类批准和记录执行轨迹，实现92.9%的政策执行准确率。
2026-03-24 cs.AI cs.CR
Agent Safety Should Be a Runtime Contract
Vast Intelligence Lab（星智实验室）；Southwest University（西南大学）；Sun Yat-sen University（中山大学）
该研究指出将AI安全仅在训练阶段植入的范式不足，提出智能体安全应是兼具预防与证据层面的运行时契约，通过四类公开证据支撑该立场并给出研究议程。
2026-08-13 cs.AI cs.CR
ProbGuard: Proactive Runtime Monitoring for LLM Agent Safety via Probabilistic Prediction
Singapore Management University（新加坡管理大学）；Xi'an Jiaotong University（西安交通大学）
ProbGuard通过概率风险预测主动监控LLM代理安全，利用离散时间马尔可夫链建模行为动态，提前预警潜在危险，提升安全性和任务完成率。
2026-08-04 cs.AI cs.SE
Causal Scene Narration: Inference-Time Text Restructuring for Vision-Language-Action Driving
Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院）；TIER IV, Inc.（TIER IV 公司）
本文提出CSN方法，通过意图约束对齐、定量 grounding 和结构分离重构VLA文本输入，提升驾驶评分并增强安全性。
2026-10-20 cs.AI cs.RO
Runtime Safety Assurance Using Reinforcement Learning
Stanford University（斯坦福大学）；GE Research（通用电气研究）
非血统自动驾驶仪的适航性和安全性必须得到验证，但正式这样做的成本可能令人望而却步。我们可以通过将安全性保证（RTSA）作为确保安全性的机制来绕过非血统组件的形式化验证。RTSA由一个元控制器组成，它观察非血统组件的输入和输出，并在系统运行时验证正式指定的行为。当系统被触发时，部署经验证的恢复控制器。恢复控制器的设计是安全的，但很可能破坏系统的操作目标，因此RTSA系统必须平衡安全和效率。本文的目的是设计一个元控制器，能够识别不安全的情况下，具有较高的准确性。高维和非线性动态，其中现代控制器部署随着黑盒子性质的名义控制器，使这是一个困难的问题。目前的方法在很大程度上依赖于领域专业知识和人类工程。我们用马尔可夫决策过程（MDP）框架设计RTSA，并使用强化学习（RL）来解决它。我们学习的元控制器在我们的实验中始终表现出优于我们的基线，人类工程方法。
2020-10-20 cs.AI cs.LG cs.SY
Silent Failures in Physical AI: A Literature Review of Runtime Action Authorization for Autonomous Systems
STATE16
本文综述了物理AI系统中黑箱模型发出看似合理但实际错误的物理动作导致的静默故障问题，提出了运行时防护栏的分类和评估要求。
2026-05-23 cs.AI cs.RO
From Failures to Fixes: LLM-Driven Scenario Repair for Self-Evolving Autonomous Driving
Jilin University（吉林大学）；Fudan University（复旦大学）；Tongji University（同济大学）
提出LLM驱动的SERA框架，通过分析性能日志识别失败模式并动态检索语义对齐场景，利用LLM反思机制优化推荐，以少样本微调修复自动驾驶失败案例，持续提升多基线关键指标。
2025-05-28 cs.AI cs.CV cs.RO
Architectural patterns for handling runtime uncertainty of data-driven models in safety-critical perception
Fraunhofer IESE（弗劳恩霍夫实验软件工程研究所）；Robert Bosch GmbH（罗伯特·博世有限公司）
基于机器学习和其他AI技术的数据驱动模型（DDM）在感知日益自治的系统方面发挥着重要作用。由于它们的行为仅仅是基于用于训练的数据的隐式定义，DDM输出受到不确定性的影响。这对通过DDM实现安全关键感知任务提出了挑战。解决这一挑战的一种有希望的方法是估计操作期间当前情况的不确定性，并相应地调整系统行为。在以前的工作中，我们专注于运行时估计的不确定性和讨论的方法处理不确定性估计。在本文中，我们提出了额外的架构模式来处理不确定性。此外，我们评估了四种模式的定性和定量方面的安全性和性能增益。对于定量评估，我们考虑了车辆排队的距离控制器，通过考虑在不同的操作情况下可以减少多少距离来测量性能增益。我们的结论是，驾驶情况的上下文信息的考虑使得有可能接受更多或更少的不确定性，这取决于情况的固有风险，从而导致性能增益。
2022-06-14 cs.AI cs.LG cs.SE
EgoSafetyBench: A Diagnostic Egocentric Video Benchmark for Evaluating Embodied VLMs as Runtime Safety Guards
AIM Intelligence（AIM智能研究所）；Seoul National University（首尔国立大学）
提出EgoSafetyBench，一个包含1200个机器人视角场景的自我中心视频基准，用于评估视觉语言模型在流式安全监控中的能力，通过情景和视觉通道两个轨道测试模型识别危险和应对误导性文本的鲁棒性。
2026-10-06 cs.AI cs.CV
Online Synthesis for Runtime Enforcement of Safety in Multi-Agent Systems
The University of Texas at Austin（得克萨斯大学奥斯汀分校）
防护罩附在系统上，通过在运行时纠正系统的行为来保证安全。现有的方法，采用设计时合成的盾牌不扩展到多智能体系统。此外，这种屏蔽通常以集中方式实现，需要关于系统中所有代理的状态的全局信息。我们通过一种新的方法来解决这些限制，其中屏蔽在运行时合成，不需要全局信息。每个代理都有一个屏蔽，它只能修改相应代理的行为。在这种从根本上分散的方法中，每个代理上的屏蔽都有两个组件：一个纠正代理行为的探路者和一个动态修改代理优先级的排序机制。当前优先级决定屏蔽是否使用路径查找器来修改代理的行为。我们推导出一个上限的最大偏差，从其原始行为的任何代理。我们证明了最坏情况下的合成时间是二次的代理在运行时的数量，而不是指数在现有的方法设计时。我们测试的性能分散，运行时屏蔽合成方法上的碰撞避免问题。对于50x50网格中的50个代理，每当检测到潜在冲突时，运行时的合成需要每个代理几秒钟。相比之下，用于类似设置的屏蔽的集中式设计时合成在5x5网格中的4个代理之外是难以处理的。
2020-02-27 cs.AI cs.MA cs.SY
Searching for Optimal Runtime Assurance via Reachability and Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Rational CyPhy Inc.（理性赛博物理公司）；Air Force Research Laboratory（美国空军研究实验室）
针对现有运行时保证系统（RTA）设计保守或存安全隐患的问题，提出基于奖励塑形与强化学习的最优RTA设计方法，可在保障安全的同时提升实验性控制器利用率。
2023-10-06 cs.AI cs.FL cs.SY
What Can Be Enforced? A Theory of Certified Runtime Safety for Tool-Using Agents
研究使用工具的智能体认证运行时安全，区分三个问题：确定性门与安全策略、外部法则下的边界及证书、闭环边界识别；介绍了相关方法，通过多种实验针对差异进行研究。
2026-07-28 cs.AI cs.CR cs.LG
Efficient Dynamic Shielding for Parametric Safety Specifications
University of California, Irvine（加州大学尔湾分校）；IMDEA Software Institute（IMDEA软件研究所）
本文针对参数化安全规范提出动态防护机制，其离线设计耗时数分钟，在线适配速度较暴力重新计算方法快最多5倍，可用于未知区域机器人导航以应对安全规范的动态变化。
2026-08-19 cs.AI cs.LG cs.LO
Incremental Satisfiability Modulo Theory for Verification of Deep Neural Networks
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Nanjing Institute of Software Technology, ISCAS（中国科学院软件研究所南京软件技术研究院）
约束求解是深度神经网络验证的基本方法。在AI安全领域，DNN可能会修改其结构和参数以进行修复或攻击。对于这种情况，我们提出了增量DNN验证问题，该问题询问DNN修改后是否仍然保持安全属性。为了解决这个问题，我们提出了一个增量可满足性模理论（SMT）算法的基础上的Reluplex框架。我们模拟了在旧的求解过程中（相对于原始网络）推断搜索分支的验证结果的配置的最重要的特征，并验证性地检查证明是否仍然对修改后的DNN有效。我们实现了我们的算法作为一个增量求解器称为DeepInc，和exerimental结果表明，DeepInc是更有效的，在大多数情况下。对于属性在修改之前和之后都成立的情况，加速可以快几个数量级，这表明DeepInc在增量搜索反例方面表现出色。在此基础上，提出了多目标DNN修复问题，并给出了一个基于增量式SMT求解算法的算法。与现有技术相比，我们的修复方法在修复的DNN上保留了更多潜在的安全属性。
2023-02-10 cs.AI cs.FL
Benchmarks for Trajectory Safety Evaluation and Diagnosis in OpenClaw and Codex: ATBench-Claw and ATBench-Codex
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出ATBench-Claw和ATBench-Codex，用于评估和诊断OpenClaw和Codex环境中的轨迹安全，通过定制安全分类法实现基准测试的可扩展性。
2026-04-29 cs.AI cs.SE
Scaling Multilingual Safety and Reasoning Evaluation through Reasoning-Guided Translation
Jožef Stefan Institute（约瑟夫·斯蒂芬研究所）
本研究提出推理引导的翻译框架，构建覆盖11种语言的多语言评估集合，发现开源LLMs存在语言依赖型漏洞，强调任务敏感型基准构建的重要性。
2026-10-15 cs.AI cs.CL
Loc2Repair: A Framework for Evaluating the Impact of File-Level Issue Localization in Repo-Level LLM Repair
ITMO University（ITMO大学）
提出Loc2Repair模块化评估框架，通过解耦定位与修复，在SWE-bench Verified上验证文件级定位能一致提升修复率（44.7%→49.1%）并降低平均耗时。
2026-07-01 cs.AI cs.SE
Ensuring Safe Physical AI in Urban Mobility via Hazard-Informed Synthesized Envelopes
Xortech DOO
针对异构机器人城市部署的安全挑战，提出结合危险分析与运行时执行的统一框架，通过跨层安全转换保障物理AI的城市移动安全。
2026-08-17 cs.AI cs.RO
Using Formal Models, Safety Shields and Certified Control to Validate AI-Based Train Systems
Heinrich Heine University Düsseldorf（杜塞尔多夫海因里希·海涅大学）
本文提出一种两层方法，结合B方法形式化分析与运行时证书检查器，在ProB中集成演示器对基于AI的自主列车进行运行时监控、验证和统计验证，以检测AI及证书检查器的潜在漏洞。
2024-11-21 cs.AI cs.CV cs.LO
Permissive Safety Through Trusted Inference: Verifiable Belief-Space Neural Safety Filters for Assured Interactive Robotics
Department of Computer Science, Johns Hopkins University, USA（约翰霍普金斯大学计算机科学系）
针对交互式机器人中人类不确定性带来的安全问题，提出一种基于共形预测的信念空间安全滤波器验证方法，在考虑推理可靠性的前提下保证高概率安全，并减少保守性。
2026-06-01 cs.AI cs.LG cs.RO
Gated Uncertainty-Aware Runtime Dual Invariants for Neural Signal-Controlled Robotics
Oxford Robotics Institute (ORI)（牛津机器人研究所）；Department of Engineering Science（工程科学系）；University of Oxford（牛津大学）
GUARDIAN通过结合校准置信度的脑信号解码与符号目标接地和双层运行时监控，实现神经信号控制机器人系统的高安全性和可靠性。
2025-11-25 cs.AI cs.HC cs.LG
Evaluation of Runtime Monitoring for UAV Emergency Landing
Université de Toulouse（图卢兹大学）；LAAS-CNRS（国家科学研究中心自动化与系统分析实验室）；ONERA（法国国家航空航天研究院）
为了验证无人机在人口稠密地区的操作，必须制定风险缓解策略（如紧急着陆（EL）），以应对潜在的故障。EL旨在通过使用机载传感器寻找安全着陆区域来降低地面风险。本文的第一个贡献是提出了一种新的EL方法，在最近的研究中引入的安全要求。特别地，所提出的EL流水线包括在执行期间监视基于学习的组件的机制。这样，另一个贡献是在现实世界的关键系统的背景下研究机器学习监控（MLRM）方法的行为。介绍了一种新的评估方法，并应用于评估的实际安全效益的MLRM机制。所提出的方法相比，默认的缓解策略（打开降落伞时，检测到故障），似乎更安全。
2022-02-07 cs.AI cs.CV cs.LG
