Stream Runtime Monitoring on UAS
具有自主决策能力的无人机系统(UAS)在物流和灾难恢复等广泛应用领域越来越受到关注。为了确保系统的正确行为并识别危险情况或系统故障,我们在DLR ARTIS(智能系统自主研究测试台)系列无人机中应用了流运行时监控技术。我们提出了我们的经验,从规范的启发,仪表,离线日志文件分析,并在飞行计算机上的测试台在线监控。通过流运行时监控技术提供的调试和健康管理支持已被证明对系统设计和开发非常有益。与此同时,该项目已经确定了规约语言的可用性改进,并影响了语言的设计。
2018-03-29 cs.LO cs.SE
Verified Runtime Validation for Partially Observable Hybrid Systems
形式化验证提供了强有力的安全保证,但仅适用于信息物理系统的模型。混合系统模型描述了计算和物理动力学所需的相互作用,这对于保证什么计算导致安全的物理行为至关重要(例如,汽车不应该碰撞)。影响物理动力学的控制计算必须提前采取行动,以避免未来可能出现的不安全情况。然后,形式化验证确保控制器正确地识别并可证明地避免在特定物理模型下的不安全的未来情况。但是,任何物理模型都必然偏离现实,而且,任何使用真实传感器的观察和使用真实执行器的操作都受到不确定性的影响。这使得运行时验证成为监控模型假设是否适用于实际系统实现的关键步骤。关键的问题是什么属性需要被运行时监控,以及一个满意的运行时监控器对系统安全性的要求:运行时监控器的观察结果只有在它们本身伴随着正确性证明的情况下才与系统的安全性相关!对于一个完整的链的正确性保证,我们,因此,合成运行时监视器在一个可证明是正确的方式从可证明安全的混合系统模型。本文讨论了不可避免的挑战,使合成的监测条件的传感器的不确定性和部分可控性,由于执行器干扰的部分可观性鲁棒。我们表明,监控条件的结果可证明的安全保证与回退控制器的反应,在运行时监测违规。
2019-02-24 cs.LO
Specification of State and Time Constraints for Runtime Verification of Functions
用于运行时验证的技术通常利用规约语言,其(i)合理地表达,以及(ii)相对抽象(即,它们在将它们与被监视的系统分离的抽象级别上操作)。受CERN高能物理实验数据处理中监控系统问题的启发,提出了一种规约语言--控制流时序逻辑(CFTL),它的显著特点是与程序控制流紧密耦合,用于编写规范。这种耦合导致了大多数时态逻辑所使用的典型的高抽象级别的偏离。其余的贡献是一个静态分析为基础的仪器过程,这是特定于CFTL和它的公式的结构,和监测算法。报告最后分析了CFTL及其监控算法应用于一些示例程序时。
2018-06-08 cs.LO
Differentially Private Runtime Monitoring
CISPA Helmholtz Center for Information Security(CISPA赫尔姆霍兹信息安全中心)
本文提出一种自动在流式监控规范中强制差分隐私的方法,通过分析时间依赖性和在规范中注入校准噪声,以保护隐私。在公共交通使用监控案例中验证了方法的有效性。
2026-05-10 cs.CR cs.LO
Runtime Verification: Monitoring, Knowledge, and Uncertainty (Lecture Notes)
Université Paris-Saclay, CNRS, ENS Paris-Saclay, LMF(巴黎萨克雷大学、法国国家科学研究中心、巴黎萨克雷高等师范学院、LMF)
本文探讨运行时验证的理论基础与方法,涵盖自动机理论、时序逻辑和知识论,讨论规格说明、诊断、透明度和监控性,以及实时环境下的挑战。
2026-04-29 cs.FL cs.LO
A Tutorial on Stream-based Monitoring
本教程介绍RTLola,一种基于流的实时监控工具,用于检查系统运行时行为,并指导开发无人机监控规范,涵盖语言特性、技术细节及监控应用集成。
2025-01-27 cs.LO
Runtime Monitoring for Markov Decision Processes
University of California, Berkeley(加州大学伯克利分校)
我们调查的问题,监测部分可观测系统的不确定性和概率动力学。在这样的系统中,每个状态可以与风险相关联,例如,即将发生撞车事故的可能性在运行时,我们获得的部分信息的形式的观察系统的状态。监控器使用此信息来估计(不可观察的)当前系统状态的风险。我们的成果有三个方面。首先,我们表明,扩展的状态估计方法不缩放由于非确定性和概率的组合。虽然凸包算法提高了实际运行时间,但它们不能防止指数存储器爆炸。其次,我们提出了一个基于模型检验条件可达概率的易处理算法。第三,我们提供了原型实现,并体现了我们的算法的适用性,一系列的基准。结果突出了我们的新算法的可能性和边界。
2021-05-26 cs.LO cs.RO
Towards Runtime Monitoring of Node.js and Its Application to the Internet of Things
在过去的几年里,Node.js已经成为一个特别适合实现轻量级物联网应用程序的框架,这要归功于其底层的异步事件驱动,非阻塞I/O模型。然而,验证程序的正确性与异步嵌套回调是相当困难的,因此,运行时监控可以是一个有价值的支持,以解决这样一个复杂的任务。静态监测是一种有用的软件验证技术,它补充了静态分析和测试,但尚未在物联网(IoT)系统的背景下得到充分的探讨。跟踪表达式已成功地用于广泛的多智能体系统平台的运行时监控。最近,它们的表达能力已经扩展到允许对只能在运行时捕获和监视的数据进行参数化规范。此外,通过事件域和类型的概念,它们可以是语言和系统不可知的。本文研究了使用参数跟踪表达式作为Node.js和Node-RED(一种基于流的物联网编程工具,构建在Node.js之上)中开发的程序运行时监控的第一步。这类系统的可扩展性验证是一项迄今为止在文献中似乎大多被忽视的任务。一个原型实现所提出的系统Node.js,为了动态检查跟踪表达式的API函数的正确使用,提出。该工具利用动态分析框架Jalangi来监控Node.js程序,并允许检测其他技术难以捕获的错误。此外,它还提供了一个简单的REST接口,可用于Node-RED组件的运行时验证,更广泛地说,可用于物联网设备。
2018-02-06 cs.LO cs.PL cs.SE
Runtime Monitoring of Distributed Cyber-Physical Systems Without a Global Clock
Oregon State University(俄勒冈州立大学)
针对无全局时钟的分布式CPS,研究人员提出首个算法,将STL扩展到部分同步时钟场景,可返回满足规范的全局时刻集合,实现有效监控,复杂度可推导,适用于最多50个智能体的场景。
2026-08-14 cs.LO
Ain't No Stopping Us Monitoring Now
University of Turin(都灵大学);University of Genoa(热那亚大学)
并非所有的属性都是可监控的。这是一个众所周知的事实,这意味着存在无法在运行时完全验证的属性。然而,给定不可监视的属性,监视器仍然可以被合成,但是它可能最终处于这样一种状态,即永远不会对满意度做出判决(分别为,侵犯)的财产。因此,非可监视属性通常会被丢弃。在本文中,我们对可监控性进行了深入的分析,以及如何仍然可以部分验证不可监控的属性。我们提出我们的理论结果在语义水平上,而不专注于一个特定的形式主义。然后,我们展示了如何我们的理论可以应用到实现部分运行时验证的线性时序逻辑(LTL)。
2022-11-21 cs.LO
Monitoring Hyperproperties over Observed and Constructed Traces
Zeroth Research(零次研究);Institute of Science and Technology Austria (ISTA)(奥地利科学技术研究所)
本文提出一种监控超属性的方法,通过引入生成函数构造轨迹,扩展超节点逻辑,首次实现对含交替轨迹量词的异步超属性的运行时监控。
2026-10-11 cs.LO
From Requirements to Autonomous Flight: An Overview of the Monitoring ICAROUS Project
无人系统可靠运行的独立可配置架构(ICAROUS)是一种软件架构,包含一组算法,以实现无人机应用的自主操作。本文提供了一个概述监控ICAROUS,一个项目,其目标是提供一个正式的方法来生成运行时监视器的自治系统的要求写在一个结构化的自然语言。这种方法集成了FRET,一个正式的需求获取和创作工具,和Copilot,一个运行时验证框架。FRET用于以结构化自然语言来指定形式化需求。这些要求被翻译成时序逻辑公式。然后,Copilot用于从这些时序逻辑规范生成可执行的运行时监视器。生成的监视器直接集成到ICAROUS中,以在飞行期间执行运行时验证。
2020-12-03 cs.LO cs.SE
Provably-Robust Runtime Monitoring of Neuron Activation Patterns
DENSO AUTOMOTIVE Deutschland GmbH(电装汽车德国有限公司)
对于要在安全关键的自动驾驶任务中使用的深度神经网络(DNN),期望在操作时间内监视DNN的输入是否类似于DNN训练中使用的数据。虽然最近在监控DNN激活模式方面的结果由于从训练数据集合中构建抽象而提供了可靠的保证,但是减少由于轻微输入扰动而导致的误报一直是成功适应该技术的问题。我们解决这一挑战,通过整合正式的符号推理内部的监视器建设过程。该算法在应用抽象函数构建监控器之前,对输入(或特征)受到扰动的神经元值进行合理的最坏情况估计。可证明的鲁棒性进一步推广到监测单个神经元可以使用一个以上比特的情况,这意味着可以记录激活模式与神经元值区间上的细粒度决策。
2021-09-25 cs.LG cs.LO cs.SE
Predictive Zonotope Reduction: Precise Runtime Monitoring under Uncertainty
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);Technical University of Munich(慕尼黑工业大学);beanTech
本文提出预测仿射包归约(PZR)方法,将归约器选择转化为最优控制问题,通过波束搜索模型预测控制及策略蒸馏实现高效精确的不确定性运行时监测,在树莓派5上的机械臂实验中显著降低了监测误报率。
2026-09-04 cs.LO cs.RO cs.SY
Correct-by-Construction Runtime Enforcement in AI -- A Survey
Graz University of Technology(格拉茨工业大学);Clausthal University of Technology(克劳斯塔尔工业大学);KTH Royal Institute of Technology(KTH皇家理工学院)
强制执行是指在运行时强制执行与系统的正式规范相关的正确行为的理论、技术和工具。在本文中,我们感兴趣的技术,构建运行时的执法者的具体应用领域的安全执行人工智能。我们讨论了传统上如何在人工智能领域处理安全问题,以及如何通过集成运行时执行器来更正式地保证自学习代理的安全性。我们调查的选择工作,这样的执法者,在那里我们区分离散和连续的动作空间的方法。本文的目的是促进更好地了解不同执法技术的优势和局限性,重点关注由于其在人工智能中的应用而产生的具体挑战。最后,我们提出了一些开放的挑战和未来工作的途径。
2022-08-30 cs.AI cs.LO
Technical-Report: Automating Recoverability Proofs for Cyber-Physical Systems with Runtime Assurance Architectures
本文形式化RTA保护下CPS的决策采样时间充分性与时间有界可恢复性问题,并通过集成Maude与Z3的模SMT符号重写自动生成恢复证明。
2023-04-23 cs.LO cs.SE
Efficient Runtime Monitoring with Metric Temporal Logic: A Case Study in the Android Operating System
提出了一种基于度量线性时序逻辑(MTL)的安全策略规约语言的设计与实现。MTL具有按时间间隔索引的时态操作符,允许指定依赖于时间的安全策略。该语言的设计是由移动设备中的应用程序的运行时监控问题驱动的。该研究的一个主要案例是Android操作系统中的权限提升攻击,其中应用程序通过间接控制流获得对用户未明确授予的某些资源或功能的访问权限。为了捕获这些攻击,我们扩展了MTL与递归定义,用于表达应用程序之间的调用链。然后,我们将展示如何MTL的度量运算符,结合递归定义,可以用来指定的政策,以检测特权升级,在各种细粒度的约束。我们提出了一个新的算法,扩展的线性时间时序逻辑,用于监控安全策略写在我们的规约语言。监视器不需要存储应用程序生成的事件的整个历史记录,这对于实际实现至关重要。我们修改了Android操作系统内核,以允许我们模块化地插入生成的监视器。我们已经在实际设备上测试了修改后的操作系统,并表明它是有效的检测策略违规。
2013-11-11 cs.CR cs.LO cs.OS
FairMon: A Tool for Monitoring and Visualizing Algorithmic Fairness
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);Technical University of Munich(慕尼黑工业大学)
FairMon是一种运行时监控工具,利用扩展了条件概率算子的RTLola语言,实时可视化中间值,以分析高风险决策系统的算法公平性,支持人类监督。
2026-09-23 cs.AI cs.LO
Experiential Learning of Runtime Monitoring Using Pachinko
Barnard College, Columbia University(哥伦比亚大学巴纳德学院)
本文介绍了一项以交互式弹珠台游戏为载体的课堂作业,依托双核ESP32工作流,通过实践式项目教学教授运行时监控知识,相关资源可移植至其他同类课程。
2026-08-19 cs.CY cs.HC cs.LO
On Synchronous and Asynchronous Monitor Instrumentation for Actor-based systems
我们研究了同步和异步监测仪器运行时开销的影响,在一个运行时验证框架的演员为基础的系统。我们表明,在这样的背景下,异步监控会大大降低开销成本。我们还展示了如何,对于某些属性,需要同步监控,可以使用一种混合的方法,以确保及时的违规检测的重要事件,而在同一时间,产生较低的开销成本,更接近那些异步仪器。
2015-02-12 cs.LO cs.SE
Towards Partial Monitoring: It is Always too Soon to Give Up
University of Genova(热那亚大学);The University of Manchester(曼彻斯特大学)
形式化验证是一种轻量级的形式化验证技术。它用于在运行时验证被分析的系统是否按预期运行。预期的行为通常通过属性的方式正式指定,这些属性用于自动合成监视器。监视器是一种设备,它给出一系列表示系统执行的事件,返回一个判决,象征着形式属性的满足或违反。可以(分别)的属性不能)在运行时被监视器验证的分别称为可监视的和不可监视的。在本文中,我们修改的概念monitorability从一个实用的角度来看,我们展示了如何非monitorable属性仍然可以用来生成部分监视器,可以部分检查的属性。最后,我们从理论和实践的角度提出了启示。
2021-10-25 cs.AI cs.FL cs.LO
Efficient Dynamic Shielding for Parametric Safety Specifications
University of California, Irvine(加州大学尔湾分校);IMDEA Software Institute(IMDEA软件研究所)
本文针对参数化安全规范提出动态防护机制,其离线设计耗时数分钟,在线适配速度较暴力重新计算方法快最多5倍,可用于未知区域机器人导航以应对安全规范的动态变化。
2026-08-19 cs.AI cs.LG cs.LO
Oblivious Online Monitoring for Safety LTL Specification via Fully Homomorphic Encryption
在许多物联网(IoT)应用中,由IoT设备感测到的数据被连续地发送到服务器并针对规范进行监视。由于数据通常包含敏感信息,并且被监视的规范通常是专有的,因此必须对另一端保持私有。我们提出了一个协议,进行不经意的在线监测-在线监测进行不透露每一方的私人信息的其他-对安全LTL规范。在我们的方案中,我们首先将安全LTL公式转换为DFA,并使用DFA进行在线监测。基于全同态加密(FHE),我们提出了两个在线算法(反向和块)运行DFA的遗忘。我们证明了整个协议的正确性和安全性。我们还展示了我们的算法的可扩展性理论和经验。我们的案例研究表明,我们的算法是足够快的在线监测血糖水平,证明了我们的协议的实际意义。
2022-06-03 cs.CR cs.FL cs.LO
Runtime Monitoring and Enforcement of Conditional Fairness in Generative AIs
Chalmers University of Technology, Sweden Carl von Ossietzky Universität Oldenburg, Germany Universit\'e Grenoble Alpes, France University of Warwick, United Kingdom CSX-AI, France SRI International, United States
本文针对生成式AI的公平性问题,提出条件公平性概念及其两级评估标准,通过界定最坏情况并利用基于智能体框架的提示词注入方案,以最小干预实现了条件公平性的运行时监控与执行。
2025-08-11 cs.AI cs.CY cs.LG