Beyond Fixed Fault Models: Comparing LLM-Based and Rule-Based Fault Injection in OpenStack
University of Naples Federico II(那不勒斯费德里科二世大学);IMT School for Advanced Studies Lucca(卢卡高等研究学院);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
本研究比较LLM与规则故障注入在OpenStack中的效果,发现LLM扩展了故障行为覆盖,但需受控生成和验证才能实际应用。
2026-09-09 cs.SE
Data Poisoning: Lightweight Soft Fault Injection for Python
本文介绍并探讨了数据投毒的思想,这是一种轻量级的对等体系结构技术,用于将错误注入Python程序。这种方法只需要对原始程序进行很小的修改,这有助于评估在Python中原型化或建模的系统的灵敏度。我们提出了不同的故障情况下,可以注入程序使用数据投毒。我们使用Dijkstra的自稳定环算法来说明这种方法。
2016-11-04 cs.SE
Neural Fault Injection: Generating Software Faults from Natural Language
针对传统软件故障注入方法的诸多局限,本文提出结合RLHF增强的LLM的神经故障注入方法,通过人工反馈迭代优化故障生成效果,减少人工投入并提升软件测试可靠性。
2024-04-11 cs.SE
SequenceFI: Non-intrusive Temporal Fault Injection for Microservice Systems
School of Computer Science Wuhan University(武汉大学计算机学院);Zhongguancun Laboratory(中关村实验室)
研究针对微服务系统时间故障注入难题,提出SequenceFI框架,通过观察消息级事件、传播时间证据及合成时间保护触发故障,在Kubernetes上实现并评估,有效提升时间成功率,减少搜索时间。
2026-07-23 cs.SE
Kayotee: A Fault Injection-based System to Assess the Safety and Reliability of Autonomous Vehicles to Faults and Errors
全自动驾驶汽车(AV),即,具有5级自主权的自动驾驶汽车预计将在不久的将来主导道路运输,并为全球经济贡献数万亿美元。公众、政府组织和制造商都对自动驾驶汽车的自动驾驶系统(ADS)的弹性和安全标准有很大的关注。在这项工作中,我们提出并开发了(a)“Kayotee”-一个基于故障注入的工具,系统地将故障注入到ADS的软件和硬件组件中,以评估AV对故障和错误的安全性和可靠性,以及(b)一个本体模型来表征影响AV可靠性和安全性的错误和安全违规行为。Kayotee能够在不同层面上表征故障传播和弹性-(a)硬件,(b)软件,(c)车辆动态和(d)交通弹性。我们使用Kayotee来研究由Nvidia公司构建的专有ADS技术,目前正在将Kayotee应用于其他开源ADS系统。
2019-07-01 cs.SE
AgentChaos: Chaos Engineering for Agent Systems via Programmatic Fault Injection
Sun Yat-sen University(中山大学);Singapore Management University(新加坡管理大学);Monash University(蒙纳士大学);China Unicom(中国联通)
提出AgentChaos框架,在不修改源代码的情况下于LLM API共享层注入故障,评估显示智能体系统鲁棒性取决于自身实现,现有故障诊断方法仍有提升空间。
2026-08-10 cs.SE
Observability and Fault Injection for LLM-Based Multi-Agent Systems in Software Engineering
Delft University of Technology(代尔夫特理工大学);JetBrains Research(JetBrains研究)
针对软件工程中基于LLM的多智能体系统难检查调试评估的问题,提出llmmas-otel工具,结合OpenTelemetry分布式追踪与故障注入,实现可复现的基线与故障执行对比,已在演示及真实系统上验证。
2026-08-26 cs.SE
Dependability Assessment of the Android OS through Fault Injection
移动设备的可靠性对供应商来说是一个挑战,因为移动软件堆栈的复杂性显著增加。本文研究了如何通过故障注入来评估Android移动操作系统中故障对用户体验质量的影响。我们首先解决的问题,确定一个现实的故障模型的Android操作系统,提供给开发人员一套轻量级的和系统的故障建模的指导方针。然后,我们提出了一个可扩展的故障注入工具(AndroFIT),实际上,商业Android设备上应用这样的故障模型。最后,我们提出了一个大型的故障注入实验上的三个主要供应商的Android产品,并指出了几个可靠性问题和机会,以改善Android操作系统。
2019-12-07 cs.OS cs.SE
SSCBench: Evaluating the Evidential Validity of Fault-Injection Tests for Tool-Using LLM Agents
Jiangnan University(江南大学);Nanjing University(南京大学);Zhejiang University(浙江大学);Wuxi University of Technology(无锡职业技术学院)
本研究针对使用工具的LLM智能体故障注入评估的证据有效性问题,构建SSCBench协议实例,经实验发现故障采纳的证据条件存在差异,为故障注入评估提供了关键参考。
2026-10-09 cs.SE
Using Fault Injection to Assess Blockchain Systems in Presence of Faulty Smart Contracts
区块链已经变得特别受欢迎,因为它承诺在非常不同的领域(例如,零售、供应链、医疗保健)。区块链系统依赖于复杂的中间件,如以太坊或Hyperledger Fabric,这些中间件允许运行智能合约,这些智能合约在合作应用程序中指定业务逻辑。这些合同中存在的软件缺陷或故障是导致合同失败的主要原因,包括严重的安全问题。在本文中,我们使用软件实现的故障注入(SWIFI)技术来评估存在故障智能合约的许可区块链系统的行为。我们模拟一般软件故障的发生(例如,缺少变量初始化)以及区块链特定的软件故障(例如,缺少关于交易发送方的require语句)来观察对整个系统可靠性的影响(即,可靠性和完整性)。我们还研究了形式化验证的有效性(即,由Solc-Verify完成)和运行时保护(例如,使用断言语句)机制来检测注入的故障。结果表明,形式化验证以及额外的运行时保护必须补充内置的平台检查,以保证区块链系统和应用程序的适当可靠性。本文中提出的工作使智能合约开发人员能够意识到智能合约中可能存在的错误,并了解它们的存在所产生的影响。它还为中间件开发人员提供了有价值的信息来改进行为(例如,总体容错)。
2020-10-22 cs.SE
Efficient Fault Injection based on Dynamic HDL Slicing Technique
这项工作提出了一种故障注入方法,利用硬件描述语言(HDL)代码切片修剪故障注入位置,从而使更有效的运动的安全机制评估。特别地,动态HDL切片技术提供了高度折叠的关键故障列表,并且允许避免在冗余位置或时间步长处的注入。实验结果表明,所提出的方法集成到商业工具流的两倍的仿真速度相比,最先进的工业级EDA工具流。
2020-01-24 cs.AR cs.SE
Can My Microservice Tolerate an Unreliable Database? Resilience Testing with Fault Injection and Visualization
本文扩展 Filibuster 以在数据库客户端注入故障,支持多种 SQL/NoSQL 系统,并通过 IntelliJ 插件可视化故障类型、位置与影响,从而补足微服务数据库韧性测试工具。
2024-04-03 cs.SE
Towards a Fault-Injection Benchmarking Suite
本文针对FT/FI领域缺乏公认基准测试套件、现有基准可比性低且存在行为重叠的问题,发起讨论并提出基准测试选择标准。
2024-03-29 cs.SE
ML-based Fault Injection for Autonomous Vehicles: A Case for Bayesian Fault Injection
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);NVIDIA Corporation(英伟达公司)
全自动驾驶汽车(AV)的安全性和弹性是一个重大问题,几起头条新闻事故就是例证。虽然今天的AV开发涉及验证,验证和测试,但在现实驾驶场景中意外故障下AV系统的端到端评估在很大程度上尚未探索。本文介绍了DriveFI,一个基于机器学习的故障注入引擎,它可以挖掘最大程度影响AV安全的情况和故障,如两个行业级AV技术栈(来自NVIDIA和百度)所示。例如,DriveFI在不到4小时内发现了561个安全关键故障。相比之下,在几周内执行的随机注入实验无法发现任何安全关键故障
2019-07-01 cs.LG cs.SE stat.ML
Combining static analysis and dynamic symbolic execution in a toolchain to detect fault injection vulnerabilities
通过审计进行认证,可以确保关键嵌入式系统的安全。这需要审查其关键组件并检查危险的执行路径。后一项任务需要使用专门的工具,这些工具允许探索和重放执行,但在时间和代码知识有限的审计环境中也难以有效使用。故障分析尤其棘手,因为攻击者可能会主动影响执行,使一些常用方法无法使用,并以指数方式增加可能的执行路径。在这项工作中,我们提出了一种新的方法,减少了故障注入点的数量,认为只有最相关的相对于一些安全属性,以减轻这些问题。我们使用快速和强大的静态分析来检测注入点,并断言其影响。然后采用更精确的动态/符号方法来验证攻击路径。通过这种方式,发现攻击所需的洞察力减少了,动态方法可以更好地扩展到实际大小的程序。我们的方法被实现到一个工具链的基础上Frama-C和KLEE和验证WooKey,由法国国家网络安全局提出的案例研究。
2023-03-07 cs.SE
LLMs-Powered Real-Time Fault Injection: An Approach Toward Intelligent Fault Test Cases Generation
Technische Universität Clausthal(Clausthal工业大学)
本文提出一种利用大语言模型生成实时故障测试用例的方法,通过分析功能安全需求提高测试效率和安全性。
2025-11-24 cs.SE
A Language Support for Exhaustive Fault-Injection in Message-Passing System Models
本文提出了一种方法,对指定和验证自适应分布式系统。在这里,我们以故障处理作为自适应行为的一个例子,并提出了一个建模语言Sandal用于描述故障倾向的消息传递系统。该语言的独特机制之一是对抽象典型故障的语言支持,例如进程的意外终止和消息的随机丢失。Sandal编译器将模型转换为一组NuSMV模块。在编译过程中,模型中指定的错误将被编织到输出中。因此,人们可以享受全自动穷举故障注入,而无需显式地写入错误行为。我们通过在错误环境下验证两阶段提交协议模型来证明该语言的优势。
2014-11-14 cs.PL cs.SE
PyResBugs: A Dataset of Residual Python Bugs for Natural Language-Driven Fault Injection
University of Naples Federico II(那不勒斯费德里科二世大学)
本文提出 PyResBugs 数据集,收集 Python 框架中传统测试未发现但生产环境暴露的残余缺陷,并配以自然语言描述,用于支持自然语言驱动的真实故障注入和 AI 自动化测试研究。
2025-05-09 cs.AI cs.SE
Fault Injection in OpenAPI Specifications for Evaluating Black-Box Testing Effectiveness
University of Helsinki(赫尔辛基大学)
研究针对OpenAPI规范常存在的问题,引入故障分类法,在不同严重级别注入故障,用三种测试工具在两个微服务基准上评估,通过多种指标衡量故障影响,揭示规范故障对黑盒测试有效性的作用及相关评估的不足。
2026-07-15 cs.SE
MetFI: Model-driven Fault Simulation Framework
安全关键型设计需要确保在敌对条件下以一定程度的信心可靠运行。这些设计的不断提高的复杂性使它们更容易受到失败风险的影响。ISO 26262建议将故障注入作为验证和测量安全关键设计可靠性的适当技术。为了应对复杂性,需要大量的努力和严格的验证流程。此外,许多故障注入工具仅提供有限程度的可控性。我们提出了MetaFI,模型驱动的模拟器独立的故障模拟框架,提供多用途的故障注入策略,如统计故障注入,直接故障注入,穷举故障注入,并在同一时间减少人工工作。该框架能够注入固定故障、单事件瞬态故障、单事件翻转故障以及定时故障。故障模拟是在设计的寄存器传输级(RTL)进行的,在RTL中,以门级(GL)粒度表示设计的故障模拟部分。MetaFI是可扩展的完整的片上系统(SoC)设计,并证明该框架的适用性,故障模拟应用于两个不同的SoC的各种组件。一个SoC正在运行Dhetone应用程序,另一个正在运行指纹计算应用程序。在这两种设计上运行38个不同的故障注入活动需要2个人/天的最小工作量。该框架提供了有关组件故障率的重要数据。结果得出的结论是,预取器,SoC处理器的一个组件,更容易受到故障比其他目标组件在两个SoC上,无论运行的应用程序。
2022-04-27 cs.AR cs.LO cs.SE
Validating LLM-Modernized Scientific Software Through Differential Fault Injection
University of Mary Washington(玛丽华盛顿大学);Old Dominion University(老道明大学);Ames National Laboratory and Iowa State University(艾姆斯国家实验室和爱荷华州立大学)
本研究提出差分故障注入验证方法,以GAMESS为对象测试LLM现代化科学软件的正确性,发现转换后积分核与原始核一致,还暴露了精度降低时的并行死锁等问题。
2026-08-17 cs.DC cs.SE
Maximizing Error Injection Realism for Chaos Engineering with System Calls
在本文中,我们提出了一种新的故障注入框架的系统调用调用错误,称为菲比。菲比是独一无二的如下。首先,Phoebe使开发人员能够完全观察系统调用。其次,Phoebe生成的错误模型是现实的,因为它们模仿了生产中自然发生的错误。第三,Phoebe能够自动进行实验,系统地评估应用程序在生产中的系统调用调用错误方面的可靠性。我们评估的有效性和运行时开销的菲比在两个现实世界中的应用程序在生产环境中。结果表明,Phoebe成功地生成了真实的错误模型,并能够检测到重要的可靠性弱点方面的系统调用调用错误。据我们所知,这种新的概念“现实错误注入”,其中包括接地故障注入生产错误,从来没有被研究过。
2021-04-02 cs.SE
CSnake: Detecting Self-Sustaining Cascading Failure via Causal Stitching of Fault Propagations
Purdue University(普渡大学)
CSnake通过因果拼接连接单故障注入,利用反事实因果分析和三阶段预算分配,检测分布式系统中的自持续级联故障,发现15个缺陷。
2025-10-25 cs.DC cs.SE
MAS-FIRE: Fault Injection and Reliability Evaluation for LLM-Based Multi-Agent Systems
Sun Yat-sen University(中山大学)
MAS-FIRE通过故障注入和分层分析,揭示多智能体系统在容错和鲁棒性方面的关键因素,为提升系统可靠性提供系统性方法。
2026-02-23 cs.AI cs.SE
A Survey on Failure Analysis and Fault Injection in AI Systems
Sun Yat-sen University(中山大学);Federico II University of Naples(那不勒斯费代里科二世大学);Chinese University of Hong Kong(香港中文大学)
本研究综述了人工智能系统中故障分析与故障注入的方法,分析了现有技术的现状及改进方向,以提高系统可靠性。
2026-01-06 cs.AI cs.DC cs.SE
Error Propagation Analysis for Multithreaded Programs: An Empirical Approach
本文提出不变量传播分析(IPA)替代黄金轨迹,用于多线程程序的错误传播分析,实验表明其稳定且故障覆盖率可高于传统单线程EPA。
2023-12-28 cs.DC cs.SE
Resilient Virtualized Systems Using ReHype
系统级虚拟化会给实现虚拟化的软件组件(虚拟化基础架构(VI))的故障带来严重的漏洞。为了减轻这种故障的影响,我们引入了一个弹性VI(RVI),可以恢复个别VI组件的故障,硬件或软件故障,透明的托管虚拟机(VM)。大部分的焦点都集中在从hypervisor故障中恢复的ReHype机制上,这可能导致状态损坏和系统组件状态之间的不一致。ReHype对Xen hypervisor的实现是逐步完成的,使用故障注入结果来识别关键损坏和不一致的来源。这个实现涉及900个字节,内存空间开销为2.1MB。包含各种故障类型的故障注入活动表明,ReHype可以在不到750 ms的时间内成功地从超过88%的检测到的虚拟机管理程序故障中恢复。除了ReHype之外,还描述了其他VI组件的恢复机制。我们的RVI的整体效果进行评估托管Web服务应用程序,在一个集群的虚拟机。对于任何VI组件中的故障,对于超过87%的检测到的故障,我们的恢复机制允许应用程序提供的服务持续维护,尽管VI组件出现故障。
2021-01-23 cs.OS cs.SE