On Misbehaviour and Fault Tolerance in Machine Learning Systems
机器学习(ML)为我们提供了许多机会,使ML系统能够适应新的情况和环境。与此同时,这种适应性提高了有关运行时的产品质量或可靠性,如可靠性和安全性,这些系统的不确定性。系统可以被测试和监控,但这并不能提供对适应ML系统本身的故障和失败的保护。我们研究了旨在在ML系统中引入容错的软件设计,以便可以避免系统的ML组件中可能出现的问题。研究是作为一个案例研究,其数据收集通过五个半结构化的采访经验丰富的软件架构师。我们提出了一个概念化的ML系统的不当行为,容错的感知作用,和使用的设计。以容错方式将ML组件合并到设计中的常见模式已经开始出现。例如,ML模型通过监控输入及其分布,并在可接受的输出上执行业务规则来保护。使用多个专业的ML模型来适应周围世界的变化和变化,并采用更简单的故障技术(如默认输出)来使系统在遇到问题时启动和运行。然而,这些模式的一般作用没有得到广泛承认。这主要是由于使用ML作为完整软件系统的一部分相对不成熟:该领域仍然缺乏既定的框架和实践,而不是培训来实现,操作和维护使用ML的软件。ML软件工程需要在各个方面进行进一步的分析和开发。
2021-09-16 cs.SE
Software Process Models and Analysis on Failure of Software Development Projects
软件过程模型由一组设计、开发和维护软件系统的活动组成。各种各样的软件过程模型被设计用来构造、描述和规定软件开发过程。软件过程模型在软件开发过程中起着非常重要的作用,是软件产品的核心。软件项目的失败往往会对组织造成破坏。进度单,错误的发布和缺失的功能可能意味着项目的结束,甚至是公司的财务破产。奇怪的是,对于一个项目失败意味着什么,人们存在分歧。本文对现有的软件开发过程模型和软件开发失败的分析进行了讨论,指出了新的研究的必要性。
2013-06-05 cs.SE
Software that Learns from its Own Failures
所有非平凡的软件系统都遭受意外的生产失败。然而,这些系统对于故障是被动的,并且不利用它们来改善其未来的行为:它们只是等待它们发生并触发硬编码的故障恢复策略。相反,我提出了一个新的范例,其中软件系统从自己的失败中学习。通过使用先进的监测系统,他们不断了解自己的状态和健康。它们的设计是为了自动探索从过去成功和失败的执行中推断出的替代恢复策略。他们的恢复能力进行评估的自我注入控制故障,这个过程中产生的知识,在未来的意外故障的预见。
2015-02-03 cs.SE
New Failure Rate Model for Iterative Software Development Life Cycle Process
软件可靠性模型是估计软件可靠性、失效率和剩余故障数的最常用的数学工具之一。现有的软件可靠性模型是按照瀑布式软件开发生存周期过程设计的。这些现有的模型没有利用迭代软件开发过程。本文提出了一种新的以迭代软件开发生存周期过程为中心的失效率模型。它的目的是整合一个新的调制因子,将不同的需求,在每个阶段的迭代软件开发过程。它包括不完善的调试与故障的可能性引入和删除的多个故障在一个时间间隔的迭代开发的软件进行。该模型已在Eclipse软件故障数据集的12次迭代和Java开发工具包(JDT)软件故障数据集的9次迭代上进行了验证。采用粒子群算法和引力搜索算法相结合的方法对模型进行参数估计。实验结果表明,在Eclipse数据集和JDT数据集上,该模型的拟合优度分别为83.33%和77.77%,优于Jelinski Moranda,Shick Wolverton,Goel Okummotto Imperfect debugging,GS Mahapatra和Modified Shick Wolverton.
2019-10-02 cs.SE
Reflections on Software Failure Analysis
失败研究对于揭示软件系统中缺陷的根本原因、行为和生存周期是非常重要的。这些研究要么侧重于理解特定类别系统中缺陷的特征,要么侧重于理解其所体现的系统中特定类型缺陷的特征。失败研究影响了软件工程的各个研究方向,特别是在软件演化、缺陷检测和程序修复等领域。在本文中,我们反映了在软件工程中进行失败研究。我们回顾了52篇失败研究论文的样本。我们在这些研究中发现了几个反复出现的问题,其中一些问题阻碍了工程界信任或复制结果的能力。基于我们的研究结果,我们建议未来的研究方向,包括识别和分析故障因果链,标准化的故障研究的行为,以及更快的缺陷分析工具的支持。
2022-09-22 cs.SE
The landscape of software failure cause models
软件工程领域对软件故障原因进行分类有着悠久的历史。理解它们对于故障注入、集中测试工作或可靠性预测至关重要。由于软件失效的方式复杂多样,在可信性研究文献中也出现了大量的软件失效原因模型。我们提出了一个元研究的结果,分类出版物包含一个软件故障原因模型的主题集群。我们的研究结果结构的研究领域,可以帮助确定差距。我们应用系统映射方法进行可重复的分析。我们确定了156篇论文,提出了软件故障原因模型。他们的研究证实了一个假设,即大量的出版物只讨论了源代码缺陷。故障激活状态条件和错误状态的模型很少。研究似乎主要是由更好的测试方法和基于代码的质量改进的需求驱动的。其他动机,如在线错误检测,不太经常给出。通常,IEEE定义或正交缺陷分类被用作基本术语。大多数用例来自Web、安全和安全关键型应用程序。
2016-03-14 cs.SE
Learning From Software Failures: A Case Study at a National Space Research Center
Purdue University(普渡大学);German Aerospace Center (DLR)(德国航空航天中心);Jet Propulsion Laboratory, California Institute of Technology(加州理工学院喷气推进实验室)
本研究通过案例分析揭示了软件工程师在实践中从故障中学习的非正式性和挑战,提出了改进故障管理的指导。
2026-02-25 cs.SE
The risk factors affecting to the software quality failures in Sri Lankan Software industry
由于技术故障、质量故障、缺乏最终客户验收等原因,以及缺乏适当的管理,软件项目的失败和取消率日益增加。软件项目失败的原因有很多。经验证据表明,测试资源不足是导致测试质量低下的主要因素之一。本研究的主要目的是研究影响软件质量的风险因素,以提供一些建议,以尽量减少质量差的风险。影响软件质量的主要因素有三个,即适当的测试、测试计划和QA团队,它们直接影响软件质量风险。为了进行这项研究,我采用了一个开放式的问卷调查收集定性数据的答复分析,他们使用主题的方法。有经验的参与者仅同意需求清晰度和明确定义的验收标准,而不同意充分的单元测试,最后,还同意不进行回归测试会导致质量故障。在数据分析方面,没有适当的正式测试计划,初始测试计划不现实,没有遵循质量风险管理,没有适当的过程和应急行动计划也会导致项目质量差的风险。据与会者补充说,以下因素也是软件质量不足的原因。经验丰富和技术熟练的员工离开公司,因为没有适当的QA流程,团队成员没有风险管理意识。
2017-06-04 cs.SE
Analysing software failure using runtime verification and LTL
本文提出一种基于运行时验证的方法,在组件层面诊断四类软件错误,并通过mRUBIS仿真验证其在自修复系统中检测故障的有效性。
2024-02-15 cs.SE
FAIL: Analyzing Software Failures from the News Using LLMs
提出 FAIL 系统,利用 LLM 自动收集、聚类并按分类体系分析新闻报道的软件故障,在大规模语料中识别 2457 起故障并揭示其复发与严重性趋势。
2024-09-18 cs.SE
Failures and Fixes: A Study of Software System Incident Response
本文介绍了与软件系统故障相关的研究结果,目的是了解我们如何更好地发展,维护和支持软件系统的生产。我们对30起事故进行了定性分析:其中15起是通过对工程师的深入访谈收集的,另外15起是从公开发布的事故报告(通常是作为事后审查的一部分产生的)中抽取的。我们的分析重点是了解和分类故障是如何发生的,以及如何检测、调查和缓解它们。我们还以11个关键观察的形式捕捉了与实践现状和相关挑战相关的分析见解。例如,我们观察到故障可能会通过系统级联导致重大中断;并且工程师通常不了解他们所支持的系统的扩展限制,直到这些限制被超过。我们认为,我们已经确定的挑战可以导致系统的设计和支持方式的改进。
2020-08-25 cs.SE
How Bad Can a Bug Get? An Empirical Analysis of Software Failures in the OpenStack Cloud Computing Platform
云管理系统提供用于以编程方式配置云基础设施的抽象和API。不幸的是,这些系统中残留的软件错误可能会导致严重的故障,例如长时间的停机和数据丢失。在本文中,我们调查的背景下,广泛的OpenStack云管理系统的故障的影响,通过执行故障注入和分析所产生的故障的影响方面的故障停止行为,故障检测通过日志记录,故障传播组件。分析指出,大多数故障没有及时检测和通知;此外,许多这些故障可以随着时间的推移并通过云管理系统的组件悄悄传播,这需要更彻底的运行时检查和故障遏制。
2019-07-09 cs.SE
A Software Reliability Model Based on a Geometric Sequence of Failure Rates
软件可靠性模型是软件质量管理和发布计划的重要工具。有大量不同的模式,往往在不同的领域表现出优势。本文提出了一种基于故障率几何序列(或级数)的模型。在西门子等公司的实践中观察到了故障过程的这种特性,并导致了所提出的模型的发展。它被详细描述并使用标准标准进行评估。最重要的是,该模型在几个项目中的预测有效性方面一直表现良好。
2016-12-12 cs.SE
PREVENT: An Unsupervised Approach to Predict Software Failures in Production
本研究提出无监督方法PREVENT,无需预定义规则或故障训练数据即可预测定位分布式企业应用故障,在商用云系统中表现优于或不亚于监督方法,更稳定可靠且实用性更强。
2024-09-17 cs.SE
Runtime reliability monitoring for complex fault-tolerance policies
复杂的网络物理系统的可靠性是保证所提供服务的可用性和/或安全性所必需的。采用多样和复杂的容错策略来提高可靠性,包括冗余和动态重新配置的各种组合来解决硬件可靠性,以及特定的软件可靠性技术,如多样性或软件恢复。这些复杂的策略要求对系统执行进行灵活的运行时健康检查,这超出了对预编程健康状况的常规运行时监控,也是为了最大限度地降低维护成本。定义一个合适的监控模型在复杂系统中的应用,这种方法仍然是一个挑战。在本文中,我们提出了一种新的方法,基于可靠性的监控(RBM),在复杂的系统中的可靠性的灵活的运行时监控,利用分层可靠性模型定期应用于运行时诊断数据:这允许动态计划旨在防止故障的维护活动。作为一个概念的证明,我们展示了如何将RBM应用到一个2oo3软件系统,实现不同的容错策略。
2022-08-25 cs.MA cs.SE
K-Detector: Identifying Duplicate Crash Failures in Large-Scale Software Delivery
在开发人员提交代码后,相应的测试用例会出现,以确保软件交付的质量。在此期间可能会发生测试失败,例如崩溃、错误和超时。由于开发人员需要时间来解决它们,因此在此期间会发生许多重复故障。在SAP HANA的交付实践中,紧急分流被认为是最耗时的任务。如果可以自动识别重复的碰撞故障,自动化程度将大大提高。为了找到这样的重复,我们提出了一个基于训练的数学模型,利用SAP HANA的组件信息,以实现更好的崩溃相似性比较。我们在一个名为基于知识的检测器(K-Detector)的工具中实现了我们的方法,该工具通过11,208个样本进行了验证,AUC为0.986。此外,我们已经将K-Detector部署到生产环境中,它可以节省97%的事故分类统计工作。
2022-06-01 cs.SE
Success and Failure in Software Engineering: a Followup Systematic Literature Review
本文针对软件工程中成功与失败现象进行后续深入系统文献综述,提出包含500+因素的扎根理论、14个人工验证因素集群及组织结构质量模型,为管理者提供风险预测与细粒度参数分析。
2020-06-22 cs.SE
The Unnecessity of Assuming Statistically Independent Tests in Bayesian Software Reliability Assessments
在评估基于软件的系统时,对运行测试数据进行贝叶斯统计推断的结果可以为软件可靠性声明提供强有力的支持。对于推理,通常假设这些数据(即软件成功和失败)出现在独立同分布(i.i.d.)方式在本文中,我们将展示如何保守的贝叶斯方法使这个假设不必要的,通过将一个人的怀疑的假设到评估。当操作测试显示没有故障时,我们推导出系统按需故障概率(pfd)的保守置信区间。的一般性和效用的置信区间的核电厂安全保护系统的评估中说明,根据不同程度的怀疑i.i.d.。假设分析表明,i.i.d.假设可以使贝叶斯可靠性评估非常乐观-这种评估没有明确说明软件如何在广泛的操作测试期间很可能不出现故障,尽管软件的PFD非常大。
2022-12-22 cs.SE
Failures to be celebrated: an analysis of major pivots of software startups
在软件初创公司的背景下,项目失败被积极接受,并被认为对于获得可导致支点的有效学习至关重要。支点是一个商业概念,产品或商业模式的不同元素的战略变化。为了使软件创业团队在混乱和不可预测的环境中做出更好的决策,需要更好地了解不同类型的支点以及导致失败和触发支点的不同因素。由于该主题的新生性质,现有的研究和知识的支点的软件创业公司是非常有限的。在这项研究中,我们的目的是确定软件初创公司在启动过程中所做的主要类型的枢轴,并强调失败的软件项目和触发枢轴的因素。为了实现这一点,我们进行了一个案例调查研究的基础上发生在49个软件创业公司的主要支点的二手数据。确定了10种枢轴类型和14种触发因素。研究结果显示,顾客需求枢轴是所有枢轴类型中最常见的。与客户细分枢纽一起,它们是常见的市场相关枢纽。与产品相关的主要枢轴是放大和技术枢轴。确定了几种新的枢轴类型,包括市场放大、完整和副项目枢轴。我们的研究还表明,负面的客户反应和有缺陷的商业模式是触发软件初创公司支点的最常见因素。本研究拓展了软件启动枢纽类型和枢纽触发因素的研究知识。同时,它为软件创业公司提供了实用知识,他们可以利用这些知识来指导他们有效地进行枢转决策
2017-10-11 cs.SE
RepoMiner: a Language-agnostic Python Framework to Mine Software Repositories for Defect Prediction
来自开源软件项目的数据为提高软件质量提供了宝贵的信息。在软件缺陷预测的范围内,最具挑战性的部分之一是从这些存储库中提取有关易失败软件组件的有效数据,这可以帮助开发更健壮的软件。特别是,从这些存储库中收集数据、计算度量和合成结果是一项乏味且容易出错的任务,这通常需要理解所挖掘的存储库中涉及的程序设计语言,最终导致特定于语言的数据挖掘软件的激增。本文介绍了RepoMiner,语言无关的工具,开发支持软件工程研究人员在创建数据集,以支持任何研究缺陷预测。RepoMiner自动从软件组件中收集故障数据,将其标记为易故障或中性,并计算用作缺陷预测模型基础事实的指标。我们提出了它的实现,并提供了它的应用程序的例子。
2021-11-23 cs.SE
Initial and Eventual Software Quality Relating to Continuous Integration in GitHub
对新功能和错误修复的持续需求迫使软件项目缩短周期并更快地交付更新,同时保持软件质量。廉价的虚拟化云计算的可用性通过支持按需持续集成(CI)帮助缩短了时间表。像GitHub这样的平台支持云中的CI。在使用CI的项目中,用户提交拉取请求会触发CI步骤。除了加速构建和测试之外,这还意外地创建了大量构建和测试成功和失败的档案。CI是一个相对较新的现象,这些档案允许对CI进行详细的研究。暴露出多少问题?它们发生在哪里?哪些因素会影响CI失败?CI确定的“初始质量”是否能预测代码中以后会出现多少bug(“最终质量”)?在本文中,我们对这些记录进行了大规模的精细分辨率研究,以更好地了解CI过程,CI失败的性质和预测因素,以及CI失败与代码最终质量的关系。我们发现:a)CI失败似乎集中在几个文件中,就像正常的bug一样; b)CI失败与最终失败的相关性不是很高; c)在pull请求中使用CI并不一定意味着该请求中的代码质量良好。
2016-06-02 cs.SE
Exhaustive Exploration of the Failure-oblivious Computing Search Space
软件系统的高可用性要求在出现错误时自动处理崩溃。故障无关计算是一种旨在实现高可用性的技术。我们注意到,失败遗忘还没有被深入研究,也很少有研究有助于理解为什么失败遗忘技术有效。为了使失效不经意计算在实践中产生影响,我们需要深入了解软件中的失效不经意行为。在本文中,我们研究,设计和执行一个实验,分析的大小和多样性的失败遗忘行为。我们的实验包括穷举计算的搜索空间的16个领域失败的大型开源Java软件。这个实验的结果是更好地理解当使用故障无关计算时会发生什么,这开辟了新的有前途的研究方向。
2018-03-23 cs.SE
Reflecting on Recurring Failures in IoT Development
随着物联网系统被赋予更多的责任和自主权,它们提供了更大的好处,但也带来了更大的风险。我们相信这种趋势会重新提出软件工程的一个老挑战:如何在市场压力下安全可靠地开发高风险的软件密集型系统?作为第一步,我们对最近的物联网故障进行了系统分析,以确定工程挑战。我们收集并分析了22篇新闻报道,研究了物联网系统故障的来源、影响和修复策略。我们观察了应用程序域内部和跨应用程序域的故障趋势。我们还观察到,失败主题随着时间的推移而持续存在。为了缓解这些趋势,我们概述了针对物联网开发的故障感知软件开发生存周期的研究议程。我们提出了一个百科全书的故障和经验的基础上,系统事后分析,辅以适当的自动化工具。
2022-09-19 cs.SE
Failure Mechanism Traceability and Application in Human System Interface of Nuclear Power Plants using RESHA
近年来,已经做出了相当大的努力,用数字仪器和控制系统使现有的和新的核电站现代化。然而,行业和监管机构对这些系统的风险和后果分析也相当关注。值得关注的是数字共因故障,特别是由于软件缺陷。软件的这些故障可能发生在系统的控制和监视中。虽然已经提出了许多方法来识别软件故障模式,如系统理论过程分析,数字系统的危害和后果分析等,这些方法主要集中在系统的控制动作路径上。相比之下,信息反馈路径缺乏不安全控制动作,这些动作通常与软件基本事件相关;因此,此类系统中软件基本事件的评估不清楚。在这项工作中,我们提出的想法,中间处理器和不安全的信息流(UIF),以帮助安全分析师跟踪故障机制的反馈途径,以及如何将它们集成到一个故障树,以提高评估能力。提出的概念证明了两个全面的案例研究,一个智能传感器集成平台的无人驾驶自动驾驶汽车和另一个代表性的先进的人类系统接口的安全关键工厂监控。定性的软件基本事件的识别,并进行故障树分析的基础上,一个改进的Redundancy引导系统理论的危险分析方法。案例研究表明,使用UIF和中间处理器的故障树,以提高高度复杂的数字仪表反馈的软件故障的可追溯性。改进后的方法阐明了当系统中存在多个部件依赖时故障树的构造。
2022-05-24 cs.SE
PExReport: Automatic Creation of Pruned Executable Cross-Project Failure Reports
本文提出PExReport,自动生成精简可执行的跨项目失败报告,利用构建工具精简代码与依赖,在74个项目198个失败中成功创建184个报告,平均减少72.97%的类。
2023-05-11 cs.SE
Reliability Testing Strategy - Reliability in Software Engineering
本文介绍了软件工程中可靠性的核心原则-概述了为什么可靠性测试是至关重要的,并指定了测量可靠性的过程。本文为软件工程领域的新手和专家提供了评估软件系统失效强度和预测软件系统失效的见解。测量是通过利用来自操作配置文件的信息来进行的,以进一步增强测试计划和测试用例,所有这些本文都演示了如何实现。
2016-05-03 cs.SE
Exploring the extent of similarities in software failures across industries using LLMs
University of New Mexico(新墨西哥大学)
本文利用大语言模型对软件故障新闻文章进行行业和故障类型分类,并可视化分析跨行业故障相似性,为识别常见漏洞和预防风险提供资源。
2024-08-08 cs.AI cs.SE
Software is infrastructure: failures, successes, costs, and the case for formal verification
Université Paris Cité(巴黎西岱大学);University of Malta(马耳他大学);University of Southern Denmark(南丹麦大学);King’s College London(伦敦国王学院)
本文探讨了软件在现代社会中的重要性及质量缺陷带来的成本,主张通过形式验证和程序分析来提升软件可靠性。
2026-01-29 cs.CY cs.SE
Detection Software Content Failures Using Dynamic Execution Information
现代软件系统变得过于复杂,无法进行测试和验证。在运行时检测复杂系统中的软件部分故障有助于处理软件非预期行为,避免灾难性软件故障并提高软件运行时可用性。这些检测技术的目的是发现故障的表现形式之前,他们最终导致不可避免的故障,从而支持以下运行时容错技术。本文通过对国内外相关文献的回顾,发现内容故障在各类软件故障中占绝大多数,但对其检测方法的研究却很少。在这项工作中,我们提出了一种新的故障检测指标的基础上,软件运行时的动态执行信息的软件内容故障。在软件执行期间记录运行时信息,然后将其转换为称为运行时熵的度量,并最终馈送到机器学习模型中。建立机器学习模型是为了对目标软件系统的预期和非预期行为进行分类。在多个开源项目上进行了一系列的控制实验,证明了该方法的可行性。我们还评估了在这项工作中构建的机器学习模型的准确性。
2021-10-13 cs.SE cs.SY eess.SY
Improving the Testability of Object-oriented Software during Testing and Debugging Processes
可测试性是在程序中存在错误的情况下,测试是否会检测到错误的概率。如何有效地发现故障取决于软件的可测试性。许多研究人员提出了定性和定量的技术来提高和衡量软件的可测试性。在文献中,大量的可靠性增长模型已被用于评估和衡量软件在测试和运行阶段的定量质量评估。了解软件故障分布及其复杂性可以提高软件的可测试性。通过了解故障分布和故障复杂度,可以使测试工作量的分配变得容易,这将简化从软件中发现故障的过程。因此,软件的可测试性将得到改善。文中给出了该模型的参数以及不同复杂度的故障在软件中所占的比例,并利用在开源环境下开发的两个面向对象软件MySQL for python和Squirrel SQL Client的故障数据进行了估计
2013-08-15 cs.SE
Incorporating Failure Knowledge into Design Decisions for IoT Systems: A Controlled Experiment on Novices
物联网(IoT)系统允许软件直接与物理世界交互。最近的物联网故障可以归因于反复出现的软件设计缺陷,这表明物联网软件工程师可能没有从过去的失败中吸取教训。我们研究了使用失败案例来改进物联网系统设计。我们进行了一项实验,以评估失败相关的学习治疗设计决策的影响。我们的实验采用了新手(计算机工程专业的学生)完成设计问卷的主题之间的比较。有三种治疗方法:对照组(N=7);考虑一组设计指南(N=8);考虑失败故事(建议治疗,N=6)。我们衡量了他们的设计决策和设计原理。所有受试者都做出了类似的决定。他们的理由因治疗而异:接受指南和失败故事治疗的受试者更多地使用关键性作为理由,而接受失败故事治疗的受试者更频繁地使用安全性作为理由。基于这些发现,我们提出了几个研究方向,以实现故障感知物联网工程过程。
2023-03-20 cs.SE
Application of Orthogonal Defect Classification for Software Reliability Analysis
采用数字仪表和控制系统(DI&C)对现有和新建核电厂进行现代化改造是一个最近的热门话题。然而,美国(U.S.)核管理委员会(NRC)和工业界。在这项工作中,我们开发了一种方法,称为软件可靠性评估(ORCAS)的软件缺陷分类,以量化的DI&C系统中的各种软件故障模式的概率。该方法采用公认的行业质量保证方法,并通过实验证据进行验证。本质上,该方法结合了语义故障分类模型和可靠性增长模型来预测软件系统故障模式的概率。案例研究是在一个代表性的I&C平台(Chibios)上进行的,该平台运行由弗吉尼亚联邦大学(VCU)开发的智能传感器采集软件。应用了ORCAS中的测试和证据收集指南,发现了软件中的缺陷。定性证据,如修改的条件决策覆盖率,被用来衡量的完整性和可信度的评估,而定量证据被用来确定软件故障概率。然后估计软件的可靠性,并将其与传感器设备的现有操作数据进行比较。它表明,通过使用ORCAS,可以开发一个语义推理框架,以证明如果软件是可靠的(或不可靠的),同时仍然利用现有方法的强度。
2022-05-24 cs.SE
Using rule engine in self-healing systems and MAPE model
针对软件故障带来的风险与维护成本问题,提出一种基于规则引擎的故障修复方法,并在mRUBIS仿真中验证其有效性,从而提升软件系统的可靠性、安全性与适应性。
2024-02-18 cs.SE
Exploratory Test Agents for Stateful Software Systems
对有状态软件系统进行充分的测试是一项困难而昂贵的工作。由复杂的有状态交互导致的故障可能具有很高的影响,并且很难复制由错误的有状态交互导致的故障。以自动化的方式解决这个问题将节省成本和时间,并提高行业中软件系统的质量。在本文中,我们提出了一种方法,使用代理来探索软件系统的意图,找到故障和获得知识。
2020-04-17 cs.SE
Demonstrating Software Reliability using Possibly Correlated Tests: Insights from a Conservative Bayesian Approach
本文提出保守贝叶斯方法,在软件执行可能相关时评估可靠性,揭示独立性假设的影响,并指出运行测试的徒劳性与故障敏感性,应用于核电站和自动驾驶安全。
2023-10-11 cs.SE
AI Failures in the Eyes of the Downstream Developer: A First Look at Concerns, Practices, and Challenges
The University of Melbourne(墨尔本大学);Socket Inc.(Socket公司);Purdue University(普渡大学);Singapore Management University(新加坡管理大学)
研究探讨下游开发者在使用预训练模型时对AI失败的担忧、实践及挑战,通过混合方法研究揭示实际应用中的问题与应对策略。
2026-04-30 cs.SE
Bug propagation and debugging in asymmetric software structures
软件依赖网络被证明是无标度和不对称的。然后,我们研究如何软件组件的失败,其中之一的影响,以及定位故障组件的逆问题。对于一个随机的单个组件的故障,所有级别的软件都是脆弱的。如果故障只影响其最近的邻居,则定位故障组件很容易,而如果故障进一步传播,则很难。
2003-11-24 cond-mat.dis-nn cond-mat.stat-mech cs.SE
Enhancing Resilience and Scalability in Travel Booking Systems: A Microservices Approach to Fault Tolerance, Load Balancing, and Service Discovery
Jahangirnagar University(贾汗吉尔纳加尔大学)
本文提出基于断路器、轮询负载均衡、健康检查与实时监控的微服务航空订票架构,显著提升容错、可用性、可扩展性和并发承载能力。
2024-10-25 cs.AI cs.CE cs.LG
Greedy Scheduling: A Neural Network Method to Reduce Task Failure in Software Crowdsourcing
内容:高度动态和竞争的众包软件开发(CSD)市场可能会由于不可预见的原因而遇到任务失败,例如共享供应商资源的竞争加剧,或与动态工人供应相关的不确定性。现有分析显示,软件众包市场的平均任务失败率为15.7%。目标:本研究的目的是提供一个软件众包平台的任务调度推荐模型,以提高软件众包的成功率和效率。方法:提出了一种基于神经网络的任务调度方法,并开发了一个可以预测和分析任务到达时失败概率的系统。更具体地说,该模型使用了一系列的输入变量,包括在平台上的开放任务的数量,到达任务和开放任务之间的平均任务相似度,获胜者的奖金,和任务持续时间,来预测在计划的到达日期和两个剩余的日子任务失败的概率。此预测将提供与最低任务失败概率相关联的推荐日期以发布任务。该模型基于Topcoder的工作流程和数据,Topcoder是主要的软件众包平台之一。结果如下:我们提出了一个模型,建议最好的建议到达日期为项目中的任何任务,每个任务在项目中的两天盈余。该模型平均每个项目的故障率降低了4%。
2021-02-19 cs.DC cs.HC cs.SE
"So Am I Dr. Frankenstein? Or Were You a Monster the Whole Time?": Mitigating Software Project Failure With Loss-Aversion-Aware Development Methodologies
Engprax Ltd(Engprax有限公司)
研究通过对600名英美软件工程师项目成功经验的大规模研究,发现开发前明确需求、让工程师自由讨论解决问题与项目成功相关,支持开发更关注人为因素防失败的软件开发方法。
2026-07-07 cs.HC cs.SE
An Application of a Modified Beta Factor Method for the Analysis of Software Common Cause Failures
本文提出了一种对数字仪器和控制(I&C)系统中的软件共因故障(CCF)进行建模的方法。CCF由两个或多个组件之间的并发故障组成,这是由于共享的故障原因和耦合机制。这项工作强调了识别以软件为中心的属性的重要性,这些属性与冗余软件组件同时发生故障所需的耦合机制有关。共享耦合机制的组件组称为共同原因组件组(CCCG)。大多数国家合作框架模型依赖于业务数据,以此作为确定气候变化协调小组参数和预测国家合作框架的基础。这项工作的动机是由两个主要问题:(1)缺乏估计软件CCF模型参数的操作和CCF数据;(2)需要同时模拟单个组件作为多个CCCG的一部分。开发了一种混合方法,通过利用现有技术来解决这些问题:修改后的β因子模型允许将单个组件放置在多个CCCG中,而第二种技术为每个CCCG提供特定于软件的模型参数。这种混合方法提供了一种手段,以克服传统方法的局限性,同时提供支持的设计决策下的有限数据的情况下。
2022-06-22 cs.SE cs.SY eess.SY
FailureMem: A Failure-Aware Multimodal Framework for Autonomous Software Repair
Nanjing University(南京大学);SenseTime(秒速);The Chinese University of Hong Kong(香港中文大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出FailureMem框架,通过融合工作流代理、主动感知工具和故障记忆库,提升多模态自动程序修复的效率与准确性,实验表明其在GUI修复任务中解决率提升3.7%。
2026-03-18 cs.AI cs.SE
Runtime Failure Hunting for Physics Engine Based Software Systems: How Far Can We Go?
The Chinese University of Hong Kong, China(香港中文大学);State Key Laboratory of Blockchain and Data Security, Zhejiang University(浙江大学区块链与数据安全国家重点实验室)
本文针对基于物理引擎的软件存在的语义复杂物理故障检测不足的问题,开展首项大规模实证研究,提出故障分类体系,评估多种检测方法并提炼改进洞见,同时发布相关数据集与材料。
2025-07-29 cs.AI cs.CV cs.MM
An Empirical Study on Using Large Language Models to Analyze Software Supply Chain Security Failures
Purdue University(普渡大学)
本文实证评估了 GPT 3.5 和 Bard 在复现 CNCF 对 69 起软件供应链安全故障人工分析中的表现,发现 LLMs 在来源充分时能有效分类但尚不能替代人类分析人员。
2023-08-09 cs.CR cs.LG cs.SE
Enhancing the Analysis of Software Failures in Cloud Computing Systems with Deep Learning
Università degli Studi di Napoli Federico II(那不勒斯费德里科二世大学)
识别云计算系统的故障模式是一项困难且耗时的任务,这是由于此类系统的日益复杂性以及故障数据的大量和噪声。本文提出了一种新的方法来分析云系统的故障数据,以减轻人类分析师手动微调数据的功能工程。该方法利用了深度嵌入聚类(DEC),这是一系列基于深度学习的无监督聚类算法,它使用自动编码器来优化数据维度和聚类间方差。我们在OpenStack云计算平台的上下文中应用了该方法,既针对原始故障数据,又结合异常检测预处理算法。结果表明,所提出的方法的性能,在纯度的集群,是可比的,或在某些情况下,甚至比手动微调聚类,从而避免了需要深入的领域知识,并减少了工作来执行分析。在所有情况下,当没有对数据应用特征工程时,所提出的方法比无监督聚类提供了更好的性能。此外,从所提出的方法的故障模式的分布更接近的故障模式的实际频率。
2021-06-29 cs.AI cs.SE
Debugging the Debuggers: Failure-Anchored Structured Recovery for Software Engineering Agents
Nankai University(南开大学);Tsinghua University(清华大学);Microsoft(微软)
提出PROBE框架,通过遥测层、诊断层和指导门将运行时证据转化为结构化恢复指导,在代码修复、工作流恢复等场景中诊断准确率65.37%,恢复率21.79%。
2026-06-05 cs.AI cs.SE
Learning Failure-Inducing Models for Testing Software-Defined Networks
University of Luxembourg(卢森堡大学);Lero centre, University of Limerick(利默里克大学莱罗中心);University of Ottawa(渥太华大学)
本文提出机器学习引导的模糊测试方法FuzzSDN,同时生成诱发SDN故障的测试数据并学习故障条件模型,实验表明其故障发现能力和模型精确率、召回率均显著优于现有方法。
2024-01-08 cs.CR cs.LG cs.NI
CrowdSim: A Hybrid Simulation Model for Failure Prediction in Crowdsourced Software Development
一个典型的众包软件开发(CSD)市场由一系列作为服务需求的软件任务和一群作为服务供应商的自由职业者开发人员组成。高度动态和竞争的CSD市场可能会由于不可预见的风险而导致任务失败,例如对共享工人供应的竞争加剧,或与工人经验和技能相关的不确定性等。为了提高CSD的有效性,必须更好地了解和规划与CSD过程相关的动态工人特征和风险。在本文中,我们提出了一个混合仿真模型,CrowdSim,预测众包任务失败的风险,在竞争激烈的CSD平台。CrowdSim由三个层次组成:宏观层次基于系统动力学反映整个众包平台,中观层次基于离散事件仿真表示任务生存周期,微观层次基于Agent仿真模拟众包工作者的决策过程。CrowdSim的评估通过三个CSD的决策方案,以证明其有效性,使用真实世界的历史数据集和结果表明CrowdSim的潜力,使众包管理人员探索众包结果相对于不同的任务调度选项。
2021-03-17 cs.HC cs.MA cs.SE
An Evolutionary Algorithm for Task Scheduling in Crowdsourced Software Development
Stevens Institute of Technology(史蒂文斯理工学院);New York University(纽约大学);University of Calgary(卡尔加里大学)
软件任务的复杂性和众包开发者行为的不确定性使得规划众包软件开发(CSD)项目具有挑战性。在竞争激烈的众包市场中,多个同时开放的任务对共享工作人员资源的竞争为软件众包的潜在结果增加了另一层不确定性。这些因素导致需要支持CSD管理人员进行自动调度,以提高众包流程和成果的可见性和可预测性。为此,本文提出了一种基于进化算法的众包软件开发任务调度方法。提出的进化调度方法使用多目标遗传算法推荐一个最佳的任务开始日期。该方法使用三个适应度函数,分别基于项目持续时间,任务相似性和任务失败预测。任务失败适应度函数使用神经网络来预测关于特定任务开始日期的任务失败的概率。该方法建议的最佳任务开始日期为项目作为一个整体和每个单独的任务,以实现最低的项目失败率。4个项目的实验结果表明,所提出的方法有可能减少项目工期的一个因素的33- 78%。
2021-07-05 cs.AI cs.NE cs.SE