Building Confidence in Scientific Computing Software Via Assurance Cases
保证案例为正确性提供了一个有组织的、明确的论证。它们可以显著提高科学计算软件（SCS）的认证。保证案例已经被有效地用于实时的系统的安全案例。SCS的优势包括吸引领域专家，仅生成必要的文档，并提供可以验证/复制的证据。本文通过3dfim+（一种用于分析大脑活动的现有医学成像应用程序（MIA））的正确性案例说明了SCS的保证案例。选择这个例子的部分原因是最近对功能性磁共振成像（fMRI）研究有效性的担忧。该示例证明了SCS保证案例的价值，因为现有文档显示存在模糊性和遗漏，例如定义不完整的排名功能和缺少坐标系的详细信息。确定了3dfim+的一个严重问题：运行该软件不会产生任何警告，说明必须使用与相关性计算所用参数统计模型相匹配的数据。一般而言，提高SCS的标准，特别是MIA，既可行又必要-当软件影响安全性时，应采用保证案例方法（或同等严格的置信度建立方法）。
2019-12-31 cs.SE
Service Dependability with Continuously Revised Assurance Cases by Multiple Stakeholders: A Case Study
近年来，在基于软件的计算机系统和IT服务领域，保证案例受到了广泛的关注。然而，软件经常变化，没有强有力的软件法规。这些事实是软件保证案例中需要解决的两个主要挑战。我们提出了一种保证案例的开发方法，通过在系统生命周期的每个阶段，包括在运行和故障情况下的服务恢复的持续修订。可靠性论证的质量通过多个利益相关者相互检查来提高。本文报告了我们的经验，提出的方法在ASPEN教育服务的情况下。案例研究表明，持续更新在利益相关者之间创建了大量的主动风险沟通。这给了我们一个充满希望的前景，长期改善服务的可靠性与生命周期保证的情况。
2015-07-31 cs.SE
Embedding Quality Assurance in project-based learning
本文总结了在敏捷/Scrum环境下将质量保证嵌入基于项目教学的经验与建议。
2025-12-29 cs.SE
Quality Assurance Practices in Agile Methodology
本研究旨在调查敏捷软件开发中的质量保证实践，分析常见问题与关键驱动因素，并提出通过分析质量参数来改进SQA实践的建议。
2024-11-07 cs.SE
Using Assurance Cases to Guide Verification and Validation of Research Software
本文通过主动脉分割软件案例，展示保证案例如何指导研究软件的验证与确认，强调证据收集及软件与用户责任区分的重要性。
2024-11-05 cs.SE
Using Models at Runtime to Address Assurance for Self-Adaptive Systems
自适应软件系统在运行时修改其行为以响应系统内或其执行环境中的变化。即使存在不利条件和适应性，也需要保证满足系统要求。因此，自适应软件系统的一个关键挑战是保证。传统上，对系统正确性的信心是通过在开发时执行的各种活动和过程获得的，例如设计分析和测试。然而，在存在自适应的情况下，一些保证任务可能需要在运行时执行。这种需求要求开发能够在整个软件生存周期中实现连续保证的技术。运行时保证技术发展的基础是研究模型在运行时的使用（M@RT）。本章探讨了使用M @RT来解决自适应软件系统保证的最新技术水平。它定义了M@RT可以捕获哪些信息，特别是为了保证的目的，并将此定义置于现有工作的上下文中。然后，我们概述了关键的研究挑战，保证在运行时和特征保证方法。本章最后探讨了选定的应用领域，在这些领域中，M@RT可以为自适应系统提供超越现有保证技术的显著好处。
2015-05-05 cs.SE
How Do Practitioners Perceive Assurance Cases in Safety-Critical Software Systems?
安全关键型软件系统是指其故障或失灵可能导致人员伤亡和/或严重财务损失的系统。在这样的系统中，安全保证案例（SAC）是一种新兴的方法，采用积极主动的策略来产生结构化的安全理由和论据。虽然在许多软件密集型安全关键域中建议使用SAC，但缺乏关于从业人员使用SAC的观点的知识阻碍了这种方法的有效采用。为了获得这些知识，我们采访了九位专注于安全关键软件系统的从业者和安全专家。总的来说，我们的参与者发现SAC方法有利于在多学科环境中沟通安全论点和管理安全问题。他们在使用SAC时面临的挑战主要与以下方面有关：（1）缺乏工具支持，（2）流程集成不足，以及（3）缺乏有经验的人员。为了克服这些挑战，我们的参与者提出了专注于创造直接安全论点的策略。还需要对流程和组织进行调整，以简化SAC的分析和创建。最后，我们的参与者强调了在软件密集型安全关键领域共享有关SAC的知识的重要性。
2018-03-21 cs.SE
What Makes a Great Software Quality Assurance Engineer?
针对SQA工程师优秀特质研究不足的问题，本文通过25次访谈和363份问卷归纳五类25项属性，并确认好奇心、有效沟通与批判性思维是关键区分特征。
2024-01-24 cs.SE
Quality Assurance Challenges for Machine Learning Software Applications During Software Development Life Cycle Phases
University of Calgary（卡尔加里大学）
在过去的几十年里，机器学习（ML）的革命性进展表明，ML模型已被快速采用到各种类型的软件系统中。这种机器学习软件应用程序（MLSA）在我们的日常生活中越来越重要。因此，MLSA的质量保证（QA）至关重要。一些研究工作致力于确定我们在将ML模型引入软件系统时可能面临的具体挑战。然而，我们知道没有研究提供了这些ML质量保证挑战在软件开发生存周期（SDLC）的各个阶段的分布的整体视图。本文对大量专注于ML模型质量保证的研究论文进行了深入的文献综述。我们通过映射SDLC不同阶段的各种ML采用挑战，开发了MLSA质量保证问题的分类。我们提供建议和研究机会，以改进基于分类法的SDLC实践。这种映射可以帮助优先考虑MLSA的质量保证工作，其中ML模型的采用可以被认为是至关重要的。
2021-07-08 cs.AI cs.SE
Correctness, confidence, and context: Framing software assurance in the AI age
Carnegie Mellon University（卡内基梅隆大学）
探讨软件工程中正确性相关挑战，指出传统方法与生成式人工智能在软件保障上的差异，呼吁系统思考保障技术，做出明智选择。
2026-07-17 cs.SE
Leveraging LLMs for the Quality Assurance of Software Requirements
本文评估了大型语言模型（LLM）根据 ISO 29148 标准评估软件需求质量、解释决策并提出改进版本的能力，通过与软件工程师的研究验证了该方法，强调了 LLMs 在提升软件需求质量方面的潜力。
2024-08-20 cs.SE
Quantitative Toolchain Assurance
本文提出过程约简技术，构建定量工具链保证案例，以约简强度衡量工具链强度，弥补SBOM和SLSA在过程质量定量评估上的不足。
2023-08-30 cs.SE
Assurance Case Development for Evolving Software Product Lines: A Formal Approach
本文提出一种形式化方法，用于演化软件产品线的提升保证案例开发与回归分析，支持感知变异性的AC语言、基于模板的开发提升及SPL演化影响分析，并提供了基于模型的工具与医疗设备应用实例。
2025-11-04 cs.SE
Assurances in Software Testing: A Roadmap
作为研究人员，我们已经知道如何使测试更有效和更高效地发现bug。然而，由于模糊（即，自动化测试）在实践中越来越广泛地被采用，从业者们会问：模糊测试活动提供了什么保证不会暴露错误？在合理的剩余风险下，何时停止模糊器是安全的？模糊器应该运行多久才能达到足够的覆盖范围？现在是我们超越日益复杂的测试技术的创新，围绕测试过程的解释和量化建立一个知识体系，并制定合理的方法，以可衡量的准确性估计和推断这些数量的时候了。在我们对未来的展望中，从业者利用丰富的统计工具集来评估剩余风险，获得统计保证，并分析正在进行的模糊活动的成本效益权衡。我们提出了一个总体框架作为第一个出发点，以应对这一根本挑战，并讨论了大量的具体机会，为未来的研究。
2018-12-17 cs.SE
Introducing High School Students to Version Control, Continuous Integration, and Quality Assurance
针对软件工程教学起步晚的问题，本文记录了面向有AP计算机科学基础的高中生设计小组项目，教授版本控制、持续集成等技能，使其能为开源科学计算项目编写有效自动化测试的实践经验。
2023-10-05 cs.SE
Quality Assurance of Bioinformatics Software: A Case Study of Testing a Biomedical Text Processing Tool Using Metamorphic Testing
生物信息学软件在许多领域（包括医学和卫生保健）的关键决策中发挥着非常重要的作用。然而，大多数研究都是针对开发工具，很少有时间和精力花在测试软件，以确保其质量。在测试中，测试预言用于确定测试在测试过程中是通过还是失败，不幸的是，对于大多数生物信息学软件来说，确切的预期结果并没有很好地定义。因此，与对生物信息学软件进行系统测试相关的主要挑战是Oracle问题。变形测试（MT）是一种用于测试面临预言机问题的程序的技术。MT使用变形关系（MR）来确定测试是通过还是失败，并根据对输入的特定更改指定输出应如何更改。在这项工作中，我们使用MT来测试LingPipe，这是一种使用计算语言学处理文本的工具，通常用于生物信息学中从生物医学文献中识别生物实体。首先，我们确定一组MR用于测试任何生物实体识别程序。然后，我们开发了一组测试用例，可用于测试LingPipe的生物实体识别功能，使用这些MR。为了评估这个测试过程的有效性，我们自动生成一组LingPipe的错误版本。根据我们对实验结果的分析，我们观察到我们的MR可以检测到这些错误版本中的大多数，这表明了这种测试技术在生物信息学软件质量保证中的实用性。
2018-02-20 cs.SE
Towards Assurance Closure in AI-Native Large-Scale Agile Software Development
Ericsson（爱立信）；Blekinge Institute of Technology（布莱金厄理工学院）
针对AI原生大规模敏捷软件开发中保证推理机器可操作的缺口，提出基于共享语义保证层的高层架构及六项对应能力，以实现保证闭合。
2026-08-10 cs.AI cs.SE
A measurement based software quality framework
在这份报告中，我们提出了一个解决问题的依赖于软件项目质量保证人员的经验，提供一个透明的，客观的和基于测量的质量框架。该框架通过定义和评估可测量的质量目标和阈值，直接将这些与升级机制联系起来，帮助质量保证专家在软件项目中做出客观和可比的决策。在现实生活中的案例研究中应用建议的基于测量的软件质量框架的第一个结果也在本报告中得到了解决。
2014-08-17 cs.SE
Integrating a Model of Analytical Quality Assurance into the V-Modell XT
质量保证的经济模型是软件开发项目决策者的重要工具。它们使质量保证计划能够基于产品的经济因素和所使用的缺陷检测技术。已经提出了各种各样的这样的模型，但许多都太抽象，无法在实践中使用。此外，即使是更具体的模型也缺乏与现有软件开发过程模型的集成，以增加其适用性。本文描述了分析质量保证经济学的彻底随机模型与系统开发过程模型V-Modell XT的集成。通过提供一个新的过程模块--一个直接在V-Modell XT中用于扩展目的的概念--以模块化的方式进行集成，该模块与分析质量保证相关。特别是，我们描述的工作产品，角色和活动中定义的新的过程模块和现有的V-Modell XT元素的影响。
2016-11-04 cs.SE
DesCert: Design for Certification
DARPA软件自动快速认证（ARCOS）计划的目标是“自动评估软件保证证据，使认证机构能够快速确定系统风险是可接受的。“作为该计划的一部分，DesCert项目侧重于保证驱动的新软件开发。DesCert团队由SRI International、Honeywell Research和华盛顿大学组成。我们已经采用了一种正式的，基于工具的方法来构建软件工件，这些工件得到了严格的证据支持。DesCert工作流将证据生成集成到设计过程中，该过程从需求捕获和分析到将高级软件需求分解为具有断言合同的架构属性和软件组件，以及可以动态和静态分析的软件。所生成的证据是通过一个保证本体和集成到RACK知识库。
2022-03-29 cs.SE
PLACIDUS: Engineering Product Lines of Rigorous Assurance Cases
针对软件产品线中单独构建保证用例不可行的问题，提出整合形式化方法的PLACIDUS方法，定义感知可变性的AC语言并基于Lean形式化语义，配套Eclipse工具，经医疗设备产品线验证可行。
2024-07-14 cs.SE
Challenges for Verifying and Validating Scientific Software in Computational Materials Science
许多科学领域依赖于软件系统来回答不同的研究问题。为了获得有效的结果，研究人员需要相信科学软件产生的结果，因此质量保证至关重要。在本文中，我们正在调查的影响，质量保证领域的计算材料科学（CMS）。根据我们在这一领域的经验，我们制定了科学软件及其结果的验证和验证的挑战。此外，我们描述了未来研究的方向，可能有助于应对这些挑战。
2019-06-21 cs.SE
Quality Assurance And Integration Testing Aspects In Web Based Applications
集成测试是软件测试生存周期的重要阶段之一。随着互联网和Web服务的快速发展，基于Web的应用也在迅速增长，其重要性和复杂性也在不断增加。分布式组件、应用程序的异构性和多样性，以及它们对多平台的支持和协作性，使得这些应用程序变得更加复杂，规模也在迅速增长。这些应用程序的质量保证变得越来越重要。测试是实现和确保这些软件或基于Web的产品质量的关键过程之一。在基于Web的应用程序中涉及到许多测试挑战。但最重要的是，集成是与基于Web的应用程序相关的最关键的测试。在集成测试工作中涉及到许多具有挑战性的因素。这些因素对基于Web的应用程序的整体质量有近70%到80%的影响。在软件行业中，不同类型的测试方法被从业者用来解决与集成相关的问题，这些问题是由于基于Web的应用程序的复杂性不断增加。
2012-07-13 cs.SE
A Taxonomy of Real-World Defeaters in Safety Assurance Cases
本文针对安全保证案例中缺乏结构化击败者分析的问题，通过对过去20年文献的系统研究，使用开放编码推导出包含七个类别的现实世界击败者分类法，为安全攸关系统的击败者分析与管理标准化奠定基础并提供开源工件。
2025-02-01 cs.SE
A Case-Based Look at Integrating Social Context into Software Quality
确保高质量的软件需要考虑部署和使用应用程序的社会环境。这可以通过设计与不断变化的社会和伦理环境相一致的质量目标来实现。使用技术决定论的原则，本文提出了三个案例，说明为什么它是越来越重要的集成到软件设计和质量保证这些问题。考虑到这些例子，本文解释了如何在软件设计和质量保证实践中考虑技术决定论，以在实践层面上实现这种增强的敏感性。
2015-12-09 cs.SE
Model-Driven Development of High-Assurance Active Medical Devices
先进的医疗设备利用嵌入式软件的优势，由于这种系统的关键性质，嵌入式软件的开发受到标准化和认证制度的严格要求的约束。本文介绍了一个正在进行的项目的初步结果和经验教训，重点是开发一个软件控制的安全关键型有源医疗器械（AMD）的子系统的正式模型，负责肾脏替代治疗。标准和法规强烈推荐使用形式化方法开发AMD，并推动了本文应用的Event-B和Rodin等相关方法和工具的最新进展。预计提出的模型开发方法和规范的高置信度的医疗系统将有助于仍然稀疏的经验基础，可在正式的方法和软件工程的科学和从业者社区的处置。
2017-06-20 cs.SE
Measuring Cost of Quality (CoQ) on SDLC Projects is Indispensible for Effective Software Quality Assurance
这是众所周知的事实，是由著名的质量学者P.B.克罗斯比说，第一次就把工作做好总是更便宜。然而，对于软件开发项目，必须重新考虑这种说法，因为在软件工程学科中，质量和相关成本度量的概念并不像在制造业和其他行业领域那样成熟。交付后缺陷（即软件错误）是软件行业非常常见和不可分割的一部分。虽然质量成本的度量和分类过程在制造业中是可见的，明显的和制度化的，但在软件行业中仍在发展。除此之外，英国标准BS-6143-2：1990的建议将质量相关成本分为预防成本、评估成本和故障成本，这些建议已被许多行业成功采纳，通过识别在每一类别中进行的活动，并测量与它们相关的成本，软件行业要达到质量成本测量和可见性的采用和制度化水平，还有很长的路要走。软件的质量成本并不是创建高质量软件产品或IT服务的价格。这实际上是不创建高质量的软件产品或IT服务的成本。在全球IT行业中，大多数软件开发项目经常被发现因成本超支、进度延误、范围蠕变和可交付成果质量差而流血，这是这项研究工作的触发因素。从这项研究中吸取的经验教训提供了宝贵的规范性指导，中小型软件企业，谁可以从这项研究中受益，通过应用相同的质量改进计划，使用CoQ度量，以提高他们的SDLC项目绩效的能力和成熟度。
2014-05-19 cs.SE
SmartDelta Methodology: Automated Quality Assurance and Optimization for Incremental System Engineering
本文介绍SmartDelta项目提出的SmartDelta方法论，一种领域无关的增量管理概念，通过六个阶段识别工程差距并发现新工具，同时展示七个工具实例。
2025-02-26 cs.SE
On the costs and profit of software defect prediction
缺陷预测可以成为指导质量保证资源使用的有力工具。然而，尽管许多研究涵盖了缺陷预测的方法以及缺陷预测研究的方法学方面，但缺陷预测的实际成本节约潜力仍不清楚。在本文中，我们关闭这一研究差距，并制定了一个软件缺陷预测的成本模型。我们推导出数学上可证明的边界条件，必须满足的缺陷预测模型，使有一个积极的利润时，使用的缺陷预测模型。我们的成本模型包括质量保证的成本，发布后的缺陷的成本，质量保证未能揭示预测的缺陷的可能性，以及软件工件和缺陷之间的关系等方面。我们使用不同的假设初始化成本模型，进行实验，以显示实际项目的成本行为的趋势。我们的研究结果表明，不切实际的假设，缺陷只影响一个单一的软件工件，这是一个标准的做法，在缺陷预测文献，导致不准确的成本估计。此外，结果表明，机器学习度量的阈值也不适合定义软件缺陷预测的成功标准。
2019-11-11 cs.SE
Adapting Quality Assurance to Adaptive Systems: The Scenario Coevolution Paradigm
从正式和实际的分析，我们确定了新的挑战，自适应系统的质量保证过程中。当解决这些问题时，在软件工程过程中花费在各种任务上的努力自然会重新分配。我们认为，所有与测试相关的步骤都需要具有自适应性，以匹配自适应被测系统的能力。否则，自适应系统的行为可能会避开传统的质量保证变体。因此，我们提出了情景协同进化的范式，它描述了一个池的测试用例和其他约束系统的行为，并行发展（部分自主）的行为在被测系统的发展。场景协同进化提供了一个简单的结构，组织自适应测试，允许人为控制和自主干预，支持软件工程的自适应系统的程序以及技术水平。
2019-02-13 cs.SE
Machine Learning Techniques for Software Quality Assurance: A Survey
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
近年来，机器学习技术已经被应用到越来越多的应用领域，包括软件工程，特别是软件质量保证。重要的应用领域有，例如，软件缺陷预测或测试用例选择和优先级排序。预测大型软件系统中哪些组件在下一个版本中最有可能包含最多的错误的能力有助于更好地管理项目，包括早期估计可能的发布延迟，并提供指导纠正措施以提高软件质量。然而，发展强大的故障预测模型是一项具有挑战性的任务，许多技术已经在文献中提出。与评估软件系统中容易出现缺陷的部分密切相关的是如何选择测试用例并确定其优先级的问题，实际上，测试用例优先级已被广泛研究，以减少发现软件中回归所需的时间。在本调查中，我们讨论了故障预测和测试用例优先级排序的各种方法，并解释了在最近的研究中，用于故障预测的深度学习算法如何帮助弥合程序语义和故障预测特征之间的差距。我们还回顾了最近提出的测试用例优先级（TCP）的机器学习方法，以及它们降低回归测试成本而不会对故障检测能力产生负面影响的能力。
2021-04-29 cs.AI cs.SE
Predicting Defect Content and Quality Assurance Effectiveness by Combining Expert Judgment and Defect Data - A Case Study
对于开发软件或软件密集型系统的公司来说，以系统的方式规划质量保证（QA）活动并控制其执行是一项具有挑战性的任务。两者都需要关于所应用的QA技术的有效性和所检查工件的缺陷内容的估计能力。用于这些目的的现有方法需要来自历史项目的大量测量数据。由于许多公司没有收集足够的数据来应用这些方法（特别是在项目生命周期的早期），他们通常只根据专家的意见进行QA计划和控制。本文提出了一种混合的方法，结合了常用的测量数据和上下文特定的专家知识。为了评估该方法的适用性和实用性，我们进行了一个案例研究的背景下，独立的验证和确认活动的关键软件在空间领域。为软件需求分析阶段开发了一个混合缺陷内容和有效性模型，并使用可用的遗留数据进行了评估。一个主要的结果是，与仅基于数据的适用模型相比，混合模型提供了改进的估计精度。通过交叉验证确定的平均相对误差幅度（MMRE）为29.6%，而通过最准确的基于数据的模型获得的平均相对误差幅度为76.5%。
2014-01-13 cs.SE
An Empirical Study on the Procedure to Derive Software Quality Estimation Models
软件质量保证一直是一个热门话题几十年。如果能够识别出影响软件质量的因素，它们可能会为更好的软件开发管理提供更多的见解。在项目的早期阶段，根据准确的质量评估来使用资源，可以实现更精确的质量保证。在本文中，提出了一个通用的程序来推导软件质量评估模型和各种技术，以完成在各个步骤的任务。利用多种统计技术和机器学习方法来验证软件度量的有效性。此外，采用神经模糊方法来提高估计模型的精度。该程序是根据ISBSG储存库中的数据进行的，以展示其经验值。
2015-07-24 cs.SE
Exploratory Analysis of Quality Practices in Open Source Domain
软件质量保证几十年来一直是一个热门话题，但对开放源码软件（OSS）的分析相对较少。随着OSS在日常生活中的广泛应用，许多研究人员都热衷于这一领域的质量实践。虽然质量管理与闭源软件开发相比呈现出不同的模式，但一些广泛使用的OSS产品已经实现。因此，开源软件项目的质量保证成为研究的热点。在本文中，进行了一项调查，以揭示在开源社区的一般质量实践。已进行探索性分析，以披露这些质量相关活动。结果进行了比较，从闭源环境和OSS项目的质量保证的显着特点已被证实。此外，这项研究还为OSS开发人员提出了潜在的方向。
2015-07-24 cs.SE
Agent-Integrated Software: Interaction Contracts and Continuous Assurance
Technical University of Munich（慕尼黑工业大学）；Nanjing University（南京大学）
本文提出智能体集成软件（AIS）模式与意图级交互抽象（IIA），通过交互契约和持续保障解决智能体嵌入应用时的协调问题，并规划了相关研究议程。
2026-09-11 cs.AI cs.SE
Nothing is Certain but Doubt and Tests
有效的软件安全标准将有助于增强对使用软件的系统的安全性的信心或保证。要证明标准与事故之间的相关性是不可行的，但有一种替代观点认为标准是“可检验的”。软件项目容易受到不确定性的影响;好的标准比差的标准更能减少不确定性。同样，标准中的保证或完整性水平应定义不确定性梯度。本文提出了一种基于论证的不确定性推理方法，可作为进行实验（测试）以评估标准的基础。
2014-04-27 cs.SE
What is Software Quality for AI Engineers? Towards a Thinning of the Fog
University of Innsbruck（因斯布鲁克大学）；University of Oulu（奥卢大学）
通常，人工智能系统也是软件系统，因此依赖于软件质量保证（SQA）。因此，本研究的目标是调查在AI/ML组件和代码的开发、集成和维护过程中采用的软件质量保证策略。我们对10家开发AI系统的奥地利中小企业的代表进行了半结构化采访。对访谈数据的定性分析确定了AI/ML组件开发中的12个问题。此外，我们还确定了AI/ML组件中何时出现质量问题以及如何检测它们。这项研究的结果应该指导未来AI/ML组件的软件质量保证过程和技术的工作。
2022-03-23 cs.AI cs.SE
The Role of Quality Assurance in Software Development Projects:Project Failures and Business Performance
在产品业务中，仍然在与创建满足质量标准和支出限制的编程应用程序的艰巨任务作斗争。要求编程没有错误仍然是对IT业务的考验。因此，本研究的基本任务是回答为什么官员在框架推进生存周期（SDLC）的过程中，不愿意将资产分配给质量确认（QA）过程？本研究利用定量研究大纲来研究在SDLC过程中包含QA在多大程度上减少了编程风险的失望。这些信息将利用归纳技术进行调查，并有望总结为整个IT编程改进人群。探索表明，在SDLC的所有阶段都纳入QA是一个伟大的奇迹。为了收集必要的信息，将通过调查结构进行一项熟练的研究，以听取各编程公司和行业专家的批评和观点。最后一个阶段将是利用可测量技术阐明事实调查。将利用Matlab编程通过对比执行参数来衡量波动和执行。由于这种审查的结果，在事业发展中的风险失望的可能性将下降，任务的业务执行将扩大。
2017-02-01 cs.SE
Secure Software Development in the Era of Fluid Multi-party Open Software and Services
在市场力量的推动下，软件开发已经变得快节奏。因此，现代开发项目是由第三方组件组装的。安全和隐私保证技术曾经是为数月或数年的大型受控更新而设计的，现在必须应对一周内发生的小而持续的变化，并且发生在由第三方开发人员控制的子组件中，甚至可能不知道它们的存在。在本文中，我们的目的是提供一个概述，目前的软件安全方法，并评估其适当性，在面对软件开发的性质发生了变化。软件安全保证可以从基于过程的方法转向基于人工制品的方法。此外，安全评估可能需要更加渐进、自动化和分散化。我们相信这可以通过支持轻量级和可扩展的筛选机制来实现，这些机制适用于整个软件组件群体，尽管可能要付出代价。
2021-03-04 cs.SE
Towards Quality Assurance of Software Product Lines with Adversarial Configurations
University of Namur（那慕尔大学）；Univ Rennes（雷恩大学）；IRISA（法国信息与随机系统研究所）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；University of Cagliari（卡利亚里大学）
软件产品线（SPL）工程师投入了大量的精力，通过设置大量可能的配置选项，确保产品是可接受的，并根据客户的需求量身定制。不幸的是，期权及其相互作用创造了一个巨大的配置空间，难以穷尽地探索。代替测试所有产品，越来越多地采用机器学习技术来从配置的小训练样本中近似出可接受产品的集合。机器学习（ML）技术可以通过学习的约束来细化软件产品线，并且先验地防止导出不可接受的产品。在本文中，我们使用对抗性ML技术来生成对抗性配置，愚弄ML分类器，并查明来自工业视频生成器的产品（视频）的错误分类。我们的攻击产生（高达）100%的错误分类率和5%的准确率下降。我们讨论了这些结果对SPL质量保证的影响。
2019-09-16 cs.LG cs.SE
Using Early Quality Assurance Metrics to Focus Testing Activities
软件或基于软件的系统和服务的测试被认为是生命周期中最耗费精力的活动之一。这尤其适用于那些不能应用高度迭代开发和持续集成的领域。已经提出了几种方法来使用测量作为提高测试有效性和效率的手段。其中大多数依赖于使用与质量保证活动无关的产品数据、历史数据或过程中数据。很少有方法使用来自早期质量保证活动的数据，如检查数据，以便集中测试活动，从而减少测试工作。本文概述了使用早期缺陷检测活动的数据的潜在好处，可能除了其他数据之外，为了集中测试活动。此外，本文概述了一个综合的检查和测试过程，并在两个案例研究的背景下进行评估。考虑到研究的局限性，结果显示测试工作量总体减少了34%，这反映了测试效率提高了约50%。
2013-12-04 cs.SE
The Rise of Agentic Testing: Multi-Agent Systems for Robust Software Quality Assurance
MUFG Bank（三菱日联银行）；Cisco Systems Inc（思科系统公司）；University of North Carolina（北卡罗来纳大学）
本文提出多代理系统用于提升软件测试质量，通过闭环反馈机制实现自适应测试生成和优化，显著提高测试覆盖率并减少无效测试。
2026-01-05 cs.AI cs.SE
VibeContract: The Missing Quality Assurance Piece in Vibe Coding
York University（约克大学）
本文提出VibeContract框架，通过将高层次自然语言意图分解为任务序列并生成任务级合同，以提升LLM生成代码的正确性、鲁棒性和可维护性。
2026-03-16 cs.SE
Towards a Robust Quality Assurance Framework for Cloud Computing Environments
针对云环境QA框架定义不足、自动化与灵活性欠缺的问题，本文提出标准化、自动化且可适配的统一QA框架，并通过从业者问卷验证其有效性。
2025-02-19 cs.SE
Verification and Validation of Autonomous Systems
Mercedes-Benz（梅赛德斯-奔驰）；Oakland University（奥克兰大学）
本文研究自主系统中软件缺陷的预防、发现与纠正方法，并提出在开发阶段提升软件可靠性保障水平的途径。
2024-11-20 cs.AI cs.SE
"Good" and "Bad" Failures in Industrial CI/CD -- Balancing Cost and Quality Assurance
针对工业 CI/CD 中任务失败导致的成本上升与效率下降问题，通过研究 4 家企业的实践经验，揭示 CI/CD 混淆现象及合并前阶段早期失败预防的重要性，为平衡成本与质量保障提供行业参考。
2025-04-16 cs.SE
Visualization of Software and Systems as Support Mechanism for Integrated Software Project Control
许多软件开发组织仍然缺乏支持，无法对其软件开发过程进行智能控制，也无法确定其过程的性能和所生产产品的质量。通常缺少对关键过程和产品状态的检测和反应以实现计划目标的系统支持。在明确模型的基础上使度量制度化的一种方法是开发和建立一个所谓的软件项目控制中心（SPCC），用于系统的质量保证和管理支持。SPCC相当于控制室，这是机械生产领域的一个众所周知的术语。SPCC的一项关键任务是系统地可视化测量数据，以便为所有利益相关者提供面向背景、目的和角色的信息（例如，项目经理、质量保证经理、开发人员）。本文将概述SPCC概念，一个支持面向目标的数据可视化的具体实例，以及实际应用中的示例和经验。
2014-01-09 cs.SE
Beyond ChatGPT: Enhancing Software Quality Assurance Tasks with Diverse LLMs and Validation Techniques
本文系统评估了多种 LLM 在故障定位和漏洞检测任务中的表现，提出投票组合与交叉验证方法，相较 GPT-3.5 分别取得超过 10% 和最高 16% 的性能提升。
2024-09-02 cs.SE
AI-Driven Tools in Modern Software Quality Assurance: An Assessment of Benefits, Challenges, and Future Directions
本研究评估AI工具融入现代软件QA流程的收益、挑战与前景，覆盖验证与确认多方面，概念验证显示生成测试用例仅8.3%抖动执行，但面临语义覆盖、LLM黑箱及验证需求等挑战。
2025-06-19 cs.AI cs.SE
Quality Assurance in MLOps Setting: An Industrial Perspective
Karlstad University（卡尔斯塔德大学）；Czech Technical University in Prague（捷克技术大学布拉格分校）；Uddeholms AB（乌德霍尔姆公司）
如今，机器学习（ML）在工业中被广泛用于提供生产系统的核心功能。然而，它实际上总是在生产系统中作为更大的端到端软件系统的一部分使用，该系统由ML模型之外的其他几个组件组成。由于生产需求和时间限制，自动化软件工程实践非常适用。在制造业和公用事业等行业中越来越多地使用自动化ML软件工程实践，需要将自动化质量保证（QA）方法作为ML软件的组成部分。在这里，QA通过提供对软件任务的客观观点来帮助降低风险。虽然传统的软件工程已经为数据驱动的ML提供了自动化的QA数据分析工具，但缺乏对ML运行（MLOps）的QA实践的使用。本文探讨了QA的挑战，出现在工业MLOps和概念化的模块化战略，以处理数据完整性和数据质量（DQ）。本文附有来自工业合作伙伴的真实工业用例。该文件还提出了一些挑战，可能作为未来研究的基础。
2022-11-24 cs.AI cs.LG cs.SE
A Roadmap for Software Testing in Open Collaborative Development Environments
本文综述了开放协作开发环境中软件质量保证的最新进展，分析了过程管理、人员动态和技术进步，并探讨了LLMs等新兴技术带来的挑战与机遇，为未来研究奠定基础。
2024-12-20 cs.SE
Secure Deep Learning Engineering: A Software Quality Assurance Perspective
Harbin Institute of Technology（哈尔滨工业大学）；Nanyang Technological University（南洋理工大学）；Carnegie Mellon University（卡内基梅隆大学）；Optus Macquarie University Cyber Security Hub（Optus麦考瑞大学网络安全中心）；Kyushu University（九州大学）；University of Illinois at Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA AI Tech Centre（英伟达人工智能技术中心）
在过去的几十年里，深度学习（DL）系统取得了巨大的成功，并在各种应用中获得了极大的普及，例如智能机器、图像处理、语音处理和医疗诊断。深度神经网络是其最近成功背后的关键驱动力，但似乎仍然是一个缺乏可解释性和理解的神奇黑匣子。这带来了许多开放的安全和安全问题，对严格的方法和工程实践提出了巨大而迫切的要求，以提高质量。大量研究表明，最先进的DL系统存在缺陷和漏洞，可能导致严重的损失和悲剧，特别是在应用于现实世界的安全关键型应用时。在本文中，我们进行了一项大规模的研究，并构建了一个包含223篇与深度学习的质量保证、安全性和解释相关的论文库。从软件质量保证的角度来看，我们明确了通用安全深度学习工程的挑战和未来机遇。我们希望这项工作和所附的文件库可以铺平道路的软件工程社区解决紧迫的工业需求的安全智能应用程序。
2018-10-10 cs.AI cs.CR cs.LG
A Model-based Approach for Effective Service Delivery
随着X-as-a-Service的流行（例如，软件即服务、平台即服务、基础设施即服务等）以及用户对良好服务的需求不断增长，QoS（服务质量）保证对于服务交付变得越来越重要。传统的服务提供主要集中在功能或信息提供，并没有给予高度优先的质量保证。在本文中，我们解决的QoS保证问题的系统化的方式，从模型到系统。首先将传统服务分解为软件应用、数据和资源三个部分，然后定义这三种基本服务的模型，并提出一组服务发布和组合的操作。为了说明我们的方法，我们提出了一个原型系统，平台即服务（PaaS）系统，这是在支持我们的框架，并显示如何通过实时监控和动态扩展（向上或向下），可以确保QoS。
2016-05-31 cs.SE
Formal Evidence Generation for Assurance Cases for Robotic Software Models
University of York（约克大学）
本文提出一种基于模型的形式验证方法，用于生成机器人软件模型的保证案例证据，通过整合形式验证工具和自动化转换需求为形式断言，提高安全性证明的效率和一致性。
2026-11-03 cs.FL cs.LO cs.RO
