Internet of Things: Current Challenges in the Quality Assurance and Testing Methods
物联网（IoT）技术的当代发展在质量保证领域带来了许多挑战。讨论了当前与安全性、用户隐私、服务可靠性、互操作性和集成相关的问题。所有这些都需要物联网解决方案的特定质量保证方法。在本文中，我们提出了这一领域的最新技术，我们讨论了系统测试学科的特定领域，这是没有足够的相关工作覆盖到目前为止。这一分析得到了我们最近对10家物联网解决方案提供商进行的调查结果的支持，这些解决方案涵盖了物联网应用的各个领域。
2018-05-03 cs.SE
Quality Assurance of Heterogeneous Applications: The SODALITE Approach
SODALITE项目的重点是确保在异构云和HPC环境中部署应用程序的质量和性能。它提供了一组工具来检测和纠正部署模型及其供应工作流中的错误，气味和bug，以及一个在运行时监视和重构部署模型实例的框架。本文介绍了目标，设计，质量保证框架和重构框架的早期结果。
2020-03-25 cs.SE
Improvement of Key Problems of Software Testing in Quality Assurance
质量保证确保项目将根据先前批准的规格，标准和功能完成。要求没有缺陷和可能的问题。它从项目一开始就监控并尝试推进开发过程。软件质量保证（SQA）是整个软件开发过程的组合，包括软件设计、编码、源代码控制、代码评审、变更管理、配置管理和发布管理。本文描述了质量保证中软件测试关键问题的解决方法。现有的软件实践存在一些问题，如测试实践，用户的态度和组织的文化。所有这些树的问题有一些组合的问题，如测试中的快捷方式，减少测试时间，不良的文档等，在本文中，我们建议的策略，提供上述问题的解决方案。
2012-02-12 cs.SE
Quality Assurance of A GPT-based Sentiment Analysis System: Adversarial Review Data Generation and Detection
本研究针对大语言模型质量保证难题，构建微调GPT情感分析模型为基准，生成对抗性评论数据并提出基于惊喜充分性的异常检测方法，经亚马逊评论数据实验验证了该检测技术在数据质量保证的有效性。
2023-10-09 cs.SE
Requirements Quality Assurance in Industry: Why, What and How?
针对工业界自然语言需求质量保证依赖人工、受琐碎问题困扰的痛点，提出一种兼顾人类认知负荷与机器自动化特性的需求质量保证复杂度分类法，为自动化支持决策框架奠基。
2023-08-24 cs.SE
A Conceptual Framework for Supporting a Rapid Design of Web Applications for Data Analysis of Electrical Quality Assurance Data for the LHC
大型强子对撞机（LHC）是有史以来最复杂的机器之一。它由许多组成部分组成，构成一个大系统。隧道和加速器只是整个LHC基础设施中非常关键的一部分。硬件调试作为运行LHC之前的关键过程之一，在机器的长寿命（LS）状态期间实施，其中电气质量保证（ELQA）是其关键组成部分之一。在执行各种ELQA电气测试时，收集了大量数据。在本文中，我们提出了一个概念框架，支持快速设计的Web应用程序的ELQA数据分析。我们展示了一个框架的主要组成部分，他们可能与其他系统和机器学习算法和一个简单的用例原型的应用程序的LHC的电气质量保证。
2017-02-04 cs.SE
Learning Software Quality Assurance with Bricks
软件质量保证（SQA）和软件过程改进（SPI）对于软件工程师来说是至关重要的主题;然而，由于缺乏实践经验，在教室里教授它们会受到一些限制。考虑到这一点，我们创建了KUALI-Brick，这是一个基于LEGO（R）的活动，它将SQA和SPI概念结合在一起，应用它们来成功地建立一个LEGO城市。这项实践活动已经在坎特伯雷大学的四年级软件工程课程中进行，目前的结果显示出高水平的乐趣，提高了参与度和改善了学习体验。我们提出了一个逐步的指南，以复制活动以及连续三年开展活动后吸取的经验教训。
2021-02-12 cs.SE
Adapting Quality Assurance to Adaptive Systems: The Scenario Coevolution Paradigm
从正式和实际的分析，我们确定了新的挑战，自适应系统的质量保证过程中。当解决这些问题时，在软件工程过程中花费在各种任务上的努力自然会重新分配。我们认为，所有与测试相关的步骤都需要具有自适应性，以匹配自适应被测系统的能力。否则，自适应系统的行为可能会避开传统的质量保证变体。因此，我们提出了情景协同进化的范式，它描述了一个池的测试用例和其他约束系统的行为，并行发展（部分自主）的行为在被测系统的发展。场景协同进化提供了一个简单的结构，组织自适应测试，允许人为控制和自主干预，支持软件工程的自适应系统的程序以及技术水平。
2019-02-13 cs.SE
Quality Assurance Practices in Agile Methodology
本研究旨在调查敏捷软件开发中的质量保证实践，分析常见问题与关键驱动因素，并提出通过分析质量参数来改进SQA实践的建议。
2024-11-07 cs.SE
Towards Identifying and closing Gaps in Assurance of autonomous Road vehicleS -- a collection of Technical Notes Part 2
本报告介绍和概述了在“识别和缩小自动驾驶汽车保证差距”（Towards Identifying and Closing Gap in Assurance of Autonomous Road Vehicles，Tigars）项目中编制的技术专题说明（TTN）。这些说明旨在支持自动驾驶汽车的开发和评估。第1部分涉及：保证-概述和问题，弹性和安全要求，开放系统视角和ML系统的形式化验证和静态分析。本报告是第2部分，讨论：模拟和动态测试，深度和多样性防御，安全信息安全分析，标准和指南。
2020-02-28 cs.RO cs.SE cs.SY
Towards Identifying and closing Gaps in Assurance of autonomous Road vehicleS -- a collection of Technical Notes Part 1
本报告介绍和概述了在“识别和缩小自动驾驶汽车保证差距”（Towards Identifying and Closing Gap in Assurance of Autonomous Road Vehicles，Tigars）项目中编制的技术专题说明（TTN）。这些说明旨在支持自动驾驶汽车的开发和评估。第1部分涉及：保证-概述和问题，弹性和安全要求，开放系统视角和ML系统的形式化验证和静态分析。第2部分：模拟和动态测试，深度和多样性防御，安全信息安全分析，标准和指南。
2020-02-28 cs.LG cs.RO cs.SE
Quality Assurance And Integration Testing Aspects In Web Based Applications
集成测试是软件测试生存周期的重要阶段之一。随着互联网和Web服务的快速发展，基于Web的应用也在迅速增长，其重要性和复杂性也在不断增加。分布式组件、应用程序的异构性和多样性，以及它们对多平台的支持和协作性，使得这些应用程序变得更加复杂，规模也在迅速增长。这些应用程序的质量保证变得越来越重要。测试是实现和确保这些软件或基于Web的产品质量的关键过程之一。在基于Web的应用程序中涉及到许多测试挑战。但最重要的是，集成是与基于Web的应用程序相关的最关键的测试。在集成测试工作中涉及到许多具有挑战性的因素。这些因素对基于Web的应用程序的整体质量有近70%到80%的影响。在软件行业中，不同类型的测试方法被从业者用来解决与集成相关的问题，这些问题是由于基于Web的应用程序的复杂性不断增加。
2012-07-13 cs.SE
Quality Assurance Technologies of Big Data Applications: A Systematic Literature Review
大数据应用程序目前用于许多应用领域，从统计应用到预测系统和智慧城市。然而，这些应用程序的质量远非完美，导致了大量的问题和问题。因此，确保大数据应用的整体质量发挥着越来越重要的作用。本文旨在总结和评估现有的质量保证（QA）技术，解决大数据应用中的质量问题。我们通过检索主要科学数据库进行了系统性文献综述（SLR），获得了83项关于大数据应用QA技术的主要和相关研究。SLR结果揭示了以下主要发现：1）大数据的数量、速度和多样性属性对大数据应用质量的影响; 2）决定大数据应用质量的质量属性包括正确性、性能、可用性、可扩展性、可靠性等; 3）现有的QA技术，包括分析、规格说明、模型驱动架构（MDA）、验证、容错、测试、监控和故障与失效预测; 4）每种QA技术的现有优势和局限性; 5）每种QA技术现有的经验证据。该研究为大数据应用的质量保证技术研究提供了坚实的基础。然而，大数据应用在质量方面的许多挑战仍然存在。
2020-02-06 cs.SE
What Makes a Great Software Quality Assurance Engineer?
针对SQA工程师优秀特质研究不足的问题，本文通过25次访谈和363份问卷归纳五类25项属性，并确认好奇心、有效沟通与批判性思维是关键区分特征。
2024-01-24 cs.SE
Quality Assurance Challenges for Machine Learning Software Applications During Software Development Life Cycle Phases
University of Calgary（卡尔加里大学）
在过去的几十年里，机器学习（ML）的革命性进展表明，ML模型已被快速采用到各种类型的软件系统中。这种机器学习软件应用程序（MLSA）在我们的日常生活中越来越重要。因此，MLSA的质量保证（QA）至关重要。一些研究工作致力于确定我们在将ML模型引入软件系统时可能面临的具体挑战。然而，我们知道没有研究提供了这些ML质量保证挑战在软件开发生存周期（SDLC）的各个阶段的分布的整体视图。本文对大量专注于ML模型质量保证的研究论文进行了深入的文献综述。我们通过映射SDLC不同阶段的各种ML采用挑战，开发了MLSA质量保证问题的分类。我们提供建议和研究机会，以改进基于分类法的SDLC实践。这种映射可以帮助优先考虑MLSA的质量保证工作，其中ML模型的采用可以被认为是至关重要的。
2021-07-08 cs.AI cs.SE
Rapid quality assurance with Requirements Smells
在软件开发生命周期中，糟糕的需求质量会导致昂贵的后果，特别是如果迭代很长并且反馈很晚的话。%--发现问题越快，修复成本越低。这使得明确的需要一个轻量级的需求质量违规检测机制。我们的目标是一个轻量级的静态需求分析方法，允许快速检查时，立即写下来的要求。我们将代码气味的概念作为需求气味转移到需求工程中。为了评估的好处和局限性，我们定义的要求气味，实现我们的概念，在一个原型称为Smella的气味检测和应用Smella在一系列的情况下提供的三个工业和一所大学的背景。自动检测的平均精度为59%，平均召回率为82%，具有高变异。在实际环境中的评价表明，如质量缺陷的意识的增加的好处。然而，有些气味并不明显。轻量级的气味检测可以以合理精确的方式发现许多实际相关的需求缺陷。虽然有些气味需要更清楚地定义，但气味检测提供了一种有用的方法来支持需求工程中的质量保证，例如，作为评审的补充。
2016-11-27 cs.SE
Using Early Quality Assurance Metrics to Focus Testing Activities
软件或基于软件的系统和服务的测试被认为是生命周期中最耗费精力的活动之一。这尤其适用于那些不能应用高度迭代开发和持续集成的领域。已经提出了几种方法来使用测量作为提高测试有效性和效率的手段。其中大多数依赖于使用与质量保证活动无关的产品数据、历史数据或过程中数据。很少有方法使用来自早期质量保证活动的数据，如检查数据，以便集中测试活动，从而减少测试工作。本文概述了使用早期缺陷检测活动的数据的潜在好处，可能除了其他数据之外，为了集中测试活动。此外，本文概述了一个综合的检查和测试过程，并在两个案例研究的背景下进行评估。考虑到研究的局限性，结果显示测试工作量总体减少了34%，这反映了测试效率提高了约50%。
2013-12-04 cs.SE
Static and Dynamic Quality Assurance by Aspect Oriented Techniques
所描述的研究项目的总体目标是使用面向方面的程序设计语言扩展AIBJ 5为Java软件系统创建适用的质量保证模式。我们尝试开发方面来检查静态质量标准，作为变量变更器约定和架构分层规则。我们成功地开发了以下动态质量标准的自动化方面：参数化异常链接，参数化异常的舒适声明，引用变量的非异常检查。
2010-06-14 cs.PL cs.SE
Leveraging LLMs for the Quality Assurance of Software Requirements
本文评估了大型语言模型（LLM）根据 ISO 29148 标准评估软件需求质量、解释决策并提出改进版本的能力，通过与软件工程师的研究验证了该方法，强调了 LLMs 在提升软件需求质量方面的潜力。
2024-08-20 cs.SE
SmartDelta Methodology: Automated Quality Assurance and Optimization for Incremental System Engineering
本文介绍SmartDelta项目提出的SmartDelta方法论，一种领域无关的增量管理概念，通过六个阶段识别工程差距并发现新工具，同时展示七个工具实例。
2025-02-26 cs.SE
Towards a Robust Quality Assurance Framework for Cloud Computing Environments
针对云环境QA框架定义不足、自动化与灵活性欠缺的问题，本文提出标准化、自动化且可适配的统一QA框架，并通过从业者问卷验证其有效性。
2025-02-19 cs.SE
Exploratory Analysis of Quality Practices in Open Source Domain
软件质量保证几十年来一直是一个热门话题，但对开放源码软件（OSS）的分析相对较少。随着OSS在日常生活中的广泛应用，许多研究人员都热衷于这一领域的质量实践。虽然质量管理与闭源软件开发相比呈现出不同的模式，但一些广泛使用的OSS产品已经实现。因此，开源软件项目的质量保证成为研究的热点。在本文中，进行了一项调查，以揭示在开源社区的一般质量实践。已进行探索性分析，以披露这些质量相关活动。结果进行了比较，从闭源环境和OSS项目的质量保证的显着特点已被证实。此外，这项研究还为OSS开发人员提出了潜在的方向。
2015-07-24 cs.SE
"Good" and "Bad" Failures in Industrial CI/CD -- Balancing Cost and Quality Assurance
针对工业 CI/CD 中任务失败导致的成本上升与效率下降问题，通过研究 4 家企业的实践经验，揭示 CI/CD 混淆现象及合并前阶段早期失败预防的重要性，为平衡成本与质量保障提供行业参考。
2025-04-16 cs.SE
A measurement based software quality framework
在这份报告中，我们提出了一个解决问题的依赖于软件项目质量保证人员的经验，提供一个透明的，客观的和基于测量的质量框架。该框架通过定义和评估可测量的质量目标和阈值，直接将这些与升级机制联系起来，帮助质量保证专家在软件项目中做出客观和可比的决策。在现实生活中的案例研究中应用建议的基于测量的软件质量框架的第一个结果也在本报告中得到了解决。
2014-08-17 cs.SE
A Large-Scale Empirical Study of Quality Assurance Practices and Gaps in AI Agents
York University（约克大学）；Polytechnique Montréal（蒙特利尔高等工程技术学院）
本研究对157个开源LLM智能体项目进行大规模实证分析，发现当前QA实践侧重于基本功能和高风险操作，覆盖率分散且安全措施不一致，强调需转向系统性的端到端验证。
2026-09-17 cs.SE
Introducing High School Students to Version Control, Continuous Integration, and Quality Assurance
针对软件工程教学起步晚的问题，本文记录了面向有AP计算机科学基础的高中生设计小组项目，教授版本控制、持续集成等技能，使其能为开源科学计算项目编写有效自动化测试的实践经验。
2023-10-05 cs.SE
Path-sensitive Type Analysis with Backward Analysis for Quality Assurance of Dynamic Typed Language Code
对动态类型语言进行精确而快速的静态类型分析是非常困难的。这主要是因为缺少静态类型信息使得很难近似变量的所有可能值。实际上，现有的静态类型分析方法是不精确的或缓慢的。本文提出了一种提高Python代码静态类型分析精度的新方法，该方法通过向后分析来获得路径敏感性。通过这样做，我们的方法旨在获得更精确的静态类型信息，这有助于全面提高静态分析。为了证明我们的方法的有效性，我们进行了初步的实验，比较我们的方法实现和现有的分析工具的精度和时间效率。实验结果表明，与现有的静态类型分析工具相比，该方法可以提供更精确的类型分析，误报率更低。同时也表明我们提出的方法虽然增加了分析时间，但仍然在实际使用的范围内。
2023-02-15 cs.SE
Quality Assurance of Bioinformatics Software: A Case Study of Testing a Biomedical Text Processing Tool Using Metamorphic Testing
生物信息学软件在许多领域（包括医学和卫生保健）的关键决策中发挥着非常重要的作用。然而，大多数研究都是针对开发工具，很少有时间和精力花在测试软件，以确保其质量。在测试中，测试预言用于确定测试在测试过程中是通过还是失败，不幸的是，对于大多数生物信息学软件来说，确切的预期结果并没有很好地定义。因此，与对生物信息学软件进行系统测试相关的主要挑战是Oracle问题。变形测试（MT）是一种用于测试面临预言机问题的程序的技术。MT使用变形关系（MR）来确定测试是通过还是失败，并根据对输入的特定更改指定输出应如何更改。在这项工作中，我们使用MT来测试LingPipe，这是一种使用计算语言学处理文本的工具，通常用于生物信息学中从生物医学文献中识别生物实体。首先，我们确定一组MR用于测试任何生物实体识别程序。然后，我们开发了一组测试用例，可用于测试LingPipe的生物实体识别功能，使用这些MR。为了评估这个测试过程的有效性，我们自动生成一组LingPipe的错误版本。根据我们对实验结果的分析，我们观察到我们的MR可以检测到这些错误版本中的大多数，这表明了这种测试技术在生物信息学软件质量保证中的实用性。
2018-02-20 cs.SE
Predicting Defect Content and Quality Assurance Effectiveness by Combining Expert Judgment and Defect Data - A Case Study
对于开发软件或软件密集型系统的公司来说，以系统的方式规划质量保证（QA）活动并控制其执行是一项具有挑战性的任务。两者都需要关于所应用的QA技术的有效性和所检查工件的缺陷内容的估计能力。用于这些目的的现有方法需要来自历史项目的大量测量数据。由于许多公司没有收集足够的数据来应用这些方法（特别是在项目生命周期的早期），他们通常只根据专家的意见进行QA计划和控制。本文提出了一种混合的方法，结合了常用的测量数据和上下文特定的专家知识。为了评估该方法的适用性和实用性，我们进行了一个案例研究的背景下，独立的验证和确认活动的关键软件在空间领域。为软件需求分析阶段开发了一个混合缺陷内容和有效性模型，并使用可用的遗留数据进行了评估。一个主要的结果是，与仅基于数据的适用模型相比，混合模型提供了改进的估计精度。通过交叉验证确定的平均相对误差幅度（MMRE）为29.6%，而通过最准确的基于数据的模型获得的平均相对误差幅度为76.5%。
2014-01-13 cs.SE
Towards Assurance-Driven Architectural Decomposition of Software Systems
计算机系统是如此复杂，因此它们通常是按照抽象层来设计和分析的。复杂性仍然是用于发现软件设计缺陷和实现错误的逻辑推理工具面临的挑战。抽象也是将这些工具扩展到更复杂系统的常用技术。然而，在许多情况下，系统设计阶段使用的抽象与用于保证的抽象不同。在本文中，我们认为，不同的软件质量保证技术对软件系统的不同方面。为了促进保证，并保证工具顺利集成到软件开发环境（SDLC），我们提出了一个4维元架构，分离计算，协调和有状态的软件工件在设计阶段的早期。我们列举了一些设计和保证的挑战，可以解决这个元体系结构，并演示了一个简单的文件系统的高层次设计。
2021-06-17 cs.SE
VibeContract: The Missing Quality Assurance Piece in Vibe Coding
York University（约克大学）
本文提出VibeContract框架，通过将高层次自然语言意图分解为任务序列并生成任务级合同，以提升LLM生成代码的正确性、鲁棒性和可维护性。
2026-03-16 cs.SE
Quality Assurance for LLM-RAG Systems: Empirical Insights from Tourism Application Testing
本文通过测试旅游应用中三种 LLM-RAG 变体，提出包含 17 个指标的质量评估框架，发现新版本在响应长度和复杂性上改进更明显，为生产环境部署提供实践指导。
2025-02-09 cs.SE
A Case-Based Look at Integrating Social Context into Software Quality
确保高质量的软件需要考虑部署和使用应用程序的社会环境。这可以通过设计与不断变化的社会和伦理环境相一致的质量目标来实现。使用技术决定论的原则，本文提出了三个案例，说明为什么它是越来越重要的集成到软件设计和质量保证这些问题。考虑到这些例子，本文解释了如何在软件设计和质量保证实践中考虑技术决定论，以在实践层面上实现这种增强的敏感性。
2015-12-09 cs.SE
The Role of Quality Assurance in Software Development Projects:Project Failures and Business Performance
在产品业务中，仍然在与创建满足质量标准和支出限制的编程应用程序的艰巨任务作斗争。要求编程没有错误仍然是对IT业务的考验。因此，本研究的基本任务是回答为什么官员在框架推进生存周期（SDLC）的过程中，不愿意将资产分配给质量确认（QA）过程？本研究利用定量研究大纲来研究在SDLC过程中包含QA在多大程度上减少了编程风险的失望。这些信息将利用归纳技术进行调查，并有望总结为整个IT编程改进人群。探索表明，在SDLC的所有阶段都纳入QA是一个伟大的奇迹。为了收集必要的信息，将通过调查结构进行一项熟练的研究，以听取各编程公司和行业专家的批评和观点。最后一个阶段将是利用可测量技术阐明事实调查。将利用Matlab编程通过对比执行参数来衡量波动和执行。由于这种审查的结果，在事业发展中的风险失望的可能性将下降，任务的业务执行将扩大。
2017-02-01 cs.SE
Measuring Cost of Quality (CoQ) on SDLC Projects is Indispensible for Effective Software Quality Assurance
这是众所周知的事实，是由著名的质量学者P.B.克罗斯比说，第一次就把工作做好总是更便宜。然而，对于软件开发项目，必须重新考虑这种说法，因为在软件工程学科中，质量和相关成本度量的概念并不像在制造业和其他行业领域那样成熟。交付后缺陷（即软件错误）是软件行业非常常见和不可分割的一部分。虽然质量成本的度量和分类过程在制造业中是可见的，明显的和制度化的，但在软件行业中仍在发展。除此之外，英国标准BS-6143-2：1990的建议将质量相关成本分为预防成本、评估成本和故障成本，这些建议已被许多行业成功采纳，通过识别在每一类别中进行的活动，并测量与它们相关的成本，软件行业要达到质量成本测量和可见性的采用和制度化水平，还有很长的路要走。软件的质量成本并不是创建高质量软件产品或IT服务的价格。这实际上是不创建高质量的软件产品或IT服务的成本。在全球IT行业中，大多数软件开发项目经常被发现因成本超支、进度延误、范围蠕变和可交付成果质量差而流血，这是这项研究工作的触发因素。从这项研究中吸取的经验教训提供了宝贵的规范性指导，中小型软件企业，谁可以从这项研究中受益，通过应用相同的质量改进计划，使用CoQ度量，以提高他们的SDLC项目绩效的能力和成熟度。
2014-05-19 cs.SE
Analytics for Quality Assurance for Item Pools (AQuAP): Monitoring and Maintaining Item Bank Health in AI-Driven Assessment Systems
Duolingo（多邻国）
提出AQuAP仪表盘环境，通过有效题库规模等指标监控题库质量，支持大规模自动与人工结合的试题开发，确保高利害测试的题库健康。
2026-06-18 cs.SE stat.AP
Teaching Quality Assurance and Project Management to Undergraduate Computing Students in Pakistan
软件项目管理（SPM）和软件质量保证（SQA）是巴基斯坦教育机构本科计算机课程的关键组成部分。由于这些科目的性质，有一些问题需要讨论和解决，使教学变得更有效，学生的学习体验更愉快，他们的能力，积极参与SPM和SQA，完成学业后，进一步提高。在本文中，我们讨论了教学SPM和SQA在巴基斯坦伊斯兰堡的一个特定的机构的经验。以此为案例研究，我们强调学生的角度来看，突出固有的问题，并建议如何改善这些科目的交付。由于这些问题主要是一般性的，目的是提供讨论和建议，使学术界更广泛的计算社区受益。
2009-06-30 cs.CY cs.SE
Quality Assurance of Generative Dialog Models in an Evolving Conversational Agent Used for Swedish Language Practice
RISE Research Institutes of Sweden（瑞典RISE研究院）；Lund University（隆德大学）；NordAxon AB（NordAxon公司）
由于移民的大趋势，高效和有效的第二语言习得至关重要。一个提议的解决方案涉及支持AI的会话代理，用于以人为中心的交互式语言实践。我们目前正在进行的行动研究的结果，针对虚拟工作面试培训的专有生成对话模型的质量保证。行动小组引出了一组38个需求，我们为其中15个对不断发展的解决方案特别感兴趣的需求设计了相应的自动化测试用例。我们的研究结果表明，六个测试用例设计可以检测候选模型之间有意义的差异。虽然自然语言处理应用程序的质量保证是复杂的，我们提供了一个自动化框架的初步步骤，机器学习模型选择的背景下，不断发展的会话代理。未来的工作将集中在MLOps设置中的模型选择。
2022-03-29 cs.AI cs.CL cs.SE
Architecting Data-Intensive Applications : From Data Architecture Design to Its Quality Assurance
针对数据增长下数据密集型应用的数据管理与质量保障难题，提出采用模型驱动工程技术的架构框架，支持数据质量检查自动生成，经多行业多案例验证具备良好适配性与有效性。
2024-03-09 cs.SE
A Comprehensive Study on Quality Assurance Tools for Java
本文针对Java QA工具评估不足的问题，系统选取6款免费或开源工具，从CWE规则覆盖、缺陷检测有效性、警告作用和时间性能四个维度开展大规模综合评测。
2023-06-07 cs.SE
Significant acceleration of development by automating quality assurance of a medical particle accelerator safety system using a formal language driven test stand
在Paul Scherrer研究所的质子治疗中心，癌症患者使用固定光束线进行治疗，并分别在两个机架中治疗眼部和非眼部恶性肿瘤。为了安装第三台机架，开发了一个新的患者安全系统（PaSS），并按顺序推出，以更新现有区域。PaSS的目的是在任何子系统检测到危险情况时中断治疗。为了确保正确的治疗输送，该系统需要进行彻底的测试，作为定期质量保证（QA）协议的一部分，以及在任何升级后。在传统安全系统中，单元测试需要大量使用资源：除了QA射束时间外，实验室每个区域的工作时间为两周。为了显著缩短时间，基于PXI机箱开发了一个用于单元测试的自动化PaSS测试台，该测试台具有几乎无限的IO，可以在1 MHz下同步激励或采样。它可以使用适配器连接每种类型的接口来模拟设施的其余部分。有了它，PaSS可以在任意条件下进行测试。一个基于VHDL的形式语言的开发来描述刺激，预期的行为和具体的测量，解释的LabView运行时环境。本文描述了用于新PaSS的单元测试和QA发布测试的工具和方法。它展示了自动化和形式化如何使测试覆盖率的增加成为可能，同时显着减少了实验室测试时间和设施的光束使用。
2018-06-23 cs.SE
A Multi-Layer Testing Framework for Automated Data Quality Assurance in Cloud-Native ELT Pipelines
University of North Dakota（北达科他大学）
本文提出一种多层测试框架，结合 orchestration 层验证、dbt 声明性测试、LLM 生成的语义测试以及 DuckDB 与 Snowflake 之间的跨存储一致性检查，通过 Apache Airflow 协调，显著提升了数据质量验证的覆盖率和效率。
2026-05-19 cs.SE
An Empirical Study on the Procedure to Derive Software Quality Estimation Models
软件质量保证一直是一个热门话题几十年。如果能够识别出影响软件质量的因素，它们可能会为更好的软件开发管理提供更多的见解。在项目的早期阶段，根据准确的质量评估来使用资源，可以实现更精确的质量保证。在本文中，提出了一个通用的程序来推导软件质量评估模型和各种技术，以完成在各个步骤的任务。利用多种统计技术和机器学习方法来验证软件度量的有效性。此外，采用神经模糊方法来提高估计模型的精度。该程序是根据ISBSG储存库中的数据进行的，以展示其经验值。
2015-07-24 cs.SE
Quality Assurance of LLM-generated Code: Addressing Non-Functional Quality Characteristics
Department of Computer and Information Science, Linköping University, Sweden（Linköping大学计算机与信息科学系）
研究通过文献综述、行业研讨会和实证分析，探讨LLM生成代码在安全、可维护性和性能效率等非功能性质量特性上的表现，揭示学术研究与行业需求的不匹配，强调需在代码生成流程中集成质量保障机制。
2026-03-12 cs.AI cs.SE
A Construction-Phase Digital Twin Framework for Quality Assurance and Decision Support in Civil Infrastructure Projects
Intertek PSI；Bangladesh University of Engineering and Technology（孟加拉国工程与技术大学）；Pabna University of Science and Technology（帕布纳科学与技术大学）；University of Texas at Arlington（阿灵顿德克萨斯大学）
本文提出一种施工阶段数字孪生框架，通过整合多种数据流实现元素级质量保证与决策支持，提升施工期间的质量管理效率。
2026-02-18 cs.ET cs.SE
AI-Driven Tools in Modern Software Quality Assurance: An Assessment of Benefits, Challenges, and Future Directions
本研究评估AI工具融入现代软件QA流程的收益、挑战与前景，覆盖验证与确认多方面，概念验证显示生成测试用例仅8.3%抖动执行，但面临语义覆盖、LLM黑箱及验证需求等挑战。
2025-06-19 cs.AI cs.SE
What is Software Quality for AI Engineers? Towards a Thinning of the Fog
University of Innsbruck（因斯布鲁克大学）；University of Oulu（奥卢大学）
通常，人工智能系统也是软件系统，因此依赖于软件质量保证（SQA）。因此，本研究的目标是调查在AI/ML组件和代码的开发、集成和维护过程中采用的软件质量保证策略。我们对10家开发AI系统的奥地利中小企业的代表进行了半结构化采访。对访谈数据的定性分析确定了AI/ML组件开发中的12个问题。此外，我们还确定了AI/ML组件中何时出现质量问题以及如何检测它们。这项研究的结果应该指导未来AI/ML组件的软件质量保证过程和技术的工作。
2022-03-23 cs.AI cs.SE
A Learning Approach to Enhance Assurances for Real-Time Self-Adaptive Systems
实时的【形】属性的保证容易受到上下文变化的影响。在设计时提供这种保证需要检查所有可能的上下文和系统变化，或者预测实际使用的是哪一个。这两种情况在实践中都不可行，因为有太多的可能性可以预见。此外，为自适应系统提供充分保证所需的知识仅在运行时可用，因此难以在早期开发阶段预测。尽管在设计或运行时的自适应系统的保证的所有努力，仍然有一个缺口，验证和验证实时的【形】约束的上下文可变性。为了填补这一空白，我们提出了一种方法来提供保证的自适应系统，在设计和运行时，特别关注实时的【形】约束。我们结合离线的需求获取和模型检验与在线数据汇集和数据采掘，以保证系统的目标，功能和非功能，与微调的适应政策，对质量属性的优化。我们实验评估我们的方法在OpenDaVINCI中实现的身体传感器网络系统（BSN）的模拟原型。验证的结果是有希望的，并表明我们的方法是有效的，提供证据，支持提供保证。
2018-04-03 cs.SE
Machine Learning Techniques for Software Quality Assurance: A Survey
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
近年来，机器学习技术已经被应用到越来越多的应用领域，包括软件工程，特别是软件质量保证。重要的应用领域有，例如，软件缺陷预测或测试用例选择和优先级排序。预测大型软件系统中哪些组件在下一个版本中最有可能包含最多的错误的能力有助于更好地管理项目，包括早期估计可能的发布延迟，并提供指导纠正措施以提高软件质量。然而，发展强大的故障预测模型是一项具有挑战性的任务，许多技术已经在文献中提出。与评估软件系统中容易出现缺陷的部分密切相关的是如何选择测试用例并确定其优先级的问题，实际上，测试用例优先级已被广泛研究，以减少发现软件中回归所需的时间。在本调查中，我们讨论了故障预测和测试用例优先级排序的各种方法，并解释了在最近的研究中，用于故障预测的深度学习算法如何帮助弥合程序语义和故障预测特征之间的差距。我们还回顾了最近提出的测试用例优先级（TCP）的机器学习方法，以及它们降低回归测试成本而不会对故障检测能力产生负面影响的能力。
2021-04-29 cs.AI cs.SE
On Unified Prompt Tuning for Request Quality Assurance in Public Code Review
School of Computer Science and Artificial Intelligence, Wuhan University of Technology（武汉理工大学计算机科学与人工智能学院）；School of Computer Science, Wuhan University（武汉大学计算机学院）
针对公共代码审查现有方法多聚焦审查者视角的问题，提出统一框架UniPCR，结合文本硬提示调优与代码软前缀调优，在MLM下完成开发者侧请求质量保证双任务，实验准确率优于现有最优方法。
2024-04-17 cs.AI cs.SE
The Rise of Agentic Testing: Multi-Agent Systems for Robust Software Quality Assurance
MUFG Bank（三菱日联银行）；Cisco Systems Inc（思科系统公司）；University of North Carolina（北卡罗来纳大学）
本文提出多代理系统用于提升软件测试质量，通过闭环反馈机制实现自适应测试生成和优化，显著提高测试覆盖率并减少无效测试。
2026-01-05 cs.AI cs.SE
Towards Quality Assurance of Software Product Lines with Adversarial Configurations
University of Namur（那慕尔大学）；Univ Rennes（雷恩大学）；IRISA（法国信息与随机系统研究所）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；University of Cagliari（卡利亚里大学）
软件产品线（SPL）工程师投入了大量的精力，通过设置大量可能的配置选项，确保产品是可接受的，并根据客户的需求量身定制。不幸的是，期权及其相互作用创造了一个巨大的配置空间，难以穷尽地探索。代替测试所有产品，越来越多地采用机器学习技术来从配置的小训练样本中近似出可接受产品的集合。机器学习（ML）技术可以通过学习的约束来细化软件产品线，并且先验地防止导出不可接受的产品。在本文中，我们使用对抗性ML技术来生成对抗性配置，愚弄ML分类器，并查明来自工业视频生成器的产品（视频）的错误分类。我们的攻击产生（高达）100%的错误分类率和5%的准确率下降。我们讨论了这些结果对SPL质量保证的影响。
2019-09-16 cs.LG cs.SE
Beyond ChatGPT: Enhancing Software Quality Assurance Tasks with Diverse LLMs and Validation Techniques
本文系统评估了多种 LLM 在故障定位和漏洞检测任务中的表现，提出投票组合与交叉验证方法，相较 GPT-3.5 分别取得超过 10% 和最高 16% 的性能提升。
2024-09-02 cs.SE
A Scalable Framework for Safety Assurance of Self-Driving Vehicles based on Assurance 2.0
WMG, University of Warwick（华威大学WMG）；Wayve Technologies Ltd.（Wayve科技有限公司）
针对Assurance 2.0框架的现存局限，本文提出基于该范式的三层分解框架，结合适配的5M1E模型实现多维度安全论证分解，并通过端到端AI自动驾驶汽车开发案例验证其细粒度安全追溯能力。
2025-09-30 cs.SE
