Analytics for Quality Assurance for Item Pools (AQuAP): Monitoring and Maintaining Item Bank Health in AI-Driven Assessment Systems
Duolingo（多邻国）
提出AQuAP仪表盘环境，通过有效题库规模等指标监控题库质量，支持大规模自动与人工结合的试题开发，确保高利害测试的题库健康。
2026-06-18 cs.SE stat.AP
Assurance of Distributed Algorithms and Systems: Runtime Checking of Safety and Liveness
本文提出了一个通用的框架和方法，在一个高层次的分布式算法的完整的编程和检查，在伪代码语言，但精确指定和直接执行，在正式的规约语言和实用的程序设计语言，分别。检查框架，以及分布式算法的编写和它们的安全性和活性属性的规范，使用DistAlgo，一种用于分布式算法的高级语言。我们给出了一个完整的可执行规范的检查框架，一个完整的例子算法和例子的安全性和活性属性。
2020-12-24 cs.DC cs.SE
Using Early Quality Assurance Metrics to Focus Testing Activities
软件或基于软件的系统和服务的测试被认为是生命周期中最耗费精力的活动之一。这尤其适用于那些不能应用高度迭代开发和持续集成的领域。已经提出了几种方法来使用测量作为提高测试有效性和效率的手段。其中大多数依赖于使用与质量保证活动无关的产品数据、历史数据或过程中数据。很少有方法使用来自早期质量保证活动的数据，如检查数据，以便集中测试活动，从而减少测试工作。本文概述了使用早期缺陷检测活动的数据的潜在好处，可能除了其他数据之外，为了集中测试活动。此外，本文概述了一个综合的检查和测试过程，并在两个案例研究的背景下进行评估。考虑到研究的局限性，结果显示测试工作量总体减少了34%，这反映了测试效率提高了约50%。
2013-12-04 cs.SE
Teaching Quality Assurance and Project Management to Undergraduate Computing Students in Pakistan
软件项目管理（SPM）和软件质量保证（SQA）是巴基斯坦教育机构本科计算机课程的关键组成部分。由于这些科目的性质，有一些问题需要讨论和解决，使教学变得更有效，学生的学习体验更愉快，他们的能力，积极参与SPM和SQA，完成学业后，进一步提高。在本文中，我们讨论了教学SPM和SQA在巴基斯坦伊斯兰堡的一个特定的机构的经验。以此为案例研究，我们强调学生的角度来看，突出固有的问题，并建议如何改善这些科目的交付。由于这些问题主要是一般性的，目的是提供讨论和建议，使学术界更广泛的计算社区受益。
2009-06-30 cs.CY cs.SE
A Large-Scale Empirical Study of Quality Assurance Practices and Gaps in AI Agents
York University（约克大学）；Polytechnique Montréal（蒙特利尔高等工程技术学院）
本研究对157个开源LLM智能体项目进行大规模实证分析，发现当前QA实践侧重于基本功能和高风险操作，覆盖率分散且安全措施不一致，强调需转向系统性的端到端验证。
2026-09-17 cs.SE
SmartDelta Methodology: Automated Quality Assurance and Optimization for Incremental System Engineering
本文介绍SmartDelta项目提出的SmartDelta方法论，一种领域无关的增量管理概念，通过六个阶段识别工程差距并发现新工具，同时展示七个工具实例。
2025-02-26 cs.SE
Rapid quality assurance with Requirements Smells
在软件开发生命周期中，糟糕的需求质量会导致昂贵的后果，特别是如果迭代很长并且反馈很晚的话。%--发现问题越快，修复成本越低。这使得明确的需要一个轻量级的需求质量违规检测机制。我们的目标是一个轻量级的静态需求分析方法，允许快速检查时，立即写下来的要求。我们将代码气味的概念作为需求气味转移到需求工程中。为了评估的好处和局限性，我们定义的要求气味，实现我们的概念，在一个原型称为Smella的气味检测和应用Smella在一系列的情况下提供的三个工业和一所大学的背景。自动检测的平均精度为59%，平均召回率为82%，具有高变异。在实际环境中的评价表明，如质量缺陷的意识的增加的好处。然而，有些气味并不明显。轻量级的气味检测可以以合理精确的方式发现许多实际相关的需求缺陷。虽然有些气味需要更清楚地定义，但气味检测提供了一种有用的方法来支持需求工程中的质量保证，例如，作为评审的补充。
2016-11-27 cs.SE
AI-Driven Tools in Modern Software Quality Assurance: An Assessment of Benefits, Challenges, and Future Directions
本研究评估AI工具融入现代软件QA流程的收益、挑战与前景，覆盖验证与确认多方面，概念验证显示生成测试用例仅8.3%抖动执行，但面临语义覆盖、LLM黑箱及验证需求等挑战。
2025-06-19 cs.AI cs.SE
On Unified Prompt Tuning for Request Quality Assurance in Public Code Review
School of Computer Science and Artificial Intelligence, Wuhan University of Technology（武汉理工大学计算机科学与人工智能学院）；School of Computer Science, Wuhan University（武汉大学计算机学院）
针对公共代码审查现有方法多聚焦审查者视角的问题，提出统一框架UniPCR，结合文本硬提示调优与代码软前缀调优，在MLM下完成开发者侧请求质量保证双任务，实验准确率优于现有最优方法。
2024-04-17 cs.AI cs.SE
Leveraging LLMs for the Quality Assurance of Software Requirements
本文评估了大型语言模型（LLM）根据 ISO 29148 标准评估软件需求质量、解释决策并提出改进版本的能力，通过与软件工程师的研究验证了该方法，强调了 LLMs 在提升软件需求质量方面的潜力。
2024-08-20 cs.SE
SOTER: A Runtime Assurance Framework for Programming Safe Robotics Systems
University of California at Berkeley, CA, USA（加州大学伯克利分校）；SRI International（SRI国际）；Microsoft（微软）
本文提出SOTER框架，通过一种编程语言和集成的运行时保证系统，为安全机器人系统提供保障，确保在使用未经认证组件时仍能满足安全要求。
2019-04-19 cs.AI cs.PL cs.RO
VibeContract: The Missing Quality Assurance Piece in Vibe Coding
York University（约克大学）
本文提出VibeContract框架，通过将高层次自然语言意图分解为任务序列并生成任务级合同，以提升LLM生成代码的正确性、鲁棒性和可维护性。
2026-03-16 cs.SE
A Construction-Phase Digital Twin Framework for Quality Assurance and Decision Support in Civil Infrastructure Projects
Intertek PSI；Bangladesh University of Engineering and Technology（孟加拉国工程与技术大学）；Pabna University of Science and Technology（帕布纳科学与技术大学）；University of Texas at Arlington（阿灵顿德克萨斯大学）
本文提出一种施工阶段数字孪生框架，通过整合多种数据流实现元素级质量保证与决策支持，提升施工期间的质量管理效率。
2026-02-18 cs.ET cs.SE
The Rise of Agentic Testing: Multi-Agent Systems for Robust Software Quality Assurance
MUFG Bank（三菱日联银行）；Cisco Systems Inc（思科系统公司）；University of North Carolina（北卡罗来纳大学）
本文提出多代理系统用于提升软件测试质量，通过闭环反馈机制实现自适应测试生成和优化，显著提高测试覆盖率并减少无效测试。
2026-01-05 cs.AI cs.SE
Quality Assurance in MLOps Setting: An Industrial Perspective
Karlstad University（卡尔斯塔德大学）；Czech Technical University in Prague（捷克技术大学布拉格分校）；Uddeholms AB（乌德霍尔姆公司）
如今，机器学习（ML）在工业中被广泛用于提供生产系统的核心功能。然而，它实际上总是在生产系统中作为更大的端到端软件系统的一部分使用，该系统由ML模型之外的其他几个组件组成。由于生产需求和时间限制，自动化软件工程实践非常适用。在制造业和公用事业等行业中越来越多地使用自动化ML软件工程实践，需要将自动化质量保证（QA）方法作为ML软件的组成部分。在这里，QA通过提供对软件任务的客观观点来帮助降低风险。虽然传统的软件工程已经为数据驱动的ML提供了自动化的QA数据分析工具，但缺乏对ML运行（MLOps）的QA实践的使用。本文探讨了QA的挑战，出现在工业MLOps和概念化的模块化战略，以处理数据完整性和数据质量（DQ）。本文附有来自工业合作伙伴的真实工业用例。该文件还提出了一些挑战，可能作为未来研究的基础。
2022-11-24 cs.AI cs.LG cs.SE
A Model-based Approach for Effective Service Delivery
随着X-as-a-Service的流行（例如，软件即服务、平台即服务、基础设施即服务等）以及用户对良好服务的需求不断增长，QoS（服务质量）保证对于服务交付变得越来越重要。传统的服务提供主要集中在功能或信息提供，并没有给予高度优先的质量保证。在本文中，我们解决的QoS保证问题的系统化的方式，从模型到系统。首先将传统服务分解为软件应用、数据和资源三个部分，然后定义这三种基本服务的模型，并提出一组服务发布和组合的操作。为了说明我们的方法，我们提出了一个原型系统，平台即服务（PaaS）系统，这是在支持我们的框架，并显示如何通过实时监控和动态扩展（向上或向下），可以确保QoS。
2016-05-31 cs.SE
Towards Agentic Test-Driven Quality Assurance for 6G Networks
Electrical and Computing Eng. Dept, NetonomIQ PC University of Patras（帕特拉斯大学电气与计算机工程系、NetonomIQ公司）
本文提出一个代理驱动的端到端 orchestration 框架，通过意图共创与测试驱动质量保证相结合，确保SLA合规性。
2026-04-25 cs.NI cs.SE
Trust Is Not a Score: Runtime Assurance Contracts for High-Risk AI Agents
Cherkasy State Business College（切尔卡瑟国立商学院）；State Scientific Research Institute of Armament and Military Equipment Testing and Certification（国家武器装备与军事装备试验认证科学研究所）；healthPrecision
针对高风险AI智能体在关键任务中证据与权限脱节的问题，提出运行时保障契约（RAC），通过强制门禁和证据记录约束行动，经故障注入实验验证其优于纯分数规则。
2026-10-19 cs.AI cs.CY cs.SE
Metamorphic Testing for Quality Assurance of Protein Function Prediction Tools
蛋白质是生命的主力，了解它们的功能对于药物设计等应用至关重要。然而，蛋白质功能的实验验证是高度消耗资源的。因此，最近，使用机器学习的自动蛋白质功能预测（AFP）获得了极大的兴趣。这些AFP工具中的许多都是基于使用现有的黄金标准功能注释训练的监督学习模型，这些注释已知是不完整的。与对AFP软件进行系统测试相关的主要挑战是缺乏测试预言机，该测试预言机确定测试用例的通过或失败;不幸的是，由于黄金标准数据的不完整性，AFP任务的确切预期结果没有很好地定义。因此，AFP工具面向\emph{oracle problem}。在这项工作中，我们使用变形测试（MT）来测试九个国家的最先进的AFP工具，通过定义一组变形关系（MR），将输入转换到蛋白质序列。根据我们的研究结果，我们观察到，几个AFP工具失败的所有测试用例引起关注的质量，他们的预测。
2019-04-16 cs.SE q-bio.QM
GBQA: A Game Benchmark for Evaluating LLMs as Quality Assurance Engineers
The University of Hong Kong（香港大学）；Independent Researcher（独立研究者）；Westlake University（西湖大学）；Datawhale Org（Datawhale组织）
本文提出GBQA基准，通过30款游戏和124个经人类验证的bug测试LLM自主发现软件缺陷的能力，实验表明最佳模型仅能识别48.39%的bug。
2026-04-03 cs.AI cs.SE
Quality Assurance for LLM-RAG Systems: Empirical Insights from Tourism Application Testing
本文通过测试旅游应用中三种 LLM-RAG 变体，提出包含 17 个指标的质量评估框架，发现新版本在响应长度和复杂性上改进更明显，为生产环境部署提供实践指导。
2025-02-09 cs.SE
Quality Assurance of LLM-generated Code: Addressing Non-Functional Quality Characteristics
Department of Computer and Information Science, Linköping University, Sweden（Linköping大学计算机与信息科学系）
研究通过文献综述、行业研讨会和实证分析，探讨LLM生成代码在安全、可维护性和性能效率等非功能性质量特性上的表现，揭示学术研究与行业需求的不匹配，强调需在代码生成流程中集成质量保障机制。
2026-03-12 cs.AI cs.SE
WALL: A Web Application for Automated Quality Assurance using Large Language Models
Faculty of Engineering（工程学院）；Applied Science Ontario Tech University（应用科学Ontario技术大学）
本文提出了WALL，一个集成SonarQube和大型语言模型（如GPT-3.5 Turbo和GPT-4o）的Web应用程序，通过问题提取、代码修订和比较三个模块实现软件问题的自动检测、修订与评估，实验证明其能减少人工并降低成本。
2025-09-12 cs.AI cs.SE
A Case-Based Look at Integrating Social Context into Software Quality
确保高质量的软件需要考虑部署和使用应用程序的社会环境。这可以通过设计与不断变化的社会和伦理环境相一致的质量目标来实现。使用技术决定论的原则，本文提出了三个案例，说明为什么它是越来越重要的集成到软件设计和质量保证这些问题。考虑到这些例子，本文解释了如何在软件设计和质量保证实践中考虑技术决定论，以在实践层面上实现这种增强的敏感性。
2015-12-09 cs.SE
Inspection and Test Process Integration Based on Explicit Test Prioritization Strategies
今天的软件质量保证技术通常是孤立应用的。因此，系统地整合不同的质量保证活动所产生的协同作用往往没有得到利用。这样的组合承诺的好处，如减少质量保证工作或更高的缺陷检测率。例如，检查和测试的一体化可用于指导测试活动。例如，测试活动可以根据检查结果集中在容易出现缺陷的部件上。现有的方法预测缺陷倾向的部分不系统地使用检查的结果。本文给出了一个综合的检查和测试方法的概述，并提出了一个初步的案例研究，旨在验证评估方法的研究设计。初步案例研究的初步结果表明，检查和测试一体化可能会产生协同作用，并显示出一种趋势，即可以根据检查结果指导测试活动。
2013-11-25 cs.SE
