Fine-grained Testing for Autonomous Driving Software: a Study on Autoware with LLM-driven Unit Testing
针对自动驾驶系统源代码细粒度测试不足的问题,本研究聚焦工业框架Autoware,分析人工与LLM生成的单元测试用例,发现人工测试覆盖率有限且LLM测试应用存在挑战,进而提出AwTest-LLM方法以提升测试覆盖率与通过率。
2025-01-16 cs.SE
Large Language Models for Unit Testing: A Systematic Literature Review
本文对截至2025年3月LLMs在单元测试中的应用进行了首次系统性文献综述,分类了测试生成等任务,讨论了模型使用与适应策略,总结了关键挑战并指出了未来研究方向。
2025-06-18 cs.SE
Unit Testing Challenges with Automated Marking
针对软件测试教学困难,本文通过EdStem平台引入带自动化评分的在线单元测试挑战,调查显示其能提升学生参与度、理解力与学习进度,是有效的教学实践。
2023-10-10 cs.SE
Testing in the Evolving World of DL Systems:Insights from Python GitHub Projects
本研究通过分析GitHub上300个精选Python深度学习项目,量化了测试自动化、测试类型、测试套件增长及测试实践演变,揭示了开源DL社区中的测试实践现状。
2024-05-30 cs.SE
Testing in Global Software Development -- A Pattern Approach
尽管测试在GSD中至关重要,但其在此背景下的应用迄今尚未得到深入研究。这项工作研究在GSD测试。它为在全球分布式环境中工作的测试管理器提供支持。这样就缩小了差距。首要的问题是“政府物料供应处在测试方面存在甚么问题,以及如何在工程中解决这些问题?“透过分析这个问题,我们可以:a)找出政府物料供应处工程项目中的测试问题;及b)提供良好的工作方法,以协助业内人士在政府物料供应处工程项目中进行测试。该研究是在德国Capgemini的背景下实现的。我们的贡献,以解决所述的研究问题是收集16个模式的GSD项目中进行测试。对于实践者来说,模式的使用被模式上的各种观点简化了。因此,我们规定研究和支持项目经理和测试经理在GSD项目中实现测试。
2021-01-27 cs.SE
A Large-scale Empirical Study on Fine-tuning Large Language Models for Unit Testing
本研究针对微调大型语言模型在单元测试中的应用进行了大规模实证研究,涵盖3个任务、5个基准和37个模型,发现微调LLMs在几乎所有指标上均优于现有最先进方法,并指出大规模decoder-only模型表现最佳,同时揭示了提示工程的巨大潜力。
2024-12-21 cs.SE
Automated Support for Unit Test Generation: A Tutorial Book Chapter
单元测试是测试的一个阶段,在这个阶段中,可以与系统的其余部分(通常是一个类)隔离测试的最小代码段被测试。单元测试通常以可执行代码的形式编写,通常采用单元测试框架(如Python的pytest)提供的格式。创建单元测试是一个时间和精力密集型的过程,其中包含许多重复的手动元素。为了说明AI如何支持单元测试,本章介绍了基于搜索的单元测试生成的概念。这种技术框架的测试输入的选择作为一个优化问题-我们寻求一组测试用例,满足测试人员的一些可衡量的目标-并释放强大的元启发式搜索算法,以确定最好的测试用例在有限的时间范围内。本章介绍了两种算法,它们可以生成pytest格式的单元测试,并针对源代码语句的覆盖率进行了调整。本章最后讨论了更高级的概念,并为进一步阅读人工智能如何在单元测试软件时支持开发人员和测试人员提供了指针。
2021-10-26 cs.AI cs.NE cs.SE
Insights from the Field: Exploring Students' Perspectives on Bad Unit Testing Practices
本文通过让三所高校184名学生使用IDE插件自动检测测试异味,考察其对不良单元测试实践的认知及插件效果,为优化测试教学和代码评审提供依据。
2024-04-15 cs.SE
Which Combination of Test Metrics Can Predict Success of a Software Project? A Case Study in a Year-Long Project Course
本研究通过为期一年的软件工程项目课程数据,利用线性混合效应建模分析发现,自动化单元测试、验收测试和手动测试的高覆盖率组合对功能适宜性有显著影响,且后端低测试与用户故事推迟存在接近显著的相关性。
2024-08-22 cs.SE
SmartUnit: Empirical Evaluations for Automated Unit Testing of Embedded Software in Industry
在本文中,我们针对嵌入式软件的自动化单元覆盖率为基础的测试。为了实现这一目标,通过分析工业需求和我们以前在自动化单元测试工具CAUT上的工作,我们重新构建了一个新的工具SmartUnit,以解决我们合作伙伴公司的工程需求。SmartUnit是一个动态符号执行实现,支持语句、分支、边界值和MC/DC覆盖。SmartUnit已经在实际项目中测试了超过一百万行代码。出于保密动机,我们选择了三个内部真实项目进行实证评估。我们还对两个开源数据库项目SQLite和PostgreSQL进行了评估,以测试我们的工具的可扩展性,因为嵌入式软件项目的规模大多不大,平均只有5 K-50 K行代码。从我们的实验结果来看,一般来说,商业嵌入式软件中90%以上的函数实现了100%的语句、分支、MC/DC覆盖,SQLite中80%以上的函数实现了100%的MC/DC覆盖,PostgreSQL中60%以上的函数实现了100%的MC/DC覆盖。此外,SmartUnit能够在单元测试级别找到运行时异常。我们还报告了SQLite中的异常,如数组索引越界和被零除。此外,我们还分析了自动化单元测试覆盖率低的原因,并对工业上手工单元测试相对于自动化单元测试的情况进行了调查。
2018-06-17 cs.SE
Towards the Systematic Testing of Virtual Reality Programs (extended version)
软件测试是确保软件符合其规范的关键活动。然而,目前的软件测试活动往往是不完全有效的,当应用在特定的软件领域在虚拟现实(VR),具有几种新的类型的功能,如图像,声音,视频,和差异化的互动,这可能成为新的故障的来源。本文概述了可能对验证、确认和测试(VV&T)产生影响的主要VR特征。此外,它还分析了一些最成功的VR开源项目,以了解缺乏软件测试活动的危险。我们比较了开源VR项目中软件测试实践的现状,并评估了缺乏测试如何损害产品的开发。我们评估了代码气味的发生率,并验证了这些项目如何表现出故障的倾向。结果表明,软件测试的实践在虚拟现实应用程序的开发中还没有得到广泛的应用。研究还发现,VR项目中代码气味的发生率很高。关于故障倾向,结果显示,在VR项目中分析的类中,约有12.2%是故障倾向。关于软件测试技术在VR项目中的应用,据观察,只有少数项目关注为VR项目开发测试用例,可能是因为我们仍然没有必要的工具来帮助这一方向。关于气味,我们得出的结论是,在VR项目中有很高的发生率,特别是在实施气味方面,这种高发生率可能会对故障产生重大影响。最后,与故障倾向相关的研究指出,缺乏软件测试活动是项目成功的一个重大风险。
2020-09-18 cs.SE
Engaging Developers in Exploratory Unit Testing through Gamification
本文提出在 IDE 中使用 Gamekins 通过挑战和任务引导探索性单元测试,实验表明其可提升覆盖率、缺陷检测效果与开发者参与度。
2024-08-09 cs.SE
TUnit - Unit Testing For Template-based Code Generators
基于模板的代码生成器开发作为模型驱动开发(MDD)的一部分,需要强大的机制和工具来支持开发人员提高健壮性,即,为指定的输入生成期望的代码。尽管已经提出了不同的测试方法,但是仍然缺乏一种方法,该方法仅测试基于模板的代码生成器的一部分,并且可以在开发的早期阶段使用。因此,在本文中,我们提出了一种方法和基于JUnit的测试基于模板的代码生成器的实现。它不是测试一个完整的代码生成器,而是通过模拟环境支持模板的执行来简化部分测试。这简化了在开发的早期阶段对代码生成器的测试以及对代码生成器的新部件或更改部件的测试。为了测试由被测模板生成的源代码,提出了不同的方法,包括字符串比较,基于API的断言,和基于抽象语法树的断言。
2016-06-15 cs.SE
Testing Multi-Subroutine Quantum Programs: From Unit Testing to Integration Testing
本文针对多子程序量子程序的测试需求,提出从单元到集成测试的完整测试准则与技术,涵盖IO分析、关系检查、结构及行为测试等,并通过变异体和随机输入验证了方法的有效性。
2024-05-24 cs.SE quant-ph
ProbTest: Unit Testing for Probabilistic Programs (Extended Version)
本文提出黑盒单元测试方法 ProbTest,基于优惠券收集者问题自动确定概率程序所需测试次数并提供统计保证,以 PyTest 插件实现,并在 Gymnasium 和随机数据结构案例中评估。
2025-09-02 cs.SE
Taming the Beast: Fully Automated Unit Testing with Coyote C++
本文提出 Coyote C++,一个面向 C 和 C++ 的全自动化白盒单元测试工具,结合 concolic 执行引擎与自动化测试套件生成,实现高覆盖率与高速测试,并支持手动优化,使 C++ 自动化测试在工业应用中真正可行。
2024-01-04 cs.PL cs.SE
Software Design Document, Testing, Deployment and Configuration Management of the UUIS--a Team 2 COMP5541-W10 Project Approach
UUIS的软件设计文档描述了系统架构、数据库层、部署和配置细节的原型设计细节,以及在设计和实现原型时产生的测试用例。UUIS的需求规范详见arXiv:1005.0783。
2010-05-07 cs.SE
TestART: Improving LLM-based Unit Testing via Co-evolution of Automated Generation and Repair Iteration
TestART通过生成与修复的协同进化,利用模板修复、覆盖率反馈和正向提示注入,提升LLM单元测试的通过率与覆盖率。
2025-03-31 cs.SE
Harnessing the Power of LLMs: Automating Unit Test Generation for High-Performance Computing
University Of Houston(休斯顿大学);Kent State University(肯特州立大学)
针对高性能并行科学软件单元测试成本高、现有工具效果差的问题,本文利用 Davinci 与 ChatGPT 为 C++ 并行程序自动生成单元测试,验证了 LLM 的有效性及局限。
2024-07-06 cs.AI cs.SE
Unit verification procedure as a test of real time messaging-based processes
本文介绍了与安全关键医疗器械测试相关的博士研究的第一批结果:匈牙利医疗器械制造商系统执行的案例研究。本文简要介绍了目前正在使用的测试过程。强调了软件行业中不太常用的测试方法的元素。案例研究中实际测试过程的终点是进一步研究的起点:测试结果的自动化分析。作者开始开发一种新的方法,使用工具的组合,并建模一个基于模型的测试生成工具-这是既新颖又密集的研究领域。
2014-04-27 cs.SE
Machine Learning Experiences: A story of learning AI for use in enterprise software testing that can be used by anyone
IBM Systems(IBM系统)
本文分享软件测试团队的机器学习实践历程,介绍一套含数据处理、模型选择训练评估等步骤的通用ML工作流,证明其可帮助各类项目有效应用机器学习技术。
2025-06-25 cs.AI cs.SE
Supporting acceptance testing in distributed software projects with integrated feedback systems: Experiences and requirements
在验收测试过程中,客户评估系统是否满足他们的期望,并经常发现应该改进的问题。这些发现必须传达给开发人员,我们观察到这是一项容易出错的任务,特别是在分布式团队中。在这里,通常不可能让每个站点的开发人员代表参加测试。不在场的开发人员可能会误解没有充分记录的结果。这阻碍了问题的解决,并危及客户满意度。集成反馈系统有望缓解这一问题。它们允许轻松捕获结果及其背景。正确应用,这种技术可以改善反馈,同时减少客户的努力。本文收集了我们的经验,比较验收测试与反馈系统,在分布式项目。我们的研究结果表明,如果满足某些要求,这种技术可以提高验收测试。我们确定了反馈系统应该满足的关键要求,以支持验收测试。
2014-09-01 cs.SE
TestMiner: Software Testing Analysis for GitHub Repositories
UFMG(米纳斯吉拉斯联邦大学);University of Sheffield(谢菲尔德大学);University of Bordeaux, CNRS(波尔多大学,法国国家科学研究中心)
研究针对软件系统测试特性差异带来的理解困难,提出TestMiner工具,可提供项目测试实践概述。通过本科课程中50名学生使用该工具探索真实仓库测试实践,学生反馈良好,此为其主要贡献。
2026-07-15 cs.SE
IntelliGame in Action: An Experience Report on Gamifying JavaScript Unit Tests
本研究将原面向Java的游戏化插件IntelliGame定制适配至JavaScript单元测试场景,通过152名参与者使用Jest框架的对照实验,验证了其普适性并分析了对测试行为与开发者体验的影响,为JavaScript测试方法优化提供参考。
2024-03-06 cs.SE
Coyote C++: An Industrial-Strength Fully Automated Unit Testing Tool
本文介绍了Coyote C++,一款基于混合符号执行的工业级C和C++全自动化单元测试工具,它无需用户参与即可一键完成测试生成与执行,持续达到约90%的代码覆盖率。
2023-10-23 cs.PL cs.SE
Software Design Document, Testing, Deployment and Configuration Management, and User Manual of the UUIS -- a Team 4 COMP5541-W10 Project Approach
本文件描述了统一大学库存系统-门户网站的技术设计。本文档的主要目的是描述如何实现业务需求的技术远景。本文档提供了系统的架构概述,以描述系统的不同方面。本文档还可作为开发人员的基本参考点。
2010-05-02 cs.SE
Memory Error Detection in Security Testing
我们研究了10个使用静态分析安全测试工具的C/C++项目。我们分析了该工具生成的历史扫描报告,并研究了与内存相关的警报出现的频率。我们还研究了开发人员对这些警报的后续操作。我们还查看了在研究时间轴内为这些项目发布的CVE,并调查其中有多少与记忆相关。此外,对于这个项目之一,Linux,我们调查,如果所涉及的漏洞在CVE被确定的研究安全工具时,他们第一次被引入到代码中。我们发现在静态分析安全测试期间经常检测到与内存相关的警报。然而,根据项目开发人员监控工具警报的积极程度,这些错误可能需要数年时间才能修复。对于10个研究项目,我们发现记忆警报修复前的平均寿命为77天。我们还发现,大约40%的研究C/C++项目的已发布的CVE与内存有关。与非内存CVE相比,这些内存CVE具有更高的CVSS严重性等级和公开漏洞利用脚本的可能性。我们还发现,在静态分析安全测试期间,只有2.5%的Linux CVE可能被检测到。
2021-04-09 cs.SE
Extreme mutation testing in practice: An industrial case study
变异测试用于评估测试集的有效性。近年来,出现了一种称为极端突变测试的有前途的变化,这种变化在计算上更便宜。它标识了可以完全删除其功能的方法,并且测试套件不会注意到它,尽管有覆盖率。这些方法被称为伪测试。在本文中,我们比较了传统和极端突变测试的执行和分析时间,并讨论了它们在实践中的意义。我们将研究极端突变测试如何影响当前的软件开发实践,并讨论需要解决的开放性挑战,以促进行业采用。为此,我们进行了一个工业案例研究,包括在半导体行业的一个大型软件项目中运行传统和极端突变测试,该项目由超过11,000个单元测试的测试套件覆盖。除此之外,我们还对25个伪测试方法进行了定性分析,并采访了两个有经验的开发人员,看看他们是如何编写单元测试的,并收集了关于极端突变测试结果的有用性的意见。我们的结果包括执行时间,分数,执行的测试和mutator的数量,为什么方法是伪测试的原因,以及采访摘要。我们的结论是,较短的执行和分析时间是很明显的,在实践中,极端的突变测试补充编写单元测试与代码覆盖工具。我们建议,伪测试的代码应突出显示在代码覆盖率报告,极端的突变测试应在编写单元测试,而不是在一个解耦的会话。未来的研究应该研究如何在编写单元测试时执行极端突变测试,以便结果足够快但仍然有意义。
2021-03-15 cs.SE
KompicsTesting - Unit Testing Event Streams
在本文中,我们提出了KompicsTesting,一个框架的单元测试组件的Kompics组件模型。Kompics中的组件是事件驱动的实体,它们仅通过消息传递进行异步通信。与Actor模型中的Actor类似,它们在消息传递中不共享其内部状态,与使用共享状态的其他并发模型相比,这使得它们更不容易出错。然而,它们既不能避免简单的逻辑和规范错误,也不能避免诸如源于非确定性的数据字符之类的错误。因此,需要一种工具,能够以类似于用于函数和模块化段代码的xUnit框架的方式,对消息传递组件进行快速和迭代的开发和测试。这些框架以命令式的方式工作,不适合测试消息传递组件,因为这些组件的行为被编码在它们发送和接收的消息流中。在这项工作中,我们提出了一个理论框架,用于描述和验证消息传递组件的行为,独立的模型和框架实现,以类似于使用正则表达式描述字符流的方式。我们展示了如何使用这种方法来执行黑盒和白盒测试的组件,并说明其可行性,通过设计和实现基于这种方法,KompicsTesting的原型。
2017-05-12 cs.SE
On Extracting Unit Tests from Interactive Programming Sessions
软件工程方法论建议开发人员应该捕获他们的努力,以确保程序在可重复和自动化的工件中正确运行,例如单元测试。然而,当从探索性测试到脚本测试的范围内观察开发人员活动时,我们发现许多工程活动都包括探索性测试的爆发。在本文中,我们建议利用这些探索性的测试突发自动提取脚本测试从这些会话的记录。为了做到这一点,我们窃听开发环境,这样我们就可以记录所有的程序输入,所有用户发出的函数调用,以及探索性测试会话的所有程序输出。然后,我们建议使用机器学习(即聚类)从这些记录中实时提取脚本测试用例。我们概述了两个早期原型,一个是静态的,一个是动态的。我们通过例子概述了这个想法如何融入编程的更大研究方向。
2012-12-08 cs.SE
Software Design Document, Testing, and Deployment and Configuration Management of the UUIS - a Team 1 COMP5541-W10 Project Approach
该文件详细介绍了为Arctica虚拟大学实施统一大学库存系统的设计。该文档通过大量的图表和UI示例,给出了系统的结构及其模块的功能。它还提供了支持系统架构和设计的测试用例和报告。
2010-05-04 cs.SE
DDTS: A Practical System Testing Framework for Scientific Software
许多科学软件项目对其代码的测试不充分,或者根本没有测试。尽管其众所周知的好处,采用常规测试往往并不容易。开发团队可能对建立有效的测试过程、编写测试软件或处理日益复杂的测试用例有疑问。它们可能需要在受限的HPC平台上运行(和测试)。他们几乎肯定会面临时间和预算的压力,这可能会使测试在他们的待办事项列表的底部徘徊。本文介绍了DDTS,一个用于构建测试套件应用程序的框架,旨在满足科学软件项目的需求。DDTS旨在简化严格测试的引入,并随着需求的成熟而缓解成长的烦恼。它将测试问题分解为实用、直观的阶段;易于配置和扩展;可移植且适用于HPC平台;并利用并行性。DDTS目前用于自动化回归和开发人员预提交测试,用于具有不同测试需求的几个科学软件项目。
2014-11-07 cs.SE
A Large-Scale Study on the Usage of Testing Patterns that Address Maintainability Attributes (Patterns for Ease of Modification, Diagnoses, and Comprehension)
测试用例的可维护性是一个重要的问题,特别是在开源和分布式开发环境中,项目通常具有不同背景和经验的高贡献者流动率,并且代码所有权经常变化。与设计模式类似,单元测试的模式促进了可维护性质量属性,例如诊断的容易性、可修改性和可理解性。在本文中,我们报告了一个大规模的研究结果的使用四个xUnit测试模式,可用于满足这些可维护性属性。这是一项首创的研究,它开发了自动化技术来调查82,447个开源项目中的这些问题,研究结果为开源项目中的测试实践提供了更多的见解。我们的研究结果表明,只有17%的项目有测试用例,在我们研究的251个测试框架中,有93个被使用。我们发现,24%的测试文件项目实现了有助于可维护性的模式,而其余的项目没有使用这些模式。多个定性分析表明,模式的使用是个别开发人员的临时决定,而不是由项目的特点,开发人员有时使用替代技术来解决可维护性问题。
2017-04-27 cs.SE
Change Impact Analysis Based Regression Testing of Web Services
PDPM Indian Institute of Information Technology, Design and Manufacturing Jabalpur(PDPM印度信息技术设计与制造学院贾巴尔普尔)
减少在Web服务中进行更改所需的工作量是Web服务项目维护和发展的主要目标之一。通常,Web服务的功能和非功能测试是通过测试WSDL中指定的操作来执行的。回归测试是通过识别之后对Web服务代码和WSDL所做的更改来执行的。在这篇论文中,我们提出了一个工具支持的方法来执行有效的回归测试的Web服务。通过将Web服务表示为WSDL元素的有向图,我们识别并收集图中更改的部分,并使用此信息来减少回归测试工作。具体来说,我们识别,分类,并捕获Web服务测试需求的两种不同的方式,即,Web服务的操作化回归测试(ORTWS)和Web服务的参数化回归测试(PRTWS)。这两种方法可以结合起来,以减少Web服务项目中的回归测试工作。所提出的方法是原型作为一个工具,命名为自动Web服务变更管理(AWSCM),这有助于在选择相关的测试用例构建减少测试套件从旧的测试套件。我们提出了一些案例研究不同的Web服务项目,以证明所提出的工具的适用性。还估计了Web服务回归测试工作量的减少。
2014-08-07 cs.AI cs.DC cs.SE
Integrating a large-scale testing campaign in the CK framework
我们考虑在程序设计语言研究中进行大型实验活动的问题。大多数研究工作都需要对结果进行一定程度的记录。这可以通过快速、动态的基础设施实施进行管理。然而,对于大规模的测试计划来说,这就成了一个问题,特别是随着项目需求的不断发展。我们看看如何集体知识广义测试框架可以帮助这样一个项目,其整体的适用性和易用性。这个项目是一个OpenCL编译器测试活动。我们研究如何使用集体知识框架来领导实验活动,通过提供测试用例及其结果的存储和表示。我们还提供了一个公开的初始实现。
2016-01-08 cs.SE
JUGE: An Infrastructure for Benchmarking Java Unit Test Generators
研究人员和实践者已经设计并实现了各种自动化测试用例生成器来支持有效的软件测试。这样的生成器存在于各种语言(例如,Java、C#或Python)和各种平台(例如,桌面、网络或移动应用程序)。这种发生器表现出不同的有效性和效率,这取决于它们旨在满足的测试目标(例如,库的单元测试与整个应用程序的系统测试)以及它们实现的底层技术。在这种情况下,从业人员需要能够比较不同的发电机,以确定最适合他们的要求,而研究人员寻求确定未来的研究方向。这可以通过系统地对不同发电机进行大规模评估来实现。然而,进行这种经验性评价并非易事,需要作出大量努力来收集基准,建立评价基础设施,并收集和分析结果。在本文中,我们介绍了我们的JUnit生成基准测试基础设施(JUGE)支持生成器(例如,基于搜索、基于随机、符号执行等)寻求自动化用于各种目的的单元测试的产生(例如,验证、回归测试、故障定位等)。其主要目标是通过标准化评估和比较过程,减少总体工作量,简化几个发电机的比较,并加强学术界和工业界之间的知识转移。自2013年以来,与基于搜索的软件测试研讨会一起举办的单元测试工具竞赛已经举办了八届,并使用和更新了JUGE。因此,越来越多来自学术界和工业界的工具(超过十种)在JUGE上进行了评估,这些工具多年来已经成熟,并可以确定未来的研究方向。
2022-10-28 cs.SE
Knowledge Matters: Injecting Project and Testing Knowledge into LLM-based Unit Test Generation
Sun Yat-sen University(中山大学)
本文提出KTester框架,通过整合项目特定知识和测试领域知识,提升基于大语言模型的单元测试生成能力,实验表明其在多个关键指标上优于现有方法,提高了测试通过率和覆盖率,且生成的测试更易读易维护。
2026-06-04 cs.SE
Software Design Document, Testing, Deployment and Configuration Management of the IUfA's UUIS -- a Team 3 COMP5541-W10 Project Approach
本文件的目的是提供有关的技术规格,设计的大学统一库存系统-门户网站,的UIfA。开发团队使用反馈瀑布方法在面向对象的范例下构建系统。遵循的架构模型是模型-视图-控制器,在数据库和模型之间混合了映射器层。在系统开发中使用的一些模式是观察者模式,命令模式和映射器模式。
2010-05-05 cs.SE
UniTSyn: A Large-Scale Dataset Capable of Enhancing the Prowess of Large Language Models for Program Testing
UC Davis(加州大学戴维斯分校);Tencent Security Big Data Lab(腾讯安全大数据实验室)
本文提出大规模数据集UniTSyn,通过语言服务器协议收集270万焦点-测试对,增强大型语言模型生成单元测试的准确性与覆盖率。
2024-02-04 cs.AI cs.CL cs.CR
Toward Automated Virtual Electronic Control Unit (ECU) Twins for Shift-Left Automotive Software Testing
University of Applied Sciences Esslingen(埃斯林根应用科技大学);NUVUS GmbH(NUVUS有限公司)
本研究提出一种自动化虚拟ECU双胞胎方法,通过代理驱动的工作流和反馈机制,实现早期软件测试和集成,提升测试的可重复性和安全性。
2026-02-20 cs.SE
Software Testing Education and Industry Needs - Report from the ENACTEST EU Project
RISE Research Institutes of Sweden(瑞典RISE研究院);INESC TEC, Faculty of Engineering, University of Porto(波尔图大学工程学院INESC TEC);AE nv(AE公司);NEXO QA(NEXO QA公司);LIRIS, KU Leuven(荷语鲁汶大学LIRIS实验室)
本研究通过焦点小组、访谈和范围综述,调查了软件测试的行业能力需求与教育差距,发现AI测试、安全测试和软技能方面存在明显不足,并提出了改进建议。
2025-10-16 cs.SE
Unit Testing, Model Validation, and Biological Simulation
软件行业的发展与确保复杂软件可靠性的工具和文化实践的发展齐头并进。这些工具和实践现在被认为是现代软件管理的基本要素。随着计算模型和方法在生物科学中越来越普遍,研究这些实践如何加速生物软件开发和提高研究质量是很重要的。在这篇文章中,我们给出了一个集中的案例研究,我们的经验与实践的单元测试和测试驱动的开发OpenWorm,一个开放的科学项目,旨在建模秀丽隐杆线虫。我们确定和讨论的挑战,将测试驱动的开发到一个异构的,数据驱动的项目,以及模型验证测试的作用,一类独特的软件,表达科学模型的测试。
2017-03-05 cs.SE q-bio.QM
The Impact of Defect (Re) Prediction on Software Testing
针对跨项目缺陷预测中Bandit Algorithm早期易选到不合适数据而遗漏缺陷的问题,提出测试后再预测并重新测试相关模块的方法,实验表明其可在不降低准确率的同时稳定减少缺陷遗漏。
2024-09-10 cs.SE
What Do Contribution Guidelines Say About Software Testing?
Department of Computer Science, UFMG(计算机系,巴西联邦大学)
本文通过分析200个开源项目贡献指南,发现78%的项目提供测试文档,其中多数位于CONTRIBUTING文件中,但关于编写测试的指导较少,单元测试覆盖率较高,而集成和端到端测试较少被提及。
2026-02-03 cs.SE
On the Feasibility of Quantum Unit Testing
本文通过179万余个变异量子电路实证比较统计测试与量子中心测试,证明状态向量测试和逆测试在精度与效率上优于传统方法,为量子软件单元测试提供了更可靠的策略。
2025-07-23 cs.SE quant-ph
Did You Remember to Test Your Tokens?
身份验证是确认系统用户身份的关键安全功能,通常在Spring Security等框架的帮助下实现。这是一个复杂的功能,应该在开发的所有阶段进行可靠的测试。单元测试是一种有效的技术,用于细粒度验证未广泛用于测试身份验证的特征行为。部分问题在于帮助开发人员进行单元测试安全特性的资源有限。大多数安全测试指南推荐的测试用例都是从“黑盒”或渗透测试的角度出发的。这些资源对于编写新的单元测试的开发人员,或者想要从安全性的角度来看待覆盖率的开发人员来说并不容易。在本文中,我们通过应用一种基于理论的方法来解决这些问题,通过分析来自53个开源Java项目的481个JUnit测试来识别令牌身份验证的常见(单元)测试用例。本研究的结果是一个开发人员友好的单元测试指南,该指南被组织为53个令牌身份验证测试用例的目录,代表了从我们分析的数据集中学习到的17个场景、40个条件和30个预期结果的独特组合。我们在测试指南中补充了常见的测试气味,以避免。为了验证测试指南的准确性和实用性,我们从选定的开发人员那里寻求反馈,其中一些人在我们的数据集中编写了单元测试。
2020-06-25 cs.SE
Assessing and Improving the Mutation Testing Practice of PIT
突变测试被广泛用于支持软件工程研究的实验。由于现代工具可以自动化整个突变分析过程,因此它可以应用于现实世界的项目。然而,流行的突变测试工具使用一组限制性的突变体,不符合突变测试文献所支持的社区标准。这可能是有问题的,因为突变的有效性取决于它的突变体。因此,我们研究如何有效的突变体的一个流行的突变测试工具,命名为PIT,相比全面的,从文献和个人经验。我们表明,全面的突变体是很难杀死和编码的故障没有被捕获的突变体的PIT的范围为11%至62%的Java类的考虑项目。
2016-01-11 cs.SE
Multi-Agent LLM Collaboration for Unit Test Generation via Human-Testing-Inspired Workflows
Nanjing University of Science and Technology(南京理工大学);Nanjing University(南京大学);Huawei Cloud Computing Technologies Co., Ltd.(华为云计算技术有限公司)
研究针对现有基于大语言模型的单元测试生成方法的局限,提出TestAgent,通过多智能体协作机制模拟人工测试,设计专门智能体、配备工具API并构建知识图谱,在Java项目实验中取得优异结果,性能优于基线和搜索工具。
2026-07-13 cs.SE
An Abstract Framework for Choreographic Testing
我们发起了一个模型驱动的消息传递系统的测试框架的发展。通信系统测试的概念不能简单地从现有的建议中借用。因此,我们形式化的概念,合适的分布式测试给定的编排和设计的算法,生成测试的投影的全局视图。我们的算法从实际的投影操作中抽象出来,我们只设置了基本的要求。该算法可以通过重用现有的投影操作(旨在生成全局模型的本地实现)来实例化,因为它们满足我们的要求。最后,我们证明了该方法的正确性,并通过一个说明性的例子验证我们的方法。
2020-09-17 cs.FL cs.SE
Mock Deep Testing: Toward Separate Development of Data and Models for Deep Learning
针对深度学习数据与模型难以独立测试的问题,提出Mock深度测试方法及KUnit框架,通过模块化分解和Mock依赖建模实现组件单元测试,有效识别并解决问题,提升开发效率。
2025-02-11 cs.SE
Improving the Technical Aspects of Software Testing in Enterprises
许多软件开发项目由于质量问题而失败。软件测试能够创建高质量的软件产品。由于这是一项繁琐而昂贵的任务,而且往往难以管理,因此其技术背景和组织实施都必须有充分的基础。我们与开发软件的区域公司合作,以了解他们在测试方面的明显弱点和优势。通过分析和比较优势,我们得出了最佳实践。在本文中,我们解释了该项目的背景和素描的设计科学研究方法论使用。然后,我们介绍了一个图形分类框架,帮助企业判断建议的适用性。最后,我们提出了五个技术方面的测试建议的细节。对于每一个建议,我们给出了基于分类框架的实施建议。
2010-11-02 cs.SE
WIP: A Unit Testing Framework for Self-Guided Personalized Online Robotics Learning
University of Nevada, Reno(内华达大学雷诺分校);University of Puerto Rico, Arecibo(波多黎各大学阿雷西博分校);East Carolina University(东卡罗来纳大学)
针对传统在线机器人编程学习反馈不足、教学资源有限的问题,本研究开发整合单元测试系统的课程工作流,提供实时反馈,支持学生自主调试学习,打造个性化交互式学习环境。
2024-05-18 cs.HC cs.RO cs.SE
Planning Activities in Software Testing Process: A Literature Review and Suggestions for Future Research
软件测试过程由计划后实施的活动组成,包括记录相关测试活动。为了能够清楚地看到软件的质量、可靠性程度、是否准备好交付、有效性程度以及测试的剩余量,必须应用测试过程。这些过程中最重要的阶段之一是测试计划活动。在软件项目中,测试计划活动直接影响项目的成功。在本研究中,软件测试的过程,以及在这个过程中进行的测试计划活动首先通过文献综述清楚地展示出来。随后,确定了一个基本的软件测试过程和测试计划过程,并逐步进行了说明。这样做的目的是从不同的角度深入了解考试规划活动,并提高对这一专题的认识。研究结果表明,目前软件测试规划活动应用不充分,软件测试人员、专家或研究人员对测试规划方法的细节缺乏足够的了解,这种情况对软件项目的交付和成本造成了非常严重的负面影响。最后,对课题进行了详细的讨论,并给出了一些结论和建议,供从事软件测试的人员参考。在这一点上,本研究有望贡献文献。
2019-02-09 cs.SE
Automated Generation of Computer Graded Unit Testing-Based Programming Assessments for Education
代码的自动评估,特别是支持教育,是包括在几个学习管理系统(LMS)的一个重要功能,至少在某种程度上。可以设计几种类型的评估,例如要求“填充以下代码”,“编写一个函数”或“纠正以下程序中的错误”的练习。教师的一个困难是创建这样的编程练习,特别是当它们有些复杂时。事实上,教师需要编写练习陈述,思考解决方案,并提供平台评分所需的所有额外信息。另一个困难发生时,教师想使用他们的练习在另一个LMS平台。由于还没有标准的方法来定义和描述编码练习,教师必须将他们的练习重新编码到其他LMS中。本文提出了一种工具,可以自动生成编程练习,从一个单一的和唯一的描述,并可以解决在几个程序设计语言。生成的练习可以由同一平台自动评分,为用户提供智能反馈,以支持他们的学习。本文重点介绍并详细介绍了基于单元测试的练习,并提供了对该平台未来可能生成的新类型练习的见解,以及一些额外的开发。
2019-11-27 cs.SE