TestART: Improving LLM-based Unit Testing via Co-evolution of Automated Generation and Repair Iteration
TestART通过生成与修复的协同进化,利用模板修复、覆盖率反馈和正向提示注入,提升LLM单元测试的通过率与覆盖率。
2025-03-31 cs.SE
Combining Type Inference and Automated Unit Test Generation for Python
University of Passau(帕绍大学);JetBrains Research(JetBrains 研究)
研究针对Python动态类型语言缺乏类型信息阻碍单元测试生成的问题,通过在Pynguin框架扩展类型跟踪,利用测试执行提取类型信息,实现推断参数类型、记录返回值类型并增加代码覆盖率,提升了分支覆盖率和变异分数。
2026-09-21 cs.SE
Taming the Beast: Fully Automated Unit Testing with Coyote C++
本文提出 Coyote C++,一个面向 C 和 C++ 的全自动化白盒单元测试工具,结合 concolic 执行引擎与自动化测试套件生成,实现高覆盖率与高速测试,并支持手动优化,使 C++ 自动化测试在工业应用中真正可行。
2024-01-04 cs.PL cs.SE
Toward Automated Virtual Electronic Control Unit (ECU) Twins for Shift-Left Automotive Software Testing
University of Applied Sciences Esslingen(埃斯林根应用科技大学);NUVUS GmbH(NUVUS有限公司)
本研究提出一种自动化虚拟ECU双胞胎方法,通过代理驱动的工作流和反馈机制,实现早期软件测试和集成,提升测试的可重复性和安全性。
2026-02-20 cs.SE
Towards Automated Support for the Co-Evolution of Meta-Models and Grammars
针对混合建模工具中元模型与语法协同演化的需求,研究梳理现有工具挑战,提出扩展Xtext生成器、半自动转换Python风格语言的方法,并开发GrammarOptimizer方案支持多风格语言快速原型与二者协同演化。
2023-12-10 cs.SE
Comments on Improving Transferability Between Different Engineering Stages in the Development of Automated Material Flow Modules
在D. Regulin等人(IEEE Trans. On Automation Science and Engineering,vol. 13,no. 4,1422-1432,2016年10月)的作者声称,他们提出了一种用于自动物料流模块(aMFM)建模的元模型和一种用于aMFM的模型驱动设计方法。在这封信中,我们提出的元模型和建议的模型驱动的方法就其潜在的开发。我们提出了具体的论点,并提出的情况下,呼吁作者的设计决策受到质疑。
2016-12-13 cs.SE
Improving The Effectiveness of Automatically Generated Test Suites Using Metamorphic Testing
自动化测试生成有助于降低软件测试的成本。然而,为这些自动生成的测试输入开发有效的测试预言机是一项具有挑战性的任务。因此,大多数自动化测试生成工具使用的是一些琐碎的预言机,这些预言机降低了这些自动生成的测试用例的故障检测效率。在这项工作中,我们提供了一个实证研究的结果表明,利用变形关系可以提高自动生成的测试用例的故障检测效率。
2020-04-18 cs.SE
Coyote C++: An Industrial-Strength Fully Automated Unit Testing Tool
本文介绍了Coyote C++,一款基于混合符号执行的工业级C和C++全自动化单元测试工具,它无需用户参与即可一键完成测试生成与执行,持续达到约90%的代码覆盖率。
2023-10-23 cs.PL cs.SE
AlloyInEcore: Embedding of First-Order Relational Logic into Meta-Object Facility for Automated Model Reasoning
本研究提出工具AlloyInEcore,将一阶关系逻辑嵌入元对象设施,支持指定带静态语义的元模型,可自动检测模型不一致、补全部分模型,已在三个汽车领域工业案例中验证有效。
2024-03-05 cs.PL cs.SE
Real-World Fault Detection for C-Extended Python Projects with Automated Unit Test Generation
University of Namur(南纳穆尔大学);University of Passau(帕绍大学);JetBrains Research(JetBrains研究院);Delft University of Technology(代尔夫特理工大学)
本研究提出通过分离测试生成过程的生成与执行阶段,利用子进程执行技术提升C扩展Python项目中故障检测的覆盖率和准确性。
2026-03-06 cs.SE
Automated Generation of Computer Graded Unit Testing-Based Programming Assessments for Education
代码的自动评估,特别是支持教育,是包括在几个学习管理系统(LMS)的一个重要功能,至少在某种程度上。可以设计几种类型的评估,例如要求“填充以下代码”,“编写一个函数”或“纠正以下程序中的错误”的练习。教师的一个困难是创建这样的编程练习,特别是当它们有些复杂时。事实上,教师需要编写练习陈述,思考解决方案,并提供平台评分所需的所有额外信息。另一个困难发生时,教师想使用他们的练习在另一个LMS平台。由于还没有标准的方法来定义和描述编码练习,教师必须将他们的练习重新编码到其他LMS中。本文提出了一种工具,可以自动生成编程练习,从一个单一的和唯一的描述,并可以解决在几个程序设计语言。生成的练习可以由同一平台自动评分,为用户提供智能反馈,以支持他们的学习。本文重点介绍并详细介绍了基于单元测试的练习,并提供了对该平台未来可能生成的新类型练习的见解,以及一些额外的开发。
2019-11-27 cs.SE
MR-Scout: Automated Synthesis of Metamorphic Relations from Existing Test Cases
The Hong Kong University of Science and Technology(香港科技大学);The University of Auckland(奥克兰大学)
MR-Scout通过分析开源项目中的测试用例自动合成元变换关系,提升测试覆盖率和变异评分,验证了其在自动化测试中的有效性。
2026-04-11 cs.SE
Automated Summarization of Software Documents: An LLM-based Multi-Agent Approach
Hanoi University of Science and Technology(河内科学技术大学);University of L’Aquila(拉奎拉大学)
提出基于大语言模型的多智能体系统Metagente,采用师生架构协作生成软件文档摘要,在真实数据集上优于基线方法,提升需求分析和技术文档的摘要效果。
2026-06-24 cs.SE
LLMs for Automated Unit Test Generation and Assessment in Java: The AgoneTest Framework
University of Bari, Bari, Italy(巴里大学)
AgoneTest框架通过标准化评估流程,评估大型语言模型生成的Java单元测试质量,展示其在覆盖率和缺陷检测上的表现,并探讨提示策略对测试质量的影响。
2025-11-26 cs.AI cs.SE
AutoMT: A Multi-Agent LLM Framework for Automated Metamorphic Testing of Autonomous Driving Systems
School of Computing, Macquarie University(麦考瑞大学计算学院);Automotive Engineering Research Institute, Jiangsu University(江苏大学汽车工程研究院);School of Science, Computing and Emerging Technologies, Swinburne University of Technology(斯威本科技大学科学、计算与新兴技术学院)
针对自动驾驶系统蜕变测试依赖人工、自动化不足的问题,提出由LLM驱动的多智能体框架AutoMT,可自动提取蜕变关系、生成测试用例,测试多样性和违规检测率均优于人工基线,可集成工业流程覆盖关键场景。
2025-10-22 cs.SE
Automated identification of metamorphic test scenarios for an ocean-modeling application
GEOMAR, Helmholtz Centre for Ocean Research(亥姆霍兹海洋研究中心);Kiel University(基尔大学)
变形测试试图在没有测试预言机的情况下验证软件。我们的应用领域是海洋建模,测试预言机往往不存在,但在模拟的物理系统的对称性是已知的。在这篇简短的论文中,我们提出了正在进行的工作,使用机器学习自动生成的变形测试场景。变形测试可以表示为f(g(X))=h(f(X)),其中f是被测应用,具有输入数据X,并且具有变形关系(g,h)。自动生成的变形关系可用于构造回归测试,以及用于比较同一软件应用程序的不同版本。这里,我们限制h为恒等映射。然后,构建测试的任务意味着找到我们使用机器学习算法处理的不同g。这些算法通常最小化成本函数。由于已知一个可能的g是恒等映射,为了找到第二个可能的g,我们构造了代价函数,以最小化g是变态关系,并惩罚g是恒等映射。在识别出第一变形关系之后,利用与先前找到的变形关系正交的代价函数来奖励g,重复该过程。为了进行实验评估,两个实现的海洋建模应用程序将受到所提出的方法与变形关系的使用,以测试应用程序的实现的目的。
2020-09-03 cs.LG cs.SE
Automated Regression Unit Test Generation for Program Merges
将其他分支合并到当前工作分支中在协作软件开发中很常见。然而,开发人员仍然严重依赖文本合并工具来处理复杂的合并任务。潜在的语义合并冲突可能无法被检测到,并降低软件质量。回归测试能够防止回归错误,在实际软件开发中得到了广泛的应用。然而,合并后的软件可能无法很好地检查重新运行现有的整个测试套件。直观地说,如果测试套件未能同时覆盖不同分支的更改,则合并冲突将无法被检测到。最近,有人提出对3路合并进行验证,但这种方法甚至不支持一些常见的情况,例如对程序的不同部分进行不同的更改。在本文中,我们提出了一种回归单元测试生成方法,专门用于检查程序合并,根据我们提出的测试预言。我们的通用测试预言机不仅支持我们检查3路合并,还支持2路合并和章鱼合并。考虑到项目中除了方法变更外,其他位置也可能出现冲突,本文设计了一种基于项目整体依赖性分析的UUT选择算法。在此基础上,我们实现了一个工具TOM来生成Java程序合并的单元测试。我们还设计了由389个冲突3路合并和389个冲突八达通合并组成的基准MCon 4J,以促进对该主题的进一步研究。实验结果表明,TOM发现了45个冲突的3路合并和87个冲突的章鱼合并,而基于验证的工具无法工作的MCon 4J。
2020-02-29 cs.SE
Automated Testing of Image Captioning Systems
由于深度神经网络的发展,自动生成图像(真实或合成)中显著对象的文本描述的图像描述(IC)系统在过去几年中已经取得了很大进展。IC在人类社会中扮演着不可或缺的角色,例如为科学研究标记大量照片,帮助视障人士感知世界。然而,即使是顶级的IC系统,如Microsoft Azure Cognitive Services和IBM Image Caption Generator,也可能返回不正确的结果,导致重要对象的遗漏,深刻的误解和对人身安全的威胁。为了解决这个问题,我们提出了MetaIC,\textit{first}变形测试方法来验证IC系统。我们的核心思想是,对象名称应该表现出对象插入后的方向变化。具体来说,MetaIC(1)从现有图像中提取对象以构建对象语料库;(2)通过新颖的对象搜索和位置调整算法将对象插入图像中;以及(3)报告其标题没有以预期方式表现出差异的图像对。在我们的评估中,我们使用MetaIC来测试一个广泛采用的图像描述API和五个最先进的(SOTA)图像描述模型。使用1,000个种子,MetaIC成功报告了16,825个错误问题,精度高(84.9%-98.4%)。有三种错误:分类错误、遗漏错误和数量错误。我们可视化MetaIC报告的错误,这表明灵活的重叠设置通过增加和多样化报告的错误来促进IC测试。此外,MetaIC可以进一步推广到检测训练数据集中的标签错误,其已经成功地检…
2022-06-14 cs.SE
A Survey on Feedback Types in Automated Programming Assessment Systems
University of Innsbruck(因斯布鲁克大学);University of Salzburg(萨尔茨堡大学);Johannes Kepler University Linz(林茨约翰内斯开普勒大学)
该综述针对自动化编程评估系统的反馈局限,对比三类反馈的学生接受度与效果,发现LLM反馈更能提升成绩,提出结合单元测试与AI指导以优化编程教育反馈机制。
2025-10-21 cs.SE
Automated Unit Test Refactoring
针对测试异味导致测试代码质量低、维护难及现有自动化重构方法灵活性不足的问题,提出基于LLM的上下文增强框架UTRefactor,通过思维链模拟手动重构并结合检查点机制,在6个开源Java项目测试中实现89%异味消除率,性能显著优于现有方法。
2025-02-11 cs.SE
Automated Support for Unit Test Generation: A Tutorial Book Chapter
单元测试是测试的一个阶段,在这个阶段中,可以与系统的其余部分(通常是一个类)隔离测试的最小代码段被测试。单元测试通常以可执行代码的形式编写,通常采用单元测试框架(如Python的pytest)提供的格式。创建单元测试是一个时间和精力密集型的过程,其中包含许多重复的手动元素。为了说明AI如何支持单元测试,本章介绍了基于搜索的单元测试生成的概念。这种技术框架的测试输入的选择作为一个优化问题-我们寻求一组测试用例,满足测试人员的一些可衡量的目标-并释放强大的元启发式搜索算法,以确定最好的测试用例在有限的时间范围内。本章介绍了两种算法,它们可以生成pytest格式的单元测试,并针对源代码语句的覆盖率进行了调整。本章最后讨论了更高级的概念,并为进一步阅读人工智能如何在单元测试软件时支持开发人员和测试人员提供了指针。
2021-10-26 cs.AI cs.NE cs.SE
Exploring and Lifting the Robustness of LLM-powered Automated Program Repair with Metamorphic Testing
本文提出蜕变测试框架MT-LAPR,通过九种蜕变关系生成语义等价的测试用例,系统评估并暴露LAPR技术的不稳定性,进而训练基于CodeT5的代码可读性增强模型作为预处理步骤,显著提升LAPR鲁棒性最高达49.32%。
2025-03-09 cs.SE
A System for Automated Unit Test Generation Using Large Language Models and Assessment of Generated Test Suites
Polytechnic University of Bari \& Wideverse Bari, Italy;Polytechnic University of Bari Bari, Italy;Independent Researcher;University of Bari Bari, Italy
针对现有LLM单元测试研究场景简单、规模不足、评估效率低的问题,提出自动化系统AgoneTest,实现类级测试套件生成与全流程评估,并构建新数据集支撑对比研究。
2024-08-16 cs.AI cs.SE
Enhancing Automated Unit Test Generation for NLP Libraries Using Large Language Models
Delft University of Technology(代尔夫特理工大学)
提出LLMSuite混合测试框架,结合自我改进提示与类级LLM推理,增强NLP库的自动化单元测试生成,显著提升覆盖率与突变得分。
2026-09-15 cs.SE
Leveraging Automated Unit Tests for Unsupervised Code Translation
Facebook AI Research(脸书人工智能研究院);Paris-Dauphine University(巴黎第九大学);University College London(伦敦大学学院);Facebook(脸书)
由于程序设计语言几乎没有并行数据,无监督方法非常适合源代码翻译。然而,大多数无监督机器翻译方法依赖于回译,这是在自然语言翻译的背景下开发的一种方法,并且本质上涉及对噪声输入的训练。不幸的是,源代码对微小的变化非常敏感;单个标记可能导致编译失败或错误的程序,这与自然语言不同,在自然语言中,微小的不准确可能不会改变句子的含义。为了解决这个问题,我们建议利用一个自动化的单元测试系统来过滤掉无效的翻译,从而创建一个完全测试的并行语料库。我们发现,使用此过滤数据集对无监督模型进行微调,可以显著降低如此生成的翻译中的噪声,对于所研究的所有语言对,其表现都优于最先进的技术。特别是,对于Java $\to$ Python和Python $\to$ C++,我们的性能分别比以前最好的方法高出16%和24%以上,出错率降低了35%以上。
2022-02-16 cs.CL cs.LG cs.SE
Automated Unit Test Case Generation: A Systematic Literature Review
University of Sydney(悉尼大学);University of New South Wales(新南威尔士大学);Monash University(墨尔本大学)
本文是一项关于自动化单元测试用例生成的系统性文献综述,整合了Genetic Algorithm和Particle Swarm Optimisation等进化方法的改进、局限性及面临的挑战,填补了自动化测试领域的知识空白。
2025-04-29 cs.AI cs.SE
Supporting Meta-model-based Language Evolution and Rapid Prototyping with Automated Grammar Optimization
针对模型驱动工程中DSL演化时语法需反复手动优化的问题,提出GrammarOptimizer方法,通过可配置优化规则目录实现语法自动迭代优化,减少重复工作。
2024-01-30 cs.PL cs.SE
LLMORPH: Automated Metamorphic Testing of Large Language Models
University of Auckland(奥克兰大学)
LLMORPH通过形变测试技术自动检测大型语言模型输出不一致问题,无需人工标注数据,适用于多种NLP任务和模型评估。
2026-03-24 cs.AI cs.CL cs.LG
TAM-Eval: Evaluating LLMs for Automated Unit Test Maintenance
Both authors contributed equally to this research.(共同作者)
TAM-Eval提出一个评估LLM在自动单元测试维护能力的框架和基准,通过测试套件创建、修复和更新三个场景,揭示LLM在真实测试维护中的局限性。
2026-01-26 cs.AI cs.SE
Automated Test Data Generation for Enterprise Protobuf Systems: A Metaclass-Enhanced Statistical Approach
针对企业级Protobuf系统复杂嵌套结构下测试数据生成困难的问题,提出一种结合元类动态增强与生产日志统计分析的测试生成框架,大幅提升测试效率与覆盖率。
2025-07-16 cs.CE cs.PL cs.SE
Impact of Code Context and Prompting Strategies on Automated Unit Test Generation with Modern General-Purpose Large Language Models
Lodz University of Technology(华沙理工大学);Comarch
本文研究了代码上下文和提示策略对多种大语言模型生成单元测试质量的影响,发现包含文档字符串和思维链提示效果最佳,其中Gemini 2.5 Pro表现最优。
2025-07-18 cs.AI cs.SE
Automated User Experience Testing through Multi-Dimensional Performance Impact Analysis
University of Massachusetts Dartmouth(马萨诸塞大学达特茅斯分校)
尽管有许多自动化的软件测试套件,但它们通常集中在单元、系统和接口测试上。然而,特别是软件更新,如新的安全功能,有可能降低用户体验。在本文中,我们提出了一种新的自动化用户体验测试方法,学习代码更改如何影响时间单位和系统测试,并根据这些信息推断用户体验的变化。这样的工具可以集成到现有的持续集成管道中,并为软件团队提供即时的用户体验反馈。我们从代码的词法、布局和语法特征中构建一个特征集,并使用基于抽象树的嵌入,我们可以计算近似的语义距离,以馈送到机器学习算法中。在我们的实验中,我们使用几种回归方法来估计软件更新的时间影响。我们的开源工具使用随机森林回归器实现了3.7%的平均绝对出错率。
2021-04-08 cs.LG cs.SE
MR-Coupler: Automated Metamorphic Test Generation via Functional Coupling Analysis
The Hong Kong University of Science and Technology(香港科学与技术大学);Guangzhou HKUST Fok Ying Tung Research Institute(广州HKUST傅以刚研究所);University of Auckland(奥克兰大学)
本文提出MR-Coupler,通过源代码中易于获取的方法功能耦合关系自动构建元形关系并生成元形测试用例,有效提高了测试用例的有效性并减少误报。
2026-04-17 cs.AI cs.SE
An Empirical Evaluation of Using Large Language Models for Automated Unit Test Generation
University of Alberta(阿尔伯塔大学);University of Stuttgart(斯图加特大学);Northeastern University(东北大学)
本文提出TestPilot,利用LLM依据函数签名、实现和文档示例自动生成JavaScript单元测试,并通过失败信息重提示修复;在25个npm包上验证其覆盖率显著优于Nessie且跨模型有效。
2023-12-11 cs.AI cs.SE
SPARC: Scenario Planning and Reasoning for Automated C Unit Test Generation
Bangladesh University of Engineering and Technology(孟加拉工程科技大学);National Taiwan University(台湾国立大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
SPARC通过神经符号方法和场景规划,提升C语言单元测试生成的覆盖率和代码质量,显著优于传统方法。
2026-02-18 cs.AI cs.SE
Learning to Generate Unit Tests for Automated Debugging
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出 UTGen 和 UTDebug,通过生成能揭示错误且包含正确输出的单元测试来提升 LLM 自动化调试效果,并在多个基准上显著超越现有方法。
2025-08-21 cs.AI cs.CL cs.LG