Knowledge-Guided Synthetic Bug Feedback for LLM-Based Unit Test Generation
Zhejiang University(浙江大学)
研究如何将历史真实错误机制转化为可执行反馈目标用于基于大语言模型的单元测试生成,提出相应框架,在Defects4J任务上评估,结果显示该机制引导的合成错误反馈能提高真实错误检测率,是引导测试的有效方式。
2026-07-14 cs.SE
Carving Parameterized Unit Tests
我们提出了一种方法来自动提取(“雕刻”)参数化单元测试从系统执行。单元测试执行与系统测试相同的功能,但由于它们直接调用功能,因此执行速度要快得多;此外,通过参数化,它们可以使用各种随机选择的输入值执行功能。如果单元级测试失败,我们将其提升到系统级,以确保故障可以在那里重现。因此,我们的方法允许将测试工作集中在选定的模块上,同时仍然避免错误警报:在我们的实验中,为单个函数运行参数化单元测试平均比运行系统测试快30倍。
2018-12-19 cs.SE
On the Relation Between Unit Testing and Code Quality
单元测试被认为是构建高质量软件的关键,因此在实践中得到了广泛的应用。然而,关于单元测试和软件质量方面之间关系的数据仍然很少。为了了解从业者对代码质量的看法和单元测试实践之间的相关性,进行了一项调查研究,其中有来自七个组织的235份调查问卷。此外,我们在其中一个组织中进行了一个案例研究,以调查单元测试覆盖率和单元测试后缺陷之间的相关性。在这两种情况下,没有或弱相关性被发现。我们建议进一步研究不同的测试实践的有效性,以帮助从业者了解如何最好地分配他们的资源到测试链。
2019-04-05 cs.SE
LLM-based Unit Test Generation via Property Retrieval
针对LLM单元测试生成重覆盖率轻实用性的问题,提出基于属性的检索增强机制APT,将测试分为Given、When、Then阶段并引入任务特定上下文检索,在12个开源项目上验证了其在正确性、完整性和可维护性上的优越性。
2024-10-17 cs.SE
No More Manual Tests? Evaluating and Improving ChatGPT for Unit Test Generation
本文首次实证评估 ChatGPT 的单元测试质量,并提出含初始生成与迭代精炼的 ChatTESTER,显著提升可编译性和正确断言比例。
2024-05-19 cs.SE
Elevating Software Quality in Agile Environments: The Role of Testing Professionals in Unit Testing
本文采用基于调查的研究方法,探讨了工业背景下测试工程师参与单元测试的情况,发现测试专业人员通过与开发人员合作制定详尽测试用例并培养相互学习文化,有助于提升敏捷环境下软件项目的整体质量。
2024-03-20 cs.SE
On the Distribution of "Simple Stupid Bugs" in Unit Test Files: An Exploratory Study
保证软件系统质量的一个关键方面是单元测试的实践。通过单元测试,开发人员验证产品源代码的正确性,从而验证系统在测试中的预期行为。然而,单元测试代码容易出现问题,从代码中的错误到糟糕的测试用例设计(即,测试气味)。在这项研究中,我们比较和对比了一种被称为“简单愚蠢错误”(SStuBs)的单语句错误修复在测试和非测试(即,生产)文件。我们的研究结果表明,SStuB更频繁地出现在非测试文件比在测试文件中,与大多数修复相关的代码与断言语句在测试文件中。此外,大多数显示SStuB的测试文件也显示测试气味。我们设想我们的研究结果使工具供应商能够更好地支持开发人员改善测试套件的维护。
2021-03-17 cs.SE
CITYWALK: Enhancing LLM-Based C++ Unit Test Generation via Project-Dependency Awareness and Language-Specific Knowledge
本文提出CITYWALK框架,通过程序分析感知项目依赖并结合C++特定语言知识,利用GPT-4o生成高覆盖率单元测试,在十个C++项目上优于现有方法。
2025-08-11 cs.SE
Uncovering Business Logic Bugs via Semantics-Driven Unit Test Generation
Tianjin University(天津大学)
本文提出SeGa方法,通过语义知识库生成单元测试以发现业务逻辑错误,实验显示其在检测错误数量和精度提升方面优于现有技术。
2026-10-07 cs.SE
Does Unit-Tested Code Crash? A Case Study of Eclipse
本文以 Eclipse 项目为案例,通过分析大量崩溃报告与 JaCoCo 测试覆盖率数据,发现单元测试代码并未减少现场故障,表明单元测试本身不足以防止程序故障。
2020-02-29 cs.SE
Unit Testing Past vs. Present: Examining LLMs' Impact on Defect Detection and Efficiency
本文通过实验对比LLM支持与手动单元测试,发现LLM支持显著提升单元测试生成数量、缺陷检测率和测试效率,为LLMs在软件测试中的实际应用提供实证依据。
2025-02-13 cs.SE
Intelligent UNIT LEVEL TEST Generator for Enhanced Software Quality
单元级测试是提高软件质量的重要手段,因为它可以在开发阶段早期暴露软件缺陷。然而,手动单元级测试开发通常是乏味和不足的。此外,开发人员很难自己精确地识别出最容易出错的代码块,这些代码块应该得到最好的测试覆盖率。在本文中,我们提出了自动单元级测试框架,我们用于英特尔媒体驱动程序的开发。它可以帮助我们识别最关键的代码块,提供测试覆盖率建议,并自动生成>80%的可重用代码(约40万行测试代码)以及约35%的测试用例(约7K测试用例)。它可以帮助我们将平均每1000行驱动程序源代码的开发工作量从大约24个工时减少到大约3个工时。
2022-06-01 cs.SE
XREPOTEST: Benchmarking Multilingual Repository-Level Unit Test Generation for Large Language Models
Hanoi University of Science and Technology(河内大学科学技术学院);University of L’Aquila(拉奎拉大学)
本文提出XREPOTEST多语言仓库级单元测试生成基准,针对5种少用语言,结合多上下文策略,用14种LLM实验发现独立与仓库级性能差距,为推进现实场景单元测试生成提供支撑。
2026-09-16 cs.SE
Seed&Steer: Guiding Large Language Models with Compilable Prefix and Branch Signals for Unit Test Generation
本文提出Seed&Steer方法,通过解耦前缀与断言生成,利用传统测试工具生成高编译成功率的方法调用作为种子,并结合分支提示引导LLM探索多样执行路径,在五个Java项目上将编译通过率提升约7%,覆盖率提升最高达1.26倍。
2025-07-23 cs.SE
Large Language Models for Unit Testing: A Systematic Literature Review
本文对截至2025年3月LLMs在单元测试中的应用进行了首次系统性文献综述,分类了测试生成等任务,讨论了模型使用与适应策略,总结了关键挑战并指出了未来研究方向。
2025-06-18 cs.SE
Augmenting unit test suites from integration tests
Athens University of Economics and Business(雅典大学经济与商业学院);University of Ioannina(约阿尼纳大学)
本文提出利用静态和动态分析生成单元测试的方法,针对测试金字塔结构不合规的测试套件,通过集成测试生成隔离的组件依赖测试,提升覆盖率和故障定位能力。
2026-05-07 cs.SE
Context Matters: Improving the Practical Reliability of LLM-Based Unit Test Generation
Tianjin University(天津大学);Huawei Cloud(华为云)
研究基于大语言模型的单元测试生成在实际应用中的问题,提出上下文感知工作流程CATGen,通过明确依赖、稳定框架、静态分析等改进设计,经评估在实际项目和基准测试中提升编译成功率与覆盖率,减少生成时间和消耗。
2026-07-23 cs.SE
Mutation-Guided Unit Test Generation with a Large Language Model
University of Limerick(利默里克大学);Research Ireland Lero Centre for Software, University of Limerick(爱尔兰研究莱罗软件中心,利默里克大学);University of Ottawa(渥太华大学);Software Engineering Application Technology Lab Huawei(华为软件工程应用技术实验室)
本文提出MUTGEN方法,利用突变反馈提升测试覆盖率,优于EvoSuite和传统提示方法,在突变分数上表现更优,并探讨了LLM生成的局限性。
2026-04-15 cs.SE
Insights from the Field: Exploring Students' Perspectives on Bad Unit Testing Practices
本文通过让三所高校184名学生使用IDE插件自动检测测试异味,考察其对不良单元测试实践的认知及插件效果,为优化测试教学和代码评审提供依据。
2024-04-15 cs.SE
CasModaTest: A Cascaded and Model-agnostic Self-directed Framework for Unit Test Generation
针对现有基于ML的单元测试生成方法存在的生成内容不全、语义不匹配、绑定闭源模型等问题,提出级联模型无关框架CasModaTest,结合示例池与错误修复机制,在Defects4J数据集及多款开源LLM上均大幅优于SOTA方法。
2024-06-22 cs.SE
Fine-grained Testing for Autonomous Driving Software: a Study on Autoware with LLM-driven Unit Testing
针对自动驾驶系统源代码细粒度测试不足的问题,本研究聚焦工业框架Autoware,分析人工与LLM生成的单元测试用例,发现人工测试覆盖率有限且LLM测试应用存在挑战,进而提出AwTest-LLM方法以提升测试覆盖率与通过率。
2025-01-16 cs.SE
A Large-scale Empirical Study on Fine-tuning Large Language Models for Unit Testing
本研究针对微调大型语言模型在单元测试中的应用进行了大规模实证研究,涵盖3个任务、5个基准和37个模型,发现微调LLMs在几乎所有指标上均优于现有最先进方法,并指出大规模decoder-only模型表现最佳,同时揭示了提示工程的巨大潜力。
2024-12-21 cs.SE
Combining Dynamic Analysis and Visualization to Explore the Distribution of Unit Test Suites
随着软件系统的规模和复杂性的增长,与这些系统一起构建的测试套件也变得越来越复杂。在维护或重新设计系统时,理解测试套件的关键方面(例如它们对生产代码的覆盖率)是很重要的。本文通过对动态和静态分析得到的数据进行可视化,研究了开源软件系统中单元测试的分布情况。我们的长期目标是支持开发人员理解测试分布以及测试与生产代码的关系。我们首先从五个选定的OSS系统获得动态耦合信息,然后映射测试和生产代码的结果。映射以图表的形式显示,这些图表描述了类之间的依赖关系和静态测试信息。我们分析这些图使用来自图论和SNA的中心性度量。我们的研究结果表明,至少对于这五个系统,单元测试和动态耦合信息“不匹配”,因为单元测试似乎不符合系统的动态耦合分布。我们主张,通过映射到单元测试信息的动态耦合数据,并通过使用软件度量和可视化,我们可以找到中央系统类,并确定类单元测试的努力(或没有)专用。
2021-03-12 cs.SE
Generating Unit Tests for Documentation
软件项目捕获各种工件中的信息,包括源代码、测试和文档。这样的伪像通常编码冗余的信息,即,当编码在源代码中的规范也被单独测试和记录时。如果没有技术支持,这种重复很容易导致不一致和文件质量下降。我们设计了一种工具支持的技术,称为DScribe,它利用测试和文档之间的冗余来生成一致的和可检查的文档和基于单一信息源的单元测试。DScribe基于新的模板和工件生成技术生成单元测试和文档片段。通过配对测试和文档生成,DScribe提供了一种自动检测和替换过时文档的机制。我们对Apache Commons IO库的评估显示,在835个关于异常处理的规范中,85%的规范没有经过测试或正确记录,而DScribe可以用来自动生成97%的测试和文档。
2020-05-20 cs.SE
Unit Testing Challenges with Automated Marking
针对软件测试教学困难,本文通过EdStem平台引入带自动化评分的在线单元测试挑战,调查显示其能提升学生参与度、理解力与学习进度,是有效的教学实践。
2023-10-10 cs.SE
Search-based Hyperparameter Tuning for Python Unit Test Generation
JetBrains Research(JetBrains 研究院);University of Passau(帕绍大学)
本研究提出用差分进化调优Pynguin中DynaMOSA和MIO算法的超参数,实验证明可显著提升测试覆盖率,且比网格搜索更高效。
2025-10-09 cs.SE
Rule-based Test Generation with Mind Maps
本文介绍了基于规则的思维导图测试生成技术的基本概念,并介绍了Giesecke & Devrient GmbH公司近年来在灵巧卡测试领域应用该技术的经验。它描述了我们的测试生成器,我们的测试生成架构和测试生成框架使用的测试选择标准的形式化。
2012-02-28 cs.SE
Reflective Unit Test Generation for Precise Type Error Detection with Large Language Models
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);Huawei Cloud Computing Technologies Co., Ltd.(华为云计算技术有限公司)
针对Python类型错误检测误报率高、测试生成难揭示缺陷的问题,提出结合类型约束分析与反思验证的RTED技术,在基准测试上优于现有方法,还发现了真实项目中的未知类型错误。
2025-10-02 cs.SE
CTGEN - a Unit Test Generator for C
提出了一种新的C代码单元测试生成器CTGEN。它基于前置/后置条件规范或内部断言为C1结构覆盖和功能覆盖生成测试数据。生成器支持自动存根生成,存根返回到被测单元(UUT)的数据可以通过约束来指定。CTGEN的典型应用领域是嵌入式系统测试,因此该工具可以处理低级C中存在的典型别名问题,包括指针算术,结构和联合。CTGEN创建了完整的测试程序,这些程序可以针对UUT进行编译和运行。在本文中,我们描述了CTGEN的主要特点,他们的技术实现,我们详细说明了它的性能比较的竞争测试生成工具的列表。自2011年以来,CTGEN被用于汽车领域嵌入式系统代码的工业规模测试活动。
2012-11-27 cs.SE
What You See Is What You Get: Attention-based Self-guided Automatic Unit Test Generation
本文提出两阶段 AUGER 框架,利用注意力机制先检测缺陷倾向,再依据关键信息自引导生成单元测试,在多个基准上显著提升缺陷检测与错误触发效果。
2024-12-01 cs.SE
Fault Detection Effectiveness of Source Test Case Generation Strategies for Metamorphic Testing
变形测试是解决软件测试中的预言问题的一种著名方法。这种技术需要使用源测试用例作为后续测试用例生成的种子。测试用例的系统化设计是保证测试质量的关键。因此,源测试用例生成策略对变形测试的故障检测效果有很大影响。以往的变形测试研究大多使用随机测试数据或已有的测试用例作为源测试用例。针对变形测试的系统化源测试用例生成问题,目前的研究还很有限。本文综合评价了源测试用例生成技术对变形测试故障发现效果的影响。我们评估了行覆盖、分支覆盖、弱变异和随机测试生成策略在源测试用例生成中的有效性。实验进行了77个方法从4个开源代码库。我们的研究结果表明,通过系统地创建源测试用例,我们可以显着提高故障发现效率的变质测试。此外,在本文中,我们介绍了一个简单的变形测试工具,称为“METtester”,我们使用这些方法进行变形测试。
2018-02-20 cs.SE
IntelliGame in Action: An Experience Report on Gamifying JavaScript Unit Tests
本研究将原面向Java的游戏化插件IntelliGame定制适配至JavaScript单元测试场景,通过152名参与者使用Jest框架的对照实验,验证了其普适性并分析了对测试行为与开发者体验的影响,为JavaScript测试方法优化提供参考。
2024-03-06 cs.SE
Combining Type Inference and Automated Unit Test Generation for Python
University of Passau(帕绍大学);JetBrains Research(JetBrains 研究)
研究针对Python动态类型语言缺乏类型信息阻碍单元测试生成的问题,通过在Pynguin框架扩展类型跟踪,利用测试执行提取类型信息,实现推断参数类型、记录返回值类型并增加代码覆盖率,提升了分支覆盖率和变异分数。
2026-09-21 cs.SE
ProbTest: Unit Testing for Probabilistic Programs (Extended Version)
本文提出黑盒单元测试方法 ProbTest,基于优惠券收集者问题自动确定概率程序所需测试次数并提供统计保证,以 PyTest 插件实现,并在 Gymnasium 和随机数据结构案例中评估。
2025-09-02 cs.SE
Code Coverage Aware Test Generation Using Constraint Solver
代码覆盖率已用于软件测试环境中,主要作为评估生成的测试套件质量的指标。最近,代码覆盖分析被用作测试优化的白盒测试技术。大多数的研究活动集中在使用代码覆盖率的测试优先级和自动化测试策略中的选择。在文献中,使用代码覆盖率进行测试生成的努力较少。本文提出了一种新的基于代码覆盖率的测试用例生成(CCTG)的概念,通过在测试生成过程中利用代码覆盖率分析来改变现有的做法。CCTG使用代码覆盖率数据来计算输入参数对约束求解器的影响,以自动生成有效的测试套件。我们将这种方法应用于一些现实世界的案例研究。实验结果表明,新的测试生成方法能够生成有效的测试用例,并能检测出新的故障。
2020-09-07 cs.SE
ChatGPT vs SBST: A Comparative Assessment of Unit Test Suite Generation
本研究系统比较了ChatGPT与SBST工具EvoSuite在生成单元测试套件上的表现,基于正确性、可读性、代码覆盖率和缺陷检测能力,揭示了LLMs在软件工程领域的优势、劣势及潜力。
2023-07-02 cs.SE
TOGA: A Neural Method for Test Oracle Generation
测试被广泛认为是软件开发生命周期的重要阶段。有效的软件测试可以提供诸如缺陷发现、防止回归和文档化等好处。就文档而言,单元测试表达了开发人员所设想的单元的预期功能。一个测试预言,通常表示为一个条件,记录一个单元在给定的测试前缀下的预期行为。合成功能测试预言是一个具有挑战性的问题,因为它必须捕获预期的功能,而不是实现的功能。在本文中,我们提出了TOGA(神经方法测试甲骨文GenerAtion),一个统一的基于转换器的神经方法来推断异常和断言测试甲骨文的基础上的上下文的焦点方法。我们的方法可以处理文档不明确或缺少文档的单元,甚至可以处理缺少实现的单元。我们评估我们的方法上的预言推理的准确性和功能的错误发现。我们的技术比现有的Oracle推理方法提高了33%的准确性,在一个测试数据集上实现了96%的整体准确性。此外,我们表明,当与自动化测试生成工具(EvoSuite)集成时,我们的方法在大型Java程序中发现了57个真实世界的错误,其中包括30个在我们的评估中没有发现的任何其他自动化测试方法的错误。
2022-04-20 cs.SE
ASTER: Natural and Multi-language Unit Test Generation with LLMs
针对现有单元测试生成工具支持语言少、生成测试可读性差的问题,提出结合静态分析引导LLM的通用测试生成流程,在Java和Python场景下验证其覆盖率优于现有技术,且生成的测试更自然易读。
2025-01-15 cs.SE
SmartUnit: Empirical Evaluations for Automated Unit Testing of Embedded Software in Industry
在本文中,我们针对嵌入式软件的自动化单元覆盖率为基础的测试。为了实现这一目标,通过分析工业需求和我们以前在自动化单元测试工具CAUT上的工作,我们重新构建了一个新的工具SmartUnit,以解决我们合作伙伴公司的工程需求。SmartUnit是一个动态符号执行实现,支持语句、分支、边界值和MC/DC覆盖。SmartUnit已经在实际项目中测试了超过一百万行代码。出于保密动机,我们选择了三个内部真实项目进行实证评估。我们还对两个开源数据库项目SQLite和PostgreSQL进行了评估,以测试我们的工具的可扩展性,因为嵌入式软件项目的规模大多不大,平均只有5 K-50 K行代码。从我们的实验结果来看,一般来说,商业嵌入式软件中90%以上的函数实现了100%的语句、分支、MC/DC覆盖,SQLite中80%以上的函数实现了100%的MC/DC覆盖,PostgreSQL中60%以上的函数实现了100%的MC/DC覆盖。此外,SmartUnit能够在单元测试级别找到运行时异常。我们还报告了SQLite中的异常,如数组索引越界和被零除。此外,我们还分析了自动化单元测试覆盖率低的原因,并对工业上手工单元测试相对于自动化单元测试的情况进行了调查。
2018-06-17 cs.SE
HITS: High-coverage LLM-based Unit Test Generation via Method Slicing
针对LLM生成单元测试时难以覆盖复杂方法的问题,提出将焦点方法切片后逐片生成测试用例,显著提升行与分支覆盖率。
2024-08-21 cs.SE
On Extracting Unit Tests from Interactive Programming Sessions
软件工程方法论建议开发人员应该捕获他们的努力,以确保程序在可重复和自动化的工件中正确运行,例如单元测试。然而,当从探索性测试到脚本测试的范围内观察开发人员活动时,我们发现许多工程活动都包括探索性测试的爆发。在本文中,我们建议利用这些探索性的测试突发自动提取脚本测试从这些会话的记录。为了做到这一点,我们窃听开发环境,这样我们就可以记录所有的程序输入,所有用户发出的函数调用,以及探索性测试会话的所有程序输出。然后,我们建议使用机器学习(即聚类)从这些记录中实时提取脚本测试用例。我们概述了两个早期原型,一个是静态的,一个是动态的。我们通过例子概述了这个想法如何融入编程的更大研究方向。
2012-12-08 cs.SE
Unit verification procedure as a test of real time messaging-based processes
本文介绍了与安全关键医疗器械测试相关的博士研究的第一批结果:匈牙利医疗器械制造商系统执行的案例研究。本文简要介绍了目前正在使用的测试过程。强调了软件行业中不太常用的测试方法的元素。案例研究中实际测试过程的终点是进一步研究的起点:测试结果的自动化分析。作者开始开发一种新的方法,使用工具的组合,并建模一个基于模型的测试生成工具-这是既新颖又密集的研究领域。
2014-04-27 cs.SE
Using Evolutionary Coupling to Establish Relevance Links Between Tests and Code Units. A case study on fault localization
许多软件工程技术,例如故障定位,都是基于测试和代码之间的相关关系来操作的。这些关系通常是通过使用动态测试执行信息(测试执行跟踪)来推断的,这些信息近似于相关代码单元之间的联系,并由测试断言程序行为。不幸的是,在实践中,动态信息并不总是可用的,由于仪器或生产环境的性质引入的开销。为了解决这个问题,我们提出了CEMENT,这是一种静态技术,它可以自动推断出项目发展过程中的测试和代码关系。关键思想是开发人员在同一时间段内对测试和代码单元进行相关更改,即,测试和代码单元的共同进化反映了它们之间可能的联系。我们在15个开源项目上评估了CEMENT,并表明它确实捕获了相关链接。此外,我们进行了故障定位的案例研究,我们比较水泥与现有的信息检索为基础的故障定位(IRFL)技术,并表明它达到了相当的性能。我们的结果的进一步分析表明,成功定位的两种方法,建议互补性的故障之间的小重叠。特别是,在39个成功定位的故障中,两个是常见的,而CEMENT和IRFL定位16和21。这些结果表明,测试和代码的进化耦合可以有效地支持测试和调试活动。
2022-03-21 cs.SE
PALM: Synergizing Program Analysis and LLMs to Enhance Rust Unit Test Coverage
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学软件新技术国家重点实验室);Software Engineering Application Technology Lab, Huawei(华为软件工程应用技术研发实验室)
本文提出PALM框架,通过程序分析提取分支条件与路径约束并构造LLM提示,自动生成Rust高覆盖率单元测试,在15个开源crates上达到接近人工的覆盖率且多数提交被接受。
2025-09-29 cs.SE
Observation-based unit test generation at Meta
TestGen通过从应用执行观察中刻划单元测试,在Meta大规模部署,已落地518个测试,发现5702个故障,并能为86%的类生成测试。
2024-02-09 cs.SE
Did You Remember to Test Your Tokens?
身份验证是确认系统用户身份的关键安全功能,通常在Spring Security等框架的帮助下实现。这是一个复杂的功能,应该在开发的所有阶段进行可靠的测试。单元测试是一种有效的技术,用于细粒度验证未广泛用于测试身份验证的特征行为。部分问题在于帮助开发人员进行单元测试安全特性的资源有限。大多数安全测试指南推荐的测试用例都是从“黑盒”或渗透测试的角度出发的。这些资源对于编写新的单元测试的开发人员,或者想要从安全性的角度来看待覆盖率的开发人员来说并不容易。在本文中,我们通过应用一种基于理论的方法来解决这些问题,通过分析来自53个开源Java项目的481个JUnit测试来识别令牌身份验证的常见(单元)测试用例。本研究的结果是一个开发人员友好的单元测试指南,该指南被组织为53个令牌身份验证测试用例的目录,代表了从我们分析的数据集中学习到的17个场景、40个条件和30个预期结果的独特组合。我们在测试指南中补充了常见的测试气味,以避免。为了验证测试指南的准确性和实用性,我们从选定的开发人员那里寻求反馈,其中一些人在我们的数据集中编写了单元测试。
2020-06-25 cs.SE
LAUDE: LLM-Assisted Unit Test Generation and Debugging of Hardware DEsigns
Dept. of Electrical and Computer Engineering, University of Illinois Chicago(伊利诺伊大学芝加哥分校电子与计算机工程系);Microsoft(微软公司)
LAUDE利用大语言模型能力,实现硬件设计的单元测试生成与调试,有效检测和修复设计中的错误。
2026-08-11 cs.AI cs.SE
Unit Test Generation using Generative AI : A Comparative Performance Analysis of Autogeneration Tools
IIIT Delhi(印度德里印度信息技术学院)
本研究对比了ChatGPT与Pynguin在Python单元测试生成上的表现,发现ChatGPT覆盖率相当但断言错误率较高,两者结合并应用提示工程可显著提升测试生成性能。
2024-02-13 cs.AI cs.SE
Learning to Generate Unit Test via Adversarial Reinforcement Learning
本文提出UTRL框架,通过对抗强化学习训练LLM生成高质量单元测试,实验表明其优于监督微调和前沿模型。
2026-03-15 cs.AI cs.SE
Less is More: On the Importance of Data Quality for Unit Test Generation
本文针对单元测试生成数据集中的噪声问题,构建噪声分类并提出 CleanTest 清洗框架,实验证明过滤噪声可提升多个 LLM 的测试生成能力。
2025-02-20 cs.IR cs.SE
A System for Automated Unit Test Generation Using Large Language Models and Assessment of Generated Test Suites
Polytechnic University of Bari \& Wideverse Bari, Italy;Polytechnic University of Bari Bari, Italy;Independent Researcher;University of Bari Bari, Italy
针对现有LLM单元测试研究场景简单、规模不足、评估效率低的问题,提出自动化系统AgoneTest,实现类级测试套件生成与全流程评估,并构建新数据集支撑对比研究。
2024-08-16 cs.AI cs.SE
Automated Support for Unit Test Generation: A Tutorial Book Chapter
单元测试是测试的一个阶段,在这个阶段中,可以与系统的其余部分(通常是一个类)隔离测试的最小代码段被测试。单元测试通常以可执行代码的形式编写,通常采用单元测试框架(如Python的pytest)提供的格式。创建单元测试是一个时间和精力密集型的过程,其中包含许多重复的手动元素。为了说明AI如何支持单元测试,本章介绍了基于搜索的单元测试生成的概念。这种技术框架的测试输入的选择作为一个优化问题-我们寻求一组测试用例,满足测试人员的一些可衡量的目标-并释放强大的元启发式搜索算法,以确定最好的测试用例在有限的时间范围内。本章介绍了两种算法,它们可以生成pytest格式的单元测试,并针对源代码语句的覆盖率进行了调整。本章最后讨论了更高级的概念,并为进一步阅读人工智能如何在单元测试软件时支持开发人员和测试人员提供了指针。
2021-10-26 cs.AI cs.NE cs.SE
Unit Testing in ASP Revisited: Language and Test-Driven Development Environment
University of Calabria(卡拉布里亚大学);University of Applied Sciences Upper Austria(上奥地利应用科学大学)
本文重新审视ASP单元测试语言与工具,提出支持内联测试的新规范语言,并分析其计算复杂度,构建测试驱动开发环境。
2024-01-04 cs.AI cs.SE
MultiFileTest: A Multi-File-Level LLM Unit Test Generation Benchmark and Impact of Error Fixing Mechanisms
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Salesforce Research(Salesforce研究院);Scale AI
本文提出MultiFileTest基准,评估多文件级代码的单元测试生成性能,发现前沿LLM表现一般,且存在执行及级联错误,进一步评估了错误修复机制的效果。
2026-04-07 cs.CL cs.SE