Harnessing the Power of LLMs: Automating Unit Test Generation for High-Performance Computing
University Of Houston(休斯顿大学);Kent State University(肯特州立大学)
针对高性能并行科学软件单元测试成本高、现有工具效果差的问题,本文利用 Davinci 与 ChatGPT 为 C++ 并行程序自动生成单元测试,验证了 LLM 的有效性及局限。
2024-07-06 cs.AI cs.SE
LLMs for Automated Unit Test Generation and Assessment in Java: The AgoneTest Framework
University of Bari, Bari, Italy(巴里大学)
AgoneTest框架通过标准化评估流程,评估大型语言模型生成的Java单元测试质量,展示其在覆盖率和缺陷检测上的表现,并探讨提示策略对测试质量的影响。
2025-11-26 cs.AI cs.SE
Learning to Generate Unit Test via Adversarial Reinforcement Learning
本文提出UTRL框架,通过对抗强化学习训练LLM生成高质量单元测试,实验表明其优于监督微调和前沿模型。
2026-03-15 cs.AI cs.SE
Automated Unity Game Template Generation from GDDs via NLP and Multi-Modal LLMs
UET Taxila(塔希尔大学工程学院)
本文提出一种利用NLP和多模态LLM将游戏设计文档自动转化为Unity游戏模板的框架,通过微调LLaMA-3模型生成C#代码,在编译、遵循度和模块化等指标上优于现有模型,有效填补AI辅助游戏开发的空白。
2025-09-07 cs.AI cs.CL cs.LG
CITYWALK: Enhancing LLM-Based C++ Unit Test Generation via Project-Dependency Awareness and Language-Specific Knowledge
本文提出CITYWALK框架,通过程序分析感知项目依赖并结合C++特定语言知识,利用GPT-4o生成高覆盖率单元测试,在十个C++项目上优于现有方法。
2025-08-11 cs.SE
Enhancing Automated Unit Test Generation for NLP Libraries Using Large Language Models
Delft University of Technology(代尔夫特理工大学)
提出LLMSuite混合测试框架,结合自我改进提示与类级LLM推理,增强NLP库的自动化单元测试生成,显著提升覆盖率与突变得分。
2026-09-15 cs.SE
Evaluating Large Language Models for the Generation of Unit Tests with Equivalence Partitions and Boundary Values
LIFIA, Faculty of Informatics, UNLP, La Plata, Argentina(LIFIA信息学院,UNLP,拉普拉塔,阿根廷)
本文通过融合代码与需求、覆盖等价类和边界值的优化提示,评估 LLM 自动生成单元测试的能力,发现其效果依赖提示、实现与需求质量,仍需人工监督与定性分析。
2025-05-14 cs.AI cs.SE
TestART: Improving LLM-based Unit Testing via Co-evolution of Automated Generation and Repair Iteration
TestART通过生成与修复的协同进化,利用模板修复、覆盖率反馈和正向提示注入,提升LLM单元测试的通过率与覆盖率。
2025-03-31 cs.SE
Hallucination to Consensus: Multi-Agent LLMs for End-to-End JUnit Test Generation
University of Limerick(利默里克大学);Research Ireland Lero Centre for Software(爱尔兰研究莱罗软件中心);University of Ottawa(渥太华大学);Huawei(华为)
本文提出CANDOR框架,通过多智能体协作生成Java单元测试,利用共识策略减少幻觉并提升Oracle准确性,实验表明其在代码覆盖率和突变得分上优于现有方法。
2026-03-25 cs.SE
HITS: High-coverage LLM-based Unit Test Generation via Method Slicing
针对LLM生成单元测试时难以覆盖复杂方法的问题,提出将焦点方法切片后逐片生成测试用例,显著提升行与分支覆盖率。
2024-08-21 cs.SE
Mutation-Guided Unit Test Generation with a Large Language Model
University of Limerick(利默里克大学);Research Ireland Lero Centre for Software, University of Limerick(爱尔兰研究莱罗软件中心,利默里克大学);University of Ottawa(渥太华大学);Software Engineering Application Technology Lab Huawei(华为软件工程应用技术实验室)
本文提出MUTGEN方法,利用突变反馈提升测试覆盖率,优于EvoSuite和传统提示方法,在突变分数上表现更优,并探讨了LLM生成的局限性。
2026-04-15 cs.SE
Enhancing LLM's Ability to Generate More Repository-Aware Unit Tests Through Precise Contextual Information Injection
针对大语言模型生成单元测试时因缺乏项目全局上下文易产生幻觉的问题,提出RATester,通过集成gopls语言服务器按需注入全局上下文信息,提升单元测试的仓库感知能力并减少幻觉。
2025-01-13 cs.SE
Benchmarking LLMs for Unit Test Generation from Real-World Functions
National University of Singapore(新加坡国立大学);King's College London(伦敦国王学院);University College London(伦敦大学学院);The University of Cambridge(剑桥大学)
针对现有LLM单元测试生成基准存在数据污染、代码结构简单的缺陷,研究提出高复杂度、低污染的ULT基准及配对的PLT基准,实验证明ULT难度显著更高,能更真实评估LLM测试生成能力。
2025-08-01 cs.CL cs.SE
TAM-Eval: Evaluating LLMs for Automated Unit Test Maintenance
Both authors contributed equally to this research.(共同作者)
TAM-Eval提出一个评估LLM在自动单元测试维护能力的框架和基准,通过测试套件创建、修复和更新三个场景,揭示LLM在真实测试维护中的局限性。
2026-01-26 cs.AI cs.SE
MultiFileTest: A Multi-File-Level LLM Unit Test Generation Benchmark and Impact of Error Fixing Mechanisms
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Salesforce Research(Salesforce研究院);Scale AI
本文提出MultiFileTest基准,评估多文件级代码的单元测试生成性能,发现前沿LLM表现一般,且存在执行及级联错误,进一步评估了错误修复机制的效果。
2026-04-07 cs.CL cs.SE
CPP-UT-Bench: Can LLMs Write Complex Unit Tests in C++?
Nutanix(Nutanix公司);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文构建涵盖 14 个开源 C++ 代码库、2,653 个代码-测试对的 CPP-UT-Bench,并通过上下文学习、PEFT 与全参数微调评估 LLM 的复杂 C++ 单元测试生成能力。
2024-12-03 cs.LG cs.SE
Seed&Steer: Guiding Large Language Models with Compilable Prefix and Branch Signals for Unit Test Generation
本文提出Seed&Steer方法,通过解耦前缀与断言生成,利用传统测试工具生成高编译成功率的方法调用作为种子,并结合分支提示引导LLM探索多样执行路径,在五个Java项目上将编译通过率提升约7%,覆盖率提升最高达1.26倍。
2025-07-23 cs.SE
Automated Test Suite Enhancement Using Large Language Models with Few-shot Prompting
US Booking Services Ltd.(美国预订服务有限公司);University of Glasgow(格拉斯哥大学)
本文研究利用少量示例提示生成高质量单元测试,通过评估不同测试来源对测试质量的影响,提升混合人类-人工智能代码库的测试套件质量。
2026-02-12 cs.SE
UniTSyn: A Large-Scale Dataset Capable of Enhancing the Prowess of Large Language Models for Program Testing
UC Davis(加州大学戴维斯分校);Tencent Security Big Data Lab(腾讯安全大数据实验室)
本文提出大规模数据集UniTSyn,通过语言服务器协议收集270万焦点-测试对,增强大型语言模型生成单元测试的准确性与覆盖率。
2024-02-04 cs.AI cs.CL cs.CR
Disproving Program Equivalence with LLMs
Google DeepMind(谷歌DeepMind)
提出白盒方法ProbeGen,利用大语言模型搜索代码等价性反例,证伪18%的基准等价样本,并通过语义聚类将pass@1提升10%。
2025-02-05 cs.LG cs.SE
UnitTenX: Generating Tests for Legacy Packages with AI Agents Powered by Formal Verification
The University of Manchester, UK(曼彻斯特大学,英国);ECE Department, Santa Clara University, US(圣克拉拉大学电子与计算机工程系,美国)
UnitTenX是一个开源AI多智能体系统,结合形式化方法与LLMs为遗留代码自动生成单元测试,提升覆盖率、可靠性及可维护性。
2025-10-06 cs.AI cs.SE
DiffuTester: Accelerating Unit Test Generation for Diffusion LLMs via Mining Structural Pattern
College of AI, Tsinghua University(清华大学人工智能学院);School of Software, Beihang University(北航软件学院);School of Computer Science and Engineering, Beihang University(北航计算机科学与工程学院)
DiffuTester通过挖掘结构模式提升扩散大语言模型在单元测试生成中的效率,实现高质量测试用例生成。
2026-09-15 cs.CL cs.SE
Multi-Agent LLM Collaboration for Unit Test Generation via Human-Testing-Inspired Workflows
Nanjing University of Science and Technology(南京理工大学);Nanjing University(南京大学);Huawei Cloud Computing Technologies Co., Ltd.(华为云计算技术有限公司)
研究针对现有基于大语言模型的单元测试生成方法的局限,提出TestAgent,通过多智能体协作机制模拟人工测试,设计专门智能体、配备工具API并构建知识图谱,在Java项目实验中取得优异结果,性能优于基线和搜索工具。
2026-07-13 cs.SE
A System for Automated Unit Test Generation Using Large Language Models and Assessment of Generated Test Suites
Polytechnic University of Bari \& Wideverse Bari, Italy;Polytechnic University of Bari Bari, Italy;Independent Researcher;University of Bari Bari, Italy
针对现有LLM单元测试研究场景简单、规模不足、评估效率低的问题,提出自动化系统AgoneTest,实现类级测试套件生成与全流程评估,并构建新数据集支撑对比研究。
2024-08-16 cs.AI cs.SE
XREPOTEST: Benchmarking Multilingual Repository-Level Unit Test Generation for Large Language Models
Hanoi University of Science and Technology(河内大学科学技术学院);University of L’Aquila(拉奎拉大学)
本文提出XREPOTEST多语言仓库级单元测试生成基准,针对5种少用语言,结合多上下文策略,用14种LLM实验发现独立与仓库级性能差距,为推进现实场景单元测试生成提供支撑。
2026-09-16 cs.SE
Unify and Triumph: Polyglot, Diverse, and Self-Consistent Generation of Unit Tests with LLMs
Univ Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(雷恩信息与自动化研究所);IUF(法国大学研究院)
本文提出 PolyTest,通过跨语言生成与高温多样采样并统一测试集,利用 LLM 的自洽性消除矛盾测试,在 EvalPlus 多模型实验中显著提升覆盖率、变异得分和通过率。
2025-03-20 cs.AI cs.SE
Large-scale, Independent and Comprehensive study of the power of LLMs for test case generation
University of Luxembourg(卢森堡大学);Singapore Management University(新加坡管理大学);Aalto University(阿尔托大学);Bilkent University(比尔肯特大学)
本研究评估了LLM生成单元测试的可靠性与可维护性,发现基于推理的提示技术提升性能,但幻觉驱动的故障仍需混合方法解决。
2026-03-04 cs.SE
Evaluating and Mitigating the Misguidance Effect of Buggy Code in LLM-Generated Unit Tests
University of Toronto(多伦多大学)
研究大语言模型生成单元测试时错误代码的误导效应,提出新指标衡量,分析其双重影响,引入基于规范的单元测试生成范式,有效减少误导性测试,增加有效测试,改善测试生成管道,适用于各类代码。
2026-07-28 cs.AI cs.LG cs.SE
Context Matters: Improving the Practical Reliability of LLM-Based Unit Test Generation
Tianjin University(天津大学);Huawei Cloud(华为云)
研究基于大语言模型的单元测试生成在实际应用中的问题,提出上下文感知工作流程CATGen,通过明确依赖、稳定框架、静态分析等改进设计,经评估在实际项目和基准测试中提升编译成功率与覆盖率,减少生成时间和消耗。
2026-07-23 cs.SE
On the Diffusion of Test Smells in LLM-Generated Unit Tests
University of Luxembourg(卢森堡大学);Nanjing University of Science and Technology(南京理工大学);Bilkent University(比尔肯特大学);Singapore Management University(新加坡管理大学)
本研究通过多基准大规模分析,对比LLM生成、人类编写及EvoSuite生成的单元测试,发现LLM生成测试存在特定测试异味,受提示策略等影响,凸显基于LLM的测试生成的潜力与风险,呼吁开发相关优化方案。
2026-08-04 cs.SE
AI Chain on Large Language Model for Unsupervised Control Flow Graph Generation for Statically-Typed Partial Code
本文提出利用大语言模型的容错能力,通过将思维链分解为AI链的四个子步骤,为静态类型部分代码自动生成控制流图,实验表明其在节点和边覆盖率上优于现有工具。
2023-06-01 cs.SE
Humanizing Automatically Generated Unit Test Suites with LLM-Based Refactoring
University of Luxembourg(卢森堡大学);Nanjing University of Science and Technology(南京理工大学);Zhejiang University(浙江大学);Bilkent University(比尔肯特大学);Singapore Management University(新加坡管理大学)
提出TestHumanizer混合方法,利用LLM对SBST生成的测试套件进行受控重构,提升可读性和可维护性,同时保持编译和覆盖率,实验表明重构后编译率接近100%,可读性显著提升。
2026-07-02 cs.SE
LLM-based Unit Test Generation via Property Retrieval
针对LLM单元测试生成重覆盖率轻实用性的问题,提出基于属性的检索增强机制APT,将测试分为Given、When、Then阶段并引入任务特定上下文检索,在12个开源项目上验证了其在正确性、完整性和可维护性上的优越性。
2024-10-17 cs.SE
LAUDE: LLM-Assisted Unit Test Generation and Debugging of Hardware DEsigns
Dept. of Electrical and Computer Engineering, University of Illinois Chicago(伊利诺伊大学芝加哥分校电子与计算机工程系);Microsoft(微软公司)
LAUDE利用大语言模型能力,实现硬件设计的单元测试生成与调试,有效检测和修复设计中的错误。
2026-08-11 cs.AI cs.SE
Unit Test Generation using Generative AI : A Comparative Performance Analysis of Autogeneration Tools
IIIT Delhi(印度德里印度信息技术学院)
本研究对比了ChatGPT与Pynguin在Python单元测试生成上的表现,发现ChatGPT覆盖率相当但断言错误率较高,两者结合并应用提示工程可显著提升测试生成性能。
2024-02-13 cs.AI cs.SE
Dynamic Scaling of Unit Tests for Code Reward Modeling
Renmin University of China(中国人民大学);Tsinghua University(清华大学);Zhipu AI(智谱AI)
本文针对LLM代码生成中单元测试奖励信号不可靠的问题,提出轻量级单元测试生成器CodeRM-8B和基于问题难度的动态扩展机制,在多个基准上显著提升模型性能。
2025-01-02 cs.CL cs.SE
MCPGen: Benchmarking LLMs on Executable MCPWorkflow Development
Shanghai Jiao Tong University(上海交通大学)
本研究提出MCPGen基准,测试LLM生成可执行MCP工作流的能力,发现跨层集成是主要瓶颈,端到端执行成功率最高仅57%。
2026-09-22 cs.AI cs.SE
Reinforcement Learning from Automatic Feedback for High-Quality Unit Test Generation
针对 LLM 生成单元测试常含测试坏味道的问题,提出 RLSQM,用静态质量指标作强化学习奖励优化 Codex,显著提升测试质量并优于 GPT-4。
2025-01-06 cs.LG cs.SE
Static Program Analysis Guided LLM Based Unit Test Generation
Ericsson R&D Bangalore(爱立信班加罗尔研发中心);Ericsson Stockholm(爱立信斯德哥尔摩);Independent Researcher(独立研究者)
本文提出利用静态程序分析获取简洁精确的上下文信息来增强LLM提示,以解决现有方法依赖示例用法或整个类上下文导致的不可行与扩展性问题,并在商业和开源Java项目上验证了其有效性。
2025-03-07 cs.AI cs.SE
Parameter-Efficient Fine-Tuning of Large Language Models for Unit Test Generation: An Empirical Study
Norwegian University of Science and Technology(挪威科学技术大学)
本文通过实证研究探讨了大型语言模型在单元测试生成中的参数高效微调方法,发现LoRA在某些情况下性能可与全量微调媲美,提示微调在成本效益上表现最佳。
2025-11-23 cs.AI cs.LG cs.SE
Exploring and Unleashing the Power of Large Language Models in Automated Code Translation
Shandong University(山东大学);Beihang University(北京航空航天大学);City University of Hong Kong(香港城市大学);Peking University(北京大学)
本文评估 LLM 与学习型转译器的代码翻译能力,定位其理解与 I/O 指令等缺陷,并提出结合测试生成、执行验证和迭代修复的 UniTrans 框架,在六种跨语言设置上显著提升三类 LLM。
2024-05-11 cs.AI cs.SE
UnitCoder: Scalable Iterative Code Synthesis with Unit Test Guidance
School of Computer Science, Fudan University(复旦大学计算机科学技术学院);Shanghai AI Laboratory(上海人工智能实验室)
针对代码生成中预训练数据质量不一致、指令合成多样性有限等问题,提出UnitCoder流水线,结合单元测试引导验证与包检索生成500K+可验证程序,微调模型在多个基准测试上性能提升显著。
2025-02-17 cs.CL cs.SE
Learning to Generate Unit Tests for Automated Debugging
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出 UTGen 和 UTDebug,通过生成能揭示错误且包含正确输出的单元测试来提升 LLM 自动化调试效果,并在多个基准上显著超越现有方法。
2025-08-21 cs.AI cs.CL cs.LG
LSPRAG: LSP-Guided RAG for Language-Agnostic Real-Time Unit Test Generation
Tsinghua University(清华大学);East China Normal University(华东师范大学);Tencent(腾讯)
LSPRAG通过利用语言服务器协议实现实时语言无关单元测试生成,显著提高了测试覆盖率。
2026-03-02 cs.AI cs.SE
An Empirical Evaluation of Using Large Language Models for Automated Unit Test Generation
University of Alberta(阿尔伯塔大学);University of Stuttgart(斯图加特大学);Northeastern University(东北大学)
本文提出TestPilot,利用LLM依据函数签名、实现和文档示例自动生成JavaScript单元测试,并通过失败信息重提示修复;在25个npm包上验证其覆盖率显著优于Nessie且跨模型有效。
2023-12-11 cs.AI cs.SE
Navigating the Labyrinth: Path-Sensitive Unit Test Generation with Large Language Models
The State Key Laboratory of Blockchain and Data Security, Zhejiang University(区块链与数据安全国家重点实验室,浙江大学)
针对现有单元测试生成方法路径不敏感导致覆盖率不足的问题,提出路径敏感型框架JUnitGenie,结合代码知识与LLM语义能力生成高覆盖率测试,分支覆盖率提升至31.00%,并有效覆盖真实Bug。
2025-10-11 cs.AI cs.SE
The Potential of LLMs in Automating Software Testing: From Generation to Reporting
Florida Institute of Technology(佛罗里达理工学院)
本文提出一种基于LLM的智能体软件测试框架,可自动生成单元测试、可视化调用图并执行与报告,在Python和Java应用中验证了其高覆盖率与高效性。
2024-12-31 cs.AI cs.SE
Collaboration is all you need: LLM Assisted Safe Code Translation
University Of Houston(休斯顿大学);Mysten Labs(Mysten实验室);Kent State University(肯特州立大学)
该研究提出UniTranslator多智能体协作代码翻译框架,协调专注不同翻译环节的紧凑型LLM智能体,借助NLI grounding与迭代反馈机制,在多样语言对翻译中达到媲美大型单体模型的效果,释放小模型代码翻译潜力。
2025-03-14 cs.AI cs.CL cs.SE
The potential of LLMs for coding with low-resource and domain-specific programming languages
该研究以gretl的hansl语言为对象,验证基于GPT-3.5的LLM在低资源领域编程语言中的编码辅助能力,证实其可用于代码编写、文档生成等,同时指出存在代码优化、单元测试编写方面的局限,为低资源语言软件开发提供参考。
2023-07-24 cs.CL cs.SE
Debug like a Human: A Large Language Model Debugger via Verifying Runtime Execution Step-by-step
University of California, San Diego(加利福尼亚大学圣迭戈分校)
本文提出LDB调试框架,将程序分割为基本块并跟踪运行时中间变量值,使LLMs能逐块验证代码正确性并定位错误,在多个基准上提升调试性能最高达9.8%。
2024-06-06 cs.AI cs.CL cs.SE