Can we find bugs using LLM-generated oracles?
University of Luxembourg(卢森堡大学);Luxembourg Institute of Science and Technology(卢森堡科学与技术研究所)
针对 24 个 Java 仓库的受控实验表明,LLM 生成的测试预言仍倾向反映程序实际行为,但其生成能力强于分类能力且故障检测潜力优于 Evosuite。
2026-10-06 cs.SE
AssertFlip: Reproducing Bugs via Inversion of LLM-Generated Passing Tests
University of Waterloo(滑铁卢大学)
AssertFlip通过翻转LLM生成的通过测试来复现错误,有效提升错误复现效率。
2026-01-07 cs.SE
Chain of Targeted Verification Questions to Improve the Reliability of Code Generated by LLMs
Polytechnique Montréal(蒙特利尔理工学院)
本研究提出一种基于针对性验证问题链的自我精炼方法,通过分析代码AST节点识别并修复LLM生成代码中的潜在错误,无需测试用例,在CoderEval上减少21%-62%错误并提升13%可执行性。
2024-05-22 cs.AI cs.SE
CrossFix: Collaborative bug fixing by recommending similar bugs
已经提出了许多自动程序修复技术来修复错误。这些技术中的一些使用了给定的错误程序和测试套件之外的信息来提高生成的补丁的质量。然而,存在阻碍这些技术的广泛采用的几个限制,包括(1)它们依赖于用于补丁生成或参考实现的固定的修复模板集合,(2)搜索合适的参考实现是具有挑战性的,(3)生成的补丁是不可解释的。与此同时,最近的一种方法表明,不同的项目中存在类似的bug,人们可以使用不同项目的GitHub问题来查找相关项目的新bug。我们提出了合作修复错误,一个novelapproach,建议错误报告,描述了一个类似的错误。我们的研究重新定义了类似的错误,这些错误共享(1)相同的库,(2)相同的功能,(3)相同的复制步骤,(4)相同的配置,(5)相同的结果,或(6)相同的错误。此外,我们的研究揭示了类似错误在帮助开发人员找到更多关于错误和修复的上下文方面的有用性。基于我们的研究,我们设计了CrossFix,这是一个基于开放的GitHub问题自动建议相关GitHub问题的工具。我们对来自Java和Android项目的249个开放问题的评估表明,CrossFix可以建议类似的错误,以帮助开发人员调试和修复。
2021-03-24 cs.SE
From Business Requirements to Test Assertions: Evaluating LLM-Generated Oracles on Real Bugs
Department of EECS, University of Tennessee, Knoxville, TN, USA(田纳西大学诺克斯维尔分校电气与计算机工程系)
研究大语言模型能否从自然语言业务需求生成测试预言机,提出基于Defects4J的流程,对10个实际错误进行实验,评估预言机在与需求衍生预言机及被测系统一致性上表现,发现大语言模型有泛化但存在差异,为后续研究提供可行性参考。
2026-07-14 cs.SE
Anchored Self-Play for Code Repair
研究代码修复能力,提出生成器-修复器自博弈,通过强化学习训练单个模型生成并修复错误,引入BugSourceBench测试泛化性,发现问题后提出锚定自博弈,提高修复率。
2026-07-07 cs.CL cs.SE
A Systematic Impact Study for Fuzzer-Found Compiler Bugs
尽管最近对编译器随机测试(模糊)很感兴趣,但模糊发现的编译器错误对实际应用程序的实际影响几乎没有得到评估。我们提出了第一个定量和定性的研究在一个成熟的编译器中的错误编译错误的有形影响。我们遵循一种严格的方法,根据(1)错误是否在编译过程中触发;(2)由于触发错误,生成的汇编代码在语法上发生变化的程度;以及(3)这些变化有多少会导致回归测试套件失败,并可用于在执行过程中手动触发分歧。该研究是针对309个Debian软件包中超过1000万行C/C++代码的编译进行的,使用了Clang/LLVM编译器中四个最先进的模糊器发现的12%的历史错误和现已修复的错误编译错误,以及人类用户编译真实代码或通过形式化验证发现的18个错误。结果表明,几乎一半的模糊发现的错误传播到生成的二进制文件的一些软件包,但很少影响他们的语法,并导致两个失败时,运行他们的测试套件。用户报告和形式化验证错误没有表现出更高的影响,触发错误的频率较低,只有一次测试失败。我们手动分析了一些bug,无论是模糊发现的还是没有发现的,都表明没有一个bug可以轻易地在分析中考虑的软件包上触发运行时分歧,而且一般来说,它们只影响角落情况。
2019-09-05 cs.PL cs.SE
Towards More Reliable Automated Program Repair by Integrating Static Analysis Techniques
自动程序修复的一个长期存在的公开挑战是过拟合问题,这是由于没有足够或不完整的规范来验证生成的补丁是否正确而引起的。大多数可用的修复系统依赖于弱规范(即,从测试用例合成的规范),这限制了生成的修复的质量。为了加强规范和提高修复的质量,我们建议更紧密地结合静态错误检测技术与自动程序修复。该集成将自动程序修复与静态分析技术相结合,使得错误检测模式可以合成为修复系统可以使用的规范。我们探索这种集成使用两种类型的错误的可行性:算术错误,如整数溢出,和逻辑错误,如终止错误。作为我们分析的一部分,我们提出了一些意见,有助于提高这些类别的错误补丁生成。此外,这些观察有助于缩小候选块搜索空间,并推断有效的搜索顺序。
2021-11-10 cs.SE
How effective are traditional test criteria at detecting bugs in large language models generated code?
SnT, University of Luxembourg(卢森堡大学 SnT);Luxembourg Institute of Science and Technology(卢森堡科学与技术研究院)
本研究通过实证评估5个LLM和4个基准中的6000多个故障实例,发现传统测试准则对LLM生成代码的缺陷检测率极低,变异测试优势有限,需手动推理断言。
2026-09-10 cs.SE
LLM-Guided Issue Generation from Uncovered Code Segments
Concordia University(康考迪亚大学)
本文提出IssueSpecter工具,通过结合代码覆盖分析与大语言模型缺陷识别,生成优先级高的问题报告,验证其在Python项目中有效检测多种类型漏洞,且比传统方法在准确率和召回率上表现更优。
2026-04-28 cs.SE
A Recurrent Neural Network Based Patch Recommender for Linux Kernel Bugs
生产环境中的软件错误会对服务质量造成不良影响,导致服务质量、计划外系统停机和良好客户体验中断,从而导致收入和声誉损失。现有的自动化软件错误修复方法集中在使用静态代码分析工具和测试套件检测到的已知错误模板上,以及针对这些错误自动生成补丁代码。我们描述了Linux内核中采用的典型错误修复过程,并激发了对新的自动化工具流来修复错误的需求。我们提出了这样一个自动化的工具,使用循环神经网络(RNN)的自然语言处理从用户生成的错误报告生成补丁建议的初始设计。在测试错误的第50个百分位数,正确的补丁出现在模型输出的前11.5个补丁建议中。此外,我们提出了一个Linux内核开发人员的质量评估建议新的未解决的内核错误的补丁。
2020-02-19 cs.CR cs.OS cs.SE
Silent Bugs in Deep Learning Frameworks: An Empirical Study of Keras and TensorFlow
Polytechnique Montreal(蒙特利尔理工学院)
本研究首次实证调查Keras与TensorFlow中的静默缺陷,通过分析1168个问题识别出77个可复现缺陷,分类并评估其影响,提出防护指南。
2023-09-01 cs.LG cs.SE
Understanding and Finding JIT Compiler Performance Bugs
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出了一种轻量级技术,用于自动检测JIT编译器性能错误,并通过Jittery工具发现了12个新错误。
2026-03-06 cs.SE
Fix Bugs with Transformer through a Neural-Symbolic Edit Grammar
Iowa State University(爱荷华州立大学);AWS AI(AWS人工智能)
我们介绍了NSEdit(神经符号编辑),一种新的基于transformer的代码修复方法。只给出包含bug的源代码,NSEdit预测可以修复bug的编辑序列。编辑语法被公式化为正则语言,并且Transformer将其用作神经符号脚本接口来生成编辑程序。我们修改Transformer并添加一个指针网络来选择编辑位置。训练重排序器的集合以重排序由束搜索生成的编辑序列。我们对验证集上的重排序器进行微调,以减少过度拟合。NSEdit在各种代码修复数据集上进行了评估,并在CodeXGLUE基准测试的Tufano小数据集上实现了新的最先进的精度($24.04\%$)。NSEdit在程序因包而异以及有bug的程序是具体的情况下执行稳健。我们对我们的方法进行了详细的分析,并证明了每个组件的有效性。
2022-04-13 cs.AI cs.LG cs.PL
An Exploratory Study on LLM-Generated Code and Comments in Code Repositories
School of Computing and Mathematical Sciences, University of Leicester(利兹大学计算与数学科学学院)
本研究通过检测工具分析2021-2025年公司和社区维护的仓库,发现LLM生成的代码随时间减少且多出现在测试用例中,注释则相对稳定;公司仓库中LLM生成内容比例更高,且仅少数人工标记的bug与LLM生成代码相关。
2026-07-03 cs.AI cs.SE
What is the Connection Between Issues, Bugs, and Enhancements? (Lessons Learned from 800+ Software Projects)
敏捷团队处理多个任务,因此专业人员通常被分配到多个项目,特别是在为大型用户群监控和维护大型软件套件的服务组织中。如果我们可以预测项目条件的变化,那么管理人员可以更好地调整人员分配给这些projects.This本文建立这样一个预测器使用的数据从832开源和专有应用程序。通过对过去4个月的问题进行时间序列分析,我们可以预测下个月将产生多少错误报告和增强请求。以这种方式进行的预测只需要对这个问题报告的频率进行计数(并且不需要项目中发现的错误的历史记录)。也就是说,这种预测模型非常容易在项目中部署。因此,我们强烈推荐这种方法来预测项目中未来的问题,增强和错误。
2018-09-06 cs.SE
Understanding Agent-Reactive Bugs at the Model-Harness Boundary: An Empirical Study of LLM Agent Issue Reports
The Hong Kong University of Science and Technology(香港科技大学);Guangzhou HKUST Fok Ying Tung Research Institute(广州HKUST福氏研究院)
研究聚焦大型语言模型代理在模型-框架边界处的反应性错误,通过分析255份错误报告构建分类法,发现此类错误多为无明确测试预言的静默错误,检测和重现困难,还揭示了用户与开发者对错误归因及修复的不匹配,推动相关技术设计。
2026-07-20 cs.SE
Large Language Models and Simple, Stupid Bugs
UC Davis(加州大学戴维斯分校)
随着强大的神经语言模型的出现,基于AI的系统,以协助开发人员在编码任务变得越来越普遍; Copilot就是这样一个系统。Copilot使用Codex(一种大语言模型(LLM))来完成基于前面的“提示”的代码。然而,Codex是在公共GitHub存储库上训练的,即,可能包含错误和漏洞的代码。以前的研究[1],[2]表明Codex重现了训练中看到的漏洞。在这项研究中,我们研究了Codex如何容易生成一个有趣的错误类别,单一语句错误,通常被称为简单的,愚蠢的错误或SStubs在MSR社区。我们发现Codex和类似的LLM确实有助于避免一些SStuB,但确实产生了已知的、逐字的SStuB,其可能性是已知的、逐字正确的代码的2倍。我们探讨的法典产生的SStubs的后果,并提出避免策略,建议减少生产已知的,逐字SStubs的可能性,并增加生产已知的,逐字修复的可能性。
2023-03-20 cs.CL cs.LG cs.SE
What Bugs Do Prolog Students Write? An Empirical Taxonomy and Data-Driven Mutation Framework
INESC-ID / IST, Universidade de Lisboa(里斯本大学);Artificial Intelligence Research Institute, Consejo Superior de Investigaciones Científicas(西班牙国家研究委员会人工智能研究所);Carnegie Mellon University(卡内基梅隆大学)
研究Prolog学生编写的错误类型,通过对7201份提交人工分类得出细粒度分类法,据此开发数据驱动的LogMorph变异工具,其操作符加权,评估显示合成错误分布与学生分布匹配,指出残留差异来源及改进方向。
2026-07-24 cs.LO cs.SE
How Different Is It Between Machine-Generated and Developer-Provided Patches? An Empirical Study on The Correct Patches Generated by Automated Program Repair Techniques
背景资料:多年来,自动程序修复(Automated Program Repair,APR)由于能够降低修复错误的成本而受到学术界和工业界的广泛关注。然而,如何评估补丁的正确性仍然是一个开放的挑战。两种广泛采用的方法来应对这一挑战,包括手动检查和使用自动生成的测试进行验证,都是有偏见的(即,分别遭受主观性和低精度)。目的:为了解决这一问题,我们建议进行实证研究,了解正确的补丁,由现有的国家的最先进的APR技术,旨在为未来的补丁评估提供指导方针。方法:为此,我们首先提出了一个文献综述(LR)报告的正确补丁生成的最新技术的缺陷4J基准和收集177个正确的补丁后,健全检查的过程。我们研究了这些机器生成的正确补丁是如何实现语义等价的,但与开发人员提供的补丁相比在语法上存在差异,这些补丁如何在不同的项目和APR技术中分布,以及错误的特征如何影响为其生成的补丁。我们的主要发现包括:1)我们不需要像开发人员那样修复bug,因为我们观察到25.4%(45/177)2)机器生成的正确补丁的分布在Defects 4J项目和APR技术方面存在差异;以及3)APR技术倾向于生成与开发者针对具有大补丁大小的错误所生成的补丁不同的补丁。结论:我们的研究不仅验证了以前的研究结论,但也强调了未来的研究对评估补丁的正确性的影响。
2019-06-08 cs.SE
FM-Agent: Scaling Formal Methods to Large Systems via LLM-Based Hoare-Style Reasoning
Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University(并行与分布式系统研究所,上海交通大学)
提出FM-Agent框架,利用LLM自动生成函数级规范,实现大型系统的组合式推理,在143k行代码的系统中2天内发现522个新bug。
2026-06-19 cs.AI cs.SE
Challenging Bug Prediction and Repair Models with Synthetic Bugs
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Stanford University(斯坦福大学)
提出BugFarm,利用LLM在注意力最少位置修改代码,生成难以检测和修复的复杂缺陷,评估显示其优于现有方法。
2025-09-09 cs.LG cs.SE
Hybrid Automated Program Repair by Combining Large Language Models and Program Analysis
本文提出GIANTREPAIR方法,通过结合LLM生成补丁骨架与程序分析技术进行上下文感知的补丁实例化,有效提升了自动化程序修复在真实场景下的缺陷修复数量与性能。
2024-06-04 cs.SE
From Code to Correctness: Closing the Last Mile of Code Generation with Hierarchical Debugging
Shanghai Jiao Tong University(上海交通大学);University of California, Davis(加州大学戴维斯分校);East China Normal University(华东师范大学);University of Pennsylvania(宾夕法尼亚大学)
本文提出MGDebugger,一种分层调试器,通过多粒度分析提升代码生成的准确性与修复效率。
2025-11-22 cs.AI cs.CL cs.PL
Diff-Based Code Corruption using LLMs for Large-Scale Bugfix Benchmarking
Eötvös Loránd University(罗兰大学);Faculty of Informatics(信息学学院)
提出MegaBugFix,一个包含12,629个由LLM通过差异生成的有缺陷Python程序的大规模基准,用于评估模型错误修复能力,发现现有模型在此基准上表现更差。
2026-07-02 cs.AI cs.SE
The Inversive Relationship Between Bugs and Patches: An Empirical Study
软件缺陷是开发人员一直关注的问题,修补这些缺陷需要通过复杂的操作花费相当大的成本。相比之下,引入bug可能是一项毫不费力的工作,因为即使是一个简单的突变也可以很容易地破坏被测程序(PUT)。现有的研究已经考虑了这两个对立的活动在很大程度上分开,要么试图自动生成现实的补丁,以帮助开发人员,或找到现实的错误,以模拟和防止未来的缺陷。尽管它们之间有根本的差异,但是,我们假设当简单地考虑代码更改时,它们在语法上并没有彼此不同。为了系统地研究这一假设,我们研究了补丁和错误提交之间的关系,手动和自动生成,使用聚类和模式分析。一个大规模的实证评估表明,高达70%的补丁和故障可以聚集在一起的词汇模式之间的相似性的基础上,进一步,44%的代码更改可以抽象成相同的变化模式。此外,我们调查是否代码变异工具可以被用作自动程序修复(APR)工具,和APR工具作为代码变异工具。在这两种情况下,突变和APR工具的反向使用可以表现得令人惊讶地好,甚至更好,当与它们最初的预期用途相比时。例如,基于深度学习的APR工具SequenceR发现的89%的补丁也可以通过其反演来发现,即,用错误而不是补丁训练的模型。同样,真正的故障耦合突变体的研究表明,TBar,基于模板的APR工具,可以产生14%和3%以上的故障耦合比传统的突变工具,PIT和主要,分别作为一个突变工具。
2023-03-01 cs.SE
Memory-Safety Challenge Considered Solved? An In-Depth Study with All Rust CVEs
Rust是一种新兴的编程语言,旨在防止内存安全错误,而不会牺牲太多的效率。声称的属性对开发人员非常有吸引力,许多项目开始使用该语言。然而,Rust能实现内存安全的承诺吗?本文通过调查从几个来源收集的186个真实世界的错误报告来研究这个问题,这些报告包含了2020年12月31日之前内存安全问题的所有现有Rust CVE(常见漏洞和暴露)。我们手动分析每个bug并提取它们的罪魁祸首模式。我们的分析结果表明,Rust可以遵守其承诺,即所有内存安全错误都需要不安全的代码,并且我们数据集中的许多内存安全错误都是轻微的可靠性问题,只留下编写内存安全错误而不需要不安全代码的可能性。此外,我们总结了三种典型的内存安全漏洞,包括自动内存回收,不健全的功能,不健全的泛型或特征。虽然自动内存声明bug与Rust新采用的基于所有权的资源管理方案的副作用有关,但不健全的功能揭示了Rust开发避免不健全代码的根本挑战,而不健全的泛型或特征加剧了引入不健全的风险。基于这些发现,我们提出了两个有希望的方向,以提高Rust开发的安全性,包括使用特定API和方法来检测涉及不安全代码的特定错误的几个最佳实践。我们的工作旨在引起更多关于Rust内存安全问题的讨论,并促进语言的成熟。
2021-02-25 cs.CR cs.PL cs.SE
Effective Test Generation Using Pre-trained Large Language Models and Mutation Testing
本文提出MuTAP方法,利用变异测试增强大语言模型生成测试用例的缺陷检测能力,在多个基准上检测出更多缺陷,并达到93.57%的变异得分。
2023-08-31 cs.SE
When AI Is Wrong on Purpose: How Students Respond to Buggy GenAI Code
MPI-SWS(马克斯·普朗克软件系统研究所);University of Auckland(奥克兰大学);Aalto University(阿尔托大学);Abilene Christian University(阿比林基督教大学)
研究如何调整以提示为中心的编程活动,通过向正确解决方案注入真实可运行的错误,分析学生对自然发生的提示相关故障和故意注入错误的行为,发现学生对不同错误源反应不同,二者共同支持有用的生成式人工智能工作流程。
2026-07-07 cs.CY cs.SE
Learning to Generate Corrective Patches using Neural Machine Translation
Bug修复通常是一项手工密集型任务。然而,最近的工作提出了自动程序修复的想法,其目的是修复(至少是一个子集)的错误,以不同的方式,如代码突变等以下在同一行的工作自动修复错误,在本文中,我们的目标是利用过去的修复,提出修复当前/未来的错误。具体来说,我们提出了棘轮,一个纠正补丁生成系统,使用神经机器翻译。通过使用神经序列到序列模型学习过去修复中相应的预校正和后校正代码,Ratchet能够为给定的容易出错的代码查询生成修复代码。我们进行了实证研究与五个开源项目,即Ambari,骆驼,Hadoop,Jetty和Wicket,评估棘轮的有效性。我们的研究结果表明,棘轮可以生成语法有效的语句98.7%的时间,并实现F1的措施之间的0.29 - 0.83的实际修复采用的代码库。此外,我们使用20名参与者进行定性验证,看看生成的语句是否有助于纠正错误。我们的调查显示,Ratchet的输出被认为在许多情况下有助于修复错误,即使修复不是100%正确。
2019-07-04 cs.SE
What Happens When We Fuzz? Investigating OSS-Fuzz Bug History
本研究通过分析 OSS-Fuzz 的 44,102 个历史缺陷,发现模糊测试能将缺陷中位未解决时间缩短至 2 天,有效帮助项目在发布前快速修复问题。
2023-05-19 cs.SE
From Bugs to Benefits: Improving User Stories by Leveraging Crowd Knowledge with CrUISE-AC
针对需求不完整导致软件缺陷的问题,提出完全自动化方法 CrUISE-AC,利用 NLP 和 LLM 集成挖掘问题跟踪器信息,为敏捷用户故事生成额外验收标准,专家评估显示 80-82% 的生成标准能补充相关需求。
2025-05-02 cs.SE
GraphFuzz: Automated Testing of Graph Algorithm Implementations with Differential Fuzzing and Lightweight Feedback
针对图算法测试输入空间大、代码覆盖引导模糊测试效率低的问题,提出首个面向图算法的反馈引导模糊测试框架GraphFuzz,通过算法特定轻量反馈提升语料多样性,支持黑/灰盒测试,结合差分测试发现12个未知漏洞。
2025-02-21 cs.SE
Evaluating LLM-Based Regression Test Generation
MPI-SP(Max Planck Institute for Software Process Engineering);University of California at Los Angeles(加州大学洛杉矶分校);University of Padua(帕多瓦大学)
研究利用大语言模型为特定程序即时生成回归测试,将其作为机器翻译任务,通过对多个项目测试,反馈导向的零样本原型Cleverest表现良好,还探讨了提交消息对其效果的影响。
2026-07-07 cs.AI cs.SE
Cracks in The Stack: Hidden Vulnerabilities and Licensing Risks in LLM Pre-Training Datasets
Department of Electrical Engineering and Computer Science(电气工程与计算机科学系);University of Tennessee, Knoxville, USA(田纳西大学,基洛纳分校)
针对LLM预训练数据质量问题,提出利用开源项目版本历史自动识别含漏洞或修复的样本,在Stack v2中发现17%代码有更新版本,其中17%为修复,并揭示大量未修改blob和许可风险。
2025-01-05 cs.AI cs.SE
DiffSpec: Differential Testing with LLMs using Natural Language Specifications and Code Artifacts
DiffSpec框架利用自然语言规范与代码工件引导大语言模型生成差分测试,在eBPF运行时和Wasm验证器中发现多个已确认缺陷。
2025-05-06 cs.SE
Practical Testing of a C99 Compiler Using Output Comparison
本文提出了一种测试C99编译器的简单方法,通过将其输出与已有工具的输出进行比较。这种方法的优点是可以从现有的源代码中批量添加新的测试用例,减少了对正确性问题的深入调查以及手工创建新测试代码的需要。这项技术被用于测试PalmSource Palm OS Cobalt ARM C/C++交叉编译器,主要用于测试Palm-Powered个人数字助理的标准合规性和生成代码的正确执行。这里描述的技术发现了数百个bug,大部分在我们的内部代码中,但也在Edison Design Group和Apogee Software长期以来的高质量前端和后端代码中。它还在GNU C编译器中发现了18个bug,以及一个特定于Apple版本的GCC的bug,一个特定于Suse版本的GCC的bug,以及ARM处理器的GCC版本中的十几个bug,其中几个是关键的。
2022-02-14 cs.SE
Is LLM-Generated Code More Maintainable \& Reliable than Human-Written Code?
本研究通过SonarQube对比三种配置下LLM与人类编写的不同难度Python代码的质量,发现LLM代码整体bug更少、修复成本更低,但微调会降低性能,竞赛级代码易出现人类代码没有的结构问题,为LLM代码质量评估提供参考。
2025-08-01 cs.SE
How Developers Experience Debugging Unfamiliar Codebases with Code Tours Generated and Evaluated by Local LLMs
该研究探讨开发者使用本地大语言模型生成评估的代码导航调试陌生代码库的体验,明确代码导航组件属性对开发者的影响,为优化代码导航生成与评估提供方向。
2026-08-06 cs.SE
A Survey of Video Game Testing
视频游戏项目是出了名的有第一天的错误,无论他们的预算或团队规模有多大。一款游戏的质量对于它的成功至关重要。这种质量可以通过测试来评估和保证。然而,据我们所知,对视频游戏测试知之甚少。在本文中,我们希望了解游戏开发人员如何执行游戏测试。我们调查,通过一项调查,学术和灰色文献,以确定和报告现有的测试过程,以及他们如何可以自动化。我们发现,游戏开发者几乎完全依赖于手动游戏测试和测试人员的固有知识。我们的结论是,目前的测试过程由于缺乏自动化而不足,这似乎是提高游戏质量同时保持成本的自然下一步。然而,目前的游戏测试技术可能无法推广到不同类型的游戏。
2021-03-11 cs.SE
Validating Static Warnings via Testing Code Fragments
静态分析是发现软件缺陷和漏洞的重要方法。然而,检查和确认静态警告是具有挑战性和耗时的。在本文中,我们提出了一种新的解决方案,自动生成测试用例的基础上,静态警告,以验证真和假阳性。我们设计了一个语法修补算法,可以从静态警告中生成语法有效、语义保持的可执行代码片段。我们开发了一个构建和测试系统,使用模糊器,KLEE和Valgrind自动测试代码片段。我们使用12个真实的C项目和1955个来自两个商业静态分析工具的警告来评估我们的技术。我们成功构建了68.5%的代码片段并生成了1003个测试用例。通过自动测试,我们确定了48个真阳性和27个假阳性,以及205个可能的假阳性。我们使用Helium匹配了4个CVE和真实世界的bug,它们只由我们的工具触发,而不是其他基线工具。我们发现,测试代码片段是可伸缩的和有用的;它可以触发测试整个程序或测试过程未能触发的错误。
2021-06-28 cs.SE
Coffee: Boost Your Code LLMs by Fixing Bugs with Feedback
Yonsei University(延世大学);Seoul National University(首尔大学)
本文提出 Coffee 数据集和 CoffeePots 框架,通过偏好优化调优与选择为开源代码大语言模型生成高质量修复反馈,在 HumanEvalFix 上取得最优性能。
2024-02-23 cs.CL cs.SE
Fight Fire with Fire: How Much Can We Trust ChatGPT on Source Code-Related Tasks?
针对ChatGPT在软件开发中应用时生成代码质量验证的问题,本文通过实证研究评估其在代码生成、补全和修复任务中的自我验证能力,发现其存在误判和幻觉等问题,且引导性问题可增强该能力,为相关研究提供启示。
2024-11-28 cs.SE
SmartInv: Multimodal Learning for Smart Contract Invariant Inference
提出多模态智能合约不变量推断框架SmartInv,利用思维层级提示策略结合源代码与自然语言生成不变量并检测违例,在真实合约中高效发现119个零日漏洞。
2024-11-14 cs.CR cs.PL cs.SE
Semantic Code Repair using Neuro-Symbolic Transformation Networks
Google(谷歌);Google DeepMind(谷歌DeepMind);Microsoft Research(微软研究院)
我们研究语义代码修复的问题,它可以被广泛地定义为自动修复源代码中的非语法错误。过去语义代码修复中的大多数工作都假设可以访问单元测试,可以根据这些测试来验证候选修复。相比之下,这里的目标是开发一个强大的统计模型,以准确地预测错误位置和确切的修复,而无需访问有关程序预期正确行为的信息。实现这样一个目标需要一个健壮的上下文修复模型,我们训练一个大的语料库的真实世界的源代码,已与合成注入的错误。我们的框架采用了两个阶段的方法,首先是一个大的修复候选人生成的规则为基础的处理器,然后这些候选人进行了评分的统计模型,使用一种新的神经网络架构,我们称之为共享,专业化,竞争。具体来说,该架构(1)使用RNN在抽象语法树上生成源代码的共享编码,(2)使用专用网络模块对每个候选修复进行评分,以及(3)然后将这些评分标准化在一起,以便它们可以在可比的概率空间中相互竞争。我们在从GitHub收集的真实世界测试集上评估我们的模型,其中包含四种常见的bug。我们的模型能够预测准确的正确修复41%的时间与一个单一的猜测,相比之下,13%的准确率为注意序列到序列模型。
2017-10-30 cs.AI cs.PL cs.SE
ATGen: Adversarial Reinforcement Learning for Test Case Generation
Shanghai Jiao Tong University(上海交通大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对静态测试生成方法存在固定难度上限的问题,提出ATGen框架,通过对抗性强化学习动态生成更难错误并训练测试生成器,显著提升测试用例质量与代码可靠性。
2025-10-16 cs.SE
LAMeD: LLM-generated Annotations for Memory Leak Detection
本文提出LAMeD方法,利用大语言模型自动生成函数注解,以改进内存泄漏检测并缓解路径爆炸问题。
2025-05-05 cs.SE
What's Wrong with Your Code Generated by Large Language Models? An Extensive Study
Fudan University(复旦大学);Peking University(北京大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Shanghai Qiji Zhifeng Co., Ltd.(上海启智风科技有限公司);Huazhong University of Science and Technology(华中科技大学)
本研究广泛评估了多个LLM在代码生成基准上的表现,发现其面对复杂问题生成代码成功率低且代码更短更复杂,并提出了错误分类法和无需训练的自我批评迭代方法以提升代码质量。
2025-10-17 cs.CL cs.SE
A Survey on What Developers Think About Testing
本调查基于284名开发者的回复,探究开发者对测试的真实态度,发现测试动机受质量追求与个人满足感驱动,但被视为单调任务,建议通过更好认可来改善。
2023-09-03 cs.SE
Towards Understanding the Capability of Large Language Models on Code Clone Detection: A Survey
本文首次系统评估了大语言模型在代码克隆检测中的能力,发现其在复杂语义克隆检测上优于现有方法,思维链提示和文本编码器嵌入可进一步提升性能,且能力因编程语言而异。
2023-08-06 cs.SE
Beyond Bug Fixes: An Empirical Investigation of Post-Merge Code Quality Issues in Agent-Generated Pull Requests
University of Saskatchewan(萨斯喀彻温大学)
本研究通过分析代理生成的bug修复PR合并后代码质量问题,发现代码异味主导,且合并成功不等于代码质量高,需系统化质量检查。
2026-01-27 cs.SE