An Exploratory Study on Just-in-Time Multi-Programming-Language Bug Prediction
本研究针对多编程语言系统缺陷预测缺失的问题,选取指标构建即时多编程语言缺陷预测模型,验证了随机森林的适用性、核心指标的作用及跨项目预测的可行性。
2024-07-15 cs.SE
Aligning Programming Language and Natural Language: Exploring Design Choices in Multi-Modal Transformer-Based Embedding for Bug Localization
University of Waterloo(滑铁卢大学)
该研究评估了14个嵌入模型在缺陷定位中的设计选择,发现预训练策略和模型对数据的熟悉程度显著影响嵌入质量与定位性能,且跨项目数据会导致性能大幅波动。
2024-06-25 cs.AI cs.LG cs.SE
On the Bug-proneness of Structures Inspired by Functional Programming in JavaScript Projects
受函数式编程启发的语言构造已经进入了大多数主流程序设计语言。许多研究人员和开发人员认为,这些结构导致程序更简洁,可重用,更容易理解。然而,很少有研究调查在主流程序设计语言中使用它们的影响。本文量化了JavaScript中与函数式编程相关的四个概念:递归、不变性、惰性求值和函数作为值。我们专注于JavaScript程序,因为这些概念中的一些在语言中的可用性,因为它的灵感来自函数式程序设计语言,以及它的流行。我们挖掘了91个GitHub存储库(2200多万个),其中大部分是用JavaScript编写的(超过50%的代码),从静态和时间角度衡量这些概念的使用情况。我们还测量了错误修复提交删除这些概念的可能性(这将暗示错误倾向)以及它们与代码注释的存在(这将暗示代码难以理解)的关联。我们发现,这些概念被广泛使用(每46.65个,43.59%的人)。此外,高阶函数、不变性和惰性求值相关结构的使用在这些年来一直在增长,而递归、回调和承诺的使用却在减少。我们还发现统计证据表明,除了与不变性相关的结构之外,删除这些结构在bug修复提交中比在其他提交中更不常见。此外,它们的存在与评论大小无关。我们的研究结果表明,函数式编程的概念是很重要的开发人员使用多范式语言,他们的使用不会使程序更难理解。
2022-06-17 cs.PL cs.SE
A Comprehensive Study of Bug Fixes in Quantum Programs
随着量子编程的发展,越来越多的量子编程语言正在开发中。因此,调试和测试量子程序变得越来越重要。虽然经典程序中的错误修复已经走过了很长的路,但在量子程序中缺乏研究。为此,本文提出了一个全面的研究量子程序中的错误修复。我们收集和调查了来自四种流行的量子编程语言Qiskit,Cirq,Q#和ProjectQ的96个真实世界的错误及其修复。我们的研究表明,量子程序中的错误有很大比例是量子特定的错误(超过80%),这需要在错误修复领域进行进一步的研究。我们还总结和扩展了量子程序中的错误模式,并对最关键的部分--数学相关错误进行了细分,使其更适用于量子程序的研究。我们的研究结果总结了量子程序中缺陷的特征,为研究量子程序的测试和调试提供了基础。
2022-01-21 cs.PL cs.SE quant-ph
Characterizing Real-World Bugs in Tile Programs for Automated Bug Detection
University of Texas at Dallas(达拉斯大学);Institute of Systems for Advanced Computing, Fudan University(复旦大学高级计算系统研究所);Beijing Tongming Lake Information Technology Application Innovation Center(北京通明湖信息技术应用创新中心);Shanghai Institute of Systems for Open Computing(上海开放计算系统研究所);Key Lab of HCST (PKU), MOE(北京大学计算机辅助设计与图形学教育部重点实验室;计算机科学系,北京大学);SCS, Peking University
本文首次系统研究了Tile程序代码生成中的Bug,通过收集401个GitHubbug报告,识别出301个Tile程序代码生成Bug,分析其根本原因、症状、输入模式、触发测试或acles以及修复策略,为构建针对Tile编译器基础设施的调试、测试和修复工具提供基础见解。
2026-07-30 cs.SE
Understanding Bugs in Multi-Language Deep Learning Frameworks
Central China Normal University(华中师范大学);Wuhan University(武汉大学)
深度学习框架(DLF)在这个智能时代扮演着越来越重要的角色,因为它们是越来越广泛的基于AI的应用程序的基础设施。同时,作为多编程语言(MPL)软件系统,DLF不可避免地遭受由使用多个程序设计语言(PL)引起的错误。因此,了解错误(特别是涉及多个PL的错误,即,MPL缺陷),为DLF开发过程中缺陷的预防、检测和解决提供了依据。为此,我们手动分析了三个MPL DLF(即MXNet、PyTorch和TensorFlow)中的1497个bug。首先,我们将这些DLF中的错误分为12种类型(例如,算法设计错误和存储器错误)。其次,我们进一步探讨了不同类型的错误对DLF开发的影响,发现部署错误和内存错误在不同方面对DLF的开发产生了最大的负面影响。第三,我们发现MXNet、PyTorch和TensorFlow中分别有28.6%、31.4%和16.0%的bug是MPL bug; Python和C/C++的PL组合在修复所有DLF中超过92%的MPL bug时使用最多。最后,在所有三个DLF中,MPL错误修复的代码更改复杂性明显大于单一编程语言(SPL)错误修复,而在PyTorch中,MPL错误修复的开放时间更长,通信复杂性也比SPL错误修复更高。这些结果为DLF中的错误管理提供了见解。
2023-03-05 cs.LG cs.SE
Understanding Resolution of Multi-Language Bugs: An Empirical Study on Apache Projects
本文通过对 54 个 Apache 项目中的 66,932 个缺陷进行实证研究,揭示了多编程语言缺陷在比例、变更复杂度、开放时间和重新打开率等方面的特征,并识别出 6 个成因和 5 种跨语言调用机制,表明多语言缺陷会增加开发难度。
2023-07-05 cs.SE
Large Language Models for Programming: Actually Fixing or Reimplementing Incorrect Code?
University Politehnica of Bucharest(布加勒斯特理工大学);University of Craiova(克拉约瓦大学)
本研究探究LLM修复代码缺陷时是否偏向重写而非局部修补,通过Codeforces数据集和多个GPT模型实验发现,LLM常过度修改代码,且从头生成比修补更有效,对AI辅助编程工具设计有重要启示。
2026-09-25 cs.CL cs.SE
FixEval: Execution-based Evaluation of Program Fixes for Programming Problems
Virginia Tech(弗吉尼亚理工大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
现代软件的复杂性导致了与检测和纠正软件错误相关的时间和成本的急剧增加。作为回应,研究人员探索了各种方法来自动生成错误代码的修复程序。然而,由于任何给定错误的可能修复的组合空间很大,很少有工具和数据集可用于有效评估模型生成的修复。为了解决这个问题,我们引入了FixEval,这是一个基准测试,它包含针对竞争性编程问题提交的错误代码及其相应的修复。FixEval提供了一个广泛的单元测试集合,用于评估模型生成的程序修复的正确性,并评估有关时间、内存限制和基于判决的接受度的进一步信息。我们将两个在程序设计语言上预训练的Transformer语言模型作为我们的基线,并使用基于匹配和基于执行的评估指标对它们进行比较。我们的实验表明,基于匹配的指标不反映模型生成的程序修复准确。同时,基于执行的方法通过为该解决方案明确设计的所有案例和场景来评估程序。因此,我们相信FixEval提供了迈向真实世界的自动错误修复和模型生成的代码评估的一步。数据集和模型在https://github.com/mahimanzum/FixEval上开源。
2023-03-30 cs.LG cs.SE
Mining Crash Fix Patterns
在软件开发的生存周期中,开发人员必须修复测试人员或最终用户报告的各种错误。修复bug的效率和有效性对软件的可靠性以及开发团队的生产力有着巨大的影响。软件公司通常在测试和错误修复部门花费大量的资金和人力资源。因此,他们非常希望有一种更好、更可靠的方法来修复bug。为了实现这一目标,有必要深入研究维护良好的、高度流行的软件项目的错误修复特征。在本文中,我们研究了从Eclipse项目中提取的错误修复历史,Eclipse项目是一个维护良好,非常流行的开源项目。在分析了属于三种主要异常类型的36,000多个错误之后,我们能够揭示一些常见的修复类型,这些类型经常用于修复某些类型的程序异常。我们的分析表明,几乎所有属于某个异常的异常都可以通过不到10种修复类型来修复。我们的研究结果表明,软件项目中的大多数错误可以而且应该只通过几个常见的修复模式来修复。
2013-11-11 cs.SE
Identifying Bug Patterns in Quantum Programs
错误模式是错误的代码习惯用法或糟糕的编码实践,已被证明一次又一次地失败,通常是由于误解了程序设计语言的功能,使用错误的设计模式,或共享共同行为的简单错误。本文对量子程序设计语言Qiskit中的一些错误模式进行了识别和分类,并简要讨论了如何消除或预防这些错误模式。我们将这项研究作为第一步,为调试和测试量子程序提供基础。
2021-03-16 cs.PL cs.SE quant-ph
From Logic to Toolchains: An Empirical Study of Bugs in the TypeScript Ecosystem
Simon Fraser University(西蒙菲莎大学)
本文通过实证研究揭示TypeScript生态系统中错误的主要来源,发现工具配置和异步处理问题占主导,同时指出静态类型虽减少传统错误,但增加了构建系统脆弱性。
2026-01-29 cs.SE
An Empirical Study on the Classification of Bug Reports with Machine Learning
本文针对缺陷报告错误分类导致人工成本高的问题,利用超66万份异构项目问题报告数据,实证研究了项目语言等因素对机器学习分类模型性能的影响,并提出了数据与算法选择指南。
2025-03-01 cs.SE
Bug Analysis in Jupyter Notebook Projects: An Empirical Study
计算笔记本电脑,如Quixyter,已被数据科学家广泛采用,用于编写分析和可视化数据的代码。尽管它们越来越被采用和流行,但从从业者的角度来看,还没有深入的研究来理解Java开发的挑战。本文通过大规模的实证调查,系统地研究了人工智能从业者面临的错误和挑战。我们从105个GitHub开源项目中挖掘了14,740个提交,这些项目都使用了Apriyter notebook代码。接下来,我们分析了30,416个Stack Overflow帖子,这些帖子让我们深入了解了从业者在开发Jobyter笔记本项目时面临的错误。最后,我们对数据科学家进行了19次采访,以揭示有关Google Yter错误的更多细节,并深入了解Google Yter开发人员面临的挑战。我们提出了一个错误分类法的基础上,我们的研究结果的项目。我们还强调了错误的类别,它们的根本原因,以及编译器从业者面临的挑战。
2022-10-13 cs.SE
Bug Localization from Bug Reports: A Multi-Objective Approach
FAST School of Computing, National University of Computer and Emerging Sciences(计算机与新兴科学国立大学 FAST 计算机学院)
针对大型软件缺陷定位的痛点,提出基于SPEA-2的多目标搜索系统,在Java及Kotlin项目上验证,可高效识别潜在缺陷类,适配多语言。
2026-08-28 cs.NE cs.SE
A Comprehensive Study on Deep Learning Bug Characteristics
Iowa State University(爱荷华州立大学)
近年来,深度学习获得了极大的普及。开发人员主要依靠库和工具来为他们的软件添加深度学习功能。在这些软件中经常发现什么样的bug?此类错误的根本原因是什么?这些bug有什么影响?深度学习管道的哪个阶段更容易出现错误?是否存在任何反模式?理解深度学习软件中缺陷的这些特征有可能促进更好的深度学习平台、调试机制、开发实践的开发,并鼓励分析和验证框架的开发。因此,我们研究了来自Stack Overflow的2716篇高质量帖子和来自Github的500个bug修复提交,这些帖子涉及五个流行的深度学习库Caffe,Keras,Tensorflow,Theano和Torch,以了解bug的类型,bug的根本原因,bug的影响,深度学习管道的bug易发阶段以及在这个bug软件中是否存在一些常见的反模式。我们研究的主要发现包括:数据错误和逻辑错误是深度学习软件中最严重的错误类型,出现的次数超过48%,这些错误的主要根源是模型参数不正确(IPS)和结构效率低下(SI),出现的次数超过43%。我们还发现,使用深度学习库时的错误有一些共同的反模式,导致库之间的错误类型具有很强的相关性。
2019-06-03 cs.LG cs.SE
Deep Learning for Bug-Localization in Student Programs
Indian Institute of Science(印度科学学院);Google Brain(谷歌大脑)
提供反馈是教学的一个组成部分。大多数关于编程的开放式在线课程都使用自动评分系统来支持编程作业并提供实时反馈。这些系统通常依赖于测试结果来量化程序的功能正确性。他们把不及格的试卷作为反馈给学生。然而,学生们可能会发现,如果他们没有得到关于错误在哪里以及如何修复它的提示,他们很难调试他们的程序。在这项工作中,我们提出了第一个基于深度学习的技术,可以定位错误程序中的错误w.r.t.一个失败的测试,甚至没有运行程序。我们的技术的核心是一种新型的树卷积神经网络,它被训练来预测程序是否通过或失败。为了定位错误,我们使用最先进的神经预测归因技术分析训练的网络,并查看程序的哪些行使其预测测试结果。我们的实验表明,所提出的技术通常是更准确的两个国家的最先进的程序频谱为基础的和一个语法差异为基础的错误定位基线。
2019-05-28 cs.LG cs.SE
Empowering Student Debugging in Parallel Programming with Execution Traces and Large Language Models
The University of Texas at San Antonio(圣安东尼奥德州大学);The University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
提出ParaView工具,通过执行记录与可视化帮助学生调试并发程序,结合大语言模型分析错误,实验表明调试成功率显著提升。
2026-06-15 cs.DC cs.SE
ViBR: Automated Bug Replay from Video-based Reports using Vision-Language Models
The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));University of Connecticut(康涅狄格大学);TU Munich(慕尼黑工业大学);Monash University(蒙纳士大学)
本文提出ViBR,一种基于视觉-语言模型的自动化Bug回放方法,通过动作边界分割和区域感知的GUI状态比较,实现从GUI视频记录中自动复现Bug,实验表明其复现率达72%。
2026-04-21 cs.SE
Pre-training Code Representation with Semantic Flow Graph for Effective Bug Localization
针对现有基于BERT的缺陷定位方法存在的代码语义捕获不足、对比学习负样本缺失及相似度估计忽略词汇相似性的问题,提出语义流图表示、SemanticCodeBERT模型及分层动量对比缺陷定位技术,实现了缺陷定位的当前最优性能。
2023-08-24 cs.SE
A Study of Single Statement Bugs Involving Dynamic Language Features
动态语言特征在程序设计语言中广泛可用,以实现可以适应多个使用上下文的功能,从而实现重用。数据绑定、对象关系映射和用户界面构建器等功能可能严重依赖于这些特性。然而,它们的使用有风险和缺点,因为它们影响静态分析和依赖于这种分析的技术(例如错误检测和自动程序修复)的可靠性。由于理解反射代码的潜在困难、编译时安全性的丧失和不正确的API使用,它们还可能使软件更容易出错。在本文中,我们开始量化在Java程序中使用动态语言功能的一些影响,也就是说,使用这些功能相对于一个特定类型的错误称为单语句错误的错误倾向。通过挖掘2,024个GitHub项目,我们发现了139个单语句bug实例(属于10种不同的bug模式),其中最多的bug属于三种特定模式:错误的函数名称,相同的函数更多的参数和更改使用的标识符。这些结果可以帮助从业者量化使用动态技术的风险,而不是替代技术(如代码生成)。我们希望这种分类引起人们对选择可能容易出错的动态API的关注,并为开发人员在设计此类功能的错误检测工具时提供更好的理解。
2022-04-03 cs.SE
When Agents Fail: A Comprehensive Study of Bugs in LLM Agents with Automated Labeling
Oakland University(奥克兰大学);Texas State University(德克萨斯州立大学);Tulane University(杜兰大学)
本文通过分析1187个bug相关帖子和代码片段,研究LLM代理中的bug类型、根本原因及影响,并构建BugReAct代理自动标记bug。
2026-08-20 cs.SE
ENCORE: Ensemble Learning using Convolution Neural Machine Translation for Automatic Program Repair
University of Waterloo(滑铁卢大学);Purdue University(普渡大学)
针对传统生成-验证程序修复技术规则固化、适配语言有限的问题,提出基于卷积神经机器翻译集成学习的ENCORE方法,可跨多语言修复缺陷,在多个基准上修复效果优于现有技术。
2024-03-10 cs.LG cs.SE
On Reporting Performance and Accuracy Bugs for Deep Learning Frameworks: An Exploratory Study from GitHub
深度学习(DL)的巨大成功大大增加了GitHub上托管的开源DL框架的数量。其中,性能和准确性错误是影响这些DL框架声誉的关键因素,因此了解发现和调查DL的实践非常重要。在本文中,我们进行了探索性研究的性质报告性能和准确性错误错误的DL框架,旨在提高我们的知识在这个话题上。我们的研究涵盖了GitHub上10个最流行的开源DL框架(例如,TensorFlow,Keras和PyTorch),基于此,我们从22,522个总人口中抽取了664个代表性的性能和准确性错误报告。通过对这些样本的系统分析,我们的主要发现是:(1)低速度是提交与性能错误相关的报告的主要原因,但我们没有看到与准确性相关的报告的一致模式;(2)大多数报告都是关于训练阶段遇到的问题;(3)只有一小部分报告提供的信息不足以进行调查;(4)大多数性能和准确性错误报告(69%至100%)与实际错误无关或被视为未分类;(5)大约50%的性能和准确性错误报告确实揭示了错误,但没有通过直接补丁解决。从上述推导,我们讨论了一组可操作的影响,研究人员,维护人员,并在这个问题上的报告提交者。为了促进开放科学,已标记的数据集已在https://tinyurl.com/4x3tap9w上公开提供。
2022-04-17 cs.SE
SelfHeal: Empirical Fix Pattern Analysis and Bug Repair in LLM Agents
Oakland University(奥克兰大学)
本文研究LLM代理中的故障修复模式,提出首个基准数据集AgentDefect,并设计SelfHeal多智能体系统,利用ReAct代理结合内部和外部知识实现高效故障修复。
2026-04-20 cs.SE
Towards Understanding Bugs in Distributed Training and Inference Frameworks for Large Language Models
本文针对大语言模型分布式训练与推理框架的Bug问题,首次对3个主流框架的308个已修复Bug开展大规模实证分析,揭示Bug特征与低代码修复规律,为框架可靠性提升与自动化调试提供了方向。
2025-06-12 cs.SE
GitBug-Actions: Building Reproducible Bug-Fix Benchmarks with GitHub Actions
GitBug-Actions 利用 GitHub Actions 构建现代且完全可复现的缺陷修复基准,解决了现有基准更新滞后和可复现性不足的问题。
2024-01-21 cs.SE
T5APR: Empowering Automated Program Repair across Languages through Checkpoint Ensemble
本文提出基于 CodeT5 和检查点集成的多语言自动程序修复方法 T5APR,在四种语言的六个基准上修复 1,985 个缺陷,其中 1,442 个为其他方法未能修复,验证了多语言 APR 的实用价值。
2024-04-30 cs.SE
Automated Bug Frame Retrieval from Gameplay Videos Using Vision-Language Models
本文提出一种自动化流水线,利用FFmpeg提取关键帧并由GPT-4o视觉-语言模型排序,从游戏视频中检索与缺陷描述最匹配的帧,显著减少人工审查,实现F1分数0.79。
2025-08-06 cs.SE
Common Patterns in Block-Based Robot Programs
可编程机器人具有吸引力,玩起来很有趣,与现实世界互动,因此非常适合向年轻学习者介绍编程。介绍性的机器人程序设计语言通常扩展现有的基于块的语言,如Scratch。虽然用这些语言进行编程教学已经很成熟,但机器人程序中与现实世界的交互会带来特定的挑战,学习者和教育者可能需要帮助和反馈。提供这种反馈的一种实用方法是识别并指出代码中指示好或坏解决方案的模式。虽然这种模式已经被定义为常规的基于块的程序,机器人特定的编程方面还没有考虑到目前为止。因此,本文的目的是确定特定的模式,机器人编程的基于Sockerch的mBlock程序设计语言,这是用于流行的mBot和科迪洛基机器人。我们确定:(1)26种错误模式,表示错误的代码;(2)3种代码气味,表示可能工作但以令人困惑或难以理解的方式编写的代码;(3)18种代码气味,表示代码可能很好的方面。我们扩展了LitterBox分析框架,以自动识别mBlock程序中的这些模式。在3,540个mBlock程序的数据集上进行评估,我们总共发现了6,129个错误模式,592个代码气味和14,495个代码气味。这证明了我们的方法为学习者和教育者提供反馈和帮助的潜力。
2022-08-29 cs.SE
The GitHub Recent Bugs Dataset for Evaluating LLM-based Debugging Applications
针对 Defects4J 可能已进入 LLM 训练数据导致评估失真的问题,本文构建 GHRB 数据集,提供 OpenAI 截止日期后的 76 个真实 Java 缺陷。
2023-11-02 cs.SE
Analyzing programming languages by community characteristics on Github and StackOverflow
选择程序设计语言是一个非常重要的决定,因为它不仅影响软件的性能和可维护性,而且还决定了可用的人才库和社区支持。为了更好地理解做出这样的决定所涉及的权衡,我们通过在线协作平台定义和计算程序设计语言的流行度、需求、可用性和社区参与度。我们使用来自Github和StackOverflow的数据进行分析,这是两个最受欢迎的编程社区。我们从Github获得与项目,语言和开发人员参与相关的数据,并从StackOverflow获得编程问题和答案以及语言标签。我们分别为两个数据源计算指标,然后将指标结合起来,为最流行的程序设计语言提供一个全面而强大的社区。
2020-06-02 cs.SE
S-DABT: Schedule and Dependency-Aware Bug Triage in Open-Source Bug Tracking Systems
Ryerson University(瑞尔森大学)
及时修复错误可以降低软件维护中的各种潜在成本。然而,手动的bug修复调度可能是耗时的,麻烦的,并且容易出错。在本文中,我们提出了时间表和依赖性意识的错误分类(S-DABT),一个错误分类方法,利用整数规划和机器学习技术分配错误到合适的开发人员。与以前的工作,主要集中在一个单一的组件的错误报告,我们的方法考虑到文本数据,错误修复成本,和错误的依赖关系。我们进一步将开发人员的时间表纳入我们的制定中,以便为这个多方面的问题提供更全面的模型。因此,这个完整的公式考虑了开发人员的时间表和错误的阻塞效应,同时涵盖了以前提出的方法的最重要的方面。我们对四个开源软件系统,即OpenSeJDT,LibreOffice,GCC和Mozilla的数值研究表明,考虑到开发人员的时间表减少了平均错误修复时间。我们发现,S-DABT导致开发人员利用率高,通过公平分配的开发人员之间的任务和有效地利用他们的时间表中的空闲点。通过问题跟踪系统的模拟,我们还展示了如何将计划在模型制定减少了错误修复时间,提高了分配的准确性,并利用每个开发人员的能力,而没有太多的模型运行时间。我们发现,S-DABT降低了错误依赖图的复杂性,通过优先级阻塞错误,并有效地降低了不可行的分配率,由于错误的依赖关系。因此,我们建议在自动化bug分类时考虑开发人员的时间表。
2022-04-12 cs.LG cs.SE
Identifying non-natural language artifacts in bug reports
Graz University of Technology(格拉茨工业大学)
Bug报告是自然语言处理(NLP)的一个常用目标。但是,bug报告通常包含代码片段、日志输出和堆栈跟踪等工件。这些工件不仅会使bug报告充满噪音,而且往往会对NLP方法构成真正的问题,必须加以删除。在本文中,我们提出了一种基于机器学习的方法来分类内容到自然语言和工件在行级实现Python。我们展示了如何将来自GitHub问题跟踪器的数据用于自动生成训练集,并为bug报告提供了一种自定义的预处理方法。我们的模型在0.95 ROC-AUC和0.93 F1上对我们手动注释的验证集进行了评分,并在0.72秒内对10 k行进行了分类。我们针对同一个任务,针对一个外国数据集和一个外国R模型对我们的模型进行了交叉评估。我们的模型和数据集的Python实现在开源许可证下公开提供。
2021-10-04 cs.CL cs.SE
Bugs in Large Language Models Generated Code: An Empirical Study
Polytechnique Montréal(蒙特利尔理工学院)
本研究通过分析333个来自主流LLM的代码缺陷,识别出10种缺陷模式,并通过调查验证,为提升LLM生成代码质量提供指导。
2024-03-18 cs.AI cs.SE
ProDebug: An Automated Debugging System for Prolog
Carnegie Mellon University(卡内基梅隆大学)
提出结合大语言模型、频谱和变异技术的Prolog自动调试系统ProDebug,用于识别学生作业中的错误并生成修复方案。
2026-05-26 cs.PL cs.SE
Self-Bootstrapping Automated Program Repair: Using LLMs to Generate and Evaluate Synthetic Training Data for Bug Repair
Departamento de Ciencias de la Computación, Universidad de Alcalá(阿尔卡拉大学计算机科学系)
本文提出一种利用LLMs生成合成数据提升自动程序修复的方法,通过生成和评估代码bug与修复代码的配对示例,提升修复准确率,实验显示在VulRepair数据集上Top@1和Top@5表现显著提升。
2026-08-18 cs.AI cs.SE
Estimating defectiveness of source code: A predictive model using GitHub content
Indian Institute of Technology(印度理工学院)
本文提出的两个关键贡献是:i)用于构建包含从开源软件(OSS)和相关错误报告中提取的源文件中提取的源代码特征的数据集的方法,ii)用于估计给定源代码的缺陷的预测模型。这些工件对于构建与几个自动化软件工程领域相关的工具和技术非常有用,例如错误定位、代码审查以及推荐和程序修复。为了实现我们的目标,我们首先为GitHub上的源代码文件提取编码风格信息(例如,与源代码中使用的程序设计语言结构相关)。然后提取与这些源代码文件相关的错误报告(如果有的话)中的可用信息。因此,获取的非(/半)结构化的信息,然后转换成一个结构化的知识库。我们考虑了来自20个不同GitHub存储库的30400多个源代码文件,以及来自4个错误跟踪门户的约14950个相关错误报告。所考虑的源代码文件是用四种程序设计语言编写的(即,C、C++、Java和Python),属于不同类型的应用程序。然后使用知识库训练用于估计给定输入源代码的缺陷性的机器学习(ML)模型。为了选择最好的ML模型,我们评估了8种不同的ML算法,如随机森林,K最近邻和SVM,大约有50个参数配置,以比较它们在我们的任务中的性能。我们的研究结果之一表明,最好的K倍(k=5)交叉验证结果是用NuSVM技术获得的,平均F1得分为0.914。
2018-03-21 cs.LG cs.SE
Leveraging Structural Properties of Source Code Graphs for Just-In-Time Bug Prediction
University of Saskatchewan(萨斯喀彻温大学)
数据可视化最常见的用途是最大限度地减少正确理解的复杂性。图是理解关系数据最常用的表示之一。它产生了一种简化的数据表示,如果以文本格式保存,则很难理解。在这项研究中,我们提出了一种方法来利用源代码的关系属性的形式的图形,以确定在不同版本的软件演化和维护的软件系统中的即时(JIT)错误预测。提出了一种将提交补丁的源代码转换为等价图表示的方法,并将其命名为源代码图(SCG)。为了理解和比较多个源代码图,我们提取了这些图的几个结构属性,如密度,周期数,节点,边缘等,然后我们利用这些SCG的属性值来可视化和检测错误的软件提交。我们处理超过246K的软件提交从12个主题系统在本次调查中。我们对这12个用C++和Java程序设计语言编写的开源软件项目的调查表明,如果我们将SCG的特征与类似研究中使用的传统特征相结合,我们将获得基于机器学习(ML)的错误提交检测模型的性能提高。使用Wilcoxon符号秩检验,我们还发现在预测有缺陷和无缺陷提交时F1分数的增加具有统计学显著性。由于基于SCG的特征值代表了软件系统中源代码更新或更改的风格或结构属性,因此它表明了仔细维护源代码风格或结构以保持软件系统无错误的重要性。
2022-01-25 cs.LG cs.SE
ViScratch: Using Large Language Models and Gameplay Videos for Automated Feedback in Scratch
ViScratch 是首个面向 Scratch 的多模态反馈生成系统,利用项目积木代码和游戏视频,通过视觉语言模型对齐视觉症状与代码结构,提出并验证 AST 级修复,在错误识别和修复质量上显著优于现有工具。
2025-09-14 cs.PL cs.SE
Bug Characterization in Machine Learning-based Systems
Polytechnique Montréal(蒙特利尔理工学院);York University(约克大学)
本文研究了基于ML的软件系统中的缺陷特征,通过分析GitHub上300个代码库的386个问题,发现ML组件比非ML组件更易出错且修复成本更高。
2023-07-26 cs.LG cs.SE
BLAZE: Cross-Language and Cross-Project Bug Localization via Dynamic Chunking and Hard Example Learning
David R. Cheriton School of Computer Science, University of Waterloo(滑铁卢大学戴维·R·切里顿计算机科学学院)
针对现有缺陷定位工具跨项目和多语言能力不足的问题,本文提出BLAZE方法,通过动态分块和难例学习微调GPT模型,并构建含26,321个缺陷的BEETLEBOX数据集,在三个基准上显著提升定位精度。
2025-06-22 cs.IR cs.LG cs.SE
Are Large Language Models Memorizing Bug Benchmarks?
Carnegie Mellon University(卡内基梅隆大学);INESC-ID;FEUP(波尔图大学工程学院);LASIGE
本文评估了流行LLMs对广泛使用的缺陷基准的数据泄露易感性,发现codegen-multi等模型在Defects4J中存在明显记忆,而LLaMa 3.1等较新模型泄露有限,强调了谨慎选择基准和采用稳健指标的必要性。
2025-03-31 cs.AI cs.LG cs.SE
ApacheJIT: A Large Dataset for Just-In-Time Defect Prediction
University of Waterloo(滑铁卢大学)
在本文中,我们介绍了ApacheJIT,一个用于即时缺陷预测的大型数据集。ApacheJIT由流行的Apache项目中的干净的和引起bug的软件更改组成。ApacheJIT总共有106,674次提交(28,239次bug诱导提交和78,435次干净提交)。拥有大量的提交使ApacheJIT成为机器学习模型的合适数据集,特别是需要大型训练集的深度学习模型,以有效地将历史数据中存在的模式推广到未来数据。
2022-04-30 cs.AI cs.LG cs.PL