An Empirical Study of Bugs in Quantum Machine Learning Frameworks
本文首次对量子机器学习框架中的缺陷进行实证研究,分析391个真实缺陷,提出症状与根因分类法,总结关键挑战并给出改进建议。
2023-06-22 cs.SE
An Empirical Study of Bugs in Eclipse Stable Internal Interfaces
Eclipse框架是一个流行且广泛使用的框架,已经发展了十多年。该框架提供稳定接口(API)和不稳定接口(非API)。尽管Eclipse不鼓励应用程序开发人员使用非API,但这会导致他们的系统在移植到新的框架版本时失败。以前的研究表明,与使用新引入的非API的应用程序相比,使用相对较旧的非API的应用程序更有可能与新版本兼容。此外,从我们之前对Eclipse内部接口稳定性的研究中,我们发现随着Eclipse框架的发展,存在327K稳定的非API方法。在同一项研究中,我们建议Eclipse接口提供者可以使用327K稳定的非API方法作为提升到稳定接口的可能候选者。然而,由于非API不受支持并且被认为是不成熟的,即,可能包含错误,为此,需要首先调查稳定的非API的可能错误,然后才能将其提升为API。在这项研究中,我们使用Sonarqube软件质量工具对稳定的非API进行了实证研究,以发现可能的错误。我们发现,超过79.8%的包含旧的稳定非API方法的类没有bug。接口提供商和用户都可以使用这项研究的结果作为起点,以分析哪些接口经过了良好的测试,并估计在为给定的eclipse版本执行bug修复时可能涉及多少工作。
2022-06-25 cs.SE
An Empirical Study on the Bugs Found while Reusing Pre-trained Natural Language Processing Models
在NLP中,重用预先训练的模型而不是从头开始训练已经越来越流行;然而,NLP模型大多是黑盒子,非常大,并且通常需要大量资源。为了方便,使用大型语料库训练的模型可以使用,开发人员可以将它们重用于不同的问题。相比之下,开发人员大多从零开始构建他们的模型来解决传统的DL相关问题。通过这样做,他们可以控制算法的选择,数据处理,模型结构,调整超参数等,而在NLP中,由于预训练模型的重用,NLP开发人员对这些设计决策的控制很少或没有。他们对预先训练好的模型应用调优或迁移学习来满足他们的要求。此外,NLP模型及其相应的数据集明显大于传统的DL模型,需要大量的计算。这样的原因往往会导致系统中的错误,同时重用预先训练的模型。虽然传统深度学习软件中的错误已经被深入研究,但广泛重用和黑盒结构的本质促使我们了解重用NLP模型时发生的不同类型的错误。这些bug的根本原因是什么?这些bug是如何影响系统的?为了回答这些问题,我们研究了在重用11个流行的NLP模型时报告的错误。我们从GitHub存储库中挖掘了9,214个问题,并确定了984个bug。我们创建了一个包含bug类型、根本原因和影响的分类法。我们的观察得出了几个发现,包括对模型内部的访问有限导致缺乏鲁棒性,缺乏输入验证导致算法和数据偏差的传播,以及高资源消耗导致更多崩溃等。我们的观察结果表明了几个错误模式,这将大大有助于进一步减少预训练模型和代码重用…
2022-11-30 cs.SE
Exploring the Jupyter Ecosystem: An Empirical Study of Bugs and Vulnerabilities
本文通过分析两大平台的大规模 Notebook 数据集,结合定量分析、扎根理论与安全提交研究,构建缺陷分类并揭示配置、API 使用及部署框架漏洞风险。
2025-07-24 cs.SE
An Empirical Study of OSS-Fuzz Bugs
连续模糊是一种越来越流行的自动质量和安全保证技术。Google维护OSS-Fuzz:一个针对开源软件的持续模糊服务。我们对OSS-Fuzz进行了第一次实证研究,分析了在316个项目中发现的23,907个错误。我们研究的模糊发现故障的特点,这种故障的生命周期,随着时间的推移,模糊运动的演变。我们发现,OSS-Fuzz通常能有效地快速找到bug,开发人员通常能快速修补它们。然而,漏洞,超时,内存不足的错误是有问题的,人们很少文件的安全漏洞的CVE,和模糊活动往往表现出间断的均衡,开发人员可能会惊讶于发现的bug的大峰值。我们的研究结果对未来的模糊研究和实践的影响。
2021-03-21 cs.CR cs.SE
The Inversive Relationship Between Bugs and Patches: An Empirical Study
软件缺陷是开发人员一直关注的问题,修补这些缺陷需要通过复杂的操作花费相当大的成本。相比之下,引入bug可能是一项毫不费力的工作,因为即使是一个简单的突变也可以很容易地破坏被测程序(PUT)。现有的研究已经考虑了这两个对立的活动在很大程度上分开,要么试图自动生成现实的补丁,以帮助开发人员,或找到现实的错误,以模拟和防止未来的缺陷。尽管它们之间有根本的差异,但是,我们假设当简单地考虑代码更改时,它们在语法上并没有彼此不同。为了系统地研究这一假设,我们研究了补丁和错误提交之间的关系,手动和自动生成,使用聚类和模式分析。一个大规模的实证评估表明,高达70%的补丁和故障可以聚集在一起的词汇模式之间的相似性的基础上,进一步,44%的代码更改可以抽象成相同的变化模式。此外,我们调查是否代码变异工具可以被用作自动程序修复(APR)工具,和APR工具作为代码变异工具。在这两种情况下,突变和APR工具的反向使用可以表现得令人惊讶地好,甚至更好,当与它们最初的预期用途相比时。例如,基于深度学习的APR工具SequenceR发现的89%的补丁也可以通过其反演来发现,即,用错误而不是补丁训练的模型。同样,真正的故障耦合突变体的研究表明,TBar,基于模板的APR工具,可以产生14%和3%以上的故障耦合比传统的突变工具,PIT和主要,分别作为一个突变工具。
2023-03-01 cs.SE
From Logic to Toolchains: An Empirical Study of Bugs in the TypeScript Ecosystem
Simon Fraser University(西蒙菲莎大学)
本文通过实证研究揭示TypeScript生态系统中错误的主要来源,发现工具配置和异步处理问题占主导,同时指出静态类型虽减少传统错误,但增加了构建系统脆弱性。
2026-01-29 cs.SE
An Empirical Study of Interaction Bugs in ROS-based Software
本文针对基于ROS的机器人系统中的交互缺陷(iBugs)进行实证研究,分析了十个项目中的121个缺陷,将其分为系统内、硬件和环境三类,揭示了根本原因与修复策略,为构建更稳健安全的机器人系统提供指导。
2025-07-14 cs.SE
An Empirical Study on Embodied Artificial Intelligence Robot (EAIR) Software Bugs
本文首次系统分析80个EAIR项目中的885个软件缺陷,归纳症状、根因与模块分布,并建立根因—高发模块映射以支持缺陷预测、检测与修复。
2025-07-24 cs.SE
Common Bugs in Scratch Programs
Scratch程序中的错误可能会破坏学习的乐趣并抑制学习的成功。许多常见的bug都是重复出现的坏代码模式的结果。在本文中,我们提出了一个常见的代码模式,通常暗示在Scratch程序中的错误,和LitterBox工具,可以自动检测到它们。我们根据经验评估这些模式发生的频率以及其后果通常有多严重。虽然修复错误不可避免地是学习的一部分,但自动识别错误的可能性提供了支持学习者的潜力
2021-12-01 cs.SE
QBugs: A Collection of Reproducible Bugs in Quantum Algorithms and a Supporting Infrastructure to Enable Controlled Quantum Software Testing and Debugging Experiments
经验结果的可复制性和可比性是任何科学领域科学方法的核心原则。为了简化经验研究的可重复性,软件工程研究中的几个基准测试,如Defects 4J,已经开发并广泛使用。然而,对于量子软件工程研究,还没有建立基准。在这份立场文件中,我们提出了一个新的基准-命名为QBugs -这将提供实验对象和实验基础设施,以方便新的研究和量子软件工程先前发表的结果的再现性评估。
2021-03-31 cs.SE
Bug Priority Change: An Empirical Study on Apache Projects
本研究针对Apache开源项目中bug优先级变更的现象展开定量实证分析,揭示了变更比例、时间、规律及影响因素,为优化bug修复流程提供了数据支撑。
2024-03-08 cs.SE
Fast Fixes and Faulty Drivers: An Empirical Analysis of Regression Bug Fixing Times in the Linux Kernel
本文实证分析Linux内核回归缺陷修复时间,发现修复速度快于以往报告,设备驱动为最易受影响子系统,且代码审查与测试不能解释修复时间差异。
2024-11-04 cs.SE
Understanding Resolution of Multi-Language Bugs: An Empirical Study on Apache Projects
本文通过对 54 个 Apache 项目中的 66,932 个缺陷进行实证研究,揭示了多编程语言缺陷在比例、变更复杂度、开放时间和重新打开率等方面的特征,并识别出 6 个成因和 5 种跨语言调用机制,表明多语言缺陷会增加开发难度。
2023-07-05 cs.SE
Engineering Pitfalls in AI Coding Tools: An Empirical Study of Bugs in Claude Code, Codex, and Gemini CLI
York University(约克大学);Concordia University(康考迪亚大学)
本文通过分析超过3800个公开报告的bug,揭示了构建AI编码工具中的常见故障模式和工程挑战,发现功能相关bug占比超67%,主要症状包括API错误、终端问题和命令失败。
2026-03-21 cs.SE
Silent Bugs in Deep Learning Frameworks: An Empirical Study of Keras and TensorFlow
Polytechnique Montreal(蒙特利尔理工学院)
本研究首次实证调查Keras与TensorFlow中的静默缺陷,通过分析1168个问题识别出77个可复现缺陷,分类并评估其影响,提出防护指南。
2023-09-01 cs.LG cs.SE
An Empirical Study on Common Defects in Modern Web Browsers Using Knowledge Embedding in GPT-4o
该研究使用 GPT-4o 识别并聚类 Google Chromium 与 Mozilla Firefox 的常见缺陷,对比传统 NLP 方法,发现 Firefox 存在更多漏洞与易发缺陷组件,为开发者提升浏览器韧性提供了实证见解。
2025-04-29 cs.SE
An Empirical Study on the Characteristics of Database Access Bugs in Java Applications
本研究通过分析423个Java应用中的数据库访问错误,归纳出五大类根本原因,发现SQL查询、模式和API错误占84.2%,为开发者和研究者提供了改进建议。
2024-05-23 cs.DB cs.SE
An Empirical Study on Bug Severity Estimation using Source Code Metrics and Static Analysis
本文基于Defects4J和Bugs.jar数据集,实证评估10种源代码度量与SpotBugs、Infer静态分析工具在缺陷及其严重程度预测上的能力,发现两者均难以估计严重程度,并分析了原因与未来方向。
2024-08-02 cs.SE
What Makes Software Bugs Escape Testing? Evidence from a Large-Scale Empirical Study
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);University of Naples Federico II(那不勒斯费德里科二世大学);IMT School for Advanced Studies Lucca(卢卡高等研究学院)
本文通过大规模实证研究,分析了软件缺陷在生产环境中的表现与演变,揭示了发布后缺陷集中于老旧、高频修改和高 churn 组件,强调了进化和过程动态对缺陷产生的影响。
2026-04-29 cs.SE
Bug Analysis in Jupyter Notebook Projects: An Empirical Study
计算笔记本电脑,如Quixyter,已被数据科学家广泛采用,用于编写分析和可视化数据的代码。尽管它们越来越被采用和流行,但从从业者的角度来看,还没有深入的研究来理解Java开发的挑战。本文通过大规模的实证调查,系统地研究了人工智能从业者面临的错误和挑战。我们从105个GitHub开源项目中挖掘了14,740个提交,这些项目都使用了Apriyter notebook代码。接下来,我们分析了30,416个Stack Overflow帖子,这些帖子让我们深入了解了从业者在开发Jobyter笔记本项目时面临的错误。最后,我们对数据科学家进行了19次采访,以揭示有关Google Yter错误的更多细节,并深入了解Google Yter开发人员面临的挑战。我们提出了一个错误分类法的基础上,我们的研究结果的项目。我们还强调了错误的类别,它们的根本原因,以及编译器从业者面临的挑战。
2022-10-13 cs.SE
Towards Enhancing the Reproducibility of Deep Learning Bugs: An Empirical Study
Dalhousie University(达尔豪斯大学);Polytechnique Montreal(蒙特利尔理工学院)
本文通过构建668个深度学习缺陷数据集并复现其中165个缺陷,识别出十种编辑操作和五类有用信息,使开发者缺陷复现率提升22.92%、复现时间缩短24.35%,为提升深度学习缺陷可复现性提供了实证依据。
2024-10-22 cs.LG cs.SE
Effects of Hints on Debugging Scratch Programs: An Empirical Study with Primary School Teachers in Training
学习者程序中的错误通常是基本误解的结果。教师经常面临的挑战是,首先必须了解这些错误,然后提出修复它们的方法。为了使教师能够有效和高效地这样做,最好支持他们识别和修复错误。误解通常会导致类似错误的重复模式,从而使自动化工具能够在常见错误模式出现时提供提示。在本文中,我们调查在何种程度上的提示提高了教师在调试学习者的程序使用一个队列的163名小学教师的培训,任务是纠正错误的Scratch程序的有效性和效率,有和没有提示的错误模式。我们的实验表明,自动生成的提示可以将查找和修复错误的时间从8.66分钟减少到5.24分钟,同时将正确解决方案的有效性提高34%。虽然这种改进是令人信服的,但可以说,培训中的教师可能首先需要学习调试“艰难的方式”,以免错过依靠工具学习的机会。因此,我们调查是否在训练过程中使用提示影响他们的能力,以识别和修复错误没有提示。我们的实验没有提供任何重要的证据表明,无论是学习调试与提示或学习调试“困难的方式”导致更好的学习效果。总的来说,这表明,错误模式可能是一个有用的概念,包括在课程中的教师培训,而工具支持,以认识到这些模式是可取的教师在实践中。
2021-08-16 cs.SE
An Empirical Study on Bugs Inside PyTorch: A Replication Study
Concordia University(康考迪亚大学);Polytechnique Montréal(蒙特利尔理工学院);University of Alberta(阿尔伯塔大学);Université du Québec à Montréal(魁北克大学蒙特利尔分校);Queen’s University(女王大学)
受TensorFlow缺陷研究启发,本文对PyTorch库中的缺陷进行了特征刻画,调查了其原因、症状、局部性及修复模式,发现其更像传统软件缺陷,并与TensorFlow的缺陷处理过程进行了对比。
2023-08-01 cs.AI cs.SE
The challenge of reproducible ML: an empirical study on the impact of bugs
Polytechnique Montreal(蒙特利尔理工学院)
在科学研究中,复制是一项至关重要的要求。当研究结果和科学论文被发现很难或不可能复制时,我们面临着一个被称为再现性危机的挑战。虽然在文献中承认了机器学习(ML)中对再现性的需求,但主要障碍是ML训练和推理中固有的非确定性。在本文中,我们建立了ML系统中导致非确定性的基本因素。一个框架,ReproduceML,然后介绍了确定性评估ML实验在一个真实的,受控的环境。ReproduceML允许研究人员研究软件配置对ML训练和推理的影响。使用ReproduceML,我们运行了一个案例研究:调查ML库内部的错误对ML实验性能的影响。这项研究试图量化流行的ML框架PyTorch中错误的发生对训练模型性能的影响。为此,提出了一种全面的方法来收集ML库的错误版本,并使用ReproduceML运行确定性ML实验。我们的初步发现是,基于我们有限的数据集,没有证据表明PyTorch中发生的错误确实会影响训练模型的性能。所提出的方法以及ReproduceML可用于对非确定性和错误的进一步研究。
2021-09-09 cs.LG cs.SE
Characterizing Bugs in Login Processes of Android Applications: An Empirical Study
本文首次对Android应用登录问题开展实证研究,分析44个开源仓库的361个问题,发现多数源于状态转换处理不当且需多条件触发,其发现及公开数据集可助力开发者优化登录流程与测试。
2025-02-13 cs.SE
A Comprehensive Empirical Study of Bugs in Open-Source Federated Learning Frameworks
ShanghaiTech University(上海科技大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);Tianjin University(天津大学);Nankai University(南开大学)
本研究针对开源联邦学习框架的bug问题,首次从17个主流框架的千余条相关议题与拉取请求中收集1119个bug,构建多维度分类体系并分析其功能分布与关联,得出9项核心发现,为优化FL框架和bug治理工具研发提供依据。
2023-10-06 cs.LG cs.SE
From Empirical Evaluation to Context-Aware Enhancement: Repairing Regression Errors with LLMs
The University of Melbourne(墨尔本大学);Singapore University of Technology and Design(新加坡科技与设计大学)
通过构建回归错误基准RegressionBug4APR,评估传统APR和基于LLM的APR方法,发现上下文感知增强(引入错误诱导变更信息)使LLM-based APR修复成功率提升1.6倍。
2026-10-14 cs.AI cs.SE
Rust's Type Checker Implementation Is Unsound: An Empirical Study on Soundness Bugs in rustc
KAIST(韩国科学技术院);UNIST(蔚山科学技术院);Yale University(耶鲁大学)
本研究通过分析2022-2025年GitHub上30个rustc健全性缺陷问题,发现其存在多种类型的不健全问题,现有工具部分可检测相关缺陷,文档语义解释存在不足。
2026-09-01 cs.PL cs.SE
Bugs in Large Language Models Generated Code: An Empirical Study
Polytechnique Montréal(蒙特利尔理工学院)
本研究通过分析333个来自主流LLM的代码缺陷,识别出10种缺陷模式,并通过调查验证,为提升LLM生成代码质量提供指导。
2024-03-18 cs.AI cs.SE
Demystifying Deep Learning Compiler Frontend Bugs: An LLM-Aided Empirical Study
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学)
对PyTorch 2默认深度学习编译器前端TorchDynamo的fBug展开首次系统实证研究,借助领域知识增强的大语言模型辅助方法,分析fBug并构建分类法,生成测试用例,发现多个新fBug,为深度学习编译器开发和测试提供见解。
2026-07-29 cs.PL cs.SE
Empirical evaluation of LLMs in predicting fixes of Configuration bugs in Smart Home System
该研究通过四种提示设计评估GPT-4、GPT-4o和Claude 3.5 Sonnet修复智能家居配置缺陷的能力,发现结合缺陷描述与原始脚本时策略预测准确率最高可达80%。
2025-02-16 cs.AI cs.SE
Understanding Bugs in Quantum Simulators: An Empirical Study
Louisiana State University(路易斯安那州立大学)
本文通过分析394个确认的量子模拟器错误,揭示了错误发现主要由用户驱动,逻辑正确性错误普遍存在且无声,关键错误源于经典模拟器基础设施。
2026-03-24 cs.SE quant-ph
CMind: An AI Agent for Localizing C Memory Bugs
University of Notre Dame(圣母大学)
CMind通过模拟人类程序员行为,利用大语言模型和引导决策方法,定位C程序中的内存错误。
2026-02-20 cs.SE
Understanding and Finding JIT Compiler Performance Bugs
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出了一种轻量级技术,用于自动检测JIT编译器性能错误,并通过Jittery工具发现了12个新错误。
2026-03-06 cs.SE
An Empirical Study of Bugs in Data Visualization Libraries
The Hong Kong University of Science and Technology(香港科学与技术大学);University of Waterloo(滑铁卢大学);University of Waterloo Canada(滑铁卢大学加拿大)
本研究首次系统分析五个数据可视化库中的564个Bug,揭示不正确图表普遍存在且主要源于图形计算错误,并探索了视觉语言模型检测此类Bug的可行性,效果因提示而异。
2025-06-18 cs.CV cs.HC cs.SE
Large-Scale Empirical Analysis of Continuous Fuzzing: Insights from 1 Million Fuzzing Sessions
Osaka University(大阪大学);Kyushu University(九州大学);Nara Women’s University(奈良女子大学)
针对OSS-Fuzz中878个项目约112万次会话的实证研究表明,持续模糊测试早期可发现大量既有缺陷,且覆盖率增长有助于后续漏洞检测。
2025-10-18 cs.SE
What Bugs Do Prolog Students Write? An Empirical Taxonomy and Data-Driven Mutation Framework
INESC-ID / IST, Universidade de Lisboa(里斯本大学);Artificial Intelligence Research Institute, Consejo Superior de Investigaciones Científicas(西班牙国家研究委员会人工智能研究所);Carnegie Mellon University(卡内基梅隆大学)
研究Prolog学生编写的错误类型,通过对7201份提交人工分类得出细粒度分类法,据此开发数据驱动的LogMorph变异工具,其操作符加权,评估显示合成错误分布与学生分布匹配,指出残留差异来源及改进方向。
2026-07-24 cs.LO cs.SE
Demystifying Regular Expression Bugs: A comprehensive study on regular expression bug causes, fixes, and testing
正则表达式会导致与字符串相关的错误和DOS攻击的开放安全漏洞。然而,除了ReDoS(正则表达式拒绝服务)之外,人们对正则表达式问题影响软件开发的程度以及如何在实践中解决这些问题知之甚少。我们对来自Apache,Mozilla,Facebook和Google GitHub存储库的356个合并regex相关的pull request bug进行了实证研究。我们识别正则表达式问题的性质、修复以及测试代码中的相关更改并对其进行分类。本文最重要的发现如下:1)不正确的正则表达式行为是正则表达式错误的主要根源(165/356,46.3%)。其余的根本原因是不正确的API使用(9.3%)和其他需要在修复中更改正则表达式的代码问题(29.5%),2)修复正则表达式错误并不简单,因为与一般的拉取请求相比,修复正则表达式错误需要更多的时间和更多的代码行,3)大多数(51%)与正则表达式相关的拉取请求不包含测试代码更改。某些正则表达式错误类型(例如,编译错误,性能问题,正则表达式表示)不太可能包括测试代码更改,4)在正则表达式相关的拉取请求中,测试代码更改的主要类型是测试用例添加(75%)。本研究的结果有助于更广泛地理解开发人员在使用、修复和测试正则表达式时所面临的实际问题。
2021-04-19 cs.SE
Does Programming Language Matter? An Empirical Study of Fuzzing Bug Detection
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);The University of Osaka(大阪大学);Nara Women’s University(奈良女子大学)
本研究通过大规模跨语言分析,揭示了编程语言对模糊测试漏洞检测效率和特性的影响,为语言感知的模糊测试策略提供依据。
2026-02-05 cs.SE
BoostNSift: A Query Boosting and Code Sifting Technique for Method Level Bug Localization
在处理大规模系统时,定位bug是一项重要的任务,但需要大量的精力和时间。为了解决这个问题,信息检索(IR)技术越来越多地被用来建议潜在的错误源代码的位置,给定的错误报告。虽然IR技术是非常可扩展的,但在实践中,它们在准确定位软件系统中的错误方面的有效性仍然很低。实证研究的结果表明,错误定位技术的有效性可以通过配置用于定位错误代码的查询来增强。然而,在大多数基于IR的错误定位技术,研究人员提出,查询的配置的影响没有得到充分考虑。在类似的静脉,技术认为所有的代码元素同样可疑的bug,而本地化的错误,但这并不总是如此either.In本文中,我们提出了一个新的方法级,信息检索为基础的错误本地化技术,称为“BoostNSift”。BoostNSift利用查询中的重要信息,通过“提升”这些信息,然后“筛选”已识别的代码元素,基于一种新技术,该技术强调代码元素与bug报告的特定相关性,而不是与所有bug报告的一般相关性。为了评估BoostNSift的性能,我们采用了一种最先进的经验设计,该设计通常用于评估基于文件级IR的bug本地化技术:从常用的Eclipse,ANOJ,SWT和ZXing基准中选择6851个bug,并公开用于方法级分析。
2021-08-29 cs.SE
An Empirical Evaluation of Locally Deployed LLMs for Bug Detection in Python Code
Independent Researcher Master of Electrical(独立研究者 电气工程硕士)
本文评估了本地部署的LLaMA 3.2和Mistral在Python bug检测中的性能,发现其准确率在43%-45%之间,但难以精确定位修复。
2026-04-25 cs.AI cs.LG cs.SE
Test case quality: an empirical study on belief and evidence
本文基于开放软件仓库开展实证研究,检验8项关于优秀测试用例特征的开发者信念,结果未发现支持证据,说明这些经验建议未必保证测试代码质量。
2023-07-12 cs.SE
Towards Understanding the Impact of Data Bugs on Deep Learning Models in Software Engineering
本文通过实证调查研究了软件工程中代码、文本和度量数据缺陷对深度学习模型的影响,发现不同数据问题会导致梯度不稳定、过拟合等不同症状,并利用六个新数据集验证了结论,为开发监控系统和数据清理方法提供了依据。
2025-08-11 cs.SE
Evolutionary Generative Fuzzing for Differential Testing of the Kotlin Compiler
本文提出一种黑盒生成式模糊测试方法,结合语义接口模型、扩充上下文无关文法及两种遗传算法生成Kotlin程序,用于K1和K2编译器的差分测试,有效发现并确认了多个编译器缺陷。
2024-01-12 cs.SE
Rethinking Automated Program Repair: The Impact of Bug Complexity, Fault Localization, and LLM Cost-efficiency
Colorado State University(科罗拉多州立大学)
本研究通过实证分析,发现中等复杂度缺陷可超50%由低成本LLM修复,不精确缺陷定位会扩大APR技术差距,高成本LLM与强推理设置并非总能提升成本效率,DeepSeek-V3.2成本效率最优。
2026-08-18 cs.AI cs.SE
How Different Is It Between Machine-Generated and Developer-Provided Patches? An Empirical Study on The Correct Patches Generated by Automated Program Repair Techniques
背景资料:多年来,自动程序修复(Automated Program Repair,APR)由于能够降低修复错误的成本而受到学术界和工业界的广泛关注。然而,如何评估补丁的正确性仍然是一个开放的挑战。两种广泛采用的方法来应对这一挑战,包括手动检查和使用自动生成的测试进行验证,都是有偏见的(即,分别遭受主观性和低精度)。目的:为了解决这一问题,我们建议进行实证研究,了解正确的补丁,由现有的国家的最先进的APR技术,旨在为未来的补丁评估提供指导方针。方法:为此,我们首先提出了一个文献综述(LR)报告的正确补丁生成的最新技术的缺陷4J基准和收集177个正确的补丁后,健全检查的过程。我们研究了这些机器生成的正确补丁是如何实现语义等价的,但与开发人员提供的补丁相比在语法上存在差异,这些补丁如何在不同的项目和APR技术中分布,以及错误的特征如何影响为其生成的补丁。我们的主要发现包括:1)我们不需要像开发人员那样修复bug,因为我们观察到25.4%(45/177)2)机器生成的正确补丁的分布在Defects 4J项目和APR技术方面存在差异;以及3)APR技术倾向于生成与开发者针对具有大补丁大小的错误所生成的补丁不同的补丁。结论:我们的研究不仅验证了以前的研究结论,但也强调了未来的研究对评估补丁的正确性的影响。
2019-06-08 cs.SE
Learning to Generate Corrective Patches using Neural Machine Translation
Bug修复通常是一项手工密集型任务。然而,最近的工作提出了自动程序修复的想法,其目的是修复(至少是一个子集)的错误,以不同的方式,如代码突变等以下在同一行的工作自动修复错误,在本文中,我们的目标是利用过去的修复,提出修复当前/未来的错误。具体来说,我们提出了棘轮,一个纠正补丁生成系统,使用神经机器翻译。通过使用神经序列到序列模型学习过去修复中相应的预校正和后校正代码,Ratchet能够为给定的容易出错的代码查询生成修复代码。我们进行了实证研究与五个开源项目,即Ambari,骆驼,Hadoop,Jetty和Wicket,评估棘轮的有效性。我们的研究结果表明,棘轮可以生成语法有效的语句98.7%的时间,并实现F1的措施之间的0.29 - 0.83的实际修复采用的代码库。此外,我们使用20名参与者进行定性验证,看看生成的语句是否有助于纠正错误。我们的调查显示,Ratchet的输出被认为在许多情况下有助于修复错误,即使修复不是100%正确。
2019-07-04 cs.SE
From Business Requirements to Test Assertions: Evaluating LLM-Generated Oracles on Real Bugs
Department of EECS, University of Tennessee, Knoxville, TN, USA(田纳西大学诺克斯维尔分校电气与计算机工程系)
研究大语言模型能否从自然语言业务需求生成测试预言机,提出基于Defects4J的流程,对10个实际错误进行实验,评估预言机在与需求衍生预言机及被测系统一致性上表现,发现大语言模型有泛化但存在差异,为后续研究提供可行性参考。
2026-07-14 cs.SE
An Empirical Study of Blockchain System Vulnerabilities: Modules, Types, and Patterns
区块链作为一种分布式账本技术,变得越来越受欢迎,特别是在实现有价值的加密货币和智能合约方面。然而,区块链软件系统不可避免地存在许多bug。虽然智能合约中的漏洞已经被广泛研究,但底层区块链系统的安全漏洞却很少被探索。在本文中,我们从四个代表性的区块链,比特币,以太坊,门罗币和恒星,对区块链的系统漏洞进行了实证研究。具体来说,我们首先设计了一个系统化的过滤过程,从GitHub上的34,245个问题/PR(拉取请求)和85,164个提交中有效地识别出1,037个漏洞及其2,317个补丁。因此,我们构建了第一个区块链漏洞数据集。然后,我们在三个级别上对该数据集进行独特的分析,包括(i)通过识别和关联跨项目的模块路径来进行文件级脆弱模块分类,(ii)通过自然语言处理和文本级脆弱性类型聚类基于相似性的句子聚类,及(iii)代码─通过生成和聚类捕获补丁代码的语法和语义信息的代码更改签名,片段我们的分析揭示了三个关键发现:(i)一些区块链模块比其他模块更容易受到影响;值得注意的是,与共识,钱包和网络相关的每个模块都有200多个问题;(ii)大约70%的区块链漏洞属于传统类型,但我们也确定了四种特定于区块链的新类型;(iii)我们获得了21个特定于区块链的漏洞模式,这些模式捕获了独特的区块链属性和状态,并证明它们可以用于检测其他流行区块链中的类似漏洞,如Dogecoin,Bitcoin SV和Zca…
2023-02-21 cs.CR cs.SE
RegMiner: Towards Constructing a Large Regression Dataset from Code Evolution History
缺陷数据集是研究人员和程序员的重要人工制品,它为各种SE/PL研究(如故障定位、软件测试和程序修复)奠定了经验和实验基础。所有已知的最先进的数据集都是手工构建的,这不可避免地限制了它们的可扩展性,代表性以及对新兴数据驱动研究的支持。在这项工作中,我们提出了一种方法来自动化的过程中收获可复制的回归错误的代码进化历史。我们专注于回归错误数据集,因为它们(1)表明如何引入和修复错误(作为正常错误),(2)支持回归错误分析,以及(3)包含更强大的规范(即,原始通过版本)进行一般错误分析。在技术上,我们解决了一个信息检索问题的代码演变的历史。给定一个代码仓库,我们搜索回归,其中测试可以通过回归修复提交,失败回归诱导提交,并通过工作提交。在这项工作中,我们解决了以下挑战:(1)从代码演化历史中识别潜在的回归修复提交,(2)在历史上迁移测试及其代码依赖关系,以及(3)最大限度地减少回归搜索期间的编译开销。我们构建了我们的工具RegMiner,它在3周内收集了66个项目的537个回归数据,在最短的时间内创建了最大的可复制回归数据集。此外,我们对回归数据集的实证研究表明,流行的回归故障定位技术(例如,delta-debugging)和真正的修复之间存在差距,揭示了新的数据驱动的研究机会。
2022-07-04 cs.SE
Empirical Notes on the Interaction Between Continuous Kernel Fuzzing and Development
自20世纪90年代以来,模糊技术得到了广泛的研究和应用。自动化和持续的模糊最近也被应用于开源软件项目,包括Linux和BSD内核。本文集中在四个开源内核中的连续内核模糊化的实际方面。根据结果,syzkaller/syzbot框架报告了四个内核的800多个未解决的崩溃。其中许多在相当长的时间以前就已经报道过了。有趣的是,模糊引起的bug在BSD内核中得到了更快的解决。此外,断言和调试检查、释放后使用和一般保护错误占Linux内核中大多数错误类型。在Linux内核中,大约23%的已修复错误已经通过了代码审查或额外的测试。最后,只有代码扰动提供了一个微弱的统计信号来解释Linux内核中相关的bug修复时间。
2019-09-05 cs.CR cs.SE
Lost in Translation: A Study of Bugs Introduced by Large Language Models while Translating Code
本文通过大规模实证研究系统评估了大语言模型在C、C++、Go、Java和Python间代码翻译中的表现,识别出15类翻译缺陷,并提出基于错误症状的提示构造方法,将翻译性能平均提升5.5%。
2024-01-16 cs.SE
How effective are traditional test criteria at detecting bugs in large language models generated code?
SnT, University of Luxembourg(卢森堡大学 SnT);Luxembourg Institute of Science and Technology(卢森堡科学与技术研究院)
本研究通过实证评估5个LLM和4个基准中的6000多个故障实例,发现传统测试准则对LLM生成代码的缺陷检测率极低,变异测试优势有限,需手动推理断言。
2026-09-10 cs.SE