The Impact of Class Rebalancing Techniques on the Performance and Interpretation of Defect Prediction Models
在类别不平衡数据集上训练的缺陷预测模型(即,有缺陷的模块和干净的模块的比例没有相等地表示)非常容易产生不准确的预测模型。之前的研究比较了类别重新平衡技术对缺陷预测模型性能的影响。由于使用不同的数据集,分类技术和性能指标的选择,以前的研究工作得出相互矛盾的结论。这种相互矛盾的结论使得很难得出实际的指导方针,类再平衡技术是否应适用于缺陷预测模型的上下文中。在本文中,我们研究了4种常用的类再平衡技术对10种常用的性能指标和缺陷预测模型的解释的影响。我们还构建了统计模型,以更好地了解在哪些实验设计设置类再平衡技术是有益的缺陷预测模型。通过对跨越专有和开源系统的101个数据集的案例研究,我们建议当质量保证团队希望提高识别软件缺陷的完整性时,类重新平衡技术是必要的(即,召回)。但是,在解释缺陷预测模型时,应避免使用类重新平衡技术。我们还发现,类重新平衡技术不影响AUC的措施。因此,在比较缺陷预测模型时,AUC应用作标准测量。
2018-01-31 cs.SE
Explainable Software Defect Prediction: Are We There Yet?
解释软件缺陷预测模型的预测结果是一项具有挑战性和实用性的任务,它可以为开发人员提供有用的信息,以了解和修复预测的错误。为了解决这个问题,最近,Jiarpakdee等人提出使用{两种最先进的}模型不可知技术(即,LIME和BreakDown)来解释缺陷预测模型的预测结果。他们的实验表明,这些工具可以生成有希望的结果,生成的解释可以帮助开发人员理解预测结果。然而,事实上,LIME和BreakDown仅在单个软件缺陷预测模型设置上进行了检查,这使得人们对它们在具有各种设置的软件缺陷预测模型中的一致性和可靠性提出了质疑。在本文中,我们着手研究基于模型不可知技术的解释生成方法(即,LIME和BreakDown)对具有不同设置的软件缺陷预测模型的影响,例如,不同的数据采样技术、不同的机器学习分类器和不同的预测场景。具体来说,我们使用LIME和BreakDown来生成具有不同设置的软件缺陷预测模型下的相同实例的解释,然后检查实例的生成解释的一致性。在我们的实验中,我们重用了来自Jiarpakdee等人的相同缺陷数据。结果表明,对于相同的测试实例,在不同的软件缺陷预测设置下,LIME和BreakDown产生的解释不一致,这使得它们产生的解释不可靠。总的来说,通过这项研究,我们呼吁在可解释的软件缺陷预测方面进行更多的研究,以实现一致和可靠的解释。
2021-11-21 cs.SE
Explainable Software Defect Prediction from Cross Company Project Metrics Using Machine Learning
本研究针对现有缺陷预测多聚焦模块级、模型缺乏透明度的问题,基于跨公司项目级度量数据,采用多种机器学习算法构建缺陷预测模型,并通过SHAP方法实现模型可解释性,识别出关键预测特征。
2023-06-14 cs.SE
Do the Defect Prediction Models Really Work?
您可以开发一个潜在的预测模型,但我如何才能相信您的模型会使我的软件受益?使用软件缺陷预测(SDP)模型作为工具,我们解决这个基本问题,在机器学习研究。这是一个初步的工作,旨在提供一个分析开发的二进制SDP模型在实时工作环境。
2023-01-13 cs.SE
Building Defect Prediction Models by Online Learning Considering Defect Overlooking
针对在线学习构建缺陷预测模型时缺陷遗漏导致预测精度下降的问题,提出考虑遗漏概率的初始阶段正类固定预测方法,实验证明其不影响AUC且显著提升召回率。
2024-04-17 cs.SE
JITLine: A Simpler, Better, Faster, Finer-grained Just-In-Time Defect Prediction
即时(JIT)缺陷预测模型是一个分类器,用于预测提交是否是缺陷引入。最近,CC 2 Vec--一种用于即时缺陷预测的深度学习方法--已经被提出。然而,CC 2 Vec需要整个数据集(即,训练+测试)进行模型训练,假设所有未标记的测试数据集都是预先可用的,这不符合即时缺陷预测的关键原则。我们的复制研究表明,在排除用于模型训练的测试数据集后,CC 2 Vec的F度量值对于OpenStack下降了38.5%,对于Qt下降了45.7%,这突出了排除用于Just-In-Time缺陷预测的测试数据集的负面影响。此外,CC 2 Vec无法在线路级别执行细粒度预测(即,对于给定的提交,哪些行是最危险的)。在本文中,我们提出了JITLine --一种即时缺陷预测方法,用于预测缺陷引入提交并识别与该缺陷引入提交相关联的行(即,缺陷线)。通过对来自OpenStack和Qt的37,524次提交的案例研究,我们发现我们的JITLine方法比最先进的方法(即,CC 2 Vec和DeepJIT)和我们的方法在行级别的细粒度预测比基线NLP方法准确133%-150%(前10名准确度)。因此,我们的JITLine方法可以帮助从业者更好地优先考虑引入缺陷的提交,并更好地识别有缺陷的行。
2021-03-16 cs.SE
The Need for a Fine-grained approach in Just-in-Time Defect Prediction
随着软件系统的复杂性导致软件缺陷的增加,已经对预测软件缺陷的技术和预测代码更改是否有缺陷的即时(JIT)缺陷预测进行了研究。虽然使用功能来确定潜在的有缺陷的代码更改,但检查工作仍然很重要。由于代码更改可能会影响多个文件,因此我们调查了一个开源项目,以确定JIT视角下功能的潜在差距。此外,由于缺乏将功能与实际提交联系起来的公开可用的JIT数据集,我们还提出了一个可用于JIT和语义分析的新数据集。
2021-10-02 cs.SE
An empirical study of public data quality problems in cross project defect prediction
背景:Jureczko和NASA两个公开的缺陷数据集已被广泛用于跨项目缺陷预测(CPDP)。缺陷数据的质量是影响缺陷预测性能的一个重要因素,Shepperd等人研究了NASA数据集的数据质量问题。然而,到目前为止,还没有研究集中在Jureczko数据集的质量问题,这是最广泛使用的CPDP。目标:在本文中,我们打算研究Jureczko数据集中的相同和不一致情况的问题,并验证删除这些有问题的情况是否会对CPDP中的缺陷预测性能产生影响。方法:分别从单个数据集和不同版本的数据集两个方面分析了软件项目中的相同和不一致问题。然后,通过删除重复和不一致的情况,提供Jureczko数据集的清理版本。最后,采用三种训练数据选择方法,比较了清洗数据集和原始数据集的缺陷预测性能。结果:在AUC和F-Measure方面的实验结果表明,大多数数据集获得了非常不同的缺陷预测性能。结论:因此,对CPDP中的数据质量问题进行研究是非常必要的,而经过清洗的Jureczko数据集可以为CPDP提供更可靠的缺陷预测性能。
2018-05-28 cs.SE
Feature Importance in the Context of Traditional and Just-In-Time Software Defect Prediction Models
本研究基于Apache Camel项目数据,对比深度学习与传统机器学习在传统和即时缺陷预测中的性能,并用积分梯度和SHAP方法分析特征重要性。
2024-11-07 cs.SE
Defect Prediction Guided Search-Based Software Testing
如今,大多数自动化测试生成器,例如基于搜索的软件测试(SBST)技术,都致力于实现高代码覆盖率。然而,高代码覆盖率不足以最大限度地提高发现的bug数量,特别是在测试预算有限的情况下。在本文中,我们提出了一个自动化的测试生成技术,也是由估计的源代码的缺陷程度的指导。代码中可能有更多缺陷的部分比缺陷较少的部分得到更多的测试预算。为了测量缺陷的程度,我们利用了Schwa,一种著名的缺陷预测技术。我们将我们的方法实现到EvoSuite中,EvoSuite是Java的最先进的SBST工具。我们在Defects4J基准测试上的实验证明了缺陷预测引导测试生成的效率提高,并证实了我们的假设,即在可能有缺陷的部件上花费更多的时间预算会增加在相同时间预算中发现的错误数量。
2021-09-26 cs.SE
Source Code Metrics for Software Defects Prediction
在目前的研究中,有对比的结果,软件源代码度量的缺陷预测模型的功能的适用性。本文的目标是评估软件缺陷预测模型中软件度量的采用,确定单个源代码度量的影响。通过对从GitHub上挖掘的39个Java项目的275个发布版本的实证研究,我们计算了12个软件度量并收集了软件缺陷信息。我们训练和比较三个缺陷分类模型。所有项目的结果表明,决策树(DT)和随机森林(RF)分类器显示出最好的结果。性能最高的单个指标包括NOC、NPA、DIT和LCOM5。而其他指标,如CBO,并没有带来显着的改进模型。
2023-01-19 cs.SE
An extensive empirical study of inconsistent labels in multi-version-project defect data sets
缺陷数据集的标注质量直接影响缺陷预测模型的可靠性。在这项研究中,对于多版本项目缺陷数据集,我们提出了一种方法来自动检测标签不一致的实例(即具有相同的源代码,但不同的标签在多个版本的软件项目的实例的现象),并了解其对缺陷预测模型的评估和解释的影响。基于五个多版本项目缺陷数据集(无论是广泛使用的还是最新的文献中),我们发现:(1)在所调查的缺陷数据集中,大多数版本都包含不同程度的不一致标签;(二)在训练数据集合中存在不一致的标签可显著地改变缺陷预测模型的预测性能识别实质上不同的真正有缺陷的模块;以及(3)由于存在不一致的标签,缺陷预测模型中的独立变量的重要性排序可以实质上改变。上述发现揭示了缺陷数据集中不一致的标签可以深刻地改变缺陷预测模型的预测能力和解释。因此,我们强烈建议从业者应该检测和排除缺陷数据集中不一致的标签,以避免其对缺陷预测模型的潜在负面影响。更重要的是,研究人员有必要改进现有的缺陷标签收集方法,以减少不一致的标签。此外,有必要重新检查以前的研究使用多版本项目的缺陷数据集与高比例的不一致的标签的实验结论。
2021-01-27 cs.SE
Feature Sets in Just-in-Time Defect Prediction: An Empirical Evaluation
及时缺陷预测为软件存储库中的每个新更改分配缺陷风险,以便优先考虑评审和测试工作。在过去的几十年里,文献中提出了不同的方法来制作更准确的预测模型。然而,由于预测具有不同的性能,缺陷预测在工业中仍然没有被广泛使用。在这项研究中,我们评估现有的功能,六个开源项目,并提出了两个新的功能集,尚未在文献中讨论。通过结合所有特征集,我们平均将MCC提高了21%,从而与最先进的方法相比,获得了性能最佳的模型。我们还评估了努力意识,发现平均可以识别14%以上的缺陷,检查20%的变更线。
2022-09-28 cs.SE
Feature-Oriented Defect Prediction: Scenarios, Metrics, and Classifiers
在过去的几十年中,已经开发了几种软件缺陷预测技术。这些技术在典型软件资产(如组件和文件)的粒度上预测缺陷。在本文中,我们研究面向功能的缺陷预测:预测缺陷的粒度特征-域实体,代表软件功能,往往横切软件资产。面向故障的缺陷预测可以是有益的,因为:(i)一些特征可能比其他特征更容易出错,(ii)有缺陷的特征的特性可能对预测其他容易出错的特征有用,以及(iii)特征特定的代码可能容易出现由特征交互引起的故障。我们探讨了面向特征的缺陷预测的可行性和解决方案空间。我们的研究依赖于12个软件项目,我们分析了13,685个错误引入和纠正提交,并系统地生成了62,868个训练和测试数据集,以评估分类器,指标和场景。这些数据集是根据我们12个项目的13,685次提交、81次发布和24532次排列生成的,具体取决于所处理的场景。我们讨论了诸如即时(JIT)和跨项目缺陷预测等场景。我们的研究结果证实了面向特征的缺陷预测的可行性。我们发现最好的性能(即,精度和鲁棒性),以及过程和结构度量。令人惊讶的是,单项目JIT和发布级预测的中位AUC-ROC值分别大于95%和90%,这与断言由于训练数据不足而导致性能不佳的研究相反。我们还发现,在12个项目中的一个项目的发布级数据上训练的模型可以预测其他11个项目的特征的缺陷倾向性,AUC-ROC中位数为82%,而无需重新训练。
2021-04-13 cs.SE
Problems with SZZ and Features: An empirical study of the state of practice of defect prediction data collection
上下文:SZZ算法是标记bug修复提交和查找缺陷预测数据的诱发更改的事实标准。最近的研究发现了SZZ算法不同部分的潜在问题。大多数缺陷预测数据集只提供静态代码度量作为特征,而研究表明其他特征也很重要。目的:我们提供了一个经验分析的缺陷标签创建的SZZ算法和常用的功能对结果的影响。方法:我们使用了人工验证和采用或改进的缺陷数据收集的方法相结合。我们对38个Apache项目的398个版本进行了实证研究。结果:我们发现SZZ确定的bug修复提交中只有一半是真正的bug修复。如果将六个月的时间框架与SZZ结合使用来确定哪些bug影响发布,则对于每个被正确标记为有缺陷的文件,都有一个文件被错误地标记为有缺陷。此外,还遗漏了两个有缺陷的文件。我们还探索了在大多数缺陷预测数据集中可用的相对较小的特征集的影响,因为有多个出版物表明,例如,扰动相关特征对于缺陷预测是重要的。我们发现使用更多功能的差异并不显着。结论:缺陷标签不准确的问题严重威胁到缺陷预测技术的有效性。小功能集似乎是一个不太严重的威胁。
2021-11-11 cs.SE
Towards Developing and Analysing Metric-Based Software Defect Severity Prediction Model
在一个关键的软件系统中,由于缺陷的不断出现,测试人员不得不花费大量的时间和精力来维护软件。在这些缺陷中,一些严重的缺陷可能会对软件产生不利影响。为了减少测试人员的时间和精力,文献中已经提出了许多机器学习模型,其使用文档化的缺陷报告来自动预测有缺陷的软件模块的严重性。与传统的方法相比,在这项工作中,我们提出了一个基于度量的软件缺陷严重性预测(SDSP)模型,使用自训练半监督学习的方法来分类的严重性有缺陷的软件模块。该方法是建立在未标记和标记的缺陷严重性数据的混合物。自训练工作的基础上的决策树分类器分配的伪类标签的未标记的实例。预测是有希望的,因为自我训练成功地分配合适的类标签的未标记的实例。另一方面,许多研究已经涵盖了提出预测方法以及缺陷严重性预测模型的方法学方面,从预测模型估计项目属性的差距仍然没有得到解决。为了弥补这一差距,我们提出了五个项目特定的措施,如风险因素(RF),节省预算的百分比(PSB),节省预算的损失(LSB),剩余服务时间(ESTA)和免费服务时间(GST)从预测中捕获项目结果。类似于传统的措施,这些措施也计算从观察到的混淆矩阵。这些度量用于分析预测模型对软件项目的影响。
2022-10-10 cs.SE
Defect prediction with bad smells in code
背景资料:软件中的缺陷预测对于开发项目来说是非常有益的,因为预测是非常有效的,并且容易出现缺陷的区域被正确地预测。获得有效的软件缺陷预测的关键因素之一是正确选择用于数据集准备的度量。目的:本研究的目的是验证,是否代码气味度量,收集使用Microsoft CodeAnalysis工具,添加到基本度量集,可以提高缺陷预测在工业软件开发项目。结果如下:我们验证了,如果数据集扩展的代码气味来源的指标,改变缺陷预测的有效性,通过比较预测结果的数据集与代码气味导向的指标。结果,我们观察到,当使用用难闻气味度量扩展的数据集时,缺陷预测的有效性只有很小的提高:平均准确度值增加了0.0091,并保持在误差范围内。然而,当仅使用基于代码气味的度量用于预测(没有基本度量集)时,这样的过程产生了令人惊讶的高准确度(0.8249)和F测量(0.8286)结果。我们还详细阐述了当使用两个不同的度量源来准备一组一致的数据时,我们观察到的数据异常和问题。结论:通过代码气味源度量扩展数据集不会显着提高预测效率。取得的结果并不能补偿收集额外指标所需的努力。然而,我们观察到,仅基于代码气味的缺陷预测仍然非常有效,特别是在几乎不使用其他度量的情况下可以使用。
2017-03-18 cs.SE
Predicting Software Defects through SVM: An Empirical Approach
软件缺陷预测是软件预防性维护的一个重要方面。许多技术已经被用来通过缺陷预测来提高软件质量。本文介绍了一种基于代码气味的机器学习算法--支持向量机(SVM)的缺陷预测方法。基于支持向量机的缺陷预测模型被用于预测Eclipse软件后续版本中的缺陷。结果表明气味在预测软件缺陷中的作用。结果可以进一步用作基线,以进一步研究气味在预测缺陷中的作用。
2018-03-08 cs.SE
The Probabilistic Bounds on the Feasibility of the Defect Prediction Models in Real-World Testing Environments
开发软件缺陷预测(SDP)模型的研究旨在减少测试人员的工作量,从而减少花费在目标模块上的时间。然而,虽然已经对开发预测模型或试图减轻开发预测模型中的相关问题进行了大量的研究,但仍然不知道所开发的预测模型是否真的适用于真实世界的测试环境。通过这篇文章,我们弥合了这一研究差距,找到了开发的二进制缺陷预测模型在现实世界的测试环境中的可行性。由于机器学习(ML)的应用跨越了许多领域,我们希望本文能够为分析所开发的预测模型在实时场景下的相关应用中的可行性提供足够的研究基础。
2023-01-16 cs.SE
A deep tree-based model for software defect prediction
缺陷在软件系统中是常见的,并且可能对软件用户造成各种问题。已经开发了不同的方法来快速预测大型代码库中最可能的缺陷位置。他们中的大多数专注于设计与潜在缺陷代码相关的功能(例如复杂性度量)。然而,这些方法不足以捕获源代码的语法和不同级别的语义,这是构建准确预测模型的重要能力。在本文中,我们开发了一种新的预测模型,它能够自动学习的功能,代表源代码,并使用它们的缺陷预测。我们的预测系统是建立在强大的深度学习,树结构的长短期记忆网络,直接匹配源代码的抽象树表示。对两个数据集的评估,一个来自三星贡献的开源项目,另一个来自公共PROMISE存储库,证明了我们的方法对项目内和跨项目预测的有效性。
2018-02-03 cs.SE
Exploring the relationship between performance metrics and cost saving potential of defect prediction models
内容:性能指标是评估任何机器学习模型的核心组成部分,用于比较模型并估计其有用性。最近的工作开始质疑许多性能指标的有效性,为此目的,在软件缺陷预测的上下文中。目的:在这项研究中,我们探讨性能指标和成本节约的缺陷预测模型的潜力之间的关系。我们研究是否性能指标是合适的代理,以评估成本节约能力,并得出一个理论的性能指标和成本节约潜力之间的关系。方法:我们在缺陷预测实验中测量性能指标和成本节约潜力。我们使用多项logit模型、决策和随机森林来模拟指标与成本节约之间的关系。结果:我们无法找到成本节约和性能指标之间的稳定关系。我们属性的关系的缺乏,性能指标无法占的财产,一小部分非常大的软件工件的主要驱动程序的成本。结论:任何对寻找最佳预测模型感兴趣的缺陷预测研究都必须直接考虑成本节约,因为否则就无法对缺陷预测的经济效益提出合理的要求。
2022-07-27 cs.SE
A systematic mapping study on cross-project defect prediction
跨项目缺陷预测作为缺陷预测的一个子课题,已经成为当前研究的热点。在这篇文章中,我们提出了一个系统的映射研究,重点是CPDP,我们发现50个出版物。我们总结了每个出版物提出的方法,并讨论了案例研究的设置和结果。我们发现案例研究的方式存在很大的异质性,因为数据集、分类器、性能指标和基线比较都存在差异。因此,我们无法在定性基础上比较我们的审查结果,即,确定哪些方法对CPDP性能最好。
2017-05-18 cs.SE
Investigation of Dataset Features for Just-in-Time Defect Prediction
即时(JIT)缺陷预测是指预测代码更改是否有缺陷的技术。通过Kamei的优秀数据集,在这一领域做出了许多贡献。在本文中,我们重新审视了数据集,并强调了数据集的预处理困难以及数据集对无监督学习的限制。其次,我们在Kamei数据集中提出了一些可用于训练模型的特征。最后,我们讨论了数据集特征的局限性。
2021-09-25 cs.SE
ConPredictor: Concurrency Defect Prediction in Real-World Applications
并发程序由于其固有的非确定性而难以测试。为了解决这个问题,测试通常需要探索程序的线程调度;这在应用于真实世界的程序时可能很耗时。软件缺陷预测已经被用来帮助开发人员发现错误并优先考虑他们的测试工作。先前的研究已经使用机器学习来基于对程序的特性进行编码的设计特征来构建这样的预测模型。然而,研究的重点是顺序程序,迄今为止,没有工作考虑并发程序的缺陷预测,程序特性区别于顺序程序。在本文中,我们提出了ConPredictor,一种方法来预测特定的并发程序的缺陷相结合的静态和动态程序度量。具体来说,我们提出了一套新的静态代码度量的基础上并发程序的独特属性。我们还利用基于突变分析构建的动态指标的额外指导。我们对四个大型开源项目的评估表明,与传统功能相比,ConPredictor改进了项目内缺陷预测和跨项目缺陷预测。
2018-04-10 cs.SE
Towards Cross-Project Defect Prediction with Imbalanced Feature Sets
跨项目缺陷预测(Cross-project defect prediction,CPDP)是一种新兴的软件质量保证技术,特别是在新的或不活跃的项目中,已经提出了一些改进的方法来支持更好的缺陷预测。然而,常规CPDP总是假设训练数据和测试数据的特征都是相同的。因此,很少有人知道是否CPDP与不平衡的功能集(CPDP-IFS)的方法工作得很好。考虑到互联网上缺陷数据集的多样性以及标注数据的高成本,本文提出了一种基于分布特征的实例(对象类)映射的简单方法,并基于三个公共缺陷数据集(即,Promise、ReLink和AEEEM)。此外,实证结果表明,由CPDP和CPDP-IFS组成的混合模型确实在一定程度上提高了常规CPDP的预测性能。
2014-11-16 cs.SE
Correction of "A Comparative Study to Benchmark Cross-project Defect Prediction Approaches"
不幸的是,文章“A Comparative Study to Benchmark Cross-project Defect Prediction Approaches”在统计分析中有一个问题,在文章的预印本出现在网上后,几乎立即就被指出了。虽然这个问题并没有否定这篇文章的贡献,而且所有的关键发现都保持不变,但它确实改变了研究中使用的方法的一些排名。在此更正中,我们将解释问题,我们如何解决它,并提供更新的结果。
2017-07-27 cs.SE
Too Trivial To Test? An Inverse View on Defect Prediction to Identify Methods with Low Fault Risk
背景测试资源通常是有限的,因此通常不可能在发布之前完全测试应用程序。为了解决资源稀缺的问题,开发团队可以应用缺陷预测来识别容易出错的代码区域。然而,在跨项目预测场景中,缺陷预测往往精度较低。目的。我们对缺陷预测采取了相反的观点,目的是确定在测试时可以推迟的方法,因为它们几乎不包含任何错误,因为它们的代码是“微不足道的”。我们希望这种方法的特点可能是独立于项目的,所以我们的方法可以提高跨项目的预测。法我们计算代码度量,并应用关联规则挖掘来创建用于识别具有低故障风险的方法的规则。我们进行了实证研究,以评估我们的方法与六个Java开源项目包含精确的故障数据的方法级。结果我们的研究结果表明,逆缺陷预测可以识别约。32-44%的项目方法具有低故障风险;平均而言,它们包含故障的可能性比其他方法低六倍。在具有更大、更多样化训练集的跨项目预测中,识别出的方法包含错误的可能性甚至低11倍。结论.反向缺陷预测通过识别测试活动中优先级较低的方法来支持测试资源的有效分配,并且非常适用于跨项目预测场景。
2018-11-02 cs.SE
On the Value of Oversampling for Deep Learning in Software Defect Prediction
深度学习的一个真理是,自动特征工程(在这些网络的第一层中可见)使数据科学家在运行深度学习之前不必执行繁琐的手动特征工程。对于缺陷预测的深度学习的特定情况,我们证明了这一真理是错误的。具体来说,当我们使用称为模糊采样的新型过采样技术预处理数据时,作为称为GHOST(面向目标的可扩展训练超参数优化)的更大管道的一部分,我们可以在14/20缺陷数据集中做得比现有的DL技术更好。我们的方法产生了最先进的结果,大大加快了深度学习者的速度。这些结果为在软件缺陷预测数据集上应用深度学习之前使用过采样提供了令人信服的案例。
2021-04-20 cs.SE
Does class size matter? An in-depth assessment of the effect of class size in software defect prediction
在过去的20年里,缺陷预测研究已经普遍承认类大小对软件预测性能的影响。为了量化面向对象(OO)度量和缺陷之间的关系,建模必须考虑类大小对缺陷的直接和潜在的间接影响。然而,一些研究表明,在建立预测模型时,不能简单地控制或忽略大小。因此,是否以及何时控制班级规模仍然是一个问题。这项研究提供了一个新的深入检查类大小的影响之间的关系,面向对象的度量和软件缺陷或缺陷倾向。我们评估类大小对软件系统中缺陷和缺陷倾向的数量的影响,通过采用基于回归的调解(自举)和适度分析,调查类大小在计数和二进制缺陷预测中的直接和间接影响。我们的研究结果表明,规模效应并不总是显着的所有指标。在我们研究的七个OO指标中,大小一致地仅对对象之间的耦合(CBO)和缺陷/缺陷倾向性之间的关系具有显著的中介影响,并且对扇出和缺陷/缺陷倾向性之间的关系具有潜在的适度影响。根据研究结果,我们提出三点建议。第一,我们鼓励研究人员和从业人员研究班级规模对他们手头的具体数据的影响,并通过使用拟议的统计调解/调节程序。第二,我们鼓励实证研究在相关的情况下调查其模型中可能的附加变量的间接影响。第三,本研究所采用的统计方法可用于其他经验软件工程研究,以调查潜在的中介/调节者的影响。
2021-06-08 cs.SE
RepoMiner: a Language-agnostic Python Framework to Mine Software Repositories for Defect Prediction
来自开源软件项目的数据为提高软件质量提供了宝贵的信息。在软件缺陷预测的范围内,最具挑战性的部分之一是从这些存储库中提取有关易失败软件组件的有效数据,这可以帮助开发更健壮的软件。特别是,从这些存储库中收集数据、计算度量和合成结果是一项乏味且容易出错的任务,这通常需要理解所挖掘的存储库中涉及的程序设计语言,最终导致特定于语言的数据挖掘软件的激增。本文介绍了RepoMiner,语言无关的工具,开发支持软件工程研究人员在创建数据集,以支持任何研究缺陷预测。RepoMiner自动从软件组件中收集故障数据,将其标记为易故障或中性,并计算用作缺陷预测模型基础事实的指标。我们提出了它的实现,并提供了它的应用程序的例子。
2021-11-23 cs.SE
Simplification of Training Data for Cross-Project Defect Prediction
跨项目缺陷预测(CPDP)在估计最有可能缺陷倾向的软件组件方面起着重要作用,特别是对于新的或不活动的项目。据我们所知,很少有以前的研究提供明确的指导方针,如何选择合适的训练数据的质量从大量的公共软件存储库。在本文中,我们提出了一种实用的CPDP的训练数据简化方法,考虑到多层次的粒度和过滤策略的数据集。此外,我们还提供了定量的证据,选择一个合适的过滤器的缺陷倾向比。基于对10个开源项目的34个版本的实证研究,我们精心比较了不同的缺陷预测器的预测性能,这些缺陷预测器使用五种知名的分类器,使用不同粒度级别的简化训练数据和两种流行的过滤器。结果表明,在采用多粒度简化方法和适当的滤波器时,基于朴素贝叶斯的预测模型可以获得较好的性能,优于基准方法。
2014-10-09 cs.SE
Data Complexity: A New Perspective for Analyzing the Difficulty of Defect Prediction Tasks
该研究从数据复杂度新视角出发,通过对超33000个样本的实证分析,揭示缺陷预测任务中样本硬度分布、类别重叠的影响等规律,为筛选预处理技术、提升算法学习能力及推进缺陷预测研究提供支撑。
2023-05-05 cs.SE
Assessing Software Defection Prediction Performance: Why Using the Matthews Correlation Coefficient Matters
背景:在评估软件缺陷预测分类器的计算实验的范围和设计方面存在相当大的差异。关于分类器性能指标的选择,尤其如此。不幸的是,一些广泛使用的指标是有偏差的,特别是F1。目的:我们想了解F1的广泛使用使软件缺陷预测的经验结果不可靠的程度。方法:我们搜索了报告F1和Matthews相关系数(MCC)的缺陷预测研究。这使我们能够确定两个指标之间一致的结果比例以及变化的比例。结果:我们的系统评价确定了8项研究,包括4017个成对结果。在这些结果中,当采用无偏MCC度量时,比较的方向在23%的情况下改变。结论:我们找到了令人信服的原因,为什么分类性能指标的选择很重要,特别是有偏见和误导性的F1指标应该被弃用。
2020-03-02 cs.SE
An Empirical Study on Software Defect Prediction with a Simplified Metric Set
软件缺陷预测在估计软件中最容易出现缺陷的组件方面起着至关重要的作用,并且大量的研究都在追求提高项目内或跨项目的预测准确性。然而,当可用的历史数据不足时,在项目内和跨项目缺陷预测之间做出适当决定的规则仍然不清楚。本文的目的是验证在不同的软件缺陷预测场景中,基于简化度量集的预测器的可行性,并探讨在特定项目中选择训练数据、分类器和度量子集的实用指导原则。首先,基于六个典型的分类器,我们构造了三种类型的预测器,在三种情况下使用软件度量集的大小。然后,我们验证了可接受的性能的预测器的基础上Top-k度量的统计方法。最后,我们尝试通过去除冗余度量来最小化Top-k度量子集,并且我们使用单向ANOVA检验来测试这样的最小度量子集的稳定性。实验结果表明:(1)训练数据的选择应取决于预测精度的具体要求;(2)使用简化的度量集建立的预测器工作良好,在资源有限的情况下非常有用;(3)简单的分类器(例如,朴素贝叶斯)在使用简化的度量集进行缺陷预测时也倾向于表现良好;以及(4)在若干情况下,可以识别最小度量子集,以便于在实践中具有可接受的预测精度损失的一般缺陷预测过程。表12列出了在不同情景下选择合适的简化指标集的指南。
2014-12-24 cs.SE
A Prediction Model for System Testing Defects using Regression Analysis
本研究描述了建立一个预测模型,由一个独立的测试团队进行的系统测试中的缺陷的初步努力。建立这种缺陷预测模型的动机是作为进入系统测试的软件的早期质量指标,并帮助测试团队管理和控制测试执行活动。识别和分析从系统测试的先前阶段收集的数据,以确定用于构建模型的潜在预测因素。然后将选定的指标进行回归分析,以生成几个数学方程。选择P值小于0.05且R平方和R平方(调整后)大于90%的数学方程作为系统测试缺陷的预期预测模型。该模型通过新项目的验证,证实了它是适合实际实施。
2014-01-22 cs.SE
Benchmarking cross-project defect prediction approaches with costs metrics
缺陷预测可以成为指导质量保证资源使用的有力工具。跨项目缺陷预测(Cross-Project Defect Prediction,CPDP)问题是近年来众多研究者关注的焦点,基于其他项目的训练数据创建预测模型。然而,只有少数已发表的论文评估了预测的成本效率,即,如果它们被用来指导质量保证工作,在本文中,我们提供了一个基准的26 CPDP方法的基础上成本指标。我们的基准测试表明,在考虑成本的情况下,将所有东西都假设为有缺陷的平均效果要好于CPDP。此外,我们表明,我们的排名的方法使用成本指标是不相关的排名的基础上的指标,不直接考虑成本。这些研究结果表明,我们必须投入更多的精力来评估CPDP的实际效益,因为CPDP的当前技术水平实际上可以通过以成本为导向的评估中的琐碎方法来击败。
2018-01-12 cs.SE
Using Defect Prediction to Improve the Bug Detection Capability of Search-Based Software Testing
自动测试生成器,如基于搜索的软件测试(SBST)技术,取代了手动编写测试用例的繁琐和昂贵的任务。SBST技术在生成具有高代码覆盖率的测试时是有效的。然而,高代码覆盖率是否足以最大限度地增加发现的bug数量?我们认为,SBST需要集中在有缺陷的领域,而不是在非缺陷的代码领域,以最大限度地发现错误的可能性搜索测试用例。缺陷预测算法提供了有关软件中容易出现错误的区域的有用信息。因此,我们制定了本论文的目标:\textit{Improve the bug detection capability of SBST by incorporating defect prediction information}。为了实现这一目标,我们设计了两个研究目标,即,1)开发一种新的方法(SBST $_{CL}$),该方法基于类有缺陷的可能性将时间预算分配给类,以及2)开发一种新的策略(SBST $_{ML}$)来指导底层搜索算法(即,遗传算法)对一类中的缺陷区域进行优化。通过对Defects4J数据集中434个真实报告的错误进行实证评估,我们证明了我们的新方法SBST $_{CL}$在资源受限的环境中,在时间预算紧张的情况下,比最先进的SBST更有效。
2022-06-14 cs.SE
From Illusion to Insight: Change-Aware File-Level Software Defect Prediction Using Agentic AI
Sharif University of Technology(谢里夫理工大学)
本文提出了一种基于代理AI的变更感知文件级软件缺陷预测方法,通过多代理辩论框架提升缺陷预测的准确性和敏感性。
2025-12-29 cs.SE
Use of Source Code Similarity Metrics in Software Defect Prediction
近年来,缺陷预测在经验软件工程领域受到了极大的关注。在维护阶段之前预测软件缺陷对于降低软件维护成本和提高软件产品的整体质量具有重要意义。有不同类型的产品,过程和开发人员为基础的软件度量提出了迄今为止,以衡量软件系统的缺陷。本文建议使用一套新的软件度量标准,它是基于软件项目中的源代码文件之间的相似性检测。为了发现软件系统的不同文件之间的源代码相似性,使用剽窃和克隆检测技术。为每个文件计算两个简单的相似性度量,考虑其与项目中有缺陷和无缺陷文件的总体相似性。使用这些相似性度量,我们预测一个特定的文件是否有缺陷。我们在10个开放的源数据集上的实验表明,根据检测到的相似性的量,建议的度量可以实现显着更好的性能相比,现有的静态代码度量的曲线下面积(AUC)。
2018-08-29 cs.SE
On the Time-Based Conclusion Stability of Cross-Project Defect Prediction Models
经验软件工程的研究人员经常根据可观察的数据(如缺陷报告)提出索赔。不幸的是,在许多情况下,这些主张被泛化,超出了已经评估的数据集。对于相同的软件项目,研究人员的结论在一年后还能成立吗?也许不是。最近的研究表明,在软件分析领域,不同数据集的结论通常不一致。在这篇文章中,我们实证研究是否在该地区的缺陷预测的结论真正表现出稳定性在整个时间或没有。我们的研究采用了一种时间感知的评估方法,模型只在过去进行训练,评估只在未来执行。通过这种时间感知的评估,我们表明,根据我们评估缺陷预测器的时间段,它们的性能,在F分数,曲线下面积(AUC)和马修斯相关系数(MCC)方面,变化和它们的结果是不一致的。产品的下一个版本与之前的版本有很大的不同,可能会极大地改变缺陷预测性能。因此,在不知道结论稳定性的情况下,经验软件工程研究人员应该将他们对性能的声明限制在评估的上下文中,因为关于缺陷预测性能的广泛声明可能与分析中产品的下一个即将发布的版本相矛盾。
2020-08-07 cs.SE
An Empirical Study on the Effectiveness of Data Resampling Approaches for Cross-Project Software Defect Prediction
跨项目缺陷预测(CPDP),其中来自不同的软件项目的数据被用来预测缺陷,已被提出作为一种方式来提供数据的软件项目,缺乏历史数据。最近的研究表明,使用最近邻(NN)滤波器方法对CPDP模型进行评估的结果很有希望。缺陷预测数据集的一个关键挑战是类不平衡,这是一个高度倾斜的数据集,其中非错误模块占主导地位的错误模块。在过去,数据恢复方法已被应用于项目内缺陷预测模型,以帮助减轻数据集中类不平衡的负面影响。为了解决CPDP中的类不平衡问题,作者评估了应用NN过滤器后数据恢复方法对CPDP模型的影响。研究了五种过采样方法(MAHAKIL,SMOTE,Borderline-SMOTE,Random Oversampling和ADASYN)和三种欠采样方法(Random Undersampling,Tomek Links和Onesided selection)对预测性能的影响,并将结果与没有数据恢复的方法进行了比较。作者在从PROMISE库中提取的34个数据集上检查了6个缺陷预测模型。作者的研究结果表明,有一个显着的积极影响,CPDP性能的数据恢复,这表明软件质量团队和研究人员应该考虑应用数据恢复方法,提高召回(PD)和g-测量预测性能。然而,如果目标是提高精度和减少虚警(pf),则应避免数据恢复方法。
2022-06-16 cs.SE
An Empirical Study on JIT Defect Prediction Based on BERT-style Model
本研究系统实证了微调设置对BERT风格模型在JIT缺陷预测中的影响,发现首层编码器关键、参数初始化敏感,并基于LoRA提出节省三分之二内存的微调方法。
2024-03-17 cs.SE
Software Defect Prediction Using Support Vector Machine
软件缺陷预测是软件开发过程中的一项重要任务,它可以帮助管理人员识别出最易出现缺陷的模块。从而降低了测试成本,有效地分配了测试资源。许多分类方法可以用来确定软件是否有缺陷。由于支持向量机在不同的数据集和参数设置下的不稳定性,使得支持向量机在这类问题中的应用并不广泛。影响精度的主要参数是核函数的选择。核函数的使用在以前的论文中没有得到深入的研究。因此,本研究以六种不同的核函数来检验支持向量机的效能与准确度。来自PROMISE项目的各种公共数据集实证验证了我们的假设。结果表明,没有核函数可以在不同的实验设置提供稳定的性能。此外,使用PCA作为特征约简算法在某些数据集上显示出轻微的准确性提高。
2022-09-10 cs.SE
Investigating the Impact of Metric Aggregation Techniques on Defect Prediction
在方法级别收集的代码度量通常使用求和来聚合,以在更高级别捕获系统属性(例如,文件级或包级)。由于缺陷数据通常在这些更高的级别上可用,因此这种聚合允许研究人员构建缺陷预测模型。Landman等人最近的研究结果表明,聚合可能会夸大规模和复杂性度量之间的相关性。在本文中,我们探讨了九种聚合技术对三种类型的代码度量之间的相关性的影响,即代码行,McCabe和Halstead度量。除了求和之外,我们还研究了聚合技术,这些技术是以下指标:(1)集中趋势(平均值和中位数),(2)离散度(标准差和四分位数范围),(3)形状(偏度和峰度),以及(4)收入不平等(泰尔指数和基尼系数)。我们的研究结果表明,使用求和建立的缺陷预测模型优于使用其他聚合技术。我们还发现,更复杂的聚合与简单得多的聚合没有什么不同,并且将所有聚合类型合并到同一模型中并没有比单独使用求和提供显着的改进。
2015-03-29 cs.SE
The Impact of Defect (Re) Prediction on Software Testing
针对跨项目缺陷预测中Bandit Algorithm早期易选到不合适数据而遗漏缺陷的问题,提出测试后再预测并重新测试相关模块的方法,实验表明其可在不降低准确率的同时稳定减少缺陷遗漏。
2024-09-10 cs.SE
An Empirical Study of the Impact of Test Strategies on Online Optimization for Ensemble-Learning Defect Prediction
针对跨项目集成缺陷预测方法选择不稳定的问题,本文用BA在线选择集成方法,并实证测试顺序影响,发现PF策略可提升准确率并多发现7%缺陷。
2024-09-10 cs.SE
DBBRBF- Convalesce optimization for software defect prediction problem using hybrid distribution base balance instance selection and radial basis Function classifier
针对软件缺陷预测数据的类别不平衡问题,提出结合分布基平衡实例选择与径向基函数分类器的DBBRBF方法,在多类不平衡数据集上验证了有效性并通过统计检验确认适用性。
2018-06-08 cs.SE
Assessing Developer Beliefs: A Reply to "Perceptions, Expectations, and Challenges in Defect Prediction"
用二次定量分析扩展定性研究可能是有见地的(前者提出了后者可以回答的有见地的问题)。记录开发人员的信念应该是软件工程研究的开始,而不是结束。一旦找到普遍的信念,就应该对照现实世界的数据进行检查。例如,本文发现了几个显着的差异之间的经验证据和开发人员的信念记录在万等人。最近的TSE论文“缺陷预测中的感知、期望和挑战”。通过报告这些差异,我们可以阻止开发人员(a)在无关紧要的事情上浪费时间或(b)忽略重要的影响。对于未来,我们将鼓励更多的“扩展研究”的定性结果与定量的经验证据。
2019-04-11 cs.SE
A Hybrid Sampling and Multi-Objective Optimization Approach for Enhanced Software Defect Prediction
本文提出一种结合Borderline SMOTE、Tomek Links混合采样与NSGA-II等多目标优化算法的软件缺陷预测框架,通过特征融合与并行处理提升预测准确率、泛化能力与计算效率,在NASA和PROMISE数据集上优于现有技术。
2024-10-13 cs.SE
Revisiting Heterogeneous Defect Prediction: How Far Are We?
到目前为止,研究人员已经提出了一些新的异质缺陷预测HDP方法具有良好的性能。据我们所知,HDP方法是否能比无监督方法表现得更好还没有得到彻底的研究。在本文中,我们进行了一项复制研究,以全面了解这个问题。特别是,我们比较了最先进的五个HDP方法与五个无监督的方法。最后的结果令人惊讶地表明,这些HDP方法并没有比一些无监督方法(特别是Zhou等人提出的简单无监督方法)表现得更好。在两个非努力意识绩效指标和四个努力意识绩效指标方面。然后,我们通过McNemar检验对缺陷模块进行多样性分析,发现HDP方法和无监督方法之间的比较比仅在HDP方法之间或无监督方法之间进行比较时,预测多样性更明显。这表明HDP方法和无监督方法在识别缺陷模型方面具有一定的互补性。最后,我们研究了五个HDP方法的可行性,考虑到两个满意度标准推荐的CPDP研究,发现这些HDP方法的满意率仍然是悲观的。上述实证结果表明,非均匀缺陷的预测还有很长的路要走。需要设计更有效的HDP方法,应将无监督方法视为基线。
2019-08-19 cs.SE
Defect Prediction Using Stylistic Metrics
Institute of Information Technology University of Dhaka Dhaka, Bangladesh
本文研究编程风格度量对项目内和跨项目缺陷预测的影响,在5个开源项目的14个版本上使用4种机器学习算法进行实验,证明风格度量是有效的缺陷预测指标。
2022-08-26 cs.LG cs.SE
Co-Change Graph Entropy: A New Process Metric for Defect Prediction
本文提出共变更图熵,一种将共变更建模为图的新过程度量,用于量化共变更分散度;在八个Apache项目上,该度量与文件级缺陷数显著相关,与变更熵结合时显著提升缺陷分类性能。
2025-04-25 cs.SE
A Joint Learning Framework for Bridging Defect Prediction and Interpretation
本文提出一种联合学习框架,通过反馈回路和将解释结果作为损失函数惩罚项,同时训练缺陷预测器与解释器,在多个数据集上验证了其在缺陷预测和可解释性方面的有效性。
2025-08-28 cs.SE
SDPERL: A Framework for Software Defect Prediction Using Ensemble Feature Extraction and Reinforcement Learning
针对复杂环境下软件缺陷预测难题,提出集成特征提取与强化学习结合的SDPERL框架,通过多模型提特征、ACO启发的RL选特征,在PROMISE数据集上F1-Score较基线平均提升6.25%。
2024-12-15 cs.SE