It Takes Two to Tango: Combining Visual and Textual Information for Detecting Duplicate Video-Based Bug Reports
College of William & Mary(威廉与玛丽学院);George Mason University(乔治梅森大学)
当bug在面向用户的应用程序中出现时,它很可能通过图形用户界面(GUI)暴露出来。鉴于视觉信息对识别和理解此类错误的重要性,用户越来越多地使用屏幕截图和屏幕记录作为向开发人员报告问题的手段。然而,当这样的信息被集中报告时,例如在众包测试期间,管理这些工件可能是一个耗时的过程。随着屏幕记录的报告变得越来越流行,开发人员可能会面临与手动识别描述重复错误的视频相关的挑战。由于其图形化的特性,屏幕记录对自动化分析提出了挑战,排除了使用当前的重复错误报告检测技术。为了克服这些挑战并帮助开发人员完成这项任务,本文介绍了Tango,这是一种重复检测技术,它通过利用视觉和文本信息来纯粹基于视频的错误报告。Tango结合了定制的计算机视觉技术、光学字符识别和文本检索。我们对Tango的多种配置进行了全面的实证评估,评估了4,860个重复检测任务,其中涉及来自6个Android应用程序的180个屏幕记录。此外,我们进行了一项用户研究,调查开发人员手动检测重复的基于视频的错误报告所需的工作量,并将其与使用Tango所需的工作量进行了比较。结果表明,Tango的最佳配置在检测重复的基于视频的错误报告方面非常有效,在83%的任务中,目标重复视频准确地排在返回结果的前2位。此外,我们的用户研究表明,平均而言,Tango可以减少开发人员60%以上的工作量,这说明了它的实用性。
2021-02-05 cs.AI cs.SE
BushraDBR: An Automatic Approach to Retrieving Duplicate Bug Reports
本文提出 BushraDBR,利用 LSI 与 FCA 计算新缺陷报告和仓库报告的文本相似度,以自动检索并提前拦截重复缺陷报告。
2024-05-04 cs.SE
Semantic GUI Scene Learning and Video Alignment for Detecting Duplicate Video-based Bug Reports
William & Mary(威廉玛丽学院);University of Central Florida(中佛罗里达大学)
针对GUI程序视频类错误报告的重复检测难题,提出融合视觉Transformer场景学习与自适应加权视频对齐的JANUS方法,在含7290项任务的基准上性能优于现有工作约9%。
2024-07-11 cs.LG cs.SE
Rediscovery Datasets: Connecting Duplicate Reports
同一个缺陷可能会被多个客户端重新发现,从而导致计划外停机,降低客户满意度。在流行的开放源码软件的情况下,定期报告大量缺陷。这些报告中有大量实际上是彼此重复/重新发现的。研究人员分析了过去与重复缺陷报告内容相关的因素。然而,其他一些潜在的重要因素,如重复缺陷报告之间的相互关系,在缺陷跟踪系统(如Bugzilla)中并不容易获得。这些信息可以加快错误修复,使有效的分类,提高客户档案等,在本文中,我们提出了三个缺陷重新发现数据集挖掘Bugzilla。这些数据集捕获三组开源软件项目的数据:Apache、Eclipse和KDE。这些数据集包含18年(1999-2017)期间约91.4万份缺陷报告的信息,以捕获重复缺陷之间的相互关系。我们相信,与社区共享这些数据将有助于研究人员和从业人员更好地理解缺陷重新发现的本质,并增强对缺陷报告的分析。
2017-03-18 cs.SE
Combining Retrieval and Classification: Balancing Efficiency and Accuracy in Duplicate Bug Report Detection
针对重复缺陷报告检测中准确率与时间效率难以兼顾的问题,提出一种结合检索模型(sentence BERT)与分类模型(RoBERTa)的混合transformer系统,在五个数据集上实现了准确率与效率的有效权衡。
2024-04-23 cs.SE
Automated Duplicate Bug Report Detection in Large Open Bug Repositories
Department of Computer Science University of Colorado Colorado Springs United States(计算机科学系,科罗拉多州立大学,美国);George Mason University, Fairfax, VA, United States(乔治·马歇尔大学,弗吉尼亚州 Fairfax,美国)
本文提出基于机器学习的自动检测重复bug报告方法,通过多种技术提升准确率,应用于Eclipse开源项目数据集。
2025-04-21 cs.AI cs.SE
Duplicate-sensitivity Guided Transformation Synthesis for DBMS Correctness Bug Detection
数据库管理系统(DBMS)在从移动应用程序到网上银行的现代软件中发挥着核心作用。DBMS应该为所有应用程序提供正确的数据是至关重要的。当DBMS返回不正确的数据时,就会触发正确性错误。目前的生产级数据库管理系统仍然遭受不足的测试,由于有限的手写测试用例。最近几个作品提出了自动生成许多测试用例的查询转换,一个过程中产生一个等价的查询对和测试的DBMS,通过检查系统是否返回相同的结果集的两个查询。然而,它们仍然严重依赖于手工工作来提供转换,这在很大程度上限制了它们对有效输入查询空间的探索。本文介绍了重复灵敏度指导的变换合成,自动发现新的转换,首先合成许多候选人,然后过滤不等价的。我们的自动合成是通过变异的查询,同时保持其重复的敏感性,这是查询等价的必要条件。在候选合成之后,我们使用查询等价检查器来保持与给定查询等价的突变查询。此外,我们已经实现了我们的想法在一个工具Eqsql,并使用它来测试生产级DBMS。在两个月内,我们在MySQL、TiDB和CynosDB中总共检测到30个新确认的独特错误。
2021-07-08 cs.DB cs.PL cs.SE
On the Feasibility of Deduplicating Compiler Bugs with Bisection
University of Waterloo(滑铁卢大学);Monash University(莫纳什大学)
研究用二分法消除编译器错误的可行性,以二分法定位失败提交为去重标准,引入BugLens方法,经实验验证其比现有方法更优,为编译器错误去重提供实用方案。
2026-07-07 cs.PL cs.SE
Auto-labelling of Bug Report using Natural Language Processing
Juniper Networks Inc.(瞻博网络公司);San José State University(圣何塞州立大学)
本文提出一种结合NLP技术的自动标记错误报告方法,利用自定义数据转换器、深度神经网络和非泛化机器学习,在数千个错误报告上实现recall@5为70%的高检索准确率。
2022-12-13 cs.AI cs.LG cs.SE
DeepLSH: Deep Locality-Sensitive Hash Learning for Fast and Efficient Near-Duplicate Crash Report Detection
INSA Lyon(里昂国立应用科学学院);Infologic R&D(Infologic研发中心);Riot Games(拳头游戏)
本文提出DeepLSH,一种基于孪生深度神经网络和原始损失函数的局部敏感哈希方法,用于快速高效检测近似重复崩溃报告,即使对Jaccard和余弦度量也能近似局部敏感属性,并通过实验验证。
2023-10-10 cs.AI cs.SE
TianoForge: An Automated Bug Triage Approach for the TianoCore UEFI Firmware Development Community
University of Colorado Colorado Springs (UCCS)(科罗拉多大学科泉分校);Purdue University(普渡大学)
针对TianoCore UEFI固件开发社区,提出基于GPT-LLM(结合或不结合RAG)的自动化Bug分类方法TianoForge,可将平均Bug分类时间缩短99.95%,显著提升软件维护效率。
2026-08-25 cs.SE
How to Better Distinguish Security Bug Reports (using Dual Hyperparameter Optimization
背景资料:为了使公众不容易受到黑客的攻击,安全漏洞报告需要由一小群工程师处理,然后才能被广泛讨论。但是,学习如何区分安全错误报告与其他错误报告是具有挑战性的,因为它们可能很少发生。能够找到这种稀缺目标的数据采掘方法需要大量的优化工作。目标:这项研究的目的是帮助从业者,因为他们努力优化方法,试图区分罕见的安全错误报告和其他错误报告。方法:我们提出的方法,称为Swift,是一种双重优化器,可以优化学习器和预处理器选项。由于这是一个很大的选项空间,Swift使用了一种称为epsilon-dominance的技术,该技术可以学习如何避免不会显着提高性能的操作。测试结果:与最近的最先进的结果(来自FARSEC,发表在TSE '18)相比,我们发现Swift对预处理器和学习器的双重优化比单独优化它们更有用。例如,在一项针对Chromium数据集的安全漏洞报告的研究中,FARSEC和Swift的召回率中位数分别为15.7%和77.4%。再举一个例子,在Ambari项目的数据实验中,召回率中位数从21.5%提高到85.7%(FARSEC到SWIFT)。结论:总的来说,我们的方法可以快速优化模型,实现比现有技术更好的召回。这些召回的增加与假阳性率的适度增加(从8%到24%,中位数)相关。对于未来的工作,这些结果表明,双重优化是实用和有用的。
2021-03-18 cs.SE
Recommending Bug Assignment Approaches for Individual Bug Reports: An Empirical Investigation
本文通过实证研究发现现有缺陷分配方法对不同缺陷报告效果不一,提出用机器学习为每份报告推荐最佳方法,虽有一定准确率提升但与基线相当,揭示了现有方法未捕捉开发者实际分配过程的关键信息。
2023-05-29 cs.SE
Enhancing Bug Report Templates in the TianoCore UEFI Firmware Development Community
University of Colorado Colorado Springs(科罗拉多大学科泉分校);Purdue University(普渡大学)
本研究针对TianoCore核心项目EDK II,通过分析漏洞数据发现关键信息缺失问题,拟在GitHub Issues的漏洞报告模板中新增字段,计划经开发者反馈调整及A/B测试验证,以优化UEFI固件漏洞分类与解决流程。
2026-09-10 cs.SE
Categorizing Bugs with Social Networks: A Case Study on Four Open Source Software Communities
ETH Zurich(苏黎世联邦理工学院)
有效的错误分类过程是成功的协作软件工程项目的重要前提。对bug进行分类可能会成为一项艰巨的任务,特别是在开源软件(OSS)项目中,有大量缺乏经验的兼职贡献者。在本文中,我们提出了一个有效的和实用的方法来识别有效的错误报告,a)指的是一个实际的软件错误,b)不是重复的,c)包含足够的信息,立即处理。我们的分类是基于九个措施,以量化的社会嵌入的bug报告者在协作网络。我们证明了它的适用性的案例研究中,使用一个全面的数据集,超过70万个错误报告,从Bugzilla安装的四个主要的OSS社区,为期十多年。对于那些表现出最低比例的有效错误报告的项目,我们发现,错误报告者在协作网络中的位置是错误报告质量的一个强有力的指标。基于这一发现,我们开发了一个自动化的分类方案,可以很容易地集成到错误跟踪平台,并分析其性能在考虑OSS社区。一个支持向量机(SVM),以确定有效的错误报告的基础上的九个措施产生了高达90.3%的准确率与38.9%的召回。有了这个,我们显着提高了在以前的案例研究中获得的结果,自动早期识别的错误,最终修复。此外,我们的研究强调了在协作软件工程中使用社会组织的定量测量的潜力。它还为将社会意识纳入支助基础设施的设计开辟了广阔的前景。
2013-02-28 cs.LG cs.SE cs.SI
Early Detection of Security-Relevant Bug Reports using Machine Learning: How Far Are We?
Université du Québec à Montréal(魁北克大学蒙特利尔分校);University of Luxembourg(卢森堡大学)
错误报告是软件开发中常见的人工制品。它们是用户与开发人员交流有关使用软件程序发布版本时遇到的问题的信息的主要渠道。然而,在问题描述中,用户可能有意或无意地暴露漏洞。在典型的维护场景中,开发团队在准备纠正补丁时会优先考虑此类安全相关的错误报告。然而,当安全相关性没有立即表达时(例如,通过标签)或由分类小组快速识别,开放的安全相关错误报告可能成为攻击者可以用来执行零日攻击的敏感信息的关键泄漏。为了支持实践者对错误报告进行分类,研究社区提出了许多用于检测安全相关错误报告的方法。近年来,基于机器学习的这方面的方法已经被报道具有有前途的性能。我们的工作侧重于这些方法,并重新审视其组成部分,以全面了解目前的成就。为此,我们构建了一个大型实验数据集,并使用不同的特征集和学习算法进行了广泛的实验。最终,我们的研究强调了不同的方法配置,产生最佳性能的分类器。
2021-12-19 cs.CL cs.LG cs.SE
How Far Can VLMs Go for Visual Bug Detection? Studying 19,738 Keyframes from 41 Hours of Gameplay Videos
University of Alberta(阿尔伯塔大学)
研究通过分析41小时游戏录像中的19,738个关键帧,评估VLMs在实际场景中检测视觉缺陷的能力,发现其性能有限,需结合混合方法提升。
2026-03-24 cs.CV cs.SE
iFixR: Bug Report driven Program Repair
问题跟踪系统通常用于现代软件开发中,用于收集来自用户和开发人员的反馈。软件维护的最终自动化目标是系统化的补丁生成用户报告的错误。虽然这一雄心与自动程序修复的势头一致,但到目前为止,文献大多集中在生成和验证设置上,其中故障定位和补丁生成由定义良好的测试套件驱动。然而,一方面,对于大多数开发环境,存在相关测试用例的常见(但很强)假设在实践中并不成立:许多错误报告没有可用的测试套件能够揭示它们。另一方面,对于许多项目,bug报告的数量通常超过了可用于分类它们的资源。为了增加从业者采用补丁生成工具,我们调查了一个新的修复管道,iFixR,驱动的错误报告:(1)错误报告被馈送到一个基于IR的故障定位器;(2)补丁生成的修复模式,并通过回归测试验证;(3)优先级列表生成的补丁,建议开发人员。我们在我们丰富的Defects 4J数据集上评估iFixR(即,故障被链接到错误报告)并仔细地重新组织(即,测试用例的时间轴自然地被分割)。iFixR使用其基于IR的故障定位器为21/44 Defects 4J故障生成真实/合理的补丁。iFixR准确地将真实/合理的补丁置于其对这些故障中的8/13的前5个建议中(在生成和验证中不使用未来的测试用例)。
2019-07-12 cs.SE
Size biased Multinomial Modelling of detection data in Software testing
本文提出利用缺陷规模建立规模偏倚多项模型以更精确估计软件可靠性,并通过仿真及关键航天软件测试数据验证了模型有效性。
2024-05-24 cs.SE
Test Case Generation from Bug Reports via Large Language Models: A Cognitive Layered Evaluation Framework
York University(约克大学)
本文基于布鲁姆认知层次框架,系统评估LLM在缺陷报告测试用例生成中的推理能力,发现标识符变异导致性能大幅下降,而结构化技术元素比叙述性描述更具影响力,并提出了改进方向。
2025-10-06 cs.SE
How Far Can We Go with Practical Function-Level Program Repair?
针对现有基于LLM的APR多聚焦单行/块级修复、实用性受限的问题,本文首次全面研究函数级APR,提出双LLM框架的SRepair技术,在Defects4J数据集上修复性能超越现有技术至少85%,并首次实现多函数缺陷修复。
2024-10-31 cs.SE
Precise Debugging Benchmark: Is Your Model Debugging or Regenerating?
University of Southern California(南加州大学);Microsoft(微软);University of Wisconsin–Madison(威斯康星大学麦迪逊分校);University of Toronto(多伦多大学)
本文提出PDB基准,评估LLM调试能力,发现前沿模型调试精度低,即使受指令引导也难以达到高精度。
2026-10-06 cs.CL cs.SE
SoK: From Finding to Deployment: Systematizing the OS Kernel Bug Lifecycle
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Indiana University Bloomington(印第安纳大学布鲁明顿分校)
本SoK系统化Linux内核缺陷从发现到部署的生命周期,划分五个阶段,通过测量syzbot修复缺陷揭示崩溃到补丁差距的结构性原因,指出修复技术应把复现器等产物视为输出而非前提。
2026-09-22 cs.CR cs.OS cs.SE
Retrieval-Augmented Test Generation: How Far Are We?
York University(约克大学)
本研究探索RAG在ML/DL API单元测试生成中的应用,评估多种知识来源和LLM,发现RAG平均提升行覆盖率6.5%,并能检测新缺陷,凸显其提升测试覆盖率的潜力。
2025-10-16 cs.AI cs.SE
Fuzzing BusyBox: Leveraging LLM and Crash Reuse for Embedded Bug Unearthing
针对嵌入式设备中广泛使用的BusyBox的漏洞问题,提出利用LLM生成目标特定初始种子增强模糊测试、复用相似目标崩溃数据的两种技术,无需传统模糊测试即可在最新BusyBox中发现崩溃,提升嵌入式漏洞检测效率。
2024-03-06 cs.CR cs.SE
Measuring Emergent Capabilities of LLMs for Software Engineering: How Far Are We?
本文针对软件工程场景,提出模型无关的评估pipeline,分析不同规模CodeGen1-multi模型在三个SE任务中的能力涌现,发现无证据支持模型规模扩大导致涌现,为SE领域LLM涌现能力研究提供参考并指出迁移NLP方法的局限。
2024-11-26 cs.SE
The Vision of Software Clone Management: Past, Present, and Future
重复代码或代码克隆是一种代码气味,对软件系统的开发和维护既有积极的影响,也有消极的影响。过去的软件克隆研究主要集中在代码克隆的检测和分析上,而近年来的研究扩展到了克隆管理的整个领域。在过去的十年中,三个调查出现在文献中,其中包括检测,分析和代码克隆的进化特征。本文对克隆管理的最新技术进行了全面调查,并深入调查了克隆管理活动(例如,跟踪、重构、成本效益分析)。这是第一次调查克隆管理,我们指出的成就,到目前为止,并揭示了必要的进一步研究走向一个综合的克隆管理系统的途径。我们相信,我们在调查克隆管理领域方面做得很好,这项工作可以作为该领域未来研究的路线图
2020-05-03 cs.SE
A Case Study on Automated Fuzz Target Generation for Large Codebases
模糊测试是一种很大程度上自动化的测试技术,它向程序提供随机和意外的输入,试图触发故障条件。到目前为止,对模糊测试进行的大部分研究都集中在对可用的模糊测试工具和框架进行改进以提高效率。然而,在本文中,我们着眼于一种方法,可以减少集成模糊测试以帮助维护现有代码库所需的开发人员时间。我们用一种自动生成模糊目标的新技术来实现这一点,模糊目标是模糊测试工具运行的程序的修改版本。我们在行业合作伙伴的代码库上评估了三种不同的模糊测试解决方案,并发现了一种完全自动化的解决方案,该解决方案在实现所述解决方案所需的开发人员时间方面发现了更多的错误。我们的研究朝着提高模糊测试普及率迈出了重要一步,我们的研究让集成模糊测试解决方案来维护现有代码库变得更简单。
2019-07-29 cs.SE