Evaluating Diverse Large Language Models for Automatic and General Bug Reproduction
针对缺陷复现难以自动化的问题,提出结合LLM生成测试用例与后处理筛选的LIBRO技术,在Defects4J基准复现约三分之一缺陷,并评估多类LLM的复现性能差异与规模影响。
2023-11-09 cs.SE
FUSION: A Tool for Facilitating and Augmenting Android Bug Reporting
随着移动智能设备的普及程度不断攀升,“应用程序”的复杂性不断增加,使得开发和维护过程具有挑战性。当前的错误跟踪系统缺乏关键特征来有效地支持具有直接导致错误解决的可操作信息的报告的构造。在这个演示中,我们提出了一个新的错误报告系统的实现,称为融合,方便用户在移动应用程序的错误报告中包括再现步骤。Fusion将用户提供的信息链接到通过测试或发布前执行的静态和动态分析提取的程序工件。初步研究的结果表明,与传统的问题跟踪系统相比,Fusion通过提供更详细的上下文应用程序信息,有效地促进了报告,并允许更可靠地再现报告中的错误。工具网站:www.fusion-android。视频网址:https://youtu.be/AND9h0ElxRg
2018-01-18 cs.SE
On-Device Bug Reporting for Android Applications
移动应用程序中出现的错误可能难以重现和修复,这是由于几个混杂因素,包括移动应用程序的高度GUI驱动性质、不同的上下文状态、不同的平台版本和设备碎片。很明显,开发人员需要以自动化工具的形式提供支持,以便更准确地报告应用程序缺陷,从而促进更高效和有效的错误修复。在本文中,我们提出了一个工具,旨在支持应用程序测试人员和开发人员在设备上的错误报告的过程中。我们的工具ODBR利用uiautomator框架和低级别事件流捕获来支持记录和回放一系列输入手势和传感器事件,这些事件描述了Android应用程序中的错误。
2018-01-18 cs.SE
Feedback-Driven Automated Whole Bug Report Reproduction for Android Apps
本文提出反馈驱动的方法ReBL,利用GPT-4和整份文本错误报告自动复现Android错误报告,在96份报告上实现90.63%成功率,优于三种现有工具。
2024-08-28 cs.SE
BURT: A Chatbot for Interactive Bug Reporting
本文介绍了BURT,一个基于Web的聊天机器人,用于交互式报告Android应用程序错误。BURT旨在帮助Android应用最终用户使用交互式界面报告高质量的缺陷信息。BURT指导用户报告基本的错误报告元素,即,观察到的行为、预期的行为以及重现bug的步骤。它验证用户所写文本的质量并提供即时反馈。此外,BURT提供了图形化的建议,用户可以选择作为文本描述的替代方案。我们对BURT进行了实证评估,要求最终用户报告六个Android应用程序的错误。记者发现,BURT的指导以及自动建议和澄清很有用,而且BURT很容易使用。BURT是一个开源工具,可在github.com/sea-lab-wm/burt/tree/tool-demo上获得。可以在https://youtu.be/SyfOXpHYGRo上找到显示BURT全部功能的视频
2023-02-13 cs.SE
Enhancing Android Application Bug Reporting
随着智能手机和平板电脑的普及,现代软件开发领域的重点已经转向移动应用程序。由于这种趋势,这些“应用程序”的复杂性一直在增加,使开发和维护具有挑战性。当前的错误跟踪系统不能有效地促进具有将直接导致错误解决的有用信息的错误报告的创建。为了满足对改进报告系统的需求,我们引入了一种名为Fusion的新颖解决方案,该解决方案可帮助报告者利用其以GUI为中心的特性,自动完成移动应用程序错误报告中的复制步骤。融合将报告者提供的信息链接到通过预先执行的静态和动态分析提取的程序工件。这使得我们的系统能够为开发人员和测试人员提供更方便的报告过程,同时生成更多可重复的错误报告,并提供立即可操作的信息。
2017-06-04 cs.SE
An Empirical Investigation into the Reproduction of Bug Reports for Android Apps
与确保移动应用程序质量相关的关键任务之一是报告,管理和解决错误报告。因此,研究人员已经投入了大量资源来自动化移动应用程序错误管理过程的各种任务,例如复制和分类。然而,这些自动化方法的成功在很大程度上取决于它们所操作的错误报告的特征和属性。因此,了解移动应用程序错误报告对于推动报告管理技术的持续发展至关重要。虽然之前的研究已经检查了大量报告的高级统计数据,但我们目前缺乏对移动应用程序问题跟踪器中通常报告的信息如何与重现潜在故障所需的具体细节相关的深入调查。在本文中,我们对从GitHub上的Android应用程序中系统挖掘的180个可重现的错误报告进行了深入分析,并调查了报告中包含的信息与重现所述错误的任务之间的关系。在我们的分析中,我们关注三条信息:重现bug报告所需的环境、重现的步骤(S2R)和观察到的行为。关注这些信息,我们描述故障类型,识别用于报告信息的模式,并描述报告中信息的质量。我们发现bug是以多模态的方式报告的,环境并不总是提供的,S2R经常包含缺失或非特定的足够信息。这些发现对自动化错误复制技术以及更普遍的自动化错误报告管理方法具有重要意义。
2023-01-03 cs.SE
Enhancing LLM-Based Bug Reproduction for Android Apps via Pre-Assessment of Visual Effects
Xiamen University(厦门大学)
本文提出LTGDroid,通过执行所有可能的UI操作并记录视觉效果,指导LLM选择重现bug的UI操作,提升Android应用bug重现的成功率。
2026-03-31 cs.SE
Developers' Perception: Fixed Bugs Often Overlooked as Quality Contributions
本研究通过调查102名程序员,发现仅三分之一认为修复缺陷数量体现质量,揭示程序员常忽视缺陷报告的价值,强调测试与缺陷报告对软件质量的重要性。
2024-03-16 cs.SE
Fixing Bug Reporting for Mobile and GUI-Based Applications
智能手机和平板电脑已经成为现代计算领域的支柱。可以想象,在不久的将来,这样的设备可能会取代笔记本电脑和台式机,成为许多用户执行典型的计算机辅助任务的主要手段。反过来,这意味着移动应用程序将继续变得更加复杂,并成为全球数百万开发人员的主要关注点。为了正确创建和维护这些应用程序,开发人员需要支持,特别是在及时确认和解决错误报告方面。不幸的是,当前的问题跟踪系统通常仅实现粗粒度自然语言描述的收集,并且缺乏便于报告者在其报告中包括重要信息的特征。这说明了当前移动和基于GUI的应用程序的错误报告系统中存在的词汇信息差距。本文概述了有前途的初步工作,以解决这个问题,并提出了一个全面的研究计划,旨在实现新的错误报告机制,并检查它们可能对相关的软件维护任务的影响。
2018-01-18 cs.SE
Bug Tracking and Reporting System
这是信息的世界。不断增长的领域信息技术有其许多先进的显着特点,使它成为今天的样子。在这个世界上,信息必须经过处理,明确分布,并且必须有效地到达最终用户。否则,我们知道它会导致灾难性的情况。同一阶段的另一个硬币是绝对有必要知道最终用户面临的任何错误。Bug跟踪和报告系统项目旨在提供解决方案。Bug Tracker可以由任何两种类型组成。第一个是系统侧,另一个是服务侧。我们的项目涉及第二个。这篇论文完全致力于跟踪出现在这里的错误。管理员维护关于错误ID、错误类型、错误描述、错误严重性、错误状态、用户详细信息的主详细信息。管理员也有权更新严重性级别、状态级别等文件模块的主详细信息。管理员添加用户并分配他们完成论文的责任。最后,在分析分配给特定用户的论文时,管理员可以跟踪错误,并按照严重性和状态的顺序自动添加到包含错误的表中。管理员可以随时以报告的形式了解分配给各个用户的各种文件中的信息,他们的错误跟踪状态,他们的描述等。
2013-09-05 cs.SE
Mining the Temporal Evolution of the Android Bug Reporting Community via Sliding Windows
开源开发社区由付费和志愿者开发人员以及新用户和有经验的用户组成。以前的工作已经将社会网络分析(SNA)应用于开源社区,并在专业知识发现和分类方面表现出了价值。将SNA直接应用于整个项目周期的数据的一个问题是,当地活动的影响将被淹没。在本文中,我们提供了一种方法,用于聚合,分析和可视化的本地(小时间段)的错误报告参与者的互动,通过使用SNA来衡量这些参与者的中间中心。特别是,我们通过从重叠的30天bug报告窗口中产生社交网络来挖掘Android bug库,每个窗口按天滑动。在本文中,我们定义了三种模式的参与者行为的基础上,他们的本地中心。我们提出了一种方法来分析本地和全球的bug报告参与者的中心性,然后我们进行了一个彻底的案例研究的bug报告者的活动在Android的错误存储库。此外,通过对Android版本控制系统的挖掘和对Android发布历史的考察,验证了本文方法的有效性。我们发现,窗口SNA分析引发了在全球分析过程中不可见的局部行为。
2013-10-28 cs.SE
Enhancing Bug Reports for Mobile Apps
现代软件开发领域已经看到了移动应用程序作为“智能”设备的焦点转移,这些设备几乎无处不在。由于这种趋势,移动应用程序的复杂性一直在增加,使开发和维护特别具有挑战性。然而,很明显,目前的错误跟踪系统不能有效地支持构建具有可操作信息的报告,这些信息将直接导致错误的解决方案。为了满足对改进报告系统的需求,我们引入了一种名为FUSION的新颖解决方案,可以帮助用户在移动应用程序的错误报告中自动完成复制步骤。FUSION将用户提供的信息链接到通过测试或发布前执行的静态和动态分析提取的程序工件。FUSION采用的方法可推广到其他当前的移动软件平台,并构成了一种新的方法,通过该方法可以为移动软件项目进行离线错误报告。我们通过进行一项研究来评估FUSION,该研究定量和定性地测量了系统报告和再现错误的用户体验,以及它产生的错误报告的质量。在一项涉及28名参与者的研究中,我们应用FUSION来支持在14个开源Android应用程序中发现的15个真实世界错误的报告和复制缺陷的维护任务。我们的研究结果表明,FUSION允许更可靠的再现错误的报告,帮助用户报告更详细的应用程序特定的信息相比,传统的错误跟踪系统。
2018-01-18 cs.SE
Large Language Models are Few-shot Testers: Exploring LLM-based General Bug Reproduction
针对现有测试生成技术难以从通用缺陷报告复现缺陷的问题,提出基于大语言模型的LIBRO框架,通过后处理排序测试有效性,在Defects4J等基准上取得良好效果,可提升开发效率。
2023-07-25 cs.SE
On Reporting Performance and Accuracy Bugs for Deep Learning Frameworks: An Exploratory Study from GitHub
深度学习(DL)的巨大成功大大增加了GitHub上托管的开源DL框架的数量。其中,性能和准确性错误是影响这些DL框架声誉的关键因素,因此了解发现和调查DL的实践非常重要。在本文中,我们进行了探索性研究的性质报告性能和准确性错误错误的DL框架,旨在提高我们的知识在这个话题上。我们的研究涵盖了GitHub上10个最流行的开源DL框架(例如,TensorFlow,Keras和PyTorch),基于此,我们从22,522个总人口中抽取了664个代表性的性能和准确性错误报告。通过对这些样本的系统分析,我们的主要发现是:(1)低速度是提交与性能错误相关的报告的主要原因,但我们没有看到与准确性相关的报告的一致模式;(2)大多数报告都是关于训练阶段遇到的问题;(3)只有一小部分报告提供的信息不足以进行调查;(4)大多数性能和准确性错误报告(69%至100%)与实际错误无关或被视为未分类;(5)大约50%的性能和准确性错误报告确实揭示了错误,但没有通过直接补丁解决。从上述推导,我们讨论了一组可操作的影响,研究人员,维护人员,并在这个问题上的报告提交者。为了促进开放科学,已标记的数据集已在https://tinyurl.com/4x3tap9w上公开提供。
2022-04-17 cs.SE
REINS: Agent-guided Thread Scheduling for Concurrency Bug Detection and Reproduction
The University of Queensland(昆士兰大学);Carnegie Mellon University(卡内基梅隆大学)
REINS是一种智能体引导线程调度的方法,通过利用并发语义与缺陷模式优化调度,在有限预算内更高效检测并发缺陷,还在实际项目中发现6个未知缺陷且3个获开发者确认。
2026-10-12 cs.SE
AEGIS: An Agent-based Framework for General Bug Reproduction from Issue Descriptions
ByteDance(字节跳动);Shanghai Jiao Tong University(上海交通大学)
本文针对现有错误复现方法局限于特定类型的问题,提出基于智能体的AEGIS框架,通过简洁上下文构建和FSM多反馈优化模块提升通用错误复现性能,实验显示F->P指标超基线23.0%,并提高Agentless解决率12.5%。
2024-11-27 cs.AI cs.SE
Automatically Reproducing Android Bug Reports Using Natural Language Processing and Reinforcement Learning
作为解决用户通过错误报告提交的问题的过程的一部分,Android开发人员尝试重现和观察错误报告中描述的故障。由于bug报告的低质量和现代应用程序的复杂性,复制过程是不平凡和耗时的。因此,非常需要能够帮助重现Android错误报告的自动方法。然而,当前帮助开发人员自动再现错误报告的方法仅能够处理有限形式的自然语言文本,并且难以成功再现初始错误报告缺少或不精确步骤的故障。在本文中,我们将介绍一种新的全自动Android错误报告再现方法,以解决这些限制。我们的方法通过利用自然语言处理技术来更全面、更准确地分析Android错误报告中的自然语言,并基于强化学习设计新技术来指导搜索成功的再现步骤,从而实现了这一目标。我们对77个真实世界的错误报告进行了实证评估。我们的方法在准确地从错误报告中提取再现步骤方面实现了67%的精确度和77%的召回率,并再现了74%的错误报告,显着优于最先进的技术。
2023-01-18 cs.SE
ReProAgent: Tool-Augmented Multi-Stage Agentic Generation of Bug Reproduction Tests from Issue Reports
School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院);State Key Laboratory for Novel Software Technology, Nanjing University(南京大学软件新技术国家重点实验室);Singapore Management University(新加坡管理大学)
研究提出ReProAgent多阶段代理框架,从问题报告生成错误重现测试,将任务分解为四个阶段,集成多种工具支持各阶段,实验表明其能成功重现较多问题,优于基线,还可跨模型泛化并提升下游问题解决性能。
2026-07-13 cs.SE
Auto-completing Bug Reports for Android Applications
随着平板电脑和智能手机的普及,现代软件开发领域的重点已经转向移动应用程序。由于这种趋势,这些应用程序的复杂性一直在增加,使开发和维护具有挑战性。此外,当前的错误跟踪系统不能有效地支持具有直接导致错误解决的可操作信息的报告的构造。为了满足对改进报告系统的需求,我们引入了一种名为FUSION的新解决方案,可以帮助用户自动完成移动应用程序错误报告中的复制步骤。FUSION将用户提供的信息链接到通过测试或发布前执行的静态和动态分析提取的程序工件。FUSION采用的方法可推广到其他当前的移动软件平台,并构成了一种新的方法,通过该方法可以为移动软件项目进行离线错误报告。在一项涉及28名参与者的研究中,我们应用FUSION来支持报告和再现14个开源Android应用程序中发现的15个真实世界错误的维护任务,同时定性和定性地测量系统的用户体验。我们的研究结果表明,与传统的问题跟踪系统相比,FUSION通过提供更详细的上下文应用信息,既有效地促进了报告,又允许更可靠地再现报告中的错误。
2017-05-11 cs.SE
TreeMind: Automatically Reproducing Android Bug Reports via LLM-empowered Monte Carlo Tree Search
Anhui University(安徽大学);University of Science and Technology of China(中国科学技术大学)
TreeMind结合LLM与MCTS算法,通过语义推理和反馈导航,高效重现Android bug报告。
2026-02-01 cs.SE
Agents in the Sandbox: End-to-End Crash Bug Reproduction for Minecraft
Electronics Engineering Department Bilkent University Ankara, Turkey(电子工程系比尔肯特大学安卡拉土耳其);Computer Engineering Department Bilkent University Ankara, Turkey(计算机工程系比尔肯特大学安卡拉土耳其)
本文提出 BugCraft 框架,通过 LLM 和视觉智能体在 Minecraft 中实现端到端崩溃 Bug 自动复现,并构建 BugCraft-Bench 数据集,复现率达 34.9%,超越基线 37%。
2025-10-10 cs.AI cs.SE
Echo: Graph-Enhanced Retrieval and Execution Feedback for Issue Reproduction Test Generation
Nanjing University(南京大学);University College London(伦敦大学学院);NOFA(诺发);University of Texas at Dallas(德克萨斯大学达拉斯分校)
Echo通过基于代码图的检索和执行反馈生成缺陷重现测试用例,提升测试生成效率与准确性。
2026-03-07 cs.SE
iCoRe: An Iterative Correlation-Aware Retriever for Bug Reproduction Test Generation
The Hong Kong University of Science and Technology(香港科技大学);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高新区(滨江)区块链与数据安全研究院)
本文提出iCoRe,一种迭代相关性感知的Bug重现测试生成检索器,通过区分源代码与测试用例的检索需求、结合文本语义与函数调用结构、以及实现检索与生成阶段的反馈循环,提升Bug重现测试生成的准确性。
2026-06-27 cs.SE
Dynamic Cogeneration of Bug Reproduction Test in Agentic Program Repair
Google, USA(谷歌(美国))
本文研究了在程序修复中动态共生生成测试的方法,通过在同一补丁中生成修复和测试用例,提高修复的可信度并减少维护成本。
2026-08-25 cs.AI cs.SE
AndroR2: A Dataset of Manually Reproduced Bug Reports for Android Applications
软件维护构成了软件开发生命周期的很大一部分。为了执行维护任务,开发人员通常需要理解并复制错误报告。因此,越来越多的研究活动围绕着自动化与bug报告相关的各种活动的概念。这种研究兴趣的相当大一部分集中在移动应用程序领域。然而,随着围绕移动应用程序错误报告的研究进展,显然需要一组手动审查和可复制的真实世界错误报告,可以作为未来工作的基准。本文介绍了ANDROR2:Google Play上列出并托管在GitHub上的Android应用程序的90个手动复制的错误报告的数据集,通过深入分析从GitHub问题跟踪器中提取的459个报告系统地收集。对于每个复制的报告,ANDROR2包括原始错误报告,应用程序错误版本的apk文件,可执行复制脚本以及与原始报告相关的复制步骤质量相关的元数据。我们相信,ANDROR2数据集可用于促进自动分析、理解、复制、本地化和修复移动应用程序以及其他更广泛的软件维护活动的研究。
2021-06-15 cs.SE
Agentic Bug Reproduction for Effective Automated Program Repair at Google
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google(谷歌);TU Wien(维也纳技术大学)
本文提出BRT Agent,利用微调大语言模型从谷歌内部缺陷报告自动生成缺陷复现测试,显著优于LIBRO,并能有效提升自动化程序修复系统的修复效果。
2025-03-11 cs.AI cs.SE
LadyBug: A GitHub Bot for UI-Enhanced Bug Localization in Mobile Apps
LadyBug是一个GitHub机器人,结合UI交互信息与文本检索自动定位Android应用缺陷,在RedWing基准上优于基线,显著提升定位准确性。
2025-08-07 cs.SE
Beyond Fail-to-Pass: Iterative Hardening of Co-Generated Bug Reproduction Tests and Fixes
Nanjing University(南京大学);Peking University(北京大学);Microsoft(微软公司)
研究自动化程序修复中错误重现测试问题,指出仅用未通过到通过标准不足。提出CoHarden框架,先生成测试再迭代强化测试与修复,实验证明该框架在解决率等方面优于现有基线。
2026-07-23 cs.AI cs.SE
A Quantitative Study of Security Bug Fixes of GitHub Repositories
软件容易出现错误和故障。安全漏洞是那些违反软件要求而暴露或共享特权信息和访问的漏洞。考虑到安全漏洞的严重性,存在用于跨多个产品支持和跟踪这些漏洞的集中机制,其中一种机制是通用漏洞和暴露(CVE)ID描述。当一个bug获得一个CVE时,它是通过它的CVE ID引用的。因此,我们在Github上探索了数千个自由/自由开源软件(FLOSS)项目,以确定开发人员是否在他们的代码,提交和问题中引用或讨论CVE。CVE通常会引用项目的第三方软件依赖项,因此错误不会出现在实际产品本身中。我们研究这些引用中有多少是故意的CVE引用,以及有多少是项目本身的相关错误。我们研究如何修复引用CVE的错误以及修复这些错误需要多长时间。我们对250个错误报告进行手动分类的结果显示,88个(35%)、32个(13%)和130个(52%)被分类为“版本更新”、“修复代码”和“讨论”。为了了解修复这些错误需要多长时间,我们比较了两个时间段,报告期,CVE存储库中漏洞信息的披露日期和项目中错误报告的创建日期之间的时间段,以及修复期,错误报告的创建日期和错误报告的修复日期之间的时间段。我们发现,44%的bug报告被归类为“版本更新”或“修复代码”,报告期比修复期长。这表明,那些提交CVE的人应该更直接地通知受影响的项目。
2020-12-15 cs.SE
Understanding Agent-Reactive Bugs at the Model-Harness Boundary: An Empirical Study of LLM Agent Issue Reports
The Hong Kong University of Science and Technology(香港科技大学);Guangzhou HKUST Fok Ying Tung Research Institute(广州HKUST福氏研究院)
研究聚焦大型语言模型代理在模型-框架边界处的反应性错误,通过分析255份错误报告构建分类法,发现此类错误多为无明确测试预言的静默错误,检测和重现困难,还揭示了用户与开发者对错误归因及修复的不匹配,推动相关技术设计。
2026-07-20 cs.SE
Imitation Game: Reproducing Deep Learning Bugs Leveraging an Intelligent Agent
Dalhousie University(达尔豪斯大学)
RepGen通过智能代理和生成-验证-改进机制,提高了深度学习bug的重现率和效率。
2026-02-26 cs.AI cs.LG cs.SE
Can LLMs Demystify Bug Reports?
本研究针对现有工具难以自动处理自然语言Bug报告的问题,用Defects4J基准测试ChatGPT,发现其能复现50%的报告Bug,展现了人机协同处理Bug的应用潜力。
2023-10-10 cs.SE
Combining Language and App UI Analysis for the Automated Assessment of Bug Reproduction Steps
University of Central Florida(中佛罗里达大学);William & Mary(威廉玛丽学院);George Mason University(乔治梅森大学)
本文提出AstroBR技术,利用大语言模型从缺陷报告中提取复现步骤并映射到动态分析得到的GUI交互模型,在S2R标注和缺失步骤建议上分别比基线提升25.2%和71.4%的F1分数。
2025-02-06 cs.LG cs.SE
GIFdroid: Automated Replay of Visual Bug Reports for Android Apps
错误报告对于软件维护至关重要,它允许用户通知开发人员在使用软件时遇到的问题。然而,对于非技术用户来说,很难写清楚关于bug发生的描述。因此,越来越多的用户开始记录报告错误的屏幕,因为它很容易创建,并包含触发错误的详细过程。但是,由于记录中的长度和不清楚的操作,开发人员重现错误仍然是繁琐和耗时的。为了克服这些问题,我们提出了GIFdroid,一个轻量级的方法来自动重放的执行跟踪从视觉错误报告。GIFdroid采用图像处理技术从记录中提取关键帧,将其映射到GUI Transitions Graph中的状态,并生成这些状态的执行轨迹以触发bug。我们的自动化实验和用户研究证明了它的准确性,效率和实用性的方法。
2022-04-19 cs.SE
LLM-Guided Issue Generation from Uncovered Code Segments
Concordia University(康考迪亚大学)
本文提出IssueSpecter工具,通过结合代码覆盖分析与大语言模型缺陷识别,生成优先级高的问题报告,验证其在Python项目中有效检测多种类型漏洞,且比传统方法在准确率和召回率上表现更优。
2026-04-28 cs.SE
AssertFlip: Reproducing Bugs via Inversion of LLM-Generated Passing Tests
University of Waterloo(滑铁卢大学)
AssertFlip通过翻转LLM生成的通过测试来复现错误,有效提升错误复现效率。
2026-01-07 cs.SE
SWE-Doctor: Guiding Software Engineering Agents with Runtime Diagnosis from Multi-Faceted Bug Reproduction Tests
提出SWE-Doctor,通过生成多面缺陷复现测试并执行调试,构建运行时诊断记录,结合定位信息指导补丁生成,在SWE-bench Verified和Pro上平均解决率分别达75.7%和59.4%。
2026-07-02 cs.AI cs.SE
Not All Bugs Are the Same: Understanding, Characterizing, and Classifying the Root Cause of Bugs
现代版本控制系统,如Git或SVN,包括bug跟踪机制,通过该机制,开发人员可以通过bug报告突出bug的存在,即,报告问题的文本描述以及导致失败的步骤。在过去和最近几年,研究界深入研究了简化bug分类的方法,即将报告的bug的修复分配给最合格的开发人员的过程。然而,只有少数研究报告了如何支持开发人员理解报告的错误类型,这是在分配错误修复操作之前执行的第一个也是最耗时的步骤。在本文中,我们从两个方面来解决这个问题:首先,我们分析了119个流行项目的1,280个bug报告,这些项目属于Mozilla、Apache和Eclipse等三个生态系统,目的是建立报告bug的根本原因的分类法;然后,我们设计并评估了一个自动分类模型,该模型能够根据定义的分类法对报告的bug进行分类。结果,我们发现了所考虑系统中错误的九个主要常见根本原因。此外,我们的模型实现了较高的F-Measure和AUC-ROC(总体上分别为64%和74%)。
2019-07-25 cs.SE
Automatically Discovering, Reporting and Reproducing Android Application Crashes
移动开发人员在检测和报告应用程序中的崩溃时面临独特的挑战,这是由于其普遍的GUI事件驱动性质和额外的输入源(例如,传感器读数)。为了支持开发人员完成这些任务,我们引入了一种新颖的自动化方法,称为CRASHSCOPE。此工具根据静态和动态分析提供的几种策略,使用系统输入生成来探索给定的Android应用程序,其内在目标是触发崩溃。当检测到崩溃时,CRASHSCOPE会生成一个增强的崩溃报告,其中包含屏幕截图、详细的崩溃再现步骤、捕获的异常堆栈跟踪以及一个完全可重播的脚本,该脚本可在目标设备上自动再现崩溃。我们评估了CRASHSCOPE在发现崩溃方面的有效性,并将其与五种最先进的Android输入生成工具在61个应用程序上进行了比较。结果表明,CRASHSCOPE执行以及当前的工具,用于检测崩溃,并提供更详细的故障信息。此外,在一项分析八个真实Android应用程序崩溃的研究中,我们发现CRASHSCOPE的报告易于阅读,并且通过提供比人类书面报告更明确的信息来可靠地再现崩溃。
2017-06-04 cs.SE
Writing Bug Reports for Software Repair Agents: What Information Matters Most?
USI Università della Svizzera italiana(瑞士意大利语大学);University of Sannio(萨尼奥大学)
研究软件开发中为软件修复代理编写错误报告的问题,通过对错误报告分类标注,用三个LLM主干运行mini-swe-agent,拟合回归模型,发现定位线索和建议修复等信息对代理成功更重要,传统对人类有用的信息作用较小。
2026-11-11 cs.SE
ViBR: Automated Bug Replay from Video-based Reports using Vision-Language Models
The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));University of Connecticut(康涅狄格大学);TU Munich(慕尼黑工业大学);Monash University(蒙纳士大学)
本文提出ViBR,一种基于视觉-语言模型的自动化Bug回放方法,通过动作边界分割和区域感知的GUI状态比较,实现从GUI视频记录中自动复现Bug,实验表明其复现率达72%。
2026-04-21 cs.SE
Bug Analysis Towards Bug Resolution Time Prediction
Norwegian University of Science and Technology(挪威科技大学);Technical University of Munich(慕尼黑工业大学);University of the Bundeswehr Munich(慕尼黑联邦国防军大学)
本文基于Jira数据提出一种缺陷解决时间预测方法,并在ONAP网络项目中验证,为网络软件化项目的缺陷管理提供参考。
2024-07-30 cs.AI cs.SE
Past, Present, and Future of Bug Tracking in the Generative AI Era
Bilkent University, Department of Computer Engineering(比尔肯大学计算机工程系)
本文探讨生成AI时代缺陷跟踪的发展,提出基于大语言模型和智能代理的框架,旨在通过自然语言报告和AI自动化降低解决时间与协调成本。
2026-03-30 cs.AI cs.SE
Towards Enhancing the Reproducibility of Deep Learning Bugs: An Empirical Study
Dalhousie University(达尔豪斯大学);Polytechnique Montreal(蒙特利尔理工学院)
本文通过构建668个深度学习缺陷数据集并复现其中165个缺陷,识别出十种编辑操作和五类有用信息,使开发者缺陷复现率提升22.92%、复现时间缩短24.35%,为提升深度学习缺陷可复现性提供了实证依据。
2024-10-22 cs.LG cs.SE
Automatically Enhancing the Quality of Android App Bug Reports
William & Mary(威廉与玛丽学院);University of Central Florida(中佛罗里达大学);George Mason University(乔治梅森大学)
本文提出通过提供具体应用相关信息帮助LLM自动生成清晰详细的缺陷报告,提出BugScribe方法,通过评估显示其生成的报告质量更高且更准确。
2026-07-03 cs.SE
Towards Understanding Bugs in Distributed Training and Inference Frameworks for Large Language Models
本文针对大语言模型分布式训练与推理框架的Bug问题,首次对3个主流框架的308个已修复Bug开展大规模实证分析,揭示Bug特征与低代码修复规律,为框架可靠性提升与自动化调试提供了方向。
2025-06-12 cs.SE
Comparative analysis of real bugs in open-source Machine Learning projects -- A Registered Report
Deakin University(迪肯大学)
工作背景:机器学习(ML)系统依赖于数据来进行预测,与传统的软件系统相比,该系统增加了许多组件,例如数据处理管道,服务管道和模型训练。现有的软件维护研究已经研究了不同类型的问题,如性能和安全问题的问题报告需求和解决过程。然而,ML系统有特定的故障类别,报告ML问题需要特定于域的信息。由于ML和传统软件工程系统之间的不同特征,我们不知道报告需求在多大程度上不同,以及这些差异在多大程度上影响问题解决过程。目的:我们的目标是调查ML和非ML问题之间的解决时间分布是否存在差异,以及基于开源应用ML项目中的真实问题报告,某些类别的ML问题是否需要更长的时间来解决。我们进一步研究了ML问题和非ML问题的修复大小。方法:我们从Github提取最近活跃的应用ML项目中的问题报告、拉取请求和代码文件,并使用自动方法过滤ML和非ML问题。我们使用已知的深度学习错误分类来手动标记问题。我们在一个受控样本上测量ML和非ML问题的解决时间和修复大小,并比较每类问题的分布。
2022-09-20 cs.AI cs.SE
Wayback Machine: A tool to capture the evolutionary behaviour of the bug reports and their triage process in open-source software systems
问题跟踪系统(ITS)是数据驱动决策的丰富数据源。错误的不同特征,如严重性、优先级和修复时间,提供了ITS的清晰图像。然而,这些信息可能会误导。例如,花在bug上的确切时间和精力可能与实际的报告时间和修复时间有很大的不同。类似地,这些值可以是主观的,例如,严重性和优先级值是基于用户或开发者的直觉而不是基于结构化和明确定义的过程来分配的。因此,我们将探索bug依赖图的演变以及优先级和严重性级别,以探索实际的分类过程。受万维网的“Wayback Machine”概念的启发,我们的目标是重建ITS中的历史决策。因此,任何错误优先级或错误分类算法/场景可以应用在相同的环境中使用我们提出的ITS Wayback Machine。更重要的是,当采用自定义分类/优先级策略时,我们跟踪ITS中的进化指标。我们使用从三个开源项目中提取的数据测试所提出的算法的效率。我们的实证研究揭示了被忽视的进化指标-例如,过期的错误和开发人员的负载-这是通过我们提出的过去事件再生器促进。
2022-03-15 cs.SE
Extracting and Analyzing Context Information in User-Support Conversations on Twitter
虽然许多应用程序都包含报告错误或请求功能的内置选项,但用户仍然通过Twitter等社交媒体提供越来越多的反馈。与传统的问题跟踪器相比,社交媒体中的报告过程是非结构化的,反馈通常缺乏基本的上下文信息,例如遇到问题时的应用程序版本或相关设备。为了使此反馈对开发人员具有可操作性,支持团队与应用程序用户进行反复、有效的对话,以澄清缺失的上下文项。本文介绍了一种简单的方法,该方法可以从移动应用上的非结构化、非正式用户反馈中准确提取基本上下文信息,包括平台、设备、应用版本和系统版本。针对来自3个流行应用程序Netflix,Snapchat和Spotify的官方Twitter支持帐户的3014条推文的真实集进行评估,我们的方法对于不同的上下文项类型实现了81%至99%的精确度和86%至98%的召回率。结合自动请求报告用户缺少的上下文项的聊天机器人,我们的方法旨在用结构化的错误报告自动填充问题跟踪器。
2019-07-31 cs.SE
Toward Rapid Bug Resolution for Android Apps
本文针对安卓应用缺陷报告质量低、管理困难的问题,提出识别现有局限并探索新研究方向,以加快缺陷修复和软件维护。
2023-12-23 cs.IR cs.SE
AgentBug-Smith: Automatically Reproducing Real-World Harness Bugs in Agentic Systems
The University of Chicago(芝加哥大学);Fudan University(复旦大学);TensorBlock, Inc.(TensorBlock公司);Tsinghua University(清华大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出 AgentBug-Smith 自动复现智能体系统中的真实 harness 缺陷,并构建 Live-Harness-Bench 基准(含 200 个缺陷),显著提升缺陷修复率,为递归自我改进智能体奠定基础。
2026-09-30 cs.AI cs.SE
Identifying Concurrency Bug Reports via Linguistic Patterns
University of Connecticut(康涅狄格大学);Stevens Institute of Technology(史蒂文斯理工学院)
本文提出基于语言模式的框架,通过微调预训练语言模型实现高精度识别并发Bug报告,提升分类自动化与可解释性。
2026-01-22 cs.SE
App Review Driven Collaborative Bug Finding
University of Luxembourg(卢森堡大学);Huawei(华为)
软件开发团队通常欢迎任何暴露代码库中错误的努力。在这项工作中,我们建立在假设,移动应用程序从同一类别(例如,两个网络浏览器应用程序)在其进化过程中可能受到类似错误的影响。因此,可以转移一个历史应用程序的经验,以快速找到新应用程序中的错误。这在文献中被称为协作式错误发现。我们的新颖之处在于,我们通过考虑应用程序评论中已经暗示的现有bug来指导bug查找过程。具体来说,我们设计了BugRMSys方法,通过匹配同一类别应用程序的历史错误报告与目标应用程序的用户应用程序评论,为目标应用程序推荐错误报告。我们的实验表明,这种方法使我们能够快速暴露和报告数十个目标应用程序的错误,如勇敢(Web浏览器应用程序)。BugRMSys的实现依赖于DistilBERT来生成自然语言文本嵌入。我们的管道考虑了bug报告和应用程序评论之间的相似性,以识别相关的bug。然后,我们将重点放在应用程序审查以及历史错误报告(来自同一类别的应用程序)中的潜在重现步骤上,以重现错误。总体而言,在将BugRMSys应用于六个流行应用程序后,我们能够识别,重现和报告20个新错误:其中9个报告已经分类,6个已确认,4个已由官方开发团队修复。
2023-01-23 cs.AI cs.SE