Identifying Concurrency Bug Reports via Linguistic Patterns
University of Connecticut(康涅狄格大学);Stevens Institute of Technology(史蒂文斯理工学院)
本文提出基于语言模式的框架,通过微调预训练语言模型实现高精度识别并发Bug报告,提升分类自动化与可解释性。
2026-01-22 cs.SE
LLM-Based Agents for Identifying Bug-Introducing Commits
MPI-SP(马克斯·普朗克软件系统研究所);CISPA(赛帕信息安全卓越中心)
本文探讨了基于LLM的代理如何通过搜索候选提交提升识别引入缺陷提交的性能,提出了一种简单的代理工作流程,并揭示了代理在搜索中的有效性及对缺陷检测的潜在影响。
2026-09-24 cs.SE
Identifying Implementation Bugs in Machine Learning based Image Classifiers using Metamorphic Testing
Accenture Technology Labs(埃森哲技术实验室)
我们最近见证了机器学习(ML)在实际应用中的巨大成功。计算机视觉、语音识别和语言翻译都达到了接近人类水平的性能。我们预计,在不久的将来,大多数商业应用程序都将具有某种形式的ML。然而,测试这样的应用程序是非常具有挑战性的,如果我们遵循今天的方法,将是非常昂贵的。在这项工作中,我们提出了在测试基于ML的应用程序的挑战。然后,我们提出了我们的解决方案的方法,基于变形测试的概念,其目的是识别基于ML的图像分类器中的实现错误。我们已经为基于支持向量机的应用程序和基于深度学习的应用程序开发了变形关系。经验验证表明,我们的方法能够捕获ML应用程序中71%的实现错误。
2018-08-16 cs.LG cs.SE
LLMs as Evaluators: A Novel Approach to Evaluate Bug Report Summarization
本研究探索用 GPT-4o、LLaMA-3 和 Gemini 等 LLM 自动评估缺陷报告摘要,实验表明 LLM 表现良好且 GPT-4o 最优,同时可避免人类评估者的疲劳问题,具备规模化评估潜力。
2024-09-01 cs.SE
Identifying Bug Inducing Commits by Combining Fault Localisation and Code Change Histories
本文提出 Fonte,通过融合故障定位得到的代码可疑度与版本控制中的代码—提交关系来排序引入缺陷的提交,并在开源 Java 项目和大型工业系统中验证其显著提升 MRR、减少检查成本。
2025-02-19 cs.SE
Should I Bug You? Identifying Domain Experts in Software Projects Using Code Complexity Metrics
在任何足够复杂的软件系统中,都有专家,他们对系统的某些部分有着比其他部分更深刻的理解。然而,并不总是清楚这些专家是谁,以及他们可以为系统的哪些特定部分提供帮助。我们提出了一个框架,以引起开发人员的专业知识,并建议专家分析复杂性措施随着时间的推移。此外,团队可以检测到目前没有专家或只有少数专家的软件部分,并采取预防措施以保持集体代码知识和所有权。我们在一家中等规模的公司采用了这种先进的方法。结果进行了评估与调查,比较感知和计算的专业知识的开发人员。我们表明,聚合代码度量可用于识别不同的软件组件的专家。在90%以上的情况下,开发人员将确定的专家评为可接受的候选人。
2018-09-20 cs.SE
DeepFWI: Identifying Bug-Sensitive Warnings with Multi-Modal Code-Warning Semantics
Nankai University(南开大学);Beihang University(北京航空航天大学);Nanyang Technological University(南洋理工大学);Shanghai Jiaotong University(上海交通大学);Singapore Institute of Technology(新加坡科技工程研究学院);East China Normal University(华东师范大学);Xidian University(西安电子科技大学)
本文提出 DeepFWI,通过多模态语义学习识别细粒度的 bug 敏感警告,采用 LSTM 模型捕捉代码与警告的关联,实验表明其在 F1-score 上优于基线方法。
2026-04-21 cs.SE
FUSION: A Tool for Facilitating and Augmenting Android Bug Reporting
随着移动智能设备的普及程度不断攀升,“应用程序”的复杂性不断增加,使得开发和维护过程具有挑战性。当前的错误跟踪系统缺乏关键特征来有效地支持具有直接导致错误解决的可操作信息的报告的构造。在这个演示中,我们提出了一个新的错误报告系统的实现,称为融合,方便用户在移动应用程序的错误报告中包括再现步骤。Fusion将用户提供的信息链接到通过测试或发布前执行的静态和动态分析提取的程序工件。初步研究的结果表明,与传统的问题跟踪系统相比,Fusion通过提供更详细的上下文应用程序信息,有效地促进了报告,并允许更可靠地再现报告中的错误。工具网站:www.fusion-android。视频网址:https://youtu.be/AND9h0ElxRg
2018-01-18 cs.SE
ViBR: Automated Bug Replay from Video-based Reports using Vision-Language Models
The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));University of Connecticut(康涅狄格大学);TU Munich(慕尼黑工业大学);Monash University(蒙纳士大学)
本文提出ViBR,一种基于视觉-语言模型的自动化Bug回放方法,通过动作边界分割和区域感知的GUI状态比较,实现从GUI视频记录中自动复现Bug,实验表明其复现率达72%。
2026-04-21 cs.SE
CISB-Bench: An Auditable Source--IR Dataset of Compiler-Introduced Security Bugs
The Pennsylvania State University(宾夕法尼亚州立大学)
CISB-Bench是一个包含429个从GCC和LLVM挖掘的编译器引入安全漏洞案例的可审计数据集,提供C缩减、IR分析包和标签,支持编译器安全检测研究。
2026-10-07 cs.CR cs.SE
Enhancing Android Application Bug Reporting
随着智能手机和平板电脑的普及,现代软件开发领域的重点已经转向移动应用程序。由于这种趋势,这些“应用程序”的复杂性一直在增加,使开发和维护具有挑战性。当前的错误跟踪系统不能有效地促进具有将直接导致错误解决的有用信息的错误报告的创建。为了满足对改进报告系统的需求,我们引入了一种名为Fusion的新颖解决方案,该解决方案可帮助报告者利用其以GUI为中心的特性,自动完成移动应用程序错误报告中的复制步骤。融合将报告者提供的信息链接到通过预先执行的静态和动态分析提取的程序工件。这使得我们的系统能够为开发人员和测试人员提供更方便的报告过程,同时生成更多可重复的错误报告,并提供立即可操作的信息。
2017-06-04 cs.SE
SoK: From Finding to Deployment: Systematizing the OS Kernel Bug Lifecycle
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Indiana University Bloomington(印第安纳大学布鲁明顿分校)
本SoK系统化Linux内核缺陷从发现到部署的生命周期,划分五个阶段,通过测量syzbot修复缺陷揭示崩溃到补丁差距的结构性原因,指出修复技术应把复现器等产物视为输出而非前提。
2026-09-22 cs.CR cs.OS cs.SE
PatchGuru: Patch Oracle Inference from Natural Language Artifacts
Singapore University of Technology and Design(新加坡科技设计大学);University of Melbourne(墨尔本大学);Imperial College London(帝国理工学院);CISPA Helmholtz Center for Information Security(CISPA赫尔霍兹信息安全中心)
PatchGuru通过大语言模型从自然语言制品推断补丁规范,提高补丁验证的准确性与效率。
2026-07-28 cs.SE
Enhancing Bug Reports for Mobile Apps
现代软件开发领域已经看到了移动应用程序作为“智能”设备的焦点转移,这些设备几乎无处不在。由于这种趋势,移动应用程序的复杂性一直在增加,使开发和维护特别具有挑战性。然而,很明显,目前的错误跟踪系统不能有效地支持构建具有可操作信息的报告,这些信息将直接导致错误的解决方案。为了满足对改进报告系统的需求,我们引入了一种名为FUSION的新颖解决方案,可以帮助用户在移动应用程序的错误报告中自动完成复制步骤。FUSION将用户提供的信息链接到通过测试或发布前执行的静态和动态分析提取的程序工件。FUSION采用的方法可推广到其他当前的移动软件平台,并构成了一种新的方法,通过该方法可以为移动软件项目进行离线错误报告。我们通过进行一项研究来评估FUSION,该研究定量和定性地测量了系统报告和再现错误的用户体验,以及它产生的错误报告的质量。在一项涉及28名参与者的研究中,我们应用FUSION来支持在14个开源Android应用程序中发现的15个真实世界错误的报告和复制缺陷的维护任务。我们的研究结果表明,FUSION允许更可靠的再现错误的报告,帮助用户报告更详细的应用程序特定的信息相比,传统的错误跟踪系统。
2018-01-18 cs.SE
"Silent Is Not Actually Silent": An Investigation of Toxicity on Bug Report Discussion
本研究通过定性分析GitHub上的203个缺陷线程,揭示了缺陷报告讨论中毒性行为的成因及其对协作和问题解决的负面影响,并提出了缓解建议。
2025-05-01 cs.SE
Auto-completing Bug Reports for Android Applications
随着平板电脑和智能手机的普及,现代软件开发领域的重点已经转向移动应用程序。由于这种趋势,这些应用程序的复杂性一直在增加,使开发和维护具有挑战性。此外,当前的错误跟踪系统不能有效地支持具有直接导致错误解决的可操作信息的报告的构造。为了满足对改进报告系统的需求,我们引入了一种名为FUSION的新解决方案,可以帮助用户自动完成移动应用程序错误报告中的复制步骤。FUSION将用户提供的信息链接到通过测试或发布前执行的静态和动态分析提取的程序工件。FUSION采用的方法可推广到其他当前的移动软件平台,并构成了一种新的方法,通过该方法可以为移动软件项目进行离线错误报告。在一项涉及28名参与者的研究中,我们应用FUSION来支持报告和再现14个开源Android应用程序中发现的15个真实世界错误的维护任务,同时定性和定性地测量系统的用户体验。我们的研究结果表明,与传统的问题跟踪系统相比,FUSION通过提供更详细的上下文应用信息,既有效地促进了报告,又允许更可靠地再现报告中的错误。
2017-05-11 cs.SE
From Bug Reports to Browser-Executable Procedures: An LLM-Driven Agent for Web GUI Bug Reproduction
University of Luxembourg(卢森堡大学)
本文提出ReBug智能体系统,通过分阶段驱动真实浏览器复现Web GUI错误,在667条真实报告上的评估显示其性能优于基线,可有效支持基于报告的浏览器错误复现。
2026-08-05 cs.SE
Transfer Learning for Mining Feature Requests and Bug Reports from Tweets and App Store Reviews
Technical University of Munich(慕尼黑工业大学);Qualicen GmbH(Qualicen有限公司);Blekinge Institute of Technology(布莱金厄理工学院);University of Cologne(科隆大学)
在用户评论中识别功能请求和错误报告对开发团队来说具有很大的潜力。然而,从社交媒体和应用商店自动挖掘RE相关信息具有挑战性,因为(1)大约70%的用户评论包含嘈杂、不相关的信息,(2)用户评论量每天都在增长,使得手动分析变得不可行,(3)用户评论是用不同语言编写的。现有的方法建立在传统的机器学习(ML)和深度学习(DL)的基础上,但无法以高召回率和可接受的精度检测特征请求和错误报告,这是该任务所必需的。在本文中,我们探讨了迁移学习(TL)的用户评论分类的潜力。具体来说,我们训练单语言和多语言BERT模型,并与最先进的方法的性能进行比较。我们发现,单语BERT模型在英语应用评论以及英语和意大利语推文的分类中优于现有的基线方法。然而,我们也观察到,重量级TL模型的应用并不一定会带来更好的性能。事实上,我们的多语言BERT模型比传统的ML方法表现更差。
2021-08-02 cs.CL cs.SE
Recommending Bug Assignment Approaches for Individual Bug Reports: An Empirical Investigation
本文通过实证研究发现现有缺陷分配方法对不同缺陷报告效果不一,提出用机器学习为每份报告推荐最佳方法,虽有一定准确率提升但与基线相当,揭示了现有方法未捕捉开发者实际分配过程的关键信息。
2023-05-29 cs.SE
ScrumLint: Identifying Violations of Agile Practices Using Development Artifacts
Linting工具自动识别不遵循一组预定义标准的源代码片段。这样的反馈工具对于“精简”敏捷开发过程同样是需要的。然而,由于故意缺乏正式的敏捷过程模型,提供关于过程一致性的具体反馈是一项具有挑战性的任务。在本文中,我们提出了ScrumLint,一个工具,通过分析开发工件来解决这个问题。在本科敏捷软件工程课程的经验的基础上,我们定义了一个过程度量的集合。这些包含敏捷方法的核心思想和报告偏差。使用这种方法,开发团队可以立即收到关于他们执行的开发实践的反馈。他们可以使用这些知识来改进他们的工作流程,或者可以调整指标以更好地反映他们的项目现实。
2018-09-03 cs.SE
It Takes Two to Tango: Combining Visual and Textual Information for Detecting Duplicate Video-Based Bug Reports
College of William & Mary(威廉与玛丽学院);George Mason University(乔治梅森大学)
当bug在面向用户的应用程序中出现时,它很可能通过图形用户界面(GUI)暴露出来。鉴于视觉信息对识别和理解此类错误的重要性,用户越来越多地使用屏幕截图和屏幕记录作为向开发人员报告问题的手段。然而,当这样的信息被集中报告时,例如在众包测试期间,管理这些工件可能是一个耗时的过程。随着屏幕记录的报告变得越来越流行,开发人员可能会面临与手动识别描述重复错误的视频相关的挑战。由于其图形化的特性,屏幕记录对自动化分析提出了挑战,排除了使用当前的重复错误报告检测技术。为了克服这些挑战并帮助开发人员完成这项任务,本文介绍了Tango,这是一种重复检测技术,它通过利用视觉和文本信息来纯粹基于视频的错误报告。Tango结合了定制的计算机视觉技术、光学字符识别和文本检索。我们对Tango的多种配置进行了全面的实证评估,评估了4,860个重复检测任务,其中涉及来自6个Android应用程序的180个屏幕记录。此外,我们进行了一项用户研究,调查开发人员手动检测重复的基于视频的错误报告所需的工作量,并将其与使用Tango所需的工作量进行了比较。结果表明,Tango的最佳配置在检测重复的基于视频的错误报告方面非常有效,在83%的任务中,目标重复视频准确地排在返回结果的前2位。此外,我们的用户研究表明,平均而言,Tango可以减少开发人员60%以上的工作量,这说明了它的实用性。
2021-02-05 cs.AI cs.SE
An Empirical Study on Leveraging Images in Automated Bug Report Reproduction
该实证研究聚焦被忽视的缺陷报告图像,分析其特征、模式、功能作用及对现有复现工具的影响,明确六种图像功能的独特价值,为自动化缺陷复现工具优化提供新方向。
2025-02-20 cs.SE
Buggin: Automatic intrinsic bugs classification model using NLP and ML
本文提出Buggin方法,利用NLP技术(seBERT和TF-IDF)结合机器学习算法自动识别缺陷报告中的内在缺陷,实验表明TF-IDF与决策树结合在缺陷标题上取得78%的F1最高分。
2025-04-02 cs.SE
Toward Rapid Bug Resolution for Android Apps
本文针对安卓应用缺陷报告质量低、管理困难的问题,提出识别现有局限并探索新研究方向,以加快缺陷修复和软件维护。
2023-12-23 cs.IR cs.SE
Bridging Bug Localization and Issue Fixing: A Hierarchical Localization Framework Leveraging Large Language Models
该研究提出由三个定制大模型驱动的分层缺陷定位框架BugCerberus,在SWE-bench-lite基准上定位性能超越现有最优水平,还能显著提升问题修复方法的修复率。
2025-02-21 cs.SE
Integrating Crash Report Mining and LLMs for Bug Localization and Repair: An Industrial Report
Federal University of Rio Grande do Norte(北里奥格兰德联邦大学);Singapore Management University(新加坡管理大学);Federal University of Pernambuco(伯南布哥联邦大学)
本研究整合崩溃报告挖掘技术与大语言模型,经对5种LLMs的评估后,在38个Java企业系统崩溃缺陷上验证,最优配置可定位71%、修复52%的缺陷,为工业调试提供有效方案。
2026-09-07 cs.SE
XBIDetective: Leveraging Vision Language Models for Identifying Cross-Browser Visual Inconsistencies
University of Alberta(阿尔伯塔大学);Mozilla Corporation(Mozilla公司)
XBIDetective利用视觉语言模型识别跨浏览器视觉不一致,通过自动截图和分析检测渲染错误,准确率高达79%
2025-12-16 cs.SE
DeepTriage: Exploring the Effectiveness of Deep Learning for Bug Triaging
IBM Research, India(IBM印度研究院)
对于一个给定的软件错误报告,确定一个合适的开发人员谁可以潜在地修复错误是一个错误分类过程的主要任务。大多数bug跟踪系统中都有bug标题(摘要)和详细描述。自动错误分类算法可以被公式化为一个分类问题,以错误标题和描述作为输入,将其映射到可用的开发人员(类)之一。主要的挑战是错误描述通常包含自由的非结构化文本、代码片段和堆栈跟踪的组合,这使得输入数据变得嘈杂。现有的词袋(BOW)特征模型没有考虑非结构化文本中可用的句法和顺序词信息。我们提出了一种新的错误报告表示算法,使用基于注意力的深度双向递归神经网络(DBRNN-A)模型,以无监督的方式从长单词序列中学习语法和语义特征。代替BOW特征,然后使用基于DBRNN-A的错误表示来训练分类器。使用注意力机制使模型能够在长的单词序列上学习上下文表示,就像在bug报告中一样。为了提供大量的数据来学习特征学习模型,利用了未修复的bug报告(在开源bug跟踪系统中约有70%的bug),这在以前的研究中完全被忽略了。另一个贡献是通过提供源代码并创建来自三个开源错误跟踪系统的错误报告的公共基准数据集来使这项研究可重复:Google Chromium(383,104个错误报告),Mozilla Core(314,388个错误报告)和Mozilla Firefox(162,307个错误报告)。在实验中,我们将我们的方法与BOW模型和机器学习方法进行了比较…
2018-01-04 cs.LG cs.SE
Auto-labelling of Bug Report using Natural Language Processing
Juniper Networks Inc.(瞻博网络公司);San José State University(圣何塞州立大学)
本文提出一种结合NLP技术的自动标记错误报告方法,利用自定义数据转换器、深度神经网络和非泛化机器学习,在数千个错误报告上实现recall@5为70%的高检索准确率。
2022-12-13 cs.AI cs.LG cs.SE
Towards Understanding Bugs in Distributed Training and Inference Frameworks for Large Language Models
本文针对大语言模型分布式训练与推理框架的Bug问题,首次对3个主流框架的308个已修复Bug开展大规模实证分析,揭示Bug特征与低代码修复规律,为框架可靠性提升与自动化调试提供了方向。
2025-06-12 cs.SE
English Please: Evaluating Machine Translation with Large Language Models for Multilingual Bug Reports
Juniper Networks Inc.(Juniper网络公司)
本研究首次系统评估了 DeepL、AWS Translate 及多种大型语言模型在多语言缺陷报告翻译和源语言识别上的表现,发现不同系统各有所长,强调了领域适配和任务特定评估的重要性。
2025-05-08 cs.CL cs.SE
Streamlining Security Vulnerability Triage with Large Language Models
提出CASEY方法,利用大语言模型结合提示工程和上下文信息,自动识别安全漏洞的CWE并评估严重性,准确率分别达68%和73.6%,有效提升漏洞分类效率。
2025-01-31 cs.SE
LLM-Guided Issue Generation from Uncovered Code Segments
Concordia University(康考迪亚大学)
本文提出IssueSpecter工具,通过结合代码覆盖分析与大语言模型缺陷识别,生成优先级高的问题报告,验证其在Python项目中有效检测多种类型漏洞,且比传统方法在准确率和召回率上表现更优。
2026-04-28 cs.SE
Towards identifying and minimizing customer-facing documentation debt
本研究通过分析工业软件系统的101个文档缺陷,发现信息内容类缺陷占比最高,并提出采用动态文档生成(DDG)和自动化文档测试(ADT)来最小化文档债务。
2024-02-16 cs.SE
A Deep Dive Into How Open-Source Project Maintainers Review and Resolve Bug Bounty Reports
本文通过列表调查、Likert量表调查和半结构化访谈,研究了开源软件维护者使用huntr平台审查漏洞赏金报告的视角,将40项特征分为收益、挑战、有用和期望功能,发现私下披露和项目可见性最重要,并提出优化审查流程的建议。
2025-02-03 cs.CR cs.SE
Neuro-Formal Verification: Agentic Language-Agnostic Formal Program Reasoning
Microsoft Research(微软研究院)
该研究提出神经形式化验证(NFV),让AI编码智能体与成熟验证器结合,为主流语言开发者实现一键式程序验证,在Python编程问题数据集上取得了良好的验证效果。
2026-09-15 cs.PL cs.SE
SEDAC: A CVAE-Based Data Augmentation Method for Security Bug Report Identification
本文提出SEDAC方法,利用distilBERT将缺陷报告转为向量,并通过CVAE生成安全缺陷报告向量以平衡数据,从而提升安全缺陷报告识别性能,实验显示g-measure提升14.24%-50.10%。
2024-01-22 cs.CR cs.SE
Semantic GUI Scene Learning and Video Alignment for Detecting Duplicate Video-based Bug Reports
William & Mary(威廉玛丽学院);University of Central Florida(中佛罗里达大学)
针对GUI程序视频类错误报告的重复检测难题,提出融合视觉Transformer场景学习与自适应加权视频对齐的JANUS方法,在含7290项任务的基准上性能优于现有工作约9%。
2024-07-11 cs.LG cs.SE
Better Automatic Program Repair by Using Bug Reports and Tests Together
自动程序修复已经在工业中部署,但对修复质量的担忧仍然存在。最近的研究表明,修复工具产生不正确的(但似乎是正确的)补丁的主要原因之一是不完善的故障定位(FL)。本文表明,结合自然语言的错误报告和测试执行时,本地化故障的信息可以有显着的积极影响修复质量。例如,具有这种FL的现有修复工具能够正确地修复Defects 4J基准中的7个缺陷,而现有工具没有正确地修复这些缺陷。我们开发,蓝调,第一个信息检索为基础的,语句级FL技术,不需要训练数据。我们进一步开发RAFL,第一个无监督的方法结合多种FL技术,它优于监督的方法。使用RAFL,我们通过将蓝光与基于频谱(SBFL)的技术相结合来创建SBIR。在对815个真实缺陷进行评估后,SBIR始终将错误语句的排名高于其底层技术。然后,我们修改三个国家的最先进的修复工具,Arja,SequenceR,和SimFix,使用SBIR,SBFL,和蓝调作为其内部FL。我们评估了689个真实世界的缺陷所产生的补丁的质量。Arja和SequenceR显著受益于SBIR:使用SBIR的Arja正确修复了28个缺陷,但使用SBFL时只有21个,使用Blues时只有15个;使用SBIR的SequenceR正确修复了12个缺陷,但使用SBFL时只有10个,使用Blues时只有4个。SimFix(具有克服不良FL的内部机制)使用SBIR和SBFL正确修复了30个缺陷,…
2023-02-06 cs.SE
Bug-Report-Driven Fault Localization: Industrial Benchmarking and Lesson Learned at ABB Robotics
M\" a lardalen University Sweden;M\" a lardalen University
本文研究了仅利用自然语言bug报告能否通过AI实现故障定位,通过ABB机器人五年数据验证传统模型优于transformer模型,展示了文本驱动的故障定位方法。
2026-05-13 cs.LG cs.SE
Repair Ingredients Are All You Need: Improving Large Language Model-Based Program Repair via Repair Ingredients Search
提出ReinFix框架,使LLM在推理和解决阶段自主搜索修复要素,在Defects4J基准上显著超越SOTA基线,提升程序修复准确率。
2025-06-29 cs.SE
Empirical Research on Utilizing LLM-based Agents for Automated Bug Fixing via LangGraph
提出一种基于LangGraph、GLM4 Flash和ChromaDB的四步迭代框架,实现自动化代码生成与缺陷修复,提升软件开发准确性、效率与可扩展性。
2025-01-29 cs.SE
LLM4SZZ: Enhancing SZZ Algorithm with Context-Enhanced Assessment on Large Language Models
针对SZZ算法在识别引发缺陷提交时依赖静态技术、忽略关键上下文及召回率受限的问题,提出基于大型语言模型的LLM4SZZ框架,通过基于排序和上下文增强两种识别策略,在三个数据集上将F1分数提升6.9%至16.0%。
2025-04-02 cs.SE
Multifaceted Hierarchical Report Identification for Non-Functional Bugs in Deep Learning Frameworks
Loughborough University(拉夫堡大学)
非功能性错误(例如,深度学习(DL)框架中的性能或准确性相关的错误)可能会导致一些最具破坏性的后果。在GitHub等存储库上报告这些错误是修复它们的标准途径。然而,鉴于DL框架的新GitHub报告越来越多,开发人员很难区分那些揭示非功能性错误的报告,并将其分配给正确的贡献者进行及时调查。在本文中,我们提出了MHNurf -一个端到端的工具,用于自动识别DL框架中的非功能性错误相关报告。MHNurf的核心是一个多方面的层次注意力网络(MHAN),它解决了三个未解决的挑战:(1)学习语义知识,但这样做是通过(2)考虑层次结构(例如,句子/陈述中的词/记号)并关注重要部分(即,单词、令牌、句子和语句),而(3)从不同类型的特征中独立地提取信息,即,内容、注释、代码、命令和标签。为了评估MHNurf,我们利用来自五个DL框架的3,721个GitHub报告进行实验。结果表明,MHNurf在内容、注释和代码的组合下工作得最好,这大大优于仅使用内容的经典HAN。MHNurf还产生了比其他九个具有强统计显著性的最先进分类器更准确的结果,即,AUC改善高达71%,在四个框架上具有最佳Scott-Knott排名,而在其余一个框架上则排名第二。为了方便复制和促进未来的研究,我们已经将我们的数据集,代码和详细的补充结果公开在:https://github.com/ideas-labo/APSEC2022-…
2022-10-04 cs.LG cs.SE
Can I Solve It? Identifying APIs Required to Complete OSS Task
Northern Arizona University(北亚利桑那大学);Universidade Tecnológica Federal do Paraná(巴拉那联邦理工大学);Oregon State University(俄勒冈州立大学)
本文研究利用问题描述和项目历史自动为 OSS 问题标注所需 API 领域标签,模型精确率最高达 82%、召回率最高达 97.8%,用户研究表明该标签比现有架构标签更有助于贡献者选择任务。
2021-03-23 cs.LG cs.SE
Estimating defectiveness of source code: A predictive model using GitHub content
Indian Institute of Technology(印度理工学院)
本文提出的两个关键贡献是:i)用于构建包含从开源软件(OSS)和相关错误报告中提取的源文件中提取的源代码特征的数据集的方法,ii)用于估计给定源代码的缺陷的预测模型。这些工件对于构建与几个自动化软件工程领域相关的工具和技术非常有用,例如错误定位、代码审查以及推荐和程序修复。为了实现我们的目标,我们首先为GitHub上的源代码文件提取编码风格信息(例如,与源代码中使用的程序设计语言结构相关)。然后提取与这些源代码文件相关的错误报告(如果有的话)中的可用信息。因此,获取的非(/半)结构化的信息,然后转换成一个结构化的知识库。我们考虑了来自20个不同GitHub存储库的30400多个源代码文件,以及来自4个错误跟踪门户的约14950个相关错误报告。所考虑的源代码文件是用四种程序设计语言编写的(即,C、C++、Java和Python),属于不同类型的应用程序。然后使用知识库训练用于估计给定输入源代码的缺陷性的机器学习(ML)模型。为了选择最好的ML模型,我们评估了8种不同的ML算法,如随机森林,K最近邻和SVM,大约有50个参数配置,以比较它们在我们的任务中的性能。我们的研究结果之一表明,最好的K倍(k=5)交叉验证结果是用NuSVM技术获得的,平均F1得分为0.914。
2018-03-21 cs.LG cs.SE
Conclusion Stability for Natural Language Based Mining of Design Discussions
开发人员的讨论范围从面对面的走廊聊天到bug报告的评论链。能够识别涉及软件设计的讨论将有助于文档和重构软件。设计挖掘是机器学习技术的应用,用于正确地标记给定的讨论工件,例如拉取请求,作为与设计相关(或不相关)。在本文中,我们演示了一个简单的例子,设计挖掘的工作原理。然后,我们展示了结论的稳定性是如何在不同的工件类型和不同的项目差。我们展示了两种技术--增强和上下文特异性--可以大大提高设计挖掘的结论稳定性和跨项目相关性。我们的新方法在数据集内分类上实现了0.88的AUC,在跨数据集分类任务上实现了0.80的AUC。
2021-06-17 cs.SE