LLMs as Idiomatic Decompilers: Recovering High-Level Code from x86-64 Assembly for Dart
Faculty of Engineering, Cairo University(开罗大学工程学院)
本文研究了小型专用LLM作为idiomatic反编译器在Dart等现代语言中的应用,通过合成同语言示例和相关语言示例的对比,展示了专用模型在生成可读且符合 idiomatic 的Dart代码方面的有效性。
2026-04-02 cs.SE
Intent Preserving Generation of Diverse and Idiomatic (Code-)Artifacts
提出一种基于抽象构建块组合的通用方法,用于自动生成多样化且惯用的代码及相关工件,避免编写整体生成器,提高适应性和可维护性。
2025-08-05 cs.SE
Does Coding in Pythonic Zen Peak Performance? Preliminary Experiments of Nine Pythonic Idioms at Scale
在数据科学领域,对于一般的学者来说,Python程序设计语言是一种流行的选择,主要是因为它的库用于存储,操作和从数据中获得洞察力。证据包括用于不断增长的可用数据的多功能机器学习、数据可视化和操作包。Python的Zen是一组指导设计原则,开发人员使用这些原则来编写可接受的优雅Python代码。大多数原则都围绕着简单性。然而,由于需要计算大量的数据,性能已经成为Python程序员的必需品。本文的新想法是确认编写Python的方式是否会在规模上达到性能峰值。作为一个起点,我们进行了一组初步的实验,通过比较Pythonic和非Pythonic代码片段的性能来评估9个Pythonic代码示例。我们的研究结果表明,用Python习语写作可以节省内存和时间。我们展示了合并列表解析、生成器表达式、zip和itertools.zip_longest习惯用法可以节省高达7,000 MB和32.25秒。这些结果为如何在现实世界中使用它们提出了更多问题。复制包包括所有脚本,结果可在https://doi.org/10.5281/zenodo.5712349上获得
2022-03-28 cs.SE
CodeScholar: Growing Idiomatic Code Examples
CodeScholar通过神经引导图搜索生成地道API使用示例,用户偏好度达70%,优于GPT3.5,且生成更逼真、多样、简洁的代码,并辅助LLM编程助手。
2023-12-23 cs.LG cs.PL cs.SE
Idiomatic and Reproducible Software Builds using Containers for Reliable Computing
容器作为应用程序交付的单元是软件开发世界中的“下一件大事”。它们使开发人员能够创建一个可执行映像,其中包含与所有依赖项捆绑在一起的应用程序,用户可以在具有虚拟化资源的受控环境中运行该应用程序。关键业务应用程序和研究环境的复杂工作流程需要高度的可重复性,这可以使用唯一标识的图像作为计算单元来实现。在这篇论文中,最广泛使用的方法来创建一个图像从预先存在的软件或从源代码缺乏能力,提供idiomaticity在他们使用的技术,以及适当的再现性保障。在第一部分中,现有的方法进行了形式化和讨论,并介绍了一种新的方法。然后使用一套三个不同的例子的方法进行评估。本文提供了一个框架,正式涉及分层文件系统,容器和图像的操作,和一种新的方法来创建图像使用实用工具容器和层穿上满足idiomativity和再现性标准。
2017-02-09 cs.SE
Idioms: Neural Decompilation With Joint Code and Type Definition Prediction
针对现有神经反编译方法无法定义复合类型、难应用于真实代码的问题,研究提出Idioms方法微调任意LLM实现代码与类型定义联合生成,构建Realtype数据集,在多个基准上取得SOTA结果。
2025-06-17 cs.CR cs.SE
Translating Large-Scale C Repositories to Idiomatic Rust
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Shanghai Jiao Tong University(上海交通大学)
Rustine是一种高效自动化的C到idiomatic Rust翻译工具,实现了高质量的功能等价性,比现有方法更安全、更idiomatic且更易读。
2025-11-25 cs.PL cs.SE
C2SaferRust: Transforming C Projects into Safer Rust with NeuroSymbolic Techniques
Department of Computer Science, Columbia University(哥伦比亚大学计算机系);IBM T.J. Watson Research Center(IBM T.J.沃森研究中心)
C2SaferRust结合规则系统和LLMs,将C代码转换为更安全的Rust,减少指针和unsafe代码,提升安全性与性能。
2025-12-04 cs.SE
Leveraging Static Analysis for Bug Repair
本文结合 sequence-to-sequence 模型与静态分析工具 Infer,在 IR 与源代码空间协同修复资源泄漏缺陷,并通过解码策略与结果过滤实现约 97% 精确率和 66% 召回率。
2023-04-21 cs.SE
RustMap: Towards Project-Scale C-to-Rust Migration via Program Analysis and LLM
针对C到Rust迁移中现有工具生成代码不安全、难维护的问题,提出依赖引导结合LLM的RustMap方法,通过分块翻译、测试反馈迭代优化,生成更安全、符合惯用规范的可运行Rust代码,实验效果优于现有工具。
2025-03-22 cs.SE
Shedding Light on Software Engineering-specific Metaphors and Idioms
本研究调查软件工程交流中比喻性语言的使用及其对自动化工具的影响,通过微调大型语言模型,在情感、不文明行为和缺陷优先级数据集上分别提升6.66%、7.07%和3.71%。
2023-12-23 cs.SE
Fine-Tuning Qwen3-27B for C-to-Rust Code Translation: A Three-Stage Curriculum of Pretraining, Debugging-Aware SFT, and Task-Specific SFT
Northeastern University(东北大学);EmbodyX Inc(EmbodyX公司);Aibao LLC(Aibao有限责任公司)
本研究针对C到Rust代码翻译任务,对Qwen3-27B采用三阶段微调课程,结合SACTOR框架评估后,其性能优于基线模型及其他LLM。
2026-09-01 cs.AI cs.ET cs.LG
From Copilot to Pilot: Towards AI Supported Software Development
University of Toronto(多伦多大学);University of Victoria(维多利亚大学)
人工智能支持的编程已经到来,正如用于代码的大语言模型的引入和成功所表明的那样,例如Copilot/Codex(Github/OpenAI)和AlphaCode(DeepMind)。在编程挑战上的人类平均表现现在是可能的。然而,软件工程远不止解决编程竞赛。从代码完成转向人工智能支持的软件工程将需要一个人工智能系统,它可以理解如何避免代码气味,遵循语言习惯,并最终(也许!)提出合理的软件设计。在这项研究中,我们探讨了目前像Copilot这样的人工智能支持的代码完成工具的局限性,并提供了一个简单的分类法来理解这个领域中人工智能支持的代码完成工具的分类。我们首先对Copilot关于语言习惯和代码气味的代码建议进行了探索性研究。Copilot不遵循语言习惯,并避免在我们的大多数测试场景中出现代码气味。然后,我们进行额外的调查,以确定当前的边界AI支持的代码完成工具,如Copilot通过引入软件抽象层次的分类,其中“基本的编程功能”,如代码编译和语法检查是在最抽象的水平,软件架构分析和设计是在最抽象的水平。最后,我们讨论了未来开发AI支持的代码完成工具所面临的挑战,以达到我们分类法中的设计抽象级别。
2023-03-07 cs.AI cs.LG cs.SE
Data stream mining for predicting software build outcomes using source code metrics
软件开发项目涉及使用各种工具来产生软件工件。软件仓库,如源代码控制系统,已经成为一个重点的紧急研究,因为他们是一个丰富的信息源,有关软件开发项目。为了更深入地了解发展进程,挖掘这种储存库的做法越来越普遍。
2016-04-19 cs.SE
Clone-based code method usage pattern mining
当程序员检索代码方法并希望重用它时,他们需要了解检索到的方法的使用模式。然而,很难获得检索到的方法的用法信息,因为该方法可能只有简短的注释和很少的可用用法示例。在本文中,我们提出了一种方法,称为LUPIN(基于克隆的使用模式muscle Ng),挖掘这些方法的使用模式,这并没有广泛出现在代码库。LUPIN的核心思想是,目标方法的克隆代码可能具有相似的使用模式,我们可以从克隆代码的使用示例中收集目标方法的更多使用信息。从放大的使用实例中,通过程序切片和代码规范化后的频繁子序列挖掘,挖掘出目标方法的使用模式。我们的评估表明,LUPIN可以挖掘四类使用模式的平均精度为0.65。
2022-06-28 cs.SE
Mining Domain Models in Ethereum DApps using Code Cloning
这项研究探讨了使用近距离克隆检测来支持智能合约的领域模型的表征,这些智能合约正在迅速被采用。在本文中,我们利用代码克隆检测技术来检测部署在以太坊区块链网络上的智能合约功能的相似性。我们分析了代码克隆的集群和集群中代码片段的语义,试图对它们进行分类,并发现代码克隆中模式的结构模型。
2022-03-01 cs.SE
Retrospective: Data Mining Static Code Attributes to Learn Defect Predictors
本文回顾了经典缺陷预测论文的基线贡献及其对软件工程研究的影响,反思其应被记住与遗忘之处。
2025-01-26 cs.SE
RevMine: An LLM-Assisted Tool for Code Review Mining and Analysis Across Git Platforms
École de technologie supérieure (ÉTS)(高等技术学院);TELUS
针对代码评审数据挖掘耗时、技术门槛高的问题,提出LLM辅助工具RevMine,简化跨Git平台的评审数据收集与分析流程,降低研究门槛以推动实证软件工程研究。
2025-10-06 cs.SE
Mining API Usage Scenarios from Stack Overflow
我们提出了一个框架,从堆栈溢出挖掘API使用场景。每个任务都由一个代码示例、任务描述和开发人员对代码示例的反应组成。首先,我们提出了一种算法,可以自动将论坛帖子中的代码示例链接到论坛帖子的文本内容中提到的API。其次,我们通过总结围绕代码示例的讨论来生成任务的自然语言描述。第三,我们自动关联开发人员的反应(即,积极和消极的意见),以提供有关代码质量的信息。我们使用三个基准评估算法。
2021-02-17 cs.SE
Automated Query Generation for Design Pattern Mining in Source Code
识别源代码中已经存在的设计模式可以帮助维护工程师更好地理解源代码,并确定是否可以满足新的需求。目前存在用于挖掘设计模式的技术,但是这些技术中的一些需要手动标记训练数据集或手动指定每个模式的规则或查询的繁琐工作。为了解决这一挑战,我们引入了Model 2 Mine,这是一种通过解析UML图自动生成SPARQL查询的技术,确保所有约束都得到适当的解决。我们讨论了Model2Mine的底层架构及其功能。我们的初步结果表明,Model2Mine可以自动生成三种类型的设计模式(即,创建的、行为的、结构的),与手动生成的查询相比具有轻微的性能开销,并且准确性与现有技术相当或比现有技术更好。
2020-07-25 cs.SE
Duplicated Code Pattern Mining in Visual Programming Languages
可视化程序设计语言(VPL),加上可视化编程环境中常见的高级抽象,使技术知识较少的用户能够成为熟练的程序员。然而,VPL所需的较低技能水平也意味着程序员更有可能不遵守软件开发的最佳实践,从而产生具有高技术债务的系统,因此可维护性较差。重复的代码是这种技术债务的一个重要例子。事实上,我们观察到OutSystems VPL代码库中的重复数量可以高达$39\%$。基于文本的程序设计语言中的重复代码检测仍然是一个活跃的研究领域,对软件的可维护性和演化具有重要意义。然而,据我们所知,文献中的重复代码检测的VPL是非常有限的。我们提出了一种新的和可扩展的重复代码模式挖掘算法,利用视觉结构的VPL,以便不仅检测重复的代码,但也突出重复的代码模式,解释报告的重复。所提出的方法的性能进行评估,在广泛的现实世界中的移动和Web应用程序开发使用OutSystems。
2021-07-15 cs.SE
DepMiner: A Pipelineable Tool for Mining of Intra-Project Dependencies
由于各种原因,依赖性分析被认为是软件工程的一个重要领域。有大量的工具为软件开发人员和架构师提供帮助。对项目间和项目内依赖关系的分析可以帮助提供关于整个开发过程的各种见解。然而,目前缺乏一种工具,可以支持研究人员以最适合进一步分析的格式提取项目内依赖关系数据。在本文中,我们介绍DepMiner -一个开源的,语言无关的工具,挖掘详细的依赖关系数据从源代码,广泛的静态分析功能的行业标准IDE的基础上。DepMiner可以轻松集成到任意挖掘管道中,以进行涉及项目内依赖关系的大规模源代码处理工作。它很容易扩展,以支持其他语言的源代码,不同的分析粒度,以及其他特定于使用的需求。
2021-04-19 cs.SE
SEART Data Hub: Streamlining Large-Scale Source Code Mining and Pre-Processing
本文提出SEART Data Hub,一个简化大规模源代码挖掘与预处理的Web应用,允许研究人员通过简单界面指定挖掘和预处理条件,快速构建定制化数据集,显著降低时间和计算资源成本。
2024-09-27 cs.SE
Why Developers Refactor Source Code: A Mining-based Study
重构的目的是在不修改代码外部行为的情况下改进代码的非函数属性。以前的研究通过调查开发人员来调查重构背后的动机。为了概括和补充他们的研究结果,我们提出了一个大规模的研究,定量和定性地调查为什么开发人员在开源项目中执行重构。首先,我们挖掘了150个系统历史上执行的287,813次重构操作。使用这个数据集,我们研究了重构操作和过程之间的相互作用(例如,先前的改变/修复)和产品(例如,质量度量)度量。然后,我们手动分析了551个合并的拉取请求,这些合并的拉取请求实现了重构操作,并对所实现的重构背后的动机进行了分类(例如,删除代码重复)。我们的研究结果导致(i)定量证据的关系存在于某些过程/产品指标和重构操作和(ii)一个详细的分类,概括和补充现有的文献中的动机,推动开发人员重构源代码。
2021-01-05 cs.SE
Mining Code Review Data to Understand Waiting Times Between Acceptance and Merging: An Empirical Analysis
提高代码速度(或代码更改被审查和合并的速度)是加速开发不可或缺的一部分,有助于工程师的工作满意度。虽然影响代码更改接受的因素在过去已经被调查过,但减少代码审查生命周期的解决方案却不太清楚。本研究调查的代码审查过程中,量化延迟和调查的机会,以潜在地提高代码的速度。我们研究了Gerrit和Phabricator上托管的50万个代码审查的时间特性,从第一个响应开始,到决定接受或拒绝更改,直到更改合并到目标分支。我们确定了两种类型的时间延迟:(a)从提出代码更改到第一次响应的等待时间,以及(b)接受和合并之间的等待时间。我们的研究表明,缩短接受和合并之间的时间有可能将Phabricator代码审查速度提高29- 63%。小的代码更改和由具有大量先前接受的代码评审的作者所做的更改有更高的机会被立即接受,而无需代码评审迭代。我们的分析表明,从手动切换到自动合并可以帮助提高代码速度。
2022-03-09 cs.SE
How Do Code Changes Evolve in Different Platforms? A Mining-based Investigation
代码更改在移动和非移动平台中的执行方式不同。之前的工作已经调查了特定平台的差异。然而,我们仍然缺乏对代码更改如何在不同软件平台上演变的更深入理解。在本文中,我们提出了一项研究,旨在调查的变化频率和源代码,构建和测试的变化如何在移动和非移动平台上共同发展。我们开发了回归模型来解释哪些因素会影响变化的频率,并应用Apriori算法来寻找经常同时发生的变化类型。我们的研究结果表明,非移动存储库每月的提交数量更高,我们的回归模型表明,当控制混淆因素(如代码大小)时,移动存储库会对提交数量产生负面影响。我们还发现,开发人员通常不会将源代码文件与构建或测试文件一起更改。我们认为,我们的研究结果可以为开发人员提供有价值的信息,如何在不同的平台上进行更改,使成功的软件系统中采用的做法可以遵循。
2019-10-24 cs.SE
Exempla Gratis (E.G.): Code Examples for Free
现代软件工程通常涉及使用许多现有的API,包括开源和工业编码环境中的专有API。程序员参考文档和代码搜索工具,以提醒自己正确的API通用使用模式。然而,高质量的API使用示例的策划和维护在计算上是昂贵的,并且从公司范围的代码搜索中检索到的API使用示例的审查可能是乏味的。我们提出了一个工具,EG,挖掘代码库,并显示API方法的常见,惯用的用法示例。EG被集成到Facebook的Hack语言内部代码搜索工具中,并在用Python编写的开源GitHub项目上进行了评估。EG还与代码搜索结果和来自一个名为ProgramCreek的流行编程网站的手写示例进行了比较。与这两个基线相比,EG生成的示例更简洁,更具有代表性,无关的陈述更少。此外,Facebook开发人员的一项调查显示,在97%的情况下,EG示例是首选。
2020-11-03 cs.SE
ShikumiMiner: Mining Recurring Implementation Patterns in AI Codebases
University of Texas at Arlington(阿灵顿得克萨斯大学);Microsoft(微软)
本文提出ShikumiMiner静态分析框架,结合AST与CFG特征挖掘C++本地LLM代码库的重复实现模式,分析10个GitHub开源库并分类函数,为LLM应用开发者提供参考。
2026-09-03 cs.SE
Software Artifact Mining in Software Engineering Conferences: A Meta-Analysis
背景资料:软件开发会产生各种类型的工件:源代码、版本控制系统元数据、错误报告、邮件列表对话、测试数据等。经验软件工程(ESE)已经蓬勃发展,可以挖掘这些工件,以揭示软件开发的内部工作原理并改进其实践。但是,工件在该领域的研究是一个移动的目标,我们研究的经验,在这paper.Aims:我们定量表征最频繁的挖掘和共同挖掘的软件工件在ESE研究和研究purposes.Method:我们进行了元分析的工件挖掘研究发表在11个顶级会议在ESE,共9621篇论文。我们使用自然语言处理(NLP)技术来描述16年(2004-2020)期间最常被挖掘的软件工件类型及其演变。我们分析了最常一起挖掘的工件类型的组合,以及研究目的和挖掘工件之间的关系。结果:我们发现:(1)挖掘发生在绝大多数被分析的论文中,(2)源代码和测试数据是挖掘最多的工件,(3)人们对挖掘新颖工件以及源代码越来越感兴趣,(4)研究人员对软件系统的评估最感兴趣,并使用所有可能的经验信号来支持这一目标。
2022-07-18 cs.SE
Guided Pattern Mining for API Misuse Detection by Change-Based Code Analysis
缺乏经验、文档不足和次优的API设计经常导致开发人员在重用第三方实现时犯错误。此类API误用可能导致意外行为、性能损失或软件崩溃。因此,目前的研究旨在通过将开发人员使用API的方式与先前推断的正确API使用模式进行比较来自动检测此类误用。虽然研究取得了重大进展,但这些技术尚未在实践中采用。在某种程度上,这是由于缺乏能够与软件开发过程无缝集成的过程。特别是,现有的方法不考虑如何收集相关的源代码样本,从其中推断模式。事实上,不充分的收集可能会导致API使用模式矿工推断出不相关的模式,从而导致错误警报,而不是找到真正的API误用。在本文中,我们针对这个问题(a)通过提供一种方法,该方法增加了找到相关和真正的积极模式的可能性,这些模式涉及一组给定的代码更改,并且与具体的静态,过程内挖掘技术无关,以及(b)通过引入一种用于及时API误用检测的概念,该概念分析提交时的更改。特别是,我们引入了不同的,轻量级的代码搜索和过滤策略,并在两个真实的API滥用数据集上对其进行评估,以确定它们在寻找相关的过程内API使用模式方面的有用性。我们的主要结果是:(1)基于提交的搜索和随后的过滤有效地减少了要分析的代码量,(2)特别是方法级过滤优于文件级过滤,(3)项目内部和项目外部代码搜索为不同类型的误用找到解决方案,因此是互补的,(4)结合误用的先验知识[...]
2021-07-12 cs.SE
Static Code Analyzer Recommendation via Preference Mining
针对静态代码分析器误报漏报导致性能差异且全量调用成本过高的问题,首次提出基于偏好挖掘的SCA推荐方法,通过评估SCA有效性与挖掘项目特征构建推荐模型,其性能显著优于4个典型基线2至11倍。
2024-12-24 cs.SE
Mining for Cost Awareness in the Infrastructure as Code Artifacts of Cloud-based Applications: an Exploratory Study
本研究通过挖掘云应用的开源仓库,实证发现开发者不仅关注部署成本,还采取多种措施降低成本,并提出了未来研究方向。
2024-04-11 cs.SE
npm-filter: Automating the mining of dynamic information from npm packages
代码存储库的静态属性,例如,代码行、依赖项、依赖关系等可以容易地从代码托管平台(诸如GitHub)和包管理系统(诸如用于JavaScript的npm)中抓取;尽管同样重要,但与程序的动态属性相关的信息,例如,测试套件中通过或失败的测试的数量是不容易获得的。轻松收集这种动态信息的能力对进行语料库分析的研究人员非常有用,因为他们可以根据只能通过运行它们来观察的属性来区分项目。在本文中,我们介绍了npm-filter,一个自动化工具,可以下载,安装,构建,测试和运行自定义用户脚本的源代码的JavaScript项目上npm,最流行的JavaScript包管理器。我们概述了这个工具,描述了它的实现,并表明,npm过滤器已经在开发多个JavaScript工具的评估套件是有用的。
2022-03-30 cs.SE
Mining Type Constructs Using Patterns in AI-Generated Code
University of Alberta(阿尔伯塔大学)
研究AI在类型构造任务中的表现,发现AI更易误用any关键字及高级类型构造,但其PR接受率高于人类。
2026-04-22 cs.SE
Mining unit test cases to synthesize API usage examples
软件开发人员研究和重用现有的源代码,以了解如何正确使用应用程序编程接口(API)。然而,手动为给定API找到足够的代码示例是一项困难且耗时的活动。查找或生成示例的现有方法假定使用API的合理客户端代码集可用。这个假设不适用于新发布的API库,非广泛使用的API,也不适用于私有API。在这项工作中,我们重用了测试代码中自然存在的重要信息,以避免在其他客户端代码源不可用时缺乏API的使用示例。我们提出了一种自动识别每个单元测试用例中最具代表性的API使用的方法。然后,我们开发了一种方法来合成API使用的例子,通过提取相关的语句,代表这样的API的使用。我们比较了我们的方法的原型实现的输出,人类编写的例子和国家的最先进的方法。所获得的结果是令人鼓舞的,与我们的方法自动生成的例子是优于国家的最先进的方法和高度相似的手动构造的例子。
2022-07-30 cs.SE
Beyond the Code: Mining Self-Admitted Technical Debt in Issue Tracker Systems
自我承认的技术债务(SATD)是技术债务(TD)的一种特殊情况,开发人员明确承认他们的次优实现决策。以前的研究通过在源代码注释中搜索特定的TD相关术语来挖掘SATD。相比之下,在本文中,我们认为开发人员可以通过其他方式承认技术债务,例如,通过在跟踪系统中创建问题并将其标记为涉及TD。我们将这种类型的SATD称为基于问题的SATD或SATD-I。我们研究了从五个开源项目中收集的286个SATD-I实例的样本,包括Microsoft Visual Studio和GitLab Community Edition。我们发现,只有29%的研究SATD-I实例可以跟踪到源代码注释。我们还表明,SATD-I问题需要更多的时间来关闭,相比其他问题,虽然他们并不更复杂的代码流失。此外,在所研究的问题中,45%的TD是在早期引入的,近60%的TD是指设计缺陷。最后,我们报告说,大多数开发人员支付SATD-I,以减少其成本或利益(66%)。我们的研究结果表明,有空间设计新的工具,以支持技术债务管理,特别是工具,鼓励开发人员创建和标签问题包含TD的关注。
2020-03-20 cs.SE
The IntelliJ Platform: a Framework for Building Plugins and Mining Software Data
在软件工程中,人们正在积极研究大量新的方法,并在此基础上开发了许多工具。这些工具需要一个框架来创建,并有机会被潜在的开发人员使用。现代IDE提供了这两种功能。在本文中,我们描述了IntelliJ平台的主要功能,这些功能可能对正在开发代码分析工具的研究人员有用。为了说明使用该平台的好处,我们描述了研究人员可能感兴趣的几个用例:挖掘软件数据、在代码上运行机器学习模型、推荐重构以及在IDE中可视化数据。我们提供了实现这些情况的现有插件的几个示例。最后,为了更容易开始使用平台,我们为每个用例开发并提供简单的插件,这些插件可以作为新项目的模板。
2021-10-01 cs.SE
Mining Container Image Repositories for Software Configuration and Beyond
本文介绍了挖掘容器映像存储库的思想,以获取软件系统的配置和其他部署信息。与传统的软件存储库(例如,镜像存储库是一个完整的执行生态系统(包括源代码存储库和应用程序商店),镜像存储库封装了用于运行目标软件的整个执行生态系统,包括其配置、依赖库和组件以及操作系统级实用程序,从而提供了丰富的数据和信息。我们展示了基于具体软件工程任务的机会,这些任务可以从挖掘图像存储库中受益。为了促进未来的挖掘工作,我们总结了分析图像存储库的挑战和解决这些挑战的方法。我们希望这篇论文将激发挖掘这种新兴类型的软件存储库的令人兴奋的研究议程。
2018-02-13 cs.SE
Recommending Comprehensive Solutions for Programming Tasks by Mining Crowd Knowledge
开发人员经常在Web上搜索相关的代码示例以完成编程任务。不幸的是,他们面临两个主要问题。首先,由于他们的查询(任务描述)和与解决方案相关联的信息之间的词汇差距,搜索受到损害。其次,检索到的解决方案可能不全面,即,代码段可能会缺少简洁的解释。这些问题使得开发人员浏览数十个文档,以便综合出合适的解决方案。为了解决这两个问题,我们提出了CROKAGE(人群知识答案生成器),一个工具,需要描述的编程任务(查询),并提供了一个全面的解决方案的任务。我们的解决方案不仅包含相关的代码示例,还包含简洁的解释。我们提出的方法扩展了任务描述与相关的API类从堆栈溢出Q&A线程,然后减轻词汇差距的问题。此外,我们对最高质量的答案进行自然语言处理,然后返回包含代码示例和代码解释的编程解决方案,这与以前的研究不同。我们使用48个编程查询来评估我们的方法,并表明它的性能优于六个基线,包括统计上显著的优势。此外,我们对29名开发人员使用24个任务(查询)进行的评估证实了CROKAGE在建议代码示例的相关性,代码解释的好处和整体解决方案质量(代码+解释)方面优于最先进的工具。
2019-03-20 cs.SE
World of Code: Enabling a Research Workflow for Mining and Analyzing the Universe of Open Source VCS data
开放源码软件对现代社会至关重要,虽然对个别(通常是核心)项目进行了大量研究,但对整个开放源码软件生态系统的外围只有有限的了解。比如,周边的几千万项目是如何通过互联互通的。技术依赖、代码共享还是知识流?为了回答这些问题,我们:a)在整个FLOSS生态系统中创建一个非常大且经常更新的版本控制数据集合,名为World of Code(WoC),可以完全交叉引用FLOSS生态系统的作者,项目,提交,blob,依赖关系和历史; b)提供有效纠正,增强,查询和分析数据的能力。我们目前的WoC实现能够每月更新,包含超过18 B的Git对象。为了评估其研究潜力,并为它的使用创造小插曲,我们聘请了妇委会进行几项研究任务。特别是,我们发现,它能够支持趋势评估,生态系统的测量,并确定包的使用。我们期望妇委会能促进对开放源码软件发展的全球特性的研究,从而提高整个开放源码软件生态系统的弹性。我们的基础设施有助于发现关键的技术依赖关系、代码流和社交网络,这些网络为确定推动FLOSS活动和创新的关系的结构和演变提供了基础。
2020-10-30 cs.SE
Processing Large Datasets of Fined Grained Source Code Changes
在大代码时代,当研究人员试图研究越来越多的存储库来支持他们的发现时,数据处理阶段可能需要操纵数百万甚至更多的记录。在这项工作中,我们专注于研究涉及细粒度的AST级源代码的变化。我们介绍了如何扩展CodeDistillery源代码挖掘框架的数据操作功能,旨在减轻处理大数据集的细粒度源代码更改。我们引入的功能使研究人员能够高度自动化他们的存储库挖掘过程,并简化数据采集和处理阶段。这些功能已成功地用于进行一些研究,在此过程中,数千万的细粒度的源代码更改已被处理。
2019-10-20 cs.SE
Path-Based Function Embedding and its Application to Specification Mining
识别程序元素之间的关系对于程序理解、调试和分析是有用的。其中一种关系是同义关系。函数同义词是在代码中扮演类似角色的函数,例如为不同设备驱动程序执行初始化的函数,或实现不同密钥加密方案的函数。函数同义词在语义上不一定等同,在语法上也可能不同;因此,不能使用识别代码克隆或功能等同的方法来识别它们。本文介绍了func 2 vec,一个算法,每个函数映射到一个向量空间中的向量,使功能同义词分组在一起。我们计算的函数嵌入训练神经网络的随机行走产生的句子编码的程序作为一个标记的下推系统(L-PDS)。我们证明,func 2 vec是有效的识别功能同义词在Linux内核中。此外,我们将展示函数同义词如何在Linux文件系统和驱动程序中实现高度支持的挖掘错误处理规范。
2018-02-25 cs.SE
SBAN: A Framework & Multi-Dimensional Dataset for Large Language Model Pre-Training and Software Code Mining
Canadian Institute for Cybersecurity, Faculty of Computer Science University of New Brunswick(新不伦瑞克大学计算机学院加拿大网络安全研究所)
本文提出SBAN多维数据集(含超300万样本,覆盖二进制、汇编、自然语言和源代码),用于LLM预训练与软件代码挖掘,支持跨表示学习、恶意软件检测等任务。
2025-10-27 cs.IR cs.SE
Profiling Software Developers with Process Mining and N-Gram Language Models
内容:剖析开发人员是一项挑战,因为许多因素,如他们的技能,经验,开发环境和行为,可能会影响详细的分析和连贯的解释交付。目的:我们的目标是通过挖掘软件开发过程来分析软件开发人员。为此,我们进行了一个受控实验,在Python编程竞赛的领域中,一组开发人员具有相同的定义良好的需求规范集和定义良好的sprint时间表。事件收集自PyCharm IDE和Mooshak自动陪审团,其中受试者签入他们的代码。方法:我们使用n-gram语言模型和文本挖掘来描述开发人员的配置文件,并使用过程挖掘算法来发现他们的整体工作流程,并提取相应的度量以供进一步评估。结果如下:研究结果表明,我们可以清楚地与一个连贯的理由大多数开发人员的特点,并区分最高性能的更具挑战性的行为。这种方法可能最终导致创建一个软件开发过程气味的目录。结论:开发人员的个人资料为软件项目经理提供了一个线索,选择适当的任务,他/她应该被分配。随着低代码和无代码平台的使用越来越多,其中编码是从上层抽象层自动生成的,挖掘开发人员在开发平台中的行为是一种很有前途的方法,不仅可以早期检测行为,还可以评估项目复杂性和模型工作量。
2021-01-17 cs.SE
Better User Recommendations using Enhancing Software Development Process Repository
重用以前完成的软件存储库来增强开发过程是一种常见现象。如果开发人员从现有项目中获得建议,他们可能会在编码时受益匪浅。这一领域的现有战略每天都在迅速变化。有一些努力一直专注于采矿过程和建造储存库。其中一些人强调基于Web的代码搜索,而另一些人则将基于Web的代码搜索集成到他们的定制工具中。但是基于Web的方法效率低下,特别是在构建应用挖掘技术的知识库方面。为了搜索响应用户查询的代码片段,我们需要一个具有更好表示和抽象的丰富存储库。为了保证仓库在挖掘过程之前,我们开发了一个基于增强软件开发过程(ESDP)的概念。在ESDP方法中,考虑了来自在线和离线存储的多个代码源,以构建具有XML表示的中央存储库,并在客户端应用挖掘技术。相应的评估表明,ESDP方法的工作更好的响应时间和性能比许多现有的方法今天。
2020-06-21 cs.SE
Mining Software Metrics from Jazz
在本文中,我们描述了提取的源代码度量从Jazz存储库和应用程序的数据采掘技术,以确定最有用的这些指标预测的成功或失败的尝试构建一个工作实例的软件产品。我们目前的结果,从一个系统的研究,使用J48分类方法。结果表明,我们认为只有相对较少的可用软件度量对预测构建的结果有意义。这些重要的指标进行了讨论,并讨论了结果的影响,特别是能够预测失败的构建尝试的相对困难。
2014-07-09 cs.SE
Dealing with SonarQube Cloud: Initial Results from a Mining Software Repository Study
本文通过挖掘软件仓库研究GitHub项目对SCA工具SonarQube Cloud的使用与定制情况,发现多数项目正确连接但存在配置问题,提出将质量门配置与软件结果关联的研究方向。
2025-08-26 cs.SE
Not One to Rule Them All: Mining Meaningful Code Review Orders From GitHub
University of Hamburg(汉堡大学);Delft University of Technology(代尔夫特理工大学)
本研究通过分析GitHub上100个热门仓库的23241个拉取请求的审查评论,发现近半数审查采用非字母顺序,存在最大差异优先等多种有意义顺序,且非字母顺序审查的文件审查率更高、批准数略少,凸显了为大型拉取请求审查提供额外支持的必要性。
2025-06-12 cs.SE
CoCoMUT: A Tool for Code-Context Mining and Automated Dataset Generation
University of Texas at Dallas(德克萨斯大学达拉斯分校);Heritage High School(遗产高中);William & Mary(威廉玛丽学院)
提出CoCoMUT工具,通过构建统一管道自动提取方法级上下文并生成JSON数据集,在20个Java项目上验证了高准确率。
2026-07-01 cs.SE
Enhancing Software Development Process (ESDP) using Data Mining Integrated Environment
如今,重用现有的应用程序编程接口(API)、类库和框架已成为快速软件开发的基本需求。软件开发人员经常通过调用相应的API或库来重用它。但在这样做的时候,开发人员在搜索适当的代码段时通常会遇到不同的问题。在大多数情况下,API和库是复杂的,没有良好的结构或良好的文档记录。在线搜索引擎的搜索耗时长,但匹配的相关性不高,表示性不好。为了根据查询获得建议,我们可以使用搜索引擎或代码搜索引擎在线找到该片段。在某些情况下,依赖于数据库的搜索和基于远程Web服务器的挖掘存储库搜索给开发人员带来了问题。在代码搜索引擎上查找API建议通常会处理超大文件,最终会减慢软件开发过程。我们在整个工作过程中一直在寻找解决办法,并努力取得更好的结果。作为替代行动,我们已经实施了一个系统,我们称之为增强软件开发过程(ESDP)工具,该工具能够为开发人员提供一个高效的集成环境,更好地抽象和表示搜索结果,程序员需要从源代码中派生。我们还构建并应用了一个基于XML的丰富存储库,以从客户端的挖掘存储库中获得推荐,而无需与依赖于互联网的服务器进行交互,以节省复杂性和时间。我们使用基于图的表示为程序员或开发人员提供最相关的代码框架或映射。
2020-05-06 cs.SE
Mining Reviews in Open Source Code for Developers Trail: A Process Mining Approach
本文提出使用过程挖掘方法利用开源代码库数据构建日志并生成工作流网,以图形化描绘开发者活动顺序,并通过 Act-Trace 算法展示该方法。
2023-07-16 cs.IR cs.SE
Love, Joy, Anger, Sadness, Fear, and Surprise: SE Needs Special Kinds of AI: A Case Study on Text Mining and SE
University of Bari(巴里大学)
你喜欢你的代码吗?什么样的代码能让开发者最开心?是什么让他们最愤怒?是否有可能监控一个大型编码团队的情绪,以确定代码库何时何地需要额外的帮助?
2020-04-23 cs.CL cs.LG cs.SE
On the "Naturalness" of Buggy Code
真正的软件,即由kingdom开发的程序员解决现实世界问题的软件,往往是“自然的”,就像语音或自然语言一样;它往往是高度重复和可预测的。研究人员已经通过统计模型捕捉到了软件的这种自然性,并将其用于建议引擎、移植工具、编码标准检查器和习惯用法挖掘器中。这表明,对于一个好的统计语言模型来说,看起来不太可能或令人惊讶的代码在某种意义上是“不自然的”,因此可能是可疑的。在本文中,我们调查这一假设。我们考虑了一个大型的bug修复提交语料库(约。8,296),来自10个不同的Java项目,我们专注于它的语言统计,评估错误代码的自然性和相应的修复。我们发现,有bug的代码往往更具熵(即,不自然的),随着bug的修复而变得不那么自然。专注于高熵行在成本效益方面与一些众所周知的静态错误发现器(PMD,FindBugs)相似,并且使用熵度量对这些错误发现器的警告进行排序可以提高检查警告中涉及的代码的成本效益。这表明熵可能是一种有效的独立于语言的简单方法,可以补充PMD或FindBugs的有效性,并且基于搜索的错误修复方法可以从使用熵进行错误定位和搜索修复中受益。
2015-09-10 cs.SE
Recommending Insightful Comments for Source Code using Crowdsourced Knowledge
最近,自动代码注释生成被提出来促进程序理解。现有的代码注释生成技术集中于描述源代码的功能。然而,还有其他方面,例如对代码质量或问题的见解,这些都是早期方法所忽视的。在本文中,我们描述了一种挖掘方法,建议有见地的意见的质量,缺陷或范围进一步改进的源代码。首先,我们进行了一项探索性研究,激励众包知识从堆栈溢出讨论作为源代码评论推荐的潜在资源。其次,基于探索性研究的结果,我们提出了一种基于知识的技术,从Stack Overflow Q & A站点挖掘有见地的评论,用于源代码评论推荐。对292个Stack Overflow代码段和5,039个讨论评论的实验表明,该方法具有85.42%的召回率。我们还进行了一项补充用户研究,证实了推荐评论的准确性和实用性。
2018-07-06 cs.SE