Automated Code Review In Practice
本文通过分析工业环境中基于LLM的自动化代码审查工具的使用数据与开发者反馈,发现该工具虽能提升缺陷检测和代码质量意识,但也导致拉取请求关闭时间延长并引入错误审查等问题。
2024-12-28 cs.SE
On the Impact of Code Comments for Automated Bug-Fixing: An Empirical Study
Politecnico di Torino, University of Molise(托里尼理工大学,莫利塞大学);University of Molise(莫利塞大学)
本研究探讨了代码注释对LLM自动化修复bug的影响,发现注释能显著提升修复准确性,且训练时使用注释不影响性能。
2026-01-30 cs.AI cs.LG cs.SE
Towards Automated Classification of Code Review Feedback to Support Analytics
本文提出基于DNN和代码上下文的代码审查评论自动分类方法,使用CodeBERT在1,828条评论上达到59.3%准确率,比Fregnan等人方法高18.7%,可支持审查反馈优先级排序和审查者选择。
2023-07-07 cs.SE
Class Schema Evolution for Persistent Object-Oriented Software: Model, Empirical Study, and Automated Support
随着面向对象程序设计语言对对象序列化的广泛支持,持久对象已变得普遍,大多数大型面向对象软件系统都依赖于大量的持久数据。这种系统也会随着时间的推移而演变。然而,从模式已更改的类中检索以前持久化的对象是困难的,并且可能导致应用程序的一致性无效。ESCHER框架通过集成IDE的方法来解决这些问题,该方法通过管理代码版本和自动生成转换函数来处理类模式的演变。基础结构还强制类不变量以防止引入潜在损坏的对象。本文介绍了一个模型的类属性的变化,类进化的鲁棒性,四个实证研究,ESCHER系统的设计和实现措施。
2012-06-21 cs.DB cs.SE
Automated Identification of Sexual Orientation and Gender Identity Discriminatory Texts from Issue Comments
本文提出SGID4SE监督学习工具,结合六种预处理、十种算法和六类少数类优化策略,自动识别FLOSS问题评论中的性取向与性别身份歧视文本,基于BERT的模型取得最佳效果。
2025-07-28 cs.SE
Wait For It: Identifying "On-Hold" Self-Admitted Technical Debt
自我承认的技术债务是指软件开发人员知道他们当前的实现不是最佳的,并使用源代码注释来表明这一点的情况。在这项工作中,我们假设有可能开发自动化技术来更详细地理解这些评论的子集,并提出工具支持,可以帮助开发人员更有效地管理自我承认的技术债务。基于对335条表明自我承认的技术债务的评论的定性研究,我们首先确定了一种适合自动化管理的特定债务类别:“搁置”自我承认的技术债务,即,债务,它包含一个条件,指示开发人员正在等待某个事件或已在其他地方实现的更新功能。然后,我们设计和评估一个自动分类器,它可以识别这些“等待”的情况下,在0.83的接收器工作特征曲线(AUC)的面积,以及检测开发人员正在等待的特定条件。我们的工作是迈向自动化工具支持的第一步,它能够指示何时可以解决某些自我承认的技术债务。
2019-10-21 cs.SE
Towards Better Answers: Automated Stack Overflow Post Updating
针对Stack Overflow评论常被忽略、问题代码片段难以及时修正的现状,研究提出Soup框架,通过有效评论-编辑预测和自动帖子更新两项任务实现帖子自动更新,实验效果优于基准,且真实环境提交的50条编辑中有21条被平台维护者采纳。
2024-08-17 cs.SE
CRScore: Grounding Automated Evaluation of Code Review Comments in Code Claims and Smells
Carnegie Mellon University(卡内基梅隆大学);Language Technologies Institute(语言技术研究所)
本文提出无参考指标 CRScore,利用 LLM 与静态分析器识别的代码声明和潜在问题,从多维度细粒度评估代码审查评论,并发布 2.9k 条人工标注语料。
2025-03-16 cs.AI cs.CL cs.SE
Automatically Extracting Subroutine Summary Descriptions from Unstructured Comments
子程序的概要描述是用自然语言对程序中子程序的行为和目的的简短(通常是一句话)解释。这些摘要在文档中无处不在,许多工具(如JavaScriptTM和Doxygen)都围绕它们生成文档。然而,从非结构化的源代码存储库中提取摘要仍然是一个困难的研究问题--除非程序员对摘要进行注释,否则很难生成干净的结构化文档。这在遗留代码的大型存储库中成为一个问题,因为在几十个或几百个旧程序中追溯注释摘要的成本太高。同样,这对于自动文档生成算法的创建者来说也是一个问题,因为这些算法通常必须从大型带注释的数据集学习,而这些数据集对于许多程序设计语言来说并不存在。在本文中,我们提出了一种通过众包的半自动化方法和一种全自动化方法,用于从非结构化代码注释中注释摘要。我们目前的实验验证的方法,并提供建议和自动标注大型存储库的成本估计。
2019-12-21 cs.SE
Towards an Ontology for Scenario Definition for the Assessment of Automated Vehicles: An Object-Oriented Framework
TNO;Delft University of Technology(代尔夫特理工大学);Radboud University(拉德堡德大学);Symphony Co.(Symphony公司);getthere(2getthere);Eindhoven University of Technology(埃因霍温理工大学)
本文提出一种面向对象的框架,为自动驾驶车辆评估定义了全面且可操作的场景概念,通过将场景及其构建模块定义为对象类,促进了场景建模的清晰性、模块化、可重用性和封装性。
2021-12-13 cs.AI cs.SE
Exploring the Advances in Identifying Useful Code Review Comments
本文系统梳理了代码评审评论有用性研究的发展,涵盖定义、数据集、开发者感知、影响因素和机器学习自动预测,并指出未来面临的开放问题与挑战。
2023-07-06 cs.SE
Improving Automated Secure Code Reviews: A Synthetic Dataset for Code Vulnerability Flaws
针对现有代码审查数据集漏洞样本不足的问题,本文提出利用大语言模型生成漏洞聚焦的合成审查数据集,并计划微调三个现有模型以提升其安全代码审查性能。
2025-04-22 cs.SE
Prompting and Fine-tuning Large Language Models for Automated Code Review Comment Generation
Bangladesh University of Engineering and Technology(孟加拉工程技术大学);University of California(加利福尼亚大学)
本研究通过QLoRA微调开源LLM和利用函数调用图等语义元数据增强闭源LLM提示,有效提升了自动化代码审查注释生成的质量,在CodeReviewer数据集上取得显著性能提升并获人工评估验证。
2024-11-15 cs.CL cs.LG cs.SE
Understanding the Limits of Automated Evaluation for Code Review Bots in Practice
Bilkent University(比尔肯特大学)
研究探讨了在工业环境中自动化评估LLM驱动的代码审查机器人评论的可行性及限制,发现不同模型和评估方法在与人类标签的一致性上表现不一,揭示了静态 artifacts 难以捕捉上下文约束和优先级决策的挑战。
2026-04-27 cs.AI cs.SE
BitsAI-CR: Automated Code Review via LLM in Practice
本文提出 BitsAI-CR 框架,通过结合 RuleChecker 和 ReviewFilter 的两阶段方法及数据飞轮机制实现自动化代码审查,在 ByteDance 成功部署并服务超 12,000 名周活用户。
2025-01-25 cs.SE
Recommending Bug-fixing Comments from Issue Tracking Discussions in Support of Bug Repair
在实践中,开发人员在面对新的bug时会搜索相关的早期bug及其相关的讨论线程。通常情况下,这些讨论线程由注释甚至bug修复注释组成,这些注释旨在捕获线索,以促进新bug报告的调查和根本原因。随着时间的推移,这些讨论可能会变得非常冗长和难以理解。不可避免的是,这些讨论线程会导致错误修复评论与不相关的评论混合在一起的情况。然而,在处理大量的错误报告时,这项任务带来了进一步的挑战。大型软件系统每天都受到数千个错误报告的困扰。因此,有效地调查这些错误报告变得非常耗时。为了解决这一差距,本文建立了一个基于排名的自动化工具,我们称之为RETRORANK。具体来说,RETRORANK建议在用户查询相关性、积极语言的使用和评论之间的语义相关性的上下文中,从问题跟踪讨论线程中修复错误的评论。通过使用向量空间模型(VSM),情感分析(SA)和TextRank模型(TR)的组合,我们展示了如何过去的固定错误和他们的相关错误修复评论相对积极的情绪可以语义连接,以调查一个新的错误的根本原因。我们通过综合研究和用户研究评估了我们的方法。结果表明,与基线VSM相比,RETRORANK显著提高了性能。
2021-05-24 cs.SE
Service-Oriented Architecture in Industrial Automation Systems - The case of IEC 61499: A Review
在W. Dai等人(IEEE Trans. On Industrial Informatics,第11卷,第3期,第13 - 14页)。771-781,2015年6月),描述了在分布式自动化领域中应用SOA的正式模型,以实现灵活的自动化系统。提出了一种基于IEC 61499功能块模型的基于服务的执行环境体系结构,并通过一个案例研究来演示动态重配置。在这封信中,回顾了与SOA在工业自动化系统中的使用相关的文献,为讨论上述论文中提出的SOA IEC 61499正式模型建立了一个背景。在上述文件中,正式的模型和执行环境体系结构的评论,以更好地理解的潜力,在工业自动化领域的SOA范式的开发。
2015-06-15 cs.SE
Bogus Bugs, Duplicates, and Revealing Comments: Data Quality Issues in NPR
本文指出自动程序修复研究中存在虚假缺陷、重复项等数据质量问题,分析其对修复性能的影响并提出补救措施,倡导以数据为中心的方法来提升APR系统的性能与鲁棒性。
2025-03-11 cs.SE
Automated Identification of On-hold Self-admitted Technical Debt
现代软件是在相当大的时间压力下开发的,这意味着当涉及到编写良好的代码和完成工作的代码时,开发人员往往不得不采取妥协。在过去的几十年里,这导致了“技术债务”的概念,这是一种短期的黑客行为,可能会产生长期的维护问题。自我承认的技术债务(SATD)是技术债务的一种特殊形式:开发人员有意识地执行黑客行为,但也通过添加注释作为提醒(或作为认罪)在代码中记录它。我们专注于一种特定类型的SATD,即“暂停”SATD,其中开发人员在其评论中记录了由于其工作范围之外的条件(例如,在可以实现功能之前,必须关闭打开的问题)。我们提出了一种基于正则表达式和机器学习的方法,该方法能够检测代码注释中引用的问题,并将检测到的实例自动分类为"On-hold"(引用问题是为了表明在完成任务之前需要等待其解决),或作为"交叉引用",(该问题被引用以记录代码,例如解释实现选择背后的基本原理)。我们的方法还挖掘项目的问题跟踪器,以检查是否保持SATD实例是"多余的"并且可以被移除(即,引用的问题已关闭,但SATD仍在代码中)。我们的评估证实,我们的方法确实可以识别相关的情况下,等待SATD。我们通过识别原始开发人员确认的开源项目中多余的暂停SATD实例来说明其有用性。
2020-09-28 cs.SE
Too Noisy To Learn: Enhancing Data Quality for Code Review Comment Generation
本文研究代码评审数据中的噪声评论对评论生成模型的影响,提出基于大语言模型的数据清洗方法,并通过微调实验证明清洗后的模型能生成更相似、更具信息量且更相关的评审评论。
2025-02-06 cs.SE
Rethinking Training Data for Generating Code Review Comments
Pontificia Universidad Católica de Chile(智利天主教庞蒂菲亚大学);Concordia University(康考迪亚大学)
研究代码审查评论生成,指出尽管有进展但生成的评论存在问题,通过实证检查识别出不匹配训练对并得出分类法,探讨纳入分类法能否改善问题,发现仍有挑战,认为改进需更多举措而非仅数据集清理。
2026-07-29 cs.SE
SQL-Commenter: Aligning Large Language Models for SQL Comment Generation with Direct Preference Optimization
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出SQL-Commenter,通过构建复杂SQL查询数据集、持续预训练和直接偏好优化,提升SQL注释生成的准确性和质量,在Spider和Bird基准测试中优于现有方法。
2026-03-19 cs.SE
What Do Developers Discuss about Code Comments?
本文通过 LDA 与人工分析 SO、Quora 上的代码注释讨论,构建问题分类体系,揭示开发者关注文档工具、注释语法、风格规范及自动化支持。
2021-08-17 cs.SE
IntegrationDistiller: Automating Integration Analysis and Testing of Object-Oriented Applications
软件系统通常由各种相互作用的组件和单元组成。虽然这些组件可以单独进行测试并显示其正确工作,但当它们集成并开始相互交互时,它们可能无法产生所需的行为和结果。集成测试在揭示协作组件之间的交互问题方面起着重要的作用。然而,在执行集成测试时,识别不同的交互场景并不是一项简单的任务。另一方面,文献中提出的大多数集成测试解决方案是手动的,这阻碍了它们在大型工业系统中的可扩展性和适用性。在本文中,我们将介绍IntegrationDistiller作为一种自动化解决方案和工具,用于识别集成场景并为.NET应用程序生成测试用例(以方法调用序列的形式)。它通过分析代码并自动识别类耦合、交互方法以及调用点来工作。此外,该工具还通过在调用点自动插入代码,帮助和支持测试人员识别集成级别的时序问题。IntegrationDistiller的代码分析引擎是使用.NET编译器平台Roslyn构建和自动化的。因此,这项工作是第一次利用Roslyn功能的自动集成分析和集成测试用例生成。这项工作是我们与瑞典韦斯特罗斯ABB工业自动化控制技术(IACT)合作的一部分,旨在解决ABB Ability 800xA分布式控制系统软件部分的集成测试挑战。
2018-12-06 cs.SE
A Decade of Code Comment Quality Assessment: A Systematic Literature Review
本文通过系统文献综述分析近十年代码注释质量评估研究,梳理注释类型、质量属性、工具技术与评估方式,揭示 Java 偏向、属性集中及自动化不足等问题。
2022-09-16 cs.SE
Bash-Commenter: Leveraging Syntax-Aware Preference Optimization to Reinforce Large Language Model for Bash Code Comment Generation
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
针对Bash脚本注释缺乏问题,提出基于LLaMA-3.1-8B的Bash-Commenter方法,通过构建高质量数据集、持续预训练和监督微调,并引入语法感知偏好优化(SAPO)利用抽象语法树构造偏好对,显著提升注释生成质量。
2026-06-29 cs.SE
DocChecker: Bootstrapping Code Large Language Model for Detecting and Resolving Code-Comment Inconsistencies
本文提出DocChecker,一种基于深度学习的工具,用于检测和纠正代码-注释不一致,并生成合成注释,在ICCD任务上达到72.3%准确率,在代码摘要任务上BLEU-4为33.64,超越GPT 3.5和CodeLlama。
2024-02-03 cs.SE
Do Automatic Comment Generation Techniques Fall Short? Exploring the Influence of Method Dependencies on Code Understanding
针对自动注释生成技术忽略方法依赖的问题,提出依赖感知技术HelpCOM,通过引入辅助方法信息提升注释质量,实验与调查证明其显著优于基线方法并增强了代码可理解性。
2025-04-28 cs.SE
Automated Detection of Algorithm Debt in Deep Learning Frameworks: An Empirical Study
本研究旨在提高深度学习框架中算法债务的自动化检测性能,通过结合TF-IDF等多种特征提取方法与ROBERTA等深度学习及大型语言模型,在七个DL框架的数据集上训练多种分类器以识别和改进AD检测。
2024-08-22 cs.SE
Leveraging LLMs for Legacy Code Modernization: Challenges and Opportunities for LLM-Generated Documentation
The MITRE Corporation(MITRE公司)
本文研究利用LLM为MUMPS和IBM大型机汇编等遗留代码生成注释文档,提出提示策略与评估标准,发现LLM生成注释总体质量较高但缺乏可靠的自动化评估指标。
2024-11-22 cs.LG cs.SE
A ground-truth dataset and classification model for detecting bots in GitHub issue and PR comments
University of Mons(蒙斯大学)
机器人经常在Github存储库中使用,以自动化分布式软件开发过程中的重复活动。他们通过评论与人类演员交流。虽然由于许多原因,检测它们的存在是重要的,但没有大的和有代表性的真值数据集可用,也没有分类模型来基于这样的数据集检测和验证机器人。本文提出了一个真值数据集,该数据集基于对5,000个不同Github账户的拉取请求和问题评论的手动分析,其中527个已被识别为机器人。使用这个数据集,我们提出了一个自动分类模型来检测机器人,将每个帐户的空评论和非空评论的数量、评论模式的数量以及评论模式中评论之间的不平等作为主要特征。我们在包含40%数据的测试集上获得了非常高的加权平均精确度,召回率和F1分数为0.98。我们将分类模型集成到一个开源命令行工具中,以允许从业者检测给定Github存储库中的哪些帐户实际上对应于机器人。
2021-01-19 cs.LG cs.SE
High-quality data augmentation for code comment classification
Free University of Bozen-Bolzano(博洛尼亚-博兹纳自由大学)
本文提出Q-SYNTH技术,通过高质量数据生成增强数据集,提升代码注释分类的准确率。
2026-01-27 cs.LG cs.SE
How to Identify Class Comment Types? A Multi-language Approach for Class Comment Classification
本文针对Python、Java和Smalltalk类注释实践差异及注释不足问题,结合NLP与文本分析自动识别类注释语义类型,并构建跨语言分类体系,实现高准确率分类。
2021-07-25 cs.PL cs.SE
Automated Identification of Toxic Code Reviews Using ToxiCR
Wayne State University(韦恩州立大学)
在软件开发互动过程中的有害对话可能会对自由和开放源码软件(FOSS)开发项目产生严重影响。例如,有害对话的受害者可能会害怕表达自己,因此失去动力,最终可能会离开项目。自动过滤有害对话可帮助自由和开放源码软件社区保持其成员之间的健康互动。然而,现成的毒性检测器在软件工程(SE)数据集上表现不佳,例如从代码评审评论中策划的数据集。为了应对这一挑战,我们提出了ToxiCR,一个基于监督学习的毒性识别工具,用于代码评审交互。ToxiCR包括选择十种监督学习算法之一的选项,选择文本矢量化技术的选项,八个预处理步骤,以及19,571个代码评审评论的大规模标记数据集。这八个预处理步骤中有两个是SE域特定的。通过对预处理步骤和矢量化技术的各种组合的模型进行严格评估,我们已经确定了数据集的最佳组合,提高了95.8%的准确率和88.9%的F1得分。ToxiCR在我们的数据集上显著优于现有的毒性检测器。我们已经发布了我们的数据集,预训练模型,评估结果和源代码,可在https://github.com/WSU-SEAL/ToxiCR上公开获取
2023-02-08 cs.CL cs.LG cs.SE
Revisiting the Role of Natural Language Code Comments in Code Translation
Indian Institute of Technology, New Delhi, India(印度理工学院德里分校);IBM Research - India, India(IBM印度研究)
本文研究了自然语言代码注释对代码翻译准确性的影响,提出COMMENTRA方法,证明其能将LLM代码翻译性能翻倍。
2026-01-23 cs.AI cs.SE
Commenting with Copilot: A Taxonomy and Multi-Year Analysis of Student Code-Generation Specifications
University of Auckland(奥克兰大学);University of New South Wales(新南威尔士大学)
研究人工智能代码工具融入编程环境下学生代码生成规范,通过分析四年数据集,引入涵盖注释类型、代码表达水平和代码结构的分类法,用自动分类研究维度变化及学生反思,发现学生注释特点及关注点。
2026-07-14 cs.AI cs.CY cs.SE
StRuCom: A Novel Dataset of Structured Code Comments in Russian
MTS AI(MTS人工智能研究所);ITMO University(ITMO大学);IITU University(IITU大学)
针对俄语代码注释生成模型表现差的问题,提出首个俄语大规模结构化代码注释数据集StRuCom,整合人工与合成注释并验证多语言规范,微调模型后相关指标显著提升。
2025-05-16 cs.AI cs.CL cs.LG
Automating Patch Set Generation from Code Review Comments Using Large Language Models
Gannon University(甘农大学)
本文评估五种预训练大型语言模型根据真实代码审查评论自动生成补丁集的能力,并与人类历史补丁集对比,以衡量其准确性、相关性和深度,为自动化代码质量保证奠定基础。
2024-04-10 cs.AI cs.SE
Low-level Comments auto-generation for Solidity Smart Contracts
背景:区块链平台上的去中心化应用通过智能合约实现。然而,缺乏编程知识的参与者往往难以阅读智能合约源代码,这导致潜在的安全风险和参与障碍。目的:我们的目标是将智能合约源代码翻译成自然语言描述,以帮助人们更好地理解、操作和学习智能合约。方法:本文提出了一种基于抽象语法树和形式语法的Solidity智能合约自动翻译工具SolcTrans。我们调查了3,000个智能合约,并确定了相应区块链术语的词性。其中,我们进一步过滤出没有详细注释的合同片段,留下811个片段来评估SolcTrans的翻译质量。结果如下:实验结果表明,即使是一个小的语料库,SolcTrans可以实现类似的性能,国家的最先进的代码注释生成模型的其他程序设计语言。此外,SolcTrans在处理不同长度和gas消耗的代码片段时具有一致的性能。结论:SolcTrans能够正确解释Solidity代码并自动将其转换为可理解的英文文本。我们将发布我们的工具和数据集,以支持相关领域的复制和进一步研究。
2022-01-08 cs.PL cs.SE
Object Oriented Analysis using Natural Language Processing concepts: A Review
National Institute of Technology, Rourkela(鲁尔凯拉国家技术学院)
软件开发生存周期(SDLC)从以软件需求规范(SRS)的形式引出客户需求开始。软件开发所需的SRS文档大多采用自然语言(NL)编写,便于客户使用。仅从SRS文档中,根据分析师的预先知识跟踪类名称、其属性和类主体中包含的功能。本文综述了利用自然语言处理技术进行面向对象分析的研究进展。这种分析可以是手动的,其中领域专家帮助生成所需的图,或者是自动化的系统,其中系统从SRS形式的输入生成所需的图。
2015-10-26 cs.CL cs.SE
Exploring the Potential of Large Language Models in Fine-Grained Review Comment Classification
The University of Melbourne(墨尔本大学)
针对监督机器学习分类代码审查评论需大量人工标注的局限,本研究探索大语言模型(LLMs)对17类评论的分类能力,发现其优于最先进深度学习方法,在高低频类别上表现均衡,为代码审查分析提供了可扩展的解决方案。
2025-08-13 cs.AI cs.SE
A Comprehensive Framework for Evaluating API-oriented Code Generation in Large Language Models
University of Manitoba(曼尼托巴大学);Concordia University(康考迪亚大学);Queen’s University(女王大学)
提出AutoAPIEval框架,系统评估LLM在面向API代码生成中的API推荐和代码示例生成能力,发现不同模型表现差异并验证检索增强生成的提升作用。
2024-09-26 cs.AI cs.LG cs.SE
Transfer Learning for Mining Feature Requests and Bug Reports from Tweets and App Store Reviews
Technical University of Munich(慕尼黑工业大学);Qualicen GmbH(Qualicen有限公司);Blekinge Institute of Technology(布莱金厄理工学院);University of Cologne(科隆大学)
在用户评论中识别功能请求和错误报告对开发团队来说具有很大的潜力。然而,从社交媒体和应用商店自动挖掘RE相关信息具有挑战性,因为(1)大约70%的用户评论包含嘈杂、不相关的信息,(2)用户评论量每天都在增长,使得手动分析变得不可行,(3)用户评论是用不同语言编写的。现有的方法建立在传统的机器学习(ML)和深度学习(DL)的基础上,但无法以高召回率和可接受的精度检测特征请求和错误报告,这是该任务所必需的。在本文中,我们探讨了迁移学习(TL)的用户评论分类的潜力。具体来说,我们训练单语言和多语言BERT模型,并与最先进的方法的性能进行比较。我们发现,单语BERT模型在英语应用评论以及英语和意大利语推文的分类中优于现有的基线方法。然而,我们也观察到,重量级TL模型的应用并不一定会带来更好的性能。事实上,我们的多语言BERT模型比传统的ML方法表现更差。
2021-08-02 cs.CL cs.SE
From Academia to Software Development: Publication Citations in Source Code Comments
学术出版物根据其对研究界的影响进行了评估,这些影响基于许多指标,例如引用次数。另一方面,学术出版物对产业的影响却很少被研究。本文通过分析开源软件库中源代码注释中的学术出版物引用,研究了学术出版物如何为软件开发做出贡献。本文提出了一种基于命名实体识别的学术出版物自动检测方法,检测精度达到了$F_1$中的0.90。我们进行了一项大规模的研究出版物引用319,438,977评论收集从25,925活跃的存储库写在七个程序设计语言。我们的研究结果表明,学术出版物可以为软件开发的知识来源。这些引用的出版物尤其来自期刊。在知识转移方面,算法是从出版物中转移的最普遍的知识类型,所提出的公式或方程通常在源代码文件中的方法或函数中实现。在仔细研究引用学术出版物的GitHub存储库时,我们发现科学相关的存储库在有出版物引用的GitHub存储库中是最常见的,并且这些出版物中的绝大多数被与出版物作者不同的存储库所有者引用。我们还发现,引用旧的出版物可能会导致与过时的知识有关的潜在问题。
2020-05-01 cs.DL cs.SE
Beyond Text Matching: Towards Reference-Free Evaluation for Human-Oriented Binary Reverse Engineering
University of Science and Technology of China(中国科学技术大学);Singapore Management University(新加坡管理大学)
本文针对HOBRE的三项任务,首次系统研究LLM-as-a-Judge评估范式,推出无参考基准BinJudgeBench,提出自适应选择最优配置的BinJudge,提升评估相关性并降低API成本。
2026-08-10 cs.AI cs.CR cs.SE
SecureReviewer: Enhancing Large Language Models for Secure Code Review through Secure-aware Fine-tuning
1 State Key Laboratory of Complex \& Critical Software Environment, School of Computer Science;Engineering, Beihang University, China
提出SecureReviewer方法,通过构建定制数据集、安全感知微调策略和集成RAG技术,增强了LLM在代码审查中识别和解决安全问题的能力,并引入SecureBLEU指标,在检测准确性和评论质量上优于基线。
2025-10-30 cs.AI cs.CL cs.SE
DeepCRCEval: Revisiting the Evaluation of Code Review Comment Generation
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);Kuaishou Technology(快手科技);Sinosoft Company Limited(中软公司)
本文提出 DeepCRCEval 评估框架,结合人工与 LLM 评估者,克服了传统文本相似度指标的局限,有效区分代码审查注释质量,并引入 LLM-Reviewer 基线模型以聚焦生成目标。
2025-01-25 cs.AI cs.CL cs.LG