Hierarchical Repository-Level Code Summarization for Business Applications Using Local LLMs
TCS Research, Tata Consultancy Services Ltd.(塔塔咨询服务有限公司TCS研究院)
针对现有代码摘要方法难以处理大代码单元、忽略业务上下文的问题,提出结合语法分析与本地LLM的两步分层仓库级代码摘要方法,经电信BSS验证可提升摘要覆盖度与相关性。
2025-01-14 cs.AI cs.SE
Automatic Code Summarization via ChatGPT: How Far Are We?
Nanjing University(南京大学);Nanyang Technological University(南洋理工大学);University of New South Wales(新南威尔士大学)
本文评估了ChatGPT在CSN-Python数据集上的自动代码摘要表现,发现其在BLEU和ROUGE-L指标上显著劣于NCS、CodeBERT和CodeT5等SOTA模型,并探讨了其优缺点及未来挑战。
2023-05-22 cs.AI cs.SE
Large Language Models for Code Summarization
Eötvös Loránd University(罗兰大学)
本文回顾了最新编程大型语言模型在代码解释/摘要任务中的表现,并调查了其基于自然语言描述的代码生成能力。
2024-05-29 cs.AI cs.LG cs.PL
LimTopic: LLM-based Topic Modeling and Text Summarization for Analyzing Scientific Articles limitations
Northern Illinois University(北伊利诺伊大学);Northwestern University(西北大学)
本文提出LimTopic框架,结合BERTopic与LLM从科学论文局限性中提取主题、生成标题与摘要,实验证明BERTopic+GPT-4主题建模及GPT-4摘要效果最佳。
2025-03-08 cs.CL cs.LG
EyeLayer: Integrating Human Attention Patterns into LLM-Based Code Summarization
Vanderbilt University(范德比尔特大学)
EyeLayer通过整合人类眼动模式提升LLM代码摘要效果,实现13.17%的BLEU-4提升。
2026-02-25 cs.AI cs.SE
Source Code Summarization in the Era of Large Language Models
College of Computing and Data Science, Nanyang Technological University Singapore(计算与数据科学学院,新加坡南洋理工大学);State Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家重点实验室,南京大学);School of Computer Science and Engineering, University of New South Wales(计算机科学与工程学院,新南威尔士大学);School of Big Data and Software Engineering, Chongqing University(大数据与软件工程学院,重庆大学)
本文针对大语言模型时代的代码摘要展开系统研究,分析自动评估方法、提示技术、模型设置及编程语言类型的影响,发现GPT-4评估与人类评估最接近、零样本提示可能优于高级提示等结论,还意外发现7B参数的CodeLlama-Instruct在特定摘要任务上优于GPT-4。
2025-08-23 cs.AI cs.SE
Do Machines and Humans Focus on Similar Code? Exploring Explainability of Large Language Models in Code Summarization
Vanderbilt University(范德堡大学);University of Notre Dame(圣母大学)
本文通过眼动追踪与 SHAP 方法比较人类程序员和语言模型在代码摘要中的关注点,发现二者无显著相关性且对齐程度不影响摘要质量,从而揭示现有可解释性方法的局限并提出未来研究方向。
2024-02-22 cs.AI cs.SE
A Prompt Learning Framework for Source Code Summarization
College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Faculty of Data Science, City University of Macau(澳门城市大学数据科学学院)
针对现有代码摘要LLM适配方案存在的提示设计难、训练成本高、缺乏定制化PEFT方法的问题,提出非侵入式提示学习框架PromptCS,通过训练提示智能体生成连续提示,在低资源消耗下实现媲美甚至超越全参数微调的效果。
2024-12-07 cs.AI cs.SE
HGAdapter: Hypergraph-based Adapters in Language Models for Code Summarization and Clone Detection
Data Technology Group, Technology Research and Development Department, Guotai Haitong Securities, China(国泰君安证券数据技术部、技术研发部);School of Computer Science and Technology, East China Normal University, China(华东师范大学计算机科学与技术学院)
HGAdapter通过引入高阶数据相关性,改进超图神经网络架构,提升预训练语言模型在代码摘要与克隆检测任务中的性能。
2025-10-20 cs.AI cs.CL cs.LG
Semantic Similarity Loss for Neural Source Code Summarization
University of Notre Dame(圣母大学)
本文针对神经代码摘要中 CCE 逐词优化且不认可同义词的问题,提出整句语义相似度损失并与 CCE 结合,实验表明其在多数条件下优于基线。
2024-06-11 cs.AI cs.SE
Chain-of-Descriptions: Improving Code LLMs for VHDL Code Generation and Summarization
IBM Research(IBM研究院);IBM
针对现有代码LLM在VHDL代码生成与摘要任务上表现不佳的问题,提出Chain-of-Descriptions(CoDes)方法,通过生成并整合中间描述步骤至输入提示,显著提升了模型在VHDL-Eval和VHDL-Xform数据集上的性能。
2025-07-16 cs.AI cs.AR cs.CL
Towards Code Summarization of APIs Based on Unofficial Documentation Using NLP Techniques
École de Technologie Supérieure(高等技术学院)
针对官方API文档信息获取效率不足的问题,提出利用NLP技术结合非官方文档自动生成API及方法摘要的方法,生成结果具有竞争力,可作为开发维护的补充参考。
2023-11-06 cs.AI cs.SE
Assertion-Aware Test Code Summarization with Large Language Models
University of North Texas(北卡罗来纳州立大学)
本文构建了91个Java测试用例基准,通过消融实验发现基于断言语义的提示能以更少token提升LLM测试摘要质量,并评估了四种代码LLM的性能。
2025-11-09 cs.AI cs.CE cs.SE
Towards Multi-dimensional Evaluation of LLM Summarization across Domains and Languages
Korea Advanced Institute of Science and Technology(韩国先进科学研究院);AWS AI Labs(AWS人工智能实验室)
针对现有摘要评估基准缺领域标准、偏英语、标注难的问题,研究提出多领域多语言的MSumBench评估基准,采用多智能体辩论优化标注,评估8个模型后发现跨领域语言的性能差异,并揭示大模型自评摘要的系统性偏差。
2025-05-31 cs.AI cs.CL
ReFEree: Reference-Free and Fine-Grained Method for Evaluating Factual Consistency in Real-World Code Summarization
本文提出ReFEree,一种无需参考的细粒度方法,用于评估现实世界代码总结中的事实一致性。通过定义特定于代码总结的事实不一致标准,并在段落层面进行评估,最终获得细粒度评分。
2026-04-12 cs.AI cs.CL cs.PL
Variational Prefix Tuning for Diverse and Accurate Code Summarization Using Pre-trained Language Models
提出变分前缀调优(VPT),结合条件变分自编码器与预训练模型,参数高效地生成多样且准确的代码摘要集,并通过双准则重排序优化选项,提升用户选择灵活性。
2025-05-14 cs.AI cs.LG cs.SE
Binary Code Summarization: Benchmarking ChatGPT/GPT-4 and Other Large Language Models
The Ohio State University(俄亥俄州立大学);Microsoft Research(微软研究院)
本研究针对二进制代码摘要的难点,构建含55.7万+函数的BinSum基准,提出提示词优化方法与新语义相似度指标,经多LLM大规模评估得出10项关键洞见,明确了LLM的潜力与待解挑战。
2023-12-15 cs.CL cs.CR cs.LG
Distilled GPT for Source Code Summarization
University of Notre Dame(圣母大学)
本文提出用GPT-3.5样本输出蒸馏训练一个3.5亿参数的开源模型,用于源代码摘要生成,可在单个16GB GPU上运行并模仿GPT-3.5的性能。
2024-02-05 cs.AI cs.SE
ROSUM-MCTS: Monte Carlo Tree Search-Inspired HDL Code Summarization with Structural Rewards
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
提出ROSUM-MCTS方法,利用蒙特卡洛树搜索引导大语言模型,通过分层候选扩展和复合奖励函数优化硬件描述语言代码摘要,在VHDL和Verilog数据集上优于基线方法。
2026-06-06 cs.CL
Mechanistic Interpretability of GPT-like Models on Summarization Tasks
Rochester Institute of Technology(罗切斯特技术研究所)
本文提出一种机制可解释性框架,通过差分分析定位GPT类模型中的摘要回路,发现中间层和注意力头熵降低是关键,并证明针对性LoRA适配优于标准微调。
2025-05-20 cs.AI cs.CL cs.LG
MALSIGHT: Exploring Malicious Source Code and Benign Pseudocode for Iterative Binary Malware Summarization
National Engineering Research Center for Mobile Network Technologies(移动网络技术国家工程研究中心);Beijing University of Posts and Telecommunications(北京邮电大学);Zhongguancun Laboratory(中关村实验室)
针对现有二进制恶意软件摘要生成方法可用性差、不准确、不完整及函数调用关系挖掘不足的问题,提出MALSIGHT框架,构建专用数据集并训练MalT5模型,通过迭代生成摘要,以更小参数规模实现了与大模型相当的效果。
2025-06-17 cs.AI cs.CR cs.SE
Aligning Large Language Models for Enhancing Psychiatric Interviews Through Symptom Delineation and Summarization: Pilot Study
Yonsei University(延世大学);Yonsei University College of Medicine(延世大学医学院);Yonsei University College of Nursing(延世大学护理学院)
本研究利用大语言模型对脱北者精神科访谈进行症状识别与摘要生成,通过微调和提示在症状界定上达到0.82的F1分数,并在摘要连贯性上取得4.6+的高分,验证了LLMs辅助心理健康分析的可行性。
2025-02-10 cs.AI cs.CL
Enhancing Consistency of Werewolf AI through Dialogue Summarization and Persona Information
The University of Electro-Communications(电通大学)
本研究通过对话摘要和人物信息提升Werewolf AI代理发言的一致性。
2026-03-07 cs.AI cs.CL
Calibration of Large Language Models on Code Summarization
UC Davis(加州大学戴维斯分校);IBM Research(IBM研究院)
研究将LLM代码摘要与人类摘要的相似度评估作为校准问题,仅基于代码和LLM摘要计算置信度,在多语言多设置下验证了方法能可靠预测摘要质量。
2025-05-30 cs.CL cs.SE
CS-Sum: A Benchmark for Code-Switching Dialogue Summarization and the Limits of Large Language Models
Nanyang Technological University(南洋理工大学)
本研究推出首个覆盖三语对的语码转换对话摘要基准CS-Sum,评估10种大语言模型在三类方法下的表现,发现模型自动化指标得分高但存在语义偏差错误,凸显语码转换数据专项训练的必要性。
2025-05-19 cs.CL cs.LG
Benchmarking LLMs on the Semantic Overlap Summarization Task
Research Center Trustworth Data Science and Security, Technical University of Dortmund(多特蒙德技术大学信任数据科学与安全研究中心);School of Computing, Wichita State University(威斯康星州立大学计算机学院);Department of Computer Science, NC State University(北卡罗来纳州立大学计算机科学系)
本研究对主流大语言模型在语义重叠摘要任务上进行基准测试,引入隐私政策配对数据集,使用TELeR提示法生成并评估大量摘要,并分析模型性能与自动评估可靠性。
2025-08-07 cs.CL
References Matter: Investigating the Impact of Reference Set Variation on Summarization Evaluation
MaiNLP, LMU Munich(LMU慕尼黑人工智能实验室);Munich Center for Machine Learning (MCML), Germany(慕尼黑机器学习中心);Department of Linguistics, University of Pittsburgh, USA(匹兹堡大学语言学系);NLP Group, Department of Information and Computing Sciences, Utrecht University, Netherlands(乌得勒支大学信息与计算科学系自然语言处理组)
本研究系统调查了参考集变化对摘要评估指标的影响,发现ROUGE等流行指标存在显著不稳定性,且与LLM输出的人类判断相关性微弱,建议将参考集变化纳入评估以增强一致性。
2025-09-16 cs.CL
Towards a Robust Retrieval-Based Summarization System
North Carolina State University(北卡罗来纳州立大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Northwestern University(西北大学)
本文提出LogicSumm评估框架和SummRAG系统,通过构建训练对话并微调模型,系统性地提升大语言模型在基于检索增强生成的摘要任务中的鲁棒性与摘要质量。
2024-03-29 cs.AI cs.CL cs.IR
Adapted Large Language Models Can Outperform Medical Experts in Clinical Text Summarization
Stanford University(斯坦福大学)
本研究通过对8个大语言模型进行适配,验证其在四类临床文本摘要任务中的表现,发现最优适配模型的摘要质量多数情况下与医学专家相当或更优,为LLM融入临床流程、减轻文档负担提供了依据。
2024-04-11 cs.CL
Document Summarization with Conformal Importance Guarantees
Signal 1 AI;Layer 6 AI
本文提出保形重要性摘要框架,利用保形预测提供无分布覆盖保证,实现关键内容可控的抽取式文档摘要,并验证其理论覆盖率。
2025-09-24 cs.CL cs.LG
Improving Code Summarization with Block-wise Abstract Syntax Tree Splitting
Xiamen University(厦门大学)
自动代码摘要将软件开发人员从手动注释的沉重负担中解放出来,有利于软件开发和维护。抽象语法树(AST)描述了源代码的语法结构,它被用来指导代码摘要的生成。然而,现有的基于AST的方法遭受训练的困难,并产生不充分的代码摘要。本文提出了一种基于块的抽象树分割方法(BASTS),该方法充分利用了AST丰富的树形语法结构,提高了代码摘要的质量。BASTS基于控制流图的支配者树中的块来分割方法的代码,并为每个代码分割生成分割AST。然后,每个分割的AST由Tree-LSTM使用预训练策略来建模,以捕获本地非线性语法编码。学习的语法编码与代码编码相结合,并输入到Transformer中以生成高质量的代码摘要。基准测试的综合实验表明,BASTS显着优于国家的最先进的方法在各种评估指标。为了便于再现,我们的实现可在https://github.com/XMUDM/BASTS上获得。
2021-03-18 cs.AI cs.CL cs.SE
Revisiting File Context for Source Code Summarization
University of Notre Dame(圣母大学)
本文重新审视文件上下文在源代码摘要中的作用,提出一种专门编码文件上下文的Transformer改进架构,在传统方法难以处理的挑战性示例上取得改进。
2023-09-05 cs.AI cs.SE
Retrieval Augmented Code Generation and Summarization
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Columbia University(哥伦比亚大学)
软件开发人员在软件开发过程中编写了大量的源代码和文档。本质上,开发人员经常回忆他们过去在实现软件或编写文档时编写的部分源代码或代码摘要。为了模仿开发人员的代码或摘要生成行为,我们提出了一个检索增强框架,REDCODER,检索相关的代码或摘要从检索数据库,并提供它们作为补充代码生成或摘要模型。Redcoder有几个独特之处。首先,它扩展了最先进的稠密检索技术,以搜索相关代码或摘要。其次,它可以与包括单峰(仅代码或自然语言描述)或双峰实例(代码描述对)的检索数据库一起工作。我们进行了实验和广泛的分析,在Java和Python的代码生成和摘要的两个基准数据集,和有前途的结果认可我们提出的检索增强框架的有效性。
2021-09-10 cs.CL cs.SE
M2TS: Multi-Scale Multi-Modal Approach Based on Transformer for Source Code Summarization
Shandong Normal University(山东师范大学)
源代码摘要旨在生成代码片段的自然语言描述。现有的研究多从代码片段的标记序列和抽象树中学习代码片段的语法和语义知识。它们使用学习的代码表示作为代码摘要模型的输入,代码摘要模型可以相应地生成描述源代码的摘要。传统模型将AST作为序列遍历,或者将AST分割为路径作为输入。然而,前者失去了AST的结构特性,后者破坏了AST的整体结构。因此,在学习源代码摘要的代码表示中,全面捕获AST的结构特征仍然是一个有待解决的具有挑战性的问题。本文提出了一种基于Transformer的多尺度多模态源代码摘要方法M2TS。M2TS采用多尺度AST特征提取方法,可以在多个局部和全局级别上更完整、更准确地提取AST的结构。为了补充AST中缺失的语义信息,我们还获得了代码标记特征,并使用跨模态融合方法将它们与提取的AST特征进一步结合,该方法不仅融合了源代码的句法和上下文语义信息,而且突出了每个模态的关键特征。我们在两个Java和一个Python数据集上进行了实验,实验结果表明,M2TS优于当前最先进的方法。我们在www.example.com上发布代码。
2022-03-27 cs.AI cs.SE
Towards Modeling Human Attention from Eye Movements for Neural Source Code Summarization
University of Notre Dame(圣母大学);University of Nebraska - Lincoln(内布拉斯加大学林肯分校)
本文利用眼动追踪实验数据构建人类注意力模型,预测源代码中对摘要最重要的单词,并以此增强基线神经代码摘要方法,有效提升了模型的预测性能。
2023-05-16 cs.AI cs.SE
AST-Transformer: Encoding Abstract Syntax Trees Efficiently for Code Summarization
Nanjing University(南京大学);Saarland Informatics Campus(萨尔兰信息学园区)
代码摘要旨在为源代码生成简短的自然语言描述。由于源代码是高度结构化的,并且遵循严格的程序设计语言语法,因此通常利用其抽象树(AST)来通知编码器有关结构信息。然而,AST通常比源代码长得多。目前的方法忽略了大小限制,并简单地将整个线性化AST馈送到编码器中。为了解决这个问题,我们提出了AST-Transformer来有效地编码树结构的AST。实验结果表明,AST-变压器优于国家的艺术由一个相当大的保证金,同时能够降低$90\sim95\%$的计算复杂性在编码过程中。
2021-12-02 cs.CL cs.SE
Neural Code Summarization
Khoury College of Computer Sciences(Khoury计算机科学学院)
代码摘要是生成可读摘要的任务,这些摘要在语义上是有意义的,并且可以准确地描述软件的假定任务。程序理解已经成为知识转移中最繁琐的任务之一。随着代码库随着时间的推移而发展,每次都需要手动更新描述。提出了一种自动的方法来推断这样的字幕基准和自定义数据集的基础上,与原始和生成的结果之间的比较。
2021-03-04 cs.AI cs.LG cs.SE
Improved Code Summarization via a Graph Neural Network
University of Notre Dame(圣母大学);IBM Research(IBM研究院)
自动源代码摘要是为源代码生成自然语言描述的任务。自动代码摘要是一个快速扩展的研究领域,特别是随着社区更好地利用神经网络和AI技术的进步。通常,源代码摘要技术使用源代码作为输入并输出自然语言描述。然而,一个强烈的共识是,使用结构信息作为输入导致改进的性能。使用结构信息的第一种方法将AST扁平化为序列。最近,基于随机AST路径或图神经网络的更复杂的方法已经改进了使用扁平化AST的模型。然而,文献仍然没有描述将图神经网络与源代码序列一起用作模型的单独输入。因此,在本文中,我们提出了一种使用基于图的神经架构的方法,该架构可以更好地匹配AST的默认结构来生成这些摘要。我们使用210万Java方法-注释对的数据集来评估我们的技术,并显示了对四种基线技术的改进,其中两种来自软件工程文献,两种来自机器学习文献。
2020-04-07 cs.CL cs.SE
Leveraging Code Generation to Improve Code Retrieval and Summarization via Dual Learning
National Engineering Research Center for Software Engineering, Peking University(北京大学软件工程国家工程研究中心);School of Software and Microelectronics, Peking University(北京大学软件与微电子学院);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
代码摘要在给定源代码片段的情况下生成简短的自然语言描述,而代码检索在给定自然语言查询的情况下获取相关源代码。由于这两个任务的目的是建立自然语言和程序设计语言之间的联系,最近的研究已经结合这两个任务,以提高其性能。然而,研究人员还没有能够有效地利用这两个任务之间的内在联系,因为他们训练这些任务在一个单独的或管道的方式,这意味着他们的表现不能很好地平衡。在本文中,我们提出了一个新的端到端的模型,这两个任务,通过引入一个额外的代码生成任务。更具体地说,我们明确地利用代码摘要和代码生成与双重学习之间的概率相关性,并利用两个编码器的代码摘要和代码生成训练的代码检索任务,通过多任务学习。我们已经在现有的SQL和Python数据集上进行了广泛的实验,结果表明,我们的模型可以显着提高代码检索任务的结果超过最先进的模型,以及实现竞争力的性能方面的BLEU得分的代码摘要任务。
2020-02-25 cs.CL cs.IR cs.SE
TranS^3: A Transformer-based Framework for Unifying Code Summarization and Code Search
代码摘要和代码搜索在软件开发和维护中得到了广泛的应用。然而,很少有研究探讨了统一它们的效果。在本文中,我们提出了一个基于transformer的框架,将代码摘要与代码搜索集成在一起。具体来说,对于代码摘要,Trans^3启用了一个Actor-Critic网络,在Actor网络中,我们通过基于Transformer和基于树的Transformer编码器对收集的代码片段进行编码,并对给定的代码片段进行解码以生成其注释。同时,我们通过评论家网络的反馈迭代地调整演员网络,以提高生成评论的质量。此外,我们将生成的注释导入代码搜索,以提高其准确性。为了评估TranS^3的有效性,我们进行了一系列实验研究和案例研究,实验结果表明,TranS^3在代码摘要和代码搜索方面都明显优于多种最先进的方法,并且从开发人员的角度来看,研究结果进一步加强了TranS^3的有效性。
2020-03-09 cs.SE
Code vs Serialized AST Inputs for LLM-Based Code Summarization: An Empirical Study
University of Glasgow(格拉斯哥大学)
本文提出AST(NIT)方法,通过序列化AST提升基于LLM的代码摘要效果,实验表明其在输入长度、训练时间和摘要质量上均优于传统方法。
2026-02-06 cs.SE
A Transformer-based Approach for Source Code Summarization
University of California, Los Angeles(加州大学洛杉矶分校);Columbia University(哥伦比亚大学)
生成描述程序功能的可读摘要称为源代码摘要。在这个任务中,通过对代码标记之间的成对关系建模来学习代码表示以捕获它们的长期依赖关系是至关重要的。为了学习用于摘要的代码表示,我们探索了使用自我注意力机制的Transformer模型,该模型已被证明在捕获长距离依赖关系方面是有效的。在这项工作中,我们表明,尽管这种方法很简单,但它的性能明显优于最先进的技术。我们进行了广泛的分析和消融研究,揭示了几个重要的发现,例如,源代码标记的位置的绝对编码阻碍了摘要的性能,而相对编码显著提高了摘要的性能。我们已经公开了我们的代码,以方便未来的研究。
2020-05-01 cs.AI cs.LG cs.SE
On the Evaluation of Neural Code Summarization
Xi’an Jiaotong University(西安交通大学);Microsoft Research(微软研究院);Tianjin University(天津大学);The University of Newcastle(纽卡斯尔大学)
源代码摘要对于程序的理解和维护非常重要。然而,有很多程序缺少、过时或不匹配的摘要。最近,已经利用深度学习技术来自动生成给定代码片段的摘要。为了深入了解我们离解决这个问题还有多远,并为未来的研究提供建议,本文对5种最先进的神经代码摘要模型进行了系统和深入的分析,包括6种广泛使用的BLEU变体,4种预处理操作及其组合,以及3种广泛使用的数据集。评价结果表明,一些重要因素对模型的评价有很大的影响,特别是对模型的性能和模型之间的排名。然而,这些因素很容易被忽视。具体地,(1)在评估代码摘要模型的现有工作中广泛使用的BLEU度量具有许多变体。忽略这些变体之间的差异可能会极大地影响所声称结果的有效性。此外,我们进行了人类评估,发现指标BLEU-DC与人类感知最相关;(2)代码预处理选择对摘要性能有很大的影响(从-18\%到+25\%),不应被忽视。我们还探索了预处理组合的聚合,并提高模型的性能;(3)数据集的一些重要特征(语料库大小,数据分割方法和重复率)对模型评估有显着影响。基于实验结果,我们给出了可操作的建议,评估代码摘要,并选择最佳的方法,在不同的场景。我们还建立了一个共享的代码摘要工具箱,以方便未来的研究。
2022-02-11 cs.AI cs.SE
Are We Building on the Rock? On the Importance of Data Preprocessing for Code Summarization
代码摘要,即生成代码中有用的注释的任务,长期以来一直受到关注。大多数现有的代码摘要模型都是在广泛使用的代码注释基准数据集上训练和验证的。然而,很少有人知道从现实世界的项目构建的基准数据集的质量。基准数据集是否如预期的那样好?为了弥补这一差距,我们进行了系统的研究,以评估和提高广泛用于代码摘要任务的四个基准数据集的质量。首先,我们提出了一个自动化的代码注释清理工具,可以准确地检测噪声数据所造成的不适当的数据预处理操作从现有的基准数据集。然后,我们应用该工具进一步评估四个基准数据集的数据质量,基于检测到的噪声。最后,我们进行了比较实验,研究噪声数据对代码摘要模型性能的影响。结果表明,这些数据预处理噪声广泛存在于所有四个基准测试数据集中,去除这些噪声数据可以显著提高代码摘要的性能。我们相信,这些发现和见解将有助于更好地理解代码摘要任务中的数据质量,并为相关研究和实践铺平道路。
2022-10-16 cs.SE
Self-Supervised Contrastive Learning for Code Retrieval and Summarization via Semantic-Preserving Transformations
Huawei Ireland Research Center(华为爱尔兰研究中心);The Open University(开放大学);Singapore Management University(新加坡管理大学)
我们提出了Corder,一个自监督的对比学习框架的源代码模型。Corder旨在减轻代码检索和代码摘要任务对标记数据的需求。Corder的预训练模型可以以两种方式使用:(1)它可以产生代码的矢量表示,可以应用于没有标记数据的代码检索任务;(2)它可以用于可能仍然需要标记数据的任务的微调过程,例如代码摘要。关键的创新是我们通过对比学习目标要求源代码模型识别相似和不相似的代码片段来训练源代码模型。为此,我们使用一组语义保持转换操作符来生成语法上不同但语义上等效的代码片段。通过大量的实验,我们已经证明,Corder预训练的代码模型在代码到代码检索、文本到代码检索和代码到文本摘要任务中的表现大大优于其他基线。
2021-05-23 cs.AI cs.LG cs.PL
Action Word Prediction for Neural Source Code Summarization
源代码摘要是创建源代码的简短、自然语言描述的任务。代码摘要是许多软件文档(如JavaBean)的主干,其中非常简短的注释(如“添加客户对象”)可以帮助程序员快速理解代码片段。近年来,基于神经网络的代码自动摘要方法得到了迅速的发展,成为一个很有价值的研究目标。然而,正如我们将在本文中展示的那样,好的摘要的产生依赖于这些摘要中的动作词的产生:如果“删除”被替换为“添加”,则上述示例的含义将完全改变。“在本文中,我们主张特别强调动作词预测,将其作为实现更好代码摘要的重要垫脚石问题-当前技术试图预测动作词以及整个摘要,但动作词预测本身相当困难。我们展示了代码摘要问题的价值,探索了当前基线的性能,并为未来的研究提供了建议。
2021-01-07 cs.SE
An Extractive-and-Abstractive Framework for Source Code Summarization
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Purdue University(普渡大学)
针对现有代码摘要方法难以兼顾事实准确性与自然度的问题,提出抽取-生成式框架EACS,结合抽取模块提取关键语句与生成模块并行输入生成摘要,在多语言数据集上全面超越现有最优方法。
2023-11-04 cs.AI cs.SE
One Adapter for All Programming Languages? Adapter Tuning for Code Search and Summarization
National University of Defense Technology(国防科技大学);Hunan University(湖南大学)
由于预先训练的模型使许多代码智能任务自动化,因此广泛使用的范例是针对每种程序设计语言在任务数据集上微调模型。最近的一项研究表明,多语言微调有利于一系列任务和模型。然而,我们发现,多语言微调导致最近的模型UniXcoder和CodeT5的性能下降。为了缓解多语言模型中潜在的灾难性遗忘问题,我们修复了所有预先训练的模型参数,插入参数有效的结构适配器,并对其进行微调。与每种程序设计语言的全模型微调相比,适配器调优仅更新了整体参数的0.6%,在代码搜索和摘要任务上产生了一致的改进,实现了最先进的结果。此外,我们的实验表明其有效性,在跨语言和低资源的情况下。每种程序设计语言200个样本的多语言微调接近于在代码摘要上使用整个数据集进行微调的结果。我们对三个探测任务的实验表明,适配器调整显着优于全模型微调,并有效地克服了灾难性遗忘。
2023-03-28 cs.AI cs.SE
ESALE: Enhancing Code-Summary Alignment Learning for Source Code Summarization
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学现代软件技术国家重点实验室);Software Institute, Nanjing University(南京大学软件学院);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);Tencent Inc.(腾讯公司)
本文提出 ESALE,通过 ULM、MLM 和 AWP 三个以摘要为中心的多任务增强代码-摘要对齐学习,并在四个数据集上显著提升代码摘要性能。
2024-07-01 cs.AI cs.SE
Low-Resources Project-Specific Code Summarization
代码摘要生成源代码片段的简短自然语言描述,这可以帮助开发人员理解代码并减少文档工作量。最近的代码摘要神经模型在由独立代码摘要对组成的大规模多项目数据集上进行训练和评估。尽管有技术进步,但它们在特定项目上的有效性很少被探讨。然而,在实际场景中,开发人员更关心的是为他们的工作项目生成高质量的摘要。这些项目可能没有维护足够的文档,因此历史代码摘要对很少。为此,我们研究了低资源项目特定的代码摘要,一个新的任务更符合开发人员的要求。为了更好地表征特定于项目的知识与有限的训练样本,我们提出了一个Meta迁移学习方法,将一个轻量级的微调机制到元学习框架。九个真实世界的项目的实验结果验证了我们的方法优于替代的,并揭示了项目特定的知识是如何学习。
2022-10-21 cs.SE
SparseCoder: Identifier-Aware Sparse Transformer for File-Level Code Summarization
针对文件级长代码摘要任务中Transformer因计算复杂度高难以处理长输入的问题,提出标识符感知稀疏Transformer模型SparseCoder,结合滑动窗口与两类稀疏注意力捕获长短依赖,在自建Python数据集FILE-CS上取得最优性能且内存开销低。
2024-01-26 cs.SE
EyeTrans: Merging Human and Machine Attention for Neural Code Summarization
Vanderbilt University(范德堡大学);University of Notre Dame(圣母大学)
本文提出EyeTrans,通过眼动追踪获取程序员注意力并将其融入Transformer的机器注意力,从而提升神经代码摘要的功能性与通用摘要性能。
2024-02-29 cs.AI cs.HC cs.SE
Ensemble Models for Neural Source Code Summarization of Subroutines
子例程的源代码摘要是对该子例程的简要描述。摘要是程序员使用的大部分文档的基础,例如JavaBean中的方法摘要。源代码摘要是编写这些摘要的任务。目前,用于代码摘要的大多数最先进的方法是基于神经网络的解决方案,类似于seq 2seq、graph 2seq和其他编码器-解码器架构。编码器的输入是源代码,而解码器帮助预测自然语言摘要。虽然这些模型在结构上趋于相似,但有证据表明,不同的模型对预测质量的贡献不同-模型性能的差异是正交和互补的,而不是整个数据集的统一。在本文中,我们探讨了不同的神经代码摘要方法的正交性,并提出了集成模型,以利用这种正交性,以获得更好的整体性能。我们证明,一个简单的合奏策略提高性能高达14.8%,并提供了这种提升的解释。这项工作的收获是,在大多数神经代码摘要技术中,对推理过程的相对较小的改变会导致预测质量的大幅提高。
2021-07-23 cs.SE
Code Generation as a Dual Task of Code Summarization
Peking University(北京大学);Monash University(莫纳什大学)
代码摘要(CS)和代码生成(CG)是软件自动化开发领域中的两个关键任务。各种基于神经网络的方法被提出来分别解决这两个任务。然而,CS和CG之间存在特定的直观相关性,这在以前的工作中没有被利用。在本文中,我们应用两个任务之间的关系,以提高这两个任务的性能。换句话说,利用这两个任务之间的二元性,我们提出了一个双重训练框架来同时训练这两个任务。在这个框架中,我们考虑了概率和注意力权重的对偶性,并设计了相应的正则化项来约束对偶性。我们在从GitHub收集的两个数据集上评估了我们的方法,实验结果表明,我们的双重框架可以提高CS和CG任务的性能。
2019-10-14 cs.AI cs.LG cs.SE