Utilization of Pre-trained Language Model for Adapter-based Knowledge Transfer in Software Engineering
本研究探索利用适配器在软件工程任务中迁移预训练语言模型知识,证明其高效性并优于传统微调,为构建紧凑模型开辟新方向。
2024-02-06 cs.SE
Model-Agnostic Syntactical Information for Pre-Trained Programming Language Models
预训练的程序设计语言模型(PPLM)为许多代码相关的软件工程任务取得了许多最新的最新成果。虽然一些研究使用数据流或提出基于树的模型,利用抽象树(AST),大多数PPLM没有充分利用源代码中丰富的语法信息。尽管如此,输入仍然被认为是一个令牌序列。有两个问题;第一个是由于输入长度和注意力复杂度之间的二次关系导致的计算效率低下。其次,任何语法信息,当需要作为当前PPLM的额外输入时,都需要从头开始对模型进行预训练,浪费了已经用于预训练当前模型的所有计算资源。在这项工作中,我们提出了命名实体识别(NER)适配器,轻量级模块,可以插入到Transformer块学习从AST提取的类型信息。这些适配器可以与当前的PPLM(如CodeBERT、GraphCodeBERT和CodeT 5)一起使用。我们训练NER适配器使用一种新的令牌类型分类目标函数(TTC)。我们将我们提出的工作插入CodeBERT中,构建CodeBERTER,并评估代码细化和代码摘要两项任务的性能。与完全微调方法相比,CodeBERTER将代码细化的准确性从16.4提高到17.8,同时使用20%的训练参数预算,并且与完全微调方法相比,代码摘要的BLEU得分从14.75提高到15.90,同时减少77%的训练参数。
2023-03-10 cs.SE
Overcoming linguistic barriers in code assistants: creating a QLoRA adapter to improve support for Russian-language code writing instructions
Moscow Automobile and Road Engineering State Technical University (MADI)(莫斯科汽车公路工程国立技术大学(MADI));Bauman Moscow State Technical University(鲍曼莫斯科国立技术大学)
针对zephyr-7b-beta模型俄语代码任务表现不足的问题,研究提出基于俄文编程数据训练的QLoRA适配器,经多指标对比验证,其在Python代码生成与俄语处理上均有显著提升。
2024-09-14 cs.CL cs.LG cs.SE
On The Cross-Modal Transfer from Natural Language to Code through Adapter Modules
Indian Institute of Technology(印度理工学院);Delhi Technological University(德里理工大学);University of British Columbia(不列颠哥伦比亚大学)
预训练神经语言模型(PTLM),例如CodeBERT,最近在软件工程中用作在大型源代码语料库上预训练的模型。他们的知识通过微调转移到下游任务(例如代码克隆检测)。在自然语言处理(NLP)中,通过使用插入在PTLM的层中的适配器、紧凑的、参数有效的模块,探索用于传递PTLM的知识的其他替代方案。尽管与需要重新训练所有模型参数的微调模型相比,适配器有助于适应许多下游任务-这归功于适配器的即插即用性质和参数效率-但它们在软件工程中的使用尚未探索。在这里,我们探讨了使用适配器的知识转移,并根据Hindle等人提出的自然性假设。al \cite{hindle2016naturalness} .因此,研究的双峰适配器的完形填空测试和代码克隆检测两个任务,从CodeXGLUE平台的基准相比。这些适配器使用程序设计语言进行训练,并插入在英语语料库(N-PTLM)上进行预训练的PTLM中。三种程序设计语言,C/C++,Python和Java,随着广泛的实验,用于适配器的最佳设置进行了研究。改进N-PTLM的结果证实了适配器在知识转移到软件工程方面的成功,这有时与在源代码上训练的PTLM的结果相当或超过PTLM的结果;同时在参数数量、内存使用和推理时间方面更有效。我们的研究结果可以为更多的软件工程任务建立更小的模型开辟新的方向。我们开源了所有的脚本和经过训练的适配器。
2022-04-19 cs.CL cs.LG cs.SE
An Extractive-and-Abstractive Framework for Source Code Summarization
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Purdue University(普渡大学)
针对现有代码摘要方法难以兼顾事实准确性与自然度的问题,提出抽取-生成式框架EACS,结合抽取模块提取关键语句与生成模块并行输入生成摘要,在多语言数据集上全面超越现有最优方法。
2023-11-04 cs.AI cs.SE
Meta Learning for Code Summarization
University of Stuttgart(斯图加特大学)
源代码摘要是为一段程序设计语言代码生成高级自然语言描述的任务。目前用于该任务的神经模型在其架构和所考虑的代码方面有所不同。在本文中,我们表明,三个SOTA模型的代码摘要工作在很大程度上不相交的子集的大型代码库。这种互补性激发了模型组合:我们提出了三个元模型,为给定的代码段选择最佳候选摘要。这两个神经模型比最佳个体模型的性能显著提高,在代码段的数据集上获得2.1个BLEU点的改进,其中至少一个个体模型获得非零BLEU。
2022-01-20 cs.LG cs.PL cs.SE
AST-Transformer: Encoding Abstract Syntax Trees Efficiently for Code Summarization
Nanjing University(南京大学);Saarland Informatics Campus(萨尔兰信息学园区)
代码摘要旨在为源代码生成简短的自然语言描述。由于源代码是高度结构化的,并且遵循严格的程序设计语言语法,因此通常利用其抽象树(AST)来通知编码器有关结构信息。然而,AST通常比源代码长得多。目前的方法忽略了大小限制,并简单地将整个线性化AST馈送到编码器中。为了解决这个问题,我们提出了AST-Transformer来有效地编码树结构的AST。实验结果表明,AST-变压器优于国家的艺术由一个相当大的保证金,同时能够降低$90\sim95\%$的计算复杂性在编码过程中。
2021-12-02 cs.CL cs.SE
SAGA: Summarization-Guided Assert Statement Generation
针对断言语句生成依赖测试前缀和焦点方法而忽略开发者摘要的问题,本文提出SAGA,利用预训练语言模型融合摘要信息并微调,以提升断言生成准确性。
2023-05-24 cs.SE
On the Transferability of Pre-trained Language Models for Low-Resource Programming Languages
University of British Columbia(不列颠哥伦比亚大学);Singapore Management University(新加坡管理大学);JetBrains Research(JetBrains研究院)
Ahmed和Devanbu最近的一项研究报告说,使用多语言数据集编写的代码语料库来微调多语言预训练语言模型(PLM),与使用仅用一种程序设计语言编写的代码语料库相比,可以实现更高的性能。然而,没有进行分析,就微调单语PLM。此外,某些程序设计语言本质上是不同的,并且用一种语言编写的代码通常不能与其它语言互换,即,Ruby和Java代码具有非常不同的结构。为了更好地理解单语和多语言PLM如何影响不同的程序设计语言,我们调查1)在Ruby上的PLM的性能两个流行的软件工程任务:代码摘要和代码搜索,2)策略(选择程序设计语言),以及微调多语言PLM的Ruby,和3)性能的微调PLM在Ruby上给定不同的代码长度。在这项工作中,我们分析了一百多个预先训练和微调的模型。我们的研究结果表明:1)多语言PLM具有较低的性能时间比(BLEU,METEOR,或MRR分数在微调持续时间)相比,单语PLM,2)我们提出的策略,选择目标程序设计语言微调多语言PLM是有效的:它减少了微调的时间,但在代码摘要和代码搜索任务中实现了更高的性能,以及3)我们提出的策略在不同的码长上一致地显示出良好的性能。
2022-04-05 cs.CL cs.PL cs.SE
Do Code LLMs Do Static Analysis?
University of Notre Dame(圣母大学)
本文研究代码LLM在代码智能任务中的静态分析能力,发现LLM在静态分析任务中表现不佳,且预训练静态分析任务无法提升代码智能任务性能。
2026-03-26 cs.SE
Studying Vulnerable Code Entities in R
University of British Columbia(不列颠哥伦比亚大学);Indian Institute of Technology(印度理工学院)
本研究通过黑盒攻击模型CodeAttack分析R语言代码实体脆弱性,发现标识符最易受攻击,为R语言代码摘要模型开发提供依据。
2024-02-06 cs.AI cs.SE
Leveraging Code Generation to Improve Code Retrieval and Summarization via Dual Learning
National Engineering Research Center for Software Engineering, Peking University(北京大学软件工程国家工程研究中心);School of Software and Microelectronics, Peking University(北京大学软件与微电子学院);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
代码摘要在给定源代码片段的情况下生成简短的自然语言描述,而代码检索在给定自然语言查询的情况下获取相关源代码。由于这两个任务的目的是建立自然语言和程序设计语言之间的联系,最近的研究已经结合这两个任务,以提高其性能。然而,研究人员还没有能够有效地利用这两个任务之间的内在联系,因为他们训练这些任务在一个单独的或管道的方式,这意味着他们的表现不能很好地平衡。在本文中,我们提出了一个新的端到端的模型,这两个任务,通过引入一个额外的代码生成任务。更具体地说,我们明确地利用代码摘要和代码生成与双重学习之间的概率相关性,并利用两个编码器的代码摘要和代码生成训练的代码检索任务,通过多任务学习。我们已经在现有的SQL和Python数据集上进行了广泛的实验,结果表明,我们的模型可以显着提高代码检索任务的结果超过最先进的模型,以及实现竞争力的性能方面的BLEU得分的代码摘要任务。
2020-02-25 cs.CL cs.IR cs.SE
GypSum: Learning Hybrid Representations for Code Summarization
East China Normal University(华东师范大学)
近年来,基于深度学习的代码摘要得到了广泛的研究。当前用于代码摘要的深度学习模型通常遵循神经机器翻译的原理,并采用编码器-解码器框架,其中编码器从源代码学习语义表示,解码器将学习的表示转换为描述代码片段功能的人类可读文本。尽管它们实现了新的最先进的性能,但我们注意到,当前的模型通常生成不太流畅的摘要,或者无法捕获核心功能,因为它们通常专注于单一类型的代码表示。因此,我们提出了GypSum,这是一种新的深度学习模型,它使用图形注意力神经网络和预训练的编程和自然语言模型来学习混合表示。我们引入特定的边缘相关的控制流的代码片段到抽象语法树的图形构造,并设计了两个编码器,分别从图形和令牌序列的源代码,学习。我们修改了Transformer的解码器中的编码器-解码器子层,以融合表示,并提出了一个双拷贝机制,以促进摘要生成。实验结果表明GypSum的性能优于现有的代码摘要模型。
2022-04-26 cs.LG cs.PL cs.SE
Natural Language Generation and Understanding of Big Code for AI-Assisted Programming: A Review
City University of Hong Kong(香港城市大学);University of Adelaide(阿德莱德大学);Nanyang Technological University(南洋理工大学)
本文综述了基于大代码训练的Transformer大语言模型在AI辅助编程中的应用,涵盖代码生成、补全、翻译等任务,并探讨了融合NLP技术与软件自然性的挑战与机遇。
2023-07-04 cs.AI cs.CL cs.SE
Language-Agnostic Representation Learning of Source Code from Structure and Context
Technical University of Munich(慕尼黑工业大学);Stanford University(斯坦福大学)
源代码(上下文)及其解析的抽象语法树(AST;结构)是同一计算机程序的两个互补表示。传统上,机器学习模型的设计者主要依赖于结构或上下文。我们提出了一个新的模型,它联合学习上下文和源代码的结构。与以前的方法相比,我们的模型只使用语言无关的功能,即,可以直接从AST计算的源代码和功能。除了获得国家的最先进的单语代码摘要的所有五个程序设计语言在这项工作中考虑,我们提出了第一个多语言代码摘要模型。我们发现,对来自多个程序设计语言的非并行数据进行联合训练可以改善所有语言的结果,其中最大的收益是低资源语言。值得注意的是,仅从上下文进行多语言训练并没有带来同样的改进,突出了将结构和上下文结合起来进行代码表示学习的好处。
2021-03-21 cs.LG cs.SE
Programmer Visual Attention During Context-Aware Code Summarization
本研究通过眼动追踪实验,发现程序员在上下文感知代码摘要中注意力随经验减少,且存在最优阅读量,为改进自动摘要提供依据。
2025-03-26 cs.SE
PassSum: Leveraging Paths of Abstract Syntax Trees and Self-Supervision for Code Summarization
Software Institute, Nanjing University(南京大学软件学院)
PassSum是利用高效AST编码与自监督预训练的代码摘要生成方法,在Java、Python、Ruby数据集上性能优于现有方法,可减少标注数据依赖并加快收敛。
2026-10-14 cs.SE
LoRACode: LoRA Adapters for Code Embeddings
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);AWS GenAI(AWS生成人工智能)
针对代码嵌入在语义搜索中难以兼顾效率与性能的问题,提出基于 LoRA 的参数高效微调方法构建任务特定适配器,将可训练参数降至 2% 以下,在多语言代码检索任务上显著提升 MRR 并开源模型。
2025-06-02 cs.IR cs.LG cs.SE
Resource-Efficient & Effective Code Summarization
本文研究 QLoRA 在代码摘要生成(Code-to-NL)任务中的适用性,通过在 Python 和 Java 上评估 CodeLlama 与 DeepSeek-Coder,证明 QLoRA 能实现代码语言模型的资源高效微调。
2025-02-05 cs.SE
Modeling Programs Hierarchically with Stack-Augmented LSTM
程序设计语言建模近年来引起了人们的广泛关注,它在程序处理领域起着至关重要的作用。最初为自然语言设计的统计语言模型已被普遍用于建模程序设计语言。然而,与自然语言不同,程序设计语言具有显式的层次结构,传统的统计语言模型很难对其进行学习。为了应对这一挑战,我们提出了一种新的用于程序设计语言建模的Stack-Augmented LSTM神经网络。在LSTM网络中添加堆栈内存组件使我们的模型能够通过PUSH和POP操作捕获程序的层次信息,这进一步使我们的模型能够捕获程序中的长期依赖性。我们在三个程序分析任务上评估所提出的模型,即,代码完成、程序分类和代码摘要。评估结果表明,我们提出的模型优于基线模型在所有的三个任务,表明通过捕获程序的结构信息与堆栈,我们提出的模型可以更精确地表示程序。
2020-02-11 cs.SE
Source Code Summarization with Structural Relative Position Guided Transformer
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Noah’s Ark Lab, Huawei Technologies(华为技术有限公司诺亚方舟实验室);The Chinese University of Hong Kong(香港中文大学)
源代码摘要旨在为程序设计语言生成简洁明了的自然语言描述。编写良好的代码摘要有利于程序员参与软件开发和维护过程。为了学习源代码的语义表示,最近的努力集中在将代码的语法结构合并到神经网络(如Transformer)中。这种基于变换器的方法可以比包括递归神经网络(RNN)的其他神经网络更好地捕获长程依赖性,然而,它们中的大多数没有考虑令牌之间的结构相对相关性,例如,抽象树(AST)中的相对位置,这有利于代码语义学习。为了对结构依赖性进行建模,我们提出了一种结构相对位置引导的Transformer,命名为STRT。该算法首先通过解析源代码的AST来获得标记之间的结构相对位置,然后将其传递给两种类型的Transformer编码器。一个Transformer根据结构相对距离直接调整输入,另一个Transformer在计算自我注意分数时对结构相对位置进行编码。最后,我们堆叠这两种类型的Transformer编码器来学习源代码的表示。实验结果表明,该方法在BLEU、ROUGE-L和METEOR三种测试数据集上的性能分别比现有方法提高了1.6%、1.4%和2.8%。我们进一步表明,如何建议的CRAFT捕获的结构相对依赖关系。
2022-02-14 cs.CL cs.SE
AskIt: Unified Programming Interface for Programming with Large Language Models
CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室);Mitsubishi Electric Corporation(三菱电机株式会社)
本文提出AskIt,一种专为大型语言模型设计的领域特定语言,通过统一接口支持直接任务执行和代码生成,实现提示长度减少16.14%及效率提升。
2023-12-27 cs.AI cs.PL cs.SE
MetaTPTrans: A Meta Learning Approach for Multilingual Code Representation Learning
SnT, University of Luxembourg(卢森堡大学SnT);Baidu Inc.(百度公司);CITADEL, Université Virtuelle du Burkina Faso(布基纳法索虚拟大学CITADEL)
源代码的表示学习对于将机器学习应用于软件工程任务至关重要。从多语言源代码数据集学习代码表示已被证明比单独从单语言数据集学习更有效,因为来自多语言数据集的更多训练数据提高了模型从源代码中提取语言无关信息的能力。然而,现有的多语言训练忽略了语言特定的信息,这是跨不同的程序设计语言建模源代码的关键,而只专注于学习一个统一的模型与共享参数之间的不同语言的语言无关的信息建模。为了解决这个问题,我们提出了MetaTPTrans,一种多语言代码表示学习的Meta学习方法。MetaTPTrans根据输入代码片段的特定程序设计语言类型为特征提取器生成不同的参数,使模型能够通过特征提取器中的动态参数学习语言无关和语言特定的信息。我们对代码摘要和代码完成任务进行了实验,以验证我们的方法的有效性。结果证明了我们的方法的优越性,在最先进的基线上有了显着的改进。
2022-12-05 cs.AI cs.SE
Leveraging Deep Learning for Abstractive Code Summarization of Unofficial Documentation
Ecole de Technologie Superieure(高等技术学院);Carleton University(卡尔顿大学)
本文提出利用 BART 深度学习模型为 StackOverflow 非官方文档中的 API 生成高质量代码摘要,并通过 ROUGE 和 BLEU 评估证明其在精确率、召回率和 F-measure 上分别平均超越此前工作 57%、66% 和 61%,且速度快 4.4 倍。
2023-12-03 cs.LG cs.SE
LLM-Aided Customizable Profiling of Code Data Based On Programming Language Concepts
IBM Research(IBM研究院);IIIT Hyderabad(印度信息技术学院海得拉巴分校);NIT Durgapur(杜尔加普尔国家理工学院)
本研究针对代码大语言模型数据集的画像需求,提出LLM辅助的两阶段混合方法,可定制化提取多语言代码的句法与语义概念,准确率表现优异,支持低资源语言与扩展。
2025-03-19 cs.ET cs.IR cs.LG
Code to Comment Translation: A Comparative Study on Model Effectiveness & Errors
George Mason University(乔治梅森大学)
自动源代码摘要是一个流行的软件工程研究主题,其中采用机器翻译模型将代码片段"翻译"成相关的自然语言描述。对这些模型的大多数评估都是使用基于参考的自动度量进行的。然而,由于程序设计语言和自然语言之间的语义差距相对较大,我们认为,这条线的研究将受益于定性调查的各种错误模式,目前国家的最先进的模型。因此,在这项工作中,我们进行了定量和定性比较最近提出的三个源代码摘要模型。在我们的定量评估中,我们比较了基于平滑BLEU-4、METEOR和ROUGE-L机器翻译指标的模型,在我们的定性评估中,我们对模型与地面实况字幕相比时最常见的错误进行了手动开放编码。我们的调查揭示了基于度量的性能和模型预测误差之间的关系的新见解,该关系基于经验得出的误差分类,可用于推动未来的研究工作
2021-06-15 cs.AI cs.CL cs.LG
ERNIE-Code: Beyond English-Centric Cross-lingual Pretraining for Programming Languages
Baidu(百度)
发布支持116种自然语言和6种编程语言的统一预训练模型ERNIE-Code,采用span-corruption和基于枢轴的翻译语言建模方法,在代码智能任务及零样本提示中表现优越。
2023-05-19 cs.CL cs.LG cs.PL
A Survey on Pretrained Language Models for Neural Code Intelligence
EPFL(洛桑联邦理工学院);UCLA(加州大学洛杉矶分校)
随着现代软件的复杂性不断升级,软件工程已成为一项日益艰巨和容易出错的工作。近年来,神经代码智能(NCI)领域已经成为一个有前途的解决方案,利用深度学习技术的力量来处理源代码的分析任务,目标是提高编程效率并最大限度地减少软件行业中的人为错误。预训练的语言模型已成为NCI研究中的主导力量,在广泛的任务中持续提供最先进的结果,包括代码摘要,生成和翻译。在本文中,我们对NCI领域进行了全面的调查,包括对预训练技术,任务,数据集和模型架构的全面审查。我们希望本文将作为自然语言和程序设计语言社区之间的桥梁,为这个快速发展的领域的未来研究提供见解。
2022-12-20 cs.CL cs.LG cs.SE
ICE-Score: Instructing Large Language Models to Evaluate Code
Monash University(莫纳什大学)
本文提出 ICE-Score,通过指示 LLM 在无测试预言和参考程序的情况下评估代码,并在四种语言上验证其与功能正确性及人类偏好的相关性优于现有指标。
2024-01-22 cs.AI cs.CL cs.SE
Neuron-Guided Interpretation of Code LLMs: Where, Why, and How?
Shanghai Jiao Tong University(上海交通大学)
研究通过分析代码LLM的神经元层面,发现语言特定神经元和概念层在多语言生成中的作用,提出基于神经元的微调、克隆检测和跨语言总结方法。
2026-03-19 cs.AI cs.SE
Long-Range Modeling of Source Code Files with eWASH: Extended Window Access by Syntax Hierarchy
Microsoft Cloud and AI(微软云与人工智能);Microsoft Research(微软研究院)
使用Transformers的统计语言建模和翻译在程序理解和生成任务中有许多成功的应用,为现代软件开发环境中的工具设定了很高的基准。然而,这些神经模型的有限上下文窗口意味着它们将无法利用大文件和包的整个相关上下文来完成任何给定的任务。虽然有许多努力来扩展上下文窗口,我们引入了一个架构独立的方法,利用语法层次的源代码,将整个文件级上下文到一个固定长度的窗口。使用每个源文件的具体语法树,我们提取语法层次结构,并将它们集成到上下文窗口中,通过选择性地从视图中删除更具体的,不太相关的范围为给定的任务。我们在代码生成任务和自然语言与Python程序设计语言源代码的联合翻译上评估了这种方法,在CodeXGLUE基准测试中实现了Python代码完成和摘要的新的最先进水平。我们还为用户体验驱动的任务引入了新的CodeXGLUE基准测试:规范化文字的代码完成,方法体完成/基于文件级上下文的代码总结。
2021-09-17 cs.LG cs.SE
Evaluation of the Code Generation Capabilities of ChatGPT 4: A Comparative Analysis in 19 Programming Languages
本文基于188道LeetCode题和三次反馈尝试,评估ChatGPT 4在19种语言中的代码生成、错误类型及运行时与内存效率,发现其总体成功率为39.67%,更擅长流行、静态类型和低抽象语言。
2025-01-04 cs.AI cs.SE
The Vault: A Comprehensive Multilingual Dataset for Advancing Code Understanding and Generation
FPT Software AI Center(FPT软件人工智能中心);Hanoi University of Science and Technology(河内科技大学);McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Fulbright University(富布赖特大学)
本文提出多语言代码-文本数据集 The Vault,包含 4300 万高质量样本,通过规则与深度学习方法提取构建,实验表明在其上微调的代码大模型在代码生成、搜索和摘要任务上优于 CodeSearchNet 等数据集训练结果。
2023-10-30 cs.AI cs.CL cs.PL
APIDocBooster: An Extract-Then-Abstract Framework Leveraging Large Language Models for Augmenting API Documentation
针对现有抽取式和抽象式 API 文档总结方法在可读性、信息量与忠实度上的不足,提出先抽取后抽象的框架 APIDocBooster,通过 CSSC 和 UPSUM 两阶段生成高质量摘要,显著提升了文档增强效果。
2024-01-10 cs.SE
Metamorphic Testing of Deep Code Models: A Systematic Literature Review
Delft University of Technology(代尔夫特理工大学);JetBrains Research(JetBrains研究院)
该系统性文献综述聚焦深度代码模型的蜕变测试,通过分析45篇核心论文梳理研究现状,明确相关评估要素并提出领域挑战与未来方向。
2025-07-30 cs.AI cs.SE
UniXcoder: Unified Cross-Modal Pre-training for Code Representation
Sun Yat-sen University(中山大学);Microsoft Research Asia(微软亚洲研究院);Langboat Technology(澜舟科技)
程序设计语言的预训练模型最近在代码智能方面取得了巨大的成功。为了支持与代码相关的理解和生成任务,最近的工作试图预训练统一的编码器-解码器模型。然而,这种编码器-解码器框架对于自回归任务是次优的,特别是对于需要仅解码器方式以进行有效推断的代码完成。在本文中,我们提出了UniXcoder,一个统一的跨模态预训练模型的程序设计语言。该模型利用带有前缀适配器的掩码注意矩阵来控制模型的行为,并利用AST和代码注释等跨模态内容来增强代码表示。为了并行编码表示为树的AST,我们提出了一种一对一的映射方法来将AST转换为序列结构,该序列结构保留来自树的所有结构信息。此外,我们建议利用多模态内容来学习表示的代码片段的对比学习,然后对齐表示之间的程序设计语言使用跨模态生成任务。我们在九个数据集上对五个与代码相关的任务进行了评估。为了进一步评估代码片段表示的性能,我们还为一个新的任务构建了一个数据集,称为zero-shot代码到代码搜索。结果表明,我们的模型在大多数任务上都达到了最先进的性能,分析表明,注释和AST都可以增强UniXcoder。
2022-03-08 cs.CL cs.PL cs.SE
XLCoST: A Benchmark Dataset for Cross-lingual Code Intelligence
Virginia Tech(弗吉尼亚理工大学)
机器学习的最新进展显著提高了对源代码数据的理解,并在许多下游任务上实现了良好的性能。像GitHub这样的开源存储库通过丰富的未标记代码数据实现了这一过程。然而,缺乏高质量的标记数据在很大程度上阻碍了一些代码相关任务的进展,如程序翻译,摘要,合成和代码搜索。本文介绍了一个新的跨语言代码智能基准数据集--跨语言代码片段数据集XLCoST。我们的数据集包含来自8种语言(7种常用的程序设计语言和英语)的细粒度并行数据,并支持10种跨语言代码任务。据我们所知,它是源代码的最大并行数据集,无论是在大小还是语言数量方面。我们还为每个任务提供了几个最先进的基线模型的性能。我们相信这个新的数据集可以成为研究社区的宝贵资产,并促进跨语言代码智能新方法的开发和验证。
2022-06-16 cs.AI cs.LG cs.SE
EVALOOOP: A Self-Consistency-Centered Framework for Assessing Large Language Model Robustness in Programming
North Carolina State University(北卡罗来纳州立大学)
EVALOOOP通过自一致性反馈循环评估LLM在编程任务中的鲁棒性,利用ASL度量揭示模型在持续自指代转换中的语义保持能力。
2026-02-15 cs.CL cs.LG cs.SE
Empirical Studies of Parameter Efficient Methods for Large Language Models of Code and Knowledge Transfer to R
University of British Columbia(不列颠哥伦比亚大学)
本研究评估了 LoRA、Compacter 和 IA^3 等 PEFT 方法在代码大模型上向 R 语言迁移的效果,发现 LoRA 表现最佳,Compacter 资源效率高,且可训练参数数量比架构对代码准确性影响更大。
2025-01-27 cs.AI cs.SE
ReleaseEval: A Benchmark for Evaluating Language Models in Automated Release Note Generation
The Leiden Institute of Advanced Computer Science (LIACS), Leiden University(莱顿大学高级计算机科学研究所)
本文提出ReleaseEval基准,包含94,987份发行说明,支持三种输入粒度任务,系统评估语言模型在自动化发行说明生成中的表现,发现大模型在利用结构化信息上优于传统基线但在长代码差异抽象上仍有挑战。
2025-11-04 cs.SE
Automatic Generation of Benchmarks and Reliable LLM Judgment for Code Tasks
本文提出自动生成多语言代码任务基准的方法,并通过生成图 G、LLM 智能体链与图中环形成的预期,开发和验证可靠的 LaaJ 代码产物有用性评判。
2024-10-28 cs.SE
Delving into Parameter-Efficient Fine-Tuning in Code Change Learning: An Empirical Study
该实证研究对比了参数高效微调(PEFT)与全模型微调(FMFT)在代码变更任务上的性能,发现适配器调优和低秩适配在即时缺陷预测和提交消息生成上表现优越,尤其在跨语言和低资源场景下。
2024-02-09 cs.SE
GraphCodeBERT: Pre-training Code Representations with Data Flow
Sun Yat-sen University(中山大学);Microsoft Research Asia(微软亚洲研究院);Microsoft Devdiv(微软开发工具事业部);Microsoft STCA(微软中国科技中心);Beihang University(北京航空航天大学);Peking University(北京大学);Harbin Institute of Technology(哈尔滨工业大学)
程序设计语言的预训练模型在代码搜索、代码补全、代码摘要等各种与代码相关的任务上取得了显著的经验改进。然而,现有的预训练模型将代码片段视为令牌序列,而忽略了代码的固有结构,这提供了关键的代码语义,并将增强代码理解过程。我们提出了GraphCodeBERT,这是一种针对程序设计语言的预训练模型,它考虑了代码的固有结构。我们在预训练阶段使用数据流,而不是采用抽象语法树(AST)等语法级代码结构,这是一种编码变量之间“值来自哪里”关系的语义级代码结构。这样的语义级结构是整洁的,并且不会带来AST的不必要的深层次结构,其属性使得模型更有效。我们基于Transformer开发了GraphCodeBERT。除了使用掩码语言建模任务外,我们还介绍了两个结构感知的预训练任务。一个是预测代码结构边缘,另一个是对齐源代码和代码结构之间的表示。我们以一种有效的方式实现了该模型,并使用图形引导的掩蔽注意函数来结合代码结构。我们评估我们的模型的四个任务,包括代码搜索,克隆检测,代码翻译和代码细化。结果表明,代码结构和新引入的预训练任务可以改善GraphCodeBERT,并在四个下游任务上实现最先进的性能。我们进一步表明,该模型更倾向于结构级的注意力在代码搜索任务的令牌级的注意力。
2021-09-13 cs.CL cs.SE
Learning to Mine Aligned Code and Natural Language Pairs from Stack Overflow
Carnegie Mellon University(卡内基梅隆大学)
对于像从自然语言合成代码、代码检索和代码摘要这样的任务,数据驱动模型已经显示出很大的前景。然而,创建这些模型需要在自然语言(NL)和具有细粒度对齐的代码之间并行数据。Stack Overflow(SO)是创建这样一个数据集的一个很有前途的来源:问题是多种多样的,其中大多数都有相应的答案和高质量的代码片段。然而,现有的探试法(例如,将帖子的标题与接受的答案中的代码配对)在它们的覆盖范围和所获得的NL代码对的正确性方面都是有限的。在本文中,我们提出了一种新的方法来挖掘高质量的对齐数据从SO使用两组功能:手工制作的功能,考虑到提取的片段的结构,和对应的功能,通过训练概率模型,以捕捉NL和代码之间的相关性,使用神经网络。这些特征被馈送到分类器中,该分类器确定所挖掘的NL代码对的质量。使用Python和Java作为测试床的实验表明,所提出的方法大大扩展了现有挖掘方法的覆盖范围和准确性,即使只使用少量的标记示例。此外,我们发现,即使在一种语言上训练分类器并在另一种语言上测试时,也能获得合理的结果,这表明将NL代码挖掘扩展到各种程序设计语言的前景超出了我们能够注释数据的语言。
2018-05-23 cs.CL cs.SE
LongCodeZip: Compress Long Context for Code Language Models
Shanghai Jiao Tong University(上海交通大学);Stanford University(斯坦福大学);Chongqing University(重庆大学)
针对长上下文代码生成成本高、延迟大且现有通用压缩技术忽略代码结构的问题,提出即插即用的两阶段代码压缩框架LongCodeZip,在多任务上实现最高5.6倍压缩比且不降低性能,助力LLM适配大规模代码场景。
2025-10-01 cs.CL cs.SE