Coding-PTMs: How to Find Optimal Code Pre-trained Models for Code Embedding in Vulnerability Detection?
针对漏洞检测中代码预训练模型选择缺乏依据的问题,本文评估十种 PTM 的嵌入特征,提出含十三项指标与 Random Forest 推荐器的 Coding-PTMs 框架。
2024-08-09 cs.SE
Identifier-Free Code Embedding Models for Scalable Search
The MITRE Corporation(MITRE公司)
本文提出无标识码的代码嵌入模型,用于在二进制反向工程中实现双向关联,通过对比学习优化模型性能,优于现有方法并能泛化到未显式训练的任务。
2026-10-16 cs.CR cs.LG cs.SE
EmbeddedKittens: An Evaluation of Code Embeddings for Scratch
University of Passau(帕绍大学)
研究探讨哪种代码嵌入方法适用于Scratch编程教育。实例化四个LLMs和五种嵌入方法,创建任务及数据集进行评估,结果表明在开放Scratch数据集上训练的嵌入模型可捕获代码信息用于学习分析,无需特定任务微调。
2026-07-22 cs.SE
On the Embeddings of Variables in Recurrent Neural Networks for Source Code
HSE University(高等经济大学)
源代码处理在很大程度上依赖于自然语言处理(NLP)中广泛使用的方法,但涉及需要考虑以实现更高质量的细节。这种特殊性的一个例子是,变量的语义不仅由其名称定义,还由变量出现的上下文定义。在这项工作中,我们开发了动态嵌入,一个经常性的机制,调整学习的变量的语义时,它获得更多的信息,变量在程序中的作用。我们表明,使用所提出的动态嵌入显着提高了递归神经网络的性能,在代码完成和错误修复任务。
2021-04-27 cs.CL cs.LG cs.SE
CodeT5-RNN: Reinforcing Contextual Embeddings for Enhanced Code Comprehension
University of Notre Dame(圣母大学);Dhaka University of Engineering & Technology(达卡工程技术大学);The University of Aizu(会津大学);Tulane University(杜兰大学)
本文提出CodeT5-RNN框架,通过RNN增强LLM生成的上下文嵌入,提升代码理解性能,实验表明在缺陷检测任务中准确率提升显著。
2026-03-24 cs.SE
GraphCode2Vec: Generic Code Embedding via Lexical and Program Dependence Analyses
代码嵌入是机器学习在软件工程任务中应用的关键。为了有效地支持过多的SE任务,嵌入需要以通用的方式捕获程序语法和语义。为此,我们提出了第一种自我监督的预训练方法(称为GraphCode2Vec),该方法可以生成与任务无关的词汇和程序依赖特征嵌入。GraphCode2Vec通过代码分析和图神经网络的协同组合实现了这一点。GraphCode2Vec是通用的,它允许预训练,并适用于几个SE下游任务。我们评估了GraphCode2Vec在四(4)个任务(方法名称预测,解决方案分类,突变测试和过拟合补丁分类)上的有效性,并将其与四(4)个类似的通用代码嵌入基线(Code2Seq,Code2Vec,CodeBERT,GraphCodeBERT)和7个特定于任务的基于学习的方法进行了比较。特别是,GraphCode2Vec比通用和特定任务的基于学习的基线更有效。它也是GraphCodeBERT(更大更复杂的模型)的补充和可比性。我们还通过探测和消融研究证明,GraphCode2Vec学习词汇和程序依赖特征,自我监督的预训练提高了效率。
2022-01-21 cs.SE
GraphSense: Graph Embedding Based Code Suggestion Framework
GraphSense提出基于图嵌入的代码建议框架,以低资源消耗实现实时下一行代码建议,解决GPT模型在本地环境中速度慢、资源密集的问题。
2025-03-11 cs.SE
Bug Prediction Using Source Code Embedding Based on Doc2Vec
错误预测是一项需要大量资源的任务,很难使用静态源代码分析实现自动化。在计算机科学的许多领域,机器学习已经被证明在这样的任务中非常有用,然而,为了让它工作,我们需要一种使用源代码作为输入的方法。我们提出了一个简单的,但有意义的表示源代码的基础上,其抽象语法树和Doc 2 Vec嵌入算法。这种表示将源代码映射到一个固定长度的向量,该向量可用于各种上游任务-其中之一是错误预测。我们测量了这种方法本身的有效性,并将其有效性与仅基于代码度量的错误预测进行了比较。我们还试验了许多机器学习方法,以检查不同嵌入参数与不同机器学习模型之间的联系。我们的研究结果表明,这种表示提供了有意义的信息,因为它在大多数情况下提高了错误预测的准确性,并且总是至少与仅使用代码度量作为特征一样好。
2021-10-11 cs.SE
A Proof-Generating C Code Generator for ACL2 Based on a Shallow Embedding of C in ACL2
本文描述了一个用于ACL2的C代码生成器,它根据C在ACL2中的浅嵌入来识别C结构的ACL2表示,并将这些表示转换为所表示的C结构。代码生成器还生成断言C代码相对于ACL 2代码的正确性的ACL 2定理。代码生成器目前支持的C语言子集有限,但不断增长,已经足以满足一些有趣的程序。本文还对语言嵌入和代码生成提供了一个总体的观点。
2022-05-24 cs.LO cs.PL cs.SE
Embedding Java Classes with code2vec: Improvements from Variable Obfuscation
University of Waikato(怀卡托大学)
在软件工程的关键领域(如代码安全性)中,自动源代码分析可以从机器学习(ML)中受益。然而,许多标准ML方法需要数据的数字表示,并且不能直接应用于源代码。因此,为了启用ML,我们需要将源代码嵌入到数字特征向量中,同时尽可能保持代码的语义。code2vec是最近发布的一种嵌入方法,它使用方法名称预测的代理任务将Java方法映射到特征向量。然而,code2vec的实验表明,它学会了依赖变量名进行预测,这使得它很容易被错别字或对抗攻击所欺骗。此外,它只能嵌入单个Java方法,而不能嵌入整个方法集合,例如典型Java类中存在的方法,这使得难以在类级别执行预测(例如,用于识别恶意Java类)。这两个缺点都在本文提出的研究中得到解决。我们研究了在code2vec模型的训练过程中混淆变量名称的效果,以迫使它依赖于代码的结构而不是特定的名称,并考虑了一种通过聚合方法嵌入集来创建类级嵌入的简单方法。我们的研究结果,获得了一个具有挑战性的新的集合的源代码分类问题,表明混淆变量名称产生一个嵌入模型,既不受变量命名,更准确地反映代码语义。共享数据集、模型和代码,以便对源代码进行进一步的ML研究。
2020-04-06 cs.LG cs.PL cs.SE
How to get better embeddings with code pre-trained models? An empirical study
本文实证研究了五种代码预训练模型在四个软件工程分类任务上的嵌入质量,发现特殊标记嵌入不充分、预训练方式组合数据效果差,而聚合所有代码标记的向量表示可使仅解码器模型获得更优嵌入。
2023-11-14 cs.SE
Text Classification for Task-based Source Code Related Questions
有一个关键的需求是为开发人员的小任务自动生成代码。像StackOverflow这样的网站提供了一种简单的方法,通过提供小片段的解决方案,为开发人员想要编码的任何任务问题提供完整的答案。自然语言处理,特别是语音识别系统在解决和处理这些任务方面非常有帮助。在本文中,我们开发了一个双重深度学习模型:Seq2Seq和一个二元分类器,它接受意图(自然语言)和Python中的代码片段。我们在Seq2Seq模型中训练意图和代码话语,其中我们决定比较来自编码器的隐藏层嵌入用于表示意图的效果,并且类似地,使用解码器的隐藏层嵌入用于代码序列。然后,我们结合这两个嵌入,然后训练一个简单的二进制神经网络分类器模型,用于预测如果意图是正确回答的预测代码序列从seq2seq模型。我们发现,隐藏状态层的嵌入执行略好于常规的标准嵌入从构造的词汇表。除了StaQC数据库(由简单的基于任务代码片段的对组成)之外,我们还在CoNaLa数据集上进行了测试。我们根据经验确定,与使用seq2seq模型中的隐藏状态上下文向量相比,在Python中为代码片段使用额外的预训练嵌入较少基于上下文。
2021-10-31 cs.CL cs.LG cs.SE
Learning Program Embeddings to Propagate Feedback on Student Code
Stanford University(斯坦福大学)
提供反馈,既评估最终的工作,又给卡住的学生提供提示,对于从数千到数百万学生的大规模在线课程中的开放式作业来说是很困难的。我们引入了一个神经网络的方法来编码程序作为一个线性映射从嵌入的前置空间到嵌入的后置空间,并提出了一个算法的反馈规模使用这些线性映射作为功能。我们将我们的算法应用于Code.org Hour of Code和斯坦福大学CS1课程的评估,在那里我们将人类对学生作业的评论传播到数量级更多的提交。
2015-05-22 cs.LG cs.NE cs.SE
Toward Semi-Automatic Misconception Discovery Using Code Embeddings
North Carolina State University(北卡罗来纳州立大学)
了解学生的错误概念对有效的教学和评估非常重要。然而,手动发现这样的误解可能是费时费力的。自动化的误解发现可以通过突出学生数据中的模式来解决这些挑战,然后领域专家可以检查这些模式以识别误解。在这项工作中,我们提出了一种新的方法,从学生的程序代码在计算课程中的问题特定的误解的半自动发现,使用一个国家的最先进的代码分类模型。我们在基于块的编程数据集上训练模型,并使用学习的嵌入来聚类不正确的学生提交。我们发现这些集群对应于对问题的特定误解,并且不容易通过现有方法发现。我们还讨论了我们的方法的潜在应用,以及这些误解如何告知特定领域的见解到学生的学习过程。
2021-03-07 cs.CY cs.LG cs.SE
LSem2Vec: A Simple yet Effective Two-Stage Approach for Source Code Embedding
Macau University of Science and Technology(澳门科学技术大学);Macau University of Science and Technology Zhuhai MUST Science and Technology Research Institute(澳门科学技术大学珠海 MUST 科技研究院);Nanjing University(南京大学)
LSem2Vec是结合LLM与句子嵌入模型的两阶段源代码嵌入方法,无需特定任务训练,在三个多语言数据集上优于五种无监督基线,可推进软件工程领域发展。
2026-08-25 cs.AI cs.SE
Improve Language Modelling for Code Completion through Statement Level Language Model based on Statement Embedding Generated by BiLSTM
诸如RNN、LSTM或其他变体的语言模型已被广泛用作自然语言处理中的生成模型。近年来,将源代码看作自然语言,将源代码解析成一个符号序列,并使用LSTM等语言模型对该序列进行训练,得到一个生成模型来解决代码补全问题。然而,对于包含数百个语句的源代码,传统的LSTM模型或基于注意力的LSTM模型无法捕获源代码的长期依赖性。在本文中,我们提出了一种新的语句级语言模型(SLM),它使用BiLSTM为每个语句生成嵌入。SLM中采用标准的LSTM,以在上下文中对每个语句的嵌入进行筛选和累积,以帮助预测下一个代码。模型中还采用了语句级注意力机制。所提出的模型SLM是针对令牌级代码完成。在项目内和跨项目数据集上的实验表明,新提出的带有注意力机制(SLM)的语句级语言模型在令牌级代码完成任务中的性能优于其他现有模型.
2019-10-25 cs.SE
A Complex Java Code Generator for ACL2 Based on a Shallow Embedding of ACL2 in Java
本文根据ACL 2在Java中的浅嵌入,描述了一个将ACL 2结构转换为相应Java结构的代码生成器。从纯功能性ACL2代码开始,生成的Java代码展示了命令式和面向对象的特性,如破坏性更新、循环和重载。从ACL2到Java的整体转换相当复杂,包括几个ACL2到ACL2的预转换步骤,一个ACL2到Java的正确转换步骤,以及几个Java到Java的后转换步骤。实验表明,生成的Java代码并不比ACL2代码慢多少。代码生成器还可以识别某些Java构造的ACL 2表示,并将其转换为Java,从而预先运行基于Java在ACL 2中的浅嵌入的代码生成方法(即,走另一条路)。此代码生成器基于ACL 2在Java中的深度嵌入,构建并显著扩展了用于ACL 2的简单Java代码生成器。
2022-05-24 cs.LO cs.PL cs.SE
Code Clone Detection based on Event Embedding and Event Dependency
Hainan University(海南大学)
基于语义相似度的代码克隆检测方法在软件工程任务(例如,软件演化、软件重用)。传统的代码克隆检测技术更多地关注代码在语法层面的相似性,而对代码的语义相似性关注较少。结果,语义相似的候选代码被忽略。针对这一问题,提出了一种基于语义相似度的代码克隆检测方法.通过将代码看作是一系列相互依赖的连续发生的事件,我们设计了一个模型,即EDAM代码语义信息编码的基础上事件嵌入和事件依赖。EDAM模型采用事件嵌入的方法对程序语句的执行特性和语句间的数据依赖信息进行建模。通过这种方式,我们可以将程序语义信息嵌入到一个向量中,并使用该向量来检测语义相似的代码。实验结果表明,我们的EDAM模型在代码克隆检测方面的性能优于最先进的开源模型。
2021-11-28 cs.AI cs.SE
Measuring Impacts of Poisoning on Model Parameters and Embeddings for Large Language Models of Code
针对代码大语言模型的后门安全问题,本文通过分析CodeBERT、CodeT5的参数与嵌入,发现投毒样本的上下文嵌入存在显著模式,为代码LLM后门白盒检测提供支撑。
2024-05-19 cs.SE
LoRACode: LoRA Adapters for Code Embeddings
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);AWS GenAI(AWS生成人工智能)
针对代码嵌入在语义搜索中难以兼顾效率与性能的问题,提出基于 LoRA 的参数高效微调方法构建任务特定适配器,将可训练参数降至 2% 以下,在多语言代码检索任务上显著提升 MRR 并开源模型。
2025-06-02 cs.IR cs.LG cs.SE
Hierarchical Learning of Cross-Language Mappings through Distributed Vector Representations for Code
Singapore Management University(新加坡管理大学)
将用一种程序设计语言编写的程序翻译成另一种语言对于需要用不同语言实现功能的软件开发任务可能是有用的。虽然过去的研究已经考虑了这个问题,但它们可能是特定于语言语法的,或者是特定于某些类型的代码元素(例如,令牌、短语、API使用)。本文提出了一种新的方法来自动学习跨语言表示的各种结构化代码元素,可用于程序翻译。我们的关键思想是两个折叠:首先,我们规范化和丰富的代码令牌流与额外的结构和语义信息,并训练跨语言的向量表示的令牌(又名。基于word 2 vec的共享嵌入,word 2 vec是一种用于产生词嵌入的基于神经网络的技术;其次,从自底向上的分层地,我们为更高粒度级别的代码元素构建共享嵌入(例如,表达式、语句、方法)从其组成部分的嵌入中提取,然后根据嵌入之间的相似性在跨语言的代码元素之间建立映射。我们对9个软件项目的约40,000个Java和C#源文件的初步评估表明,我们的方法可以自动学习不同语言中各种代码元素的共享嵌入,并以合理的平均精度分数识别它们的跨语言映射。与现有的映射库API方法的工具相比,我们的方法可以准确地识别更多的映射。映射结果和代码可以在https://github.com/bdqnghi/hierarchical-programming-language-mapping上访问。我们相信,我们的想法,学习跨语言的向量表示与代码结构信息可以是一个有用的一步,自动程序翻译…
2018-03-13 cs.CL cs.LG cs.SE
Learning and Evaluating Contextual Embedding of Source Code
Indian Institute of Science(印度科学理工学院);Google Brain(谷歌大脑)
最近的研究在理解和改进源代码方面取得了令人印象深刻的成果,这是通过建立在为自然语言开发的机器学习技术上来实现的。自然语言理解的一个重大进步是随着预先训练的上下文嵌入的发展,例如BERT,它可以针对具有较少标记数据和训练预算的下游任务进行微调,同时实现更好的准确性。然而,还没有尝试获得高质量的源代码的上下文嵌入,并同时在多个程序理解任务上对其进行评估;这就是本文旨在缩小的差距。具体来说,首先,我们从GitHub上整理了一个庞大的、经过重复数据删除的740万个Python文件的语料库,我们用它来预训练CuBERT,这是一个开源的代码理解BERT模型;其次,我们创建了一个开源的基准测试,其中包括五个分类任务和一个程序修复任务,类似于之前文献中提出的代码理解任务。我们在基准测试任务上对CuBERT进行了微调,并将生成的模型与Word 2 Vec令牌嵌入的不同变体、BiLSTM和Transformer模型以及已发布的最先进模型进行了比较,结果表明CuBERT的性能优于所有模型,即使训练时间较短,标记的示例也较少。未来关于源代码嵌入的工作可以从重用我们的基准测试中受益,并将CuBERT模型作为一个强大的基线进行比较。
2020-08-17 cs.CL cs.LG cs.PL
Unleashing the Power of Compiler Intermediate Representation to Enhance Neural Program Embeddings
神经程序嵌入在一系列程序分析任务中表现出相当大的前景,包括克隆识别、程序修复、代码完成和程序合成。然而,大多数现有的方法直接从程序源代码生成神经程序嵌入,通过学习令牌,抽象语法树和控制流图等特征。本文重新审视如何利用编译器中间表示(IR)来改进程序嵌入。我们首先展示了简单而高效的方法,通过训练嵌入模型以及源代码和由默认优化级别(例如,-O2)。然后,我们介绍IRGen,一个框架的基础上遗传算法(GA),以确定(近)最佳序列的优化标志,可以显着提高嵌入质量。
2022-04-20 cs.SE
A Search-Based Testing Framework for Deep Neural Networks of Source Code Embedding
在过去的几年中,深度神经网络(DNN)一直在不断地扩展其在软件工程领域中的源代码处理任务的现实应用,例如,克隆检测、代码搜索、注释生成。虽然最近已经在图像和语音处理的背景下进行了相当多的DNN测试工作,但到目前为止,在源代码处理的背景下进行DNN测试的进展有限,表现出相当独特的特征和挑战。在本文中,我们提出了一个基于搜索的测试框架,用于源代码嵌入的DNN及其下游处理任务,如代码搜索。为了生成新的测试输入,我们采用流行的源代码重构工具来生成语义等价的变体。为了更有效的测试,我们利用DNN突变测试来指导测试方向。为了证明我们的技术的有用性,我们基于多种最先进的代码嵌入方法(即,Code2vec、Code2seq和CodeBERT)。测试结果表明,我们生成的对抗性样本平均可以将这些DNN的性能从5.41%降低到9.58%。通过使用我们生成的对抗样本重新训练DNN,DNN的鲁棒性平均可以提高23.05%。评估结果还表明,与其他方法相比,我们的对抗性测试生成策略对DNN的常规测试数据性能的负面影响最小(中位数为3.56%)。
2021-01-20 cs.SE
Hyperbolic Code Retrieval: A Novel Approach for Efficient Code Search Using Hyperbolic Space Embeddings
针对现有代码检索方法计算与内存效率低的问题,提出基于双曲空间嵌入的HyCoQA方法,通过QA匹配框架、双曲空间转换与铰链损失训练,实现比现有技术高3.5%-4%的检索性能。
2023-08-29 cs.SE
Combining Code Embedding with Static Analysis for Function-Call Completion
代码完成是集成开发环境(IDE)的一个重要特性。它允许开发人员更快地生成代码,特别是那些不完全熟悉API和其他代码的新手。以前关于代码完成的工作主要利用程序设计语言的静态类型系统或正在开发的项目或使用公共API的其他项目的代码历史。在这项工作中,我们提出了一种新的方法来改善当前的函数调用完成工具,通过学习独立的代码库,使用众所周知的自然语言处理模型,可以学习向量表示的源代码(代码嵌入)。我们的模型不是基于特定项目的历史数据进行训练的。相反,我们的方法允许学习高级概念及其在数千个项目中的关系。因此,所得到的系统能够提供不特定于特定项目或API的一般建议。此外,通过考虑完成调用的上下文,我们的方法建议与该上下文相关的函数调用。我们在一组培训期间看不到的开源项目上评估了我们的方法。结果表明,使用经过训练的模型以及基于静态类型分析的代码建议插件可以显著提高完成建议的正确性。
2020-10-31 cs.SE
SmartEmbed: A Tool for Clone and Bug Detection in Smart Contracts through Structural Code Embedding
以太坊已经成为一个广泛使用的平台,可以实现安全的、基于区块链的金融和商业交易。然而,以太坊的一个主要问题是其智能合约的安全性。智能合约中发现的许多错误和漏洞不仅给区块链的维护带来了挑战,而且还导致了严重的财务损失。有一个显着的需要,以更好地帮助开发人员检查智能合约,并确保其可靠性。在本文中,我们提出了一个Web服务工具,名为SmartEmbed,它可以帮助Solidity开发人员找到重复的合同代码和克隆相关的智能合约中的错误。我们的工具是基于代码嵌入和相似性检查技术。通过比较以太坊区块链中现有solidity代码的代码嵌入向量与已知bug之间的相似性,我们能够有效地识别用户给出的任何solidity代码的代码克隆和克隆相关bug,这有助于提高用户对其代码可靠性的信心。除了个人开发者的使用外,SmartEmbed还可以应用于大规模的智能合约研究。当应用于从以太坊区块链收集的超过22K个solidity合约时,我们发现solidity代码的克隆率接近90%,远高于传统软件,并且基于我们的小bug数据库可以高效准确地识别出194个克隆相关的bug,精度为96%。SmartEmbed可通过\url{http://www.smartembed.net}访问。SmartEmbed的演示视频位于\url{https://youtu.be/o9ylyOpYFq8}
2019-08-22 cs.SE
Learning Semantic Vector Representations of Source Code via a Siamese Neural Network
Iowa State University(爱荷华州立大学);Rensselaer Polytechnic Institute(伦斯勒理工学院);Massachusetts Institute of Technology(麻省理工学院);IBM
丰富的开源代码,加上深度学习在自然语言处理方面的最新进展,已经产生了机器学习在源代码中的有前途的新应用。在这项工作中,我们探索使用暹罗循环神经网络模型的Python源代码创建向量捕捉代码的语义。我们通过识别代码解决的编程竞赛问题来评估嵌入的质量。我们的模型显着优于一袋令牌嵌入,提供了有前途的结果,以改善代码嵌入,可用于未来的软件工程任务。
2019-04-26 cs.LG cs.PL cs.SE
Enhancing Cross-Language Code Translation via Task-Specific Embedding Alignment in Retrieval-Augmented Generation
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
本文提出在RAG中用CodeBLEU监督的对比学习对齐代码嵌入,以提升Fortran到C++翻译,在两个数据集上分别取得14%和15%的相对改进且无需微调语言模型。
2024-12-06 cs.AI cs.SE
An Evaluation of Context Length Extrapolation in Long Code via Positional Embeddings and Efficient Attention
Bosch Research and Technology Centre, Bangalore, India(博世研究与技术中心,班加罗尔,印度)
本文通过位置嵌入和高效注意力机制评估长代码中的上下文长度外推,旨在提升代码生成任务的泛化能力。
2026-02-25 cs.AI cs.SE
Social Life of Code: Modeling Evolution through Code Embedding and Opinion Dynamics
St. Petersburg State University(圣彼得堡国立大学);ITMO University(ITMO大学)
本文通过代码嵌入与意见动态理论,构建量化框架分析协作开发过程,揭示开发者社区中的共识形成、影响传播及知识共享机制。
2026-04-14 cs.SE cs.SI
Functional Consistency of LLM Code Embeddings: A Self-Evolving Data Synthesis Framework for Benchmarking
School of Computer Science and Engineering, Sun Yat-Sen University(中山大学计算机科学与工程学院);School of Software Engineering, Sun Yat-Sen University(中山大学软件工程学院);School of Artificial Intelligence, Sun Yat-Sen University(中山大学人工智能学院);Key Laboratory of Sustainable Tourism Smart Assessment Technology, Ministry of Culture and Tourism of China(文化和旅游部可持续旅游智能评估技术重点实验室);Department of Computer Science, City University of Hong Kong(香港城市大学计算机科学系)
本文提出面向功能的代码自进化数据合成框架,通过从单个代码实例生成四种变体构建更能反映功能差异的基准,实验证明在该数据上训练可显著提升嵌入模型在代码克隆检测、功能一致性识别和检索任务中的性能。
2025-08-27 cs.CL cs.PL cs.SE
CodeXEmbed: A Generalist Embedding Model Family for Multiligual and Multi-task Code Retrieval
Salesforce AI Research(Salesforce人工智能研究)
针对代码检索领域未被充分探索的问题,提出大规模通用嵌入模型家族CodeXEmbed,通过统一多语言和任务的训练流程,在CoIR基准上超越前SOTA模型超20%,并显著提升了端到端RAG性能。
2025-08-08 cs.AI cs.SE
ReqToCode: Embedding Requirements Traceability as a Structural Property of the Codebase
本文提出ReqToCode方法,通过将可追溯性元素直接嵌入代码库,使可追溯性成为编译时可验证的系统属性,而非外部文档任务。
2026-03-14 cs.SE
Learning Code-Edit Embedding to Model Student Debugging Behavior
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
提出基于编码器-解码器的模型,通过学习连续代码提交间的代码编辑嵌入并微调LLMs,捕捉学生调试行为,实现个性化代码建议并揭示常见错误模式。
2025-04-29 cs.CL cs.SE
On the Limitations of Embedding Based Methods for Measuring Functional Correctness for Code Generation
Carnegie Mellon University(卡内基梅隆大学)
本文分析了 CodeBERTScore 等基于嵌入的指标在代码生成评估中的局限性,发现其与功能正确性仅弱相关(0.16),但与编辑工作量强相关(0.72),揭示了现有评估指标的不足。
2024-04-26 cs.AI cs.SE
Topical: Learning Repository Embeddings from Source Code using Attention
JPMorgan Chase(摩根大通)
本研究提出新型深度神经网络Topical,借助注意力机制融合源代码、依赖图与脚本文本生成仓库级嵌入,在GitHub仓库训练后于自动标注等任务超越多个基线,兼具可扩展性与高效性,相关资源已开源。
2023-11-04 cs.AI cs.SE
kTrans: Knowledge-Aware Transformer for Binary Code Embedding
Tsinghua University(清华大学);Beijing University of Technology(北京工业大学);Huazhong University of Science and Technology(华中科技大学);Information Engineering University(信息工程大学)
针对现有二进制代码嵌入Transformer模型忽略汇编先验知识的问题,提出知识感知方法kTrans,通过显式知识输入与隐式知识预训练融合领域知识,在3项逆向工程下游任务上均优于SOTA方法。
2023-08-24 cs.AI cs.CR cs.SE
Embedding Code Contexts for Cryptographic API Suggestion:New Methodologies and Comparisons
Virginia Tech(弗吉尼亚理工大学);Microsoft Research(微软研究院)
尽管最近的研究努力,通过API推荐自动生成代码生成的愿景尚未实现。需要系统地解决API建议的准确性和表现力挑战。我们提出了一种新的基于神经网络的方法,Multi-HyLSTM的API推荐-针对密码相关的代码。Multi-HyLSTM利用程序分析来指导API嵌入和推荐。通过分析API方法的数据依赖路径,我们训练嵌入和专门的API推荐任务,准确地预测下一个API方法调用的多路径神经网络架构。我们解决了两个以前未报告的特定于程序设计语言的挑战,区分功能相似的API和捕获低频长期影响。我们的研究结果证实了我们的设计选择的有效性,包括程序分析引导的嵌入,多路径代码建议架构和低频远程增强序列学习,在前1位建议上具有高准确性。我们实现了91.41%的top-1准确率,而最先进的工具SLANG为77.44%。在对245个测试用例的分析中,与商业工具Codota相比,我们实现了88.98%的top-1推荐准确率,明显优于Codota的64.90%的准确率。我们将我们的数据和代码作为一个大型Java加密代码数据集发布。
2021-03-18 cs.AI cs.CR cs.SE
Embedding Drift in Code Vulnerability Models Under Intended Behaviour-Preserving Transformations
University of Waterloo(滑铁卢大学)
本研究针对代码漏洞模型在语义保持变换下的嵌入漂移问题,提出一种仅训练防御方法,将干净与变异表示投影更近,显著降低漏洞翻转率,但引入误报权衡。
2026-09-21 cs.SE
DDPT: Diffusion-Driven Prompt Tuning for Large Language Model Code Generation
University of Adelaide(阿德莱德大学)
本文提出扩散驱动提示调优方法DDPT,通过从高斯噪声学习生成最优提示嵌入,自动优化LLM代码生成的提示,实验表明其能有效提升提示优化效果。
2025-04-06 cs.AI cs.CL cs.LG
What You See is What it Means! Semantic Representation Learning of Code based on Visualization and Transfer Learning
最近在为NLP任务训练词嵌入方面的成功鼓励了对源代码的表示学习的研究浪潮,它建立在类似的NLP方法之上。总的目标是产生最大限度地捕捉程序语义的代码嵌入。现有技术的方法总是依赖于句法表示(即,原始词汇标记、抽象语法树或中间表示标记)来生成嵌入,这在文献中被批评为非鲁棒的或不可推广的。在这项工作中,我们研究了一种新的嵌入方法的基础上的直觉,源代码具有视觉模式的语义。我们进一步使用这些模式来解决识别语义代码克隆的突出挑战。我们提出了WYSIWIM(“What You See Is What It Means”)方法,其中源代码的视觉表示被馈送到来自计算机视觉领域的强大的预训练图像分类神经网络中,以受益于迁移学习的实际优势。我们评估所提出的嵌入方法的语义代码克隆识别的任务的两个变化:代码克隆检测(二进制分类问题),和代码分类(多分类问题)。我们通过在BigCloneBench(Java)和Open Judge(C)数据集上的实验表明,虽然简单,但我们的WYSIWIM方法与ASTNN或TBCNN等最先进的方法一样有效。我们进一步探讨了我们的方法中不同步骤的影响,如视觉表示或分类算法的选择,最终讨论这个研究方向的承诺和局限性。
2020-02-07 cs.SE
Embedding API Dependency Graph for Neural Code Generation
Shandong Normal University(山东师范大学);The University of Newcastle(纽卡斯尔大学);Big Data Center of Shandong Province(山东省大数据中心);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学)
从文本程序描述生成代码生成的问题一直被视为软件工程中的一个重大挑战。近年来,已经提出了许多基于深度学习的方法,其可以从文本程序描述的序列生成代码序列。然而,现有的方法忽略了API方法之间的全局关系,这对于理解API的使用是很重要的。在本文中,我们建议将API方法之间的依赖关系建模为API依赖图(ADG),并将图形嵌入到序列到序列(Seq 2Seq)模型中。除了现有的编码器-解码器结构,一个新的模块命名为“嵌入器”。通过这种方式,解码器可以利用全局结构依赖性和文本程序描述来预测目标代码。我们进行了广泛的代码生成实验上的三个公共数据集和两个程序设计语言(Python和Java)。我们提出的方法称为ADG-Seq 2Seq,与现有的最先进的方法相比有了显着的改进,并且随着目标代码长度的增加而保持其性能。广泛的消融测试表明,建议的ADG嵌入是有效的,优于基线。
2021-03-29 cs.AI cs.SE
CoCoSum: Contextual Code Summarization with Multi-Relational Graph Neural Network
源代码摘要是对代码片段的简短自然语言描述,可帮助开发人员更好地理解和维护源代码。为了减轻手动编写摘要的负担,自动代码摘要方面的工作激增。然而,大多数当代方法主要利用所概括的方法的边界内的信息(即,本地上下文),并忽略可能有助于代码摘要的更广泛的上下文。本文研究了两种全局上下文,即类内上下文和类间上下文,并提出了CoCoSUM:基于多关系图神经网络的上下文代码摘要模型。CoCoSUM首先将类名作为类内上下文来生成类语义嵌入。然后,相关的统一建模语言(UML)类图提取类间上下文,并编码到类关系嵌入使用一种新的多关系图神经网络(MRGNN)。类语义嵌入和类关系嵌入,以及来自代码令牌编码器和AST编码器的输出,被传递到配备有两级注意力机制的解码器,以生成高质量的、上下文感知的代码摘要。我们进行了大量的实验来评估我们的方法,并将其与其他自动代码摘要模型进行比较。实验结果表明,CoCoSUM是有效的,优于国家的最先进的方法。我们的源代码和实验数据在补充材料中提供,并将公开提供。
2021-07-05 cs.SE
Mining Program Properties From Neural Networks Trained on Source Code Embeddings
在本文中,我们提出了一种新的方法来挖掘不同的程序功能,通过分析的内部行为的深度神经网络训练的源代码。使用未标记的数据集的Java程序和三种不同的嵌入策略的方法在数据集中,我们训练每个程序嵌入的自动编码器,然后我们测试的新兴能力的内部神经元自主建设内部表示不同的程序功能。我们定义了三个受实际编程问题启发的二进制分类标签策略,以便测试每个神经元根据这些分类规则对程序进行分类的性能,表明一些神经元实际上可以检测不同的程序属性。我们还分析了选择作为输入的程序表示如何影响上述任务的性能。另一方面,我们感兴趣的是找到网络中信息量最大的神经元,而不管给定的任务是什么。为此,我们提出并评估了两种独立于任何属性的神经元排名方法。最后,我们将讨论如何将这些想法应用于不同的环境中,以简化程序员的工作,例如,如果包括在软件存储库或代码编辑器等环境中。
2021-03-09 cs.NE cs.SE
Checking Smart Contracts with Structural Code Embedding
智能合约越来越多地与区块链一起使用,以自动化金融和商业交易。然而,在许多合同中发现了许多错误和漏洞,这引起了人们对智能合同安全性的严重担忧,更不用说构建智能合同的区块链系统可能存在错误。因此,需要更好地维护智能合约代码并确保其高可靠性。在本文中,我们提出了一种自动化的方法来学习Solidity中智能合约的特征,这对于智能合约的克隆检测,错误检测和合约验证非常有用。我们的新方法是基于词嵌入和向量空间比较。我们将智能合约代码解析为具有代码结构信息的字流,转换代码元素(例如,语句、函数)转换为数字向量,这些数字向量应该对代码语法和语义进行编码,并比较编码代码的向量与已知错误之间的相似性,以识别潜在的问题。我们已经实现了一个原型,名为SmartEmbed的方法。实验结果表明,该工具可以有效地识别出Solidity代码中的大量重复实例,其中克隆率约为90%.代码克隆,如类型III甚至类型IV语义克隆也可以被准确地检测到。我们的工具可以识别超过1000个克隆相关的错误的基础上,我们的错误数据库有效和准确。我们的工具还可以帮助有效地验证任何给定的智能合约是否存在已知的错误,这有助于提高用户对合约可靠性的信心。匿名复制软件包可从以下网址访问:https://drive.google.com/file/d/1kauLT3y2IiHPkUlVx4FSTda-dVAyL4za/view? usp=sha…
2020-01-20 cs.SE
Implant Global and Local Hierarchy Information to Sequence based Code Representation Models
Peking University(北京大学)
利用深度学习技术进行源代码表示是一个重要的研究领域。已经有许多研究学习序列或结构信息的代码表示。但基于序列的模型和非序列模型都有其局限性。研究人员试图将结构信息整合到基于序列的模型中,但他们只挖掘了部分标记级别的分层结构信息。在本文中,我们分析了完整的分层结构如何影响代码序列中的令牌,并将这种影响抽象为代码令牌的一种属性,称为分层嵌入。层次嵌入进一步分为语句级全局层次和令牌级局部层次。此外,我们提出了层次Transformer(HiT),一个简单但有效的序列模型,将完整的分层嵌入的源代码到一个Transformer模型。我们证明了层次嵌入学习代码结构的有效性与可变范围检测任务的实验。进一步的评估表明,HiT优于SOTA基线模型,并在涉及8个不同数据集的分类和生成任务的三个源代码相关任务上显示出稳定的训练效率。
2023-03-14 cs.AI cs.SE
BERT2Code: Can Pretrained Language Models be Leveraged for Code Search?
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
每天都有数百万个重复的代码片段被提交到代码库中。使用简单的自然语言查询从这些大型代码库中进行搜索将允许程序员更容易和更快地构思、原型化和开发。虽然现有的方法在自然语言描述包含来自代码的关键字的代码搜索方面表现出了良好的性能,但是在基于自然语言查询的语义含义和代码的语义结构的代码搜索方面仍然远远落后。近年来,自然语言和程序设计语言研究团体都创建了将它们嵌入向量空间的技术。在这项工作中,我们利用这些嵌入模型的有效性,使用一个简单的,轻量级的2层神经网络的语义代码搜索任务。我们表明,我们的模型学习嵌入空间之间的内在关系,并进一步探讨了改进的范围,通过实证分析的嵌入方法。在这个分析中,我们表明,代码嵌入模型的质量是我们的模型的性能的瓶颈,并讨论在这方面的未来研究方向。
2021-04-16 cs.CL cs.SE
Beyond Embeddings: Interpretable Feature Extraction for Binary Code Similarity
Defence Research and Development Canada(加拿大国防研究与发展署);McGill University(麦吉尔大学)
研究二进制代码相似性检测问题,利用基于语言模型的智能体对汇编代码结构化推理分析生成可解释特征,无需匹配训练,在跨架构和跨优化任务中召回率表现良好,结合嵌入优于现有技术,实现准确性、可扩展性和可解释性共存。
2026-07-13 cs.AI cs.CR cs.SE
Code Search based on Context-aware Code Translation
Nanjing University(南京大学);Purdue University(普渡大学)
代码搜索是开发人员在软件开发期间广泛使用的技术。它根据开发人员的查询,从大型代码语料库中为他们提供语义相似的实现。现有技术利用深度学习模型来分别构造代码片段和查询的嵌入表示。抽象语法树、控制流图等特性,通常用于表示代码片段的语义。然而,这些特性的相同结构不一定表示代码片段的相同语义,反之亦然。此外,这些技术利用将查询词/代码令牌映射到嵌入表示的多个不同的词映射函数。这会导致查询和代码片段中相同单词/标记的不同嵌入。我们提出了一种新的上下文感知的代码翻译技术,将代码片段转换为自然语言描述(称为翻译)。代码翻译是在机器指令上进行的,其中上下文信息是通过模拟指令的执行来收集的。我们进一步设计了一个共享的词映射功能,使用一个单一的词汇表生成嵌入的翻译和查询。我们评估我们的技术,称为TranCS,CodeSearchNet语料库与1,000查询的有效性。实验结果表明,TranCS显着优于国家的最先进的技术的49.31%至66.50%的MRR(平均倒数排名)。
2022-02-16 cs.AI cs.SE
Novel Preprocessing Technique for Data Embedding in Engineering Code Generation Using Large Language Model
Ansys(安西斯公司)
该研究提出数据拆分修复、可信度评估、IKEC提示等四项预处理技术,结合RAG方法,在RedHawk-SC案例的MapReduce代码生成任务中取得73.33%的正确行占比。
2024-01-30 cs.CL cs.SE
deGraphCS: Embedding Variable-based Flow Graph for Neural Code Search
National University of Defense Technology(国防科技大学);Monash University(莫纳什大学)
随着公共代码库数量的迅速增加,开发人员对使用自然语言检索精确的代码片段有着极大的需求。尽管现有的基于深度学习的方法(例如,DeepCS和MMAN)提供了端到端解决方案(即,接受自然语言作为查询并示出直接从代码语料库检索的相关代码片段),但是大规模储存库中的代码搜索的准确性仍然受到代码表示的限制(例如,AST)和建模(例如,直接融合注意阶段的特征)。在本文中,我们提出了一种新的可学习的深度图代码搜索(calleddeGraphCS),源代码转换为基于变量的流图的基础上的中间表示技术,它可以更精确地建模代码语义相比,直接处理代码作为文本或使用语法树表示。此外,我们提出了一个精心设计的图优化机制,以改善代码表示,并应用改进的门控图神经网络模型变量为基础的流图。为了评估deGraphCS的有效性,我们从GitHub上收集了一个包含41,152个C语言代码片段的大规模数据集,并复制了几种典型的深度代码搜索方法进行比较。此外,我们设计了一个定性的用户研究,以验证我们的方法的实用价值。实验结果表明,deGraphCS能够达到最先进的性能,准确地检索出满足用户需求的代码片段。
2021-10-16 cs.AI cs.SE
ExecRetrieval: Measuring the Functional-Correctness Gap in Code-Embedding Retrieval
Kennesaw State University(肯尼索州立大学)
本研究提出 ExecRetrieval 基准,含 939 个 Python 任务及配对的规范实现与有缺陷干扰项,评估代码嵌入检索系统,发现其功能正确性差距显著,exec@1 仅 0.331,多数排名第 1 的缺失项为有缺陷变体。
2026-09-04 cs.AI cs.CL cs.IR
MoSE: Hierarchical Self-Distillation Enhances Early Layer Embeddings
Apple(苹果公司)
MoSE通过自蒸馏机制增强早期层嵌入,实现代码检索与分类任务中的性能与准确性的平衡。
2026-01-25 cs.AI cs.CL cs.PL