A Topological Perspective on Demystifying GNN-Based Link Prediction Performance
Vanderbilt University(范德堡大学);Snap Inc.(Snap公司)
该研究从拓扑视角探究GNN链路预测性能的节点差异,提出拓扑集中度(TC)及近似TC指标,发现拓扑分布偏移问题,并探索通过边重加权提升TC以优化链路预测性能的方法。
2023-10-06 cs.LG cs.SI
Demystifying the Neural Tangent Kernel from a Practical Perspective: Can it be trusted for Neural Architecture Search without training?
Seoul National University(首尔国立大学);NAVER AI Lab(NAVER人工智能实验室);NAVER CLOVA
在神经架构搜索(NAS)中,降低架构评估的成本仍然是最关键的挑战之一。在众多绕过每个候选架构的训练以收敛以进行评估的努力中,神经切线核(NTK)正成为一个有前途的理论框架,其可用于在初始化时估计神经架构的性能。在这项工作中,我们重新审视了几个初始化的指标,可以从NTK,并揭示其关键的缺点。然后,通过对NTK时间演化的实证分析,我们推断出现代神经架构表现出高度的非线性特征,使得基于NTK的度量在没有一定量的训练的情况下无法可靠地估计架构的性能。考虑到这种非线性特性,我们引入了标签梯度对齐(LGA),一种新的基于NTK的度量,其固有的配方使其能够捕获大量的非线性优势,目前在现代神经架构。通过最小的训练量,LGA获得了与架构的训练后测试准确性有意义的等级相关性。最后,我们证明了LGA,辅以几个时代的训练,成功地指导现有的搜索算法,以显着降低搜索成本,以实现有竞争力的搜索性能。该代码可从以下网址获取:https://github.com/nutellamok/DemystifyingNTK。
2022-03-28 cs.AI cs.LG
A Literature Study of Embeddings on Source Code
KTH Royal Institute of Technology(瑞典皇家理工学院)
自然语言处理在词嵌入技术(如word2vec)取得成功后有了巨大的进步。最近,同样的想法已经应用在源代码上,取得了令人鼓舞的结果。在这个调查中,我们的目标是收集和讨论词嵌入技术在程序和源代码中的使用。本调查中的文章是通过询问相关工作的作者并在Google Scholar上进行广泛搜索而收集的。每篇文章分为五类:1。标记的嵌入2.函数或方法的嵌入3.嵌入方法调用的序列或集合4.二进制代码的嵌入5.其他嵌入我们还提供了实验数据的链接,并展示了一些显着的可视化代码嵌入。总之,词嵌入已经成功地应用于不同粒度的源代码。通过访问无数的开源存储库,我们看到了未来在源代码上应用其他数据驱动的自然语言处理技术的巨大潜力。
2019-04-05 cs.LG cs.PL cs.SE
Embedding Java Classes with code2vec: Improvements from Variable Obfuscation
University of Waikato(怀卡托大学)
在软件工程的关键领域(如代码安全性)中,自动源代码分析可以从机器学习(ML)中受益。然而,许多标准ML方法需要数据的数字表示,并且不能直接应用于源代码。因此,为了启用ML,我们需要将源代码嵌入到数字特征向量中,同时尽可能保持代码的语义。code2vec是最近发布的一种嵌入方法,它使用方法名称预测的代理任务将Java方法映射到特征向量。然而,code2vec的实验表明,它学会了依赖变量名进行预测,这使得它很容易被错别字或对抗攻击所欺骗。此外,它只能嵌入单个Java方法,而不能嵌入整个方法集合,例如典型Java类中存在的方法,这使得难以在类级别执行预测(例如,用于识别恶意Java类)。这两个缺点都在本文提出的研究中得到解决。我们研究了在code2vec模型的训练过程中混淆变量名称的效果,以迫使它依赖于代码的结构而不是特定的名称,并考虑了一种通过聚合方法嵌入集来创建类级嵌入的简单方法。我们的研究结果,获得了一个具有挑战性的新的集合的源代码分类问题,表明混淆变量名称产生一个嵌入模型,既不受变量命名,更准确地反映代码语义。共享数据集、模型和代码,以便对源代码进行进一步的ML研究。
2020-04-06 cs.LG cs.PL cs.SE
Demystifying Trajectory Recovery From Ash: An Open-Source Evaluation and Enhancement
University of New South Wales(新南威尔士大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61研究院);Cyber Security CRC(网络安全合作研究中心)
本文复现并开源评估从匿名聚合数据中恢复轨迹的攻击,提出多项增强使准确率最高提升16%,并支持在线攻击,证明聚合 alone 不足以保护隐私。
2024-10-01 cs.CR cs.LG
SCELMo: Source Code Embeddings from Language Models
The University of Edinburgh(爱丁堡大学);Google Research(谷歌研究院)
在计算机程序中连续嵌入令牌已被用于支持各种软件开发工具,包括可读性、代码搜索和程序修复。上下文嵌入在自然语言处理中很常见,但以前没有在软件工程中应用。我们引入了一套新的深度上下文化的词表示的计算机程序的基础上语言模型。我们使用Peters et al(2018)的ELMo(embeddings from语言模型)框架训练了一组嵌入。我们调查这些嵌入是否是有效的,当微调的下游任务的错误检测。我们表明,即使是在相对较小的程序语料库上训练的低维嵌入也可以提高最先进的机器学习系统的缺陷检测能力。
2020-04-28 cs.LG cs.SE
Learning and Evaluating Contextual Embedding of Source Code
Indian Institute of Science(印度科学理工学院);Google Brain(谷歌大脑)
最近的研究在理解和改进源代码方面取得了令人印象深刻的成果,这是通过建立在为自然语言开发的机器学习技术上来实现的。自然语言理解的一个重大进步是随着预先训练的上下文嵌入的发展,例如BERT,它可以针对具有较少标记数据和训练预算的下游任务进行微调,同时实现更好的准确性。然而,还没有尝试获得高质量的源代码的上下文嵌入,并同时在多个程序理解任务上对其进行评估;这就是本文旨在缩小的差距。具体来说,首先,我们从GitHub上整理了一个庞大的、经过重复数据删除的740万个Python文件的语料库,我们用它来预训练CuBERT,这是一个开源的代码理解BERT模型;其次,我们创建了一个开源的基准测试,其中包括五个分类任务和一个程序修复任务,类似于之前文献中提出的代码理解任务。我们在基准测试任务上对CuBERT进行了微调,并将生成的模型与Word 2 Vec令牌嵌入的不同变体、BiLSTM和Transformer模型以及已发布的最先进模型进行了比较,结果表明CuBERT的性能优于所有模型,即使训练时间较短,标记的示例也较少。未来关于源代码嵌入的工作可以从重用我们的基准测试中受益,并将CuBERT模型作为一个强大的基线进行比较。
2020-08-17 cs.CL cs.LG cs.PL
LLM-Based Embeddings for Program Analysis and Optimization
该研究首次将LLMCompiler生成的程序嵌入应用于程序分析与优化任务,结合源与IR代码嵌入在算法分类上错误率1.54%、较SOTA提升12%,为代码优化提供新方向。
2026-08-11 cs.LG cs.PL
Whitespaces Don't Lie: Feature-Driven and Embedding-Based Approaches for Detecting Machine-Generated Code
Computer Science and Engineering(计算机科学与工程);Shahjalal University of Science and Technology(沙赫拉尔大学科学与技术);University of Texas at El Paso(德克萨斯大学埃尔帕索分校)
本文提出基于特征和嵌入的方法,用于区分人类和机器生成的代码,实验表明特征方法在可解释性和性能上表现优异,而嵌入方法在语义层面具有竞争力。
2026-01-27 cs.LG cs.SE
Learning K-way D-dimensional Discrete Code For Compact Embedding Representations
UCLA(加州大学洛杉矶分校);NEC Labs America(NEC美国实验室)
诸如词嵌入的嵌入方法已经成为包含离散结构的许多应用的支柱。传统的嵌入方法直接将每个符号与连续的嵌入向量相关联,这相当于基于离散符号的“独热”编码来应用线性变换。尽管其简单性,这种方法产生的参数数量与词汇量呈线性增长,并可能导致过拟合。在这项工作中,我们提出了一个更紧凑的K路D维离散编码方案,以取代“独热”编码。在“KD编码”中,每个符号由$D$维代码表示,并且其每个维度具有$K$的基数。最终的符号嵌入向量可以通过组合代码嵌入向量来生成。为了学习语义上有意义的代码,我们推导出一个宽松的离散优化技术的基础上随机梯度下降。通过采用新的编码系统,参数化的效率可以显着提高(从线性到对数),这也可以减轻过拟合问题。在我们的语言建模实验中,嵌入参数的数量可以减少97%,同时实现类似或更好的性能。
2017-12-10 cs.AI cs.LG stat.ML
Learning K-way D-dimensional Discrete Codes for Compact Embedding Representations
University of California, Los Angeles(加州大学洛杉矶分校);NEC Laboratories America(美国NEC实验室)
传统的嵌入方法直接将每个符号与连续的嵌入向量相关联,这相当于基于离散符号的“独热”编码来应用线性变换。尽管其简单性,这种方法产生的参数的数量与词汇量的大小线性增长,并可能导致过拟合。在这项工作中,我们提出了一个更紧凑的K路D维离散编码方案,以取代“独热”编码。在所提出的“KD编码”中,每个符号由基数为$K$的$D$维码表示,并且通过合成码嵌入向量来生成最终符号嵌入向量。为了端到端学习语义上有意义的代码,我们推导出一种基于随机梯度下降的松弛离散优化方法,该方法可以普遍应用于任何具有嵌入层的可微计算图。在我们对从自然语言处理到图卷积网络的各种应用的实验中,嵌入层的总大小可以减少高达98%,同时实现类似或更好的性能。
2018-06-21 cs.AI cs.LG stat.ML
Unsupervised Learning of General-Purpose Embeddings for Code Changes
Higher School of Economics(高等经济大学);JetBrains Research(JetBrains研究院)
将机器学习应用于需要代码更改的任务需要它们的数值表示。在这项工作中,我们提出了一种在预训练期间获得这种表示的方法,并在两个不同的下游任务上对其进行评估-将更改应用于代码和提交消息生成。在预训练期间,模型学习以正确的方式应用给定的代码更改。此任务只需要代码更改本身,这使得它不受监督。在应用代码更改的任务中,我们的模型在准确性上比基线模型高出5.9个百分点。至于提交消息生成,我们的模型展示了与针对此特定任务训练的监督模型相同的结果,这表明它可以很好地编码代码更改,并且可以通过在更大的易于收集的代码更改数据集上进行预训练来改进。
2021-07-08 cs.LG cs.SE
Identifier-Free Code Embedding Models for Scalable Search
The MITRE Corporation(MITRE公司)
本文提出无标识码的代码嵌入模型,用于在二进制反向工程中实现双向关联,通过对比学习优化模型性能,优于现有方法并能泛化到未显式训练的任务。
2026-10-16 cs.CR cs.LG cs.SE
On the Embeddings of Variables in Recurrent Neural Networks for Source Code
HSE University(高等经济大学)
源代码处理在很大程度上依赖于自然语言处理(NLP)中广泛使用的方法,但涉及需要考虑以实现更高质量的细节。这种特殊性的一个例子是,变量的语义不仅由其名称定义,还由变量出现的上下文定义。在这项工作中,我们开发了动态嵌入,一个经常性的机制,调整学习的变量的语义时,它获得更多的信息,变量在程序中的作用。我们表明,使用所提出的动态嵌入显着提高了递归神经网络的性能,在代码完成和错误修复任务。
2021-04-27 cs.CL cs.LG cs.SE
Interpretable ICD Code Embeddings with Self- and Mutual-Attention Mechanisms
Duke University(杜克大学);InfiniaML, Inc.(InfiniaML公司)
我们提出了一种新颖的和可解释的嵌入方法来表示疾病和相关健康问题的国际统计分类代码(即,ICD代码)。该方法考虑了疾病领域内的自我注意机制和疾病与程序之间的相互注意机制。该框架捕捉了疾病代码和与入院相关的程序之间的临床关系,并根据诊断的疾病预测程序。一个自我注意网络被学习来融合每次入院的疾病嵌入。融合的疾病嵌入和程序嵌入之间的相似性表明哪种程序可能被推荐。此外,当学习ICD代码的嵌入时,每次入院内疾病和程序之间的最佳传输被计算为嵌入的正则化器。最佳运输提供了疾病和程序之间的相互注意地图,这抑制了它们的临床关系中的模糊性。所提出的方法实现了临床可解释的ICD代码的嵌入,并优于最先进的嵌入方法在程序推荐。
2019-06-13 cs.LG stat.AP
Complexity-based code embeddings
University Politehnica of Bucharest(巴尔干理工大学)
本文提出基于r-复杂度的代码嵌入方法,实现XGBoost算法在多标签数据集上的高F1分数表现。
2026-01-01 cs.AI cs.LG
Evaluation of Embeddings of Laboratory Test Codes for Patients at a Cancer Center
City of Hope National Medical Center(希望之城国家医疗中心)
实验室测试结果是患者电子健康记录(EHR)的重要且通常高维的组成部分。我们训练嵌入表示(通过Word2Vec和GloVe),用于来自癌症中心约80,000名患者的EHR的实验室测试的LOINC代码。为了包含有关实验室测试结果的信息,我们还对LOINC代码与指示结果正常或异常的符号的级联进行训练嵌入。我们观察到在我们的数据上训练的LOINC嵌入之间有几个临床上有意义的相似性。对于具有异常代码的LOINC的串联的嵌入,我们评估了死亡率预测任务的性能和保持有序性属性的能力:即具有正常结果的实验室测试应该更类似于异常而不是非常异常。
2019-08-01 cs.CL cs.CY cs.LG
Language Agnostic Code Embeddings
Cohere For AI;MIT(麻省理工学院);IBM Research(IBM研究院)
本文系统研究多语言代码嵌入,发现其包含语言特定与语言无关两个成分,并证明去除语言特定成分可显著提升代码检索性能,MRR绝对提升最高达17。
2023-10-25 cs.CL cs.LG
Text Classification for Task-based Source Code Related Questions
有一个关键的需求是为开发人员的小任务自动生成代码。像StackOverflow这样的网站提供了一种简单的方法,通过提供小片段的解决方案,为开发人员想要编码的任何任务问题提供完整的答案。自然语言处理,特别是语音识别系统在解决和处理这些任务方面非常有帮助。在本文中,我们开发了一个双重深度学习模型:Seq2Seq和一个二元分类器,它接受意图(自然语言)和Python中的代码片段。我们在Seq2Seq模型中训练意图和代码话语,其中我们决定比较来自编码器的隐藏层嵌入用于表示意图的效果,并且类似地,使用解码器的隐藏层嵌入用于代码序列。然后,我们结合这两个嵌入,然后训练一个简单的二进制神经网络分类器模型,用于预测如果意图是正确回答的预测代码序列从seq2seq模型。我们发现,隐藏状态层的嵌入执行略好于常规的标准嵌入从构造的词汇表。除了StaQC数据库(由简单的基于任务代码片段的对组成)之外,我们还在CoNaLa数据集上进行了测试。我们根据经验确定,与使用seq2seq模型中的隐藏状态上下文向量相比,在Python中为代码片段使用额外的预训练嵌入较少基于上下文。
2021-10-31 cs.CL cs.LG cs.SE
Learning Program Embeddings to Propagate Feedback on Student Code
Stanford University(斯坦福大学)
提供反馈,既评估最终的工作,又给卡住的学生提供提示,对于从数千到数百万学生的大规模在线课程中的开放式作业来说是很困难的。我们引入了一个神经网络的方法来编码程序作为一个线性映射从嵌入的前置空间到嵌入的后置空间,并提出了一个算法的反馈规模使用这些线性映射作为功能。我们将我们的算法应用于Code.org Hour of Code和斯坦福大学CS1课程的评估,在那里我们将人类对学生作业的评论传播到数量级更多的提交。
2015-05-22 cs.LG cs.NE cs.SE
On the Role of Pre-trained Embeddings in Binary Code Analysis
Max Planck Institute for Solar System Research(马克斯·普朗克太阳系研究所)
本文批判性探索预训练嵌入在二进制代码分析中的作用,通过120万函数语料库在五个下游任务评估发现,足够标记数据时嵌入性能相似,无预训练端到端学习平均最佳,并得出嵌入与端到端学习的适用指导方针。
2025-02-12 cs.AI cs.LG
Seamlessly Integrating Tree-Based Positional Embeddings into Transformer Models for Source Code Representation
Adam Mickiewicz University(亚当·密茨凯维奇大学)
针对传统Transformer位置嵌入无法捕捉源代码层次结构的问题,提出基于AST的树状位置嵌入方法增强CodeBERTa模型,经MLM预训练和克隆检测任务验证,多项指标均优于基线。
2025-07-05 cs.LG
CMSAOne@Dravidian-CodeMix-FIRE2020: A Meta Embedding and Transformer model for Code-Mixed Sentiment Analysis on Social Media Text
International Institute of Information Technology - Hyderabad (IIIT-Hyderabad)(海得拉巴国际信息技术学院(IIIT-Hyderabad))
语码混用是一种常见的语言现象,它是指在一个话语或句子中使用多种语言。CM主要在各种社交媒体平台和非正式对话中进行。情感分析是自然语言处理中的一个基本步骤,在单语文本中得到了很好的研究。语码混合由于其非标准的表示方式给情感分析带来了挑战。本文提出了一种基于Transformer的Meta嵌入方法,用于对Dravidian代码混合数据集进行情感分析。在我们的方法中,我们使用Meta嵌入来捕获富文本表示。我们将所提出的方法用于任务:“代码混合文本中的达罗毗荼语的情感分析”,并且对于给定的达罗毗荼语代码混合数据集,它实现了$0.58$和$0.66$的F1得分。代码在Github https://github.com/suman101112/fire-2020-Dravidian-CodeMix中提供。
2021-01-22 cs.CL cs.LG
CS-Embed at SemEval-2020 Task 9: The effectiveness of code-switched word embeddings for sentiment analysis
University of Birmingham(伯明翰大学);Birmingham City University(伯明翰城市大学)
社交媒体帖子的情感分析的日益普及和应用自然导致了对以多种语言撰写的帖子的情感分析,这种做法被称为代码切换。虽然最近对代码转换帖子的研究集中在使用多语言词嵌入上,但这些嵌入并没有在代码转换数据上进行训练。在这项工作中,我们提出了在代码切换推文上训练的词嵌入,特别是那些使用西班牙语和英语的推文,称为西班牙式英语。我们探索嵌入空间,以发现它们如何捕捉两种语言中单词的含义。我们通过参加SemEval 2020任务9:~ \emph{Sentiment Analysis on Code-Mixed Social Media Text}来测试这些嵌入的有效性。我们利用它们来训练情感分类器,其F-1得分为0.722。这高于0.656的比赛基线,我们的团队(codalab用户名\emph{francesita})在29个参赛团队中排名第14,击败了基线。
2020-09-07 cs.CL cs.LG cs.NE
Unifying Heterogeneous Electronic Health Records Systems via Text-Based Code Embedding
Graduate School of AI, KAIST(韩国科学技术院人工智能研究生院);MIT(麻省理工学院);Asan Medical Center, University of Ulsan College of Medicine(蔚山大学医学院峨山医学中心)
EHR系统缺乏表示医学概念的统一代码系统,这成为将深度学习模型大规模部署到多个诊所和医院的障碍。为了克服这个问题,我们引入了基于描述的嵌入,DescEmb,代码不可知的表示学习框架EHR。DescEmb利用神经语言理解模型的灵活性,使用文本描述嵌入临床事件,而不是直接将每个事件映射到专用嵌入。DescEmb在广泛的实验中表现优于传统的基于代码的嵌入,特别是在zero-shot转移任务(从一家医院到另一家医院)中,并且能够为异构EHR数据集训练单个统一模型。
2022-01-17 cs.CL cs.LG
Text and Code Embeddings by Contrastive Pre-Training
OpenAI(OpenAI(OpenAI公司))
文本嵌入在诸如语义搜索和计算文本相似度等许多应用中是有用的特征。以前的工作通常训练为不同用例定制的模型,这些用例在数据集选择、训练目标和模型架构方面各不相同。在这项工作中,我们证明了在大规模的无监督数据上进行对比预训练可以获得高质量的文本和代码矢量表示。同样的无监督文本嵌入在线性探针分类中实现了新的最先进的结果,也显示出令人印象深刻的语义搜索能力,有时甚至与微调模型竞争。在平均超过7个任务的线性探针分类准确率上,我们最好的无监督模型分别比以前最好的无监督和有监督文本嵌入模型相对提高了4%和1.8%。相同的文本嵌入在大规模语义搜索上进行评估时,在MSMARCO、Natural Questions和TriviaQA基准测试中,分别比以前最好的无监督方法提高了23.4%、14.7%和10.6%。与文本嵌入类似,我们在(文本,代码)对上训练代码嵌入模型,在代码搜索上获得了20.8%的相对改进。
2022-01-24 cs.CL cs.LG
DoDo-Code: an Efficient Levenshtein Distance Embedding-based Code for 4-ary IDS Channel
Center for Applied Mathematics, KL-AAGDM(应用数学中心);State Key Laboratory of Synthetic Biology(合成生物学国家重点实验室);Tianjin University(天津大学)
DoDo-Code通过深度Levenshtein距离嵌入设计高码率单IDS纠错码,提升短长度码字的存储密度。
2025-12-12 cs.IT cs.LG math.IT
Decoding Data Quality via Synthetic Corruptions: Embedding-guided Pruning of Code Data
UC Los Angeles(加州大学洛杉矶分校);FAIR at Meta(Meta 基础人工智能研究院);DatologyAI
本文提出 SCIP 方法,利用合成损坏分析低质量代码的嵌入特征并设计剪枝指标,在 HumanEval 和 MBPP 上优于现有嵌入方法,最高提升 3%。
2023-12-05 cs.AI cs.CL cs.LG
Acoustic Word Embedding System for Code-Switching Query-by-example Spoken Term Detection
Duke Kunshan University(昆山杜克大学);Wuhan University(武汉大学);Lenovo Research(联想研究院);Sun Yat-sen University(中山大学)
在本文中,我们通过示例口语词检测提出了一种基于深度卷积神经网络的语码切换查询声学词嵌入系统。与以前的配置不同,我们将两种语言的音频数据结合起来进行训练,而不是只使用一种语言。我们将关键词模板和搜索内容的声学特征转换为固定维向量,并计算关键词片段和搜索内容片段之间的距离,以滑动的方式获得。一个辅助的可变不变损失也适用于同一个词,但不同的扬声器内的训练数据。该策略用于防止提取器将不期望的说话者或口音相关信息编码到声学词嵌入中。实验结果表明,我们提出的系统产生有前途的搜索结果在代码切换测试场景。随着模板数目的增加和可变不变损失的引入,搜索性能得到了进一步的提高。
2020-05-24 cs.CL cs.LG eess.AS