BioConceptVec: creating and evaluating literature-based biomedical concept embeddings on a large scale
National Center for Biotechnology Information (NCBI), National Library of Medicine (NLM), National Institutes of Health (NIH)(美国国立卫生研究院国立医学图书馆国家生物技术信息中心)
捕获相关生物学概念的语义,如基因和突变,对于计算生物学中的许多研究任务,如蛋白质-蛋白质相互作用检测,基因-药物关联预测和基于生物医学文献的发现具有重要意义。在这里,我们建议利用最先进的文本挖掘工具和机器学习模型,通过向量表示(又名。嵌入)的超过400,000生物学概念中提到的整个PubMed摘要。我们学习的嵌入,即BioConceptVec,可以根据文献中的周围上下文信息捕获相关概念,这超出了精确的术语匹配或基于共现的方法。BioConceptVec已在多个生物信息学任务中进行了全面评估,这些任务包括来自9个不同生物数据集的2500多万个实例。评估结果表明,BioConceptVec在所有任务中具有比现有方法更好的性能。最后,BioConceptVec通过https://github.com/ncbi-nlp/BioConceptVec免费提供给研究社区和公众。
2019-12-23 cs.CL cs.IR cs.LG
Re-Examining Linear Embeddings for High-Dimensional Bayesian Optimization
Facebook(脸书);Facebook AI Research(脸书人工智能研究院)
贝叶斯优化(BO)是一种流行的方法来优化昂贵的评估黑箱函数。BO中的一个重大挑战是在保持样本效率的同时扩展到高维参数空间。现有文献中考虑的解决方案是将高维空间嵌入到低维流形中,通常通过随机线性嵌入。在本文中,我们确定了几个关键问题和误解使用线性嵌入BO。我们从文献中研究线性嵌入的性质,并表明当前方法中的一些设计选择对其性能产生不利影响。我们的经验表明,适当地解决这些问题显着提高了线性嵌入BO的一系列问题,包括学习机器人运动的步态政策的功效。
2020-10-22 cs.LG stat.ML
Interpretable ICD Code Embeddings with Self- and Mutual-Attention Mechanisms
Duke University(杜克大学);InfiniaML, Inc.(InfiniaML公司)
我们提出了一种新颖的和可解释的嵌入方法来表示疾病和相关健康问题的国际统计分类代码(即,ICD代码)。该方法考虑了疾病领域内的自我注意机制和疾病与程序之间的相互注意机制。该框架捕捉了疾病代码和与入院相关的程序之间的临床关系,并根据诊断的疾病预测程序。一个自我注意网络被学习来融合每次入院的疾病嵌入。融合的疾病嵌入和程序嵌入之间的相似性表明哪种程序可能被推荐。此外,当学习ICD代码的嵌入时,每次入院内疾病和程序之间的最佳传输被计算为嵌入的正则化器。最佳运输提供了疾病和程序之间的相互注意地图,这抑制了它们的临床关系中的模糊性。所提出的方法实现了临床可解释的ICD代码的嵌入,并优于最先进的嵌入方法在程序推荐。
2019-06-13 cs.LG stat.AP
Learning K-way D-dimensional Discrete Codes for Compact Embedding Representations
University of California, Los Angeles(加州大学洛杉矶分校);NEC Laboratories America(美国NEC实验室)
传统的嵌入方法直接将每个符号与连续的嵌入向量相关联,这相当于基于离散符号的“独热”编码来应用线性变换。尽管其简单性,这种方法产生的参数的数量与词汇量的大小线性增长,并可能导致过拟合。在这项工作中,我们提出了一个更紧凑的K路D维离散编码方案,以取代“独热”编码。在所提出的“KD编码”中,每个符号由基数为$K$的$D$维码表示,并且通过合成码嵌入向量来生成最终符号嵌入向量。为了端到端学习语义上有意义的代码,我们推导出一种基于随机梯度下降的松弛离散优化方法,该方法可以普遍应用于任何具有嵌入层的可微计算图。在我们对从自然语言处理到图卷积网络的各种应用的实验中,嵌入层的总大小可以减少高达98%,同时实现类似或更好的性能。
2018-06-21 cs.AI cs.LG stat.ML
Learning and Evaluating Contextual Embedding of Source Code
Indian Institute of Science(印度科学理工学院);Google Brain(谷歌大脑)
最近的研究在理解和改进源代码方面取得了令人印象深刻的成果,这是通过建立在为自然语言开发的机器学习技术上来实现的。自然语言理解的一个重大进步是随着预先训练的上下文嵌入的发展,例如BERT,它可以针对具有较少标记数据和训练预算的下游任务进行微调,同时实现更好的准确性。然而,还没有尝试获得高质量的源代码的上下文嵌入,并同时在多个程序理解任务上对其进行评估;这就是本文旨在缩小的差距。具体来说,首先,我们从GitHub上整理了一个庞大的、经过重复数据删除的740万个Python文件的语料库,我们用它来预训练CuBERT,这是一个开源的代码理解BERT模型;其次,我们创建了一个开源的基准测试,其中包括五个分类任务和一个程序修复任务,类似于之前文献中提出的代码理解任务。我们在基准测试任务上对CuBERT进行了微调,并将生成的模型与Word 2 Vec令牌嵌入的不同变体、BiLSTM和Transformer模型以及已发布的最先进模型进行了比较,结果表明CuBERT的性能优于所有模型,即使训练时间较短,标记的示例也较少。未来关于源代码嵌入的工作可以从重用我们的基准测试中受益,并将CuBERT模型作为一个强大的基线进行比较。
2020-08-17 cs.CL cs.LG cs.PL
LLM-Based Embeddings for Program Analysis and Optimization
该研究首次将LLMCompiler生成的程序嵌入应用于程序分析与优化任务,结合源与IR代码嵌入在算法分类上错误率1.54%、较SOTA提升12%,为代码优化提供新方向。
2026-08-11 cs.LG cs.PL
Whitespaces Don't Lie: Feature-Driven and Embedding-Based Approaches for Detecting Machine-Generated Code
Computer Science and Engineering(计算机科学与工程);Shahjalal University of Science and Technology(沙赫拉尔大学科学与技术);University of Texas at El Paso(德克萨斯大学埃尔帕索分校)
本文提出基于特征和嵌入的方法,用于区分人类和机器生成的代码,实验表明特征方法在可解释性和性能上表现优异,而嵌入方法在语义层面具有竞争力。
2026-01-27 cs.LG cs.SE
Complexity-based code embeddings
University Politehnica of Bucharest(巴尔干理工大学)
本文提出基于r-复杂度的代码嵌入方法,实现XGBoost算法在多标签数据集上的高F1分数表现。
2026-01-01 cs.AI cs.LG
Identifier-Free Code Embedding Models for Scalable Search
The MITRE Corporation(MITRE公司)
本文提出无标识码的代码嵌入模型,用于在二进制反向工程中实现双向关联,通过对比学习优化模型性能,优于现有方法并能泛化到未显式训练的任务。
2026-10-16 cs.CR cs.LG cs.SE
Language Agnostic Code Embeddings
Cohere For AI;MIT(麻省理工学院);IBM Research(IBM研究院)
本文系统研究多语言代码嵌入,发现其包含语言特定与语言无关两个成分,并证明去除语言特定成分可显著提升代码检索性能,MRR绝对提升最高达17。
2023-10-25 cs.CL cs.LG
On the Embeddings of Variables in Recurrent Neural Networks for Source Code
HSE University(高等经济大学)
源代码处理在很大程度上依赖于自然语言处理(NLP)中广泛使用的方法,但涉及需要考虑以实现更高质量的细节。这种特殊性的一个例子是,变量的语义不仅由其名称定义,还由变量出现的上下文定义。在这项工作中,我们开发了动态嵌入,一个经常性的机制,调整学习的变量的语义时,它获得更多的信息,变量在程序中的作用。我们表明,使用所提出的动态嵌入显着提高了递归神经网络的性能,在代码完成和错误修复任务。
2021-04-27 cs.CL cs.LG cs.SE
Unsupervised Learning of General-Purpose Embeddings for Code Changes
Higher School of Economics(高等经济大学);JetBrains Research(JetBrains研究院)
将机器学习应用于需要代码更改的任务需要它们的数值表示。在这项工作中,我们提出了一种在预训练期间获得这种表示的方法,并在两个不同的下游任务上对其进行评估-将更改应用于代码和提交消息生成。在预训练期间,模型学习以正确的方式应用给定的代码更改。此任务只需要代码更改本身,这使得它不受监督。在应用代码更改的任务中,我们的模型在准确性上比基线模型高出5.9个百分点。至于提交消息生成,我们的模型展示了与针对此特定任务训练的监督模型相同的结果,这表明它可以很好地编码代码更改,并且可以通过在更大的易于收集的代码更改数据集上进行预训练来改进。
2021-07-08 cs.LG cs.SE
On the Role of Pre-trained Embeddings in Binary Code Analysis
Max Planck Institute for Solar System Research(马克斯·普朗克太阳系研究所)
本文批判性探索预训练嵌入在二进制代码分析中的作用,通过120万函数语料库在五个下游任务评估发现,足够标记数据时嵌入性能相似,无预训练端到端学习平均最佳,并得出嵌入与端到端学习的适用指导方针。
2025-02-12 cs.AI cs.LG
Evaluation of Embeddings of Laboratory Test Codes for Patients at a Cancer Center
City of Hope National Medical Center(希望之城国家医疗中心)
实验室测试结果是患者电子健康记录(EHR)的重要且通常高维的组成部分。我们训练嵌入表示(通过Word2Vec和GloVe),用于来自癌症中心约80,000名患者的EHR的实验室测试的LOINC代码。为了包含有关实验室测试结果的信息,我们还对LOINC代码与指示结果正常或异常的符号的级联进行训练嵌入。我们观察到在我们的数据上训练的LOINC嵌入之间有几个临床上有意义的相似性。对于具有异常代码的LOINC的串联的嵌入,我们评估了死亡率预测任务的性能和保持有序性属性的能力:即具有正常结果的实验室测试应该更类似于异常而不是非常异常。
2019-08-01 cs.CL cs.CY cs.LG
CMSAOne@Dravidian-CodeMix-FIRE2020: A Meta Embedding and Transformer model for Code-Mixed Sentiment Analysis on Social Media Text
International Institute of Information Technology - Hyderabad (IIIT-Hyderabad)(海得拉巴国际信息技术学院(IIIT-Hyderabad))
语码混用是一种常见的语言现象,它是指在一个话语或句子中使用多种语言。CM主要在各种社交媒体平台和非正式对话中进行。情感分析是自然语言处理中的一个基本步骤,在单语文本中得到了很好的研究。语码混合由于其非标准的表示方式给情感分析带来了挑战。本文提出了一种基于Transformer的Meta嵌入方法,用于对Dravidian代码混合数据集进行情感分析。在我们的方法中,我们使用Meta嵌入来捕获富文本表示。我们将所提出的方法用于任务:“代码混合文本中的达罗毗荼语的情感分析”,并且对于给定的达罗毗荼语代码混合数据集,它实现了$0.58$和$0.66$的F1得分。代码在Github https://github.com/suman101112/fire-2020-Dravidian-CodeMix中提供。
2021-01-22 cs.CL cs.LG
CS-Embed at SemEval-2020 Task 9: The effectiveness of code-switched word embeddings for sentiment analysis
University of Birmingham(伯明翰大学);Birmingham City University(伯明翰城市大学)
社交媒体帖子的情感分析的日益普及和应用自然导致了对以多种语言撰写的帖子的情感分析,这种做法被称为代码切换。虽然最近对代码转换帖子的研究集中在使用多语言词嵌入上,但这些嵌入并没有在代码转换数据上进行训练。在这项工作中,我们提出了在代码切换推文上训练的词嵌入,特别是那些使用西班牙语和英语的推文,称为西班牙式英语。我们探索嵌入空间,以发现它们如何捕捉两种语言中单词的含义。我们通过参加SemEval 2020任务9:~ \emph{Sentiment Analysis on Code-Mixed Social Media Text}来测试这些嵌入的有效性。我们利用它们来训练情感分类器,其F-1得分为0.722。这高于0.656的比赛基线,我们的团队(codalab用户名\emph{francesita})在29个参赛团队中排名第14,击败了基线。
2020-09-07 cs.CL cs.LG cs.NE
Seamlessly Integrating Tree-Based Positional Embeddings into Transformer Models for Source Code Representation
Adam Mickiewicz University(亚当·密茨凯维奇大学)
针对传统Transformer位置嵌入无法捕捉源代码层次结构的问题,提出基于AST的树状位置嵌入方法增强CodeBERTa模型,经MLM预训练和克隆检测任务验证,多项指标均优于基线。
2025-07-05 cs.LG
Review of compressed embedding layers and their applications for recommender systems
本文综述了可训练的压缩嵌入层文献,探讨其在压缩巨型神经推荐系统中的适用性,并报告了作者使用自有压缩嵌入层测量的实验结果。
2023-11-22 cs.LG
Text Classification for Task-based Source Code Related Questions
有一个关键的需求是为开发人员的小任务自动生成代码。像StackOverflow这样的网站提供了一种简单的方法,通过提供小片段的解决方案,为开发人员想要编码的任何任务问题提供完整的答案。自然语言处理,特别是语音识别系统在解决和处理这些任务方面非常有帮助。在本文中,我们开发了一个双重深度学习模型:Seq2Seq和一个二元分类器,它接受意图(自然语言)和Python中的代码片段。我们在Seq2Seq模型中训练意图和代码话语,其中我们决定比较来自编码器的隐藏层嵌入用于表示意图的效果,并且类似地,使用解码器的隐藏层嵌入用于代码序列。然后,我们结合这两个嵌入,然后训练一个简单的二进制神经网络分类器模型,用于预测如果意图是正确回答的预测代码序列从seq2seq模型。我们发现,隐藏状态层的嵌入执行略好于常规的标准嵌入从构造的词汇表。除了StaQC数据库(由简单的基于任务代码片段的对组成)之外,我们还在CoNaLa数据集上进行了测试。我们根据经验确定,与使用seq2seq模型中的隐藏状态上下文向量相比,在Python中为代码片段使用额外的预训练嵌入较少基于上下文。
2021-10-31 cs.CL cs.LG cs.SE
Unifying Heterogeneous Electronic Health Records Systems via Text-Based Code Embedding
Graduate School of AI, KAIST(韩国科学技术院人工智能研究生院);MIT(麻省理工学院);Asan Medical Center, University of Ulsan College of Medicine(蔚山大学医学院峨山医学中心)
EHR系统缺乏表示医学概念的统一代码系统,这成为将深度学习模型大规模部署到多个诊所和医院的障碍。为了克服这个问题,我们引入了基于描述的嵌入,DescEmb,代码不可知的表示学习框架EHR。DescEmb利用神经语言理解模型的灵活性,使用文本描述嵌入临床事件,而不是直接将每个事件映射到专用嵌入。DescEmb在广泛的实验中表现优于传统的基于代码的嵌入,特别是在zero-shot转移任务(从一家医院到另一家医院)中,并且能够为异构EHR数据集训练单个统一模型。
2022-01-17 cs.CL cs.LG
Learning Program Embeddings to Propagate Feedback on Student Code
Stanford University(斯坦福大学)
提供反馈,既评估最终的工作,又给卡住的学生提供提示,对于从数千到数百万学生的大规模在线课程中的开放式作业来说是很困难的。我们引入了一个神经网络的方法来编码程序作为一个线性映射从嵌入的前置空间到嵌入的后置空间,并提出了一个算法的反馈规模使用这些线性映射作为功能。我们将我们的算法应用于Code.org Hour of Code和斯坦福大学CS1课程的评估,在那里我们将人类对学生作业的评论传播到数量级更多的提交。
2015-05-22 cs.LG cs.NE cs.SE
Text and Code Embeddings by Contrastive Pre-Training
OpenAI(OpenAI(OpenAI公司))
文本嵌入在诸如语义搜索和计算文本相似度等许多应用中是有用的特征。以前的工作通常训练为不同用例定制的模型,这些用例在数据集选择、训练目标和模型架构方面各不相同。在这项工作中,我们证明了在大规模的无监督数据上进行对比预训练可以获得高质量的文本和代码矢量表示。同样的无监督文本嵌入在线性探针分类中实现了新的最先进的结果,也显示出令人印象深刻的语义搜索能力,有时甚至与微调模型竞争。在平均超过7个任务的线性探针分类准确率上,我们最好的无监督模型分别比以前最好的无监督和有监督文本嵌入模型相对提高了4%和1.8%。相同的文本嵌入在大规模语义搜索上进行评估时,在MSMARCO、Natural Questions和TriviaQA基准测试中,分别比以前最好的无监督方法提高了23.4%、14.7%和10.6%。与文本嵌入类似,我们在(文本,代码)对上训练代码嵌入模型,在代码搜索上获得了20.8%的相对改进。
2022-01-24 cs.CL cs.LG
Toward Semi-Automatic Misconception Discovery Using Code Embeddings
North Carolina State University(北卡罗来纳州立大学)
了解学生的错误概念对有效的教学和评估非常重要。然而,手动发现这样的误解可能是费时费力的。自动化的误解发现可以通过突出学生数据中的模式来解决这些挑战,然后领域专家可以检查这些模式以识别误解。在这项工作中,我们提出了一种新的方法,从学生的程序代码在计算课程中的问题特定的误解的半自动发现,使用一个国家的最先进的代码分类模型。我们在基于块的编程数据集上训练模型,并使用学习的嵌入来聚类不正确的学生提交。我们发现这些集群对应于对问题的特定误解,并且不容易通过现有方法发现。我们还讨论了我们的方法的潜在应用,以及这些误解如何告知特定领域的见解到学生的学习过程。
2021-03-07 cs.CY cs.LG cs.SE
DoDo-Code: an Efficient Levenshtein Distance Embedding-based Code for 4-ary IDS Channel
Center for Applied Mathematics, KL-AAGDM(应用数学中心);State Key Laboratory of Synthetic Biology(合成生物学国家重点实验室);Tianjin University(天津大学)
DoDo-Code通过深度Levenshtein距离嵌入设计高码率单IDS纠错码,提升短长度码字的存储密度。
2025-12-12 cs.IT cs.LG math.IT
LoRACode: LoRA Adapters for Code Embeddings
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);AWS GenAI(AWS生成人工智能)
针对代码嵌入在语义搜索中难以兼顾效率与性能的问题,提出基于 LoRA 的参数高效微调方法构建任务特定适配器,将可训练参数降至 2% 以下,在多语言代码检索任务上显著提升 MRR 并开源模型。
2025-06-02 cs.IR cs.LG cs.SE
Hierarchical Learning of Cross-Language Mappings through Distributed Vector Representations for Code
Singapore Management University(新加坡管理大学)
将用一种程序设计语言编写的程序翻译成另一种语言对于需要用不同语言实现功能的软件开发任务可能是有用的。虽然过去的研究已经考虑了这个问题,但它们可能是特定于语言语法的,或者是特定于某些类型的代码元素(例如,令牌、短语、API使用)。本文提出了一种新的方法来自动学习跨语言表示的各种结构化代码元素,可用于程序翻译。我们的关键思想是两个折叠:首先,我们规范化和丰富的代码令牌流与额外的结构和语义信息,并训练跨语言的向量表示的令牌(又名。基于word 2 vec的共享嵌入,word 2 vec是一种用于产生词嵌入的基于神经网络的技术;其次,从自底向上的分层地,我们为更高粒度级别的代码元素构建共享嵌入(例如,表达式、语句、方法)从其组成部分的嵌入中提取,然后根据嵌入之间的相似性在跨语言的代码元素之间建立映射。我们对9个软件项目的约40,000个Java和C#源文件的初步评估表明,我们的方法可以自动学习不同语言中各种代码元素的共享嵌入,并以合理的平均精度分数识别它们的跨语言映射。与现有的映射库API方法的工具相比,我们的方法可以准确地识别更多的映射。映射结果和代码可以在https://github.com/bdqnghi/hierarchical-programming-language-mapping上访问。我们相信,我们的想法,学习跨语言的向量表示与代码结构信息可以是一个有用的一步,自动程序翻译…
2018-03-13 cs.CL cs.LG cs.SE
An Evaluation Dataset for Legal Word Embedding: A Case Study On Chinese Codex
National Taiwan University(台湾大学)
词嵌入是一种现代的分布式词表示方法,广泛应用于许多自然语言处理任务中。将法律文档中的词汇转换为词嵌入模型有助于使法律文档经受机器学习、深度学习和其他算法,并且随后执行自然语言处理的下游任务,例如文档分类、合同审查和机器翻译。词嵌入模型的准确性评估的最常见和实用的方法是使用具有语言规则或词之间的关系的基准集,通过代数计算来执行类比推理。本文从2,388个中文法典语料库中提取5种法律关系,建立1,134个法律类比推理问题集(LARQS),并将其用于评估中文词嵌入模型的准确性。此外,我们发现法律关系可能是无处不在的词嵌入模型。
2022-03-29 cs.AI cs.CL cs.LG
DiffHLS: Differential Learning for High-Level Synthesis QoR Prediction with GNNs and LLM Code Embeddings
Shanghai Jiao Tong University(上海交通大学);The Chinese University of Hong Kong(香港中文大学)
DiffHLS通过GNN和LLM代码嵌入预测高阶综合QoR,利用核基线与pragma插入设计变体的差分学习,降低合成成本,实验显示在PolyBench上优于GNN基线,且在ForgeHLS数据集上验证了可扩展性。
2026-04-10 cs.LG
Decoding Data Quality via Synthetic Corruptions: Embedding-guided Pruning of Code Data
UC Los Angeles(加州大学洛杉矶分校);FAIR at Meta(Meta 基础人工智能研究院);DatologyAI
本文提出 SCIP 方法,利用合成损坏分析低质量代码的嵌入特征并设计剪枝指标,在 HumanEval 和 MBPP 上优于现有嵌入方法,最高提升 3%。
2023-12-05 cs.AI cs.CL cs.LG
Robust and Verifiable Information Embedding Attacks to Deep Neural Networks via Error-Correcting Codes
Duke University(杜克大学)
在深度学习时代,用户通常利用第三方机器学习工具来训练深度神经网络(DNN)分类器,然后将分类器部署为最终用户软件产品或云服务。在信息嵌入攻击中,攻击者是恶意第三方机器学习工具的提供者。攻击者在训练过程中将消息嵌入到DNN分类器中,并在用户部署后通过查询黑盒分类器的API来恢复消息。信息嵌入攻击由于各种应用而引起越来越多的关注,例如水印DNN分类器和损害用户隐私。最先进的信息嵌入攻击有两个关键限制:1)它们无法验证恢复消息的正确性,以及2)它们对分类器的后处理不鲁棒。在这项工作中,我们的目标是设计信息嵌入攻击,是可验证的和强大的对流行的后处理方法。具体来说,我们利用循环冗余检查来验证恢复消息的正确性。此外,为了对后处理具有鲁棒性,我们利用Turbo码(一种纠错码)对消息进行编码,然后将其嵌入DNN分类器。我们建议通过自适应查询分类器来保存查询来恢复消息。我们的自适应恢复策略利用Turbo码的属性,支持纠错与部分代码。我们评估我们的信息嵌入攻击使用模拟的消息,并将它们应用到三个应用程序,其中消息具有语义解释。我们考虑了8种流行的方法来对分类器进行后处理。我们的研究结果表明,我们的攻击可以准确地和可验证地恢复在所有考虑的情况下的消息,而国家的最先进的攻击不能准确地恢复在许多情况下的消息。
2020-10-26 cs.CR cs.LG
Acoustic Word Embedding System for Code-Switching Query-by-example Spoken Term Detection
Duke Kunshan University(昆山杜克大学);Wuhan University(武汉大学);Lenovo Research(联想研究院);Sun Yat-sen University(中山大学)
在本文中,我们通过示例口语词检测提出了一种基于深度卷积神经网络的语码切换查询声学词嵌入系统。与以前的配置不同,我们将两种语言的音频数据结合起来进行训练,而不是只使用一种语言。我们将关键词模板和搜索内容的声学特征转换为固定维向量,并计算关键词片段和搜索内容片段之间的距离,以滑动的方式获得。一个辅助的可变不变损失也适用于同一个词,但不同的扬声器内的训练数据。该策略用于防止提取器将不期望的说话者或口音相关信息编码到声学词嵌入中。实验结果表明,我们提出的系统产生有前途的搜索结果在代码切换测试场景。随着模板数目的增加和可变不变损失的引入,搜索性能得到了进一步的提高。
2020-05-24 cs.CL cs.LG eess.AS
KEEP: Integrating Medical Ontologies with Clinical Data for Robust Code Embeddings
Columbia University(哥伦比亚大学);New York Genome Center(纽约基因组中心)
针对医疗机器学习中医学编码表征方法的知识与现实模式难以兼顾的问题,提出KEEP框架,结合知识图谱嵌入与临床数据正则化训练,无需任务特定训练即可生成嵌入,在多个EHR数据集上表现更优且计算需求低。
2025-10-06 cs.LG
Modeling Programming Skills with Source Code Embeddings for Context-aware Exercise Recommendation
Departamento de Informática Universidade Federal de Viçosa(信息学院弗拉门多大学);Instituto Federal de Minas Gerais(矿业联邦机构);Instituto de Ciências Matemáticas e de Computação Universidade de São Paulo(数学与计算机科学学院圣保罗大学);Departamento de Ciência da Computação Universidade Federal de Minas Gerais(计算机科学学院联邦矿业大学)
本文提出基于源代码嵌入的上下文感知推荐系统,通过建模学生编程技能以提高练习推荐的准确性。
2026-02-10 cs.LG
Hierarchical Embedding Fusion for Retrieval-Augmented Code Generation
ITMO University(ITMO大学)
HEF通过层次嵌入融合技术,实现了低延迟的仓库感知代码补全,有效减少检索延迟并提升准确度。
2026-02-04 cs.CL cs.LG
A Motion Taxonomy for Manipulation Embedding
University of South Florida(南佛罗里达大学)
为了从机械的角度来表示运动,本文探讨了使用运动分类的运动嵌入。使用这种分类法,操作可以被描述和表示为称为运动代码的二进制字符串。运动代码捕获机械属性,如接触类型和轨迹,这些属性应用于定义运动之间的合适距离度量或深度学习和强化学习的损失函数。运动代码还可用于合并别名或群集共享相似特性的运动类型。使用现有的数据集作为参考,我们讨论了如何创建运动代码,并根据直觉和真实数据将其分配给日常生活活动中常见的动作。运动代码进行比较,从预先训练的Word2Vec模型的矢量,我们表明,运动代码保持的距离,密切匹配的现实操纵。
2020-07-13 cs.LG cs.RO
On Importance of Code-Mixed Embeddings for Hate Speech Identification
Pune Institute of Computer Technology(浦那计算机技术学院);L3Cube Labs(L3Cube实验室);Indian Institute of Technology Madras(印度马德拉斯理工学院)
针对经典NLP工具处理代码混合数据(如印地语-英语混合)时的困难,分析代码混合嵌入的重要性,评估BERT和HingBERT等模型性能,发现HingBERT及Hing-FastText在仇恨言论检测中表现更优。
2024-11-27 cs.CL cs.LG
BinBert: Binary Code Understanding with a Fine-tunable and Execution-aware Transformer
Sapienza University of Rome(罗马第一大学)
二进制代码分析的最近趋势促进了基于指令嵌入模型的神经解决方案的使用。指令嵌入模型是将汇编指令序列转换为嵌入向量的神经网络。如果嵌入网络经过训练,使得从代码到向量的转换部分地保留了语义,则网络有效地表示汇编代码模型。在本文中,我们提出了BinBert,一种新的汇编代码模型。BinBert构建在一个Transformer上,该transformer在一个包含汇编指令序列和符号执行信息的巨大数据集上进行了预训练。BinBert可以应用于汇编指令序列,并且它是可微调的,即它可以作为任务特定数据的神经架构的一部分进行重新训练。通过微调,BinBert学习如何将预训练获得的一般知识应用于特定任务。我们在一个多任务基准上评估了BinBert,该基准是我们专门设计来测试对汇编代码的理解的。基准测试由几个任务组成,其中一些来自文献,还有一些我们设计的新任务,以及内在和下游任务的混合。我们的研究结果表明,BinBert优于最先进的二进制指令嵌入模型,提高了二进制代码理解的标准。
2022-08-13 cs.CR cs.LG
Extending Multi-Sense Word Embedding to Phrases and Sentences for Unsupervised Semantic Applications
CICS, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校信息与计算机科学学院)
大多数无监督NLP模型用语义空间中的单个点或单个区域表示每个词,而现有的多意义词嵌入不能表示更长的词序列,如短语或句子。我们提出了一种新的嵌入方法的文本序列(短语或句子),其中每个序列是由一组不同的多模式码本嵌入,以捕捉其含义的不同语义方面。码本嵌入可以被视为聚类中心,其总结了在预训练的词嵌入空间中可能共现的词的分布。我们引入了一个端到端的可训练神经模型,该模型在测试期间直接从输入文本序列预测聚类中心集。我们的实验表明,每句码本嵌入显着提高性能,在无监督的句子相似度和提取摘要基准。在短语相似性实验中,我们发现,多方面的嵌入提供了一个可解释的语义表示,但不优于单方面的基线。
2021-12-29 cs.CL cs.LG
AMSI-Based Detection of Malicious PowerShell Code Using Contextual Embeddings
Ben-Gurion University of the Negev(内盖夫本-古里安大学);Microsoft(微软)
PowerShell是一个命令行shell,支持脚本语言。它被广泛用于组织的配置管理和任务自动化,但也越来越多地被网络犯罪分子用于对组织发动网络攻击,主要是因为它预装在Windows机器上,并暴露了攻击者可能利用的强大功能。这使得检测恶意PowerShell代码的问题既紧迫又具有挑战性。微软的反恶意软件扫描接口(AMSI)允许防御系统在执行之前扫描传递给脚本引擎(如PowerShell)的所有代码。在这项工作中,我们使用AMSI提供的信息进行恶意PowerShell代码检测的第一次研究。我们提出了几种新的基于深度学习的恶意PowerShell代码检测器,这些代码采用来自PowerShell“语言”的单词的预训练上下文嵌入。网络安全领域的一个已知问题是,与未标记数据相比,标记数据相对稀缺,这使得难以设计对许多类型的恶意活动的有效监督检测。PowerShell代码也是如此。我们的工作表明,这个问题可以通过学习基于未标记数据的预训练上下文嵌入来缓解。我们使用AMSI从一家大型反恶意软件供应商收集的真实数据来训练和评估我们的模型。我们的性能分析表明,使用未标记的数据进行嵌入显着提高了我们的检测器的性能。我们性能最好的模型使用的架构能够处理字符和标记级别的文本信号,并获得近90%的真阳性率,同时保持低于0.1%的低假阳性率。
2019-09-19 cs.CR cs.LG
ICDBigBird: A Contextual Embedding Model for ICD Code Classification
University of Waterloo(滑铁卢大学);University of Toronto(多伦多大学);Semantic Health(语义健康公司)
国际疾病分类(ICD)系统是对医疗保健过程中的疾病和程序进行分类的国际标准,广泛用于医疗保健报告和管理目的。正确的临床程序代码对于医疗保健中的临床,操作和财务决策非常重要。上下文词嵌入模型在多个NLP任务中取得了最先进的结果。然而,这些模型尚未在ICD分类任务中实现最先进的结果,因为它们的主要缺点之一是它们只能处理包含少量令牌的文档,而真正的患者笔记很少出现这种情况。在本文中,我们介绍了ICDBigBird基于BigBird的模型,它可以集成一个图卷积网络(GCN),利用ICD代码之间的关系,以创建“丰富”的表示其嵌入,与BigBird上下文模型,可以处理更大的文件。我们在真实世界临床数据集上的实验证明了我们基于BigBird的模型在ICD分类任务上的有效性,因为它优于以前的最先进模型。
2022-04-21 cs.CL cs.LG
Bridging Text and Crystal Structures: Literature-driven Contrastive Learning for Materials Science
Toyota Motor Corporation(丰田汽车公司);OMRON SINIC X Corporation(OMRON SINIC X公司);Randeft, Inc.(Randeft公司);The University of Osaka(大阪大学)
本文提出对比语言-结构预训练(CLaSP)范式,利用40万条文献数据构建晶体结构与文本的跨模态嵌入空间,实现基于文本查询的材料检索与结构筛选。
2025-06-19 cond-mat.mtrl-sci cs.LG
Unifying Heterogeneous Electronic Health Records Systems via Text-Based Code Embedding
KAIST(韩国科学技术院);MIT(麻省理工学院);Asan Medical Center(峨山医学中心);University of Ulsan College of Medicine(蔚山大学医学院)
电子健康记录(EHR)使用的大幅增加为预测性医疗保健开辟了新的领域。然而,虽然EHR系统几乎无处不在,但它们缺乏表示医学概念的统一代码系统。EHR的异构格式对大规模训练和部署最先进的深度学习模型构成了实质性障碍。为了克服这个问题,我们引入了基于描述的嵌入,DescEmb,代码不可知的基于推理的表示学习框架的预测建模EHR。DescEmb利用了神经语言理解模型的灵活性,同时保持了一种中立的方法,可以与特定任务表示学习或预测建模的先前框架相结合。我们在各种实验中测试了我们的模型的能力,包括预测任务,迁移学习和池化学习。与基于代码的方法相比,DescEmb在整体实验中表现出更高的性能,为预测医疗保健研究中基于文本的方法打开了大门,该方法不受EHR结构或特殊领域知识的限制。
2022-03-18 cs.LG cs.NE
Simultaneously Learning Robust Audio Embeddings and balanced Hash codes for Query-by-Example
音频指纹识别系统必须有效和鲁棒地识别大量数据库中的查询片段。为此,最先进的系统使用深度学习来生成紧凑的音频指纹。这些系统部署了索引方法,这些方法以无监督的方式将指纹映射到散列代码,以加快搜索速度。然而,这些方法产生不平衡的哈希码,导致其次优性能。因此,我们提出了一个自监督学习框架,以端到端的方式计算指纹和平衡哈希码,以实现快速和准确的检索性能。我们将哈希码建模为一个平衡的聚类过程,我们将其视为最优传输问题的一个实例。实验结果表明,该方法提高了检索效率,同时保持高精度,特别是在高失真水平,相比竞争的方法。此外,我们的系统是有效的和可扩展的计算负载和内存存储。
2023-01-18 cs.LG cs.SD eess.AS