DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-Disentangled Embedding Sharing
Microsoft Azure AI(微软Azure人工智能部门);Microsoft Research(微软研究院)
提出了一种新的预训练语言模型DeBERTaV 3,它改进了原有的DeBERTa模型,用一种样本效率更高的预训练任务替换标记检测(RTD)代替掩码语言建模(MLM)。我们的分析表明,ELECTRA中的香草嵌入共享会损害训练效率和模型性能。这是因为训练器和生成器的训练损失在不同的方向上拉动令牌嵌入,从而产生“拔河”动态。因此,我们提出了一种新的梯度分离嵌入共享方法,避免了拔河动态,提高了训练效率和预训练模型的质量。我们使用与DeBERTa相同的设置对DeBERTaV 3进行了预训练,以展示其在广泛的下游自然语言理解(NLU)任务上的卓越性能。以8个任务的GLUE基准测试为例,DeBERTaV 3 Large模型的平均得分为91.37%,比DeBERTa高1.37%,比ELECTRA高1.91%,在结构相似的模型中创下了新的最先进水平(SOTA)。此外,我们已经预训练了一个多语言模型mDeBERTa,并观察到与英语模型相比,在强基线上有更大的改进。例如,mDeBERTa Base在XNLI上实现了79.8%的zero-shot跨语言准确性,比XLM-R Base提高了3.6%,在此基准上创建了新的SOTA。我们已经在https://github.com/microsoft/DeBERTa上公开了我们的预训练模型和推理代码。
2023-03-24 cs.CL cs.LG
Linking Physicians to Medical Research Results via Knowledge Graph Embeddings and Twitter
University of Bonn(波恩大学);Fraunhofer Institute for Intelligent Analysis and Information Systems(弗劳恩霍夫智能分析与信息系统研究所)
向专业人员通报其领域的最新研究成果是医疗保健领域的一项特别重要的任务,因为该领域的任何发展都直接改善了患者的健康状况。同时,社交媒体是一种允许公众即时共享信息的基础设施,因此它最近在医疗应用中变得流行。在这项研究中,我们应用多距离知识图谱嵌入(MDE)将医生和外科医生与最新的医学突破联系起来,这些突破作为研究成果在Twitter上共享。我们的研究表明,使用这种方法,医生可以了解他们领域的新发现,因为他们有一个专门的专业账户。
2020-02-21 cs.AI cs.IR cs.LG
DGNN: Decoupled Graph Neural Networks with Structural Consistency between Attribute and Graph Embedding Representations
College of Information Science and Technology, Beijing University of Chemical Technology(北京化工大学 信息科学与技术学院)
针对现有GNNs耦合学习属性与结构信息导致嵌入折中问题,提出DGNN框架,通过解耦属性与图空间嵌入、结合拓扑与语义图并促进结构一致性,在节点分类任务中取得更优性能。
2024-01-28 cs.LG
A Cluster-Based Trip Prediction Graph Neural Network Model for Bike Sharing Systems
Instituto Superior Técnico(里斯本高等理工学院);NOVA School of Science and Technology(新里斯本大学科技学院)
自行车共享系统(BSS)正在成为一种创新的交通服务。鉴于这些系统致力于通过促进环境和经济的可持续性以及促进提高人口的生活质量来消除当前的许多全球性问题,因此确保生物多样性系统的正常运作至关重要。充分了解用户的过渡模式对服务的质量和可操作性具有决定性的贡献。类似的和不平衡的用户的过渡模式导致这些系统遭受自行车不平衡,导致长期的客户急剧流失。自行车再平衡策略对于解决这一问题变得非常重要,为此,自行车交通预测至关重要,因为它可以更有效地运营并提前做出反应。在这项工作中,我们提出了一个基于图神经网络嵌入的自行车出行预测器,考虑到站群,气象条件,地理距离和出行模式。我们在纽约市BSS(CitiBike)数据中评估了我们的方法,并将其与四个基线进行了比较,包括非聚类方法。为了解决我们问题的特殊性,我们开发了自适应转换约束聚类加(AdaTC+)算法,消除了以前工作的缺点。我们的实验证明了聚类的相关性(88%的准确率与83%相比,没有聚类)和聚类技术最适合这个问题。当站点相同时,AdaTC+的链接预测任务的准确性始终高于基准聚类方法,同时在与训练模型不匹配的情况下,网络升级时不会降低性能。
2022-01-03 cs.LG
The KEEN Universe: An Ecosystem for Knowledge Graph Embeddings with a Focus on Reproducibility and Transferability
University of Bonn(波恩大学);Fraunhofer Institute for Intelligent Analysis and Information Systems (IAIS)(弗劳恩霍夫智能分析与信息系统研究所(IAIS));Fraunhofer Institute for Algorithms and Scientific Computing (SCAI)(弗劳恩霍夫算法与科学计算研究所(SCAI))
在连续向量空间中嵌入知识图谱(KG)以便将其用于机器学习任务的新兴趋势。最近,已经提出了许多知识图谱嵌入(KGE)模型,其在学习低维表示的同时试图保持KGs的结构属性,诸如节点的相似性取决于它们的边缘到其他节点。KGE可以用于解决KG内的任务,例如预测新链接和消除实体的歧义。它们也可以用于下游任务,如问答和事实核查。总的来说,这些任务与语义Web社区相关。尽管它们很受欢迎,但KGE实验的可重复性和所提出的KGE模型到机器学习社区以外的研究领域的可转移性可能是一个重大挑战。因此,我们提出了KEEN Universe,这是一个知识图谱嵌入的生态系统,我们开发了该生态系统,重点关注可重复性和可转移性。KEEN Universe目前由Python包PyKEEN(Python KnowlEdge EmbeddiNgs)、BioKEEN(Biological KnowlEdge EmbeddiNgs)和KEEN Model Zoo组成,用于与社区共享经过训练的KGE模型。
2020-01-28 cs.AI cs.LG stat.ML
Deal: Distributed End-to-End GNN Inference for All Nodes
Amazon(亚马逊);Rutgers University(罗格斯大学)
本文提出Deal,一个专用于数十亿边图的所有节点端到端推理的分布式GNN推理系统,通过挖掘采样中的共享机会、引入内存节省和通信高效的分布式原语以及分区流水线通信,将端到端推理时间最多减少7.70倍,图构建时间最多减少21.05倍。
2025-03-04 cs.DC cs.LG
Subformer: Exploring Weight Sharing for Parameter Efficiency in Generative Transformers
The University of Tokyo(东京大学);National Institute of Advanced Industrial Science and Technology (AIST)(产业技术综合研究所)
Transformers与之前的序列处理架构(如RNN)相比,表现出了更好的性能。尽管他们的相当大的性能增益,最近建议,该模型是计算昂贵的训练和高参数预算。鉴于此,我们探讨参数共享方法在Transformers与生成模型的具体重点。我们对不同的参数共享/缩减方法进行了分析,并开发了Subformer。我们的模型结合了自适应风格的参数共享,克服了生成模型中天真的跨层参数共享,以及自关注嵌入因子分解(SAFE)。在机器翻译、抽象摘要和语言建模方面的实验表明,Subformer即使在使用显著较少的参数时也能优于Transformer。
2021-09-08 cs.CL cs.LG
Beyond Weight Tying: Learning Joint Input-Output Embeddings for Neural Machine Translation
Idiap Research Institute(Idiap研究所);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
将目标词嵌入的权重与神经机器翻译模型的目标词分类器绑定在一起,可以加快训练速度,并且通常可以提高翻译质量。鉴于这种参数共享的成功,我们研究了其他形式的共享之间没有共享和硬平等的参数。特别是,我们提出了一个结构感知的输出层,它捕获的语义结构的输出空间内的联合输入输出嵌入的话。该模型是一种广义形式的权重捆绑,共享参数,但允许学习更灵活的关系与输入词嵌入,并允许输出层的有效容量进行控制。此外,该模型在输出分类器和翻译上下文之间共享权重,这使得它能够更好地利用有关它们的先验知识。我们对英语到芬兰语和英语到德语数据集的评估显示了该方法对使用或不使用权重绑定训练的强编码器-解码器基线的有效性。
2018-08-31 cs.CL
Efficient Federated Learning on Knowledge Graphs via Privacy-preserving Relation Embedding Aggregation
Lehigh University(理海大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校);Carnegie Mellon University(卡内基梅隆大学);Virginia Tech(弗吉尼亚理工大学);Emory University(埃默里大学);Samsung Research America(三星美国研究院)
联邦学习(FL)在多源知识图谱(KG)上的知识表示、推理和数据采掘应用中是必不可少的。最近的一项研究FedE首次提出了一个FL框架,该框架在所有客户端之间共享KG的实体嵌入。然而,从FedE实体嵌入共享将招致严重的隐私泄漏。具体地,可以使用已知实体嵌入来推断私有客户端中是否存在两个实体之间的特定关系。在本文中,我们介绍了一种新的攻击方法,旨在恢复的基础上嵌入信息的原始数据,这是进一步用于评估FedE的脆弱性。此外,我们提出了一个联邦学习范式与隐私保护的关系嵌入聚合(FedR),以解决隐私问题的FedE。此外,关系嵌入共享由于其较小的查询大小,可以显着降低通信成本。我们进行了广泛的实验,以评估FedR与五个不同的KG嵌入模型和三个数据集。与FedE相比,FedR在链接预测任务上实现了相似的效用,并在隐私保护效果和通信效率方面有了显著的提高。
2022-10-29 cs.AI cs.CL cs.LG
dpUGC: Learn Differentially Private Representation for User Generated Contents
Umeå University(于默奥大学);University of Tasmania(塔斯马尼亚大学)
本文首先提出了一种简单而有效的通用方法来将差分隐私应用于文本表示(即,词嵌入)。在此基础上,提出了一种基于用户生成内容(UGC)的个性化差异隐私词嵌入模型。据我们所知,这是第一个从文本中学习用户级差异私有词嵌入模型的工作。所提出的方法保护个人的隐私不被重新识别,特别是在用于共享的UGC数据上提供更好的隐私和数据效用的权衡。实验结果表明,训练的嵌入模型适用于经典的文本分析任务(例如,回归)。此外,所提出的学习差分私有嵌入模型的方法是框架和数据独立的,这有利于部署和共享。源代码可在https://github.com/sonvx/dpText上获得。
2019-03-25 cs.CL cs.CR
Rethinking embedding coupling in pre-trained language models
Google Research(谷歌研究院);DeepMind(深度思维)
我们重新评估了在最先进的预训练语言模型中输入和输出嵌入之间共享权重的标准实践。我们发现,解耦嵌入提供了更高的建模灵活性,使我们能够显着提高效率的参数分配的多语言模型的输入嵌入。通过重新分配Transformer层中的输入嵌入参数,我们在微调期间使用相同数量的参数在标准自然语言理解任务上实现了显著更好的性能。我们还表明,为输出嵌入分配额外的容量为模型提供了好处,即使输出嵌入在预训练后被丢弃,这些好处也会持续到微调阶段。我们的分析表明,更大的输出嵌入可以防止模型的最后一层过度专用于预训练任务,并鼓励Transformer表示更通用,更可转移到其他任务和语言。利用这些发现,我们能够训练模型,实现强大的性能在XTREME基准测试,而不增加参数的数量在微调阶段。
2020-10-24 cs.CL cs.LG
SemShareKV: Efficient KVCache Sharing for Semantically Similar Prompts via Token-Level LSH Matching
University of Notre Dame(诺特大学)
SemShareKV通过语义相似提示的令牌级LSH匹配实现高效KV缓存共享,提升LLM推理速度并降低内存占用。
2025-12-16 cs.AI cs.CL
BPGC at SemEval-2020 Task 11: Propaganda Detection in News Articles with Multi-Granularity Knowledge Sharing and Linguistic Features based Ensemble Learning
BITS Pilani K. K. Birla Goa Campus(印度博拉理工学院果阿分校)
宣传传播志同道合的人的意识形态和信仰,洗脑他们的观众,有时导致暴力。SemEval 2020 Task-11旨在设计用于新闻宣传检测的自动化系统。任务-11由两个子任务组成,即,跨度识别-给定任何新闻文章,系统标记那些包含至少一种宣传技巧的特定片段;和技术分类-在14种宣传技巧中正确分类给定的宣传者声明。对于子任务1,我们使用从预训练的Transformer模型中提取的上下文嵌入来表示不同粒度的文本数据,并提出了一种多粒度知识共享方法。对于子任务2,我们使用具有语言特征的BERT和逻辑回归分类器的集成。我们的研究结果表明,语言特征是在高度不平衡的数据集中覆盖少数类的强有力的指标。
2020-08-24 cs.CL
Weight Tying Biases Token Embeddings Towards the Output Space
EleutherAI;University of California Berkeley(加州大学伯克利分校)
本文研究了参数共享对词嵌入空间的影响,发现共享矩阵更偏向输出预测而非输入表示,且早期训练中输出梯度主导导致偏差,通过调整梯度可缓解此问题。
2026-03-27 cs.CL
Training and Evaluating Multimodal Word Embeddings with Large-scale Web Annotated Images
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Pinterest Inc.(Pinterest公司);Johns Hopkins University(约翰斯·霍普金斯大学)
在本文中,我们专注于训练和评估有效的词嵌入与文本和视觉信息。更具体地说,我们引入了一个大规模的数据集,其中包含3亿个句子,描述了从Pinterest上公开可用的Pins(即用户上传的带有句子描述的图像)中抓取和下载的4000多万张图像。这个数据集比MS COCO大200倍以上,MS COCO是一个标准的大规模图像数据集,带有句子描述。此外,我们构建了一个评估数据集,直接评估词嵌入在查找语义相似或相关的单词和短语方面的有效性。该评价数据集中的词/短语对是从图像搜索系统中数百万用户的点击数据中收集的,因此包含了丰富的语义关系。基于这些数据集,我们提出并比较了几种基于递归神经网络(RNN)的多模态(文本和图像)模型。实验表明,我们的模型的好处,将视觉信息到词嵌入,和权重共享策略是至关重要的学习这样的多模态嵌入。项目页面:http://www.stat.ucla.edu/~junhua.mao/multimodal_embedding.html
2016-11-24 cs.CL cs.CV cs.LG
Transfer Learning with Clinical Concept Embeddings from Large Language Models
University of Pittsburgh(匹兹堡大学);GE Healthcare(GE医疗);University of Utah(犹他大学)
本研究评估了大型语言模型语义嵌入在医疗跨站点迁移学习中的作用,发现特定领域LLMs在本地和直接迁移中表现更优,通用模型需微调,过度调优生物医学嵌入则可能降低效果。
2024-09-20 cs.CL
Using Emotion Embeddings to Transfer Knowledge Between Emotions, Languages, and Annotation Formats
University of Southern California(南加州大学);Information Science Institute, University of Southern California(南加州大学信息科学研究所);Microsoft Cognitive Services(微软认知服务)
随着越来越多的学科将情感融入其理论和应用,从文本中进行情感推理的需求继续多样化。这些需求包括推断不同的情感类型、处理多种语言和不同的注释格式。不同配置之间的共享模型将实现知识共享并降低培训成本,并将简化在新环境中部署情感识别模型的过程。在这项工作中,我们研究了如何构建一个单一的模型,可以通过利用多语言模型和Demux(一种基于transformer的模型,其输入包括感兴趣的情绪)在这些不同的配置之间转换,使我们能够动态地改变模型预测的情绪。Demux还生成情感嵌入,对它们执行操作可以让我们通过汇集每个集群的嵌入来过渡到情感集群。我们表明,Demux可以同时转移知识的zero-shot方式到一个新的语言,一个新的注释格式和看不见的情感。代码可在https://github.com/gchochla/Demux-MEmo上获得。
2023-03-12 cs.AI cs.CL cs.LG
Exploring Dual Encoder Architectures for Question Answering
Google Inc(谷歌公司);Meta AI
双编码器已被用于问答(QA)和信息检索(IR)的任务,具有良好的效果。以前的研究集中在两种主要类型的双编码器,暹罗双编码器(暹罗),与两个编码器共享的参数,和非对称双编码器(ADE),与两个不同的参数化编码器。在这项工作中,我们探讨了不同的方式,在双编码器可以被构造,并评估这些差异如何影响他们的效率方面的QA检索任务。通过对MS MARCO,开放域NQ和MultiReQA基准测试的评估,我们表明,CORBA的性能明显优于ADE。我们进一步提出了三种不同的改进版本的ADE共享或冻结两个编码器塔之间的架构的一部分。我们发现,共享投影层中的参数将使ADE能够与PDE竞争或优于PDE。我们进一步探索和解释为什么投影层中的参数共享显著提高了双编码器的效率,通过使用t-SNE算法直接探测两个编码器塔的嵌入空间。
2022-11-15 cs.CL cs.IR cs.LG
Differentiating Concepts and Instances for Knowledge Graph Embedding
Tsinghua University(清华大学)
概念是知识表示中的重要信息,它代表了一组具有共同属性的不同实例。传统的知识嵌入方法在低维语义空间中将实体(概念和实例)和关系等同地编码为向量,忽略了概念和实例之间的差异。通过区分概念和实例,提出了一种新的知识图谱嵌入模型TransC。具体来说,TransC将知识图谱中的每个概念编码为球体,将每个实例编码为同一语义空间中的向量。我们使用相对位置来建模概念和实例之间的关系(即,instanceOf),以及概念和子概念之间的关系(即,subClassOf)。我们评估我们的模型上的链接预测和三重分类任务的数据集的基础上YAGO。实验结果表明,transC优于国家的最先进的方法,并捕捉到的语义传递的instanceOf和subClassOf关系。我们的代码和数据集可以从https://www.example.com获得。
2018-11-12 cs.AI cs.CL
Isomorphic Cross-lingual Embeddings for Low-Resource Languages
Saarland University(萨尔大学);École Polytechnique(巴黎综合理工学院)
跨语言词嵌入(CLWEs)是将从高资源环境中学习到的语言信息转移到低资源环境中的一个关键组成部分。最近的跨语言表示学习研究集中在离线映射方法,由于其简单性,计算效率,并能够与最小的并行资源。然而,它们主要依赖于嵌入空间近似同构的假设,即共享相似的几何结构,这在实践中并不成立,导致低资源和遥远语言对的性能较差。在本文中,我们介绍了一个框架来学习CLWEs,不假设等距,低资源对通过联合开发相关的高资源语言。在我们的工作中,我们首先使用离线方法预先对齐低资源和相关语言嵌入空间,以减轻等距假设。随后,我们使用联合训练方法来开发相关语言和目标嵌入空间的CLWE。最后,我们重新映射预对齐的低资源空间和目标空间,以生成最终的CLWE。我们表现出一致的收益超过目前的方法在质量和同构的程度,双语词典归纳(BLI)和特征值相似性分别衡量,在几个语言对:{尼泊尔语,芬兰语,罗马尼亚语,古吉拉特语,匈牙利语}-英语。最后,我们的分析还指出,相关性以及相关语言数据的数量是决定嵌入质量的关键因素。
2022-03-28 cs.CL
UDapter: Language Adaptation for Truly Universal Dependency Parsing
University of Groningen(格罗宁根大学)
多语言依存句法分析的最新进展使真正的通用语法分析器的想法更接近现实。然而,跨语言干扰和有限的模型能力仍然是主要障碍。为了解决这个问题,我们提出了一种新的多语言任务适应方法的上下文参数生成和适配器模块的基础上。这种方法允许通过语言嵌入来学习适配器,同时跨语言共享模型参数。它还允许一个简单而有效的整合现有的语言类型学功能到解析网络。由此产生的解析器,UDBACK,优于强大的单语和多语言的基线上的大多数高资源和低资源(zero-shot)的语言,显示出成功的建议的适应方法。我们的深入分析表明,通过类型特征共享软参数是成功的关键。
2020-10-06 cs.CL
Multilingual Information Retrieval with a Monolingual Knowledge Base
Amazon(亚马逊)
本文提出通过加权采样对比学习微调多语言嵌入模型,实现基于单语知识库的跨语言检索,并在MRR和Recall@3上取得显著提升,且方法语言无关。
2025-06-03 cs.AI cs.CL cs.IR
Learning grounded word meaning representations on similarity graphs
CNRS, IRIT(法国国家科学研究中心,图卢兹计算机科学研究所);Univ. of Toulouse(图卢兹大学);California Institute of Technology(加州理工学院)
本文介绍了一种新的方法来学习视觉接地的意义表示的单词作为低维节点嵌入底层图层次结构。层次结构的较低级别通过专用但可通信的图对特定于模态的单词表示进行建模,而较高级别将这些表示放在单个图上以从两种模态联合学习表示。每个图的拓扑模型的相似性关系的话,并估计与图嵌入。该模型的基本假设是,共享相似含义的单词对应于低维空间中的底层相似性图中的社区。我们将此模型命名为层次多模态相似图嵌入(HM-SGE)。实验结果验证了HM-SGE模拟人类相似性判断和概念分类的能力,优于现有技术。
2021-09-07 cs.AI cs.CL