TransEdge: Translating Relation-contextualized Embeddings for Knowledge Graphs
Nanjing University(南京大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
学习知识图谱(KG)嵌入近年来受到越来越多的关注。文献中的大多数嵌入模型将关系解释为线性或双线性映射函数来操作实体嵌入。然而,我们发现,这种关系级建模不能捕捉不同的关系结构的KG。在本文中,我们提出了一种新的边缘为中心的嵌入模型TransEdge,上下文关系表示在特定的头尾实体对。我们将这种关系的上下文化表示称为边嵌入,并将其解释为实体嵌入之间的转换。TransEdge在不同的预测任务上实现了令人满意的性能。在基准数据集上的实验表明,该算法在基于嵌入的实体对齐方面取得了较好的效果。我们还表明,TransEdge是与传统的实体对齐方法的互补。此外,它在链接预测方面表现出非常有竞争力的性能。
2020-04-22 cs.AI cs.CL cs.LG
Learning Conceptual-Contextual Embeddings for Medical Text
University of Oregon(俄勒冈大学);Baidu Research(百度研究院);Tsinghua University(清华大学)
外部知识对于自然语言理解任务通常是有用的。我们引入了一个上下文文本表示模型,称为概念上下文(CC)嵌入,它将结构化知识的文本表示。与实体嵌入方法不同,我们的方法将知识图谱编码为上下文模型。CC嵌入可以很容易地重复用于各种任务,就像预先训练的语言模型一样。我们的模型有效地利用语义泛化编码的巨大UMLS数据库。电子健康记录(EHRs)和医疗文本处理基准测试的实验表明,我们的模型提供了一个监督医疗NLP任务的性能大大提高。
2020-03-12 cs.CL
Does BERT Understand Sentiment? Leveraging Comparisons Between Contextual and Non-Contextual Embeddings to Improve Aspect-Based Sentiment Models
Paralleldots, Inc.(Paralleldots公司)
当对句子中的不同单词执行极性检测时,我们需要查看周围的单词来理解情绪。像BERT这样的大规模预训练语言模型不仅可以对文档中的单词进行编码,还可以对单词周围的上下文进行编码。这就引出了一个问题,“预训练语言模型是否也会自动编码每个单词的情感信息?“和“它可以用来推断极性对不同的方面?".在这项工作中,我们试图回答这个问题,表明训练的比较上下文嵌入从BERT和通用的词嵌入可以用来推断情绪。我们还表明,如果我们微调一个子集的权重的模型建立在比较BERT和通用词嵌入,它可以得到最先进的结果极性检测方面基于情感分类数据集。
2020-11-23 cs.CL
Enhancing Clinical Concept Extraction with Contextual Embeddings
School of Biomedical Informatics(生物医学信息学院);The University of Texas Health Science Center at Houston(德克萨斯大学休斯顿健康科学中心)
基于神经网络的表示(“嵌入”)极大地推进了自然语言处理(NLP)任务,包括临床NLP任务,诸如概念提取。然而,最近,更先进的嵌入方法和表示(例如,ELMo、BERT)进一步推动了NLP的发展,但对于如何将这些表示集成到临床任务中,还没有通用的最佳实践。本研究的目的,然后,是探索在利用这些新的模型进行临床概念提取的可能选项的空间,包括比较这些传统的词嵌入方法(word 2 vec,GloVe,fastText)。评估了MIMIC-III的现成开放域嵌入和预训练的临床嵌入。我们探索了一系列由传统词嵌入和上下文嵌入组成的嵌入方法,并在四个概念提取语料库上进行了比较:i2 b2 2010,i2 b2 2012,SemEval 2014和SemEval 2015。我们还分析了ELMo或BERT等大语言模型的预训练时间对提取性能的影响。最后,我们提出了一个直观的方式来理解的语义信息编码的上下文嵌入。在大型临床语料库上预训练的上下文嵌入在所有概念提取任务中实现了新的最先进的性能。表现最好的模型优于所有最先进的方法,其F1测量值分别为90.25、93.18(部分)、80.74和81.65。我们展示了上下文嵌入的潜力,通过国家的最先进的性能,这些方法实现临床概念提取。此外,我们证明了上下文嵌入编码有价值的语义信息不占传统的词表示。
2019-08-14 cs.CL
DOLORES: Deep Contextualized Knowledge Graph Embeddings
Shanghai Jiao Tong University(上海交通大学);UC Santa Barbara(加州大学圣塔芭芭拉分校)
我们介绍了一种新的方法DOLORES学习知识图谱嵌入,有效地捕捉上下文线索和实体和关系之间的依赖关系。首先,我们注意到,由实体和关系链组成的知识图谱上的短路径可以编码关于其上下文使用的有价值的信息。我们通过将知识图谱表示为实体-关系链的集合而不是三元组的集合来实现这一概念,并使用捕获这种上下文用法的深度神经模型来学习实体和关系的嵌入。特别是,我们的模型基于双向LSTM,并从构建的实体关系链中学习实体和关系的深层表示。我们表明,这些表示可以很容易地被纳入现有的模型,显着推进的几个知识图谱预测任务,如链接预测,三重分类,和丢失的关系类型预测(在某些情况下,至少9.5%)的最先进的。
2018-10-31 cs.AI cs.CL cs.LG
SCOPE: Sign Language Contextual Processing with Embedding from LLMs
ShanghaiTech University(上海科技大学)
SCOPE框架利用大语言模型嵌入和对话上下文提升手语识别与翻译性能,并贡献了72小时中文手语对话数据集,在多个基准上取得最先进结果。
2024-09-02 cs.AI cs.CL cs.CV
Profiling Bias in LLMs: Stereotype Dimensions in Contextual Word Embeddings
TUM School of Computation, Information and Technology(慕尼黑工业大学计算、信息与技术学院);Technical University of Munich(慕尼黑工业大学)
该研究针对大语言模型存在偏见的问题,提出基于社会心理学词典的刻板印象维度偏见剖析方法,分析12种大模型上下文嵌入的跨层跨语境性别偏见,可直观揭示和可视化模型偏见。
2025-01-11 cs.CL
Structural Embedding Projection for Contextual Large Language Model Inference
本文提出结构嵌入投影(SEP)方法,通过投影矩阵整合层次与关系依赖以细化词元表示,在降低困惑度、增强连贯性的同时带来数据集相关的效率权衡,并改善多句生成的流畅性与主题一致性。
2025-08-08 cs.CL
KG^2: Learning to Reason Science Exam Questions with Contextual Knowledge Graph Embeddings
Georgia Institute of Technology(佐治亚理工学院);Korea Advanced Institute of Science and Technology(韩国科学技术院)
AI2 Reasoning Challenge(ARC)是一个新的问答(QA)基准数据集。ARC只包含为人类考试编写的自然科学问题,这些问题很难回答,需要高级逻辑推理。在ARC挑战集上,现有最先进的QA系统未能显著优于随机基线,反映了该任务的困难性质。本文提出了一种新的科学考试答题框架,该框架模拟了人类在开卷考试中的解题过程,并针对问题本身和支持句子分别构建了上下文知识图谱,以解决推理问题。我们的模型学习使用两个知识图谱的神经嵌入进行推理。ARC挑战集上的实验表明,我们的模型优于以前的国家的最先进的问答系统。
2018-05-31 cs.AI cs.CL cs.LG
BERTRAM: Improved Word Embeddings Have Big Impact on Contextualized Model Performance
Sulzer GmbH(苏尔寿有限公司);LMU Munich(慕尼黑大学)
预训练深度语言模型使NLP的性能大幅提升。尽管取得了这一成功,Schick和Schütze(2020)最近表明,这些模型很难理解罕见的单词。对于静态词嵌入,这个问题已经通过单独学习稀有词的表示来解决。在这项工作中,我们将这一想法转移到预训练的语言模型中:我们引入了BERTRAM,这是一种基于BERT的强大架构,能够推断出适合作为深度语言模型输入表示的稀有单词的高质量嵌入。这是通过使单词的表面形式和上下文在深层架构中相互作用来实现的。将BERTRAM集成到BERT中会导致性能大幅提高,这是由于在稀有词探测任务和三个下游任务上稀有和中频词的表示得到了改进。
2020-04-29 cs.CL
Exploring Contextual Flux in Large Language Models: A Novel Approach to Self-Modulating Semantic Networks
本文提出Contextual Flux方法,在自注意力框架内集成辅助门控机制动态调整词元表示,实验表明该方法能减少长序列冗余重复并提升主题保留度,但效果受模型容量和输入复杂度制约。
2025-08-08 cs.CL
A Method for Studying Semantic Construal in Grammatical Constructions with Interpretable Contextual Embedding Spaces
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出将上下文词嵌入投影到可解释语义空间,以自动分析语法构式中词项的语义识解,揭示主语位置更具施事性、AANN构式名词更具测量性,实现模板层面的构式语义探究。
2023-05-29 cs.CL
Locating Language-Specific Information in Contextualized Embeddings
Center for Information and Language Processing (CIS)(信息与语言处理中心(CIS));LMU Munich(慕尼黑大学)
多语言预训练语言模型(MPLM)具有多语言性,非常适合跨语言传输。大多数MPLM都是在无人监督的情况下训练的,其目标和多语言性之间的关系尚不清楚。更具体地说,问题是MPLM表示是语言无关的,还是它们只是与学习的任务预测头很好地交织在一起。在这项工作中,我们在MPLM中定位特定语言的信息,并确定其维度和这些信息发生的层。我们表明,语言特定的信息是分散在许多方面,可以投影到一个线性子空间。我们的研究有助于更好地理解MPLM表示,而不仅仅是将它们视为不可分析的信息。
2021-09-16 cs.CL
Lexical Manifold Reconfiguration in Large Language Models: A Novel Architectural Approach for Contextual Modulation
本文提出一种基于流形的动态嵌入重构方法,通过连续几何变换调节词汇位置,降低困惑度、增强连贯性,并保持推理效率,实现上下文自适应语言建模。
2025-03-26 cs.CL
Documents Are People and Words Are Items: A Psychometric Approach to Textual Data with Contextual Embeddings
Faculty of Education, University of Hong Kong(香港大学教育学院)
本文提出一种基于上下文嵌入的心理测量方法,用于分析文本数据,通过将文档视为个体和词语视为项目,揭示文本中的潜在知识维度。
2025-09-10 cs.CL stat.AP stat.ME
Topics in Contextualised Attention Embeddings
University of Essex(埃塞克斯大学);University of Southampton(南安普顿大学)
通过预先训练的语言模型获得的上下文化的词向量编码已经在应用中被利用的各种知识。这些语言模型的补充是概率主题模型,它从文本中学习主题模式。最近的工作已经表明,进行聚类的词级上下文表示从语言模型模仿词集群中发现的潜在主题的词从潜在狄利克雷分配。重要的问题是,当语言模型没有被明确设计为对潜在主题进行建模时,如何通过聚类在该语言模型中自动形成这样的主题词聚类。为了解决这个问题,我们设计了不同的探针实验。使用BERT和DistilBERT,我们发现注意力框架在建模这样的词主题集群中起着关键作用。我们坚信我们的工作为进一步研究概率主题模型和预训练语言模型之间的关系铺平了道路。
2023-01-11 cs.CL cs.IR
Retrofitting Contextualized Word Embeddings with Paraphrases
University of California Los Angeles(加州大学洛杉矶分校);University of Southern California(南加利福尼亚大学);University of Pennsylvania(宾夕法尼亚大学)
语境化的词嵌入模型,如ELMo,生成词及其语境的有意义的表示。这些模型已被证明对下游应用有很大的影响。然而,在许多情况下,当上下文被释义时,单词的上下文化嵌入发生了巨大的变化。因此,下游模型对释义和其他语言变体不具有鲁棒性。为了提高语境化词嵌入模型的稳定性,我们提出了一种利用释义语境来改进语境化嵌入模型的方法。我们的方法学习输入空间上的正交变换,其旨在最小化释义上下文上的单词表示的方差。实验表明,改进后的模型在各种句子分类和语言推理任务上的性能明显优于原始ELMo。
2019-09-12 cs.AI cs.CL
Contextual Document Embeddings
Cornell University(康奈尔大学)
本文提出上下文文档嵌入方法,通过引入邻居文档信息改进对比学习和架构,在MTEB基准上取得最优性能,适用于任何对比学习数据集和双编码器。
2024-11-08 cs.AI cs.CL
Spying on your neighbors: Fine-grained probing of contextual embeddings for information about surrounding words
Carnegie Mellon University(卡内基梅隆大学);University of Chicago(芝加哥大学)
虽然使用上下文词嵌入的模型在许多NLP任务上取得了最先进的结果,但人们对这些嵌入编码的上下文词的确切信息知之甚少。为了解决这个问题,我们引入了一套探测任务,使细粒度测试的上下文嵌入编码的信息周围的话。我们应用这些任务来检查流行的BERT,ELMo和GPT上下文编码器,并发现我们测试的每种信息类型确实被编码为跨令牌的上下文信息,通常具有近乎完美的可恢复性,但编码器在将哪些特征分配给哪些令牌,它们的分布有多细微,以及每个特征的编码对距离的鲁棒性方面有所不同。我们讨论了这些结果的影响,不同类型的模型如何分解和优先级词级上下文信息时,构建令牌嵌入。
2020-05-04 cs.AI cs.CL
BRUMS at SemEval-2020 Task 3: Contextualised Embeddings for Predicting the (Graded) Effect of Context in Word Similarity
Birmingham City University(伯明翰城市大学);University of Wolverhampton(伍尔弗汉普顿大学)
本文介绍了团队BRUMS提交SemEval-2020任务3:上下文中的分级单词相似性。该系统采用了最先进的上下文化词嵌入,它有一些特定于任务的适应,包括堆叠嵌入和平均嵌入。总体而言,该方法在所有语言中都获得了良好的评价分数,同时保持了简单性。在最终排名之后,我们的方法在每种语言的前5名解决方案中排名第一,同时保留了芬兰语子任务2的第一名。
2021-05-20 cs.AI cs.CL
A Survey on Contextual Embeddings
University of Oxford(牛津大学);DeepMind(深度思维);University College London(伦敦大学学院);The Alan Turing Institute(艾伦·图灵研究所)
ELMo和BERT等上下文嵌入超越了Word2Vec等全局单词表示,并在广泛的自然语言处理任务中实现了突破性的性能。上下文嵌入根据上下文为每个单词分配一个表示,从而捕获单词在不同上下文中的使用,并对跨语言传输的知识进行编码。在本调查中,我们回顾了现有的上下文嵌入模型,跨语言多语言预训练,上下文嵌入在下游任务中的应用,模型压缩和模型分析。
2020-04-13 cs.AI cs.CL cs.LG
Circles are like Ellipses, or Ellipses are like Circles? Measuring the Degree of Asymmetry of Static and Contextual Embeddings and the Implications to Representation Learning
IBM
人类对词相似度的判断已经成为评价词嵌入质量的一种流行方法。但它不能测量几何性质,如不对称性。例如,说“椭圆像圆”比“圆像椭圆”更自然。这种不对称性已经从一个名为单词唤起实验的精神分析测试中观察到,其中一个单词被用来回忆另一个单词。虽然有用,但这些实验数据在测量嵌入质量方面的研究严重不足。在本文中,我们使用三个著名的唤起数据集来深入了解嵌入的不对称编码。我们研究静态嵌入和上下文嵌入,如BERT。由于嵌入的动态特性,通常很难评估BERT的不对称性。因此,我们探测BERT的条件概率(作为一个语言模型)使用大量的维基百科上下文推导出一个理论上合理的贝叶斯不对称分数。结果表明,上下文嵌入在相似性判断上比静态嵌入表现出随机性,而在不对称性判断上表现良好,这与其在文本分类等“外部评价”上的强大表现相一致。不对称判断和贝叶斯方法提供了一个新的视角来评估上下文嵌入的内在评价,它的相似性评价的比较结束了我们的工作与表示学习的现状和未来的讨论。
2020-12-03 cs.AI cs.CL
Examining Cross-lingual Contextual Embeddings with Orthogonal Structural Probes
Charles University(查理大学)
最先进的上下文嵌入是从仅适用于少数语言的大语言模型中获得的。对于其他人,我们需要使用多语言模型学习表示。关于多语言嵌入是否可以在多语言共享的空间中对齐的争论正在进行中。新的正交结构探测器(Limisiewicz和Mareček,2021)允许我们回答特定语言特征的这个问题,并仅基于单语言注释数据集学习投影。我们评估的语法(UD)和词汇(WordNet)的结构信息编码inmBERT的上下文表示九种不同的语言。我们观察到,对于与英语密切相关的语言,不需要转换。被评估的信息被编码在共享的跨语言嵌入空间中。对于其他语言,应用为每种语言单独学习的正交变换是有益的。我们成功地将我们的研究结果应用到zero-shot和Few-Shot跨语言句法分析。
2021-09-10 cs.AI cs.CL
Obtaining Better Static Word Embeddings Using Contextual Embedding Models
EPFL(洛桑联邦理工学院)
上下文词嵌入的出现--将上下文中的语义和句法信息结合在一起的词的表示--导致了各种各样的NLP任务的巨大改进。然而,最近的上下文模型在许多用例中具有过高的计算成本,并且通常难以解释。在这项工作中,我们证明了我们提出的蒸馏方法,这是基于CBOW的训练的一个简单扩展,可以显着提高NLP应用程序的计算效率,同时优于从头开始训练的现有静态嵌入的质量以及从以前提出的方法中提取的质量。作为一个副作用,我们的方法还允许通过标准的词汇评估任务的上下文和静态嵌入的公平比较。
2021-06-08 cs.AI cs.CL cs.LG
A Comprehensive Analysis of Static Word Embeddings for Turkish
Boğaziçi University(博阿济济大学)
本研究针对土耳其语,将上下文嵌入转换为静态嵌入后,在内在与外在评估中细粒度对比了多类静态和上下文词嵌入模型的句法语义性能,构建并公开了土耳其语词嵌入库及相关资源。
2024-05-13 cs.AI cs.CL
Debiasing Pre-trained Contextualised Embeddings
Tokyo Metropolitan University(东京都立大学);University of Liverpool(利物浦大学);Amazon(亚马逊)
与针对静态非语境化词嵌入提出的众多去偏置方法相比,语境化嵌入中的区分性偏置受到的关注相对较少。我们提出了一种微调方法,可以应用于令牌或令牌级别,以消除预训练的上下文嵌入。我们提出的方法可以应用于任何预先训练的上下文嵌入模型,而无需重新训练这些模型。使用性别偏见作为一个说明性的例子,然后,我们进行了一项系统的研究,使用几个国家的最先进的(SoTA)的上下文表示多个基准数据集,以评估编码在不同的上下文嵌入的偏见水平之前和之后,使用所提出的方法去偏置。我们发现,对所有令牌和上下文嵌入模型的所有层应用令牌级去偏置可以产生最佳性能。有趣的是,我们观察到在创建准确与无偏的上下文嵌入模型之间存在权衡,并且不同的上下文嵌入模型对这种权衡的反应不同。
2021-01-23 cs.CL
Automatic Text-based Personality Recognition on Monologues and Multiparty Dialogues Using Attentive Networks and Contextual Embeddings
Stanford University(斯坦福大学);Emory University(埃默里大学)
以往的自动人格识别工作主要集中在使用传统的语言特征分类模型。然而,具有上下文嵌入的注意神经网络在文本分类中取得了巨大的成功,很少被探索用于这项任务。在这个项目中,我们有两个主要贡献。首先,我们创建了第一个基于对话的人格数据集,MysPersona,通过众包注释来自Friends TV Show的演讲者的5个人格特征。其次,我们提出了一种新的方法来自动人格识别使用预先训练的上下文嵌入(BERT和RoBERTa)和专注的神经网络。我们的模型在很大程度上将独白Essays数据集的最新结果提高了2.49%,并在我们的MonkeysPersona上建立了坚实的基准。通过比较两个数据集的结果,我们展示了在多方对话中建模个性的挑战。
2019-11-21 cs.AI cs.CL
Cross-Lingual Contextual Word Embeddings Mapping With Multi-Sense Words In Mind
LIMSI, CNRS(法国国家科学研究中心机械与工程计算机科学实验室);LRI, Univ. Paris-Sud, CNRS(巴黎第十一大学计算机研究实验室,法国国家科学研究中心);Université Paris-Saclay(巴黎-萨克雷大学);CentraleSupélec(中央理工-高等电力学院)
最近的跨语言语境词嵌入学习的工作不能很好地处理多义词。在这项工作中,我们探讨了语境词嵌入的特点,并显示语境词嵌入和词义之间的联系。我们提出了两个改进的解决方案,考虑上下文的多意义词嵌入的噪声(去除),并通过生成集群水平的平均锚嵌入上下文的多意义词嵌入(替换)。实验结果表明,本文的方法可以在微观上提高多义词的有监督上下文词嵌入对齐,而不会影响双语词典归纳任务的宏观性能。对于无监督对齐,我们的方法显着提高了双语词典归纳任务的性能超过10点。
2019-09-18 cs.CL
Towards Multi-Sense Cross-Lingual Alignment of Contextual Embeddings
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Nanyang Technological University(南洋理工大学)
跨语言词嵌入(CLWE)已被证明是有用的,在许多跨语言的任务。然而,大多数现有的学习CLWE的方法,包括那些与上下文嵌入是意义不可知的。在这项工作中,我们提出了一个新的框架,对齐上下文嵌入的意义上的水平,利用跨语言的信号,从双语词典。我们首先提出了一种新的感知交叉熵损失模型明确的词义操作我们的框架。用我们的感知交叉熵损失预训练的单语ELMo和BERT模型在词义消歧任务中表现出显着的性能改善。然后,我们在感知交叉熵损失的基础上提出了一个感知对齐目标,用于跨语言模型预训练,并为几种语言对(英语到德语/西班牙语/日语/中文)预训练跨语言模型。与最佳基线结果相比,我们的跨语言模型在zero-shot跨语言NER、情感分类和XNLI任务上的平均性能分别提高了0.52%、2.09%和1.29%。
2022-09-15 cs.AI cs.CL
Estimating Grammatical Gender Directions in Contextual Embeddings under Controlled and Natural Contexts
College of Foreign Languages and Cultures, Jilin University(吉林大学外语学院);College of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院)
针对上下文嵌入中语法性别与社会语义偏见的纠缠问题,首次提出在受控模板和自然维基百科上下文中,利用质心、SVM和LDA估计器及污染感知加权策略进行解耦,并设计双目标评估指标平衡去偏与语义保留。
2026-06-29 cs.AI cs.CL
Contextual embedding and model weighting by fusing domain knowledge on Biomedical Question Answering
Beijing University of Technology(北京工业大学)
生物医学问答旨在从生物医学领域获得给定问题的答案。由于其对生物医学领域知识的要求很高,模型很难从有限的训练数据中学习领域知识。我们提出了一种上下文嵌入方法,结合开放领域的QA模型\aoa和\biobert模型预训练的生物医学领域的数据。我们采用无监督预训练的大型生物医学语料库和监督微调生物医学问答数据集。此外,我们采用一个基于MLP的模型加权层,自动利用两个模型的优点,提供正确的答案。利用PubMed语料库构建的公共数据集\biomrc对该方法进行了评价。实验结果表明,我们的模型优于国家的最先进的系统由一个很大的利润。
2022-06-26 cs.AI cs.CL
Cross-Lingual BERT Contextual Embedding Space Mapping with Isotropic and Isometric Conditions
Johns Hopkins University(约翰斯·霍普金斯大学)
通常,线性正交变换映射是通过对齐静态类型级嵌入来构建共享语义空间来学习的。鉴于上下文嵌入包含更丰富的语义特征,本文利用并行语料库研究了一种上下文感知的无词典映射方法。我们说明,我们的上下文嵌入空间映射显着优于以前的多语种词嵌入方法的双语词典归纳(BDI)任务,提供了更高程度的同构。为了提高映射的质量,我们还探索了从类型级表示中分离出来的感觉级嵌入,它可以以更高的分辨率对齐空间,并产生更精确的映射。此外,我们发现,上下文嵌入空间遭受其自然属性-各向异性和不等。为了缓解这两个问题,我们引入了迭代归一化算法作为一个必要的预处理步骤。我们的发现揭示了规范化上下文嵌入空间中各向同性、等距和同构之间的紧密关系。
2021-07-19 cs.CL
Sentiment Analysis with Contextual Embeddings and Self-Attention
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Warsaw University of Technology(华沙理工大学)
在自然语言中,单词或短语的预期含义通常是隐含的,并取决于上下文。在这项工作中,我们提出了一个简单而有效的方法,情感分析使用上下文嵌入和自我注意力机制。三种语言的实验结果,包括形态丰富的波兰语和德语,表明我们的模型与最先进的模型相当,甚至优于最先进的模型。在所有情况下,利用上下文嵌入的模型的优越性得到证明。最后,这项工作的目的是作为一个步骤,引入一个通用的,多语言的情感分类。
2020-10-05 cs.AI cs.CL cs.LG
Learning Sense-Specific Static Embeddings using Contextualised Word Embeddings as a Proxy
University of Liverpool(利物浦大学);Department of Computer Science(计算机科学系);University of Liverpool, UK(英国利物浦大学)
从神经语言模型(NLM)(如BERT)生成的上下文化词嵌入表示具有向量的单词,该向量考虑目标单词的语义及其上下文。另一方面,静态词嵌入(如GloVe)通过相对低维、内存和计算效率高的向量表示词,但对词的不同含义不敏感。我们提出了上下文派生的嵌入的意义(CDES),一种方法,提取意义相关的信息,从上下文的嵌入,并将其注入到静态嵌入,以创建特定意义的静态嵌入。在词义消歧和词义判别任务的多个基准测试上的实验结果表明,CDES可以准确地学习特定于词义的静态嵌入,其性能与当前最先进的词义嵌入相当。
2021-10-06 cs.CL
Combining Static and Contextualised Multilingual Embeddings
LMU Munich(慕尼黑大学);Charles University(查理大学)
静态和上下文多语言嵌入具有互补的优势。静态嵌入虽然不如上下文语言模型具有表达性,但可以更直接地跨多种语言对齐。我们结合了静态和上下文模型的优势,以改善多语言表示。我们从XLM-R中提取了40种语言的静态嵌入,使用跨语言单词检索来验证这些嵌入,然后使用VecMap进行对齐。这就产生了高质量、高度多语言的静态嵌入。然后,我们将一种新的持续预训练方法应用于XLM-R,利用静态嵌入的高质量对齐来更好地对齐XLM-R的表示空间。我们对多个复杂的语义任务显示出积极的结果。我们发布静态嵌入和后续的预训练代码。与大多数以前的工作不同,我们的持续预训练方法不需要并行文本。
2022-03-17 cs.CL
Using Paraphrases to Study Properties of Contextual Embeddings
University of Michigan(密歇根大学)
我们使用释义作为一个独特的数据源来分析上下文嵌入,特别关注BERT。由于释义自然地编码一致的单词和短语语义,它们为研究嵌入的属性提供了独特的镜头。使用释义数据库的路线,我们研究的释义以及短语表示的话。我们发现,上下文嵌入有效地处理多义词,但在许多情况下,给同义词令人惊讶的不同表示。我们证实了以前的研究结果,BERT是敏感的词序,但发现略有不同的模式比以前的工作在跨BERT的层的语境化的水平。
2022-07-12 cs.CL
Better Word Embeddings by Disentangling Contextual n-Gram Information
EPFL(洛桑联邦理工学院);Iprova SA(Iprova公司)
预先训练的词向量在自然语言处理应用中是普遍存在的。在本文中,我们展示了如何训练词嵌入联合二元组,甚至三元组嵌入,结果在改进的unigram嵌入。我们声称,训练词嵌入以及更高的n-gram嵌入有助于从unigrams中移除上下文信息,从而产生更好的独立词嵌入。我们的经验表明,我们的假设的有效性优于其他竞争词表征模型的显着保证金上各种各样的任务。我们公开我们的模型。
2019-04-10 cs.AI cs.CL cs.IR
Zero-Shot Cross-Lingual Dependency Parsing through Contextual Embedding Transformation
Johns Hopkins University(约翰斯·霍普金斯大学)
线性嵌入变换已被证明是有效的zero-shot跨语言迁移任务,并取得令人惊讶的有希望的结果。然而,跨语言嵌入空间映射通常在静态词级嵌入中进行研究,其中通过对齐从词典引用的翻译对的表示来导出空间变换。我们进一步从这条线,并调查上下文嵌入对齐的方法,这是意义层面和字典自由。为了提高映射的质量,我们还提供了上下文嵌入的属性的深入视图,即,各向异性问题及其解决方法。实验zero-shot依存句法分析通过我们的嵌入转换建立的概念共享空间大大优于国家的最先进的方法,使用多语言嵌入。
2021-03-03 cs.CL
How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings
Stanford University(斯坦福大学);University of Toronto(多伦多大学)
用上下文化的词表示代替静态的词嵌入,在许多NLP任务上都有了显著的改进。然而,ELMo和BERT等模型产生的语境化表示究竟有多语境化呢?每个词是否有无限多个上下文特定的表征,或者词本质上被分配了有限数量的词义表征之一?首先,我们发现所有单词的语境化表示在语境化模型的任何一层都不是各向同性的。虽然相同单词在不同上下文中的表示仍然比两个不同单词的表示具有更大的余弦相似性,但这种自相似性在上层中要低得多。这表明上下文化模型的上层产生更多的上下文特定的表示,就像LSTM的上层产生更多的任务特定的表示一样。在ELMo、BERT和GPT-2的所有层中,平均而言,一个词的上下文表示中只有不到5%的方差可以通过该词的静态嵌入来解释,这为上下文表示的成功提供了一些理由。
2019-09-02 cs.CL
Out-of-Manifold Regularization in Contextual Embedding Space for Text Classification
POSTECH(浦项科技大学)
最近对具有预训练权重的神经网络的研究(即,BERT)主要集中在低维子空间上,从输入单词(或其上下文)计算的嵌入向量位于该低维子空间中。在这项工作中,我们提出了一种新的方法来寻找和正则化的空间,被称为出流形,这不能通过的话访问的其余部分。具体来说,我们基于从实际观察到的单词中获得的两个嵌入来合成流形外嵌入,以利用它们来微调网络。训练一个嵌入函数来检测输入嵌入是否位于流形内部,同时,优化一个生成器来生成新的嵌入,这些嵌入可以很容易地被嵌入函数识别为流形外的嵌入。这两个模块成功地以统一和端到端的方式协作,以正则化流形外。我们对各种文本分类基准的广泛评估表明了我们方法的有效性,以及与现有的数据增强技术的良好兼容性,旨在增强流形。
2021-05-14 cs.AI cs.CL
semantic-features: A User-Friendly Tool for Studying Contextual Word Embeddings in Interpretable Semantic Spaces
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
本文提出 semantic-features 库,将上下文化词嵌入投影到可解释语义空间,并通过450个歧义与格句子对验证三个MLP能敏感反映构式带来的生命性解释差异。
2025-06-06 cs.AI cs.CL
Fine-tuning Pre-trained Contextual Embeddings for Citation Content Analysis in Scholarly Publication
University of North Texas(北德克萨斯大学)
引文功能和引文情感是引文内容分析的两个重要方面,对影响力分析和科技期刊推荐有重要意义。然而,现有的研究多为传统的机器学习方法,虽然也对深度学习技术进行了探索,但由于训练数据不足,性能的提高并不显著,给应用带来了困难。在本文中,我们建议为任务微调预训练的上下文嵌入ULMFiT,BERT和XLNet。在三个公共数据集上的实验表明,我们的策略在F1得分方面优于所有基线。对于引文功能识别,XLNet模型在DFKI、UMICH和TKDE 2019数据集上分别达到87.2%、86.90%和81.6%,而在引文情感识别方面,它在DFKI和UMICH上分别达到91.72%和91.56%。我们的方法可以用来加强学者和学术出版物的影响力分析。
2020-09-12 cs.AI cs.CL
UmlsBERT: Clinical Domain Knowledge Augmentation of Contextual Embeddings Using the Unified Medical Language System Metathesaurus
University of Waterloo(滑铁卢大学)
上下文词嵌入模型,如BioBERT和Bio_ClinicalBERT,通过将其预训练过程集中在特定领域的语料库上,在生物医学自然语言处理任务中取得了最先进的结果。然而,这样的模型不考虑专家领域知识。在这项工作中,我们介绍了UmlsBERT,一个上下文嵌入模型,通过一种新的知识增强策略,在预训练过程中集成领域知识。更具体地说,用统一医学语言系统(UMLS)元词库对UmlsBERT进行增强是以两种方式进行的:i)连接UMLS中具有相同基础“概念”的单词,以及ii)利用UMLS中的语义组知识来创建有临床意义的输入嵌入。通过应用这两种策略,UmlsBERT可以将临床领域知识编码到词嵌入中,并在常见的命名实体识别(NER)和临床自然语言推理临床NLP任务上优于现有的领域特定模型。
2021-06-03 cs.AI cs.CL cs.LG
PEACH: Pretrained-embedding Explanation Across Contextual and Hierarchical Structure
University of Melbourne(墨尔本大学);University of Sydney(悉尼大学);FortifyEdge
本文提出基于树的解释技术PEACH,利用任意预训练上下文嵌入以人类可解释的方式解释文本分类,在9个NLP基准上验证其灵活性与实用性,并能识别模型错误协助数据集调试。
2024-04-21 cs.CL
Contextual Embeddings: When Are They Worth It?
Stanford Univeristy(斯坦福大学);Apple(苹果公司)
我们研究了深度上下文嵌入(例如,BERT)相对于经典的预训练嵌入(例如,GloVe),以及一个更简单的基线-随机词嵌入-专注于训练集大小和任务的语言属性的影响。令人惊讶的是,我们发现这两个更简单的基线都可以匹配行业规模数据上的上下文嵌入,并且通常在基准任务上的准确率(绝对)在5%到10%之间。此外,我们还识别了上下文嵌入带来特别大收益的数据属性:包含复杂结构的语言,模糊的单词用法以及在训练中看不到的单词。
2020-05-18 cs.CL cs.LG
Transition-based Abstract Meaning Representation Parsing with Contextual Embeddings
University of Oxford(牛津大学);The University of Edinburgh(爱丁堡大学)
理解和生成语言的能力使人类认知有别于其他已知的生命形式。我们研究了在语义解析任务中,将两种最成功的语言意义途径--统计语言模型和符号语义形式主义--结合起来的方法。建立在一个过渡为基础的,抽象意义表示(AMR)解析器,AmrEager,我们探讨了将预先训练的上下文感知的词嵌入-如BERT和RoBERTa-在AMR解析的问题,贡献一个新的解析器,我们称之为AmrBerger的效用。实验发现,这些丰富的词汇功能单独是不是特别有帮助,在提高分析器的整体性能的SMATCH分数相比,非上下文对应时,而额外的概念信息使系统能够超越基线。通过病变研究,我们发现上下文嵌入的使用有助于使系统对显式句法特征的去除更加鲁棒。这些发现揭示了当前形式的上下文嵌入和语言模型的优点和缺点,并促进了对它们的更深入的理解。
2022-06-13 cs.AI cs.CL cs.LG
Lost in Context? On the Sense-wise Variance of Contextualized Word Embeddings
Westlake University(西湖大学)
语言模型中的语境化词嵌入给自然语言处理带来了很大的进步。直观的,潜在的信息被集成到词的表示中,这可以帮助建模多义。然而,上下文敏感性也会导致表征的变化,这可能会破坏同义词的语义一致性。我们量化了在典型的预训练模型中,每个词义的上下文嵌入在上下文中的变化程度。结果表明,语境化的嵌入可以高度一致的上下文。此外,词性、词义数量和句子长度对意义表征的方差也有影响。有趣的是,我们发现单词表征是有位置偏见的,不同语境中的第一个单词往往更相似。我们分析了这种现象,并提出了一种简单的方法来减轻这种偏见,在基于距离的词义消歧设置。
2022-08-20 cs.CL
Unsupervised Attention-based Sentence-Level Meta-Embeddings from Contextualised Language Models
University of Liverpool(利物浦大学);Amazon(亚马逊)
在NLP社区中已经提出了各种上下文化的语言模型,这些模型在不同的语料库上训练以产生许多神经语言模型(NLM)。然而,不同的NLM在用作文本表示时在下游NLP应用中报告了不同水平的性能。我们提出了一种元嵌入学习方法,该方法采用独立训练的上下文化词嵌入模型,并学习保留输入源NLM互补优势的句子嵌入。我们提出的方法是无监督的,并且不与特定的下游任务绑定,这使得学习的元嵌入原则上适用于需要句子表示的不同任务。具体来说,我们首先投影由各个NLM获得的令牌级嵌入,并学习指示源嵌入对其令牌级元嵌入的贡献的注意力权重。接下来,我们应用均值池和最大池来从令牌级元嵌入生成令牌级元嵌入。在语义文本相似度基准测试上的实验结果表明,我们提出的无监督文本级元嵌入方法优于先前提出的文本级元嵌入方法以及有监督的基线。
2022-04-16 cs.CL
Is Neural Topic Modelling Better than Clustering? An Empirical Study on Clustering with Contextual Embeddings for Topics
University of Technology Sydney(悉尼科技大学);Eindhoven University of Technology(埃因霍温理工大学);University of Wollongong(伍伦贡大学)
最近的工作将预训练的词嵌入(如BERT嵌入)纳入神经主题模型(NTM),生成高度连贯的主题。然而,有了高质量的上下文文档表示,我们真的需要复杂的神经模型来获得连贯和可解释的主题吗?在本文中,我们进行了深入的实验表明,直接聚类高质量的句子嵌入与适当的词选择方法可以产生更多的连贯性和多样性的主题比NTM,也实现了更高的效率和简单性。
2022-04-21 cs.CL
Evaluating Contextualized Embeddings on 54 Languages in POS Tagging, Lemmatization and Dependency Parsing
Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
我们提出了一个广泛的评估,最近提出的三种方法,在89个语料库中的54种语言的通用嵌入2.3在三个任务:词性标注,词形还原,和依存句法分析的上下文嵌入。采用BERT,Flair和ELMo作为UDPipe 2.0强基线的预训练嵌入输入,UDPipe 2.0是CoNLL 2018共享任务的最佳系统之一,也是EPE 2018的总冠军,我们对三种上下文化的词嵌入方法进行了一对一的比较,以及与word2vec类预训练嵌入和与端到端字符级词嵌入的比较。我们报告了所有三个任务的最新结果,与CoNLL 2018共享任务中UD 2.2的结果相比。
2019-08-20 cs.CL
Sequence Tagging with Contextual and Non-Contextual Subword Representations: A Multilingual Evaluation
RIKEN AIP(理化学研究所先进智能项目中心);Tohoku University(东北大学);Heidelberg Institute for Theoretical Studies gGmbH(海德堡理论研究所)
预训练的上下文和非上下文子词嵌入已经在250多种语言中可用,允许大规模多语言NLP。然而,虽然并不缺乏预训练的嵌入,但明显缺乏系统的评估使得从业者很难在它们之间做出选择。在这项工作中,我们进行了广泛的评估比较非上下文子词嵌入,即FastText和BPEmb,和上下文表示方法,即BERT,多语言命名实体识别和词性标注。我们发现,总的来说,BERT,BPEmb和字符表示的组合在语言和任务中效果最好。更详细的分析揭示了不同的优点和缺点:多语言BERT在中高资源语言中表现良好,但在低资源环境中表现不如非上下文子词嵌入。
2019-06-04 cs.CL
Cross-lingual alignments of ELMo contextual embeddings
University of Ljubljana(卢布尔雅那大学)
为特定的NLP任务构建机器学习预测模型需要足够的训练数据,这对于资源较少的语言来说可能很难获得。跨语言嵌入将词嵌入从资源较少的语言映射到资源丰富的语言,使得在来自资源丰富的语言的数据上训练的预测模型也可以在资源较少的语言中使用。为了产生最近上下文嵌入的跨语言映射,嵌入空间之间的锚点必须是相同上下文中的单词。我们用一种新的方法来解决这个问题,用于创建跨语言上下文对齐数据集。在此基础上,我们提出了几种ELMo嵌入的跨语言映射方法。所提出的线性映射方法使用现有的Vecmap和MUSE对齐上下文ELMo嵌入。新的非线性ELMoGAN映射方法基于GANs,并且不假设同构嵌入空间。我们评估了九种语言的映射方法,使用四个下游任务:命名实体识别(NER),依存句法分析(DP),术语对齐,和情感分析。ELMoGAN方法在NER和术语对齐任务上表现非常好,与某些语言的直接训练相比,NER的跨语言损失更低。在DP和情感分析中,线性上下文对齐变体更成功。
2021-07-22 cs.CL
Clinical Concept Extraction with Contextual Word Embedding
Boston University(波士顿大学);Philips Research North America(飞利浦北美研究院)
临床概念的自动提取是将临床笔记中的非结构化数据转化为结构化和可操作信息的重要步骤。在这项工作中,我们提出了一个临床概念提取模型的自动注释的临床问题,治疗和测试的临床笔记,利用特定领域的上下文词嵌入。首先在具有临床领域中的临床报告和相关维基百科页面的混合物的语料库上训练上下文词嵌入模型。接下来,使用上下文词嵌入模型训练双向LSTM-CRF模型用于临床概念提取。我们在I2 B2 2010挑战数据集上测试了我们提出的模型。我们提出的模型在报告的基线模型中取得了最好的性能,在F1得分方面比最先进的模型高出3.4%。
2018-11-26 cs.CL
A Monolingual Approach to Contextualized Word Embeddings for Mid-Resource Languages
Inria(法国国家信息与自动化研究所);Sorbonne Université(索邦大学)
我们使用的多语言OSCAR语料库,通过语言分类,过滤和清洗,从公共爬行提取,训练单语上下文词嵌入(ELMo)的五个中间资源语言。然后,我们比较了基于OSCAR和基于维基百科的ELMo嵌入这些语言的词性标记和解析任务的性能。我们发现,尽管在基于Common-Crawl的OSCAR数据中存在噪声,但在OSCAR上训练的嵌入比在维基百科上训练的单语嵌入表现得更好。它们实际上等于或改进了所有五种语言的标记和解析的当前技术水平。特别是,它们还改进了基于多语言维基百科的上下文嵌入(多语言BERT),这几乎总是构成了以前的最新技术水平,从而表明更大,更多样化的语料库的好处超过了多语言嵌入架构的跨语言好处。
2020-06-18 cs.CL