SEE: Syntax-aware Entity Embedding for Neural Relation Extraction
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；Collaborative Innovation Center of Novel Software Technology and Industrialization（新型软件技术与产业化协同创新中心）；Alibaba Group（阿里巴巴集团）；School of Computer Science and Technology, Heilongjiang University（黑龙江大学计算机科学与技术学院）
距离监督关系抽取是一种有效的大规模关系抽取方法，被广泛用于从纯文本中发现新的关系事实。近年来神经关系抽取的研究通过在低维空间中对句子建模取得了很大进展，但很少考虑句法信息对实体建模。在本文中，我们提出学习语法感知的实体嵌入神经关系抽取。首先，我们编码的依赖树上的实体的上下文作为基于树GRU的事务级实体嵌入。然后，我们利用句子内和句子间的注意力，以获得句子集合级的实体嵌入所有句子包含的焦点实体对。最后，我们结合句子嵌入和实体嵌入进行关系分类。我们在一个广泛使用的真实数据集上进行了实验，实验结果表明，我们的模型可以充分利用所有的信息实例，并实现了最先进的性能的关系抽取。
2018-01-11 cs.CL
Morphological Embeddings for Named Entity Recognition in Morphologically Rich Languages
Boğaziçi University（海峡大学）；Huawei R&D Center（华为研发中心）
在这项工作中，我们提出了土耳其和捷克命名实体识别的93.59，%和79.59，%的新的最先进的结果（Lample等人，2016）。我们的贡献，提出了几个方案表示一个词的形态分析的背景下，命名实体识别。我们表明，这种表示与单词和字符嵌入的串联提高了性能。这些表示方案上的标记性能的效果也进行了研究。
2017-06-01 cs.CL
End-to-End Entity Linking and Disambiguation leveraging Word and Knowledge Graph Embeddings
University of Bonn（波恩大学）；Fraunhofer IAIS（弗劳恩霍夫应用信息技术研究所）；Ruhr University Bochum（波鸿鲁尔大学）
实体链接-将自然语言话语中的实体提及连接到知识图谱（KG）实体是KG上的问答的关键步骤。它通常基于测量实体标签与问题中提到的实体之间的字符串相似性。问题中提到的关系有助于消除具有相同标签的实体之间的歧义。如果在关系链接步骤中已经识别出不正确的关系，则这可能是误导性的。然而，不正确的关系可能仍然在语义上类似于正确实体在KG内形成三元组的关系;这可以通过它们的KG嵌入的相似性来捕获。基于这一思想，我们提出了第一个端到端的神经网络方法，采用KG以及词嵌入来执行简单问题的联合关系和实体分类，同时隐式地执行实体消歧与一种新的门控机制的帮助。实证评估表明，所提出的方法实现了性能相当于国家的最先进的实体链接，同时需要较少的后处理。
2020-02-25 cs.CL
Self-Attention Gazetteer Embeddings for Named-Entity Recognition
Amazon（亚马逊）
最近的尝试摄取外部知识到神经模型的命名实体识别（NER）表现出混合的结果。在这项工作中，我们提出了GazSelfAttn，一种新的地名词典嵌入方法，使用自我关注和匹配跨度编码，以建立增强的地名词典嵌入。此外，我们还演示了如何从开源维基数据知识库中构建地名词典资源。对CoNLL-03和Ontonotes 5数据集的评估显示，F1分别从92.34提高到92.86和89.11提高到89.32，达到了与大型最先进模型相当的性能。
2020-04-18 cs.CL
Lexicon Infused Phrase Embeddings for Named Entity Resolution
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
大多数用于命名实体识别（NER）的最先进的方法使用词簇和词典形式的半监督信息。最近，已经探索了基于神经网络的语言模型，因为它们作为副产品生成词的高度信息化的向量表示，称为词嵌入。在本文中，我们提出了两个贡献：一种新的形式的学习词嵌入，可以利用相关词汇的信息，以改善表示，和第一个系统使用神经词嵌入，以实现国家的最先进的结果，命名实体识别在CoNLL和Ontonotes NER。我们的系统在CoNLL 2003的测试集上获得了90.90的F1分数-明显优于以前任何基于公共数据训练的系统，并与采用大量私有工业查询日志数据的系统相匹配。
2014-04-22 cs.CL
Comparing CNN and LSTM character-level embeddings in BiLSTM-CRF models for chemical and disease named entity recognition
School of Computing and Information Systems（计算与信息系统学院）；The University of Melbourne（墨尔本大学）
我们比较了在BiLSTM-CRF模型中使用基于LSTM和基于CNN的字符级词嵌入来处理化学和疾病命名实体识别（NER）任务。BioCreative V CDR语料库的实证结果表明，使用任何一种类型的字符级词嵌入与BiLSTM-CRF模型相结合，导致相当的最先进的性能。然而，使用基于CNN的字符级词嵌入的模型具有计算性能优势，比基于词的模型增加了25%的训练时间，而基于LSTM的字符级词嵌入是所需训练时间的两倍多。
2018-08-25 cs.CL
Embeddings of Label Components for Sequence Labeling: A Case Study of Fine-grained Named Entity Recognition
Tohoku University（东北大学）；RIKEN（理化学研究所）
通常，序列标记中使用的标签由不同类型的元素组成。例如，IOB格式的实体标签，如B-Person和I-Person，可以分解为跨度（B和I）和类型信息（Person）。然而，虽然大多数序列标记模型不考虑这样的标签组件，但标签之间的共享组件（例如Person）可能有利于标签预测。在这项工作中，我们建议将标签组件信息作为嵌入模型。通过对英语和日语细粒度命名实体识别的实验，我们证明了该方法提高了性能，尤其是对于低频标签的实例。
2020-06-04 cs.CL
Cross-lingual Entity Alignment with Adversarial Kernel Embedding and Adversarial Knowledge Translation
University of Oregon（俄勒冈大学）；Auburn University（奥本大学）；Peking University（北京大学）
跨语言实体对齐的目标是将不同单语知识库（KBs）中的相同实体精确地连接在一起，其经常遭受来自特征不一致和序列上下文不知晓的挑战。本文提出了一个用于跨语言实体对齐的双对抗学习框架DAEA，其中有两个原创性贡献。首先，针对两个知识图谱中实体之间结构和属性特征不一致的问题，提出了一种对抗性核嵌入技术，以无监督的方式提取图不变信息，并将两个知识图谱投影到公共嵌入空间中.其次，为了进一步提高实体对齐的成功率，我们提出了通过每个待对齐的实体产生多个随机游走，并在随机游走中屏蔽这些实体。在多个随机游走的背景下，在已知对齐实体的指导下，开发了一个对抗性知识翻译模型，以填充和翻译来自两个KG的成对随机游走中的掩蔽实体。在真实世界数据集上进行的大量实验表明，DAEA可以很好地解决特征不一致和序列上下文未知问题，并显着优于13个最先进的实体比对方法。
2021-04-16 cs.CL
Improving Entity Linking by Modeling Latent Entity Type Information
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research Asia（微软亚洲研究院）；Peng Cheng Laboratory（鹏城实验室）
现有技术的神经实体链接模型采用基于注意力的词袋上下文模型和从词嵌入引导的预训练实体嵌入来评估主题级上下文兼容性。然而，在提到的直接上下文中的潜在实体类型信息被忽略，这导致模型往往链接到不正确的实体与不正确的类型。为了解决这个问题，我们提出了基于预训练的BERT的实体嵌入注入潜在的实体类型信息。此外，我们将基于BERT的实体相似性得分集成到最先进模型的局部上下文模型中，以更好地捕获潜在的实体类型信息。我们的模型显着优于国家的最先进的实体链接模型的标准基准（AIDA-CoNLL）。详细的实验分析表明，我们的模型纠正了直接基线产生的大部分类型错误。
2020-01-06 cs.CL
Multilingual Named Entity Recognition Using Pretrained Embeddings, Attention Mechanism and NCRF
MIPT（莫斯科物理技术学院）；Sberbank（俄罗斯联邦储蓄银行）
提出一种结合多语言 BERT 嵌入、双向循环网络、注意力机制与 NCRF 的多语言命名实体识别模型，并在 BSNLP 四语种数据集上进行测试。
2019-06-21 cs.CL
E-BERT: Efficient-Yet-Effective Entity Embeddings for BERT
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Siemens AG（西门子股份公司）
我们提出了一种将关于实体的事实知识注入到预训练的BERT模型中的新方法（Devlin等人，2019）：我们对齐Wikipedia 2 Vec实体向量（Yamada等人，2016）与BERT的原生词段向量空间，并使用对齐的实体向量，就好像它们是词段向量一样。得到的实体增强版本的BERT（称为E-BERT）在精神上类似于ERNIE（Zhang et al.，2019）和KnowBert（Peters等人，2019），但它不需要对BERT编码器进行昂贵的进一步预训练。我们评估E-BERT的无监督问答（QA），监督关系分类（RC）和实体链接（EL）。在所有三项任务中，E-BERT的表现都优于BERT和其他基准。我们还定量地表明，原始的BERT模型过度依赖于实体名称的表面形式（例如，猜一个名字听起来像意大利语的人会说意大利语），而E-BERT减轻了这个问题。
2020-05-01 cs.CL
Graph-Convolutional Networks: Named Entity Recognition and Large Language Model Embedding in Document Clustering
Centre Borelli UMR9010（博雷利中心UMR9010）；Université Paris Cité（巴黎大学）
本文提出将命名实体识别（NER）与大语言模型（LLM）嵌入结合，构建基于图卷积网络（GCN）的文档聚类框架，有效提升了富含命名实体文档的聚类效果。
2024-12-19 cs.CL
Jointly Learning Entity and Relation Representations for Entity Alignment
Peking University（北京大学）；University of Leeds（利兹大学）
实体对齐是集成不同知识图谱之间异构知识的一种可行方法。该领域的最新发展通常采用基于嵌入的方法来建模KG的结构信息，以便可以在嵌入空间中轻松执行实体对齐。然而，大多数现有的作品没有明确利用有用的关系表示，以协助实体对齐，这是一个简单而有效的方法，提高实体对齐。本文提出了一种新的实体对齐联合学习框架。我们的方法的核心是一个基于图卷积网络（GCN）的框架，用于学习实体和关系表示。我们不是依靠预先对齐的关系种子来学习关系表示，而是首先使用GCN学习的实体嵌入来近似它们。然后，我们将关系近似合并到实体中，以迭代地学习两者的更好表示。在三个真实世界的跨语言数据集上进行的实验表明，我们的方法大大优于最先进的实体对齐方法。
2019-09-20 cs.CL
DaMuEL: A Large Multilingual Dataset for Entity Linking
Charles University, Faculty of Mathematics and Physics（查理大学数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
本研究发布包含53种语言的大型多语言实体链接数据集DaMuEL，由语言无关知识库和分语言的维基百科链接文本、Wikidata文本组成，含2790万实体、123亿token，为多语言实体链接研究提供数据支撑。
2023-06-15 cs.CL
Unifying Dual-Space Embedding for Entity Alignment via Contrastive Learning
College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院）；Inner Mongolia Key Laboratory of Multilingual Artificial Intelligence Technology（内蒙古多语言人工智能技术重点实验室）
提出UniEA方法，通过同时在欧几里得空间与双曲空间学习图结构嵌入并结合对比学习，解决知识图谱复杂结构表示及相似邻近实体导致的误对齐问题，在基于结构的实体对齐上达到最优性能。
2024-12-06 cs.CL
Joint Learning of the Embedding of Words and Entities for Named Entity Disambiguation
Studio Ousia（Ousia工作室）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；National Institute of Informatics（国立信息学研究所）；Keio University（庆应义塾大学）
命名实体消歧（NED）是指将文档中的多个命名实体提及解析为它们在知识库（KB）中的正确引用的任务（例如，Wikipedia）.在本文中，我们提出了一种新的嵌入方法，专门为NED设计。所提出的方法联合映射到同一个连续的向量空间的单词和实体。我们通过使用两个模型扩展了skip-gram模型。KB图模型使用KB的链接结构来学习实体的相关性，而锚上下文模型旨在通过利用KB锚及其上下文单词来对齐向量，使得相似的单词和实体在向量空间中彼此靠近地出现。通过将基于所提出的嵌入的上下文与标准NED特征相结合，我们在标准CoNLL数据集上实现了93.1%的最新准确率，在TAC 2010数据集上实现了85.2%的准确率。
2016-06-10 cs.CL
Graph-Embedding Empowered Entity Retrieval
在这项研究中，我们改进了目前的艺术实体检索的结果列表使用图嵌入重新排名。本文表明，图嵌入是有用的面向实体的搜索任务。我们的经验表明，编码信息从知识图谱到（图）嵌入有助于更高的增加实体检索结果的有效性比使用普通的词嵌入。我们分析了实体链接器的准确性对整体检索效果的影响。我们的分析进一步部署集群假设来解释观察到的优势，图嵌入更广泛使用的词嵌入，用户任务涉及排名实体。
2020-05-06 cs.CL cs.IR
PublishInCovid19 at WNUT 2020 Shared Task-1: Entity Recognition in Wet Lab Protocols using Structured Learning Ensemble and Contextualised Embeddings
Flipkart Private Limited（Flipkart私人有限公司）
在本文中，我们描述了我们用于解决湿实验室协议上的实体识别任务的方法-EMNLP WNUT-2020研讨会中的共享任务。我们的方法由两个阶段组成。在第一阶段，我们使用各种上下文化的词嵌入（如Flair，基于BERT的）和BiLSTM-CRF模型进行实验，以获得性能最佳的架构。在第二阶段，我们创建了一个由11个BiLSTM-CRF模型组成的系综。单个模型在完整数据集的随机训练验证分割上进行训练。在这里，我们还尝试了不同的输出合并方案，包括多数投票和结构化学习集成（SLE）。我们最终提交的作品在实体跨度的部分和精确匹配方面分别获得了0.8175和0.7757的微观F1分数。我们分别在部分匹配和完全匹配方面排名第一和第二。
2020-10-15 cs.CL
Entity or Relation Embeddings? An Analysis of Encoding Strategies for Relation Extraction
Cardiff University（卡迪夫大学）
本文针对关系抽取中实体嵌入间接建模关系的局限，提出利用含 [MASK] 的提示构造关系嵌入，并与头尾实体嵌入联合建模，从而在多个基准上取得最先进性能。
2024-10-02 cs.CL
Improving Chemical Named Entity Recognition in Patents with Contextualized Word Embeddings
The University of Melbourne（墨尔本大学）；Elsevier（爱思唯尔）
化学专利是重要的化学信息资源。然而，很少有化学命名实体识别（NER）系统已被评估的专利文件，部分原因是其结构和语言的复杂性。在本文中，我们探讨了NER性能的BiLSTM-CRF模型利用预训练的词嵌入，字符级的词表示和上下文ELMo词表示化学专利。我们比较了在生物医学和化学专利语料库上预训练的词嵌入。还探讨了针对化学领域优化的标记器对化学专利中NER性能的影响。两个专利语料库的结果表明，从ELMo生成的上下文化的词表示大大提高化学NER性能w.r.t.我们还表明，特定领域的资源，如词嵌入培训的化学专利和化学特定的标记器对NER性能有积极的影响。
2019-07-05 cs.CL
Hierarchical Meta-Embeddings for Code-Switching Named Entity Recognition
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心（CAiRE））；The Hong Kong University of Science and Technology（香港科技大学）
在讲多种主要语言的国家，在对话中混合不同的语言通常被称为代码转换。以前的工作解决这一挑战主要集中在字级方面，如词嵌入。然而，在许多情况下，语言共享共同的子词，特别是对于密切相关的语言，但也对于看似不相关的语言。因此，我们提出了层次元嵌入（HME），学习结合多个单语词级和子词级嵌入，以创建语言不可知的词汇表示。在英语-西班牙语码转换数据的命名实体识别任务中，我们的模型在多语言环境中达到了最先进的性能。我们还表明，在跨语言环境中，我们的模型不仅利用密切相关的语言，而且还从不同词根的语言中学习。最后，我们表明，结合不同的子单元是至关重要的捕获代码转换实体。
2019-09-18 cs.CL
Gazetteer-Enhanced Bangla Named Entity Recognition with BanglaBERT Semantic Embeddings K-Means-Infused CRF Model
BRAC University（BRAC大学）
针对孟加拉语命名实体识别发展滞后的问题，研究梳理现有技术与数据集局限，构建可提升性能的地名词典，提出融合BanglaBERT语义嵌入与K-Means增强CRF的新型方案，效果优于传统技术。
2024-01-30 cs.CL
EASE: Entity-Aware Contrastive Learning of Sentence Embedding
Studio Ousia（Ousia工作室）；The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所AIP）；National Institute of Informatics（国立信息学研究所）
我们提出了EASE，一种新的方法学习句子嵌入通过对比学习之间的句子和它们的相关实体。使用实体监督的优点是双重的：（1）实体已被证明是文本语义的强指示器，因此应该为句子嵌入提供丰富的训练信号;（2）实体是独立于语言定义的，因此提供有用的跨语言对齐监督。我们评估EASE对其他无监督模型在单语和多语言设置。我们表明，EASE表现出竞争力或更好的性能在英语语义文本相似性（STS）和短文本聚类（STC）的任务，它显着优于基线方法在多种任务的多语言设置。我们的源代码，预训练模型和新构建的多语言STC数据集可在https://github.com/studio-ousia/ease上获得。
2022-05-09 cs.CL
Dynamic Injection of Entity Knowledge into Dense Retrievers
Studio Ousia（Ousia工作室）；RIKEN AIP（理化学研究所AIP）；SB Intuitions；The University of Tokyo（东京大学）
针对密集检索器实体知识不足的问题，提出基于BERT的KPR，通过上下文-实体注意力层和动态实体嵌入融入外部知识，无需重训即提升检索准确率，并在多个数据集上达到最优性能。
2025-09-08 cs.CL
Boosting Entity Mention Detection for Targetted Twitter Streams with Global Contextual Embeddings
Binghamton University（宾汉姆顿大学）；Temple University（天普大学）
像Twitter这样的微博客网站已经成为无处不在的信息来源。微博信息自动提取和分析的两个重要任务是实体提及检测和实体检测。最先进的EMD系统旨在通过在离线静态数据集上训练来对微博文本的非文学性质进行建模。它们从单个消息中提取表面级特征（拼写、词汇和语义）的组合，用于噪声文本建模和实体提取。但是，鉴于微博流的不断发展的性质，从这种变化但有限的短消息上下文中检测所有实体提及仍然是一个困难的问题。为此，我们提出了一个名为EMD Globalizer的框架，更适合于EMD学习者在微博流上的执行。它偏离了现有EMD系统对孤立微博消息的处理，在现有EMD系统中，从消息的直接上下文中学习到的知识用于建议实体。在EMD系统初始提取实体候选者之后，所提出的框架利用发生挖掘来找到在第一次检测期间错过的其他候选者提及。聚合这些提及的局部上下文表示，从流内的实体候选的集体上下文中提取全局嵌入。然后，利用全局嵌入将候选者中的实体与误报分离。流中提到的所有实体都在框架的最终输出中产生。我们的实验表明，EMD Globalizer可以提高我们测试的所有现有EMD系统的有效性（平均提高25.61%），只需少量额外的计算开销。
2022-01-28 cs.CL
On the Complementary Nature of Knowledge Graph Embedding, Fine Grain Entity Types, and Language Modeling
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
我们展示了神经知识图谱嵌入、细粒度实体类型预测和神经语言建模的互补性质。我们表明，语言模型启发的知识图谱嵌入方法产生改进的知识图谱嵌入和细粒度的实体类型表示。我们的工作还表明，联合建模结构化知识元组和语言都提高了。
2020-10-12 cs.AI cs.CL
Exploiting Entity BIO Tag Embeddings and Multi-task Learning for Relation Extraction with Imbalanced Data
National Engineering Research Center for Software Engineering, Peking University（北京大学软件工程国家工程研究中心）；Beijing University of Posts and Telecommunications（北京邮电大学）；School of Software and Microelectronics, Peking University（北京大学软件与微电子学院）
在实际应用中，关系抽取需要首先识别出具有关系的实体对，然后分配一个正确的关系类。然而，上下文中的非关系实体对（负实例）的数量通常远远超过其他实体对（正实例），这会对模型的性能产生负面影响。为了缓解这个问题，我们提出了一种多任务架构，它联合训练一个模型来执行具有交叉熵损失的关系识别和具有排名损失的关系分类。同时，我们观察到一个句子可能有多个实体和关系提及，实体在句子中出现的模式可能包含有用的语义信息，可以用来区分积极和消极的情况。因此，我们进一步将来自命名实体识别任务的按字符/按单词的BIO标签嵌入到字符/词嵌入中，以丰富输入表示。在ACE 2005中文和英文语料库上的实验结果表明，该方法可以显著提高基线模型的性能，F1值的绝对值提高超过10%，并且优于现有的模型。此外，BIO标签嵌入特别有效，也可用于改进其他模型。
2019-06-21 cs.CL
Co-training Embeddings of Knowledge Graphs and Entity Descriptions for Cross-lingual Entity Alignment
University of California, Los Angeles（加州大学洛杉矶分校）；Stony Brook University（石溪大学）
多语言知识图谱（KG）嵌入提供了实体和结构化知识的潜在语义表示和跨语言推理，有利于各种知识驱动的跨语言NLP任务。然而，精确地学习这样的跨语言推理通常是阻碍了低覆盖率的实体对齐在许多知识库。由于许多多语言KG也提供实体的文字描述，在本文中，我们介绍了一种基于嵌入的方法，利用弱对齐的多语言KG使用实体描述进行半监督跨语言学习。我们的方法执行两个嵌入模型的联合训练，即多语言KG嵌入模型和多语言文字描述嵌入模型。这些模型是在一个基于维基百科的大型三语数据集上训练的，其中大多数实体对齐对训练来说是未知的。实验结果表明，该方法在实体对齐任务上的性能在每次迭代的协同训练中都有所提高，并最终达到显著超过以前方法的阶段。我们还表明，我们的方法有前途的能力zero-shot实体对齐，跨语言KG完成。
2018-06-18 cs.AI cs.CL
Neural Text Classification and Stacked Heterogeneous Embeddings for Named Entity Recognition in SMM4H 2021
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学（LMU））
本文介绍了我们参与SMM 4 H共享任务2021的发现。我们解决了命名实体识别（NER）和文本分类。为了解决NER问题，我们探索了具有堆叠异构嵌入和语言特征的BiLSTM-CRF。我们研究了各种机器学习算法（逻辑回归，支持向量机（SVM）和神经网络）来解决文本分类问题。我们提出的方法可以推广到不同的语言，我们已经证明了其有效性英语和西班牙语。我们的文本分类提交（团队：MIC-NLP）在ADE分类（任务1a）和职业分类（任务7a）上分别获得了$0.46$和$0.90$的F1分数。在NER的情况下，我们的提交物在ADE跨度检测（任务1b）和职业跨度检测（任务7 b）上分别获得了$0.50$和$0.82$的F1分数。
2021-06-11 cs.CL
High-Throughput and Language-Agnostic Entity Disambiguation and Linking on User Generated Data
Lithium Technologies | Klout
实体消歧和链接（EDL）任务将文本中提到的实体与唯一的知识库（KB）标识符（如Wikipedia或Freebase ID）进行匹配。它在构建高质量信息网络中起着关键作用，并且可以进一步用于各种信息检索和NLP任务，如文本分类和文档标记。由于提及的模糊性和现实世界的文本是多语言的，因此EDL是一个复杂且具有挑战性的问题。此外，EDL系统需要具有高吞吐量，并且应该是轻量级的，以便扩展到大型数据集并在现成的机器上运行。更重要的是，这些系统需要能够从数据中提取密集注释并消除其歧义，以便使在数据上运行的信息检索或提取任务更加高效和准确。为了解决所有这些挑战，我们提出了Lithium EDL系统和算法-一种高吞吐量，轻量级，语言无关的EDL系统，比最先进的EDL系统多提取和正确消歧75%的实体，并且比它们快得多。
2017-03-13 cs.AI cs.CL cs.IR
LEALLA: Learning Lightweight Language-agnostic Sentence Embeddings with Knowledge Distillation
Google Research（谷歌研究院）；Kyoto University（京都大学）
本研究提出LEALLA，通过知识蒸馏和薄深编码器，在109种语言上构建轻量级语言无关句子嵌入，在多个基准上验证了其有效性。
2023-12-26 cs.CL
Open Named Entity Modeling from Embedding Distribution
Shanghai Jiao Tong University（上海交通大学）；University of Southern California（南加州大学）
在本文中，我们报告了我们的发现命名实体分布在一般的词嵌入空间，这有助于一个开放的定义多语言命名实体的定义，而不是以前的封闭和约束定义命名实体通过命名实体字典，这通常是来自人工劳动和响应时间表更新。我们对单语词嵌入的初步可视化表明，命名实体倾向于聚集在一起，尽管命名实体类型和语言差异，这使我们能够使用嵌入空间内的特定几何结构，即命名实体超球体来建模所有命名实体。对于单语言的情况下，建议的命名实体模型给出了一个开放的描述不同的命名实体类型和不同的语言。对于跨语言的情况下，映射所提出的命名实体模型提供了一种新的方式来构建命名实体数据集的资源贫乏的语言。最后，所提出的命名实体模型可以作为一个方便的线索，以提高国家的最先进的命名实体识别系统一般。
2021-02-10 cs.CL cs.IR
InterHT: Knowledge Graph Embeddings by Interaction between Head and Tail Entities
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（讯飞研究院）；iFLYTEK AI Research (Hebei)（讯飞人工智能研究院（河北））
知识图谱嵌入（KGE）模型学习知识图谱中实体和关系的表示。基于距离的方法在链接预测任务中表现出良好的性能，该任务通过两个实体表示之间的距离来预测结果。然而，这些方法大多数表示头实体和尾实体分开，这限制了模型的容量。我们提出了两个新的基于距离的方法命名为InterHT和InterHT+，使头部和尾部实体更好地相互作用，并得到更好的实体表示。实验结果表明，该方法在ogbl-wikikikg 2数据集上取得了较好的效果.
2022-12-23 cs.CL
Leveraging Lexical Resources for Learning Entity Embeddings in Multi-Relational Data
McGill University（麦吉尔大学）
最近的工作在学习向量空间嵌入多关系数据集中在结合关系信息来自知识库与分布式信息来自大型文本语料库。我们提出了一个简单的方法，利用实体或短语的描述，在词汇资源，结合分布式语义，以获得一个更好的初始化训练关系模型。将此初始化应用于TransE模型会在WordNet数据集上产生显著的新的最先进性能，将平均排名从之前的212降至51。它还导致实体表示的更快收敛。我们发现，有一个权衡提高平均排名和hits@10与这种方法。这表明，在关系模型中，关于性能改进还有很多需要理解的地方。
2016-05-18 cs.CL
Fine-Grained Entity Type Classification by Jointly Learning Representations and Label Embeddings
Indian Institute of Technology Guwahati（古瓦哈提印度理工学院）
细粒度实体类型分类（FETC）是将实体描述分类为一组广泛的类型的任务。远程监控范例被广泛用于生成用于该任务的训练数据。然而，生成的训练数据为实体的每次提及分配相同的标签集合，而不考虑其本地上下文。现有的FETC系统有两个主要缺点：假设训练数据是无噪声的和使用手工制作的特征。我们的工作克服了这两个缺点。我们提出了一个神经网络模型，共同学习实体提及和他们的上下文表示，以消除手工制作的功能。我们的模型将训练数据视为噪声，并使用铰链损失函数的非参数变体。实验表明，该模型优于以前的国家的最先进的方法在两个公开可用的数据集，即FIGER（GOLD）和BBN的平均相对提高2.69%的micro-F1得分。我们的模型在一个数据集上学习的知识可以在使用同一模型或其他FETC系统时转移到其他数据集。这些转移知识的方法进一步提高了各自模型的性能。
2017-02-22 cs.CL
Knowlege Graph Embedding by Flexible Translation
知识图谱嵌入是指将知识图谱中的实体和关系投影到连续的向量空间中。最先进的方法，如transE，transH和transR，通过将关系视为从头部实体到尾部实体的转换来构建嵌入。然而，以往的模型不能很好地处理自反/一对多/多对一/多对多关系，或者缺乏可扩展性和效率。因此，我们提出了一种新的方法，灵活的翻译，命名为transF，以解决上述问题。transF将关系看作是头实体向量和尾实体向量之间的平移，其大小是灵活的。为了评估所提出的模型，我们进行链接预测和三重分类的基准数据集。实验结果表明，我们的方法显着提高性能相比，几个国家的最先进的基线。
2015-09-10 cs.CL
TranS: Transition-based Knowledge Graph Embedding with Synthetic Relation Representation
DXM-DI-AI
知识图谱嵌入（KGE）的目的是学习知识图谱中关系和实体的连续向量。最近，基于转换的KGE方法已经取得了很好的性能，其中单个关系向量学习将头实体转换为尾实体。然而，这种评分模式不适合于相同实体对具有不同关系的复杂场景。以往的模型通常侧重于改进1对N、N对1和N对N关系的实体表示，而忽略了单个关系向量。在本文中，我们提出了一种新的过渡为基础的方法，transS，知识图谱嵌入。采用综合关系表示代替传统评分模式中的单一关系向量，有效地解决了这些问题。在一个大的知识图谱数据集ogbl-wikikikg 2上的实验表明，我们的模型达到了最先进的结果。
2022-04-29 cs.CL
Retrieving Multi-Entity Associations: An Evaluation of Combination Modes for Word Embeddings
Heidelberg University（海德堡大学）
词嵌入作为词之间语义关系的可学习表示已经得到了极大的关注，并且已经被证明改进了传统词表示的结果。然而，很少有人致力于使用嵌入检索的实体协会超越成对关系。在本文中，我们使用流行的嵌入方法训练向量表示的实体注释的新闻语料库，并评估其性能的任务预测实体参与新闻事件与传统的词共现网络作为基线。为了支持多个参与实体的事件查询，我们测试了一些嵌入向量的组合模式。虽然我们发现，即使是最好的组合模式词嵌入不完全达到完整的共现网络的性能，特别是对于罕见的实体，我们观察到，不同的嵌入方法模型不同类型的关系，从而表明集成方法的潜力。
2019-05-22 cs.CL cs.IR
A Morpho-Syntactically Informed LSTM-CRF Model for Named Entity Recognition
Sofia University（索非亚大学）；IICT-BAS（保加利亚科学院信息与通信技术研究所）
我们提出了一种基于形态信息的命名实体识别模型，该模型基于LSTM-CRF架构，结合了词嵌入、Bi-LSTM字符嵌入、词性（POS）标签和形态信息。虽然以前的工作主要集中在从原始单词输入中学习，只使用单词和字符嵌入，但我们表明，对于形态丰富的语言，如保加利亚语，访问POS信息比详细的形态信息更有助于提高性能。因此，我们表明，命名实体识别只需要粗粒度的POS标签，但在同一时间，它可以受益于同时使用一些不同粒度的POS信息。我们对标准数据集的评估结果显示，保加利亚NER的最新技术水平有了相当大的改进。
2019-08-27 cs.CL
RSCF: Relation-Semantics Consistent Filter for Entity Embedding of Knowledge Graph
AI Graduate School Gwangju Institute of Science and Technology（全州科学技术研究院人工智能研究生院）
针对知识图谱嵌入中关系变换前后嵌入语义一致性缺失的问题，提出插件式方法RSCF，通过三类变换设计与新增模块增强一致性，在知识图谱补全任务中性能超越现有最优方法且鲁棒性强。
2025-06-13 cs.AI cs.CL
Arabic Named Entity Recognition using Word Representations
最近的工作表明，有效的单词表征功能显着提高英语的监督NER。在这项研究中，我们调查是否字表示也可以提高监督NER在阿拉伯语。我们使用单词表示作为条件随机场（CRF）模型中的附加功能，我们系统地比较了三种流行的神经词嵌入算法（SKIP-gram，CBOW和GloVe）和六种不同的方法将单词表示集成到NER系统中。实验结果表明，布朗聚类取得了最好的性能在六种方法。对于词嵌入特征，聚类嵌入特征优于其他嵌入特征，而分布式原型产生次优的结果。此外，布朗聚类和词嵌入特征的组合在基线上提供了近10%的F1分数的额外改进。
2018-04-16 cs.CL
Czech Text Processing with Contextual Embeddings: POS Tagging, Lemmatization, Parsing and NER
Charles University（查理大学）
语境化嵌入是一种根据语境获取适当词义的方法。我们评估了两种预计算这种嵌入的方法，BERT和Flair，在四个捷克文本处理任务：词性（POS）标记，词形化，依赖分析和命名实体识别（NER）。前三个任务，词性标注，词形还原和依存句法分析，评估两个语料库：布拉格依存树库3.5和通用的依存关系2.3。在捷克命名实体语料库1.1和2.0上评估命名实体识别（NER）。我们报告了上述任务和语料库的最新结果。
2021-04-12 cs.CL
Boosting Named Entity Recognition with Neural Character Embeddings
IBM Research（IBM研究院）；Universidade Federal Fluminense（弗鲁米嫩塞联邦大学）
大多数最先进的命名实体识别（NER）系统依赖于手工制作的功能和其他NLP任务的输出，如词性（POS）标记和文本组块。在这项工作中，我们提出了一个独立于语言的NER系统，只使用自动学习功能。我们的方法基于CharWNN深度神经网络，它使用单词级和字符级表示（嵌入）来执行顺序分类。我们进行了大量的实验，使用两个注释语料库在两种不同的语言：HAREM我语料库，其中包含葡萄牙语的文本;和SPA CoNLL-2002语料库，其中包含西班牙语的文本。我们的实验结果阴影光的神经字符嵌入NER的贡献。此外，我们证明了相同的神经网络，已成功地应用于POS标签也可以实现最先进的结果语言无关NER，使用相同的超参数，没有任何手工制作的功能。对于HAREM I语料库，CharWNN在总场景（10个NE类）的F1得分中优于最先进的系统7.9分，在选择性场景（5个NE类）的F1得分中优于最先进的系统7.2分。
2015-05-25 cs.CL
Jointly Learning Knowledge Embedding and Neighborhood Consensus with Relational Knowledge Distillation for Entity Alignment
Tsinghua University（清华大学）
实体对齐的目的是整合来自不同知识图谱的异构知识。最近的研究采用基于嵌入的方法，首先学习的知识图谱的表示，然后通过测量实体嵌入之间的相似性进行实体对齐。然而，由于学习知识嵌入和邻域一致性的不同目标导致的权衡问题，它们未能很好地利用关系语义信息。为了解决这个问题，我们提出了关系知识蒸馏实体对齐（RKDEA），图卷积网络（GCN）为基础的模型配备了知识蒸馏实体对齐。我们采用基于GCN的模型来学习实体的表示，考虑图的结构，并通过知识蒸馏将关系语义信息纳入GCN。然后，我们引入了一种新的自适应机制来传递关系知识，从而共同学习实体嵌入和邻域一致性。在多个基准数据集上的实验结果证明了该模型的有效性。
2022-01-25 cs.AI cs.CL cs.LG
Connecting Embeddings for Knowledge Graph Entity Typing
Southwestern University of Finance and Economics（西南财经大学）；Carnegie Mellon University（卡内基梅隆大学）；Tencent（腾讯）；University of Chinese Academy of Sciences（中国科学院大学）
知识图谱实体分类的目的是推断知识图谱中可能缺失的实体类型实例，这是知识图谱完成的一个非常重要但仍有待开发的子任务。在本文中，我们提出了一种新的KG实体类型的训练方法，通过联合利用本地类型知识从现有的实体类型断言和全球三元知识从KG。具体来说，我们提出了两个不同的知识驱动的实体类型推断的有效机制。因此，我们建立了两个新的嵌入模型来实现的机制。然后，与他们的联合模型被用来推断丢失的实体类型实例，这有利于推理，同意实体类型实例和知识库中的三元知识。在两个真实数据集（Freebase和YAGO）上的实验结果表明，我们提出的机制和模型可以有效地提高KG实体类型。本文的源代码和数据可以从：https://github.com/ Adam 1679/ConnectE
2020-07-21 cs.CL cs.FL
SpaceE: Knowledge Graph Embedding by Relational Linear Transformation in the Entity Space
Baidu Research（百度研究院）
基于平移距离的知识图谱嵌入（KGE）方法，例如transE和RotatE，将知识图谱中的关系建模为向量空间中的平移或旋转。平移和旋转都是单射的;也就是说，不同向量的平移或旋转会导致不同的结果。在知识图谱中，不同的实体可能与同一实体有关系;例如，许多演员主演了一部电影。现有的基于平移距离的KGE方法中的平移或旋转操作不能很好地模拟这种非内射关系模式。为了应对这一挑战，我们提出了一种基于平移距离的KGE方法，称为SpaceE，将关系建模为线性变换。所提出的SpaceE将实体和关系作为矩阵嵌入到知识图谱中，并且SpaceE自然地用奇异线性变换对非内射关系进行建模。我们从理论上证明，SpaceE是一个充分表达的模型，能够推断出多种所需的关系模式，包括对称，斜对称，反转，阿贝尔组成，和非阿贝尔组成。在链接预测数据集上的实验结果表明，SpaceE的嵌入性能明显优于许多基于平移距离的知识图谱嵌入方法，尤其是在包含大量非内射关系的数据集上.该代码基于PaddlePaddle深度学习平台https://www.paddlepaddle.org.cn。
2022-04-21 cs.CL
niksss at HinglishEval: Language-agnostic BERT-based Contextual Embeddings with Catboost for Quality Evaluation of the Low-Resource Synthetically Generated Code-Mixed Hinglish Text
Manipal University Jaipur（马尼帕尔大学斋浦尔分校）
本文描述了INLG 2022上HinglishEval挑战赛的系统描述。本课题的目的是研究影响混合代码文本生成系统质量的因素。该任务分为两个子任务，质量评级预测和注释者分歧预测的合成Hinglish数据集。我们尝试使用上下文级嵌入来解决这些任务，这些嵌入是通过对文本中所有输入标记的上下文化词嵌入进行平均池化而获得的。我们在为各自任务生成的嵌入之上试验了各种分类器。我们表现最好的系统在子任务B上排名第一，在子任务A上排名第三。
2022-06-17 cs.CL
Tag Embedding and Well-defined Intermediate Representation improve Auto-Formulation of Problem Description
POSTECH（浦项科技大学）
在这份报告中，我解决了问题描述的自动公式化，将优化问题转换为规范表示的任务。我首先通过定义一个中间表示来简化自动公式化任务，然后引入实体标签嵌入来利用给定的实体标签信息。消融研究证明了所提出的方法的有效性，该方法最终在NeurIPS 2022 NL4Opt竞赛子任务2中获得第二名。
2022-12-07 cs.CL
Context-Enhanced Entity and Relation Embedding for Knowledge Graph Completion
Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心）；University of Chinese Academy of Sciences（中国科学院大学）
大多数知识图谱完备化的研究都是通过学习实体和关系的表示来预测不完备知识图谱中缺失的链接。然而，这些方法未能充分利用实体和关系的上下文信息。在这里，我们从它们组成的三元组中提取实体和关系的上下文。提出了一个AggrE模型，该模型分别对实体上下文和关系上下文进行多跳高效聚合，并学习上下文增强的实体和关系嵌入，以完成知识图谱。实验结果表明，AggrE与现有模型相比具有较强的竞争力。
2020-12-13 cs.AI cs.CL
MFE-NER: Multi-feature Fusion Embedding for Chinese Named Entity Recognition
The University of Melbourne（墨尔本大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出轻量级方法MFE-NER，融合字形与语音特征，解决中文命名实体识别中的字符替换问题，实验显示检测替换效果突出并小幅提升整体性能。
2024-04-17 cs.CL
Multi-view Knowledge Graph Embedding for Entity Alignment
Nanjing University（南京大学）；University of California, Los Angeles（加州大学洛杉矶分校）
研究了基于嵌入的知识图谱实体对齐问题。以前的工作主要集中在实体的关系结构。一些进一步结合另一种类型的特征，例如属性，用于细化。然而，大量的实体特征仍然没有被探索或没有被平等地对待在一起，这削弱了基于嵌入的实体对齐的准确性和鲁棒性。在本文中，我们提出了一个新的框架，统一实体的多个视图来学习嵌入实体对齐。具体来说，我们嵌入实体的基础上的实体名称，关系和属性的意见，与几个组合策略。此外，我们设计了一些跨KG推理方法，以提高两个KG之间的对齐。我们在真实世界数据集上的实验表明，该框架显着优于最先进的基于嵌入的实体对齐方法。选择的观点、跨KG推理和组合策略都有助于绩效的提高。
2019-06-06 cs.AI cs.CL cs.LG
Knowledge Graph Embedding with Entity Neighbors and Deep Memory Network
Dalian University of Technology（大连理工大学）
知识图谱嵌入是将知识图谱中的实体和关系表示在一个低维的连续向量空间中。近年来的研究主要集中在将结构化知识与附加信息（如实体描述、关系路径等）相结合，但是常用的附加信息往往含有大量的噪声，使得学习有价值的表示变得困难。在本文中，我们提出了一种新的附加信息，称为实体邻居，它包含了给定实体的语义和拓扑特征。然后，我们开发了一个深度记忆网络模型来编码来自邻居的信息。采用门控机制，结构和邻居的表示被集成到一个联合表示。实验结果表明，我们的模型优于现有的KGE方法利用实体描述，并实现了最先进的度量4个数据集。
2018-08-11 cs.CL cs.LG
SONAR-SLT: Multilingual Sign Language Translation via Language-Agnostic Sentence Embedding Supervision
German Research Center for Artificial Intelligence (DFKI GmbH)（德国人工智能研究中心（DFKI GmbH））；Saarland Informatics Campus（萨尔兰信息技术校区）；Barcelona Supercomputing Center (BSC-CNS)（巴塞罗那超级计算中心（BSC-CNS））
本文提出SONAR-SLT，利用语言无关多模态嵌入监督手语翻译，结合耦合增强方法，实现直接多语言翻译并在低资源下提升BLEURT性能。
2025-10-22 cs.CL
NALA: an Effective and Interpretable Entity Alignment Method
School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）
针对现有嵌入实体对齐方法推理过程不充分的问题，提出基于非公理逻辑（NAL）捕捉三类推理路径的NALA方法，迭代对齐实体与关系，在DBP15K数据集上Hits@1达0.98+，兼具可解释性与扩展性。
2024-11-02 cs.CL
