Open-domain Visual Entity Recognition: Towards Recognizing Millions of Wikipedia Entities
Google Research（谷歌研究院）；Georgia Institute of Technology（佐治亚理工学院）
CLIP和PaLI等大规模多模态预训练模型在各种视觉领域和任务上表现出很强的泛化能力。然而，现有的图像分类基准通常评估特定域上的识别（例如，户外图像）或特定任务（例如，分类植物物种），这不足以评估预训练的基础模型是否是通用的视觉识别器。为了解决这个问题，我们正式提出了开放域视觉实体检索（OVEN）的任务，其中一个模型需要将图像链接到维基百科实体上的文本查询。我们通过重新利用14个现有的数据集来构建OVEN-Wiki，所有标签都基于一个标签空间：维基百科实体。OVEN挑战模型在600万个可能的维基百科实体中进行选择，使其成为具有最多标签的通用视觉识别基准。我们对最先进的预训练模型的研究显示，在推广到大尺度标签空间时有很大的空间。我们表明，基于PaLI的自回归视觉识别模型表现得出奇的好，即使在微调过程中从未见过的维基百科实体上也是如此。我们还发现现有的预训练模型具有不同的优势：虽然基于PaLI的模型具有更高的整体性能，但基于CLIP的模型在识别尾部实体方面更好。
2023-02-24 cs.AI cs.CL cs.CV
Exploring semantically-related concepts from Wikipedia: the case of SeRE
GESIS – Leibniz-Institute for the Social Sciences（GESIS-莱布尼茨社会科学研究所）
在本文中，我们提出了我们的Web应用程序SeRE旨在探索语义相关的概念。维基百科和DBpedia是丰富的数据源，可以提取给定主题的相关实体，例如入站和出站链接，更广泛和更窄的术语，分类信息等。我们使用维基百科全文正文来计算提取术语的语义相关性，从而生成与主题最相关的实体列表。对于任何给定的查询，SeRE的用户界面可视化这些相关的概念，按照语义相关性排序;来自维基百科文章的片段解释了这两个实体之间的联系。在一项用户研究中，我们研究了如何使用SeRE来找到给定主题的重要实体及其关系，并回答了如何使用分类系统进行过滤的问题。
2015-04-27 cs.CL cs.IR
EVE: Explainable Vector Based Embedding Technique Using Wikipedia
Insight Centre for Data Analytics（数据分析洞察中心）；University College Dublin（都柏林大学）
我们提出了一个无监督的可解释的词嵌入技术，称为EVE，这是建立在维基百科的结构。所提出的模型定义了一个语义向量的维度表示一个词使用人类可读的标签，从而它很容易解释。具体地，每个向量使用维基百科类别图结构以及维基百科文章链接结构来构造。为了测试所提出的词嵌入模型的有效性，我们考虑它在三个基本任务中的有用性：1）入侵者检测-评估其从相干向量列表中识别非相干向量的能力，2）聚类能力-评估其将相关向量分组在一起同时将不相关向量保持在单独的聚类中的趋势，以及3）首先对相关项进行排序以评估其按照结果的最高顺序对与查询相关的向量（项）进行排序的能力。对于每个任务，我们还提出了一个策略，从模型中生成特定于任务的人类可解释的解释。这些证明了EVE产生的可解释嵌入的整体有效性。最后，我们将EVE与Word 2 Vec，FastText和GloVe嵌入技术在三个任务中进行比较，并报告了最先进的改进。
2017-02-22 cs.CL
Named Entity Evolution Analysis on Wikipedia
L3S Research Center（L3S研究中心）
WEB档案提出了一些问题，由其时间特性引起的。需要更多的知识来寻找和理解更古老的文本。特别是文本中提到的实体可能会发生变化。就信息检索而言，最严重的是名称更改。为了找到随着时间的推移而改变名称的实体，搜索引擎需要了解这种演变。我们通过分析维基百科的条目中提到的实体演变来解决这个问题。我们目前的统计数据摘录涵盖名称的变化，这将被用来发现类似的文本段落，并在未来的工作中提取进化知识。
2017-02-03 cs.CL cs.DL
A Generative Approach to Titling and Clustering Wikipedia Sections
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
我们评估的性能Transformer编码器与各种解码器的信息组织通过一个新的任务：维基百科文章的章节标题的生成。我们的分析表明，解码器包含注意力机制的编码器输出实现高分的结果，通过生成提取文本。相比之下，没有注意力的解码器更好地促进了语义编码，并且可以用于生成节嵌入。我们还引入了一个新的损失函数，它进一步鼓励解码器生成高质量的嵌入。
2020-05-22 cs.CL
Insights into Entity Name Evolution on Wikipedia
L3S Research Center（L3S研究中心）
使用Web存档会产生一些由其时间特性引起的问题。根据内容的年龄，可能需要额外的知识来查找和理解旧文本。特别是关于实体的事实可能会发生变化。就信息检索而言，最严重的是名称更改。为了找到随着时间的推移而改变名称的实体，搜索引擎需要了解这种演变。我们通过分析维基百科的条目中提到的实体演变来解决这个问题，而不管结构元素。我们收集了统计数据，并通过合并专门针对该主题的列表，自动提取了涵盖名称更改的最小摘录。在未来的工作中，这些摘录将用于发现模式和检测其他来源的变化。在这项工作中，我们调查维基百科是否是一个合适的来源提取所需的知识。
2017-02-03 cs.CL cs.DL
REVERSUM: A Multi-staged Retrieval-Augmented Generation Method to Enhance Wikipedia Tail Biographies through Personal Narratives
IIT, Kharagpur（印度理工学院克勒格布尔分校）
针对维基百科B、C类尾部传记信息不足的问题，提出多阶段检索增强生成方法REVerSum，利用个人叙事补充条目，并通过众包评估证明其在可整合性和信息性上显著优于基线。
2025-02-17 cs.CL cs.IR
A Monolingual Approach to Contextualized Word Embeddings for Mid-Resource Languages
Inria（法国国家信息与自动化研究所）；Sorbonne Université（索邦大学）
我们使用的多语言OSCAR语料库，通过语言分类，过滤和清洗，从公共爬行提取，训练单语上下文词嵌入（ELMo）的五个中间资源语言。然后，我们比较了基于OSCAR和基于维基百科的ELMo嵌入这些语言的词性标记和解析任务的性能。我们发现，尽管在基于Common-Crawl的OSCAR数据中存在噪声，但在OSCAR上训练的嵌入比在维基百科上训练的单语嵌入表现得更好。它们实际上等于或改进了所有五种语言的标记和解析的当前技术水平。特别是，它们还改进了基于多语言维基百科的上下文嵌入（多语言BERT），这几乎总是构成了以前的最新技术水平，从而表明更大，更多样化的语料库的好处超过了多语言嵌入架构的跨语言好处。
2020-06-18 cs.CL
Biomedical Entity Linking for Dutch: Fine-tuning a Self-alignment BERT Model on an Automatically Generated Wikipedia Corpus
Leiden University（莱顿大学）；Leiden Institute of Advanced Computer Science（莱顿高级计算机科学研究所）；Erasmus University Medical Center（伊拉斯姆斯大学医学中心）
本文提出首个经评估的荷兰语生物医学实体链接模型，基于 MedRoBERTa.nl 进行本体自对齐预训练并用 Wikipedia 语料微调，在 Mantra GSC 上验证其性能与局限。
2024-05-20 cs.CL
Corpora Compared: The Case of the Swedish Gigaword & Wikipedia Corpora
Luleå University of Technology（吕勒奥理工大学）
在这项工作中，我们表明，对于给定的语言，来自不同来源的数据的嵌入性能的差异可能是由于数据大小以外的其他因素。自然语言处理（NLP）任务通常在嵌入较大语料库时表现更好。然而，覆盖域的宽度和噪声可以起到重要作用。我们评估嵌入的基础上两个瑞典语料库：Gigaword和维基百科，在类比（内在）测试，并发现从维基百科语料库的嵌入一般优于Gigaword语料库，这是一个更大的语料库。下游测试将需要有一个明确的评价。
2020-11-06 cs.CL cs.LG
Improving Candidate Retrieval with Entity Profile Generation for Wikidata Entity Linking
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
实体链接（EL）是将文档中提到的实体链接到知识库（KB）中的引用实体的任务。许多以前的研究集中在维基百科衍生的知识库。关于维基数据的EL的工作很少，尽管它是最广泛的众包KB。维基数据的规模可以开辟许多新的现实世界的应用程序，但其庞大的实体数量也使EL具有挑战性。为了有效地缩小搜索空间，我们提出了一种新的候选检索模式的基础上实体分析。维基数据实体及其文本字段首先被索引到文本搜索引擎中（例如，Elasticsearch）。在推理过程中，给定提及及其上下文，我们使用序列到序列（seq 2seq）模型来生成目标实体的配置文件，其中包括其标题和描述。我们使用配置文件来查询索引的搜索引擎以检索候选实体。我们的方法补充了使用维基百科锚文本字典的传统方法，使我们能够进一步设计一个高效的混合方法进行候选人检索。结合一个简单的交叉注意力重新排序器，我们完整的EL框架在三个基于维基数据的数据集上实现了最先进的结果，并在TACKBP-2010上实现了强大的性能。
2022-03-14 cs.CL
KEPLET: Knowledge-Enhanced Pretrained Language Model with Topic Entity Awareness
Worcester Polytechnic Institute（伍斯特理工学院）；Airbnb（爱彼迎）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
针对传统知识增强预训练语言模型忽略维基百科页面主题实体导致的实体交互不足、关系词语义偏差问题，提出具备主题实体感知的KEPLET模型，通过端到端融合主题实体信息，在四项实体中心任务上取得显著提升。
2023-05-02 cs.AI cs.CL
Wikipedia Vandal Early Detection: from User Behavior to User Embedding
Tongji University（同济大学）；University of Arkansas（阿肯色大学）
维基百科是最大的在线百科全书，允许任何人编辑文章。在本文中，我们提出使用深度学习来根据编辑历史检测破坏者。特别是，我们开发了一个多源长短期记忆网络（M-LSTM），通过使用各种用户编辑方面作为输入，包括编辑返回信息的历史，编辑页面标题和类别，来建模用户行为。使用M-LSTM，我们可以将每个用户编码为低维实向量，称为用户嵌入。同时，作为一个顺序模型，M-LSTM在用户每次提交新的编辑后都会更新用户嵌入。因此，我们可以根据最新的用户嵌入动态地预测用户是良性的还是恶意的。此外，这些用户嵌入对于发现协作破坏者至关重要。
2017-06-03 cs.CL cs.CR cs.CY
Learning Entity Linking Features for Emerging Entities
Tsinghua University（清华大学）；Jiangsu Normal University（江苏师范大学）；Nankai University（南开大学）；Huawei Technologies Co., Ltd（华为技术有限公司）
实体链接（EL）是将文本中出现的实体与知识库中相应的实体链接起来的过程。实体的EL特征（例如，先验概率、相关性得分和实体嵌入）通常基于维基百科来估计。然而，对于刚刚在新闻中发现的新兴实体（EE），它们可能还没有被包含在维基百科中。因此，无法从维基百科获得这些EE所需的EL特征，并且EL模型将始终无法正确地将模糊提及与这些EE联系起来，因为缺少它们的EL特征。为了解决这个问题，在本文中，我们专注于一个新的任务，学习EL功能的新兴实体的一般方式。我们提出了一种称为STAMO的新方法来自动学习EE的高质量EL特征，它只需要从Web上收集的每个EE的少量标记文档，因为它可以进一步利用隐藏在未标记数据中的知识。STAMO主要基于自训练，这使得它可以灵活地与任何EL特征或EL模型集成，但也使得它容易遭受错误标记数据引起的错误强化问题。而不是一些常见的自我训练策略，试图扔掉错误标记的数据显式，我们把自我训练作为一个多重优化过程相对于EL功能的EE，并提出了槽内和槽间优化，以减轻错误强化问题隐式。我们构建了两个EL数据集，涉及选定的EE，以评估所获得的EL功能的EE的质量，实验结果表明，我们的方法显着优于其他基线方法学习EL功能。
2022-08-08 cs.AI cs.CL
Improving Multilingual Named Entity Recognition with Wikipedia Entity Type Mapping
IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
现有技术的命名实体识别（NER）系统是具有强泛化能力（即，可以基于词汇和上下文信息来识别未出现在训练数据中的不可见实体）。然而，如果模型的特征偏向于错误的实体类型，那么这样的模型仍然可能出错。在本文中，我们利用维基百科作为一个开放的知识库，以改善多语言NER系统。我们的方法的核心是高精度，高覆盖率的多语言维基百科实体类型映射的建设。这些映射是从弱注释的数据中构建的，可以扩展到新的语言，而不需要人工注释或语言相关的知识。基于这些映射，我们开发了几种方法来改善NER系统。我们评估的性能的方法，通过实验NER系统训练6种语言。实验结果表明，所提出的方法是有效的，在提高这样的系统上看不见的实体的准确性，特别是当一个系统被应用到一个新的领域或它是用很少的训练数据训练（高达18.3 F1分数改善）。
2017-07-08 cs.AI cs.CL cs.IR
Pretraining Exposure Explains Popularity Judgments in Large Language Models
University of Innsbruck（因斯布鲁克大学）
研究通过分析预训练数据中的暴露统计，发现大型语言模型对流行实体的偏好主要受预训练暴露影响，而非外部流行度信号，揭示了数据暴露在驱动流行度偏差中的核心作用。
2026-05-12 cs.CL
Joint Embeddings of Hierarchical Categories and Entities
Carnegie Mellon University（卡内基梅隆大学）
由于缺乏结构化知识应用于学习类别的分布式表示，现有的工作不能将类别层次结构纳入实体信息。我们提出了一个框架，嵌入实体和类别到一个语义空间，通过整合结构化的知识和分类层次结构从大型知识库。该框架允许计算实体和类别之间有意义的语义相关性。与以前的最先进的状态相比，我们的框架可以处理单词的概念和多词的概念具有优越的性能，在概念分类和语义相关性。
2016-05-13 cs.CL
InterHT: Knowledge Graph Embeddings by Interaction between Head and Tail Entities
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（讯飞研究院）；iFLYTEK AI Research (Hebei)（讯飞人工智能研究院（河北））
知识图谱嵌入（KGE）模型学习知识图谱中实体和关系的表示。基于距离的方法在链接预测任务中表现出良好的性能，该任务通过两个实体表示之间的距离来预测结果。然而，这些方法大多数表示头实体和尾实体分开，这限制了模型的容量。我们提出了两个新的基于距离的方法命名为InterHT和InterHT+，使头部和尾部实体更好地相互作用，并得到更好的实体表示。实验结果表明，该方法在ogbl-wikikikg 2数据集上取得了较好的效果.
2022-12-23 cs.CL
Joint Learning of the Embedding of Words and Entities for Named Entity Disambiguation
Studio Ousia（Ousia工作室）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；National Institute of Informatics（国立信息学研究所）；Keio University（庆应义塾大学）
命名实体消歧（NED）是指将文档中的多个命名实体提及解析为它们在知识库（KB）中的正确引用的任务（例如，Wikipedia）.在本文中，我们提出了一种新的嵌入方法，专门为NED设计。所提出的方法联合映射到同一个连续的向量空间的单词和实体。我们通过使用两个模型扩展了skip-gram模型。KB图模型使用KB的链接结构来学习实体的相关性，而锚上下文模型旨在通过利用KB锚及其上下文单词来对齐向量，使得相似的单词和实体在向量空间中彼此靠近地出现。通过将基于所提出的嵌入的上下文与标准NED特征相结合，我们在标准CoNLL数据集上实现了93.1%的最新准确率，在TAC 2010数据集上实现了85.2%的准确率。
2016-06-10 cs.CL
Extraction of Evolution Descriptions from the Web
L3S Research Center（L3S研究中心）
命名实体的演变影响着数字图书馆的探索和检索任务。一个知道名称变化的信息检索系统可以主动地支持用户查找进化实体的先前出现。然而，目前的结构化知识库，如DBpedia或Freebase，并没有提供足够的信息，即使数据是在他们的资源，如维基百科。我们的\emph{Evolution Base}原型将演示如何在这些网站上以有希望的精度识别描述名称演变的摘录。这些描述是通过我们根据维基百科上最近对命名实体演变的分析训练的模型进行分类的。
2017-02-03 cs.CL cs.DL
Question-to-Question Retrieval for Hallucination-Free Knowledge Access: An Approach for Wikipedia and Wikidata Question Answering
本研究针对知识库问答的幻觉问题，提出基于指令微调LLM生成内容对应问题向量库、匹配用户查询直接检索内容的方法，在Wikipedia和Wikidata上实现高精度高效检索，还支持多模态问答。
2025-02-21 cs.AI cs.CL
Embedding Entities and Relations for Learning and Inference in Knowledge Bases
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）
我们考虑使用神经嵌入方法学习知识库中实体和关系的表示。我们表明，大多数现有的模型，包括NTN（Socher等人，2013）和TransE（Bordes等人，2013 b），可以在统一的学习框架下推广，其中实体是从神经网络学习的低维向量，并且关系是双线性和/或线性映射函数。在这个框架下，我们比较了各种嵌入模型的链接预测任务。我们表明，一个简单的双线性公式实现了新的国家的最先进的结果的任务（实现了前10名的准确性为73.2%与54.7%的TransE的Freebase）。此外，我们引入了一种新的方法，利用学习的关系嵌入挖掘逻辑规则，如“BornInCity（a，b）和CityInCountry（b，c）=> Nationality（a，c）"。我们发现，嵌入学习的双线性目标是特别好的捕捉关系语义和组合关系的特点是矩阵乘法。更有趣的是，我们证明了我们的基于嵌入的规则提取方法成功地优于一个国家的最先进的基于信任的规则挖掘方法在挖掘霍恩规则，涉及组合推理。
2015-08-29 cs.CL
AmbigDocs: Reasoning across Documents on Different Entities under the Same Name
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Seoul National University（首尔大学）
提出AmbigDocs基准，利用Wikipedia消歧义页构建同名不同实体的多文档问答，评估当前模型的跨文档实体消歧推理能力。
2024-08-09 cs.CL
Entity-Agnostic Representation Learning for Parameter-Efficient Knowledge Graph Embedding
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；School of Software Technology, Zhejiang University（浙江大学软件学院）；Donghai Laboratory（东海实验室）；Huawei Technologies Co., Ltd.（华为技术有限公司）；School of Informatics, The University of Edinburgh（爱丁堡大学信息学院）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
针对嵌入知识图谱所带来的参数存储效率低下的问题，提出了一种与实体无关的表示学习方法.传统的知识图谱嵌入方法通过向知识图谱中的元素分配一个或多个特定嵌入（即，向量表示）。因此，嵌入参数的数量随着知识图谱的增长而线性增加。在我们提出的模型中，不可知表示学习（EARL），我们只学习一小部分实体的嵌入，并将它们称为保留实体。为了获得完整实体集的嵌入，我们从它们的连接关系、k-最近保留实体和多跳邻居中编码它们的可区分信息。我们学习通用和实体不可知的编码器，用于将可区分的信息转换为实体嵌入。这种方法使我们提出的EARL具有静态的，高效的，和较低的参数计数比传统的知识图谱嵌入方法。实验结果表明，EARL使用较少的参数，性能优于基线的链接预测任务，反映了其参数的效率。
2023-02-03 cs.CL
Boosting Entity Linking Performance by Leveraging Unlabeled Documents
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
现代实体链接系统依赖于专门为任务注释的大量文档集合（例如，AIDA CONLL）。相比之下，我们提出了一种只利用自然发生的信息的方法：未标记的文档和维基百科。我们的方法包括两个阶段。首先，我们为未标记文档中的每个提及构建候选实体的高召回列表。其次，我们使用候选列表作为弱监督来约束我们的文档级实体链接模型。该模型将实体视为潜在变量，并且在对未标记文本的集合进行估计时，学习选择依赖于每次提及的本地上下文以及与文档中其他实体的一致性的实体。由此产生的方法可以在标准测试集上与完全监督的最先进系统相媲美。它还接近他们的表现在非常具有挑战性的设置：当测试集上的数据采样用于估计监督系统进行测试。通过与仅使用维基百科训练我们的模型进行比较，我们证明了对未标记文档进行建模是有益的。
2019-06-04 cs.AI cs.CL cs.LG
Relational Extraction on Wikipedia Tables using Convolutional and Memory Networks
University of Alberta（阿尔伯塔大学）
针对维基百科表格中的关系抽取，提出结合 CNN 与 BiLSTM 的神经模型，实验显示其性能稳定优于既有方法，并通过消融与错误分析验证各组件贡献。
2023-07-11 cs.AI cs.CL cs.IR
Toward Socially-Infused Information Extraction: Embedding Authors, Mentions, and Entities
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research（微软研究院）
实体链接是识别文本中提到的实体，并将它们链接到知识库中的条目的任务。这一任务在微博中尤其困难，因为几乎没有额外的文本来提供消除歧义的上下文;相反，作者依赖于与读者共享知识的隐含共同点。在本文中，我们试图通过利用微博中的社会网络结构来捕捉一些这种隐含的背景。我们建立在同质性理论的基础上，这意味着有社会联系的个人分享利益，因此可能会提到相同种类的实体。我们通过在一个连续的向量空间中对作者、提及和实体进行编码来实现这一想法，该向量空间被构造成使得社交联系的作者具有相似的向量表示。这些向量被合并到神经结构化预测模型中，该模型捕获实体链接任务中固有的结构约束。总之，与之前的最新技术相比，这些设计决策在基准数据集上产生了1%-5%的F1改进。
2016-09-26 cs.CL
Knowledge Transfer for Out-of-Knowledge-Base Entities: A Graph Neural Network Approach
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Recruit Institute of Technology（Recruit技术研究所）
知识库补全（KBC）的目的是预测知识库中的缺失信息，本文研究了知识库补全中的知识库外（OOKB）实体问题：如何回答关于训练时未观察到的测试实体的查询。现有的基于嵌入的KBC模型假设所有测试实体在训练时都可用，因此不清楚如何在不进行昂贵的再训练的情况下获得新实体的嵌入。为了解决OOKB实体问题而无需再训练，我们使用图神经网络（Graph-NN）来计算OOKB实体的嵌入，利用测试时提供的有限辅助知识.实验结果表明，我们提出的模型在OOKB环境下是有效的.此外，在标准KBC环境下，OOKB实体不参与，我们的模型在WordNet数据集上达到了最先进的性能.代码和数据集可在https://github.com/takuo-h/GNN-for-OOKB上获得
2017-06-20 cs.CL
Entity Type Recognition using an Ensemble of Distributional Semantic Models to Enhance Query Understanding
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；CareerBuilder
我们提出了一个集成的方法，在招聘领域的搜索查询实体进行分类。了解搜索查询中表示的实体类型（公司、技能、职位等）与传统的基于关键字的搜索相比，能够基于这些实体进行更智能的信息检索。因为搜索查询通常非常短，所以由于缺乏上下文信息，利用传统的词袋模型来识别实体类型将是不合适的。相反，我们的方法结合了不同来源的不同复杂性的线索，以收集真实世界的知识查询实体。我们通过两个模型采用查询实体的分布式语义表示：1）从维基百科等百科全书语料库中生成的上下文向量，以及2）使用word 2 vec从数百万个职位发布中生成的高维词嵌入向量。此外，我们的方法利用从WordNet获得的实体语言属性和从DBpedia提取的本体属性。我们评估我们的方法在凯业必达创建的数据集;美国最大的就业委员会。该数据集包含从数百万求职者/招聘人员搜索查询、职位发布和简历文档中提取的实体。在构造搜索实体的分布向量之后，我们使用监督机器学习来推断搜索实体类型。实证结果表明，我们的方法优于最先进的word 2 vec分布语义模型训练维基百科。此外，我们实现了97%的微平均F1分数使用建议的分布表示合奏。
2016-04-04 cs.CL cs.IR
Cross-lingual Entity Alignment with Adversarial Kernel Embedding and Adversarial Knowledge Translation
University of Oregon（俄勒冈大学）；Auburn University（奥本大学）；Peking University（北京大学）
跨语言实体对齐的目标是将不同单语知识库（KBs）中的相同实体精确地连接在一起，其经常遭受来自特征不一致和序列上下文不知晓的挑战。本文提出了一个用于跨语言实体对齐的双对抗学习框架DAEA，其中有两个原创性贡献。首先，针对两个知识图谱中实体之间结构和属性特征不一致的问题，提出了一种对抗性核嵌入技术，以无监督的方式提取图不变信息，并将两个知识图谱投影到公共嵌入空间中.其次，为了进一步提高实体对齐的成功率，我们提出了通过每个待对齐的实体产生多个随机游走，并在随机游走中屏蔽这些实体。在多个随机游走的背景下，在已知对齐实体的指导下，开发了一个对抗性知识翻译模型，以填充和翻译来自两个KG的成对随机游走中的掩蔽实体。在真实世界数据集上进行的大量实验表明，DAEA可以很好地解决特征不一致和序列上下文未知问题，并显着优于13个最先进的实体比对方法。
2021-04-16 cs.CL
FlairNLP at SemEval-2023 Task 6b: Extraction of Legal Named Entities from Legal Texts using Contextual String Embeddings
Univeristy of Colorado, Boulder（科罗拉多大学博尔德分校）
针对印度法院判决书的法律命名实体识别任务，论文比较多种序列标注架构，发现基于 Flair Embeddings 的 Bi-LSTM 效果最佳，并发布 BIO 格式数据集。
2023-06-03 cs.CL
Learning Better Word Embedding by Asymmetric Low-Rank Projection of Knowledge Graph
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）
词嵌入是指自然词的低维密集向量表示，它在许多自然语言处理任务中表现出了强大的功能。然而，自由文本语料库中作为训练数据的信息不准确和不完整可能会使其受到影响。为了应对这一挑战，已经有相当多的作品利用知识图谱作为额外的信息源来提高词嵌入的质量。虽然这些工作取得了一定的成功，但他们忽略了一些关于知识图谱的重要事实：（i）知识图谱中的许多关系是\emph{many-to-one}，\emph{one-to-many}甚至\emph{many-to-many}，而不是简单的\emph{one-to-one} ;（ii）知识图谱中的大多数头实体和尾实体来自非常不同的语义空间。为了解决这些问题，在本文中，我们提出了一个新的算法名为ProjectNet。ProjecNet在使用不同的低秩投影矩阵进行转换后，对头部和尾部实体之间的关系进行建模。低秩投影可以允许实体之间的非\emph{one-to-one}关系，而头部和尾部实体的不同投影矩阵允许它们起源于不同的语义空间。实验结果表明，ProjectNet的词嵌入比以前的工作更准确，从而导致各种自然语言处理任务的明显改善。
2015-06-14 cs.CL
Aligning Cross-Lingual Entities with Multi-Aspect Information
University of Waterloo（滑铁卢大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）
多语言知识图谱（KG），如YAGO和DBpedia，表示不同语言的实体。跨语言实体对齐的任务是将源语言中的实体与目标语言中的对应实体进行匹配。在这项工作中，我们研究了基于嵌入的方法来编码实体从多语言KG到相同的向量空间，其中等效实体彼此接近。具体来说，我们应用图卷积网络（GCN）结合实体的多方面信息，包括拓扑连接，关系和实体的属性，学习实体嵌入。为了利用以不同语言表达的实体的文字描述，我们提出了两种使用预训练的多语言BERT模型来弥合跨语言差距。我们进一步提出了两种策略来集成基于GCN和基于BERT的模块，以提高性能。在两个基准数据集上的大量实验表明，我们的方法显着优于现有的系统。
2019-10-15 cs.CL
Word Embeddings for Entity-annotated Texts
Heidelberg University（海德堡大学）
词的学习向量表示由于其捕获词汇语义的能力而成为许多信息检索和自然语言处理任务的有用工具。然而，尽管许多此类任务涉及甚至依赖命名实体作为核心组件，但流行的词嵌入模型迄今为止未能将实体作为一等公民。虽然在训练语料库中标注命名实体似乎很直观，但对于下游任务来说，应该会产生更智能的单词特征，但当流行的嵌入方法天真地应用于实体标注语料库时，就会出现性能问题。不仅得到的实体嵌入不如预期的有用，而且人们还发现，与在原始的、未注释的语料库上训练的那些相比，非实体词嵌入的性能降低了。在本文中，我们研究的方法，联合训练词和实体嵌入一个大型语料库自动标注和链接的实体。我们讨论了两种不同的方法来生成这样的嵌入，即在原始文本和注释版本的语料库上训练最先进的嵌入，以及注释语料库的同现图表示的节点嵌入。我们比较了注释嵌入和经典词嵌入在各种词相似性、类比和聚类评估任务上的性能，并研究了它们在实体特定任务中的性能。我们的研究结果表明，它需要更多的训练流行的词嵌入模型的注释语料库，以创建实体嵌入与可接受的性能在常见的测试用例。基于这些结果，我们讨论了如何以及何时节点嵌入的同现图表示的文本可以恢复性能。
2020-02-12 cs.CL
Software Entity Recognition with Noise-Robust Learning
Purdue University（普渡大学）；University of Pennsylvania（宾夕法尼亚大学）；University of Southern California（南加州大学）
针对现有软件实体识别方法词汇量小、训练数据含噪的问题，研究构建了大规模软件实体词典与标注数据集，提出自正则化噪声鲁棒学习方法，在多个基准上性能优于现有方法，并公开相关资源。
2023-08-21 cs.CL cs.SE
Jointly Embedding Entities and Text with Distant Supervision
The Ohio State University（俄亥俄州立大学）；National Institutes of Health（美国国立卫生研究院）；Washington University in St. Louis（圣路易斯华盛顿大学）
知识库实体和概念的学习表示对于NLP应用变得越来越重要。然而，最近的实体嵌入方法依赖于为新域和语料库创建昂贵的结构化资源。我们提出了一种远程监督的方法，用于联合学习嵌入的实体和文本从unnanotated语料库，只使用实体和表面形式之间的映射列表。我们从开放领域和生物医学语料库中学习嵌入，并与依赖于人类注释文本或大型知识图谱结构的先前方法进行比较。我们的嵌入比以前的工作更好地捕捉实体相似性和相关性，无论是在现有的生物医学数据集还是我们发布给社区的新的基于维基百科的数据集。类比完成和实体意义消歧的结果表明，实体和词捕捉互补的信息，可以有效地结合下游使用。
2018-07-09 cs.AI cs.CL
Neural Article Pair Modeling for Wikipedia Sub-article Matching
University of California, Los Angeles（加州大学洛杉矶分校）；Purdue University（普渡大学）；Google（谷歌）
如今，编辑倾向于将一个长维基百科条目的不同子主题分成多个子条目。这种分离旨在提高人类可读性。然而，它也对许多基于维基百科的任务产生了有害影响，这些任务依赖于条目作为概念的假设，这要求每个实体（或概念）仅由一篇条目描述。这一基本假设大大简化了知识表示和提取，它是至关重要的许多现有的技术，如自动化知识库建设，跨语言知识对齐，语义搜索和维基百科实体的数据沿袭。在本文中，我们提供了一种方法来匹配分散的子文章回到其相应的主文章，目的是促进自动化维基百科策展和处理。该模型采用分层学习结构，结合了神经文档对编码器的多种变体和一组全面的显式特征。创建大型众包数据集以支持任务的评估和特征提取。基于大数据集，该模型实现了有希望的交叉验证结果，并显着优于以前的方法。在整个英文维基百科上的大规模服务也证明了所提出的模型的实用性和可扩展性，有效地提取了大量的新配对的主要和子文章。
2018-08-04 cs.CL cs.HC cs.IR
PIE: a Parameter and Inference Efficient Solution for Large Scale Knowledge Graph Embedding Reasoning
Ant Group（蚂蚁集团）
知识图谱（KG）的嵌入方法，映射的实体和关系的唯一嵌入在KG已显示出良好的结果，在许多推理任务。然而，密集实体和稀疏实体的相同嵌入维度将导致过度参数化（稀疏实体）或拟合不足（密集实体）。通常，设置较大的维度以获得更好的性能。同时，推理时间随着遍历和比较所有实体的实体数量呈对数线性增长。当处理大量实体时，参数和推理都成为挑战。因此，我们提出了PIE，一个\textbf{p}算法和\textbf{i}参考\textbf{e}有效的解决方案。受张量分解方法的启发，我们发现将实体嵌入矩阵分解为低秩矩阵可以在保持相当性能的同时减少一半以上的参数。为了加速模型推理，我们提出了一个自监督的辅助任务，它可以被看作是细粒度的实体类型。通过随机掩蔽和恢复实体的连接关系，任务学习实体和关系的共现。利用细粒度的类型，我们可以过滤不相关的实体在推理过程中，并得到可能的次线性时间要求的目标。在链接预测基准测试上的实验证明了所提出的关键能力。此外，我们证明了所提出的解决方案的有效性在开放图基准的大规模挑战数据集WikiKG90Mv2，并实现了最先进的性能。
2022-05-05 cs.AI cs.CL
Matching Entities Across Different Knowledge Graphs with Graph Embeddings
David R. Cheriton School of Computer Science（戴维·R·切里顿计算机科学学院）；University of Waterloo（滑铁卢大学）
本文探讨了跨不同知识图谱的实体匹配问题。给定一个知识图谱中的查询实体，我们希望在另一个知识图谱中找到对应的真实世界实体。我们正式这个问题，并提出了两个大规模的数据集，这个任务的基础上现有的跨本体DBpedia和维基数据之间的链接，专注于几十万个模糊的实体。使用基于分类的方法，我们发现，一个简单的多层感知器的基础上，从RDF2Vec图嵌入的实体在每个知识图谱的表示是足以实现高精度，只有少量的训练数据。我们工作的贡献是研究这一问题的数据集和未来工作可以基于的强基线。
2019-03-15 cs.CL cs.DB
Joint Embedding of Hierarchical Categories and Entities for Concept Categorization and Dataless Classification
Carnegie Mellon University（卡内基梅隆大学）
由于缺乏结构化的知识应用于学习的分布式表示的类别，现有的工作不能纳入类别层次结构的实体信息。我们提出了一个框架，嵌入实体和类别到一个语义空间，通过整合结构化的知识和分类层次结构从大型知识库。该框架允许计算实体和类别之间有意义的语义相关性。我们的框架可以同时处理单词概念和多词概念，在概念分类上具有优越的性能，并在无数据层次分类上产生最先进的结果。
2016-07-27 cs.AI cs.CL
Exploiting Global Semantic Similarities in Knowledge Graphs by Relational Prototype Entities
University of Science and Technology of China（中国科学技术大学）
知识图谱（KG）嵌入旨在学习KG在连续向量空间中的实体和关系的潜在表示。一个经验观察是，由相同关系连接的头（尾）实体通常共享相似的语义属性-具体地说，它们通常属于同一类别-无论它们在KG中彼此相距多远;也就是说，它们共享全局语义相似性。然而，许多现有的方法推导KG嵌入的基础上的本地信息，这不能有效地捕捉这种全局语义相似性的实体。为了解决这个问题，我们提出了一种新的方法，它引入了一组虚拟节点称为\textit{\textbf{relational prototype entities}}来表示原型的头部和尾部实体连接相同的关系。通过强制实体的嵌入接近其相关联的原型的嵌入，我们的方法可以有效地鼓励实体的全局语义相似性-可以远离KG -通过相同的关系连接。实体对齐和KG完成任务的实验表明，我们的方法显着优于最近的国家的最先进的。
2022-06-16 cs.AI cs.CL
Entity Embeddings with Conceptual Subspaces as a Basis for Plausible Reasoning
Cardiff University（卡迪夫大学）
概念空间是概念知识的几何表示，其中实体对应于点，自然属性对应于凸区域，并且空间的维度对应于显著特征。虽然概念空间能够为各种认知现象提供优雅的模型，但迄今为止，缺乏构建此类表示的自动化方法限制了它们在人工智能中的应用。为了解决这个问题，我们提出了一种方法，学习向量空间嵌入的实体从维基百科和约束这种嵌入，使相同的语义类型的实体位于一些低维子空间。我们实验证明这些子空间的有用性（近似）概念空间表示，除其他外，重要的功能可以建模为方向和自然属性往往对应于凸区域。
2017-10-25 cs.AI cs.CL
A survey of embedding models of entities and relationships for knowledge graph completion
VinAI Research（VinAI研究院）
关于实体及其关系的真实世界事实的知识图谱（KG）是用于各种自然语言处理任务的有用资源。然而，因为知识图谱通常是不完整的，所以执行知识图谱完成或链接预测是有用的，即，预测不在知识图谱中的关系是否可能为真。本文综述了知识图谱的实体和关系嵌入模型，总结了在标准基准数据集上的最新实验结果，并指出了未来的研究方向。
2020-10-27 cs.AI cs.CL cs.IR
Conformal retrofitting via Riemannian manifolds: distilling task-specific graphs into pretrained embeddings
Stanford University（斯坦福大学）；Square Inc.（Square公司）
预训练的（语言）嵌入是实体（如单词）的通用、任务不可知的特征表示，是许多机器学习应用的核心。这些表示可以通过改装来丰富，改装是一类将特定于任务的领域知识编码为这些实体的子集上的图的方法。然而，现有的改造算法面临着两个限制：他们过拟合的观察到的图，未能表示与丢失的实体的关系;和他们欠拟合的观察到的图，只学习嵌入在欧几里得流形，不能忠实地表示，甚至简单的树结构或循环图。我们通过两个关键贡献来解决这些问题：（i）我们提出了一种新的正则化器，一种保形正则化器，它可以从预训练的嵌入中保留局部几何形状--使泛化到丢失的实体;（ii）一个新的黎曼前馈层，它可以学习将预训练的嵌入映射到可以更好地表示整个图的非欧几里得流形上。通过在WordNet上的实验，我们证明了保形正则化器可以防止现有的（仅欧几里德）方法对缺失实体的链接预测过度拟合，并且-与黎曼前馈层一起-学习优于它们的非欧几里德嵌入。
2020-10-09 cs.CL cs.LG
Domain Representation for Knowledge Graph Embedding
Westlake University（西湖大学）；Zhejiang University（浙江大学）；Northeastern University（东北大学）
在连续多维向量空间中嵌入实体和关系已成为表示学习中知识图谱嵌入的主要方法。然而，大多数现有的模型忽略了表示层次知识，如在一个领域中的实体的相似性和不相似性。我们提出了在现有的知识图谱嵌入模型上学习域表示，使得具有相似属性的实体被组织到相同的域中。这种领域的层次知识可以在链接预测中提供进一步的证据。实验结果表明，域嵌入给出了最新的最先进的基线知识图谱嵌入模型的显着改善。
2019-09-11 cs.AI cs.CL
When Specialization Helps: Using Pooled Contextualized Embeddings to Detect Chemical and Biomedical Entities in Spanish
Goethe University Frankfurt（法兰克福歌德大学）
药理学物质、化合物和蛋白质的识别是识别化学品和其他生物医学相关单位之间关系的基本前期工作。在本文中，我们描述了一种方法，任务1的PharmaCoNER挑战，其中涉及到识别提到的化学品和药物在西班牙医学文本。我们训练了一个最先进的BiLSTM-CRF序列标记器，它使用开源框架FLAIR堆叠池上下文嵌入，单词和子词嵌入。我们提出了一个新的语料库组成的文章和论文从西班牙健康科学期刊，称为西班牙健康语料库，并使用它来训练特定领域的嵌入，我们将在我们的模型训练。我们使用预训练的嵌入实现了89.76%的F1分数，并且能够使用专门的嵌入将这些结果提高到90.52%的F1分数。
2019-10-08 cs.CL cs.LG
TeKnowbase: Towards Construction of a Knowledge-base of Technical Concepts
IIT Delhi（印度理工学院德里分校）
本文描述了计算机科学中技术概念知识库TeKnowbase的构造。我们的主要信息源是技术网站，如Webopedia和Techtarget以及维基百科和在线教科书。我们将知识库的构建问题分为两个部分--实体的获取和实体间关系的提取。我们的知识库由大约100，000个三元组组成。我们进行了一个样本的三重和报告的准确性略高于90%的评估。此外，我们还使用TeKnowbase的特征对StackOverflow数据进行了分类实验，并提高了分类精度。
2016-12-15 cs.AI cs.CL
Beyond Word Embeddings: Learning Entity and Concept Representations from Large Scale Knowledge Bases
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Samsung Research America（三星美国研究院）
使用神经词嵌入的文本表示在许多NLP应用中已经证明是有效的。最近的研究采用传统的词嵌入模型来学习多词表达（概念/实体）的向量。然而，这些方法限于文本知识库（例如，Wikipedia）.在本文中，我们提出了一种新的和简单的技术，整合知识的概念，从两个大规模的知识库的不同结构（维基百科和Probase），以学习概念表示。我们采用高效的skip-gram模型来无缝地从维基百科文本和Probase概念图中学习知识。我们在两个任务上评估了我们的概念嵌入模型：（1）类比推理，在语义类比上我们实现了91%的最先进性能，（2）概念分类，在两个基准数据集上实现了最先进的性能，其中一个数据集的分类准确率为100%，另一个为98%。此外，我们提出了一个案例研究，以评估我们的神经语义解析的无监督参数类型识别模型。我们证明了我们的无监督方法的竞争力的准确性和它的能力，更好地推广到词汇表中的实体提到相比，繁琐和容易出错的方法，依赖于地名词典和正则表达式。
2018-08-30 cs.AI cs.CL cs.IR
Introducing Inter-Relatedness between Wikipedia Articles in Explicit Semantic Analysis
Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）
显式语义分析（ESA）是一种用于将一段文本表示为概念空间中的向量的技术，例如维基百科中的文章。我们提出了一种方法，将维基百科的文章之间的相互关联的知识，从ESA获得的向量使用一种技术称为改造，以提高性能的后续任务，使用ESA形成向量嵌入。特别地，我们使用无向图来表示这些知识，其中节点作为文章，边作为两个文章之间的相互关系。在这里，我们还强调ESA步骤如何被视为一种主要的自下而上的方法，使用语料库来提出向量表示，并将自上而下的方法与自下而上的方法结合起来。我们在维基百科语料库的几个较小的子集上测试了我们的假设，并表明我们提出的方法导致了包括斯皮尔曼排名在内的性能指标的大幅改善在大多数情况下的相关系数。
2020-12-01 cs.AI cs.CL cs.IR
STransE: a novel embedding model of entities and relationships in knowledge bases
Macquarie University（麦考瑞大学）；NICTA（澳大利亚国家信息通信技术中心）
关于实体及其关系的真实世界事实的知识库是各种自然语言处理任务的有用资源。然而，因为知识库通常是不完整的，所以能够执行链接预测或知识库完成是有用的，即，预测知识库中没有的关系是否可能是真的。本文将以前几种链接预测模型的见解结合到一个新的嵌入模型STransE中，该模型将每个实体表示为低维向量，并将每个关系表示为两个矩阵和一个平移向量。STransE是SE和TransE模型的简单组合，但它在两个基准数据集上获得了比以前的嵌入模型更好的链接预测性能。因此，STtransE可以作为链接预测任务中更复杂模型的新基线。
2017-03-08 cs.AI cs.CL
Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction
University of Science and Technology of China（中国科学技术大学）
知识图谱嵌入，旨在将实体和关系表示为低维向量（或矩阵，张量等），已被证明是预测知识图谱中缺失链接的强大技术。现有的知识图谱嵌入模型主要集中在对称/反对称、反转、组合等关系模式的建模上。然而，许多现有的方法无法建模语义层次结构，这是常见的在现实世界中的应用。为了解决这个问题，我们提出了一种新的知识图谱嵌入模型-即层次感知知识图谱嵌入（HAKE）-将实体映射到极坐标系。HAKE的灵感来自于极坐标系中的同心圆可以自然地反映层次结构。具体而言，径向坐标旨在对层次结构中不同级别的实体进行建模，并且具有较小半径的实体预计处于较高级别;角坐标旨在区分层次结构中相同级别的实体，并且这些实体预计具有大致相同的半径但不同的角度。实验表明，HAKE可以有效地建模知识图谱中的语义层次结构，并显着优于现有的最先进的方法在基准数据集上的链接预测任务。
2022-04-06 cs.CL cs.LG stat.ML
Logic Attention Based Neighborhood Aggregation for Inductive Knowledge Graph Embedding
Sun Yat-sen University（中山大学）；Tencent AI Lab（腾讯人工智能实验室）；Wuhan University（武汉大学）
知识图谱嵌入的目的是用低维向量对实体和关系进行建模。大多数以前的方法要求在训练期间应该看到所有实体，这对于每天都有新实体出现的真实世界知识图谱是不切实际的。最近在这个问题上的努力建议结合传统的实体和关系嵌入来训练邻域聚合器，这可以帮助通过它们现有的邻居来归纳地嵌入新的实体。然而，他们的邻居聚集器忽略了一个实体的邻居的无序和不平等的性质。为此，我们总结了所需的属性，可能导致有效的邻域聚合器。我们还介绍了一种新的聚合器，即逻辑注意力网络（LAN），它通过聚合邻居与规则和基于网络的注意力权重来解决这些属性。通过与传统聚合器在两个知识图谱完成任务上的比较，我们实验验证了LAN在所需属性方面的优越性。
2020-10-04 cs.AI cs.CL
Multi-level Representations for Fine-Grained Typing of Knowledge Base Entities
Center for Information and Language Processing（信息与语言处理中心）；LMU Munich（慕尼黑大学）
实体是自然语言的基本元素。在本文中，我们提出了在三个互补层次上学习实体的多级表示的方法：字符（提取的实体名称中的字符模式，例如，通过神经网络）、词（实体名称中的词嵌入）和实体（实体嵌入）。我们调查了每个级别的最先进的学习方法，发现了很大的差异，例如，对于深度学习模型，传统的ngram特征和快速文本的子字模型（Bojanowski等人，2016）;对于word 2 vec（Mikolov等人，2013）;以及对于次序感知模型wang 2 vec（Ling et al.，2015年，在实体层面。我们证实实验，每个级别的表示贡献的互补信息和联合表示的所有三个级别提高了现有的嵌入基础上的基线细粒度实体打字的大幅度。此外，我们表明，从实体描述中添加信息，进一步提高了实体的多层次表示。
2017-01-16 cs.AI cs.CL
What Makes Entities Similar? A Similarity Flooding Perspective for Multi-sourced Knowledge Graph Embeddings
Nanjing University（南京大学）；Alibaba Group（阿里巴巴集团）
本文从相似性洪泛的不动点视角解释多源知识图谱中基于翻译与聚合的实体对齐模型，并提出两种受不动点计算启发的有效方法。
2023-06-05 cs.AI cs.CL cs.LG
