Transformer-based Subject Entity Detection in Wikipedia Listings
在问答或文本摘要等任务中，掌握相关实体的背景知识至关重要。在DBpedia或CaLiGraph等公开可用的知识图谱中，关于实体的信息--特别是关于长尾或新兴实体的信息--远远不够完整。在本文中，我们提出了一种方法，利用列表的半结构化性质（如枚举和表）来识别列表项的主要实体（即，的条目和行）。这些实体，我们称之为主题实体，可以用来增加知识图谱的覆盖率。我们的方法使用一个Transformer网络来识别主题实体在令牌级，并超越现有的方法在性能方面，同时受到较少的限制。由于灵活的输入格式，它适用于任何类型的列表，并且与以前的工作不同，它不依赖于实体边界作为输入。我们证明了我们的方法，将其应用到完整的维基百科语料库，并提取4000万提到的主题实体，估计精度为71%，召回率为77%。结果被纳入最新版本的CaLiGraph。
2022-10-04 cs.IR
The Links Have It: Infobox Generation by Summarization over Linked Entities
维基百科等在线百科全书已成为最好的知识来源之一。通过从维基百科的非结构化文本中自动信息抽取，人们投入了大量精力来扩展和丰富结构化数据。虽然取得了显著的进展，但它们的有效性和效率仍然有限，因为它们试图解决极其困难的自然语言理解问题，并且严重依赖于监督学习方法，该方法需要大量的努力来标记训练数据。在本文中，而不是执行信息抽取非结构化的自然语言文本直接，我们专注于一组丰富的半结构化数据在维基百科的文章：链接实体。本文的思想是这样的：如果我们能总结出实体和它所链接的实体之间的关系，我们就能立即收获关于实体的一些最重要的信息。为此，我们提出了一种新的秩聚合方法来消除噪声，一种有效的聚类和标记算法来提取知识。
2014-06-25 cs.IR
DeepLENS: Deep Learning for Entity Summarization
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）
实体摘要是知识图谱的一个重要任务。虽然现有的方法主要是无监督的，但我们提出了DeepLENS，这是一种简单而有效的深度学习模型，我们利用文本语义对三元组进行编码，并根据其与其他三元组的相互依赖性对每个候选三元组进行评分。DeepLENS在公共基准测试中的表现明显优于现有方法。
2020-03-08 cs.CL cs.DB cs.IR
Improving Multilingual Named Entity Recognition with Wikipedia Entity Type Mapping
IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
现有技术的命名实体识别（NER）系统是具有强泛化能力（即，可以基于词汇和上下文信息来识别未出现在训练数据中的不可见实体）。然而，如果模型的特征偏向于错误的实体类型，那么这样的模型仍然可能出错。在本文中，我们利用维基百科作为一个开放的知识库，以改善多语言NER系统。我们的方法的核心是高精度，高覆盖率的多语言维基百科实体类型映射的建设。这些映射是从弱注释的数据中构建的，可以扩展到新的语言，而不需要人工注释或语言相关的知识。基于这些映射，我们开发了几种方法来改善NER系统。我们评估的性能的方法，通过实验NER系统训练6种语言。实验结果表明，所提出的方法是有效的，在提高这样的系统上看不见的实体的准确性，特别是当一个系统被应用到一个新的领域或它是用很少的训练数据训练（高达18.3 F1分数改善）。
2017-07-08 cs.AI cs.CL cs.IR
Automated Text Summarization Base on Lexicales Chain and graph Using of WordNet and Wikipedia Knowledge Base
Tarbiat Modares University（塔比亚特·莫达雷斯大学）
文档自动摘要技术的发展日趋成熟，为解决信息过载问题提供了一条新的途径。摘要在信息检索中起着重要的作用。对于大量文档，向用户呈现每个文档的摘要极大地促进了查找所需文档的任务。文档摘要是自动生成文档的压缩版本，为用户提供有用信息的过程，而多文档摘要是从一组文档中生成摘要，提供关于显式或隐式主题的大部分信息内容。文本的词汇衔接结构可以用来确定句子/短语的重要性。词汇链是分析篇章中词汇衔接结构的有效工具，本文考虑了词汇衔接特征在自动文摘中的作用，并提出了一种基于知识库的自动文摘算法。该算法首先找出词的正确词义，然后构造词汇链，去除得分较低的词汇链，从词汇链中粗略地检测出主题，并根据主题对文本进行分割，选出最重要的句子。在DUC 01和DUC 02的开放基准数据集上的实验结果表明，与最先进的摘要方法相比，我们提出的方法可以提高性能。
2012-03-15 cs.CL cs.IR
ESBM: An Entity Summarization BenchMark
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Samsung Research America（三星美国研究院）
实体摘要是通过从RDF数据中选择一个大小受限的三元组子集来计算实体的最优紧凑摘要的问题。实体摘要支持多种应用，并导致了富有成效的研究。然而，缺乏涵盖广泛的现有系统的评价工作。原因之一是缺乏评价基准。有些基准已不复存在，而另一些基准则很小，有局限性。在本文中，我们创建了一个实体摘要基准（ESBM），它克服了现有基准的局限性，并满足标准的必要条件的基准。使用这个最大的可用基准评估通用实体摘要，我们进行了最广泛的实验，到目前为止，9现有的系统进行了比较。考虑到所有这些系统都是无监督的，我们还实现和评估了一个基于监督学习的系统，以供参考。
2020-03-08 cs.CL cs.DB cs.IR
Entity Extraction from Wikipedia List Pages
University of Mannheim（曼海姆大学）
当涉及到广泛领域的事实知识时，维基百科通常是网络上的主要信息来源。DBpedia和YAGO作为大型跨领域知识图谱，通过为维基百科中的每个页面创建一个实体并通过边缘连接它们来编码知识的子集。然而，众所周知，基于维基百科的知识图谱远未完成。特别是，由于维基百科的政策只允许关于主题的页面，如果他们有一定的知名度，这样的图表往往缺乏关于不太知名的实体的信息。关于这些实体的信息通常在百科全书中可用，但不表示为单独的页面。在本文中，我们提出了一种从维基百科列表页面中提取实体的两阶段方法，事实证明，这些列表页面是有价值的信息来源。在第一阶段，我们以DBpedia为主干，从类别和列表页面构建一个大型分类法。通过远程监督，我们提取用于识别列表页面中的新实体的训练数据，我们在第二阶段中使用这些数据来训练分类模型。通过这种方法，我们提取了超过70万个新实体，并扩展了DBpedia，其中包含750万个新类型语句和380万个高精度的新事实。
2020-03-11 cs.CL cs.IR
Mining Interesting Trivia for Entities from Wikipedia
琐事是关于一个实体的任何事实，它是有趣的，由于任何以下特征-不寻常，独特性，意外或怪异。这些有趣的事实是提供在'你知道吗？”在许多地方。虽然琐事是不太重要的事实被知道，但我们已经提出了他们的使用在用户参与的目的。这些有趣的事实通常会激发兴趣并吸引用户更多地参与实体，从而促进重复参与。本文引用了一些案例研究，这些案例研究表明，使用琐事对提高用户参与度或广泛宣传产品/服务具有重要影响。在这篇论文中，我们提出了一种新的方法来挖掘实体琐事从他们的维基百科页面。给定一个实体，我们的系统从其维基百科页面中提取相关句子，并根据其兴趣作为琐事生成一个句子列表。我们系统的核心是一个兴趣度排名器，它通过一组丰富的独立于领域的语言和基于实体的特征来学习兴趣度的概念。我们的排名模型是通过利用现有的用户生成的琐事数据在Web上，而不是创建新的标签数据的电影域。对于其他领域，如体育，名人，国家等，标记的数据必须按照论文中所述创建。我们在电影领域和名人领域评估了我们的系统，并观察到该系统的性能明显优于定义的基线。对结果的全面定性分析表明，我们设计的丰富功能集确实有助于在顶级排名中呈现有趣的琐事。
2015-10-11 cs.IR
WISER: A Semantic Approach for Expert Finding in Academia based on Entity Linking
我们提出了WISER，一个新的语义搜索引擎的专家发现在学术界。我们的系统是无监督的，它结合了经典的语言建模技术，基于文本证据，与维基百科知识图谱，通过实体链接。WISER通过一种新颖的分析技术对每位学术作者进行索引，该技术利用维基百科绘制的小型标记和加权图来模拟她的专业知识。图中的节点是作者出版物中提到的维基百科实体，而加权边表示通过基于文本和图的相关性函数计算的这些实体之间的语义相关性。每个节点还标记有相关性分数，该分数模拟相应实体与作者专业知识的相关性，并通过在该图上进行适当的随机行走计算来计算;以及通过实体和其他类型的结构嵌入从维基百科学习的潜在向量表示。在查询时，专家检索结合经典的以文档为中心的方法，利用查询词在作者的文档中的出现，与一组新的配置文件为中心的评分策略，计算作者的专业知识和查询主题之间的语义相关性，通过上述基于图形的配置文件。我们的系统的有效性是建立在一个大规模的实验测试标准数据集上的这项任务。我们表明，WISER实现了更好的性能比所有其他竞争对手，从而证明了有效性的建模作者的个人资料，通过我们的“语义”图的实体。最后，我们评论使用WISER的索引和分析整个研究社区内的比萨大学，其应用程序在我们的大学技术转让。
2019-06-10 cs.IR
Neural Entity Summarization with Joint Encoding and Weak Supervision
在大规模的知识图谱中，一个实体往往由大量的三重结构事实描述。许多应用程序需要实体描述的简化版本，称为实体摘要。实体摘要的现有解决方案主要是无监督的。在本文中，我们提出了一种监督方法NEST，该方法基于我们新的神经模型，对KG中的图形结构和文本进行联合编码，并生成高质量的多样化摘要。由于获取手动标记的摘要进行训练的成本很高，因此我们的监督很弱，因为我们用程序化标记的数据进行训练，这些数据可能包含噪声，但没有手动工作。评估结果表明，我们的方法显着优于国家的最先进的两个公共基准。
2020-05-10 cs.CL cs.IR cs.LG
SRAG: Structured Retrieval-Augmented Generation for Multi-Entity Question Answering over Wikipedia Graph
HKUST(GZ)（香港科技大学（广州））；DSA（数据科学与分析学域）
本文提出结构化检索增强生成框架SRAG，通过将提取的实体组织成关系表并应用基于表的推理技术，解耦检索与推理，显著提升了LLM在多实体问答任务上的表现。
2025-03-06 cs.CL cs.IR
DAWT: Densely Annotated Wikipedia Texts across multiple languages
Lithium Technologies
在这项工作中，我们打开了DAWT数据集-跨多种语言的密集注释维基百科文本。注释包括映射到实体（由其Freebase机器ID表示）的标记文本提及以及实体的类型。该数据集共包含1360万篇文章，50亿个tokens，1380万个提及实体同现。DAWT包含的锚文本到实体链接的数量是维基百科标记中的4.8倍。此外，它还包括英语、西班牙语、意大利语、德语、法语和阿拉伯语等多种语言。我们还提出了用于生成数据集的方法，该数据集丰富了维基百科的标记，以增加链接的数量。除了主数据集之外，我们还开放了几个派生数据集，包括提及实体共现计数和实体嵌入，以及Freebase ID和Wikidata条目ID之间的映射。我们还讨论了这些数据集的两个应用程序，并希望开放它们将被证明是有用的自然语言处理和信息检索社区，以及促进多语言研究。
2017-03-02 cs.AI cs.CL cs.IR
Leveraging Usage Data for Linked Data Movie Entity Summarization
Semantic Technology Institute（语义技术研究所）；University of Innsbruck（因斯布鲁克大学）
关联数据领域的新研究集中在实体摘要问题上。此字段解决了根据特征对于标识特定实体的任务的重要性对特征进行排序的问题。除了更人性化的呈现之外，这些摘要可以为语义搜索引擎和语义推荐系统发挥核心作用。在当前的方法中，已经尝试基于所考虑的数据固有的模式来应用实体摘要。本文提出的方法侧重于电影领域。它利用使用数据，以支持测量电影实体之间的相似性。使用这种相似性，可以确定实体的k-最近邻居。这导致了这样的想法，即实体与其最近邻居共享的特征可以被认为对这些实体是重要的或重要的。此外，我们引入了一个降级因子（类似于TF-IDF），以克服大量的常见特征。我们基于已链接到Freebase实体的电影评级数据集来验证该方法。
2012-04-12 cs.AI cs.HC cs.IR
Entity Summarization: State of the Art and Future Challenges
Nanjing University（南京大学）；Samsung Research America（三星美国研究中心）；Kno.e.sis Center, Wright State University（莱特州立大学Kno.e.sis研究中心）
语义数据的可用性不断提高，极大地增强了Web应用程序。语义数据（如RDF数据）通常表示为实体-属性-值三元组。语义数据的规模，特别是描述实体的大量三元组，可能会使用户过载过多的信息。这促使人们对实体描述摘要的自动生成进行了卓有成效的研究，以有效地满足用户的信息需求。我们专注于这个突出的主题，实体摘要，我们的研究目标是目前的第一个全面调查实体摘要的研究。而不是单独审查每种方法，我们的贡献包括（1）识别和分类现有方法的技术特征，形成一个高层次的概述，（2）识别和分类的框架，结合现有方法采用的多种技术特征，（3）收集已知的基准内在评估和外在评估的努力，以及（4）建议未来工作的研究方向。通过文献调查，我们综合了两个层次的技术。第一层次将通用技术特征分为几个方面：频率和中心性，信息性，多样性和覆盖范围。在第二层次中，我们提出了特定于领域和特定于任务的技术特征，包括使用领域知识，上下文感知和个性化。我们的评论表明，现有的方法主要是无监督的，他们结合了多种技术特征，使用各种框架：随机冲浪模型，基于相似性的分组，MMR类重新排名，或组合优化。在最近的研究中，我们还发现了一些基于深度学习的方法。
2021-05-11 cs.CL cs.IR
AutoSUM: Automating Feature Extraction and Multi-user Preference Simulation for Entity Summarization
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Alibaba Cloud Computing Co. Ltd.（阿里云计算有限公司）
随着知识图谱的增长，实体描述变得非常冗长。实体摘要任务旨在为实体生成多样、全面、有代表性的摘要，近年来受到越来越多的关注。在大多数以前的方法中，特征通常是由手工制作的模板提取。然后进行特征选择和多用户偏好模拟，这太依赖于人类的专业知识。本文提出了一种新的集成方法AutoSUM，用于自动特征提取和多用户偏好模拟，以克服以前的方法的缺点。AutoSUM中有两个模块：提取器和模拟器。提取器模块基于具有包括词嵌入和图嵌入的组合输入表示的BiLSTM来操作自动特征提取。同时，模拟器模块基于精心设计的两阶段注意力机制（即，实体阶段注意力和用户阶段注意力）。实验结果表明，AutoSUM在两个广泛使用的数据集（即，DBpedia和LinkedMDB）在F-measure和MAP中。
2020-05-25 cs.CL cs.IR
Effective extractive summarization using frequency-filtered entity relationship graphs
Pune Institute of Computer Technology（浦那计算机技术学院）；University of Pune（浦那大学）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
基于词频的提取摘要方法易于实现，并在不同语言中产生合理的结果。然而，它们有很大的局限性-它们忽略了上下文的作用，它们在文档中提供了不均匀的主题覆盖，有时是脱节的，难以阅读。我们使用语言类型学的一个简单前提-英语句子是实体之间潜在相互作用的完整描述符，通常以主语-动词-宾语的顺序-来解决这些困难的一个子集。我们已经开发出一种混合模型的提取摘要，结合词频的关键字识别与信息自动生成的实体关系图，以选择句子摘要。与词频和主题词为基础的方法的比较评价表明，所提出的方法是传统的ROUGE标准的竞争力，并产生适度的信息摘要平均，由一个大的面板（N=94）的人类评分。
2018-10-24 cs.AI cs.CL cs.IR
Distant Supervision for Entity Linking
Tsinghua University（清华大学）
实体链接是信息抽取知识库填充过程中必不可少的操作。它研究了在知识库中将文本实体提及与其对应的消歧条目对齐。在本文中，我们提出了一个新的范例命名为远程监督实体链接（DSEL），在这个意义上，消除歧义的实体，属于一个巨大的知识库（Freebase）自动对齐到相应的描述性网页（维基页面）。通过这种方式，可以在没有手动注释的情况下生成大规模的弱标记数据，并将其馈送到分类器以链接更多新发现的实体。与传统的基于知识库的范式相比，DSEL通过充分利用Freebase和Wikipedia各自的优势而获益更多。具体而言，所提出的范例有利于弥合歧义标签（自由基）的实体和他们的文本描述（维基百科）的Web规模的实体。在140，000个项目和60，000个特征的数据集上进行的实验实现了0.517的基线F1度量。此外，我们分析了特征性能，并将F1-measure提高到0.545。
2015-08-05 cs.CL cs.IR
Topic Modeling Based Extractive Text Summarization
SRM Institute of Science and Technology（SRM科学技术研究所）
文本摘要是一种识别文本文档中重要信息的方法。这种计算技术的目的是通过只包括源文本中存在的相关和突出信息来生成源文本的较短版本。在本文中，我们提出了一种新的方法来总结一个文本文件，其内容聚类的基础上产生的潜在主题，使用主题建模技术，并通过生成提取摘要，每个确定的文本聚类。所有提取的子摘要稍后被组合以生成任何给定源文档的摘要。我们在文本摘要方法中利用较少使用且具有挑战性的WikiHow数据集。此数据集与可用于文本摘要的常用新闻数据集不同。众所周知的新闻数据集在其源文本的前几行中呈现了其最重要的信息，这使得与总结WikiHow数据集相比，它们的总结任务具有较小的挑战性。与这些新闻数据集相反，WikiHow数据集中的文档是使用通用方法编写的，具有较低的抽象性和较高的压缩比，因此对生成摘要提出了更大的挑战。许多当前最先进的文本摘要技术倾向于消除源文档中存在的重要信息，以利于简洁。我们提出的技术旨在捕获源文档中存在的所有不同信息。虽然数据集被证明具有挑战性，但在我们的实验设置中进行了广泛的测试后，我们发现，与其他已发布的提取和抽象文本摘要模型相比，我们的模型产生了令人鼓舞的ROUGE结果和摘要。
2021-06-29 cs.CL cs.IR
Scalable Probabilistic Entity-Topic Modeling
University of Cambridge（剑桥大学）；Google Research（谷歌研究院）
我们提出了一个LDA的实体消歧方法。每个主题都与维基百科条目相关联，主题生成内容词或实体提及。训练这样的模型是具有挑战性的，因为主题和词汇量都是数百万。我们解决这些问题，使用一种新的分布式推理和表示框架的基础上，由维基百科链接图指导的并行吉布斯采样器，和管道的MapReduce允许快速和节省内存的大型数据集的处理。我们在一个公共数据集上报告了最先进的性能。
2013-09-02 cs.IR cs.LG stat.ML
RELink: A Research Framework and Test Collection for Entity-Relationship Retrieval
实体-关系（E-R）搜索技术的改进由于缺乏测试集合而受到阻碍，特别是对于涉及多个实体和关系的复杂查询。在本文中，我们描述了一种生成E-R测试查询，以支持全面的E-R搜索实验的方法。从以表格形式存在的内容创建关联性和相关性判断，其中列表示实体类型，并且表格结构暗示实体之间的一个或多个关系。编辑工作涉及基于表中条目表示的关系创建自然语言查询。我们已经公开发布了RELink测试集合，其中包括600个查询和相关性判断，这些查询和相关性判断是从Wikipedia List-of-lists-of-lists表中获得的。后者包括从列中提取的实体元组，并由它们表示的相应实体类型和关系标记。为了促进复杂E-R检索的研究，我们创建并发布了RELink框架，该框架包括专门为E-R检索定制的Apache Lucene索引和搜索。RELink包括实体和关系索引，该索引基于带有链接到维基百科实体的FACC 1文本跨度注释的CCLWeb-09-B Web集合。随着准备使用的搜索资源和全面的测试收集，我们支持社区在追求E-R的研究规模。
2017-06-13 cs.IR
Entity-Linking via Graph-Distance Minimization
维基链接（英语：Wikipedia linking）是一种自然语言处理任务，它包括识别一段文本中提到的实体，将每个实体链接到某个知识库中的相应条目;当知识库是维基百科时，这个问题被称为维基化（英语：Wikipedia functions）（维基化是指条目是维基百科条目）。实体链接的一个实例可以形式化为底层概念图上的优化问题，其中要优化的数量是所选项目之间的平均距离。受此应用程序的启发，我们定义了一个新的图形问题，这是一个自然的变种的最大容量代表集。我们证明了我们的问题是NP-困难的一般图，尽管如此，在一些限制性的假设下，它原来是可解的线性时间。对于一般情况下，我们提出了两种方法：一种是试图强制执行上述假设，另一种是基于命中距离的概念;我们通过实验展示了这些方法在真实数据集上的一些基线方面的表现。
2014-07-30 cs.DS cs.IR
SWAT: A System for Detecting Salient Wikipedia Entities in Texts
我们研究的实体显着性的问题，提出了SWAT，一个系统，识别显着的维基百科实体发生在输入文档的设计和实现。SWAT由几个模块组成，这些模块能够根据大量的句法，语义和潜在特征来检测和分类维基百科的实体，这些特征是通过监督过程正确提取的，该过程已经从《纽约时报》语料库中提取了数百万个例子。验证过程通过大型实验评估进行，最终表明SWAT在所有公开可用的数据集上改进了已知的解决方案。我们通过一个API发布SWAT，我们在论文中描述和评论，以方便其在其他软件中的使用。
2019-05-16 cs.IR
BLINK with Elasticsearch for Efficient Entity Linking in Business Conversations
Dialpad Canada Inc.（Dialpad加拿大公司）
实体链接系统将文本中实体的文本提及与知识库中相应的条目对齐。然而，在生产环境中部署神经实体链接系统以进行有效的实时推理是一项具有挑战性的任务。在这项工作中，我们提出了一个神经实体链接系统，将商业对话中的产品和组织类型实体连接到相应的维基百科和维基数据条目。所提出的系统利用Elasticsearch来确保部署在资源有限的云机器中时的推理效率，并在推理速度和内存消耗方面获得显着改善，同时保持高准确性。
2022-05-09 cs.CL cs.IR cs.LG
Query-Specific Knowledge Summarization with Entity Evolutionary Networks
University of Illinois, Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
给定一个查询，不像传统的IR找到相关的文档或实体，在这项工作中，我们专注于检索实体和它们的连接有见地的知识总结。例如，给定CS文献语料库上的查询“计算机视觉“，而不是返回“CNN”、“imagenet”和“svm”等相关实体的列表，我们感兴趣的是它们之间的连接，以及这些连接沿着特定顺序维度（例如时间）的演变模式。特别地，我们希望提供与查询相关的结构化知识，例如“svm”与“imagenet”相关而与“CNN”无关。此外，本研究亦试图建立模型，以了解网路连结的变化趋势，例如：2010年后，CNN与imagenet的关联度逐渐增加，使得知识演化的追踪成为可能。在这项工作中，为了促进这样一个新的有见地的搜索系统，我们提出了\textsc{SetEvolve}，这是一个统一的框架，基于非paranomal图形模型的进化网络建设从大型文本语料库。在合成数据上的系统实验和在真实语料库上的有见地的案例研究证明了\textsc{SetEvolve}的实用性。
2019-09-29 cs.IR cs.LG cs.NE
Balancing Novelty and Salience: Adaptive Learning to Rank Entities for Timeline Summarization of High-impact Events
L3S Research Center（L3S研究中心）；Leibniz Universität Hannover（莱布尼茨汉诺威大学）
像波士顿马拉松爆炸案这样的长期、高影响力的事件通常会经历许多阶段，并涉及大量实体。通过关键句子对事件进行时间轴概括可以简化故事的理解，但不能区分用户记住的内容和她可能想要重新检查的内容。在这项工作中，我们提出了一种新的方法，时间轴概括的高影响力的事件，它使用实体，而不是句子，总结事件在每个单独的时间点。这样的实体摘要可以用作（1）回顾性事件考虑中的重要记忆线索和（2）个性化事件探索的指针。为了自动创建此类摘要，关键是要确定要纳入的“正确”实体。我们建议学习实体的排名函数，在实体的文档内显著性和跨文档的实体的信息性之间进行动态适应的权衡，即，在考虑的时间点与实体相关的新信息的级别。此外，为了捕获对实体的集体注意，我们使用基于维基百科的创新软标签方法。我们在一个真实的大型新闻数据集上的实验证实了所提出的方法的有效性。
2017-01-14 cs.CL cs.IR
Learning Dense Representations for Entity Retrieval
Google Research（谷歌研究院）；University of Texas at Austin（得克萨斯大学奥斯汀分校）
我们表明，通过训练一个双编码器（双塔）模型来执行实体链接是可行的，该模型在同一密集向量空间中对提及和实体进行编码，其中通过近似最近邻搜索来检索候选实体。与以前的工作不同，这种设置不依赖于别名表，然后是重新排序器，因此是第一个完全学习的实体检索模型。我们表明，我们的双编码器，训练只使用锚文本链接在维基百科上，优于离散别名表和BM 25基线，并具有竞争力的最佳可比结果的标准TACKBP-2010数据集。此外，它可以非常快地检索候选人，并很好地推广到来自维基新闻的新数据集。在建模方面，我们展示了无监督的负面挖掘算法对这项任务的巨大价值。
2019-09-23 cs.CL cs.IR cs.LG
A Survey of Recent Abstract Summarization Techniques
University of Bengkulu（明古鲁大学）
本文综述了几种最近的摘要摘要方法：T5，Pegasus和Pegasus Net。我们用两种语言实现系统：英语和印度尼西亚语。我们研究了预训练模型（一个T5，三个Pegasus，三个Pegasus Nets）对英语和印度尼西亚语的几个维基百科数据集的影响，并将结果与维基百科系统的摘要进行了比较。T5-Large、Pegasus-XSum和Pegasus Net-CNNDM提供了最好的摘要。影响ROUGE性能的最重要因素是覆盖率、密度和压缩。分数越高，总结越好。影响ROUGE分数的其他因素包括预训练目标、数据集的特征、用于测试预训练模型的数据集以及跨语言函数。针对本文的局限性提出了几点改进建议：1）确保用于预训练模型的数据集必须足够大，包含足够的跨语言处理实例; 2）高级过程（微调）必须合理。我们建议在预训练模型的训练阶段实施高级过程（例如从训练-推断-训练过程到zero-shot翻译）之前，使用由多种语言主题的全面覆盖组成的大型数据集。
2021-04-15 cs.CL cs.IR cs.LG
Beyond Word Embeddings: Learning Entity and Concept Representations from Large Scale Knowledge Bases
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Samsung Research America（三星美国研究院）
使用神经词嵌入的文本表示在许多NLP应用中已经证明是有效的。最近的研究采用传统的词嵌入模型来学习多词表达（概念/实体）的向量。然而，这些方法限于文本知识库（例如，Wikipedia）.在本文中，我们提出了一种新的和简单的技术，整合知识的概念，从两个大规模的知识库的不同结构（维基百科和Probase），以学习概念表示。我们采用高效的skip-gram模型来无缝地从维基百科文本和Probase概念图中学习知识。我们在两个任务上评估了我们的概念嵌入模型：（1）类比推理，在语义类比上我们实现了91%的最先进性能，（2）概念分类，在两个基准数据集上实现了最先进的性能，其中一个数据集的分类准确率为100%，另一个为98%。此外，我们提出了一个案例研究，以评估我们的神经语义解析的无监督参数类型识别模型。我们证明了我们的无监督方法的竞争力的准确性和它的能力，更好地推广到词汇表中的实体提到相比，繁琐和容易出错的方法，依赖于地名词典和正则表达式。
2018-08-30 cs.AI cs.CL cs.IR
Hallucination Reduction in Long Input Text Summarization
Jadavpur University（贾达沃普尔大学）；School of Mathematical and Computational Sciences, Indian Association for the Cultivation of Science（印度科学促进会数学与计算科学学院）
本文针对长文档摘要幻觉问题，在 PubMed 上微调 LED，并结合数据过滤与 JAENS 联合生成，提升实体层面事实一致性。
2023-09-28 cs.CL cs.IR cs.LG
CCS Explorer: Relevance Prediction, Extractive Summarization, and Named Entity Recognition from Clinical Cohort Studies
Georgia Institute of Technology（佐治亚理工学院）；Emory University（埃默里大学）
临床队列研究（CCS），如随机临床试验，是记录临床研究的重要来源。理想情况下，临床专家检查这些文章进行探索性分析，从药物发现评估现有药物在应对新兴疾病方面的疗效到新开发药物的首次测试。然而，PubMed上每天都有100多篇关于COVID-19等单一流行疾病的文章发表。因此，医生可能需要几天时间才能找到文章并提取相关信息。我们能否开发一个系统，更快地筛选这些文章的长列表，并记录下这些文章中的关键内容？在这项工作中，我们提出了CCS资源管理器，一个端到端的系统，用于句子的相关性预测，提取摘要，患者，结果和干预实体检测CCS。CCS Explorer打包在基于Web的图形用户界面中，用户可以在其中提供任何疾病名称。CCS Explorer然后根据后端自动生成的查询结果，从PubMed上的文章中提取并汇总所有相关信息。对于每项任务，CCS Explorer都会基于具有额外层的Transformers微调预训练的语言表示模型。这些模型使用两个公开的数据集进行评估。CCS Explorer在使用BioBERT进行句子相关性预测时获得了80.2%的召回率、0.843的AUC-ROC和88.3%的准确率，并在使用PubMedBERT进行患者、干预、结果检测（PIO）时获得了77.8%的平均Micro F1分数。因此，CCS Explorer可以可靠地提取相关信息来汇总文章，从而节省$\sim \t…
2022-11-16 cs.AI cs.CL cs.HC
