Hedera: Scalable Indexing and Exploring Entities in Wikipedia Revision History
L3S Research Center(L3S研究中心);Leibniz Universität Hannover(莱布尼茨汉诺威大学)
语义Web中的大部分工作依赖于维基百科作为主要的知识来源,通常工作在数据集的静态快照上。维基百科修订的完整历史,虽然包含了更多有用的信息,但由于其特殊的数量,仍然很难访问。为了进一步研究这个集合,我们开发了一个名为Hedera的工具,可以有效地从维基百科的修订历史数据集中提取语义信息。Hedera利用Map-Reduce范式实现了快速抽取,在中等规模的集群中能够在一天之内处理一个完整的维基百科条目修订历史,并支持灵活的数据结构,适用于各种语义Web研究。
2017-01-14 cs.AI cs.IR
Temporal Analysis of Entity Relatedness and its Evolution using Wikipedia and DBpedia
Insight Centre for Data Analytics(洞察数据分析中心);National University of Ireland, Galway(爱尔兰国立高威大学)
许多研究人员利用维基百科网络进行相关性和相似性任务。然而,大多数方法只使用最新的信息,而不是网络中的历史变化。我们提供了一个分析的实体相关性使用时间图为基础的方法在不同版本的维基百科的文章链接网络和DBpedia,这是一个开源的知识库提取自维基百科。我们考虑将维基百科文章链接网络创建为多个时间点上的边的并集和交集,并提出了一种新的Jaccard索引变体,以根据其瞬时性对边进行加权。我们对KORE数据集,这是在2010年创建的,我们的结果进行了评估,并表明,使用2010年维基百科的文章链接网络产生最强的结果,这表明语义相似性是时间敏感的。然后,我们表明,在我们的方法中集成多个时间框架可以提供更好的整体相似性,这表明时间演化可以对实体相关性产生重要影响。
2018-12-12 cs.CL cs.IR
Neural Article Pair Modeling for Wikipedia Sub-article Matching
University of California, Los Angeles(加州大学洛杉矶分校);Purdue University(普渡大学);Google(谷歌)
如今,编辑倾向于将一个长维基百科条目的不同子主题分成多个子条目。这种分离旨在提高人类可读性。然而,它也对许多基于维基百科的任务产生了有害影响,这些任务依赖于条目作为概念的假设,这要求每个实体(或概念)仅由一篇条目描述。这一基本假设大大简化了知识表示和提取,它是至关重要的许多现有的技术,如自动化知识库建设,跨语言知识对齐,语义搜索和维基百科实体的数据沿袭。在本文中,我们提供了一种方法来匹配分散的子文章回到其相应的主文章,目的是促进自动化维基百科策展和处理。该模型采用分层学习结构,结合了神经文档对编码器的多种变体和一组全面的显式特征。创建大型众包数据集以支持任务的评估和特征提取。基于大数据集,该模型实现了有希望的交叉验证结果,并显着优于以前的方法。在整个英文维基百科上的大规模服务也证明了所提出的模型的实用性和可扩展性,有效地提取了大量的新配对的主要和子文章。
2018-08-04 cs.CL cs.HC cs.IR
How much is Wikipedia Lagging Behind News?
Wikipedia包含丰富的实体和事件,是各种知识收集,提取和挖掘任务的宝贵资源。许多资源,如DBpedia,YAGO和其他知识库都是基于从中提取基于实体和事件的知识。另一方面,在线新闻是与现有实体相关的新兴实体,事件和事实的权威和丰富来源。在这项工作中,我们通过研究如何从新闻到维基百科的实体和事件为基础的信息流,研究在维基百科上的新闻实体的创建。我们用20年的\emph{The New York Times}数据集(NYT)分析了维基百科(基于英文维基百科的修订历史)的滞后性。我们建模并分析了实体和事件的滞后性,即它们分别在维基百科和纽约时报中首次出现。在我们广泛的实验分析中,我们发现实体页面中近20%的外部引用是编码新闻对维基百科重要性的新闻文章。其次,我们观察到,基于实体的滞后遵循具有高标准差的正态分布,而基于新闻的事件的滞后通常非常低。最后,我们发现事件负责创建紧急实体,事件页面中提到的实体中有多达12%是在事件页面创建之后创建的。
2017-03-30 cs.IR
Eliciting New Wikipedia Users' Interests via Automatically Mined Questionnaires: For a Warm Welcome, Not a Cold Start
每天都有成千上万的用户注册成为维基百科的新贡献者。一旦加入,这些用户必须决定贡献哪些文章,寻找哪些用户,向哪些用户学习或与之合作,等等。因此,通过推荐他们喜欢编辑的文章或他们喜欢与之合作的编辑来支持新人的第一步,是将他们转化为长期贡献者的有希望的途径。然而,标准的推荐系统依赖于用户先前与平台交互的历史。因此,这些系统无法在没有任何先前交互的情况下向新用户提供高质量的推荐,即所谓的冷启动问题。本文通过开发一种自动构建简短问卷的方法来解决维基百科的冷启动问题,当新注册的维基百科用户完成问卷时,可以用于各种目的,包括可以帮助新编辑入门的文章推荐。我们的问卷是根据维基百科文章的文本以及已经加入维基百科的编辑的贡献历史构建的。我们使用历史数据在离线评估中评估我们基于维基百科的建议的质量,以及与数百名真正的维基百科新人进行的在线评估,得出的结论是,我们的方法提供了具有凝聚力的,人类可读的问题,这些问题在几个基线上表现良好。通过解决冷启动问题,这项工作可以帮助维基百科的多样化编辑社区的可持续发展和维护。
2019-04-08 cs.IR
System Description of CITlab's Recognition & Retrieval Engine for ICDAR2017 Competition on Information Extraction in Historical Handwritten Records
我们为ICDAR2017历史手写记录信息抽取竞赛提供了一个识别和检索系统,该系统成功地从婚姻记录中推断出人名和其他数据。该系统以高精度从线图像中提取信息,并且优于基线。光学模型基于神经网络。为了推断所需的信息,正则表达式被用来描述的一组可行的单词序列。
2018-04-26 cs.IR
Wikipedia graph mining: dynamic structure of collective memory
维基百科是有史以来最大的百科全书,也是世界上访问量第五大的网站。每天有数千万人在网上冲浪,寻求各种问题的答案。维基百科页面上的集体用户活动留下了公开的人类行为足迹,使维基百科成为分析集体行为的绝佳来源。在这项工作中,我们提出了一个分布式的基于图的事件提取模型,启发Hebbian学习理论。该模型利用动力学的集体效应来发现事件。我们专注于数据流与底层图结构,并进行了几个大规模的实验维基百科的访问者活动数据。我们表明,所提出的模型是可扩展的时间序列长度和图形密度,提供了一个分布式实现所提出的算法。我们提取集体活动的动态模式,并证明它们对应于有意义的相关事件集群,反映在维基百科的文章。我们还说明了随着时间的推移,突出游客的兴趣不断变化的性质的图形的演变动力学。最后,我们讨论了集群的事件,集体回忆过程的模型,并代表集体记忆-一组人共享的共同记忆。
2018-02-14 cs.IR
Russian Web Tables: A Public Corpus of Web Tables for Russian Language Based on Wikipedia
Unidata;Saint-Petersburg State University(圣彼得堡国立大学)
包含WebTables等表格数据的语料库是学术界的重要资源。从本质上讲,它们是任何现代信息管理研究的支柱。它们用于数据抽取、知识库构建、问答、栏目语义类型检测等各种任务。这样的语料库不仅是数据的来源,而且是构建测试数据集的基础。到目前为止,还没有这样的俄语语料库,这严重阻碍了上述领域的研究。在本文中,我们提出了第一个语料库的Web表格专门创建的俄语材料。它是通过我们开发的一个特殊工具包来抓取俄语维基百科的。语料库和工具包都是开放源代码的,可供公众使用。最后,我们提出了一个简短的研究,介绍了俄罗斯维基百科的表和他们的统计数据。
2022-10-03 cs.CL cs.DL cs.IR
The Links Have It: Infobox Generation by Summarization over Linked Entities
维基百科等在线百科全书已成为最好的知识来源之一。通过从维基百科的非结构化文本中自动信息抽取,人们投入了大量精力来扩展和丰富结构化数据。虽然取得了显著的进展,但它们的有效性和效率仍然有限,因为它们试图解决极其困难的自然语言理解问题,并且严重依赖于监督学习方法,该方法需要大量的努力来标记训练数据。在本文中,而不是执行信息抽取非结构化的自然语言文本直接,我们专注于一组丰富的半结构化数据在维基百科的文章:链接实体。本文的思想是这样的:如果我们能总结出实体和它所链接的实体之间的关系,我们就能立即收获关于实体的一些最重要的信息。为此,我们提出了一种新的秩聚合方法来消除噪声,一种有效的聚类和标记算法来提取知识。
2014-06-25 cs.IR
A Graph-structured Dataset for Wikipedia Research
EPFL(洛桑联邦理工学院)
维基百科是一个丰富而宝贵的信息来源。它在网络上的中心位置使其成为科学家特别感兴趣的研究对象。来自不同领域的研究人员使用与维基百科相关的各种复杂数据集来研究语言,社会行为,知识组织和网络理论。虽然是一个科学宝藏,但数据集的庞大规模阻碍了预处理,并可能成为潜在新研究的挑战性障碍。这个问题在科学领域尤其严重,研究人员可能不懂技术和数据处理。一方面,维基百科转储的大小很大。它使得相关信息的解析和提取变得繁琐。另一方面,API使用起来很简单,但仅限于相对少量的请求。中间地带是中观尺度,研究人员需要维基百科的一个子集,从数千到数十万页,但在这个尺度上没有有效的解决方案。在这项工作中,我们提出了一个有效的数据结构,使请求和访问维基百科的页面和类别的子网。我们提供方便的工具来访问和过滤维基百科网页的浏览统计数据或“页数”。数据集组织利用图形数据库的原则,允许快速直观地访问维基百科文章和类别的子图。数据集和部署指南可在LTS 2网站\url{https://lts2.epfl.ch/Datasets/Wikipedia/}上获得。
2019-03-20 cs.IR cs.LG cs.SI
Mining Meaning from Wikipedia
University of Waikato(怀卡托大学)
维基百科是一座信息的金矿;不仅对它的许多读者来说,而且对越来越多的研究人员来说,他们认为它是一种具有特殊规模和实用性的资源。它代表了人工努力和判断的巨大投资:一个巨大的,不断发展的概念和关系的挂毯,被应用于一系列任务。这篇文章提供了一个全面的描述这项工作。它侧重于提取和利用维基百科中的概念、关系、事实和描述的研究,并将工作分为四大类:将维基百科应用于自然语言处理;使用它来促进信息检索和信息抽取;以及作为本体构建的资源。这篇文章讨论了维基百科是如何被使用的,它是如何被改进和调整的,以及它是如何与其他结构相结合来创建全新的资源的。我们确定了参与的研究小组和个人,以及他们的工作在过去几年中是如何发展的。我们提供了一个完整的清单,列出了他们制作的开源软件。
2009-05-10 cs.AI cs.CL cs.IR
Biographical: A Semi-Supervised Relation Extraction Dataset
从在线文档中提取传记信息是信息抽取(IE)界的一个热门研究课题。各种自然语言处理(NLP)技术,如文本分类,文本摘要和关系抽取通常用于实现这一点。在这些技术中,RE是最常见的,因为它可以直接用于构建传记知识图谱。RE通常被定义为一个有监督的机器学习(ML)问题,其中ML模型是在带注释的数据集上训练的。然而,很少有注释的数据集RE,因为注释过程可能是昂贵和耗时的。为了解决这个问题,我们开发了Biographical,这是RE的第一个半监督数据集。该数据集旨在进行数字人文(DH)和历史研究,通过将维基百科文章中的句子与来自Pantheon和Wikidata等来源的匹配结构化数据进行比对来自动编译。通过利用维基百科文章的结构和强大的命名实体识别(NER),我们匹配的信息具有相对较高的精度,以编译注释的关系对十个不同的关系是重要的DH域。此外,我们通过训练一个最先进的神经模型来分类关系对,并在手动注释的黄金标准集上对其进行评估,从而证明了数据集的有效性。Biographical的主要目的是在数字人文和历史领域内为RE训练神经模型,但正如我们在本文结尾所讨论的那样,它也可以用于其他目的。
2022-05-02 cs.IR
A matter of words: NLP for quality evaluation of Wikipedia medical articles
IIT CNR(意大利国家研究委员会信息科学与技术研究所);DTU(丹麦技术大学)
Web信息的自动质量评价是一个应用领域广泛、意义重大的课题,尤其是在医学等重要领域。我们从直觉,医疗Web文档的内容质量的影响与特定领域的功能。首先,使用特定的词汇(领域信息性);然后,采用特定的代码(如维基百科文章的信息框中使用的代码)和文档类型(例如,历史和技术)。在本文中,我们建议利用特定的领域功能,以改善维基百科医学文章的评价结果。特别是,我们评估的文章采用了“可操作”的模型,其功能是相关的文章的内容,使该模型也可以直接建议提高给定的文章质量的策略。我们依靠自然语言处理(NLP)和基于词典的技术,以提取文本中的生物医学概念。我们证明了我们的方法的有效性,通过分类维基百科医学门户网站,这是以前手动标记的维基项目团队的医学文章。我们的实验结果证实,通过考虑面向领域的功能,有可能获得合理的改进,相对于现有的解决方案,主要是对那些文章,其他方法有不太正确的分类。除了他们自己的有趣,结果需要进一步研究领域的特定功能,适合Web数据质量评估。
2016-03-07 cs.CL cs.IR
CLEF HIPE-2026: Evaluating Accurate and Efficient Person-Place Relation Extraction from Multilingual Historical Texts
University of Zurich, Switzerland(苏黎世大学,瑞士);Swiss Art Research Infrastructure (SARI), University of Zurich(瑞士艺术研究基础设施(SARI),苏黎世大学);École Polytechnique Fédérale de Lausanne (EPFL), Switzerland(洛桑联邦理工学院(EPFL),瑞士)
提出HIPE-2026评测任务,针对多语言历史文本中的人物-地点关系抽取,引入联合评估准确性、计算效率和领域泛化的三方面评价框架。
2026-06-26 cs.AI cs.CL cs.IR
Information Extraction From Co-Occurring Similar Entities
关于实体及其相互关系的知识是问答或文本摘要等任务成功的关键因素。然而,像Wikidata或DBpedia这样公开可用的知识图谱还远未完成。在本文中,我们探讨如何从类似的实体,共同出现在结构,如表或列表中提取的信息可以帮助增加这种知识图谱的覆盖面。与现有方法相比,我们不关注列表中的关系(例如,表行中的两个实体之间),而是取决于列表的主题实体与列表的上下文之间的关系。为此,我们提出了一个描述性的规则挖掘方法,使用远程监督,以获得规则,这些关系的基础上上市的上下文。从合适的数据语料库中提取的规则可以用于扩展具有新实体和断言的知识图谱。在我们的实验中,我们证明了该方法能够从维基百科的列表中提取多达3M的新实体和30M的附加断言。我们发现,提取的信息是高质量的,因此适合扩展基于维基百科的知识图谱,如DBpedia,YAGO和CaLiGraph。对于DBpedia来说,这将导致覆盖的实体增加大约50%。
2021-02-15 cs.IR
Information Extraction from Historical Well Records Using A Large Language Model
本文提出基于开源Llama 2大语言模型的工作流程,从孤儿井历史记录中自动提取位置和深度信息,在PDF报告上准确率达100%,显著优于人工数字化。
2024-05-08 cs.IR
Social web and Wikipedia: an opportunity to rethink the links between sources' credibility, trust and authority
本文针对社交网络与Wikipedia带来的信息可信性问题,提出整合用户、文档与作者关系的可信度、信任和权威模型,并以Wikipedia实证发现加以检验。
2025-01-10 cs.CY cs.IR cs.SI
Semi-Supervised Image-Based Narrative Extraction: A Case Study with Historical Photographic Records
Virginia Tech(弗吉尼亚理工大学);Universidad Católica del Norte(北方天主教大学)
本研究提出适配图像的半监督叙事地图算法,从历史摄影记录中提取叙事,在ROGER数据集上验证了其在长时序叙事提取上优于随机采样,为视觉文化遗产分析提供新工具。
2025-01-16 cs.CV cs.IR
WikiM: Metapaths based Wikification of Scientific Abstracts
为了传播以科学出版物形式产生的大量知识,最好设计一种机制,将其与现有的丰富概念库-维基百科-联系起来。它不仅使科学阅读变得简单和容易(通过将科学文章中使用的相关概念与维基百科的解释联系起来),而且还提高了文章的整体质量。在本文中,我们提出了一种新的基于元路径的方法,WikiM,有效地维基化科学摘要-一个主题,在文献中很少被调查。这项工作的主要动机之一来自观察,即与普通摘要相比,科学文献的维基化摘要有助于读者更好地决定他是否有兴趣阅读全文。我们主要通过传统的tf-idf措施加上一组智能过滤器来执行提及提取。实体链接大量利用了丰富的引文和作者出版网络。我们的观察是,在这些网络上定义的各种元路径可以显着提高系统的整体性能。对于提及提取和实体链接,我们在ACL Anthology Network的数据集上分别获得了72.42%和73.8%的精度值,大大优于大多数竞争对手的最先进技术。为了建立我们的方案的鲁棒性,我们wikify其他三个数据集,并得到精度值分别为63.41%-94.03%和67.67%-73.29%的提提取和实体连接阶段。
2017-05-09 cs.IR
An Annotated Corpus of Webtables for Information Extraction Tasks
信息抽取是自然语言处理的一个研究良好的领域,其在网络搜索和问答中的应用涉及识别在给定上下文中表达的实体和它们之间的关系,通常是一段连续文本的句子。鉴于这项任务的重要性,多年来已经策划了几个数据集和基准。然而,仅关注运行文本会遗漏表格,这些表格在许多结构化文档中是常见的,并且其中实体对也在上下文中共同出现(例如,表的同一行)。虽然有最近的论文关系抽取从表中的文献,他们的实验评估一直在特设的数据集缺乏一个标准的基准。本文有助于缩小这一差距。我们引入了一个注释框架和一个来自维基百科的217,834个表的数据集,这些表用28个关系进行注释,使用分类器和精心设计的查询参考知识图谱。然后将二进制分类器应用于结果数据集以消除误报,从而使平均注释准确率达到94%。由此产生的数据集是第一个公开提供的此类数据集。
2020-11-16 cs.IR
Automating Historical Insight Extraction from Large-Scale Newspaper Archives via Neural Topic Modeling
Department of Computer Science , University of Luxembourg , 2, place de l’Université , 4365 , Esch-Belval Esch-sur-Alzette , Luxembourg;Centre for Contemporary \& Digital History (C 2 DH) , University of Luxembourg , 11 Porte des Sciences , 4366 , Esch-Belval Esch-sur-Alzette , Luxembourg
本研究利用BERTopic模型从1955至2018年的新闻档案中提取核能与核安全相关的主题,分析其时间演变,揭示公众 discourse 的长期趋势与变化。
2025-12-12 cs.AI cs.CL cs.IR
Dual-Scale Interest Extraction Framework with Self-Supervision for Sequential Recommendation
本文提出双尺度兴趣提取框架(DSIE),通过全局对比学习建模用户固有偏好,局部细粒度捕捉多样兴趣,并设计兴趣聚合模块,在三个基准数据集上提升推荐准确性与新颖性。
2023-10-16 cs.IR
Information Extraction from Scientific Literature for Method Recommendation
随着研究社区的发展,每年发表的论文越来越多。因此,人们越来越需要改进的方法来查找相关论文,自动理解关键思想并为目标问题推荐潜在的方法。尽管在搜索引擎的进步,它仍然很难确定新技术根据研究人员的需要。由于领域的多样性和极其有限的注释资源,在科学推荐中利用自然语言处理的工作相对较少。在这个提议中,我们的目标是通过从大量的科学论文中提取科学术语并将这些术语组织成知识图谱来进行科学推荐。在初步工作中,我们使用少量注释数据训练了一个科学术语提取器,并通过应用多种半监督方法利用大量未注释的论文获得了最先进的性能。我们建议构建一个知识图谱的方式,可以最大限度地利用手工标注的数据,只使用提取的术语,无监督的关系信号,如同现,和结构化的外部资源,如维基百科。科学术语之间的潜在关系可以从图中了解到。建议将通过观察到的和未观察到的关系对的图形推理。
2018-12-14 cs.IR
Detecting Legend Items on Historical Maps Using GPT-4o with In-Context Learning
University of Minnesota(明尼苏达大学);Inferlink Corporation(Inferlink公司)
针对历史地图图例布局不一致、难以自动提取的问题,提出结合LayoutLMv3布局检测与GPT-4o上下文学习的方法,通过边界框预测关联图例项与描述,实验取得88% F-1和85% IoU,实现可扩展的布局感知图例解析。
2025-10-09 cs.AI cs.CV cs.DB