WIT: Wikipedia-based Image Text Dataset for Multimodal Multilingual Machine Learning
Google(谷歌)
深度表示学习和预训练技术带来的里程碑式的改进使下游NLP、IR和Vision任务的性能大幅提升。多模态建模技术旨在利用大型高质量的非语言数据集来学习补充信息(跨图像和文本模态)。在本文中,我们介绍了基于维基百科的图像文本(WIT)数据集(https://github.com/google-research-datasets/wit),以更好地促进多模态,多语言学习。WIT由3760万个实体丰富的图像-文本示例组成,其中包含108种维基百科语言的1150万个独特图像。它的大小使WIT能够用作多模态模型的预训练数据集,正如我们在应用于图像-文本检索等下游任务时所展示的那样。WIT有四个主要和独特的优势。首先,WIT是最大的多模态数据集,图像-文本示例的数量是3x(在撰写本文时)。其次,WIT是大规模的多语言(同类产品中的第一个),覆盖超过100多种语言(每种语言至少有12 K个示例),并为许多图像提供跨语言文本。第三,相对于以前的数据集,WIT代表了一组更多样化的概念和现实世界实体。最后,WIT提供了一个非常具有挑战性的现实世界的测试集,我们经验性地说明使用图像-文本检索任务作为一个例子。
2021-03-03 cs.CL cs.CV cs.IR
A Qualitative Evaluation of User Preference for Link-based vs. Text-based Recommendations of Wikipedia Articles
文献推荐系统(LRS)帮助读者从大量的文献中发现相关内容。尽管LRS被广泛采用,但缺乏对基于内容的文献推荐的根本不同方法的用户感知推荐特征的研究。为了补充现有的定量研究文献推荐,我们提出了定性研究结果,报告用户的看法,两个对比的推荐类:(1)基于链接的推荐表示的共同引用接近(CPA)的方法,和(2)基于文本的推荐表示的Lucene的MoreLikeThis(MLT)算法。在我们的研究与20个用户和一组不同的40个维基百科文章的经验数据分析表明,基于文本和链接的推荐生成方法沿几个关键维度之间的显着差异。基于文本的MLT方法在推荐文章的用户感知相似性方面获得了更高的满意度。相比之下,CPA方法在推荐的多样性和偶然性方面获得了更高的满意度分数。我们的结论是,文献推荐系统的用户可以受益最多的混合方法,结合链接和基于文本的方法,用户的信息需求和偏好应该控制权重的方法。在混合推荐系统中使用的多种方法的最佳权重高度依赖于用户的变化的需求。
2021-09-16 cs.DL cs.IR
Approaches for Enriching and Improving Textual Knowledge Bases
Gottfried Wilhelm Leibniz Universität Hannover(戈特弗里德·威廉·莱布尼茨汉诺威大学)
可验证性是维基百科的核心编辑原则之一,编辑者被鼓励为添加的陈述提供引用。语句可以是任意的文本片段,从一个句子到一个段落。然而,在许多情况下,引用要么是过时的,丢失的,或链接到不存在的参考(例如死URL,移动的内容等)。总的来说,20%的引用是指新闻文章,是第二大引用来源。即使在提供引用的情况下,也没有明确的指标来显示给定文本的引用范围。除了与可验证性原则有关的问题外,许多维基百科实体页面不完整,在线新闻来源中已经提供的相关信息缺失。即使是已经存在的引文,在新闻发布时间和引用时间之间也往往存在延迟。在这篇论文中,我们解决了上述问题,并提出了自动化的方法,在维基百科中执行的可验证性原则,并建议相关的和缺失的新闻引用进一步丰富维基百科实体页面。
2018-04-28 cs.CL cs.IR
SimpleWikiSearch: A Clean Offline Wikipedia Environment for Agentic Search
Peking University(北京大学)
SimpleWikiSearch是一套明确可运行的离线维基百科环境,用于智能体搜索的可复现评估,提供基线结果及对比闭源模型的子集,而非提出新智能体算法。
2026-07-30 cs.AI cs.IR
Cross Script Hindi English NER Corpus from Wikipedia
Jamia Millia Islamia(贾米亚·米利亚·伊斯兰大学)
社交媒体平台上生成的文本基本上是混合语言文本。任何形式的语言混合都会给语言处理系统带来相当大的困难。此外,语言处理研究的进展取决于标准语料库的可用性。混合语言印度命名实体识别(NER)系统的发展面临的障碍,由于缺乏标准的评估语料库。这样的语料库可能是混合语言的性质,其中文本是使用多种语言编写的,主要是使用一个单一的脚本。我们的工作的动机是强调自动生成这样的语料库,以鼓励混合语言的印度语净率。本文介绍了一个跨脚本印地语-英语语料库的准备从维基百科的类别页面。语料库成功地使用标准的CoNLL-2003的PER,ORG,MISC的类别进行注释。对多种机器学习算法进行了评价,取得了良好的效果。
2018-10-08 cs.CL cs.IR cs.LG
miniReranker: Efficient Multimodal Reranking through Visual Cache Reuse and Interaction Sparsity
Eastern Institute of Technology, Ningbo(宁波东方理工学院);University of Waterloo(滑铁卢大学);Munich Center for Machine Learning, LMU(慕尼黑机器学习中心,慕尼黑大学)
提出miniReranker,通过视觉优先格式、早期退出、窄交互带和嵌入器引导剪枝,将重排序运行时间降至密集实现的1%以下,同时保持96%以上的性能。
2026-06-17 cs.IR
Wikiformer: Pre-training with Structured Information of Wikipedia for Ad-hoc Retrieval
Quan Cheng Laboratory(泉城实验室);Tsinghua University(清华大学);Zhongguancun Laboratory(中关村实验室);Huawei Poisson Lab(华为泊松实验室)
本文提出Wikiformer,利用维基百科的结构化信息设计了四个专为IR任务定制的预训练目标,在多个基准及垂直领域的零样本和微调设置下均优于现有基线。
2024-01-01 cs.AI cs.IR
Automated Text Summarization Base on Lexicales Chain and graph Using of WordNet and Wikipedia Knowledge Base
Tarbiat Modares University(塔比亚特·莫达雷斯大学)
文档自动摘要技术的发展日趋成熟,为解决信息过载问题提供了一条新的途径。摘要在信息检索中起着重要的作用。对于大量文档,向用户呈现每个文档的摘要极大地促进了查找所需文档的任务。文档摘要是自动生成文档的压缩版本,为用户提供有用信息的过程,而多文档摘要是从一组文档中生成摘要,提供关于显式或隐式主题的大部分信息内容。文本的词汇衔接结构可以用来确定句子/短语的重要性。词汇链是分析篇章中词汇衔接结构的有效工具,本文考虑了词汇衔接特征在自动文摘中的作用,并提出了一种基于知识库的自动文摘算法。该算法首先找出词的正确词义,然后构造词汇链,去除得分较低的词汇链,从词汇链中粗略地检测出主题,并根据主题对文本进行分割,选出最重要的句子。在DUC 01和DUC 02的开放基准数据集上的实验结果表明,与最先进的摘要方法相比,我们提出的方法可以提高性能。
2012-03-15 cs.CL cs.IR
STEREO: Scientific Text Reuse in Open Access Publications
Leipzig University(莱比锡大学);Bauhaus-Universität Weimar(魏玛包豪斯大学)
我们提出了Webis-STEREO-21数据集,这是一个开放获取出版物中科学文本重用的大规模集合。它包含了超过9100万个重复使用的文本段落,这些段落来自420万种独特的开放获取出版物。我们的数据集高度覆盖了科学学科和各种重用,以及全面的元数据来描述每个案例,解决了以前科学写作中最突出的缺点。Webis-STEREO-21允许解决来自不同科学背景的广泛研究问题,促进对这一现象的定性和定量分析,以及首次基于科学出版物中文本重复使用的基本比率。
2022-12-13 cs.CL cs.DL cs.IR
Information filtering based on wiki index database
St. Petersburg Institute for Informatics and Automation of the Russian Academy of Sciences (SPIIRAS)(俄罗斯科学院圣彼得堡信息学与自动化研究所)
在本文中,我们提出了一个基于配置文件的信息过滤方法,通过分析文本文档的内容。维基百科索引数据库被创建并用于从用户文档集合自动生成用户简档。为用户感兴趣的每个主题创建面向问题的维基百科子语料库(使用从用户简档中提取的知识)。这些子语料库的索引数据库被应用于过滤信息流(例如,邮件、新闻)。因此,所分析的文本被分类为在用户简档中明确呈现的若干主题。本文重点介绍了该方法的索引部分。描述了实现维基百科索引的应用程序的体系结构。索引方法使用俄语和简单的英语维基百科进行评估。
2008-05-08 cs.CL cs.IR
Exploring semantically-related concepts from Wikipedia: the case of SeRE
GESIS – Leibniz-Institute for the Social Sciences(GESIS-莱布尼茨社会科学研究所)
在本文中,我们提出了我们的Web应用程序SeRE旨在探索语义相关的概念。维基百科和DBpedia是丰富的数据源,可以提取给定主题的相关实体,例如入站和出站链接,更广泛和更窄的术语,分类信息等。我们使用维基百科全文正文来计算提取术语的语义相关性,从而生成与主题最相关的实体列表。对于任何给定的查询,SeRE的用户界面可视化这些相关的概念,按照语义相关性排序;来自维基百科文章的片段解释了这两个实体之间的联系。在一项用户研究中,我们研究了如何使用SeRE来找到给定主题的重要实体及其关系,并回答了如何使用分类系统进行过滤的问题。
2015-04-27 cs.CL cs.IR
DBpedia NIF: Open, Large-Scale and Multilingual Knowledge Extraction Corpus
Leipzig University(莱比锡大学);Czech Technical University in Prague(捷克布拉格技术大学);National Polytechnic Institute of Mexico(墨西哥国立理工学院)
在过去的十年中,DBpedia社区已经投入了大量的精力来开发技术基础设施和方法,以有效地从维基百科中提取结构化信息。这些努力主要集中在收集、改进和发布维基百科文章中的半结构化信息,例如来自信息框、分类信息、图像、维基链接和引文的信息。尽管如此,仍然有大量有价值的信息包含在非结构化的维基百科文章文本中。在本文中,我们提出了DBpedia NIF -一个大规模的多语种知识提取语料库。该数据集的目标是双重的:极大地扩展和深化DBpedia中的结构化信息量,并为各种NLP和IR任务的开发提供大规模和多语言资源。该数据集提供了128种维基百科语言的所有条目的内容。我们描述了数据集的创建过程和NLP交换格式(NIF),用于模拟维基百科文章的内容,链接和结构信息。该数据集已经进一步丰富了约25%的链接和选定的分区发布为关联数据。最后,我们描述了维护和可持续性计划,以及从TextExt知识提取挑战中选择的数据集用例。
2018-12-26 cs.CL cs.IR
SRAG: Structured Retrieval-Augmented Generation for Multi-Entity Question Answering over Wikipedia Graph
HKUST(GZ)(香港科技大学(广州));DSA(数据科学与分析学域)
本文提出结构化检索增强生成框架SRAG,通过将提取的实体组织成关系表并应用基于表的推理技术,解耦检索与推理,显著提升了LLM在多实体问答任务上的表现。
2025-03-06 cs.CL cs.IR
Relational Extraction on Wikipedia Tables using Convolutional and Memory Networks
University of Alberta(阿尔伯塔大学)
针对维基百科表格中的关系抽取,提出结合 CNN 与 BiLSTM 的神经模型,实验显示其性能稳定优于既有方法,并通过消融与错误分析验证各组件贡献。
2023-07-11 cs.AI cs.CL cs.IR
Assessing Wikipedia-Based Cross-Language Retrieval Models
这项工作比较跨语言检索的概念模型:首先,我们适应多语言文档的概率潜在语义分析(pLSA)。不同加权方案的实验表明,有利于在两个语言端的相似长度的文档的加权方法给出了最好的结果。考虑到单语言和多语言潜在狄利克雷分配(LDA)的行为时,适用于这些文件,我们使用的训练语料库建立在维基百科上,所有的文件都是长度规范化,并获得改进,以前报告的分数LDA。我们工作的另一个重点是模型组合。为此,我们在实验中包括显式语义分析(ESA)。我们观察到,ESA是没有竞争力的LDA在基于查询的检索任务CLEF 2000数据。与单独的机器翻译相比,机器翻译与概念模型的结合将性能提高了21.1%。机器翻译依赖于并行语料库,这可能不适用于许多语言对。我们进一步探讨有多少跨语言的信息可以携带在维基百科的特定信息源,即链接文本。最好的结果是使用语言建模的方法,完全没有来自平行语料库的信息。平滑的需要提出了关于合理性和效率的有趣问题。链接模型仅捕获某种信息,并建议加权方案来强调特定单词。因此,对于组合模型,另一个有趣的问题是如何整合不同的加权方案。使用一个非常简单的组合方案,我们得到的结果,比较有利的CLEF 2000数据集上以前报道的结果。
2014-01-10 cs.CL cs.IR
Entity Insertion in Multilingual Linked Corpora: The Case of Wikipedia
EPFL(洛桑联邦理工学院);Aarhus University(奥胡斯大学);Wikimedia Foundation(维基媒体基金会)
针对信息网络中实体链接插入位置定位难的问题,提出实体插入任务,构建105种语言的Wikipedia基准数据集,开发LocEI及多语言变体XLocEI,性能优于包括GPT-4在内的基线模型,支持零样本跨语言应用。
2024-10-05 cs.AI cs.CL cs.IR
Wikipedia-based Datasets in Russian Information Retrieval Benchmark RusBEIR
Lomonosov Moscow State University, Russia(罗蒙诺索夫莫斯科国立大学);South Ural State University, Chelyabinsk, Russia(南乌拉尔州立大学)
本文基于俄语维基百科“你知道吗”栏目构建新数据集,扩展 RusBEIR 基准,通过对比词汇与神经检索模型并引入重排序,提升俄语信息检索性能。
2025-11-07 cs.CL cs.IR
Data-Efficient Autoregressive Document Retrieval for Fact Verification
KAIST AI(韩国科学技术院人工智能学院)
文档检索是许多知识密集型自然语言处理任务公式化的核心组件,例如事实验证和问答。文本知识的来源,如维基百科的文章,从模型中生成答案的条件。检索的最新进展使用序列到序列模型来递增地预测给定查询的适当维基百科页面的标题。然而,这种方法需要以人工注释的形式进行监督,以标记哪些维基百科页面包含适当的上下文。本文介绍了一种远程监督方法,不需要任何注释,训练自回归检索器,达到竞争力的R-精度和召回在zero-shot设置。此外,我们表明,与特定任务的监督微调,两个基于维基百科的事实验证任务的自回归检索性能可以接近,甚至超过完全监督使用不到$1/4$的注释数据指示可能的方向,数据高效的自回归检索。
2022-11-17 cs.AI cs.CL cs.IR
Beyond Word Embeddings: Learning Entity and Concept Representations from Large Scale Knowledge Bases
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Samsung Research America(三星美国研究院)
使用神经词嵌入的文本表示在许多NLP应用中已经证明是有效的。最近的研究采用传统的词嵌入模型来学习多词表达(概念/实体)的向量。然而,这些方法限于文本知识库(例如,Wikipedia).在本文中,我们提出了一种新的和简单的技术,整合知识的概念,从两个大规模的知识库的不同结构(维基百科和Probase),以学习概念表示。我们采用高效的skip-gram模型来无缝地从维基百科文本和Probase概念图中学习知识。我们在两个任务上评估了我们的概念嵌入模型:(1)类比推理,在语义类比上我们实现了91%的最先进性能,(2)概念分类,在两个基准数据集上实现了最先进的性能,其中一个数据集的分类准确率为100%,另一个为98%。此外,我们提出了一个案例研究,以评估我们的神经语义解析的无监督参数类型识别模型。我们证明了我们的无监督方法的竞争力的准确性和它的能力,更好地推广到词汇表中的实体提到相比,繁琐和容易出错的方法,依赖于地名词典和正则表达式。
2018-08-30 cs.AI cs.CL cs.IR