arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2409.05994cs.CLcs.AI
收藏

MessIRve:一个大规模西班牙语信息检索数据集

MessIRve: A Large-Scale Spanish Information Retrieval Dataset

CONICET-Universidad de Buenos Aires. Instituto de Ciencias de la Computación (ICC). Buenos Aires, Argentina(CONICET-阿根廷布宜诺斯艾利斯大学。计算机科学研究所(ICC)。布宜诺斯艾利斯,阿根廷);Universidad de Buenos Aires. Facultad de Ciencias Exactas y Naturales. Departamento de Computación. Buenos Aires, Argentina(阿根廷布宜诺斯艾利斯大学。自然科学学院。计算机系。布宜诺斯艾利斯,阿根廷);University of California, Santa Barbara. California, U.S.A.(美国加利福尼亚大学圣巴巴拉分校);Quantit

Francisco Valentini, Viviana Cotik, Damián Furman, Ivan Bercovich, Edgar Altszyler, Juan Manuel Pérez

AI总结:

针对西班牙语IR数据集匮乏的问题,该研究推出大规模数据集MessIRve,包含近70万条真实西语查询与维基百科相关文档,覆盖多地区方言与广泛主题,并提供基准评测,助力西语IR研究与信息获取。

摘要:

信息检索(IR)是根据用户查询查找相关文档的任务。尽管西班牙语是母语使用人数第二多的语言,但西班牙语IR数据集十分匮乏,这限制了面向西班牙语使用者的信息获取工具的开发。我们推出了MessIRve,这是一个大规模西班牙语IR数据集,包含来自谷歌自动补全API的近70万条查询,以及来自维基百科的相关文档。与其他从英语翻译而来或未考虑方言差异的数据集不同,MessIRve的查询反映了西班牙语地区的多样性。该数据集规模庞大,与较小的数据集相比能够覆盖种类繁多的主题。我们提供了数据集的全面描述、与现有数据集的对比,以及主流IR模型的基准评测结果。我们的贡献旨在推动西班牙语IR研究,改善西班牙语使用者的信息获取条件。

英文摘要:

Information retrieval (IR) is the task of finding relevant documents in response to a user query. Although Spanish is the second most spoken native language, there are few Spanish IR datasets, which limits the development of information access tools for Spanish speakers. We introduce MessIRve, a large-scale Spanish IR dataset with almost 700,000 queries from Google's autocomplete API and relevant documents sourced from Wikipedia. MessIRve's queries reflect diverse Spanish-speaking regions, unlike other datasets that are translated from English or do not consider dialectal variations. The large size of the dataset allows it to cover a wide variety of topics, unlike smaller datasets. We provide a comprehensive description of the dataset, comparisons with existing datasets, and baseline evaluations of prominent IR models. Our contributions aim to advance Spanish IR research and improve information access for Spanish speakers.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑