CODEC: Complex Document and Entity Collection
CODEC是一个文档和实体排名基准,专注于复杂的研究主题。我们的目标是社会科学研究人员的论文式信息需求,即“英国的开放银行监管如何使挑战者银行受益?". CODEC包括研究人员开发的42个主题和一个新的重点网络语料库,其中包含实体链接的语义注释。该资源包括来自不同自动和交互式手动运行的17,509个文档和实体(每个主题416.9个)的专家判断。手动运行包括387个查询重写,为查询性能预测和自动重写评估提供数据。CODEC包括对最先进系统的分析,包括稠密检索和神经重新排序。结果表明,主题是具有挑战性的,为文档和实体排名的改进预留了空间。查询扩展与实体信息显示显着的收益在文档排序,展示了资源的价值,评估和改进面向实体的搜索。我们还表明,手动查询重构显着提高文档排序和实体排名的性能。总体而言,CODEC提供了具有挑战性的研究课题,以支持以实体为中心的搜索方法的开发和评估。
2022-05-17 cs.IR
Extraction d'entités dans des collections évolutives
我们的工作目标是使用一组报告并提取命名实体,在我们的例子中是工业或学术合作伙伴的名称。从初始实体列表开始,我们使用第一组文档来识别句法模式,然后在监督学习阶段对一组注释文档进行验证。完整的集合被探索。这种方法类似于从半结构化文档(包装器)中提取数据的方法,不需要任何语言资源,也不需要大量的训练集。由于我们的文档集合会随着时间的推移而发展,我们希望提取的性能会随着训练集大小的增加而提高。
2007-07-20 cs.IR
A Fast Text Similarity Measure for Large Document Collections using Multi-reference Cosine and Genetic Algorithm
使搜索引擎快速、准确的重要因素之一是一个简洁、无重复的索引。为了从索引中删除重复和接近重复的文档,搜索引擎需要一个快速可靠的重复和接近重复的文本文档检测系统。解决这个问题的传统方法,如蛮力比较或简单的基于散列的算法是不合适的,因为它们是不可扩展的,并且不能有效地检测近似重复的文档。本文提出了一种新的基于特征的文本相似性检测方法,该方法具有速度快、可扩展性好、可靠性高、占用存储空间少等优点。在CiteseerX、Enron、Gold Set of Near-Duplicate News Articles等流行的文本文档数据集上进行了实验,结果表明,该方法在准确性和性能方面都优于最先进的算法。所提出的方法是基于使用参考文本生成签名的文本文档的想法。本文的新颖之处在于使用遗传算法来生成更好的参考文本。
2019-09-24 cs.IR
GenTREC: The First Test Collection Generated by Large Language Models for Evaluating Information Retrieval Systems
本文提出 GenTREC,首个完全由大语言模型生成文档、无需人工相关性判断的 IR 测试集,实验证明其系统排名与传统 TREC 评估兼容,为低成本 IR 评估提供了新途径。
2025-01-05 cs.IR
CURE: Collection for Urdu Information Retrieval Evaluation and Ranking
乌尔都语是一种广泛使用的语言,全球有1.63亿人使用。乌尔都语的信息检索由于其丰富的词法特征和大量的使用者而受到研究界的特别关注。在一般情况下,IR评估任务没有广泛探讨乌尔都语。最重要的缺失因素是提供一个专门针对乌尔都语的标准化评价语料库。在这项研究工作中,我们提出并构建了一个标准的测试集的乌尔都语文档的IR评估,并命名为收集乌尔都语检索评估(CURE)。我们选择了1,096个独特的文件,对50个不同的查询,从一个大的收集0.5万爬行文件使用两个IR模型。测试集的目的是评估IR模型、排名算法和不同的自然语言处理技术。接下来,我们对选定的文档进行二进制相关性判断。我们还构建了另外两个语言资源,用于测试集合特定的词形化和查询扩展。测试集的评估进行了使用四个检索模型,以及使用停用词列表,词形还原,和查询扩展。此外,使用不同的NLP技术对每个查询进行错误分析。据我们所知,这项工作是第一次尝试准备一个标准化的信息检索评价测试收集乌尔都语。
2020-11-01 cs.IR
T-Retrievability: A Topic-Focused Approach to Measure Fair Document Exposure in Information Retrieval
University of Glasgow(格拉斯哥大学)
针对现有全局可检索性指标无法准确衡量检索模型曝光偏差的问题,提出主题聚焦的T-Retrievability度量,通过局部主题组计算聚合得到更可靠的公平性评估结果。
2025-11-17 cs.IR
Repeatability Corner Cases in Document Ranking: The Impact of Score Ties
文档排序实验应该是可重复的。然而,在检索过程中,多线程索引和分数关系之间的交互可能会产生不确定的排名,使得可重复性不像人们想象的那样微不足道。在开源Lucene搜索引擎的上下文中,分数关系被内部文档ID打破,这些ID在索引时分配。由于多线程索引使得对大型现代文档集合的实验变得实用,内部文档id在同一集合的不同索引实例之间没有一致地分配,因此分数关系不可预测地被打破。这篇简短的论文探讨了这种分数关系的有效性影响,量化了可归因于这种现象的可变性。解决这种不确定性并确保可重复的文档排序的一个显而易见的解决方案是使用外部集合文档id打破分数限制。但是,这种方法会带来可衡量的效率成本,因为在查询评估期间必须咨询外部标识符。
2019-09-02 cs.IR
Cheap IR Evaluation: Fewer Topics, No Relevance Judgements, and Crowdsourced Assessments
为了评估信息检索(IR)的有效性,一种可能的方法是使用测试集合,它由一组文档,一组信息需求描述(称为主题),以及一组与每个主题相关的文档组成。测试集合在竞争场景中建模:例如,在众所周知的TREC倡议中,参与者在一组主题上运行他们自己的检索系统,并且他们提供检索文档的排名列表;一些检索文档(通常是排名第一的)构成所谓的池,其相关性由人类评估员评估;文档列表然后用于计算有效性度量并对参与者系统进行排名。私人网络搜索公司也进行内部评估;虽然细节大多不为人知,目标也有所不同,但总体方法与测试收集方法有几个问题。这项工作的目的是:(一)发展和改善一些国家的最先进的工作,同时节省资源的IR有效性的评估,和(ii)提出一种新的,更原则和工程,整体的方法来测试收集的有效性评估。[...]
2020-11-01 cs.IR
Document Retrieval for Large Scale Content Analysis using Contextualized Dictionaries
本文提出了一个过程,检索相关文件的子集,从大型文本集的内容分析,例如在社会科学。为此目的的文献检索需要考虑到这样一个事实,即分析师往往不能用一小部分关键术语来描述他们的研究目标,特别是在处理理论或相当抽象的研究兴趣时。相反,定义一组反映感兴趣的主题以及有针对性的演讲方式的范例文档要容易得多。因此,与经典的信息检索任务相比,我们采用手动编译的参考文档集合来组成数百个关键词的大型查询,称为字典。我们通过主题模型提取字典,并使用参考集合中的同现数据。评价表明,该程序提高了检索结果,为此目的相比,替代方法的关键词提取以及忽略同现数据。
2017-07-11 cs.IR
A Blueprint of IR Evaluation Integrating Task and User Characteristics: Test Collection and Evaluation Metrics
针对传统信息检索评估指标存在的单维度假设、忽略文档重叠、未考虑文档可用性属性等问题,提出需构建统一框架下的正式模型来解决多维度分级相关性、文档重叠与可用性属性结合的IR评估问题。
2023-05-01 cs.IR
Automatic Construction of Evaluation Sets and Evaluation of Document Similarity Models in Large Scholarly Retrieval Systems
学术文献检索系统为科学界提供了搜索、探索和下载跨各种科学学科的学术文章的能力。这些系统主要由特定领域的专家使用,包含用户社区日志,包括用户特定下载文章的信息。在本文中,我们提出了一种新的方法,自动评估文档相似性模型在大量的学术出版物。与使用由查询文档和人类注释的相关性判断组成的测试集合的典型评估设置不同,我们使用下载日志来自动生成类似文档对的伪相关集。更具体地说,我们表明,连续下载的文件对,从学术信息检索(IR)系统中提取,可以用作测试集合,用于评估文档相似性模型。我们的方法的另一个新颖的方面在于,我们采用的方法,通过比较连续下载的文档对和随机文档对在日志空间中的分布来评估模型的性能。在两个家族的相似性模型,表示文档的术语向量和主题空间,我们表明,我们的评估方法实现了非常高的相关性与传统的性能指标,如平均平均精度(MAP),同时更有效地计算。
2016-01-07 cs.IR
NeuCLIRBench: A Modern Evaluation Collection for Monolingual, Cross-Language, and Multilingual Information Retrieval
HLTCOE, Johns Hopkins University(约翰斯·霍普金斯大学 HLTCOE);University of Glasgow(格拉斯哥大学);University of Waterloo(滑铁卢大学);Information Sciences Institute, University of Southern California(南加州大学信息科学研究所);Allen Institute for AI(艾伦人工智能研究所)
本文发布面向单语、跨语言与多语言检索的评测集NeuCLIRBench,整合三年TREC NeuCLIR赛道主题及标注,提供神经检索融合基线,可有效区分不同检索系统性能且已公开。
2025-11-18 cs.IR
Robustness of IR Models to Collection Growth
University of Glasgow(格拉斯哥大学)
本研究探究IR模型对集合增长的鲁棒性,将模型分为MDA和MDD两类,发现两类模型均无法完全抵御非相关文档添加带来的性能下降,且MDA检索器效果优于MDD,二者重排序器效果相当。
2026-08-26 cs.CL cs.IR
A Sensitivity-Aware Test Collection for Search Among Personal Information
University of Glasgow(格拉斯哥大学)
为解决个人信息搜索中的敏感信息泄露问题,构建了包含敏感与非敏感标注的Enron邮件子集测试集,通过众包和LLM扩展查询与相关性评估,并提供了基线性能。
2026-06-29 cs.IR
ELSKE: Efficient Large-Scale Keyphrase Extraction
关键词提取方法可以提供对大量文档(如社交媒体帖子)的深入了解。然而,现有的方法不太适合于流数据的实时分析,因为它们在计算上太昂贵或者需要关于关键词结构的限制性约束。我们提出了一种有效的方法来提取关键词从大型文档集合,并表明该方法也表现出竞争力的个别文件。
2021-02-10 cs.IR
HC4: A New Suite of Test Collections for Ad Hoc CLIR
Johns Hopkins University(约翰斯·霍普金斯大学);University of Maryland, College Park(马里兰大学帕克分校)
HC4是一套新的测试集合,用于特定的跨语言信息检索(CLIR),具有中文、波斯语和俄语的公共爬行新闻文档,英语和文档语言的主题,以及分级的相关性判断。需要新的测试集合,因为使用传统CLIR运行的池化构建的现有CLIR测试集合在用于评估神经CLIR方法时在其相关性判断方面存在系统性差距。HC4收集了60个主题和大约50万个中文和波斯文文档,以及54个主题和500万个俄文文档。使用主动学习来确定在使用交互式搜索和判断进行播种之后注释哪些文档。文件是根据三个等级的相关性等级来评判的。本文介绍了新的测试集合的设计和建设,并提供了基线结果,以证明其效用评估系统。
2022-01-24 cs.CL cs.IR
Searching Personal Collections
本文回顾了个人文档集合信息检索的发展历程。
2024-12-16 cs.IR
Extracting Event-Centric Document Collections from Large-Scale Web Archives
Web档案通常范围非常广泛,规模非常大。这使得数据分析看起来令人生畏,特别是对于非计算机科学家来说。这些收藏品是社会科学、历史科学研究人员和有兴趣研究历史事件的记者日益重要的资料来源。然而,除了检索各个断开连接的文档之外,目前没有任何访问方法可以帮助用户有效地访问信息,特别是关于特定事件的信息。因此,我们提出了一种新的方法来提取以事件为中心的文档集,从大规模的Web档案。该方法依赖于专门的聚焦提取算法。我们的实验在德国的Web档案(涵盖了19年的时间段)表明,我们的方法可以提取不同的事件类型的事件为中心的集合。
2017-07-28 cs.DL cs.IR
AgAsk: An Agent to Help Answer Farmer's Questions From Scientific Documents
农业决策越来越受数据驱动;然而,宝贵的农业知识往往被锁在自由文本报告、手册和期刊文章中。需要专门的搜索系统,能够挖掘农业信息,为用户的问题提供相关的答案。本文介绍了AgAsk --一个能够通过挖掘科学文献回答自然语言农业问题的智能体。我们认真调查和分析农民的信息需求。在这些需求的基础上,我们发布了一个信息检索测试集,包括真实的问题,一个大的科学文献集,分为段落,地面真理相关性评估表明哪些段落与每个问题相关。我们实现和评估了一些信息检索模型来回答农民的问题,包括两个国家的最先进的神经排序模型。我们表明,神经排名是非常有效的匹配通道的问题,在这种情况下。最后,我们提出了一个AgAsk的部署架构,其中包括基于Telegram消息传递平台的客户端和部署在商品硬件上的检索模型。我们提供的测试集旨在激发更多的研究方法,以匹配自然语言的科学文献中的答案。虽然在农业领域的检索模型进行了评估,他们是generalisable和其他人的兴趣,类似的问题。测试集可在以下网址获得:\url{https://github.com/ielab/agvaluate}。
2022-12-21 cs.IR
Understanding and Predicting Characteristics of Test Collections in Information Retrieval
研究信息检索中的社区评估,例如NIST的文本检索会议(TREC),通过汇集许多团队提交的文档排序来构建可重用的测试集合。自然地,最终测试集的质量因此在很大程度上取决于参与团队的数量和他们提交的运行的质量。在这项工作中,我们调查:i)参与者的数量,再加上其他因素,如何影响测试集合的质量;和ii)测试集合的质量是否可以推断之前,从人类评估员收集相关性判断。在六个TREC集合上进行的实验说明了团队的数量如何与各种其他因素相互作用,从而影响测试集合的质量。我们还表明,测试集合的可重用性可以预测具有很高的准确性,当相同的文档集合连续几年使用的评估活动,是常见的TREC。
2022-06-05 cs.IR
DuoSearch: A Novel Search Engine for Bulgarian Historical Documents
本文提出面向保加利亚历史文献的搜索引擎DuoSearch,结合ElasticSearch与深度神经网络,解决正字法差异和OCR错误问题,支持用现代保加利亚语检索历史拼写文献。
2023-05-30 cs.IR
WikiPassageQA: A Benchmark Collection for Research on Non-factoid Answer Passage Retrieval
随着移动搜索和语音搜索的兴起,答案段落检索成为有效的开放域问答信息检索系统的关键组成部分。目前,还没有类似的集合能够解决较大文档中的非事实问答,同时提供足够的示例来训练深度神经网络。在本文中,我们介绍了一个新的基于维基百科的集合,专门用于非事实答案通道检索,包含数千个带有注释的答案的问题,并显示了各种最先进的神经架构和检索模型的基准结果。实验结果表明,在主题相关的文件中的答案通道检索所提出的独特的挑战,为未来的研究。
2018-05-10 cs.IR
Technology Assisted Reviews: Finding the Last Few Relevant Documents by Asking Yes/No Questions to Reviewers
技术辅助评审的目标是以较少的人力实现高召回率。连续主动学习算法在定位集合中的大多数相关文档方面表现出良好的性能,但是当已经找到80%-90%的文档时,它们的性能达到平台。在本文中,我们提出了一种新的方法来识别这些最后几个,但重要的,有效的文件。我们的方法假设实体在文档中携带重要信息,并且审阅者可以回答关于缺失的相关文档中存在或不存在实体的问题。在此基础上,我们设计了一个顺序贝叶斯搜索方法,选择最佳序列的问题问。实验结果表明,我们提出的方法可以大大提高性能,需要更少的审查工作。
2018-10-12 cs.IR
Document Set Expansion with Positive-Unlabelled Learning Using Intractable Density Estimation
针对文档集扩展任务中传统正例与无标签(PU)学习方法依赖已知正样本类先验假设的局限性,本文提出一种利用难处理密度估计模型的新颖PU学习框架,并在PubMed和Covid数据集上验证了其有效性。
2024-03-26 cs.IR
A tool set for the quick and efficient exploration of large document collections
我们提出了一套多语言文本分析工具,可以帮助任何领域的分析人员快速探索大型文档集,以确定文档是否包含感兴趣的信息,并找到相关的文本段落。这一自动工具目前是一个功能齐全的原型,预计在用户反复需要筛选大量文件(如从互联网自动下载的文件)时特别有用。建议的系统需要一个完整的文件集作为输入。它首先执行一些自动分析任务(命名实体识别、地理编码、聚类、术语提取),用生成的元信息注释文本,并将元信息存储在数据库中。该系统然后生成一个可放大和超链接的地理地图,其中增加了所发现的实体和术语的信息,当该系统定期使用时,它建立了一个历史数据库,其中包含关于哪些名称与其他名称或地点一起被提及的信息,用户可以查询这个数据库,以检索过去提取的信息。
2006-09-12 cs.CL cs.IR
LongEval-Retrieval: French-English Dynamic Test Collection for Continuous Web Search Evaluation
本文提出动态测试集LongEval-Retrieval,通过连续时间步子集合模拟网络搜索环境变化,提供法英双语数据、软相关性评估及基线分析。
2023-04-27 cs.IR
Exploring the Daschle Collection using Text Mining
一位来自南达科他州的美国参议员捐赠了他在担任众议院代表和参议员期间积累的文件,这些文件将存放在南达科他州立大学的布里奇斯图书馆。本项目研究了定量统计方法的效用,以探索这一庞大文献收藏的某些部分。使用自然语言处理方法,包括潜在的狄利克雷分配(LDA)模型,从成分的可用扫描的文档和电子邮件进行分析。这一模式确定了特定文件集中讨论的主要议题。从参议员达施勒职业生涯的重要事件和流行的问题反映在不断变化的主题从模型。这些定量统计方法提供了大量文本的摘要,而不需要大量的人力或时间,并且可以应用于类似的集合。
2019-04-23 cs.IR stat.AP
Automatic Identification of Document Translations in Large Multilingual Document Collections
文本及其翻译是一种丰富的语言资源,可用于训练和测试基于语法的机器翻译系统和许多其他应用。在本文中,我们提出了一个工作系统,可以识别翻译和其他非常相似的文件之间的大量的候选人,通过表示文档内容与一个向量的词库术语从多语言词库,然后测量向量之间的语义相似性。对不同文本类型的测试表明,该系统可以在820个或更多文档的大搜索空间中以超过96%的精度检测翻译。该系统被调整为忽略特定语言的相似性,并给予第二语言的类似文档与相同语言的等效文档相同的相似性得分。该应用程序还可用于检测跨语言文档剽窃。
2006-09-12 cs.CL cs.IR
A Flexible Structured-based Representation for XML Document Mining
本文报告了INRIA小组在参加INEX XML Mining 2005会议时对XML挖掘的方法。我们使用XML文档的灵活表示,允许只考虑结构或同时考虑结构和内容。我们的方法包括表示XML文档的一组子路径,根据一些标准(长度,根开始,叶结束)定义。通过将这些子路径视为单词,我们可以使用标准的词汇缩减方法和简单的聚类方法,如K-均值,这些方法可以很好地扩展。我们实际上使用了一种被称为“动态云”的聚类算法的实现,它可以处理放在单独变量中的独立变量的不同组。这在我们的模型中很有用,因为嵌入的子路径不是独立的:我们将潜在的依赖路径拆分为单独的变量,导致每个变量都包含独立路径。INEX集合的实验表明,只有结构的集合效果良好,但我们的方法不能很好地扩展大型结构和内容的集合。
2006-07-05 cs.IR
Clustering Unstructured Data (Flat Files) - An Implementation in Text Mining Tool
随着科技的进步和储存成本的降低,个人和组织都倾向于使用电子媒体来储存文本信息和文件。读者从非结构化的文档集合中检索相关信息是一项耗时的工作。当集合按组或类别排序或分类时,从大型集合中查找文档更容易,耗时更少。找到最佳的这种分组的问题仍然存在。本文讨论了我们实现的用于聚类非结构化文本文档的k-Means聚类算法的实现,从非结构化文本的表示开始,到达聚类的结果集。基于对样本文档集的聚类分析,我们还提出了一种表示文档的技术,可以进一步提高聚类结果。
2010-07-25 cs.IR
Topic Extraction of Crawled Documents Collection using Correlated Topic Model in MapReduce Framework
University of Computer Studies(计算机研究大学);Faculty of Computing(计算机学院)
大量的可用研究文档的巨大增长促使研究人员提出主题模型来提取文档集合中的潜在语义主题。然而,如何从文档集合中提取出隐藏的主题已经成为许多主题模型应用的关键任务。此外,传统的主题建模方法遭受的可扩展性问题时,文档集合的大小增加。本文在MapReduce框架下实现了基于变分期望最大化算法的相关主题模型,解决了相关主题模型的可扩展性问题。所提出的方法利用从公共数字图书馆爬取的数据集。此外,抓取的文档的全文进行分析,以提高MapReduce CTM的准确性。最后通过实验验证了该算法的有效性。从评估,所提出的方法具有可比的性能方面的主题一致性与LDA实现MapReduce框架。
2020-01-06 cs.CL cs.IR cs.LG
Reproducible Hybrid Time-Travel Retrieval in Evolving Corpora
针对演化语料库中检索结果不可复现的问题,提出结合Lucene与列存储版本化索引的混合检索系统,支持时间旅行查询并保持原始排名,实现完全可复现。
2024-11-06 cs.IR
How Discriminative Are Your Qrels? How To Study the Statistical Significance of Document Adjudication Methods
针对传统文档adjudication方法评估忽略统计显著性差异的问题,提出一种评估低成本方法保留系统成对显著性差异能力的新方法,发现排名相关性最优的方法未必能保留统计显著性。
2023-08-28 cs.IR
A Method of Passage-Based Document Retrieval in Question Answering System
我们提出了一种方法,使用的评分值的段落,有效地检索文件中的问答系统。为此,我们建议评估功能,考虑每个问题之间的通道术语的接近度。并利用该评价函数,在最高的集合中抽取一个涉及评分值的文档,作为问题的合适文档。该方法在韩语问答系统的文档检索中取得了很好的效果。
2015-12-17 cs.IR
Exploratory Analysis of Highly Heterogeneous Document Collections
Institute for Defense Analyses(国防分析研究所)
我们提出了一个有效的多方面的系统,高度异质性的文件集的探索性分析。我们的系统是基于智能标记的个人文件在一个纯粹的自动化的方式,并利用这些标签在一个强大的多方面的浏览框架。所采用的标记策略包括基于机器学习和自然语言处理的无监督和有监督方法。作为我们的关键标记策略之一,我们引入了KERA算法(报告和文章的关键词提取)。KERA以完全无监督的方式从单个文档中提取主题代表性术语,并且被证明比最先进的方法更有效。最后,我们评估我们的系统,它的能力,以帮助用户找到文件有关的军事关键技术深埋在一个大的异构的信息海。
2013-08-11 cs.CL cs.HC cs.IR
A Neural Model for Joint Document and Snippet Ranking in Question Answering for Large Document Collections
Athens University of Economics and Business(雅典经济与商业大学);Research Center ‘Athena’(“雅典娜”研究中心);Institute for Language and Speech Processing(语言与语音处理研究所)
用于大型文档集合的问答(QA)系统通常使用流水线,该流水线(i)检索可能相关的文档,(ii)对它们进行重新排名,(iii)对排名靠前的文档的段落或其他片段进行排名,以及(iv)选择排名靠前的片段的跨度作为精确答案。管道在概念上很简单,但是错误会从一个组件传播到下一个组件,后面的组件无法修改前面的决策。我们提出了一个架构,联合文档和片段排名,两个中间阶段,利用相关文档有好的片段和好的片段来自相关文档的直觉。该架构是通用的,可以用于任何神经文本相关性排名器。我们的实验与两个主要的实例化的架构,基于POSIT-DRMM(PDRMM)和基于BERT的排名。在BIOASQ生物医学数据上的实验表明,我们的联合模型在片段检索(QA的主要目标)中的性能大大优于管道,可训练参数较少,在文档检索中也具有竞争力。此外,我们的联合PDRMM为基础的模型是有竞争力的BERT为基础的模型,尽管使用数量级较少的参数。对BIOASQ的两个试验批次进行的人体评价也支持这些声明。为了在另一个数据集上测试我们的关键发现,我们修改了Natural Questions数据集,使其也可以用于文档和片段检索。我们的基于PDRMM的联合模型在修改后的Natural Questions数据集上的片段检索中再次优于相应的管道,尽管它在文档检索中的表现不如管道。我们公开了我们的代码和修改后的Natural Questions数据集。
2021-06-16 cs.IR cs.LG
Identifying Documents In-Scope of a Collection from Web Archives
Kansas State University(堪萨斯州立大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);University of North Texas(北德克萨斯大学)
Web存档数据通常包含高质量的文档,这些文档对于创建专门的文档集合非常有用,例如,科学数字图书馆和技术报告储存库。在这样做的时候,有一个自动的方法,可以区分感兴趣的文件收集的大量文件的网络存档机构收集的大量需要。在本文中,我们探讨了不同的学习模型和特征表示,以确定最好的性能从Web存档数据中识别感兴趣的文件。具体来说,我们研究了机器学习和深度学习模型以及从整个文档或文档的特定部分提取的“词袋”(BoW)特征,以及捕获文档结构的结构特征。我们把我们的评估集中在三个数据集,我们从三个不同的Web档案创建。我们的实验结果表明,只关注文档的特定部分(而不是全文)的BoW分类器在所有三个数据集上的性能优于所有比较方法。
2020-09-02 cs.CL cs.DL cs.IR
NeuCLIRTech: Chinese Monolingual and Cross-Language Information Retrieval Evaluation in a Challenging Domain
Johns Hopkins University(约翰斯·霍普金斯大学);University of Glasgow(格拉斯哥大学);University of Waterloo(滑铁卢大学);Information Sciences Institute, University of Southern California(南加州大学信息科学研究所);Allen Institute for AI(艾伦人工智能研究所)
NeuCLIRTech是一个用于评估中文单语和跨语言信息检索技术的挑战性数据集,包含110个查询及35962个文档判断,提供强大的统计区分能力,支持神经检索系统与重排序算法的评估。
2026-02-05 cs.IR
Overview of the TREC 2023 NeuCLIR Track
本文介绍TREC 2023 NeuCLIR赛道的设置与结果,该赛道聚焦神经跨语言信息检索研究,构建多语种语料库,设置多类检索任务,共收到6支团队及基线的220次提交结果。
2024-04-11 cs.IR
Active Sampling for Large-scale Information Retrieval Evaluation
评价是信息检索中的一个重要环节。模型、工具和方法的开发大大受益于通过标准化和彻底测试的方法(称为Cranfield范式)形成的可重复使用的测试集合的可用性。构建这些集合需要获得一个文档池的相关性判断,参与评估任务的系统检索,因此涉及巨大的人力劳动。为了减轻这种努力,文献中提出了不同的方法来构建集合,分为两大类:(a)抽样,和(b)积极选择文件。前者设计了一个智能的抽样策略,只选择一个子集的文件进行评估和推断的基础上获得的样本的评价措施,抽样分布是固定在开始的过程。后者认识到,提供有待评判的文件的系统在质量上各不相同,并积极从良好的系统中选择文件。每次评判一份新文件时,都要衡量系统的质量。在本文中,我们试图解决的问题,大规模的检索评价结合这两种方法。我们设计了一种主动采样方法,避免了对良好的系统的主动选择方法的偏见,并在同一时间减少了目前的采样方法的方差,通过放置在系统上的分布,这是变化的判断变得可用。我们使用TREC数据验证了所提出的方法,并证明了这种新方法相比过去的方法的优势。
2017-09-06 cs.IR
Clustering and Classification in Text Collections Using Graph Modularity
提出了一种新的文本文档聚类和分类的快速算法。该算法利用二分图实现了集合的词-文档矩阵。也就是说,二分图的模块度被用作优化泛函。使用新算法在一些文本集合上进行的实验显示了具有竞争力的聚类(分类)质量和破纪录的速度。
2011-05-29 cs.DL cs.IR
A Generic Image Retrieval Method for Date Estimation of Historical Document Collections
Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
历史文档图像的日期估计是一个具有挑战性的问题,文献中的一些贡献缺乏从一个数据集推广到其他数据集的能力。本文提出了一个强大的数据估计系统的基础上,在前面的异构集合的检索方法,以及推广。我们使用名为smooth-nDCG的排序损失函数来训练卷积神经网络,该卷积神经网络为每个问题学习文档的排序。所提出的方法的主要用途之一是作为一个工具,历史上下文检索。这意味着学者们可以从大数据集中对历史图像进行比较分析,这些图像产生于哪个时期。我们提供实验评估不同类型的文件,从真正的数据集的手稿和报纸图像。
2022-04-08 cs.CV cs.DL cs.IR
Spaces, Trees and Colors: The Algorithmic Landscape of Document Retrieval on Sequences
文档检索是六十年代以来最成熟的信息检索活动之一,遍及所有搜索引擎。它的目的是从文本文档的集合中获取与模式查询最相关的文本文档。当前技术主要面向“自然语言“文本集合,其中倒排索引是优选的解决方案。尽管这种范式取得了成功,但它未能正确处理某些东亚语言和其他“自然语言“假设不成立的情况。在这次调查中,我们涵盖了最近的研究,在扩展的文件检索技术,以更广泛的一类序列集合,它有应用生物信息学,数据和Web挖掘,化学信息学,软件工程,多媒体信息检索,和许多其他。我们专注于算法方面的技术,揭示了丰富的世界之间的关系,文件检索的挑战和基本问题的树,字符串,范围查询,离散几何,和其他。
2013-09-27 cs.DS cs.IR
Continual Learning for Generative Retrieval over Dynamic Corpora
CAS Key Lab of Network Data Science and Technology, ICT, CAS(中国科学院网络数据科学与技术重点实验室);University of Chinese Academy of Sciences(中国科学院大学);University of Amsterdam(阿姆斯特丹大学)
本文针对动态语料库下生成式检索的持续学习问题,提出CLEVER模型,通过增量乘积量化和记忆增强学习机制实现新文档的低成本索引与无遗忘记忆,实验验证了其有效性和效率。
2025-09-27 cs.IR
Relative Lempel-Ziv Factorization for Efficient Storage and Retrieval of Web Collections
支持快速随机访问的压缩技术是任何信息系统的核心组成部分。当前最先进的方法将文档分组为固定大小的块,并使用通用自适应算法(如GZIP)压缩每个块。随机访问一个特定的文件,然后需要解压缩一个块。块大小的选择至关重要:它在压缩效率和文档检索时间之间进行权衡。在本文中,我们提出了一个可扩展的压缩方法,大型文档集合,允许快速随机访问。我们构建一个集合的代表性样本,并将其用作集合其余部分的LZ 77编码中的字典(相对于字典)。我们证明了大型集合,使用小到0.1%的集合大小的字典,我们的算法是显着快于以前的方法,并在一般情况下提供更好的压缩。
2011-12-09 cs.DB cs.DS cs.IR
MODS: Moderating a Mixture of Document Speakers to Summarize Debatable Queries in Document Collections
University of Maryland(马里兰大学);Adobe Research(奥多比研究院)
本文提出有争议查询聚焦摘要(DQFS)任务及多LLM框架MODS,通过模拟小组讨论让文档作为说话者LLM、调节者LLM协调定制查询与观点追踪,在ConflictingQA和DebateQFS数据集上主题覆盖率和平衡性比SOTA提升38-59%。
2025-02-01 cs.CL cs.IR
CSFCube -- A Test Collection of Computer Science Research Articles for Faceted Query by Example
University of Massachusetts(马萨诸塞大学);Thorn
按实例查询是一种众所周知的信息检索任务,其中用户选择文档作为搜索查询,目标是从大型集合中检索相关文档。然而,一份文件往往涵盖一个主题的多个方面。为了解决这个问题,我们引入了facetedQuerybyExample的任务,在这个任务中,除了输入查询文档之外,用户还可以指定一个更细粒度的方面。我们专注于这个任务在科学文献检索中的应用。我们设想的模型,能够检索科学论文类似于查询科学论文沿着专门选择的修辞结构元素作为这个问题的一个解决方案。在这部作品中,修辞结构元素,我们称之为方面,表示科学论文的目的,方法或结果。我们介绍并描述了一个专家注释的测试集合,以评估训练执行此任务的模型。我们的测试集由50个英语查询文档组成,来自计算语言学和机器学习场所。我们仔细遵循TREC使用的深度-k池(k = 100或250)的注释指南,所得的数据汇集由具有高注释一致性的分级相关性分数组成。在我们的数据集上评估的最先进的模型显示出在进一步的工作中需要关闭的显着差距。我们的数据集可以在这里访问:https://github.com/iesl/CSFCube
2021-11-07 cs.CL cs.IR
My Approach = Your Apparatus? Entropy-Based Topic Modeling on Multiple Domain-Specific Text Collections
比较文本挖掘从体裁分析和政治偏见检测延伸到文化和地理差异的揭示,再到专利和科学论文中的现有技术搜索。这些应用程序使用跨集合主题建模来探索、聚类和比较大型文档集,例如数字图书馆。然而,由于特定领域的词汇,不同集合的文档的主题建模是具有挑战性的。本文提出了一种结合领域术语自动抽取和短语切分的跨集主题模型。该模型基于信息熵区分集合专有词和集合无关词,揭示多个文本集合的共性和差异。我们在专利、科学论文、报纸文章、论坛帖子和维基百科文章上评估我们的模型。与最先进的交叉集合主题建模相比,我们的模型实现了高达13%的主题一致性,高达4%的困惑度降低,高达31%的文档分类准确率提高。更重要的是,我们的方法是第一个主题模型,确保分离的一般和具体的单词分布,从而在明确的主题表示。
2019-11-25 cs.DL cs.IR
Cartridges at Scale: Training Modular KV Caches over Large Document Collections
Amazon AGI(亚马逊人工智能研究院)
提出Cartridges at Scale (CAS)框架,通过动态干扰混合和内存高效预算管理器实现大规模多弹匣训练,在减少预填充开销的同时保持准确性,性能优于单块弹匣10-31点,接近全上下文学习。
2026-06-03 cs.CL cs.IR cs.LG
Ranked Document Retrieval in (Almost) No Space
文档排序检索是搜索引擎的一项基本任务。这样的查询是用倒排索引解决的,倒排索引需要额外的45%-80%的压缩文本空间,每个查询需要几十到几百微秒。在本文中,我们展示了如何排名的文档检索查询可以解决在几十毫秒内使用基本上没有额外的空间在内存中压缩表示的文档集合。更确切地说,我们增强了字节码小波树(WTBCs),一种重新排列压缩集合的字节的数据结构,使它们支持排名合取和析取查询,仅使用6%-18%的压缩文本空间。
2012-07-23 cs.DB cs.IR
Automatic annotation of multilingual text collections with a conceptual thesaurus
从概念叙词表中自动标注具有受控词汇术语(描述符)的文档不仅对文档索引和检索有用。此外,将文本映射到相同的术语词库还可以在类似的文件之间建立联系。这也是语义Web的一个重要要求。本文提出了一个几乎独立于语言的系统,映射到同一个多语言概念词库,EUROVOC的文件写在不同的语言。概念叙词表与自然语言叙词表的不同之处在于,它们由相对较小的受控单词或短语列表组成,这些单词或短语具有相当抽象的含义。为了自动识别哪些词库描述符最好地描述了文档的内容,我们开发了一个统计的关联系统,该系统在以前手动索引的文本上进行训练。除了描述大量的经验优化的参数的全功能应用程序,我们提出的软件的性能,根据专业索引的人的评价。
2006-09-12 cs.CL cs.IR
K-tree: Large Scale Document Clustering
Queensland University of Technology(昆士兰科技大学)
我们在信息检索上下文中引入K树。它是k-means聚类算法的有效近似。与k均值不同,它形成了集群的层次结构。它已经扩展到解决稀疏表示的问题。我们使用文档集合将性能和质量与CLUTO进行比较。K树具有较低的时间复杂度,适用于大型文档集合。这种树结构允许在空间需求超过主存的情况下实现基于磁盘的高效实现。
2010-01-06 cs.AI cs.DS cs.IR
Question Answering Against Very-Large Text Collections
问答涉及开发从大量文档集合中提取有用信息的方法。这是通过专门的搜索引擎完成的,例如Answer。答案搜索的目的是提供问题的答案,而不是列出可能包含正确答案的相关文档的页面。因此,像“埃菲尔铁塔有多高”这样的问题只会返回“325米”或“1,063英尺”。我们的任务是通过改进信息检索以及改进问题系列分析中涉及的预处理来构建Answer的当前版本。
2013-04-26 cs.CL cs.IR
Fast, Flexible Models for Discovering Topic Correlation across Weakly-Related Collections
Columbia University(哥伦比亚大学);University of Chicago(芝加哥大学);Princeton University(普林斯顿大学)
不同文档集合之间的弱主题相关性(在单个集合中具有不同数量的主题)对现有的交叉集合主题模型提出了挑战。本文介绍了两种概率主题模型:相关LDA(C-LDA)和相关HDP(C-HDP)。这些解决了在分析大型、不对称和潜在弱相关集合时可能出现的问题。弱相关集合中的主题相关性通常位于主题分布的尾部,在那里它们会被无法适应大量主题的模型所忽略。为了有效地为大规模分析建模这个长尾,我们的模型实现了基于Metropolis-Hastings和别名方法的并行采样算法(Yuan等人,2015)。这些模型首先在合成数据上进行评估,生成这些数据是为了模拟各种集合级不对称。然后,我们提出了一个案例研究的建模超过30万文件的科学和人文研究的集合从JSTOR。
2015-08-19 cs.CL cs.IR