A Method of Passage-Based Document Retrieval in Question Answering System
我们提出了一种方法,使用的评分值的段落,有效地检索文件中的问答系统。为此,我们建议评估功能,考虑每个问题之间的通道术语的接近度。并利用该评价函数,在最高的集合中抽取一个涉及评分值的文档,作为问题的合适文档。该方法在韩语问答系统的文档检索中取得了很好的效果。
2015-12-17 cs.IR
Using Centroids of Word Embeddings and Word Mover's Distance for Biomedical Document Retrieval in Question Answering
我们提出了一个文件检索方法的问答,表示文件和问题的加权质心的词嵌入和重新排序检索到的文件与放松的词移动器的距离。使用生物医学问题和文件BIOASQ,我们表明,我们的方法是有竞争力的PUBMED。使用top-k近似,我们的方法是快速的,并且很容易移植到其他领域和语言。
2016-08-12 cs.IR
Improving BERT-based Query-by-Document Retrieval with Multi-Task Optimization
按文档查询(QBD)检索是一种信息检索任务,其中种子文档充当查询,目标是检索相关文档--它在专业搜索任务中特别常见。在这项工作中,我们提高了检索效率的BERT重新排名,提出了一个扩展的微调步骤,以更好地利用查询的上下文。为此,我们在微调BERT重排序器时,除了排序目标之外,还使用了一个额外的文档级表示学习目标。在两个QBD检索基准上的实验表明,所提出的多任务优化方法在不改变BERT重排序器或使用额外训练样本的情况下,显著提高了排序效率.在未来的工作中,我们的方法的推广到其他检索任务应进一步调查。
2022-05-23 cs.IR
Unifying Multimodal Retrieval via Document Screenshot Embedding
针对传统多模态文档检索需定制解析、易出错且信息丢失的问题,提出文档截图嵌入(DSE)范式,直接用视觉-语言模型编码文档截图,在文本密集和混合模态任务中均优于传统方法,还构建了Wiki-SS数据集并将开放资源。
2024-12-02 cs.IR
Clarification of Video Retrieval Query Results by the Automated Insertion of Supporting Shots
计算视频编辑系统输出视频通常遵循特定的形式,例如对话或音乐视频,以这种方式,它们是特定于域的。我们描述了我们的视频注释和分割系统的最新发展,以支持一般的计算视频编辑,其中我们从一般的电影叙事原则而不是使用分层的电影语法中获得单一的通用编辑策略。我们演示了这个单一的原则如何与来自注释视频的脚本数据库相结合,利用编码在这些序列编辑中的现有视频编辑知识,灵活和通用的方式。我们讨论了这种通用的编辑策略的电影理论基础,审查用于影响它的算法,并通过例子来展示其在自动化系统中的适当性。
2021-02-19 cs.IR cs.MM
Auto Search Indexer for End-to-End Document Retrieval
本文提出 Auto Search Indexer(ASI),通过语义索引模块自动学习文档标识符,并结合编码器-解码器生成模型,实现完全端到端的文档检索,在公开和工业数据集上优于现有基线,并能有效处理新文档。
2023-10-30 cs.IR
Modelling Word Burstiness in Natural Language: A Generalised Polya Process for Document Language Models in Information Retrieval
我们介绍了一个广义的多变量Polya过程的文档语言建模。这里概述的框架概括了在信息检索中用于建模文档生成的一些统计语言模型。特别是,我们表明,替换矩阵M的选择最终定义的随机过程的类型,因此定义了一个特定类型的文档语言模型。我们表明,一般模型的一个特定的变体是有用的建模术语特定的突发性。此外,通过实验,我们表明,这种变体显着提高检索效率在一个强大的基线上的一些小的测试集合。
2017-08-20 cs.IR
DOGR: Leveraging Document-Oriented Contrastive Learning in Generative Retrieval
针对生成式检索无法直接表示查询与文档相关性的问题,本文提出DOGR框架,通过面向文档的对比学习和两阶段策略增强语义表示学习,在两个基准数据集上取得SOTA性能且对常见标识符构建技术通用有效。
2025-02-12 cs.IR
A Neural Passage Model for Ad-hoc Document Retrieval
传统的统计检索模型往往把每个文档作为一个整体来处理。然而,在许多情况下,文档与查询相关只是因为它的一小部分包含目标信息。在这项工作中,我们提出了一个神经通道模型(NPM),该模型使用通道级信息来提高临时检索的性能。我们的模型不是使用单个窗口来提取段落,而是在训练过程中自动学习对不同粒度的段落进行加权。我们表明,之前研究中基于段落的文档排序范式可以直接源自我们的神经框架。此外,我们对TREC集合的实验表明,NPM可以显着优于现有的基于XML的检索模型。
2021-03-16 cs.IR
Explicitly Integrating Judgment Prediction with Legal Document Retrieval: A Law-Guided Generative Approach
针对现有法律检索未显式结合判决预测导致准确率低、透明度不足的问题,提出法律引导的生成式检索方法GEAR,以序列到序列方式显式整合两类任务,在多个数据集上取得更优效果与鲁棒性。
2024-04-15 cs.IR
Structural Segmentation for Brazilian Legal Document Retrieval
Câmara dos Deputados(众议院);Senado Federal(联邦参议院);Faculdade de Engenharia Elétrica e da Computação, Universidade Estadual de Campinas (UNICAMP)(坎皮纳斯州立大学电气与计算机工程学院);Centro de Ciências e Tecnologia, Universidade Federal do Cariri (UFCA)(卡拉里联邦大学科学与技术中心)
本研究提出用结构分割策略将巴西法律文档拆分为核心块,实验显示该策略可提升密集检索效果,补充元数据的核心块能获得相当或更优结果。
2026-10-13 cs.IR
Enhanced document retrieval with topic embeddings
针对RAG应用中检索机制准确性瓶颈及多相关主题文档检索性能不佳问题,提出融合文档主题信息的文本向量化新方法,在RAG场景下评估该方法并讨论相关的RAG系统评估挑战。
2024-08-19 cs.IR
Sparse Meets Dense: A Hybrid Approach to Enhance Scientific Document Retrieval
本文针对科学文档检索问题,提出结合传统稀疏词袋向量与基于大型语言模型的密集嵌入的混合检索方法,在囊性纤维化医学基准上实验证明该混合模型显著优于单一方法。
2024-01-08 cs.IR
More Robust Dense Retrieval with Contrastive Dual Learning
稠密检索在嵌入空间进行文本检索,与稀疏检索相比具有许多优点。现有的密集检索器通过对比训练优化查询和文档的表示,并将其映射到嵌入空间。通过对齐匹配的查询-文档对并将否定文档推离查询来优化嵌入空间。然而,在这样的训练范例中,查询仅被优化为与文档对齐并且被粗略地定位,从而导致各向异性的查询嵌入空间。在本文中,我们分析了嵌入空间分布,并提出了一个有效的训练范式,对比对偶学习近似最近邻(DANCE)学习细粒度的查询表示稠密检索。DANCE结合了一个额外的双重训练对象的查询检索,灵感来自经典的信息检索训练公理,查询可能性。通过对比学习,DANCE的双训练对象学习查询和文档的更定制的表示,以保持嵌入空间的平滑和均匀,在MS MARCO文档检索任务上的DANCE排名性能上蓬勃发展。与仅对文档检索任务进行优化的ANCE不同,DANCE将查询嵌入集中在更接近文档表示的位置,同时使文档分布更具区分性。这种集中的查询嵌入分布为查询分配了更均匀的负采样概率,并有助于充分优化查询检索任务中的查询表示。我们的代码在https://github.com/thunlp/DANCE上发布。
2021-07-16 cs.IR
Tools are under-documented: Simple Document Expansion Boosts Tool Retrieval
Shanghai Jiao Tong University(上海交通大学);Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative(宁波空间智能与数字孪生重点实验室);Institute of Digital Twin, Eastern Institute of Technology, Ningbo(宁波东方理工大学数字孪生研究所)
针对工具文档不完整的问题,提出Tool-DE基准与框架,通过LLM驱动的文档扩展和专用模型Tool-Embed与Tool-Rank,显著提升工具检索性能,达到新最先进水平。
2025-10-26 cs.IR
A Markov Random Field Topic Space Model for Document Retrieval
本文提出了一种新的智能文档检索的统计方法。它试图提供一个更结构化和可扩展的数学方法,在流行的潜在语义分析(LSA)的方法来文档索引的术语泛化。一个马尔可夫随机场(MRF),捕获的条款和文件之间的关系作为随机变量之间的概率依赖假设。从那里,它使用MRF-Gibbs等价推导出联合概率以及文档变量的局部概率。提出了一种参数学习方法,该方法利用秩约简和奇异值分解,将文档-术语关系的维度降低到潜在主题空间的维度。实验结果证实了这种方法的能力,有效地和高效地从大量的数据集检索文档。
2011-11-28 cs.IR
Local Self-Attention over Long Text for Efficient Document Retrieval
神经网络,特别是基于transformer的架构,在几个检索基准上取得了显着的性能改进。当被检索的项目是文档时,在整个文档术语序列上使用Transformers的时间和存储器成本可能是过高的。一个流行的策略是只考虑文档的前n个项。然而,这可能导致系统有偏见,无法检索较长的文档。在这项工作中,我们提出了一个本地的自我注意力,认为一个移动窗口的文件条款,并为每个条款只出席其他条款在同一个窗口。这种局部注意力引起的计算和内存成本是整个文档的一小部分。窗口化方法还导致在小批量中更紧凑地打包填充的文档,从而导致额外的节省。我们还采用了一个学习的饱和度函数和两阶段池化策略来识别文档的相关区域。具有这些变化的Transformer-Kernel池模型可以有效地从具有数千个标记的文档中提取相关信息。我们对TREC 2019深度学习跟踪的文档排序任务进行了基准测试,并观察到检索质量的显着改善以及在计算和内存成本适度增加的情况下增加了对较长文档的检索。
2020-05-11 cs.IR
Utilizing Embeddings for Ad-hoc Retrieval by Document-to-document Similarity
词或段落的潜在语义表示,即嵌入,在信息检索中有着广泛的应用。利用嵌入进行检索的常用方法之一是估计嵌入中的文档到查询(D2 Q)相似度。由于具有相似句法用法的词通常在嵌入空间中彼此非常接近,尽管它们在语义上不相似,D2 Q相似性方法可能遭受“多个相似度”的问题。为此,本文提出了一种新的方法,估计一个语义相关性得分(SEM)的基础上文档到文档(D2 D)的相似性嵌入。由于Word或Para 2 Vec通过单词/段落的上下文生成嵌入,因此D2 D相似性方法将文档排序的任务转变为对不同文档内的内容之间的相似性的估计。在标准TREC测试集上的实验结果表明,我们提出的方法优于强基线。
2017-08-10 cs.IR
Dual Skipping Guidance for Document Retrieval with Learned Sparse Representations
本文提出了一种双跳转指导计划与混合评分,以加速文档检索,使用学习稀疏表示,同时仍然提供了良好的相关性。该方案使用词汇BM 25和学习的神经项权重来分别绑定和组合候选文档的排名得分,以用于跳过和最终排名,并在倒排索引遍历期间保持两个top-k阈值。本文评估的时间效率和排名的相关性所提出的计划在搜索MS MARCO TREC数据集。
2022-04-23 cs.IR
Two-Stage Document Length Normalization for Information Retrieval
词频规范化的标准方法仅基于文档长度。然而,它并没有区分冗长和范围,这是决定文件长度的两个主要因素。由于冗长和范围对词频的增加有很大不同的影响,标准方法很容易受到不足或过度惩罚,这取决于长文档的具体类型。为了克服这些问题,本文提出了两个阶段的规范化分别执行冗长和范围规范化,并采用不同的惩罚函数。在冗长度规范化中,通过将术语频率除以文档的冗长度来预规范化每个文档。在范围规范化中,现有的检索模型以直接的方式应用于预规范化的文档,最后导致我们制定我们提出的冗长规范化(VN)检索模型。标准TREC集合上进行的实验结果表明,VN模型导致边际,但统计上显着的改进,标准的检索模型。
2015-02-15 cs.IR
Scalable and Effective Generative Information Retrieval
本文提出RIPOR优化框架,通过前缀导向排序和基于关联性的文档ID构建,首次实现生成式检索在大规模基准上的有效训练,大幅超越现有生成式模型并媲美稠密检索。
2023-11-15 cs.IR
CHaystack: Benchmarking Chinese Document Retrieval and VQA
Sichuan University(四川大学)
本文介绍了CHaystack中文文档检索与视觉问答基准测试,涵盖四类文档。提出CDocRAG系统,用VLM相关性过滤器验证文档图像。评估开源模型发现Qwen系列在文本丰富文档表现佳,中文大规模DocumentVQA在文本编码方面有挑战,仍需改进。
2026-07-29 cs.IR
UniFAR: A Unified Facet-Aware Retrieval Framework for Scientific Documents
School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机学院);School of Artificial Intelligence, Beihang University(北京航空航天大学人工智能学院)
UniFAR提出一种统一的面向面检索框架,通过自适应多粒度聚合、可学习的面向锚点和联合训练,有效解决文档与问题驱动检索之间的不匹配问题,提升科学文档检索性能。
2026-09-01 cs.IR
Unsupervised Document Expansion for Information Retrieval with Stochastic Text Generation
信息检索面临的挑战之一是词汇不匹配问题,这是指查询词和文档之间的词在词汇上不同但在语义上相似。虽然最近的工作已经提出了扩展查询或文档,丰富他们的表示与额外的相关条款,以解决这一挑战,他们通常需要大量的查询文档对训练的扩展模型。在本文中,我们提出了一个无监督的文档扩展与生成(UDEG)框架与预训练的语言模型,生成不同的补充句子的原始文档,而不使用标签的查询文档对进行训练。为了生成句子,我们进一步随机扰动它们的嵌入,以生成更多样化的句子用于文档扩展。我们验证我们的框架上的两个标准的IR基准数据集。结果表明,我们的框架显着优于相关的扩展基线IR。
2021-10-14 cs.IR
Representation Sparsification with Hybrid Thresholding for Fast SPLADE-based Document Retrieval
本文提出一种结合硬/软阈值与倒排索引近似的混合阈值化表示稀疏化方法,以加速SPLADE文档检索,并通过分析和实验验证其效果。
2023-06-20 cs.IR
Document Retrieval for Large Scale Content Analysis using Contextualized Dictionaries
本文提出了一个过程,检索相关文件的子集,从大型文本集的内容分析,例如在社会科学。为此目的的文献检索需要考虑到这样一个事实,即分析师往往不能用一小部分关键术语来描述他们的研究目标,特别是在处理理论或相当抽象的研究兴趣时。相反,定义一组反映感兴趣的主题以及有针对性的演讲方式的范例文档要容易得多。因此,与经典的信息检索任务相比,我们采用手动编译的参考文档集合来组成数百个关键词的大型查询,称为字典。我们通过主题模型提取字典,并使用参考集合中的同现数据。评价表明,该程序提高了检索结果,为此目的相比,替代方法的关键词提取以及忽略同现数据。
2017-07-11 cs.IR
Why These Documents? Explainable Generative Retrieval with Hierarchical Category Paths
Yonsei University(延世大学);Korea University(高丽大学)
HyPE通过生成层次类别路径提升生成检索的可解释性,通过外部高质量语义层级构建路径并优化模型,提高检索性能和解释性。
2026-04-12 cs.IR
A Survey of Multimodal Composite Editing and Retrieval
Chongqing University(重庆大学);Hong Kong University of Science and Technology(香港科技大学)
该综述首次全面梳理多模态复合编辑与检索领域,涵盖相关场景、方法、基准等内容,补充了现有多模态融合综述的空白,并提供项目页面供研究者追踪领域进展。
2024-09-11 cs.AI cs.CV cs.IR
Generalized Ensemble Model for Document Ranking in Information Retrieval
提出了一种用于文档排序的广义集成模型(gEnM)。gEnM线性地组合基础文档检索模型,并尝试在高位检索相关文档。为了获得多个文档检索模型或排序器的最优线性组合,通过直接最大化平均精度来制定优化程序。提出了有监督学习和无监督学习两种算法来求解该问题。对于有监督的方案,考虑了两种方法的基础上的数据设置,即批量和在线设置。在批量设置中,我们提出了一个修正的牛顿算法,gEnM.BAT,通过近似的导数和海森矩阵。在在线环境中,我们提出了一个基于随机梯度下降(SGD)的算法-gEnM. ON。对于无监督的计划,一个无监督的集成模型(UnsEnM),从每个组成的排名迭代共同学习。在基准数据集上的实验研究验证了所提算法的有效性。因此,通过适当的算法,gEnM在不同的实际信息检索应用中是可行的选择。
2017-02-01 cs.IR
PromptReps: Prompting Large Language Models to Generate Dense and Sparse Representations for Zero-Shot Document Retrieval
本文提出 PromptReps,通过提示大语言模型生成稠密与稀疏混合表示,无需训练即可实现零样本文档检索,并在多个基准上取得与有监督嵌入方法相当或更优的效果。
2024-10-19 cs.IR
Optimizing Retrieval Strategies for Financial Question Answering Documents in Retrieval-Augmented Generation Systems
针对金融领域文档检索难题,研究提出三阶段端到端RAG流水线,通过预处理、领域微调混合检索、后检索优化,在7个金融问答数据集上显著提升检索与生成效果,为金融RAG应用提供可复现方案。
2025-03-19 cs.IR
Simplified Longitudinal Retrieval Experiments: A Case Study on Query Expansion and Document Boosting
TH Köln - University of Applied Sciences, Cologne, Germany(科隆应用技术大学);Friedrich-Schiller-Universität Jena(耶拿弗里德里希·席勒大学);Radboud Universiteit Nijmegen(奈梅亨拉德堡德大学);University of Kassel(卡塞尔大学)
本文针对纵向检索评估缺少时间维度且自定义逻辑复杂的问题,基于LongEval 2024提出ir_datasets声明式扩展,以简化实验代码并提升可复现性与可扩展性。
2025-09-22 cs.IR
PAGE-RAG: Evidence-Grounded Adaptive Graph Retrieval for Long-Document Question Answering
Chengdu University of Information Technology(成都信息工程大学);Beihang University(北京航空航天大学)
针对长文档问答,GraphRAG虽有改进但自动构建图有缺陷。为此提出PAGE-RAG框架,将图结构视为语义骨架,引入任务自适应检索路由策略及知识边界控制,实验表明其提升了检索效率、知识可靠性与答案质量。
2026-07-22 cs.IR
Learning to Tokenize for Generative Retrieval
针对生成式检索中文档标识符定义困难的问题,提出基于离散自编码的端到端分词学习方法GenRet,通过分词、重建和检索模型及渐进式训练生成语义docid,在多个数据集上取得SOTA并展现强泛化能力。
2023-04-09 cs.IR
DocPC: Document-Level Visual Retrieval via Representative Page Composition
East China Normal University(华东师范大学);Matter Innovation Inc.(墨天轮创新);UC Berkeley(加州大学伯克利分校);New York University(纽约大学)
针对现有视觉文档检索以页面为中心的问题,提出DocPC框架,通过组合代表性页面实现文档级索引,在DocViRe基准上性能优于最强页面级基线且存储成本大幅降低。
2026-08-31 cs.IR
Leveraging Semantic and Lexical Matching to Improve the Recall of Document Retrieval Systems: A Hybrid Approach
搜索引擎通常遵循两阶段范例,其中在第一阶段(检索阶段)中检索初始文档集,并且在第二阶段(重新排序阶段)中对文档进行重新排序以获得最终结果列表。虽然深度神经网络在以前的工作中被证明可以提高重新排序阶段的性能,但是很少有文献关于使用深度神经网络来提高检索阶段。在本文中,我们研究了深度神经网络模型和词汇模型相结合的检索阶段的优点。提出了一种利用语义(基于深度神经网络)和词汇(基于关键字匹配)检索模型的混合方法。我们进行了实证研究,使用公开的TREC集合,这表明了我们的方法的有效性,并揭示了语义方法,词汇方法,以及它们的组合的不同特点。
2020-10-02 cs.IR
Bullseye: Structured Passage Retrieval and Document Highlighting for Scholarly Search
我们提出了用于学术搜索的靶心系统。给定一组研究论文,Bullseye:1)使用任何现成的算法识别相关段落; 2)自动检测文档结构并将检索到的段落限制在用户指定的部分; 3)突出显示检索到的每个PDF文档的这些段落。我们从三个方面评估靶心:系统有效性,用户有效性和用户努力。在一个系统盲评价中,用户被要求比较使用靶心与基线,忽略文件结构的段落检索,关于四种类型的分级评估。结果表明,系统的有效性略有改善,而用户的有效性和用户的努力表现出显着的改善。用户还报告说,在这两个系统中,学术搜索中对段落突出显示的需求非常强烈。
2014-06-07 cs.IR
PDMR: Passage-Driven Multi-ID Document Retrieval
Institut de Recherche en Informatique de Toulouse (IRIT)(图卢兹信息学研究所)
PDMR提出段落驱动的多标识生成式检索框架,通过为文档多个段落分配标识符实现多入口表示,并在NQ320K和MS MARCO Document上取得领先性能。
2026-09-09 cs.IR
LANGSAE EDITING: Improving Multilingual Information Retrieval via Post-hoc Language Identity Removal
Department of Computer Science and Engineering, Korea University(韩国大学计算机科学与工程系);School of Software, Soongsil University(顺天大学软件学院)
LANGSAE 编辑通过事后移除语言身份信号,提升多语言信息检索的排名质量和跨语言覆盖性。
2026-01-08 cs.CL cs.IR
Automatic Construction of Evaluation Sets and Evaluation of Document Similarity Models in Large Scholarly Retrieval Systems
学术文献检索系统为科学界提供了搜索、探索和下载跨各种科学学科的学术文章的能力。这些系统主要由特定领域的专家使用,包含用户社区日志,包括用户特定下载文章的信息。在本文中,我们提出了一种新的方法,自动评估文档相似性模型在大量的学术出版物。与使用由查询文档和人类注释的相关性判断组成的测试集合的典型评估设置不同,我们使用下载日志来自动生成类似文档对的伪相关集。更具体地说,我们表明,连续下载的文件对,从学术信息检索(IR)系统中提取,可以用作测试集合,用于评估文档相似性模型。我们的方法的另一个新颖的方面在于,我们采用的方法,通过比较连续下载的文档对和随机文档对在日志空间中的分布来评估模型的性能。在两个家族的相似性模型,表示文档的术语向量和主题空间,我们表明,我们的评估方法实现了非常高的相关性与传统的性能指标,如平均平均精度(MAP),同时更有效地计算。
2016-01-07 cs.IR
A Survey of Long-Document Retrieval in the PLM and LLM Era
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);Center for Information and Language Processing (CIS), LMU Munich(慕尼黑大学信息与语言处理中心);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本综述首次系统梳理长文档检索在PLM与LLM时代的方法演进、应用与开放挑战,涵盖段落聚合、层次编码及LLM重排序等关键技术,旨在提供综合参考与未来研究议程。
2025-10-25 cs.IR
Beyond Chunk-Then-Embed: A Comprehensive Taxonomy and Evaluation of Document Chunking Strategies for Information Retrieval
The University of Queensland(昆士兰大学);CSIRO(联邦科学与工业研究组织);Google(谷歌)
本文研究了文档片段化策略在信息检索中的分类与评估,发现任务依赖性和分段方法差异影响效果,提出统一框架并提供公开基准。
2026-02-19 cs.IR
An Axiomatic Study of Query Terms Order in Ad-hoc Retrieval
经典的检索方法使用简单的词袋表示查询和文档。这种表示无法捕捉查询和文档的全部语义丰富性。最近的检索模型试图克服这一缺陷,通过使用的方法,如将查询条件之间的依赖关系,使用双元语法表示的文件,邻近检索,并通过检索。虽然这些以前的作品中的一些已经隐含地考虑了术语顺序,但据我们所知,术语顺序并不是任何研究的主要焦点。在本文中,我们只关注在信息检索的术语顺序的效果。我们将证明,在查询中有两个相同顺序的查询词的文档比有两个相反顺序的查询词的文档具有更高的相关概率。使用信息检索的公理化框架,我们引入了一个约束,检索模型必须遵守,以有效地利用查询条件之间的术语顺序依赖。我们修改现有的检索模型,基于这个约束条件,以便如果一对查询条件的顺序是语义上重要的,一个文件,包括这些查询条件在相同的顺序作为查询应该得到更高的分数相比,包括它们在相反的顺序的文件。我们使用TREC新闻专线和网络语料库的实证评估表明,修改后的检索模型显着优于原来的同行。
2018-11-08 cs.IR
Document Retrieval on Repetitive String Collections
当今增长最快的字符串集合大多是重复的,也就是说,大多数组成文档与许多其他文档相似。随着这些集合的不断增长,处理它们的一个关键方法是利用它们的重复性,这可以将它们的空间使用减少几个数量级。我们研究的问题,索引重复的字符串集合,以执行有效的文件检索操作。文档检索问题通常由搜索引擎在大的自然语言集合上解决,但在通用字符串集合上的技术发展较少。重复字符串集合的情况更不被理解,并且现有的解决方案很少。我们开发了两个新的想法,{ \em交织的LCP}和{ \em预计算的文档列表},产生高度压缩的索引解决的问题,文档列表(找到所有的文件中出现的字符串),顶部- $k$文档检索(找到$k$文档中出现的字符串最频繁),和文档计数(计算的文件中出现的字符串的数量)。我们还表明,一个经典的数据结构,支持后者的查询变得高度可压缩的重复数据。最后,我们展示了如何结合我们开发的工具来解决简单的tf-idf相关性模型下的排名合取和析取多项查询。我们在各种现实生活中的重复性场景中彻底评估所产生的技术,并为每种情况推荐最佳选择。
2017-05-18 cs.IR
GRM: Generative Relevance Modeling Using Relevance-Aware Sample Estimation for Document Retrieval
针对大语言模型生成式查询扩展易产生无关信息损害检索效果的问题,提出采用相关性感知样本估计的生成式相关性建模GRM,通过匹配真实文档与神经重排估计相关性以优化扩展词权重,在三个基准上显著提升检索性能。
2023-06-16 cs.IR
PCA-Based Relevance Feedback in Document Image Retrieval
相关反馈作为提高信息检索系统性能的一种有效方法,近年来得到了广泛的研究。相关反馈是指一种有助于提高检索性能的交互过程。在本文中,我们提出了使用相关反馈,以提高文档图像检索系统(DIRS)的性能。本文比较了各种积极反馈和消极反馈的策略。此外,特征子空间提取和更新过程中使用主成分分析(PCA)技术和用户的反馈。也就是说,除了降低特征空间的维数之外,在反馈过程中获得每种类型的特征的适当子空间,以进一步提高检索精度。实验结果表明,在训练中使用相关反馈比普通训练获得了更好的性能。
2012-09-11 cs.IR
AttentionRetriever: Attention Layers are Secretly Long Document Retrievers
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
AttentionRetriever通过结合注意力机制和实体检索,实现高效长文档检索,优于现有方法并保持高效性能。
2026-02-12 cs.AI cs.IR
Topic-Grained Text Representation-based Model for Document Retrieval
National University of Defense Technology(国防科技大学)
文档检索使用户能够准确、快速地找到所需的文档。为了满足检索效率的要求,流行的深度神经方法采用基于表示的匹配范式,通过离线预存储文档表示来节省在线匹配时间。然而,上面的范例消耗了大量的本地存储空间,特别是当将文档存储为单词粒度的表示时。为了解决这个问题,我们提出了TGTR,一个主题粒度的文本表示为基础的文档检索模型。TGTR采用基于表示的匹配模式,离线存储文档表示以保证检索效率,而采用新颖的主题粒度表示而不是传统的词粒度表示,大大降低了存储需求。实验结果表明,与词粒度基线相比,TGTR在检索准确率方面始终与TREC CAR和MS MARCO竞争,但它所需的存储空间不到它们所需的1/10。此外,TGTR在检索精度方面压倒性地超过了全球粒度基线。
2022-07-11 cs.CL cs.IR
ICICLE: Expanding Retrieval with In-Context Documents
National Taiwan University(台湾大学);Johns Hopkins University(约翰霍普金斯大学)
提出ICICLE框架,通过上下文文档的docid生成实现增量式生成检索,避免重新训练和灾难性遗忘。
2026-08-20 cs.AI cs.IR
Fine-Grained Distillation for Long Document Retrieval
University of Technology Sydney(悉尼科技大学);Microsoft Corporation(微软公司)
长文档检索的目标是从大规模的集合中获取查询相关的文档,其中知识蒸馏已经成为事实上通过模仿异构但功能强大的交叉编码器来改进检索器。然而,与段落或句子相反,长文档的检索受到范围假设的影响,即长文档可能涵盖多个主题。这使它们的结构异质性最大化,并造成颗粒失配问题,导致较差的蒸馏效率。在这项工作中,我们提出了一个新的学习框架,细粒度蒸馏(FGD),长文档检索。在保持传统的稠密检索范式的同时,它首先产生跨不同细粒度的全局一致表示,然后仅在训练期间应用多粒度对齐蒸馏。在实验中,我们评估我们的框架上的两个长文档检索基准,这表明国家的最先进的性能。
2022-12-20 cs.CL cs.IR
SeDR: Segment Representation Learning for Long Documents Dense Retrieval
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室)
最近,稠密检索(DR)已成为一个很有前途的解决方案,文档检索,其中的文档表示是用来执行有效和高效的语义搜索。然而,由于其基于transformer的编码器的二次复杂度和低维嵌入的有限容量,DR在长文档上仍然具有挑战性。目前的DR模型使用次优策略,如截断或拆分和池长文档,导致整个文档信息的利用率很低。在这项工作中,为了解决这个问题,我们提出了段表示学习的长文档稠密检索(SeDR)。在SeDR中,Segment-Interaction Transformer被提出用于将长文档编码为文档感知和片段敏感的表示,同时它保持了拆分和池化的复杂性,并优于DR上的其他片段交互模式。由于长文档编码的GPU内存需求导致DR训练的负性不足,因此进一步提出了Late-Cache Negative,以提供额外的缓存负性,用于优化表示学习。在MS MARCO和TREC-DL数据集上的实验表明,SeDR在DR模型中取得了更优越的性能,并证实了SeDR在长文档检索上的有效性。
2022-11-20 cs.CL cs.IR
Spaces, Trees and Colors: The Algorithmic Landscape of Document Retrieval on Sequences
文档检索是六十年代以来最成熟的信息检索活动之一,遍及所有搜索引擎。它的目的是从文本文档的集合中获取与模式查询最相关的文本文档。当前技术主要面向“自然语言“文本集合,其中倒排索引是优选的解决方案。尽管这种范式取得了成功,但它未能正确处理某些东亚语言和其他“自然语言“假设不成立的情况。在这次调查中,我们涵盖了最近的研究,在扩展的文件检索技术,以更广泛的一类序列集合,它有应用生物信息学,数据和Web挖掘,化学信息学,软件工程,多媒体信息检索,和许多其他。我们专注于算法方面的技术,揭示了丰富的世界之间的关系,文件检索的挑战和基本问题的树,字符串,范围查询,离散几何,和其他。
2013-09-27 cs.DS cs.IR
Cross-Lingual Document Retrieval with Smooth Learning
Purdue University(普渡大学)
跨语言文档搜索是一种查询语言与文档语言不同的信息检索任务。在本文中,我们研究了神经文档搜索模型的不稳定性,并提出了一种新的端到端鲁棒框架,该框架在不同文档语言的跨语言搜索中实现了更好的性能。该框架包括一个新的措施的相关性,平滑余弦相似性,查询和文档之间,和一个新的损失函数,平滑有序搜索损失,作为目标。进一步为该框架的泛化误差界提供了理论保证。我们进行实验,比较我们的方法与其他文档搜索模型,并观察到显着的收益下常用的排名指标在各种语言的跨语言文档检索任务。
2020-11-02 cs.IR cs.LG
Cross-Lingual Training with Dense Retrieval for Document Retrieval
David R. Cheriton School of Computer Science, University of Waterloo(滑铁卢大学戴维·R·切里顿计算机科学学院);Department of Computer Science and Engineering, Penn State University(宾夕法尼亚州立大学计算机科学与工程系)
稠密检索在英语文章排序中取得了巨大的成功。然而,由于培训资源的限制,它在非英语语言的文献检索的有效性仍然没有探索。在这项工作中,我们将探讨不同的传输技术,文档排序从英语注释到多种非英语语言。我们的测试集合上的六种语言(中文,阿拉伯语,法语,印地语,孟加拉语,西班牙语)从不同的语言家庭的实验表明,zero-shot基于模型的转移使用mBERT提高搜索质量在非英语单语言检索。此外,我们发现,弱监督的目标语言传输产生竞争力的性能对基于生成的目标语言传输,需要外部翻译和查询生成器。
2021-09-03 cs.CL cs.IR