Improving BERT-based Query-by-Document Retrieval with Multi-Task Optimization
按文档查询（QBD）检索是一种信息检索任务，其中种子文档充当查询，目标是检索相关文档--它在专业搜索任务中特别常见。在这项工作中，我们提高了检索效率的BERT重新排名，提出了一个扩展的微调步骤，以更好地利用查询的上下文。为此，我们在微调BERT重排序器时，除了排序目标之外，还使用了一个额外的文档级表示学习目标。在两个QBD检索基准上的实验表明，所提出的多任务优化方法在不改变BERT重排序器或使用额外训练样本的情况下，显著提高了排序效率.在未来的工作中，我们的方法的推广到其他检索任务应进一步调查。
2022-05-23 cs.IR
Unifying Multimodal Retrieval via Document Screenshot Embedding
针对传统多模态文档检索需定制解析、易出错且信息丢失的问题，提出文档截图嵌入（DSE）范式，直接用视觉-语言模型编码文档截图，在文本密集和混合模态任务中均优于传统方法，还构建了Wiki-SS数据集并将开放资源。
2024-12-02 cs.IR
Auto Search Indexer for End-to-End Document Retrieval
本文提出 Auto Search Indexer（ASI），通过语义索引模块自动学习文档标识符，并结合编码器-解码器生成模型，实现完全端到端的文档检索，在公开和工业数据集上优于现有基线，并能有效处理新文档。
2023-10-30 cs.IR
Hubness Reduction with Dual Bank Sinkhorn Normalization for Cross-Modal Retrieval
针对跨模态检索中的hubness问题，本文提出双库Sinkhorn归一化方法，通过同时平衡查询与目标概率、缩小分布差距提升检索性能，在多类跨模态检索任务上均取得稳定效果。
2025-08-04 cs.IR
Modelling Word Burstiness in Natural Language: A Generalised Polya Process for Document Language Models in Information Retrieval
我们介绍了一个广义的多变量Polya过程的文档语言建模。这里概述的框架概括了在信息检索中用于建模文档生成的一些统计语言模型。特别是，我们表明，替换矩阵M的选择最终定义的随机过程的类型，因此定义了一个特定类型的文档语言模型。我们表明，一般模型的一个特定的变体是有用的建模术语特定的突发性。此外，通过实验，我们表明，这种变体显着提高检索效率在一个强大的基线上的一些小的测试集合。
2017-08-20 cs.IR
DOGR: Leveraging Document-Oriented Contrastive Learning in Generative Retrieval
针对生成式检索无法直接表示查询与文档相关性的问题，本文提出DOGR框架，通过面向文档的对比学习和两阶段策略增强语义表示学习，在两个基准数据集上取得SOTA性能且对常见标识符构建技术通用有效。
2025-02-12 cs.IR
A Neural Passage Model for Ad-hoc Document Retrieval
传统的统计检索模型往往把每个文档作为一个整体来处理。然而，在许多情况下，文档与查询相关只是因为它的一小部分包含目标信息。在这项工作中，我们提出了一个神经通道模型（NPM），该模型使用通道级信息来提高临时检索的性能。我们的模型不是使用单个窗口来提取段落，而是在训练过程中自动学习对不同粒度的段落进行加权。我们表明，之前研究中基于段落的文档排序范式可以直接源自我们的神经框架。此外，我们对TREC集合的实验表明，NPM可以显着优于现有的基于XML的检索模型。
2021-03-16 cs.IR
Explicitly Integrating Judgment Prediction with Legal Document Retrieval: A Law-Guided Generative Approach
针对现有法律检索未显式结合判决预测导致准确率低、透明度不足的问题，提出法律引导的生成式检索方法GEAR，以序列到序列方式显式整合两类任务，在多个数据集上取得更优效果与鲁棒性。
2024-04-15 cs.IR
Structural Segmentation for Brazilian Legal Document Retrieval
Câmara dos Deputados（众议院）；Senado Federal（联邦参议院）；Faculdade de Engenharia Elétrica e da Computação, Universidade Estadual de Campinas (UNICAMP)（坎皮纳斯州立大学电气与计算机工程学院）；Centro de Ciências e Tecnologia, Universidade Federal do Cariri (UFCA)（卡拉里联邦大学科学与技术中心）
本研究提出用结构分割策略将巴西法律文档拆分为核心块，实验显示该策略可提升密集检索效果，补充元数据的核心块能获得相当或更优结果。
2026-10-13 cs.IR
Enhanced document retrieval with topic embeddings
针对RAG应用中检索机制准确性瓶颈及多相关主题文档检索性能不佳问题，提出融合文档主题信息的文本向量化新方法，在RAG场景下评估该方法并讨论相关的RAG系统评估挑战。
2024-08-19 cs.IR
Sparse Meets Dense: A Hybrid Approach to Enhance Scientific Document Retrieval
本文针对科学文档检索问题，提出结合传统稀疏词袋向量与基于大型语言模型的密集嵌入的混合检索方法，在囊性纤维化医学基准上实验证明该混合模型显著优于单一方法。
2024-01-08 cs.IR
More Robust Dense Retrieval with Contrastive Dual Learning
稠密检索在嵌入空间进行文本检索，与稀疏检索相比具有许多优点。现有的密集检索器通过对比训练优化查询和文档的表示，并将其映射到嵌入空间。通过对齐匹配的查询-文档对并将否定文档推离查询来优化嵌入空间。然而，在这样的训练范例中，查询仅被优化为与文档对齐并且被粗略地定位，从而导致各向异性的查询嵌入空间。在本文中，我们分析了嵌入空间分布，并提出了一个有效的训练范式，对比对偶学习近似最近邻（DANCE）学习细粒度的查询表示稠密检索。DANCE结合了一个额外的双重训练对象的查询检索，灵感来自经典的信息检索训练公理，查询可能性。通过对比学习，DANCE的双训练对象学习查询和文档的更定制的表示，以保持嵌入空间的平滑和均匀，在MS MARCO文档检索任务上的DANCE排名性能上蓬勃发展。与仅对文档检索任务进行优化的ANCE不同，DANCE将查询嵌入集中在更接近文档表示的位置，同时使文档分布更具区分性。这种集中的查询嵌入分布为查询分配了更均匀的负采样概率，并有助于充分优化查询检索任务中的查询表示。我们的代码在https://github.com/thunlp/DANCE上发布。
2021-07-16 cs.IR
Tools are under-documented: Simple Document Expansion Boosts Tool Retrieval
针对工具文档不完整的问题，提出Tool-DE基准与框架，通过LLM驱动的文档扩展和专用模型Tool-Embed与Tool-Rank，显著提升工具检索性能，达到新最先进水平。
2025-10-26 cs.IR
A Markov Random Field Topic Space Model for Document Retrieval
本文提出了一种新的智能文档检索的统计方法。它试图提供一个更结构化和可扩展的数学方法，在流行的潜在语义分析（LSA）的方法来文档索引的术语泛化。一个马尔可夫随机场（MRF），捕获的条款和文件之间的关系作为随机变量之间的概率依赖假设。从那里，它使用MRF-Gibbs等价推导出联合概率以及文档变量的局部概率。提出了一种参数学习方法，该方法利用秩约简和奇异值分解，将文档-术语关系的维度降低到潜在主题空间的维度。实验结果证实了这种方法的能力，有效地和高效地从大量的数据集检索文档。
2011-11-28 cs.IR
Improving Term Frequency Normalization for Multi-topical Documents, and Application to Language Modeling Approaches
POSTECH（浦项科技大学）；KISTI（韩国科学技术信息研究院）
由于文档的长度不同，词频规范化是一个严重的问题。通常，文档变长是由于两个不同的原因-冗长和多主题。首先，冗长意味着同一主题被与该主题相关的术语重复提及，因此术语频率比概括良好的术语频率更高。第二，多主题性表明一份文件对多个主题进行了广泛的讨论，而不是单一主题。虽然这些文件的特点，应该有不同的处理，所有以前的方法的词频规范化忽略了这些差异，并使用了一个简化的长度驱动的方法，减少的词频只有一个文件的长度，造成不合理的惩罚。为了解决这个问题，我们提出了一种新的TF归一化方法，这是一种部分公理化的方法。首先，我们制定了两个正式的约束，检索模型应满足的文件具有冗长和多主题的特点，分别。然后，我们修改语言建模方法，以更好地满足这两个约束，并推导出新的平滑方法。实验结果表明，该方法显著提高了关键字查询的准确率，并大大提高了详细查询的平均精度。
2015-02-08 cs.CL cs.IR
Local Self-Attention over Long Text for Efficient Document Retrieval
神经网络，特别是基于transformer的架构，在几个检索基准上取得了显着的性能改进。当被检索的项目是文档时，在整个文档术语序列上使用Transformers的时间和存储器成本可能是过高的。一个流行的策略是只考虑文档的前n个项。然而，这可能导致系统有偏见，无法检索较长的文档。在这项工作中，我们提出了一个本地的自我注意力，认为一个移动窗口的文件条款，并为每个条款只出席其他条款在同一个窗口。这种局部注意力引起的计算和内存成本是整个文档的一小部分。窗口化方法还导致在小批量中更紧凑地打包填充的文档，从而导致额外的节省。我们还采用了一个学习的饱和度函数和两阶段池化策略来识别文档的相关区域。具有这些变化的Transformer-Kernel池模型可以有效地从具有数千个标记的文档中提取相关信息。我们对TREC 2019深度学习跟踪的文档排序任务进行了基准测试，并观察到检索质量的显着改善以及在计算和内存成本适度增加的情况下增加了对较长文档的检索。
2020-05-11 cs.IR
Utilizing Embeddings for Ad-hoc Retrieval by Document-to-document Similarity
词或段落的潜在语义表示，即嵌入，在信息检索中有着广泛的应用。利用嵌入进行检索的常用方法之一是估计嵌入中的文档到查询（D2 Q）相似度。由于具有相似句法用法的词通常在嵌入空间中彼此非常接近，尽管它们在语义上不相似，D2 Q相似性方法可能遭受“多个相似度”的问题。为此，本文提出了一种新的方法，估计一个语义相关性得分（SEM）的基础上文档到文档（D2 D）的相似性嵌入。由于Word或Para 2 Vec通过单词/段落的上下文生成嵌入，因此D2 D相似性方法将文档排序的任务转变为对不同文档内的内容之间的相似性的估计。在标准TREC测试集上的实验结果表明，我们提出的方法优于强基线。
2017-08-10 cs.IR
Dual Skipping Guidance for Document Retrieval with Learned Sparse Representations
本文提出了一种双跳转指导计划与混合评分，以加速文档检索，使用学习稀疏表示，同时仍然提供了良好的相关性。该方案使用词汇BM 25和学习的神经项权重来分别绑定和组合候选文档的排名得分，以用于跳过和最终排名，并在倒排索引遍历期间保持两个top-k阈值。本文评估的时间效率和排名的相关性所提出的计划在搜索MS MARCO TREC数据集。
2022-04-23 cs.IR
Scalable and Effective Generative Information Retrieval
本文提出RIPOR优化框架，通过前缀导向排序和基于关联性的文档ID构建，首次实现生成式检索在大规模基准上的有效训练，大幅超越现有生成式模型并媲美稠密检索。
2023-11-15 cs.IR
CHaystack: Benchmarking Chinese Document Retrieval and VQA
Sichuan University（四川大学）
本文介绍了CHaystack中文文档检索与视觉问答基准测试，涵盖四类文档。提出CDocRAG系统，用VLM相关性过滤器验证文档图像。评估开源模型发现Qwen系列在文本丰富文档表现佳，中文大规模DocumentVQA在文本编码方面有挑战，仍需改进。
2026-07-29 cs.IR
UniFAR: A Unified Facet-Aware Retrieval Framework for Scientific Documents
School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机学院）；School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院）
UniFAR提出一种统一的面向面检索框架，通过自适应多粒度聚合、可学习的面向锚点和联合训练，有效解决文档与问题驱动检索之间的不匹配问题，提升科学文档检索性能。
2026-09-01 cs.IR
Unsupervised Document Expansion for Information Retrieval with Stochastic Text Generation
信息检索面临的挑战之一是词汇不匹配问题，这是指查询词和文档之间的词在词汇上不同但在语义上相似。虽然最近的工作已经提出了扩展查询或文档，丰富他们的表示与额外的相关条款，以解决这一挑战，他们通常需要大量的查询文档对训练的扩展模型。在本文中，我们提出了一个无监督的文档扩展与生成（UDEG）框架与预训练的语言模型，生成不同的补充句子的原始文档，而不使用标签的查询文档对进行训练。为了生成句子，我们进一步随机扰动它们的嵌入，以生成更多样化的句子用于文档扩展。我们验证我们的框架上的两个标准的IR基准数据集。结果表明，我们的框架显着优于相关的扩展基线IR。
2021-10-14 cs.IR
Representation Sparsification with Hybrid Thresholding for Fast SPLADE-based Document Retrieval
本文提出一种结合硬/软阈值与倒排索引近似的混合阈值化表示稀疏化方法，以加速SPLADE文档检索，并通过分析和实验验证其效果。
2023-06-20 cs.IR
Document Retrieval for Large Scale Content Analysis using Contextualized Dictionaries
本文提出了一个过程，检索相关文件的子集，从大型文本集的内容分析，例如在社会科学。为此目的的文献检索需要考虑到这样一个事实，即分析师往往不能用一小部分关键术语来描述他们的研究目标，特别是在处理理论或相当抽象的研究兴趣时。相反，定义一组反映感兴趣的主题以及有针对性的演讲方式的范例文档要容易得多。因此，与经典的信息检索任务相比，我们采用手动编译的参考文档集合来组成数百个关键词的大型查询，称为字典。我们通过主题模型提取字典，并使用参考集合中的同现数据。评价表明，该程序提高了检索结果，为此目的相比，替代方法的关键词提取以及忽略同现数据。
2017-07-11 cs.IR
Why These Documents? Explainable Generative Retrieval with Hierarchical Category Paths
Yonsei University（延世大学）；Korea University（高丽大学）
HyPE通过生成层次类别路径提升生成检索的可解释性，通过外部高质量语义层级构建路径并优化模型，提高检索性能和解释性。
2026-04-12 cs.IR
Generalized Ensemble Model for Document Ranking in Information Retrieval
提出了一种用于文档排序的广义集成模型（gEnM）。gEnM线性地组合基础文档检索模型，并尝试在高位检索相关文档。为了获得多个文档检索模型或排序器的最优线性组合，通过直接最大化平均精度来制定优化程序。提出了有监督学习和无监督学习两种算法来求解该问题。对于有监督的方案，考虑了两种方法的基础上的数据设置，即批量和在线设置。在批量设置中，我们提出了一个修正的牛顿算法，gEnM.BAT，通过近似的导数和海森矩阵。在在线环境中，我们提出了一个基于随机梯度下降（SGD）的算法-gEnM. ON。对于无监督的计划，一个无监督的集成模型（UnsEnM），从每个组成的排名迭代共同学习。在基准数据集上的实验研究验证了所提算法的有效性。因此，通过适当的算法，gEnM在不同的实际信息检索应用中是可行的选择。
2017-02-01 cs.IR
PromptReps: Prompting Large Language Models to Generate Dense and Sparse Representations for Zero-Shot Document Retrieval
本文提出 PromptReps，通过提示大语言模型生成稠密与稀疏混合表示，无需训练即可实现零样本文档检索，并在多个基准上取得与有监督嵌入方法相当或更优的效果。
2024-10-19 cs.IR
Optimizing Retrieval Strategies for Financial Question Answering Documents in Retrieval-Augmented Generation Systems
针对金融领域文档检索难题，研究提出三阶段端到端RAG流水线，通过预处理、领域微调混合检索、后检索优化，在7个金融问答数据集上显著提升检索与生成效果，为金融RAG应用提供可复现方案。
2025-03-19 cs.IR
Simplified Longitudinal Retrieval Experiments: A Case Study on Query Expansion and Document Boosting
本文针对纵向检索评估缺少时间维度且自定义逻辑复杂的问题，基于LongEval 2024提出ir_datasets声明式扩展，以简化实验代码并提升可复现性与可扩展性。
2025-09-22 cs.IR
PAGE-RAG: Evidence-Grounded Adaptive Graph Retrieval for Long-Document Question Answering
Chengdu University of Information Technology（成都信息工程大学）；Beihang University（北京航空航天大学）
针对长文档问答，GraphRAG虽有改进但自动构建图有缺陷。为此提出PAGE-RAG框架，将图结构视为语义骨架，引入任务自适应检索路由策略及知识边界控制，实验表明其提升了检索效率、知识可靠性与答案质量。
2026-07-22 cs.IR
Learning to Tokenize for Generative Retrieval
针对生成式检索中文档标识符定义困难的问题，提出基于离散自编码的端到端分词学习方法GenRet，通过分词、重建和检索模型及渐进式训练生成语义docid，在多个数据集上取得SOTA并展现强泛化能力。
2023-04-09 cs.IR
DocPC: Document-Level Visual Retrieval via Representative Page Composition
East China Normal University（华东师范大学）；Matter Innovation Inc.（墨天轮创新）；UC Berkeley（加州大学伯克利分校）；New York University（纽约大学）
针对现有视觉文档检索以页面为中心的问题，提出DocPC框架，通过组合代表性页面实现文档级索引，在DocViRe基准上性能优于最强页面级基线且存储成本大幅降低。
2026-08-31 cs.IR
Leveraging Semantic and Lexical Matching to Improve the Recall of Document Retrieval Systems: A Hybrid Approach
搜索引擎通常遵循两阶段范例，其中在第一阶段（检索阶段）中检索初始文档集，并且在第二阶段（重新排序阶段）中对文档进行重新排序以获得最终结果列表。虽然深度神经网络在以前的工作中被证明可以提高重新排序阶段的性能，但是很少有文献关于使用深度神经网络来提高检索阶段。在本文中，我们研究了深度神经网络模型和词汇模型相结合的检索阶段的优点。提出了一种利用语义（基于深度神经网络）和词汇（基于关键字匹配）检索模型的混合方法。我们进行了实证研究，使用公开的TREC集合，这表明了我们的方法的有效性，并揭示了语义方法，词汇方法，以及它们的组合的不同特点。
2020-10-02 cs.IR
Bullseye: Structured Passage Retrieval and Document Highlighting for Scholarly Search
我们提出了用于学术搜索的靶心系统。给定一组研究论文，Bullseye：1）使用任何现成的算法识别相关段落; 2）自动检测文档结构并将检索到的段落限制在用户指定的部分; 3）突出显示检索到的每个PDF文档的这些段落。我们从三个方面评估靶心：系统有效性，用户有效性和用户努力。在一个系统盲评价中，用户被要求比较使用靶心与基线，忽略文件结构的段落检索，关于四种类型的分级评估。结果表明，系统的有效性略有改善，而用户的有效性和用户的努力表现出显着的改善。用户还报告说，在这两个系统中，学术搜索中对段落突出显示的需求非常强烈。
2014-06-07 cs.IR
PDMR: Passage-Driven Multi-ID Document Retrieval
Institut de Recherche en Informatique de Toulouse (IRIT)（图卢兹信息学研究所）
PDMR提出段落驱动的多标识生成式检索框架，通过为文档多个段落分配标识符实现多入口表示，并在NQ320K和MS MARCO Document上取得领先性能。
2026-09-09 cs.IR
Automatic Construction of Evaluation Sets and Evaluation of Document Similarity Models in Large Scholarly Retrieval Systems
学术文献检索系统为科学界提供了搜索、探索和下载跨各种科学学科的学术文章的能力。这些系统主要由特定领域的专家使用，包含用户社区日志，包括用户特定下载文章的信息。在本文中，我们提出了一种新的方法，自动评估文档相似性模型在大量的学术出版物。与使用由查询文档和人类注释的相关性判断组成的测试集合的典型评估设置不同，我们使用下载日志来自动生成类似文档对的伪相关集。更具体地说，我们表明，连续下载的文件对，从学术信息检索（IR）系统中提取，可以用作测试集合，用于评估文档相似性模型。我们的方法的另一个新颖的方面在于，我们采用的方法，通过比较连续下载的文档对和随机文档对在日志空间中的分布来评估模型的性能。在两个家族的相似性模型，表示文档的术语向量和主题空间，我们表明，我们的评估方法实现了非常高的相关性与传统的性能指标，如平均平均精度（MAP），同时更有效地计算。
2016-01-07 cs.IR
A Survey of Long-Document Retrieval in the PLM and LLM Era
本综述首次系统梳理长文档检索在PLM与LLM时代的方法演进、应用与开放挑战，涵盖段落聚合、层次编码及LLM重排序等关键技术，旨在提供综合参考与未来研究议程。
2025-10-25 cs.IR
Beyond Chunk-Then-Embed: A Comprehensive Taxonomy and Evaluation of Document Chunking Strategies for Information Retrieval
The University of Queensland（昆士兰大学）；CSIRO（联邦科学与工业研究组织）；Google（谷歌）
本文研究了文档片段化策略在信息检索中的分类与评估，发现任务依赖性和分段方法差异影响效果，提出统一框架并提供公开基准。
2026-02-19 cs.IR
An Axiomatic Study of Query Terms Order in Ad-hoc Retrieval
经典的检索方法使用简单的词袋表示查询和文档。这种表示无法捕捉查询和文档的全部语义丰富性。最近的检索模型试图克服这一缺陷，通过使用的方法，如将查询条件之间的依赖关系，使用双元语法表示的文件，邻近检索，并通过检索。虽然这些以前的作品中的一些已经隐含地考虑了术语顺序，但据我们所知，术语顺序并不是任何研究的主要焦点。在本文中，我们只关注在信息检索的术语顺序的效果。我们将证明，在查询中有两个相同顺序的查询词的文档比有两个相反顺序的查询词的文档具有更高的相关概率。使用信息检索的公理化框架，我们引入了一个约束，检索模型必须遵守，以有效地利用查询条件之间的术语顺序依赖。我们修改现有的检索模型，基于这个约束条件，以便如果一对查询条件的顺序是语义上重要的，一个文件，包括这些查询条件在相同的顺序作为查询应该得到更高的分数相比，包括它们在相反的顺序的文件。我们使用TREC新闻专线和网络语料库的实证评估表明，修改后的检索模型显着优于原来的同行。
2018-11-08 cs.IR
Document Retrieval on Repetitive String Collections
当今增长最快的字符串集合大多是重复的，也就是说，大多数组成文档与许多其他文档相似。随着这些集合的不断增长，处理它们的一个关键方法是利用它们的重复性，这可以将它们的空间使用减少几个数量级。我们研究的问题，索引重复的字符串集合，以执行有效的文件检索操作。文档检索问题通常由搜索引擎在大的自然语言集合上解决，但在通用字符串集合上的技术发展较少。重复字符串集合的情况更不被理解，并且现有的解决方案很少。我们开发了两个新的想法，{ \em交织的LCP}和{ \em预计算的文档列表}，产生高度压缩的索引解决的问题，文档列表（找到所有的文件中出现的字符串），顶部- $k$文档检索（找到$k$文档中出现的字符串最频繁），和文档计数（计算的文件中出现的字符串的数量）。我们还表明，一个经典的数据结构，支持后者的查询变得高度可压缩的重复数据。最后，我们展示了如何结合我们开发的工具来解决简单的tf-idf相关性模型下的排名合取和析取多项查询。我们在各种现实生活中的重复性场景中彻底评估所产生的技术，并为每种情况推荐最佳选择。
2017-05-18 cs.IR
GRM: Generative Relevance Modeling Using Relevance-Aware Sample Estimation for Document Retrieval
针对大语言模型生成式查询扩展易产生无关信息损害检索效果的问题，提出采用相关性感知样本估计的生成式相关性建模GRM，通过匹配真实文档与神经重排估计相关性以优化扩展词权重，在三个基准上显著提升检索性能。
2023-06-16 cs.IR
PCA-Based Relevance Feedback in Document Image Retrieval
相关反馈作为提高信息检索系统性能的一种有效方法，近年来得到了广泛的研究。相关反馈是指一种有助于提高检索性能的交互过程。在本文中，我们提出了使用相关反馈，以提高文档图像检索系统（DIRS）的性能。本文比较了各种积极反馈和消极反馈的策略。此外，特征子空间提取和更新过程中使用主成分分析（PCA）技术和用户的反馈。也就是说，除了降低特征空间的维数之外，在反馈过程中获得每种类型的特征的适当子空间，以进一步提高检索精度。实验结果表明，在训练中使用相关反馈比普通训练获得了更好的性能。
2012-09-11 cs.IR
Semantic-Sensitive Web Information Retrieval Model for HTML Documents
随着互联网的出现，一个数字信息交流的新时代已经开始。目前，互联网包含超过50亿个在线网站，这个数字每天都在呈指数级增长。从根本上说，信息检索（IR）是存储文档和从这些文档中检索信息的科学和实践。从数学上讲，IR系统的核心是基于特征向量模型，并结合术语加权方案，该方案根据文档中的术语相对于其出现的上下文的重要性对其进行加权。实际上，向量空间模型（VSM），词频（TF）和逆词频（IDF）是主流IR系统中采用的其他长期建立的技术。然而，目前的IR模型只针对通用类型的文本文档，因为它们不考虑特定格式的文件，如HTML Web文档。提出了一种新的语义敏感的HTML文档Web信息检索模型。它由一个称为SWVM的向量模型和一个称为BTF-IDF的加权方案组成，特别设计用于支持HTML Web文档的索引和检索。所提出的模型的主要优点是，它分配额外的权重出现在某些预先指定的HTML标签，相关的文档的语义。此外，该模型是语义敏感的，因为它为每个被索引的术语生成同义词，然后对它们进行适当的加权，以增加检索具有相似上下文但不同词汇术语的文档的可能性。进行的实验，揭示了一个重大的提高，在精度的Web IR系统和一个激进的增加，被检索的相关文件的数量。作为进一步的研究，该模型是升级，以支持索引和检索的Web图像在多媒体丰富的Web文档。
2012-04-01 cs.IR
On the Value of Behavioral Representations for Dense Retrieval
我们认为，在现实世界中的设置，如电子商务搜索（a）文档流行度和（b）与文档相关的查询的多样性有一个偏斜的分布密集的代表性空间内的文本检索。大多数当代稠密检索文献在这些环境中存在两个缺点。(1)他们对每个文档学习几乎相同数量的表示，但不知道少数头部文档对于实现良好的检索性能尤为重要。(ii)他们学习纯粹的语义文档表示推断从内在的文档特征可能不包含足够的信息来确定查询的文档是相关的-特别是当文档很短。我们建议克服这些限制，通过增强语义文档表示学习的双编码器与行为文档表示学习我们提出的方法MVG。为此，MVG（1）通过绘制到Pitman-Yor过程的连接来确定如何划分行为表示的总预算，以及（2）简单地将与给定文档相关的查询（基于用户行为）聚类在由基本双向编码器学习的表示空间内，并将聚类中心视为其行为表示。我们的主要贡献是发现这样一个简单直观的轻量级方法导致了重大收益的关键第一阶段检索指标只产生边际内存开销。我们通过在三个大型公共数据集上进行广泛的实验来建立这一点，这些数据集比较了几个单向量和多向量双编码器，一个专有的电子商务搜索数据集与生产质量的双编码器，以及一个A/B测试。
2022-08-11 cs.IR
On the Reproducibility of Learned Sparse Retrieval Adaptations for Long Documents
本文复现并分析了将学习型稀疏检索（LSR）适配于长文档的机制，验证了首段对检索性能的主导作用，并重新评估 ExactSDM 和 SoftSDM 在不同文档长度下的表现，揭示了全局信息对长上下文适配的影响。
2025-03-31 cs.IR
KAP: MLLM-assisted OCR Text Enhancement for Hybrid Retrieval in Chinese Non-Narrative Documents
针对中文非叙述性文档混合检索的困难，提出KAP框架，利用多模态大语言模型优化OCR输出，减少噪声并重构结构，显著优于传统方法。
2025-05-01 cs.IR
Exploiting the Bipartite Structure of Entity Grids for Document Coherence and Retrieval
语篇连贯是指语篇在逻辑组织和语篇流动方面的意义。尽管一致性是一个相对难以精确量化的概念，但它可以自动近似。这种类型的一致性建模不仅本身有趣，而且对许多其他文本处理任务也很有用，包括信息检索（IR），其中根据相关性和一致性调整文档的排名已被证明可以提高检索效率[34，37]。无监督连贯性建模的最新技术将文档表示为句子和话语实体的二分图，然后将这些二分图投影到单模式无向图中。然而，单模投影可能会导致原始二分结构中存在的信息的显著损失。为了解决这个问题，我们提出了三个新的图形度量，计算文件的连贯性的句子和实体的原始二分图。对标准设置的评估表明：（i）我们的一致性度量之一在一致性准确性方面击败了最先进的技术;以及（ii）我们的所有三个一致性度量都提高了检索效率，因为正如更仔细的分析所揭示的那样，它们捕获了基于关键字的标准排名和垃圾邮件过滤未检测到的文档质量方面。这项工作有助于文件的一致性度量，理论上是原则性的，无参数，和有用的IR。
2016-08-02 cs.IR
EviProp: Seeded Relevance Diffusion on Chunk-Page Graphs for Long Multimodal Document Retrieval
East China Normal University（华东师范大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Fudan University（复旦大学）；Shanghai Jiao Tong University（上海交通大学）；University of Shanghai for Science and Technology（上海理工大学）
提出EviProp方法，通过构建多模态块-页图并利用个性化PageRank扩散相关性，解决长文档中证据页检索的独立匹配局限，提升检索准确率。
2026-06-08 cs.IR
Efficient Document Retrieval by End-to-End Refining and Quantizing BERT Embedding with Contrastive Product Quantization
高效的文档检索在很大程度上依赖于语义哈希技术，该技术为每个文档学习一个二进制代码，并使用汉明距离来评估文档距离。然而，现有的语义散列方法大多是建立在过时的TFIDF特征上，这些特征显然不包含大量关于文档的重要语义信息。此外，汉明距离只能等于几个整数值之一，大大限制了它对文档距离的表示能力。为了解决这些问题，在本文中，我们建议利用BERT嵌入进行有效的检索的基础上的产品量化技术，这将分配给每个文档的代码簿的实值码字，而不是一个二进制代码的语义哈希。具体来说，我们首先通过可学习的映射变换原始BERT嵌入，并将变换后的嵌入馈送到概率乘积量化模块中以输出分配的码字。可以通过最小化概率对比损失来以端到端的方式优化细化和量化模块。进一步提出了一种基于互信息最大化的方法来提高码字的代表性，从而使文档的量化更加精确。在三个基准上进行的大量实验表明，我们提出的方法显着优于当前最先进的基线。
2022-10-31 cs.IR
Stellar: Scalable Multimodal Document Retrieval for Natural Language Queries
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）
提出Stellar框架，通过磁盘存储令牌级文档嵌入并动态加载候选嵌入，结合词汇表示过滤和高效磁盘支持的后交互，在保持检索效果的同时将内存开销和查询延迟降低1-2个数量级。
2026-06-19 cs.IR
Ranking Narrative Query Graphs for Biomedical Document Retrieval (Technical Report)
本文针对生物医学文档检索中图检索精确匹配难以排序的问题，提出基于图的无监督排序、查询松弛和本体重写方法，有效提升了检索的精确率和召回率。
2024-12-06 cs.IR
Information Retrieval via Truncated Hilbert-Space Expansions
除了术语在文档集合中的频率之外，术语的分布在确定文档的相关性方面起着重要作用。本文提出了一种新的表示文档中术语位置的方法。该方法允许一个有效的评估的术语位置信息在查询评估时间。三个应用程序进行了研究：一个基于功能的排名优化表示一个用户定义的文档区域，一个查询扩展技术的基础上重叠的长期分布在排名靠前的文件，和聚类分析的条款在文件中。实验结果证明了该方法的有效性。
2009-10-10 cs.IR
Ontology Based Pivoted normalization using Vector Based Approach for information Retrieval
所提出的方法是程序性的，即它遵循有限数量的步骤，根据用户的查询提取相关文件。它是基于数据采掘的原理来分析Web数据的。数据采掘首先采用数据集成的方法生成数据仓库。然后，它提取有用的信息，借助算法。表示提取的文档的任务是通过使用基于向量的统计方法来完成的，该方法以术语集合表示每个文档。
2017-03-21 cs.AI cs.IR
The Power of Selecting Key Blocks with Local Pre-ranking for Long Document Information Retrieval
在广泛的自然语言处理和信息检索任务中，基于transformer的模型，特别是像BERT这样的预训练语言模型，已经证明了巨大的有效性。然而，由于自我注意力机制的二次复杂性，这种模型难以处理长文档。最近的作品处理这个问题包括截断长文档，在这种情况下，一个丢失潜在的相关信息，分割成几个段落，这可能会导致错过一些信息和高计算复杂性时，通道的数量是大的，或修改的自我注意力机制，使其稀疏的稀疏注意力模型，在风险再次丢失一些信息。我们在这里遵循一个略有不同的方法，其中首先选择一个长文档的本地查询块预排名的关键块，然后几个块被聚合，形成一个短的文档，可以处理的模型，如BERT。在标准信息检索数据集上的实验表明了该方法的有效性。
2022-10-15 cs.IR
