PAIR: Leveraging Passage-Centric Similarity Relation for Improving Dense Passage Retrieval
Renmin University of China（中国人民大学）；Baidu Inc.（百度公司）
针对双编码器密集段落检索仅利用查询中心相似关系的问题，本文提出 PAIR，引入段落中心关系、知识蒸馏伪标签与两阶段约束训练，并在 MSMARCO 和 Natural Questions 上取得最优性能。
2023-04-23 cs.AI cs.CL cs.IR
Evaluating Dense Passage Retrieval using Transformers
University of Waterloo（滑铁卢大学）
虽然基于Transformers的表征检索模型在过去几年中已经取得了重大进展，尽管广泛接受的公约和最佳实践来测试这样的模型，一个$\textit{standardized}$评估框架来测试它们还没有开发。在这项工作中，我们正式确定了文献中研究人员遵循的最佳实践和惯例，为更标准化的评估铺平了道路-因此模型之间的比较更加公平。我们的框架（1）嵌入文档和查询;（2）对于每个查询-文档对，基于文档和查询嵌入的点积计算相关性得分;（3）使用MSMARCO数据集的$\texttt{dev}$集来评估模型;（4）使用$\texttt{trec_eval}$脚本来计算MRR@100，这是用于评估模型的主要指标。最重要的是，我们展示了使用这个框架的一些最著名的稠密检索模型的实验。
2022-08-15 cs.AI cs.IR cs.LG
I^3 Retriever: Incorporating Implicit Interaction in Pre-trained Language Models for Passage Retrieval
针对双编码器忽略查询-段落交互导致性能受限的问题，提出I^3检索器，通过生成伪查询模拟交互并端到端联合优化，保持推理效率的同时提升检索效果，在MSMARCO和TREC2019上取得最先进性能。
2024-03-20 cs.IR
SynDL: A Large-Scale Synthetic Test Collection for Passage Retrieval
针对现有IR测试集规模小且依赖人工标注的问题，本文利用LLM合成标签扩展TREC DL测试集，构建包含超1900个查询的大规模测试集SynDL，验证其系统排名与人工标签高度相关。
2025-01-25 cs.IR
Pseudo-Relevance Feedback for Multiple Representation Dense Retrieval
伪相关反馈机制，从Rocchio到相关性模型，已经显示出使用在被检索文档的初始集合（被称为伪相关集合）中出现的信息来扩展和重新加权用户的初始查询的有用性。最近，稠密检索-通过使用神经上下文语言模型，如BERT分析文档和查询的内容，并计算其相关性分数-已经显示出有前途的性能上的几个信息检索任务仍然依赖于传统的倒排索引，用于识别文档相关的查询。出现了两种不同的稠密检索家族：对每个段落和查询使用单个嵌入式表示（例如使用BERT的[CLS]令牌），或通过多个表示（例如使用查询和文档的每个令牌的嵌入）。在这项工作中，我们进行了第一次研究的潜力多表示稠密检索，以提高使用伪相关反馈。特别是，基于使用第一遍稠密检索识别的伪相关文档集，我们提取代表性的反馈嵌入（使用KMeans聚类）--同时确保这些嵌入区分段落（基于IDF）--然后将其添加到查询表示中。这些额外的反馈嵌入，以提高效率的重新排序，以及一个额外的稠密检索操作。事实上，在MSMARCO通道排名数据集上的实验表明，通过将我们提出的ColBERT-PRF方法应用于ColBERT稠密检索方法，MAP在TREC 2019查询集上可以提高26%，在TREC 2020查询集上可以提高10%。
2021-07-01 cs.IR
Generative Retrieval as Dense Retrieval
本文提出将生成式检索视为稠密检索，通过分解为点积并引入Tied-Atomic变体，解决索引更新和扩展问题，实验验证在NQ320k和MSMARCO上不降低效果且可扩展。
2023-06-20 cs.IR
A Method of Passage-Based Document Retrieval in Question Answering System
我们提出了一种方法，使用的评分值的段落，有效地检索文件中的问答系统。为此，我们建议评估功能，考虑每个问题之间的通道术语的接近度。并利用该评价函数，在最高的集合中抽取一个涉及评分值的文档，作为问题的合适文档。该方法在韩语问答系统的文档检索中取得了很好的效果。
2015-12-17 cs.IR
Noise-Robust Dense Retrieval via Contrastive Alignment Post Training
the University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Walmart Labs（沃尔玛实验室）
提出对比对齐后训练（CAPOT）方法，通过冻结文档编码器并训练查询编码器将噪声查询与根查询对齐，在无需数据增强开销的情况下显著提升双编码器稠密检索对噪声查询的鲁棒性。
2023-04-10 cs.AI cs.CL cs.IR
A Neural Passage Model for Ad-hoc Document Retrieval
传统的统计检索模型往往把每个文档作为一个整体来处理。然而，在许多情况下，文档与查询相关只是因为它的一小部分包含目标信息。在这项工作中，我们提出了一个神经通道模型（NPM），该模型使用通道级信息来提高临时检索的性能。我们的模型不是使用单个窗口来提取段落，而是在训练过程中自动学习对不同粒度的段落进行加权。我们表明，之前研究中基于段落的文档排序范式可以直接源自我们的神经框架。此外，我们对TREC集合的实验表明，NPM可以显着优于现有的基于XML的检索模型。
2021-03-16 cs.IR
Bullseye: Structured Passage Retrieval and Document Highlighting for Scholarly Search
我们提出了用于学术搜索的靶心系统。给定一组研究论文，Bullseye：1）使用任何现成的算法识别相关段落; 2）自动检测文档结构并将检索到的段落限制在用户指定的部分; 3）突出显示检索到的每个PDF文档的这些段落。我们从三个方面评估靶心：系统有效性，用户有效性和用户努力。在一个系统盲评价中，用户被要求比较使用靶心与基线，忽略文件结构的段落检索，关于四种类型的分级评估。结果表明，系统的有效性略有改善，而用户的有效性和用户的努力表现出显着的改善。用户还报告说，在这两个系统中，学术搜索中对段落突出显示的需求非常强烈。
2014-06-07 cs.IR
AgAsk: An Agent to Help Answer Farmer's Questions From Scientific Documents
农业决策越来越受数据驱动;然而，宝贵的农业知识往往被锁在自由文本报告、手册和期刊文章中。需要专门的搜索系统，能够挖掘农业信息，为用户的问题提供相关的答案。本文介绍了AgAsk --一个能够通过挖掘科学文献回答自然语言农业问题的智能体。我们认真调查和分析农民的信息需求。在这些需求的基础上，我们发布了一个信息检索测试集，包括真实的问题，一个大的科学文献集，分为段落，地面真理相关性评估表明哪些段落与每个问题相关。我们实现和评估了一些信息检索模型来回答农民的问题，包括两个国家的最先进的神经排序模型。我们表明，神经排名是非常有效的匹配通道的问题，在这种情况下。最后，我们提出了一个AgAsk的部署架构，其中包括基于Telegram消息传递平台的客户端和部署在商品硬件上的检索模型。我们提供的测试集旨在激发更多的研究方法，以匹配自然语言的科学文献中的答案。虽然在农业领域的检索模型进行了评估，他们是generalisable和其他人的兴趣，类似的问题。测试集可在以下网址获得：\url{https://github.com/ielab/agvaluate}。
2022-12-21 cs.IR
Passage Retrieval for Outside-Knowledge Visual Question Answering
在这项工作中，我们解决多模态的信息需求，包含文本问题和图像，专注于通过检索外部知识的视觉问答。这项任务需要获得外部知识，在我们的情况下，我们定义为一个大型的非结构化的通道集合。我们首先进行稀疏检索与BM 25和研究扩大问题与对象名称和图像标题。我们验证了视觉线索起着重要的作用，标题往往比对象名称在稀疏检索的信息。然后，我们构建了一个双编码器密集检索器，查询编码器是LXMERT，一个多模态预训练的Transformer。我们进一步表明，稠密检索显着优于使用对象扩展的稀疏检索。此外，稠密检索与利用人工生成的字幕的稀疏检索的性能相匹配。
2021-05-09 cs.IR
Learning Passage Impacts for Inverted Indexes
神经信息检索系统通常使用级联流水线，其中第一阶段模型检索文档的候选集合，并且一个或多个后续阶段使用诸如BERT的上下文化语言模型来对该集合重新排序。在本文中，我们提出了DeepImpact，一种新的文档项加权方案，适用于使用标准的倒排索引进行高效检索。与现有方法相比，DeepImpact改进了影响评分建模，并解决了词汇不匹配问题。特别是，DeepImpact利用DocT5Query来丰富文档集合，并使用上下文化的语言模型，直接估计文档中标记的语义重要性，为每个文档中的每个标记生成单值表示。我们的实验表明，DeepImpact在有效性指标w.r.t.上显著优于先前的第一阶段检索方法高达17%。DocT5Query和，当部署在重新排名场景中时，可以达到与最先进方法相同的有效性，效率加速高达5.1倍。
2021-04-24 cs.IR
Overview of the TREC 2021 deep learning track
Microsoft（微软公司）；University College London（伦敦大学学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Neural Magic Inc（Neural Magic公司）；University of Waterloo（滑铁卢大学）
本文概述了TREC 2021深度学习赛道，利用MS MARCO数据集并扩大了文档与段落集合规模，发现基于大规模预训练的深度神经排序模型优于传统方法，并探讨了数据更新带来的评估与标签质量问题。
2025-07-10 cs.AI cs.CL cs.IR
Overview of the TREC 2022 deep learning track
Microsoft（微软公司）；University College London（伦敦大学学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Neural Magic Inc（Neural Magic公司）；University of Waterloo（滑铁卢大学）；NIST（国家标准与技术研究院）
本文概述了 TREC 2022 深度学习赛道，利用 MS MARCO 数据集和扩充后的集合构建了更完整的段落检索测试集，并证实大规模预训练的深度神经排序模型仍优于传统方法。
2025-07-10 cs.AI cs.CL cs.IR
Silver Retriever: Advancing Neural Passage Retrieval for Polish Question Answering
Polish Academy of Sciences（波兰科学院）
本文提出面向波兰语的神经段落检索模型 Silver Retriever，在多样化标注数据上训练，性能显著优于现有波兰语模型，并开源五个新数据集。
2024-02-22 cs.CL cs.IR
Towards Filling the Gap in Conversational Search: From Passage Retrieval to Conversational Response Generation
本文面向对话式搜索中由检索段落生成完整简洁回复的难题，为两个 TREC CAsT 数据集构建由三名独立众包者标注的 1.8k 问题-段落对片段级答案数据，并总结标注流程与设计洞见。
2023-08-17 cs.IR
CoT-MoTE: Exploring ConTextual Masked Auto-Encoder Pre-training with Mixture-of-Textual-Experts for Passage Retrieval
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Kuaishou Technology（快手科技）
针对双编码器参数共享或分离导致查询与段落嵌入空间判别不平衡的问题，本文提出CoT-MoTE，通过文本特定专家和共享自注意力层进行上下文掩码自编码预训练，在大规模段落检索基准上取得稳定提升。
2023-04-20 cs.CL cs.IR
What Makes a Good Fiqh Retriever? Answer Retrieval for Arabic Islamic Jurisprudence
Hamad Bin Khalifa University（哈马德·本·哈利法大学）
本研究针对阿拉伯伊斯兰教法构建检索测试集，评估多种检索策略，发现教法学派感知过滤可显著提升教派特定问题的检索性能，核心挑战是区分答案承载与主题相似的非答案段落。
2026-08-21 cs.IR
Do Large Language Models Favor Recent Content? A Study on Recency Bias in LLM-Based Reranking
Waseda University（早稻田大学）；The Hong Kong Polytechnic University（香港理工大学）
本研究通过在TREC数据集中注入人工出版日期，发现LLMs在重排序任务中普遍存在近因偏差，持续提升“新鲜”段落排名，且较大模型仅能减弱而无法消除该效应。
2026-09-22 cs.IR
Are Large Language Models Good at Utility Judgments?
本文系统评估了大型语言模型在开放域问答中判断段落效用的能力，揭示了其区分相关性与效用的特性，并提出 k 采样列表式方法以降低对输入顺序的依赖，为检索增强生成提供了基准与改进思路。
2024-06-08 cs.IR
HLTCOE at LiveRAG: GPT-Researcher using ColBERT retrieval
本文提出基于GPT-Researcher框架和ColBERT双编码器检索的LiveRAG系统，结合多语言微调模型与多个大模型进行查询生成、过滤和答案生成，在LiveRAG自动评估中正确性排名第五。
2025-06-27 cs.IR
Resources and Evaluations for Multi-Distribution Dense Information Retrieval
Stanford University（斯坦福大学）
本文提出多分布信息检索问题，设计三个基准，并采用跨领域预算分配策略，使Recall@100平均提升3.8点，最高达8.0点。
2023-06-21 cs.AI cs.IR
Robust Retrieval Augmented Generation for Zero-shot Slot Filling
IBM Research AI（IBM研究院人工智能）；Thomas J. Watson Research Center（托马斯·J·沃森研究中心）
从给定的文档集合中自动归纳出高质量的知识图谱仍然是人工智能中具有挑战性的问题。解决这一问题的一种方法是通过一项相关任务的进步，即所谓的插槽填充。在这个任务中，给定一个[Entity，Slot，？]形式的实体查询，要求系统通过利用从给定文档集合中的相关段落提取的证据来生成或提取缺失值来填充该槽。该领域的最新研究尝试使用基于检索的语言模型以端到端的方式解决这一任务。在本文中，我们提出了一种新的方法，zero-shot槽填充，扩展密集通道检索与硬否定和强大的训练程序的检索增强生成模型。我们的模型报告了T-REx和zsRE插槽填充数据集的巨大改进，改进了通道检索和插槽值生成，并在KILT排行榜中排名前1位。此外，我们证明了我们的系统的鲁棒性，通过零/少样本学习的组合，显示其领域自适应能力的新变体的TACRED数据集的插槽填充。我们发布源代码和预训练模型。
2021-09-14 cs.AI cs.CL cs.IR
ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT
Stanford University（斯坦福大学）
自然语言理解（NLU）的最新进展正在推动信息检索（IR）的快速发展，这在很大程度上要归功于对用于文档排序的深度语言模型（LM）进行微调。虽然非常有效，但基于这些LM的排名模型比现有方法增加了几个数量级的计算成本，特别是因为它们必须通过大规模神经网络来馈送每个查询-文档对以计算单个相关性得分。为了解决这个问题，我们提出了ColBERT，这是一种新的排名模型，它可以适应深度LM（特别是BERT）以实现高效检索。ColBERT引入了一个后期交互架构，它使用BERT独立地对查询和文档进行编码，然后采用一个廉价但功能强大的交互步骤来模拟它们的细粒度相似性。通过延迟并保留这种细粒度的交互，ColBERT可以利用深度LM的表现力，同时获得离线预计算文档表示的能力，从而大大加快查询处理。除了降低通过传统模型检索的文档重新排序的成本外，ColBERT的修剪友好交互机制还可以利用向量相似性索引直接从大型文档集合进行端到端检索。我们使用两个最近的通道搜索数据集广泛评估ColBERT。结果表明，ColBERT的有效性与现有的基于BERT的模型相比具有竞争力（并且优于每一个非BERT基线），同时执行速度快两个数量级，每次查询所需的FLOP少四个数量级。
2020-06-04 cs.CL cs.IR
Synthetic Cross-language Information Retrieval Training Data
针对神经跨语言信息检索训练数据匮乏及翻译数据存在的固有缺陷，提出JH-POLO方法，借助大语言模型基于原生非英文文本生成可定制规模、体裁与领域的训练数据，推动CLIR模型训练发展。
2023-04-29 cs.IR
A tool set for the quick and efficient exploration of large document collections
我们提出了一套多语言文本分析工具，可以帮助任何领域的分析人员快速探索大型文档集，以确定文档是否包含感兴趣的信息，并找到相关的文本段落。这一自动工具目前是一个功能齐全的原型，预计在用户反复需要筛选大量文件（如从互联网自动下载的文件）时特别有用。建议的系统需要一个完整的文件集作为输入。它首先执行一些自动分析任务（命名实体识别、地理编码、聚类、术语提取），用生成的元信息注释文本，并将元信息存储在数据库中。该系统然后生成一个可放大和超链接的地理地图，其中增加了所发现的实体和术语的信息，当该系统定期使用时，它建立了一个历史数据库，其中包含关于哪些名称与其他名称或地点一起被提及的信息，用户可以查询这个数据库，以检索过去提取的信息。
2006-09-12 cs.CL cs.IR
Query Resolution for Conversational Search with Limited Supervision
University of Amsterdam（阿姆斯特丹大学）；Ahold Delhaize（皇家阿霍德德尔海兹集团）
在这项工作中，我们专注于多轮通道检索会话搜索的一个重要组成部分。多转向段落检索的一个关键挑战来自于这样一个事实，即当前转向查询往往是欠指定的，由于零回指，主题变化，或主题返回。来自会话历史的上下文可以被用来达到当前回合查询的更好表达，其被定义为查询解析的任务。在本文中，我们将查询解析任务建模为二元术语分类问题：对于出现在前几轮对话中的每个术语，决定是否将其添加到当前回合查询中。我们提出了QuReTeC（Query Resolution by Term Classification），这是一个基于双向Transformers的神经查询解析模型。提出了一种利用查询通道相关标签自动生成训练数据的远程监督方法。这样的标签通常在集合中很容易作为人类注释或从用户交互中推断出来。我们表明，QuReTeC优于国家的最先进的模型，而且，我们的远程监督方法可以用来大大减少人类策划的数据量所需的训练QuReTeC。我们将QuReTeC在一个多回合，多阶段的通道检索架构，并证明其有效性的TREC CAST数据集。
2020-05-24 cs.CL cs.IR
Weakly-Supervised Open-Retrieval Conversational Question Answering
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Ant Financial Services Group（蚂蚁集团）
最近关于问答（QA）和会话式QA（ConvQA）的研究强调检索的作用：系统首先从大量集合中检索证据，然后提取答案。这种开放检索ConvQA设置通常假设每个问题都可以通过特定段落中的单个文本跨度（跨度答案）来回答。因此，从系统是否可以从检索到的段落中恢复该地面实况答案跨度的精确匹配来导出监督信号。这种方法被称为跨度匹配弱监督。然而，寻求信息的对话对于这种跨度匹配方法是具有挑战性的，因为长的答案，特别是自由形式的答案，不一定是任何段落的严格跨度。因此，我们引入了一个学习弱监督的方法，可以识别一个段落中的已知答案的释义跨度。我们在QuAC和CoQA数据集上的实验表明，跨度匹配的弱监督只能处理跨度答案的会话，而对于人们生成的自由形式的答案，效果不太令人满意。我们的方法更灵活，因为它可以处理跨度答案和自由形式的答案。此外，我们的方法可以更强大时，结合跨度匹配的方法，这表明它是补充跨度匹配的方法。我们还进行了深入的分析，以显示在弱监督设置下对开放检索ConvQA的更多见解。
2021-03-03 cs.CL cs.IR
Top K Relevant Passage Retrieval for Biomedical Question Answering
University of Kentucky（肯塔基大学）
本文针对生物医学问答中Wikipedia源不足的问题，在DPR框架上改用Pubmed文章进行微调，并在BioASQ数据集上取得0.81的F1分数。
2023-08-08 cs.AI cs.CL cs.IR
Towards an automatic method for generating topical vocabulary test forms for specific reading passages
ETS
本文提出K-tool系统，自动检测文本主题并生成主题词汇测试表单，以测量学生背景知识并预测其理解特定阅读篇章的能力，面向中学和高中英语母语学生。
2025-05-24 cs.AI cs.CL cs.IR
The LLM Effect on IR Benchmarks: A Meta-Analysis of Effectiveness, Baselines, and Contamination
TU Wien（维也纳工业大学）；NASK（国家通信技术研究所）
本文通过分析143篇论文，探讨了LLM对TREC Robust04和DL20基准的有效性影响，发现LLM系统在DL20上提升nDCG@10达8.8%，但存在数据污染问题，影响效果判断。
2026-04-07 cs.IR
Benchmarking Middle-Trained Language Models for Neural Search
本文在统一微调条件下基准评测 CoCondenser、RetroMAE 和 LexMAE，比较不同语料与稠密、稀疏检索方案，发现稀疏方法差异有限，而 RetroMAE 在稠密检索中表现突出。
2023-06-05 cs.IR
Qwen Goes Brrr: Off-the-Shelf RAG for Ukrainian Multi-Domain Document Understanding
National Technical University of Ukraine（乌克兰国家技术大学）
本文提出一种基于RAG的多领域文档理解系统，通过上下文分块、问题感知密集检索与重排序及受限答案生成提升召回率和准确率。
2026-05-11 cs.AI cs.CL cs.IR
Towards Explaining Query Expansion Performance in Information Retrieval
Indian Statistical Institute（印度统计学院）；IIT Bombay（孟买印度理工学院）；IIT Bhilai（比莱印度理工学院）
本研究通过理想扩展查询和可分离性两个视角解释查询扩展性能差异，提出度量方法并在多个TREC数据集上验证，发现接近理想扩展查询的查询效果更好。
2026-10-08 cs.CL cs.IR
End-to-End QA on COVID-19: Domain Adaptation with Synthetic Training
University of Illinois, Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research AI（IBM研究院人工智能部门）
端到端的问答（QA）既需要对大量文档集进行信息检索（IR），也需要对检索到的段落进行机器阅读理解（MRC）。最近的工作已经成功地训练了神经IR系统，只使用来自开放域数据集的监督问答（QA）示例。然而，尽管在维基百科上的表现令人印象深刻，但在更具体和专门的目标领域（如COVID-19），神经IR落后于传统的术语匹配方法（如BM 25）。此外，给定很少或没有标记的数据，QA系统的有效适应在这样的目标域中也是具有挑战性的。在这项工作中，我们将探讨综合生成的QA示例的应用，以提高闭域检索和MRC的性能。我们将我们的神经IR和MRC系统相结合，并在CORD-19集合的端到端QA方面显示出比最先进的开放域QA基线有显着改进。
2020-12-02 cs.AI cs.CL cs.IR
Evidence Contextualization and Counterfactual Attribution for Conversational QA over Heterogeneous Data with RAG Systems
Fraunhofer IIS（弗劳恩霍夫应用研究促进协会 IIS）；Audio and Media Technologies（音频与媒体技术）
针对RAG系统检索缺乏上下文及归因非因果的问题，提出RAGONITE系统，通过证据上下文化与反事实归因提升性能，并发布ConfQuestions基准验证有效性。
2024-12-23 cs.CL cs.IR
Transfer Learning Approaches for Building Cross-Language Dense Retrieval Models
University of Maryland（马里兰大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
基于transformer的模型（如BERT）的出现导致了神经排名模型的兴起。这些模型提高了检索系统的有效性，远远超过了词汇匹配模型，如BM 25。虽然单语检索任务受益于MS MARCO等大规模训练集和神经架构的进步，但跨语言检索任务已经落后于这些进步。本文介绍了ColBERT-X，一个推广的ColBERT多表示稠密检索模型，使用XLM-RoBERTa（XLM-R）编码器，以支持跨语言信息检索（CLIR）。ColBERT-X可以通过两种方式进行训练。在zero-shot训练中，系统在英语MS MARCO集合上进行训练，依赖于XLM-R编码器进行跨语言映射。在快速训练中，系统在MS MARCO英语查询上进行训练，并结合相关MS MARCO段落的机器翻译。在几种语言的特设文档排序任务的结果表明，这些训练的稠密检索模型在传统的词汇CLIR基线的实质性和统计上显着的改善。
2022-01-20 cs.CL cs.IR
A Workbench for Autograding Retrieve/Generate Systems
本文提出一个面向检索/生成系统的自动评分工作台，利用 LLM 通过相关性判断、nuggets 覆盖识别和考试题回答三种方式评估系统输出，并支持构建可复用测试集。
2024-05-21 cs.IR
Query Performance Prediction for Neural IR: Are We There Yet?
信息检索中的评估依赖于事后经验程序，这是耗时且昂贵的操作。为了缓解这一点，查询性能预测（QPP）模型已经开发出来，以估计系统的性能，而不需要人为的相关性判断。这些模型通常依赖于查询和语料库的词汇特征，已被应用于传统的稀疏IR方法-取得了不同程度的成功。随着神经信息检索和大型预训练语言模型的出现，检索范式已显著转向更多的语义信号。在这项工作中，我们研究和分析在何种程度上目前的QPP模型可以预测这样的系统的性能。我们的实验考虑了七种传统的词袋和七种基于BERT的IR方法，以及在两个集合深度学习'19和Robust '04上评估的十九种最先进的QPP。我们的研究结果表明，QPP在神经IR系统上的表现在统计学上显著更差。在语义信号突出的环境中（例如，段落检索），与词袋方法相比，它们在神经模型上的性能下降了10%。最重要的是，在面向词汇的场景中，QPP无法预测神经IR系统在与传统方法最不同的查询上的性能。
2023-02-20 cs.IR
RIRAG: Regulatory Information Retrieval and Answer Generation
Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学（MBZUAI））；Technical University of Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森人工智能中心（hessian.AI））
本文提出问题—监管段落对生成任务，构建含27,869个问题的 ObliQA 数据集，设计基线 RIRAG 系统，并用新型指标 RePASs 评估答案的义务覆盖与矛盾情况。
2024-12-02 cs.AI cs.CE cs.CL
FinAgentBench: A Benchmark Dataset for Agentic Retrieval in Financial Question Answering
University of Florida（佛罗里达大学）
针对金融领域缺乏多步推理检索评估基准的问题，本文提出首个金融智能体检索基准FinAgentBench，含2.6万条专家标注样本，分离两步推理评估，验证了微调可显著提升性能。
2025-10-03 cs.AI cs.CL cs.IR
How Different are Pre-trained Transformers for Text Ranking?
University of Amsterdam（阿姆斯特丹大学）
近年来，大型预训练的Transformers已经导致了传统检索模型和反馈方法的性能大幅提高。然而，这些结果主要基于MS Marco/TREC深度学习跟踪设置，其设置非常特殊，我们对这些模型为什么以及如何更好地工作的理解充其量是支离破碎的。我们分析了有效的基于BERT的交叉编码器与传统的BM 25排名的通道检索任务，其中最大的收益已被观察到，并调查两个主要问题。一方面，什么是相似的？神经排名器在多大程度上已经包含了传统排名器的能力？性能的提高是否是由于对相同文档的更好排名（优先级精度）？另一方面，有什么不同？它能否有效地检索传统系统遗漏的文档（优先召回）？我们发现，在相关性的概念，确定BERT的优势和劣势，可能会激发未来的改进研究有很大的差异。我们的研究结果有助于我们理解（黑盒）神经排名相对于（众所周知的）传统的排名，帮助理解特定的实验设置的MS-Marco为基础的测试集合。
2022-04-05 cs.AI cs.CL cs.IR
