Dense Passage Retrieval for Open-Domain Question Answering
Facebook AI（脸书人工智能研究院）；University of Washington（华盛顿大学）；Princeton University（普林斯顿大学）
开放域问答依赖于有效的段落检索来选择候选上下文，传统的稀疏向量空间模型，如TF-IDF或BM 25，是事实上的方法。在这项工作中，我们表明，检索实际上可以单独使用密集表示，其中嵌入是通过一个简单的双编码器框架从少量的问题和段落中学习。当在广泛的开放域QA数据集上进行评估时，我们的密集检索器在前20个段落检索准确率方面的绝对性能大大超过强大的Lucene-BM 25系统9%-19%，并帮助我们的端到端QA系统在多个开放域QA基准上建立新的最先进水平。
2020-09-30 cs.CL
Unlocking Multi-View Insights in Knowledge-Dense Retrieval-Augmented Generation
School of Artificial Intelligence, Beihang University（北航人工智能学院）；Zhongguancun Laboratory（中关村实验室）
本文提出MVRAG框架，通过多领域视角的意图感知查询重写提升知识密集型RAG的检索精度，在法律和医学案例检索中显著提高召回率和精确率。
2025-10-23 cs.CL
Open Domain Question Answering over Tables via Dense Retrieval
Tel-Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
开放域QA的最新进展已经导致了基于稠密检索的强大模型，但仅专注于检索文本段落。在这项工作中，我们解决了开放域QA表的第一次，并表明检索可以提高检索器设计来处理表格上下文。我们提出了一个有效的预训练程序，我们的检索和提高检索质量与挖掘硬负。由于相关数据集缺失，我们提取了自然问题的子集（Kwiatkowski等人，2019年）到表QA数据集。我们发现，我们的检索器提高检索结果从72.0到81.1 recall@10和端到端的QA结果从33.8到37.7的精确匹配，超过一个BERT为基础的检索器。
2021-06-09 cs.CL
Task-Aware Specialization for Efficient and Robust Dense Retrieval for Open-Domain Question Answering
Microsoft Research（微软研究院）；Microsoft Semantic Machines（微软语义机器公司）
提出TASER架构，通过交替共享和特化块实现参数共享，在五个问答数据集上以约60%参数超越BM25及双编码器，提升准确率与域外鲁棒性。
2023-05-22 cs.CL
Key Information Retrieval to Classify the Unstructured Data Content of Preferential Trade Agreements
University of Connecticut（康涅狄格大学）；North Dakota State University（北达科他州立大学）
针对优惠贸易协定长文本中冗余与无关信息影响分类的问题，本文提出先用嵌入技术压缩文本、再用BERT进行分类训练的方法，显著提升准确率并降低计算复杂度。
2024-01-23 cs.CL cs.IR cs.LG
TABi: Type-Aware Bi-Encoders for Open-Domain Entity Retrieval
Stanford University（斯坦福大学）
实体检索--在查询中检索有关实体提及的信息--是开放域任务（如问答或事实检查）中的关键步骤。然而，由于对流行实体的偏见，最先进的实体检索器难以检索模糊提及的稀有实体。在训练过程中描述知识图谱类型可以帮助克服流行度偏差，但存在几个挑战：（1）现有的基于类型的检索方法需要提及边界作为输入，但开放域任务在非结构化文本上运行，（2）基于类型的方法不应该损害整体性能，以及（3）基于类型的方法应该对噪声和缺失类型具有鲁棒性。在这项工作中，我们介绍了TABi，一种方法来共同训练双编码器上的知识图谱类型和非结构化文本的实体检索开放域的任务。TABi利用类型强制的对比损失来鼓励相似类型的实体和查询在嵌入空间中接近。TABi改进了Ambibrium Entity Retrieval（AmbER）集上稀有实体的检索，同时与最先进的检索器相比，在KILT基准测试中保持了开放域任务的强大整体检索性能。TABi对不完整的类型系统也很健壮，在训练数据集只有5%的类型覆盖率的情况下，改进了罕见实体检索。我们在https://github.com/HazyResearch/tabi上公开发布我们的代码。
2022-04-18 cs.CL cs.LG
Deep Learning Based Dense Retrieval: A Comparative Study
Georgia Institute of Technology（佐治亚理工学院）
本文比较 BERT、DPR、Contriever、SimCSE 与 ANCE 在分词器投毒下的表现，发现监督模型更脆弱、微小扰动即可显著降低检索准确率。
2024-10-27 cs.AI cs.CL
Cross-Lingual Training with Dense Retrieval for Document Retrieval
David R. Cheriton School of Computer Science, University of Waterloo（滑铁卢大学戴维·R·切里顿计算机科学学院）；Department of Computer Science and Engineering, Penn State University（宾夕法尼亚州立大学计算机科学与工程系）
稠密检索在英语文章排序中取得了巨大的成功。然而，由于培训资源的限制，它在非英语语言的文献检索的有效性仍然没有探索。在这项工作中，我们将探讨不同的传输技术，文档排序从英语注释到多种非英语语言。我们的测试集合上的六种语言（中文，阿拉伯语，法语，印地语，孟加拉语，西班牙语）从不同的语言家庭的实验表明，zero-shot基于模型的转移使用mBERT提高搜索质量在非英语单语言检索。此外，我们发现，弱监督的目标语言传输产生竞争力的性能对基于生成的目标语言传输，需要外部翻译和查询生成器。
2021-09-03 cs.CL cs.IR
ConTextual Masked Auto-Encoder for Dense Passage Retrieval
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Kuaishou Technology（快手科技）
密集段落检索旨在基于密集表示（即，向量）的查询和段落。最近的研究探索了改进预训练的语言模型以提高稠密检索性能。提出了一种用于密集段落检索的生成式预训练方法CoT-MAE（Contextual Masked Auto-Encoder）。CoT-MAE采用非对称编码器-解码器架构，通过自监督和上下文监督掩码自动编码学习将句子语义压缩为密集向量。准确地说，自监督掩码自动编码学习对文本跨度内的标记的语义进行建模，而上下文监督掩码自动编码学习对文本跨度之间的语义相关性进行建模。我们进行了大规模的通道检索基准的实验，并显示出相当大的改善强基线，证明了高效率的CoT-MAE。我们的代码可在https://github.com/caskcsg/ir/tree/main/cotmae上获得。
2022-12-01 cs.AI cs.CL
Cohort Retrieval using Dense Passage Retrieval
本文首次将稠密段落检索（DPR）应用于超声心动图领域的患者队列检索，提出将非结构化EHR数据转换为查询-段落数据集的系统方法，并设计了临床场景启发的评估指标，所训练的定制DPR模型性能优于传统及现成SOTA方法。
2025-06-26 cs.CL cs.IR
Towards Universal Dense Retrieval for Open-domain Question Answering
Princeton University（普林斯顿大学）
在开放域问答中，模型接收文本问题作为输入，并使用大型证据语料库搜索正确答案。检索步骤是特别困难的，因为典型的证据语料库具有\textit{millions}的文档，每个文档可能有也可能没有问题的正确答案。最近，密集模型已经取代稀疏方法作为事实上的检索方法。密集方法不是专注于词汇重叠来确定相似性，而是构建一个编码函数，通过从一小部分问题-答案或问题-上下文对中学习来捕获语义相似性。在本文中，我们研究稠密检索模型的背景下，开放域问答在不同的输入分布。为此，首先，我们引入了一个从Wikidata事实构建的实体丰富的问答数据集，并证明密集模型无法推广到看不见的输入问题分布。其次，我们进行分析，旨在更好地了解问题的根源，并提出新的训练技术，以提高各种数据集的域外性能。我们鼓励该领域进一步研究创建一个单一的，通用的稠密检索模型，以及在所有输入分布的推广。
2021-09-23 cs.CL cs.IR
PairDistill: Pairwise Relevance Distillation for Dense Retrieval
National Taiwan University（台湾大学）
针对 pointwise 蒸馏存在比较不一致的问题，本文提出 PairDistill，利用成对重排序提供细粒度文档区分以训练稠密检索模型，并在多个基准上取得最先进性能。
2024-10-02 cs.CL cs.IR
Bridging the Training-Inference Gap for Dense Phrase Retrieval
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Korea University（高丽大学）；Meta AI；Google Research（谷歌研究院）；Apple（苹果公司）
构建密集的检索器需要一系列标准程序，包括训练和验证神经模型，以及创建索引以实现高效搜索。然而，这些程序往往是不一致的，训练目标并不完全反映检索场景在推理时间。在本文中，我们探讨了如何减少稠密检索中训练和推理之间的差距，重点是密集短语检索（Lee等人，2021年），其中数十亿的表示在推理时被索引。由于验证每一个密集检索与大规模的索引实际上是不可行的，我们提出了一个有效的方法来验证密集检索使用整个语料库的一个小的子集。这使我们能够验证各种训练策略，包括统一对比损失术语和使用硬否定词进行短语检索，这在很大程度上减少了训练-推理的差异。实验结果表明，在开放领域问答中，我们将前1短语的检索准确率提高了2~3个点，前20段落的检索准确率提高了2~4个点。我们的工作敦促建模密集检索仔细考虑的训练和推理，通过有效的验证，同时推进短语检索作为稠密检索的一般解决方案。
2022-10-25 cs.CL cs.IR cs.LG
The Curse of Dense Low-Dimensional Information Retrieval for Large Index Sizes
Technical University of Darmstadt（达姆施塔特工业大学）；Ubiquitous Knowledge Processing Lab (UKP-TUDA)（泛在知识处理实验室（UKP-TUDA））
使用密集低维表示的信息检索最近变得流行，并显示出优于传统稀疏表示（如BM 25）的性能。然而，没有以前的工作研究如何密集表示执行大索引大小。我们从理论上和经验表明，密集表示的性能下降速度比稀疏表示增加索引大小。在极端情况下，这甚至可能导致一个临界点，在特定索引大小下，稀疏表示优于密集表示。我们发现，这种行为与表示的维数密切相关：维数越低，误报的机会就越高，即返回不相关的文档。
2021-06-09 cs.CL cs.IR
SpectraQuery: A Hybrid Retrieval-Augmented Conversational Assistant for Battery Science
Mechanical Engineering, Stanford University（斯坦福大学机械工程系）；Applied Energy Division, SLAC National Accelerator Laboratory（SLAC国家加速器实验室应用能源部门）；Institute of Computational and Mathematical Engineering, Stanford University（斯坦福大学计算与数学工程研究所）
SpectraQuery通过结合结构化数据库和文献语料库，为电池科学提供检索增强型对话助手，有效整合数值证据与机理解释，提升科学推理效率。
2026-01-14 cs.CL cs.IR
Retrieval Oriented Masking Pre-training Language Model for Dense Passage Retrieval
Alibaba Group（阿里巴巴集团）
预训练的语言模型（PTM）已被证明产生强大的文本表示密集段落检索任务。Masked Language Modeling（MLM）是预训练过程的一个主要子任务。然而，我们发现，传统的随机掩蔽策略倾向于选择大量的令牌，对段落检索任务的影响有限（例如，停止词和标点符号）。通过注意到术语重要性权重可以为段落检索提供有价值的信息，我们在此提出了替代的面向检索的掩蔽（称为ROM）策略，其中更重要的标记将具有更高的被掩蔽的概率，以捕获这种简单而重要的信息，以促进语言模型预训练过程。值得注意的是，所提出的新的令牌掩蔽方法不会改变原始PTM的架构和学习目标。我们的实验验证了所提出的ROM使术语重要性信息，以帮助语言模型预训练，从而实现更好的性能多通道检索基准。
2022-10-27 cs.CL cs.IR
Typo-Robust Representation Learning for Dense Retrieval
VISTEC（泰国国家科技发展局维斯特克学院）；Chulalongkorn University（朱拉隆功大学）
本文提出一种改进密集检索对拼写错误鲁棒性的方法，通过增强错误查询与周围查询的对比度，在基准测试中优于现有方法。
2023-06-17 cs.CL cs.IR
DPTDR: Deep Prompt Tuning for Dense Passage Retrieval
Tencent（腾讯）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
深度提示微调（DPT）在大多数自然语言处理~（NLP）任务中获得了巨大的成功。然而，在稠密检索中，微调FT仍占主导地位，这一点还没有得到很好的研究。当使用相同的骨干模型部署多个检索任务时~（例如，RoBERTa），基于FT的方法在部署成本方面是不友好的：每个新的检索模型都需要重复部署骨干模型，而不能重用。为了减少部署成本，在这样的情况下，这项工作研究应用DPT在稠密检索。挑战在于，直接将DPT应用于稠密检索在很大程度上不如FT方法。为了弥补性能下降，我们提出了两个模型不可知和任务不可知的策略，即检索为导向的中间预训练和统一的负面挖掘，作为一种通用的方法，可以兼容任何预训练的语言模型和检索任务。实验结果表明，所提出的方法（称为DPTDR）优于以前的国家的最先进的MS-MARCO和自然问题的模型。我们还进行了消融研究，以检查DPTDR中每种策略的有效性。我们相信这项工作为行业带来了便利，因为它节省了大量的部署工作和成本，并提高了计算资源的利用率。我们的代码可在https://github.com/tangzhy/DPTDR上获得。
2022-08-24 cs.CL cs.IR
Topic-DPR: Topic-based Prompts for Dense Passage Retrieval
South China Normal University（华南师范大学）；The Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文提出Topic-DPR，通过基于主题的提示和对比学习解决密集段落检索中的语义空间坍缩问题，并引入正负采样策略，在两个数据集上超越现有最先进方法。
2023-10-10 cs.AI cs.CL
Unsupervised Corpus Aware Language Model Pre-training for Dense Passage Retrieval
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
最近的研究表明，使用微调的语言模型~（LM）的稠密检索的有效性。然而，密集的猎犬很难训练，通常需要大量工程微调管道，以实现其全部潜力。在本文中，我们确定和解决两个基本问题的密集检索：i）~脆弱的训练数据噪声和ii）~需要大批量鲁棒地学习嵌入空间。我们使用最近提出的Condenser预训练架构，该架构通过LM预训练学习将信息压缩到密集向量中。在此基础上，我们提出了coCondenser，它增加了一个无监督的语料库级别的对比损失来预热段落嵌入空间。在MS-MARCO、Natural Question和Trivia QA数据集上的检索实验表明，coCondenser消除了对增强、合成或过滤等繁重数据工程的需求，以及对大批量训练的需求。它显示出与RocketQA相当的性能，RocketQA是一个最先进的，经过大量工程设计的系统，使用简单的小批量微调。
2021-08-12 cs.CL cs.IR
Transfer Learning Approaches for Building Cross-Language Dense Retrieval Models
University of Maryland（马里兰大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
基于transformer的模型（如BERT）的出现导致了神经排名模型的兴起。这些模型提高了检索系统的有效性，远远超过了词汇匹配模型，如BM 25。虽然单语检索任务受益于MS MARCO等大规模训练集和神经架构的进步，但跨语言检索任务已经落后于这些进步。本文介绍了ColBERT-X，一个推广的ColBERT多表示稠密检索模型，使用XLM-RoBERTa（XLM-R）编码器，以支持跨语言信息检索（CLIR）。ColBERT-X可以通过两种方式进行训练。在zero-shot训练中，系统在英语MS MARCO集合上进行训练，依赖于XLM-R编码器进行跨语言映射。在快速训练中，系统在MS MARCO英语查询上进行训练，并结合相关MS MARCO段落的机器翻译。在几种语言的特设文档排序任务的结果表明，这些训练的稠密检索模型在传统的词汇CLIR基线的实质性和统计上显着的改善。
2022-01-20 cs.CL cs.IR
Improve Dense Passage Retrieval with Entailment Tuning
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；Thrust of Artificial Intelligence（人工智能分支（或：人工智能 thrust，按原文直译））
本文提出蕴含调优方法，以存在性断言为桥梁统一检索与自然语言推理数据，通过掩码预测变体任务训练稠密检索器预测段落蕴含的断言，从而改进嵌入表示并提升检索性能。
2024-10-21 cs.CL cs.IR
Control Token with Dense Passage Retrieval
Diqest（迪奎斯特）
本研究针对大语言模型幻觉问题，通过引入控制令牌增强稠密段落检索模型，显著提升文档检索准确率，Top-1提升13%，Top-20提升4%。
2024-05-13 cs.AI cs.CL
KhyontekAI at CheckThat! 2026: Multilingual Dense Retrieval and Cross-Encoder Reranking for Scientific Web Claims
Tezpur University（特兹普尔大学）
该研究针对社交媒体科学断言的多语言来源检索难题，提出结合微调密集检索与交叉编码器重排序的两阶段框架，经实验验证元数据丰富化及交叉编码器重排序可提升效果，在CLEF 2026任务中取得多语言MRR@5的优异成绩。
2026-10-14 cs.CL cs.IR
Phrase Retrieval Learns Passage Retrieval, Too
Princeton University（普林斯顿大学）；Korea University（高丽大学）
密集检索方法在一系列自然语言处理问题中显示出比稀疏检索方法更好的前景。其中，密集短语检索是最细粒度的检索单元，因为短语可以直接用作问答和槽填充任务的输出。在这项工作中，我们遵循的直觉，检索短语自然需要检索较大的文本块，并研究短语检索是否可以作为粗层次检索，包括段落和文件的基础。我们首先观察到，与段落检索器相比，密集短语检索系统在没有任何再训练的情况下已经实现了更好的段落检索准确度（前5名准确度为+3-5%），这也有助于以更少的段落实现卓越的端到端QA性能。然后，我们提供了一个解释，为什么短语级监督有助于学习更好的细粒度蕴涵相比，短语级监督，也表明，短语检索可以得到改善，以实现有竞争力的性能，在文档检索任务，如实体链接和知识为基础的对话。最后，我们展示了短语过滤和矢量量化如何将索引的大小减少4 - 10倍，使密集短语检索成为多粒度检索中实用且通用的解决方案。
2021-09-16 cs.CL cs.IR
SeDR: Segment Representation Learning for Long Documents Dense Retrieval
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）
最近，稠密检索（DR）已成为一个很有前途的解决方案，文档检索，其中的文档表示是用来执行有效和高效的语义搜索。然而，由于其基于transformer的编码器的二次复杂度和低维嵌入的有限容量，DR在长文档上仍然具有挑战性。目前的DR模型使用次优策略，如截断或拆分和池长文档，导致整个文档信息的利用率很低。在这项工作中，为了解决这个问题，我们提出了段表示学习的长文档稠密检索（SeDR）。在SeDR中，Segment-Interaction Transformer被提出用于将长文档编码为文档感知和片段敏感的表示，同时它保持了拆分和池化的复杂性，并优于DR上的其他片段交互模式。由于长文档编码的GPU内存需求导致DR训练的负性不足，因此进一步提出了Late-Cache Negative，以提供额外的缓存负性，用于优化表示学习。在MS MARCO和TREC-DL数据集上的实验表明，SeDR在DR模型中取得了更优越的性能，并证实了SeDR在长文档检索上的有效性。
2022-11-20 cs.CL cs.IR
BERM: Training the Balanced and Extractable Representation for Matching to Improve Generalization Ability of Dense Retrieval
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出BERM方法，通过将段落分割为单元并施加语义单元平衡与关键匹配单元可提取性约束，捕获细粒度且面向查询的匹配信号，有效提升了稠密检索在未见域的泛化能力且无额外开销。
2023-05-18 cs.CL cs.IR
Dense Passage Retrieval: Is it Retrieving?
Georgia Institute of Technology（佐治亚理工学院）
本文通过探测、层激活分析和模型编辑机制性研究DPR，发现其训练使知识存储去中心化，但检索能力受预训练模型内部知识限制，并提出四个改进方向。
2024-10-03 cs.CL cs.IR
Challenging Decoder helps in Masked Auto-Encoder Pre-training for Dense Passage Retrieval
Alibaba Group（阿里巴巴集团）
针对密集段落检索的MAE预训练，提出基于逐点互信息的token重要性感知掩码策略以增加解码器挑战，从而提升编码器表示能力，该方法无需额外开销且在大规模和零样本基准上均有效。
2023-05-22 cs.CL cs.IR
Domain-matched Pre-training Tasks for Dense Retrieval
Facebook AI Research（脸书人工智能研究院）
在模型大小不断增加的大型数据集上进行预训练现在是几乎所有NLP任务提高性能的有效方法。一个值得注意的例外是信息检索，额外的预训练迄今未能产生令人信服的结果。我们表明，通过正确的预训练设置，可以克服这一障碍。我们通过对1）最近发布的6500万个合成生成的问题集和2）来自pushshift.io提供的Reddit对话的现有数据集的2亿个评论后对进行预训练来证明这一点。我们评估了一组信息检索和对话检索基准，显示出实质性的改进监督基线。
2021-07-28 cs.CL cs.IR
Salient Phrase Aware Dense Retrieval: Can a Dense Retriever Imitate a Sparse One?
Meta AI
尽管其最近的流行和众所周知的优势，密集检索器仍然落后于稀疏的方法，如BM 25在其可靠地匹配查询中的突出短语和罕见的实体，并推广到域外数据的能力。有人认为，这是密集模型的固有局限性。我们反驳这种说法，通过引入显着短语感知检索器（SPAR），一个密集的检索与词汇匹配能力的稀疏模型。我们证明了一个稠密的词汇模型Λ可以被训练来模仿一个稀疏的词汇模型，SPAR是通过用Λ来增强一个标准的稠密检索器来构建的。从经验上看，SPAR在一系列任务上表现出卓越的性能，包括五个问答数据集，MS MARCO段落检索，以及用于域外评估的BattletyQuestions和BEIR基准，超过了最先进的密集和稀疏检索器的性能。SPAR的代码和型号可在以下网址获得：https://github.com/facebookresearch/dpr-scale/tree/main/spar
2022-11-11 cs.CL cs.IR cs.LG
Non-negative Elastic Net Decoding for Information Retrieval
NTT, Inc（NTT公司）
提出非负弹性网络（NNN）解码方法，将检索视为联合解码问题，通过稀疏非负线性组合重构查询嵌入，在理论上严格优于稠密检索，实验表明在多个基准上取得一致改进。
2026-06-17 cs.AI cs.CL cs.IR
Noise-Robust Dense Retrieval via Contrastive Alignment Post Training
the University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Walmart Labs（沃尔玛实验室）
提出对比对齐后训练（CAPOT）方法，通过冻结文档编码器并训练查询编码器将噪声查询与根查询对齐，在无需数据增强开销的情况下显著提升双编码器稠密检索对噪声查询的鲁棒性。
2023-04-10 cs.AI cs.CL cs.IR
Retrieval-Augmented Machine Translation with Unstructured Knowledge
Pattern Recognition Center, WeChat AI, Tencent Inc（模式识别中心、微信AI、腾讯公司）
针对非结构化、跨语言不完全配对的世界知识，本文构建含169K样本的RAGtrans基准，并提出无需额外标注的多任务训练方法，显著提升LLM多语言检索增强翻译性能。
2025-08-29 cs.AI cs.CL
Unstructured Knowledge Access in Task-oriented Dialog Modeling using Language Inference, Knowledge Retrieval and Knowledge-Integrative Response Generation
The Chinese University of Hong Kong（香港中文大学）；Centre for Perceptual and Interactive Intelligence（感知与交互智能中心）
具有丰富的外部知识的对话系统可以处理支持数据库/API范围之外的用户查询。在本文中，我们遵循DSTC 9轨道1中提供的基线，并提出了三个子系统，KDEAK，KnowleDgEFactor和Ens-GPT，形成了一个面向任务的对话系统能够访问非结构化知识的管道。具体来说，KDEAK通过使用来自对话框、数据库和FAQ的知识将问题公式化为自然语言推理来执行知识搜索转向检测。KnowleDgEFactor通过制定一个分解的知识/文档检索问题，三个模块执行域，实体和知识水平分析来完成知识选择任务。Ens-GPT首先处理多个知识片段，然后通过集成算法来生成响应，该集成算法决定响应是否应该单独从GPT 2-XL模型中导出，或者与顶级知识片段组合重新生成。实验结果表明，所提出的管道系统优于基线，并产生高质量的响应，实现至少58.77%的BLEU-4分数的提高。
2021-01-15 cs.AI cs.CL
dIR -- Discrete Information Retrieval: Conversational Search over Unstructured (and Structured) Data with Large Language Models
Stanford University（斯坦福大学）
本文提出dIR（离散信息检索），统一接口查询自由文本和结构化知识，利用LLM将文本转为列式表示，再通过文本到SQL解析器查询，支持多步推理对话，在复杂查询上超越传统IR和SQL知识库。
2023-12-20 cs.AI cs.CL cs.DB
Unstructured Text Enhanced Open-domain Dialogue System: A Systematic Survey
Harbin Institute of Technology（哈尔滨工业大学）；Research Center for Social Computing and Information Retrieval（社会计算与信息检索研究中心）
本文系统性综述了以非结构化文本作为外部知识源的开放域对话系统（UTEDS），定义了相关概念，总结了数据集与模型，将其分为检索与生成模型并剖析组件，探讨了评估方法与未来趋势。
2024-11-14 cs.CL
Sparse, Dense, and Attentional Representations for Text Retrieval
Google Research（谷歌研究院）
双编码器通过将文档和查询编码为密集的低维向量来执行检索，通过查询的内积对每个文档进行评分。我们研究了这种架构相对于稀疏词袋模型和注意力神经网络的能力。使用理论和实证分析，我们建立之间的连接的编码尺寸，黄金和排名较低的文件之间的差距，和文件的长度，建议限制的能力，固定长度的编码，以支持精确检索的长文件。基于这些见解，我们提出了一个简单的神经模型，结合了双编码器的效率与更昂贵的注意力架构的一些表现力，并探索稀疏密集的混合体，以利用稀疏检索的精度。这些模型在大规模检索中优于强替代方案。
2021-02-16 cs.CL
LED: Lexicon-Enlightened Dense Retriever for Large-Scale Retrieval
The Ohio State University（俄亥俄州立大学）；Microsoft Corporation（微软公司）；University of Technology Sydney（悉尼科技大学）
基于语义空间稠密表示的检索模型已成为第一阶段检索不可或缺的一个分支。这些检索器受益于表示学习向压缩全局序列级嵌入的突飞猛进。然而，他们容易忽视文本中的局部显著短语和实体提及，这些通常在第一阶段检索中起关键作用。为了缓解这一弱点，我们提出了一个密集的检索对齐性能良好的词汇感知表示模型。该方法通过弱化知识蒸馏来启发检索器，通过两个方面实现对齐：1）词典增强对比目标来挑战稠密编码器; 2）成对秩一致正则化使稠密模型的行为倾向于另一个。我们在三个公共基准上评估了我们的模型，这表明，与一个类似的词典感知检索器作为老师，我们提出的密集的可以带来一致的和显着的改进，甚至超过它的老师。此外，我们发现我们对密集回收器的改进是对标准排名蒸馏的补充，这可以进一步提升最先进的性能。
2023-03-03 cs.CL
DREAM: Dense Retrieval Embeddings via Autoregressive Modeling
The Hong Kong University of Science and Technology（香港科技大学）
提出DREAM方法，利用冻结LLM的自回归预测损失训练密集检索器，通过注意力机制注入查询-文档相似度，在BEIR和RTEB上优于基线。
2026-06-24 cs.CL
Structuring the Unstructured: A Systematic Review of Text-to-Structure Generation for Agentic AI with a Universal Evaluation Framework
Department of Computer Science and Engineering, HKUST, Hong Kong SAR, China（计算机科学与工程系，香港科技大学，香港特别行政区，中国）
本文系统综述了文本到结构生成技术，梳理现有方法、数据集与评估指标，并提出通用评估框架，将其定位为下一代智能体人工智能的基础设施。
2025-08-17 cs.CL
PIRB: A Comprehensive Benchmark of Polish Dense and Hybrid Text Retrieval Methods
National Information Processing Institute（国家信息处理研究所）
本研究提出涵盖41项任务的波兰语信息检索基准PIRB，包含10个新数据集，评估20余种检索模型，还提出三步训练法，训练的波兰语稠密模型及混合方法均取得更优性能。
2024-03-10 cs.CL
Reduce Catastrophic Forgetting of Dense Retrieval Training with Teleportation Negatives
Tsinghua University（清华大学）；Microsoft Research（微软研究院）；Georgia Institute of Technology（佐治亚理工学院）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
在本文中，我们研究了标准稠密检索训练中的不稳定性，该训练使用正在训练的模型在模型训练和硬否定选择之间迭代。我们展示了训练不稳定性背后的灾难性遗忘现象，模型在训练迭代过程中学习并忘记了不同的负组。然后，我们提出了ANCE-Tele，它从过去的迭代中积累动量负值，并使用前瞻负值来近似未来的迭代，作为沿时间轴的“远距传送”，以平滑学习过程。在网络搜索和OpenQA方面，ANCE-Tele优于之前类似规模的最先进的系统，消除了对稀疏检索否定的依赖，并且在使用更多（50倍）参数的系统中具有竞争力。我们的分析表明，隐形传态否定减少了灾难性遗忘，提高了稠密检索训练的收敛速度。我们的代码可在https://github.com/OpenMatch/ANCE-Tele上获得。
2022-10-31 cs.CL
CAPSTONE: Curriculum Sampling for Dense Retrieval with Document Expansion
The University of Hong Kong（香港大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft（微软）
针对文档扩展稠密检索中训练与推理不一致导致性能下降的问题，本文提出课程采样策略，逐步增强生成查询与真实查询的相关性，使模型学习同时关注文档和查询，从而获得更优的查询感知文档表示，并在域内外数据集上验证了其有效性。
2023-10-29 cs.CL
Boolean-aware Attention for Dense Retrieval
University of Arkansas（阿肯色大学）
提出布尔感知注意力机制，通过专门的布尔专家和门控机制动态调整 token 焦点，结合 BERT 显著提升了密集检索中布尔查询的处理能力。
2025-03-03 cs.CL
Large Language Models as Foundations for Next-Gen Dense Retrieval: A Comprehensive Empirical Assessment
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本研究全面评估了超过15种骨干模型在密集检索任务中的表现，发现更大的LLMs和充分预训练能显著提升领域内准确率、数据效率及零样本泛化等多方面能力。
2024-08-23 cs.CL
Coupling Symbolic Reasoning with Language Modeling for Efficient Longitudinal Understanding of Unstructured Electronic Medical Records
Mendel Health Inc.（孟德尔健康公司）
本文提出将符号推理与语言建模相结合，以提升对非结构化电子病历中医学变量的提取效果，并证明免费商用LLMs的检索能力可与商业模型相媲美，同时强调仅靠LLMs性能最低，必须通过符号推理进行引导。
2023-08-07 cs.CL
Lexically-Accelerated Dense Retrieval
Georgetown University（乔治城大学）；University of Glasgow（格拉斯哥大学）
本文提出 LADR（词汇加速的稠密检索）方法，利用词汇检索为基于文档邻近图的稠密检索提供种子，在保证检索有效性的同时显著提升效率，并在标准基准上实现与穷举搜索相当的精确率和召回率。
2023-07-31 cs.CL cs.IR
Condenser: a Pre-training Architecture for Dense Retrieval
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
预训练的Transformer语言模型（LM）已经成为文本表示编码器。先前的研究微调了深度LM，将句子和段落等文本序列编码为单个密集向量表示，以实现高效的文本比较和检索。然而，密集编码器需要大量的数据和复杂的技术来有效地训练，并在低数据情况下受到影响。本文发现一个关键的原因是，标准的LM的内部注意力结构是不准备使用的密集编码器，这需要聚合文本信息到密集表示。我们建议使用一种新的Transformer架构Condenser对密集编码器进行预训练，其中LM预测条件基于DENSE表示。我们的实验表明，Condenser在各种文本检索和相似性任务上比标准LM提高了很大的幅度。
2021-09-20 cs.CL cs.IR
Tevatron: An Efficient and Flexible Toolkit for Dense Retrieval
Carnegie Mellon University（卡内基梅隆大学）；University of Waterloo（滑铁卢大学）
深度预训练语言模型的快速发展和大型数据集的引入推动了基于嵌入的稠密检索的研究。虽然已经出现了一些很好的研究论文，但其中许多都有自己的软件栈。这些堆栈通常针对某些特定的研究目标进行优化，而不是效率或代码结构。在本文中，我们提出了Tevatron，一个稠密检索工具包优化的效率，灵活性和代码的简单性。Tevatron为稠密检索提供了标准化的管道，包括文本处理、模型训练、语料库/查询编码和搜索。本文介绍了Tevatron的概述，并在几个IR和QA数据集上展示了其有效性和效率。我们还展示了Tevatron的灵活设计如何实现跨数据集、模型架构和加速器平台（GPU/TPU）的轻松泛化。我们相信Tevatron可以作为稠密检索系统研究的有效软件基础，包括设计，建模和优化。
2022-03-11 cs.CL cs.IR
$τ$-Knowledge: Evaluating Conversational Agents over Unstructured Knowledge
princeton（普林斯顿大学）
τ-知识旨在通过模拟真实金融科技客户支持流程，评估代理在协调外部自然语言知识与工具输出以产生可验证状态变化方面的能力。
2026-03-04 cs.AI cs.CL cs.IR
Mr. TyDi: A Multi-lingual Benchmark for Dense Retrieval
University of Waterloo（滑铁卢大学）
我们提出了先生TyDi，一个多语言的基准数据集，用于在11种类型学上不同的语言中进行单语言检索，旨在评估学习密集表示的排名。该资源的目标是刺激非英语语言中稠密检索技术的研究，其动机是最近观察到现有的表示学习技术在应用于分布外数据时表现不佳。作为一个起点，我们为这个新的数据集提供了zero-shot基线，这是基于我们称之为“mDPR”的DPR的多语言适应。实验表明，尽管mDPR的有效性远低于BM 25，但密集表示似乎仍然提供了有价值的相关性信号，改进BM 25导致稀疏-密集混合。除了分析我们的结果，我们还讨论了未来的挑战，并提出了多语言稠密检索的研究议程。TyDi先生可在https://github.com/castorini/mr.tydi下载。
2021-11-08 cs.CL cs.IR
CONVERSER: Few-Shot Conversational Dense Retrieval with Synthetic Data Generation
National Taiwan University（台湾大学）；Taiwan AI Labs（台湾人工智能实验室）
针对对话式密集检索因领域内配对数据获取成本高而难以训练的问题，提出CONVERSER框架，利用大语言模型的上下文学习能力仅需最多6个样本生成合成数据，在OR-QuAC和TREC CAsT 19基准上达到与全监督模型相当的性能。
2023-09-13 cs.CL cs.IR
GRITHopper: Decomposition-Free Multi-Hop Dense Retrieval
Ubiquitous Knowledge Processing Lab (UKP Lab)（普适知识处理实验室（UKP实验室））；Department of Computer Science（计算机科学系）；Hessian Center for AI (hessian.AI)（黑森人工智能中心（hessian.AI））；Technical University of Darmstadt（达姆施塔特工业大学）；cohere（Cohere公司）
GRITHopper-7B通过结合生成和表示指令微调，提出了一种无分解多跳密集检索模型，实现了在分布内和分布外基准上的最佳性能。
2026-01-22 cs.CL cs.IR
