Generating Synthetic Documents for Cross-Encoder Re-Rankers: A Comparative Study of ChatGPT and Human Experts
该研究构建ChatGPT-RetrievalQA数据集,对比ChatGPT与人类生成数据训练的交叉编码器重排序器,发现零样本下LLM生成数据训练的模型效果更优,有监督下人类数据训练的模型更优,验证了LLM生成检索训练数据的潜力。
2023-05-03 cs.IR
Aligning Web Query Generation with Ranking Objectives via Direct Preference Optimization
提出利用直接偏好优化(DPO)将排序信号融入查询生成,以生成高质量合成查询,提升下游检索性能,并在MS MARCO基准上验证了有效性。
2025-05-25 cs.IR
Relevance-Based Embeddings: Lightweight Candidate Retrieval via Heavy-Ranker Calls
研究如何利用昂贵模型分数改进查询和项目表示来选择候选,通过描述查询与支持项目相关性获嵌入,理论证明其有效性,还探讨支持项目选择,实验验证方法强大。
2026-07-07 cs.IR cs.LG
Improving BERT-based Query-by-Document Retrieval with Multi-Task Optimization
按文档查询(QBD)检索是一种信息检索任务,其中种子文档充当查询,目标是检索相关文档--它在专业搜索任务中特别常见。在这项工作中,我们提高了检索效率的BERT重新排名,提出了一个扩展的微调步骤,以更好地利用查询的上下文。为此,我们在微调BERT重排序器时,除了排序目标之外,还使用了一个额外的文档级表示学习目标。在两个QBD检索基准上的实验表明,所提出的多任务优化方法在不改变BERT重排序器或使用额外训练样本的情况下,显著提高了排序效率.在未来的工作中,我们的方法的推广到其他检索任务应进一步调查。
2022-05-23 cs.IR
When More Reformulations Hurt: Avoiding Drift using Ranker Feedback
Stockholm University(斯德哥尔摩大学);L3S Research Center(L3S研究中心);Delft University of Technology(代尔夫特理工大学)
本文提出ReformIR框架,通过预算感知的检索方法,在有限计算下优化改写查询的召回率并抑制漂移,实验表明其在MSMARCO和TREC DL基准上优于现有方法。
2026-05-01 cs.IR
Deep Pairwise Learning To Rank For Search Autocomplete
Amazon Search(亚马逊搜索)
自动完成(又名“查询自动完成”,“AC”)建议根据客户键入的前缀进行完整查询。自动补全已经成为商业搜索引擎的核心功能。在本文中,我们提出了一种新的上下文感知的神经网络为基础的成对排序器(DeepPLTR),以提高AC排名,DeepPLTR利用上下文和行为特征,排名查询,通过最小化成对损失,基于一个完全连接的神经网络结构。与LambdaMART排名器相比,DeepPLTR在离线评估中显示出+3.90%的平均倒数排名(MRR)提升,并在亚马逊的在线A/B实验中产生了+0.06%(p < 0.1)的总销售价值(GMV)提升。
2021-12-22 cs.IR cs.LG
EXS: Explainable Search Using Local Model Agnostic Interpretability
信息检索中的检索模型用于为通常未指定的查询对文档进行排序。如今,机器学习用于从点击日志和/或相关性判断中学习检索模型,以最大化与用户满意度相关的目标。随着这些模型变得越来越强大和复杂,它们也变得越来越难以理解。因此,很难从复杂的训练模型(如神经排名器)中识别训练中的伪影,数据特定的偏见和意图,即使纯粹是在文本特征上训练。EXS是一个专门设计的搜索系统,为用户提供以下问题的洞察力:“根据排名,查询的意图是什么?”','为什么这份文件的排名比另一份高?“和”为什么这份文件与查询有关?'. EXS使用了一种流行的分类器事后解释方法-- LIME,专门用于回答这些问题。我们展示了这样一个系统如何有效地帮助用户理解神经排名的结果,并突出显示改进的领域。
2018-09-11 cs.IR
Empowering Dual-Encoder with Query Generator for Cross-Lingual Dense Retrieval
在单语稠密检索中,大量的工作集中在如何从交叉编码器重排序器到双编码器检索器中提取知识,这些方法由于交叉编码器重排序器的有效性而获得更好的性能。然而,我们发现跨编码器重排序器的性能受到训练样本的数量和负样本的质量的严重影响,这在跨语言设置中很难获得。在本文中,我们提出了使用查询生成器作为教师在跨语言设置,这是较少依赖于足够的训练样本和高质量的负样本。除了传统的知识蒸馏,我们进一步提出了一种新的增强方法,使用查询生成器来帮助双编码器对齐来自不同语言的查询,但不需要任何额外的并行语句。实验结果表明,我们的方法优于国家的最先进的方法在两个基准数据集。
2023-03-27 cs.IR
FRESCO: Benchmarking and Optimizing Re-rankers for Evolving Semantic Conflict in Retrieval-Augmented Generation
Meta Superintelligence Labs(Meta超智能实验室)
FRESCO针对检索增强生成中动态语义冲突问题,评估重排序器在时间动态场景下的性能,发现现有重排序器对较旧文档存在偏见,通过指令优化框架改进了27%的动态知识任务性能。
2026-04-14 cs.AI cs.IR
Hierarchical Re-ranker Retriever (HRR)
watsonx Client Engineering, IBM(IBM watsonx客户工程部门)
提出分层重排序检索器(HRR),通过句子级与512-token中间级文本块切分及重排序,并映射至2048-token父级文本块,平衡细粒度与广泛上下文,为LLM应用提供最优检索方案。
2025-03-04 cs.CL cs.IR
Competitive Retrieval: Going Beyond the Single Query
该研究聚焦多查询竞争检索场景,通过博弈论证明均衡未必存在,实验发现神经排序器比基于特征的排序器更难被操纵提升多查询排名,并提出了预测下一次最高排名文档的有效方法。
2024-04-14 cs.GT cs.IR
Societal Biases in Retrieved Contents: Measurement Framework and Adversarial Mitigation for BERT Rankers
Johannes Kepler University Linz(约翰内斯·开普勒林茨大学);Know-Center GmbH(知识中心有限公司)
社会偏见的共鸣,在信息检索(IR)系统检索的内容,从而加强现有的刻板印象。解决这个问题需要针对检索结果中各种社会群体的代表性制定公平性措施,以及减轻此类偏见的方法,特别是考虑到深度排名模型的进步。在这项工作中,我们首先提供了一个新的框架来衡量的公平性检索的文本内容的排名模型。引入一个排名不可知的测量,该框架还可以从排名的公平性收集的影响解开。为了减轻这些偏见,我们提出了AdvBert,这是一种通过适应对抗性偏见减轻IR来实现的排名模型,它联合学习预测相关性并删除受保护的属性。我们对两个段落检索集合(MSMARCO Passage Re-ranking和TREC深度学习2019 Passage Re-ranking)进行了实验,我们通过对有关性别属性的选定查询子集的公平注释进行了扩展。我们在MSMARCO基准测试上的结果表明,(1)与排名不可知的基线相比,所有排名模型都不太公平,(2)当使用建议的AdvBert模型时,BERT排名的公平性显着提高。最后,我们研究了公平和效用之间的权衡,表明我们可以保持公平的显着改善,而不会有任何显着的效用损失。
2021-05-11 cs.AI cs.IR cs.LG
Generating Natural Language Queries for More Effective Systematic Review Screening Prioritisation
The University of Queensland(昆士兰大学);Leipzig University(莱比锡大学);CSIRO(联邦科学与工业研究组织)
本文针对医学系统评价筛选优先级排序依赖事后最终标题的问题,探索了基于布尔查询和生成式大语言模型生成查询的替代方法,实现了与最终标题相当的有效性。
2023-11-23 cs.AI cs.IR
On the Interpolation of Contextualized Term-based Ranking with BM25 for Query-by-Example Retrieval
基于术语的排序与预先训练的transformer为基础的语言模型最近得到了关注,因为他们带来了上下文的权力,Transformer模型的高效检索。在这项工作中,我们研究了两个深上下文的基于术语的模型在查询的背景下,通过示例(QBE)检索,其中种子文件作为查询,以找到相关的文件的泛化能力。在这种情况下--查询比普通关键字查询长得多--查询时的BERT推理是有问题的,因为它涉及二次复杂度。我们研究了TILDE和TILDEv 2,它们都利用BERT标记器作为查询编码器。使用这种方法,在查询时不需要BERT推理,并且查询可以是任何长度。我们对Sciencebenchmark的四个QBE任务的广泛评估表明,在逐例查询检索设置中,TILDE和TILDEv 2仍然不如交叉编码器BERT排名器有效。然而,我们观察到,BM 25可以显示出竞争力的排名质量相比,TILDE和TILDEV 2这是在对比的结果,这三个模型的相对性能检索短查询报告在以前的工作。这一结果提出了一个问题,使用上下文的基于术语的排名模型是有益的QBE设置。我们通过研究TILDE(TILDEv 2)和BM 25的相关性分数之间的分数插值来跟踪我们的发现。我们的结论是,这两个语境化的基于术语的排名模型捕获不同的相关性信号比BM 25和结合不同的基于术语的排名结果在统计上显着改善QBE检索。我们的工作揭示了检索设置不同于常见的评估基准的…
2022-10-11 cs.IR
REALM: Recursive Relevance Modeling for LLM-based Document Re-Ranking
Rutgers, The State University of New Jersey(新泽西州立罗格斯大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);Oak Ridge National Laboratory(橡树岭国家实验室)
针对现有基于LLM的文档重排序方法存在的排序不确定、top-k召回不稳定及token成本高的问题,提出不确定性感知框架REALM,将相关性建模为高斯分布并通过递归贝叶斯更新优化,在提升排序效果的同时显著降低推理成本与延迟。
2025-10-02 cs.IR
A Multi-level Distillation based Dense Passage Retrieval Model
本文提出基于多级蒸馏的稠密检索模型MD2PR,通过句子级和词语级蒸馏将交叉编码器知识转移至双编码器,并引入动态过滤方法,在两个标准数据集上超越11个基线模型。
2023-12-28 cs.IR
Multilingual Semantic Retrieval for Apple Music Search
Apple(苹果公司)
研究苹果音乐多语言搜索问题,提出基于暹罗双编码器并微调的多语言语义检索系统,经混合检索架构集成。该系统离线和在线测试效果良好,提升了搜索召回率,尤其改善了难查询的表现,是平台较大的搜索质量改进。
2026-07-15 cs.IR
A Multi-Agent Perspective on Modern Information Retrieval
本文针对 LLM 驱动下查询、文档与排序均可由智能体完成的新型 IR 场景,提出多智能体视角,并通过实证表明智能体交互显著影响系统性能,呼吁重建建模与评估框架。
2025-02-20 cs.IR
Beyond Questions: Leveraging ColBERT for Keyphrase Search
针对稠密检索模型不适应关键短语查询的问题,本文利用 LLM 将问题查询转换为关键短语,并训练 ColBERTKP_QD 及低成本 ColBERTKP_Q,验证了 ColBERT 晚交互架构在关键短语搜索中的有效性。
2024-12-04 cs.IR
Optimizing Test-Time Query Representations for Dense Retrieval
Korea University(高丽大学);Princeton University(普林斯顿大学);Google Research(谷歌研究院)
本文提出TOUR方法,利用测试时检索结果和交叉编码器伪标签迭代优化查询表示,可视为Rocchio算法的推广,在开放域问答和段落检索上显著提升性能与效率。
2023-05-28 cs.CL cs.IR
Parameter-Efficient Neural Reranking for Cross-Lingual and Multilingual Retrieval
University of Mannheim(曼海姆大学);University of Cambridge(剑桥大学);University of Würzburg(维尔茨堡大学)
最先进的神经(重新)排名器是出了名的数据饥渴-考虑到缺乏英语以外的语言的大规模训练数据-使得它们很少用于多语言和跨语言检索设置。因此,当前的方法通常通过多语言编码器将在英语数据上训练的排名器转移到其他语言和跨语言设置:它们微调预训练的大规模多语言Transformers(MMT,例如,多语言BERT)对英语相关性判断的影响,然后将它们部署在目标语言中。在这项工作中,我们表明,两个参数有效的跨语言迁移的方法,即稀疏微调掩码(SFTM)和适配器,允许更轻量级,更有效的zero-shot传输到多语言和跨语言检索任务。我们首先通过掩蔽语言建模训练语言适配器(或SFTM),然后训练检索(即,重新排序)适配器(SFTM)在顶部,同时保持所有其他参数固定。在推理时,这种模块化设计允许我们通过应用用源语言数据训练的(重新)排名适配器(或SFTM)以及目标语言的语言适配器(或SFTM)来组成排名器。我们对CLEF-2003和HC 4基准进行了大规模的评估,此外,作为另一个贡献,我们扩展了前者,使用三种新语言进行查询:吉尔吉斯语,维吾尔语和土耳其语。所提出的参数有效的方法优于标准的zero-shot传输与全MMT微调,同时更模块化,减少训练时间。这种收益对于低资源语言尤其明显,在这些语言中,我们的方法也大大优于基于机器翻译的竞争性排名。
2022-09-16 cs.CL cs.IR
RAQG-QPP: Query Performance Prediction with Retrieved Query Variants and Retrieval Augmented Query Generation
University of Glasgow(格拉斯哥大学)
本文提出RAQG-QPP方法,利用历史检索查询作为查询变体,结合大语言模型生成变体,提升神经排序模型的查询性能预测效果,实验表明在TREC DL'19和DL'20上比现有方法提升30%。
2026-04-29 cs.IR
Cross-Document Neural Re-Ranking via Query-Induced Subgraphs
Sapienza University of Rome(罗马第一大学);ISTI-CNR(意大利国家研究委员会信息科学与技术研究所);University of Cambridge(剑桥大学);Istituto Nazionale di Geofisica e Vulcanologia(国家地球物理与火山学研究所);University of Pisa(比萨大学)
提出GNRR框架,利用查询诱导子图和GNN传播跨文档信号,实现线性复杂度重排序,在TREC-DLHard上比TCT-ColBERT提升5.2% AP,优于自注意力方法。
2026-09-15 cs.IR
Single-Turn LLM Reformulation Powered Multi-Stage Hybrid Re-Ranking for Tip-of-the-Tongue Known-Item Retrieval
Missouri University of Science and Technology(密苏里科技大学)
利用单次LLM改写提升多阶段混合重排序,有效提高ToT检索的召回率和排序指标
2026-02-10 cs.IR
IMRNNs: An Efficient Method for Interpretable Dense Retrieval via Embedding Modulation
University of Maryland, Baltimore County(马里兰大学巴尔的摩分校)
IMRNNs通过动态嵌入调节提升密集检索的可解释性和检索效果
2026-01-27 cs.IR
Learning to Route Queries to Heads for Attention-based Re-ranking with Large Language Models
McGill University \& MILA Montreal Canada;McGill University \& MILA
本文提出RouteHead方法,通过学习轻量级路由器选择最优头部集合以提升注意力重排序性能,实验表明优于现有基线。
2026-04-27 cs.AI cs.CL cs.IR
Context-Aware Sentence/Passage Term Importance Estimation For First Stage Retrieval
词频是一种用于识别查询或文档中某个词的重要性的常用方法。但这是一个微弱的信号,特别是当频率分布是平坦的时候,比如在长查询或短文档中,文本是句子/句子长度。本文提出了一个深度上下文化术语权重框架,该框架学习将BERT的上下文化文本表示映射到句子和段落的上下文感知术语权重。当应用于段落时,DeepCT-Index产生的术语权重可以存储在普通的倒排索引中,用于段落检索。当应用于查询文本时,DeepCT-Query生成加权词袋查询。这两种类型的术语权重可以直接用于典型的第一阶段检索算法。这是新颖的,因为大多数基于深度神经网络的排名模型具有更高的计算成本,并且因此限于后期排名器。在四个数据集上的实验表明,DeepCT的深度上下文文本理解大大提高了第一阶段检索算法的准确性。
2019-11-26 cs.IR
Novelty-Aware Agentic Retrieval: Comparing Research Contributions Through Structured Multi-Step Reasoning
University of South Dakota(南达科他大学)
提出新颖性感知研究智能体,通过结构化多步推理增强RAG,实现论文间重叠、差异及问题-方法缺失的对比分析,在100篇论文语料上支持五种结构化比较能力。
2026-06-23 cs.IR
Adaptive Latent Entity Expansion for Document Retrieval
本文针对复杂查询检索提出神经重排序前置、潜在实体扩展(LEE)和自适应重排序池细化三种互补技术,在 TREC Robust 2004 和 CODEC 数据集上显著提升了 NDCG、MAP 和 R@1000。
2023-12-04 cs.IR
CoSearch: Joint Training of Reasoning and Document Ranking via Reinforcement Learning for Agentic Search
Center for Intelligent Information Retrieval, University of Massachusetts Amherst(智能信息检索中心,马萨诸塞大学阿默斯特分校);Snap Inc(Snap公司)
本文提出CoSearch框架,通过群体相对策略优化联合训练推理代理和生成文档排序模型,以解决代理搜索中检索系统性能瓶颈问题,实验表明其在多个问答基准上表现优异。
2026-04-21 cs.AI cs.CL cs.IR
Regulatory Compliance through Doc2Doc Information Retrieval: A case study in EU/UK legislation where text similarity has limitations
EY AI Centre of Excellence in Document Intelligence(安永文档智能卓越人工智能中心);Athens University of Economics and Business(雅典经济与商业大学);Panteion University(潘泰翁大学)
企业历史上的重大丑闻促使人们迫切需要遵守法规,组织需要确保其控制(流程)符合相关法律、法规和政策。然而,跟踪不断变化的立法是困难的,因此组织越来越多地采用监管技术(RegTech)来促进这一过程。为此,我们引入监管信息检索(REG-IR),文档到文档信息检索(DOC 2DOC IR)的应用程序,其中查询是一个完整的文件,使任务更具挑战性比传统的IR的查询是短的。此外,我们根据欧盟指令和英国立法之间的关系编制并发布了两个数据集。我们使用典型的两步管道方法对这些数据集进行实验,该方法包括预取器和神经重排序器。通过在几个BERT模型的表示上使用从BM 25到k个最近邻的各种预取器进行实验,我们表明,在域内分类任务上微调BERT模型可以产生IR的最佳表示。我们还表明,由于监督矛盾,神经重排序器表现不佳,即,具有相反标签的类似查询-文档对。因此,它们偏向于预取器的分数。有趣的是,应用日期过滤器进一步提高了性能,显示了时间维度的重要性。
2021-01-26 cs.CL cs.IR
Beyond [CLS] through Ranking by Generation
Amazon(亚马逊)
生成模型的信息检索,其中排名的文件被视为从一个文件的语言模型生成一个查询的任务,是非常成功的各种IR任务在过去。然而,随着现代深度神经网络的出现,注意力已经转移到对文档和查询的语义相似性进行建模的判别排名函数。最近,GPT2和BART等深度生成模型已被证明是优秀的文本生成器,但它们作为排名器的有效性尚未得到证明。在这项工作中,我们重新审视了生成框架信息检索,并表明我们的生成方法是有效的最先进的基于语义相似性的判别模型的答案选择任务。此外,我们证明了IR的不可能损失的有效性。
2020-10-06 cs.CL cs.IR
Personalized Query Auto-Completion Through a Lightweight Representation of the User Context
eBay Inc.(eBay公司)
查询自动完成(QAC)是在许多领域(包括Web和电子商务搜索)中广泛使用的功能,基于用户键入的前缀建议完整查询。近年来,QAC在文献中得到了广泛的研究,并且一直表明,添加个性化特征可以显着提高QAC的性能。在这项工作中,我们提出了一种新的个性化QAC的方法,使用轻量级的嵌入通过fastText学习。我们构造一个嵌入的用户上下文查询,这是最后几个查询由用户发出。我们还使用相同的模型来获得要排名的候选查询的嵌入。我们引入排名功能,计算候选查询和上下文查询之间的距离在嵌入空间。然后将这些特征与其他常用的QAC排名特征相结合,以学习排名模型。我们将我们的方法应用于大型电子商务搜索引擎(eBay),并表明具有我们提出的功能的排名器在所有测量的离线指标上都显着优于基线,这些指标包括平均倒数排名(MRR),成功率(SR),平均平均精度(MAP)和归一化折扣累积增益(NDCG)。我们的基线包括最受欢迎的完成(MPC)模型以及没有我们提出的功能的排名模型。具有所提出的特征的排名模型在所有度量上都比MPC模型有$20-30\%$改进。对于所有会话,我们获得了比基线排名模型高的$5\%$改进,当我们限制包含用户上下文的会话时,其提高到大约$10\%$。此外,我们提出的功能也显着优于基于文本的个性化功能在文献中研究之前,并添加基于文本的功能,我们提出的基于嵌入的功能的结果只有轻微的改进。
2019-05-03 cs.AI cs.CL cs.IR
Bridging the Gap Between Indexing and Retrieval for Differentiable Search Index with Query Generation
The University of Queensland(昆士兰大学);Microsoft STCA(微软亚洲互联网工程院);Beihang University(北京航空航天大学);Simon Fraser University(西蒙弗雷泽大学)
本文提出 DSI-QG 框架,通过在索引阶段引入查询生成模型生成并筛选的相关查询来表示文档,从而缓解可微搜索索引中索引与检索之间的数据分布不匹配问题,并在单语和跨语言段落检索任务上显著优于原始 DSI 模型。
2023-07-07 cs.CL cs.IR
Document Expansion by Query Prediction
Tandon School of Engineering, New York University(纽约大学坦登工程学院);David R. Cheriton School of Computer Science, University of Waterloo(滑铁卢大学戴维·R·切里顿计算机科学学院);Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所);Center for Data Science, New York University(纽约大学数据科学中心);Facebook AI Research(脸书人工智能研究院)
一种提高搜索引擎检索效率的技术是用与文档内容相关或代表文档内容的术语来扩展文档。从问答系统的角度来看,这可能包括文档可能回答的问题。根据这一观察结果,我们提出了一种简单的方法,该方法预测将针对给定文档发出哪些查询,然后使用由查询和相关文档对组成的数据集进行训练的香草序列到序列模型来扩展这些预测。通过将我们的方法与高效的重新排序组件相结合,我们在两个检索任务中实现了最先进的技术。在延迟临界状态下,单独的检索结果(没有重新排序)接近计算成本更高的神经重新排序器的有效性,但要快得多。
2019-09-25 cs.IR cs.LG
Less is Less: When Are Snippets Insufficient for Human vs Machine Relevance Estimation?
Microsoft(微软)
传统的信息检索(IR)排序模型处理的是文档的全文。然而,基于Transformers的较新模型在处理长文本时会产生很高的计算成本,因此通常只使用文档中的片段。该模型基于文档的URL、标题和片段(UTS)的输入类似于出现在搜索引擎结果页面(SERP)上的摘要,以帮助搜索者决定单击哪个结果。这就提出了这样的问题,即这些摘要何时足以通过排名模型或人类评估者进行相关性估计,以及人类和机器是否以类似的方式从文档的全文中受益。为了回答这些问题,我们研究了基于人类和神经模型的相关性评估,对从Bing搜索日志中采样的12K查询文档进行了评估。我们比较了只有文档摘要和全文也暴露给评估员时相关性评估的变化,研究了一系列查询和文档属性,例如,查询类型、片段长度。我们的研究结果表明,全文是有益的人类和BERT模型相似的查询和文档类型,例如,tail,long queries.然而,仔细观察就会发现,人类和机器对额外输入的反应方式截然不同。添加全文也会损害排名器的性能,例如,用于导航查询。
2022-01-21 cs.AI cs.IR cs.LG
CRAFT: Training-Free Cascaded Retrieval for Tabular QA
Arizona State University(亚利桑那州立大学);Rensselaer Polytechnic Institute(伦塞拉尔理工学院);Microsoft(微软)
CRAFT 提出了一种无训练 cascaded 检索方法,通过稀疏检索模型筛选候选表格后,再用密集模型进行重排序,提升检索质量并在 NQ-Tables 和 OTT-QA 数据集上表现优异。
2026-04-21 cs.CL cs.IR
Incorporating Relevance Feedback for Information-Seeking Retrieval using Few-Shot Document Re-Ranking
Technical University of Darmstadt(达姆施塔特工业大学)
将词汇检索器与神经重排序模型配对在大规模信息检索数据集上具有最先进的性能。该管道涵盖了诸如问答或导航查询之类的场景,然而,对于信息搜索场景,用户通常以点击或显式反馈的形式提供关于文档是否与其查询相关的信息。因此,在这项工作中,我们将探讨如何通过采用Few-Shot和参数有效的学习技术将相关反馈直接集成到神经重排序模型中。具体来说,我们引入了一个kNN的方法,重新排名的文件的基础上,他们的相似性与查询和用户认为相关的文件。此外,我们还探索了交叉编码器模型,我们使用元学习进行预训练,随后针对每个查询进行微调,仅在反馈文档上进行训练。为了评估我们不同的集成策略,我们将四个现有的信息检索数据集转换为相关反馈的情况。大量的实验表明,将相关反馈直接集成到神经重排序模型中可以提高它们的性能,并且将词汇排序与我们表现最好的神经重排序器融合在一起,比所有其他方法都好5.2 nDCG@20。
2022-10-19 cs.CL cs.IR
Promptagator: Few-shot Dense Retrieval From 8 Examples
Google Research(谷歌研究院)
最近关于信息检索的许多研究都集中在如何从一个任务(通常具有丰富的监督数据)转移到监督有限的各种其他任务上,隐含的假设是可以从一个任务推广到所有其他任务。然而,这忽略了一个事实,即有许多不同的和独特的检索任务,每一个目标是不同的搜索意图,查询和搜索域。在本文中,我们建议在Few-Shot稠密检索上工作,在这种设置中,每个任务都有一个简短的描述和一些例子。为了放大几个例子的力量,我们提出了检索器(检索器),它利用大语言模型(LLM)作为一个Few-Shot查询生成器,并根据生成的数据创建特定于任务的检索器。在LLM的泛化能力的支持下,Aptagator可以仅基于几个示例创建特定于任务的端到端检索器,而不使用Natural Questions或MS MARCO来训练%问题生成器或双编码器。令人惊讶的是,不超过8个示例的LLM提示允许双编码器在11个检索集上平均超过1.2 nDCG,超过在MS MARCO(如ColBERT v2)上训练的经过大量工程设计的模型。使用相同的生成数据进一步训练标准尺寸的重新排序器产生另一个5.0点nDCG改善。我们的研究确定,查询生成可以比以前观察到的更有效,特别是当少量的特定于任务的知识。
2022-09-23 cs.CL cs.IR