Interpretable & Time-Budget-Constrained Contextualization for Re-Ranking
搜索引擎在严格的时间限制下运行,因为快速响应对用户满意度至关重要。因此,神经重新排序模型具有有限的时间预算来重新排序文档。在相同的时间内,更快的重新排序模型可以比效率较低的模型包含更多的文档,从而提高效率。为了利用这一属性,我们提出了TK(Transformer-Kernel):一个神经网络重新排名模型的ad-hoc搜索使用一个有效的上下文化机制。TK使用非常少的Transformer层(最多三个)来将查询和文档词嵌入置于上下文中。为了对单个术语的交互进行评分,我们使用了文档长度增强的内核池,这使用户能够深入了解模型。传统知识提供了有效性和效率之间的最佳比例:在现实的时间限制(最大。每个查询200 ms)TK与BERT和其他重排序模型相比达到了最高的效率。我们在三个大规模的排名集合上证明了这一点:MSMARCO-Passage,MSMARCO-Document和TREC CAR。此外,为了深入了解TK,我们进行了聚类查询分析TK的结果,突出其优势和劣势的查询与不同类型的信息需要,我们展示了如何解释的原因,排名差异的两个文件,通过比较其内部分数。
2020-02-04 cs.IR
Sparse Pairwise Re-ranking with Pre-trained Transformers
成对重新排序模型预测两个文档中的哪一个与查询更相关,然后根据这些偏好聚合最终排名。这通常比直接预测每个文档的相关性值的逐点重新排名模型更有效。然而,成对模型的高推理开销限制了它们的实际应用:通常,对于要重新排序的一组$k$文档,聚合所有$k^2-k$比较对(不包括自比较)的偏好。我们调查是否可以提高成对重新排序的效率,从所有对抽样。在一项探索性研究中,我们评估了三种抽样方法和五种偏好聚合方法。最佳组合允许在可接受的检索有效性损失下进行数量级更少的比较,而竞争有效性已经实现了约三分之一的比较。
2022-07-10 cs.IR
Perturbation-Invariant Adversarial Training for Neural Ranking Models: Improving the Effectiveness-Robustness Trade-Off
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);University of Amsterdam(阿姆斯特丹大学)
本研究针对神经排序模型对抗训练中有效性与鲁棒性的权衡问题,通过理论分析分解鲁棒排序误差,提出扰动不变对抗训练方法,实现了更优的有效性-鲁棒性权衡,实验验证其优于现有防御方法。
2023-12-16 cs.CL cs.IR
Rank-DistiLLM: Closing the Effectiveness Gap Between Cross-Encoders and LLMs for Passage Re-Ranking
为弥合蒸馏交叉编码器与教师 LLM 在段落重排序上的有效性差距,作者构建了新数据集 Rank-DistiLLM,通过应用难负样本采样等微调方法,使交叉编码器在达到 LLM 有效性的同时,速度最高提升 173 倍且内存效率提升 24 倍。
2025-04-05 cs.IR
AutoFAS: Automatic Feature and Architecture Selection for Pre-Ranking System
工业搜索和推荐系统大多遵循经典的多阶段信息检索范式:匹配、预排名、排名和重新排名阶段。为了考虑系统效率,通常在预排序阶段部署基于简单向量乘积的模型。最近的工作考虑蒸馏大排名模型的高知识,以更好的效果小预排名模型。然而,在预排名系统中仍然存在两个主要的挑战:(i)在没有显式地对性能增益与计算成本进行建模的情况下,预排名阶段中的预定义延迟约束不可避免地导致次优解决方案;(ii)将排名教师的知识传递给具有预定手工架构的预排名学生仍然遭受模型性能的损失。本文提出了一种新的AutoFAS框架,该框架能够联合优化预排序模型的效率和有效性:(i)AutoFAS首次使用神经结构搜索(NAS)技术同时选择最有价值的特征和网络结构;(ii)在NAS过程期间配备有排名模型引导的奖励,AutoFAS可以为给定的排名教师选择最佳的预排名架构,而无需任何计算开销。在我们的真实世界的搜索系统中的实验结果表明,AutoFAS始终优于以前的国家的最先进的(SOTA)的方法,以较低的计算成本。值得注意的是,我们的模型已被应用于美团搜索系统的预排名模块,带来了显著的改进。
2022-05-19 cs.IR
Improving Noise Robustness for Spoken Content Retrieval using Semi-supervised ASR and N-best Transcripts for BERT-based Ranking Models
基于BERT的重新排序和稠密检索(DR)系统已被证明可以提高语音内容检索(SCR)的搜索效率。然而,这两种方法在使用ASR成绩单时仍然可以显示出与准确的手动成绩单相比的有效性降低。我们发现,一个已知的项目搜索任务的How2数据集的口语教学视频显示减少平均倒数排名(MRR)分数的10- 14%。作为一种潜在的方法,以减少这种差异,我们调查使用半监督ASR成绩单和N-best ASR成绩单,以减轻ASR错误的口语搜索使用BERT为基础的排名。半监督的ASR转录本带来了2-5.5%的MRR改善标准的ASR转录本和我们的N-best早期融合方法的BERT DR系统的MRR提高了3- 4%。将半监督转录本与用于BERT DR的N-best早期融合相结合,将手动和ASR转录本之间的搜索效率的MRR差距从14.32%减少到6.58%,减少了50%以上。
2023-01-15 cs.IR
Demystifying Core Ranking in Pinterest Image Search
Pinterest图片搜索引擎每天帮助数亿用户发现有趣的内容。这激励我们通过改进排名技术来提高图像搜索质量。在这项工作中,我们分享了我们如何实际设计和部署各种排名管道到Pinterest图像搜索生态系统中。具体而言,我们着重介绍了我们的新的研究和研究三个方面:训练数据,用户/图像特征化和排名模型。广泛的离线和在线研究比较了不同模型的性能,并证明了我们最终推出的排名模型的效率和有效性。
2018-03-26 cs.IR
Improving Efficient Neural Ranking Models with Cross-Architecture Knowledge Distillation
检索和排名模型是许多应用程序的支柱,如Web搜索,开放域QA,或基于文本的推荐系统。神经排名模型在查询时的延迟在很大程度上取决于其设计者的架构和故意选择,以权衡效率以获得更高的效率。这种对越来越多的高效排名架构的低查询延迟的关注使它们适用于生产部署。在机器学习中,一种越来越常见的方法来缩小更高效模型的有效性差距,即将知识蒸馏从大型教师模型应用到较小的学生模型。我们发现,不同的排名架构往往会产生不同幅度的输出分数。基于这一发现,我们提出了一个跨架构的培训过程与利润集中损失(边际MSE),适应知识蒸馏不同的分数输出分布的不同BERT和非BERT通过排名架构。我们将可教信息作为额外的细粒度标签应用于MSMARCO通道集合的现有训练三元组。我们评估我们的过程中提取知识从国家的最先进的级联BERT模型到四个不同的有效架构(TK,ColBERT,PreTT,和一个BERT CLS点积模型)。我们表明,在我们评估的架构,我们的边际MSE知识蒸馏显着提高重新排名的有效性,而不影响其效率。此外,我们展示了我们的一般蒸馏方法,以改善最近邻索引检索与BERT点积模型,提供有竞争力的结果与专业和更昂贵的训练方法。为了使社区受益,我们将教师评分培训文件发布在一个现成的软件包中。
2021-01-22 cs.IR
MICE: Minimal Interaction Cross-Encoders for efficient Re-ranking
Sinequa by ChapsVision(ChapsVision旗下Sinequa);Univ. Toulouse, IRIT, CLLE, CNRS(图卢兹大学,IRIT,CLLE,CNRS);Sorbonne Université, CNRS, ISIR(索邦大学,CNRS,ISIR)
研究针对交叉编码器推理成本高的问题,提出MICE架构,通过去除有害或不必要交互,将加速交叉编码器推理与提升一级检索效果两种方法结合,评估显示其降低推理延迟四倍,效果良好。
2026-09-01 cs.IR
Weighted KL-Divergence for Document Ranking Model Refinement
本文提出一种对比式加权 KL 散度损失,用于在知识蒸馏中优先对齐教师与学生模型以更好区分正负文档,并在 MS MARCO 和 BEIR 上验证其有效性。
2024-06-10 cs.IR
Entity-Duet Neural Ranking: Understanding the Role of Knowledge Graph Semantics in Neural Information Retrieval
本文提出了一种将知识图谱引入神经搜索系统的神经元排序模型EDRM。EDRM通过它们的单词和实体注释来表示查询和文档。知识图谱的语义被集成在其实体的分布式表示中,而排名由基于交互的神经网络进行。这两个组件是端到端学习的,使EDRM成为面向实体的搜索和神经信息检索的自然组合。我们在商业搜索日志上的实验证明了EDRM的有效性。我们的分析表明,知识图谱语义显着提高神经排序模型的泛化能力。
2018-06-03 cs.IR
A Setwise Approach for Effective and Highly Efficient Zero-shot Ranking with Large Language Models
CSIRO(联邦科学与工业研究组织);Google Research(谷歌研究院);The University of Queensland(昆士兰大学)
提出 Setwise prompting 零样本文档排序方法,通过减少 LLM 推理次数和 token 消耗,在保持高有效性的同时显著提升基于 LLM 的零样本排序效率。
2024-05-30 cs.AI cs.IR
Mind Your Language: Effects of Spoken Query Formulation on Retrieval Effectiveness
语音搜索正在成为与搜索引擎交互的流行模式。因此,研究已经转向构建更好的语音转录引擎、界面和搜索引擎,以更好地处理查询的固有冗长性。然而,当人们考虑其使用的非母语的英语,另一个方面,变得重要的是制定的查询用户。在本文中,我们提出了一个初步的研究结果,我们进行了与非英语母语的人制定查询给定的检索任务。我们的研究结果表明,目前的搜索引擎是敏感的,在他们的排名查询制定,从而突出了需要开发更强大的排名方法。
2013-12-14 cs.IR
Unconfounded Propensity Estimation for Unbiased Ranking
本文从因果视角揭示现有无偏学习排序算法存在倾向性高估问题,提出基于后门调整的学习目标及日志策略感知倾向性模型,实现无混杂倾向性估计并提升排序性能。
2023-07-08 cs.IR
IntTower: the Next Generation of Two-Tower Model for Pre-Ranking System
在几毫秒内精确地对大量候选人进行评分对于工业预排名系统至关重要。现有的预排名系统主要采用\textbf{two-tower}模型,因为"用户-项目解耦架构“范例能够平衡\textit{efficiency}和\textit{effectiveness}。然而,高效率的代价是忽略了用户和项目塔之间潜在的信息交互,严重阻碍了预测的准确性。在本文中,我们证明了设计一个强调信息交互和推理效率的双塔模型是可能的。提出的模型,IntTower(简称\textit{Interaction enhanced Two-Tower}),包括轻SE,FE块和CIR模块。具体而言,轻量级Light-SE模块用于识别不同特征的重要性,并在每个塔中获得精细的特征表示。FE-Block模块执行细粒度和早期特征交互以显式地捕获用户和项目塔之间的交互信号,CIR模块利用对比交互正则化来进一步隐式地增强交互。在三个公开数据集上的实验结果表明,IntTower的性能明显优于SOTA预排名模型,甚至达到了与排名模型相当的性能。此外,我们进一步验证了IntTower在大规模广告预排名系统上的有效性。IntTower的代码是公开的\footnote{https://github.com/archersama/IntTower}
2022-10-18 cs.IR
Open-source Large Language Models are Strong Zero-shot Query Likelihood Models for Document Ranking
CSIRO(联邦科学与工业研究组织);The University of Queensland(昆士兰大学)
本文研究仅预训练未微调的开源LLMs作为零样本查询似然模型的文档排序能力,发现额外指令微调可能降低效果,并提出结合LLM-QLM与混合检索器的先进排序系统。
2023-10-20 cs.CL cs.IR
Efficient and Effective Tree-based and Neural Learning to Rank
本专著全面综述了排序与检索领域的效率与有效性研究,探讨了神经网络与决策森林排序模型间的联系与挑战,并指出了未来重要研究方向。
2023-05-15 cs.IR
A Learnable Fully Interacted Two-Tower Model for Pre-Ranking System
针对双塔预排序模型缺乏信息交互导致有效性不足的问题,提出可学习全交互双塔模型(FIT),通过MQM和LSS模块实现高效的早期与后期特征交互,在保证推理效率的同时显著提升了模型性能。
2025-09-16 cs.IR
The Power of Selecting Key Blocks with Local Pre-ranking for Long Document Information Retrieval
在广泛的自然语言处理和信息检索任务中,基于transformer的模型,特别是像BERT这样的预训练语言模型,已经证明了巨大的有效性。然而,由于自我注意力机制的二次复杂性,这种模型难以处理长文档。最近的作品处理这个问题包括截断长文档,在这种情况下,一个丢失潜在的相关信息,分割成几个段落,这可能会导致错过一些信息和高计算复杂性时,通道的数量是大的,或修改的自我注意力机制,使其稀疏的稀疏注意力模型,在风险再次丢失一些信息。我们在这里遵循一个略有不同的方法,其中首先选择一个长文档的本地查询块预排名的关键块,然后几个块被聚合,形成一个短的文档,可以处理的模型,如BERT。在标准信息检索数据集上的实验表明了该方法的有效性。
2022-10-15 cs.IR
RankTower: A Synergistic Framework for Enhancing Two-Tower Pre-Ranking Model
RankTower提出一种协同双塔预排序框架,通过混合训练目标从级联全阶段学习,在保持解耦推理效率的同时提升排序能力,在公共数据集上显著优于现有模型。
2024-07-17 cs.IR
Fast Passage Re-ranking with Contextualized Exact Term Matching and Efficient Passage Expansion
基于BERT的信息检索模型在时间(查询延迟)和计算资源(能量、硬件成本)方面都是昂贵的,使得这些模型中的许多模型特别是在资源约束下不切实际。依赖于仅执行标记化的查询编码器和在索引时对通道表示的预处理,允许最近提出的TILDE方法克服基于BERT的模型的典型的高查询延迟问题。然而,这是以与其他基于BERT的重排序器和密集检索器相比效率较低为代价的。此外,原始的TILDE方法的特点是索引具有非常高的内存占用,因为它将每个段落扩展到BERT词汇表的大小。在本文中,我们提出了TILDEv2,一个新的模型,源于原来的TILDE,但解决了其局限性。TILDEv2依赖于与扩展段落的上下文化精确术语匹配。这需要在索引中只存储出现在扩展段落中的标记的分数(而不是所有词汇),从而产生比TILDE小99%的索引。这种匹配机制还将排名效率提高了24%,而不会增加查询延迟。这使得TILDEv2成为仅CPU环境中最先进的通道重新排序方法,能够在商用硬件上将查询延迟保持在100 ms以下。
2021-09-13 cs.IR
Inferring Conceptual Relationships When Ranking Patients
基于患者的医疗记录的相关性来搜索患者是具有挑战性的,因为患者的医疗记录和查询中固有的隐含知识。这样的知识对于医学从业者是已知的,但是可以对搜索系统隐藏。举例来说,在搜寻心脏病患者时,医生通常知道服用胺碘酮药物的患者是相关的,因为这种药物是用于对抗心脏病的。在这篇文章中,我们认为,利用这种隐含的知识,提高了检索的有效性,因为它提供了新的证据来推断患者的医疗记录对查询的相关性。具体而言,建立在现有的概念表示的医疗记录和查询,我们提出了一种新的扩展查询,推断额外的概念关系,从特定领域的资源,以及通过提取信息的概念,从排名靠前的患者的医疗记录。我们在TREC 2011年和2012年医疗记录跟踪的背景下评估我们提出的方法的检索有效性。我们的研究结果表明,我们的方法来模拟患者搜索的隐式知识的有效性,从而检索性能显着提高了一个有效的概念表示基线和现有的语义查询扩展基线。此外,我们提供了一个分析的类型的查询,所提出的方法可能是有效的。
2017-02-01 cs.IR
Personalized Search Via Neural Contextual Semantic Relevance Ranking
本文提出一种神经学习框架,通过结合词汇表示和语义嵌入建模文档内容与用户查询上下文的关系,利用个性化上下文信号优化文档排序,有效提升了个性化搜索效果。
2023-09-10 cs.IR
Beyond Reproducibility: Advancing Zero-shot LLM Reranking Efficiency with Setwise Insertion
University of Amsterdam(阿姆斯特丹大学)
本研究复现并扩展了Zhuang等人的Setwise提示零样本排序方法,提出Setwise插入法,利用初始排序先验减少冗余比较,在多种LLM上实现查询时间降31%、推理次数降23%且效果微升,提升零样本重排序效率。
2025-04-09 cs.AI cs.IR
Slate-Aware Ranking for Recommendation
我们看到了石板推荐系统的广泛采用,其中根据用户兴趣和项目内容将有序的项目列表提供给用户。对于每个推荐,用户可以从列表中选择一个或多个项目以进行进一步的交互。在这种情况下,项目之间的相互影响对用户行为的重大影响是很好理解的。现有的推荐方法在推荐系统的排序阶段之后增加了一个重新排序的步骤,该步骤考虑了被推荐项目之间的相互影响来重新排序并生成推荐结果,以最大化期望的总体效用。然而,为了模拟多个推荐项目的复杂交互,由于有限的硬件资源和系统延迟的限制,重新排序阶段通常只能处理几十个候选项。因此,排名阶段对于大多数应用程序来说仍然是必不可少的,以便为重新排名阶段提供高质量的候选集。在本文中,我们提出了一个解决方案命名为Slate-Aware排名(SAR)的排名阶段。通过隐式地考虑候选项之间的关系,它显著地提高了重新排序阶段的候选集的质量,并提高了整个推荐系统的相关性和多样性。在公开数据集上的实验和内部在线A/B测试都验证了该方法的有效性。
2023-02-24 cs.IR
Distilling Dense Representations for Ranking using Tightly-Coupled Teachers
University of Waterloo(滑铁卢大学)
我们提出了一种方法来排名与密集表示,应用知识蒸馏,以改善最近提出的后期互动ColBERT模型。具体来说,我们从ColBERT的表达MaxSim运算符中提取知识,用于计算相关性分数到一个简单的点积中,从而实现单步ANN搜索。我们的关键见解是,在蒸馏过程中,教师模型和学生模型之间的紧密耦合可以实现更灵活的蒸馏策略,并产生更好的学习表示。我们的经验表明,我们的方法提高了查询延迟,大大降低了ColBERT的繁重的存储要求,而在有效性方面只作出适度的牺牲。通过将我们的密集表示与来自文档扩展的稀疏表示相结合,我们能够接近使用慢几个数量级的BERT的标准交叉编码器重排序器的有效性。
2020-10-22 cs.CL cs.IR
An In-depth Analysis of Passage-Level Label Transfer for Contextual Document Ranking
本文分析文档切分与段落级标签迁移对检索效果和效率的影响,提出弱监督段落标注方案,在四个数据集上以可控复杂度取得3%–14%的nDCG提升。
2023-12-06 cs.IR
Repeatability Corner Cases in Document Ranking: The Impact of Score Ties
文档排序实验应该是可重复的。然而,在检索过程中,多线程索引和分数关系之间的交互可能会产生不确定的排名,使得可重复性不像人们想象的那样微不足道。在开源Lucene搜索引擎的上下文中,分数关系被内部文档ID打破,这些ID在索引时分配。由于多线程索引使得对大型现代文档集合的实验变得实用,内部文档id在同一集合的不同索引实例之间没有一致地分配,因此分数关系不可预测地被打破。这篇简短的论文探讨了这种分数关系的有效性影响,量化了可归因于这种现象的可变性。解决这种不确定性并确保可重复的文档排序的一个显而易见的解决方案是使用外部集合文档id打破分数限制。但是,这种方法会带来可衡量的效率成本,因为在查询评估期间必须咨询外部标识符。
2019-09-02 cs.IR
Pretraining De-Biased Language Model with Large-scale Click Logs for Document Ranking
预训练语言模型在各种大规模信息检索任务中取得了巨大的成功。然而,大多数预训练任务是基于伪造的检索数据,其中定制规则产生的查询被假设为用户对给定文档或段落发出的查询。因此,我们探索使用大规模点击日志来预训练语言模型,而不是对模拟查询进行回复。具体来说,我们建议使用用户行为特征来预训练一个用于文档排序的去偏见语言模型。对百度脱敏点击日志的大量实验验证了我们方法的有效性。我们的团队在WSDM Cup 2023网络搜索预训练中以12.16525的折扣累积增益@10(DCG@10)得分在最终排行榜上获得第一名。
2023-02-27 cs.IR
UniSGR: Unified Framework for Semantic ID Generation and Ranking
Alibaba International Digital Commerce Group(阿里巴巴国际数字商业集团)
针对推荐系统中生成式检索的多目标排序问题,提出UniSGR框架。采用两阶段训练范式,引入任务感知令牌和语义树注意力策略,实验证明其有效性和可扩展性。
2026-07-07 cs.IR
SPLADE: Sparse Lexical and Expansion Model for First Stage Ranking
在神经信息检索中,正在进行的研究是针对改进排名管道中的第一检索器。学习密集嵌入进行检索使用有效的近似最近邻方法已被证明工作良好。与此同时,人们对学习文档和查询的稀疏表示越来越感兴趣,这可以继承词袋模型的理想属性,例如术语的精确匹配和倒排索引的效率。在这项工作中,我们提出了一个新的第一阶段排名的基础上显式稀疏正则化和对数饱和效应的长期权重,导致高度稀疏表示和竞争力的结果相对于国家的最先进的密集和稀疏的方法。我们的方法很简单,在单个阶段进行端到端培训。我们还探讨了有效性和效率之间的权衡,通过控制稀疏正则化的贡献。
2021-07-12 cs.IR
Co-BERT: A Context-Aware BERT Retrieval Model Incorporating Local and Query-specific Context
基于BERT的文本排序模型极大地提高了自组织检索的最新水平,其中大多数模型倾向于独立地考虑单个查询-文档对。与此同时,在排名模型中考虑跨文档交互和查询特定特征的重要性和有用性已被反复证实,主要是在学习排序的背景下。然而,基于BERT的排名模型还不能完全结合这两种类型的排名上下文,从而忽略了来自排名的文档间关系和查询之间的差异。为了缓解这一差距,在这项工作中,一个端到端的基于转换器的排名模型,名为共同BERT,已提出利用几个BERT架构校准查询文档表示使用伪相关反馈建模前的一组文档的相关性联合。在两个标准测试集上进行的大量实验证实了所提出的模型在提高文本重排序性能方面的有效性。我们计划使我们的实现开源,以便进行进一步的比较。
2021-04-17 cs.IR
Exploring Classic and Neural Lexical Translation Models for Information Retrieval: Interpretability, Effectiveness, and Efficiency Benefits
Bosch Center for Artificial Intelligence(博世人工智能中心);Carnegie Mellon University(卡内基梅隆大学)
我们研究了词汇翻译模型(IBM Model 1)在英语文本检索中的实用性,特别是其端到端训练的神经变体。我们使用神经模型1作为聚合器层,应用于上下文无关或上下文化的查询/文档嵌入。这种设计神经排序系统的新方法在有效性、效率和可解释性方面都有好处。具体来说,我们表明,在基于BERT的上下文嵌入之上添加可解释的神经模型1层(1)不会降低准确性和/或效率;(2)可以克服现有BERT模型的最大序列长度限制。与上下文无关的神经模型1不如基于BERT的排名模型有效,但它可以在CPU上高效运行(无需对大型张量进行昂贵的索引时预计算或查询时操作)。使用模型1,我们在2020年底的MS MARCO文档排序排行榜上产生了最佳神经和非神经运行。
2021-03-17 cs.CL cs.IR
Contrastive Learning of User Behavior Sequence for Context-Aware Document Ranking
事实证明,搜索会话中的上下文信息对于捕获用户搜索意图非常有用。现有的研究探讨了用户行为序列在会话中以不同的方式,以提高查询建议或文档排序。然而,用户行为序列通常被视为反映用户行为的明确且准确的信号。实际上,它是高度可变的:用户对同一意图的查询可能会有所不同,并且可以单击不同的文档。为了学习一个更强大的表示用户的行为序列,我们提出了一种基于对比学习的方法,它考虑到用户的行为序列的可能变化。具体来说,我们提出了三个数据增强策略,以产生类似的用户行为序列的变体,并将它们与其他序列进行对比。在这样做时,模型被迫在可能的变化方面更加稳健。将优化后的序列表示方法引入到文档排序中。在两个真实查询日志数据集上的实验表明,该模型的性能明显优于现有的方法,证明了该方法在上下文感知文档排序中的有效性.
2021-08-24 cs.IR
Contextual Dual Learning Algorithm with Listwise Distillation for Unbiased Learning to Rank
ICT, CAS(中国科学院信息技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对现有无偏排序学习方法在真实点击数据上性能不明的问题,提出带列表式蒸馏的上下文对偶学习算法CDLA-LD,同时解决位置与上下文偏置,在百度搜索日志子集数据集上验证了有效性。
2024-08-19 cs.AI cs.IR
Ranking of Wikipedia articles in search engines revisited: Fair ranking for reasonable quality?
本文的目的是审查激烈讨论的问题,是否排名维基百科的文章在搜索引擎是合理的文章的质量。在概述了当前维基百科信息质量的研究之后,总结了关于维基百科条目质量的扩展讨论。在此基础上,提出了一种评价维基百科条目的探试法,并将其应用于在搜索引擎检索有效性测试中得分较高的维基百科条目,并与陪审员的相关性判断进行比较。在所有测试的搜索引擎中,陪审员一致认为维基百科的结果比相应结果位置上的其他结果更好。相关性判断通常与启发式评价的结果大致一致。高相关性判断不符合启发式评估的相对低分数的情况被解释为维基百科高度信任的指标。维基百科的系统性缺陷之一在于其不连贯的用户模型。进一步调整建议的标准目录,例如对所提供的标准进行不同的加权,可以作为维基百科条目的用户模型差异化评估的起点。本文将参考文献质量评价方法应用于维基百科条目,并与搜索引擎评价问题相结合。
2011-09-05 cs.IR
COPR: Consistency-Oriented Pre-Ranking for Online Advertising
Alibaba Group(阿里巴巴集团)
针对在线广告级联架构中预排序与排序模型结果不一致的问题,提出一致性导向预排序框架COPR,通过分块采样、排序对齐模块及ΔNDCG加权机制优化ECPM排序一致性,在淘宝广告系统实现CTR和RPM显著提升。
2023-10-09 cs.IR cs.LG
Cascade Ranking for Operational E-commerce Search
在“大数据”时代,许多现实世界的应用程序,如搜索,涉及大量项目的排名问题。重要的是获得有效的排名结果,同时及时有效地获得结果,以提供良好的用户体验并节省计算成本。有价值的先前研究已经进行了学习,以有效地排名,如级联排名(学习)模型,它使用一系列的排名功能,逐步过滤一些项目和排名的其余项目。然而,大多数现有的研究学习,以有效地排名在搜索中的研究是在一个相对较小的计算环境中模拟用户查询。本文提出了新的研究和深入的研究设计和部署的级联模型在大规模运营的电子商务搜索应用程序(CLOES),处理数以亿计的用户查询,每天数百台服务器。现实世界应用的挑战为研究提供了新的见解:1)。现实世界的搜索应用通常涉及关于用户体验和计算成本的偏好或约束的多个因素,诸如搜索准确性、搜索延迟、搜索结果的大小和总CPU成本,而大多数现有的搜索解决方案仅解决一个或两个因素; 2)。电子商务搜索的有效性涉及用户的多种行为,如点击和购买,而大多数现有的搜索级联排名仅模型的点击行为。基于这些观察,一个新的级联排名模型的设计和部署在一个可操作的电子商务搜索应用。一组广泛的实验表明,所提出的工作,以解决在现实世界中的应用程序的有效性,效率和用户体验的多个因素的优势。
2017-06-07 cs.IR stat.ML
Hybrid Retrieval and Multi-stage Text Ranking Solution at TREC 2022 Deep Learning Track
Alibaba Group(阿里巴巴集团(Alibaba Group))
针对TREC 2022深度学习赛道任务,提出融合稀疏与稠密检索的混合检索方案,搭配全交互排序模型加轻量子排序模块的多阶段排序方法,在段落、文档排序测试集上分获第1、第4名。
2023-08-23 cs.CL cs.IR
Intra-Document Cascading: Learning to Select Passages for Neural Document Ranking
TU Wien(维也纳工业大学);Microsoft(微软);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
一种用于实现神经文档重新排序中的最新有效性的新方法涉及利用大型预训练的语言模型-例如,BERT -评估文档中的所有单独段落,然后通过池化或其他Transformer层聚合输出。这种方法的一个主要缺点是由于使用BERT评估文档中的每个段落的成本而导致的高查询延迟。更糟糕的是,这种高推理成本和延迟根据文档的长度而变化,更长的文档需要更多的时间和计算。为了应对这一挑战,我们采用了一种文档内级联策略,该策略在运行一个更昂贵和更有效的评分模型(称为ETM)之前,使用一个更便宜的模型(称为ESM)修剪候选文档的段落。我们发现最好通过从ETM(有效教师模型的简称)中提取知识蒸馏来训练ESM(有效学生模型的简称),例如,BERT。这种修剪允许我们只在较小的段落集上运行ETM模型,这些段落的大小不随文档长度而变化。我们在MS MARCO和TREC深度学习跟踪基准上的实验表明,所提出的文档内级联排名模型(IDCM)通过提供与最先进的基于BERT的文档排序模型基本相同的有效性,导致查询延迟降低400%以上。
2021-05-20 cs.CL cs.IR
The Surprising Effectiveness of Rankers Trained on Expanded Queries
L3S Research Center(L3S研究中心);Delft University of Technology(代尔夫特理工大学);University of Stavanger(斯塔万格大学)
本文针对困难查询排序问题,提出用 LLM 基于相关文档丰富训练查询并训练专用排序器,再结合基础排序器与查询性能分数,在 DL-Hard 上显著超过基线及 SOTA。
2024-06-12 cs.AI cs.IR
Understanding the Behaviors of BERT in Ranking
Tsinghua University(清华大学);Microsoft Research(微软研究院)
研究了BERT在排序任务中的性能和行为。我们探索了几种不同的方法来利用预训练的BERT,并在两个排名任务上对其进行微调:MS MARCO段落重新排名和TREC Web Track ad hoc文档排序。在MS MARCO上的实验结果证明了BERT在问答式段落排序任务中的有效性,同时也证明了BERT是一种基于强交互的seq2seq匹配模型。TREC上的实验结果显示了在周围上下文上预训练的BERT与ad hoc文档排序的需求之间的差距。分析说明了BERT如何在其Transformer层中的查询文档标记之间分配注意力,它如何偏好释义标记之间的语义匹配,以及这与点击训练的神经排名器学习的软匹配模式有何不同。
2019-04-26 cs.CL cs.IR
Affect Enriched Word Embeddings for News Information Retrieval
Adobe(奥多比)
词的分布式表示已被证明是有用的,以提高效率的IR系统在许多子任务,如查询扩展,检索和排名。像word 2 vec、GloVe等算法也是不同NLP任务中许多改进的关键因素。这种嵌入模型的一个常见问题是,像快乐和悲伤这样的词出现在类似的上下文中,因此在嵌入空间中被错误地聚集在一起。在本文中,我们利用Aff 2 Vec,一组词嵌入模型,其中包括影响信息,以更好地捕捉新闻文本中的影响方面,以实现更好的结果在信息检索任务,也这样的嵌入是由同义词/反义词的问题较少击中。我们评估其有效性的两个IR相关的任务(查询扩展和排名)在纽约时报数据集(TREC-core '17)比较他们对其他词嵌入为基础的模型和经典的排名模型。
2019-09-04 cs.CL cs.IR
A Reproducibility Study of PLAID
University of Glasgow(格拉斯哥大学);University of Pisa(比萨大学)
本文复现了ColBERTv2的PLAID算法,发现其参数平衡敏感;对比BM25重排序基准表明,引入邻居的重排序方法在效率与效果权衡上极具竞争力,并揭示了PLAID聚类多与单一词元对齐的特性。
2024-04-23 cs.CL cs.IR
BiRD: A Bidirectional Ranking Defense Mechanism for Retrieval Augmented Generation
Wuhan University(武汉大学);Naval University of Engineering(海军工程大学);Xi’an Jiaotong-Liverpool University(西交利物浦大学)
本文提出BiRD,一种基于双向排序的防御机制,通过双信号框架提升检索增强生成系统的效率和鲁棒性,有效降低对抗攻击成功率并提高任务准确性。
2026-05-19 cs.CR cs.IR
piRank: A Probabilistic Intent Based Ranking Framework for Facebook Search
Meta Inc.(Meta公司)
虽然在文献中已经进行了大量的研究,探索不同类型的机器学习方法的搜索排名,他们中的大多数都集中在特定的预定义的问题,但只有少数人研究了排名框架,可以应用在商业搜索引擎中的可扩展的方式。与此同时,现有的排名模型通常针对归一化折扣累积收益(NDCG)或在线点击率(CTR)进行优化,并且这两种类型的机器学习模型都是基于这样的假设构建的:高质量的训练数据可以很容易地获得并很好地应用于未知案例。在Facebook搜索的实践中,我们观察到我们的ML模型的训练数据存在某些问题。首先,尾部查询意图在我们的人类评级数据集中几乎没有覆盖。其次,搜索点击日志往往是嘈杂的,很难清理,由于各种原因。为了解决上述问题,在本文中,我们提出了一个基于概率意图的排名框架(简称piRank),它可以:1)提供可扩展的框架,以分而治之的方式解决针对不同查询意图的各种排名问题; 2)提高系统开发敏捷性,包括迭代速度和系统可调试性; 3)以系统的方式结合机器学习和基于数学的算法方法。我们在Facebook搜索引擎系统上进行了大量的实验和研究,并验证了这种新的排名架构的有效性。
2022-03-27 cs.IR cs.LG
From Easy to Hard: A Dual Curriculum Learning Framework for Context-Aware Document Ranking
University of Montreal(蒙特利尔大学);University of Cambridge(剑桥大学);Renmin University of China(中国人民大学);Huawei Poisson Lab(华为泊松实验室)
搜索会话中的上下文信息对于捕获用户的搜索意图是重要的。已经提出了各种方法来对用户行为序列进行建模以改进会话中的文档排序。通常,(搜索上下文,文档)对的训练样本在每个训练时期中随机采样。在现实中,理解用户的搜索意图和判断文档的相关性的难度在不同的搜索上下文之间有很大的差异。混淆不同难度的训练样本可能会混淆模型的优化过程。在这项工作中,我们提出了一个课程学习框架上下文感知的文档排序,其中的排名模型学习搜索上下文和候选文件之间的匹配信号,在一个容易到困难的方式。在这样做的过程中,我们的目标是引导模型逐渐走向全局最优。为了利用正面和负面的例子,设计了两个课程。在两个真实查询日志数据集上的实验表明,该框架可以显著提高现有方法的性能,证明了课程学习在上下文感知文档排序中的有效性.
2022-09-15 cs.AI cs.IR
Exploring the Effectiveness of Multi-stage Fine-tuning for Cross-encoder Re-rankers
University of Pisa(比萨大学);University of Glasgow(格拉斯哥大学)
本研究系统比较了交叉编码器重排序器在单阶段与多阶段微调下的效果,发现对比学习单阶段微调即可达到与多阶段方法相当的性能。
2025-03-28 cs.AI cs.IR
RRADistill: Distilling LLMs' Passage Ranking Ability for Long-Tail Queries Document Re-Ranking on a Search Engine
Emory University(埃默里大学);Naver Corporation(Naver公司)
RRADistill提出高效标签生成流程与新型sLLM训练方法,通过词项控制层和排序层蒸馏LLM排序能力,并在韩语搜索平台A/B测试中验证其提升长尾查询重排序效果。
2024-11-21 cs.AI cs.IR cs.LG
ResRank: Unifying Retrieval and Listwise Reranking via End-to-End Joint Training with Residual Passage Compression
Qwen Applications Business Group of Alibaba(阿里巴巴Qwen应用业务组)
ResRank通过端到端联合训练与残差段落压缩技术,解决传统重排序方法中输入长度增加导致的排名质量下降和推理延迟问题,实现高效且有效的检索与重排序统一。
2026-04-24 cs.AI cs.IR
Graph-Embedding Empowered Entity Retrieval
在这项研究中,我们改进了目前的艺术实体检索的结果列表使用图嵌入重新排名。本文表明,图嵌入是有用的面向实体的搜索任务。我们的经验表明,编码信息从知识图谱到(图)嵌入有助于更高的增加实体检索结果的有效性比使用普通的词嵌入。我们分析了实体链接器的准确性对整体检索效果的影响。我们的分析进一步部署集群假设来解释观察到的优势,图嵌入更广泛使用的词嵌入,用户任务涉及排名实体。
2020-05-06 cs.CL cs.IR
DREQ: Document Re-Ranking Using Entity-based Query Understanding
University of Edinburgh(爱丁堡大学);University of Glasgow(格拉斯哥大学)
本文提出面向实体的稠密重排序模型DREQ,通过强化查询相关实体并削弱无关实体构建查询特定的混合文档表示,在四个基准上超越现有神经与非神经重排序方法。
2024-01-11 cs.AI cs.IR
Optimizing Sponsored Search Ranking Strategy by Deep Reinforcement Learning
alibaba-inc(阿里巴巴集团);taobao(淘宝);sjtu(上海交通大学)
赞助搜索是几乎所有搜索引擎不可或缺的商业模式和主要收入来源。从广告商的角度来看,通过为赞助搜索广告付费来参与对搜索结果的排名以吸引更多的认知和购买,有助于他们的商业目标。从用户角度来看,呈现反映其倾向的个性化广告将使他们的在线搜索体验更加令人满意。赞助搜索平台通过排名函数对广告进行排名,以确定要显示的广告列表和广告主的收费价格。因此,找到一个好的排名函数,可以同时满足平台,用户和广告商是至关重要的。此外,在来自不同用户的不同查询下示出位置的广告可能与不同投标价格分布和点击概率分布的广告候选相关联,这要求排名函数自适应地优化以适应业务特性。在这项工作中,我们提出了一个通用的框架来优化排名功能的深度强化学习方法。该框架由两部分组成:离线学习部分,其通过从模拟广告环境学习来验证排名函数,允许在不损害商业平台性能的情况下充分探索排名函数参数空间。在线学习部分,其通过适应在线数据分布来进一步优化排名功能。在大规模赞助搜索平台上的实验结果验证了该方法的有效性。
2018-03-26 cs.AI cs.IR cs.LG
Rethinking Large-scale Pre-ranking System: Entire-chain Cross-domain Models
针对预排序系统忽略整链路数据依赖导致样本选择偏差的问题,提出整链路跨域模型ECM及细粒度结构ECMM,利用全级联阶段样本并引入L0正则化路由,在真实流量日志上超越SOTA且保持时间消耗可接受。
2023-10-12 cs.AI cs.IR cs.LG