A Multi-task Learning Framework for Product Ranking with BERT
产品排名是许多电子商务服务的重要组成部分。产品搜索的主要挑战之一是查询和产品之间的词汇不匹配,这可能是一个更大的词汇差距问题相比,其他信息检索领域。虽然有越来越多的神经学习方法来匹配专门针对解决这个问题的方法,但它们并没有利用产品搜索的大语言模型的最新进展。另一方面,产品排名通常涉及多种类型的参与信号,如点击,添加到购物车和购买,而大多数现有的工作都集中在优化一个单一的指标,如点击率,这可能会受到数据稀疏。在这项工作中,我们提出了一个新的端到端的多任务学习框架的产品排名与BERT,以解决上述挑战。该模型利用特定领域的BERT与微调,以弥合词汇差距,并采用多任务学习,同时优化多个目标,这产生了一个通用的端到端的产品搜索学习框架。我们在真实世界的电子商务数据集上进行了一组全面的实验,并证明了所提出的方法比最先进的基线方法有显着的改进。
2022-03-31 cs.IR
Longformer for MS MARCO Document Re-ranking Task
两步文档排序是新的标准,其中初始检索由经典的信息检索方法完成,然后是神经重新排序模型。通过使用基于变压器的模型作为重排序器来实现最佳性能,例如,BERT。我们采用Longformer,一个BERT的长文档模型,在MS MARCO文件重新排序任务。用于训练模型的完整代码可以在https://github.com/isekulic/longformer-marco上找到
2020-09-20 cs.IR
Improving Efficient Neural Ranking Models with Cross-Architecture Knowledge Distillation
检索和排名模型是许多应用程序的支柱,如Web搜索,开放域QA,或基于文本的推荐系统。神经排名模型在查询时的延迟在很大程度上取决于其设计者的架构和故意选择,以权衡效率以获得更高的效率。这种对越来越多的高效排名架构的低查询延迟的关注使它们适用于生产部署。在机器学习中,一种越来越常见的方法来缩小更高效模型的有效性差距,即将知识蒸馏从大型教师模型应用到较小的学生模型。我们发现,不同的排名架构往往会产生不同幅度的输出分数。基于这一发现,我们提出了一个跨架构的培训过程与利润集中损失(边际MSE),适应知识蒸馏不同的分数输出分布的不同BERT和非BERT通过排名架构。我们将可教信息作为额外的细粒度标签应用于MSMARCO通道集合的现有训练三元组。我们评估我们的过程中提取知识从国家的最先进的级联BERT模型到四个不同的有效架构(TK,ColBERT,PreTT,和一个BERT CLS点积模型)。我们表明,在我们评估的架构,我们的边际MSE知识蒸馏显着提高重新排名的有效性,而不影响其效率。此外,我们展示了我们的一般蒸馏方法,以改善最近邻索引检索与BERT点积模型,提供有竞争力的结果与专业和更昂贵的训练方法。为了使社区受益,我们将教师评分培训文件发布在一个现成的软件包中。
2021-01-22 cs.IR
DeText: A Deep Text Ranking Framework with BERT
LinkedIn(领英)
排名是搜索系统中最重要的组成部分。大多数搜索系统处理大量的自然语言数据,因此一个有效的排名系统需要深入理解文本语义。最近,基于深度学习的自然语言处理(deep NLP)模型在排名系统上产生了有希望的结果。BERT是学习上下文嵌入的最成功的模型之一,它已被应用于捕获复杂的查询-文档关系以进行搜索排名。然而,这通常是通过详尽地将每个查询词与每个文档词交互来完成的,这对于搜索产品系统中的在线服务是低效的。在本文中,我们研究了如何为行业用例构建一个高效的基于BERT的排名模型,并将该解决方案进一步扩展到一个通用的排名框架DeText,该框架是开源的,可以应用于各种排名产品。离线和在线实验的DeText在三个现实世界的搜索系统提出了显着的改善overstate-of-the-art方法。
2020-08-06 cs.CL cs.IR
Exploiting Sentence-Level Representations for Passage Ranking
最近,预先训练的上下文模型,如BERT,已被证明在语言相关的任务中表现良好。我们重新审视的设计决策,管理这些模型的适用性,在开放域问答的通道重新排名任务。我们发现,文献中的常见方法依赖于微调预训练的BERT模型,并使用输入的单一全局表示,丢弃令牌或令牌级表示中有用的细粒度相关信号。我们认为,这些被丢弃的令牌包含可以利用的有用信息。在本文中,我们显式地使用动态记忆网络(DMN)建模的句子级表示,并进行实证评估,以显示改进的通道重新排序微调香草BERT模型的记忆增强显式句子建模的开放域QA数据集的不同。我们进一步表明,冻结BERT模型,只训练DMN层仍然接近原始性能,同时大大提高了训练效率。这表明通常的微调步骤主要有助于将固有信息聚合在单个输出令牌中,而不是使整个模型适应新任务,并且只能实现相当小的增益。
2021-08-30 cs.IR
BERT-QE: Contextualized Query Expansion for Document Re-ranking
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Amazon Alexa(亚马逊 Alexa);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
查询扩展的目的是减少查询和文档中使用的语言之间的不匹配。然而,查询扩展方法在扩展查询时可能会引入不相关的信息。为了弥合这一差距,灵感来自最近的进展,应用上下文模型,如BERT的文档检索任务,本文提出了一种新的查询扩展模型,利用强度的BERT模型选择相关的文档块进行扩展。在对标准TREC Robust 04和GOV 2测试集的评估中,所提出的BERT-QE模型显著优于BERT-Large模型。
2020-11-03 cs.CL cs.IR
Groupwise Query Performance Prediction with BERT
虽然像BERT这样的大规模预训练语言模型已经推进了IR的最新技术,但到目前为止,它在查询性能预测(QPP)中的应用仍然是基于单个查询的逐点建模。同时,最近的研究表明,一组文档的交叉注意建模可以有效地提高学习排名算法和基于BERT的重新排名的性能。为此,提出了一种基于BERT的groupwise QPP模型,在该模型中,查询列表的排名上下文被联合建模,以预测单个查询的相对性能。在三个标准TREC集合上的广泛实验展示了我们方法的有效性。我们的代码可在https://github.com/VerdureChen/Group-QPP上获得。
2022-04-25 cs.IR
Fine-tune BERT for E-commerce Non-Default Search Ranking
电子商业平台上的非默认排名的质量,例如基于物品价格上升或历史销售量下降,通常遭受严重的相关性问题,因为不相关的物品更容易暴露在排名结果的顶部。在这项工作中,我们提出了一个两阶段的排名方案,首先通过精确的查询/标题关键字匹配来召回广泛的候选项,然后使用对人类标签数据进行微调的BERT-Large对召回的项进行分类。我们还在多个GPU主机和Tensorflow的C++标记化自定义操作上实现了并行预测。在这个数据挑战中,我们的模型在监督阶段获得了第一名(基于整体F1得分),在最终阶段获得了第二名(基于每个查询的平均F1得分)。
2020-08-21 cs.CL cs.IR
Passage Re-ranking with BERT
New York University(纽约大学);Facebook AI Research(Facebook人工智能研究院)
最近,神经模型在语言建模任务上进行了预训练,例如ELMo(Peters等人,2017)、OpenAI GPT(Radford等人,2018)和BERT(Devlin et al.,2018年),在各种自然语言处理任务上取得了令人印象深刻的成果,如问答和自然语言推理。在本文中,我们描述了一个简单的重新实现BERT的查询为基础的段落重新排名。我们的系统是TREC-CAR数据集的最新技术水平,也是MS MARCO通道检索任务排行榜的最佳条目,在MRR@10中比以前的最新技术水平高出27%(相对)。可在https://github.com/nyu-dl/dl4marco-bert上获得重现我们结果的代码
2020-04-14 cs.CL cs.IR cs.LG
Fast Passage Re-ranking with Contextualized Exact Term Matching and Efficient Passage Expansion
基于BERT的信息检索模型在时间(查询延迟)和计算资源(能量、硬件成本)方面都是昂贵的,使得这些模型中的许多模型特别是在资源约束下不切实际。依赖于仅执行标记化的查询编码器和在索引时对通道表示的预处理,允许最近提出的TILDE方法克服基于BERT的模型的典型的高查询延迟问题。然而,这是以与其他基于BERT的重排序器和密集检索器相比效率较低为代价的。此外,原始的TILDE方法的特点是索引具有非常高的内存占用,因为它将每个段落扩展到BERT词汇表的大小。在本文中,我们提出了TILDEv2,一个新的模型,源于原来的TILDE,但解决了其局限性。TILDEv2依赖于与扩展段落的上下文化精确术语匹配。这需要在索引中只存储出现在扩展段落中的标记的分数(而不是所有词汇),从而产生比TILDE小99%的索引。这种匹配机制还将排名效率提高了24%,而不会增加查询延迟。这使得TILDEv2成为仅CPU环境中最先进的通道重新排序方法,能够在商用硬件上将查询延迟保持在100 ms以下。
2021-09-13 cs.IR
Improving BERT-based Query-by-Document Retrieval with Multi-Task Optimization
按文档查询(QBD)检索是一种信息检索任务,其中种子文档充当查询,目标是检索相关文档--它在专业搜索任务中特别常见。在这项工作中,我们提高了检索效率的BERT重新排名,提出了一个扩展的微调步骤,以更好地利用查询的上下文。为此,我们在微调BERT重排序器时,除了排序目标之外,还使用了一个额外的文档级表示学习目标。在两个QBD检索基准上的实验表明,所提出的多任务优化方法在不改变BERT重排序器或使用额外训练样本的情况下,显著提高了排序效率.在未来的工作中,我们的方法的推广到其他检索任务应进一步调查。
2022-05-23 cs.IR
Siamese BERT-based Model for Web Search Relevance Ranking Evaluated on a New Czech Dataset
Web搜索引擎专注于在数百毫秒内提供高度相关的结果。因此,预先训练的语言Transformer模型(如BERT)由于其高计算需求而难以在这种情况下使用。我们提出了我们的实时方法,利用基于BERT的连体架构的文档排序问题。该模型已经部署在一个商业搜索引擎中,并将生产性能提高了3%以上。为了进一步的研究和评估,我们发布了DaReCzech,这是一个独特的数据集,包含160万个捷克用户查询-文档对,具有手动分配的相关性级别。我们还发布了Small-E-Czech,这是一个在大型捷克语语料库上预训练的Electra小型语言模型。我们相信这些数据将支持搜索相关性和以多语言为重点的研究社区的努力。
2021-12-03 cs.CL cs.IR
DoSSIER@COLIEE 2021: Leveraging dense retrieval and summarization-based re-ranking for case law retrieval
在本文中,我们介绍了我们在2021年法律信息抽取/蕴涵竞赛(COLIEE)中的案例法检索和法律案例蕴涵任务的方法。作为第一阶段的检索方法结合神经重新排序的方法,使用语境化的语言模型,如BERT取得了很大的性能改善信息检索在网络和新闻领域,我们评估这些方法的法律领域。法律案例检索的一个显著特点是,语料库中的查询案例和案例描述往往是长文档,因此超过了BERT的输入长度。我们解决这一挑战相结合的词汇和稠密检索方法的段落级别的情况下,第一阶段检索。在这里,我们证明了段落级的检索优于文档级的检索。此外,实验表明,稠密检索方法优于词汇检索。对于重新排序,我们通过总结案例并使用摘要微调基于BERT的重新排序器来解决长文档的问题。总的来说,我们最好的结果是使用特定领域嵌入的BM 25和密集通道检索的组合。
2021-08-09 cs.IR
On the Interpolation of Contextualized Term-based Ranking with BM25 for Query-by-Example Retrieval
基于术语的排序与预先训练的transformer为基础的语言模型最近得到了关注,因为他们带来了上下文的权力,Transformer模型的高效检索。在这项工作中,我们研究了两个深上下文的基于术语的模型在查询的背景下,通过示例(QBE)检索,其中种子文件作为查询,以找到相关的文件的泛化能力。在这种情况下--查询比普通关键字查询长得多--查询时的BERT推理是有问题的,因为它涉及二次复杂度。我们研究了TILDE和TILDEv 2,它们都利用BERT标记器作为查询编码器。使用这种方法,在查询时不需要BERT推理,并且查询可以是任何长度。我们对Sciencebenchmark的四个QBE任务的广泛评估表明,在逐例查询检索设置中,TILDE和TILDEv 2仍然不如交叉编码器BERT排名器有效。然而,我们观察到,BM 25可以显示出竞争力的排名质量相比,TILDE和TILDEV 2这是在对比的结果,这三个模型的相对性能检索短查询报告在以前的工作。这一结果提出了一个问题,使用上下文的基于术语的排名模型是有益的QBE设置。我们通过研究TILDE(TILDEv 2)和BM 25的相关性分数之间的分数插值来跟踪我们的发现。我们的结论是,这两个语境化的基于术语的排名模型捕获不同的相关性信号比BM 25和结合不同的基于术语的排名结果在统计上显着改善QBE检索。我们的工作揭示了检索设置不同于常见的评估基准的…
2022-10-11 cs.IR
Multi-Stage Document Ranking with BERT
Tandon School of Engineering, New York University(纽约大学坦登工程学院);David R. Cheriton School of Computer Science, University of Waterloo(滑铁卢大学大卫·R·切里顿计算机科学学院);Courant Institute of Mathematical Sciences, New York University(纽约大学柯朗数学科学研究所);Center for Data Science, New York University(纽约大学数据科学中心);Facebook AI Research(脸书人工智能研究院)
通过语言建模任务预训练的深度神经网络的出现,刺激了自然语言处理中的许多成功应用。这项工作探讨了这样一个流行的模型,BERT,在文档排序的背景下。我们提出了两个变体,称为monoBERT和duoBERT,分别将排名问题制定为逐点分类和成对分类。这两个模型被安排在一个多阶段的排名架构,形成一个端到端的搜索系统。这种设计的一个主要优点是能够通过控制每个流水线阶段的候选者准入来权衡质量和延迟,并且通过这样做,我们能够找到在这两个竞争指标之间提供良好平衡的操作点。在两个大规模的数据集,MS MARCO和TREC CAR,实验表明,我们的模型产生的结果是在或相当于最先进的状态。消融研究显示每个组件的贡献和表征的延迟/质量权衡空间。
2019-10-31 cs.IR cs.LG
An Empirical Study of Uniform-Architecture Knowledge Distillation in Document Ranking
基于BERT的排序模型在商业搜索引擎中得到了广泛的应用,但对于在线排序任务来说,它们通常是耗时的。知识蒸馏是一种减少在线推理延迟的常用策略,其目的是学习性能与较大模型相当的较小模型。在本文中,我们研究了不同的损失函数的均匀结构蒸馏的BERT排序模型的效果。这里的“统一架构”表示教师和学生模型都在交叉编码器架构中,而学生模型包括小规模的预训练语言模型。我们的实验结果表明,排序任务的最佳蒸馏配置与一般的自然语言处理任务有很大的不同。具体而言,当学生模型处于交叉编码器架构中时,成对丢失硬标签对于训练学生模型至关重要,而中间Transformer层的蒸馏目标可能会损害性能。这些发现强调了仔细设计一个蒸馏策略(交叉编码器的学生模型)的必要性,为文档排序与成对训练样本量身定制。
2023-02-08 cs.IR
CEDR: Contextualized Embeddings for Document Ranking
Georgetown University(乔治城大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
虽然最近对神经排序架构给予了相当大的关注,但对用作这些模型输入的术语表示的关注要少得多。在这项工作中,我们研究了两个预训练的上下文语言模型(ELMo和BERT)可以用于ad-hoc文档排序。通过对TREC基准测试的实验,我们发现几种现有的神经排名架构可以受益于上下文化语言模型提供的额外上下文。此外,我们提出了一种联合方法,将BERT的分类向量纳入现有的神经模型,并表明它优于最先进的ad-hoc排名基线。我们称这种联合方法为CEDR(上下文嵌入文档排序)。我们还解决了使用这些模型进行排名的实际挑战,包括由BERT施加的最大输入长度和上下文化语言模型的运行时性能影响。
2019-08-19 cs.CL cs.IR
End-to-End Resume Parsing and Finding Candidates for a Job Description using BERT
申请职位的人数不断增加,这对雇主人工寻找合适的候选人提出了挑战。我们提出了一个端到端的解决方案,根据候选人对职位描述的适合性对候选人进行排名。我们分两个阶段来完成。首先,我们建立一个简历解析器,从候选简历中提取完整的信息。该解析器以Web应用程序的形式向公众提供。其次,我们使用BERT句子对分类来执行排名的基础上,他们的适合性的职位描述。为了近似职位描述,我们使用候选人在简历中提到的过去工作经验的描述。我们的数据集包括LinkedIn格式和一般非LinkedIn格式的简历。我们以100%的准确率解析LinkedIn简历,并为候选人的适合性建立了73%的准确率。
2019-10-15 cs.IR
Best Practices for Distilling Large Language Models into BERT for Web Search Ranking
Tencent(腾讯)
本研究提出将大语言模型的排序能力通过持续预训练、排序损失微调及混合点式和边际MSE损失蒸馏至BERT,以低成本实现高效网页搜索排序,并已在商业引擎中部署验证。
2024-11-07 cs.CL cs.IR
BERT-based Ranking for Biomedical Entity Normalization
School of Biomedical Informatics, The University of Texas Health Science Center at Houston(德克萨斯大学休斯顿健康科学中心生物医学信息学院)
开发高性能的实体规范化算法,可以减轻长期变化的问题是生物医学界的极大兴趣。尽管基于深度学习的方法已成功应用于生物医学实体规范化,但它们通常依赖于传统的上下文无关的词嵌入。最近引入了来自Transformers的双向编码器表示(BERT)、用于生物医学文本挖掘的BERT(BioBERT)和用于临床文本挖掘的BERT(ClinicalBERT),以使用双向Transformers来预训练上下文化的单词表示模型,从而推进了许多自然语言处理任务的最新技术水平。在这项研究中,我们提出了一个实体规范化架构,通过微调预训练的BERT / BioBERT / ClinicalBERT模型,并进行了广泛的实验,以评估使用三种不同类型的数据集的生物医学实体规范化的预训练模型的有效性。我们的实验结果表明,最好的微调模型始终优于以前的方法,并推进了生物医学实体标准化的最新技术,准确性提高了1.17%。
2019-08-09 cs.CL cs.IR cs.LG
A Systematic Evaluation of Transfer Learning and Pseudo-labeling with BERT-based Ranking Models
HSE University(俄罗斯国家研究型高等经济大学);Bosch Center for Artificial Intelligence(博世人工智能中心);Ural Federal University(乌拉尔联邦大学)
由于标注成本高,充分利用现有的人工训练数据是一个重要的研究方向。因此,我们在五个英文数据集上对基于BERT的神经排名模型的可移植性进行了系统的评估。以前的研究主要集中在zero-shot和Few-Shot从大数据集到具有少量查询的数据集的传输。相比之下,我们的每个集合都有大量的查询,这使得我们可以使用全面的评估模式,并提高了结果的可靠性。此外,由于源数据集许可证通常禁止商业使用,因此我们将迁移学习与BM 25评分器生成的伪标签进行比较。我们发现,与迁移学习相比,在伪标签上进行训练--可能随后使用适量的注释查询进行微调--可以产生一个有竞争力或更好的模型。然而,有必要提高Few-Shot训练的稳定性和/或有效性,这有时会降低预训练模型的性能。
2021-11-22 cs.CL cs.IR
Pretrained Transformers for Text Ranking: BERT and Beyond
David R. Cheriton School of Computer Science, University of Waterloo(滑铁卢大学大卫·切里顿计算机科学学院);University of Amsterdam(阿姆斯特丹大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
文本排序的目标是生成一个有序的文本列表,从语料库中检索到的响应于查询。虽然文本排序最常见的公式是搜索,但在许多自然语言处理应用程序中也可以找到该任务的实例。本调查概述了使用称为Transformers的神经网络架构进行文本排名,其中BERT是最知名的例子。Transformers和自我监督预训练的结合导致了自然语言处理(NLP)、信息检索(IR)等领域的范式转变。在这项调查中,我们提供了一个现有的工作作为一个单一的切入点,从业者谁希望获得更好地了解如何应用Transformers的文本排名问题和研究人员谁希望在这一领域的工作。我们涵盖了广泛的现代技术,分为两个高层次的类别:Transformer模型,在多阶段架构和稠密检索技术,直接执行排名。我们的调查中有两个主题:处理长文档的技术,超越了NLP中典型的逐句处理,以及解决有效性之间权衡的技术(即,结果质量)和效率(例如,查询等待时间、模型和索引大小)。虽然Transformer架构和预训练技术是最近的创新,但它们如何应用于文本排名的许多方面都相对较好地理解,并且代表了成熟的技术。然而,仍然有许多开放的研究问题,因此除了为文本排名奠定预先训练的Transformers的基础之外,这项调查还试图说明该领域的发展方向。
2021-08-19 cs.CL cs.IR
ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT
Stanford University(斯坦福大学)
自然语言理解(NLU)的最新进展正在推动信息检索(IR)的快速发展,这在很大程度上要归功于对用于文档排序的深度语言模型(LM)进行微调。虽然非常有效,但基于这些LM的排名模型比现有方法增加了几个数量级的计算成本,特别是因为它们必须通过大规模神经网络来馈送每个查询-文档对以计算单个相关性得分。为了解决这个问题,我们提出了ColBERT,这是一种新的排名模型,它可以适应深度LM(特别是BERT)以实现高效检索。ColBERT引入了一个后期交互架构,它使用BERT独立地对查询和文档进行编码,然后采用一个廉价但功能强大的交互步骤来模拟它们的细粒度相似性。通过延迟并保留这种细粒度的交互,ColBERT可以利用深度LM的表现力,同时获得离线预计算文档表示的能力,从而大大加快查询处理。除了降低通过传统模型检索的文档重新排序的成本外,ColBERT的修剪友好交互机制还可以利用向量相似性索引直接从大型文档集合进行端到端检索。我们使用两个最近的通道搜索数据集广泛评估ColBERT。结果表明,ColBERT的有效性与现有的基于BERT的模型相比具有竞争力(并且优于每一个非BERT基线),同时执行速度快两个数量级,每次查询所需的FLOP少四个数量级。
2020-06-04 cs.CL cs.IR
BERT Rankers are Brittle: a Study using Adversarial Document Perturbations
L3S Research Center(L3S研究中心)
基于BERT的上下文排序模型现在已经很好地建立了广泛的段落和文档排序任务。然而,基于BERT的排名模型在对抗性输入下的鲁棒性尚未得到充分研究。在本文中,我们认为,BERT排名不能免疫对抗攻击针对检索到的文档查询。首先,我们提出了使用基于梯度的优化方法对高度相关和非相关文档进行对抗性扰动的算法。我们的算法的目的是向高度相关或不相关的文档添加/替换少量令牌,以引起大的排名降级或提升。我们的实验表明,少量的令牌已经可以导致文档排名的大幅变化。此外,我们发现BERT排名严重依赖于文件的开始/头部的相关性预测,使文件的初始部分更容易受到对抗攻击。更有趣的是,我们发现了一小部分反复出现的对抗性单词,当它们被添加到文档中时,会分别导致任何相关/不相关文档的成功排名降级/提升。最后,我们的对抗令牌还显示了数据集内和数据集之间的特定主题偏好,暴露了BERT预训练或下游数据集的潜在偏见。
2022-06-23 cs.AI cs.IR
An In-depth Analysis of Passage-Level Label Transfer for Contextual Document Ranking
本文分析文档切分与段落级标签迁移对检索效果和效率的影响,提出弱监督段落标注方案,在四个数据集上以可控复杂度取得3%–14%的nDCG提升。
2023-12-06 cs.IR
Improving Bi-encoder Document Ranking Models with Two Rankers and Multi-teacher Distillation
基于BERT的神经排名模型(NRM)可以根据查询和文档如何通过BERT的自注意层编码进行分类-双向编码器与交叉编码器。双编码器模型是高效的,因为所有的文档都可以在查询时间之前进行预处理,但与交叉编码器模型相比,它们的性能较差。这两个模型都使用一个排序器,它接收BERT表示作为输入,并生成一个相关性分数作为输出。在这项工作中,我们提出了一种方法,其中多教师蒸馏应用于交叉编码器NRM和双编码器NRM,以产生具有两个排序器的双编码器NRM。由此产生的学生双编码器通过同时从交叉编码器教师和双编码器教师学习并且还通过结合来自两个排名器的相关分数来实现改进的性能。我们称这种方法为TRMD(两级和多教师蒸馏)。在实验中,TwinBERT和ColBERT被认为是基线双编码器。当monoBERT被用作交叉编码器老师,同时TwinBERT或ColBERT被用作双向编码器老师时,TRMD产生的学生双向编码器比相应的基线双向编码器性能更好。对于P@20,最大改善为11.4%,平均改善为6.8%。作为一个额外的实验,我们考虑用TRMD来培养交叉编码器的学生,发现它也可以提高交叉编码器。
2021-08-06 cs.IR
Intra-Document Cascading: Learning to Select Passages for Neural Document Ranking
TU Wien(维也纳工业大学);Microsoft(微软);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
一种用于实现神经文档重新排序中的最新有效性的新方法涉及利用大型预训练的语言模型-例如,BERT -评估文档中的所有单独段落,然后通过池化或其他Transformer层聚合输出。这种方法的一个主要缺点是由于使用BERT评估文档中的每个段落的成本而导致的高查询延迟。更糟糕的是,这种高推理成本和延迟根据文档的长度而变化,更长的文档需要更多的时间和计算。为了应对这一挑战,我们采用了一种文档内级联策略,该策略在运行一个更昂贵和更有效的评分模型(称为ETM)之前,使用一个更便宜的模型(称为ESM)修剪候选文档的段落。我们发现最好通过从ETM(有效教师模型的简称)中提取知识蒸馏来训练ESM(有效学生模型的简称),例如,BERT。这种修剪允许我们只在较小的段落集上运行ETM模型,这些段落的大小不随文档长度而变化。我们在MS MARCO和TREC深度学习跟踪基准上的实验表明,所提出的文档内级联排名模型(IDCM)通过提供与最先进的基于BERT的文档排序模型基本相同的有效性,导致查询延迟降低400%以上。
2021-05-20 cs.CL cs.IR
The Power of Selecting Key Blocks with Local Pre-ranking for Long Document Information Retrieval
在广泛的自然语言处理和信息检索任务中,基于transformer的模型,特别是像BERT这样的预训练语言模型,已经证明了巨大的有效性。然而,由于自我注意力机制的二次复杂性,这种模型难以处理长文档。最近的作品处理这个问题包括截断长文档,在这种情况下,一个丢失潜在的相关信息,分割成几个段落,这可能会导致错过一些信息和高计算复杂性时,通道的数量是大的,或修改的自我注意力机制,使其稀疏的稀疏注意力模型,在风险再次丢失一些信息。我们在这里遵循一个略有不同的方法,其中首先选择一个长文档的本地查询块预排名的关键块,然后几个块被聚合,形成一个短的文档,可以处理的模型,如BERT。在标准信息检索数据集上的实验表明了该方法的有效性。
2022-10-15 cs.IR
Semi-Siamese Bi-encoder Neural Ranking Model Using Lightweight Fine-Tuning
Seoul National University(首尔国立大学);Naver Corp.(Naver公司)
基于BERT的神经排序模型(NRM)可以是交叉编码器或双向编码器。在这两者之间,bi-encoder效率很高,因为所有文档都可以在实际查询时间之前进行预处理。在这项工作中,我们展示了两种方法来提高基于BERT的双编码器的性能。第一种方法是用轻量级的微调来代替完整的微调步骤。我们研究轻量级的微调方法,是基于适配器的,基于FPGA的,和两者的混合。第二种方法是开发半连体模型,其中查询和文档的处理具有有限的差异。通过学习两个轻量级的微调模块来实现有限的差异,其中BERT的主要语言模型对于查询和文档都是通用的。我们为monoBERT,TwinBERT和ColBERT提供了广泛的实验结果,其中三个性能指标在Robust 04,Cocktail Web 09 b和MS-MARCO数据集上进行了评估。结果证实,轻量级微调和半暹罗是相当有帮助的改善基于BERT的双编码器。事实上,轻量级的微调对CrossEncoder也很有帮助
2022-03-02 cs.CL cs.IR
Societal Biases in Retrieved Contents: Measurement Framework and Adversarial Mitigation for BERT Rankers
Johannes Kepler University Linz(约翰内斯·开普勒林茨大学);Know-Center GmbH(知识中心有限公司)
社会偏见的共鸣,在信息检索(IR)系统检索的内容,从而加强现有的刻板印象。解决这个问题需要针对检索结果中各种社会群体的代表性制定公平性措施,以及减轻此类偏见的方法,特别是考虑到深度排名模型的进步。在这项工作中,我们首先提供了一个新的框架来衡量的公平性检索的文本内容的排名模型。引入一个排名不可知的测量,该框架还可以从排名的公平性收集的影响解开。为了减轻这些偏见,我们提出了AdvBert,这是一种通过适应对抗性偏见减轻IR来实现的排名模型,它联合学习预测相关性并删除受保护的属性。我们对两个段落检索集合(MSMARCO Passage Re-ranking和TREC深度学习2019 Passage Re-ranking)进行了实验,我们通过对有关性别属性的选定查询子集的公平注释进行了扩展。我们在MSMARCO基准测试上的结果表明,(1)与排名不可知的基线相比,所有排名模型都不太公平,(2)当使用建议的AdvBert模型时,BERT排名的公平性显着提高。最后,我们研究了公平和效用之间的权衡,表明我们可以保持公平的显着改善,而不会有任何显着的效用损失。
2021-05-11 cs.AI cs.IR cs.LG
Finding Inverse Document Frequency Information in BERT
几十年来,BM 25及其变体一直是占主导地位的文档检索方法,它们的两个基本特征是词频(TF)和逆文档频率(IDF)。然而,传统的方法正在迅速被可以利用语义特征的神经排名模型(NRM)所取代。在这项工作中,我们考虑基于BERT的NRM和研究,如果IDF信息存在于NRM。这个简单的问题很有趣,因为IDF对于传统的词汇匹配是不可或缺的,但是像IDF这样的全局特征并不能被包括BERT在内的神经语言模型显式地学习。我们采用线性探测作为主要的分析工具,因为典型的基于BERT的NRM利用线性或基于内积的得分聚合器。我们分析了输入嵌入,所有BERT层的表示,和CLS的自注意权重。通过研究MS-MARCO数据集与三个基于BERT的模型,我们发现,所有这些都包含信息,是强烈依赖于IDF。
2022-02-24 cs.IR
Traditional IR rivals neural models on the MS MARCO Document Ranking Leaderboard
这篇简短的文档描述了一个传统的IR系统,该系统在MS MARCO文档排序排行榜上实现了MRR@100等于0.298(2020年12月6日)。虽然不如大多数基于BERT的模型,但它优于几个神经运行(以及所有非神经运行),包括两个使用大型预训练Transformer模型进行重新排名的提交。我们提供软件和数据来重现我们的结果。
2021-03-17 cs.CL cs.IR
ListBERT: Learning to Rank E-commerce products with Listwise BERT
对于拥有无数产品的电子商业平台来说,高效搜索是一个关键组成部分。每天都有数以百万计的用户在搜索符合他们需求的产品。因此,在顶部显示相关产品将增强用户体验。在这项工作中,我们提出了一种新的方法,融合了变压器为基础的模型与各种列表损失函数的排名电子商业产品,用户查询。我们在时尚电子商业语料库上预训练了一个RoberTa模型,并使用不同的列表损失函数对其进行了微调。我们的实验表明,与其他流行的列表损失函数,如ListNET和ListMLE相比,与基于NDCG的代理损失函数(approxNDCG)微调的RoBERTa模型实现了13.9%的NDCG改进。与基于成对RankNet的RoBERTa模型相比,基于近似NDCG的RoBERTa模型也实现了20.6%的NDCG改进。我们称我们的方法直接优化的RoBERTa模型在一个端到端的方式与列表代理损失函数作为ListBERT。由于在实时搜索设置中有低延迟的要求,我们展示了如何通过使用知识蒸馏技术来轻松采用这些模型来学习一个以代表为中心的学生模型,该模型可以轻松部署,并导致排名延迟降低约10倍。
2022-06-30 cs.IR
Incorporating Query Term Independence Assumption for Efficient Retrieval and Ranking using Deep Neural Networks
Microsoft AI & Research(微软人工智能与研究院)
经典的信息检索(IR)方法,如查询可能性和BM 25,评分文件独立w.r.t.每个查询词,然后累积分数。假设查询术语独立性允许使用这些模型预先计算术语-文档分数--这些模型可以与专门的数据结构(如倒排索引)相结合,以实现高效检索。相比之下,深度神经IR模型将整个查询与文档进行比较,因此通常仅用于后期重新排名。我们将查询项独立性假设纳入三个最先进的神经IR模型:BERT,Duet和CKNRM-并评估它们在段落排名任务上的性能。令人惊讶的是,我们观察到Duet和CKNRM的结果质量没有显著损失,而BERT的结果质量略有下降。然而,通过独立地对每个查询词进行操作,这些计算密集型模型变得易于离线预计算-大大降低了采用最先进的神经排名模型进行查询评估的成本。这种策略使得使用深度模型从大型集合中进行检索变得切实可行,而不是将其使用限制在后期重新排名。
2019-07-08 cs.IR cs.LG
LeiBi@COLIEE 2022: Aggregating Tuned Lexical Models with a Cluster-driven BERT-based Model for Case Law Retrieval
本文总结了我们提交给2022年法律信息抽取/蕴涵竞赛(COLIEE)案例法检索任务的方法。我们的方法包括四个步骤;详细地说,给定一个法律案件作为查询,我们通过提取各种有意义的句子或n-gram来重新表达它。然后,我们利用预处理的查询案例来检索可能的相关法律案例的初始集合,我们进一步重新排序。最后,我们将第一阶段和重新排序模型获得的相关性得分进行聚合,以提高检索效率。在我们方法的每一步中,我们探索了各种知名和新颖的方法。特别是,为了重新制定旨在使它们更短的查询案例,我们使用三种不同的统计方法提取一元语法:KLI,PLM,IDF-r,以及利用嵌入的模型(例如,KeyBERT)。此外,我们还研究了使用Longformer-Encoder-Decoder(LED)的自动摘要是否可以为该检索任务产生有效的查询表示。此外,我们提出了一种新的重新排序聚类驱动的方法,它利用Sentence-BERT模型,这些模型在大量数据上进行了预调整,用于从查询和候选文档中嵌入句子。最后,我们采用了线性聚合的方法来结合传统的IR模型和基于神经模型的相关性得分,旨在将神经模型的语义理解和统计测量的主题相关性。我们表明,这些相关性分数的聚合可以提高整体检索效率。
2022-05-26 cs.IR
Movie Recommendation System using Composite Ranking
在当今世界,丰富的数字内容,如电子书,电影,视频和文章可供消费。回顾所有可访问的内容并决定下一步看什么是令人生畏的。因此,数字媒体提供商希望利用这种混乱并解决它,以增加用户参与度,最终带来更高的收入。内容提供方经常利用推荐系统作为对抗这种信息过载的有效方法。本文致力于开发一种综合的方法来推荐电影。传统上,电影推荐系统使用协同过滤,其利用用户与媒体的交互,或者基于内容的过滤,其利用电影的可用元数据。技术进步还引入了一种将两种系统集成在一起的混合技术。然而,我们的方法只处理基于内容的建议,进一步加强它与排名算法的基础上内容相似性指标。有助于排名的三个指标是元数据的相似性,视觉内容和电影的用户评论。我们使用文本矢量化,然后对元数据进行余弦相似性,通过预训练的VGG 19进行特征提取,然后对视觉内容进行K均值聚类,并对用户评论进行情感比较。这样的系统允许观众知道“感觉”相同的电影。
2022-12-05 cs.IR cs.MM
On the Calibration and Uncertainty of Neural Learning to Rank Models
Delft University of Technology(代尔夫特理工大学)
根据概率排序原则(PRP),排序的文件,其相关性的概率降序导致一个最佳的文档排序的ad-hoc检索。当满足两个条件时,PRP成立:[C1]模型校准良好,[C2]相关性的概率被确定地报告。然而,我们知道深度神经网络(DNN)通常没有很好地校准,并且有几个不确定性来源,因此[C1]和[C2]可能不满足神经排名。鉴于神经学习排序(L2 R)方法的成功-在这里,特别是基于BERT的方法-我们首先分析在哪些情况下确定性,即输出点估计,神经排名器进行校准。然后,出于我们的研究结果,我们使用两种技术来模拟神经排名的不确定性,导致建议的随机排名,输出预测分布的相关性,而不是点估计。我们的实验结果的ad-hoc检索任务的会话响应排名显示,(i)基于BERT的排名没有鲁棒校准和随机BERT的排名产生更好的校准;和(ii)不确定性估计是有益的风险意识的神经排名,即考虑到不确定性时,排名文件,并预测无法回答的会话上下文。
2021-01-12 cs.CL cs.IR cs.LG
Exploring Classic and Neural Lexical Translation Models for Information Retrieval: Interpretability, Effectiveness, and Efficiency Benefits
Bosch Center for Artificial Intelligence(博世人工智能中心);Carnegie Mellon University(卡内基梅隆大学)
我们研究了词汇翻译模型(IBM Model 1)在英语文本检索中的实用性,特别是其端到端训练的神经变体。我们使用神经模型1作为聚合器层,应用于上下文无关或上下文化的查询/文档嵌入。这种设计神经排序系统的新方法在有效性、效率和可解释性方面都有好处。具体来说,我们表明,在基于BERT的上下文嵌入之上添加可解释的神经模型1层(1)不会降低准确性和/或效率;(2)可以克服现有BERT模型的最大序列长度限制。与上下文无关的神经模型1不如基于BERT的排名模型有效,但它可以在CPU上高效运行(无需对大型张量进行昂贵的索引时预计算或查询时操作)。使用模型1,我们在2020年底的MS MARCO文档排序排行榜上产生了最佳神经和非神经运行。
2021-03-17 cs.CL cs.IR
Understanding BERT Rankers Under Distillation
Carnegie Mellon University(卡内基梅隆大学)
深度语言模型,如在大型语料库上预训练的BERT,为最先进的信息检索排名系统带来了巨大的性能提升。这些模型中嵌入的知识使它们能够在段落和查询之间拾取复杂的匹配信号。然而,推理过程中的高计算成本限制了它们在现实世界搜索场景中的部署。在本文中,我们研究是否以及如何搜索知识在BERT可以转移到一个较小的排名通过蒸馏。我们的实验表明,使用适当的蒸馏程序至关重要,它可以在保持最先进性能的同时产生高达9倍的加速比。
2020-07-21 cs.IR cs.LG
Interpretable & Time-Budget-Constrained Contextualization for Re-Ranking
搜索引擎在严格的时间限制下运行,因为快速响应对用户满意度至关重要。因此,神经重新排序模型具有有限的时间预算来重新排序文档。在相同的时间内,更快的重新排序模型可以比效率较低的模型包含更多的文档,从而提高效率。为了利用这一属性,我们提出了TK(Transformer-Kernel):一个神经网络重新排名模型的ad-hoc搜索使用一个有效的上下文化机制。TK使用非常少的Transformer层(最多三个)来将查询和文档词嵌入置于上下文中。为了对单个术语的交互进行评分,我们使用了文档长度增强的内核池,这使用户能够深入了解模型。传统知识提供了有效性和效率之间的最佳比例:在现实的时间限制(最大。每个查询200 ms)TK与BERT和其他重排序模型相比达到了最高的效率。我们在三个大规模的排名集合上证明了这一点:MSMARCO-Passage,MSMARCO-Document和TREC CAR。此外,为了深入了解TK,我们进行了聚类查询分析TK的结果,突出其优势和劣势的查询与不同类型的信息需要,我们展示了如何解释的原因,排名差异的两个文件,通过比较其内部分数。
2020-02-04 cs.IR
ExpertRank: A Multi-level Coarse-grained Expert-based Listwise Ranking Loss
信息检索的目标是推荐与给定查询最相关的候选文档列表。列表学习通过同时大规模比较各种候选人来训练神经检索模型,提供比成对和逐点方案更具竞争力的性能。现有的列表排序损失将候选文档列表视为整个单元而不进行进一步检查。一些具有中等语义显著性的候选者可能被嘈杂的相似性信号忽略,或者被一些特别显著的候选者遮蔽。因此,现有的排名损失未能充分利用神经检索模型的潜力。为了解决这些问题,我们采用经典的池化技术进行多级粗粒度,并提出ExpertRank,一种新的基于专家的列表排序损失。该方案有三个主要优点:(1)ExpertRank通过模型预测和文档间比较在不同的局部层次上选择突出的候选项,将粗粒度的深刻物理概念引入到信息检索中。(2)ExpertRank通过对传统ListNet的扩展,采用专家混合(MoE)技术,有效地将不同的专家组合在一起。(3)与其他现有的列表学习方法相比,ExpertRank为具有不同复杂度的各种神经检索模型提供了更可靠和更有竞争力的性能,从传统的模型,如KNRM,ConvKNRM,MatchPyramid,到复杂的基于BERT/ALBERT的检索模型。
2021-07-29 cs.IR
Cross-lingual Information Retrieval with BERT
Raytheon BBN Technologies(雷神BBN技术公司);University of Pittsburgh(匹兹堡大学)
最近已经开发了多个神经语言模型,例如,BERT和XLNet,并取得了令人印象深刻的结果,在各种自然语言处理任务,包括句子分类,问答和文档排序。在本文中,我们探讨了使用流行的双向语言模型,BERT,建模和学习英语查询和外语文档之间的相关性,跨语言信息检索的任务。介绍了一种基于BERT的深度相关匹配模型,并利用自制的CLIR训练数据对预先训练好的弱监督多语种BERT模型进行训练。立陶宛文文档检索对短英语查询的实验结果表明,我们的模型是有效的,优于竞争力的基线方法。
2020-04-24 cs.CL cs.IR cs.LG
StruBERT: Structure-aware BERT for Table Search and Matching
大量信息存储在数据表中。用户可以使用基于关键字的查询来搜索数据表。表主要由按行和列组织的数据值组成,提供隐式结构信息。表格通常附带次要信息,如标题、页面标题等,形成文本信息。理解文本信息和结构信息之间的联系是表格检索中一个重要但被忽视的方面,因为以前的方法独立地处理每个信息源。此外,用户还可以搜索与现有表相似的数据表,此设置可视为基于内容的表检索。在本文中,我们提出了Stru BERT,一个结构感知的BERT模型,融合了数据表的文本和结构信息,为数据表的文本和表格内容生成上下文感知的表示。StruBERT功能集成在一个新的端到端神经排名模型中,以解决三个与表相关的下游任务:基于关键字和内容的表检索以及表相似性。我们使用三个数据集来评估我们的方法,并且我们证明了在检索和分类指标方面比最先进的方法有了实质性的改进。
2022-03-27 cs.IR
Simplified TinyBERT: Knowledge Distillation for Document Retrieval
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Amazon Alexa(亚马逊Alexa)
针对BERT类文档排序方法计算成本高的问题,本文在TinyBERT基础上提出两项简化方案,得到的Simplified TinyBERT既提升了原模型性能,又能以15倍加速显著优于BERT-Base。
2021-03-11 cs.CL cs.IR
Retrieving Comparative Arguments using Ensemble Methods and Neural Information Retrieval
本研究针对比较性问题的论证检索任务,结合决策树集成、BERT等技术构建排序模型,在赛事中取得相关性第一、质量第二的成绩,可提升比较查询处理性能。
2023-05-01 cs.IR
DS4DH at TREC Health Misinformation 2021: Multi-Dimensional Ranking Models with Transfer Learning and Rank Fusion
本文介绍了数字健康数据科学(DS 4DH)小组在2021年TREC健康错误信息跟踪中的工作。TREC健康错误信息跟踪侧重于开发检索方法,为网络上与健康相关的搜索提供相关、正确和可信的信息。在我们的方法中,我们使用了两步排名方法,包括i)基于BM 25模型的标准检索阶段,以及ii)重新排名阶段,其中模型管道专注于检索文档的有用性,可靠性和可信度维度。为了估计有用性,我们使用基于在MS MARCO语料库上微调的Transformers架构的预训练语言模型对初始排名列表进行分类。为了评估重复性,我们利用了基于BERT的模型,这些模型在科学和维基百科语料库上进行了微调。最后,为了评估文档的可信度,我们采用了一个在Microsoft Credibility数据集上训练的随机森林模型,并结合了一系列可信网站。然后,使用倒数等级融合算法将所产生的排名列表合并,以获得有用、支持和可信文件的最终列表。我们的方法取得了有竞争力的结果,在自动运行的兼容性测量中排名前2。我们的研究结果表明,集成自动排名模型创建的每个信息质量维度与迁移学习可以提高健康相关的信息检索的有效性。
2022-02-14 cs.IR
An Analysis of a BERT Deep Learning Strategy on a Technology Assisted Review Task
University of Strathclyde(斯特拉斯克莱德大学)
文件筛选是循证医学的中心任务,循证医学是一门临床学科,它补充了科学证据来支持医疗决策。鉴于应用于信息检索任务的DL(深度学习)方法的最新进展,我提出了一种具有BERT或PubMed BERT嵌入的DL文档分类方法以及使用SBERT嵌入的DL相似性搜索路径,以减少医生筛选和分类大量文档以回答临床查询的任务。我测试和评估了我的DL策略在2017年和2018年CLEF电子健康集合上的检索有效性。我发现,建议的DL策略的作品,我比较它最近成功的BM 25加RM3模型,并得出结论,建议的方法完成先进的检索性能的初步排名的文章与上述数据集,为CLEF电子健康技术辅助审查经验医学任务。
2021-04-16 cs.IR cs.LG
Modeling Relevance Ranking under the Pre-training and Fine-tuning Paradigm
School of Information, Renmin University of China(中国人民大学信息学院);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
最近,预训练的语言模型,如BERT已被应用于信息检索的文档排序,其首先在未标记的大型语料库上预训练通用语言模型,然后在专家标记的相关性数据集上进行特定于排名的微调。理想情况下,IR系统将从用户-系统二元论(用户的观点和系统的观点)来建模相关性。用户视图基于“真实用户”的活动来判断相关性,而系统视图关注来自系统侧的相关性信号,例如,受用户-系统相关性观点和预训练语言模型成功的启发,本文提出了一种新的排名框架Pre-Rank,该框架在预训练和微调范式下同时考虑了用户和系统的观点。具体来说,为了对用户的相关性视图进行建模,Pre-Rank基于大规模用户活动数据(如点击日志)对初始查询文档表示进行预训练。为了对系统的相关性视图进行建模,Pre-Rank进一步根据专家标记的相关性数据对模型进行微调。更重要的是,预先训练的表示与手工制作的学习排名功能一起在广泛而深入的网络架构下进行了微调。通过这种方式,Pre-Rank可以通过结合来自真实搜索用户和IR专家的相关知识和信号来对相关性进行建模。为了验证Pre-Rank的有效性,我们分别使用BERT和SetRank作为底层排名模型,展示了两种实现。基于三个公开的基准测试的实验结果表明,在这两种实现中,Pre-Rank可以分别优于底层的排名模型,并达到了最先进的性能。
2021-08-12 cs.CL cs.IR
Long Document Re-ranking with Modular Re-ranker
Carnegie Mellon University(卡内基梅隆大学)
对于基于深度语言模型(如BERT)的神经重排序器来说,长文档重排序一直是一个具有挑战性的问题。早期的工作将文档分解成短的类似于文本的块。这些块被独立地映射到标量分数或潜在向量,然后将其汇集到最终的相关性分数中。然而,这些编码和池方法不可避免地引入了一个信息瓶颈:低维表示。在本文中,我们建议,而不是充分的查询到文档的交互建模,利用注意力操作和模块化的Transformer重新排名框架。首先,使用编码器模块独立地对文档块进行编码。然后,交互模块对查询进行编码,并执行从查询到所有文档块表示的联合关注。我们证明,该模型可以使用这个新的自由度,从整个文档中聚合重要信息。实验结果表明,该方法对两个经典的IR集合Robust04和CNOWWeb09以及一个大规模的监督集合MS-MARCO文档排序进行了有效的重排序。
2022-06-06 cs.CL cs.IR
On Approximate Nearest Neighbour Selection for Multi-Stage Dense Retrieval
稠密检索,它描述了使用上下文的语言模型,如BERT,以识别文件的集合,通过利用近似最近邻(ANN)技术,已经越来越受欢迎。根据文档和查询是由单个还是多个嵌入表示,出现了两种方法。ColBERT是后者的典范,它使用ANN索引和近似分数来为每个查询嵌入识别一组候选文档,然后使用准确的文档表示对其进行重新排名。以这种方式,对于每个查询可以检索大量文档,这阻碍了该方法的效率。在这项工作中,我们研究使用人工神经网络的分数排名的候选文件,以减少被充分评分的候选文件的数量。在MSMARCO段落排名语料库上进行的实验表明,通过使用近似分数将候选集切割为仅200个文档,我们仍然可以获得有效的排名,而在有效性上没有统计上的显著差异,并导致效率提高2倍。
2021-08-25 cs.IR
Document Ranking with a Pretrained Sequence-to-Sequence Model
David R. Cheriton School of Computer Science(David R. Cheriton计算机科学学院);University of Waterloo(滑铁卢大学)
这项工作提出了一种新的适应预训练序列到序列模型的任务文档排序。我们的方法从根本上不同于通常采用的基于分类的排名公式,基于仅编码器预训练的Transformer架构,如BERT。我们展示了如何训练序列到序列模型来生成相关标签作为“目标词”,以及如何将这些目标词的潜在逻辑解释为相关概率进行排名。在流行的MS MARCO通道排名任务中,实验结果表明,我们的方法至少与以前的基于分类的模型相当,并且可以通过更大,更新的模型超越它们。在TREC 2004 Robust Track的测试集上,我们展示了一种基于zero-shot传输的方法,该方法优于以前需要数据集内交叉验证的最先进模型。此外,我们发现我们的方法在数据贫乏的情况下(即,只有很少的训练样本)。我们通过改变目标词来进一步研究这一观察结果,以探索模型对潜在知识的使用。
2020-03-14 cs.IR cs.LG
Neural Rankers for Effective Screening Prioritisation in Medical Systematic Review Literature Search
University of Queensland(昆士兰大学);Leipzig University(莱比锡大学);CSIRO(联邦科学与工业研究组织)
医学系统性综述通常需要评估通过检索检索到的所有文件。原因有二:任务的目标是"全面召回“;使用布尔搜索检索的文档是一个无序集合,因此不清楚评估员如何仅检查一个子集。筛选优先级是对检索到的(无序)文档集进行排序的过程,允许评估人员更早地开始系统性综述创建的下游过程,从而更早地完成综述,甚至避免筛选相关性最低的文档。筛选优先级需要高效的排序方法。预训练的语言模型在许多IR任务中是最先进的,但尚未应用于系统综述筛选优先级。在本文中,我们将几个预先训练的语言模型应用于系统综述文档排序任务,包括直接和微调。一项实证分析比较了神经方法与传统方法在这项任务中的有效性。我们还研究了神经方法的不同类型的文档表示及其对排名性能的影响。我们的研究结果表明,基于BERT的排名优于目前最先进的筛选优先级方法。然而,BERT排序器和现有方法实际上可以是互补的,因此,如果结合使用,则可以实现进一步的改进。
2022-12-18 cs.AI cs.IR cs.LG
A Neural Model for Joint Document and Snippet Ranking in Question Answering for Large Document Collections
Athens University of Economics and Business(雅典经济与商业大学);Research Center ‘Athena’(“雅典娜”研究中心);Institute for Language and Speech Processing(语言与语音处理研究所)
用于大型文档集合的问答(QA)系统通常使用流水线,该流水线(i)检索可能相关的文档,(ii)对它们进行重新排名,(iii)对排名靠前的文档的段落或其他片段进行排名,以及(iv)选择排名靠前的片段的跨度作为精确答案。管道在概念上很简单,但是错误会从一个组件传播到下一个组件,后面的组件无法修改前面的决策。我们提出了一个架构,联合文档和片段排名,两个中间阶段,利用相关文档有好的片段和好的片段来自相关文档的直觉。该架构是通用的,可以用于任何神经文本相关性排名器。我们的实验与两个主要的实例化的架构,基于POSIT-DRMM(PDRMM)和基于BERT的排名。在BIOASQ生物医学数据上的实验表明,我们的联合模型在片段检索(QA的主要目标)中的性能大大优于管道,可训练参数较少,在文档检索中也具有竞争力。此外,我们的联合PDRMM为基础的模型是有竞争力的BERT为基础的模型,尽管使用数量级较少的参数。对BIOASQ的两个试验批次进行的人体评价也支持这些声明。为了在另一个数据集上测试我们的关键发现,我们修改了Natural Questions数据集,使其也可以用于文档和片段检索。我们的基于PDRMM的联合模型在修改后的Natural Questions数据集上的片段检索中再次优于相应的管道,尽管它在文档检索中的表现不如管道。我们公开了我们的代码和修改后的Natural Questions数据集。
2021-06-16 cs.IR cs.LG
CORE: A Unified Cascaded Ordinal Relevance Estimation Framework for E-commerce Search
Meituan(美团);Beijing Institute of Technology(北京理工大学)
该研究针对电商搜索中排名相关性问题,提出统一级联二元分类框架,将相关性估计转为顺序决策过程。框架适用于大语言模型和在线BERT模型,经实验验证能显著提升相关性性能,降低在线坏例率,表明分层建模对相关性估计有效。
2026-07-28 cs.IR