GUITAR: Gradient Pruning toward Fast Neural Ranking
针对快速神经排序中非凸不对称度量导致的搜索瓶颈，提出双层图搜索框架GUITAR，利用梯度近似构建候选集并自适应调整其大小，在公开数据上验证了有效性。
2023-12-28 cs.IR
Interpreting Neural Ranking Models using Grad-CAM
近年来，将深度神经网络应用于信息检索已成为一个重要而及时的课题。例如，与传统的排名模型相比，神经排名模型（NRM）已经显示出有前途的性能。然而，由于神经网络的复杂结构，解释NRM的排名结果变得更加困难。另一方面，大量关于可解释机器学习（IML）的研究正在进行中，包括Grad-CAM。Grad-CAM是一种属性方法，它可以可视化对网络输出有贡献的输入区域。在本文中，我们采用Grad-CAM解释NRM的排名结果。通过采用Grad-CAM，我们分析了每个查询文档术语对如何对给定的查询和文档对的匹配得分做出贡献。可视化结果提供了关于为什么某个文档与给定查询相关的见解。此外，结果表明，神经排名模型捕捉到了相关性的微妙概念。我们的解释方法和可视化结果可以用于片段生成和用户查询意图分析。
2020-05-12 cs.IR
Assessing the Benefits of Model Ensembles in Neural Re-Ranking for Passage Retrieval
我们的工作旨在通过实验评估神经方法的背景下，通过重新排序的模型集成的好处。从相对标准的神经模型开始，我们使用一种名为快速几何集成的先前技术来从特定的训练时间表生成多个模型实例，然后将注意力集中在用于组合来自多个模型实例的结果的不同类型的方法上（例如，平均排序分数、使用来自IR文献的融合方法、或使用监督学习排序）。使用MS-MARCO数据集的测试表明，模型集成确实可以提高排名质量，特别是在监督学习-to-rank的情况下，尽管也有无监督的排名聚合。
2021-01-21 cs.IR
An Axiomatic Approach to Regularizing Neural Ranking Models
公理化信息检索（IR）寻求一组理想的IR模型的原则属性。当正式表达这些属性时，在搜索更好的相关性估计函数时提供指导。神经排序模型通常包含大量参数。这些模型的训练涉及基于大量标记示例搜索适当的参数值。直觉上，可以指导搜索更好的传统IR模型的公理也应该有助于基于机器学习的排名器的更好的参数估计。这项工作探讨了使用IR公理来增强对训练神经排名模型的标记数据的直接监督。我们在训练过程中沿着众所周知的公理修改数据集中的文档，并根据排名模型和公理之间的一致性添加正则化损失，其中文档的版本-原始或扰动-应该是首选的。实验结果表明，公理化正则化后的神经网络排序模型具有更快的收敛速度和更好的泛化能力。
2019-04-15 cs.IR
Improving Neural Ranking via Lossless Knowledge Distillation
我们探索了一种新的视角知识蒸馏（KD）的学习排序（LTR），并介绍了自蒸馏神经排名（SDR），其中学生排名相同的参数，他们的老师。与现有的排名蒸馏工作，追求良好的性能和效率之间的权衡，SDR是能够显着提高排名性能的学生在教师排名，而不增加模型容量。SDR的关键成功因素，它不同于普通的蒸馏技术分类是：（1）一个合适的教师分数转换函数，（2）一个新的列表蒸馏框架。这两种技术都是专门为排名问题而设计的，在现有的知识蒸馏文献中很少研究。SDR基于最先进的神经排名结构，能够将神经排名性能的极限推到最近严格的基准研究之上，并在9个关键指标中的7个指标上显著优于传统的强梯度提升决策树模型，这在文献中尚属首次。除了强有力的实证结果外，我们还从理论上解释了为什么列表蒸馏对神经排名器有效，并提供消融研究来验证SDR框架中关键因素的必要性。
2022-04-06 cs.IR
Certified Robustness to Word Substitution Ranking Attack for Neural Ranking Models
神经排序模型在信息检索中取得了可喜的成果。非国家机制也被证明容易受到敌对性例子的影响。最近提出了一种典型的针对NRM的单词替换排名攻击（WSRA），攻击者通过向其文本添加人类无法感知的扰动来提升目标文档的排名。这在现实世界的应用中部署NRM时引起了关注。因此，重要的是要开发技术，抵御这种攻击的NRM。在经验防御中，对抗性的例子在训练过程中被发现，并被用来增强训练集。然而，这样的方法并不能保证模型的鲁棒性，最终可能会被其他复杂的WSRA打破。为了避免这种军备竞赛，需要严格和可证明的NRM认证防御方法。为此，我们首先为排名模型定义了\textit{Certified Top-$K$ Robustness}，因为用户主要关心现实场景中排名靠前的结果。当保证在任何攻击下都能使不在顶部$K$的文档远离顶部$K$时，排名模型在排名列表上被称为Certified Top- $K$ Robust。然后，我们介绍了一个认证的防御方法，命名为CertDR，以实现认证的顶级$K$对WSRA的鲁棒性，基于随机平滑的思想。具体来说，我们首先构建一个平滑的排名应用随机字替换的文件，然后利用排名属性与统计属性的合奏证明顶级$K$的鲁棒性。在两个有代表性的网络搜索数据集上进行的大量实验表明，CertDR可以显着优于最先进的排名模型经验防御方法。
2022-09-14 cs.IR
PT-Ranking: A Benchmarking Platform for Neural Learning-to-Rank
深度神经网络已成为研究学习排序算法方面的研究人员的首选。不幸的是，要找到实现最佳排名性能的超参数的最佳设置并不容易。因此，开发新模型并与现有方法进行公平比较变得越来越困难，特别是对于新手。在这项工作中，我们提出了PT-Ranking，这是一个基于PyTorch的开源项目，用于开发和评估使用深度神经网络作为基础来构建评分函数的学习排序方法。一方面，PT排序包括许多有代表性的学习排序方法。除了传统的优化框架通过经验风险最小化，对抗优化框架也被集成。此外，PT排名的模块化设计提供了一套构建模块，用户可以利用这些模块来开发新的排名模型。另一方面，PT排名支持基于广泛使用的数据集（例如，Yahoo！LETOR和Istella LETOR）在不同的度量方面，例如精度、MAP、nDCG、nERR。通过以指定的比率随机掩蔽地面实况标签，PT排名允许检查未标记的查询-文档对的比率在多大程度上影响不同学习排序方法的性能。我们进一步进行了一系列演示实验，以清楚地显示不同因素对神经学习排序方法的影响，如激活函数，层数和优化策略。
2020-08-31 cs.IR
Cross Domain Regularization for Neural Ranking Models Using Adversarial Learning
与传统的依赖于手工特征的排名模型学习不同，神经表示学习模型通过在大型数据集上进行训练来学习更高级别的特征。然而，他们直接从数据中学习新功能的能力可能是有代价的。在没有任何特殊监督的情况下，这些模型学习可能仅在训练数据采样的域中保持的关系，并且很难推广到训练期间未观察到的域。我们研究了对抗性学习作为排名任务背景下的跨域正则化器的有效性。我们使用一个对抗性的神经网络，并在一小部分领域上训练我们的神经排名模型。该模型提供了一个负反馈信号，以阻止模型学习领域特定的表示。我们的实验表明，在存在对抗性攻击的情况下，在保留域上的性能始终更好--有时精度高达30%@1。
2018-05-09 cs.IR
Asymmetric Hashing for Fast Ranking via Neural Network Measures
快速项目排序是推荐系统的一个重要任务。在以前的工作中，基于图的近似最近邻（ANN）方法已经表现出良好的性能与通用的搜索/匹配措施（包括复杂的措施，如神经网络措施）的项目排名任务。然而，由于这些ANN方法在排序过程中必须多次通过神经测量，如果神经测量是一个大型网络，则计算是不实际的。另一方面，使用现有的基于散列的方法（例如局部敏感散列（LSH））的快速项目排名仅适用于有限的度量集。以前的学习散列方法也不适合解决快速项目排名问题，因为它们可能需要大量的时间和计算来训练散列函数。然而，散列方法是有吸引力的，因为它们提供了一个原则和有效的方式来检索候选项。在本文中，我们提出了一个简单而有效的学习哈希方法的快速项目排名问题，可用于任何类型的措施，包括神经网络措施。具体来说，我们解决了这个问题的非对称散列框架的基础上离散内积拟合。我们学习一对映射异构对象的相关散列函数（例如，用户和项目）到一个公共的离散空间中，其中它们的二进制码的内积揭示了它们经由原始搜索度量定义的真实相似性。通过这种非对称散列方案的快速排名问题减少到人工神经网络搜索。然后，我们提出了一个抽样策略，有效地选择相关和对比样本的训练哈希模型。我们经验验证所提出的方法对现有的国家的最先进的快速项目排名方法在几个组合的非线性搜索功能和突出的数据集。
2022-11-01 cs.IR
PRADA: Practical Black-Box Adversarial Attacks against Neural Ranking Models
近年来，神经排序模型（NRM）取得了显著的成功，特别是在预训练的语言模型中。然而，深度神经模型因其对对抗性示例的脆弱性而臭名昭著。鉴于我们越来越依赖神经信息检索模型，对抗攻击可能成为一种新型的网络垃圾邮件技术。因此，重要的是研究潜在的对抗攻击，以在部署NRM之前识别其漏洞。在本文中，我们介绍了针对NRM的单词替换排名攻击（WSRA）任务，该任务旨在通过向其文本添加对抗性扰动来提升目标文档的排名。我们专注于基于决策的黑盒攻击设置，攻击者不能直接访问模型信息，但只能查询目标模型，以获得部分检索列表的排名位置。这种攻击设置在现实世界的搜索引擎中是现实的。我们提出了一种新的基于伪相关性的对抗性排名攻击方法（PRADA），该方法基于伪相关反馈（PRF）来学习代理模型，以生成用于发现对抗性扰动的梯度。在两个网络搜索基准数据集上的实验表明，PRADA可以超越现有的攻击策略，并成功地用小的不可识别的文本扰动欺骗NRM。
2022-06-08 cs.IR
Efficient Neural Ranking using Forward Indexes
神经文档排序方法，特别是Transformer模型，在排名性能方面取得了令人印象深刻的进步。然而，使用这种过度参数化模型的查询处理是资源和时间密集型的。在本文中，我们提出了快进索引-一个简单的向量向前索引，便于使用插值的词汇和语义分数的排名文件-作为上下文重排序和密集索引的基础上最近邻搜索的替代品。Fast-Forward索引依赖于高效的稀疏模型进行检索，并且仅在恒定时间内查找文档和段落的预先计算的密集的基于transformer的向量表示，以便在查询处理期间进行快速的基于CPU的语义相似性计算。我们提出了索引修剪和理论上接地早期停止技术，以提高查询处理吞吐量。我们在TREC-DL数据集上进行了广泛的大规模实验，并显示了仅使用CPU的混合索引在性能和查询处理效率方面的改进。由于词汇和语义相似性的互补优势，快进索引可以使用插值提供更好的排名性能。
2022-04-04 cs.IR
Towards Robustness Analysis of E-Commerce Ranking System
本文首次系统研究电商排序系统鲁棒性，定义鲁棒性为语义相同查询的排序结果一致性，提出兼顾排序位置与商品信息的新指标，基于真实电商数据发现排序不一致问题并给出优化方向，为电商排序鲁棒性测量提供指导。
2024-03-07 cs.IR
Personalized Search Via Neural Contextual Semantic Relevance Ranking
本文提出一种神经学习框架，通过结合词汇表示和语义嵌入建模文档内容与用户查询上下文的关系，利用个性化上下文信号优化文档排序，有效提升了个性化搜索效果。
2023-09-10 cs.IR
Data Augmentation for Sample Efficient and Robust Document Ranking
本文提出有监督和无监督的数据增强方案，并调整对比损失函数以利用增强数据学习文档排序模型，显著提升了小样本下的排序性能及域外鲁棒性。
2023-11-26 cs.IR
Critically Examining the "Neural Hype": Weak Baselines and the Additivity of Effectiveness Gains from Neural Ranking Models
神经IR主要是炒作吗？在最近的SIGIR论坛文章中，Lin对神经排名模型实际上在有限的数据场景中提高临时检索效率表示怀疑。他提供了一些轶事证据，证明神经IR论文的作者通过与弱基线进行比较来证明“胜利”。本文通过两种方式对这些声明进行了严格的评估：首先，我们对报告TREC Robust04测试集合实验结果的论文进行了荟萃分析。我们没有发现有效性随时间推移而上升的证据。事实上，最好的报告结果是十年前的，最近的神经方法都没有接近。其次，我们应用了五个最新的神经模型来重新排列Lin用来提出论点的强基线。一个显着的改善，观察到的模型之一，证明增益的加和性。虽然似乎有优点的神经IR方法，至少有一些在文献中报道的收益似乎是虚幻的。
2019-09-18 cs.IR
Robust Reputation Independence in Ranking Systems for Multiple Sensitive Attributes
排名系统对人们获取信息的方式和内容产生了前所未有的影响，人们正在从不同的角度分析它们对我们社会的影响，例如用户歧视。一个值得注意的例子是基于声誉的排名系统，这类系统依赖于用户的声誉来生成非个性化的项目排名，被证明对某些人口统计类别有偏见。为了保障一个给定的敏感用户的属性不会系统地影响该用户的声誉，以前的工作已经操作这类系统的声誉独立性约束。在本文中，我们发现，保证声誉独立的一个敏感属性是不够的。当基于一个敏感属性（例如，性别），最终排名可能仍然对基于另一属性形成的某些人口统计组有偏见（例如，年龄）。因此，我们提出了一种新的方法，同时引入多个敏感属性的声誉独立性。然后，我们分析了我们的方法在多大程度上影响的歧视和其他重要属性的排名系统，如其质量和鲁棒性的攻击。在两个真实数据集上的实验表明，该方法在不影响系统质量和鲁棒性的情况下，对多个用户的敏感属性进行了更少的偏差排名。
2022-03-30 cs.IR
Explain then Rank: Scale Calibration of Neural Rankers Using Natural Language Explanations from LLMs
本文提出利用LLM生成自然语言解释的蒙特卡洛采样提供相关性与不确定性信号，将神经排序任务转化为对解释进行排序，从而为现代神经文本排序器生成尺度校准分数，并在多个任务上优于现有方法。
2024-08-26 cs.IR
DrEM: Dual-Side Robust Ensemble Ranking from Noisy User Preference Predictions in Video Recommendation
Shenzhen University（深圳大学）；Kuaishou Technology（快手科技）
针对视频推荐中上游多任务模型输出的用户偏好预测含噪导致的排序不稳定问题，提出双侧鲁棒集成排序框架DrEM，通过风险去噪鲁棒损失与排序一致性正则化提升性能，经实验验证有效。
2026-08-14 cs.IR
Neural Collaborative Ranking
推荐系统的目标是生成最终用户可能感兴趣的个性化排名项目列表。随着深度学习在计算机视觉和语音识别领域的空前成功，如何在推荐系统和深度神经网络之间架起一座桥梁成为了当前的热门话题。深度学习方法已被证明在许多推荐任务上达到了最先进的水平。例如，最近的模型NeuMF首先将用户和项目投影到一些共享的低维潜在特征空间中，然后采用神经网络来模拟用户和项目潜在特征之间的交互，以获得推荐任务的最新性能。NeuMF假设非交互项是固有的负，并使用负抽样来放松这一假设。在本文中，我们研究了另一种方法，它不假设非交互式项目一定是负面的，只是他们是不喜欢比交互式项目。具体来说，我们开发了一个新的分类策略的基础上广泛使用的成对排序假设。我们结合我们的分类策略与最近提出的神经协同过滤框架，并提出了一个通用的协作排名框架称为神经网络为基础的协作排名（NCR）。我们采用神经网络架构来对用户在项目之间的成对偏好进行建模，相信神经网络将有效地捕获潜在因素的潜在结构。在两个真实世界数据集上的实验结果表明，与几种最先进的方法相比，我们的模型具有优越的性能。
2018-08-15 cs.IR
Traditional IR rivals neural models on the MS MARCO Document Ranking Leaderboard
这篇简短的文档描述了一个传统的IR系统，该系统在MS MARCO文档排序排行榜上实现了MRR@100等于0.298（2020年12月6日）。虽然不如大多数基于BERT的模型，但它优于几个神经运行（以及所有非神经运行），包括两个使用大型预训练Transformer模型进行重新排名的提交。我们提供软件和数据来重现我们的结果。
2021-03-17 cs.CL cs.IR
Topic-oriented Adversarial Attacks against Black-box Neural Ranking Models
该研究提出面向主题的黑盒神经排序模型对抗攻击任务，构建基于代理排序模型、强化学习与主题导向奖励的攻击框架，实验证明其性能优于现有策略，凸显NRMs的实际应用风险。
2023-04-28 cs.IR
Evaluation of Field-Aware Neural Ranking Models for Recipe Search
复杂文档结构中的场交互和相关性的显式建模最近在神经文档嵌入和检索任务中得到了普及。虽然这需要定制的任务依赖模型的规格，令人鼓舞的实证结果开始出现。在这项工作中，我们提出了第一次深入分析的非线性多场相互作用（NL-MFI）在烹饪领域的排名。我们的研究结果表明，字段加权因子分解机模型提供了一个统计上显着的改进，在配方检索任务的基线。此外，我们表明，稀疏捕获的领域知识和特征选择算法的基础上的相互作用的子集提供了显着的优势，基线和详尽的替代品。虽然场交互感知模型在架构基础上更加精细，但由于镜像文档和模型分解，它们在优化方面通常更有效，并且更适合解释性。
2021-07-08 cs.IR
EMPRA: Embedding Perturbation Rank Attack against Neural Ranking Models
本文提出EMPRA方法，通过操纵句子级嵌入对黑盒神经排序模型进行对抗性攻击，在MS MARCO V1上实现近96%目标文档从51-100名提升至前十，且无需替代模型。
2025-02-26 cs.IR
Attack-in-the-Chain: Bootstrapping Large Language Models for Attacks Against Black-box Neural Ranking Models
提出Attack-in-the-Chain框架，利用思维链提示引导大型语言模型在黑盒设置下生成对抗样本，有效攻击并揭示神经排序模型的鲁棒性缺陷。
2024-12-25 cs.IR
Agent4Ranking: Semantic Robust Ranking via Personalized Query Rewriting Using Multi-agent LLM
本文提出Agent4Ranking框架，利用多智能体大语言模型模拟不同人口统计群体进行查询改写，并结合鲁棒MMoE架构与混合损失函数，增强排序模型对多样化查询表述的鲁棒性。
2023-12-24 cs.IR
Neural IR Meets Graph Embedding: A Ranking Model for Product Search
近年来，神经网络模型在信息检索中的应用越来越广泛。由于它们在语义匹配方面的竞争优势，为产品搜索提供了有效的途径。然而，它是具有挑战性的，使用基于图的功能，虽然证明非常有用的IR文献中，在这些神经方法。在本文中，我们利用图嵌入技术的最新进展，使神经检索模型，利用图结构的数据自动特征提取。该方法不仅有助于克服点击数据的长尾问题，而且还可以结合外部异构信息来改善搜索结果。在真实世界的电子商务数据集上进行的大量实验表明，我们提出的方法在多个强基线上取得了显着的改进，无论是作为一个单独的检索模型，还是作为学习排名框架中使用的一个功能。
2019-01-24 cs.IR
Improving Efficient Neural Ranking Models with Cross-Architecture Knowledge Distillation
检索和排名模型是许多应用程序的支柱，如Web搜索，开放域QA，或基于文本的推荐系统。神经排名模型在查询时的延迟在很大程度上取决于其设计者的架构和故意选择，以权衡效率以获得更高的效率。这种对越来越多的高效排名架构的低查询延迟的关注使它们适用于生产部署。在机器学习中，一种越来越常见的方法来缩小更高效模型的有效性差距，即将知识蒸馏从大型教师模型应用到较小的学生模型。我们发现，不同的排名架构往往会产生不同幅度的输出分数。基于这一发现，我们提出了一个跨架构的培训过程与利润集中损失（边际MSE），适应知识蒸馏不同的分数输出分布的不同BERT和非BERT通过排名架构。我们将可教信息作为额外的细粒度标签应用于MSMARCO通道集合的现有训练三元组。我们评估我们的过程中提取知识从国家的最先进的级联BERT模型到四个不同的有效架构（TK，ColBERT，PreTT，和一个BERT CLS点积模型）。我们表明，在我们评估的架构，我们的边际MSE知识蒸馏显着提高重新排名的有效性，而不影响其效率。此外，我们展示了我们的一般蒸馏方法，以改善最近邻索引检索与BERT点积模型，提供有竞争力的结果与专业和更昂贵的训练方法。为了使社区受益，我们将教师评分培训文件发布在一个现成的软件包中。
2021-01-22 cs.IR
An Exploration of Approaches to Integrating Neural Reranking Models in Multi-Stage Ranking Architectures
我们探索了不同的方法来集成一个简单的卷积神经网络（CNN）与Lucene搜索引擎在一个多阶段的排名架构。我们的模型使用PyTorch深度学习工具包进行训练，该工具包是用C/C++和Python前端实现的。一个明显的集成策略是将神经网络直接公开为服务。为此，我们使用Apache Thrift，这是一个用于构建可扩展的跨语言服务的软件框架。在探索替代架构时，我们观察到，一旦经过训练，神经网络的前馈评估非常简单。因此，我们可以从PyTorch中提取经过训练的CNN的参数，并将模型导入Java，利用Java Deeplearning 4J库进行前馈评估。这样做的好处是，整个端到端系统都可以用Java实现。作为第三种方法，我们可以从PyTorch中提取神经网络，并将其“编译”为公开Thrift服务的C++程序。我们评估这些替代品的性能（延迟和吞吐量）以及易于集成。实验表明，卷积神经网络的前馈评估在Java中明显较慢，而编译的C++网络的性能并不总是优于PyTorch实现。
2017-07-26 cs.IR
Slice-Aware Neural Ranking
TU Delft（代尔夫特理工大学）
通过错误分析了解神经排名模型何时以及为什么会在IR任务中失败是研究周期的重要组成部分。在这里，我们专注于以下挑战：（i）识别神经排名器无效的困难实例（一对问题和回答候选者）的类别，以及（ii）改进此类实例的神经排名。为了解决这两个挑战，我们求助于基于切片的学习，其目标是提高数据切片（子集）的神经模型的有效性。我们通过提出不同的切片函数（SF）来解决挑战（i），这些切片函数选择数据集的切片-基于先前的工作，我们以启发式的方式捕获神经排序器的不同故障。然后，对于挑战（ii），我们调整神经排名模型来学习切片感知表示，即调整后的模型学习基于模型对问题和响应所属切片的预测来不同地表示问题和响应。我们在三个不同的排名任务和四个语料库上的实验结果（源代码和数据可在https：//github.com/Guzpenha/slice_based_learning上获得）表明，基于切片的学习比不知道切片的神经排名器平均提高了2%的有效性。
2020-10-07 cs.CL cs.IR
Context Attentive Document Ranking and Query Suggestion
我们提出了一个上下文感知的神经排序模型，利用用户的任务搜索活动，提高检索性能。特别是，一个两级层次递归神经网络被引入到学习搜索上下文表示的个人查询，搜索任务，以及相应的依赖结构，通过共同优化两个同伴检索任务：文档排序和查询建议。为了识别搜索上下文和用户正在进行的搜索活动之间的变量依赖结构，在两个层次的经常性状态的注意力。广泛的实验比较，对一组丰富的基线方法和深入的消融分析证实了我们提出的方法建模搜索上下文埋在搜索任务的价值。
2019-06-05 cs.IR
Non-Linear Multiple Field Interactions Neural Document Ranking
University of Bristol（布里斯托尔大学）；Cookpad Ltd（Cookpad有限公司）
排名任务通常基于页面主体的文本和用户在页面上的操作（点击）。还有其他元素可以被利用来更好地将排名体验置于情境中（例如，其他字段中的文本、用户进行的查询、图像等）。我们提出了一个领域的相互作用，在两个独立的数据集的多个领域的排名的第一次深入分析。虽然有些作品已经利用了完整的文档结构，但有些方面仍然没有探索。在这项工作中，我们建立在以前的分析，以显示查询字段的相互作用，非线性字段的相互作用，以及底层神经模型的架构如何影响性能。
2020-11-18 cs.AI cs.IR
Studying Catastrophic Forgetting in Neural Ranking Models
Université Paul Sabatier（保罗·萨巴蒂埃大学）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）
在最近的IR文献中已经提出了几种深度神经排序模型。虽然它们到由数据集持有的一个目标域的可转移性已经使用传统的领域自适应策略被广泛地解决，但是它们的跨域可转移性的问题仍然是研究不足的。我们在这里研究神经排名模型在获得新知识后，在多大程度上灾难性地忘记了从以前观察到的领域获得的旧知识，导致这些领域的性能下降。我们的实验表明，neuralIR排名模型的有效性是以灾难性遗忘为代价的，并且使用跨域正则化器的终身学习策略成功地缓解了这个问题。使用的解释方法建立在一个回归模型，我们还显示了领域特性的影响，灾难性遗忘的崛起。我们相信，所获得的结果可以在神经IR的理论和实践的未来工作是有用的。
2021-01-18 cs.AI cs.IR
Cross-Document Neural Re-Ranking via Query-Induced Subgraphs
Sapienza University of Rome（罗马第一大学）；ISTI-CNR（意大利国家研究委员会信息科学与技术研究所）；University of Cambridge（剑桥大学）；Istituto Nazionale di Geofisica e Vulcanologia（国家地球物理与火山学研究所）；University of Pisa（比萨大学）
提出GNRR框架，利用查询诱导子图和GNN传播跨文档信号，实现线性复杂度重排序，在TREC-DLHard上比TCT-ColBERT提升5.2% AP，优于自注意力方法。
2026-09-15 cs.IR
A robust ranking algorithm to spamming
网络评分系统中的评分问题引起了人们的广泛关注。一个好的排名算法应该对垃圾邮件攻击具有鲁棒性。在此，我们提出了一个基于相关性的信誉算法，以解决这种评级系统，用户投票的一些对象与评级的排名问题。在该算法中，用户的信誉是通过他/她的评级向量和相应的对象的加权平均评级向量之间的相关系数迭代确定的。仿真和真实数据的实验结果表明，与迭代精化算法和平均得分算法相比，该算法对垃圾邮件攻击具有更高的鲁棒性。
2010-12-17 cs.IR physics.data-an
Towards Robust Offline Evaluation: A Causal and Information Theoretic Framework for Debiasing Ranking Systems
本文提出一个系统无关的因果与信息论框架，通过重加权与黑盒优化将非随机缺失数据转化为随机缺失数据，有效消除离线评估中的多种偏差，提升了模型评估的准确性与公平性。
2025-04-04 cs.IR
Interpreting search result rankings through intent modeling
鉴于最近的兴趣，可以说是准确的，但不可解释的神经模型，即使与文本特征，文档排序，我们试图回答有关如何解释排名的问题。在本文中，我们采取的第一个步骤对检索模型的可解释性框架的目的是回答3个主要问题“什么是查询的意图，根据排名？“，“为什么一个文档在查询中的排名高于另一个？“和“为什么一个文件与查询相关？“我们的框架是基于这样一个假设，即基于文本的检索模型行为可以使用查询扩展结合一个更简单的检索模型来估计，而不管底层的排名。我们使用Cocktail Web测试集合进行了实验。我们展示了我们的方法如何使用封闭形式符号（允许我们测量解释的准确性）和神经排名模型来实现更简单的模型。我们的研究结果表明，我们确实可以解释更复杂的模型，在某些简化的假设下具有合理的准确性。在一个案例研究中，我们还表明，我们的框架可以用来解释DRMM神经检索模型在各种情况下的结果。
2018-09-13 cs.IR
Neural ranking models for document retrieval
Lehigh University（理海大学）
排序模型是信息检索系统的主要组成部分。有几种排名方法是基于传统的机器学习算法，使用一组手工制作的功能。最近，研究人员在信息检索中利用了深度学习模型。这些模型经过端到端的训练，从原始数据中提取特征用于排名任务，从而克服了手工制作特征的局限性。已经提出了各种深度学习模型，每个模型都提供了一组神经网络组件来提取用于排名的特征。在本文中，我们沿着不同的维度比较了文献中提出的模型，以了解每个模型的主要贡献和局限性。在我们的文献讨论中，我们分析了有前途的神经元组件，并提出了未来的研究方向。我们还展示了文档检索和其他检索任务之间的类比，其中要排名的项目是结构化的文档，答案，图像和视频。
2021-11-02 cs.IR cs.LG
Improving Noise Robustness for Spoken Content Retrieval using Semi-supervised ASR and N-best Transcripts for BERT-based Ranking Models
基于BERT的重新排序和稠密检索（DR）系统已被证明可以提高语音内容检索（SCR）的搜索效率。然而，这两种方法在使用ASR成绩单时仍然可以显示出与准确的手动成绩单相比的有效性降低。我们发现，一个已知的项目搜索任务的How2数据集的口语教学视频显示减少平均倒数排名（MRR）分数的10- 14%。作为一种潜在的方法，以减少这种差异，我们调查使用半监督ASR成绩单和N-best ASR成绩单，以减轻ASR错误的口语搜索使用BERT为基础的排名。半监督的ASR转录本带来了2-5.5%的MRR改善标准的ASR转录本和我们的N-best早期融合方法的BERT DR系统的MRR提高了3- 4%。将半监督转录本与用于BERT DR的N-best早期融合相结合，将手动和ASR转录本之间的搜索效率的MRR差距从14.32%减少到6.58%，减少了50%以上。
2023-01-15 cs.IR
Deep Neural Network for Learning to Rank Query-Text Pairs
本文用学习排序方法研究信息检索系统中的文档排序问题。我们提出了ConvRankNet，它结合了Siamese卷积神经网络编码器和RankNet排名模型，可以以端到端的方式进行训练。我们证明了一个一般性的结果证明了成对学习排序方法的线性测试时间复杂度。在OHSUMED数据集上的实验表明，ConvRankNet系统地优于现有的基于特征的模型。
2018-02-25 cs.IR
Hard Negatives or False Negatives: Correcting Pooling Bias in Training Neural Ranking Models
神经排序模型已成为信息检索中最重要的技术之一。由于相关标签的限制，NRM的训练严重依赖于对未标记数据的负采样。在一般的机器学习场景中，已经表明使用硬否定（即，接近阳性的样本）可以导致更好的性能。令人惊讶的是，我们发现相反的结果，从我们的经验研究在IR。当采样排名靠前的结果（不包括标记的阳性）作为负面的一个更强大的检索，学习NRM的性能变得更糟。根据我们的调查，表面原因是有更多的假阴性（即，无标记的阳性），这可能会损害训练过程;其根源是数据集构建过程中存在池化偏差，注释器只对一些基本检索器选择的极少数样本进行判断和标记。因此，原则上，我们可以将训练NRM中的假阴性问题表述为从具有池化偏差的标记数据集学习。为了解决这个问题，我们提出了一种新的耦合估计技术（CET），同时学习相关性模型和选择模型，以纠正训练NRM的池化偏差。三个检索基准的实证结果表明，与其他基线策略相比，我们的技术训练的NRM可以实现显着的收益。
2022-09-12 cs.IR
Incorporating Query Term Independence Assumption for Efficient Retrieval and Ranking using Deep Neural Networks
Microsoft AI & Research（微软人工智能与研究院）
经典的信息检索（IR）方法，如查询可能性和BM 25，评分文件独立w.r.t.每个查询词，然后累积分数。假设查询术语独立性允许使用这些模型预先计算术语-文档分数--这些模型可以与专门的数据结构（如倒排索引）相结合，以实现高效检索。相比之下，深度神经IR模型将整个查询与文档进行比较，因此通常仅用于后期重新排名。我们将查询项独立性假设纳入三个最先进的神经IR模型：BERT，Duet和CKNRM-并评估它们在段落排名任务上的性能。令人惊讶的是，我们观察到Duet和CKNRM的结果质量没有显著损失，而BERT的结果质量略有下降。然而，通过独立地对每个查询词进行操作，这些计算密集型模型变得易于离线预计算-大大降低了采用最先进的神经排名模型进行查询评估的成本。这种策略使得使用深度模型从大型集合中进行检索变得切实可行，而不是将其使用限制在后期重新排名。
2019-07-08 cs.IR cs.LG
Enhanced Bayesian Personalized Ranking for Robust Hard Negative Sampling in Recommender Systems
本文针对硬负采样中的假阴性问题，提出增强型贝叶斯个性化排序目标Hard-BPR，通过改进损失函数而非采样算法来提升推荐模型鲁棒性，并在三个真实数据集上验证其有效性。
2024-03-28 cs.IR
Scalable Exploration for Neural Online Learning to Rank with Perturbed Feedback
深度神经网络（DNN）在提高检索任务的排名性能方面表现出显着的优势。在DNN优化和泛化的最新技术发展的推动下，通过与用户的交互在线学习神经排名模型成为可能。然而，模型学习所需的探索必须在整个神经网络参数空间中进行，这是非常昂贵的，并限制了这种在线解决方案在实践中的应用。在这项工作中，我们提出了一个有效的探索策略在线交互式神经排名学习的基础上的自举的想法。我们的解决方案采用了一个整体的排名模型训练扰动用户点击反馈。所提出的方法消除了显式置信集构造和相关的计算开销，这使得在线神经排序器的训练在实践中能够在理论保证下有效地执行。在两个公共学习排序基准数据集上与一系列最先进的OL2R算法进行了广泛的比较，证明了我们提出的神经OL2R解决方案的有效性和计算效率。
2022-09-25 cs.IR
Reproducing and Extending Causal Insights Into Term Frequency Computation in Neural Rankers
本文复现并扩展了神经排序模型中词频计算的因果洞察，验证了激活修补框架，新增词频递减公理，并识别出编码该公理的注意力头，揭示模型内部决策机制。
2025-10-08 cs.IR
RobustMask: Certified Robustness against Adversarial Neural Ranking Attack via Randomized Masking
Wuhan University（武汉大学）；Yale University（耶鲁大学）；Nanyang Technological University（南洋理工大学）
RobustMask通过结合预训练语言模型和随机掩码机制，提升神经排序模型对对抗扰动的鲁棒性，认证top-K鲁棒性并有效增强实际检索系统的安全性。
2025-12-29 cs.CR cs.IR
Retrieving Comparative Arguments using Ensemble Methods and Neural Information Retrieval
本研究针对比较性问题的论证检索任务，结合决策树集成、BERT等技术构建排序模型，在赛事中取得相关性第一、质量第二的成绩，可提升比较查询处理性能。
2023-05-01 cs.IR
Efficient Neural Ranking using Forward Indexes and Lightweight Encoders
本文提出 Fast-Forward 向量前向索引，结合词法与语义分数插值、表示预计算、轻量编码器及动态标记丢弃，实现高深度、低延迟且无需 GPU 的高效神经重排序。
2023-11-02 cs.IR
Neural Ranking Models with Multiple Document Fields
深度神经网络最近在ad-hoc检索任务中显示出了希望。然而，这种模型通常基于文档的一个字段，例如仅考虑文档标题或仅考虑文档正文。由于在实践中，文档通常有多个字段，并考虑到非神经排名模型，如BM 25 F已开发利用文档结构，本文研究神经模型如何处理多个文档字段。我们引入了一个模型，它可以使用短文本字段（如文档标题）和长文本字段（如文档正文）。它还可以处理实例数量可变的多实例字段，例如，每个文档都有零个或多个传入锚文本的实例。由于字段的覆盖率和质量各不相同，因此我们引入了一种掩码方法来处理丢失的字段实例，以及一种字段级丢弃方法来避免过于依赖任何一个字段。在非神经域加权的研究中，我们发现最好的排序器对整个文档进行联合评分，而不是生成每个域的分数并进行聚合。我们发现，不同的文档字段可能会匹配不同方面的查询，因此受益于比较单独的表示的查询文本。这里介绍的技术的组合导致了一个神经排名器，可以利用完整的文档结构，包括多个实例和缺失的实例数据，可变长度。这些技术显著地增强了排名器的性能，并且还优于具有手工制作的特征的学习排序基线。
2017-11-25 cs.IR
End-to-End Neural Ad-hoc Ranking with Kernel Pooling
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）；Allen Institute for AI（艾伦人工智能研究院）
提出了一种基于核的文档排序神经网络模型K-NRM。给定一个查询和一组文档，K-NRM使用一个翻译矩阵，通过词嵌入对词级相似性进行建模，一种新的内核池技术，使用内核来提取多级软匹配特征，以及一个学习排名层，将这些特征组合到最终的排名分数中。整个模型都是端到端训练的。排序层从成对排序损失中学习所需的特征模式。核函数将特征模式转换为每个相似度级别的软匹配目标，并将其强制到转换矩阵上。相应地调整词嵌入，以便它们可以产生所需的软匹配。在商业搜索引擎的查询日志上的实验证明了K-NRM相对于现有的基于特征和基于神经的最新技术的改进，并解释了K-NRM的优势的来源：其内核引导嵌入编码为匹配查询词到文档词而定制的相似性度量，并提供有效的多级软匹配。
2017-06-20 cs.CL cs.IR
ExpertRank: A Multi-level Coarse-grained Expert-based Listwise Ranking Loss
信息检索的目标是推荐与给定查询最相关的候选文档列表。列表学习通过同时大规模比较各种候选人来训练神经检索模型，提供比成对和逐点方案更具竞争力的性能。现有的列表排序损失将候选文档列表视为整个单元而不进行进一步检查。一些具有中等语义显著性的候选者可能被嘈杂的相似性信号忽略，或者被一些特别显著的候选者遮蔽。因此，现有的排名损失未能充分利用神经检索模型的潜力。为了解决这些问题，我们采用经典的池化技术进行多级粗粒度，并提出ExpertRank，一种新的基于专家的列表排序损失。该方案有三个主要优点：（1）ExpertRank通过模型预测和文档间比较在不同的局部层次上选择突出的候选项，将粗粒度的深刻物理概念引入到信息检索中。(2)ExpertRank通过对传统ListNet的扩展，采用专家混合（MoE）技术，有效地将不同的专家组合在一起。(3)与其他现有的列表学习方法相比，ExpertRank为具有不同复杂度的各种神经检索模型提供了更可靠和更有竞争力的性能，从传统的模型，如KNRM，ConvKNRM，MatchPyramid，到复杂的基于BERT/ALBERT的检索模型。
2021-07-29 cs.IR
VerTox: Verifiable Reward-Guided Corpus Poisoning Against Neural Ranking Models
Capital One；University of Utah（犹他大学）；Snowflake Inc.（Snowflake公司）
本研究提出VerTox框架，将语料库污染转化为可验证奖励引导强化学习问题，微调LLM生成高流畅度低困惑度的对抗文档，可高效污染神经排序模型并损害下游RAG应用性能。
2026-09-02 cs.CL cs.IR
Multi-Task Learning for Email Search Ranking with Auxiliary Query Clustering
用户的信息需求在不同的任务中有很大的不同，因此他们的查询在表达能力和语义上也会有很大的不同。许多研究已经提出了这样的查询多样性模型，通过获取查询类型和建立查询相关的排名模型。这些研究通常需要一个标记的查询数据集或来自多个用户对同一文档的点击。然而，当手动查询标记不可行时，这些技术不适用，并且由于文档集合的私有性质，聚集的点击不可用，例如，在电子邮件搜索场景中。在本文中，我们研究如何获得查询类型在一个无监督的方式，以及如何将这些信息到查询相关的排名模型。首先，我们开发了一个层次聚类算法的基础上截断SVD和方差最大旋转，以获得粗到细的查询类型。然后，我们研究了三个依赖于查询的排名模型，包括两个利用查询类型信息作为附加特征的神经模型，以及一个将查询类型视为辅助查询聚类预测任务标签的新型多任务神经模型。这个多任务模型经过训练，可以同时对文档进行排名并预测查询类型。我们对数千万个真实电子邮件搜索查询的实验表明，所提出的多任务模型可以显着优于基线神经排名模型，后者要么不包含查询类型信息，要么只是简单地将查询类型作为附加功能。
2018-09-15 cs.IR
Perturbation-Invariant Adversarial Training for Neural Ranking Models: Improving the Effectiveness-Robustness Trade-Off
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；University of Amsterdam（阿姆斯特丹大学）
本研究针对神经排序模型对抗训练中有效性与鲁棒性的权衡问题，通过理论分析分解鲁棒排序误差，提出扰动不变对抗训练方法，实现了更优的有效性-鲁棒性权衡，实验验证其优于现有防御方法。
2023-12-16 cs.CL cs.IR
Order-Disorder: Imitation Adversarial Attacks for Black-box Neural Ranking Models
Wuhan University（武汉大学）；Alibaba Group（阿里巴巴集团）；Indiana University Bloomington（印第安纳大学伯明顿分校）；Northeastern University（东北大学）；Worcester Polytechnic Institute（伍斯特理工学院）
本文提出针对黑盒神经排序模型的模仿对抗攻击方法，通过训练排序模仿模型并生成带伪装的对抗触发器，以极少词元实现排序操纵，并验证其对多种SOTA模型的有效性。
2023-04-18 cs.CL cs.CR cs.IR
