Generative Relevance Feedback and Convergence of Adaptive Re-Ranking: University of Glasgow Terrier Team at TREC DL 2023
本文报告了格拉斯哥大学Terrier团队在TREC DL 2023中的参赛工作，通过将大型语言模型的生成式相关反馈与基于monoELECTRA的自适应重排序相结合，在BM25和SPLADE上提升了检索性能。
2024-05-02 cs.IR
Marginal-Certainty-aware Fair Ranking Algorithm
排名系统在现代互联网服务中无处不在，包括在线市场、社交媒体和搜索引擎。传统的排名系统只关注如何获得更好的相关性估计。当相关性估计可用时，它们通常采用以用户为中心的优化策略，其中通过根据项目的估计相关性对项目进行排序来生成排名列表。然而，这种以用户为中心的优化忽略了一个事实，即项目提供商也从排名系统中获取效用。现有研究表明，这种以用户为中心的优化会对物品提供者造成很大的不公平，其次是对物品提供者的不公平机会和不公平的经济收益。为了解决排名公平性，已经提出了许多公平排名方法。然而，正如我们在本文中所示，这些方法可能是次优的，因为它们直接依赖于相关性估计而不知道不确定性（即，估计的相关性的方差）。为了解决这种不确定性，我们提出了一种新的边缘感知公平算法MCFair。MCFair联合优化公平性和用户效用，而相关性估计以在线方式不断更新。在MCFair中，我们首先开发了一个排名目标，包括不确定性，公平性和用户效用。然后我们直接使用排序目标的梯度作为排序得分。我们从理论上证明了基于梯度的MCFair对于上述排名目标是最优的。从经验上讲，我们发现，在半合成数据集上，MCFair是有效和实用的，与最先进的公平排名方法相比，可以提供更优越的性能。为了便于重现，我们发布了我们的代码https://github.com/Taosheng-ty/WSDM22-MCFair。
2022-12-18 cs.IR
Data-Driven Relevance Judgments for Ranking Evaluation
在信息检索中，排序评估度量是设计和改进工作的基本要素。我们观察到，大多数流行的指标忽略了用于获得排名的分数中描述的信息。这可能会造成一个数字缩放问题，导致根据排名项目得分之间的差异程度对评价进行低估或高估。这项工作的目的是提出一个原则性的方式量化多等级的相关性判断的项目，使更准确的处罚排序错误的排名。我们提出了一个数据驱动的生成相关性函数的基础上的一组项目的分数和它的应用程序之间的分歧程度的评价指标归一化贴现累积增益（nDCG）。我们使用合成数据来证明我们的建议的兴趣，并结合来自Google News的新闻项目的数据及其在Twitter中的受欢迎程度，以显示其与标准nDCG相比的性能。结果表明，与标准nDCG相比，我们的提案能够提供更细粒度的排名评估，并且后者经常根据项目得分的差异低估或高估其评估得分。
2016-12-19 cs.IR
Personalized Search Via Neural Contextual Semantic Relevance Ranking
本文提出一种神经学习框架，通过结合词汇表示和语义嵌入建模文档内容与用户查询上下文的关系，利用个性化上下文信号优化文档排序，有效提升了个性化搜索效果。
2023-09-10 cs.IR
Relevance ranking for proximity full-text search based on additional indexes with multi-component keys
被认为是接近全文搜索的问题。如果搜索查询包含高频率出现的单词，那么与普通的倒排索引相比，多分量键索引可以提高搜索速度。结果表明，当查询由高频率出现的单词组成时，我们可以将搜索速度提高130倍。在本文中，我们研究了多组件的关键字索引架构如何影响搜索的质量。我们考虑几个著名的方法的相关性排名，这些方法是不同的作者。使用这些方法，我们执行的普通倒排索引，然后在一个索引增强与多组件的关键字索引的搜索。结果表明，与多组件的关键索引，我们得到的搜索结果是非常接近的，在相关性排名方面，通过普通的倒排索引的方式获得的搜索结果。
2021-08-01 cs.IR
Joint Optimization of Relevance and Engagement in Multi-Task Ranking for E-Commerce with Efficient LLM Supervision
DoorDash Inc.（DoorDash公司）
提出一个生产级多任务排序系统，通过序数相关头与统一价值模型联合优化相关性和参与度，并利用微调轻量级LLM生成三级序数相关标签，显著提升语义对齐同时保持核心参与目标。
2026-05-26 cs.IR
REALM: Recursive Relevance Modeling for LLM-based Document Re-Ranking
针对现有基于LLM的文档重排序方法存在的排序不确定、top-k召回不稳定及token成本高的问题，提出不确定性感知框架REALM，将相关性建模为高斯分布并通过递归贝叶斯更新优化，在提升排序效果的同时显著降低推理成本与延迟。
2025-10-02 cs.IR
Compact Token Representations with Contextual Quantization for Efficient Document Re-ranking
基于Transformer的重排序模型可以通过上下文感知的查询令牌与文档令牌的软匹配来实现高搜索相关性。为了减轻运行时的复杂性，这样的推理，以前的工作已经采用了一个后期的互动架构与预先计算的上下文令牌表示的成本一个大的在线存储。本文提出了上下文量化的令牌嵌入解耦的文档特定的和文档无关的排名的贡献，在基于码本的压缩。这允许有效的在线解压缩和嵌入组合，以获得更好的搜索相关性。本文提出了一个评估上述紧凑的令牌表示模型的相关性和空间效率。
2022-03-29 cs.IR
Maximizing Marginal Fairness for Dynamic Learning to Rank
排名，特别是搜索和推荐系统中的排名，通常决定人们如何访问信息以及信息如何暴露给人们。因此，如何平衡信息披露的相关性和公平性，是现代信息披露制度的关键问题之一。由于传统的排名框架近视地将文档与其相关性进行排序将不可避免地引入不公平的结果暴露，因此最近关于排名公平性的研究主要集中在动态排名范例上，其中结果排名可以实时调整以支持组中的公平性（即，种族、性别等）。然而，现有的研究动态学习排序的公平性，往往实现整体公平的文件曝光排名列表显着牺牲的性能，结果的相关性和公平性的顶部结果。为了解决这个问题，我们提出了一个公平和公正的排名方法命名为最大边际公平（MMF）。该算法集成了无偏估计的相关性和基于价值的公平性，同时提供了一个明确的控制器，平衡选择的文件，以最大限度地提高边际相关性和公平性的前k个结果。理论和实证分析表明，与最先进的算法相比，我们的方法在相关性和公平性方面都具有优越的效率和有效性，并且在长列表公平性上有很小的妥协。
2021-02-18 cs.IR
OrdRankBen: A Novel Ranking Benchmark for Ordinal Relevance in NLP
The Fin AI；Gustavus Adolphus College（古斯塔夫斯·阿道夫斯学院）
针对现有NLP排序基准忽略序数相关性的问题，提出新型基准OrdRankBen及两个数据集，通过引入结构化序数标签实现更精确的多粒度排序评估。
2025-03-02 cs.AI cs.IR
Regression Compatible Listwise Objectives for Calibrated Ranking with Binary Relevance
针对排序学习方法输出分数缺乏尺度校准的问题，提出回归兼容排序方法，在二元标签场景下实现排序与回归目标的对齐，在公开基准和YouTube搜索中均取得更优效果并已上线部署。
2023-08-21 cs.IR
Pretrained Language Model based Web Search Ranking: From Relevance to Satisfaction
本文提出基于PLM的SAT-Ranker框架，通过多字段输入统一建模文档质量、时效性和权威性等满意度维度，离线与在线实验均显示显著收益并已全量部署。
2023-06-02 cs.IR
HCMRM: A High-Consistency Multimodal Relevance Model for Search Ads
本文提出高一致性多模态相关性模型HCMRM，通过预训练阶段引入伪查询词三元组建模和微调阶段分层softmax损失，弥合预训练与排序目标差异，并在快手搜索广告系统中实现无关广告减少6.1%、收入提升1.4%。
2025-02-09 cs.IR
Discovering Biases in Information Retrieval Models Using Relevance Thesaurus as Global Explanation
本文提出通过构建相关性词库全局解释神经检索模型，并用于增强BM25以近似神经模型预测，实验揭示了排序模型中的品牌名称偏差。
2024-10-04 cs.IR
Composite Re-Ranking for Efficient Document Search with BERT
虽然相当大的努力已经投入到基于变压器的排名模型的文档搜索，相关性效率的权衡仍然是一个关键问题的特设排名。为了克服这一挑战，本文提出了BECR（基于BERT的复合重新排序），一个复合重新排序方案，结合了深度上下文令牌交互和传统的词汇术语匹配功能。特别地，BECR利用令牌编码机制将查询表示分解为可预计算的uni-gram和skip-n-gram。通过在双编码器架构之上应用令牌编码，BECR在捕获查询的上下文语义的同时分离了查询和文档之间的注意力。与以前的方法相比，该框架在在线推理期间不执行昂贵的BERT计算。因此，它是显着更快，但仍然能够实现高竞争力的ad-hoc排名的相关性。最后，使用TREC数据集描述了BECR和其他最先进的神经排名基线之间的深入比较，从而进一步证明了BECR的增强的相关性和效率。
2022-01-06 cs.IR
Enhancing Documents with Multidimensional Relevance Statements in Cross-encoder Re-ranking
University of Milano-Bicocca（米兰比可卡大学）；Leiden University（莱顿大学）
本文提出一种在交叉编码器重排序中通过添加额外相关性陈述（如可信度）来增强候选文档的方法，实验证明该方法在消费者健康搜索任务中优于现有聚合和交叉编码器重排序方法。
2023-06-19 cs.AI cs.IR
A Unified Relevance Retrieval Model by Eliteness Hypothesis
本文提出了一个信息检索的精英假设，定义了两个生成过程来创建信息项和查询。通过假设词的精英性与相关性之间存在确定性关系，我们得到了一个新的理论检索框架。由此产生的排名功能是一个统一的，因为它是能够使用现有的相关信息的文档和查询，这是无法实现的现有的检索模型。我们在一个简单的排序函数上的初步实验已经证明了这种方法的潜力。
2011-08-14 cs.IR
Optimizing Keyphrase Ranking for Relevance and Diversity Using Submodular Function Optimization (SFO)
Kyung Hee University（庆熙大学）
针对关键短语排序中相关性与多样性难以兼顾的问题，提出基于子模函数优化（SFO）的子模最大化方法，在基准数据集上同时提升两类指标并取得最优执行时间。
2024-10-26 cs.AI cs.IR
Recommendation Ranking Off-Policy Evaluation under Ranking-Dependent Examination via Examination-Relevance Decomposition
Waseda University（早稻田大学）
针对推荐排序离线策略评估中点击偏差问题，提出基于检验-相关性分解的LE-IIPS与ED-DR估计器，后者在检验概率正确或排名无关检验下无偏，大样本时MSE更低。
2026-09-29 cs.IR cs.LG
Batched Self-Consistency Improves LLM Relevance Assessment and Ranking
本文提出批量点式相关性评估方法，通过单次LLM调用评估多个段落并结合自洽性集成，在提升判断质量的同时大幅降低延迟，实验表明其排序性能显著优于逐条点式方法。
2025-09-19 cs.IR
Enhancing the Ranking Context of Dense Retrieval Methods through Reciprocal Nearest Neighbors
针对稀疏标注下对比学习假负样本问题，提出基于证据的标签平滑方法，并利用互反最近邻改进相似度度量，有效提升了稠密检索模型的排序效果。
2023-10-22 cs.IR
Ranking for Relevance and Display Preferences in Complex Presentation Layouts
University of Amsterdam（阿姆斯特丹大学）
学习排序传统上考虑了给定对象的相关性信息的设置，对对象进行排序的期望顺序是清楚的。然而，随着今天的各种各样的用户和布局，情况并非总是如此。在本文中，我们考虑所谓的复杂的排名设置，这是不清楚应该显示什么，也就是说，什么相关的项目，以及它们应该如何显示，也就是说，最相关的项目应该放在哪里。这些排名设置是复杂的，因为它们涉及传统排名和推断最佳显示顺序。现有的学习排序方法不能处理这种复杂的排序设置，因为它们假设显示顺序是预先已知的。为了解决这一差距，我们引入了一种新的深度强化学习方法，该方法能够从弱奖励信号中学习复杂的排名，包括布局和给定布局的最佳排名。我们提出的方法通过顺序选择文档和位置来实现，因此它对文档和位置进行排名，这就是为什么我们称之为双排名模型（DRM）。我们的实验表明，DRM优于所有现有的方法在复杂的排名设置，从而导致显着的排名改善的情况下，显示顺序是不知道的先验。
2018-05-07 cs.AI cs.IR
Using Semantic Role Knowledge for Relevance Ranking of Key Phrases in Documents: An Unsupervised Approach
IBM Research（IBM研究院）
本文研究了PageRank系统中句子位置和词的语义角色的结合，建立了一种关键短语排序方法。我们提出了我们的方法对三篇科学文章的评价结果。我们表明，语义角色信息，当与PageRank系统集成，可以成为一个新的词汇功能。我们的方法在所有数据集上都比最先进的基线方法有了全面的改进。
2019-08-09 cs.CL cs.IR
Fine-Grained Relevance Annotations for Multi-Task Document Ranking and Question Answering
TU Wien（维也纳工业大学）
存在许多现有的检索和问答数据集。然而，他们中的大多数要么专注于排名列表评估或单一候选人的问答。这种划分使得正确评估与对文档进行排名以及为给定查询提供片段或答案有关的方法具有挑战性。在这项工作中，我们提出了FiRA：一个新的细粒度相关性注释数据集。我们扩展了TREC 2019的深度学习轨道的分级检索注释，为所有相关文档提供了段落和单词级别的分级相关性注释。我们使用新创建的数据来研究长文档中相关性的分布，以及注释者对文本特定位置的注意力。作为一个例子，我们评估最近推出的TKL文档排序模型。我们发现，虽然TKL展览国家的最先进的检索结果长文件，它错过了许多相关段落。
2020-08-12 cs.CL cs.IR
Ranking Tweets Considering Trust and Relevance
随着Twitter和其他微博的日益普及，提高微博的可信度和相关性评估变得越来越重要。我们提出了一种考虑可信度和基于内容的流行度的推文排名方法。可信度和流行度的分析利用了推文之间的隐含关系。我们将微博生态系统建模为一个三层图，包括：（i）用户（ii）推文和（iii）网页。我们建议在这三个层中获得实体的信任度和受欢迎度分数，并考虑层间关系将分数传播到推文。我们的初步评估表明，改进的精度和可信度的基线方法和可接受的计算时间。
2012-04-01 cs.IR cs.SI
Vertical Allocation-based Fair Exposure Amortizing in Ranking
本文提出VerFair算法，利用消费者先验知识优化排名中的曝光公平性，在三个真实数据集上显著优于现有方法，实现公平与性能的更好平衡。
2023-10-16 cs.IR
Incorporating Relevance Feedback for Information-Seeking Retrieval using Few-Shot Document Re-Ranking
Technical University of Darmstadt（达姆施塔特工业大学）
将词汇检索器与神经重排序模型配对在大规模信息检索数据集上具有最先进的性能。该管道涵盖了诸如问答或导航查询之类的场景，然而，对于信息搜索场景，用户通常以点击或显式反馈的形式提供关于文档是否与其查询相关的信息。因此，在这项工作中，我们将探讨如何通过采用Few-Shot和参数有效的学习技术将相关反馈直接集成到神经重排序模型中。具体来说，我们引入了一个kNN的方法，重新排名的文件的基础上，他们的相似性与查询和用户认为相关的文件。此外，我们还探索了交叉编码器模型，我们使用元学习进行预训练，随后针对每个查询进行微调，仅在反馈文档上进行训练。为了评估我们不同的集成策略，我们将四个现有的信息检索数据集转换为相关反馈的情况。大量的实验表明，将相关反馈直接集成到神经重排序模型中可以提高它们的性能，并且将词汇排序与我们表现最好的神经重排序器融合在一起，比所有其他方法都好5.2 nDCG@20。
2022-10-19 cs.CL cs.IR
Deep Relevance Ranking Using Enhanced Document-Query Interactions
Athens University of Economics and Business（雅典经济与商业大学）；Google AI（谷歌人工智能）
我们探索了几种新的文档相关性排名模型，建立在Guo et al.（2016）的深度相关性匹配模型（DRMM）基础上。与DRMM不同，DRMM使用术语的上下文不敏感编码和查询-文档术语交互，我们在整个模型中注入了丰富的上下文敏感编码，灵感来自PACRR（Hui等人，卷积n-gram匹配功能，但以多种方式扩展，包括查询和文档输入的多个视图。我们在来自BIOASQ问答挑战的数据集上测试我们的模型（Tsatsaronis等人，2015年）和TREC ROBUST 2004年（Voorhees，2005年），显示它们优于基于BM 25的基线，DRMM和PACRR。
2018-09-11 cs.CL cs.IR
Breaking the Lens of the Telescope: Online Relevance Estimation over Large Retrieval Sets
本文提出在线相关性估计范式，通过在线老虎机算法在排序过程中持续更新查询相关性估计，动态重排候选文档，从而缓解传统望远镜式检索的召回率限制，并在TREC基准上验证其样本高效性和召回率提升效果。
2025-05-07 cs.IR
FARA: Future-aware Ranking Algorithm for Fairness Optimization
针对现有公平排序方法仅贪婪优化当前会话导致长期次优的问题，本文提出 FARA，通过 Taylor 展开分析未来曝光并采用两阶段规划联合优化相关性与公平性，理论最优且实验显著优于现有方法。
2023-08-19 cs.IR
Enhancing Invenio Digital Library With An External Relevance Ranking Engine
Invenio是一个基于网络的免费数字图书馆软件套件，最初由CERN开发。为了提高Invenio的信息检索和词相似度排序能力，本文的目标是通过将Invenio与现代外部信息检索系统连接起来来增强Invenio。第一部分对Solr和Xapian等各种信息检索系统进行了比较。第二部分设计并实现了一个独立于系统的词相似度排序桥。随后，Solr和Xapian通过适配器集成到Invenio中。第三部分进行了可扩展性测试。最后，对未来的展望进行了简要的讨论。
2012-11-04 cs.DL cs.IR
Modeling Relevance Ranking under the Pre-training and Fine-tuning Paradigm
School of Information, Renmin University of China（中国人民大学信息学院）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
最近，预训练的语言模型，如BERT已被应用于信息检索的文档排序，其首先在未标记的大型语料库上预训练通用语言模型，然后在专家标记的相关性数据集上进行特定于排名的微调。理想情况下，IR系统将从用户-系统二元论（用户的观点和系统的观点）来建模相关性。用户视图基于“真实用户”的活动来判断相关性，而系统视图关注来自系统侧的相关性信号，例如，受用户-系统相关性观点和预训练语言模型成功的启发，本文提出了一种新的排名框架Pre-Rank，该框架在预训练和微调范式下同时考虑了用户和系统的观点。具体来说，为了对用户的相关性视图进行建模，Pre-Rank基于大规模用户活动数据（如点击日志）对初始查询文档表示进行预训练。为了对系统的相关性视图进行建模，Pre-Rank进一步根据专家标记的相关性数据对模型进行微调。更重要的是，预先训练的表示与手工制作的学习排名功能一起在广泛而深入的网络架构下进行了微调。通过这种方式，Pre-Rank可以通过结合来自真实搜索用户和IR专家的相关知识和信号来对相关性进行建模。为了验证Pre-Rank的有效性，我们分别使用BERT和SetRank作为底层排名模型，展示了两种实现。基于三个公开的基准测试的实验结果表明，在这两种实现中，Pre-Rank可以分别优于底层的排名模型，并达到了最先进的性能。
2021-08-12 cs.CL cs.IR
Learning to Blend by Relevance
各种垂直搜索引擎的出现凸显了一个事实，即单一的排名技术无法处理搜索问题的复杂性和规模。例如，视频和图像搜索背后的技术与一般的网络搜索非常不同。它们的排名功能几乎没有共同点。问答网站（例如，哇哦！答案）可以利用为一般web开发的文本匹配和点击功能，但它们有独特的页面结构和丰富的用户反馈，例如，大拇指向上和大拇指向下评级在雅虎！答案，这大大有利于自己的排名。即使对于答案和一般网络共享的那些特征，特征和相关性之间的相关性也可能非常不同。因此，需要专门的功能，以便更好地对各个域中的文件进行排名。这些专用函数定义在不同的特征空间上。然而，每个域都有一个搜索框，既不高效也不可扩展。而不是键入相同的查询两次到两个雅虎！搜索和Yahoo！回答和检索两个排名列表，我们宁愿把它只一次，但从这两个领域的主题收到一个全面的文件列表。这种情况需要新的技术，将来自不同来源的文档混合到一个单一的排名列表中。尽管混合列表的内容丰富，但它仍然必须按照相关性进行排序，我们称这种技术为混合，这是本文的主要主题。
2010-09-23 cs.IR
Structural Learning of Diverse Ranking
相关性和多样性都是有效搜索系统的关键标准。在本文中，我们提出了一个统一的学习框架，同时优化相关性和多样性。具体来说，问题被形式化为一个结构化的学习框架优化多样性相关的评价措施（DCEM），如ERR-IA，a-NDCG和NRBP。在这个框架内，判别函数被定义为一个双标准的目标，最大化的总和的相关性分数和相异（或多样性）的文件。相关性和多样性特征分别用于定义相关性分数和相异性。与传统方法相比，该方法的优点在于：（1）直接将DCEM作为损失函数进行优化，更符合实际情况;（2）该框架不依赖子主题等显式多样性信息，更适合实际应用;（3）多样性的表示作为基于特征的评分函数更灵活地将丰富的基于多样性的特征并入学习框架中。在公开的TREC数据集上的大量实验表明，我们的方法显着优于最先进的多样化方法，这验证了上述优势。
2015-04-20 cs.IR
Where Relevance Emerges: A Layer-Wise Study of Internal Attention for Zero-Shot Re-Ranking
The University of Queensland（昆士兰大学）
本文研究了多排名框架中生成、似然和内部注意力机制的对比，发现Transformer层中相关性信号呈现钟形分布，提出Selective-ICR策略降低推理延迟30%-50%，并在BRIGHT基准测试中证明了内部信号在复杂推理排序中的潜力。
2026-04-25 cs.IR
Ranking Triples using Entity Links in a Large Web Crawl - The Chicory Triple Scorer at WSDM Cup 2017
本文介绍了奇科利队参加2017年WSDM杯三重排名挑战赛的情况。我们的方法部署了大量的实体标记的Web数据来估计三元组表示的相关关系的正确性，结合使用维基百科摘要的基线方法[1]。相关性估计来自于由Google的实体链接器注释的CCNWeb 12，作为FACC 1数据集公开提供。我们的实现是从一个所谓的“搜索策略”自动生成的，该策略声明性地指定如何将输入数据组合成三元组的最终排名。
2017-12-22 cs.IR
CWRCzech: 100M Query-Document Czech Click Dataset and Its Application to Web Relevance Ranking
Charles University（查理大学）
本研究发布了目前最大的带原始文本的捷克语点击数据集CWRCzech及人工标注测试集，验证了大规模自动采集的点击数据训练的排序模型性能可超越人工标注数据训练的模型。
2024-07-15 cs.CL cs.IR
Optimizing Group-Fair Plackett-Luce Ranking Models for Relevance and Ex-Post Fairness
Indian Institute of Science（印度科学研究所）；University of California, Berkeley（加利福尼亚大学伯克利分校）；Microsoft Research, Bengaluru（微软研究院班加罗尔分院）；Microsoft Research（微软研究院）
针对学习排序中仅优化相关性易引发表征损害、事前公平随机排序无法保障事后公平的问题，提出带事后表征约束的群体公平Plackett-Luce模型，在保证公平的同时提升相关性，隐式偏差场景下表现更优。
2023-08-25 cs.CY cs.IR cs.LG
Principled Multi-Aspect Evaluation Measures of Rankings
信息检索评估传统上集中于定义评估关于查询的文档的分级列表的相关性的原则性方式。几种方法将这种类型的评估扩展到相关性之外，使得可以评估文档排序的不同方面（例如，相关性、有用性或可信度）。然而，这些方法或者是（i）针对特定方面定制的，并且不扩展到其他类型或数量的方面，或者（ii）具有理论上的异常，例如，将最大分数分配给其中所有文档相对于所有方面被标记为最低等级的排名（例如，不相关、不可信等）。我们提出了一个理论上有原则的多方面的评价方法，可用于任何数量，任何类型的方面。一个彻底的实证评估，使用多达5个方面，共425次运行正式提交给10个TREC轨道表明，我们的方法比国家的最先进的更具歧视性，并克服了国家的最先进的理论局限性。
2022-12-01 cs.IR
Certified Error Control of Candidate Set Pruning for Two-Stage Relevance Ranking
University of Waterloo（滑铁卢大学）
在信息检索（IR）中，候选集修剪通常用于加速两阶段相关性排序。然而，这样的方法缺乏精确的误差控制，并且经常以经验的方式权衡准确性与计算效率，缺乏理论保证。本文提出了相关性排序候选集剪枝的认证误差控制概念，即保证剪枝后的测试误差以高概率控制在用户指定的阈值之下。域内和域外的实验表明，我们的方法成功地修剪第一阶段检索到的候选集，以提高第二阶段的重新排序速度，同时满足预先指定的精度约束，在这两个设置。例如，在MS MARCO Passage v1上，我们的方法产生的平均候选集大小为27/1000，这将重新排序速度提高了约37倍，而MRR@10大于预先指定的值0.38，经验覆盖率约为90%，经验基线无法提供这种保证。代码和数据可在https://github.com/alexlimh/CEC-Ranking上获得。
2022-05-19 cs.IR cs.LG
KuaiSearch: An E-Commerce Search Dataset with Authentic Queries and Product Texts for Recall, Ranking, and Relevance
State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（认知智能全国重点实验室，中国科学技术大学）；Kuaishou Technology（快手科技）
本文提出KuaiSearch，首个涵盖召回、排序和相关性评估的大型电商平台搜索数据集，通过真实用户交互数据提升电商搜索研究的准确性与实用性。
2026-10-06 cs.IR
Ranking of Wikipedia articles in search engines revisited: Fair ranking for reasonable quality?
本文的目的是审查激烈讨论的问题，是否排名维基百科的文章在搜索引擎是合理的文章的质量。在概述了当前维基百科信息质量的研究之后，总结了关于维基百科条目质量的扩展讨论。在此基础上，提出了一种评价维基百科条目的探试法，并将其应用于在搜索引擎检索有效性测试中得分较高的维基百科条目，并与陪审员的相关性判断进行比较。在所有测试的搜索引擎中，陪审员一致认为维基百科的结果比相应结果位置上的其他结果更好。相关性判断通常与启发式评价的结果大致一致。高相关性判断不符合启发式评估的相对低分数的情况被解释为维基百科高度信任的指标。维基百科的系统性缺陷之一在于其不连贯的用户模型。进一步调整建议的标准目录，例如对所提供的标准进行不同的加权，可以作为维基百科条目的用户模型差异化评估的起点。本文将参考文献质量评价方法应用于维基百科条目，并与搜索引擎评价问题相结合。
2011-09-05 cs.IR
Likert or Not: LLM Absolute Relevance Judgments on Fine-Grained Ordinal Scales
本研究挑战“列表式排序优于点式评分”的共识，发现采用足够大的有序标签空间时，点式评分与列表式排序的差距缩小至统计不显著，涵盖四个 LLM 和多个基准数据集。
2025-05-25 cs.IR cs.LG
T2Ranking: A large-scale Chinese Benchmark for Passage Ranking
本文提出T2Ranking，一个大规模中文段落排序基准，包含30万查询和200万段落，采用4级细粒度相关性标注并缓解假阴性问题，实验验证其挑战性。
2023-04-07 cs.IR
Siamese BERT-based Model for Web Search Relevance Ranking Evaluated on a New Czech Dataset
Web搜索引擎专注于在数百毫秒内提供高度相关的结果。因此，预先训练的语言Transformer模型（如BERT）由于其高计算需求而难以在这种情况下使用。我们提出了我们的实时方法，利用基于BERT的连体架构的文档排序问题。该模型已经部署在一个商业搜索引擎中，并将生产性能提高了3%以上。为了进一步的研究和评估，我们发布了DaReCzech，这是一个独特的数据集，包含160万个捷克用户查询-文档对，具有手动分配的相关性级别。我们还发布了Small-E-Czech，这是一个在大型捷克语语料库上预训练的Electra小型语言模型。我们相信这些数据将支持搜索相关性和以多语言为重点的研究社区的努力。
2021-12-03 cs.CL cs.IR
Using Image Fairness Representations in Diversity-Based Re-ranking for Recommendations
在最近的工作中，已经探索了个性化推荐中的相关性和公平性之间的权衡，目标是最小化对某些人口统计学的学习歧视，同时仍然产生相关的结果。我们提出了一个公平意识的变化的最大边缘相关性（MMR）重新排名的方法，它使用的表示使用标记的数据集计算的人口统计组。这一方法旨在体现对这些人口群体的公平性。我们在一个股票照片数据集上进行实验，并通过使用人类判断来检查使用标记数据集的不同部分时重新排名的结果，并通过对一组查询图像的排名结果进行定量分析，来检查相关性和公平性之间的权衡。我们表明，我们提出的方法可以在排名结果中包含公平性，同时获得比基线更高的精度，而我们的案例研究表明，即使是有限数量的标记数据也可以用于计算表示以获得公平性。该方法可用作推荐系统和搜索的后处理步骤。
2018-09-10 cs.IR
The Role of Relevance in Fair Ranking
Massachusetts Institute of Technology（麻省理工学院）；University of Michigan（密歇根大学）；Max Planck Institute for Security and Privacy（马克斯·普朗克安全与隐私研究所）
本文研究相关性分数能否作为公平排序中的价值代理，提出其应满足的准则，并通过点击数据案例揭示偏差对公平评估和干预的影响。
2023-06-06 cs.CY cs.IR cs.LG
Learn to be Fair without Labels: a Distribution-based Learning Framework for Fair Ranking
提出一种无需公平标签的基于分布的公平学习框架（DLF），用目标公平曝光分布替代缺失标签，在TREC数据集上实现更优公平性并更好权衡公平与相关性。
2024-05-28 cs.IR
How role-play shapes relevance judgment in zero-shot LLM rankers
Leiden Institute of Advanced Computer Science, Leiden University（莱顿大学高级计算机科学研究所）；Center for Language and Cognition, University of Groningen（格罗宁根大学语言与认知中心）；Brown University（布朗大学）；University of Amsterdam（阿姆斯特丹大学）
本研究探讨角色扮演如何影响零样本LLM排序器的相关性判断，发现角色描述的精心制定显著提升排序质量，且角色信号主要在早期层编码，为设计更有效的提示提供了指导。
2026-01-13 cs.IR
Personalized Review Ranking for Improving Shopper's Decision Making: A Term Frequency based Approach
用户生成的评论是购物者决策过程中的重要参考。此外，它们还提高了产品销售，并验证了整个网站的声誉。因此，设计评论排名方法来帮助购物者快速做出明智的决定变得非常重要。然而，评论排名有其独特的挑战。首先，评论没有相关性标签。对购物者A的相关评论可能与购物者B无关。其次，由于购物者无法点击评论，我们无法获得相关反馈。最后，评论排名由于不同用户的相关性标准的可变性而缺乏基础事实。在本文中，我们的目标是解决帮助用户从客户评论的海洋中找到他们可能感兴趣的信息的挑战。使用UCSD收集和组织的Amazon Customer Reviews Dataset，我们首先根据用户的个人网络跟踪、最近的购物历史和以前的评论构建了用户简档，将用户简档纳入我们的排名算法，并将较高的排名分配给最大程度地解决个人购物者关注的评论。此外，我们利用用户简档来根据评论文本推荐产品。我们评估了我们的模型的基础上的经验评估和数值评估的审查分数。两种评估方法的结果显示，1000多种产品的顶级评论质量和用户满意度都有显着提高。我们的基于评论的推荐系统也表明，用户很有可能观看并喜欢我们推荐的产品。我们的工作展示了开发一种从特定最终用户的偏好中学习的排名方法的基本步骤。
2020-09-07 cs.IR
Beyond Exposure: Optimizing Ranking Fairness with Non-linear Time-Income Functions
DCST, Tsinghua University（清华大学）；Kahlert School of Computing, University of Utah（犹他大学卡勒特计算机学院）
针对排名系统中曝光公平性忽略上下文依赖收入的问题，提出基于收入公平的动态收入导数感知排序公平算法DIDRF，在保持排序效果的同时提升收入公平性。
2026-05-24 cs.IR
Beyond Yes and No: Improving Zero-Shot LLM Rankers via Scoring Fine-Grained Relevance Labels
本文提出在零样本 LLM 排序器提示中引入细粒度相关性标签，以替代传统二元 Yes/No 判断，并在 8 个 BEIR 数据集上验证其显著提升排序性能。
2024-04-02 cs.IR
Not All Relevance Scores are Equal: Efficient Uncertainty and Calibration Modeling for Deep Retrieval Models
在任何排名系统中，检索模型基于其对文档与给定搜索查询的相关程度的信念输出文档的单个分数。虽然检索模型不断改进，引入越来越复杂的体系结构，很少有作品调查的检索模型的信念，在一个单一的值的范围之外的分数。我们认为，捕获模型的不确定性，就其自己的评分的文件是检索的一个重要方面，允许更多地使用当前的模型在新的文档分布，集合，甚至提高效率的下游任务。在本文中，我们解决这个问题，通过一个有效的贝叶斯框架检索模型，捕捉模型的信念，通过随机过程的相关性得分，同时只增加微不足道的计算开销。我们通过基于排名的校准度量来评估这种信念，表明我们的近似贝叶斯框架通过风险感知重新排名及其置信度校准显著提高了检索模型的排名有效性。最后，我们证明了这种额外的不确定性信息是可操作的和可靠的下游任务表示通过截止预测。
2021-05-10 cs.IR
Efficient AUC Optimization for Information Ranking Applications
充分评估一个信息检索系统，以估计未来的性能是一个至关重要的任务。ROC曲线下面积（AUC）被广泛用于评价检索系统的泛化能力。然而，在许多检索系统中优化的目标函数是出错率而不是AUC值。本文提供了一种高效和有效的非线性方法来优化AUC使用加性回归树，特别强调使用多类AUC（MAUC），因为多个相关性水平被广泛用于许多排名应用。与传统的线性方法相比，非线性方法的性能在二进制相关性基准数据集上相当，并且在多相关性基准数据集上更好。
2016-04-23 cs.IR stat.ML
