Exploring Large Language Models for Relevance Judgments in Tetun
本文研究利用大语言模型在低资源语言德顿语中自动执行查询-文档相关性判断，并与人工标注比较，发现其一致性水平与高资源语言研究结果接近。
2024-06-11 cs.IR
Don't Use LLMs to Make Relevance Judgments
本文基于ACM SIGIR 2024研讨会主题演讲，指出为TREC风格测试集创建相关性判断复杂且昂贵，并明确警告不要使用LLM进行此类判断。
2025-03-26 cs.IR
LLMJudge: LLMs for Relevance Judgments
SIGIR 2024的LLMJudge挑战赛探索用LLMs生成相关性判断以替代人工标注，将研究模型效果、提示词优化等问题并发布数据支撑相关研究。
2024-08-09 cs.IR
LLMs Can Patch Up Missing Relevance Judgments in Evaluation
本文提出用 LLM 按详细指令为 IR 评估中的未判断文档自动补全细粒度相关性标签，并在 TREC DL 模拟缺失判断实验中验证其与人工判断高度一致。
2024-05-08 cs.IR
Criteria-Based LLM Relevance Judgments
提出Multi-Criteria框架，将相关性分解为精确性、覆盖度、主题性和上下文契合度等标准，提升LLM相关性判定的鲁棒性与可解释性，并在TREC数据集上验证了其优于直接评分方法。
2025-07-13 cs.IR
JudgeBlender: Ensembling Judgments for Automatic Relevance Assessment
JudgeBlender通过融合多个开源LLM或多个提示的评估结果，提供自动相关性判断，在LLMJudge基准上达到与大型模型相当的竞争力，表明大型模型并非可靠评估所必需。
2024-12-17 cs.IR
Perspectives on Large Language Models for Relevance Judgment
本文探讨大语言模型在相关性判断中的应用，提出人机协作频谱，并通过初步实验及文献分析，给出支持、反对及折中的观点。
2023-11-18 cs.CY cs.IR
LLMs Encode Relevance as a Layer-Wise Cross-Lingual Signal
The University of Queensland（昆士兰大学）
研究大语言模型中查询与文档相关性是否可线性解码，通过引导中等规模模型、提取激活并训练线性探针，发现相关性是深度依赖信号，多语言实验有部分跨语言可移植性，为基于LLM的相关性评估提供表征视角。
2026-07-20 cs.IR
Multimodal Item Scoring for Natural Language Recommendation via Gaussian Process Regression with LLM Relevance Judgments
针对自然语言推荐中单模态评分函数的局限性，提出GPR-LLM方法，利用高斯过程回归结合LLM相关性判断建模多模态评分函数，在最小标注预算下显著优于基线方法。
2025-10-31 cs.IR
Streamlined Data Fusion: Unleashing the Power of Linear Combination with Minimal Relevance Judgments
本文研究在信息检索数据融合中，仅用20%-50%相关文档训练线性组合权重即可接近TREC官方qrels的效果，显著降低人工标注成本。
2023-09-21 cs.IR
Variations in Relevance Judgments and the Shelf Life of Test Collections
该研究针对神经检索时代测试集特征变化及重复使用的情况，通过复现并重新标注2019年TREC Deep Learning Track数据，发现评估者分歧不影响系统排名，但部分模型效果下降且部分已达人类水平，证实测试集存在过期可能。
2025-05-21 cs.IR
The Effect of Multi-Lingual and Keyword Adversarial Injection on LLM Relevance Judgment
RMIT University（皇家墨尔本理工大学）
研究跨语言提示注入攻击对基于大语言模型的相关性判断的影响，利用TREC数据集和开放权重模型在多语言环境下研究不同注入策略，发现多语言查询注入有效且能绕过现有防御，凸显当前防御差距，强调需更强大评估框架。
2026-07-14 cs.IR
Assessing Efficiency-Effectiveness Tradeoffs in Multi-Stage Retrieval Systems Without Using Relevance Judgments
大规模的检索系统通常是作为一个级联序列的阶段实现的-第一个过滤步骤，其中一个大的候选文件集是使用一个简单的技术，如布尔匹配和/或静态文档评分提取;然后一个或多个排名步骤，其中过滤器检索的文档池更精确地使用几十个或几百个不同的功能。然后，返回给用户的文档从最终排名列表的头部开始。在这里，我们将研究用于测量过滤和初步排名阶段的质量的方法，并展示如何使用这些测量来调整系统的整体性能。用于整体系统评估的标准的最高加权度量不适合评估过滤阶段，因为输出是一组文档，而不是有序的文档序列。相反，我们使用一种方法，在这种方法中，质量分数是根据过滤和完整评估之间的差异计算的。与以前的方法不同，我们的方法不需要相关性判断，因此几乎可以用于任何查询集。我们表明，这种质量分数直接相关的实际差异时，测量的有效性的相关性判断。由于质量分数不需要相关性判断，因此它可以用于识别对于给定过滤器表现特别差的查询。使用这些方法，我们探索了广泛的过滤选项，使用数以千计的查询，分类不同方法的相对优点，并确定有用的参数组合。
2015-06-02 cs.IR
Benchmarking LLM-based Relevance Judgment Methods
University of Waterloo（滑铁卢大学）
本文针对基于LLM的相关性评估研究缺乏替代方法探索和全面比较的问题，系统比较了二元、分级、成对偏好及两种信息块评估法，在多数据集验证并发布模型判断，为该领域提供全面基准。
2025-04-17 cs.CL cs.IR
When LLM Judges Inflate Scores: Exploring Overrating in Relevance Assessment
The University of Queensland（昆士兰大学）
研究揭示LLM在相关性评估中存在系统性高估问题，指出模型对不满足信息需求的文本给出高分，且易受文本长度和表层词汇影响，强调需谨慎评估LLM在相关性评估中的应用。
2026-04-27 cs.IR
Formalized Information Needs Improve Large-Language-Model Relevance Judgments
TH Köln（科隆应用技术大学）；Aalborg University（奥尔堡大学）
研究探讨了形式化信息需求对大语言模型相关性评估的影响，发现使用形式化主题可提高人机一致性和评估可靠性。
2026-04-29 cs.IR
Capturing Variation and Uncertainty in Human Judgment
统计等级聚合的研究问题已被应用于比较运动队，信息检索，最近由人类判断产生的数据。这种人工生成的排名可能与传统的统计排名数据有很大不同。在这项工作中，我们表明，最近提出的广义随机效用模型揭示了人类判断在三个不同领域的独特模式，并提供了一个简洁的表示方差在人口偏好和不完善的看法。相比之下，我们还表明，经典的统计排名模型未能捕捉到重要的功能，从人类产生的输入。我们的工作鼓励使用更灵活的排名模型来表示和描述人类参与者的集体偏好或决策。
2014-11-03 cs.HC cs.IR
An Exam-based Evaluation Approach Beyond Traditional Relevance Judgments
本研究提出一种不依赖相关性判断的IR评估新范式，通过考试题库与LLM问答系统自动评分，设计两种评估指标，支持题库扩展与未来信息系统的持续评估。
2024-02-01 cs.IR
Query Segmentation for Relevance Ranking in Web Search
在本文中，我们试图回答的问题，如何提高国家的最先进的方法在Web搜索的相关性排序的查询分割。这里，通过查询分割，其意味着将输入查询分割成段，通常是自然语言短语，使得搜索中的相关性排名的性能增加。我们建议采用重新排序的方法在查询分割，首先采用一个生成模型来创建前$k$候选人，然后采用一个判别模型来重新排序的候选人，以获得最终的分割结果。该方法已被广泛用于自然语言处理中的结构预测，但据我们所知，尚未应用于查询分割。此外，我们提出了一种新的方法，使用的查询分割的结果在相关性排名，它把原始查询词和分割的查询短语作为查询表示的单位。我们调查我们的方法是否可以改善三个相关性模型，即BM 25，关键n-gram模型，和依赖模型。我们在三个大规模网络搜索数据集上的实验结果表明，我们的方法确实可以显着提高相关性排名在所有三种情况下。
2013-12-01 cs.IR
How role-play shapes relevance judgment in zero-shot LLM rankers
Leiden Institute of Advanced Computer Science, Leiden University（莱顿大学高级计算机科学研究所）；Center for Language and Cognition, University of Groningen（格罗宁根大学语言与认知中心）；Brown University（布朗大学）；University of Amsterdam（阿姆斯特丹大学）
本研究探讨角色扮演如何影响零样本LLM排序器的相关性判断，发现角色描述的精心制定显著提升排序质量，且角色信号主要在早期层编码，为设计更有效的提示提供了指导。
2026-01-13 cs.IR
Consolidating Ranking and Relevance Predictions of Large Language Models through Post-Processing
针对大语言模型排序能力与相关性标签生成能力不匹配的问题，提出一种结合成对偏好与原始标签的后处理方法，有效平衡了标签准确率与排序性能。
2024-04-17 cs.IR
DeepRank: A New Deep Architecture for Relevance Ranking in Information Retrieval
针对信息检索中的相关性排序问题，提出了一种基于深度学习的相关性排序方法.诸如DSSM和CDSSM的现有深度IR模型直接应用神经网络来生成排名分数，而没有对相关性的明确理解。根据人类判断过程，通过以下三个步骤生成相关性标签：1）检测相关位置，2）确定局部相关性，3）聚合局部相关性以输出相关性标签。在本文中，我们提出了一种新的深度学习架构，即DeepRank，来模拟上述人类判断过程。首先，设计一种检测策略来提取相关上下文。然后，通过利用卷积神经网络（CNN）或二维门控递归单元（2D-GRU）应用测量网络来确定局部相关性。最后，使用具有顺序整合和术语门控机制的聚合网络来产生全局相关性得分。DeepRank很好地捕捉了重要的IR特征，包括精确/语义匹配信号，接近度，查询词重要性和不同的相关性要求。在LETOR基准数据集和大规模点击数据上的实验表明，DeepRank可以显著优于学习排名方法和现有的深度学习方法。
2019-07-22 cs.IR
Leveraging Large Language Models for Relevance Judgments in Legal Case Retrieval
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学耿丽人工智能学院）；Beijing Normal University（北京师范大学）；DataArc Tech Ltd.（数据弧科技有限公司）；Huawei Cloud BU（华为云业务单元）
针对法律案例检索中相关性判断耗时且缺乏可解释性的问题，提出一种少样本方法，利用大语言模型分阶段模拟专家推理生成可解释判断，并验证了其可靠性及向小模型知识蒸馏的能力。
2025-08-14 cs.AI cs.IR
The Influence of Commercial Intent of Search Results on Their Perceived Relevance
我们对三大网络搜索引擎（即，谷歌、微软和雅虎）。除了相关性判断外，我们还根据结果的商业意图以及它们是否带有任何广告进行分类。我们发现所有的搜索引擎都提供了大量的带有商业意图的结果。谷歌提供了比其他搜索引擎更多的商业结果。然而，结果的商业意图并不影响陪审员的相关性判断。
2015-11-18 cs.IR
Computationally Efficient Optimization of Plackett-Luce Ranking Models for Relevance and Fairness
最近的工作提出了随机Plackett-Luce（PL）排名模型作为优化相关性和公平性指标的一个强大的选择。与需要启发式优化算法的确定性模型不同，PL模型是完全可微的。理论上，它们可以通过随机梯度下降来优化排名度量。然而，在实践中，梯度的计算是不可行的，因为它需要对所有可能的项目排列进行遍历。因此，实际应用依赖于通过采样技术来近似梯度。在本文中，我们介绍了一种新的算法：PL排名，估计梯度的PL排名模型w.r.t.相关性和公平性指标。与基于策略梯度的现有方法不同，PL-排名利用PL模型和排名指标的特定结构。我们的实验分析表明，PL排名有一个更大的采样效率，是计算成本低于现有的策略梯度，从而在更高的性能更快的收敛。PL-Rank进一步使行业能够将PL模型应用于更相关和更公平的现实世界排名系统。
2021-07-07 cs.IR
The Effect of Class Imbalance and Order on Crowdsourced Relevance Judgments
在本文中，我们研究的影响，人群工作者的效率和有效性的优势，一类在他们处理的数据。我们的目的是了解是否有任何积极或消极的偏见，工人看到许多负面的例子，在识别积极的标签。为了验证我们的假设，我们设计了一个实验，要求人群工作者判断以不同顺序呈现的文档的相关性。我们的研究结果表明，有一个显着的改善质量的相关性判断时，提出相关的结果之前，非相关的。
2016-09-04 cs.HC cs.IR
Ranking of Wikipedia articles in search engines revisited: Fair ranking for reasonable quality?
本文的目的是审查激烈讨论的问题，是否排名维基百科的文章在搜索引擎是合理的文章的质量。在概述了当前维基百科信息质量的研究之后，总结了关于维基百科条目质量的扩展讨论。在此基础上，提出了一种评价维基百科条目的探试法，并将其应用于在搜索引擎检索有效性测试中得分较高的维基百科条目，并与陪审员的相关性判断进行比较。在所有测试的搜索引擎中，陪审员一致认为维基百科的结果比相应结果位置上的其他结果更好。相关性判断通常与启发式评价的结果大致一致。高相关性判断不符合启发式评估的相对低分数的情况被解释为维基百科高度信任的指标。维基百科的系统性缺陷之一在于其不连贯的用户模型。进一步调整建议的标准目录，例如对所提供的标准进行不同的加权，可以作为维基百科条目的用户模型差异化评估的起点。本文将参考文献质量评价方法应用于维基百科条目，并与搜索引擎评价问题相结合。
2011-09-05 cs.IR
Towards More Relevant Product Search Ranking Via Large Language Models: An Empirical Study
本文针对电商搜索排序缺乏黄金标准的问题，提出利用LLMs生成标签和特征以提升基于内容相关性的预测能力，并通过sigmoid变换极化相关性分数，结合在线与离线实验验证了该方法能更有效平衡内容与交互相关性。
2024-09-26 cs.IR
Finding Salient Context based on Semantic Matching for Relevance Ranking
本文提出了一种基于显著性上下文的语义匹配方法来改进信息检索中的相关性排序。我们首先提出了一个新的显著性上下文的概念，然后定义了如何测量它，然后我们展示了如何使用滑动窗口技术来定位最显著的上下文。最后，我们使用查询词和文档语料库中最显著的上下文词之间的语义相似度来对这些文档进行排名。TREC的各种集合上的实验表明，我们的模型相比，国家的最先进的方法的有效性。
2019-09-03 cs.IR
Generative Relevance Feedback and Convergence of Adaptive Re-Ranking: University of Glasgow Terrier Team at TREC DL 2023
本文报告了格拉斯哥大学Terrier团队在TREC DL 2023中的参赛工作，通过将大型语言模型的生成式相关反馈与基于monoELECTRA的自适应重排序相结合，在BM25和SPLADE上提升了检索性能。
2024-05-02 cs.IR
Modeling Multidimensional User Relevance in IR using Vector Spaces
研究表明，除了话题性之外，文档的相关性判断还受到多种因素的影响。文献中提出的一些多维用户相关性模型（MURM）研究了不同维度的相关性对用户判断的影响。我们的假设是，用户可能会给予更多的重要性，在会话中的某些相关性维度可能会随着会话的进展而动态变化。这激发了使用反馈捕获不同相关性维度的权重的需要，并根据这些权重构建一个模型来对文档进行排序以用于后续查询。我们提出了一个几何模型的灵感来自量子理论的数学框架，以捕捉用户的重要性给予每个维度的相关性和测试我们的假设的数据从网络搜索引擎和TREC会话跟踪。
2018-05-06 cs.IR
Large Language Models for Relevance Judgment in Product Search
Walmart Global Technology（沃尔玛全球技术）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
本文利用大型语言模型自动化商品搜索中查询-商品对的相关性判断，通过微调十亿参数级模型并优化超参数，实现了与人工评估相当的相关性标注效果。
2024-07-16 cs.AI cs.IR
Marginal-Certainty-aware Fair Ranking Algorithm
排名系统在现代互联网服务中无处不在，包括在线市场、社交媒体和搜索引擎。传统的排名系统只关注如何获得更好的相关性估计。当相关性估计可用时，它们通常采用以用户为中心的优化策略，其中通过根据项目的估计相关性对项目进行排序来生成排名列表。然而，这种以用户为中心的优化忽略了一个事实，即项目提供商也从排名系统中获取效用。现有研究表明，这种以用户为中心的优化会对物品提供者造成很大的不公平，其次是对物品提供者的不公平机会和不公平的经济收益。为了解决排名公平性，已经提出了许多公平排名方法。然而，正如我们在本文中所示，这些方法可能是次优的，因为它们直接依赖于相关性估计而不知道不确定性（即，估计的相关性的方差）。为了解决这种不确定性，我们提出了一种新的边缘感知公平算法MCFair。MCFair联合优化公平性和用户效用，而相关性估计以在线方式不断更新。在MCFair中，我们首先开发了一个排名目标，包括不确定性，公平性和用户效用。然后我们直接使用排序目标的梯度作为排序得分。我们从理论上证明了基于梯度的MCFair对于上述排名目标是最优的。从经验上讲，我们发现，在半合成数据集上，MCFair是有效和实用的，与最先进的公平排名方法相比，可以提供更优越的性能。为了便于重现，我们发布了我们的代码https://github.com/Taosheng-ty/WSDM22-MCFair。
2022-12-18 cs.IR
Topic-Specific Classifiers are Better Relevance Judges than Prompted LLMs
University of Kassel（卡塞尔大学）；HLTCOE, Johns Hopkins University（约翰斯·霍普金斯大学高级国际研究学院）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Tübingen（蒂宾根大学）
本文提出通过微调monoT5训练针对特定主题的相关性分类器，以提高未被评判文档问题的处理效果，相比使用LLM作为评判者的方法更可靠且更简单。
2026-01-23 cs.IR
Expanding Relevance Judgments for Medical Case-based Retrieval Task with Multimodal LLMs
Faculty of Engineering, University of Porto（葡萄牙波尔图大学工程学院）
本研究利用多模态大语言模型Gemini 1.5 Pro扩展医学案例检索的相关性判断，通过结构化提示策略将人工判断数据集扩展37倍，达到0.6的Kappa一致性，验证了MLLM在医学IR评估中的潜力。
2025-06-21 cs.AI cs.IR
Personalized Search Via Neural Contextual Semantic Relevance Ranking
本文提出一种神经学习框架，通过结合词汇表示和语义嵌入建模文档内容与用户查询上下文的关系，利用个性化上下文信号优化文档排序，有效提升了个性化搜索效果。
2023-09-10 cs.IR
Explicitly Integrating Judgment Prediction with Legal Document Retrieval: A Law-Guided Generative Approach
针对现有法律检索未显式结合判决预测导致准确率低、透明度不足的问题，提出法律引导的生成式检索方法GEAR，以序列到序列方式显式整合两类任务，在多个数据集上取得更优效果与鲁棒性。
2024-04-15 cs.IR
Relevance ranking for proximity full-text search based on additional indexes with multi-component keys
被认为是接近全文搜索的问题。如果搜索查询包含高频率出现的单词，那么与普通的倒排索引相比，多分量键索引可以提高搜索速度。结果表明，当查询由高频率出现的单词组成时，我们可以将搜索速度提高130倍。在本文中，我们研究了多组件的关键字索引架构如何影响搜索的质量。我们考虑几个著名的方法的相关性排名，这些方法是不同的作者。使用这些方法，我们执行的普通倒排索引，然后在一个索引增强与多组件的关键字索引的搜索。结果表明，与多组件的关键索引，我们得到的搜索结果是非常接近的，在相关性排名方面，通过普通的倒排索引的方式获得的搜索结果。
2021-08-01 cs.IR
Joint Optimization of Relevance and Engagement in Multi-Task Ranking for E-Commerce with Efficient LLM Supervision
DoorDash Inc.（DoorDash公司）
提出一个生产级多任务排序系统，通过序数相关头与统一价值模型联合优化相关性和参与度，并利用微调轻量级LLM生成三级序数相关标签，显著提升语义对齐同时保持核心参与目标。
2026-05-26 cs.IR
REALM: Recursive Relevance Modeling for LLM-based Document Re-Ranking
针对现有基于LLM的文档重排序方法存在的排序不确定、top-k召回不稳定及token成本高的问题，提出不确定性感知框架REALM，将相关性建模为高斯分布并通过递归贝叶斯更新优化，在提升排序效果的同时显著降低推理成本与延迟。
2025-10-02 cs.IR
Likert or Not: LLM Absolute Relevance Judgments on Fine-Grained Ordinal Scales
本研究挑战“列表式排序优于点式评分”的共识，发现采用足够大的有序标签空间时，点式评分与列表式排序的差距缩小至统计不显著，涵盖四个 LLM 和多个基准数据集。
2025-05-25 cs.IR cs.LG
Mitigating the Threshold Priming Effect in Large Language Model-Based Relevance Judgments via Personality Infusing
The Hong Kong Polytechnic University（香港理工大学）；Waseda University（早稻田大学）；The University of Oklahoma（俄克拉荷马大学）；EureXa Labs（EureXa实验室）
本文通过注入人格特征缓解基于大语言模型的相关性判断中的阈值先入为主效应，发现特定人格特征可有效降低该效应，并提出人格提示作为改进方法。
2025-11-29 cs.CL cs.IR
Compact Token Representations with Contextual Quantization for Efficient Document Re-ranking
基于Transformer的重排序模型可以通过上下文感知的查询令牌与文档令牌的软匹配来实现高搜索相关性。为了减轻运行时的复杂性，这样的推理，以前的工作已经采用了一个后期的互动架构与预先计算的上下文令牌表示的成本一个大的在线存储。本文提出了上下文量化的令牌嵌入解耦的文档特定的和文档无关的排名的贡献，在基于码本的压缩。这允许有效的在线解压缩和嵌入组合，以获得更好的搜索相关性。本文提出了一个评估上述紧凑的令牌表示模型的相关性和空间效率。
2022-03-29 cs.IR
Maximizing Marginal Fairness for Dynamic Learning to Rank
排名，特别是搜索和推荐系统中的排名，通常决定人们如何访问信息以及信息如何暴露给人们。因此，如何平衡信息披露的相关性和公平性，是现代信息披露制度的关键问题之一。由于传统的排名框架近视地将文档与其相关性进行排序将不可避免地引入不公平的结果暴露，因此最近关于排名公平性的研究主要集中在动态排名范例上，其中结果排名可以实时调整以支持组中的公平性（即，种族、性别等）。然而，现有的研究动态学习排序的公平性，往往实现整体公平的文件曝光排名列表显着牺牲的性能，结果的相关性和公平性的顶部结果。为了解决这个问题，我们提出了一个公平和公正的排名方法命名为最大边际公平（MMF）。该算法集成了无偏估计的相关性和基于价值的公平性，同时提供了一个明确的控制器，平衡选择的文件，以最大限度地提高边际相关性和公平性的前k个结果。理论和实证分析表明，与最先进的算法相比，我们的方法在相关性和公平性方面都具有优越的效率和有效性，并且在长列表公平性上有很小的妥协。
2021-02-18 cs.IR
LLM-based relevance assessment still can't replace human relevance assessment
University of Waterloo（滑铁卢大学）；University of New Hampshire（新罕布什尔大学）
本文批判性地评估了LLM在信息检索中的相关性评估能力，指出其在实际和理论层面的局限性，强调无法完全替代人类评估。
2026-01-19 cs.IR
UMBRELA: UMbrela is the (Open-Source Reproduction of the) Bing RELevance Assessor
本文提出开源工具包 UMBRELA，利用 GPT-4o 复现并扩展微软 Bing 的 LLM 相关性评估研究，在 TREC 2019-2023 深度学习赛道验证其判断与多阶段检索排序高度相关。
2024-06-10 cs.IR
Estimation of Fair Ranking Metrics with Incomplete Judgments
University College London（伦敦大学学院）；Microsoft Research（微软研究院）；Max Planck Institute for Security and Privacy（马克斯·普朗克安全与隐私研究所）；Boise State University（博伊西州立大学）；Spotify Research（Spotify研究院）
评价搜索系统排序决策的公平性越来越受到人们的关注。这些指标通常考虑项目对特定组的成员关系，通常使用受保护的属性（如性别或种族）进行识别。迄今为止，这些度量通常假设项目的受保护属性标签的可用性和完整性。然而，受保护的个人属性很少出现，限制了公平排名度量在大规模系统中的应用。为了解决这个问题，我们提出了一个抽样策略和估计技术的四个公平的排名指标。我们制定了一个强大的和无偏的估计，甚至可以与非常有限的数量的标记项目。我们使用模拟和真实世界的数据来评估我们的方法。我们的实验结果表明，我们的方法可以估计这个家庭的公平排名指标，并提供了一个强大的，可靠的替代穷举或随机数据注释。
2021-08-11 cs.CY cs.IR cs.LG
A Human-AI Comparative Analysis of Prompt Sensitivity in LLM-Based Relevance Judgment
University of Waterloo（滑铁卢大学）
该研究针对基于LLM的相关性判断的稳健性，系统调查提示词敏感性影响，通过收集并对比人类与LLM生成的提示词在三类任务中的表现，为相关研究提供数据支持。
2025-04-16 cs.CL cs.IR
An Iterative Utility Judgment Framework Inspired by Philosophical Relevance via LLMs
State Key Laboratory of AI Safety（人工智能安全国家重点实验室）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出ITEM框架，通过迭代提升信息检索中相关性排序、效用判断和答案生成的性能，实验表明在多个数据集上均优于基线模型。
2026-04-11 cs.AI cs.CL cs.IR
Regression Compatible Listwise Objectives for Calibrated Ranking with Binary Relevance
针对排序学习方法输出分数缺乏尺度校准的问题，提出回归兼容排序方法，在二元标签场景下实现排序与回归目标的对齐，在公开基准和YouTube搜索中均取得更优效果并已上线部署。
2023-08-21 cs.IR
Pretrained Language Model based Web Search Ranking: From Relevance to Satisfaction
本文提出基于PLM的SAT-Ranker框架，通过多字段输入统一建模文档质量、时效性和权威性等满意度维度，离线与在线实验均显示显著收益并已全量部署。
2023-06-02 cs.IR
Toward Automatic Relevance Judgment using Vision--Language Models for Image--Text Retrieval Evaluation
David R. Cheriton School of Computer Science（戴维·R·切里顿计算机科学学院）；University of Waterloo（滑铁卢大学）
本文评估了CLIP、LLaVA和GPT-4V等视觉-语言模型在零样本图像-文本检索评估中的相关性判断能力，发现LLM驱动的VLMs在多项指标上优于CLIPScore，展现出增强相关性判断的潜力。
2024-08-02 cs.CL cs.CV cs.IR
OrdRankBen: A Novel Ranking Benchmark for Ordinal Relevance in NLP
The Fin AI；Gustavus Adolphus College（古斯塔夫斯·阿道夫斯学院）
针对现有NLP排序基准忽略序数相关性的问题，提出新型基准OrdRankBen及两个数据集，通过引入结构化序数标签实现更精确的多粒度排序评估。
2025-03-02 cs.AI cs.IR
The Effect of Document Summarization on LLM-Based Relevance Judgments
The University of Queensland（昆士兰大学）；University of Udine（乌迪内大学）
本文研究了文档摘要对基于大语言模型的相关性判断可靠性及IR评估的影响，发现摘要判断在稳定性上与完整文档判断相当，但引入了系统性的标签偏见。
2025-12-05 cs.AI cs.CL cs.IR
