Exploring Large Language Models for Relevance Judgments in Tetun
本文研究利用大语言模型在低资源语言德顿语中自动执行查询-文档相关性判断,并与人工标注比较,发现其一致性水平与高资源语言研究结果接近。
2024-06-11 cs.IR
Don't Use LLMs to Make Relevance Judgments
本文基于ACM SIGIR 2024研讨会主题演讲,指出为TREC风格测试集创建相关性判断复杂且昂贵,并明确警告不要使用LLM进行此类判断。
2025-03-26 cs.IR
LLMJudge: LLMs for Relevance Judgments
SIGIR 2024的LLMJudge挑战赛探索用LLMs生成相关性判断以替代人工标注,将研究模型效果、提示词优化等问题并发布数据支撑相关研究。
2024-08-09 cs.IR
LLMs Can Patch Up Missing Relevance Judgments in Evaluation
本文提出用 LLM 按详细指令为 IR 评估中的未判断文档自动补全细粒度相关性标签,并在 TREC DL 模拟缺失判断实验中验证其与人工判断高度一致。
2024-05-08 cs.IR
Criteria-Based LLM Relevance Judgments
提出Multi-Criteria框架,将相关性分解为精确性、覆盖度、主题性和上下文契合度等标准,提升LLM相关性判定的鲁棒性与可解释性,并在TREC数据集上验证了其优于直接评分方法。
2025-07-13 cs.IR
JudgeBlender: Ensembling Judgments for Automatic Relevance Assessment
JudgeBlender通过融合多个开源LLM或多个提示的评估结果,提供自动相关性判断,在LLMJudge基准上达到与大型模型相当的竞争力,表明大型模型并非可靠评估所必需。
2024-12-17 cs.IR
Perspectives on Large Language Models for Relevance Judgment
本文探讨大语言模型在相关性判断中的应用,提出人机协作频谱,并通过初步实验及文献分析,给出支持、反对及折中的观点。
2023-11-18 cs.CY cs.IR
LLMs Encode Relevance as a Layer-Wise Cross-Lingual Signal
The University of Queensland(昆士兰大学)
研究大语言模型中查询与文档相关性是否可线性解码,通过引导中等规模模型、提取激活并训练线性探针,发现相关性是深度依赖信号,多语言实验有部分跨语言可移植性,为基于LLM的相关性评估提供表征视角。
2026-07-20 cs.IR
Multimodal Item Scoring for Natural Language Recommendation via Gaussian Process Regression with LLM Relevance Judgments
University of Toronto(多伦多大学);Sungkyunkwan University(成均馆大学)
针对自然语言推荐中单模态评分函数的局限性,提出GPR-LLM方法,利用高斯过程回归结合LLM相关性判断建模多模态评分函数,在最小标注预算下显著优于基线方法。
2025-10-31 cs.IR
Streamlined Data Fusion: Unleashing the Power of Linear Combination with Minimal Relevance Judgments
本文研究在信息检索数据融合中,仅用20%-50%相关文档训练线性组合权重即可接近TREC官方qrels的效果,显著降低人工标注成本。
2023-09-21 cs.IR
Variations in Relevance Judgments and the Shelf Life of Test Collections
该研究针对神经检索时代测试集特征变化及重复使用的情况,通过复现并重新标注2019年TREC Deep Learning Track数据,发现评估者分歧不影响系统排名,但部分模型效果下降且部分已达人类水平,证实测试集存在过期可能。
2025-05-21 cs.IR
The Effect of Multi-Lingual and Keyword Adversarial Injection on LLM Relevance Judgment
RMIT University(皇家墨尔本理工大学)
研究跨语言提示注入攻击对基于大语言模型的相关性判断的影响,利用TREC数据集和开放权重模型在多语言环境下研究不同注入策略,发现多语言查询注入有效且能绕过现有防御,凸显当前防御差距,强调需更强大评估框架。
2026-07-14 cs.IR
Assessing Efficiency-Effectiveness Tradeoffs in Multi-Stage Retrieval Systems Without Using Relevance Judgments
大规模的检索系统通常是作为一个级联序列的阶段实现的-第一个过滤步骤,其中一个大的候选文件集是使用一个简单的技术,如布尔匹配和/或静态文档评分提取;然后一个或多个排名步骤,其中过滤器检索的文档池更精确地使用几十个或几百个不同的功能。然后,返回给用户的文档从最终排名列表的头部开始。在这里,我们将研究用于测量过滤和初步排名阶段的质量的方法,并展示如何使用这些测量来调整系统的整体性能。用于整体系统评估的标准的最高加权度量不适合评估过滤阶段,因为输出是一组文档,而不是有序的文档序列。相反,我们使用一种方法,在这种方法中,质量分数是根据过滤和完整评估之间的差异计算的。与以前的方法不同,我们的方法不需要相关性判断,因此几乎可以用于任何查询集。我们表明,这种质量分数直接相关的实际差异时,测量的有效性的相关性判断。由于质量分数不需要相关性判断,因此它可以用于识别对于给定过滤器表现特别差的查询。使用这些方法,我们探索了广泛的过滤选项,使用数以千计的查询,分类不同方法的相对优点,并确定有用的参数组合。
2015-06-02 cs.IR
Benchmarking LLM-based Relevance Judgment Methods
University of Waterloo(滑铁卢大学)
本文针对基于LLM的相关性评估研究缺乏替代方法探索和全面比较的问题,系统比较了二元、分级、成对偏好及两种信息块评估法,在多数据集验证并发布模型判断,为该领域提供全面基准。
2025-04-17 cs.CL cs.IR
When LLM Judges Inflate Scores: Exploring Overrating in Relevance Assessment
The University of Queensland(昆士兰大学)
研究揭示LLM在相关性评估中存在系统性高估问题,指出模型对不满足信息需求的文本给出高分,且易受文本长度和表层词汇影响,强调需谨慎评估LLM在相关性评估中的应用。
2026-04-27 cs.IR
Formalized Information Needs Improve Large-Language-Model Relevance Judgments
TH Köln(科隆应用技术大学);Aalborg University(奥尔堡大学)
研究探讨了形式化信息需求对大语言模型相关性评估的影响,发现使用形式化主题可提高人机一致性和评估可靠性。
2026-04-29 cs.IR
Data-Driven Relevance Judgments for Ranking Evaluation
在信息检索中,排序评估度量是设计和改进工作的基本要素。我们观察到,大多数流行的指标忽略了用于获得排名的分数中描述的信息。这可能会造成一个数字缩放问题,导致根据排名项目得分之间的差异程度对评价进行低估或高估。这项工作的目的是提出一个原则性的方式量化多等级的相关性判断的项目,使更准确的处罚排序错误的排名。我们提出了一个数据驱动的生成相关性函数的基础上的一组项目的分数和它的应用程序之间的分歧程度的评价指标归一化贴现累积增益(nDCG)。我们使用合成数据来证明我们的建议的兴趣,并结合来自Google News的新闻项目的数据及其在Twitter中的受欢迎程度,以显示其与标准nDCG相比的性能。结果表明,与标准nDCG相比,我们的提案能够提供更细粒度的排名评估,并且后者经常根据项目得分的差异低估或高估其评估得分。
2016-12-19 cs.IR
How role-play shapes relevance judgment in zero-shot LLM rankers
Leiden Institute of Advanced Computer Science, Leiden University(莱顿大学高级计算机科学研究所);Center for Language and Cognition, University of Groningen(格罗宁根大学语言与认知中心);Brown University(布朗大学);University of Amsterdam(阿姆斯特丹大学)
本研究探讨角色扮演如何影响零样本LLM排序器的相关性判断,发现角色描述的精心制定显著提升排序质量,且角色信号主要在早期层编码,为设计更有效的提示提供了指导。
2026-01-13 cs.IR
Leveraging Large Language Models for Relevance Judgments in Legal Case Retrieval
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学耿丽人工智能学院);Beijing Normal University(北京师范大学);DataArc Tech Ltd.(数据弧科技有限公司);Huawei Cloud BU(华为云业务单元)
针对法律案例检索中相关性判断耗时且缺乏可解释性的问题,提出一种少样本方法,利用大语言模型分阶段模拟专家推理生成可解释判断,并验证了其可靠性及向小模型知识蒸馏的能力。
2025-08-14 cs.AI cs.IR
The Influence of Commercial Intent of Search Results on Their Perceived Relevance
我们对三大网络搜索引擎(即,谷歌、微软和雅虎)。除了相关性判断外,我们还根据结果的商业意图以及它们是否带有任何广告进行分类。我们发现所有的搜索引擎都提供了大量的带有商业意图的结果。谷歌提供了比其他搜索引擎更多的商业结果。然而,结果的商业意图并不影响陪审员的相关性判断。
2015-11-18 cs.IR
The Effect of Class Imbalance and Order on Crowdsourced Relevance Judgments
在本文中,我们研究的影响,人群工作者的效率和有效性的优势,一类在他们处理的数据。我们的目的是了解是否有任何积极或消极的偏见,工人看到许多负面的例子,在识别积极的标签。为了验证我们的假设,我们设计了一个实验,要求人群工作者判断以不同顺序呈现的文档的相关性。我们的研究结果表明,有一个显着的改善质量的相关性判断时,提出相关的结果之前,非相关的。
2016-09-04 cs.HC cs.IR
Modeling Multidimensional User Relevance in IR using Vector Spaces
研究表明,除了话题性之外,文档的相关性判断还受到多种因素的影响。文献中提出的一些多维用户相关性模型(MURM)研究了不同维度的相关性对用户判断的影响。我们的假设是,用户可能会给予更多的重要性,在会话中的某些相关性维度可能会随着会话的进展而动态变化。这激发了使用反馈捕获不同相关性维度的权重的需要,并根据这些权重构建一个模型来对文档进行排序以用于后续查询。我们提出了一个几何模型的灵感来自量子理论的数学框架,以捕捉用户的重要性给予每个维度的相关性和测试我们的假设的数据从网络搜索引擎和TREC会话跟踪。
2018-05-06 cs.IR
Large Language Models for Relevance Judgment in Product Search
Walmart Global Technology(沃尔玛全球技术);UIUC(伊利诺伊大学厄巴纳-香槟分校)
本文利用大型语言模型自动化商品搜索中查询-商品对的相关性判断,通过微调十亿参数级模型并优化超参数,实现了与人工评估相当的相关性标注效果。
2024-07-16 cs.AI cs.IR
Topic-Specific Classifiers are Better Relevance Judges than Prompted LLMs
University of Kassel(卡塞尔大学);HLTCOE, Johns Hopkins University(约翰斯·霍普金斯大学高级国际研究学院);Johns Hopkins University(约翰斯·霍普金斯大学);University of Tübingen(蒂宾根大学)
本文提出通过微调monoT5训练针对特定主题的相关性分类器,以提高未被评判文档问题的处理效果,相比使用LLM作为评判者的方法更可靠且更简单。
2026-01-23 cs.IR
Expanding Relevance Judgments for Medical Case-based Retrieval Task with Multimodal LLMs
Faculty of Engineering, University of Porto(葡萄牙波尔图大学工程学院)
本研究利用多模态大语言模型Gemini 1.5 Pro扩展医学案例检索的相关性判断,通过结构化提示策略将人工判断数据集扩展37倍,达到0.6的Kappa一致性,验证了MLLM在医学IR评估中的潜力。
2025-06-21 cs.AI cs.IR
Explicitly Integrating Judgment Prediction with Legal Document Retrieval: A Law-Guided Generative Approach
针对现有法律检索未显式结合判决预测导致准确率低、透明度不足的问题,提出法律引导的生成式检索方法GEAR,以序列到序列方式显式整合两类任务,在多个数据集上取得更优效果与鲁棒性。
2024-04-15 cs.IR
Likert or Not: LLM Absolute Relevance Judgments on Fine-Grained Ordinal Scales
本研究挑战“列表式排序优于点式评分”的共识,发现采用足够大的有序标签空间时,点式评分与列表式排序的差距缩小至统计不显著,涵盖四个 LLM 和多个基准数据集。
2025-05-25 cs.IR cs.LG
Mitigating the Threshold Priming Effect in Large Language Model-Based Relevance Judgments via Personality Infusing
The Hong Kong Polytechnic University(香港理工大学);Waseda University(早稻田大学);The University of Oklahoma(俄克拉荷马大学);EureXa Labs(EureXa实验室)
本文通过注入人格特征缓解基于大语言模型的相关性判断中的阈值先入为主效应,发现特定人格特征可有效降低该效应,并提出人格提示作为改进方法。
2025-11-29 cs.CL cs.IR
LLM-based relevance assessment still can't replace human relevance assessment
University of Waterloo(滑铁卢大学);University of New Hampshire(新罕布什尔大学)
本文批判性地评估了LLM在信息检索中的相关性评估能力,指出其在实际和理论层面的局限性,强调无法完全替代人类评估。
2026-01-19 cs.IR
UMBRELA: UMbrela is the (Open-Source Reproduction of the) Bing RELevance Assessor
本文提出开源工具包 UMBRELA,利用 GPT-4o 复现并扩展微软 Bing 的 LLM 相关性评估研究,在 TREC 2019-2023 深度学习赛道验证其判断与多阶段检索排序高度相关。
2024-06-10 cs.IR
A Human-AI Comparative Analysis of Prompt Sensitivity in LLM-Based Relevance Judgment
University of Waterloo(滑铁卢大学)
该研究针对基于LLM的相关性判断的稳健性,系统调查提示词敏感性影响,通过收集并对比人类与LLM生成的提示词在三类任务中的表现,为相关研究提供数据支持。
2025-04-16 cs.CL cs.IR
An Iterative Utility Judgment Framework Inspired by Philosophical Relevance via LLMs
State Key Laboratory of AI Safety(人工智能安全国家重点实验室);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出ITEM框架,通过迭代提升信息检索中相关性排序、效用判断和答案生成的性能,实验表明在多个数据集上均优于基线模型。
2026-04-11 cs.AI cs.CL cs.IR
Toward Automatic Relevance Judgment using Vision--Language Models for Image--Text Retrieval Evaluation
David R. Cheriton School of Computer Science(戴维·R·切里顿计算机科学学院);University of Waterloo(滑铁卢大学)
本文评估了CLIP、LLaVA和GPT-4V等视觉-语言模型在零样本图像-文本检索评估中的相关性判断能力,发现LLM驱动的VLMs在多项指标上优于CLIPScore,展现出增强相关性判断的潜力。
2024-08-02 cs.CL cs.CV cs.IR
The Effect of Document Summarization on LLM-Based Relevance Judgments
The University of Queensland(昆士兰大学);University of Udine(乌迪内大学)
本文研究了文档摘要对基于大语言模型的相关性判断可靠性及IR评估的影响,发现摘要判断在稳定性上与完整文档判断相当,但引入了系统性的标签偏见。
2025-12-05 cs.AI cs.CL cs.IR
Judging the Judges: A Collection of LLM-Generated Relevance Judgements
本文发布并基准测试 SIGIR 2024 LLMJudge 中八支团队生成的 42 组 TREC 2023 相关性标签,以评估 LLM 自动判断方法及其偏差与权衡。
2025-02-19 cs.IR
JurisTCU: A Brazilian Portuguese Information Retrieval Dataset with Query Relevance Judgments
Câmara dos Deputados(议会委员会);Tribunal de Contas da União (TCU)(联邦审计法院)
本文介绍了一个包含16045份巴西联邦会计法院判例文书和150个带有相关性标注查询的巴西葡萄牙语信息检索数据集,通过混合方法产生相关性判断,展示了文档扩展方法在提升BM25性能上的显著效果,以及OpenAI模型在短关键词查询中的优越表现。
2025-08-01 cs.CL cs.IR
How do Large Language Models Understand Relevance? A Mechanistic Interpretability Perspective
Gaoling School of Artificial Intelligence(高瓴人工智能学院);Renmin University of China(中国人民大学)
本文从机制可解释性视角出发,利用激活修补技术揭示LLMs通过早期提取、中期处理和后期特定注意力头生成相关性判断的多阶段过程,为IR任务优化提供机制层面的启示。
2025-04-10 cs.CL cs.IR cs.LG
Benchmarking Soundtrack Recommendation Systems with SRBench
在这项工作中,提出了一个基准来评估检索性能的配乐推荐系统。这样的系统旨在找到作为给定图像集的背景音乐播放的歌曲。所提出的基准是基于偏好判断,其中相关性被认为是连续的有序变量,并且针对关于查询的歌曲对收集判断(即,图像集)。为了捕捉各种各样的歌曲和图像,我们使用了大量可能的音乐类型,通过音乐表达的不同情感以及各种查询图像主题。该基准包括两种类型的相关性评估:(一)从用户研究中获得的判断,作为一个“黄金标准”(二)通过亚马逊的机械土耳其收集的相关性判断。我们报告的分析相关性判断的基础上不同层次的用户协议和调查的性能两个国家的最先进的配乐推荐系统使用建议的基准。
2013-08-06 cs.IR cs.MM
Query Performance Prediction using Relevance Judgments Generated by Large Language Models
University of Amsterdam(阿姆斯特丹大学);University of Waterloo(滑铁卢大学);Leiden University(莱顿大学)
提出QPP-GenRE框架,利用大语言模型生成相关性判断,分解QPP任务以预测多种IR指标并增强可解释性,通过近似策略和微调解决计算与性能挑战,在多个数据集上达到最先进效果。
2025-05-26 cs.AI cs.CL cs.IR
RAG-Match: Retrieval-Augmented Knowledge Injection and Hierarchical Reasoning for Calibrated Semantic Relevance
Qwen Applications Business Group of Alibaba(阿里巴巴通义千问应用业务组)
提出RAG-Match三阶段框架,通过知识增强预训练、分层推理对齐和偏好决策校准,提升搜索场景中细粒度语义相关性判断的准确性。
2026-05-25 cs.IR
Rubric-Calibrated Preferences: Cross-Query Calibration of LLM Judgments via Item Response Theory
Cohere
针对重排器评估指标nDCG依赖离散人工标签、难区分相近质量重排器的问题,提出结合相对与绝对判断、用IRT跨查询校准的RCP方法,其RCP-nDCG指标与人类判断相关性更高,能区分更多重排器对。
2026-09-28 cs.IR
Scaling Search Relevance: Augmenting App Store Ranking with LLM-Generated Judgments
Apple(苹果公司)
针对应用商店排名中专家文本相关性标签稀缺的问题,通过微调LLM生成数百万标签,结合行为相关性优化排序器,显著提升Pareto前沿和转化率。
2026-06-07 cs.AI cs.IR cs.LG
Can We Use Large Language Models to Fill Relevance Judgment Holes?
University of Amsterdam(阿姆斯特丹大学);University of Strathclyde(斯特拉斯克莱德大学)
本文研究用 LLM 基于既有判断填补测试集相关性漏洞,发现仅补洞会造成排名偏差,全文档池标注更一致。
2024-05-09 cs.CL cs.IR
LLM-Driven Usefulness Judgment for Web Search Evaluation
Information School University of Washington(华盛顿大学信息学院);The University of Oklahoma(俄克拉荷马大学);Meta
提出TRUE方法,利用LLM结合用户行为信号评估文档有用性,通过迭代采样和推理建模搜索行为,实验表明LLM能生成中等有用性标签,微调后判断更准确。
2026-06-16 cs.IR
Predicting Relevance based on Assessor Disagreement: Analysis and Practical Applications for Search Evaluation
对搜索引擎的评估依赖于对所选测试查询的搜索结果的评估,我们理想地希望根据结果的相关性得出结论,以用于一般(例如,未来的、未知的)用户。然而,在实践中,大多数评估方案只允许我们最终确定与提供判断的特定评估员的相关性。在将评估员得出的结论扩展到用户时,一个不可忽视的因素是,假设不存在单一的黄金真理标签,可能会对相关性产生分歧。本文提出并分析了预测相关性模型(PRM),它允许预测一个特定的结果的相关性为随机用户,根据观察到的评估和知识的平均分歧之间的评估。与PRM,现有的评估指标,旨在衡量二元评估相关性,可以转换成更强大的和有效的分级措施,评估相关性向随机用户。它还导致了一种原则性的方式,量化多个分级或分类的相关性水平,以用作已建立的分级相关性度量中的增益,例如归一化折扣累积增益(nDCG),其现在通常使用启发式和数据独立的增益值。给定一组具有分级相关性判断的测试主题,PRM允许在不同的场景下评估系统,例如它们检索顶级结果的能力,或者它们能够过滤掉不相关结果的能力。它在实际评估场景中的使用在几个信息检索测试集合上进行了说明。
2015-11-23 cs.IR
Query-Document Dense Vectors for LLM Relevance Judgment Bias Analysis
The University of Queensland, Brisbane, Australia(昆士兰大学)
本文提出一种基于聚类的框架,用于分析LLM在相关性判断中的系统性偏差,通过语义空间嵌入识别分歧模式,提升IR评估的可靠性。
2026-01-05 cs.AI cs.CL cs.IR
From a Large-Scale Teacher to Efficient Multimodal Students for Search Relevance Prediction
eBay
本研究提出框架将高性能LLM相关性判断系统蒸馏为高效多模态学生模型,利用人工标注数据集优化LLM评判流水线生成标签训练模型,使蒸馏模型性能接近教师系统且成本更低,可部署于生产环境。
2026-10-14 cs.IR cs.LG
Aligning Query Representation with Rewritten Query and Relevance Judgments in Conversational Search
Université de Montréal(蒙特利尔大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Renmin University of China(中国人民大学);University of Copenhagen(哥本哈根大学);Beijing Jiaotong University(北京交通大学)
本文提出QRACDR模型,通过将查询表示与改写查询及相关文档对齐,结合相关性判断训练查询表示模型,在八个数据集上显著提升了对话式搜索和ad-hoc搜索的性能。
2024-07-29 cs.CL cs.IR
To Judge or not to Judge: Using LLM Judgements for Advertiser Keyphrase Relevance at eBay
eBay Advertising(eBay广告);eBay Inc.(eBay公司)
本研究针对eBay广告主关键词相关性过滤问题,提出使用LLM作为评判者作为卖家判断的可扩展代理,以在卖家、广告和搜索三个动态系统间实现更好和谐,并通过案例研究验证其有效性。
2025-08-12 cs.AI cs.IR cs.LG
Re-Rankers as Relevance Judges
The University of Edinburgh(爱丁堡大学);University of Oklahoma(俄克拉荷马大学);University of Amsterdam(阿姆斯特丹大学)
本文提出将重排序器作为相关性判断者的方法,通过两种适应策略在重排序任务中实现优于现有方法的性能。
2026-01-08 cs.AI cs.CL cs.IR
STCALIR: Semi-Synthetic Test Collection for Algerian Legal Information Retrieval
Ecole nationale Supérieure d’Informatique ESI(国家高等计算机学院)
本文提出STCALIR框架,通过自动化多阶段检索和过滤减少人工标注工作量,生成半合成测试集,验证其在低资源法律领域中与人工标注效果相当。
2026-04-01 cs.IR
GenTREC: The First Test Collection Generated by Large Language Models for Evaluating Information Retrieval Systems
本文提出 GenTREC,首个完全由大语言模型生成文档、无需人工相关性判断的 IR 测试集,实验证明其系统排名与传统 TREC 评估兼容,为低成本 IR 评估提供了新途径。
2025-01-05 cs.IR
Mix and Match: Collaborative Expert-Crowd Judging for Building Test Collections Accurately and Affordably
众包提供了一个负担得起的和可扩展的手段来收集相关性判断IR测试集合。然而,群众评估员可能会表现出更高的方差判断质量比信任的评估员。在本文中,我们探讨如何有效地利用这两组评估员的伙伴关系。我们特别调查协议的判断是如何与三个因素:相关性类别,文档排序,主题方差。在此基础上,我们提出了两种协同判断方法,其中一部分文档主题对由内部法官进行评估,而其余的则由众工作者进行评估。在两个TREC集合上进行的实验显示出令人鼓舞的结果,当我们在两组评估员之间智能地分配工作时。
2018-06-09 cs.IR
NeuCLIRTech: Chinese Monolingual and Cross-Language Information Retrieval Evaluation in a Challenging Domain
Johns Hopkins University(约翰斯·霍普金斯大学);University of Glasgow(格拉斯哥大学);University of Waterloo(滑铁卢大学);Information Sciences Institute, University of Southern California(南加州大学信息科学研究所);Allen Institute for AI(艾伦人工智能研究所)
NeuCLIRTech是一个用于评估中文单语和跨语言信息检索技术的挑战性数据集,包含110个查询及35962个文档判断,提供强大的统计区分能力,支持神经检索系统与重排序算法的评估。
2026-02-05 cs.IR