Counterfactual Learning to Rank using Heterogeneous Treatment Effect Estimation
从隐式反馈(例如点击)训练的学习排名(LTR)模型存在固有的偏见。一个众所周知的是位置偏见--位于顶部位置的文档更有可能获得点击,部分原因是它们的位置优势。为了无偏地学习排名,现有的反事实框架首先估计来自一小部分搜索流量的干预数据的错过点击的倾向(概率),然后使用逆倾向得分(IPS)来消除LTR算法对整个数据集的偏见。这些方法通常假设倾向仅取决于文档的位置,这可能在搜索上下文(例如,查询、用户)频繁变化的应用中导致高估计方差。虽然上下文相关的倾向模型减少了方差,但准确的估计可能需要对大量流量进行随机化或干预,这在现实世界的系统中可能是不现实的,特别是对于长尾查询。在这项工作中,我们采用异质性治疗效果估计技术,估计位置偏差时,干预点击数据是有限的。然后,我们使用这样的估计去偏所观察到的点击分布,并重新绘制一个新的去偏数据集,它可以用于任何LTR算法。我们进行了不同的实验条件下的模拟和长尾查询和稀疏点击政权所提出的方法的有效性。
2020-07-19 cs.IR
Injecting External Knowledge into the Reasoning Process Enhances Retrieval-Augmented Generation
State Key Laboratory of AI Safety(人工智能安全国家重点实验室);Institute of Computing Technology(计算技术研究所);Chinese Academy of Sciences(中国科学院);University of Chinese Academy of Sciences(中国科学院大学)
针对RAG中噪声段落问题,提出段落注入方法,将检索段落显式融入LLM推理过程,在四个数据集上显著提升性能与鲁棒性。
2025-10-08 cs.CL cs.IR
BOSS: Bottom-up Cross-modal Semantic Composition with Hybrid Counterfactual Training for Robust Content-based Image Retrieval
National University of Singapore(新加坡国立大学);Université de Montréal(蒙特利尔大学);Zhejiang University(浙江大学)
基于内容的图像检索(Content-Based Image Retrieval,CIR)旨在通过同时理解示例图像和补充文本的组成来搜索目标图像,这可能会影响各种各样的现实应用,例如互联网搜索和时尚检索。在这种情况下,输入图像用作搜索的直观上下文和背景,而相应的语言明确地请求关于应该如何修改查询图像的特定特征以获得预期目标图像的新特征。这项任务是具有挑战性的,因为它需要学习和理解的复合图像-文本表示,通过纳入跨粒度的语义更新。在本文中,我们解决了这个任务,一个新的\underline{\textbf{B}} ottom-up cr \underline{\textbf{O}} ss-modal \underline{\textbf{S}} emantic compo \underline{\textbf{S}} ition(\textbf{BOSS})与混合反事实训练框架,它揭示了新的光CIR任务,从两个以前被忽视的角度研究:\emph{implicitly bottom-up composition of visiolinguistic representation}和\emph{explicitly fine-grained correspondence of query-target construction}。一方面,我们利用隐式的交互和组合的跨模态嵌入从底部的局部特征到顶部…
2022-07-09 cs.AI cs.CV cs.IR
Are Large Language Models Good at Utility Judgments?
本文系统评估了大型语言模型在开放域问答中判断段落效用的能力,揭示了其区分相关性与效用的特性,并提出 k 采样列表式方法以降低对输入顺序的依赖,为检索增强生成提供了基准与改进思路。
2024-06-08 cs.IR
RCER: Reconstructing Cross-Evidence Relations for Iterative Retrieval-Augmented Generation
Xi’an Jiaotong University(西安交通大学);Beijing University of Posts and Telecommunications(北京邮电大学)
针对迭代RAG难以重建跨证据关系的问题,提出RCER方法,通过轮次间关系证据获取、推理上下文重建与跨证据组合推理提升性能,在多跳QA等任务上优于基线。
2026-10-14 cs.IR
Counterfactual Understanding via Retrieval-aware Multimodal Modeling for Time-to-Event Survival Prediction
University of Engineering and Technology(工程大学);Hanoi Vietnam National University(河内越南国家大学);Delft University of Technology(代尔夫特理工大学)
CURE通过多模态建模和潜在子组检索提升生存预测,优于现有基线模型。
2026-02-23 cs.IR cs.LG
Popular News Always Compete for the User's Attention! POPK: Mitigating Popularity Bias via a Temporal-Counterfactual
针对新闻推荐系统中的流行度偏差问题,提出结合时序反事实分析的POPK方法,通过调整负样本空间消除热门新闻隐性影响,在多语言数据集上验证其可有效提升推荐准确性与多样性且支持定制化。
2024-07-13 cs.IR cs.IT math.IT
Approximated Doubly Robust Search Relevance Estimation
从稀疏的、有偏见的点击日志中提取查询文档相关性是网络搜索系统中最基本的任务之一。现有技术主要学习具有查询和文档的语义特征的相关性判断模型,并且直接忽略来自点击日志的反事实相关性评估。虽然学习的语义匹配模型可以为尾查询提供相关性信号,只要语义特征是可用的。然而,这样的范例缺乏的能力,introphilic调整有偏的相关性估计时,它与大量的隐式用户反馈冲突。相反,反事实评估方法,确保无偏的相关性估计与足够的点击信息。然而,它们遭受由长尾查询分布引起的稀疏甚至丢失的点击。在本文中,我们提出了统一的反事实评估和学习方法的无偏相关估计的搜索查询与各种流行。具体来说,我们从理论上开发了一个双重鲁棒估计低偏差和方差,有意结合现有的相关性评估和学习方法的好处。我们进一步在百度搜索中实例化了所提出的无偏相关性估计框架,并针对用于点击行为跟踪的数据管道和使用近似深度神经网络的在线相关性估计设计了全面的实用解决方案。最后,我们提出了广泛的实证评估,以验证我们提出的框架的有效性,发现它在实践中是强大的,并设法大大提高在线排名的性能。
2022-08-16 cs.IR
Do Large Language Models Favor Recent Content? A Study on Recency Bias in LLM-Based Reranking
Waseda University(早稻田大学);The Hong Kong Polytechnic University(香港理工大学)
本研究通过在TREC数据集中注入人工出版日期,发现LLMs在重排序任务中普遍存在近因偏差,持续提升“新鲜”段落排名,且较大模型仅能减弱而无法消除该效应。
2026-09-22 cs.IR
EviReform: Evidence-Guided Query Reformulation for Multi-Hop Graph Retrieval
Nanjing University of Information Science and Technology(南京信息工程大学);Meituan(美团)
EviReform将检索请求修订与图中证据聚合分离,结合原始与残差检索信号传播,在多跳问答数据集上较基线模型提升了Recall@5和F1指标。
2026-08-14 cs.CL cs.IR
RAGuard: A Layered Defense Framework for Retrieval-Augmented Generation Systems Against Data Poisoning
该研究针对RAG系统的语料库中毒攻击,提出分层防御框架RAGuard,含对抗微调检索器与ZKIP两层,可将攻击成功率降至0,且保持检索性能,相关资源已开源。
2026-07-30 cs.CR cs.IR cs.LG
Unbiased Learning-to-Rank with Biased Feedback
Cornell University(康奈尔大学)
隐式反馈(例如,点击、停留时间等)是人机交互系统中丰富的数据源。虽然隐式反馈具有许多优点(例如,收集成本低、以用户为中心、及时),但其固有的偏见是其有效使用的主要障碍。例如,搜索排名中的位置偏差强烈影响结果接收的点击量,因此在学习排序(LTR)方法中直接使用点击数据作为训练信号会产生次优结果。为了克服这个偏差问题,我们提出了一个反事实推理框架,提供了理论基础,无偏LTR通过经验风险最小化,尽管有偏见的数据。使用这个框架,我们推导出一个倾向加权排名SVM的歧视性学习隐式反馈,点击模型的倾向估计的作用。与使用点击模型来消除数据偏见的大多数传统方法相比,这允许即使在查询不重复的设置中也能训练排名函数。除了理论支持之外,我们还从经验上证明了所提出的学习方法在处理偏差方面非常有效,它对噪声和倾向模型的错误设定具有鲁棒性,并且它可以有效地扩展。我们还证明了我们的方法在实际操作中的搜索引擎,它大大提高了检索性能的适用性。
2016-08-16 cs.IR cs.LG
Consistent Position Bias Estimation without Online Interventions for Learning-to-Rank
Cornell University(康奈尔大学)
呈现偏差是从搜索引擎中的隐式反馈中学习时的关键挑战之一,因为它由于排名中的位置、显著性和其他呈现因素而将相关性信号与无信息信号混淆。虽然最近显示了如何反事实的学习排序(LTR)方法\cite{Joachims/etal/17a}可以证明克服演示偏差,如果观察倾向是已知的,它仍然显示如何准确地估计这些倾向。在本文中,我们提出了第一种方法来产生一致的倾向估计没有手动相关性判断,破坏性干预,或限制性的相关性建模假设。我们只需要我们有来自多个不同排名函数的隐式反馈数据。此外,我们认为,我们的估计技术适用于扩展类的上下文基于位置的倾向模型,其中倾向不仅取决于位置,但也可观察到的查询和文档的功能。初步的模拟研究证实,该方法是可扩展的,准确的,和强大的。
2018-06-09 cs.IR cs.LG stat.ML
SURE-RAG: Sufficiency and Uncertainty-Aware Evidence Verification for Selective Retrieval-Augmented Generation
ZenWeave AI;Georgetown University(乔治城大学);Southern Methodist University(南卫理公会大学)
研究选择性检索增强生成的证据充分性验证问题,提出SURE-RAG聚合协议,通过共享验证器生成局部关系分布并聚合为特征块,产生三向决策和可审计分数,实验表明其性能优于多种方法,还对比了与GPT-4o在不同任务上的表现。
2026-07-27 cs.CL cs.IR cs.LG
Building Interpretable and Reliable Open Information Retriever for New Domains Overnight
University of Pennsylvania(宾夕法尼亚大学)
本文提出一种结合实体/事件链接与查询分解的信息检索流水线,以提升可解释性和可靠性,并在五个IR与QA基准上显著改善段落覆盖率和指称准确率,适用于新领域快速部署。
2023-08-09 cs.CL cs.IR