It's All Relative! -- A Synthetic Query Generation Approach for Improving Zero-Shot Relevance Prediction
Google Research(谷歌研究院)
提出一种新的合成查询生成方法,通过同时生成不同标签的查询,并利用相对性简化推理,在七个IR数据集上提升零样本相关性预测性能。
2023-11-14 cs.CL
OmniSearchSage: Multi-Task Multi-Entity Embeddings for Pinterest Search
Pinterest(品趣志)
OmniSearchSage通过联合学习统一查询嵌入及pin和产品嵌入,结合多任务学习与实时服务,在Pinterest搜索系统中显著提升了相关性、互动率和广告点击率,并已大规模部署。
2024-04-25 cs.AI cs.IR cs.LG
ADORE: Iterative Query Expansion with Retrieval-Grounded Relevance Feedback
University of Waterloo(滑铁卢大学);Mila – Quebec AI Institute(魁北克人工智能研究所);University of Toronto(多伦多大学);University of California, Berkeley(加州大学伯克利分校)
提出ADORE框架,通过迭代生成伪段落、检索语料库并评估相关性,利用检索反馈指导查询扩展,显著提升检索性能。
2026-06-15 cs.CL cs.IR
Corpus-Steered Query Expansion with Large Language Models
University of Amsterdam(阿姆斯特丹大学);Tencent IEG(腾讯互动娱乐事业群);University of Maryland(马里兰大学);University of Technology Sydney(悉尼科技大学)
针对LLM生成查询扩展存在幻觉和语料错位的问题,本文提出CSQE,结合初始检索文档中的关键句与LLM知识扩展查询,在无需训练的情况下提升检索性能。
2024-02-28 cs.CL cs.IR
Relevance in Dialogue: Is Less More? An Empirical Comparison of Existing Metrics, and a Novel Simple Metric
University of Toronto(多伦多大学);Vector Institute(向量研究所);Unity Health Toronto(多伦多团结健康中心)
在这项工作中,我们评估了各种现有的对话相关性指标,发现对数据集的依赖性很强,通常与人类的相关性评分相关性很差,并提出修改,以减少数据要求和域敏感性,同时提高相关性。我们提出的指标在HUMOD数据集上实现了最先进的性能,同时将数据集的测量灵敏度降低了37%-66%。我们在没有微调预训练的语言模型的情况下实现了这一目标,并且只使用了3,750个未注释的人类对话和一个负面示例。尽管有这些限制,我们展示了竞争力的性能在四个数据集从不同的领域。我们的代码,包括我们的指标和实验,都是开源的。
2022-06-03 cs.CL
Warmer for Less: A Cost-Efficient Strategy for Cold-Start Recommendations at Pinterest
Pinterest
Pinterest提出了一种高效策略,通过轻量级模型、残差连接、分数正则化和流形混合技术,提升冷启动推荐效果,使新鲜内容参与度提升10%。
2025-12-19 cs.IR cs.LG
Deep Bag-of-Words Model: An Efficient and Interpretable Relevance Architecture for Chinese E-Commerce
Alibaba Group(阿里巴巴集团)
针对电商搜索中预训练模型延迟高、双塔模型黑盒不可解释的问题,提出深度词袋模型,通过稀疏词袋表示计算相关性,兼具高效性与可解释性,适配中文电商在线搜索部署。
2024-07-12 cs.AI cs.CL cs.IR
Zero-Shot Dense Retrieval with Embeddings from Relevance Feedback
MIT Lincoln Laboratory(林肯实验室);Massachusetts Institute of Technology(麻省理工学院)
本文提出 ReDE-RF,将 LLM 生成假设文档改为相关性估计并选取真实文档生成嵌入,在低资源零样本密集检索中提升准确率与查询延迟。
2024-10-28 cs.AI cs.CL cs.IR
TaoSR-AGRL: Adaptive Guided Reinforcement Learning Framework for E-commerce Search Relevance
Tsinghua University(清华大学);Taobao & Tmall Group of Alibaba(阿里巴巴淘宝与天猫集团);Fudan University(复旦大学)
电商搜索中查询-产品相关性预测很关键,现有方法有局限。提出TaoSR-AGRL框架,通过规则感知奖励塑造和自适应引导重放两大创新,提升模型推理能力,在实验中表现优于基线,已成功部署。
2026-07-07 cs.AI cs.CL cs.IR
Improving accuracy of GPT-3/4 results on biomedical data using a retrieval-augmented language model
Genmab(杰特贝姆公司)
针对GPT-3/4等大模型在生物医学领域的幻觉问题,提出检索增强(RetA)方法,在DLBCL疾病的19个问题测试中,其准确性与相关性优于通用LLMs,证明特定领域语料库增强模型的有效性。
2023-05-30 cs.AI cs.CL
RevisEval: Improving LLM-as-a-Judge via Response-Adapted References
City University of Hong Kong(香港城市大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));McGill University(麦吉尔大学);MILA
本文提出 RevisEval 评估范式,通过让大语言模型自适应修订响应并生成响应自适应参考,以提升 LLM-as-a-Judge 的可靠性,实验证明其优于传统无参考和基于参考的评估方法,并能增强 BLEU、BERTScore 等经典指标。
2025-04-07 cs.CL
Improved IR-based Bug Localization with Intelligent Relevance Feedback
Dalhousie University(达尔豪斯大学)
针对缺陷定位中上下文理解不足的问题,提出BRaIn技术,利用大语言模型评估相关性并引入智能相关反馈重构查询和重排文档,在Bench4BL上显著优于六种基线,MAP、MRR、HIT@K分别提升87.6%、89.5%、48.8%,并能定位52%基线无法定位的缺陷。
2025-03-27 cs.AI cs.CL cs.SE
Fine-tuning Large Language Models for Improving Factuality in Legal Question Answering
School of Software Technology, Zhejiang University(浙江大学软件学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
针对法律问答领域大语言模型的幻觉问题,研究团队推出LegalHalBench基准及相关评估指标,提出结合行为克隆和HIPO的幻觉缓解方法,经真实数据实验验证,在多项新旧指标上均实现显著提升。
2025-01-11 cs.CL
Advancing Relevance Measurement with Vision-Language Models for Web-Scale Search
Pinterest(品趣志(Pinterest))
本研究提出基于VLM的自动化相关性评估流水线,部署于Pinterest搜索A/B实验,验证其与人工标注一致性,提升评估效率,降低MDEs,助力优化搜索体验。
2026-08-04 cs.IR cs.LG
OmniSage: Large Scale, Multi-Entity Heterogeneous Graph Representation Learning
Pinterest
针对现有表示学习方法难以整合支撑多应用的问题,提出大规模统一框架OmniSage,融合多类模型与对比学习,适配十亿级节点图,在Pinterest五款应用中实现全站保存量约2.5%的提升,并开源代码。
2025-06-12 cs.IR cs.LG
What Defines Good Reasoning in LLMs? Dissecting Reasoning Steps with Multi-Aspect Evaluation
ETH Zürich, ETH AI Center(苏黎世联邦理工学院,ETH人工智能中心);NAVER AI Lab(NAVER人工智能实验室);University of Tübingen(图宾根大学)
本文提出因果逐步评估(CaSE)方法,从相关性和连贯性两个维度细粒度评估LLM推理步骤,并在新基准上验证,证明其可用于数据策划以提升任务性能。
2025-10-23 cs.AI cs.CL
Improving Retrieval Augmented Language Model with Self-Reasoning
Baidu Inc.(百度公司);Baidu Research(百度研究院)
提出自推理框架,通过相关性感知、证据感知选择和轨迹分析三个过程利用LLM自身生成的推理轨迹,提升了RALM的可靠性与可追溯性,在四个数据集上以极少样本超越SOTA并媲美GPT-4。
2024-12-19 cs.AI cs.CL
Improving Text Matching in E-Commerce Search with A Rationalizable, Intervenable and Fast Entity-Based Relevance Model
ShanghaiTech University(上海科技大学);Alibaba Group(阿里巴巴集团);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
针对电商搜索中现有相关性模型准确率与推理速度难以兼顾的问题,提出基于实体的EBRM模型,通过分解查询-商品相关性为查询-实体问题并软逻辑聚合,兼顾准确率、推理速度与可解释可干预性,经电商数据验证性能提升显著。
2023-07-19 cs.CL cs.IR
Beyond Yes and No: Improving Zero-Shot LLM Rankers via Scoring Fine-Grained Relevance Labels
本文提出在零样本 LLM 排序器提示中引入细粒度相关性标签,以替代传统二元 Yes/No 判断,并在 8 个 BEIR 数据集上验证其显著提升排序性能。
2024-04-02 cs.IR
Concept Based vs. Pseudo Relevance Feedback Performance Evaluation for Information Retrieval System
University of Tlemcen(特莱姆森大学)
本文对信息检索系统中的两种查询重构技术,即基于概念的重构和伪相关反馈重构的性能进行了评价。阿拉伯语文本的语料库上进行的实验,使我们能够比较这两个重构技术在提高阿拉伯语文本的信息检索系统的性能的贡献。
2014-03-18 cs.CL cs.IR
An Interpretable Ensemble of Graph and Language Models for Improving Search Relevance in E-Commerce
Virginia Tech(弗吉尼亚理工大学);Amazon(亚马逊公司)
针对电商搜索相关性模型泛化评估难、可解释性不足的问题,提出可解释的模块化集成模型PP-GLAM,通过加性指标独立融合多类信号,在真实多语言电商数据集上性能优于现有基线与专有模型,并提供可解释性分析与部署方案。
2024-03-01 cs.CL cs.IR
Dynamic Model for Query-Document Expansion towards Improving Retrieval Relevance
从搜索引擎中获取相关信息一直是信息检索研究工作的核心。查询扩展是一种已经被研究并被证明在相关性方面产生积极结果的检索技术。用户需要将他们的查询表达为单词、句子或问题的短列表。使用这种简短的格式,大量的信息在从实际查询大小转换所需信息的过程中丢失,因为用户不能用几句话表达他所有的想法。这主要导致不良的查询表示,这有助于不期望的检索效率。这种信息的丢失使得查询扩展技术的研究成为一个强有力的研究领域。本研究工作的重点是两种检索方法的鸣叫长度查询和长度查询。已经提出了两种算法,预计实现产生一个更好的相关性检索模型比大多数国家的最先进的相关性模型。
2021-03-18 cs.IR
Improving Product Search Relevance with EAR-MP: A Solution for the CIKM 2025 AnalytiCup
Kangwon National University(江原国立大学);Chonnam National University(全南国立大学);Hiroshima University(广岛大学)
针对多语言电商搜索相关性挑战,本文提出EAR-MP方案,通过翻译规范化、数据清洗及基于DeBERTa-v3的定制训练策略(如分层token注入和混合评分),在受限算力下于QC和QI任务上取得有竞争力的F1分数。
2025-10-31 cs.IR
Query Attribute Modeling: Improving search relevance with Semantic Search and Meta Data Filtering
提出查询属性建模(QAM)混合框架,通过将文本查询分解为元数据标签和语义元素提升搜索精度,在亚马逊玩具数据集上mAP@5达52.99%,优于传统搜索方法。
2025-08-06 cs.AI cs.CL cs.IR
Improving Query Representations for Dense Retrieval with Pseudo Relevance Feedback
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
稠密检索系统使用嵌入式表示和简单的相似性度量来进行第一阶段检索,以将查询与文档相匹配。它的有效性取决于编码嵌入来捕获查询和文档的语义,这是一项具有挑战性的任务,因为搜索查询的简短和模糊。本文提出了ANCE-PRF,一种新的查询编码器,使用伪相关反馈(PRF),以改善查询表示的稠密检索。ANCE-PRF使用一个BERT编码器,该编码器使用查询和来自稠密检索模型ANCE的顶部检索文档,并且它学习直接从相关性标签产生更好的查询嵌入。它还保持文档索引不变,以减少开销。ANCE-PRF在几个数据集上的性能明显优于ANCE和其他最近的稠密检索系统。分析表明,该编码器能够有效地捕获PRF文档中的相关信息和互补信息,同时利用学习到的注意力机制忽略噪声。
2021-08-30 cs.AI cs.IR
Improving Ad matching via Cluster-Adaptive Keyword Expansion and Relevance tuning
eBay Inc.(eBay公司);San Jose, CA, USA(美国加州圣何塞)
本文提出一种通过文档侧语义关键词扩展和聚类自适应阈值及增量学习调优相关性的方法,以提高搜索广告的匹配相关性和点击率。
2025-05-24 cs.AI cs.IR
Improving Recommendation Relevance by simulating User Interest
Salesforce(赛富时)
大多数(如果不是所有的话)在线项目到项目推荐系统依赖于项目之间相似性的距离(排名)的估计。对于在线推荐系统,这种相似性度量的时间敏感性是非常重要的。我们观察到,建议“新近”可以直接和透明地保持迭代减少排名的非活动项目。本文简要总结了算法的发展基于这一自我解释的观察。这项工作背后的基本思想是在线推荐系统的专利。
2023-02-03 cs.IR cs.LG cs.NA
Improving search relevance of Azure Cognitive Search by Bayesian optimization
Microsoft(微软)
针对Azure Cognitive Search用户特定用例下搜索相关性提升难的问题,提出将搜索相关性问题建模为超参数调优、用贝叶斯优化找最优配置的方法,在真实场景中显著提升了CTA率等指标。
2023-12-13 cs.AI cs.IR cs.LG
Improving Rating and Relevance with Point-of-Interest Recommender System
Ryerson University(瑞尔森大学)
兴趣点推荐在基于位置的社交网络中是必不可少的。它使用户和位置更容易共享信息。最近,研究人员倾向于推荐POI,将它们视为需要大量表示查询项相关性的训练数据的大规模检索系统。然而,在检索系统中收集用户反馈是一项昂贵的任务。现有的POI推荐系统仅基于用户和项目(位置)交互进行推荐。然而,有许多反馈来源需要考虑。例如,当用户访问POI时,POI是关于什么的等等。在开发POI推荐器时,集成所有这些不同类型的反馈是必不可少的。在本文中,我们提出使用用户和项目信息和辅助信息,以改善检索系统中的推荐模型。我们开发了一个深层的神经网络架构,在协作和内容信息的存在下对查询项相关性进行建模。我们还提高了质量的学习表示的查询和项目,包括上下文信息的用户反馈数据。将这些学习到的表示应用于大规模数据集导致了显着的改进。
2022-02-17 cs.IR cs.LG
BiXSE: Improving Dense Retrieval via Probabilistic Graded Relevance Distillation
Université de Montéal(蒙特阿尔大学);Mila - Quebec AI Institute(魁北克AI研究院);McGill University(麦吉尔大学);Apple MLR(苹果机器学习研究部);IVADO, Canada(加拿大IVADO研究所);CIFAR AI Chair(CIFAR人工智能主席);ServiceNow Research(ServiceNow研究)
本文提出BiXSE方法,通过在LLM生成的分级相关性分数上优化二元交叉熵,以更低的标注和计算成本实现细粒度监督,显著提升密集检索模型的性能。
2025-08-09 cs.AI cs.IR cs.LG
Improving Query Representations for Dense Retrieval with Pseudo Relevance Feedback: A Reproducibility Study
伪相关反馈(PRF)利用来自第一轮检索的前k个段落的相关性信号来执行旨在提高搜索效率的第二轮检索。最近的研究方向是研究和开发用于基于深度语言模型的排序器的PRF方法,特别是在密集检索器的上下文中。与更复杂的神经排名器相比,密集检索器提供了有效性与查询延迟之间的权衡,有效性与更复杂的神经排名器相比通常会降低,查询延迟也会降低,从而使检索管道更有效。密集型寻回犬的PRF方法的引入是为了进一步提高其有效性。在本文中,我们复制和研究了最近的方法与密集的检索器,称为ANCE-PRF。该方法将查询文本和前k个反馈通道的文本连接起来以形成新的查询输入,然后使用基于用于第一轮检索的原始密集检索器的新训练的查询编码器将其编码为密集表示。虽然该方法可以潜在地应用于任何现有的密集回收,以前的工作只研究了它的上下文中的ANCE密集回收。我们研究了ANCE-PRF的再现性,在其训练(编码的PRF信号)和推理(排名)步骤。我们进一步扩展了原始工作中提供的实证分析,以研究控制训练过程的超参数的影响以及该方法在这些不同设置中的鲁棒性。最后,我们贡献了一个研究的ANCE-PRF方法的普适性时,密集的检索器以外的其他ANCE用于第一轮的检索和编码的PRF信号。
2023-03-21 cs.IR
Beyond Relevance: Improving User Engagement by Personalization for Short-Video Search
本研究提出名为$\text{PR}^2$的短视频个性化搜索系统,结合查询相关协同过滤、个性化稠密检索与QIN排序模型,在生产环境中显著提升了用户参与度指标。
2024-09-17 cs.IR
Improving Video Corpus Moment Retrieval with Partial Relevance Enhancement
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对视频语料库时刻检索中视频与查询的部分相关性问题,提出部分相关性增强模型(PREM),通过多模态协同检索器和先聚焦后融合定位器及增强训练方法,在 TVR 和 DiDeMo 数据集上达到最新技术水平。
2024-04-23 cs.CV cs.IR
Improving Legal Case Retrieval with Brain Signals
本文针对法律案例检索中传统反馈信号粗糙且无效的挑战,提出利用脑机接口收集的EEG脑信号构建相关性反馈框架,通过提取有效特征并结合SVM-RFE模型实现71%预测准确率,显著提升了重排序结果的用户满意度。
2024-03-20 cs.IR
Improving Document Retrieval Coherence for Semantically Equivalent Queries
Amazon AGI(亚马逊人工智能研究院);University of Trento(特伦托大学)
提出Multi-Negative Ranking loss变体,通过惩罚语义等价查询检索结果差异,提升Dense Retrieval模型一致性与准确率。
2025-08-11 cs.CL cs.IR
Beyond Single Labels: Improving Conversational Recommendation through LLM-Powered Data Augmentation
School of Computer Science, Fudan University(复旦大学计算机科学学院)
针对对话式推荐中的假阴性问题,提出基于LLM语义检索与相关性过滤的数据增强框架及两阶段训练策略,在基准数据集上显著提升推荐性能。
2025-07-30 cs.AI cs.IR
Selecting Query-bag as Pseudo Relevance Feedback for Information-seeking Conversations
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Shandong University(山东大学)
针对信息检索对话中候选回复检索与重排序问题,提出QB-PRF框架,通过无监督对比学习选择同义查询并以多维注意力融合查询袋,从而增强查询表示并提升匹配性能。
2024-03-22 cs.CL cs.IR
Personalized Review Ranking for Improving Shopper's Decision Making: A Term Frequency based Approach
用户生成的评论是购物者决策过程中的重要参考。此外,它们还提高了产品销售,并验证了整个网站的声誉。因此,设计评论排名方法来帮助购物者快速做出明智的决定变得非常重要。然而,评论排名有其独特的挑战。首先,评论没有相关性标签。对购物者A的相关评论可能与购物者B无关。其次,由于购物者无法点击评论,我们无法获得相关反馈。最后,评论排名由于不同用户的相关性标准的可变性而缺乏基础事实。在本文中,我们的目标是解决帮助用户从客户评论的海洋中找到他们可能感兴趣的信息的挑战。使用UCSD收集和组织的Amazon Customer Reviews Dataset,我们首先根据用户的个人网络跟踪、最近的购物历史和以前的评论构建了用户简档,将用户简档纳入我们的排名算法,并将较高的排名分配给最大程度地解决个人购物者关注的评论。此外,我们利用用户简档来根据评论文本推荐产品。我们评估了我们的模型的基础上的经验评估和数值评估的审查分数。两种评估方法的结果显示,1000多种产品的顶级评论质量和用户满意度都有显着提高。我们的基于评论的推荐系统也表明,用户很有可能观看并喜欢我们推荐的产品。我们的工作展示了开发一种从特定最终用户的偏好中学习的排名方法的基本步骤。
2020-09-07 cs.IR
Migrating a Job Search Relevance Function
本文将自研C++搜索引擎迁移至OpenSearch,通过冻结职位语料库、众包标注及贝叶斯优化微调新检索算法,在最小化业务影响下保持并提升了搜索性能,新系统表现与原系统相当且部分指标改善。
2025-04-02 cs.IR
Shopping Queries Dataset: A Large-Scale ESCI Benchmark for Improving Product Search
Amazon(亚马逊)
提高搜索结果的质量可以显著增强用户体验和与搜索引擎的互动。尽管最近在机器学习和数据采掘领域中取得了一些进展,但是正确地对特定用户搜索查询的项目进行分类一直是一个长期存在的挑战,这仍然具有很大的改进空间。本文介绍了“购物搜索数据集”,这是一个大型的亚马逊搜索查询和结果数据集,公开发布,旨在促进提高搜索结果质量的研究。该数据集包含大约13万个独特的查询和260万个手动标记的(查询,产品)相关性判断。该数据集是多语言的,可使用英语、日语和西班牙语进行查询。KDDCup'22挑战赛之一正在使用购物体验数据集。在本文中,我们描述了数据集,并提出了三个评估任务以及基线结果:(i)排名的结果列表,(ii)分类产品结果到相关类别,以及(iii)确定替代产品为给定的查询。我们预计,这些数据将成为未来产品搜索研究的黄金标准。
2022-06-14 cs.IR cs.LG
LLM-based relevance assessment still can't replace human relevance assessment
University of Waterloo(滑铁卢大学);University of New Hampshire(新罕布什尔大学)
本文批判性地评估了LLM在信息检索中的相关性评估能力,指出其在实际和理论层面的局限性,强调无法完全替代人类评估。
2026-01-19 cs.IR
A Case-Driven Multi-Agent Framework for E-Commerce Search Relevance
ByteDance(字节跳动)
本文提出基于案例的多智能体框架,通过自动化处理差评案例识别与解决,提升电子商务搜索相关性。框架包含标注、优化和用户智能体,结合统一模型和全局记忆,实现持续改进的智能系统。
2026-05-07 cs.IR
LLM-VPRF: Large Language Model Based Vector Pseudo Relevance Feedback
The University of Queensland(昆士兰大学);CSIRO(联邦科学与工业研究组织)
本文提出LLM-VPRF,将向量伪相关反馈技术扩展至基于大语言模型的稠密检索器,通过多基准数据集验证了其能跨不同LLM架构稳健提升检索性能。
2025-04-02 cs.IR cs.LG
Minimally Invasive Randomization for Collecting Unbiased Preferences from Clickthrough Logs
点进数据是一种特别廉价和丰富的资源,用于获得用于改进和个性化搜索引擎的隐式相关反馈。然而,众所周知,用户点击结果的概率强烈偏向于结果集中呈现得较高的文档,而不管相关性如何。我们引入了一个简单的方法来修改搜索结果的呈现方式,可以证明在合理的假设下,搜索结果的相关性判断不受呈现偏差的影响。我们在交互式真实世界实验中验证了训练数据的这一属性。最后,我们表明,使用这些无偏的相关性判断学习方法可以保证收敛到一个理想的排名足够的数据。
2006-05-09 cs.IR cs.LG
PRISM: Refracting the Entangled User Behavior Space for E-Commerce Search
School of Cyber Science and Engineering, Sichuan University(四川大学网络空间安全学院);Lee Kong Chian School of Medicine, Nanyang Technological University(南洋理工大学李光前医学院)
PRISM通过建模用户偏好与物品相关性交互,解决电商搜索中行为信号交织导致的鲁棒性问题,提升搜索行为建模的语义一致性。
2026-05-08 cs.IR
Improving E-commerce Search with Category-Aligned Retrieval
针对电商搜索中查询与目录的语义鸿沟,提出类别对齐检索系统(CARS),通过可训练类别原型预测并提升相关产品,显著提高类别预测准确率,但需注意盲目提升对相关性指标的负面影响,强调自适应集成策略。
2025-09-03 cs.IR
HCMRM: A High-Consistency Multimodal Relevance Model for Search Ads
本文提出高一致性多模态相关性模型HCMRM,通过预训练阶段引入伪查询词三元组建模和微调阶段分层softmax损失,弥合预训练与排序目标差异,并在快手搜索广告系统中实现无关广告减少6.1%、收入提升1.4%。
2025-02-09 cs.IR
From a Large-Scale Teacher to Efficient Multimodal Students for Search Relevance Prediction
eBay
本研究提出框架将高性能LLM相关性判断系统蒸馏为高效多模态学生模型,利用人工标注数据集优化LLM评判流水线生成标签训练模型,使蒸馏模型性能接近教师系统且成本更低,可部署于生产环境。
2026-10-14 cs.IR cs.LG
OrdRankBen: A Novel Ranking Benchmark for Ordinal Relevance in NLP
The Fin AI;Gustavus Adolphus College(古斯塔夫斯·阿道夫斯学院)
针对现有NLP排序基准忽略序数相关性的问题,提出新型基准OrdRankBen及两个数据集,通过引入结构化序数标签实现更精确的多粒度排序评估。
2025-03-02 cs.AI cs.IR
Self-improving data synthesis can scale embedding-model adaptation across domains and tasks
University of Science and Technology of China(中国科学技术大学);State Key Laboratory of Cognitive Intelligence(认知智能全国重点实验室)
研究针对嵌入模型适配新任务时手动设计训练数据成本高、难规模化的问题,提出SYNTRA自改进检索数据合成方法,经多领域多任务实验验证其可高效提升嵌入模型检索效果,实现模型跨域跨任务规模化适配。
2026-11-02 cs.AI cs.IR cs.LG
Beyond path selection: Better LLMs for Scientific Information Extraction with MimicSFT and Relevance and Rule-induced(R$^2$)GRPO
HKUST Hong Kong SAR, China(香港科技大学);SEU Jiangsu, China(江苏大学);HKUST(GZ) Guangzhou, China(香港科技大学(广州));Zhipu AI Beijing, China(智谱AI);HKUST(GZ), HKUST Guangzhou, China(香港科技大学(广州)、香港科技大学)
针对科学信息抽取中 LLMs 表现不佳的问题,提出结合 MimicSFT 和 R$^2$GRPO 的两阶段训练方法,无需高质量思维链数据即可优化推理路径并提升推理能力,在关系抽取任务上超越基线与专门监督模型。
2025-05-28 cs.AI cs.CL cs.IR
Feature Re-Learning with Data Augmentation for Video Relevance Prediction
Zhejiang Gongshang University(浙江工商大学);Renmin University of China(中国人民大学)
预测两个给定视频之间的视觉内容的相关性是基于内容的视频推荐和检索的关键组成部分。由于预训练的图像和视频卷积神经网络模型的可用性越来越高,深度视觉特征被广泛用于视频内容表示。然而,由于两个视频的相关性取决于任务,因此这种现成的功能并不总是对所有任务都是最佳的。此外,由于包括版权、隐私和安全在内的各种问题,人们可能只能访问预先计算的视频特征,而不是原始视频。在本文中,我们提出了特征再学习,以提高视频相关性预测,而不需要重新访问原始视频内容。特别地,通过仿射变换将给定的深度特征投影到新的空间中来实现再学习。我们通过一种新的负增强三重排序损失来优化再学习过程。为了生成更多的训练数据,我们提出了一种新的数据增强策略,它直接作用于帧级和视频级特征。在Hulu 2018年基于内容的视频相关性预测挑战赛的背景下进行的大量实验证明了所提出的方法的有效性及其基于内容的视频相关性预测的最新性能。
2020-04-08 cs.CV cs.IR
Judging the Judges: A Collection of LLM-Generated Relevance Judgements
本文发布并基准测试 SIGIR 2024 LLMJudge 中八支团队生成的 42 组 TREC 2023 相关性标签,以评估 LLM 自动判断方法及其偏差与权衡。
2025-02-19 cs.IR
LLMs for estimating positional bias in logged interaction data
针对推荐搜索系统交互数据的位置偏差及传统倾向估计的难点,提出用LLMs估计位置偏差的方法,其倾向估计稳定且能捕捉复杂布局效应,训练的IPS重排器在持平标准NDCG@10的同时提升加权NDCG@10约2%。
2025-09-03 cs.IR