Optimizing Dense Retrieval Model Training with Hard Negatives
排序一直是信息检索研究的热点之一。几十年来,词汇匹配信号一直主导着特定的检索过程,但在检索中单独使用这个信号可能会导致词汇不匹配问题。近年来,随着表示学习技术的发展,许多研究者转向稠密检索(DR)模型以获得更好的排序性能。虽然现有的几个DR模型已经取得了可喜的成果,其性能的改善严重依赖于训练样本的采样。许多有效的采样策略在实际应用中效率不够,并且对于其中的大多数,仍然缺乏如何以及为什么会发生性能改善的理论分析。为了阐明这些研究问题,我们从理论上研究了DR模型的不同训练策略,并试图解释为什么硬负采样比随机采样性能更好。通过分析,我们还发现,静态硬负采样,这是许多现有的训练方法所采用的潜在风险。因此,我们提出了两种训练策略,分别命名为稠密检索的稳定训练算法(STAR)和直接优化排名的查询端训练算法(ADORE)。STAR通过引入随机否定来提高DR训练过程的稳定性。ADORE用动态硬负采样方法取代了广泛采用的静态硬负采样方法,直接优化了排名性能。两个公开的检索基准数据集上的实验结果表明,无论是战略获得显着改善现有的竞争基线和它们的组合导致最佳性能。
2021-04-16 cs.IR
Active Sampling for Large-scale Information Retrieval Evaluation
评价是信息检索中的一个重要环节。模型、工具和方法的开发大大受益于通过标准化和彻底测试的方法(称为Cranfield范式)形成的可重复使用的测试集合的可用性。构建这些集合需要获得一个文档池的相关性判断,参与评估任务的系统检索,因此涉及巨大的人力劳动。为了减轻这种努力,文献中提出了不同的方法来构建集合,分为两大类:(a)抽样,和(b)积极选择文件。前者设计了一个智能的抽样策略,只选择一个子集的文件进行评估和推断的基础上获得的样本的评价措施,抽样分布是固定在开始的过程。后者认识到,提供有待评判的文件的系统在质量上各不相同,并积极从良好的系统中选择文件。每次评判一份新文件时,都要衡量系统的质量。在本文中,我们试图解决的问题,大规模的检索评价结合这两种方法。我们设计了一种主动采样方法,避免了对良好的系统的主动选择方法的偏见,并在同一时间减少了目前的采样方法的方差,通过放置在系统上的分布,这是变化的判断变得可用。我们使用TREC数据验证了所提出的方法,并证明了这种新方法相比过去的方法的优势。
2017-09-06 cs.IR
Logical Consistency is Vital: Neural-Symbolic Information Retrieval for Negative-Constraint Queries
针对稠密检索器在负约束查询等复杂场景下忽略真实意图导致性能差的问题,提出神经符号检索方法NS-IR,利用一阶逻辑优化嵌入并引入逻辑对齐与连接约束重排序文档,在零样本及负约束查询任务上表现优异。
2025-05-29 cs.IR
Negative Data Mining for Contrastive Learning in Dense Retrieval at IKEA.com
IKEA Retail (Ingka Group)(宜家零售(英卡集团))
本文提出基于结构化负样本策略和LLM评估方法提升IKEA产品检索,通过生成语义挑战性负样本和训练数据生成,提升检索性能,但发现在线用户参与度无显著差异。
2026-05-01 cs.IR
Fairly Adaptive Negative Sampling for Recommendations
成对学习策略对于优化隐式反馈数据上的推荐模型是普遍的,其通常通过区分正面(即,由用户点击)和否定项(即,通过负采样获得)。但是,不同项组(由项属性指定)的大小通常分布不均匀。我们根据经验发现,成对算法常用的均匀负采样策略(例如,BPR)可以继承这样的数据偏差和过度抽样的多数项目组作为负面的情况下,严重打击组公平的项目方面。在本文中,我们提出了一个公平自适应负采样方法(FairNeg),它通过自适应调整组级负采样分布在训练过程中,提高项目组的公平性。特别是,它首先感知模型的不公平状态,在每一步,然后调整组的采样分布与自适应动量更新策略,以更好地促进公平优化。此外,负采样分布Mixup机制提出,它优雅地结合现有的重要性感知采样技术,旨在挖掘信息负样本,从而允许实现多个优化目的。在四个公开数据集上的实验表明,该方法在组公平性增强和公平性-效用权衡方面具有明显的优势。
2023-02-16 cs.IR
Enhanced Bayesian Personalized Ranking for Robust Hard Negative Sampling in Recommender Systems
本文针对硬负采样中的假阴性问题,提出增强型贝叶斯个性化排序目标Hard-BPR,通过改进损失函数而非采样算法来提升推荐模型鲁棒性,并在三个真实数据集上验证其有效性。
2024-03-28 cs.IR
ARHN: Answer-Centric Relabeling of Hard Negatives with Open-Source LLMs for Dense Retrieval
LG AI Research(LG AI研究)
ARHN通过利用开源大语言模型对困难负样本进行重标定,结合重标定与过滤策略提升检索效果,提供更清洁的监督信号。
2026-04-13 cs.IR
NS4AR: A new, focused on sampling areas sampling method in graphical recommendation Systems
针对图推荐系统负采样的数量与质量问题,本文提出NS4AR方法,通过划分采样区域并利用AdaSim加权构建正负样本集,同时设计子集选择模型筛选核心负样本。
2023-10-01 cs.IR
Dual-Tree LLM-Enhanced Negative Sampling for Implicit Collaborative Filtering
Beijing Institute of Technology(北京理工大学)
本文提出双树LLM增强负采样方法,通过无文本和无微调的结构化编码提升隐式协同过滤推荐性能。
2026-05-16 cs.IR
Beyond Hard Negatives: The Importance of Score Distribution in Knowledge Distillation for Dense Retrieval
Korea University(高丽大学)
本文指出仅依赖硬负样本限制了学生模型学习教师偏好结构的能力,提出分层采样策略以均匀覆盖分数范围,实验表明该方法在不同设置中优于top-K和随机采样。
2026-04-28 cs.IR
SAHC-NS: Structure-Aware and Hardness-Calibrated Negative Sampling for Implicit Collaborative Filtering
Beijing Institute of Technology(北京理工大学)
本文针对隐式协同过滤负采样忽略跨层结构差异与候选池难度的问题,提出SAHC-NS方法,通过分层匹配分数与难度校准模块提升负采样效果,实验验证其优于现有方法。
2026-08-25 cs.IR
Divergence Meets Consensus: A Multi-Source Negative Sampling Framework for Sequential Recommendation
Renmin University of China(中国人民大学);Shandong University(山东大学);Peking University(北京大学)
本文提出了一种多源分歧-共识负采样框架MDCNS,通过引入教师-同伴-自我框架,解决传统自引导硬负采样在循环依赖、采样区域狭窄和计算开销大等问题,从而提升序列推荐模型的多样性与泛化能力。
2026-05-19 cs.IR
Adaptive Hardness Negative Sampling for Collaborative Filtering
针对现有负采样方法固定难度导致的假正例和假负例问题,提出自适应难度负采样范式及实例AHNS_{p<0},理论证明其能提升NDCG下界,并在多数据集上显著优于现有方法。
2024-01-10 cs.IR
Improved Estimation of Ranks for Learning Item Recommenders with Negative Sampling
针对推荐系统中因物品数量增长导致传统负采样引入偏差的问题,提出一种纠正排名估计的方法,通过提供WARP和LambdaRank的采样批处理版本并改进排名估计,有效提升了推荐模型的训练效率与质量。
2024-10-10 cs.IR
Evaluating and Addressing Fairness Across User Groups in Negative Sampling for Recommender Systems
RMIT University(皇家墨尔本理工大学);ETH Zurich(苏黎世联邦理工学院)
针对推荐系统负采样因数据不平衡导致不活跃用户边缘化的问题,本文通过实证揭示现有策略的群体公平性缺陷,提出群体特异性负采样策略,实验证明其可提升用户侧公平性与整体性能。
2025-11-11 cs.IR
Hard Negative Sampling via Large Language Models for Recommendation
Software College, Northeastern University(东北大学软件学院)
本文提出HNLMRec,利用大型语言模型生成语义相关的困难负样本,以提升推荐系统的性能和泛化能力。
2026-01-17 cs.IR
Adversarial Sampling and Training for Semi-Supervised Information Retrieval
Huawei Research America(华为美国研究院);School of Artificial Intelligence, Jilin University(吉林大学人工智能学院)
具有隐式反馈的自组织检索模型通常存在问题,例如,数据集中的不平衡类。太少的点击文档可能会损害模型的泛化能力,而太多的非点击文档可能会损害模型的有效性和训练效率。此外,最近的基于神经网络的模型由于其线性性质而容易受到对抗性示例的影响。为了解决这些问题,同时,我们提出了一个对抗性的采样和训练框架,学习ad-hoc检索模型与隐式反馈。我们的关键思想是(i)通过对抗训练来增强点击示例,以获得更好的泛化能力;(ii)通过对抗采样和训练来获得信息量很大的非点击示例。在基准数据集上进行实验,用于常见的自组织检索任务,如Web搜索,项目推荐和问答。实验结果表明,所提出的方法显着优于强基线,特别是高排名的文件,他们优于IRGAN在NDCG@5使用只有5%的标记数据的Web搜索任务。
2019-10-18 cs.IR cs.LG
SimANS: Simple Ambiguous Negatives Sampling for Dense Text Retrieval
Renmin University of China(中国人民大学);Microsoft Research(微软研究院);Microsoft(微软公司)
从大型文档池中抽取适当的底片对于有效地训练稠密检索模型至关重要。然而,现有的负采样策略遭受无信息或假阴性的问题。在这项工作中,我们凭经验表明,根据测量的相关性得分,排名在积极周围的负面信息一般更丰富,不太可能是假阴性。直觉上,这些底片不是太硬(\emph{may be false negatives})或太容易(\emph{uninformative})。它们是模糊的消极因素,需要在训练中更多地注意。因此,我们提出了一个简单的模糊否定抽样方法,SimANS,它采用了一个新的抽样概率分布,以采样更多的模糊否定。在四个公共数据集和一个行业数据集上的实验表明了该方法的有效性。我们在\url{https://github.com/microsoft/SimXNS}中公开了代码和模型。
2022-10-24 cs.CL cs.IR
Retrieval-GRPO: A Multi-Objective Reinforcement Learning Framework for Dense Retrieval in Taobao Search
Taobao & Tmall Group of Alibaba(阿里巴巴淘宝和天猫集团)
Retrieval-GRPO通过多目标强化学习框架解决密集检索中的硬负样本依赖和跷跷板效应问题,提升复杂长尾查询的语义泛化能力。
2026-02-07 cs.IR
Negative Sampling in Recommendation: A Survey and Future Directions
本文综述推荐系统中的负采样方法,分析其作用、优化目标与挑战,并将现有策略分为五类,总结场景化方案和未来研究方向。
2025-07-25 cs.IR
Do the Findings of Document and Passage Retrieval Generalize to the Retrieval of Responses for Dialogues?
最近提出了许多学习稀疏和稠密检索方法,并证明了其在段落检索和文档检索等任务中的有效性。在本文中,我们通过可复制性研究来分析所吸取的教训是否可以推广到对话响应的检索,这是日益流行的对话搜索领域的一项重要任务。不像段落和文档检索,其中文档通常比查询长,在对话的响应排名中,查询(对话上下文)通常比文档(响应)长。此外,对话具有特定的结构,即不同用户的多个话语。考虑到这些差异,我们在这里评估从以前的工作中得到的以下主要发现的可推广性:(F1)查询扩展优于无扩展基线;(F2)文档扩展优于无扩展基线;(F3)zero-shot稠密检索低于稀疏基线;(F4)稠密检索优于稀疏基线;(F5)硬负采样比随机采样更适合训练稠密模型。我们的实验--基于三个不同的信息寻求对话数据集--揭示了五分之四的发现(F2-F5)适用于我们的领域
2023-01-13 cs.IR
Approximate Nearest Neighbor Negative Contrastive Learning for Dense Text Retrieval
Microsoft(微软)
在一个稠密的学习表示空间中进行文本检索比稀疏检索有许多有趣的优点。然而,稠密检索(DR)的有效性往往需要结合稀疏检索。在本文中,我们确定主要的瓶颈是在训练机制,在训练中使用的负面实例是不代表测试中的不相关的文件。本文提出了近似最近邻负对比估计(ANCE),这是一种训练机制,它从语料库的近似最近邻(ANN)索引中构建否定,该索引随着学习过程的不断更新,以选择更真实的否定训练实例。这从根本上解决了DR训练和测试中使用的数据分布之间的差异。在我们的实验中,ANCE提升了BERT-Siamese DR模型,使其优于所有竞争密集和稀疏检索基线。它几乎与在ANCE学习的表示空间中使用点积的稀疏检索和BERT重新排序的准确性相匹配,并提供了近100倍的速度提升。
2020-10-20 cs.CL cs.IR cs.LG
Augmented Negative Sampling for Collaborative Filtering
本文针对协同过滤中负采样的模糊陷阱和信息歧视问题,提出增强负采样范式,通过解耦并受控增强负物品的容易因素生成候选样本,并结合增强增益指标筛选最终负样本,显著优于现有基线。
2023-08-11 cs.IR
Cross-Batch Negative Sampling for Training Two-Tower Recommenders
双塔结构已被广泛应用于学习项目和用户表示,这是大规模推荐系统的重要。许多双塔模型使用各种批内负采样策略进行训练,这些策略的效果本质上依赖于小批量的大小。然而,训练具有大批量大小的双塔模型是低效的,因为它需要大量的存储器用于项目和用户内容,并且消耗大量的时间用于特征编码。有趣的是,我们发现神经编码器在训练过程中预热后,可以为相同的输入输出相对稳定的特征。基于这些事实,我们提出了一种简单而有效的采样策略,称为跨批次负采样(CBNS),它利用最近的小批次编码项嵌入来提高模型训练。理论分析和实证评价都证明了CBNS的有效性和效率。
2021-10-28 cs.IR
Negative Sample is Negative in Its Own Way: Tailoring Negative Sentences for Image-Text Retrieval
Fudan University(复旦大学);Princeton University(普林斯顿大学);Research Institute of Intelligent and Complex Systems, Fudan University(复旦大学智能与复杂系统研究院)
匹配模型是图文检索框架的核心。现有的研究通常训练模型,并探索各种策略来检索数据集中的难否定句。我们认为,目前基于检索的负样本构建方法是有限的,在数据集的规模,从而无法识别每一个图像的高难度的负样本。我们提出了带有识别和纠正的TAILOing否定句(TAGS-DC)来自动生成合成句子作为否定样本。TAGS-DC由掩蔽和再填充两部分组成,以生成更高难度的合成否定句。为了保持训练过程中的难度,我们通过参数共享来相互改进检索和生成。为了进一步利用否定句中不匹配的细粒度语义,我们提出了两个辅助任务,即单词识别和单词纠正,以改善训练。在MS-COCO和Flickr 30 K上的实验中,我们验证了我们的模型的有效性与当前最先进的模型相比,并在进一步的分析中证明了它的鲁棒性和忠实性。我们的代码可以在https://github.com/LibertFan/TAGS上找到。
2021-11-05 cs.CL cs.CV cs.IR
BiCA: Effective Biomedical Dense Retrieval with Citation-Aware Hard Negatives
University of Copenhagen(哥本哈根大学)
BiCA通过利用引用链接生成引用感知硬负样本,提升生物医学领域密集检索性能,实现零样本检索和长尾主题的优越表现。
2025-12-21 cs.CL cs.IR
CuSINeS: Curriculum-driven Structure Induced Negative Sampling for Statutory Article Retrieval
School of Computation, Information, and Technology(计算、信息与技术学院);Technical University of Munich(慕尼黑工业大学)
本文提出CuSINeS负采样方法,通过课程学习、法规结构信息和动态语义难度评估提升法条检索性能,并在四个基线上验证了有效性。
2024-03-31 cs.CL cs.IR
E-SENS: Exclusion-Sensitive Penalization for Negative-Constraint Retrieval
针对检索增强语言模型无法遵守负约束的问题,提出无需训练的重排序方法E-SENS,在ExcluIR数据集的四种嵌入模型上,于保留召回的同时减少了陷阱检索。
2026-09-07 cs.AI cs.IR
Diversity-Augmented Negative Sampling for Implicit Collaborative Filtering
RMIT University(皇家墨尔本理工大学);Università della Svizzera italiana(瑞士意大利语大学)
本文提出一种多样性增强的负采样方法,通过引入用户特定缓存和代表性子集选择,生成信息丰富且多样化的负训练数据,提升推荐质量。
2026-01-27 cs.IR
Negative Sampling for Contrastive Representation Learning: A Review
对比表示学习(CRL)是一种通过比较正样本和负样本来进行表示学习的学习-比较范式,它在自然语言处理、计算机视觉、信息检索和图学习等领域取得了巨大的成功。虽然许多研究工作集中在数据增强,非线性变换或CRL的其他某些部分,负样本选择的重要性通常是在文献中被忽视。在本文中,我们提供了一个系统的负采样(NS)技术的审查,并讨论他们如何有助于成功的CRL。作为本文的核心部分,我们总结了现有的NS方法分为四类,每个流派的优点和缺点,并进一步总结了几个开放的研究问题,作为未来的发展方向。通过在多个领域中推广和调整NS的基本思想,我们希望这项调查可以加速跨领域的知识共享,并激励未来的研究更好的CRL。
2022-06-01 cs.IR
Reducing Popularity Bias in Recommender Systems through AUC-Optimal Negative Sampling
本文提出最大化 partial AUC 的最优负采样规则,在保持推荐准确率的同时校正样本与先验信息,从而降低流行度偏差,真实数据集验证了其双赢效果。
2023-06-02 cs.IR
RAGFlip: Measuring Query-Level Negative Flips in Retriever Upgrades
Yale School of Medicine(耶鲁医学院)
本文提出RAGFlip,研究检索器升级中查询级负面翻转现象,发现替代检索器虽提升整体覆盖率但导致部分BM25成功查询回退,建议评估时结合查询级兼容性。
2026-10-07 cs.IR
SamToNe: Improving Contrastive Loss for Dual Encoder Retrieval Models with Same Tower Negatives
Google Inc.(谷歌公司)
本文提出 SamToNe 对比损失,将同编码器塔中的查询或文档作为负样本,提升对称与非对称双编码器在多个检索基准上的表现,并从嵌入对齐和正则化角度解释其机理。
2023-06-05 cs.IR cs.LG
Boosting Data Utilization for Multilingual Dense Retrieval
针对多语言稠密检索中数据利用率低的问题,提出通过获取高质量难负样本和有效小批量数据的方法,在MIRACL基准上超越多个强基线。
2025-09-11 cs.IR
Multi-Task Retrieval-Augmented Text Generation with Relevance Sampling
TU Wien(维也纳工业大学);Google(谷歌);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
研究了面向知识密集型任务的检索增强生成模型的多任务训练问题。我们建议通过利用知识密集型生成的一个独特属性来清理训练集:查询-答案对与知识库中的项目的连接。我们过滤训练样本通过相关性标签的置信度阈值,无论一对是由知识库回答与否。我们训练一个单一的融合解码器(FiD)发生器的七个组合任务的KILT基准。实验结果表明,我们简单而有效的方法大大改善了两个严重不平衡任务的竞争基线;并且在剩余任务上显示出较小的改善或没有显着的回归。此外,我们证明了我们的多任务训练与相关标签采样尺度以及增加的模型容量,并实现了最先进的结果,在五个七个KILT任务。
2022-07-07 cs.CL cs.IR
Simplify and Robustify Negative Sampling for Implicit Collaborative Filtering
Tsinghua University(清华大学);Paradigm Inc (Hong Kong)(第四范式(香港))
在隐式协同过滤中,负采样方法是从大量未标记数据中获取负标记的常用方法。作为负采样的两个主要问题,效率和有效性仍然没有完全实现,目前的工作使用复杂的结构和忽视假阴性的风险。在本文中,我们首先通过经验观察提供了对负面实例的新理解,即只有少数实例对模型学习具有潜在的重要性,并且假阴性往往在许多训练迭代中具有稳定的预测。上述发现促使我们通过从仅存储少数重要候选的设计内存中采样来简化模型,更重要的是,通过支持存储在内存中的高方差样本来解决未触及的假阴性问题,从而实现高质量的真阴性的高效采样。在两个人工数据集和三个真实数据集上的实验结果证明了我们的负采样方法的鲁棒性和优越性。
2020-09-07 cs.IR cs.LG
Bayesian Negative Sampling for Recommendation
Huazhong University of Science and Technology (HUST)(华中科技大学)
如何从未标记的数据中采样高质量的负实例,即,负采样对于训练隐式协同过滤和对比学习模型是非常重要的。虽然以前的研究已经提出了一些方法来样本信息的情况下,很少有人做了区分假阴性和真阴性的无偏阴性抽样。在对负样本得分进行序关系分析的基础上,我们首先推导出真负样本和假负样本的类条件密度。接下来,我们设计了一个贝叶斯分类器的阴性分类,我们定义了一个模型不可知的后验概率估计的实例是真阴性作为一个定量的阴性信号的措施。我们还提出了一个贝叶斯最优抽样规则来抽样高质量的底片。提出的贝叶斯负采样(BNS)算法具有线性时间复杂度。实验研究验证了BNS在更好的采样质量和更好的推荐性能方面优于同行。
2022-07-09 cs.AI cs.IR cs.LG
Optimizing Legal Document Retrieval in Vietnamese with Semi-Hard Negative Mining
Faculty of Computer Science, University of Information Technology, Ho Chi Minh City, Vietnam(信息科技学院计算机科学系,胡志明市,越南);Faculty of Information Science and Engineering, University of Information Technology, Ho Chi Minh City, Vietnam(信息科技学院信息科学与工程系,胡志明市,越南);Laboratory of Multimedia Communications, University of Information Technology, Ho Chi Minh City, Vietnam(信息科技学院多媒体通信实验室,胡志明市,越南);Vietnam National University, Ho Chi Minh City, Vietnam(越南国家大学,胡志明市,越南)
本文提出一个由双编码器检索和交叉编码器重排序组成的两阶段法律文档检索框架,通过半困难负样本挖掘和 Exist@m 指标优化训练,在 SoICT Hackathon 2024 中以轻量级方案取得前三名。
2025-07-19 cs.CL cs.IR
Improving Visual-Semantic Embeddings by Learning Semantically-Enhanced Hard Negatives for Cross-modal Information Retrieval
Loughborough University(拉夫堡大学)
视觉语义嵌入(VSE)的目的是提取图像及其描述的语义,并将它们嵌入到同一个潜在空间中,以实现跨模态的信息检索。大多数现有的VSE网络是通过采用硬负损失函数来训练的,该函数学习相关和不相关图像描述嵌入对的相似性之间的客观裕度。然而,硬否定损失函数中的客观裕度被设置为固定的超参数,其忽略不相关的图像-描述对的语义差异。为了解决在获得训练的VSE网络之前测量图像描述对之间的最佳相似性的挑战,本文提出了一种新的方法,该方法包括两个主要部分:(1)发现图像描述的底层语义;(2)提出了一种新的语义增强的硬否定损失函数,其中基于不相关的图像-描述对之间的最佳相似性分数来动态地确定学习目标。通过将所提出的方法集成到五个最先进的VSE网络中进行了广泛的实验,这些网络应用于三个跨模态信息检索任务的基准数据集。结果表明,所提出的方法取得了最佳的性能,也可以采用现有的和未来的VSE网络。
2023-02-14 cs.CV cs.IR
UnIte: Uncertainty-based Iterative Document Sampling for Domain Adaptation in Information Retrieval
Interdisciplinary Program in Artificial Intelligence(人工智能交叉学科项目);Seoul National University(首尔国立大学)
UnIte通过过滤高aleatoric不确定性文档和优先选择高epistemic不确定性文档,提升领域适应的效率和质量,在BEIR数据集上实验显示显著提升nDCG@10性能。
2026-04-28 cs.AI cs.IR
Rethinking Collaborative Metric Learning: Toward an Efficient Alternative without Negative Sampling
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Peng Cheng Laboratory(鹏城实验室)
最近提出的协作度量学习(CML)范式由于其简单和有效性在推荐系统(RS)领域引起了广泛的兴趣。通常,CML的现有文献在很大程度上依赖于\textit{negative sampling}策略来减轻成对计算的耗时负担。然而,在这项工作中,通过理论分析,我们发现,负采样将导致一个有偏估计的泛化误差。具体来说,我们表明,基于采样的CML将引入一个偏差项的泛化界,这是量化的每用户\textit{Total Variance}(TV)之间的负采样引起的分布和地面真理分布。这表明,即使有足够大的训练数据,优化基于采样的CML损失函数也不能确保小的泛化误差。此外,我们表明,没有负采样策略的偏差项将消失。受此启发,我们提出了一个有效的替代方案,没有负采样的CML命名为\textit{Sampling-Free Collaborative Metric Learning}(SFCML),以摆脱在实际意义上的采样偏差。最后,在7个基准数据集上的综合实验验证了该算法的优越性.
2022-06-23 cs.IR cs.LG
Real-Time Hard Negative Sampling via LLM-based Clustering for Large-Scale Two-Tower Retrieval
Meta
针对双塔模型训练中负样本易学习的问题,提出利用大语言模型聚类生成硬负样本的实时采样方法,能有效提升模型性能并降低流行度偏差。
2026-09-29 cs.AI cs.IR
Towards Robust Ranker for Text Retrieval
University of Technology Sydney(悉尼科技大学);Microsoft(微软)
排名器在事实上的“检索和重新排名”管道中发挥着不可或缺的作用,但它的训练仍然滞后-从中度负面学习或/和作为检索器的辅助模块。在这项工作中,我们首先确定了两个主要障碍,一个强大的排名,即,由训练有素的检索器和为高能力排名器采样的非理想阴性引起的固有标签噪声。因此,我们提出多个检索器作为负生成器提高了排名器的鲁棒性,其中i)涉及广泛的分布外标签噪声使排名器针对每个噪声分布,以及ii)来自联合分布的各种硬负相对接近排名器的负分布,从而导致更具挑战性的有效训练。为了评估我们强大的排名(被称为R $^2$ anker),我们进行了各种设置的流行的通道检索基准,包括BM 25-重新排名,全排名,检索蒸馏等实验结果验证了新的国家的最先进的有效性,我们的模型。
2022-06-16 cs.CL cs.IR
Reinforced Negative Sampling over Knowledge Graph for Recommendation
National University of Singapore(新加坡国立大学);Southeast University(东南大学);University of Science and Technology of China(中国科学技术大学);HeFei University of Technology(合肥工业大学)
正确处理缺失数据是推荐中的一个基本挑战。目前大多数的工作执行负采样从未观察到的数据提供负信号的推荐模型的训练。然而,现有的负采样策略,无论是静态的还是自适应的,都不足以产生高质量的负样本-既能为模型训练提供信息,又能反映用户的真实需求。在这项工作中,我们假设,项目知识图谱(KG),它提供了丰富的项目和KG实体之间的关系,可能是有用的推断信息和事实的负面样本。为此,我们开发了一个新的负样本模型,知识图谱政策网络(KGPolicy),它作为一个强化学习代理,以探索高质量的负面。具体来说,通过进行我们设计的探索操作,它从目标积极的互动导航,自适应地接收知识感知的负面信号,并最终产生一个潜在的负面项目训练的推荐。我们在配备KGPolicy的矩阵分解(MF)模型上进行了测试,它比DNS和IRGAN等最先进的采样方法以及KGAT等KG增强的推荐模型都有显着改进。从不同角度的进一步分析提供了知识感知抽样的见解。我们在https://github.com/xiangwang1223/kgpolicy上发布代码和数据集。
2020-03-12 cs.IR cs.LG
NV-Retriever: Improving text embedding models with effective hard-negative mining
NVIDIA(英伟达)
本文提出正样本感知的难负样本挖掘方法,以正相关分数为锚点去除假负样本,提升对比学习训练效率与检索精度,并通过NV-Retriever-v1在MTEB Retrieval(BEIR)上取得60.9分、排名第一验证其有效性。
2025-02-07 cs.AI cs.IR
Truncated Step-Level Sampling with Process Rewards for Retrieval-Augmented Reasoning
本文提出SLATE方法,通过截断步骤级采样和密集过程奖励解决检索增强推理中的信用分配问题,实验表明其在多跳任务中表现优异。
2026-07-10 cs.CL cs.IR
Enhancing Retrieval Performance: An Ensemble Approach For Hard Negative Mining
本研究针对信息检索中难负例筛选的难题,提出适用于企业领域数据集的鲁棒难负例挖掘技术,通过交叉编码器同时学习相似性与差异性提升检索性能,为优化RAG、ReAct等大模型系统提供新视角。
2024-10-18 cs.AI cs.CL cs.IR
Towards Reliable Negative Sampling for Recommendation with Implicit Feedback via In-Community Popularity
College of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院)
本文提出ICPNS框架,通过利用用户社区结构识别可靠负样本,提升推荐系统中隐式反馈的学习效果。
2026-02-21 cs.AI cs.IR
Non-negative Elastic Net Decoding for Information Retrieval
NTT, Inc(NTT公司)
提出非负弹性网络(NNN)解码方法,将检索视为联合解码问题,通过稀疏非负线性组合重构查询嵌入,在理论上严格优于稠密检索,实验表明在多个基准上取得一致改进。
2026-06-17 cs.AI cs.CL cs.IR
Rethinking InfoNCE: How Many Negative Samples Do You Need?
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
InfoNCE损失是一种广泛用于对比模型训练的损失函数。它的目的是估计一对变量之间的互信息之间的每一个积极的对和相关的$K$负对之间的区别。证明了在样本标签干净的情况下,当包含更多的负样本时,互信息估计的下界更紧,这通常会产生更好的模型性能。然而,在许多现实任务中,标签通常包含噪声,并且为模型训练引入太多噪声负样本可能是次优的。在本文中,我们研究了多少负样本是最佳的InfoNCE在不同的情况下,通过半定量的理论框架。更具体地说,我们首先提出了一个概率模型来分析负采样率$K$对训练样本信息量的影响。然后,我们设计了一个训练有效性函数来衡量训练样本对模型学习的整体影响,基于它们的信息量。我们使用使训练有效性函数最大化的$K$值来估计最佳负采样率。基于我们的框架,我们进一步提出了一种自适应负采样方法,可以动态调整负采样率,以改善基于InfoNCE的模型训练。在不同真实数据集上的大量实验表明,该框架能够准确预测不同任务下的最佳负采样率,并且所提出的自适应负采样方法比常用的固定负采样率策略具有更好的性能。
2021-05-27 cs.IR cs.LG
Evaluating Performance and Bias of Negative Sampling in Large-Scale Sequential Recommendation Models
Apple(苹果公司)
该研究针对大规模序列推荐模型的负采样选择难题,对比多种负采样方法在不同流行度偏差基准数据集上的表现,揭示各方法对性能与流行度偏差的影响,为负采样方法的权衡选择提供实用参考。
2024-10-29 cs.IR cs.LG
Robust Training of Temporal GNNs using Nearest Neighbours based Hard Negatives
Indian Institute of Technology, Delhi(印度理工学院德里分校)
针对时序图神经网络因均匀随机负采样导致冗余和次优性能的问题,提出基于重要性的动态负采样方法替代均匀采样,在三个真实数据集上实现了更优的链路预测性能。
2024-02-14 cs.IR cs.LG
Enhancing Link Prediction with Fuzzy Graph Attention Networks and Dynamic Negative Sampling
North Carolina State University(北卡罗来纳州立大学);Guangxi University(广西大学);Yeshiva University(叶史瓦大学);South China University of Technology(华南理工大学)
针对传统图神经网络随机负采样导致链路预测性能不佳的问题,提出模糊图注意力网络(FGAT),结合模糊粗糙集进行动态高质量负采样与节点特征聚合,显著提升了链路预测准确率。
2025-02-01 cs.AI cs.IR cs.LG
Improving Embedding Accuracy for Document Retrieval Using Entity Relationship Maps and Model-Aware Contrastive Sampling
Fifth Dimension AI(第五维度人工智能公司)
提出APEX-Embedding-7B,通过结构化实体关系图的收敛前中断微调与模型感知对比采样,提升长上下文文档RAG检索的事实聚焦能力并取得90.86% rank@1。
2024-10-08 cs.AI cs.CL cs.IR