Improving Collaborative Metric Learning with Efficient Negative Sampling
Deezer Research & Development(Deezer研发部);Paris(巴黎)
基于三元组丢失的距离度量学习已经在人脸识别、图像检索、说话人变化检测以及最近的CML模型推荐等广泛的应用中取得了成功。然而,正如我们在本文中所展示的,CML需要大批量才能合理地工作,因为选择三胞胎的负采样策略过于简单。由于内存限制,这使得它难以在高维场景中扩展。为了缓解这个问题,我们在这里提出了一个2阶段的负采样策略,发现三胞胎是高度信息学习。我们的策略允许CML在准确性和流行性偏差方面有效地工作,即使批量大小比默认均匀采样所需的小一个数量级。我们证明了建议的策略的适用性,并在各种数据集上表现出一致的积极结果。
2019-09-24 cs.IR cs.LG
Probing Negative Sampling Strategies to Learn GraphRepresentations via Unsupervised Contrastive Learning
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
图的表示学习一直是一个重要的,但具有挑战性的任务,为各种现实世界的应用。然而,它们的下游任务主要是在监督或半监督学习的设置中执行的。受无监督对比学习最新进展的启发,本文旨在研究如何进行节点级对比学习。特别地,我们分别解决了类冲突问题和负数据分布不平衡问题。在三个真实数据集上进行了大量的实验,所提出的方法达到了SOTA模型的性能。
2021-04-13 cs.LG
Dimension Independent Mixup for Hard Negative Sample in Collaborative Filtering
YanShan University(燕山大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
针对协同过滤隐式反馈训练中难负采样区域未被充分探索的问题,本文提出首个 Area-wise 方法 DINS,通过难边界定义、维度独立 Mixup 与多跳池化提升矩阵分解和图模型性能。
2023-08-18 cs.IR cs.LG
Hard Negative Sampling via Regularized Optimal Transport for Contrastive Representation Learning
Tufts University(塔夫茨大学);Boston University(波士顿大学)
该研究针对无监督对比表示学习的难负例采样问题,提出基于正则化最优传输的极小极大框架,通过正则化传输耦合控制负例难度,设计新的基代价函数,提升了下游任务性能。
2023-12-14 cs.LG math.ST stat.TH
Momentum Contrastive Learning with Enhanced Negative Sampling and Hard Negative Filtering
FPT University(FPT大学);Queensland University of Technology(昆士兰科技大学)
本文提出增强的对比学习框架,通过引入双视图损失函数平衡优化查询与键嵌入,并采用基于余弦相似度的选择性负采样策略过滤噪声并聚焦困难负样本,显著提升了无监督表示学习的质量与下游任务性能。
2025-01-20 cs.AI cs.LG
Clustering-based hard negative sampling for supervised contrastive speaker verification
Samsung R&D Institute Poland(三星研发院波兰分院);AGH University of Krakow(波兰克拉科夫AGH大学)
针对说话人验证中对比学习的难负样本利用问题,提出CHNS聚类式难负样本采样方法,通过聚类相似说话人嵌入并优化批次难易负样本比例,在VoxCeleb数据集上用轻量模型使相对EER和minDCF提升达18%,优于基线对比方法与最优分类方法。
2025-07-23 cs.LG cs.SD eess.AS
Incorporating GAN for Negative Sampling in Knowledge Representation Learning
Sun Yat-sen University(中山大学);iPIN Inc.(iPIN公司)
知识表示学习的目的是通过将实体和关系编码到低维空间中来对知识图谱进行建模。大多数传统的知识嵌入工作需要负采样,以最大限度地减少基于边缘的排名损失。然而,这些工作通过随机模式构造负样本,这样的样本往往太微不足道,不能有效地拟合模型。本文提出了一种基于生成对抗网络(GAN)的知识表示学习框架。在这个基于GAN的框架中,我们利用生成器来获得高质量的负样本。同时,GAN中的学习器学习知识图谱中实体和关系的嵌入。因此,我们可以将所提出的基于GAN的框架融入到各种传统模型中,以提高知识表示学习的能力。实验结果表明,我们提出的基于GAN的框架优于基线的三元组分类和链接预测任务。
2018-09-23 cs.AI cs.LG
The Impact of Negative Sampling on Contrastive Structured World Models
Northeastern University(东北大学);University of Amsterdam(阿姆斯特丹大学);Google Research(谷歌研究院)
通过对比学习训练的世界模型是基于自动编码器的世界模型的一种引人注目的替代方案,后者通过重建像素状态来学习。在本文中,我们描述了三种情况下,我们如何在对比损失中采样负状态的微小变化会导致模型性能的急剧变化。在先前研究的Atari数据集中,我们表明,利用时间步长相关性可以使对比结构化世界模型的性能提高一倍。我们还收集了完整版本的数据集,以研究在更多样化的经验下的对比学习。
2021-07-24 cs.LG
Semantically-Conditioned Negative Samples for Efficient Contrastive Learning
University of Liverpool(利物浦大学)
负采样是w.r.t.的一个限制因素。度量学习神经网络的推广。我们发现,均匀负采样提供的类边界的信息很少,因此提出了三种新的技术,有效的负采样:绘制负样本(1)顶部- $k$最语义相似的类,(2)顶部- $k$最语义相似的样本和(3)之间的对比潜在的表示,以创建伪否定。我们在CIFAR-10,CIFAR-100和Tiny-ImageNet-200上的实验表明,我们提出的\textit{Semantically Conditioned Negative Sampling}和潜在混合导致一致的性能改进。在标准的监督学习设置中,我们在各种网络架构上将CIFAR-10的测试准确率平均提高了1.52个百分点。在知识蒸馏设置中,(1)与没有教师训练的学生网络相比,学生网络的性能在Tiny-ImageNet-200上增加了4.56个百分点,在CIFAR-100上增加了3.29个百分点,(2)与\textit{hard-to-beat}基线相比,分别增加了1.23个百分点和1.72个百分点(Hinton等人,2015)。
2021-02-12 cs.CV cs.LG
DQE-CIR: Distinctive Query Embeddings through Learnable Attribute Weights and Target Relative Negative Sampling in Composed Image Retrieval
Department of Artificial Intelligence, Korea University(人工智能系,韩国大学)
DQE-CIR通过可学习属性权重和目标相对负采样提升复合图像检索中查询嵌入的区分性,解决语义混淆和相关图像被推远的问题。
2026-03-04 cs.AI cs.CV cs.LG
Multimodal Contrastive Learning with Hard Negative Sampling for Human Activity Recognition
Google Research(谷歌研究院)
提出一种用于多模态人类活动识别的困难负样本采样对比学习方法,利用骨架和IMU数据对,在UTD-MHAD和MMAct基准上超越现有方法,尤其在有限数据下表现鲁棒。
2023-09-03 cs.CV cs.HC cs.LG
Unified Interpretation of Softmax Cross-Entropy and Negative Sampling: With Case Study for Knowledge Graph Embedding
Tokyo Institute of Technology(东京工业大学);Gunma University(群马大学);RIKEN AIP(理化学研究所先进智能项目中心)
在知识图谱嵌入中,softmax交叉熵与负采样损失函数之间的理论关系尚未得到研究。这使得很难公平地比较两个不同的损失函数的结果。我们试图通过使用Bregman散度来解决这个问题,以提供对softmax交叉熵和负采样损失函数的统一解释。在这种解释下,我们可以得出理论上的发现,以进行公平的比较。在FB 15 k-237和WN 18 RR数据集上的实验结果表明,理论研究结果在实际环境中是有效的。
2022-03-16 cs.CL cs.LG stat.ML
Improving Negative Sampling for Word Representation using Self-embedded Features
University of Glagow(格拉斯哥大学);Shanghai Jiao Tong University(上海交通大学)
虽然基于词流行度的负样本在跳跃语法模型中表现出了卓越的性能,但将流行(未观察到的)词过采样为负样本背后的理论动机仍然没有得到很好的理解。本文首先研究了在没有适当负采样器的情况下skipgram模型的梯度消失问题。通过从随机梯度下降(SGD)学习的角度进行深入的分析,我们证明了,无论是理论上还是直观上,负样本具有较大的内积分数比那些具有较低的分数SGD学习者在收敛速度和准确性方面的信息。理解这一点,我们提出了一种替代的采样算法,在每次SGD更新期间动态选择信息负样本。更重要的是,所提出的采样器在采样过程中考虑了多维自嵌入特征,这本质上使其比原始的基于流行度的(一维)采样器更有效。实验进一步验证了我们的观察,并表明,我们的细粒度采样器获得显着改善现有的,而不增加计算复杂性。
2018-06-26 cs.CL cs.LG stat.ML
Understanding Negative Sampling in Graph Representation Learning
Tsinghua University(清华大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
图表示学习近年来得到了广泛的研究。尽管它在为各种网络生成连续嵌入方面具有潜力,但针对大型节点语料库推断高质量表示的有效性和效率仍然具有挑战性。采样是实现性能目标的关键点。现有技术通常集中于对正节点对进行采样,而对负采样的策略没有充分探索。为了弥补这一差距,本文从目标和风险两个角度系统地分析了负抽样的作用,从理论上论证了负抽样与正抽样在确定优化目标和结果方差方面同样重要。据我们所知,我们是第一个推导出理论和量化的负采样分布应该是积极的,但次线性相关的正采样分布。在此理论指导下,我们提出了MCNS算法,用自对比逼近逼近正分布,用Metropolis-Hastings加速负采样。我们在5个数据集上评估了我们的方法,这些数据集涵盖了广泛的下游图学习任务,包括链接预测,节点分类和个性化推荐,总共19个实验设置。这些比较全面的实验结果证明了它的鲁棒性和优越性。
2020-06-25 cs.LG stat.ML
word2vec Explained: deriving Mikolov et al.'s negative-sampling word-embedding method
Tomas Mikolov及其同事的word2vec软件(code.google.com/p/word2vec/)最近获得了很大的吸引力,并提供了最先进的词嵌入。该软件背后的学习模型在两篇研究论文中进行了描述。我们发现这些论文中对模型的描述有些晦涩难懂。虽然动机和演示对于神经网络语言建模人群来说可能是显而易见的,但我们不得不努力找出方程式背后的基本原理。本文试图解释Tomas Mikolov,Ilya Sutskever,Kai Chen,Greg Corrado和Jeffrey Dean的“Distributed Representations of Words and Phrases and their Compositionality”中的公式(4)(负采样)。
2014-02-15 cs.CL cs.LG stat.ML
Revisiting Skip-Gram Negative Sampling Model with Rectification
我们重新回顾了跳过语法负采样(SGNS),这是最流行的基于神经网络的分布式单词表示学习方法之一。我们首先指出破坏SGNS模型的歧义问题,在这个意义上,词向量可以完全扭曲而不改变客观值。为了解决这个问题,我们研究了一个好的词嵌入模型应该提供的解决方案中的内在结构。出于这一动机,我们纠正SGNS模型与二次正则化,并表明,这种简单的修改足以在所需的方式结构的解决方案。理论上的理由,这提供了新的见解二次正则化。初步实验也进行了谷歌的分析推理任务,以支持修改后的SGNS模型。
2019-01-14 cs.CL cs.LG stat.ML
Negative sampling in semi-supervised learning
Rice University(莱斯大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
介绍了一种简单、快速、易于调整的半监督学习(SSL)算法--半监督学习中的负采样(NS 3L)。NS 3L的动机是负抽样/对比估计的成功。我们证明,将NS 3L损失添加到最先进的SSL算法中,例如虚拟对抗训练(VAT),显着改善了vanilla VAT及其变体,具有熵最小化的VAT。通过将NS 3L损失添加到MixMatch中,MixMatch是当前最先进的半监督任务方法,我们观察到比vanilla MixMatch有显着改进。我们在CIFAR 10,CIFAR 100,SVHN和STL 10基准数据集上进行了广泛的实验。
2020-06-28 cs.LG stat.ML
Does Negative Sampling Matter? A Review with Insights into its Theory and Applications
Tsinghua University(清华大学);Yale University(耶鲁大学);Zhipu AI(智谱AI);Tencent(腾讯)
本文提出一个通用负采样框架,梳理其五条演化路径,将现有方法分为静态、困难负样本、GAN、辅助信息和批内五类,并总结了应用、开放问题与未来方向。
2024-02-27 cs.LG
Semantic Relation Classification via Convolutional Neural Networks with Simple Negative Sampling
Institute of Computer Science & Technology, Peking University(北京大学计算机科学技术研究所);IBM China Research Lab(IBM中国研究院)
句法特征在识别句子中的关系方面起着至关重要的作用。以往的神经网络模型往往会在主体和客体距离较远时引入不相关的信息。在本文中,我们提出通过卷积神经网络从最短依赖路径学习更鲁棒的关系表示。我们进一步提出了一个简单的负采样策略,以改善分配的主题和对象。实验结果表明,我们的方法优于国家的最先进的方法SemEval-2010任务8数据集。
2015-06-25 cs.CL cs.LG
Distributional Negative Sampling for Knowledge Base Completion
IBM Research AI(IBM研究院人工智能部门)
用于知识库完成(KBC)的最先进方法利用了用假断言和真断言训练的深度神经网络:肯定断言明确地从知识库中获取,而否定断言通过实体的随机采样生成。在本文中,我们认为随机采样不是一个好的训练策略,因为它很可能在训练过程中产生大量的无意义断言,这并没有为系统提供相关的训练信号。因此,它减慢了学习过程并降低了准确性。为了解决这个问题,我们提出了一种称为分布式负采样的替代方法,它可以生成有意义的负样本,这些样本很可能是假的。我们的方法在三个标准的学术基准中,在两个不同的KBC算法中,平均倒数秩值得到了显着的改善。
2019-08-16 cs.AI cs.LG stat.ML
Maximizing Cohesion and Separation in Graph Representation Learning: A Distance-aware Negative Sampling Approach
Virginia Tech(弗吉尼亚理工大学)
无监督图表示学习(GRL)的目标是学习一个低维的节点嵌入空间,以反映给定的未标记图的结构。用于此任务的现有算法依赖于负采样目标,该负采样目标通过维持节点对的正语料库和负语料库来最大化在附近节点处的节点嵌入中的相似性(被称为“内聚”)。虽然正样本是从短随机游走中共同出现的节点对中提取的,但是传统方法通过均匀地对随机对进行采样来构建负语料库,从而忽略了关于远距离节点对之间的结构不相似性(称为“分离”)的有价值的信息。在本文中,我们提出了一种新的距离感知负采样(DNS),最大限度地提高分离的遥远的节点对,同时最大限度地提高凝聚力在附近的节点对通过设置负采样概率成正比的成对最短距离。我们的方法可以与任何GRL算法结合使用,我们证明了我们的方法的有效性,在一些基准数据集和GRL算法的下游节点分类任务的基线负采样方法。我们所有的代码和数据集都可以在https://github.com/Distance-awareNS/DNS/上找到。
2021-01-21 cs.LG cs.SI stat.ML
Evaluating Negative Sampling Approaches for Neural Topic Models
School of Mathematical and Computational Sciences, Indian Association for the Cultivation of Science(印度科学促进会数学与计算科学学院);Ashoka University(阿育王大学);Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
本文系统评估了负采样策略对神经主题模型的影响,通过在变分自编码器解码器中集成负采样,提升了主题连贯性、多样性和文档分类准确性,展示了其作为有效工具的潜力。
2025-03-25 cs.AI cs.CL cs.LG
Simplify and Robustify Negative Sampling for Implicit Collaborative Filtering
Tsinghua University(清华大学);Paradigm Inc (Hong Kong)(第四范式(香港))
在隐式协同过滤中,负采样方法是从大量未标记数据中获取负标记的常用方法。作为负采样的两个主要问题,效率和有效性仍然没有完全实现,目前的工作使用复杂的结构和忽视假阴性的风险。在本文中,我们首先通过经验观察提供了对负面实例的新理解,即只有少数实例对模型学习具有潜在的重要性,并且假阴性往往在许多训练迭代中具有稳定的预测。上述发现促使我们通过从仅存储少数重要候选的设计内存中采样来简化模型,更重要的是,通过支持存储在内存中的高方差样本来解决未触及的假阴性问题,从而实现高质量的真阴性的高效采样。在两个人工数据集和三个真实数据集上的实验结果证明了我们的负采样方法的鲁棒性和优越性。
2020-09-07 cs.IR cs.LG
Entity Aware Negative Sampling with Auxiliary Loss of False Negative Prediction for Knowledge Graph Embedding
Kakao Enterprise Corp.(Kakao企业公司)
知识图谱(KG)嵌入被广泛用于使用KG的许多下游应用中。通常,由于KG仅包含地面真值三元组,因此需要构造任意负样本以用于KG的表示学习。近年来,由于负三元组的质量对KG嵌入有很大的影响,人们研究了各种高质量负样本的采样方法。本文提出了一种新的实体感知负采样(Entity Aware Negative Sampling,EANS)方法,该方法通过对对齐后的实体索引空间采用高斯分布,能够对与正实体相似的负实体进行采样。此外,我们为假阴性预测引入了辅助损失,可以减轻采样的假阴性三元组的影响。无论阴性样本大小如何,该方法都可以生成高质量的阴性样本,并有效减轻假阴性样本的影响。标准基准测试的实验结果表明,我们的EANS优于现有的国家的最先进的负采样方法在几个知识图谱嵌入模型。此外,所提出的方法实现了竞争力的性能,即使当负样本的数量被限制为只有一个。
2022-10-12 cs.AI cs.LG
LSPO: Length-aware Dynamic Sampling for Policy Optimization in LLM Reasoning
University of Southern California(南加州大学);University of California, Irvine(加州大学尔湾分校)
针对LLM推理任务的RLVR训练优化问题,本文提出新型元RLVR算法LSPO,基于平均响应长度动态选择训练数据,经多模型和数据集验证可提升学习效果,消融实验也为后续研究提供了方向。
2025-10-01 cs.CL cs.LG
NSCaching: Simple and Efficient Negative Sampling for Knowledge Graph Embedding
The Hong Kong University of Science and Technology(香港科技大学);Paradigm Inc.(第四范式有限公司);Beijing University of Posts and Telecommunications(北京邮电大学)
知识图谱(KG)嵌入是数据采掘研究中的一个基本问题,具有广泛的实际应用。它的目的是将图中的实体和关系编码到低维向量空间中,为后续算法提供依据。负采样是KG嵌入中的一个重要步骤,它从训练数据中未观测到的负三元组中抽取负三元组。最近,生成对抗网络(GAN),已被引入负采样。这些方法通过对大分数负三元组进行采样,避免了梯度消失的问题,从而获得了更好的性能。然而,使用GAN使得原始模型更加复杂和难以训练,其中必须使用强化学习。在本文中,动机的观察,负三元组与大分数是重要的,但罕见的,我们建议直接跟踪他们的缓存。然而,如何采样和更新缓存是两个重要的问题。我们精心设计的解决方案不仅高效,而且在探索和开发之间实现了良好的平衡。通过这种方式,我们的方法可以作为以前基于GA的方法的“蒸馏”版本,它不会浪费额外参数的训练时间来拟合负三元组的完整分布。大量实验表明,该方法在各种KG嵌入模型下都能取得显著的效果,优于现有的基于GAN的负采样方法。
2019-01-18 cs.AI cs.CL cs.LG
LightXML: Transformer with Dynamic Negative Sampling for High-Performance Extreme Multi-label Text Classification
Beihang University(北京航空航天大学);Capital Normal University(首都师范大学)
极端多标签文本分类(XMC)是从一个大的标签集中找到最相关的标签的任务。如今,基于深度学习的方法已经在XMC中取得了显著的成功。然而,现有的方法(例如,AttentionXML和X-Transformer等)仍然存在1)将多个模型结合起来对一个数据集进行训练和预测; 2)在训练标签排序模型的过程中静态地抽取负标签,这降低了模型的效率和准确性。为了解决上述问题,我们提出了LightXML,它采用端到端训练和动态负标签采样。在LightXML中,我们使用生成式协作网络来召回和排名标签,其中标签召回部分生成否定和肯定标签,标签排名部分从这些标签中区分肯定标签。通过这些网络,在标签排名部分训练期间,通过馈送相同的文本表示来动态地对负面标签进行采样。大量的实验表明,LightXML在五个极端的多标签数据集上的性能优于最先进的方法,具有更小的模型大小和更低的计算复杂性。特别是,在具有670 K标签的Amazon数据集上,与AttentionXML相比,LightXML可以将模型大小减少72%。
2021-01-09 cs.CL cs.LG
Reliability-Aware Adaptive Self-Consistency for Efficient Sampling in LLM Reasoning
IPAI, Seoul National University(首尔国立大学IPAI)
本文提出ReASC,通过将自适应采样从响应计数转向证据充分性,提升推理可靠性。在五个模型和四个数据集上,ReASC在准确率与成本之间取得最佳平衡,显著提升推理效率。
2026-04-20 cs.CL cs.LG
SAGE: Semantic-Aware Shared Sampling for Efficient Diffusion
本文提出语义感知共享采样框架SAGE,通过在语义相似查询间共享早期采样步骤并配合定制训练策略,在降低25.5%采样成本的同时提升生成质量与多样性。
2025-09-19 cs.LG
Positive and Unlabeled Learning through Negative Selection and Imbalance-aware Classification
Università degli Studi di Milano(米兰大学)
受蛋白质功能预测应用的启发,我们考虑了一个具有挑战性的监督分类设置,其中正面标签很少,没有明确的负面标签。因此,学习算法必须选择哪些未标记的示例用作负训练点,这可能导致不平衡的学习问题。我们解决这些问题,提出了一个算法,结合主动学习(选择负面的例子)与不平衡感知学习(减轻标签的不平衡)。在我们的实验中,我们观察到这两种技术协同工作,在标准蛋白质功能预测基准上优于最先进的方法。
2019-01-25 cs.LG q-bio.QM stat.ML
KGBoost: A Classification-based Knowledge Base Completion Method with Negative Sampling
University of Southern California(南加州大学);National University of Singapore(新加坡国立大学)
在这项工作中,知识库完成制定为一个二元分类问题,其中XGBoost二元分类器的训练,使用相关的链接在知识图谱(KG)的每个关系。该方法采用模块化设计,通过寻找硬负样本,训练出一个用于丢失链接预测的分类器。我们在多个基准数据集上进行实验,并证明KGBoost在大多数数据集上的性能优于最先进的方法。此外,与通过端到端优化训练的模型相比,KGBoost在低维设置下工作得很好,从而允许更小的模型大小。
2021-12-17 cs.CL cs.LG
A Tale of Two Efficient and Informative Negative Sampling Distributions
Rice University(莱斯大学);Stanford University(斯坦福大学)
具有非常大量类的Softmax分类器自然出现在许多应用中,例如自然语言处理和信息检索。从计算和能源的角度来看,完整softmax的计算成本很高。有各种各样的抽样方法来克服这一挑战,通常被称为负抽样(NS)。理想情况下,NS应该从依赖于输入数据、当前参数和正确的正类的分布中采样负类。不幸的是,由于动态更新的参数和数据样本,没有可证明自适应的采样方案,并有效地采样负类。因此,采用了随机采样、基于静态频率的采样或基于学习的有偏采样等替代算法,这些算法主要是在每次迭代的采样成本或样本的自适应性之间进行交易。在本文中,我们展示了两类分布,其中采样方案是真正自适应的,并可证明在接近恒定的时间内产生负样本。我们在CPU上的C++实现在挂钟时间和准确性方面都明显优于强大的NVIDIA V100 GPU上其他流行负采样方法的最优化TensorFlow实现。
2021-07-29 cs.AI cs.DS cs.IR
Diffusion-based Negative Sampling on Graphs for Link Prediction
University of Southern California(南加州大学);Singapore Management University(新加坡管理大学)
针对图链接预测中负采样不够灵活且易错失潜在空间最优样本的问题,提出基于条件扩散的多级负采样方法DMNS,利用扩散模型的马尔可夫链性质生成多级难度的负节点,并遵循次线性正性原则,在多个基准数据集上验证了其有效性。
2024-03-25 cs.LG cs.SI
Adversarial Training of Word2Vec for Basket Completion
Criteo Research(Criteo研究中心);UPMC(巴黎第六大学)
近年来,使用负采样损失函数训练的Word 2 Vec模型已经在许多机器学习任务中显示出最先进的结果,包括语言建模任务,如单词类比和单词相似性,以及通过Word 2 Vec的推荐任务,Word 2 Vec是一种适用于建模用户购物活动和用户偏好的扩展。已经提出了几种旨在改善标准负采样损失的方法。在我们的论文中,我们通过利用生成对抗网络(GANs)领域的思想,追求更复杂的负采样,并提出对抗负采样。我们基于最近在离散数据设置中稳定GANs训练目标方面取得的进展,并引入了一种新的GAN-Word 2 Vec模型。我们在篮子完成任务上评估了我们的模型,并显示出使用标准损失函数(包括噪声对比估计和负采样)训练的Word 2 Vec在性能上的显着改进。
2018-05-22 cs.LG stat.ML
Enhancing Link Prediction with Fuzzy Graph Attention Networks and Dynamic Negative Sampling
North Carolina State University(北卡罗来纳州立大学);Guangxi University(广西大学);Yeshiva University(叶史瓦大学);South China University of Technology(华南理工大学)
针对传统图神经网络随机负采样导致链路预测性能不佳的问题,提出模糊图注意力网络(FGAT),结合模糊粗糙集进行动态高质量负采样与节点特征聚合,显著提升了链路预测准确率。
2025-02-01 cs.AI cs.IR cs.LG
Stay Positive: Knowledge Graph Embedding Without Negative Sampling
BorealisAI(博瑞利斯人工智能研究院)
知识图谱(KG)通常是不完整的,我们经常希望根据现有的事实推断新的事实。这可以被认为是一个二元分类问题;我们的目标是预测新的事实是真还是假。不幸的是,我们通常只有正面的例子(已知的事实),但是我们也需要负面的例子来训练分类器。为了解决这个问题,通常使用负采样策略生成负示例。然而,这可能产生可能降低性能的假阴性,在计算上是昂贵的,并且不产生校准的分类概率。在本文中,我们提出了一个训练过程,通过增加一个新的正则化项的损失函数,避免了需要负采样。我们的两个关系嵌入模型(DistMult和SimpleE)的结果显示了我们的建议在性能和速度方面的优点。
2022-01-07 cs.AI cs.LG
Improving Contextualized Topic Models with Negative Sampling
Indian Association for the Cultivation of Science(印度科学培育协会);Ashoka University(阿育王大学);Indian Institute of Technology Kharagpur(印度理工学院卡哈拉格普尔分校)
主题建模已经成为探索大型文档集的主要方法。最近的主题建模方法使用大型上下文语言模型和变分自编码器。在本文中,我们提出了一个负采样机制的上下文化的主题模型,以提高生成的主题的质量。特别是,在模型训练期间,我们扰动生成的文档主题向量,并使用三元组损失来鼓励从正确的文档主题向量重建的文档与输入文档相似,而与从扰动向量重建的文档不同。在三个公开的基准数据集上进行的不同主题计数的实验表明,在大多数情况下,我们的方法导致主题一致性比基线增加。我们的模型也实现了非常高的主题多样性。
2023-03-27 cs.CL cs.LG
Generalization Bounds for Set-to-Set Matching with Negative Sampling
ZOZO Research(ZOZO研究院)
匹配两组多个元素的问题,即集合到集合匹配,近年来受到了极大的关注。特别地,已经报道了通过准备神经网络作为匹配函数可以获得良好的实验结果,特别是在例如集合的每个元素是图像的复杂情况下。然而,理论分析集到集匹配与这样的黑盒功能是缺乏的。本文旨在执行一个泛化错误分析集到集匹配,以揭示该任务中的模型的行为。
2023-02-25 cs.LG stat.ML
Learning Self-Correctable Policies and Value Functions from Demonstrations with Negative Sampling
Princeton University(普林斯顿大学);University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
模仿学习,其次是强化学习算法,是一个有前途的范例,以解决复杂的控制任务的样本效率。然而,示教学习经常遭受协变量偏移问题,这导致学习策略的级联错误。我们引入了保守外推的价值函数的概念,这可证明导致政策的自我校正。我们设计了一个算法负采样值迭代(VINS),实际上学习这样的价值函数保守外推。我们表明,VINS可以纠正错误的行为克隆政策的模拟机器人基准任务。我们还提出了使用VINS来初始化强化学习算法的算法,该算法在样本效率方面明显优于先前的工作。
2019-10-11 cs.AI cs.LG stat.ML
Regularized Adversarial Sampling and Deep Time-aware Attention for Click-Through Rate Prediction
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);The Hong Kong Polytechnic University(香港理工大学)
提高点击率(CTR)预测的性能仍然是在线广告系统的核心任务之一。随着深度学习的兴起,具有深度网络的CTR预测模型显著增强了模型的能力。在深度CTR模型中,利用用户的历史数据对于学习用户的行为和兴趣至关重要。针对现有CTR预测方法在嵌入用户历史点击记录时忽略了时间信号的重要性,提出了一种时间感知的注意力模型,该模型明确地使用绝对时间信号来表示用户的周期性行为,使用相对时间信号来表示项目之间的时间关系。此外,我们提出了一种正则化的对抗抽样策略的负采样,缓解了CTR数据的分类不平衡,并可以利用观察到的负CTR样本提供的强指导。对抗性采样策略显著提高了训练效率,并且可以与时间感知注意力模型无缝协同训练。实验进行了真实世界的CTR数据集,从站内和站外的广告场所。
2019-11-03 cs.IR cs.LG stat.ML
Nonuniform Negative Sampling and Log Odds Correction with Rare Events Data
University of Connecticut(康涅狄格大学);ByteDance Inc.(字节跳动)
研究了非均匀负抽样下非平衡数据的参数估计问题。我们首先证明,与不平衡的数据,未知参数的可用信息只绑定到相对较少的正实例,这证明了负采样的使用。然而,如果负实例被二次采样到与正实例相同的水平,则存在信息损失。为了保持更多的信息,我们推导了一般的逆概率加权(IPW)估计的渐近分布,并获得了最小化其方差的最佳抽样概率。为了进一步提高估计效率的IPW方法,我们提出了一个基于似然的估计,通过校正对数几率的采样数据,并证明了改进的估计量具有最小的渐近方差之间的一大类估计。它对飞行员错误指定也更鲁棒。我们在模拟数据以及一个真实的点击率数据集上验证了我们的方法,该数据集在一个月内收集了超过0.3万亿个实例。理论和实验结果都证明了该方法的有效性。
2021-10-25 cs.AI cs.LG stat.CO
Importance Sampling for Multi-Negative Multimodal Direct Preference Optimization
University of California, San Diego(加州大学圣迭戈分校);Adobe Research(Adobe研究)
针对现有多模态DPO依赖单负样本成对比较导致优化偏差与幻觉的问题,提出MISP-DPO框架,通过Plackett-Luce模型结合语义感知多负样本采样与重要性采样,在五个基准上持续提升多模态对齐效果。
2025-09-30 cs.CL cs.CV cs.LG
SonicSampler: Unified Tile-Aware Kernels for LLM Sampling and Speculative Verification
Together AI
研究针对语言模型推理采样中现有实现的局限,提出SonicSampler,它是统一的瓦片感知Triton内核套件,垂直融合采样流水线。核心方法是分层两阶段top-k算法,在异构推测性解码工作负载中比基线快达16倍,保持灵活批处理执行。
2026-07-24 cs.AI cs.CL cs.LG
Context-aware surrogate modeling for balancing approximation and sampling costs in multi-fidelity importance sampling and Bayesian inverse problems
New York University(纽约大学)
多保真度方法利用低成本的代理模型来加速计算,并偶尔求助于昂贵的高保真模型来建立准确性保证。由于替代模型和高保真模型一起使用,因此替代模型的不良预测可以通过频繁求助于高保真模型来补偿。因此,在投资计算资源以提高代理模型的准确性与简单地更频繁地求助于昂贵的高保真模型之间存在权衡;然而,这种权衡被传统建模方法所忽略,传统建模方法构建的代理模型旨在取代高保真模型,而不是与高保真模型一起使用。这项工作认为,多保真度的重要性采样和理论和计算权衡增加替代模型的保真度,以构建更准确的偏置密度和样本的数量,需要从高保真模型,以补偿穷人的偏置密度。数值例子表明,这样的上下文感知的代理模型的多保真度的重要性采样具有较低的保真度比通常被设置为传统的模型约简中的容限,导致运行时加速高达一个数量级的数量级在所提出的例子。
2021-09-12 cs.LG cs.NA math.NA
Rethinking InfoNCE: How Many Negative Samples Do You Need?
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
InfoNCE损失是一种广泛用于对比模型训练的损失函数。它的目的是估计一对变量之间的互信息之间的每一个积极的对和相关的$K$负对之间的区别。证明了在样本标签干净的情况下,当包含更多的负样本时,互信息估计的下界更紧,这通常会产生更好的模型性能。然而,在许多现实任务中,标签通常包含噪声,并且为模型训练引入太多噪声负样本可能是次优的。在本文中,我们研究了多少负样本是最佳的InfoNCE在不同的情况下,通过半定量的理论框架。更具体地说,我们首先提出了一个概率模型来分析负采样率$K$对训练样本信息量的影响。然后,我们设计了一个训练有效性函数来衡量训练样本对模型学习的整体影响,基于它们的信息量。我们使用使训练有效性函数最大化的$K$值来估计最佳负采样率。基于我们的框架,我们进一步提出了一种自适应负采样方法,可以动态调整负采样率,以改善基于InfoNCE的模型训练。在不同真实数据集上的大量实验表明,该框架能够准确预测不同任务下的最佳负采样率,并且所提出的自适应负采样方法比常用的固定负采样率策略具有更好的性能。
2021-05-27 cs.IR cs.LG
GlobalWalk: Learning Global-aware Node Embeddings via Biased Sampling
Shanghai Jiao Tong University(上海交通大学)
流行的节点嵌入方法,如DeepWalk,遵循在图上执行随机遍历的范式,然后要求每个节点接近与它一起出现的节点。虽然在各种任务中被证明是成功的,但这种范式将具有拓扑结构的图简化为一组连续的句子,从而省略了全局信息。为了产生全局感知的节点嵌入,我们提出了GlobalWalk,这是一种偏向于语义相似的节点的随机游走策略。经验证据表明,GlobalWalk通常可以提高全球对生成的嵌入的认识。
2022-05-30 cs.AI cs.LG
Efficient, Simple and Automated Negative Sampling for Knowledge Graph Embedding
Paradigm Inc.(第四范式公司);Tsinghua University(清华大学);Hong Kong University of Science and Technology(香港科技大学)
负采样是从知识图谱中未观测到的负三元组中抽取负三元组的过程,是知识图谱嵌入的关键步骤。最近,生成对抗网络(GAN),已被引入负采样。这些方法通过对具有大梯度的负三元组进行采样,避免了梯度消失的问题,从而获得了更好的性能。但是,它们使原始模型更加复杂,训练更加困难。在本文中,由于观察到具有大梯度的负三元组很重要但很少见,我们建议直接用缓存跟踪它们。通过这种方式,我们的方法可以作为以前基于GAN的方法的“蒸馏”版本,它不会浪费额外参数的训练时间来拟合负三元组的完整分布。然而,如何采样和更新缓存是两个关键问题。我们建议通过自动化机器学习技术来解决这些问题。自动化版本还将基于GAN的方法作为特例。理论解释NSCaching也提供了,证明优于固定的抽样方案。此外,我们进一步扩展了NSCaching与skip-gram模型的图嵌入。最后,通过大量的实验表明,该方法在KG嵌入模型和skip-gram模型上都有明显的改进,并且优于现有的负采样方法。
2021-07-14 cs.AI cs.DB cs.LG
Evaluating Performance and Bias of Negative Sampling in Large-Scale Sequential Recommendation Models
Apple(苹果公司)
该研究针对大规模序列推荐模型的负采样选择难题,对比多种负采样方法在不同流行度偏差基准数据集上的表现,揭示各方法对性能与流行度偏差的影响,为负采样方法的权衡选择提供实用参考。
2024-10-29 cs.IR cs.LG
Freshness-Aware Thompson Sampling
Orange Labs(奥兰治实验室)
为了跟踪用户内容的动态性,研究人员最近开始将用户与上下文感知推荐系统(CARS)之间的交互建模为系统需要处理探索和利用困境的强盗问题。在这个意义上,我们建议研究新鲜度的用户的内容在CARS通过强盗问题。本文介绍了一种新的算法FA-TS,该算法根据用户的风险情况来管理新鲜文档的推荐。对实验结果的深入评价和详细分析揭示了勘探/开采(exr/exp)行为的几个重要发现。
2014-09-29 cs.IR cs.LG
Robust Training of Temporal GNNs using Nearest Neighbours based Hard Negatives
Indian Institute of Technology, Delhi(印度理工学院德里分校)
针对时序图神经网络因均匀随机负采样导致冗余和次优性能的问题,提出基于重要性的动态负采样方法替代均匀采样,在三个真实数据集上实现了更优的链路预测性能。
2024-02-14 cs.IR cs.LG
Notes on Noise Contrastive Estimation and Negative Sampling
Carnegie Mellon University(卡内基梅隆大学)
估计诸如maxent模型和概率神经模型之类的语言概率模型的参数在计算上是困难的,因为它涉及通过对整个词汇表求和来评估分区函数,整个词汇表的大小可能是数百万个单词类型。两种密切相关的策略--噪声对比估计(Mnih和Teh,2012; Mnih和Kavukcuoglu,2013; Vaswani等人,2013)和阴性采样(Mikolov等人,二〇一二年; Goldberg和Levy,2014)-已经成为这个计算问题的流行解决方案,但对于哪种方法更合适以及何时更合适仍然存在一些困惑。本文档阐述了它们之间的关系以及它们与其他估计技术之间的关系。分析表明,虽然它们表面上相似,但NCE是一种渐近无偏的一般参数估计技术,而负采样最好被理解为一系列二元分类模型,这些模型对学习单词表示有用,但不是通用估计器。
2014-10-30 cs.LG
Efficient RF Passive Components Modeling with Bayesian Online Learning and Uncertainty Aware Sampling
ShanghaiTech University(上海科技大学)
针对传统射频无源元件机器学习建模计算量大的问题,提出带可重构头贝叶斯神经网络与不确定性引导自适应采样的贝叶斯在线学习框架,在保证精度的同时将电磁仿真时间降至原流程的2.86%,提速35倍。
2025-11-19 cs.LG
Causal Negative Sampling via Diffusion Model for Out-of-Distribution Recommendation
Northeastern University(东北大学)
针对启发式负采样因环境混淆因子引入虚假硬负样本而削弱分布外泛化能力的问题,提出基于扩散的因果负采样方法CNSDiff,通过潜在空间合成与因果正则化生成鲁棒负样本,在分布偏移下指标平均提升13.96%。
2025-08-10 cs.AI cs.LG
KG-NSF: Knowledge Graph Completion with a Negative-Sample-Free Approach
International University of Rabat(拉巴特国际大学)
知识图谱(KG)的补全是一项重要的任务,它极大地有利于许多领域(例如生物医学研究)的知识发现。近年来,学习KG嵌入来执行这一任务受到了相当大的关注。尽管KG嵌入方法取得了成功,但它们主要使用负采样,导致计算复杂性增加以及由于封闭世界假设而导致的有偏预测。为了克服这些局限性,我们提出了\textbf{KG-NSF},一个负采样的框架学习KG嵌入的基础上嵌入向量的互相关矩阵。结果表明,该方法实现了可比的链接预测性能负采样为基础的方法,同时收敛速度更快。
2022-07-29 cs.AI cs.CL cs.LG