Graph Component Contrastive Learning for Concept Relatedness Estimation
The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学)
概念相关性估计(CRE)的目的是确定两个给定的概念是否相关。现有的方法只考虑了概念之间的成对关系,而忽略了可以编码在概念级图结构中的高阶关系。我们发现,这个底层图满足CRE的一组内在属性,包括自反性,交换性和传递性。在本文中,我们形式化的CRE属性,并引入一个图结构命名为ConcreteGraph。为了解决CRE中的数据稀缺问题,我们引入了一种新的数据增强方法来从图中抽取新的概念对。由于大量的潜在概念对使得数据增强难以完全捕获ConcreteGraph的结构信息,因此我们进一步引入了一种新的图组件对比学习框架来隐式地学习ConcreteGraph的完整结构。在三个数据集上的实证结果表明,与最先进的模型相比,该模型有显着的改进。详细的消融研究表明,我们提出的方法可以有效地捕捉概念之间的高阶关系。
2022-11-30 cs.CL
Understanding Hard Negatives in Noise Contrastive Estimation
Rutgers University(罗格斯大学)
反例的选择是噪声对比估计中的一个重要问题。最近的研究发现,硬否定--模型下得分最高的不正确例子--在实践中是有效的,但它们的使用没有正式的理由。我们开发分析工具来了解硬底片的作用。具体来说,我们认为对比损失作为交叉熵损失的梯度的有偏估计,并从理论和经验上表明,设置负分布的模型分布的结果减少偏差。我们还得到了一个一般形式的分数函数,统一了文本检索中使用的各种架构。通过将硬否定与适当的评分函数相结合,我们在具有挑战性的zero-shot实体链接任务上获得了强有力的结果。
2021-04-13 cs.CL cs.LG
COALA: Robust Contextualized Speech-augmented Language Modeling for ASR via Contrastive Regularizer and Biasing Score Estimation
National Taiwan Normal University(国立台湾师范大学)
研究旨在增强复杂多实体场景中的语音增强语言模型,提出COALA框架,通过将SLM潜在表示映射到判别空间量化匹配强度,并解决训练崩溃问题,在LibriSpeech基准上实现了卓越的上下文偏差性能。
2026-07-10 cs.CL
Adversarial Contrastive Estimation
Borealis AI;University of Toronto(多伦多大学)
正负样本对比学习是许多方法普遍采用的策略。用于词嵌入的噪声对比估计(NCE)和用于知识图谱的翻译嵌入是采用这种方法的NLP中的示例。在这项工作中,我们将对比学习视为所有此类方法的抽象,并将负采样器增加到包含逆向学习采样器的混合分布中。由此产生的自适应采样器会找到更难的负样本,这迫使主模型学习更好的数据表示。我们评估了我们关于学习词嵌入,顺序嵌入和知识图谱嵌入的建议,并观察到更快的收敛速度和多个指标的改进结果。
2018-08-02 cs.AI cs.CL cs.LG
A Batch Noise Contrastive Estimation Approach for Training Large Vocabulary Language Models
Saarland University(萨尔大学)
训练大词汇量神经网络语言模型(NNLM)是一项艰巨的任务,因为输出层归一化的明确要求,通常涉及在完整词汇表上评估完整的softmax函数。本文提出了一种批噪声对比估计(B-NCE)的方法来缓解这个问题。这是通过在每个时间步将词汇减少到批处理中的目标词,然后用噪声对比估计方法替换softmax来实现的,其中这些词同时扮演目标和噪声样本的角色。在这样做时,所提出的方法可以充分制定和实施使用最佳的密集矩阵运算。应用B-NCE在大文本压缩基准测试(LTCB)和十亿字基准测试(OBWB)上对不同的NNLM进行训练,显示出训练时间的显著减少,而模型性能没有明显下降。本文还提出了一个新的基线比较研究不同的标准NNLM上的大型OBWB在一个泰坦-X GPU。
2017-08-22 cs.AI cs.CL
ReNCE: Learning to Reason by Noise Contrastive Estimation
Rutgers University(罗杰斯大学)
ReNCE通过噪声对比估计学习提升大语言模型的推理能力,采用显式对比学习方法在数学基准测试中表现优异。
2026-01-30 cs.CL cs.LG
Grounded or Guessing? LVLM Confidence Estimation via Blind-Image Contrastive Ranking
Michigan State University(密歇根州立大学);Independent AI Researcher(独立AI研究员);JPMorgan AI Research(摩根大通AI研究);Henry Ford Health(亨利福特健康)
本文提出BICR框架,通过对比真实图像与遮蔽图像的隐藏状态,评估LVLM的置信度,实现跨模型的校准与判别性能优化。
2026-09-22 cs.CL
Improved training of neural trans-dimensional random field language models with dynamic noise-contrastive estimation
Tsinghua University(清华大学)
本文提出了一种新的全句语言模型--神经跨维随机场语言模型(neural TRF LM),它将句子建模为随机场的集合,势函数由一个神经网络定义。在本文中,我们扩展了NCE,并提出了动态噪声对比估计(DNCE)来解决NCE训练中观察到的两个问题。首先,引入动态噪声分布并同时训练以收敛到数据分布。这有助于显著减少NCE中使用的噪声样本数量,并降低训练成本。第二,DNCE区分从噪声分布生成的句子和从数据分布和噪声分布的插值生成的句子。这消除了由训练集的稀疏性引起的过拟合问题。利用DNCE,我们可以在大规模语料库(约8亿字)和大词汇量(约568 K字)上成功有效地训练神经TRF LM。神经TRF LM与LSTM LM一样好,参数更少,并且在重新评分句子时快5倍~ 114倍。用LSTM LM和n-gram LM插值神经TRF LM可以进一步降低出错率。
2018-07-03 cs.CL stat.ML
Learning neural trans-dimensional random field language models with noise-contrastive estimation
Tsinghua University(清华大学)
跨维随机场语言模型(TRF LM)将句子建模为随机场的集合,在语音识别中表现出与LSTM LM接近的性能,并且在推理中计算效率更高。然而,神经TRF LM的训练效率并不令人满意,这限制了TRF LM在大型训练语料库上的可扩展性。在本文中,提出了几种技术的模型制定和参数估计,以提高训练效率和性能的神经TRF LM。首先,TRF被重新制定的形式指数倾斜的参考分布。其次,噪声对比估计(NCE)被引入到联合估计模型参数和归一化常数。第三,我们通过将深度卷积神经网络(CNN)和双向LSTM结合到势函数中来扩展神经TRF LM,以提取深度层次特征和双向序列特征。利用所有上述技术,可以在40倍大的训练集上成功有效地训练神经TRF LM,只需1/3的训练时间,并进一步降低WER,在强大的LSTM LM基线基础上相对降低4.7%。
2017-10-30 cs.CL stat.ML
A Multi-view Mask Contrastive Learning Graph Convolutional Neural Network for Age Estimation
Central South University of Forestry and Technology(中南林业科技大学);State University of New York(纽约州立大学)
针对年龄估计中面部特征建模的不灵活性问题,提出多视图掩码对比学习图卷积神经网络(MMCL-GCN),通过非对称孪生网络提取特征并结合多层极限学习机进行估计,在多个基准数据集上有效降低了误差。
2024-07-23 cs.CL cs.CV
Noise Contrastive Estimation and Negative Sampling for Conditional Models: Consistency and Statistical Efficiency
University of Pennsylvania(宾夕法尼亚大学);Google AI Language(谷歌人工智能语言团队);Columbia University(哥伦比亚大学)
噪声对比估计(NCE)是对数线性模型的一种强大的参数估计方法,它避免了在每个训练步骤中计算配分函数或其导数,这在许多情况下是一个计算量很大的步骤。它与现在广泛用于NLP的负采样方法密切相关。本文考虑了条件模型的基于NCE的估计。条件模型在实践中经常遇到,但是在这种情况下,还没有一个严格的理论分析NCE,我们将认为有微妙的,但重要的问题时,一般NCE的条件的情况。特别是,我们分析了条件模型的NCE的两个变体:一个基于分类目标,另一个基于排名目标。我们表明,排名为基础的变体NCE提供一致的参数估计比基于分类的方法在较弱的假设下,我们分析了排名为基础的和基于分类的变体NCE的统计效率,最后,我们描述了实验合成数据和语言建模显示的有效性和权衡这两种方法。
2018-09-06 cs.CL cs.LG stat.ME
Bi-Directional Lattice Recurrent Neural Networks for Confidence Estimation
ALTA Institute(ALTA研究所);Cambridge University(剑桥大学)
减轻由自动语音识别系统产生的错误的标准方法是使用与每个预测单词相关联的置信度分数。在最简单的情况下,这些分数是单词后验概率,而更复杂的方案则利用双向递归神经网络(BiRNN)模型。然而,许多上游和下游应用程序依赖于不仅分配给1-最佳假设,而且分配给混淆网络或网格中的所有单词的置信度分数。这些包括但不限于说话人自适应,半监督训练和信息检索。虽然单词后验可以在这些应用中用作置信度分数,但已知它们具有可靠性问题。为了使改进的置信度更普遍,本文展示了如何将BiRNN从1-最佳序列扩展到混淆网络和格结构。实验是使用剑桥大学提交给IARPA OpenKWS 2016竞赛的一个作品进行的。结果表明,混淆网络和基于格的BiRNN可以显着提高置信度估计。
2019-02-18 cs.CL cs.LG cs.SD
ToxiGAN: Toxic Data Augmentation via LLM-Guided Directional Adversarial Generation
Freie Universität Berlin(弗里德里希-莱布尼茨柏林大学);Fraunhofer-Institut für Offene Kommunikationssysteme(弗劳恩霍夫开放通信系统研究所);Institut für Angewandte Informatik(应用信息研究所);Stanford University(斯坦福大学)
ToxiGAN通过LLM引导的定向对抗生成方法,提升有毒数据增强的可控性和类别特定性,有效增强分类器鲁棒性。
2026-01-06 cs.AI cs.CL cs.LG
Critical Tokens Matter: Token-Level Contrastive Estimation Enhances LLM's Reasoning Capability
Tencent AI Lab(腾讯AI实验室)
本研究提出关键令牌概念与令牌级对比估计框架cDPO,通过识别替换推理轨迹中的关键令牌优化LLM训练,在多个基准和模型上验证了其提升数学推理能力的有效性。
2025-01-13 cs.AI cs.CL cs.LG