A Contrastive Divergence for Combining Variational Inference and MCMC
Columbia University(哥伦比亚大学);University of Cambridge(剑桥大学);DeepMind(深度思考)
我们开发了一种方法,结合马尔可夫链蒙特卡罗(MCMC)和变分推断(VI),利用这两种推理方法的优点。具体来说,我们通过运行几个MCMC步骤来改进变分分布。为了使推理易于处理,我们引入了变分对比发散(VCD),这是一种新的发散,取代了VI中使用的标准Kullback-Leibler(KL)发散。VCD捕获初始变分分布与其改进版本(在运行MCMC步骤后获得)之间的差异的概念,并且它渐近收敛于变分分布与感兴趣的后验之间的对称化库尔贝克-莱布勒散度。VCD目标可以通过随机最优化相对于变参数有效地优化。我们的实验表明,优化VCD导致更好的预测性能的两个潜变量模型:逻辑矩阵分解和变分自动编码器(VAE)。
2019-05-28 cs.LG stat.ML
Noise-Contrastive Estimation for Multivariate Point Processes
Johns Hopkins University(约翰斯·霍普金斯大学)
生成模型的对数似然性通常涉及正项和负项。对于一个时间多变量点过程,负项对每个时刻所有可能的事件类型求和,也对所有可能的时间积分。因此,最大似然估计是昂贵的。我们将展示如何应用噪声对比估计的一个版本-一种具有较低成本随机目标的一般参数估计方法。我们的具体实例,这个一般的想法工程在一个有趣的非平凡的方式,并已证明其最优性,一致性和效率的保证。在几个合成和真实世界的数据集上,我们的方法显示出了优势:为了使模型在保留数据上达到相同的对数似然水平,我们的方法需要更少的函数评估和更少的挂钟时间。
2020-11-02 cs.LG stat.ML
SoftCVI: Contrastive variational inference with self-generated soft labels
School of Mathematics, Bristol University, UK(数学系,布里斯托尔大学)
SoftCVI通过对比估计框架将变分分布参数化为分类器,利用未归一化后验生成软标签进行训练,无需正负样本,在多种贝叶斯推断任务中实现了稳定且覆盖质量的推断性能。
2025-05-04 cs.LG stat.ML
Analysis of Noise Contrastive Estimation from the Perspective of Asymptotic Variance
Harvard University(哈佛大学);The University of Tokyo(东京大学)
有许多模型,通常被称为非归一化模型,其归一化常数不是以封闭形式计算的。极大似然估计不直接适用于非归一化模型。分数匹配法、对比发散法、伪似然法、蒙特卡罗极大似然法和噪声对比估计法是估计这类模型参数的常用方法。在本文中,我们专注于NCE。从NCE导出的估计量是一致的和渐近正态的,因为它是一个M-估计量。NCE的特点是使用辅助分布来计算归一化常数,其精神与重要性抽样相同。此外,有几个候选人作为NCE的目标函数。我们专注于如何减少渐近方差。首先,我们提出了一种方法,通过估计辅助分布的参数来减少渐近方差。然后,我们确定目标函数的形式,其中渐近方差在原始估计类和建议的估计类中取最小值。我们进一步分析了估计的鲁棒性。
2018-08-24 cs.LG stat.ML
Variational Noise-Contrastive Estimation
School of Informatics University of Edinburgh(爱丁堡大学信息学院);University of Edinburgh(爱丁堡大学)
非标准化潜变量模型是一类广泛而灵活的统计模型。然而,从数据中学习它们的参数是棘手的,并且目前很少有估计技术可用于此类模型。为了增加我们的武器库中的技术数量,我们提出了变分噪声对比估计(VNCE),建立在NCE的基础上,NCE是一种仅适用于非归一化模型的方法。其核心思想是使用一个变分下界的NCE目标函数,它可以优化的证据下界(ELBO)在标准变分推断(VI)相同的方式。我们证明了VNCE既可以用于非正态化模型的参数估计,也可以用于潜变量的后验推断。开发的理论表明,VNCE具有与标准VI相同的通用性水平,这意味着在那里取得的进展可以直接导入非标准化设置。我们验证VNCE玩具模型,并将其应用到一个现实的问题,估计一个无向图形模型不完整的数据。
2019-02-24 cs.LG stat.ML
Analyzing and Improving the Optimization Landscape of Noise-Contrastive Estimation
Carnegie Mellon University(卡内基梅隆大学)
噪声对比估计(NCE)是一种用于学习非归一化概率模型的统计一致性方法。根据经验观察到,噪声分布的选择对于NCE的性能至关重要。然而,这种观察从未被正式或量化。事实上,甚至不清楚由选择不当的噪声分布引起的困难本质上是统计的还是算法的。在这项工作中,我们正式查明NCE的性能不佳的原因时,使用不适当的噪声分布。也就是说,我们证明这些挑战是由于一个行为不端(更准确地说,平坦)的损失景观。为了解决这个问题,我们引入了一种称为“eNCE”的NCE变体,它使用指数损失,并且当目标和噪声分布在给定的指数族中时,归一化梯度下降可证明地解决了景观问题。
2021-10-21 cs.LG stat.ML
Contrastive Predictive Coding Done Right for Mutual Information Estimation
Department of EECS, MIT(麻省理工学院电子工程与计算机科学系);Department of Computer Science, University of Rochester(罗切斯特大学计算机科学系)
InfoNCE目标,最初介绍了对比表示学习,已成为一个流行的选择互信息(MI)估计,尽管其间接连接到MI。在本文中,我们证明了为什么InfoNCE不应该被视为一个有效的MI估计,我们介绍了一个简单的修改,我们称之为InfoNCE锚,准确的MI估计。我们的修改引入了一个辅助锚类,使一致的密度比估计,并产生一个插件MI估计显着减少的偏见。除此之外,我们使用适当的评分规则来概括我们的框架,当采用日志评分时,该规则将InfoNCE锚恢复为特殊情况。这种表述将广泛的对比目标,包括NCE、InfoNCE和$f$ -发散变体统一在一个原则性框架下。经验上,我们发现,InfoNCE锚与日志得分实现最准确的MI估计,然而,在自我监督的表示学习实验中,我们发现,锚不提高下游任务的性能。这些研究结果证实,对比表示学习受益于准确的MI估计本身,但从结构化密度比的学习。
2025-10-29 cs.IT cs.LG math.IT
Statistical applications of contrastive learning
University of Edinburgh(爱丁堡大学)
似然函数在统计推断和实验设计中起着至关重要的作用。然而,它是计算上棘手的几个重要类别的统计模型,包括基于能量的模型和基于模拟器的模型。对比学习是一种直观的和计算上可行的替代基于可能性的学习。在这里,我们首先提供了一个介绍对比学习,然后展示了我们如何使用它来获得不同的统计问题的方法,即基于能量的模型的参数估计,贝叶斯推断基于模拟器的模型,以及实验设计。
2022-04-29 cs.LG stat.ML
A Unified View on Learning Unnormalized Distributions via Noise-Contrastive Estimation
Department of EECS, MIT, Cambridge, Massachusetts, USA(麻省理工学院电子工程与计算机科学系)
本文通过噪声对比估计(NCE)视角,统一了各社区独立提出的非归一化分布学习方法,并为指数族估计器建立了有限样本收敛速率。
2025-07-14 cs.LG math.ST stat.ML
Forget-me-not! Contrastive Critics for Mitigating Posterior Collapse
Columbia University(哥伦比亚大学)
变分自编码器(VAE)遭受后验崩溃,其中用于建模和推理的强大神经网络优化目标,而没有有意义地使用潜在表示。我们引入推理批评,检测和激励后崩溃,要求潜变量和观察之间的对应关系。通过将批评者的目标与自监督对比表示学习中的文献相连接,我们从理论和经验上证明了优化推理批评者增加了观察和潜在之间的互信息,减轻了后崩溃。这种方法很容易实现,并且需要比现有方法少得多的训练时间,但在三个已建立的数据集上获得了有竞争力的结果。总的来说,该方法为使用变分自编码器桥接先前断开的对比学习和概率建模框架奠定了基础,强调了两个社区在其交叉点可能会发现的好处。
2022-07-19 cs.LG stat.ML
Conditional Noise-Contrastive Estimation of Unnormalised Models
RWTH Aachen University(亚琛工业大学);University of Edinburgh(爱丁堡大学)
许多参数统计模型没有被适当地归一化,并且仅被指定到难以处理的分区函数,这使得参数估计困难。非标准化模型的例子是吉布斯分布、马尔可夫随机场和无监督深度学习中的神经网络模型。在以前的工作中,引入了称为噪声对比估计(NCE)的估计原理,其中通过学习区分数据和辅助噪声来估计非归一化模型。一个悬而未决的问题是如何最好地选择辅助噪声分布。我们在这里提出了一种新的方法来解决这个问题。所提出的方法与NCE共享将密度估计公式化为监督学习问题的想法,但与NCE相反,所提出的方法在生成噪声样本时利用观察到的数据。因此,可以以半自动的方式产生噪声。我们首先介绍了新方法的基本理论,表明分数匹配出现作为一个限制的情况下,验证方法的连续和离散值的合成数据,并表明,我们可以预期一个改进的性能相比,NCE时,数据位于一个低维流形。然后,我们通过估计一个四层神经图像模型来证明它在无监督深度学习中的适用性。
2018-06-10 cs.LG stat.ML
Why (and When and How) Contrastive Divergence Works
对比发散(CD)是一种很有前途的方法推断高维分布与棘手的归一化常数,然而,证明其使用的理论基础有些不稳定。本文提出了一个理解CD推理的框架,它如何/何时工作,并为CD矩条件提供了多种理由,包括将它们框定为变分近似。进行推理的算法进行了讨论,并适用于社会网络数据使用指数族随机图模型(ERGM)。该框架还提供了有关如何构建MCMC内核的指导,这些内核提供了良好的CD推断,这与通常用于提供快速全局混合的内核有很大不同。
2014-05-03 stat.ME stat.ML
Do More Negative Samples Necessarily Hurt in Contrastive Learning?
Google Research(谷歌研究院)
噪声对比估计的最近调查表明,无论是经验上还是理论上,虽然在对比损失中具有更多的“负样本”最初提高了下游分类性能,但超过阈值,由于“冲突-覆盖”权衡,它损害了下游性能。但这种现象是对比学习固有的吗?我们在一个简单的理论设置中表明,通过从底层潜在类(由Saunshi等人介绍)中采样生成正对(ICML 2019),优化(群体)对比损失的表示的下游性能实际上不会随着负样本的数量而降低。一路上,我们给出了我们的框架中的最佳表示的结构特征,用于噪声对比估计。我们还为CIFAR-10和CIFAR-100数据集上的理论结果提供了实证支持。
2022-06-22 cs.LG stat.ML
Tight Mutual Information Estimation With Contrastive Fenchel-Legendre Optimization
Virginia Tech(弗吉尼亚理工大学);Duke University(杜克大学);KAUST(阿卜杜拉国王科技大学);Amazon(亚马逊)
InfoNCE及其变体的成功应用推广了对比变分互信息(MI)估计在机器学习中的应用。虽然具有优越的稳定性,但这些估计器严重依赖于昂贵的大批量训练,并且为了减少方差而牺牲了边界的紧密性。为了克服这些局限性,我们重新审视流行的变分MI边界的数学从镜头的非规范化的统计建模和凸优化。我们的调查不仅产生了一个新的统一的理论框架,包括流行的变分MI界限,但也导致了一种新的,简单的,强大的对比MI估计命名为FLO。理论上,我们证明了FLO估计是紧的,并且在随机梯度下降下可证明收敛。从经验上讲,我们的FLO估计器克服了前人的局限性,学习效率更高。FLO的效用是使用一组广泛的基准测试,这也揭示了在实际MI估计的权衡验证。
2022-10-24 cs.AI cs.IT cs.LG
Learning Predictive Representations for Deformable Objects Using Contrastive Estimation
University of California, Berkeley(加州大学伯克利分校);New York University(纽约大学)
使用基于视觉模型的学习变形对象操作是具有挑战性的,由于学习规划的视觉表示以及复杂的动态模型的困难。在这项工作中,我们提出了一个新的学习框架,共同优化的视觉表示模型和动态模型,使用对比估计。使用随机扰动桌子上的可变形对象收集的模拟数据,我们学习这些对象的潜在动力学模型在离线的方式。然后,使用学习到的模型,我们使用简单的基于模型的规划来解决具有挑战性的可变形对象操作任务,例如伸展绳索和布料。在实验中,我们在我们的绳子和布料操作套件中显示出比标准的基于模型的学习技术性能的实质性改进。最后,我们通过域随机化将我们在模拟中收集的数据上训练的视觉操作策略转移到真实的PR2机器人上。
2020-03-11 cs.CV cs.LG cs.RO
Contrastive Mixture of Posteriors for Counterfactual Inference, Data Integration and Fairness
Microsoft Research(微软研究院);BenevolentAI(BenevolentAI公司);University of Oxford(牛津大学);Human Technopole(人类技术园)
学习有意义的数据表示,可以解决诸如批量效应校正和反事实推理等挑战,是包括计算生物学在内的许多领域的核心问题。采用条件VAE框架,我们表明,边际独立的表示和条件变量之间起着关键作用,在这两个挑战。我们提出了对比混合后验(CoMP)的方法,使用一种新的错位罚款定义的混合物的变分后验来执行这种独立性在潜在的空间。我们发现,CoMP有吸引力的理论特性相比,以前的方法,我们证明了反事实的CoMP下的额外假设的可识别性。我们在一系列具有挑战性的任务上展示了最先进的性能,包括将人类肿瘤样本与癌细胞系对齐,预测转录组水平的扰动响应,以及对单细胞RNA测序数据进行批量校正。我们还发现了与公平表示学习的相似之处,并证明了CoMP在该领域的共同任务上具有竞争力。
2022-06-26 cs.LG q-bio.GN stat.ML
Flow Contrastive Estimation of Energy-Based Models
UCLA(加州大学洛杉矶分校);Google(谷歌)
本文研究了一种联合估计基于能量的模型和基于流量的模型的训练方法,其中两个模型基于共享的对抗值函数迭代更新。这种联合训练方式具有以下特点。(1)基于能量的模型的更新基于噪声对比估计,其中流动模型充当强噪声分布。(2)流模型的更新近似地最小化流模型和数据分布之间的Jensen-Shannon发散。(3)与生成对抗网络(GAN)估计由生成器模型定义的隐式概率分布不同,我们的方法估计数据上的两个显式概率分布。使用所提出的方法,我们证明了一个显着的改进的合成质量的流模型,并显示了有效的无监督特征学习的学习基于能量的模型。此外,所提出的训练方法可以很容易地适应半监督学习。我们取得了有竞争力的结果,最先进的半监督学习方法。
2020-04-01 cs.CV cs.LG stat.ML
Embed and Emulate: Contrastive representations for simulation-based inference
The University of Chicago(芝加哥大学)
本文提出基于对比学习的SBI新方法E&E,通过学习低维潜在嵌入和快速仿真器高效处理高维数据与多模态后验,无需昂贵模拟即可实现优于现有方法的参数估计。
2024-09-27 cs.LG stat.ML
Representation learning for maximization of MI, nonlinear ICA and nonlinear subspaces with robust density ratio estimation
Future University Hakodate(函馆未来大学);National Graduate Institute for Policy Studies(政策研究大学院大学);RIKEN AIP(理化学研究所先进智能项目中心)
对比学习是无监督表示学习中一种很有前途的方法,其中数据的特征表示是通过解决来自未标记数据的伪分类问题来学习的。然而,理解对比学习产生什么并不简单。另外,对比学习通常基于最大似然估计,这往往容易受到离群值的污染。为了加深对对比学习的理解,本文首先从理论上揭示了互信息(MI)最大化的联系。我们的结果表明,在一定条件下,密度比估计是极大化MI的充分必要条件。因此,与密度比估计相关的对比学习,如在流行的目标函数中所做的,可以被解释为最大化MI。其次,利用密度比,我们建立了非线性独立分量分析(ICA)中潜在源分量的新恢复条件。与现有的工作相比,所建立的条件包括一个新的洞察数据的维数,这是明确的支持数值实验。此外,受非线性ICA的启发,我们提出了一种新的框架来估计低维潜在源分量的非线性子空间,并建立了一些理论条件的子空间估计的密度比。然后,我们提出了一种实用的方法,通过离群鲁棒密度比估计,它可以看作是执行最大化的MI,非线性ICA或非线性子空间估计。此外,还提出了一种样本有效的非线性ICA方法。我们从理论上研究了所提出的方法的离群鲁棒性。最后,所提出的方法的有用性数值证明在非线性ICA和通过应用到线性分类。
2022-08-08 cs.LG eess.SP stat.ML
Improved training of neural trans-dimensional random field language models with dynamic noise-contrastive estimation
Tsinghua University(清华大学)
本文提出了一种新的全句语言模型--神经跨维随机场语言模型(neural TRF LM),它将句子建模为随机场的集合,势函数由一个神经网络定义。在本文中,我们扩展了NCE,并提出了动态噪声对比估计(DNCE)来解决NCE训练中观察到的两个问题。首先,引入动态噪声分布并同时训练以收敛到数据分布。这有助于显著减少NCE中使用的噪声样本数量,并降低训练成本。第二,DNCE区分从噪声分布生成的句子和从数据分布和噪声分布的插值生成的句子。这消除了由训练集的稀疏性引起的过拟合问题。利用DNCE,我们可以在大规模语料库(约8亿字)和大词汇量(约568 K字)上成功有效地训练神经TRF LM。神经TRF LM与LSTM LM一样好,参数更少,并且在重新评分句子时快5倍~ 114倍。用LSTM LM和n-gram LM插值神经TRF LM可以进一步降低出错率。
2018-07-03 cs.CL stat.ML
Provable benefits of annealing for estimating normalizing constants: Importance Sampling, Noise-Contrastive Estimation, and beyond
Université Paris-Saclay(巴黎萨克雷大学);Inria(法国国家信息与自动化研究所);CEA(法国原子能和替代能源委员会);University of Helsinki(赫尔辛基大学);Carnegie-Mellon University(卡内基梅隆大学)
该研究针对退火法估计归一化常数的设计选择缺乏效率理论的问题,通过渐近误差分析对比估计器与分布路径的性能,证明算术路径的最优性并提出高效逼近最优路径的两步估计器。
2023-10-09 cs.LG stat.ML
Learning neural trans-dimensional random field language models with noise-contrastive estimation
Tsinghua University(清华大学)
跨维随机场语言模型(TRF LM)将句子建模为随机场的集合,在语音识别中表现出与LSTM LM接近的性能,并且在推理中计算效率更高。然而,神经TRF LM的训练效率并不令人满意,这限制了TRF LM在大型训练语料库上的可扩展性。在本文中,提出了几种技术的模型制定和参数估计,以提高训练效率和性能的神经TRF LM。首先,TRF被重新制定的形式指数倾斜的参考分布。其次,噪声对比估计(NCE)被引入到联合估计模型参数和归一化常数。第三,我们通过将深度卷积神经网络(CNN)和双向LSTM结合到势函数中来扩展神经TRF LM,以提取深度层次特征和双向序列特征。利用所有上述技术,可以在40倍大的训练集上成功有效地训练神经TRF LM,只需1/3的训练时间,并进一步降低WER,在强大的LSTM LM基线基础上相对降低4.7%。
2017-10-30 cs.CL stat.ML
The "Law" of the Unconscious Contrastive Learner: Probabilistic Alignment of Unpaired Modalities
Princeton University(普林斯顿大学)
本文从理论上证明,在特定假设下,未配对模态的对比表示可直接比较并恢复似然比,并提出在预训练模型和强化学习语言歧义处理中的两种新应用。
2025-01-20 cs.LG stat.ML
Contrastive Pessimistic Likelihood Estimation for Semi-Supervised Classification
Delft University of Technology(代尔夫特理工大学);University of Copenhagen(哥本哈根大学)
半监督分类器的改进保证目前只能在数据的限制条件下给出。我们提出了一种通用的方法来执行半监督参数估计的似然为基础的分类器,在完整的训练集,估计永远不会比监督的解决方案的对数似然。此外,我们认为,在特定情况下,我们可以期望这些解决方案能够真正改善监督分类器。在LDA的一个例子中,我们进一步证明了它的半监督版本严格优于其监督版本。形成我们估计原则核心的两个新概念是对比和悲观。前者指的是我们的目标函数考虑了监督估计,使半监督解决方案能够显式控制对该估计的潜在改进。后者指的是我们的估计是保守的,因此弹性的任何形式的真实标签的未标记的数据takeson.Experiments证明的改善,在独立的测试集上的对数似然和分类错误率。
2015-05-10 cs.LG stat.ME stat.ML
Optimizing the Noise in Self-Supervised Learning: from Importance Sampling to Noise-Contrastive Estimation
University of Helsinki(赫尔辛基大学);Université Paris-Saclay(巴黎萨克雷大学);Inria(法国国家信息与自动化研究所);CEA(法国原子能和替代能源委员会)
自监督学习是一种越来越受欢迎的无监督学习方法,实现了最先进的结果。一种流行的方法是在分类任务中对比数据点和噪声点:这需要一个良好的噪声分布,而噪声分布是出了名的难以指定。虽然缺乏全面的理论,但人们普遍认为,最佳噪声分布在实践中应该等于数据分布,就像生成对抗网络(GANs)一样。我们在这里从经验和理论上挑战这一假设。我们转向噪声对比估计(NCE),它将这种自我监督任务作为基于能量的数据模型的估计问题。这将噪声分布的最优性与估计器的样本效率联系起来,样本效率被严格定义为其渐近方差或均方误差。在特殊的情况下,只有归一化常数是未知的,我们表明,NCE恢复家庭的重要性抽样估计的最佳噪声确实是等于数据分布。然而,在能量也是未知的一般情况下,我们证明了最佳的噪声密度是数据密度乘以基于Fisher得分的校正项。特别地,最优噪声分布不同于数据分布,并且甚至来自不同的族。然而,我们清醒地得出结论,最佳噪声可能很难从中采样,并且与选择等于数据的噪声分布相比,效率的增益可能是适度的。
2023-01-23 cs.LG stat.ML
UCD: Unlearning in LLMs via Contrastive Decoding
MIT(麻省理工学院);Boston University(波士顿大学)
本研究针对大语言模型的机器遗忘需求,提出基于对比解码的推理阶段遗忘算法UCD,通过两个不同训练设置的小模型引导原模型输出,在TOFU和MUSE基准上实现了遗忘效果与模型效用的更好平衡。
2025-06-12 cs.CL cs.CR cs.LG
RenyiCL: Contrastive Representation Learning with Skew Renyi Divergence
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
对比表征学习试图通过估计数据的多个视图之间的共享信息来获得有用的表征。在这里,数据增强的选择对学习表示的质量很敏感:随着数据增强的应用,视图共享更多的任务相关信息,但也与任务无关,这可能会阻碍表示的泛化能力。基于此,我们提出了一种新的鲁棒对比学习方案,称为RényiCL,它可以通过利用Rényi发散来有效地管理更难的增强。我们的方法是建立在Rényi散度的变分下界上的,但是由于方差很大,变分方法的天真使用是不切实际的。为了应对这一挑战,我们提出了一个新的对比目标,该目标对偏斜Rényi分歧进行变分估计,并为偏斜分歧的变分估计如何导致稳定的训练提供理论保证。我们表明,Rényi对比学习目标执行先天的硬负采样和容易的正采样,同时,它可以选择性地学习有用的功能,忽略讨厌的功能。通过在ImageNet上的实验,我们证明了具有更强增强的Rényi对比学习优于其他自监督方法,而无需额外的正则化或计算开销。此外,我们还验证了我们的方法在其他领域,如图形和表格,显示经验增益比其他对比方法。
2023-01-17 cs.LG stat.ML
Contrastive representations of high-dimensional, structured treatments
Spotify;Imperial College London(帝国理工学院);University College London(伦敦大学学院)
针对高维结构化处理(如文本、视频)的因果效应估计挑战,本文提出一种新颖的对比表示方法,可识别潜在因果因素并丢弃非因果相关因素,实现无偏估计并在合成与真实数据集上验证效果。
2024-11-28 cs.AI cs.LG stat.ML
Towards noise contrastive estimation with soft targets for conditional models
European Bioinformatics Institute(欧洲生物信息研究所);European Molecular Biology Laboratory(欧洲分子生物学实验室)
针对标准InfoNCE无法结合软目标的局限,提出兼容概率目标的软目标InfoNCE损失,在ImageNet等基准上性能媲美软目标交叉熵基线、优于硬目标相关损失,且易实现适配现有分类模型。
2024-07-15 cs.CV cs.LG stat.ML
Monaural Audio Speaker Separation with Source Contrastive Estimation
Lab41, In-Q-Tel Laboratories(Lab41,In-Q-Tel实验室)
我们提出了一个算法,同时发言的人从彼此分离,“鸡尾酒会问题”,使用一个麦克风。我们的方法涉及深度递归神经网络回归到描述独立说话者的向量空间。这样的向量空间可以嵌入凭经验确定的扬声器特性,并且通过区分扬声器掩码来优化。我们称这种技术为源对比估计。该方法受到负采样的启发,负采样在自然语言处理中取得了成功,其中通过将给定的输入向量与输出权重进行相关和解相关来学习嵌入。虽然由输出权重确定的矩阵取决于一组已知的扬声器,但我们在推理期间仅使用输入向量。这样做将确保声源分离是显式地与说话者无关的。我们的方法类似于最近的深度神经网络聚类和置换不变训练研究;我们使用加权频谱特征和掩码来增强单个扬声器频率,同时过滤掉其他扬声器。然而,我们避免了其他方法与我们的技术严重的计算负担。此外,通过训练向量空间而不是不同说话者的组合或其差异,我们避免了训练期间的所谓排列问题。我们的算法提供了一个直观的,计算效率高的响应鸡尾酒会的问题,最重要的是拥有更好的经验性能比其他目前的技术。
2017-05-12 cs.AI cs.LG cs.SD
Calibrating simplified vine copulas with a noise contrastive estimation approach
Technical University of Munich(慕尼黑工业大学);University of Warwick(华威大学)
针对简化藤蔓连接函数在条件依赖变化显著时可能误设的问题,提出基于观测特定校正因子的校准策略,利用噪声对比估计(NCE)进行局部调整,提高模型准确性。
2026-06-12 stat.ME stat.ML
Controllable Guarantees for Fair Outcomes via Contrastive Information Estimation
Information Sciences Institute, University of Southern California(南加州大学信息科学研究所);University of Southern California(南加州大学)
控制训练数据集中的偏差对于确保下游应用中不同群体之间的平等待遇或平等至关重要。一个简单的解决方案是转换数据,使其在统计上独立于组成员关系,但当需要在公平性和准确性之间进行合理的折衷时,这可能会丢弃太多的信息。另一种常见的方法是限制寻求最大化对等的特定对手的能力。不幸的是,对抗性方法产生的表示可能仍然存在偏见,因为它们的有效性与训练过程中使用的对手的复杂性有关。为此,我们从理论上建立,通过限制表示和保护属性之间的互信息,我们可以确保控制任何下游分类器的奇偶校验。我们证明了一种有效的方法,通过互信息的基础上对比信息估计控制奇偶校验,并表明它们优于依赖于变分边界的方法,基于复杂的生成模型。我们在UCI Adult和Heritage Health数据集上测试了我们的方法,并证明我们的方法在一系列所需的奇偶校验阈值上提供了更多信息,同时为任何下游算法的奇偶校验提供了强有力的理论保证。
2021-06-03 cs.LG stat.ML
Robust Multimodal Learning via Entropy-Gated Contrastive Fusion
针对现实多模态系统输入缺失时标准融合层无法兼顾鲁棒性与校准性的问题,提出轻量的自适应熵门控对比融合层AECF,在多数据集上显著提升掩码输入mAP、降低ECE,且仅增少量耗时,可即插即用。
2026-11-09 cs.LG stat.ML
Towards a Unified Framework of Contrastive Learning for Disentangled Representations
fortiss GmbH(fortiss 有限公司)
该研究将对比学习解耦的理论保证拓展至更广泛的对比方法家族,放宽数据分布假设,证明四种对比损失下真实隐变量的可辨识性,经基准数据集验证并探究了方法的实际局限。
2023-11-08 cs.LG stat.ML
Uncertainty in Graph Contrastive Learning with Bayesian Neural Networks
TU Delft(代尔夫特理工大学);ETH Zürich(苏黎世联邦理工学院);Helmholtz AI(亥姆霍兹人工智能中心)
本文提出用变分贝叶斯神经网络改进图对比学习的不确定性估计与半监督节点分类性能,并基于不同正样本的似然不一致性设计了一种新的对比学习不确定性度量。
2023-11-30 cs.AI cs.LG stat.ML