StrEBM: A Structured Latent Energy-Based Model for Blind Source Separation
PolyU(理工学院)
本文提出StrEBM,一种结构化潜在能量模型,用于源级结构化表示学习。通过盲源分离作为测试平台,验证了潜在维度向不同底层组件演化的有效性,并揭示了优化特性。
2026-04-19 cs.LG stat.ML
Two-Step Sound Source Separation: Training on Learned Latent Targets
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Mila--Quebec Artificial Intelligence Institute(Mila-魁北克人工智能研究所);Adobe Research(Adobe研究院)
在本文中,我们提出了一个两步的训练过程,通过深度神经网络的声源分离。在第一步中,我们学习到潜在空间的变换(并且它是逆变换),其中使用oracle的基于掩蔽的分离性能是最佳的。对于第二步,我们训练一个分离模块,该模块在先前学习的空间上操作。为了做到这一点,我们还利用了一个尺度不变的信号失真比(SI-SDR)的损失函数,在潜在的空间,我们证明了它下界SI-SDR在时域。我们运行各种声音分离实验,展示了这种方法如何获得更好的性能相比,学习变换和分离模块联合系统。所提出的方法是通用的,足以适用于一个大类的神经网络端到端的分离系统。
2019-10-23 cs.CL cs.LG cs.SD
Flash-Split: 2D Reflection Removal with Flash Cues and Latent Diffusion Separation
University of Maryland(马里兰大学)
本文提出Flash-Split框架,利用闪光/无闪光图像对在潜在空间中进行双阶段扩散分离与跨潜在解码,有效去除透明表面反射并恢复高分辨率细节,在真实场景中显著超越现有方法。
2024-12-31 cs.CV cs.LG
AR-Flow VAE: A Structured Autoregressive Flow Prior Variational Autoencoder for Unsupervised Blind Source Separation
Hong Kong Polytechnic University(香港理工大学);Wuhan University of Technology(武汉理工大学);The University of Hong Kong(香港大学)
本文提出AR-Flow VAE,通过自回归流先验提升潜变量建模灵活性,有效捕捉复杂非高斯行为和结构依赖,验证了其在盲源分离中的有效性。
2026-03-18 cs.LG stat.ML
LaSAFT: Latent Source Attentive Frequency Transformation for Conditioned Source Separation
Korea University(高丽大学);Korea National Open University(韩国国立开放大学)
最近的深度学习方法表明,频率变换(FT)模块可以通过捕获频率模式来显着改进基于频谱的单声源分离模型。本文的目标是扩展FT块,以适应多源任务。我们提出了潜在源注意频率变换(LaSAFT)块捕获源相关的频率模式。我们还提出了门控逐点卷积调制(GPoCM),逐点线性调制(FILM)的扩展,调制内部功能。通过采用这两种新的方法,我们扩展了条件U-Net(CUNet)的多声源分离,实验结果表明,我们的LaSAFT和GPoCM可以提高CUNet的性能,实现了最先进的SDR性能在几个MUSDB 18声源分离任务。
2021-04-14 cs.LG cs.SD eess.AS
SAHMM-VAE: A Source-Wise Adaptive Hidden Markov Prior Variational Autoencoder for Unsupervised Blind Source Separation
本文提出SAHMM-VAE,通过为每个潜在维度分配自适应的隐马尔可夫先验,实现无监督盲源分离的端到端学习,学习源特定的时间结构。
2026-03-26 cs.LG stat.ML
Latent Autoregressive Source Separation
Sapienza University of Rome(罗马第一大学);Ca’ Foscari University of Venice(威尼斯大学)
自回归模型在发电质量和下游任务性能方面在广泛的领域取得了令人印象深刻的结果。在连续域中,这种成功背后的关键因素是量化潜在空间的使用(例如,通过VQ-VAE自动编码器获得),这允许降维和更快的推理时间。然而,使用现有的预训练模型来执行新的非平凡任务是困难的,因为它需要额外的微调或广泛的训练来引发提示。本文介绍了LASS作为执行矢量量化潜在自回归声源分离(即,将输入信号去混合成其组成源),而不需要对现有模型进行附加的基于梯度的优化或修改。我们的分离方法依赖于贝叶斯公式,其中自回归模型是先验的,通过对加数令牌的潜在和进行频率计数来构建离散(非参数)似然函数。我们使用多种采样策略(例如,祖先的、束搜索)在分离质量方面显示出与现有方法竞争的结果,同时在推理时间和对更高维数据的可扩展性方面提供显著的加速。
2023-01-09 cs.LG cs.SD eess.AS
A Unified Latent Space Disentanglement VAE Framework with Robust Disentanglement Effectiveness Evaluation
Department of Applied and Computational Mathematics and Statistics(应用与计算数学与统计系);Lucy Family Institute for Data & Society(数据与社会学院)
提出统一框架bfVAE整合多种解缠VAE方法,并开发FVH-LT和DBSR-LS评估解缠效果,引入LSSI指标量化潜在结构分离,无需真实生成因子。
2026-06-12 cs.LG stat.ML
Stochastic Latent Actor-Critic: Deep Reinforcement Learning with a Latent Variable Model
DeepMind(深度思维);University of California, Berkeley(加州大学伯克利分校)
深度强化学习(RL)算法可以使用高容量深度网络直接从图像观察中学习。然而,这些高维观测空间在实践中提出了许多挑战,因为该策略现在必须解决两个问题:表示学习和任务学习。在这项工作中,我们分别解决这两个问题,通过显式学习可以加速图像的强化学习的潜在表示。我们提出了随机潜在行动者-评论家(SLAC)算法:一个样本高效和高性能的RL算法,用于直接从高维图像输入学习复杂连续控制任务的策略。SLAC提供了一种新的原则性方法,通过学习紧凑的潜在表示,然后在模型的学习潜在空间中执行RL,将随机序列模型和RL统一为一种方法。我们的实验评估表明,我们的方法优于无模型和基于模型的替代品的最终性能和样本效率,在一系列困难的基于图像的控制任务。我们的代码和我们的结果的视频可在我们的网站。
2020-10-26 cs.AI cs.LG stat.ML
Unsupervised Source Separation via Bayesian Inference in the Latent Domain
Sapienza University of Rome(罗马第一大学);Ca' Foscari University of Venice(威尼斯大学);University of Lugano(卢加诺大学)
现有技术的音频声源分离模型依赖于受监督的数据驱动方法,这在标记资源方面可能是昂贵的。另一方面,在没有任何直接监督的情况下训练这些模型的方法通常在内存和时间要求方面要求很高,并且在推理时仍然不切实际。我们的目标是解决这些限制,提出一个简单而有效的无监督分离算法,它直接对时域信号的潜在表示。我们的算法依赖于预先训练的自回归网络形式的深度贝叶斯先验来模拟每个源的概率分布。我们利用离散潜在空间的低基数,用一个新的损失项对其进行训练,在不依赖近似策略的情况下执行精确的贝叶斯推理。我们在Slakh数据集arXiv:1909.08494上验证了我们的方法,证明了结果符合最先进的监督方法,同时相对于其他无监督方法需要更少的资源。
2022-03-30 cs.LG cs.SD eess.AS
Latent Variable Modeling for Generative Concept Representations and Deep Generative Models
IBM(国际商业机器公司)
潜在表征是深层生成模型的本质,决定了它们的有用性和强大性。为了使潜在表示作为生成概念表示有用,它们的潜在空间必须支持潜在空间插值、属性向量和概念向量等。我们研究和讨论潜变量建模,包括潜变量模型,潜表示和潜空间,特别是层次潜表示和潜空间向量和几何。我们的重点是变分自编码器和生成对抗网络中使用的。
2018-12-26 cs.LG stat.ML
On the Variational Posterior of Dirichlet Process Deep Latent Gaussian Mixture Models
Orange Labs(Orange实验室);Institute Mines-Telecom Atlantique(大西洋矿业电信学院)
由于重新参数化技巧,深度潜在高斯模型最近在学习潜在表示方面取得了巨大的成功。然而,将它们与非参数先验(如狄利克雷过程(DP))耦合的能力由于其不可参数化的性质而没有看到类似的成功。本文提出了Dirichlet过程深潜高斯混合模型(DP-DLGMM)变分后验的另一种处理方法,证明了β分布和聚类隐变量的先验聚类参数和变分后验可以以封闭形式更新.这导致了一个标准的重新参数化技巧高斯隐变量知道集群分配。我们在标准基准数据集上展示了我们的方法,我们表明我们的模型能够为获得的每个聚类生成真实的样本,并在半监督设置中表现出竞争力。
2020-07-27 cs.AI cs.LG stat.ML
Sound Source Separation Using Latent Variational Block-Wise Disentanglement
Amazon Web Services(亚马逊云服务);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出一种混合DSP/DNN的声源分离方法,通过在潜在空间中将单通道欠定问题转化为多通道超定问题并利用变分块级解耦表示,结合可微排列损失和记忆机制,提升了对分布外数据的鲁棒性并降低过拟合风险。
2024-02-08 cs.LG cs.SD eess.AS
LightSAFT: Lightweight Latent Source Aware Frequency Transform for Source Separation
Korea University(高丽大学);Queen Mary University of London(伦敦玛丽女王大学);Korea National Open University(韩国国立开放大学)
条件源分离因其灵活性、适用性和广泛性而受到广泛关注。它们的性能通常不如现有的方法,如单源分离模型。然而,最近提出的一种称为LaSAFT-Net的方法表明,条件模型可以显示出与现有单源分离模型相当的性能。本文介绍了LightSAFT-Net,一个轻量级版本的LaSAFT-Net。作为基准,它提供了足够的SDR性能,可在ISMIR 2021的Music Demixing Challenge期间进行比较。本文还通过将编码器中的LightSAFT块替换为TFC-TDF块来增强现有的LightSAFT-Net。改进后的LightSAFT-Net在参数较少的情况下性能优于前一种方法。条件源分离因其灵活性、适用性和可扩展性而受到广泛关注。它们的性能通常不如现有的方法,如单源分离模型。然而,最近提出的一种称为LaSAFT-Net的方法表明,条件模型可以显示出与现有单源分离模型相当的性能。本文介绍了LightSAFT-Net,一个轻量级版本的LaSAFT-Net。作为基准,它提供了足够的SDR性能,可在ISMIR 2021的Music Demixing Challenge期间进行比较。
2022-01-26 cs.LG cs.SD eess.AS
Benefiting Deep Latent Variable Models via Learning the Prior and Removing Latent Regularization
National Chiao Tung University(台湾交通大学)
存在许多形式的深层潜变量模型,例如变分自编码器和对抗自编码器。无论模型的具体类别如何,都存在一个隐含的共识,即潜在分布应该朝着先验进行正则化,即使在先验分布被学习的情况下也是如此。在研究潜在正则化对图像生成的影响时,我们的结果表明,在学习了充分表达的先验知识的情况下,潜在正则化是不必要的,并且实际上可能对图像质量有害。我们还研究了在计算机视觉中两个常见问题上学习先验知识的好处:潜变量解纠缠和图像到图像翻译的多样性。
2020-07-16 cs.LG stat.ML
Circumventing Backdoor Defenses That Are Based on Latent Separability
Princeton University(普林斯顿大学);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
最近的研究表明,深度学习容易受到后门中毒攻击。攻击者可以在模型中嵌入隐藏的后门,通过修改少量训练数据来操纵模型的预测,而无需控制训练过程。目前,在各种各样的后门中毒攻击中已经广泛观察到了一个有形的签名--在中毒数据集上训练的模型倾向于学习有毒样本和干净样本的可分离的潜在表示。这种潜在分离是如此普遍,以至于一系列后门防御直接将其作为默认假设(称为潜在分离性假设),基于此通过潜在空间中的聚类分析来识别有毒样本。一个有趣的问题随之而来:潜在的分离是不可避免的后门中毒攻击?这个问题对于理解潜在可分性的假设是否为防御后门中毒攻击提供了可靠的基础至关重要。在本文中,我们设计了自适应后门中毒攻击,提出反例反对这一假设。我们的方法包括两个关键组成部分:(1)一组正确标记到其语义类(而不是目标类)的有毒样本,可以规范后门学习;(2)非对称触发器种植策略,有助于提高攻击成功率(ASR)以及多样化有毒样本的潜在表示。在基准数据集上的大量实验验证了我们的自适应攻击绕过现有的基于潜在分离的后门防御的有效性。此外,我们的攻击仍然保持了很高的攻击成功率,可以忽略不计的干净的准确性下降。我们的研究呼吁防御设计者在利用潜在分离作为防御假设时要谨慎。
2023-03-04 cs.CR cs.CV cs.LG
Correlative Information Maximization Based Biologically Plausible Neural Networks for Correlated Source Separation
Koc University(科奇大学);Uskudar American Academy(于斯屈达尔美国学院);Harvard University(哈佛大学)
本文提出一种生物合理的神经网络,通过最大化相关性信息传输并利用源域信息,克服了传统独立成分分析中潜在源必须独立的限制,实现了对相关源的卓越分离。
2023-04-08 cs.LG eess.SP
CodecSep: Prompt-Driven Universal Sound Separation on Neural Audio Codec Latents
Department of Electrical Engineering(电气工程系);Indian Institute of Technology, Kanpur(印度理工学院,坎浦尔)
CodecSep通过在神经音频编解码器潜在空间中直接提取声源,实现开放词汇声音分离,相比AudioSep在SI-SDR指标上表现更优,且在ViSQOL和MOS-LQS上取得显著提升,同时提供低延迟的代码流部署方案。
2026-06-21 cs.LG cs.SD eess.AS
StrADiff: A Structured Source-Wise Adaptive Diffusion Framework for Linear and Nonlinear Blind Source Separation
PolyU
StrADiff通过结构化源级自适应扩散框架实现无监督盲源分离,无需监督标签或后处理,联合优化源生成、结构正则化和观测空间重构,展示在线性和非线性混合中的稳定性能。
2026-04-28 cs.LG cs.SD stat.ML
Learning Sparse Latent Representations with the Deep Copula Information Bottleneck
University of Basel(巴塞尔大学)
深度潜变量模型是表示学习的强大工具。在本文中,我们采用了深度信息瓶颈模型,找出其缺点,并提出了一个模型,规避他们。为此,我们应用Copula变换,通过恢复信息瓶颈方法的不变性,导致潜在空间中的特征的解纠缠。在此基础上,我们展示了这种转换如何转化为新模型中潜在空间的稀疏性。我们评估我们的方法对人工和真实数据。
2018-04-19 cs.LG stat.ML
Linking data separation, visual separation, and classifier performance using pseudo-labeling by contrastive learning
University of Campinas(坎皮纳斯大学);Utrecht University(乌得勒支大学)
缺乏监督数据是训练深度神经网络(DNN)时的一个问题,主要是在考虑监督成本高昂的医学和生物数据时。最近,嵌入式伪标签(EPL)通过使用从DNN的特征空间到2D空间的非线性投影(t-SNE),然后使用基于连接性的方法(OPFSemi)进行半监督标签传播来解决这个问题。我们认为,最终分类器的性能取决于数据分离存在于潜在空间和视觉分离存在于投影。我们首先提出使用对比学习产生的潜在空间EPL的两种方法(Simplified和SupCon)和它们的组合,其次通过显示,通过一组广泛的实验,上述数据分离,视觉分离和分类器性能之间的相关性。我们证明了我们的研究结果的分类,只有1%的监督样本的人类肠道寄生虫的五个现实世界的挑战性的图像数据集。
2023-02-06 cs.LG
Deep Variational Generative Models for Audio-visual Speech Separation
Inria Nancy Grand-Est(法国国家信息与自动化研究所南锡-大东部分所)
在本文中,我们感兴趣的视听语音分离给定的单通道音频记录以及与每个扬声器相关的视觉信息(嘴唇运动)。我们提出了一个无监督的技术的基础上视听生成模型的干净的语音。更具体地,在训练期间,使用变分自动编码器(VAE)从干净的语音频谱图学习潜变量生成模型。为了更好地利用视觉信息,潜变量的后验是从混合语音(而不是干净的语音)以及视觉数据中推断出来的。视觉模态也通过视觉网络作为潜在变量的先验。在测试时,学习的生成模型(用于说话者无关和说话者相关场景)与用于背景噪声的无监督非负矩阵分解(NMF)方差模型相结合。所有的潜变量和噪声参数,然后估计的蒙特卡罗期望最大化算法。我们的实验表明,所提出的基于无监督VAE的方法比基于NMF的方法以及基于监督深度学习的技术具有更好的分离性能。
2021-08-31 cs.LG cs.SD eess.AS
From Latent Space to Training Data: Explainable Specialization in Minimal MLPs
ITIS Software, University of Malaga(马德里大学ITIS软件)
研究最小单隐藏层MLP中隐藏神经元是否因训练偏差而特化,以及这种特化是否改善基于原型的训练数据重构,发现覆盖正则化能提高特化比并降低重构误差,而重叠惩罚会导致原型中心被推出凸包。
2026-05-25 cs.AI cs.LG
A Tutorial on Deep Latent Variable Models of Natural Language
Harvard University(哈佛大学)
最近有很多令人兴奋的工作,将潜在变量模型和深度学习的互补优势结合起来。潜变量建模可以通过条件独立属性轻松地显式指定模型约束,而深度学习可以使用强大的函数逼近器来参数化这些条件似然。虽然这些“深层潜变量”模型为许多现实世界的现象建模提供了丰富、灵活的框架,但存在困难:条件似然的深层参数化通常使后验推理变得棘手,而潜变量目标通常通过引入不可微点使反向传播复杂化。本教程通过变分推理的镜头深入探讨了这些问题。
2019-08-05 cs.CL cs.LG stat.ML
Interpretable Latent Variables in Deep State Space Models
Cornell University(康奈尔大学)
我们介绍了一个新版本的深度状态空间模型(DSSMs),它结合了一个循环神经网络的状态空间框架来预测时间序列数据。该模型将观察到的序列估计为随时间非线性演变的潜在变量的函数。由于DSSM固有的复杂性和非线性,以前的DSSM工作通常会产生非常难以解释的潜在变量。我们的论文专注于产生可解释的潜在参数,有两个关键的修改。首先,我们通过将响应变量限制为潜变量加上一些噪声的线性变换来简化预测解码器。其次,我们利用收缩先验的潜变量,以减少冗余和提高鲁棒性。这些变化使潜变量更容易理解,并允许我们将产生的潜变量解释为线性混合模型中的随机效应。我们通过两个公共基准数据集表明,所产生的模型提高了预测性能。
2022-05-19 cs.LG stat.ML
Deep equilibrium models as estimators for continuous latent variables
Data61, CSIRO(联邦科学与工业研究组织数据61研究所);Australian National University(澳大利亚国立大学)
主成分分析(PCA)及其指数族扩展有三个组成部分:观测值,潜在值和线性变换的参数。我们考虑一个广义的设置,其中的典型参数的指数家庭是一个非线性变换的潜伏期。我们显示特定的神经网络架构和相应的统计模型之间的显式关系。我们发现,深层平衡模型-最近推出的一类隐式神经网络-解决最大后验概率(MAP)估计的潜在的和参数的转换。我们的分析提供了一个系统的方法来关联激活函数,辍学,和层结构,统计假设的意见,从而提供了无监督DEQ的基本原则。对于分层潜伏期,单个神经元可以被解释为深度图形模型中的节点。我们的DEQ特征图是端到端可区分的,可以为下游任务进行微调。
2022-11-11 cs.LG stat.ML
Deep Latent Factor Model for Collaborative Filtering
University of Paris-Est(巴黎东部大学)
潜在因素模型在基于协同过滤的推荐系统中得到了广泛的应用。近年来,深度学习已经成功地解决了各种各样的机器学习问题。受深度学习成功的启发,我们提出了一个更深版本的潜在因素模型。基准数据集上的实验表明,我们提出的技术显着优于所有国家的最先进的协同过滤技术。
2019-12-10 cs.IR cs.LG stat.ML
DeepMDP: Learning Continuous Latent Space Models for Representation Learning
Google Brain(谷歌大脑);Johns Hopkins University(约翰斯·霍普金斯大学)
许多强化学习(RL)任务为智能体提供了可以简化为低维连续状态的高维观测。为了将这个过程形式化,我们引入了DeepMDP的概念,DeepMDP是一种参数化的潜在空间模型,通过最小化两个易于处理的损失来训练:预测奖励和预测下一个潜在状态的分布。我们表明,这些目标的优化保证了(1)作为状态空间表示的潜在空间的质量和(2)作为环境模型的DeepMDP的质量。我们将这些结果连接到互模拟文献中的先前工作,并探索各种度量的使用。我们的理论研究结果得到了实验结果的证实,经过训练的DeepMDP恢复了合成环境中高维观测的潜在结构。最后,我们表明,在Atari 2600域中学习DeepMDP作为辅助任务,与无模型RL相比,性能得到了很大的提高。
2019-06-06 cs.LG stat.ML
Unsupervised Learning with Imbalanced Data via Structure Consolidation Latent Variable Model
University of Sheffield(谢菲尔德大学);Inferentia Ltd(Inferentia有限公司);University of Bristol(布里斯托大学)
不平衡数据上的无监督学习具有挑战性,因为当给定不平衡数据时,当前模型通常由主要类别主导,而忽略数据量较小的类别。我们开发了一个潜变量模型,可以处理不平衡的数据,通过将潜在空间分为共享空间和私人空间。基于高斯过程潜变量模型,我们提出了一种新的核公式,使潜在空间的分离,并推导出一个有效的变分推理方法。我们的模型的性能证明与不平衡的医学图像数据集。
2016-06-30 cs.LG stat.ML
Identifying Metric Structures of Deep Latent Variable Models
Technical University of Denmark(丹麦技术大学);University of British Columbia(不列颠哥伦比亚大学)
针对深度潜变量模型潜表示不可识别的问题,本文提出改变目标,转而识别潜变量间的度量关系(如距离、角度和体积),并在宽松条件下无需标签数据证明了其可行性,为提取可信结论提供了原则性路径。
2025-05-30 cs.LG stat.ML
Unsupervised Source Separation By Steering Pretrained Music Models
Northwestern University(西北大学);Descript, Inc.(Descript公司)
我们展示了一种无监督的方法,该方法重新使用为音乐生成和音乐标记而训练的深度模型进行音频声源分离,而无需任何重新训练。音频生成模型以输入混合为条件,产生用于生成音频的音频的潜在编码。这个生成的音频被馈送到一个预先训练的音乐标签器,创建源标签。所生成的音频的标签分布与隔离源的预定义分布之间的交叉熵损失用于引导生成模型的(不变的)潜在空间中的梯度上升。该系统不更新生成模型或标记器的权重,并且仅依赖于移动通过生成模型的潜在空间来产生分离的源。我们使用OpenAI的Juan作为预训练的生成模型,并将其与四种预训练的音乐标记器(两种架构和两种标记数据集)相结合。在两个声源分离数据集上的实验结果表明,该方法可以产生比任何测试的监督或无监督系统更广泛的各种源的分离估计。这项工作指出了大型预训练音乐模型在音频到音频任务(如声源分离)中的巨大潜力。
2021-10-25 cs.LG cs.SD eess.AS
Learning Deep-Latent Hierarchies by Stacking Wasserstein Autoencoders
University College London(伦敦大学学院);Faculty(学院)
具有分层潜在变量结构的概率模型在非自回归、无监督的基于密度的模型中提供了最先进的结果。然而,基于变分自编码器(VAE)训练此类模型的最常见方法通常无法利用深层层次结构;成功的方法需要复杂的推理和优化方案。最优运输是一种替代的,非基于似然的框架,用于训练具有吸引人的理论属性的生成模型,原则上允许分布之间更容易的训练收敛。在这项工作中,我们提出了一种新的方法来训练模型的基础上最优运输的深层层次结构,而不需要高度定制的模型和推理网络。我们表明,我们的方法使生成模型能够充分利用其深层的潜在层次结构,避免了VAE的众所周知的“潜在变量崩溃”问题;因此,提供了质量更好的样本生成以及比原始Wasserstein Autoencoder更具可解释性的潜在表示。
2020-10-07 cs.CV cs.LG stat.ML
Deep Latent Competition: Learning to Race Using Visual Control Policies in Latent Space
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT LIDS(麻省理工学院信息与决策系统实验室)
在多智能体环境中学习竞争行为,比如赛车,需要对潜在的对抗性互动进行长期推理。本文提出了深度潜在竞争(DLC),一种新的强化学习算法,学习竞争的视觉控制策略,通过自我发挥的想象力。DLC代理想象多智能体交互序列的学习世界模型,结合了联合过渡函数与对手的观点预测的紧凑的潜在空间。想象中的自我游戏减少了现实世界中昂贵的样本生成,而潜在的表征使规划能够随着观察维度优雅地扩展。我们证明了我们的算法在学习竞争行为的有效性,一个新的多智能体赛车基准,需要规划从图像观察。代码和视频可在https://sites.google.com/view/deep-latent-competition获得。
2021-02-19 cs.AI cs.LG cs.RO
Improved Exploration through Latent Trajectory Optimization in Deep Deterministic Policy Gradient
Arizona State University(亚利桑那州立大学);Google DeepMind(谷歌DeepMind)
深度确定性策略梯度(DDPG)等无模型强化学习算法通常需要额外的探索策略,特别是当参与者具有确定性时。这项工作评估了使用基于模型的轨迹优化方法用于探索深度确定性策略梯度时,训练的潜像嵌入。此外,DDPG的扩展派生使用价值函数作为评论家,利用学习的深度动力学模型来计算策略梯度。这种方法导致深度强化学习算法和潜在轨迹优化器之间的共生关系。轨迹优化器受益于RL算法学习的评论家,后者受益于规划器生成的增强探索。两个连续的控制任务,一个在模拟和一个在现实世界中的方法进行评估。特别是,Baxter机器人被训练来执行插入任务,同时只接收稀疏的奖励和图像作为来自环境的观察。
2019-11-15 cs.AI cs.LG cs.RO
Source Separation with Deep Generative Priors
尽管在信号声源分离方面取得了实质性的进展,但丰富结构化数据的结果仍然包含可感知的伪像。相比之下,最近的深度生成模型可以在各种领域中产生真实的样本,这些样本与数据分布的样本无法区分。本文介绍了一种贝叶斯方法,声源分离,使用生成模型作为先验的混合源的组成部分,和噪声退火Langevin动力学样本的混合源的后验分布。这解决了生成建模的声源分离问题,使我们能够直接使用最先进的生成模型作为先验。该方法实现了最先进的性能MNIST数字分离。我们引入了新的方法来评估更丰富的数据集上的分离质量,提供CIFAR-10上的分离结果的定量评估。我们还提供LSUN的定性结果。
2020-09-21 cs.LG stat.ML
Latent Iterative Refinement for Modular Source Separation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
该论文提出将模块化源分离的训练和推理重构为潜在表示的迭代映射,通过重复使用处理块和分块训练提升参数与内存效率,并在推理时用门控模块动态调整计算量。
2023-10-16 cs.LG cs.SD eess.AS
Disentanglement Analysis in Deep Latent Variable Models Matching Aggregate Posterior Distributions
The University of Utah(犹他大学);Kahlert School of Computing(卡勒特计算机学院);SCI
本文提出一种统计方法评估任意深度潜变量模型的解耦,发现表示生成因子的潜向量,解决潜变量未与潜轴对齐的问题,并在两个数据集上验证优势。
2025-01-26 cs.LG stat.ML
When does Subgroup Balance Matter? Predicting Performance Sensitivity from Latent Separability
University of Oxford(牛津大学);Imperial College London(伦敦帝国理工学院)
研究探讨了子组平衡对模型性能的影响,提出潜在分离假设,并通过实验验证,为数据收集和平衡提供指导。
2026-10-21 cs.AI cs.LG
PDGMM-VAE: A Variational Autoencoder with Adaptive Per-Dimension Gaussian Mixture Model Priors for Nonlinear ICA
Hong Kong Polytechnic University(香港理工大学)
本文提出PDGMM-VAE,通过为每个潜在维度分配独立的高斯混合模型先验,实现非线性ICA中的源分离。模型通过自适应学习先验参数,提升对非高斯源统计的捕捉能力,实验表明其在非线性和线性混合问题中表现优异。
2026-03-20 cs.LG stat.ML
Deep Latent-Variable Kernel Learning
Dalian University of Technology(大连理工大学);Nanyang Technological University(南洋理工大学)
深度内核学习(DKL)利用高斯过程(GP)和神经网络(NN)之间的连接来构建端到端的混合模型。它结合了NN在海量数据下学习丰富表示的能力和GP的非参数属性,以实现自动正则化,并在模型拟合和模型复杂性之间进行权衡。然而,确定性编码器可能会削弱后续GP部分的模型正则化,特别是在小数据集上,由于自由的潜在表示。因此,我们提出了一个完整的深度潜变量核学习(DLVKL)模型,其中潜变量执行正则化表示的随机编码。我们从两个方面进一步增强DLVKL:(i)通过神经随机微分方程(NNDV)表达变分后验以提高逼近质量,以及(ii)混合先验从NNDV先验和后验中获取知识以达到灵活的权衡。密集的实验表明,DLVKL-NARDING在小数据集上的表现与校准良好的GP相似,在大数据集上的表现优于现有的深度GP。
2020-08-19 cs.LG stat.ML
Cross-Domain Latent Modulation for Variational Transfer Learning
University of Otago(奥塔哥大学)
我们提出了一个跨域的潜在调制机制内的变分自编码器(VAE)的框架,使改进的迁移学习。我们的主要思想是从一个数据域获取深度表示,并将其用作另一个域中潜在变量的重新参数化的扰动。具体而言,源域和目标域的深度表示首先由统一的推理模型提取,并通过采用梯度反转进行对齐。其次,学习的深度表示被交叉调制到替代域的潜在编码。然后强制执行从调制的潜在编码的重构与使用深度表示样本的生成之间的一致性,以便在潜在空间中产生类间对齐。我们将所提出的模型应用于一些迁移学习任务,包括无监督的领域自适应和图像到图像的翻译。实验结果表明,我们的模型具有竞争力的性能。
2020-12-21 cs.AI cs.LG
Deep Discrete Encoders: Identifiable Deep Generative Models for Rich Data with Discrete Latent Layers
Department of Statistics, Columbia University(哥伦比亚大学统计系)
针对深度生成模型不可识别和不可解释的问题,提出具有二元潜层的深度离散编码器(DDE),通过可识别性条件和谱初始化加惩罚EM算法,实现层次主题建模、图像表示学习和响应时间建模。
2025-08-06 cs.LG stat.ME stat.ML
Deep Latent Defence
Imperial College London(帝国理工学院);Airbus(空中客车公司)
深度学习方法在从计算机视觉到自然语言处理的一系列任务中表现出了最先进的性能。然而,众所周知的是,这样的系统容易受到攻击者的攻击,这些攻击者精心制作输入以引起错误分类。攻击者为了引起这种错误分类而需要引入的扰动水平可以非常小,并且通常是不可感知的。这是一个重大的安全问题,特别是在错误分类可能对人类造成伤害的情况下。因此,我们提出了Deep Latent Defense,这是一种旨在将对抗训练与检测系统相结合的架构。深度潜伏防御的核心是一个经过对抗训练的神经网络。一系列编码器在数据通过网络时获取数据的中间层表示,并将其投影到一个潜在空间,我们使用该空间通过$k$ -nn分类器检测对抗样本。我们目前的结果使用灰盒和白盒攻击者,以及自适应$L_{\infty}$有界攻击,这是专门为尝试和逃避我们的防御。我们发现,即使在我们研究过的最强攻击者模型下,我们的防御也能够提供显着的防御优势。
2020-09-27 cs.LG stat.ML
Estimating Stochastic Poisson Intensities Using Deep Latent Models
Purdue University(普渡大学)
提出了一种估计重随机泊松过程随机强度的方法。交通痕迹的统计和理论分析表明,这些过程是适当的模型,高强度的交通到达一系列的服务系统。驱动交通模型的潜在随机强度过程的统计估计涉及到一个相当复杂的非线性滤波问题。我们开发了一种新的模拟方法,使用深度神经网络来近似随机强度过程引起的路径测量,用于解决这个非线性滤波问题。我们的模拟研究表明,该方法是相当准确的样本内估计和无限服务器队列的样本外性能预测任务。
2020-07-23 cs.LG stat.ML
Deep Latent Dirichlet Allocation with Topic-Layer-Adaptive Stochastic Gradient Riemannian MCMC
针对深度离散潜变量模型(LVMs)开发基于随机梯度的可扩展推理是具有挑战性的,这是由于不仅难以计算梯度,而且难以使步长适应不同的潜在因子和隐藏层。对于泊松伽马信念网络(PGBN),最近提出的深度离散LVM,我们推导出一种替代表示,被称为深度潜在狄利克雷分配(DLDA)。利用数据增广和边缘化技术,我们推导出一个块对角费舍尔信息矩阵和它的逆单形约束的全球模型参数的DLDA。利用费舍尔信息矩阵与随机梯度MCMC,我们提出了主题层自适应随机梯度黎曼(TLASGR)MCMC,共同学习单纯形约束的全局参数在所有层和主题,主题和层特定的学习率。在大数据集上展示了最先进的结果。
2017-06-06 cs.LG stat.CO stat.ML
A Deep Latent-Variable Model Application to Select Treatment Intensity in Survival Analysis
University of Toronto(多伦多大学)
在下面的短文中,我们采用了一种新的流行的机器学习模型来推断医疗数据集。我们的方法是基于变分自动编码器(VAE)的框架,我们适应生存分析的小数据集缺失值。在我们的模型中,真实的健康状况表现为一组影响观察到的协变量和生存机会的潜在变量。我们表明,这种灵活的模型允许有见地的决策,使用预测的分布和优于经典的生存分析模型。
2018-11-29 cs.LG stat.ML
Multi-scenario deep learning for multi-speaker source separation
KU Leuven(鲁汶大学)
用于多说话者声源分离的深度学习研究在过去几年中得到了推动。然而,大多数研究仅限于特定数量的发言者的混合,称为特定场景。虽然有些作品包括不同场景的实验,但将不同场景的数据结合起来或为多种场景创建单一模型的研究非常罕见。在这项工作中,它表明,一个特定的情况下的数据是相关的解决另一个方案。此外,它的结论是,一个单一的模型,在不同的情况下训练是能够匹配特定场景模型的性能。
2018-08-24 cs.LG stat.ML
Neural Stochastic Differential Equations: Deep Latent Gaussian Models in the Diffusion Limit
University of Illinois(伊利诺伊大学)
在深层潜高斯模型中,潜变量由时间非齐次马尔可夫链生成,在每个时间步,我们将当前状态通过参数非线性映射(如前馈神经网络),并添加一个小的独立高斯扰动。这项工作考虑了这种模型的扩散极限,其中层数趋于无穷大,而步长和噪声方差趋于零。极限潜在对象是一个Itô扩散过程,它求解一个随机微分方程(ε),其漂移和扩散系数由神经网络实现。我们开发了一个变分推理框架,这些\textit{neural SDEs}通过随机自动微分在Wiener空间中,其中的变分近似的后验得到的Girsanov(均值漂移)变换的标准Wiener过程和梯度的计算是基于随机流理论。这就允许使用黑盒解算器和自动微分进行端到端推理。实验结果与合成数据提供。
2019-10-28 cs.LG stat.ML
Mode matching in GANs through latent space learning and inversion
Indian Institute of Technology Delhi(德里印度理工学院)
生成对抗网络(GANs)在生成非结构化数据(如自然图像)方面取得了显着的成功。然而,在生成的空间中发现和分离模式,这对于天真数据生成之外的几项任务至关重要,仍然是一个挑战。在本文中,我们解决了使用根据真实数据分布的模态属性设计的潜在分布将所需的模态属性强加给生成空间的问题。这是通过训练潜在空间反演网络与使用发散损失的生成网络串联来实现的。潜空间遵循一个连续的多峰分布产生的一对连续和离散的随机变量的重新参数化。此外,模态先验的潜在分布的学习与真实的数据分布使用最小的监督与可忽略不计的增量的可学习参数。我们验证了我们的方法在多个任务,如模式分离,条件生成和属性发现多个真实世界的图像数据集,并证明其有效性超过其他国家的最先进的方法。
2019-03-24 cs.CV cs.LG
Langevin Autoencoders for Learning Deep Latent Variable Models
The University of Tokyo(东京大学)
马尔可夫链蒙特卡罗(MCMC),如朗之万动力学,是有效的近似棘手的分布。然而,它的使用是有限的背景下,深潜变量模型由于昂贵的数据点采样迭代和缓慢的收敛。本文提出了摊销朗之万动力学(ALD),其中数据逐点MCMC迭代完全替换为更新的编码器,将观测映射到潜在变量。这种摊销实现了有效的后验采样,而无需逐数据点迭代。尽管它的效率,我们证明了ALD是有效的MCMC算法,其马尔可夫链的目标后验作为一个平稳分布在温和的假设。基于ALD,我们还提出了一个新的深层潜变量模型命名为Langevin自动编码器(LAE)。有趣的是,LAE可以通过稍微修改传统的自动编码器来实现。使用多个合成数据集,我们首先验证ALD可以正确地从目标后验子中获取样本。我们还评估了LAE的图像生成任务,并表明我们的LAE可以优于现有的方法的基础上变分推理,如变分自编码器,和其他MCMC为基础的方法在测试的可能性。
2022-10-11 cs.LG stat.ML
Deep S$^3$PR: Simultaneous Source Separation and Phase Retrieval Using Deep Generative Models
Stanford University(斯坦福大学)
本文提出并解决了同时声源分离和相位恢复(S $^3$ PR)问题。S $^3$ PR是一个重要的,但在很大程度上未解决的问题,在一些应用领域,包括显微镜,无线通信,并通过散射介质成像,其中一个有多个独立的相干源,其相位是难以测量。一般来说,S $^3$ PR是高度欠定的、非凸的并且难以求解。在这项工作中,我们证明,通过限制的解决方案,躺在一个深生成模型的范围内,我们可以充分约束搜索空间,以解决S $^3$ PR。
2020-10-14 cs.LG eess.IV stat.ML
Learning Latent Superstructures in Variational Autoencoders for Deep Multidimensional Clustering
The Hong Kong University of Science and Technology(香港科技大学);The Education University of Hong Kong(香港教育大学)
我们研究了变分自编码器的一个变体,其中在潜在特征之上存在离散潜在变量的上层结构。一般来说,我们的超结构是一个树结构的多个超级潜在的变量,它是自动学习的数据。当上层结构中只有一个潜在变量时,我们的模型简化为假设潜在特征从高斯混合模型生成的模型。我们称我们的模型为潜在树变分自编码器(LTVAE)。以前的深度学习聚类方法只产生一个数据分区,而LTVAE产生多个数据分区,每个分区由一个超级潜在变量给出。这是可取的,因为高维数据通常具有许多不同的自然方面,并且可以以多种方式进行有意义的分区。
2019-02-22 cs.LG
Deep Clustering and Conventional Networks for Music Separation: Stronger Together
Columbia University(哥伦比亚大学);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
深度聚类是处理具有相同类型的多个源和任意数量的源的一般音频分离场景的第一种方法,在与说话者无关的语音分离任务中表现出色。然而,很少有人知道它在其他具有挑战性的情况下,如音乐源分离的有效性。与直接估计源信号的传统网络相反,深度聚类为每个时频bin生成嵌入,并通过对嵌入空间中的bin进行聚类来分离源。我们发现,在匹配和不匹配的条件下,深度聚类在歌声分离任务上的表现优于传统网络,尽管传统网络具有端到端训练的优势,可以获得最佳信号近似,这可能是因为其更灵活的目标可以产生更好的正则化。由于深度聚类和传统网络架构的优势似乎是互补的,因此我们探索将它们结合在一个通过类似于多任务学习的方法训练的混合网络中。值得注意的是,该组合的表现明显优于其任何一个组成部分。
2017-06-15 cs.LG cs.SD stat.ML
Practical applicability of deep neural networks for overlapping speaker separation
KU Leuven(鲁汶大学)
本文研究了两种基于深度学习的解决方案在实际场景中对重叠说话人分离问题的适用性。首先,我们提出的实验表明,这些方法适用于广泛的语言。进一步的实验表明,当未训练的语言与训练的语言具有共同特征时,未训练的语言的性能损失有限。其次,它研究了如何处理现实的背景噪声的方法,并提出了一些修改,以更好地应对这些干扰。我们将研究的深度学习方法是深度聚类和深度吸引子网络。
2019-12-19 cs.LG cs.SD eess.AS