Deep Embedded Multi-View Clustering via Jointly Learning Latent Representations and Graphs
Institute of Electronic and Information Engineering of UESTC(电子科技大学电子信息工程研究院);University of Electronic Science and Technology of China(电子科技大学)
借助深度学习模型的表示学习能力,深度嵌入式多视图聚类(MVC)在许多场景中实现了令人印象深刻的性能,并且近年来变得越来越流行。虽然在这一领域已经取得了很大的进展,大多数现有的方法只专注于学习的潜在表示,而忽略了学习的节点的潜在图也提供了可用的信息,聚类任务。为了解决这个问题,在本文中,我们提出了通过联合学习潜在表示和图形的深度嵌入式多视图聚类(DMVCJ),它利用潜在图从两个方面提高深度嵌入式MVC模型的性能。首先,通过联合学习潜在图和特征表示,图卷积网络(GCN)技术可用于我们的模型。由于GCN具有利用图和特征信息的能力,我们的模型的聚类性能得到了显着提升。其次,基于隐图中节点的邻接关系,设计了一种样本加权策略来缓解噪声问题,进一步提高了模型的有效性和鲁棒性。在不同类型的真实世界多视图数据集上的实验结果证明了DMVCJ的有效性。
2022-05-08 cs.LG
Ranking Deep Learning Generalization using Label Variation in Latent Geometry Graphs
IMT Atlantique(IMT大西洋高等矿业电信学院);Université Fédérale de Toulouse(图卢兹联邦大学)
在不依赖验证集的情况下测量深度神经网络(DNN)的泛化性能是一项艰巨的任务。在这项工作中,我们提出利用潜在几何图形(LGG)来表示训练DNN架构的潜在空间。这样的图是通过连接在所考虑的DNN的给定层产生类似潜在表示的样本来获得的。然后,我们通过查看LGG中不同类的样本的连接程度来获得泛化得分。这一成绩使我们在NeurIPS 2020预测深度学习泛化(PGDL)竞赛中排名第三。
2020-11-25 cs.LG
A Critical Look at the Consistency of Causal Estimation With Deep Latent Variable Models
Aalto University(阿尔托大学)
在因果推理中使用深层潜变量模型最近引起了相当大的兴趣,但一个重要的悬而未决的问题是它们产生一致的因果估计的能力。虽然他们已经证明了有希望的结果和理论存在于一些简单的模型公式,我们也知道,因果效应甚至无法识别一般与潜变量。我们调查的理论和实证结果之间的差距与分析的考虑和广泛的实验下,多个合成和现实世界的数据集,使用因果效应变分自编码器(CEVAE)作为案例研究。虽然CEVAE似乎在一些简单的场景下可靠地工作,但它不能正确地估计潜在变量或复杂数据分布的因果效应,这与其原始动机相反。因此,我们的研究结果表明,应更加注意确保深潜变量模型的因果估计的正确性。
2022-01-24 cs.LG
Beyond Gaussian Worlds: Latent Geometry Matters for JEPAs
Université Paris-Saclay(巴黎-萨克雷大学);CNRS(法国国家科学研究中心);ENS Paris-Saclay(巴黎-萨克雷高等师范学校);Centre Borelli(Borelli中心);Advanced Track and Trace;IIE, Facultad de Ingeniería, Universidad de la República(共和国大学工程学院IIE);Institut Universitaire de France(法国大学研究院)
本研究将JEPA的线性恢复分析从高斯推广到黎曼流形,证明球面均匀分布可替代高斯实现线性恢复,并给出更紧的近似界,实验验证几何匹配目标更优。
2026-09-21 cs.LG
Latent Point Collapse on a Low Dimensional Embedding in Deep Neural Network Classifiers
Humboldt-Universität zu Berlin(柏林洪堡大学);Friedrich-Alexander Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学)
本文提出通过对倒数第二层表示施加强L2惩罚,使同类潜在表示坍缩为单点,从而提升类可分性和网络Lipschitz连续性,并在低维线性嵌入上验证了该方法对特征判别力和输入扰动鲁棒性的显著改善。
2025-02-08 cs.LG
Latent Variable Modeling for Generative Concept Representations and Deep Generative Models
IBM(国际商业机器公司)
潜在表征是深层生成模型的本质,决定了它们的有用性和强大性。为了使潜在表示作为生成概念表示有用,它们的潜在空间必须支持潜在空间插值、属性向量和概念向量等。我们研究和讨论潜变量建模,包括潜变量模型,潜表示和潜空间,特别是层次潜表示和潜空间向量和几何。我们的重点是变分自编码器和生成对抗网络中使用的。
2018-12-26 cs.LG stat.ML
More Data or Better Algorithms: Latent Diffusion Augmentation for Deep Imbalanced Regression
Department of Computer Science(计算机科学系);Western University(西部大学)
针对深度不平衡回归缺乏高维数据层面方法的问题,提出 LatentDiff 框架,通过条件扩散和优先级生成在潜在空间合成少数类特征,在三个基准上显著改善少数区域预测并保持整体准确率。
2025-09-27 cs.LG
Evaluating the Stability of Deep Learning Latent Feature Spaces
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本研究提出了一种评估深度学习潜在特征空间稳定性的工作流,通过定义样本、结构和推断三种稳定性类型并引入调整应力和Jaccard相异度等指标,在500个自编码器实现和三个数据集上验证了其有效性,揭示了潜在空间固有的不稳定性,提升了模型可解释性。
2024-08-21 cs.LG
Deep Unfolded Latent Optimally Partitioned-l2/l1 Networks for Data-driven Block-Sparse Recovery
Nagoya Institute of Technology(名古屋工业大学);RIKEN Center for Advanced Intelligence Project(理化学研究所革新智能研究中心)
针对凸LOP-l2/l1方法依赖手动调参且近端算子不可微的问题,提出基于隐式微分和深度权重分解的两种深度展开架构,实现自动参数学习,在块稀疏恢复中表现优异且抗脉冲噪声。
2026-06-12 cs.LG
Deep Regression Bayesian Network and Its Applications
Rensselaer Polytechnic Institute(伦斯勒理工学院)
深度有向生成模型由于其生成建模的本质和强大的数据表示能力而受到广泛关注。在本文中,我们回顾了深度定向生成模型的不同结构以及与结构相关的学习和推理算法。我们专注于一个特定的结构,由多层贝叶斯网络,由于捕捉内在的和丰富的潜在变量之间的依赖关系的属性。具有许多潜变量的深度有向模型的学习和推理的主要困难是由于潜变量之间的依赖性和潜变量配置的指数数量而导致的难以推理。目前的解决方案使用变分方法,往往通过一个辅助网络来近似后验概率推断。相反,推理也可以直接执行,而不使用任何辅助网络,以最大限度地保持潜在变量之间的依赖关系。具体地说,通过利用潜在空间的稀疏表示,最大-最大而不是最大-和操作可以用来克服潜在配置的指数数量。此外,最大-最大运算和增广坐标上升适用于监督和无监督学习以及各种推理。在不同模型的基准数据集上,给出了数据表示和特征学习任务的定量评估。
2017-10-13 cs.LG
Benefiting Deep Latent Variable Models via Learning the Prior and Removing Latent Regularization
National Chiao Tung University(台湾交通大学)
存在许多形式的深层潜变量模型,例如变分自编码器和对抗自编码器。无论模型的具体类别如何,都存在一个隐含的共识,即潜在分布应该朝着先验进行正则化,即使在先验分布被学习的情况下也是如此。在研究潜在正则化对图像生成的影响时,我们的结果表明,在学习了充分表达的先验知识的情况下,潜在正则化是不必要的,并且实际上可能对图像质量有害。我们还研究了在计算机视觉中两个常见问题上学习先验知识的好处:潜变量解纠缠和图像到图像翻译的多样性。
2020-07-16 cs.LG stat.ML
Random Latent Exploration for Deep Reinforcement Learning
Improbable AI Lab;Massachusetts Institute of Technology(麻省理工学院)
本文提出随机潜在探索(RLE),一种简单有效的深度强化学习探索策略,通过潜在空间随机目标引导智能体探索,平均性能优于噪声和奖励方法,适用于离散与连续控制任务。
2025-02-27 cs.LG
On Linear Interpolation in the Latent Space of Deep Generative Models
Technical University of Munich(慕尼黑工业大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
深度生成模型中潜在空间的底层几何结构在大多数情况下不是欧几里得的,这可能导致在比较两个模型的插值能力时出现偏差。潜在空间中线性插值的光滑性和可扩展性与底层生成模型的质量有关。在本文中,我们表明,并不是所有这样的插值是可比的,因为它们可以任意偏离最短的插值曲线给出的测地线。通过使用生成模型的回撤度量计算曲线长度,找到比端点之间的直线更短的曲线,并测量该直线上的非零相对长度改进,可以揭示这种偏差。这导致了一种在两个生成模型之间比较线性插值的策略。我们还显示了选择一个合适的输出空间计算较短的曲线的效果和重要性。对于这种计算,我们推导出的拉回度量的扩展。
2021-05-08 cs.LG
Analysis of ODE2VAE with Examples
Boğaziçi University(博阿齐奇大学)
深度生成模型旨在学习生成观测数据的底层分布。考虑到生成分布可能是复杂和棘手的,深层潜变量模型使用概率框架来学习数据及其低维隐变量上更具表达力的联合概率分布。在没有任何监督的情况下学习序列数据上的复杂概率分布对于深度生成模型来说是一项艰巨的任务。常微分方程变分自动编码器(ODE2VAE)是一种深度潜变量模型,旨在学习高维序列数据及其低维表示的复杂分布。ODE2VAE在低维层次潜在空间中推断高维输入的连续潜在动态。连续潜在空间的层级组织在模型中嵌入了物理引导的归纳偏差。在本文中,我们分析了潜在的表示推断的ODE2VAE模型在三个不同的物理运动数据集:弹跳球,抛射运动,单摆。通过我们的实验,我们探讨了物理引导的归纳偏差的ODE2VAE模型的学习动力学潜在表征的影响。我们表明,该模型能够在没有任何监督的情况下在一定程度上学习有意义的潜在表示。
2021-10-04 cs.LG
Physics-Informed Latent Neural Operator for Real-time Predictions of time-dependent parametric PDEs
Johns Hopkins University(约翰霍普金斯大学)
本研究提出PI-Latent-NO物理 informed 潜神经算子框架,通过耦合两个DeepONet并嵌入PDE约束,无需标注数据即可实现含时参数化PDE的高效实时预测,兼具准确性与可扩展性。
2025-10-28 cs.LG
An Architecture for Deep, Hierarchical Generative Models
Maluuba Research(Maluuba研究院)
我们提出了一个架构,让我们训练深,定向生成模型与许多层的潜变量。我们在所有潜在变量和生成的输出之间包含确定性路径,并在推理和生成的计算之间提供更丰富的连接,这使得在训练期间整个模型中的信息能够更有效地通信。为了提高自然图像的性能,我们在重建分布中加入了一个轻量级的自回归模型。这些技术允许对具有10+层潜在变量的模型进行端到端训练。实验表明,我们的方法在标准图像建模基准上实现了最先进的性能,可以在没有标签信息的情况下暴露潜在的类结构,并且可以提供自然图像中遮挡区域的令人信服的估算。
2016-12-08 cs.LG
EMFlow: Data Imputation in Latent Space via EM and Deep Flow Models
North Carolina State University(北卡罗来纳州立大学)
高维数据中缺失值的存在是许多应用科学中普遍存在的问题。许多可用的数据采掘和机器学习方法的一个严重限制是它们无法处理部分缺失值,因此将插补和模型估计相结合的集成方法对于下游分析至关重要。介绍了一种计算快速的算法,称为EMFlow,通过使用归一化流(NF)模型将数据空间映射到潜在空间,通过在线版本的期望最大化(EM)算法在潜在空间中执行插补。所提出的EMFlow算法是迭代的,包括在线EM和NF的参数交替更新。高维多变量和图像数据集的广泛的实验结果,以说明优越的性能相比,最近可用的方法在预测精度和算法收敛速度的夫妇的EMFlow。我们为所有实验提供代码。
2022-07-31 cs.LG
Moment Matching Deep Contrastive Latent Variable Models
University of Washington(华盛顿大学)
在对比分析(CA)设置中,机器学习从业者特别感兴趣的是发现与从与手头任务无关的变化源生成的背景数据集相比在目标数据集中富集的模式。例如,生物医学数据分析师可能会试图了解仅存在于患有给定疾病的患者中的基因组数据的变化,而不是健康对照受试者中也存在的基因组数据。这样的场景已经激发了对比潜变量模型的开发,以将这些目标数据集特有的变化与目标和背景数据集之间共享的变化隔离,其中当前的现有技术模型基于变分自编码器(VAE)框架。然而,以前提出的模型没有明确地强制执行潜在的CA变量的约束,潜在地导致两组潜在变量之间的不希望的信息泄漏。在这里,我们提出了矩匹配对比VAE(MM-cVAE),使用最大平均差异明确执行两个关键的潜在变量约束CA的CA的VAE的重新制定。在三个具有挑战性的CA任务中,我们发现我们的方法在定性和定量指标上都优于以前的最先进的方法。
2022-02-21 cs.LG
Learning Sparse Latent Representations with the Deep Copula Information Bottleneck
University of Basel(巴塞尔大学)
深度潜变量模型是表示学习的强大工具。在本文中,我们采用了深度信息瓶颈模型,找出其缺点,并提出了一个模型,规避他们。为此,我们应用Copula变换,通过恢复信息瓶颈方法的不变性,导致潜在空间中的特征的解纠缠。在此基础上,我们展示了这种转换如何转化为新模型中潜在空间的稀疏性。我们评估我们的方法对人工和真实数据。
2018-04-19 cs.LG stat.ML
Learning Deep Latent Spaces for Multi-Label Classification
Research Center for IT Innovation, Academia Sinica(中央研究院资讯科技创新研究中心);National Taiwan University(台湾大学)
多标签分类是机器学习相关领域中一项实用而又具有挑战性的任务,因为它需要对每个输入实例预测多个标签类别。我们提出了一种新的基于深度神经网络(DNN)的模型,规范相关自动编码器(C2AE),用于解决这个任务。为了更好地关联特征和标签域数据以改进分类,我们通过导出深潜空间来唯一地执行联合特征和标签嵌入,然后引入标签相关敏感的损失函数来恢复预测的标签输出。我们的C2AE是通过集成典型相关分析和自动编码器的DNN架构来实现的,它允许端到端的学习和预测,并能够利用标签依赖性。此外,我们的C2AE可以很容易地扩展到解决缺少标签的学习问题。我们在不同尺度的多个数据集上的实验证实了我们所提出的方法的有效性和鲁棒性,这被证明对最先进的多标签分类方法表现良好。
2017-07-03 cs.LG
A Tutorial on Deep Latent Variable Models of Natural Language
Harvard University(哈佛大学)
最近有很多令人兴奋的工作,将潜在变量模型和深度学习的互补优势结合起来。潜变量建模可以通过条件独立属性轻松地显式指定模型约束,而深度学习可以使用强大的函数逼近器来参数化这些条件似然。虽然这些“深层潜变量”模型为许多现实世界的现象建模提供了丰富、灵活的框架,但存在困难:条件似然的深层参数化通常使后验推理变得棘手,而潜变量目标通常通过引入不可微点使反向传播复杂化。本教程通过变分推理的镜头深入探讨了这些问题。
2019-08-05 cs.CL cs.LG stat.ML
Representation Learning for Sequence Data with Deep Autoencoding Predictive Components
Cornell University(康奈尔大学);Google(谷歌公司);Salesforce Research(Salesforce研究院)
我们提出了深度自动编码预测组件(DAPC)-一种用于序列数据的自监督表示学习方法,基于序列数据的有用表示应该在潜在空间中呈现简单结构的直觉。我们鼓励这种潜在的结构,最大限度地提高潜在的特征序列,这是过去和未来的窗口之间的互信息在每个时间步的预测信息的估计。与对比学习常用的互信息下界不同,我们采用的预测信息估计在高斯假设下是精确的。此外,它可以在没有负采样的情况下计算。为了减少由强大的编码器提取的潜在空间的退化,并保留输入中的有用信息,我们用具有挑战性的掩码重建损失来正则化预测信息学习。我们证明,我们的方法恢复噪声动态系统的潜在空间,提取预测任务的预测功能,并提高自动语音识别时,用于预训练编码器上大量的未标记的数据。
2021-02-28 cs.LG
DeepLatent: Think with Images via Parallel Latent Visual Reasoning
Baidu Inc.(百度公司);Peking University(北京大学)
提出DeepLatent框架,通过LatentFormer并行生成潜在视觉状态,并结合连续空间强化学习优化潜在表示,在多个基准上达到最先进性能。
2026-05-30 cs.CV cs.LG
Representing Deep Neural Networks Latent Space Geometries with Graphs
IMT Atlantique(大西洋国立高等矿业电信学校);University of Southern California(南加州大学)
深度学习(DL)因其在许多机器学习任务中达到最先进性能的能力而引起了广泛关注。DL方法的核心原理在于以端到端的方式训练复合架构,其中输入与经过训练以优化目标函数的输出相关联。由于它们的组合性质,DL架构自然会表现出输入的几个中间表示,这些中间表示属于所谓的潜在空间。当单独对待时,这些中间表征在学习过程中大多数时候是不受约束的,因为不清楚哪些属性应该受到青睐。然而,当同时处理一批输入时,相应的一组中间表示会显示出关系(我们称之为几何),可以在这些关系上寻找所需的属性。在这项工作中,我们表明,它是可能的,这些潜在的几何形状,以解决各种问题的限制。更详细地说,我们建议通过从处理一批输入时获得的中间表示构建相似性图来表示几何形状。通过约束这些潜在几何图形(LGG),我们解决了以下三个问题:i)通过模仿其几何形状来再现教师架构的行为,ii)通过针对特定几何形状来设计用于分类的有效嵌入,以及iii)通过强制连续潜在空间之间的几何形状的平滑变化来实现对输入偏差的鲁棒性。使用标准的视觉基准,我们证明了所提出的基于几何的方法在解决所考虑的问题的能力。
2020-11-14 cs.LG
Deep equilibrium models as estimators for continuous latent variables
Data61, CSIRO(联邦科学与工业研究组织数据61研究所);Australian National University(澳大利亚国立大学)
主成分分析(PCA)及其指数族扩展有三个组成部分:观测值,潜在值和线性变换的参数。我们考虑一个广义的设置,其中的典型参数的指数家庭是一个非线性变换的潜伏期。我们显示特定的神经网络架构和相应的统计模型之间的显式关系。我们发现,深层平衡模型-最近推出的一类隐式神经网络-解决最大后验概率(MAP)估计的潜在的和参数的转换。我们的分析提供了一个系统的方法来关联激活函数,辍学,和层结构,统计假设的意见,从而提供了无监督DEQ的基本原则。对于分层潜伏期,单个神经元可以被解释为深度图形模型中的节点。我们的DEQ特征图是端到端可区分的,可以为下游任务进行微调。
2022-11-11 cs.LG stat.ML
Deep Latent Factor Model for Collaborative Filtering
University of Paris-Est(巴黎东部大学)
潜在因素模型在基于协同过滤的推荐系统中得到了广泛的应用。近年来,深度学习已经成功地解决了各种各样的机器学习问题。受深度学习成功的启发,我们提出了一个更深版本的潜在因素模型。基准数据集上的实验表明,我们提出的技术显着优于所有国家的最先进的协同过滤技术。
2019-12-10 cs.IR cs.LG stat.ML
DeepMDP: Learning Continuous Latent Space Models for Representation Learning
Google Brain(谷歌大脑);Johns Hopkins University(约翰斯·霍普金斯大学)
许多强化学习(RL)任务为智能体提供了可以简化为低维连续状态的高维观测。为了将这个过程形式化,我们引入了DeepMDP的概念,DeepMDP是一种参数化的潜在空间模型,通过最小化两个易于处理的损失来训练:预测奖励和预测下一个潜在状态的分布。我们表明,这些目标的优化保证了(1)作为状态空间表示的潜在空间的质量和(2)作为环境模型的DeepMDP的质量。我们将这些结果连接到互模拟文献中的先前工作,并探索各种度量的使用。我们的理论研究结果得到了实验结果的证实,经过训练的DeepMDP恢复了合成环境中高维观测的潜在结构。最后,我们表明,在Atari 2600域中学习DeepMDP作为辅助任务,与无模型RL相比,性能得到了很大的提高。
2019-06-06 cs.LG stat.ML
Learning Deep-Latent Hierarchies by Stacking Wasserstein Autoencoders
University College London(伦敦大学学院);Faculty(学院)
具有分层潜在变量结构的概率模型在非自回归、无监督的基于密度的模型中提供了最先进的结果。然而,基于变分自编码器(VAE)训练此类模型的最常见方法通常无法利用深层层次结构;成功的方法需要复杂的推理和优化方案。最优运输是一种替代的,非基于似然的框架,用于训练具有吸引人的理论属性的生成模型,原则上允许分布之间更容易的训练收敛。在这项工作中,我们提出了一种新的方法来训练模型的基础上最优运输的深层层次结构,而不需要高度定制的模型和推理网络。我们表明,我们的方法使生成模型能够充分利用其深层的潜在层次结构,避免了VAE的众所周知的“潜在变量崩溃”问题;因此,提供了质量更好的样本生成以及比原始Wasserstein Autoencoder更具可解释性的潜在表示。
2020-10-07 cs.CV cs.LG stat.ML
Identifying Metric Structures of Deep Latent Variable Models
Technical University of Denmark(丹麦技术大学);University of British Columbia(不列颠哥伦比亚大学)
针对深度潜变量模型潜表示不可识别的问题,本文提出改变目标,转而识别潜变量间的度量关系(如距离、角度和体积),并在宽松条件下无需标签数据证明了其可行性,为提取可信结论提供了原则性路径。
2025-05-30 cs.LG stat.ML
Deep Latent Competition: Learning to Race Using Visual Control Policies in Latent Space
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT LIDS(麻省理工学院信息与决策系统实验室)
在多智能体环境中学习竞争行为,比如赛车,需要对潜在的对抗性互动进行长期推理。本文提出了深度潜在竞争(DLC),一种新的强化学习算法,学习竞争的视觉控制策略,通过自我发挥的想象力。DLC代理想象多智能体交互序列的学习世界模型,结合了联合过渡函数与对手的观点预测的紧凑的潜在空间。想象中的自我游戏减少了现实世界中昂贵的样本生成,而潜在的表征使规划能够随着观察维度优雅地扩展。我们证明了我们的算法在学习竞争行为的有效性,一个新的多智能体赛车基准,需要规划从图像观察。代码和视频可在https://sites.google.com/view/deep-latent-competition获得。
2021-02-19 cs.AI cs.LG cs.RO
LatentExplainer: Explaining Latent Representations in Deep Generative Models with Multimodal Large Language Models
Emory University(埃默里大学);University College London(伦敦大学学院)
LatentExplainer通过多模态大语言模型为深度生成模型的潜在变量生成语义解释,提升模型可解释性。
2025-12-18 cs.CL cs.CV cs.LG
On original and latent space connectivity in deep neural networks
Imperial College London(帝国理工学院)
本研究探讨深度神经网络中同类输入在原始或潜在空间是否存在连续路径,并证明在所有研究案例中此类路径均存在,对可解释性与鲁棒性有重要意义。
2023-11-12 cs.CV cs.LG
Disentanglement Analysis in Deep Latent Variable Models Matching Aggregate Posterior Distributions
The University of Utah(犹他大学);Kahlert School of Computing(卡勒特计算机学院);SCI
本文提出一种统计方法评估任意深度潜变量模型的解耦,发现表示生成因子的潜向量,解决潜变量未与潜轴对齐的问题,并在两个数据集上验证优势。
2025-01-26 cs.LG stat.ML
Uncovering Physical Drivers of Dark Matter Halo Structures with Auxiliary-Variable-Guided Generative Models
Mathematics and Computer Science Division Argonne National Laboratory(阿贡国家实验室数学与计算机科学部);High Energy Physics Division Argonne National Laboratory(阿贡国家实验室高能物理部);Computational Science Division Argonne National Laboratory(阿贡国家实验室计算科学部);Computational Science Center Data, Analysis and Visualization Group National Renewable Energy Laboratory(国家可再生能源实验室计算科学中心数据、分析与可视化组)
本文提出通过辅助变量引导生成模型解缠暗物质晕结构的潜在空间,揭示其物理驱动因素并提升天文数据的可解释性。
2026-02-26 cs.LG stat.ML
Stochastic Latent Actor-Critic: Deep Reinforcement Learning with a Latent Variable Model
DeepMind(深度思维);University of California, Berkeley(加州大学伯克利分校)
深度强化学习(RL)算法可以使用高容量深度网络直接从图像观察中学习。然而,这些高维观测空间在实践中提出了许多挑战,因为该策略现在必须解决两个问题:表示学习和任务学习。在这项工作中,我们分别解决这两个问题,通过显式学习可以加速图像的强化学习的潜在表示。我们提出了随机潜在行动者-评论家(SLAC)算法:一个样本高效和高性能的RL算法,用于直接从高维图像输入学习复杂连续控制任务的策略。SLAC提供了一种新的原则性方法,通过学习紧凑的潜在表示,然后在模型的学习潜在空间中执行RL,将随机序列模型和RL统一为一种方法。我们的实验评估表明,我们的方法优于无模型和基于模型的替代品的最终性能和样本效率,在一系列困难的基于图像的控制任务。我们的代码和我们的结果的视频可在我们的网站。
2020-10-26 cs.AI cs.LG stat.ML
Deep Recurrent Modelling of Granger Causality with Latent Confounding
University College London(伦敦大学学院)
当无法进行干预时,推断观测时间序列数据中的因果关系是一项重要任务。Granger因果关系是一个流行的框架来推断不同时间序列之间的潜在因果机制。格兰杰因果关系的原始定义仅限于线性过程,并在存在潜在混淆因素的情况下导致虚假结论。在这项工作中,我们利用递归神经网络的表达能力,并提出了一种基于深度学习的方法,通过直接考虑潜在的混杂因素来建模非线性格兰杰因果关系。我们的方法利用多个递归神经网络来参数化预测分布,并且我们提出了使用双解码器设置来进行Granger测试的新方法。我们展示了非线性随机时间序列的模型性能,其中潜在的混淆因素影响不同时滞的因果关系;结果显示了我们的模型与现有基准相比的有效性。
2022-02-23 cs.LG stat.ME
Deep Discrete Encoders: Identifiable Deep Generative Models for Rich Data with Discrete Latent Layers
Department of Statistics, Columbia University(哥伦比亚大学统计系)
针对深度生成模型不可识别和不可解释的问题,提出具有二元潜层的深度离散编码器(DDE),通过可识别性条件和谱初始化加惩罚EM算法,实现层次主题建模、图像表示学习和响应时间建模。
2025-08-06 cs.LG stat.ME stat.ML
Deep Latent-Variable Kernel Learning
Dalian University of Technology(大连理工大学);Nanyang Technological University(南洋理工大学)
深度内核学习(DKL)利用高斯过程(GP)和神经网络(NN)之间的连接来构建端到端的混合模型。它结合了NN在海量数据下学习丰富表示的能力和GP的非参数属性,以实现自动正则化,并在模型拟合和模型复杂性之间进行权衡。然而,确定性编码器可能会削弱后续GP部分的模型正则化,特别是在小数据集上,由于自由的潜在表示。因此,我们提出了一个完整的深度潜变量核学习(DLVKL)模型,其中潜变量执行正则化表示的随机编码。我们从两个方面进一步增强DLVKL:(i)通过神经随机微分方程(NNDV)表达变分后验以提高逼近质量,以及(ii)混合先验从NNDV先验和后验中获取知识以达到灵活的权衡。密集的实验表明,DLVKL-NARDING在小数据集上的表现与校准良好的GP相似,在大数据集上的表现优于现有的深度GP。
2020-08-19 cs.LG stat.ML
Cross-Domain Latent Modulation for Variational Transfer Learning
University of Otago(奥塔哥大学)
我们提出了一个跨域的潜在调制机制内的变分自编码器(VAE)的框架,使改进的迁移学习。我们的主要思想是从一个数据域获取深度表示,并将其用作另一个域中潜在变量的重新参数化的扰动。具体而言,源域和目标域的深度表示首先由统一的推理模型提取,并通过采用梯度反转进行对齐。其次,学习的深度表示被交叉调制到替代域的潜在编码。然后强制执行从调制的潜在编码的重构与使用深度表示样本的生成之间的一致性,以便在潜在空间中产生类间对齐。我们将所提出的模型应用于一些迁移学习任务,包括无监督的领域自适应和图像到图像的翻译。实验结果表明,我们的模型具有竞争力的性能。
2020-12-21 cs.AI cs.LG
What Matters for Latent Reasoning with Flow Matching
本文提出流式潜在推理(FLaRe),通过流匹配在潜在空间训练有效思维,满足有用、多样、可解释、可改进和高效五项要求,在算术基准上以四分之一延迟达到显式思维链97%的准确率。
2026-10-06 cs.CL cs.LG
Deep Latent Defence
Imperial College London(帝国理工学院);Airbus(空中客车公司)
深度学习方法在从计算机视觉到自然语言处理的一系列任务中表现出了最先进的性能。然而,众所周知的是,这样的系统容易受到攻击者的攻击,这些攻击者精心制作输入以引起错误分类。攻击者为了引起这种错误分类而需要引入的扰动水平可以非常小,并且通常是不可感知的。这是一个重大的安全问题,特别是在错误分类可能对人类造成伤害的情况下。因此,我们提出了Deep Latent Defense,这是一种旨在将对抗训练与检测系统相结合的架构。深度潜伏防御的核心是一个经过对抗训练的神经网络。一系列编码器在数据通过网络时获取数据的中间层表示,并将其投影到一个潜在空间,我们使用该空间通过$k$ -nn分类器检测对抗样本。我们目前的结果使用灰盒和白盒攻击者,以及自适应$L_{\infty}$有界攻击,这是专门为尝试和逃避我们的防御。我们发现,即使在我们研究过的最强攻击者模型下,我们的防御也能够提供显着的防御优势。
2020-09-27 cs.LG stat.ML
Estimating Stochastic Poisson Intensities Using Deep Latent Models
Purdue University(普渡大学)
提出了一种估计重随机泊松过程随机强度的方法。交通痕迹的统计和理论分析表明,这些过程是适当的模型,高强度的交通到达一系列的服务系统。驱动交通模型的潜在随机强度过程的统计估计涉及到一个相当复杂的非线性滤波问题。我们开发了一种新的模拟方法,使用深度神经网络来近似随机强度过程引起的路径测量,用于解决这个非线性滤波问题。我们的模拟研究表明,该方法是相当准确的样本内估计和无限服务器队列的样本外性能预测任务。
2020-07-23 cs.LG stat.ML
Deep Latent Dirichlet Allocation with Topic-Layer-Adaptive Stochastic Gradient Riemannian MCMC
针对深度离散潜变量模型(LVMs)开发基于随机梯度的可扩展推理是具有挑战性的,这是由于不仅难以计算梯度,而且难以使步长适应不同的潜在因子和隐藏层。对于泊松伽马信念网络(PGBN),最近提出的深度离散LVM,我们推导出一种替代表示,被称为深度潜在狄利克雷分配(DLDA)。利用数据增广和边缘化技术,我们推导出一个块对角费舍尔信息矩阵和它的逆单形约束的全球模型参数的DLDA。利用费舍尔信息矩阵与随机梯度MCMC,我们提出了主题层自适应随机梯度黎曼(TLASGR)MCMC,共同学习单纯形约束的全局参数在所有层和主题,主题和层特定的学习率。在大数据集上展示了最先进的结果。
2017-06-06 cs.LG stat.CO stat.ML
Using Deep LSD to build operators in GANs latent space with meaning in real space
Biocomplexity Institute, Indiana University(印第安纳大学生物复杂性研究所);Luddy School of Informatics, Computing and Engineering(卢迪信息学、计算与工程学院)
生成模型依赖于这样一个关键思想,即数据可以用定义上不相关的潜变量来表示。缺乏相关性是很重要的,因为它表明潜在空间流形更容易理解和操纵。生成模型广泛用于深度学习,例如,变分自编码器(VAE)和生成对抗网络(GANs)。在这里,我们提出了一种在GANs的潜在空间中构建一组线性独立向量的方法,我们称之为准特征向量。这些准特征向量有两个关键属性:i)它们跨越所有的潜在空间,ii)这些准特征向量的集合一对一地映射到每个标记特征。我们表明,在MNIST的情况下,而在潜在空间的维数是大的建设,98%的数据在真实空间映射到一个子域的潜在空间的维数等于标签的数量。然后,我们展示了准特征值如何用于潜谱分解(LSD),它在图像去噪和在潜空间中执行映射到实空间中的特征变换的矩阵运算中具有应用。我们展示了这种方法如何提供洞察潜在的空间拓扑结构。其关键在于,拟特征向量集构成了潜空间的基集,每个方向对应于实空间的一个特征。
2021-02-09 cond-mat.soft cs.LG
DeepKoCo: Efficient latent planning with a task-relevant Koopman representation
Delft University of Technology(代尔夫特理工大学)
本文介绍了DeepKoCo,一种新的基于模型的代理,从图像中学习潜在的Koopman表示。这种表示允许DeepKoCo使用线性控制方法(例如线性模型预测控制)进行有效规划。与传统代理相比,DeepKoCo学习任务相关的动态,这要归功于使用定制的有损自动编码器网络,该网络允许DeepKoCo学习潜在动态,仅重建和预测观察到的成本,而不是所有观察到的动态。正如我们的研究结果所示,DeepKoCo在复杂的控制任务中实现了与传统无模型方法相似的最终性能,同时对干扰物动力学具有更强的鲁棒性,使所提出的代理更适合于现实生活中的应用。
2021-09-24 cs.CV cs.LG cs.RO
A Softmax-free Loss Function Based on Predefined Optimal-distribution of Latent Features for Deep Learning Classifier
Shanghai University(上海大学)
在模式分类领域,深度学习分类器的训练多为端到端学习,而损失函数是对网络最终输出(后验概率)的约束,因此Softmax的存在必不可少。在端到端学习的情况下,通常没有有效的完全依赖中间层特征的损失函数来约束学习,导致样本潜在特征的分布不是最优的,因此分类精度仍有提升空间。基于预定义均匀分布类质心的概念,提出了一种基于预定义最优潜在特征分布的Softmax自由损失函数-POD损失。该损失函数仅对样本的潜在特征进行约束,包括样本的潜在特征向量与预定义的均匀分布类的中心之间的范数自适应余弦距离,以及样本的潜在特征之间的相关性。最后,余弦距离用于分类。在几个典型的深度学习分类网络上对几个常用数据集进行的实验表明,与常用的Softmax Loss、一些典型的Softmax相关损失函数和PEDCC-Loss相比,POD Loss的分类性能始终显著更好,更容易收敛。代码可在https://github.com/TianYuZu/POD-Loss上找到。
2022-10-21 cs.CV cs.LG
A Deep Latent-Variable Model Application to Select Treatment Intensity in Survival Analysis
University of Toronto(多伦多大学)
在下面的短文中,我们采用了一种新的流行的机器学习模型来推断医疗数据集。我们的方法是基于变分自动编码器(VAE)的框架,我们适应生存分析的小数据集缺失值。在我们的模型中,真实的健康状况表现为一组影响观察到的协变量和生存机会的潜在变量。我们表明,这种灵活的模型允许有见地的决策,使用预测的分布和优于经典的生存分析模型。
2018-11-29 cs.LG stat.ML
Complexity Matters: Rethinking the Latent Space for Generative Modeling
National University of Singapore(新加坡国立大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文从模型复杂性视角重新思考生成建模的隐空间,提出隐-数据分布距离及解耦自编码器(DAE)两阶段训练策略,在 VQGAN 和 Diffusion Transformer 等模型上以更低模型复杂性显著提升生成质量。
2023-10-29 cs.LG stat.ML
Which priors matter? Benchmarking models for learning latent dynamics
DeepMind
学习动态是机器学习(ML)许多重要应用的核心,例如机器人和自动驾驶。在这些设置中,ML算法通常需要使用高维观测(如图像)来推理物理系统,而无需访问底层状态。最近,有几种方法提出将经典力学的先验知识集成到ML模型中,以解决从图像进行物理推理的挑战。在这项工作中,我们冷静地看待这些模型的当前能力。为此,我们介绍了一套由17个数据集组成的可视化观察的基础上表现出广泛的动态物理系统。我们对主要的物理启发方法进行了全面而详细的比较,并与几个强大的基线进行了比较。虽然包含物理先验的模型通常可以学习具有所需属性的潜在空间,但我们的结果表明,这些方法未能显着改善标准技术。尽管如此,我们发现,使用连续和时间可逆的动力学有利于所有类别的模型。
2021-11-09 cs.LG stat.ML
DDLP: Unsupervised Object-Centric Video Prediction with Deep Dynamic Latent Particles
Technion - Israel Institute of Technology(以色列理工学院);Electrical and Computer Engineering(电气与计算机工程学院)
提出基于深度潜粒子的对象中心视频预测算法DDLP,利用关键点表示实现高效可解释预测,并在多个数据集上达到最先进性能。
2024-02-08 cs.CV cs.LG
Neural Stochastic Differential Equations: Deep Latent Gaussian Models in the Diffusion Limit
University of Illinois(伊利诺伊大学)
在深层潜高斯模型中,潜变量由时间非齐次马尔可夫链生成,在每个时间步,我们将当前状态通过参数非线性映射(如前馈神经网络),并添加一个小的独立高斯扰动。这项工作考虑了这种模型的扩散极限,其中层数趋于无穷大,而步长和噪声方差趋于零。极限潜在对象是一个Itô扩散过程,它求解一个随机微分方程(ε),其漂移和扩散系数由神经网络实现。我们开发了一个变分推理框架,这些\textit{neural SDEs}通过随机自动微分在Wiener空间中,其中的变分近似的后验得到的Girsanov(均值漂移)变换的标准Wiener过程和梯度的计算是基于随机流理论。这就允许使用黑盒解算器和自动微分进行端到端推理。实验结果与合成数据提供。
2019-10-28 cs.LG stat.ML
On the Variational Posterior of Dirichlet Process Deep Latent Gaussian Mixture Models
Orange Labs(Orange实验室);Institute Mines-Telecom Atlantique(大西洋矿业电信学院)
由于重新参数化技巧,深度潜在高斯模型最近在学习潜在表示方面取得了巨大的成功。然而,将它们与非参数先验(如狄利克雷过程(DP))耦合的能力由于其不可参数化的性质而没有看到类似的成功。本文提出了Dirichlet过程深潜高斯混合模型(DP-DLGMM)变分后验的另一种处理方法,证明了β分布和聚类隐变量的先验聚类参数和变分后验可以以封闭形式更新.这导致了一个标准的重新参数化技巧高斯隐变量知道集群分配。我们在标准基准数据集上展示了我们的方法,我们表明我们的模型能够为获得的每个聚类生成真实的样本,并在半监督设置中表现出竞争力。
2020-07-27 cs.AI cs.LG stat.ML
Regula Sub-rosa: Latent Backdoor Attacks on Deep Neural Networks
University of Chicago(芝加哥大学)
最近的工作提出了对深度神经网络(DNN)进行后门攻击的概念,其中错误行为隐藏在“正常”模型中,仅由非常特定的输入触发。然而,在实践中,这些攻击难以执行,并且受到通过迁移学习共享模型的高度约束。对手有一个很小的窗口,在此期间,他们必须在部署学生模型之前对其进行破坏。在本文中,我们描述了一个更强大的变种后门攻击,潜在的后门,其中隐藏的规则可以嵌入到一个单一的“教师”模型,并自动继承所有的“学生”模型通过迁移学习过程。我们表明,潜在的后门可以在各种应用环境中非常有效,并通过对交通标志识别,实验室志愿者的虹膜识别和公众人物(政治家)的面部识别的现实世界的攻击验证其实用性。最后,我们评估了4种潜在的防御措施,发现只有一种可以有效地破坏潜在的后门,但可能会导致分类准确性的代价。
2019-05-24 cs.CR cs.LG
Language as a Latent Sequence: deep latent variable models for semi-supervised paraphrase generation
Durham University(杜伦大学)
本文提出VSAR与DDL结合的半监督复述生成模型,并引入KRL两阶段训练方案解决冷启动问题,在标记数据稀缺时显著优于强监督基线。
2023-09-08 cs.CL cs.LG