Weakly Supervised Representation Learning with Sparse Perturbations
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学)
表示学习的理论旨在建立一种方法,这种方法可以用最少的领域知识或任何监督源来证明数据生成过程的反转。大多数先前的方法需要强分布假设的潜在变量和弱监督(辅助信息,如时间戳),以提供可证明的识别保证。在这项工作中,我们表明,如果一个人有微弱的监督,从观察所产生的稀疏扰动的潜变量-例如图像在强化学习环境中的行动移动个人精灵-识别是可以实现的未知的连续潜在分布。我们表明,如果扰动只适用于互斥块的潜伏期,我们确定的潜伏期到这些块。我们还表明,如果这些扰动块重叠,我们确定潜在的跨扰动共享的最小块。因此,如果存在仅在一个潜在变量中相交的块,则这样的潜在变量被识别为置换和缩放。我们提出了一个自然的估计过程,基于这一理论,并说明它的低维合成和基于图像的实验。
2022-06-02 cs.LG stat.ML
Identifying through Flows for Recovering Latent Representations
Institute of Data Science(数据科学研究所);NUS Graduate School for Integrative Sciences and Engineering(新加坡国立大学综合科学与工程研究生院);National University of Singapore(新加坡国立大学)
可识别性,或恢复观察到的数据来源的真实潜在表示,事实上是表示学习的基本目标。然而,大多数深层生成模型并没有解决可识别性的问题,因此无法实现恢复生成观察结果的真正潜在来源的承诺。最近的工作提出了可识别的生成建模使用变分自编码器(iVAE)与可识别性理论。然而,由于变分近似后验和真实后验之间的KL发散难以解决,iVAE必须最大化边缘似然的证据下限(ELBO),导致理论和实践中的次优解。相比之下,我们提出了一个可识别的框架,使用基于流的模型(iFlow)估计潜在的表示。我们的方法直接最大限度地提高边际似然,允许理论上的保证可识别性,从而免除变分近似。我们推导出其优化目标的分析形式,使之有可能训练iFlow在一个端到端的方式。通过对合成数据的仿真,验证了该方法的正确性和有效性,并展示了其相对于现有方法的实用优势。
2020-04-26 cs.LG stat.ML
DeepMDP: Learning Continuous Latent Space Models for Representation Learning
Google Brain(谷歌大脑);Johns Hopkins University(约翰斯·霍普金斯大学)
许多强化学习(RL)任务为智能体提供了可以简化为低维连续状态的高维观测。为了将这个过程形式化,我们引入了DeepMDP的概念,DeepMDP是一种参数化的潜在空间模型,通过最小化两个易于处理的损失来训练:预测奖励和预测下一个潜在状态的分布。我们表明,这些目标的优化保证了(1)作为状态空间表示的潜在空间的质量和(2)作为环境模型的DeepMDP的质量。我们将这些结果连接到互模拟文献中的先前工作,并探索各种度量的使用。我们的理论研究结果得到了实验结果的证实,经过训练的DeepMDP恢复了合成环境中高维观测的潜在结构。最后,我们表明,在Atari 2600域中学习DeepMDP作为辅助任务,与无模型RL相比,性能得到了很大的提高。
2019-06-06 cs.LG stat.ML
Open Knowledge Graphs Canonicalization using Variational Autoencoders
IBM Research AI(IBM研究院人工智能部);Thomas J. Watson Research Center(托马斯·J·沃森研究中心)
开放知识图谱中的名词短语和关系短语没有规范化,导致冗余和模糊的主语-关系-宾语三元组的爆炸。解决这个问题的现有方法采取两步方法。首先,他们为名词和关系短语生成嵌入表示,然后使用聚类算法使用嵌入作为特征对它们进行分组。在这项工作中,我们提出了规范化使用变分自编码器(CUVA),一个联合模型,学习嵌入和集群分配在一个端到端的方法,这导致了一个更好的向量表示的名词和关系短语。我们对多个基准测试的评估表明,CUVA优于现有的最先进的方法。此外,我们引入了CanonicNell,一个新的数据集来评估实体规范化系统。
2021-09-27 cs.AI cs.CL cs.IR
GO-OSC and VASH: Geometry-Aware Representation Learning for Early Degradation Detection in Oscillatory Systems
Datar Consulting(达特咨询)
GO-OSC 和 VASH 通过几何感知表示学习,在振荡系统中实现早期退化检测,提升检测灵敏度与鲁棒性。
2026-01-24 cs.AI cs.LG
q-VAE for Disentangled Representation Learning and Latent Dynamical Systems
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
提出了一种基于Tsallis统计量的变分自编码器(简称q-VAE)。在所提出的方法中,一个标准的VAE是统计提取潜在的空间隐藏在采样数据,这潜在的空间有助于使机器人可控在可行的计算时间和成本。为了提高潜在空间的有用性,本文着重于解纠缠的表示学习,例如,从Tsallis统计的角度出发,推导出所提出的q-VAE的新的下限,以最大化采样数据的似然,其可以被认为是具有变形Kullback-Leibler发散的自适应$β$。为了验证所提出的q-VAE的好处,执行从MNIST数据集提取潜在空间的基准任务。实验结果表明,所提出的q-VAE算法在保持数据重建精度的同时,提高了解纠缠表示的质量。此外,它放宽了数据之间的独立性条件,这是通过学习非线性动力系统的潜在动力学证明。通过结合解纠缠表示,所提出的q-VAE实现了稳定和准确的长期状态预测从初始状态和动作序列。六足动物行走的数据集可在IEEE Dataport上获得,doi:https://dx.doi.org/10.21227/99af-jw71。
2021-08-26 cs.LG cs.RO stat.ML
Autoencoder Node Saliency: Selecting Relevant Latent Representations
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);Center for Applied Scientific Computing(应用科学计算中心)
自动编码器是一个人工神经网络模型,它学习未标记数据的隐藏表示。对于线性传递函数,它类似于主成分分析(PCA)。虽然这两种方法都使用权重向量进行线性变换,但自动编码器没有任何类似于PCA中与特征向量配对的特征值的指示。我们提出了一种新的监督节点显着性(SNS)的方法,排名隐藏的节点通过比较类分布的潜在表示对一个固定的参考分布。隐藏节点的潜在表示可以使用一维直方图来描述。我们应用归一化熵差(NED)来衡量直方图的“兴趣度”,并得出一个属性的NED值来识别一个好的分类节点。通过将我们的方法应用于真实数据集,我们证明了SNS解释训练的自动编码器所学到的东西的能力。
2018-03-08 cs.CV cs.LG stat.ML
The Trade-off Between Covariate Dependence and Latent Structure in Representation Learning
Faculty of Mathematics, Informatics, and Mechanics, University of Warsaw(华沙大学数学、信息学与力学学院);Institute of AI for Health, Helmholtz Munich(亥姆霍兹慕尼黑健康人工智能研究所)
该研究针对表示学习中协变量相关问题,提出统一监督框架,揭示协变量依赖与潜在结构的权衡,通过闭式变换重对齐预训练模型表示,在多组学数据上验证了方法的可控性。
2026-08-18 cs.LG
Deep Embedded Multi-View Clustering via Jointly Learning Latent Representations and Graphs
Institute of Electronic and Information Engineering of UESTC(电子科技大学电子信息工程研究院);University of Electronic Science and Technology of China(电子科技大学)
借助深度学习模型的表示学习能力,深度嵌入式多视图聚类(MVC)在许多场景中实现了令人印象深刻的性能,并且近年来变得越来越流行。虽然在这一领域已经取得了很大的进展,大多数现有的方法只专注于学习的潜在表示,而忽略了学习的节点的潜在图也提供了可用的信息,聚类任务。为了解决这个问题,在本文中,我们提出了通过联合学习潜在表示和图形的深度嵌入式多视图聚类(DMVCJ),它利用潜在图从两个方面提高深度嵌入式MVC模型的性能。首先,通过联合学习潜在图和特征表示,图卷积网络(GCN)技术可用于我们的模型。由于GCN具有利用图和特征信息的能力,我们的模型的聚类性能得到了显着提升。其次,基于隐图中节点的邻接关系,设计了一种样本加权策略来缓解噪声问题,进一步提高了模型的有效性和鲁棒性。在不同类型的真实世界多视图数据集上的实验结果证明了DMVCJ的有效性。
2022-05-08 cs.LG
Identifiable Multimodal Causal Representation Learning under Partial Latent Sharing
Paris-Saclay University, CentraleSupélec, MICS Lab(巴黎-萨克雷大学,中央理工-巴黎高等电力学院,MICS实验室);Lorraine University, CRAN(洛林大学,CRAN)
本文研究了在部分潜在变量共享设定下多模态因果表示学习的可识别性问题,通过非线性混合函数生成各模态数据,并在不假设潜在变量分布的情况下,建立了因果潜在表示的组件可识别性保证,进一步验证了在欠定情况下方法的有效性。
2026-05-18 cs.LG
SLRL: Structured Latent Representation Learning for Multi-view Clustering
Tongji University(同济大学);Tianjin University(天津大学)
针对现有多视图聚类方法常忽略样本结构信息的问题,提出SLRL框架,通过学习公共潜在表示并构建k近邻图挖掘结构信息,在多个多视图数据集上取得了优于现有方法的聚类性能。
2024-07-11 cs.LG
Latent Multi-view Semi-Supervised Classification
Glasgow College, University of Electronic Science and Technology of China(电子科技大学格拉斯哥学院);School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院);School of Foreign Languages, University of Electronic Science and Technology of China(电子科技大学外国语学院)
为了从多个视图中挖掘潜在的互补信息,本文提出了一种新的潜在多视图半监督分类(LMSSC)方法。与大多数现有的使用原始特征学习图的多视图半监督分类方法不同,我们的方法寻求一个潜在的潜在表示,并根据学习到的潜在表示进行图学习和标签传播。由于多视图的互补性,潜在表示比单个视图更能全面地描述数据,从而使图更准确、更鲁棒。最后,LMSSC将潜在表示学习、图构造和标签传播集成到一个统一的框架中,使每个子任务都得到优化。在真实基准数据集上的实验结果验证了该方法的有效性。
2019-09-09 cs.AI cs.CV cs.LG
Learning latent representations across multiple data domains using Lifelong VAEGAN
University of York(约克大学)
灾难性遗忘问题发生在以顺序方式在多个数据库上训练的深度学习模型中。最近,生成重放机制(GRM),已被提出来再现先前学习的知识,旨在减少遗忘。然而,这样的方法缺乏适当的推理模型,因此不能提供数据的潜在表示。在本文中,我们提出了一种新的终身学习方法,即终身VAEGAN(L-VAEGAN),它不仅诱导一个强大的生成重放网络,而且还学习有意义的潜在表示,有利于表示学习。L-VAEGAN可以允许将与不同域相关联的信息自动嵌入到潜在空间中的几个集群中,同时还可以跨不同的数据域捕获语义上有意义的共享潜在变量。该模型支持许多传统生成式重放方法无法完成的下游任务,包括跨不同数据域的插值和推理。
2020-07-20 cs.CV cs.LG
Semantic Noise Modeling for Better Representation Learning
Lunit Inc.(Lunit公司);New York University(纽约大学)
通过分层特征抽象从多层神经网络学习的潜在表示使得深度学习最近取得了成功。在深度学习框架下,泛化性能高度依赖于学习到的潜在表示,该潜在表示是从设计的网络模型上具有特定任务目标的适当训练场景中获得的。在这项工作中,我们提出了一种新的潜在空间建模方法来学习更好的潜在表示。我们设计了一个神经网络模型的基础上的假设,可以通过最大化的输入,潜在的,和输出变量之间的总相关性,以达到良好的基础表示。从基础模型出发,我们引入了一种语义噪声建模方法,该方法可以对潜在空间进行类条件扰动,以增强学习到的潜在特征的表示能力。在训练过程中,隐向量表示可以被建模的类条件加性噪声随机扰动,同时保持其原始语义特征。它隐含着对潜在空间的语义增强效应。所提出的模型可以很容易地学习反向传播与常见的基于梯度的优化算法。实验结果表明,该方法有助于实现性能优势,对各种以前的方法。我们还提供了经验分析,建议类条件扰动过程,包括t-SNE可视化。
2016-11-04 cs.LG cs.NE
Refining Latent Representations: A Generative SSL Approach for Heterogeneous Graph Learning
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院)
针对异构图学习中生成式自监督学习潜力未充分挖掘的问题,提出HGVAE方法,通过基于潜在表示的对比任务和渐进式负样本生成机制来Refining Latent Representations,迫使模型学习高质量表示,在多个SOTA基线对比中展现出优越性。
2024-04-20 cs.AI cs.LG
Constrained latent state modeling: A unifying perspective on representation learning under competing constraints
LaTIM UMR 1101
本文提出受限潜在状态建模(CLSM),统一了表示学习中在竞争约束下的核心原则与方法,揭示了潜在状态的内在耦合关系与根本权衡。
2026-10-08 cs.AI cs.LG
Exploiting Latent Linearity in LLMs Improves Explainable Molecular Representation Learning
Department of Computing, The Hong Kong Polytechnic University(计算系,香港理工大学)
MoleX通过利用大语言模型中的潜在线性性,提升分子表示学习的可解释性和性能
2026-01-31 cs.AI cs.LG
Isometric Representation Learning for Disentangled Latent Space of Diffusion Models
Seoul National University(首尔大学);Google Research(谷歌研究院)
针对扩散模型潜在空间纠缠和映射畸变问题,提出等距扩散方法,通过几何正则化器学习解纠缠潜在空间,实现更平滑插值、更精确反演和更精细属性控制,实验验证有效。
2024-07-16 cs.CV cs.LG
LVCG: Learning ECG Representations in the Latent Vectorcardiogram Space
Griffith University, Australia(格里菲斯大学);SingHealth Duke-NUS AI in Medicine Institute, Singapore(新加坡SingHealth Duke-NUS医学人工智能研究所);Emory University, USA(埃默里大学)
针对标准十二导联心电图表示学习中的冗余和过拟合问题,提出基于Frank向量心电图模型的LVCG框架,在物理潜在空间中学习视图不变的心脏电活动表示,提升鲁棒性和泛化能力。
2026-08-12 cs.AI cs.LG
Exploring the Latent Space of Autoencoders with Interventional Assays
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
自动编码器表现出令人印象深刻的能力,将数据流形嵌入到低维潜在空间中,使其成为表示学习方法的主要部分。然而,如果没有明确的监督,这往往是不可用的,表示通常是不可解释的,使分析和原则性的进展具有挑战性。我们提出了一个框架,称为潜在的反应,它利用局部收缩行为表现出的变分自编码器探索学习流形。更具体地说,我们开发的工具来探测的代表性使用干预的潜在空间,以量化潜在变量之间的关系。我们扩展了解纠缠的概念,以考虑到学习的生成过程,从而避免了现有的指标,可能依赖于虚假的相关性的限制。我们的分析强调了研究表示的因果结构的重要性,以提高下游任务的性能,如生成,插值和变异因素的推断。
2023-01-11 cs.CV cs.LG
Unsupervised Image Representation Learning with Deep Latent Particles
Technion - Israel Institute of Technology(以色列理工学院)
我们提出了一种新的视觉数据表示,从外观解开对象的位置。我们的方法,称为深潜粒子(DLP),分解成低维的潜在的视觉输入“粒子”,其中每个粒子是由其空间位置和周围区域的功能。为了驱动这种表示的学习,我们遵循基于VAE的方法,并引入基于spatial-softmax架构的粒子位置先验,以及对粒子之间倒角距离启发的证据下界损失的修改。我们证明,我们的DLP表示是有用的下游任务,如无监督的关键点(KP)检测,图像处理和视频预测的场景组成的多个动态对象。此外,我们表明,我们的概率解释的问题,自然提供了粒子位置的不确定性估计,可用于模型选择,以及其他任务。视频和代码可在https://taldatech.github.io/deep-latent-particles-web/上获得
2022-07-26 cs.AI cs.CV cs.LG
Different representation learning objectives recover distinct latent structures from the same psychometric data
Yale University(耶鲁大学);Yale School of Public Health(耶鲁公共卫生学院);VA Connecticut Healthcare System(VA康涅狄格医疗系统);Cooperative Studies Program Coordinating Center(合作研究项目协调中心);Center for the Advancement of Research & Development in Educational Technology (CARDET)(教育技术研究与发展促进中心(CARDET))
该研究以757对师生的心理测量数据为对象,发现不同表征学习目标恢复的潜在结构不同,对比学习提升了师生检索性能但保留行为表型结构的效果弱于PCA,多任务目标可部分恢复行为组织但降低检索性能。
2026-09-02 cs.AI cs.LG stat.ME
Disentangled Latent Representation Learning for Tackling the Confounding M-Bias Problem in Causal Inference
Huazhong Agricultural University(华中农业大学);University of South Australia(南澳大利亚大学)
针对同一变量同时引发混杂偏倚与M偏倚的难题,本文提出DLRCE框架,从代理变量学习三组解耦潜在表示以同时校正两类偏倚,并在合成及三个真实数据集上验证其优于现有估计器。
2023-12-08 cs.AI cs.LG stat.ME
A Comparison of Discrete Latent Variable Models for Speech Representation Learning
University of Toronto(多伦多大学);Facebook AI Research(脸书人工智能研究院)
神经隐变量模型能够发现语音音频数据中有趣的结构。本文提出了两种不同的方法,这是广泛的预测未来的时间步长或自动编码的输入信号的基础上进行比较。我们的研究比较了vq-wav 2 vec和vq-wav 2 vec在子词单元发现和音素识别性能方面的表征。结果表明,未来的时间步长预测与vq-wav 2 vec取得了更好的性能。最好的系统在ZeroSpeech 2019 ABX音素辨别挑战中实现了13.22的错误率
2020-10-24 cs.AI cs.LG cs.SD
Latent Space Smoothing for Individually Fair Representations
ETH Zurich(苏黎世联邦理工学院);DeepMind(深度思维)
公平表示学习将用户数据转换为一种表示,该表示确保公平性和实用性,而与下游应用无关。然而,学习单独的公平表示,即,在诸如计算机视觉的高维环境中,保证相似的个体被相似地对待仍然是具有挑战性的。在这项工作中,我们介绍LASSI,第一个表示学习方法来证明个人的公平性的高维数据。我们的关键见解是利用生成建模的最新进展来捕获生成潜在空间中的相似个体集。这使我们能够通过使用对抗训练来最小化他们的表示之间的距离,来学习单独的公平表示,将相似的个体映射到一起。最后,我们采用随机平滑来可证明地将相似的个体映射到一起,从而确保下游应用程序的本地鲁棒性验证导致端到端的公平性认证。我们对具有挑战性的真实世界图像数据的实验评估表明,我们的方法将认证的个人公平性提高了90%,而不会显着影响任务效用。
2022-07-26 cs.AI cs.CV cs.LG
Continual Semantic Segmentation via Repulsion-Attraction of Sparse and Disentangled Latent Representations
University of Padova(帕多瓦大学)
深度神经网络在学习新任务时会遇到灾难性遗忘旧任务的主要限制。在本文中,我们专注于类增量持续学习语义分割,新的类别是随着时间的推移,而以前的训练数据不保留。所提出的持续学习方案塑造潜在空间以减少遗忘,同时提高对新类的识别。我们的框架由三个新颖的组件驱动,我们还将它们毫不费力地结合在现有技术之上。首先,原型匹配在旧类上强制执行潜在空间一致性,约束编码器在后续步骤中为先前看到的类产生类似的潜在表示。其次,特征稀疏化允许在潜在空间中腾出空间来容纳新的类。最后,对比学习是根据他们的语义聚类功能,而撕裂除了那些不同的类。对Pascal VOC 2012和ADE 20 K数据集的广泛评估证明了我们方法的有效性,显著优于最先进的方法。
2021-11-24 cs.AI cs.CV cs.LG
From latent dynamics to meaningful representations
Institute for Physical Science and Technology, University of Maryland(马里兰大学物理科学与技术研究所);Department of Mathematics, University of Maryland(马里兰大学数学系)
本文提出纯动力学约束的表示学习框架,通过可学习转移密度的过阻尼 Langevin 动力学替代人工先验,并在多系统及荧光 DNA 数据上验证其可唯一识别有意义潜表示。
2024-04-09 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Latent Variable Modeling for Generative Concept Representations and Deep Generative Models
IBM(国际商业机器公司)
潜在表征是深层生成模型的本质,决定了它们的有用性和强大性。为了使潜在表示作为生成概念表示有用,它们的潜在空间必须支持潜在空间插值、属性向量和概念向量等。我们研究和讨论潜变量建模,包括潜变量模型,潜表示和潜空间,特别是层次潜表示和潜空间向量和几何。我们的重点是变分自编码器和生成对抗网络中使用的。
2018-12-26 cs.LG stat.ML
Normalizing Flow with Variational Latent Representation
HKUST(香港科技大学)
规范化流(NF)由于其强大的建模复杂数据分布的能力而比传统的基于最大似然的方法更受欢迎。然而,标准的方法,它将观测数据映射到一个正态分布,在处理多个相对孤立的模式的数据分布有困难。为了克服这个问题,我们提出了一个新的框架的基础上变分潜在表示,以提高NF的实际性能。这个想法是用一个更一般的潜在表示代替标准的正态潜在变量,通过变分贝叶斯联合学习。例如,通过将潜在表示作为离散序列,我们的框架可以学习生成潜在序列的Transformer模型和生成以序列为条件的连续数据分布的NF模型。由此产生的方法是显着更强大的标准规范化流的方法生成数据分布与多个模式。大量的实验已经显示了NF与变分潜在表示的优势。
2022-11-21 cs.LG stat.ML
Learning Latent Representations of Bank Customers With The Variational Autoencoder
University of Tromsø(特罗姆瑟大学);Santander Consumer Bank AS(桑坦德消费银行股份公司);Norwegian Computing Center(挪威计算中心)
学习反映客户信誉的数据表示可以改进零售银行的营销活动、客户关系管理、数据和流程管理或信用风险评估。在这项研究中,我们采用了变分自动编码器(VAE),它有能力学习包含有用信息的潜在表示。我们表明,它是可能的VAE的潜在空间中使用证据的权重,并形成一个特定的分组的数据,反映了客户的信誉来引导潜在的表示。我们提出的方法学习数据的潜在表示,这表明了一个很好的定义聚类结构捕捉客户的信誉。这些集群非常适合上述银行的活动。此外,我们的方法可以推广到新客户,捕获高维和复杂的财务数据,并扩展到大型数据集。
2019-03-14 cs.LG stat.ML
Spectral Analysis of Latent Representations
Peltarion;University of Osnabrück(奥斯纳布吕克大学);AIM Agile IT Managment GmbH(AIM敏捷IT管理有限公司)
我们提出了一个度量,层饱和度,定义为解释99%的潜在表示的方差所需的特征值的数量的比例,用于分析神经网络层的学习表示。饱和度基于频谱分析,可以有效地计算,从而在训练期间对表示进行实时分析。我们提供了一个展望未来的应用,这个指标,概述了层饱和度在不同的神经架构和问题的行为。我们进一步表明,饱和度与神经网络的泛化和预测性能。
2019-07-19 cs.LG stat.ML
On the Identifiability of Latent Action Policies
Samsung AI Lab(三星人工智能实验室)
该研究针对近期提出的从视频中发现动作表征的潜在动作策略学习(LAPO)框架的可辨识性展开,明确了动作表征的理想性质与不可辨识性来源,证明熵正则化LAPO目标在合适条件下可辨识符合要求的动作表征,解释了离散动作表征的实践优势。
2025-10-01 cs.LG stat.ML
Mechanistic Independence: A Principle for Identifiable Disentangled Representations
Technical University of Munich(慕尼黑技术大学)
本文提出机制独立性原则,通过解耦表示中的机制作用来识别潜在子空间,建立独立性准则层级并提供图论特征描述,无需依赖统计假设。
2026-05-10 cs.LG stat.ML
Extracting Latent State Representations with Linear Dynamics from Rich Observations
Duke University(杜克大学)
最近,许多强化学习技术被证明在线性动力学的简单情况下具有可证明的保证,特别是在线性二次调节器等问题中。然而,在实践中,许多强化学习问题试图直接从丰富的高维表示(如图像)中学习策略。即使在正确的潜在表示(如位置和速度)中存在线性的潜在动态,丰富的表示也可能是非线性的,并且可能包含不相关的特征。在这项工作中,我们研究了一个模型,其中有一个隐藏的线性子空间的动态是线性的。对于这样的模型,我们给出了一个有效的算法提取线性动力学的线性子空间。然后,我们将我们的想法扩展到提取非线性映射,并在具有丰富观测的简单设置中实证验证了我们的方法的有效性。
2020-06-29 cs.LG stat.ML
Latent Variable Representation for Reinforcement Learning
Google Research(谷歌研究院);UT Austin(德克萨斯大学奥斯汀分校);University of Alberta(阿尔伯塔大学);UC Berkeley(加州大学伯克利分校);Harvard University(哈佛大学);Northwestern University(西北大学);Georgia Tech(佐治亚理工学院)
深度潜变量模型在基于基于模型的强化学习(RL)中取得了显著的经验成功,这是由于它们在建模复杂的过渡动态方面的表现力。另一方面,在理论和经验上,潜变量模型如何促进学习、规划和探索以提高强化学习的样本效率仍不清楚。在本文中,我们提供了一个表示视图的状态-动作价值函数的潜变量模型,它允许易于处理的变分学习算法和有效的实施乐观/悲观原则,在面对不确定性的探索。特别是,我们提出了一个计算效率高的规划算法与UCB探索,将核嵌入的潜变量模型。从理论上讲,我们建立了所提出的方法在在线和离线设置的样本复杂度。从经验上讲,我们在各种基准测试中表现出优于当前最先进算法的性能。
2023-03-07 cs.LG stat.ML
Educating Text Autoencoders: Latent Representation Guidance via Denoising
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Amazon Web Services(亚马逊云科技)
生成式自动编码器通过利用其潜在的句子表示提供了一种有前途的可控文本生成方法。然而,目前的模型很难保持连贯的潜在空间,需要通过潜在向量操作执行有意义的文本操作。具体来说,我们通过例子证明了神经编码器不一定将相似的句子映射到附近的潜在向量。对这一现象的理论解释表明,高容量自动编码器可以学习序列和相关潜在表示之间的任意映射。为了解决这个问题,我们用去噪目标来增强对抗性自动编码器,其中原始句子是从扰动版本(称为DAAE)中重建的。我们证明,这个简单的修改指导潜在的空间几何的结果模型,鼓励编码器映射类似的文本,以类似的潜在表示。在与各种类型的自动编码器的经验比较中,我们的模型提供了生成质量和重建容量之间的最佳权衡。此外,DAAE潜在空间的改进的几何形状,使zero-shot文本风格转移通过简单的潜在向量算法。
2020-07-07 cs.CL cs.LG stat.ML
Learning Latent Representations for Speech Generation and Transformation
Massachusetts Institute of Technology(麻省理工学院)
对生成过程进行建模并以无监督的方式学习语音的潜在表示的能力对于处理大量未标记的语音数据至关重要。最近,诸如变分自编码器(VAE)的深度概率生成模型在对自然图像进行建模方面取得了巨大成功。在本文中,我们应用卷积VAE模型的自然语音的生成过程。我们推导出潜在的空间算术运算来解开学习到的潜在表征。我们证明了我们的模型的能力,修改语音内容或扬声器的身份语音段使用派生的操作,而不需要并行的监督数据。
2017-09-22 cs.CL cs.LG stat.ML
TLR: Transfer Latent Representation for Unsupervised Domain Adaptation
Wuhan University(武汉大学)
领域自适应是指通过利用来自源域的数据来学习目标域中的预测模型的过程。许多经典的方法通过建立公共的潜在空间来解决领域自适应问题,这可能会导致跨两个域的许多重要属性的丢失。在这篇手稿中,我们开发了一种新的方法,转移潜在的代表性(TLR),学习一个更好的潜在空间。具体来说,我们设计了一个目标函数的基础上,一个简单的线性自编码器,以获得这两个域的潜在表示。自动编码器中的编码器旨在将两个域的数据投影到鲁棒的潜在空间中。此外,解码器施加了一个额外的约束来重建原始数据,这可以保持两个域的共同属性,并减少导致域移位的噪声。跨领域任务的实验表明TLR的竞争方法的优势。
2018-08-19 cs.AI cs.LG stat.ML
Tiered Latent Representations and Latent Spaces for Molecular Graphs
IBM
分子图通常包含子图(称为组),这些子图在组成、功能、几何等方面是可识别的和重要的。平面潜在表示(节点嵌入或图嵌入)不能表示和支持组的使用。另一方面,完全分层的潜在表征很难学习,即使学会了,也可能太复杂而无法使用或解释。我们提出分层的潜在表示和潜在空间的分子图作为一种简单的方式来明确表示和利用组,其中包括原子(节点)层,组层和分子(图)层。具体来说,我们提出了一个架构,学习分层的潜在表示和潜在空间,使用图自动编码器,图神经网络,可微组池和成员矩阵。我们讨论了它的各个组成部分,主要的挑战和相关的工作,确定性和概率模型。我们还简要讨论了分层潜在空间的使用和探索。分层的方法是适用于其他类型的结构化图类似的性质分子图。
2019-03-21 cs.LG
Demystifying Relational Latent Representations
KU Leuven(鲁汶大学)
事实证明,通过深度学习方法学习到的潜在特征是机器学习的强大工具。它们作为一种数据抽象,通过显式地捕获数据中的数据使学习变得更容易。他们的利益激励他们适应关系学习环境。在我们以前的工作中,我们介绍了一种通过聚类实例及其关系来学习关系潜在特征的方法。潜在表征的主要缺点是它们通常是黑箱的,难以解释。这项工作解决了这些问题,并表明:(1)通过聚类创建的潜在特征是可解释的,并捕获数据的有趣属性;(2)它们识别与标签匹配良好的实例的局部区域,这部分解释了它们的好处;以及(3)尽管通过该方法生成的潜在特征的数量很大,通常,它们中的许多是高度冗余的,并且可以在不太损害性能的情况下被移除。
2017-09-29 cs.AI cs.LG stat.ML
Mapping the Multiverse of Latent Representations
Helmholtz Munich(亥姆霍兹慕尼黑中心);Technical University of Munich(慕尼黑工业大学);KTH Royal Institute of Technology(皇家理工学院(瑞典));Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
针对机器学习潜表示变异性导致的复杂性与不可信问题,提出基于持久同调的框架PRESTO,用于映射和比较不同模型、参数与数据集组合下的潜空间,支持敏感性分析、异常嵌入检测及超参数搜索。
2024-06-01 cs.LG math.AT stat.ML
FONDUE: an algorithm to find the optimal dimensionality of the latent representations of variational autoencoders
University of Kent(肯特大学)
在给定数据集上训练变分自编码器(VAE)时,确定潜在变量的最佳数量主要通过网格搜索来完成:就计算时间和碳足迹而言,这是一个昂贵的过程。在本文中,我们探讨的内在尺寸估计(IDE)的数据和潜在的表征学习VAE。我们发现,IDE的平均值和采样表示的VAE后,只有几个步骤的训练之间的差异揭示了被动变量的存在下,在潜在的空间,这在良好的VAE,表明多余的维数。利用这一特性,我们提出了FONDUE:一种快速找到潜在维度数量的算法,在此之后,平均值和采样表示开始发散(即,当引入被动变量时),为VAE和自动编码器选择潜在维度的数量提供了一种原则性方法。
2022-09-26 cs.LG
Modal Uncertainty Estimation via Discrete Latent Representation
The Chinese University of Hong Kong(香港中文大学)
现实世界中的许多重要问题并没有独特的解决方案。因此,重要的是机器学习模型能够提出不同的合理的解决方案与有意义的概率措施。在这项工作中,我们引入了这样一个深度学习框架,它学习输入和输出之间的一对多映射,以及忠实的不确定性度量。我们称我们的框架为{ \it模态不确定性估计},因为我们对通过一组离散潜变量生成的一对多映射进行建模,每个潜变量表示解释相应类型的输入-输出关系的潜模式假设。因此,潜在表示的离散性质使我们能够非常有效地估计任何输入的输出的条件概率分布。离散潜在空间及其不确定性估计在训练期间联合学习。我们通过当前条件生成模型中的多模态后验崩溃问题来激励我们使用离散潜在空间,然后发展理论背景,并在合成和现实任务上广泛验证我们的方法。我们的框架展示了更准确的不确定性估计比目前最先进的方法,是翔实的,方便的实际使用。
2020-07-25 cs.CV cs.LG stat.ML
All Roads Lead to Rome? Exploring Representational Similarities Between Latent Spaces of Generative Image Models
Harvard University(哈佛大学)
本文通过训练线性映射拼接四种生成模型的潜在空间,发现性能良好的模型间线性映射能保留视觉信息,性别属性表征最相似,且NF的潜在表征在训练早期收敛。
2024-07-18 cs.LG
Latent Regression Bayesian Network for Data Representation
Rensselaer Polytechnic Institute(伦斯勒理工学院)
深度定向生成模型由于其表达能力和祖先采样能力而受到广泛关注。学习具有许多潜在变量的有向模型的一个主要困难是难以推理。为了解决这个问题,大多数现有的算法都假设潜在变量彼此独立,要么通过设计特定的先验,要么通过使用因子分解分布近似真实的后验。我们相信,潜变量之间的相关性是忠实的数据表示的关键。在此思想的驱动下,我们提出了一种基于条件伪似然的推理方法,该方法保留了隐变量之间的依赖关系。对于学习,我们提出采用硬期望最大化(EM)算法,它避免了传统EM的棘手的最大化,而不是求和计算数据的可能性。在基准数据集上对我们的模型与最先进的深度模型进行定性和定量评估,证明了所提出的算法在数据表示和重建方面的有效性。
2015-06-15 cs.LG
Connecting Neural Models Latent Geometries with Relative Geodesic Representations
University of Helsinki(赫尔辛基大学);University of Amsterdam(阿姆斯特丹大学);DTU(技术大学);IST Austria(奥地利因斯布鲁克科技大学)
本文提出通过拉回度量捕捉神经模型潜在空间的内在结构,以实现不同模型间表示的精确转换,用于模型缝合和检索任务。
2026-11-03 cs.LG
Hyperprior Induced Unsupervised Disentanglement of Latent Representations
Department of Computer Science, National University of Singapore(新加坡国立大学计算机科学系)
我们解决了通过深度生成模型学习的潜在表征的无监督解纠缠问题。与目前的证据下限(ELBO)操作的方法相比,我们认为,VAE的潜在空间中的统计独立性可以强制执行的原则分层贝叶斯方式。为此,我们增加了标准的VAE与逆Wishart(IW)之前的协方差矩阵的潜在代码。通过调整IW参数,我们能够鼓励(或阻止)学习的潜在维度的独立性。在一系列数据集(2Dfields,3DChairs,3DFaces和CelebA)上的广泛实验结果表明,我们的方法优于$β$ -VAE,并与最先进的FactorVAE竞争。我们的方法在一个新的数据集(CorrelatedEllipses)上实现了更好的解纠缠和重建,该数据集引入了变化因素之间的相关性。
2019-01-06 cs.AI cs.LG cs.NE
Exploring Representation-Aligned Latent Space for Better Generation
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);University of Sydney(悉尼大学);Chinese University of Hong Kong(香港中文大学);University of Hong Kong(香港大学)
本文提出ReaLS(表示对齐的潜在空间),通过集成语义先验提升潜在扩散模型的生成质量,使基础DiT和SiT在FID指标上提升15%,并支持分割等下游任务。
2025-02-01 cs.LG
Identifiable Representation and Model Learning for Latent Dynamic Systems
Beijing Institute of Control Engineering(北京控制工程研究所)
本文研究潜在动态系统的可辨识表示与模型学习,利用受可控规范型启发的稀疏、输入依赖归纳偏置,证明稀疏输入矩阵下线性及仿射非线性系统可辨识到缩放和简单变换。
2024-12-04 cs.LG cs.SY eess.SY
Learning High-Quality Latent Representations for Anomaly Detection and Signal Integrity Enhancement in High-Speed Signals
针对高速DRAM信号,提出联合训练框架学习区分性潜在表示以提升异常检测,并引入算法平均增强信号完整性11.3%。
2025-06-23 cs.LG
Uniform Transformation: Refining Latent Representation in Variational Autoencoders
Elmore Family School of Electrical and Computer Engineering, Purdue University(普渡大学埃尔莫尔家族电气与计算机工程学院)
本文提出三阶段均匀变换模块(G-KDE聚类、非参数高斯混合建模和概率积分变换),将VAE潜在空间的不规则分布重构为均匀分布,以缓解后验坍缩并提升解耦性与可解释性,在dSprites和MNIST上验证了有效性。
2024-07-02 cs.LG eess.IV math.OC
LatentVerse: A Framework for Understanding Shared and Modality-Specific Information in Multimodal Latent Representations
Broad Institute of MIT and Harvard(麻省理工学院和哈佛大学布罗德研究所);Massachusetts Institute of Technology(麻省理工学院);The Schmidt Center, Broad Institute of MIT and Harvard(麻省理工学院和哈佛大学布罗德研究所施密特中心)
LatentVerse是一个结合可视化平台与命令行界面的表示分析框架,通过分解共享与模态特定组件,实现多模态潜在表示的质量评估,提升可理解性与可复现性。
2026-09-14 cs.HC cs.LG
Variational Autoencoders for Learning Latent Representations of Speech Emotion: A Preliminary Study
Information Technology University (ITU)-Punjab(旁遮普信息技术大学);University of Southern Queensland(南昆士兰大学);University of New South Wales(新南威尔士大学)
以无监督的方式学习数据的潜在表示是一个非常有趣的过程,它提供了用于增强分类器性能的相关特征。对于语音情感识别任务,生成有效的特征是至关重要的。目前,人工特征大多用于语音情感识别,然而,使用深度学习自动学习的特征在许多问题上显示出强大的成功,特别是在图像处理中。特别是,深度生成模型,如变分自编码器(VAE),在生成自然图像的特征方面取得了巨大的成功。受此启发,我们提出了VAE用于导出语音信号的潜在表示,并使用此表示来分类情感。据我们所知,我们是第一个提出语音情感分类VAE。IEMOCAP数据集上的评估表明,VAE学习的特征可以产生最先进的语音情感分类结果。
2020-07-28 cs.LG cs.SD eess.AS
Learning latent representations for operational nitrogen response rate prediction
Wageningen University(瓦赫宁根大学)
学习潜在的表征有助于在几个学科的运营决策。它的优点包括发现数据中隐藏的交互作用,以及使过去手动执行的程序自动化。表示学习也被地球和环境科学所采用。然而,仍然有一些子领域依赖于基于专家知识的人工特征工程和不利用潜在空间的算法的使用。依赖这些技术可能会抑制业务决策,因为它们会限制数据并抑制自动化。在这项工作中,我们采用了氮响应率预测的案例研究,并检查表示学习是否可以用于操作使用。我们比较了多层感知器,自动编码器,双头自动编码器与参考随机森林模型的氮响应速率预测。为了使预测更接近操作设置,我们假设未来的天气数据不存在,我们正在使用误差指标和域导出的误差阈值来评估模型。结果表明,学习潜在的代表性,可以提供操作的氮响应率的预测,提供性能相同,有时优于参考模型。
2022-05-18 cs.LG