The Trade-off Between Covariate Dependence and Latent Structure in Representation Learning
Faculty of Mathematics, Informatics, and Mechanics, University of Warsaw(华沙大学数学、信息学与力学学院);Institute of AI for Health, Helmholtz Munich(亥姆霍兹慕尼黑健康人工智能研究所)
该研究针对表示学习中协变量相关问题,提出统一监督框架,揭示协变量依赖与潜在结构的权衡,通过闭式变换重对齐预训练模型表示,在多组学数据上验证了方法的可控性。
2026-08-18 cs.LG
LatentCLR: A Contrastive Learning Approach for Unsupervised Discovery of Interpretable Directions
EPFL(洛桑联邦理工学院);Technical University of Munich(慕尼黑工业大学);Boğaziçi University(博阿齐奇大学)
最近的研究表明,在预训练的生成对抗网络(GANs)的潜在空间中找到可解释的方向是可能的。这些方向实现了可控的图像生成,并支持广泛的语义编辑操作,如缩放或旋转。这种方向的发现通常以监督或半监督的方式进行,并且需要手动注释,这限制了它们在实践中的使用。相比之下,无监督发现允许发现难以先验检测的微妙方向。在这项工作中,我们提出了一种基于对比学习的方法,以自我监督的方式在预训练的GANs的潜在空间中发现语义方向。我们的方法发现语义上有意义的尺寸与国家的最先进的方法。
2021-10-06 cs.CV cs.LG
Semantic Noise Modeling for Better Representation Learning
Lunit Inc.(Lunit公司);New York University(纽约大学)
通过分层特征抽象从多层神经网络学习的潜在表示使得深度学习最近取得了成功。在深度学习框架下,泛化性能高度依赖于学习到的潜在表示,该潜在表示是从设计的网络模型上具有特定任务目标的适当训练场景中获得的。在这项工作中,我们提出了一种新的潜在空间建模方法来学习更好的潜在表示。我们设计了一个神经网络模型的基础上的假设,可以通过最大化的输入,潜在的,和输出变量之间的总相关性,以达到良好的基础表示。从基础模型出发,我们引入了一种语义噪声建模方法,该方法可以对潜在空间进行类条件扰动,以增强学习到的潜在特征的表示能力。在训练过程中,隐向量表示可以被建模的类条件加性噪声随机扰动,同时保持其原始语义特征。它隐含着对潜在空间的语义增强效应。所提出的模型可以很容易地学习反向传播与常见的基于梯度的优化算法。实验结果表明,该方法有助于实现性能优势,对各种以前的方法。我们还提供了经验分析,建议类条件扰动过程,包括t-SNE可视化。
2016-11-04 cs.LG cs.NE
Deep Embedded Multi-View Clustering via Jointly Learning Latent Representations and Graphs
Institute of Electronic and Information Engineering of UESTC(电子科技大学电子信息工程研究院);University of Electronic Science and Technology of China(电子科技大学)
借助深度学习模型的表示学习能力,深度嵌入式多视图聚类(MVC)在许多场景中实现了令人印象深刻的性能,并且近年来变得越来越流行。虽然在这一领域已经取得了很大的进展,大多数现有的方法只专注于学习的潜在表示,而忽略了学习的节点的潜在图也提供了可用的信息,聚类任务。为了解决这个问题,在本文中,我们提出了通过联合学习潜在表示和图形的深度嵌入式多视图聚类(DMVCJ),它利用潜在图从两个方面提高深度嵌入式MVC模型的性能。首先,通过联合学习潜在图和特征表示,图卷积网络(GCN)技术可用于我们的模型。由于GCN具有利用图和特征信息的能力,我们的模型的聚类性能得到了显着提升。其次,基于隐图中节点的邻接关系,设计了一种样本加权策略来缓解噪声问题,进一步提高了模型的有效性和鲁棒性。在不同类型的真实世界多视图数据集上的实验结果证明了DMVCJ的有效性。
2022-05-08 cs.LG
Learning Sparse Latent Representations with the Deep Copula Information Bottleneck
University of Basel(巴塞尔大学)
深度潜变量模型是表示学习的强大工具。在本文中,我们采用了深度信息瓶颈模型,找出其缺点,并提出了一个模型,规避他们。为此,我们应用Copula变换,通过恢复信息瓶颈方法的不变性,导致潜在空间中的特征的解纠缠。在此基础上,我们展示了这种转换如何转化为新模型中潜在空间的稀疏性。我们评估我们的方法对人工和真实数据。
2018-04-19 cs.LG stat.ML
Understanding the Effect of using Semantically Meaningful Tokens for Visual Representation Learning
University of Maryland(马里兰大学);CapitalOne Research(第一资本研究院)
该研究针对视觉Transformer分块处理可能限制表征学习的问题,在视觉-语言预训练框架中引入语义有形/无形Token与加性注意力,在多个检索和组合性基准上取得显著提升。
2025-05-19 cs.CV cs.LG
Identifiable Multimodal Causal Representation Learning under Partial Latent Sharing
Paris-Saclay University, CentraleSupélec, MICS Lab(巴黎-萨克雷大学,中央理工-巴黎高等电力学院,MICS实验室);Lorraine University, CRAN(洛林大学,CRAN)
本文研究了在部分潜在变量共享设定下多模态因果表示学习的可识别性问题,通过非线性混合函数生成各模态数据,并在不假设潜在变量分布的情况下,建立了因果潜在表示的组件可识别性保证,进一步验证了在欠定情况下方法的有效性。
2026-05-18 cs.LG
Refining Latent Representations: A Generative SSL Approach for Heterogeneous Graph Learning
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院)
针对异构图学习中生成式自监督学习潜力未充分挖掘的问题,提出HGVAE方法,通过基于潜在表示的对比任务和渐进式负样本生成机制来Refining Latent Representations,迫使模型学习高质量表示,在多个SOTA基线对比中展现出优越性。
2024-04-20 cs.AI cs.LG
What competing constraints reveal about representation learning
LaTIM UMR 1101
本文提出受限潜在状态建模(CLSM),统一了表示学习中在竞争约束下的核心原则与方法,揭示了潜在状态的内在耦合关系与根本权衡。
2026-11-19 cs.AI cs.LG
Exploiting Latent Linearity in LLMs Improves Explainable Molecular Representation Learning
Department of Computing, The Hong Kong Polytechnic University(计算系,香港理工大学)
MoleX通过利用大语言模型中的潜在线性性,提升分子表示学习的可解释性和性能
2026-01-31 cs.AI cs.LG
Conditional Independence Testing via Latent Representation Learning
Applied Artificial Intelligence Institute(应用人工智能研究院);Deakin University(迪肯大学)
检测条件独立性在一些统计和机器学习任务中起着关键作用,特别是在因果发现算法中。在这项研究中,我们介绍了LCIT(基于潜在表征的条件独立性测试)-一种新的非参数的条件独立性测试方法的基础上表示学习。我们的主要贡献包括提出了一个生成框架,在该框架中,为了测试给定Z的X和Y之间的独立性,我们首先学习推断目标变量X和Y的不包含条件变量Z信息的潜在表示。潜变量,然后调查任何显着的剩余的依赖关系,这可以使用传统的偏相关性测试进行。实证评估表明,LCIT在不同的评估指标下始终优于几个最先进的基线,并且能够很好地适应各种合成和真实数据集的非线性和高维设置。
2022-09-04 cs.LG stat.ML
Operational Latent Spaces
Belmont University(贝尔蒙特大学);Hyperstate AI(海珀州人工智能公司)
本文提出可运算潜在空间(OpLaS)概念,通过自监督学习构建不仅具有语义聚类、还能支持有意义变换的潜在空间,并引入FiLMR层实现旋转算子以支持音乐中的环状对称结构。
2024-06-04 cs.LG cs.SD eess.AS
Interventional Causal Representation Learning
FAIR (Meta AI)(FAIR(Meta AI));Mila-Quebec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);University of Michigan(密歇根大学)
本文研究干预数据对因果表示学习的促进作用,证明完美do干预可实现潜在因子在置换与缩放意义下的可识别性,非完美干预可实现块仿射识别,且无需对分布或依赖结构作任何假设。
2024-02-22 cs.LG stat.ML
Inspecting and Interacting with Meaningful Music Representations using VAE
NYU Shanghai(上海纽约大学);New York University(纽约大学)
变分自编码器(VAE)在图像生成方面已经取得了很大的成果,最近在音乐生成方面也取得了可喜的进展。然而,生成过程仍然是很难控制的意义上说,学习的潜在表示缺乏有意义的音乐语义。如果人们可以通过潜在表征来修改某些音乐特征,如节奏和音高轮廓,以测试不同的作曲想法,那将更加有用。在本文中,我们提出了一种新的方法来检查潜在的表征的音高和节奏的解释,我们称之为通过增强解开。基于可解释的表示,一个直观的图形用户界面的设计,为用户更好地指导音乐创作过程中,通过操纵的音高轮廓和节奏的复杂性。
2019-04-18 cs.HC cs.IR cs.LG
The pursuit of beauty: Converting image labels to meaningful vectors
Research Centre on Interactive Media, Smart Systems and Emerging Technologies (RISE)(互动媒体、智能系统与新兴技术研究中心(RISE))
计算机视觉社区的一个挑战是理解图像的语义,以便允许基于现有的高级特征进行图像重建或更好地分析(半)标记数据集。为了应对这一挑战,本文介绍了一种方法,称为基于遮挡的潜在表示(OLR),用于将图像标签转换为有意义的表示,捕获大量的数据语义。除了信息丰富之外,这些表示还组成了一个解纠缠的低维潜在空间,其中每个图像标签都被编码到一个单独的向量中。我们在一系列实验中评估了这些表示的质量,其结果表明,该模型可以捕获数据概念和发现数据的相互关系。
2020-08-03 cs.CV cs.LG
Deep Meditations: Controlled navigation of latent space
Department of Computing, Goldsmiths University of London(伦敦大学金史密斯学院计算机系);Creative Computing Institute, University of the Arts, London(伦敦艺术大学创意计算学院)
我们介绍了一种方法,允许用户创造性地探索和导航深度生成模型的巨大潜在空间。具体来说,我们的方法使用户\textit{discover}和\textit{design} \textit{trajectories}在这些高维空间,构建故事,并产生基于时间的媒体,如视频- \textit{with meaningful control over narrative}。我们的目标是鼓励和帮助使用深度生成模型作为创造性表达和讲故事的媒介,并进行有意义的人类控制。我们的方法类似于传统的视频制作管道,因为我们使用传统的非线性视频编辑器与代理剪辑,并符合潜在空间向量的数组。在\url{http://deepmeditations.ai}中可以看到示例。
2020-02-27 cs.CV cs.HC cs.LG
Semantic uncertainty intervals for disentangled latent spaces
MIT(麻省理工学院);University of California, Berkeley(加州大学伯克利分校);Technion—Israel Institute of Technology(以色列理工学院)
计算机视觉中有意义的不确定性量化需要对语义信息进行推理--比如照片中人的头发颜色或街上汽车的位置。为此,最近在生成建模方面的突破使我们能够在分离的潜在空间中表示语义信息,但提供语义潜变量的不确定性仍然具有挑战性。在这项工作中,我们提供了原则性的不确定性区间,保证包含任何底层生成模型的真实语义因素。该方法执行以下操作:(1)它使用分位数回归为潜在空间中的每个元素输出启发式不确定性区间(2)校准这些不确定性,使得它们包含新的、看不见的输入的潜在的真实值。然后,这些校准间隔的端点可以通过生成器传播,以产生每个语义因素的可解释的不确定性可视化。这种技术可靠地传达了图像超分辨率和图像补全等逆问题中语义上有意义、有原则和实例自适应的不确定性。
2022-11-30 cs.AI cs.CV cs.LG
mu-Forcing: Training Variational Recurrent Autoencoders for Text Generation
Sichuan University(四川大学)
之前已经观察到,训练变分循环自动编码器(VRAE)以生成文本存在严重的无信息潜变量问题。该模型将崩溃成一个简单的语言模型,完全忽略了潜在变量,只能生成重复和枯燥的样本。本文探讨了这一问题背后的原因,并提出了一种有效的基于正则化器的方法来解决这一问题,该方法直接在VRAE的学习过程中对隐变量的后验子注入额外的约束,可以灵活稳定地控制KL项和重构项之间的权衡,使模型学习到密集且有意义的隐表示。实验结果表明,该方法优于几个强基线,可以使模型学习可解释的潜变量,并产生不同的有意义的句子。此外,所提出的方法可以很好地执行,而无需使用其他策略,如KL退火。
2019-05-24 cs.CL cs.LG
Geometry-Aware Hamiltonian Variational Auto-Encoder
Centre de Recherche des Cordeliers UMRS 1138(科德利尔研究中心UMRS 1138);Université de Paris(巴黎大学);INSERM(法国国家健康与医学研究院);Sorbonne Université(索邦大学);Centre de Mathématiques Appliquées, Inria(应用数学中心,法国国家信息与自动化研究所);École Polytechnique(巴黎综合理工学院);Institut Polytechnique de Paris(巴黎理工学院)
变分自动编码器(VAE)已被证明是一种非常适合的工具,用于通过提取潜在的比数据小得多的维度空间中的潜在变量来执行降维。当考虑到它们生成新的真实样本或在小得多的空间中执行潜在有意义的插值的能力时,可以很容易地理解它们从数据中捕获有意义的信息的能力。然而,这种生成模型在训练小数据集时可能表现不佳,这些数据集在许多现实生活领域(如医学)中非常丰富。除其他外,这可能是由于潜在空间缺乏结构,其几何形状往往被忽视。因此,在本文中,我们建议将潜在空间视为具有与编码器和解码器网络同时学习的参数化度量的黎曼流形。这个度量被用于我们称之为黎曼哈密顿VAE,它扩展了arXiv:1805.11328引入的哈密顿VAE,以更好地利用潜在空间的潜在几何。我们认为,这种潜在的空间建模提供了有用的信息,其潜在的结构,导致更有意义的插值,更现实的数据生成和更可靠的聚类。
2020-10-22 cs.LG math.DG math.ST
Learning Conditional Invariance through Cycle Consistency
University of Basel(巴塞尔大学);Harvard University(哈佛大学)
识别数据集中有意义且独立的变异因素是一项具有挑战性的学习任务,通常通过深度潜在变量模型来解决。这个任务可以被看作是学习对称变换,保持沿着潜在维度的所选属性的值。然而,现有的方法表现出严重的缺点,在执行的不变性属性的潜在空间。我们用一种新的方法来解决这些缺点周期的一致性。我们的方法涉及两个单独的潜在子空间的目标属性和剩余的输入信息,分别。为了加强不变性以及稀疏性的潜在空间,我们将语义知识,使用循环一致性约束依赖于属性侧信息。所提出的方法是基于深的信息瓶颈,与其他方法相比,允许使用连续的目标属性,并提供固有的模型选择能力。我们证明了合成和分子数据,我们的方法确定更有意义的因素,导致稀疏和更可解释的模型与改进的不变性。
2021-11-25 cs.LG stat.ML
Latent Variable Modeling for Generative Concept Representations and Deep Generative Models
IBM(国际商业机器公司)
潜在表征是深层生成模型的本质,决定了它们的有用性和强大性。为了使潜在表示作为生成概念表示有用,它们的潜在空间必须支持潜在空间插值、属性向量和概念向量等。我们研究和讨论潜变量建模,包括潜变量模型,潜表示和潜空间,特别是层次潜表示和潜空间向量和几何。我们的重点是变分自编码器和生成对抗网络中使用的。
2018-12-26 cs.LG stat.ML
Capturing Actionable Dynamics with Structured Latent Ordinary Differential Equations
Stanford University(斯坦福大学);KAUST(阿卜杜拉国王科技大学);Microsoft Research(微软研究院);Duke University(杜克大学)
具有黑箱模型的动态系统的端到端学习,例如神经常微分方程(ODE),提供了一个灵活的框架,用于从数据中学习动态,而无需为动态指定数学模型。不幸的是,这种灵活性是以理解动力系统为代价的,常微分方程在动力系统中被广泛使用。此外,实验数据在各种条件(输入)下收集,例如处理,或以某种方式分组,例如子群体的一部分。了解这些系统输入对系统输出的影响对于建立任何有意义的动态系统模型至关重要。为此,我们提出了一个结构化的潜在ODE模型,明确捕捉系统输入的变化,其潜在的代表。建立在一个静态的潜在变量规范,我们的模型学习(独立)的随机因素的变化,为每个输入到系统,从而分离的影响,系统输入的潜在空间。这种方法通过控制新的输入组合(或扰动)的时间序列数据的生成,提供了可操作的建模。此外,我们提出了一个灵活的方法来量化的不确定性,利用分位数回归制定。在具有挑战性的生物数据集上的结果显示,在观测数据的受控生成和有生物意义的系统输入的推断方面,与竞争性基线相比,有一致的改进。
2022-06-17 cs.LG stat.ML
Learning Hybrid Dynamics Models With Simulator-Informed Latent States
Bosch Center for Artificial Intelligence(博世人工智能中心)
针对循环动力学模型预测无物理意义、误差易累积的问题,提出结合黑盒模拟器与观测器的混合建模方法,联合学习动力学和观测器以校正潜状态,同时用RNN残差模块保留灵活性。
2024-01-29 cs.LG
Explaining Predictions by Approximating the Local Decision Boundary
Jheronimus Academy of Data Science(杰罗尼姆斯数据科学学院);University of Amsterdam(阿姆斯特丹大学);Tilburg University(蒂尔堡大学);Eindhoven University of Technology(埃因霍温理工大学)
为不透明的机器学习模型构建准确的模型不可知解释仍然是一项具有挑战性的任务。高维数据(如图像)的分类模型通常本质上是复杂的。为了降低这种复杂性,可以在本地解释各个预测,或者根据更简单的本地代理模型,或者通过传达预测如何与另一类的预测进行对比。然而,现有的方法在以下方面仍然不足:a)它们使用(欧几里德)度量,这对于非线性高维数据没有意义;或者b)它们不试图解释决策边界,这是针对分类精度优化的分类器的最相关特性;或者c)它们不给予用户指定对他们有意义的属性的任何自由。我们解决了这些问题,在一个新的局部决策边界近似(DBA)的程序。为了构造有意义的度量,我们训练变分自编码器来学习编码数据表示的欧几里得潜在空间。我们施加解释性利用属性注释映射的潜在空间的属性是有意义的用户。评估可解释性方法的一个困难是缺乏基础事实。我们通过引入一个新的基准数据集与人工生成的虹膜图像,并表明我们可以恢复本地确定类的潜在属性来解决这个问题。我们进一步评估我们的方法在表格数据和CelebA图像数据集。
2020-10-22 cs.LG stat.ML
What is a meaningful representation of protein sequences?
Technical University of Denmark(丹麦技术大学);University of Copenhagen(哥本哈根大学)
我们选择如何表示数据对我们随后从中提取信息的能力有着根本性的影响。机器学习有望从大型非结构化数据集(如生物学中出现的数据集)中自动确定有效的表示。然而,经验证据表明,对这些机器学习模型的看似微小的改变会产生截然不同的数据表示,从而导致对数据的不同生物学解释。这就引出了一个问题,即什么才是最有意义的表现。在这里,我们接近这个问题的蛋白质序列,这在最近的文献中得到了相当大的关注表示。我们探讨了表征自然出现的两个关键背景:迁移学习和可解释学习。在第一种情况下,我们证明了几个当代的做法产生次优性能,在后者中,我们证明,考虑代表几何显着提高可解释性,并让模型揭示生物信息,否则被掩盖。
2022-03-07 cs.LG q-bio.BM q-bio.QM
Feature extraction using Latent Dirichlet Allocation and Neural Networks: A case study on movie synopses
University of Macedonia(马其顿大学)
特征提取在机器学习领域得到了越来越多的关注,因为为了从大数据中检测模式、提取信息或预测未来的观察结果,信息特征的迫切性至关重要。提取特征的过程与降维高度相关,因为它意味着将数据从稀疏的高维空间转换为更高级别的有意义的抽象。本文采用神经网络进行分布式段落表示,并采用潜在狄利克雷分配来捕获段落向量的更高层次特征。虽然分布式段落表示的神经网络被认为是提取段落向量的最新技术,我们表明,一个快速的主题分析模型,如潜在的狄利克雷分配也可以提供有意义的功能。我们在CMU电影摘要语料库上评估了这两种方法,CMU电影摘要语料库是从维基百科中提取的25,203部电影情节摘要的集合。最后,对于这两种方法,我们使用K-最近邻来发现相似的电影,并使用T-分布随机邻居嵌入来描绘上下文相似性。这些相似性,表示为电影距离,可以用于电影推荐。将该方法的推荐电影与IMDB中使用协同过滤推荐方法的推荐电影进行比较,以表明我们的两个模型可以构成替代或补充的推荐方法。
2016-04-05 cs.AI cs.CL cs.IR
Tiered Latent Representations and Latent Spaces for Molecular Graphs
IBM
分子图通常包含子图(称为组),这些子图在组成、功能、几何等方面是可识别的和重要的。平面潜在表示(节点嵌入或图嵌入)不能表示和支持组的使用。另一方面,完全分层的潜在表征很难学习,即使学会了,也可能太复杂而无法使用或解释。我们提出分层的潜在表示和潜在空间的分子图作为一种简单的方式来明确表示和利用组,其中包括原子(节点)层,组层和分子(图)层。具体来说,我们提出了一个架构,学习分层的潜在表示和潜在空间,使用图自动编码器,图神经网络,可微组池和成员矩阵。我们讨论了它的各个组成部分,主要的挑战和相关的工作,确定性和概率模型。我们还简要讨论了分层潜在空间的使用和探索。分层的方法是适用于其他类型的结构化图类似的性质分子图。
2019-03-21 cs.LG
The Representation of Meaningful Precision, and Accuracy
Indian Statistical Institute(印度统计研究所)
针对精确性与准确性测度在机器学习及认知领域中意义表示不足的问题,提出一种极简一般粗糙框架下的组合式知识表示方法。
2024-10-25 cs.AI cs.LG cs.LO
LatentPINNs: Generative physics-informed neural networks via a latent representation learning
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
针对PINNs收敛慢且需针对不同PDE参数重新训练的问题,提出latentPINN框架,利用潜在扩散模型学习PDE参数分布的压缩潜在表示作为输入,通过两阶段训练,在Eikonal方程上验证了无需额外训练即可泛化到新速度模型。
2023-05-11 cs.LG physics.comp-ph
Relevance Factor VAE: Learning and Identifying Disentangled Factors
Rutgers University(罗格斯大学)
我们提出了一种新的基于VAE的深度自动编码器模型,该模型可以以完全无监督的方式学习解纠缠的潜在表示,并具有识别所有有意义的变异源及其基数的能力。我们的模型,被称为相关因子-VAE,利用总相关性(TC)在潜在的空间,以实现解纠缠的目标,但也解决了现有的方法,不能区分有意义的和滋扰因素的潜在变化,往往是相当大的退化的解纠缠性能的来源的关键问题。我们通过引入所谓的相关性指标变量来解决这个问题,这些变量可以与VAE参数一起从数据中自动学习。我们的模型有效地集中在TC损失的相关因素,只有通过容忍大的先验KL分歧,一个必要的证明我们的半参数理论分析。使用一套解纠缠指标,包括一个新提出的,以及定性的证据,我们证明我们的模型优于现有的方法在几个具有挑战性的基准数据集。
2019-02-05 cs.LG stat.ML
Do Diffusion Models Learn Semantically Meaningful and Efficient Representations?
MIT(麻省理工学院)
本文通过条件 DDPM 生成二维高斯凸起的受控实验,发现语义有意义的潜在表示是高性能关键,并揭示扩散模型难以因子化学习独立特征,指出需引入归纳偏置以提升数据效率。
2024-04-30 cs.AI cs.CV cs.LG
Educating Text Autoencoders: Latent Representation Guidance via Denoising
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Amazon Web Services(亚马逊云科技)
生成式自动编码器通过利用其潜在的句子表示提供了一种有前途的可控文本生成方法。然而,目前的模型很难保持连贯的潜在空间,需要通过潜在向量操作执行有意义的文本操作。具体来说,我们通过例子证明了神经编码器不一定将相似的句子映射到附近的潜在向量。对这一现象的理论解释表明,高容量自动编码器可以学习序列和相关潜在表示之间的任意映射。为了解决这个问题,我们用去噪目标来增强对抗性自动编码器,其中原始句子是从扰动版本(称为DAAE)中重建的。我们证明,这个简单的修改指导潜在的空间几何的结果模型,鼓励编码器映射类似的文本,以类似的潜在表示。在与各种类型的自动编码器的经验比较中,我们的模型提供了生成质量和重建容量之间的最佳权衡。此外,DAAE潜在空间的改进的几何形状,使zero-shot文本风格转移通过简单的潜在向量算法。
2020-07-07 cs.CL cs.LG stat.ML
Normalizing Flow with Variational Latent Representation
HKUST(香港科技大学)
规范化流(NF)由于其强大的建模复杂数据分布的能力而比传统的基于最大似然的方法更受欢迎。然而,标准的方法,它将观测数据映射到一个正态分布,在处理多个相对孤立的模式的数据分布有困难。为了克服这个问题,我们提出了一个新的框架的基础上变分潜在表示,以提高NF的实际性能。这个想法是用一个更一般的潜在表示代替标准的正态潜在变量,通过变分贝叶斯联合学习。例如,通过将潜在表示作为离散序列,我们的框架可以学习生成潜在序列的Transformer模型和生成以序列为条件的连续数据分布的NF模型。由此产生的方法是显着更强大的标准规范化流的方法生成数据分布与多个模式。大量的实验已经显示了NF与变分潜在表示的优势。
2022-11-21 cs.LG stat.ML
Symmetry Detection in Trajectory Data for More Meaningful Reinforcement Learning Representations
The Charles Stark Draper Laboratory, Inc.(查尔斯·斯塔克·德雷珀实验室公司)
强化学习(RL)系统的对称性知识可用于创建低级状态空间的压缩和语义上有意义的表示。我们提出了一种方法,自动检测RL对称性直接从原始轨迹数据,而不需要主动控制的系统。我们的方法生成候选对称,并训练一个递归神经网络(RNN)来区分每个候选对称的原始轨迹和变换轨迹。RNN对每个候选项的精确度揭示了系统在该变换下的对称程度。这些信息可用于创建对数据集级别上的所有对称性不变的高级表示,并将RL行为的属性传达给用户。我们在两个模拟RL用例(推进机器人和在风中飞行的无人机)的实验中表明,我们的方法可以确定环境物理和训练RL策略的对称性。
2022-11-29 cs.AI cs.LG cs.RO
FONDUE: an algorithm to find the optimal dimensionality of the latent representations of variational autoencoders
University of Kent(肯特大学)
在给定数据集上训练变分自编码器(VAE)时,确定潜在变量的最佳数量主要通过网格搜索来完成:就计算时间和碳足迹而言,这是一个昂贵的过程。在本文中,我们探讨的内在尺寸估计(IDE)的数据和潜在的表征学习VAE。我们发现,IDE的平均值和采样表示的VAE后,只有几个步骤的训练之间的差异揭示了被动变量的存在下,在潜在的空间,这在良好的VAE,表明多余的维数。利用这一特性,我们提出了FONDUE:一种快速找到潜在维度数量的算法,在此之后,平均值和采样表示开始发散(即,当引入被动变量时),为VAE和自动编码器选择潜在维度的数量提供了一种原则性方法。
2022-09-26 cs.LG
LatentExplainer: Explaining Latent Representations in Deep Generative Models with Multimodal Large Language Models
Emory University(埃默里大学);University College London(伦敦大学学院)
LatentExplainer通过多模态大语言模型为深度生成模型的潜在变量生成语义解释,提升模型可解释性。
2025-12-18 cs.CL cs.CV cs.LG
LatentVerse: A Framework for Understanding Shared and Modality-Specific Information in Multimodal Latent Representations
Broad Institute of MIT and Harvard(麻省理工学院和哈佛大学布罗德研究所);Massachusetts Institute of Technology(麻省理工学院);The Schmidt Center, Broad Institute of MIT and Harvard(麻省理工学院和哈佛大学布罗德研究所施密特中心)
LatentVerse是一个结合可视化平台与命令行界面的表示分析框架,通过分解共享与模态特定组件,实现多模态潜在表示的质量评估,提升可理解性与可复现性。
2026-09-14 cs.HC cs.LG
Approaching an unknown communication system by latent space exploration and causal inference
本研究提出极值因果解耦方法CDEV,结合潜空间探索与因果推断分析无监督生成模型,首次揭示抹香鲸通信的多种编码属性,为研究未知数据提供了可行策略。
2024-02-06 cs.LG cs.SD eess.AS
Learning Disentangled Representations with Quantum Variational Autoencoders
Yale University(耶鲁大学)
该研究探讨量子变分自编码器能否学习解纠缠的潜在因素,通过理论分析和在MNIST变体等数据集上的实验,证明单个量子比特可作为有意义的可解释潜在因素,为量子表示学习奠定基础。
2026-10-07 cs.ET cs.LG quant-ph
All Roads Lead to Rome? Exploring Representational Similarities Between Latent Spaces of Generative Image Models
Harvard University(哈佛大学)
本文通过训练线性映射拼接四种生成模型的潜在空间,发现性能良好的模型间线性映射能保留视觉信息,性别属性表征最相似,且NF的潜在表征在训练早期收敛。
2024-07-18 cs.LG
Bootstrap Latent-Predictive Representations for Multitask Reinforcement Learning
DeepMind
学习良好的表示是深度强化学习(RL)的重要组成部分。表示学习在多任务和部分可观察的环境中尤其重要,其中构建未知环境的表示对于解决任务至关重要。在这里,我们介绍了Bootstrap Latents预测(PBL),这是一种简单灵活的多任务深度RL自监督表示学习算法。PBL建立在未来观测的多步预测表示的基础上,并专注于捕获有关环境动态的结构化信息。具体来说,PBL通过预测未来观测的潜在嵌入来训练其表示。这些潜在的嵌入本身被训练为预测上述表示。这些预测形成了一种自举效应,使智能体能够更多地了解环境动态的关键方面。此外,通过完全在潜在空间中定义预测任务,PBL提供了使用涉及像素图像,语言指令,奖励等多模态观察的灵活性。我们在实验中表明,PBL在DMLab-30和Atari-57多任务设置中提供了比最先进的深度RL代理全面改进的性能。
2020-04-30 cs.AI cs.LG
Learning Latent Representations of Bank Customers With The Variational Autoencoder
University of Tromsø(特罗姆瑟大学);Santander Consumer Bank AS(桑坦德消费银行股份公司);Norwegian Computing Center(挪威计算中心)
学习反映客户信誉的数据表示可以改进零售银行的营销活动、客户关系管理、数据和流程管理或信用风险评估。在这项研究中,我们采用了变分自动编码器(VAE),它有能力学习包含有用信息的潜在表示。我们表明,它是可能的VAE的潜在空间中使用证据的权重,并形成一个特定的分组的数据,反映了客户的信誉来引导潜在的表示。我们提出的方法学习数据的潜在表示,这表明了一个很好的定义聚类结构捕捉客户的信誉。这些集群非常适合上述银行的活动。此外,我们的方法可以推广到新客户,捕获高维和复杂的财务数据,并扩展到大型数据集。
2019-03-14 cs.LG stat.ML
Latent Regression Bayesian Network for Data Representation
Rensselaer Polytechnic Institute(伦斯勒理工学院)
深度定向生成模型由于其表达能力和祖先采样能力而受到广泛关注。学习具有许多潜在变量的有向模型的一个主要困难是难以推理。为了解决这个问题,大多数现有的算法都假设潜在变量彼此独立,要么通过设计特定的先验,要么通过使用因子分解分布近似真实的后验。我们相信,潜变量之间的相关性是忠实的数据表示的关键。在此思想的驱动下,我们提出了一种基于条件伪似然的推理方法,该方法保留了隐变量之间的依赖关系。对于学习,我们提出采用硬期望最大化(EM)算法,它避免了传统EM的棘手的最大化,而不是求和计算数据的可能性。在基准数据集上对我们的模型与最先进的深度模型进行定性和定量评估,证明了所提出的算法在数据表示和重建方面的有效性。
2015-06-15 cs.LG
Latent Structure of Affective Representations in Large Language Models
Harvard University(哈佛大学)
研究大型语言模型中情感表征的潜在几何结构,发现其与心理学中的valence-arousal模型一致,并展示了其在不确定性量化中的应用。
2026-04-11 cs.AI cs.LG
Multi-Level Variational Autoencoder: Learning Disentangled Representations from Grouped Observations
University of Oxford(牛津大学);Microsoft Research(微软研究院)
我们想学习一种数据的表示方法,它将观察结果分解为我们可以独立控制的变化因素。具体来说,我们希望使用最少的监督来学习一种潜在的表示,它反映了特定数据分组背后的语义,其中在一个组中,样本共享一个共同的变化因素。例如,考虑按身份分组的面部图像的集合。我们希望将分组的语义锚定到一个我们可以轻松利用的相关和分离的表示中。然而,现有的深度概率模型通常假设观测值是独立同分布的。我们提出了多级变分自编码器(ML-VAE),这是一种新的深度概率模型,用于学习一组分组观测的解纠缠表示。ML-VAE通过在组水平和观察水平上工作将潜在表征分离成语义上有意义的部分,同时保留有效的测试时推理。定量和定性评估表明,ML-VAE模型(i)学习分组数据的语义上有意义的解纠缠,(ii)能够操纵潜在表示,以及(iii)推广到看不见的组。
2017-05-24 cs.LG stat.ML
Learning Latent Representations for Speech Generation and Transformation
Massachusetts Institute of Technology(麻省理工学院)
对生成过程进行建模并以无监督的方式学习语音的潜在表示的能力对于处理大量未标记的语音数据至关重要。最近,诸如变分自编码器(VAE)的深度概率生成模型在对自然图像进行建模方面取得了巨大成功。在本文中,我们应用卷积VAE模型的自然语音的生成过程。我们推导出潜在的空间算术运算来解开学习到的潜在表征。我们证明了我们的模型的能力,修改语音内容或扬声器的身份语音段使用派生的操作,而不需要并行的监督数据。
2017-09-22 cs.CL cs.LG stat.ML
SC2GAN: Rethinking Entanglement by Self-correcting Correlated GAN Space
ModiFace Inc.(ModiFace公司);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Toronto(多伦多大学)
针对GAN潜在空间中的属性纠缠问题,提出SC²GAN框架,通过重投影低密度样本并校正编辑方向,实现强相关属性的有效解纠缠。
2023-10-10 cs.CV cs.LG
Robust Graph Data Learning via Latent Graph Convolutional Representation
School of Computer Science and Technology(计算机科学与技术学院)
图卷积表示(GCR)在图数据表示方面取得了令人印象深刻的性能。然而,现有的GCR一般定义在输入固定图上,这可能会限制表示能力,并且容易受到结构攻击和噪声的影响。为了解决这个问题,我们提出了一种新的潜在图卷积表示(LatGCR),用于鲁棒的图数据表示和学习。我们的LatGCR的基础上,从图的邻域重建方面重新制定图卷积表示。给定输入图$\textbf{A}$,LatGCR的目标是生成一个灵活的潜在图$\widetilde{\textbf{A}}$用于图卷积表示,这明显提高了表示能力,并且对图结构攻击和噪声具有鲁棒性.此外,LatGCR是以自监督的方式实现的,因此为监督和无监督图学习任务提供了一个基本块。在多个数据集上的实验证明了LatGCR的有效性和鲁棒性。
2021-10-13 cs.CV cs.LG
Relative representations enable zero-shot latent space communication
Sapienza University of Rome(罗马第一大学);Amazon Web Services(亚马逊云科技)
神经网络将高维空间中数据流形的几何结构嵌入到潜在表示中。理想情况下,潜在空间中数据点的分布应该只取决于任务、数据、丢失和其他特定于架构的约束。然而,诸如随机权重初始化、训练超参数或训练阶段中的其他随机性源之类的因素可能会导致阻碍任何形式的重用的不相干潜在空间。然而,我们根据经验观察到,在相同的数据和建模选择下,不同潜在空间内的编码之间的角度不会改变。在这项工作中,我们提出了每个样本和一组固定的锚点之间的潜在相似性作为替代数据表示,证明它可以在没有任何额外训练的情况下实现所需的不变性。我们展示了神经架构如何利用这些相对表示来保证在实践中对潜在等距和重新缩放的不变性,有效地实现潜在空间通信:从zero-shot模型拼接到不同设置之间的潜在空间比较。我们在不同的数据集上广泛验证了我们的方法的泛化能力,跨越各种形式(图像,文本,图形),任务(例如,分类,重建)和体系结构(例如,CNN、GCN、Transformers)。
2023-03-07 cs.AI cs.LG
TLR: Transfer Latent Representation for Unsupervised Domain Adaptation
Wuhan University(武汉大学)
领域自适应是指通过利用来自源域的数据来学习目标域中的预测模型的过程。许多经典的方法通过建立公共的潜在空间来解决领域自适应问题,这可能会导致跨两个域的许多重要属性的丢失。在这篇手稿中,我们开发了一种新的方法,转移潜在的代表性(TLR),学习一个更好的潜在空间。具体来说,我们设计了一个目标函数的基础上,一个简单的线性自编码器,以获得这两个域的潜在表示。自动编码器中的编码器旨在将两个域的数据投影到鲁棒的潜在空间中。此外,解码器施加了一个额外的约束来重建原始数据,这可以保持两个域的共同属性,并减少导致域移位的噪声。跨领域任务的实验表明TLR的竞争方法的优势。
2018-08-19 cs.AI cs.LG stat.ML
Language-Enhanced Latent Representations for Out-of-Distribution Detection in Autonomous Driving
University of Florida(佛罗里达大学)
本文提出利用CLIP多模态模型中图像与文本表示的余弦相似度作为语言增强潜在表示,用于自动驾驶分布外检测,实验证明其优于传统视觉编码器表示并能提升检测性能。
2024-05-02 cs.CV cs.LG cs.RO
Identifying Metric Structures of Deep Latent Variable Models
Technical University of Denmark(丹麦技术大学);University of British Columbia(不列颠哥伦比亚大学)
针对深度潜变量模型潜表示不可识别的问题,本文提出改变目标,转而识别潜变量间的度量关系(如距离、角度和体积),并在宽松条件下无需标签数据证明了其可行性,为提取可信结论提供了原则性路径。
2025-05-30 cs.LG stat.ML
Latent Topology Induction for Understanding Contextualized Representations
Institute for Language, Cognition and Computation(语言、认知与计算研究所);University of Edinburgh(爱丁堡大学)
在这项工作中,我们研究了上下文嵌入的表示空间,并深入了解大语言模型的隐藏拓扑。我们发现,存在一个网络的潜在状态,总结语境化表示的语言特性。我们没有寻求与现有定义良好的注释的对齐,而是使用结构化的变分自编码器以完全无监督的方式推断这个潜在网络。诱导状态不仅作为表征流形拓扑结构(邻居和连通性)的锚点,而且还揭示了句子编码的内在机制。利用诱导网络,我们:(1).将表示空间分解为一系列潜在状态,这些潜在状态利用词汇、形态、句法和语义信息对细粒度的词义进行编码;(2).显示状态-状态转换编码丰富的短语结构,并作为潜在空间的骨干。把这两个放在一起,我们表明,句子表示为一个遍历的潜在网络中的状态-状态转换链编码的语法模板和状态字排放填写的内容。我们通过大量的实验和可视化来证明这些见解。
2022-06-03 cs.AI cs.CL cs.LG
Connecting Neural Models Latent Geometries with Relative Geodesic Representations
University of Helsinki(赫尔辛基大学);University of Amsterdam(阿姆斯特丹大学);DTU(技术大学);IST Austria(奥地利因斯布鲁克科技大学)
本文提出通过拉回度量捕捉神经模型潜在空间的内在结构,以实现不同模型间表示的精确转换,用于模型缝合和检索任务。
2026-11-03 cs.LG