Latent Variable Modeling for Generative Concept Representations and Deep Generative Models
IBM(国际商业机器公司)
潜在表征是深层生成模型的本质,决定了它们的有用性和强大性。为了使潜在表示作为生成概念表示有用,它们的潜在空间必须支持潜在空间插值、属性向量和概念向量等。我们研究和讨论潜变量建模,包括潜变量模型,潜表示和潜空间,特别是层次潜表示和潜空间向量和几何。我们的重点是变分自编码器和生成对抗网络中使用的。
2018-12-26 cs.LG stat.ML
Hyperprior Induced Unsupervised Disentanglement of Latent Representations
Department of Computer Science, National University of Singapore(新加坡国立大学计算机科学系)
我们解决了通过深度生成模型学习的潜在表征的无监督解纠缠问题。与目前的证据下限(ELBO)操作的方法相比,我们认为,VAE的潜在空间中的统计独立性可以强制执行的原则分层贝叶斯方式。为此,我们增加了标准的VAE与逆Wishart(IW)之前的协方差矩阵的潜在代码。通过调整IW参数,我们能够鼓励(或阻止)学习的潜在维度的独立性。在一系列数据集(2Dfields,3DChairs,3DFaces和CelebA)上的广泛实验结果表明,我们的方法优于$β$ -VAE,并与最先进的FactorVAE竞争。我们的方法在一个新的数据集(CorrelatedEllipses)上实现了更好的解纠缠和重建,该数据集引入了变化因素之间的相关性。
2019-01-06 cs.AI cs.LG cs.NE
TLR: Transfer Latent Representation for Unsupervised Domain Adaptation
Wuhan University(武汉大学)
领域自适应是指通过利用来自源域的数据来学习目标域中的预测模型的过程。许多经典的方法通过建立公共的潜在空间来解决领域自适应问题,这可能会导致跨两个域的许多重要属性的丢失。在这篇手稿中,我们开发了一种新的方法,转移潜在的代表性(TLR),学习一个更好的潜在空间。具体来说,我们设计了一个目标函数的基础上,一个简单的线性自编码器,以获得这两个域的潜在表示。自动编码器中的编码器旨在将两个域的数据投影到鲁棒的潜在空间中。此外,解码器施加了一个额外的约束来重建原始数据,这可以保持两个域的共同属性,并减少导致域移位的噪声。跨领域任务的实验表明TLR的竞争方法的优势。
2018-08-19 cs.AI cs.LG stat.ML
Demystifying Relational Latent Representations
KU Leuven(鲁汶大学)
事实证明,通过深度学习方法学习到的潜在特征是机器学习的强大工具。它们作为一种数据抽象,通过显式地捕获数据中的数据使学习变得更容易。他们的利益激励他们适应关系学习环境。在我们以前的工作中,我们介绍了一种通过聚类实例及其关系来学习关系潜在特征的方法。潜在表征的主要缺点是它们通常是黑箱的,难以解释。这项工作解决了这些问题,并表明:(1)通过聚类创建的潜在特征是可解释的,并捕获数据的有趣属性;(2)它们识别与标签匹配良好的实例的局部区域,这部分解释了它们的好处;以及(3)尽管通过该方法生成的潜在特征的数量很大,通常,它们中的许多是高度冗余的,并且可以在不太损害性能的情况下被移除。
2017-09-29 cs.AI cs.LG stat.ML
Max-Margin Nonparametric Latent Feature Models for Link Prediction
Tsinghua University(清华大学)
本文提出了一种最大间隔非参数潜在特征模型,该模型结合最大间隔学习和贝叶斯非参数化的思想,发现了用于链接预测的有鉴别力的潜在特征,并自动推断出未知的潜在社会维度。通过使用线性期望算子最小化铰链损失,我们可以有效地执行后验推理,而无需处理高度非线性的链接似然函数;通过使用完全贝叶斯公式,我们可以避免调整正则化常数。在真实数据集上的实验结果似乎证明了从最大间隔学习和完全贝叶斯非参数推理继承的好处。
2012-06-18 cs.LG stat.ML
Normalizing Flow with Variational Latent Representation
HKUST(香港科技大学)
规范化流(NF)由于其强大的建模复杂数据分布的能力而比传统的基于最大似然的方法更受欢迎。然而,标准的方法,它将观测数据映射到一个正态分布,在处理多个相对孤立的模式的数据分布有困难。为了克服这个问题,我们提出了一个新的框架的基础上变分潜在表示,以提高NF的实际性能。这个想法是用一个更一般的潜在表示代替标准的正态潜在变量,通过变分贝叶斯联合学习。例如,通过将潜在表示作为离散序列,我们的框架可以学习生成潜在序列的Transformer模型和生成以序列为条件的连续数据分布的NF模型。由此产生的方法是显着更强大的标准规范化流的方法生成数据分布与多个模式。大量的实验已经显示了NF与变分潜在表示的优势。
2022-11-21 cs.LG stat.ML
Latent Topology Induction for Understanding Contextualized Representations
Institute for Language, Cognition and Computation(语言、认知与计算研究所);University of Edinburgh(爱丁堡大学)
在这项工作中,我们研究了上下文嵌入的表示空间,并深入了解大语言模型的隐藏拓扑。我们发现,存在一个网络的潜在状态,总结语境化表示的语言特性。我们没有寻求与现有定义良好的注释的对齐,而是使用结构化的变分自编码器以完全无监督的方式推断这个潜在网络。诱导状态不仅作为表征流形拓扑结构(邻居和连通性)的锚点,而且还揭示了句子编码的内在机制。利用诱导网络,我们:(1).将表示空间分解为一系列潜在状态,这些潜在状态利用词汇、形态、句法和语义信息对细粒度的词义进行编码;(2).显示状态-状态转换编码丰富的短语结构,并作为潜在空间的骨干。把这两个放在一起,我们表明,句子表示为一个遍历的潜在网络中的状态-状态转换链编码的语法模板和状态字排放填写的内容。我们通过大量的实验和可视化来证明这些见解。
2022-06-03 cs.AI cs.CL cs.LG
Efficient Structured Prediction with Latent Variables for General Graphical Models
ETH Zurich(苏黎世联邦理工学院);Toyota Technological Institute at Chicago(芝加哥丰田技术学院)
在本文中,我们提出了一个统一的框架,结构化预测与潜在的变量,其中包括隐条件随机场和潜在的结构支持向量机作为特殊情况。我们描述了一个局部熵近似这个一般配方使用对偶,并推导出一个有效的消息传递算法,保证收敛。我们证明了它的有效性的任务,图像分割,以及3D室内场景理解从单一的图像,表明我们的方法是优于潜在的结构化支持向量机和隐藏的条件随机场。
2012-06-27 cs.LG stat.ML
Educating Text Autoencoders: Latent Representation Guidance via Denoising
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Amazon Web Services(亚马逊云科技)
生成式自动编码器通过利用其潜在的句子表示提供了一种有前途的可控文本生成方法。然而,目前的模型很难保持连贯的潜在空间,需要通过潜在向量操作执行有意义的文本操作。具体来说,我们通过例子证明了神经编码器不一定将相似的句子映射到附近的潜在向量。对这一现象的理论解释表明,高容量自动编码器可以学习序列和相关潜在表示之间的任意映射。为了解决这个问题,我们用去噪目标来增强对抗性自动编码器,其中原始句子是从扰动版本(称为DAAE)中重建的。我们证明,这个简单的修改指导潜在的空间几何的结果模型,鼓励编码器映射类似的文本,以类似的潜在表示。在与各种类型的自动编码器的经验比较中,我们的模型提供了生成质量和重建容量之间的最佳权衡。此外,DAAE潜在空间的改进的几何形状,使zero-shot文本风格转移通过简单的潜在向量算法。
2020-07-07 cs.CL cs.LG stat.ML
Learning Latent Representations of Bank Customers With The Variational Autoencoder
University of Tromsø(特罗姆瑟大学);Santander Consumer Bank AS(桑坦德消费银行股份公司);Norwegian Computing Center(挪威计算中心)
学习反映客户信誉的数据表示可以改进零售银行的营销活动、客户关系管理、数据和流程管理或信用风险评估。在这项研究中,我们采用了变分自动编码器(VAE),它有能力学习包含有用信息的潜在表示。我们表明,它是可能的VAE的潜在空间中使用证据的权重,并形成一个特定的分组的数据,反映了客户的信誉来引导潜在的表示。我们提出的方法学习数据的潜在表示,这表明了一个很好的定义聚类结构捕捉客户的信誉。这些集群非常适合上述银行的活动。此外,我们的方法可以推广到新客户,捕获高维和复杂的财务数据,并扩展到大型数据集。
2019-03-14 cs.LG stat.ML
Prediction under Latent Subgroup Shifts with High-Dimensional Observations
Gatsby Computational Neuroscience Unit, UCL(伦敦大学学院盖茨比计算神经科学研究组)
本文提出基于识别参数化模型(RPM)的新方法,从高维图像观测中恢复低维离散潜在变量,识别源环境因果潜在结构并适应目标环境预测,解决了传统方法在高维观测下潜在子群偏移预测的扩展性难题。
2023-06-23 cs.LG stat.ML
Latent Structure of Affective Representations in Large Language Models
Harvard University(哈佛大学)
研究大型语言模型中情感表征的潜在几何结构,发现其与心理学中的valence-arousal模型一致,并展示了其在不确定性量化中的应用。
2026-04-11 cs.AI cs.LG
Tiered Latent Representations and Latent Spaces for Molecular Graphs
IBM
分子图通常包含子图(称为组),这些子图在组成、功能、几何等方面是可识别的和重要的。平面潜在表示(节点嵌入或图嵌入)不能表示和支持组的使用。另一方面,完全分层的潜在表征很难学习,即使学会了,也可能太复杂而无法使用或解释。我们提出分层的潜在表示和潜在空间的分子图作为一种简单的方式来明确表示和利用组,其中包括原子(节点)层,组层和分子(图)层。具体来说,我们提出了一个架构,学习分层的潜在表示和潜在空间,使用图自动编码器,图神经网络,可微组池和成员矩阵。我们讨论了它的各个组成部分,主要的挑战和相关的工作,确定性和概率模型。我们还简要讨论了分层潜在空间的使用和探索。分层的方法是适用于其他类型的结构化图类似的性质分子图。
2019-03-21 cs.LG
Semantic Noise Modeling for Better Representation Learning
Lunit Inc.(Lunit公司);New York University(纽约大学)
通过分层特征抽象从多层神经网络学习的潜在表示使得深度学习最近取得了成功。在深度学习框架下,泛化性能高度依赖于学习到的潜在表示,该潜在表示是从设计的网络模型上具有特定任务目标的适当训练场景中获得的。在这项工作中,我们提出了一种新的潜在空间建模方法来学习更好的潜在表示。我们设计了一个神经网络模型的基础上的假设,可以通过最大化的输入,潜在的,和输出变量之间的总相关性,以达到良好的基础表示。从基础模型出发,我们引入了一种语义噪声建模方法,该方法可以对潜在空间进行类条件扰动,以增强学习到的潜在特征的表示能力。在训练过程中,隐向量表示可以被建模的类条件加性噪声随机扰动,同时保持其原始语义特征。它隐含着对潜在空间的语义增强效应。所提出的模型可以很容易地学习反向传播与常见的基于梯度的优化算法。实验结果表明,该方法有助于实现性能优势,对各种以前的方法。我们还提供了经验分析,建议类条件扰动过程,包括t-SNE可视化。
2016-11-04 cs.LG cs.NE
Unsupervised Learning of Latent Physical Properties Using Perception-Prediction Networks
MIT(麻省理工学院);Stanford University(斯坦福大学)
我们提出了一个框架,完全无监督学习的潜在对象的属性,从他们的相互作用:感知预测网络(PPN)。PPN由一个提取潜在对象属性表示的感知模块和一个使用这些提取的属性来模拟系统动态的预测模块组成,可以完全从对象动态样本中以端到端的方式进行训练。通过PPN学习的潜在对象属性的表示不仅足以准确地模拟由先前看不见的对象组成的系统的动态,而且还可以直接转换为人类可解释的属性(例如,质量、恢复系数)。至关重要的是,PPN还可以推广到新的场景:它们基于梯度的训练可以应用于许多动态系统,它们基于图的结构函数可以应用于由不同数量的对象组成的系统。我们的研究结果证明了基于图的神经架构在以对象为中心的推理和预测任务中的有效性,并且我们的模型有可能在尚未完全理解的系统中发现相关的对象属性。
2018-07-25 cs.AI cs.CV cs.LG
Relative representations enable zero-shot latent space communication
Sapienza University of Rome(罗马第一大学);Amazon Web Services(亚马逊云科技)
神经网络将高维空间中数据流形的几何结构嵌入到潜在表示中。理想情况下,潜在空间中数据点的分布应该只取决于任务、数据、丢失和其他特定于架构的约束。然而,诸如随机权重初始化、训练超参数或训练阶段中的其他随机性源之类的因素可能会导致阻碍任何形式的重用的不相干潜在空间。然而,我们根据经验观察到,在相同的数据和建模选择下,不同潜在空间内的编码之间的角度不会改变。在这项工作中,我们提出了每个样本和一组固定的锚点之间的潜在相似性作为替代数据表示,证明它可以在没有任何额外训练的情况下实现所需的不变性。我们展示了神经架构如何利用这些相对表示来保证在实践中对潜在等距和重新缩放的不变性,有效地实现潜在空间通信:从zero-shot模型拼接到不同设置之间的潜在空间比较。我们在不同的数据集上广泛验证了我们的方法的泛化能力,跨越各种形式(图像,文本,图形),任务(例如,分类,重建)和体系结构(例如,CNN、GCN、Transformers)。
2023-03-07 cs.AI cs.LG
Learning Sparse Latent Representations with the Deep Copula Information Bottleneck
University of Basel(巴塞尔大学)
深度潜变量模型是表示学习的强大工具。在本文中,我们采用了深度信息瓶颈模型,找出其缺点,并提出了一个模型,规避他们。为此,我们应用Copula变换,通过恢复信息瓶颈方法的不变性,导致潜在空间中的特征的解纠缠。在此基础上,我们展示了这种转换如何转化为新模型中潜在空间的稀疏性。我们评估我们的方法对人工和真实数据。
2018-04-19 cs.LG stat.ML
Learning latent variable structured prediction models with Gaussian perturbations
Purdue University(普渡大学)
标准的基于边际的结构化预测通常使用所有可能的结构化输出的最大损失。包括潜在变量的大余量公式不仅导致非凸公式,而且通过潜在空间的大小的因子增加了搜索空间。最近的工作已经提出了使用最大损失的随机结构化的输出采样独立于一些建议的分布,理论上的保证。我们扩展这项工作,包括潜变量。我们研究了一类新的高斯扰动下的损失函数,并分析了潜在空间对推广界的影响。我们表明,非凸性的学习与潜在的变量起源自然,因为它涉及到一个严格的上限的吉布斯解码器失真相对于潜在的空间。最后,我们提供了一个配方,使用随机样本,产生一个更严格的上限的吉布斯解码器失真的统计精度,这使得更快地评估的目标函数。我们说明了合成实验和计算机视觉应用的方法。
2018-05-23 cs.LG stat.ML
Learning Latent Representations for Speech Generation and Transformation
Massachusetts Institute of Technology(麻省理工学院)
对生成过程进行建模并以无监督的方式学习语音的潜在表示的能力对于处理大量未标记的语音数据至关重要。最近,诸如变分自编码器(VAE)的深度概率生成模型在对自然图像进行建模方面取得了巨大成功。在本文中,我们应用卷积VAE模型的自然语音的生成过程。我们推导出潜在的空间算术运算来解开学习到的潜在表征。我们证明了我们的模型的能力,修改语音内容或扬声器的身份语音段使用派生的操作,而不需要并行的监督数据。
2017-09-22 cs.CL cs.LG stat.ML
Multi-Step Prediction in Linearized Latent State Spaces for Representation Learning
在本文中,我们推导出一种新的方法,作为对LCE(如E2 C)的推广。该方法发展了学习局部线性状态空间的思想,通过添加多步预测,从而允许对曲率进行更明确的控制。我们表明,该方法优于E2 C,而无需剧烈的模型变化,这与其他工作,如PCC和P3 C。我们讨论了E2 C和所提出的方法之间的关系,并推导出更新方程。我们提供了经验证据,这表明,通过考虑多步预测,我们的方法-ms-E2 C-允许学习更好的潜在状态空间的曲率和下一个状态的可预测性。最后,我们还讨论了我们在多步预测中遇到的某些稳定性挑战以及缓解这些挑战的方法。
2022-09-02 cs.AI cs.LG
Refining Latent Representations: A Generative SSL Approach for Heterogeneous Graph Learning
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院)
针对异构图学习中生成式自监督学习潜力未充分挖掘的问题,提出HGVAE方法,通过基于潜在表示的对比任务和渐进式负样本生成机制来Refining Latent Representations,迫使模型学习高质量表示,在多个SOTA基线对比中展现出优越性。
2024-04-20 cs.AI cs.LG
Spectral Analysis of Latent Representations
Peltarion;University of Osnabrück(奥斯纳布吕克大学);AIM Agile IT Managment GmbH(AIM敏捷IT管理有限公司)
我们提出了一个度量,层饱和度,定义为解释99%的潜在表示的方差所需的特征值的数量的比例,用于分析神经网络层的学习表示。饱和度基于频谱分析,可以有效地计算,从而在训练期间对表示进行实时分析。我们提供了一个展望未来的应用,这个指标,概述了层饱和度在不同的神经架构和问题的行为。我们进一步表明,饱和度与神经网络的泛化和预测性能。
2019-07-19 cs.LG stat.ML
Constrained latent state modeling: A unifying perspective on representation learning under competing constraints
LaTIM UMR 1101
本文提出受限潜在状态建模(CLSM),统一了表示学习中在竞争约束下的核心原则与方法,揭示了潜在状态的内在耦合关系与根本权衡。
2026-10-08 cs.AI cs.LG
Latent Multi-view Semi-Supervised Classification
Glasgow College, University of Electronic Science and Technology of China(电子科技大学格拉斯哥学院);School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院);School of Foreign Languages, University of Electronic Science and Technology of China(电子科技大学外国语学院)
为了从多个视图中挖掘潜在的互补信息,本文提出了一种新的潜在多视图半监督分类(LMSSC)方法。与大多数现有的使用原始特征学习图的多视图半监督分类方法不同,我们的方法寻求一个潜在的潜在表示,并根据学习到的潜在表示进行图学习和标签传播。由于多视图的互补性,潜在表示比单个视图更能全面地描述数据,从而使图更准确、更鲁棒。最后,LMSSC将潜在表示学习、图构造和标签传播集成到一个统一的框架中,使每个子任务都得到优化。在真实基准数据集上的实验结果验证了该方法的有效性。
2019-09-09 cs.AI cs.CV cs.LG
Asymmetrical Latent Representation for Individual Treatment Effect Modeling
Univ. Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所);LISN(南巴黎大学计算机科学实验室)
本文提出ALRITE,一种基于两个非对称潜在空间的CATE估计方法,分别优化对照组与处理组的反事实预测,并在理论上给出PEHE上界,实验验证优于现有方法。
2025-01-23 cs.AI cs.LG
Studying the Impact of Latent Representations in Implicit Neural Networks for Scientific Continuous Field Reconstruction
Brookhaven National Laboratory(布鲁克海文国家实验室);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
本文研究隐式神经网络模型 MMGN 的潜在表示对科学连续场重建的影响,通过可解释性方法分析潜在空间中的上下文信息及其对模型性能的作用。
2024-04-09 cs.AI cs.LG
Exploiting Latent Linearity in LLMs Improves Explainable Molecular Representation Learning
Department of Computing, The Hong Kong Polytechnic University(计算系,香港理工大学)
MoleX通过利用大语言模型中的潜在线性性,提升分子表示学习的可解释性和性能
2026-01-31 cs.AI cs.LG
Conditional Independence Testing via Latent Representation Learning
Applied Artificial Intelligence Institute(应用人工智能研究院);Deakin University(迪肯大学)
检测条件独立性在一些统计和机器学习任务中起着关键作用,特别是在因果发现算法中。在这项研究中,我们介绍了LCIT(基于潜在表征的条件独立性测试)-一种新的非参数的条件独立性测试方法的基础上表示学习。我们的主要贡献包括提出了一个生成框架,在该框架中,为了测试给定Z的X和Y之间的独立性,我们首先学习推断目标变量X和Y的不包含条件变量Z信息的潜在表示。潜变量,然后调查任何显着的剩余的依赖关系,这可以使用传统的偏相关性测试进行。实证评估表明,LCIT在不同的评估指标下始终优于几个最先进的基线,并且能够很好地适应各种合成和真实数据集的非线性和高维设置。
2022-09-04 cs.LG stat.ML
Latent JEPA: Abstract Future Prediction for Latent Reasoning in Chemistry
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本研究提出潜在JEPA框架,结合自回归学习与联合嵌入预测,通过训练连续潜在思维预测未来视图,在ChemCoTBench上提升分子优化及编辑反应指标,验证抽象未来预测作为连接潜在推理与科学结果的学习原则。
2026-10-02 cs.CL cs.LG
COIL: Constrained Optimization in Learned Latent Space: Learning Representations for Valid Solutions
UCL(伦敦大学学院);Autodesk Research(欧特克研究院)
约束优化问题可能是困难的,因为它们的搜索空间具有不利于搜索的性质,例如,多模态、不连续性或欺骗。为了解决这些困难,已经进行了大量的研究,创造新的进化算法或专门的遗传算子。然而,如果可以改变定义搜索空间的表示,使得其仅允许满足约束的有效解,则找到最优解的任务将变得更加可行,而不需要任何专门的优化算法。我们提出了约束优化的潜在空间(COIL),它使用VAE生成一个学习的潜在表示从数据集,包括样本的有效区域的搜索空间根据一个约束,从而使优化器找到目标在新的空间定义的学习表示。初步实验表明,与使用无法满足约束或找到合适解决方案的标准表示的相同GA相比,COIL及其学习的潜在表示可以完美地满足不同类型的约束,同时找到高适应度解决方案。
2022-06-06 cs.LG cs.NE
Interventional Causal Representation Learning
FAIR (Meta AI)(FAIR(Meta AI));Mila-Quebec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);University of Michigan(密歇根大学)
本文研究干预数据对因果表示学习的促进作用,证明完美do干预可实现潜在因子在置换与缩放意义下的可识别性,非完美干预可实现块仿射识别,且无需对分布或依赖结构作任何假设。
2024-02-22 cs.LG stat.ML
On the Identifiability of Latent Action Policies
Samsung AI Lab(三星人工智能实验室)
该研究针对近期提出的从视频中发现动作表征的潜在动作策略学习(LAPO)框架的可辨识性展开,明确了动作表征的理想性质与不可辨识性来源,证明熵正则化LAPO目标在合适条件下可辨识符合要求的动作表征,解释了离散动作表征的实践优势。
2025-10-01 cs.LG stat.ML
Stable by Construction: Variational Latent Markov Operators for Long-Horizon PDE Prediction
Duke University(杜克大学)
本文提出变分潜在马尔可夫算子(VAMO),通过潜在分布与概率转移建模物理状态,减少长时程自回归预测中的误差累积,并在流体动力学基准上验证了其稳定性和有效性。
2026-09-16 cs.LG stat.ML
The Trade-off Between Covariate Dependence and Latent Structure in Representation Learning
Faculty of Mathematics, Informatics, and Mechanics, University of Warsaw(华沙大学数学、信息学与力学学院);Institute of AI for Health, Helmholtz Munich(亥姆霍兹慕尼黑健康人工智能研究所)
该研究针对表示学习中协变量相关问题,提出统一监督框架,揭示协变量依赖与潜在结构的权衡,通过闭式变换重对齐预训练模型表示,在多组学数据上验证了方法的可控性。
2026-08-18 cs.LG
Max-Margin Nonparametric Latent Feature Models for Link Prediction
Tsinghua University(清华大学)
链接预测是统计网络分析中的一项基本任务。最近的进展已经取得了学习灵活的非参数贝叶斯潜在特征模型的链接预测。在本文中,我们提出了一个最大间距学习方法,这种非参数的潜在特征关系模型。我们的方法试图将最大间隔学习和贝叶斯非参数的思想结合起来,发现链接预测的潜在特征。它继承了非参数贝叶斯方法的先进性,以推断未知的潜在社会维度,而对于判别式链接预测,它采用最大余量学习原则,通过使用线性期望算子最小化铰链损失,而不处理高度非线性的链接似然函数。对于后验推理,我们开发了一个有效的随机变分推理算法截断平均场假设下。我们的方法可以扩展到具有数百万个实体和数千万个正链接的大规模真实网络。我们还提供了一个完整的贝叶斯公式,可以避免调整正则化超参数。在不同的真实数据集上的实验结果表明了最大间隔学习和贝叶斯非参数推理的优点。
2016-02-24 cs.LG cs.SI stat.ME
EIDOS: Latent-Space Predictive Learning for Time Series Foundation Models
Nankai University(南开大学);Eindhoven University of Technology(埃因霍温理工大学);Yunnan University(云南大学);University of New South Wales(新南威尔士大学);Griffith University(格里菲斯大学)
EIDOS通过潜在空间预测学习提升时间序列基础模型的鲁棒性和可靠性。
2026-02-15 cs.AI cs.LG
Long-horizon video prediction using a dynamic latent hierarchy
Huawei Technologies R&D(华为技术研发)
众所周知,视频预测和生成的任务非常困难,这一领域的研究主要限于短期预测。虽然受到噪声和随机性的困扰,但视频由时空层次结构中组织的特征组成,不同的特征具有不同的时间动态。在本文中,我们介绍了动态潜在层次(DLH)-一种深度层次潜在模型,将视频表示为在单独和流体时间尺度上演变的潜在状态层次结构。每个潜在状态都是一个混合分布,有两个组成部分,代表最近的过去和预测的未来,导致模型只学习足够不相似的状态之间的转换,同时将时间上持久的状态聚集在一起。使用这个独特的属性,DLH自然地发现数据集的时空结构,并在其层次结构中学习分解的表示。我们假设这简化了视频的时间动态建模任务,提高了长期依赖关系的学习,并减少了错误积累。作为证据,我们证明了DLH在视频预测方面优于最先进的基准,能够更好地表示随机性,以及动态调整其层次和时间结构。我们的论文展示了表示学习的进步如何转化为预测任务的进步。
2023-01-09 cs.AI cs.CV cs.LG
Two-Way Latent Grouping Model for User Preference Prediction
University of Helsinki(赫尔辛基大学);Helsinki University of Technology(赫尔辛基理工大学);Xtract Ltd.(Xtract有限公司)
我们介绍了一种新的潜在的分组模型预测的相关性,一个新的文档给用户。该模型假设一个潜在的组结构的用户和文档。我们将该模型与最先进的方法,即用户评级配置文件模型进行了比较,其中只有用户具有潜在的组结构。我们估计这两个模型的吉布斯抽样。新方法预测的相关性更准确地为新的文件,有几个已知的评级。原因是,概括的文件,然后成为必要的,因此双向分组是有益的。
2012-07-04 cs.IR cs.LG stat.ML
Life-Long Disentangled Representation Learning with Cross-Domain Latent Homologies
UCLA(加州大学洛杉矶分校);DeepMind(深度思维)
现实世界中的智能行为需要从一系列持续的经验中获取新知识的能力,同时保留和重用过去的知识。我们提出了一种新的算法,用于从逐段静态视觉数据中进行无监督的表示学习:具有共享嵌入的变分自编码器(VASE)。基于最小描述长度原则,VASE自动检测数据分布中的变化,并为新知识分配空闲的表示容量,同时保护先前学习的表示免受灾难性遗忘。我们的方法鼓励学习的表示被解开,这赋予了一些理想的属性:VASE可以明智地处理模糊的输入,它可以通过基于解释的探索来增强自己的表示,最重要的是,它表现出语义上有意义的共享不同数据集之间的潜伏期。与具有纠缠表示的基线相比,我们的方法能够超越表面级统计数据进行推理,并执行语义上有意义的跨域推理。
2018-08-20 cs.LG stat.ML
Cross-Domain Latent Modulation for Variational Transfer Learning
University of Otago(奥塔哥大学)
我们提出了一个跨域的潜在调制机制内的变分自编码器(VAE)的框架,使改进的迁移学习。我们的主要思想是从一个数据域获取深度表示,并将其用作另一个域中潜在变量的重新参数化的扰动。具体而言,源域和目标域的深度表示首先由统一的推理模型提取,并通过采用梯度反转进行对齐。其次,学习的深度表示被交叉调制到替代域的潜在编码。然后强制执行从调制的潜在编码的重构与使用深度表示样本的生成之间的一致性,以便在潜在空间中产生类间对齐。我们将所提出的模型应用于一些迁移学习任务,包括无监督的领域自适应和图像到图像的翻译。实验结果表明,我们的模型具有竞争力的性能。
2020-12-21 cs.AI cs.LG
Latent Gaussian Model Boosting
Lucerne University of Applied Sciences and Arts(卢塞恩应用科学与艺术大学)
潜在高斯模型和提升是统计学和机器学习中广泛使用的技术。树提升在许多数据集上显示出优异的预测精度,但潜在的缺点是它假设样本的条件独立性,产生不连续的预测,例如,空间数据,并且它可能难以处理高基数的分类变量。潜高斯模型,如高斯过程和分组随机效应模型,是灵活的先验模型,显式地模拟样本之间的依赖性,并允许有效的学习预测函数和进行概率预测。然而,现有的潜在高斯模型通常假设零或线性先验均值函数,这可能是不切实际的假设。本文介绍了一种新的方法,它结合了提升和潜在高斯模型,以弥补上述缺点,并利用这两种技术的优势。与现有的方法相比,我们在模拟和真实世界的数据实验中获得了更高的预测精度。
2022-07-25 cs.AI cs.LG stat.CO
FONDUE: an algorithm to find the optimal dimensionality of the latent representations of variational autoencoders
University of Kent(肯特大学)
在给定数据集上训练变分自编码器(VAE)时,确定潜在变量的最佳数量主要通过网格搜索来完成:就计算时间和碳足迹而言,这是一个昂贵的过程。在本文中,我们探讨的内在尺寸估计(IDE)的数据和潜在的表征学习VAE。我们发现,IDE的平均值和采样表示的VAE后,只有几个步骤的训练之间的差异揭示了被动变量的存在下,在潜在的空间,这在良好的VAE,表明多余的维数。利用这一特性,我们提出了FONDUE:一种快速找到潜在维度数量的算法,在此之后,平均值和采样表示开始发散(即,当引入被动变量时),为VAE和自动编码器选择潜在维度的数量提供了一种原则性方法。
2022-09-26 cs.LG
Representation Learning Through Latent Canonicalizations
Stanford University(斯坦福大学);Facebook AI Research(脸书人工智能研究院);Georgia Tech(佐治亚理工学院)
我们寻求学习一个大型注释数据源,推广到一个目标域使用有限的新的监督表示。这个问题的许多先前的方法都集中在学习“解纠缠”表示,使得当个体因素在新的域中变化时,仅需要更新表示的一部分。在这项工作中,我们寻求解纠缠表示的泛化能力,但放松了显式潜在解纠缠的要求,而是通过要求它们可由学习的线性变换操纵来鼓励个体变异因子的线性。我们称这些转换为潜在的规范化器,因为它们旨在将因子的值修改为预定的(但任意的)规范值(例如,使图像前景为黑色)。假设一个源域可以访问指定图像内变化因素的元标签,我们通过实验证明,我们的方法有助于减少与一些监督基线相比,推广到类似目标域所需的观测数量。
2020-02-26 cs.LG stat.ML
Stochastic Latent Residual Video Prediction
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);LIP6(巴黎第六大学计算机实验室);Criteo AI Lab(Criteo人工智能实验室)
设计视频预测模型来考虑未来的固有不确定性是一项挑战。文献中的大多数作品都是基于随机图像自回归递归网络,这引起了一些性能和适用性问题。另一种方法是使用完全潜在的时间模型,解开帧合成和时间动态。然而,由于设计和训练困难,在文献中还没有提出这样的随机视频预测模型。在本文中,我们克服了这些困难,通过引入一种新的随机时间模型,其动态在一个潜在的空间由残差更新规则。这种一阶格式是由微分方程的离散化方案所激发的。它自然地对视频动态进行建模,因为它允许我们更简单,更可解释的潜在模型在具有挑战性的数据集上优于现有的最先进的方法。
2020-08-07 cs.CV cs.LG stat.ML
Latent Space Subdivision: Stable and Controllable Time Predictions for Fluid Flow
Technical University of Munich(慕尼黑工业大学);ETH Zurich(苏黎世联邦理工学院)
我们提出了一个端到端的训练神经网络架构,以强大的预测具有高时间稳定性的流体流动的复杂动态。我们专注于单相烟雾模拟在2D和3D不可压缩的Navier-Stokes(NS)方程的基础上,这是相关的广泛的实际问题。为了实现对长期流序列的稳定预测,卷积神经网络(CNN)被训练用于空间压缩,结合由堆叠的长短期记忆(LSTM)层组成的时间预测网络。我们的核心贡献是一种新的潜在空间细分(LSS),将各自的输入量分离到编码的潜在空间域的各个部分。这允许有区别地改变编码量而不干扰剩余的潜在空间值,因此最大化外部控制。通过选择性地对预测的潜在空间点的一部分,我们提出的方法能够鲁棒地预测复杂物理问题的长期序列。此外,我们强调了对潜在空间创建进行循环训练的好处,这是由空间压缩网络执行的。
2020-03-12 cs.GR cs.LG stat.ML
A Latent Space Metric for Enhancing Prediction Confidence in Earth Observation Data
EURECOM(欧洲通信研究院);National Observatory of Athens(雅典国家天文台);BEYOND Center of Excellence(BEYOND卓越中心)
本文利用变分自编码器的潜在空间欧氏距离构建EO回归任务的置信度度量,并在蚊子丰度预测中验证其与绝对误差的显著相关性。
2024-06-11 cs.AI cs.LG
Mechanistic Independence: A Principle for Identifiable Disentangled Representations
Technical University of Munich(慕尼黑技术大学)
本文提出机制独立性原则,通过解耦表示中的机制作用来识别潜在子空间,建立独立性准则层级并提供图论特征描述,无需依赖统计假设。
2026-05-10 cs.LG stat.ML
LVCG: Learning ECG Representations in the Latent Vectorcardiogram Space
Griffith University, Australia(格里菲斯大学);SingHealth Duke-NUS AI in Medicine Institute, Singapore(新加坡SingHealth Duke-NUS医学人工智能研究所);Emory University, USA(埃默里大学)
针对标准十二导联心电图表示学习中的冗余和过拟合问题,提出基于Frank向量心电图模型的LVCG框架,在物理潜在空间中学习视图不变的心脏电活动表示,提升鲁棒性和泛化能力。
2026-08-12 cs.AI cs.LG
Latent Communication in Artificial Neural Networks
本文研究神经网络潜在表征的跨模型通用性,提出潜在通信概念,通过数据分布间的部分语义对应实现相对表征投影或空间转换,并在多任务、多监督方式和多模态下验证其普遍性。
2024-06-16 cs.AI cs.LG
Learning latent state representation for speeding up exploration
Istituto Italiano di Tecnologia(意大利理工学院);University of California Berkely(加州大学伯克利分校)
探索是强化学习中一个极具挑战性的问题,特别是在高维状态和动作空间以及只有稀疏奖励时。有效的表征可以指示状态的哪些组件与任务相关,从而减少要探索的空间的维度。在这项工作中,我们采取表示学习的观点探索,利用先前的经验来学习有效的潜在表示,这可以随后指示哪些区域进行探索。先前在独立但相关的任务上的经验有助于学习状态的表征,这些表征在预测即时奖励方面是有效的。然后,这些学习的表示可以与基于熵的探索方法一起使用,以通过有效地降低搜索空间的维度来有效地执行高维空间中的探索。我们展示了这种表示在模拟对象推送环境中进行元探索的好处。
2019-05-27 cs.LG stat.ML
Superposed Latent Autoencoder
University of California San Diego(加利福尼亚大学圣迭戈分校);Georgia Institute of Technology(佐治亚理工学院);University of California Riverside(加利福尼亚大学河滨分校);San Diego State University(圣迭戈州立大学)
提出叠加式潜在自编码器(SLAE),通过学习叠加共享存储,在相同内存预算下改善重构-内存权衡,降低重构误差,还提升下游分类性能,为表示压缩提供新原则。
2026-09-02 cs.AI cs.LG
LatentVerse: A Framework for Understanding Shared and Modality-Specific Information in Multimodal Latent Representations
Broad Institute of MIT and Harvard(麻省理工学院和哈佛大学布罗德研究所);Massachusetts Institute of Technology(麻省理工学院);The Schmidt Center, Broad Institute of MIT and Harvard(麻省理工学院和哈佛大学布罗德研究所施密特中心)
LatentVerse是一个结合可视化平台与命令行界面的表示分析框架,通过分解共享与模态特定组件,实现多模态潜在表示的质量评估,提升可理解性与可复现性。
2026-09-14 cs.HC cs.LG
Coordinated Heterogeneous Distributed Perception based on Latent Space Representation
Bielefeld University(比勒费尔德大学);Queensland University of Technology(昆士兰科技大学)
我们研究了一种基于多模态深度生成模型的潜在空间的分布式感知增强方法。我们的贡献提供了以下好处的见解:由于由变分自动编码器(VAE)训练的信息的共享潜在表示,检测可以在配备有单峰传感器的机器人之间有效地交换。由于VAE的生成特性,传感器融合可以异步应用。深度Q网络(DQN)经过训练,通过将机器人协调到感兴趣点(POI)来最大限度地减少潜在空间中的不确定性,其中它们的传感器模态可以提供有关POI的有益信息。此外,我们表明,不确定性的降低可以被定义为训练DQN的直接奖励信号。
2018-09-12 cs.AI cs.LG cs.RO
Mapping the Multiverse of Latent Representations
Helmholtz Munich(亥姆霍兹慕尼黑中心);Technical University of Munich(慕尼黑工业大学);KTH Royal Institute of Technology(皇家理工学院(瑞典));Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
针对机器学习潜表示变异性导致的复杂性与不可信问题,提出基于持久同调的框架PRESTO,用于映射和比较不同模型、参数与数据集组合下的潜空间,支持敏感性分析、异常嵌入检测及超参数搜索。
2024-06-01 cs.LG math.AT stat.ML