Learning Interpretable PDE Representations for Generative Reconstructions with Structured Sparsity
Department of Civil \& Environmental Engineering, Duke University, NC, USA
本文提出LatentPDE框架，通过构建可解释的潜在空间，解决稀疏观测重建和超分辨率问题，实现高保真恢复与不确定性跟踪。
2026-04-26 cs.LG
Structured Latent Modeling for Supervised Multimodal Information Decomposition
University of Iowa（爱荷华大学）
提出一种结构化潜在建模框架，通过中间层对比/掩蔽目标、逐源归一化流和低秩潜在变量模型，分解多模态信息为共享、模态特定和无关部分，提升预测性能。
2026-09-29 cs.LG
Latent Chain-of-Thought Improves Structured-Data Transformers
本文研究了链式思维对时间序列和表格数据的影响，并提出了一种递归方案，通过压缩查询位置的隐藏状态生成反馈标记，从而在预测前进行多次潜在计算，从而提升结构化数据转换器的性能。
2026-05-19 cs.LG
Discriminative Embeddings of Latent Variable Models for Structured Data
Georgia Institute of Technology（佐治亚理工学院）
核分类器和回归器设计的结构化数据，如序列，树和图形，显着推进了一些跨学科领域，如计算生物学和药物设计。通常，预先为数据类型设计核，其利用结构的统计或利用概率生成模型，然后经由凸优化基于核学习判别分类器。然而，这种优雅的两阶段方法也限制了核方法扩展到数百万个数据点，并利用判别信息来学习特征表示。我们提出，structure2vec，一个有效的和可扩展的结构化数据表示方法的基础上嵌入潜变量模型到特征空间的想法，并学习这样的特征空间使用判别信息。有趣的是，structure2vec通过执行一系列函数映射来提取特征，其方式类似于图形模型推理过程，例如平均场和置信传播。在涉及数百万个数据点的应用程序中，我们发现structure2vec的运行速度快2倍，生成的模型小$10,000$倍，同时实现了最先进的预测性能。
2020-01-11 cs.LG
Learning latent variable structured prediction models with Gaussian perturbations
Purdue University（普渡大学）
标准的基于边际的结构化预测通常使用所有可能的结构化输出的最大损失。包括潜在变量的大余量公式不仅导致非凸公式，而且通过潜在空间的大小的因子增加了搜索空间。最近的工作已经提出了使用最大损失的随机结构化的输出采样独立于一些建议的分布，理论上的保证。我们扩展这项工作，包括潜变量。我们研究了一类新的高斯扰动下的损失函数，并分析了潜在空间对推广界的影响。我们表明，非凸性的学习与潜在的变量起源自然，因为它涉及到一个严格的上限的吉布斯解码器失真相对于潜在的空间。最后，我们提供了一个配方，使用随机样本，产生一个更严格的上限的吉布斯解码器失真的统计精度，这使得更快地评估的目标函数。我们说明了合成实验和计算机视觉应用的方法。
2018-05-23 cs.LG stat.ML
PhyRestore: Physics-Structured Latent-Factor Restoration
Adams State University（亚当斯州立大学）
针对物理因子受损时土壤流失变化估计困难的问题，提出物理结构化潜在因子恢复框架PhyRestore，通过恢复受损因子并利用RUSLE物理关系重建变化，在流域尺度评估中优于退化估计及多种模型，但联合损坏下优势减弱。
2026-09-18 cs.LG
Classifier-pruned Bayesian optimization for particle accelerator tuning: Exploring temporally structured manifold of 6D beam phase space
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
针对粒子加速器调谐这一高维优化问题，提出CBOL-Tuner框架，集成条件变分自编码器、长短期记忆网络、轻量级神经网络及分类器剪枝贝叶斯优化器，可在6D束流相空间的时间结构潜在流形内高效探索。
2026-09-29 cs.LG
Contrastive Diffusion Alignment: Learning Structured Latents for Controllable Generation
Department of Psychiatry, Weill Cornell Medicine, New York, NY, USA（威立·科林斯医学中心精神科）；Department of Psychiatry, Stanford University, Stanford, CA, USA（斯坦福大学精神科）；Department of Neuroscience, University of Connecticut School of Medicine, Farmington, CT, USA（康涅狄格大学医学院神经科学系）
ConDA通过对比学习在扩散模型中学习结构化潜在空间，实现可控生成和动态解释。
2026-08-06 cs.LG
Learning Abstract World Models with a Group-Structured Latent Space
ISAE-SUPAERO；ETH Zürich（瑞士联邦理工学院）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Microsoft Research AI for Science（微软研究院人工智能科学部）
该研究通过在低维表示流形上引入几何先验，改进了马尔可夫决策过程的抽象模型学习，从而提升有限数据下的泛化能力，并在具有旋转和翻译特征的环境中实现了更有效的强化学习任务学习。
2026-05-19 cs.LG
Latent Nonlinear Denoising Score Matching for Enhanced Learning of Structured Distributions
School of Mathematics（数学学院）；Georgia Institute of Technology（佐治亚理工学院）
本文提出了一种结合非线性前向动力学与VAE的潜在SGM框架，通过改进的训练目标提升结构分布学习的效率和质量。
2026-10-28 cs.LG stat.ML
Efficient Marginalization of Discrete and Structured Latent Variables via Sparsity
Instituto de Telecomunicações（电信研究所）；University of Amsterdam（阿姆斯特丹大学）；Instituto Superior Técnico（高等技术学院）；Unbabel（Unbabel公司）
训练具有离散（分类或结构化）潜变量的神经网络模型可能在计算上具有挑战性，因为需要在大型或组合集合上进行边缘化。为了规避这个问题，通常诉诸于真实边际的基于采样的近似，需要噪声梯度估计器（例如，得分函数估计器）或具有较低方差重新参数化梯度的连续松弛（例如，Gumbel-Softmax）。在本文中，我们提出了一种新的训练策略，取代这些估计的准确而有效的边缘化。为了实现这一点，我们参数化离散分布在潜在的分配使用可微稀疏映射：sparsemax和它的结构对应。实际上，这些分布的支持大大减少，这使得有效的边缘化成为可能。我们报告了三个任务的成功结果，涵盖了一系列潜在变量建模应用：半监督深度生成模型，潜在通信游戏和具有位向量潜在表示的生成模型。在所有情况下，我们获得了良好的性能，同时仍然实现了基于采样的近似的实用性。
2020-12-28 cs.LG stat.ML
StructVAE: Tree-structured Latent Variable Models for Semi-supervised Semantic Parsing
Carnegie Mellon University（卡内基梅隆大学）
语义解析是将自然语言（NL）话语转换为形式意义表示（MR）的任务，其通常表示为树结构。用其对应的MR注释NL话语是昂贵且耗时的，因此标记数据的有限可用性通常成为数据驱动的监督模型的瓶颈。我们介绍了StructVAE，变分自动编码模型的半监督语义解析，学习既从有限数量的并行数据，并随时可用的未标记的NL话语。StructVAE将未标记数据中未观察到的潜在MR建模为树结构的潜在变量。在ATIS域上的语义解析和Python代码生成的实验表明，使用额外的未标记数据，StructVAE优于强监督模型。
2018-06-20 cs.CL cs.LG
Graph Domain Adaptation: A Generative View
Guangdong University of Technology（广东工业大学）；National University of Singapore（新加坡国立大学）；Tencent Technology (SZ) Co., Ltd.（腾讯科技（深圳）有限公司）；Carnegie Mellon University（卡内基梅隆大学）
近年来，人们对图结构数据的深度学习产生了极大的兴趣。由于收集标记图结构数据的成本很高，领域自适应对于有限样本的有监督图学习任务很重要。然而，目前的图领域自适应方法通常是从传统的领域自适应任务中获得的，没有很好地利用图结构数据的特性。例如，在不同平台上观察到的社交网络不仅受不同人群或社区的控制，而且还受特定于域的策略和背景噪声的控制。基于图结构数据中的这些属性，我们首先假设图结构数据生成过程由三种独立类型的潜变量控制，即，语义潜变量、领域潜变量和随机潜变量。基于这一假设，我们提出了一种基于去纠缠的无监督领域自适应方法的图结构数据，该方法采用变分图自动编码器恢复这些潜在变量，并通过三个监督学习模块将它们去纠缠。在两个真实数据集上的实验结果表明，该方法不仅显著优于传统的领域自适应方法和基于解纠缠的领域自适应方法，而且优于最先进的图领域自适应算法.
2021-06-14 cs.LG
Structured Bayesian Gaussian process latent variable model
University of Notre Dame（圣母大学）
我们引入了一个贝叶斯高斯过程潜变量模型，该模型使用参数化的空间内核显式捕获数据中的空间相关性，并利用模型协方差阵上的结构利用代数来实现计算的易处理性。推理是通过一个类似的计算复杂性的传统贝叶斯GP-LVM的折叠变分界听话。通过优化“部分折叠”边界来实现对部分观察到的测试用例的推断。通过使用动态GP潜变量先验，使得能够对高维时间序列系统进行建模。插补图像上的缺失数据和缺失视频帧的超分辨率插补的例子证明了该模型。
2018-05-22 cs.LG stat.ML
Structured Black Box Variational Inference for Latent Time Series Models
Disney Research（迪士尼研究院）
连续潜在时间序列模型在贝叶斯建模中很普遍;示例包括卡尔曼滤波器、动态协同过滤或动态主题模型。这些模型通常受益于结构化的，非平均场变分近似，捕获时间步长之间的相关性。黑盒变分推断与重新参数化梯度（BBVI），使我们能够探索一个丰富的新的类贝叶斯非共轭潜在的时间序列模型，然而，一个天真的BBVI的应用程序，这样的结构化变分模型将规模平方的时间步长。我们描述了一个BBVI算法类似的向前向后算法，而不是线性缩放的时间。它允许我们有效地从变分分布中采样并估计ELBO的梯度。最后，我们展示了最近提出的动态单词嵌入模型的结果，该模型是使用我们的方法训练的。
2017-07-04 cs.LG stat.ML
Local Latent Space Bayesian Optimization over Structured Inputs
University of Pennsylvania（宾夕法尼亚大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；University College London（伦敦大学学院）；Massachusetts Institute of Technology（麻省理工学院）
深度自动编码器模型（DAE）的潜在空间上的贝叶斯优化最近已经成为一种有前途的新方法，用于在结构化、离散、难以枚举的搜索空间（例如，分子）。这里，DAE通过将输入映射到连续的潜在空间中，可以更容易地应用熟悉的贝叶斯优化工具，从而大大简化了搜索空间。尽管这种简化，潜在空间通常仍然是高维的。因此，即使有一个非常合适的潜在空间，这些方法并不一定提供一个完整的解决方案，但可能会转移到一个高维的结构化优化问题。在本文中，我们提出了LOL-BO，它适应了最近的高维贝叶斯优化工作中探索的信任区域的概念结构化设置。通过将编码器重新公式化，使其既作为DAE的全局编码器，又作为信任区域内代理模型的深层内核，我们可以更好地将潜在空间中的局部优化概念与输入空间中的局部优化概念相结合。LOL-BO在六个真实世界的基准测试中实现了最先进的潜在空间贝叶斯优化方法的20倍改进，表明优化策略的改进与开发更好的DAE模型一样重要。
2023-02-22 cs.LG stat.ML
Structured Contrastive Learning for Interpretable Latent Representations
Department of Electrical and Electronic Engineering, Imperial College London（帝国理工学院伦敦电子与电气工程系）；Institute of Biomedical Engineering, Department of Engineering Science, University of Oxford（牛津大学生物医学工程研究所）
针对神经网络对语义无关变换的脆弱性问题，提出结构化对比学习（SCL）框架，将 latent 空间划分为不变、变体和自由特征组，实现鲁棒性与可解释性，在ECG和IMU任务上性能优于传统数据增强。
2025-11-18 cs.LG
StrEBM: A Structured Latent Energy-Based Model for Blind Source Separation
PolyU（理工学院）
本文提出StrEBM，一种结构化潜在能量模型，用于源级结构化表示学习。通过盲源分离作为测试平台，验证了潜在维度向不同底层组件演化的有效性，并揭示了优化特性。
2026-04-19 cs.LG stat.ML
Structured Noise Adaptation for Sequential Bayesian Filtering with Embedded Latent Transfer Operators
The University of Osaka（大阪大学）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所革新智能综合研究中心（AIP））
针对ELTO卡尔曼滤波器噪声模型无法适应非平稳过程的问题，提出结构化噪声参数化方法，结合最优时不变噪声学习与动态参数自适应，提升时变噪声环境下的状态估计性能。
2026-06-15 cs.LG math.OC
Latent Semantic Learning with Structured Sparse Representation for Human Action Recognition
Peking University（北京大学）
本文提出了一种新的潜在语义学习方法，用于从大量具有结构化稀疏表示的丰富中级特征（即视觉关键字）的词汇中提取高级特征（即潜在语义），这有助于弥合人类动作识别这一具有挑战性的任务中的语义鸿沟。为了发现中间层特征的流形结构，我们开发了一种基于L1-图的潜在语义学习的谱嵌入方法，而不需要调整作为流形学习关键步骤的图构造的任何参数。更重要的是，我们构建了L1-图的结构化稀疏表示，这可以通过结构化稀疏编码与新的L1-范数超图正则化确保其结构化稀疏性的中层功能。在新的嵌入空间中，我们通过谱聚类从丰富的中层特征中自动学习潜在语义。通过定义直方图交集核，学习的潜在语义可以很容易地用于SVM的人体动作识别。与传统的基于主题模型的潜在语义分析方法不同，本文提出的潜在语义学习方法可以在L1图构建和谱嵌入两个方面探索中间层特征的流形结构，从而得到紧凑但具有区分力的高层特征。在常用的KTH动作数据集和无约束的YouTube动作数据集上的实验结果表明了该方法的优越性能。
2011-09-23 cs.AI cs.LG cs.MM
Structured Latent Dynamics in Wireless CSI via Homomorphic World Models
Engineering Division, New York University (NYU), Abu Dhabi, UAE.（纽约大学阿布扎克分校工程系）；Center for Wireless Communications, University of Oulu, Finland.（奥卢大学无线通信中心）；NYU WIRELESS, NYU Tandon School of Engineering, New York, USA.（纽约大学无线技术实验室，纽约大学坦顿工程学院）
本文提出一种自监督框架，通过建模CSI的时间演变，在紧凑的潜在空间中学习无线信道的预测和结构化表示，利用JEPA学习动作条件的潜在动态，通过同态更新提升几何一致性和组合性，实验表明其在保持拓扑和预测未来嵌入方面优于基线方法。
2026-03-20 cs.LG eess.SP
BRICKS-WM: Building Reusability via Interface Composition Kinetics for Structured World Models
National Key Laboratory for Novel Software Technology, Nanjing University, China（南京大学计算机软件新技术国家重点实验室）；School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院）；School of Intelligence Science and Technology, Nanjing University, China（南京大学智能科学与技术学院）
提出BRICKS-WM框架，将全局动力学分解为通过潜在接口交互的独立模块（如智能体和背景），实现冻结背景模块跨智能体重用，避免从头训练。
2026-06-16 cs.LG
Structured Bayesian Gaussian process latent variable model: applications to data-driven dimensionality reduction and high-dimensional inversion
University of Notre Dame（圣母大学）
我们介绍了一种方法，使用变分贝叶斯方法的未知量是一个空间领域的非线性反问题。一个结构化的贝叶斯高斯过程潜变量模型被用来构建一个低维的生成模型的基于样本的随机先验以及替代的前向评估。它的贝叶斯公式捕捉有限数量的输入和输出的例子引入的认知不确定性，自动选择一个适当的维数为学习的潜在表示的数据，并严格传播的不确定性的数据驱动的降维的随机空间通过前向模型代理。结构化的高斯过程模型明确地利用空间信息进行信息生成，从而提高样本效率，同时通过相关核矩阵的克罗内克积分解实现计算易处理性。重要的是，贝叶斯反演是通过求解变分优化问题来进行的，取代了传统的计算昂贵的蒙特卡罗采样。该方法被证明在椭圆型偏微分方程，并返回校准后验，是易于处理的潜在空间超过100个维度。
2018-07-11 cs.LG stat.ML
Stable Long-Horizon PDE Forecasting via Latent Structured Spectral Propagators
School of AIA, Huazhong University of Science and Technology（华中科技大学人工智能学院）
本文提出一种神经预测框架，通过在传播导向的潜在空间中学习结构化谱传播器（SSP），以解决传统传播器在长时域预测中的误差累积和动态漂移问题，实验表明SSP在减少相对L2误差和提升时间外推稳定性方面表现优异。
2026-05-11 cs.LG
Learning Task-Sufficient World Models by Synergizing Agentic Exploration and Structured Modeling
UCSD（加州大学圣地亚哥分校）；MBZUAI（Mubarakzai Institute of Artificial Intelligence）；CMU（卡内基梅隆大学）；UBC（不列颠哥伦比亚大学）
研究如何让智能体学习特定于任务、最小且足以决策的世界模型表示，通过智能体与世界模型闭环协同，智能体主动探索收集信息轨迹，世界模型学习结构化表示，提升样本效率和泛化能力。
2026-07-07 cs.LG
Amortized Structured Stochastic Variational Inference for Gaussian Process Latent Variable Models
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Imperial College London（帝国理工学院）；University of Technology Nuremberg (UTN)（纽伦堡工业大学）；Helmholtz AI（亥姆霍兹人工智能中心）；Xyme
本文针对高斯过程潜变量模型中平均场变分近似限制不确定性估计的问题，提出摊销结构化随机变分推断，使潜空间后验条件依赖于诱导点，从而改善流形重建指标。
2026-10-14 cs.LG stat.ML
NP-DRAW: A Non-Parametric Structured Latent Variable Model for Image Generation
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；NVIDIA（英伟达）；Canadian Institute for Advanced Research（加拿大高等研究院）
在本文中，我们提出了一个非参数结构化的潜变量模型的图像生成，称为NP-DRAW，它顺序地绘制在一个潜在的画布上的一部分一部分的方式，然后从画布上解码的图像。我们的主要贡献如下。1)我们提出了一个非参数先验分布的图像部分的外观，使每一步的潜在变量“什么画”成为一个分类的随机变量。与文献中使用的高斯算法相比，这提高了表达能力并大大简化了学习。2)我们通过Transformer对零件的顺序依赖结构进行建模，与文献中使用的RNN相比，Transformer更强大且更容易训练。3)我们提出了一个有效的启发式解析算法来预训练先验。MNIST，Omniglot，CIFAR-10和CelebA上的实验表明，我们的方法显着优于以前的结构化图像模型，如DRAW和AIR，并具有竞争力的其他通用生成模型。此外，我们表明，我们的模型的固有的组合性和可解释性带来了显着的好处，在低数据的学习制度和潜在的空间编辑。代码可在https://github.com/ZENGXH/NPDRAW上获得。
2021-07-04 cs.CV cs.LG
Fast Compressive Sensing Recovery Using Generative Models with Structured Latent Variables
Georgia Institute of Technology（佐治亚理工学院）
深度学习模型显著提高了压缩感知恢复的视觉质量和准确性。在本文中，我们提出了一种算法，从压缩测量与图像先验捕获的生成模型的信号重建。我们搜索和约束的潜变量空间，使该方法稳定的压缩测量的数量是非常有限的。我们表明，通过利用某些结构的潜变量，所提出的方法产生改进的重建精度，并保留现实和非光滑的图像特征。该算法通过在原始信号空间和隐变量空间之间进行交替投影，实现了较高的计算速度。
2020-03-19 cs.CV cs.LG stat.ML
BeliefGraph-JEPA: Structured Latent World Models for Action-Conditioned Time Series
Carnegie Mellon University（卡内基梅隆大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Stevens Institute of Technology（史蒂文斯理工学院）
针对动作条件时间序列预测，提出BeliefGraph-JEPA结构化潜在世界模型，通过类型化潜在效应状态和图路由捕捉未来驱动因素影响，在四个多目标系统上优于多种基线。
2026-10-06 cs.AI cs.LG
Structured Latent Space Modeling over Multi-Scale Temporal Patches for Multivariate Time Series Forecasting
School of Computing and Data Science, The University of Hong Kong（香港大学计算与数据科学学院）；Innovation Engineering College, Macau University of Science and Technology（澳门科技大学创新工程学院）
研究针对多元时间序列预测，提出基于卷积神经网络的M2Patch架构，通过多尺度切片、深度可分离卷积等提取特征并压缩成潜表示，利用尺度内和尺度间约束组织潜空间，在多个基准测试中成绩优异。
2026-08-20 cs.AI cs.LG
Structured Recognition for Generative Models with Explaining Away
Institute of Cognitive Neuroscience（认知神经科学研究所）；Gatsby Computational Neuroscience Unit（盖茨比计算神经科学研究组）；UCL（伦敦大学学院）
无监督学习的一个关键目标是超越密度估计和样本生成，以揭示观察数据中固有的结构。这种结构可以通过概率图形模型捕获的解释性潜在变量之间的交互模式来表达。尽管结构化图形模型的学习有着悠久的历史，但最近在无监督建模方面的许多工作都强调了灵活的基于深度网络的生成，要么将独立的潜在生成器转换为复杂数据的模型，要么假设不同的观测变量来自不同的潜在节点。在这里，我们扩展摊销变分推理，将结构化的因素在多个变量，能够捕捉观察诱导的后验依赖性的结果从“解释”的潜伏期，从而允许复杂的观察依赖于多个节点的结构化图。我们表明，适当的参数化因素可以有效地结合在丰富的图形结构的变化的消息传递。我们在非线性高斯过程因子分析中实例化该框架，使用来自已知生成过程的合成数据评估结构化识别框架。我们拟合的GPFA模型的高维神经尖峰数据从海马体的自由移动的啮齿动物，该模型成功地识别出潜在的信号，与行为协变量。
2022-11-10 cs.LG q-bio.NC
Latent Structured Ranking
Google（谷歌）
许多潜在的（因子分解）模型已经被提出用于推荐任务，如协同过滤和排名任务，如文档或图像检索和注释。所有这些方法的共同点是，在推理过程中，项目通过其与潜在嵌入空间中的查询的相似性来独立评分。排名列表的结构（即考虑作为整体返回的项目集）不被考虑。这可能是一个问题，因为顶级预测集可能过于多样化（包含相互矛盾的结果）或不够多样化。在本文中，我们介绍了一种用于学习潜在结构化排名的方法，该方法通过在排名列表的顶部提供正确的预测组合来改进现有方法。特别强调的是，使这种方法可扩展。在大规模图像标注和音乐推荐任务上的实验结果显示了对现有方法的改进。
2012-10-16 cs.IR cs.LG stat.ML
Structured Nonparametric Variational Inference for Dependent Latent Modeling
Department of Statistics, University of Virginia（弗吉尼亚大学统计系）；Department of Biostatistics, Yale University（耶鲁大学生物统计学系）
提出结构化非参数变分推断（SN-VI），利用多元样条技术建模后验分布中潜变量的复杂依赖关系，无需均值场假设，具有理论保证和自动依赖发现能力，在计算机视觉和空间转录组学中表现优异。
2026-06-16 cs.LG stat.ML
Towards an Interpretable Latent Space in Structured Models for Video Prediction
Indian Institute of Technology Delhi（印度理工学院德里分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们专注于未来帧预测视频的任务由底层的物理动力学。我们使用以对象为中心的模型，即，显式地使用对象表示，并在潜在空间中传播损失。具体来说，我们的研究建立在Kipf等人最近的工作基础上。\cite{kipf&al20}，它通过使用图神经网络对潜在空间中的对象交互进行对比学习来预测下一个状态。我们认为，在模型中注入明确的归纳偏差，以一般物理定律的形式，不仅有助于使模型更具可解释性，而且还可以提高模型的整体预测。作为一个自然的副产品，我们的模型可以学习与图像中的实际对象位置非常相似的特征图，而无需在训练时对对象位置进行任何明确的监督。在与早期的作品\cite{jaques&al20}，它假定了一个完整的知识的动力学管理的运动的形式的物理引擎，我们只依赖于知识的一般物理定律，如，世界由物体，其中有位置和速度。我们提出了一个额外的解码器为基础的像素空间中的损失，施加在课程的方式，以进一步完善潜在的空间预测。在多个不同设置中的实验表明，虽然Kipf等人的模型在捕获对象交互方面是有效的，但我们的模型在定位对象方面可以更有效，从而在我们实验的4个领域中的3个领域中提高了性能。此外，我们的模型可以学习高度不可解释的特征图，类似于实际的对象位置。
2021-07-16 cs.LG
Relational VAE: A Continuous Latent Variable Model for Graph Structured Data
ETH Zurich（苏黎世联邦理工学院）
图网络（GN）使先验知识和关系推理与灵活的函数近似相融合。在这项工作中，提出了一个通用的GN为基础的模型，充分利用GN的关系建模能力，并将其扩展到概率建模与变分贝叶斯（VB）。为此，我们结合VB的图形数据的互补的预先存在的方法，并提出了一种方法，依赖于图形结构的潜在和条件变量。它表明，神经过程也可以通过所提出的模型的镜头。我们展示了模拟和真实风电场监测数据的结构化概率密度建模问题上的应用，以及模拟高斯过程数据的元学习。我们发布源代码以及模拟数据集。
2021-06-30 cs.CE cs.LG stat.ML
Learning Structured Latent Factors from Dependent Data:A Generative Model Framework from Information-Theoretic Perspective
Mila（米拉）；Université de Montréal（蒙特利尔大学）；Preferred Networks Inc.（优选网络公司）
学习具有所需结构属性的多变量数据的可控和可推广的表示仍然是机器学习中的基本问题。在本文中，我们提出了一个新的框架，学习生成模型与各种潜在的空间结构。我们以掩码变量的形式表示归纳偏差，以在图模型中对依赖结构进行建模，并扩展了多元信息瓶颈理论来执行它。我们的模型提供了一种原则性的方法来学习一组语义上有意义的潜在因素，这些因素反映了各种类型的期望结构，如捕获相关性或编码不变性，同时还提供了根据数据自动估计依赖性结构的灵活性。我们表明，我们的框架统一了许多现有的生成模型，可以应用于各种任务，包括多模态数据建模，算法公平性，不变的风险最小化。
2020-10-02 cs.LG stat.ML
Causal Discovery with Mixed Latent Confounding via Precision Decomposition
Vanderbilt University Medical Center（范德比尔特大学医学中心）；Johns Hopkins University（约翰霍普金斯大学）；MD Anderson Cancer Center（MD安德森癌症中心）
DCL-DECOR通过精度分解分离混合潜在混淆，有效恢复因果图结构并提高有向边识别精度。
2025-12-31 cs.LG
Federated Variational Inference Methods for Structured Latent Variable Models
Queensland University of Technology（昆士兰科技大学）
本文提出了一种面向联邦学习场景的结构化变分推断方法，并给出通信高效的 FedAvg 式变体，通过实验验证了其在分层贝叶斯神经网络和主题模型上的有效性。
2023-07-07 cs.LG stat.CO stat.ME
Neighbour-Driven Gaussian Process Variational Autoencoders for Scalable Structured Latent Modelling
Department of Computer Science, University of Manchester, Manchester, UK（计算机科学系，曼彻斯特大学，曼彻斯特，英国）
提出邻居驱动的近似策略，利用潜空间局部邻接关系实现可扩展的GPVAE推理，在保留依赖性的同时减少诱导点需求，并在多项任务中优于其他GPVAE变体。
2025-08-15 cs.LG stat.ML
Causal Inference using Gaussian Processes with Structured Latent Confounders
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Massachusetts Institute of Technology（麻省理工学院）
潜在混杂因素-影响治疗和结果的未观察到的变量-可以使因果效应的估计产生偏差。在某些情况下，这些混杂因素在观察中是共享的，例如，除了他们单独接受的任何教育干预外，所有参加课程的学生都受到课程难度的影响。本文介绍了如何半参数模型的潜在混杂因素，具有这种结构，从而提高因果效应的估计。关键的创新是一个分层贝叶斯模型，高斯过程与结构化的潜在混杂因素（GP-SLC），和一个蒙特卡罗推理算法，该模型的基础上，椭圆切片采样。GP-SLC提供了个体处理效应的原则性贝叶斯不确定性估计，对与混杂因素、协变量、治疗和结局相关的函数形式进行了最小假设。最后，本文表明，GP-SLC是竞争力或更准确的比广泛使用的因果推断技术的三个基准数据集，包括婴儿健康与发展计划和数据集显示的影响，不断变化的温度对全州的能源消耗在新英格兰。
2020-07-14 cs.LG stat.ME stat.ML
Encoding Domain Knowledge in Multi-view Latent Variable Models: A Bayesian Approach with Structured Sparsity
German Cancer Research Center (DKFZ)（德国癌症研究中心（DKFZ））；German Cancer Consortium (DKTK)（德国癌症联盟（DKTK））；Goethe University Frankfurt（法兰克福歌德大学）；Frankfurt Cancer Institute（法兰克福癌症研究所）
许多真实世界的系统不仅由来自单个源的数据描述，而且还通过多个数据视图来描述。例如，在基因组医学中，患者可以通过来自不同分子层的数据来表征。具有结构化稀疏性的潜变量模型是一种常用的工具，用于解开数据视图内和跨数据视图的变化。然而，它们的可解释性是繁琐的，因为它需要领域专家对每个因素进行直接检查和解释。在这里，我们提出了MuVI，一种新的多视图隐变量模型的基础上修改马蹄先验建模结构稀疏。这有利于有限的和嘈杂的领域知识的结合，从而允许以固有的可解释的方式对多视图数据进行分析。我们证明了我们的模型（i）在重建误差和精度/召回方面优于最先进的结构化稀疏建模方法，（ii）以特征集的形式稳健地集成了噪声领域的专业知识，（iii）促进了因素的可识别性，（iv）推断出癌症患者真实世界多视图数据集中可解释的和生物学上有意义的变异轴。
2023-03-15 cs.AI cs.LG stat.ML
Latent Composite Likelihood Learning for the Structured Canonical Correlation Model
University College London（伦敦大学学院）
潜变量模型用于估计仅在达到某个测量误差时可观察的感兴趣量的变量。在许多研究中，这些变量是已知的，但不能精确量化（如社会科学和市场营销中的“工作满意度”，教育测试中的“分析能力”，或经济学中的“通货膨胀”）。这导致了测量工具的发展，以记录诸如调查、测试和价格指数等未观察到的变量的嘈杂的间接证据。在这样的问题中，有假设的潜在变量和给定的测量模型。与此同时，其他未预见的潜在变量可能会给观测变量增加进一步的未测量混杂。问题是如何处理未预见的潜在变量。在本文中，我们提供了一种方法松散的典型相关的启发，利用背景信息的“已知”的潜变量。给定一个部分指定的结构，它提供了一种结构学习方法来检测“未知的未知数”，潜在的无限多其他潜在变量的混淆效果。这是在没有明确建模这些额外的潜在因素的情况下完成的。由于问题的特殊结构，我们能够利用复合似然拟合的新变化来有效地学习这种结构。验证提供了合成数据的实验和对联合王国国家保健服务的100 000多名工作人员进行的大型调查的分析。
2012-10-16 cs.LG stat.ML
Capturing Actionable Dynamics with Structured Latent Ordinary Differential Equations
Stanford University（斯坦福大学）；KAUST（阿卜杜拉国王科技大学）；Microsoft Research（微软研究院）；Duke University（杜克大学）
具有黑箱模型的动态系统的端到端学习，例如神经常微分方程（ODE），提供了一个灵活的框架，用于从数据中学习动态，而无需为动态指定数学模型。不幸的是，这种灵活性是以理解动力系统为代价的，常微分方程在动力系统中被广泛使用。此外，实验数据在各种条件（输入）下收集，例如处理，或以某种方式分组，例如子群体的一部分。了解这些系统输入对系统输出的影响对于建立任何有意义的动态系统模型至关重要。为此，我们提出了一个结构化的潜在ODE模型，明确捕捉系统输入的变化，其潜在的代表。建立在一个静态的潜在变量规范，我们的模型学习（独立）的随机因素的变化，为每个输入到系统，从而分离的影响，系统输入的潜在空间。这种方法通过控制新的输入组合（或扰动）的时间序列数据的生成，提供了可操作的建模。此外，我们提出了一个灵活的方法来量化的不确定性，利用分位数回归制定。在具有挑战性的生物数据集上的结果显示，在观测数据的受控生成和有生物意义的系统输入的推断方面，与竞争性基线相比，有一致的改进。
2022-06-17 cs.LG stat.ML
Latent variable model for high-dimensional point process with structured missingness
Aalto University（阿尔托大学）；University of Southern Denmark（南丹麦大学）
本文提出一种结合高斯过程与变分自编码器的潜变量模型，可同时处理高维纵向数据中的结构化缺失和未知随机测量时间点，并通过可扩展的摊销变分推断实现高效训练，在模拟与真实数据上表现优异。
2024-06-28 cs.LG stat.ML
Structured Reordering for Modeling Latent Alignments in Sequence Transduction
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
尽管在许多领域取得了成功，但神经模型在训练和测试示例来自不同分布的环境中挣扎。特别地，与人类相反，常规的序列到序列（seq 2seq）模型不能系统地概括，即，解释表示概念的新颖组合的句子（例如，文本段）在训练中看到的。传统的语法形式主义通过隐式编码输入和输出段之间的对齐在这种设置中表现出色，但难以扩展和维护。而不是工程的语法，我们直接建模段到段的对齐作为离散的结构化的潜变量在神经seq 2seq模型。为了有效地探索大空间的比对，我们引入了一个重排序的第一次，稍后的框架，其中心组件是一个神经重排序模块产生{ \it可分离}排列。我们提出了一个有效的动态规划算法进行精确的边际推理的可分离排列，从而使我们的模型的端到端的可微训练。所得到的seq 2seq模型在合成问题和NLP任务上表现出比标准模型更好的系统泛化（即，语义解析和机器翻译）。
2021-10-26 cs.CL cs.LG
Return of the Latent Space COWBOYS: Re-thinking the use of VAEs for Bayesian Optimisation of Structured Spaces
School of Mathematical Sciences, Lancaster University, UK（数学科学学院，兰卡斯特大学）；Department of Applied Maths and Theoretical Physics, University of Cambridge, UK（应用数学与理论物理系，剑桥大学）
本文提出将VAE生成模型与高斯过程代理模型解耦训练并通过贝叶斯更新规则结合的新方法，在受限评估预算下提升了分子优化中识别高潜力候选对象的能力。
2025-07-05 cs.LG stat.ML
AR-Flow VAE: A Structured Autoregressive Flow Prior Variational Autoencoder for Unsupervised Blind Source Separation
Hong Kong Polytechnic University（香港理工大学）；Wuhan University of Technology（武汉理工大学）；The University of Hong Kong（香港大学）
本文提出AR-Flow VAE，通过自回归流先验提升潜变量建模灵活性，有效捕捉复杂非高斯行为和结构依赖，验证了其在盲源分离中的有效性。
2026-03-18 cs.LG stat.ML
LanteRn: Latent Visual Structured Reasoning
Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；Carnegie Mellon University（卡内基梅隆大学）
本文提出LanteRn框架，通过将语言与紧凑的潜在视觉表示结合，使大多模态模型能在潜在空间中进行视觉推理，提升视觉理解和细粒度推理能力。
2026-07-28 cs.CV cs.LG
Combining Latent Space and Structured Kernels for Bayesian Optimization over Combinatorial Spaces
Washington State University（华盛顿州立大学）
我们考虑优化组合空间的问题（例如，序列、树和图）使用昂贵的黑盒函数求值。例如，使用物理实验室实验优化药物设计的分子。贝叶斯优化（BO）是一个有效的框架，解决这类问题的智能选择高效用的输入引导学习代理模型。组合空间的最近BO方法是通过使用深度生成模型（DGMs）学习结构的潜在表示来在连续空间上减少BO。从连续空间中选择的输入被解码成离散结构，用于执行函数求值。然而，潜在空间上的代理模型仅使用由DGM学习的信息，其可能不具有期望的归纳偏差来近似目标黑盒函数。为了克服这个缺点，本文提出了一种称为LADDER的原则性方法。其关键思想是定义一个新的结构耦合内核，明确集成的结构信息解码结构与学习的潜在空间表示更好的代理建模。我们在真实世界的基准测试中的实验表明，LADDER显着改善了潜在空间上的BO方法，并且表现得更好或类似于最先进的方法。
2021-11-01 cs.AI cs.LG
Hyperbolic Latent Geometry for Tree-Structured Prototype Networks: A Local-vs-Global Trade-off
Harvard University（哈佛大学）
该研究在分层分类模型中，对比庞加莱球与欧氏空间作为树结构原型网络的潜在流形，发现双曲流形能更好保留近邻图拓扑，在局部检索任务上优于欧氏流形，为两类潜在几何提供经验区分。
2026-08-27 cs.AI cs.LG
Learning Structured Twin-Incoherent Twin-Projective Latent Dictionary Pairs for Classification
Soochow University（苏州大学）；Hefei University of Technology（合肥工业大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Nanjing University of Information Science and Technology（南京信息工程大学）
在本文中，我们扩展流行的字典对学习（DPL）的情况下，双投射潜在灵活的DPL下的结构化双不一致。在技术上，提出了一种新的框架称为双投影潜在灵活DPL（TP-DPL），它最大限度地减少了双非相干约束灵活放松重建误差，以避免可能的过拟合问题，并产生准确的重建。在这种情况下，我们的TP-DPL集成了基于双不相干的潜在灵活的DPL和联合嵌入的代码，以及显着特征的双投影到一个统一的模型中的自适应邻域保持的方式。因此，TP-DPL统一了显著特征提取，表示和分类。对代码和特征的孪生非相干约束可以显式地确保它们的高类内紧致性和类间分离性。TP-DPL还集成了自适应加权，以显式地保留每个类中系数和显著特征的局部邻域。为了提高效率，TP-DPL使用Frobenius范数，并放弃了昂贵的l0/l1范数用于组稀疏表示。另一个副产品是TP-DPL可以直接应用类特定的双投影重建残差来计算数据的标签。公共数据库上的大量结果表明，TP-DPL可以提供最先进的性能。
2019-08-21 cs.CV cs.LG
Informative GANs via Structured Regularization of Optimal Transport
Technical University of Munich（慕尼黑工业大学）
我们从正则化最优传输（OT）的角度来解决生成对抗网络（GANs）中的解纠缠表示学习的挑战。具体而言，平滑的OT损失引起潜在空间和数据空间之间的隐式传输计划。基于这一理论观察，我们利用一个结构化的正则化的运输计划，鼓励规定的潜在子空间是信息。这产生了一个新的信息OT为基础的GAN的配方。通过凸对偶，我们得到了等价的观点，这导致扰动地面成本有利于稀疏的信息潜在的尺寸。实际上，我们设计了一个稳定的训练算法，建议的信息GAN。我们的实验支持这一假设，即这种正规化有效地产生发现解开和可解释的潜在表示。我们的工作展示了一个正规化的OT框架的生成建模的背景下，通过其访问运输计划的潜在力量。在这方面还处理了进一步的挑战。
2019-12-04 cs.LG stat.ML
SEMASIA: A Large-Scale Dataset of Semantically Structured Latent Representations
Dept. Computer, Control and Management Engineering（计算机、控制与管理工程系）；Sapienza University of Rome（罗马大学西皮恩扎分校）；National Inter-University Consortium for Telecommunications (CNIT)（电信全国大学联合体（CNIT））；Dept. of Statistical Sciences（统计科学系）；Dept. of Information Engineering, Electronics, and Telecommunications（信息工程、电子与电信系）
SEMASIA通过收集1700多个预训练视觉模型的潜在表示，提供语义结构化的元数据，用于分析潜在空间组织、对齐映射基准测试及回归分析预训练数据复杂性与嵌入几何特性之间的关系。
2026-05-10 cs.LG stat.ML
StrTransformer: Source-Wise Structured Transformers for Unsupervised Blind Source Recovery
PolyU
提出StrTransformer框架，通过源向结构化Transformer分支和观测空间混合器直接优化潜在源矩阵，实现盲源恢复和分支潜在建模。
2026-05-25 cs.LG stat.ML
