Local Latent Space Bayesian Optimization over Structured Inputs
University of Pennsylvania（宾夕法尼亚大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；University College London（伦敦大学学院）；Massachusetts Institute of Technology（麻省理工学院）
深度自动编码器模型（DAE）的潜在空间上的贝叶斯优化最近已经成为一种有前途的新方法，用于在结构化、离散、难以枚举的搜索空间（例如，分子）。这里，DAE通过将输入映射到连续的潜在空间中，可以更容易地应用熟悉的贝叶斯优化工具，从而大大简化了搜索空间。尽管这种简化，潜在空间通常仍然是高维的。因此，即使有一个非常合适的潜在空间，这些方法并不一定提供一个完整的解决方案，但可能会转移到一个高维的结构化优化问题。在本文中，我们提出了LOL-BO，它适应了最近的高维贝叶斯优化工作中探索的信任区域的概念结构化设置。通过将编码器重新公式化，使其既作为DAE的全局编码器，又作为信任区域内代理模型的深层内核，我们可以更好地将潜在空间中的局部优化概念与输入空间中的局部优化概念相结合。LOL-BO在六个真实世界的基准测试中实现了最先进的潜在空间贝叶斯优化方法的20倍改进，表明优化策略的改进与开发更好的DAE模型一样重要。
2023-02-22 cs.LG stat.ML
StrEBM: A Structured Latent Energy-Based Model for Blind Source Separation
PolyU（理工学院）
本文提出StrEBM，一种结构化潜在能量模型，用于源级结构化表示学习。通过盲源分离作为测试平台，验证了潜在维度向不同底层组件演化的有效性，并揭示了优化特性。
2026-04-19 cs.LG stat.ML
Structured Bayesian Gaussian process latent variable model: applications to data-driven dimensionality reduction and high-dimensional inversion
University of Notre Dame（圣母大学）
我们介绍了一种方法，使用变分贝叶斯方法的未知量是一个空间领域的非线性反问题。一个结构化的贝叶斯高斯过程潜变量模型被用来构建一个低维的生成模型的基于样本的随机先验以及替代的前向评估。它的贝叶斯公式捕捉有限数量的输入和输出的例子引入的认知不确定性，自动选择一个适当的维数为学习的潜在表示的数据，并严格传播的不确定性的数据驱动的降维的随机空间通过前向模型代理。结构化的高斯过程模型明确地利用空间信息进行信息生成，从而提高样本效率，同时通过相关核矩阵的克罗内克积分解实现计算易处理性。重要的是，贝叶斯反演是通过求解变分优化问题来进行的，取代了传统的计算昂贵的蒙特卡罗采样。该方法被证明在椭圆型偏微分方程，并返回校准后验，是易于处理的潜在空间超过100个维度。
2018-07-11 cs.LG stat.ML
Amortized Structured Stochastic Variational Inference for Gaussian Process Latent Variable Models
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Imperial College London（帝国理工学院）；University of Technology Nuremberg (UTN)（纽伦堡工业大学）；Helmholtz AI（亥姆霍兹人工智能中心）；Xyme
本文针对高斯过程潜变量模型中平均场变分近似限制不确定性估计的问题，提出摊销结构化随机变分推断，使潜空间后验条件依赖于诱导点，从而改善流形重建指标。
2026-10-14 cs.LG stat.ML
Structured Nonparametric Variational Inference for Dependent Latent Modeling
Department of Statistics, University of Virginia（弗吉尼亚大学统计系）；Department of Biostatistics, Yale University（耶鲁大学生物统计学系）
提出结构化非参数变分推断（SN-VI），利用多元样条技术建模后验分布中潜变量的复杂依赖关系，无需均值场假设，具有理论保证和自动依赖发现能力，在计算机视觉和空间转录组学中表现优异。
2026-06-16 cs.LG stat.ML
Fast Compressive Sensing Recovery Using Generative Models with Structured Latent Variables
Georgia Institute of Technology（佐治亚理工学院）
深度学习模型显著提高了压缩感知恢复的视觉质量和准确性。在本文中，我们提出了一种算法，从压缩测量与图像先验捕获的生成模型的信号重建。我们搜索和约束的潜变量空间，使该方法稳定的压缩测量的数量是非常有限的。我们表明，通过利用某些结构的潜变量，所提出的方法产生改进的重建精度，并保留现实和非光滑的图像特征。该算法通过在原始信号空间和隐变量空间之间进行交替投影，实现了较高的计算速度。
2020-03-19 cs.CV cs.LG stat.ML
Neighbour-Driven Gaussian Process Variational Autoencoders for Scalable Structured Latent Modelling
Department of Computer Science, University of Manchester, Manchester, UK（计算机科学系，曼彻斯特大学，曼彻斯特，英国）
提出邻居驱动的近似策略，利用潜空间局部邻接关系实现可扩展的GPVAE推理，在保留依赖性的同时减少诱导点需求，并在多项任务中优于其他GPVAE变体。
2025-08-15 cs.LG stat.ML
Latent Composite Likelihood Learning for the Structured Canonical Correlation Model
University College London（伦敦大学学院）
潜变量模型用于估计仅在达到某个测量误差时可观察的感兴趣量的变量。在许多研究中，这些变量是已知的，但不能精确量化（如社会科学和市场营销中的“工作满意度”，教育测试中的“分析能力”，或经济学中的“通货膨胀”）。这导致了测量工具的发展，以记录诸如调查、测试和价格指数等未观察到的变量的嘈杂的间接证据。在这样的问题中，有假设的潜在变量和给定的测量模型。与此同时，其他未预见的潜在变量可能会给观测变量增加进一步的未测量混杂。问题是如何处理未预见的潜在变量。在本文中，我们提供了一种方法松散的典型相关的启发，利用背景信息的“已知”的潜变量。给定一个部分指定的结构，它提供了一种结构学习方法来检测“未知的未知数”，潜在的无限多其他潜在变量的混淆效果。这是在没有明确建模这些额外的潜在因素的情况下完成的。由于问题的特殊结构，我们能够利用复合似然拟合的新变化来有效地学习这种结构。验证提供了合成数据的实验和对联合王国国家保健服务的100 000多名工作人员进行的大型调查的分析。
2012-10-16 cs.LG stat.ML
Capturing Actionable Dynamics with Structured Latent Ordinary Differential Equations
Stanford University（斯坦福大学）；KAUST（阿卜杜拉国王科技大学）；Microsoft Research（微软研究院）；Duke University（杜克大学）
具有黑箱模型的动态系统的端到端学习，例如神经常微分方程（ODE），提供了一个灵活的框架，用于从数据中学习动态，而无需为动态指定数学模型。不幸的是，这种灵活性是以理解动力系统为代价的，常微分方程在动力系统中被广泛使用。此外，实验数据在各种条件（输入）下收集，例如处理，或以某种方式分组，例如子群体的一部分。了解这些系统输入对系统输出的影响对于建立任何有意义的动态系统模型至关重要。为此，我们提出了一个结构化的潜在ODE模型，明确捕捉系统输入的变化，其潜在的代表。建立在一个静态的潜在变量规范，我们的模型学习（独立）的随机因素的变化，为每个输入到系统，从而分离的影响，系统输入的潜在空间。这种方法通过控制新的输入组合（或扰动）的时间序列数据的生成，提供了可操作的建模。此外，我们提出了一个灵活的方法来量化的不确定性，利用分位数回归制定。在具有挑战性的生物数据集上的结果显示，在观测数据的受控生成和有生物意义的系统输入的推断方面，与竞争性基线相比，有一致的改进。
2022-06-17 cs.LG stat.ML
Latent variable model for high-dimensional point process with structured missingness
Aalto University（阿尔托大学）；University of Southern Denmark（南丹麦大学）
本文提出一种结合高斯过程与变分自编码器的潜变量模型，可同时处理高维纵向数据中的结构化缺失和未知随机测量时间点，并通过可扩展的摊销变分推断实现高效训练，在模拟与真实数据上表现优异。
2024-06-28 cs.LG stat.ML
Structured Coupling for Flow Matching
Imperial College London（帝国理工学院伦敦分校）
本文提出结构耦合用于流匹配（SCFM），通过引入结构化潜在变量和外源噪声，联合学习结构化先验和连续传输映射，实现无条件流模型，提升潜在表示学习能力。
2026-05-08 cs.LG
Return of the Latent Space COWBOYS: Re-thinking the use of VAEs for Bayesian Optimisation of Structured Spaces
School of Mathematical Sciences, Lancaster University, UK（数学科学学院，兰卡斯特大学）；Department of Applied Maths and Theoretical Physics, University of Cambridge, UK（应用数学与理论物理系，剑桥大学）
本文提出将VAE生成模型与高斯过程代理模型解耦训练并通过贝叶斯更新规则结合的新方法，在受限评估预算下提升了分子优化中识别高潜力候选对象的能力。
2025-07-05 cs.LG stat.ML
AR-Flow VAE: A Structured Autoregressive Flow Prior Variational Autoencoder for Unsupervised Blind Source Separation
Hong Kong Polytechnic University（香港理工大学）；Wuhan University of Technology（武汉理工大学）；The University of Hong Kong（香港大学）
本文提出AR-Flow VAE，通过自回归流先验提升潜变量建模灵活性，有效捕捉复杂非高斯行为和结构依赖，验证了其在盲源分离中的有效性。
2026-03-18 cs.LG stat.ML
Latent Structured Ranking
Google（谷歌）
许多潜在的（因子分解）模型已经被提出用于推荐任务，如协同过滤和排名任务，如文档或图像检索和注释。所有这些方法的共同点是，在推理过程中，项目通过其与潜在嵌入空间中的查询的相似性来独立评分。排名列表的结构（即考虑作为整体返回的项目集）不被考虑。这可能是一个问题，因为顶级预测集可能过于多样化（包含相互矛盾的结果）或不够多样化。在本文中，我们介绍了一种用于学习潜在结构化排名的方法，该方法通过在排名列表的顶部提供正确的预测组合来改进现有方法。特别强调的是，使这种方法可扩展。在大规模图像标注和音乐推荐任务上的实验结果显示了对现有方法的改进。
2012-10-16 cs.IR cs.LG stat.ML
Relational VAE: A Continuous Latent Variable Model for Graph Structured Data
ETH Zurich（苏黎世联邦理工学院）
图网络（GN）使先验知识和关系推理与灵活的函数近似相融合。在这项工作中，提出了一个通用的GN为基础的模型，充分利用GN的关系建模能力，并将其扩展到概率建模与变分贝叶斯（VB）。为此，我们结合VB的图形数据的互补的预先存在的方法，并提出了一种方法，依赖于图形结构的潜在和条件变量。它表明，神经过程也可以通过所提出的模型的镜头。我们展示了模拟和真实风电场监测数据的结构化概率密度建模问题上的应用，以及模拟高斯过程数据的元学习。我们发布源代码以及模拟数据集。
2021-06-30 cs.CE cs.LG stat.ML
Informative GANs via Structured Regularization of Optimal Transport
Technical University of Munich（慕尼黑工业大学）
我们从正则化最优传输（OT）的角度来解决生成对抗网络（GANs）中的解纠缠表示学习的挑战。具体而言，平滑的OT损失引起潜在空间和数据空间之间的隐式传输计划。基于这一理论观察，我们利用一个结构化的正则化的运输计划，鼓励规定的潜在子空间是信息。这产生了一个新的信息OT为基础的GAN的配方。通过凸对偶，我们得到了等价的观点，这导致扰动地面成本有利于稀疏的信息潜在的尺寸。实际上，我们设计了一个稳定的训练算法，建议的信息GAN。我们的实验支持这一假设，即这种正规化有效地产生发现解开和可解释的潜在表示。我们的工作展示了一个正规化的OT框架的生成建模的背景下，通过其访问运输计划的潜在力量。在这方面还处理了进一步的挑战。
2019-12-04 cs.LG stat.ML
SEMASIA: A Large-Scale Dataset of Semantically Structured Latent Representations
Dept. Computer, Control and Management Engineering（计算机、控制与管理工程系）；Sapienza University of Rome（罗马大学西皮恩扎分校）；National Inter-University Consortium for Telecommunications (CNIT)（电信全国大学联合体（CNIT））；Dept. of Statistical Sciences（统计科学系）；Dept. of Information Engineering, Electronics, and Telecommunications（信息工程、电子与电信系）
SEMASIA通过收集1700多个预训练视觉模型的潜在表示，提供语义结构化的元数据，用于分析潜在空间组织、对齐映射基准测试及回归分析预训练数据复杂性与嵌入几何特性之间的关系。
2026-05-10 cs.LG stat.ML
StrTransformer: Source-Wise Structured Transformers for Unsupervised Blind Source Recovery
PolyU
提出StrTransformer框架，通过源向结构化Transformer分支和观测空间混合器直接优化潜在源矩阵，实现盲源恢复和分支潜在建模。
2026-05-25 cs.LG stat.ML
Latent Group Structured Multi-task Learning
University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）；University of British Columbia（不列颠哥伦比亚大学）
在多任务学习（MTL）中，我们通过联合训练各种任务来提高关键机器学习算法的性能。当任务数量较多时，对任务结构进行建模可以进一步细化任务关系模型。例如，通常可以基于元数据或通过简单的预处理步骤（如K-means）对任务进行分组。在本文中，我们提出了我们的群体结构的潜在空间多任务学习模型，它鼓励群体结构的任务定义的先验信息。我们使用交替最小化方法来学习模型参数。在合成和真实世界的数据集上进行了实验，显示了与单任务学习（每组分别训练）和其他MTL基线相比的竞争性能。
2020-11-24 cs.LG
Quantum-Structured World Models (QSWMs) for Predictive Latent Dynamics
Youngstown State University（扬斯敦州立大学）；Kent State University（肯特州立大学）；George Washington University（乔治·华盛顿大学）
本文提出量子结构化世界模型（QSWMs），研究量子启发结构对世界建模的作用，在基本元胞自动机上评估其变体，发现复值QSWM局部预测潜力良好但类密度矩阵变体存在长时序预测局限。
2026-08-07 cs.LG
Causal Inference using Gaussian Processes with Structured Latent Confounders
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Massachusetts Institute of Technology（麻省理工学院）
潜在混杂因素-影响治疗和结果的未观察到的变量-可以使因果效应的估计产生偏差。在某些情况下，这些混杂因素在观察中是共享的，例如，除了他们单独接受的任何教育干预外，所有参加课程的学生都受到课程难度的影响。本文介绍了如何半参数模型的潜在混杂因素，具有这种结构，从而提高因果效应的估计。关键的创新是一个分层贝叶斯模型，高斯过程与结构化的潜在混杂因素（GP-SLC），和一个蒙特卡罗推理算法，该模型的基础上，椭圆切片采样。GP-SLC提供了个体处理效应的原则性贝叶斯不确定性估计，对与混杂因素、协变量、治疗和结局相关的函数形式进行了最小假设。最后，本文表明，GP-SLC是竞争力或更准确的比广泛使用的因果推断技术的三个基准数据集，包括婴儿健康与发展计划和数据集显示的影响，不断变化的温度对全州的能源消耗在新英格兰。
2020-07-14 cs.LG stat.ME stat.ML
Encoding Domain Knowledge in Multi-view Latent Variable Models: A Bayesian Approach with Structured Sparsity
German Cancer Research Center (DKFZ)（德国癌症研究中心（DKFZ））；German Cancer Consortium (DKTK)（德国癌症联盟（DKTK））；Goethe University Frankfurt（法兰克福歌德大学）；Frankfurt Cancer Institute（法兰克福癌症研究所）
许多真实世界的系统不仅由来自单个源的数据描述，而且还通过多个数据视图来描述。例如，在基因组医学中，患者可以通过来自不同分子层的数据来表征。具有结构化稀疏性的潜变量模型是一种常用的工具，用于解开数据视图内和跨数据视图的变化。然而，它们的可解释性是繁琐的，因为它需要领域专家对每个因素进行直接检查和解释。在这里，我们提出了MuVI，一种新的多视图隐变量模型的基础上修改马蹄先验建模结构稀疏。这有利于有限的和嘈杂的领域知识的结合，从而允许以固有的可解释的方式对多视图数据进行分析。我们证明了我们的模型（i）在重建误差和精度/召回方面优于最先进的结构化稀疏建模方法，（ii）以特征集的形式稳健地集成了噪声领域的专业知识，（iii）促进了因素的可识别性，（iv）推断出癌症患者真实世界多视图数据集中可解释的和生物学上有意义的变异轴。
2023-03-15 cs.AI cs.LG stat.ML
LIT-LVM: Structured Regularization for Interaction Terms in Linear Predictors using Latent Variable Models
Department of Computer and Data Sciences（计算机与数据科学系）；Case Western Reserve University（凯斯西储大学）；Department of Mathematics and Computer Science（数学与计算机科学系）；Suffolk University（索尔福德大学）
LIT-LVM通过低维潜在变量模型对线性预测器中的交互项进行结构正则化，提升了预测精度并提供了特征的低维表示。
2026-02-03 cs.LG stat.ML
Patch-PODiff-ViT: Structured Latent Diffusion with Patchwise POD for Super-Resolution and Uncertainty Quantification
提出Patch-PODiff-ViT框架，使用分块本征正交分解（POD）定义固定线性正交基的潜在空间，结合Vision Transformer实现高效扩散，并通过线性解码器解析传播不确定性，在多个领域实现参数少、内存低且校准良好的超分辨率重建。
2026-07-01 cs.LG
Federated Variational Inference Methods for Structured Latent Variable Models
Queensland University of Technology（昆士兰科技大学）
本文提出了一种面向联邦学习场景的结构化变分推断方法，并给出通信高效的 FedAvg 式变体，通过实验验证了其在分层贝叶斯神经网络和主题模型上的有效性。
2023-07-07 cs.LG stat.CO stat.ME
SLRL: Structured Latent Representation Learning for Multi-view Clustering
Tongji University（同济大学）；Tianjin University（天津大学）
针对现有多视图聚类方法常忽略样本结构信息的问题，提出SLRL框架，通过学习公共潜在表示并构建k近邻图挖掘结构信息，在多个多视图数据集上取得了优于现有方法的聚类性能。
2024-07-11 cs.LG
Latent Semantic Learning with Structured Sparse Representation for Human Action Recognition
Peking University（北京大学）
本文提出了一种新的潜在语义学习方法，用于从大量具有结构化稀疏表示的丰富中级特征（即视觉关键字）的词汇中提取高级特征（即潜在语义），这有助于弥合人类动作识别这一具有挑战性的任务中的语义鸿沟。为了发现中间层特征的流形结构，我们开发了一种基于L1-图的潜在语义学习的谱嵌入方法，而不需要调整作为流形学习关键步骤的图构造的任何参数。更重要的是，我们构建了L1-图的结构化稀疏表示，这可以通过结构化稀疏编码与新的L1-范数超图正则化确保其结构化稀疏性的中层功能。在新的嵌入空间中，我们通过谱聚类从丰富的中层特征中自动学习潜在语义。通过定义直方图交集核，学习的潜在语义可以很容易地用于SVM的人体动作识别。与传统的基于主题模型的潜在语义分析方法不同，本文提出的潜在语义学习方法可以在L1图构建和谱嵌入两个方面探索中间层特征的流形结构，从而得到紧凑但具有区分力的高层特征。在常用的KTH动作数据集和无约束的YouTube动作数据集上的实验结果表明了该方法的优越性能。
2011-09-23 cs.AI cs.LG cs.MM
StructVAE: Tree-structured Latent Variable Models for Semi-supervised Semantic Parsing
Carnegie Mellon University（卡内基梅隆大学）
语义解析是将自然语言（NL）话语转换为形式意义表示（MR）的任务，其通常表示为树结构。用其对应的MR注释NL话语是昂贵且耗时的，因此标记数据的有限可用性通常成为数据驱动的监督模型的瓶颈。我们介绍了StructVAE，变分自动编码模型的半监督语义解析，学习既从有限数量的并行数据，并随时可用的未标记的NL话语。StructVAE将未标记数据中未观察到的潜在MR建模为树结构的潜在变量。在ATIS域上的语义解析和Python代码生成的实验表明，使用额外的未标记数据，StructVAE优于强监督模型。
2018-06-20 cs.CL cs.LG
Beta Process Non-negative Matrix Factorization with Stochastic Structured Mean-Field Variational Inference
Columbia University（哥伦比亚大学）；Adobe Research（Adobe研究院）；Adobe Systems Incorporated（奥多比系统公司）
Beta过程是潜在因子模型的标准非参数贝叶斯先验。本文对具有Poisson似然的Beta过程非负矩阵分解（NMF）模型给出了一个结构化的平均场变分推断算法。与非参数贝叶斯文献中研究较多的线性高斯模型不同，具有beta过程先验的NMF模型不具有共轭性。我们利用最近发展的随机结构平均场变分推断放松共轭约束，恢复近似变分分布中隐变量之间的依赖关系。仿真和实际算例的初步结果表明，该推理算法能够合理地恢复数据的隐藏结构。
2014-12-02 cs.LG stat.ML
Latent Relation Representations for Universal Schemas
University College London（伦敦大学学院）；University of Massachusetts at Amherst（马萨诸塞大学阿默斯特分校）
传统的关系抽取是在固定的、有限的目标模式中预测关系。完成此任务的机器学习方法需要手动注释，或者在远程监督的情况下，需要相同模式的现有结构化源。通过使用通用模式可以避免对现有数据集的需求：所有相关模式的联合（OpenIE中的表面形式谓词，以及预先存在的数据库模式中的关系）。该模式具有几乎无限的关系集（由于表面形式），并支持与现有结构化数据的集成（通过现有数据库的关系类型）。为了填充这样的模式的数据库，我们提出了一个家庭的矩阵分解模型，预测数据库元组和关系之间的亲和力。我们表明，这比传统的分类方法实现了更高的精度。更重要的是，通过同时操作在文本中观察到的关系和在先前存在的结构化数据库（如Freebase）中观察到的关系，我们能够以相互支持的方式对非结构化和结构化数据进行推理。通过这样做，我们的方法优于最先进的远程监控系统。
2013-01-28 cs.LG stat.ML
CASL-VAE: Learning Structured Latent Variables from Unpaired Data for Semi-supervised Clustering and Paired Sample Generation
针对缺乏配对数据及目标变异异质时现有方法的不足，提出CASL-VAE模型，它能从不配对数据学习结构化潜在因子，经变分推理实现相关优化，在半合成神经影像数据验证中表现良好，可用于半监督聚类、配对样本生成及揭示疾病异质性。
2026-07-10 cs.LG
A Structured Variational Auto-encoder for Learning Deep Hierarchies of Sparse Features
在这篇文章中，我们提出了一个自然图像的生成模型，该模型由深层的潜在随机变量层组成，每个变量都遵循一种新的分布类型，我们称之为整流高斯分布。这些整流高斯单位允许尖峰和板型稀疏，同时保留有效的随机梯度变分推断所需的可微性。为了学习新模型的参数，我们用变分自动编码器近似隐变量的后验。然而，编码器参数化了一种新型的结构化变分近似，而不是进行通常的平均场假设，该结构化变分近似保留了生成模型的先验依赖性。使用这种结构化的后验近似，我们能够对具有多层潜在随机变量的深度模型进行联合训练，而不必求助于堆叠或其他逐层训练过程。
2016-02-28 cs.LG stat.CO stat.ML
Supervised Learning of Random Neural Architectures Structured by Latent Random Fields on Compact Boundaryless Multiply-Connected Manifolds
Université Gustave Eiffel, MSME UMR 8208（法国埃菲尔大学MSME UMR 8208）
该研究提出了一种在紧致无边界多连通流形上由潜在随机场结构化的随机神经架构的监督学习框架，通过几何感知和场驱动的生成过程实现神经拓扑和突触权重的联合生成。
2025-12-11 cs.LG stat.ML
Structured Noise Adaptation for Sequential Bayesian Filtering with Embedded Latent Transfer Operators
The University of Osaka（大阪大学）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所革新智能综合研究中心（AIP））
针对ELTO卡尔曼滤波器噪声模型无法适应非平稳过程的问题，提出结构化噪声参数化方法，结合最优时不变噪声学习与动态参数自适应，提升时变噪声环境下的状态估计性能。
2026-06-15 cs.LG math.OC
Structured Latent Dynamics in Wireless CSI via Homomorphic World Models
Engineering Division, New York University (NYU), Abu Dhabi, UAE.（纽约大学阿布扎克分校工程系）；Center for Wireless Communications, University of Oulu, Finland.（奥卢大学无线通信中心）；NYU WIRELESS, NYU Tandon School of Engineering, New York, USA.（纽约大学无线技术实验室，纽约大学坦顿工程学院）
本文提出一种自监督框架，通过建模CSI的时间演变，在紧凑的潜在空间中学习无线信道的预测和结构化表示，利用JEPA学习动作条件的潜在动态，通过同态更新提升几何一致性和组合性，实验表明其在保持拓扑和预测未来嵌入方面优于基线方法。
2026-03-20 cs.LG eess.SP
Learning Interpretable PDE Representations for Generative Reconstructions with Structured Sparsity
Department of Civil \& Environmental Engineering, Duke University, NC, USA
本文提出LatentPDE框架，通过构建可解释的潜在空间，解决稀疏观测重建和超分辨率问题，实现高保真恢复与不确定性跟踪。
2026-04-26 cs.LG
Chart Auto-Encoders for Manifold Structured Data
Rensselaer Polytechnic Institute（伦斯勒理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
深度生成模型在图像和信号表示学习和生成方面取得了巨大的进步。这些模型采用全欧几里德空间或有界子集作为潜在空间，然而，其平坦几何通常过于简单，无法有意义地反映数据的流形结构。在这项工作中，我们提倡使用多图表潜在空间更好的数据表示。受微分几何的启发，我们提出了一个\textbf{Chart Auto-Encoder (CAE)}，并证明了一个关于其表示能力的通用逼近定理。我们表明，训练数据的大小和网络的大小规模指数的近似误差与指数依赖于数据流形的内在维度。CAE承认理想的多方面的属性，自动编码器与一个单位的潜在空间未能遵守，主要是接近的数据。我们进行了广泛的实验与合成和现实生活中的例子，以证明CAE提供重建高保真度，保留接近的潜在空间，并产生新的数据保持附近的流形。这些实验表明，CAE是优于现有的自动编码器和变种，通过保持数据流形的拓扑结构以及其几何形状。
2020-08-13 cs.LG stat.ML
Structured Latent Modeling for Supervised Multimodal Information Decomposition
University of Iowa（爱荷华大学）
提出一种结构化潜在建模框架，通过中间层对比/掩蔽目标、逐源归一化流和低秩潜在变量模型，分解多模态信息为共享、模态特定和无关部分，提升预测性能。
2026-09-29 cs.LG
Learning Discrete Structured Variational Auto-Encoder using Natural Evolution Strategies
Technion, IIT（以色列理工学院）；Meta AI Research（Meta人工智能研究院）
离散变分自动编码器（VAE）能够表示生成学习中的语义潜在空间。在许多现实生活中，离散的潜在空间由高维结构组成，并且通过相关结构传播梯度通常需要在指数级大的潜在空间上进行枚举。最近，设计了各种方法来传播近似梯度，而不枚举可能的结构的空间。在这项工作中，我们使用自然演化策略（NES），一类无梯度黑箱优化算法，学习离散结构VAE。NES算法在计算上是吸引人的，因为它们仅用前向通过评估来估计梯度，因此它们不需要通过其离散结构传播梯度。我们的经验表明，使用NES优化离散结构VAE是有效的梯度为基础的近似。最后，我们证明了NES收敛的非Lipschitz功能出现在离散结构的VAE。
2022-05-03 cs.LG cs.NE stat.ML
Latent Chain-of-Thought Improves Structured-Data Transformers
本文研究了链式思维对时间序列和表格数据的影响，并提出了一种递归方案，通过压缩查询位置的隐藏状态生成反馈标记，从而在预测前进行多次潜在计算，从而提升结构化数据转换器的性能。
2026-05-19 cs.LG
Sparsity regularization via tree-structured environments for disentangled representations
McGill University（麦吉尔大学）；Mila；Valence Labs（Valence实验室）；Université de Montréal（蒙特利尔大学）；Samsung - SAIT AI Lab（三星-SAIT人工智能实验室）
针对多相关环境下的因果表征学习问题，提出基于树结构的稀疏正则化方法TBR，利用环境间映射的稀疏变化约束识别潜在因果变量，在模拟和真实基因表达数据上均取得优于现有方法的效果。
2024-06-10 cs.LG stat.ML
Discriminative Embeddings of Latent Variable Models for Structured Data
Georgia Institute of Technology（佐治亚理工学院）
核分类器和回归器设计的结构化数据，如序列，树和图形，显着推进了一些跨学科领域，如计算生物学和药物设计。通常，预先为数据类型设计核，其利用结构的统计或利用概率生成模型，然后经由凸优化基于核学习判别分类器。然而，这种优雅的两阶段方法也限制了核方法扩展到数百万个数据点，并利用判别信息来学习特征表示。我们提出，structure2vec，一个有效的和可扩展的结构化数据表示方法的基础上嵌入潜变量模型到特征空间的想法，并学习这样的特征空间使用判别信息。有趣的是，structure2vec通过执行一系列函数映射来提取特征，其方式类似于图形模型推理过程，例如平均场和置信传播。在涉及数百万个数据点的应用程序中，我们发现structure2vec的运行速度快2倍，生成的模型小$10,000$倍，同时实现了最先进的预测性能。
2020-01-11 cs.LG
NP-DRAW: A Non-Parametric Structured Latent Variable Model for Image Generation
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；NVIDIA（英伟达）；Canadian Institute for Advanced Research（加拿大高等研究院）
在本文中，我们提出了一个非参数结构化的潜变量模型的图像生成，称为NP-DRAW，它顺序地绘制在一个潜在的画布上的一部分一部分的方式，然后从画布上解码的图像。我们的主要贡献如下。1)我们提出了一个非参数先验分布的图像部分的外观，使每一步的潜在变量“什么画”成为一个分类的随机变量。与文献中使用的高斯算法相比，这提高了表达能力并大大简化了学习。2)我们通过Transformer对零件的顺序依赖结构进行建模，与文献中使用的RNN相比，Transformer更强大且更容易训练。3)我们提出了一个有效的启发式解析算法来预训练先验。MNIST，Omniglot，CIFAR-10和CelebA上的实验表明，我们的方法显着优于以前的结构化图像模型，如DRAW和AIR，并具有竞争力的其他通用生成模型。此外，我们表明，我们的模型的固有的组合性和可解释性带来了显着的好处，在低数据的学习制度和潜在的空间编辑。代码可在https://github.com/ZENGXH/NPDRAW上获得。
2021-07-04 cs.CV cs.LG
BeliefGraph-JEPA: Structured Latent World Models for Action-Conditioned Time Series
Carnegie Mellon University（卡内基梅隆大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Stevens Institute of Technology（史蒂文斯理工学院）
针对动作条件时间序列预测，提出BeliefGraph-JEPA结构化潜在世界模型，通过类型化潜在效应状态和图路由捕捉未来驱动因素影响，在四个多目标系统上优于多种基线。
2026-10-06 cs.AI cs.LG
Large Scale Variational Bayesian Inference for Structured Scale Mixture Models
自然图像统计在多个尺度上表现出层次依赖性。在非阶乘潜在树模型中表示这样的先验知识可以大大提高图像去噪、修复、去卷积或重建的性能，超越标准阶乘“稀疏”方法。我们推导出一个大规模的近似贝叶斯推理算法的线性模型与非阶乘（潜在树结构）规模的混合先验。一系列去噪和修复问题的实验结果表明，大大提高了性能相比，MAP估计或推断与阶乘先验。
2012-06-27 cs.CV cs.LG stat.ML
PhyRestore: Physics-Structured Latent-Factor Restoration
Adams State University（亚当斯州立大学）
针对物理因子受损时土壤流失变化估计困难的问题，提出物理结构化潜在因子恢复框架PhyRestore，通过恢复受损因子并利用RUSLE物理关系重建变化，在流域尺度评估中优于退化估计及多种模型，但联合损坏下优势减弱。
2026-09-18 cs.LG
Classifier-pruned Bayesian optimization for particle accelerator tuning: Exploring temporally structured manifold of 6D beam phase space
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
针对粒子加速器调谐这一高维优化问题，提出CBOL-Tuner框架，集成条件变分自编码器、长短期记忆网络、轻量级神经网络及分类器剪枝贝叶斯优化器，可在6D束流相空间的时间结构潜在流形内高效探索。
2026-09-29 cs.LG
Structured Latent Space Modeling over Multi-Scale Temporal Patches for Multivariate Time Series Forecasting
School of Computing and Data Science, The University of Hong Kong（香港大学计算与数据科学学院）；Innovation Engineering College, Macau University of Science and Technology（澳门科技大学创新工程学院）
研究针对多元时间序列预测，提出基于卷积神经网络的M2Patch架构，通过多尺度切片、深度可分离卷积等提取特征并压缩成潜表示，利用尺度内和尺度间约束组织潜空间，在多个基准测试中成绩优异。
2026-08-20 cs.AI cs.LG
StrADiff: A Structured Source-Wise Adaptive Diffusion Framework for Linear and Nonlinear Blind Source Separation
PolyU
StrADiff通过结构化源级自适应扩散框架实现无监督盲源分离，无需监督标签或后处理，联合优化源生成、结构正则化和观测空间重构，展示在线性和非线性混合中的稳定性能。
2026-04-28 cs.LG cs.SD stat.ML
Structured Recognition for Generative Models with Explaining Away
Institute of Cognitive Neuroscience（认知神经科学研究所）；Gatsby Computational Neuroscience Unit（盖茨比计算神经科学研究组）；UCL（伦敦大学学院）
无监督学习的一个关键目标是超越密度估计和样本生成，以揭示观察数据中固有的结构。这种结构可以通过概率图形模型捕获的解释性潜在变量之间的交互模式来表达。尽管结构化图形模型的学习有着悠久的历史，但最近在无监督建模方面的许多工作都强调了灵活的基于深度网络的生成，要么将独立的潜在生成器转换为复杂数据的模型，要么假设不同的观测变量来自不同的潜在节点。在这里，我们扩展摊销变分推理，将结构化的因素在多个变量，能够捕捉观察诱导的后验依赖性的结果从“解释”的潜伏期，从而允许复杂的观察依赖于多个节点的结构化图。我们表明，适当的参数化因素可以有效地结合在丰富的图形结构的变化的消息传递。我们在非线性高斯过程因子分析中实例化该框架，使用来自已知生成过程的合成数据评估结构化识别框架。我们拟合的GPFA模型的高维神经尖峰数据从海马体的自由移动的啮齿动物，该模型成功地识别出潜在的信号，与行为协变量。
2022-11-10 cs.LG q-bio.NC
Contrastive Diffusion Alignment: Learning Structured Latents for Controllable Generation
Department of Psychiatry, Weill Cornell Medicine, New York, NY, USA（威立·科林斯医学中心精神科）；Department of Psychiatry, Stanford University, Stanford, CA, USA（斯坦福大学精神科）；Department of Neuroscience, University of Connecticut School of Medicine, Farmington, CT, USA（康涅狄格大学医学院神经科学系）
ConDA通过对比学习在扩散模型中学习结构化潜在空间，实现可控生成和动态解释。
2026-08-06 cs.LG
Structured Kernel Regression VAE: A Computationally Efficient Surrogate for GP-VAEs in ICA
Hong Kong Polytechnic University（香港理工大学）
为解决GP-VAE在独立成分分析中计算成本高的问题，提出SKR-VAE模型，通过避免核矩阵求逆在保持性能的同时显著提升计算效率。
2025-08-13 cs.LG stat.ML
Learning Abstract World Models with a Group-Structured Latent Space
ISAE-SUPAERO；ETH Zürich（瑞士联邦理工学院）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Microsoft Research AI for Science（微软研究院人工智能科学部）
该研究通过在低维表示流形上引入几何先验，改进了马尔可夫决策过程的抽象模型学习，从而提升有限数据下的泛化能力，并在具有旋转和翻译特征的环境中实现了更有效的强化学习任务学习。
2026-05-19 cs.LG
Graph Domain Adaptation: A Generative View
Guangdong University of Technology（广东工业大学）；National University of Singapore（新加坡国立大学）；Tencent Technology (SZ) Co., Ltd.（腾讯科技（深圳）有限公司）；Carnegie Mellon University（卡内基梅隆大学）
近年来，人们对图结构数据的深度学习产生了极大的兴趣。由于收集标记图结构数据的成本很高，领域自适应对于有限样本的有监督图学习任务很重要。然而，目前的图领域自适应方法通常是从传统的领域自适应任务中获得的，没有很好地利用图结构数据的特性。例如，在不同平台上观察到的社交网络不仅受不同人群或社区的控制，而且还受特定于域的策略和背景噪声的控制。基于图结构数据中的这些属性，我们首先假设图结构数据生成过程由三种独立类型的潜变量控制，即，语义潜变量、领域潜变量和随机潜变量。基于这一假设，我们提出了一种基于去纠缠的无监督领域自适应方法的图结构数据，该方法采用变分图自动编码器恢复这些潜在变量，并通过三个监督学习模块将它们去纠缠。在两个真实数据集上的实验结果表明，该方法不仅显著优于传统的领域自适应方法和基于解纠缠的领域自适应方法，而且优于最先进的图领域自适应算法.
2021-06-14 cs.LG
