Discriminative protein sequence modelling with Latent Space Diffusion
InstaDeep Ltd（英斯塔迪普公司）
提出潜在空间扩散架构，结合自编码器与扩散模型学习蛋白质表示，在判别任务上优于掩码语言模型基线，但不及掩码语言模型嵌入。
2025-03-24 cs.AI cs.LG
Modelling Latent Travel Behaviour Characteristics with Generative Machine Learning
Ryerson University（瑞尔森大学）
在本文中，我们实现了一个信息理论的方法，通过引入一个生成建模框架，以确定信息的潜在特征，在旅游决策的旅行行为分析。它涉及使用受限玻尔兹曼机（RBM）生成建模框架开发联合三方贝叶斯图形网络模型。我们将此框架应用于模式选择调查数据，以识别抽象潜变量，并将性能与具有特定潜偏好（安全性、舒适性和环境）的传统潜变量模型进行比较。在加拿大魁北克省的一项联合声明和显示偏好模式选择调查中收集的数据被用来校准RBM模型。结果表明，一个显着的影响模型的似然统计，并建议机器学习工具是非常适合建模复杂的网络条件独立的行为相互作用。
2018-09-15 cs.LG stat.ML
Discriminative conditional restricted Boltzmann machine for discrete choice and latent variable modelling
Ryerson University（瑞尔森大学）；Polytechnique Montréal（蒙特利尔高等理工学院）
估计潜在行为的传统方法通常使用主观的态度问题，并且这些调查问题可能并不总是可用的。我们假设，另一种方法可以用于潜变量估计通过无向图形模型。例如，非参数人工神经网络。在这项研究中，我们探索使用生成非参数建模方法来估计潜变量的先验选择分布，而无需传统的使用测量指标。一个受限制的玻尔兹曼机被用来表示潜在的行为因素，通过分析观察到的选择和解释变量之间的关系信息。该算法适用于离散选择场景中的潜在行为分析，我们使用一种图形化的方法来评估和理解估计参数向量值的语义含义。我们说明了我们的方法在金融工具选择数据集上，并对参数的敏感性和稳定性进行统计分析。我们的研究结果表明，通过非参数统计检验，我们可以提取有用的潜在信息的行为的潜在结构，通过机器学习方法，并提出强大的和显着的影响选择过程。此外，我们的建模框架通过采样和验证显示了输入可变性的鲁棒性。
2017-06-01 cs.LG
New Estimation Procedures for PLS Path Modelling
Laboratoire LISE-CEREMADE, Université de Paris IX Dauphine（巴黎第九大学多芬大学 LISE-CEREMADE 实验室）
给定R组的数值变量X1，. XR，我们假设每个组是一个潜在潜在变量的结果，并且所有潜在变量通过线性方程组绑定在一起。此外，我们假设一些解释性潜变量可能在一个或多个方程中成对相互作用。我们基本上考虑PLS路径建模的算法来估计潜在变量和模型的系数。新的“外部”估计方案，提出了一个更灵活的方式向强组结构的潜在变量。提出了新的“内部”估计方案，使PLSPM能够充分利用变量组互补性并处理相互作用。给出了应用实例。
2008-02-07 cs.LG
A Stable Variational Autoencoder for Text Modelling
University of Aberdeen（阿伯丁大学）；University of Sheffield（谢菲尔德大学）
变分自编码器（VAE）是一种学习高维数据表示的有效方法。然而，VAE可能会遇到一个被称为潜在变量崩溃（或KL损失消失）的问题，其中后验崩溃到先验，模型将忽略生成任务中的潜在代码。当采用VAE-RNN架构进行文本建模时，这样的问题特别普遍（Bowman等人，2016）。在本文中，我们提出了一个简单的架构称为整体正则化VAE（HR-VAE），它可以有效地避免潜在变量崩溃。与现有的VAE-RNN架构相比，我们表明我们的模型可以实现更稳定的训练过程，并且可以生成质量更好的文本。
2019-11-13 cs.CL cs.LG
Improving Variational Autoencoder for Text Modelling with Timestep-Wise Regularisation
University of Sheffield（谢菲尔德大学）；Utrecht University（乌得勒支大学）
变分自编码器（VAE）是一种流行的、功能强大的模型，用于文本建模以生成多样化的句子。然而，当VAE用于文本建模时，会发生称为后验崩溃（或KL损失消失）的问题，其中近似后验崩溃为先验，并且模型将完全忽略潜在变量，并且在文本生成期间退化为普通语言模型。当基于RNN的VAE模型用于文本建模时，这样的问题特别普遍。在本文中，我们提出了一种简单的通用架构，称为Timestep-Wise Regularisation VAE（TWR-VAE），它可以有效地避免后验崩溃，并可以应用于任何基于RNN的VAE模型。我们的模型的有效性和多功能性在不同的任务中得到了证明，包括语言建模和对话响应生成。
2020-11-03 cs.CL cs.LG
Arbitrage-Aware Probabilistic Multi-Step Forecasting of Implied Volatility Surfaces: Joint Generation of Surface-Return Trajectories Using Latent Diffusion
University of St.Gallen（圣加仑大学）
针对隐含波动率曲面的多步预测问题，提出条件潜在扩散框架，结合考虑套利的自编码器与扩散模型，在SPX数据集上生成逼真多步场景且点预测性能优于持续性基准。
2026-10-20 cs.LG q-fin.MF
A Generative Model for Natural Sounds Based on Latent Force Modelling
Queen Mary University of London（伦敦玛丽女王大学）
自然声音的子带振幅包络分析的最新进展已经导致令人信服的合成，显示子带振幅是感知的重要组成部分。概率潜变量分析特别具有启发性，但现有的方法不包含有关振幅包络的物理行为的先验知识，例如指数衰减和反馈。我们使用潜在的力量建模，概率学习范式，将物理知识纳入高斯过程回归，跨频谱子带包络模型的相关性。我们通过明确地对多个时间步长的相关性进行建模来增强标准的潜在力模型方法。对这种先验知识的阐述加强了对潜在函数作为产生信号的源的解释。我们通过一个实验来研究这种解释，该实验表明，从我们的概率模型中采样产生的声音被认为比基于非负矩阵分解的类似模型产生的声音更真实，即使在我们的模型从重建误差的角度来看表现出色的情况下。
2019-03-27 cs.LG cs.SD eess.AS
Latent Distribution Assumption for Unbiased and Consistent Consensus Modelling
Yandex（扬德克斯）
我们研究了聚集噪声标签的问题。通常，它是通过提出一个随机模型的过程中产生的噪声标签，然后估计模型参数使用观察到的噪声标签。先前引入的生成模型的一个传统假设是，每个对象都有一个潜在的真实标签。相比之下，我们引入了一个新的潜在分布假设，这意味着一个对象的唯一的真实标签可能不存在，而是每个对象可能有一个特定的分布生成一个潜在的主观标签每次观察对象。我们的实验表明，新的假设更适合于困难的任务，当有一个模糊的选择一个“真正的”标签为某些对象。
2019-06-20 cs.HC cs.LG stat.ML
Can a latent Hawkes process be used for epidemiological modelling?
Imperial College London（伦敦帝国理工学院）
了解COVID-19的传播一直是众多研究的主题，突出了可靠的流行病模型的重要性。在这里，我们介绍了一种新的流行病模型，使用时间协变量的潜在Hawkes过程建模的感染。与其他模型不同的是，我们通过由潜在的霍克斯过程驱动的概率分布对报告的病例进行建模。通过Hawkes过程对感染进行建模，使我们能够估计受感染个体被谁感染。我们提出了一个核密度粒子滤波器（KDPF）的推理的潜在情况下，再生数和预测的新情况下，在不久的将来。计算工作量与感染的数量成比例，使得可以使用粒子滤波器类型的算法，例如KDPF。我们在英国各地方当局的合成数据集和COVID-19报告病例上展示了所提出算法的性能，并将我们的模型与替代方法进行了基准测试。
2022-08-15 cs.LG q-bio.PE stat.ME
Deep Recurrent Modelling of Granger Causality with Latent Confounding
University College London（伦敦大学学院）
当无法进行干预时，推断观测时间序列数据中的因果关系是一项重要任务。Granger因果关系是一个流行的框架来推断不同时间序列之间的潜在因果机制。格兰杰因果关系的原始定义仅限于线性过程，并在存在潜在混淆因素的情况下导致虚假结论。在这项工作中，我们利用递归神经网络的表达能力，并提出了一种基于深度学习的方法，通过直接考虑潜在的混杂因素来建模非线性格兰杰因果关系。我们的方法利用多个递归神经网络来参数化预测分布，并且我们提出了使用双解码器设置来进行Granger测试的新方法。我们展示了非线性随机时间序列的模型性能，其中潜在的混淆因素影响不同时滞的因果关系;结果显示了我们的模型与现有基准相比的有效性。
2022-02-23 cs.LG stat.ME
Latent Variable Modelling Using Variational Autoencoders: A survey
概率分布允许从业者发现数据中隐藏的结构，并建立模型来使用有限的数据解决监督学习问题。本报告的重点是变分自编码器，一种学习大型复杂数据集概率分布的方法。该报告提供了一个理论上的理解变分自编码器，并巩固了目前的研究领域。该报告分为多个章节，第一章介绍了问题，描述了变分自编码器，并确定了该领域的关键研究方向。第2、3、4和5章深入讨论了每个关键研究领域的细节。第6章是报告的结论，并提出了今后工作的方向。对机器学习有基本了解但又想了解机器学习研究中一般主题的读者可以从本报告中受益。该报告解释了学习概率分布的中心思想，人们做了什么来使其易于处理，并详细介绍了深度学习目前如何应用。该报告也为那些希望为这个子领域做出贡献的人提供了一个温和的介绍。
2022-06-20 cs.AI cs.LG
Improving the Inference of Topic Models via Infinite Latent State Replications
Nanyang Technological University（南洋理工大学）；Universidad de los Andes（洛斯安第斯大学）；National University of Singapore（新加坡国立大学）
在文本挖掘中，主题模型是一种概率生成模型，用于从文本语料中推断潜在语义主题。主题模型最流行的推理方法之一可能是折叠吉布斯采样（CGS），它通常为每个观察到的文档-单词对采样一个主题标签。在本文中，我们的目的是改善CGS的主题模型的推理。我们建议利用状态增强技术，通过最大化的主题样本的数量为无穷大，然后开发一种新的推理方法，称为无限潜在状态复制（ILR），生成强大的软主题分配每个给定的文档词对。在公开数据集上的实验结果表明，ILR比CGS更适合于现有主题模型的推理。
2023-01-25 cs.AI cs.CL cs.LG
Shared latent subspace modelling within Gaussian-Binary Restricted Boltzmann Machines for NIST i-Vector Challenge 2014
Stel - Computer Systems Ltd.（Stel计算机系统有限公司）
提出了一种基于高斯-二元限制玻尔兹曼机（GRBM）的说话人子空间建模方法。该模型基于概率线性判别分析（PLDA）中的共享因子的思想。GRBM隐藏层分为扬声器和信道因子，其中扬声器因子在扬声器的所有向量上共享。然后，最大似然参数估计（MLE）的建议模型。提出了基于GRBM的说话人确认的各种新的评分技术。提供了NIST i-vector Challenge 2014数据集的结果。
2015-03-18 cs.LG cs.NE cs.SD
Towards modelling hazard factors in unstructured data spaces using gradient-based latent interpolation
LMU Munich（慕尼黑大学）
深度学习在生存分析（SA）中的应用允许利用传统生存方法中不常见的非结构化和高维数据类型。这使得数字健康、预测性维护和客户流失分析等领域的方法能够得到改进，但由于基于深度学习的方法的黑箱特性，通常会产生不太可解释和直观理解的模型。我们关闭这个差距，提出1）一个多任务的变分自编码器（VAE）的生存目标，产生面向生存的嵌入，和2）一种新的方法HazardWalk，允许在原始数据空间中的危险因素建模。HazardWalk将我们的自动编码器的潜在分布转换为最大化/最小化危险的区域，然后使用解码器将更改投射到原始域。我们的程序进行了评估模拟数据集以及肝转移瘤患者的CT成像数据的数据集。
2021-11-17 cs.LG
ShaLa: Multimodal Shared Latent Space Modelling
针对现有多模态方法易掩盖跨模态共享高级语义、多模态VAEs存在后验设计难和合成质量低的问题，提出ShaLa框架，通过新型架构推理模型和扩散先验提升推理与合成性能，在多基准上表现更优且可扩展至更多模态。
2025-08-24 cs.CV cs.LG
Neighbour-Driven Gaussian Process Variational Autoencoders for Scalable Structured Latent Modelling
Department of Computer Science, University of Manchester, Manchester, UK（计算机科学系，曼彻斯特大学，曼彻斯特，英国）
提出邻居驱动的近似策略，利用潜空间局部邻接关系实现可扩展的GPVAE推理，在保留依赖性的同时减少诱导点需求，并在多项任务中优于其他GPVAE变体。
2025-08-15 cs.LG stat.ML
Latent Neural PDE Solver: a reduced-order modelling framework for partial differential equations
Carnegie Mellon University（卡内基梅隆大学）；Naval Nuclear Laboratory（海军核实验室）
本文提出Latent Neural PDE Solver（LNS），通过非线性自编码器将PDE系统映射到粗离散潜空间并在其中进行时间演化预测，在单相与多相流等系统上实现了兼具精度与效率的降阶模拟。
2025-01-08 cs.AI cs.LG math.AP
Towards diffusion models for large-scale sea-ice modelling
CEREA；Ecole des Ponts（巴黎路桥学院）；EDF R&D（法国电力公司研发部）；Nansen Environmental and Remote Sensing Center（南森环境与遥感中心）
本文首次将潜扩散模型应用于北极海冰状态的无条件生成，通过截断高斯分布强制物理边界，在保持性能的同时改善边缘冰区表征，并指出平滑问题是未来关键挑战。
2024-07-22 cs.LG physics.ao-ph
Decentralized Topic Modelling with Latent Dirichlet Allocation
Télécom ParisTech（巴黎电信学院）；Université Paris-Saclay（巴黎萨克雷大学）；Technicolor（特艺集团）；INRIA（法国国家信息与自动化研究所）
隐私保护网络可以被建模为分散式网络（例如，传感器、连接的对象、智能电话），其中网络的节点之间的通信不由全知的中心节点控制。对于这种类型的网络，主要问题是收集/学习网络上的全局信息（例如，通过优化全局成本函数），同时保持每个节点处的（敏感）信息。在这项工作中，我们专注于代理不想共享的文本信息（例如，文本消息、电子邮件、机密报告）。我们使用分散优化和主题模型的最新进展来从有限通信的图中推断主题。我们提出了一种方法，以适应潜在的Dirichlet分配（LDA）模型分散优化和合成数据显示，我们仍然恢复类似的参数和类似的性能在每个节点比随机方法访问图中的整个信息。
2016-10-05 cs.LG stat.ML
Improving Topic Models with Latent Feature Word Representations
Macquarie University（麦考瑞大学）；Santa Fe Institute（圣塔菲研究所）
概率主题模型被广泛用于发现文档集合中的潜在主题，而词的潜在特征向量表示已被用于在许多NLP任务中获得高性能。在本文中，我们扩展了两个不同的Dirichlet多项式主题模型，通过将在非常大的语料库上训练的单词的潜在特征向量表示，以改善在较小的语料库上学习的单词-主题映射。实验结果表明，通过使用来自外部语料库的信息，我们的新模型产生了显着的改善主题一致性，文档聚类和文档分类任务，特别是在数据集少或短的文档。
2018-10-15 cs.CL cs.IR cs.LG
Dynamic causal discovery in Alzheimer's disease through latent pseudotime modelling
King’s College London（伦敦国王学院）
本文提出利用潜在伪时间模型对阿尔茨海默病进行动态因果发现，推断独立于年龄的疾病轨迹并学习因果关系的演变，在诊断预测上优于年龄，并揭示了新型与经典AD标志物间的动态交互。
2025-11-06 cs.CE cs.LG stat.AP
Statistical Latent Space Approach for Mixed Data Modelling and Applications
Center for Pattern Recognition and Data Analytics（模式识别与数据分析中心）；School of Information Technology, Deakin University（迪肯大学信息技术学院）；Institute for Multi-Sensor Processing and Content Analysis（多传感器处理与内容分析研究所）；Curtin University（科廷大学）
混合数据的分析一直在统计学和机器学习中提出挑战。两个最突出的挑战之一是开发新的统计技术和方法，以有效地处理混合数据，减少数据的异质性，尽量减少信息损失。另一个挑战是，当处理大量混合数据时，这些方法必须能够应用于大规模任务。为了解决这些挑战，我们引入参数共享和平衡扩展我们最近的模型，混合变量限制玻尔兹曼机（MV.RBM），它可以将异构数据转化为同质表示。我们还将结构化稀疏性和距离度量学习集成到基于RBM的模型中。我们所提出的方法适用于各种应用，包括潜在的病人的个人资料建模在医疗数据分析和表示学习图像检索。实验结果表明，该模型在医学数据中的性能优于基线方法，在图像数据集上的性能优于最先进的竞争对手。
2017-08-18 cs.LG stat.ML
Enhancing Continuous Time Series Modelling with a Latent ODE-LSTM Approach
Centre of Mathematics (CMAT)（数学中心（CMAT））；University of Minho（米尼奥大学）；University of Porto（波尔图大学）
针对连续时间序列建模中 Latent ODE 类模型训练困难的问题，本文提出以 ODE-LSTM 为编码器并结合梯度范数裁剪的 Latent ODE-LSTM，实验证明其性能更优且可缓解梯度消失与爆炸。
2023-07-11 cs.LG math.OC
Improving Fine-Tuning with Latent Cluster Correction
RIKEN Information R&D and Strategy Headquarters（理化学研究所信息研发与战略总部）；RIKEN（理化学研究所）
本文提出一种利用Louvain社区检测和聚类损失优化潜在聚类形成的微调方法，在CIFAR-100上验证了其提升分类准确率的可行性。
2025-01-21 cs.LG
Improving Sequential Latent Variable Models with Autoregressive Flows
California Institute of Technology（加州理工学院）；Simon Fraser University（西蒙弗雷泽大学）；University of California Irvine（加州大学欧文分校）
提出了一种基于自回归归一化流的序列建模方法。每个自回归变换，跨时间作用，作为一个移动的参考框架，消除时间相关性，并简化更高层次的动态建模。这种技术提供了一种简单的，通用的方法来改善序列建模，与现有的和经典的技术连接。我们证明了所提出的方法都与独立的基于流的模型，并作为一个组件内的顺序潜变量模型。结果在三个基准视频数据集上，其中基于自回归流的动态提高了基线模型的对数似然性能。最后，我们说明了去相关和改进的泛化性能，使用基于流的动态。
2022-03-08 cs.LG
HighwayGraph: Modelling Long-distance Node Relations for Improving General Graph Neural Network
Peking University（北京大学）；Tencent Inc（腾讯公司）
图神经网络是处理图结构数据的有效方法。建立长距离节点关系模型对于GNN的训练和应用至关重要。然而，由于有限层信息传播，传统的GNN在建模长距离节点关系时表现不佳。现有的研究主要集中在构建深度GNN架构上，这面临着过度平滑的问题，并且无法在特别长的距离上建模节点关系。为了解决这个问题，我们建议通过简单地依赖于浅GNN架构来建模长距离节点关系，有两种解决方案：（1）通过学习预测节点对关系来进行隐式建模（2）通过在可能具有相同标签的节点之间添加边来进行显式建模。为了结合我们的两种解决方案，我们提出了一个与模型无关的训练框架HighwayGraph，它通过从训练集中采样节点对并采用自训练方法来克服标记节点不足的挑战。大量的实验结果表明，我们的HighwayGraph在三个基准数据集上的四个代表性GNN上实现了一致和显着的改进。
2020-05-17 cs.CL cs.LG cs.SI
Recurrent Dirichlet Belief Networks for Interpretable Dynamic Relational Data Modelling
University of Technology Sydney（悉尼科技大学）；University of New South Wales（新南威尔士大学）；Fudan University（复旦大学）
Dirichlet Belief Network~（DirBN）是最近提出的一种学习对象可解释的深层潜在表征的方法。在这项工作中，我们利用其可解释的建模架构，并提出了一个深度的动态概率框架-递归狄利克雷信念网络~（递归DBN）-研究可解释的隐藏结构的动态关系数据。所提出的递归DBN具有以下优点：（1）它为时间步内和跨时间步的对象推断可解释和有组织的分层潜在结构;（2）它能够实现递归长期时间依赖建模，其性能优于大多数动态概率框架中的一阶马尔可夫描述。此外，我们开发了一种新的推理策略，首先向上和向后传播潜计数，然后向下和向前样本变量，使有效的吉布斯采样的递归DBN。我们将递归DBN应用于动态关系数据问题。在真实数据上的大量实验结果验证了递归DBN在可解释的潜在结构发现和改进的链接预测性能方面优于现有模型。
2020-04-29 cs.LG stat.ML
Improving the Generation of VAEs with High Dimensional Latent Spaces by the use of Hyperspherical Coordinates
School of Electrical Engineering and Robotics（电气工程与机器人学学院）；Queensland University of Technology（昆士兰理工大学）
本文针对高维潜在空间中VAE随机采样解码效果差的问题，提出用超球面坐标参数化潜在变量以压缩潜在分布、降低稀疏性，从而提升VAE的生成能力。
2025-07-21 cs.LG
Great Models Think Alike: Improving Model Reliability via Inter-Model Latent Agreement
National University of Singapore（新加坡国立大学）
针对深度学习模型过度自信导致可靠性不足的问题，提出通过衡量目标模型与基础模型潜空间的邻域一致性评估可靠性，并以事后方式融合该一致性至预测置信度，经理论与多场景实验验证有效提升模型可靠性。
2023-05-02 cs.AI cs.CV cs.LG
Fast ABC with joint generative modelling and subset simulation
University of Neuchâtel（纳沙泰尔大学）；University of Bern（伯尔尼大学）；University of Lausanne（洛桑大学）
我们提出了一种新的方法来解决高维输入和昂贵的前向映射的反问题。它利用联合深度生成建模将原始问题空间转移到低维潜在空间。通过联合建模输入和输出变量，并赋予潜在的先验分布，拟合的概率模型间接地提供了访问的近似条件分布的兴趣。由于模型误差和未知分布的观测噪声在实践中很常见，因此我们采用近似贝叶斯计算（ABC）进行无似然推理。我们的方法调用ABC通过子集模拟来探索潜在空间的区域，所生成的输出和观察到的输出之间的差异低于规定的阈值。我们诊断的多样性，通过监测这些区域的概率内容作为阈值的函数的近似后验解。我们进一步分析所得诊断曲线的曲率，以提出适当的ABC阈值。当应用到一个跨钻孔层析成像的例子，从地球物理学，我们的方法提供了有前途的性能，而不使用先验知识的前也不是噪声分布。
2021-04-16 cs.AI cs.LG stat.ME
Improving Cross-domain Recommendation through Probabilistic Cluster-level Latent Factor Model--Extended Version
Beijing University of Posts and Telecommunications（北京邮电大学）
跨领域推荐通过将多个领域的评分数据集中在一起来传递用户行为模式，以缓解单一评分领域中出现的稀疏性问题。然而，以前的模型只假设多个领域共享一个潜在的共同评级模式的基础上的用户项目的共同聚类。为了捕捉不同领域之间的差异，我们提出了一种新的概率统计等级潜在因子（PCLF）模型，以提高跨域推荐性能。在多个真实数据集上的实验表明，我们提出的模型在跨域推荐任务中的性能优于现有的方法。
2014-09-24 cs.IR cs.LG stat.ML
Generalizable Adversarial Attacks with Latent Variable Perturbation Modelling
McGill University（麦吉尔大学）；Mila
对深度神经网络的对抗攻击传统上依赖于约束优化范式，其中优化过程用于获得给定输入示例的单个对抗性扰动。在这项工作中，我们将问题定义为学习对抗性扰动的分布，使我们能够在给定未扰动输入的情况下生成不同的对抗性分布。我们表明，这个框架是域不可知的，在相同的框架可以用来攻击不同的输入域，以最小的修改。在三个不同的领域-图像，文本和图形-我们的方法生成白盒攻击的成功率是有竞争力的或优于现有的方法，与一个新的国家的最先进的实现在图形域。最后，我们证明了我们的框架可以有效地生成一个不同的攻击集为一个单一的输入，甚至能够攻击\textit{unseen}测试实例中的zero-shot的方式，表现出攻击泛化。
2020-01-20 cs.CR cs.LG stat.ML
Improving Sampling from Generative Autoencoders with Markov Chains
Imperial College London（帝国理工学院）
我们专注于生成式自动编码器，例如变分或对抗式自动编码器，它们与推理模型一起共同学习生成模型。生成式自动编码器是那些被训练成对由推理模型学习的潜在分布柔和地实施先验的自动编码器。我们将推理模型映射到观察样本的分布称为学习的潜在分布，它可能与先验不一致。我们制定了一个马尔可夫链蒙特卡罗（MCMC）采样过程，相当于迭代解码和编码，这使我们能够从学习的潜在分布中采样。由于生成模型从学习的潜在分布而不是先验学习映射，因此我们可以使用MCMC来提高从生成模型提取的样本的质量，特别是当学习的潜在分布远离先验时。使用MCMC采样，我们能够揭示使用或不使用去噪标准训练的生成式自动编码器之间以前看不见的差异。
2017-01-12 cs.AI cs.LG stat.ML
Recurrent Flow Networks: A Recurrent Latent Variable Model for Density Modelling of Urban Mobility
Technical University of Denmark（丹麦技术大学）
按需移动（MoD）系统代表了一种快速发展的交通模式，其中，由协调的车队动态地处理旅行请求。至关重要的是，国防部系统的效率高度依赖于供应和需求分布在时空空间中的对齐程度（即，为了满足用户的需求，汽车必须在正确的地点和所需的时间提供）。要做到这一点，我们认为，预测模型的目标应该明确解开时间和空间变化之间的城市交通需求的演变。然而，目前的方法通常忽略了这一区别，要么共同对待这两个来源的变异性，或完全忽略它们的存在摆在首位。在本文中，我们提出了循环流网络（RFN），我们探讨了（i）包含潜在的随机变量在循环神经网络的隐藏状态，以模拟时间的变化，和（ii）规范化的流量，以模拟移动性需求的空间分布。我们展示了预测模型如何明确地解开空间和时间的变化表现出几个理想的属性，并以经验表明，这使得生成的分布匹配潜在的复杂的城市拓扑结构。
2022-05-04 cs.LG stat.ML
Exponential Tilting of Generative Models: Improving Sample Quality by Training and Sampling from Latent Energy
University of Chicago（芝加哥大学）
在本文中，我们提出了一种通用的方法，可以提高样本质量的预训练的似然生成模型。我们的方法在潜在变量空间上构造能量函数，该能量函数在由预训练的生成模型产生的样本上产生能量函数。通过最大化数据似然性来有效地训练基于能量的模型，并且在训练之后，从基于能量的模型生成潜在空间中的新样本，并通过生成器以在观察空间中产生样本。我们表明，使用我们提出的方法，我们可以大大提高流行的基于似然的生成模型，如规范化流和VAE，与非常小的计算开销的样本质量。
2020-06-15 cs.LG stat.ML
Improving Model Robustness with Latent Distribution Locally and Globally
Duke Kunshan University（昆山杜克大学）；University of Liverpool（利物浦大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Xi’an Jiaotong-Liverpool University（西交利物浦大学）
在这项工作中，我们从全局流形的角度考虑深度神经网络对对抗攻击的模型鲁棒性。利用局部和全局潜在信息，我们提出了一种新的对抗性训练方法，通过鲁棒优化，以及一种易于处理的方法来生成潜在流形对抗性示例（LMAE），通过一个机器人和一个分类器之间的对抗性游戏。所提出的具有潜在分布的对抗性训练（ATLD）方法通过以无监督的方式用潜在流形制作LMAE来防御对抗攻击。ATLD保留了隐流形的局部和全局信息，提高了对对抗攻击的鲁棒性.为了验证我们提出的方法的有效性，我们在不同的数据集上进行了广泛的实验（例如，CIFAR-10、CIFAR-100、SVHN）与不同的对抗攻击（例如，PGD，CW），并表明我们的方法大大优于最先进的（例如，特征散射）在对抗鲁棒性方面具有很大的准确性。源代码可在https://github.com/LitterQ/ATLD-pytorch上获得。
2022-10-03 cs.LG
GLAD: Improving Latent Graph Generative Modeling with Simple Quantization
Geneva School for Business Administration (HES-SO)（日内瓦工商管理学院（HES-SO））；University of Geneva（日内瓦大学）
本文提出 GLAD，一种在离散潜空间中运行、利用扩散桥学习先验的等变图生成模型，并在多个图基准上达到与最先进方法相竞争的性能。
2025-02-17 cs.LG stat.ML
Stochastic Latent Transformer: Efficient Modelling of Stochastically Forced Zonal Jets
University of Cambridge（剑桥大学）
针对随机偏微分方程降阶建模需求，提出由随机强迫Transformer与平移等变自编码器构成的SLT方法，在纬向急流系统中实现五个数量级加速，可高效探索自发转变事件的概率统计问题。
2023-12-18 cs.LG physics.ao-ph physics.flu-dyn
A Data-driven Latent Semantic Analysis for Automatic Text Summarization using LDA Topic Modelling
University College London（伦敦大学学院）；Brunel University London（伦敦布鲁内尔大学）；Lancaster University（兰卡斯特大学）
本研究提出一种基于LDA主题建模与抽取式摘要的单文档和多文档自动摘要方法，并通过PyLDAvis可视化及LSA和ROUGE指标验证其可靠性与有效性。
2023-05-30 cs.IR cs.LG
Improving latent variable descriptiveness with AutoGen
University College London（伦敦大学学院）；Alan Turing Institute（艾伦·图灵研究所）；ASI Data Science（ASI数据科学）
强大的生成模型，特别是在自然语言建模中，通常通过最大化数据日志可能性的变分下限来训练。这些模型往往受到其潜在变量的不良使用，与ad-hoc退火因子用于鼓励保留信息的潜在变量。我们讨论了潜在变量建模的替代和一般方法，基于一个目标，该目标结合了数据日志的可能性以及通过自动编码器的完美重建的可能性。通过设计将这些联系在一起，可以确保潜变量捕获有关观测的信息，同时保持良好的生成能力。有趣的是，虽然这种方法是一个先验无关的VAE，达到的下限是相同的标准VAE界，但增加了一个简单的前因子，因此，提供了一个正式的解释，在训练VAE常用的，特设的前因子。
2018-06-12 cs.LG stat.ML
Generative Modelling of BRDF Textures from Flash Images
University College London（伦敦大学学院）；Adobe Research（Adobe研究院）；Imperial College London（帝国理工学院）
我们学习了一个潜在的空间，便于捕捉，一致的插值，并有效地再现视觉材料的外观。当用户提供在闪光灯照明下捕获的静止自然材料的照片时，首先将其转换为潜在材料代码。然后，在第二步中，在材料代码的条件下，我们的方法产生了一个无限的和多样化的空间领域的BRDF模型参数（漫反射，法线，粗糙度，镜面反射），随后允许在复杂的场景和照明渲染，匹配的外观输入照片。从技术上讲，我们使用卷积编码器将所有Flash图像联合嵌入到潜在空间中，并以这些潜在代码为条件，使用卷积神经网络（CNN）将随机空间字段转换为BRDF参数字段。我们的条件这些BRDF参数匹配的视觉特征（统计和光谱的视觉特征）的输入下匹配的光。一项用户研究将我们的方法与以前的工作进行了比较，即使是那些可以访问BRDF监督的方法。
2021-09-10 cs.CV cs.GR cs.LG
Latent Variable Modelling with Hyperbolic Normalizing Flows
McGill University（麦吉尔大学）；Mila（米拉研究所）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
近似后验分布的选择在随机变分推理（SVI）中起着核心作用。一个有效的解决方案是使用归一化流\cut{defined on Euclidean spaces}来构造灵活的后验分布。然而，现有的规范化流的一个关键限制是，它们被限制在欧几里德空间，并且不适合对具有底层层次结构的数据进行建模。为了解决这个基本的限制，我们提出了规范化流的双曲空间的第一个扩展。我们首先提升规范化流双曲空间使用耦合变换定义的切丛，称为切线耦合（$\mathcal{TC}$）。我们进一步介绍了包裹双曲面耦合（$\mathcal{W}\mathbb{H}C$），一个完全可逆的和可学习的变换，明确利用双曲空间的几何结构，允许表达后验，同时是有效的采样。我们证明了我们的新的归一化流的双曲VAE和欧几里得归一化流的功效。我们的方法提高了密度估计的性能，以及表现出分层结构的真实世界图数据的重建。最后，我们表明，我们的方法可以用来权力的生成模型在分层数据使用双曲型潜变量。
2020-08-13 cs.LG stat.ML
LatentDR: Improving Model Generalization Through Sample-Aware Latent Degradation and Restoration
Georgia Institute of Technology（佐治亚理工学院）
针对深度学习模型跨领域泛化难、训练数据有限的问题，提出LatentDR样本感知潜在退化恢复增强方法，在多基准和医学影像等任务上优于现有方法，还可适配长尾识别。
2023-08-28 cs.CV cs.LG
Deep Graph Memory Networks for Forgetting-Robust Knowledge Tracing
Australian National University（澳大利亚国立大学）
追踪学生的知识对于定制学习体验至关重要。最近的知识追踪方法往往响应这些挑战，通过建模知识状态动态学习概念。然而，它们仍然面临着一些固有的挑战，包括：模拟遗忘行为和识别潜在概念之间的关系。为了解决这些问题，在本文中，我们提出了一种新的知识跟踪模型，即\emph{Deep Graph Memory Network}（DGMN）。在这个模型中，我们将一个遗忘门控机制到一个注意力记忆结构，以捕捉遗忘行为动态知识追踪过程中。特别是，这种遗忘门控机制是建立在潜在概念的注意力遗忘特征上的，考虑到它们的相互依赖性。此外，该模型具有根据学生不断发展的知识状态从动态潜在概念图中学习潜在概念之间的关系的能力。使用四个成熟的基准数据集进行了全面的实验评估。结果表明，DGMN在所有数据集上的表现始终优于最先进的KT模型。在我们的实验中，也分析了建模遗忘行为和学习潜在概念图的有效性。
2021-08-18 cs.LG
Improving Deep Dynamics Models for Autonomous Vehicles with Multimodal Latent Mapping of Surfaces
University of Freiburg（弗赖堡大学）；Toyota Research Institute（丰田研究院）；University of Technology, Nuremberg（纽伦堡工业大学）
自动驾驶汽车的安全部署取决于它们对环境变化的有效反应能力。这可能需要在变化的表面上操纵，这仍然是一个困难的问题，特别是对于光滑的地形。为了解决这个问题，我们提出了一种新的方法，学习表面感知的动态模型的条件下，它对一个潜在的变量向量存储有关当前位置的表面信息。训练潜在映射器以在每次遍历对应位置时从多个模态进行推断期间更新这些潜在变量，并将它们存储在地图中。通过端到端地训练所有内容，同时丢失动态模型，我们强制潜在映射器学习对后续动态模型有用的潜在映射的更新规则。我们实施和评估我们的方法上一个真正的微型电动汽车。结果表明，与没有此信息的模型相比，潜在映射被更新以允许对动力学模型进行更准确的预测。我们进一步表明，通过使用该模型，可以提高驾驶性能的变化和具有挑战性的表面。
2023-03-21 cs.LG cs.RO
Improving Collaborative Filtering based Recommenders using Topic Modelling
Flytxt Mobile Solutions Pvt. Ltd.（Flytxt移动解决方案私人有限公司）；Indian Institute of Technology, Delhi（德里印度理工学院）
标准的协同过滤（CF）算法利用用户和项目之间的交互，仅以隐式或显式评级的形式来生成推荐。在这种情况下，纯粹基于评级重叠来计算用户或项目之间的相似性，而不考虑所涉及的用户或项目的显式属性，从而限制了它们在具有非常稀疏的评级空间的域中的适用性。在许多领域，如电影，新闻或电子商务广告，大量的文本形式的上下文数据描述项目属性，以及评级数据，这可以用来提高推荐quality.In本文中，我们提出了一种新的方法，以改善标准的CF为基础的广告，利用潜在的Dirichlet分配（LDA）学习项目的潜在属性，表示在主题比例，源自其文字描述。我们推断用户的主题偏好或人物在同一潜在空间，根据她的历史评级。在计算用户之间的相似性时，我们使用了一种组合的相似性度量，包括评分重叠以及潜在主题空间中的相似性。这种方法解决了稀疏性问题，因为它允许计算用户之间的相似性，即使他们没有共同评价任何项目。我们在多个公共数据集上的实验表明，所提出的混合方法在分类精度指标（如精度，召回率和f-测量）方面显着优于标准的基于用户和基于项目的CF分类器。
2014-02-25 cs.CL cs.IR cs.LG
Improving Robustness of Malware Classifiers using Adversarial Strings Generated from Perturbed Latent Representations
Czech Technical University in Prague（布拉格捷克理工大学）
在恶意软件行为分析中，访问和创建的文件列表通常指示所检查的文件是恶意的还是良性的。然而，恶意软件作者试图通过生成随机文件名和/或用新版本的恶意软件修改使用的文件名来避免检测。这些变化代表了现实世界的对抗性例子。这项工作的目标是生成真实的对抗性示例，并提高分类器对这些攻击的鲁棒性。我们的方法以无监督的方式学习输入字符串的潜在表示，并在潜在域中使用基于梯度的对抗攻击方法来生成输入域中的对抗示例。我们使用这些例子来提高分类器的鲁棒性，通过训练生成的对抗性字符串集。与只在扰动的潜在向量上训练的分类器相比，我们的方法产生的分类器明显更鲁棒，而不会在标准精度上有很大的权衡。
2021-10-22 cs.CR cs.LG
Improving Vector-Quantized Image Modeling with Latent Consistency-Matching Diffusion
Sony AI（索尼人工智能研究院）；Stanford University（斯坦福大学）；Sony Group Corporation（索尼集团公司）
针对向量量化图像建模中端到端联合训练易导致嵌入崩溃的问题，提出连续空间潜在扩散框架VQ-LCMD，结合变分下界与一致性匹配损失及噪声调度策略稳定训练，在多个图像生成基准上取得更优效果。
2025-04-01 cs.LG
Modelling Cellular Perturbations with the Sparse Additive Mechanism Shift Variational Autoencoder
insitro
本文提出SAMS-VAE模型，通过稀疏全局潜在变量建模干预效应，实现扰动模型的组合性、解耦性和可解释性，并在单细胞数据上验证了其泛化能力和生物学机制相关性。
2024-01-16 cs.AI cs.LG q-bio.QM
Improving Latent Generalization Using Test-time Compute
Google DeepMind（谷歌DeepMind）
本文研究如何通过测试时间计算（'思考'）提升语言模型的潜在泛化能力，利用强化学习训练模型生成长链思考以改进泛化，实验显示该方法在分布内知识和分布外知识上均有效，但对纯反转任务仍逊于上下文学习。
2026-04-01 cs.LG
Shrink the longest: improving latent space isotropy with symplicial geometry
National Research University “Higher School of Economics”（国立研究型大学“高等经济学院”）；Keldysh Institute of Applied Mathematics（凯尔迪什应用数学研究所）
本文提出一种基于单纯形几何的正则化方法，通过最大化 Vietoris–Rips 滤过条形码的持续熵来改善 transformer 潜在空间各向同性，无需重参数化或推理开销即可提升下游任务表现。
2025-01-09 cs.LG
Latent Dirichlet Allocation in Generative Adversarial Networks
University of Electronic Science and Technology of China（电子科技大学）
我们研究了基于生成对抗网络（GANs）的图像多模态生成建模问题。尽管现有的方法取得了成功，但它们往往忽略了视觉数据的底层结构或其多模态生成特性。为了解决这个问题，我们引入狄利克雷先验的多模态图像生成，这导致了一个新的潜在狄利克雷分配的GAN（LDAGAN）。详细地，对于生成过程建模，LDAGAN为每个样本定义生成模式，确定其属于哪个生成子过程。对于对抗训练，LDAGAN推导出一种变分期望最大化（VEM）算法来估计模型参数。在真实数据集上的实验结果表明，LDAGAN的性能优于其他现有的GANs。
2019-11-06 cs.CV cs.LG stat.ML
Improving Latent User Models in Online Social Media
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
现代社交平台的特征在于存在与文本内容的发布、共享和消费相关联的丰富的用户行为数据。用户在复杂而动态的社交环境中与内容交互，并相互交互，同时随着时间的推移而发展。为了有效地描述用户并预测他们在这种环境中的未来行为，有必要克服几个挑战。行为数据的内容异构性和时间不一致性导致了用户级的严重稀疏性。在本文中，我们提出了一种新的相互增强的框架，同时分区和学习用户的潜在活动配置文件。我们提出了一种灵活的用户划分方法，以有效地发现罕见的行为和解决用户级稀疏。我们广泛评估了来自现实世界平台的海量数据集的拟议框架，包括问答网络和互动在线课程（MOOC）。我们的研究结果表明，在不同的任务范围内，我们的收益显着超过最先进的行为模型（平均15%），并且对于交互数据有限的用户，我们的收益进一步放大。所提出的算法适合并行化，线性扩展数据集的大小，并提供灵活性，以模拟用户行为的不同方面。
2019-02-07 cs.AI cs.LG cs.SI
