A Tutorial on Deep Latent Variable Models of Natural Language
Harvard University(哈佛大学)
最近有很多令人兴奋的工作,将潜在变量模型和深度学习的互补优势结合起来。潜变量建模可以通过条件独立属性轻松地显式指定模型约束,而深度学习可以使用强大的函数逼近器来参数化这些条件似然。虽然这些“深层潜变量”模型为许多现实世界的现象建模提供了丰富、灵活的框架,但存在困难:条件似然的深层参数化通常使后验推理变得棘手,而潜变量目标通常通过引入不可微点使反向传播复杂化。本教程通过变分推理的镜头深入探讨了这些问题。
2019-08-05 cs.CL cs.LG stat.ML
Sparse Infinite Random Feature Latent Variable Modeling
University of Hong Kong(香港大学)
我们提出了一个非线性,贝叶斯非参数潜变量模型,其中的潜空间被假定为稀疏和无限维先验使用印度抖振过程先验。后验,潜在空间中的实例化维度的数量保证是有限的。将印度自助过程置于潜变量上的目的是:1.)自动并按概率选择潜在维度的数量。2.)的情况。在潜在空间中施加稀疏性,印度自助餐过程将选择哪些元素正好为零。我们提出的模型允许稀疏的,非线性的潜在变量建模,其中自动选择潜在维度的数量。使用随机傅立叶近似使推理变得易于处理,并且我们可以通过马尔可夫链蒙特卡罗采样容易地实现后验推理。这种方法适用于高斯设置之外的许多观测模型。我们证明了我们的方法在各种合成,生物和文本数据集上的实用性,并表明与以前的潜变量模型相比,我们可以获得优越的测试集性能。
2022-05-27 cs.AI cs.LG stat.ML
Gaussian Process Structural Equation Models with Latent Variables
University College London(伦敦大学学院);University of Cambridge(剑桥大学)
在社会科学、心理学、医学和经济学等学科中,记录的数据被认为是由某种因果结构连接的潜在变量的噪声测量。这对应于一系列图形模型,称为具有潜在变量的结构方程模型。虽然线性非高斯变量已经得到了很好的研究,但非参数结构方程模型的推理仍然不发达。我们引入了一个稀疏高斯过程参数化,定义了一个非线性结构连接的潜变量,不同的高斯过程潜变量模型的常见配方。稀疏参数化给出了一个完整的贝叶斯处理,而不损害马尔可夫链蒙特卡罗效率。我们比较了稳定的抽样程序和预测能力的模型对目前的做法。
2010-03-12 cs.LG stat.ML
Asymptotic Accuracy of Bayes Estimation for Latent Variables with Redundancy
由可观测变量和潜变量组成的分层参数模型被广泛用于无监督学习任务。例如,混合模型是用于聚类的代表性分层模型。从统计的角度来看,由于数据的分布,模型可以是规则的或奇异的。在常规情况下,模型具有可辨识性,模型表达式的概率密度函数与参数之间存在一一对应的关系。费舍尔信息矩阵是正定的,并研究了可观测变量和潜变量的估计精度。另一方面,在奇异情况下,模型是不可识别的,Fisher矩阵不是正定的。基于逆Fisher矩阵的传统统计分析不适用。最近,一个代数几何分析已被开发出来,并用于阐明可观测变量的贝叶斯估计。本文将这种分析应用于潜变量估计,并确定其理论性能。我们的结果阐明了后验分布的收敛性。研究发现,可观测变量估计的后验和潜变量估计的后验可以不同。基于参数和潜变量的马尔可夫链蒙特卡罗方法由于两者的差异,无法构造出期望的后验分布。
2014-01-23 stat.ML
Accuracy of Latent-Variable Estimation in Bayesian Semi-Supervised Learning
分层概率模型,如高斯混合模型,被广泛用于无监督学习任务。这些模型由可观察变量和潜在变量组成,分别代表可观察数据和基础数据生成过程。无监督学习任务,如聚类分析,被认为是基于可观察的潜在变量的估计。在半监督学习中,观察到一些标签,潜在变量的估计将比无监督学习更精确,其中一个关注点是澄清标记数据的影响。然而,还没有足够的理论分析的精度估计的潜变量。在以前的研究中,制定了基于分布的误差函数,并计算了其渐近形式,用于生成模型的无监督学习。结果表明,对于潜变量的估计,贝叶斯方法比最大似然方法更准确。本文揭示了贝叶斯半监督学习中判别式和生成式模型误差函数的渐近形式。结果表明,生成模型,它使用所有给定的数据,表现得更好时,模型是很好的指定。
2015-03-25 stat.ML
A Mutually-Dependent Hadamard Kernel for Modelling Latent Variable Couplings
我们引入了一个新的内核,模型的输入依赖耦合多个潜在的过程。成对联合核以相互依赖的方式测量沿输入和跨不同潜在信号的协方差。潜在相关高斯过程(LCGP)模型通过依赖于输入的混合矩阵将这些非平稳潜在分量组合成多个输出。通过变分贝叶斯推断得到多观测集的概率分类和支持度。几个数据集上的结果表明,LCGP模型可以恢复潜在信号之间的相关性,同时实现最先进的性能。我们突出了潜在的协方差与EEG分类数据集,其中潜在的大脑过程及其耦合同时出现的模型。
2017-10-03 stat.ML
Unsupervised Learning with Imbalanced Data via Structure Consolidation Latent Variable Model
University of Sheffield(谢菲尔德大学);Inferentia Ltd(Inferentia有限公司);University of Bristol(布里斯托大学)
不平衡数据上的无监督学习具有挑战性,因为当给定不平衡数据时,当前模型通常由主要类别主导,而忽略数据量较小的类别。我们开发了一个潜变量模型,可以处理不平衡的数据,通过将潜在空间分为共享空间和私人空间。基于高斯过程潜变量模型,我们提出了一种新的核公式,使潜在空间的分离,并推导出一个有效的变分推理方法。我们的模型的性能证明与不平衡的医学图像数据集。
2016-06-30 cs.LG stat.ML
Nonparametric Estimation of Multi-View Latent Variable Models
Georgia Institute of Technology(佐治亚理工学院);University of California Irvine(加州大学欧文分校)
谱方法极大地推进了潜变量模型的估计,产生了一系列具有强有力理论保证的新颖而有效的算法。然而,目前的谱算法主要限于离散或高斯分布的混合物。在本文中,我们提出了一种核方法学习多视图潜变量模型,允许每个混合成分是非参数的。该方法的核心思想是将多视点隐变量的联合分布嵌入到再生核Hilbert空间中,然后利用鲁棒的张量幂方法恢复隐变量参数。我们建立了所提出的方法的样本复杂性是二次的潜在组件的数量和其他相关参数是一个低阶多项式。因此,我们的非参数张量学习潜变量模型的方法具有良好的样本和计算效率。此外,在我们的实验中,非参数张量幂方法优于EM算法和其他现有的谱算法。
2013-12-08 cs.LG stat.ML
Gaussian Process Structural Equation Models with Latent Variables
University College London(伦敦大学学院);University of Cambridge(剑桥大学)
在社会科学、心理学、医学和经济学等学科中,记录的数据被认为是由某种因果结构连接的潜在变量的噪声测量。这对应于一系列图形模型,称为具有潜在变量的结构方程模型。虽然线性非高斯变量已经得到了很好的研究,但非参数结构方程模型的推理仍然不发达。我们引入了一个稀疏高斯过程参数化,定义了一个非线性结构连接的潜变量,不同的高斯过程潜变量模型的常见配方。稀疏参数化给出了一个完整的贝叶斯处理,而不损害马尔可夫链蒙特卡罗效率。我们比较了稳定的抽样程序和预测能力的模型对目前的做法。
2014-08-09 cs.LG stat.ML
Disentanglement Analysis in Deep Latent Variable Models Matching Aggregate Posterior Distributions
The University of Utah(犹他大学);Kahlert School of Computing(卡勒特计算机学院);SCI
本文提出一种统计方法评估任意深度潜变量模型的解耦,发现表示生成因子的潜向量,解决潜变量未与潜轴对齐的问题,并在两个数据集上验证优势。
2025-01-26 cs.LG stat.ML
Network Psychometrics
University of Amsterdam(阿姆斯特丹大学)
本章介绍心理测量学中的网络建模,讲解成对马尔可夫随机场及适用于二分类数据的Ising模型,论证其与逻辑回归、MIRT等心理测量模型的等价性,概述模型估计方法并探讨潜变量的新解读。
2018-06-07 stat.ME
Identification of Nonlinear Latent Hierarchical Models
Carnegie Mellon University(卡内基梅隆大学);University of California San Diego(加州大学圣迭戈分校);Beijing Technology and Business University(北京工商大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文首次在非线性潜在层次因果模型中同时建立因果结构与潜在变量的可识别性保证,通过放宽潜在树假设和参数化假设,提出识别准则并构造渐近估计过程。
2023-10-31 cs.AI cs.LG stat.ML
Fast Gradient-Based Inference with Continuous Latent Variable Models in Auxiliary Form
Universiteit van Amsterdam(阿姆斯特丹大学)
我们提出了一种技术,用于提高贝叶斯网络中基于梯度的推理和学习的效率与多层连续潜在变量。我们表明,在许多情况下,这是可能的,以辅助形式表示这样的模型,连续的潜变量是有条件的确定性给定他们的父母和一组独立的辅助变量。这种辅助形式的模型变量具有更大的马尔可夫毯,导致基于梯度的推理显着加速,例如快速混合混合蒙特卡罗和高效的基于梯度的优化。实验证实了该方法的相对有效性。
2013-06-04 cs.LG stat.ML
Bit-Swap: Recursive Bits-Back Coding for Lossless Compression with Hierarchical Latent Variables
University of California, Berkeley(加州大学伯克利分校)
比特回退的论点表明,潜在变量模型可以变成无损压缩方案。然而,对于一般的潜变量模型,将比特回退参数转换成有效和实用的无损压缩方案仍然是一个悬而未决的问题。Townsend等人(2019)最近提出的非对称数字系统位回编码(BB-ANS)使得位回编码对于具有一个潜在层的潜在变量模型实际上是可行的,但对于分层潜在变量模型来说效率低下。在本文中,我们提出了比特交换,一个新的压缩方案,推广BB-ANS,并实现严格更好的压缩率与马尔可夫链结构的层次潜变量模型。通过实验,我们验证了比特交换的结果在无损压缩率是经验优于现有的技术。我们的实现可以在https://github.com/fhkingma/bitswap上获得。
2019-10-02 cs.AI cs.IT cs.LG
Asymptotic Accuracy of Bayesian Estimation for a Single Latent Variable
Tokyo Institute of Technology(东京工业大学)
在数据科学和机器学习中,经常使用分层参数模型,例如混合模型。它们包含两种变量:可观察变量,代表可以直接测量的数据部分,以及潜变量,代表生成数据的底层过程。虽然对可观测变量估计精度的研究有所增加,但对潜变量估计的理论分析尚未得到深入研究。在以前的研究中,我们确定了数据集中潜变量的联合概率的贝叶斯估计的准确性,并且我们证明了贝叶斯方法比最大似然方法渐近更准确。然而,单个潜在变量的贝叶斯估计的准确性仍然是未知的。本文在满足统计规律性的条件下,给出了两类单变量估计的误差函数的渐近展开式,该误差函数由库尔贝克-莱布勒散度定义.我们的研究结果表明,贝叶斯和最大似然方法的精度是渐近等价的,并澄清贝叶斯方法只有利于多变量估计。
2015-04-17 cs.LG stat.ML
Double Control Variates for Gradient Estimation in Discrete Latent Variable Models
DeepMind(深度思维);Microsoft Research New England(微软新英格兰研究院)
由于梯度的高方差,离散潜变量模型的基于随机梯度的优化具有挑战性。我们介绍了一个方差减少技术的得分函数估计,利用双控制变量。这些控制变量作用于主要控制变量之上,并试图进一步减少总体估计量的方差。我们开发了一个双控制变量的REINFORCE留一法估计使用泰勒展开。对于训练离散潜变量模型,例如具有二进制潜变量的变分自编码器,与使用REINFORCE leave-one-out估计器的标准训练相比,我们的方法不会增加额外的计算成本。我们将我们的方法应用于挑战高维玩具示例和使用二进制潜变量训练变分自编码器。我们表明,我们的估计可以有较低的方差相比,其他国家的最先进的估计。
2022-06-04 cs.LG stat.ML
A Bayesian Modified Ising Model for Identifying Spatially Variable Genes from Spatial Transcriptomics Data
最近在空间分子谱方面的技术突破使得能够在保留空间信息的同时对单细胞进行全面的分子表征。它提供了新的机会来描绘来自不同来源的细胞如何形成具有独特结构和功能的组织。空间分子谱数据分析中的一个直接问题是识别其表达表现出空间相关模式的基因,称为空间可变基因。目前大多数识别空间变异基因的方法都是建立在具有高斯过程的地统计模型上来捕获空间模式,其依赖于可能限制模型识别复杂空间模式的能力的特设内核。为了克服这一挑战,捕捉更多类型的空间模式,我们引入贝叶斯方法来识别空间可变基因通过修改的伊辛模型。其核心思想是使用伊辛模型的能量相互作用参数来表征空间表达模式。我们使用辅助变量马尔可夫链蒙特卡罗算法从模型中具有难以处理的归一化常数的后验分布中采样。使用模拟数据和合成数据的模拟研究表明,基于能量的建模方法比基于核的方法在检测空间可变基因方面具有更高的准确性。当应用于两个真实的空间转录组学数据集时,所提出的方法发现了新的空间模式,揭示了生物学机制。总之,所提出的方法为分析空间转录组学数据提供了一个新的视角。
2021-10-06 q-bio.GN stat.AP
Identifying Metric Structures of Deep Latent Variable Models
Technical University of Denmark(丹麦技术大学);University of British Columbia(不列颠哥伦比亚大学)
针对深度潜变量模型潜表示不可识别的问题,本文提出改变目标,转而识别潜变量间的度量关系(如距离、角度和体积),并在宽松条件下无需标签数据证明了其可行性,为提取可信结论提供了原则性路径。
2025-05-30 cs.LG stat.ML
Latent variable modeling with random features
Princeton University(普林斯顿大学)
基于高斯过程的潜变量模型是用于非线性降维的灵活且理论上有基础的工具,但是在该非线性框架内推广到非高斯数据似然性在统计上是具有挑战性的。在这里,我们使用随机特征来开发一系列非线性降维模型,这些模型可以很容易地扩展到非高斯数据的可能性,我们称这些随机特征潜在变量模型(RFLVMs)。通过用一个关于随机特征的线性函数来近似潜空间和观测值之间的非线性关系,我们导出了关于潜变量的后验分布的封闭形式的梯度。这使得RFLVM框架支持计算上易于处理的非线性潜变量模型的指数族中的各种数据的可能性,而无需专门的推导。我们的广义RFLVMs产生的结果与其他国家的最先进的降维方法对不同类型的数据,包括神经尖峰训练记录,图像和文本数据。
2020-06-19 cs.LG stat.ME stat.ML
Latent Composite Likelihood Learning for the Structured Canonical Correlation Model
University College London(伦敦大学学院)
潜变量模型用于估计仅在达到某个测量误差时可观察的感兴趣量的变量。在许多研究中,这些变量是已知的,但不能精确量化(如社会科学和市场营销中的“工作满意度”,教育测试中的“分析能力”,或经济学中的“通货膨胀”)。这导致了测量工具的发展,以记录诸如调查、测试和价格指数等未观察到的变量的嘈杂的间接证据。在这样的问题中,有假设的潜在变量和给定的测量模型。与此同时,其他未预见的潜在变量可能会给观测变量增加进一步的未测量混杂。问题是如何处理未预见的潜在变量。在本文中,我们提供了一种方法松散的典型相关的启发,利用背景信息的“已知”的潜变量。给定一个部分指定的结构,它提供了一种结构学习方法来检测“未知的未知数”,潜在的无限多其他潜在变量的混淆效果。这是在没有明确建模这些额外的潜在因素的情况下完成的。由于问题的特殊结构,我们能够利用复合似然拟合的新变化来有效地学习这种结构。验证提供了合成数据的实验和对联合王国国家保健服务的100 000多名工作人员进行的大型调查的分析。
2012-10-16 cs.LG stat.ML
Structured Bayesian Gaussian process latent variable model
University of Notre Dame(圣母大学)
我们引入了一个贝叶斯高斯过程潜变量模型,该模型使用参数化的空间内核显式捕获数据中的空间相关性,并利用模型协方差阵上的结构利用代数来实现计算的易处理性。推理是通过一个类似的计算复杂性的传统贝叶斯GP-LVM的折叠变分界听话。通过优化“部分折叠”边界来实现对部分观察到的测试用例的推断。通过使用动态GP潜变量先验,使得能够对高维时间序列系统进行建模。插补图像上的缺失数据和缺失视频帧的超分辨率插补的例子证明了该模型。
2018-05-22 cs.LG stat.ML
Latent tree models
潜在树模型是在树上定义的图形模型,其中仅观察到变量的子集。它们首先由Judea Pearl讨论为树可分解分布,以推广星可分解分布,如潜在类模型。潜在树模型或其子模型广泛应用于:系统发育分析、网络断层扫描、计算机视觉、因果建模和数据聚类。它们还包含其他著名的模型,如隐马尔可夫模型,布朗运动树模型,树上的伊辛模型,以及许多流行的模型用于遗传学。本文简要介绍了潜在树模型的理论。我们强调树指标的作用,在结构描述这个模型类,在设计学习算法,并在了解什么和什么时候可以学习的基本限制。
2017-08-02 math.ST stat.ML stat.TH
Mixed Likelihood Gaussian Process Latent Variable Model
KTH Royal Institute of Technology(KTH皇家理工学院)
我们提出了混合似然高斯过程隐变量模型(GP-LVM),能够建模数据的不同类型的属性。GP-LVM的标准公式假设每个观测值都来自高斯分布,这使得模型不适合具有分类或名义属性的数据。我们的模型,我们使用基于抽样的变分推理,而不是假设一个单独的可能性为每个观察到的维度。该公式产生更有意义的潜在表示,并为具有不同类型维度的真实世界数据提供更好的预测性能。
2018-11-19 cs.LG stat.ML
Single Index Latent Variable Models for Network Topology Inference
Carnegie Mellon University(卡内基梅隆大学)
一个半参数,非线性回归模型的存在下,潜在的变量被应用到学习网络图结构。这些潜在变量可以对应于交互实体的复杂系统中的未建模现象或未测量的代理。该公式联合估计基础数据生成中的非线性、测量实体之间的直接相互作用以及未测量过程对观测数据的间接影响。该学习被设定为正则化的经验风险最小化。详细介绍了学习模型的算法。实验证明了学习模型在真实数据上的性能。
2018-06-28 cs.LG stat.ML
Spike and Slab Gaussian Process Latent Variable Models
University of Sheffield(谢菲尔德大学)
高斯过程隐变量模型(GP-LVM)是一种流行的非线性概率降维方法。模型的一个设计选择是潜在变量的数量。我们提出了一个尖峰和板前GP-LVM,并提出了一个有效的变分推断程序,给出了一个下界的对数边际似然。新的模型提供了一个更原则的方法来选择潜在的尺寸比阈值的长度尺度参数的标准方式。我们的方法的有效性证明了通过实验上的真实和模拟数据。此外,我们扩展了多视图高斯过程,依赖于共享潜在的尺寸(称为流形相关性确定)与尖峰和板先验。这允许用于为数据的每个视图选择潜在空间的子集的更有原则的方法。扩展模型优于以前的国家的最先进的应用时,跨模态多媒体检索任务。
2015-05-10 cs.LG stat.ML
Deconvolutional Latent-Variable Model for Text Sequence Matching
Duke University(杜克大学)
一个潜在的变量模型引入文本匹配,推断句子表示联合优化生成和歧视的目标。为了减轻文本潜变量模型中的典型优化挑战,我们采用反卷积网络作为序列解码器(生成器),为学习的潜代码提供更多的语义信息和更好的泛化能力。我们的模型以无监督的方式训练,比基于长短期记忆(LSTM)的解码器产生更强的经验预测性能,参数更少,训练速度更快。此外,我们将其应用于文本序列匹配问题。所提出的模型显着优于几个强大的重复编码基线,特别是在半监督设置。
2017-11-22 cs.CL cs.LG stat.ML
Learning in Integer Latent Variable Models with Nested Automatic Differentiation
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Mount Holyoke College(曼荷莲学院)
我们开发了嵌套自动微分(AD)算法的精确推理和学习的整数潜变量模型。最近,Winner,Sujono和Sheldon展示了如何减少一类整数潜变量模型的边缘化,以评估包含多层嵌套高阶导数的概率母函数。我们贡献更快,更稳定的AD算法,这个具有挑战性的问题和一种新的算法来计算精确的梯度学习。这些贡献导致更快,更准确的学习算法,是第一个AD算法,其运行时间是多项式的嵌套层次的数量。
2018-06-08 cs.LG stat.ML
Sequential sampling of Gaussian process latent variable models
University of Oxford(牛津大学)
我们考虑的问题,推断一个潜在的功能在概率模型的数据。当潜在函数的依赖性由高斯过程指定并且数据似然是复杂的时,有效的计算通常涉及马尔可夫链蒙特卡罗采样,其对大数据集的适用性有限。我们扩展这些技术的一些规模有效地当问题表现出顺序结构。我们提出了一个近似,使序贯抽样的潜在变量和相关参数。我们展示了强大的性能增长的数据设置,否则是不可行的天真,非序贯抽样。
2018-07-20 cs.LG stat.ML
Stochastic WaveNet: A Generative Latent Variable Model for Sequential Data
Carnegie Mellon University(卡内基梅隆大学)
如何对包括但不限于语音和人体运动的序列数据的分布进行建模是一个重要的正在进行的研究问题。已经证明,通过在递归神经网络的隐状态中引入随机潜变量,可以显着提高模型容量。同时,WaveNet,配备了膨胀卷积,在自然语音生成任务中取得了惊人的经验表现。在本文中,我们结合了随机潜变量和扩张卷积的思想,并提出了一种新的体系结构来建模序列数据,称为随机WaveNet,其中随机潜变量被注入到WaveNet结构中。我们认为,随机WaveNet具有强大的分布建模能力和扩张卷积并行训练的优势。为了有效地推断潜变量的后验分布,基于WaveNet体系结构的特点,设计了一种新的推理网络结构。Stochastic WaveNet在自然语音建模方面获得了基准数据集上的最先进性能,并且还可以生成高质量的人类笔迹样本。
2018-06-15 cs.LG stat.ML
SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models
Tsinghua University(清华大学);Princeton University(普林斯顿大学);Google(谷歌);University of Toronto(多伦多大学)
用于训练潜变量模型的标准变分下界对大多数感兴趣的量产生有偏估计。本文在无穷级数随机截断的基础上,给出了潜变量模型的对数边际似然及其梯度的一个无偏估计。如果由编码器-解码器架构参数化,则编码器的参数可以被优化以最小化该估计器的方差。我们表明,使用我们的估计器训练的模型比基于标准重要性抽样的方法提供更好的测试集似然性相同的平均计算成本。该估计器还允许使用潜变量模型的任务,其中无偏估计,而不是边际似然下限,是首选,如最小化反向KL分歧和估计得分函数。
2020-07-10 cs.LG stat.ML
Avoiding Latent Variable Collapse With Generative Skip Models
Columbia University(哥伦比亚大学);Harvard University(哈佛大学)
变分自动编码器学习高维数据的分布。他们用深层潜变量模型对数据进行建模,然后通过最大化对数边际似然的下限来拟合模型。VAE可以捕获复杂的分布,但它们也可能遭受称为“潜在变量崩溃”的问题,特别是如果可能性模型很强大。具体来说,下界涉及潜在变量的近似后验;当它被设置为等于先验时,这个后验“崩溃”,即,当近似后验独立于数据时。虽然VAE学习良好的生成模型,但潜在变量崩溃阻止它们学习有用的表示。在本文中,我们提出了一种简单的新方法,以避免潜在变量崩溃,包括跳过连接在我们的生成模型,这些连接之间的强联系的潜在变量和似然函数。我们从理论和实证两个方面研究了生成跳跃模型。理论上,我们证明了跳跃模型增加了观测值和推断的潜变量之间的互信息。从经验上讲,我们研究图像(MNIST和Omniglot)和文本(Yahoo)。与现有的VAE架构相比,我们表明生成跳过模型保持类似的预测性能,但导致更少的崩溃,并提供更有意义的数据表示。
2019-01-30 cs.CL cs.LG stat.ML
TPLVM: Portfolio Construction by Student's $t$-process Latent Variable Model
MAZIN Inc.(MAZIN公司);Nomura Asset Management Co., Ltd.(野村资产管理股份有限公司)
最优资产配置是现代金融理论中的一个重要课题。为了实现投资者风险规避下的最优资产配置,人们提出了各种投资组合构造方法。近年来,机器学习在金融领域的应用迅速增长。在本文中,我们提出了学生的$t$ -过程隐变量模型(TPLVM)来描述非高斯波动的金融时间序列的低维潜变量。随后,我们将TPLVM应用于最小方差投资组合,作为现有非线性因子模型的替代。为了检验所提出的投资组合的性能,我们构建了基于TPLVM或高斯过程潜变量模型的全球股票市场指数的最小方差投资组合。通过比较这些投资组合,我们确认建议的投资组合优于现有的高斯过程潜变量模型。
2020-01-29 cs.LG math.ST q-fin.PM
Stratification of patient trajectories using covariate latent variable models
标准模型基于充分表征的临床标志物将疾病进展分配到离散的类别或阶段。然而,这样的系统可能与我们对潜在生物学的理解不一致,在高度复杂的系统中,可能支持疾病从开始到终末状态的(接近)连续演变。为了学习这种连续的疾病评分,可以从动态“组学”数据(诸如RNA-seq)推断潜在变量,其与感兴趣的结果(诸如存活时间)相关。然而,这种分析可能会受到其他数据的混淆,例如电子健康记录(EHR)中测量的临床协变量。作为一个解决方案,我们引入协变量潜变量模型,一种新型的潜变量模型,学习低维的数据表示在存在两个(不对称)的视图相同的数据源。我们将我们的模型应用于TCGA结直肠癌RNA-seq数据,并展示了如何将微卫星不稳定性(MSI)状态作为外部协变量,使我们能够识别在免疫反应轨迹上对患者进行分层的基因。最后,我们提出了一个扩展称为协变量高斯过程潜变量模型学习非参数,非线性表示。可在http://github.com/kieranrcampbell/clvm上获得实现协变量潜变量模型的变分推断的R包。
2017-01-09 q-bio.GN q-bio.QM stat.ML
Detecting Hierarchical Changes in Latent Variable Models
The University of Tokyo(东京大学)
本文讨论了从数据流中检测隐变量模型(HCDL)的层次变化的问题。潜变量模型有三个不同层次的变化:1)第一个层次是固定潜变量的数据分布的变化,2)第二个层次是潜变量分布的变化,3)第三个层次是潜变量数量的变化。检测这些变化很重要,因为我们可以通过识别变化来自哪个级别(变化可解释性)来分析变化的原因。本文提出了一个信息理论的框架,检测的三个层次的变化,在一个分层的方式。其关键思想是采用最小描述长度(MDL)变化统计量来度量变化程度,并结合分解归一化极大似然码长计算。我们给出了一个理论基础,使可靠的警报变化。专注于随机块模型,我们采用合成和基准数据集,以经验证明我们的框架在变化的可解释性以及变化检测方面的有效性。
2020-11-23 cs.IT cs.LG math.IT
Variational Inference for Latent Variable Models in High Dimensions
本文提出量化平均场变分推断统计精度的通用框架,刻画其在潜在狄利克雷分配模型中的有效区间,并针对混合成员随机块模型提出更优的部分分组VI算法,给出有限样本性能界。
2025-07-16 math.PR math.ST stat.ML
A Stochastic Multivariate Latent Variable Model For Categorical Responses
该研究提出一种随机多元潜变量框架,将扩散随机过程推广到含未观测随机效应的分类响应建模,并给出参数最大似然估计思路。
2023-06-02 math.ST stat.TH
Sparse plus low-rank identification for dynamical latent-variable graphical AR models
针对带动态潜变量的图自回归模型辨识问题,结合观测变量稀疏交互与潜变量模型低秩特性,构建稀疏加低秩优化问题并通过迹近似等方法求解,再恢复潜变量动态,仿真验证了方法有效性。
2023-07-21 cs.SY eess.SY stat.ME
Quasi-Bayes in Latent Variable Models
本文提出一种准贝叶斯方法以非参数估计潜变量模型,并将其应用于PSID数据,模拟表明该估计量优于常见替代方法。
2025-08-11 econ.EM stat.ME
Particle algorithms for maximum likelihood training of latent variable models
University of Warwick(华威大学)
(Neal和Hinton,1998)将任何给定潜变量模型的极大似然估计改写为自由能泛函$F$的最小化,并将期望最大化算法改写为应用于$F$的坐标下降。在这里,我们探索优化函数的替代方法。特别是,我们确定了各种梯度流与$F$,并表明他们的限制与$F$的驻点相吻合。通过离散化的流量,我们得到了实用的基于粒子的算法极大似然估计在广泛的类别的潜变量模型。新的算法规模高维设置,并在数值实验中表现良好。
2023-02-18 cs.LG math.OC stat.CO
A Review of Dynamic Network Models with Latent Variables
我们提出了一个选择性的审查统计建模的动态网络。我们专注于具有潜变量的模型,具体而言,潜空间模型和潜类模型(或随机块模型),它们研究网络的观测特征和未观测结构。我们首先概述静态模型,然后介绍动态扩展。对于每一个动态模型,我们也讨论了它的应用,已在文献中研究,与数据源在附录中列出。在回顾的基础上,我们总结了一系列的开放性问题和挑战,在动态网络建模的潜变量。
2018-05-30 stat.ME stat.OT
Half-Trek Criterion for Identifiability of Latent Variable Models
本文考虑了具有潜在变量的线性结构方程模型,并根据观测的协方差阵,提出了一个判定可观测变量之间的直接因果关系是否可识别的准则。线性结构方程模型假设观测变量和潜变量都求解一个具有随机噪声项的线性方程系统。每个模型对应于一个有向图,其边表示作为方程系统中的系数出现的直接效应。先前的研究已经开发了各种方法来确定潜在投影框架中的直接效应的可识别性,其中潜在变量的混杂效应由噪声项之间的相关性表示。这种方法是有效的,当混杂是稀疏的,只影响观察变量的一小部分。相比之下,我们在本文中开发的新的潜在因素half-trek标准(LF-HTC)在原始的未投影的潜变量模型上运行,并且能够证明设置中的可识别性,其中一些潜变量也可能对许多甚至所有的可观测量产生密集的影响。我们的LF-HTC是一个有效的合理可识别性的充分准则,在该准则下,直接效应可以唯一地恢复为观测随机变量的联合协方差阵的有理函数。当限制LF-HTC中的搜索步骤以考虑有界大小的潜变量的子集时,可以在时间上验证该准则在图的大小上是多项式的。
2022-08-12 math.ST stat.TH
A latent variable model with mixed binary and continuous response variables
我们提出了一种方法来获得最大似然估计在一个模型中的连续和二元的结果。左和右删失观测的组合也自然地在这个框架中建模。该模型和估计过程已在R软件包lava.tobit中实现。大脑成像和个性数据的预测变量的测量误差处理在一个潜在的变量框架的方法被证明。模拟研究进行比较的小样本性质的极大似然估计与有限的信息估计。
2015-07-05 stat.ME
Boosting Stochastic Optimisation for High-dimensional Latent Variable Models
London School of Economics and Political Science(伦敦政治经济学院)
本文提出通过Metropolis调整兰格-因变量采样器和mini-batch梯度技术提升高维潜在变量模型的随机优化性能。
2025-12-08 stat.CO
Smooth, identifiable supermodels of discrete DAG models with latent variables
我们提供了一个参数化的离散嵌套马尔可夫模型,这是一个超级模型,近似DAG模型(贝叶斯网络模型)与潜变量。这种模型广泛用于因果推理和机器学习。我们明确评估其尺寸,表明它们是弯曲的指数分布族,并将它们拟合到数据中。参数化避免了潜变量模型的不规则性和不可识别性。使用的参数都是完全可识别和因果解释的数量。
2017-01-30 math.ST stat.ME stat.TH
A mirror descent approach to maximum likelihood estimation in latent variable models
University of Turin(都灵大学);Collegio Carlo Alberto(卡罗阿尔贝托学院)
本文提出一种结合镜像下降与序列蒙特卡洛的潜变量模型参数推断与后验估计方法,适用于离散潜变量,并在实验中优于标准期望最大化算法。
2025-11-06 stat.CO stat.ME
Estimation of latent variable models for ordinal data via fully exponential Laplace approximation
有序数据的潜变量模型在不同的研究领域中是一个有用的工具,其中感兴趣的结构是不可直接观察的。在这种模型中,由于不存在解析解,可能会出现与似然函数的积分有关的问题。数值逼近,如广泛使用的高斯厄米特(GH)求积,通常用于解决这些问题。然而,GH变得不可行的潜变量的数量增加。在本文中,我们提出了一个扩展版本的拉普拉斯方法近似的积分,称为全指数拉普拉斯近似。该方法在隐变量较多的情况下也是可行的,并且比经典的Laplace方法更精确。
2011-05-09 stat.ME
Inference on Generalized Latent Variable Models with High-Dimensional Responses and Covariates
University of Hong Kong(香港大学);University of Michigan(密歇根大学);London School of Economics and Political Science(伦敦政治经济学院)
本文提出一种高维广义潜在变量模型,用于处理高维响应和协变量,通过交替算法迭代更新回归参数和潜在变量,理论证明了估计器的统计一致性,并构建了去偏估计器以评估协变量效应。
2026-04-30 stat.ME
Properties of Latent Variable Network Models
我们推导出网络的潜变量模型的性质,这是一个广泛的模型类别,包括广泛使用的潜位置模型。这些指标包括平均度分布、聚类系数、平均路径长度和度相关性。我们介绍了高斯潜在位置模型,并推导出其网络特性的解析表达式和渐近近似。我们特别注意一个特殊的情况下,高斯潜在位置模型的随机效应,并表明它可以代表重尾度分布,正渐近聚类系数和小世界行为,经常观察到的社交网络。几个真实的和模拟的例子说明了模型捕捉观察到的网络的重要功能的能力。
2015-06-25 stat.ME
Efficient preconditioned stochastic gradient descent for estimation in latent variable models
本文提出一种基于正定Fisher信息矩阵估计的预条件随机梯度算法,用于潜变量模型的参数估计,在温和假设下证明收敛性,并通过模拟验证其在非线性混合效应模型和随机块模型中的性能。
2023-06-22 math.ST stat.TH
Latent Variable Model for Multivariate Data with Measure-specific Sample Weights and Its Application in Hospital Compare
我们开发了一个单因素模型与测量特定的样本权重的多变量数据与多个观察指标聚集在一个更高的水平主题。因此,该因素是同一主题内多个指标共享的潜变量,不同指标和不同主题的样本权重不同。即使在对潜变量进行积分之后,数据的似然性也不能写成每个主题的加权似然性之和,因为主题对于其多个指标具有不同的样本权重。此外,可用指标的数量因主题而异。我们推导出一个伪似然的潜变量模型与测量特定的权重。我们调查的各种统计特性的潜变量模型与测量特定的样本权重和传统的因子分析的连接。我们发现,潜变量模型提供了相合估计的方差时,测量特定的样本权重进行适当的重新调整。提出了两种估计方法--伪似然的期望最大化算法和直接积分隐变量的伪似然边缘化方法,得到参数估计。通过对公开报道的医院的指标和样本权重的分析,说明了这种方法。数值研究进行调查的权重和它们的样本分布的影响。
2019-10-18 stat.ME
Bayesian comparison of latent variable models: Conditional vs marginal likelihoods
具有潜在变量(或随机效应)的模型的典型贝叶斯方法涉及直接对潜在变量以及模型参数进行采样。在用于模型定义的高级软件代码中(例如,BUGS,JAGS,Stan),因此将可能性指定为以潜在变量为条件。这可能会导致研究人员通过条件似然进行模型比较,其中潜变量被认为是模型参数。然而,在其他设置中,典型的模型比较涉及潜在变量被整合出来的边缘似然性。这种区别往往被忽视,尽管事实上,它可以有很大的影响比较的利益。在本文中,我们澄清和说明这些问题,侧重于比较的条件和边际偏差信息标准(DIC)和渡边赤池信息标准(WAIC)在心理测量建模。条件/边际区别对应于模型是否应该预测数据中的聚类或新聚类(其中“聚类”通常对应于更高级别的单位,如人或学校)。相应地,我们表明,边际WAIC对应于留一簇(LOcO)交叉验证,而条件WAIC对应于留一个单元(LOuO)。这些结果导致建议的一般应用的标准模型与潜变量。
2019-07-25 stat.CO
Learning Topic Hierarchies by Tree-Directed Latent Variable Models
本文提出基于有根有向树结构约束LDA的潜变量主题模型,建立数学框架证明潜在主题层次的可识别性并推导后验收缩率界限,通过模拟和《纽约时报》数据验证了其有效性与实用性。
2024-08-26 math.ST stat.TH
Estimating the variance-covariance matrix of two-step estimates of latent variable models: A general simulation-based approach
本文提出一种基于模拟的通用方法,用于估计潜变量模型两步估计的方差-协方差矩阵,避免计算交叉导数矩阵,并在潜类别模型和潜特质模型上验证了其有效性。
2025-07-22 stat.CO stat.ME
Latent Variable Modeling for the Microbiome
人体微生物组是一个复杂的生态系统,从基础科学和医学的角度来看,描述其在不同环境条件下的结构和功能都很重要。从生物统计学的角度来看,许多微生物组分析目标可以被表述为潜在变量建模问题。然而,尽管概率潜变量模型是现代无监督学习的基石,但它们很少应用于微生物组数据分析的背景下,尽管可以通过此类模型直接纳入进化,时间和计数结构。我们探讨了概率潜变量模型在微生物组数据中的应用,重点是潜狄利克雷分配,非负矩阵分解和动态Unigram模型。为了制定不同方法适用的指导方针,我们进行了模拟研究。我们使用[10]的数据进一步说明和比较这些技术,[10]是一项关于抗生素对细菌群落组成影响的研究。所有模拟和案例研究的代码和数据都是公开的。
2017-11-15 stat.AP