Marginal likelihood and model selection for Gaussian latent tree and forest models
高斯潜在树模型,或更一般地说,高斯潜在森林模型具有费舍尔信息矩阵,该矩阵沿着有趣的子模型(即对应于子森林的模型)变得奇异。对于这些奇异点,我们计算真实的对数正则阈值(也称为随机复杂度或学习系数),这些阈值量化了贝叶斯推理中边际似然的大样本行为。这提供了所需的信息,最近推出的推广贝叶斯信息标准。我们的数学发展对待拉普拉斯积分的相位函数是单项式和常数之间的平方差的总和的一般设置。我们澄清如何在这种情况下,真正的对数正则阈值可以使用多面体几何计算,我们展示了如何将一般理论与高斯潜在树和森林模型的拉普拉斯积分。在模拟和数据示例中,我们演示了如何将数学知识应用于模型选择。
2015-12-23 math.ST stat.ME stat.ML
The LORACs prior for VAEs: Letting the Trees Speak for the Data
U.C. San Diego(加州大学圣地亚哥分校);Google AI(谷歌人工智能);Google Brain(谷歌大脑)
在变分自编码器中,潜在代码$z$的先验知识通常被视为事后的想法,但先验知识塑造了模型学习的潜在表示类型。如果目标是学习一种可解释且有用的表示,那么先验应该反映描述数据的高级因素的变化方式。“默认”先验是各向同性正态分布,但如果数据集中的自然变异因子表现出离散结构或不独立,则各向同性正态先验实际上会鼓励学习掩盖这种结构的表示。为了缓解这个问题,我们建议使用一个灵活的贝叶斯非参数层次聚类先验的基础上的时间边缘化的聚结(TMC)。为了将学习扩展到大数据集,我们开发了一种新的诱导点近似和推理算法。然后,我们将该方法应用于几个数据集,并检查推断的层次结构和学习的潜在空间的可解释性和实际性能。
2018-10-16 cs.LG stat.ML
Decomposition for Bayesian Networks: Local and Parallel Inference
School of Mathematics and Statistics and KLAS, Northeast Normal University(数学与统计学学院及KLAS,东北师范大学);College of Mathematics and System Sciences, Xinjiang University(数学与系统科学学院,新疆大学);Institute of Statistics and Data Science, Xinjiang University of Finance and Economics(统计与数据科学学院,新疆财经大学)
针对高维贝叶斯网络精确推理复杂度随规模指数增长的问题,提出基于有向凸子图的分解框架与最小d-分解树,实现并行推理,效率优于连接树法且保留推理精度。
2026-07-07 cs.LG stat.ML
Learning Topic Hierarchies by Tree-Directed Latent Variable Models
本文提出基于有根有向树结构约束LDA的潜变量主题模型,建立数学框架证明潜在主题层次的可识别性并推导后验收缩率界限,通过模拟和《纽约时报》数据验证了其有效性与实用性。
2024-08-26 math.ST stat.TH
Microbiome subcommunity learning with logistic-tree normal latent Dirichlet allocation
混合隶属度(MM)模型,如潜在狄利克雷分配(LDA)已被应用于微生物组成数据,以确定潜在的亚群落的微生物物种。这些亚群落对于理解微生物的生物相互作用和预测健康结果是有用的。然而,微生物组组成通常在亚群落组成中显示出实质性的跨样品异质性-即样品间共享亚群落中微生物比例的变异性-这在先前的分析中没有考虑到。因此,LDA可以产生推理,这是高度敏感的规格的数量的子社区,往往把一个单一的子社区到多个人工的。为了解决这个问题,我们将逻辑树正常(LTN)模型LDA形成一个新的MM模型。该模型允许每个子社区的组成围绕一些定义子社区的“质心”组成进行跨样本变化。结合辅助Pólya-Gamma变量,使计算效率高的崩溃块吉布斯采样器进行贝叶斯推断在这个模型下。通过考虑这种异质性,我们的新模型恢复了子社区数量规范中的推断的鲁棒性,并允许识别有意义的子社区。
2022-05-17 stat.AP stat.ML
An integration of decision trees into latent class modeling with covariates
National Institute for Research in Digital Science and Technology (Inria)(数字科学与技术国家研究院);Department of Methodology and Statistics, Tilburg University(蒂尔堡大学方法论与统计系)
该研究将决策树整合到带协变量的潜在类别分析框架中,解决了传统logistic模型处理协变量复杂交互时的缺陷,提出了可解释的新方法并给出实际示例,旨在推动相关应用研究发展。
2026-08-17 stat.ME
Inference on extremal dependence in the domain of attraction of a structured Hüsler-Reiss distribution motivated by a Markov tree with latent variables
马尔可夫树是一种概率图模型,用于由无向树的节点索引的随机向量,编码变量之间的条件独立关系。一个可能的极限分布的部分最大值的样本从这样的马尔可夫树是一个最大稳定的Hüsler-Reiss分布,其参数矩阵继承其结构从树,每个边缘贡献一个自由相关参数。我们的中心假设是,在边际标准化之后,数据生成分布处于所述Hüsler-Reiss分布的最大吸引域中,这一假设比根据图形模型生成数据的假设弱得多。即使一些变量是不可观测的(潜在的),我们表明,底层模型参数仍然是可识别的,当且仅当对应于一个潜在变量的每个节点的度至少为3。三个估计程序,矩量法的基础上,最大复合似然,和成对极值系数,提出了使用多变量峰值阈值数据时,一些变量是潜在的。一个典型的应用是树形的河流网络,其中某些位置没有数据可用。我们说明了模型和识别标准的数据集上的塞纳河,法国,高水位有两个潜在的变量。结构化的Hüsler-Reiss分布被发现很好地拟合所观察到的极值依赖模式。参数是可识别的,我们能够量化没有数据的位置之间的尾部依赖性。
2021-01-17 stat.ME
A Bayesian Survival Tree Partition Model Using Latent Gaussian Processes
生存模型用于分析各种学科中的事件发生时间数据。比例风险模型提供了可解释的参数估计值,但比例风险假设并不总是合适的。非参数模型更灵活,但往往缺乏明确的推理框架。我们提出了一个贝叶斯树划分模型,这是灵活和推理。通过后验树结构获得推断,并且通过使用潜在指数化高斯过程对每个分区中的风险函数进行建模来保持灵活性。通过拉普拉斯近似对每个划分元素中的参数进行边缘化,实现了一种高效的可逆跳马尔可夫链蒙特卡罗算法。建立了估计量的一致性性质。该方法可用于帮助确定亚组以及事件发生时间数据中的预后和/或预测生物标志物。该方法被应用到肝脏存活数据集,并与一些现有的方法模拟数据进行了比较。
2022-07-07 stat.ME
Learning General Latent-Variable Graphical Models with Predictive Belief Propagation
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学)
学习一般潜变量概率图模型是机器学习和人工智能的一个关键理论挑战。所有以前的方法,包括EM算法和谱算法,面临着严重的限制,在很大程度上限制了它们的适用性,并影响其性能。为了克服这些局限性,在本文中,我们介绍了一种新的配方的消息传递推理连接树命名为预测的信念传播,并提出了一个新的学习和推理算法的基础上,这种配方的一般潜变量图形模型。该算法将硬参数学习问题简化为一系列监督学习问题,并将不同类型的隐图模型的学习统一到一个无局部最优和统计一致的学习框架中.然后,我们给出了我们的算法的正确性的证明,并在合成和真实数据集上的实验表明,我们的算法显着优于EM算法和谱算法,同时也是数量级更快的计算。
2019-11-28 cs.AI cs.LG stat.ML
ddtlcm: An R package for overcoming weak separation in Bayesian latent class analysis via tree-regularization
本文提出R包ddtlcm,通过树正则化贝叶斯潜在类别模型解决弱类别分离和小样本下的估计难题,并提供可视化与Shiny交互工具。
2023-09-20 stat.CO
Large Scale Variational Bayesian Inference for Structured Scale Mixture Models
自然图像统计在多个尺度上表现出层次依赖性。在非阶乘潜在树模型中表示这样的先验知识可以大大提高图像去噪、修复、去卷积或重建的性能,超越标准阶乘“稀疏”方法。我们推导出一个大规模的近似贝叶斯推理算法的线性模型与非阶乘(潜在树结构)规模的混合先验。一系列去噪和修复问题的实验结果表明,大大提高了性能相比,MAP估计或推断与阶乘先验。
2012-06-27 cs.CV cs.LG stat.ML
Tree-Regularized Bayesian Latent Class Analysis for Improving Weakly Separated Dietary Pattern Subtyping in Small-Sized Subpopulations
本文提出树正则化贝叶斯潜在类别模型,通过 Dirichlet 扩散树先验在膳食模式间共享统计强度,以改善小规模亚群中弱分离膳食模式的估计,并在 496 名南美裔美国成年人数据上验证了方法效果。
2025-04-10 stat.ME
Phylogenetic latent space models for network data
CEREMADE, CNRS, Université Paris–Dauphine(巴黎第九大学数学建模与优化研究中心);Department of Decision Sciences, Bocconi University(博科尼大学决策科学系);Department of Mathematics, Imperial College London(伦敦帝国理工学院数学系)
本文提出一种基于系统发育推断的潜在空间模型,通过分支布朗运动建模节点特征向量的生成过程,学习节点特征间的树状依赖关系,揭示网络的多尺度结构。
2026-04-03 stat.ME
Density Regression with Bayesian Additive Regression Trees
对整个密度如何随协变量变化进行建模是均值和分位数回归的重要但具有挑战性的推广。现有的密度回归方法主要包括协变量依赖的离散混合模型,我们考虑了一个连续的潜变量模型,我们称之为DR-BART。通过贝叶斯加性回归树(BART)的一个新的应用构建的先验映射的潜变量的观察数据。我们证明了我们的模型引起的后验集中在足够光滑的真实生成函数周围。我们还分析了DR-BART在一组具有挑战性的模拟示例上的性能,在这些示例中,它优于贝叶斯密度回归的各种其他方法。最后,我们将DR-BART应用于来自教育测试和经济学的两个真实数据集,以研究学生的成长并预测教育回报。我们提出的采样器是有效的,并允许一个利用巴士的灵活性,在许多应用设置的整个分布的响应是主要的利益。此外,我们的计划在BART内的潜变量的分裂有利于其未来的应用程序,可以通过潜变量,如涉及层次或时间序列数据描述的其他类别的模型。
2021-12-22 stat.ME
Classification and categorical inputs with treed Gaussian process models
认识到树型高斯过程(TGP)模型作为非参数回归的一个可解释的和节俭的模型的成功,我们试图将该模型扩展到分类。树模型和高斯过程(GP),分别享有巨大的成功,在分类问题的应用。前者的一个例子是Bayesian CART。在后者中,实值GP输出可以用于经由潜变量的分类,潜变量通过softmax函数提供分类规则。我们制定了一个贝叶斯模型的平均计划,结合这两个模型,并描述了一个蒙特卡罗方法,从全后验分布与联合提案的树拓扑结构和GP参数对应的潜在变量在树叶的采样。我们专注于有效的采样的潜变量,这是很重要的,以获得良好的混合在扩展的参数空间。树结构是特别有助于这项任务,也为发展一个有效的计划,处理分类预测,这通常出现在分类问题。我们提出的分类TGP(CTGP)的方法说明了合成和真实数据集的集合。我们评估性能相对于现有的方法,从而显示如何CTGP是高度灵活的,提供易处理的推理,产生的规则,易于解释,并表现良好的样本。
2010-09-26 stat.CO stat.ME
Variational Approximations between Mean Field Theory and the Junction Tree Algorithm
RWCP, Theoretical Foundation SNN, University of Nijmegen(RWCP、SNN 理论基础、奈梅亨大学)
近年来,变分近似,如平均场近似受到了极大的关注。我们扩展了标准的平均场方法,通过使用一个近似的分布,分解成集群潜力。这包括无向图,有向无环图和连接树。我们推导了优化团簇势的广义平均场方程。我们表明,该方法的桥梁之间的差距标准的平均场近似和精确的连接树算法。此外,我们解决的问题,如何选择的图形结构的近似分布。从广义平均场方程,我们推导出规则,以简化结构的近似分布在不影响质量的近似。我们还展示了该方法如何适合于目前流行的其他一些变分近似。
2013-01-16 cs.AI cs.LG stat.ML
Junction Tree Variational Autoencoder for Molecular Graph Generation
MIT Computer Science & Artificial Intelligence Lab(麻省理工学院计算机科学与人工智能实验室)
我们寻求基于特定化学性质的分子设计自动化。在计算方面,这项任务涉及分子图的连续嵌入和生成。我们的主要贡献是直接实现分子图,以前的任务接近生成线性SMILES字符串,而不是图形。我们的连接树变分自编码器在两个阶段中生成分子图,首先在化学子结构上生成树结构的支架,然后将它们组合成具有图形消息传递网络的分子。这种方法使我们能够逐步扩展分子,同时在每一步都保持化学有效性。我们评估我们的模型在多个任务,从分子生成到优化。在这些任务中,我们的模型比以前的最先进的基线有很大的优势。
2019-03-29 cs.LG cs.NE stat.ML
Hidden Markov Pólya trees for high-dimensional distributions
波利亚树(PT)过程是一种通用的贝叶斯非参数模型,在一系列推理问题中得到了广泛的应用。它有一个简单的解析形式和后验计算归结为沿样本空间上的划分树的β-二项式共轭更新。PT模型的最新发展表明,这些模型的性能可以大大提高(i)允许分区树,以适应底层分布的结构和(ii)纳入潜在的状态变量,表征底层分布的局部特征。然而,PT的重要限制仍然存在,包括(i)关于划分树的选择的后验推断的敏感性,以及(ii)关于样本空间的维度的可扩展性的缺乏。我们考虑PT模型的建模策略,它结合了一个灵活的先验的分区树以及潜在的状态与马尔可夫依赖。我们介绍了一种混合算法相结合的序贯蒙特卡罗(SMC)和递归消息传递后采样,可以扩展到100维。虽然我们的算法的描述假设一个单一的计算机环境,它有可能被实现在分布式系统上,以进一步提高可扩展性。此外,我们还研究了树结构和潜在状态在后验模型下的大样本性质。我们在密度估计和两组比较中进行了大量的数值实验,结果表明,灵活的划分可以大大提高PT模型在这两个推理任务中的性能。我们展示了一个应用程序的质量细胞计数数据集,19个维度和超过200,000个观察。
2021-12-07 stat.AP stat.CO stat.ME
An Exact Junction-Tree Extended Formulation for Optimal Classification Trees
The Hong Kong Polytechnic University(香港理工大学)
提出一种基于联结树的精确线性规划形式用于有界深度二元特征分类树,通过精确约简缩小模型,支持列生成与消息传递求解,显著提升可证明最优性的实例数并大幅降低运行时间。
2026-09-22 cs.LG
Latent protein trees
无偏见,无标记的蛋白质组学正在成为一种强大的技术,用于测量几乎任何生物样品中的蛋白质表达。预处理后这些测量的输出是每个样本的特征及其相关强度的集合。数据中的特征子集来自相同的肽,肽的子集来自相同的蛋白质,并且蛋白质的子集处于相同的生物学途径中,因此,这些数据中固有的非常复杂和信息丰富的相关结构是可能的。最近利用这些数据的尝试通常集中在与实验相关的特定表型相关的单个特征的识别上。然而,到目前为止,还没有公开的方法直接模拟我们所知道的多个不同层次的相关性结构。在这里,我们提出了一个层次贝叶斯模型,这是专门设计的无偏,无标记的蛋白质组学模型的相关结构。该模型利用来自肽测序和数据库查找的部分识别信息以及在数据中观察到的相关性来适当地将特征压缩到潜在蛋白质中并估计它们的相关结构。我们证明了该模型的有效性,使用人工/基准数据,并在一系列的蛋白质组学测量的背景下,从收集的志愿者谁感染了两种不同的病毒性流感病毒株的血浆。
2013-12-05 stat.AP
A Time and Space Efficient Junction Tree Architecture
University College London(伦敦大学学院)
联合树算法是一种计算布尔多变量概率分布的边际的方法,它对随机变量集进行因子分解。联合树算法首先构造一棵树,称为联合树,其顶点是随机变量的集合。然后,该算法执行一个广义版本的联合树上的信念传播。Shafer-Shenoy和Hugin架构是执行这种信念传播的两种方式,以不同的方式权衡时间和空间复杂度:Hugin传播至少与Shafer-Shenoy传播一样快,并且在我们具有高度数的大顶点的情况下明显更快。然而,这种速度的增加是以增加的空间复杂度为代价的。本文首先介绍了一个简单的新颖的架构,STK-1,它具有两全其美:Hugin传播的速度和Shafer-Shenoy传播的低空间需求。一个更复杂的新的架构,n-2,然后介绍了,只有线性的任何顶点的最大基数的一个因素,时间和空间复杂度性至少一样好的n-1,在我们有大的顶点的情况下,高程度的显着快于n-1。
2014-12-23 cs.AI cs.LG
Log-Linear Bayesian Additive Regression Trees for Multinomial Logistic and Count Regression Models
本文介绍了对数线性模型的贝叶斯加性回归树(BART),包括多项逻辑斯谛回归和计数回归,其中包含零膨胀和过度离差。BART已被应用于非参数均值回归和二进制分类问题在一系列的设置。然而,现有的应用程序的BART已被限制为高斯“数据”,无论是观察到的或潜在的模型。这主要是因为有效的MCMC算法可用于高斯似然。但是,虽然许多有用的模型是自然铸造的潜在高斯变量,许多其他人不是-包括本文考虑的模型。我们开发了新的数据增强策略,并仔细指定这些新模型的先验分布。像原来的BART先验一样,新的先验分布经过精心构造和校准,在防止过拟合的同时具有灵活性。新的先验和数据增强方案使我们能够在高斯模型的背景之外实现一个有效的MCMC采样器。这些新方法的效用说明了与以前公布的数据集的例子和应用程序。
2019-08-26 stat.ME
Spectral neighbor joining for reconstruction of latent tree models
Yale University(耶鲁大学);Weizmann Institute of Science(魏茨曼科学研究所)
在多个科学应用中的一个常见假设是,观察到的数据的分布可以通过潜在树图形模型来建模。一个重要的例子是进化树遗传学,它模拟了一组观察到的生物体的进化谱系。给定树的叶子上的随机变量的一组独立实现,一个关键的挑战是推断底层的树拓扑。在这项工作中,我们开发了光谱邻居连接(SNJ),一种新的方法来恢复潜在树图形模型的结构。给定一个包含所有观测变量对之间的相似性度量的矩阵,SNJ计算观测变量组之间的凝聚力的谱度量。我们证明了SNJ是一致的,并推导出一个充分条件,从估计的相似矩阵正确的树恢复。结合这一条件与相似性矩阵上的测量结果的浓度,我们约束了恢复树的高概率所需的样本数。我们说明通过广泛的模拟相比,其他几种重建方法,SNJ需要更少的样本,以准确地恢复大量的树叶或长边的树。
2020-09-23 cs.LG stat.ML
Guaranteed Scalable Learning of Latent Tree Models
University of Maryland(马里兰大学);Microsoft(微软);HEALTH[at]SCALE;Flatiron Health;Georgia Institute of Technology(佐治亚理工学院);California Institute of Technology(加州理工学院)
我们提出了一个集成的方法,在潜在的树图模型的结构和参数估计。我们的整体方法遵循“分而治之”的策略,在一小组变量上学习模型,并迭代地合并到一个全局解决方案中。结构学习涉及组合操作,如最小生成树的建设和局部递归分组;参数学习是基于矩量法和张量分解。对于离散分布、高斯分布和高斯混合分布的线性多变量隐树模型,该方法能够以较低的样本复杂度正确地恢复未知的树结构和模型参数.我们的批量异步并行算法是并行实现的,并行计算的复杂性只增加了数学的变量的数量和线性的每个变量的维数。
2019-12-17 cs.LG stat.ML
Geometry-driven Bayesian Inference for Ultrametric Covariance Matrices
本文针对超度量协方差矩阵的贝叶斯推断问题,通过建立其与系统发育树空间的双射并利用拉回几何,开发了采样算法,并在模拟和癌症应用中验证了其有效性。
2025-04-24 stat.ME
Hyperbolic Latent Space Models for Network Embedding: Model Specification and Bayesian Inference
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Kentucky(肯塔基大学);The Ohio State University(俄亥俄州立大学)
本文提出双曲潜空间模型,通过贝叶斯推断解决网络嵌入中的树状结构和厚尾度分布问题,强调温度参数对网络拓扑的重要性。
2026-06-11 stat.ME
The FacT: Taming Latent Factor Models for Explainability with Factorization Trees
Peking University(北京大学);University of Virginia(弗吉尼亚大学)
潜在因素模型在个性化推荐方面取得了巨大的成功,但它们也是出了名的难以解释。在这项工作中,我们整合回归树来指导潜在因素模型的学习,并使用学习的树结构来解释产生的潜在因素。具体来说,我们建立回归树上的用户和项目分别与用户生成的评论,并关联到树上的每个节点的潜在配置文件来表示用户和项目。随着回归树的生长,潜在的因子在树结构的正则化作用下逐渐细化。因此,我们能够通过查看回归树上每个因子的路径来跟踪潜在配置文件的创建,从而作为对所产生建议的解释。两个大集合的亚马逊和Yelp评论的广泛的实验证明了我们的模型的优势,几个有竞争力的基线算法。此外,我们广泛的用户研究也证实了我们的模型产生的可解释的建议的实用价值。
2019-06-03 cs.IR cs.LG stat.ML
Unfolding Latent Tree Structures using 4th Order Tensors
Georgia Institute of Technology(佐治亚理工学院)
从许多观察到的变量中发现潜在的结构是一项重要而又具有挑战性的学习任务。现有的发现潜在结构的方法通常需要未知数量的隐藏状态作为输入。在本文中,我们提出了一种基于四元组的方法,这是\emph{agnostic}这个数字。的关键贡献是一个新的秩表征的张量与边缘分布的四重峰。这种特性使我们能够设计一个基于\emph{nuclear norm}的测试来解决四重关系。然后,我们使用四重测试作为一个子程序,在一个分而治之的算法恢复潜在的树结构。在较弱的条件下,该算法是相容的,其错误概率随样本量的增加呈指数衰减。我们证明,所提出的方法相比,有利的替代品。在真实世界的股票数据集中,它还发现有意义的变量分组,并生成更好地拟合数据的模型。
2012-10-03 cs.LG stat.ML
Identifiability and Unmixing of Latent Parse Trees
Microsoft Research(微软研究院);Google Research(谷歌研究院)
本文从两个方面探讨了句法分析模型的无监督学习。第一,哪些模型可以从无限数据中识别出来?我们使用一个通用的技术,数值检查的雅可比矩阵的秩的基础上可识别性,并将其应用到几个标准的选区和依赖解析模型。第二,对于可识别的模型,我们如何有效地估计参数?EM遭受局部最优,而最近的工作,使用谱方法不能直接应用,因为不同的句子的解析树的拓扑结构。我们开发了一种策略,unmixing,它处理这种额外的复杂性,限制类的解析模型。
2012-06-14 cs.LG stat.ML
Tree-Wasserstein Distance for High Dimensional Data with a Latent Feature Hierarchy
Viterbi Faculty of Electrical and Computer Engineering, Technion(以色列理工学院维特比电气与计算机工程学院);Department of Mathematics, Yale University(耶鲁大学数学系)
提出一种针对具有潜在特征层次结构的高维数据的树Wasserstein距离,通过扩散几何嵌入多尺度双曲空间并解码树结构,高效恢复潜在层次,在词-文档和单细胞RNA测序数据上优于现有方法。
2025-02-24 cs.LG stat.ML
Spectral Methods for Learning Multivariate Latent Tree Structure
UC Irvine(加州大学欧文分校);UC San Diego(加州大学圣迭戈分校);Microsoft Research New England(微软新英格兰研究院);Wharton School, University of Pennsylvania(宾夕法尼亚大学沃顿商学院);Carnegie Mellon University(卡内基梅隆大学);Rutgers University(罗格斯大学)
这项工作考虑的问题,学习多变量线性树模型的结构,其中包括各种有向树图形模型与连续的,离散的,和混合的潜变量,如线性高斯模型,隐马尔可夫模型,高斯混合模型,马尔可夫进化树。该设置是我们仅具有来自树中的某些观察变量的样本的设置,并且我们的目标是估计树结构(即,底层隐变量如何相互连接以及如何连接到观察变量的图)。我们提出了谱递归递归算法,一个有效的和简单的自下而上的过程恢复的树结构从独立的样本的观察变量。我们的有限样本大小范围的确切恢复的树结构揭示了一定的自然依赖于基本的统计和结构特性的基本联合分布。此外,我们的样本复杂度保证没有显式依赖于观测变量的维数,使算法适用于许多高维设置。在我们的算法的核心是一个光谱四重测试,用于确定相对拓扑的四个变量从二阶统计。
2011-11-08 cs.LG stat.ML
Latent Tree Analysis
The Hong Kong University of Science & Technology(香港科技大学);The Education University of Hong Kong(香港教育大学)
潜树分析试图使用潜变量树来对一组随机变量之间的相关性进行建模。它是作为对潜在类别分析的改进而提出的,潜在类别分析是一种广泛用于社会科学和医学的方法,用于识别人口中的同质子群。它为许多机器学习领域提供了新的和富有成效的观点,包括聚类分析,主题检测和深度概率建模。本文综述了潜在树分析的研究及其在实际中的应用。
2016-10-01 cs.LG
Semi-Supervised Junction Tree Variational Autoencoder for Molecular Property Prediction
Simon Fraser University(西蒙弗雷泽大学)
分子表示学习对于解决许多药物发现和计算化学问题至关重要。由于分子结构的复杂性和化学空间的广阔性,这是一个具有挑战性的问题。分子的图形表示比传统的表示(如分子指纹)更具表现力。因此,它们可以提高机器学习模型的性能。我们提出了SeMole,一种增强连接树变分自编码器的方法,这是一种最先进的分子图生成模型,具有半监督学习。SeMole旨在通过利用未标记数据来提高标记数据有限时分子性质预测的准确性。我们强制该模型生成分子图的条件下,通过将属性的潜在表示的目标属性。我们提出了一个额外的预训练阶段,以改善我们的半监督生成模型的训练过程。我们使用三种不同的分子特性对ZINC数据集进行了实验评估,并证明了半监督的好处。
2023-01-15 cs.LG physics.chem-ph
A Survey on Latent Tree Models and Applications
HKUST(香港科技大学)
在数据分析中,潜变量发挥着核心作用,因为它们有助于对从生物科学到人类科学的各种现象提供强有力的见解。潜在树模型,一种特殊类型的概率图模型,值得关注。它的简单结构-一棵树-允许简单而有效的推理,而它的潜在变量捕获复杂的关系。在过去的十年中,潜在树模型已经受到显着的理论和方法的发展。在这篇综述中,我们提出了一个全面的研究这个模型。首先,我们总结了该模型的关键思想。其次,我们解释如何有效地从数据中学习。第三,我们说明了它的使用在三种类型的应用程序:潜在的结构发现,多维聚类和概率推理。最后,我们总结了这一领域的未来研究方向。
2014-02-04 cs.LG
Spectral Top-Down Recovery of Latent Tree Models
Yale University(耶鲁大学);Weizmann Institute of Science(魏茨曼科学研究所)
用潜在树图模型对高维数据的分布进行建模是多个科学领域中流行的方法。一个常见的任务是推断底层的树结构,只给出其终端节点的观察。许多树恢复算法是计算密集型的,这限制了它们对中等大小的树的适用性。对于大型树,一种常见的方法,称为分治法,是分两步恢复树结构。首先,分别恢复终端节点的多个可能随机子集的结构。第二步,合并得到的子树,形成一个完整的树。在这里,我们开发了谱自上而下恢复(STDR),这是一种确定性的分治方法,用于推断大型潜在树模型。与以前的方法不同,STDR以非随机的方式划分终端节点,基于与观察节点相关的合适的拉普拉斯矩阵的Fiedler向量。我们证明,在一定的条件下,这种划分是一致的树结构。这反过来又导致了一个明显更简单的合并过程的小子树。我们证明了STDR是统计上一致的,并限制了准确恢复树所需的样本数量。使用模拟数据从几个常见的树模型在遗传学,我们证明了STDR具有显着的优势,在运行时,提高或类似的准确性。
2021-12-07 cs.LG q-bio.PE stat.ML
Learning Latent Trees with Stochastic Perturbations and Differentiable Dynamic Programming
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学)
我们将投影依赖树视为概率模型中的潜在变量,并以有利于下游任务的方式诱导它们,而不依赖于任何直接的树监督。我们的方法依赖于Gumbel扰动和可微动态规划。与以前的潜在树学习方法不同,我们随机采样全局结构,我们的解析器是完全可微的。我们说明了它的有效性情感分析和自然语言推理任务。我们还研究了它的合成结构诱导任务的性质。消融研究强调的重要性,随机性和约束潜在的结构是投影树。
2019-06-24 cs.CL cs.LG
Latent Tree Models and Approximate Inference in Bayesian Networks
The Hong Kong University of Science and Technology(香港科技大学)
提出了一种新的贝叶斯网络近似推理方法。这个想法是从BN中采样数据,离线从数据中学习潜在树模型(LTM),在线时,使用LTM而不是原始BN进行推理。因为LTM是树结构的,所以推理需要线性时间。同时,它们可以表示叶节点之间的复杂关系,因此近似精度通常很好。经验证据表明,我们的方法可以实现良好的近似精度在较低的在线计算成本。
2014-01-15 cs.LG
EM's Convergence in Gaussian Latent Tree Models
MIT(麻省理工学院)
我们研究了对数似然函数的优化景观和期望最大化(EM)算法在潜在高斯树模型中的收敛性,即树结构的高斯图模型,其叶节点是可观察的,非叶节点是不可观察的。我们证明了种群对数似然的唯一非平凡平稳点是其全局最大值,并建立了期望最大化算法保证收敛到它在单潜变量的情况下。我们的研究结果的景观的对数似然函数在一般的潜在树模型提供了支持的最大似然为基础的方法,在这种设置的广泛的实际应用。我们的EM算法的结果扩展了一个新兴的工作线上获得全局收敛的保证,这个著名的算法。我们证明了我们的结果的非平凡的驻点的对数似然认为,从EM更新得到的多项式方程组的某个系统有一个独特的非平凡的解决方案。EM算法的全局收敛性是通过论证所有平凡不动点都是高阶鞍点来实现的。
2022-11-23 cs.LG math.ST stat.ML
Robustifying Algorithms of Learning Latent Trees with Vector Variables
National University of Singapore(新加坡国立大学)
我们考虑学习高斯潜在树模型的结构与向量观测时,其中的一个子集是任意损坏。首先,我们给出了递归递归搜索(RG)和Chow-Liu递归搜索(CLRG)的样本复杂度,而不假设有效深度在观察到的节点数中有界,显著推广了Choi等人的结果。(2011)。我们发现,在CLRG的Chow-Liu初始化大大降低了RG的样本复杂性,从指数的直径的树,只有对数的直径的隐马尔可夫模型(HMM)。其次,我们鲁棒RG,CLRG,邻居连接(NJ)和频谱NJ(SNJ)通过使用截断内积。这些鲁棒算法可以容忍的腐败数量的干净的样本的数量的平方根。最后,我们得出了第一个已知的实例相关的不可能性结果的结构学习的潜在树。通过比较CLRG和NJ的样本复杂度和不可能性结果,验证了CLRG和NJ的鲁棒版本的最优性。
2021-10-25 cs.IT cs.LG math.IT
Robust estimation of latent tree graphical models: Inferring hidden states with inexact parameters
Weizmann Institute(魏茨曼研究所);UC Berkeley(加州大学伯克利分校);UCLA(加州大学洛杉矶分校)
隐树图模型广泛应用于计算生物学、信号和图像处理以及网络断层扫描。在这里,我们设计了一个新的有效的,潜在的树模型,包括高斯和离散,可逆的模型,显着提高了以前的样本要求范围的估计过程。我们的技术是基于一个新的隐藏的状态估计器,这是强大的估计参数的不准确性。更准确地说,我们证明了潜在树模型可以估计高概率在所谓的Kesten-Stigum制度与$O(log^2 n)$样本,其中$n$是节点的数量。
2011-09-21 cs.LG math.PR math.ST
StructVAE: Tree-structured Latent Variable Models for Semi-supervised Semantic Parsing
Carnegie Mellon University(卡内基梅隆大学)
语义解析是将自然语言(NL)话语转换为形式意义表示(MR)的任务,其通常表示为树结构。用其对应的MR注释NL话语是昂贵且耗时的,因此标记数据的有限可用性通常成为数据驱动的监督模型的瓶颈。我们介绍了StructVAE,变分自动编码模型的半监督语义解析,学习既从有限数量的并行数据,并随时可用的未标记的NL话语。StructVAE将未标记数据中未观察到的潜在MR建模为树结构的潜在变量。在ATIS域上的语义解析和Python代码生成的实验表明,使用额外的未标记数据,StructVAE优于强监督模型。
2018-06-20 cs.CL cs.LG
Sparsity regularization via tree-structured environments for disentangled representations
McGill University(麦吉尔大学);Mila;Valence Labs(Valence实验室);Université de Montréal(蒙特利尔大学);Samsung - SAIT AI Lab(三星-SAIT人工智能实验室)
针对多相关环境下的因果表征学习问题,提出基于树结构的稀疏正则化方法TBR,利用环境间映射的稀疏变化约束识别潜在因果变量,在模拟和真实基因表达数据上均取得优于现有方法的效果。
2024-06-10 cs.LG stat.ML
Latent Tree Models for Hierarchical Topic Detection
The Hong Kong University of Science and Technology(香港科技大学);Ant Financial Services Group(蚂蚁金融服务集团);The Education University of Hong Kong(香港教育大学)
我们提出了一种新的分层主题检测方法,主题是通过多种方式聚类文件。具体来说,我们使用一类称为分层潜在树模型(HLTM)的图形模型来建模文档集合。HLTM底层的变量是观察到的二进制变量,表示文档中单词的存在/不存在。其他级别的变量是二进制潜变量,最低潜级别的变量表示单词同现模式,较高级别的变量表示较低级别的模式同现。每个潜在变量给出了文档的软分区,分区中的文档簇被解释为主题。在高层次的潜在变量捕获长范围的词共现模式,从而给主题更一般的主题,而那些在低层次的捕获短范围的词共现模式,并给主题更具体的主题。与基于LDA的主题模型不同,HLTM不引用文档生成过程,而是使用word变量而不是token变量。它们使用树结构来建模主题和词之间的关系,这有利于发现有意义的主题和主题层次。
2016-12-21 cs.CL cs.IR cs.LG
Recursive Top-Down Production for Sentence Generation with Latent Trees
Mila / University of Montreal(Mila / 蒙特利尔大学);Dept. of Linguistics(语言学系);Mila / McGill University(Mila / 麦吉尔大学);Microsoft Research(微软研究院);Canada CIFAR AI Chair(加拿大CIFAR人工智能主席)
我们为自然语言和合成语言的上下文无关文法建立了递归产生式性质的模型。为此,我们提出了一个动态规划算法,边缘化的潜在树结构与$N$叶,使我们能够计算潜在树模型下的$N$令牌序列的可能性,我们最大限度地训练递归神经函数。我们展示了两个合成任务的性能:SCAN(Lake和Baroni,2017),它在长度分割和英语问题形成方面优于以前的模型(McCoy等人,2020),其中,它利用地面实况树结构执行对解码器的解码。我们还展示了在Multi 30 k数据集上进行德英翻译的实验结果(Elliott等人,2016),并定性分析了我们的模型为SCAN任务和德英翻译任务学习的诱导树结构。
2020-10-09 cs.CL cs.LG
DeepTree: Modeling Trees with Situated Latents
Purdue University(普渡大学);Adobe Research(奥多比研究院)
提出DeepTree方法,通过训练情境潜空间局部预测分支生长,逐步生成多样树形,无需手动定义参数,并支持环境响应编码,验证了其有效性。
2023-05-09 cs.CV cs.GR cs.LG
Unsupervised learning of transcriptional regulatory networks via latent tree graphical models
Microsoft Research(微软研究院);Massachusetts Institute of Technology(麻省理工学院);University of California Irvine(加州大学尔湾分校);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Morgridge Institute for Research(莫格里奇研究所)
基因表达是转录活性和细胞状态的易于观察的定量,其使得能够恢复调节子与其靶基因之间的关系。从基因表达数据重建转录调控网络是一个备受关注的问题,但以往的工作往往作出简化(但不切实际)的假设,即调控活性由mRNA水平表示。我们使用潜在树图形模型来分析基因表达,而不依赖于转录因子表达作为调节活性的代理。潜在树模型是一种马尔可夫随机场,包括观察到的基因变量和潜在(隐藏)变量,它们在马尔可夫树上分解。通过有效的无监督学习方法,我们确定哪些基因组由隐藏的调节因子共同调节,以及这些调节因子的活性水平。后处理将这些发现的潜在变量中的许多注释为特定的转录因子或转录因子组。其他潜变量不一定代表物理调节因子,而是揭示了基因表达中的隐藏结构,例如共享的生物学功能。我们将潜在树图形模型应用于酵母应激反应数据集。除了新的预测,如条件特异性结合的转录因子Msn 4,我们的模型恢复了许多已知的方面的酵母调控网络。这些包括共调节基因组、条件特异性调节因子活性和转录因子之间的组合调节。潜在树图形模型是用于分析基因表达数据的通用方法,其不需要关于存在哪些可能的调控因子、调控因子活性或转录因子物理结合的先验知识。
2016-09-20 cs.LG q-bio.MN
Progressive EM for Latent Tree Models and Hierarchical Topic Detection
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong Institute of Education(香港教育学院)
层次潜在树分析(HLTA)是最近提出的一种新的主题检测方法。它与基于LDA的方法在主题定义、主题-文档关系和学习方法上有着根本的不同。它已被证明可以发现更连贯的主题和更好的主题层次结构。然而,HLTA依赖于期望最大化(EM)算法进行参数估计,因此不足以有效地处理大型数据集。在本文中,我们提出了一种方法,大大加快HLTA使用的技术的启发,在矩方法的最新进展。实验结果表明,该方法大大提高了HLTA的效率。它是最先进的基于LDA的分层主题检测方法的效率,并发现更好的主题和主题层次。
2015-08-05 cs.CL cs.IR cs.LG
Learning and Testing Latent-Tree Ising Models Efficiently
National University of Singapore(新加坡国立大学);MIT(麻省理工学院)
本文针对潜树伊辛模型提出时间和样本高效的学习与检验算法,通过叶对边缘分布的总变差距离局部化结果改进学习精度并降低检验所需样本量。
2023-07-10 cs.DS cs.LG math.PR
A Novel Document Generation Process for Topic Detection based on Hierarchical Latent Tree Models
The Hong Kong University of Science and Technology(香港科技大学)
我们提出了一种新的文档生成过程的基础上,层次潜在树模型(HLTM)从数据中学习。HLTM在底部有一层观察到的单词变量,在顶部有多层潜变量。对于每一个文档,我们首先通过逻辑采样逐层采样潜变量的值,然后根据潜变量的值绘制单词的相对频率,最后使用相对单词频率为文档生成单词。这项工作的动机是考虑到与HLTM的字数。与基于LDA的分层文档生成过程相比,新的过程以更少的参数实现了更好的模型拟合。它还生成更有意义的主题和主题层次结构。这是新的国家的最先进的分层主题检测。
2019-06-28 cs.CL cs.IR cs.LG
FastTrees: Parallel Latent Tree-Induction for Faster Sequence Encoding
Nanyang Technological University(南洋理工大学)
从序列数据中诱导潜在树结构是当今NLP研究领域的一个新兴趋势,主要是通过最近的方法,如Gumbel LSTM和有序神经元(ON-LSTM)推广。本文提出了FASTTREES,一个新的通用神经模块的快速序列编码。与以前大多数认为递归是树归纳所必需的工作不同,我们的工作探索了并行树归纳的概念,即,以一种可并行的、非自回归的方式,将我们的模型与分层归纳偏差相结合。为此,我们提出的FASTTREES在四个成熟的序列建模任务上实现了与ON-LSTM竞争或优越的性能,即,语言建模、逻辑推理、情感分析和自然语言推理。此外,我们表明,FASTTREES模块可以应用于增强Transformer模型,实现三个序列转导任务(机器翻译,主谓一致性和数学语言理解)的性能增益,铺平了道路,模块化树归纳模块。总体而言,我们在逻辑推理任务上的表现优于现有的最先进模型+4%,在数学语言理解上的表现优于现有的最先进模型+8%。
2021-11-28 cs.CL cs.LG
Handling Collocations in Hierarchical Latent Tree Analysis for Topic Modeling
The Education University of Hong Kong(香港教育大学);The Hong Kong University of Science and Technology(香港科技大学)
主题建模是近年来机器学习中最活跃的研究领域之一。分层潜在树分析(HLTA)最近已被提出用于分层主题建模,并已显示出优于国家的最先进的方法的性能。然而,HLTA中使用的模型具有树结构,不能适当地表示共享同一个词的多词表达式的不同含义。因此,我们提出了一种方法提取和选择搭配作为HLTA的预处理步骤。在运行HLTA之前,在词袋模型中用单个标记替换选定的搭配。我们的实证评估表明,所提出的方法导致更好的性能HLTA的四个数据集测试。
2020-07-10 cs.CL cs.IR cs.LG
Latent Logic Tree Extraction for Event Sequence Explanation from LLMs
School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院);School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院);Skywork AI(Skywork AI公司)
本文提出一种基于时间点过程与摊销EM框架的方法,利用LLM先验和GFlowNet从事件序列中高效提取隐式逻辑树解释,并通过在线轻量级模型迭代获取最相关规则,在多个实验中验证了其性能与适应性。
2024-06-28 cs.CL cs.LG
Multi-Object Classification and Unsupervised Scene Understanding Using Deep Learning Features and Latent Tree Probabilistic Models
University of California, Irvine(加州大学欧文分校)
深度学习已经在ImageNet等数据集上显示出最先进的分类性能,这些数据集在每个图像中包含一个对象。然而,多目标分类更具挑战性。我们提出了一个统一的框架,利用多种机器学习方法的优势,即深度学习,概率模型和内核方法,以获得最先进的性能在Microsoft COCO上,由非图标图像。我们通过条件潜在树概率模型(CLTM)将上下文信息纳入自然图像中,其中对象同现以从预训练的Imagenet CNN中提取的fc 7特征为条件作为输入。我们学习的CLTM树结构使用条件成对概率的对象同现,通过内核方法估计,我们学习它的节点和边缘的潜力,通过训练一个新的3层神经网络,它需要FC 7功能作为输入。对象分类是通过对学习条件树模型的推理进行的,我们在MS-COCO上获得了显着的精度-召回率和F-措施,特别是对于困难的对象类别。此外,CLTM中的潜变量捕获场景信息:具有潜在节点的顶部激活的图像具有共同的主题,例如草原或食物场景等。此外,我们表明,仅对推断的潜在节点进行简单的k均值聚类显着提高了MIT-Indoor数据集上的场景分类性能,而无需任何重新训练,并且在训练期间不使用场景标签。因此,我们提出了一个统一的框架,多目标分类和无监督场景理解。
2015-05-02 cs.CV cs.LG
Hyperbolic Latent Geometry for Tree-Structured Prototype Networks: A Local-vs-Global Trade-off
Harvard University(哈佛大学)
该研究在分层分类模型中,对比庞加莱球与欧氏空间作为树结构原型网络的潜在流形,发现双曲流形能更好保留近邻图拓扑,在局部检索任务上优于欧氏流形,为两类潜在几何提供经验区分。
2026-08-27 cs.AI cs.LG