Vectorized Bayesian Inference for Latent Dirichlet-Tree Allocation
Concordia Institute for Information Systems Engineering(康科迪亚信息系统工程研究所);Concordia University(康科迪亚大学)
本文提出潜在狄利克雷树分配(LDTA),通过引入树状先验改进LDA,实现高效向量化推断以增强主题建模能力。
2026-02-21 cs.LG stat.ML
Spectral neighbor joining for reconstruction of latent tree models
Yale University(耶鲁大学);Weizmann Institute of Science(魏茨曼科学研究所)
在多个科学应用中的一个常见假设是,观察到的数据的分布可以通过潜在树图形模型来建模。一个重要的例子是进化树遗传学,它模拟了一组观察到的生物体的进化谱系。给定树的叶子上的随机变量的一组独立实现,一个关键的挑战是推断底层的树拓扑。在这项工作中,我们开发了光谱邻居连接(SNJ),一种新的方法来恢复潜在树图形模型的结构。给定一个包含所有观测变量对之间的相似性度量的矩阵,SNJ计算观测变量组之间的凝聚力的谱度量。我们证明了SNJ是一致的,并推导出一个充分条件,从估计的相似矩阵正确的树恢复。结合这一条件与相似性矩阵上的测量结果的浓度,我们约束了恢复树的高概率所需的样本数。我们说明通过广泛的模拟相比,其他几种重建方法,SNJ需要更少的样本,以准确地恢复大量的树叶或长边的树。
2020-09-23 cs.LG stat.ML
Guaranteed Scalable Learning of Latent Tree Models
University of Maryland(马里兰大学);Microsoft(微软);HEALTH[at]SCALE;Flatiron Health;Georgia Institute of Technology(佐治亚理工学院);California Institute of Technology(加州理工学院)
我们提出了一个集成的方法,在潜在的树图模型的结构和参数估计。我们的整体方法遵循“分而治之”的策略,在一小组变量上学习模型,并迭代地合并到一个全局解决方案中。结构学习涉及组合操作,如最小生成树的建设和局部递归分组;参数学习是基于矩量法和张量分解。对于离散分布、高斯分布和高斯混合分布的线性多变量隐树模型,该方法能够以较低的样本复杂度正确地恢复未知的树结构和模型参数.我们的批量异步并行算法是并行实现的,并行计算的复杂性只增加了数学的变量的数量和线性的每个变量的维数。
2019-12-17 cs.LG stat.ML
Recursive Top-Down Production for Sentence Generation with Latent Trees
Mila / University of Montreal(Mila / 蒙特利尔大学);Dept. of Linguistics(语言学系);Mila / McGill University(Mila / 麦吉尔大学);Microsoft Research(微软研究院);Canada CIFAR AI Chair(加拿大CIFAR人工智能主席)
我们为自然语言和合成语言的上下文无关文法建立了递归产生式性质的模型。为此,我们提出了一个动态规划算法,边缘化的潜在树结构与$N$叶,使我们能够计算潜在树模型下的$N$令牌序列的可能性,我们最大限度地训练递归神经函数。我们展示了两个合成任务的性能:SCAN(Lake和Baroni,2017),它在长度分割和英语问题形成方面优于以前的模型(McCoy等人,2020),其中,它利用地面实况树结构执行对解码器的解码。我们还展示了在Multi 30 k数据集上进行德英翻译的实验结果(Elliott等人,2016),并定性分析了我们的模型为SCAN任务和德英翻译任务学习的诱导树结构。
2020-10-09 cs.CL cs.LG
Unsupervised learning of transcriptional regulatory networks via latent tree graphical models
Microsoft Research(微软研究院);Massachusetts Institute of Technology(麻省理工学院);University of California Irvine(加州大学尔湾分校);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Morgridge Institute for Research(莫格里奇研究所)
基因表达是转录活性和细胞状态的易于观察的定量,其使得能够恢复调节子与其靶基因之间的关系。从基因表达数据重建转录调控网络是一个备受关注的问题,但以往的工作往往作出简化(但不切实际)的假设,即调控活性由mRNA水平表示。我们使用潜在树图形模型来分析基因表达,而不依赖于转录因子表达作为调节活性的代理。潜在树模型是一种马尔可夫随机场,包括观察到的基因变量和潜在(隐藏)变量,它们在马尔可夫树上分解。通过有效的无监督学习方法,我们确定哪些基因组由隐藏的调节因子共同调节,以及这些调节因子的活性水平。后处理将这些发现的潜在变量中的许多注释为特定的转录因子或转录因子组。其他潜变量不一定代表物理调节因子,而是揭示了基因表达中的隐藏结构,例如共享的生物学功能。我们将潜在树图形模型应用于酵母应激反应数据集。除了新的预测,如条件特异性结合的转录因子Msn 4,我们的模型恢复了许多已知的方面的酵母调控网络。这些包括共调节基因组、条件特异性调节因子活性和转录因子之间的组合调节。潜在树图形模型是用于分析基因表达数据的通用方法,其不需要关于存在哪些可能的调控因子、调控因子活性或转录因子物理结合的先验知识。
2016-09-20 cs.LG q-bio.MN
Robust estimation of latent tree graphical models: Inferring hidden states with inexact parameters
Weizmann Institute(魏茨曼研究所);UC Berkeley(加州大学伯克利分校);UCLA(加州大学洛杉矶分校)
隐树图模型广泛应用于计算生物学、信号和图像处理以及网络断层扫描。在这里,我们设计了一个新的有效的,潜在的树模型,包括高斯和离散,可逆的模型,显着提高了以前的样本要求范围的估计过程。我们的技术是基于一个新的隐藏的状态估计器,这是强大的估计参数的不准确性。更准确地说,我们证明了潜在树模型可以估计高概率在所谓的Kesten-Stigum制度与$O(log^2 n)$样本,其中$n$是节点的数量。
2011-09-21 cs.LG math.PR math.ST
Learning Latent Superstructures in Variational Autoencoders for Deep Multidimensional Clustering
The Hong Kong University of Science and Technology(香港科技大学);The Education University of Hong Kong(香港教育大学)
我们研究了变分自编码器的一个变体,其中在潜在特征之上存在离散潜在变量的上层结构。一般来说,我们的超结构是一个树结构的多个超级潜在的变量,它是自动学习的数据。当上层结构中只有一个潜在变量时,我们的模型简化为假设潜在特征从高斯混合模型生成的模型。我们称我们的模型为潜在树变分自编码器(LTVAE)。以前的深度学习聚类方法只产生一个数据分区,而LTVAE产生多个数据分区,每个分区由一个超级潜在变量给出。这是可取的,因为高维数据通常具有许多不同的自然方面,并且可以以多种方式进行有意义的分区。
2019-02-22 cs.LG
Seek in the Dark: Reasoning via Test-Time Instance-Level Policy Gradient in Latent Space
Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);NLCo Lab, Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院NLCo实验室);Department of Automation, Tsinghua University(清华大学自动化系);Shanghai Jiao Tong University(上海交通大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of California, Los Angeles(加州大学洛杉矶分校)
LatentSeek通过测试时实例级策略梯度在潜在空间中提升LLM推理能力,展现高效且可扩展的性能。
2026-01-19 cs.AI cs.CL cs.LG
Unfolding Latent Tree Structures using 4th Order Tensors
Georgia Institute of Technology(佐治亚理工学院)
从许多观察到的变量中发现潜在的结构是一项重要而又具有挑战性的学习任务。现有的发现潜在结构的方法通常需要未知数量的隐藏状态作为输入。在本文中,我们提出了一种基于四元组的方法,这是\emph{agnostic}这个数字。的关键贡献是一个新的秩表征的张量与边缘分布的四重峰。这种特性使我们能够设计一个基于\emph{nuclear norm}的测试来解决四重关系。然后,我们使用四重测试作为一个子程序,在一个分而治之的算法恢复潜在的树结构。在较弱的条件下,该算法是相容的,其错误概率随样本量的增加呈指数衰减。我们证明,所提出的方法相比,有利的替代品。在真实世界的股票数据集中,它还发现有意义的变量分组,并生成更好地拟合数据的模型。
2012-10-03 cs.LG stat.ML
DeepTree: Modeling Trees with Situated Latents
Purdue University(普渡大学);Adobe Research(奥多比研究院)
提出DeepTree方法,通过训练情境潜空间局部预测分支生长,逐步生成多样树形,无需手动定义参数,并支持环境响应编码,验证了其有效性。
2023-05-09 cs.CV cs.GR cs.LG
Identifiability and Unmixing of Latent Parse Trees
Microsoft Research(微软研究院);Google Research(谷歌研究院)
本文从两个方面探讨了句法分析模型的无监督学习。第一,哪些模型可以从无限数据中识别出来?我们使用一个通用的技术,数值检查的雅可比矩阵的秩的基础上可识别性,并将其应用到几个标准的选区和依赖解析模型。第二,对于可识别的模型,我们如何有效地估计参数?EM遭受局部最优,而最近的工作,使用谱方法不能直接应用,因为不同的句子的解析树的拓扑结构。我们开发了一种策略,unmixing,它处理这种额外的复杂性,限制类的解析模型。
2012-06-14 cs.LG stat.ML
FastTrees: Parallel Latent Tree-Induction for Faster Sequence Encoding
Nanyang Technological University(南洋理工大学)
从序列数据中诱导潜在树结构是当今NLP研究领域的一个新兴趋势,主要是通过最近的方法,如Gumbel LSTM和有序神经元(ON-LSTM)推广。本文提出了FASTTREES,一个新的通用神经模块的快速序列编码。与以前大多数认为递归是树归纳所必需的工作不同,我们的工作探索了并行树归纳的概念,即,以一种可并行的、非自回归的方式,将我们的模型与分层归纳偏差相结合。为此,我们提出的FASTTREES在四个成熟的序列建模任务上实现了与ON-LSTM竞争或优越的性能,即,语言建模、逻辑推理、情感分析和自然语言推理。此外,我们表明,FASTTREES模块可以应用于增强Transformer模型,实现三个序列转导任务(机器翻译,主谓一致性和数学语言理解)的性能增益,铺平了道路,模块化树归纳模块。总体而言,我们在逻辑推理任务上的表现优于现有的最先进模型+4%,在数学语言理解上的表现优于现有的最先进模型+8%。
2021-11-28 cs.CL cs.LG
Tree-Wasserstein Distance for High Dimensional Data with a Latent Feature Hierarchy
Viterbi Faculty of Electrical and Computer Engineering, Technion(以色列理工学院维特比电气与计算机工程学院);Department of Mathematics, Yale University(耶鲁大学数学系)
提出一种针对具有潜在特征层次结构的高维数据的树Wasserstein距离,通过扩散几何嵌入多尺度双曲空间并解码树结构,高效恢复潜在层次,在词-文档和单细胞RNA测序数据上优于现有方法。
2025-02-24 cs.LG stat.ML
Spectral Top-Down Recovery of Latent Tree Models
Yale University(耶鲁大学);Weizmann Institute of Science(魏茨曼科学研究所)
用潜在树图模型对高维数据的分布进行建模是多个科学领域中流行的方法。一个常见的任务是推断底层的树结构,只给出其终端节点的观察。许多树恢复算法是计算密集型的,这限制了它们对中等大小的树的适用性。对于大型树,一种常见的方法,称为分治法,是分两步恢复树结构。首先,分别恢复终端节点的多个可能随机子集的结构。第二步,合并得到的子树,形成一个完整的树。在这里,我们开发了谱自上而下恢复(STDR),这是一种确定性的分治方法,用于推断大型潜在树模型。与以前的方法不同,STDR以非随机的方式划分终端节点,基于与观察节点相关的合适的拉普拉斯矩阵的Fiedler向量。我们证明,在一定的条件下,这种划分是一致的树结构。这反过来又导致了一个明显更简单的合并过程的小子树。我们证明了STDR是统计上一致的,并限制了准确恢复树所需的样本数量。使用模拟数据从几个常见的树模型在遗传学,我们证明了STDR具有显着的优势,在运行时,提高或类似的准确性。
2021-12-07 cs.LG q-bio.PE stat.ML
Spectral Methods for Learning Multivariate Latent Tree Structure
UC Irvine(加州大学欧文分校);UC San Diego(加州大学圣迭戈分校);Microsoft Research New England(微软新英格兰研究院);Wharton School, University of Pennsylvania(宾夕法尼亚大学沃顿商学院);Carnegie Mellon University(卡内基梅隆大学);Rutgers University(罗格斯大学)
这项工作考虑的问题,学习多变量线性树模型的结构,其中包括各种有向树图形模型与连续的,离散的,和混合的潜变量,如线性高斯模型,隐马尔可夫模型,高斯混合模型,马尔可夫进化树。该设置是我们仅具有来自树中的某些观察变量的样本的设置,并且我们的目标是估计树结构(即,底层隐变量如何相互连接以及如何连接到观察变量的图)。我们提出了谱递归递归算法,一个有效的和简单的自下而上的过程恢复的树结构从独立的样本的观察变量。我们的有限样本大小范围的确切恢复的树结构揭示了一定的自然依赖于基本的统计和结构特性的基本联合分布。此外,我们的样本复杂度保证没有显式依赖于观测变量的维数,使算法适用于许多高维设置。在我们的算法的核心是一个光谱四重测试,用于确定相对拓扑的四个变量从二阶统计。
2011-11-08 cs.LG stat.ML
A Novel Document Generation Process for Topic Detection based on Hierarchical Latent Tree Models
The Hong Kong University of Science and Technology(香港科技大学)
我们提出了一种新的文档生成过程的基础上,层次潜在树模型(HLTM)从数据中学习。HLTM在底部有一层观察到的单词变量,在顶部有多层潜变量。对于每一个文档,我们首先通过逻辑采样逐层采样潜变量的值,然后根据潜变量的值绘制单词的相对频率,最后使用相对单词频率为文档生成单词。这项工作的动机是考虑到与HLTM的字数。与基于LDA的分层文档生成过程相比,新的过程以更少的参数实现了更好的模型拟合。它还生成更有意义的主题和主题层次结构。这是新的国家的最先进的分层主题检测。
2019-06-28 cs.CL cs.IR cs.LG
Simultaneous Latent Budget Trees for Stratified Classification
Department of Physics, University of Naples Federico II(物理系,那不勒斯费德里科二世大学);Department of Electrical Engineering and Information Technologies, University of Naples Federico II(电气工程与信息科技系,那不勒斯费德里科二世大学)
提出同时潜在预算树框架,通过模型驱动的分裂规则处理分层因素,实现可解释分类,并应用于肌萎缩侧索硬化症性别差异分析。
2026-09-24 cs.LG stat.ME stat.ML
Latent Logic Tree Extraction for Event Sequence Explanation from LLMs
School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院);School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院);Skywork AI(Skywork AI公司)
本文提出一种基于时间点过程与摊销EM框架的方法,利用LLM先验和GFlowNet从事件序列中高效提取隐式逻辑树解释,并通过在线轻量级模型迭代获取最相关规则,在多个实验中验证了其性能与适应性。
2024-06-28 cs.CL cs.LG
Learning and Testing Latent-Tree Ising Models Efficiently
National University of Singapore(新加坡国立大学);MIT(麻省理工学院)
本文针对潜树伊辛模型提出时间和样本高效的学习与检验算法,通过叶对边缘分布的总变差距离局部化结果改进学习精度并降低检验所需样本量。
2023-07-10 cs.DS cs.LG math.PR
Multi-Object Classification and Unsupervised Scene Understanding Using Deep Learning Features and Latent Tree Probabilistic Models
University of California, Irvine(加州大学欧文分校)
深度学习已经在ImageNet等数据集上显示出最先进的分类性能,这些数据集在每个图像中包含一个对象。然而,多目标分类更具挑战性。我们提出了一个统一的框架,利用多种机器学习方法的优势,即深度学习,概率模型和内核方法,以获得最先进的性能在Microsoft COCO上,由非图标图像。我们通过条件潜在树概率模型(CLTM)将上下文信息纳入自然图像中,其中对象同现以从预训练的Imagenet CNN中提取的fc 7特征为条件作为输入。我们学习的CLTM树结构使用条件成对概率的对象同现,通过内核方法估计,我们学习它的节点和边缘的潜力,通过训练一个新的3层神经网络,它需要FC 7功能作为输入。对象分类是通过对学习条件树模型的推理进行的,我们在MS-COCO上获得了显着的精度-召回率和F-措施,特别是对于困难的对象类别。此外,CLTM中的潜变量捕获场景信息:具有潜在节点的顶部激活的图像具有共同的主题,例如草原或食物场景等。此外,我们表明,仅对推断的潜在节点进行简单的k均值聚类显着提高了MIT-Indoor数据集上的场景分类性能,而无需任何重新训练,并且在训练期间不使用场景标签。因此,我们提出了一个统一的框架,多目标分类和无监督场景理解。
2015-05-02 cs.CV cs.LG
Handling Collocations in Hierarchical Latent Tree Analysis for Topic Modeling
The Education University of Hong Kong(香港教育大学);The Hong Kong University of Science and Technology(香港科技大学)
主题建模是近年来机器学习中最活跃的研究领域之一。分层潜在树分析(HLTA)最近已被提出用于分层主题建模,并已显示出优于国家的最先进的方法的性能。然而,HLTA中使用的模型具有树结构,不能适当地表示共享同一个词的多词表达式的不同含义。因此,我们提出了一种方法提取和选择搭配作为HLTA的预处理步骤。在运行HLTA之前,在词袋模型中用单个标记替换选定的搭配。我们的实证评估表明,所提出的方法导致更好的性能HLTA的四个数据集测试。
2020-07-10 cs.CL cs.IR cs.LG
EM's Convergence in Gaussian Latent Tree Models
MIT(麻省理工学院)
我们研究了对数似然函数的优化景观和期望最大化(EM)算法在潜在高斯树模型中的收敛性,即树结构的高斯图模型,其叶节点是可观察的,非叶节点是不可观察的。我们证明了种群对数似然的唯一非平凡平稳点是其全局最大值,并建立了期望最大化算法保证收敛到它在单潜变量的情况下。我们的研究结果的景观的对数似然函数在一般的潜在树模型提供了支持的最大似然为基础的方法,在这种设置的广泛的实际应用。我们的EM算法的结果扩展了一个新兴的工作线上获得全局收敛的保证,这个著名的算法。我们证明了我们的结果的非平凡的驻点的对数似然认为,从EM更新得到的多项式方程组的某个系统有一个独特的非平凡的解决方案。EM算法的全局收敛性是通过论证所有平凡不动点都是高阶鞍点来实现的。
2022-11-23 cs.LG math.ST stat.ML
Representation Learning Through Latent Canonicalizations
Stanford University(斯坦福大学);Facebook AI Research(脸书人工智能研究院);Georgia Tech(佐治亚理工学院)
我们寻求学习一个大型注释数据源,推广到一个目标域使用有限的新的监督表示。这个问题的许多先前的方法都集中在学习“解纠缠”表示,使得当个体因素在新的域中变化时,仅需要更新表示的一部分。在这项工作中,我们寻求解纠缠表示的泛化能力,但放松了显式潜在解纠缠的要求,而是通过要求它们可由学习的线性变换操纵来鼓励个体变异因子的线性。我们称这些转换为潜在的规范化器,因为它们旨在将因子的值修改为预定的(但任意的)规范值(例如,使图像前景为黑色)。假设一个源域可以访问指定图像内变化因素的元标签,我们通过实验证明,我们的方法有助于减少与一些监督基线相比,推广到类似目标域所需的观测数量。
2020-02-26 cs.LG stat.ML
Hyperbolic Latent Geometry for Tree-Structured Prototype Networks: A Local-vs-Global Trade-off
Harvard University(哈佛大学)
该研究在分层分类模型中,对比庞加莱球与欧氏空间作为树结构原型网络的潜在流形,发现双曲流形能更好保留近邻图拓扑,在局部检索任务上优于欧氏流形,为两类潜在几何提供经验区分。
2026-08-27 cs.AI cs.LG
Robustifying Algorithms of Learning Latent Trees with Vector Variables
National University of Singapore(新加坡国立大学)
我们考虑学习高斯潜在树模型的结构与向量观测时,其中的一个子集是任意损坏。首先,我们给出了递归递归搜索(RG)和Chow-Liu递归搜索(CLRG)的样本复杂度,而不假设有效深度在观察到的节点数中有界,显著推广了Choi等人的结果。(2011)。我们发现,在CLRG的Chow-Liu初始化大大降低了RG的样本复杂性,从指数的直径的树,只有对数的直径的隐马尔可夫模型(HMM)。其次,我们鲁棒RG,CLRG,邻居连接(NJ)和频谱NJ(SNJ)通过使用截断内积。这些鲁棒算法可以容忍的腐败数量的干净的样本的数量的平方根。最后,我们得出了第一个已知的实例相关的不可能性结果的结构学习的潜在树。通过比较CLRG和NJ的样本复杂度和不可能性结果,验证了CLRG和NJ的鲁棒版本的最优性。
2021-10-25 cs.IT cs.LG math.IT
Dream and Search to Control: Latent Space Planning for Continuous Control
School of EECS(电子工程与计算机科学学院);Oregon State University(俄勒冈州立大学);Intel Labs(英特尔实验室)
在离散和连续控制任务的基于基于模型的强化学习(MBRL)中,潜在空间动态的学习和规划对提高样本效率非常有用。特别是,最近的工作,离散的动作空间,表现出潜在的空间规划的有效性,通过蒙特卡罗树搜索(MCTS)引导MBRL在学习和测试时间。然而,潜在的收益潜在空间树搜索尚未被证明为连续的动作空间的环境。在这项工作中,我们提出并探讨了MBRL方法的连续动作空间的基础上基于树的规划学习的潜在动力学。我们表明,它是可能的,以证明类型的自举效益,如前所示的离散空间。特别是,该方法实现了改进的样本效率和性能的大多数具有挑战性的连续控制基准相比,国家的最先进的。
2020-10-19 cs.AI cs.LG
Bayesian Out-Trees
Columbia University(哥伦比亚大学)
提供了一种用于非iid数据的潜在有向图结构的贝叶斯处理,其中每个子数据被采样为具有对单个未知父数据的有向条件依赖。潜图的结构被假定为位于家庭的有向出树图,从而导致有效的贝叶斯推理。数据的潜在似然性及其梯度可以通过Tutte的有向矩阵树定理使用外拉普拉斯算子的行列式和逆以封闭形式计算。这种新的似然包含iid似然,是可交换的,并产生有效的无监督和半监督学习算法。除了处理分类学和系统发育数据集外,外树假设在标准iid数据集上作为半参数密度估计器表现得令人惊讶。在各种UCI和分类数据集上显示了无监督和半监督学习的实验。
2012-06-13 cs.LG stat.ML
Latent Tree Models for Hierarchical Topic Detection
The Hong Kong University of Science and Technology(香港科技大学);Ant Financial Services Group(蚂蚁金融服务集团);The Education University of Hong Kong(香港教育大学)
我们提出了一种新的分层主题检测方法,主题是通过多种方式聚类文件。具体来说,我们使用一类称为分层潜在树模型(HLTM)的图形模型来建模文档集合。HLTM底层的变量是观察到的二进制变量,表示文档中单词的存在/不存在。其他级别的变量是二进制潜变量,最低潜级别的变量表示单词同现模式,较高级别的变量表示较低级别的模式同现。每个潜在变量给出了文档的软分区,分区中的文档簇被解释为主题。在高层次的潜在变量捕获长范围的词共现模式,从而给主题更一般的主题,而那些在低层次的捕获短范围的词共现模式,并给主题更具体的主题。与基于LDA的主题模型不同,HLTM不引用文档生成过程,而是使用word变量而不是token变量。它们使用树结构来建模主题和词之间的关系,这有利于发现有意义的主题和主题层次。
2016-12-21 cs.CL cs.IR cs.LG
Topic Browsing for Research Papers with Hierarchical Latent Tree Analysis
The Education University of Hong Kong(香港教育大学);The Hong Kong University of Science and Technology(香港科技大学)
学术研究者经常需要面对大量文献中的研究论文。对于刚进入某个领域的研究生来说,这个问题可能更严重,他们可能不知道从哪里开始。为了解决这个问题,我们开发了一个在线研究论文目录,其中的论文已自动分类的主题模型。该目录包含2000年至2015年两次人工智能会议的7719篇论文。而不是常用的潜在狄利克雷分配,我们使用最近提出的方法称为层次潜在树分析的主题建模。生成的主题模型包含主题的层次结构,以便用户可以从顶层到底层浏览主题。主题模型在顶层包含可管理数量的一般主题,在底层允许数千个细粒度主题。它还可以检测最近出现的主题。
2016-09-29 cs.CL cs.IR cs.LG
Learning Sparse Deep Feedforward Networks via Tree Skeleton Expansion
Department of Computer Science and Engineering(计算机科学与工程系);The Hong Kong University of Science and Technology(香港科技大学)
尽管深度学习很受欢迎,但深度模型的结构学习仍然是一个相对欠开发的领域。相比之下,结构学习已经被广泛研究了概率图模型(PGMs)。特别是,已经开发了一种有效的算法用于学习一类称为分层潜在树模型(HLTM)的树结构PGM,其中在底部有一层观察变量,在顶部有多层潜在变量。在本文中,我们提出了一个简单的方法来学习的前馈神经网络(FNN)的结构的基础上HLTM。其思想是扩展HLTM树骨架中的连接,并将结果结构用于FNN。以这种方式学习的FNN结构的一个重要特征是它们是稀疏的。我们提出了大量的实证结果表明,与手动调整的标准FNN相比,通过我们的方法学习的稀疏FNN可以用更少的参数实现更好或相当的分类性能。它们也更容易解释。
2018-03-16 cs.LG
Progressive EM for Latent Tree Models and Hierarchical Topic Detection
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong Institute of Education(香港教育学院)
层次潜在树分析(HLTA)是最近提出的一种新的主题检测方法。它与基于LDA的方法在主题定义、主题-文档关系和学习方法上有着根本的不同。它已被证明可以发现更连贯的主题和更好的主题层次结构。然而,HLTA依赖于期望最大化(EM)算法进行参数估计,因此不足以有效地处理大型数据集。在本文中,我们提出了一种方法,大大加快HLTA使用的技术的启发,在矩方法的最新进展。实验结果表明,该方法大大提高了HLTA的效率。它是最先进的基于LDA的分层主题检测方法的效率,并发现更好的主题和主题层次。
2015-08-05 cs.CL cs.IR cs.LG
Sequence-to-Sequence Learning with Latent Neural Grammars
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
使用神经网络的序列到序列学习已经成为序列预测任务的事实标准。这种方法通常使用一个强大的神经网络对下一个单词的局部分布进行建模,该神经网络可以根据任意上下文进行调节。虽然灵活且性能良好,但这些模型通常需要大型数据集进行训练,并且可能在旨在测试组合泛化的基准测试中失败。这项工作探讨了一种替代的,层次化的方法,序列到序列的学习与准同步语法,在目标树中的每个节点是由源树中的一个节点转换。源树和目标树都被视为潜在的,并在训练过程中诱导。我们开发了一个神经参数化的语法,使参数共享的组合空间的推导规则,而不需要手动功能工程。我们将这种潜在的神经语法应用于各个领域-诊断语言导航任务,旨在测试成分概括(SCAN),风格转移和小规模机器翻译-并发现与标准基线相比,它的表现相当不错。
2021-11-16 cs.CL cs.LG
Unsupervised Neural Single-Document Summarization of Reviews via Learning Latent Discourse Structure and its Ranking
The University of Tokyo(东京大学);RIKEN(理化学研究所)
本文重点研究了无监督的单一产品评审的端到端抽象总结。我们假设一篇综述可以被描述为一棵话语树,其中摘要是根,子句详细解释了它们的父句。通过递归地从其子节点估计父节点,我们的模型在没有外部解析器的情况下学习潜在话语树,并生成简洁的摘要。我们还介绍了一个架构,排名树上的每个句子的重要性,以支持摘要生成集中在主要的审查点。实验结果表明,我们的模型是有竞争力的,或优于其他无监督的方法。特别是,对于相对较长的审查,它实现了竞争力或更好的性能比监督模型。归纳树显示子句子提供了关于其父句子的附加信息,生成的摘要摘要概括了整个评论。
2019-06-13 cs.AI cs.CL cs.LG
Transfer-based adaptive tree for multimodal sentiment analysis based on user latent aspects
Iran University of Science and Technology(伊朗科技大学);Sohar University(苏哈尔大学);University of Queensland(昆士兰大学)
多模态情感分析在人机交互、推荐系统等领域有着广泛的应用前景。它的目的是推断用户的两极想法使用视觉,文字和声音信号。虽然研究人员肯定的认知线索和情感表现之间的联系,大多数当前的多模态方法在情感分析忽视用户特定的方面。为了解决这个问题,我们设计了一种新的方法来执行多模态情感预测使用认知线索,如个性。我们的框架通过分层划分用户和训练基于LSTM的子模型来构建自适应树,利用基于注意力的融合来传递树内的认知导向知识。随后,该框架消耗来自自适应树的结论性凝聚知识来预测最终情感。我们还设计了一个动态的丢弃方法,以促进相邻节点之间的数据共享,减少数据稀疏。在真实世界数据集上的实证结果表明,我们提出的情感预测模型可以超越趋势竞争对手。此外,与其他集成方法相比,所提出的基于迁移的算法可以更好地利用潜在的认知线索,促进预测结果。基于给定的外在和内在的分析结果,我们注意到,相比其他理论为基础的技术,所提出的层次聚类方法可以更好地组内的自适应树的用户。
2021-06-27 cs.DB cs.IR cs.LG
Discovering Latent Groups for Robust Classification
提出神经分类树(NCT),通过树形架构编码子群结构,无需子群监督即可分离冲突子群,在多个基准上取得与最先进方法相当的鲁棒性,并提供了可解释性。
2026-09-09 cs.AI cs.CV cs.LG
Tree Variational Autoencoders
ETH Zurich(苏黎世联邦理工学院)
提出树变分自编码器(TreeVAE),通过层次聚类学习树状后验分布,自适应发现最优树结构,利用叶解码器提升生成性能,在多种数据集上揭示隐藏聚类并生成新样本。
2023-11-17 cs.CV cs.LG
Sparsity regularization via tree-structured environments for disentangled representations
McGill University(麦吉尔大学);Mila;Valence Labs(Valence实验室);Université de Montréal(蒙特利尔大学);Samsung - SAIT AI Lab(三星-SAIT人工智能实验室)
针对多相关环境下的因果表征学习问题,提出基于树结构的稀疏正则化方法TBR,利用环境间映射的稀疏变化约束识别潜在因果变量,在模拟和真实基因表达数据上均取得优于现有方法的效果。
2024-06-10 cs.LG stat.ML
Nested Named Entity Recognition with Partially-Observed TreeCRFs
University of Edinburgh(爱丁堡大学);Alibaba Group(阿里巴巴集团)
命名实体识别(NER)是自然语言处理中的一个研究热点。然而,广泛使用的序列标记框架是难以检测实体的嵌套结构。在这项工作中,我们认为嵌套NER选区解析部分观察到的树和模型,它与部分观察到的TreeCRF。具体来说,我们将所有标记的实体跨度视为选区树中的观察节点,而其他跨度则视为潜在节点。使用TreeCRF,我们实现了一种统一的方式来联合建模观察节点和潜在节点。为了计算部分边缘化的部分树的概率,我们提出了一种内部算法的变体,\textsc{Masked Inside}算法,该算法支持不同的推理操作,为不同的节点(评估观察到的,边缘化的潜在的,并拒绝与观察到的节点不兼容)与有效的并行实现,从而显着加快训练和推理。实验表明,我们的方法实现了国家的最先进的(SOTA)F1分数的ACE2004,ACE2005数据集,并显示相当的性能SOTA模型的GENIA数据集。我们的方法在以下地点实施:\url{https://github.com/FranxYao/Partially-Observed-TreeCRFs}。
2020-12-15 cs.AI cs.CL cs.LG
A Forest from the Trees: Generation through Neighborhoods
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
在这项工作中,我们建议使用学习的特征(通过潜在空间)和记忆(通过邻居)来学习生成模型。虽然人类的学习可以无缝地利用习得的感知特征和实例回忆,但当前的生成学习范式只利用了这两个组件中的一个。以流模型为例,它学习遵循简单分布的可逆特征的潜在空间。相反,核密度技术使用实例将简单分布转换为聚合混合模型。在这里,我们提出了多种方法来增强具有邻域信息的流模型的潜在空间。我们提出的框架不仅代表了一种更人性化的方法,利用了学习的特征和记忆,而且它也可以被视为非参数方法的一个进步。我们的模型的有效性与标准图像数据集的经验。我们观察到令人信服的结果和基线的重大改进。
2019-11-20 cs.LG stat.ML
Unsupervised Abstractive Opinion Summarization by Generating Sentences with Tree-Structured Topic Guidance
The University of Tokyo(东京大学);RIKEN(理化学研究所);University of Liverpool(利物浦大学)
本文提出了一种新的无监督的摘要方法。虽然基本的变分自编码器为基础的模型假设一个单峰高斯先验的潜在代码的句子,我们交替它与递归高斯混合,其中每个混合成分对应于一个主题句子的潜在代码,并混合由树结构的主题分布。通过解码每个高斯分量,我们生成具有树形结构的主题指导的句子,其中根句子传达通用内容,叶句子描述特定主题。实验结果表明,所生成的主题句适合作为固执己见的文本的摘要,其比最近的无监督摘要模型(Bražinskas等人,2020年)。此外,我们证明了潜在高斯的方差代表了句子的粒度,类似于高斯词嵌入(Vilnis和McCallum,2015)。
2021-06-15 cs.AI cs.CL cs.LG
Context Trees: Augmenting Geospatial Trajectories with Context
Department of Computer Science, University of Warwick(华威大学计算机科学系)
揭示地理空间轨迹中的潜在知识有可能更好地了解个人和群体的运动。出于这样一个愿望,这项工作提出了上下文树,一个新的分层数据结构,总结了在一个单一的模型中的用户操作背后的上下文。我们提出了一种上下文树构建方法,该方法利用土地使用数据来增强地理空间轨迹以识别此类上下文。通过评价的建设方法和生成的上下文树的属性的分析,我们展示了理解和建模行为提供的基础。将用户上下文汇总到单个数据结构中,可以轻松访问否则将保持隐藏的信息,为更好地理解和预测个人和团体的行动和行为提供基础。最后,我们还提出了一种修剪上下文树的方法,用于在希望减小树的大小的同时保留有用信息的应用中。
2016-06-14 cs.DS cs.LG
The LORACs prior for VAEs: Letting the Trees Speak for the Data
U.C. San Diego(加州大学圣地亚哥分校);Google AI(谷歌人工智能);Google Brain(谷歌大脑)
在变分自编码器中,潜在代码$z$的先验知识通常被视为事后的想法,但先验知识塑造了模型学习的潜在表示类型。如果目标是学习一种可解释且有用的表示,那么先验应该反映描述数据的高级因素的变化方式。“默认”先验是各向同性正态分布,但如果数据集中的自然变异因子表现出离散结构或不独立,则各向同性正态先验实际上会鼓励学习掩盖这种结构的表示。为了缓解这个问题,我们建议使用一个灵活的贝叶斯非参数层次聚类先验的基础上的时间边缘化的聚结(TMC)。为了将学习扩展到大数据集,我们开发了一种新的诱导点近似和推理算法。然后,我们将该方法应用于几个数据集,并检查推断的层次结构和学习的潜在空间的可解释性和实际性能。
2018-10-16 cs.LG stat.ML
Syntax-Infused Variational Autoencoder for Text Generation
Bloomberg(彭博);Duke University(杜克大学);ASAPP Inc.(ASAPP公司)
我们提出了一个注入语法的变分自动编码器(SIVAE),它将句子与它们的语法树相结合,以提高生成的句子的语法。与现有的基于VAE的文本生成模型不同,SIVAE包含两个独立的潜在空间,用于句子和句法树。通过优化一个包含两个编码器和两个解码器的联合分布,相应地重新设计了证据下限目标。SIVAE与长短期记忆体系结构一起工作,同时生成句子和语法树。两个版本的SIVAE提出:一个通过条件先验网络捕获的潜在变量之间的依赖关系,和其他处理的潜在变量独立,这样可以进行句法控制的句子生成。实验结果表明,SIVAE在重建和有针对性的句法评价上都具有生成优势。最后,我们表明,所提出的模型可以用于无监督释义给定不同的句法树模板。
2019-06-05 cs.CL cs.LG stat.ML
Capacity Bounds for Hyperbolic Neural Network Representations of Latent Tree Structures
McMaster University(麦克马斯特大学);Vector Institute(向量研究所);University of Oxford(牛津大学)
本文证明 ReLU 双曲神经网络可任意接近等距地嵌入有限加权树,并给出与失真无关的复杂度上界,同时揭示欧几里得 MLP 嵌入多叶树时不可避免的 Ω(L^{1/d}) 失真下界。
2023-08-18 cs.DM cs.LG cs.NA
Linear Causal Disentanglement via Interventions
Broad Institute of MIT and Harvard(麻省理工学院和哈佛大学布罗德研究所);Harvard University(哈佛大学)
本文研究线性潜在因果模型下观测变量的因果解耦可识别性,证明每个潜在变量需至少一次干预以保证可识别性,提出基于推广RQ分解的证明方法,并通过实验验证了理论结果。
2023-06-11 cs.LG stat.ML
Sample-Specific Root Causal Inference with Latent Variables
根本原因分析旨在确定导致不希望的结果的初始扰动集。在之前的工作中,我们使用预测结构方程模型中诊断的外源误差项来定义特定于样本的疾病根本原因。我们使用Shapley值严格量化预测性。然而,用于推断根本原因的相关算法假设没有潜在的混杂。我们通过允许预测变量之间的混杂来放松这一假设。然后,我们介绍了一个相应的程序,称为提取误差与潜在的(EEL)恢复的误差项污染的顶点在某些路径下的线性非高斯非循环模型。EEL还确定了快速计算Shapley值的相关误差的最小集合。该算法绕过了在这两种情况下估计潜在的因果图的困难问题。实验突出了优越的准确性和鲁棒性的EEL相对于它的前辈。
2022-10-27 cs.LG stat.AP stat.ML
Reconstructing probabilistic trees of cellular differentiation from single-cell RNA-seq data
MIT(麻省理工学院);Broad Institute of MIT & Harvard(麻省理工学院与哈佛大学布罗德研究所);University of British Columbia(不列颠哥伦比亚大学);Howard Hughes Medical Institute(霍华德·休斯医学研究所)
直到最近,转录组学仅限于批量RNA测序,模糊了个体细胞的潜在表达模式,有利于全局平均值。由于技术的进步,我们现在可以平行地分析数千或数百万个细胞的基因表达。这种新类型的数据导致了一个有趣的发现,即单个细胞的轮廓可以反映时间或动态过程的印记。然而,综合这些信息来重建动态的生物现象,从数据是嘈杂的,异质的,和稀疏的-从过程中,可能会展开异步-提出了一个复杂的计算和统计的挑战。在这里,我们开发了一个完整的生成模型,用于从单细胞RNA测序数据概率重建细胞分化树。具体来说,我们扩展了经典的狄利克雷扩散树的框架,同时推断分支拓扑结构和潜在的细胞状态沿连续轨迹在整个树。在串联,我们构建了一个新的马尔可夫链蒙特卡罗采样器,交织大都会黑斯廷斯和消息传递,利用模型结构进行有效的推理。最后,我们证明了这些技术可以从模拟的单细胞转录组中恢复潜在的轨迹。虽然这项工作的动机是细胞分化,我们推导出一个易于处理的模型,提供灵活的密度的任何数据(加上适当的噪声模型),从连续演变沿潜在的非参数树。
2018-11-28 cs.LG q-bio.QM stat.ML
Causal Object-Centric Models for Planning with Monte Carlo Tree Search
MIRAI;CogAILab
提出COMET算法,结合无监督对象中心编码器和Transformer世界模型,通过动作-槽融合机制和对象因果注意力实现高效规划,在多个基准上优于基线方法。
2026-06-15 cs.AI cs.LG cs.RO
Entropic Optimal Transport in Random Graphs
CNRS(法国国家科学研究中心);GIPSA-lab(GIPSA实验室)
在图分析中,一个经典的任务是计算节点(组)之间的相似性度量。在潜空间随机图中,节点与未知的潜变量相关联。然后,可以仅使用图结构来直接在潜在空间中计算距离。在本文中,我们表明,它是可能的一致估计熵正则化的最优运输(OT)的潜在空间中的节点组之间的距离。我们提供了一个一般的稳定性结果熵OT相对于扰动的成本矩阵。然后,我们将其应用到随机图的几个例子,如图子或$ε$-图流形。一路上,我们证明了新的浓度结果,所谓的通用奇异值holding估计,并估计测地距离流形上。
2022-01-11 cs.LG math.PR stat.ML
Causal Effect Identification in a Sub-Population with Latent Variables
School of Computer and Communication Sciences, EPFL(EPFL计算机与通信科学学院);College of Management of Technology, EPFL(EPFL技术管理学院)
针对含潜变量的子群体因果效应识别(s-ID)问题,研究扩展了c分量、Hedges等经典图形概念,提出了一种可靠的求解算法。
2024-10-29 cs.AI cs.LG stat.ML
Junction Tree Variational Autoencoder for Molecular Graph Generation
MIT Computer Science & Artificial Intelligence Lab(麻省理工学院计算机科学与人工智能实验室)
我们寻求基于特定化学性质的分子设计自动化。在计算方面,这项任务涉及分子图的连续嵌入和生成。我们的主要贡献是直接实现分子图,以前的任务接近生成线性SMILES字符串,而不是图形。我们的连接树变分自编码器在两个阶段中生成分子图,首先在化学子结构上生成树结构的支架,然后将它们组合成具有图形消息传递网络的分子。这种方法使我们能够逐步扩展分子,同时在每一步都保持化学有效性。我们评估我们的模型在多个任务,从分子生成到优化。在这些任务中,我们的模型比以前的最先进的基线有很大的优势。
2019-03-29 cs.LG cs.NE stat.ML
Thresholded Graphical Lasso Adjusts for Latent Variables: Application to Functional Neural Connectivity
Rice University(莱斯大学);Baylor College of Medicine(贝勒医学院)
在神经科学中,研究人员试图从大规模的神经记录或成像中揭示神经元的连通性;人们经常使用图形模型选择和估计技术来实现这一目的。但是,现有的技术只能记录一小部分神经元,这导致了在存在大量潜在变量的情况下图选择的挑战性问题。Anglasekaran et al.(2012)提出了一个凸规划来解决这个问题,从计算和统计的角度提出了挑战。为了解决这个问题,我们提出了一个非常简单的解决方案:将硬阈值算子应用于现有的图选择方法。概念上简单,计算上有吸引力,我们证明,阈值的图形套索,邻域选择,或CLIME估计具有优越的理论特性,在图形选择的一致性,以及更强的实证结果比现有的方法的潜在变量图形模型问题。我们还证明了我们的方法的适用性,通过神经科学案例研究钙成像数据来估计功能性神经连接。
2021-04-13 cs.LG stat.ME stat.ML
Large Scale Variational Bayesian Inference for Structured Scale Mixture Models
自然图像统计在多个尺度上表现出层次依赖性。在非阶乘潜在树模型中表示这样的先验知识可以大大提高图像去噪、修复、去卷积或重建的性能,超越标准阶乘“稀疏”方法。我们推导出一个大规模的近似贝叶斯推理算法的线性模型与非阶乘(潜在树结构)规模的混合先验。一系列去噪和修复问题的实验结果表明,大大提高了性能相比,MAP估计或推断与阶乘先验。
2012-06-27 cs.CV cs.LG stat.ML
GALDS: A Graph-Autoencoder-based Latent Dynamics Surrogate model to predict neurite material transport
Department of Mechanical Engineering, Carnegie Mellon University(机械工程系,卡内基梅隆大学);Department of Biomedical Engineering, Carnegie Mellon University(生物医学工程系,卡内基梅隆大学);Department of Civil and Environmental Engineering, Carnegie Mellon University(土木与环境工程系,卡内基梅隆大学)
针对神经突网络物质运输模拟计算成本高的问题,提出基于图自编码器和神经常微分方程的代理模型GALDS,通过在潜在空间预测系统动力学,实现了低误差和10倍加速。
2025-07-15 cs.LG cs.NA math.NA