Topical Hidden Genome: Discovering Latent Cancer Mutational Topics using a Bayesian Multilevel Context-learning Approach
集体超罕见的全基因组体细胞突变的癌症位点特异性的统计推断是一个悬而未决的问题。传统的统计方法由于其超高维度和极端的数据稀疏性而无法处理全基因组突变数据-例如,在本文考虑的约1700个全基因组肿瘤数据集中观察到> 3000万个独特变体,其中>99%的变体仅遇到一次。为了利用这些罕见变异中的信息,我们最近提出了“隐藏基因组模型”,这是一种正式的多级多逻辑模型,它挖掘超罕见体细胞变异中的信息来表征肿瘤类型。该模型通过利用个体突变背景的分层来浓缩罕见变异中的信号。该模型目前使用一致的、可扩展的点估计技术来实现,该技术可以处理在数千个肿瘤中检测到的数千万个变异。我们最近的出版物证明了其令人印象深刻的准确性和可归因性的规模。然而,由于突变背景的体积、相关性和不可解释性,来自模型的原则性统计推断是不可行的。在本文中,我们提出了一个新的框架,利用计算语言学领域的主题模型,以诱导一个可解释的降维模型中使用的突变上下文。所提出的模型是使用一个有效的MCMC算法,允许严格的完整的贝叶斯推断的规模是数量级超出了开箱即用的高维多类回归方法和软件的能力。我们将我们的模型应用于全基因组泛癌症分析(PCAWG)数据集,我们的结果揭示了有趣的新见解。
2022-12-30 stat.AP stat.CO stat.ME
Kernel Topic Models
Cavendish Laboratory(卡文迪什实验室);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Microsoft Research(微软研究院)
潜在狄利克雷分配模型离散数据作为离散分布的混合,使用混合权重的狄利克雷信念。我们研究了这个概念的一个变体,其中文档的混合权重信念被替换为压缩的高斯分布。这允许文档与希尔伯特空间的元素相关联,允许内核主题模型(KTM),对文档之间的时间、空间、层次、社交及其他结构进行建模。主要的挑战是有效的近似推理的潜在高斯。我们提出了一个近似算法铸造周围的拉普拉斯近似变换的基础上。KTM还可以被解释为一种高斯过程潜变量模型,或者以文档特征为条件的主题模型,揭示这些领域早期工作之间的联系。
2011-10-21 cs.LG stat.ML
Joint latent class model for longitudinal data and interval-censored semi-competing events: Application to dementia
关节模型用于老化研究,以研究纵向标志物与至事件发生时间之间的相关性,并已扩展至多个标志物和/或竞争风险。在老年人中必须考虑死亡的竞争风险,因为死亡和痴呆症有共同的风险因素。此外,在队列研究中,至痴呆的时间是间隔删失的,因为痴呆仅间歇性评估。因此,受试者可能会在两次随访之间变得痴呆并死亡,而没有被诊断出来。为了研究痴呆前认知能力下降,我们提出了一个联合潜在类模型,该模型结合了(可能是多变量的)混合模型和疾病-死亡模型,该模型处理了区间删失(通过考虑可能未观察到的向痴呆的转变)和半竞争风险。通过极大似然处理区间删失估计参数。标记物和事件发生时间之间的相关性通过潜在类别、具有特定死亡和痴呆风险的同质组以及认知下降的概况来捕获。我们提出马尔可夫和半马尔可夫版本。这两种方法进行了比较,通过模拟研究的标准竞争风险的联合潜在类模型,然后应用于前瞻性队列研究的大脑和功能老化,以区分不同的配置文件与痴呆和死亡的风险相关的认知能力下降。这一比较突出表明,在痴呆症受试者中,死亡率更多地取决于年龄,而不是痴呆症的持续时间。该模型将所谓的终末死亡前衰退(在非痴呆受试者中)与痴呆前衰退区分开来。
2015-06-24 stat.ME
Gibbs Max-margin Topic Models with Data Augmentation
Tsinghua University(清华大学)
最大边际学习是构建分类器和结构化输出预测器的强大方法。最近的工作最大利润监督主题模型已成功地将其与贝叶斯主题模型发现歧视性的潜在语义结构,并作出准确的预测看不见的测试数据。然而,由此产生的学习问题通常很难解决,因为非平滑的利润损失。现有的方法来建立最大利润监督主题模型依赖于一个迭代的过程来解决多个潜在的SVM子问题与额外的平均场假设所需的后验分布。本文提出了一种替代方法,通过定义一个新的最大利润损失。也就是说,我们提出了吉布斯最大利润监督主题模型,潜在变量吉布斯分类器发现隐藏的主题表示的各种任务,包括分类,回归和多任务学习。吉布斯最大边际监督主题模型最小化预期边际损失,这是从预期预测规则导出的现有边际损失的上界。通过引入增广变量和共轭积分的Dirichlet变量,我们开发了简单的吉布斯抽样算法,没有限制的假设,不需要解决SVM子问题。此外,“增广-塌陷”吉布斯抽样算法的每一步都有一个解析的条件分布,从中可以很容易地提取样本。实验结果表明,时间效率显着改善。在二进制、多类和多标签分类任务上,分类性能也明显优于竞争对手。
2013-10-10 cs.LG stat.CO stat.ME
Bayesian inference in non-Markovian state-space models with applications to fractional order systems
电池阻抗谱模型由分数阶(FO)微分方程给出。在离散时域中,它们产生状态空间模型,其中潜在过程不是马尔可夫的。因此,这些模型的参数估计具有挑战性,特别是对于非相称FO模型。在本文中,我们提出了一个贝叶斯方法来识别一般FO系统的参数。粒子马尔可夫链蒙特卡罗方法,专门设计的非马尔可夫设置的实施解决了计算的挑战。然后,该方法被应用到估计的电池非相称FO等效电路模型的参数。提供了大量的模拟研究的实际可识别性的模型参数和它们的灵敏度的选择的先验分布,观测的数量,输入信号的大小和测量噪声。
2016-01-28 math.OC stat.CO
Model Selection for Topic Models via Spectral Decomposition
University of Southern California(南加州大学)
主题模型在分析大规模文本语料库方面取得了显著的成功。在实际应用中,我们总是面临着模型选择的挑战,即,如何合理设置题目的数量。基于张量分解在主题模型推理方面的最新进展,本文首次尝试对潜在Dirichlet分配中的模型选择进行理论分析。在较弱的条件下,给出了有限大小的文本集合中主题数的上界和下界。实验结果表明,我们的边界是准确的,紧。此外,以高斯混合模型为例,我们表明,我们的方法可以很容易地推广到其他潜在模型的模型选择分析。
2015-02-17 cs.IR cs.LG stat.CO
SpectralLeader: Online Spectral Learning for Single Topic Models
Carnegie Mellon University(卡内基梅隆大学);Adobe Research(奥多比研究院);Google DeepMind(谷歌DeepMind)
研究了从数据流中学习隐变量模型的问题。潜变量模型在实践中很受欢迎,因为它们可以用未观察到的概念来解释观察到的数据。这些模型传统上是在离线环境中研究的。另一方面,在在线设置中,在线EM可以说是学习潜变量模型的最流行的算法。虽然在线EM计算效率高,但它通常收敛到局部最优。在这项工作中,我们开发了一个新的在线学习算法的潜变量模型,我们称之为SpectralLeader。SpectralLeader总是收敛到全局最优解,并且在词袋模型下得到了它的$n$步后悔率的一个次线性上界.在合成和现实世界的实验中,我们表明,SpectralLeader执行类似或优于在线EM与调谐超参数。
2018-04-26 cs.LG stat.ML
A New Spectral Method for Latent Variable Models
本文提出了一种从未标记数据集中无监督学习潜变量模型的算法。我们的技术基于频谱分解,提供了一种在理论和实践中证明是强大的技术。我们还描述了如何使用该算法来学习两个著名的文本挖掘模型的参数:单主题模型和潜在的Dirichlet分配,在这两种情况下提供一个有效的技术来检索参数,以饲料的算法。我们比较了我们的算法与现有的算法的合成数据的结果,我们提供了应用程序的例子,以现实世界的文本语料库的单主题模型和LDA,获得有意义的结果。
2017-04-04 stat.ML
Guaranteed Model Order Estimation and Sample Complexity Bounds for LDA
如何确定混合模型(如潜在狄利克雷分配(LDA))中独立潜在因子(主题)的个数具有重要的实际意义。在大多数应用程序中,主题的确切数量是未知的,并且取决于应用程序和数据集的大小。贝叶斯非参数方法可以避免主题数选择的问题,但它们在大样本量时速度慢得不切实际,并且容易陷入局部最优。我们开发了一个有保证的程序,主题数恢复,不需要事先学习模型的潜在参数。我们的程序依赖于适应随机矩阵理论的结果。我们的主题数恢复程序的性能优于hLDA,一种非参数方法。我们还讨论了我们的研究结果的样本的复杂性和流行的谱学习算法的LDA的准确性的一些影响。我们的结果和过程可以扩展到其他可交换混合模型以及隐马尔可夫模型的谱学习算法。
2014-01-21 stat.ML
Online Tensor Methods for Learning Latent Variable Models
University of California, Irvine(加州大学欧文分校)
我们介绍了一个在线张量分解为基础的方法为两个潜在的变量建模问题,即(1)社区发现,其中我们学习的潜在社区,社会行动者在社交网络属于,和(2)主题建模,其中我们推断隐藏的主题的文本文章。我们考虑使用随机梯度下降矩张量的分解。我们在SGD中进行多线性运算的优化,避免直接形成张量,以节省计算和存储成本。我们提出了两个平台上的优化算法。我们基于GPU的实现利用SIMD架构的并行性,通过仔细优化存储和数据传输来实现最大的加速,而我们基于CPU的实现使用高效的稀疏矩阵计算,适合于大型稀疏数据集。对于社区发现问题,我们在Facebook,Yelp和DBLP数据集上展示了准确性和计算效率,对于主题建模问题,我们在纽约时报数据集上也展示了良好的性能。我们比较我们的结果的国家的最先进的算法,如变分法,并报告增益的准确性和增益的几个数量级的执行时间。
2015-10-03 cs.DC cs.LG cs.SI
Multilingual Topic Models
Columbia University(哥伦比亚大学);Harvard-Smithsonian Center for Astrophysics(哈佛-史密森天体物理中心);Northeastern University(东北大学)
科学出版物已经发展了几个功能,用于在索引,检索和计算文章之间的相似性时减轻词汇不匹配。这些缓解策略的范围从简单地关注高价值的文章部分,如标题和摘要,到分配关键字,通常来自受控词汇表,手动或通过自动注释。各种文档表示方案具有不同的成本效益权衡。在本文中,我们建议将同一篇文章的不同表示建模为彼此的翻译,所有这些都是从多语言主题模型中的公共潜在表示生成的。我们首先对并行文档表示的潜在变量模型进行了方法学概述,这些模型可以用于许多信息科学任务。然后,我们将展示如何解决不同的表示映射到一个共享的主题空间的推理问题,使我们能够评估表示的基础上,他们是如何主题相似的原始文章。此外,我们提出的方法提供了手段,发现不同的概念词汇需要改进。
2017-12-18 cs.CL cs.IR stat.ML
Vectorized Bayesian Inference for Latent Dirichlet-Tree Allocation
Concordia Institute for Information Systems Engineering(康科迪亚信息系统工程研究所);Concordia University(康科迪亚大学)
本文提出潜在狄利克雷树分配(LDTA),通过引入树状先验改进LDA,实现高效向量化推断以增强主题建模能力。
2026-02-21 cs.LG stat.ML
Moment-Based Inference for Regression with Latent Dirichlet Covariates
UCL(伦敦大学学院)
针对回归前使用主题模型降维导致的推断困难,提出一种基于校正谱矩的方法,直接识别回归系数β,避免估计文档级主题份额,并通过可交换性条件估计未知总浓度α0,实现有效推断。
2026-05-29 econ.EM stat.ME stat.ML
Zero-modified Count Time Series with Markovian Intensities
本文提出了一种分析计数型时间序列的方法。特别地,对由非负马尔可夫序列生成的强度为零的修正泊松序列和零的修正负二项序列进行了详细的研究。模型的参数估计的方法是通过估计方程,这是方便的表示在一个广义的状态空间形式的模型。使用广义卡尔曼滤波器提取估计所需的潜在强度。利用模拟和真实数据集说明了所提出的模型及其估计方法的应用。
2021-07-05 stat.ME
Learning Topic Models: Identifiability and Finite-Sample Analysis
Meta Platforms, Inc.(元平台公司);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
主题模型为学习、提取和发现大型文本语料库中的潜在结构提供了一种有用的文本挖掘工具。虽然已经提出了大量的方法为主题建模,缺乏在文献中是一个正式的理论研究的统计识别性和准确性的潜在主题估计。在本文中,我们提出了一个极大似然估计(MLE)的基础上,一个特定的综合可能性,自然连接到的概念,在计算几何,体积最小化的潜在主题。我们的理论引入了一组新的几何条件的主题模型的可识别性,条件是弱于传统的可分性条件,通常依赖于纯主题文档或锚词的存在。较弱的条件允许更广泛的,从而可能更富有成效的调查。我们进行有限样本误差分析,建议的估计,并讨论我们的结果和以前的调查之间的连接。最后,我们采用模拟和真实数据集的实证研究。
2022-08-10 cs.IR cs.LG stat.ME
Topic Analysis with Side Information: A Neural-Augmented LDA Approach
Northwestern University(西北大学)
提出神经增强概率主题模型 nnLDA,通过神经先验机制动态融合辅助信息,并利用随机变分期望最大化算法联合优化,在主题连贯性与下游任务上显著优于传统方法。
2025-11-01 cs.LG stat.ME stat.ML
Discovering shared and individual latent structure in multiple time series
Stanford University(斯坦福大学)
本文提出了一种非参数贝叶斯方法,用于连续时间序列的探索性数据分析和特征构建。我们的方法侧重于理解一组时间序列中的共享特征,这些特征表现出显着的个体差异。我们的方法建立在潜在狄利克雷分配(LDA)及其扩展到分层狄利克雷过程的框架上,这使我们能够将每个系列描述为潜在“主题”之间的切换,其中每个主题被描述为指定系列动态的“单词”上的分布。然而,与LDA的标准应用程序不同,我们在学习模型时发现单词。我们将该模型应用于跟踪早产儿生理信号的任务;我们的模型获得了临床上重要的见解以及监督学习任务的有用功能。
2010-08-12 cs.AI stat.ME stat.ML
Sparse Partially Collapsed MCMC for Parallel Inference in Topic Models
主题模型,更具体地说是潜在狄利克雷分配(LDA)类,广泛用于文本的概率建模。从后验分布进行MCMC采样通常使用塌陷吉布斯采样器来执行。我们提出了一个并行稀疏部分折叠吉布斯采样器,并比较其速度和效率,以国家的最先进的采样器的主题模型上五个著名的文本语料库的不同大小和属性。特别是,我们提出并比较了两种不同的策略,用于对具有潜在主题指标的参数块进行采样。实验表明,统计效率的增加,从只有部分折叠是小于通常假设的,可以超过补偿的加速从并行化和稀疏较大的语料库。我们还证明了部分塌陷的采样器的规模以及与语料库的大小。该算法具有快速、高效、准确的特点,比普通的塌陷采样器适用于更多的建模场合。
2017-08-15 stat.ME stat.ML