首页/论文/1601.01142

arXiv 1601.011422016-01-06cs.LGstat.ML

LDA模型的流Gibbs抽样

Streaming Gibbs Sampling for LDA Model

University of California Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）

Yang Gao, Jianfei Chen, Jun Zhu

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

流变分贝叶斯（SVB）是成功的学习LDA模型在线的方式。然而，以前的尝试发展在线蒙特卡罗方法LDA几乎没有成功，往往有更糟糕的困惑比他们的批处理同行。我们提出了一个流吉布斯采样（SGS）的方法，一个在线扩展的崩溃吉布斯采样（CGS）。我们的实证研究表明，SGS可以达到与CGS相似的困惑，远远优于SVB。我们的分布式SGS版本DSGS比SVB更具可伸缩性，主要是因为更新的通信复杂性很小。

英文摘要：

Streaming variational Bayes (SVB) is successful in learning LDA models in an online manner. However previous attempts toward developing online Monte-Carlo methods for LDA have little success, often by having much worse perplexity than their batch counterparts. We present a streaming Gibbs sampling (SGS) method, an online extension of the collapsed Gibbs sampling (CGS). Our empirical study shows that SGS can reach similar perplexity as CGS, much better than SVB. Our distributed version of SGS, DSGS, is much more scalable than SVB mainly because the updates' communication complexity is small.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

基于Gibbs-Newton技术的多变量Polya参数和主题模型的增强推理

A 'Gibbs-Newton' Technique for Enhanced Inference of Multivariate Polya Parameters and Topic Models

Heriot-Watt University（赫瑞-瓦特大学）

超参数在潜在狄利克雷分配（LDA）的学习和推理过程中起着重要的作用。为了开始LDA潜变量学习过程，需要预先确定这些超参数值。我们提出了一个LDA的扩展，我们称之为“潜在狄利克雷分配吉布斯牛顿”（LDA-GN），它将非信息先验放置在这些超参数上，并使用吉布斯采样来学习它们的适当值。LDA-GN的核心是我们提出的“Gibbs-Newton”算法，这是一种学习多元Polya分布参数的新技术。我们报告吉布斯-牛顿的性能结果相比，两个突出的现有方法，后者的任务：明卡的定点迭代法和矩方法。然后，我们以两种方式评估LDA-GN：（i）通过将其与标准LDA在所产生的主题模型推广到未见过的文档的能力方面进行比较;（ii）通过将其与标准LDA在二进制分类任务上的性能进行比较。

2016-02-27cs.CLcs.LGstat.ML

稀疏样本下的稠密分布：LDA的改进吉布斯抽样参数估计

Dense Distributions from Sparse Samples: Improved Gibbs Sampling Parameter Estimators for LDA

我们介绍了一种新的方法来估计潜在的Dirichlet分配（LDA）参数从塌陷的吉布斯样本（CGS），充分利用条件分布的潜在变量的分配，有效地平均多个样本，比绘制一个单一的额外的塌陷吉布斯样本的计算成本。我们的方法可以理解为适应软聚类方法的折叠变分贝叶斯（CVB0）CGS参数估计，以获得最好的两种技术。我们的估计器可以直接应用于任何现有的CGS实现的输出，包括现代的加速变体。我们进行了广泛的经验比较，我们的估计与标准的折叠推理算法对现实世界的数据无监督LDA和先验LDA，监督的变种LDA多标签分类。我们的研究结果表明，我们的方法在所有实验条件下都优于传统的CGS，并且在大多数条件下都优于CVB 0推理。更广泛地说，我们的研究结果突出了LDA参数估计中多个样本的平均值的重要性，以及使用有效的计算技术来做到这一点。

2017-04-11stat.ML

LDA模型[ REPORT ]的算法

Algorithms of the LDA model [REPORT]

Jožef Stefan Institute（约瑟夫·斯特凡研究所）

我们回顾了三种潜在狄利克雷分配算法（LDA）。其中两种是变分推理算法：变分贝叶斯推理和在线变分贝叶斯推理，一种是马尔可夫链蒙特卡罗（MCMC）算法--塌陷吉布斯抽样。我们比较了它们的时间复杂度和性能。我们发现，在线变分贝叶斯推理是最快的算法，仍然返回相当好的结果。

2013-07-01cs.IRcs.LGstat.ML

潜在Dirichlet分配模型训练的隐私保护

On Privacy Protection of Latent Dirichlet Allocation Model Training

Xi’an Jiaotong University（西安交通大学）

潜在狄利克雷分配（Latent Dirichlet Allocation，LDA）是一种用于发现文本数据隐藏语义结构的主题建模技术，在许多机器学习应用中起着基础性作用。然而，与许多其他机器学习算法一样，LDA模型的训练过程可能会泄露训练数据集的敏感信息，并带来重大的隐私风险。为了缓解LDA中的隐私问题，本文重点研究LDA模型训练中的隐私保护算法。特别是，我们首先开发了一个隐私监控算法，以调查从集中式策划数据集上的典型LDA训练算法中的Collapsed Gibbs Sampling（CGS）过程的固有随机性中获得的隐私保证。然后，我们进一步提出了一个本地私有LDA训练算法的众包数据提供本地差分隐私的个人数据贡献者。在真实数据集上的实验结果证明了所提算法的有效性。

2019-07-01cs.AIcs.LGstat.ML

主题推理的几何Dirichlet Means算法

Geometric Dirichlet Means algorithm for topic inference

我们提出了一个几何算法的主题学习和推理，是建立在凸几何的潜在狄利克雷分配（LDA）模型及其非参数扩展所产生的主题。为此，我们研究的几何损失函数，这是一个替代LDA的可能性的优化。我们的方法涉及到一个快速优化的加权聚类过程中增加几何校正，克服了计算和统计效率低下遇到的其他技术的基础上吉布斯抽样和变分推断，同时实现的准确性可比的吉布斯采样器。我们的方法所产生的主题估计被证明是统计上一致的，在某些条件下。该算法进行了评估与广泛的实验模拟和真实数据。

2016-10-27stat.ML

具有协变量的新LDA公式

A new LDA formulation with covariates

潜在狄利克雷分配（LDA）模型是一种用于创建混合成员集群的流行方法。尽管LDA最初是为文本分析而开发的，但它已被广泛用于其他应用。我们提出了一个新的制定LDA模型，其中包括协变量。在这个模型中，LDA中嵌入了一个负二项回归，可以直接解释回归系数，并分析每个采样单元中特定于聚类的元素的数量（而不是像结构主题模型那样，分析重点是对每个聚类的比例进行建模）。我们使用切片抽样的吉布斯抽样算法来估计模型参数。我们依靠模拟来展示我们的算法如何能够成功地检索真实的参数值，以及使用协变量给出的信息来预测丰度矩阵的能力。该模型使用来自三个不同领域的真实数据集进行说明：冠状病毒文章的文本挖掘，杂货店购物篮的分析以及Barro Colorado Island（巴拿马）的树种生态。该模型允许识别离散数据中的混合成员聚类，并提供协变量与这些聚类丰度之间关系的推断。

2022-02-18cs.IRcs.LGstat.ME

更多相关论文收起更多论文

SAME但不同：快速和高质量的吉布斯参数估计

SAME but Different: Fast and High-Quality Gibbs Parameter Estimation

UC Berkeley（加州大学伯克利分校）

吉布斯抽样是贝叶斯推理的主力，但在用于参数估计时有几个限制，并且通常比非抽样推理方法慢得多。边缘估计的状态增强（State Augmentation for Marginal Estimation）\cite{Doucet99,Doucet02}是MAP参数估计的一种方法，它给出了比直接Gibbs采样更好的参数估计。可被视为冷却后验参数分布，并允许退火搜索的MAP参数，往往产生非常高的质量（较低的损失）的估计。但这样做的代价是每次迭代都要增加额外的样本，而且性能通常会更慢。另一方面，FPGA极大地提高了采样时间表的并行性，是现代（SIMD）硬件的完美匹配。在本文中，我们探讨了现代硬件上的图形模型推理的应用。我们表明，结合因子化样本表示（或近似）的吞吐量与最快的符号方法竞争，但具有潜在的更好的质量。我们描述了潜在狄利克雷分配实验，实现速度类似于最快的方法（在线变分贝叶斯）和较低的交叉验证损失比其他LDA实现。该方法实现简单，应该适用于许多其他模型。

2014-09-18cs.LGstat.ML

基于LDA模型的主题词分析

Topic words analysis based on LDA model

Ohio State University（俄亥俄州立大学）

社会网络分析（SNA）是描述和建模特定人群的社会联系的研究领域，在网络服务中很受欢迎。我们的主题词分析项目是一种SNA方法，用于将从Obama.com到在俄亥俄州哥伦布市注册的帐户的电子邮件中的主题词可视化。基于SNA中流行的主题模型--潜在狄利克雷分配（LDA）模型，我们研究了个体对目标受体群体的偏好。吉布斯抽样被用来估计主题和词的分布。我们的培训和测试数据是来自无碳服务器Datagreening.com的电子邮件。我们使用并行计算工具BashReduce进行字处理，并在每个潜在主题下生成相关词，以发现专门发送给当地哥伦布接收者的政治新闻的典型信息。使用并行工具BashReduce在两个实例上运行，我们的项目贡献了近30%的速度处理原始内容，与本地处理一个实例上的内容相比。此外，实验结果表明，在选择适当大小的主题词列表的情况下，我们项目中应用的LDA模型比TF-IDF模型查找目标词的准确率高出53.96%。

2014-05-15cs.DCcs.IRcs.LG

ALBU：一种用于LDA的近似Loopy Belief消息传递算法，用于提高小数据集的性能

ALBU: An approximate Loopy Belief message passing algorithm for LDA to improve performance on small data sets

Stellenbosch University（斯泰伦博斯大学）

变分贝叶斯（VB）应用于潜在狄利克雷分配（LDA）已成为最流行的方面建模算法。虽然在从大型语料库中提取文本主题方面足够成功，但VB在有限数据的情况下识别方面不太成功。我们提出了一种新的变分的消息传递算法，适用于潜在的狄利克雷分配（LDA），并将其与黄金标准VB和崩溃吉布斯采样。在边缘化导致非共轭消息的情况下，我们使用采样的想法来推导近似更新方程。在共轭成立的情况下，使用循环信念更新（LBU）（也称为Lauritzen-Spiegelhalter）。我们的算法，ALBU（近似LBU），有很强的相似性与可变消息传递（VMP）（这是VB的消息传递变体）。为了在有限数据的情况下比较算法的性能，我们使用了由推文和新闻组组成的数据集。此外，为了执行更细粒度的评估和比较，我们使用模拟，通过Kullback-Leibler散度（KLD）与地面实况进行比较。使用文本语料库和KLD与模拟的一致性措施，我们表明，ALBU学习潜在的分布更准确地比VB，特别是对于较小的数据集。

2022-08-19cs.CLcs.IRcs.LG

利用聚类技术评估潜在Dirichlet分配的稳定性以提高其可靠性

Improving Reliability of Latent Dirichlet Allocation by Assessing Its Stability Using Clustering Techniques on Replicated Runs

TU Dortmund University（多特蒙德工业大学）

对于组织大型文本语料库，主题建模提供了有用的工具。一种广泛使用的方法是潜在狄利克雷分配（LDA），一种生成概率模型，它将文本集合中的单个文本建模为潜在主题的混合物。单词到主题的分配依赖于初始值，使得LDA的结果通常不能完全再现。此外，通过Gibbs Sampling的重新分配是基于条件分布的，这导致在相同文本数据上的重复运行中产生不同的结果。这一事实在日常实践中常常被忽视。我们的目标是提高LDA结果的可靠性。因此，我们通过比较重复运行的分配来研究LDA的稳定性。我们建议量化的相似性，两个生成的主题的一个修改的Jaccard系数。利用这种相似性，可以将主题聚类。提出了一种基于两次LDA运行产生相似主题对思想的层次聚类结果剪枝算法。这种方法导致了新的测量S-CLOP（通过{\bf P}运行{ \bf LO}聚类的{ \bf C}对多个集合的{\bf S}相似性）用于量化LDA模型的稳定性。我们讨论了这种措施的一些特点，并说明它与应用程序的真实数据组成的报纸文章从\textit{USA Today}。我们的研究结果表明，测量S-CROP是有用的LDA模型或任何其他主题建模过程，其主题的字分布特征的稳定性进行评估。基于新提出的LDA稳定性的措施，我们提出了一种方法，以增加可靠性，从而提高基于主题建模的实证研究结果的再现性。通过多次运行LDA并将最具代表性的运行（即与所有其他运行具有最高平均…

2020-02-14cs.AIcs.CLcs.LG

Beta Bernoulli过程随机变分算法的实证研究

An Empirical Study of Stochastic Variational Algorithms for the Beta Bernoulli Process

University of Cambridge（剑桥大学）；Stanford University（斯坦福大学）

随机变分推断（SVI）是贝叶斯概率模型中最有前途的推理方法。然而，这些方法的性能主要是在贝叶斯主题模型的背景下进行评估，特别是潜在的狄利克雷分配（LDA）。推导出几种新的算法，并使用合成，图像和基因组数据集，我们调查是否从LDA收集的理解适用于稀疏潜在因素模型的设置，特别是β过程因子分析（BPFA）。我们证明，大的图片是一致的：使用吉布斯抽样内SVI保持一定的后验依赖性是非常有效的。然而，我们发现，不同的后验依赖性是重要的BPFA相对于LDA。特别是，能够模拟局部变量依赖的近似表现最好。

2015-06-26cs.LGstat.APstat.CO

主题模型的自动编码变分推断

Autoencoding Variational Inference For Topic Models

主题模型是用于学习文本表示的最流行的方法之一，但是主要的挑战是，对主题模型的任何改变都需要从数学上导出新的推理算法。一个有前途的方法来解决这个问题是自动编码变分贝叶斯（AEVB），但它已被证明很难适用于主题模型在实践中。我们提出了什么是我们所知的第一个有效的AEVB为基础的推理方法的潜在狄利克雷分配（LDA），我们称之为自动编码变分推断主题模型（AVITM）。该模型解决了由Dirichlet先验和分量崩溃引起的AEVB问题。我们发现，AVITM匹配传统方法的准确性更好的推理时间。事实上，由于推理网络，我们发现，它是不必要的支付运行变分优化测试数据的计算成本。由于AVITM是黑盒，它很容易应用于新的主题模型。作为一个戏剧性的例子，我们提出了一个新的主题模型称为ESTLDA，取代LDA的混合模型与专家的产品。通过只改变LDA的一行代码，我们发现，即使LDA是通过折叠吉布斯抽样训练的，但HDLDA也会产生更多可解释的主题。

2017-03-04stat.ML

面向作者和文档的作者-主题模型

The Author-Topic Model for Authors and Documents

UC Irvine（加州大学欧文分校）；Stanford University（斯坦福大学）

我们介绍了作者主题模型，一个生成模型的文件，扩展潜在狄利克雷分配（LDA;布雷，吴，约旦，2003年），包括作者身份信息。每个作者都与主题的多项分布相关联，每个主题都与单词的多项分布相关联。具有多个作者的文档被建模为主题上的分布，该分布是与作者相关联的分布的混合。我们将该模型应用于1，700篇NIPS会议论文和160，000篇CiteSeer摘要的集合。对于这些数据集来说，精确的推理是很难的，我们使用吉布斯抽样来估计主题和作者分布。我们比较的性能与其他两个生成模型的文件，这是特殊情况下的作者主题模型：LDA（主题模型）和一个简单的作者模型，其中每个作者与分布的话，而不是分布的主题。我们展示了作者主题模型恢复的主题，并展示了作者之间的相似性和作者输出熵的计算应用。

2012-07-11cs.IRcs.LGstat.ML

稀疏部分折叠MCMC的主题模型并行推理

Sparse Partially Collapsed MCMC for Parallel Inference in Topic Models

主题模型，更具体地说是潜在狄利克雷分配（LDA）类，广泛用于文本的概率建模。从后验分布进行MCMC采样通常使用塌陷吉布斯采样器来执行。我们提出了一个并行稀疏部分折叠吉布斯采样器，并比较其速度和效率，以国家的最先进的采样器的主题模型上五个著名的文本语料库的不同大小和属性。特别是，我们提出并比较了两种不同的策略，用于对具有潜在主题指标的参数块进行采样。实验表明，统计效率的增加，从只有部分折叠是小于通常假设的，可以超过补偿的加速从并行化和稀疏较大的语料库。我们还证明了部分塌陷的采样器的规模以及与语料库的大小。该算法具有快速、高效、准确的特点，比普通的塌陷采样器适用于更多的建模场合。

2017-08-15stat.MEstat.ML

用于流视频数据语义感知的Gibbs采样策略

Gibbs Sampling Strategies for Semantic Perception of Streaming Video Data

Woods Hole Oceanographic Institution（伍兹霍尔海洋研究所）；McGill University（麦吉尔大学）

流传感器数据的主题建模可用于移动机器人对环境的高水平感知。在本文中，我们比较各种吉布斯采样策略的主题建模流时空数据，如视频捕获的移动机器人。与以往的在线主题建模，如o-LDA和增量LDA的工作相比，我们表明，所提出的技术的结果在较低的在线和最终的困惑，给定的实时约束。

2015-09-10cs.LGcs.RO

快速在线EM大主题建模

Fast Online EM for Big Topic Modeling

Soochow University（苏州大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；City University of Hong Kong（香港城市大学）

期望最大化（EM）算法可以计算混合模型或潜在变量模型（如潜在Dirichlet分配（LDA））的最大似然（ML）或最大后验（MAP）点估计，是近十年来最流行的概率主题建模方法之一。然而，批量EM具有较高的时间和空间复杂度，以从大数据流中学习大LDA模型。在本文中，我们提出了一个快速的在线EM（FOEM）算法，推断的主题分布从以前看不见的文件递增恒定的内存要求。在随机近似框架内，我们证明了FOEM可以收敛到LDA的似然函数的局部平稳点。通过快速动态调度和低内存使用的参数流，FOEM对于一些终身主题建模任务比最先进的在线LDA算法更有效，可以在PC上处理大数据和大模型（又名，大主题建模）。

2015-12-07cs.LG

在线贝叶斯协作主题回归

Online Bayesian Collaborative Topic Regression

Zhejiang University（浙江大学）；Singapore Management University（新加坡管理大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）

协作主题回归（CTR）结合了概率矩阵分解（PMF）和主题建模（例如，LDA）的推荐系统，在许多应用中取得了越来越多的成功。现有的CTR算法虽然具有许多优点，但也存在一些严重的局限性。首先，它们通常被设计为以批量学习的方式工作，这使得它们不适合处理真实世界推荐系统中的流数据或大数据。其次，LDA的文档特定主题比例被馈送到下游PMF，但不是反向的，这是次优的，因为在发现文档的低维表示时没有利用评级信息，因此可能导致用于预测的次优表示。在本文中，我们提出了一种新的方案，在线贝叶斯协作主题回归（OBCTR），这是有效的和可扩展的学习数据流。特别地，我们{ \it联合}以在线学习的方式优化PMF和LDA的组合目标函数，其中PMF和LDA任务可以在在线学习过程中相互加强。我们令人鼓舞的实验结果对现实世界的数据验证了所提出的方法的有效性。

2016-05-28cs.IRcs.LG