Sparse Stochastic Inference for Latent Dirichlet allocation
我们提出了一个混合算法的贝叶斯主题模型，结合稀疏吉布斯抽样的效率与在线随机推理的可扩展性。我们使用我们的算法分析了120万本书（330亿字）的语料库，其中包含数千个主题。我们的方法减少了变分推理的偏差，并推广到许多贝叶斯隐变量模型。
2012-06-27 cs.LG stat.ML
A Prescriptive Dirichlet Power Allocation Policy with Deep Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）；Harbin Institute of Technology（哈尔滨工业大学）；NASA Ames Research Center（美国国家航空航天局艾姆斯研究中心）
根据系统状况规定最佳操作，从而可能延长剩余使用寿命，对于积极管理复杂系统的可用性、维护和成本具有很大的潜力。强化学习（RL）算法特别适合于这种类型的问题，因为它们具有学习能力。规定性操作的一个特殊情况是功率分配任务，它可以被认为是一个顺序分配问题，其中的动作空间是由单纯形约束。一般连续的行动空间解决这种顺序分配问题仍然是一个开放的研究问题RL算法。在连续动作空间中，强化学习中应用的标准高斯策略不支持单纯形约束，而Gaussian-softmax策略在训练过程中引入了偏差。在这项工作中，我们提出了连续分配任务的Dirichlet策略，并分析了其策略梯度的偏差和方差。我们证明了Dirichlet策略是无偏的，并且比Gaussian-softmax策略提供了更快的收敛速度，更好的性能和更好的超参数鲁棒性。此外，我们证明了所提出的算法的适用性上的规定的操作情况下，我们提出了狄利克雷功率分配政策和评估的一组多个锂离子（Li-I）电池系统的案例研究的性能。实验结果表明，潜在的规定最佳操作，提高多电源系统的效率和可持续性。
2022-01-20 cs.AI cs.LG
A Topic Modeling Toolbox Using Belief Propagation
School of Computer Science and Technology（计算机科学与技术学院）；Soochow University（苏州大学）
潜在狄利克雷分配（LDA）是一种重要的概率主题建模的层次贝叶斯模型，在文本挖掘、计算机视觉和计算生物学等领域有着广泛的应用，引起了广泛的关注。介绍了一个基于置信传播算法的主题建模工具箱。TMBP工具箱由MEX C++/Matlab/Octave实现，适用于Windows 7或Linux。与现有的主题建模包相比，该工具箱的新颖之处在于学习基于LDA的主题模型的BP算法。当前版本包括用于潜在狄利克雷分配（LDA）、作者主题模型（ATM）、关系主题模型（RTM）和标记LDA（LaLDA）的BP算法。这个工具箱是一个正在进行的项目，在不久的将来，将添加更多的基于BP算法的各种主题模型。感兴趣的用户还可以扩展BP算法，以学习更复杂的主题模型。源代码可以在GNU通用公共许可证1.0版下免费获得，网址是https://mloss.org/software/view/399/。
2012-04-05 cs.LG
Latent Dirichlet Allocation in Generative Adversarial Networks
University of Electronic Science and Technology of China（电子科技大学）
我们研究了基于生成对抗网络（GANs）的图像多模态生成建模问题。尽管现有的方法取得了成功，但它们往往忽略了视觉数据的底层结构或其多模态生成特性。为了解决这个问题，我们引入狄利克雷先验的多模态图像生成，这导致了一个新的潜在狄利克雷分配的GAN（LDAGAN）。详细地，对于生成过程建模，LDAGAN为每个样本定义生成模式，确定其属于哪个生成子过程。对于对抗训练，LDAGAN推导出一种变分期望最大化（VEM）算法来估计模型参数。在真实数据集上的实验结果表明，LDAGAN的性能优于其他现有的GANs。
2019-11-06 cs.CV cs.LG stat.ML
Variable Selection for Latent Dirichlet Allocation
KAIST（韩国科学技术院）
在潜在狄利克雷分配（LDA）中，主题在整个词汇表上是多项分布的。然而，词汇表通常包含许多与形成主题无关的词。我们采用了一种在统计建模中广泛使用的变量选择方法作为降维工具，并将其与LDA相结合。在这个LDA的变量选择模型（vsLDA）中，主题是词汇表子集上的多项分布，并且通过排除对发现语料库的潜在主题结构没有信息的单词，vsLDA发现更鲁棒和更具歧视性的主题。我们比较了三种模型，vsLDA，LDA与对称先验，LDA与非对称先验，对heldout似然，MCMC链的一致性，和文档分类。vsLDA的性能优于对称LDA的似然和分类，优于非对称LDA的一致性和分类，并在其他比较中大致相同。
2012-05-04 cs.LG stat.ML
Decentralized Topic Modelling with Latent Dirichlet Allocation
Télécom ParisTech（巴黎电信学院）；Université Paris-Saclay（巴黎萨克雷大学）；Technicolor（特艺集团）；INRIA（法国国家信息与自动化研究所）
隐私保护网络可以被建模为分散式网络（例如，传感器、连接的对象、智能电话），其中网络的节点之间的通信不由全知的中心节点控制。对于这种类型的网络，主要问题是收集/学习网络上的全局信息（例如，通过优化全局成本函数），同时保持每个节点处的（敏感）信息。在这项工作中，我们专注于代理不想共享的文本信息（例如，文本消息、电子邮件、机密报告）。我们使用分散优化和主题模型的最新进展来从有限通信的图中推断主题。我们提出了一种方法，以适应潜在的Dirichlet分配（LDA）模型分散优化和合成数据显示，我们仍然恢复类似的参数和类似的性能在每个节点比随机方法访问图中的整个信息。
2016-10-05 cs.LG stat.ML
A derivation of variational message passing (VMP) for latent Dirichlet allocation (LDA)
Stellenbosch University（斯泰伦博斯大学）；Praelexis（Praelexis公司）；KU Leuven（鲁汶大学）
潜在狄利克雷分配（LDA）是一种概率模型，用于发现文档语料库中的潜在主题。通常使用变分贝叶斯（VB）算法进行推断，该算法计算参数的后验分布的下限。推导新模型的变分更新方程需要相当大的人工努力，变分消息传递（VMP）已成为一个“黑盒子”的工具，以加快变分推理的过程。但在实践中应用VMP仍然存在微妙的挑战，现有文献不包含为标准平滑LDA模型实现VMP所需的步骤，也没有可用的黑盒概率图形建模软件能够进行实现LDA所需的单词主题更新。因此，在本文中，我们提出了一个详细的推导的LDA的VMP更新方程。我们认为这是使其他研究人员能够计算类似图形模型的VMP更新的第一步。
2022-08-25 cs.LG stat.ML
Dirichlet belief networks for topic structure learning
Monash University（莫纳什大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
最近，大量的研究工作已经致力于开发主题模型的深层架构，以学习主题结构。虽然已经提出了几种深度模型来学习更好的文档主题比例，但如何利用深度结构的好处来学习主题的单词分布尚未得到严格的研究。在这里，我们提出了一个新的多层生成过程中的词分布的主题，其中每一层由一组主题和每个主题是从一个混合物的层以上的主题。由于所有层中的主题都可以直接用词来解释，因此该模型能够发现可解释的主题层次结构。作为一个独立的模块，我们的模型可以灵活地适应不同类型的主题模型，以提高其建模的准确性和可解释性。在文本语料库上的大量实验证明了该模型的优越性。
2018-11-02 cs.CL cs.IR cs.LG
On the Connection Between Non-negative Matrix Factorization and Latent Dirichlet Allocation
Harvard University（哈佛大学）
本文证明了对两个矩阵列施加 $\ell_1$ 归一化约束并对其中一个矩阵列施加 Dirichlet 先验的 NMF 等价于 LDA，并揭示了联合 MU 算法与 PLSA 的联系及 Lasso 惩罚的局限性。
2024-05-30 cs.LG stat.ML
Deep Latent Dirichlet Allocation with Topic-Layer-Adaptive Stochastic Gradient Riemannian MCMC
针对深度离散潜变量模型（LVMs）开发基于随机梯度的可扩展推理是具有挑战性的，这是由于不仅难以计算梯度，而且难以使步长适应不同的潜在因子和隐藏层。对于泊松伽马信念网络（PGBN），最近提出的深度离散LVM，我们推导出一种替代表示，被称为深度潜在狄利克雷分配（DLDA）。利用数据增广和边缘化技术，我们推导出一个块对角费舍尔信息矩阵和它的逆单形约束的全球模型参数的DLDA。利用费舍尔信息矩阵与随机梯度MCMC，我们提出了主题层自适应随机梯度黎曼（TLASGR）MCMC，共同学习单纯形约束的全局参数在所有层和主题，主题和层特定的学习率。在大数据集上展示了最先进的结果。
2017-06-06 cs.LG stat.CO stat.ML
Exact marginal inference in Latent Dirichlet Allocation
Google Research（谷歌研究院）
假设我们有潜在的“原因”$z\in Z$，它产生具有已知概率$β(w|z)$的“事件”$w$。我们观察到$w_1,w_2,...,w_n$，我们可以说什么原因的分布？贝叶斯估计将假设$Z$上分布的先验（我们假设Dirichlet先验）并计算后验。然后，对后验进行平均，得到$Z$的分布，该分布估计了每个原因$z$对我们的观察结果的贡献。这是潜在狄利克雷分配的设置，它可以应用于例如在文档中“产生”单词的主题。在这种情况下，观察到的单词数量通常很大，但潜在主题的数量很少。我们在这里感兴趣的应用程序与许多潜在的“原因”（例如，在地球上的位置），但只有少数意见。我们表明，精确的贝叶斯估计可以计算在线性时间（和恒定的空间）在$|Z|$为一个给定的上限$n$与一个令人惊讶的简单的公式。我们将该算法推广到稀疏概率$β(w|z)$的情况，其中我们只需要假设观测值上的“交互图”的树宽度是有限的。另一方面，我们也表明，没有这样的限制，该问题是NP-难的。
2020-03-31 cs.LG stat.ML
Latent Dirichlet Allocation (LDA) for Topic Modeling of the CFPB Consumer Complaints
Unifund CCR, LLC（Unifund CCR有限责任公司）；University of Cincinnati（辛辛那提大学）
提出了一种基于潜在狄利克雷分配（LDA）的文本挖掘方法来分析消费者金融保护局（CFPB）的消费者投诉。所提出的方法旨在提取潜在的主题在CFPB投诉叙述，并探讨其相关的趋势随着时间的推移。然后，时间趋势将用于评估CFPB法规的有效性和对金融机构的期望，以创造一种以消费者为导向的文化，公平对待消费者，并在决策过程中优先考虑消费者保护。所提出的方法可以很容易地操作作为一个决策支持系统，自动检测消费者投诉中出现的主题。因此，拟议的方法与CFPB团队之间的技术-人力伙伴关系肯定可以通过对消费者投诉叙述进行更有效和更有效的调查，改善对金融市场中不公平，欺骗或滥用行为的消费者保护。
2018-07-18 cs.IR cs.LG stat.ML
Resume Evaluation through Latent Dirichlet Allocation and Natural Language Processing for Effective Candidate Selection
Sardar Patel Institute of Technology（萨达尔·帕特尔技术学院）
本文提出一种基于LDA和SpaCy命名实体识别的简历评分方法，通过提取实体并分配主题概率实现内容驱动的评估，在考虑所有属性时准确率达82%。
2023-07-28 cs.CL cs.LG
The Exact Asymptotic Form of Bayesian Generalization Error in Latent Dirichlet Allocation
NTT DATA Mathematical Systems Inc.（NTT数据数学系统公司）；Tokyo Institute of Technology（东京工业大学）
潜在狄利克雷分配（LDA）通过贝叶斯推断从数据中获取基本信息。它通过降维和聚类的方法在许多领域中被应用于知识发现。然而，它的泛化错误尚未澄清，因为它是一个奇异的统计模型，其中没有一对一的映射从参数到概率分布。本文利用代数几何的方法，通过对其学习系数的理论分析，给出了其推广误差和边际似然的精确渐近形式。理论结果表明，LDA中的贝叶斯推广误差可以用矩阵分解中的贝叶斯推广误差和LDA参数区域的单纯形约束所带来的惩罚来表示。数值实验结果与理论结果一致。
2021-01-25 cs.LG math.ST stat.ML
Latent Dirichlet Allocation Model Training with Differential Privacy
潜在狄利克雷分配（LDA）是一种流行的主题建模技术，用于发现文本数据的隐藏语义，并在各种应用中作为文本分析的基本工具。然而，LDA模型以及LDA的训练过程可能暴露训练数据中的文本信息，从而带来显著的隐私问题。针对LDA中的隐私问题，系统研究了主流的基于CGS的LDA训练算法的隐私保护，并针对典型训练场景提出了几种差分隐私LDA算法。特别是，我们提出了第一个理论分析的内在差分隐私保证CGS为基础的LDA训练，并进一步提出了一个集中式的隐私保护算法（HDP-LDA），可以防止数据推断的中间统计在CGS的训练。此外，我们提出了一个本地私人LDA训练算法（LP-LDA）的众包数据提供本地差分隐私的个人数据贡献者。此外，我们将LP-LDA扩展到在线版本作为OLP-LDA，以在流设置中实现本地私有小批量的LDA训练。大量的分析和实验结果验证了我们提出的隐私保护LDA训练算法的有效性和效率。
2020-10-09 cs.CR cs.LG
On Privacy Protection of Latent Dirichlet Allocation Model Training
Xi’an Jiaotong University（西安交通大学）
潜在狄利克雷分配（Latent Dirichlet Allocation，LDA）是一种用于发现文本数据隐藏语义结构的主题建模技术，在许多机器学习应用中起着基础性作用。然而，与许多其他机器学习算法一样，LDA模型的训练过程可能会泄露训练数据集的敏感信息，并带来重大的隐私风险。为了缓解LDA中的隐私问题，本文重点研究LDA模型训练中的隐私保护算法。特别是，我们首先开发了一个隐私监控算法，以调查从集中式策划数据集上的典型LDA训练算法中的Collapsed Gibbs Sampling（CGS）过程的固有随机性中获得的隐私保证。然后，我们进一步提出了一个本地私有LDA训练算法的众包数据提供本地差分隐私的个人数据贡献者。在真实数据集上的实验结果证明了所提算法的有效性。
2019-07-01 cs.AI cs.LG stat.ML
Fast mixing for Latent Dirichlet allocation
Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）
马尔可夫链蒙特卡罗（MCMC）算法在概率论中普遍存在，特别是在机器学习中。设计了一个马尔可夫链，使其平稳分布是某种感兴趣的概率分布。然后，通过运行马尔可夫链“很长一段时间”，从给定的分布中进行采样，直到它看起来是平稳的，然后收集样本。然而，这些链通常非常复杂，并且没有理论保证实际上达到平稳性。在本文中，我们研究了潜在狄利克雷分配的一个非常简单的情况下，可以说是最有名的贝叶斯无监督学习模型的文本生成和文本分类的后验分布的吉布斯采样器。结果表明，当语料库由两个等长的$m$文档组成，而词汇表仅由两个不同的词组成时，混合时间至多为$m^2\log m$阶（相当于$m\log m$在语料库中的循环次数）.从我们的分析中可以明显看出，在文档数量和词汇量都很大的情况下，只要每个单词在每个文档中表示为一个很大的数字，即使所涉及的计算可能很难处理，混合时间也不会差得多。
2017-11-01 cs.LG stat.ML
EvaLDA: Efficient Evasion Attacks Towards Latent Dirichlet Allocation
Hangzhou Dianzi University（杭州电子科技大学）；Harvard University（哈佛大学）
作为最强大的主题模型之一，潜在狄利克雷分配（LDA）已被用于广泛的任务，包括文档理解、信息检索和同行评审分配。尽管LDA非常受欢迎，但其安全性却很少被研究。这给基于LDA的安全关键任务（如情感分析和同行评审员分配）带来了严重的风险。在本文中，我们有兴趣知道LDA模型是否容易受到良性文档示例在推理时间的对抗性扰动。我们将对LDA模型的规避攻击形式化为一个优化问题，并证明了它是NP难的。然后，我们提出了一种新的和有效的算法，EvaLDA来解决它。我们通过广泛的实证评估EvaLDA的有效性。例如，在NIPS数据集中，EvaLDA可以平均将目标主题的排名从10提升到7左右，只需将受害者文档中1%的单词替换为相似单词。我们的工作提供了显着的见解逃避攻击LDA模型的权力和限制。
2021-04-12 cs.CR cs.IR cs.LG
Latent Dirichlet Allocation Uncovers Spectral Characteristics of Drought Stressed Plants
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；University of Bonn（波恩大学）
了解植物对干旱胁迫的适应过程对于改善管理实践、育种策略以及为未来几十年的可持续农业设计可行的作物至关重要。高光谱成像提供了一个特别有前途的方法来获得这样的理解，因为它允许发现非破坏性的光谱特性的植物主要由散射和吸收特性的叶片内部结构和生化成分。利用高光谱成像得出了若干干旱胁迫指数。然而，它们通常仅基于少数高光谱图像，依赖于专家的解释，并且仅考虑少数波长。在这项研究中，我们提出了第一个数据驱动的方法来发现光谱干旱胁迫指数，将其视为大规模的无监督标记问题。为了利用光谱波长的短程依赖性，我们开发了一个在线变分贝叶斯算法的潜在Dirichlet分配卷积Dirichlet正则化。这种方法可以扩展到大规模的数据集，因此为植物生理实践提供了更客观的补充。发现的光谱主题符合植物生理知识，可以在一小部分的时间内计算相比，现有的LDA方法。
2012-10-16 cs.CE cs.LG stat.ML
Feature extraction using Latent Dirichlet Allocation and Neural Networks: A case study on movie synopses
University of Macedonia（马其顿大学）
特征提取在机器学习领域得到了越来越多的关注，因为为了从大数据中检测模式、提取信息或预测未来的观察结果，信息特征的迫切性至关重要。提取特征的过程与降维高度相关，因为它意味着将数据从稀疏的高维空间转换为更高级别的有意义的抽象。本文采用神经网络进行分布式段落表示，并采用潜在狄利克雷分配来捕获段落向量的更高层次特征。虽然分布式段落表示的神经网络被认为是提取段落向量的最新技术，我们表明，一个快速的主题分析模型，如潜在的狄利克雷分配也可以提供有意义的功能。我们在CMU电影摘要语料库上评估了这两种方法，CMU电影摘要语料库是从维基百科中提取的25，203部电影情节摘要的集合。最后，对于这两种方法，我们使用K-最近邻来发现相似的电影，并使用T-分布随机邻居嵌入来描绘上下文相似性。这些相似性，表示为电影距离，可以用于电影推荐。将该方法的推荐电影与IMDB中使用协同过滤推荐方法的推荐电影进行比较，以表明我们的两个模型可以构成替代或补充的推荐方法。
2016-04-05 cs.AI cs.CL cs.IR
Financial Decision Making using Reinforcement Learning with Dirichlet Priors and Quantum-Inspired Genetic Optimization
本文提出结合Dirichlet分布和量子启发式遗传优化的强化学习框架，用于动态预算分配，以提高企业财务决策的适应性与准确性。
2025-08-27 cs.LG cs.NE
Latent Dirichlet Allocation with Residual Convolutional Neural Network Applied in Evaluating Credibility of Chinese Listed Companies
University of Toronto（多伦多大学）
该项目展示了一种方法来估计合作的可信度与自然语言处理的方法。由于公司透明度影响公司的信誉和未来可能的收益，因此，它是银行和投资者在对上市公司进行风险评估时必须考虑的一个重要因素。这种评估合作可信度的方法可以绕过风险评估中的人为偏见和不一致性，与人工评估相比，使用大量定量数据和神经网络模型可以以更有效的方式提供更准确的估计。该模型首先采用潜在狄利克雷分配法和清华大学中文开放词典对文章中可能与企业信誉相关的主题进行分类。然后，根据基金经理和会计师对企业公信力的调查数据，对每个主题的关键词进行标注，训练出一个残差卷积神经网络。训练结束后，我们对所有3065家上市公司的新闻报道进行预处理，运行模型，该模型应该根据公司的透明度水平给出公司排名。
2018-11-24 cs.CL cs.IR cs.LG
A Temporal Extension of Latent Dirichlet Allocation for Unsupervised Acoustic Unit Discovery
Stellenbosch University（斯泰伦博斯大学）
潜在狄利克雷分配（LDA）被广泛用于文档集的无监督主题建模。模型中没有使用时间信息。然而，在连续标记的对应主题之间通常存在关系。在本文中，我们提出了一个扩展LDA，使用马尔可夫链建模的时间信息。我们使用这个新的模型从语音声学单位发现。作为输入令牌，该模型从具有512个代码的矢量量化（VQ）神经网络中获取语音的离散化编码。然后，目标是将这512个VQ代码映射到50个类似于电话的单元（主题），以便更接近真实的电话。与仅考虑VQ码如何在话语（文档）内共同出现的基础LDA相比，马尔可夫链LDA另外捕获连续码如何彼此跟随。与基础LDA相比，这种扩展导致集群质量和电话分割结果的增加。与最近的矢量量化神经网络方法（也学习50个单元）相比，扩展的LDA模型在电话分割方面表现更好，但在互信息方面表现较差。
2022-06-29 cs.CL cs.LG eess.AS
WarpLDA: a Cache Efficient O(1) Algorithm for Latent Dirichlet Allocation
Tsinghua University（清华大学）
开发高效的和可扩展的潜在狄利克雷分配算法（LDA）是许多应用的广泛兴趣。以前的工作已经为每个令牌开发了O（1）Metropolis-Hastings采样方法。然而，由于对参数矩阵的随机访问和频繁的高速缓存未命中，性能远非最佳。在本文中，我们首先仔细分析了现有的LDA算法的内存访问效率的随机接入，这是在内存区域的大小，在很短的时间内，随机访问下降的范围。然后，我们开发WarpLDA，LDA采样器，它实现了最佳的O（1）时间复杂度每个令牌和最佳的O（K）范围的随机接入。我们在各种测试条件下的经验结果表明，WarpLDA始终比最先进的基于Metropolis-Hastings的LightLDA快5- 15倍，并且与稀疏感知的F+LDA相当或更快。使用WarpLDA，用户可以在几个小时内从数亿文档中学习多达100万个主题，每秒11 G令牌的吞吐量前所未有。
2016-03-02 cs.DC cs.IR cs.LG
Constructing dynamic residential energy lifestyles using Latent Dirichlet Allocation
Stanford University（斯坦福大学）
高级仪表基础设施（AMI）的快速扩展极大地改变了能源信息的格局。然而，我们利用这些信息来生成有关住宅电力需求的可操作见解的能力仍然有限。在这项研究中，我们提出并测试了一个新的框架，通过使用一个动态的能源生活方式的方法，是迭代和高度可扩展的理解居民用电需求。为了获得能源的生活方式，我们开发了一种新的方法，适用于潜在的Dirichlet分配（LDA），通常用于推断文本数据的潜在主题结构的方法，提取一系列潜在的家庭能源属性。通过这样做，我们提供了一个家庭用电的新视角，其中每个家庭的特点是混合的能源属性，形成了用于识别能源生活方式的稀疏集合的构建块。我们通过对来自60，000个家庭的每小时智能电表数据进行一年的实验来研究这种方法，并提取了描述一般日常使用模式的六个能源属性。然后，我们使用聚类技术，从能量属性比例中获得六种不同的能量生活方式。我们的生活方式方法也灵活地适应不同的时间间隔长度，我们按季节（秋季，冬季，春季和夏季）测试我们的生活方式方法，以跟踪家庭内部和家庭之间的能量生活方式动态，发现大约73%的家庭在一年内表现出多种生活方式。这些能源的生活方式，然后比较不同的能源使用特点，我们讨论了他们的需求响应程序设计和生活方式的变化分析的实际应用。
2022-04-22 cs.CY cs.LG
A Spectral Algorithm for Latent Dirichlet Allocation
University of California, Irvine（加州大学欧文分校）；University of Pennsylvania（宾夕法尼亚大学）；Microsoft Research（微软研究院）；National Institute of Standards and Technology（国家标准与技术研究院）
主题建模的问题可以被看作是聚类问题的概括，因为它假设由于多个潜在因素（例如，每个文档中的词被生成为若干活动主题的混合，而不是仅仅一个）。这种增强的表征能力是以更具有挑战性的无监督学习问题为代价的，即当只观察单词而隐藏相应的主题时，估计主题概率向量（每个主题在单词上的分布）。我们提供了一个简单而有效的学习过程，保证恢复的参数为广泛的一类混合模型，包括流行的潜在狄利克雷分配（LDA）模型。对于LDA，该过程仅使用三元组统计（即，三阶矩，其可以用仅包含三个单词的文档来估计）。该方法，被称为超额相关分析（ECA），是基于通过两个奇异值分解（SVD）的低阶矩（第三和第四阶）的谱分解。此外，该算法是可缩放的，因为SVD操作是在$k\times k$矩阵上执行的，其中$k$是潜在因子的数量（例如，主题的数量），而不是在$d$维观察空间（通常是$d \gg k$）中执行的。
2013-01-17 cs.LG stat.ML
An end-to-end Differentially Private Latent Dirichlet Allocation Using a Spectral Algorithm
University of Maryland（马里兰大学）；UC Santa Barbara（加州大学圣巴巴拉分校）
我们提供了一个端到端的差分私有频谱算法学习LDA，基于矩阵/张量分解，并建立理论保证估计模型参数的效用/一致性。频谱算法由多个算法步骤组成，称为“{边缘}”，可以向其中注入噪声以获得差分隐私。我们确定\emph{subsets of edges}，命名为“{configurations}"，这样，在这样的子集中的所有边缘添加噪声保证差分隐私的端到端频谱算法。我们的特点是相对于输入的边缘的灵敏度，从而估计的噪声量被添加到每个边缘的任何所需的隐私级别。然后，我们的特点，为每个配置的效用损失作为注入噪声的函数。总的来说，通过结合灵敏度和效用特性，我们获得了LDA的端到端差分私有频谱算法，并确定了相应的配置，在任何特定的制度优于其他人。我们是第一个在LDA学习所需的差分隐私水平下实现效用保证的公司。总的来说，我们的方法系统地优于差分私人变分推断。
2020-01-17 cs.LG stat.ML
Evaluation of Non-Negative Matrix Factorization and n-stage Latent Dirichlet Allocation for Emotion Analysis in Turkish Tweets
Ege University（埃杰大学）；Yildiz Technical University（耶尔德兹技术大学）；Walmart Global Tech（沃尔玛全球科技）
随着技术的发展，社交媒体的使用已经变得非常普遍。分析社交媒体在媒体和广告等领域的评论在今天发挥着重要作用。为此，使用新的和传统的自然语言处理方法来检测这些共享的情感。在本文中，潜在的Dirichlet分配，即LDA，和非负矩阵分解的主题建模方法被用来确定通过Twitter发布的土耳其推文的情感。此外，还分析了基于LDA的n层方法的精度。数据集由5种情绪组成，即愤怒，恐惧，快乐，悲伤和困惑。NMF是本研究中最成功的主题建模方法。然后，利用主题的词权值和类标签，对随机森林、朴素贝叶斯和支持向量机方法的F1测度进行分析，得到适合Weka的文档。在Weka的结果中，最成功的方法是n阶段LDA，最成功的算法是随机森林。
2021-09-27 cs.CL cs.IR cs.LG
Asymptotic Bayesian Generalization Error in Latent Dirichlet Allocation and Stochastic Matrix Factorization
NTT DATA Mathematical Systems Inc.（NTT数据数学系统株式会社）；Tokyo Institute of Technology（东京工业大学）
潜在狄利克雷分配（LDA）在文档分析、图像处理和许多信息系统中是有用的，然而，由于它是一个奇异的学习机器，常规的统计理论不能应用于它，因此它的泛化性能一直是未知的。随机阵分解（英语：Stochastic matrix factorization，SMF）是一种限制矩阵分解，其中矩阵因子是随机的;矩阵的列在单纯形中。SMF被应用于图像识别和文本挖掘。我们可以将SMF理解为一个统计模型，通过该模型，给定数据的随机矩阵由两个随机阵的乘积表示，其泛化性能也由于非正则性而未知。本文利用代数和几何方法证明了LDA和SMF的解析等价性，它们具有相同的实对数典型阈值（RLCT），从而使它们具有相同的贝叶斯推广误差和相同的对数边际似然。此外，我们还导出了RLCT的上界，并证明了它小于参数的维数除以2，因此它们的贝叶斯推广误差比常规统计模型的推广误差小小于.
2020-01-30 cs.LG math.ST stat.ML
Learning Topic Models by Belief Propagation
Soochow University（苏州大学）；Shanghai Key Laboratory of Intelligent Information Processing（上海市智能信息处理重点实验室）；Hong Kong Baptist University（香港浸会大学）
潜在狄利克雷分配（LDA）是一种重要的概率主题建模的层次贝叶斯模型，在文本挖掘、计算机视觉和计算生物学等领域有着广泛的应用，引起了广泛的关注。本文将LDA表示为马尔可夫随机场（MRF）框架内的因子图，这使得经典的循环置信传播（BP）算法的近似推理和参数估计。虽然两种常用的近似推理方法，如变分贝叶斯（VB）和折叠吉布斯采样（GS），在学习LDA方面取得了很大的成功，建议的BP在速度和准确性方面都具有竞争力，在四个大规模的文档数据集上的实验结果令人鼓舞。此外，BP算法有可能成为一个通用的学习计划的变体基于LDA的主题模型。为此，我们展示了如何学习基于LDA的主题模型的两个典型变体，如作者主题模型（ATM）和关系主题模型（RTM），使用BP基于因子图表示。
2012-03-24 cs.LG
Residual Belief Propagation for Topic Modeling
Soochow University（苏州大学）；City University of Hong Kong（香港城市大学）
快速的收敛速度是训练潜在狄利克雷分配（LDA）的一个重要特性，特别是在大规模数据集的在线和并行主题建模中。本文提出了一种新的残差置信传播（RBP）算法，以加快训练LDA的收敛速度。所提出的RBP使用一种通知调度方案来进行异步消息传递，该方案以更高的优先级传递快速收敛的消息，以在每次学习迭代中影响那些缓慢收敛的消息。广泛的实证研究证实，RBP显着减少了训练时间，直到收敛，同时实现了比其他国家的最先进的LDA训练算法，包括变分贝叶斯（VB），折叠吉布斯采样（GS），循环信念传播（BP），和残留VB（RVB）低得多的预测困惑。
2012-04-30 cs.IR cs.LG
Study of Emotion Concept Formation by Integrating Vision, Physiology, and Word Information using Multilayered Multimodal Latent Dirichlet Allocation
Graduate School of Engineering Science, Osaka University（大阪大学工程科学研究生院）；Graduate School of Science and Technology, Nara Institute of Science and Technology（奈良科学技术大学院大学科学技术研究生院）
提出基于多层多模态潜在 Dirichlet 分配的模型，融合视觉、生理和词汇信息建模情绪概念形成，并验证其类别符合主观感受且可预测缺失信息。
2024-04-12 cs.AI cs.HC cs.LG
Kernel Topic Models
Cavendish Laboratory（卡文迪什实验室）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Microsoft Research（微软研究院）
潜在狄利克雷分配模型离散数据作为离散分布的混合，使用混合权重的狄利克雷信念。我们研究了这个概念的一个变体，其中文档的混合权重信念被替换为压缩的高斯分布。这允许文档与希尔伯特空间的元素相关联，允许内核主题模型（KTM），对文档之间的时间、空间、层次、社交及其他结构进行建模。主要的挑战是有效的近似推理的潜在高斯。我们提出了一个近似算法铸造周围的拉普拉斯近似变换的基础上。KTM还可以被解释为一种高斯过程潜变量模型，或者以文档特征为条件的主题模型，揭示这些领域早期工作之间的联系。
2011-10-21 cs.LG stat.ML
From Radiologist Report to Image Label: Assessing Latent Dirichlet Allocation in Training Neural Networks for Orthopedic Radiograph Classification
Karolinska Institute（卡罗林斯卡学院）
本研究评估了利用LDA从放射科报告生成标签并训练ANN分类骨科X光片的方法，发现LDA虽不适合高精度生成标签，但ANN仍能高精度学习部分图像特征。
2024-08-22 cs.AI cs.CV cs.LG
Nonparametric Bayes Pachinko Allocation
University of Massachusetts（马萨诸塞大学）；Princeton University（普林斯顿大学）
最近的进展，主题模型探索了复杂的结构化分布来表示主题相关性。例如，弹球盘分配模型（PAM）使用有向无环图（DAG）捕获主题之间的任意、嵌套和可能稀疏的相关性。虽然PAM比以前的模型（如潜在狄利克雷分配（LDA））提供了更大的灵活性和更强的表达能力，但它也更难以为特定数据集确定适当的主题结构。在本文中，我们提出了一个非参数贝叶斯先验PAM的基础上的一个变种的分层狄利克雷过程（HDP）。虽然HDP可以捕获由嵌套数据结构定义的主题相关性，但它不能从非结构化数据中自动发现这种相关性。通过假设PAM的基于HDP的先验，我们能够了解主题的数量以及主题之间的相关性。我们在合成和真实世界的文本数据集上评估了我们的模型，并表明非参数PAM在不手动调整主题数量的情况下实现了与PAM最佳性能相匹配的性能。
2012-06-20 cs.IR cs.LG stat.ML
Representation Curriculum: Stagewise Training for Robust Ranking and Allocation
eBay Search Ranking and Monetization（eBay搜索排名与变现）
提出表示课程（RC）方法，通过分阶段引入特征，先强调基于内容的信号，再引入依赖曝光的信号，减少对历史信号的捷径依赖，提升冷启动泛化性和鲁棒性。
2026-06-03 cs.AI cs.IR cs.LG
Improving Reliability of Latent Dirichlet Allocation by Assessing Its Stability Using Clustering Techniques on Replicated Runs
TU Dortmund University（多特蒙德工业大学）
对于组织大型文本语料库，主题建模提供了有用的工具。一种广泛使用的方法是潜在狄利克雷分配（LDA），一种生成概率模型，它将文本集合中的单个文本建模为潜在主题的混合物。单词到主题的分配依赖于初始值，使得LDA的结果通常不能完全再现。此外，通过Gibbs Sampling的重新分配是基于条件分布的，这导致在相同文本数据上的重复运行中产生不同的结果。这一事实在日常实践中常常被忽视。我们的目标是提高LDA结果的可靠性。因此，我们通过比较重复运行的分配来研究LDA的稳定性。我们建议量化的相似性，两个生成的主题的一个修改的Jaccard系数。利用这种相似性，可以将主题聚类。提出了一种基于两次LDA运行产生相似主题对思想的层次聚类结果剪枝算法。这种方法导致了新的测量S-CLOP（通过{\bf P}运行{ \bf LO}聚类的{ \bf C}对多个集合的{\bf S}相似性）用于量化LDA模型的稳定性。我们讨论了这种措施的一些特点，并说明它与应用程序的真实数据组成的报纸文章从\textit{USA Today}。我们的研究结果表明，测量S-CROP是有用的LDA模型或任何其他主题建模过程，其主题的字分布特征的稳定性进行评估。基于新提出的LDA稳定性的措施，我们提出了一种方法，以增加可靠性，从而提高基于主题建模的实证研究结果的再现性。通过多次运行LDA并将最具代表性的运行（即与所有其他运行具有最高平均…
2020-02-14 cs.AI cs.CL cs.LG
ALBU: An approximate Loopy Belief message passing algorithm for LDA to improve performance on small data sets
Stellenbosch University（斯泰伦博斯大学）
变分贝叶斯（VB）应用于潜在狄利克雷分配（LDA）已成为最流行的方面建模算法。虽然在从大型语料库中提取文本主题方面足够成功，但VB在有限数据的情况下识别方面不太成功。我们提出了一种新的变分的消息传递算法，适用于潜在的狄利克雷分配（LDA），并将其与黄金标准VB和崩溃吉布斯采样。在边缘化导致非共轭消息的情况下，我们使用采样的想法来推导近似更新方程。在共轭成立的情况下，使用循环信念更新（LBU）（也称为Lauritzen-Spiegelhalter）。我们的算法，ALBU（近似LBU），有很强的相似性与可变消息传递（VMP）（这是VB的消息传递变体）。为了在有限数据的情况下比较算法的性能，我们使用了由推文和新闻组组成的数据集。此外，为了执行更细粒度的评估和比较，我们使用模拟，通过Kullback-Leibler散度（KLD）与地面实况进行比较。使用文本语料库和KLD与模拟的一致性措施，我们表明，ALBU学习潜在的分布更准确地比VB，特别是对于较小的数据集。
2022-08-19 cs.CL cs.IR cs.LG
Deep Belief Nets for Topic Modeling
Technical University of Denmark（丹麦技术大学）；Issuu
将传统的协同过滤应用于数字出版是具有挑战性的，因为用户数据由于相对于用户数量的大量文档而非常稀疏。另一方面，基于内容的方法很有吸引力，因为文本内容通常信息量很大。在本文中，我们描述了大规模的基于内容的协同过滤的数字出版。为了解决数字出版推荐问题，我们比较了两种方法：潜在狄利克雷分配（LDA）和深度信念网（DBN），这两种方法都能找到文档的低维潜在表示。有效的检索可以在潜在表示中进行。我们既致力于公共基准，也致力于在线出版平台Issuu提供的数字媒体内容。本文还提供了一个新开发的深度信念网工具箱，用于主题建模，专门针对DBN模型的性能评估以及与LDA模型的比较。
2015-01-18 cs.CL cs.LG stat.ML
What are People Talking about in #BlackLivesMatter and #StopAsianHate? Exploring and Categorizing Twitter Topics Emerging in Online Social Movements through the Latent Dirichlet Allocation Model
Duke Kunshan University（杜克-昆山大学）；Data Science Research Center（数据科学研究中心）；Social Science Division Duke Kunshan University（社会科学系杜克-昆山大学）
本研究采用潜在狄利克雷分配模型和开放式编码的混合方法，分析超过一百万条BLM和SAH推文，发现社会正义、社会运动和情感情绪是共同话题，但各有独特子话题，为社交媒体社会运动主题分析做出贡献。
2022-09-19 cs.CL cs.CY cs.IR
Automatic detection of relevant information, predictions and forecasts in financial news through topic modelling with Latent Dirichlet Allocation
University of Vigo（维戈大学）
本文提出一种结合文本分割、共指消解、LDA主题建模和时间性分析的NLP系统，用于自动检测金融新闻中的相关文本及预测/预报，并在2,158条标注新闻上取得0.662和0.982的ROUGE-L值，首次在话语层面联合考虑相关性与时间性。
2024-03-30 cs.CE cs.CL cs.IR
Sparse Parallel Training of Hierarchical Dirichlet Process Topic Models
Imperial College London（帝国理工学院）；Uppsala University（乌普萨拉大学）；Aalto University（阿尔托大学）；Ericsson AB（爱立信公司）；Linköping University（林雪平大学）
为了将概率主题模型的非参数扩展（如潜在狄利克雷分配）扩展到更大的数据集，从业者越来越依赖于并行和分布式系统。在这项工作中，我们研究了分层狄利克雷过程（HDP）主题模型的数据并行训练。基于HDP中某些条件分布的表示，我们提出了一个双稀疏数据并行采样器的HDP主题模型。这个采样器利用了自然语言中所有可用的稀疏性资源-这是提高计算效率的重要方法。我们在一个著名的语料库（PubMed）上对我们的方法进行了基准测试，该语料库包含800万个文档和7.68亿个令牌，使用单个多核机器在四天内完成。
2020-10-06 cs.CL cs.IR cs.LG
Subset Labeled LDA for Large-Scale Multi-Label Classification
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
标记潜在狄利克雷分配（LLDA）是标准无监督潜在狄利克雷分配（LDA）算法的扩展，用于解决多标记学习任务。以前的工作表明，它的性能与其他最先进的多标签方法相当。尽管如此，随着标签集大小的增加，LLDA遇到了可伸缩性问题。在这项工作中，我们引入了Subset LLDA，标准LLDA算法的一个简单变体，不仅可以有效地扩展到数十万个标签的问题，而且还可以改进LLDA的最新技术。我们在八个数据集上进行了广泛的实验，标签集大小从数百到数十万，将我们提出的算法与以前提出的LLDA算法（Prior-LDA，Dep-LDA）以及极端多标签分类的最新技术进行比较。实验结果表明，该方法与其他LLDA算法相比具有稳定的优势，与极端多标签分类算法相比具有竞争力。
2017-09-16 cs.LG stat.ML
Discriminative Topic Modeling with Logistic LDA
Ghent University（根特大学）；Twitter（推特）
尽管对潜在狄利克雷分配（LDA）的研究已有多年，但将LDA应用于非分类项集合仍然具有挑战性。然而，许多具有更丰富数据的问题具有类似的结构，并且可以从大量的LDA文献中受益。我们提出了逻辑LDA，潜在的狄利克雷分配，这是很容易适用于任意输入的一种新的歧视性的变种。特别是，我们的模型可以很容易地应用于图像组，任意文本嵌入，并与深度神经网络很好地集成。虽然它是一个判别模型，但我们证明了logistic LDA可以通过利用数据中存在的组结构，以无监督的方式从未标记数据中学习。与其他最近的主题模型，旨在处理任意输入，我们的模型并没有牺牲LDA的可解释性和原则性的动机。
2020-01-07 cs.IR cs.LG stat.ML
Sawtooth Factorial Topic Embeddings Guided Gamma Belief Network
Xidian University（西安电子科技大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
分层主题模型，如伽玛信念网络（GBN）在挖掘多层文档表示和发现可解释的主题分类方面取得了可喜的成果。然而，他们通常假设在每一层的主题是独立地从狄利克雷分布中提取的，忽略了同一层和不同层的主题之间的依赖关系。为了放松这一假设，我们提出了一种基于析因的主题嵌入引导GBN，这是一种文档的深度生成模型，可以捕获嵌入空间中主题之间的依赖关系和语义相似性。具体来说，单词和主题都表示为相同维度的嵌入向量。将每一层的主题矩阵分解为因子加载矩阵和主题嵌入矩阵的乘积，将其转置作为上一层的因子加载矩阵。重复这种特定类型的分解，它在相邻层之间共享组件，导致被称为分解分解的结构。构造了一个自动编码的变分推理网络，通过随机梯度下降优化模型参数。在大型语料库上的实验表明，我们的模型在提取更深层次的可解释主题和获得更好的文档表示方面优于其他神经主题模型。
2021-06-30 cs.CL cs.IR cs.LG
jLDADMM: A Java package for the LDA and DMM topic models
The University of Melbourne（墨尔本大学）
在这份技术报告中，我们介绍了jLDADMM-一个用于传统主题模型的易于使用的Java工具包。jLDADMM的发布为普通或简短文本的主题建模提供了替代方案。它提供了潜在狄利克雷分配主题模型和每个文档一个主题的狄利克雷多项混合模型（即一元组的混合）的实现，使用了折叠吉布斯采样。此外，jLDAMM还提供了一个文档聚类评估来比较主题模型。jLDADMM是开源的，可从以下网址下载：https://github.com/datquocnguyen/jLDADMM
2018-08-11 cs.CL cs.IR cs.LG
A 'Gibbs-Newton' Technique for Enhanced Inference of Multivariate Polya Parameters and Topic Models
Heriot-Watt University（赫瑞-瓦特大学）
超参数在潜在狄利克雷分配（LDA）的学习和推理过程中起着重要的作用。为了开始LDA潜变量学习过程，需要预先确定这些超参数值。我们提出了一个LDA的扩展，我们称之为“潜在狄利克雷分配吉布斯牛顿”（LDA-GN），它将非信息先验放置在这些超参数上，并使用吉布斯采样来学习它们的适当值。LDA-GN的核心是我们提出的“Gibbs-Newton”算法，这是一种学习多元Polya分布参数的新技术。我们报告吉布斯-牛顿的性能结果相比，两个突出的现有方法，后者的任务：明卡的定点迭代法和矩方法。然后，我们以两种方式评估LDA-GN：（i）通过将其与标准LDA在所产生的主题模型推广到未见过的文档的能力方面进行比较;（ii）通过将其与标准LDA在二进制分类任务上的性能进行比较。
2016-02-27 cs.CL cs.LG stat.ML
SimLDA: A tool for topic model evaluation
Stellenbosch University（斯泰伦博斯大学）
变分贝叶斯（VB）应用于潜在狄利克雷分配（LDA）已成为最流行的方面建模算法。虽然在从大型语料库中提取文本主题方面足够成功，但VB在有限数据的情况下识别方面不太成功。我们提出了一种新的变分的消息传递算法，适用于潜在的狄利克雷分配（LDA），并将其与黄金标准VB和崩溃吉布斯采样。在边缘化导致非共轭消息的情况下，我们使用采样的想法来推导近似更新方程。在共轭成立的情况下，使用循环信念更新（LBU）（也称为Lauritzen-Spiegelhalter）。我们的算法，ALBU（近似LBU），有很强的相似性与可变消息传递（VMP）（这是VB的消息传递变体）。为了在有限数据的情况下比较算法的性能，我们使用了由推文和新闻组组成的数据集。使用一致性措施，我们表明，ALBU学习潜在的分布更准确地比VB，特别是对于较小的数据集。
2022-08-19 cs.CL cs.IR cs.LG
A New Approach to Speeding Up Topic Modeling
Soochow University（苏州大学）；City University of Hong Kong（香港城市大学）
潜在狄利克雷分配（LDA）是一种广泛使用的概率主题建模范式，近年来在计算机视觉和计算生物学中得到了广泛的应用。在本文中，我们提出了一种快速，准确的批量算法，主动信念传播（ABP），训练LDA。通常批量LDA算法需要重复扫描整个语料库并搜索完整的主题空间。批量LDA算法在处理包含大量主题的海量语料时，训练迭代往往效率低下且耗时。为了加快训练速度，ABP主动扫描语料子集并搜索主题空间子集进行主题建模，从而节省了每次迭代的大量训练时间。为了确保准确性，ABP只选择那些在残差置信传播（RBP）框架内贡献最大残差的文档和主题。在四个真实世界的语料库，ABP执行周围的$10$到$100$倍的速度比国家的最先进的批LDA算法具有可比的主题建模精度。
2014-04-08 cs.IR cs.LG
Algorithms of the LDA model [REPORT]
Jožef Stefan Institute（约瑟夫·斯特凡研究所）
我们回顾了三种潜在狄利克雷分配算法（LDA）。其中两种是变分推理算法：变分贝叶斯推理和在线变分贝叶斯推理，一种是马尔可夫链蒙特卡罗（MCMC）算法--塌陷吉布斯抽样。我们比较了它们的时间复杂度和性能。我们发现，在线变分贝叶斯推理是最快的算法，仍然返回相当好的结果。
2013-07-01 cs.IR cs.LG stat.ML
Bayesian Allocation Model: Inference by Sequential Monte Carlo for Nonnegative Tensor Factorizations and Topic Models using Polya Urns
Boğaziçi University（博阿齐奇大学）；Sabancı University（萨班哲大学）；Télécom ParisTech（巴黎高等电信学院）
我们介绍了一个动态生成模型，贝叶斯分配模型（BAM），建立显式连接之间的非负张量因子分解（NTF），离散概率分布的图形模型和贝叶斯扩展，和主题模型，如潜在的狄利克雷分配。BAM是基于泊松过程，其事件是通过使用贝叶斯网络标记，其中该网络的条件概率表，然后集成了分析。我们表明，由此产生的边际过程原来是一个波利亚瓮，一个整数值的自我增强过程。这个瓮过程，我们命名为Polya-Bayes过程，服从一定的条件独立性，提供了进一步了解NTF的性质。这些见解也让我们开发空间有效的模拟算法，尊重潜在的稀疏数据：我们提出了一类连续的重要性抽样算法计算NTF和近似其边际似然，这将是有用的模型选择。所得到的方法也可以被看作是一个模型评分方法的主题模型和离散贝叶斯网络的隐变量。新算法具有良好的性能在稀疏的数据制度相比，变分算法，变得更准确时，所观察到的张量的元素的总和趋于无穷大。我们说明了几个例子的性能和数值研究的各种数据制度的算法的行为。
2019-03-11 cs.LG stat.CO stat.ME
Topic subject creation using unsupervised learning for topic modeling
Underwriters Laboratories, LLC（美国保险商实验室有限责任公司）
我们描述了使用非负矩阵分解（NMF）和潜在狄利克雷分配（LDA）算法进行主题挖掘和标签应用于零售客户通信，试图描述客户查询的主题。在本文中，我们比较了这两种算法的主题挖掘性能，并提出了方法来分配主题主题标签的自动化方式。
2019-12-18 cs.CL cs.CY cs.IR
