Topic Modeling via Full Dependence Mixtures
Technion, Israel Institute of Technology（以色列理工学院（Technion, Israel Institute of Technology））
在本文中，我们介绍了一种新的主题建模方法，该方法通过使用数据的紧凑表示和利用GPU架构来扩展到大型数据集。在这种方法中，主题直接从语料库的共现数据中学习。特别是，我们介绍了一种新的混合模型，我们称之为全依赖混合（FDM）模型。FDM在数据的一般生成假设下对二阶矩进行建模。虽然有以前的工作主题建模使用二阶矩，我们开发了一个直接的随机优化过程，一个单一的Kullback Leibler目标拟合FDM。矩方法通常具有迭代不再需要随着语料库的大小而缩放的优点。我们的方法使我们能够利用标准的优化器和GPU的主题建模的问题。特别是，我们评估了两个大的数据集，NeurIPS论文和Twitter语料库，大量的主题的方法，并表明该方法的性能优于或优于标准基准。
2020-03-01 cs.IR cs.LG stat.ML
Keyword-based Topic Modeling and Keyword Selection
Northwestern University（西北大学）
通过指定一组关键字来收集某些类型的文档（如tweets）。由于感兴趣的主题随时间而变化，因此动态调整关键字是有益的。挑战在于，需要在了解即将出台的文件和基本主题之前具体说明这些问题。未来的主题应该模仿过去感兴趣的主题，但其中应该有一些新颖性。我们开发了一个基于关键字的主题模型，动态选择一个子集的关键字用于收集未来的文档。生成过程首先选择关键字，然后基于指定的关键字选择底层文档。该模型通过使用变分下限和随机梯度优化来训练。推理包括找到关键字的子集，其中给定子集，模型预测未知即将到来的文档的潜在主题词矩阵。我们比较关键字主题模型与基准模型结合主题模型使用病毒式预测的推文。基于关键字的主题模型比这个复杂的基线模型高出67%。
2020-01-22 cs.IR cs.LG stat.ML
AOBTM: Adaptive Online Biterm Topic Modeling for Version Sensitive Short-texts Analysis
Department of Computer Science The University of British Comumbia Kelowna, Canada
对移动应用程序评论的分析表明，它在需求工程，软件维护和移动应用程序的发展中发挥着重要作用。移动应用程序开发人员经常检查用户的评论，以澄清用户遇到的问题，或捕获由于最近的应用程序更新而引入的新问题。应用程序评论具有动态性，其讨论的主题会随着时间的推移而变化。不同版本的应用程序收集的评论中的主题变化可以揭示有关应用程序更新的重要问题。在这个分析中的一个主要技术是使用主题建模算法。然而，应用评论是简短的文本，随着时间的推移，揭示其潜在的主题是具有挑战性的。传统的主题模型在对短文本进行主题推理时，存在词共现模式稀疏的问题。此外，这些算法不能在许多连续的时间片上捕获主题。在线主题建模算法通过保存前一个时间片的一小部分数据来加快对最近时间片内收集的文本的主题模型的推断。但是这些算法并没有分析所有先前时间片的主题数据，这可以对当前时间片的主题分布做出贡献。本文提出了自适应在线双项主题模型AOBTM，用于自适应地对短文本中的主题进行建模。AOBTM解决了短文本中的稀疏性问题，并考虑了先前时间片的最佳数量的原始数据。我们还提出了并行算法来自动确定主题的最佳数量和最佳数量的以前的版本，应该考虑在主题推理阶段。对应用评论和真实短文本数据集的自动评估证实，AOBTM可以找到更连贯的主题，并优于最先进的基线。
2020-09-13 cs.IR cs.LG stat.ML
Topic subject creation using unsupervised learning for topic modeling
Underwriters Laboratories, LLC（美国保险商实验室有限责任公司）
我们描述了使用非负矩阵分解（NMF）和潜在狄利克雷分配（LDA）算法进行主题挖掘和标签应用于零售客户通信，试图描述客户查询的主题。在本文中，我们比较了这两种算法的主题挖掘性能，并提出了方法来分配主题主题标签的自动化方式。
2019-12-18 cs.CL cs.CY cs.IR
Topic Modeling in Embedding Spaces
Columbia University（哥伦比亚大学）；Cambridge University（剑桥大学）
主题建模分析文档以学习有意义的单词模式。然而，现有的主题模型无法学习可解释的主题时，与大型和重尾词汇。为此，我们开发了嵌入式主题模型（ETM），一个生成模型的文件，结婚的传统主题模型与词嵌入。特别地，它用类别分布对每个词进行建模，该类别分布的自然参数是词嵌入与其指定主题的嵌入之间的内积。为了适应ETM，我们开发了一个有效的摊销变分推理算法。ETM发现可解释的主题，即使是包含罕见词和停用词的大型词汇表。在主题质量和预测性能方面，它优于现有的文档模型，如潜在狄利克雷分配（LDA）。
2019-07-08 cs.CL cs.IR cs.LG
Towards Big Topic Modeling
Soochow University（苏州大学）；City University of Hong Kong（香港城市大学）
为了解决大主题建模问题，需要降低批处理潜在狄利克雷分配（LDA）算法的时间复杂度和空间复杂度。虽然多处理器结构上的并行LDA算法具有较低的时间复杂度和空间复杂度，但其处理器间的通信开销往往与词汇量和主题数成线性关系，导致严重的可扩展性问题。为了降低处理器之间的通信复杂性，提高系统的可扩展性，提出了一种基于幂律的通信高效的并行主题建模体系结构。我们提出的通信效率的并行架构与在线信念传播（OBP）算法被称为POBP大主题建模任务。大量的实验结果证实，POBP具有以下优点，以解决大主题建模问题：1）高精度，2）通信效率，3）速度快，和4）恒定的内存使用时，与最近的国家的最先进的并行LDA算法在多处理器架构。
2013-11-17 cs.DC cs.IR cs.LG
A Topic Modeling Approach to Ranking
Boston University（波士顿大学）
我们提出了一个主题建模方法来预测成对比较中的偏好。我们开发了一种新的生成模型，用于成对比较，该模型考虑了在用户群体中普遍存在的多个共享潜在排名。这个新模型还以自然的方式捕捉不一致的用户行为。我们展示了如何在新的生成模型的潜在排名的估计可以正式减少到一个统计等价的主题建模问题的主题估计。我们利用主题建模文献的最新进展来开发一种算法，该算法可以学习共享的潜在排名，具有可证明的一致性以及样本和计算复杂性保证。我们证明了新方法在预测一些半合成和真实世界数据集的偏好方面与当前最先进的方法具有经验竞争力。
2015-01-25 cs.LG stat.ML
Stability of Topic Modeling via Matrix Factorization
Insight Centre for Data Analytics, University College Dublin（都柏林大学学院洞察数据分析中心）
主题模型可以让我们深入了解大型文档语料库的潜在结构。在文献中已经提出了一系列的方法，包括概率主题模型和基于矩阵分解的技术。然而，在这两种情况下，标准实现在其初始化阶段依赖于随机元素，这可能导致在使用相同参数值时在相同语料库上生成不同结果。这对应于“不稳定性”的概念，这是以前研究的背景下，$k$ -均值聚类。在主题建模的许多应用中，不考虑这种不稳定性的问题，并且主题模型被视为是确定的，即使如果初始化过程被改变，结果可能会发生很大变化。在本文中，我们展示了固有的不稳定性流行的主题建模方法，使用一些新的措施来评估稳定性。为了解决这个问题的背景下，矩阵分解的主题建模，我们提出了使用集成学习策略。基于注释文本语料库上进行的实验，我们表明，K折集成策略，结合集成和结构化初始化，可以显着减少不稳定性，同时产生更准确的主题模型。
2017-09-09 cs.CL cs.IR cs.LG
Efficient Correlated Topic Modeling with Topic Embedding
Carnegie Mellon University（卡内基梅隆大学）；Petuum Inc.（Petuum公司）；Shanghai Jiao Tong University（上海交通大学）
相关主题建模由于其高计算成本和较差的可扩展性而仅限于小模型和问题大小。在本文中，我们提出了一个新的模型，学习紧凑的主题嵌入，并通过主题向量之间的紧密度捕获主题相关性。我们的方法能够在低维嵌入空间中进行有效的推理，将以前的三次或二次时间复杂度降低到与主题大小成线性关系。我们进一步加快变分推理与快速采样器，利用稀疏的主题出现。大量的实验表明，我们的方法是能够处理的模型和数据规模比现有的相关结果大几个数量级，而不牺牲建模质量提供竞争力或优越的性能，在文档分类和检索。
2017-07-01 cs.CL cs.LG stat.ML
A Joint Learning Approach for Semi-supervised Neural Topic Modeling
Harvard University（哈佛大学）
主题模型是以可解释的方式表示文本数据的一些最流行的方法。最近，深度生成模型的进步，特别是自动编码变分贝叶斯（AEVB），导致了无监督神经主题模型的引入，该模型利用了深度生成模型，而不是传统的基于神经网络的主题模型。我们通过引入标签索引神经主题模型（LI-NTM）来扩展这些神经主题模型，据我们所知，这是第一个有效的上游半监督神经主题模型。我们发现LI-NTM在文档重建基准中优于现有的神经主题模型，在低标记数据制度和具有信息标签的数据集中效果最显着;此外，我们的联合学习分类器在消融研究中优于基线分类器。
2022-04-07 cs.CL cs.IR cs.LG
Dependent Hierarchical Normalized Random Measures for Dynamic Topic Modeling
Research School of Computer Science, The Australian National University（澳大利亚国立大学计算机科学研究院）；Department of Computer Science, Purdue University（普渡大学计算机科学系）；National ICT（国家信息通信技术研究院）
我们开发了相关的层次归一化随机测度，并将其应用于动态主题建模。通过叠加，二次采样和点转移这些措施的潜在泊松过程的依赖性。所使用的措施，包括规范化的广义伽马过程，表现出幂律性质，不像狄利克雷过程中使用的动态主题建模。该模型的推论包括适应最近开发的切片采样器直接操纵底层泊松过程。在新闻、博客、学术和Twitter集合上进行的实验表明，该技术比以前的一些模型具有更好的困惑度。
2012-06-18 cs.LG stat.ML
Cross-referencing using Fine-grained Topic Modeling
Brigham Young University（杨百翰大学）
交叉引用，将文本段落与其他相关段落联系起来，可以是促进文本理解的有价值的学习辅助工具。然而，交叉引用首先需要对整个语料库有全面的主题知识，其次需要在语料库中进行有针对性的搜索，以找到这些有用的联系。由于这一点，交叉引用资源是昂贵的，只存在于最好的研究文本（例如宗教文本）。我们开发了一个基于主题的系统，用于自动生成候选交叉引用，可以很容易地由人类注释验证。我们的系统利用细粒度的主题建模与成千上万的高度细致入微的和具体的主题，以确定主题相关的诗句对。我们证明，我们的系统可以具有成本效益相比，有注释者获得必要的专业知识，以产生交叉引用的资源没有援助。
2019-05-18 cs.CL cs.IR cs.LG
Nonparametric Spherical Topic Modeling with Word Embeddings
MIT（麻省理工学院）；Harvard University（哈佛大学）
传统的主题模型没有考虑语言中的语义相关性。最近的分布表示的话表现出语义一致性的方向度量，如余弦相似性。然而，现有的主题模型中使用的分类或高斯观测分布都不适合利用这种相关性。在本文中，我们建议使用冯米塞斯-费舍尔分布模型的密度字在一个单位球。这种表示非常适合于方向数据。我们使用分层狄利克雷过程为我们的基本主题模型，并提出了一个有效的推理算法的基础上随机变分推理。该模型使我们能够自然地利用词嵌入的语义结构，同时灵活地发现主题的数量。实验表明，我们的方法优于竞争对手的方法在两个不同的文本语料库的主题一致性，同时提供有效的推理。
2016-04-01 cs.CL cs.IR cs.LG
Application of Rényi and Tsallis Entropies to Topic Modeling Optimization
这是完整长度的文章（草案版本），在主题建模中讨论的主题数的问题。本文提出了Renyi熵和Tsallis熵的概念，并将其用于大文本集合中最优数目的确定。我们还报道了四种主题模型的语义稳定性的数值实验结果，表明语义稳定性对问题主题数起着非常重要的作用。基于热力学方法的Renyi熵和Tsallis熵的计算。
2018-02-28 stat.ML
Conic Scan-and-Cover algorithms for nonparametric topic modeling
我们提出了新的算法的主题建模时，主题的数量是未知的。我们的方法依赖于分析的质量和角度的几何形状的主题单纯形，一个凸多面体构造的顶点，代表潜在的主题的凸包。在实践中，我们的算法被证明具有可比的吉布斯采样器的主题估计，这需要给定的主题的数量方面的准确性。此外，他们是最快的几个国家的最先进的参数化技术之一。在一定条件下证明了该估计量的统计相合性。
2017-10-09 stat.ML
Topic Modeling on Health Journals with Regularized Variational Inference
University of Minnesota（明尼苏达大学）
主题建模使语料库的探索和紧凑的表示。CaringBridge（CB）数据集是由患者和护理人员在健康危机期间撰写的大量期刊。然而，CB数据集上的主题建模是具有挑战性的，因为多个作者撰写他们的健康旅程是异步的。为了克服这一挑战，我们引入了动态作者角色主题模型（DAP），一个概率图形模型设计的时间语料库与多个作者。DAP模型的新颖之处在于它通过人物角色来表示作者--人物角色捕捉了作者随着时间的推移对某些主题的写作倾向。此外，我们提出了一个正则化的变分推理算法，我们用它来鼓励DAP模型的人物角色是不同的。我们的研究结果显示了与竞争主题模型相比的显着改进-特别是在正则化之后，并突出了DAP模型捕捉不同作者共享的共同旅程的独特能力。
2018-01-15 cs.CL cs.LG stat.ML
Combinatorial Topic Models using Small-Variance Asymptotics
Ohio State University（俄亥俄州立大学）；Massachusetts Institute of Technology（麻省理工学院）；Boston University（波士顿大学）
主题模型已成为无监督机器学习的基本工具。大多数现代主题建模算法采用概率观点，并基于潜在狄利克雷分配（LDA）或其变体推导推理算法。相反，我们研究主题建模作为一个组合优化问题，并提出了一个新的目标函数来自LDA通过传递到小方差限制。我们通过使用组合优化的思想来最小化导出的目标，从而产生一种新的、快速的、高质量的主题建模算法。特别是，我们表明，我们的研究结果与流行的基于LDA的主题建模方法是有竞争力的，也讨论了我们的方法和它的概率同行之间的（不）相似性。
2016-05-27 cs.CL cs.LG stat.ML
A non-parametric mixture model for topic modeling over time
一个单一的，固定的主题模型，如潜在的Dirichlet分配是不适合建模语料库，跨越很长的时间段，因为主题的流行程度可能会随着时间的推移而变化。已经提出了一些模型，包括时间，但在一般情况下，他们要么表现出有限的形式的时间变化，或需要计算昂贵的推理方法。在本文中，我们提出了非参数主题随时间变化（npTOT），模型随时间变化的主题，允许无限数量的主题和灵活的分布在这些主题的流行度的时间变化。我们开发了一个崩溃的吉布斯采样建议的模型和现有的模型合成和真实的文档集进行比较。
2012-08-22 stat.ML
Modeling community structure and topics in dynamic text networks
在过去的十年中，动态网络建模和主题建模都取得了很大的进展。本文借鉴这两个领域创建一个贝叶斯方法，允许主题发现通知潜在的网络模型和网络结构，以促进主题识别。我们将这种方法应用于2012年467个顶级政治博客。我们的研究结果发现复杂的社区结构，在这组博客，社区成员强烈依赖于一套主题的博客作者感兴趣。
2018-08-23 cs.SI physics.soc-ph stat.ML
Anchor-Free Correlated Topic Modeling: Identifiability and Algorithm
University of Minnesota（明尼苏达大学）
在主题建模中，许多保证主题可识别性的算法都是在存在锚词的前提下开发的，即，仅出现在一个主题中的单词（概率为正）。后续的工作则采用了语料库的三阶或更高阶顺序统计量来放松锚词假设。然而，高阶顺序统计量的可靠估计很难获得，并且在这些模型下识别主题取决于主题的不相关性，这可能是不现实的。本文回顾了基于二阶矩的主题建模，提出了一个无锚点的主题挖掘框架。与锚词假设相比，所提出的方法保证了在更温和的条件下识别主题，从而在实践中表现出更好的鲁棒性。相应的算法只涉及一个特征分解和几个小的线性规划。这使得它易于实现和扩展到非常大的问题实例。使用TDT 2和Reuters-21578语料库的实验表明，与现有技术相比，所提出的无锚方法表现出非常有利的性能（使用一致性，相似性计数和聚类准确性度量进行测量）。
2016-11-15 cs.CL cs.IR cs.SI
Transfer Topic Modeling with Ease and Scalability
University of Southern California（南加州大学）
社交媒体网站（如Twitter或Facebook）上生成的短文本数量不断增加，对有效和高效的主题建模方法产生了巨大的需求。虽然可以应用潜在狄利克雷分配（LDA），但由于其在处理具有快速变化的主题和可扩展性问题的短文本方面的弱点，它不是最佳的。在本文中，我们提出了一种迁移学习方法，该方法利用来自其他领域（例如Yahoo！新闻或维基百科），以改善主题建模，更好的模型拟合和结果解释。具体来说，我们开发了转移层次LDA（thLDA）模型，它通过信息先验结合了来自其他领域的标签信息。此外，我们开发了一个并行实现我们的模型的大规模应用程序。我们证明了我们的thLDA模型在微博数据集和标准文本集合（包括AP和RCV 1数据集）上的有效性。
2013-01-26 cs.CL cs.LG stat.ML
Understanding The Robustness of Self-supervised Learning Through Topic Modeling
Duke University（杜克大学）
自监督学习显著提高了许多NLP任务的性能。然而，自监督学习如何发现有用的表示，以及为什么它比概率模型等传统方法更好，在很大程度上仍然是未知的。在本文中，我们专注于主题建模的背景下，并强调了自监督学习的一个关键优势-当应用于主题模型生成的数据时，自监督学习可以忽略特定的模型，因此不太容易受到模型误指定。特别是，我们证明了常用的自监督目标的基础上重建或对比样本都可以恢复有用的后验信息一般的主题模型。从经验上讲，我们表明，相同的目标可以执行与后验推理使用正确的模型，而优于后验推理使用错误指定的模型。
2023-02-28 cs.CL cs.LG stat.ML
Viewpoint and Topic Modeling of Current Events
每个故事都有多个方面，虽然统计主题模型在文本文档语料库中对故事进行主题总结方面非常成功，但它们并没有明确地解决学习文档中表达的不同方面，即观点的问题。在本文中，我们将展示如何在完全无监督的情况下学习这些观点，并以人类可解释的形式表示。我们使用一种新的方法来应用CorrLDA 2，它学习主题-视点关系，可用于形成主题组，每组代表一个视点。关于以色列-巴勒斯坦冲突的文件的语料库，然后用来演示如何巴勒斯坦和以色列的观点可以学习。通过利用线性SVM的特征权重的大小和符号，我们引入了一种原则性的方法来评估主题和观点之间的关联。有了这个，我们证明，无论是定量和定性，学习话题组是上下文连贯的，并形成一贯正确的主题-观点协会。
2016-08-14 cs.CL cs.IR stat.ML
Anchored Correlation Explanation: Topic Modeling with Minimal Domain Knowledge
Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）
虽然生成模型，如潜在狄利克雷分配（LDA）已被证明是富有成效的主题建模，他们往往需要详细的假设和仔细规范的超参数。当试图推广生成模型以纳入人类输入时，这种模型复杂性问题只会变得更加复杂。我们引入相关解释（CorEx），主题建模的另一种方法，不假设一个底层的生成模型，而是通过信息理论框架学习最大信息量的主题。这个框架自然地推广到分层和半监督扩展，没有额外的建模假设。特别是，单词级领域知识可以通过锚词灵活地并入CorEx，从而在最少的人为干预下促进主题分离和表示。在各种数据集，指标和实验中，我们证明了CorEx产生的主题在质量上与LDA的无监督和半监督变体产生的主题相当。
2018-09-03 cs.CL cs.IR cs.IT
Bayesian Nonparametrics in Topic Modeling: A Brief Tutorial
在贝叶斯分层建模中，越来越多地探索使用非参数方法作为增加模型灵活性的一种方式。虽然该领域显示出很大的希望，但许多模型（包括层次狄利克雷过程（HDP））中的推理仍然非常缓慢。一个有前途的路径是利用印度自助过程（IBP）中固有的子模块性，在多项式时间内获得接近最优的解决方案。在这项工作中，我将提出一个关于贝叶斯非参数方法的简短教程，特别是当它们应用于主题建模时。我将展示不同的非参数模型和当前最先进的参数模型，潜在狄利克雷分配（LDA）之间的比较。
2015-01-16 stat.ML
Survival-Supervised Topic Modeling with Anchor Words: Characterizing Pancreatitis Outcomes
我们介绍了一种新的主题建模方法，是监督生存分析。具体来说，我们建立在最近的工作无监督的主题建模与所谓的锚词提供监督通过弹性网络正则化考克斯比例风险模型。简而言之，锚词出现在文档中提供了文档部分关于特定主题的强烈指示。例如，通过在文档中看到“胆结石”，我们相当确定该文档部分与医学有关。我们所提出的方法交替学习主题模型和学习生存模型，以找到块凸优化问题的局部最小值。我们应用我们提出的方法来预测入住重症监护室（ICU）的胰腺炎患者将在ICU停留多长时间。我们的方法与各种基线中最好的一样准确，同时比任何基线都更易于解释。
2017-12-07 stat.ML
