Scalable Probabilistic Entity-Topic Modeling
University of Cambridge(剑桥大学);Google Research(谷歌研究院)
我们提出了一个LDA的实体消歧方法。每个主题都与维基百科条目相关联,主题生成内容词或实体提及。训练这样的模型是具有挑战性的,因为主题和词汇量都是数百万。我们解决这些问题,使用一种新的分布式推理和表示框架的基础上,由维基百科链接图指导的并行吉布斯采样器,和管道的MapReduce允许快速和节省内存的大型数据集的处理。我们在一个公共数据集上报告了最先进的性能。
2013-09-02 cs.IR cs.LG stat.ML
Minimum Volume Topic Modeling
Department of Statistics University of Michigan(密歇根大学统计系);Department of EECS University of Michigan(密歇根大学电气与计算机科学系)
我们提出了一个新的主题建模过程,利用的事实,即潜在的狄利克雷分配(LDA)的日志似然函数是渐近等价的对数的主题单形的体积。这使得主题建模可以重新表述为找到概率单纯形,使其体积最小化,并包含表示为单词分布的文档。提出了一种最小体积主题模型优化的凸松弛方法,并证明了在Arora et al.(2013)和Huang et al.(2016)引入的可分性假设和充分分散假设下,松弛后的问题与原问题具有相同的全局最小值.提出了一种局部收敛的交替方向乘子法(ADMM)求解松弛最小体积问题。数值实验表明,我们的方法的计算时间和主题恢复性能方面的好处。
2019-04-03 cs.IR cs.LG stat.ML
A Coefficient of Determination for Probabilistic Topic Models
George Mason University(乔治梅森大学)
本研究提出了一个新的(旧的)度量主题模型,决定系数,或$R^2$的拟合优度进行评估。在主题建模的上下文中,$R^2$具有与在更广泛的统计模型类中使用时相同的解释。使用主题模型报告$R^2$解决了主题建模中的两个当前问题:缺乏用于主题建模的标准跨上下文评估指标以及与外行受众的沟通容易性。作者建议在构建主题模型时将$R^2$作为一个标准度量。
2019-11-26 cs.IR cs.LG stat.ML
Topic subject creation using unsupervised learning for topic modeling
Underwriters Laboratories, LLC(美国保险商实验室有限责任公司)
我们描述了使用非负矩阵分解(NMF)和潜在狄利克雷分配(LDA)算法进行主题挖掘和标签应用于零售客户通信,试图描述客户查询的主题。在本文中,我们比较了这两种算法的主题挖掘性能,并提出了方法来分配主题主题标签的自动化方式。
2019-12-18 cs.CL cs.CY cs.IR
Topic Modeling via Full Dependence Mixtures
Technion, Israel Institute of Technology(以色列理工学院(Technion, Israel Institute of Technology))
在本文中,我们介绍了一种新的主题建模方法,该方法通过使用数据的紧凑表示和利用GPU架构来扩展到大型数据集。在这种方法中,主题直接从语料库的共现数据中学习。特别是,我们介绍了一种新的混合模型,我们称之为全依赖混合(FDM)模型。FDM在数据的一般生成假设下对二阶矩进行建模。虽然有以前的工作主题建模使用二阶矩,我们开发了一个直接的随机优化过程,一个单一的Kullback Leibler目标拟合FDM。矩方法通常具有迭代不再需要随着语料库的大小而缩放的优点。我们的方法使我们能够利用标准的优化器和GPU的主题建模的问题。特别是,我们评估了两个大的数据集,NeurIPS论文和Twitter语料库,大量的主题的方法,并表明该方法的性能优于或优于标准基准。
2020-03-01 cs.IR cs.LG stat.ML
Topic Modeling in Embedding Spaces
Columbia University(哥伦比亚大学);Cambridge University(剑桥大学)
主题建模分析文档以学习有意义的单词模式。然而,现有的主题模型无法学习可解释的主题时,与大型和重尾词汇。为此,我们开发了嵌入式主题模型(ETM),一个生成模型的文件,结婚的传统主题模型与词嵌入。特别地,它用类别分布对每个词进行建模,该类别分布的自然参数是词嵌入与其指定主题的嵌入之间的内积。为了适应ETM,我们开发了一个有效的摊销变分推理算法。ETM发现可解释的主题,即使是包含罕见词和停用词的大型词汇表。在主题质量和预测性能方面,它优于现有的文档模型,如潜在狄利克雷分配(LDA)。
2019-07-08 cs.CL cs.IR cs.LG
Keyword-based Topic Modeling and Keyword Selection
Northwestern University(西北大学)
通过指定一组关键字来收集某些类型的文档(如tweets)。由于感兴趣的主题随时间而变化,因此动态调整关键字是有益的。挑战在于,需要在了解即将出台的文件和基本主题之前具体说明这些问题。未来的主题应该模仿过去感兴趣的主题,但其中应该有一些新颖性。我们开发了一个基于关键字的主题模型,动态选择一个子集的关键字用于收集未来的文档。生成过程首先选择关键字,然后基于指定的关键字选择底层文档。该模型通过使用变分下限和随机梯度优化来训练。推理包括找到关键字的子集,其中给定子集,模型预测未知即将到来的文档的潜在主题词矩阵。我们比较关键字主题模型与基准模型结合主题模型使用病毒式预测的推文。基于关键字的主题模型比这个复杂的基线模型高出67%。
2020-01-22 cs.IR cs.LG stat.ML
AOBTM: Adaptive Online Biterm Topic Modeling for Version Sensitive Short-texts Analysis
Department of Computer Science The University of British Comumbia Kelowna, Canada
对移动应用程序评论的分析表明,它在需求工程,软件维护和移动应用程序的发展中发挥着重要作用。移动应用程序开发人员经常检查用户的评论,以澄清用户遇到的问题,或捕获由于最近的应用程序更新而引入的新问题。应用程序评论具有动态性,其讨论的主题会随着时间的推移而变化。不同版本的应用程序收集的评论中的主题变化可以揭示有关应用程序更新的重要问题。在这个分析中的一个主要技术是使用主题建模算法。然而,应用评论是简短的文本,随着时间的推移,揭示其潜在的主题是具有挑战性的。传统的主题模型在对短文本进行主题推理时,存在词共现模式稀疏的问题。此外,这些算法不能在许多连续的时间片上捕获主题。在线主题建模算法通过保存前一个时间片的一小部分数据来加快对最近时间片内收集的文本的主题模型的推断。但是这些算法并没有分析所有先前时间片的主题数据,这可以对当前时间片的主题分布做出贡献。本文提出了自适应在线双项主题模型AOBTM,用于自适应地对短文本中的主题进行建模。AOBTM解决了短文本中的稀疏性问题,并考虑了先前时间片的最佳数量的原始数据。我们还提出了并行算法来自动确定主题的最佳数量和最佳数量的以前的版本,应该考虑在主题推理阶段。对应用评论和真实短文本数据集的自动评估证实,AOBTM可以找到更连贯的主题,并优于最先进的基线。
2020-09-13 cs.IR cs.LG stat.ML
Stability of Topic Modeling via Matrix Factorization
Insight Centre for Data Analytics, University College Dublin(都柏林大学学院洞察数据分析中心)
主题模型可以让我们深入了解大型文档语料库的潜在结构。在文献中已经提出了一系列的方法,包括概率主题模型和基于矩阵分解的技术。然而,在这两种情况下,标准实现在其初始化阶段依赖于随机元素,这可能导致在使用相同参数值时在相同语料库上生成不同结果。这对应于“不稳定性”的概念,这是以前研究的背景下,$k$ -均值聚类。在主题建模的许多应用中,不考虑这种不稳定性的问题,并且主题模型被视为是确定的,即使如果初始化过程被改变,结果可能会发生很大变化。在本文中,我们展示了固有的不稳定性流行的主题建模方法,使用一些新的措施来评估稳定性。为了解决这个问题的背景下,矩阵分解的主题建模,我们提出了使用集成学习策略。基于注释文本语料库上进行的实验,我们表明,K折集成策略,结合集成和结构化初始化,可以显着减少不稳定性,同时产生更准确的主题模型。
2017-09-09 cs.CL cs.IR cs.LG
A New Approach to Speeding Up Topic Modeling
Soochow University(苏州大学);City University of Hong Kong(香港城市大学)
潜在狄利克雷分配(LDA)是一种广泛使用的概率主题建模范式,近年来在计算机视觉和计算生物学中得到了广泛的应用。在本文中,我们提出了一种快速,准确的批量算法,主动信念传播(ABP),训练LDA。通常批量LDA算法需要重复扫描整个语料库并搜索完整的主题空间。批量LDA算法在处理包含大量主题的海量语料时,训练迭代往往效率低下且耗时。为了加快训练速度,ABP主动扫描语料子集并搜索主题空间子集进行主题建模,从而节省了每次迭代的大量训练时间。为了确保准确性,ABP只选择那些在残差置信传播(RBP)框架内贡献最大残差的文档和主题。在四个真实世界的语料库,ABP执行周围的$10$到$100$倍的速度比国家的最先进的批LDA算法具有可比的主题建模精度。
2014-04-08 cs.IR cs.LG
A Topic Modeling Approach to Ranking
Boston University(波士顿大学)
我们提出了一个主题建模方法来预测成对比较中的偏好。我们开发了一种新的生成模型,用于成对比较,该模型考虑了在用户群体中普遍存在的多个共享潜在排名。这个新模型还以自然的方式捕捉不一致的用户行为。我们展示了如何在新的生成模型的潜在排名的估计可以正式减少到一个统计等价的主题建模问题的主题估计。我们利用主题建模文献的最新进展来开发一种算法,该算法可以学习共享的潜在排名,具有可证明的一致性以及样本和计算复杂性保证。我们证明了新方法在预测一些半合成和真实世界数据集的偏好方面与当前最先进的方法具有经验竞争力。
2015-01-25 cs.LG stat.ML
Deep topic modeling by multilayer bootstrap network and lasso
Northwestern Polytechnical University(西北工业大学)
主题建模是文档降维和分析的重要手段。然而,它被制定为一个困难的优化问题。目前的近似解决方案也受到不准确的模型或数据假设的影响。针对上述问题,本文提出了一种多项式时间深度主题模型,该模型不需要模型和数据假设。具体而言,我们首先应用多层引导网络(MBN),这是一种无监督的深度模型,以减少文档的维度,然后使用低维数据表示或其聚类结果作为监督Lasso的目标,用于主题词发现。据我们所知,这是MBN和Lasso首次应用于无监督主题建模。在20个新闻组和TDT2语料库上对5个具有代表性的主题模型进行了实验比较,结果表明了该算法的有效性。
2019-10-24 cs.LG stat.ML
Efficient Correlated Topic Modeling with Topic Embedding
Carnegie Mellon University(卡内基梅隆大学);Petuum Inc.(Petuum公司);Shanghai Jiao Tong University(上海交通大学)
相关主题建模由于其高计算成本和较差的可扩展性而仅限于小模型和问题大小。在本文中,我们提出了一个新的模型,学习紧凑的主题嵌入,并通过主题向量之间的紧密度捕获主题相关性。我们的方法能够在低维嵌入空间中进行有效的推理,将以前的三次或二次时间复杂度降低到与主题大小成线性关系。我们进一步加快变分推理与快速采样器,利用稀疏的主题出现。大量的实验表明,我们的方法是能够处理的模型和数据规模比现有的相关结果大几个数量级,而不牺牲建模质量提供竞争力或优越的性能,在文档分类和检索。
2017-07-01 cs.CL cs.LG stat.ML
Short Text Topic Modeling: Application to tweets about Bitcoin
Napoleon Group(拿破仑集团)
理解文本集合的语义是一项具有挑战性的任务。主题模型是一种概率模型,旨在从文档语料库中提取“主题”。当语料库由短文本组成时,例如社交网络上的帖子,这项任务特别困难。在之前的几篇研究论文之后,我们在本文中探索了一组收集的关于比特币的推文。在这项工作中,我们训练三个主题模型,并评估他们的输出与几个分数。我们还提出了一个具体的应用提取的主题。
2022-03-17 cs.IR cs.LG
Multi-view and Multi-source Transfers in Neural Topic Modeling with Pretrained Topic and Word Embeddings
Siemens AG(西门子股份公司);University of Munich (LMU)(慕尼黑大学(LMU))
虽然词嵌入和主题是互补的表示,但过去的一些工作仅在(神经)主题建模中使用预训练的词嵌入来解决短文本或小文档集合中的数据稀疏问题。然而,没有先前的工作采用(预先训练的潜在)的主题在迁移学习范例。在本文中,我们提出了一种方法(1)使用从大型源语料库中获得的潜在主题进行知识转移,以及(2)通过神经主题建模中的两种表示(或视图)联合转移知识,以提高主题质量,更好地处理目标语料库中的多义和数据稀疏问题。在此过程中,我们首先从一个或多个源语料库中积累主题和单词表示,以构建主题和单词向量池。然后,我们识别一个或多个相关的源域,并通过相应的池利用相应的主题和单词特征来指导稀疏目标域中的有意义的学习。我们量化的主题和文件表示的质量,通过泛化(困惑),可解释性(主题连贯性)和信息检索(IR)使用短文本,长文本,小型和大型的文件集,从新闻和医疗领域。我们已经证明了国家的最先进的结果主题建模与建议的框架。
2019-09-17 cs.CL cs.IR cs.LG
A Joint Learning Approach for Semi-supervised Neural Topic Modeling
Harvard University(哈佛大学)
主题模型是以可解释的方式表示文本数据的一些最流行的方法。最近,深度生成模型的进步,特别是自动编码变分贝叶斯(AEVB),导致了无监督神经主题模型的引入,该模型利用了深度生成模型,而不是传统的基于神经网络的主题模型。我们通过引入标签索引神经主题模型(LI-NTM)来扩展这些神经主题模型,据我们所知,这是第一个有效的上游半监督神经主题模型。我们发现LI-NTM在文档重建基准中优于现有的神经主题模型,在低标记数据制度和具有信息标签的数据集中效果最显着;此外,我们的联合学习分类器在消融研究中优于基线分类器。
2022-04-07 cs.CL cs.IR cs.LG
AI supported Topic Modeling using KNIME-Workflows
Fraunhofer-Institut FOKUS(弗劳恩霍夫协会FOKUS研究所)
主题建模算法传统上将主题建模为加权术语列表。这些主题模型可以有效地用于文本分类或支持文本挖掘任务,如文本摘要或事实提取。一般程序依赖于词频的统计分析。这项工作的重点是在KNIME工作流程中实现基于知识的主题建模服务。基于DBPedia的丰富方法的简要描述和评估以及丰富主题模型的比较评估将根据我们以前的工作进行概述。DBpedia-Spotlight用于识别输入文本中的实体,来自DBpedia的信息用于扩展这些实体。我们提供了一个工作流程开发的KNIME实现这种方法,并执行结果比较的主题建模支持的知识库信息,传统的LDA。这种主题建模方法允许通过算法和人类进行语义解释。
2021-04-15 cs.AI cs.IR cs.LG
Cross-referencing using Fine-grained Topic Modeling
Brigham Young University(杨百翰大学)
交叉引用,将文本段落与其他相关段落联系起来,可以是促进文本理解的有价值的学习辅助工具。然而,交叉引用首先需要对整个语料库有全面的主题知识,其次需要在语料库中进行有针对性的搜索,以找到这些有用的联系。由于这一点,交叉引用资源是昂贵的,只存在于最好的研究文本(例如宗教文本)。我们开发了一个基于主题的系统,用于自动生成候选交叉引用,可以很容易地由人类注释验证。我们的系统利用细粒度的主题建模与成千上万的高度细致入微的和具体的主题,以确定主题相关的诗句对。我们证明,我们的系统可以具有成本效益相比,有注释者获得必要的专业知识,以产生交叉引用的资源没有援助。
2019-05-18 cs.CL cs.IR cs.LG
Dependent Hierarchical Normalized Random Measures for Dynamic Topic Modeling
Research School of Computer Science, The Australian National University(澳大利亚国立大学计算机科学研究院);Department of Computer Science, Purdue University(普渡大学计算机科学系);National ICT(国家信息通信技术研究院)
我们开发了相关的层次归一化随机测度,并将其应用于动态主题建模。通过叠加,二次采样和点转移这些措施的潜在泊松过程的依赖性。所使用的措施,包括规范化的广义伽马过程,表现出幂律性质,不像狄利克雷过程中使用的动态主题建模。该模型的推论包括适应最近开发的切片采样器直接操纵底层泊松过程。在新闻、博客、学术和Twitter集合上进行的实验表明,该技术比以前的一些模型具有更好的困惑度。
2012-06-18 cs.LG stat.ML
Nonparametric Spherical Topic Modeling with Word Embeddings
MIT(麻省理工学院);Harvard University(哈佛大学)
传统的主题模型没有考虑语言中的语义相关性。最近的分布表示的话表现出语义一致性的方向度量,如余弦相似性。然而,现有的主题模型中使用的分类或高斯观测分布都不适合利用这种相关性。在本文中,我们建议使用冯米塞斯-费舍尔分布模型的密度字在一个单位球。这种表示非常适合于方向数据。我们使用分层狄利克雷过程为我们的基本主题模型,并提出了一个有效的推理算法的基础上随机变分推理。该模型使我们能够自然地利用词嵌入的语义结构,同时灵活地发现主题的数量。实验表明,我们的方法优于竞争对手的方法在两个不同的文本语料库的主题一致性,同时提供有效的推理。
2016-04-01 cs.CL cs.IR cs.LG
Ordering-sensitive and Semantic-aware Topic Modeling
The University of Hong Kong(香港大学);Zhejiang University(浙江大学)
文本语料库的主题建模是一个重要而富有挑战性的问题。在大多数以前的工作中,“词袋”的假设通常是忽略了单词的顺序。这种假设简化了计算,但它不切实际地丢失了上下文中单词的排序信息和语义。本文提出了一种高斯混合神经主题模型(GMNTM),它将词的排序和句子的语义结合到主题建模中。具体来说,我们将每个主题表示为多维向量的聚类,并将语料库嵌入到由高斯混合模型生成的向量集合中。每个词不仅受其主题的影响,还受其周围词的嵌入向量和上下文的影响。高斯混合分量和文档、句子和单词的主题可以联合学习。大量的实验表明,我们的模型可以学习更好的主题和更准确的词分布为每个主题。定量分析表明,与现有的主题建模方法相比,GMNTM在困惑度、检索准确率和分类准确率方面都有明显的提高。
2015-02-12 cs.CL cs.IR cs.LG
Neural Topic Modeling with Continual Lifelong Learning
Siemens AG(西门子股份公司);University of Munich (LMU)(慕尼黑大学(LMU))
针对短文档数据稀疏导致主题建模效果不佳的问题,提出终身神经主题建模(LNTM)框架,通过共享生成同源和选择性数据增强等方法持续积累主题并减少灾难性遗忘,在困惑度、主题连贯性和信息检索上取得显著提升。
2023-06-27 cs.CL cs.IR cs.LG
Topic Grouper: An Agglomerative Clustering Approach to Topic Modeling
University of Heilbronn(海尔布隆大学);Refinitiv Labs(路孚特实验室);University of Sheffield(谢菲尔德大学)
我们引入Topic Grouper作为概率主题建模领域的补充方法。Topic Grouper以逐步的方式创建训练词汇表的分离分区,以便得到的分区表示主题。它由一个简单的生成模型控制,其中通过主题生成训练文档的可能性被优化。该算法从一个单词的主题开始,在每一步连接两个主题。因此,它为每个所需数量的主题生成解决方案,范围在训练词汇表的大小和一之间。该过程表示对应于主题的二叉树的凝聚聚类。所得到的树可以充当包含层次结构,通常具有朝向树根的更一般的主题和朝向叶子的更具体的主题。Topic Grouper不受Dirichlet等背景分布的控制,并且避免了超参数优化。我们表明,主题分组具有合理的预测能力,也是一个合理的理论和实践的复杂性。主题分组器可以很好地处理停止词和功能词,并倾向于将它们推入自己的主题。此外,它可以处理主题分布,其中一些主题比其他主题更频繁。我们提出了典型的例子,计算的主题从评估数据集,主题出现结论性和连贯性。在这种情况下,每个单词只属于一个主题的事实并不是一个主要的限制;在某些情况下,这甚至可能是一个真正的优势,例如~。相关的购物篮分析可以帮助优化销售目录中的物品分组。
2019-04-13 cs.IR cs.LG
Topic Modeling based on Keywords and Context
University of Liechtenstein(列支敦士登大学);IBM Research Zurich(IBM苏黎世研究院)
目前的主题模型往往受到发现的主题不匹配人类的直觉,不自然的切换文档中的主题和高计算需求。我们解决这些问题,提出了一个主题模型和推理算法的基础上自动识别特征关键字的主题。关键词影响邻近词的主题分配。我们的算法学习(关键)词主题得分,并自我调节主题的数量。推理是简单和容易并行化。定性分析得出的结果与最先进的模型(如LDA),但具有不同的优势和劣势。使用9个数据集的定量分析显示,在分类准确性,PMI得分,计算性能和文档中主题分配的一致性方面有所提高,而大多数情况下使用较少的主题。
2018-02-03 cs.CL cs.IR cs.LG
Jointly Modeling Topics and Intents with Global Order Structure
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
文档结构建模对于语篇分析及其相关应用具有重要意义。本研究的目标是通过将文档建模为主题词和修辞词的混合来捕获文档意图结构。在同一篇文章中,主题是相对不变的,而句子的修辞功能在语篇中通常是按照一定的顺序发生变化的。提出了一种基于主题建模的贝叶斯无监督模型GMM-LDA,用于分析文档意图结构和订单信息。我们的模型是灵活的,有能力结合的注释和做监督学习。此外,可以引入熵正则化来对主题和意图之间的显著分歧进行建模。我们在无监督和有监督的环境下进行了实验,结果表明我们的模型优于几个最先进的基线。
2015-12-07 cs.CL cs.IR cs.LG
Memory-Efficient Topic Modeling
Soochow University(苏州大学);City University of Hong Kong(香港城市大学)
潜在狄利克雷分配(LDA)作为最简单的概率主题建模技术之一,在文本挖掘、计算机视觉和计算生物学等领域有着重要的应用。最近的LDA训练算法可以在一个统一的消息传递框架内解释。但是,消息传递需要用大量的内存空间存储以前的消息,随着文档数量或主题数量的线性增加。因此,对于包含大量主题的大规模语料库,高内存使用率往往是主题建模的主要问题。为了降低LDA的空间复杂度,本文提出了一种新的LDA训练算法:微小置信传播(TBP)。TBP的基本思想是将消息传递算法与非负矩阵分解(NMF)算法相结合,将消息更新吸收到消息传递过程中,从而避免存储先前的消息。在四个大型数据集上的实验结果证实,TBP的性能优于甚至优于当前最先进的LDA训练算法,但内存消耗要少得多。TBP可以在海量语料无法容纳计算机内存的情况下进行主题建模,例如,在内存为2GB的普通台式计算机上从7GB的PUBMED语料中提取主题。
2012-06-08 cs.IR cs.LG
Exploratory topic modeling with distributional semantics
Turku Centre for Computer Science – TUCS(图尔库计算机科学中心(TUCS));Åbo Akademi University(奥博学术大学)
当我们继续在众多领域收集和存储文本数据时,我们经常会遇到我们想要揭示的主题结构在很大程度上未知的材料。通过无监督的探索性分析,不需要关于内容的先验知识,并且可以支持高度开放的任务。在过去的几年里,概率主题建模已经成为一个流行的方法来解决这个问题。然而,潜在的主题表示为聚合的半连贯的条款限制了他们的可解释性和详细程度。本文提出了一种替代方法的主题建模,映射主题作为一个网络的探索,基于分布式语义学习的词向量。从术语及其语义相似性关系的粒度级别来看,全局主题结构表现为概念的聚类区域和梯度。此外,本文还讨论了主题图的可视化交互表示,为主题图的开发提供了重要的支持。
2015-07-16 cs.CL cs.IR cs.LG
AgriLens: Semantic Retrieval in Agricultural Texts Using Topic Modeling and Language Models
3 Dept. of Computer Science \& Applications, Sharda University, Greater Noida, Uttar Pradesh, India;4 The Chinese University of Hong Kong, Hong Kong SAR, China
AgriLens通过主题建模和语言模型实现农业文本的可解释语义检索,提供零样本主题标注和高效检索能力。
2026-01-13 cs.IR cs.LG
Neural Topic Modeling with Bidirectional Adversarial Training
Southeast University(东南大学);University of Warwick(华威大学);Didi Chuxing Co., Ltd.(滴滴出行股份有限公司)
近年来,人们对使用神经主题模型从文本中自动提取主题的兴趣激增,因为它们避免了传统主题模型(如潜在狄利克雷分配(LDA))中复杂的数学推导。然而,这些模型要么通常假设潜在主题空间上的不正确先验(例如高斯或逻辑正态),要么无法推断给定文档的主题分布。为了解决这些限制,我们提出了一种神经主题建模方法,称为双向对抗主题(BAT)模型,这是将双向对抗训练应用于神经主题建模的第一次尝试。提出的BAT在文档主题分布和文档词分布之间建立双向投影。它使用一个生成器从文本中捕获语义模式,并使用一个编码器进行主题推理。此外,为了结合词相关性信息,高斯双向对抗主题模型(Gaussian-BAT)是从BAT扩展的。为了验证BAT和Gaussian-BAT的有效性,我们使用了三个基准语料库进行实验。实验结果表明,BAT和Gaussian-BAT获得了更多的一致性主题,优于几个竞争基线。此外,当基于提取的主题执行文本聚类时,我们的模型优于所有基线,Gaussian-BAT实现了更显着的改进,其准确性提高了近6%。
2020-04-26 cs.CL cs.IR cs.LG
Crime Hot-Spot Modeling via Topic Modeling and Relative Density Estimation
Georgia Institute of Technology(佐治亚理工学院);Duke University(杜克大学)
本文提出结合主题建模与最近邻相对密度估计(kNN-RDE)的方法,从警方叙述文本中识别犯罪热点,并在亚特兰大警察局大规模语料上验证其能发现被总体事件密度掩盖的空间趋势。
2023-09-22 cs.CL cs.IR cs.LG
Coherence-Aware Neural Topic Modeling
Amazon Web Services(亚马逊云科技)
主题模型的评估是基于它们描述文档的能力(即低困惑度)和产生具有连贯语义的主题的能力。在目前的主题建模中,困惑度是一个直接的优化目标。然而,由于其具有挑战性的计算,主题一致性并没有优化,并且仅在训练后进行评估。在这项工作中,在神经变分推理框架下,我们提出了将主题一致性目标纳入训练过程的方法。我们证明,这样的连贯性意识的主题模型表现出类似的困惑水平的基线模型,但实现了更高的主题连贯性。
2018-09-07 cs.CL cs.LG
Topic Modeling on Health Journals with Regularized Variational Inference
University of Minnesota(明尼苏达大学)
主题建模使语料库的探索和紧凑的表示。CaringBridge(CB)数据集是由患者和护理人员在健康危机期间撰写的大量期刊。然而,CB数据集上的主题建模是具有挑战性的,因为多个作者撰写他们的健康旅程是异步的。为了克服这一挑战,我们引入了动态作者角色主题模型(DAP),一个概率图形模型设计的时间语料库与多个作者。DAP模型的新颖之处在于它通过人物角色来表示作者--人物角色捕捉了作者随着时间的推移对某些主题的写作倾向。此外,我们提出了一个正则化的变分推理算法,我们用它来鼓励DAP模型的人物角色是不同的。我们的研究结果显示了与竞争主题模型相比的显着改进-特别是在正则化之后,并突出了DAP模型捕捉不同作者共享的共同旅程的独特能力。
2018-01-15 cs.CL cs.LG stat.ML
Topic Modeling in Marathi
本文针对马拉地语主题建模研究稀缺的问题,比较了多种 BERT 与非 BERT 方法,发现 BERTopic 结合印度语言训练的 BERT 模型在主题一致性和多样性上优于 LDA。
2025-02-04 cs.CL cs.LG
Towards the TopMost: A Topic Modeling System Toolkit
Nanyang Technological University(南洋理工大学)
本文提出主题建模系统工具包 TopMost,通过覆盖数据集、预处理、模型、训练和评估的完整生命周期及模块化设计,实现前沿主题模型的快速使用、公平比较和灵活扩展。
2024-06-14 cs.AI cs.CL cs.IR
Unsupervised Terminological Ontology Learning based on Hierarchical Topic Modeling
Northwestern University(西北大学);Intel Corporation(英特尔公司)
在本文中,我们提出了层次关系为基础的潜在狄利克雷分配(hrLDA),数据驱动的层次主题模型,从大量的异构文档中提取术语本体。与传统的主题模型相比,hrLDA依赖于名词短语而不是一元语法,考虑语法和文档结构,并通过主题关系丰富主题层次结构。通过一系列的实验,我们证明了hrLDA优于现有的主题模型,特别是在建立层次结构。此外,我们说明了鲁棒性的hrLDA在噪声数据集的设置,这是可能发生在许多实际情况下。我们的本体评价结果表明,从hrLDA提取的本体是非常有竞争力的领域专家创建的本体。
2017-08-29 cs.CL cs.IR cs.LG
Combinatorial Topic Models using Small-Variance Asymptotics
Ohio State University(俄亥俄州立大学);Massachusetts Institute of Technology(麻省理工学院);Boston University(波士顿大学)
主题模型已成为无监督机器学习的基本工具。大多数现代主题建模算法采用概率观点,并基于潜在狄利克雷分配(LDA)或其变体推导推理算法。相反,我们研究主题建模作为一个组合优化问题,并提出了一个新的目标函数来自LDA通过传递到小方差限制。我们通过使用组合优化的思想来最小化导出的目标,从而产生一种新的、快速的、高质量的主题建模算法。特别是,我们表明,我们的研究结果与流行的基于LDA的主题建模方法是有竞争力的,也讨论了我们的方法和它的概率同行之间的(不)相似性。
2016-05-27 cs.CL cs.LG stat.ML
A Topic Modeling Toolbox Using Belief Propagation
School of Computer Science and Technology(计算机科学与技术学院);Soochow University(苏州大学)
潜在狄利克雷分配(LDA)是一种重要的概率主题建模的层次贝叶斯模型,在文本挖掘、计算机视觉和计算生物学等领域有着广泛的应用,引起了广泛的关注。介绍了一个基于置信传播算法的主题建模工具箱。TMBP工具箱由MEX C++/Matlab/Octave实现,适用于Windows 7或Linux。与现有的主题建模包相比,该工具箱的新颖之处在于学习基于LDA的主题模型的BP算法。当前版本包括用于潜在狄利克雷分配(LDA)、作者主题模型(ATM)、关系主题模型(RTM)和标记LDA(LaLDA)的BP算法。这个工具箱是一个正在进行的项目,在不久的将来,将添加更多的基于BP算法的各种主题模型。感兴趣的用户还可以扩展BP算法,以学习更复杂的主题模型。源代码可以在GNU通用公共许可证1.0版下免费获得,网址是https://mloss.org/software/view/399/。
2012-04-05 cs.LG
GINopic: Topic Modeling with Graph Isomorphism Network
Indian Association for the Cultivation of Science(印度文化研究会)
针对现有主题模型忽视词语依赖关系的问题,本文提出基于图同构网络的 GINopic 框架以建模词语相关性,并在多个基准上通过内外部评估验证其优于现有模型。
2025-02-17 cs.CL cs.LG
BERTopic for Topic Modeling of Hindi Short Texts: A Comparative Study
COEP Technological University(COEP理工大学)
本文评估BERTopic结合6种文档嵌入模型在印地语短文本上的主题建模效果,并与8种传统方法比较,发现其主题一致性表现持续最优。
2025-01-07 cs.CL cs.IR cs.LG
Industry-Aligned Granular Topic Modeling
J.P. Morgan Chase(摩根大通)
本文提出TIDE框架,基于大语言模型实现细粒度主题建模,并提供业务应用支持功能,实验表明其在工业场景中表现优异。
2026-01-16 cs.AI cs.CL cs.LG
Topic Modeling with Wasserstein Autoencoders
Amazon(亚马逊);Amazon Web Services(亚马逊云科技);Compass Inc(Compass公司)
我们在Wasserstein自编码器(WAE)框架中提出了一种新的神经主题模型。与现有的变分自编码器为基础的模型,我们直接执行狄利克雷先验的潜在文档主题向量。我们利用潜在空间的结构并应用合适的内核来最小化最大平均偏差(MMD)来执行分布匹配。我们发现MMD在匹配高维Dirichlet分布方面比生成对抗网络(GAN)有更好的表现。我们进一步发现,在训练过程中将随机性纳入编码器输出会导致更连贯的主题。为了衡量所产生的主题的多样性,我们提出了一个简单的主题唯一性度量。结合广泛使用的一致性度量NPMI,我们提供了一个更全面的主题质量评估。在几个真实数据集上的实验表明,我们的模型比现有的主题模型产生更好的主题。
2019-12-06 cs.AI cs.IR cs.LG
Fast Clustering and Topic Modeling Based on Rank-2 Nonnegative Matrix Factorization
本文提出HierNMF2和FlatNMF2方法,利用秩2非负矩阵分解实现高效层次聚类和主题建模,实验表明在计算时间和解质量上均有显著提升。
2015-10-02 cs.IR cs.LG cs.NA
Transfer Topic Modeling with Ease and Scalability
University of Southern California(南加州大学)
社交媒体网站(如Twitter或Facebook)上生成的短文本数量不断增加,对有效和高效的主题建模方法产生了巨大的需求。虽然可以应用潜在狄利克雷分配(LDA),但由于其在处理具有快速变化的主题和可扩展性问题的短文本方面的弱点,它不是最佳的。在本文中,我们提出了一种迁移学习方法,该方法利用来自其他领域(例如Yahoo!新闻或维基百科),以改善主题建模,更好的模型拟合和结果解释。具体来说,我们开发了转移层次LDA(thLDA)模型,它通过信息先验结合了来自其他领域的标签信息。此外,我们开发了一个并行实现我们的模型的大规模应用程序。我们证明了我们的thLDA模型在微博数据集和标准文本集合(包括AP和RCV 1数据集)上的有效性。
2013-01-26 cs.CL cs.LG stat.ML
Multi-source Neural Topic Modeling in Multi-view Embedding Spaces
DRIMCo GmbH(DRIMCo有限责任公司);CIS, University of Munich (LMU)(慕尼黑大学计算语言学中心)
虽然词嵌入和主题是互补的表示,但过去的一些工作仅在(神经)主题建模中使用预训练的词嵌入来解决短文本或小文档集合中的数据稀疏性。这项工作提出了一种新的神经主题建模框架,使用多视图嵌入空间:(1)预训练的主题嵌入,(2)预训练的词嵌入(Glove的上下文不敏感和BERT模型的上下文敏感)联合从一个或多个来源,以提高主题质量和更好地处理多义词。在这样做时,我们首先构建相应的预训练主题池(即,TopicPool)和词嵌入(即,WordPool)。然后,我们识别一个或多个相关的源域,并转移知识以指导稀疏目标域中的有意义的学习。在神经主题建模中,我们使用来自新闻和医疗领域的短文本、长文本、小型和大型文档集,通过泛化(困惑)、可解释性(主题连贯性)和信息检索(IR)来量化主题和文档表示的质量。在介绍多源多视图嵌入空间时,我们使用6个源(高资源)和5个目标(低资源)语料库展示了最先进的神经主题建模。
2021-04-17 cs.AI cs.CL cs.LG
Handling Collocations in Hierarchical Latent Tree Analysis for Topic Modeling
The Education University of Hong Kong(香港教育大学);The Hong Kong University of Science and Technology(香港科技大学)
主题建模是近年来机器学习中最活跃的研究领域之一。分层潜在树分析(HLTA)最近已被提出用于分层主题建模,并已显示出优于国家的最先进的方法的性能。然而,HLTA中使用的模型具有树结构,不能适当地表示共享同一个词的多词表达式的不同含义。因此,我们提出了一种方法提取和选择搭配作为HLTA的预处理步骤。在运行HLTA之前,在词袋模型中用单个标记替换选定的搭配。我们的实证评估表明,所提出的方法导致更好的性能HLTA的四个数据集测试。
2020-07-10 cs.CL cs.IR cs.LG
Semiparametric Latent Topic Modeling on Consumer-Generated Corpora
本文提出一种结合非负矩阵分解和半参数回归的两步半参数主题模型,解决了传统方法过拟合和难以重构稀疏主题结构的问题,在小规模且词汇有限的语料库中表现更优,并能提供可解释的主题定义。
2021-07-13 cs.CL cs.LG
Understanding The Robustness of Self-supervised Learning Through Topic Modeling
Duke University(杜克大学)
自监督学习显著提高了许多NLP任务的性能。然而,自监督学习如何发现有用的表示,以及为什么它比概率模型等传统方法更好,在很大程度上仍然是未知的。在本文中,我们专注于主题建模的背景下,并强调了自监督学习的一个关键优势-当应用于主题模型生成的数据时,自监督学习可以忽略特定的模型,因此不太容易受到模型误指定。特别是,我们证明了常用的自监督目标的基础上重建或对比样本都可以恢复有用的后验信息一般的主题模型。从经验上讲,我们表明,相同的目标可以执行与后验推理使用正确的模型,而优于后验推理使用错误指定的模型。
2023-02-28 cs.CL cs.LG stat.ML
Non-Pharmaceutical Intervention Discovery with Topic Modeling
Layer 6 AI(第六层人工智能公司);Vector Institute(向量研究所);University of British Columbia(英属哥伦比亚大学);University of Toronto(多伦多大学)
我们考虑在不断演变的COVID-19大流行期间发现非药物干预措施类别的任务。我们探索主题建模的两个语料库与国内和国际范围内。与人工干预标签相比,这些模型发现了现有的类别,同时减少了所需的人力。
2020-09-10 cs.CL cs.LG
Constrained Non-negative Matrix Factorization for Guided Topic Modeling of Minority Topics
Faculty of Information Technology and Communication Sciences(信息科技与通讯科学学院);Tampere University(塔尔皮奥大学)
针对主题模型难以捕捉少数主题的问题,提出受约束NMF方法,利用种子词和流行度约束,在合成数据上提升主题纯度等指标,并在YouTube评论中成功识别心理健康主题。
2025-05-22 cs.LG
ProtoTopic: Prototypical Network for Few-Shot Medical Topic Modeling
Engineering Science, University of Toronto(多伦多大学工程科学系);Neurosciences and Mental Health Research Program, The Hospital for Sick Children(多伦多儿童医院神经科学与心理健康研究计划);Department of Mechanical and Industrial Engineering, University of Toronto(多伦多大学机械与工业工程系);Vector Institute for Artificial Intelligence, Toronto(多伦多人工智能研究所);Department of Computer Science, University of Toronto(多伦多大学计算机科学系);Department of Diagnostic and Interventional Radiology, The Hospital for Sick Children(多伦多儿童医院诊断与介入放射学系)
本文提出ProtoTopic,一种基于原型网络的少样本医学主题建模方法,通过距离计算提升主题连贯性与多样性,在有限数据下有效生成医学相关主题。
2025-10-15 cs.LG
A new evaluation framework for topic modeling algorithms based on synthetic corpora
Northwestern University(西北大学)
主题模型在自然语言处理及其他领域得到了广泛的应用。在这里,我们提出了一个新的框架的概率主题建模算法的基础上,合成语料库包含一个明确定义的地面真相主题结构的评估。我们的方法的主要创新是能够量化种植和推断的主题结构之间的协议,通过比较分配的主题标签在令牌的水平。在实验中,我们的方法产生新的见解的相对优势的主题模型语料库的特点不同,和第一个证据的“不可检测的阶段”的主题模型时,种植结构是薄弱的。我们还通过预测主题建模算法在现实世界语料库中分类任务中的性能,确定了合成语料库所获得的见解的实际相关性。
2019-01-28 cs.CL cs.LG physics.soc-ph
Neural Topic Modeling of Psychotherapy Sessions
Columbia University(哥伦比亚大学);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心);Massachusetts Institute of Technology(麻省理工学院)
在这项工作中,我们比较了不同的神经主题建模方法在学习的主题倾向不同的精神疾病的心理治疗会话转录解析语音录音。我们还将时间建模,把这个额外的可解释性的行动,通过解析出主题的相似性作为一个时间序列的回合级决议。我们相信这个主题模型框架可以为治疗师提供可解释的见解,以最佳地决定他或她的策略,并提高心理治疗的有效性。
2022-11-03 cs.AI cs.CL cs.HC
Merging Embedded Topics with Optimal Transport for Online Topic Modeling on Data Streams
Université Côte d’Azur, CNRS, Inria, I3S, Marianne, France(法国蔚蓝海岸大学、国家科学研究中心、法国国家信息与自动化研究所、I3S研究所、马里昂);Université Côte d’Azur, Inria, CNRS, LJAD, Maasai, France(法国蔚蓝海岸大学、法国国家信息与自动化研究所、国家科学研究中心、LJAD研究所、马萨伊);Inria, Defence & Security mission, France(法国国家信息与自动化研究所、国防与安全任务);Université Côte d’Azur, 3IA TechPool, France(法国蔚蓝海岸大学、3IA技术池)
本文提出StreamETM,一种基于嵌入主题模型与不平衡最优传输的在线主题建模方法,结合变点检测识别主题变化,在模拟和真实数据上优于现有方法。
2025-10-22 cs.AI cs.LG
LimTopic: LLM-based Topic Modeling and Text Summarization for Analyzing Scientific Articles limitations
Northern Illinois University(北伊利诺伊大学);Northwestern University(西北大学)
本文提出LimTopic框架,结合BERTopic与LLM从科学论文局限性中提取主题、生成标题与摘要,实验证明BERTopic+GPT-4主题建模及GPT-4摘要效果最佳。
2025-03-08 cs.CL cs.LG