AI supported Topic Modeling using KNIME-Workflows
Fraunhofer-Institut FOKUS(弗劳恩霍夫协会FOKUS研究所)
主题建模算法传统上将主题建模为加权术语列表。这些主题模型可以有效地用于文本分类或支持文本挖掘任务,如文本摘要或事实提取。一般程序依赖于词频的统计分析。这项工作的重点是在KNIME工作流程中实现基于知识的主题建模服务。基于DBPedia的丰富方法的简要描述和评估以及丰富主题模型的比较评估将根据我们以前的工作进行概述。DBpedia-Spotlight用于识别输入文本中的实体,来自DBpedia的信息用于扩展这些实体。我们提供了一个工作流程开发的KNIME实现这种方法,并执行结果比较的主题建模支持的知识库信息,传统的LDA。这种主题建模方法允许通过算法和人类进行语义解释。
2021-04-15 cs.AI cs.IR cs.LG
Interactive Topic Modeling with Anchor Words
University of California, San Diego(加州大学圣地亚哥分校);NTENT(NTENT公司);Columbia University(哥伦比亚大学)
锚词的形式主义使得具有可证明保证的快速主题建模算法的发展成为可能。在本文中,我们介绍了一个协议,允许用户与锚词进行交互,以建立定制和可解释的主题模型。实验证据验证我们的方法的有用性。
2019-06-18 cs.IR cs.LG stat.ML
Ordering-sensitive and Semantic-aware Topic Modeling
The University of Hong Kong(香港大学);Zhejiang University(浙江大学)
文本语料库的主题建模是一个重要而富有挑战性的问题。在大多数以前的工作中,“词袋”的假设通常是忽略了单词的顺序。这种假设简化了计算,但它不切实际地丢失了上下文中单词的排序信息和语义。本文提出了一种高斯混合神经主题模型(GMNTM),它将词的排序和句子的语义结合到主题建模中。具体来说,我们将每个主题表示为多维向量的聚类,并将语料库嵌入到由高斯混合模型生成的向量集合中。每个词不仅受其主题的影响,还受其周围词的嵌入向量和上下文的影响。高斯混合分量和文档、句子和单词的主题可以联合学习。大量的实验表明,我们的模型可以学习更好的主题和更准确的词分布为每个主题。定量分析表明,与现有的主题建模方法相比,GMNTM在困惑度、检索准确率和分类准确率方面都有明显的提高。
2015-02-12 cs.CL cs.IR cs.LG
Topic Modeling based on Keywords and Context
University of Liechtenstein(列支敦士登大学);IBM Research Zurich(IBM苏黎世研究院)
目前的主题模型往往受到发现的主题不匹配人类的直觉,不自然的切换文档中的主题和高计算需求。我们解决这些问题,提出了一个主题模型和推理算法的基础上自动识别特征关键字的主题。关键词影响邻近词的主题分配。我们的算法学习(关键)词主题得分,并自我调节主题的数量。推理是简单和容易并行化。定性分析得出的结果与最先进的模型(如LDA),但具有不同的优势和劣势。使用9个数据集的定量分析显示,在分类准确性,PMI得分,计算性能和文档中主题分配的一致性方面有所提高,而大多数情况下使用较少的主题。
2018-02-03 cs.CL cs.IR cs.LG
Exclusive Topic Modeling
National University of Singapore(新加坡国立大学)
我们提出了一个排他性主题建模(ETM)的无监督文本分类,这是能够1)识别领域特定的关键字,虽然不经常出现,2)提供结构良好的主题与排他性的话。特别地,施加加权Lasso惩罚以自动减少频繁出现但不太相关的词的优势,并且成对的库尔贝克-莱布勒散度惩罚用于实现主题分离。仿真研究表明,ETM检测特定领域的关键字,而LDA失败。当应用于基准NIPS数据集时,加权Lasso惩罚和成对库尔贝克-莱布勒散度惩罚的模型的主题一致性得分平均分别提高了22%和10%。
2021-02-06 cs.IR cs.LG stat.ML
Integrating Document Clustering and Topic Modeling
Carnegie Mellon University(卡内基梅隆大学);Tsinghua University(清华大学)
文档聚类和主题建模是两个密切相关的任务,可以相互受益。主题建模可以将文档投影到一个主题空间中,这有助于有效的文档聚类。通过文档聚类发现的聚类标签可以被合并到主题模型中,以提取特定于每个聚类的局部主题和所有聚类共享的全局主题。在本文中,我们提出了一个多粒度聚类主题模型(MGCTM),它集成了文档聚类和主题建模到一个统一的框架,并共同执行这两项任务,以达到整体最佳性能。该模型将两个组件紧密耦合:用于发现文档集合中潜在组的混合组件和用于挖掘多粒度主题的主题模型组件,其中多粒度主题包括特定于每个簇的局部主题和跨簇共享的全局主题,采用变分推理来近似隐变量的后验,并学习模型参数。在两个数据集上的实验证明了该模型的有效性。
2013-09-26 cs.CL cs.IR cs.LG
Jointly Modeling Topics and Intents with Global Order Structure
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
文档结构建模对于语篇分析及其相关应用具有重要意义。本研究的目标是通过将文档建模为主题词和修辞词的混合来捕获文档意图结构。在同一篇文章中,主题是相对不变的,而句子的修辞功能在语篇中通常是按照一定的顺序发生变化的。提出了一种基于主题建模的贝叶斯无监督模型GMM-LDA,用于分析文档意图结构和订单信息。我们的模型是灵活的,有能力结合的注释和做监督学习。此外,可以引入熵正则化来对主题和意图之间的显著分歧进行建模。我们在无监督和有监督的环境下进行了实验,结果表明我们的模型优于几个最先进的基线。
2015-12-07 cs.CL cs.IR cs.LG
Reduced-Order Modeling of Deep Neural Networks
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院)
我们介绍了一种加速深度神经网络推理的新方法。该方法受到了动力系统降阶建模技术的启发,其基础是最大体积算法。我们证明了在不同数据集上预训练的神经网络的效率。我们表明,在许多实际情况下,可以用更小的全连接层替换卷积层,准确性下降相对较小。
2020-11-25 cs.LG stat.ML
Exploratory topic modeling with distributional semantics
Turku Centre for Computer Science – TUCS(图尔库计算机科学中心(TUCS));Åbo Akademi University(奥博学术大学)
当我们继续在众多领域收集和存储文本数据时,我们经常会遇到我们想要揭示的主题结构在很大程度上未知的材料。通过无监督的探索性分析,不需要关于内容的先验知识,并且可以支持高度开放的任务。在过去的几年里,概率主题建模已经成为一个流行的方法来解决这个问题。然而,潜在的主题表示为聚合的半连贯的条款限制了他们的可解释性和详细程度。本文提出了一种替代方法的主题建模,映射主题作为一个网络的探索,基于分布式语义学习的词向量。从术语及其语义相似性关系的粒度级别来看,全局主题结构表现为概念的聚类区域和梯度。此外,本文还讨论了主题图的可视化交互表示,为主题图的开发提供了重要的支持。
2015-07-16 cs.CL cs.IR cs.LG
Scalable Probabilistic Entity-Topic Modeling
University of Cambridge(剑桥大学);Google Research(谷歌研究院)
我们提出了一个LDA的实体消歧方法。每个主题都与维基百科条目相关联,主题生成内容词或实体提及。训练这样的模型是具有挑战性的,因为主题和词汇量都是数百万。我们解决这些问题,使用一种新的分布式推理和表示框架的基础上,由维基百科链接图指导的并行吉布斯采样器,和管道的MapReduce允许快速和节省内存的大型数据集的处理。我们在一个公共数据集上报告了最先进的性能。
2013-09-02 cs.IR cs.LG stat.ML
Minimum Volume Topic Modeling
Department of Statistics University of Michigan(密歇根大学统计系);Department of EECS University of Michigan(密歇根大学电气与计算机科学系)
我们提出了一个新的主题建模过程,利用的事实,即潜在的狄利克雷分配(LDA)的日志似然函数是渐近等价的对数的主题单形的体积。这使得主题建模可以重新表述为找到概率单纯形,使其体积最小化,并包含表示为单词分布的文档。提出了一种最小体积主题模型优化的凸松弛方法,并证明了在Arora et al.(2013)和Huang et al.(2016)引入的可分性假设和充分分散假设下,松弛后的问题与原问题具有相同的全局最小值.提出了一种局部收敛的交替方向乘子法(ADMM)求解松弛最小体积问题。数值实验表明,我们的方法的计算时间和主题恢复性能方面的好处。
2019-04-03 cs.IR cs.LG stat.ML
Neural Topic Modeling with Bidirectional Adversarial Training
Southeast University(东南大学);University of Warwick(华威大学);Didi Chuxing Co., Ltd.(滴滴出行股份有限公司)
近年来,人们对使用神经主题模型从文本中自动提取主题的兴趣激增,因为它们避免了传统主题模型(如潜在狄利克雷分配(LDA))中复杂的数学推导。然而,这些模型要么通常假设潜在主题空间上的不正确先验(例如高斯或逻辑正态),要么无法推断给定文档的主题分布。为了解决这些限制,我们提出了一种神经主题建模方法,称为双向对抗主题(BAT)模型,这是将双向对抗训练应用于神经主题建模的第一次尝试。提出的BAT在文档主题分布和文档词分布之间建立双向投影。它使用一个生成器从文本中捕获语义模式,并使用一个编码器进行主题推理。此外,为了结合词相关性信息,高斯双向对抗主题模型(Gaussian-BAT)是从BAT扩展的。为了验证BAT和Gaussian-BAT的有效性,我们使用了三个基准语料库进行实验。实验结果表明,BAT和Gaussian-BAT获得了更多的一致性主题,优于几个竞争基线。此外,当基于提取的主题执行文本聚类时,我们的模型优于所有基线,Gaussian-BAT实现了更显着的改进,其准确性提高了近6%。
2020-04-26 cs.CL cs.IR cs.LG
Neural Topic Modeling with Continual Lifelong Learning
Siemens AG(西门子股份公司);University of Munich (LMU)(慕尼黑大学(LMU))
针对短文档数据稀疏导致主题建模效果不佳的问题,提出终身神经主题建模(LNTM)框架,通过共享生成同源和选择性数据增强等方法持续积累主题并减少灾难性遗忘,在困惑度、主题连贯性和信息检索上取得显著提升。
2023-06-27 cs.CL cs.IR cs.LG
A Coefficient of Determination for Probabilistic Topic Models
George Mason University(乔治梅森大学)
本研究提出了一个新的(旧的)度量主题模型,决定系数,或$R^2$的拟合优度进行评估。在主题建模的上下文中,$R^2$具有与在更广泛的统计模型类中使用时相同的解释。使用主题模型报告$R^2$解决了主题建模中的两个当前问题:缺乏用于主题建模的标准跨上下文评估指标以及与外行受众的沟通容易性。作者建议在构建主题模型时将$R^2$作为一个标准度量。
2019-11-26 cs.IR cs.LG stat.ML
Crime Hot-Spot Modeling via Topic Modeling and Relative Density Estimation
Georgia Institute of Technology(佐治亚理工学院);Duke University(杜克大学)
本文提出结合主题建模与最近邻相对密度估计(kNN-RDE)的方法,从警方叙述文本中识别犯罪热点,并在亚特兰大警察局大规模语料上验证其能发现被总体事件密度掩盖的空间趋势。
2023-09-22 cs.CL cs.IR cs.LG
Topic subject creation using unsupervised learning for topic modeling
Underwriters Laboratories, LLC(美国保险商实验室有限责任公司)
我们描述了使用非负矩阵分解(NMF)和潜在狄利克雷分配(LDA)算法进行主题挖掘和标签应用于零售客户通信,试图描述客户查询的主题。在本文中,我们比较了这两种算法的主题挖掘性能,并提出了方法来分配主题主题标签的自动化方式。
2019-12-18 cs.CL cs.CY cs.IR
Unsupervised Terminological Ontology Learning based on Hierarchical Topic Modeling
Northwestern University(西北大学);Intel Corporation(英特尔公司)
在本文中,我们提出了层次关系为基础的潜在狄利克雷分配(hrLDA),数据驱动的层次主题模型,从大量的异构文档中提取术语本体。与传统的主题模型相比,hrLDA依赖于名词短语而不是一元语法,考虑语法和文档结构,并通过主题关系丰富主题层次结构。通过一系列的实验,我们证明了hrLDA优于现有的主题模型,特别是在建立层次结构。此外,我们说明了鲁棒性的hrLDA在噪声数据集的设置,这是可能发生在许多实际情况下。我们的本体评价结果表明,从hrLDA提取的本体是非常有竞争力的领域专家创建的本体。
2017-08-29 cs.CL cs.IR cs.LG
A Topic Modeling Toolbox Using Belief Propagation
School of Computer Science and Technology(计算机科学与技术学院);Soochow University(苏州大学)
潜在狄利克雷分配(LDA)是一种重要的概率主题建模的层次贝叶斯模型,在文本挖掘、计算机视觉和计算生物学等领域有着广泛的应用,引起了广泛的关注。介绍了一个基于置信传播算法的主题建模工具箱。TMBP工具箱由MEX C++/Matlab/Octave实现,适用于Windows 7或Linux。与现有的主题建模包相比,该工具箱的新颖之处在于学习基于LDA的主题模型的BP算法。当前版本包括用于潜在狄利克雷分配(LDA)、作者主题模型(ATM)、关系主题模型(RTM)和标记LDA(LaLDA)的BP算法。这个工具箱是一个正在进行的项目,在不久的将来,将添加更多的基于BP算法的各种主题模型。感兴趣的用户还可以扩展BP算法,以学习更复杂的主题模型。源代码可以在GNU通用公共许可证1.0版下免费获得,网址是https://mloss.org/software/view/399/。
2012-04-05 cs.LG
BERTopic for Topic Modeling of Hindi Short Texts: A Comparative Study
COEP Technological University(COEP理工大学)
本文评估BERTopic结合6种文档嵌入模型在印地语短文本上的主题建模效果,并与8种传统方法比较,发现其主题一致性表现持续最优。
2025-01-07 cs.CL cs.IR cs.LG
Topic Modeling via Full Dependence Mixtures
Technion, Israel Institute of Technology(以色列理工学院(Technion, Israel Institute of Technology))
在本文中,我们介绍了一种新的主题建模方法,该方法通过使用数据的紧凑表示和利用GPU架构来扩展到大型数据集。在这种方法中,主题直接从语料库的共现数据中学习。特别是,我们介绍了一种新的混合模型,我们称之为全依赖混合(FDM)模型。FDM在数据的一般生成假设下对二阶矩进行建模。虽然有以前的工作主题建模使用二阶矩,我们开发了一个直接的随机优化过程,一个单一的Kullback Leibler目标拟合FDM。矩方法通常具有迭代不再需要随着语料库的大小而缩放的优点。我们的方法使我们能够利用标准的优化器和GPU的主题建模的问题。特别是,我们评估了两个大的数据集,NeurIPS论文和Twitter语料库,大量的主题的方法,并表明该方法的性能优于或优于标准基准。
2020-03-01 cs.IR cs.LG stat.ML
Topic Modeling in Embedding Spaces
Columbia University(哥伦比亚大学);Cambridge University(剑桥大学)
主题建模分析文档以学习有意义的单词模式。然而,现有的主题模型无法学习可解释的主题时,与大型和重尾词汇。为此,我们开发了嵌入式主题模型(ETM),一个生成模型的文件,结婚的传统主题模型与词嵌入。特别地,它用类别分布对每个词进行建模,该类别分布的自然参数是词嵌入与其指定主题的嵌入之间的内积。为了适应ETM,我们开发了一个有效的摊销变分推理算法。ETM发现可解释的主题,即使是包含罕见词和停用词的大型词汇表。在主题质量和预测性能方面,它优于现有的文档模型,如潜在狄利克雷分配(LDA)。
2019-07-08 cs.CL cs.IR cs.LG
Towards Big Topic Modeling
Soochow University(苏州大学);City University of Hong Kong(香港城市大学)
为了解决大主题建模问题,需要降低批处理潜在狄利克雷分配(LDA)算法的时间复杂度和空间复杂度。虽然多处理器结构上的并行LDA算法具有较低的时间复杂度和空间复杂度,但其处理器间的通信开销往往与词汇量和主题数成线性关系,导致严重的可扩展性问题。为了降低处理器之间的通信复杂性,提高系统的可扩展性,提出了一种基于幂律的通信高效的并行主题建模体系结构。我们提出的通信效率的并行架构与在线信念传播(OBP)算法被称为POBP大主题建模任务。大量的实验结果证实,POBP具有以下优点,以解决大主题建模问题:1)高精度,2)通信效率,3)速度快,和4)恒定的内存使用时,与最近的国家的最先进的并行LDA算法在多处理器架构。
2013-11-17 cs.DC cs.IR cs.LG
Topic Modeling with Wasserstein Autoencoders
Amazon(亚马逊);Amazon Web Services(亚马逊云科技);Compass Inc(Compass公司)
我们在Wasserstein自编码器(WAE)框架中提出了一种新的神经主题模型。与现有的变分自编码器为基础的模型,我们直接执行狄利克雷先验的潜在文档主题向量。我们利用潜在空间的结构并应用合适的内核来最小化最大平均偏差(MMD)来执行分布匹配。我们发现MMD在匹配高维Dirichlet分布方面比生成对抗网络(GAN)有更好的表现。我们进一步发现,在训练过程中将随机性纳入编码器输出会导致更连贯的主题。为了衡量所产生的主题的多样性,我们提出了一个简单的主题唯一性度量。结合广泛使用的一致性度量NPMI,我们提供了一个更全面的主题质量评估。在几个真实数据集上的实验表明,我们的模型比现有的主题模型产生更好的主题。
2019-12-06 cs.AI cs.IR cs.LG
Keyword-based Topic Modeling and Keyword Selection
Northwestern University(西北大学)
通过指定一组关键字来收集某些类型的文档(如tweets)。由于感兴趣的主题随时间而变化,因此动态调整关键字是有益的。挑战在于,需要在了解即将出台的文件和基本主题之前具体说明这些问题。未来的主题应该模仿过去感兴趣的主题,但其中应该有一些新颖性。我们开发了一个基于关键字的主题模型,动态选择一个子集的关键字用于收集未来的文档。生成过程首先选择关键字,然后基于指定的关键字选择底层文档。该模型通过使用变分下限和随机梯度优化来训练。推理包括找到关键字的子集,其中给定子集,模型预测未知即将到来的文档的潜在主题词矩阵。我们比较关键字主题模型与基准模型结合主题模型使用病毒式预测的推文。基于关键字的主题模型比这个复杂的基线模型高出67%。
2020-01-22 cs.IR cs.LG stat.ML
Handling Collocations in Hierarchical Latent Tree Analysis for Topic Modeling
The Education University of Hong Kong(香港教育大学);The Hong Kong University of Science and Technology(香港科技大学)
主题建模是近年来机器学习中最活跃的研究领域之一。分层潜在树分析(HLTA)最近已被提出用于分层主题建模,并已显示出优于国家的最先进的方法的性能。然而,HLTA中使用的模型具有树结构,不能适当地表示共享同一个词的多词表达式的不同含义。因此,我们提出了一种方法提取和选择搭配作为HLTA的预处理步骤。在运行HLTA之前,在词袋模型中用单个标记替换选定的搭配。我们的实证评估表明,所提出的方法导致更好的性能HLTA的四个数据集测试。
2020-07-10 cs.CL cs.IR cs.LG
Towards the TopMost: A Topic Modeling System Toolkit
Nanyang Technological University(南洋理工大学)
本文提出主题建模系统工具包 TopMost,通过覆盖数据集、预处理、模型、训练和评估的完整生命周期及模块化设计,实现前沿主题模型的快速使用、公平比较和灵活扩展。
2024-06-14 cs.AI cs.CL cs.IR
AOBTM: Adaptive Online Biterm Topic Modeling for Version Sensitive Short-texts Analysis
Department of Computer Science The University of British Comumbia Kelowna, Canada
对移动应用程序评论的分析表明,它在需求工程,软件维护和移动应用程序的发展中发挥着重要作用。移动应用程序开发人员经常检查用户的评论,以澄清用户遇到的问题,或捕获由于最近的应用程序更新而引入的新问题。应用程序评论具有动态性,其讨论的主题会随着时间的推移而变化。不同版本的应用程序收集的评论中的主题变化可以揭示有关应用程序更新的重要问题。在这个分析中的一个主要技术是使用主题建模算法。然而,应用评论是简短的文本,随着时间的推移,揭示其潜在的主题是具有挑战性的。传统的主题模型在对短文本进行主题推理时,存在词共现模式稀疏的问题。此外,这些算法不能在许多连续的时间片上捕获主题。在线主题建模算法通过保存前一个时间片的一小部分数据来加快对最近时间片内收集的文本的主题模型的推断。但是这些算法并没有分析所有先前时间片的主题数据,这可以对当前时间片的主题分布做出贡献。本文提出了自适应在线双项主题模型AOBTM,用于自适应地对短文本中的主题进行建模。AOBTM解决了短文本中的稀疏性问题,并考虑了先前时间片的最佳数量的原始数据。我们还提出了并行算法来自动确定主题的最佳数量和最佳数量的以前的版本,应该考虑在主题推理阶段。对应用评论和真实短文本数据集的自动评估证实,AOBTM可以找到更连贯的主题,并优于最先进的基线。
2020-09-13 cs.IR cs.LG stat.ML
Coherence-Aware Neural Topic Modeling
Amazon Web Services(亚马逊云科技)
主题模型的评估是基于它们描述文档的能力(即低困惑度)和产生具有连贯语义的主题的能力。在目前的主题建模中,困惑度是一个直接的优化目标。然而,由于其具有挑战性的计算,主题一致性并没有优化,并且仅在训练后进行评估。在这项工作中,在神经变分推理框架下,我们提出了将主题一致性目标纳入训练过程的方法。我们证明,这样的连贯性意识的主题模型表现出类似的困惑水平的基线模型,但实现了更高的主题连贯性。
2018-09-07 cs.CL cs.LG
Topic Modeling in Marathi
本文针对马拉地语主题建模研究稀缺的问题,比较了多种 BERT 与非 BERT 方法,发现 BERTopic 结合印度语言训练的 BERT 模型在主题一致性和多样性上优于 LDA。
2025-02-04 cs.CL cs.LG
Joint Sentiment/Topic Modeling on Text Data Using Boosted Restricted Boltzmann Machine
Isfahan University of Technology(伊斯法罕理工大学)
近年来,随着互联网和Web的发展,不同类型的社交媒体(如网络博客)成为文本数据的巨大来源。通过对这些数据的处理,可以发现有关不同主题,个人意见和对社会的全面了解的实用信息。因此,应用能够自动从文档中提取主观信息的模型将是有效和有用的。主题建模方法和情感分析是自然语言处理和文本挖掘领域中最热门的研究课题。本文提出了一种基于受限玻尔兹曼机(RBM)的神经网络的联合情感-主题建模的新结构。通过修改RBM的结构,以及附加一个层,这是类似于文本数据的情感,我们提出了一个基于神经网络的联合情感主题建模的生成结构。所提出的方法是监督和训练的对比发散算法。该模型中的新附加层是具有多项式概率分布的层,可以用于文本数据情感分类或任何其他监督应用。通过生成式评测、情感分类、信息检索等实验,将该模型与现有模型进行了比较,结果表明了该方法的有效性。
2017-11-10 cs.CL cs.IR cs.LG
Constrained Non-negative Matrix Factorization for Guided Topic Modeling of Minority Topics
Faculty of Information Technology and Communication Sciences(信息科技与通讯科学学院);Tampere University(塔尔皮奥大学)
针对主题模型难以捕捉少数主题的问题,提出受约束NMF方法,利用种子词和流行度约束,在合成数据上提升主题纯度等指标,并在YouTube评论中成功识别心理健康主题。
2025-05-22 cs.LG
GINopic: Topic Modeling with Graph Isomorphism Network
Indian Association for the Cultivation of Science(印度文化研究会)
针对现有主题模型忽视词语依赖关系的问题,本文提出基于图同构网络的 GINopic 框架以建模词语相关性,并在多个基准上通过内外部评估验证其优于现有模型。
2025-02-17 cs.CL cs.LG
Stability of Topic Modeling via Matrix Factorization
Insight Centre for Data Analytics, University College Dublin(都柏林大学学院洞察数据分析中心)
主题模型可以让我们深入了解大型文档语料库的潜在结构。在文献中已经提出了一系列的方法,包括概率主题模型和基于矩阵分解的技术。然而,在这两种情况下,标准实现在其初始化阶段依赖于随机元素,这可能导致在使用相同参数值时在相同语料库上生成不同结果。这对应于“不稳定性”的概念,这是以前研究的背景下,$k$ -均值聚类。在主题建模的许多应用中,不考虑这种不稳定性的问题,并且主题模型被视为是确定的,即使如果初始化过程被改变,结果可能会发生很大变化。在本文中,我们展示了固有的不稳定性流行的主题建模方法,使用一些新的措施来评估稳定性。为了解决这个问题的背景下,矩阵分解的主题建模,我们提出了使用集成学习策略。基于注释文本语料库上进行的实验,我们表明,K折集成策略,结合集成和结构化初始化,可以显着减少不稳定性,同时产生更准确的主题模型。
2017-09-09 cs.CL cs.IR cs.LG
ProtoTopic: Prototypical Network for Few-Shot Medical Topic Modeling
Engineering Science, University of Toronto(多伦多大学工程科学系);Neurosciences and Mental Health Research Program, The Hospital for Sick Children(多伦多儿童医院神经科学与心理健康研究计划);Department of Mechanical and Industrial Engineering, University of Toronto(多伦多大学机械与工业工程系);Vector Institute for Artificial Intelligence, Toronto(多伦多人工智能研究所);Department of Computer Science, University of Toronto(多伦多大学计算机科学系);Department of Diagnostic and Interventional Radiology, The Hospital for Sick Children(多伦多儿童医院诊断与介入放射学系)
本文提出ProtoTopic,一种基于原型网络的少样本医学主题建模方法,通过距离计算提升主题连贯性与多样性,在有限数据下有效生成医学相关主题。
2025-10-15 cs.LG
Fast Clustering and Topic Modeling Based on Rank-2 Nonnegative Matrix Factorization
本文提出HierNMF2和FlatNMF2方法,利用秩2非负矩阵分解实现高效层次聚类和主题建模,实验表明在计算时间和解质量上均有显著提升。
2015-10-02 cs.IR cs.LG cs.NA
Industry-Aligned Granular Topic Modeling
J.P. Morgan Chase(摩根大通)
本文提出TIDE框架,基于大语言模型实现细粒度主题建模,并提供业务应用支持功能,实验表明其在工业场景中表现优异。
2026-01-16 cs.AI cs.CL cs.LG
Efficient Correlated Topic Modeling with Topic Embedding
Carnegie Mellon University(卡内基梅隆大学);Petuum Inc.(Petuum公司);Shanghai Jiao Tong University(上海交通大学)
相关主题建模由于其高计算成本和较差的可扩展性而仅限于小模型和问题大小。在本文中,我们提出了一个新的模型,学习紧凑的主题嵌入,并通过主题向量之间的紧密度捕获主题相关性。我们的方法能够在低维嵌入空间中进行有效的推理,将以前的三次或二次时间复杂度降低到与主题大小成线性关系。我们进一步加快变分推理与快速采样器,利用稀疏的主题出现。大量的实验表明,我们的方法是能够处理的模型和数据规模比现有的相关结果大几个数量级,而不牺牲建模质量提供竞争力或优越的性能,在文档分类和检索。
2017-07-01 cs.CL cs.LG stat.ML
Semiparametric Latent Topic Modeling on Consumer-Generated Corpora
本文提出一种结合非负矩阵分解和半参数回归的两步半参数主题模型,解决了传统方法过拟合和难以重构稀疏主题结构的问题,在小规模且词汇有限的语料库中表现更优,并能提供可解释的主题定义。
2021-07-13 cs.CL cs.LG
A Joint Learning Approach for Semi-supervised Neural Topic Modeling
Harvard University(哈佛大学)
主题模型是以可解释的方式表示文本数据的一些最流行的方法。最近,深度生成模型的进步,特别是自动编码变分贝叶斯(AEVB),导致了无监督神经主题模型的引入,该模型利用了深度生成模型,而不是传统的基于神经网络的主题模型。我们通过引入标签索引神经主题模型(LI-NTM)来扩展这些神经主题模型,据我们所知,这是第一个有效的上游半监督神经主题模型。我们发现LI-NTM在文档重建基准中优于现有的神经主题模型,在低标记数据制度和具有信息标签的数据集中效果最显着;此外,我们的联合学习分类器在消融研究中优于基线分类器。
2022-04-07 cs.CL cs.IR cs.LG
A Topic Modeling Approach to Ranking
Boston University(波士顿大学)
我们提出了一个主题建模方法来预测成对比较中的偏好。我们开发了一种新的生成模型,用于成对比较,该模型考虑了在用户群体中普遍存在的多个共享潜在排名。这个新模型还以自然的方式捕捉不一致的用户行为。我们展示了如何在新的生成模型的潜在排名的估计可以正式减少到一个统计等价的主题建模问题的主题估计。我们利用主题建模文献的最新进展来开发一种算法,该算法可以学习共享的潜在排名,具有可证明的一致性以及样本和计算复杂性保证。我们证明了新方法在预测一些半合成和真实世界数据集的偏好方面与当前最先进的方法具有经验竞争力。
2015-01-25 cs.LG stat.ML
Deep topic modeling by multilayer bootstrap network and lasso
Northwestern Polytechnical University(西北工业大学)
主题建模是文档降维和分析的重要手段。然而,它被制定为一个困难的优化问题。目前的近似解决方案也受到不准确的模型或数据假设的影响。针对上述问题,本文提出了一种多项式时间深度主题模型,该模型不需要模型和数据假设。具体而言,我们首先应用多层引导网络(MBN),这是一种无监督的深度模型,以减少文档的维度,然后使用低维数据表示或其聚类结果作为监督Lasso的目标,用于主题词发现。据我们所知,这是MBN和Lasso首次应用于无监督主题建模。在20个新闻组和TDT2语料库上对5个具有代表性的主题模型进行了实验比较,结果表明了该算法的有效性。
2019-10-24 cs.LG stat.ML
Fast Online EM for Big Topic Modeling
Soochow University(苏州大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);City University of Hong Kong(香港城市大学)
期望最大化(EM)算法可以计算混合模型或潜在变量模型(如潜在Dirichlet分配(LDA))的最大似然(ML)或最大后验(MAP)点估计,是近十年来最流行的概率主题建模方法之一。然而,批量EM具有较高的时间和空间复杂度,以从大数据流中学习大LDA模型。在本文中,我们提出了一个快速的在线EM(FOEM)算法,推断的主题分布从以前看不见的文件递增恒定的内存要求。在随机近似框架内,我们证明了FOEM可以收敛到LDA的似然函数的局部平稳点。通过快速动态调度和低内存使用的参数流,FOEM对于一些终身主题建模任务比最先进的在线LDA算法更有效,可以在PC上处理大数据和大模型(又名,大主题建模)。
2015-12-07 cs.LG
Cross-referencing using Fine-grained Topic Modeling
Brigham Young University(杨百翰大学)
交叉引用,将文本段落与其他相关段落联系起来,可以是促进文本理解的有价值的学习辅助工具。然而,交叉引用首先需要对整个语料库有全面的主题知识,其次需要在语料库中进行有针对性的搜索,以找到这些有用的联系。由于这一点,交叉引用资源是昂贵的,只存在于最好的研究文本(例如宗教文本)。我们开发了一个基于主题的系统,用于自动生成候选交叉引用,可以很容易地由人类注释验证。我们的系统利用细粒度的主题建模与成千上万的高度细致入微的和具体的主题,以确定主题相关的诗句对。我们证明,我们的系统可以具有成本效益相比,有注释者获得必要的专业知识,以产生交叉引用的资源没有援助。
2019-05-18 cs.CL cs.IR cs.LG
Multi-source Neural Topic Modeling in Multi-view Embedding Spaces
DRIMCo GmbH(DRIMCo有限责任公司);CIS, University of Munich (LMU)(慕尼黑大学计算语言学中心)
虽然词嵌入和主题是互补的表示,但过去的一些工作仅在(神经)主题建模中使用预训练的词嵌入来解决短文本或小文档集合中的数据稀疏性。这项工作提出了一种新的神经主题建模框架,使用多视图嵌入空间:(1)预训练的主题嵌入,(2)预训练的词嵌入(Glove的上下文不敏感和BERT模型的上下文敏感)联合从一个或多个来源,以提高主题质量和更好地处理多义词。在这样做时,我们首先构建相应的预训练主题池(即,TopicPool)和词嵌入(即,WordPool)。然后,我们识别一个或多个相关的源域,并转移知识以指导稀疏目标域中的有意义的学习。在神经主题建模中,我们使用来自新闻和医疗领域的短文本、长文本、小型和大型文档集,通过泛化(困惑)、可解释性(主题连贯性)和信息检索(IR)来量化主题和文档表示的质量。在介绍多源多视图嵌入空间时,我们使用6个源(高资源)和5个目标(低资源)语料库展示了最先进的神经主题建模。
2021-04-17 cs.AI cs.CL cs.LG
Non-Pharmaceutical Intervention Discovery with Topic Modeling
Layer 6 AI(第六层人工智能公司);Vector Institute(向量研究所);University of British Columbia(英属哥伦比亚大学);University of Toronto(多伦多大学)
我们考虑在不断演变的COVID-19大流行期间发现非药物干预措施类别的任务。我们探索主题建模的两个语料库与国内和国际范围内。与人工干预标签相比,这些模型发现了现有的类别,同时减少了所需的人力。
2020-09-10 cs.CL cs.LG
Importance-aware Topic Modeling for Discovering Public Transit Risk from Noisy Social Media
Faculty of Information Technology, Beijing University of Technology(信息科技学院,北京工业大学);Beijing Intelligent Transportation Development Center(北京智能交通发展中心)
本文提出一种关注度感知的主题建模方法,通过联合建模语言交互和用户影响,从嘈杂的社会媒体中发现公共交通风险。
2025-12-06 cs.LG
Co-occurrence of medical conditions: Exposing patterns through probabilistic topic modeling of SNOMED codes
University of Delaware(特拉华大学);Christiana Care Health System(克里斯蒂安娜医疗系统);Queen's University(女王大学)
与多种并存的健康状况相关的患者往往面临严重的并发症和不太有利的结果。合并症在患有肾脏疾病的个体中尤其普遍,这是一种日益普遍的疾病,影响了美国13%的普通人群。本研究旨在采用概率框架识别和表征患者中同时发生的医疗状况的模式。具体来说,我们以非传统的方式应用主题建模,以发现在超过13,000名诊断患有肾脏疾病的患者的EHR中分配和记录的SNOMEDCT代码之间的关联。与大多数以前的工作主题建模,我们应用的方法,而不是自然语言的代码。此外,我们定量评估的主题,评估其紧密性和独特性,并评估我们的结果的医学有效性。我们的实验表明,每个主题的特点是简洁的几个高度可能性和独特的疾病代码,表明主题是紧密的。此外,每对主题之间的主题间距离通常很高,说明了独特性。最后,在一个主题中组合在一起的大多数编码条件确实在医学文献中共同发生。值得注意的是,我们的研究结果揭示了一些迄今为止尚未在医学文献中报道为相关的条件之间的间接关联。
2021-09-19 cs.LG
Nonparametric Spherical Topic Modeling with Word Embeddings
MIT(麻省理工学院);Harvard University(哈佛大学)
传统的主题模型没有考虑语言中的语义相关性。最近的分布表示的话表现出语义一致性的方向度量,如余弦相似性。然而,现有的主题模型中使用的分类或高斯观测分布都不适合利用这种相关性。在本文中,我们建议使用冯米塞斯-费舍尔分布模型的密度字在一个单位球。这种表示非常适合于方向数据。我们使用分层狄利克雷过程为我们的基本主题模型,并提出了一个有效的推理算法的基础上随机变分推理。该模型使我们能够自然地利用词嵌入的语义结构,同时灵活地发现主题的数量。实验表明,我们的方法优于竞争对手的方法在两个不同的文本语料库的主题一致性,同时提供有效的推理。
2016-04-01 cs.CL cs.IR cs.LG
Merging Embedded Topics with Optimal Transport for Online Topic Modeling on Data Streams
Université Côte d’Azur, CNRS, Inria, I3S, Marianne, France(法国蔚蓝海岸大学、国家科学研究中心、法国国家信息与自动化研究所、I3S研究所、马里昂);Université Côte d’Azur, Inria, CNRS, LJAD, Maasai, France(法国蔚蓝海岸大学、法国国家信息与自动化研究所、国家科学研究中心、LJAD研究所、马萨伊);Inria, Defence & Security mission, France(法国国家信息与自动化研究所、国防与安全任务);Université Côte d’Azur, 3IA TechPool, France(法国蔚蓝海岸大学、3IA技术池)
本文提出StreamETM,一种基于嵌入主题模型与不平衡最优传输的在线主题建模方法,结合变点检测识别主题变化,在模拟和真实数据上优于现有方法。
2025-10-22 cs.AI cs.LG
LimTopic: LLM-based Topic Modeling and Text Summarization for Analyzing Scientific Articles limitations
Northern Illinois University(北伊利诺伊大学);Northwestern University(西北大学)
本文提出LimTopic框架,结合BERTopic与LLM从科学论文局限性中提取主题、生成标题与摘要,实验证明BERTopic+GPT-4主题建模及GPT-4摘要效果最佳。
2025-03-08 cs.CL cs.LG
Generalized Topic Modeling
最近有显着的活动,在开发算法与可证明的保证主题建模。在标准的主题模型中,主题(例如体育、商业或政治)被视为单词上的概率分布$\vec a_i$,并且通过首先在主题上选择混合$\vec w$,然后生成单词i.i.d.从缔合的混合物$A{\vec w}$中分离。给定大量这样的文档,目标是恢复主题向量,然后根据它们的主题混合来正确地对新文档进行分类。在这项工作中,我们认为这个框架的一个广泛的推广,其中的话不再被假定为独立同分布绘制。而是主题是段落序列上的复杂分布。由于人们甚至不能希望在一般情况下表示这样的分布(即使段落使用一些自然特征表示),我们的目标是直接学习文档分类器。也就是说,我们的目标是学习一个预测器,该预测器在给定一个新文档的情况下,准确地预测其主题混合,而无需显式地学习分布。我们提出了几个自然条件下,人们可以有效地做到这一点,并讨论在这个模型中的噪声容限和样本的复杂性等问题。更一般地说,我们的模型可以被视为机器学习中多视图或协同训练设置的泛化。
2016-11-04 cs.CL cs.DS cs.IR
Dependent Hierarchical Normalized Random Measures for Dynamic Topic Modeling
Research School of Computer Science, The Australian National University(澳大利亚国立大学计算机科学研究院);Department of Computer Science, Purdue University(普渡大学计算机科学系);National ICT(国家信息通信技术研究院)
我们开发了相关的层次归一化随机测度,并将其应用于动态主题建模。通过叠加,二次采样和点转移这些措施的潜在泊松过程的依赖性。所使用的措施,包括规范化的广义伽马过程,表现出幂律性质,不像狄利克雷过程中使用的动态主题建模。该模型的推论包括适应最近开发的切片采样器直接操纵底层泊松过程。在新闻、博客、学术和Twitter集合上进行的实验表明,该技术比以前的一些模型具有更好的困惑度。
2012-06-18 cs.LG stat.ML
A new evaluation framework for topic modeling algorithms based on synthetic corpora
Northwestern University(西北大学)
主题模型在自然语言处理及其他领域得到了广泛的应用。在这里,我们提出了一个新的框架的概率主题建模算法的基础上,合成语料库包含一个明确定义的地面真相主题结构的评估。我们的方法的主要创新是能够量化种植和推断的主题结构之间的协议,通过比较分配的主题标签在令牌的水平。在实验中,我们的方法产生新的见解的相对优势的主题模型语料库的特点不同,和第一个证据的“不可检测的阶段”的主题模型时,种植结构是薄弱的。我们还通过预测主题建模算法在现实世界语料库中分类任务中的性能,确定了合成语料库所获得的见解的实际相关性。
2019-01-28 cs.CL cs.LG physics.soc-ph
Do Neural Topic Models Really Need Dropout? Analysis of the Effect of Dropout in Topic Modeling
Indian Association for the Cultivation of Science(印度科学培养协会)
Dropout是一种广泛使用的正则化技巧,用于解决在小数据集上训练的大型前馈神经网络中的过拟合问题,该数据集在保留的测试子集上表现不佳。虽然这种正则化技巧的有效性已经在卷积神经网络中得到了广泛的研究,但缺乏对无监督模型的分析,特别是基于VAE的神经主题模型。在本文中,我们已经分析了辍学的后果,在编码器中,以及在解码器的VAE架构中的三个广泛使用的神经主题模型,即上下文主题模型(CTM),EMLDA,和嵌入式主题模型(ETM)使用四个公开可用的数据集。我们的特征辍学的影响,这些模型的质量和预测性能的生成的主题。
2023-03-28 cs.CL cs.LG