Source-LDA: Enhancing probabilistic topic models using prior knowledge sources
University of California Los Angeles(加州大学洛杉矶分校)
主题建模的一种流行方法是将语料库中的共现n-gram提取为语义主题。主题中的n-gram集合代表了一个潜在的主题,但是大多数主题建模方法都不能用单个n-gram来标记这些单词集合,这样的标记对于摘要系统中的主题识别非常有用。本文介绍了一种新的方法来标记一组n-gram组成一个单独的主题。所采取的方法是补充现有的主题分布的话,一个已知的分布的基础上一组预定义的主题。这是通过将表示已知潜在主题的现有标记知识源集成到概率主题模型中来完成的。这些知识源被转换成一个分布,并用于设置词上的Dirichlet生成分布的超参数。在推理中,这些修改后的分布引导潜在主题的收敛以符合互补分布。这种方法确保主题推理过程与现有知识一致。然后将来自互补知识源的标签分配转移到语料库的潜在主题。结果表明,准确的标签分配的主题,以及改进的主题生成比使用各种标记方法的基础上潜在的狄利克雷分配(LDA)。
2017-05-17 cs.CL cs.IR cs.LG
An Empirical Study on Crosslingual Transfer in Probabilistic Topic Models
University of Colorado Boulder(科罗拉多大学博尔德分校)
概率主题建模是跨语言任务的第一步,以实现知识转移和提取多语言特征的流行选择。虽然已经开发了许多多语言主题模型,但它们对训练语料库的假设是相当不同的,并且不清楚这些模型在各种训练条件下的应用情况。在本文中,我们系统地研究了不同的多语言主题模型背后的知识转移机制,并通过一系列广泛的实验与四个模型的10种语言,我们提供了经验性的见解,可以告知多语言主题模型的选择和未来的发展。
2019-06-10 cs.CL
Combining Thesaurus Knowledge and Probabilistic Topic Models
Lomosov Moscow State University(莫斯科国立大学);Yandex(Yandex公司)
本文提出了将叙词表知识引入概率主题模型的方法。该方法的主要思想是基于这样的假设,即在相同的文本中遇到的语义相关的单词和短语的频率应该得到提高:这一行动导致他们更大的贡献到这些文本中发现的主题。我们已经进行了实验,几个词库,并发现,为改善主题模型,它是有用的,利用特定领域的知识。如果使用WordNet等通用词库,则可以通过排除组合主题模型中的上下义关系来实现基于词库的主题模型改进。
2017-07-31 cs.CL
Complexity Analysis and Variational Inference for Interpretation-based Probabilistic Description Logic
本文提出了概率描述逻辑推理的复杂性分析和变分方法,其特点是布尔算子,量化,合格数限制,名词,逆角色和角色层次。推理是PEXP-完全的,变分方法的设计,以便尽可能利用逻辑推理。
2012-05-09 cs.AI
Hierarchical Graph Topic Modeling with Topic Tree-based Transformer
The Pennsylvania State University(宾夕法尼亚州立大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Nanyang Technological University(南洋理工大学);University of Electronic Science and Technology of China(电子科技大学);Singapore Management University(新加坡管理大学)
针对互联文档兼具图层次与主题层次的问题,提出在双曲空间中融合主题树嵌入和图结构的 Transformer 模型,提升层次主题建模效果。
2025-02-17 cs.CL
Interpretable probabilistic embeddings: bridging the gap between topic models and neural networks
National Research University Higher School of Economics(国立研究大学高等经济学院);Lomonosov Moscow State University(莫斯科国立大学);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
我们认为概率主题模型和最近的词嵌入技术从学习的角度隐藏的语义表示。受这两种方法惊人相似性的启发,我们将它们合并,并在词共现数据上使用在线EM算法学习概率嵌入。由此产生的嵌入执行与跳过革兰氏阴性采样(SGNS)的单词相似性任务,并在组件的可解释性的好处。接下来,我们学习概率文档嵌入,在文档相似性任务上优于paragraph2vec,并且需要更少的内存和训练时间。最后,我们采用多模态主题模型的加性正则化(ARTM)来获得高稀疏性,并学习其他模态的嵌入,例如时间戳和类别。我们观察到词相似性性能和有意义的模态间相似性的进一步改善。
2017-11-11 cs.CL
Probabilistic Topic Modelling with Transformer Representations
Institute of Mathematics, Clausthal University of Technology(克劳斯塔尔工业大学数学研究所);BASF(巴斯夫公司);Georg-August-Universität Göttingen(哥廷根大学)
本研究提出Transformer表示神经主题模型TNTM,结合Transformer嵌入空间主题表示与概率建模优势,用VAE框架提升性能,在嵌入连贯性上比肩SOTA且主题多样性近乎完美。
2024-03-06 cs.CL cs.LG
Dirichlet belief networks for topic structure learning
Monash University(莫纳什大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
最近,大量的研究工作已经致力于开发主题模型的深层架构,以学习主题结构。虽然已经提出了几种深度模型来学习更好的文档主题比例,但如何利用深度结构的好处来学习主题的单词分布尚未得到严格的研究。在这里,我们提出了一个新的多层生成过程中的词分布的主题,其中每一层由一组主题和每个主题是从一个混合物的层以上的主题。由于所有层中的主题都可以直接用词来解释,因此该模型能够发现可解释的主题层次结构。作为一个独立的模块,我们的模型可以灵活地适应不同类型的主题模型,以提高其建模的准确性和可解释性。在文本语料库上的大量实验证明了该模型的优越性。
2018-11-02 cs.CL cs.IR cs.LG
Probabilistic Conceptual Network: A Belief Representation Scheme for Utility-Based Categorization
Stanford University(斯坦福大学)
概率概念网络是一种知识表示方案,用于基于效用的分类中的概念推理和分类抽象。该方案结合了人工智能的抽象和继承层次的形式主义,和决策分析的概率网络。它提供了一个表示概念知识、层次知识和不确定性的通用框架。它促进了在不同抽象层次上动态构建分类决策模型。该计划被应用到一个自动化加工问题的推理机器的状态在不同的抽象层次,以支持行动,以保持竞争力的工厂。
2013-03-06 cs.AI
textTOvec: Deep Contextualized Neural Autoregressive Topic Models of Language with Distributed Compositional Prior
Siemens AG(西门子股份公司);University of Munich (LMU)(慕尼黑大学)
我们解决了概率主题建模的两个挑战,以便更好地估计给定上下文中单词的概率,即,P(单词|上下文):(1)语境中无语言结构:概率主题模型通过将给定的语境概括为“词袋”而忽略词序,因此语境中的词的语义丢失。LSTM-LM通过考虑局部搭配模式中的词序来学习每个单词的向量空间表示,并对语言的复杂特征(例如,语法和语义),而TM同时从整个文档中学习潜在表示并发现底层主题结构。我们通过结合TM(例如,DocNADE)和统一概率框架中的LM,命名为ctx-DocNADE。(2)有限的上下文和/或较小的文档训练语料库:在具有少量单词出现的设置中(即,缺乏上下文)或在少量文档的语料库中数据稀疏,TM的应用是具有挑战性的。我们通过语言建模方法将外部知识纳入神经自回归主题模型来应对这一挑战:我们使用词嵌入作为LSTM-LM的输入,旨在改善较小和/或短文本语料库上的词主题映射。建议的DocNADE扩展名为ctx-DocNADEe。我们提出了新的神经自回归主题模型变体,加上神经LM和嵌入先验,在泛化(困惑),可解释性(主题一致性)和适用性(检索和分类)方面始终优于最先进的生成TM,超过来自不同领域的6个长文本和8个短文本数据集。
2019-02-23 cs.AI cs.CL cs.IR
Hierarchical Topic Mining via Joint Spherical Tree and Text Embedding
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Georgia Institute of Technology(佐治亚理工学院)
挖掘一组有意义的主题组织成一个层次结构是直观的吸引力,因为主题相关性是无处不在的海量文本语料库。为了考虑潜在的层次主题结构,层次主题模型通过将潜在的主题层次结构纳入其生成建模过程来概括平面主题模型。然而,由于其纯粹的无监督性质,学习的主题层次结构往往偏离用户的特定需求或兴趣。为了在最少用户监督的情况下指导分层主题发现过程,我们提出了一个新任务分层主题挖掘,该任务采用仅由类别名称描述的类别树,旨在从文本语料库中挖掘每个类别的一组代表性术语,以帮助用户理解他/她感兴趣的主题。我们开发了一种新型的联合树和文本嵌入方法以及一个有原则的优化过程,该过程允许在球形空间中同时对类别树结构和语料库生成过程进行建模,以有效地发现类别代表术语。我们的综合实验表明,我们的模型,命名为JoSH,挖掘一个高质量的层次主题集,效率高,有利于弱监督层次文本分类任务。
2020-07-18 cs.CL cs.IR cs.LG
Text Modeling using Unsupervised Topic Models and Concept Hierarchies
University of California, Irvine(加州大学欧文分校)
统计主题模型提供了一个通用的数据驱动框架,用于从大量文本文档中自动发现高级知识。虽然主题模型可以在数据集中发现广泛的主题,但学习主题的可解释性并不总是理想的。另一方面,人类定义的概念往往在语义上更丰富,这是由于仔细选择了定义概念的单词,但它们往往不会详尽地涵盖数据集中的主题。在本文中,我们提出了一个概率框架,结合层次结构的人类定义的语义概念与统计主题模型,以寻求两全其美。使用两个不同的概念层次结构和两个集合的文本文档的实验结果表明,这种组合导致相关的语言模型的质量的系统性改进,以及使新的技术推断和可视化的文档的语义。
2008-08-07 cs.AI cs.IR
Combinatorial Topic Models using Small-Variance Asymptotics
Ohio State University(俄亥俄州立大学);Massachusetts Institute of Technology(麻省理工学院);Boston University(波士顿大学)
主题模型已成为无监督机器学习的基本工具。大多数现代主题建模算法采用概率观点,并基于潜在狄利克雷分配(LDA)或其变体推导推理算法。相反,我们研究主题建模作为一个组合优化问题,并提出了一个新的目标函数来自LDA通过传递到小方差限制。我们通过使用组合优化的思想来最小化导出的目标,从而产生一种新的、快速的、高质量的主题建模算法。特别是,我们表明,我们的研究结果与流行的基于LDA的主题建模方法是有竞争力的,也讨论了我们的方法和它的概率同行之间的(不)相似性。
2016-05-27 cs.CL cs.LG stat.ML
Discovering Discrete Latent Topics with Neural Variational Inference
University of Oxford(牛津大学);DeepMind
主题模型作为文档的概率生成模型已被广泛研究。传统的推理方法寻求封闭形式的推导来更新模型,然而随着这些模型的表达能力的增长,对它们的参数进行快速和准确的推理的难度也在增加。本文提出了替代神经主题建模的方法,通过提供参数化分布的主题,允许在神经变分推理的框架内通过反向传播进行训练。此外,在一个破棒结构的帮助下,我们提出了一个循环网络,它能够发现一个概念上无限数量的主题,类似于贝叶斯非参数主题模型。在MXM Song Lyrics、20个NewsGroups和Reuters News数据集上的实验结果证明了这些神经主题模型的有效性和效率。
2018-05-21 cs.AI cs.CL cs.IR
Topic Model Supervised by Understanding Map
Tsinghua University(清华大学)
受物理学中质心概念的启发,提出了一种扩展的语义质心(SCOM),用于发现文档的抽象主题。这个概念是在一个框架模型下,称为理解地图监督主题模型(UM-S-TM)。UM-S-TM的设计目标是让文档内容和语义网络(具体地说,理解地图)在解释文档的含义方面发挥作用。基于不同的理由,设计了三种可能的方法来发现文档的SCOM。在人工文档和理解地图上进行了实验,以检验其结果。此外,还测试了它的文档矢量化能力和顺序信息捕获能力。我们还比较了UM-S-TM与概率主题模型,如潜在狄利克雷分配(LDA)和概率潜在语义分析(pLSA)。
2022-05-27 cs.CL
Improving Neural Topic Models using Knowledge Distillation
University of Maryland(马里兰大学)
主题模型通常用于识别人类可解释的主题,以帮助理解大型文档集合。我们使用知识蒸馏来组合概率主题模型和预训练Transformers的最佳属性。我们的模块化方法可以直接应用于任何神经主题模型,以提高主题质量,我们使用两个具有不同架构的模型来证明这一点,从而获得最先进的主题一致性。我们表明,我们的适应性强的框架不仅提高了所有估计的主题的聚合性能,正如通常报道的那样,而且在对齐主题的头对头比较中。
2020-10-05 cs.CL cs.IR cs.LG
Latent Tree Models for Hierarchical Topic Detection
The Hong Kong University of Science and Technology(香港科技大学);Ant Financial Services Group(蚂蚁金融服务集团);The Education University of Hong Kong(香港教育大学)
我们提出了一种新的分层主题检测方法,主题是通过多种方式聚类文件。具体来说,我们使用一类称为分层潜在树模型(HLTM)的图形模型来建模文档集合。HLTM底层的变量是观察到的二进制变量,表示文档中单词的存在/不存在。其他级别的变量是二进制潜变量,最低潜级别的变量表示单词同现模式,较高级别的变量表示较低级别的模式同现。每个潜在变量给出了文档的软分区,分区中的文档簇被解释为主题。在高层次的潜在变量捕获长范围的词共现模式,从而给主题更一般的主题,而那些在低层次的捕获短范围的词共现模式,并给主题更具体的主题。与基于LDA的主题模型不同,HLTM不引用文档生成过程,而是使用word变量而不是token变量。它们使用树结构来建模主题和词之间的关系,这有利于发现有意义的主题和主题层次。
2016-12-21 cs.CL cs.IR cs.LG
Multi-environment Topic Models
Columbia University(哥伦比亚大学)
针对文本协变量环境调节全局主题表示的问题,提出可分离全局与环境特定术语的无监督多环境主题模型MTM,在多环境政治内容数据上的分布内外表现优于强基线,还能实现准确的因果效应发现。
2024-11-01 cs.CL
Interactive Visual Exploration of Topic Models using Graphs
Turku Centre for Computer Science(图尔库计算机科学中心);Åbo Akademi University(奥布学术大学);Goethe University(歌德大学);Arcada University of Applied Sciences(阿卡达应用科学大学)
概率主题建模是一个流行的和强大的工具族,用于发现大型非结构化文本文档集中的主题结构。虽然很多注意力都集中在建模算法及其各种扩展上,但相对较少的研究关注如何以有意义的方式呈现或可视化主题模型。在本文中,我们提出了一种新颖的设计,使用图形来直观地传达主题结构和含义。通过描述性关键词连接主题节点,图形表示揭示了主题相似性,主题意义和共享,模糊的关键词。同时,该图可用于信息检索目的,按主题或主题子集查找文档。为了证明该设计的实用性,我们说明了它的使用组织和探索语料库的金融专利。
2014-11-27 cs.CL cs.IR
Top2Vec: Distributed Representations of Topics
主题建模用于在大量文档中发现潜在的语义结构,通常称为主题。最广泛使用的方法是潜在狄利克雷分配和概率潜在语义分析。尽管它们很受欢迎,但它们有几个弱点。为了达到最佳效果,他们通常需要知道主题的数量,自定义停止词列表,词干提取和词形还原。另外,这些方法依赖于文档的词袋表示,而忽略了词的顺序和语义。文档和单词的分布式表示由于其捕获单词和文档的语义的能力而得到普及。我们提出了$\texttt{top2vec}$,它利用联合文档和单词语义嵌入找到$\textit{topic vectors}$。这个模型不需要停用词列表、词干提取或词形还原,它会自动找到主题的数量。将得到的主题向量与文档和词向量联合嵌入,它们之间的距离表示语义相似性。我们的实验表明,$\texttt{top2vec}$发现的主题是显着更多的信息和代表性的语料库训练比概率生成模型。
2020-08-19 cs.CL cs.LG stat.ML
Fast, Flexible Models for Discovering Topic Correlation across Weakly-Related Collections
Columbia University(哥伦比亚大学);University of Chicago(芝加哥大学);Princeton University(普林斯顿大学)
不同文档集合之间的弱主题相关性(在单个集合中具有不同数量的主题)对现有的交叉集合主题模型提出了挑战。本文介绍了两种概率主题模型:相关LDA(C-LDA)和相关HDP(C-HDP)。这些解决了在分析大型、不对称和潜在弱相关集合时可能出现的问题。弱相关集合中的主题相关性通常位于主题分布的尾部,在那里它们会被无法适应大量主题的模型所忽略。为了有效地为大规模分析建模这个长尾,我们的模型实现了基于Metropolis-Hastings和别名方法的并行采样算法(Yuan等人,2015)。这些模型首先在合成数据上进行评估,生成这些数据是为了模拟各种集合级不对称。然后,我们提出了一个案例研究的建模超过30万文件的科学和人文研究的集合从JSTOR。
2015-08-19 cs.CL cs.IR
Prior-aware Dual Decomposition: Document-specific Topic Inference for Spectral Topic Models
Cornell University(康奈尔大学)
谱主题建模算法对词共现统计的矩阵/张量进行操作,以学习特定于主题的词分布。这种方法消除了对原始文档的依赖,并在效率和可证明的主题推理方面产生了实质性的收益,但代价是:模型不再能够提供有关单个文档的主题组成的信息。最近提出的线性逆(TLI)映射观察到的词的每个文件回到其主题组成。然而,它的线性特性限制了推理质量,没有考虑主题的重要先验信息。在本文中,我们评估简单的概率逆(SPI)方法和新的先验感知的双重分解(PADD),能够学习文档特定的主题组成并行。实验表明,PADD成功地利用主题相关性作为先验,特别是优于TLI和学习质量的主题组成可比吉布斯采样的各种数据。
2017-11-19 cs.CL cs.IR cs.LG
Evaluating Topic Quality with Posterior Variability
University of British Columbia(不列颠哥伦比亚大学);University of Colorado(科罗拉多大学)
概率主题模型(如潜在狄利克雷分配(LDA))通常与贝叶斯推理方法(如吉布斯抽样)一起使用,以学习主题模型参数的后验分布。我们推导出一种新的LDA主题质量的测量使用后验分布的变化。与现有的几个自动主题评价基线相比,该指标在三个语料库上的实验中实现了与人类对主题质量判断的最新相关性。我们还证明,主题质量估计可以进一步提高使用监督估计,结合多个指标。
2019-09-15 cs.CL
Predicting Central Topics in a Blog Corpus from a Networks Perspective
University of Michigan(密歇根大学)
在当今以内容为中心的互联网中,从数据分析的角度来看,博客变得越来越受欢迎和重要。根据维基百科,截至2011年2月,互联网上有超过1.56亿个公共博客。博客是我们当代社会的反映。从社会、心理、经济和政治角度来看,不同博客文章的内容都很重要。在博客世界中发现重要的主题仍然是一个需要大量探索的领域。我们试图提出一个程序,使用概率主题建模和网络中心性的措施,确定在博客语料库中的中心主题。
2014-05-10 cs.CL cs.IR cs.SI
On a Topic Model for Sentences
Coffreo(Coffreo公司);University of Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
概率主题模型是一种生成式模型,它通过发现潜在的主题来描述文档的内容。然而,文本输入的结构,以及例如在诸如句子的连贯文本跨度中的词的分组,包含了许多信息,这些信息通常在这些模型中丢失。在本文中,我们提出了一个扩展的LDA,其目标是克服这种限制,将文本的结构中的生成和推理过程。我们通过比较它与LDA使用内在(困惑)和外在(文本分类)的评价任务,不同的文本集合,说明了EscherceLDA的优势。
2016-06-01 cs.CL cs.IR cs.LG
Multilingual Topic Models for Unaligned Text
Princeton University(普林斯顿大学)
我们开发的多语言主题模型未对齐的文本(MuTo),文本的概率模型,旨在分析语料库组成的两种语言的文档。从这些文档中,MuTo使用随机EM同时发现语言之间的匹配和多语言潜在主题。我们证明了MuTo能够在真实世界的多语言语料库中找到共享主题,成功地将不同语言的相关文档配对。MuTo为创建多语言主题模型提供了一个新的框架,而无需精心策划的并行语料库,并允许使用主题模型形式主义构建的应用程序应用于更广泛的语料库。
2012-05-09 cs.CL cs.IR cs.LG
TeCoMiner: Topic Discovery Through Term Community Detection
German Aerospace Center DLR(德国航空航天中心(DLR));Think Tank(智库)
本文简要介绍了TeCoMiner,这是一个用于探索文本集合主题内容的交互式工具。与其他主题建模工具不同,TeCoMiner不是基于某种生成概率模型,而是基于术语共现网络的拓扑考虑。我们概述了用于确定主题的方法,描述了工具的功能,并勾勒出一个应用程序,使用的语料库的政策相关的科学新闻,在过去十年中发表的欧洲委员会的环境问题。
2021-03-23 cs.CL
Recommendation System based on Semantic Scholar Mining and Topic modeling: A behavioral analysis of researchers from six conferences
Nanjing University of Science and Technology(南京理工大学)
推荐系统在互联网社会中有着重要的作用。计算机科学中的推荐系统在互联网门户的各个方面都有非常实际的用途,例如社交网络和图书馆网站。实现推荐系统的方法有很多种,潜在狄利克雷分配(LDA)是主题建模中的一种常用技术。近年来,研究人员提出了许多基于推荐系统和LDA的方法。根据主题的重要性,本文发现了主题的发展趋势,并发现了LDA主题与学术背景文献之间的关系。实际上,我们应用基于Gibbs抽样算法的概率主题建模,从DBLP数据集中的六个计算机科学会议出版物中进行语义挖掘。根据我们的实验结果,我们的语义框架可以有效地帮助组织更好地组织这些会议,并涵盖未来的研究课题。
2018-12-20 cs.CL cs.IR
Keyword Assisted Embedded Topic Model
University of California, Los Angeles(加州大学洛杉矶分校)
通过阐明文本语料库中的潜在结构,主题模型是对大量文档进行分类、总结和探索的重要工具。概率主题模型,如潜在狄利克雷分配(LDA),描述了文档中的单词如何通过一组称为主题的潜在分布生成。最近,嵌入式主题模型(ETM)扩展了LDA,利用词嵌入中的语义信息来生成语义更丰富的主题。由于LDA及其扩展是无监督模型,因此它们的定义不能有效地利用用户对该领域的先验知识。为此,我们提出了关键词辅助嵌入式主题模型(KeyETM),它配备ETM的能力,将用户知识的形式信息的主题级先验的词汇。使用定量指标和人类的反应主题入侵任务,我们证明了KeyETM产生更好的主题比其他指导,生成模型在文献中。
2021-11-22 cs.CL cs.IR cs.LG
PaRe: A Paper-Reviewer Matching Approach Using a Common Topic Space
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
对于会议组织者来说,找到合适的评审员来评估会议提交的质量是一个耗时的过程。考虑到这一步骤的重要性,已经提出了各种自动审稿人-论文匹配解决方案来减轻负担。先前的方法,包括词袋模型和概率主题模型,已经不足以处理论文提交和审稿人的专业知识之间的词汇不匹配和部分主题重叠。我们的方法,共同的主题模型,共同建模的主题提交和审查的个人资料,同时依赖于抽象的主题向量。两个数据集上的实验和有见地的评价表明,所提出的方法实现了一致的改进相比,现有的最先进的实现论文审稿人匹配。
2019-09-25 cs.CL cs.IR cs.LG
A System for Probabilistic Linking of Thesauri and Classification Systems
本文提出了一个系统,创建和可视化的概率语义之间的联系概念的词库和分类系统中的类。为了创建链接,我们建立在多语言标签主题模型(PLL-TM)上。PLL-TM通过使用来自文档的自然语言文本、其分配的叙词表描述符和其指定的类的信息来识别分类系统中的每个类的可能叙词表描述符。然后以交互式可视化方式向系统用户提供这些链接,向他们提供自动生成的叙词表与分类系统之间关系的概览。
2016-03-21 cs.AI cs.CL cs.DL
Tired of Topic Models? Clusters of Pretrained Word Embeddings Make for Fast and Good Topics too!
Johns Hopkins University(约翰斯·霍普金斯大学);Department of Computer Science(计算机科学系);Baltimore, MD, USA(美国马里兰州巴尔的摩)
主题模型是一种有用的分析工具,可以揭示文档集合中的潜在主题。主要的方法是使用概率主题模型来描述生成的故事,但在本文中,我们提出了一种替代方法来获得主题:聚类预训练的词嵌入,同时将文档信息用于加权聚类和重新排名。我们提供了基准的组合不同的词嵌入和聚类算法,并分析其性能下的降维PCA。我们的方法的最佳性能组合执行以及经典的主题模型,但具有较低的运行时间和计算复杂性。
2020-10-06 cs.CL
Improving Topic Models with Latent Feature Word Representations
Macquarie University(麦考瑞大学);Santa Fe Institute(圣塔菲研究所)
概率主题模型被广泛用于发现文档集合中的潜在主题,而词的潜在特征向量表示已被用于在许多NLP任务中获得高性能。在本文中,我们扩展了两个不同的Dirichlet多项式主题模型,通过将在非常大的语料库上训练的单词的潜在特征向量表示,以改善在较小的语料库上学习的单词-主题映射。实验结果表明,通过使用来自外部语料库的信息,我们的新模型产生了显着的改善主题一致性,文档聚类和文档分类任务,特别是在数据集少或短的文档。
2018-10-15 cs.CL cs.IR cs.LG
A Comparative Evaluation of Structural Topic Models and BERTopic for Short, Open-Ended Survey Responses
Stanford Center on Early Childhood, Stanford University(斯坦福大学早期儿童研究中心)
本文比较了概率词袋模型(STM)与嵌入模型(BERTopic)在简短开放式调查回答上的表现,发现BERTopic在主题连贯性上更优,而STM在协变量推断分析上更强。
2026-05-21 cs.CL cs.CY
Unification of HDP and LDA Models for Optimal Topic Clustering of Subject Specific Question Banks
University of Bath(巴斯大学)
大学课程改革已成为一种越来越流行的趋势,使教学更具互动性,并适合于网络课程。在线课程越来越受欢迎,将导致学术界与课程有关的查询数量增加。这一点,再加上一个事实,即如果讲座是在视频点播格式提供,将没有固定的时间,其中大多数学生可以提出问题。当在讲座中提出问题时,重复出现类似问题的可能性可以忽略不计,但异步出现的可能性更大。为了减少回答每个问题所花费的时间,聚类是一个理想的选择。有不同的无监督模型适合文本聚类,其中潜在的Dirichlet分配模型是最常用的。我们使用分层狄利克雷过程来确定LDA模型运行的最佳主题数输入。由于这些主题模型的概率性质,它们的输出在不同的运行中会有所不同。我们发现的总体趋势是,在LDA模型的第一次运行中,并不是所有的主题都被用于聚类,这导致聚类效率较低。为了处理概率输出,我们递归地对正在使用的有效主题使用LDA模型,直到我们获得1的效率比。通过我们的实验结果,我们还建立了一个推理如何芝诺悖论是避免的。
2020-10-04 cs.CL cs.IR cs.LG
Exploratory topic modeling with distributional semantics
Turku Centre for Computer Science – TUCS(图尔库计算机科学中心(TUCS));Åbo Akademi University(奥博学术大学)
当我们继续在众多领域收集和存储文本数据时,我们经常会遇到我们想要揭示的主题结构在很大程度上未知的材料。通过无监督的探索性分析,不需要关于内容的先验知识,并且可以支持高度开放的任务。在过去的几年里,概率主题建模已经成为一个流行的方法来解决这个问题。然而,潜在的主题表示为聚合的半连贯的条款限制了他们的可解释性和详细程度。本文提出了一种替代方法的主题建模,映射主题作为一个网络的探索,基于分布式语义学习的词向量。从术语及其语义相似性关系的粒度级别来看,全局主题结构表现为概念的聚类区域和梯度。此外,本文还讨论了主题图的可视化交互表示,为主题图的开发提供了重要的支持。
2015-07-16 cs.CL cs.IR cs.LG
Improving the Inference of Topic Models via Infinite Latent State Replications
Nanyang Technological University(南洋理工大学);Universidad de los Andes(洛斯安第斯大学);National University of Singapore(新加坡国立大学)
在文本挖掘中,主题模型是一种概率生成模型,用于从文本语料中推断潜在语义主题。主题模型最流行的推理方法之一可能是折叠吉布斯采样(CGS),它通常为每个观察到的文档-单词对采样一个主题标签。在本文中,我们的目的是改善CGS的主题模型的推理。我们建议利用状态增强技术,通过最大化的主题样本的数量为无穷大,然后开发一种新的推理方法,称为无限潜在状态复制(ILR),生成强大的软主题分配每个给定的文档词对。在公开数据集上的实验结果表明,ILR比CGS更适合于现有主题模型的推理。
2023-01-25 cs.AI cs.CL cs.LG
Topic Analysis for Text with Side Data
Northwestern University(西北大学);Metonymize
虽然潜在因素模型(例如,矩阵分解)在预测中获得良好的性能,但是它们遭受若干问题,包括冷启动、不透明和次优推荐。在本文中,我们使用带有侧数据的文本来解决这些限制。我们介绍了一种混合生成概率模型,它结合了神经网络和潜在主题模型,这是一个四层次贝叶斯模型。在该模型中,每个文档被建模为一个有限的混合在一个底层的主题集,每个主题被建模为一个无限的混合在一个底层的主题概率集。此外,每个主题概率被建模为边数据上的有限混合。在文本的上下文中,神经网络提供关于对应文本的边数据的概览分布,其是LDA中的先验分布以帮助执行主题分组。该方法在几个不同的数据集上进行了评估,其中该模型在主题分组,模型困惑,分类和评论生成方面优于标准LDA和Dirichlet多项式回归(DMR)。
2022-03-01 cs.CL cs.IR cs.LG
Does Syntax Matter? A Graph-Augmented Variational Topic Model for Computational Social Sciences
University of Udine(乌迪内大学)
本文提出图增强变分主题模型SCPTM,探究句法在主题建模中的作用,发现句法编码对论证性文本有益,但在信息性语域中引入噪声。
2026-09-09 cs.CL
Sparse Parallel Training of Hierarchical Dirichlet Process Topic Models
Imperial College London(帝国理工学院);Uppsala University(乌普萨拉大学);Aalto University(阿尔托大学);Ericsson AB(爱立信公司);Linköping University(林雪平大学)
为了将概率主题模型的非参数扩展(如潜在狄利克雷分配)扩展到更大的数据集,从业者越来越依赖于并行和分布式系统。在这项工作中,我们研究了分层狄利克雷过程(HDP)主题模型的数据并行训练。基于HDP中某些条件分布的表示,我们提出了一个双稀疏数据并行采样器的HDP主题模型。这个采样器利用了自然语言中所有可用的稀疏性资源-这是提高计算效率的重要方法。我们在一个著名的语料库(PubMed)上对我们的方法进行了基准测试,该语料库包含800万个文档和7.68亿个令牌,使用单个多核机器在四天内完成。
2020-10-06 cs.CL cs.IR cs.LG
Term-community-based topic detection with variable resolution
German Aerospace Center (DLR)(德国航空航天中心)
基于网络的过程中的主题检测在巨大的文本集合提供了一个直观的替代概率主题模型。我们详细介绍了一种方法,特别是设计领域专家的要求。类似的方法,它采用社区发现在长期共现图,但它是通过包括一个决议参数,可用于改变目标的主题粒度增强。我们还建立了一个长期的排名,并使用语义词嵌入呈现长期社区的方式,方便他们的解释。我们展示了我们的方法与广泛使用的一般新闻文章的语料库的应用,并显示在各种分辨率的检测主题的详细的社会科学专家评估的结果。还包括与潜在狄利克雷分配检测到的主题的比较。最后,我们讨论了影响主题解释的因素。
2021-07-23 cs.CL
Topics in the Haystack: Extracting and Evaluating Topics beyond Coherence
TU Clausthal(克劳斯塔尔工业大学);University of Göttingen(哥廷根大学)
在自然语言处理(NLP)中,从大型文本语料库中提取和识别潜在主题变得越来越重要。大多数模型,无论是类似于潜在狄利克雷分配(LDA)的概率模型还是神经主题模型,都遵循相同的主题可解释性和主题提取的基本方法。我们提出了一种方法,它结合了句子和文档主题的更深入的理解,并超越了简单地分析数据中的词频。这使得我们的模型能够检测潜在的主题,这些主题可能包括不常见的单词或新词,以及文档中不存在的单词。此外,我们提出了几个新的评估指标的基础上入侵者的话和相似性措施的语义空间。我们提出的相关系数与人类识别入侵者的话,并实现接近人类水平的结果,在词入侵任务。我们证明了我们的方法与一个大型的基准研究的竞争力的表现,并取得优异的结果相比,国家的最先进的主题建模和文档聚类模型。
2023-03-30 cs.CL
Multi Sense Embeddings from Topic Models
Amazon Web Services(亚马逊云服务)
分布式词嵌入在许多NLP任务中已经产生了最先进的性能,主要是由于它们成功地捕获了有用的语义信息。这些表示仅将单个向量分配给每个单词,而大量单词是多义的(即,有多重含义)。在这项工作中,我们接近词汇语义学中的这个关键问题,即在向量空间中表示多义词的各种意义。本文提出了一种基于主题模型的多原型词嵌入学习方法。我们还介绍了一种方法来修剪嵌入的概率表示的单词在每个主题。我们使用我们的嵌入来证明它们可以很好地捕捉上下文和单词相似性,并且优于各种最先进的实现。
2020-02-03 cs.CL cs.IR cs.LG
A Disentangled Adversarial Neural Topic Model for Separating Opinions from Plots in User Reviews
University of Warwick(华威大学)
变分自编码器(VAE)中推理过程的灵活性最近导致了对传统概率主题模型的修改,从而产生了神经主题模型(NTM)。虽然这些方法已经取得了显着的成果,令人惊讶的是,很少的工作已经做了关于如何解开潜在的主题。当应用于评论时,现有的主题模型可以提取与作者的主观意见相关联的主题,这些主观意见与诸如电影和书籍评论中的情节摘要之类的事实描述相关的那些主观意见相混合。因此,期望自动地将观点话题与情节/中性话题分离,从而实现更好的可解释性。在本文中,我们提出了一个神经主题模型与对抗训练相结合,从情节和中性的分离意见的主题。我们进行了广泛的实验评估,引入了一个新的电影和书评集合,并与它们的情节配对,即MOBO数据集,显示出改进的连贯性和主题多样性,一致的解纠缠率,以及优于其他监督主题模型的情感分类性能。
2021-06-19 cs.CL
Labeled Interactive Topic Models
University of Maryland(马里兰大学)
本文提出一种带标签的交互式神经主题模型,允许用户为主题分配单词标签以引导模型更新,并通过人类研究证明该方法能改善文档排名得分,帮助找到更相关的文档。
2024-02-07 cs.CL cs.HC cs.IR
Discovering topics with neural topic models built from PLSA assumptions
Dailymotion(Dailymotion公司)
本文提出了一个文本语料库中无监督主题发现的模型。该模型使用文档、单词和主题查找表嵌入作为神经网络模型参数,以构建单词给定主题的概率和主题给定文档的概率。这些概率用于通过边缘化来恢复给定文档的单词的概率。对于文档数量可能达到数十亿的非常大的语料库,使用基于神经自动编码器的文档嵌入比使用传统的查找表嵌入更具可扩展性。因此,我们将基于查找的文档嵌入模型扩展到基于连续自动编码器的模型。我们的模型使用概率潜在语义分析(PLSA)假设进行训练。我们在六个内容丰富的数据集上评估了我们的模型。实验结果表明,所提出的神经主题模型是非常有效的捕获相关的主题。此外,考虑到困惑度量,进行评估基准测试表明,我们的主题模型优于潜在的Dirichlet分配(LDA)模型,这是经典的用于解决主题发现任务。
2019-11-25 cs.CL cs.LG stat.ML
PRISM: PRIor from corpus Statistics for topic Modeling
Bar Ilan University(巴伊兰大学)
PRISM通过词共现统计自动生成Dirichlet参数,无需外部知识初始化LDA,提升文本和单细胞RNA-seq数据的主题可解释性。
2026-03-31 cs.CL cs.LG
Probabilistic Inductive Logic Programming Based on Answer Set Programming
National University of Ireland, Galway(爱尔兰国立大学戈尔韦)
提出了一种新的基于回答集编程(ASP)的概率知识表达形式语言。它允许注释一阶公式以及ASP规则和具有概率的事实,并从数据中学习这些权重(参数估计)。加权公式给出了一个语义方面的软,硬约束,决定了概率分布的答案集。在相关的方法相比,我们的方法推理可选地利用所谓的精简XOR约束,以减少计算的答案集的数量。我们的方法是原型实现。举例说明了引入的概念,并指出了未来研究的问题和主题。
2014-05-04 cs.AI
A new evaluation framework for topic modeling algorithms based on synthetic corpora
Northwestern University(西北大学)
主题模型在自然语言处理及其他领域得到了广泛的应用。在这里,我们提出了一个新的框架的概率主题建模算法的基础上,合成语料库包含一个明确定义的地面真相主题结构的评估。我们的方法的主要创新是能够量化种植和推断的主题结构之间的协议,通过比较分配的主题标签在令牌的水平。在实验中,我们的方法产生新的见解的相对优势的主题模型语料库的特点不同,和第一个证据的“不可检测的阶段”的主题模型时,种植结构是薄弱的。我们还通过预测主题建模算法在现实世界语料库中分类任务中的性能,确定了合成语料库所获得的见解的实际相关性。
2019-01-28 cs.CL cs.LG physics.soc-ph
JST-RR Model: Joint Modeling of Ratings and Reviews in Sentiment-Topic Prediction
Tsinghua University(清华大学);Virginia Tech(弗吉尼亚理工大学)
网络评论分析具有广泛的应用前景,引起了人们的广泛关注。通常情况下,文本评论与数据中的数字评级相结合。在这项工作中,我们提出了一个概率模型,以适应文本评论和整体评级考虑其内在的连接,为联合情感主题预测。该方法的关键是开发一个统一的生成模型,该模型基于评论文本构建主题模型,并通过结合评论文本和总体评分来获得情感预测。模型参数的推断是由一个有效的吉布斯抽样过程。该方法可以提高评论数据的预测精度,实现可解释主题和情感的有效检测。亚马逊数据集和模拟研究的案例研究阐述了所提出的方法的优点。
2021-02-18 cs.CL stat.ME
Understanding The Robustness of Self-supervised Learning Through Topic Modeling
Duke University(杜克大学)
自监督学习显著提高了许多NLP任务的性能。然而,自监督学习如何发现有用的表示,以及为什么它比概率模型等传统方法更好,在很大程度上仍然是未知的。在本文中,我们专注于主题建模的背景下,并强调了自监督学习的一个关键优势-当应用于主题模型生成的数据时,自监督学习可以忽略特定的模型,因此不太容易受到模型误指定。特别是,我们证明了常用的自监督目标的基础上重建或对比样本都可以恢复有用的后验信息一般的主题模型。从经验上讲,我们表明,相同的目标可以执行与后验推理使用正确的模型,而优于后验推理使用错误指定的模型。
2023-02-28 cs.CL cs.LG stat.ML
Graph2topic: an opensource topic modeling framework based on sentence embedding and community detection
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出开源框架 G2T,结合预训练语言模型、语义图社区检测和 TFIDF 变体完成主题建模,并在多长度中英文文档上达到最先进性能。
2023-06-06 cs.CL cs.LG
Topic Modeling on Health Journals with Regularized Variational Inference
University of Minnesota(明尼苏达大学)
主题建模使语料库的探索和紧凑的表示。CaringBridge(CB)数据集是由患者和护理人员在健康危机期间撰写的大量期刊。然而,CB数据集上的主题建模是具有挑战性的,因为多个作者撰写他们的健康旅程是异步的。为了克服这一挑战,我们引入了动态作者角色主题模型(DAP),一个概率图形模型设计的时间语料库与多个作者。DAP模型的新颖之处在于它通过人物角色来表示作者--人物角色捕捉了作者随着时间的推移对某些主题的写作倾向。此外,我们提出了一个正则化的变分推理算法,我们用它来鼓励DAP模型的人物角色是不同的。我们的研究结果显示了与竞争主题模型相比的显着改进-特别是在正则化之后,并突出了DAP模型捕捉不同作者共享的共同旅程的独特能力。
2018-01-15 cs.CL cs.LG stat.ML
Keyword Assisted Topic Models
Harvard University(哈佛大学);Institute for Quantitative Social Science(定量社会科学研究所)
近年来,基于概率主题模型的全自动内容分析因其可扩展性而受到社会科学家的欢迎。模型的无监督性质使其适合在没有先验知识的情况下探索语料库中的主题。然而,研究人员发现,这些模型往往无法衡量实质性利益的具体概念,无意中创建多个主题具有相似的内容,并将不同的主题组合成一个单一的主题。在本文中,我们经验证明,提供少量的关键字可以大大提高测量性能的主题模型。建议的关键字辅助主题模型(keyATM)的一个重要优点是,关键字的规范要求研究人员在拟合模型的数据之前标记主题。这与普遍存在的事后专题解释和调整做法形成鲜明对比,这种做法损害了实证研究结果的客观性。在我们的应用程序中,我们发现keyATM提供了更多的可解释的结果,有更好的文档分类性能,是不太敏感的主题比标准的主题模型的数量。最后,我们表明,keyATM也可以纳入协变量和模型的时间趋势。有一个开放源码软件包可用于实施拟议的方法。
2023-02-03 cs.CL stat.AP stat.ME