HiTR: Hierarchical Topic Model Re-estimation for Measuring Topical Diversity of Documents
Informatics Institute, University of Amsterdam（阿姆斯特丹大学信息学研究所）；Institute for Logic, Language, and Computation, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）
高度的主题多样性通常被认为是有趣的文本文档的一个重要特征。最近提出的一项建议，用于衡量主题的多样性，确定了三个分布评估文件的多样性：文件内的话，主题内的话，和文件内的主题的分布。主题模型在这一方法中起着核心作用，因此，它们的质量对衡量主题多样性的有效性至关重要。主题模型的质量受两个因素的影响：主题的一般性和不纯性。一般主题仅包括背景语料库的公共信息，并且被分配给大多数文档。不纯主题包含与主题无关的词。杂质降低了主题模型的可解释性。不纯的主题很可能被错误地分配给文档。我们提出了一个分层的重新估计过程，旨在消除一般性和杂质。我们的方法有三个重新估计组件：（1）文档重新估计，从文档中删除一般单词;（2）主题重新估计，重新估计每个主题的单词分布;（3）主题分配重新估计，重新估计每个文档在主题上的分布。为了测量文本文档的主题多样性，我们的HiTR方法比在PubMed数据集上测量的最先进的方法有所改进。
2018-10-12 cs.CL cs.IR cs.LG
Multi Sense Embeddings from Topic Models
Amazon Web Services（亚马逊云服务）
分布式词嵌入在许多NLP任务中已经产生了最先进的性能，主要是由于它们成功地捕获了有用的语义信息。这些表示仅将单个向量分配给每个单词，而大量单词是多义的（即，有多重含义）。在这项工作中，我们接近词汇语义学中的这个关键问题，即在向量空间中表示多义词的各种意义。本文提出了一种基于主题模型的多原型词嵌入学习方法。我们还介绍了一种方法来修剪嵌入的概率表示的单词在每个主题。我们使用我们的嵌入来证明它们可以很好地捕捉上下文和单词相似性，并且优于各种最先进的实现。
2020-02-03 cs.CL cs.IR cs.LG
Lifelong Neural Topic Learning in Contextualized Autoregressive Topic Models of Language via Informative Transfers
Technische Universität München（慕尼黑工业大学）；TUM（慕尼黑工业大学）；Siemens AG（西门子股份公司）；LMU（慕尼黑大学）
LDA、DocNADE、iDocNADEe等主题模型在文档分析中得到了广泛的应用。然而，传统的主题模型有几个局限性，包括：（1）词袋（BoW）假设，其中它们忽略了单词排序，（2）数据稀疏，其中由于有限的单词共现，主题模型的应用具有挑战性，导致不连贯的主题，以及（3）没有用于终身主题学习的持续学习框架，利用历史知识（或潜在主题）和最小化灾难性遗忘。本文的研究重点是在神经主题建模框架下解决上述问题。我们建议：（1）结合主题和语言模型并引入语言结构（如词序、句法和语义特征等）的语境化主题模型在主题建模中，（2）将一种新的终身学习机制引入神经主题建模框架，以证明连续文档集合中的连续学习和最小化灾难性遗忘。此外，我们执行一个选择性的数据增强，以减轻在数据幻觉或重放过程中需要完整的历史语料库。
2019-09-29 cs.CL cs.IR cs.LG
Parsimonious Topic Models with Salient Word Discovery
Pennsylvania State University（宾夕法尼亚州立大学）
我们提出了一个简约的主题模型的文本语料库。在相关的模型中，如潜在狄利克雷分配（LDA），所有的单词都是特定于主题的，即使许多单词在不同的主题中以相似的频率出现。我们的建模确定了每个主题的突出词，这些词具有特定主题的概率，其余的由通用共享模型解释。此外，在LDA中，所有主题原则上都存在于每个文档中。相比之下，我们的模型给出了稀疏的主题表示，确定每个文档的相关主题的（小）子集。我们推导出贝叶斯信息准则（BIC），平衡模型的复杂性和拟合优度。在这里，有趣的是，我们确定了有效的样本量和相应的惩罚特定于我们的模型中的每个参数类型。我们最小化BIC以完全无监督的方式共同确定整个模型-特定于主题的单词，特定于文档的主题，所有模型参数值，{ \it和}主题的总数。三个文本语料库和图像数据集的结果表明，我们的模型实现了更高的测试集的可能性和更好的协议与地面真相类标签，LDA和设计的模型，以纳入稀疏性。
2014-09-11 cs.CL cs.IR cs.LG
Tired of Topic Models? Clusters of Pretrained Word Embeddings Make for Fast and Good Topics too!
Johns Hopkins University（约翰斯·霍普金斯大学）；Department of Computer Science（计算机科学系）；Baltimore, MD, USA（美国马里兰州巴尔的摩）
主题模型是一种有用的分析工具，可以揭示文档集合中的潜在主题。主要的方法是使用概率主题模型来描述生成的故事，但在本文中，我们提出了一种替代方法来获得主题：聚类预训练的词嵌入，同时将文档信息用于加权聚类和重新排名。我们提供了基准的组合不同的词嵌入和聚类算法，并分析其性能下的降维PCA。我们的方法的最佳性能组合执行以及经典的主题模型，但具有较低的运行时间和计算复杂性。
2020-10-06 cs.CL
Topic Modeling in Embedding Spaces
Columbia University（哥伦比亚大学）；Cambridge University（剑桥大学）
主题建模分析文档以学习有意义的单词模式。然而，现有的主题模型无法学习可解释的主题时，与大型和重尾词汇。为此，我们开发了嵌入式主题模型（ETM），一个生成模型的文件，结婚的传统主题模型与词嵌入。特别地，它用类别分布对每个词进行建模，该类别分布的自然参数是词嵌入与其指定主题的嵌入之间的内积。为了适应ETM，我们开发了一个有效的摊销变分推理算法。ETM发现可解释的主题，即使是包含罕见词和停用词的大型词汇表。在主题质量和预测性能方面，它优于现有的文档模型，如潜在狄利克雷分配（LDA）。
2019-07-08 cs.CL cs.IR cs.LG
Delta-training: Simple Semi-Supervised Text Classification using Pretrained Word Embeddings
Seoul National University（首尔国立大学）
我们提出了一种新颖而简单的半监督文本分类方法。该方法源于这样的假设，即具有预训练的词嵌入的分类器总是优于具有随机初始化的词嵌入的相同分类器，正如在NLP任务中经验观察到的那样。我们的方法首先构建两组分类器作为模型集成的一种形式，然后以不同的方式嵌入它们的词嵌入：一个使用随机，另一个使用预训练的词嵌入。我们专注于两个分类器对未标记数据的不同预测，同时遵循自训练框架。我们还使用早期停止元时期，以提高我们的方法的性能。我们的方法Delta-training在4个不同的文本分类数据集中优于自训练和协同训练框架，显示出对错误积累的鲁棒性。
2019-09-28 cs.CL
Multilingual and Multimodal Topic Modelling with Pretrained Embeddings
University of Helsinki（赫尔辛基大学）
本文提出了M3 L-Contrast-一种新的多模态多语言（M3 L）神经主题模型，用于将来自多种语言和图像的文本映射到共享的主题空间中。我们的模型在文本和图像上进行联合训练，并利用预训练的文档和图像嵌入来抽象不同语言和模态之间的复杂性。作为一个多语言的主题模型，它产生对齐的语言特定的主题和多模态模型，它推断图像中的语义概念的文本表示。我们证明，我们的模型是有竞争力的zero-shot主题模型预测可比多语言数据的主题分布，并显着优于zero-shot模型预测可比文本和图像的主题分布。我们还表明，我们的模型在未对齐的嵌入上的表现几乎和对齐的嵌入一样好。
2022-11-15 cs.AI cs.CL
Nonparametric Spherical Topic Modeling with Word Embeddings
MIT（麻省理工学院）；Harvard University（哈佛大学）
传统的主题模型没有考虑语言中的语义相关性。最近的分布表示的话表现出语义一致性的方向度量，如余弦相似性。然而，现有的主题模型中使用的分类或高斯观测分布都不适合利用这种相关性。在本文中，我们建议使用冯米塞斯-费舍尔分布模型的密度字在一个单位球。这种表示非常适合于方向数据。我们使用分层狄利克雷过程为我们的基本主题模型，并提出了一个有效的推理算法的基础上随机变分推理。该模型使我们能够自然地利用词嵌入的语义结构，同时灵活地发现主题的数量。实验表明，我们的方法优于竞争对手的方法在两个不同的文本语料库的主题一致性，同时提供有效的推理。
2016-04-01 cs.CL cs.IR cs.LG
Sentence Level Recurrent Topic Model: Letting Topics Speak for Themselves
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）
我们提出了句子级循环主题模型（SLRTM），一个新的主题模型，假设在一个句子中的每个词的生成依赖于句子的主题和整个历史的句子中的前面的话。与传统的主题模型在很大程度上忽略了词的顺序或主题连贯性不同，SLRTM通过使用基于递归神经网络（RNN）的框架来充分表征它们。实验结果表明，SLRTM在各种任务上都优于几个强基线。此外，SLRTM可以自动生成给定主题的句子（即，主题到句子），这是用于诸如个性化短文本会话的现实世界应用的关键技术。
2016-04-08 cs.CL cs.IR cs.LG
Prior matters: simple and general methods for evaluating and improving topic quality in topic modeling
Harvard University（哈佛大学）
在没有去除停用词的情况下训练的潜在狄利克雷分配（LDA）模型通常会在无信息词上产生具有高后验概率的主题，从而掩盖了底层语料库内容。即使手动删除规范停用词，该语料库中常见的无信息词仍将主导主题中最可能的词。在这项工作中，我们首先展示了如何标准的主题质量措施的连贯性和逐点互信息的行为违反直觉的共同存在，但不相关的话，甚至难以定量识别的情况下，主题可能占主导地位的停用词。我们提出了一个额外的主题质量指标，目标的停用词问题，并表明，它与标准的措施，正确地与人类的质量判断。我们还提出了一个简单的实现策略，用于生成被评估为更高质量的人类评估和我们的新指标的主题。这种方法，一个信息丰富的先验集合很容易引入到大多数LDA风格的推理方法，自动提升领域相关性和降级领域特定的停止词。我们证明了这种方法的有效性，在三个非常不同的领域：劳工部事故报告，在线健康论坛的帖子，和NIPS摘要。总的来说，我们发现，目前的做法认为解决这个问题并没有充分这样做，我们的建议提供了一个实质性的改进，为那些有兴趣解释他们的主题作为对象在自己的权利。
2017-10-14 cs.CL cs.IR cs.LG
Prior-aware Dual Decomposition: Document-specific Topic Inference for Spectral Topic Models
Cornell University（康奈尔大学）
谱主题建模算法对词共现统计的矩阵/张量进行操作，以学习特定于主题的词分布。这种方法消除了对原始文档的依赖，并在效率和可证明的主题推理方面产生了实质性的收益，但代价是：模型不再能够提供有关单个文档的主题组成的信息。最近提出的线性逆（TLI）映射观察到的词的每个文件回到其主题组成。然而，它的线性特性限制了推理质量，没有考虑主题的重要先验信息。在本文中，我们评估简单的概率逆（SPI）方法和新的先验感知的双重分解（PADD），能够学习文档特定的主题组成并行。实验表明，PADD成功地利用主题相关性作为先验，特别是优于TLI和学习质量的主题组成可比吉布斯采样的各种数据。
2017-11-19 cs.CL cs.IR cs.LG
Efficient and Flexible Topic Modeling using Pretrained Embeddings and Bag of Sentences
University of Liechtenstein（列支敦士登大学）
提出基于句子袋和预训练句子嵌入的主题建模推断算法，结合生成模型与聚类，通过期望最大化等方法实现高效灵活且达到最优性能的主题建模。
2024-02-10 cs.CL cs.LG
Multi-source Neural Topic Modeling in Multi-view Embedding Spaces
DRIMCo GmbH（DRIMCo有限责任公司）；CIS, University of Munich (LMU)（慕尼黑大学计算语言学中心）
虽然词嵌入和主题是互补的表示，但过去的一些工作仅在（神经）主题建模中使用预训练的词嵌入来解决短文本或小文档集合中的数据稀疏性。这项工作提出了一种新的神经主题建模框架，使用多视图嵌入空间：（1）预训练的主题嵌入，（2）预训练的词嵌入（Glove的上下文不敏感和BERT模型的上下文敏感）联合从一个或多个来源，以提高主题质量和更好地处理多义词。在这样做时，我们首先构建相应的预训练主题池（即，TopicPool）和词嵌入（即，WordPool）。然后，我们识别一个或多个相关的源域，并转移知识以指导稀疏目标域中的有意义的学习。在神经主题建模中，我们使用来自新闻和医疗领域的短文本、长文本、小型和大型文档集，通过泛化（困惑）、可解释性（主题连贯性）和信息检索（IR）来量化主题和文档表示的质量。在介绍多源多视图嵌入空间时，我们使用6个源（高资源）和5个目标（低资源）语料库展示了最先进的神经主题建模。
2021-04-17 cs.AI cs.CL cs.LG
A Neural Generative Model for Joint Learning Topics and Topic-Specific Word Embeddings
University of Warwick（华威大学）；Southeast University（东南大学）
我们提出了一种新的生成模型，以探索联合学习主题和特定主题的词嵌入的本地和全局上下文。特别是，我们假设，全球潜在的主题是共享的文件，一个词是由一个隐藏的语义向量编码其上下文语义含义，其上下文单词的条件下生成的隐藏的语义向量和全球潜在的主题。主题与词嵌入联合训练。经过训练的模型将单词映射到主题相关的嵌入，这自然解决了单词多义的问题。实验结果表明，该模型在词汇相似度评价和词义消歧方面均优于词级嵌入方法。此外，与现有的神经主题模型或用于主题和词嵌入的联合学习的其他模型相比，该模型还提取了更多的连贯主题。最后，该模型可以很容易地与现有的深度上下文化词嵌入学习方法集成，以进一步提高情感分类等下游任务的性能。
2020-08-11 cs.CL
Neural Embedding Allocation: Distributed Representations of Topic Models
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）；Atypon Systems（Atypon系统公司）
诸如skip-gram之类的词嵌入模型学习词的语义关系的向量表示，并且文档嵌入模型学习文档的类似表示。另一方面，主题模型提供了文档主题的潜在表示。为了同时获得这些表示的好处，我们提出了一种统一的算法，称为神经嵌入分配（NEA），它通过学习神经嵌入来模仿主题模型，将主题模型解构为单词，主题，文档，作者等的可解释向量空间嵌入。我们展示了NEA的LDA，作者主题模型和最近提出的混合成员跳克主题模型的有效性和通用性，并实现了更好的性能与嵌入相比，几个国家的最先进的模型。此外，我们证明，使用NEA平滑的主题，提高了一致性分数超过原来的主题模型时，主题的数量是大的。
2019-09-10 cs.CL cs.IR cs.LG
Model Directions, Not Words: Mechanistic Topic Models Using Sparse Autoencoders
Columbia University（哥伦比亚大学）；Google Research（谷歌研究院）；Independent（独立研究者）
本文提出机制性主题模型（MTMs），利用稀疏自编码器学习可解释特征，以揭示深层概念主题，并通过topic judge评估框架验证其有效性。
2026-08-25 cs.CL cs.LG
Enhancing Interpretable Clauses Semantically using Pretrained Word Representation
Centre for Artificial Intelligence Research（人工智能研究中心）；University of Agder（阿格德尔大学）
Tsetlin Machine（TM）是一种基于命题逻辑的可解释模式识别算法，它在自然语言处理（NLP）任务中表现出了很好的性能，包括情感分析、文本分类和词义消歧。为了获得人类级别的可解释性，传统TM采用布尔输入特征，例如词袋（BOW）。然而，BOW表示很难使用任何预先训练的信息，例如word2vec和GloVe单词表示。与NLP中的深度神经网络（DNN）相比，这种限制了TM的性能。为了减少性能差距，在本文中，我们提出了一种新的方法，使用预先训练的单词表示TM。该方法显着提高TM的性能和可解释性。我们通过从预先训练的单词表示中提取语义相关的单词作为TM的输入特征来实现这一点。实验结果表明，该方法的准确率明显高于基于BOW的TM，达到了基于DNN的模型的水平。
2021-09-10 cs.AI cs.CL cs.LG
Distilled Wasserstein Learning for Word Embedding and Topic Modeling
Infinia ML, Inc.（Infinia ML公司）；Duke University（杜克大学）；Tencent AI Lab（腾讯人工智能实验室）
我们提出了一种新的Wasserstein方法与蒸馏机制，产生联合学习的词嵌入和主题。所提出的方法是基于这样一个事实，即词嵌入之间的欧几里德距离可以被用作Wasserstein主题模型中的底层距离。主题的词分布，它们对文档的词分布的最佳传输，以及词的嵌入都是在一个统一的框架中学习的。在学习主题模型时，我们利用提取的底层距离矩阵来更新主题分布并平滑地计算相应的最佳传输。这种策略为词嵌入的更新提供了鲁棒的指导，提高了算法的收敛性。作为一个应用程序，我们专注于病人入院记录，其中所提出的方法嵌入的疾病和程序的代码，并学习入院的主题，获得具有临床意义的疾病网络建设，死亡率预测作为入院代码的函数，和程序推荐的优越性能。
2018-09-12 cs.CL cs.LG stat.ML
Word Network Topic Model: A Simple but General Solution for Short and Imbalanced Texts
Beihang University（北京航空航天大学）
短文本是近几十年来互联网上流行的信息格式，特别是随着在线社交媒体的发展，数以百万计的用户每天都会产生大量的短消息。虽然短文本传递的复杂信号使其成为主题建模的一个有前途的来源，但其极端的稀疏性和不平衡性给传统的主题模型（如LDA及其变体）带来了前所未有的挑战。针对短文本中主题建模问题，提出了一种简单而通用的解决方案，即基于词共现网络的WNTM模型，以同时解决稀疏性和不平衡性问题。与以往的方法不同，WNTM模型为每个单词的主题分布，而不是学习每个文档的主题，这成功地提高了数据空间的语义密度，而不会引入太多的时间或空间复杂度。同时，词-词空间中保存的丰富的上下文信息也保证了它在识别稀有主题时的敏感性和令人信服的质量。此外，采用与LDA相同的Gibbs采样，使WNTM易于扩展到各种应用场景。对短文本和普通文本的广泛验证证明了WNTM与基线方法相比的优越性。最后，我们也展示了它的潜力，准确地发现新出现的话题或意外事件在微博的早期阶段。
2014-12-17 cs.CL cs.IR
textTOvec: Deep Contextualized Neural Autoregressive Topic Models of Language with Distributed Compositional Prior
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学）
我们解决了概率主题建模的两个挑战，以便更好地估计给定上下文中单词的概率，即，P（单词|上下文）：（1）语境中无语言结构：概率主题模型通过将给定的语境概括为“词袋”而忽略词序，因此语境中的词的语义丢失。LSTM-LM通过考虑局部搭配模式中的词序来学习每个单词的向量空间表示，并对语言的复杂特征（例如，语法和语义），而TM同时从整个文档中学习潜在表示并发现底层主题结构。我们通过结合TM（例如，DocNADE）和统一概率框架中的LM，命名为ctx-DocNADE。(2)有限的上下文和/或较小的文档训练语料库：在具有少量单词出现的设置中（即，缺乏上下文）或在少量文档的语料库中数据稀疏，TM的应用是具有挑战性的。我们通过语言建模方法将外部知识纳入神经自回归主题模型来应对这一挑战：我们使用词嵌入作为LSTM-LM的输入，旨在改善较小和/或短文本语料库上的词主题映射。建议的DocNADE扩展名为ctx-DocNADEe。我们提出了新的神经自回归主题模型变体，加上神经LM和嵌入先验，在泛化（困惑），可解释性（主题一致性）和适用性（检索和分类）方面始终优于最先进的生成TM，超过来自不同领域的6个长文本和8个短文本数据集。
2019-02-23 cs.AI cs.CL cs.IR
Latent Tree Models for Hierarchical Topic Detection
The Hong Kong University of Science and Technology（香港科技大学）；Ant Financial Services Group（蚂蚁金融服务集团）；The Education University of Hong Kong（香港教育大学）
我们提出了一种新的分层主题检测方法，主题是通过多种方式聚类文件。具体来说，我们使用一类称为分层潜在树模型（HLTM）的图形模型来建模文档集合。HLTM底层的变量是观察到的二进制变量，表示文档中单词的存在/不存在。其他级别的变量是二进制潜变量，最低潜级别的变量表示单词同现模式，较高级别的变量表示较低级别的模式同现。每个潜在变量给出了文档的软分区，分区中的文档簇被解释为主题。在高层次的潜在变量捕获长范围的词共现模式，从而给主题更一般的主题，而那些在低层次的捕获短范围的词共现模式，并给主题更具体的主题。与基于LDA的主题模型不同，HLTM不引用文档生成过程，而是使用word变量而不是token变量。它们使用树结构来建模主题和词之间的关系，这有利于发现有意义的主题和主题层次。
2016-12-21 cs.CL cs.IR cs.LG
Learning Topics using Semantic Locality
Syracuse University（雪城大学）
主题建模发现给定文本文档的潜在主题概率。为了生成更有意义的主题，更好地代表给定的文档，我们提出了一种新的特征提取技术，可用于数据预处理阶段。该方法包括三个步骤。首先，它从每个文档中生成单词/单词对。其次，采用双向TF-IDF算法对词/词对进行语义过滤。第三，利用K-means算法对语义相似的词对进行合并。实验在开放电影数据库（OMDb）、路透社数据集和20 NewsGroup数据集上进行。平均平均精度得分用作评估指标。比较我们的结果与其他国家的最先进的主题模型，如潜在的Dirichlet分配和传统的限制玻尔兹曼机。我们提出的数据预处理可以提高生成的主题准确率高达12.99%。
2018-04-11 cs.CL cs.IR cs.LG
Top2Vec: Distributed Representations of Topics
主题建模用于在大量文档中发现潜在的语义结构，通常称为主题。最广泛使用的方法是潜在狄利克雷分配和概率潜在语义分析。尽管它们很受欢迎，但它们有几个弱点。为了达到最佳效果，他们通常需要知道主题的数量，自定义停止词列表，词干提取和词形还原。另外，这些方法依赖于文档的词袋表示，而忽略了词的顺序和语义。文档和单词的分布式表示由于其捕获单词和文档的语义的能力而得到普及。我们提出了$\texttt{top2vec}$，它利用联合文档和单词语义嵌入找到$\textit{topic vectors}$。这个模型不需要停用词列表、词干提取或词形还原，它会自动找到主题的数量。将得到的主题向量与文档和词向量联合嵌入，它们之间的距离表示语义相似性。我们的实验表明，$\texttt{top2vec}$发现的主题是显着更多的信息和代表性的语料库训练比概率生成模型。
2020-08-19 cs.CL cs.LG stat.ML
Document Informed Neural Autoregressive Topic Models
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学（LMU））
单词周围的上下文信息有助于确定它们的实际含义，例如在人工神经网络或生物神经网络的上下文中使用的“网络”。生成主题模型推断主题词分布，不考虑或只考虑很少的上下文。在这里，我们扩展了神经自回归主题模型，以语言建模的方式利用文档中单词周围的完整上下文信息。这导致在泛化、可解释性和适用性方面的性能提高。我们将我们的建模方法应用于来自各个领域的七个数据集，并证明我们的方法始终优于最先进的生成主题模型。使用学习的表示，我们在检索分数为0.02和F1的文本分类中平均获得了9.6%（0.57 Vs 0.52）的精度和7.2%（0.582 Vs 0.543）的精度。
2018-08-11 cs.CL cs.IR cs.LG
Knowledge-based Word Sense Disambiguation using Topic Models
Carnegie Mellon University（卡内基梅隆大学）
词义消歧是自然语言处理中的一个开放性问题，它在无监督环境中特别具有挑战性和有用，其中任何给定文本中的所有单词都需要在不使用任何标记数据的情况下消歧。典型地，WSD系统使用句子或目标词周围的词的小窗口作为用于消歧的上下文，因为它们的计算复杂性与上下文的大小成指数比例。在本文中，我们利用主题模型的形式主义，设计了一个词义消歧系统，在上下文中的单词的数量线性缩放。因此，我们的系统是能够利用整个文件作为上下文的一个词要消除歧义。所提出的方法是潜在的狄利克雷分配的一个变种，其中的主题比例为一个文件被替换为同义词集的比例。我们进一步利用WordNet中的信息分配一个非均匀的前同义词集分布的话和一个逻辑正常的前文档分布的同义词集。我们在Senseval-2，Senseval-3，SemEval-2007，SemEval-2013和SemEval-2015英语全词WSD数据集上评估了所提出的方法，并表明它的性能明显优于最先进的无监督基于知识的WSD系统。
2018-01-05 cs.CL cs.LG
Topic Modeling based on Keywords and Context
University of Liechtenstein（列支敦士登大学）；IBM Research Zurich（IBM苏黎世研究院）
目前的主题模型往往受到发现的主题不匹配人类的直觉，不自然的切换文档中的主题和高计算需求。我们解决这些问题，提出了一个主题模型和推理算法的基础上自动识别特征关键字的主题。关键词影响邻近词的主题分配。我们的算法学习（关键）词主题得分，并自我调节主题的数量。推理是简单和容易并行化。定性分析得出的结果与最先进的模型（如LDA），但具有不同的优势和劣势。使用9个数据集的定量分析显示，在分类准确性，PMI得分，计算性能和文档中主题分配的一致性方面有所提高，而大多数情况下使用较少的主题。
2018-02-03 cs.CL cs.IR cs.LG
Source-LDA: Enhancing probabilistic topic models using prior knowledge sources
University of California Los Angeles（加州大学洛杉矶分校）
主题建模的一种流行方法是将语料库中的共现n-gram提取为语义主题。主题中的n-gram集合代表了一个潜在的主题，但是大多数主题建模方法都不能用单个n-gram来标记这些单词集合，这样的标记对于摘要系统中的主题识别非常有用。本文介绍了一种新的方法来标记一组n-gram组成一个单独的主题。所采取的方法是补充现有的主题分布的话，一个已知的分布的基础上一组预定义的主题。这是通过将表示已知潜在主题的现有标记知识源集成到概率主题模型中来完成的。这些知识源被转换成一个分布，并用于设置词上的Dirichlet生成分布的超参数。在推理中，这些修改后的分布引导潜在主题的收敛以符合互补分布。这种方法确保主题推理过程与现有知识一致。然后将来自互补知识源的标签分配转移到语料库的潜在主题。结果表明，准确的标签分配的主题，以及改进的主题生成比使用各种标记方法的基础上潜在的狄利克雷分配（LDA）。
2017-05-17 cs.CL cs.IR cs.LG
SuperChat: Dialogue Generation by Transfer Learning from Vision to Language using Two-dimensional Word Embedding and Pretrained ImageNet CNN Models
Gyrfalcon Technology Inc.（矛隼科技公司）
最近使用二维的【形】词嵌入的超级字符方法在文本分类任务中取得了最先进的结果，展示了这种新方法的前景。本文借鉴超级字符法和二维的【形】嵌入的思想，提出了一种面向开放域对话的会话响应生成方法。在公共数据集上的实验结果表明，所提出的SuperChat方法生成高质量的响应。一个互动演示已经准备好在研讨会上展示。
2019-06-04 cs.CL
TopicModel4J: A Java Package for Topic Models
Hefei University of Technology（合肥工业大学）
主题模型为探索高维共现数据中的隐藏结构提供了一个灵活而有原则的框架，是文本的自然语言处理（NLP）中常用的方法。在本文中，我们设计并实现了一个Java包，TopicModel4J，其中包含13种有代表性的主题模型拟合算法。Java编程环境中的TopicModel4J为数据分析人员提供了一个易于使用的接口来运行算法，并允许轻松地输入和输出数据。此外，该软件包还提供了一些非结构化文本预处理技术，例如将文本数据拆分为单词，小写单词，执行词形化以及删除无用的字符，URL和停止词。
2020-10-28 cs.CL cs.IR
CWTM: Leveraging Contextualized Word Embeddings from BERT for Neural Topic Modeling
University of Warwick（华威大学）；King’s College London（伦敦国王学院）；The Alan Turing Institute（阿兰·图灵研究所）
针对传统主题模型依赖词袋表示的局限，提出整合BERT上下文化词嵌入的CWTM神经主题模型，可无BOW学习文档及词级主题向量，生成更连贯有意义的主题且适配未登录词。
2024-03-06 cs.AI cs.CL
Multidimensional counting grids: Inferring word order from disordered bags of words
Microsoft Research（微软研究院）
词袋模型通常假设主题混合，使得单个词袋中的词来自有限数量的主题。我们在这里表明，许多套袋的话表现出非常不同的变化模式比有效地捕捉主题混合的模式。在许多情况下，从一个单词袋到下一个单词袋，单词消失，新的单词出现，好像主题在文档中缓慢而平稳地移动（假设文档以某种方式有序）。描述这种排序的潜在结构的例子很容易想象。例如，新闻故事日期的提前反映在当天主题的平稳变化中，因为某些不断发展的新闻故事不再受欢迎，新事件创造了新的故事。连续几天的故事之间的重叠可以通过使用在词上线性排列的紧密分布上的窗口来建模。我们在这里表明，这种策略可以扩展到多个维度和数据的顺序并不明显的情况下。我们证明，这种方式的建模在词出现的协变优于标准的主题模型在分类和预测任务中的应用在生物学，文本建模和计算机视觉。
2012-02-14 cs.CL cs.IR cs.LG
Dirichlet belief networks for topic structure learning
Monash University（莫纳什大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
最近，大量的研究工作已经致力于开发主题模型的深层架构，以学习主题结构。虽然已经提出了几种深度模型来学习更好的文档主题比例，但如何利用深度结构的好处来学习主题的单词分布尚未得到严格的研究。在这里，我们提出了一个新的多层生成过程中的词分布的主题，其中每一层由一组主题和每个主题是从一个混合物的层以上的主题。由于所有层中的主题都可以直接用词来解释，因此该模型能够发现可解释的主题层次结构。作为一个独立的模块，我们的模型可以灵活地适应不同类型的主题模型，以提高其建模的准确性和可解释性。在文本语料库上的大量实验证明了该模型的优越性。
2018-11-02 cs.CL cs.IR cs.LG
Generative Topic Embedding: a Continuous Representation of Documents (Extended Version with Proofs)
National University of Singapore（新加坡国立大学）；Tsinghua University（清华大学）
词嵌入通过在一个小的上下文窗口中利用词的局部搭配模式将词映射到一个低维的连续嵌入空间中。另一方面，主题建模通过利用同一文档中的全局词语搭配模式，将文档映射到低维主题空间。这两种模式是互补的。在本文中，我们提出了一个生成式的主题嵌入模型，结合这两种类型的模式。在我们的模型中，主题由嵌入向量表示，并在文档之间共享。每个单词出现的概率受其本地上下文和主题的影响。变分推理方法产生的主题嵌入以及主题混合比例为每个文档。它们共同表示低维连续空间中的文档。在两个文档分类任务中，我们的方法比现有的八种方法性能更好，功能更少。此外，我们用一个例子说明，我们的方法可以生成连贯的主题，即使是基于一个文档。
2016-08-08 cs.AI cs.CL cs.IR
Topic Based Sentiment Analysis Using Deep Learning
University of Santa Cruz（圣克鲁斯大学）
在本文中，我们使用深度学习来处理以Twitter数据中的主题为条件的情感分析。我们提出了一个2层的方法：在第一阶段，我们创建自己的词嵌入，并看到他们比国家的最先进的嵌入时，与标准的分类器更好地执行。然后，我们对这些嵌入进行推理，以了解关于所有正在考虑的主题的单词的更多信息，以及每个主题的前n个影响词。在第二阶段，我们使用这些嵌入来预测推文对给定主题以及所有其他正在讨论的主题的情感。
2017-10-28 cs.CL cs.IR
Document Informed Neural Autoregressive Topic Models with Distributional Prior
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学）
我们解决了主题模型中的两个挑战：（1）单词周围的上下文信息有助于确定它们的实际含义，例如，在“人工神经网络“与“生物神经网络”的上下文中使用的“网络”。生成主题模型推断主题词分布，不考虑或只考虑很少的上下文。在这里，我们扩展了神经自回归主题模型，以语言建模的方式利用文档中单词周围的完整上下文信息。该模型被命名为iDocNADE。(2)由于单词出现的数量很小（即，由于短文本中缺乏上下文）以及少量文档的语料库中数据稀疏，主题模型的应用在此类文本上具有挑战性。因此，我们提出了一种简单有效的方法将外部知识纳入神经自回归主题模型：我们使用嵌入作为分布先验。所提出的变体被命名为DocNADEe和iDocNADEe。我们提出了新的神经自回归主题模型变体，这些变体在来自不同领域的7个长文本和8个短文本数据集的泛化性，可解释性（主题一致性）和适用性（检索和分类）方面始终优于最先进的生成主题模型。
2019-01-14 cs.AI cs.CL cs.IR
Interpretable Topic Extraction and Word Embedding Learning using row-stochastic DEDICOM
Fraunhofer IAIS（弗劳恩霍夫研究所）；University of Bonn（波恩大学）
提出行随机 DEDICOM 变体，在语料库 PMI 矩阵上同时完成可解释主题簇识别与词嵌入学习，并给出高效约束训练方法和定性评估。
2025-07-22 cs.AI cs.CL cs.LG
Topic Modeling with Contextualized Word Representation Clusters
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Cornell University（康奈尔大学）
聚类标记级上下文化单词表示产生的输出与英语文本集合的主题模型有许多相似之处。与词汇级词嵌入的聚类不同，所得到的模型更自然地捕获多义词，并且可以用作组织文档的一种方式。我们评估从流行的上下文语言模型的几个不同的输出层训练的标记聚类。我们发现，BERT和GPT-2产生高质量的聚类，但ROBERTa不。这些聚类模型简单、可靠，即使不比LDA主题模型更好，也能表现得很好，即使主题数量相对于本地集合的大小很大，也能保持高主题质量。
2020-10-23 cs.CL
Integrating topic modeling and word embedding to characterize violent deaths
University of California-Los Angeles（加州大学洛杉矶分校）；UCLA Fielding School of Public Health（加州大学洛杉矶分校菲尔丁公共卫生学院）
有一个不断升级的需要的方法，以确定潜在的模式，在文本数据从许多领域。我们引入了一种新的方法来识别语料库中的主题，并表示为主题序列的文件。话语原子主题建模借鉴了理论机器学习的进步，将主题建模和词嵌入集成在一起，充分利用了各自的独特功能。我们首先确定一组向量（“话语原子”），提供了一个稀疏表示的嵌入空间。原子向量可以被解释为潜在主题：通过生成模型，原子映射到单词的分布上;人们还可以推断出生成单词序列的主题。我们用一个未充分利用的文本的突出例子来说明我们的方法：美国国家暴力死亡报告系统（NVDRS）。NVDRS用结构化变量和非结构化叙述总结了暴力死亡事件。我们在叙述中确定了225个潜在主题（例如，死亡和身体攻击的准备）;这些主题中有许多没有被现有的结构化变量所捕获。基于已知的性别自杀和杀人模式，以及最近对语义空间中性别偏见的研究，我们确定了我们主题的性别偏见（例如，关于止痛药的话题是女性的）。然后，我们比较性别偏见的主题，他们的患病率在叙述女性与男性受害者。结果提供了关于致命暴力及其性别性质的报告的详细量化情况。我们的方法提供了一个灵活的和广泛适用的方法来建模文本数据中的主题。
2021-06-28 cs.CL cs.CY cs.LG
Topic Modeling Using Distributed Word Embeddings
University of Southern California（南加州大学）；TopicIQ, Inc.（TopicIQ公司）；IIT Delhi（德里印度理工学院）
我们提出了一个新的主题建模算法，Vec2Topic，确定语料库中的主要主题使用通过高维分布式词嵌入捕获的语义信息。我们的技术是无监督的，并生成一个主题的重要性排名列表。我们发现，它比现有的主题建模技术，如潜在的Dirichlet分配更好地识别用户生成的内容中的关键主题，如电子邮件，聊天等，其中主题在语料库中分散。我们还发现，Vec2Topic同样适用于非用户生成的内容，如论文，报告等，以及用于诸如单个文档的小语料库。
2016-03-15 cs.CL
Topic Modeling on User Stories using Word Mover's Distance
Technische Universität Berlin（柏林工业大学）
需求获取最近得到了基于人群的技术的补充，这些技术不断地涉及到大型的、不同的用户群体，这些用户群体通过各种媒体表达他们的反馈。基于人群的启发在早期与（潜在）用户互动方面具有很大的潜力，但也会导致大量原始和非结构化的反馈。整合和分析这些反馈是将其转化为合理的用户需求的关键挑战。在本文中，我们专注于主题建模作为一种手段，以确定大量的人群生成的用户故事中的主题，并比较三种方法：（1）传统的方法，基于潜在的Dirichlet分配，（2）结合词嵌入和主成分分析，（3）结合词嵌入和词移动器的距离。我们评估了一组公开的2,966个用户故事的方法，这些故事是由人群工作者编写和分类的。我们发现，结合词嵌入和词移动距离是最有前途的。根据我们在方法中使用的词嵌入，我们设法以两种方式对用户故事进行聚类：一种更接近原始分类，另一种允许对数据集进行新的见解，例如找到潜在的新类别。不幸的是，没有任何措施可以客观地评价我们的结果的质量。尽管如此，我们的研究结果为未来分析众包用户故事的工作提供了基础。
2020-07-13 cs.CL cs.IR
Topic model based on co-occurrence word networks for unbalanced short text datasets
Beijing Key Laboratory of Intelligent Telecommunication Software and Multimedia（智能电信软件与多媒体北京重点实验室）；Beijing University of Posts and Telecommunications（北京邮电大学）
针对不平衡短文本数据集稀缺主题检测问题，提出CWUTM方法，利用共现词网络捕捉主题分布，重新定义计算增强稀缺主题识别敏感性，采用吉布斯采样，实验验证其在发现稀缺主题上优于基线方法，能有效检测社交平台相关主题。
2026-07-13 cs.CL
KSU KDD: Word Sense Induction by Clustering in Topic Space
Kansas State University（堪萨斯州立大学）
我们描述了我们的独立于语言的无监督词义归纳系统。该系统仅使用主题特征在其全局上下文主题空间中对不同的词义进行聚类。该系统使用未标记的数据训练潜在狄利克雷分配（LDA）主题模型，然后使用它来推断测试实例的主题分布。通过聚类这些主题分布在他们的主题空间，我们聚类到不同的意义。我们的假设是，主题空间的接近程度反映了不同词义之间的相似性。该系统参与了SemEval-2词义归纳和消歧任务，并在所有其他系统中获得了第二高的V-measure得分。
2013-02-28 cs.AI cs.CL stat.AP
Topics in the Haystack: Extracting and Evaluating Topics beyond Coherence
TU Clausthal（克劳斯塔尔工业大学）；University of Göttingen（哥廷根大学）
在自然语言处理（NLP）中，从大型文本语料库中提取和识别潜在主题变得越来越重要。大多数模型，无论是类似于潜在狄利克雷分配（LDA）的概率模型还是神经主题模型，都遵循相同的主题可解释性和主题提取的基本方法。我们提出了一种方法，它结合了句子和文档主题的更深入的理解，并超越了简单地分析数据中的词频。这使得我们的模型能够检测潜在的主题，这些主题可能包括不常见的单词或新词，以及文档中不存在的单词。此外，我们提出了几个新的评估指标的基础上入侵者的话和相似性措施的语义空间。我们提出的相关系数与人类识别入侵者的话，并实现接近人类水平的结果，在词入侵任务。我们证明了我们的方法与一个大型的基准研究的竞争力的表现，并取得优异的结果相比，国家的最先进的主题建模和文档聚类模型。
2023-03-30 cs.CL
Enriching WordNet concepts with topic signatures
本文探讨了丰富现有本体论内容的可能性。总体目标是克服WordNet中概念之间缺乏主题链接的问题。每个概念将与主题签名相关联，即，一组具有相关权重的相关词。签名可以从WWW或从有意义标记的语料库中自动构造。这两种方法进行了比较和评价的词义消歧任务。结果表明，使用一些过滤技术可以从万维网中构造干净的签名。
2001-09-19 cs.CL
A Process for Topic Modelling Via Word Embeddings
本文提出结合BERT词嵌入、UMAP降维与K-Means聚类的无监督主题建模流程，并通过TF-IDF、主题多样性和一致性验证其有效性。
2023-10-06 cs.CL
Mixing Dirichlet Topic Models and Word Embeddings to Make lda2vec
Stitch Fix（Stitch Fix公司）
分布式密集词向量已被证明是有效的，在捕捉语言中的标记级语义和句法的语义，而主题模型可以形成可解释的表示在文档。在这项工作中，我们描述了lda2vec，一个模型，学习密集的词向量与Dirichlet分布的潜在文档级混合的主题向量。与连续密集的文档表示相反，该公式通过非负单纯形约束产生稀疏的、可解释的文档混合物。我们的方法很容易融入现有的自动微分框架，并允许无监督的文档表示面向科学家使用，同时学习词向量和它们之间的线性关系。
2016-05-06 cs.CL
Deriving Word Vectors from Contextualized Language Models using Topic-Aware Mention Selection
Cardiff University（卡迪夫大学）；Université d’Artois（阿图瓦大学）；CRIL-CNRS（法国国家科学研究中心计算机与自动化研究所）
词汇语义学的一个长期存在的挑战在于学习反映其语义属性的词的表示。词嵌入在这方面的显著成功表明，通过总结词提及的句子上下文可以获得高质量的表示。在本文中，我们提出了一种学习单词表示的方法，遵循这一基本策略，但在两个重要方面不同于标准的词嵌入。首先，我们利用上下文化的语言模型（CLM），而不是词向量袋编码上下文。其次，我们不是直接学习单词向量，而是使用主题模型来划分单词出现的上下文，然后为每个单词学习不同的主题特定向量。最后，我们使用一个特定于任务的监督信号，使软选择的结果向量。我们发现，这种简单的策略导致高质量的词向量，这是更预测的语义属性比词嵌入和现有的CLM为基础的战略。
2021-06-15 cs.CL
Moving beyond word lists: towards abstractive topic labels for human-like topics of scientific documents
主题模型将文档组表示为单词列表（主题标签）。这项工作问是否可以开发一种替代方法，主题标签，更接近一个自然语言描述的主题比一个单词列表。为此，我们提出了一种方法来生成人类一样的主题标签，使用抽象的多文档摘要（MDS）。我们调查我们的方法与探索性的案例研究。我们在引用句子中建模主题，以了解需要做哪些进一步的研究来充分操作MDS主题标签。我们的案例研究表明，除了更人性化的主题有额外的优势，评价使用聚类和总结措施，而不是主题模型的措施。然而，我们发现，有几个发展需要之前，我们可以设计一个强大的研究，以评估MDS的主题建模充分。即提高聚类的内聚性，提高MDS的真实性和可信度，增加MDS支持的文档数量。我们提出了一些关于如何解决这些问题的想法，并总结了一些关于如何使用主题建模来改进MDS的想法。
2022-10-28 cs.CL
FASTopic: Pretrained Transformer is a Fast, Adaptive, Stable, and Transferable Topic Model
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；The Pennsylvania State University（宾夕法尼亚州立大学）；University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
本文提出 FASTopic 主题模型，通过 DSR 重建文档、主题与词嵌入间的语义关系，并利用 ETP 进行最优传输正则化，在多项基准上实现更优效果、效率、稳定性与可迁移性。
2024-10-26 cs.AI cs.CL
Neural Attention-Aware Hierarchical Topic Model
Monash University（莫纳什大学）；Deakin University（迪肯大学）
神经主题模型（NTM）将深度神经网络应用于主题建模。尽管他们的成功，NTMs通常忽略了两个重要方面：（1）只有文档级的单词计数信息被用于训练，而更细粒度的文本级信息被忽略，以及（2）关于文档，句子和单词的外部语义知识没有被利用的训练。为了解决这些问题，我们提出了一个变分自编码器（VAE）NTM模型，该模型使用词袋（BoW）主题嵌入和预训练语义嵌入的组合来联合重建句子和文档字数。预训练的嵌入首先被转换到一个公共的潜在主题空间中，以使它们的语义与BoW嵌入保持一致。我们的模型还具有分层KL分歧，以利用每个文档的嵌入来正则化其句子的嵌入，从而更加关注语义相关的句子。定量和定性实验都表明了我们的模型在以下方面的有效性：1）降低句子和文档级别的重建错误; 2）从真实世界的数据集中发现更连贯的主题。
2021-10-14 cs.CL cs.LG
Latent Topic Models for Hypertext
School of CS and Eng.（计算机科学与工程学院）；IBM Research Laboratory in Haifa（IBM海法研究实验室）；The Hebrew University（希伯来大学）；Haifa University（海法大学）
潜在主题模型作为一种无监督的主题发现技术已经成功地应用于大型文档集。随着超文本文档集合（如Internet）的激增，人们对将这些方法扩展到超文本也产生了极大的兴趣[6，9]。这些方法通常以类似于它们如何建模单词的方式对链接进行建模-以与在标准主题模型中对文档-单词共现矩阵进行建模相同的方式对文档-链接共现矩阵进行建模。在本文中，我们提出了一个概率生成模型的超文本文档集合，明确建模的链接的生成。具体来说，从单词w到文档d的链接直接取决于w的主题在d中的频率，以及d的入度。我们展示了如何在这个模型上有效地执行EM学习。通过不将链接建模为类似于单词，我们最终使用更少的自由参数并获得更好的链接预测结果。
2012-06-13 cs.CL cs.IR cs.LG
Beyond Top Words: MonoTM for Topic Modeling with Interpretable Monosemantic Features
Syracuse University（雪城大学）
MonoTM框架通过解耦文档-主题混合估计与语义解释，利用稀疏自编码器特征，在保留全局主题结构的同时，用语义单元替代词语表示主题，提升下游分析实用性。
2026-09-10 cs.CL cs.HC
Low-dimensional Embeddings for Interpretable Anchor-based Topic Inference
Cornell University（康奈尔大学）
锚词算法通过在高维词共现空间中找到近似的凸包来执行可证明有效的主题模型推理。然而，现有的贪心算法往往选择较差的锚词，降低了主题质量和可解释性。而不是找到一个近似的凸包在一个高维空间，我们建议找到一个确切的凸包在一个可视化的2-或3-维空间。这种低维嵌入既改善了主题，又清楚地向用户展示了算法选择某些单词的原因。
2017-11-18 cs.CL
