Prior-aware Dual Decomposition: Document-specific Topic Inference for Spectral Topic Models
Cornell University（康奈尔大学）
谱主题建模算法对词共现统计的矩阵/张量进行操作，以学习特定于主题的词分布。这种方法消除了对原始文档的依赖，并在效率和可证明的主题推理方面产生了实质性的收益，但代价是：模型不再能够提供有关单个文档的主题组成的信息。最近提出的线性逆（TLI）映射观察到的词的每个文件回到其主题组成。然而，它的线性特性限制了推理质量，没有考虑主题的重要先验信息。在本文中，我们评估简单的概率逆（SPI）方法和新的先验感知的双重分解（PADD），能够学习文档特定的主题组成并行。实验表明，PADD成功地利用主题相关性作为先验，特别是优于TLI和学习质量的主题组成可比吉布斯采样的各种数据。
2017-11-19 cs.CL cs.IR cs.LG
Generative Topic Embedding: a Continuous Representation of Documents (Extended Version with Proofs)
National University of Singapore（新加坡国立大学）；Tsinghua University（清华大学）
词嵌入通过在一个小的上下文窗口中利用词的局部搭配模式将词映射到一个低维的连续嵌入空间中。另一方面，主题建模通过利用同一文档中的全局词语搭配模式，将文档映射到低维主题空间。这两种模式是互补的。在本文中，我们提出了一个生成式的主题嵌入模型，结合这两种类型的模式。在我们的模型中，主题由嵌入向量表示，并在文档之间共享。每个单词出现的概率受其本地上下文和主题的影响。变分推理方法产生的主题嵌入以及主题混合比例为每个文档。它们共同表示低维连续空间中的文档。在两个文档分类任务中，我们的方法比现有的八种方法性能更好，功能更少。此外，我们用一个例子说明，我们的方法可以生成连贯的主题，即使是基于一个文档。
2016-08-08 cs.AI cs.CL cs.IR
Latent Tree Models for Hierarchical Topic Detection
The Hong Kong University of Science and Technology（香港科技大学）；Ant Financial Services Group（蚂蚁金融服务集团）；The Education University of Hong Kong（香港教育大学）
我们提出了一种新的分层主题检测方法，主题是通过多种方式聚类文件。具体来说，我们使用一类称为分层潜在树模型（HLTM）的图形模型来建模文档集合。HLTM底层的变量是观察到的二进制变量，表示文档中单词的存在/不存在。其他级别的变量是二进制潜变量，最低潜级别的变量表示单词同现模式，较高级别的变量表示较低级别的模式同现。每个潜在变量给出了文档的软分区，分区中的文档簇被解释为主题。在高层次的潜在变量捕获长范围的词共现模式，从而给主题更一般的主题，而那些在低层次的捕获短范围的词共现模式，并给主题更具体的主题。与基于LDA的主题模型不同，HLTM不引用文档生成过程，而是使用word变量而不是token变量。它们使用树结构来建模主题和词之间的关系，这有利于发现有意义的主题和主题层次。
2016-12-21 cs.CL cs.IR cs.LG
Latent Topic Models for Hypertext
School of CS and Eng.（计算机科学与工程学院）；IBM Research Laboratory in Haifa（IBM海法研究实验室）；The Hebrew University（希伯来大学）；Haifa University（海法大学）
潜在主题模型作为一种无监督的主题发现技术已经成功地应用于大型文档集。随着超文本文档集合（如Internet）的激增，人们对将这些方法扩展到超文本也产生了极大的兴趣[6，9]。这些方法通常以类似于它们如何建模单词的方式对链接进行建模-以与在标准主题模型中对文档-单词共现矩阵进行建模相同的方式对文档-链接共现矩阵进行建模。在本文中，我们提出了一个概率生成模型的超文本文档集合，明确建模的链接的生成。具体来说，从单词w到文档d的链接直接取决于w的主题在d中的频率，以及d的入度。我们展示了如何在这个模型上有效地执行EM学习。通过不将链接建模为类似于单词，我们最终使用更少的自由参数并获得更好的链接预测结果。
2012-06-13 cs.CL cs.IR cs.LG
Neural Topic Model via Optimal Transport
Monash University（莫纳什大学）
近年来，受变分自编码器启发的神经主题模型（Neural Topic Models，NTMs）由于其在文本分析方面的良好效果而受到越来越多的关注。然而，它通常是很难为现有的NTMs，以实现良好的文件表示和一致/多样的主题在同一时间。此外，它们在短文档上的性能往往会严重下降。重新参数化的要求还可能包括其培训质量和模型灵活性。为了解决这些缺点，我们提出了一个新的神经主题模型通过最优传输（OT）理论。具体来说，我们建议通过直接最小化文档的单词分布的OT距离来学习文档的主题分布。重要的是，OT距离的成本矩阵对主题和词之间的权重进行建模，该权重由主题和词之间在嵌入空间中的距离构造。我们提出的模型可以有效地训练，具有可微损失。大量的实验表明，我们的框架显着优于国家的最先进的NTM发现更连贯和多样化的主题，并获得更好的文件表示为常规和短文本。
2022-05-31 cs.CL cs.IR cs.LG
The Author-Topic Model for Authors and Documents
UC Irvine（加州大学欧文分校）；Stanford University（斯坦福大学）
我们介绍了作者主题模型，一个生成模型的文件，扩展潜在狄利克雷分配（LDA;布雷，吴，约旦，2003年），包括作者身份信息。每个作者都与主题的多项分布相关联，每个主题都与单词的多项分布相关联。具有多个作者的文档被建模为主题上的分布，该分布是与作者相关联的分布的混合。我们将该模型应用于1，700篇NIPS会议论文和160，000篇CiteSeer摘要的集合。对于这些数据集来说，精确的推理是很难的，我们使用吉布斯抽样来估计主题和作者分布。我们比较的性能与其他两个生成模型的文件，这是特殊情况下的作者主题模型：LDA（主题模型）和一个简单的作者模型，其中每个作者与分布的话，而不是分布的主题。我们展示了作者主题模型恢复的主题，并展示了作者之间的相似性和作者输出熵的计算应用。
2012-07-11 cs.IR cs.LG stat.ML
Discovering topics with neural topic models built from PLSA assumptions
Dailymotion（Dailymotion公司）
本文提出了一个文本语料库中无监督主题发现的模型。该模型使用文档、单词和主题查找表嵌入作为神经网络模型参数，以构建单词给定主题的概率和主题给定文档的概率。这些概率用于通过边缘化来恢复给定文档的单词的概率。对于文档数量可能达到数十亿的非常大的语料库，使用基于神经自动编码器的文档嵌入比使用传统的查找表嵌入更具可扩展性。因此，我们将基于查找的文档嵌入模型扩展到基于连续自动编码器的模型。我们的模型使用概率潜在语义分析（PLSA）假设进行训练。我们在六个内容丰富的数据集上评估了我们的模型。实验结果表明，所提出的神经主题模型是非常有效的捕获相关的主题。此外，考虑到困惑度量，进行评估基准测试表明，我们的主题模型优于潜在的Dirichlet分配（LDA）模型，这是经典的用于解决主题发现任务。
2019-11-25 cs.CL cs.LG stat.ML
A Gamma-Poisson Mixture Topic Model for Short Text
University of Pretoria（比勒陀利亚大学）；Center for Artificial Intelligence Research (CAIR)（人工智能研究中心（CAIR））
大多数主题模型都是在假设文档遵循多项分布的前提下构建的。泊松分布是描述计数数据概率的另一种分布。对于主题建模，泊松分布描述了一个词在固定长度的文档中出现的次数。泊松分布已成功地应用于文本分类，但其应用主题建模没有很好的记录，特别是在生成概率模型的上下文中。此外，文献中的几个泊松主题模型是混合模型，假设文档是由主题的混合生成的。在这项研究中，我们专注于短文本。许多研究表明，混合模型的简单假设更适合短文本。与混合模型相反，混合模型的生成假设是文档从单个主题生成。一个主题模型，它使这个一个主题，每个文档的假设，是狄利克雷多项混合模型。这项工作的主要贡献是一个新的Gamma-Poisson混合模型，以及一个崩溃的吉布斯采样模型。折叠吉布斯采样器推导的好处是，该模型能够自动选择语料库中包含的主题的数量。结果表明，在选择标注语料库主题数时，Gamma-Poisson混合模型优于Dirichlet-multinomial混合模型。此外，伽玛泊松混合产生更好的主题连贯性分数比狄利克雷-多项式混合模型，从而使其成为一个可行的选择，具有挑战性的任务，主题建模的短文本。
2020-04-23 cs.CL cs.IR cs.LG
Multilingual Topic Models for Unaligned Text
Princeton University（普林斯顿大学）
我们开发的多语言主题模型未对齐的文本（MuTo），文本的概率模型，旨在分析语料库组成的两种语言的文档。从这些文档中，MuTo使用随机EM同时发现语言之间的匹配和多语言潜在主题。我们证明了MuTo能够在真实世界的多语言语料库中找到共享主题，成功地将不同语言的相关文档配对。MuTo为创建多语言主题模型提供了一个新的框架，而无需精心策划的并行语料库，并允许使用主题模型形式主义构建的应用程序应用于更广泛的语料库。
2012-05-09 cs.CL cs.IR cs.LG
Topic Modeling in Embedding Spaces
Columbia University（哥伦比亚大学）；Cambridge University（剑桥大学）
主题建模分析文档以学习有意义的单词模式。然而，现有的主题模型无法学习可解释的主题时，与大型和重尾词汇。为此，我们开发了嵌入式主题模型（ETM），一个生成模型的文件，结婚的传统主题模型与词嵌入。特别地，它用类别分布对每个词进行建模，该类别分布的自然参数是词嵌入与其指定主题的嵌入之间的内积。为了适应ETM，我们开发了一个有效的摊销变分推理算法。ETM发现可解释的主题，即使是包含罕见词和停用词的大型词汇表。在主题质量和预测性能方面，它优于现有的文档模型，如潜在狄利克雷分配（LDA）。
2019-07-08 cs.CL cs.IR cs.LG
Efficient Learning for Undirected Topic Models
The University of Hong Kong（香港大学）
复制Softmax模型是一种著名的无向主题模型，在抽取文档的语义表示方面具有很强的能力。传统的学习策略如对比发散是非常低效的。本文提出了一种新的估计器，以加快学习的基础上噪声对比估计，扩展到不同长度的文件和加权输入。在两个基准测试上的实验表明，新的估计器在文档检索和分类上取得了很高的学习效率和准确率。
2015-06-24 cs.CL cs.IR cs.LG
FLATM: A Fuzzy Logic Approach Topic Model for Medical Documents
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
医学领域文本分析的挑战之一是分析大规模的医学文档。因此，查找相关文件变得更加困难。主题建模是一种基于主题发现的信息检索方法。文档中的主题有助于在有查询和没有查询的情况下检索相同主题的文档。在本文中，我们提出了一种新的方法，使用模糊聚类的主题建模。为了评估我们的模型，我们用两个医学文档的文本数据集进行了实验。通过文档分类和文档建模进行的评价指标表明，我们的模型产生更好的性能比LDA，表明模糊集理论可以提高在医疗领域的主题模型的性能。
2019-11-25 cs.CL cs.IR
Top2Vec: Distributed Representations of Topics
主题建模用于在大量文档中发现潜在的语义结构，通常称为主题。最广泛使用的方法是潜在狄利克雷分配和概率潜在语义分析。尽管它们很受欢迎，但它们有几个弱点。为了达到最佳效果，他们通常需要知道主题的数量，自定义停止词列表，词干提取和词形还原。另外，这些方法依赖于文档的词袋表示，而忽略了词的顺序和语义。文档和单词的分布式表示由于其捕获单词和文档的语义的能力而得到普及。我们提出了$\texttt{top2vec}$，它利用联合文档和单词语义嵌入找到$\textit{topic vectors}$。这个模型不需要停用词列表、词干提取或词形还原，它会自动找到主题的数量。将得到的主题向量与文档和词向量联合嵌入，它们之间的距离表示语义相似性。我们的实验表明，$\texttt{top2vec}$发现的主题是显着更多的信息和代表性的语料库训练比概率生成模型。
2020-08-19 cs.CL cs.LG stat.ML
Structure-Tags Improve Text Classification for Scholarly Document Quality Prediction
Center for Information Technology, University of Groningen（格罗宁根大学信息技术中心）；Kapteyn Astronomical Institute, University of Groningen（格罗宁根大学卡普泰恩天文研究所）
在长文本（特别是学术文档）上训练递归神经网络会给学习带来问题。虽然层次注意力网络（HAN）在解决这些问题方面是有效的，但它们仍然丢失了关于文本结构的重要信息。为了解决这些问题，我们建议使用HAN与结构标签相结合，标记文档中句子的作用。为句子添加标签，将它们标记为与标题，摘要或主体文本相对应，从而改进了学术文档质量预测的最新技术。所提出的系统被应用到接受/拒绝的PeerRead数据集上的预测任务，并与最近的基于BiLSTM的模型和联合文本+视觉模型以及普通HAN进行比较。与普通HAN相比，在所有三个域上的准确性都有所提高。在计算和语言领域，我们的新模型总体上效果最好，比最佳文献结果提高了4.7%的准确性。我们还在引入用于预测我们从Allen AI S2 ORC数据集编译的88 k科学出版物的引用数量的标签时获得了改进。对于我们的HAN系统与结构标签，我们达到了28.5%的解释方差，比我们的基于BiLSTM的模型的重新实现提高了1.8%，比普通HAN提高了1.0%。
2020-12-17 cs.CL cs.LG
Neural Embedding Allocation: Distributed Representations of Topic Models
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）；Atypon Systems（Atypon系统公司）
诸如skip-gram之类的词嵌入模型学习词的语义关系的向量表示，并且文档嵌入模型学习文档的类似表示。另一方面，主题模型提供了文档主题的潜在表示。为了同时获得这些表示的好处，我们提出了一种统一的算法，称为神经嵌入分配（NEA），它通过学习神经嵌入来模仿主题模型，将主题模型解构为单词，主题，文档，作者等的可解释向量空间嵌入。我们展示了NEA的LDA，作者主题模型和最近提出的混合成员跳克主题模型的有效性和通用性，并实现了更好的性能与嵌入相比，几个国家的最先进的模型。此外，我们证明，使用NEA平滑的主题，提高了一致性分数超过原来的主题模型时，主题的数量是大的。
2019-09-10 cs.CL cs.IR cs.LG
Document Informed Neural Autoregressive Topic Models
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学（LMU））
单词周围的上下文信息有助于确定它们的实际含义，例如在人工神经网络或生物神经网络的上下文中使用的“网络”。生成主题模型推断主题词分布，不考虑或只考虑很少的上下文。在这里，我们扩展了神经自回归主题模型，以语言建模的方式利用文档中单词周围的完整上下文信息。这导致在泛化、可解释性和适用性方面的性能提高。我们将我们的建模方法应用于来自各个领域的七个数据集，并证明我们的方法始终优于最先进的生成主题模型。使用学习的表示，我们在检索分数为0.02和F1的文本分类中平均获得了9.6%（0.57 Vs 0.52）的精度和7.2%（0.582 Vs 0.543）的精度。
2018-08-11 cs.CL cs.IR cs.LG
Jointly Modeling Topics and Intents with Global Order Structure
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
文档结构建模对于语篇分析及其相关应用具有重要意义。本研究的目标是通过将文档建模为主题词和修辞词的混合来捕获文档意图结构。在同一篇文章中，主题是相对不变的，而句子的修辞功能在语篇中通常是按照一定的顺序发生变化的。提出了一种基于主题建模的贝叶斯无监督模型GMM-LDA，用于分析文档意图结构和订单信息。我们的模型是灵活的，有能力结合的注释和做监督学习。此外，可以引入熵正则化来对主题和意图之间的显著分歧进行建模。我们在无监督和有监督的环境下进行了实验，结果表明我们的模型优于几个最先进的基线。
2015-12-07 cs.CL cs.IR cs.LG
Few-shot Learning for Topic Modeling
NTT Communication Science Laboratories（NTT通信科学研究所）
主题模型已经成功地用于分析文本文档。然而，对于现有的主题模型，需要许多文档来进行训练。在本文中，我们提出了一种基于神经网络的少样本学习方法，可以从几个文档中学习主题模型。模型中的神经网络以少量文档作为输入，输出主题模型先验知识。所提出的方法训练神经网络，使期望的测试可能性提高时，主题模型参数估计最大化后验概率使用基于EM算法的先验。由于EM算法中的每一步都是可微的，因此所提出的方法可以通过EM算法反向传播损耗以训练神经网络。通过随机梯度下降方法，使用一组多个文本语料库和情景训练框架，使预期的测试可能性最大化。在我们的实验中，我们证明了所提出的方法实现了更好的困惑比现有的方法使用三个现实世界的文本文档集。
2021-04-19 cs.CL cs.LG stat.ML
The study of short texts in digital politics: Document aggregation for topic modeling
Pennsylvania State University（宾夕法尼亚州立大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文研究短文本聚合对主题建模的影响，通过分析美国州议员的一百万条推文发现，按账户聚合文档可使主题与州的关联性更强，并在维基百科数据上复现了该结果。
2025-03-07 cs.CL cs.LG
Improving Contextualized Topic Models with Negative Sampling
Indian Association for the Cultivation of Science（印度科学培育协会）；Ashoka University（阿育王大学）；Indian Institute of Technology Kharagpur（印度理工学院卡哈拉格普尔分校）
主题建模已经成为探索大型文档集的主要方法。最近的主题建模方法使用大型上下文语言模型和变分自编码器。在本文中，我们提出了一个负采样机制的上下文化的主题模型，以提高生成的主题的质量。特别是，在模型训练期间，我们扰动生成的文档主题向量，并使用三元组损失来鼓励从正确的文档主题向量重建的文档与输入文档相似，而与从扰动向量重建的文档不同。在三个公开的基准数据集上进行的不同主题计数的实验表明，在大多数情况下，我们的方法导致主题一致性比基线增加。我们的模型也实现了非常高的主题多样性。
2023-03-27 cs.CL cs.LG
Improving Topic Models with Latent Feature Word Representations
Macquarie University（麦考瑞大学）；Santa Fe Institute（圣塔菲研究所）
概率主题模型被广泛用于发现文档集合中的潜在主题，而词的潜在特征向量表示已被用于在许多NLP任务中获得高性能。在本文中，我们扩展了两个不同的Dirichlet多项式主题模型，通过将在非常大的语料库上训练的单词的潜在特征向量表示，以改善在较小的语料库上学习的单词-主题映射。实验结果表明，通过使用来自外部语料库的信息，我们的新模型产生了显着的改善主题一致性，文档聚类和文档分类任务，特别是在数据集少或短的文档。
2018-10-15 cs.CL cs.IR cs.LG
Document Informed Neural Autoregressive Topic Models with Distributional Prior
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学）
我们解决了主题模型中的两个挑战：（1）单词周围的上下文信息有助于确定它们的实际含义，例如，在“人工神经网络“与“生物神经网络”的上下文中使用的“网络”。生成主题模型推断主题词分布，不考虑或只考虑很少的上下文。在这里，我们扩展了神经自回归主题模型，以语言建模的方式利用文档中单词周围的完整上下文信息。该模型被命名为iDocNADE。(2)由于单词出现的数量很小（即，由于短文本中缺乏上下文）以及少量文档的语料库中数据稀疏，主题模型的应用在此类文本上具有挑战性。因此，我们提出了一种简单有效的方法将外部知识纳入神经自回归主题模型：我们使用嵌入作为分布先验。所提出的变体被命名为DocNADEe和iDocNADEe。我们提出了新的神经自回归主题模型变体，这些变体在来自不同领域的7个长文本和8个短文本数据集的泛化性，可解释性（主题一致性）和适用性（检索和分类）方面始终优于最先进的生成主题模型。
2019-01-14 cs.AI cs.CL cs.IR
An Automatic Approach for Document-level Topic Model Evaluation
The University of Melbourne（墨尔本大学）；IBM Research（IBM研究院）
主题模型共同学习主题和文档级主题分布。主题模型的外部评价往往只关注主题级别的评价，例如通过评估主题的连贯性。我们证明，主题和文档级模型质量之间可能存在很大的差异，并且基于主题级分析的模型评估可能具有很大的误导性。我们提出了一种基于文档级主题分配分析自动预测主题模型质量的方法，并为其鲁棒性提供了经验证据。
2017-06-16 cs.CL
Topic Similarity Networks: Visual Analytics for Large Document Sets
Institute for Defense Analyses（国防分析研究所）
我们研究的方法，以提高LDA主题模型的可解释性，更好地分析和可视化其输出。我们专注于研究我们所说的主题相似性网络：图中的节点代表文本集合中的潜在主题，链接代表主题之间的相似性。我们描述了高效和有效的方法来构建和标记这样的网络。基于这些网络的主题模型的可视化被证明是探索，表征和总结大量非结构化文本文档的强大手段。它们有助于“梳理”不同文档集之间的非明显联系，并提供有关主题如何形成更大主题的见解。我们通过两个案例研究证明了这些方法的有效性和实用性：1）NSF资助的基础研究跨越14年的时间和2）维基百科的整个英文部分。
2014-09-26 cs.CL cs.HC cs.IR
Neural Topic Modeling with Continual Lifelong Learning
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学（LMU））
针对短文档数据稀疏导致主题建模效果不佳的问题，提出终身神经主题建模（LNTM）框架，通过共享生成同源和选择性数据增强等方法持续积累主题并减少灾难性遗忘，在困惑度、主题连贯性和信息检索上取得显著提升。
2023-06-27 cs.CL cs.IR cs.LG
Topics and Label Propagation: Best of Both Worlds for Weakly Supervised Text Classification
TCS Research, Tata Consultancy Services（塔塔咨询服务公司研究部）；Indian Institute of Technology Bombay（印度理工学院孟买分校）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
提出了一种基于标签传播的弱监督文本分类算法。我们构建了一个图，其中每个文档由一个节点表示，边权重表示文档之间的相似性。此外，我们发现潜在的主题使用潜在狄利克雷分配（LDA）和丰富的文档图，包括额外的节点的形式的主题。主题和文本文档之间的边权重表示它们之间的“亲和力”水平。我们的方法不需要文档级别的标签，相反，它只需要手动标签的主题节点。这大大减少了所需的监督水平，因为只有少数几个主题被观察到足以达到足够高的准确性。标签传播算法在这个丰富的图上被用来在节点之间传播标签。我们的方法结合了标签传播（通过文档-文档相似性）和主题建模（用于最小但智能的监督）的优点。我们证明了我们的方法在各种数据集上的有效性，并与最先进的弱监督文本分类方法进行了比较。
2017-12-04 cs.CL cs.LG
Explainable and Discourse Topic-aware Neural Language Understanding
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学（LMU））
本文提出一种神经复合语言模型，在主题与语言模型的联合学习框架中，引入可解释的主题表示与句子级主题篇章建模，实验证明其有效提升了多任务的语言理解能力。
2023-06-27 cs.AI cs.CL cs.LG
Query-focused Multi-document Summarization: Combining a Novel Topic Model with Graph-based Semi-supervised Learning
基于图的半监督学习已被证明是一种有效的方法，以查询为中心的多文档摘要。以往的半监督学习存在的问题是在对句子进行排序时没有考虑句子层次以外的更高层次的信息。对一般文摘的研究表明，增加主题层次可以有效地提高文摘质量。在前人研究的启发下，本文提出了一种基于图的两层（句子层和主题层）半监督学习方法。同时，我们提出了一个新的主题模型，充分利用句子和单词之间的依赖关系。在DUC和TAC数据集上的实验结果证明了该方法的有效性。
2013-12-31 cs.CL cs.IR
Generalized Topic Modeling
最近有显着的活动，在开发算法与可证明的保证主题建模。在标准的主题模型中，主题（例如体育、商业或政治）被视为单词上的概率分布$\vec a_i$，并且通过首先在主题上选择混合$\vec w$，然后生成单词i.i.d.从缔合的混合物$A{\vec w}$中分离。给定大量这样的文档，目标是恢复主题向量，然后根据它们的主题混合来正确地对新文档进行分类。在这项工作中，我们认为这个框架的一个广泛的推广，其中的话不再被假定为独立同分布绘制。而是主题是段落序列上的复杂分布。由于人们甚至不能希望在一般情况下表示这样的分布（即使段落使用一些自然特征表示），我们的目标是直接学习文档分类器。也就是说，我们的目标是学习一个预测器，该预测器在给定一个新文档的情况下，准确地预测其主题混合，而无需显式地学习分布。我们提出了几个自然条件下，人们可以有效地做到这一点，并讨论在这个模型中的噪声容限和样本的复杂性等问题。更一般地说，我们的模型可以被视为机器学习中多视图或协同训练设置的泛化。
2016-11-04 cs.CL cs.DS cs.IR
Neural Topic Modeling by Incorporating Document Relationship Graph
Southeast University（东南大学）
图神经网络（Graph Neural Networks，GNN）通过消息传递来捕捉图节点之间的关系，是自然语言处理领域的一个研究热点。在本文中，我们提出了图主题模型（GTM），一个基于GNN的神经主题模型，将语料库表示为文档关系图。语料库中的文档和单词成为图中的节点，并基于文档-单词共现来连接。通过引入图结构，文档之间的关系通过它们的共享词建立，从而通过使用图卷积聚合来自其相邻节点的信息来丰富文档的主题表示。在三个数据集上进行了大量的实验，实验结果证明了该方法的有效性。
2020-09-29 cs.CL
Human in the loop: How to effectively create coherent topics by manually labeling only a few documents per class
TU Clausthal（克劳斯塔尔工业大学）；University of Göttingen（哥廷根大学）
用于在稀疏标签设置下精确建模的Few-Shot方法已经显著改进。然而，Few-Shot建模在自然语言处理中的应用仅限于文档分类领域。随着最近的性能改进，有监督的Few-Shot方法与简单的主题提取方法相结合，对无监督的主题建模方法提出了重大挑战。我们的研究表明，有监督的少样本学习，结合一个简单的主题提取方法，可以优于无监督的主题建模技术，在生成连贯的主题，即使每个类只有几个标记的文档使用。
2022-12-19 cs.CL
From Documents to Segments: A Contextual Reformulation for Topic Assignment
LG AI Research（LG AI研究院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出了一种基于段落的主题分配方法（SBTA），通过将主题分配到短小且连贯的文本段落而非整个文档，以解决传统主题模型中文档多主题问题导致的主题污染问题，从而提升主题分析的清晰度和可解释性。
2026-05-18 cs.CL
Moving beyond word lists: towards abstractive topic labels for human-like topics of scientific documents
主题模型将文档组表示为单词列表（主题标签）。这项工作问是否可以开发一种替代方法，主题标签，更接近一个自然语言描述的主题比一个单词列表。为此，我们提出了一种方法来生成人类一样的主题标签，使用抽象的多文档摘要（MDS）。我们调查我们的方法与探索性的案例研究。我们在引用句子中建模主题，以了解需要做哪些进一步的研究来充分操作MDS主题标签。我们的案例研究表明，除了更人性化的主题有额外的优势，评价使用聚类和总结措施，而不是主题模型的措施。然而，我们发现，有几个发展需要之前，我们可以设计一个强大的研究，以评估MDS的主题建模充分。即提高聚类的内聚性，提高MDS的真实性和可信度，增加MDS支持的文档数量。我们提出了一些关于如何解决这些问题的想法，并总结了一些关于如何使用主题建模来改进MDS的想法。
2022-10-28 cs.CL
Pre-training is a Hot Topic: Contextualized Document Embeddings Improve Topic Coherence
Bocconi University（博科尼大学）；University of Milan-Bicocca（米兰比可卡大学）
主题模型从文档中提取单词组，将其解释为主题有望更好地理解数据。然而，由此产生的词组往往是不连贯的，使他们更难解释。最近，神经主题模型在整体连贯性方面有所改善。同时，上下文嵌入总体上推进了神经模型的发展。在本文中，我们结合上下文表示与神经主题模型。我们发现，我们的方法比传统的词袋主题模型和最近的神经模型产生更有意义和连贯的主题。我们的研究结果表明，未来的改进语言模型将转化为更好的主题模型。
2021-06-17 cs.CL
Graph2topic: an opensource topic modeling framework based on sentence embedding and community detection
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出开源框架 G2T，结合预训练语言模型、语义图社区检测和 TFIDF 变体完成主题建模，并在多长度中英文文档上达到最先进性能。
2023-06-06 cs.CL cs.LG
TopicViz: Semantic Navigation of Document Collections
School of Computer Science（计算机学院）；Carnegie Mellon University（卡内基梅隆大学）
当人们探索和管理信息时，他们会根据主题和主题进行思考。然而，支持信息探索的软件只能看到表面级别的文本。在本文中，我们将展示如何主题建模-一种用于识别大型文档集合中潜在主题的技术-可以支持语义探索。我们提出TopicViz，一个交互式的信息探索环境。TopicViz将传统的搜索和引用图功能与一系列新颖的交互式可视化相结合，以力导向布局为中心，将文档链接到主题模型发现的潜在主题。我们描述了几个使用场景中，TopicViz支持大型文档集合的快速意义构建。
2011-11-04 cs.AI cs.CL cs.HC
Topic-Guided Abstractive Multi-Document Summarization
Harbin Institute of Technology（哈尔滨工业大学）
多文档文摘的一个关键点是了解文档之间的关系。在本文中，我们提出了一种新的抽象MDS模型，在该模型中，我们表示多个文档作为一个异构的图，考虑到不同粒度的语义节点，然后应用图序列框架生成摘要。此外，我们采用神经主题模型来联合发现潜在的主题，这些主题可以作为跨文档的语义单元来桥接不同的文档，并提供全局信息来指导摘要生成。由于主题提取可以被视为一种特殊类型的摘要，它将文本“概括”为更抽象的格式，即，在主题分发方面，我们采用多任务学习策略，对主题和摘要模块进行联合训练，使其相互促进。在Multi-News数据集上的实验结果表明，我们的模型在Rouge指标和人工评价方面都优于以前最先进的MDS模型，同时学习高质量的主题。
2021-10-21 cs.AI cs.CL
DiffETM: Diffusion Process Enhanced Embedded Topic Model
City University of Hong Kong（香港城市大学）
针对ETM中逻辑正态分布假设过度简化文档-主题分布的问题，本文提出DiffETM，将扩散过程引入文档-主题分布采样，在保持易优化性的同时提升主题建模性能，并在两个主流数据集上验证了有效性。
2025-01-01 cs.AI cs.CL cs.IR
Labeled Interactive Topic Models
University of Maryland（马里兰大学）
本文提出一种带标签的交互式神经主题模型，允许用户为主题分配单词标签以引导模型更新，并通过人类研究证明该方法能改善文档排名得分，帮助找到更相关的文档。
2024-02-07 cs.CL cs.HC cs.IR
Hierarchical Graph Topic Modeling with Topic Tree-based Transformer
The Pennsylvania State University（宾夕法尼亚州立大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Nanyang Technological University（南洋理工大学）；University of Electronic Science and Technology of China（电子科技大学）；Singapore Management University（新加坡管理大学）
针对互联文档兼具图层次与主题层次的问题，提出在双曲空间中融合主题树嵌入和图结构的 Transformer 模型，提升层次主题建模效果。
2025-02-17 cs.CL
Neural Attention-Aware Hierarchical Topic Model
Monash University（莫纳什大学）；Deakin University（迪肯大学）
神经主题模型（NTM）将深度神经网络应用于主题建模。尽管他们的成功，NTMs通常忽略了两个重要方面：（1）只有文档级的单词计数信息被用于训练，而更细粒度的文本级信息被忽略，以及（2）关于文档，句子和单词的外部语义知识没有被利用的训练。为了解决这些问题，我们提出了一个变分自编码器（VAE）NTM模型，该模型使用词袋（BoW）主题嵌入和预训练语义嵌入的组合来联合重建句子和文档字数。预训练的嵌入首先被转换到一个公共的潜在主题空间中，以使它们的语义与BoW嵌入保持一致。我们的模型还具有分层KL分歧，以利用每个文档的嵌入来正则化其句子的嵌入，从而更加关注语义相关的句子。定量和定性实验都表明了我们的模型在以下方面的有效性：1）降低句子和文档级别的重建错误; 2）从真实世界的数据集中发现更连贯的主题。
2021-10-14 cs.CL cs.LG
Towards Generalising Neural Topical Representations
Monash University（莫纳什大学）
本文针对神经主题模型跨语料库泛化不足的问题，提出用文本增强构造相似文档，并以 TopicalOT 距离约束其主题表示一致性，从而以即插即用方式提升泛化性能。
2024-06-13 cs.CL cs.LG
A Multilayer Correlated Topic Model
Columbia University（哥伦比亚大学）
本文提出了一种新的多层相关主题模型（MCTM）来分析文章的主要思想是如何在文档及其不同部分之间继承和变化的，这有助于理解文章的结构。提出了变分期望最大化（EM）算法来估计MCTM中的后验和参数。介绍了MCTM的两个潜在应用，包括段落级文档分析和购物篮数据分析。MCTM在理解文档结构方面的有效性已经通过对保留文档的预测性能和直观的可视化来验证。我们还表明，MCTM可以成功地捕捉到客户的流行购物模式，在购物篮分析。
2021-01-02 cs.IR cs.LG stat.CO
The Dynamic Embedded Topic Model
Columbia University（哥伦比亚大学）；University of Cambridge（剑桥大学）
主题建模分析文档以学习有意义的单词模式。对于按顺序收集的文档，动态主题模型捕捉这些模式如何随时间变化。我们开发的动态嵌入主题模型（D-ETM），生成模型的文件，结合动态潜在狄利克雷分配（D-LDA）和词嵌入。D-ETM用类别分布对每个词进行建模，该类别分布由词嵌入与其分配主题的每时间步嵌入表示之间的内积参数化。D-ETM通过在主题的嵌入表示上定义随机游走先验来学习平滑的主题轨迹。我们适合的D-ETM使用结构摊销变分推理与递归神经网络。在三个不同的语料库-联合国辩论的集合，一组ACL摘要，和科学杂志文章的数据集-我们发现，D-ETM优于D-LDA的文件完成任务。我们进一步发现，D-ETM比D-LDA学习更多样化和连贯的主题，同时需要更少的时间来适应。
2019-10-10 cs.CL stat.ML
CEMTM: Contextual Embedding-based Multimodal Topic Modeling
本研究提出上下文增强的多模态主题模型CEMTM，利用微调LVLMs的上下文嵌入与分布注意力机制，通过重构目标对齐跨模态语义，无需重复编码处理多图，在六个基准上优于基线，在少样本检索和复杂领域语义捕捉上表现出色。
2025-10-05 cs.CL cs.LG
TAN-NTM: Topic Attention Networks for Neural Topic Modeling
Adobe（奥多比公司）；Birla Institute of Technology Science Pilani (BITS Pilani)（比尔拉科学技术学院（皮拉尼））；Indian Institute of Technology Kanpur (IIT Kanpur)（印度理工学院坎普尔分校）
主题模型已被广泛用于学习文本表示和深入了解文档语料库。为了进行主题发现，大多数现有的神经模型要么将文档词袋（BoW）或令牌序列作为输入，然后进行变分推理和BoW重构来学习主题词分布。然而，在文档编码期间利用主题词分布来学习更好的功能还没有被探索太多。为此，我们开发了一个框架TAN-NTM，它通过LSTM将文档处理为一个令牌序列，LSTM的上下文输出以主题感知的方式参与。我们提出了一种新的注意力机制的因素，在主题词的分布，使模型出席相关的话，传达主题相关的线索。然后利用主题注意模块的输出进行变分推理。我们进行了广泛的消融和实验，在几个基准数据集-20 Newsgroups，Yelp Review Polarity和AGNews的NPMI一致性中，现有SOTA主题模型的得分提高了约9- 15%。此外，我们表明，我们的方法学习更好的潜在文档主题功能相比，现有的主题模型，通过改进两个下游任务：文档分类和主题引导的关键词生成。
2021-07-09 cs.CL
A Novel Feature-based Bayesian Model for Query Focused Multi-document Summarization
监督学习方法和基于LDA的主题模型已经成功地应用于面向查询的多文档摘要领域。在本文中，我们提出了一种新的监督的方法，可以将丰富的句子特征到贝叶斯主题模型的原则性的方式，从而利用主题模型和基于特征的监督学习方法的优势。在TAC2008和TAC2009上的实验证明了该方法的有效性。
2013-12-27 cs.CL cs.IR
Dynamic and Static Topic Model for Analyzing Time-Series Document Collections
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
为了从文本中提取有意义的主题，应该适当考虑它们的结构。在本文中，我们的目标是分析结构化的时间序列文件，如收集的新闻文章和一系列的科学论文，其中的主题随着时间的推移，取决于过去的多个主题，并在每个时间彼此相关。为此，我们提出了一个动态和静态的主题模型，它同时考虑了动态结构的时间主题演变和静态结构的主题层次在每个时间。我们展示了科学论文集的实验结果，其中所提出的方法优于传统的模型。此外，我们展示了一个提取的主题结构的例子，我们发现这有助于分析研究活动。
2018-05-06 cs.CL
Topic Model Supervised by Understanding Map
Tsinghua University（清华大学）
受物理学中质心概念的启发，提出了一种扩展的语义质心（SCOM），用于发现文档的抽象主题。这个概念是在一个框架模型下，称为理解地图监督主题模型（UM-S-TM）。UM-S-TM的设计目标是让文档内容和语义网络（具体地说，理解地图）在解释文档的含义方面发挥作用。基于不同的理由，设计了三种可能的方法来发现文档的SCOM。在人工文档和理解地图上进行了实验，以检验其结果。此外，还测试了它的文档矢量化能力和顺序信息捕获能力。我们还比较了UM-S-TM与概率主题模型，如潜在狄利克雷分配（LDA）和概率潜在语义分析（pLSA）。
2022-05-27 cs.CL
Mixing Dirichlet Topic Models and Word Embeddings to Make lda2vec
Stitch Fix（Stitch Fix公司）
分布式密集词向量已被证明是有效的，在捕捉语言中的标记级语义和句法的语义，而主题模型可以形成可解释的表示在文档。在这项工作中，我们描述了lda2vec，一个模型，学习密集的词向量与Dirichlet分布的潜在文档级混合的主题向量。与连续密集的文档表示相反，该公式通过非负单纯形约束产生稀疏的、可解释的文档混合物。我们的方法很容易融入现有的自动微分框架，并允许无监督的文档表示面向科学家使用，同时学习词向量和它们之间的线性关系。
2016-05-06 cs.CL
Document Topic Alignment Metrics for Evaluating Topic Models of Short-Text Public Health Communications on Social Media
College of Computing and Informatics（计算与信息学院）；The University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Department of Public Health and Health Administration（公共卫生与健康管理系）
针对社交媒体短文本主题模型缺乏分配感知评估的问题，提出文档-主题对齐度量（DoTA），在公共卫生数据集上验证其与传统度量的互补性及与人类评估的一致性。
2026-09-15 cs.CL cs.SI
Bilingual Topic Models for Comparable Corpora
Salesforce（赛富时）；University of Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；University of Lorraine（洛林大学）
概率主题模型，如潜在狄利克雷分配（LDA）先前已扩展到双语设置。这些扩展中的一个基本建模假设是，输入语料库是文档对的形式，其组成文档共享单个主题分布。然而，对于由主题仅在某种程度上相似的文档组成的可比语料库来说，这种假设是强有力的，而这些文档又是最常见或最容易获得的。在本文中，我们放松了这一假设，提出了成对的文件有单独的，但绑定的主题分布。%成对文档的分布之间的绑定机制。我们建议，绑定的强度应取决于每对的语义相似性。为了估计用不同语言编写的文档的相似性，我们使用了通过浅层神经网络学习的跨语言词嵌入。我们通过扩展两个主题模型来评估所提出的绑定机制：假设词袋输入的LDA的双语适应模型和以语义连贯段的边界形式纳入部分文本结构的模型。为了评估新型主题模型的性能，我们对五个双语、可比较的英语文档与法语、德语、意大利语、西班牙语和葡萄牙语文档语料库进行了内在和外在实验。结果表明，我们的方法的效率方面的主题一致性测量的归一化逐点互信息，和泛化性能测量的困惑，并在跨语言的文档检索任务中的每一个语言对的平均倒数排名。
2021-11-30 cs.CL
Neural Topic Modeling with Cycle-Consistent Adversarial Training
Southeast University（东南大学）
深度生成模型的进展吸引了神经主题建模的重大研究兴趣。最近提出的对抗神经主题模型的主题与对抗训练的生成器网络，并采用狄利克雷之前捕捉潜在的主题的语义模式。它是有效的，在发现连贯的主题，但无法推断给定的文档或利用可用的文档标签的主题分布。为了克服这些限制，我们提出了主题建模与周期一致的对抗训练（ToMCAT）及其监督版本sToMCAT。ToMCAT采用一个生成器网络来解释主题和一个编码器网络来推断文档主题。对抗性训练和周期一致性约束用于鼓励生成器和编码器产生彼此协调的真实样本。sToMCAT通过将文档标签合并到主题建模过程中来扩展ToMCAT，以帮助发现更连贯的主题。在无监督/有监督主题建模和文本分类上对所提出的模型的有效性进行了评估。实验结果表明，我们的模型可以产生连贯和信息丰富的主题，优于一些竞争基线。
2020-09-29 cs.CL
Combining Temporal Information and Topic Modeling for Cross-Document Event Ordering
University of Alicante（阿利坎特大学）
从书面新闻文章的集合中构建统一的时间线需要跨文档事件共指消解和时间关系抽取。在本文中，我们提出了一种方法事件共指消解根据：a）相似的时间信息，和b）相似的语义参数。使用自动时间信息系统（TIPSem）检测时间信息，而语义信息通过LDA主题建模表示。对我们方法的评估表明，它在SemEval2015任务4：时间轴：跨文档事件排序中获得了最高的微平均F分数结果（TrackB为25.36%，SubtrackB为23.15%），与其他系统相比提高了6%。然而，我们的实验也显示了一些缺点的主题建模方法，降低了系统的性能。
2015-06-10 cs.CL
