Prior-aware Dual Decomposition: Document-specific Topic Inference for Spectral Topic Models
Cornell University（康奈尔大学）
谱主题建模算法对词共现统计的矩阵/张量进行操作，以学习特定于主题的词分布。这种方法消除了对原始文档的依赖，并在效率和可证明的主题推理方面产生了实质性的收益，但代价是：模型不再能够提供有关单个文档的主题组成的信息。最近提出的线性逆（TLI）映射观察到的词的每个文件回到其主题组成。然而，它的线性特性限制了推理质量，没有考虑主题的重要先验信息。在本文中，我们评估简单的概率逆（SPI）方法和新的先验感知的双重分解（PADD），能够学习文档特定的主题组成并行。实验表明，PADD成功地利用主题相关性作为先验，特别是优于TLI和学习质量的主题组成可比吉布斯采样的各种数据。
2017-11-19 cs.CL cs.IR cs.LG
Nonparametric Relational Topic Models through Dependent Gamma Processes
University of Technology Sydney（悉尼科技大学）；Shanghai University（上海大学）
传统的关系主题模型提供了一种从文档网络中发现隐藏主题的方法。许多理论和实际的任务，如降维，文档聚类，链接预测，受益于这些揭示的知识。然而，现有的关系主题模型是基于一个假设，即隐藏主题的数量是已知的，这是不切实际的，在许多现实世界的应用。因此，为了放松这一假设，本文提出了一个非参数关系主题模型。在其生成模型中，我们使用随机过程，而不是使用固定维的概率分布。具体地，伽马过程被分配给每个文档，其表示该文档的主题兴趣。虽然这种方法提供了一种优雅的解决方案，但在对典型文档网络的固有网络结构进行数学建模时，它带来了额外的挑战，即，两个空间上更接近的文档往往具有更相似的主题。此外，我们要求所有文档共享主题。为了解决这些挑战，我们使用一个子采样策略，每个文件分配一个不同的伽玛过程从全局伽玛过程，和子采样概率的文件分配与马尔可夫随机场约束，继承了文件的网络结构。通过设计的后验推理算法，可以同时发现隐藏主题及其数量。在合成和真实网络数据集上的实验结果表明，该算法能够学习隐藏主题，更重要的是学习主题的数量。
2015-03-30 cs.CL cs.IR cs.LG
TopicViz: Semantic Navigation of Document Collections
School of Computer Science（计算机学院）；Carnegie Mellon University（卡内基梅隆大学）
当人们探索和管理信息时，他们会根据主题和主题进行思考。然而，支持信息探索的软件只能看到表面级别的文本。在本文中，我们将展示如何主题建模-一种用于识别大型文档集合中潜在主题的技术-可以支持语义探索。我们提出TopicViz，一个交互式的信息探索环境。TopicViz将传统的搜索和引用图功能与一系列新颖的交互式可视化相结合，以力导向布局为中心，将文档链接到主题模型发现的潜在主题。我们描述了几个使用场景中，TopicViz支持大型文档集合的快速意义构建。
2011-11-04 cs.AI cs.CL cs.HC
Unveiling the semantic structure of text documents using paragraph-aware Topic Models
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
经典的主题模型是在词袋假设下构建的，为了简单起见，忽略了词的位置。此外，在大多数应用中通常使用对称先验。为了更容易地学习同一语料库中具有不同属性的主题，我们提出了一种新的工作路线，其中利用段落结构。我们的建议是基于以下假设：在许多文本文档语料库中，有正式的约束共享所有的集合，例如节。当这个假设得到满足时，一些段落可能与语料库中所有文档共享的一般概念有关，而另一些段落则包含文档的真实描述。假设每个段落在语义上可以更一般、更具体或更混合，我们寻找方法来衡量这一点，将这种区别转移到主题上，并能够学习我们所谓的具体主题和一般主题。实验表明，这是一个适当的方法来突出结构化文档中的某些段落，同时我们学习有趣的和更多样化的主题。
2018-06-26 cs.CL cs.IR cs.LG
An Automatic Approach for Document-level Topic Model Evaluation
The University of Melbourne（墨尔本大学）；IBM Research（IBM研究院）
主题模型共同学习主题和文档级主题分布。主题模型的外部评价往往只关注主题级别的评价，例如通过评估主题的连贯性。我们证明，主题和文档级模型质量之间可能存在很大的差异，并且基于主题级分析的模型评估可能具有很大的误导性。我们提出了一种基于文档级主题分配分析自动预测主题模型质量的方法，并为其鲁棒性提供了经验证据。
2017-06-16 cs.CL
Discovering topics with neural topic models built from PLSA assumptions
Dailymotion（Dailymotion公司）
本文提出了一个文本语料库中无监督主题发现的模型。该模型使用文档、单词和主题查找表嵌入作为神经网络模型参数，以构建单词给定主题的概率和主题给定文档的概率。这些概率用于通过边缘化来恢复给定文档的单词的概率。对于文档数量可能达到数十亿的非常大的语料库，使用基于神经自动编码器的文档嵌入比使用传统的查找表嵌入更具可扩展性。因此，我们将基于查找的文档嵌入模型扩展到基于连续自动编码器的模型。我们的模型使用概率潜在语义分析（PLSA）假设进行训练。我们在六个内容丰富的数据集上评估了我们的模型。实验结果表明，所提出的神经主题模型是非常有效的捕获相关的主题。此外，考虑到困惑度量，进行评估基准测试表明，我们的主题模型优于潜在的Dirichlet分配（LDA）模型，这是经典的用于解决主题发现任务。
2019-11-25 cs.CL cs.LG stat.ML
Tag-Weighted Topic Model For Large-scale Semi-Structured Documents
到目前为止，在互联网的发展过程中已经出现了大量的半结构化文档（SSD）。这些SSD包含非结构化功能（例如，纯文本）和元数据（例如，标签）。以往的工作主要集中在非结构化文本的建模，最近，已经提出了一些其他的方法来建模的非结构化文本与特定的标签。建立一个通用的SSD模型仍然是一个重要的问题，无论是模型的适应性和效率。我们提出了一种新的方法来建模的SSD的所谓的标签加权主题模型（TWTM）。TWTM是一个利用标签和单词信息的框架，不仅可以学习文档主题和主题词分布，还可以推断文本挖掘任务的标签主题分布。我们提出了一个有效的变分推理方法与EM算法估计模型参数。同时，在MapReduce分布式计算平台下，提出了三种大规模SSD建模方案。实验结果表明，该模型的有效性，效率和鲁棒性，通过比较与国家的最先进的方法在文档建模，标签预测和文本分类。我们还展示了三种分布式解决方案在文档建模的时间和准确性方面的性能。
2015-07-30 cs.CL cs.IR cs.LG
Latent Tree Models for Hierarchical Topic Detection
The Hong Kong University of Science and Technology（香港科技大学）；Ant Financial Services Group（蚂蚁金融服务集团）；The Education University of Hong Kong（香港教育大学）
我们提出了一种新的分层主题检测方法，主题是通过多种方式聚类文件。具体来说，我们使用一类称为分层潜在树模型（HLTM）的图形模型来建模文档集合。HLTM底层的变量是观察到的二进制变量，表示文档中单词的存在/不存在。其他级别的变量是二进制潜变量，最低潜级别的变量表示单词同现模式，较高级别的变量表示较低级别的模式同现。每个潜在变量给出了文档的软分区，分区中的文档簇被解释为主题。在高层次的潜在变量捕获长范围的词共现模式，从而给主题更一般的主题，而那些在低层次的捕获短范围的词共现模式，并给主题更具体的主题。与基于LDA的主题模型不同，HLTM不引用文档生成过程，而是使用word变量而不是token变量。它们使用树结构来建模主题和词之间的关系，这有利于发现有意义的主题和主题层次。
2016-12-21 cs.CL cs.IR cs.LG
Neural Topic Modeling by Incorporating Document Relationship Graph
Southeast University（东南大学）
图神经网络（Graph Neural Networks，GNN）通过消息传递来捕捉图节点之间的关系，是自然语言处理领域的一个研究热点。在本文中，我们提出了图主题模型（GTM），一个基于GNN的神经主题模型，将语料库表示为文档关系图。语料库中的文档和单词成为图中的节点，并基于文档-单词共现来连接。通过引入图结构，文档之间的关系通过它们的共享词建立，从而通过使用图卷积聚合来自其相邻节点的信息来丰富文档的主题表示。在三个数据集上进行了大量的实验，实验结果证明了该方法的有效性。
2020-09-29 cs.CL
Human in the loop: How to effectively create coherent topics by manually labeling only a few documents per class
TU Clausthal（克劳斯塔尔工业大学）；University of Göttingen（哥廷根大学）
用于在稀疏标签设置下精确建模的Few-Shot方法已经显著改进。然而，Few-Shot建模在自然语言处理中的应用仅限于文档分类领域。随着最近的性能改进，有监督的Few-Shot方法与简单的主题提取方法相结合，对无监督的主题建模方法提出了重大挑战。我们的研究表明，有监督的少样本学习，结合一个简单的主题提取方法，可以优于无监督的主题建模技术，在生成连贯的主题，即使每个类只有几个标记的文档使用。
2022-12-19 cs.CL
Document Topic Alignment Metrics for Evaluating Topic Models of Short-Text Public Health Communications on Social Media
College of Computing and Informatics（计算与信息学院）；The University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Department of Public Health and Health Administration（公共卫生与健康管理系）
针对社交媒体短文本主题模型缺乏分配感知评估的问题，提出文档-主题对齐度量（DoTA），在公共卫生数据集上验证其与传统度量的互补性及与人类评估的一致性。
2026-09-15 cs.CL cs.SI
From Documents to Segments: A Contextual Reformulation for Topic Assignment
LG AI Research（LG AI研究院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出了一种基于段落的主题分配方法（SBTA），通过将主题分配到短小且连贯的文本段落而非整个文档，以解决传统主题模型中文档多主题问题导致的主题污染问题，从而提升主题分析的清晰度和可解释性。
2026-05-18 cs.CL
Moving beyond word lists: towards abstractive topic labels for human-like topics of scientific documents
主题模型将文档组表示为单词列表（主题标签）。这项工作问是否可以开发一种替代方法，主题标签，更接近一个自然语言描述的主题比一个单词列表。为此，我们提出了一种方法来生成人类一样的主题标签，使用抽象的多文档摘要（MDS）。我们调查我们的方法与探索性的案例研究。我们在引用句子中建模主题，以了解需要做哪些进一步的研究来充分操作MDS主题标签。我们的案例研究表明，除了更人性化的主题有额外的优势，评价使用聚类和总结措施，而不是主题模型的措施。然而，我们发现，有几个发展需要之前，我们可以设计一个强大的研究，以评估MDS的主题建模充分。即提高聚类的内聚性，提高MDS的真实性和可信度，增加MDS支持的文档数量。我们提出了一些关于如何解决这些问题的想法，并总结了一些关于如何使用主题建模来改进MDS的想法。
2022-10-28 cs.CL
Pre-training is a Hot Topic: Contextualized Document Embeddings Improve Topic Coherence
Bocconi University（博科尼大学）；University of Milan-Bicocca（米兰比可卡大学）
主题模型从文档中提取单词组，将其解释为主题有望更好地理解数据。然而，由此产生的词组往往是不连贯的，使他们更难解释。最近，神经主题模型在整体连贯性方面有所改善。同时，上下文嵌入总体上推进了神经模型的发展。在本文中，我们结合上下文表示与神经主题模型。我们发现，我们的方法比传统的词袋主题模型和最近的神经模型产生更有意义和连贯的主题。我们的研究结果表明，未来的改进语言模型将转化为更好的主题模型。
2021-06-17 cs.CL
Topic-Guided Abstractive Multi-Document Summarization
Harbin Institute of Technology（哈尔滨工业大学）
多文档文摘的一个关键点是了解文档之间的关系。在本文中，我们提出了一种新的抽象MDS模型，在该模型中，我们表示多个文档作为一个异构的图，考虑到不同粒度的语义节点，然后应用图序列框架生成摘要。此外，我们采用神经主题模型来联合发现潜在的主题，这些主题可以作为跨文档的语义单元来桥接不同的文档，并提供全局信息来指导摘要生成。由于主题提取可以被视为一种特殊类型的摘要，它将文本“概括”为更抽象的格式，即，在主题分发方面，我们采用多任务学习策略，对主题和摘要模块进行联合训练，使其相互促进。在Multi-News数据集上的实验结果表明，我们的模型在Rouge指标和人工评价方面都优于以前最先进的MDS模型，同时学习高质量的主题。
2021-10-21 cs.AI cs.CL
Latent Topic Models for Hypertext
School of CS and Eng.（计算机科学与工程学院）；IBM Research Laboratory in Haifa（IBM海法研究实验室）；The Hebrew University（希伯来大学）；Haifa University（海法大学）
潜在主题模型作为一种无监督的主题发现技术已经成功地应用于大型文档集。随着超文本文档集合（如Internet）的激增，人们对将这些方法扩展到超文本也产生了极大的兴趣[6，9]。这些方法通常以类似于它们如何建模单词的方式对链接进行建模-以与在标准主题模型中对文档-单词共现矩阵进行建模相同的方式对文档-链接共现矩阵进行建模。在本文中，我们提出了一个概率生成模型的超文本文档集合，明确建模的链接的生成。具体来说，从单词w到文档d的链接直接取决于w的主题在d中的频率，以及d的入度。我们展示了如何在这个模型上有效地执行EM学习。通过不将链接建模为类似于单词，我们最终使用更少的自由参数并获得更好的链接预测结果。
2012-06-13 cs.CL cs.IR cs.LG
Neural Topic Model via Optimal Transport
Monash University（莫纳什大学）
近年来，受变分自编码器启发的神经主题模型（Neural Topic Models，NTMs）由于其在文本分析方面的良好效果而受到越来越多的关注。然而，它通常是很难为现有的NTMs，以实现良好的文件表示和一致/多样的主题在同一时间。此外，它们在短文档上的性能往往会严重下降。重新参数化的要求还可能包括其培训质量和模型灵活性。为了解决这些缺点，我们提出了一个新的神经主题模型通过最优传输（OT）理论。具体来说，我们建议通过直接最小化文档的单词分布的OT距离来学习文档的主题分布。重要的是，OT距离的成本矩阵对主题和词之间的权重进行建模，该权重由主题和词之间在嵌入空间中的距离构造。我们提出的模型可以有效地训练，具有可微损失。大量的实验表明，我们的框架显着优于国家的最先进的NTM发现更连贯和多样化的主题，并获得更好的文件表示为常规和短文本。
2022-05-31 cs.CL cs.IR cs.LG
Top2Vec: Distributed Representations of Topics
主题建模用于在大量文档中发现潜在的语义结构，通常称为主题。最广泛使用的方法是潜在狄利克雷分配和概率潜在语义分析。尽管它们很受欢迎，但它们有几个弱点。为了达到最佳效果，他们通常需要知道主题的数量，自定义停止词列表，词干提取和词形还原。另外，这些方法依赖于文档的词袋表示，而忽略了词的顺序和语义。文档和单词的分布式表示由于其捕获单词和文档的语义的能力而得到普及。我们提出了$\texttt{top2vec}$，它利用联合文档和单词语义嵌入找到$\textit{topic vectors}$。这个模型不需要停用词列表、词干提取或词形还原，它会自动找到主题的数量。将得到的主题向量与文档和词向量联合嵌入，它们之间的距离表示语义相似性。我们的实验表明，$\texttt{top2vec}$发现的主题是显着更多的信息和代表性的语料库训练比概率生成模型。
2020-08-19 cs.CL cs.LG stat.ML
Hierarchical Graph Topic Modeling with Topic Tree-based Transformer
The Pennsylvania State University（宾夕法尼亚州立大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Nanyang Technological University（南洋理工大学）；University of Electronic Science and Technology of China（电子科技大学）；Singapore Management University（新加坡管理大学）
针对互联文档兼具图层次与主题层次的问题，提出在双曲空间中融合主题树嵌入和图结构的 Transformer 模型，提升层次主题建模效果。
2025-02-17 cs.CL
The study of short texts in digital politics: Document aggregation for topic modeling
Pennsylvania State University（宾夕法尼亚州立大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文研究短文本聚合对主题建模的影响，通过分析美国州议员的一百万条推文发现，按账户聚合文档可使主题与州的关联性更强，并在维基百科数据上复现了该结果。
2025-03-07 cs.CL cs.LG
Query-focused Multi-document Summarization: Combining a Novel Topic Model with Graph-based Semi-supervised Learning
基于图的半监督学习已被证明是一种有效的方法，以查询为中心的多文档摘要。以往的半监督学习存在的问题是在对句子进行排序时没有考虑句子层次以外的更高层次的信息。对一般文摘的研究表明，增加主题层次可以有效地提高文摘质量。在前人研究的启发下，本文提出了一种基于图的两层（句子层和主题层）半监督学习方法。同时，我们提出了一个新的主题模型，充分利用句子和单词之间的依赖关系。在DUC和TAC数据集上的实验结果证明了该方法的有效性。
2013-12-31 cs.CL cs.IR
A Gamma-Poisson Mixture Topic Model for Short Text
University of Pretoria（比勒陀利亚大学）；Center for Artificial Intelligence Research (CAIR)（人工智能研究中心（CAIR））
大多数主题模型都是在假设文档遵循多项分布的前提下构建的。泊松分布是描述计数数据概率的另一种分布。对于主题建模，泊松分布描述了一个词在固定长度的文档中出现的次数。泊松分布已成功地应用于文本分类，但其应用主题建模没有很好的记录，特别是在生成概率模型的上下文中。此外，文献中的几个泊松主题模型是混合模型，假设文档是由主题的混合生成的。在这项研究中，我们专注于短文本。许多研究表明，混合模型的简单假设更适合短文本。与混合模型相反，混合模型的生成假设是文档从单个主题生成。一个主题模型，它使这个一个主题，每个文档的假设，是狄利克雷多项混合模型。这项工作的主要贡献是一个新的Gamma-Poisson混合模型，以及一个崩溃的吉布斯采样模型。折叠吉布斯采样器推导的好处是，该模型能够自动选择语料库中包含的主题的数量。结果表明，在选择标注语料库主题数时，Gamma-Poisson混合模型优于Dirichlet-multinomial混合模型。此外，伽玛泊松混合产生更好的主题连贯性分数比狄利克雷-多项式混合模型，从而使其成为一个可行的选择，具有挑战性的任务，主题建模的短文本。
2020-04-23 cs.CL cs.IR cs.LG
Multilingual Topic Models for Unaligned Text
Princeton University（普林斯顿大学）
我们开发的多语言主题模型未对齐的文本（MuTo），文本的概率模型，旨在分析语料库组成的两种语言的文档。从这些文档中，MuTo使用随机EM同时发现语言之间的匹配和多语言潜在主题。我们证明了MuTo能够在真实世界的多语言语料库中找到共享主题，成功地将不同语言的相关文档配对。MuTo为创建多语言主题模型提供了一个新的框架，而无需精心策划的并行语料库，并允许使用主题模型形式主义构建的应用程序应用于更广泛的语料库。
2012-05-09 cs.CL cs.IR cs.LG
Improving Contextualized Topic Models with Negative Sampling
Indian Association for the Cultivation of Science（印度科学培育协会）；Ashoka University（阿育王大学）；Indian Institute of Technology Kharagpur（印度理工学院卡哈拉格普尔分校）
主题建模已经成为探索大型文档集的主要方法。最近的主题建模方法使用大型上下文语言模型和变分自编码器。在本文中，我们提出了一个负采样机制的上下文化的主题模型，以提高生成的主题的质量。特别是，在模型训练期间，我们扰动生成的文档主题向量，并使用三元组损失来鼓励从正确的文档主题向量重建的文档与输入文档相似，而与从扰动向量重建的文档不同。在三个公开的基准数据集上进行的不同主题计数的实验表明，在大多数情况下，我们的方法导致主题一致性比基线增加。我们的模型也实现了非常高的主题多样性。
2023-03-27 cs.CL cs.LG
Neural Embedding Allocation: Distributed Representations of Topic Models
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）；Atypon Systems（Atypon系统公司）
诸如skip-gram之类的词嵌入模型学习词的语义关系的向量表示，并且文档嵌入模型学习文档的类似表示。另一方面，主题模型提供了文档主题的潜在表示。为了同时获得这些表示的好处，我们提出了一种统一的算法，称为神经嵌入分配（NEA），它通过学习神经嵌入来模仿主题模型，将主题模型解构为单词，主题，文档，作者等的可解释向量空间嵌入。我们展示了NEA的LDA，作者主题模型和最近提出的混合成员跳克主题模型的有效性和通用性，并实现了更好的性能与嵌入相比，几个国家的最先进的模型。此外，我们证明，使用NEA平滑的主题，提高了一致性分数超过原来的主题模型时，主题的数量是大的。
2019-09-10 cs.CL cs.IR cs.LG
Document Informed Neural Autoregressive Topic Models
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学（LMU））
单词周围的上下文信息有助于确定它们的实际含义，例如在人工神经网络或生物神经网络的上下文中使用的“网络”。生成主题模型推断主题词分布，不考虑或只考虑很少的上下文。在这里，我们扩展了神经自回归主题模型，以语言建模的方式利用文档中单词周围的完整上下文信息。这导致在泛化、可解释性和适用性方面的性能提高。我们将我们的建模方法应用于来自各个领域的七个数据集，并证明我们的方法始终优于最先进的生成主题模型。使用学习的表示，我们在检索分数为0.02和F1的文本分类中平均获得了9.6%（0.57 Vs 0.52）的精度和7.2%（0.582 Vs 0.543）的精度。
2018-08-11 cs.CL cs.IR cs.LG
Document Informed Neural Autoregressive Topic Models with Distributional Prior
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学）
我们解决了主题模型中的两个挑战：（1）单词周围的上下文信息有助于确定它们的实际含义，例如，在“人工神经网络“与“生物神经网络”的上下文中使用的“网络”。生成主题模型推断主题词分布，不考虑或只考虑很少的上下文。在这里，我们扩展了神经自回归主题模型，以语言建模的方式利用文档中单词周围的完整上下文信息。该模型被命名为iDocNADE。(2)由于单词出现的数量很小（即，由于短文本中缺乏上下文）以及少量文档的语料库中数据稀疏，主题模型的应用在此类文本上具有挑战性。因此，我们提出了一种简单有效的方法将外部知识纳入神经自回归主题模型：我们使用嵌入作为分布先验。所提出的变体被命名为DocNADEe和iDocNADEe。我们提出了新的神经自回归主题模型变体，这些变体在来自不同领域的7个长文本和8个短文本数据集的泛化性，可解释性（主题一致性）和适用性（检索和分类）方面始终优于最先进的生成主题模型。
2019-01-14 cs.AI cs.CL cs.IR
Topic Modeling in Embedding Spaces
Columbia University（哥伦比亚大学）；Cambridge University（剑桥大学）
主题建模分析文档以学习有意义的单词模式。然而，现有的主题模型无法学习可解释的主题时，与大型和重尾词汇。为此，我们开发了嵌入式主题模型（ETM），一个生成模型的文件，结婚的传统主题模型与词嵌入。特别地，它用类别分布对每个词进行建模，该类别分布的自然参数是词嵌入与其指定主题的嵌入之间的内积。为了适应ETM，我们开发了一个有效的摊销变分推理算法。ETM发现可解释的主题，即使是包含罕见词和停用词的大型词汇表。在主题质量和预测性能方面，它优于现有的文档模型，如潜在狄利克雷分配（LDA）。
2019-07-08 cs.CL cs.IR cs.LG
Efficient Learning for Undirected Topic Models
The University of Hong Kong（香港大学）
复制Softmax模型是一种著名的无向主题模型，在抽取文档的语义表示方面具有很强的能力。传统的学习策略如对比发散是非常低效的。本文提出了一种新的估计器，以加快学习的基础上噪声对比估计，扩展到不同长度的文件和加权输入。在两个基准测试上的实验表明，新的估计器在文档检索和分类上取得了很高的学习效率和准确率。
2015-06-24 cs.CL cs.IR cs.LG
Jointly Modeling Topics and Intents with Global Order Structure
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
文档结构建模对于语篇分析及其相关应用具有重要意义。本研究的目标是通过将文档建模为主题词和修辞词的混合来捕获文档意图结构。在同一篇文章中，主题是相对不变的，而句子的修辞功能在语篇中通常是按照一定的顺序发生变化的。提出了一种基于主题建模的贝叶斯无监督模型GMM-LDA，用于分析文档意图结构和订单信息。我们的模型是灵活的，有能力结合的注释和做监督学习。此外，可以引入熵正则化来对主题和意图之间的显著分歧进行建模。我们在无监督和有监督的环境下进行了实验，结果表明我们的模型优于几个最先进的基线。
2015-12-07 cs.CL cs.IR cs.LG
TAN-NTM: Topic Attention Networks for Neural Topic Modeling
Adobe（奥多比公司）；Birla Institute of Technology Science Pilani (BITS Pilani)（比尔拉科学技术学院（皮拉尼））；Indian Institute of Technology Kanpur (IIT Kanpur)（印度理工学院坎普尔分校）
主题模型已被广泛用于学习文本表示和深入了解文档语料库。为了进行主题发现，大多数现有的神经模型要么将文档词袋（BoW）或令牌序列作为输入，然后进行变分推理和BoW重构来学习主题词分布。然而，在文档编码期间利用主题词分布来学习更好的功能还没有被探索太多。为此，我们开发了一个框架TAN-NTM，它通过LSTM将文档处理为一个令牌序列，LSTM的上下文输出以主题感知的方式参与。我们提出了一种新的注意力机制的因素，在主题词的分布，使模型出席相关的话，传达主题相关的线索。然后利用主题注意模块的输出进行变分推理。我们进行了广泛的消融和实验，在几个基准数据集-20 Newsgroups，Yelp Review Polarity和AGNews的NPMI一致性中，现有SOTA主题模型的得分提高了约9- 15%。此外，我们表明，我们的方法学习更好的潜在文档主题功能相比，现有的主题模型，通过改进两个下游任务：文档分类和主题引导的关键词生成。
2021-07-09 cs.CL
Labeled Interactive Topic Models
University of Maryland（马里兰大学）
本文提出一种带标签的交互式神经主题模型，允许用户为主题分配单词标签以引导模型更新，并通过人类研究证明该方法能改善文档排名得分，帮助找到更相关的文档。
2024-02-07 cs.CL cs.HC cs.IR
Explainable and Discourse Topic-aware Neural Language Understanding
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学（LMU））
本文提出一种神经复合语言模型，在主题与语言模型的联合学习框架中，引入可解释的主题表示与句子级主题篇章建模，实验证明其有效提升了多任务的语言理解能力。
2023-06-27 cs.AI cs.CL cs.LG
Few-shot Learning for Topic Modeling
NTT Communication Science Laboratories（NTT通信科学研究所）
主题模型已经成功地用于分析文本文档。然而，对于现有的主题模型，需要许多文档来进行训练。在本文中，我们提出了一种基于神经网络的少样本学习方法，可以从几个文档中学习主题模型。模型中的神经网络以少量文档作为输入，输出主题模型先验知识。所提出的方法训练神经网络，使期望的测试可能性提高时，主题模型参数估计最大化后验概率使用基于EM算法的先验。由于EM算法中的每一步都是可微的，因此所提出的方法可以通过EM算法反向传播损耗以训练神经网络。通过随机梯度下降方法，使用一组多个文本语料库和情景训练框架，使预期的测试可能性最大化。在我们的实验中，我们证明了所提出的方法实现了更好的困惑比现有的方法使用三个现实世界的文本文档集。
2021-04-19 cs.CL cs.LG stat.ML
Dynamic and Static Topic Model for Analyzing Time-Series Document Collections
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
为了从文本中提取有意义的主题，应该适当考虑它们的结构。在本文中，我们的目标是分析结构化的时间序列文件，如收集的新闻文章和一系列的科学论文，其中的主题随着时间的推移，取决于过去的多个主题，并在每个时间彼此相关。为此，我们提出了一个动态和静态的主题模型，它同时考虑了动态结构的时间主题演变和静态结构的主题层次在每个时间。我们展示了科学论文集的实验结果，其中所提出的方法优于传统的模型。此外，我们展示了一个提取的主题结构的例子，我们发现这有助于分析研究活动。
2018-05-06 cs.CL
Neural Topic Modeling with Continual Lifelong Learning
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学（LMU））
针对短文档数据稀疏导致主题建模效果不佳的问题，提出终身神经主题建模（LNTM）框架，通过共享生成同源和选择性数据增强等方法持续积累主题并减少灾难性遗忘，在困惑度、主题连贯性和信息检索上取得显著提升。
2023-06-27 cs.CL cs.IR cs.LG
Topic Model Supervised by Understanding Map
Tsinghua University（清华大学）
受物理学中质心概念的启发，提出了一种扩展的语义质心（SCOM），用于发现文档的抽象主题。这个概念是在一个框架模型下，称为理解地图监督主题模型（UM-S-TM）。UM-S-TM的设计目标是让文档内容和语义网络（具体地说，理解地图）在解释文档的含义方面发挥作用。基于不同的理由，设计了三种可能的方法来发现文档的SCOM。在人工文档和理解地图上进行了实验，以检验其结果。此外，还测试了它的文档矢量化能力和顺序信息捕获能力。我们还比较了UM-S-TM与概率主题模型，如潜在狄利克雷分配（LDA）和概率潜在语义分析（pLSA）。
2022-05-27 cs.CL
Topics and Label Propagation: Best of Both Worlds for Weakly Supervised Text Classification
TCS Research, Tata Consultancy Services（塔塔咨询服务公司研究部）；Indian Institute of Technology Bombay（印度理工学院孟买分校）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
提出了一种基于标签传播的弱监督文本分类算法。我们构建了一个图，其中每个文档由一个节点表示，边权重表示文档之间的相似性。此外，我们发现潜在的主题使用潜在狄利克雷分配（LDA）和丰富的文档图，包括额外的节点的形式的主题。主题和文本文档之间的边权重表示它们之间的“亲和力”水平。我们的方法不需要文档级别的标签，相反，它只需要手动标签的主题节点。这大大减少了所需的监督水平，因为只有少数几个主题被观察到足以达到足够高的准确性。标签传播算法在这个丰富的图上被用来在节点之间传播标签。我们的方法结合了标签传播（通过文档-文档相似性）和主题建模（用于最小但智能的监督）的优点。我们证明了我们的方法在各种数据集上的有效性，并与最先进的弱监督文本分类方法进行了比较。
2017-12-04 cs.CL cs.LG
The Dynamic Embedded Topic Model
Columbia University（哥伦比亚大学）；University of Cambridge（剑桥大学）
主题建模分析文档以学习有意义的单词模式。对于按顺序收集的文档，动态主题模型捕捉这些模式如何随时间变化。我们开发的动态嵌入主题模型（D-ETM），生成模型的文件，结合动态潜在狄利克雷分配（D-LDA）和词嵌入。D-ETM用类别分布对每个词进行建模，该类别分布由词嵌入与其分配主题的每时间步嵌入表示之间的内积参数化。D-ETM通过在主题的嵌入表示上定义随机游走先验来学习平滑的主题轨迹。我们适合的D-ETM使用结构摊销变分推理与递归神经网络。在三个不同的语料库-联合国辩论的集合，一组ACL摘要，和科学杂志文章的数据集-我们发现，D-ETM优于D-LDA的文件完成任务。我们进一步发现，D-ETM比D-LDA学习更多样化和连贯的主题，同时需要更少的时间来适应。
2019-10-10 cs.CL stat.ML
Improving Topic Models with Latent Feature Word Representations
Macquarie University（麦考瑞大学）；Santa Fe Institute（圣塔菲研究所）
概率主题模型被广泛用于发现文档集合中的潜在主题，而词的潜在特征向量表示已被用于在许多NLP任务中获得高性能。在本文中，我们扩展了两个不同的Dirichlet多项式主题模型，通过将在非常大的语料库上训练的单词的潜在特征向量表示，以改善在较小的语料库上学习的单词-主题映射。实验结果表明，通过使用来自外部语料库的信息，我们的新模型产生了显着的改善主题一致性，文档聚类和文档分类任务，特别是在数据集少或短的文档。
2018-10-15 cs.CL cs.IR cs.LG
Mixing Dirichlet Topic Models and Word Embeddings to Make lda2vec
Stitch Fix（Stitch Fix公司）
分布式密集词向量已被证明是有效的，在捕捉语言中的标记级语义和句法的语义，而主题模型可以形成可解释的表示在文档。在这项工作中，我们描述了lda2vec，一个模型，学习密集的词向量与Dirichlet分布的潜在文档级混合的主题向量。与连续密集的文档表示相反，该公式通过非负单纯形约束产生稀疏的、可解释的文档混合物。我们的方法很容易融入现有的自动微分框架，并允许无监督的文档表示面向科学家使用，同时学习词向量和它们之间的线性关系。
2016-05-06 cs.CL
A Novel Feature-based Bayesian Model for Query Focused Multi-document Summarization
监督学习方法和基于LDA的主题模型已经成功地应用于面向查询的多文档摘要领域。在本文中，我们提出了一种新的监督的方法，可以将丰富的句子特征到贝叶斯主题模型的原则性的方式，从而利用主题模型和基于特征的监督学习方法的优势。在TAC2008和TAC2009上的实验证明了该方法的有效性。
2013-12-27 cs.CL cs.IR
Comparative Analysis of N-gram Text Representation on Igbo Text Document Similarity
Rhema University（雷玛大学）；University of Port Harcourt（哈科特港大学）
信息技术的进步鼓励人们使用伊博语创建文本，如在线资源和新闻文章。文本相似性在任何基于文本的应用中都是非常重要的。本文提出了一个比较分析的n-gram文本表示的Igbo文本文档相似性。该方法采用欧氏相似性度量来确定两种基于词的n-gram文本表示模型（unigram和bigram）表示的Igbo文本文档之间的相似性。相似性度量的评估是基于所采用的文本表示模型。该模型采用面向对象的方法进行设计，并使用自然语言工具包（NLTK）中的工具，用Python程序设计语言实现。结果表明，由一元语法表示的文本具有最高的距离值，而二元语法表示的文本具有最低的对应距离值。距离值越低，两个文档越相似，并且在用于需要相似性度量的任务时模型的质量越好。两个文档的相似性随着距离值向下移动到零（0）而增加。理想情况下，分析的结果表明，Igbo文本文档的相似性度量的bigram表示的文本给出准确的相似性结果。这将提供更好，有效和准确的结果时，用于任务，如文本分类，聚类和排名的伊博文本。
2020-08-04 cs.CL
Multi-label Dataless Text Classification with Topic Modeling
State Key Lab of Software Engineering, Wuhan University（武汉大学软件工程国家重点实验室）
手动标记文档既繁琐又昂贵，但它对于训练传统的文本分类器至关重要。近年来，一些无数据文本分类技术被提出来解决这个问题。然而，现有的工作主要集中在单标签分类问题，即，每个文件被限制为属于一个单一的类别。在本文中，我们提出了一种新的种子引导的多标签主题模型，命名为SMTM。SMTM利用与每个类别相关的几个种子词，对没有任何标记文档的文档集合进行多标记分类。在SMTM中，每个类别都与一个单独的类别主题相关联，该主题涵盖了类别的含义。为了适应多标签文档，我们显式模型的类别稀疏SMTM使用尖峰和板先验和弱平滑先验。也就是说，在不使用任何阈值调优的情况下，SMTM会自动为每个文档选择相关的类别。为了结合对种子词的监督，我们提出了种子引导的偏置GPU（即，广义波利亚瓮）抽样程序来指导SMTM的主题推理。在两个公共数据集上的实验表明，SMTM比最先进的替代方案实现了更好的分类精度，甚至在某些情况下优于监督解决方案。
2017-11-05 cs.CL cs.IR
Syntactic Topic Models
Princeton University（普林斯顿大学）
句法主题模型（STM）是一种贝叶斯非参数语言模型，它发现了语义和句法一致的词（主题）的潜在分布。STM模型依赖性解析语料库中的句子被分组到文档。它假设每个词都是从一个潜在的主题中提取出来的，该主题是通过结合文档级特征和本地句法上下文来选择的。每个文档都有一个潜在主题的分布，就像主题模型一样，它提供了语义的一致性。依赖关系解析树中的每个元素在其子元素的主题上也有一个分布，就像在潜在状态语法模型中一样，这提供了语法一致性。这些分布被卷积，使得每个词的主题在其文档和句法上下文下都是可能的。本文基于变分方法推导出一种快速后验推理算法。我们报告定性和定量研究的合成数据和手解析的文件。我们表明，STM是一个更预测的语言模型比目前的模型只基于语法或主题。
2010-02-25 cs.AI cs.CL math.ST
Bilingual Topic Models for Comparable Corpora
Salesforce（赛富时）；University of Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；University of Lorraine（洛林大学）
概率主题模型，如潜在狄利克雷分配（LDA）先前已扩展到双语设置。这些扩展中的一个基本建模假设是，输入语料库是文档对的形式，其组成文档共享单个主题分布。然而，对于由主题仅在某种程度上相似的文档组成的可比语料库来说，这种假设是强有力的，而这些文档又是最常见或最容易获得的。在本文中，我们放松了这一假设，提出了成对的文件有单独的，但绑定的主题分布。%成对文档的分布之间的绑定机制。我们建议，绑定的强度应取决于每对的语义相似性。为了估计用不同语言编写的文档的相似性，我们使用了通过浅层神经网络学习的跨语言词嵌入。我们通过扩展两个主题模型来评估所提出的绑定机制：假设词袋输入的LDA的双语适应模型和以语义连贯段的边界形式纳入部分文本结构的模型。为了评估新型主题模型的性能，我们对五个双语、可比较的英语文档与法语、德语、意大利语、西班牙语和葡萄牙语文档语料库进行了内在和外在实验。结果表明，我们的方法的效率方面的主题一致性测量的归一化逐点互信息，和泛化性能测量的困惑，并在跨语言的文档检索任务中的每一个语言对的平均倒数排名。
2021-11-30 cs.CL
Generalized Topic Modeling
最近有显着的活动，在开发算法与可证明的保证主题建模。在标准的主题模型中，主题（例如体育、商业或政治）被视为单词上的概率分布$\vec a_i$，并且通过首先在主题上选择混合$\vec w$，然后生成单词i.i.d.从缔合的混合物$A{\vec w}$中分离。给定大量这样的文档，目标是恢复主题向量，然后根据它们的主题混合来正确地对新文档进行分类。在这项工作中，我们认为这个框架的一个广泛的推广，其中的话不再被假定为独立同分布绘制。而是主题是段落序列上的复杂分布。由于人们甚至不能希望在一般情况下表示这样的分布（即使段落使用一些自然特征表示），我们的目标是直接学习文档分类器。也就是说，我们的目标是学习一个预测器，该预测器在给定一个新文档的情况下，准确地预测其主题混合，而无需显式地学习分布。我们提出了几个自然条件下，人们可以有效地做到这一点，并讨论在这个模型中的噪声容限和样本的复杂性等问题。更一般地说，我们的模型可以被视为机器学习中多视图或协同训练设置的泛化。
2016-11-04 cs.CL cs.DS cs.IR
Neural Topic Modeling with Cycle-Consistent Adversarial Training
Southeast University（东南大学）
深度生成模型的进展吸引了神经主题建模的重大研究兴趣。最近提出的对抗神经主题模型的主题与对抗训练的生成器网络，并采用狄利克雷之前捕捉潜在的主题的语义模式。它是有效的，在发现连贯的主题，但无法推断给定的文档或利用可用的文档标签的主题分布。为了克服这些限制，我们提出了主题建模与周期一致的对抗训练（ToMCAT）及其监督版本sToMCAT。ToMCAT采用一个生成器网络来解释主题和一个编码器网络来推断文档主题。对抗性训练和周期一致性约束用于鼓励生成器和编码器产生彼此协调的真实样本。sToMCAT通过将文档标签合并到主题建模过程中来扩展ToMCAT，以帮助发现更连贯的主题。在无监督/有监督主题建模和文本分类上对所提出的模型的有效性进行了评估。实验结果表明，我们的模型可以产生连贯和信息丰富的主题，优于一些竞争基线。
2020-09-29 cs.CL
Combining Temporal Information and Topic Modeling for Cross-Document Event Ordering
University of Alicante（阿利坎特大学）
从书面新闻文章的集合中构建统一的时间线需要跨文档事件共指消解和时间关系抽取。在本文中，我们提出了一种方法事件共指消解根据：a）相似的时间信息，和b）相似的语义参数。使用自动时间信息系统（TIPSem）检测时间信息，而语义信息通过LDA主题建模表示。对我们方法的评估表明，它在SemEval2015任务4：时间轴：跨文档事件排序中获得了最高的微平均F分数结果（TrackB为25.36%，SubtrackB为23.15%），与其他系统相比提高了6%。然而，我们的实验也显示了一些缺点的主题建模方法，降低了系统的性能。
2015-06-10 cs.CL
Hybrid Topic-Semantic Labeling and Graph Embeddings for Unsupervised Legal Document Clustering
Department of Mathematical Sciences（数学科学系）；Salisbury University（萨里大学）；Department of Mathematics and Statistics（数学与统计学系）；Carleton College（卡尔顿学院）
针对法律文档标注数据有限、领域性强的分类难题，提出结合Top2Vec语义主题嵌入与Node2Vec图嵌入的混合无监督聚类方法，性能优于基线模型，为法律文本分析提供新思路。
2026-10-20 cs.CL cs.LG stat.ML
Graph2topic: an opensource topic modeling framework based on sentence embedding and community detection
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出开源框架 G2T，结合预训练语言模型、语义图社区检测和 TFIDF 变体完成主题建模，并在多长度中英文文档上达到最先进性能。
2023-06-06 cs.CL cs.LG
Contrastive Learning for Neural Topic Model
VinAI Research（VinAI研究院）；Nanyang Technological University（南洋理工大学）
最近的实证研究表明，对抗性主题模型（ATM）可以成功地捕捉文档的语义模式，通过区分一个文档与另一个不相似的样本。然而，利用这种区分生成架构有两个重要的缺点：（1）该架构不涉及相似的文档，这些文档具有相同的显着词的文档-词分布;（2）它限制了整合外部信息的能力，例如文档的情感，这已被证明有利于神经主题模型的训练。为了解决这些问题，我们从数学分析的角度重新审视了对抗性主题架构，提出了一种新的方法来将区分性目标重新表述为优化问题，并设计了一种新的采样方法来促进外部变量的整合。该方法鼓励模型考虑相似样本之间的关系，并对不同样本之间的相似性进行约束;而基于内部输入和重构输出的抽样方法有助于为模型提供对主题有贡献的突出词。实验结果表明，我们的框架优于其他国家的最先进的神经主题模型在三个常见的基准数据集，属于不同的领域，词汇量大小，和文档长度方面的主题一致性。
2021-10-25 cs.CL
DiffETM: Diffusion Process Enhanced Embedded Topic Model
City University of Hong Kong（香港城市大学）
针对ETM中逻辑正态分布假设过度简化文档-主题分布的问题，本文提出DiffETM，将扩散过程引入文档-主题分布采样，在保持易优化性的同时提升主题建模性能，并在两个主流数据集上验证了有效性。
2025-01-01 cs.AI cs.CL cs.IR
Neural Attention-Aware Hierarchical Topic Model
Monash University（莫纳什大学）；Deakin University（迪肯大学）
神经主题模型（NTM）将深度神经网络应用于主题建模。尽管他们的成功，NTMs通常忽略了两个重要方面：（1）只有文档级的单词计数信息被用于训练，而更细粒度的文本级信息被忽略，以及（2）关于文档，句子和单词的外部语义知识没有被利用的训练。为了解决这些问题，我们提出了一个变分自编码器（VAE）NTM模型，该模型使用词袋（BoW）主题嵌入和预训练语义嵌入的组合来联合重建句子和文档字数。预训练的嵌入首先被转换到一个公共的潜在主题空间中，以使它们的语义与BoW嵌入保持一致。我们的模型还具有分层KL分歧，以利用每个文档的嵌入来正则化其句子的嵌入，从而更加关注语义相关的句子。定量和定性实验都表明了我们的模型在以下方面的有效性：1）降低句子和文档级别的重建错误; 2）从真实世界的数据集中发现更连贯的主题。
2021-10-14 cs.CL cs.LG
