Topic Extraction of Crawled Documents Collection using Correlated Topic Model in MapReduce Framework
University of Computer Studies（计算机研究大学）；Faculty of Computing（计算机学院）
大量的可用研究文档的巨大增长促使研究人员提出主题模型来提取文档集合中的潜在语义主题。然而，如何从文档集合中提取出隐藏的主题已经成为许多主题模型应用的关键任务。此外，传统的主题建模方法遭受的可扩展性问题时，文档集合的大小增加。本文在MapReduce框架下实现了基于变分期望最大化算法的相关主题模型，解决了相关主题模型的可扩展性问题。所提出的方法利用从公共数字图书馆爬取的数据集。此外，抓取的文档的全文进行分析，以提高MapReduce CTM的准确性。最后通过实验验证了该算法的有效性。从评估，所提出的方法具有可比的性能方面的主题一致性与LDA实现MapReduce框架。
2020-01-06 cs.CL cs.IR cs.LG
An Automatic Approach for Document-level Topic Model Evaluation
The University of Melbourne（墨尔本大学）；IBM Research（IBM研究院）
主题模型共同学习主题和文档级主题分布。主题模型的外部评价往往只关注主题级别的评价，例如通过评估主题的连贯性。我们证明，主题和文档级模型质量之间可能存在很大的差异，并且基于主题级分析的模型评估可能具有很大的误导性。我们提出了一种基于文档级主题分配分析自动预测主题模型质量的方法，并为其鲁棒性提供了经验证据。
2017-06-16 cs.CL
Topic-Grained Text Representation-based Model for Document Retrieval
National University of Defense Technology（国防科技大学）
文档检索使用户能够准确、快速地找到所需的文档。为了满足检索效率的要求，流行的深度神经方法采用基于表示的匹配范式，通过离线预存储文档表示来节省在线匹配时间。然而，上面的范例消耗了大量的本地存储空间，特别是当将文档存储为单词粒度的表示时。为了解决这个问题，我们提出了TGTR，一个主题粒度的文本表示为基础的文档检索模型。TGTR采用基于表示的匹配模式，离线存储文档表示以保证检索效率，而采用新颖的主题粒度表示而不是传统的词粒度表示，大大降低了存储需求。实验结果表明，与词粒度基线相比，TGTR在检索准确率方面始终与TREC CAR和MS MARCO竞争，但它所需的存储空间不到它们所需的1/10。此外，TGTR在检索精度方面压倒性地超过了全球粒度基线。
2022-07-11 cs.CL cs.IR
Topic Similarity Networks: Visual Analytics for Large Document Sets
Institute for Defense Analyses（国防分析研究所）
我们研究的方法，以提高LDA主题模型的可解释性，更好地分析和可视化其输出。我们专注于研究我们所说的主题相似性网络：图中的节点代表文本集合中的潜在主题，链接代表主题之间的相似性。我们描述了高效和有效的方法来构建和标记这样的网络。基于这些网络的主题模型的可视化被证明是探索，表征和总结大量非结构化文本文档的强大手段。它们有助于“梳理”不同文档集之间的非明显联系，并提供有关主题如何形成更大主题的见解。我们通过两个案例研究证明了这些方法的有效性和实用性：1）NSF资助的基础研究跨越14年的时间和2）维基百科的整个英文部分。
2014-09-26 cs.CL cs.HC cs.IR
Document Topic Alignment Metrics for Evaluating Topic Models of Short-Text Public Health Communications on Social Media
College of Computing and Informatics（计算与信息学院）；The University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Department of Public Health and Health Administration（公共卫生与健康管理系）
针对社交媒体短文本主题模型缺乏分配感知评估的问题，提出文档-主题对齐度量（DoTA），在公共卫生数据集上验证其与传统度量的互补性及与人类评估的一致性。
2026-09-15 cs.CL cs.SI
Inductive Document Network Embedding with Topic-Word Attention
Université de Lyon, Lyon 2（里昂第二大学）；Digital Scientific Research Technology（数字科研技术公司）
文档网络嵌入旨在学习结构化文本语料库的表示，即当文档彼此链接时。最近的算法扩展了网络嵌入的方法，将文本内容与节点在其配方。在大多数情况下，很难解释学习到的表征。此外，很少重要的是给泛化到新的文件，没有观察到的网络。本文提出了一种可解释、可归纳的文档网络嵌入方法。我们引入了一种新的机制，主题词注意力（TWA），生成文档表示词和主题表示之间的相互作用的基础上。我们训练这些词和主题向量，通过我们的通用模型，归纳文档网络嵌入（IDNE），利用文档网络中的连接。定量评估表明，我们的方法在各种网络上实现了最先进的性能，我们定性地表明，我们的模型产生了有意义的和可解释的单词，主题和文档的表示。
2020-01-10 cs.CL cs.IR cs.LG
Generative Topic Embedding: a Continuous Representation of Documents (Extended Version with Proofs)
National University of Singapore（新加坡国立大学）；Tsinghua University（清华大学）
词嵌入通过在一个小的上下文窗口中利用词的局部搭配模式将词映射到一个低维的连续嵌入空间中。另一方面，主题建模通过利用同一文档中的全局词语搭配模式，将文档映射到低维主题空间。这两种模式是互补的。在本文中，我们提出了一个生成式的主题嵌入模型，结合这两种类型的模式。在我们的模型中，主题由嵌入向量表示，并在文档之间共享。每个单词出现的概率受其本地上下文和主题的影响。变分推理方法产生的主题嵌入以及主题混合比例为每个文档。它们共同表示低维连续空间中的文档。在两个文档分类任务中，我们的方法比现有的八种方法性能更好，功能更少。此外，我们用一个例子说明，我们的方法可以生成连贯的主题，即使是基于一个文档。
2016-08-08 cs.AI cs.CL cs.IR
Query-focused Multi-document Summarization: Combining a Novel Topic Model with Graph-based Semi-supervised Learning
基于图的半监督学习已被证明是一种有效的方法，以查询为中心的多文档摘要。以往的半监督学习存在的问题是在对句子进行排序时没有考虑句子层次以外的更高层次的信息。对一般文摘的研究表明，增加主题层次可以有效地提高文摘质量。在前人研究的启发下，本文提出了一种基于图的两层（句子层和主题层）半监督学习方法。同时，我们提出了一个新的主题模型，充分利用句子和单词之间的依赖关系。在DUC和TAC数据集上的实验结果证明了该方法的有效性。
2013-12-31 cs.CL cs.IR
SimDoc: Topic Sequence Alignment based Document Similarity Framework
University of Bonn（波恩大学）；Emory University（埃默里大学）；Rygbee Inc.（Rygbee公司）
文档相似性是估计给定文档对具有相似语义内容的程度的问题。一个准确的文档相似性度量可以改善一些企业相关的任务，如文档聚类，文本挖掘和问答。在本文中，我们表明，文档的主题流（通常被词袋技术忽视）在估计其相似性方面至关重要。为此，我们提出了一种新的语义文档相似性框架，称为SimDoc。我们的模型文件的主题序列，主题代表潜在的生成集群的相关词。然后，我们使用序列比对算法来估计它们的语义相似度。我们进一步概念化一种新的机制来计算主题主题相似度，以微调我们的系统。在我们的实验中，我们表明，SimDoc优于许多当代的词袋技术，准确计算文档相似性，并在实际应用中，如文档聚类。
2017-11-11 cs.CL
A Novel Document Generation Process for Topic Detection based on Hierarchical Latent Tree Models
The Hong Kong University of Science and Technology（香港科技大学）
我们提出了一种新的文档生成过程的基础上，层次潜在树模型（HLTM）从数据中学习。HLTM在底部有一层观察到的单词变量，在顶部有多层潜变量。对于每一个文档，我们首先通过逻辑采样逐层采样潜变量的值，然后根据潜变量的值绘制单词的相对频率，最后使用相对单词频率为文档生成单词。这项工作的动机是考虑到与HLTM的字数。与基于LDA的分层文档生成过程相比，新的过程以更少的参数实现了更好的模型拟合。它还生成更有意义的主题和主题层次结构。这是新的国家的最先进的分层主题检测。
2019-06-28 cs.CL cs.IR cs.LG
Nonparametric Relational Topic Models through Dependent Gamma Processes
University of Technology Sydney（悉尼科技大学）；Shanghai University（上海大学）
传统的关系主题模型提供了一种从文档网络中发现隐藏主题的方法。许多理论和实际的任务，如降维，文档聚类，链接预测，受益于这些揭示的知识。然而，现有的关系主题模型是基于一个假设，即隐藏主题的数量是已知的，这是不切实际的，在许多现实世界的应用。因此，为了放松这一假设，本文提出了一个非参数关系主题模型。在其生成模型中，我们使用随机过程，而不是使用固定维的概率分布。具体地，伽马过程被分配给每个文档，其表示该文档的主题兴趣。虽然这种方法提供了一种优雅的解决方案，但在对典型文档网络的固有网络结构进行数学建模时，它带来了额外的挑战，即，两个空间上更接近的文档往往具有更相似的主题。此外，我们要求所有文档共享主题。为了解决这些挑战，我们使用一个子采样策略，每个文件分配一个不同的伽玛过程从全局伽玛过程，和子采样概率的文件分配与马尔可夫随机场约束，继承了文件的网络结构。通过设计的后验推理算法，可以同时发现隐藏主题及其数量。在合成和真实网络数据集上的实验结果表明，该算法能够学习隐藏主题，更重要的是学习主题的数量。
2015-03-30 cs.CL cs.IR cs.LG
Neural Topic Modeling by Incorporating Document Relationship Graph
Southeast University（东南大学）
图神经网络（Graph Neural Networks，GNN）通过消息传递来捕捉图节点之间的关系，是自然语言处理领域的一个研究热点。在本文中，我们提出了图主题模型（GTM），一个基于GNN的神经主题模型，将语料库表示为文档关系图。语料库中的文档和单词成为图中的节点，并基于文档-单词共现来连接。通过引入图结构，文档之间的关系通过它们的共享词建立，从而通过使用图卷积聚合来自其相邻节点的信息来丰富文档的主题表示。在三个数据集上进行了大量的实验，实验结果证明了该方法的有效性。
2020-09-29 cs.CL
Human in the loop: How to effectively create coherent topics by manually labeling only a few documents per class
TU Clausthal（克劳斯塔尔工业大学）；University of Göttingen（哥廷根大学）
用于在稀疏标签设置下精确建模的Few-Shot方法已经显著改进。然而，Few-Shot建模在自然语言处理中的应用仅限于文档分类领域。随着最近的性能改进，有监督的Few-Shot方法与简单的主题提取方法相结合，对无监督的主题建模方法提出了重大挑战。我们的研究表明，有监督的少样本学习，结合一个简单的主题提取方法，可以优于无监督的主题建模技术，在生成连贯的主题，即使每个类只有几个标记的文档使用。
2022-12-19 cs.CL
From Documents to Segments: A Contextual Reformulation for Topic Assignment
LG AI Research（LG AI研究院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出了一种基于段落的主题分配方法（SBTA），通过将主题分配到短小且连贯的文本段落而非整个文档，以解决传统主题模型中文档多主题问题导致的主题污染问题，从而提升主题分析的清晰度和可解释性。
2026-05-18 cs.CL
Moving beyond word lists: towards abstractive topic labels for human-like topics of scientific documents
主题模型将文档组表示为单词列表（主题标签）。这项工作问是否可以开发一种替代方法，主题标签，更接近一个自然语言描述的主题比一个单词列表。为此，我们提出了一种方法来生成人类一样的主题标签，使用抽象的多文档摘要（MDS）。我们调查我们的方法与探索性的案例研究。我们在引用句子中建模主题，以了解需要做哪些进一步的研究来充分操作MDS主题标签。我们的案例研究表明，除了更人性化的主题有额外的优势，评价使用聚类和总结措施，而不是主题模型的措施。然而，我们发现，有几个发展需要之前，我们可以设计一个强大的研究，以评估MDS的主题建模充分。即提高聚类的内聚性，提高MDS的真实性和可信度，增加MDS支持的文档数量。我们提出了一些关于如何解决这些问题的想法，并总结了一些关于如何使用主题建模来改进MDS的想法。
2022-10-28 cs.CL
Pre-training is a Hot Topic: Contextualized Document Embeddings Improve Topic Coherence
Bocconi University（博科尼大学）；University of Milan-Bicocca（米兰比可卡大学）
主题模型从文档中提取单词组，将其解释为主题有望更好地理解数据。然而，由此产生的词组往往是不连贯的，使他们更难解释。最近，神经主题模型在整体连贯性方面有所改善。同时，上下文嵌入总体上推进了神经模型的发展。在本文中，我们结合上下文表示与神经主题模型。我们发现，我们的方法比传统的词袋主题模型和最近的神经模型产生更有意义和连贯的主题。我们的研究结果表明，未来的改进语言模型将转化为更好的主题模型。
2021-06-17 cs.CL
Topic Sensitive Neural Headline Generation
State Key Laboratory of Intelligent Technology and Systems（智能技术与系统国家重点实验室）；Tsinghua National Laboratory for Information Science and Technology（清华信息科学与技术国家实验室）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）
神经模型最近被用于文本摘要，包括标题生成。该模型可以使用一组文档标题对进行训练。然而，该模型没有明确考虑主题的相似性和差异的文件。我们建议将文档分类到不同的主题中，以便同一主题中的文档在内容上相似并且共享相似的摘要模式。利用文档的主题信息，提出主题敏感的神经标题生成模型。我们的模型可以根据文档主题生成更准确的摘要。我们在LCSTS数据集上测试了我们的模型，实验表明我们的方法在每个主题上都优于其他基线，并达到了最先进的性能。
2016-08-20 cs.CL
Unveiling the semantic structure of text documents using paragraph-aware Topic Models
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
经典的主题模型是在词袋假设下构建的，为了简单起见，忽略了词的位置。此外，在大多数应用中通常使用对称先验。为了更容易地学习同一语料库中具有不同属性的主题，我们提出了一种新的工作路线，其中利用段落结构。我们的建议是基于以下假设：在许多文本文档语料库中，有正式的约束共享所有的集合，例如节。当这个假设得到满足时，一些段落可能与语料库中所有文档共享的一般概念有关，而另一些段落则包含文档的真实描述。假设每个段落在语义上可以更一般、更具体或更混合，我们寻找方法来衡量这一点，将这种区别转移到主题上，并能够学习我们所谓的具体主题和一般主题。实验表明，这是一个适当的方法来突出结构化文档中的某些段落，同时我们学习有趣的和更多样化的主题。
2018-06-26 cs.CL cs.IR cs.LG
Improving Topic Relevance Model by Mix-structured Summarization and LLM-based Data Augmentation
Sichuan University（四川大学）
本文通过混合结构摘要与基于LLM的数据增强方法，提升社交搜索中查询与文档的主题相关性建模性能。
2025-12-10 cs.CL cs.IR
Hierarchical Graph Topic Modeling with Topic Tree-based Transformer
The Pennsylvania State University（宾夕法尼亚州立大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Nanyang Technological University（南洋理工大学）；University of Electronic Science and Technology of China（电子科技大学）；Singapore Management University（新加坡管理大学）
针对互联文档兼具图层次与主题层次的问题，提出在双曲空间中融合主题树嵌入和图结构的 Transformer 模型，提升层次主题建模效果。
2025-02-17 cs.CL
Cross-Document Topic-Aligned Chunking for Retrieval-Augmented Generation
本文提出跨文档主题对齐分块技术，通过语料层面的知识重建提升检索增强生成系统的忠实度和信息密度，实验显示其在多跳推理和法律文本任务中均取得显著性能提升。
2025-11-08 cs.AI cs.CL cs.IR
TopicViz: Semantic Navigation of Document Collections
School of Computer Science（计算机学院）；Carnegie Mellon University（卡内基梅隆大学）
当人们探索和管理信息时，他们会根据主题和主题进行思考。然而，支持信息探索的软件只能看到表面级别的文本。在本文中，我们将展示如何主题建模-一种用于识别大型文档集合中潜在主题的技术-可以支持语义探索。我们提出TopicViz，一个交互式的信息探索环境。TopicViz将传统的搜索和引用图功能与一系列新颖的交互式可视化相结合，以力导向布局为中心，将文档链接到主题模型发现的潜在主题。我们描述了几个使用场景中，TopicViz支持大型文档集合的快速意义构建。
2011-11-04 cs.AI cs.CL cs.HC
Automatic Text Summarization Approaches to Speed up Topic Model Learning Process
École Polytechnique de Montréal（蒙特利尔理工学院）；LIA - Université d’Avignon et des Pays de Vaucluse（阿维尼翁大学）；Universidad Autónoma Metropolitana Azcapotzalco（阿兹卡波察尔科大都会自治大学）
互联网上的文件数量每天都在增加。出于这个原因，有效和可表达地处理这些信息量成为公司和科学家的主要关注点。通过主题表示来表示文本文档的方法被广泛用于信息检索（IR）中以处理诸如维基百科文章之类的大数据。在大规模数据汇集上使用主题模型的主要困难之一是模型估计所需的材料资源（CPU时间和内存）。为了解决这个问题，我们建议从摘要文档中构建主题空间。在本文中，我们提出了在大数据的背景下的主题空间表示的研究。分析了不同语言的主题空间表示行为。实验表明，从文本摘要估计的主题空间的相关性从完整的文档。这种方法的真正优点是处理时间的增益：我们表明，使用摘要文档可以大大减少处理时间（一般超过60%）。本研究最后指出了不同语言（英语或拉丁语）的文档主题表征之间的差异。
2017-03-20 cs.CL cs.IR
SeDR: Segment Representation Learning for Long Documents Dense Retrieval
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）
最近，稠密检索（DR）已成为一个很有前途的解决方案，文档检索，其中的文档表示是用来执行有效和高效的语义搜索。然而，由于其基于transformer的编码器的二次复杂度和低维嵌入的有限容量，DR在长文档上仍然具有挑战性。目前的DR模型使用次优策略，如截断或拆分和池长文档，导致整个文档信息的利用率很低。在这项工作中，为了解决这个问题，我们提出了段表示学习的长文档稠密检索（SeDR）。在SeDR中，Segment-Interaction Transformer被提出用于将长文档编码为文档感知和片段敏感的表示，同时它保持了拆分和池化的复杂性，并优于DR上的其他片段交互模式。由于长文档编码的GPU内存需求导致DR训练的负性不足，因此进一步提出了Late-Cache Negative，以提供额外的缓存负性，用于优化表示学习。在MS MARCO和TREC-DL数据集上的实验表明，SeDR在DR模型中取得了更优越的性能，并证实了SeDR在长文档检索上的有效性。
2022-11-20 cs.CL cs.IR
Topic-Guided Abstractive Multi-Document Summarization
Harbin Institute of Technology（哈尔滨工业大学）
多文档文摘的一个关键点是了解文档之间的关系。在本文中，我们提出了一种新的抽象MDS模型，在该模型中，我们表示多个文档作为一个异构的图，考虑到不同粒度的语义节点，然后应用图序列框架生成摘要。此外，我们采用神经主题模型来联合发现潜在的主题，这些主题可以作为跨文档的语义单元来桥接不同的文档，并提供全局信息来指导摘要生成。由于主题提取可以被视为一种特殊类型的摘要，它将文本“概括”为更抽象的格式，即，在主题分发方面，我们采用多任务学习策略，对主题和摘要模块进行联合训练，使其相互促进。在Multi-News数据集上的实验结果表明，我们的模型在Rouge指标和人工评价方面都优于以前最先进的MDS模型，同时学习高质量的主题。
2021-10-21 cs.AI cs.CL
Neural Embedding Allocation: Distributed Representations of Topic Models
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）；Atypon Systems（Atypon系统公司）
诸如skip-gram之类的词嵌入模型学习词的语义关系的向量表示，并且文档嵌入模型学习文档的类似表示。另一方面，主题模型提供了文档主题的潜在表示。为了同时获得这些表示的好处，我们提出了一种统一的算法，称为神经嵌入分配（NEA），它通过学习神经嵌入来模仿主题模型，将主题模型解构为单词，主题，文档，作者等的可解释向量空间嵌入。我们展示了NEA的LDA，作者主题模型和最近提出的混合成员跳克主题模型的有效性和通用性，并实现了更好的性能与嵌入相比，几个国家的最先进的模型。此外，我们证明，使用NEA平滑的主题，提高了一致性分数超过原来的主题模型时，主题的数量是大的。
2019-09-10 cs.CL cs.IR cs.LG
Document Informed Neural Autoregressive Topic Models
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学（LMU））
单词周围的上下文信息有助于确定它们的实际含义，例如在人工神经网络或生物神经网络的上下文中使用的“网络”。生成主题模型推断主题词分布，不考虑或只考虑很少的上下文。在这里，我们扩展了神经自回归主题模型，以语言建模的方式利用文档中单词周围的完整上下文信息。这导致在泛化、可解释性和适用性方面的性能提高。我们将我们的建模方法应用于来自各个领域的七个数据集，并证明我们的方法始终优于最先进的生成主题模型。使用学习的表示，我们在检索分数为0.02和F1的文本分类中平均获得了9.6%（0.57 Vs 0.52）的精度和7.2%（0.582 Vs 0.543）的精度。
2018-08-11 cs.CL cs.IR cs.LG
A Novel Feature-based Bayesian Model for Query Focused Multi-document Summarization
监督学习方法和基于LDA的主题模型已经成功地应用于面向查询的多文档摘要领域。在本文中，我们提出了一种新的监督的方法，可以将丰富的句子特征到贝叶斯主题模型的原则性的方式，从而利用主题模型和基于特征的监督学习方法的优势。在TAC2008和TAC2009上的实验证明了该方法的有效性。
2013-12-27 cs.CL cs.IR
Jointly Modeling Topics and Intents with Global Order Structure
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
文档结构建模对于语篇分析及其相关应用具有重要意义。本研究的目标是通过将文档建模为主题词和修辞词的混合来捕获文档意图结构。在同一篇文章中，主题是相对不变的，而句子的修辞功能在语篇中通常是按照一定的顺序发生变化的。提出了一种基于主题建模的贝叶斯无监督模型GMM-LDA，用于分析文档意图结构和订单信息。我们的模型是灵活的，有能力结合的注释和做监督学习。此外，可以引入熵正则化来对主题和意图之间的显著分歧进行建模。我们在无监督和有监督的环境下进行了实验，结果表明我们的模型优于几个最先进的基线。
2015-12-07 cs.CL cs.IR cs.LG
The study of short texts in digital politics: Document aggregation for topic modeling
Pennsylvania State University（宾夕法尼亚州立大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文研究短文本聚合对主题建模的影响，通过分析美国州议员的一百万条推文发现，按账户聚合文档可使主题与州的关联性更强，并在维基百科数据上复现了该结果。
2025-03-07 cs.CL cs.LG
Topic-Guided Reinforcement Learning with LLMs for Enhancing Multi-Document Summarization
Department of Computer Science, University of British Columbia（英属哥伦比亚大学计算机科学系）；Salesforce AI Research（Salesforce人工智能研究）
本文提出一种主题引导的强化学习方法，通过在GRPO框架中引入主题奖励以衡量生成摘要与源文档的主题对齐度，有效改进了多文档摘要的内容选择，并在Multi-News等数据集上持续优于强基线。
2025-09-11 cs.CL
Multi-label Dataless Text Classification with Topic Modeling
State Key Lab of Software Engineering, Wuhan University（武汉大学软件工程国家重点实验室）
手动标记文档既繁琐又昂贵，但它对于训练传统的文本分类器至关重要。近年来，一些无数据文本分类技术被提出来解决这个问题。然而，现有的工作主要集中在单标签分类问题，即，每个文件被限制为属于一个单一的类别。在本文中，我们提出了一种新的种子引导的多标签主题模型，命名为SMTM。SMTM利用与每个类别相关的几个种子词，对没有任何标记文档的文档集合进行多标记分类。在SMTM中，每个类别都与一个单独的类别主题相关联，该主题涵盖了类别的含义。为了适应多标签文档，我们显式模型的类别稀疏SMTM使用尖峰和板先验和弱平滑先验。也就是说，在不使用任何阈值调优的情况下，SMTM会自动为每个文档选择相关的类别。为了结合对种子词的监督，我们提出了种子引导的偏置GPU（即，广义波利亚瓮）抽样程序来指导SMTM的主题推理。在两个公共数据集上的实验表明，SMTM比最先进的替代方案实现了更好的分类精度，甚至在某些情况下优于监督解决方案。
2017-11-05 cs.CL cs.IR
Document Informed Neural Autoregressive Topic Models with Distributional Prior
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学）
我们解决了主题模型中的两个挑战：（1）单词周围的上下文信息有助于确定它们的实际含义，例如，在“人工神经网络“与“生物神经网络”的上下文中使用的“网络”。生成主题模型推断主题词分布，不考虑或只考虑很少的上下文。在这里，我们扩展了神经自回归主题模型，以语言建模的方式利用文档中单词周围的完整上下文信息。该模型被命名为iDocNADE。(2)由于单词出现的数量很小（即，由于短文本中缺乏上下文）以及少量文档的语料库中数据稀疏，主题模型的应用在此类文本上具有挑战性。因此，我们提出了一种简单有效的方法将外部知识纳入神经自回归主题模型：我们使用嵌入作为分布先验。所提出的变体被命名为DocNADEe和iDocNADEe。我们提出了新的神经自回归主题模型变体，这些变体在来自不同领域的7个长文本和8个短文本数据集的泛化性，可解释性（主题一致性）和适用性（检索和分类）方面始终优于最先进的生成主题模型。
2019-01-14 cs.AI cs.CL cs.IR
Improving Contextualized Topic Models with Negative Sampling
Indian Association for the Cultivation of Science（印度科学培育协会）；Ashoka University（阿育王大学）；Indian Institute of Technology Kharagpur（印度理工学院卡哈拉格普尔分校）
主题建模已经成为探索大型文档集的主要方法。最近的主题建模方法使用大型上下文语言模型和变分自编码器。在本文中，我们提出了一个负采样机制的上下文化的主题模型，以提高生成的主题的质量。特别是，在模型训练期间，我们扰动生成的文档主题向量，并使用三元组损失来鼓励从正确的文档主题向量重建的文档与输入文档相似，而与从扰动向量重建的文档不同。在三个公开的基准数据集上进行的不同主题计数的实验表明，在大多数情况下，我们的方法导致主题一致性比基线增加。我们的模型也实现了非常高的主题多样性。
2023-03-27 cs.CL cs.LG
TAN-NTM: Topic Attention Networks for Neural Topic Modeling
Adobe（奥多比公司）；Birla Institute of Technology Science Pilani (BITS Pilani)（比尔拉科学技术学院（皮拉尼））；Indian Institute of Technology Kanpur (IIT Kanpur)（印度理工学院坎普尔分校）
主题模型已被广泛用于学习文本表示和深入了解文档语料库。为了进行主题发现，大多数现有的神经模型要么将文档词袋（BoW）或令牌序列作为输入，然后进行变分推理和BoW重构来学习主题词分布。然而，在文档编码期间利用主题词分布来学习更好的功能还没有被探索太多。为此，我们开发了一个框架TAN-NTM，它通过LSTM将文档处理为一个令牌序列，LSTM的上下文输出以主题感知的方式参与。我们提出了一种新的注意力机制的因素，在主题词的分布，使模型出席相关的话，传达主题相关的线索。然后利用主题注意模块的输出进行变分推理。我们进行了广泛的消融和实验，在几个基准数据集-20 Newsgroups，Yelp Review Polarity和AGNews的NPMI一致性中，现有SOTA主题模型的得分提高了约9- 15%。此外，我们表明，我们的方法学习更好的潜在文档主题功能相比，现有的主题模型，通过改进两个下游任务：文档分类和主题引导的关键词生成。
2021-07-09 cs.CL
Entropic selection of concepts unveils hidden topics in documents corpora
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；University of Zaragoza（萨拉戈萨大学）
科学的组织和进化最近已经成为科学定量研究的对象，这要归功于可以从科学文献中提取的大量信息，例如论文之间的引用和研究人员之间的合著。然而，只有少数研究集中在表征完整文档的概念，可以提取和分析，揭示科学知识的更深层次的组织。不幸的是，有几个概念在文档中是如此常见，以至于它们阻碍了文档语料库的底层主题结构的出现，因为它们在文档之间产生了大量虚假和琐碎的关系。为了识别和删除常见的概念，我们引入了一种方法来衡量他们的相关性，根据一个客观的信息理论的措施，其发生在整个文档语料库的统计。在逐步删除概念，根据这个指标，可以被认为是通用的，我们发现，主题组织显示了相应的更精致的结构。
2018-05-11 cs.CL cs.DL cs.SI
Incorporating Domain Knowledge To Improve Topic Segmentation Of Long MOOC Lecture Videos
主题分割在减少演讲视频中教授的主题的搜索空间方面发挥了重要作用，特别是当视频元数据缺乏主题明智分割信息时。该分段信息简化了用户搜索、定位和浏览讲座视频内的主题的努力。在这项工作中，我们提出了一种算法，结合国家的最先进的语言模型和领域知识图谱自动检测不同的连贯主题内存在一个长的讲座视频。我们使用语音到文本转录的语言模型来捕获整个视频的隐含意义，而知识图谱为我们提供了该主题的不同概念之间的特定于领域的依赖关系。此外，利用领域知识，我们可以捕捉教师在教学时绑定和连接不同概念的方式，这有助于我们实现更好的分割准确性。我们在NPTEL讲座视频上测试了我们的方法，整体评估表明，它优于文献中描述的其他方法。
2020-12-08 cs.CL cs.IR
Document Similarity for Texts of Varying Lengths via Hidden Topics
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；T. J. Watson Research Center, IBM（IBM T. J.沃森研究中心）
测量文本之间的相似性是几个应用程序的重要任务。现有的方法来衡量文档相似性是不够的文档对具有非可比长度，如长文档及其摘要。这是因为词汇，上下文和抽象之间的差距丰富的细节和它的简明摘要的抽象信息的长文档。在本文中，我们提出了一个文档匹配的方法来弥补这一差距，通过比较隐藏主题的共同空间中的文本。我们评估了两个匹配任务的匹配算法，发现它始终广泛优于强基线。我们还强调了将领域知识结合到文本匹配中的好处。
2019-03-26 cs.CL
Dynamic and Static Topic Model for Analyzing Time-Series Document Collections
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
为了从文本中提取有意义的主题，应该适当考虑它们的结构。在本文中，我们的目标是分析结构化的时间序列文件，如收集的新闻文章和一系列的科学论文，其中的主题随着时间的推移，取决于过去的多个主题，并在每个时间彼此相关。为此，我们提出了一个动态和静态的主题模型，它同时考虑了动态结构的时间主题演变和静态结构的主题层次在每个时间。我们展示了科学论文集的实验结果，其中所提出的方法优于传统的模型。此外，我们展示了一个提取的主题结构的例子，我们发现这有助于分析研究活动。
2018-05-06 cs.CL
Topic Model Supervised by Understanding Map
Tsinghua University（清华大学）
受物理学中质心概念的启发，提出了一种扩展的语义质心（SCOM），用于发现文档的抽象主题。这个概念是在一个框架模型下，称为理解地图监督主题模型（UM-S-TM）。UM-S-TM的设计目标是让文档内容和语义网络（具体地说，理解地图）在解释文档的含义方面发挥作用。基于不同的理由，设计了三种可能的方法来发现文档的SCOM。在人工文档和理解地图上进行了实验，以检验其结果。此外，还测试了它的文档矢量化能力和顺序信息捕获能力。我们还比较了UM-S-TM与概率主题模型，如潜在狄利克雷分配（LDA）和概率潜在语义分析（pLSA）。
2022-05-27 cs.CL
Improving Topic Models with Latent Feature Word Representations
Macquarie University（麦考瑞大学）；Santa Fe Institute（圣塔菲研究所）
概率主题模型被广泛用于发现文档集合中的潜在主题，而词的潜在特征向量表示已被用于在许多NLP任务中获得高性能。在本文中，我们扩展了两个不同的Dirichlet多项式主题模型，通过将在非常大的语料库上训练的单词的潜在特征向量表示，以改善在较小的语料库上学习的单词-主题映射。实验结果表明，通过使用来自外部语料库的信息，我们的新模型产生了显着的改善主题一致性，文档聚类和文档分类任务，特别是在数据集少或短的文档。
2018-10-15 cs.CL cs.IR cs.LG
Discovering topics with neural topic models built from PLSA assumptions
Dailymotion（Dailymotion公司）
本文提出了一个文本语料库中无监督主题发现的模型。该模型使用文档、单词和主题查找表嵌入作为神经网络模型参数，以构建单词给定主题的概率和主题给定文档的概率。这些概率用于通过边缘化来恢复给定文档的单词的概率。对于文档数量可能达到数十亿的非常大的语料库，使用基于神经自动编码器的文档嵌入比使用传统的查找表嵌入更具可扩展性。因此，我们将基于查找的文档嵌入模型扩展到基于连续自动编码器的模型。我们的模型使用概率潜在语义分析（PLSA）假设进行训练。我们在六个内容丰富的数据集上评估了我们的模型。实验结果表明，所提出的神经主题模型是非常有效的捕获相关的主题。此外，考虑到困惑度量，进行评估基准测试表明，我们的主题模型优于潜在的Dirichlet分配（LDA）模型，这是经典的用于解决主题发现任务。
2019-11-25 cs.CL cs.LG stat.ML
Neural Topic Modeling with Continual Lifelong Learning
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学（LMU））
针对短文档数据稀疏导致主题建模效果不佳的问题，提出终身神经主题建模（LNTM）框架，通过共享生成同源和选择性数据增强等方法持续积累主题并减少灾难性遗忘，在困惑度、主题连贯性和信息检索上取得显著提升。
2023-06-27 cs.CL cs.IR cs.LG
Tag-Weighted Topic Model For Large-scale Semi-Structured Documents
到目前为止，在互联网的发展过程中已经出现了大量的半结构化文档（SSD）。这些SSD包含非结构化功能（例如，纯文本）和元数据（例如，标签）。以往的工作主要集中在非结构化文本的建模，最近，已经提出了一些其他的方法来建模的非结构化文本与特定的标签。建立一个通用的SSD模型仍然是一个重要的问题，无论是模型的适应性和效率。我们提出了一种新的方法来建模的SSD的所谓的标签加权主题模型（TWTM）。TWTM是一个利用标签和单词信息的框架，不仅可以学习文档主题和主题词分布，还可以推断文本挖掘任务的标签主题分布。我们提出了一个有效的变分推理方法与EM算法估计模型参数。同时，在MapReduce分布式计算平台下，提出了三种大规模SSD建模方案。实验结果表明，该模型的有效性，效率和鲁棒性，通过比较与国家的最先进的方法在文档建模，标签预测和文本分类。我们还展示了三种分布式解决方案在文档建模的时间和准确性方面的性能。
2015-07-30 cs.CL cs.IR cs.LG
Latent Tree Models for Hierarchical Topic Detection
The Hong Kong University of Science and Technology（香港科技大学）；Ant Financial Services Group（蚂蚁金融服务集团）；The Education University of Hong Kong（香港教育大学）
我们提出了一种新的分层主题检测方法，主题是通过多种方式聚类文件。具体来说，我们使用一类称为分层潜在树模型（HLTM）的图形模型来建模文档集合。HLTM底层的变量是观察到的二进制变量，表示文档中单词的存在/不存在。其他级别的变量是二进制潜变量，最低潜级别的变量表示单词同现模式，较高级别的变量表示较低级别的模式同现。每个潜在变量给出了文档的软分区，分区中的文档簇被解释为主题。在高层次的潜在变量捕获长范围的词共现模式，从而给主题更一般的主题，而那些在低层次的捕获短范围的词共现模式，并给主题更具体的主题。与基于LDA的主题模型不同，HLTM不引用文档生成过程，而是使用word变量而不是token变量。它们使用树结构来建模主题和词之间的关系，这有利于发现有意义的主题和主题层次。
2016-12-21 cs.CL cs.IR cs.LG
Mixing Dirichlet Topic Models and Word Embeddings to Make lda2vec
Stitch Fix（Stitch Fix公司）
分布式密集词向量已被证明是有效的，在捕捉语言中的标记级语义和句法的语义，而主题模型可以形成可解释的表示在文档。在这项工作中，我们描述了lda2vec，一个模型，学习密集的词向量与Dirichlet分布的潜在文档级混合的主题向量。与连续密集的文档表示相反，该公式通过非负单纯形约束产生稀疏的、可解释的文档混合物。我们的方法很容易融入现有的自动微分框架，并允许无监督的文档表示面向科学家使用，同时学习词向量和它们之间的线性关系。
2016-05-06 cs.CL
Explainable and Discourse Topic-aware Neural Language Understanding
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学（LMU））
本文提出一种神经复合语言模型，在主题与语言模型的联合学习框架中，引入可解释的主题表示与句子级主题篇章建模，实验证明其有效提升了多任务的语言理解能力。
2023-06-27 cs.AI cs.CL cs.LG
Zero-shot topic generation
Primer
我们提出了一种方法来生成主题，使用一个模型训练只为文档标题生成，在训练过程中给出零个主题的例子。我们利用的功能，捕捉文档中的候选跨度的相关性，为该文档生成一个标题。输出是与描述文档最相关的短语的加权集合并在语料库中区分它，而无需访问语料库的其余部分。我们进行了一项双盲试验，其中人类注释者对我们机器生成的主题以及与《卫报》和《赫芬顿邮报》的新闻文章相关的原始人类写作主题的质量进行了评分。结果表明，我们的zero-shot模型生成的新闻文档的主题标签，平均质量等于或高于人类编写的，由人类判断。
2020-04-29 cs.CL
GRETEL: Graph Contrastive Topic Enhanced Language Model for Long Document Extractive Summarization
National Centre for Text Mining（国家文本挖掘中心）；The University of Manchester（曼彻斯特大学）；Chancefocus AMC
最近，神经主题模型（NTM）已被纳入到预训练的语言模型（PLM），以捕捉全局语义信息的文本摘要。然而，在这些方法中，仍然存在的方式，他们捕获和集成的全局语义信息的限制。在本文中，我们提出了一种新的模型，图对比主题增强语言模型（GRETEL），它结合了图对比主题模型与预训练的语言模型，充分利用全局和局部上下文语义的长文档提取摘要。为了更好地捕获全局语义信息并将其合并到PLM中，图对比主题模型集成了分层Transformer编码器和图对比学习，以融合来自全局文档上下文和黄金摘要的语义信息。为此，GRETEL鼓励模型有效地提取与黄金摘要主题相关的突出句子，而不是覆盖次优主题的冗余句子。在一般领域和生物医学数据集上的实验结果表明，我们提出的方法优于SOTA方法。
2022-08-21 cs.CL
Lbl2Vec: An Embedding-Based Approach for Unsupervised Document Retrieval on Predefined Topics
Technical University of Munich（慕尼黑工业大学）
在本文中，我们考虑使用无监督的方法从未标记的文档数据集中检索具有预定义主题的文档的任务。所提出的无监督方法只需要少量的关键字描述各自的主题，没有标记的文件。现有的方法要么严重依赖于大量的额外编码的世界知识或术语文档频率。此外，我们引入了一种方法，学习联合嵌入的文档和词向量，仅从未标记的文档数据集，以找到语义相似的主题所描述的关键字的文件。所提出的方法几乎不需要文本预处理，但同时有效地检索相关文档的概率很高。当从公开和常用的数据集连续检索不同预定义主题的文档时，我们在一个数据集上实现了0.95的接收器工作特征曲线值下的平均面积，在另一个数据集上实现了0.92。此外，我们的方法可以用于多类文档分类，而不需要预先为数据集分配标签。与无监督分类基线相比，我们将各自数据集的F1分数从76.6增加到82.7，从61.0增加到75.1。为了便于复制我们的方法，我们将开发的Lbl 2 Vec代码作为3-Clause BSD许可证下的即用型工具公开提供。
2022-10-12 cs.AI cs.CL
Topic-Aware Encoding for Extractive Summarization
文档摘要提供了一种更快地理解文本文档集合的工具，并有几个实际应用。随着在线文本数据的增长，近年来提出了许多摘要模型。基于序列到序列（Seq2Seq）的神经摘要模型由于其高性能而在摘要领域中应用最广泛。这是因为在编码时充分考虑了文本中的语义信息和结构信息。然而，现有的抽取式摘要模型很少关注和利用中心主题信息来辅助摘要的生成，导致模型不能保证生成的摘要是在主主题下生成的。一个冗长的文档可以跨越多个主题，而一个摘要无法公正地处理所有主题。因此，生成高质量摘要的关键是确定中心主题，并在此基础上构建摘要，特别是对于长文档。我们提出了一个主题感知编码的文档摘要来处理这个问题。该模型有效地结合了句法级和主题级信息，构建了一个全面的句子表示。具体而言，在基于神经元的文本级表示学习中添加神经元主题模型，以充分考虑用于捕获原始文档中的关键内容的中心主题信息。在三个公共数据集上的实验结果表明，我们的模型优于最先进的模型。
2022-03-31 cs.CL
Topics and Label Propagation: Best of Both Worlds for Weakly Supervised Text Classification
TCS Research, Tata Consultancy Services（塔塔咨询服务公司研究部）；Indian Institute of Technology Bombay（印度理工学院孟买分校）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
提出了一种基于标签传播的弱监督文本分类算法。我们构建了一个图，其中每个文档由一个节点表示，边权重表示文档之间的相似性。此外，我们发现潜在的主题使用潜在狄利克雷分配（LDA）和丰富的文档图，包括额外的节点的形式的主题。主题和文本文档之间的边权重表示它们之间的“亲和力”水平。我们的方法不需要文档级别的标签，相反，它只需要手动标签的主题节点。这大大减少了所需的监督水平，因为只有少数几个主题被观察到足以达到足够高的准确性。标签传播算法在这个丰富的图上被用来在节点之间传播标签。我们的方法结合了标签传播（通过文档-文档相似性）和主题建模（用于最小但智能的监督）的优点。我们证明了我们的方法在各种数据集上的有效性，并与最先进的弱监督文本分类方法进行了比较。
2017-12-04 cs.CL cs.LG
Latent Topic Models for Hypertext
School of CS and Eng.（计算机科学与工程学院）；IBM Research Laboratory in Haifa（IBM海法研究实验室）；The Hebrew University（希伯来大学）；Haifa University（海法大学）
潜在主题模型作为一种无监督的主题发现技术已经成功地应用于大型文档集。随着超文本文档集合（如Internet）的激增，人们对将这些方法扩展到超文本也产生了极大的兴趣[6，9]。这些方法通常以类似于它们如何建模单词的方式对链接进行建模-以与在标准主题模型中对文档-单词共现矩阵进行建模相同的方式对文档-链接共现矩阵进行建模。在本文中，我们提出了一个概率生成模型的超文本文档集合，明确建模的链接的生成。具体来说，从单词w到文档d的链接直接取决于w的主题在d中的频率，以及d的入度。我们展示了如何在这个模型上有效地执行EM学习。通过不将链接建模为类似于单词，我们最终使用更少的自由参数并获得更好的链接预测结果。
2012-06-13 cs.CL cs.IR cs.LG
Neural Topic Model via Optimal Transport
Monash University（莫纳什大学）
近年来，受变分自编码器启发的神经主题模型（Neural Topic Models，NTMs）由于其在文本分析方面的良好效果而受到越来越多的关注。然而，它通常是很难为现有的NTMs，以实现良好的文件表示和一致/多样的主题在同一时间。此外，它们在短文档上的性能往往会严重下降。重新参数化的要求还可能包括其培训质量和模型灵活性。为了解决这些缺点，我们提出了一个新的神经主题模型通过最优传输（OT）理论。具体来说，我们建议通过直接最小化文档的单词分布的OT距离来学习文档的主题分布。重要的是，OT距离的成本矩阵对主题和词之间的权重进行建模，该权重由主题和词之间在嵌入空间中的距离构造。我们提出的模型可以有效地训练，具有可微损失。大量的实验表明，我们的框架显着优于国家的最先进的NTM发现更连贯和多样化的主题，并获得更好的文件表示为常规和短文本。
2022-05-31 cs.CL cs.IR cs.LG
