Dynamic Topic Analysis in Academic Journals using Convex Non-negative Matrix Factorization Method
Northeastern University（东北大学）；China Criminal Police University（中国刑事警察学院）；Carnegie Mellon University（卡内基梅隆大学）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
针对学术主题演化分析需求，本文提出结合凸优化的两阶段动态主题分析框架，通过双层NMF提取年度主题、凸优化算法优化主题结构，提升了主题一致性、稀疏性和可解释性。
2025-03-23 cs.IR cs.LG cs.SY
Hierarchical Latent Semantic Mapping for Automated Topic Generation
School of Information and Communication Engineering（信息与通信工程学院）；Beijing University of Posts and Telecommunications（北京邮电大学）
许多信息存在于前所未有的大量文本数据中。管理这些大规模文本数据的分配是许多领域的重要问题。主题模型在这个问题上表现得很好。传统的生成式模型（PLSA，LDA）是话题建模的主流方法，近年来对话题生成的研究主要集中在对这些模型的改进和扩展上。然而，传统生成模型的结果对主题数量K敏感，必须手动指定。从语料库中生成主题的问题类似于网络中的社区发现。许多有效的算法可以自动地从网络中发现社区，而无需手动指定社区的数量。受这些算法的启发，本文提出了一种新的基于层次潜在语义映射（HLSM）的主题自动生成方法。HLSM计算潜在主题空间中每对词之间的关联，然后构建具有这种关联的词的单分网络，并从该网络分层生成主题。我们将HLSM应用于几个文档集合，并与几种最先进的方法进行了实验比较，证明了其良好的性能。
2015-11-26 cs.CL cs.IR cs.LG
A Reproducible Framework for Neural Topic Modeling in Focus Group Analysis
National Engineering School of Tunis, University of Tunis El Manar（突尼斯国家工程学院，突尼斯El Manar大学）；Pasteur Institute of Tunis, University of Tunis El Manar（突尼斯巴斯德研究所，突尼斯El Manar大学）；Mediterranean Institute of Technology, South Mediterranean University（地中海技术研究所，南地中海大学）
本文提出了一种基于BERTopic的神经主题建模框架，用于分析焦点小组讨论，通过多标准评估获得更高凝聚度的主题模型，并验证了其可解释性。
2025-12-02 cs.CL cs.HC cs.LG
Unsupervised Terminological Ontology Learning based on Hierarchical Topic Modeling
Northwestern University（西北大学）；Intel Corporation（英特尔公司）
在本文中，我们提出了层次关系为基础的潜在狄利克雷分配（hrLDA），数据驱动的层次主题模型，从大量的异构文档中提取术语本体。与传统的主题模型相比，hrLDA依赖于名词短语而不是一元语法，考虑语法和文档结构，并通过主题关系丰富主题层次结构。通过一系列的实验，我们证明了hrLDA优于现有的主题模型，特别是在建立层次结构。此外，我们说明了鲁棒性的hrLDA在噪声数据集的设置，这是可能发生在许多实际情况下。我们的本体评价结果表明，从hrLDA提取的本体是非常有竞争力的领域专家创建的本体。
2017-08-29 cs.CL cs.IR cs.LG
Multi-view and Multi-source Transfers in Neural Topic Modeling with Pretrained Topic and Word Embeddings
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学（LMU））
虽然词嵌入和主题是互补的表示，但过去的一些工作仅在（神经）主题建模中使用预训练的词嵌入来解决短文本或小文档集合中的数据稀疏问题。然而，没有先前的工作采用（预先训练的潜在）的主题在迁移学习范例。在本文中，我们提出了一种方法（1）使用从大型源语料库中获得的潜在主题进行知识转移，以及（2）通过神经主题建模中的两种表示（或视图）联合转移知识，以提高主题质量，更好地处理目标语料库中的多义和数据稀疏问题。在此过程中，我们首先从一个或多个源语料库中积累主题和单词表示，以构建主题和单词向量池。然后，我们识别一个或多个相关的源域，并通过相应的池利用相应的主题和单词特征来指导稀疏目标域中的有意义的学习。我们量化的主题和文件表示的质量，通过泛化（困惑），可解释性（主题连贯性）和信息检索（IR）使用短文本，长文本，小型和大型的文件集，从新闻和医疗领域。我们已经证明了国家的最先进的结果主题建模与建议的框架。
2019-09-17 cs.CL cs.IR cs.LG
HTMOT : Hierarchical Topic Modelling Over Time
ULiege（列日大学）；HEC Liege（列日高等商学院）
多年来，主题模型提供了一种从文本中提取见解的有效方法。然而，虽然已经提出了许多模型，没有一个能够建模的主题时间性和层次联合。建模时间通过分离词汇上接近但时间上不同的主题来提供更精确的主题，而建模层次结构提供了文档语料库的内容的更详细的视图。因此，在这项研究中，我们提出了一种新的方法，HTMOT，随着时间的推移进行分层主题建模。我们训练HTMOT使用吉布斯采样的新实现，这是更有效的。具体来说，我们表明，只有应用时间建模深子主题提供了一种方法来提取特定的故事或事件，而高层次的主题提取语料库中的较大的主题。我们的结果表明，我们的训练过程是快速的，可以提取准确的高级别主题和时间上精确的子主题。我们测量我们的模型的性能使用Word入侵任务，并概述了这种评估方法的一些限制，特别是对于层次模型。作为案例研究，我们重点关注了2020年航天工业的各种发展。
2023-01-24 cs.CL cs.IR cs.LG
Improving Topic Models with Latent Feature Word Representations
Macquarie University（麦考瑞大学）；Santa Fe Institute（圣塔菲研究所）
概率主题模型被广泛用于发现文档集合中的潜在主题，而词的潜在特征向量表示已被用于在许多NLP任务中获得高性能。在本文中，我们扩展了两个不同的Dirichlet多项式主题模型，通过将在非常大的语料库上训练的单词的潜在特征向量表示，以改善在较小的语料库上学习的单词-主题映射。实验结果表明，通过使用来自外部语料库的信息，我们的新模型产生了显着的改善主题一致性，文档聚类和文档分类任务，特别是在数据集少或短的文档。
2018-10-15 cs.CL cs.IR cs.LG
Exploring Topic Trends in COVID-19 Research Literature using Non-Negative Matrix Factorization
Dhirubhai Ambani Institute of Information and Communication Technology（德鲁拜·安巴尼信息与通信技术学院）；Georgia Institute of Technology（佐治亚理工学院）
本研究利用NMF主题建模方法分析CORD-19数据集，经预处理、tf-idf特征提取及稳定性分析确定最优主题数，追踪COVID-19研究主题的时间演变，为领域研究提供知识结构参考。
2025-03-23 cs.CL
Nonparametric Relational Topic Models through Dependent Gamma Processes
University of Technology Sydney（悉尼科技大学）；Shanghai University（上海大学）
传统的关系主题模型提供了一种从文档网络中发现隐藏主题的方法。许多理论和实际的任务，如降维，文档聚类，链接预测，受益于这些揭示的知识。然而，现有的关系主题模型是基于一个假设，即隐藏主题的数量是已知的，这是不切实际的，在许多现实世界的应用。因此，为了放松这一假设，本文提出了一个非参数关系主题模型。在其生成模型中，我们使用随机过程，而不是使用固定维的概率分布。具体地，伽马过程被分配给每个文档，其表示该文档的主题兴趣。虽然这种方法提供了一种优雅的解决方案，但在对典型文档网络的固有网络结构进行数学建模时，它带来了额外的挑战，即，两个空间上更接近的文档往往具有更相似的主题。此外，我们要求所有文档共享主题。为了解决这些挑战，我们使用一个子采样策略，每个文件分配一个不同的伽玛过程从全局伽玛过程，和子采样概率的文件分配与马尔可夫随机场约束，继承了文件的网络结构。通过设计的后验推理算法，可以同时发现隐藏主题及其数量。在合成和真实网络数据集上的实验结果表明，该算法能够学习隐藏主题，更重要的是学习主题的数量。
2015-03-30 cs.CL cs.IR cs.LG
Less is More: Learning Prominent and Diverse Topics for Data Summarization
Peking University（北京大学）；University of Michigan（密歇根大学）
统计主题模型有效地促进了大规模数据集的探索。许多模型已经被开发并广泛用于总结新闻，科学，社交媒体和数字人文领域的语义结构。然而，数据探索任务中的一个共同和实际的目标不是枚举所有现有的主题，而是快速提取广泛覆盖语料库内容的代表性主题，即，一些主题可以作为数据的很好的总结。大多数现有的主题模型适合完全相同数量的主题作为用户指定的，这给用户施加了不必要的负担，谁拥有有限的先验知识。相反，我们提出了新的模型，能够学习更少，但更有代表性的主题的数据汇总的目的。我们提出了一种增强的随机游走，允许突出的主题吸收令牌从类似的和较小的主题，从而提高了顶部的主题提取的多样性。这种强化随机游走作为一个一般的过程嵌入在经典的主题模型，我们得到\textit{diverse topic models}，能够提取最突出的和不同的主题数据。这些不同的主题模型的推理过程仍然是简单和有效的经典模型。实验结果表明，不同的主题模型不仅发现主题，更好地总结数据，但也需要最少的先验知识的用户。
2016-12-01 cs.CL cs.IR cs.LG
Fully Bayesian Approaches to Topics over Time
Universidad Nacional de Educación a Distancia (UNED)（国立远程教育大学（UNED））；Cohere（科here公司）；mrHouston Tech Solutions（休斯顿先生技术解决方案公司）
针对时间主题模型非完全贝叶斯导致的稳定性问题，提出完全贝叶斯BToT及加权变体WBToT，通过平衡时间与词模态，在SOTU和COVID-19数据上显著提升事件捕捉能力。
2025-04-21 cs.CL cs.LG
Topic Extraction of Crawled Documents Collection using Correlated Topic Model in MapReduce Framework
University of Computer Studies（计算机研究大学）；Faculty of Computing（计算机学院）
大量的可用研究文档的巨大增长促使研究人员提出主题模型来提取文档集合中的潜在语义主题。然而，如何从文档集合中提取出隐藏的主题已经成为许多主题模型应用的关键任务。此外，传统的主题建模方法遭受的可扩展性问题时，文档集合的大小增加。本文在MapReduce框架下实现了基于变分期望最大化算法的相关主题模型，解决了相关主题模型的可扩展性问题。所提出的方法利用从公共数字图书馆爬取的数据集。此外，抓取的文档的全文进行分析，以提高MapReduce CTM的准确性。最后通过实验验证了该算法的有效性。从评估，所提出的方法具有可比的性能方面的主题一致性与LDA实现MapReduce框架。
2020-01-06 cs.CL cs.IR cs.LG
Topic Modeling over Short Texts by Incorporating Word Embeddings
Hefei University of Technology（合肥工业大学）；University of Massachusetts Boston（马萨诸塞大学波士顿分校）；University of Louisiana at Lafayette（路易斯安那大学拉斐特分校）
从大量的短文本中推断主题成为许多内容分析任务的关键但具有挑战性的任务，例如内容特征化，用户兴趣分析和新兴主题检测。现有的方法，如概率潜在语义分析（PLSA）和潜在狄利克雷分配（LDA）不能很好地解决这个问题，因为只有非常有限的词共现信息是可用的短文本。本文研究如何将外部词汇相关知识融入到短文中，以提高话题建模的连贯性。基于词嵌入从大规模语料库中学习词的语义表示的最新研究成果，本文提出了一种新的从短文本中学习潜在主题的方法--基于嵌入的主题模型（Embedding-based Topic Model，ETM）。ETM不仅通过将短文本聚合成长伪文本来解决非常有限的词共现信息的问题，而且还利用马尔可夫随机场正则化模型，该模型使相关词有更好的机会被放入同一主题中。在真实数据集上的实验验证了该模型的有效性。
2016-09-27 cs.CL cs.IR cs.LG
TopicProphet: Prophesies on Temporal Topic Trends and Stocks
Emory CS Department（埃默里大学计算机科学系）
TopicProphet通过主题建模和时间分析，改进股票预测模型的训练数据质量，提升金融百分比变化预测效果。
2025-12-05 cs.AI cs.CL cs.LG
FASTopic: Pretrained Transformer is a Fast, Adaptive, Stable, and Transferable Topic Model
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；The Pennsylvania State University（宾夕法尼亚州立大学）；University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
本文提出 FASTopic 主题模型，通过 DSR 重建文档、主题与词嵌入间的语义关系，并利用 ETP 进行最优传输正则化，在多项基准上实现更优效果、效率、稳定性与可迁移性。
2024-10-26 cs.AI cs.CL
BERTilda: Explainable Topic Lifecycle Tracking with Split/Merge Detection via Similarity-and-Flow Temporal Graphs
Faculty of Sciences, University of Porto（波尔图大学理学院）；INESCTEC
BERTilda是基于嵌入的可解释时序主题框架，通过构建含语义相似度与双向覆盖信号的主题图检测主题分裂/合并等转换，在政治语料库上验证后其生命周期标签标注同意率优于基线方法。
2026-08-20 cs.CL cs.LG
Online Bayesian Collaborative Topic Regression
Zhejiang University（浙江大学）；Singapore Management University（新加坡管理大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
协作主题回归（CTR）结合了概率矩阵分解（PMF）和主题建模（例如，LDA）的推荐系统，在许多应用中取得了越来越多的成功。现有的CTR算法虽然具有许多优点，但也存在一些严重的局限性。首先，它们通常被设计为以批量学习的方式工作，这使得它们不适合处理真实世界推荐系统中的流数据或大数据。其次，LDA的文档特定主题比例被馈送到下游PMF，但不是反向的，这是次优的，因为在发现文档的低维表示时没有利用评级信息，因此可能导致用于预测的次优表示。在本文中，我们提出了一种新的方案，在线贝叶斯协作主题回归（OBCTR），这是有效的和可扩展的学习数据流。特别地，我们{ \it联合}以在线学习的方式优化PMF和LDA的组合目标函数，其中PMF和LDA任务可以在在线学习过程中相互加强。我们令人鼓舞的实验结果对现实世界的数据验证了所提出的方法的有效性。
2016-05-28 cs.IR cs.LG
Short Text Topic Modeling Techniques, Applications, and Performance: A Survey
University of Louisiana at Lafayette（路易斯安那大学拉斐特分校）
分析短文本推断歧视性和连贯的潜在主题，这是一个关键的和基本的任务，因为许多现实世界的应用程序需要短文本的语义理解。传统的长文本主题建模算法（例如，PLSA和LDA）不能很好地解决这个问题，因为在短文本中只有非常有限的词共现信息。因此，短文本主题建模近年来已经引起了机器学习研究界的广泛关注，旨在克服短文本中的稀疏性问题。在这项调查中，我们进行了全面的审查，各种短文本主题建模技术提出的文献。我们提出了三类方法的基础上狄利克雷多项式混合，全球词同现，自聚合，在每一类的代表性方法的例子和分析其性能的各种任务。我们开发了第一个全面的开源库，称为STTM，用于Java，将所有调查的算法集成在一个统一的界面，基准数据集，以促进在这一研究领域的新方法的扩展。最后，我们在许多真实世界的数据集上评估了这些最先进的方法，并将它们的性能与长文本主题建模算法进行了比较。
2019-04-13 cs.CL cs.IR
Parsimonious Topic Models with Salient Word Discovery
Pennsylvania State University（宾夕法尼亚州立大学）
我们提出了一个简约的主题模型的文本语料库。在相关的模型中，如潜在狄利克雷分配（LDA），所有的单词都是特定于主题的，即使许多单词在不同的主题中以相似的频率出现。我们的建模确定了每个主题的突出词，这些词具有特定主题的概率，其余的由通用共享模型解释。此外，在LDA中，所有主题原则上都存在于每个文档中。相比之下，我们的模型给出了稀疏的主题表示，确定每个文档的相关主题的（小）子集。我们推导出贝叶斯信息准则（BIC），平衡模型的复杂性和拟合优度。在这里，有趣的是，我们确定了有效的样本量和相应的惩罚特定于我们的模型中的每个参数类型。我们最小化BIC以完全无监督的方式共同确定整个模型-特定于主题的单词，特定于文档的主题，所有模型参数值，{ \it和}主题的总数。三个文本语料库和图像数据集的结果表明，我们的模型实现了更高的测试集的可能性和更好的协议与地面真相类标签，LDA和设计的模型，以纳入稀疏性。
2014-09-11 cs.CL cs.IR cs.LG
Integrating topic modeling and word embedding to characterize violent deaths
University of California-Los Angeles（加州大学洛杉矶分校）；UCLA Fielding School of Public Health（加州大学洛杉矶分校菲尔丁公共卫生学院）
有一个不断升级的需要的方法，以确定潜在的模式，在文本数据从许多领域。我们引入了一种新的方法来识别语料库中的主题，并表示为主题序列的文件。话语原子主题建模借鉴了理论机器学习的进步，将主题建模和词嵌入集成在一起，充分利用了各自的独特功能。我们首先确定一组向量（“话语原子”），提供了一个稀疏表示的嵌入空间。原子向量可以被解释为潜在主题：通过生成模型，原子映射到单词的分布上;人们还可以推断出生成单词序列的主题。我们用一个未充分利用的文本的突出例子来说明我们的方法：美国国家暴力死亡报告系统（NVDRS）。NVDRS用结构化变量和非结构化叙述总结了暴力死亡事件。我们在叙述中确定了225个潜在主题（例如，死亡和身体攻击的准备）;这些主题中有许多没有被现有的结构化变量所捕获。基于已知的性别自杀和杀人模式，以及最近对语义空间中性别偏见的研究，我们确定了我们主题的性别偏见（例如，关于止痛药的话题是女性的）。然后，我们比较性别偏见的主题，他们的患病率在叙述女性与男性受害者。结果提供了关于致命暴力及其性别性质的报告的详细量化情况。我们的方法提供了一个灵活的和广泛适用的方法来建模文本数据中的主题。
2021-06-28 cs.CL cs.CY cs.LG
Are Neural Topic Models Broken?
University of Maryland（马里兰大学）
最近，主题模型的自动化和人工评估之间的关系受到了质疑。方法开发人员已经将新主题模型变体的有效性押在自动化测量上，而它们未能近似人类偏好将这些模型置于不确定的基础上。此外，现有的评价模式往往脱离现实世界的使用。受内容分析作为主题建模的主要现实用例的启发，我们分析了主题模型的两个相关方面，这两个方面会影响其在实践中的有效性和可信度：其估计的稳定性以及模型发现的类别与数据中人类确定的类别相一致的程度。我们发现，神经主题模型在这两个方面的表现都不如一个既定的经典方法。我们采取了一个步骤，以解决这两个问题的串联，证明了一个简单的集成方法可以可靠地优于合奏的成员。
2022-10-28 cs.CL cs.HC
Unveiling the semantic structure of text documents using paragraph-aware Topic Models
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
经典的主题模型是在词袋假设下构建的，为了简单起见，忽略了词的位置。此外，在大多数应用中通常使用对称先验。为了更容易地学习同一语料库中具有不同属性的主题，我们提出了一种新的工作路线，其中利用段落结构。我们的建议是基于以下假设：在许多文本文档语料库中，有正式的约束共享所有的集合，例如节。当这个假设得到满足时，一些段落可能与语料库中所有文档共享的一般概念有关，而另一些段落则包含文档的真实描述。假设每个段落在语义上可以更一般、更具体或更混合，我们寻找方法来衡量这一点，将这种区别转移到主题上，并能够学习我们所谓的具体主题和一般主题。实验表明，这是一个适当的方法来突出结构化文档中的某些段落，同时我们学习有趣的和更多样化的主题。
2018-06-26 cs.CL cs.IR cs.LG
Understanding Cross-Domain Adaptation in Low-Resource Topic Modeling
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文针对低资源主题建模提出域适应框架 DALTA，通过共享编码器、专用解码器与对抗对齐实现选择性知识迁移，并以泛化界和实验证明其性能优势。
2025-06-09 cs.CL
Recommendation System based on Semantic Scholar Mining and Topic modeling: A behavioral analysis of researchers from six conferences
Nanjing University of Science and Technology（南京理工大学）
推荐系统在互联网社会中有着重要的作用。计算机科学中的推荐系统在互联网门户的各个方面都有非常实际的用途，例如社交网络和图书馆网站。实现推荐系统的方法有很多种，潜在狄利克雷分配（LDA）是主题建模中的一种常用技术。近年来，研究人员提出了许多基于推荐系统和LDA的方法。根据主题的重要性，本文发现了主题的发展趋势，并发现了LDA主题与学术背景文献之间的关系。实际上，我们应用基于Gibbs抽样算法的概率主题建模，从DBLP数据集中的六个计算机科学会议出版物中进行语义挖掘。根据我们的实验结果，我们的语义框架可以有效地帮助组织更好地组织这些会议，并涵盖未来的研究课题。
2018-12-20 cs.CL cs.IR
SenGen: Sentence Generating Neural Variational Topic Model
AWS Deep Learning, Amazon（亚马逊 AWS 深度学习）；IBM Research（IBM 研究院）
我们提出了一种新的主题模型，它通过一次对一个整句的主题进行采样来生成文档，并使用以句子主题为条件的RNN解码器来生成句子中的单词。我们认为，这种新颖的形式主义将帮助我们不仅可视化和模型的主题话语结构在一个文件中更好，但也可能导致更多的可解释的主题，因为我们现在可以说明主题抽样代表性的句子，而不是一袋的话或短语。我们提出了一种用于学习的变分自动编码器方法，其中我们使用因子分解的变分编码器，该编码器使用前馈网络独立地对文档的主题混合向量进行后验建模，并使用RNN对句子的主题分配进行后验建模。我们在两个不同数据集上的初步实验表明了早期的希望，但也暴露了许多有待解决的挑战。
2017-08-01 cs.CL cs.LG stat.ML
Natural Language Processing via LDA Topic Model in Recommendation Systems
今天，互联网是世界上最广泛的媒体之一。推荐系统越来越多地被用于各种应用中，例如电影推荐、移动推荐、文章推荐等。协同过滤（CF）和基于内容的（CB）是用于构建推荐系统的公知技术。基于LDA的主题建模是一种有效的语义挖掘和主题抽取技术。在过去的几年中，已经发表了许多基于LDA技术构建推荐系统的文章。在本文中，我们提出了基于LDA的推荐系统和应用的分类。此外，我们利用LDA和吉布斯抽样算法来评估ISWC和WWW会议出版物在计算机科学。我们的研究表明，基于LDA的推荐系统可以有效地建立在线社区的智能推荐系统。
2019-09-20 cs.CL cs.IR
Topic Memory Networks for Short Text Classification
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）
由于数据稀疏性，许多分类模型在短文本上效果不佳。为了解决这个问题，我们提出了主题记忆网络的短文本分类与一种新的主题记忆机制编码潜在的主题表示类标签指示。与大多数专注于使用外部知识或预先训练的主题扩展特征的先前工作不同，我们的模型以端到端的方式与记忆网络共同探索主题推理和文本分类。在四个基准数据集上的实验结果表明，该模型在短文本分类方面优于现有模型，同时生成连贯的主题。
2018-09-11 cs.CL
An Empirical Study on Crosslingual Transfer in Probabilistic Topic Models
University of Colorado Boulder（科罗拉多大学博尔德分校）
概率主题建模是跨语言任务的第一步，以实现知识转移和提取多语言特征的流行选择。虽然已经开发了许多多语言主题模型，但它们对训练语料库的假设是相当不同的，并且不清楚这些模型在各种训练条件下的应用情况。在本文中，我们系统地研究了不同的多语言主题模型背后的知识转移机制，并通过一系列广泛的实验与四个模型的10种语言，我们提供了经验性的见解，可以告知多语言主题模型的选择和未来的发展。
2019-06-10 cs.CL
Multi-GPU Distributed Parallel Bayesian Differential Topic Modelling
Research School of Computer Science（计算机科学研究学院）
数据、文档和其他内容爆炸式增长，人们需要工具来分析和解释这些内容，需要工具将内容转化为信息和知识。主题建模是为了解决这些问题而发展起来的。主题模型，如LDA [Blei et. 2003]允许自动提取数据中的显著模式。在分析文本时，这些模式被称为主题。在LDA的众多扩展中，很少有扩展能够可靠地分析多组文档并提取主题相似性。最近，差分主题建模（SPDP）的引入[Chen et. 2012]在区别性设置中一致地比许多主题模型表现得更好。还需要提高主题模型的采样速度。虽然已经为分布式算法做出了一些努力，但目前还没有使用图形处理单元（GPU）完成的工作。注意，GPU框架已经成为解决许多问题的最具成本效益的平台。在本论文中，我提出并实现了一个近似于SPDP的可扩展的多GPU分布式并行框架。通过实验，我已经证明了我的算法在速度上提高了大约50倍，同时几乎同样准确，只有一个便宜的笔记本电脑GPU。此外，我已经证明了当使用多个GPU时，速度的提高是次线性可扩展的，同时保持了准确性。因此，在中型GPU集群上，速度提升可能达到一千倍。注意SPDP只是LDA的其他扩展的代表。虽然我的算法是为了与SPDP一起工作而实现的，但它被设计成足够通用的，可以与其他主题模型一起工作。对较小集合的加速（即，这意味着这些更复杂的LDA扩展现在可以实时完成，从而开辟了在工业中使用这些LDA模型的新方法。
2015-10-22 cs.CL cs.DC cs.LG
Multi-source Neural Topic Modeling in Multi-view Embedding Spaces
DRIMCo GmbH（DRIMCo有限责任公司）；CIS, University of Munich (LMU)（慕尼黑大学计算语言学中心）
虽然词嵌入和主题是互补的表示，但过去的一些工作仅在（神经）主题建模中使用预训练的词嵌入来解决短文本或小文档集合中的数据稀疏性。这项工作提出了一种新的神经主题建模框架，使用多视图嵌入空间：（1）预训练的主题嵌入，（2）预训练的词嵌入（Glove的上下文不敏感和BERT模型的上下文敏感）联合从一个或多个来源，以提高主题质量和更好地处理多义词。在这样做时，我们首先构建相应的预训练主题池（即，TopicPool）和词嵌入（即，WordPool）。然后，我们识别一个或多个相关的源域，并转移知识以指导稀疏目标域中的有意义的学习。在神经主题建模中，我们使用来自新闻和医疗领域的短文本、长文本、小型和大型文档集，通过泛化（困惑）、可解释性（主题连贯性）和信息检索（IR）来量化主题和文档表示的质量。在介绍多源多视图嵌入空间时，我们使用6个源（高资源）和5个目标（低资源）语料库展示了最先进的神经主题建模。
2021-04-17 cs.AI cs.CL cs.LG
Topic Ontologies for Arguments
Lebiniz University Hannover（汉诺威莱布尼茨大学）；Bauhaus-Universität Weimar（魏玛包豪斯大学）；Leipzig University（莱比锡大学）
许多计算论证任务，如立场分类，是主题相关的：这些任务的方法的有效性很大程度上取决于这些方法是否在相同的主题上训练，因为他们被测试。那么，这些主题是研究人员训练方法？本文贡献了第一次全面的调查主题覆盖率，评估45个论点语料库。对于评估，我们采取了第一步，建立一个论点主题本体，咨询三个不同的权威来源：世界经济论坛，维基百科有争议的主题列表，和Debatepedia。对比权威来源和语料库的主题集，我们的分析表明，语料库的主题，这主要是那些经常讨论的公共在线论坛-被覆盖的来源。然而，其他主题的来源是不太广泛的语料库涵盖的今天，揭示有趣的未来方向语料库建设。
2023-01-23 cs.CL
Topic Modeling with Contextualized Word Representation Clusters
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Cornell University（康奈尔大学）
聚类标记级上下文化单词表示产生的输出与英语文本集合的主题模型有许多相似之处。与词汇级词嵌入的聚类不同，所得到的模型更自然地捕获多义词，并且可以用作组织文档的一种方式。我们评估从流行的上下文语言模型的几个不同的输出层训练的标记聚类。我们发现，BERT和GPT-2产生高质量的聚类，但ROBERTa不。这些聚类模型简单、可靠，即使不比LDA主题模型更好，也能表现得很好，即使主题数量相对于本地集合的大小很大，也能保持高主题质量。
2020-10-23 cs.CL
Few-shot Learning for Topic Modeling
NTT Communication Science Laboratories（NTT通信科学研究所）
主题模型已经成功地用于分析文本文档。然而，对于现有的主题模型，需要许多文档来进行训练。在本文中，我们提出了一种基于神经网络的少样本学习方法，可以从几个文档中学习主题模型。模型中的神经网络以少量文档作为输入，输出主题模型先验知识。所提出的方法训练神经网络，使期望的测试可能性提高时，主题模型参数估计最大化后验概率使用基于EM算法的先验。由于EM算法中的每一步都是可微的，因此所提出的方法可以通过EM算法反向传播损耗以训练神经网络。通过随机梯度下降方法，使用一组多个文本语料库和情景训练框架，使预期的测试可能性最大化。在我们的实验中，我们证明了所提出的方法实现了更好的困惑比现有的方法使用三个现实世界的文本文档集。
2021-04-19 cs.CL cs.LG stat.ML
Flesch-Kincaid Readability Depends Only on the Topic Distribution in Long Texts under Topic Models
Tokyo Gakugei University（东京学艺大学）
该研究基于带句子边界标记的主题模型，发现长文本的Flesch-Kincaid可读性仅取决于主题分布，通过实验在Brown和BNC语料库中验证了主题向量对FKGL的高预测性。
2026-08-25 cs.CL
What is Wrong with Topic Modeling? (and How to Fix it Using Search-based Software Engineering)
North Carolina State University（北卡罗来纳州立大学）
上下文：主题建模在非结构化文本数据中找到人类可读的结构。一个广泛使用的主题建模是潜在的狄利克雷分配。当在不同的数据集上运行时，LDA遭受“顺序效应”，即如果训练数据的顺序被打乱，则生成不同的主题。这样的顺序效应对任何研究都引入了系统误差。此错误可能与误导性结果有关;特别是，不准确的主题描述和文本挖掘分类结果的有效性降低。目的：提供一种由LDA生成的分布更稳定的方法，用于进一步的分析。方法：我们使用LDADE，一个基于搜索的软件工程工具，使用DE（差分进化）调整LDA的参数。LDADE的评估数据来自程序员信息交换网站（Stackoverflow），数以千计的软件工程（SE）论文的标题和摘要文本，以及来自NASA的软件缺陷报告。结果收集了LDA的不同实现（Python+Scikit-Learn，Scala+Spark）;不同平台（Linux，Macintosh）和不同类型的LDA（VEM，或使用Gibbs采样）。结果通过主题稳定性和文本挖掘分类准确性进行评分。结果如下：在所有治疗中：（i）标准LDA表现出非常大的主题不稳定性;（ii）LDADE的调谐显著降低了聚类不稳定性;（iii）LDADE还导致监督学习和无监督学习的性能改善。结论：由于主题的不稳定性，使用标准LDA及其“现成”设置现在应该贬值。此外，在未来，我们应该要求SE论文使用LDA来测试和（如果需要）减轻LDA主题的不稳定性…
2018-02-20 cs.AI cs.CL cs.IR
Understanding The Robustness of Self-supervised Learning Through Topic Modeling
Duke University（杜克大学）
自监督学习显著提高了许多NLP任务的性能。然而，自监督学习如何发现有用的表示，以及为什么它比概率模型等传统方法更好，在很大程度上仍然是未知的。在本文中，我们专注于主题建模的背景下，并强调了自监督学习的一个关键优势-当应用于主题模型生成的数据时，自监督学习可以忽略特定的模型，因此不太容易受到模型误指定。特别是，我们证明了常用的自监督目标的基础上重建或对比样本都可以恢复有用的后验信息一般的主题模型。从经验上讲，我们表明，相同的目标可以执行与后验推理使用正确的模型，而优于后验推理使用错误指定的模型。
2023-02-28 cs.CL cs.LG stat.ML
Anchor-Free Correlated Topic Modeling: Identifiability and Algorithm
University of Minnesota（明尼苏达大学）
在主题建模中，许多保证主题可识别性的算法都是在存在锚词的前提下开发的，即，仅出现在一个主题中的单词（概率为正）。后续的工作则采用了语料库的三阶或更高阶顺序统计量来放松锚词假设。然而，高阶顺序统计量的可靠估计很难获得，并且在这些模型下识别主题取决于主题的不相关性，这可能是不现实的。本文回顾了基于二阶矩的主题建模，提出了一个无锚点的主题挖掘框架。与锚词假设相比，所提出的方法保证了在更温和的条件下识别主题，从而在实践中表现出更好的鲁棒性。相应的算法只涉及一个特征分解和几个小的线性规划。这使得它易于实现和扩展到非常大的问题实例。使用TDT 2和Reuters-21578语料库的实验表明，与现有技术相比，所提出的无锚方法表现出非常有利的性能（使用一致性，相似性计数和聚类准确性度量进行测量）。
2016-11-15 cs.CL cs.IR cs.SI
Reliability of Topic Modeling
Northwestern University（西北大学）
本研究指出标准可靠性度量不足，提出并验证McDonald's ω作为主题模型可靠性的最佳评估指标，为基于主题模型的研究提供关键验证工具。
2024-12-13 cs.CL
Multi-environment Topic Models
Columbia University（哥伦比亚大学）
针对文本协变量环境调节全局主题表示的问题，提出可分离全局与环境特定术语的无监督多环境主题模型MTM，在多环境政治内容数据上的分布内外表现优于强基线，还能实现准确的因果效应发现。
2024-11-01 cs.CL
Comparison of Topic Modelling Approaches in the Banking Context
Sheffield Hallam University（谢菲尔德哈勒姆大学）；University of Warwick（华威大学）
针对银行客户推文，本研究在BERTopic架构中采用KernelPCA与K-means聚类，相比传统LDA方法，取得了0.8463的连贯性得分，验证了其有效性。
2024-02-05 cs.AI cs.IR cs.LG
A Novel Perspective to Look At Attention: Bi-level Attention-based Explainable Topic Modeling for News Classification
Insight Centre for Data Analytics（洞察数据分析中心）；University College Dublin（都柏林大学学院）
针对深度学习注意力机制在NLP任务中可解释性不足的问题，提出基于双层注意力架构的可解释主题建模框架，将解释与决策解耦，在新闻分类任务上性能达最优水平且具备良好可解释性。
2022-10-27 cs.CL
Topic Space Trajectories: A case study on machine learning literature
University of Kassel（卡塞尔大学）；L3S Research Center（L3S研究中心）
每年在科学场所，例如会议和期刊上发表的出版物数量正在迅速增长。因此，即使对于研究人员来说，跟踪研究主题及其进展也变得越来越困难。在这项任务中，研究人员可以得到自动出版物分析的支持。然而，许多这样的方法导致无法解释的纯数字表示。作为一种尝试，以支持人类分析师，我们提出的主题空间轨迹，一个结构，允许理解跟踪的研究主题。我们展示了如何这些轨迹可以解释的基础上，八种不同的分析方法。为了获得可理解的结果，我们采用非负矩阵分解以及合适的可视化技术。我们展示了我们的方法在32个出版场所的机器学习研究的出版语料库上的适用性。我们的新分析方法可以用于论文分类，预测未来的研究主题，并推荐合适的会议和期刊提交未发表的工作。
2021-05-18 cs.DL cs.LG
TopicBERT: A Transformer transfer learning based memory-graph approach for multimodal streaming social media topic detection
University of Tabriz（大不里士大学）；Université du Littoral Côte D’Opale（滨海大学）
具有突发短消息的社交网络的实时的性及其各自的大数据规模分布在各种各样的主题中是许多研究者的研究兴趣。被称为大数据的5 'V的社交网络的这些属性导致了许多独特的和启发性的算法和技术应用于大型社交网络数据集和数据流。这些研究中的许多都是基于对热点话题和社交媒体事件的检测和跟踪，这些热点话题和社交媒体事件有助于揭示许多悬而未决的问题。这些算法和某些软件产品主要依赖于语言本身的性质。虽然，其他技术，如无监督数据采掘方法是语言无关的，但许多要求，一个全面的解决方案没有得到满足。许多研究问题，如嘈杂的句子，不利的语法和新的在线用户发明的话是具有挑战性的维护一个良好的社会网络主题检测和跟踪方法，词之间的语义关系，在大多数情况下，同义词也被许多这些研究忽视。在这项研究中，我们使用Transformers结合增量社区发现算法。Transformer一方面提供了不同语境中词与词之间的语义关系;另一方面，所提出的图挖掘技术增强了所产生的主题与简单的结构规则的援助。从多模态数据（图像和文本）中识别命名实体识别，用实体类型标记命名实体，并使用它们调整提取的主题。该系统的所有操作都应用于NoSQL技术下的大社会数据视角。为了提出一个有效的系统化解决方案，我们将MongoDB和Neo4j作为我们工作的两个主要数据库系统。该系统在三个不同的数据集上显示出更高的准确率和召回率。
2020-08-16 cs.CL cs.IR cs.LG
A New Approach to Speeding Up Topic Modeling
Soochow University（苏州大学）；City University of Hong Kong（香港城市大学）
潜在狄利克雷分配（LDA）是一种广泛使用的概率主题建模范式，近年来在计算机视觉和计算生物学中得到了广泛的应用。在本文中，我们提出了一种快速，准确的批量算法，主动信念传播（ABP），训练LDA。通常批量LDA算法需要重复扫描整个语料库并搜索完整的主题空间。批量LDA算法在处理包含大量主题的海量语料时，训练迭代往往效率低下且耗时。为了加快训练速度，ABP主动扫描语料子集并搜索主题空间子集进行主题建模，从而节省了每次迭代的大量训练时间。为了确保准确性，ABP只选择那些在残差置信传播（RBP）框架内贡献最大残差的文档和主题。在四个真实世界的语料库，ABP执行周围的$10$到$100$倍的速度比国家的最先进的批LDA算法具有可比的主题建模精度。
2014-04-08 cs.IR cs.LG
Discriminative Topic Modeling with Logistic LDA
Ghent University（根特大学）；Twitter（推特）
尽管对潜在狄利克雷分配（LDA）的研究已有多年，但将LDA应用于非分类项集合仍然具有挑战性。然而，许多具有更丰富数据的问题具有类似的结构，并且可以从大量的LDA文献中受益。我们提出了逻辑LDA，潜在的狄利克雷分配，这是很容易适用于任意输入的一种新的歧视性的变种。特别是，我们的模型可以很容易地应用于图像组，任意文本嵌入，并与深度神经网络很好地集成。虽然它是一个判别模型，但我们证明了logistic LDA可以通过利用数据中存在的组结构，以无监督的方式从未标记数据中学习。与其他最近的主题模型，旨在处理任意输入，我们的模型并没有牺牲LDA的可解释性和原则性的动机。
2020-01-07 cs.IR cs.LG stat.ML
Topic Sensitive Attention on Generic Corpora Corrects Sense Bias in Pretrained Embeddings
IIT Bombay（印度理工学院孟买分校）
给定一个小的语料库$\mathcal D_T$属于一组有限的集中的主题，我们的目标是训练嵌入，准确地捕捉主题中的单词的意义，尽管$\mathcal D_T$的大小有限。这些嵌入可用于涉及$\mathcal D_T$的各种任务中。在有限的数据设置中，一种流行的策略是适应在大型语料库上训练的预训练嵌入$\mathcal E$。为了校正感测漂移，最近已经提出了微调、正则化、投影和枢转。其中，正则化通知一个词的语料库频率表现良好，但我们改进了它使用一个新的正则化的基础上，其与其他词的同现稳定性。然而，通过对10个主题、3个任务以及超参数的标准化设置进行全面比较，发现即使是最好的嵌入自适应策略也会在良好调整的基线之外提供微小的收益，而这是许多早期比较忽略的。与适应预训练的嵌入不同，我们建议使用$\mathcal D_T$来探测、关注和借用任何大型、主题丰富的源语料库（如维基百科）中的片段，这些语料库不需要是用于预训练嵌入的语料库。通过适当的索引，这一步骤是可扩展的和实用的。我们得出了令人惊讶的结论，即使是有限的语料库增强也比自适应嵌入更有用，这表明非主导意义信息可能会从预训练的嵌入中被删除，并且无法通过自适应来挽救。
2019-07-24 cs.CL cs.LG stat.ML
Toward Interpretable Topic Discovery via Anchored Correlation Explanation
USC Information Sciences Institute（南加州大学信息科学研究所）
许多预测性任务，例如根据患者的病历诊断患者，最终由人类专家的决策来定义。不幸的是，编码专家的知识往往是耗时和昂贵的。我们提出了一种简单的方法，使用模糊和非正式的知识，从专家指导发现可解释的潜在主题的文本。我们的方法的基本直觉是，潜在的因素应该提供有关数据中的相关性和专家指定的一组相关变量的信息。从数学上讲，这种方法是信息瓶颈和总相关解释（CorEx）的组合。我们给出了锚定CorEx的初步评价，表明它产生更连贯和可解释的主题上两个不同的语料库。
2016-06-22 cs.CL cs.LG stat.ML
A Topic Modeling Toolbox Using Belief Propagation
School of Computer Science and Technology（计算机科学与技术学院）；Soochow University（苏州大学）
潜在狄利克雷分配（LDA）是一种重要的概率主题建模的层次贝叶斯模型，在文本挖掘、计算机视觉和计算生物学等领域有着广泛的应用，引起了广泛的关注。介绍了一个基于置信传播算法的主题建模工具箱。TMBP工具箱由MEX C++/Matlab/Octave实现，适用于Windows 7或Linux。与现有的主题建模包相比，该工具箱的新颖之处在于学习基于LDA的主题模型的BP算法。当前版本包括用于潜在狄利克雷分配（LDA）、作者主题模型（ATM）、关系主题模型（RTM）和标记LDA（LaLDA）的BP算法。这个工具箱是一个正在进行的项目，在不久的将来，将添加更多的基于BP算法的各种主题模型。感兴趣的用户还可以扩展BP算法，以学习更复杂的主题模型。源代码可以在GNU通用公共许可证1.0版下免费获得，网址是https://mloss.org/software/view/399/。
2012-04-05 cs.LG
Higher-Order Markov Tag-Topic Models for Tagged Documents and Images
Soochow University（苏州大学）；Shanghai Key Laboratory of Intelligent Information Processing（上海智能信息处理重点实验室）；University of Maryland（马里兰大学）；Tianjin University（天津大学）；Hong Kong Baptist University（香港浸会大学）
研究了带标签文档和图像的主题建模问题。标记文档和图像之间的高阶关系是重要且普遍存在的特征，在提取可靠和可解释的主题方面起着积极的作用。在本文中，我们提出了标签主题模型（TTM）来描述这种高阶主题结构依赖马尔可夫随机场（MRF）的框架内。首先，我们使用新的因素图表示的潜在狄利克雷分配（LDA）为基础的主题模型从MRF的角度来看，并提出了一个有效的循环信念传播（BP）算法的近似推理和参数估计。其次，我们提出了TTM的因子超图表示，并重点关注标记文档和图像之间的成对和高阶关系建模。提出了一种有效的循环BP算法来学习TTM，该算法可以提高标注文档和图像之间的主题标注平滑性。广泛的实验结果证实，合并高阶关系是有效的，在提高整体的主题建模性能相比，当前国家的最先进的主题模型，在许多文本和图像挖掘任务的广泛利益，如字和链接预测，文档分类，标签推荐。
2011-09-25 cs.AI cs.CV cs.IR
Gene Expression based Survival Prediction for Cancer Patients: A Topic Modeling Approach
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
癌症是世界范围内的主要死亡原因之一。许多人认为，基因组数据将使我们能够更好地预测这些患者的生存时间，这将带来更好、更个性化的治疗选择和患者护理。由于标准的生存预测模型很难处理这样的基因表达（GE）数据的高维性，许多项目使用一些降维技术来克服这个障碍。我们引入了一种新的方法，灵感来自主题建模从自然语言域，从高维GE数据中获得表达功能。在那里，文档被表示为相对少量主题的混合物，其中每个主题对应于词的分布;在这里，为了适应患者癌症的异质性，我们将每个患者（~文档）表示为癌症主题的混合物，其中每个癌症主题是GE值（~词）的混合物。这需要对标准LDA模型进行一些扩展，例如：以适应“实值”表达式值-导致我们新的“离散化”潜在狄利克雷分配（dLDA）过程。我们首先关注METABRIC数据集，该数据集使用来自微阵列的r= 49，576 GE值描述乳腺癌患者。我们的研究结果表明，我们的方法提供的生存估计比标准模型更准确，在标准的一致性措施。然后，我们通过在泛肾脏（KIPAN）数据集上运行该方法来验证该方法，超过r= 15，529 GE值-这里使用mRNAseq模式-并发现它再次获得了优异的结果。在这两种情况下，我们还表明，所得到的模型是校准的，使用最近的“D校准”措施。在两种不同的癌症类型和表达模式中的这些成功证明了这种方法的普遍性和有效性。
2019-10-25 cs.LG stat.ML
