Semantic Component Analysis: Introducing Multi-Topic Distributions to Clustering-Based Topic Modeling
LMU Munich and Munich Center for Machine Learning (MCML)（慕尼黑大学和慕尼黑机器学习中心）；Technical University of Munich（慕尼黑技术大学）
针对现有主题建模无法高效扩展或假设单主题的局限，提出语义成分分析（SCA），在聚类框架中加入分解步骤以发现多主题，在三种语言数据集上优于BERTopic和TopicGPT。
2025-09-26 cs.CL
BERTopic: Neural topic modeling with a class-based TF-IDF procedure
主题模型是发现文档集合中潜在主题的有用工具。最近的研究表明，方法主题建模作为聚类任务的可行性。我们提出了BERTopic，主题模型，通过开发一个基于类的TF-IDF的变化提取连贯的主题表示，扩展了这一过程。更具体地说，BERTopic生成文档嵌入与预先训练的transformer为基础的语言模型，聚类这些嵌入，最后，生成主题表示与类为基础的TF-IDF过程。BERTopic生成连贯的主题，并在各种基准测试中保持竞争力，这些基准测试涉及经典模型和那些遵循最近的主题建模聚类方法的模型。
2022-03-11 cs.CL
Fine-tuning Encoders for Improved Monolingual and Zero-shot Polylingual Neural Topic Modeling
Johns Hopkins University（约翰霍普金斯大学）
神经主题模型可以用深度预训练的基于transformer的单词预测模型的学习表示来增强或替换词袋输入。使用来自多语言模型的表示的一个额外好处是，它们促进了zero-shot多语言主题建模。然而，虽然人们已经广泛观察到预训练的嵌入应该针对给定的任务进行微调，但对于主题建模等无监督任务来说，监督应该是什么样子还不清楚。因此，我们提出了几种微调编码器的方法，以改善单语和zero-shot多语言神经主题建模。我们考虑对辅助任务进行微调，构建新的主题分类任务，将主题分类目标直接集成到主题模型训练中，并继续进行预训练。我们发现，微调编码器表示的主题分类和主题分类任务直接集成到主题建模提高了主题质量，微调编码器表示的任何任务是促进跨语言迁移的最重要因素。
2021-04-11 cs.CL
TIAGE: A Benchmark for Topic-Shift Aware Dialog Modeling
University of Cambridge（剑桥大学）；Northeastern University（东北大学）；Microsoft Research（微软研究院）；Tsinghua University（清华大学）
人类的对话自然会围绕不同的主题发展，并在它们之间流畅地移动。在对话系统的研究中，主动平滑地转换到新话题的能力往往被忽视。在本文中，我们介绍了TIAGE，一个新的主题转移意识的对话基准构建利用人类注释的主题转移。基于TIAGE，我们介绍了三个任务来研究不同的场景中的话题转移模型的对话设置：话题转移检测，话题转移触发响应生成和话题感知对话生成。对这些任务的实验表明，TIAGE中的主题转换信号对主题转换反应的产生是有用的。另一方面，对话系统仍然难以决定何时改变话题。这表明，主题转移感知对话建模需要进一步的研究。
2021-09-09 cs.CL
Topic Modeling Using Distributed Word Embeddings
University of Southern California（南加州大学）；TopicIQ, Inc.（TopicIQ公司）；IIT Delhi（德里印度理工学院）
我们提出了一个新的主题建模算法，Vec2Topic，确定语料库中的主要主题使用通过高维分布式词嵌入捕获的语义信息。我们的技术是无监督的，并生成一个主题的重要性排名列表。我们发现，它比现有的主题建模技术，如潜在的Dirichlet分配更好地识别用户生成的内容中的关键主题，如电子邮件，聊天等，其中主题在语料库中分散。我们还发现，Vec2Topic同样适用于非用户生成的内容，如论文，报告等，以及用于诸如单个文档的小语料库。
2016-03-15 cs.CL
Topic-to-Essay Generation with Comprehensive Knowledge Enhancement
Sun Yat-sen University（中山大学）
在自然语言生成中，生成具有一系列主题的高质量和多样化的文章是一项具有挑战性的任务。由于几个给定的主题只提供有限的源信息，利用各种主题相关的知识是必不可少的，以提高论文生成性能。然而，以前的作品不能充分利用这些知识来促进生成过程。本文旨在通过从内部和外部知识中提取信息来改进论文生成。因此，提出了一种具有综合知识增强的主题到论文生成模型TEGKE。为了提高内部知识，主题和相关文章都作为源信息提供给教师网络。然后，从教师网络中获取信息特征，并将其转移到学生网络中，该学生网络仅将主题作为输入，但与教师网络相比，提供可比较的信息。针对外部知识的增强，提出了一种主题知识图谱编码器。与以往只利用常识库中主题的最近邻不同，我们的主题知识图谱编码器可以利用常识知识图谱中更多的结构和语义信息来生成文章。此外，提出了基于Wasserstein距离的对抗训练，以提高生成质量。实验结果表明，TEGKE可以达到国家的最先进的自动和人工评价的性能。
2021-06-29 cs.CL
Historia Magistra Vitae: Dynamic Topic Modeling of Roman Literature using Neural Embeddings
University of Colorado（科罗拉多大学）
本研究提出基于BERT嵌入的动态主题建模方法，应用于罗马文学语料库，发现神经模型虽定量指标略逊，但定性评估更优且对超参数不敏感，更适合历史研究。
2024-06-27 cs.CL
Mitigating Data Sparsity for Short Text Topic Modeling by Topic-Semantic Contrastive Learning
Nanyang Technological University（南洋理工大学）；Carnegie Mellon University（卡内基梅隆大学）
为了克服短文本主题建模中的数据稀疏性问题，现有的方法通常依赖于数据增强或短文本的数据特性来引入更多的词共现信息。然而，大多数算法没有充分利用数据的增广性或数据的特征，对数据样本之间的关系学习不足，导致语义相似的文本对的主题分布不一致。为了更好地解决数据稀疏性问题，本文提出了一种新的短文本主题建模框架，主题-语义对比主题模型（TSCTM）。为了充分建模样本之间的关系，我们采用了一种新的对比学习方法，有效的积极和消极的抽样策略的基础上的主题语义。这种对比学习方法细化了表示，丰富了学习信号，从而减轻了稀疏性问题。大量的实验结果表明，我们的TSCTM优于国家的最先进的基线，无论数据增强的可用性，产生高质量的主题和主题分布。
2022-11-23 cs.CL
XTRA: Cross-Lingual Topic Modeling with Topic and Representation Alignments
Hanoi University of Science and Technology（河内科学技术大学）；University of Monash（墨尔本大学）
针对现有跨语言主题建模方法难以兼顾主题一致性与跨语言对齐的问题，提出融合表示对齐与主题对齐的XTRA框架，实验证明其在多项指标上显著优于基线。
2025-10-03 cs.CL
Topic-Aware Multi-turn Dialogue Modeling
Shanghai Jiao Tong University（上海交通大学）
在基于检索的多话轮对话建模中，如何根据上下文话语中的显著特征来选择最合适的应答仍然是一个挑战。随着会话的进行，话语层面的话题转移在连续的多话轮对话语境中自然发生。然而，所有已知的基于检索的系统都满足于利用局部主题词进行上下文话语表示，但未能在语篇级别捕获这种必要的全局主题感知线索。本文提出了一种新的话题感知的多轮对话建模方法，该方法以无监督的方式分割和提取话题感知的话语，从而使模型能够根据需要在语篇级别捕捉显著的话题转移，从而有效地跟踪多轮对话中的话题流。我们的主题感知建模实现了一个新提出的无监督的主题感知分割算法和主题感知双注意力匹配（TADAM）网络，它匹配每个主题段与响应在一个双交叉注意的方式。在三个公开数据集上的实验结果表明，TADAM的性能优于现有的方法，特别是在主题转移明显的电子商务数据集上，TADAM的性能提高了3.3%。
2020-12-17 cs.CL
Investigating the Impact of Text Summarization on Topic Modeling
本文提出利用预训练大型语言模型在输入主题模型前生成文档摘要以提升主题建模性能，发现该方法对长文档尤为有效且存在最优摘要长度，相比以往模型取得了更好的主题多样性与可比的连贯性。
2024-09-28 cs.CL
TopicGPT: A Prompt-based Topic Modeling Framework
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Maryland（马里兰大学）
TopicGPT利用大型语言模型和提示框架改进主题建模，生成更符合人类分类、可解释且可灵活约束和修改的主题，无需重新训练模型。
2024-04-01 cs.CL
Other Topics You May Also Agree or Disagree: Modeling Inter-Topic Preferences using Tweets and Matrix Factorization
Tohoku University（东北大学）
在本文中，我们提出了我们的方法建模的Twitter用户的主题间的偏好：例如，那些谁同意跨太平洋伙伴关系（TPP）也同意自由贸易。这种知识不仅对跨多个主题的立场检测有用，而且对各种现实世界的应用也很有用，包括民意调查，选举预测，选举活动和在线辩论。为了提取用户在Twitter上的偏好，我们设计了语言模式，其中人们同意和不同意特定的主题（例如，“A是完全错误的。通过将这些语言模式应用于一组推文，我们提取了同意和不同意各种主题的陈述。受以前项目推荐工作的启发，我们将主题间偏好建模的任务形式化为矩阵分解：将用户的偏好表示为用户主题矩阵，并将用户和主题映射到抽象偏好的潜在特征空间上。我们的实验结果表明，我们提出的方法是有用的，在预测丢失的用户的偏好和主题的潜在向量表示成功地编码主题间的偏好。
2017-04-26 cs.CL
An Adaptation of Topic Modeling to Sentences
National Taiwan University（国立台湾大学）；University of Southern California（南加州大学）
主题建模的发展已经为描述文本数据的潜在语义提供了有效的方法。然而，将标准主题建模方法应用于句子级任务会带来许多挑战。在本文中，我们适应的潜在狄利克雷分配的方法，包括一个额外的层，将信息的句子边界的文件。我们表明，除了这个最小的信息的文档结构，提高了训练模型的困惑结果。
2016-07-20 cs.CL
CobwebTM: Probabilistic Concept Formation for Lifelong and Hierarchical Topic Modeling
College of Computing Georgia Institute of Technology（计算学院佐治亚理工学院）
CobwebTM通过增量概率概念形成，实现低参数的终身分层主题模型，在无需预定义主题数量的情况下，实现无监督主题发现、动态主题创建和分层组织，展现了预训练表示与增量符号概念形成结合在主题建模中的高效性。
2026-04-17 cs.CL
Topic-Oriented Spoken Dialogue Summarization for Customer Service with Saliency-Aware Topic Modeling
Fudan University（复旦大学）；Alibaba Group（阿里巴巴集团）；Zhejiang University（浙江大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）
在客户服务系统中，对话摘要可以通过自动为客户和代理尝试解决有关特定主题的问题的长时间对话创建摘要来提高服务效率。在这项工作中，我们专注于面向主题的对话摘要，它生成高度抽象的摘要，保留对话的主要思想。在口语对话中，大量的对话噪音和共同的语义可能会掩盖潜在的信息内容，使一般的主题建模方法难以应用。此外，对于客户服务而言，特定角色的信息至关重要，是不可或缺的一部分。为了有效地进行主题建模的对话和捕获多角色的信息，在这项工作中，我们提出了一种新的主题增强的两阶段对话摘要（TDS）与显着性感知神经主题模型（SATM）共同面向主题的客户服务对话摘要。对真实世界的中国客户服务数据集的综合研究证明了我们的方法对几个强基线的优越性。
2021-06-25 cs.CL
Combining LSTM and Latent Topic Modeling for Mortality Prediction
非常需要能够以高准确性和可靠性预测重症监护病房中患者死亡率的技术。我们提出了联合端到端神经网络架构，该架构结合了长短期记忆（LSTM）和潜在主题模型，同时训练用于死亡率预测的分类器，并从文本临床笔记中学习指示死亡率的潜在主题。对于主题可解释性，主题建模层被精心设计为具有LDA启发的约束的单层网络。在MIMIC-III数据集上的实验表明，我们的模型在死亡率预测方面明显优于基于LDA主题的先前模型。然而，我们通过查看神经网络权重来解释训练模型中的主题的方法取得了有限的成功。
2017-09-08 cs.CL
Topic Modeling in the Voynich Manuscript
Yale University（耶鲁大学）
本文介绍了使用主题模型的Voynich Mandarin pt（Beinecke MS408）的调查结果。主题建模是一组用于识别文本中主题簇的计算方法。我们使用潜在的狄利克雷分配，潜在的语义分析，和非负矩阵分解到“主题”的伏尼契网页集群。然后，我们比较的主题来自计算模型的集群来自伏尼契插图和古文字分析。我们发现，计算得出的聚类与抄写员和主题的结合密切匹配（如插图所示），进一步证明伏尼契手稿包含有意义的文本。
2021-07-06 cs.CL
simNet: Stepwise Image-Topic Merging Network for Generating Detailed and Comprehensive Image Captions
Beijing University of Posts and Telecommunications（北京邮电大学）；Peking University（北京大学）
编码器-解码器框架最近在图像描述中取得了成功。视觉注意和语义注意分别被提出来作为图像字幕的基础，视觉注意擅长细节，语义注意擅长全面。在本文中，我们提出了逐步图像主题合并网络（simNet），使这两种注意力在同一时间。在生成字幕时的每个时间步，解码器根据生成的上下文自适应地合并提取的主题和图像中的关注信息，使得视觉信息和语义信息可以有效地组合。该方法在两个基准数据集上进行了评估，达到了最先进的性能。(The代码可在https：//github.com/lancopku/simNet获得）
2018-08-27 cs.CL
Topic Modeling for Classification of Clinical Reports
George Washington University（乔治华盛顿大学）；Harbor-UCLA Medical Center（加州大学洛杉矶分校港滨医学中心）
电子健康记录（EHR）包含有关患者的重要临床信息。高效和有效地使用这些信息可以补充甚至取代人工病历审查，作为研究和提高医疗服务质量和安全性的一种手段。然而，这些临床数据中的一些是自由文本的形式，并且在用于自动化系统之前需要预处理。一个常见的自由文本数据源是放射学报告，通常由放射科医生口述以解释他们的解释。我们试图证明机器学习分类的计算机断层扫描（CT）成像报告的二元结果，即积极和消极的骨折，使用常规文本分类和分类器的基础上的主题建模。主题建模在报告中提供了可解释的主题（主题分布），这种表示比常用的词袋表示更紧凑，并且在后续自动化过程中可以比原始文本更快地处理。我们展示了新的分类器的基础上，这个主题建模表示的报告。聚合主题分类器（ATC）和基于置信度的主题分类器（CTC）使用基于不同度量从训练数据集确定的单个主题来对测试数据集上的报告进行分类。或者，基于相似性的主题分类器（STC）测量报告的主题分布之间的相似性，以确定预测类。我们提出的主题建模为基础的分类系统被证明是有竞争力的与现有的文本分类技术，并提供了一个有效的和可解释的表示。
2017-06-19 cs.CL
Contextual Topic Modeling For Dialog Systems
Amazon（亚马逊）
会话主题的准确预测可以是用于创建连贯和吸引人的对话系统的有价值的信号。在这项工作中，我们专注于上下文感知的主题分类方法，用于识别自由形式的人类聊天机器人对话中的主题。我们扩展了以前的工作，神经主题分类和无监督主题关键字检测，将会话上下文和对话行为功能。在注释数据上，我们表明，将上下文和对话行为导致主题分类准确率相对提高35%，主题经常跨越多个话语的会话交互的无监督关键字检测召回率提高11%。我们发现，主题深度等主题指标与连贯性和参与度等对话评价指标高度相关，这意味着会话主题模型可以预测用户满意度。我们检测对话主题和关键字的工作可以用来引导聊天机器人进行连贯的对话。
2018-10-19 cs.CL
Unsupervised Topic Modeling Approaches to Decision Summarization in Spoken Meetings
Cornell University（康奈尔大学）
我们提出了一个令牌级的决策摘要框架，利用潜在的主题结构的话语，以确定“值得总结”的话。实验结果表明，细粒度的主题模型能够更好地识别决策过程的要点，它在话语级而不是文档级发现主题。此外，我们提出的令牌级摘要方法，这是能够消除话语内的冗余，优于现有的话语排名为基础的摘要方法。最后，还调查上下文信息以向摘要添加额外的相关信息。
2016-06-24 cs.CL
Human in the loop: How to effectively create coherent topics by manually labeling only a few documents per class
TU Clausthal（克劳斯塔尔工业大学）；University of Göttingen（哥廷根大学）
用于在稀疏标签设置下精确建模的Few-Shot方法已经显著改进。然而，Few-Shot建模在自然语言处理中的应用仅限于文档分类领域。随着最近的性能改进，有监督的Few-Shot方法与简单的主题提取方法相结合，对无监督的主题建模方法提出了重大挑战。我们的研究表明，有监督的少样本学习，结合一个简单的主题提取方法，可以优于无监督的主题建模技术，在生成连贯的主题，即使每个类只有几个标记的文档使用。
2022-12-19 cs.CL
What You Say and How You Say it: Joint Modeling of Topics and Discourse in Microblog Conversations
The Chinese University of Hong Kong（香港中文大学）；University of Warwick（华威大学）；Tencent AI Lab（腾讯人工智能实验室）
本文提出了一个无监督的框架，联合建模的主题内容和话语行为在微博会话。具体地说，我们提出了一个神经模型来发现表明会话所关注的词簇（即，主题）和反映参与者如何表达他们的意见的那些（即，话语）。大量的实验表明，我们的模型可以产生连贯的主题和有意义的话语行为。进一步的研究表明，我们的主题和话语表示可以有利于微博消息的分类，特别是当它们与分类器联合训练时。
2019-03-18 cs.CL
Topic Modeling on Clinical Social Work Notes for Exploring Social Determinants of Health Factors
University of California, San Francisco（加州大学旧金山分校）；University of California, Office of the President（加州大学校长办公室）；UCSF（加州大学旧金山分校）
大多数研究健康的社会决定因素（SDoH）的研究都集中在医生笔记或电子病历（EMR）的结构化元素上。我们假设社会工作者的临床记录，其作用是改善社会和经济因素，可能会提供更丰富的数据源SDoH。我们试图进行主题建模，以在大量社会工作笔记中识别强有力的讨论主题。我们从加州大学旧金山分校的181，644名患者中检索了95万份临床社会工作笔记的多样化，去识别语料库。我们使用词频分析和潜在狄利克雷分配（LDA）的主题建模分析，以表征这个语料库，并确定潜在的讨论主题。词频分析确定了与ICD 10特定章节相关的医学和非医学术语。LDA主题建模分析提取了11个与健康风险因素的社会决定因素相关的主题，包括财务状况、虐待历史、社会支持、死亡风险和心理健康。此外，主题建模方法捕捉了不同类型的社会工作笔记之间的差异，以及不同类型疾病或病症的患者之间的差异。我们证明，社会工作笔记包含丰富的，独特的，否则无法获得个人的SDoH的信息。
2022-12-02 cs.CL
GHTM: A graph-based hybrid topic modeling approach for Bengali language
Institute of Information Technology (IIT), University of Dhaka（达卡大学信息技术研究所）；Centre for Advanced Research in Sciences (CARS), University of Dhaka（达卡大学高级科学研究中心）
本文提出GHTM模型，结合TF-IDF加权GloVe嵌入、图卷积网络和非负矩阵分解，提升孟加拉语主题建模效果，并引入NCTBText数据集作为基准。
2026-10-14 cs.CL
Dynamic Nonlocal Language Modeling via Hierarchical Topic-Based Adaptation
本文提出了一种新的生成和应用层次化、动态的基于主题的语言模型的方法。它提出并评估新的聚类生成，分层平滑和自适应主题概率估计技术。这些组合模型有助于捕获长距离词汇依赖。在广播新闻语料库上的实验表明，困惑度有了显著的改善（总体改善10.5%，目标词汇改善33.5%）。
2001-04-27 cs.CL
Topic Modeling Genre: An Exploration of French Classical and Enlightenment Drama
University of Würzburg（维尔茨堡大学）
文学体裁的概念是一个非常复杂的概念：不同的体裁不仅经常被定义在几个但不一定是相同的描述层次上，而且将体裁视为具有丰富历史的认知、社会或学术结构，这进一步使问题复杂化。本文采用定量的方法，即主题建模，对语篇的主题进行了研究。主题建模已被证明是有用的，发现主题模式和趋势，在大量的文本集合，以期类或浏览他们的基础上，他们的主导主题。然而，它很少被应用于戏剧文本的收集。在这篇文章中，主题建模是用来分析收集的古典时代和启蒙运动的法国戏剧。这一贡献的总体目标是发现什么语义类型的主题是在这个集合中发现，是否不同的戏剧子类型有独特的主导主题和情节相关的主题模式，反之，在何种程度上聚类方法的基础上，每个播放的主题得分产生分组的文本同意更传统的体裁区别。这一贡献表明，有趣的主题模式，可以检测到提供了新的见解的主题，亚类相关的结构，法国戏剧，以及到法国戏剧的古典时代和启蒙运动的历史。
2021-03-24 cs.CL
Topic Modeling with Contextualized Word Representation Clusters
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Cornell University（康奈尔大学）
聚类标记级上下文化单词表示产生的输出与英语文本集合的主题模型有许多相似之处。与词汇级词嵌入的聚类不同，所得到的模型更自然地捕获多义词，并且可以用作组织文档的一种方式。我们评估从流行的上下文语言模型的几个不同的输出层训练的标记聚类。我们发现，BERT和GPT-2产生高质量的聚类，但ROBERTa不。这些聚类模型简单、可靠，即使不比LDA主题模型更好，也能表现得很好，即使主题数量相对于本地集合的大小很大，也能保持高主题质量。
2020-10-23 cs.CL
Hierarchical Graph Topic Modeling with Topic Tree-based Transformer
The Pennsylvania State University（宾夕法尼亚州立大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Nanyang Technological University（南洋理工大学）；University of Electronic Science and Technology of China（电子科技大学）；Singapore Management University（新加坡管理大学）
针对互联文档兼具图层次与主题层次的问题，提出在双曲空间中融合主题树嵌入和图结构的 Transformer 模型，提升层次主题建模效果。
2025-02-17 cs.CL
A Comprehensive Analysis of Arabic Natural Language Processing Research: Trends, Topic Evolution, and Research Gaps -- A Bibliometric and Topic-Based Study
Kazan Federal University（喀山联邦大学）
本研究对7120篇阿拉伯NLP论文开展文献计量与主题分析，明确研究趋势、缺口及引文影响因素，为该领域发展提出针对性建议。
2026-08-26 cs.CL
NeuroMax: Enhancing Neural Topic Modeling via Maximizing Mutual Information and Group Topic Regularization
Hanoi University of Science and Technology（河内科技大学）；FPT Software AI Center（FPT软件人工智能中心）；VinAI Research（VinAI研究院）；University of Oregon（俄勒冈大学）
NeuroMax通过最大化主题表示与预训练语言模型表示的互信息，并利用最优传输建模主题间关系，在降低推理时间的同时提升主题连贯性、文档嵌入质量及下游任务性能。
2024-09-29 cs.CL
Hybrid Classical-Quantum Variational Autoencoder for Neural Topic Modeling
Ivan Kankeu
提出混合经典-量子变分自编码器，在推理网络中嵌入参数化量子电路，使用改进的高斯Softmax后验降低量子比特需求，在AgNews数据集上优于现有神经主题模型。
2026-06-15 cs.CL
A Novel Method of Fuzzy Topic Modeling based on Transformer Processing
National Chiao Tung University（国立交通大学）；National Chung Hsing University（国立中兴大学）；SparkAmplify；Institue of Technology Management（技术管理学院）
本文针对LDA主题建模结果不直观、关键词关联可靠性存疑及主题数难以预先确定等问题，提出基于Transformer文档嵌入与软聚类的模糊主题建模方法，并在新闻稿监测应用中取得比LDA更自然的结果。
2023-09-18 cs.CL
Effective Neural Topic Modeling with Embedding Clustering Regularization
Nanyang Technological University（南洋理工大学）；Carnegie Mellon University（卡内基梅隆大学）；National University of Singapore（新加坡国立大学）
针对神经主题模型中的主题坍缩问题，本文提出 ECRTM，通过嵌入聚类正则化使主题嵌入对应独立词嵌入簇中心，从而生成多样连贯主题并提升文档分布与下游分类性能。
2023-06-07 cs.CL
On the Affinity, Rationality, and Diversity of Hierarchical Topic Modeling
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；DAMO Academy, Alibaba Group（阿里巴巴达摩院）
针对现有层次主题建模亲和性、合理性与多样性不足的问题，提出TraCo模型，通过传输规划依赖方法和上下文感知解耦解码器优化，在基准数据集上超越最优基线，提升下游任务性能。
2024-02-01 cs.CL
Understanding Cross-Domain Adaptation in Low-Resource Topic Modeling
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文针对低资源主题建模提出域适应框架 DALTA，通过共享编码器、专用解码器与对抗对齐实现选择性知识迁移，并以泛化界和实验证明其性能优势。
2025-06-09 cs.CL
InfoCTM: A Mutual Information Maximization Perspective of Cross-Lingual Topic Modeling
Nanyang Technological University（南洋理工大学）；Carnegie Mellon University（卡内基梅隆大学）；National University of Singapore（新加坡国立大学）；DAMO Academy, Alibaba Group（阿里巴巴达摩院）
提出基于互信息的跨语言主题建模方法InfoCTM，通过互信息正则化对齐主题缓解重复问题，并利用跨语言词汇链接解决低覆盖率词典问题，在多语言实验中表现更优。
2024-03-27 cs.CL
TAN-NTM: Topic Attention Networks for Neural Topic Modeling
Adobe（奥多比公司）；Birla Institute of Technology Science Pilani (BITS Pilani)（比尔拉科学技术学院（皮拉尼））；Indian Institute of Technology Kanpur (IIT Kanpur)（印度理工学院坎普尔分校）
主题模型已被广泛用于学习文本表示和深入了解文档语料库。为了进行主题发现，大多数现有的神经模型要么将文档词袋（BoW）或令牌序列作为输入，然后进行变分推理和BoW重构来学习主题词分布。然而，在文档编码期间利用主题词分布来学习更好的功能还没有被探索太多。为此，我们开发了一个框架TAN-NTM，它通过LSTM将文档处理为一个令牌序列，LSTM的上下文输出以主题感知的方式参与。我们提出了一种新的注意力机制的因素，在主题词的分布，使模型出席相关的话，传达主题相关的线索。然后利用主题注意模块的输出进行变分推理。我们进行了广泛的消融和实验，在几个基准数据集-20 Newsgroups，Yelp Review Polarity和AGNews的NPMI一致性中，现有SOTA主题模型的得分提高了约9- 15%。此外，我们表明，我们的方法学习更好的潜在文档主题功能相比，现有的主题模型，通过改进两个下游任务：文档分类和主题引导的关键词生成。
2021-07-09 cs.CL
GloCTM: Cross-Lingual Topic Modeling via a Global Context Space
GloCTM通过构建统一语义空间，实现跨语言主题建模的连贯性和语义对齐，提升多语言理解能力。
2026-01-17 cs.CL
Identifying Reference Spans: Topic Modeling and Word Embeddings help IR
University of Houston（休斯顿大学）
CL-SciSumm 2016的共享任务引入了一个有趣的问题：给定一个文档D和一段引用D的文本，我们如何识别这段文本引用的D的文本跨度？共享任务提供了研究该问题的第一个带注释的数据集。我们提出了一个分析，我们继续努力，提高我们的系统的性能，这项任务。我们演示了如何主题模型和词嵌入可以用来超越以前最好的表现系统。
2017-08-09 cs.CL
Reliability of Topic Modeling
Northwestern University（西北大学）
本研究指出标准可靠性度量不足，提出并验证McDonald's ω作为主题模型可靠性的最佳评估指标，为基于主题模型的研究提供关键验证工具。
2024-12-13 cs.CL
Topic Modeling as Multi-Objective Contrastive Optimization
Institute of Data Science (IDS), National University of Singapore (NUS)（数据科学研究所（IDS），新加坡国立大学）；Nanyang Technological University (NTU)（南洋理工大学）；Carnegie Mellon University (CMU)（卡内基梅隆大学）
针对神经主题模型中文档级对比学习捕获低级信息及ELBO与对比损失冲突的问题，提出面向主题向量集合的对比学习方法，并将其转化为基于梯度的多目标优化问题以寻求帕累托平稳解，显著提升了主题连贯性、多样性与下游性能。
2025-07-13 cs.CL
Neural Topic Modeling by Incorporating Document Relationship Graph
Southeast University（东南大学）
图神经网络（Graph Neural Networks，GNN）通过消息传递来捕捉图节点之间的关系，是自然语言处理领域的一个研究热点。在本文中，我们提出了图主题模型（GTM），一个基于GNN的神经主题模型，将语料库表示为文档关系图。语料库中的文档和单词成为图中的节点，并基于文档-单词共现来连接。通过引入图结构，文档之间的关系通过它们的共享词建立，从而通过使用图卷积聚合来自其相邻节点的信息来丰富文档的主题表示。在三个数据集上进行了大量的实验，实验结果证明了该方法的有效性。
2020-09-29 cs.CL
Capturing research literature attitude towards Sustainable Development Goals: an LLM-based topic modeling approach
本文提出一种基于大语言模型和BERTopic的自动化主题建模流程，用于分析2006-2023年Scopus科学摘要中对可持续发展目标的态度演变，并引入新型嵌入计算和超参数优化器以支持大规模文本语料库。
2024-11-11 cs.CL
Combining Temporal Information and Topic Modeling for Cross-Document Event Ordering
University of Alicante（阿利坎特大学）
从书面新闻文章的集合中构建统一的时间线需要跨文档事件共指消解和时间关系抽取。在本文中，我们提出了一种方法事件共指消解根据：a）相似的时间信息，和b）相似的语义参数。使用自动时间信息系统（TIPSem）检测时间信息，而语义信息通过LDA主题建模表示。对我们方法的评估表明，它在SemEval2015任务4：时间轴：跨文档事件排序中获得了最高的微平均F分数结果（TrackB为25.36%，SubtrackB为23.15%），与其他系统相比提高了6%。然而，我们的实验也显示了一些缺点的主题建模方法，降低了系统的性能。
2015-06-10 cs.CL
Familia: An Open-Source Toolkit for Industrial Topic Modeling
Baidu, Inc.（百度公司）
Familia是一个开源工具包，用于在行业中进行实用的主题建模。Familia将行业主题建模的应用抽象为两种范式：语义表示和语义匹配。这两种范式的有效实现首次公开发布。此外，我们还提供了在大规模工业语料库上训练的现成主题模型，包括潜在狄利克雷分配（LDA），句子LDA和主题词嵌入（TWE）。我们进一步描述了典型的应用程序，成功地供电的主题建模，以减轻混乱和困难的软件工程师在主题模型的选择和利用。
2017-07-31 cs.CL cs.IR
Semantic-Driven Topic Modeling Using Transformer-Based Embeddings and Clustering Algorithms
University of Colorado Colorado Springs (UCCS)（科罗拉多大学科罗拉多斯普林斯分校）；Instituto Politécnico Nacional (IPN)（国家理工学院）
本文提出一种语义驱动的端到端主题建模方法，利用Transformer嵌入、降维和聚类算法提取连贯主题，并在主题质量上优于ChatGPT及传统主题建模算法。
2024-09-30 cs.AI cs.CL
Coherence-Aware Neural Topic Modeling
Amazon Web Services（亚马逊云科技）
主题模型的评估是基于它们描述文档的能力（即低困惑度）和产生具有连贯语义的主题的能力。在目前的主题建模中，困惑度是一个直接的优化目标。然而，由于其具有挑战性的计算，主题一致性并没有优化，并且仅在训练后进行评估。在这项工作中，在神经变分推理框架下，我们提出了将主题一致性目标纳入训练过程的方法。我们证明，这样的连贯性意识的主题模型表现出类似的困惑水平的基线模型，但实现了更高的主题连贯性。
2018-09-07 cs.CL cs.LG
Examining Racial Bias in an Online Abuse Corpus with Structural Topic Modeling
Cornell University（康奈尔大学）
我们使用结构主题建模来检查收集到的数据中的种族偏见，以训练模型来检测社交媒体帖子中的仇恨言论和辱骂性语言。我们通过添加一个额外的功能来增加滥用语言数据集，该功能指示用非洲裔美国人英语撰写的推文的预测概率。然后，我们使用结构主题模型来研究的内容的推文，以及如何流行的不同主题是相关的滥用注释和方言预测。我们发现，某些话题被不成比例地种族化，并被认为是虐待。我们讨论如何主题建模可能是一个有用的方法来识别偏见的注释数据。
2020-05-26 cs.CL cs.SI
An Online Topic Modeling Framework with Topics Automatically Labeled
The Chinese University of Hong Kong（香港中文大学）
在本文中，我们提出了一个新的在线主题跟踪框架，名为IEDL，用于跟踪与Stack Exchange上的深度学习技术相关的主题变化，并自动解释每个识别的主题。该框架在对当前时间片内的主题进行推理时，结合时间窗口内的先验主题分布，并引入一种新的排序方案，为每个时间片内的推理主题选择最具代表性的短语和句子。在7,076个Stack Exchange帖子上的实验表明了IEDL在跟踪主题变化和标记主题方面的有效性。
2019-06-22 cs.CL cs.IR
Topic Modeling in Marathi
本文针对马拉地语主题建模研究稀缺的问题，比较了多种 BERT 与非 BERT 方法，发现 BERTopic 结合印度语言训练的 BERT 模型在主题一致性和多样性上优于 LDA。
2025-02-04 cs.CL cs.LG
TopicImpact: Improving Customer Feedback Analysis with Opinion Units for Topic Modeling and Star-Rating Prediction
Department of Computing Science Umeå University（计算科学系乌梅大学）
本文提出TopicImpact系统，通过将客户评论重构为意见单元来改进主题建模，并结合主题与情感模态提升星级评分预测的准确性和可解释性。
2025-07-16 cs.AI cs.CL
Qualitative Insights Tool (QualIT): LLM Enhanced Topic Modeling
Amazon（亚马逊）
提出QualIT方法，将LLM与基于聚类的主题建模相集成，利用LLM的上下文理解和语言生成能力，在新闻语料库上显著提升了主题连贯性与多样性。
2024-09-24 cs.CL cs.IR
