发表机构
Syracuse University（雪城大学）
机构由 AI 辅助整理，请以论文原文为准。AI 中文总结
MonoTM框架通过解耦文档-主题混合估计与语义解释，利用稀疏自编码器特征，在保留全局主题结构的同时，用语义单元替代词语表示主题，提升下游分析实用性。
AI 中文摘要
主题模型用于总结大型文本语料库，但排名靠前的词汇往往只能提供对主题语义的有限表示。稀疏自编码器（SAEs）提供了一种超越词级描述符的方法，通过从密集表示中提取可解释特征，然而特征可解释性与主题推断质量之间的关系仍不清楚。我们提出了MonoTM，一个可解释的主题建模框架，它解耦了这些角色。在三个基准语料库上，我们展示了文档-主题混合估计和语义解释偏好不同的SAE配置和特征子集。MonoTM从完整的SAE词袋特征表示中估计混合比例，并在固定这些比例后，在一个独立的、基于语料库的语义特征词汇表上学习主题描述符。这种设计在保留全局主题结构的同时，用比单个词语更有意义的语义单元来表示主题，使其对下游语料库分析更有用。
英文摘要
Topic models summarize large text corpora, but top-ranked words often provide only a limited representation of topic semantics. Sparse autoencoders (SAEs) offer a way to move beyond word-level descriptors by extracting interpretable features from dense representations, yet how feature interpretability relates to topic-inference quality remains unclear. We introduce \textbf{MonoTM}, an interpretable topic modeling framework that decouples these roles. Across three benchmark corpora, we show that document--topic mixture estimation and semantic interpretation favor different SAE configurations and feature subsets. MonoTM estimates mixtures from the full SAE bag-of-features representation and, with them fixed, learns topic descriptors over a separate vocabulary of corpus-grounded semantic features. This design preserves global topic structure while representing topics with semantic units more meaningful than individual words, making them more useful for downstream corpus analysis.
CommentsAccepted to appear in the Proceedings of AACL-IJCNLP 2026
