Jointly Dynamic Topic Model for Recognition of Lead-lag Relationship in Two Text Corpora
Peking University（北京大学）；Renmin University of China（中国人民大学）
话题演化建模在近几十年来受到了广泛的关注。虽然已经提出了各种主题演化模型，但大多数研究都集中在单文档语料库上。然而，在实践中，我们可以很容易地访问来自多个来源的数据，并观察它们之间的关系。如何识别多个文本语料库之间的关系，并进一步利用这种关系来改进主题建模是一个很有意义的问题。在这项工作中，我们专注于两个文本语料库之间的一种特殊类型的关系，我们定义为“领先滞后关系”。这种关系表现为一个文本语料库会影响另一个文本语料库将来讨论的话题。为了发现领先-滞后关系，我们提出了一个联合动态主题模型，并开发了一个嵌入扩展来解决大规模文本语料库的建模问题。通过识别出的前后关系，可以发现两个文本语料库的相似性，从而提高两个语料库的主题学习质量。我们数值研究的联合动态主题建模方法使用合成数据的性能。最后，我们将所提出的模型应用于两个文本语料库，包括统计论文和毕业论文。实验结果表明，该模型能很好地识别两个语料库之间的领先-滞后关系，并发现了两个语料库中的特定和共享的主题模式。
2021-11-21 cs.CL stat.ME stat.ML
Topic Ontologies for Arguments
Lebiniz University Hannover（汉诺威莱布尼茨大学）；Bauhaus-Universität Weimar（魏玛包豪斯大学）；Leipzig University（莱比锡大学）
许多计算论证任务，如立场分类，是主题相关的：这些任务的方法的有效性很大程度上取决于这些方法是否在相同的主题上训练，因为他们被测试。那么，这些主题是研究人员训练方法？本文贡献了第一次全面的调查主题覆盖率，评估45个论点语料库。对于评估，我们采取了第一步，建立一个论点主题本体，咨询三个不同的权威来源：世界经济论坛，维基百科有争议的主题列表，和Debatepedia。对比权威来源和语料库的主题集，我们的分析表明，语料库的主题，这主要是那些经常讨论的公共在线论坛-被覆盖的来源。然而，其他主题的来源是不太广泛的语料库涵盖的今天，揭示有趣的未来方向语料库建设。
2023-01-23 cs.CL
Analyses of Multi-collection Corpora via Compound Topic Modeling
Indian Institute of Technology Goa（印度理工学院果阿分校）；Informatics Institute, University of Florida（佛罗里达大学信息学研究所）；University of Florida（佛罗里达大学）
随着电子存储数据在日常生活中的增长，获取新的和相关的信息变得具有挑战性的文本挖掘。因此，人们一直在寻求基于词频、矩阵代数或主题建模的统计方法来进行文本挖掘。目前流行的主题模式都集中在单一的文本集合上，这对于文本的比较分析是很有缺陷的。我们考虑一个设置，其中一个可以划分成子集合的语料库。每个子集合共享一组公共的主题，但集合之间的主题比例存在相对变化。包括任何先验知识的语料库（如组织结构），我们提出了复合潜在狄利克雷分配（cLDA）模型，改进以前的工作，鼓励推广，并减少依赖于用户输入参数。为了确定cLDA中感兴趣的参数，我们广泛研究了马尔可夫链蒙特卡罗（MCMC）和变分推理方法，并提出了一种有效的MCMC方法。我们使用合成语料库和真实语料库定性和定量地评估cLDA。对一些真实语料库的可用性研究说明了cLDA在自动探索底层主题方面的优越性，同时也对多个集合之间的连接和变化进行了建模。
2019-06-17 cs.CL cs.IR cs.LG
Distributed Asymmetric Allocation: A Topic Model for Large Imbalanced Corpora in Social Sciences
Waseda University（早稻田大学）
本文提出DAA模型，通过整合多种算法高效识别大规模不平衡语料库中的重要主题，验证其在政治主题识别上的优越性。
2025-12-19 cs.CL stat.ME
Assessing the trade-off between prediction accuracy and interpretability for topic modeling on energetic materials corpora
American University（美利坚大学）；University of Maryland（马里兰大学）；Energetics Technology Center（含能材料技术中心）
随着能量学研究的数量和种类的增加，机器感知的主题识别对于简化未来的研究管道是必要的。自动主题识别过程的组成包括创建文档表示和执行分类。然而，这些过程的能量学研究的实施提出了新的挑战。能量学数据集包含许多科学术语，这些术语是理解文档上下文所必需的，但可能需要更复杂的文档表示。其次，分类的预测必须是管道中的化学家可以理解和信任的。在这项工作中，我们研究了预测精度和可解释性之间的权衡，通过实现三个文档嵌入方法，不同的计算复杂性。通过我们的准确性结果，我们还引入了每个预测的本地可解释性模型不可知解释（LIME），以提供对每个预测的本地化理解，并与我们的能量学专家团队一起验证分类器决策。这项研究是在一个新的标记能量数据集上进行的，该数据集由我们的能量学专家团队创建和验证。
2022-06-01 cs.CL cs.LG
Proposing Topic Models and Evaluation Frameworks for Analyzing Associations with External Outcomes: An Application to Leadership Analysis Using Large-Scale Corporate Review Data
Accenture Japan Ltd（安永日本有限公司）；Kyoto University Institute for the Future of Human Society（京都大学未来人类社会研究所）；OpenWork Inc.（OpenWork公司）；Integral Corporation（Integral公司）
本文提出一种利用大语言模型生成主题的方法，结合定制评估框架，提升主题可解释性、特定性和极性一致性，通过日本主要企业评论平台OpenWork的员工评论数据验证，提升了对员工士气等外部结果的解释力。
2026-04-24 cs.CL
Large-Scale Evaluation of Topic Models and Dimensionality Reduction Methods for 2D Text Spatialization
University of Potsdam（波茨坦大学）；Hasso Plattner Institute（哈索·普拉特纳研究院）；Graz University of Technology（格拉茨技术大学）
本文针对二维文本空间化任务，大规模评估了多种主题模型与降维方法的组合，基于超过45,000个布局的量化指标，发现可解释的主题模型结合t-SNE降维能有效捕捉语料库结构并提升布局质量。
2023-07-17 cs.CL cs.LG
DAPPER: Scaling Dynamic Author Persona Topic Model to Billion Word Corpora
University of Minnesota Twin Cities（明尼苏达大学双城分校）
从多作者动态文本语料库中提取共同叙述需要复杂的模型，例如动态作者角色（DAP）主题模型。然而，这样的模型是复杂的，并且可能难以扩展到大型语料库，通常是因为具有挑战性的非共轭术语。为了克服这些挑战，在本文中，我们适应新的想法近似推理的DAP模型，导致DAP执行超快速（DAPPER）的主题模型。具体来说，我们开发共轭计算变分推断（CVI）的基础上的变分期望最大化（EM）的学习模型，产生快速，封闭的形式更新每个文件，取代迭代优化在早期的工作。我们的研究结果表明，在模型拟合和训练时间方面有了显着的改进，而不需要损害模型的时间结构或正则化变化推理（RVI）的应用。我们通过从CaringBridge语料库中提取健康旅程来展示DAPPER模型的可扩展性和有效性-CaringBridge语料库是由20万名作者在健康危机期间撰写的900万份期刊的集合。
2018-11-03 cs.CL cs.IR cs.LG
One Sense per Collocation and Genre/Topic Variations
本文利用两个不同语料库和细粒度的语义区分，重新审视了一个意义对应一个搭配的假设。我们发现，该假设是较弱的细粒度的意义区分（70%与99%的早期报告的双向歧义）。我们还表明，一个意义每搭配跨语料库举行，但搭配从一个语料库到另一个，以下体裁和主题的变化。这解释了在跨语料库执行词义消歧时的低结果。事实上，我们证明，当两个独立的语料库共享一个相关的体裁/主题，词义消歧的结果会更好。未来的词义消歧工作将不得不考虑体裁和主题作为其模型的重要参数。
2000-10-17 cs.CL
Bilingual Topic Models for Comparable Corpora
Salesforce（赛富时）；University of Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；University of Lorraine（洛林大学）
概率主题模型，如潜在狄利克雷分配（LDA）先前已扩展到双语设置。这些扩展中的一个基本建模假设是，输入语料库是文档对的形式，其组成文档共享单个主题分布。然而，对于由主题仅在某种程度上相似的文档组成的可比语料库来说，这种假设是强有力的，而这些文档又是最常见或最容易获得的。在本文中，我们放松了这一假设，提出了成对的文件有单独的，但绑定的主题分布。%成对文档的分布之间的绑定机制。我们建议，绑定的强度应取决于每对的语义相似性。为了估计用不同语言编写的文档的相似性，我们使用了通过浅层神经网络学习的跨语言词嵌入。我们通过扩展两个主题模型来评估所提出的绑定机制：假设词袋输入的LDA的双语适应模型和以语义连贯段的边界形式纳入部分文本结构的模型。为了评估新型主题模型的性能，我们对五个双语、可比较的英语文档与法语、德语、意大利语、西班牙语和葡萄牙语文档语料库进行了内在和外在实验。结果表明，我们的方法的效率方面的主题一致性测量的归一化逐点互信息，和泛化性能测量的困惑，并在跨语言的文档检索任务中的每一个语言对的平均倒数排名。
2021-11-30 cs.CL
Learning Multilingual Topics from Incomparable Corpus
University of Colorado（科罗拉多大学）
多语言主题模型通过从多语言语料库中提取一致的主题来支持跨语言任务。大多数模型需要平行或可比的训练语料库，这限制了它们的泛化能力。在本文中，我们首先通过定义一个替代但等效的公式来揭开多语言主题模型背后的知识转移机制的神秘面纱。基于这种分析，我们放松了大多数现有模型所需的训练数据的假设，创建了一个只需要字典进行训练的模型。实验表明，我们的新方法有效地学习连贯的多语言主题的部分和完全不可比的语料库与有限的字典资源。
2018-06-11 cs.CL
Fuzzy Approach Topic Discovery in Health and Medical Corpora
University of South Carolina（南卡罗来纳大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）
大多数医疗文档和电子健康记录（EHR）都是文本格式，这对数据处理和查找相关文档构成了挑战。寻找自动检索大量健康和医学知识的方法一直是一个有趣的话题。近年来，人们开发了一些强大的方法来实现文本处理的自动化。主题建模是一种基于主题发现的健康医学语料库信息检索方法，然而，该方法仍需要新的视角。在这项研究中，我们描述了模糊潜在语义分析（FLSA），一种新的方法在主题建模使用模糊的角度。FLSA能够有效地解决健康医学语料库中的冗余问题，并提供了一种新的估计主题数量的方法。定量评估表明，FLSA产生更优越的性能和功能的潜在狄利克雷分配（LDA），最流行的主题模型。
2017-05-26 cs.CL cs.IR stat.ML
Topic Bias in Emotion Classification
University of Stuttgart（斯图加特大学）；University of Bamberg（班贝格大学）
该研究针对情感语料库因采样方式产生主题偏差、损害模型泛化性的问题，从数据与建模角度验证情感和特定主题的关联及对分类器的干扰，并证实梯度反转对抗校正的去偏方法可缓解该问题，呼吁构建更具代表性的语料资源。
2024-02-02 cs.CL
Joint Modeling of Topics, Citations, and Topical Authority in Academic Corpora
KAIST（韩国科学技术院）；Australian National University（澳大利亚国立大学）
许多科学进步都源于以前发表的发现，但在浩瀚的科学出版物中搜索是很困难的。我们经常依靠学术权威的指标来寻找杰出的作者，但这些权威指数并没有根据研究主题区分权威。我们提出了潜在的主题权威索引（LTAI），共同建模的主题，引文和主题权威的学术论文语料库。与以前的模型相比，LTAI在两个主要方面有所不同。首先，它明确地模拟了引文的生成过程，而不是将引文视为给定的。其次，它根据被引论文的主题以及被引论文来建模每个作者对论文被引的影响。我们适合LTAI四个学术语料库：CORA，Arxiv Physics，PNAS和Citeseer。我们比较了LTAI对各种基线的性能，从潜在的Dirichlet分配开始，到更高级的模型，包括作者链接主题模型和动态作者引用主题模型。结果表明，LTAI在预测出版物的单词、引文和作者时，比其他类似模型的准确率有所提高。
2017-06-02 cs.CL cs.DL cs.SI
Topic Modelling of Empirical Text Corpora: Validity, Reliability, and Reproducibility in Comparison to Semantic Maps
University of Duisburg-Essen（杜伊斯堡-埃森大学）；University of Amsterdam（阿姆斯特丹大学）
使用卓越研究框架（REF 2014）中提交评估的6，638个社会影响案例描述，我们复制了在此背景下制作的主题模型（潜在狄利克雷分配或LDA），并将结果与使用传统单词文档矩阵（主成分分析或PCA）的因子分析结果进行比较。例如，从样本中删除一小部分文档，平均而言，对LDA的影响要比对基于PCA的模型的影响大得多，以至于在PCA的情况下，最大的失真比基于LDA的模型的最小失真的影响小。然而，在语义一致性方面，LDA模型优于基于PCA的模型。主题模型告诉我们的统计属性的文件集的研究，但结果是统计的，不应该被用于语义解释-例如，在拨款选择和微观决策，或学术工作-没有后续使用特定领域的语义地图。
2018-06-04 cs.CL
TMT: A Simple Way to Translate Topic Models Using Dictionaries
University of Bamberg（巴姆堡大学）
针对多语言主题模型训练依赖复杂算法、对齐语料且数据受限的难题，提出无需元数据、嵌入或对齐语料的TMT技术，可跨语言迁移主题模型，经定量定性验证其翻译语义连贯一致。
2025-08-31 cs.CL cs.IR
Non-Pharmaceutical Intervention Discovery with Topic Modeling
Layer 6 AI（第六层人工智能公司）；Vector Institute（向量研究所）；University of British Columbia（英属哥伦比亚大学）；University of Toronto（多伦多大学）
我们考虑在不断演变的COVID-19大流行期间发现非药物干预措施类别的任务。我们探索主题建模的两个语料库与国内和国际范围内。与人工干预标签相比，这些模型发现了现有的类别，同时减少了所需的人力。
2020-09-10 cs.CL cs.LG
Improving Topic Models with Latent Feature Word Representations
Macquarie University（麦考瑞大学）；Santa Fe Institute（圣塔菲研究所）
概率主题模型被广泛用于发现文档集合中的潜在主题，而词的潜在特征向量表示已被用于在许多NLP任务中获得高性能。在本文中，我们扩展了两个不同的Dirichlet多项式主题模型，通过将在非常大的语料库上训练的单词的潜在特征向量表示，以改善在较小的语料库上学习的单词-主题映射。实验结果表明，通过使用来自外部语料库的信息，我们的新模型产生了显着的改善主题一致性，文档聚类和文档分类任务，特别是在数据集少或短的文档。
2018-10-15 cs.CL cs.IR cs.LG
Discovering topics with neural topic models built from PLSA assumptions
Dailymotion（Dailymotion公司）
本文提出了一个文本语料库中无监督主题发现的模型。该模型使用文档、单词和主题查找表嵌入作为神经网络模型参数，以构建单词给定主题的概率和主题给定文档的概率。这些概率用于通过边缘化来恢复给定文档的单词的概率。对于文档数量可能达到数十亿的非常大的语料库，使用基于神经自动编码器的文档嵌入比使用传统的查找表嵌入更具可扩展性。因此，我们将基于查找的文档嵌入模型扩展到基于连续自动编码器的模型。我们的模型使用概率潜在语义分析（PLSA）假设进行训练。我们在六个内容丰富的数据集上评估了我们的模型。实验结果表明，所提出的神经主题模型是非常有效的捕获相关的主题。此外，考虑到困惑度量，进行评估基准测试表明，我们的主题模型优于潜在的Dirichlet分配（LDA）模型，这是经典的用于解决主题发现任务。
2019-11-25 cs.CL cs.LG stat.ML
Predicting Good Configurations for GitHub and Stack Overflow Topic Models
School of Computer Science University of Adelaide（阿德莱德大学计算机学院）
软件存储库包含大量的文本数据，从源代码注释和问题描述到问题、答案和Stack Overflow上的注释。为了理解这些文本数据，主题建模经常被用作文本挖掘工具，用于发现文本主体中隐藏的语义结构。潜在狄利克雷分配（LDA）是一种常用的主题模型，旨在通过对文本进行分组来解释语料库的结构。LDA需要多个参数才能正常工作，关于如何设置这些参数，只有粗略的、有时相互冲突的指导方针。在本文中，我们贡献了（i）对GitHub和Stack Overflow文本语料库的参数进行了广泛的研究，以达到良好的局部最优，（ii）与八种程序设计语言相关的文本语料库的后验特征，以及（iii）通过每个语料库LDA配置分析语料库特征重要性。我们发现（1）主题建模参数配置的流行经验法则不适用于我们实验中使用的语料库，（2）从GitHub和Stack Overflow采样的语料库具有不同的特征，需要不同的配置才能实现良好的模型拟合，（3）我们可以可靠地预测未知语料库的良好配置。这些研究结果支持研究人员和从业人员在分析软件存储库中包含的文本数据时，有效地确定合适的主题建模配置。
2019-03-10 cs.CL cs.NE
Does Syntax Matter? A Graph-Augmented Variational Topic Model for Computational Social Sciences
University of Udine（乌迪内大学）
本文提出图增强变分主题模型SCPTM，探究句法在主题建模中的作用，发现句法编码对论证性文本有益，但在信息性语域中引入噪声。
2026-09-09 cs.CL
When Numbers Tell Half the Story: Human-Metric Alignment in Topic Model Evaluation
Université de Lorraine, CNRS, LORIA（洛林大学、法国国家科学研究中心、LORIA）；Université de Strasbourg（斯特拉斯堡大学）；Université de Sherbrooke（Sherbrooke大学）
本文提出TWM任务，通过评估跨主题差异性，弥补现有自动度量与人类判断的差距，适用于领域特定语料的评估。
2026-03-02 cs.AI cs.CL cs.LG
Topic Stability over Noisy Sources
Centre for Applied Data Analytics Research（应用数据分析研究中心）；School of Computer Science & Informatics（计算机科学与信息学院）；University College Dublin（都柏林大学学院）
主题建模技术，如LDA最近已被应用到语音转录和OCR输出。这些语料库可能包含噪声或错误的文本，这可能会破坏主题的稳定性。因此，了解主题建模算法在应用于噪声数据时的表现是很重要的。在本文中，我们表明，不同类型的文本噪声将有不同的影响，不同的主题模型的稳定性。根据这些观察，我们提出了文本语料库生成的指导方针，重点是自动语音转录。我们还提出了噪声语料库的主题模型选择方法。
2015-08-05 cs.CL cs.IR
Know thy corpus! Robust methods for digital curation of Web corpora
Centre for Translation Studies, University of Leeds（利兹大学翻译研究中心）
本文提出了一种新的框架，数字策展的Web语料库，以提供强大的估计，如其组成和词汇的参数。近年来，在大型语料库上预训练的语言模型在许多NLP任务中成为明显的赢家，但没有对导致其成功的语料库进行适当的分析。本文提出了一个强大的频率估计，这有助于建立一个给定的语料库的核心词汇，以及通过无监督的主题模型和监督的体裁分类的网页估计语料库组成的过程。数字策展研究的结果适用于几个网络派生语料库展示了相当大的差异。首先，这涉及到不同的频率突发，影响从每个语料库获得的核心词汇。第二，这涉及到它们所包含的文本类型。例如，OpenWebText包含了比ukWac或维基百科更多的主题新闻和政治辩论。工具和分析结果已经发布。
2020-03-13 cs.CL
Parsimonious Topic Models with Salient Word Discovery
Pennsylvania State University（宾夕法尼亚州立大学）
我们提出了一个简约的主题模型的文本语料库。在相关的模型中，如潜在狄利克雷分配（LDA），所有的单词都是特定于主题的，即使许多单词在不同的主题中以相似的频率出现。我们的建模确定了每个主题的突出词，这些词具有特定主题的概率，其余的由通用共享模型解释。此外，在LDA中，所有主题原则上都存在于每个文档中。相比之下，我们的模型给出了稀疏的主题表示，确定每个文档的相关主题的（小）子集。我们推导出贝叶斯信息准则（BIC），平衡模型的复杂性和拟合优度。在这里，有趣的是，我们确定了有效的样本量和相应的惩罚特定于我们的模型中的每个参数类型。我们最小化BIC以完全无监督的方式共同确定整个模型-特定于主题的单词，特定于文档的主题，所有模型参数值，{ \it和}主题的总数。三个文本语料库和图像数据集的结果表明，我们的模型实现了更高的测试集的可能性和更好的协议与地面真相类标签，LDA和设计的模型，以纳入稀疏性。
2014-09-11 cs.CL cs.IR cs.LG
vMF Sentence LDA: A Spherical Topic Model over Sentence Embeddings
The University of Tokyo（东京大学）
提出 vSLDA，一种基于句子嵌入的球面主题模型，利用 vMF 分布匹配余弦几何，线性复杂度优于高斯模型，在细粒度主题划分中优于八个基线。
2026-10-06 cs.CL cs.LG
Iterative Data Programming for Expanding Text Classification Corpora
IBM Watson（IBM沃森）；Pryon Research（普赖恩研究中心）
现实世界的文本分类任务通常需要许多标记的训练样本，这些样本的获取成本很高。机器教学的最新进展，特别是数据编程范式，通过构建弱模型（也称为标记函数）的通用框架，促进了训练数据集的快速创建，并通过集成学习技术对其进行降噪。我们提出了一种快速，简单的数据编程方法，通过生成基于邻域的弱模型，以最小的监督来增强文本数据集。此外，我们的方法采用迭代过程来识别稀疏分布的例子，从大量的未标记的数据。迭代数据编程技术改进了新的弱模型，因为更多的标记数据被人在回路中确认。我们展示了句子分类任务的实证结果，包括提高会话代理人意图识别的任务。
2020-02-04 cs.CL cs.LG
Beyond Top Words: MonoTM for Topic Modeling with Interpretable Monosemantic Features
Syracuse University（雪城大学）
MonoTM框架通过解耦文档-主题混合估计与语义解释，利用稀疏自编码器特征，在保留全局主题结构的同时，用语义单元替代词语表示主题，提升下游分析实用性。
2026-09-10 cs.CL cs.HC
Unsupervised Machine Commenting with Neural Variational Topic Model
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
文章评论可以为读者提供补充性的观点和事实，从而增加文章的吸引力和参与度。因此，自动评论有助于提高社区的活跃度，例如在线论坛和新闻网站。以前的工作表明，训练一个自动评论系统需要大型的平行语料库。虽然部分文章与某些网站上的评论自然配对，但大多数文章和评论在互联网上是不配对的。为了充分利用未配对的数据，我们完全消除了对并行数据的需求，并提出了一种新的无监督方法来训练自动文章评论模型，只依赖于未配对的文章和评论。我们的模型是基于检索的评论框架，它使用新闻检索评论的基础上，他们的主题的相似性。主题表示是从神经变分主题模型中获得的，该模型是以无监督的方式训练的。我们在新闻评论数据集上评估我们的模型。实验表明，我们提出的基于主题的方法显着优于以前的基于词典的模型。该模型还受益于配对语料库，并在半监督场景下实现了最先进的性能。
2018-09-13 cs.CL
Repeatability is not recovery: Quantifying algorithmic stability and topic recovery in Latent Dirichlet Allocation
The School of Computer and Mathematical Sciences, The University of Adelaide, South Australia 5005, Australia（计算机与数学科学学院，阿德莱德大学，南澳大利亚5005）
该研究针对主题模型评估中误将可重复性等同于主题恢复的问题，提出联合测量稳定性与恢复性的框架，通过合成语料验证LDA的可重复性与恢复性存在分离，主张需用多标准评估主题模型。
2026-08-20 cs.CL
Discriminative Topic Mining via Category-Name Guided Text Embedding
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Georgia Institute of Technology（佐治亚理工学院）
从海量文本语料库中自动挖掘出一组有意义、有特色的主题具有广泛的应用前景。然而，现有的主题模型通常以纯粹无监督的方式工作，这通常会生成不符合用户特定需求的主题，并在下游任务上产生次优性能。我们提出了一个新的任务，歧视性主题挖掘，它利用一组用户提供的类别名称挖掘歧视性主题的文本语料库。这个新的任务不仅可以帮助用户清楚和明确地理解他/她最感兴趣的主题，而且还直接受益于关键字驱动的分类任务。我们开发了CatE，一种新的类别名称引导的文本嵌入方法，用于判别式主题挖掘，它有效地利用最小的用户指导来学习判别式嵌入空间，并以迭代的方式发现类别代表性术语。我们进行了一组全面的实验表明，CatE挖掘高质量的主题集的类别名称只引导，并有利于各种下游应用，包括弱监督分类和词汇蕴涵方向识别。
2020-01-27 cs.CL cs.IR
Evaluating Topic Quality with Posterior Variability
University of British Columbia（不列颠哥伦比亚大学）；University of Colorado（科罗拉多大学）
概率主题模型（如潜在狄利克雷分配（LDA））通常与贝叶斯推理方法（如吉布斯抽样）一起使用，以学习主题模型参数的后验分布。我们推导出一种新的LDA主题质量的测量使用后验分布的变化。与现有的几个自动主题评价基线相比，该指标在三个语料库上的实验中实现了与人类对主题质量判断的最新相关性。我们还证明，主题质量估计可以进一步提高使用监督估计，结合多个指标。
2019-09-15 cs.CL
Topic supervised non-negative matrix factorization
University of San Francisco（旧金山大学）
主题模型已被广泛用于组织和解释大型非结构化文本文档语料库的内容。虽然主题模型通常在传统训练与测试集评估中表现良好，但通常情况下，主题模型的结果与人类解释不一致。这种可解释性谬误很大程度上是由于主题模型的无监督性质，它禁止用户对模型的结果进行任何指导。在本文中，我们介绍了一种半监督的方法，称为主题监督非负矩阵分解（TS-NMF），使用户能够提供标记的示例文档，以促进发现更有意义的语义结构的语料库。以这种方式，TS-NMF的结果更好地匹配用户的直觉和期望的标记。TS-NMF的核心依赖于解决一个非凸优化问题，我们推导出一个迭代算法，被证明是单调的，收敛到局部最优。我们证明了TS-NMF的路透社和PubMed语料库的实际效用，并发现TS-NMF是特别有用的概念或广泛的主题，主题的关键术语不太清楚。虽然确定一个最佳的潜在结构的数据是不是所提出的方法的主要目标，我们发现，TS-NMF实现更高的加权Jaccard相似性得分比当代的方法，（无监督）NMF和潜在的Dirichlet分配，在监督率低至10%至20%。
2017-07-02 cs.CL cs.IR cs.LG
GHTM: A graph-based hybrid topic modeling approach for Bengali language
Institute of Information Technology (IIT), University of Dhaka（达卡大学信息技术研究所）；Centre for Advanced Research in Sciences (CARS), University of Dhaka（达卡大学高级科学研究中心）
本文提出GHTM模型，结合TF-IDF加权GloVe嵌入、图卷积网络和非负矩阵分解，提升孟加拉语主题建模效果，并引入NCTBText数据集作为基准。
2026-10-14 cs.CL
AlbNews: A Corpus of Headlines for Topic Modeling in Albanian
University of Vienna（维也纳大学）；Comenius University Bratislava（布拉迪斯拉发考门斯基大学）
本文提出阿尔巴尼亚语新闻标题语料库AlbNews，含600条带标签和2600条未带标签标题，用于主题建模，并报告了传统机器学习分类器的基线结果。
2024-02-06 cs.AI cs.CL cs.LG
Topic Modeling Using Distributed Word Embeddings
University of Southern California（南加州大学）；TopicIQ, Inc.（TopicIQ公司）；IIT Delhi（德里印度理工学院）
我们提出了一个新的主题建模算法，Vec2Topic，确定语料库中的主要主题使用通过高维分布式词嵌入捕获的语义信息。我们的技术是无监督的，并生成一个主题的重要性排名列表。我们发现，它比现有的主题建模技术，如潜在的Dirichlet分配更好地识别用户生成的内容中的关键主题，如电子邮件，聊天等，其中主题在语料库中分散。我们还发现，Vec2Topic同样适用于非用户生成的内容，如论文，报告等，以及用于诸如单个文档的小语料库。
2016-03-15 cs.CL
Arabic Text Sentiment Analysis: Reinforcing Human-Performed Surveys with Wider Topic Analysis
Princess Nourah bint Abdulrahman University（努拉宾特阿卜杜拉赫曼大学）；University of Durham（杜伦大学）
本文结合133篇论文的人工调查与2297篇文献的主题建模、时间分析，系统梳理阿拉伯语情感分析方法、算法、资源与工具缺口，并提出未来方向。
2024-03-04 cs.CL
How Many Topics? Stability Analysis for Topic Models
University College Dublin（都柏林大学学院）
主题建模是指在文本语料库中发现潜在的主题结构的任务，其中输出通常呈现为每个主题中出现的顶部术语的报告。尽管已经提出的主题建模算法的多样性，成功地应用这些技术的一个共同的挑战是为给定的语料库选择适当数量的主题。选择太少的主题会产生过于宽泛的结果，而选择太多的主题会导致语料库的“过度聚类”，成为许多小的，高度相似的主题。在本文中，我们提出了一个以术语为中心的稳定性分析策略来解决这个问题，其想法是，具有适当数量的主题的模型将对数据中的扰动更具鲁棒性。使用基于矩阵分解的主题建模方法，在一系列语料库上进行的评估表明，该策略可以成功地指导模型选择过程。
2014-06-19 cs.CL cs.IR cs.LG
Lifelong Neural Topic Learning in Contextualized Autoregressive Topic Models of Language via Informative Transfers
Technische Universität München（慕尼黑工业大学）；TUM（慕尼黑工业大学）；Siemens AG（西门子股份公司）；LMU（慕尼黑大学）
LDA、DocNADE、iDocNADEe等主题模型在文档分析中得到了广泛的应用。然而，传统的主题模型有几个局限性，包括：（1）词袋（BoW）假设，其中它们忽略了单词排序，（2）数据稀疏，其中由于有限的单词共现，主题模型的应用具有挑战性，导致不连贯的主题，以及（3）没有用于终身主题学习的持续学习框架，利用历史知识（或潜在主题）和最小化灾难性遗忘。本文的研究重点是在神经主题建模框架下解决上述问题。我们建议：（1）结合主题和语言模型并引入语言结构（如词序、句法和语义特征等）的语境化主题模型在主题建模中，（2）将一种新的终身学习机制引入神经主题建模框架，以证明连续文档集合中的连续学习和最小化灾难性遗忘。此外，我们执行一个选择性的数据增强，以减轻在数据幻觉或重放过程中需要完整的历史语料库。
2019-09-29 cs.CL cs.IR cs.LG
Familia: An Open-Source Toolkit for Industrial Topic Modeling
Baidu, Inc.（百度公司）
Familia是一个开源工具包，用于在行业中进行实用的主题建模。Familia将行业主题建模的应用抽象为两种范式：语义表示和语义匹配。这两种范式的有效实现首次公开发布。此外，我们还提供了在大规模工业语料库上训练的现成主题模型，包括潜在狄利克雷分配（LDA），句子LDA和主题词嵌入（TWE）。我们进一步描述了典型的应用程序，成功地供电的主题建模，以减轻混乱和困难的软件工程师在主题模型的选择和利用。
2017-07-31 cs.CL cs.IR
Dynamic Topic Modeling for Cross-Corpus Temporal Analysis
Columbia University（哥伦比亚大学）
针对跨语料时间分析中主题对应不稳定的问题，提出带共享主干和残差适配的D-ETM框架，在三个97年跨度的语料上验证其对齐效果显著优于全微调及独立训练方法。
2026-08-25 cs.CL
Enriching WordNet concepts with topic signatures
本文探讨了丰富现有本体论内容的可能性。总体目标是克服WordNet中概念之间缺乏主题链接的问题。每个概念将与主题签名相关联，即，一组具有相关权重的相关词。签名可以从WWW或从有意义标记的语料库中自动构造。这两种方法进行了比较和评价的词义消歧任务。结果表明，使用一些过滤技术可以从万维网中构造干净的签名。
2001-09-19 cs.CL
Dirichlet belief networks for topic structure learning
Monash University（莫纳什大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
最近，大量的研究工作已经致力于开发主题模型的深层架构，以学习主题结构。虽然已经提出了几种深度模型来学习更好的文档主题比例，但如何利用深度结构的好处来学习主题的单词分布尚未得到严格的研究。在这里，我们提出了一个新的多层生成过程中的词分布的主题，其中每一层由一组主题和每个主题是从一个混合物的层以上的主题。由于所有层中的主题都可以直接用词来解释，因此该模型能够发现可解释的主题层次结构。作为一个独立的模块，我们的模型可以灵活地适应不同类型的主题模型，以提高其建模的准确性和可解释性。在文本语料库上的大量实验证明了该模型的优越性。
2018-11-02 cs.CL cs.IR cs.LG
Improving Neural Argumentative Stance Classification in Controversial Topics with Emotion-Lexicon Features
1Innovations Department, Bundesdruckerei GmbH, Berlin, Germany 2Hasso-Plattner-Institut, University of Potsdam, Germany 3Department of Linguistics, University of Potsdam, Germany 4University of Lausanne, Switzerland, 5Knight Foundation School of Computing \& Information Sciences, Florida International University, USA, 6Pisquared, Germany
本文通过扩展NRC情感词典，利用DistilBERT嵌入提升神经论证立场分类性能，有效提升F1分数并优于现有方法。
2026-02-26 cs.CL
BERTrend: Neural Topic Modeling for Emerging Trends Detection
Sorbonne University（索邦大学）；RTE France（法国RTE公司）
BERTrend提出在线神经主题建模方法，结合文档数量与更新频率的新度量来识别噪声、弱信号和强信号，从而在大规模动态文本语料中有效检测新兴趋势并支持事件回顾分析。
2024-11-21 cs.AI cs.CL cs.IR
Nonparametric Spherical Topic Modeling with Word Embeddings
MIT（麻省理工学院）；Harvard University（哈佛大学）
传统的主题模型没有考虑语言中的语义相关性。最近的分布表示的话表现出语义一致性的方向度量，如余弦相似性。然而，现有的主题模型中使用的分类或高斯观测分布都不适合利用这种相关性。在本文中，我们建议使用冯米塞斯-费舍尔分布模型的密度字在一个单位球。这种表示非常适合于方向数据。我们使用分层狄利克雷过程为我们的基本主题模型，并提出了一个有效的推理算法的基础上随机变分推理。该模型使我们能够自然地利用词嵌入的语义结构，同时灵活地发现主题的数量。实验表明，我们的方法优于竞争对手的方法在两个不同的文本语料库的主题一致性，同时提供有效的推理。
2016-04-01 cs.CL cs.IR cs.LG
CultureBERT: Measuring Corporate Culture With Transformer-Based Language Models
Goethe University Frankfurt（法兰克福歌德大学）
本文提出CultureBERT，通过微调Transformer语言模型对员工评价进行企业文化分类，在样本外预测中比传统方法准确率提高17至30个百分点，并公开模型。
2024-01-25 cs.CL
CobwebTM: Probabilistic Concept Formation for Lifelong and Hierarchical Topic Modeling
College of Computing Georgia Institute of Technology（计算学院佐治亚理工学院）
CobwebTM通过增量概率概念形成，实现低参数的终身分层主题模型，在无需预定义主题数量的情况下，实现无监督主题发现、动态主题创建和分层组织，展现了预训练表示与增量符号概念形成结合在主题建模中的高效性。
2026-04-17 cs.CL
A network approach to topic models
Northwestern University（西北大学）；Max Planck Institute for the Physics of Complex Systems（马克斯·普朗克复杂系统物理研究所）；University of Bath（巴斯大学）；ISI Foundation（ISI基金会）；University of Sydney（悉尼大学）
从非结构化文本中提取有用的信息是现代计算和科学的主要挑战之一。主题模型是一种流行的机器学习方法，它推断文档集合的潜在主题结构。尽管他们的成功-特别是其最广泛使用的变体称为潜在狄利克雷分配（LDA）-和社会学，历史学和语言学的众多应用，主题模型是众所周知的遭受严重的概念和实际问题，例如，缺乏理由的贝叶斯先验，与真实文本的统计特性的差异，以及无法正确选择主题的数量。在这里，我们获得了一个新的观点的问题，确定主题结构，将其与复杂网络中找到社区的问题。这是通过将文本语料库表示为文档和单词的二分网络来实现的。通过调整现有的社区检测方法-使用具有非参数先验的随机块模型（SBM）-我们获得了一个更通用和原则性的主题建模框架（例如，它自动检测主题的数量，并对单词和文档进行分层聚类）。人工语料和真实语料的分析表明，我们的SBM方法导致更好的主题模型比LDA的统计模型的选择。更重要的是，我们的工作展示了如何将社区检测和主题建模的方法正式联系起来，从而打开了这两个领域之间交叉施肥的可能性。
2018-07-19 cs.CL physics.data-an physics.soc-ph
TopicAdapt- An Inter-Corpora Topics Adaptation Approach
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对传统主题模型存在的用户引导不敏感、数据依赖性强、跨语料库适配能力不足等问题，本文提出神经主题模型TopicAdapt，可实现跨语料库主题适配与新主题发现，多领域数据集实验验证其性能优于现有最优模型。
2023-10-08 cs.CL cs.LG
Coordinated Topic Modeling
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了一个新的问题，称为协调主题建模，模仿人类的行为，同时描述文本语料库。它考虑了一组定义良好的主题，如具有引用表示的语义空间的轴。然后，它使用轴来建模语料库，以便于理解表示。这个新的任务有助于通过重用现有知识来更好地表示语料库，并有利于语料库比较任务。我们设计了ECTM，一个基于嵌入的协调主题模型，有效地使用参考表示捕捉目标语料库的特定方面，同时保持每个主题的全局语义。在ECTM中，我们引入了主题级和文档级的监督，并引入了自我训练机制来解决这个问题。最后，在多个领域的广泛实验表明，我们的模型优于其他基线。
2022-10-22 cs.CL cs.IR
Interactive Visual Exploration of Topic Models using Graphs
Turku Centre for Computer Science（图尔库计算机科学中心）；Åbo Akademi University（奥布学术大学）；Goethe University（歌德大学）；Arcada University of Applied Sciences（阿卡达应用科学大学）
概率主题建模是一个流行的和强大的工具族，用于发现大型非结构化文本文档集中的主题结构。虽然很多注意力都集中在建模算法及其各种扩展上，但相对较少的研究关注如何以有意义的方式呈现或可视化主题模型。在本文中，我们提出了一种新颖的设计，使用图形来直观地传达主题结构和含义。通过描述性关键词连接主题节点，图形表示揭示了主题相似性，主题意义和共享，模糊的关键词。同时，该图可用于信息检索目的，按主题或主题子集查找文档。为了证明该设计的实用性，我们说明了它的使用组织和探索语料库的金融专利。
2014-11-27 cs.CL cs.IR
Scalable Topical Phrase Mining from Text Corpora
The University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）；Army Research Laboratory（陆军研究实验室）
虽然大多数主题建模算法使用单字对文本语料库进行建模，但人类的解释通常依赖于将术语固有地分组为短语。因此，我们考虑发现混合长度的主题短语的问题。现有的工作要么执行后处理的推理结果的unigram为基础的主题模型，或利用复杂的n-gram发现主题模型。这些方法通常产生低质量的主题短语，或者即使在中等大小的数据集上也具有较差的可扩展性。我们提出了一种不同的方法，计算效率和有效的。我们的解决方案结合了一种新的短语挖掘框架，将文档分割成单个和多个单词的短语，以及一个新的主题模型，该模型对诱导的文档分区进行操作。我们的方法发现了高质量的主题短语，在各种数据集中，包括研究出版物的标题，摘要，评论和新闻文章的词袋主题模型的额外成本可以忽略不计。
2014-11-19 cs.CL cs.IR cs.LG
From Outliers to Topics in Language Models: Anticipating Trends in News Corpora
LIP6, Sorbonne University, CNRS, France（LIP6，索邦大学，国家科学研究中心，法国）
本文提出利用语言模型嵌入和累积聚类方法，将主题建模中的离群点视为新兴主题的弱信号，并在法英新闻数据上验证了离群点随时间演变为连贯主题的规律。
2026-09-22 cs.CL
