Topic Detection from Conversational Dialogue Corpus with Parallel Dirichlet Allocation Model and Elbow Method
School of Computer Science and Statistics, Trinity College Dublin, University of Dublin（都柏林大学圣三一学院计算机科学与统计学院）；ADAPT Centre, Trinity College Dublin, University of Dublin（都柏林大学圣三一学院ADAPT中心）
会话系统需要知道如何在主题之间切换，以便在更长的时间内继续会话。因此，从对话语料中检测话题已成为会话的一项重要任务，准确预测会话话题对于创建连贯和引人入胜的对话系统至关重要。本文提出了一种基于并行潜在狄利克雷分配（PLDA）模型的主题检测方法，该方法基于TF-IDF得分和词袋（BOW）技术对已知相似词进行聚类。在实验中，我们使用K-均值聚类与肘方法的解释和验证一致性的类内分析，以选择最佳的聚类数。我们通过与传统LDA和聚类技术的比较来评估我们的方法。实验结果表明，PLDA和肘方法相结合，选择最佳的集群数量和细化会话的主题。
2020-06-05 cs.CL cs.IR
Investor Reaction to Financial Disclosures Across Topics: An Application of Latent Dirichlet Allocation
ETH Zurich（苏黎世联邦理工学院）；University of Freiburg（弗莱堡大学）
本文提供了一个全面的研究，股票价格如何在不同的主题，在他们的财务披露的反应。因此，我们特别揭示了大量的文件，其中没有一个先验的分类，其内容存在。为此，我们利用数据采掘的方法-即潜在的狄利克雷分配-作为主题建模的手段。这项技术有助于我们对来自美国公司的7万多份监管8-K文件的内容进行事先自动分类。然后，我们评估随后的股票市场反应。我们的经验证据表明，各种类型的新闻报道在其相关性和对金融市场的影响方面存在相当大的差异。例如，我们发现一个统计上显着的异常回报，在响应盈利结果和信用评级，但也披露有关业务战略，卫生部门，以及并购。我们的研究结果表明，应如何构建监管申报文件，以及最有可能在股票估值变化之前出现的主题，从而使管理者、投资者和政策制定者受益。
2018-05-08 cs.CL q-fin.GN
Resume Evaluation through Latent Dirichlet Allocation and Natural Language Processing for Effective Candidate Selection
Sardar Patel Institute of Technology（萨达尔·帕特尔技术学院）
本文提出一种基于LDA和SpaCy命名实体识别的简历评分方法，通过提取实体并分配主题概率实现内容驱动的评估，在考虑所有属性时准确率达82%。
2023-07-28 cs.CL cs.LG
n-stage Latent Dirichlet Allocation: A Novel Approach for LDA
Ege University（爱琴大学）；Yildiz Technical University（伊尔迪兹技术大学）；Walmart Global Tech（沃尔玛全球科技）
如今，随着数据量的不断增加，数据分析已经成为一个问题。为了克服文本数据中的这一问题，在自然语言处理中使用了许多模型和方法。主题建模字段就是其中的一种方法。主题建模允许确定文本文档的语义结构。潜在狄利克雷分配（LDA）是主题建模方法中最常用的方法。在这篇文章中，提出的n阶段LDA方法，它可以使LDA方法更有效地使用，详细说明。应用英语和土耳其语的研究证明了该方法的积极效果。由于该方法的重点是减少字典中的单词计数，因此可以独立于语言使用。您可以访问该方法的开源代码和示例：https://github.com/anil1055/n-stage_LDA
2021-10-20 cs.CL cs.IR
Topic Modelling of Swedish Newspaper Articles about Coronavirus: a Case Study using Latent Dirichlet Allocation Method
Saarland University（萨尔兰大学）；University of Malta（马耳他大学）；University of Manchester（曼彻斯特大学）
本研究使用潜在狄利克雷分配（LDA）方法对6515篇瑞典报纸冠状病毒文章进行主题建模，分析约14个月内的主题变化，为流行病时代的社会经济与医疗分析提供公开可用的语料库和代码。
2023-04-18 cs.CL cs.SI
Feature extraction using Latent Dirichlet Allocation and Neural Networks: A case study on movie synopses
University of Macedonia（马其顿大学）
特征提取在机器学习领域得到了越来越多的关注，因为为了从大数据中检测模式、提取信息或预测未来的观察结果，信息特征的迫切性至关重要。提取特征的过程与降维高度相关，因为它意味着将数据从稀疏的高维空间转换为更高级别的有意义的抽象。本文采用神经网络进行分布式段落表示，并采用潜在狄利克雷分配来捕获段落向量的更高层次特征。虽然分布式段落表示的神经网络被认为是提取段落向量的最新技术，我们表明，一个快速的主题分析模型，如潜在的狄利克雷分配也可以提供有意义的功能。我们在CMU电影摘要语料库上评估了这两种方法，CMU电影摘要语料库是从维基百科中提取的25，203部电影情节摘要的集合。最后，对于这两种方法，我们使用K-最近邻来发现相似的电影，并使用T-分布随机邻居嵌入来描绘上下文相似性。这些相似性，表示为电影距离，可以用于电影推荐。将该方法的推荐电影与IMDB中使用协同过滤推荐方法的推荐电影进行比较，以表明我们的两个模型可以构成替代或补充的推荐方法。
2016-04-05 cs.AI cs.CL cs.IR
Latent Dirichlet Allocation with Residual Convolutional Neural Network Applied in Evaluating Credibility of Chinese Listed Companies
University of Toronto（多伦多大学）
该项目展示了一种方法来估计合作的可信度与自然语言处理的方法。由于公司透明度影响公司的信誉和未来可能的收益，因此，它是银行和投资者在对上市公司进行风险评估时必须考虑的一个重要因素。这种评估合作可信度的方法可以绕过风险评估中的人为偏见和不一致性，与人工评估相比，使用大量定量数据和神经网络模型可以以更有效的方式提供更准确的估计。该模型首先采用潜在狄利克雷分配法和清华大学中文开放词典对文章中可能与企业信誉相关的主题进行分类。然后，根据基金经理和会计师对企业公信力的调查数据，对每个主题的关键词进行标注，训练出一个残差卷积神经网络。训练结束后，我们对所有3065家上市公司的新闻报道进行预处理，运行模型，该模型应该根据公司的透明度水平给出公司排名。
2018-11-24 cs.CL cs.IR cs.LG
A Temporal Extension of Latent Dirichlet Allocation for Unsupervised Acoustic Unit Discovery
Stellenbosch University（斯泰伦博斯大学）
潜在狄利克雷分配（LDA）被广泛用于文档集的无监督主题建模。模型中没有使用时间信息。然而，在连续标记的对应主题之间通常存在关系。在本文中，我们提出了一个扩展LDA，使用马尔可夫链建模的时间信息。我们使用这个新的模型从语音声学单位发现。作为输入令牌，该模型从具有512个代码的矢量量化（VQ）神经网络中获取语音的离散化编码。然后，目标是将这512个VQ代码映射到50个类似于电话的单元（主题），以便更接近真实的电话。与仅考虑VQ码如何在话语（文档）内共同出现的基础LDA相比，马尔可夫链LDA另外捕获连续码如何彼此跟随。与基础LDA相比，这种扩展导致集群质量和电话分割结果的增加。与最近的矢量量化神经网络方法（也学习50个单元）相比，扩展的LDA模型在电话分割方面表现更好，但在互信息方面表现较差。
2022-06-29 cs.CL cs.LG eess.AS
Public discourse and sentiment during the COVID-19 pandemic: using Latent Dirichlet Allocation for topic modeling on Twitter
University of Toronto（多伦多大学）；University of Pittsburgh（匹兹堡大学）；Chinese Academy of Sciences（中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）
该研究旨在了解Twitter用户对COVID-19的话语和心理反应。我们使用机器学习技术分析了从2020年1月23日至3月7日收集的约190万条与冠状病毒相关的推文（用英语撰写）。报告共列出11个重要主题，并将其分为10个主题，包括“确诊病例的最新情况”、“与COVID-19相关的死亡”、“中国以外（全球）的病例”、“韩国COVID-19疫情”、“纽约疫情的早期迹象”、“钻石公主号邮轮”、“经济影响”、”预防措施”、“当局”和“供应链”。“结果并没有显示治疗和症状相关的信息是Twitter上的流行话题。情感分析显示，对冠状病毒未知性质的恐惧在所有话题中占主导地位。最后，本文还讨论了本研究的意义和局限性。
2020-07-08 cs.CL cs.CY cs.SI
Evaluation of Non-Negative Matrix Factorization and n-stage Latent Dirichlet Allocation for Emotion Analysis in Turkish Tweets
Ege University（埃杰大学）；Yildiz Technical University（耶尔德兹技术大学）；Walmart Global Tech（沃尔玛全球科技）
随着技术的发展，社交媒体的使用已经变得非常普遍。分析社交媒体在媒体和广告等领域的评论在今天发挥着重要作用。为此，使用新的和传统的自然语言处理方法来检测这些共享的情感。在本文中，潜在的Dirichlet分配，即LDA，和非负矩阵分解的主题建模方法被用来确定通过Twitter发布的土耳其推文的情感。此外，还分析了基于LDA的n层方法的精度。数据集由5种情绪组成，即愤怒，恐惧，快乐，悲伤和困惑。NMF是本研究中最成功的主题建模方法。然后，利用主题的词权值和类标签，对随机森林、朴素贝叶斯和支持向量机方法的F1测度进行分析，得到适合Weka的文档。在Weka的结果中，最成功的方法是n阶段LDA，最成功的算法是随机森林。
2021-09-27 cs.CL cs.IR cs.LG
Learning Frames from Text with an Unsupervised Latent Variable Model
Carnegie Mellon University（卡内基梅隆大学）
我们开发了一个概率潜变量模型来从语料库中发现语义框架--事件类型及其参与者。我们提出了一个狄利克雷多项式模型，框架是潜在的类别，解释了连接的动词-主语-宾语三元组，给定的文档级稀疏。我们分析了模型学习的内容，并将其与FrameNet进行了比较，注意到它学习了一些新颖有趣的框架。本文档还包含对推理问题的讨论，包括集中参数学习;以及对句法分析准确性的小规模错误分析。
2013-07-28 cs.CL
A Latent Dirichlet Allocation (LDA) Semantic Text Analytics Approach to Explore Topical Features in Charity Crowdfunding Campaigns
The University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Eastern New Mexico University（东新墨西哥大学）；Black Hills State University（黑丘州立大学）
本研究提出一种基于 Latent Dirichlet Allocation (LDA) 的文本分析框架，提取慈善众筹活动的潜在主题与数值参数，并利用 Random Forest Classifier 预测活动成功，揭示了该领域主题建模的实用价值。
2024-01-03 cs.CL stat.AP
Distributed Asymmetric Allocation: A Topic Model for Large Imbalanced Corpora in Social Sciences
Waseda University（早稻田大学）
本文提出DAA模型，通过整合多种算法高效识别大规模不平衡语料库中的重要主题，验证其在政治主题识别上的优越性。
2025-12-19 cs.CL stat.ME
Improving Reliability of Latent Dirichlet Allocation by Assessing Its Stability Using Clustering Techniques on Replicated Runs
TU Dortmund University（多特蒙德工业大学）
对于组织大型文本语料库，主题建模提供了有用的工具。一种广泛使用的方法是潜在狄利克雷分配（LDA），一种生成概率模型，它将文本集合中的单个文本建模为潜在主题的混合物。单词到主题的分配依赖于初始值，使得LDA的结果通常不能完全再现。此外，通过Gibbs Sampling的重新分配是基于条件分布的，这导致在相同文本数据上的重复运行中产生不同的结果。这一事实在日常实践中常常被忽视。我们的目标是提高LDA结果的可靠性。因此，我们通过比较重复运行的分配来研究LDA的稳定性。我们建议量化的相似性，两个生成的主题的一个修改的Jaccard系数。利用这种相似性，可以将主题聚类。提出了一种基于两次LDA运行产生相似主题对思想的层次聚类结果剪枝算法。这种方法导致了新的测量S-CLOP（通过{\bf P}运行{ \bf LO}聚类的{ \bf C}对多个集合的{\bf S}相似性）用于量化LDA模型的稳定性。我们讨论了这种措施的一些特点，并说明它与应用程序的真实数据组成的报纸文章从\textit{USA Today}。我们的研究结果表明，测量S-CROP是有用的LDA模型或任何其他主题建模过程，其主题的字分布特征的稳定性进行评估。基于新提出的LDA稳定性的措施，我们提出了一种方法，以增加可靠性，从而提高基于主题建模的实证研究结果的再现性。通过多次运行LDA并将最具代表性的运行（即与所有其他运行具有最高平均…
2020-02-14 cs.AI cs.CL cs.LG
Unsupervised Opinion Summarization with Content Planning
最近深度学习技术在抽象摘要方面的成功是基于大规模数据集的可用性。当总结评论时（例如，对于产品或电影），这样的训练数据既不可用，也不能容易地获得，从而促使开发依赖于用于监督训练的合成数据集的方法。我们表明，将内容规划明确纳入摘要模型不仅可以产生更高质量的输出，而且还可以创建更自然的合成数据集，类似于真实世界的文档摘要对。我们的内容计划采用方面和情感分布的形式，我们从数据中推导出来，而无需访问昂贵的注释。合成数据集是通过从我们的内容规划器参数化的Dirichlet分布中采样伪评论来创建的，而我们的模型则根据输入评论和诱导内容计划生成摘要。三个领域的实验结果表明，我们的方法优于竞争模型在生成信息丰富，连贯，流畅的摘要，捕捉意见的共识。
2020-12-14 cs.CL
What are People Talking about in #BlackLivesMatter and #StopAsianHate? Exploring and Categorizing Twitter Topics Emerging in Online Social Movements through the Latent Dirichlet Allocation Model
Duke Kunshan University（杜克-昆山大学）；Data Science Research Center（数据科学研究中心）；Social Science Division Duke Kunshan University（社会科学系杜克-昆山大学）
本研究采用潜在狄利克雷分配模型和开放式编码的混合方法，分析超过一百万条BLM和SAH推文，发现社会正义、社会运动和情感情绪是共同话题，但各有独特子话题，为社交媒体社会运动主题分析做出贡献。
2022-09-19 cs.CL cs.CY cs.IR
Automatic detection of relevant information, predictions and forecasts in financial news through topic modelling with Latent Dirichlet Allocation
University of Vigo（维戈大学）
本文提出一种结合文本分割、共指消解、LDA主题建模和时间性分析的NLP系统，用于自动检测金融新闻中的相关文本及预测/预报，并在2,158条标注新闻上取得0.662和0.982的ROUGE-L值，首次在话语层面联合考虑相关性与时间性。
2024-03-30 cs.CE cs.CL cs.IR
Unsupervised Sentiment Analysis of Plastic Surgery Social Media Posts
本研究利用TF-IDF、t-SNE、k均值聚类和LDA对Reddit与Twitter整形外科帖子进行无监督分析，并用简单深度学习模型以近90%准确率预测用户情感，证明无监督学习可用于社交媒体NLP标注。
2023-07-05 cs.CL
Sparse Parallel Training of Hierarchical Dirichlet Process Topic Models
Imperial College London（帝国理工学院）；Uppsala University（乌普萨拉大学）；Aalto University（阿尔托大学）；Ericsson AB（爱立信公司）；Linköping University（林雪平大学）
为了将概率主题模型的非参数扩展（如潜在狄利克雷分配）扩展到更大的数据集，从业者越来越依赖于并行和分布式系统。在这项工作中，我们研究了分层狄利克雷过程（HDP）主题模型的数据并行训练。基于HDP中某些条件分布的表示，我们提出了一个双稀疏数据并行采样器的HDP主题模型。这个采样器利用了自然语言中所有可用的稀疏性资源-这是提高计算效率的重要方法。我们在一个著名的语料库（PubMed）上对我们的方法进行了基准测试，该语料库包含800万个文档和7.68亿个令牌，使用单个多核机器在四天内完成。
2020-10-06 cs.CL cs.IR cs.LG
A Clustering Framework for Unsupervised and Semi-supervised New Intent Discovery
Tsinghua University（清华大学）；Hebei University of Science and Technology（河北科技大学）；Samton (Jiangxi) Technology Development Co., Ltd.（三桐（江西）科技发展有限公司）
针对无监督/半监督场景下新意图发现难捕捉离散文本复杂语义的问题，提出含三项核心技术的USNID聚类框架及开放世界聚类数估计方法，在多个基准数据集上取得最优结果。
2023-12-13 cs.CL
Unsupervised Terminological Ontology Learning based on Hierarchical Topic Modeling
Northwestern University（西北大学）；Intel Corporation（英特尔公司）
在本文中，我们提出了层次关系为基础的潜在狄利克雷分配（hrLDA），数据驱动的层次主题模型，从大量的异构文档中提取术语本体。与传统的主题模型相比，hrLDA依赖于名词短语而不是一元语法，考虑语法和文档结构，并通过主题关系丰富主题层次结构。通过一系列的实验，我们证明了hrLDA优于现有的主题模型，特别是在建立层次结构。此外，我们说明了鲁棒性的hrLDA在噪声数据集的设置，这是可能发生在许多实际情况下。我们的本体评价结果表明，从hrLDA提取的本体是非常有竞争力的领域专家创建的本体。
2017-08-29 cs.CL cs.IR cs.LG
A 'Gibbs-Newton' Technique for Enhanced Inference of Multivariate Polya Parameters and Topic Models
Heriot-Watt University（赫瑞-瓦特大学）
超参数在潜在狄利克雷分配（LDA）的学习和推理过程中起着重要的作用。为了开始LDA潜变量学习过程，需要预先确定这些超参数值。我们提出了一个LDA的扩展，我们称之为“潜在狄利克雷分配吉布斯牛顿”（LDA-GN），它将非信息先验放置在这些超参数上，并使用吉布斯采样来学习它们的适当值。LDA-GN的核心是我们提出的“Gibbs-Newton”算法，这是一种学习多元Polya分布参数的新技术。我们报告吉布斯-牛顿的性能结果相比，两个突出的现有方法，后者的任务：明卡的定点迭代法和矩方法。然后，我们以两种方式评估LDA-GN：（i）通过将其与标准LDA在所产生的主题模型推广到未见过的文档的能力方面进行比较;（ii）通过将其与标准LDA在二进制分类任务上的性能进行比较。
2016-02-27 cs.CL cs.LG stat.ML
SimLDA: A tool for topic model evaluation
Stellenbosch University（斯泰伦博斯大学）
变分贝叶斯（VB）应用于潜在狄利克雷分配（LDA）已成为最流行的方面建模算法。虽然在从大型语料库中提取文本主题方面足够成功，但VB在有限数据的情况下识别方面不太成功。我们提出了一种新的变分的消息传递算法，适用于潜在的狄利克雷分配（LDA），并将其与黄金标准VB和崩溃吉布斯采样。在边缘化导致非共轭消息的情况下，我们使用采样的想法来推导近似更新方程。在共轭成立的情况下，使用循环信念更新（LBU）（也称为Lauritzen-Spiegelhalter）。我们的算法，ALBU（近似LBU），有很强的相似性与可变消息传递（VMP）（这是VB的消息传递变体）。为了在有限数据的情况下比较算法的性能，我们使用了由推文和新闻组组成的数据集。使用一致性措施，我们表明，ALBU学习潜在的分布更准确地比VB，特别是对于较小的数据集。
2022-08-19 cs.CL cs.IR cs.LG
Double Articulation Analyzer with Prosody for Unsupervised Word and Phoneme Discovery
Ritsumeikan University（立命馆大学）
婴儿从未分段的语音信号中获得单词和音素，使用分段线索，例如分布线索、韵律线索和共现线索。许多预先存在的计算模型表示的过程往往集中在分布或韵律线索。提出了一种非参数贝叶斯概率生成模型--韵律层次狄利克雷过程隐藏语言模型（Prosodic HDP-HLM）。韵律HDP-HLM是HDP-HLM的扩展，它在一个单一的整合生成模型中考虑了韵律和分布线索。我们在不同类型的数据集上进行了三个实验，并证明了所提出的方法的有效性。结果表明，韵律DAA成功地使用韵律线索，并优于单独使用分布线索的方法。本研究的主要贡献如下：1）提出了一个包含韵律的时间序列数据的概率生成模型，该模型具有潜在的双构音结构：2）通过推导韵律HDP-HLM的推理过程，提出了韵律DAA，并证明了韵律DAA可以直接利用统计信息和韵律信息，以无监督的方式从连续的人类语音信号中发现单词; 3）我们发现韵律线索在自然分布的格词中对分词的贡献更大，即，遵循齐普夫定律。
2021-03-15 cs.AI cs.CL
Remembering Distinct Items, Not Tokens: A Learnable Dirichlet-Process Cache Between State-Space Models and Attention
研究固定状态序列模型与注意力模型间的中间地带，提出基于DP均值聚类规则的可学习稀疏缓存，有静态和惊喜自适应两种形式，在基准测试中表现良好，能端到端学习，在多真实流中验证了不同项目属性。
2026-07-14 cs.AI cs.CL cs.LG
Unsupervised Multimodal Word Discovery based on Double Articulation Analysis with Co-occurrence cues
Ritsumeikan University（立命馆大学）
本文提出融合 NPB-DAA 与 MLDA 的全无监督多模态方法，利用音系分布及视觉、触觉、听觉共现线索从语音中发现词语和音素，实验证明其词汇发现与切分性能优于基线。
2023-08-21 cs.AI cs.CL cs.RO
A Topical Approach to Capturing Customer Insight In Social Media
Université Claude Bernard Lyon 1（里昂第一大学）；INRIA（法国国家信息与自动化研究所）；Université de Lorraine（洛林大学）；Lizeo IT（Lizeo IT公司）；Université Jean Monnet（圣艾蒂安大学）；Sorbonne Université（索邦大学）；Université Paul Sabatier（保罗·萨巴蒂埃大学）
针对社交媒体含噪声大数据下的无监督客户洞察提取难题，提出三种基于变分自编码器的非参数主题方法，在基准与汽车行业数据集上性能达SOTA水平，指出主题建模需优化评估指标。
2023-07-14 cs.CL cs.LG stat.ML
Semantic Properties of Customer Sentiment in Tweets
Northwestern University（西北大学）
越来越多的人正在使用在线社交网络服务（SNS），并且大量与消费体验相关的信息通过这种新媒体形式共享。文本挖掘是一种新兴的从网络中挖掘有用信息的技术。我们的目标是发现，特别是在消费者的讨论在社交媒体上的推文语义模式。具体来说，本研究的目的是双重的：1）发现两组文本文档之间的相似性和差异性，包括消费者的情感极性，两种形式的积极与消极的意见和2）驱动实际内容的文本数据，具有语义趋势。经过考虑的推文包括消费者对美国零售公司的看法（例如，亚马逊、沃尔玛）。前一个目标是使用余弦相似度和K均值聚类方法，后一个目标是使用潜在狄利克雷分配（LDA），一个流行的主题建模算法。这是第一个发现消费语境中文本数据语义特性的研究，而不是情感分析。除了主要发现外，我们还将LDA（潜在狄利克雷分配）应用于相同的数据，并绘制了代表消费者在社交媒体上的积极意见和消极意见的潜在主题。
2016-03-24 cs.CL cs.IR cs.SI
ALBU: An approximate Loopy Belief message passing algorithm for LDA to improve performance on small data sets
Stellenbosch University（斯泰伦博斯大学）
变分贝叶斯（VB）应用于潜在狄利克雷分配（LDA）已成为最流行的方面建模算法。虽然在从大型语料库中提取文本主题方面足够成功，但VB在有限数据的情况下识别方面不太成功。我们提出了一种新的变分的消息传递算法，适用于潜在的狄利克雷分配（LDA），并将其与黄金标准VB和崩溃吉布斯采样。在边缘化导致非共轭消息的情况下，我们使用采样的想法来推导近似更新方程。在共轭成立的情况下，使用循环信念更新（LBU）（也称为Lauritzen-Spiegelhalter）。我们的算法，ALBU（近似LBU），有很强的相似性与可变消息传递（VMP）（这是VB的消息传递变体）。为了在有限数据的情况下比较算法的性能，我们使用了由推文和新闻组组成的数据集。此外，为了执行更细粒度的评估和比较，我们使用模拟，通过Kullback-Leibler散度（KLD）与地面实况进行比较。使用文本语料库和KLD与模拟的一致性措施，我们表明，ALBU学习潜在的分布更准确地比VB，特别是对于较小的数据集。
2022-08-19 cs.CL cs.IR cs.LG
