Nonparametric Bayesian Double Articulation Analyzer for Direct Language Acquisition from Continuous Speech Signals
Ritsumeikan University（立命馆大学）
人类婴儿可以直接从未分割的语音信号中发现单词，而无需任何明确标记的数据。在本文中，我们开发了一种新的机器学习方法，称为非参数贝叶斯双清晰度分析器（NPB-DAA），可以直接从观察到的连续语音信号获取语言和声学模型。为此，我们提出了一个综合的生成模型，结合了语言模型和声学模型到一个单一的生成模型称为“层次狄利克雷过程隐藏语言模型“（HDP-HLM）。HDP-HLM是通过扩展Johnson等人提出的分层Dirichlet过程隐半马尔可夫模型（HDP-HSMM）而得到的，并利用HDP-HSMM的分块Gibbs采样器导出了HDP-HLM的推理过程.该过程使得能够从连续的语音信号同时和直接地推断语言和声学模型。基于HDP-HLM及其推理过程，我们开发了一种新的双清晰度分析器。通过假设HDP-HLM作为观测时间序列数据的生成模型，并通过推断模型的潜在变量，该方法可以分析潜在的双发音结构，即，分层组织的潜在单词和音素，以无监督的方式的数据。新型无监督双清晰度分析器被称为NPB-DAA。该算法能自动估计出语音信号中的双清晰度结构。我们还进行了两个评价实验，使用合成数据和实际的人连续语音信号代表日本元音序列。在单词获取和音素分类任务中，NPB-DAA优于传统的双清晰度分析器（DAA）和基线自动语音识别系统，其声学模型以监督的方式进行训练。
2016-03-09 cs.AI cs.CL cs.LG
Topic Detection from Conversational Dialogue Corpus with Parallel Dirichlet Allocation Model and Elbow Method
School of Computer Science and Statistics, Trinity College Dublin, University of Dublin（都柏林大学圣三一学院计算机科学与统计学院）；ADAPT Centre, Trinity College Dublin, University of Dublin（都柏林大学圣三一学院ADAPT中心）
会话系统需要知道如何在主题之间切换，以便在更长的时间内继续会话。因此，从对话语料中检测话题已成为会话的一项重要任务，准确预测会话话题对于创建连贯和引人入胜的对话系统至关重要。本文提出了一种基于并行潜在狄利克雷分配（PLDA）模型的主题检测方法，该方法基于TF-IDF得分和词袋（BOW）技术对已知相似词进行聚类。在实验中，我们使用K-均值聚类与肘方法的解释和验证一致性的类内分析，以选择最佳的聚类数。我们通过与传统LDA和聚类技术的比较来评估我们的方法。实验结果表明，PLDA和肘方法相结合，选择最佳的集群数量和细化会话的主题。
2020-06-05 cs.CL cs.IR
Investor Reaction to Financial Disclosures Across Topics: An Application of Latent Dirichlet Allocation
ETH Zurich（苏黎世联邦理工学院）；University of Freiburg（弗莱堡大学）
本文提供了一个全面的研究，股票价格如何在不同的主题，在他们的财务披露的反应。因此，我们特别揭示了大量的文件，其中没有一个先验的分类，其内容存在。为此，我们利用数据采掘的方法-即潜在的狄利克雷分配-作为主题建模的手段。这项技术有助于我们对来自美国公司的7万多份监管8-K文件的内容进行事先自动分类。然后，我们评估随后的股票市场反应。我们的经验证据表明，各种类型的新闻报道在其相关性和对金融市场的影响方面存在相当大的差异。例如，我们发现一个统计上显着的异常回报，在响应盈利结果和信用评级，但也披露有关业务战略，卫生部门，以及并购。我们的研究结果表明，应如何构建监管申报文件，以及最有可能在股票估值变化之前出现的主题，从而使管理者、投资者和政策制定者受益。
2018-05-08 cs.CL q-fin.GN
Resume Evaluation through Latent Dirichlet Allocation and Natural Language Processing for Effective Candidate Selection
Sardar Patel Institute of Technology（萨达尔·帕特尔技术学院）
本文提出一种基于LDA和SpaCy命名实体识别的简历评分方法，通过提取实体并分配主题概率实现内容驱动的评估，在考虑所有属性时准确率达82%。
2023-07-28 cs.CL cs.LG
n-stage Latent Dirichlet Allocation: A Novel Approach for LDA
Ege University（爱琴大学）；Yildiz Technical University（伊尔迪兹技术大学）；Walmart Global Tech（沃尔玛全球科技）
如今，随着数据量的不断增加，数据分析已经成为一个问题。为了克服文本数据中的这一问题，在自然语言处理中使用了许多模型和方法。主题建模字段就是其中的一种方法。主题建模允许确定文本文档的语义结构。潜在狄利克雷分配（LDA）是主题建模方法中最常用的方法。在这篇文章中，提出的n阶段LDA方法，它可以使LDA方法更有效地使用，详细说明。应用英语和土耳其语的研究证明了该方法的积极效果。由于该方法的重点是减少字典中的单词计数，因此可以独立于语言使用。您可以访问该方法的开源代码和示例：https://github.com/anil1055/n-stage_LDA
2021-10-20 cs.CL cs.IR
Topic Modelling of Swedish Newspaper Articles about Coronavirus: a Case Study using Latent Dirichlet Allocation Method
Saarland University（萨尔兰大学）；University of Malta（马耳他大学）；University of Manchester（曼彻斯特大学）
本研究使用潜在狄利克雷分配（LDA）方法对6515篇瑞典报纸冠状病毒文章进行主题建模，分析约14个月内的主题变化，为流行病时代的社会经济与医疗分析提供公开可用的语料库和代码。
2023-04-18 cs.CL cs.SI
Feature extraction using Latent Dirichlet Allocation and Neural Networks: A case study on movie synopses
University of Macedonia（马其顿大学）
特征提取在机器学习领域得到了越来越多的关注，因为为了从大数据中检测模式、提取信息或预测未来的观察结果，信息特征的迫切性至关重要。提取特征的过程与降维高度相关，因为它意味着将数据从稀疏的高维空间转换为更高级别的有意义的抽象。本文采用神经网络进行分布式段落表示，并采用潜在狄利克雷分配来捕获段落向量的更高层次特征。虽然分布式段落表示的神经网络被认为是提取段落向量的最新技术，我们表明，一个快速的主题分析模型，如潜在的狄利克雷分配也可以提供有意义的功能。我们在CMU电影摘要语料库上评估了这两种方法，CMU电影摘要语料库是从维基百科中提取的25，203部电影情节摘要的集合。最后，对于这两种方法，我们使用K-最近邻来发现相似的电影，并使用T-分布随机邻居嵌入来描绘上下文相似性。这些相似性，表示为电影距离，可以用于电影推荐。将该方法的推荐电影与IMDB中使用协同过滤推荐方法的推荐电影进行比较，以表明我们的两个模型可以构成替代或补充的推荐方法。
2016-04-05 cs.AI cs.CL cs.IR
Latent Dirichlet Allocation with Residual Convolutional Neural Network Applied in Evaluating Credibility of Chinese Listed Companies
University of Toronto（多伦多大学）
该项目展示了一种方法来估计合作的可信度与自然语言处理的方法。由于公司透明度影响公司的信誉和未来可能的收益，因此，它是银行和投资者在对上市公司进行风险评估时必须考虑的一个重要因素。这种评估合作可信度的方法可以绕过风险评估中的人为偏见和不一致性，与人工评估相比，使用大量定量数据和神经网络模型可以以更有效的方式提供更准确的估计。该模型首先采用潜在狄利克雷分配法和清华大学中文开放词典对文章中可能与企业信誉相关的主题进行分类。然后，根据基金经理和会计师对企业公信力的调查数据，对每个主题的关键词进行标注，训练出一个残差卷积神经网络。训练结束后，我们对所有3065家上市公司的新闻报道进行预处理，运行模型，该模型应该根据公司的透明度水平给出公司排名。
2018-11-24 cs.CL cs.IR cs.LG
A Temporal Extension of Latent Dirichlet Allocation for Unsupervised Acoustic Unit Discovery
Stellenbosch University（斯泰伦博斯大学）
潜在狄利克雷分配（LDA）被广泛用于文档集的无监督主题建模。模型中没有使用时间信息。然而，在连续标记的对应主题之间通常存在关系。在本文中，我们提出了一个扩展LDA，使用马尔可夫链建模的时间信息。我们使用这个新的模型从语音声学单位发现。作为输入令牌，该模型从具有512个代码的矢量量化（VQ）神经网络中获取语音的离散化编码。然后，目标是将这512个VQ代码映射到50个类似于电话的单元（主题），以便更接近真实的电话。与仅考虑VQ码如何在话语（文档）内共同出现的基础LDA相比，马尔可夫链LDA另外捕获连续码如何彼此跟随。与基础LDA相比，这种扩展导致集群质量和电话分割结果的增加。与最近的矢量量化神经网络方法（也学习50个单元）相比，扩展的LDA模型在电话分割方面表现更好，但在互信息方面表现较差。
2022-06-29 cs.CL cs.LG eess.AS
Public discourse and sentiment during the COVID-19 pandemic: using Latent Dirichlet Allocation for topic modeling on Twitter
University of Toronto（多伦多大学）；University of Pittsburgh（匹兹堡大学）；Chinese Academy of Sciences（中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）
该研究旨在了解Twitter用户对COVID-19的话语和心理反应。我们使用机器学习技术分析了从2020年1月23日至3月7日收集的约190万条与冠状病毒相关的推文（用英语撰写）。报告共列出11个重要主题，并将其分为10个主题，包括“确诊病例的最新情况”、“与COVID-19相关的死亡”、“中国以外（全球）的病例”、“韩国COVID-19疫情”、“纽约疫情的早期迹象”、“钻石公主号邮轮”、“经济影响”、”预防措施”、“当局”和“供应链”。“结果并没有显示治疗和症状相关的信息是Twitter上的流行话题。情感分析显示，对冠状病毒未知性质的恐惧在所有话题中占主导地位。最后，本文还讨论了本研究的意义和局限性。
2020-07-08 cs.CL cs.CY cs.SI
Evaluation of Non-Negative Matrix Factorization and n-stage Latent Dirichlet Allocation for Emotion Analysis in Turkish Tweets
Ege University（埃杰大学）；Yildiz Technical University（耶尔德兹技术大学）；Walmart Global Tech（沃尔玛全球科技）
随着技术的发展，社交媒体的使用已经变得非常普遍。分析社交媒体在媒体和广告等领域的评论在今天发挥着重要作用。为此，使用新的和传统的自然语言处理方法来检测这些共享的情感。在本文中，潜在的Dirichlet分配，即LDA，和非负矩阵分解的主题建模方法被用来确定通过Twitter发布的土耳其推文的情感。此外，还分析了基于LDA的n层方法的精度。数据集由5种情绪组成，即愤怒，恐惧，快乐，悲伤和困惑。NMF是本研究中最成功的主题建模方法。然后，利用主题的词权值和类标签，对随机森林、朴素贝叶斯和支持向量机方法的F1测度进行分析，得到适合Weka的文档。在Weka的结果中，最成功的方法是n阶段LDA，最成功的算法是随机森林。
2021-09-27 cs.CL cs.IR cs.LG
A Latent Dirichlet Allocation (LDA) Semantic Text Analytics Approach to Explore Topical Features in Charity Crowdfunding Campaigns
The University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Eastern New Mexico University（东新墨西哥大学）；Black Hills State University（黑丘州立大学）
本研究提出一种基于 Latent Dirichlet Allocation (LDA) 的文本分析框架，提取慈善众筹活动的潜在主题与数值参数，并利用 Random Forest Classifier 预测活动成功，揭示了该领域主题建模的实用价值。
2024-01-03 cs.CL stat.AP
Distributed Asymmetric Allocation: A Topic Model for Large Imbalanced Corpora in Social Sciences
Waseda University（早稻田大学）
本文提出DAA模型，通过整合多种算法高效识别大规模不平衡语料库中的重要主题，验证其在政治主题识别上的优越性。
2025-12-19 cs.CL stat.ME
Improving Reliability of Latent Dirichlet Allocation by Assessing Its Stability Using Clustering Techniques on Replicated Runs
TU Dortmund University（多特蒙德工业大学）
对于组织大型文本语料库，主题建模提供了有用的工具。一种广泛使用的方法是潜在狄利克雷分配（LDA），一种生成概率模型，它将文本集合中的单个文本建模为潜在主题的混合物。单词到主题的分配依赖于初始值，使得LDA的结果通常不能完全再现。此外，通过Gibbs Sampling的重新分配是基于条件分布的，这导致在相同文本数据上的重复运行中产生不同的结果。这一事实在日常实践中常常被忽视。我们的目标是提高LDA结果的可靠性。因此，我们通过比较重复运行的分配来研究LDA的稳定性。我们建议量化的相似性，两个生成的主题的一个修改的Jaccard系数。利用这种相似性，可以将主题聚类。提出了一种基于两次LDA运行产生相似主题对思想的层次聚类结果剪枝算法。这种方法导致了新的测量S-CLOP（通过{\bf P}运行{ \bf LO}聚类的{ \bf C}对多个集合的{\bf S}相似性）用于量化LDA模型的稳定性。我们讨论了这种措施的一些特点，并说明它与应用程序的真实数据组成的报纸文章从\textit{USA Today}。我们的研究结果表明，测量S-CROP是有用的LDA模型或任何其他主题建模过程，其主题的字分布特征的稳定性进行评估。基于新提出的LDA稳定性的措施，我们提出了一种方法，以增加可靠性，从而提高基于主题建模的实证研究结果的再现性。通过多次运行LDA并将最具代表性的运行（即与所有其他运行具有最高平均…
2020-02-14 cs.AI cs.CL cs.LG
What are People Talking about in #BlackLivesMatter and #StopAsianHate? Exploring and Categorizing Twitter Topics Emerging in Online Social Movements through the Latent Dirichlet Allocation Model
Duke Kunshan University（杜克-昆山大学）；Data Science Research Center（数据科学研究中心）；Social Science Division Duke Kunshan University（社会科学系杜克-昆山大学）
本研究采用潜在狄利克雷分配模型和开放式编码的混合方法，分析超过一百万条BLM和SAH推文，发现社会正义、社会运动和情感情绪是共同话题，但各有独特子话题，为社交媒体社会运动主题分析做出贡献。
2022-09-19 cs.CL cs.CY cs.IR
Automatic detection of relevant information, predictions and forecasts in financial news through topic modelling with Latent Dirichlet Allocation
University of Vigo（维戈大学）
本文提出一种结合文本分割、共指消解、LDA主题建模和时间性分析的NLP系统，用于自动检测金融新闻中的相关文本及预测/预报，并在2,158条标注新闻上取得0.662和0.982的ROUGE-L值，首次在话语层面联合考虑相关性与时间性。
2024-03-30 cs.CE cs.CL cs.IR
Sparse Parallel Training of Hierarchical Dirichlet Process Topic Models
Imperial College London（帝国理工学院）；Uppsala University（乌普萨拉大学）；Aalto University（阿尔托大学）；Ericsson AB（爱立信公司）；Linköping University（林雪平大学）
为了将概率主题模型的非参数扩展（如潜在狄利克雷分配）扩展到更大的数据集，从业者越来越依赖于并行和分布式系统。在这项工作中，我们研究了分层狄利克雷过程（HDP）主题模型的数据并行训练。基于HDP中某些条件分布的表示，我们提出了一个双稀疏数据并行采样器的HDP主题模型。这个采样器利用了自然语言中所有可用的稀疏性资源-这是提高计算效率的重要方法。我们在一个著名的语料库（PubMed）上对我们的方法进行了基准测试，该语料库包含800万个文档和7.68亿个令牌，使用单个多核机器在四天内完成。
2020-10-06 cs.CL cs.IR cs.LG
A 'Gibbs-Newton' Technique for Enhanced Inference of Multivariate Polya Parameters and Topic Models
Heriot-Watt University（赫瑞-瓦特大学）
超参数在潜在狄利克雷分配（LDA）的学习和推理过程中起着重要的作用。为了开始LDA潜变量学习过程，需要预先确定这些超参数值。我们提出了一个LDA的扩展，我们称之为“潜在狄利克雷分配吉布斯牛顿”（LDA-GN），它将非信息先验放置在这些超参数上，并使用吉布斯采样来学习它们的适当值。LDA-GN的核心是我们提出的“Gibbs-Newton”算法，这是一种学习多元Polya分布参数的新技术。我们报告吉布斯-牛顿的性能结果相比，两个突出的现有方法，后者的任务：明卡的定点迭代法和矩方法。然后，我们以两种方式评估LDA-GN：（i）通过将其与标准LDA在所产生的主题模型推广到未见过的文档的能力方面进行比较;（ii）通过将其与标准LDA在二进制分类任务上的性能进行比较。
2016-02-27 cs.CL cs.LG stat.ML
SimLDA: A tool for topic model evaluation
Stellenbosch University（斯泰伦博斯大学）
变分贝叶斯（VB）应用于潜在狄利克雷分配（LDA）已成为最流行的方面建模算法。虽然在从大型语料库中提取文本主题方面足够成功，但VB在有限数据的情况下识别方面不太成功。我们提出了一种新的变分的消息传递算法，适用于潜在的狄利克雷分配（LDA），并将其与黄金标准VB和崩溃吉布斯采样。在边缘化导致非共轭消息的情况下，我们使用采样的想法来推导近似更新方程。在共轭成立的情况下，使用循环信念更新（LBU）（也称为Lauritzen-Spiegelhalter）。我们的算法，ALBU（近似LBU），有很强的相似性与可变消息传递（VMP）（这是VB的消息传递变体）。为了在有限数据的情况下比较算法的性能，我们使用了由推文和新闻组组成的数据集。使用一致性措施，我们表明，ALBU学习潜在的分布更准确地比VB，特别是对于较小的数据集。
2022-08-19 cs.CL cs.IR cs.LG
Semantic Properties of Customer Sentiment in Tweets
Northwestern University（西北大学）
越来越多的人正在使用在线社交网络服务（SNS），并且大量与消费体验相关的信息通过这种新媒体形式共享。文本挖掘是一种新兴的从网络中挖掘有用信息的技术。我们的目标是发现，特别是在消费者的讨论在社交媒体上的推文语义模式。具体来说，本研究的目的是双重的：1）发现两组文本文档之间的相似性和差异性，包括消费者的情感极性，两种形式的积极与消极的意见和2）驱动实际内容的文本数据，具有语义趋势。经过考虑的推文包括消费者对美国零售公司的看法（例如，亚马逊、沃尔玛）。前一个目标是使用余弦相似度和K均值聚类方法，后一个目标是使用潜在狄利克雷分配（LDA），一个流行的主题建模算法。这是第一个发现消费语境中文本数据语义特性的研究，而不是情感分析。除了主要发现外，我们还将LDA（潜在狄利克雷分配）应用于相同的数据，并绘制了代表消费者在社交媒体上的积极意见和消极意见的潜在主题。
2016-03-24 cs.CL cs.IR cs.SI
