Semi-Automatic Terminology Ontology Learning Based on Topic Modeling
Indian Institute of Information Technology, Allahabad(印度信息技术学院阿拉哈巴德分校)
本体提供了诸如通用词汇表、可重用性、机器可读内容等特征,并且还允许语义搜索、促进代理交互以及语义Web(Web 3.0)应用的知识的排序和结构化。然而,本体工程中的挑战是自动学习,即,仍然缺乏使用机器学习技术从各种主题的文本语料库或数据集形成本体的全自动方法。本文研究了两种主题建模算法,即LSI & SVD和Mr.LDA,用于主题本体的学习。目标是确定文档和术语之间的统计关系,以最小的人为干预构建主题本体和本体图。通过构建主题本体和对用户查询进行语义检索的实验分析,验证了该方法的有效性。
2017-08-05 cs.CL cs.IR
Coordinated Topic Modeling
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们提出了一个新的问题,称为协调主题建模,模仿人类的行为,同时描述文本语料库。它考虑了一组定义良好的主题,如具有引用表示的语义空间的轴。然后,它使用轴来建模语料库,以便于理解表示。这个新的任务有助于通过重用现有知识来更好地表示语料库,并有利于语料库比较任务。我们设计了ECTM,一个基于嵌入的协调主题模型,有效地使用参考表示捕捉目标语料库的特定方面,同时保持每个主题的全局语义。在ECTM中,我们引入了主题级和文档级的监督,并引入了自我训练机制来解决这个问题。最后,在多个领域的广泛实验表明,我们的模型优于其他基线。
2022-10-22 cs.CL cs.IR
Recommendation System based on Semantic Scholar Mining and Topic modeling: A behavioral analysis of researchers from six conferences
Nanjing University of Science and Technology(南京理工大学)
推荐系统在互联网社会中有着重要的作用。计算机科学中的推荐系统在互联网门户的各个方面都有非常实际的用途,例如社交网络和图书馆网站。实现推荐系统的方法有很多种,潜在狄利克雷分配(LDA)是主题建模中的一种常用技术。近年来,研究人员提出了许多基于推荐系统和LDA的方法。根据主题的重要性,本文发现了主题的发展趋势,并发现了LDA主题与学术背景文献之间的关系。实际上,我们应用基于Gibbs抽样算法的概率主题建模,从DBLP数据集中的六个计算机科学会议出版物中进行语义挖掘。根据我们的实验结果,我们的语义框架可以有效地帮助组织更好地组织这些会议,并涵盖未来的研究课题。
2018-12-20 cs.CL cs.IR
Topic Modeling on Podcast Short-Text Metadata
Deezer Research(Deezer 研究院)
播客已经成为一种大量消费的在线内容,特别是由于更广泛的生产手段和通过大型流媒体平台的规模化分发。分类系统和信息访问技术通常使用主题作为组织或导航播客集合的主要方式。然而,用主题注释播客仍然是相当有问题的,因为分配的编辑类型是广泛的,异构的或误导性的,或者因为数据的挑战(例如短元数据文本,嘈杂的成绩单)。在这里,我们评估的可行性,发现相关的主题播客元数据,标题和描述,使用主题建模技术的短文本。我们还提出了一种新的策略,利用命名实体(NE),往往存在于播客元数据,在非负矩阵分解(NMF)的主题建模框架。我们对来自Spotify和iTunes的两个现有数据集以及来自提供播客目录的在线服务的新数据集Deezer的实验表明,我们提出的文档表示NEiCE导致了基线上的主题一致性改善。我们发布代码是为了实验结果的可重复性。
2022-01-12 cs.CL cs.IR
Short Text Topic Modeling Techniques, Applications, and Performance: A Survey
University of Louisiana at Lafayette(路易斯安那大学拉斐特分校)
分析短文本推断歧视性和连贯的潜在主题,这是一个关键的和基本的任务,因为许多现实世界的应用程序需要短文本的语义理解。传统的长文本主题建模算法(例如,PLSA和LDA)不能很好地解决这个问题,因为在短文本中只有非常有限的词共现信息。因此,短文本主题建模近年来已经引起了机器学习研究界的广泛关注,旨在克服短文本中的稀疏性问题。在这项调查中,我们进行了全面的审查,各种短文本主题建模技术提出的文献。我们提出了三类方法的基础上狄利克雷多项式混合,全球词同现,自聚合,在每一类的代表性方法的例子和分析其性能的各种任务。我们开发了第一个全面的开源库,称为STTM,用于Java,将所有调查的算法集成在一个统一的界面,基准数据集,以促进在这一研究领域的新方法的扩展。最后,我们在许多真实世界的数据集上评估了这些最先进的方法,并将它们的性能与长文本主题建模算法进行了比较。
2019-04-13 cs.CL cs.IR
Multi-view and Multi-source Transfers in Neural Topic Modeling with Pretrained Topic and Word Embeddings
Siemens AG(西门子股份公司);University of Munich (LMU)(慕尼黑大学(LMU))
虽然词嵌入和主题是互补的表示,但过去的一些工作仅在(神经)主题建模中使用预训练的词嵌入来解决短文本或小文档集合中的数据稀疏问题。然而,没有先前的工作采用(预先训练的潜在)的主题在迁移学习范例。在本文中,我们提出了一种方法(1)使用从大型源语料库中获得的潜在主题进行知识转移,以及(2)通过神经主题建模中的两种表示(或视图)联合转移知识,以提高主题质量,更好地处理目标语料库中的多义和数据稀疏问题。在此过程中,我们首先从一个或多个源语料库中积累主题和单词表示,以构建主题和单词向量池。然后,我们识别一个或多个相关的源域,并通过相应的池利用相应的主题和单词特征来指导稀疏目标域中的有意义的学习。我们量化的主题和文件表示的质量,通过泛化(困惑),可解释性(主题连贯性)和信息检索(IR)使用短文本,长文本,小型和大型的文件集,从新闻和医疗领域。我们已经证明了国家的最先进的结果主题建模与建议的框架。
2019-09-17 cs.CL cs.IR cs.LG
MALTopic: Multi-Agent LLM Topic Modeling Framework
MALTopic通过多智能体框架整合结构化数据,提升调查数据的主题连贯性、多样性和可解释性。
2026-01-07 cs.CL cs.IR cs.MA
Ordering-sensitive and Semantic-aware Topic Modeling
The University of Hong Kong(香港大学);Zhejiang University(浙江大学)
文本语料库的主题建模是一个重要而富有挑战性的问题。在大多数以前的工作中,“词袋”的假设通常是忽略了单词的顺序。这种假设简化了计算,但它不切实际地丢失了上下文中单词的排序信息和语义。本文提出了一种高斯混合神经主题模型(GMNTM),它将词的排序和句子的语义结合到主题建模中。具体来说,我们将每个主题表示为多维向量的聚类,并将语料库嵌入到由高斯混合模型生成的向量集合中。每个词不仅受其主题的影响,还受其周围词的嵌入向量和上下文的影响。高斯混合分量和文档、句子和单词的主题可以联合学习。大量的实验表明,我们的模型可以学习更好的主题和更准确的词分布为每个主题。定量分析表明,与现有的主题建模方法相比,GMNTM在困惑度、检索准确率和分类准确率方面都有明显的提高。
2015-02-12 cs.CL cs.IR cs.LG
SentiBubbles: Topic Modeling and Sentiment Visualization of Entity-centric Tweets
University of Porto(波尔图大学)
社交媒体用户在对新闻事件做出反应时倾向于提及实体。这项工作的主要目的是每天创建以实体为中心的推文聚合。通过应用主题建模和情感分析,我们从以实体为中心的角度创建了关于当前事件和人们对这些事件的反应的数据可视化见解。
2018-01-23 cs.CL cs.IR cs.SI
Topic Modeling based on Keywords and Context
University of Liechtenstein(列支敦士登大学);IBM Research Zurich(IBM苏黎世研究院)
目前的主题模型往往受到发现的主题不匹配人类的直觉,不自然的切换文档中的主题和高计算需求。我们解决这些问题,提出了一个主题模型和推理算法的基础上自动识别特征关键字的主题。关键词影响邻近词的主题分配。我们的算法学习(关键)词主题得分,并自我调节主题的数量。推理是简单和容易并行化。定性分析得出的结果与最先进的模型(如LDA),但具有不同的优势和劣势。使用9个数据集的定量分析显示,在分类准确性,PMI得分,计算性能和文档中主题分配的一致性方面有所提高,而大多数情况下使用较少的主题。
2018-02-03 cs.CL cs.IR cs.LG
Twitter-Network Topic Model: A Full Bayesian Treatment for Social Network and Text Modeling
ANU(澳大利亚国立大学);NICTA(澳大利亚国家信息通信技术研究院)
Twitter的数据非常嘈杂--每条推文都很短,没有结构,语言也不正式,这对当前的主题建模来说是一个挑战。另一方面,推文伴随着额外的信息,如作者,标签和用户追随者网络。利用这些额外的信息,我们提出了Twitter网络(TN)的主题模型,共同建模的文本和社会网络在一个完整的贝叶斯非参数的方式。TN主题模型采用分层泊松-狄利克雷过程(PDP)的文本建模和高斯过程随机函数模型的社会网络建模。我们表明,TN主题模型显着优于现有的几个非参数模型,由于其灵活性。此外,TN主题模型能够实现额外的信息推理,例如作者的兴趣,主题标签分析,以及导致进一步的应用,例如作者推荐,自动主题标签和主题标签建议。注意,我们的一般推理框架可以很容易地应用到其他主题模型嵌入PDP节点。
2016-09-22 cs.CL cs.IR cs.SI
Neural Topic Modeling with Cycle-Consistent Adversarial Training
Southeast University(东南大学)
深度生成模型的进展吸引了神经主题建模的重大研究兴趣。最近提出的对抗神经主题模型的主题与对抗训练的生成器网络,并采用狄利克雷之前捕捉潜在的主题的语义模式。它是有效的,在发现连贯的主题,但无法推断给定的文档或利用可用的文档标签的主题分布。为了克服这些限制,我们提出了主题建模与周期一致的对抗训练(ToMCAT)及其监督版本sToMCAT。ToMCAT采用一个生成器网络来解释主题和一个编码器网络来推断文档主题。对抗性训练和周期一致性约束用于鼓励生成器和编码器产生彼此协调的真实样本。sToMCAT通过将文档标签合并到主题建模过程中来扩展ToMCAT,以帮助发现更连贯的主题。在无监督/有监督主题建模和文本分类上对所提出的模型的有效性进行了评估。实验结果表明,我们的模型可以产生连贯和信息丰富的主题,优于一些竞争基线。
2020-09-29 cs.CL
Jointly Modeling Topics and Intents with Global Order Structure
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
文档结构建模对于语篇分析及其相关应用具有重要意义。本研究的目标是通过将文档建模为主题词和修辞词的混合来捕获文档意图结构。在同一篇文章中,主题是相对不变的,而句子的修辞功能在语篇中通常是按照一定的顺序发生变化的。提出了一种基于主题建模的贝叶斯无监督模型GMM-LDA,用于分析文档意图结构和订单信息。我们的模型是灵活的,有能力结合的注释和做监督学习。此外,可以引入熵正则化来对主题和意图之间的显著分歧进行建模。我们在无监督和有监督的环境下进行了实验,结果表明我们的模型优于几个最先进的基线。
2015-12-07 cs.CL cs.IR cs.LG
Semantic Component Analysis: Introducing Multi-Topic Distributions to Clustering-Based Topic Modeling
LMU Munich and Munich Center for Machine Learning (MCML)(慕尼黑大学和慕尼黑机器学习中心);Technical University of Munich(慕尼黑技术大学)
针对现有主题建模无法高效扩展或假设单主题的局限,提出语义成分分析(SCA),在聚类框架中加入分解步骤以发现多主题,在三种语言数据集上优于BERTopic和TopicGPT。
2025-09-26 cs.CL
BERTopic: Neural topic modeling with a class-based TF-IDF procedure
主题模型是发现文档集合中潜在主题的有用工具。最近的研究表明,方法主题建模作为聚类任务的可行性。我们提出了BERTopic,主题模型,通过开发一个基于类的TF-IDF的变化提取连贯的主题表示,扩展了这一过程。更具体地说,BERTopic生成文档嵌入与预先训练的transformer为基础的语言模型,聚类这些嵌入,最后,生成主题表示与类为基础的TF-IDF过程。BERTopic生成连贯的主题,并在各种基准测试中保持竞争力,这些基准测试涉及经典模型和那些遵循最近的主题建模聚类方法的模型。
2022-03-11 cs.CL
Fine-tuning Encoders for Improved Monolingual and Zero-shot Polylingual Neural Topic Modeling
Johns Hopkins University(约翰霍普金斯大学)
神经主题模型可以用深度预训练的基于transformer的单词预测模型的学习表示来增强或替换词袋输入。使用来自多语言模型的表示的一个额外好处是,它们促进了zero-shot多语言主题建模。然而,虽然人们已经广泛观察到预训练的嵌入应该针对给定的任务进行微调,但对于主题建模等无监督任务来说,监督应该是什么样子还不清楚。因此,我们提出了几种微调编码器的方法,以改善单语和zero-shot多语言神经主题建模。我们考虑对辅助任务进行微调,构建新的主题分类任务,将主题分类目标直接集成到主题模型训练中,并继续进行预训练。我们发现,微调编码器表示的主题分类和主题分类任务直接集成到主题建模提高了主题质量,微调编码器表示的任何任务是促进跨语言迁移的最重要因素。
2021-04-11 cs.CL
Integrating Document Clustering and Topic Modeling
Carnegie Mellon University(卡内基梅隆大学);Tsinghua University(清华大学)
文档聚类和主题建模是两个密切相关的任务,可以相互受益。主题建模可以将文档投影到一个主题空间中,这有助于有效的文档聚类。通过文档聚类发现的聚类标签可以被合并到主题模型中,以提取特定于每个聚类的局部主题和所有聚类共享的全局主题。在本文中,我们提出了一个多粒度聚类主题模型(MGCTM),它集成了文档聚类和主题建模到一个统一的框架,并共同执行这两项任务,以达到整体最佳性能。该模型将两个组件紧密耦合:用于发现文档集合中潜在组的混合组件和用于挖掘多粒度主题的主题模型组件,其中多粒度主题包括特定于每个簇的局部主题和跨簇共享的全局主题,采用变分推理来近似隐变量的后验,并学习模型参数。在两个数据集上的实验证明了该模型的有效性。
2013-09-26 cs.CL cs.IR cs.LG
Exploratory topic modeling with distributional semantics
Turku Centre for Computer Science – TUCS(图尔库计算机科学中心(TUCS));Åbo Akademi University(奥博学术大学)
当我们继续在众多领域收集和存储文本数据时,我们经常会遇到我们想要揭示的主题结构在很大程度上未知的材料。通过无监督的探索性分析,不需要关于内容的先验知识,并且可以支持高度开放的任务。在过去的几年里,概率主题建模已经成为一个流行的方法来解决这个问题。然而,潜在的主题表示为聚合的半连贯的条款限制了他们的可解释性和详细程度。本文提出了一种替代方法的主题建模,映射主题作为一个网络的探索,基于分布式语义学习的词向量。从术语及其语义相似性关系的粒度级别来看,全局主题结构表现为概念的聚类区域和梯度。此外,本文还讨论了主题图的可视化交互表示,为主题图的开发提供了重要的支持。
2015-07-16 cs.CL cs.IR cs.LG
Topic Modeling Using Distributed Word Embeddings
University of Southern California(南加州大学);TopicIQ, Inc.(TopicIQ公司);IIT Delhi(德里印度理工学院)
我们提出了一个新的主题建模算法,Vec2Topic,确定语料库中的主要主题使用通过高维分布式词嵌入捕获的语义信息。我们的技术是无监督的,并生成一个主题的重要性排名列表。我们发现,它比现有的主题建模技术,如潜在的Dirichlet分配更好地识别用户生成的内容中的关键主题,如电子邮件,聊天等,其中主题在语料库中分散。我们还发现,Vec2Topic同样适用于非用户生成的内容,如论文,报告等,以及用于诸如单个文档的小语料库。
2016-03-15 cs.CL
Neural Topic Modeling with Bidirectional Adversarial Training
Southeast University(东南大学);University of Warwick(华威大学);Didi Chuxing Co., Ltd.(滴滴出行股份有限公司)
近年来,人们对使用神经主题模型从文本中自动提取主题的兴趣激增,因为它们避免了传统主题模型(如潜在狄利克雷分配(LDA))中复杂的数学推导。然而,这些模型要么通常假设潜在主题空间上的不正确先验(例如高斯或逻辑正态),要么无法推断给定文档的主题分布。为了解决这些限制,我们提出了一种神经主题建模方法,称为双向对抗主题(BAT)模型,这是将双向对抗训练应用于神经主题建模的第一次尝试。提出的BAT在文档主题分布和文档词分布之间建立双向投影。它使用一个生成器从文本中捕获语义模式,并使用一个编码器进行主题推理。此外,为了结合词相关性信息,高斯双向对抗主题模型(Gaussian-BAT)是从BAT扩展的。为了验证BAT和Gaussian-BAT的有效性,我们使用了三个基准语料库进行实验。实验结果表明,BAT和Gaussian-BAT获得了更多的一致性主题,优于几个竞争基线。此外,当基于提取的主题执行文本聚类时,我们的模型优于所有基线,Gaussian-BAT实现了更显着的改进,其准确性提高了近6%。
2020-04-26 cs.CL cs.IR cs.LG
Crime Hot-Spot Modeling via Topic Modeling and Relative Density Estimation
Georgia Institute of Technology(佐治亚理工学院);Duke University(杜克大学)
本文提出结合主题建模与最近邻相对密度估计(kNN-RDE)的方法,从警方叙述文本中识别犯罪热点,并在亚特兰大警察局大规模语料上验证其能发现被总体事件密度掩盖的空间趋势。
2023-09-22 cs.CL cs.IR cs.LG
Neural Topic Modeling with Continual Lifelong Learning
Siemens AG(西门子股份公司);University of Munich (LMU)(慕尼黑大学(LMU))
针对短文档数据稀疏导致主题建模效果不佳的问题,提出终身神经主题建模(LNTM)框架,通过共享生成同源和选择性数据增强等方法持续积累主题并减少灾难性遗忘,在困惑度、主题连贯性和信息检索上取得显著提升。
2023-06-27 cs.CL cs.IR cs.LG
Unsupervised Terminological Ontology Learning based on Hierarchical Topic Modeling
Northwestern University(西北大学);Intel Corporation(英特尔公司)
在本文中,我们提出了层次关系为基础的潜在狄利克雷分配(hrLDA),数据驱动的层次主题模型,从大量的异构文档中提取术语本体。与传统的主题模型相比,hrLDA依赖于名词短语而不是一元语法,考虑语法和文档结构,并通过主题关系丰富主题层次结构。通过一系列的实验,我们证明了hrLDA优于现有的主题模型,特别是在建立层次结构。此外,我们说明了鲁棒性的hrLDA在噪声数据集的设置,这是可能发生在许多实际情况下。我们的本体评价结果表明,从hrLDA提取的本体是非常有竞争力的领域专家创建的本体。
2017-08-29 cs.CL cs.IR cs.LG
Historia Magistra Vitae: Dynamic Topic Modeling of Roman Literature using Neural Embeddings
University of Colorado(科罗拉多大学)
本研究提出基于BERT嵌入的动态主题建模方法,应用于罗马文学语料库,发现神经模型虽定量指标略逊,但定性评估更优且对超参数不敏感,更适合历史研究。
2024-06-27 cs.CL
Analysis of Computational Science Papers from ICCS 2001-2016 using Topic Modeling and Graph Theory
ITMO University(圣彼得堡国立信息技术机械与光学大学);University of Amsterdam(阿姆斯特丹大学);Eötvös University(罗兰大学)
本文介绍了主题建模和网络模型的主题使用国际会议上计算科学语料库,其中包含特定领域(计算科学)的论文超过十六年(共5695篇)的结果。我们讨论了计算科学国际会议的主题结构,这些主题如何随着时间的推移,在响应各种问题,技术和方法的时事性,以及如何所有这些主题相互关联。该分析通过从主题建模结果和作者的关键词构建静态和动态网络来说明科学界之间的多学科研究和合作。本研究的结果提供了关于计算科学核心讨论主题的过去和未来趋势的见解。我们使用非负矩阵分解主题建模算法来发现主题,并对结果进行分层标记和分组。
2017-04-18 cs.CL cs.DL cs.IR
Mitigating Data Sparsity for Short Text Topic Modeling by Topic-Semantic Contrastive Learning
Nanyang Technological University(南洋理工大学);Carnegie Mellon University(卡内基梅隆大学)
为了克服短文本主题建模中的数据稀疏性问题,现有的方法通常依赖于数据增强或短文本的数据特性来引入更多的词共现信息。然而,大多数算法没有充分利用数据的增广性或数据的特征,对数据样本之间的关系学习不足,导致语义相似的文本对的主题分布不一致。为了更好地解决数据稀疏性问题,本文提出了一种新的短文本主题建模框架,主题-语义对比主题模型(TSCTM)。为了充分建模样本之间的关系,我们采用了一种新的对比学习方法,有效的积极和消极的抽样策略的基础上的主题语义。这种对比学习方法细化了表示,丰富了学习信号,从而减轻了稀疏性问题。大量的实验结果表明,我们的TSCTM优于国家的最先进的基线,无论数据增强的可用性,产生高质量的主题和主题分布。
2022-11-23 cs.CL
BERTopic for Topic Modeling of Hindi Short Texts: A Comparative Study
COEP Technological University(COEP理工大学)
本文评估BERTopic结合6种文档嵌入模型在印地语短文本上的主题建模效果,并与8种传统方法比较,发现其主题一致性表现持续最优。
2025-01-07 cs.CL cs.IR cs.LG
Topic subject creation using unsupervised learning for topic modeling
Underwriters Laboratories, LLC(美国保险商实验室有限责任公司)
我们描述了使用非负矩阵分解(NMF)和潜在狄利克雷分配(LDA)算法进行主题挖掘和标签应用于零售客户通信,试图描述客户查询的主题。在本文中,我们比较了这两种算法的主题挖掘性能,并提出了方法来分配主题主题标签的自动化方式。
2019-12-18 cs.CL cs.CY cs.IR
TopicGPT: A Prompt-based Topic Modeling Framework
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of Maryland(马里兰大学)
TopicGPT利用大型语言模型和提示框架改进主题建模,生成更符合人类分类、可解释且可灵活约束和修改的主题,无需重新训练模型。
2024-04-01 cs.CL
An Adaptation of Topic Modeling to Sentences
National Taiwan University(国立台湾大学);University of Southern California(南加州大学)
主题建模的发展已经为描述文本数据的潜在语义提供了有效的方法。然而,将标准主题建模方法应用于句子级任务会带来许多挑战。在本文中,我们适应的潜在狄利克雷分配的方法,包括一个额外的层,将信息的句子边界的文件。我们表明,除了这个最小的信息的文档结构,提高了训练模型的困惑结果。
2016-07-20 cs.CL
CobwebTM: Probabilistic Concept Formation for Lifelong and Hierarchical Topic Modeling
College of Computing Georgia Institute of Technology(计算学院佐治亚理工学院)
CobwebTM通过增量概率概念形成,实现低参数的终身分层主题模型,在无需预定义主题数量的情况下,实现无监督主题发现、动态主题创建和分层组织,展现了预训练表示与增量符号概念形成结合在主题建模中的高效性。
2026-04-17 cs.CL
Topic Modeling in Embedding Spaces
Columbia University(哥伦比亚大学);Cambridge University(剑桥大学)
主题建模分析文档以学习有意义的单词模式。然而,现有的主题模型无法学习可解释的主题时,与大型和重尾词汇。为此,我们开发了嵌入式主题模型(ETM),一个生成模型的文件,结婚的传统主题模型与词嵌入。特别地,它用类别分布对每个词进行建模,该类别分布的自然参数是词嵌入与其指定主题的嵌入之间的内积。为了适应ETM,我们开发了一个有效的摊销变分推理算法。ETM发现可解释的主题,即使是包含罕见词和停用词的大型词汇表。在主题质量和预测性能方面,它优于现有的文档模型,如潜在狄利克雷分配(LDA)。
2019-07-08 cs.CL cs.IR cs.LG
Topic-Oriented Spoken Dialogue Summarization for Customer Service with Saliency-Aware Topic Modeling
Fudan University(复旦大学);Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学);Indiana University Bloomington(印第安纳大学伯明顿分校)
在客户服务系统中,对话摘要可以通过自动为客户和代理尝试解决有关特定主题的问题的长时间对话创建摘要来提高服务效率。在这项工作中,我们专注于面向主题的对话摘要,它生成高度抽象的摘要,保留对话的主要思想。在口语对话中,大量的对话噪音和共同的语义可能会掩盖潜在的信息内容,使一般的主题建模方法难以应用。此外,对于客户服务而言,特定角色的信息至关重要,是不可或缺的一部分。为了有效地进行主题建模的对话和捕获多角色的信息,在这项工作中,我们提出了一种新的主题增强的两阶段对话摘要(TDS)与显着性感知神经主题模型(SATM)共同面向主题的客户服务对话摘要。对真实世界的中国客户服务数据集的综合研究证明了我们的方法对几个强基线的优越性。
2021-06-25 cs.CL
Handling Collocations in Hierarchical Latent Tree Analysis for Topic Modeling
The Education University of Hong Kong(香港教育大学);The Hong Kong University of Science and Technology(香港科技大学)
主题建模是近年来机器学习中最活跃的研究领域之一。分层潜在树分析(HLTA)最近已被提出用于分层主题建模,并已显示出优于国家的最先进的方法的性能。然而,HLTA中使用的模型具有树结构,不能适当地表示共享同一个词的多词表达式的不同含义。因此,我们提出了一种方法提取和选择搭配作为HLTA的预处理步骤。在运行HLTA之前,在词袋模型中用单个标记替换选定的搭配。我们的实证评估表明,所提出的方法导致更好的性能HLTA的四个数据集测试。
2020-07-10 cs.CL cs.IR cs.LG
Combining LSTM and Latent Topic Modeling for Mortality Prediction
非常需要能够以高准确性和可靠性预测重症监护病房中患者死亡率的技术。我们提出了联合端到端神经网络架构,该架构结合了长短期记忆(LSTM)和潜在主题模型,同时训练用于死亡率预测的分类器,并从文本临床笔记中学习指示死亡率的潜在主题。对于主题可解释性,主题建模层被精心设计为具有LDA启发的约束的单层网络。在MIMIC-III数据集上的实验表明,我们的模型在死亡率预测方面明显优于基于LDA主题的先前模型。然而,我们通过查看神经网络权重来解释训练模型中的主题的方法取得了有限的成功。
2017-09-08 cs.CL
Topic Modeling in the Voynich Manuscript
Yale University(耶鲁大学)
本文介绍了使用主题模型的Voynich Mandarin pt(Beinecke MS408)的调查结果。主题建模是一组用于识别文本中主题簇的计算方法。我们使用潜在的狄利克雷分配,潜在的语义分析,和非负矩阵分解到“主题”的伏尼契网页集群。然后,我们比较的主题来自计算模型的集群来自伏尼契插图和古文字分析。我们发现,计算得出的聚类与抄写员和主题的结合密切匹配(如插图所示),进一步证明伏尼契手稿包含有意义的文本。
2021-07-06 cs.CL
Semantic-Driven Topic Modeling Using Transformer-Based Embeddings and Clustering Algorithms
University of Colorado Colorado Springs (UCCS)(科罗拉多大学科罗拉多斯普林斯分校);Instituto Politécnico Nacional (IPN)(国家理工学院)
本文提出一种语义驱动的端到端主题建模方法,利用Transformer嵌入、降维和聚类算法提取连贯主题,并在主题质量上优于ChatGPT及传统主题建模算法。
2024-09-30 cs.AI cs.CL
Topic Modeling for Classification of Clinical Reports
George Washington University(乔治华盛顿大学);Harbor-UCLA Medical Center(加州大学洛杉矶分校港滨医学中心)
电子健康记录(EHR)包含有关患者的重要临床信息。高效和有效地使用这些信息可以补充甚至取代人工病历审查,作为研究和提高医疗服务质量和安全性的一种手段。然而,这些临床数据中的一些是自由文本的形式,并且在用于自动化系统之前需要预处理。一个常见的自由文本数据源是放射学报告,通常由放射科医生口述以解释他们的解释。我们试图证明机器学习分类的计算机断层扫描(CT)成像报告的二元结果,即积极和消极的骨折,使用常规文本分类和分类器的基础上的主题建模。主题建模在报告中提供了可解释的主题(主题分布),这种表示比常用的词袋表示更紧凑,并且在后续自动化过程中可以比原始文本更快地处理。我们展示了新的分类器的基础上,这个主题建模表示的报告。聚合主题分类器(ATC)和基于置信度的主题分类器(CTC)使用基于不同度量从训练数据集确定的单个主题来对测试数据集上的报告进行分类。或者,基于相似性的主题分类器(STC)测量报告的主题分布之间的相似性,以确定预测类。我们提出的主题建模为基础的分类系统被证明是有竞争力的与现有的文本分类技术,并提供了一个有效的和可解释的表示。
2017-06-19 cs.CL
Towards the TopMost: A Topic Modeling System Toolkit
Nanyang Technological University(南洋理工大学)
本文提出主题建模系统工具包 TopMost,通过覆盖数据集、预处理、模型、训练和评估的完整生命周期及模块化设计,实现前沿主题模型的快速使用、公平比较和灵活扩展。
2024-06-14 cs.AI cs.CL cs.IR
Unsupervised Topic Modeling Approaches to Decision Summarization in Spoken Meetings
Cornell University(康奈尔大学)
我们提出了一个令牌级的决策摘要框架,利用潜在的主题结构的话语,以确定“值得总结”的话。实验结果表明,细粒度的主题模型能够更好地识别决策过程的要点,它在话语级而不是文档级发现主题。此外,我们提出的令牌级摘要方法,这是能够消除话语内的冗余,优于现有的话语排名为基础的摘要方法。最后,还调查上下文信息以向摘要添加额外的相关信息。
2016-06-24 cs.CL
Human in the loop: How to effectively create coherent topics by manually labeling only a few documents per class
TU Clausthal(克劳斯塔尔工业大学);University of Göttingen(哥廷根大学)
用于在稀疏标签设置下精确建模的Few-Shot方法已经显著改进。然而,Few-Shot建模在自然语言处理中的应用仅限于文档分类领域。随着最近的性能改进,有监督的Few-Shot方法与简单的主题提取方法相结合,对无监督的主题建模方法提出了重大挑战。我们的研究表明,有监督的少样本学习,结合一个简单的主题提取方法,可以优于无监督的主题建模技术,在生成连贯的主题,即使每个类只有几个标记的文档使用。
2022-12-19 cs.CL
Anchor-Free Correlated Topic Modeling: Identifiability and Algorithm
University of Minnesota(明尼苏达大学)
在主题建模中,许多保证主题可识别性的算法都是在存在锚词的前提下开发的,即,仅出现在一个主题中的单词(概率为正)。后续的工作则采用了语料库的三阶或更高阶顺序统计量来放松锚词假设。然而,高阶顺序统计量的可靠估计很难获得,并且在这些模型下识别主题取决于主题的不相关性,这可能是不现实的。本文回顾了基于二阶矩的主题建模,提出了一个无锚点的主题挖掘框架。与锚词假设相比,所提出的方法保证了在更温和的条件下识别主题,从而在实践中表现出更好的鲁棒性。相应的算法只涉及一个特征分解和几个小的线性规划。这使得它易于实现和扩展到非常大的问题实例。使用TDT 2和Reuters-21578语料库的实验表明,与现有技术相比,所提出的无锚方法表现出非常有利的性能(使用一致性,相似性计数和聚类准确性度量进行测量)。
2016-11-15 cs.CL cs.IR cs.SI
Stability of Topic Modeling via Matrix Factorization
Insight Centre for Data Analytics, University College Dublin(都柏林大学学院洞察数据分析中心)
主题模型可以让我们深入了解大型文档语料库的潜在结构。在文献中已经提出了一系列的方法,包括概率主题模型和基于矩阵分解的技术。然而,在这两种情况下,标准实现在其初始化阶段依赖于随机元素,这可能导致在使用相同参数值时在相同语料库上生成不同结果。这对应于“不稳定性”的概念,这是以前研究的背景下,$k$ -均值聚类。在主题建模的许多应用中,不考虑这种不稳定性的问题,并且主题模型被视为是确定的,即使如果初始化过程被改变,结果可能会发生很大变化。在本文中,我们展示了固有的不稳定性流行的主题建模方法,使用一些新的措施来评估稳定性。为了解决这个问题的背景下,矩阵分解的主题建模,我们提出了使用集成学习策略。基于注释文本语料库上进行的实验,我们表明,K折集成策略,结合集成和结构化初始化,可以显着减少不稳定性,同时产生更准确的主题模型。
2017-09-09 cs.CL cs.IR cs.LG
Coherence-Aware Neural Topic Modeling
Amazon Web Services(亚马逊云科技)
主题模型的评估是基于它们描述文档的能力(即低困惑度)和产生具有连贯语义的主题的能力。在目前的主题建模中,困惑度是一个直接的优化目标。然而,由于其具有挑战性的计算,主题一致性并没有优化,并且仅在训练后进行评估。在这项工作中,在神经变分推理框架下,我们提出了将主题一致性目标纳入训练过程的方法。我们证明,这样的连贯性意识的主题模型表现出类似的困惑水平的基线模型,但实现了更高的主题连贯性。
2018-09-07 cs.CL cs.LG
Topic Modeling on Clinical Social Work Notes for Exploring Social Determinants of Health Factors
University of California, San Francisco(加州大学旧金山分校);University of California, Office of the President(加州大学校长办公室);UCSF(加州大学旧金山分校)
大多数研究健康的社会决定因素(SDoH)的研究都集中在医生笔记或电子病历(EMR)的结构化元素上。我们假设社会工作者的临床记录,其作用是改善社会和经济因素,可能会提供更丰富的数据源SDoH。我们试图进行主题建模,以在大量社会工作笔记中识别强有力的讨论主题。我们从加州大学旧金山分校的181,644名患者中检索了95万份临床社会工作笔记的多样化,去识别语料库。我们使用词频分析和潜在狄利克雷分配(LDA)的主题建模分析,以表征这个语料库,并确定潜在的讨论主题。词频分析确定了与ICD 10特定章节相关的医学和非医学术语。LDA主题建模分析提取了11个与健康风险因素的社会决定因素相关的主题,包括财务状况、虐待历史、社会支持、死亡风险和心理健康。此外,主题建模方法捕捉了不同类型的社会工作笔记之间的差异,以及不同类型疾病或病症的患者之间的差异。我们证明,社会工作笔记包含丰富的,独特的,否则无法获得个人的SDoH的信息。
2022-12-02 cs.CL
Examining Racial Bias in an Online Abuse Corpus with Structural Topic Modeling
Cornell University(康奈尔大学)
我们使用结构主题建模来检查收集到的数据中的种族偏见,以训练模型来检测社交媒体帖子中的仇恨言论和辱骂性语言。我们通过添加一个额外的功能来增加滥用语言数据集,该功能指示用非洲裔美国人英语撰写的推文的预测概率。然后,我们使用结构主题模型来研究的内容的推文,以及如何流行的不同主题是相关的滥用注释和方言预测。我们发现,某些话题被不成比例地种族化,并被认为是虐待。我们讨论如何主题建模可能是一个有用的方法来识别偏见的注释数据。
2020-05-26 cs.CL cs.SI
GHTM: A graph-based hybrid topic modeling approach for Bengali language
Institute of Information Technology (IIT), University of Dhaka(达卡大学信息技术研究所);Centre for Advanced Research in Sciences (CARS), University of Dhaka(达卡大学高级科学研究中心)
本文提出GHTM模型,结合TF-IDF加权GloVe嵌入、图卷积网络和非负矩阵分解,提升孟加拉语主题建模效果,并引入NCTBText数据集作为基准。
2026-10-14 cs.CL
Topic Modeling in Marathi
本文针对马拉地语主题建模研究稀缺的问题,比较了多种 BERT 与非 BERT 方法,发现 BERTopic 结合印度语言训练的 BERT 模型在主题一致性和多样性上优于 LDA。
2025-02-04 cs.CL cs.LG
Topic Modeling Genre: An Exploration of French Classical and Enlightenment Drama
University of Würzburg(维尔茨堡大学)
文学体裁的概念是一个非常复杂的概念:不同的体裁不仅经常被定义在几个但不一定是相同的描述层次上,而且将体裁视为具有丰富历史的认知、社会或学术结构,这进一步使问题复杂化。本文采用定量的方法,即主题建模,对语篇的主题进行了研究。主题建模已被证明是有用的,发现主题模式和趋势,在大量的文本集合,以期类或浏览他们的基础上,他们的主导主题。然而,它很少被应用于戏剧文本的收集。在这篇文章中,主题建模是用来分析收集的古典时代和启蒙运动的法国戏剧。这一贡献的总体目标是发现什么语义类型的主题是在这个集合中发现,是否不同的戏剧子类型有独特的主导主题和情节相关的主题模式,反之,在何种程度上聚类方法的基础上,每个播放的主题得分产生分组的文本同意更传统的体裁区别。这一贡献表明,有趣的主题模式,可以检测到提供了新的见解的主题,亚类相关的结构,法国戏剧,以及到法国戏剧的古典时代和启蒙运动的历史。
2021-03-24 cs.CL
TopicImpact: Improving Customer Feedback Analysis with Opinion Units for Topic Modeling and Star-Rating Prediction
Department of Computing Science Umeå University(计算科学系乌梅大学)
本文提出TopicImpact系统,通过将客户评论重构为意见单元来改进主题建模,并结合主题与情感模态提升星级评分预测的准确性和可解释性。
2025-07-16 cs.AI cs.CL
GINopic: Topic Modeling with Graph Isomorphism Network
Indian Association for the Cultivation of Science(印度文化研究会)
针对现有主题模型忽视词语依赖关系的问题,本文提出基于图同构网络的 GINopic 框架以建模词语相关性,并在多个基准上通过内外部评估验证其优于现有模型。
2025-02-17 cs.CL cs.LG
Topic Modeling with Contextualized Word Representation Clusters
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Cornell University(康奈尔大学)
聚类标记级上下文化单词表示产生的输出与英语文本集合的主题模型有许多相似之处。与词汇级词嵌入的聚类不同,所得到的模型更自然地捕获多义词,并且可以用作组织文档的一种方式。我们评估从流行的上下文语言模型的几个不同的输出层训练的标记聚类。我们发现,BERT和GPT-2产生高质量的聚类,但ROBERTa不。这些聚类模型简单、可靠,即使不比LDA主题模型更好,也能表现得很好,即使主题数量相对于本地集合的大小很大,也能保持高主题质量。
2020-10-23 cs.CL
Hierarchical Graph Topic Modeling with Topic Tree-based Transformer
The Pennsylvania State University(宾夕法尼亚州立大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Nanyang Technological University(南洋理工大学);University of Electronic Science and Technology of China(电子科技大学);Singapore Management University(新加坡管理大学)
针对互联文档兼具图层次与主题层次的问题,提出在双曲空间中融合主题树嵌入和图结构的 Transformer 模型,提升层次主题建模效果。
2025-02-17 cs.CL
Improving Topic Modeling of Social Media Short Texts with Rephrasing: A Case Study of COVID-19 Related Tweets
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
研究针对社交媒体短文本主题建模难题,开发TM-Rephrase框架,利用大语言模型改写推文。通过新冠疫情推文数据集,研究两种改写策略对多种建模方法的影响,结果显示该框架提升了主题建模性能,减少冗余,为公共卫生等领域社交媒体分析提供了新方法。
2026-07-14 cs.AI cs.CL