A Large Language Model Guided Topic Refinement Mechanism for Short Text Modeling
Nanjing University of Posts and Telecommunications(南京邮电大学);Jiangsu High Technology Research Key Laboratory for Wireless Sensor Networks(江苏省无线传感器网络高技术研究重点实验室)
针对短文本稀疏导致主题共现不足的问题,提出模型无关的 LLM 后处理机制 Topic Refinement,通过提示工程识别并替换入侵者词,提升主题质量与分类性能。
2025-02-16 cs.AI cs.CL
Multilingual and Multimodal Topic Modelling with Pretrained Embeddings
University of Helsinki(赫尔辛基大学)
本文提出了M3 L-Contrast-一种新的多模态多语言(M3 L)神经主题模型,用于将来自多种语言和图像的文本映射到共享的主题空间中。我们的模型在文本和图像上进行联合训练,并利用预训练的文档和图像嵌入来抽象不同语言和模态之间的复杂性。作为一个多语言的主题模型,它产生对齐的语言特定的主题和多模态模型,它推断图像中的语义概念的文本表示。我们证明,我们的模型是有竞争力的zero-shot主题模型预测可比多语言数据的主题分布,并显着优于zero-shot模型预测可比文本和图像的主题分布。我们还表明,我们的模型在未对齐的嵌入上的表现几乎和对齐的嵌入一样好。
2022-11-15 cs.AI cs.CL
An Embedding-based Joint Sentiment-Topic Model for Short Texts
Optum Global Advantage (OGA)(奥普姆全球优势(OGA));IIIT-Delhi(德里印度信息技术学院)
短文本是在社交媒体、电子商务平台等上分享反馈、意见和评论的流行途径。许多公司需要从这些短文本中提取有意义的信息(可能包括主题内容以及语义极性),以了解用户的行为。然而,获得高质量的情感相关的和人类可解释的主题仍然是一个挑战短文本。在本文中,我们开发了ELJST,嵌入增强生成联合情感主题模型,可以发现更多的连贯性和多样性的主题从短文本。它使用马尔可夫随机场正则化器,可以被视为基于跳跃图的模型的概括。此外,它可以利用出现在词嵌入中的高阶语义信息,例如图形模型中的自我注意权重。我们的研究结果显示,与基线相比,主题一致性平均提高了10%,主题多样化平均提高了5%。最后,ELJST有助于在更细的层次上理解用户的行为,这是可以解释的。所有这些都可以为经常与客户打交道的服务和医疗保健行业带来重大价值。
2021-03-26 cs.AI cs.CL
Multilingual transformer and BERTopic for short text topic modeling: The case of Serbian
The Institute for Artificial Intelligence Research and Development of Serbia(塞尔维亚人工智能研究与发展研究所)
本文首次将BERTopic应用于塞尔维亚语短文本主题建模,验证其在部分预处理下仍能生成信息丰富的主题,并优于LDA和NMF,为形态丰富低资源语言研究提供参考。
2024-02-05 cs.AI cs.CL
Enhancing Extractive Text Summarization with Topic-Aware Graph Neural Networks
School of Computer Science and Technology, Harbin Institute of Technology(哈尔滨工业大学计算机科学与技术学院)
文本摘要的目的是将文本压缩成简短的摘要,同时保留显著信息。摘要抽取式自动摘要方法以其流畅性和高效性被广泛应用于文本摘要中。然而,大多数现有的提取模型很难捕捉句子间的关系,特别是在长文档。他们还经常忽视主题信息对捕捉重要内容的影响。为了解决这些问题,本文提出了一个基于图神经网络(GNN)的提取摘要模型,使捕捉句子间的关系,有效地通过图结构的文档表示。此外,我们的模型集成了一个联合神经主题模型(NTM),以发现潜在的主题,它可以提供文档级的功能,句子选择。实验结果表明,我们的模型不仅在CNN/DM和NYT数据集上取得了最先进的结果,而且在由更长文档组成的科学论文数据集上的性能也大大优于现有方法,表明其在文档类型和长度方面具有更好的鲁棒性。进一步的讨论表明,主题信息可以帮助模型从整个文档中预选出显著的内容,这解释了它在长文档摘要中的有效性。
2020-10-13 cs.AI cs.CL
Topical Language Generation using Transformers
University of Denver(丹佛大学)
大规模的基于transformer的语言模型(LM)在开放文本生成方面表现出令人印象深刻的能力。然而,控制生成的文本的属性,如主题,风格和情感是具有挑战性的,通常需要对模型架构进行重大更改,或者在新的监督数据上重新训练和微调模型。提出了一种将预先训练好的LM与主题建模信息相结合的主题语言生成方法。我们投的问题,使用贝叶斯概率公式与主题概率作为先验,LM概率的可能性,和主题语言生成概率作为后验。在学习模型的过程中,我们从用户提供的文档的自然结构中推导出主题概率分布。此外,我们通过引入新的参数和函数来影响生成的文本中呈现的主题特征的数量,从而扩展了我们的模型。这个特性将允许我们轻松地控制生成文本的主题属性。我们的实验结果表明,我们的模型优于国家的最先进的结果一致性,多样性和流畅性,同时在解码速度更快。
2021-03-11 cs.AI cs.CL
Improving Topic Modeling of Social Media Short Texts with Rephrasing: A Case Study of COVID-19 Related Tweets
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
研究针对社交媒体短文本主题建模难题,开发TM-Rephrase框架,利用大语言模型改写推文。通过新冠疫情推文数据集,研究两种改写策略对多种建模方法的影响,结果显示该框架提升了主题建模性能,减少冗余,为公共卫生等领域社交媒体分析提供了新方法。
2026-07-14 cs.AI cs.CL
Federated Non-negative Matrix Factorization for Short Texts Topic Modeling with Mutual Information
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);Duke University(杜克大学);Sun Yat-sen University(中山大学)
基于非负矩阵分解(NMF)的主题建模在自然语言处理(NLP)中被广泛用于发现短文本文档中隐藏的主题。通常,训练一个高质量的主题模型需要大量的文本数据。在许多现实场景中,客户文本数据应该是私密和敏感的,不允许上传到数据中心。本文提出了一个联邦NMF(Federated NMF)框架,它允许多个客户端协同训练一个高质量的NMF的主题模型与本地存储的数据。然而,标准的联邦学习将显著破坏主题模型在下游任务中的性能(例如,文本分类)。为了缓解这个问题,我们进一步提出了FedNMF+MI,它同时最大化本地文本的计数特征和它们的主题权重向量之间的互信息(MI),以减轻性能下降。实验结果表明,我们的FedNMF+MI方法优于联邦潜在狄利克雷分配(FedLDA)和FedNMF无MI方法的短文本的一致性得分和分类F1得分的显着保证金。
2022-05-26 cs.AI cs.CL cs.LG
Topic Memory Networks for Short Text Classification
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室)
由于数据稀疏性,许多分类模型在短文本上效果不佳。为了解决这个问题,我们提出了主题记忆网络的短文本分类与一种新的主题记忆机制编码潜在的主题表示类标签指示。与大多数专注于使用外部知识或预先训练的主题扩展特征的先前工作不同,我们的模型以端到端的方式与记忆网络共同探索主题推理和文本分类。在四个基准数据集上的实验结果表明,该模型在短文本分类方面优于现有模型,同时生成连贯的主题。
2018-09-11 cs.CL
Mitigating Data Sparsity for Short Text Topic Modeling by Topic-Semantic Contrastive Learning
Nanyang Technological University(南洋理工大学);Carnegie Mellon University(卡内基梅隆大学)
为了克服短文本主题建模中的数据稀疏性问题,现有的方法通常依赖于数据增强或短文本的数据特性来引入更多的词共现信息。然而,大多数算法没有充分利用数据的增广性或数据的特征,对数据样本之间的关系学习不足,导致语义相似的文本对的主题分布不一致。为了更好地解决数据稀疏性问题,本文提出了一种新的短文本主题建模框架,主题-语义对比主题模型(TSCTM)。为了充分建模样本之间的关系,我们采用了一种新的对比学习方法,有效的积极和消极的抽样策略的基础上的主题语义。这种对比学习方法细化了表示,丰富了学习信号,从而减轻了稀疏性问题。大量的实验结果表明,我们的TSCTM优于国家的最先进的基线,无论数据增强的可用性,产生高质量的主题和主题分布。
2022-11-23 cs.CL
ClusTop: An unsupervised and integrated text clustering and topic extraction framework
Hebei University of Technology(河北工业大学);Tianjin Huizhi Xingyuan Information Technology Co.,Ltd.(天津汇智兴元信息技术有限公司)
文本聚类和主题抽取是文本挖掘的两个重要任务。通常,这两个任务是分开执行的。为了便于聚类的主题提取,我们可以首先将文本投影到主题空间中,然后执行聚类算法来获得聚类。为了通过聚类来促进主题提取,我们可以首先使用聚类算法获得聚类,然后提取特定于聚类的主题。然而,这种幼稚的策略忽略了文本聚类和主题提取是密切相关的,并且遵循鸡和蛋的关系。单独执行它们无法使它们相互受益,以实现最佳的整体性能。本文提出了一种无监督文本聚类和主题提取框架(WITTTop),该框架将文本聚类和主题提取集成到一个统一的框架中,能够同时实现高质量的聚类结果和主题提取。我们的框架包括四个部分:增强的语言模型训练,降维,聚类和主题提取,其中增强的语言模型可以被看作是聚类和主题提取之间的桥梁。一方面,它为文本嵌入提供了强聚类结构,有利于有效的文本聚类;另一方面,由于其自关注结构,它高度关注主题相关词以进行主题提取。此外,增强的语言模型的训练是无监督的。在两个数据集上的实验证明了该框架的有效性,并为该框架中不同的模型组合提供了基准。
2023-01-03 cs.CL
Let the Pretrained Language Models "Imagine" for Short Texts Topic Modeling
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出利用预训练语言模型将短文本扩展为长序列并结合神经主题模型减少噪声,有效解决短文本主题建模中的数据稀疏问题,生成高质量主题。
2023-10-24 cs.CL
Topic model based on co-occurrence word networks for unbalanced short text datasets
Beijing Key Laboratory of Intelligent Telecommunication Software and Multimedia(智能电信软件与多媒体北京重点实验室);Beijing University of Posts and Telecommunications(北京邮电大学)
针对不平衡短文本数据集稀缺主题检测问题,提出CWUTM方法,利用共现词网络捕捉主题分布,重新定义计算增强稀缺主题识别敏感性,采用吉布斯采样,实验验证其在发现稀缺主题上优于基线方法,能有效检测社交平台相关主题。
2026-07-13 cs.CL
TegFormer: Topic-to-Essay Generation with Good Topic Coverage and High Text Coherence
Beihang University(北京航空航天大学);Beijing University of Posts and Telecommunications(北京邮电大学);Thomson Reuters Labs(汤森路透实验室)
基于几个给定主题撰写一篇文章是一项具有挑战性的NLP任务。虽然最近出现了几种解决这个问题的有效方法,主题到文章生成,但仍然有很大的改进空间,特别是在给定主题的覆盖范围和生成文本的连贯性方面。在本文中,我们提出了一种称为TegFormer的新方法,它利用Transformer架构,其中编码器富含特定于域的上下文,而解码器则通过大规模预训练的语言模型进行增强。具体地说,一个捕获给定主题及其特定领域上下文之间交互的\emph{Topic-Extension}层被插入到编码器中。由于给定的主题通常是简洁和稀疏的,这样的附加层可以带来更多的主题相关的语义,以促进随后的自然语言生成。此外,\emph{Embedding-Fusion}模块将从给定语料库学习的特定领域词嵌入与由在大量文本数据上预训练的GPT-2模型提供的通用词嵌入组合到解码器中。由于GPT-2的规模要大得多,它包含了更多的隐含语言知识,这将有助于解码器生成更符合语法和可读性的文本。大量的实验表明,根据自动和人工评估,TegFormer生成的文本片段比SOTA主题到论文技术具有更好的主题覆盖率和更高的文本连贯性。正如消融研究所揭示的那样,Topic-Extension层和Embedding-Fusion模块都对TegFormer的性能优势做出了重大贡献。
2022-12-27 cs.CL
Computer-Assisted Text Analysis for Social Science: Topic Models and Beyond
College of Computing and Informatics University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校计算与信息学院)
主题模型是一系列基于语义的算法,用于总结、探索和索引大量的文本文档。在计算机科学家领导的十年研究之后,主题模型已经扩展到社会科学,因为新一代数据驱动的社会科学家正在寻找工具来探索大量非结构化文本。最近,社会科学家在因果推理和处理多模态问题的工具方面的发展为主题模型文献做出了贡献。在本文中,我提供了一个文献综述的主题建模的演变,包括扩展文档协变量,评估和解释的方法,以及在交互式可视化的进展,以及每个方面的相关性和社会科学研究的应用。
2018-04-03 cs.CL
Topic-Guided Variational Autoencoders for Text Generation
Duke University(杜克大学);Microsoft Dynamics 365 AI Research(微软Dynamics 365人工智能研究院);Infinia ML, Inc(英菲尼亚机器学习公司);University at Buffalo(布法罗大学)
本文提出了一种基于主题的变分自编码器(TGVAE)文本生成模型。不同于现有的变分自编码器(VAE)为基础的方法,假设一个简单的高斯先验的潜在代码,我们的模型指定的高斯混合模型(GMM)参数化的神经主题模块的先验。每个混合成分对应于一个潜在主题,该主题为生成主题下的句子提供指导。我们模型中的神经主题模块和基于VAE的神经序列模块是联合学习的。特别是,可逆Householder变换的序列被应用于赋予近似后验的潜在代码具有高度的灵活性,在模型推理。实验结果表明,我们的TGVAE优于其他方法在无条件和有条件的文本生成,它可以生成语义有意义的句子与各种主题。
2019-03-17 cs.CL
Discovering topics in text datasets by visualizing relevant words
Technische Universität Berlin(柏林工业大学);Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);Korea University(高丽大学)
在处理大量文档时,必须快速获得文本内容的概述。在本文中,我们将展示如何通过使用聚类算法来识别数据集中的主题,然后选择和可视化相关的单词,将一组文档与其他文本区分开来,以总结属于每个主题的文档的内容。我们展示了我们的方法,发现在纽约时报的文章片段集合的热门话题。
2017-07-18 cs.CL
Artificial intelligence for topic modelling in Hindu philosophy: mapping themes between the Upanishads and the Bhagavad Gita
UNSW(新南威尔士大学);Indian Institute of Technology Guwahati(印度理工学院古瓦哈提分校)
印度教宗教和哲学文本的一个显著特点是,它们来自一个文本库,而不是单一的来源。《印度教法典》被认为是世界上最古老的哲学文本之一,构成了印度教哲学的基础。《博伽梵歌》是印度教哲学的核心文本,被认为是总结了印度教主要哲学的文本,主要集中在业力哲学上。这些文本已被翻译成多种语言,并且存在关于突出主题和主题的研究;然而,使用由深度学习驱动的语言模型进行主题建模的研究并不多。在本文中,我们使用先进的语言产品,如BERT提供主题建模的关键文本的《古兰经》和《博伽梵歌》。我们分析了文本之间的独特和重叠的主题,并可视化了《博伽梵歌》中选定文本的链接。我们的研究结果显示,这两篇文章的主题之间有很高的相似性,平均余弦相似度为73%。我们发现,从博伽梵歌中提取的十四个主题中,有九个主题的余弦相似度超过70%。我们还发现,基于BERT的模型生成的主题显示出非常高的一致性相比,传统的模型。我们的最佳表现模型在《薄伽梵歌》和《圣经》上的一致性得分分别为73%和69%。这些文本的低维嵌入的可视化显示了它们的主题之间非常明显的重叠,为我们的结果增加了另一个验证级别。
2022-05-23 cs.CL
Topic Discovery in Massive Text Corpora Based on Min-Hashing
Instituto de Investigaciones en Matemáticas Aplicadas y en Sistemas, Universidad Nacional Autónoma de México(墨西哥国立自治大学应用数学与系统研究所)
十多年来,在文本语料库中发现主题的任务一直由潜在Dirichlet分配和其他主题模型主导。为了将这些方法应用于大量文本语料库,词汇表需要大大减少,并且通常需要大型计算机集群和/或GPU。此外,主题的数量必须事先提供,但这取决于语料库的特点,这往往是很难估计,特别是对于海量文本语料库。不幸的是,主题质量和时间复杂度都对这种选择很敏感。本文介绍了一种基于Min-Hashing的主题发现方法,该方法可以使用适当的计算机硬件处理大量文本语料和大词汇量,并且不需要预先确定主题的数量。其基本思想是生成语料库词汇的多个随机分区,以找到高度共现的单词集,然后将其聚类以产生最终的主题。与概率主题模型中的主题分布在完整的词汇,所提出的方法发现的主题是一组高度共现的话。有趣的是,这些主题是不同粒度级别的各种主题的基础。使用20个新闻组(18 K),路透社(800 K),西班牙语维基百科(1 M)和英语维基百科(5 M)语料库进行了广泛的定性和定量评估表明,所提出的方法能够始终如一地发现有意义和连贯的主题。值得注意的是,所提出的方法的时间复杂度是线性的语料库和词汇量的大小;非并行实现能够发现主题从整个英文版的维基百科超过500万个文档和100万个单词在不到7个小时。
2019-08-07 cs.CL
GloCOM: A Short Text Neural Topic Model via Global Clustering Context
Hanoi University of Science and Technology(河内理工大学);University of Oregon(俄勒冈大学)
针对短文本主题建模中数据稀疏与标签稀疏问题,提出GloCOM模型,利用预训练嵌入构建全局聚类上下文并增强重建损失,实验证明其主题质量与文档表示优于现有方法。
2025-01-23 cs.CL
TopiCLEAR: Adaptive embedding clustering for interpretable topic discovery from short texts
Graduate School of Frontier Sciences, The University of Tokyo Chiba, Japan(前沿科学研究生院,东京大学千叶分校);Mathematics and Informatics Center, The University of Tokyo Tokyo, Japan(数学与信息学中心,东京大学东京分校)
TopiCLEAR通过聚类嵌入与自适应降维方法,提升社交媒体文本的主题提取准确性和可解释性。
2026-08-28 cs.CL
Context Reinforced Neural Topic Modeling over Short Texts
Sun Yat-sen University(中山大学);Lingnan University(岭南大学)
神经网络主题建模作为一种流行的主题挖掘工具,以其训练效率高、泛化能力强等优点引起了人们的广泛关注。然而,由于每个短文本中缺乏上下文,现有的神经主题模型可能会遭受这样的文档的特征稀疏性。为了缓解这个问题,我们提出了一个上下文增强神经主题模型(CRNTM),其特点可以概括如下。首先,通过假设每个短文本只覆盖几个突出的主题,CRNTM在一个狭窄的范围内推断每个词的主题。其次,我们的模型通过将主题视为嵌入空间中的多元高斯分布或高斯混合分布来利用预训练的词嵌入。在两个基准数据集上的实验验证了该模型在主题发现和文本分类方面的有效性。
2020-08-11 cs.CL cs.IR
Efficient text generation of user-defined topic using generative adversarial networks
Virginia Tech(弗吉尼亚理工大学);National Pingtung University(国立屏东大学);Institute for Information Industry(资讯工业策进会)
本研究的重点是使用生成对抗网络(GAN)的高效文本生成。假设目标是生成用户定义的主题和情感倾向的段落,通常,当用户每次改变主题时,整个网络都必须重新训练以获得新的结果。这既费时又不切实际。因此,我们提出了一个用户定义的GAN(UD-GAN)与两个级别的歧视,以解决这个问题。第一个模型由多个LSTM构成,用于引导生成器学习段落级信息和句子句法结构。第二个处理更高级别的信息,例如用户定义的情感和文本生成的主题。采用基于TF-IDF的余弦相似度和长度惩罚来判断主题的相关性。然后,如果用于文本生成的主题或情感被修改,则使用生成器重新训练第二个训练器。系统评估进行比较所提出的方法与其他基于GAN的性能。客观结果表明,该方法能够以更少的时间生成文本,并且生成的文本与用户定义的主题和情感有关。我们将进一步研究是否可能将更详细的段落信息,如语义,以提高文本生成的结果。
2020-06-22 cs.CL
Towards Interpretable Summary Evaluation via Allocation of Contextual Embeddings to Reference Text Topics
Technical University of Munich(慕尼黑工业大学);Trinity College Dublin(都柏林圣三一学院);IBM(国际商业机器公司);Universitat de Barcelona(巴塞罗那大学)
尽管最近在摘要生成模型方面取得了广泛的进展,但对自动生成的摘要的评估仍然广泛依赖于单分数系统,不足以进行透明的评估和深入的定性分析。为了弥合这一差距,我们提出了多方面的可解释摘要评价方法(MISEM),这是基于分配的摘要的上下文令牌嵌入到语义主题中确定的参考文本。我们进一步贡献了一个可解释性工具箱,用于自动摘要评估和摘要评分,主题识别和令牌主题分配的交互式视觉分析。MISEM在TAC'08数据集上实现了与人类判断的.404皮尔逊相关性。
2022-10-25 cs.CL
Creating Targeted, Interpretable Topic Models with LLM-Generated Text Augmentation
Wellesley College(韦尔斯利学院)
本研究利用LLM生成的文本增强改进主题模型的可解释性和实用性,通过政治学案例验证,GPT-4增强能创建高度可解释的类别,支持特定领域研究。
2025-04-24 cs.CL
CompText: Visualizing, Comparing & Understanding Text Corpus
UC Davis(加州大学戴维斯分校)
自然语言处理(NLP)中的一种常见做法是在不通读整个文献的情况下可视化文本语料库,仍然抓住所描述的中心思想和关键点。长期以来,研究者们致力于从文本中提取主题,并根据主题在语料库中的相对重要性将其可视化。然而,最近,研究人员开始提出更复杂的系统,不仅暴露了语料库的主题,还暴露了与主题密切相关的词,为用户提供了一个整体视图。这些详细的可视化催生了基于可视化的文本语料库比较研究。主题经常被比较以理想化语料库之间的差异。然而,为了从不同的语料库中获取更大的语义,研究人员已经开始根据与文本相关的主题的情感来比较文本。通过比较权重最大的词,可以了解语料库的重要主题。有多种现有的文本比较方法,目前比较的主题,而不是情绪,但我们认为,专注于情感携带的话会更好地比较两个语料库。因为只有情感才能解释文本的真实感受,而不仅仅是主题,没有情感的主题只是名词。我们的目标是区分语料库,重点是情感,而不是比较所有的话出现在两个语料库。这背后的基本原理是,这两个语料库没有多少相同的词进行并排比较,所以比较情感词给我们一个想法,语料库是如何吸引读者的情感。我们可以认为,熵或主题的意外性和分歧也应该是重要的,并帮助我们确定关键的支点和语料库中某些主题的重要性以及相对情绪。
2022-07-27 cs.CL
TopicEq: A Joint Topic and Mathematical Equation Model for Scientific Texts
Yale University(耶鲁大学)
科学文献依靠数学和文本来交流思想。受科学文本中数学方程和单词上下文之间的主题对应关系的启发,我们提出了一种新的主题模型,该模型联合生成数学方程及其周围的文本(TopicEq)。使用相关主题模型的扩展,从潜在主题的混合物中生成上下文,并且由依赖于潜在主题激活的RNN生成方程。为了实验这个模型,我们创建了一个从arXiv的一系列科学文章中提取的40万方程上下文对的语料库,并使用变分自编码器方法拟合模型。实验结果表明,该联合模型显著优于现有的主题模型和方程模型的科技文本。此外,我们定性地表明,该模型有效地捕捉主题和数学之间的关系,使新的应用程序,如主题感知方程生成,方程主题推理,主题感知对齐的数学符号和单词。
2019-04-25 cs.CL cs.IR cs.LG
Investigating the Impact of Text Summarization on Topic Modeling
本文提出利用预训练大型语言模型在输入主题模型前生成文档摘要以提升主题建模性能,发现该方法对长文档尤为有效且存在最优摘要长度,相比以往模型取得了更好的主题多样性与可比的连贯性。
2024-09-28 cs.CL
Topic-Guided Abstractive Text Summarization: a Joint Learning Approach
University of Delaware(特拉华大学);University of Maryland, College Park(马里兰大学帕克分校);Tongji University(同济大学);Tezign(特赞)
我们介绍了一种新的方法,抽象的文本摘要,主题引导的抽象摘要,校准长期的依赖关系,从主题级功能与全球显着的内容。我们的想法是将神经主题建模与基于transformer的序列到序列(seq2seq)模型结合在一个联合学习框架中。这种设计可以学习和保存文档的全局语义,这可以为捕获文档的重要思想提供额外的上下文指导,从而增强摘要的生成。我们在两个数据集上进行了大量的实验,结果表明,我们提出的模型在ROUGE测量和人类评估方面优于许多提取和抽象系统。我们的代码可在https://github.com/chz816/tas上获得。
2021-08-27 cs.CL
Changing the Mind of Transformers for Topically-Controllable Language Generation
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
基于transformer的大型语言模型可以通过建议迄今为止所写文本的合理延续来帮助人类作者。然而,当前的交互式写作助手不允许作者在期望的主题方向上引导文本生成。为了解决这个问题,我们设计了一个框架,显示多个候选即将到来的主题,其中用户可以选择一个子集来指导生成。我们的框架由两部分组成:(1)一种方法,通过预测可能的延续中的词簇中心来产生一组候选主题,以及(2)一个文本生成模型,其输出符合所选主题。这两个组件的训练都是自我监督的,只使用未标记的文本。我们的实验表明,我们的主题选项比标准的聚类方法更好,我们的框架经常生成与所选主题相关的流畅句子,由自动化指标和众包工人判断。
2021-03-29 cs.CL
Document Topic Alignment Metrics for Evaluating Topic Models of Short-Text Public Health Communications on Social Media
College of Computing and Informatics(计算与信息学院);The University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Department of Public Health and Health Administration(公共卫生与健康管理系)
针对社交媒体短文本主题模型缺乏分配感知评估的问题,提出文档-主题对齐度量(DoTA),在公共卫生数据集上验证其与传统度量的互补性及与人类评估的一致性。
2026-09-15 cs.CL cs.SI
Enhancing Short-Text Topic Modeling with LLM-Driven Context Expansion and Prefix-Tuned VAEs
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文针对短文本词语共现不足导致主题建模不连贯的问题,提出先用LLM扩展文本,再通过前缀微调小语言模型结合变分自编码器进行建模,在稀疏真实数据集上显著超越现有最优方法。
2024-10-19 cs.CL cs.IR
A Framework for Neural Topic Modeling of Text Corpora
主题建模是指发现文本数据语料库中出现的主要主题的问题,其解决方案在许多领域都有重要的应用。在这项工作中,灵感来自最近的进展,在自然语言处理领域,我们介绍FAME,一个开源的框架,使一个有效的机制,提取和合并文本特征,并利用它们发现的主题和聚类文本文档中的语义相似的语料库。这些特征的范围从传统方法(例如,基于频率的)到来自基于变换器的语言模型(诸如BERT模型家族)的最新自动编码嵌入。为了证明该库的有效性,我们在著名的News-Group数据集上进行了实验。该图书馆可在网上查阅。
2021-08-19 cs.CL cs.LG
Topic Modeling for Classification of Clinical Reports
George Washington University(乔治华盛顿大学);Harbor-UCLA Medical Center(加州大学洛杉矶分校港滨医学中心)
电子健康记录(EHR)包含有关患者的重要临床信息。高效和有效地使用这些信息可以补充甚至取代人工病历审查,作为研究和提高医疗服务质量和安全性的一种手段。然而,这些临床数据中的一些是自由文本的形式,并且在用于自动化系统之前需要预处理。一个常见的自由文本数据源是放射学报告,通常由放射科医生口述以解释他们的解释。我们试图证明机器学习分类的计算机断层扫描(CT)成像报告的二元结果,即积极和消极的骨折,使用常规文本分类和分类器的基础上的主题建模。主题建模在报告中提供了可解释的主题(主题分布),这种表示比常用的词袋表示更紧凑,并且在后续自动化过程中可以比原始文本更快地处理。我们展示了新的分类器的基础上,这个主题建模表示的报告。聚合主题分类器(ATC)和基于置信度的主题分类器(CTC)使用基于不同度量从训练数据集确定的单个主题来对测试数据集上的报告进行分类。或者,基于相似性的主题分类器(STC)测量报告的主题分布之间的相似性,以确定预测类。我们提出的主题建模为基础的分类系统被证明是有竞争力的与现有的文本分类技术,并提供了一个有效的和可解释的表示。
2017-06-19 cs.CL
Document Similarity for Texts of Varying Lengths via Hidden Topics
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);T. J. Watson Research Center, IBM(IBM T. J.沃森研究中心)
测量文本之间的相似性是几个应用程序的重要任务。现有的方法来衡量文档相似性是不够的文档对具有非可比长度,如长文档及其摘要。这是因为词汇,上下文和抽象之间的差距丰富的细节和它的简明摘要的抽象信息的长文档。在本文中,我们提出了一个文档匹配的方法来弥补这一差距,通过比较隐藏主题的共同空间中的文本。我们评估了两个匹配任务的匹配算法,发现它始终广泛优于强基线。我们还强调了将领域知识结合到文本匹配中的好处。
2019-03-26 cs.CL
Discriminative Topic Mining via Category-Name Guided Text Embedding
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Georgia Institute of Technology(佐治亚理工学院)
从海量文本语料库中自动挖掘出一组有意义、有特色的主题具有广泛的应用前景。然而,现有的主题模型通常以纯粹无监督的方式工作,这通常会生成不符合用户特定需求的主题,并在下游任务上产生次优性能。我们提出了一个新的任务,歧视性主题挖掘,它利用一组用户提供的类别名称挖掘歧视性主题的文本语料库。这个新的任务不仅可以帮助用户清楚和明确地理解他/她最感兴趣的主题,而且还直接受益于关键字驱动的分类任务。我们开发了CatE,一种新的类别名称引导的文本嵌入方法,用于判别式主题挖掘,它有效地利用最小的用户指导来学习判别式嵌入空间,并以迭代的方式发现类别代表性术语。我们进行了一组全面的实验表明,CatE挖掘高质量的主题集的类别名称只引导,并有利于各种下游应用,包括弱监督分类和词汇蕴涵方向识别。
2020-01-27 cs.CL cs.IR
Text Network Exploration via Heterogeneous Web of Topics
Shanghai Jiao Tong University(上海交通大学)
文本网络是指每个顶点与一个文本文档相关联,文档之间的关系由边表示的数据类型。诸如超链接网页和学术引文网络的文本网络的激增导致了对快速开发新的文本网络(即文本网络探索)的一般意义的需求的增加。在本文中,我们通过构建一个异构的主题网络,它允许人们调查一个文本网络相关联的词级与文档级的文本网络,解决了文本网络探索的问题。为了实现这一点,提出了一个概率生成模型的文本和链接,其中三个不同的关系,在异构主题Web量化。我们还开发了一个原型演示系统TopicAtlas来展示这种异构的主题网络,并演示了该系统如何促进文本网络探索的任务。广泛的定性分析,包括验证这个异构的主题网络的有效性。此外,我们在现实生活中的文本网络上验证了我们的模型,表明它在客观评价指标上保持了良好的性能。
2016-10-02 cs.CL cs.IR cs.SI
Hierarchical Topic Mining via Joint Spherical Tree and Text Embedding
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Georgia Institute of Technology(佐治亚理工学院)
挖掘一组有意义的主题组织成一个层次结构是直观的吸引力,因为主题相关性是无处不在的海量文本语料库。为了考虑潜在的层次主题结构,层次主题模型通过将潜在的主题层次结构纳入其生成建模过程来概括平面主题模型。然而,由于其纯粹的无监督性质,学习的主题层次结构往往偏离用户的特定需求或兴趣。为了在最少用户监督的情况下指导分层主题发现过程,我们提出了一个新任务分层主题挖掘,该任务采用仅由类别名称描述的类别树,旨在从文本语料库中挖掘每个类别的一组代表性术语,以帮助用户理解他/她感兴趣的主题。我们开发了一种新型的联合树和文本嵌入方法以及一个有原则的优化过程,该过程允许在球形空间中同时对类别树结构和语料库生成过程进行建模,以有效地发现类别代表术语。我们的综合实验表明,我们的模型,命名为JoSH,挖掘一个高质量的层次主题集,效率高,有利于弱监督层次文本分类任务。
2020-07-18 cs.CL cs.IR cs.LG
LimTopic: LLM-based Topic Modeling and Text Summarization for Analyzing Scientific Articles limitations
Northern Illinois University(北伊利诺伊大学);Northwestern University(西北大学)
本文提出LimTopic框架,结合BERTopic与LLM从科学论文局限性中提取主题、生成标题与摘要,实验证明BERTopic+GPT-4主题建模及GPT-4摘要效果最佳。
2025-03-08 cs.CL cs.LG
Short Text Topic Modeling Techniques, Applications, and Performance: A Survey
University of Louisiana at Lafayette(路易斯安那大学拉斐特分校)
分析短文本推断歧视性和连贯的潜在主题,这是一个关键的和基本的任务,因为许多现实世界的应用程序需要短文本的语义理解。传统的长文本主题建模算法(例如,PLSA和LDA)不能很好地解决这个问题,因为在短文本中只有非常有限的词共现信息。因此,短文本主题建模近年来已经引起了机器学习研究界的广泛关注,旨在克服短文本中的稀疏性问题。在这项调查中,我们进行了全面的审查,各种短文本主题建模技术提出的文献。我们提出了三类方法的基础上狄利克雷多项式混合,全球词同现,自聚合,在每一类的代表性方法的例子和分析其性能的各种任务。我们开发了第一个全面的开源库,称为STTM,用于Java,将所有调查的算法集成在一个统一的界面,基准数据集,以促进在这一研究领域的新方法的扩展。最后,我们在许多真实世界的数据集上评估了这些最先进的方法,并将它们的性能与长文本主题建模算法进行了比较。
2019-04-13 cs.CL cs.IR
Short Text Hashing Improved by Integrating Multi-Granularity Topics and Tags
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
由于紧凑二进制码的计算和存储效率,散列已被广泛用于大规模相似性搜索。不幸的是,许多现有的散列方法的基础上观察到的关键字功能是不有效的短文本,由于稀疏和简短。最近,一些研究人员试图利用一定粒度的潜在主题来保持哈希码中的语义相似性,而不仅仅是关键字匹配。然而,一定粒度的主题不足以表示内在的语义信息。在本文中,我们提出了一种使用多粒度主题和标签进行短文本哈希的新型统一方法,称为HMTT。特别是,我们提出了一种选择方法来选择最佳的多粒度主题取决于数据集的类型,并设计了两个不同的哈希策略,将多粒度的主题。我们还提出了一个简单而有效的方法来利用标签,以提高相关文本的相似性。我们在一个短文本数据集和一个正常文本数据集上进行了广泛的实验。结果表明,我们的方法是有效的,并显着优于基线的几个评估指标。
2015-03-10 cs.CL cs.IR
Word Network Topic Model: A Simple but General Solution for Short and Imbalanced Texts
Beihang University(北京航空航天大学)
短文本是近几十年来互联网上流行的信息格式,特别是随着在线社交媒体的发展,数以百万计的用户每天都会产生大量的短消息。虽然短文本传递的复杂信号使其成为主题建模的一个有前途的来源,但其极端的稀疏性和不平衡性给传统的主题模型(如LDA及其变体)带来了前所未有的挑战。针对短文本中主题建模问题,提出了一种简单而通用的解决方案,即基于词共现网络的WNTM模型,以同时解决稀疏性和不平衡性问题。与以往的方法不同,WNTM模型为每个单词的主题分布,而不是学习每个文档的主题,这成功地提高了数据空间的语义密度,而不会引入太多的时间或空间复杂度。同时,词-词空间中保存的丰富的上下文信息也保证了它在识别稀有主题时的敏感性和令人信服的质量。此外,采用与LDA相同的Gibbs采样,使WNTM易于扩展到各种应用场景。对短文本和普通文本的广泛验证证明了WNTM与基线方法相比的优越性。最后,我们也展示了它的潜力,准确地发现新出现的话题或意外事件在微博的早期阶段。
2014-12-17 cs.CL cs.IR
Textual Data Distributions: Kullback Leibler Textual Distributions Contrasts on GPT-2 Generated Texts, with Supervised, Unsupervised Learning on Vaccine & Market Topics & Sentiment
University of Charleston(查尔斯顿大学);Apple Inc.(苹果公司);Cerence B. V.(赛轮思公司)
有效的文本数据分布(TDD)对齐和生成是文本分析和NLP中的开放性研究问题。目前,很难简约地和方法学地确认两个或更多个自然语言数据集属于相似的分布,并且难以识别文本数据具有对齐的程度。这项研究的重点是解决上述更广泛的问题的一部分,通过应用多个监督和无监督的机器学习(ML)方法来探索TDD的行为(i)主题对齐,(ii)情感对齐。此外,我们使用多种文本生成方法,包括微调的GPT-2,按主题和情感生成文本。最后,我们开发了一个独特的过程驱动的变化的Kullback-Leibler分歧(KLD)的应用TDD,命名为KL文本分布对比(KL-TDC),以确定对齐的机器生成的文本语料库与自然发生的文本语料库。因此,这项研究确定了一种独特的方法,用于生成和验证TDD的主题和情绪,这可以用来帮助解决稀疏数据问题和其他研究,实践和课堂情况下,需要人工生成的主题或情绪对齐的文本数据。
2021-06-15 cs.CL cs.LG cs.SI
Topics and Label Propagation: Best of Both Worlds for Weakly Supervised Text Classification
TCS Research, Tata Consultancy Services(塔塔咨询服务公司研究部);Indian Institute of Technology Bombay(印度理工学院孟买分校);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
提出了一种基于标签传播的弱监督文本分类算法。我们构建了一个图,其中每个文档由一个节点表示,边权重表示文档之间的相似性。此外,我们发现潜在的主题使用潜在狄利克雷分配(LDA)和丰富的文档图,包括额外的节点的形式的主题。主题和文本文档之间的边权重表示它们之间的“亲和力”水平。我们的方法不需要文档级别的标签,相反,它只需要手动标签的主题节点。这大大减少了所需的监督水平,因为只有少数几个主题被观察到足以达到足够高的准确性。标签传播算法在这个丰富的图上被用来在节点之间传播标签。我们的方法结合了标签传播(通过文档-文档相似性)和主题建模(用于最小但智能的监督)的优点。我们证明了我们的方法在各种数据集上的有效性,并与最先进的弱监督文本分类方法进行了比较。
2017-12-04 cs.CL cs.LG
Topic Modeling over Short Texts by Incorporating Word Embeddings
Hefei University of Technology(合肥工业大学);University of Massachusetts Boston(马萨诸塞大学波士顿分校);University of Louisiana at Lafayette(路易斯安那大学拉斐特分校)
从大量的短文本中推断主题成为许多内容分析任务的关键但具有挑战性的任务,例如内容特征化,用户兴趣分析和新兴主题检测。现有的方法,如概率潜在语义分析(PLSA)和潜在狄利克雷分配(LDA)不能很好地解决这个问题,因为只有非常有限的词共现信息是可用的短文本。本文研究如何将外部词汇相关知识融入到短文中,以提高话题建模的连贯性。基于词嵌入从大规模语料库中学习词的语义表示的最新研究成果,本文提出了一种新的从短文本中学习潜在主题的方法--基于嵌入的主题模型(Embedding-based Topic Model,ETM)。ETM不仅通过将短文本聚合成长伪文本来解决非常有限的词共现信息的问题,而且还利用马尔可夫随机场正则化模型,该模型使相关词有更好的机会被放入同一主题中。在真实数据集上的实验验证了该模型的有效性。
2016-09-27 cs.CL cs.IR cs.LG
Jointly Dynamic Topic Model for Recognition of Lead-lag Relationship in Two Text Corpora
Peking University(北京大学);Renmin University of China(中国人民大学)
话题演化建模在近几十年来受到了广泛的关注。虽然已经提出了各种主题演化模型,但大多数研究都集中在单文档语料库上。然而,在实践中,我们可以很容易地访问来自多个来源的数据,并观察它们之间的关系。如何识别多个文本语料库之间的关系,并进一步利用这种关系来改进主题建模是一个很有意义的问题。在这项工作中,我们专注于两个文本语料库之间的一种特殊类型的关系,我们定义为“领先滞后关系”。这种关系表现为一个文本语料库会影响另一个文本语料库将来讨论的话题。为了发现领先-滞后关系,我们提出了一个联合动态主题模型,并开发了一个嵌入扩展来解决大规模文本语料库的建模问题。通过识别出的前后关系,可以发现两个文本语料库的相似性,从而提高两个语料库的主题学习质量。我们数值研究的联合动态主题建模方法使用合成数据的性能。最后,我们将所提出的模型应用于两个文本语料库,包括统计论文和毕业论文。实验结果表明,该模型能很好地识别两个语料库之间的领先-滞后关系,并发现了两个语料库中的特定和共享的主题模式。
2021-11-21 cs.CL stat.ME stat.ML
Topic Analysis for Text with Side Data
Northwestern University(西北大学);Metonymize
虽然潜在因素模型(例如,矩阵分解)在预测中获得良好的性能,但是它们遭受若干问题,包括冷启动、不透明和次优推荐。在本文中,我们使用带有侧数据的文本来解决这些限制。我们介绍了一种混合生成概率模型,它结合了神经网络和潜在主题模型,这是一个四层次贝叶斯模型。在该模型中,每个文档被建模为一个有限的混合在一个底层的主题集,每个主题被建模为一个无限的混合在一个底层的主题概率集。此外,每个主题概率被建模为边数据上的有限混合。在文本的上下文中,神经网络提供关于对应文本的边数据的概览分布,其是LDA中的先验分布以帮助执行主题分组。该方法在几个不同的数据集上进行了评估,其中该模型在主题分组,模型困惑,分类和评论生成方面优于标准LDA和Dirichlet多项式回归(DMR)。
2022-03-01 cs.CL cs.IR cs.LG
Multilingual Topic Models for Unaligned Text
Princeton University(普林斯顿大学)
我们开发的多语言主题模型未对齐的文本(MuTo),文本的概率模型,旨在分析语料库组成的两种语言的文档。从这些文档中,MuTo使用随机EM同时发现语言之间的匹配和多语言潜在主题。我们证明了MuTo能够在真实世界的多语言语料库中找到共享主题,成功地将不同语言的相关文档配对。MuTo为创建多语言主题模型提供了一个新的框架,而无需精心策划的并行语料库,并允许使用主题模型形式主义构建的应用程序应用于更广泛的语料库。
2012-05-09 cs.CL cs.IR cs.LG
Topic Modelling and Event Identification from Twitter Textual Data
University of Ottawa(渥太华大学);Institute for Big Data Analytics, Dalhousie University(达尔豪斯大学大数据分析研究所);Institute of Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所);Peacegeeks(和平极客);iHUB
互联网上社交媒体内容的巨大增长激发了文本分析的发展,以了解和解决现实生活中的问题。利用统计主题建模可以帮助研究人员和从业人员更好地理解文本内容,并为进一步分析提供有用的信息。当我们处理大量动态文本时,统计主题建模变得尤为重要,例如,Facebook或Twitter数据集。在这项研究中,我们总结了四个数据集的Twitter消息在肯尼亚具有挑战性的社会事件的消息内容。我们使用潜在狄利克雷分配(LDA)主题模型来分析内容。我们的研究使用了两个评价指标,归一化互信息(NMI)和主题一致性分析,以选择最好的LDA模型。实验结果表明,该工具可以有效地提取讨论主题并进行归纳,以便于进一步的人工分析
2016-08-08 cs.CL cs.SI
Topic Modeling on Podcast Short-Text Metadata
Deezer Research(Deezer 研究院)
播客已经成为一种大量消费的在线内容,特别是由于更广泛的生产手段和通过大型流媒体平台的规模化分发。分类系统和信息访问技术通常使用主题作为组织或导航播客集合的主要方式。然而,用主题注释播客仍然是相当有问题的,因为分配的编辑类型是广泛的,异构的或误导性的,或者因为数据的挑战(例如短元数据文本,嘈杂的成绩单)。在这里,我们评估的可行性,发现相关的主题播客元数据,标题和描述,使用主题建模技术的短文本。我们还提出了一种新的策略,利用命名实体(NE),往往存在于播客元数据,在非负矩阵分解(NMF)的主题建模框架。我们对来自Spotify和iTunes的两个现有数据集以及来自提供播客目录的在线服务的新数据集Deezer的实验表明,我们提出的文档表示NEiCE导致了基线上的主题一致性改善。我们发布代码是为了实验结果的可重复性。
2022-01-12 cs.CL cs.IR
TopicModel4J: A Java Package for Topic Models
Hefei University of Technology(合肥工业大学)
主题模型为探索高维共现数据中的隐藏结构提供了一个灵活而有原则的框架,是文本的自然语言处理(NLP)中常用的方法。在本文中,我们设计并实现了一个Java包,TopicModel4J,其中包含13种有代表性的主题模型拟合算法。Java编程环境中的TopicModel4J为数据分析人员提供了一个易于使用的接口来运行算法,并允许轻松地输入和输出数据。此外,该软件包还提供了一些非结构化文本预处理技术,例如将文本数据拆分为单词,小写单词,执行词形化以及删除无用的字符,URL和停止词。
2020-10-28 cs.CL cs.IR
The study of short texts in digital politics: Document aggregation for topic modeling
Pennsylvania State University(宾夕法尼亚州立大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文研究短文本聚合对主题建模的影响,通过分析美国州议员的一百万条推文发现,按账户聚合文档可使主题与州的关联性更强,并在维基百科数据上复现了该结果。
2025-03-07 cs.CL cs.LG
Twitter-Network Topic Model: A Full Bayesian Treatment for Social Network and Text Modeling
ANU(澳大利亚国立大学);NICTA(澳大利亚国家信息通信技术研究院)
Twitter的数据非常嘈杂--每条推文都很短,没有结构,语言也不正式,这对当前的主题建模来说是一个挑战。另一方面,推文伴随着额外的信息,如作者,标签和用户追随者网络。利用这些额外的信息,我们提出了Twitter网络(TN)的主题模型,共同建模的文本和社会网络在一个完整的贝叶斯非参数的方式。TN主题模型采用分层泊松-狄利克雷过程(PDP)的文本建模和高斯过程随机函数模型的社会网络建模。我们表明,TN主题模型显着优于现有的几个非参数模型,由于其灵活性。此外,TN主题模型能够实现额外的信息推理,例如作者的兴趣,主题标签分析,以及导致进一步的应用,例如作者推荐,自动主题标签和主题标签建议。注意,我们的一般推理框架可以很容易地应用到其他主题模型嵌入PDP节点。
2016-09-22 cs.CL cs.IR cs.SI
BERTopic for Topic Modeling of Hindi Short Texts: A Comparative Study
COEP Technological University(COEP理工大学)
本文评估BERTopic结合6种文档嵌入模型在印地语短文本上的主题建模效果,并与8种传统方法比较,发现其主题一致性表现持续最优。
2025-01-07 cs.CL cs.IR cs.LG