Short Text Hashing Improved by Integrating Multi-Granularity Topics and Tags
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
由于紧凑二进制码的计算和存储效率，散列已被广泛用于大规模相似性搜索。不幸的是，许多现有的散列方法的基础上观察到的关键字功能是不有效的短文本，由于稀疏和简短。最近，一些研究人员试图利用一定粒度的潜在主题来保持哈希码中的语义相似性，而不仅仅是关键字匹配。然而，一定粒度的主题不足以表示内在的语义信息。在本文中，我们提出了一种使用多粒度主题和标签进行短文本哈希的新型统一方法，称为HMTT。特别是，我们提出了一种选择方法来选择最佳的多粒度主题取决于数据集的类型，并设计了两个不同的哈希策略，将多粒度的主题。我们还提出了一个简单而有效的方法来利用标签，以提高相关文本的相似性。我们在一个短文本数据集和一个正常文本数据集上进行了广泛的实验。结果表明，我们的方法是有效的，并显着优于基线的几个评估指标。
2015-03-10 cs.CL cs.IR
Topic Modeling on Podcast Short-Text Metadata
Deezer Research（Deezer 研究院）
播客已经成为一种大量消费的在线内容，特别是由于更广泛的生产手段和通过大型流媒体平台的规模化分发。分类系统和信息访问技术通常使用主题作为组织或导航播客集合的主要方式。然而，用主题注释播客仍然是相当有问题的，因为分配的编辑类型是广泛的，异构的或误导性的，或者因为数据的挑战（例如短元数据文本，嘈杂的成绩单）。在这里，我们评估的可行性，发现相关的主题播客元数据，标题和描述，使用主题建模技术的短文本。我们还提出了一种新的策略，利用命名实体（NE），往往存在于播客元数据，在非负矩阵分解（NMF）的主题建模框架。我们对来自Spotify和iTunes的两个现有数据集以及来自提供播客目录的在线服务的新数据集Deezer的实验表明，我们提出的文档表示NEiCE导致了基线上的主题一致性改善。我们发布代码是为了实验结果的可重复性。
2022-01-12 cs.CL cs.IR
AgenticAI-DialogGen: Topic-Guided Conversation Generation for Fine-Tuning and Evaluating Short- and Long-Term Memories of LLMs
School of Computing, Macquarie University（麦考瑞大学计算机学院）
本文提出AgenticAI-DialogGen框架，通过生成基于角色和主题的对话来微调和评估LLM的短期和长期记忆，引入了TopicGuidedChat数据集以提升对话质量和模型性能。
2026-04-14 cs.CL cs.IR
AOBTM: Adaptive Online Biterm Topic Modeling for Version Sensitive Short-texts Analysis
Department of Computer Science The University of British Comumbia Kelowna, Canada
对移动应用程序评论的分析表明，它在需求工程，软件维护和移动应用程序的发展中发挥着重要作用。移动应用程序开发人员经常检查用户的评论，以澄清用户遇到的问题，或捕获由于最近的应用程序更新而引入的新问题。应用程序评论具有动态性，其讨论的主题会随着时间的推移而变化。不同版本的应用程序收集的评论中的主题变化可以揭示有关应用程序更新的重要问题。在这个分析中的一个主要技术是使用主题建模算法。然而，应用评论是简短的文本，随着时间的推移，揭示其潜在的主题是具有挑战性的。传统的主题模型在对短文本进行主题推理时，存在词共现模式稀疏的问题。此外，这些算法不能在许多连续的时间片上捕获主题。在线主题建模算法通过保存前一个时间片的一小部分数据来加快对最近时间片内收集的文本的主题模型的推断。但是这些算法并没有分析所有先前时间片的主题数据，这可以对当前时间片的主题分布做出贡献。本文提出了自适应在线双项主题模型AOBTM，用于自适应地对短文本中的主题进行建模。AOBTM解决了短文本中的稀疏性问题，并考虑了先前时间片的最佳数量的原始数据。我们还提出了并行算法来自动确定主题的最佳数量和最佳数量的以前的版本，应该考虑在主题推理阶段。对应用评论和真实短文本数据集的自动评估证实，AOBTM可以找到更连贯的主题，并优于最先进的基线。
2020-09-13 cs.IR cs.LG stat.ML
Topic Modeling over Short Texts by Incorporating Word Embeddings
Hefei University of Technology（合肥工业大学）；University of Massachusetts Boston（马萨诸塞大学波士顿分校）；University of Louisiana at Lafayette（路易斯安那大学拉斐特分校）
从大量的短文本中推断主题成为许多内容分析任务的关键但具有挑战性的任务，例如内容特征化，用户兴趣分析和新兴主题检测。现有的方法，如概率潜在语义分析（PLSA）和潜在狄利克雷分配（LDA）不能很好地解决这个问题，因为只有非常有限的词共现信息是可用的短文本。本文研究如何将外部词汇相关知识融入到短文中，以提高话题建模的连贯性。基于词嵌入从大规模语料库中学习词的语义表示的最新研究成果，本文提出了一种新的从短文本中学习潜在主题的方法--基于嵌入的主题模型（Embedding-based Topic Model，ETM）。ETM不仅通过将短文本聚合成长伪文本来解决非常有限的词共现信息的问题，而且还利用马尔可夫随机场正则化模型，该模型使相关词有更好的机会被放入同一主题中。在真实数据集上的实验验证了该模型的有效性。
2016-09-27 cs.CL cs.IR cs.LG
BERTopic for Topic Modeling of Hindi Short Texts: A Comparative Study
COEP Technological University（COEP理工大学）
本文评估BERTopic结合6种文档嵌入模型在印地语短文本上的主题建模效果，并与8种传统方法比较，发现其主题一致性表现持续最优。
2025-01-07 cs.CL cs.IR cs.LG
Author Clustering and Topic Estimation for Short Texts
Duke University（杜克大学）
短文本的分析，如社交媒体帖子，是非常困难的，因为它们固有的简短。除了对这些帖子的主题进行分类外，一项常见的下游任务是将这些文档的作者分组，以便随后进行分析。我们提出了一种新的模型，扩展了潜在的Dirichlet分配建模强依赖性的话在同一个文件中，与用户级的主题分布。我们还同时集群用户，消除了事后集群估计的需要，并通过缩小嘈杂的用户级主题分布对典型值的主题估计。我们的方法执行以及-或更好-比传统的方法，我们证明了它的有用性的数据集上的推文从美国参议员，恢复有意义的主题和集群，反映党派意识形态。我们还开发了一种新的措施，这些政客之间的回声室特征的孤立性的参议员群体讨论的主题，并提供不确定性量化。
2022-06-16 cs.IR cs.LG stat.ME
A Gamma-Poisson Mixture Topic Model for Short Text
University of Pretoria（比勒陀利亚大学）；Center for Artificial Intelligence Research (CAIR)（人工智能研究中心（CAIR））
大多数主题模型都是在假设文档遵循多项分布的前提下构建的。泊松分布是描述计数数据概率的另一种分布。对于主题建模，泊松分布描述了一个词在固定长度的文档中出现的次数。泊松分布已成功地应用于文本分类，但其应用主题建模没有很好的记录，特别是在生成概率模型的上下文中。此外，文献中的几个泊松主题模型是混合模型，假设文档是由主题的混合生成的。在这项研究中，我们专注于短文本。许多研究表明，混合模型的简单假设更适合短文本。与混合模型相反，混合模型的生成假设是文档从单个主题生成。一个主题模型，它使这个一个主题，每个文档的假设，是狄利克雷多项混合模型。这项工作的主要贡献是一个新的Gamma-Poisson混合模型，以及一个崩溃的吉布斯采样模型。折叠吉布斯采样器推导的好处是，该模型能够自动选择语料库中包含的主题的数量。结果表明，在选择标注语料库主题数时，Gamma-Poisson混合模型优于Dirichlet-multinomial混合模型。此外，伽玛泊松混合产生更好的主题连贯性分数比狄利克雷-多项式混合模型，从而使其成为一个可行的选择，具有挑战性的任务，主题建模的短文本。
2020-04-23 cs.CL cs.IR cs.LG
Short Text Classification Improved by Feature Space Extension
School of Computer Science, Beijing University of Posts and Telecommunications（北京邮电大学计算机学院）
随着移动互联网的爆炸式发展，短文本得到了广泛的应用。短文本分类与长文档分类的区别在于短文本具有短小、稀疏的特点。因此，它是具有挑战性的处理短文本分类，由于其较少的语义信息。本文基于潜在狄利克雷分配（LDA）模型和卷积神经网络，提出了一种新的基于主题的卷积神经网络（TB-CNN）。与传统的CNN方法相比，TB-CNN采用LDA模型生成主题词，降低主题词的稀疏性，并结合主题词和输入词的嵌入向量，扩展短文本的特征空间。在IMDB电影评论数据集上的验证结果表明了TB-CNN的改进和有效性。
2019-04-02 cs.CL cs.IR
Discovering key topics from short, real-world medical inquiries via natural language processing and unsupervised learning
Bayer AG（拜耳股份公司）；areto consulting gmbh（areto咨询有限公司）
制药公司每年收到数百万份未经请求的医疗咨询。据推测，这些调查代表了一个信息宝库，可能会深入了解有关药品和相关医疗的问题。然而，由于调查的数量大和专业性质，很难进行及时、经常和全面的分析。在这里，我们提出了一种基于自然语言处理和无监督学习的机器学习方法，以自动发现客户真实医疗查询中的关键主题。这种方法既不需要本体，也不需要注释。根据医疗信息专家的判断，发现的主题是有意义的，与医疗相关的，因此表明主动提出的医疗咨询是有价值的客户见解的来源。我们的工作为制药行业的机器学习驱动的医疗查询分析铺平了道路，最终旨在改善患者护理。
2020-12-08 cs.CL cs.IR cs.LG
Neural Topic Model via Optimal Transport
Monash University（莫纳什大学）
近年来，受变分自编码器启发的神经主题模型（Neural Topic Models，NTMs）由于其在文本分析方面的良好效果而受到越来越多的关注。然而，它通常是很难为现有的NTMs，以实现良好的文件表示和一致/多样的主题在同一时间。此外，它们在短文档上的性能往往会严重下降。重新参数化的要求还可能包括其培训质量和模型灵活性。为了解决这些缺点，我们提出了一个新的神经主题模型通过最优传输（OT）理论。具体来说，我们建议通过直接最小化文档的单词分布的OT距离来学习文档的主题分布。重要的是，OT距离的成本矩阵对主题和词之间的权重进行建模，该权重由主题和词之间在嵌入空间中的距离构造。我们提出的模型可以有效地训练，具有可微损失。大量的实验表明，我们的框架显着优于国家的最先进的NTM发现更连贯和多样化的主题，并获得更好的文件表示为常规和短文本。
2022-05-31 cs.CL cs.IR cs.LG
Multi-view and Multi-source Transfers in Neural Topic Modeling with Pretrained Topic and Word Embeddings
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学（LMU））
虽然词嵌入和主题是互补的表示，但过去的一些工作仅在（神经）主题建模中使用预训练的词嵌入来解决短文本或小文档集合中的数据稀疏问题。然而，没有先前的工作采用（预先训练的潜在）的主题在迁移学习范例。在本文中，我们提出了一种方法（1）使用从大型源语料库中获得的潜在主题进行知识转移，以及（2）通过神经主题建模中的两种表示（或视图）联合转移知识，以提高主题质量，更好地处理目标语料库中的多义和数据稀疏问题。在此过程中，我们首先从一个或多个源语料库中积累主题和单词表示，以构建主题和单词向量池。然后，我们识别一个或多个相关的源域，并通过相应的池利用相应的主题和单词特征来指导稀疏目标域中的有意义的学习。我们量化的主题和文件表示的质量，通过泛化（困惑），可解释性（主题连贯性）和信息检索（IR）使用短文本，长文本，小型和大型的文件集，从新闻和医疗领域。我们已经证明了国家的最先进的结果主题建模与建议的框架。
2019-09-17 cs.CL cs.IR cs.LG
A Rule-Based Short Query Intent Identification System
TCS Innovation Labs-Mumbai（TCS创新实验室-孟买）；Tata Consultancy Services（塔塔咨询服务公司）
使用SMS（短消息系统），手机可以用来查询有关各种主题的信息。在基于SMS的搜索系统中，关键问题之一是识别与用户查询相关联的域（宽泛主题）;使得可以由域特定的搜索引擎执行更全面的搜索。在本文中，我们使用基于规则的方法，以确定域，称为短查询意图识别系统（SQIIS）。我们构造了两个不同的规则库，使用不同的策略，以适应查询意图识别。我们评估的两个规则库的实验。
2015-03-25 cs.AI cs.IR
Document Informed Neural Autoregressive Topic Models with Distributional Prior
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学）
我们解决了主题模型中的两个挑战：（1）单词周围的上下文信息有助于确定它们的实际含义，例如，在“人工神经网络“与“生物神经网络”的上下文中使用的“网络”。生成主题模型推断主题词分布，不考虑或只考虑很少的上下文。在这里，我们扩展了神经自回归主题模型，以语言建模的方式利用文档中单词周围的完整上下文信息。该模型被命名为iDocNADE。(2)由于单词出现的数量很小（即，由于短文本中缺乏上下文）以及少量文档的语料库中数据稀疏，主题模型的应用在此类文本上具有挑战性。因此，我们提出了一种简单有效的方法将外部知识纳入神经自回归主题模型：我们使用嵌入作为分布先验。所提出的变体被命名为DocNADEe和iDocNADEe。我们提出了新的神经自回归主题模型变体，这些变体在来自不同领域的7个长文本和8个短文本数据集的泛化性，可解释性（主题一致性）和适用性（检索和分类）方面始终优于最先进的生成主题模型。
2019-01-14 cs.AI cs.CL cs.IR
Improved Topic modeling in Twitter through Community Pooling
Instituto en Ciencias de la Computación, CONICET - Universidad de Buenos Aires（布宜诺斯艾利斯大学计算机科学研究所，CONICET）；Departamento de Computación, Universidad de Buenos Aires（布宜诺斯艾利斯大学计算机系）
社交网络在信息和新闻的传播中发挥着重要作用。描述消息内容对于不同的任务变得至关重要，例如突发新闻检测，个性化消息推荐，虚假用户检测，信息流描述等。然而，Twitter帖子很短，并且通常不如其他文本文档连贯，这使得有效地将文本挖掘算法应用于这些数据集具有挑战性。Tweet-pooling（将tweets聚合成较长的文档）已被证明可以提高自动主题分解，但此任务中实现的性能取决于池方法。在本文中，我们提出了一个新的池方案的主题建模在Twitter上，组推文的作者属于同一个社区（一组用户谁主要是相互作用，但不与其他群体）的用户交互图。我们提出了一个完整的评估这种方法，国家的最先进的计划和以前的池模型的聚类质量，文件检索任务的性能和监督机器学习分类得分。结果表明，我们的社区投票方法优于其他方法的大多数指标在两个异构数据集，同时也减少了运行时间。这在处理大量嘈杂和简短的用户生成的社交媒体文本时很有用。总的来说，我们的研究结果有助于改进识别Twitter数据集中潜在主题的方法，而不需要修改主题分解模型的基本机制。
2021-12-20 cs.IR cs.LG
textTOvec: Deep Contextualized Neural Autoregressive Topic Models of Language with Distributed Compositional Prior
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学）
我们解决了概率主题建模的两个挑战，以便更好地估计给定上下文中单词的概率，即，P（单词|上下文）：（1）语境中无语言结构：概率主题模型通过将给定的语境概括为“词袋”而忽略词序，因此语境中的词的语义丢失。LSTM-LM通过考虑局部搭配模式中的词序来学习每个单词的向量空间表示，并对语言的复杂特征（例如，语法和语义），而TM同时从整个文档中学习潜在表示并发现底层主题结构。我们通过结合TM（例如，DocNADE）和统一概率框架中的LM，命名为ctx-DocNADE。(2)有限的上下文和/或较小的文档训练语料库：在具有少量单词出现的设置中（即，缺乏上下文）或在少量文档的语料库中数据稀疏，TM的应用是具有挑战性的。我们通过语言建模方法将外部知识纳入神经自回归主题模型来应对这一挑战：我们使用词嵌入作为LSTM-LM的输入，旨在改善较小和/或短文本语料库上的词主题映射。建议的DocNADE扩展名为ctx-DocNADEe。我们提出了新的神经自回归主题模型变体，加上神经LM和嵌入先验，在泛化（困惑），可解释性（主题一致性）和适用性（检索和分类）方面始终优于最先进的生成TM，超过来自不同领域的6个长文本和8个短文本数据集。
2019-02-23 cs.AI cs.CL cs.IR
Leveraging web resources for keyword assignment to short text documents
检索与文档相关的关键词对于文档的高效检索、聚类和管理非常重要。特别是随着网络语料库充斥着数字文档，自动化这项任务是至关重要的。关键词分配是一个广泛的研究课题，它是指用关键词、关键短语或主题对文档进行标注。对于文本文档，关键字分配技术已经在两个子主题下发展：自动关键字提取（AKE）和自动关键短语抽象。然而，在文献中为全文文档开发的方法不能用于将关键字分配给低文本内容文档，如twitter提要、新闻剪辑、产品评论甚至短学术文本。在这项工作中，我们指出了在标记这些低文本内容的文档中遇到的几个实际挑战。作为这些挑战的解决方案，我们表明，所提出的方法，利用知识，从几个开源的网络资源，提高质量的标签（关键字）分配给低文本内容的文档。所提出的方法的性能进行了测试，在现实世界的语料库组成的学术文件的文本内容范围从只有文本的标题文件（5-10字）的摘要文本/摘要（100- 150字）。我们发现，所提出的方法不仅提高了关键字分配的准确性，但提供了一个计算效率高的解决方案，可用于现实世界中的应用。
2017-06-19 cs.DL cs.IR
Classifying Web Exploits with Topic Modeling
这篇简短的实证论文研究了主题建模和数据库元数据特征如何对公开披露的软件漏洞的Web和其他概念验证（proof-of-concept，缩写为EIP）利用进行分类。通过使用由超过36000个恶意攻击组成的数据集，在实证实验中获得了接近0.9的准确率。文本挖掘和主题建模是这种分类性能背后的重要推动因素。除了这些实证结果，本文有助于提高软件漏洞信息与文本挖掘的研究传统，也提供了一些学术意见的潜力，半自动分类的利用现有的跟踪基础设施。
2017-10-16 cs.CR cs.IR cs.SE
Twitter-Network Topic Model: A Full Bayesian Treatment for Social Network and Text Modeling
ANU（澳大利亚国立大学）；NICTA（澳大利亚国家信息通信技术研究院）
Twitter的数据非常嘈杂--每条推文都很短，没有结构，语言也不正式，这对当前的主题建模来说是一个挑战。另一方面，推文伴随着额外的信息，如作者，标签和用户追随者网络。利用这些额外的信息，我们提出了Twitter网络（TN）的主题模型，共同建模的文本和社会网络在一个完整的贝叶斯非参数的方式。TN主题模型采用分层泊松-狄利克雷过程（PDP）的文本建模和高斯过程随机函数模型的社会网络建模。我们表明，TN主题模型显着优于现有的几个非参数模型，由于其灵活性。此外，TN主题模型能够实现额外的信息推理，例如作者的兴趣，主题标签分析，以及导致进一步的应用，例如作者推荐，自动主题标签和主题标签建议。注意，我们的一般推理框架可以很容易地应用到其他主题模型嵌入PDP节点。
2016-09-22 cs.CL cs.IR cs.SI
A Data-driven Latent Semantic Analysis for Automatic Text Summarization using LDA Topic Modelling
University College London（伦敦大学学院）；Brunel University London（伦敦布鲁内尔大学）；Lancaster University（兰卡斯特大学）
本研究提出一种基于LDA主题建模与抽取式摘要的单文档和多文档自动摘要方法，并通过PyLDAvis可视化及LSA和ROUGE指标验证其可靠性与有效性。
2023-05-30 cs.IR cs.LG
Neural Topic Modeling with Continual Lifelong Learning
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学（LMU））
针对短文档数据稀疏导致主题建模效果不佳的问题，提出终身神经主题建模（LNTM）框架，通过共享生成同源和选择性数据增强等方法持续积累主题并减少灾难性遗忘，在困惑度、主题连贯性和信息检索上取得显著提升。
2023-06-27 cs.CL cs.IR cs.LG
A Survey on Neural Topic Models: Methods, Applications, and Challenges
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）
该综述系统梳理了神经主题模型（NTMs）的现有方法（按网络结构分类、覆盖多场景模型）、主流应用，点明其面临的挑战并配套论文资源仓库，为相关领域研究提供参考。
2024-06-24 cs.AI cs.CL cs.IR
TopicBERT: A Transformer transfer learning based memory-graph approach for multimodal streaming social media topic detection
University of Tabriz（大不里士大学）；Université du Littoral Côte D’Opale（滨海大学）
具有突发短消息的社交网络的实时的性及其各自的大数据规模分布在各种各样的主题中是许多研究者的研究兴趣。被称为大数据的5 'V的社交网络的这些属性导致了许多独特的和启发性的算法和技术应用于大型社交网络数据集和数据流。这些研究中的许多都是基于对热点话题和社交媒体事件的检测和跟踪，这些热点话题和社交媒体事件有助于揭示许多悬而未决的问题。这些算法和某些软件产品主要依赖于语言本身的性质。虽然，其他技术，如无监督数据采掘方法是语言无关的，但许多要求，一个全面的解决方案没有得到满足。许多研究问题，如嘈杂的句子，不利的语法和新的在线用户发明的话是具有挑战性的维护一个良好的社会网络主题检测和跟踪方法，词之间的语义关系，在大多数情况下，同义词也被许多这些研究忽视。在这项研究中，我们使用Transformers结合增量社区发现算法。Transformer一方面提供了不同语境中词与词之间的语义关系;另一方面，所提出的图挖掘技术增强了所产生的主题与简单的结构规则的援助。从多模态数据（图像和文本）中识别命名实体识别，用实体类型标记命名实体，并使用它们调整提取的主题。该系统的所有操作都应用于NoSQL技术下的大社会数据视角。为了提出一个有效的系统化解决方案，我们将MongoDB和Neo4j作为我们工作的两个主要数据库系统。该系统在三个不同的数据集上显示出更高的准确率和召回率。
2020-08-16 cs.CL cs.IR cs.LG
