Fast Clustering and Topic Modeling Based on Rank-2 Nonnegative Matrix Factorization
本文提出HierNMF2和FlatNMF2方法，利用秩2非负矩阵分解实现高效层次聚类和主题建模，实验表明在计算时间和解质量上均有显著提升。
2015-10-02 cs.IR cs.LG cs.NA
Unification of HDP and LDA Models for Optimal Topic Clustering of Subject Specific Question Banks
University of Bath（巴斯大学）
大学课程改革已成为一种越来越流行的趋势，使教学更具互动性，并适合于网络课程。在线课程越来越受欢迎，将导致学术界与课程有关的查询数量增加。这一点，再加上一个事实，即如果讲座是在视频点播格式提供，将没有固定的时间，其中大多数学生可以提出问题。当在讲座中提出问题时，重复出现类似问题的可能性可以忽略不计，但异步出现的可能性更大。为了减少回答每个问题所花费的时间，聚类是一个理想的选择。有不同的无监督模型适合文本聚类，其中潜在的Dirichlet分配模型是最常用的。我们使用分层狄利克雷过程来确定LDA模型运行的最佳主题数输入。由于这些主题模型的概率性质，它们的输出在不同的运行中会有所不同。我们发现的总体趋势是，在LDA模型的第一次运行中，并不是所有的主题都被用于聚类，这导致聚类效率较低。为了处理概率输出，我们递归地对正在使用的有效主题使用LDA模型，直到我们获得1的效率比。通过我们的实验结果，我们还建立了一个推理如何芝诺悖论是避免的。
2020-10-04 cs.CL cs.IR cs.LG
Topic Discovery via Latent Space Clustering of Pretrained Language Model Representations
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
主题模型是从文本语料库中自动发现主题的重要工具。尽管它们的有效性，主题模型遭受的几个限制，包括无法建模文档中的单词排序信息，将外部语言知识的困难，以及缺乏准确和有效的推理方法来近似棘手的后验。最近，预训练的语言模型（PLM）由于其出色的文本表示，为各种各样的任务带来了惊人的性能提升。有趣的是，还没有标准的方法来部署PLM进行主题发现，作为主题模型的更好的替代品。在本文中，我们首先分析了使用PLM表示的主题发现的挑战，然后提出了一个联合潜在空间学习和聚类框架建立在PLM嵌入。在潜在空间中，主题词和文档主题分布的联合建模，使发现的主题可以解释的连贯性和独特的条款，同时作为有意义的摘要的文件。我们的模型有效地利用了强大的表示能力和高超的语言特征所带来的PLM主题发现，是概念上比主题模型简单。在不同领域的两个基准数据集上，我们的模型生成的主题比强主题模型更加连贯和多样化，并基于自动和人工评估提供了更好的主题文档表示。
2022-02-09 cs.CL cs.IR cs.LG
Estimating the Effective Topics of Articles and journals Abstract Using LDA And K-Means Clustering Algorithm
本文结合LDA、K-Means聚类和WordNet提取期刊与文章摘要中的关键短语，以帮助研究者构建更准确的检索字符串并避免误解。
2025-08-22 cs.IR
No Pattern, No Recognition: a Survey about Reproducibility and Distortion Issues of Text Clustering and Topic Modeling
Institute of Mathematics and Computer Science（数学与计算机科学研究所）；University of São Paulo（圣保罗大学）；São Carlos School of Engineering（圣卡洛斯工程学院）；Institute of Informatics（信息学研究所）；Federal University of Goiás（戈亚斯联邦大学）
使用机器学习算法从未标记的文本中提取知识可能是复杂的。文档分类和信息检索是可以受益于无监督学习的两个应用（例如，文本聚类和主题建模），包括探索性数据分析。然而，无监督学习范式带来了可重复性问题。初始化可导致取决于机器学习算法的可变性。此外，在考虑簇几何形状时，失真可能会产生误导。在这些原因中，异常值和异常的存在可能是一个决定性因素。尽管初始化和离群值问题与文本聚类和主题建模相关，但作者没有找到对它们的深入分析。该调查提供了这些子领域的系统文献综述（2011-2022年），并提出了一个通用术语，因为类似的程序有不同的术语。作者描述了研究机会，趋势和开放的问题。附录总结了文本向量化、因子分解和聚类算法的理论背景，这些理论背景直接或间接地与所回顾的作品相关。
2022-08-02 cs.CL cs.IR cs.LG
DAPPER: Scaling Dynamic Author Persona Topic Model to Billion Word Corpora
University of Minnesota Twin Cities（明尼苏达大学双城分校）
从多作者动态文本语料库中提取共同叙述需要复杂的模型，例如动态作者角色（DAP）主题模型。然而，这样的模型是复杂的，并且可能难以扩展到大型语料库，通常是因为具有挑战性的非共轭术语。为了克服这些挑战，在本文中，我们适应新的想法近似推理的DAP模型，导致DAP执行超快速（DAPPER）的主题模型。具体来说，我们开发共轭计算变分推断（CVI）的基础上的变分期望最大化（EM）的学习模型，产生快速，封闭的形式更新每个文件，取代迭代优化在早期的工作。我们的研究结果表明，在模型拟合和训练时间方面有了显着的改进，而不需要损害模型的时间结构或正则化变化推理（RVI）的应用。我们通过从CaringBridge语料库中提取健康旅程来展示DAPPER模型的可扩展性和有效性-CaringBridge语料库是由20万名作者在健康危机期间撰写的900万份期刊的集合。
2018-11-03 cs.CL cs.IR cs.LG
PRISM: LLM-Guided Semantic Clustering for High-Precision Topics
New York University（纽约大学）；Binghamton University（宾汉姆顿大学）
PRISM结合LLM的丰富表示与低成本可解释的潜在语义聚类方法，通过稀疏LLM标签微调句子编码模型，提升主题分离度，适用于多语料库的高精度主题发现。
2026-04-03 cs.CL cs.IR cs.LG
Discovering Hidden Topical Hubs and Authorities in Online Social Networks
在在线社交网络中发现有影响力的用户是一个重要的问题，具有许多可能有用的应用。特别是，HITS和其他链接分析方法经常用于识别网络图和在线社交网络中的中心和权威用户。然而，这些作品在分析中没有考虑链接的主题方面。一个简单的方法来克服这一限制是首先应用主题模型来学习用户的主题，然后再应用HITS算法。在本文中，我们提出了一种新的主题模型称为枢纽和权威主题（HAT）模型结合这两个过程，以共同学习枢纽，权威和主题的兴趣。我们评估HAT对现有的几个国家的最先进的方法在两个方面：（i）建模的主题，和（ii）链接推荐。我们在Twitter和Instagram的两个真实世界的数据集上进行实验。我们的实验结果表明，HAT是国家的最先进的主题模型在学习主题，它优于国家的最先进的链接推荐任务。
2018-02-20 cs.IR cs.SI
Author-topic profiles for academic search
我们实现和评估了两个阶段的个性化学术搜索的检索方法，其中初始的搜索结果重新排名使用的作者主题配置文件。在学术搜索任务中，用户自己的数据可以帮助优化搜索结果的排名，以匹配搜索者的特定个人需求。作者主题配置文件由存储在图中的特定主题术语组成。我们重新排名前1000名检索到的文件使用十个功能，代表文档和作者主题图之间的相似性。我们发现，重新排序给出了一个小的，但显着的改进，从文献中复制的最佳方法。将配置文件存储为图形具有许多优点：它在节点和关系类型方面是灵活的;它是用户可解释的知识的可视化，并且它提供了查看单个节点的关系特征的可能性。
2018-04-30 cs.IR
A Bibliographic View on Constrained Clustering
Bangor University（班戈大学）
在Web-of-Science上对约束聚类进行关键字搜索，返回了不到3,000个文档。我们对这些论文进行了自动分析，并编制了我们自己的183篇论文的参考书目，我们根据它们的主题和实验研究（如果有的话）进行了更详细的分析。本文通过帕累托分析，使用引文计数和出版年份，介绍了该领域及其子主题的总体趋势。我们列出可用的软件和分析我们的参考集合的实验部分。我们发现明显缺乏大型比较实验。在我们回顾的主题中，应用研究最近最为丰富，还有深度学习，主动学习和集成学习。
2022-09-22 cs.IR cs.LG
Research Topic Flows in Co-Authorship Networks
University of Kassel（卡塞尔大学）
本文提出主题流网络（TFN）来量化合著网络中作者间的专业知识流动，利用多图和主题模型自动发现主题，并在宏观和微观尺度上分析主题间流动，实验验证了其有效性。
2022-06-16 cs.DL cs.IR cs.LG
Document Clustering based on Topic Maps
National University of Computer & Emerging Sciences（国家计算机与新兴科学大学）
文档聚类对于更好地管理、智能导航、高效过滤以及对像万维网（WWW）这样的大量文档进行简明摘要的重要性现在被研究人员广泛认可。下一个挑战在于基于文档的语义内容在语义上执行聚类。文档聚类的问题有两个主要组成部分：（1）以这样一种形式表示文档，该形式固有地捕获文本的语义。这也可以有助于降低文档的维度，以及（2）基于语义表示来定义相似性度量，使得其向具有较高语义关系的文档对分配较高的数值。文档的特征空间对于文档聚类来说是非常具有挑战性的。一个文档可能包含多个主题，它可能包含一个大的类独立的通用词集，和少数类特定的核心词。考虑到这些特点，传统的凝聚聚类算法，这是基于文档向量模型（DVM）或后缀树模型（STC），是效率较低的高聚类质量的结果。本文介绍了一种新的基于主题图表示的文档聚类方法。该文件正在被转换成一个紧凑的形式。提出了一种基于主题图数据和结构的相似性度量方法。建议的方法是使用凝聚层次聚类和测试标准的信息检索（IR）数据集。对比实验表明，该方法能有效地提高聚类质量.
2011-12-29 cs.AI cs.IR
Deep Autoencoder-based Fuzzy C-Means for Topic Detection
Universitas Indonesia（印度尼西亚大学）
主题检测是从文本数据集合中确定主题的过程。主题检测方法之一是基于聚类的方法，其假设质心是主题。聚类方法的优点是可以处理具有否定表示的数据。因此，聚类方法允许与更广泛的表示学习方法相结合。在本文中，我们采用深度学习通过使用深度自动编码器和模糊c均值（称为基于深度自动编码器的模糊c均值（DFCM））进行主题检测。自动编码器的编码器执行低维表示学习。模糊c均值对低维表示进行分组以识别质心。自动编码器的解码器将质心转换回原始表示，以解释为主题。我们的模拟表明，DFCM提高了基于特征空间的模糊c均值（EFCM）的一致性得分，并且与领先的标准方法，即，非负矩阵分解（NMF）或潜在狄利克雷分配（LDA）。
2021-02-02 cs.CL cs.IR cs.LG
Are topic-specific search term, journal name and author name recommendations relevant for researchers?
在本文中，我们描述了一项案例研究，其中社会科学研究人员（n=19）评估受控搜索词、期刊名称和作者姓名的主题相关性，这些搜索词、期刊名称和作者姓名已由文献计量增强信息检索（IR）服务自动编译。本文将这些基于文献计量学的信息检索服务分别称为检索词推荐服务（STR）、期刊名推荐服务（JNR）和作者名推荐服务（ANR）。在我们的研究中，研究人员（从业者，博士生和博士后）被要求评估每个推荐者对特定研究主题的前n个预处理推荐，这些主题是他们在实验前的采访中命名的。我们的研究结果清楚地表明，提出的检索词，期刊名称和作者姓名建议是高度相关的研究人员的主题，可以很容易地集成在数字图书馆的搜索。排名靠前的推荐的平均精度是作者姓名0.75，搜索词0.74，期刊名称0.73。相关性分布在不同的主题和研究人员类型之间存在很大差异。从业者似乎更喜欢推荐作者姓名，而博士后对作者姓名推荐的评价最低。在实验中，小博士后组（n=3）青睐期刊名称的建议。
2014-08-31 cs.DL cs.IR
MPTopic: Improving topic modeling via Masked Permuted pre-training
Dalhousie University（达尔豪斯大学）
针对BERTopic和Top2Vec聚类机制优化不足的问题，提出TF-RDF评估术语相关性并驱动MPTopic聚类算法，实验证明其主题关键词提取效果优于现有方法。
2023-09-02 cs.IR cs.LG
Effective Unsupervised Author Disambiguation with Relative Frequencies
GESIS - Leibniz-Institute for the Social Sciences（GESIS——莱布尼茨社会科学研究所）
这项工作解决了Web of Science中的作者姓名同名问题。为了寻求一种高效、简单、直接的解决方案，本文提出了一种基于特征重叠的概率相似性度量方法。使用的研究人员ID可用于一个子集的Web的科学，我们评估的情况下，凝聚聚类作者提到这一措施的应用。我们专注于一个简洁的评估，清楚地显示了哪些问题的设置和在聚类过程中，我们的方法最好的工作时间。在这一领域的大多数其他作品相比，我们对作者姓名消歧方法的性能一般持怀疑态度，并比较我们的方法平凡的单集群基线。我们的结果分别为每个正确的聚类大小，因为我们可以解释，当一起处理所有情况下，平凡的基线和更复杂的方法是很难区分的评估结果。我们的模型显示了所有正确的聚类大小的最先进的性能，没有任何区别性的训练和调整只有一个收敛参数。
2018-08-10 cs.CL cs.IR cs.LG
The Clustering of Author's Texts of English Fiction in the Vector Space of Semantic Fields
Ivan Franko Lviv National University（伊万·弗兰科利沃夫国立大学）
分析了文本在语义场向量空间和正交基语义空间中的聚类问题。结果表明，基于语义场的向量空间模型在英文小说作者文本聚类分析中是有效的。对作者语篇分布的聚类分析表明，存在着代表作者个人思想的语义空间区域。对语义场矩阵进行SVD分解，可以显著降低作者文本聚类分析中语义空间的维数。
2012-12-06 cs.CL cs.DL cs.IR
ComStreamClust: a communicative multi-agent approach to text clustering in streaming data
University of Tabriz（大不里士大学）；University of Bonab（博纳布大学）；Sharif University of Technology（谢里夫理工大学）
话题检测是确定和跟踪社交媒体中的热门话题的任务。Twitter可以说是人们与他人分享他们对不同问题的想法的最受欢迎的平台。其中一个普遍的问题是COVID-19疫情。检测和跟踪这类问题的主题将有助于政府和医疗保健公司应对这一现象。在本文中，我们提出了一种新的，多代理，通信聚类方法，所谓的ComStreamClust聚类子主题内的一个更广泛的主题，例如，新冠肺炎。该方法具有并行性，可以同时处理多个数据点。LaBSE句子嵌入用于度量两条推文之间的语义相似度。ComStreamClust已经在两个数据集上进行了评估：COVID-19和FA CUP。从ComStreamClust获得的结果批准所提出的方法相比，现有的方法的有效性。
2021-04-27 cs.CL cs.IR
Recommending Researchers in Machine Learning based on Author-Topic Model
本文的目的是揭示研究人员在机器学习使用作者主题模型（ATM）。我们从机器学习领域的六种顶级期刊上收集了1997年至2016年发表的16，855篇科学论文，并使用ATM对其进行分析。该数据集被分解为4个区间，以识别顶级研究人员，并使用他们的相似性得分找到相似的研究人员。相似性分数使用Hellinger距离计算。研究人员使用t-SNE绘制，它降低了数据的维度，同时保持点之间的距离相同。对我们研究的分析有助于即将到来的研究人员找到他们感兴趣领域的顶级研究人员。
2021-09-05 cs.IR
An improved semantic similarity measure for document clustering based on topic maps
一个主要的计算负担，而执行文档聚类，是一对文档之间的相似性度量的计算。相似性度量是一个函数，它根据文档之间的相似程度，为一对文档分配一个介于0和1之间的实数。值为零表示文档完全不相似，而值为1表示文档实际上相同。传统上，基于向量的模型已被用于计算文档相似度。基于向量的模型表示文档中存在的几个特征。这些方法的相似性措施，在一般情况下，不能占的语义文件。用人类语言编写的文档包含上下文，并且用于描述这些上下文的词语通常在语义上相关。受此启发，许多研究者提出了基于语义的相似性度量方法，即通过外部词库如WordNet（一个词汇数据库）进行文本注释。在本文中，我们定义了一个语义相似性度量的基础上表示的主题地图的文件。主题地图正迅速成为知识表示的工业标准，其重点是以后的搜索和提取。文档被转换成基于主题图的编码知识，并且一对文档之间的相似性被表示为共同模式（子树）之间的相关性。在文本挖掘数据集上的实验研究表明，与常用的文本聚类相似性度量方法相比，该方法具有更好的聚类效果。
2013-03-17 cs.IR
Generating automatically labeled data for author name disambiguation: An iterative clustering method
University of Michigan（密歇根大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
为了训练用于监督作者姓名消歧的算法，许多研究依赖于手工标记的真实数据，这些数据生成起来非常费力。本文表明，标记的训练数据可以自动生成的信息功能，如电子邮件地址，合著者的名字，并引用参考文献，可从出版记录。为此，使用外部权威数据库来决定用于匹配每个特征上的名称实例的高精度规则。然后，在目标歧义数据中选择名称实例进行基于规则的成对匹配过程。接下来，通过通用实体解析算法将它们合并到聚类中。聚类过程在其他特征上重复，直到进一步合并是不可能的。在228 K个作者姓名实例中的26，566个实例上进行测试，这种迭代聚类产生了精确标记的数据，成对F1 = 0.99。标记的数据代表人口数据的名称种族和共同消除歧义的名称组大小分布。此外，在标记数据上训练的机器学习算法消除了测试数据中的24 K个名称的歧义，成对F1 = 0.90 ~ 0.92。讨论了应用这种方法解决大规模学术数据中作者姓名歧义的几个挑战。
2021-02-05 cs.DL cs.IR cs.LG
Clustering Introductory Computer Science Exercises Using Topic Modeling Methods
Universidade Federal do Rio de Janeiro (UFRJ)（里约热内卢联邦大学）
手动确定一组问题中存在的概念是一个具有挑战性且耗时的过程。然而，这个过程是一个重要的步骤，而建模的虚拟学习环境，因为概念和问题之间的映射，使用掌握水平评估和推荐引擎是必需的。我们研究了无监督的语义模型（称为主题建模技术），以协助计算机科学教师在这项任务中，并提出了一种方法来转换计算机科学1教师提供的代码解决方案到有代表性的文本文件，包括代码结构信息。通过应用非负矩阵分解和潜在狄利克雷分配技术，我们提取问题之间的潜在关系，并使用外部数据集验证结果。我们认为，使用14所大学教授的数据学习的概念的可解释性，结果证实了六个语义连贯的集群使用当前的数据集。此外，这六个主题包括测试数据集中存在的主要概念，在归一化逐点互信息度量中达到0.75。该度量与人类评级相关，使得所提出的方法有用，并为大量未注释的代码提供语义。
2021-04-21 cs.CL cs.IR cs.LG
Clust-LDA: Joint Model for Text Mining and Author Group Inference
社交媒体语料库带来了独特的挑战和机遇，包括通常较短的文档长度和丰富的元数据，如作者特征和关系。这为系统分析庞大的用户群体创造了巨大的潜力，从而为有针对性的营销等工业战略提供了启示。在这里，我们提出了一种新的和统计原则的方法，clust-LDA，将作者身份结构的主题建模，从而完成的任务的主题推理的基础上，跨文件的作者身份，同时，作者之间的分组识别。我们开发了一个推理程序集群LDA和模拟数据上的表现，表明集群LDA优于“香草”LDA的主题识别任务，作者表现出独特的主题偏好。我们还展示了clust-LDA基于Reddit的真实社交媒体数据集的经验性能。
2018-10-05 cs.IR cs.SI stat.AP
Towards Full-Fledged Argument Search: A Framework for Extracting and Clustering Arguments from Unstructured Text
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
论元搜索的目的是识别自然语言文本中的论元。在过去，这个任务已经解决了关键字搜索和参数识别的句子或文档级别的组合。然而，现有的框架通常只解决参数搜索的特定组件，而不解决以下方面：（1）参数查询匹配：识别与实际搜索查询略有不同的主题框架的参数;（2）参数识别：识别由多个句子组成的参数;（3）参数聚类：通过主题方面选择检索到的参数。在本文中，我们提出了一个解决这些缺点的框架。我们建议（1）将关键词搜索与预先计算的主题聚类相结合进行参数-查询匹配，（2）应用一种新的方法，基于事件级序列标记进行参数识别，以及（3）基于主题感知的参数聚类向用户呈现聚合参数。我们在几个真实的辩论数据集上的实验表明，基于密度的聚类算法，如HDBSCAN，特别适合于参数查询匹配。通过我们的双水平，基于BiLSTM的序列标记方法，我们实现了0.71的宏观F1评分。最后，评估我们的参数聚类方法表明，细粒度的子主题的参数聚类仍然具有挑战性，但值得探索。
2021-11-30 cs.CL cs.IR
Topic Detection from Conversational Dialogue Corpus with Parallel Dirichlet Allocation Model and Elbow Method
School of Computer Science and Statistics, Trinity College Dublin, University of Dublin（都柏林大学圣三一学院计算机科学与统计学院）；ADAPT Centre, Trinity College Dublin, University of Dublin（都柏林大学圣三一学院ADAPT中心）
会话系统需要知道如何在主题之间切换，以便在更长的时间内继续会话。因此，从对话语料中检测话题已成为会话的一项重要任务，准确预测会话话题对于创建连贯和引人入胜的对话系统至关重要。本文提出了一种基于并行潜在狄利克雷分配（PLDA）模型的主题检测方法，该方法基于TF-IDF得分和词袋（BOW）技术对已知相似词进行聚类。在实验中，我们使用K-均值聚类与肘方法的解释和验证一致性的类内分析，以选择最佳的聚类数。我们通过与传统LDA和聚类技术的比较来评估我们的方法。实验结果表明，PLDA和肘方法相结合，选择最佳的集群数量和细化会话的主题。
2020-06-05 cs.CL cs.IR
jLDADMM: A Java package for the LDA and DMM topic models
The University of Melbourne（墨尔本大学）
在这份技术报告中，我们介绍了jLDADMM-一个用于传统主题模型的易于使用的Java工具包。jLDADMM的发布为普通或简短文本的主题建模提供了替代方案。它提供了潜在狄利克雷分配主题模型和每个文档一个主题的狄利克雷多项混合模型（即一元组的混合）的实现，使用了折叠吉布斯采样。此外，jLDAMM还提供了一个文档聚类评估来比较主题模型。jLDADMM是开源的，可从以下网址下载：https://github.com/datquocnguyen/jLDADMM
2018-08-11 cs.CL cs.IR cs.LG
Neural Embedding Allocation: Distributed Representations of Topic Models
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）；Atypon Systems（Atypon系统公司）
诸如skip-gram之类的词嵌入模型学习词的语义关系的向量表示，并且文档嵌入模型学习文档的类似表示。另一方面，主题模型提供了文档主题的潜在表示。为了同时获得这些表示的好处，我们提出了一种统一的算法，称为神经嵌入分配（NEA），它通过学习神经嵌入来模仿主题模型，将主题模型解构为单词，主题，文档，作者等的可解释向量空间嵌入。我们展示了NEA的LDA，作者主题模型和最近提出的混合成员跳克主题模型的有效性和通用性，并实现了更好的性能与嵌入相比，几个国家的最先进的模型。此外，我们证明，使用NEA平滑的主题，提高了一致性分数超过原来的主题模型时，主题的数量是大的。
2019-09-10 cs.CL cs.IR cs.LG
Contextualization of topics - browsing through terms, authors, journals and cluster allocations
本文建立在一个创新的信息检索工具，Ariadne。该工具是作为大型书目数据库的交互式网络可视化和浏览工具开发的。它基本上允许通过将搜索查询上下文化来获得对主题的洞察（Koopman等人，2015）。在本文中，我们将Ariadne工具应用于天文学和天体物理学中的111，616个文档的小得多的数据集。这些数据被标记为柏林数据集，已被多个研究团队用于应用和比较不同的聚类算法。这个团队工作的追求是如何界定主题。本文以两种不同的方式应对这一挑战。首先，我们生成一个不同的集群解决方案，其次，我们使用Ariadne（它背后的方法和接口-称为LittleAriadne）来显示不同组成员的集群解决方案。通过提供一个工具，允许视觉检查的相似性的文章集群产生不同的算法，我们提出了一个互补的方法，其他可能的比较手段。更具体地说，我们讨论了如何与LittleAriadne一起浏览柏林数据集中的主题术语，作者，期刊和集群解决方案的网络，并比较集群解决方案以及查看它们的上下文。
2015-04-16 cs.DL cs.IR
LITA: An Efficient LLM-assisted Iterative Topic Augmentation Framework
Department of Biomedical Informatics & Data Science, Yale University（生物医学信息学与数据科学系，耶鲁大学）；Department of Information Management, National Sun Yat-sen University（信息管理系，National Sun Yat-sen University）
提出LITA框架，结合用户种子词、嵌入聚类与LLM迭代细化，低成本提升主题建模质量，实验优于五种基线模型。
2025-05-22 cs.AI cs.CL cs.IR
Clustering students' open-ended questionnaire answers
开放式回答在教育数据采掘和智能辅导系统中形成了丰富但未充分利用的信息源。其中一个主要的障碍是很难自动聚类短文本。在本文中，我们研究的问题聚类自由形式的问卷答案。我们提出了比较实验聚类10套开放的反应，从英语和芬兰语的课程反馈查询。我们还评估了如何从聚类中提取的主要主题与HITS算法。主要结果是，对于英语数据，尽管频繁的离群值和真实聚类之间的相当大的重叠，亲和传播表现良好。然而，对于芬兰的数据，性能较差，没有一种方法明显优于其他方法。同样，主题提取是非常成功的英语数据，但只有令人满意的芬兰数据。最有趣的发现是，词干处理实际上会显著降低聚类质量。
2018-09-19 cs.IR
Learning Reputation in an Authorship Network
Télécom ParisTech（巴黎高等电信学院）
在特定学术领域寻找专家的问题在工业界和学术界都非常重要。我们研究的正是这个问题的作者和他们的出版物的数据库。其思想是使用潜在语义索引（LSI）和潜在狄利克雷分配（LDA）来执行主题建模，以便找到在查询领域工作过的作者。然后，我们构建了一个合著图，并激励使用的影响最大化和各种图形中心的措施，以获得排名的专家名单。使用基于马尔可夫链的排名聚合方法进一步改进排名列表。完整的方法很容易扩展到大型数据集。为了证明这种方法的有效性，我们使用Arnetminer数据集报告了一组广泛的计算模拟。平均平均精度的提高证明了简单地使用主题模型发现的作者的顺序的基线情况。
2013-11-25 cs.IR cs.LG cs.SI
Twitter-Network Topic Model: A Full Bayesian Treatment for Social Network and Text Modeling
ANU（澳大利亚国立大学）；NICTA（澳大利亚国家信息通信技术研究院）
Twitter的数据非常嘈杂--每条推文都很短，没有结构，语言也不正式，这对当前的主题建模来说是一个挑战。另一方面，推文伴随着额外的信息，如作者，标签和用户追随者网络。利用这些额外的信息，我们提出了Twitter网络（TN）的主题模型，共同建模的文本和社会网络在一个完整的贝叶斯非参数的方式。TN主题模型采用分层泊松-狄利克雷过程（PDP）的文本建模和高斯过程随机函数模型的社会网络建模。我们表明，TN主题模型显着优于现有的几个非参数模型，由于其灵活性。此外，TN主题模型能够实现额外的信息推理，例如作者的兴趣，主题标签分析，以及导致进一步的应用，例如作者推荐，自动主题标签和主题标签建议。注意，我们的一般推理框架可以很容易地应用到其他主题模型嵌入PDP节点。
2016-09-22 cs.CL cs.IR cs.SI
Towards an Author-Topic-Term-Model Visualization of 100 Years of German Sociological Society Proceedings
GESIS - Leibniz Institute for the Social Sciences（GESIS-莱布尼茨社会科学研究所）
作者共引研究采用因子分析将高维共引矩阵降低为低维和可能可解释的因子，但这些研究不使用出版物正文中的任何信息。我们假设术语频率可能为科学计量分析提供有用的信息。在我们的工作中，我们问，如果单词功能与贝叶斯分析相结合，允许有充分根据的科学映射研究。这项工作可以追溯到Mosteller和Wallace（1964）使用词频特征和贝叶斯推理方法进行统计文本分析的根源，尽管目标不同。为了回答我们的研究问题，我们（i）介绍了一个新的数据集上进行的实验，（ii）描述了贝叶斯模型的推理和（iii）目前的第一个分析结果。
2013-05-06 cs.CL cs.DL cs.IR
Topics in Contextualised Attention Embeddings
University of Essex（埃塞克斯大学）；University of Southampton（南安普顿大学）
通过预先训练的语言模型获得的上下文化的词向量编码已经在应用中被利用的各种知识。这些语言模型的补充是概率主题模型，它从文本中学习主题模式。最近的工作已经表明，进行聚类的词级上下文表示从语言模型模仿词集群中发现的潜在主题的词从潜在狄利克雷分配。重要的问题是，当语言模型没有被明确设计为对潜在主题进行建模时，如何通过聚类在该语言模型中自动形成这样的主题词聚类。为了解决这个问题，我们设计了不同的探针实验。使用BERT和DistilBERT，我们发现注意力框架在建模这样的词主题集群中起着关键作用。我们坚信我们的工作为进一步研究概率主题模型和预训练语言模型之间的关系铺平了道路。
2023-01-11 cs.CL cs.IR
A fast and integrative algorithm for clustering performance evaluation in author name disambiguation
作者姓名消歧的结果通常通过测量来评估，例如K-metric，Pairwise-F，Splitting & Lumping Error和B-cubed。虽然这些措施有独特的评估方案，本文表明，它们可以在一个单一的框架中计算的一组共同的步骤，比较真理和预测的集群，通过两个哈希表记录信息的名称实例，其预测的集群索引和频率的这些索引每个真理集群。这种集成计算大大减少了计算运行时间，这是可扩展的集群任务，涉及数百万的名称实例在几秒钟内。在集成过程中，B立方和K度量显示，产生相同的精度和召回分数。特别是在这个框架中，Pairwise-F的名称实例对使用启发式计算，在快速计算方面超过了最先进的算法。结合实例和伪代码详细描述了综合计算的细节，以帮助学者方便地实现各项措施，并验证实现的正确性。综合计算将帮助学者比较多个措施的异同，然后选择最能表征其消歧方法聚类性能的措施。
2021-02-05 cs.DB cs.DL cs.IR
Content-driven, unsupervised clustering of news articles through multiscale graph partitioning
Imperial College London（帝国理工学院）
全球各地产生的新闻和新闻内容数量激增，加上通过在线媒体广泛和即时获取信息，使得实时的监测新闻动态和舆论形成变得困难和耗时。现在越来越需要能够对原始文本进行预处理、分析和分类的工具，以提取可解释的内容;具体而言，就是确定主题和按内容对文章进行分组。我们在这里提出了这样一种方法，它将来自自然语言处理的强大向量嵌入与来自图论的工具结合在一起，这些工具利用图上的扩散动态来揭示跨尺度的自然分区。我们的框架使用最近的深度神经网络文本分析方法（Doc 2 vec）来表示矢量形式的文本，然后应用多尺度社区发现方法（马尔可夫稳定性）来划分文档矢量的相似性图。该方法允许我们以无监督的方式获得具有相似内容的文档集群，以不同的分辨率级别。我们展示了我们的方法，分析了Vox Media一年多来发表的9,000篇新闻文章的语料库。我们的研究结果表明，一致的分组的文件，根据内容，没有先验假设的数量或类型的集群被发现。多级聚类揭示了一个准层次结构的主题和子主题，提高了可理解性和改进的主题一致性相比，外部分类服务和标准的主题检测方法。
2018-08-03 cs.CL cs.IR cs.LG
TaxoCom: Topic Taxonomy Completion with Hierarchical Discovery of Novel Topic Clusters
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）；Pohang University of Science and Technology（浦项科技大学）
主题分类表示文档集合的潜在主题（或类别）结构，在诸如Web搜索和信息过滤的许多应用中提供有价值的内容知识。近年来，一些无监督的方法已经发展到自动构建的主题分类从文本语料库，但它是具有挑战性的，没有任何先验知识生成所需的分类。在本文中，我们研究了如何利用部分（或不完整）的主题结构的信息作为指导，以找出完整的主题分类。我们提出了一个新的框架，主题分类完成，命名为TaxoCom，递归扩展的主题分类发现新的子主题集群的条款和文件。为了有效地识别分层主题结构中的新主题，TaxoCom将其嵌入和聚类技术设计为彼此紧密联系：（i）局部判别嵌入优化文本嵌入空间，使其在已知（即，给定）子主题，以及（ii）新颖性自适应聚类将术语分配到已知子主题或新颖子主题中的任一个中。我们在两个真实数据集上的综合实验表明，TaxoCom不仅在术语一致性和主题覆盖率方面生成高质量的主题分类，而且在下游任务中优于所有其他基线。
2022-01-19 cs.AI cs.IR
Review of Clustering-Based Recommender Systems
推荐系统是机器学习中最常用的方法之一，在从经济学到物联网的许多领域都有应用。本文提供了一个一般性的概述现代推荐系统的设计方法，使用聚类作为一个初步的步骤，以提高整体性能。使用聚类可以解决推荐系统中的几个已知问题，包括增加推荐的多样性，一致性和可靠性;用户偏好矩阵的数据稀疏性;以及用户偏好随时间的变化。这项工作将是有用的初学者在推荐系统领域和专家在相关领域有兴趣研究推荐系统的适用性。这篇评论的重点是分析的科学文献的主题推荐系统和聚类模型，近年来出现的，并包含一个有代表性的清单，为进一步探讨这一主题的文献。在第一部分中，简要介绍了所谓的经典或传统的推荐算法，以及聚类问题的概述。
2021-09-27 cs.IR
Mapping Researcher Activity based on Publication Data by means of Transformers
Deggendorf Institute of Technology（代根多夫应用技术大学）
本研究利用Transformer架构的预训练语言模型BERT处理本地出版物数据库，通过论文编码聚类构建科研主题全景，定义作者相似度及自相似度指标，实现研究者研究活动的图谱化分析。
2023-06-15 cs.CL cs.DL cs.IR
Graph-Community Detection for Cross-Document Topic Segment Relationship Identification
Instituto Superior Técnico（高等技术学院）；Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出了一个图-社区发现的方法来识别跨文档的关系，在主题段的水平。给定一组相关文档，我们通过聚类具有相似内容（主题）的片段来自动找到这些关系。在这种情况下，我们研究了不同的权重机制如何影响发现的单词社区，涉及到不同的主题中发现的文件。最后，我们测试了不同的映射函数来分配主题段到单词社区，确定哪些主题段被认为是等价的。通过执行此任务，可以实现高效的多文档浏览，因为当用户在一个文档中找到相关内容时，我们可以提供对其他文档中类似主题的访问。我们在两个不同的场景中部署我们的方法。一个是教育场景，需要在学习材料之间找到对等关系;另一个是社会背景下的一系列对话，学生讨论常见的话题。结果表明，我们提出的方法更好地发现等价关系的学习材料的文件，并在社会语音领域，其中表现最好的方法是聚类技术，获得了接近的结果。
2016-06-13 cs.CL cs.IR cs.SI
Batch Clustering for Multilingual News Streaming
BNP Paribas AI（法国巴黎银行人工智能部门）
如今，数字新闻文章被广泛使用，由各种编辑发布，并且通常以不同的语言编写。这种大量的、多样的、无组织的信息使人类阅读变得非常困难，甚至几乎不可能。这导致需要能够将大量多语言新闻安排到故事中的算法。为此，我们扩展了以前的工作主题检测和跟踪，并提出了一个新的系统的灵感来自newsLens。我们每批处理文章，寻找单语本地主题，然后跨时间和语言链接。在这里，我们介绍了一种新颖的“重播”策略，将单语本地主题链接到故事中。此外，我们提出了新的微调多语言嵌入使用SBERT创建跨语言的故事。我们的系统给出了西班牙语和德语新闻数据集上的单语最先进的结果，以及英语，西班牙语和德语新闻的跨语言最先进的结果。
2020-04-17 cs.CL cs.IR
User Clustering in Online Advertising via Topic Models
Turn Inc.（Turn公司）；Yahoo! Labs（雅虎研究院）
在在线广告领域，我们的目标是为访问某个网页的用户提供最好的广告，以最大限度地提高该用户在看到广告后执行所需操作的机会。虽然有可能为每个用户生成不同的预测模型以告知他/她是否将对给定的广告采取行动，但是预测结果通常将是非常不可靠的，具有巨大的方差，因为期望的动作是极其稀疏的，并且用户的集合是巨大的（数亿）并且极其不稳定，即，每天都有很多新用户被引入，或者不再有效。在本文中，我们的目标是提高准确性，找到用户谁将执行所需的动作，通过分配给每个用户到一个集群，其中集群的数量远小于用户的数量（数百）。如果每个用户的事件历史记录相似，则他们将与另一个用户属于同一个集群。为此，我们修改的概率潜在语义分析（pLSA）模型，假设独立的用户和集群ID，给定的历史事件。这个假设帮助我们识别新用户的集群，而无需重新聚类所有用户。我们提出的算法，我们采用的细节，以及Hadoop上的分布式实现，和一些初步的结果，由算法生成的集群。
2015-02-24 cs.AI cs.IR
Qualitative Insights Tool (QualIT): LLM Enhanced Topic Modeling
Amazon（亚马逊）
提出QualIT方法，将LLM与基于聚类的主题建模相集成，利用LLM的上下文理解和语言生成能力，在新闻语料库上显著提升了主题连贯性与多样性。
2024-09-24 cs.CL cs.IR
A Manifold-Aware Topic Modeling Approach via Rank-Based Prototypes
State University of São Paulo (UNESP)（圣保罗州立大学）
提出免训练的MARETopic框架，通过基于秩的原型选择在流形上发现主题，无需梯度更新即可在多个基准上提升纯度和NMI，并加速运行。
2026-10-05 cs.AI cs.CL cs.IR
PDC -- a probabilistic distributional clustering algorithm: a case study on suicide articles in PubMed
National Library of Medicine, National Institutes of Health（美国国立卫生研究院国家医学图书馆）
鉴于信息量不断增加，必须以便于人类理解的方式组织大量信息。在这项工作中，我们提出了PDC（概率分布聚类），一种新的算法，给定一个文档集合，计算不相交的术语集，代表主题的集合。该算法依赖于词同现的概率来划分出现在文档集合中的术语集合为不相交的相关术语组。在这项工作中，我们还提出了一个环境，可视化的计算主题的术语空间和检索最相关的PubMed文章的每一组术语。我们通过将其应用于关于自杀主题的PubMed文档来说明该算法。自杀是一个主要的公共卫生问题，被确定为美国第十大死亡原因。在这个应用程序中，我们的目标是提供有关自杀主题的心理健康文献的全球视野，并通过此，帮助创建一个多方面数据的丰富环境，以指导医疗保健研究人员努力更好地了解问题的广度，深度和范围。我们证明了所提出的算法的有用性，通过提供一个门户网站，让心理健康研究人员仔细阅读自杀相关的文献在PubMed。
2019-12-04 cs.CL cs.IR
