Spherical Wards clustering and generalized Voronoi diagrams
Jagiellonian University（雅盖隆大学）
高斯混合模型在许多实际问题中有着广泛的应用。然而，它不能直接推广到非欧几里德空间。为了克服这个问题，我们提出了一个球形高斯为基础的聚类方法划分数据集的任意相异性措施。所提出的方法是一个球交叉熵聚类与广义Wards方法相结合。该算法通过自动删除不携带信息的组来找到最佳的聚类数。此外，它是尺度不变的，并允许形成任意大小的球形簇。为了图形化地表示和解释结果，将沃罗诺伊图的概念推广到非欧空间，并应用于引入聚类方法。
2017-05-04 cs.LG
Document Image Coding and Clustering for Script Discrimination
University of Belgrade（贝尔格莱德大学）；University of Calabria（卡拉布里亚大学）；College of Applied Technical Sciences（应用技术学院）
本文介绍了一种新的文本识别方法。该文档被映射为数值的统一编码文本。它是根据字母在文本行中的位置，基于它们的印刷特征而得出的。每个代码被认为是一个灰度级。因此，编码文本确定1-D图像，在该1-D图像上通过游程长度统计和局部二进制模式执行纹理分析。它定义了表示文档的脚本内容的特征向量。一种改进的聚类方法，采用文档特征向量组的文件写在同一个脚本。在两个自定义的面向数据库的历史文件在旧西里尔文，角和圆形格拉哥里以及Antiqua和Fraktur脚本上进行的实验证明了所提出的方法相对于众所周知的方法在国家的最先进的优越性。
2016-09-21 cs.AI cs.CL cs.CV
A Fuzzy Based Approach to Text Mining and Document Clustering
Indian Institute of Technology-Kharagpur（印度理工学院卡尔哈普尔分校）；VIT University（VIT大学）
模糊逻辑处理真实度。在本文中，我们已经展示了如何应用模糊逻辑在文本挖掘，以执行文档聚类。我们举了一个文档聚类的例子，其中文档必须被聚类为两个类别。该方法包括清理文本和词干。然后，我们选择了m个特征，这些特征在属于这两个聚类的文档之间的词频（WF）（通过文档长度进行归一化）中存在显著差异。将待聚类的文档表示为m个归一化WF值的集合。模糊c均值（FCM）算法被用来聚类这些文档分为两类。FCM执行完成后，分析两个聚类中的文档各自的m特征值。众所周知，属于某个文档类型（比如X）的文档对于某些特定的特征往往具有更高的WF值。如果属于一个簇的文档对于这些相同的特征具有更高的WF值，则该簇被称为代表X。通过模糊逻辑，我们不仅可以得到聚类名称，而且还可以得到文档属于某个聚类的程度。
2013-06-06 cs.IR cs.LG
Proposition-Level Clustering for Multi-Document Summarization
Bar-Ilan University（巴伊兰大学）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
文本聚类方法传统上被纳入多文档摘要（MDS）作为一种手段，以应付相当大的信息重复。特别是，利用聚类来指示信息的显著性以及避免冗余。这样的现有方法集中于聚类句子，即使紧密相关的句子通常也包含不对齐的部分。在这项工作中，我们重新审视聚类方法，将子系统命题分组在一起，旨在实现更精确的信息对齐。具体来说，我们的方法检测显着的命题，聚类成释义集群，并生成一个代表性的句子，通过文本融合每个集群。我们的摘要方法在DUC 2004和TAC 2011数据集中改进了以前最先进的MDS方法，无论是在自动ROUGE评分还是人类偏好方面。
2022-05-19 cs.CL cs.LG
Vec2GC -- A Graph Based Clustering Method for Text Representations
Robert Bosch Research and Technology Center（罗伯特·博世研究与技术中心）
本文提出端到端聚类算法 Vec2GC，通过文本表示学习构建加权图并进行社区检测，实现对词项或文档的基于密度且支持层次的聚类。
2023-04-12 cs.IR cs.LG
Rough Sets for Explainability of Spectral Graph Clustering
Institute of Computer Science of Polish Academy of Sciences（波兰科学院计算机科学研究所）；Polish-Japanese Academy of Information Technology（波兰-日本信息科技学院）
本文提出利用粗糙集理论提升谱图聚类结果的可解释性，解决嵌入谱空间导致的解释困难及噪声数据影响问题。
2026-03-13 cs.AI cs.LG
Amharic Text Clustering Using Encyclopedic Knowledge with Neural Word Embedding
在这个数字时代，几乎在每个学科中，人们都在使用自动化系统，这些系统生成以不同自然语言的文档格式表示的信息。因此，人们对寻找、组织和分析这些文档的更好解决方案越来越感兴趣。在本文中，我们提出了一个系统，集群阿姆哈拉语文本文件使用百科知识（EK）与神经词嵌入。EK使相关概念的表征和神经词嵌入允许我们处理的相关性的上下文。在聚类过程中，所有的文本文件通过预处理阶段。通过EK映射和词嵌入模型，从每个文档中提取丰富的文本文档特征。生成TF-IDF加权特征向量。最后，使用流行的球形K-means算法对文本文档进行聚类。所提出的系统进行了测试，阿姆哈拉语文本语料库和阿姆哈拉语维基百科数据。测试结果表明，使用EK与词嵌入的文档聚类提高了平均精度比单独使用EK。此外，改变类的大小对准确性有很大影响。
2022-09-22 cs.CL cs.LG
Which Clustering Do You Want? Inducing Your Ideal Clustering with Minimal Feedback
University of Texas at Dallas（德克萨斯大学达拉斯分校）
虽然传统的文本聚类研究主要集中在按主题对文档进行分组，但可以想象，用户可能希望根据其他维度（例如作者的情绪、性别、年龄或情感）对文档进行聚类。在不知道用户意图的情况下，聚类算法将仅沿着最突出的维度对文档进行分组，这可能不是用户期望的维度。为了解决沿用户所需的维度聚类文档的问题，以前的工作集中在学习的相似性度量，从数据手动注释与用户的意图，或有一个人在聚类过程中以交互的方式构建一个特征空间。为了减少对人类知识的依赖，以微调相似性函数或选择这些方法所需的相关功能，我们提出了一种新的主动聚类算法，它允许用户轻松地选择她想要通过只检查少量的单词来聚类文档的维度。我们证明了我们的算法在各种常用的情感数据集上的可行性。
2014-01-16 cs.CL cs.IR cs.LG
Classification and Clustering of arXiv Documents, Sections, and Abstracts, Comparing Encodings of Natural and Mathematical Language
University of Konstanz（康斯坦茨大学）；University of Wuppertal（伍珀塔尔大学）；FIZ Karlsruhe（卡尔斯鲁厄专业信息中心）；George Washington University（乔治华盛顿大学）
在本文中，我们将展示如何选择和结合编码的自然和数学语言影响分类和聚类的文件与数学内容。我们通过使用arXiv预印本服务器中的文档、章节和摘要集来证明这一点，这些文档、章节和摘要都是按其主题类（数学、计算机科学、物理等）标记的。比较文本和公式的不同编码，并评估所选分类和聚类算法的性能和运行时间。我们的编码实现分类精度高达$82.8\%$和集群纯度高达$69.4\%$（集群的数量等于类的数量），和$99.9\%$（未指定的集群数量）分别。我们观察到文本和数学相似性之间的相关性相对较低，这表明文本和公式的独立性，并激励将它们作为文档的单独特征。可以采用分类和聚类，例如，用于文档搜索和推荐。此外，我们表明，计算机在分类文档时优于人类专家。最后，我们评估和讨论多标签分类和公式语义。
2020-05-22 cs.CL cs.DL cs.IR
Improving Image Clustering using Sparse Text and the Wisdom of the Crowds
Claremont Graduate University（克莱蒙特研究生大学）；Naval Air Warfare Center（海军空战中心）；Claremont McKenna College（克莱蒙特·麦肯纳学院）
我们提出了一种方法来提高图像聚类使用稀疏文本和群众的智慧。特别是，我们提出了一种方法来融合两种不同类型的文档特征，图像和文本特征，并使用一个共同的字典或“群众的智慧”作为两种不同类型的文档之间的连接。与建议的融合矩阵，我们使用主题建模通过非负矩阵分解聚类文件。
2014-05-08 cs.CV cs.LG
Accessing accurate documents by mining auxiliary document information
Christ University Faculty of Engineering（基督大学工程学院）
早期的文本挖掘技术包括k-means，Naive Bayes，SVM等算法，这些算法对文本文档进行分类和聚类，以挖掘文档的相关信息。改进挖掘技术的需要使我们使用可用的算法来搜索技术。本文提出了一种技术，它使用的辅助信息，是存在于文本文档中，以提高挖掘。该辅助信息可以是对内容的描述。这些信息可能对挖矿有用，也可能完全无用。在考虑使用这种技术进行文本挖掘之前，用户应该评估辅助信息的价值。本文结合经典的聚类算法对数据集进行挖掘。该算法分两个阶段运行，在不同的抽象层次上进行挖掘。然后，将根据必要的类别对分组文件进行分类。所提出的技术是针对改进的结果，文档聚类。
2016-04-15 cs.AI cs.IR cs.LG
Learning Features and their Transformations by Spatial and Temporal Spherical Clustering
University of Memphis（孟菲斯大学）
学习对数据中的任意变换不变的特征是任何生物或人工识别系统的要求。现在人们普遍认为，初级视觉皮层中的简单细胞对特征做出反应，而复杂细胞对不同变换不变的特征做出反应。我们提出了一种新的两层前馈神经模型，它通过空间球形聚类学习第一层中的特征，通过时间球形聚类学习第二层中的变换不变性。学习以在线和无监督的方式发生，遵循Hebbian规则。当暴露于安装在猫头上的摄像头获取的自然视频时，我们模型中的第一层和第二层神经元会产生简单和复杂的细胞样感受野特性。该模型可以通过学习第一层神经元之间的横向连接来进行预测。它们的空间特征的地形图通过在第一层中从一个神经元到另一个神经元的距离指数衰减激活流而出现，这些神经元在时间上非常接近，从而在特征学习的同时以在线方式最小化池化长度。
2013-08-10 cs.AI cs.CV cs.LG
Dimension Reduction via Sum-of-Squares and Improved Clustering Algorithms for Non-Spherical Mixtures
MIT University of Washington EPFL（麻省理工学院 华盛顿大学 EPFL）
提出基于平方和方法的降维子程序，实现非球形高斯混合物的高效聚类，显著降低样本和时间的维度依赖。
2026-06-01 cs.DS cs.LG stat.ML
Spectral clustering on spherical coordinates under the degree-corrected stochastic blockmodel
Imperial College London（伦敦帝国理工学院）；University of Bristol（布里斯托尔大学）
谱聚类是网络图中社区检测的一种流行方法：从图的矩阵表示开始，节点被聚类到从矩阵的截断谱分解获得的低维投影上。正确估计谱聚类算法中的社区数和缩减后的潜在空间维数是保证算法性能的关键。此外，许多现实世界的图，如在网络安全应用中研究的企业计算机网络，经常显示异构的社区内度分布。这样的异构度分布通常不能很好地捕捉标准谱聚类算法。在本文中，提出了一种新的谱聚类算法的度校正随机块模型下的社区检测。所提出的方法是基于变换的谱嵌入球坐标，和一个新的建模假设在变换空间。该方法允许同时和自动选择社区的数量和潜在的维度谱嵌入的图与不均匀的节点度。结果表明，在代表计算机网络的竞争方法的性能有所改善。
2021-09-08 cs.LG stat.ML
Sequential Embedding Induced Text Clustering, a Non-parametric Bayesian Approach
State University of New York at Buffalo（纽约州立大学布法罗分校）；University of California, Irvine（加州大学欧文分校）
当前最先进的非参数贝叶斯文本聚类方法通过词袋上的多项分布对文档进行建模。虽然这些方法可以有效地利用文档的单词突发性表示，并取得不错的性能，但它们没有探索文本的顺序信息和同义词之间的关系。本文将文档建模为词袋、序列特征和词嵌入的结合点。我们提出了顺序嵌入诱导狄利克雷过程混合模型（SiDPMM），有效地利用这种联合文档表示文本聚类。序列特征由编码器-解码器组件提取。通过连续词袋模型（CBOW）产生的词嵌入来处理同义词。实验结果表明，我们的模型在两个主要方面的好处：1）提高了性能在多个不同的文本数据集的归一化互信息（NMI）; 2）更准确的推理地面真理的聚类数与正则化效果的微小离群聚类。
2018-11-29 cs.IR cs.LG stat.ML
Document clustering with evolved multiword search queries
Sheffield Hallam University（谢菲尔德哈勒姆大学）；University College London（伦敦大学学院）；University of Brighton（布莱顿大学）
本文提出用演化搜索查询进行文档聚类，通过优化查询减少重叠，并结合KNN分配未匹配文档，在8个数据集上取得最高准确率，同时兼具可解释性与可修改性。
2025-02-24 cs.IR cs.LG cs.NE
Extractive text summarisation of Privacy Policy documents using machine learning approaches
University of Edinburgh（爱丁堡大学）
本研究针对隐私政策文档抽取式摘要任务，提出基于GDPR核心主题的预定义质心聚类模型，经评估其表现优于通用K-means模型，验证了无监督模型任务微调的有效性，可拓展用于隐私政策合规检测。
2024-04-09 cs.CL cs.LG
World Knowledge as Indirect Supervision for Document Clustering
Peking University（北京大学）；Hong Kong University of Science and Technology（香港科技大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
使学习协议在应用程序中成为现实的关键障碍之一是需要监督它们，这是一个昂贵的过程，通常需要聘请领域专家。我们认为框架使用世界知识作为间接监督。世界知识是通用的知识，它不是为任何特定领域设计的。如何使世界知识适应领域，以及如何表示它以供学习，是关键的挑战。在本文中，我们提供了一个例子，使用世界知识的领域相关的文档聚类。我们提供了三种方法来指定的世界知识的领域，通过解决的实体和它们的类型的二义性，并表示与世界知识的数据作为一个异构的信息网络。然后，我们提出了一个聚类算法，可以聚类多个类型，并将子类型的信息作为约束。在实验中，我们使用两个现有的知识库作为我们的世界知识的来源。一个是Freebase，它是关于实体及其组织的协作收集的知识。另一个是YAGO2，一个从维基百科自动提取的知识库，将知识映射到语言知识库WordNet。在两个文本基准数据集（20个新闻组和RCV 1）上的实验结果表明，引入世界知识作为间接监督，可以显著优于现有的聚类算法和基于世界知识特征的聚类算法.
2016-07-30 cs.CL cs.IR cs.LG
Semantic Term "Blurring" and Stochastic "Barcoding" for Improved Unsupervised Text Classification
Duke University（杜克大学）
现代社会产生的大量文本数据使得按主题直观地对文本数据进行分组、分类或分类变得越来越重要，以便进行有效的检索和搜索。然而，文本数据的高维性和不精确性，或者更一般地说，语言作为一个整体，在尝试执行无监督文档聚类时被证明是具有挑战性的。在这篇论文中，我们提出了两个新的方法来提高无监督的文档聚类/分类的主题。第一是改进文档表示。我们希望利用“术语邻域”和“模糊”相邻术语的语义权重。这些邻域位于由“词嵌入”提供的语义空间中。第二种方法是基于我们认为的“随机条形码”或“S-条形码”模式进行聚类修正。文本数据本质上是高维的，然而聚类通常发生在低维表示空间中。我们的方法利用低维聚类结果作为初始的集群配置，并迭代修改的配置在高维空间。我们的实验结果表明，这两种方法如何提高文档聚类的质量。虽然这篇论文详细阐述了这两个新的概念贡献，但David Yan的联合论文详细介绍了我们为无监督文档分类开发的特征转换和软件架构。
2018-11-06 cs.CL cs.LG
Semi-supervised Text Categorization Using Recursive K-means Clustering
University of Mysore（迈索尔大学）
本文提出了一种用于文本分类的半监督学习算法。提出了一种对未标注文本进行标注的方法。所提出的方法是基于分而治之策略的原则。它使用递归K-means算法来划分标记和未标记的数据汇集。在每个分区上递归地应用K-means算法，直到实现期望的级别分区，使得每个分区包含单个类的标记文档。一旦获得所需的聚类，各自的聚类质心被认为是代表的集群和最近邻规则用于分类未知的文本文档。在20 Newsgroups数据集上进行了一系列的实验，以显示该模型相对于其他最新模型的优越性。
2017-06-24 cs.CL cs.IR cs.LG
Application of Fuzzy Clustering for Text Data Dimensionality Reduction
College of Information and Communications University of South Carolina（南卡罗来纳大学信息与通信学院）；Arnold School of Public Health at the University of South Carolina（南卡罗来纳大学阿诺德公共卫生学院）
大型文本语料库通常由文档-术语频率矩阵表示，该矩阵的元素是术语的频率，然而，该矩阵存在两个问题：稀疏性和高维性。四个降维策略被用来解决这些问题。在这四种策略中，无监督特征变换（UFT）是一种流行且有效的策略，可以将术语映射到文档-术语频率矩阵中的新基础。虽然已经开发了几种基于UFT的方法，但模糊聚类尚未被考虑用于降维。本研究探讨模糊聚类作为一种新的UFT为基础的方法来创建一个低维表示的文件。模糊聚类与不使用全局加权方法的性能超过主成分分析和奇异值分解。本研究亦探讨应用不同模糊因子值对模糊聚类降维的影响。
2019-09-21 cs.CL cs.LG stat.AP
Hybrid Topic-Semantic Labeling and Graph Embeddings for Unsupervised Legal Document Clustering
Department of Mathematical Sciences（数学科学系）；Salisbury University（萨里大学）；Department of Mathematics and Statistics（数学与统计学系）；Carleton College（卡尔顿学院）
针对法律文档标注数据有限、领域性强的分类难题，提出结合Top2Vec语义主题嵌入与Node2Vec图嵌入的混合无监督聚类方法，性能优于基线模型，为法律文本分析提供新思路。
2026-10-20 cs.CL cs.LG stat.ML
Non-Negative Spherical Relaxations for Universe-Free Multi-Matching and Clustering
Halmstad University（哈尔姆斯塔德大学）；University of Bonn（波恩大学）
提出一种非负球面松弛方法解决二进制矩阵单射约束优化问题，通过条件幂迭代自动调整连续参数，无需后处理即可获得二进制结果，在多重匹配和聚类任务中表现优异。
2023-10-20 cs.CV cs.LG math.OC
A Framework for Authorial Clustering of Shorter Texts in Latent Semantic Spaces
Otto von Guericke University Magdeburg（马格德堡奥托·冯·格里克大学）
作者聚类涉及对由同一作者或作者团队撰写的文档进行分组，而没有任何关于作者写作风格或主题偏好的先前正面示例。对于较短文本（段落长度的文本通常比传统文档短）的作者聚类，文档表示特别重要：非常高维的特征空间导致数据稀疏，并遭受严重的后果，如维数灾难，而特征选择可能导致信息丢失。我们提出了一个高层次的框架，它利用一个紧凑的数据表示在一个潜在的特征空间与非参数主题建模。作者聚类识别之后，在两种情况下：（a）完全无监督和（b）半监督，其中少量较短的文本已知属于同一作者（必须链接约束）或不属于同一作者（不能链接约束）。我们报告了120个集合在三种语言和两种类型的实验，并表明基于主题的潜在特征空间提供了一个有前途的性能水平，同时减少了1500的因素相比，国家的最先进的维数。我们还表明，虽然先验知识的精确数量的作者（即作者集群）并没有贡献太多的额外质量，很少的知识约束作者集群成员资格导致明确的性能改善，在前面的这一艰巨的任务。对标准度量的深入实验表明，作者聚类仍然有很大的改进空间，特别是对于较短的文本
2020-11-30 cs.AI cs.CL cs.LG
An Exact Solution Path Algorithm for SLOPE and Quasi-Spherical OSCAR
The Institute of Statistical Mathematics（统计数学研究所）
Sorted $L_1$ penalization estimator（SLOPE）是高维回归中排序绝对系数的正则化技术。通过在单调性约束下任意设置其正则化权重$λ$，SLOPE可以具有各种特征选择和聚类属性。在权重调整方面，所选择的特征及其聚类对调整参数非常敏感。此外，使用网格搜索方法很难详尽地跟踪它们的变化。本研究提出一个解路径演算法，提供完整且精确的解路径以微调正则化权重。一个简单的SLOPE的最优性条件，并用于指定下一个分裂点的解决方案的路径。本研究还提出了一种新的设计的正则化序列$λ$的特征聚类，这被称为准球形和八角形收缩和聚类算法回归（QS-OSCAR）。QS-OSCAR的正则化项的轮廓表面设计成最类似于一个球体。在几种正则化序列的设计，稀疏性和聚类性能进行了比较，通过模拟研究。数值实验结果表明，QS-OSCAR算法比其他算法更有效地进行特征聚类。
2020-10-29 cs.LG stat.CO stat.ME
A Bayesian non-parametric method for clustering high-dimensional binary data
Systems Biology Ireland（爱尔兰系统生物学）；University College Dublin（都柏林大学）
在许多现实生活中的问题，对象描述了大量的二进制功能。例如，文档的特征在于存在或不存在某些关键字;癌症患者的特征在于存在或不存在某些突变等。在这种情况下，基于这种高维二进制特征将类似的对象/配置文件分组在一起是可取的，但具有挑战性。在这里，我提出了一个贝叶斯非参数算法聚类高维二进制数据。它使用狄利克雷过程（DP）混合模型和模拟退火，不仅聚类二进制数据，而且还找到数据中的最佳聚类数。使用模拟数据集对算法的性能进行了评估，并与其他算法进行了比较。它优于所有其他聚类方法，在模拟研究中进行了测试。它还用于对来自文档分析、手写图像分析和癌症研究的真实数据集进行聚类。它成功地根据主题划分了一组文档，基于不同书写风格的手写图像，并确定了化疗治疗的组织和突变特异性。
2016-03-08 cs.LG stat.AP stat.ML
CommunityFish: A Poisson-based Document Scaling With Hierarchical Clustering
Universität Hamburg（汉堡大学）
本文提出CommunityFish，一种基于层次聚类（Louvain算法）的Wordfish增强版本，通过生成语义社区作为输入，提升文档缩放的可解释性与速度，并在美国国情咨文和德国政党宣言语料上优于经典模型。
2023-08-28 cs.CL cs.LG cs.SI
svcR: An R Package for Support Vector Clustering improved with Geometric Hashing applied to Lexical Pattern Discovery
INRA（法国国家农业研究院）
我们提出了一个新的R包，它需要一个数值矩阵格式作为数据输入，并使用支持向量聚类方法（SVC）计算集群。我们已经实现了一个原始的2D网格标记方法，以加快聚类提取。从这个意义上说，SVC可以被看作是一个有效的聚类提取，如果集群是可分离的2-D地图。其次，我们表明，这种SVC方法使用Jaccard径向基内核可以帮助分类足够好的一组术语到本体类，并帮助定义正则表达式规则的信息抽取的文件，我们的案例研究涉及一组术语和文件的发展和分子生物学。
2015-04-23 cs.CL cs.LG
Accelerating spherical K-means clustering for large-scale sparse document data
NTT Corporation（NTT公司）；Kanagawa University（神奈川大学）
本文提出一种针对大规模稀疏文档数据的加速球面K均值聚类算法，通过利用倒排索引和数据普遍特征优化CPU指令数、分支预测与缓存命中，实现架构友好运行并显著提升速度性能。
2024-11-18 cs.LG stat.ML
Goodness-of-Fit and Clustering of Spherical Data: the QuadratiK package in R and Python
University at Buffalo（布法罗大学）；University of Missouri（密苏里大学）
本文介绍了R和Python中的QuadratiK包，提供基于核二次距离的拟合优度检验与球面数据聚类算法，结合泊松核密度与可视化功能，有效弥合统计与机器学习领域的分析需求。
2024-07-25 cs.LG cs.MS stat.AP
Quantitative Ink Analysis: Estimating the Number of Inks in Documents through Hyperspectral Imaging
Institute of Space Technology（空间技术研究所）
针对文档取证中目视难以区分相似墨水的问题，提出基于高光谱成像的墨水分析技术，用三种聚类算法估计文档墨水数量，实验验证了方法有效性且k-means性能更优，助力可靠墨水分析方法开发。
2023-06-09 cs.LG eess.IV
RAILS: Retrieval-Augmented Incremental LLM Clustering at Scale
Zendesk
RAILS通过检索增强和增量式批处理，将LLM聚类扩展到生产规模，在六个基准上平均超越先前最强方法，并成功部署于SaaS工单主题发现场景。
2026-09-22 cs.LG
Model-Based Hierarchical Clustering
IBM Almaden Research Center（IBM阿尔马登研究中心）
我们提出了一种基于模型的层次聚类方法，通过制定一个基于贝叶斯分析的目标函数。该模型将数据组织到一个集群层次结构中，同时指定一个复杂的特征集分区，这是我们模型的关键组成部分。特征可以在每个集群中具有唯一分布，或者在一些（甚至所有）集群上具有公共分布。这些特征在其上具有这种共同分布的聚类子集对应于表示层次结构的树的节点（聚类）。我们将这个一般模型的问题，我们使用一个多项似然函数和Dirichlet先验的文档聚类。我们的算法包括一个两阶段的过程，其中我们首先执行一个平面聚类，然后是一个修改后的层次凝聚合并过程，包括确定的功能，将有共同的分布在合并后的集群。通过使用边际似然引起的正则化自动确定最佳模型结构，包括聚类的数量、树的深度和要被建模为在每个节点处具有共同分布的特征的子集。我们展示了对合成数据和真实文档集的实验结果。
2013-01-16 cs.AI cs.LG stat.ML
Bipartite graph partitioning and data clustering
从数据采掘应用中产生的许多数据类型可以被建模为二分图，示例包括文本语料库中的术语和文档、购物篮分析中的客户和购买项目以及电影推荐系统中的评论者和电影。在本文中，我们提出了一种新的数据聚类方法的基础上划分的基础二分图。通过最小化二分图的不匹配顶点对之间的边权重的归一化和来构造分区。我们表明，通过计算相关的二分图的边权重矩阵的部分奇异值分解（SVD），可以得到一个近似的解决方案的最小化问题。我们指出我们的聚类算法的连接，对应分析中使用的多元分析。我们还简要讨论了将数据对象分配到多个集群的问题。在实验结果中，我们将我们的聚类算法应用于文档聚类问题，以说明其有效性和效率。
2001-08-27 cs.IR cs.LG
Topic Discovery via Latent Space Clustering of Pretrained Language Model Representations
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
主题模型是从文本语料库中自动发现主题的重要工具。尽管它们的有效性，主题模型遭受的几个限制，包括无法建模文档中的单词排序信息，将外部语言知识的困难，以及缺乏准确和有效的推理方法来近似棘手的后验。最近，预训练的语言模型（PLM）由于其出色的文本表示，为各种各样的任务带来了惊人的性能提升。有趣的是，还没有标准的方法来部署PLM进行主题发现，作为主题模型的更好的替代品。在本文中，我们首先分析了使用PLM表示的主题发现的挑战，然后提出了一个联合潜在空间学习和聚类框架建立在PLM嵌入。在潜在空间中，主题词和文档主题分布的联合建模，使发现的主题可以解释的连贯性和独特的条款，同时作为有意义的摘要的文件。我们的模型有效地利用了强大的表示能力和高超的语言特征所带来的PLM主题发现，是概念上比主题模型简单。在不同领域的两个基准数据集上，我们的模型生成的主题比强主题模型更加连贯和多样化，并基于自动和人工评估提供了更好的主题文档表示。
2022-02-09 cs.CL cs.IR cs.LG
An enhanced Teaching-Learning-Based Optimization (TLBO) with Grey Wolf Optimizer (GWO) for text feature selection and clustering
Iran University of Science and Technology（伊朗科技大学）
提出结合TLBO、GWO与GA算子的混合特征选择算法TLBO-GWO，通过六个基准数据集与多种算法对比，证明其能显著提升K-means文本聚类的有效性。
2024-02-19 cs.CL cs.LG cs.NE
Transformed K-means Clustering
IIIT Delhi（印度德里信息技术学院）
在这项工作中，我们提出了一个聚类框架的基础上的范式转换学习。简单地说，变换学习的表示用于K-means聚类;然而，这个问题并没有以这种简单的方式解决。将K-means聚类损失嵌入到变换学习框架中，并使用乘子交替方向法解决联合问题。文档聚类的结果表明，我们提出的方法提高了国家的最先进的。
2021-11-27 cs.LG stat.ML
Deep Mixtures of Unigrams for uncovering Topics in Textual Data
University of Bologna（博洛尼亚大学）
Unigrams的混合是聚类文本数据的最简单和最有效的工具之一，因为它们假设与同一主题相关的文档具有相似的术语分布，自然由Multinomials描述。当分类任务特别具有挑战性时，例如当文档-术语矩阵是高维且极其稀疏时，更复合的表示可以提供对分组结构的更好的洞察。在这项工作中，我们开发了一个深度版本的Unigrams混合物，用于对具有大量术语的非常短的文档进行无监督分类，允许模型具有更深的潜在层;该提案是在贝叶斯框架中得出的。根据经验将Unigrams的深度混合的行为与其他传统的和最先进的方法的行为进行比较，即$k$ -具有余弦距离的平均值，$k$ -具有根据语义分析转换的数据的欧几里得距离的平均值，围绕中心点的分区，基于语义的转换数据的高斯混合，根据具有余弦相异度的Ward方法的分层聚类，潜在Dirichlet分配，通过期望最大化算法、谱聚类和亲和传播聚类估计的Unigrams的混合。性能的评价方面的正确分类率和调整后的兰德指数。仿真研究和实际数据分析证明，对此类数据进行深入聚类，可以大大提高分类精度。
2020-12-09 cs.LG stat.ML
Spherical Text Embedding
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Georgia Institute of Technology（佐治亚理工学院）；Google Research（谷歌研究院）；U.S. Army Research Laboratory（美国陆军研究实验室）
无监督文本嵌入在广泛的NLP任务中显示出强大的功能。虽然文本嵌入通常是在欧几里得空间中学习的，但方向相似性通常在单词相似性和文档聚类等任务中更有效，这在文本嵌入的训练阶段和使用阶段之间产生了差距。为了缩小这一差距，我们提出了一个球形生成模型，在此基础上，联合学习无监督的单词和段落嵌入。为了学习球面空间中的文本嵌入，我们开发了一种基于黎曼优化的高效的具有收敛保证的优化算法。我们的模型具有很高的效率，并在各种文本嵌入任务，包括单词相似度和文档聚类方面达到了最先进的性能。
2019-11-04 cs.CL cs.LG stat.ML
Analysis of Sparse Subspace Clustering: Experiments and Random Projection
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；DePaul University（德保罗大学）
聚类可以定义为将对象组合成若干组的过程，这些组的元素以某种方式彼此相似。聚类作为一种广泛应用于人脸聚类、植物分类、图像分割、文档分类等领域的技术，被认为是无监督学习中最重要的问题之一。多年来，科学家们一直在研究这个问题，并开发了不同的技术来解决这个问题，例如k-means聚类。我们分析这些技术之一：一个强大的聚类算法称为稀疏子空间聚类。我们使用这种方法演示了几个实验，然后介绍了一种新的方法，可以减少执行稀疏子空间聚类所需的计算时间。
2022-04-01 cs.LG math.OC
Accelerating Spherical k-Means
TU Dortmund University（多特蒙德工业大学）
球形k-means是一种广泛用于稀疏和高维数据（如文档向量）的聚类算法。虽然原始的k-means算法已经引入了一些改进和加速，但并不是所有的都可以轻松地转化为球形变体：许多加速技术，如Elkan和Hamerly的算法，依赖于欧几里得距离的三角不等式。然而，球形k-means使用余弦相似性而不是距离来提高计算效率。在本文中，我们将埃尔坎和Hamerly加速度的球面k-means算法直接与余弦函数，而不是欧几里得距离，以获得实质性的加速，并评估这些球面加速度的真实数据。
2021-07-08 cs.LG
EigenLI: Spectral Approximations to Late Interaction
Temple（天普大学）；Microsoft Research India（微软印度研究院）
EigenLI利用晚期交互表示的低秩结构，通过文档特定子空间的谱近似压缩表示，并衍生出单向量表示EigenLI-SV，在多个模型和数据集上优于聚类方法和MUVERA。
2026-09-09 cs.IR cs.LG
Scholastic: Graphical Human-Al Collaboration for Inductive and Interpretive Text Analysis
University of Colorado Boulder（科罗拉多大学博尔德分校）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
解释学者从文本语料库中生成知识，通过手动采样文档，应用代码，并将代码提炼和整理成类别，直到有意义的主题出现。在一个大型语料库中，机器学习可以帮助扩展这种数据采样和分析，但之前的研究表明，专家们普遍担心算法可能会破坏或推动解释性学术。我们采取以人为本的设计方法来解决机器辅助解释性研究的问题，以构建Scholastic，它采用了机器在环聚类算法来支撑解释性文本分析。作为一个学者应用代码的文件，并细化它们，所产生的编码模式作为结构化的元数据，约束层次的文件和词集群推断从语料库。这些集群的交互式可视化可以帮助学者战略性地对文档进行采样，进一步获得见解。Scholastic演示了以人为中心的算法设计和可视化如何使用熟悉的隐喻，通过交互式主题建模和文档聚类来支持归纳和解释性研究方法论。
2022-08-12 cs.HC cs.LG
Author Clustering and Topic Estimation for Short Texts
Duke University（杜克大学）
短文本的分析，如社交媒体帖子，是非常困难的，因为它们固有的简短。除了对这些帖子的主题进行分类外，一项常见的下游任务是将这些文档的作者分组，以便随后进行分析。我们提出了一种新的模型，扩展了潜在的Dirichlet分配建模强依赖性的话在同一个文件中，与用户级的主题分布。我们还同时集群用户，消除了事后集群估计的需要，并通过缩小嘈杂的用户级主题分布对典型值的主题估计。我们的方法执行以及-或更好-比传统的方法，我们证明了它的有用性的数据集上的推文从美国参议员，恢复有意义的主题和集群，反映党派意识形态。我们还开发了一种新的措施，这些政客之间的回声室特征的孤立性的参议员群体讨论的主题，并提供不确定性量化。
2022-06-16 cs.IR cs.LG stat.ME
A Framework for Deep Constrained Clustering -- Algorithms and Advances
University of California, Davis（加州大学戴维斯分校）；Google Research（谷歌研究院）
约束聚类领域已经被研究人员广泛探索，并被实践者使用。约束聚类公式适用于k均值、混合模型和谱聚类等流行算法，但有几个局限性。深度学习的一个基本优势是它的灵活性，在这里，我们将探索一个用于约束聚类的深度学习框架，特别是探索它如何扩展约束聚类领域。我们表明，我们的框架不仅可以处理标准的一起/分开的约束（没有记录良好的负面影响报告）产生的标记的边信息，但更复杂的约束产生的新类型的边信息，如连续值和高层次的领域知识。
2019-12-19 cs.LG stat.ML
Content-driven, unsupervised clustering of news articles through multiscale graph partitioning
Imperial College London（帝国理工学院）
全球各地产生的新闻和新闻内容数量激增，加上通过在线媒体广泛和即时获取信息，使得实时的监测新闻动态和舆论形成变得困难和耗时。现在越来越需要能够对原始文本进行预处理、分析和分类的工具，以提取可解释的内容;具体而言，就是确定主题和按内容对文章进行分组。我们在这里提出了这样一种方法，它将来自自然语言处理的强大向量嵌入与来自图论的工具结合在一起，这些工具利用图上的扩散动态来揭示跨尺度的自然分区。我们的框架使用最近的深度神经网络文本分析方法（Doc 2 vec）来表示矢量形式的文本，然后应用多尺度社区发现方法（马尔可夫稳定性）来划分文档矢量的相似性图。该方法允许我们以无监督的方式获得具有相似内容的文档集群，以不同的分辨率级别。我们展示了我们的方法，分析了Vox Media一年多来发表的9,000篇新闻文章的语料库。我们的研究结果表明，一致的分组的文件，根据内容，没有先验假设的数量或类型的集群被发现。多级聚类揭示了一个准层次结构的主题和子主题，提高了可理解性和改进的主题一致性相比，外部分类服务和标准的主题检测方法。
2018-08-03 cs.CL cs.IR cs.LG
