Semantic Document Clustering on Named Entity Features
基于关键词的信息处理由于对词的简单处理而具有局限性。在本文中，我们引入命名实体作为目标的文档聚类，这是定义文档语义的关键元素，在许多情况下是用户的关注。首先，传统的基于关键字的向量空间模型被适配为在实体名称、类型、名称-类型对和标识符的空间上定义的向量，而不是关键字。然后，分层文档聚类可以使用定义为表示文档的向量的余弦的相似性度量来执行。实验结果进行了介绍和讨论。根据命名实体的信息对文档进行聚类，对于管理基于Web的学习材料的相关对象可能是有用的。
2018-07-20 cs.IR
Web Document Clustering and Ranking using Tf-Idf based Apriori Approach
在过去的几年里，动态Web呈指数级增长，现在用户可以获得与主题相关的数千个文档。大多数Web文档都是非结构化的，没有组织的方式，因此用户更难找到相关文档。一种更有用和有效的机制是将聚类与排名相结合，其中聚类可以将相似的文档分组在一个地方，并且可以将排名应用于每个聚类，以便在开始时查看顶部文档。除了特定的聚类算法，不同的术语加权函数应用于所选择的特征来表示Web文档是聚类任务的一个主要方面。考虑到这种方法，在这里，我们提出了一种新的机制，称为Tf-Idf基于Apriori聚类的Web文档。然后，我们排名的文件在每个集群中使用Tf Idf和相似性因子的文件的用户查询的基础上。这种方法将帮助用户在一个地方获得所有相关文档，并可以将搜索限制在他选择的一些顶级文档上。为了实验的目的，我们采用了康奈尔大学的Classic 3和Classic 4数据集，有超过10，000个文档，并使用gensim工具包来进行我们的工作。我们比较了我们的方法与传统的apriori算法，发现我们的方法是更高的最小支持度提供更好的结果。我们的排名机制也给出了78%的良好F-措施。
2014-06-21 cs.IR
Comparison Clustering using Cosine and Fuzzy set based Similarity Measures of Text Documents
考虑到聚类的高要求，本文重点介绍了使用两种不同的相似性度量来理解和实现K-均值聚类。我们尝试使用两种不同的方法对文档进行聚类，而不是使用欧氏距离进行聚类。并在此基础上对模糊相似性度量和余弦相似性度量的聚类精度进行了比较。聚类的开始时间和结束时间参数用于确定最佳相似性度量。
2015-05-01 cs.IR
Experiments in Clustering Homogeneous XML Documents to Validate an Existing Typology
本文提出了一些实验，在聚类同质XML文档，以验证现有的分类或更普遍的anorganisational结构。我们的方法集成了从文档中提取知识的技术与文档的无监督分类（聚类）。我们专注于特征选择用于表示文档及其对新兴分类的影响。我们将结构化特征的选择与基于句法特征的精细文本选择相结合，并以2003年的Inria活动报告为例对这种方法进行了说明和评估。目标是根据这些活动报告的关键词或不同章节将项目分组为更大的组（主题）。然后，我们使用不同的特征选择的聚类结果进行比较，与Inria使用的官方主题结构。
2005-08-09 cs.IR
An improved semantic similarity measure for document clustering based on topic maps
一个主要的计算负担，而执行文档聚类，是一对文档之间的相似性度量的计算。相似性度量是一个函数，它根据文档之间的相似程度，为一对文档分配一个介于0和1之间的实数。值为零表示文档完全不相似，而值为1表示文档实际上相同。传统上，基于向量的模型已被用于计算文档相似度。基于向量的模型表示文档中存在的几个特征。这些方法的相似性措施，在一般情况下，不能占的语义文件。用人类语言编写的文档包含上下文，并且用于描述这些上下文的词语通常在语义上相关。受此启发，许多研究者提出了基于语义的相似性度量方法，即通过外部词库如WordNet（一个词汇数据库）进行文本注释。在本文中，我们定义了一个语义相似性度量的基础上表示的主题地图的文件。主题地图正迅速成为知识表示的工业标准，其重点是以后的搜索和提取。文档被转换成基于主题图的编码知识，并且一对文档之间的相似性被表示为共同模式（子树）之间的相关性。在文本挖掘数据集上的实验研究表明，与常用的文本聚类相似性度量方法相比，该方法具有更好的聚类效果。
2013-03-17 cs.IR
Document Clustering Based On Max-Correntropy Non-Negative Matrix Factorization
非负矩阵分解（NMF）已成功地应用于许多领域的分类和聚类。常用的NMF算法主要以最小化$l_2$距离或KL散度为目标，不适合非线性情况。本文提出了一种新的分解方法，通过最大化原始矩阵和两个低秩矩阵的乘积之间的相关熵来进行文档聚类。该方法还允许我们从数据中学习语义特征空间的新基向量。据我们所知，我们还没有看到任何工作已经做了最大化相关熵的NMF聚类高维文档数据。我们的实验结果表明，我们提出的方法优于其他变种的NMF算法在路透社21578和TDT2数据库。
2014-10-03 cs.IR
An Analytical Approach to Document Clustering Based on Internal Criterion Function
快速、高质量的文档聚类是组织信息、从用户查询中获取搜索引擎结果、增强Web爬行和信息检索的重要任务。随着大量的数据可用，并与创建高质量的集群的目标，各种算法已经开发出具有质量复杂性权衡。在这些算法中，一些算法试图使用为整个聚类解集定义的某些准则函数来最小化计算复杂性。在本文中，我们提出了一种新的文档聚类算法的基础上的内部准则函数。大多数常用的分区聚类算法（例如k-means）都有一些缺点，因为它们存在局部最优解和创建空簇作为聚类解决方案的问题。该算法通常不会受到这些问题的影响，并收敛到全局最优值，其性能随着簇数的增加而增强。我们已经针对四个不同的k值（所需的聚类数）的三个不同的数据集检查了我们的算法。
2010-03-09 cs.IR
Estimating the Effective Topics of Articles and journals Abstract Using LDA And K-Means Clustering Algorithm
本文结合LDA、K-Means聚类和WordNet提取期刊与文章摘要中的关键短语，以帮助研究者构建更准确的检索字符串并避免误解。
2025-08-22 cs.IR
Tagged Documents Co-Clustering
标签是短的单词序列，允许描述文本和非文本资源，如音乐，图像或书籍。机器信息检索系统可以使用标签来快速访问文档。这些标签可用于构建推荐系统，以向用户推荐类似的项目。然而，每个文档的标签数量是有限的，并且通常根据Zipf定律分布。在本文中，我们提出了一种方法来聚类成概念组的标签。对数据进行预处理，以消除幂律效应并增强低频词的上下文。然后，提出了一种层次凝聚的协同聚类算法，将最相关的标签分组到一起。在稀疏合成数据集和与科学论文相关的真实世界标签集合上评估了这些功能。任务是无监督的，我们提出了一些停止标准选择一个最佳的分割。
2021-10-14 cs.IR
Clustering Unstructured Data (Flat Files) - An Implementation in Text Mining Tool
随着科技的进步和储存成本的降低，个人和组织都倾向于使用电子媒体来储存文本信息和文件。读者从非结构化的文档集合中检索相关信息是一项耗时的工作。当集合按组或类别排序或分类时，从大型集合中查找文档更容易，耗时更少。找到最佳的这种分组的问题仍然存在。本文讨论了我们实现的用于聚类非结构化文本文档的k-Means聚类算法的实现，从非结构化文本的表示开始，到达聚类的结果集。基于对样本文档集的聚类分析，我们还提出了一种表示文档的技术，可以进一步提高聚类结果。
2010-07-25 cs.IR
A Novel Modified Apriori Approach for Web Document Clustering
基于数据采掘中的关联技术，传统的Apriori算法可用于Web文档的聚类。但该算法存在数据库扫描次数多、关联规则分析能力弱等缺陷。在大型数据库的现代世界中，传统的Apriori算法的效率将减少流形。本文提出了一种新的改进的apriori算法，通过减少重复的数据库扫描和改进传统的apriori算法的关联分析来对web文档进行聚类。进一步，我们分别应用模糊C均值（FCM），K均值和向量空间模型（VSM）技术来改进这些聚类。为了进行实验，我们使用康奈尔大学拥有超过10，000个文档的Classic 3和Classic 4数据集，并在其上运行传统的先验算法和我们改进的先验算法。实验结果表明，我们的方法在数据库扫描和分析关联性改进方面优于传统的先验算法。我们发现，FCM是优于K-Means和VSM的F-度量的不同大小的集群。
2015-03-29 cs.IR
A comparison of two suffix tree-based document clustering algorithms
National University of Computer & Emerging Sciences NU-FAST（国家计算机与新兴科学大学 NU-FAST）
文档聚类作为一种无监督的方法，广泛用于导航，过滤，汇总和管理大量的文档库，如万维网（WWW）。最近，在这个领域的重点从传统的基于向量的文档相似度聚类后缀树的文档相似度，因为它提供了更多的语义表示的文本中存在的文件。在本文中，我们比较和对比两个最近推出的方法，基于后缀树数据模型的文档聚类。第一种是基于有效短语的文档聚类，它从文档中抽取短语，形成紧凑的文档表示，并使用基于公共后缀树的相似性度量对文档进行聚类。第二种方法是基于频繁词/词义序列的文档聚类，它从文档中相似地提取出共同词序列，并利用共同序列/共同词义序列进行紧凑表示，最后利用文档聚类方法对紧凑文档进行聚类。这些算法使用凝聚层次文档聚类来执行实际的聚类步骤，这些方法的差异主要是基于短语的提取，作为紧凑文档的模型表示，以及用于聚类的相似性度量。本文研究了这两种算法的计算方面，以及它们产生的结果的质量。
2012-01-10 cs.AI cs.IR
Web-Based File Clustering and Indexing for Mindoro State University
民都洛州立大学基于网络的文件聚类和索引旨在将通过网络传播的数据组织成组或集合，以促进数据的可用性和访问，同时满足用户的偏好。主要的好处包括增加Web信息的可访问性，了解用户的导航行为，改善Web上的信息检索和内容交付。基于Web的文件聚类可以帮助用户找到所需的文档。在本文中，一种新的方法已被引入搜索结果聚类，是基于检索到的文档的语义，而不是在这些文件中的术语的语法。数据聚类被用来改善从文档集合中的信息检索。数据处理和分析使用SPSS的工具进行评估，以测试所使用的措施的信度和效度。评价基于所选质量特征描述的Likert量表（优、良、一般和差）。
2022-02-13 cs.IR
Experimental Estimation of Number of Clusters Based on Cluster Quality
文本聚类是一种文本挖掘技术，它将给定的文本文档集划分为重要的聚类。它用于将大量的文本文档组织成组织良好的形式。在大多数聚类算法中，聚类数必须事先指定，这是这些算法的一个缺点。本文的目的是实验展示如何确定基于聚类质量的聚类数。由于分区聚类算法非常适合于对大型文档数据集进行聚类，因此我们的分析仅限于分区聚类算法。
2015-03-10 cs.IR
Information Retrieval in long documents: Word clustering approach for improving Semantics
本文提出基于词嵌入聚类和词簇加权的长文档语义信息检索方法，通过融合词汇与语义表示，在 SQuAD 和 TREC-CAR 上显著优于纯关键词方法。
2025-07-26 cs.IR
Expériences de classification d'une collection de documents XML de structure homogène
本文提出了一些实验，在聚类同质XML文档，以验证现有的分类或更普遍的anorganisational结构。我们的方法集成了从文档中提取知识的技术与文档的无监督分类（聚类）。我们专注于特征选择用于表示文档及其对新兴分类的影响。我们将结构化特征的选择与基于句法特征的精细文本选择相结合，并以2003年的Inria活动报告为例对这种方法进行了说明和评估。目标是根据这些活动报告的关键词或不同章节将项目分组为更大的组（主题）。然后，我们使用不同的特征选择的聚类结果进行比较，与Inria使用的官方主题结构。
2005-08-09 cs.IR
Document Clustering based on Topic Maps
National University of Computer & Emerging Sciences（国家计算机与新兴科学大学）
文档聚类对于更好地管理、智能导航、高效过滤以及对像万维网（WWW）这样的大量文档进行简明摘要的重要性现在被研究人员广泛认可。下一个挑战在于基于文档的语义内容在语义上执行聚类。文档聚类的问题有两个主要组成部分：（1）以这样一种形式表示文档，该形式固有地捕获文本的语义。这也可以有助于降低文档的维度，以及（2）基于语义表示来定义相似性度量，使得其向具有较高语义关系的文档对分配较高的数值。文档的特征空间对于文档聚类来说是非常具有挑战性的。一个文档可能包含多个主题，它可能包含一个大的类独立的通用词集，和少数类特定的核心词。考虑到这些特点，传统的凝聚聚类算法，这是基于文档向量模型（DVM）或后缀树模型（STC），是效率较低的高聚类质量的结果。本文介绍了一种新的基于主题图表示的文档聚类方法。该文件正在被转换成一个紧凑的形式。提出了一种基于主题图数据和结构的相似性度量方法。建议的方法是使用凝聚层次聚类和测试标准的信息检索（IR）数据集。对比实验表明，该方法能有效地提高聚类质量.
2011-12-29 cs.AI cs.IR
Faster Exact Search using Document Clustering
我们展示了如何全文搜索的基础上，倒排索引可以加速聚类的文件，而不会丢失结果（SeCluD - SEarch与CLUSSTERED文件）。我们开发了一个快速的多级聚类算法，明确使用查询成本的合取查询作为目标函数。根据输入的不同，我们可以比非集群搜索快四倍。所得到的聚类对于数据压缩和在多台机器上分配工作也很有用。
2014-11-05 cs.DS cs.IR
An effective web document clustering for information retrieval
在过去的几年中，Web的大小呈指数级增长，用户可以获得与主题相关的数千个文档。有了这么多的信息，如果没有一个适当的框架来搜索现有的数据，就不可能充分利用万维网。这种必要的组织可以通过许多方式来完成。在本文中，我们介绍了一种组合的方法来聚类的网页，首先发现频繁集，然后聚类的文件。这些频繁集是通过使用频繁模式增长技术产生的。然后应用模糊C-均值算法对它进行聚类，找到具有高度相关性和相似特征的文档的聚类。我们使用Gensim包来实现我们的方法，因为它的简单性和鲁棒性。我们比较了我们的结果与（频繁模式增长，K-means）和（频繁模式增长，余弦_相似性）的组合方法。实验结果表明，该方法比上述两种方法的结合更有效，并且能够更有效地处理传统模糊C均值算法对初始质心和待形成聚类数敏感的严重缺陷。
2012-11-06 cs.IR
Ontology Based Document Clustering Using MapReduce
如今，文档聚类被认为是一个数据密集型的任务，由于戏剧性的，快速增加的可用文档的数量。然而，代表这些文件的特征也太大。表示文档最常用的方法是向量空间模型，它将文档特征表示为一个词包，而不表示词之间的语义关系。在本文中，我们介绍了一个分布式实现的二分法k-means使用MapReduce编程模型。我们提出的实现背后的目的是解决密集型数据文档的聚类问题。此外，我们建议将WordNet本体与二分k-means相结合，以利用单词之间的语义关系来增强文档聚类结果。我们提出的实验结果表明，使用词汇类别的名词只提高了内部评价措施的文件聚类，并减少了文件的功能从数千到数十个功能。我们的实验是使用Amazon Elastic MapReduce部署Bisecting k-means算法进行的。
2015-05-12 cs.DB cs.IR
Rank Based Clustering For Document Retrieval From Biomedical Databases
如今，搜索引擎被广泛用于从世界各地的各种资源中提取信息。其中，大多数检索位于生物医学领域，用于从各种生物医学数据库中检索相关文献。目前的搜索引擎缺乏对文档的聚类和对文档相关性的表征。为了克服这些缺陷，基于文本的搜索引擎已被开发用于从Medline和PubMed生物医学数据库中检索文档。该搜索引擎引入了基于聚类的网页排序概念，自动表示聚类基础上的相关性。除此之外，图树构造用于表示联网在一起的文档的相关性水平。基于搜索引擎的生物医学文档的这种高级功能整合发现在基于相关性的审查相关文档中提供更好的结果。
2009-12-11 cs.DB cs.IR
Arabic text summarization based on latent semantic analysis to enhance arabic documents clustering
University Sidi Mohamed Ben Abdellah (USMBA)（西迪·穆罕默德·本·阿卜杜拉大学）；Faculty of Science Dhar EL Mahraz (FSDM)（达尔·马赫拉兹科学学院）
阿拉伯文文档聚类是一项重要的任务，以获得良好的效果与传统的信息检索（IR）系统，特别是与阿拉伯语在线文档的数量迅速增长。文档聚类的目标是使用不同的相似性/距离度量将相似的文档自动分组到一个聚类中。该任务往往受到文档长度的影响，文档上的有用信息往往伴随着大量的噪声，因此有必要在保留有用信息的同时消除这些噪声，以提高文档聚类的性能。在本文中，我们建议使用潜在语义分析模型对阿拉伯文文档聚类的文本摘要的影响进行评估，以解决上述问题，使用五个相似性/距离的措施：欧几里德距离，余弦相似性，Jaccard系数，皮尔逊相关系数和平均Kullback-Leibler发散，两次：没有和词干。实验结果表明，该方法有效地解决了噪声信息和文档长度的问题，从而显着提高聚类性能。
2013-02-06 cs.CL cs.IR
Privacy Preserving MFI Based Similarity Measure For Hierarchical Document Clustering
万维网的日益增长的性质给研究人员在提高互联网上的搜索效率方面提出了巨大的挑战。如今，Web文档聚类已经成为一个重要的研究课题，以提供最相关的文档在巨大的卷返回响应于一个简单的查询。本文首先提出了一种基于最大频繁项集（MFI）的Apriori聚类算法。然后利用相同的最大频繁项集（MFI）的相似性度量的层次文档聚类。通过考虑最大频繁项集，降低了文档集的维数。第二，提供开放的Web文档的隐私保护是为了避免重复文档。这样，我们就可以保护个人的隐私文件的版权。这可以通过等价关系来实现。
2012-07-12 cs.DB cs.IR
Document Clustering Evaluation: Divergence from a Random Baseline
Queensland University of Technology（昆士兰科技大学）；University of Otago（奥塔哥大学）
偏离随机基线是一种用于评估文档聚类的技术。它确保聚类质量度量正在执行工作，以防止无效的聚类为没有提供有用结果的聚类提供高分。这些概念的定义和分析，使用内在和外在的方法来评估文件集群的质量。这包括经典的聚类到类别的方法和一种新的方法，使用特设信息检索。与随机基线方法的差异能够区分INEX XML挖掘轨道中遇到的无效聚类。它似乎也执行类似于归一化互信息（NMI）措施的归一化，但它可以应用于任何集群质量的措施。当它被应用于由RMSE测量的失真的固有测量时，从随机基线减去提供了一个明显的最佳值，否则是不明显的。这种方法可以应用于任何聚类评价。本文介绍了它的使用的背景下，文档聚类评价。
2012-08-29 cs.AI cs.IR
Document Clustering with K-tree
Queensland University of Technology（昆士兰科技大学）
本文介绍了昆士兰科技大学的一个小组在INEX 2008上对XML挖掘轨道所采取的方法。我们介绍了K树聚类算法在信息检索的上下文中，通过调整它的文档聚类。文档聚类中存在着许多大规模的问题。K树由于其低复杂度，可以很好地扩展大输入。它在效率和质量方面都取得了可喜的成果。使用支持向量机完成文档分类。
2010-01-06 cs.AI cs.DS cs.IR
A Fuzzy Based Approach to Text Mining and Document Clustering
Indian Institute of Technology-Kharagpur（印度理工学院卡尔哈普尔分校）；VIT University（VIT大学）
模糊逻辑处理真实度。在本文中，我们已经展示了如何应用模糊逻辑在文本挖掘，以执行文档聚类。我们举了一个文档聚类的例子，其中文档必须被聚类为两个类别。该方法包括清理文本和词干。然后，我们选择了m个特征，这些特征在属于这两个聚类的文档之间的词频（WF）（通过文档长度进行归一化）中存在显著差异。将待聚类的文档表示为m个归一化WF值的集合。模糊c均值（FCM）算法被用来聚类这些文档分为两类。FCM执行完成后，分析两个聚类中的文档各自的m特征值。众所周知，属于某个文档类型（比如X）的文档对于某些特定的特征往往具有更高的WF值。如果属于一个簇的文档对于这些相同的特征具有更高的WF值，则该簇被称为代表X。通过模糊逻辑，我们不仅可以得到聚类名称，而且还可以得到文档属于某个聚类的程度。
2013-06-06 cs.IR cs.LG
Discovery of Web Usage Profiles Using Various Clustering Techniques
P.A. College of Engineering（P.A.工程学院）；J.N.T. University（J.N.T.大学）
万维网（WWW）的爆炸式增长，有必要开发Web个性化系统，以了解用户的喜好，动态地为个人用户提供定制的内容。为了从Web使用数据中揭示用户偏好信息，Web使用挖掘（WUM）技术被广泛应用于Web日志数据。聚类技术被广泛用于WUM中，以捕获访问Web站点的用户之间的相似兴趣和趋势。聚类的目的是将数据集划分为组或簇，其中簇间相似性最小化，而簇内相似性最大化。本文综述了四种常用的聚类技术：k-Means，k-Medoids，Leader和DBSCAN。这些技术的实现和测试对Web用户的导航数据。每种技术的性能和有效性的结果进行了介绍和比较。
2015-09-01 cs.DB cs.IR cs.LG
A new keyphrases extraction method based on suffix tree data structure for arabic documents clustering
Sidi Mohamed Ben Abdellah University（西迪·穆罕默德·本·阿卜杜拉大学）
文档聚类是数据采掘的一个分支，它是一种无监督的分类，用于在未标记的数据集合中找到结构。在使用全文表示时，文档中的有用信息可能伴随着大量的噪声词，因此会对聚类过程的结果产生负面影响。因此，为了提高聚类结果的质量，就需要在保留有用信息的基础上去除噪声词。这个问题发生在不同程度的任何语言，如英语，欧洲，印地语，中文和阿拉伯语。为了克服这个问题，本文提出了一种新的基于后缀树数据结构（KpST）的关键词提取方法，并将提取的关键词用于聚类过程中。所提出的关键词提取方法与语言无关，因此可以应用于任何语言。在这项研究中，我们感兴趣的是处理阿拉伯语，这是最复杂的语言之一。为了评估我们的方法，我们进行了实验研究阿拉伯文文档使用最流行的聚类方法的层次算法：凝聚层次算法与七个链接技术和各种距离函数和相似性措施，以执行阿拉伯文文档聚类任务。实验结果表明，该方法提高了聚类结果的质量。我们还建议研究使用测试数据集的词干聚类它与相同的文档聚类技术和相似性/距离措施的效果。
2014-01-22 cs.CL cs.IR
Vec2GC -- A Graph Based Clustering Method for Text Representations
Robert Bosch Research and Technology Center（罗伯特·博世研究与技术中心）
本文提出端到端聚类算法 Vec2GC，通过文本表示学习构建加权图并进行社区检测，实现对词项或文档的基于密度且支持层次的聚类。
2023-04-12 cs.IR cs.LG
Improving Document Clustering by Eliminating Unnatural Language
University of Massachusetts（马萨诸塞大学）；Emory University（埃默里大学）
技术文档包含大量的非自然语言，如表格、公式、伪代码等，非自然语言可能是混淆现有NLP工具的重要因素。本文提出了一种区分非自然语言和自然语言的有效方法，并评估了非自然语言检测对文档聚类等NLP任务的影响。我们认为这个问题作为一个信息抽取任务，并建立一个多类分类模型，识别非自然的语言成分分为四类。首先，我们通过收集PPT、PDF和HTML等各种格式的幻灯片和论文来创建一个新的注释语料库，其中非自然语言成分被注释为四类。然后，我们探索纯文本中可用的功能，以构建一个统计模型，该模型可以处理任何格式，只要它被转换为纯文本。我们的实验表明，去除不自然的语言成分，使文档聚类的绝对改善高达15%。我们的语料库和工具是公开的。
2017-03-17 cs.CL cs.IR
Information-Theoretic Generative Clustering of Documents
Waseda University（早稻田大学）
本文提出生成式聚类（GC），利用大语言模型生成的文本进行聚类，通过KL散度定义相似度并结合重要性采样算法，取得了超越现有方法的SOTA性能，并有效提升了生成式文档检索的准确率。
2024-12-18 cs.CL cs.IR cs.IT
K-tree: Large Scale Document Clustering
Queensland University of Technology（昆士兰科技大学）
我们在信息检索上下文中引入K树。它是k-means聚类算法的有效近似。与k均值不同，它形成了集群的层次结构。它已经扩展到解决稀疏表示的问题。我们使用文档集合将性能和质量与CLUTO进行比较。K树具有较低的时间复杂度，适用于大型文档集合。这种树结构允许在空间需求超过主存的情况下实现基于磁盘的高效实现。
2010-01-06 cs.AI cs.DS cs.IR
Integrating Document Clustering and Topic Modeling
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）
文档聚类和主题建模是两个密切相关的任务，可以相互受益。主题建模可以将文档投影到一个主题空间中，这有助于有效的文档聚类。通过文档聚类发现的聚类标签可以被合并到主题模型中，以提取特定于每个聚类的局部主题和所有聚类共享的全局主题。在本文中，我们提出了一个多粒度聚类主题模型（MGCTM），它集成了文档聚类和主题建模到一个统一的框架，并共同执行这两项任务，以达到整体最佳性能。该模型将两个组件紧密耦合：用于发现文档集合中潜在组的混合组件和用于挖掘多粒度主题的主题模型组件，其中多粒度主题包括特定于每个簇的局部主题和跨簇共享的全局主题，采用变分推理来近似隐变量的后验，并学习模型参数。在两个数据集上的实验证明了该模型的有效性。
2013-09-26 cs.CL cs.IR cs.LG
Probability Based Clustering for Document and User Properties
信息检索系统可以通过利用诸如用户和文档特征的上下文信息来改进。本文提出了一个模型的基础上重叠的概率或模糊聚类等功能。该模型被应用在一个融合方法，线性结合几个检索系统。融合是基于权重的不同的检索系统，这是通过利用相关反馈信息学习。可以通过为每个文档和用户集群维护一个模型来改进此计算。这样，就可以确定和应用每种文件或用户类型的最佳检索系统。本文中介绍的扩展允许重叠的、概率性的特征聚类，以进一步细化该过程。
2011-02-18 cs.HC cs.IR
A Semantic approach for effective document clustering using WordNet
Amravati University（阿姆拉瓦蒂大学）
如今，文本文档在互联网、电子邮件和网页上自发地增加，并以电子数据库的形式存储。安排和浏览文档变得困难。为了克服这一问题，文档预处理、术语选择、属性约简以及利用背景知识WordNet维护重要术语之间的关系成为数据采掘的重要参数。本文分三个阶段进行，首先通过去除停用词对文档进行预处理，使用porter词干提取算法进行词干提取，使用词网词库维护重要词之间的关系，生成全局唯一词和频繁词集，然后形成数据矩阵，最后使用tf-idf术语选择方法从文档中提取术语，TF-DF和TF 2基于它们的最小阈值。此外，每个文档术语都被预处理，其中每个术语在文档中的频率被计算用于表示。这种方法的目的是减少属性，并找到有效的术语选择方法，使用WordNet更好的聚类精度。实验在路透社转录子集，小麦，贸易，货币谷物和船舶，路透社21578，经典30，20新闻组（无神论），20新闻组（硬件），20新闻组（计算机图形学）等上进行评估。
2013-03-03 cs.CL cs.IR
Which Clustering Do You Want? Inducing Your Ideal Clustering with Minimal Feedback
University of Texas at Dallas（德克萨斯大学达拉斯分校）
虽然传统的文本聚类研究主要集中在按主题对文档进行分组，但可以想象，用户可能希望根据其他维度（例如作者的情绪、性别、年龄或情感）对文档进行聚类。在不知道用户意图的情况下，聚类算法将仅沿着最突出的维度对文档进行分组，这可能不是用户期望的维度。为了解决沿用户所需的维度聚类文档的问题，以前的工作集中在学习的相似性度量，从数据手动注释与用户的意图，或有一个人在聚类过程中以交互的方式构建一个特征空间。为了减少对人类知识的依赖，以微调相似性函数或选择这些方法所需的相关功能，我们提出了一种新的主动聚类算法，它允许用户轻松地选择她想要通过只检查少量的单词来聚类文档的维度。我们证明了我们的算法在各种常用的情感数据集上的可行性。
2014-01-16 cs.CL cs.IR cs.LG
Clustering and Classification in Text Collections Using Graph Modularity
提出了一种新的文本文档聚类和分类的快速算法。该算法利用二分图实现了集合的词-文档矩阵。也就是说，二分图的模块度被用作优化泛函。使用新算法在一些文本集合上进行的实验显示了具有竞争力的聚类（分类）质量和破纪录的速度。
2011-05-29 cs.DL cs.IR
Explainable Graph Spectral Clustering of Text Documents
Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）
本文提出一种解释组合拉普拉斯图谱聚类结果的方法，通过展示组合拉普拉斯嵌入、新提出的$K$-嵌入与词向量空间嵌入的近似等价性，在文本内容与聚类结果间建立理论桥梁，并经实验验证了该近似方法的有效性。
2023-08-01 cs.AI cs.IR cs.LG
Classification and Clustering of arXiv Documents, Sections, and Abstracts, Comparing Encodings of Natural and Mathematical Language
University of Konstanz（康斯坦茨大学）；University of Wuppertal（伍珀塔尔大学）；FIZ Karlsruhe（卡尔斯鲁厄专业信息中心）；George Washington University（乔治华盛顿大学）
在本文中，我们将展示如何选择和结合编码的自然和数学语言影响分类和聚类的文件与数学内容。我们通过使用arXiv预印本服务器中的文档、章节和摘要集来证明这一点，这些文档、章节和摘要都是按其主题类（数学、计算机科学、物理等）标记的。比较文本和公式的不同编码，并评估所选分类和聚类算法的性能和运行时间。我们的编码实现分类精度高达$82.8\%$和集群纯度高达$69.4\%$（集群的数量等于类的数量），和$99.9\%$（未指定的集群数量）分别。我们观察到文本和数学相似性之间的相关性相对较低，这表明文本和公式的独立性，并激励将它们作为文档的单独特征。可以采用分类和聚类，例如，用于文档搜索和推荐。此外，我们表明，计算机在分类文档时优于人类专家。最后，我们评估和讨论多标签分类和公式语义。
2020-05-22 cs.CL cs.DL cs.IR
Event-Driven News Stream Clustering using Entity-Aware Contextual Embeddings
Amazon AI（亚马逊人工智能）；Columbia University（哥伦比亚大学）
我们提出了一种在线新闻流聚类的方法，这是一个变种的非参数流K-means算法。我们的模型使用稀疏和密集文档表示的组合，沿着这些多个表示聚集文档聚类相似性，并使用神经分类器进行聚类决策。加权文档聚类相似性模型学习使用一种新的适应的三重损失成一个线性分类目标。我们表明，在预训练的Transformer模型中使用适当的微调目标和外部知识，可以显着提高聚类的上下文嵌入的有效性。我们的模型实现了一个新的国家的最先进的标准流聚类数据集的英文文档。
2021-01-26 cs.AI cs.CL cs.IR
Sequential Embedding Induced Text Clustering, a Non-parametric Bayesian Approach
State University of New York at Buffalo（纽约州立大学布法罗分校）；University of California, Irvine（加州大学欧文分校）
当前最先进的非参数贝叶斯文本聚类方法通过词袋上的多项分布对文档进行建模。虽然这些方法可以有效地利用文档的单词突发性表示，并取得不错的性能，但它们没有探索文本的顺序信息和同义词之间的关系。本文将文档建模为词袋、序列特征和词嵌入的结合点。我们提出了顺序嵌入诱导狄利克雷过程混合模型（SiDPMM），有效地利用这种联合文档表示文本聚类。序列特征由编码器-解码器组件提取。通过连续词袋模型（CBOW）产生的词嵌入来处理同义词。实验结果表明，我们的模型在两个主要方面的好处：1）提高了性能在多个不同的文本数据集的归一化互信息（NMI）; 2）更准确的推理地面真理的聚类数与正则化效果的微小离群聚类。
2018-11-29 cs.IR cs.LG stat.ML
Document clustering with evolved multiword search queries
Sheffield Hallam University（谢菲尔德哈勒姆大学）；University College London（伦敦大学学院）；University of Brighton（布莱顿大学）
本文提出用演化搜索查询进行文档聚类，通过优化查询减少重叠，并结合KNN分配未匹配文档，在8个数据集上取得最高准确率，同时兼具可解释性与可修改性。
2025-02-24 cs.IR cs.LG cs.NE
World Knowledge as Indirect Supervision for Document Clustering
Peking University（北京大学）；Hong Kong University of Science and Technology（香港科技大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
使学习协议在应用程序中成为现实的关键障碍之一是需要监督它们，这是一个昂贵的过程，通常需要聘请领域专家。我们认为框架使用世界知识作为间接监督。世界知识是通用的知识，它不是为任何特定领域设计的。如何使世界知识适应领域，以及如何表示它以供学习，是关键的挑战。在本文中，我们提供了一个例子，使用世界知识的领域相关的文档聚类。我们提供了三种方法来指定的世界知识的领域，通过解决的实体和它们的类型的二义性，并表示与世界知识的数据作为一个异构的信息网络。然后，我们提出了一个聚类算法，可以聚类多个类型，并将子类型的信息作为约束。在实验中，我们使用两个现有的知识库作为我们的世界知识的来源。一个是Freebase，它是关于实体及其组织的协作收集的知识。另一个是YAGO2，一个从维基百科自动提取的知识库，将知识映射到语言知识库WordNet。在两个文本基准数据集（20个新闻组和RCV 1）上的实验结果表明，引入世界知识作为间接监督，可以显著优于现有的聚类算法和基于世界知识特征的聚类算法.
2016-07-30 cs.CL cs.IR cs.LG
