Document Clustering using K-Means and K-Medoids
随着日常生活中信息的大量涌现，及时收集相关信息已变得困难。但是人，总是缺少时间，他们需要一切都快。因此，引入聚类来收集集群中的相关信息。信息聚类的算法有很多种，本文实现了K-means和K-Medoids聚类算法，并对两种算法进行了比较，找出了最适合聚类的算法。在形成的最佳聚类上，基于句子权重进行文档摘要，聚焦整个文档的关键点，使人们更容易确定自己想要的信息，从而只阅读那些与自己观点相关的文档。
2015-02-27 cs.IR
Experiments in Clustering Homogeneous XML Documents to Validate an Existing Typology
本文提出了一些实验，在聚类同质XML文档，以验证现有的分类或更普遍的anorganisational结构。我们的方法集成了从文档中提取知识的技术与文档的无监督分类（聚类）。我们专注于特征选择用于表示文档及其对新兴分类的影响。我们将结构化特征的选择与基于句法特征的精细文本选择相结合，并以2003年的Inria活动报告为例对这种方法进行了说明和评估。目标是根据这些活动报告的关键词或不同章节将项目分组为更大的组（主题）。然后，我们使用不同的特征选择的聚类结果进行比较，与Inria使用的官方主题结构。
2005-08-09 cs.IR
Document Clustering using K-Medoids
人们总是在寻找他们倾向于使用互联网的问题，但它又有大量的数据，由于它变得难以为读者获得最准确的数据。为了使人们更容易收集准确的数据，类似的信息必须集中在一个地方。在一个平台上有许多算法用于相关信息的聚类。在本文中，K-Medoids聚类算法已被用于形成进一步用于文档摘要的聚类。
2015-04-06 cs.IR
An improved semantic similarity measure for document clustering based on topic maps
一个主要的计算负担，而执行文档聚类，是一对文档之间的相似性度量的计算。相似性度量是一个函数，它根据文档之间的相似程度，为一对文档分配一个介于0和1之间的实数。值为零表示文档完全不相似，而值为1表示文档实际上相同。传统上，基于向量的模型已被用于计算文档相似度。基于向量的模型表示文档中存在的几个特征。这些方法的相似性措施，在一般情况下，不能占的语义文件。用人类语言编写的文档包含上下文，并且用于描述这些上下文的词语通常在语义上相关。受此启发，许多研究者提出了基于语义的相似性度量方法，即通过外部词库如WordNet（一个词汇数据库）进行文本注释。在本文中，我们定义了一个语义相似性度量的基础上表示的主题地图的文件。主题地图正迅速成为知识表示的工业标准，其重点是以后的搜索和提取。文档被转换成基于主题图的编码知识，并且一对文档之间的相似性被表示为共同模式（子树）之间的相关性。在文本挖掘数据集上的实验研究表明，与常用的文本聚类相似性度量方法相比，该方法具有更好的聚类效果。
2013-03-17 cs.IR
Document Clustering Based On Max-Correntropy Non-Negative Matrix Factorization
非负矩阵分解（NMF）已成功地应用于许多领域的分类和聚类。常用的NMF算法主要以最小化$l_2$距离或KL散度为目标，不适合非线性情况。本文提出了一种新的分解方法，通过最大化原始矩阵和两个低秩矩阵的乘积之间的相关熵来进行文档聚类。该方法还允许我们从数据中学习语义特征空间的新基向量。据我们所知，我们还没有看到任何工作已经做了最大化相关熵的NMF聚类高维文档数据。我们的实验结果表明，我们提出的方法优于其他变种的NMF算法在路透社21578和TDT2数据库。
2014-10-03 cs.IR
Using Chao's Estimator as a Stopping Criterion for Technology-Assisted Review
本文提出基于集成学习的主动学习策略和基于 Chao 估计量的停止准则，用于技术辅助评审中以估计相关文档流行率并指导评审停止，模拟实验表明其在多个数据集上优于现有方法。
2024-04-01 cs.IR
A comparison of two suffix tree-based document clustering algorithms
National University of Computer & Emerging Sciences NU-FAST（国家计算机与新兴科学大学 NU-FAST）
文档聚类作为一种无监督的方法，广泛用于导航，过滤，汇总和管理大量的文档库，如万维网（WWW）。最近，在这个领域的重点从传统的基于向量的文档相似度聚类后缀树的文档相似度，因为它提供了更多的语义表示的文本中存在的文件。在本文中，我们比较和对比两个最近推出的方法，基于后缀树数据模型的文档聚类。第一种是基于有效短语的文档聚类，它从文档中抽取短语，形成紧凑的文档表示，并使用基于公共后缀树的相似性度量对文档进行聚类。第二种方法是基于频繁词/词义序列的文档聚类，它从文档中相似地提取出共同词序列，并利用共同序列/共同词义序列进行紧凑表示，最后利用文档聚类方法对紧凑文档进行聚类。这些算法使用凝聚层次文档聚类来执行实际的聚类步骤，这些方法的差异主要是基于短语的提取，作为紧凑文档的模型表示，以及用于聚类的相似性度量。本文研究了这两种算法的计算方面，以及它们产生的结果的质量。
2012-01-10 cs.AI cs.IR
Estimating the Effective Topics of Articles and journals Abstract Using LDA And K-Means Clustering Algorithm
本文结合LDA、K-Means聚类和WordNet提取期刊与文章摘要中的关键短语，以帮助研究者构建更准确的检索字符串并避免误解。
2025-08-22 cs.IR
Automated Document Indexing via Intelligent Hierarchical Clustering: A Novel Approach
随着电子格式文本数据数量的不断增加，组织这些数据的需要成为一项极具挑战性的任务。在本文中，我们探讨了一个文件组织框架，利用智能层次聚类算法生成一组文件的索引。该框架被设计为可扩展和准确，即使是大型语料库。所提出的算法的优点在于需要最少的输入，与许多层次结构的属性被决定在一个自动化的方式使用统计方法。在预处理阶段中使用主题建模确保了对输入数据中的变化范围的鲁棒性。对于实验工作，使用了20-Newsgroups数据集。该方法的F-测度与传统的K-Means和K-Medoids聚类算法进行了比较。测试结果表明，我们提出的方法的适用性，效率和有效性。经过广泛的实验，我们得出结论，该框架显示出进一步的研究和专门的商业应用的承诺。
2015-04-01 cs.IR
Tagged Documents Co-Clustering
标签是短的单词序列，允许描述文本和非文本资源，如音乐，图像或书籍。机器信息检索系统可以使用标签来快速访问文档。这些标签可用于构建推荐系统，以向用户推荐类似的项目。然而，每个文档的标签数量是有限的，并且通常根据Zipf定律分布。在本文中，我们提出了一种方法来聚类成概念组的标签。对数据进行预处理，以消除幂律效应并增强低频词的上下文。然后，提出了一种层次凝聚的协同聚类算法，将最相关的标签分组到一起。在稀疏合成数据集和与科学论文相关的真实世界标签集合上评估了这些功能。任务是无监督的，我们提出了一些停止标准选择一个最佳的分割。
2021-10-14 cs.IR
Document Clustering based on Topic Maps
National University of Computer & Emerging Sciences（国家计算机与新兴科学大学）
文档聚类对于更好地管理、智能导航、高效过滤以及对像万维网（WWW）这样的大量文档进行简明摘要的重要性现在被研究人员广泛认可。下一个挑战在于基于文档的语义内容在语义上执行聚类。文档聚类的问题有两个主要组成部分：（1）以这样一种形式表示文档，该形式固有地捕获文本的语义。这也可以有助于降低文档的维度，以及（2）基于语义表示来定义相似性度量，使得其向具有较高语义关系的文档对分配较高的数值。文档的特征空间对于文档聚类来说是非常具有挑战性的。一个文档可能包含多个主题，它可能包含一个大的类独立的通用词集，和少数类特定的核心词。考虑到这些特点，传统的凝聚聚类算法，这是基于文档向量模型（DVM）或后缀树模型（STC），是效率较低的高聚类质量的结果。本文介绍了一种新的基于主题图表示的文档聚类方法。该文件正在被转换成一个紧凑的形式。提出了一种基于主题图数据和结构的相似性度量方法。建议的方法是使用凝聚层次聚类和测试标准的信息检索（IR）数据集。对比实验表明，该方法能有效地提高聚类质量.
2011-12-29 cs.AI cs.IR
Faster Exact Search using Document Clustering
我们展示了如何全文搜索的基础上，倒排索引可以加速聚类的文件，而不会丢失结果（SeCluD - SEarch与CLUSSTERED文件）。我们开发了一个快速的多级聚类算法，明确使用查询成本的合取查询作为目标函数。根据输入的不同，我们可以比非集群搜索快四倍。所得到的聚类对于数据压缩和在多台机器上分配工作也很有用。
2014-11-05 cs.DS cs.IR
Clustering Unstructured Data (Flat Files) - An Implementation in Text Mining Tool
随着科技的进步和储存成本的降低，个人和组织都倾向于使用电子媒体来储存文本信息和文件。读者从非结构化的文档集合中检索相关信息是一项耗时的工作。当集合按组或类别排序或分类时，从大型集合中查找文档更容易，耗时更少。找到最佳的这种分组的问题仍然存在。本文讨论了我们实现的用于聚类非结构化文本文档的k-Means聚类算法的实现，从非结构化文本的表示开始，到达聚类的结果集。基于对样本文档集的聚类分析，我们还提出了一种表示文档的技术，可以进一步提高聚类结果。
2010-07-25 cs.IR
Ontology Based Document Clustering Using MapReduce
如今，文档聚类被认为是一个数据密集型的任务，由于戏剧性的，快速增加的可用文档的数量。然而，代表这些文件的特征也太大。表示文档最常用的方法是向量空间模型，它将文档特征表示为一个词包，而不表示词之间的语义关系。在本文中，我们介绍了一个分布式实现的二分法k-means使用MapReduce编程模型。我们提出的实现背后的目的是解决密集型数据文档的聚类问题。此外，我们建议将WordNet本体与二分k-means相结合，以利用单词之间的语义关系来增强文档聚类结果。我们提出的实验结果表明，使用词汇类别的名词只提高了内部评价措施的文件聚类，并减少了文件的功能从数千到数十个功能。我们的实验是使用Amazon Elastic MapReduce部署Bisecting k-means算法进行的。
2015-05-12 cs.DB cs.IR
Rank Based Clustering For Document Retrieval From Biomedical Databases
如今，搜索引擎被广泛用于从世界各地的各种资源中提取信息。其中，大多数检索位于生物医学领域，用于从各种生物医学数据库中检索相关文献。目前的搜索引擎缺乏对文档的聚类和对文档相关性的表征。为了克服这些缺陷，基于文本的搜索引擎已被开发用于从Medline和PubMed生物医学数据库中检索文档。该搜索引擎引入了基于聚类的网页排序概念，自动表示聚类基础上的相关性。除此之外，图树构造用于表示联网在一起的文档的相关性水平。基于搜索引擎的生物医学文档的这种高级功能整合发现在基于相关性的审查相关文档中提供更好的结果。
2009-12-11 cs.DB cs.IR
Arabic text summarization based on latent semantic analysis to enhance arabic documents clustering
University Sidi Mohamed Ben Abdellah (USMBA)（西迪·穆罕默德·本·阿卜杜拉大学）；Faculty of Science Dhar EL Mahraz (FSDM)（达尔·马赫拉兹科学学院）
阿拉伯文文档聚类是一项重要的任务，以获得良好的效果与传统的信息检索（IR）系统，特别是与阿拉伯语在线文档的数量迅速增长。文档聚类的目标是使用不同的相似性/距离度量将相似的文档自动分组到一个聚类中。该任务往往受到文档长度的影响，文档上的有用信息往往伴随着大量的噪声，因此有必要在保留有用信息的同时消除这些噪声，以提高文档聚类的性能。在本文中，我们建议使用潜在语义分析模型对阿拉伯文文档聚类的文本摘要的影响进行评估，以解决上述问题，使用五个相似性/距离的措施：欧几里德距离，余弦相似性，Jaccard系数，皮尔逊相关系数和平均Kullback-Leibler发散，两次：没有和词干。实验结果表明，该方法有效地解决了噪声信息和文档长度的问题，从而显着提高聚类性能。
2013-02-06 cs.CL cs.IR
A Novel Modified Apriori Approach for Web Document Clustering
基于数据采掘中的关联技术，传统的Apriori算法可用于Web文档的聚类。但该算法存在数据库扫描次数多、关联规则分析能力弱等缺陷。在大型数据库的现代世界中，传统的Apriori算法的效率将减少流形。本文提出了一种新的改进的apriori算法，通过减少重复的数据库扫描和改进传统的apriori算法的关联分析来对web文档进行聚类。进一步，我们分别应用模糊C均值（FCM），K均值和向量空间模型（VSM）技术来改进这些聚类。为了进行实验，我们使用康奈尔大学拥有超过10，000个文档的Classic 3和Classic 4数据集，并在其上运行传统的先验算法和我们改进的先验算法。实验结果表明，我们的方法在数据库扫描和分析关联性改进方面优于传统的先验算法。我们发现，FCM是优于K-Means和VSM的F-度量的不同大小的集群。
2015-03-29 cs.IR
Privacy Preserving MFI Based Similarity Measure For Hierarchical Document Clustering
万维网的日益增长的性质给研究人员在提高互联网上的搜索效率方面提出了巨大的挑战。如今，Web文档聚类已经成为一个重要的研究课题，以提供最相关的文档在巨大的卷返回响应于一个简单的查询。本文首先提出了一种基于最大频繁项集（MFI）的Apriori聚类算法。然后利用相同的最大频繁项集（MFI）的相似性度量的层次文档聚类。通过考虑最大频繁项集，降低了文档集的维数。第二，提供开放的Web文档的隐私保护是为了避免重复文档。这样，我们就可以保护个人的隐私文件的版权。这可以通过等价关系来实现。
2012-07-12 cs.DB cs.IR
Web-Based File Clustering and Indexing for Mindoro State University
民都洛州立大学基于网络的文件聚类和索引旨在将通过网络传播的数据组织成组或集合，以促进数据的可用性和访问，同时满足用户的偏好。主要的好处包括增加Web信息的可访问性，了解用户的导航行为，改善Web上的信息检索和内容交付。基于Web的文件聚类可以帮助用户找到所需的文档。在本文中，一种新的方法已被引入搜索结果聚类，是基于检索到的文档的语义，而不是在这些文件中的术语的语法。数据聚类被用来改善从文档集合中的信息检索。数据处理和分析使用SPSS的工具进行评估，以测试所使用的措施的信度和效度。评价基于所选质量特征描述的Likert量表（优、良、一般和差）。
2022-02-13 cs.IR
Document Clustering with K-tree
Queensland University of Technology（昆士兰科技大学）
本文介绍了昆士兰科技大学的一个小组在INEX 2008上对XML挖掘轨道所采取的方法。我们介绍了K树聚类算法在信息检索的上下文中，通过调整它的文档聚类。文档聚类中存在着许多大规模的问题。K树由于其低复杂度，可以很好地扩展大输入。它在效率和质量方面都取得了可喜的成果。使用支持向量机完成文档分类。
2010-01-06 cs.AI cs.DS cs.IR
Experimental Estimation of Number of Clusters Based on Cluster Quality
文本聚类是一种文本挖掘技术，它将给定的文本文档集划分为重要的聚类。它用于将大量的文本文档组织成组织良好的形式。在大多数聚类算法中，聚类数必须事先指定，这是这些算法的一个缺点。本文的目的是实验展示如何确定基于聚类质量的聚类数。由于分区聚类算法非常适合于对大型文档数据集进行聚类，因此我们的分析仅限于分区聚类算法。
2015-03-10 cs.IR
Information Retrieval in long documents: Word clustering approach for improving Semantics
本文提出基于词嵌入聚类和词簇加权的长文档语义信息检索方法，通过融合词汇与语义表示，在 SQuAD 和 TREC-CAR 上显著优于纯关键词方法。
2025-07-26 cs.IR
Document Clustering Evaluation: Divergence from a Random Baseline
Queensland University of Technology（昆士兰科技大学）；University of Otago（奥塔哥大学）
偏离随机基线是一种用于评估文档聚类的技术。它确保聚类质量度量正在执行工作，以防止无效的聚类为没有提供有用结果的聚类提供高分。这些概念的定义和分析，使用内在和外在的方法来评估文件集群的质量。这包括经典的聚类到类别的方法和一种新的方法，使用特设信息检索。与随机基线方法的差异能够区分INEX XML挖掘轨道中遇到的无效聚类。它似乎也执行类似于归一化互信息（NMI）措施的归一化，但它可以应用于任何集群质量的措施。当它被应用于由RMSE测量的失真的固有测量时，从随机基线减去提供了一个明显的最佳值，否则是不明显的。这种方法可以应用于任何聚类评价。本文介绍了它的使用的背景下，文档聚类评价。
2012-08-29 cs.AI cs.IR
Expériences de classification d'une collection de documents XML de structure homogène
本文提出了一些实验，在聚类同质XML文档，以验证现有的分类或更普遍的anorganisational结构。我们的方法集成了从文档中提取知识的技术与文档的无监督分类（聚类）。我们专注于特征选择用于表示文档及其对新兴分类的影响。我们将结构化特征的选择与基于句法特征的精细文本选择相结合，并以2003年的Inria活动报告为例对这种方法进行了说明和评估。目标是根据这些活动报告的关键词或不同章节将项目分组为更大的组（主题）。然后，我们使用不同的特征选择的聚类结果进行比较，与Inria使用的官方主题结构。
2005-08-09 cs.IR
An effective web document clustering for information retrieval
在过去的几年中，Web的大小呈指数级增长，用户可以获得与主题相关的数千个文档。有了这么多的信息，如果没有一个适当的框架来搜索现有的数据，就不可能充分利用万维网。这种必要的组织可以通过许多方式来完成。在本文中，我们介绍了一种组合的方法来聚类的网页，首先发现频繁集，然后聚类的文件。这些频繁集是通过使用频繁模式增长技术产生的。然后应用模糊C-均值算法对它进行聚类，找到具有高度相关性和相似特征的文档的聚类。我们使用Gensim包来实现我们的方法，因为它的简单性和鲁棒性。我们比较了我们的结果与（频繁模式增长，K-means）和（频繁模式增长，余弦_相似性）的组合方法。实验结果表明，该方法比上述两种方法的结合更有效，并且能够更有效地处理传统模糊C均值算法对初始质心和待形成聚类数敏感的严重缺陷。
2012-11-06 cs.IR
Information-Theoretic Generative Clustering of Documents
Waseda University（早稻田大学）
本文提出生成式聚类（GC），利用大语言模型生成的文本进行聚类，通过KL散度定义相似度并结合重要性采样算法，取得了超越现有方法的SOTA性能，并有效提升了生成式文档检索的准确率。
2024-12-18 cs.CL cs.IR cs.IT
Improving Update Summarization by Revisiting the MMR Criterion
本文描述了一种基于双重最大化准则的多文档更新摘要方法。一个最大的边缘相关性，如标准，修改，所谓的SMMR，是用来选择句子，接近的主题，并在同一时间，远离句子中使用的已经阅读的文件。然后，通过组装高排名的材料和应用一些基于规则的语言后处理，以获得长度减少和保持一致性的摘要。通过参加文本分析会议（TAC）2008年的评估活动，我们已经表明，我们的方法取得了可喜的成果。
2010-04-20 cs.IR
A Fuzzy Based Approach to Text Mining and Document Clustering
Indian Institute of Technology-Kharagpur（印度理工学院卡尔哈普尔分校）；VIT University（VIT大学）
模糊逻辑处理真实度。在本文中，我们已经展示了如何应用模糊逻辑在文本挖掘，以执行文档聚类。我们举了一个文档聚类的例子，其中文档必须被聚类为两个类别。该方法包括清理文本和词干。然后，我们选择了m个特征，这些特征在属于这两个聚类的文档之间的词频（WF）（通过文档长度进行归一化）中存在显著差异。将待聚类的文档表示为m个归一化WF值的集合。模糊c均值（FCM）算法被用来聚类这些文档分为两类。FCM执行完成后，分析两个聚类中的文档各自的m特征值。众所周知，属于某个文档类型（比如X）的文档对于某些特定的特征往往具有更高的WF值。如果属于一个簇的文档对于这些相同的特征具有更高的WF值，则该簇被称为代表X。通过模糊逻辑，我们不仅可以得到聚类名称，而且还可以得到文档属于某个聚类的程度。
2013-06-06 cs.IR cs.LG
Integrating Document Clustering and Topic Modeling
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）
文档聚类和主题建模是两个密切相关的任务，可以相互受益。主题建模可以将文档投影到一个主题空间中，这有助于有效的文档聚类。通过文档聚类发现的聚类标签可以被合并到主题模型中，以提取特定于每个聚类的局部主题和所有聚类共享的全局主题。在本文中，我们提出了一个多粒度聚类主题模型（MGCTM），它集成了文档聚类和主题建模到一个统一的框架，并共同执行这两项任务，以达到整体最佳性能。该模型将两个组件紧密耦合：用于发现文档集合中潜在组的混合组件和用于挖掘多粒度主题的主题模型组件，其中多粒度主题包括特定于每个簇的局部主题和跨簇共享的全局主题，采用变分推理来近似隐变量的后验，并学习模型参数。在两个数据集上的实验证明了该模型的有效性。
2013-09-26 cs.CL cs.IR cs.LG
K-tree: Large Scale Document Clustering
Queensland University of Technology（昆士兰科技大学）
我们在信息检索上下文中引入K树。它是k-means聚类算法的有效近似。与k均值不同，它形成了集群的层次结构。它已经扩展到解决稀疏表示的问题。我们使用文档集合将性能和质量与CLUTO进行比较。K树具有较低的时间复杂度，适用于大型文档集合。这种树结构允许在空间需求超过主存的情况下实现基于磁盘的高效实现。
2010-01-06 cs.AI cs.DS cs.IR
A new keyphrases extraction method based on suffix tree data structure for arabic documents clustering
Sidi Mohamed Ben Abdellah University（西迪·穆罕默德·本·阿卜杜拉大学）
文档聚类是数据采掘的一个分支，它是一种无监督的分类，用于在未标记的数据集合中找到结构。在使用全文表示时，文档中的有用信息可能伴随着大量的噪声词，因此会对聚类过程的结果产生负面影响。因此，为了提高聚类结果的质量，就需要在保留有用信息的基础上去除噪声词。这个问题发生在不同程度的任何语言，如英语，欧洲，印地语，中文和阿拉伯语。为了克服这个问题，本文提出了一种新的基于后缀树数据结构（KpST）的关键词提取方法，并将提取的关键词用于聚类过程中。所提出的关键词提取方法与语言无关，因此可以应用于任何语言。在这项研究中，我们感兴趣的是处理阿拉伯语，这是最复杂的语言之一。为了评估我们的方法，我们进行了实验研究阿拉伯文文档使用最流行的聚类方法的层次算法：凝聚层次算法与七个链接技术和各种距离函数和相似性措施，以执行阿拉伯文文档聚类任务。实验结果表明，该方法提高了聚类结果的质量。我们还建议研究使用测试数据集的词干聚类它与相同的文档聚类技术和相似性/距离措施的效果。
2014-01-22 cs.CL cs.IR
Vec2GC -- A Graph Based Clustering Method for Text Representations
Robert Bosch Research and Technology Center（罗伯特·博世研究与技术中心）
本文提出端到端聚类算法 Vec2GC，通过文本表示学习构建加权图并进行社区检测，实现对词项或文档的基于密度且支持层次的聚类。
2023-04-12 cs.IR cs.LG
Improving Document Clustering by Eliminating Unnatural Language
University of Massachusetts（马萨诸塞大学）；Emory University（埃默里大学）
技术文档包含大量的非自然语言，如表格、公式、伪代码等，非自然语言可能是混淆现有NLP工具的重要因素。本文提出了一种区分非自然语言和自然语言的有效方法，并评估了非自然语言检测对文档聚类等NLP任务的影响。我们认为这个问题作为一个信息抽取任务，并建立一个多类分类模型，识别非自然的语言成分分为四类。首先，我们通过收集PPT、PDF和HTML等各种格式的幻灯片和论文来创建一个新的注释语料库，其中非自然语言成分被注释为四类。然后，我们探索纯文本中可用的功能，以构建一个统计模型，该模型可以处理任何格式，只要它被转换为纯文本。我们的实验表明，去除不自然的语言成分，使文档聚类的绝对改善高达15%。我们的语料库和工具是公开的。
2017-03-17 cs.CL cs.IR
The Opposite of Smoothing: A Language Model Approach to Ranking Query-Specific Document Clusters
利用信息引起的（查询特定）聚类的顶部检索的文件一直被提出作为一种手段，以提高精度的最高排名的返回结果。我们提出了一种新的语言模型的方法来排名查询特定的集群的假设百分比的相关文件，他们包含。虽然大多数以前的集群排名方法集中在集群作为一个整体，我们的模型还利用信息诱导与集群相关的文件。我们的模型大大优于以前的方法，用于识别包含高相关文档百分比的聚类。此外，使用该模型来产生文档排序，产生的精度在顶级的性能，始终优于初始的排名上进行聚类。性能也有利地比较与一个国家的最先进的伪反馈为基础的检索方法。
2014-01-16 cs.IR
Probability Based Clustering for Document and User Properties
信息检索系统可以通过利用诸如用户和文档特征的上下文信息来改进。本文提出了一个模型的基础上重叠的概率或模糊聚类等功能。该模型被应用在一个融合方法，线性结合几个检索系统。融合是基于权重的不同的检索系统，这是通过利用相关反馈信息学习。可以通过为每个文档和用户集群维护一个模型来改进此计算。这样，就可以确定和应用每种文件或用户类型的最佳检索系统。本文中介绍的扩展允许重叠的、概率性的特征聚类，以进一步细化该过程。
2011-02-18 cs.HC cs.IR
Pre-retrieval Query Clustering for Adaptive Top-k Document Retrieval in RAG Systems
Portland State University（波特兰州立大学）；EvenUp
针对RAG系统固定top-k检索的弊端，提出基于预检索查询聚类的自适应检索深度框架，离线估计查询难度并聚类推荐检索深度，在线常数时间分配，在真实流量中F1提升36%以上且token减少14%。
2026-09-16 cs.IR
A Semantic approach for effective document clustering using WordNet
Amravati University（阿姆拉瓦蒂大学）
如今，文本文档在互联网、电子邮件和网页上自发地增加，并以电子数据库的形式存储。安排和浏览文档变得困难。为了克服这一问题，文档预处理、术语选择、属性约简以及利用背景知识WordNet维护重要术语之间的关系成为数据采掘的重要参数。本文分三个阶段进行，首先通过去除停用词对文档进行预处理，使用porter词干提取算法进行词干提取，使用词网词库维护重要词之间的关系，生成全局唯一词和频繁词集，然后形成数据矩阵，最后使用tf-idf术语选择方法从文档中提取术语，TF-DF和TF 2基于它们的最小阈值。此外，每个文档术语都被预处理，其中每个术语在文档中的频率被计算用于表示。这种方法的目的是减少属性，并找到有效的术语选择方法，使用WordNet更好的聚类精度。实验在路透社转录子集，小麦，贸易，货币谷物和船舶，路透社21578，经典30，20新闻组（无神论），20新闻组（硬件），20新闻组（计算机图形学）等上进行评估。
2013-03-03 cs.CL cs.IR
Which Clustering Do You Want? Inducing Your Ideal Clustering with Minimal Feedback
University of Texas at Dallas（德克萨斯大学达拉斯分校）
虽然传统的文本聚类研究主要集中在按主题对文档进行分组，但可以想象，用户可能希望根据其他维度（例如作者的情绪、性别、年龄或情感）对文档进行聚类。在不知道用户意图的情况下，聚类算法将仅沿着最突出的维度对文档进行分组，这可能不是用户期望的维度。为了解决沿用户所需的维度聚类文档的问题，以前的工作集中在学习的相似性度量，从数据手动注释与用户的意图，或有一个人在聚类过程中以交互的方式构建一个特征空间。为了减少对人类知识的依赖，以微调相似性函数或选择这些方法所需的相关功能，我们提出了一种新的主动聚类算法，它允许用户轻松地选择她想要通过只检查少量的单词来聚类文档的维度。我们证明了我们的算法在各种常用的情感数据集上的可行性。
2014-01-16 cs.CL cs.IR cs.LG
Document Clustering using Sequential Information Bottleneck Method
介绍了主方向分割（PDDP）算法及其缺点，介绍了主方向分割（PDDP）算法的组合框架，描述了EM算法的简化版本--球面高斯EM（sGEM）算法，信息瓶颈法（IB）是一种寻找精度、复杂度和时间空间的技术。PDDP算法递归地使用从协方差矩阵导出的垂直于主方向的超平面将数据样本分成两个子聚类，这是该算法的中心逻辑。然而，PDDP算法可能会产生很差的结果，特别是当集群没有很好地彼此分离时。为了提高聚类结果的质量，该算法通过不同设置的IB算法重新分配新的聚类成员来解决。IB方法准确度高，但耗时较多。此外，基于sGEM算法和顺序信息瓶颈方法（sIB）的理论背景，可以明显地扩展框架以覆盖使用贝叶斯信息准则估计聚类数的问题。实验结果表明，该算法的有效性与现有的算法相比。
2010-04-11 cs.IR
BloSEn: Blog Search Engine Based On Post Concept Clustering
本文的研究重点是建立一个博客搜索引擎，它不仅关注关键字搜索，而且包括扩展的搜索功能。它还结合了博客文章的概念聚类，这是基于类别提取的博客文章的语义内容分析。所提出的方法被称为“BloSen（博客搜索引擎）"。它涉及从博客中提取帖子并解析它们以提取博客元素并将它们存储为文档格式的字段。倒排索引正在文档字段上构建。搜索是在索引上诱导的，请求的查询是根据迄今为止从博客帖子中获得的文档来处理的。它目前专注于Blogger和WordPress托管博客，因为这两个托管服务是博客圈中最受欢迎的。提出的BloSen模型进行了实验与原型实现和用户的相关性累积度量值为95.44%的实验结果证实了所提出的模型的效率。
2013-10-08 cs.IR
Classification and Clustering of arXiv Documents, Sections, and Abstracts, Comparing Encodings of Natural and Mathematical Language
University of Konstanz（康斯坦茨大学）；University of Wuppertal（伍珀塔尔大学）；FIZ Karlsruhe（卡尔斯鲁厄专业信息中心）；George Washington University（乔治华盛顿大学）
在本文中，我们将展示如何选择和结合编码的自然和数学语言影响分类和聚类的文件与数学内容。我们通过使用arXiv预印本服务器中的文档、章节和摘要集来证明这一点，这些文档、章节和摘要都是按其主题类（数学、计算机科学、物理等）标记的。比较文本和公式的不同编码，并评估所选分类和聚类算法的性能和运行时间。我们的编码实现分类精度高达$82.8\%$和集群纯度高达$69.4\%$（集群的数量等于类的数量），和$99.9\%$（未指定的集群数量）分别。我们观察到文本和数学相似性之间的相关性相对较低，这表明文本和公式的独立性，并激励将它们作为文档的单独特征。可以采用分类和聚类，例如，用于文档搜索和推荐。此外，我们表明，计算机在分类文档时优于人类专家。最后，我们评估和讨论多标签分类和公式语义。
2020-05-22 cs.CL cs.DL cs.IR
Automatic Construction of Multi-faceted User Profiles using Text Clustering and its Application to Expert Recommendation and Filtering Problems
本文提出通过文本聚类专家资料构建多面用户画像，以刻画其隐藏兴趣主题，并验证该方法可有效改进专家推荐、专家发现与文档过滤性能。
2024-01-19 cs.IR
Explainable Graph Spectral Clustering of Text Documents
Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）
本文提出一种解释组合拉普拉斯图谱聚类结果的方法，通过展示组合拉普拉斯嵌入、新提出的$K$-嵌入与词向量空间嵌入的近似等价性，在文本内容与聚类结果间建立理论桥梁，并经实验验证了该近似方法的有效性。
2023-08-01 cs.AI cs.IR cs.LG
Event-Driven News Stream Clustering using Entity-Aware Contextual Embeddings
Amazon AI（亚马逊人工智能）；Columbia University（哥伦比亚大学）
我们提出了一种在线新闻流聚类的方法，这是一个变种的非参数流K-means算法。我们的模型使用稀疏和密集文档表示的组合，沿着这些多个表示聚集文档聚类相似性，并使用神经分类器进行聚类决策。加权文档聚类相似性模型学习使用一种新的适应的三重损失成一个线性分类目标。我们表明，在预训练的Transformer模型中使用适当的微调目标和外部知识，可以显着提高聚类的上下文嵌入的有效性。我们的模型实现了一个新的国家的最先进的标准流聚类数据集的英文文档。
2021-01-26 cs.AI cs.CL cs.IR
Clustering and Classification in Text Collections Using Graph Modularity
提出了一种新的文本文档聚类和分类的快速算法。该算法利用二分图实现了集合的词-文档矩阵。也就是说，二分图的模块度被用作优化泛函。使用新算法在一些文本集合上进行的实验显示了具有竞争力的聚类（分类）质量和破纪录的速度。
2011-05-29 cs.DL cs.IR
Simplifying Multilingual News Clustering Through Projection From a Shared Space
Priberam Labs（普里贝拉姆实验室）
为媒体监测组织和聚类多语言新闻文章的任务对于实时的追踪新闻报道至关重要。这项任务的大多数方法都集中在高资源语言（主要是英语）上，而忽略了低资源语言。考虑到这一点，我们提出了一个更简单的在线系统，能够集群传入的文档流，而不依赖于特定语言的功能。我们的经验表明，使用多语言的上下文嵌入的文档表示显着提高聚类质量。我们挑战以前的跨语言的方法，消除了建立单语集群的前提条件。我们将聚类过程建模为一组线性分类器来聚合相似的文档，并通过在线合并来纠正密切相关的多语言聚类。我们的系统在多语言新闻流聚类数据集上实现了最先进的结果，并且我们引入了一种新的多语言zero-shot新闻聚类评估。我们的代码是开源的。
2022-04-28 cs.CL cs.IR
Multi-Task Learning for Email Search Ranking with Auxiliary Query Clustering
用户的信息需求在不同的任务中有很大的不同，因此他们的查询在表达能力和语义上也会有很大的不同。许多研究已经提出了这样的查询多样性模型，通过获取查询类型和建立查询相关的排名模型。这些研究通常需要一个标记的查询数据集或来自多个用户对同一文档的点击。然而，当手动查询标记不可行时，这些技术不适用，并且由于文档集合的私有性质，聚集的点击不可用，例如，在电子邮件搜索场景中。在本文中，我们研究如何获得查询类型在一个无监督的方式，以及如何将这些信息到查询相关的排名模型。首先，我们开发了一个层次聚类算法的基础上截断SVD和方差最大旋转，以获得粗到细的查询类型。然后，我们研究了三个依赖于查询的排名模型，包括两个利用查询类型信息作为附加特征的神经模型，以及一个将查询类型视为辅助查询聚类预测任务标签的新型多任务神经模型。这个多任务模型经过训练，可以同时对文档进行排名并预测查询类型。我们对数千万个真实电子邮件搜索查询的实验表明，所提出的多任务模型可以显着优于基线神经排名模型，后者要么不包含查询类型信息，要么只是简单地将查询类型作为附加功能。
2018-09-15 cs.IR
Sequential Embedding Induced Text Clustering, a Non-parametric Bayesian Approach
State University of New York at Buffalo（纽约州立大学布法罗分校）；University of California, Irvine（加州大学欧文分校）
当前最先进的非参数贝叶斯文本聚类方法通过词袋上的多项分布对文档进行建模。虽然这些方法可以有效地利用文档的单词突发性表示，并取得不错的性能，但它们没有探索文本的顺序信息和同义词之间的关系。本文将文档建模为词袋、序列特征和词嵌入的结合点。我们提出了顺序嵌入诱导狄利克雷过程混合模型（SiDPMM），有效地利用这种联合文档表示文本聚类。序列特征由编码器-解码器组件提取。通过连续词袋模型（CBOW）产生的词嵌入来处理同义词。实验结果表明，我们的模型在两个主要方面的好处：1）提高了性能在多个不同的文本数据集的归一化互信息（NMI）; 2）更准确的推理地面真理的聚类数与正则化效果的微小离群聚类。
2018-11-29 cs.IR cs.LG stat.ML
Document clustering with evolved multiword search queries
Sheffield Hallam University（谢菲尔德哈勒姆大学）；University College London（伦敦大学学院）；University of Brighton（布莱顿大学）
本文提出用演化搜索查询进行文档聚类，通过优化查询减少重叠，并结合KNN分配未匹配文档，在8个数据集上取得最高准确率，同时兼具可解释性与可修改性。
2025-02-24 cs.IR cs.LG cs.NE
CLAIRLIB Documentation v1.03
University of Michigan（密歇根大学）；Columbia University（哥伦比亚大学）
Clair库旨在简化自然语言处理（NLP）、信息检索（IR）和网络分析中的许多通用任务。它的体系结构还允许外部软件以很小的努力插入。Clairlib原生的功能包括标记化、摘要、LexRank、偏倚LexRank、文档聚类、文档索引、PageRank、偏倚PageRank、Web图形分析、网络生成、幂律分布分析、网络分析（聚类系数，度分布绘图，平均最短路径，直径，三角形，最短路径矩阵，连通分量），余弦相似性，图上的随机游动，统计（分布，测试），Tf，Idf，社区发现。
2007-12-19 cs.CL cs.IR
World Knowledge as Indirect Supervision for Document Clustering
Peking University（北京大学）；Hong Kong University of Science and Technology（香港科技大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
使学习协议在应用程序中成为现实的关键障碍之一是需要监督它们，这是一个昂贵的过程，通常需要聘请领域专家。我们认为框架使用世界知识作为间接监督。世界知识是通用的知识，它不是为任何特定领域设计的。如何使世界知识适应领域，以及如何表示它以供学习，是关键的挑战。在本文中，我们提供了一个例子，使用世界知识的领域相关的文档聚类。我们提供了三种方法来指定的世界知识的领域，通过解决的实体和它们的类型的二义性，并表示与世界知识的数据作为一个异构的信息网络。然后，我们提出了一个聚类算法，可以聚类多个类型，并将子类型的信息作为约束。在实验中，我们使用两个现有的知识库作为我们的世界知识的来源。一个是Freebase，它是关于实体及其组织的协作收集的知识。另一个是YAGO2，一个从维基百科自动提取的知识库，将知识映射到语言知识库WordNet。在两个文本基准数据集（20个新闻组和RCV 1）上的实验结果表明，引入世界知识作为间接监督，可以显著优于现有的聚类算法和基于世界知识特征的聚类算法.
2016-07-30 cs.CL cs.IR cs.LG
Using Fuzzy Logic to Leverage HTML Markup for Web Page Representation
UNED（西班牙国立远程教育大学）；University of Warwick（华威大学）
选择合适的文档表示方法对文档聚类任务的性能起着至关重要的作用。能够在文档中挑选出代表性的单词可以导致文档聚类的实质性改进。在Web文档的情况下，定义内容布局的HTML标记提供了额外的结构信息，可以进一步利用这些信息来识别代表性单词。在本文中，我们介绍了一个模糊的术语加权的方法，使最HTML结构的文档聚类。我们提出并建立在这样一个假设的基础上，即一个好的表示可以利用人类浏览文档的方式来提取最具代表性的单词。网页的作者利用HTML标签通过吸引读者注意力的页面元素（如页面标题或强调元素）传达网页最重要的信息。我们定义了一组标准来利用这些页面元素所提供的信息，并引入了这些标准的模糊组合，我们评估的网页聚类任务的上下文中。我们提出的方法，称为抽象模糊组合准则（AFCC），可以适应数据集的特征分布不同，取得了良好的效果相比，其他类似的模糊逻辑为基础的方法和TF-IDF在不同的数据集。
2016-06-14 cs.CL cs.IR
Semi-supervised Text Categorization Using Recursive K-means Clustering
University of Mysore（迈索尔大学）
本文提出了一种用于文本分类的半监督学习算法。提出了一种对未标注文本进行标注的方法。所提出的方法是基于分而治之策略的原则。它使用递归K-means算法来划分标记和未标记的数据汇集。在每个分区上递归地应用K-means算法，直到实现期望的级别分区，使得每个分区包含单个类的标记文档。一旦获得所需的聚类，各自的聚类质心被认为是代表的集群和最近邻规则用于分类未知的文本文档。在20 Newsgroups数据集上进行了一系列的实验，以显示该模型相对于其他最新模型的优越性。
2017-06-24 cs.CL cs.IR cs.LG
Accessing accurate documents by mining auxiliary document information
Christ University Faculty of Engineering（基督大学工程学院）
早期的文本挖掘技术包括k-means，Naive Bayes，SVM等算法，这些算法对文本文档进行分类和聚类，以挖掘文档的相关信息。改进挖掘技术的需要使我们使用可用的算法来搜索技术。本文提出了一种技术，它使用的辅助信息，是存在于文本文档中，以提高挖掘。该辅助信息可以是对内容的描述。这些信息可能对挖矿有用，也可能完全无用。在考虑使用这种技术进行文本挖掘之前，用户应该评估辅助信息的价值。本文结合经典的聚类算法对数据集进行挖掘。该算法分两个阶段运行，在不同的抽象层次上进行挖掘。然后，将根据必要的类别对分组文件进行分类。所提出的技术是针对改进的结果，文档聚类。
2016-04-15 cs.AI cs.IR cs.LG
