Fuzzy clustering of web documents using equivalence relations and fuzzy hierarchical clustering
传统的聚类算法在处理自然数据的收集，这往往是模糊和不确定的挑战有困难。模糊聚类方法有可能有效地管理这种情况。模糊聚类方法可以构造边界不确定的类，并允许一个对象属于一个或多个具有一定隶属度的类。本文提出了一种利用等价关系和模糊层次聚类对Web文档进行模糊聚类的算法和实验结果。
2014-06-06 cs.IR
A Survey on optimization approaches to text document clustering
由于电子表格中存在大量的文本信息，文本聚类是当前发展最快的研究领域之一。有几种技术用于以这样的方式对文档进行聚类，即聚类内的文档与其他聚类具有高的内部相似性和低的内部相似性。许多文档聚类算法在有效地导航、汇总和组织信息时提供本地化搜索。通过应用高速和高质量的优化算法可以获得全局最优解。优化技术在整个解决方案空间中执行全局化搜索。本文对文本聚类的优化方法进行了综述。
2014-01-10 cs.IR
Semantic Document Clustering on Named Entity Features
基于关键词的信息处理由于对词的简单处理而具有局限性。在本文中，我们引入命名实体作为目标的文档聚类，这是定义文档语义的关键元素，在许多情况下是用户的关注。首先，传统的基于关键字的向量空间模型被适配为在实体名称、类型、名称-类型对和标识符的空间上定义的向量，而不是关键字。然后，分层文档聚类可以使用定义为表示文档的向量的余弦的相似性度量来执行。实验结果进行了介绍和讨论。根据命名实体的信息对文档进行聚类，对于管理基于Web的学习材料的相关对象可能是有用的。
2018-07-20 cs.IR
Web Document Clustering and Ranking using Tf-Idf based Apriori Approach
在过去的几年里，动态Web呈指数级增长，现在用户可以获得与主题相关的数千个文档。大多数Web文档都是非结构化的，没有组织的方式，因此用户更难找到相关文档。一种更有用和有效的机制是将聚类与排名相结合，其中聚类可以将相似的文档分组在一个地方，并且可以将排名应用于每个聚类，以便在开始时查看顶部文档。除了特定的聚类算法，不同的术语加权函数应用于所选择的特征来表示Web文档是聚类任务的一个主要方面。考虑到这种方法，在这里，我们提出了一种新的机制，称为Tf-Idf基于Apriori聚类的Web文档。然后，我们排名的文件在每个集群中使用Tf Idf和相似性因子的文件的用户查询的基础上。这种方法将帮助用户在一个地方获得所有相关文档，并可以将搜索限制在他选择的一些顶级文档上。为了实验的目的，我们采用了康奈尔大学的Classic 3和Classic 4数据集，有超过10，000个文档，并使用gensim工具包来进行我们的工作。我们比较了我们的方法与传统的apriori算法，发现我们的方法是更高的最小支持度提供更好的结果。我们的排名机制也给出了78%的良好F-措施。
2014-06-21 cs.IR
Ontology Based Document Clustering Using MapReduce
如今，文档聚类被认为是一个数据密集型的任务，由于戏剧性的，快速增加的可用文档的数量。然而，代表这些文件的特征也太大。表示文档最常用的方法是向量空间模型，它将文档特征表示为一个词包，而不表示词之间的语义关系。在本文中，我们介绍了一个分布式实现的二分法k-means使用MapReduce编程模型。我们提出的实现背后的目的是解决密集型数据文档的聚类问题。此外，我们建议将WordNet本体与二分k-means相结合，以利用单词之间的语义关系来增强文档聚类结果。我们提出的实验结果表明，使用词汇类别的名词只提高了内部评价措施的文件聚类，并减少了文件的功能从数千到数十个功能。我们的实验是使用Amazon Elastic MapReduce部署Bisecting k-means算法进行的。
2015-05-12 cs.DB cs.IR
Rank Based Clustering For Document Retrieval From Biomedical Databases
如今，搜索引擎被广泛用于从世界各地的各种资源中提取信息。其中，大多数检索位于生物医学领域，用于从各种生物医学数据库中检索相关文献。目前的搜索引擎缺乏对文档的聚类和对文档相关性的表征。为了克服这些缺陷，基于文本的搜索引擎已被开发用于从Medline和PubMed生物医学数据库中检索文档。该搜索引擎引入了基于聚类的网页排序概念，自动表示聚类基础上的相关性。除此之外，图树构造用于表示联网在一起的文档的相关性水平。基于搜索引擎的生物医学文档的这种高级功能整合发现在基于相关性的审查相关文档中提供更好的结果。
2009-12-11 cs.DB cs.IR
Random Indexing K-tree
Queensland University of Technology（昆士兰科技大学）
随机索引（RI）K-tree是两种聚类算法的结合。文档聚类中存在着许多大规模的问题。RI K树由于其低复杂度而在大输入下具有良好的扩展性。它还展示了对管理不断变化的集合有用的功能。此外，它解决了以前使用K树时文档向量稀疏的问题。算法和数据结构的定义，解释和动机。对K树进行特定修改以用于RI。已经进行了实验来测量质量。实验结果表明，RI K-tree算法比原始K-tree算法提高了文档聚类质量。
2010-02-02 cs.AI cs.DS cs.IR
Arabic text summarization based on latent semantic analysis to enhance arabic documents clustering
University Sidi Mohamed Ben Abdellah (USMBA)（西迪·穆罕默德·本·阿卜杜拉大学）；Faculty of Science Dhar EL Mahraz (FSDM)（达尔·马赫拉兹科学学院）
阿拉伯文文档聚类是一项重要的任务，以获得良好的效果与传统的信息检索（IR）系统，特别是与阿拉伯语在线文档的数量迅速增长。文档聚类的目标是使用不同的相似性/距离度量将相似的文档自动分组到一个聚类中。该任务往往受到文档长度的影响，文档上的有用信息往往伴随着大量的噪声，因此有必要在保留有用信息的同时消除这些噪声，以提高文档聚类的性能。在本文中，我们建议使用潜在语义分析模型对阿拉伯文文档聚类的文本摘要的影响进行评估，以解决上述问题，使用五个相似性/距离的措施：欧几里德距离，余弦相似性，Jaccard系数，皮尔逊相关系数和平均Kullback-Leibler发散，两次：没有和词干。实验结果表明，该方法有效地解决了噪声信息和文档长度的问题，从而显着提高聚类性能。
2013-02-06 cs.CL cs.IR
Comparison Clustering using Cosine and Fuzzy set based Similarity Measures of Text Documents
考虑到聚类的高要求，本文重点介绍了使用两种不同的相似性度量来理解和实现K-均值聚类。我们尝试使用两种不同的方法对文档进行聚类，而不是使用欧氏距离进行聚类。并在此基础上对模糊相似性度量和余弦相似性度量的聚类精度进行了比较。聚类的开始时间和结束时间参数用于确定最佳相似性度量。
2015-05-01 cs.IR
Document Clustering using K-Means and K-Medoids
随着日常生活中信息的大量涌现，及时收集相关信息已变得困难。但是人，总是缺少时间，他们需要一切都快。因此，引入聚类来收集集群中的相关信息。信息聚类的算法有很多种，本文实现了K-means和K-Medoids聚类算法，并对两种算法进行了比较，找出了最适合聚类的算法。在形成的最佳聚类上，基于句子权重进行文档摘要，聚焦整个文档的关键点，使人们更容易确定自己想要的信息，从而只阅读那些与自己观点相关的文档。
2015-02-27 cs.IR
Information-Theoretic Generative Clustering of Documents
Waseda University（早稻田大学）
本文提出生成式聚类（GC），利用大语言模型生成的文本进行聚类，通过KL散度定义相似度并结合重要性采样算法，取得了超越现有方法的SOTA性能，并有效提升了生成式文档检索的准确率。
2024-12-18 cs.CL cs.IR cs.IT
Privacy Preserving MFI Based Similarity Measure For Hierarchical Document Clustering
万维网的日益增长的性质给研究人员在提高互联网上的搜索效率方面提出了巨大的挑战。如今，Web文档聚类已经成为一个重要的研究课题，以提供最相关的文档在巨大的卷返回响应于一个简单的查询。本文首先提出了一种基于最大频繁项集（MFI）的Apriori聚类算法。然后利用相同的最大频繁项集（MFI）的相似性度量的层次文档聚类。通过考虑最大频繁项集，降低了文档集的维数。第二，提供开放的Web文档的隐私保护是为了避免重复文档。这样，我们就可以保护个人的隐私文件的版权。这可以通过等价关系来实现。
2012-07-12 cs.DB cs.IR
Experiments in Clustering Homogeneous XML Documents to Validate an Existing Typology
本文提出了一些实验，在聚类同质XML文档，以验证现有的分类或更普遍的anorganisational结构。我们的方法集成了从文档中提取知识的技术与文档的无监督分类（聚类）。我们专注于特征选择用于表示文档及其对新兴分类的影响。我们将结构化特征的选择与基于句法特征的精细文本选择相结合，并以2003年的Inria活动报告为例对这种方法进行了说明和评估。目标是根据这些活动报告的关键词或不同章节将项目分组为更大的组（主题）。然后，我们使用不同的特征选择的聚类结果进行比较，与Inria使用的官方主题结构。
2005-08-09 cs.IR
Integrating Document Clustering and Topic Modeling
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）
文档聚类和主题建模是两个密切相关的任务，可以相互受益。主题建模可以将文档投影到一个主题空间中，这有助于有效的文档聚类。通过文档聚类发现的聚类标签可以被合并到主题模型中，以提取特定于每个聚类的局部主题和所有聚类共享的全局主题。在本文中，我们提出了一个多粒度聚类主题模型（MGCTM），它集成了文档聚类和主题建模到一个统一的框架，并共同执行这两项任务，以达到整体最佳性能。该模型将两个组件紧密耦合：用于发现文档集合中潜在组的混合组件和用于挖掘多粒度主题的主题模型组件，其中多粒度主题包括特定于每个簇的局部主题和跨簇共享的全局主题，采用变分推理来近似隐变量的后验，并学习模型参数。在两个数据集上的实验证明了该模型的有效性。
2013-09-26 cs.CL cs.IR cs.LG
Document Clustering using K-Medoids
人们总是在寻找他们倾向于使用互联网的问题，但它又有大量的数据，由于它变得难以为读者获得最准确的数据。为了使人们更容易收集准确的数据，类似的信息必须集中在一个地方。在一个平台上有许多算法用于相关信息的聚类。在本文中，K-Medoids聚类算法已被用于形成进一步用于文档摘要的聚类。
2015-04-06 cs.IR
Explainable Graph Spectral Clustering of Text Documents
Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）
本文提出一种解释组合拉普拉斯图谱聚类结果的方法，通过展示组合拉普拉斯嵌入、新提出的$K$-嵌入与词向量空间嵌入的近似等价性，在文本内容与聚类结果间建立理论桥梁，并经实验验证了该近似方法的有效性。
2023-08-01 cs.AI cs.IR cs.LG
Event-Driven News Stream Clustering using Entity-Aware Contextual Embeddings
Amazon AI（亚马逊人工智能）；Columbia University（哥伦比亚大学）
我们提出了一种在线新闻流聚类的方法，这是一个变种的非参数流K-means算法。我们的模型使用稀疏和密集文档表示的组合，沿着这些多个表示聚集文档聚类相似性，并使用神经分类器进行聚类决策。加权文档聚类相似性模型学习使用一种新的适应的三重损失成一个线性分类目标。我们表明，在预训练的Transformer模型中使用适当的微调目标和外部知识，可以显着提高聚类的上下文嵌入的有效性。我们的模型实现了一个新的国家的最先进的标准流聚类数据集的英文文档。
2021-01-26 cs.AI cs.CL cs.IR
An improved semantic similarity measure for document clustering based on topic maps
一个主要的计算负担，而执行文档聚类，是一对文档之间的相似性度量的计算。相似性度量是一个函数，它根据文档之间的相似程度，为一对文档分配一个介于0和1之间的实数。值为零表示文档完全不相似，而值为1表示文档实际上相同。传统上，基于向量的模型已被用于计算文档相似度。基于向量的模型表示文档中存在的几个特征。这些方法的相似性措施，在一般情况下，不能占的语义文件。用人类语言编写的文档包含上下文，并且用于描述这些上下文的词语通常在语义上相关。受此启发，许多研究者提出了基于语义的相似性度量方法，即通过外部词库如WordNet（一个词汇数据库）进行文本注释。在本文中，我们定义了一个语义相似性度量的基础上表示的主题地图的文件。主题地图正迅速成为知识表示的工业标准，其重点是以后的搜索和提取。文档被转换成基于主题图的编码知识，并且一对文档之间的相似性被表示为共同模式（子树）之间的相关性。在文本挖掘数据集上的实验研究表明，与常用的文本聚类相似性度量方法相比，该方法具有更好的聚类效果。
2013-03-17 cs.IR
Spaces, Trees and Colors: The Algorithmic Landscape of Document Retrieval on Sequences
文档检索是六十年代以来最成熟的信息检索活动之一，遍及所有搜索引擎。它的目的是从文本文档的集合中获取与模式查询最相关的文本文档。当前技术主要面向“自然语言“文本集合，其中倒排索引是优选的解决方案。尽管这种范式取得了成功，但它未能正确处理某些东亚语言和其他“自然语言“假设不成立的情况。在这次调查中，我们涵盖了最近的研究，在扩展的文件检索技术，以更广泛的一类序列集合，它有应用生物信息学，数据和Web挖掘，化学信息学，软件工程，多媒体信息检索，和许多其他。我们专注于算法方面的技术，揭示了丰富的世界之间的关系，文件检索的挑战和基本问题的树，字符串，范围查询，离散几何，和其他。
2013-09-27 cs.DS cs.IR
Document Clustering Based On Max-Correntropy Non-Negative Matrix Factorization
非负矩阵分解（NMF）已成功地应用于许多领域的分类和聚类。常用的NMF算法主要以最小化$l_2$距离或KL散度为目标，不适合非线性情况。本文提出了一种新的分解方法，通过最大化原始矩阵和两个低秩矩阵的乘积之间的相关熵来进行文档聚类。该方法还允许我们从数据中学习语义特征空间的新基向量。据我们所知，我们还没有看到任何工作已经做了最大化相关熵的NMF聚类高维文档数据。我们的实验结果表明，我们提出的方法优于其他变种的NMF算法在路透社21578和TDT2数据库。
2014-10-03 cs.IR
A Fuzzy Based Approach to Text Mining and Document Clustering
Indian Institute of Technology-Kharagpur（印度理工学院卡尔哈普尔分校）；VIT University（VIT大学）
模糊逻辑处理真实度。在本文中，我们已经展示了如何应用模糊逻辑在文本挖掘，以执行文档聚类。我们举了一个文档聚类的例子，其中文档必须被聚类为两个类别。该方法包括清理文本和词干。然后，我们选择了m个特征，这些特征在属于这两个聚类的文档之间的词频（WF）（通过文档长度进行归一化）中存在显著差异。将待聚类的文档表示为m个归一化WF值的集合。模糊c均值（FCM）算法被用来聚类这些文档分为两类。FCM执行完成后，分析两个聚类中的文档各自的m特征值。众所周知，属于某个文档类型（比如X）的文档对于某些特定的特征往往具有更高的WF值。如果属于一个簇的文档对于这些相同的特征具有更高的WF值，则该簇被称为代表X。通过模糊逻辑，我们不仅可以得到聚类名称，而且还可以得到文档属于某个聚类的程度。
2013-06-06 cs.IR cs.LG
An Analytical Approach to Document Clustering Based on Internal Criterion Function
快速、高质量的文档聚类是组织信息、从用户查询中获取搜索引擎结果、增强Web爬行和信息检索的重要任务。随着大量的数据可用，并与创建高质量的集群的目标，各种算法已经开发出具有质量复杂性权衡。在这些算法中，一些算法试图使用为整个聚类解集定义的某些准则函数来最小化计算复杂性。在本文中，我们提出了一种新的文档聚类算法的基础上的内部准则函数。大多数常用的分区聚类算法（例如k-means）都有一些缺点，因为它们存在局部最优解和创建空簇作为聚类解决方案的问题。该算法通常不会受到这些问题的影响，并收敛到全局最优值，其性能随着簇数的增加而增强。我们已经针对四个不同的k值（所需的聚类数）的三个不同的数据集检查了我们的算法。
2010-03-09 cs.IR
RIT-RAG: Navigating Document Corpora with Retrieval-Induced Trees
IBM（国际商业机器公司）；IIT Kharagpur（克勒格布尔印度理工学院）
RIT-RAG结合内容检索与结构导航，通过构建检索诱导树解决智能体RAG的文档结构缺失问题，在多领域基准测试中准确率优于多种基线，在EntQABench上提升显著。
2026-10-19 cs.AI cs.IR
A new keyphrases extraction method based on suffix tree data structure for arabic documents clustering
Sidi Mohamed Ben Abdellah University（西迪·穆罕默德·本·阿卜杜拉大学）
文档聚类是数据采掘的一个分支，它是一种无监督的分类，用于在未标记的数据集合中找到结构。在使用全文表示时，文档中的有用信息可能伴随着大量的噪声词，因此会对聚类过程的结果产生负面影响。因此，为了提高聚类结果的质量，就需要在保留有用信息的基础上去除噪声词。这个问题发生在不同程度的任何语言，如英语，欧洲，印地语，中文和阿拉伯语。为了克服这个问题，本文提出了一种新的基于后缀树数据结构（KpST）的关键词提取方法，并将提取的关键词用于聚类过程中。所提出的关键词提取方法与语言无关，因此可以应用于任何语言。在这项研究中，我们感兴趣的是处理阿拉伯语，这是最复杂的语言之一。为了评估我们的方法，我们进行了实验研究阿拉伯文文档使用最流行的聚类方法的层次算法：凝聚层次算法与七个链接技术和各种距离函数和相似性措施，以执行阿拉伯文文档聚类任务。实验结果表明，该方法提高了聚类结果的质量。我们还建议研究使用测试数据集的词干聚类它与相同的文档聚类技术和相似性/距离措施的效果。
2014-01-22 cs.CL cs.IR
Estimating the Effective Topics of Articles and journals Abstract Using LDA And K-Means Clustering Algorithm
本文结合LDA、K-Means聚类和WordNet提取期刊与文章摘要中的关键短语，以帮助研究者构建更准确的检索字符串并避免误解。
2025-08-22 cs.IR
Vec2GC -- A Graph Based Clustering Method for Text Representations
Robert Bosch Research and Technology Center（罗伯特·博世研究与技术中心）
本文提出端到端聚类算法 Vec2GC，通过文本表示学习构建加权图并进行社区检测，实现对词项或文档的基于密度且支持层次的聚类。
2023-04-12 cs.IR cs.LG
Improving Document Clustering by Eliminating Unnatural Language
University of Massachusetts（马萨诸塞大学）；Emory University（埃默里大学）
技术文档包含大量的非自然语言，如表格、公式、伪代码等，非自然语言可能是混淆现有NLP工具的重要因素。本文提出了一种区分非自然语言和自然语言的有效方法，并评估了非自然语言检测对文档聚类等NLP任务的影响。我们认为这个问题作为一个信息抽取任务，并建立一个多类分类模型，识别非自然的语言成分分为四类。首先，我们通过收集PPT、PDF和HTML等各种格式的幻灯片和论文来创建一个新的注释语料库，其中非自然语言成分被注释为四类。然后，我们探索纯文本中可用的功能，以构建一个统计模型，该模型可以处理任何格式，只要它被转换为纯文本。我们的实验表明，去除不自然的语言成分，使文档聚类的绝对改善高达15%。我们的语料库和工具是公开的。
2017-03-17 cs.CL cs.IR
Hierarchical Abstract Tree for Cross-Document Retrieval-Augmented Generation
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文提出Ψ-RAG框架，通过迭代'合并与坍缩'过程构建分层抽象树索引，并引入多粒度检索代理，解决传统树状RAG在跨文档多跳问题中的分布适应性、结构隔离和抽象粗粒度等挑战，实验表明其在跨文档多跳问答任务中表现更优。
2026-05-01 cs.AI cs.IR cs.LG
Which Clustering Do You Want? Inducing Your Ideal Clustering with Minimal Feedback
University of Texas at Dallas（德克萨斯大学达拉斯分校）
虽然传统的文本聚类研究主要集中在按主题对文档进行分组，但可以想象，用户可能希望根据其他维度（例如作者的情绪、性别、年龄或情感）对文档进行聚类。在不知道用户意图的情况下，聚类算法将仅沿着最突出的维度对文档进行分组，这可能不是用户期望的维度。为了解决沿用户所需的维度聚类文档的问题，以前的工作集中在学习的相似性度量，从数据手动注释与用户的意图，或有一个人在聚类过程中以交互的方式构建一个特征空间。为了减少对人类知识的依赖，以微调相似性函数或选择这些方法所需的相关功能，我们提出了一种新的主动聚类算法，它允许用户轻松地选择她想要通过只检查少量的单词来聚类文档的维度。我们证明了我们的算法在各种常用的情感数据集上的可行性。
2014-01-16 cs.CL cs.IR cs.LG
Automated Document Indexing via Intelligent Hierarchical Clustering: A Novel Approach
随着电子格式文本数据数量的不断增加，组织这些数据的需要成为一项极具挑战性的任务。在本文中，我们探讨了一个文件组织框架，利用智能层次聚类算法生成一组文件的索引。该框架被设计为可扩展和准确，即使是大型语料库。所提出的算法的优点在于需要最少的输入，与许多层次结构的属性被决定在一个自动化的方式使用统计方法。在预处理阶段中使用主题建模确保了对输入数据中的变化范围的鲁棒性。对于实验工作，使用了20-Newsgroups数据集。该方法的F-测度与传统的K-Means和K-Medoids聚类算法进行了比较。测试结果表明，我们提出的方法的适用性，效率和有效性。经过广泛的实验，我们得出结论，该框架显示出进一步的研究和专门的商业应用的承诺。
2015-04-01 cs.IR
Classification and Clustering of arXiv Documents, Sections, and Abstracts, Comparing Encodings of Natural and Mathematical Language
University of Konstanz（康斯坦茨大学）；University of Wuppertal（伍珀塔尔大学）；FIZ Karlsruhe（卡尔斯鲁厄专业信息中心）；George Washington University（乔治华盛顿大学）
在本文中，我们将展示如何选择和结合编码的自然和数学语言影响分类和聚类的文件与数学内容。我们通过使用arXiv预印本服务器中的文档、章节和摘要集来证明这一点，这些文档、章节和摘要都是按其主题类（数学、计算机科学、物理等）标记的。比较文本和公式的不同编码，并评估所选分类和聚类算法的性能和运行时间。我们的编码实现分类精度高达$82.8\%$和集群纯度高达$69.4\%$（集群的数量等于类的数量），和$99.9\%$（未指定的集群数量）分别。我们观察到文本和数学相似性之间的相关性相对较低，这表明文本和公式的独立性，并激励将它们作为文档的单独特征。可以采用分类和聚类，例如，用于文档搜索和推荐。此外，我们表明，计算机在分类文档时优于人类专家。最后，我们评估和讨论多标签分类和公式语义。
2020-05-22 cs.CL cs.DL cs.IR
Tagged Documents Co-Clustering
标签是短的单词序列，允许描述文本和非文本资源，如音乐，图像或书籍。机器信息检索系统可以使用标签来快速访问文档。这些标签可用于构建推荐系统，以向用户推荐类似的项目。然而，每个文档的标签数量是有限的，并且通常根据Zipf定律分布。在本文中，我们提出了一种方法来聚类成概念组的标签。对数据进行预处理，以消除幂律效应并增强低频词的上下文。然后，提出了一种层次凝聚的协同聚类算法，将最相关的标签分组到一起。在稀疏合成数据集和与科学论文相关的真实世界标签集合上评估了这些功能。任务是无监督的，我们提出了一些停止标准选择一个最佳的分割。
2021-10-14 cs.IR
Probability Based Clustering for Document and User Properties
信息检索系统可以通过利用诸如用户和文档特征的上下文信息来改进。本文提出了一个模型的基础上重叠的概率或模糊聚类等功能。该模型被应用在一个融合方法，线性结合几个检索系统。融合是基于权重的不同的检索系统，这是通过利用相关反馈信息学习。可以通过为每个文档和用户集群维护一个模型来改进此计算。这样，就可以确定和应用每种文件或用户类型的最佳检索系统。本文中介绍的扩展允许重叠的、概率性的特征聚类，以进一步细化该过程。
2011-02-18 cs.HC cs.IR
Clustering Unstructured Data (Flat Files) - An Implementation in Text Mining Tool
随着科技的进步和储存成本的降低，个人和组织都倾向于使用电子媒体来储存文本信息和文件。读者从非结构化的文档集合中检索相关信息是一项耗时的工作。当集合按组或类别排序或分类时，从大型集合中查找文档更容易，耗时更少。找到最佳的这种分组的问题仍然存在。本文讨论了我们实现的用于聚类非结构化文本文档的k-Means聚类算法的实现，从非结构化文本的表示开始，到达聚类的结果集。基于对样本文档集的聚类分析，我们还提出了一种表示文档的技术，可以进一步提高聚类结果。
2010-07-25 cs.IR
A Semantic approach for effective document clustering using WordNet
Amravati University（阿姆拉瓦蒂大学）
如今，文本文档在互联网、电子邮件和网页上自发地增加，并以电子数据库的形式存储。安排和浏览文档变得困难。为了克服这一问题，文档预处理、术语选择、属性约简以及利用背景知识WordNet维护重要术语之间的关系成为数据采掘的重要参数。本文分三个阶段进行，首先通过去除停用词对文档进行预处理，使用porter词干提取算法进行词干提取，使用词网词库维护重要词之间的关系，生成全局唯一词和频繁词集，然后形成数据矩阵，最后使用tf-idf术语选择方法从文档中提取术语，TF-DF和TF 2基于它们的最小阈值。此外，每个文档术语都被预处理，其中每个术语在文档中的频率被计算用于表示。这种方法的目的是减少属性，并找到有效的术语选择方法，使用WordNet更好的聚类精度。实验在路透社转录子集，小麦，贸易，货币谷物和船舶，路透社21578，经典30，20新闻组（无神论），20新闻组（硬件），20新闻组（计算机图形学）等上进行评估。
2013-03-03 cs.CL cs.IR
A Novel Modified Apriori Approach for Web Document Clustering
基于数据采掘中的关联技术，传统的Apriori算法可用于Web文档的聚类。但该算法存在数据库扫描次数多、关联规则分析能力弱等缺陷。在大型数据库的现代世界中，传统的Apriori算法的效率将减少流形。本文提出了一种新的改进的apriori算法，通过减少重复的数据库扫描和改进传统的apriori算法的关联分析来对web文档进行聚类。进一步，我们分别应用模糊C均值（FCM），K均值和向量空间模型（VSM）技术来改进这些聚类。为了进行实验，我们使用康奈尔大学拥有超过10，000个文档的Classic 3和Classic 4数据集，并在其上运行传统的先验算法和我们改进的先验算法。实验结果表明，我们的方法在数据库扫描和分析关联性改进方面优于传统的先验算法。我们发现，FCM是优于K-Means和VSM的F-度量的不同大小的集群。
2015-03-29 cs.IR
Web-Based File Clustering and Indexing for Mindoro State University
民都洛州立大学基于网络的文件聚类和索引旨在将通过网络传播的数据组织成组或集合，以促进数据的可用性和访问，同时满足用户的偏好。主要的好处包括增加Web信息的可访问性，了解用户的导航行为，改善Web上的信息检索和内容交付。基于Web的文件聚类可以帮助用户找到所需的文档。在本文中，一种新的方法已被引入搜索结果聚类，是基于检索到的文档的语义，而不是在这些文件中的术语的语法。数据聚类被用来改善从文档集合中的信息检索。数据处理和分析使用SPSS的工具进行评估，以测试所使用的措施的信度和效度。评价基于所选质量特征描述的Likert量表（优、良、一般和差）。
2022-02-13 cs.IR
Efficient Document Indexing Using Pivot Tree
UPMC（巴黎第六大学）
我们提出了一种新的方法，有效地搜索前k个邻居表示在高维空间的条件的基础上余弦相似性的文件。大多数情况下，文档是以词袋tf-idf表示的形式存储的。向量表示之间的余弦相似度是计算文档间相似度最常用的方法之一，但余弦相似度不遵循三角不等式，不是度量距离的度量，因此大多数度量搜索方法不能直接应用。我们提出了一个有效的方法，索引文件使用枢轴树，导致有效的检索。我们还研究了该方法的精度和效率之间的关系，并将其与基于内积的文档搜索领域的最新技术进行了比较。
2016-05-21 cs.IR cs.LG
Learning to Search in Long Documents Using Document Structure
Tel Aviv University（特拉维夫大学）
阅读理解模型是基于递归神经网络，顺序处理的文件令牌。随着兴趣转向回答更长文档上的更复杂问题，大部分文本的顺序阅读成为一个实质性的瓶颈。受人类如何使用文档结构的启发，我们提出了一个新的阅读理解框架。我们将文档表示为树，并对一个代理进行建模，该代理学会在文档树中交错快速导航，并提取更昂贵的答案。为了鼓励对文档树的探索，我们提出了一种基于深度Q网络（DQN）的新算法，该算法在训练时策略性地对树节点进行采样。从经验上讲，我们发现我们的算法提高了问答性能相比，DQN和一个强大的信息检索（IR）基线，并集成我们的模型与IR基线的结果在性能上进一步提高。
2018-09-10 cs.CL cs.IR
Experimental Estimation of Number of Clusters Based on Cluster Quality
文本聚类是一种文本挖掘技术，它将给定的文本文档集划分为重要的聚类。它用于将大量的文本文档组织成组织良好的形式。在大多数聚类算法中，聚类数必须事先指定，这是这些算法的一个缺点。本文的目的是实验展示如何确定基于聚类质量的聚类数。由于分区聚类算法非常适合于对大型文档数据集进行聚类，因此我们的分析仅限于分区聚类算法。
2015-03-10 cs.IR
Accessing accurate documents by mining auxiliary document information
Christ University Faculty of Engineering（基督大学工程学院）
早期的文本挖掘技术包括k-means，Naive Bayes，SVM等算法，这些算法对文本文档进行分类和聚类，以挖掘文档的相关信息。改进挖掘技术的需要使我们使用可用的算法来搜索技术。本文提出了一种技术，它使用的辅助信息，是存在于文本文档中，以提高挖掘。该辅助信息可以是对内容的描述。这些信息可能对挖矿有用，也可能完全无用。在考虑使用这种技术进行文本挖掘之前，用户应该评估辅助信息的价值。本文结合经典的聚类算法对数据集进行挖掘。该算法分两个阶段运行，在不同的抽象层次上进行挖掘。然后，将根据必要的类别对分组文件进行分类。所提出的技术是针对改进的结果，文档聚类。
2016-04-15 cs.AI cs.IR cs.LG
Information Retrieval in long documents: Word clustering approach for improving Semantics
本文提出基于词嵌入聚类和词簇加权的长文档语义信息检索方法，通过融合词汇与语义表示，在 SQuAD 和 TREC-CAR 上显著优于纯关键词方法。
2025-07-26 cs.IR
Clustering and Classification in Text Collections Using Graph Modularity
提出了一种新的文本文档聚类和分类的快速算法。该算法利用二分图实现了集合的词-文档矩阵。也就是说，二分图的模块度被用作优化泛函。使用新算法在一些文本集合上进行的实验显示了具有竞争力的聚类（分类）质量和破纪录的速度。
2011-05-29 cs.DL cs.IR
Expériences de classification d'une collection de documents XML de structure homogène
本文提出了一些实验，在聚类同质XML文档，以验证现有的分类或更普遍的anorganisational结构。我们的方法集成了从文档中提取知识的技术与文档的无监督分类（聚类）。我们专注于特征选择用于表示文档及其对新兴分类的影响。我们将结构化特征的选择与基于句法特征的精细文本选择相结合，并以2003年的Inria活动报告为例对这种方法进行了说明和评估。目标是根据这些活动报告的关键词或不同章节将项目分组为更大的组（主题）。然后，我们使用不同的特征选择的聚类结果进行比较，与Inria使用的官方主题结构。
2005-08-09 cs.IR
An effective web document clustering for information retrieval
在过去的几年中，Web的大小呈指数级增长，用户可以获得与主题相关的数千个文档。有了这么多的信息，如果没有一个适当的框架来搜索现有的数据，就不可能充分利用万维网。这种必要的组织可以通过许多方式来完成。在本文中，我们介绍了一种组合的方法来聚类的网页，首先发现频繁集，然后聚类的文件。这些频繁集是通过使用频繁模式增长技术产生的。然后应用模糊C-均值算法对它进行聚类，找到具有高度相关性和相似特征的文档的聚类。我们使用Gensim包来实现我们的方法，因为它的简单性和鲁棒性。我们比较了我们的结果与（频繁模式增长，K-means）和（频繁模式增长，余弦_相似性）的组合方法。实验结果表明，该方法比上述两种方法的结合更有效，并且能够更有效地处理传统模糊C均值算法对初始质心和待形成聚类数敏感的严重缺陷。
2012-11-06 cs.IR
A Novel Document Generation Process for Topic Detection based on Hierarchical Latent Tree Models
The Hong Kong University of Science and Technology（香港科技大学）
我们提出了一种新的文档生成过程的基础上，层次潜在树模型（HLTM）从数据中学习。HLTM在底部有一层观察到的单词变量，在顶部有多层潜变量。对于每一个文档，我们首先通过逻辑采样逐层采样潜变量的值，然后根据潜变量的值绘制单词的相对频率，最后使用相对单词频率为文档生成单词。这项工作的动机是考虑到与HLTM的字数。与基于LDA的分层文档生成过程相比，新的过程以更少的参数实现了更好的模型拟合。它还生成更有意义的主题和主题层次结构。这是新的国家的最先进的分层主题检测。
2019-06-28 cs.CL cs.IR cs.LG
Sequential Embedding Induced Text Clustering, a Non-parametric Bayesian Approach
State University of New York at Buffalo（纽约州立大学布法罗分校）；University of California, Irvine（加州大学欧文分校）
当前最先进的非参数贝叶斯文本聚类方法通过词袋上的多项分布对文档进行建模。虽然这些方法可以有效地利用文档的单词突发性表示，并取得不错的性能，但它们没有探索文本的顺序信息和同义词之间的关系。本文将文档建模为词袋、序列特征和词嵌入的结合点。我们提出了顺序嵌入诱导狄利克雷过程混合模型（SiDPMM），有效地利用这种联合文档表示文本聚类。序列特征由编码器-解码器组件提取。通过连续词袋模型（CBOW）产生的词嵌入来处理同义词。实验结果表明，我们的模型在两个主要方面的好处：1）提高了性能在多个不同的文本数据集的归一化互信息（NMI）; 2）更准确的推理地面真理的聚类数与正则化效果的微小离群聚类。
2018-11-29 cs.IR cs.LG stat.ML
Document clustering with evolved multiword search queries
Sheffield Hallam University（谢菲尔德哈勒姆大学）；University College London（伦敦大学学院）；University of Brighton（布莱顿大学）
本文提出用演化搜索查询进行文档聚类，通过优化查询减少重叠，并结合KNN分配未匹配文档，在8个数据集上取得最高准确率，同时兼具可解释性与可修改性。
2025-02-24 cs.IR cs.LG cs.NE
World Knowledge as Indirect Supervision for Document Clustering
Peking University（北京大学）；Hong Kong University of Science and Technology（香港科技大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
使学习协议在应用程序中成为现实的关键障碍之一是需要监督它们，这是一个昂贵的过程，通常需要聘请领域专家。我们认为框架使用世界知识作为间接监督。世界知识是通用的知识，它不是为任何特定领域设计的。如何使世界知识适应领域，以及如何表示它以供学习，是关键的挑战。在本文中，我们提供了一个例子，使用世界知识的领域相关的文档聚类。我们提供了三种方法来指定的世界知识的领域，通过解决的实体和它们的类型的二义性，并表示与世界知识的数据作为一个异构的信息网络。然后，我们提出了一个聚类算法，可以聚类多个类型，并将子类型的信息作为约束。在实验中，我们使用两个现有的知识库作为我们的世界知识的来源。一个是Freebase，它是关于实体及其组织的协作收集的知识。另一个是YAGO2，一个从维基百科自动提取的知识库，将知识映射到语言知识库WordNet。在两个文本基准数据集（20个新闻组和RCV 1）上的实验结果表明，引入世界知识作为间接监督，可以显著优于现有的聚类算法和基于世界知识特征的聚类算法.
2016-07-30 cs.CL cs.IR cs.LG
Simplifying Multilingual News Clustering Through Projection From a Shared Space
Priberam Labs（普里贝拉姆实验室）
为媒体监测组织和聚类多语言新闻文章的任务对于实时的追踪新闻报道至关重要。这项任务的大多数方法都集中在高资源语言（主要是英语）上，而忽略了低资源语言。考虑到这一点，我们提出了一个更简单的在线系统，能够集群传入的文档流，而不依赖于特定语言的功能。我们的经验表明，使用多语言的上下文嵌入的文档表示显着提高聚类质量。我们挑战以前的跨语言的方法，消除了建立单语集群的前提条件。我们将聚类过程建模为一组线性分类器来聚合相似的文档，并通过在线合并来纠正密切相关的多语言聚类。我们的系统在多语言新闻流聚类数据集上实现了最先进的结果，并且我们引入了一种新的多语言zero-shot新闻聚类评估。我们的代码是开源的。
2022-04-28 cs.CL cs.IR
The Opposite of Smoothing: A Language Model Approach to Ranking Query-Specific Document Clusters
利用信息引起的（查询特定）聚类的顶部检索的文件一直被提出作为一种手段，以提高精度的最高排名的返回结果。我们提出了一种新的语言模型的方法来排名查询特定的集群的假设百分比的相关文件，他们包含。虽然大多数以前的集群排名方法集中在集群作为一个整体，我们的模型还利用信息诱导与集群相关的文件。我们的模型大大优于以前的方法，用于识别包含高相关文档百分比的聚类。此外，使用该模型来产生文档排序，产生的精度在顶级的性能，始终优于初始的排名上进行聚类。性能也有利地比较与一个国家的最先进的伪反馈为基础的检索方法。
2014-01-16 cs.IR
CAT-ID$^2$: Category-Tree Integrated Document Identifier Learning for Generative Retrieval In E-commerce
Beihang University（北京航空航天大学）；Chinese Academy of Science（中国科学院）
针对电商生成式检索中忽略类别信息的问题，提出CAT-ID²方法，通过层次类别约束、聚类规模约束和离散度损失三个模块将类别树信息融入文档标识符，使相似文档ID更相似且保持唯一性，在线实验显著提升了模糊和长尾查询的订单量。
2025-11-04 cs.IR
Semi-supervised Text Categorization Using Recursive K-means Clustering
University of Mysore（迈索尔大学）
本文提出了一种用于文本分类的半监督学习算法。提出了一种对未标注文本进行标注的方法。所提出的方法是基于分而治之策略的原则。它使用递归K-means算法来划分标记和未标记的数据汇集。在每个分区上递归地应用K-means算法，直到实现期望的级别分区，使得每个分区包含单个类的标记文档。一旦获得所需的聚类，各自的聚类质心被认为是代表的集群和最近邻规则用于分类未知的文本文档。在20 Newsgroups数据集上进行了一系列的实验，以显示该模型相对于其他最新模型的优越性。
2017-06-24 cs.CL cs.IR cs.LG
Pre-retrieval Query Clustering for Adaptive Top-k Document Retrieval in RAG Systems
Portland State University（波特兰州立大学）；EvenUp
针对RAG系统固定top-k检索的弊端，提出基于预检索查询聚类的自适应检索深度框架，离线估计查询难度并聚类推荐检索深度，在线常数时间分配，在真实流量中F1提升36%以上且token减少14%。
2026-09-16 cs.IR
