Web Log Data Analysis by Enhanced Fuzzy C Means Clustering
万维网是一个巨大的信息库，每天的信息量都在急剧增加。用户数量也在与日俱增。为了减少用户的浏览时间，进行了大量的研究。Web使用挖掘是Web挖掘的一种类型，其中挖掘技术应用于日志数据中，以提取用户的行为。聚类在Web分析、CRM、市场营销、医疗诊断、计算生物学等广泛的应用中起着重要的作用。聚类是相似实例或对象的分组。聚类的关键因素是某种可以确定两个对象是相似还是不相似的度量。本文讨论了一种新的聚类方法，将用户会话划分成准确的簇。该算法的准确性和各种性能指标表明，该方法是一种更好的Web日志挖掘方法。
2014-05-21 cs.IR
"Improved FCM algorithm for Clustering on Web Usage Mining"
East China University of Technology（东华理工大学）；Vardhaman college of Engineering（瓦尔达曼工程学院）；S.V.University College of Engineering（SV大学工程学院）
针对目前的聚类方法对初始中心值非常敏感，对数据集要求过高，且不能处理噪声数据的问题，提出了利用信息熵初始化聚类中心，并引入加权参数来调整聚类中心的位置和噪声问题。Web数据聚类是通过分析Web服务器上收集到的数据，找出具有共同兴趣和行为的群体，利用改进的模糊C均值（FCM）聚类算法有效地提高了Web数据的聚类效率。Web使用挖掘是将数据采掘技术应用于Web日志数据仓库。它用于从Web访问日志中发现用户访问模式。Web数据集群是使用MSNBC Web导航数据集形成的。
2011-04-11 cs.CV cs.IR
Web-Based File Clustering and Indexing for Mindoro State University
民都洛州立大学基于网络的文件聚类和索引旨在将通过网络传播的数据组织成组或集合，以促进数据的可用性和访问，同时满足用户的偏好。主要的好处包括增加Web信息的可访问性，了解用户的导航行为，改善Web上的信息检索和内容交付。基于Web的文件聚类可以帮助用户找到所需的文档。在本文中，一种新的方法已被引入搜索结果聚类，是基于检索到的文档的语义，而不是在这些文件中的术语的语法。数据聚类被用来改善从文档集合中的信息检索。数据处理和分析使用SPSS的工具进行评估，以测试所使用的措施的信度和效度。评价基于所选质量特征描述的Likert量表（优、良、一般和差）。
2022-02-13 cs.IR
A Method for Clustering Web Attacks Using Edit Distance
聚类分析通常是数据分类过程中的第一步。本文研究了不同长度输入数据的聚类问题。使用编辑距离作为将一个向量变换成另一个向量所需的基本编辑操作的最小数目。一个启发式聚类不等长的向量，类似于著名的k-means算法的描述和分析。该启发式算法以特定的方式确定聚类质心，将较短的向量扩展到每个聚类中最长向量的长度。结果表明，启发式算法的时间复杂度和空间复杂度与输入向量的个数成线性关系。实验结果的真实数据来源于一个系统的Web攻击的分类。
2003-04-03 cs.AI cs.CR cs.IR
Batch Clustering for Multilingual News Streaming
BNP Paribas AI（法国巴黎银行人工智能部门）
如今，数字新闻文章被广泛使用，由各种编辑发布，并且通常以不同的语言编写。这种大量的、多样的、无组织的信息使人类阅读变得非常困难，甚至几乎不可能。这导致需要能够将大量多语言新闻安排到故事中的算法。为此，我们扩展了以前的工作主题检测和跟踪，并提出了一个新的系统的灵感来自newsLens。我们每批处理文章，寻找单语本地主题，然后跨时间和语言链接。在这里，我们介绍了一种新颖的“重播”策略，将单语本地主题链接到故事中。此外，我们提出了新的微调多语言嵌入使用SBERT创建跨语言的故事。我们的系统给出了西班牙语和德语新闻数据集上的单语最先进的结果，以及英语，西班牙语和德语新闻的跨语言最先进的结果。
2020-04-17 cs.CL cs.IR
Stacking from Tags: Clustering Bookmarks around a Theme
从最近开始，社会书签服务Delicious的用户除了标记网页外，还可以堆叠网页。堆叠使用户能够围绕特定主题对网页进行分组，目的是向其他人推荐。然而，用户仍然堆叠了他们标记的一小部分，因此许多网页仍然没有堆叠。本文介绍了早期的研究，自动聚类网页的标签，找到堆栈和扩展的建议。
2013-02-20 cs.IR
Discovery of Web Usage Profiles Using Various Clustering Techniques
P.A. College of Engineering（P.A.工程学院）；J.N.T. University（J.N.T.大学）
万维网（WWW）的爆炸式增长，有必要开发Web个性化系统，以了解用户的喜好，动态地为个人用户提供定制的内容。为了从Web使用数据中揭示用户偏好信息，Web使用挖掘（WUM）技术被广泛应用于Web日志数据。聚类技术被广泛用于WUM中，以捕获访问Web站点的用户之间的相似兴趣和趋势。聚类的目的是将数据集划分为组或簇，其中簇间相似性最小化，而簇内相似性最大化。本文综述了四种常用的聚类技术：k-Means，k-Medoids，Leader和DBSCAN。这些技术的实现和测试对Web用户的导航数据。每种技术的性能和有效性的结果进行了介绍和比较。
2015-09-01 cs.DB cs.IR cs.LG
A Fuzzy Co-Clustering approach for Clickstream Data Pattern
Web使用挖掘是从大型数据库中提取隐藏的商业智能数据的重要工具。提取的信息为组织提供了更有效地产生结果的能力，以改善他们的业务和增加销售。协同聚类是一种功能强大的双划分技术，它可以识别与一组网页相关联的用户组。这些关联被量化以揭示用户对不同网页聚类的兴趣。本文提出了一种基于点击流数据的模糊共聚类算法，用于识别网站中具有相似浏览行为/兴趣的用户子集。针对用户群进行各种促销活动是营销实践的一个重要方面。在真实数据集上的实验证明了该算法的有效性。该算法的结果和发现可用于提高营销策略的直接营销，广告的基于Web的企业等。
2011-09-30 cs.IR
Web Document Clustering and Ranking using Tf-Idf based Apriori Approach
在过去的几年里，动态Web呈指数级增长，现在用户可以获得与主题相关的数千个文档。大多数Web文档都是非结构化的，没有组织的方式，因此用户更难找到相关文档。一种更有用和有效的机制是将聚类与排名相结合，其中聚类可以将相似的文档分组在一个地方，并且可以将排名应用于每个聚类，以便在开始时查看顶部文档。除了特定的聚类算法，不同的术语加权函数应用于所选择的特征来表示Web文档是聚类任务的一个主要方面。考虑到这种方法，在这里，我们提出了一种新的机制，称为Tf-Idf基于Apriori聚类的Web文档。然后，我们排名的文件在每个集群中使用Tf Idf和相似性因子的文件的用户查询的基础上。这种方法将帮助用户在一个地方获得所有相关文档，并可以将搜索限制在他选择的一些顶级文档上。为了实验的目的，我们采用了康奈尔大学的Classic 3和Classic 4数据集，有超过10，000个文档，并使用gensim工具包来进行我们的工作。我们比较了我们的方法与传统的apriori算法，发现我们的方法是更高的最小支持度提供更好的结果。我们的排名机制也给出了78%的良好F-措施。
2014-06-21 cs.IR
Web Pages Clustering: A New Approach
Web的快速发展带来了海量的信息。快速向用户提供信息至关重要。英语（或任何语言）在词汇的使用上有很多歧义。因此，不能保证基于关键字的搜索引擎将提供所需的结果。本文介绍了使用字典（标准化）来获取使用关键字的上下文，并根据上下文对结果进行聚类。这些想法可以与元搜索引擎合并，以提高搜索效率。
2011-08-26 cs.IR
Clustering Web Search Results For Effective Arabic Language Browsing
浏览搜索结果的过程是传统的Web搜索引擎的主要问题之一，通常用于英语、欧洲和任何其他语言，尤其是阿拉伯语。这个过程是绝对耗时和浏览风格似乎是没有吸引力的。将Web搜索结果组织成集群便于用户快速浏览搜索结果。传统的聚类技术（以数据为中心的聚类算法）是不够的，因为它们不能生成具有高度可读名称或聚类标签的聚类。为了解决这个问题，以描述为中心的算法，如后缀树聚类（STC）算法已被引入并成功和广泛地用于英语，欧洲和汉语的不同适应版本。然而，直到写这篇文章的时候，据我们所知，STC算法还没有应用于阿拉伯语网页摘要搜索结果聚类。在本文中，我们首先提出，研究如何STC可以应用于阿拉伯语？然后，我们通过示例说明，在阿拉伯语片段预处理（词干或词根提取）后不可能应用STC，因为合并过程会产生许多冗余聚类。其次，为了克服这个问题，我们建议将STC集成到一个新的计划中，考虑到阿拉伯语的属性，以使网络越来越适应阿拉伯语用户。所提出的方法自动聚类的Web搜索结果到高质量，高显着的集群标签。得到的聚类不仅具有连贯性，而且能够简洁、准确地将内容传达给用户。因此，阿拉伯语用户可以一目了然地决定集群的内容是否感兴趣。
2013-05-13 cs.IR
Semantic clustering of Russian web search results: possibilities and problems
Mail.ru Group（Mail.ru集团）；National Research University Higher School of Economics（国立研究型高等经济学院）
本文研究了从词汇共现图中进行词义归纳的问题。我们构建这样的图大型俄罗斯语料库，然后将这些数据聚类Mail.ru搜索结果根据查询的含义。我们比较不同的方法进行这种聚类和不同的源语料库。描述了将分布式语义应用于大语言数据的模型。
2014-10-26 cs.CL cs.IR
From Static to Dynamic: A Streaming RAG Approach to Real-time Knowledge Base
针对静态RAG在动态数据流上的内存、延迟和覆盖率问题，提出Streaming RAG，结合多向量筛选、小批量聚类和重击者过滤，实现紧凑原型集与增量更新，在八个流上显著提升Recall@10、降低延迟并提高吞吐量，建立检索增强新帕累托前沿。
2025-07-31 cs.AI cs.IR
A Fuzzy Clustering Based Approach for Mining Usage Profiles from Web Log Data
万维网在网站的规模和复杂性方面继续以惊人的速度增长，并且正在成为信息和数据的主要储存库。由于WWW的增长和复杂性的增加，网站发布者在吸引和留住用户方面面临着越来越大的困难。为了设计出受欢迎和有吸引力的网站，出版商必须了解他们的用户需求。因此，分析用户行为是网页设计的重要组成部分。Web使用挖掘（WUM）是将数据采掘技术应用于Web使用日志存储库，以发现可用于分析用户导航行为的使用模式。WUM包括三个主要步骤：预处理，知识提取和结果分析。Web使用挖掘中预处理阶段的目标是将原始Web日志数据转换为一组用户简档。每个这样的配置文件捕获表示用户会话的URL的序列或集合。
2015-09-01 cs.DB cs.IR
Web Search Result Clustering based on Heuristic Search and k-means
为用户提供一个简单而有组织的网络搜索结果一直是信息检索研究的热点。不管查询有多小或多模糊，用户总是希望在IR系统的第一显示器上得到期望的结果。对红外系统结果进行聚类，可以提供一种满足用户实际信息需求的方法。本文提出了一种基于余弦相似度的聚类方法，该方法将聚类分析和k-均值聚类技术相结合。我们的启发式方法检测k的初始值以创建初始质心。这消除了值k的外部指定的问题，如果错误地指定，则可能导致不想要的结果。以这种方式创建的质心在Web搜索结果的上下文中更具体和有意义。所提出的方法的另一个优点是去除了k-means的目标均值函数，这使得聚类大小相同。所提出的方法的最终结果包括具有不同大小的不同的文档集群。
2015-08-11 cs.IR
Empirical analysis of web-based user-object bipartite networks
理解基于Web的用户-对象网络的结构和演化是一项重要的任务，因为它们在当今的电子商务中起着至关重要的作用。这封信报告了对两个大型网站audioscrobbler.com和del.icio.us的实证分析，其中用户分别与音乐组和书签连接。度分布和度的相关性为用户和对象的报告。提出了一个新的指标，命名为协同聚类系数，量化的集群行为的基础上的协同选择。在此基础上，研究了聚类特性和聚类度相关性。我们报告了一些新的现象，很好地描述了网络用户的选择机制，并概述了这些现象的相关性的信息推荐问题。
2011-12-24 cs.IR physics.data-an physics.soc-ph
A Novel Modified Apriori Approach for Web Document Clustering
基于数据采掘中的关联技术，传统的Apriori算法可用于Web文档的聚类。但该算法存在数据库扫描次数多、关联规则分析能力弱等缺陷。在大型数据库的现代世界中，传统的Apriori算法的效率将减少流形。本文提出了一种新的改进的apriori算法，通过减少重复的数据库扫描和改进传统的apriori算法的关联分析来对web文档进行聚类。进一步，我们分别应用模糊C均值（FCM），K均值和向量空间模型（VSM）技术来改进这些聚类。为了进行实验，我们使用康奈尔大学拥有超过10，000个文档的Classic 3和Classic 4数据集，并在其上运行传统的先验算法和我们改进的先验算法。实验结果表明，我们的方法在数据库扫描和分析关联性改进方面优于传统的先验算法。我们发现，FCM是优于K-Means和VSM的F-度量的不同大小的集群。
2015-03-29 cs.IR
An effective web document clustering for information retrieval
在过去的几年中，Web的大小呈指数级增长，用户可以获得与主题相关的数千个文档。有了这么多的信息，如果没有一个适当的框架来搜索现有的数据，就不可能充分利用万维网。这种必要的组织可以通过许多方式来完成。在本文中，我们介绍了一种组合的方法来聚类的网页，首先发现频繁集，然后聚类的文件。这些频繁集是通过使用频繁模式增长技术产生的。然后应用模糊C-均值算法对它进行聚类，找到具有高度相关性和相似特征的文档的聚类。我们使用Gensim包来实现我们的方法，因为它的简单性和鲁棒性。我们比较了我们的结果与（频繁模式增长，K-means）和（频繁模式增长，余弦_相似性）的组合方法。实验结果表明，该方法比上述两种方法的结合更有效，并且能够更有效地处理传统模糊C均值算法对初始质心和待形成聚类数敏感的严重缺陷。
2012-11-06 cs.IR
Streaming Stochastic Submodular Maximization with On-Demand User Requests
KTH Royal Institute of Technology（皇家理工学院）；University of Liverpool（利物浦大学）
本文提出了一种流式随机子模最大化算法，通过单次遍历流并使用独立于流长度的内存，实现了竞争比为1/(8δ)的性能，有效解决了用户按需请求下的主题覆盖问题。
2026-01-15 cs.DS cs.IR
Search Space Engine Optimize Search Using FCC_STF Algorithm in Fuzzy Co-Clustering
模糊联合聚类算法可以通过处理两个主要问题来改进：第一是离群点问题，第二是维数灾难问题，通过搜索引擎在一组网页帧中有效地执行页面置换算法，如FIFO、LRU或优先级算法，可以减少离群点问题。优先级为零的网页（离群值）可以在单独的帧槽中表示。而对搜索引擎获取的网页进行FCC_STF算法，首先减少离群点问题，可以改善维数灾难问题。根据所用模糊化器的不同，比较了FCCM算法和FUZZY CO-DOK算法与FCC_STF算法的优缺点。FCC_STF算法将模糊化器融合为一个实体，通过对（A1，B1，Vcj，A2，B2）值的实验结果表明，该算法对局部极大值不敏感，通过绘制J（fcc_stf）和Vcj之间的关系图，可以获得网页的二维最优搜索空间。
2014-07-24 cs.IR
Privacy Preserving MFI Based Similarity Measure For Hierarchical Document Clustering
万维网的日益增长的性质给研究人员在提高互联网上的搜索效率方面提出了巨大的挑战。如今，Web文档聚类已经成为一个重要的研究课题，以提供最相关的文档在巨大的卷返回响应于一个简单的查询。本文首先提出了一种基于最大频繁项集（MFI）的Apriori聚类算法。然后利用相同的最大频繁项集（MFI）的相似性度量的层次文档聚类。通过考虑最大频繁项集，降低了文档集的维数。第二，提供开放的Web文档的隐私保护是为了避免重复文档。这样，我们就可以保护个人的隐私文件的版权。这可以通过等价关系来实现。
2012-07-12 cs.DB cs.IR
The Lovasz-Bregman Divergence and connections to rank aggregation, clustering, and web ranking
University of Washington（华盛顿大学）
我们以几种方式扩展了最近引入的Lovasz-Bregman（LB）分歧理论（Iyer & Bilmes，2012）。我们表明，它们代表了一个“分数”和“排序”之间的失真，从而提供了一个新的观点排名聚合和基于顺序的聚类与有趣的连接到网络排名。我们展示了如何LB分歧有一些属性类似于许多置换为基础的度量，实际上有特殊情况下的形式非常相似的肯德尔- $τ$度量。我们还展示了如何LB分歧subsidians一些常用的排名措施，在信息检索，如NDCG和AUC。然而，与传统的基于置换的度量不同，LB发散自然地捕获排序中的“置信度”的概念，从而为涉及聚合分数而不仅仅是排序的应用提供新的表示。我们展示了一些最近使用的网络排名模型是如何Lovasz-Bregman排名聚合的形式，并观察到Mallow模型使用LB发散的自然形式已被用作“学习排序”问题的条件排名模型。
2013-08-24 cs.IR cs.LG stat.ML
Link Spam Detection based on DBSpamClust with Fuzzy C-means Clustering
搜索引擎成了无所不在的上网手段。垃圾搜索引擎是一种欺骗搜索引擎排名的技术，它夸大了排名。Web垃圾邮件制造者利用了基于链接的排名算法的脆弱性，通过创建许多人工引用或链接来获得比搜索引擎的结果更高的排名。基于链接的算法，如PageRank，HITS利用超链接的结构细节来对网络中的内容进行排名。本文提出了一种垃圾链接检测算法DBSpamClust。实验表明，该方法可以有效地过滤出垃圾网页
2010-12-31 cs.IR cs.IT cs.SI
Using Fuzzy Logic to Leverage HTML Markup for Web Page Representation
UNED（西班牙国立远程教育大学）；University of Warwick（华威大学）
选择合适的文档表示方法对文档聚类任务的性能起着至关重要的作用。能够在文档中挑选出代表性的单词可以导致文档聚类的实质性改进。在Web文档的情况下，定义内容布局的HTML标记提供了额外的结构信息，可以进一步利用这些信息来识别代表性单词。在本文中，我们介绍了一个模糊的术语加权的方法，使最HTML结构的文档聚类。我们提出并建立在这样一个假设的基础上，即一个好的表示可以利用人类浏览文档的方式来提取最具代表性的单词。网页的作者利用HTML标签通过吸引读者注意力的页面元素（如页面标题或强调元素）传达网页最重要的信息。我们定义了一组标准来利用这些页面元素所提供的信息，并引入了这些标准的模糊组合，我们评估的网页聚类任务的上下文中。我们提出的方法，称为抽象模糊组合准则（AFCC），可以适应数据集的特征分布不同，取得了良好的效果相比，其他类似的模糊逻辑为基础的方法和TF-IDF在不同的数据集。
2016-06-14 cs.CL cs.IR
Reorganization of Links to Improve User Navigation
网站可以很容易地设计，但有效的用户导航并不是一件容易的事情，因为用户的行为是不断变化的，开发人员的观点与用户想要的完全不同，所以改善导航的一种方法是重组网站结构。对于重组，本文提出的策略是最远优先遍历聚类算法对两个数值参数进行聚类，并使用Apriori算法来寻找用户的频繁遍历路径。我们的目标是在网站结构上进行更少的更改。
2014-06-18 cs.HC cs.IR
LOH and behold: Web-scale visual search, recommendation and clustering using Locally Optimized Hashing
Yahoo Labs（雅虎实验室）；Flickr, Yahoo（雅虎Flickr）；Futurewei Technologies Inc.（未来华为技术有限公司）；CWI: Centrum Wiskunde & Informatica（荷兰国家数学与计算机科学研究中心）
我们提出了一种新的基于哈希的匹配方案，称为局部优化哈希（LOH），基于一个国家的最先进的量化算法，可用于高效，大规模的搜索，推荐，聚类和重复数据删除。我们表明，匹配LOH只需要设置交集和求和计算，因此很容易实现在通用的分布式计算系统。我们进一步展示了LOH在以下方面的应用：a）大规模搜索任务，其性能与其他最先进的哈希方法相当; b）大规模推荐，其中由数千张图像组成的查询可以用于从数亿张图像的集合中生成准确的推荐;以及c）利用基于图的算法的有效聚类，该算法可以在分布式环境中扩展到大规模集合或者可以用于小集合的去重，像搜索结果一样，比传统的哈希方法性能更好，同时只需要几毫秒的运行时间。在本文中，我们对多达1亿张图像的数据集进行了实验，但实际上，我们的系统可以扩展到更大的集合，并且可以用于在欧几里得空间中具有矢量表示的其他类型的数据。
2016-07-30 cs.CV cs.IR cs.MM
