Web Document Clustering and Ranking using Tf-Idf based Apriori Approach
在过去的几年里，动态Web呈指数级增长，现在用户可以获得与主题相关的数千个文档。大多数Web文档都是非结构化的，没有组织的方式，因此用户更难找到相关文档。一种更有用和有效的机制是将聚类与排名相结合，其中聚类可以将相似的文档分组在一个地方，并且可以将排名应用于每个聚类，以便在开始时查看顶部文档。除了特定的聚类算法，不同的术语加权函数应用于所选择的特征来表示Web文档是聚类任务的一个主要方面。考虑到这种方法，在这里，我们提出了一种新的机制，称为Tf-Idf基于Apriori聚类的Web文档。然后，我们排名的文件在每个集群中使用Tf Idf和相似性因子的文件的用户查询的基础上。这种方法将帮助用户在一个地方获得所有相关文档，并可以将搜索限制在他选择的一些顶级文档上。为了实验的目的，我们采用了康奈尔大学的Classic 3和Classic 4数据集，有超过10，000个文档，并使用gensim工具包来进行我们的工作。我们比较了我们的方法与传统的apriori算法，发现我们的方法是更高的最小支持度提供更好的结果。我们的排名机制也给出了78%的良好F-措施。
2014-06-21 cs.IR
Web Pages Clustering: A New Approach
Web的快速发展带来了海量的信息。快速向用户提供信息至关重要。英语（或任何语言）在词汇的使用上有很多歧义。因此，不能保证基于关键字的搜索引擎将提供所需的结果。本文介绍了使用字典（标准化）来获取使用关键字的上下文，并根据上下文对结果进行聚类。这些想法可以与元搜索引擎合并，以提高搜索效率。
2011-08-26 cs.IR
Clustering Web Search Results For Effective Arabic Language Browsing
浏览搜索结果的过程是传统的Web搜索引擎的主要问题之一，通常用于英语、欧洲和任何其他语言，尤其是阿拉伯语。这个过程是绝对耗时和浏览风格似乎是没有吸引力的。将Web搜索结果组织成集群便于用户快速浏览搜索结果。传统的聚类技术（以数据为中心的聚类算法）是不够的，因为它们不能生成具有高度可读名称或聚类标签的聚类。为了解决这个问题，以描述为中心的算法，如后缀树聚类（STC）算法已被引入并成功和广泛地用于英语，欧洲和汉语的不同适应版本。然而，直到写这篇文章的时候，据我们所知，STC算法还没有应用于阿拉伯语网页摘要搜索结果聚类。在本文中，我们首先提出，研究如何STC可以应用于阿拉伯语？然后，我们通过示例说明，在阿拉伯语片段预处理（词干或词根提取）后不可能应用STC，因为合并过程会产生许多冗余聚类。其次，为了克服这个问题，我们建议将STC集成到一个新的计划中，考虑到阿拉伯语的属性，以使网络越来越适应阿拉伯语用户。所提出的方法自动聚类的Web搜索结果到高质量，高显着的集群标签。得到的聚类不仅具有连贯性，而且能够简洁、准确地将内容传达给用户。因此，阿拉伯语用户可以一目了然地决定集群的内容是否感兴趣。
2013-05-13 cs.IR
"Improved FCM algorithm for Clustering on Web Usage Mining"
East China University of Technology（东华理工大学）；Vardhaman college of Engineering（瓦尔达曼工程学院）；S.V.University College of Engineering（SV大学工程学院）
针对目前的聚类方法对初始中心值非常敏感，对数据集要求过高，且不能处理噪声数据的问题，提出了利用信息熵初始化聚类中心，并引入加权参数来调整聚类中心的位置和噪声问题。Web数据聚类是通过分析Web服务器上收集到的数据，找出具有共同兴趣和行为的群体，利用改进的模糊C均值（FCM）聚类算法有效地提高了Web数据的聚类效率。Web使用挖掘是将数据采掘技术应用于Web日志数据仓库。它用于从Web访问日志中发现用户访问模式。Web数据集群是使用MSNBC Web导航数据集形成的。
2011-04-11 cs.CV cs.IR
A Novel Modified Apriori Approach for Web Document Clustering
基于数据采掘中的关联技术，传统的Apriori算法可用于Web文档的聚类。但该算法存在数据库扫描次数多、关联规则分析能力弱等缺陷。在大型数据库的现代世界中，传统的Apriori算法的效率将减少流形。本文提出了一种新的改进的apriori算法，通过减少重复的数据库扫描和改进传统的apriori算法的关联分析来对web文档进行聚类。进一步，我们分别应用模糊C均值（FCM），K均值和向量空间模型（VSM）技术来改进这些聚类。为了进行实验，我们使用康奈尔大学拥有超过10，000个文档的Classic 3和Classic 4数据集，并在其上运行传统的先验算法和我们改进的先验算法。实验结果表明，我们的方法在数据库扫描和分析关联性改进方面优于传统的先验算法。我们发现，FCM是优于K-Means和VSM的F-度量的不同大小的集群。
2015-03-29 cs.IR
An effective web document clustering for information retrieval
在过去的几年中，Web的大小呈指数级增长，用户可以获得与主题相关的数千个文档。有了这么多的信息，如果没有一个适当的框架来搜索现有的数据，就不可能充分利用万维网。这种必要的组织可以通过许多方式来完成。在本文中，我们介绍了一种组合的方法来聚类的网页，首先发现频繁集，然后聚类的文件。这些频繁集是通过使用频繁模式增长技术产生的。然后应用模糊C-均值算法对它进行聚类，找到具有高度相关性和相似特征的文档的聚类。我们使用Gensim包来实现我们的方法，因为它的简单性和鲁棒性。我们比较了我们的结果与（频繁模式增长，K-means）和（频繁模式增长，余弦_相似性）的组合方法。实验结果表明，该方法比上述两种方法的结合更有效，并且能够更有效地处理传统模糊C均值算法对初始质心和待形成聚类数敏感的严重缺陷。
2012-11-06 cs.IR
A Dynamic Clustering-Based Markov Model for Web Usage Mining
马尔可夫模型已被广泛用于建模用户的Web导航行为。在这项工作中，我们提出了一个动态的聚类为基础的方法，以增加马尔可夫模型的准确性，代表一个集合的用户Web导航会话。该方法利用状态克隆的概念，复制状态的方式，分离的链接，其相应的二阶概率发散。此外，新方法结合了聚类技术，确定了一种有效的方式来分配在链接相似的二阶概率相同的克隆。我们报告的实验进行了真实的和随机的数据，我们提供了一个比较的N-元马尔可夫概念。结果表明，动态聚类方法引入的附加状态数可以通过一个阈值参数来控制，并且该方法的性能与模型大小呈线性关系。
2004-06-17 cs.AI cs.IR
Search Space Engine Optimize Search Using FCC_STF Algorithm in Fuzzy Co-Clustering
模糊联合聚类算法可以通过处理两个主要问题来改进：第一是离群点问题，第二是维数灾难问题，通过搜索引擎在一组网页帧中有效地执行页面置换算法，如FIFO、LRU或优先级算法，可以减少离群点问题。优先级为零的网页（离群值）可以在单独的帧槽中表示。而对搜索引擎获取的网页进行FCC_STF算法，首先减少离群点问题，可以改善维数灾难问题。根据所用模糊化器的不同，比较了FCCM算法和FUZZY CO-DOK算法与FCC_STF算法的优缺点。FCC_STF算法将模糊化器融合为一个实体，通过对（A1，B1，Vcj，A2，B2）值的实验结果表明，该算法对局部极大值不敏感，通过绘制J（fcc_stf）和Vcj之间的关系图，可以获得网页的二维最优搜索空间。
2014-07-24 cs.IR
Discovery of Web Usage Profiles Using Various Clustering Techniques
P.A. College of Engineering（P.A.工程学院）；J.N.T. University（J.N.T.大学）
万维网（WWW）的爆炸式增长，有必要开发Web个性化系统，以了解用户的喜好，动态地为个人用户提供定制的内容。为了从Web使用数据中揭示用户偏好信息，Web使用挖掘（WUM）技术被广泛应用于Web日志数据。聚类技术被广泛用于WUM中，以捕获访问Web站点的用户之间的相似兴趣和趋势。聚类的目的是将数据集划分为组或簇，其中簇间相似性最小化，而簇内相似性最大化。本文综述了四种常用的聚类技术：k-Means，k-Medoids，Leader和DBSCAN。这些技术的实现和测试对Web用户的导航数据。每种技术的性能和有效性的结果进行了介绍和比较。
2015-09-01 cs.DB cs.IR cs.LG
Semantic clustering of Russian web search results: possibilities and problems
Mail.ru Group（Mail.ru集团）；National Research University Higher School of Economics（国立研究型高等经济学院）
本文研究了从词汇共现图中进行词义归纳的问题。我们构建这样的图大型俄罗斯语料库，然后将这些数据聚类Mail.ru搜索结果根据查询的含义。我们比较不同的方法进行这种聚类和不同的源语料库。描述了将分布式语义应用于大语言数据的模型。
2014-10-26 cs.CL cs.IR
A Fuzzy Clustering Based Approach for Mining Usage Profiles from Web Log Data
万维网在网站的规模和复杂性方面继续以惊人的速度增长，并且正在成为信息和数据的主要储存库。由于WWW的增长和复杂性的增加，网站发布者在吸引和留住用户方面面临着越来越大的困难。为了设计出受欢迎和有吸引力的网站，出版商必须了解他们的用户需求。因此，分析用户行为是网页设计的重要组成部分。Web使用挖掘（WUM）是将数据采掘技术应用于Web使用日志存储库，以发现可用于分析用户导航行为的使用模式。WUM包括三个主要步骤：预处理，知识提取和结果分析。Web使用挖掘中预处理阶段的目标是将原始Web日志数据转换为一组用户简档。每个这样的配置文件捕获表示用户会话的URL的序列或集合。
2015-09-01 cs.DB cs.IR
Parallel Streaming Signature EM-tree: A Clustering Algorithm for Web Scale Applications
Game Analytics ApS；Queensland University of Technology（昆士兰科技大学）
网络的激增提出了自动分析数十亿页自然语言的未解决问题。我们引入了一个可扩展的算法，集群数亿的网页到数十万集群。它使用高效的算法和压缩的文档表示在一台中型机器上完成这项工作。它适用于两个网络规模的爬行，覆盖数十TB。Cocktail Web09和Cocktail Web12包含5亿和7.33亿个网页，并被聚类为50万到70万个集群。据我们所知，这种细粒度的聚类以前还没有被证明。以前的方法对样本进行聚类，限制了可聚类的最大数量。建议EM树算法使用整个集合的聚类和产生几个数量级以上的集群比现有的算法。细粒度聚类对于大规模集合中有意义的聚类是必要的，其中不同主题的数量随着集合大小线性增长。这些细粒度的集群表现出一个改进的集群质量进行评估时，两个新的评价，使用特设的搜索相关性判断和垃圾邮件分类的外部验证。这些评估解决了分类标签不可用和不可行的聚类质量评估问题。
2015-05-21 cs.AI cs.DC cs.IR
A Method for Clustering Web Attacks Using Edit Distance
聚类分析通常是数据分类过程中的第一步。本文研究了不同长度输入数据的聚类问题。使用编辑距离作为将一个向量变换成另一个向量所需的基本编辑操作的最小数目。一个启发式聚类不等长的向量，类似于著名的k-means算法的描述和分析。该启发式算法以特定的方式确定聚类质心，将较短的向量扩展到每个聚类中最长向量的长度。结果表明，启发式算法的时间复杂度和空间复杂度与输入向量的个数成线性关系。实验结果的真实数据来源于一个系统的Web攻击的分类。
2003-04-03 cs.AI cs.CR cs.IR
FNHSM_HRS: Hybrid recommender system using fuzzy clustering and heuristic similarity measure
Faculty of Computer Engineering, K. N. Toosi University of Technology（霍贾·纳西尔丁·图西工业大学计算机工程学院）；University of Bojnord（博季努尔德大学）
如今，推荐系统已经成为一个综合系统，帮助和指导用户在大量的数据在互联网上。协同过滤根据一组用户的评级向活跃用户提供服务。最简单、最容易理解和最成功的模型之一是在推荐系统中找到有品味的用户。在这种模式下，随着用户和项目数量的增加，系统面临着可扩展性问题。另一方面，当评级信息很少时，提高系统性能非常重要。本文提出了一种基于新的启发式相似性度量（NHSM）和模糊聚类的混合推荐系统FNHSM_HRS。在建议的系统中使用模糊聚类方法改善了可扩展性问题，并提高了系统推荐的准确性。该系统是基于协同过滤模型，并与启发式相似性度量，以提高系统的性能和准确性。基于MovieLens数据集的所提出的系统的结果的评估使用MAE、召回率、精确度和准确度测量来执行结果，这表明系统性能的改进和使用其他测量来查找相似性的协同过滤方法的推荐的准确性的提高。
2019-09-26 cs.IR cs.LG
Empirical analysis of web-based user-object bipartite networks
理解基于Web的用户-对象网络的结构和演化是一项重要的任务，因为它们在当今的电子商务中起着至关重要的作用。这封信报告了对两个大型网站audioscrobbler.com和del.icio.us的实证分析，其中用户分别与音乐组和书签连接。度分布和度的相关性为用户和对象的报告。提出了一个新的指标，命名为协同聚类系数，量化的集群行为的基础上的协同选择。在此基础上，研究了聚类特性和聚类度相关性。我们报告了一些新的现象，很好地描述了网络用户的选择机制，并概述了这些现象的相关性的信息推荐问题。
2011-12-24 cs.IR physics.data-an physics.soc-ph
Privacy Preserving MFI Based Similarity Measure For Hierarchical Document Clustering
万维网的日益增长的性质给研究人员在提高互联网上的搜索效率方面提出了巨大的挑战。如今，Web文档聚类已经成为一个重要的研究课题，以提供最相关的文档在巨大的卷返回响应于一个简单的查询。本文首先提出了一种基于最大频繁项集（MFI）的Apriori聚类算法。然后利用相同的最大频繁项集（MFI）的相似性度量的层次文档聚类。通过考虑最大频繁项集，降低了文档集的维数。第二，提供开放的Web文档的隐私保护是为了避免重复文档。这样，我们就可以保护个人的隐私文件的版权。这可以通过等价关系来实现。
2012-07-12 cs.DB cs.IR
The Lovasz-Bregman Divergence and connections to rank aggregation, clustering, and web ranking
University of Washington（华盛顿大学）
我们以几种方式扩展了最近引入的Lovasz-Bregman（LB）分歧理论（Iyer & Bilmes，2012）。我们表明，它们代表了一个“分数”和“排序”之间的失真，从而提供了一个新的观点排名聚合和基于顺序的聚类与有趣的连接到网络排名。我们展示了如何LB分歧有一些属性类似于许多置换为基础的度量，实际上有特殊情况下的形式非常相似的肯德尔- $τ$度量。我们还展示了如何LB分歧subsidians一些常用的排名措施，在信息检索，如NDCG和AUC。然而，与传统的基于置换的度量不同，LB发散自然地捕获排序中的“置信度”的概念，从而为涉及聚合分数而不仅仅是排序的应用提供新的表示。我们展示了一些最近使用的网络排名模型是如何Lovasz-Bregman排名聚合的形式，并观察到Mallow模型使用LB发散的自然形式已被用作“学习排序”问题的条件排名模型。
2013-08-24 cs.IR cs.LG stat.ML
Using Fuzzy Logic to Leverage HTML Markup for Web Page Representation
UNED（西班牙国立远程教育大学）；University of Warwick（华威大学）
选择合适的文档表示方法对文档聚类任务的性能起着至关重要的作用。能够在文档中挑选出代表性的单词可以导致文档聚类的实质性改进。在Web文档的情况下，定义内容布局的HTML标记提供了额外的结构信息，可以进一步利用这些信息来识别代表性单词。在本文中，我们介绍了一个模糊的术语加权的方法，使最HTML结构的文档聚类。我们提出并建立在这样一个假设的基础上，即一个好的表示可以利用人类浏览文档的方式来提取最具代表性的单词。网页的作者利用HTML标签通过吸引读者注意力的页面元素（如页面标题或强调元素）传达网页最重要的信息。我们定义了一组标准来利用这些页面元素所提供的信息，并引入了这些标准的模糊组合，我们评估的网页聚类任务的上下文中。我们提出的方法，称为抽象模糊组合准则（AFCC），可以适应数据集的特征分布不同，取得了良好的效果相比，其他类似的模糊逻辑为基础的方法和TF-IDF在不同的数据集。
2016-06-14 cs.CL cs.IR
Query Optimization Over Web Services Using A Mixed Approach
Web服务管理系统（WSMS）可以被认为是管理Web服务的一致和安全的方法。Web服务已经成为Web世界的一个典型部分，管理和共享与之相关的业务资源。在本文中，我们专注于查询优化方面的处理“自然语言“查询，查询到WSMS。映射-选择-组合操作被引导以选择特定的Web服务。我们的研究的主要后果是在一个算法，它使用成本为基础的，以及启发式的查询优化的方法。通过基于成本的评估，并使用贪心算法，形成查询计划。基于启发式的方法进一步优化了评估计划。该方案不仅保证了一个最优的解决方案，它具有最小的偏离理想的解决方案，但也节省了时间，否则用于生成各种查询计划，使用许多数学模型，然后评估每一个。
2012-07-27 cs.DB cs.IR
Link Spam Detection based on DBSpamClust with Fuzzy C-means Clustering
搜索引擎成了无所不在的上网手段。垃圾搜索引擎是一种欺骗搜索引擎排名的技术，它夸大了排名。Web垃圾邮件制造者利用了基于链接的排名算法的脆弱性，通过创建许多人工引用或链接来获得比搜索引擎的结果更高的排名。基于链接的算法，如PageRank，HITS利用超链接的结构细节来对网络中的内容进行排名。本文提出了一种垃圾链接检测算法DBSpamClust。实验表明，该方法可以有效地过滤出垃圾网页
2010-12-31 cs.IR cs.IT cs.SI
Examining DOM Coordinate Effectiveness For Page Segmentation
University of Minnesota（明尼苏达大学）
研究通过检验DOM坐标在页面分割中的有效性，发现DOM坐标比视觉坐标更优，且简单向量在分割精度上表现更好，提出通过DOM坐标聚类优化页面分割的方法。
2026-01-14 cs.IR
The Anatomy of Mitos Web Search Engine
设计一个提供有效和高效的信息检索的Web搜索引擎是一项具有挑战性的任务。本文介绍了我们的经验，从设计和开发一个Web搜索引擎提供了广泛的功能，我们报告了一些有趣的实验结果。该引擎的一个相当独特的设计选择是，它的索引基于DBMS，而提供的一些独特功能包括高级希腊语词干提取、实时的结果聚类和高级链接分析技术（也用于垃圾页面检测）。
2008-03-16 cs.IR
Reorganization of Links to Improve User Navigation
网站可以很容易地设计，但有效的用户导航并不是一件容易的事情，因为用户的行为是不断变化的，开发人员的观点与用户想要的完全不同，所以改善导航的一种方法是重组网站结构。对于重组，本文提出的策略是最远优先遍历聚类算法对两个数值参数进行聚类，并使用Apriori算法来寻找用户的频繁遍历路径。我们的目标是在网站结构上进行更少的更改。
2014-06-18 cs.HC cs.IR
Web Page Content Extraction Based on Multi-feature Fusion
随着互联网技术的飞速发展，人们获取的网页资源越来越多。同时，当前深度学习技术的快速发展，往往离不开海量的Web数据资源。另一方面，NLP也是数据处理技术的重要组成部分，如网页数据抽取。目前网页文本的抽取技术主要采用单一的启发式函数或策略，且大多需要人工确定阈值。随着Web资源数量和类型的快速增长，使用单一的策略提取不同页面的文本信息仍然存在问题。提出了一种基于多特征融合的网页文本提取算法。根据Web资源的文本信息特点，以DOM节点为抽取单元设计多个统计特征，并根据启发式策略设计高阶特征。该方法建立一个小型神经网络，以DOM节点的多个特征作为输入，预测节点是否包含文本信息，充分利用不同的统计信息和抽取策略，适应更多类型的页面。实验结果表明，该方法具有较好的网页文本提取能力，避免了人工确定阈值的问题。
2022-10-26 cs.AI cs.IR
LOH and behold: Web-scale visual search, recommendation and clustering using Locally Optimized Hashing
Yahoo Labs（雅虎实验室）；Flickr, Yahoo（雅虎Flickr）；Futurewei Technologies Inc.（未来华为技术有限公司）；CWI: Centrum Wiskunde & Informatica（荷兰国家数学与计算机科学研究中心）
我们提出了一种新的基于哈希的匹配方案，称为局部优化哈希（LOH），基于一个国家的最先进的量化算法，可用于高效，大规模的搜索，推荐，聚类和重复数据删除。我们表明，匹配LOH只需要设置交集和求和计算，因此很容易实现在通用的分布式计算系统。我们进一步展示了LOH在以下方面的应用：a）大规模搜索任务，其性能与其他最先进的哈希方法相当; b）大规模推荐，其中由数千张图像组成的查询可以用于从数亿张图像的集合中生成准确的推荐;以及c）利用基于图的算法的有效聚类，该算法可以在分布式环境中扩展到大规模集合或者可以用于小集合的去重，像搜索结果一样，比传统的哈希方法性能更好，同时只需要几毫秒的运行时间。在本文中，我们对多达1亿张图像的数据集进行了实验，但实际上，我们的系统可以扩展到更大的集合，并且可以用于在欧几里得空间中具有矢量表示的其他类型的数据。
2016-07-30 cs.CV cs.IR cs.MM
WebSets: Extracting Sets of Entities from the Web Using Unsupervised Information Extraction
Carnegie Mellon University（卡内基梅隆大学）
我们描述了一个开放域的信息抽取方法提取的概念实例对从HTML语料库。大多数早期的方法来解决这个问题依赖于组合集群的分布相似的条款和概念实例对获得赫斯特模式。相比之下，我们的方法依赖于一种新的方法，在HTML表中发现的术语聚类，然后使用赫斯特模式将概念名称分配给这些集群。该方法可以有效地应用于大型语料库，并在几个数据集上的实验结果表明，我们的方法可以准确地提取大量的概念实例对。
2013-07-01 cs.CL cs.IR cs.LG
Pairwise Judgment Formulation for Semantic Embedding Model in Web Search
Department of Computing Hong Kong Polytechnic University（计算系香港理工大学）；Department of Mechanical Engineering Hong Kong Polytechnic University（机械工程系香港理工大学）
本文提出了一种改进的语义嵌入模型训练方法，通过分析大规模查询日志，发现传统排序方法未必最优，并展示了混合启发式方法的优势。
2026-01-05 cs.AI cs.DB cs.IR
Webpage Segmentation for Extracting Images and Their Surrounding Contextual Information
School of IT, Monash University（莫纳什大学信息技术学院）
Web图像与有价值的上下文信息密切相关。尽管这些信息长期以来被挖掘用于各种用途，例如图像注释、图像聚类、图像语义内容的推断等，在挖掘这种上下文信息时，对解决问题没有给予足够的关注。在本文中，我们提出了一个网页分割算法，针对提取的网页图像及其上下文信息的基础上，他们出现在网页上的特点。我们进行了用户研究，以获得一个人类标记的数据集，以验证我们的方法的有效性和实验表明，我们的方法可以达到更好的效果相比，现有的分割算法。
2020-05-18 cs.CV cs.IR cs.MM
