Web-Based File Clustering and Indexing for Mindoro State University
民都洛州立大学基于网络的文件聚类和索引旨在将通过网络传播的数据组织成组或集合，以促进数据的可用性和访问，同时满足用户的偏好。主要的好处包括增加Web信息的可访问性，了解用户的导航行为，改善Web上的信息检索和内容交付。基于Web的文件聚类可以帮助用户找到所需的文档。在本文中，一种新的方法已被引入搜索结果聚类，是基于检索到的文档的语义，而不是在这些文件中的术语的语法。数据聚类被用来改善从文档集合中的信息检索。数据处理和分析使用SPSS的工具进行评估，以测试所使用的措施的信度和效度。评价基于所选质量特征描述的Likert量表（优、良、一般和差）。
2022-02-13 cs.IR
Parallel Streaming Signature EM-tree: A Clustering Algorithm for Web Scale Applications
Game Analytics ApS；Queensland University of Technology（昆士兰科技大学）
网络的激增提出了自动分析数十亿页自然语言的未解决问题。我们引入了一个可扩展的算法，集群数亿的网页到数十万集群。它使用高效的算法和压缩的文档表示在一台中型机器上完成这项工作。它适用于两个网络规模的爬行，覆盖数十TB。Cocktail Web09和Cocktail Web12包含5亿和7.33亿个网页，并被聚类为50万到70万个集群。据我们所知，这种细粒度的聚类以前还没有被证明。以前的方法对样本进行聚类，限制了可聚类的最大数量。建议EM树算法使用整个集合的聚类和产生几个数量级以上的集群比现有的算法。细粒度聚类对于大规模集合中有意义的聚类是必要的，其中不同主题的数量随着集合大小线性增长。这些细粒度的集群表现出一个改进的集群质量进行评估时，两个新的评价，使用特设的搜索相关性判断和垃圾邮件分类的外部验证。这些评估解决了分类标签不可用和不可行的聚类质量评估问题。
2015-05-21 cs.AI cs.DC cs.IR
Stacking from Tags: Clustering Bookmarks around a Theme
从最近开始，社会书签服务Delicious的用户除了标记网页外，还可以堆叠网页。堆叠使用户能够围绕特定主题对网页进行分组，目的是向其他人推荐。然而，用户仍然堆叠了他们标记的一小部分，因此许多网页仍然没有堆叠。本文介绍了早期的研究，自动聚类网页的标签，找到堆栈和扩展的建议。
2013-02-20 cs.IR
Discovery of Web Usage Profiles Using Various Clustering Techniques
P.A. College of Engineering（P.A.工程学院）；J.N.T. University（J.N.T.大学）
万维网（WWW）的爆炸式增长，有必要开发Web个性化系统，以了解用户的喜好，动态地为个人用户提供定制的内容。为了从Web使用数据中揭示用户偏好信息，Web使用挖掘（WUM）技术被广泛应用于Web日志数据。聚类技术被广泛用于WUM中，以捕获访问Web站点的用户之间的相似兴趣和趋势。聚类的目的是将数据集划分为组或簇，其中簇间相似性最小化，而簇内相似性最大化。本文综述了四种常用的聚类技术：k-Means，k-Medoids，Leader和DBSCAN。这些技术的实现和测试对Web用户的导航数据。每种技术的性能和有效性的结果进行了介绍和比较。
2015-09-01 cs.DB cs.IR cs.LG
A Fuzzy Co-Clustering approach for Clickstream Data Pattern
Web使用挖掘是从大型数据库中提取隐藏的商业智能数据的重要工具。提取的信息为组织提供了更有效地产生结果的能力，以改善他们的业务和增加销售。协同聚类是一种功能强大的双划分技术，它可以识别与一组网页相关联的用户组。这些关联被量化以揭示用户对不同网页聚类的兴趣。本文提出了一种基于点击流数据的模糊共聚类算法，用于识别网站中具有相似浏览行为/兴趣的用户子集。针对用户群进行各种促销活动是营销实践的一个重要方面。在真实数据集上的实验证明了该算法的有效性。该算法的结果和发现可用于提高营销策略的直接营销，广告的基于Web的企业等。
2011-09-30 cs.IR
Web Document Clustering and Ranking using Tf-Idf based Apriori Approach
在过去的几年里，动态Web呈指数级增长，现在用户可以获得与主题相关的数千个文档。大多数Web文档都是非结构化的，没有组织的方式，因此用户更难找到相关文档。一种更有用和有效的机制是将聚类与排名相结合，其中聚类可以将相似的文档分组在一个地方，并且可以将排名应用于每个聚类，以便在开始时查看顶部文档。除了特定的聚类算法，不同的术语加权函数应用于所选择的特征来表示Web文档是聚类任务的一个主要方面。考虑到这种方法，在这里，我们提出了一种新的机制，称为Tf-Idf基于Apriori聚类的Web文档。然后，我们排名的文件在每个集群中使用Tf Idf和相似性因子的文件的用户查询的基础上。这种方法将帮助用户在一个地方获得所有相关文档，并可以将搜索限制在他选择的一些顶级文档上。为了实验的目的，我们采用了康奈尔大学的Classic 3和Classic 4数据集，有超过10，000个文档，并使用gensim工具包来进行我们的工作。我们比较了我们的方法与传统的apriori算法，发现我们的方法是更高的最小支持度提供更好的结果。我们的排名机制也给出了78%的良好F-措施。
2014-06-21 cs.IR
Web Pages Clustering: A New Approach
Web的快速发展带来了海量的信息。快速向用户提供信息至关重要。英语（或任何语言）在词汇的使用上有很多歧义。因此，不能保证基于关键字的搜索引擎将提供所需的结果。本文介绍了使用字典（标准化）来获取使用关键字的上下文，并根据上下文对结果进行聚类。这些想法可以与元搜索引擎合并，以提高搜索效率。
2011-08-26 cs.IR
Clustering Web Search Results For Effective Arabic Language Browsing
浏览搜索结果的过程是传统的Web搜索引擎的主要问题之一，通常用于英语、欧洲和任何其他语言，尤其是阿拉伯语。这个过程是绝对耗时和浏览风格似乎是没有吸引力的。将Web搜索结果组织成集群便于用户快速浏览搜索结果。传统的聚类技术（以数据为中心的聚类算法）是不够的，因为它们不能生成具有高度可读名称或聚类标签的聚类。为了解决这个问题，以描述为中心的算法，如后缀树聚类（STC）算法已被引入并成功和广泛地用于英语，欧洲和汉语的不同适应版本。然而，直到写这篇文章的时候，据我们所知，STC算法还没有应用于阿拉伯语网页摘要搜索结果聚类。在本文中，我们首先提出，研究如何STC可以应用于阿拉伯语？然后，我们通过示例说明，在阿拉伯语片段预处理（词干或词根提取）后不可能应用STC，因为合并过程会产生许多冗余聚类。其次，为了克服这个问题，我们建议将STC集成到一个新的计划中，考虑到阿拉伯语的属性，以使网络越来越适应阿拉伯语用户。所提出的方法自动聚类的Web搜索结果到高质量，高显着的集群标签。得到的聚类不仅具有连贯性，而且能够简洁、准确地将内容传达给用户。因此，阿拉伯语用户可以一目了然地决定集群的内容是否感兴趣。
2013-05-13 cs.IR
Semantic clustering of Russian web search results: possibilities and problems
Mail.ru Group（Mail.ru集团）；National Research University Higher School of Economics（国立研究型高等经济学院）
本文研究了从词汇共现图中进行词义归纳的问题。我们构建这样的图大型俄罗斯语料库，然后将这些数据聚类Mail.ru搜索结果根据查询的含义。我们比较不同的方法进行这种聚类和不同的源语料库。描述了将分布式语义应用于大语言数据的模型。
2014-10-26 cs.CL cs.IR
A Fuzzy Clustering Based Approach for Mining Usage Profiles from Web Log Data
万维网在网站的规模和复杂性方面继续以惊人的速度增长，并且正在成为信息和数据的主要储存库。由于WWW的增长和复杂性的增加，网站发布者在吸引和留住用户方面面临着越来越大的困难。为了设计出受欢迎和有吸引力的网站，出版商必须了解他们的用户需求。因此，分析用户行为是网页设计的重要组成部分。Web使用挖掘（WUM）是将数据采掘技术应用于Web使用日志存储库，以发现可用于分析用户导航行为的使用模式。WUM包括三个主要步骤：预处理，知识提取和结果分析。Web使用挖掘中预处理阶段的目标是将原始Web日志数据转换为一组用户简档。每个这样的配置文件捕获表示用户会话的URL的序列或集合。
2015-09-01 cs.DB cs.IR
Empirical analysis of web-based user-object bipartite networks
理解基于Web的用户-对象网络的结构和演化是一项重要的任务，因为它们在当今的电子商务中起着至关重要的作用。这封信报告了对两个大型网站audioscrobbler.com和del.icio.us的实证分析，其中用户分别与音乐组和书签连接。度分布和度的相关性为用户和对象的报告。提出了一个新的指标，命名为协同聚类系数，量化的集群行为的基础上的协同选择。在此基础上，研究了聚类特性和聚类度相关性。我们报告了一些新的现象，很好地描述了网络用户的选择机制，并概述了这些现象的相关性的信息推荐问题。
2011-12-24 cs.IR physics.data-an physics.soc-ph
Web Search Result Clustering based on Heuristic Search and k-means
为用户提供一个简单而有组织的网络搜索结果一直是信息检索研究的热点。不管查询有多小或多模糊，用户总是希望在IR系统的第一显示器上得到期望的结果。对红外系统结果进行聚类，可以提供一种满足用户实际信息需求的方法。本文提出了一种基于余弦相似度的聚类方法，该方法将聚类分析和k-均值聚类技术相结合。我们的启发式方法检测k的初始值以创建初始质心。这消除了值k的外部指定的问题，如果错误地指定，则可能导致不想要的结果。以这种方式创建的质心在Web搜索结果的上下文中更具体和有意义。所提出的方法的另一个优点是去除了k-means的目标均值函数，这使得聚类大小相同。所提出的方法的最终结果包括具有不同大小的不同的文档集群。
2015-08-11 cs.IR
A Novel Modified Apriori Approach for Web Document Clustering
基于数据采掘中的关联技术，传统的Apriori算法可用于Web文档的聚类。但该算法存在数据库扫描次数多、关联规则分析能力弱等缺陷。在大型数据库的现代世界中，传统的Apriori算法的效率将减少流形。本文提出了一种新的改进的apriori算法，通过减少重复的数据库扫描和改进传统的apriori算法的关联分析来对web文档进行聚类。进一步，我们分别应用模糊C均值（FCM），K均值和向量空间模型（VSM）技术来改进这些聚类。为了进行实验，我们使用康奈尔大学拥有超过10，000个文档的Classic 3和Classic 4数据集，并在其上运行传统的先验算法和我们改进的先验算法。实验结果表明，我们的方法在数据库扫描和分析关联性改进方面优于传统的先验算法。我们发现，FCM是优于K-Means和VSM的F-度量的不同大小的集群。
2015-03-29 cs.IR
An effective web document clustering for information retrieval
在过去的几年中，Web的大小呈指数级增长，用户可以获得与主题相关的数千个文档。有了这么多的信息，如果没有一个适当的框架来搜索现有的数据，就不可能充分利用万维网。这种必要的组织可以通过许多方式来完成。在本文中，我们介绍了一种组合的方法来聚类的网页，首先发现频繁集，然后聚类的文件。这些频繁集是通过使用频繁模式增长技术产生的。然后应用模糊C-均值算法对它进行聚类，找到具有高度相关性和相似特征的文档的聚类。我们使用Gensim包来实现我们的方法，因为它的简单性和鲁棒性。我们比较了我们的结果与（频繁模式增长，K-means）和（频繁模式增长，余弦_相似性）的组合方法。实验结果表明，该方法比上述两种方法的结合更有效，并且能够更有效地处理传统模糊C均值算法对初始质心和待形成聚类数敏感的严重缺陷。
2012-11-06 cs.IR
Personalized Web Services for Web Information Extraction
从Web上提取信息抽取的领域是随着Web的发展和在线数据源的增加而出现的。本文是对信息抽取方法的分析。提出了一种面向服务的Web信息抽取方法，该方法综合考虑了Web数据管理和抽取服务。然后，我们提出了一个基于SOA的架构，以提高灵活性和动态修改的Web提取服务。提出的架构的实现提出了Java企业版（JEE）服务器的中间件级别。
2011-08-27 cs.IR
Search Space Engine Optimize Search Using FCC_STF Algorithm in Fuzzy Co-Clustering
模糊联合聚类算法可以通过处理两个主要问题来改进：第一是离群点问题，第二是维数灾难问题，通过搜索引擎在一组网页帧中有效地执行页面置换算法，如FIFO、LRU或优先级算法，可以减少离群点问题。优先级为零的网页（离群值）可以在单独的帧槽中表示。而对搜索引擎获取的网页进行FCC_STF算法，首先减少离群点问题，可以改善维数灾难问题。根据所用模糊化器的不同，比较了FCCM算法和FUZZY CO-DOK算法与FCC_STF算法的优缺点。FCC_STF算法将模糊化器融合为一个实体，通过对（A1，B1，Vcj，A2，B2）值的实验结果表明，该算法对局部极大值不敏感，通过绘制J（fcc_stf）和Vcj之间的关系图，可以获得网页的二维最优搜索空间。
2014-07-24 cs.IR
Privacy Preserving MFI Based Similarity Measure For Hierarchical Document Clustering
万维网的日益增长的性质给研究人员在提高互联网上的搜索效率方面提出了巨大的挑战。如今，Web文档聚类已经成为一个重要的研究课题，以提供最相关的文档在巨大的卷返回响应于一个简单的查询。本文首先提出了一种基于最大频繁项集（MFI）的Apriori聚类算法。然后利用相同的最大频繁项集（MFI）的相似性度量的层次文档聚类。通过考虑最大频繁项集，降低了文档集的维数。第二，提供开放的Web文档的隐私保护是为了避免重复文档。这样，我们就可以保护个人的隐私文件的版权。这可以通过等价关系来实现。
2012-07-12 cs.DB cs.IR
The Lovasz-Bregman Divergence and connections to rank aggregation, clustering, and web ranking
University of Washington（华盛顿大学）
我们以几种方式扩展了最近引入的Lovasz-Bregman（LB）分歧理论（Iyer & Bilmes，2012）。我们表明，它们代表了一个“分数”和“排序”之间的失真，从而提供了一个新的观点排名聚合和基于顺序的聚类与有趣的连接到网络排名。我们展示了如何LB分歧有一些属性类似于许多置换为基础的度量，实际上有特殊情况下的形式非常相似的肯德尔- $τ$度量。我们还展示了如何LB分歧subsidians一些常用的排名措施，在信息检索，如NDCG和AUC。然而，与传统的基于置换的度量不同，LB发散自然地捕获排序中的“置信度”的概念，从而为涉及聚合分数而不仅仅是排序的应用提供新的表示。我们展示了一些最近使用的网络排名模型是如何Lovasz-Bregman排名聚合的形式，并观察到Mallow模型使用LB发散的自然形式已被用作“学习排序”问题的条件排名模型。
2013-08-24 cs.IR cs.LG stat.ML
Link Spam Detection based on DBSpamClust with Fuzzy C-means Clustering
搜索引擎成了无所不在的上网手段。垃圾搜索引擎是一种欺骗搜索引擎排名的技术，它夸大了排名。Web垃圾邮件制造者利用了基于链接的排名算法的脆弱性，通过创建许多人工引用或链接来获得比搜索引擎的结果更高的排名。基于链接的算法，如PageRank，HITS利用超链接的结构细节来对网络中的内容进行排名。本文提出了一种垃圾链接检测算法DBSpamClust。实验表明，该方法可以有效地过滤出垃圾网页
2010-12-31 cs.IR cs.IT cs.SI
Using Fuzzy Logic to Leverage HTML Markup for Web Page Representation
UNED（西班牙国立远程教育大学）；University of Warwick（华威大学）
选择合适的文档表示方法对文档聚类任务的性能起着至关重要的作用。能够在文档中挑选出代表性的单词可以导致文档聚类的实质性改进。在Web文档的情况下，定义内容布局的HTML标记提供了额外的结构信息，可以进一步利用这些信息来识别代表性单词。在本文中，我们介绍了一个模糊的术语加权的方法，使最HTML结构的文档聚类。我们提出并建立在这样一个假设的基础上，即一个好的表示可以利用人类浏览文档的方式来提取最具代表性的单词。网页的作者利用HTML标签通过吸引读者注意力的页面元素（如页面标题或强调元素）传达网页最重要的信息。我们定义了一组标准来利用这些页面元素所提供的信息，并引入了这些标准的模糊组合，我们评估的网页聚类任务的上下文中。我们提出的方法，称为抽象模糊组合准则（AFCC），可以适应数据集的特征分布不同，取得了良好的效果相比，其他类似的模糊逻辑为基础的方法和TF-IDF在不同的数据集。
2016-06-14 cs.CL cs.IR
LOH and behold: Web-scale visual search, recommendation and clustering using Locally Optimized Hashing
Yahoo Labs（雅虎实验室）；Flickr, Yahoo（雅虎Flickr）；Futurewei Technologies Inc.（未来华为技术有限公司）；CWI: Centrum Wiskunde & Informatica（荷兰国家数学与计算机科学研究中心）
我们提出了一种新的基于哈希的匹配方案，称为局部优化哈希（LOH），基于一个国家的最先进的量化算法，可用于高效，大规模的搜索，推荐，聚类和重复数据删除。我们表明，匹配LOH只需要设置交集和求和计算，因此很容易实现在通用的分布式计算系统。我们进一步展示了LOH在以下方面的应用：a）大规模搜索任务，其性能与其他最先进的哈希方法相当; b）大规模推荐，其中由数千张图像组成的查询可以用于从数亿张图像的集合中生成准确的推荐;以及c）利用基于图的算法的有效聚类，该算法可以在分布式环境中扩展到大规模集合或者可以用于小集合的去重，像搜索结果一样，比传统的哈希方法性能更好，同时只需要几毫秒的运行时间。在本文中，我们对多达1亿张图像的数据集进行了实验，但实际上，我们的系统可以扩展到更大的集合，并且可以用于在欧几里得空间中具有矢量表示的其他类型的数据。
2016-07-30 cs.CV cs.IR cs.MM
Hypermedia Learning Objects System - On the Way to a Semantic Educational Web
虽然电子学习系统在日常教育中变得越来越流行，但可用的应用程序缺乏以高级方式构建、注释和管理其内容的机会。一般的努力，以改善这些赤字的倡议，定义丰富的Meta数据集和语义Web层。介绍了一个在线学习系统Hylos。Hylos基于蜂窝式电子学习对象（ELO）信息模型，该模型封装了符合LOM标准的Meta数据。内容管理在此语义Meta数据级别上提供，并允许可变的、动态适应的访问结构。上下文感知的多功能链接允许根据学习者和教学需求进行系统导航，从而探索语义网的功能。Hylos是建立在更通用的多媒体信息库（MIR）和MIR自适应上下文链接环境（MIRaCLE），其链接扩展。MIR是一个支持XML、Corba和JNDI标准的开放系统。Hylos受益于可管理的信息结构、复杂的访问逻辑和高级创作工具，如负责半手动创建Meta数据的ELO编辑器和类似内容编辑的WYSIWYG。
2004-07-31 cs.IR cs.LG
