A Model for Web Page Usage Mining Based on Segmentation
网页使用挖掘在丰富网页的内容和结构的基础上,从用户与页面的交互收到的反馈起着至关重要的作用。本文提出了一个模型,通过微调挖掘从页面级别到段级别的跟踪活动进行微观管理。所提出的模型使网站管理员能够识别的部分,收到更多的关注,从用户与他人相比。用户行为的细分级别分析提供了一个重要的指标来分析促进页面流量增加的因素。模型的实证验证是通过原型实现。
2012-02-13 cs.IR
Binary Particle Swarm Optimization based Biclustering of Web usage Data
Periyar University(佩里亚尔大学)
提出一种结合二进制粒子群优化与双聚类的方法,从Web使用数据中提取全局最优双聚类,揭示用户与网页关系以支持电子商务应用。
2011-09-30 cs.IR cs.SY eess.SY
"Improved FCM algorithm for Clustering on Web Usage Mining"
East China University of Technology(东华理工大学);Vardhaman college of Engineering(瓦尔达曼工程学院);S.V.University College of Engineering(SV大学工程学院)
针对目前的聚类方法对初始中心值非常敏感,对数据集要求过高,且不能处理噪声数据的问题,提出了利用信息熵初始化聚类中心,并引入加权参数来调整聚类中心的位置和噪声问题。Web数据聚类是通过分析Web服务器上收集到的数据,找出具有共同兴趣和行为的群体,利用改进的模糊C均值(FCM)聚类算法有效地提高了Web数据的聚类效率。Web使用挖掘是将数据采掘技术应用于Web日志数据仓库。它用于从Web访问日志中发现用户访问模式。Web数据集群是使用MSNBC Web导航数据集形成的。
2011-04-11 cs.CV cs.IR
Automatic Recommendation for Online Users Using Web Usage Mining
一个组织的网站管理员的一个现实世界的挑战性任务是匹配用户的需求,并保持他们的注意力在他们的网站。因此,唯一的选择是捕捉用户的直觉,并为他们提供推荐列表。更具体地说,在线导航行为与日俱增,因此智能地从中提取信息是一个困难的问题。网站管理员应该使用Web使用挖掘方法来捕捉直觉。WUM被设计为对包含用户导航的Web服务器日志进行操作。因此,基于WUM的推荐系统可以预测用户的导航模式,并以推荐列表的形式向用户推荐。在本文中,我们提出了一个两层架构,用于捕获用户的直觉,在推荐列表的形式包含由用户访问的页面和其他用户的具有类似的使用配置文件访问的页面。实际应用表明,该体系结构和算法提高了用户直觉捕捉的准确性。
2010-09-02 cs.HC cs.IR
Discovery of Web Usage Profiles Using Various Clustering Techniques
P.A. College of Engineering(P.A.工程学院);J.N.T. University(J.N.T.大学)
万维网(WWW)的爆炸式增长,有必要开发Web个性化系统,以了解用户的喜好,动态地为个人用户提供定制的内容。为了从Web使用数据中揭示用户偏好信息,Web使用挖掘(WUM)技术被广泛应用于Web日志数据。聚类技术被广泛用于WUM中,以捕获访问Web站点的用户之间的相似兴趣和趋势。聚类的目的是将数据集划分为组或簇,其中簇间相似性最小化,而簇内相似性最大化。本文综述了四种常用的聚类技术:k-Means,k-Medoids,Leader和DBSCAN。这些技术的实现和测试对Web用户的导航数据。每种技术的性能和有效性的结果进行了介绍和比较。
2015-09-01 cs.DB cs.IR cs.LG
U-Sem: Semantic Enrichment, User Modeling and Mining of Usage Data on the Social Web
TU Delft(代尔夫特理工大学)
随着社会化Web应用的日益普及,每天都有越来越多的用户数据被发布到Web上。我们的研究重点是调查从这些平台中挖掘数据的方法,这些数据可用于建模用户和语义增强用户简档。这个过程可以增强各种自适应基于Web的系统的适应性和个性化。在本文中,我们提出了U-Sem的人建模服务,语义丰富和挖掘的人的配置文件在社交网络上的使用数据的框架。我们解释了我们的人建模服务的架构,并描述其应用程序在成人电子学习环境中作为一个例子。版本:Mar 21,10:10,Mar 25,09:37
2011-04-01 cs.AI cs.HC cs.IR
A Dynamic Clustering-Based Markov Model for Web Usage Mining
马尔可夫模型已被广泛用于建模用户的Web导航行为。在这项工作中,我们提出了一个动态的聚类为基础的方法,以增加马尔可夫模型的准确性,代表一个集合的用户Web导航会话。该方法利用状态克隆的概念,复制状态的方式,分离的链接,其相应的二阶概率发散。此外,新方法结合了聚类技术,确定了一种有效的方式来分配在链接相似的二阶概率相同的克隆。我们报告的实验进行了真实的和随机的数据,我们提供了一个比较的N-元马尔可夫概念。结果表明,动态聚类方法引入的附加状态数可以通过一个阈值参数来控制,并且该方法的性能与模型大小呈线性关系。
2004-06-17 cs.AI cs.IR
Enabling Semantic Analysis of User Browsing Patterns in the Web of Data
Institute of Applied Informatics and Formal Methods(应用信息学与形式方法研究所);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
为了更好地解释和分析使用模式,一个有用的步骤是形式化用户在Web中访问的资源的语义。我们关注这个问题,并提出了一种方法的语义形式化的使用日志,这奠定了基础,有效的技术查询表达的使用模式。我们还提出了一个查询回答的方法,这是有用的ND在日志表达模式的使用行为,通过制定语义和基于时间的约束。我们已经处理了从DBPedia和语义网狗粮的使用日志中提取的3万多个用户浏览会话。所有这些事件的形式化语义使用各自的领域本体和RDF表示的Web资源被访问。我们通过实验结果表明我们的方法的有效性,以这种方式提供了一个探索性的分析用户浏览theWeb的数据。
2012-04-17 cs.AI cs.HC cs.IR
Belittling the Source: Trustworthiness Indicators to Obfuscate Fake News on the Web
SDA Research(SDA研究院);University of Bonn(波恩大学);Carnegie Mellon University(卡内基梅隆大学);University of Ohio(俄亥俄大学);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所)
随着互联网的发展,网上虚假新闻的数量每年都在激增。这种现象的后果是多方面的,从糟糕的决策过程到欺凌和暴力事件。因此,事实核查算法成为一种宝贵的资产。为此,检测假新闻的一个重要步骤是获得给定信息源的可信度分数。然而,大多数广泛使用的网络指标要么已经向公众关闭(例如,Google PageRank)或不免费使用(Alexa Rank)。此外,现有的数据库是在线资源的简短手动管理列表,无法扩展。最后,关于该主题的大多数研究都是基于理论的,或者在受限的仿真环境中探索机密数据。在本文中,我们探讨了目前的研究,突出的挑战,并提出解决方案,以解决网站分类到一个可信度的规模的问题。该模型自动提取源信誉线索,并计算可信度因子,提供有价值的见解,可以帮助贬低可疑和确认可信的未知网站。实验结果优于国家的艺术在2类和5类设置。
2018-09-03 cs.AI cs.CL cs.IR
A Fuzzy Approach for Feature Evaluation and Dimensionality Reduction to Improve the Quality of Web Usage Mining Results
P.A. College of Engineering(P.A.工程学院);J.N.T. University(J.N.T.大学)
Web使用挖掘是将数据采掘技术应用于Web使用日志存储库,以发现可用于分析用户导航行为的使用模式。在预处理阶段,原始Web日志数据被转换成一组用户简档。每个用户简档捕获一组表示用户会话的URL。可以将聚类应用于该会话化数据,以便在用户导航模式中捕获相似的兴趣和趋势。由于会话化数据可能包含数千个用户会话,并且每个用户会话可能由数百个URL访问组成,因此通过消除低支持度URL来实现降维。非常小的会话也会被删除,以过滤掉数据中的噪声。但是直接消除低支持URL和小会话可能会导致大量信息的丢失,特别是当低支持URL和小会话的计数很大时。我们提出了一个模糊的解决方案来处理这个问题,通过分配权重的URL和用户会话的基础上的模糊隶属函数。在分配权重之后,我们应用模糊c均值聚类算法来发现用户简档的聚类。在本文中,我们描述了我们的模糊集理论的方法来执行特征选择(或降维)和会话权重分配。最后,我们比较了我们的软计算为基础的降维方法与传统的方法,直接消除小会话和低支持计数的URL。我们的研究结果表明,模糊特征评价和降维结果更好的性能和有效性指标的发现集群。
2015-09-01 cs.AI cs.DB cs.IR
Comparing Bibliometric Statistics Obtained from the Web of Science and Scopus
40多年来,科学信息研究所(ISI,现为汤森路透的一部分)制作了唯一可用的书目数据库,文献计量学家可以从中编制大规模的文献计量指标。ISI的引文索引,现在被重新归类为Web of Science(WoS),直到2004年由出版商Reed Elsevier推出Scopus之前,一直是文献计量数据的主要来源。对于那些对国家或机构进行文献计量分析和比较的人来说,这两个主要数据库的存在提出了从不同数据来源获得的统计数据的可比性和稳定性的重要问题。本文使用宏观层面的文献计量学指标,比较从WOS和Scopus获得的结果。它表明,两个数据库获得的论文数量和国家引用数量以及它们的排名之间的相关性非常高(R2 > 0.99)。如果将各国的论文按领域细分,也会发现它们之间有很高的相关性。因此,该文件提供的证据表明,国家一级的科学生产和引用指标是稳定的,基本上独立于数据库。
2009-03-30 cs.DL cs.IR
Characterising Third Party Cookie Usage in the EU after GDPR
最近出台的《通用数据保护条例》(GDPR)要求,在网上获取可用于识别个人身份的信息时,必须获得他们的同意。除此之外,这会影响许多常见形式的cookie,欧盟的用户已经收到通知,要求他们批准数据汇集。本文通过两个数据集来研究GDPR前后第三方Cookie的流行情况:根据Alexa.com访问前500个网站,以及16个英国和中国用户在一年内访问的网站在用户浏览器中放置的Cookie的每周数据。我们发现,GDPR之后,第三方的数量平均下降了10%以上,但当我们检查真实用户一年多的浏览历史时,我们发现第三方cookie的长期数量没有实质性减少,这表明用户没有利用GDPR提供的选择来增加隐私。此外,在为用户提供是否以及如何跟踪他们的选择的网站中,接受默认选择通常最终存储的cookie平均比提供存储cookie的通知但不给用户选择哪些cookie的网站或根本不提供cookie通知的网站更多。我们还发现,顶级非欧盟网站的cookie通知较少,这表明访问国际网站时的跟踪水平较高。我们的研究结果对于理解GDPR的合规性以及理解网络跟踪的演变都具有深刻的意义。
2019-05-03 cs.CR cs.IR
A language independent web data extraction using vision based page segmentation algorithm
Web使用挖掘是从服务器日志即用户历史中提取有用信息的过程。Web使用挖掘是一个发现用户在互联网上寻找什么的过程。有些用户可能只查看文本数据,而有些用户可能对多媒体数据感兴趣。人们可以通过复制数据并将其粘贴到相关文档中来检索数据。但是,这是繁琐和耗时的,以及困难的数据时,要检索的是大量的。由于复杂的结构化网页,从网页中提取结构化数据是一个具有挑战性的问题。以前他们都是用网页依赖的程序设计语言;主要问题是分析html源代码。在早期,它们被认为是脚本,如java脚本和html文件中的级联样式。与现有的仅通过分析标签结构来推断网页结构的规律性的解决方案不同。为了克服这个问题,我们正在使用一种新的算法,称为VIPS算法,即独立语言。该方法主要利用网页的视觉特征来实现网页数据抽取。
2013-10-24 cs.IR
From Cookies to Cooks: Insights on Dietary Patterns via Analysis of Web Usage Logs
营养是人们整体健康的关键因素。因此,了解全人群饮食偏好随时间和空间的性质和动态对公共卫生是有价值的。到目前为止,研究已经通过食物摄入日志或治疗数据利用了参与者的小样本。我们提出了一个补充来源的人口数据,通过网络日志获得营养。我们的主要贡献是通过广泛分布的Web浏览器插件收集的日志镜头,使用用户通过搜索作为实际食物消费代理寻求的食谱的访问量,对整个人群的饮食偏好进行时空分析。我们发现,饮食偏好的变化表示通过食谱访问有两个主要的周期性组成部分,一个每年和其他每周,并存在特征性的地区差异,在美国的饮食。在第二项研究中,我们确定了那些有证据表明做出了减肥决定的用户。我们的特点,他们在他们的搜索查询中表达的兴趣的变化,并特别关注他们的食谱查询的变化。最后,我们将从食谱查询中获得的营养时间序列与入院时间对齐的数据相关联,旨在了解如何利用Web日志中捕获的行为数据来识别饮食和急性健康问题之间的潜在关系。在这项初步研究中,我们专注于随着时间的推移在食谱中确定的钠模式和充血性心力衰竭的入院模式,这是一种慢性疾病,可因钠摄入量的增加而加剧。
2013-04-12 cs.CY cs.IR physics.soc-ph
Predicting antimicrobial drug consumption using web search data
抗生素等抗微生物药物的消费与抗微生物药物耐药性有关。因此,对抗菌药物消费的监测是应对抗菌药物耐药性的一个重要因素。许多国家缺乏足够的监测系统。因此,使用网络挖掘数据有可能改善目前的监测方法。为此,我们研究如何以及抗菌药物的消费可以预测基于网络搜索查询,抗菌药物的历史购买数据相比。我们提出了两个预测模型(线性弹性网络和非线性高斯过程),我们训练和评估近6年的每周抗菌药物消费数据来自丹麦和谷歌健康趋势的网络搜索数据。我们提出了一种新的方法来选择网络搜索查询,考虑疾病和药物链接到抗菌药物,以及专业和外行的抗菌药物的描述,所有这些都是我们从开放的网络挖掘。我们发现,基于网络搜索数据的预测稍微错误一些,但总体上与基于抗菌药物购买的预测相当。该边际差异对应于每周使用中的$<1$ \%点平均绝对误差。最好的预测报告时,结合网络搜索和购买数据。这项研究为预测(并因此监测)抗菌药物消费的现实问题提供了一种新的替代解决方案,这在缺乏集中和及时监测系统的国家/地区特别有价值。
2018-03-09 cs.IR
Analysis of Schema.org Usage in the Tourism Domain
Schema.org是由四大搜索引擎Bing、Google、Yahoo!关于Yandex该计划的目标是发布和维护schema.org词汇表,以促进在Web上发布结构化数据,从而实现智能个人助理和聊天机器人等自动化代理。本文分析了2013年至2016年schema.org在旅游领域的使用情况。分析表明,schema.org的采用,这表明旅游部门是如何为目标的自动代理网络做好准备。结果表明,schema.org类型和属性的采用多年来一直在增长。虽然美国在注释数量上占主导地位,但2016年美国的比例急剧下降。与往年相比,2016年业绩中遇到的评级较差的企业更多。
2018-02-16 cs.IR
Usage Bibliometrics as a Tool to Measure Research Activity
衡量研究活动和影响已成为评估各种实体(研究人员个人、组织、文书、区域、学科)的一个组成部分。传统的文献计量学指标,如基于出版物和引用的指标,提供了这一情况的重要组成部分,但不能描述全貌。由于阅读学术出版物是研究生存周期的一个重要组成部分,因此很自然地要为这一活动引入衡量标准,以量化一个实体的效率、生产力和影响。引用和阅读是显著不同的信号,因此结合在一起,它们提供了研究活动的更完整的画面。大多数学术出版物现在都可以在线访问,这使得阅读及其模式的研究成为可能。点击流日志使我们能够实时跟踪整个研究社区的信息访问。出版和引用数据集只反映作者的活动。此外,下载统计数据将帮助我们识别具有重大影响力但引用次数不多的出版物。点击流信号可以说比引用信号更复杂。首先,它们是不同类别读者的叠加。爬虫的系统下载也会污染信号,浏览行为也是如此。我们讨论了与点击流数据相关的复杂性,以及如何通过适当的过滤,从下载统计数据中推断出统计上显著的关系和结论。我们描述了如何下载统计数据可以用来描述研究活动在不同层次的聚合,从组织到国家。这些统计数字显示了与社会经济指标的相关性。将与传统的文献计量指标进行比较。我们认为天文学代表了更普遍的趋势。
2017-06-07 astro-ph.IM cs.CY cs.DL
Web Pages Clustering: A New Approach
Web的快速发展带来了海量的信息。快速向用户提供信息至关重要。英语(或任何语言)在词汇的使用上有很多歧义。因此,不能保证基于关键字的搜索引擎将提供所需的结果。本文介绍了使用字典(标准化)来获取使用关键字的上下文,并根据上下文对结果进行聚类。这些想法可以与元搜索引擎合并,以提高搜索效率。
2011-08-26 cs.IR
Detecting and Tracking The Real-time Hot Topics: A Study on Computational Neuroscience
在这项研究中,遵循我们以前的论文(Wang等人,2013 a),改进了利用实时的【形】文章使用数据来检测和跟踪特定领域热点话题的方法。利用Web of Science提供的“使用次数”数据,以计算神经科学领域为例进行分析。Web of Science上查询了约1万篇计算神经科学领域的文章,从2015年10月19日到2016年3月21日,每周都会收集和更新记录,包括每篇论文的使用次数数据。热门话题是由文章中最常用的关键词定义的。分析发现,计算神经科学领域的热点话题与关键技术有关,如“fmri”、“eeg”、“erp”等。此外,利用每周更新的数据,我们跟踪了话题的动态变化。使用数据的即时性特点,使得及时动态地跟踪热点话题的“热度”成为可能。
2016-08-19 cs.DL cs.IR
Annotation based automatic action processing
在搜索引擎优化的强大动力背景下,网络上的结构化数据量正在迅速增长。主要的搜索引擎提供商承诺通过使用schema.org的词汇表对网页内容进行注释,从而将其作为结构化数据提供,从而极大地提高可见性。但是除了搜索引擎的使用之外,数据还可以以各种其他方式使用,例如用于自动处理带注释的Web服务或动作。在这项工作中,我们提出了一种方法来消费和处理schema.org注释的数据在网络上,并给出了一个想法,最佳实践可以看起来像。
2018-02-01 cs.IR
Mining Data from the Congressional Record
我们提出了一个数据存储和分析方法,使用美国国会记录作为政策分析工具。我们使用Amazon Web Services和Solr搜索引擎来存储和处理从1789年至今的国会记录数据,然后查询Solr以了解与税收增加和减少相关的语言出现的频率。该频率数据与六个经济指标进行比较。我们的初步结果表明,税收讨论的发生率和多个指标之间的潜在关系。我们提出了我们的数据存储和分析程序,以及比较所有六个指标的结果。
2019-06-03 cs.CY cs.IR
From Linked Data to Relevant Data -- Time is the Essence
Hewlett-Packard Laboratories(惠普实验室)
语义网计划的重点不是把数据放在网上,而是以一种人类和机器都可以探索数据网络的方式创建链接。当这些用户访问Web时,他们会留下一条线索,因为Web服务器会维护请求的历史记录。Web使用挖掘方法已经研究了自Web的开始,日志的巨大潜力的目的,如资源注释,个性化,预测等,但是,任何这样的努力的影响并没有真正超越生成统计数据,详细说明谁,何时,以及如何维护Web服务器的网页被访问。
2011-03-25 cs.AI cs.HC cs.IR
The Decentralized Structure of Collective Attention on the Web
背景:用户的集体浏览行为产生了一个在网站之间传输注意力的流网络。通过分析这个网络的结构,我们发现了一个关于网站影响的非平凡的标度规律。研究方法:构建了三个以网站为节点,用户在网站间切换形成边的点击流网络。我们开发了一个指标Ci作为衡量网站i的影响,并研究了它与网站Ai在三个网络上和网络内语言社区的流量的相关性。结论:我们发现,网站的影响比其流量增长得慢。具体而言,Ci和Ai之间存在指数γ小于1的标度关系。我们认为,这种比例关系的特点是分散结构的点击流循环:万维网是一个系统,有利于小网站重新分配用户的集体注意力。
2012-11-06 cs.IR cs.SI physics.soc-ph
Adoption, usability and perceived clinical value of a UK AI clinical reference platform (iatroX): a mixed-methods formative evaluation of real-world usage and a 1,223-respondent user survey
NHS(英国国家医疗服务体系);University of Cambridge(剑桥大学)
本研究通过真实世界使用分析和1,223名受访者调查,评估了英国RAG临床参考平台iatroX的采用、可用性和感知临床价值,结果显示其能有效缓解信息过载并提供及时答案。
2025-09-25 cs.AI cs.CY cs.HC
Transforming User Defined Criteria into Explainable Indicators with an Integrated LLM AHP System
Sungkyunkwan University(首尔大学)
本文提出一种结合LLM与AHP的可解释性评估系统,通过生成特定标准评分和统计权重,提升跨领域文本评估的可解释性和效率。
2025-11-12 cs.CL cs.IR cs.LG