Website Optimization through Mining User Navigational Pattern
随着万维网的普及和各种在线业务的迅速发展，网站的复杂性也在不断增加。分析Web用户在Web站点中的导航模式可以为服务器性能改进、网站重构和电子商务中的直接营销等提供有用的信息。本文提出了一种挖掘此类导航模式的算法。关键的见解是，用户访问感兴趣的信息，并遵循一定的路径，而导航网站。如果他们找不到，他们会原路返回，并在替代路径中选择，直到他们到达目的地。他们回溯的点是中间参考位置。在本报告的其余部分中，将主要努力确定这些中间位置和目的地。
2008-03-06 cs.IR
Automated Evaluation of Web Site Accessibility Using A Dynamic Accessibility Measurement Crawler
实现可访问性合规性对于许多希望为消费者改善服务的政府机构和企业来说极其重要。随着对动态Web应用程序的日益依赖，许多组织发现很难实现可访问性标准，这通常是由于当前的自动化测试工具无法测试动态Web应用程序创建的有状态环境。在本文中，我们提出的Demodocus框架和原型的数学基础和理论，并概述了其方法，使用网络科学，网络爬行，无障碍测试自动导航和测试交互式内容的可访问性。我们的方法模拟的页面交互的用户和没有残疾人，并比较这些模拟的可达状态图，以确定这些不同的用户的内容访问的可访问性和难度。
2021-12-10 cs.IR
Stochastic Models of User-Contributory Web Sites
我们描述了一个一般的随机过程为基础的方法来建模用户贡献的网站，用户创建，评级和共享内容。这些模型描述了活动的总体度量以及它们如何从单个用户的简单模型中产生。这种方法提供了一种易于理解的方法来理解用户在网站上的活动，以及这种活动如何取决于网站设计选择，特别是选择向每个用户显示关于其他用户行为的信息。我们说明了这种建模方法的上下文中的用户创建的内容的新闻评级网站Digg。
2009-03-31 cs.CY cs.IR
The Impact of Employment Web Sites' Traffic on Unemployment: A Cross Country Comparison
虽然就业网站近年来已成为招聘和选拔过程的主要来源，但这些网站与失业率之间的关系却很少被提及。本研究从32个国家和427个网站获得数据，探讨了欧洲国家失业率与国家特定就业网站吸引力之间的相关性。它还比较了失业率和上述所有网站流量的变化。结果显示，网站流量和失业率之间存在很强的相关性。
2014-03-08 cs.CY cs.IR stat.AP
Unstable markup: A template-based information extraction from web sites with unstable markup
本文介绍了在ESWC 2014年语义发布挑战赛2014的框架下，将CEUR研讨会会议记录网站爬行到链接开放数据（LOD）数据集的工作结果。我们的方法是基于使用一个可扩展的模板依赖的爬虫和DBpedia链接提取的实体，如大学和国家的名称。
2014-08-06 cs.DL cs.IR
Extraction of Web Usage Profiles using Simulated Annealing Based Biclustering Approach
在本文中，模拟退火（SA）为基础的双聚类方法，提出了使用SA作为优化工具的Web使用数据的双聚类，以确定最佳的用户简档从给定的Web使用数据。提取的双聚类由相关的用户组成，这些用户的使用行为在网站的网页的子集上是相似的，因为这些用户对于网站的其余页面是不相关的。这些结果在Web个性化中非常有用，以便更好地与用户进行沟通，并进行定制预测。也适用于提供定制的Web服务。实验是在真实的网络使用数据集CTI数据集上进行的。实验结果表明，提出的基于SA的双聚类方法可以提取高度相关的用户组从预处理的Web使用数据。
2014-12-01 cs.IR
Finding Communities in Site Web-Graphs and Citation Graphs
Web是社交网络的一个典型例子。Web最有趣的特征之一是它的自组织行为，这通常是通过社区的存在来实现的。网络图中社区的发现可以用来提高搜索引擎的有效性，用于预取、书目引用排名、垃圾邮件检测、路线图和站点图的创建等。相应地，引用图也是由社区组成的社会网络。在引文图中识别社区可以增强文献检索和数据挖掘。在本文中，我们将提出一个快速的算法，可以识别社区在一个给定的无权/无向图。该图可以表示网络图或引用图。
2012-08-27 cs.IR cs.SI
Intelligent Anticipated Exploration of Web Sites
在本文中，我们描述了一个Web搜索代理，称为全球搜索代理（以下简称GSA）。GSA整合和增强了几种搜索技术，以实现显着改善用户感知质量的交付信息相比，通常的网络搜索引擎。GSA的特点是智能合并来自不同搜索引擎的相关文档，预期的选择性探索和评估当前结果集的链接，根据用户相关反馈自动导出细化查询。系统架构以及实验帐户也说明。
2001-11-06 cs.AI cs.IR
The Best Trail Algorithm for Assisted Navigation of Web Sites
我们提出了一种算法称为最佳线索算法，这有助于解决超文本导航问题，通过语料库自动化的memex一样的线索的建设。该算法执行一组导航树的概率最佳优先扩展，以找到相关和紧凑的踪迹。我们描述了该算法的实现，评分方法的线索，过滤算法和一个新的度量称为\emph{potential gain}，衡量未来的导航机会的页面的潜力。
2003-06-22 cs.DS cs.IR
Navigation Objects Extraction for Better Content Structure Understanding
Zhejiang University（浙江大学）；University of British Columbia（不列颠哥伦比亚大学）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
从网页中提取导航对象的现有工作主要集中在导航菜单上，以揭示网站的信息结构。然而，诸如社交网络、电子商务门户等web 2.0站点使得对网站中的内容结构的理解变得越来越困难。动态和个性化的元素，如顶部的故事，在网页中的推荐列表是至关重要的动态性质的Web 2.0网站的理解。为了更好地理解Web 2.0网站的内容结构，本文提出了一种新的网页导航对象提取方法。我们的方法将提取不仅是静态的导航菜单，但也动态和个性化的页面特定的导航列表。由于网页中的导航对象自然是分块的，我们首先利用超链接的空间位置，DOM树的层次结构和超链接密度聚类到不同的块。然后，我们确定导航对象从这些块使用SVM分类器与新的功能，如锚文本长度等真实世界的数据集上的实验，从不同领域和风格的网页验证了我们的方法的有效性。
2017-08-26 cs.AI cs.IR
The Decentralized Structure of Collective Attention on the Web
背景：用户的集体浏览行为产生了一个在网站之间传输注意力的流网络。通过分析这个网络的结构，我们发现了一个关于网站影响的非平凡的标度规律。研究方法：构建了三个以网站为节点，用户在网站间切换形成边的点击流网络。我们开发了一个指标Ci作为衡量网站i的影响，并研究了它与网站Ai在三个网络上和网络内语言社区的流量的相关性。结论：我们发现，网站的影响比其流量增长得慢。具体而言，Ci和Ai之间存在指数γ小于1的标度关系。我们认为，这种比例关系的特点是分散结构的点击流循环：万维网是一个系统，有利于小网站重新分配用户的集体注意力。
2012-11-06 cs.IR cs.SI physics.soc-ph
Web Usage Mining: Pattern Discovery and Forecasting
Web使用挖掘：自动发现由于用户与一个或多个网站的交互而收集或生成的点击流和相关数据中的模式。本文介绍了Web使用挖掘我们的大学日志文件，分析用户与网站交互的行为模式和配置文件。被发现的模式表示为集群，经常访问的访问者群体有共同的利益。本文通过对访问量和点击量的预测来预测未来的访问量。
2013-10-09 cs.DB cs.IR
DeGenTWeb: A First Look at MGT-dominant Websites
University of Southern California（南加州大学）
本文通过DeGenTWeb系统识别出大量由大语言模型生成内容的网站，发现其在Web中的普及率持续增长，但准确识别此类网站面临挑战。
2026-10-28 cs.AI cs.CY cs.IR
Preprint: Poster: Did I Just Browse A Website Written by LLMs?
University of Southern California（南加州大学）
针对网络内容中LLM生成文本难以检测的问题，提出一种基于多页面检测输出聚合的网站级分类流水线，在120个网站数据集上达到100%准确率，并发现搜索与存档中大量LLM主导网站。
2025-10-09 cs.AI cs.CL cs.IR
A Big Data Architecture for Early Identification and Categorization of Dark Web Sites
本文提出基于 Kubernetes、Kafka、Kubeflow、MinIO 与 BERTopic 的端到端大数据架构，持续发现、去重并分类 Tor onion 站点，93天识别80,049个服务并揭示主题分布与疑似网络钓鱼网络。
2024-01-24 cs.DC cs.IR
A Fuzzy Clustering Based Approach for Mining Usage Profiles from Web Log Data
万维网在网站的规模和复杂性方面继续以惊人的速度增长，并且正在成为信息和数据的主要储存库。由于WWW的增长和复杂性的增加，网站发布者在吸引和留住用户方面面临着越来越大的困难。为了设计出受欢迎和有吸引力的网站，出版商必须了解他们的用户需求。因此，分析用户行为是网页设计的重要组成部分。Web使用挖掘（WUM）是将数据采掘技术应用于Web使用日志存储库，以发现可用于分析用户导航行为的使用模式。WUM包括三个主要步骤：预处理，知识提取和结果分析。Web使用挖掘中预处理阶段的目标是将原始Web日志数据转换为一组用户简档。每个这样的配置文件捕获表示用户会话的URL的序列或集合。
2015-09-01 cs.DB cs.IR
BaRA: Budget-constrained and Reliable Web Data Collection Agent
提出BaRA框架，结合有界广度优先搜索和历史自反思，在固定交互预算下高效收集网站级数据，在链接发现和可下载多模态提取上优于现有方法。
2026-07-03 cs.AI cs.IR
The Traits of the Personable
信息个性化是人工智能技术应用的沃土。在本文中，我将个性化与在信息搜索交互中捕获部分信息的能力联系起来。具体的重点是个性化的网站上的互动。使用部分评估和基于简化的泛化的想法，我提出了一个建模方法，推理个性化。这种方法有助于确定网站中的七个层次的“人格特质”。
2002-05-14 cs.AI cs.IR
User Modeling Combining Access Logs, Page Content and Semantics
Jožef Stefan Institute（约热·斯泰凡研究所）
提出了一种基于不同数据源相结合的大型Web站点用户建模方法：将访问日志和访问页面内容与Web页面、用户和用户访问Web站点的语义信息相结合。这里的假设是，我们正在处理一个大型Web站点，它向大量访问该站点的用户提供内容。所提出的方法表示每个用户的一组功能来自不同的数据源，其中一些功能值可能会丢失一些用户。它还使得能够基于所提供的目标用户子集的特性来进行用户建模。该方法进行评估，在现实世界的数据，我们比较性能的自动分配的用户到一个预定义的用户段时，不同的数据源被用来代表用户。
2011-03-25 cs.AI cs.HC cs.IR
FreeDOM: A Transferable Neural Architecture for Structured Information Extraction on Web Documents
University of Southern California（南加利福尼亚大学）；Google（谷歌）
从HTML文档中提取结构化数据是一个长期研究的问题，具有广泛的应用，如增强知识库，支持分面搜索，并为购物和电影等关键垂直领域提供特定领域的体验。以前的方法要么需要每个目标网站的少量示例，要么依赖于在网站视觉渲染上构建的精心手工的启发式方法。在本文中，我们提出了一种新的两阶段神经方法，称为自由DOM，它克服了这些限制。第一阶段通过结合文本和标记信息来学习页面中每个DOM节点的表示。第二阶段使用关系神经网络捕获较长范围的距离和语义相关性。通过结合这些阶段，Freedom能够在该垂直领域的少量种子站点上进行训练后推广到看不见的站点，而无需在页面的视觉渲染上使用昂贵的手工制作功能。通过在8个不同垂直领域的公共数据集上进行实验，我们发现FreeDOM平均比之前的技术水平高出近3.7个F1点，而不需要渲染页面上的功能或昂贵的手工制作功能。
2020-10-21 cs.CL cs.IR
Remembering what we like: Toward an agent-based model of Web traffic
对总体Web流量的分析表明，PageRank并不能很好地反映人们实际上是如何浏览Web的。使用经验的流量模式产生的1000名用户在两个月的过程中，我们的特点的Web流量，不能再现的马尔可夫模型，其中的目的地是独立于过去的决定的属性。特别是，我们表明，个人用户访问的网站的多样性是更小，更广泛的分布比预测的PageRank模型，链接流量是更广泛的分布比预测，和连续访问同一网站之间的时间是不太广泛的分布比预测。为了解释这些差异，我们引入了一个更现实的导航模型，在该模型中，代理维护个人的书签列表，这些书签被用作隐形传态目标。该模型还可以考虑分支，这是由浏览器功能（如标签和后退按钮）引起的流量属性。该模型再现聚合流量模式，如网站的流行程度，同时也产生更准确的预测的多样性，链接流量和返回时间分布。这个模型第一次让我们能够捕捉到聚合流量测量的极端异质性，同时解释更狭隘的个人用户的浏览模式。
2009-01-24 cs.CY cs.HC cs.IR
