PDD Crawler: A focused web crawler using link and content analysis for relevance prediction
大多数电脑或手机爱好者利用网络进行搜索活动。网络搜索引擎用于搜索;搜索引擎得到的结果由称为网络爬虫的软件模块提供给它。这张网的规模在不断扩大。主要的问题是在这个庞大的数据库中搜索特定的信息。声明一个网页是否与搜索主题相关是一个两难的选择。本文提出了一种爬行器称为PDD爬行器，它将遵循基于链接以及基于内容的方法。这个爬虫遵循一个全新的爬行策略来计算页面的相关性。它根据HTML源代码中各种标记中包含的信息分析页面内容，然后计算页面的总权重。具有最高权重的页面因此具有最大的内容和最高的相关性。
2014-11-17 cs.IR
Advanced Page Rank Algorithm with Semantics, In Links, Out Links and Google Analytics
在本文中，我们已经修改了现有的网页排名机制，作为一个先进的网页排名算法的基础上语义Inlinks Outlinks和谷歌分析。我们使用Semantics页面排名来根据搜索到的单词对页面进行排名，并将其与网站的元数据进行匹配，并根据最高优先级提供排名值。我们还使用Google Analytics将网站的点击量存储在特定变量中，并将所需的百分比金额添加到排名过程中。所提出的算法用于根据用户查找更多相关信息因此，这个概念对于基于用户浏览行为将最有价值的页面显示在结果列表的顶部非常有用，这将大规模地减少搜索空间。
2017-09-07 cs.IR cs.SI
In-Degree and PageRank of Web pages: Why do they follow similar power laws?
PageRank是Google设计的一种流行度衡量标准，用于对网页进行排名。实验证实，PageRank服从“幂律”，其指数与In度相同。本文提出了一种新的数学模型来解释这一现象。PageRank和入度之间的关系通过一个随机方程来建模，该随机方程的灵感来自PageRank的原始定义，并且类似于M/G/1队列中忙期的著名分布恒等式。此外，我们采用正则变分理论和Tauberian定理来分析证明PageRank和In度的尾部行为仅相差一个乘法因子，为此我们导出了一个封闭形式的表达式。我们的分析结果与实验数据吻合得很好。
2006-12-04 cs.IR math.PR
Measuring University Impact: Wikipedia approach
Moscow Institute of Physics and Technology (State University)（莫斯科物理技术学院（国立大学））；Federal Research Center Computer Science and Control, Russian Academy of Sciences（俄罗斯科学院计算机科学与控制联邦研究中心）；Tomsk State University（托木斯克国立大学）；Moscow State University（莫斯科国立大学）；Institute of Education, National Research University Higher School of Economics（国立研究型大学高等经济学院教育学院）；University of Oregon（俄勒冈大学）
大学对社会、经济和政治格局的影响是当代教育评估的主要方向之一。在本文中，我们讨论了新的方法论技术，评估大学的影响的基础上，他们的校友的页面在维基百科上的受欢迎程度（页面浏览量）。它允许揭示校友流行动态和跟踪其状态。初步分析表明，当代人的页面浏览量更高，证明了这种方法的观点。然后，根据该方法对大学进行排名，并与仅基于校友规模的著名国际大学排名ARWU和QS进行比较：对于前10名大学，有两所大学（哥伦比亚大学，斯坦福大学）的交集。本文还提供了不同大学排名之间的相关系数。最后，将基于校友受欢迎程度的排名与基于维基百科网页受欢迎程度的大学排名进行了比较：这些指标之间存在很强的联系。
2020-12-27 cs.CL cs.IR cs.SI
Reading Position Is the Baseline to Beat: A Time-Ordered Evaluation of Personalised Highlight Prediction
Glasp Inc.（Glasp公司）
本研究提出阅读位置作为个性化高亮预测的基线，通过时间顺序评估证明其优于流行度和相似度方法，并强调评估应遵循时间顺序。
2026-10-08 cs.HC cs.IR
WebKnoGraph: GNN-Powered Internal Linking
Technical University of Munich（慕尼黑工业大学）；Complexity Science Hub, Vienna（维也纳复杂系统中心）；WordLift；Kalicube；Ss. Cyril and Methodius University in Skopje（斯库皮耶西里尔和美多德大学）
提出WebKnoGraph框架，利用GraphSAGE对网站爬取数据建模为有向图，通过PageRank和语义一致性评估自动与专家辅助链接选择策略，发现自动选择带来更强权威重分配但语义成本更高。
2026-06-04 cs.IR
An Evaluation of Link Neighborhood Lexical Signatures to Rediscover Missing Web Pages
为了发现丢失网页的新URI，以前已经提出了词汇签名，它由少量的单词组成，这些单词被选择来表示页面的“about”。然而，先前的方法依赖于在页面丢失之前计算词汇签名，或者使用页面的缓存或存档版本来计算词汇签名。我们展示了一个系统，从它的链接邻居，即“反向链接”，或链接到丢失的页面的页面构建一个词汇签名。在测试了各种方法后，我们表明，一个可以构建一个词汇签名丢失的网页使用只有10个反向链接页面。此外，我们表明，只有第一级的反向链接是有用的，在这方面的努力。反向链接用来指向缺失页面的文本被用作创建四字词汇签名的输入。在超过一半的测试用例中，该词法签名被证明可以成功地找到目标URI。
2011-02-04 cs.DL cs.IR cs.SI
Links tell us about lexical and semantic Web content
最新一代的Web搜索工具开始利用超文本链接信息来改进排名\cite{Brin98,Kleinberg98}和爬行\cite{Menczer00,Ben-Shaul99etal,Chakrabarti99}算法。这种方法背后隐藏的假设，网络的图形结构和它的内容之间的相关性，还没有得到明确的测试，尽管越来越多的研究Web拓扑\cite{Lawrence98,Albert99,Adamic99,Butler00}。在这里，我形式化和定量验证两个Astructures绘制连接链接信息的词汇和语义的Web内容。叮当内容猜想指出，一个页面与链接到它的页面相似，即，人们可以通过查看链接到一个页面的页面来推断该页面的词汇内容。2我还表明，基于链接线索的词汇推断在Web社区中是相当异构的。链接聚类猜想指出，关于同一主题的页面被聚类在一起，即，人们可以通过查看相邻页面来推断页面的含义。这些结果解释了最新搜索技术的成功，并为以主题或用户驱动的方式定位信息的更动态和可扩展的方法开辟了道路。
2001-08-08 cs.DL cs.IR
Reading the Correct History? Modeling Temporal Intention in Resource Sharing
网络被困在“永恒的现在”中，当用户从一个页面浏览到另一个页面时，他们看到的是网络资源的状态（即，页面），因为它在点击时存在，而不一定是在进行链接时存在。因此，在页面作者创建链接时的资源与读者关注链接时的资源之间可能会出现时间差异。这在社交媒体的背景下尤其重要：在推文或Facebook帖子中分享链接的便利性允许许多人创作网络内容，但空间限制加上作者的意识不足通常会阻止生成足够的上下文来确定帖子的意图。如果链接在共享后立即被点击，则共享和点击之间的时间距离很小，以至于内容几乎没有差异。然而，并不是所有的点击都是立即发生的，几天甚至几个小时的延迟可能会导致阅读与作者意图不同的内容。我们引入了用户的时间意图在社交媒体上发布链接的概念。我们调查的功能，可以提取的职位，链接的资源，和社会传播模式，以模拟这种用户的意图。最后，我们分析了社会媒体中共享资源的历史完整性。换句话说，对作者意图的了解在多大程度上有利于保持通过社交帖子讲述的故事的一致性，以及丰富脆弱资源的存档内容覆盖面和深度？
2013-07-15 cs.IR
Relating Web pages to enable information-gathering tasks
我们认为，网页之间的关系是用户的意图的功能。我们确定了一类Web任务-信息收集-可以通过搜索引擎提供与用户当前正在查看的页面相关的页面链接来促进。我们定义了三种意向关系，分别对应于用户是a）寻找信息源，b）阅读提供信息的页面，还是c）浏览页面作为扩展信息收集过程的一部分。我们表明，这三种关系可以有效地挖掘使用的文本和链接信息的组合，并提供三个评分机制，对应于他们：{ \em SeekRel}，{ \em FactRel}和{ \em SurfRel}。这些评分机制结合了文本和链接信息。我们建立了一组有能力的子网络-每个子网络对应于一个特定的关键字-反映了万维网的互连结构。通过计算这些子网络上的流量来计算分数。根据Kleinberg（1998）关于在超链接环境中为页面分配权限的工作，链接的容量是从它们所连接的节点的{ \em hub}和{ \em authority}值导出的。我们评估了我们的评分机制，通过运行实验从网络上获取的四个数据集。我们呈现了用户对我们的评分机制返回的顶级结果的相关性的评估，并将其与Google的相似页面功能返回的顶级结果以及Dean和Henzinger（1999）提出的{ \em Companion}算法进行比较。
2010-05-19 cs.DS cs.IR
A Structure-Oriented Unsupervised Crawling Strategy for Social Media Sites
用于高效地抓取社交媒体网站的现有技术依赖于URL模式、查询日志和人类监督。本文介绍了SOUrCe，一个面向结构的无监督爬虫，使用页面结构来学习如何有效地抓取社交媒体网站。SOURCE包括两个阶段。在其无监督学习阶段，SOUrCe构建了一个站点地图，根据结构相似性对页面进行聚类，并生成一个导航表，描述站点中不同类型的页面如何链接在一起。在其收获阶段，它使用导航表和爬行策略来指导选择接下来要爬行的链接。实验表明，该架构有效地支持不同风格的爬行，并做了更好的工作，专注于用户创建的内容比基线方法。
2018-04-08 cs.IR
Analysis and Evaluation of the Link and Content Based Focused Treasure-Crawler
随着Web的规模和分布呈指数级增长，为Web编制索引正成为搜索引擎的一项艰巨任务。目前，克服这个问题的最有效的已知方法是使用集中爬虫。聚焦爬虫应用适当的算法来检测Web上与其感兴趣的主题相关的页面。为此，我们提出了一个自定义的方法，使用特定的HTML元素的页面来预测所有的页面，有一个未访问的链接在当前页面的主题焦点。这些识别出的主题页面必须在以后根据它们与爬虫的主主题的相关性进行排序，以便进一步实际下载。在Treasure-Crawler中，我们使用了一个称为T-Graph的层次结构，它是一个示例性的指南，可以为每个未访问的链接分配适当的优先级得分。稍后将根据此优先级下载这些URL。本文概述了Treasure-Crawler系统的体系结构设计，并给出了该系统的实现、测试结果和性能评估。Treasure-Crawler是根据信息检索标准进行评估的，比如查全率和查准率，两者的值都接近0.5。取得这样的成果证明了所提出的方法的重要性。
2013-06-01 cs.DL cs.IR
Calculating Web Impact Factor for University Websites of Jammu and Kashmir: A Study
Annamalai University（安纳马莱大学）；Central University of Kashmir（克什米尔中央大学）
本文通过网络计量学研究，分析了查谟和克什米尔12个大学网站的域名系统、网页与链接数量，计算了其简单和外部网络影响因子，并揭示了各大学网站在链接影响因子上的排名差异。
2025-11-03 cs.DL cs.IR
Characterising Web Site Link Structure
Internet和Web的拓扑结构受到了广泛的关注。然而，很少有研究的拓扑性质的个人网站。在本文中，我们考虑是否网站（而不是整个网络）表现出结构相似性。为此，我们详尽地抓取了18个网站，包括不同国家的政府部门、商业公司和大学部门。这些网站少则几千页，多则数百万页。对这18个网站的统计分析表明，当用一阶和二阶拓扑特性（即基于单个或成对节点的连通性的特性）测量时，网站的内部链接结构有显著差异。然而，对考虑形成三角形的三个节点之间的连通性的三阶拓扑性质的检查揭示了跨网站的强对应性，暗示了不变量。与Web、AS互联网和引文网络的比较表明，这种三阶属性在其他类型的网络中是不共享的。生成网络模型（如Barabasi和Albert的模型）也没有显示出这种特性。
2007-08-06 cs.IR
Predicting Links on Wikipedia with Anchor Text Information
Aix Marseille Univ（艾克斯-马赛大学）；Université de Toulon（土伦大学）；CNRS（法国国家科学研究中心）
维基百科是最大的开放协作在线百科全书，是一个由内部超链接绑定在一起的文档语料库。这些链接构成了一个大型网络的组成部分，其结构包含了本百科全书所涵盖概念的重要信息。两篇文章之间的链接，通过源页面中指向目标页面的锚文本来实现，可以增加读者对主题的理解。然而，链接的过程遵循特定的编辑规则，以避免链接不足和过度链接。在本文中，我们研究了英语维基百科的几个子集上的链接预测的转换和归纳任务，并确定了基于锚文本信息的自动链接背后的一些关键挑战。我们提出了一个适当的评估抽样方法和比较几种算法。此外，我们提出了基线模型，提供了一个很好的估计任务的整体难度。
2021-05-25 cs.AI cs.IR
Discovering items with potential popularity on social media
预测在线内容的未来流行度在许多应用中非常重要。在无标度网络中存在偏好依附现象，受其影响，热门项目变得更受欢迎，从而导致长尾分布问题。因此，可能受欢迎的新项目（潜在项目）被已经受欢迎的项目所抑制。本文提出了一种新的模型，能够识别潜在的项目。它通过考虑最近收到的链接或评级的数量以及受欢迎程度的衰减来识别潜在的受欢迎项目。为了获得一个有效的模型，我们只考虑内容的时间特征，避免了提取其他特征的成本。我们发现，人们会追随同龄人最近的行为。在适合或质量项目已经流行的项目失去它的受欢迎程度。预测准确性是在三个工业数据集上测量的，即Movielens，Netflix和Facebook wall post。实验结果表明，与现有模型相比，该模型具有更好的预测精度。
2016-04-05 cs.IR cs.SI
Modeling Trial-and-Error Navigation With a Sequential Decision Model of Information Scent
Aalto University（艾罗大学）；National University of Singapore（国立新加坡大学）
本文提出了一种基于信息气味的序列决策模型，用于建模用户在信息架构中试错导航的行为，通过考虑局部和全局气味及内存限制，解释了用户提前选择、错误转弯和回溯恢复等导航行为。
2026-03-12 cs.HC cs.IR cs.LG
Spotting Suspicious Link Behavior with fBox: An Adversarial Perspective
Carnegie Mellon University（卡内基梅隆大学）；Lawrence Livermore Lab（劳伦斯利弗莫尔实验室）
我们如何在大型在线网络中检测可疑用户？用户或产品的在线流行度（通过关注，页面喜欢等）可以在更高的广告点击率或增加销售额的前提下货币化。网络服务和社交网络，激励流行，因此遭受一个主要的问题，假连接从链接欺诈者寻找快速赚钱。捕捉这种可疑行为的典型方法是使用光谱技术来发现大群经常公然欺诈（但有时是诚实的）用户。然而，由于实际使用的低秩特征分析的性质，小规模的隐形攻击可能会被忽视。在这项工作中，我们采取对抗性的方法来发现和证明现代最先进的谱方法的弱点，并提出了fBox，一种旨在捕获雷达以下的小规模隐形攻击的算法。我们的算法具有以下理想的属性：（a）它具有理论基础，（b）它被证明是非常有效的真实数据和（c）它是可扩展的（线性的输入大小）。我们在2010年Twitter上的一个大型公共节点上评估了fBox，该节点有4170万个节点，其中15亿个是谁关注谁的社交图，并以高精度识别出许多可疑账户，这些账户一直持续存在，直到今天都没有被暂停。
2014-10-15 cs.IR cs.LG cs.SI
