Ranking Pages by Topology and Popularity within Web Sites
我们比较了两种链接分析排名方法的网页在一个网站。第一种称为网站排名，是PageRank对网站粒度的适应，第二种称为流行度排名，是基于用户点击页面中的外链的频率，这些外链由用户通过网站的导航会话捕获。我们在人工创建的不同规模的网站和两个真实的数据集上进行了实验，采用相对熵来比较两种排名方法的分布。对于真实的数据集，我们还采用了非参数测量，称为斯皮尔曼的footrule，我们用它来比较排名前十的网页由两种方法。我们的主要结果是，受欢迎程度排名和网站排名的分布是令人惊讶的接近彼此，这意味着一个网站的拓扑结构是非常有用的，在引导用户通过网站。因此，在实践中，网站排名提供了一个合理的一阶近似的用户在网站内的总体行为，由流行度排名。
2004-12-09 cs.AI cs.IR
Intelligent Search Optimization using Artificial Fuzzy Logics
School of Computing, Engineering and Information Sciences（计算、工程与信息科学学院）
网络上的信息是惊人的，搜索相关信息是困难的，使得网络用户依赖于搜索引擎在网络上找到相关信息。搜索引擎使用爬虫根据网页的内容对网页进行索引和分类，并相应地对网页进行排名。对于给定的用户查询，他们检索数以百万计的网页，并显示他们的用户根据网页排名。每个搜索引擎都有自己的算法，根据一定的参数排名网页。搜索引擎优化（SEO）是网站管理员根据搜索引擎排名参数优化网站以提高网站排名的技术。这是本研究的目的，以确定最流行的搜索引擎优化技术所使用的搜索引擎排名网页，并建立其索引和分类的网络数据的重要性。该研究试图建立在排名算法中使用更多的SEO参数有助于检索更好的搜索结果，从而提高用户满意度。在已完成的研究中，提出了一个基于Web的Meta搜索引擎聚合搜索结果从不同的搜索引擎和排名的网页基于新的页面排名算法，将分配启发式页面排名的网页的基础上SEO参数，如标题标签，Meta描述，网站地图等的研究还提供了深入了解技术，网站管理员可以使用更好地排名他们的网站在谷歌和必应。初步结果表明，在目前的排名算法中使用某些SEO参数有助于检索更有用的结果，为用户查询。这些结果产生的Meta搜索引擎优于现有的搜索引擎更好的检索结果和高精度。
2015-10-03 cs.AI cs.IR
Ranking nodes in growing networks: When PageRank fails
PageRank可以说是最流行的排名算法，它被应用于从信息到生物和基础设施网络的实际系统中。尽管它在不同的科学领域中非常受欢迎和广泛使用，但算法的功效与其作用的网络属性之间的关系尚未完全理解。我们在这里研究PageRank的性能支持真实数据的网络模型，并表明现实的时间效应使PageRank失败的个性化最有价值的节点的广泛的模型参数。真实数据的结果与我们基于模型的研究结果在定性上一致。这种失败的PageRank揭示了静态的信息过滤方法是不合适的一个广泛的增长系统类，并建议，时间依赖的算法，这些系统的时间链接模式的基础上，需要更好地排名的节点。
2015-09-03 cs.IR cs.SI physics.soc-ph
A semantic association page rank algorithm for web search engines
大多数语义Web搜索引擎通过集中使用限于用户提供的查询的概念和关系来检索信息。通过尝试猜测这些概念和关系之间的隐含意义，计算概率，为页面排名打分。在这项研究中，我提出了一个基于关系的网页排名算法被用作语义网搜索引擎。相关性的测量，发现由用户在查询时，以及包含在语义Web环境的基础知识的信息的连接的概率。通过使用从知识库获得的页面中概念之间的“虚拟链接”，我们可以连接页面的概念和组件，并增加概率得分以获得更好的排名。通过创建这些连接，本研究还希望消除结果等于零的可能性，并在两个或更多页面获得相同分数时提供平局决胜解决方案。
2012-11-26 cs.IR
An Efficient Framework for Whole-Page Reranking via Single-Modal Supervision
本文提出 SMAR 框架，借助高质量单模态排序器进行模态级相关性对齐，并仅用有限整页标注训练重排序器，在降低 70-90% 标注成本的同时提升离线与在线搜索效果。
2025-10-19 cs.IR
Advanced Page Rank Algorithm with Semantics, In Links, Out Links and Google Analytics
在本文中，我们已经修改了现有的网页排名机制，作为一个先进的网页排名算法的基础上语义Inlinks Outlinks和谷歌分析。我们使用Semantics页面排名来根据搜索到的单词对页面进行排名，并将其与网站的元数据进行匹配，并根据最高优先级提供排名值。我们还使用Google Analytics将网站的点击量存储在特定变量中，并将所需的百分比金额添加到排名过程中。所提出的算法用于根据用户查找更多相关信息因此，这个概念对于基于用户浏览行为将最有价值的页面显示在结果列表的顶部非常有用，这将大规模地减少搜索空间。
2017-09-07 cs.IR cs.SI
Efficient and Effective Spam Filtering and Re-ranking for Large Web Datasets
2009年TREC网络特别和相关反馈任务使用了一个新的文档集，即2009年初从普通网络上抓取的CNOW Web 09数据集。该数据集包含10亿个网页，其中相当一部分是垃圾网页-旨在欺骗搜索引擎以提供不需要的有效负载的网页。我们研究了垃圾邮件对TREC 2009年网络特别和相关反馈任务结果的影响，这些任务使用了CtrudeWeb 09数据集。我们表明，一个简单的基于内容的分类器，最少的训练是有效的，足以排名的“垃圾邮件”的每一个页面在数据集中使用标准的个人电脑在48小时内，有效的足以产生显着和实质性的改善，在固定的截止精度（estP 10）以及排名措施（estR精度，StatMAP，MAP）的几乎所有提交的运行。此外，使用一组“蜜罐”查询，可以将训练数据的标记简化为完全自动的过程。经典的信息检索方法的结果特别是通过过滤-从最差的到最好的。
2010-04-29 cs.IR
Learning Personalized Page Content Ranking Using Customer Representation
针对电商页面推荐内容的个性化排序问题，提出融合历史购物行为、潜在购物目标及顾客与内容类别相关性的深度学习 bandit 算法，实现 nDCG 提升 12.08%。
2023-06-05 cs.IR cs.MA cs.SI
Social Ranking Techniques for the Web
社交媒体的激增有可能改变网络的结构和组织。在过去，科学家们把网络看作是一个大的连接组件，以了解超链接的拓扑结构如何与页面中包含的信息质量相关，他们提出了对网页中包含的信息进行排名的技术。我们认为，从网页上的信息和网络数据的社会关系可以结合起来，创造一个个性化的和社会连接的网络。在本文中，我们将网络视为两个网络的组成部分，一个由网页中的信息组成，另一个由社交媒体网站上共享的个人数据组成。它们一起使我们能够分析社交媒体如何在人与人之间传播信息，以及如何使用社交网络的结构来为每个用户专门排名，交付和组织信息。我们通过对用户在Google Buzz和Twitter上共享的网页进行排名实验来验证我们的社交排名概念。
2013-06-26 cs.IR cs.SI physics.soc-ph
Museum: Multidimensional web page segment evaluation model
在Web信息检索领域中，针对查询对网页进行评价是一项重要的任务。本文提出了一个网页的评价作为一个自下而上的过程，从段级到页面级。提出了一个模型，用于评估的相关性，包括六个不同的维度。提出了一种基于上述六个维度的网页分段评价算法。细粒度的评价过程中，以段级，而不是页面级的好处进行了探讨。所提出的模型可以用于各种任务，如网页个性化，结果重新排名，移动终端页面渲染等。
2012-02-10 cs.IR
Non-Linear Multiple Field Interactions Neural Document Ranking
University of Bristol（布里斯托尔大学）；Cookpad Ltd（Cookpad有限公司）
排名任务通常基于页面主体的文本和用户在页面上的操作（点击）。还有其他元素可以被利用来更好地将排名体验置于情境中（例如，其他字段中的文本、用户进行的查询、图像等）。我们提出了一个领域的相互作用，在两个独立的数据集的多个领域的排名的第一次深入分析。虽然有些作品已经利用了完整的文档结构，但有些方面仍然没有探索。在这项工作中，我们建立在以前的分析，以显示查询字段的相互作用，非线性字段的相互作用，以及底层神经模型的架构如何影响性能。
2020-11-18 cs.AI cs.IR
Verso folio: Diversified Ranking for Large Graphs with Context-Aware Considerations
这项工作是关于网络资源的多样化排名和相互关联的文件，依赖于一个类似网络的结构，如网页。这方面的一个实际例子是查询k个最相关的网页，这些网页在同一时间也尽可能彼此不相似。使用网络距离和上下文相似性的聚合来量化相关性和相异性。例如，对于问题的特定配置，我们可能对在文本描述方面与查询相似但在网络图方面彼此远离的网页感兴趣，例如许多点击。回顾过去，在文献中可以找到一个缺乏的工作，解决这个问题，考虑到由文件链接形成的网络结构。在这项工作中，我们提出了一个爬山的方法，是种子的文件集，这是使用贪婪的启发式多样化最初产生的。更重要的是，我们在网页的上下文中处理这个问题，其中有一个底层的网络结构连接可用的文档和资源。这与大多数作品有很大的不同，这些作品要么在内容定义方面解决问题，要么在数据的图形结构方面解决问题，但从来没有同时解决这两个方面。据我们所知，这是第一次以优雅的方式将这一重要问题的两个方面结合起来，还允许在如何配置（i）文档相关性与结果项的权衡方面有很大的灵活性。项目的差异，以及（ii）网络距离与内容相关性或差异。最后但并非最不重要的是，我们提出了一个广泛的评估我们的方法，证明其有效性和效率。
2016-07-25 cs.IR
Object Oriented Information Computing over WWW
传统的万维网（WWW）搜索引擎主要关注页面级别的相关性排序。但这导致了静态Web页面和在线Web数据库中嵌入的关于真实世界对象的无数结构化信息的丢失。页面级信息检索（IR）在回答面向对象的查询时会导致非常不准确的相关性排名。另一方面，面向对象的信息计算（OOIC）是有前途的，大大降低了系统的复杂性，同时提高了可重用性和可重用性。当今复杂的异构系统最显著的需求是计算系统需要立即适应剧烈变化的条件。OOIC允许通过动态实例化对象来反映应用程序的动态特性。在本文中，主要的挑战OOIC以及它的雏形。本文对PopRank模型进行了分析，并对传统的基于页面排名的信息检索与OOIC进行了比较分析
2011-07-18 cs.IR
Learning Visual Features from Snapshots for Web Search
当将学习排序算法应用于Web搜索时，通常会设计大量的特征来捕获相关信号。这些特征中的大多数是基于提取的文本元素、链接分析和用户日志计算的。然而，网页不仅仅是链接的文本，而是具有以不同风格组织大量元素的结构化布局。这种布局本身可以传达有用的视觉信息，表明网页的相关性。例如，查询独立布局（即，原始页面布局）可以帮助识别页面质量，而依赖于查询的布局（即，用匹配的查询词呈现的页面）可以进一步告知丰富的结构信息（例如，大小、位置和接近度）。然而，这样的视觉信息的布局已经很少利用在Web搜索在过去。在这项工作中，我们建议从网页的布局中自动学习丰富的视觉特征（即，网页快照）的相关性排名。查询无关和查询相关的快照都被认为是新的输入。然后，我们提出了一种新的视觉感知模型的启发，人类的视觉搜索行为的网页浏览提取视觉特征。该模型可以与传统的人工制作的功能一起端到端学习。我们还表明，这样的视觉功能可以有效地获得在线设置与扩展的倒排索引方案。基准集合上的实验表明，学习视觉特征的网页快照可以显着提高性能的相关性排名在ad-hoc Web检索任务。
2017-10-19 cs.IR
Mobile Supply: The Last Piece of Jigsaw of Recommender System
The Chinese University of Hongkong（香港中文大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Alibaba Group（阿里巴巴集团）
本文针对推荐系统分页触发机制问题，提出名为 Mobile Supply 的新模块，引入列表价值概念并设计设备感知移动排序方法，通过离线和在线实验验证其能提升端侧推荐性能与用户体验，并已在大型在线食品平台部署获利。
2023-08-09 cs.AI cs.IR
Assessing Viewpoint Diversity in Search Results Using Ranking Fairness Metrics
页面在搜索结果中的排名方式影响着搜索引擎的用户是否会接触到更同质的观点，或者更确切地说是更多样化的观点。然而，这种观点的多样性并不是微不足道的评估。在本文中，我们使用现有的和新的排名公平性指标来评估搜索结果排名的观点多样性。我们进行了一个受控的模拟研究，显示如何排名公平性指标可以用于观点多样性，他们的结果应该如何解释，以及哪个指标是最合适的情况。本文为未来研究衡量和评估真实搜索结果排名中的观点多样性奠定了重要的基础工作。
2021-07-05 cs.IR
Neural Check-Worthiness Ranking with Weak Supervision: Finding Sentences for Fact-Checking
University of Copenhagen（哥本哈根大学）
自动事实核查系统通过（i）选择值得核查的句子进行事实核查，（ii）收集句子的相关信息，以及（iii）推断句子的真实性来检测虚假信息，例如假新闻。大多数关于（i）的先前研究使用手工制作的特征来选择值得检查的句子，并且没有明确解释最近的发现，即值得检查和不值得检查的句子中的最高权重项实际上是重叠的[15]。出于这一动机，我们提出了一个神经检查价值的句子排名模型，表示每个词在一个句子中的\textit{both}其嵌入（旨在捕捉其语义）和其句法依赖（旨在捕捉其在修改句子中的其他术语的语义的作用）。我们的模型是一个端到端的可训练神经网络，用于检查价值排名，它通过弱监督在大量未标记的数据上进行训练。针对最先进的基线进行的全面实验评估，无论是否有弱监督，都表明我们的模型在任何时候都是优越的（MAP为+13%，各种精度截止值为+28%，具有统计学显著性）。通过对弱监督、特定领域数据的词嵌入预训练以及模型中句法依赖的使用进行实证分析，发现值得检查的句子比不值得检查的句子包含更多的相同句法依赖。
2019-03-20 cs.CL cs.IR cs.LG
Experience of Developing a Meta-Semantic Search Engine
考虑到今天的Web搜索场景主要是基于关键字的，导致需要语义Web提供有效和有意义的搜索。现有的搜索引擎由于依赖于网页中可用的简单数据而容易对用户查询提供相关答案。另一方面，语义搜索引擎提供高效和相关的结果，因为语义网使用本体管理具有明确定义的含义的信息。一个Meta-搜索引擎是一个搜索工具，它将用户的查询转发到几个现有的搜索引擎，并通过使用自己的页面排名算法提供组合的结果。SemanTelli是一个Meta语义搜索引擎，通过智能代理从不同的语义搜索引擎（如Hakia，DuckDuckGo，SenseBot）获取结果。本文提出了增强SemanTelli与改进的片段分析为基础的页面排名算法和支持图像和新闻搜索。
2013-11-25 cs.IR
One Hierarchy, Two Systems: Semantic Product IDs for Discovery-Surface Ranking and Search-Page Query Reformulation
DoorDash Inc.（多 Dash 公司）
本研究提出单一语义产品层级\textit{\texttt{sid}}，分别用于电商发现面排序与搜索页查询改写，经离线及在线实验验证，可提升排序相关性、加购参与度及查询意图保留等性能。
2026-08-24 cs.AI cs.IR
Faceted Ranking of Egos in Collaborative Tagging Systems
多媒体上传的内容被标记并由协作系统的用户推荐，从而产生非正式的分类，也称为大众分类。分面网络排名已被证明是一个合理的替代单一的排名，不考虑个性化的背景。在本文中，我们分析了与多个标签组成的方面相关的用户排名的在线计算。可能的应用是用户信誉评估（自我排名）和改进的内容质量的情况下检索。我们提出了一种基于PageRank作为中心性度量的解决方案：（i）基于相应的标签依赖子图离线计算每个标签的排名;（ii）通过合并面中所有标签对应的排名来生成面顺序。通过经验观察验证的基本假设是步骤（i）是可扩展的。我们还提出了算法的部分（ii）具有时间复杂度O（k），其中k是在方面的标签的数量，非常适合于在线计算。
2008-09-26 cs.IR
A Survey on Web Spam Detection Methods: Taxonomy
Web垃圾是指通过操纵搜索引擎的排名算法来提高网页在搜索引擎结果中的排名的技术。在最好的情况下，垃圾邮件发送者鼓励观众访问他们的网站，并提供不应得的广告收益的网页所有者。在最坏的情况下，他们在页面中使用恶意内容，并试图在受害者的机器上安装恶意软件。垃圾邮件发送者使用三种垃圾邮件技术来获得更高的排名。这些技术是基于链接的技术，隐藏技术和基于内容的技术。现有的垃圾网页会导致对搜索引擎结果的不信任。这不仅浪费了访问者的时间，也浪费了大量的搜索引擎资源。因此，垃圾邮件检测方法已被提出作为一种解决方案，以减少垃圾网页的负面影响。实验结果表明，这些技术中的一些工作良好，可以发现垃圾邮件页面比其他更准确。本文对Web垃圾邮件技术进行了分类，并对相关的检测方法进行了研究。
2012-10-11 cs.CR cs.IR
PageRank: Standing on the shoulders of giants
PageRank是一种网页排名技术，是Google搜索引擎发展和成功的基本要素。该方法仍然是Google用来确定哪些页面最重要的众多信号之一。PageRank背后的主要思想是根据超链接到它的页面的重要性来确定Web页面的重要性。事实上，这不是一个新的理论，以前已经在不同的上下文中成功地利用了。我们回顾了PageRank方法，并将其与我们在Web信息检索、文献计量学、社会计量学和计量经济学领域中发现的一些著名的先前技术联系起来。
2010-08-14 cs.DL cs.IR
Credibility in Web Search Engines
网络搜索引擎应用各种排名信号来实现用户满意度，即，为用户提供最佳结果的结果页面。虽然这些排名信号隐含地考虑了可信度（例如，通过衡量受欢迎程度），没有采用明确的可信度衡量标准。在这一章中，在Web搜索引擎的可信度进行了讨论，在一个广泛的背景下：可信度作为一个措施，包括在搜索引擎的索引文件，作为一个排名信号的可信度，在通用搜索结果的上下文中的可信度，以及使用可信度作为一个明确的衡量排名的目的的可能性。据发现，虽然搜索引擎-至少在一定程度上-显示可信的结果，他们的用户，有没有完全集成的可信度框架的Web搜索引擎。
2012-08-05 cs.IR
Bootstrapped Grouping of Results to Ambiguous Person Name Queries
当今搜索引擎的一些主要排名功能反映了结果的受欢迎程度，并基于排名模型，如PageRank，隐式反馈聚合等。虽然这些功能可以为大范围的查询提供令人满意的结果，但它们加剧了搜索模糊实体的问题：只有当我们正在寻找的人由高排名的网页表示并且所有必需的信息都包含在该页面中时，搜索一个人才会产生令人满意的结果。否则，用户必须重新制定/细化查询或手动检查低排名结果以找到有问题的人。解决这个问题的一种可能的方法是对结果进行聚类，使得每个聚类代表答案集中出现的一个人。然而，聚类搜索结果已被证明是一个困难的努力本身，其中集群通常是中等质量。大量关于人的有用信息出现在Web 2.0平台上，如LinkedIn、维基百科、Facebook等。我们发现，当搜索模糊的人名时，可以根据出现在其中的个人对来自这些平台的信息进行引导以分组结果。我们已经评估了我们的方法在一个手工标记的数据集上，这个数据集包含了大约5,000个网页，这些网页是从谷歌查询中检索到的，涉及50个模糊的人名。
2013-12-06 cs.IR
MetaStrategy: Generative Ranking with Executable LLM Strategies
Taobao & Tmall Group of Alibaba（阿里巴巴淘宝天猫集团）；Wuhan University（武汉大学）；The University of Hong Kong（香港大学）；University of Cambridge（剑桥大学）
MetaStrategy是一种可执行LLM策略的生成式排序框架，经淘宝部署测试，其提升了多项核心业务指标且未增加响应时间。
2026-08-11 cs.IR
Does Search Engine Optimization come along with high-quality content? A comparison between optimized and non-optimized health-related web pages
搜索医疗信息是一种常见而重要的活动，因为它影响人们对医疗保健的决策。使用搜索引擎优化（SEO），内容制作者寻求增加其内容的可见性。搜索引擎优化更有可能是由商业动机的内容生产者，如制药公司，而不是由非商业提供者，如政府机构。在这项研究中，我们问内容质量是否与网页上的SEO措施的存在或不存在相关。我们进行了一项用户研究，其中N = 61参与者包括外行以及专家在健康信息评估评估健康相关的网页分类为优化或非优化。受试者评价的专业知识，非优化的网页比优化的网页的专业知识更高，证明他们的评价更有能力和信誉的外观非优化的网页。此外，对非优化网页的网站运营商的评论都是正面的，而优化网页往往得到正面和负面的评价。我们发现外行和专家的评分没有差异。由于未经优化但高质量的内容可能会被质量较低的优化内容排在前面，因此应在排名中优先考虑可信来源。
2023-01-24 cs.IR
A Ranking Algorithm for Re-finding
从个人计算机中重新查找文件是用户的一个常见需求。当遇到困难的重新查找任务时，人们可能无法回忆起传统重新查找方法所使用的属性，例如文件的路径、文件名、关键字等，重新查找将失败。我们提出了一种方法来支持困难的重新查找任务。通过向用户询问一系列关于目标的问题，如文档的页码、作者编号、累计阅读时间、最后阅读位置等，然后使用用户的答案筛选出目标。在用户回答了一系列关于目标文件的问题后，我们根据答案来评估用户对目标文件的熟悉程度。我们设计了一个排序算法，通过比较用户对目标和候选人的熟悉程度对候选人进行排序。我们还提出了一种方法来生成重新查找任务的基础上，用户自己的文档语料库人工。
2016-02-18 cs.IR
POEM: Partial-Order Enhanced Real-Time Sequential Modeling for Recommendation
Kuaishou Technology（快手科技）
针对实时推荐系统中用户兴趣动态漂移和工业级多阶段排序结构未被充分利用的问题，提出POEM框架，利用上游排序模块的实时多任务分数构建动态偏序序列，实现细粒度兴趣建模与系统目标一致优化，在快手线上部署取得显著提升。
2026-06-29 cs.IR
Introducing a New Mechanism for Construction of an Efficient Search Model
搜索引擎已成为人们从WWW上检索信息的必然工具。网络研究者们提出了许多基于不同特征的搜索引擎改进算法。这些算法有时是领域相关的，有时是网页排名相关的，有时是效率相关的等等。我们介绍的是这样一种算法，它是多个领域以及效率相关的。在本文中，我们提供了多级索引的顶部基于索引的无环图（IBAG），支持多个本体，以及减少搜索时间。IBAG仅包含与域相关的页面，并由相关页面图（RPaG）构建。我们还提供了一个比较研究的时间复杂度的各种模型。
2011-02-07 cs.IR
Large-scale Sustainable Search on Unconventional Computing Hardware
自从互联网出现以来，量化网页的相对重要性是搜索引擎方法的核心。根据一种算法，PageRank，全球网络结构由Google矩阵表示，其主要特征向量分量为网页分配数值以进行排名。在不断增长的网页数量上找到这样一个占主导地位的特征向量成为一个计算密集型的任务，与摩尔定律不相容。我们证明，特殊用途的光学机器，如网络的光学参量振荡器，激光器，增益耗散凝聚，可能有助于加速可靠的重建现实生活中的网络图的主要特征向量。我们讨论了使用这种非传统的硬件在大型Google矩阵上模拟PageRank算法的可行性。我们提供替代排名的基础上最小化的自旋哈密顿。我们的估计表明，特殊用途的光学机器可以提供显着的改进，在经典的计算架构的功耗。
2021-04-06 cond-mat.dis-nn cs.ET cs.IR
Towards two-dimensional search engines
我们研究了各种有向网络的统计特性，使用基于Google矩阵的主导向量（称为PageRank和CheiRank）的节点排名。平均而言，PageRank根据传入链接的数量对节点进行排序，而CheiRank则根据传出链接的数量对节点进行排序。这样，节点的排名就变成二维的【形】，为新型二维的【形】搜索引擎的发展铺平了道路。分析了英国、法国和意大利大学网络、维基百科、Linux内核、基因调控等网络在PageRank-CheiRank平面上信息流的统计特性。一个特别强调的是英国大学网络使用大型数据库公开在英国。还分析了垃圾链接控制的方法。
2012-03-02 cond-mat.stat-mech cs.IR
Comparative analysis of various web crawler algorithms
VIT Vellore（维韦卡南达理工学院韦洛尔分校）
本报告比较了五种网络爬虫算法，旨在确定最有效的网页爬取方法，以提升信息检索效率。
2023-06-21 cs.IR cs.LG cs.SI
Measuring University Impact: Wikipedia approach
Moscow Institute of Physics and Technology (State University)（莫斯科物理技术学院（国立大学））；Federal Research Center Computer Science and Control, Russian Academy of Sciences（俄罗斯科学院计算机科学与控制联邦研究中心）；Tomsk State University（托木斯克国立大学）；Moscow State University（莫斯科国立大学）；Institute of Education, National Research University Higher School of Economics（国立研究型大学高等经济学院教育学院）；University of Oregon（俄勒冈大学）
大学对社会、经济和政治格局的影响是当代教育评估的主要方向之一。在本文中，我们讨论了新的方法论技术，评估大学的影响的基础上，他们的校友的页面在维基百科上的受欢迎程度（页面浏览量）。它允许揭示校友流行动态和跟踪其状态。初步分析表明，当代人的页面浏览量更高，证明了这种方法的观点。然后，根据该方法对大学进行排名，并与仅基于校友规模的著名国际大学排名ARWU和QS进行比较：对于前10名大学，有两所大学（哥伦比亚大学，斯坦福大学）的交集。本文还提供了不同大学排名之间的相关系数。最后，将基于校友受欢迎程度的排名与基于维基百科网页受欢迎程度的大学排名进行了比较：这些指标之间存在很强的联系。
2020-12-27 cs.CL cs.IR cs.SI
Building reputation systems for better ranking
如何对网页、科学家和在线资源进行排名，最近吸引了物理学家和计算机科学家越来越多的关注。本文研究了用户通过离散评分对对象进行投票的评分系统的排序问题。我们提出了一种算法，可以同时评估用户信誉和对象质量的迭代细化的方式。根据人工生成的数据和MovieLens和Amazon的真实数据，我们的算法可以大大提高排名的准确性。这项工作突出了声誉系统在互联网时代的重要性，并指出了一种方法来评估和比较不同的声誉系统的性能。
2010-01-13 cs.DB cs.IR
Modeling Users' Contextualized Page-wise Feedback for Click-Through Rate Prediction in E-commerce Search
Alibaba Group（阿里巴巴集团）；Nanjing University（南京大学）
在个性化搜索和推荐中，对用户的历史反馈进行建模是进行点击率预测的关键。现有的方法通常只对用户的正反馈信息（如点击序列）进行建模，而忽略了反馈的上下文信息。在本文中，我们提出了一个新的视角上下文感知用户的行为建模，包括整个页面明智的暴露产品和相应的反馈作为上下文页面明智的反馈序列。可以捕获页面内上下文信息和页面间兴趣演变，以了解更具体的用户偏好。我们设计了一个新的神经排序模型RACP（即，上下文化页面序列上的循环注意力），其利用页面上下文感知注意力来对页面内上下文进行建模。一个循环的注意力过程被用来模拟跨页面的兴趣收敛的演变，在前一页的兴趣去噪。在公共数据集和真实工业数据集上的实验验证了模型的有效性。
2022-03-29 cs.AI cs.IR
Whole Page Unbiased Learning to Rank
Michigan State University（密歇根州立大学）；Wuhan University（武汉大学）；Carnegie Mellon University（卡内基梅隆大学）；Baidu Inc.（百度公司）；Wilfrid Laurier University（威尔弗里德劳里埃大学）
本文提出整页无偏排序学习问题 WP-ULTR，并用基于因果发现的 BAL 算法同时建模并缓解搜索结果页多种呈现特征导致的点击偏差。
2024-06-13 cs.AI cs.IR
Direct Optimization of Ranking Measures
Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）；NICTA（澳大利亚国家信息与通信技术研究院）；ANU（澳大利亚国立大学）
网页排名和协同过滤需要优化复杂的性能指标。目前的支持向量方法无法直接优化它们，而是专注于成对比较。我们提出了一种新的方法，允许直接优化相关的损失函数。这是通过希尔伯特空间中的结构化估计来实现的。它是最相关的最大边际马尔可夫网络优化的多元性能指标。我们的方法的关键是，在训练过程中，排名问题可以被视为一个线性分配问题，可以通过匈牙利婚姻算法来解决。在测试时，排序操作就足够了，因为我们的算法为每个（文档，查询）对分配了一个相关性分数。实验结果表明，该算法速度快，效果良好.
2007-04-25 cs.AI cs.IR
A multi-class approach for ranking graph nodes: models and experiments with incomplete data
Università di Pisa（比萨大学）
本文提出了一种多参数数据排名方法，通过不同的模型和数值算法高效计算排名分数，并在数据不完整的情况下验证了模型的鲁棒性和稳定性，展示了其在多种网络数据中的适用性。
2015-04-29 cs.IR cs.NA math.NA
Beyond Rankings: Exploring the Impact of SERP Features on Organic Click-through Rates
Nova School of Business and Economics（诺瓦商业与经济学院）；Universität Hamburg（汉堡大学）
本文基于覆盖40多个美国电商域名、67,000个关键词及2,400万次浏览的大规模Google SERP数据集，评估24种SERP功能对自然CTR的调节作用，并通过消融实验验证其增量预测能力。
2023-05-31 cs.IR cs.LG cs.SI
Use of Rapid Probabilistic Argumentation for Ranking on Large Complex Networks
Bogazici University（博阿齐奇大学）
我们介绍了一个家庭的新的排名算法称为ERank运行在线性/接近线性的时间，并建立在明确建模的网络作为不确定的证据。该模型使用概率论和命题逻辑相结合的概率论证系统（PAS），也是Dempster-Shafer证据理论的一个特例。ERank快速生成NP完全问题的近似结果，使该技术能够在大型网络中使用。我们使用以前介绍的PAS模型的引文网络推广到所有的网络。我们提出了一个统计测试，用于比较不同的排名算法的性能的基础上聚类有效性测试。我们在真实网络上使用该测试进行的实验表明，与PageRank、贴近度和中间度等知名算法相比，ERank具有最佳性能。
2008-02-22 cs.AI cs.IR
Evaluating search engines and defining a consensus implementation
不同的搜索引擎对同一个关键字提供不同的输出。这可能是由于相关性的不同定义和/或用户偏好的不同知识/预期，但排名也被怀疑偏向自己的内容，这可能会损害其他内容提供方。在本文中，我们提出了一些初步的步骤，严格的比较和分析的搜索引擎，提出了一个共识的相关性的一个页面的定义，相对于一个关键字，从一组搜索引擎。更具体地说，我们查看几个搜索引擎的结果，以获得关键字样本，并根据页面在所有搜索引擎中的排名，为每个关键字定义页面的可见性。这允许为关键字定义搜索引擎的分数，然后定义所有关键字的平均分数。基于页面的可见性，我们还可以将共识搜索引擎定义为每个关键字显示最可见结果的引擎。我们已经实现了这个模型，并提出了一个分析的结果。
2018-08-02 cs.IR cs.SI stat.AP
Web Spam Detection Using Multiple Kernels in Twin Support Vector Machine
Yazd University（亚兹德大学）
搜索引擎是网络数据采集的重要工具。网页是由搜索引擎抓取和索引的。用户通常通过查询搜索引擎来定位有用的网页。垃圾页面是搜索引擎管理面临的挑战之一，它浪费了搜索引擎的资源。这些网页通过欺骗搜索引擎的排名算法试图显示在结果的第一页。垃圾网页的检测方法有多种，如HTML代码风格相似度度量、网页语言模式分析和基于网页内容特征的机器学习算法。支持向量机（Support Vector Machine，SVM）分类器是机器学习中最著名的算法之一。最近，支持向量机的基本结构已经改变了新的扩展，以增加鲁棒性和分类精度。本文将两个非线性核函数引入Twin SVM（TSVM），作为SVM的改进扩展，提高了Web垃圾邮件检测的准确率。通过对每类数据使用两个分离的核函数，提高了分类器的数据分离能力。新提出的方法的有效性进行了实验与两个公开使用的垃圾邮件数据集称为英国-2007和英国-2006。实验结果表明，提出的核化版本的TSVM在Web垃圾页面检测的有效性。
2016-05-10 cs.IR cs.LG
Link Spam Detection based on DBSpamClust with Fuzzy C-means Clustering
搜索引擎成了无所不在的上网手段。垃圾搜索引擎是一种欺骗搜索引擎排名的技术，它夸大了排名。Web垃圾邮件制造者利用了基于链接的排名算法的脆弱性，通过创建许多人工引用或链接来获得比搜索引擎的结果更高的排名。基于链接的算法，如PageRank，HITS利用超链接的结构细节来对网络中的内容进行排名。本文提出了一种垃圾链接检测算法DBSpamClust。实验表明，该方法可以有效地过滤出垃圾网页
2010-12-31 cs.IR cs.IT cs.SI
Links tell us about lexical and semantic Web content
最新一代的Web搜索工具开始利用超文本链接信息来改进排名\cite{Brin98,Kleinberg98}和爬行\cite{Menczer00,Ben-Shaul99etal,Chakrabarti99}算法。这种方法背后隐藏的假设，网络的图形结构和它的内容之间的相关性，还没有得到明确的测试，尽管越来越多的研究Web拓扑\cite{Lawrence98,Albert99,Adamic99,Butler00}。在这里，我形式化和定量验证两个Astructures绘制连接链接信息的词汇和语义的Web内容。叮当内容猜想指出，一个页面与链接到它的页面相似，即，人们可以通过查看链接到一个页面的页面来推断该页面的词汇内容。2我还表明，基于链接线索的词汇推断在Web社区中是相当异构的。链接聚类猜想指出，关于同一主题的页面被聚类在一起，即，人们可以通过查看相邻页面来推断页面的含义。这些结果解释了最新搜索技术的成功，并为以主题或用户驱动的方式定位信息的更动态和可扩展的方法开辟了道路。
2001-08-08 cs.DL cs.IR
CRAWLDoc: A Dataset for Robust Ranking of Bibliographic Documents
Universität Ulm（乌尔姆大学）
本文提出CRAWLDoc方法，通过统一嵌入出版物URL关联的网页资源、锚文本和链接，实现跨出版商和格式的稳健文档排序，并构建了包含600篇出版物的标注数据集。
2025-06-04 cs.CL cs.IR
Design and Evaluation of Whole-Page Experience Optimization for E-commerce Search
Amazon（亚马逊公司）；Roblox Corporation（Roblox公司）
本文提出了一种全页体验优化框架，通过建模项目相关性、布局和视觉元素之间的相互作用，提升电子商务搜索结果页面的长期用户满意度和品牌相关性。
2026-01-23 cs.IR cs.LG
The long-term impact of ranking algorithms in growing networks
当我们在线搜索内容时，我们不断地接触到排名。例如，网络搜索结果以排名的形式呈现，在线书店经常向我们展示畅销书的列表。虽然基于流行度的排名算法（如Google的PageRank）在以前的作品中已经得到了广泛的研究，但我们仍然缺乏对其潜在系统性后果的清晰理解。在这项工作中，我们通过引入一个新的网络增长模型来填补这一空白，该模型允许我们比较在不同排名算法的影响下生成的网络的属性。我们表明，通过校正基于流行度的排名算法的无所不在的年龄偏差，由此产生的网络表现出显着更大的协议之间的节点的内在质量和他们的长期流行度，和一个不太集中的流行度分布。为了进一步促进流行的多样性，我们引入并验证了扰动的原始排名，其中一小部分随机选择的节点被提升到排名的顶部。我们的研究结果向基于模型的理解基于流行度的排名算法的长期影响迈出了第一步，并可用作改进信息过滤工具设计的信息工具。
2018-11-20 cs.CY cs.IR cs.SI
Ranking in evolving complex networks
复杂网络作为一个简单而强大的框架已经出现，用于表示和分析各种各样的复杂系统。对复杂网络中的节点和边进行排序的问题对于一系列现实问题至关重要，因为它影响到我们如何访问在线信息和产品，如何评估人类活动中的成功和人才，以及公司和政策制定者如何分配稀缺资源等。这就需要深入了解现有的排名算法是如何执行的，以及它们可能存在哪些偏差，这些偏差可能会影响它们的有效性。成熟的排名算法（如流行的Google的PageRank）本质上是静态的，因此，当应用于快速发展的真实网络时，它们表现出重要的缺点。最近的进展，在不断发展的网络的理解和建模，使广泛和多样化的排名算法，考虑到时间维度的发展。这篇综述的目的是调查现有的排名算法，静态和时间感知，以及它们在不断发展的网络中的应用。我们强调网络演化对成熟的静态算法的影响，以及包括实时网络流量预测，未来链路预测和高度重要节点识别等任务的时间维度的好处。
2017-04-26 cs.DL cs.IR cs.SI
