WebParF: A Web partitioning framework for Parallel Crawlers
随着WWW的规模和规模不断扩大,有效地探索内容的方法越来越重要。我们如何通过爬行有效地从中检索信息?在这个tera和多核处理器的时代,我们应该把多线程进程看作是一种服务解决方案。那么,更好的是,我们如何通过使用独立工作的并行爬虫来提高爬行性能?本文致力于并行爬虫领域的基本发展[4],突出了其设计所带来的优势和挑战。本文还重点介绍了在各种并行爬行进程或线程之间的URL分布方面,以及在每个分布式URL集合中对URL进行排序。如何将URL从URL边界分发到各个并发执行的抓取进程线程是一个正交问题。本文提供了一个解决方案,通过设计一个框架WebParF的URL边界划分成几个URL队列,同时考虑到各种设计问题。
2014-06-22 cs.IR
Movie Recommendation using Web Crawling
本文提出结合网络爬取实时数据与静态数据集训练的推荐系统,采用混合过滤方法,以提升电影推荐的个性化和时效性。
2024-12-14 cs.IR
Tree-based Focused Web Crawling with Reinforcement Learning
AthenaRC(亚特兰蒂斯研究中心)
本研究提出了基于强化学习的聚焦爬虫框架TRES,通过新型马尔可夫决策过程建模和Tree-Frontier树采样算法,在收获率、相关域名数上优于现有方法,大幅减少了每步需评估的URL数量。
2025-05-17 cs.IR cs.LG
iCrawl: Improving the Freshness of Web Collections by Integrating Social Web and Focused Web Crawling
数字人文学科的研究人员和记者需要监控、收集和分析有关埃博拉疫情或乌克兰危机等时事的新鲜在线内容。然而,现有的重点爬行方法只考虑主题方面,而忽略了时间方面,因此不能实现主题连贯和新鲜的Web集合。特别是社交媒体提供了丰富的新鲜内容来源,这是最先进的重点爬虫所不使用的。在本文中,我们解决的问题,使收集新鲜的和相关的Web和社交网络内容的兴趣主题,通过无缝集成的Web和社交媒体在一个新的集成聚焦爬虫。爬虫在单个系统中收集Web和社交媒体内容,并利用新鲜的社交媒体内容流来引导爬虫。
2016-12-19 cs.DL cs.IR
Using sensors in the web crawling process
本文介绍了一种Internet信息现场监控系统,该系统在Web服务器端放置一个特殊的传感器模块,用于检测信息资源的变化,然后只对传感器发出信号的资源进行重新索引。简要的仿真研究结果和给定的“传感器”的概念的实施尝试。
2003-12-17 cs.DL cs.IR
Document Quality Scoring for Web Crawling
University of Pisa(比萨大学);University of Glasgow(格拉斯哥大学)
针对网络低质量内容浪费爬虫资源的问题,扩展基于神经语义质量估计的方法用于爬虫优先级任务,实验证明该方法可提升下游搜索效果,并提供Docker容器便于集成到搜索系统中。
2025-04-15 cs.AI cs.IR
A Proposed Architecture for Continuous Web Monitoring Through Online Crawling of Blogs
及时了解网络空间中注册的内容,可以极大地帮助心理学家,营销人员和政治分析师熟悉,分析,做出决策并根据社会的不同需求正确行事。Web空间中的海量信息阻碍了我们对整个Web空间的持续在线调查。专注于所考虑的博客限制了我们的工作领域,并使Web空间中的在线爬行成为可能。本文提出了一种使用聚焦爬虫对相关博客进行连续在线爬虫的体系结构,并对所获得的数据进行调查和分析。在线抓取是根据ping服务器机器的最新公告完成的。该算法通过对关键词的定位形成一个加权图,使得聚焦爬虫可以根据加权图获取相关网页的完整文本。
2012-02-08 cs.IR cs.SI
Web Page Classification using LLMs for Crawling Support
Hitachi, Ltd. Research and Development Group(日立公司研究开发部)
本文提出利用LLM将网页分为索引页与内容页,并选择索引页作为爬取新页面的起点,实验证明其在分类性能和新页面覆盖率上均优于基线。
2025-05-11 cs.CL cs.IR
Analysis of a Statistical Hypothesis Based Learning Mechanism for Faster crawling
万维网(WWW)的发展使其从一个无形的网页扩展到一个巨大的网络信息中心,这逐渐增加了搜索引擎中抓取过程的复杂性。搜索引擎处理来自世界各地的大量查询,其答案完全取决于它通过爬行收集的知识。信息共享已成为社会的一种普遍现象,其主要方式是在网络上发布结构化、半结构化和非结构化的信息资源。这种社会实践导致网络资源呈指数级增长,因此在任何情况下,爬行以持续更新网络知识和修改现有资源变得至关重要。本文提出了一种基于统计假设的学习机制,用于学习不同网络环境下的爬行速度行为,并对爬行速度进行智能控制。缩放技术是用来比较性能提出的方法与标准的爬虫。实验结果表明,该算法具有很高的检索速度,并分析了在这种高速下对相关Web资源的检索。
2012-08-14 cs.IR cs.LG
Analysis of Statistical Hypothesis based Learning Mechanism for Faster Crawling
万维网(WWW)的发展使其从一个无形的网页扩展到一个巨大的网络信息中心,这逐渐增加了搜索引擎中抓取过程的复杂性。搜索引擎处理来自世界各地的大量查询,其答案完全取决于它通过爬行收集的知识。信息共享已成为社会的一种普遍现象,其主要方式是在网络上发布结构化、半结构化和非结构化的信息资源。这种社会实践导致网络资源呈指数级增长,因此在任何情况下,爬行以持续更新网络知识和修改现有资源变得至关重要。本文提出了一种基于统计假设的学习机制,用于学习不同网络环境下的爬行速度行为,并对爬行速度进行智能控制。缩放技术是用来比较性能提出的方法与标准的爬虫。实验结果表明,该算法具有很高的检索速度,并分析了在这种高速下对相关Web资源的检索。
2012-08-13 cs.AI cs.IR
Comparative analysis of various web crawler algorithms
VIT Vellore(维韦卡南达理工学院韦洛尔分校)
本报告比较了五种网络爬虫算法,旨在确定最有效的网页爬取方法,以提升信息检索效率。
2023-06-21 cs.IR cs.LG cs.SI
Timely crawling of high-quality ephemeral new content
如今,越来越多的人使用网络作为他们的最新信息的主要来源。在这种情况下,快速抓取和索引新创建的网页已经成为搜索引擎的关键,特别是因为用户流量的显着部分,这些新的网页(如新闻,博客和论坛帖子)增长真的很快,他们出现后,但只持续了几天。在本文中,我们研究的问题,及时发现和抓取这样短暂的新页面(在用户的兴趣)。传统的抓取策略并不给予这些页面任何特定的优先级,因此可能无法足够快地抓取它们,甚至抓取已经过时的内容。因此,我们提出了一个新的度量,经过深思熟虑的这项任务,它考虑到随着时间的推移,用户的兴趣减少短暂的页面。我们发现,大多数短暂的新页面可以在一个相对较小的一组内容源,并提出了一个程序,找到这样一个集合。我们的想法是定期重新抓取内容源并抓取从它们链接的新创建的页面,专注于高质量(就用户兴趣而言)的内容。这方面的主要困难之一是如何有效地在这两项活动之间分配资源。我们找到了自适应的平衡之间的爬行和rerawls通过最大化建议的度量。此外,我们将搜索引擎点击日志,让我们的爬虫了解当前用户的需求。我们的方法的效率,最后证明了实验上的真实世界的数据。
2013-07-24 cs.IR
A Scalable Crawling Algorithm Utilizing Noisy Change-Indicating Signals
Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind)
针对网页更新爬取中利用含噪声变更辅助信号的挑战,提出一种可扩展的最优爬取算法,无需集中计算即可公平适配带宽、稳定速率,实验验证了其通用性。
2025-03-20 cs.IR cs.LG stat.ML
The Synergy of Automated Pipelines with Prompt Engineering and Generative AI in Web Crawling
The Institute of Internal Auditors (IIA)(内部审计师协会(IIA))
本研究结合生成式AI与提示工程自动化网络爬虫,实验表明Claude AI在脚本质量和适应性上优于ChatGPT-4.0,并集成反爬方案以提升性能。
2024-12-29 cs.AI cs.CL cs.IR
Change Rate Estimation and Optimal Freshness in Web Page Crawling
INRIA Sophia Antipolis(法国国立信息学及其应用研究院索菲亚·安提波利斯中心);Indian Institute of Science(印度科学学院)
为了提供快速和准确的结果,搜索引擎维护整个网络的本地快照。而且,为了保持本地缓存的新鲜度,它使用了一个爬虫来跟踪各个网页的变化。然而,有限的带宽可用性和服务器的限制强加了一些约束的爬行频率。因此,理想的爬行速率是最大化本地缓存的新鲜度并且还遵守上述约束的速率。Azar et al. 2018最近提出了一种易于处理的算法来解决这个优化问题。然而,它们假定知道确切的页面变化率,这在实践中是不现实的。我们在这里讨论这个问题。具体来说,我们提供了两个新的计划,在线估计页面更改率。两种方案都只需要关于页面改变过程的部分信息,即,他们只需要知道自从上次抓取的实例以来页面是否已经改变。对于这两个计划,我们证明了收敛性,并得出其收敛速度。最后,我们提供了一些数值实验来比较我们提出的估计器与现有估计器的性能(例如,MLE)。
2020-04-05 cs.IR cs.LG cs.SI
BUbiNG: Massive Crawling for the Masses
虽然网络爬虫已经存在了20年,但几乎没有免费的开源爬虫软件可以保证高吞吐量,克服单机系统的限制,同时随着可用资源的数量线性扩展。本文旨在填补这一空白,通过描述BUbiNG,我们的下一代网络爬虫建立在作者的经验与UbiCrawler [Boldi等。2004]和过去十年的研究主题。BUbiNG是一个开源的Java全分布式爬虫;一个单一的BUbiNG代理,使用相当大的硬件,可以抓取每秒数千页尊重严格的礼貌约束,无论是基于主机和IP。与现有的依赖于批处理技术(如MapReduce)的开源分布式爬虫不同,BUbiNG作业分发基于现代高速协议,以实现非常高的吞吐量。
2016-01-26 cs.IR cs.SI
XPath Agent: An Efficient XPath Programming Agent Based on LLM for Web Crawler
Stanford University(斯坦福大学)
本研究提出专为网页爬虫和Web GUI测试设计的XPath Agent智能体,可基于单条自然语言查询从采样网页自动生成XPath查询,两阶段流水线设计可无缝集成现有工作流,在性能相当的情况下显著降低token用量、提升效率,且已开源。
2024-12-17 cs.AI cs.IR cs.SE
Bootstrapping Domain-Specific Content Discovery on the Web
从Web上持续发现特定于域的内容的能力对于许多应用程序来说是至关重要的。虽然集中的爬行策略已被证明是有效的发现,配置一个集中的爬虫是困难和耗时的。给定一个感兴趣的域$D$,主题专家(SME)必须搜索相关网站并收集一组代表性的Web页面,以用作用于创建识别$D$中的页面的分类器的训练样本,以及一组用于种子抓取的页面。在本文中,我们提出了DISCO,旨在引导特定领域的搜索方法。给定一小部分网站,DISCO的目标是发现大量相关网站。DISCO使用一个基于排名的框架,模仿用户在Web上搜索信息的方式:它迭代地发现新页面,提取并对它们进行排名。它还应用多种发现策略,包括向搜索引擎发出的基于关键字的和相关的查询、向后和向前爬行。通过系统地结合这些战略,DISCO能够在各种领域实现高收获率和覆盖率。我们在四个社会良好的领域进行了广泛的实验,使用中小企业在各自的领域收集的数据,并表明我们的方法是有效的,优于国家的最先进的方法。
2019-02-25 cs.IR
Exploring the Intersections of Web Science and Accessibility
网络是21世纪信息交换的主要方式。然而,确保基于Web的信息是可访问的是复杂的,特别是对于依赖于JavaScript和其他技术来交付和构建表示的Web应用程序;表示通常是HTML、图像或服务器为Web资源交付的其他代码。静态表示越来越少,鉴于表示的动态性质,评估网络信息的可访问性以确保所有用户都能获得信息越来越困难。在这项工作中,我们调查了三个正在进行的研究线程,可以告知Web可访问性解决方案:评估Web可访问性,建模Web用户活动和Web应用程序爬行。当前的Web可访问性研究一直专注于增加可自动测试标准的百分比,但对于复杂的交互式应用程序仍然严重依赖于手动测试。除了网页可访问性研究之外,研究人员还开发了一些机制,可以根据使用模式复制用户与网页的交互。抓取Web应用程序是一个广泛的研究领域;由于Web爬虫和用于创建应用程序的技术不兼容,因此在Web应用程序中公开内容是困难的。我们描述了通过练习用户表单来爬行深网的研究。最后,我们通过一个Web存档用例,对这三个线程的融合以及自动化、基于Web的可访问性评估和保证的未来进行了思考。这些研究工作提供了深入了解用户如何与网站交互,如何自动化和模拟用户交互,如何记录用户交互的结果,以及如何分析,评估和映射产生的网站内容,以确定其相对可访问性。
2019-08-07 cs.CY cs.IR
Web Content Classification: A Survey
随着网络信息量的日益增加,对这些信息进行组织是一种必要的要求。数据采掘的过程是从数据集中提取信息,并将其转换为可理解的结构以供进一步使用。网页内容的分类对于Web信息检索中的许多任务是必不可少的,例如维护Web目录和集中爬行。与传统的文本分类相比,Web内容的不受控制的性质类型对网页分类提出了额外的挑战,但是超文本的互连性质也提供了可以帮助该过程的特征。本文对Web分类进行了详细的讨论,探讨了Web分类在数据采掘领域中的重要性。
2014-05-03 cs.IR
Unstable markup: A template-based information extraction from web sites with unstable markup
本文介绍了在ESWC 2014年语义发布挑战赛2014的框架下,将CEUR研讨会会议记录网站爬行到链接开放数据(LOD)数据集的工作结果。我们的方法是基于使用一个可扩展的模板依赖的爬虫和DBpedia链接提取的实体,如大学和国家的名称。
2014-08-06 cs.DL cs.IR
A Survey on Adversarial Information Retrieval on the Web
这篇调查报告讨论了不同形式的恶意技术,这些技术可能会影响信息检索模型如何检索文档进行查询,以及它们的补救措施。
2020-02-15 cs.IR
Automated Evaluation of Web Site Accessibility Using A Dynamic Accessibility Measurement Crawler
实现可访问性合规性对于许多希望为消费者改善服务的政府机构和企业来说极其重要。随着对动态Web应用程序的日益依赖,许多组织发现很难实现可访问性标准,这通常是由于当前的自动化测试工具无法测试动态Web应用程序创建的有状态环境。在本文中,我们提出的Demodocus框架和原型的数学基础和理论,并概述了其方法,使用网络科学,网络爬行,无障碍测试自动导航和测试交互式内容的可访问性。我们的方法模拟的页面交互的用户和没有残疾人,并比较这些模拟的可达状态图,以确定这些不同的用户的内容访问的可访问性和难度。
2021-12-10 cs.IR
PDD Crawler: A focused web crawler using link and content analysis for relevance prediction
大多数电脑或手机爱好者利用网络进行搜索活动。网络搜索引擎用于搜索;搜索引擎得到的结果由称为网络爬虫的软件模块提供给它。这张网的规模在不断扩大。主要的问题是在这个庞大的数据库中搜索特定的信息。声明一个网页是否与搜索主题相关是一个两难的选择。本文提出了一种爬行器称为PDD爬行器,它将遵循基于链接以及基于内容的方法。这个爬虫遵循一个全新的爬行策略来计算页面的相关性。它根据HTML源代码中各种标记中包含的信息分析页面内容,然后计算页面的总权重。具有最高权重的页面因此具有最大的内容和最高的相关性。
2014-11-17 cs.IR
Responding to Retrieval: A Proposal to Use Retrieval Information for Better Presentation of Website Content
检索和内容管理被认为是相互排斥的。在本文中,我们建议他们不必如此。在通常的信息检索情况下,有关网站的服务器管理员可以获得一些关于导致网站的查询(由于“点击”或“访问”)的信息。这些信息可以用来更好地展示网站上的内容。此外,我们建议检索系统可以与内容提供方共享更多的信息。这将使得内容提供方(任何网站)能够具有与查询趋势一致的内容的更动态的呈现,而不侵犯查询用户的隐私。其结果将是检索系统和内容提供方之间更好的同步,目的是改善用户的网络搜索体验。这也将使内容提供方在这一过程中有发言权,因为内容提供方比检索系统更了解内容。这也意味着内容呈现可以响应于查询而改变。最终,用户将能够更轻松、更快速地找到相关内容。
2015-01-19 cs.IR
Evaluating Elements of Web-based Data Enrichment for Pseudo-Relevance Feedback Retrieval
在这项工作中,我们分析了一个伪相关检索方法的基础上,Web搜索引擎的结果。通过使用来自Web搜索引擎结果页面和链接内容的文本数据来丰富主题,我们训练特定于主题且具有成本效益的分类器,这些分类器可用于搜索相关文档的测试集合。在Grossman和Cormack最初在TREC Common Core 2018上所做的尝试的基础上,我们考虑到不同的搜索引擎,查询和测试集合,解决了系统性能随时间推移的问题。我们的实验结果显示了所考虑的组件如何以及在多大程度上影响检索性能。总体而言,分析的方法是强大的平均检索性能和一个有前途的方式来使用Web内容的数据丰富的相关反馈方法。
2022-03-10 cs.IR
An Integrated Search Framework for Leveraging the Knowledge-Based Web Ecosystem
信息爆炸限制了基于知识的网络生态系统(KBWE)中检索词的判断,使得相关信息的检索及其知识管理具有挑战性。现有的信息检索(IR)工具和它们在一个框架中的融合需要关注,在其中搜索结果可以有效地管理。在这篇文章中,我们证明了各种用户和代理在各种KBWE方案的有效使用信息检索服务。本文提出了一种新的集成搜索框架(ISF),它综合利用了爬行策略、Web搜索技术和传统的数据库搜索方法。此外,ISF还提供全面的、动态的、个性化的、面向组织的信息检索服务,服务范围从Internet、Example、Intranet到个人桌面。在这项实证研究中,实验进行了证明在搜索过程中的改进,在概念ISF辨别。实验结果表明,与其他流行的搜索引擎相比,该搜索引擎的准确率有所提高。
2020-12-10 cs.IR
WTR: A Test Collection for Web Table Retrieval
我们描述了Web表格检索任务的测试集合的发展,特点和可用性,它使用了一个大规模的Web表格语料库提取的公共爬行。由于Web表通常具有丰富的上下文信息,如页面标题和周围的段落,我们不仅提供了相关性判断的查询表对,但也相关性判断的查询表上下文对相对于查询,这是被忽略了以前的测试集合。为了方便未来的研究与此基准,我们提供了有关如何预处理数据集的详细信息,以及传统和最近提出的表检索方法的基线结果。我们的实验结果表明,适当使用上下文标签可以受益于以前的表检索方法。
2021-05-05 cs.IR
Information Retrieval (IR) through Semantic Web (SW): An Overview
大量的数据存在于网络上。它包含了大量的网页,从中找到合适的信息是非常繁琐的任务。有必要以正式方式组织数据,以便用户能够容易地访问和使用它们。为了从文档中检索信息,我们有许多信息检索(IR)技术。目前的IR技术还没有那么先进,他们可以利用文档中的语义知识,并给出精确的结果。IR技术是主要因素负责处理语义Web(SW)语言的注释,并在本文中用于检索信息的知识表示语言进行了讨论。
2014-03-27 cs.IR
CPS-MEBR: Click Feedback-Aware Web Page Summarization for Multi-Embedding-Based Retrieval
针对单嵌入难以完整表征复杂网页的问题,提出融合点击反馈的网页摘要框架CPS-MEBR,结合句子级语义交互生成多嵌入,提升检索质量。
2023-05-07 cs.IR
Information Retrieval on the web and its evaluation
互联网是数以百万计的人的主要信息来源之一。人们可以在互联网上找到几乎所有问题的相关信息。此外,如果我们想检索关于某个特定主题的信息,我们可能会发现与该主题相关的数千个网页。但我们主要关心的是从这些集合中找到相关的网页。因此,在本文中,我讨论了如何从网络上检索信息和检索这些信息所需的努力,在系统和用户的努力。
2012-09-28 cs.IR
Developing Products Update-Alert System for e-Commerce Websites Users Using HTML Data and Web Scraping Technique
网站被认为是任何人都可以访问的无限信息的领域。技术的新趋势促使我们改变我们做生意的方式。互联网现在正迅速成为一个新的地方的业务和进步,在这项技术引起了电子商业网站的数量。这使得营销人员/供应商,零售商和消费者(在本文中统称为用户)的生活方式变得容易,因为它提供了通过互联网销售/订购物品的简单平台。这也要求用户将不得不花费大量的时间和精力来搜索最好的产品交易,产品更新和提供电子商业网站。他们必须自己过滤和比较搜索结果,这需要花费大量时间,并且有可能出现模糊的结果。本文以一个电子商业网站为例,采用网页抓取和抓取的方法,获取HTML数据,根据当前时间确定产品更新。HTML数据经过预处理,提取产品的详细信息,如名称、价格、发布日期和时间等,作为用户的有用信息。
2021-09-02 cs.IR
Retrieval-as-a-Service:A System-Oriented Analysis of Industrial Retrieval Pipelines in Web Systems
Yale University(耶鲁大学);Stevens Institute of Technology(史蒂文斯理工学院);University of Maryland College Park(马里兰大学帕克分校);University of California, Berkeley(加州大学伯克利分校)
本文从系统角度调查工业检索管道,提出统一RaaS管道抽象,分析LLM集成的影响,为大规模Web系统提供设计指南。
2026-06-16 cs.IR
Representing Web Applications As Knowledge Graphs
Skil Inc(Skil公司)
本文提出将Web应用建模为知识图谱的方法,以结构化状态为节点、用户动作为边,克服传统超链接爬取方法对动态交互行为捕获不足的局限,从而支持自动化测试和行为分析等下游任务。
2024-10-06 cs.AI cs.IR
Careful Queries, Credible Results: Teaching RAG Models Advanced Web Search Tools with Reinforcement Learning
Tsinghua University(清华大学);The University of Hong Kong(香港大学);Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学)
本文提出WebFilter框架,通过结合检索过滤机制和基于行为与结果的奖励策略,提升RAG模型的查询质量和检索精度,实验表明其在领域内和领域外基准测试中表现更优。
2026-03-22 cs.IR
Pre-trained Language Model for Web-scale Retrieval in Baidu Search
检索是网络搜索中的一个关键阶段,它从十亿规模的语料库中识别出一小部分与查询相关的候选者。在检索阶段发现更多的语义相关的候选是非常有希望向最终用户展示更多的高质量的结果。然而,在实际的搜索引擎中,如何建立和部署有效的语义匹配检索模型仍然是一个不容忽视的挑战。在本文中,我们描述了检索系统,我们开发和部署在百度搜索。该系统利用了最新的国家的最先进的中文预训练的语言模型,即增强表示通过知识整合(ERNIE),这有利于系统的表达语义匹配。特别是,我们开发了一个基于ERNIE的检索模型,该模型配备了1)基于表达性转换器的语义编码器,以及2)全面的多阶段训练范式。更重要的是,我们提出了一个实用的系统工作流程部署模型在网络规模的检索。最终,该系统完全部署到生产环境中,并进行了严格的离线和在线实验。实验结果表明,该系统能够进行高质量的候选检索,特别是对于那些不常见的需求尾查询。总的来说,由预训练的语言模型(即,ERNIE)可以在很大程度上提高我们的搜索引擎的可用性和适用性。
2021-10-16 cs.IR
Web Table Extraction, Retrieval and Augmentation: A Survey
表格是组织和操作数据的强大而流行的工具。在网上可以找到大量的表格,这是一个宝贵的知识资源。本次调查的目的是综合和提出二十年的研究网络表。特别是,我们将现有的文献组织成六个主要类别的信息访问任务:表提取,表解释,表搜索,问答,知识库扩充,表扩充。对于这些任务中的每一个,我们确定和描述开创性的方法,目前相关的资源,并指出不同的任务之间的相互依赖性。
2020-02-05 cs.IR
DS@GT at LongEval: Evaluating Temporal Performance in Web Search Systems and Topics with Two-Stage Retrieval
DS@GT团队在CLEF 2025 LongEval中,基于Qwant数据集采用查询扩展与文档重排序的两阶段稀疏检索系统,评估并缓解Web内容演变导致的IR模型性能下降问题,最佳系统平均NDCG@10达0.296。
2025-07-11 cs.IR
LongEval-Retrieval: French-English Dynamic Test Collection for Continuous Web Search Evaluation
本文提出动态测试集LongEval-Retrieval,通过连续时间步子集合模拟网络搜索环境变化,提供法英双语数据、软相关性评估及基线分析。
2023-04-27 cs.IR
Role of Ranking Algorithms for Information Retrieval
随着网络使用量的日益增加,网络用户很容易迷失在网络丰富的超结构中。网站所有者的主要目的是根据用户的需求提供相关信息。本文首先阐述了Web挖掘是通过分析用户行为、页面内容来对用户和页面进行分类,然后描述了Web结构挖掘。本文介绍了不同的网页排序算法,并比较了这些算法用于信息检索。讨论和比较了基于网页排名的各种算法,如网页排名(PR)、加权网页排名(WPR)、超链接诱导主题选择(HITS)、距离排名和特征谣言算法。针对PageRank算法和加权PageRank算法设计了仿真接口,但PageRank是Google搜索引擎唯一使用的排名算法。
2012-08-09 cs.IR
Enhanced Trustworthy and High-Quality Information Retrieval System for Web Search Engines
万维网是最重要的信息来源。但是,信息的正确性得不到保证,搜索引擎检索到的信息相互冲突,所提供的信息质量也从低质量到高质量不等。我们提供了增强的可信度,在特定的(实体)和广泛的(内容)查询在网络搜索。可信度的过滤基于5个因素:出处,权威,年龄,流行度和相关链接。基于这5个因素计算可信度,并将其存储,从而提高检索可信网站的性能。计算出的可信度仅针对静态网站存储。质量是根据用户选择的策略提供的。基于质量的检索到的可信信息的排名使用WIQA(Web信息质量评估)框架。
2009-11-18 cs.IR
Semantic-Sensitive Web Information Retrieval Model for HTML Documents
随着互联网的出现,一个数字信息交流的新时代已经开始。目前,互联网包含超过50亿个在线网站,这个数字每天都在呈指数级增长。从根本上说,信息检索(IR)是存储文档和从这些文档中检索信息的科学和实践。从数学上讲,IR系统的核心是基于特征向量模型,并结合术语加权方案,该方案根据文档中的术语相对于其出现的上下文的重要性对其进行加权。实际上,向量空间模型(VSM),词频(TF)和逆词频(IDF)是主流IR系统中采用的其他长期建立的技术。然而,目前的IR模型只针对通用类型的文本文档,因为它们不考虑特定格式的文件,如HTML Web文档。提出了一种新的语义敏感的HTML文档Web信息检索模型。它由一个称为SWVM的向量模型和一个称为BTF-IDF的加权方案组成,特别设计用于支持HTML Web文档的索引和检索。所提出的模型的主要优点是,它分配额外的权重出现在某些预先指定的HTML标签,相关的文档的语义。此外,该模型是语义敏感的,因为它为每个被索引的术语生成同义词,然后对它们进行适当的加权,以增加检索具有相似上下文但不同词汇术语的文档的可能性。进行的实验,揭示了一个重大的提高,在精度的Web IR系统和一个激进的增加,被检索的相关文件的数量。作为进一步的研究,该模型是升级,以支持索引和检索的Web图像在多媒体丰富的Web文档。
2012-04-01 cs.IR
Improving web search using contextual retrieval
上下文检索是当今搜索引擎在方便查询和返回相关信息方面的关键技术。本文报道了一个系统的开发和评估,该系统旨在解决与万维网(WWW)的上下文信息检索相关的一些挑战。所开发的系统已被设计,以捕捉隐式和显式的用户数据,这是用来开发一个人的上下文配置文件。这样的配置文件可以在多个用户之间共享,以创建共享的上下文知识库。这些用于优化搜索查询并改善用户的搜索结果及其搜索体验。已经进行了一项实证研究,以评估该系统对一些假设。在本文中,结果相关的一个支持索赔,用户可以找到更容易使用的上下文搜索系统的信息。
2014-07-23 cs.IR
Simulating Users in Interactive Web Table Retrieval
本研究提出基于Doc2Query的交互式查询重构策略模拟Web表格检索会话,结合用户认知状态,通过多视角评估揭示查询策略与模态对用户有效性的影响。
2023-10-18 cs.IR
LongEval at CLEF 2025: Longitudinal Evaluation of IR Systems on Web and Scientific Data
The Open University(开放大学);Research Studios Austria, Data Science Studio(奥地利研究工作室,数据科学工作室);TU Wien(维也纳工业大学);University of Stavanger(斯塔万格大学);Univ. Grenoble Alpes, CNRS, Grenoble INP(格勒诺布尔阿尔卑斯大学,法国国家科学研究中心,格勒诺布尔理工学院);TH Köln - University of Applied Sciences(科隆应用技术大学)
LongEval 2025 通过两个动态数据集和两项检索任务,从时间维度评估检索系统在数据变化下的效果稳定性,并基于 nDCG 等指标对 19 支参赛团队的方法进行了纵向评测。
2025-09-22 cs.IR
The Retrieval Effectiveness of Web Search Engines: Considering Results Descriptions
目的:比较五个主要的Web搜索引擎(Google、Yahoo、MSN、Ask.com和Seekport)的检索效果,不仅考虑结果,而且考虑结果描述。设计/方法/方式:该研究使用现实生活中的查询。结果是匿名和随机的。结果由提出原始查询的人判断。结果:两个主要的搜索引擎,谷歌和雅虎,表现最好,他们之间没有显着差异。Google提供的结果描述比其他任何搜索引擎都要相关得多。这可能是用户认为该引擎优越的原因之一。研究局限性:该研究基于用户模型,其中用户相当系统地考虑了一定数量的结果。在现实生活中,情况可能并非如此。实际意义:暗示搜索引擎应该关注相关的描述。建议搜索者使用除Google之外的其他搜索引擎。创意/价值:这是第一个主要的研究比较结果和描述系统,并提出了新的检索措施,以考虑到结果的描述
2015-11-18 cs.IR
Semantic Modelling with Long-Short-Term Memory for Information Retrieval
在本文中,我们解决了以下问题,在Web文档和信息检索(IR):我们如何使用长期的上下文信息,以获得更好的IR性能?与使用词袋表示查询和文档的常见IR方法不同,我们将它们视为单词序列,并使用长短期记忆(LSTM)来捕获上下文依赖关系。据我们所知,这是LSTM首次应用于信息检索任务。由于信息检索问题的特殊性,训练策略与传统的LSTM不同。来自Bing网络搜索的IR任务的实验评估表明,所提出的方法在解决词汇不匹配和长期的上下文建模问题的能力,从而显着优于现有的最先进的方法的Web文档检索任务。
2015-02-27 cs.IR
Web2Text: Deep Structured Boilerplate Removal
网页是许多自然语言处理和信息检索任务的有价值的信息源。从这些文档中提取主要内容对于派生应用程序的性能至关重要。为了解决这个问题,我们引入了一个新的模型,执行序列标签,集体分类HTML页面中的所有文本块作为样板或主要内容。我们的方法使用了一个隐藏的马尔可夫模型上的潜力来自DOM树的功能,使用卷积神经网络。该方法在CleanEval基准测试中为样板文件的删除设置了一个新的最先进的性能。作为信息检索管道的一个组件,它提高了在CITCHWeb 12集合上的检索性能。
2018-03-27 cs.IR
Hybrid Information Retrieval Model For Web Images
90年代初的互联网的Bing Bang大大增加了通过网络分发和共享的图像数量。因此,开发了图像信息检索系统来索引和检索散布在因特网上的图像文件。这些系统中的大多数都是基于关键字的,它们基于文本元数据搜索图像;因此,它们是不精确的,因为用人类语言描述图像是模糊的。此外,还存在基于内容的图像检索系统,它们基于图像的视觉信息进行图像检索。然而,基于内容的类型系统仍然不成熟,不是有效的,因为他们遭受低检索查全率/查准率。本文提出了一种新的混合图像信息检索模型,用于索引和检索HTML文档中发布的Web图像。所提出的模型的区别标志是,它是基于图形内容和文本元数据。图形内容由图像的颜色特征和颜色直方图表示;而文本元数据由HTML文档中围绕图像的术语表示,更具体地说,除了出现在图像的alt属性,文件名和class-label中的术语之外,还出现在标记p,h1和h2中。此外,本文提出了一种新的术语加权方案称为VTF-IDF的短期可变的术语频率-逆文档频率,不同于传统的计划,它利用HTML标签结构,并分配一个额外的奖金权重出现在某些特定的HTML标签,与图像的语义。实验结果表明,该模型具有较高的检索准确率,优于现有的其他模型。
2012-04-01 cs.IR
An effective web document clustering for information retrieval
在过去的几年中,Web的大小呈指数级增长,用户可以获得与主题相关的数千个文档。有了这么多的信息,如果没有一个适当的框架来搜索现有的数据,就不可能充分利用万维网。这种必要的组织可以通过许多方式来完成。在本文中,我们介绍了一种组合的方法来聚类的网页,首先发现频繁集,然后聚类的文件。这些频繁集是通过使用频繁模式增长技术产生的。然后应用模糊C-均值算法对它进行聚类,找到具有高度相关性和相似特征的文档的聚类。我们使用Gensim包来实现我们的方法,因为它的简单性和鲁棒性。我们比较了我们的结果与(频繁模式增长,K-means)和(频繁模式增长,余弦_相似性)的组合方法。实验结果表明,该方法比上述两种方法的结合更有效,并且能够更有效地处理传统模糊C均值算法对初始质心和待形成聚类数敏感的严重缺陷。
2012-11-06 cs.IR
Evaluating the retrieval effectiveness of Web search engines using a representative query sample
搜索引擎检索有效性研究通常是小规模的,仅使用有限的查询样本。此外,查询由研究人员选择。我们从德国一家主要的搜索引擎中随机抽取了1,000个信息查询和1,000个导航查询,并根据这个样本比较了谷歌和必应的结果,从而解决了这些问题。陪审员是通过众包找到的,数据是使用专门的软件,相关性评估工具(RAT)收集的。我们发现,虽然Google在这两种查询类型上都优于Bing,但信息查询的性能差异相当小。然而,对于导航查询,Google在95.3%的情况下找到了正确答案,而Bing只找到了76.6%的正确答案。我们的结论是,搜索引擎性能的导航查询是非常重要的,因为在这种情况下,用户可以清楚地识别查询,返回正确的结果。因此,这种查询类型的性能可能有助于解释用户对搜索引擎的满意度。
2014-05-09 cs.IR
Web Retrieval-Aware Chunking (W-RAC) for Efficient and Cost-Effective Retrieval-Augmented Generation Systems
AI Research Team, Yellow.ai(Yellow.ai AI研究团队)
本文提出W-RAC,一种针对网页文档的高效分块框架,通过分离文本提取与语义分块规划,减少LLM token消耗,提升系统可观察性。
2026-01-08 cs.AI cs.IR
Links tell us about lexical and semantic Web content
最新一代的Web搜索工具开始利用超文本链接信息来改进排名\cite{Brin98,Kleinberg98}和爬行\cite{Menczer00,Ben-Shaul99etal,Chakrabarti99}算法。这种方法背后隐藏的假设,网络的图形结构和它的内容之间的相关性,还没有得到明确的测试,尽管越来越多的研究Web拓扑\cite{Lawrence98,Albert99,Adamic99,Butler00}。在这里,我形式化和定量验证两个Astructures绘制连接链接信息的词汇和语义的Web内容。叮当内容猜想指出,一个页面与链接到它的页面相似,即,人们可以通过查看链接到一个页面的页面来推断该页面的词汇内容。2我还表明,基于链接线索的词汇推断在Web社区中是相当异构的。链接聚类猜想指出,关于同一主题的页面被聚类在一起,即,人们可以通过查看相邻页面来推断页面的含义。这些结果解释了最新搜索技术的成功,并为以主题或用户驱动的方式定位信息的更动态和可扩展的方法开辟了道路。
2001-08-08 cs.DL cs.IR
Evaluating the Usefulness of Sentiment Information for Focused Crawlers
University of Arizona(亚利桑那大学);University of Wisconsin-Milwaukee(威斯康星大学密尔沃基分校)
尽管网络上与情感有关的内容很普遍,但在能够有效收集此类内容的重点爬虫方面的工作有限。在这项研究中,我们评估了使用情感相关的信息,增强集中抓取意见丰富的网页内容,关于一个特定的主题的有效性。我们还评估了使用情感标签网络图进一步提高收集准确性的影响。在一个包含超过50万个网页的大型测试平台上的实验结果表明,利用情感信息以及情感标记的网络图的集中爬虫能够收集关于特定主题的更全面的意见相关内容。这些结果对Web 2.0时代的商业和营销情报收集工作具有重要意义。
2013-09-27 cs.CL cs.IR