Scatter Networks: A New Approach for Analyzing Information Scatter on the Web
关于任何给定主题的信息通常分散在网络上。以前,这种分散的特点是通过一组事实(即信息片段)在网页上的分布,表明通常几个页面包含许多关于主题的事实,而许多页面只包含少数事实。虽然这些方法揭示了重要的分散现象,但它们是有损的,因为它们隐藏了特定事实(例如,罕见事实)如何在特定类型的页面(例如,事实丰富的页面)中发生。为了揭示这种不确定性,我们构建了二分网络,由两种类型的顶点组成:网页中包含的事实和网页本身。这样的表示使一系列的网络分析技术的应用,揭示结构特征,如连接性,鲁棒性和聚类。我们讨论了这些功能中的每一个对用户在线查找全面信息的能力的影响。最后,我们比较了网页和事实的二分图结构和网页之间的超链接结构。
2007-05-30 cs.IR
Towards Scalable Topic Detection on Web via Simulating Levy Walks Nature of Topics in Similarity Space
本文发现热门主题网页间相似度具有 Lévy 游走统计特征,提出基于探索-利用策略的主题聚类方法,在保证有效性的同时显著提升处理海量噪声网页的效率。
2024-07-26 cs.IR
Web Template Extraction Based on Hyperlink Analysis
Web模板是网站工程师的主要开发资源之一。模板允许他们通过将内容插入已经格式化和准备好的页面来提高生产力。对于最终用户来说,模板也很有用,因为它们为所有网页提供了一致性和共同的外观。然而,从爬虫和索引器的角度来看,模板是一个重要的问题,因为模板通常包含不相关的信息,如广告,菜单和横幅。处理和存储这些信息很可能导致资源(存储空间、带宽等)的浪费。据测量,模板代表了Web上40%到50%的数据。因此,识别模板对于索引任务至关重要。在这项工作中,我们提出了一种新的方法,自动模板提取的基础上,使用菜单信息检测到的网页集合的DOM树之间的相似性分析。我们的实施和实验证明了该技术的实用性。
2015-01-09 cs.IR
Using the DOM Tree for Content Extraction
网页的主要信息通常混杂在菜单、广告、面板和其他不一定相关的信息之间;并且通常难以自动隔离这些信息。这正是内容提取的目标,内容提取是一个因其许多应用而引起广泛兴趣的研究领域。内容提取不仅对最终的人类用户有用,而且经常被用作不同系统的预处理阶段,这些系统需要提取Web文档中的主要内容,以避免处理和处理其他无用信息。其他有趣的应用程序,其中内容提取是特别使用显示网页在小屏幕,如手机或PDA。在这项工作中,我们提出了一种新的技术,内容提取,使用DOM树的网页分析的层次关系的网页中的元素。由于这些信息,该技术实现了相当大的召回率和准确率。使用DOM结构进行内容提取为我们提供了基于网页语法(如字符,单词和标签)的其他方法的好处,但它也为我们提供了关于块中相关组件的非常精确的信息,从而产生了非常有凝聚力的块。
2012-10-23 cs.IR
Webpage Segmentation for Extracting Images and Their Surrounding Contextual Information
School of IT, Monash University(莫纳什大学信息技术学院)
Web图像与有价值的上下文信息密切相关。尽管这些信息长期以来被挖掘用于各种用途,例如图像注释、图像聚类、图像语义内容的推断等,在挖掘这种上下文信息时,对解决问题没有给予足够的关注。在本文中,我们提出了一个网页分割算法,针对提取的网页图像及其上下文信息的基础上,他们出现在网页上的特点。我们进行了用户研究,以获得一个人类标记的数据集,以验证我们的方法的有效性和实验表明,我们的方法可以达到更好的效果相比,现有的分割算法。
2020-05-18 cs.CV cs.IR cs.MM
E-commerce Webpage Recommendation Scheme Base on Semantic Mining and Neural Networks
University of Science and Technology of China(中国科学技术大学);Arizona State University(亚利桑那州立大学);The University of Chicago(芝加哥大学);Georgia Institute of Technology(佐治亚理工学院);University of California San Diego(加利福尼亚大学圣迭戈分校)
针对电商网页推荐方案难以满足网购用户需求的问题,提出结合语义网挖掘与BP神经网络的推荐方案,提取5类日志特征训练网络实现优先级排序,经图书销售网页实验验证可快速准确识别用户所需网页。
2024-09-11 cs.AI cs.IR
Maximizing PageRank via outlinks
我们分析了一组我的网页,网站管理员要最大限度地提高谷歌的PageRank分数的总和的链接策略。网站管理员只能选择从我的网页开始的超链接,而不能控制来自其他网页的超链接。在一些合理的假设下,我们给出了一个最优的链接策略。
2007-11-19 cs.IR math.RA
Modeling Updates of Scholarly Webpages Using Archived Data
庞大的网络给用有限的资源构建大规模搜索引擎带来了高昂的成本。因此,需要优化抓取边界,以提高抓取内容的覆盖率和新鲜度。在本文中,我们提出了一种方法,在网络上使用存档的网页副本的动态变化建模。为了评估其效用,我们使用从Google Scholar配置文件中获得的19,977个作者主页的种子URL对学术网络进行了初步研究。我们首先从互联网档案馆(IA)获得这些网页的存档副本,并估计其实际更新发生的时间。接下来,我们应用最大似然估计其平均更新频率($λ$)值。我们的评估表明,$λ$值来自一个简短的历史存档的数据提供了一个很好的估计,在短期内的真实更新频率,我们的方法提供了更好的估计更新的一部分资源相比,基线模型。在此基础上,我们展示了归档数据的效用,以优化网络爬虫的爬行策略,并发现重要的挑战,启发未来的研究方向。
2020-12-07 cs.DL cs.IR
Bundle Fragments into a Whole: Mining More Complete Clusters via Submodular Selection of Interesting webpages for Web Topic Detection
Beijing University of Technology(北京工业大学);University of Chinese Academy of Sciences(中国科学院大学)
针对网络话题检测中话题候选多为片段的问题,提出捆绑-细化方法,利用子模优化细化粗略话题,在两个公开数据集上显著优于现有方法。
2024-09-19 cs.AI cs.IR
Semi-Supervised Method using Gaussian Random Fields for Boilerplate Removal in Web Browsers
Microsoft IDC(微软IDC)
样板移除是指从网页中移除广告等嘈杂内容并提取可供各种服务使用的相关内容的问题。这在web浏览器中的若干特征中可能是有用的,诸如广告拦截、可访问性工具(诸如大声读出、翻译、摘要等)。为了创建训练数据集以训练用于样板检测和移除的模型,手动标记或标记网页数据可能是乏味且耗时的。因此,半监督模型可能是有用的,其中一些网页元素被手动标记,而其他元素的标签是基于一些参数推断的。在本文中,我们提出了一个解决方案,从网页中提取相关内容,依赖于使用高斯随机场的半监督学习。我们首先将网页表示为一个图,其中文本元素作为节点,边权重表示节点之间的相似性。在此之后,我们使用统计学标记图中的一些节点,并通过与已标记节点的相似性加权度量标记其余节点。我们描述的系统架构和一些初步的结果,在一个数据集的网页。
2019-11-08 cs.IR cs.LG stat.ML
CoVA: Context-aware Visual Attention for Webpage Information Extraction
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
网页信息抽取是建立知识库的重要步骤。为此,经典的WIE方法利用网站的文档对象模型(DOM)树。然而,DOM树的使用带来了巨大的挑战,因为上下文和外观是以抽象的方式编码的。为了解决这一挑战,我们建议重新制定WIE作为一个上下文感知的网页目标检测任务。具体来说,我们开发了一个上下文感知的基于视觉注意力(CoVA)的检测管道,它结合了外观特征和DOM树的语法结构。为了研究这种方法,我们收集了一个新的大规模电子商务网站数据集,我们用四个标签手动注释每个Web元素:产品价格,产品标题,产品图像和背景。在这个数据集上,我们证明了所提出的CoVA方法是一个新的具有挑战性的基线,它改进了现有的最先进的方法。
2021-10-24 cs.AI cs.CL cs.CV
Navigation Objects Extraction for Better Content Structure Understanding
Zhejiang University(浙江大学);University of British Columbia(不列颠哥伦比亚大学);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院)
从网页中提取导航对象的现有工作主要集中在导航菜单上,以揭示网站的信息结构。然而,诸如社交网络、电子商务门户等web 2.0站点使得对网站中的内容结构的理解变得越来越困难。动态和个性化的元素,如顶部的故事,在网页中的推荐列表是至关重要的动态性质的Web 2.0网站的理解。为了更好地理解Web 2.0网站的内容结构,本文提出了一种新的网页导航对象提取方法。我们的方法将提取不仅是静态的导航菜单,但也动态和个性化的页面特定的导航列表。由于网页中的导航对象自然是分块的,我们首先利用超链接的空间位置,DOM树的层次结构和超链接密度聚类到不同的块。然后,我们确定导航对象从这些块使用SVM分类器与新的功能,如锚文本长度等真实世界的数据集上的实验,从不同领域和风格的网页验证了我们的方法的有效性。
2017-08-26 cs.AI cs.IR
Anchor Prediction: Automatic Refinement of Internet Links
Stanford University(斯坦福大学);Google DeepMind(谷歌DeepMind)
本文提出anchor prediction任务以自动识别链接目标网页中最相关的具体部分,并发布了AuthorAnchors和ReaderAnchors数据集,同时通过基于T5的排序方法建立基线,表明该任务仍有很大改进空间。
2023-05-24 cs.CL cs.IR
On the Applicability of Delicious for Temporal Search on Web Archives
Web档案是存储过去的网页的大型纵向集合,这些网页可能在当前的实时Web上丢失。因此,对这些集合的时间搜索对于寻找突出的缺失网页和历史分析等任务至关重要。然而,这一直是具有挑战性的,由于缺乏流行的信息和适当的地面真相,以评估时间检索模型。在本文中,我们调查的适用性外部纵向资源,以确定重要的和流行的网站在过去和分析的社会书签服务美味。Delicious上带有时间戳的书签提供了关于过去流行时间段的明确线索以及相关描述符。对于给定的时态查询,这些对于识别过去的重要文档是有价值的。纯粹关注召回,我们分析了超过12,000个查询,发现使用Delicious产生的平均召回值从46%到100%,当我们将自己限制在考虑的数据集中最好的代表查询时。这构成了一个有吸引力的和低开销的方法,快速访问到Web档案,而不处理实际的内容。
2017-02-03 cs.IR
Recommending Relevant Sections from a Webpage about Programming Errors and Exceptions
编程错误或异常是软件开发和维护中固有的,并且考虑到今天的互联网时代,软件开发人员经常在Web上寻找工作解决方案。他们利用搜索引擎检索相关页面,然后通过手动逐页浏览来寻找适当的解决方案。然而,针对给定异常(及其上下文)手动检查页面内容,然后制定适当的解决方案都是非常重要的任务。它们甚至更加复杂和耗时,因为大量的不相关(即,偏离主题)和嘈杂(例如,广告)内容。在本文中,我们提出了一个基于IDE和上下文感知的页面内容推荐技术,定位和推荐相关部分从一个给定的网页,通过利用技术细节,特别是在IDE中遇到的异常的上下文。与250个网页相关的80个编程异常的评估,与唯一可用的密切相关的技术比较,并与VSM和LSA技术的比较的案例研究表明,所提出的技术是非常有前途的精度,召回率和F1-措施。
2018-07-06 cs.IR cs.SE
A Fast Template-based Approach to Automatically Identify Primary Text Content of a Web Page
搜索引擎已经成为人们在互联网上浏览信息不可或缺的工具。然而,用户经常被来自不相关网页的冗余结果所困扰。原因之一是因为搜索引擎也看在非信息块的网页,如广告,导航链接等,在本文中,我们提出了一种快速的算法,称为FastContentExtractor自动检测主要内容块的网页,通过改进ContentExtractor算法。通过自动识别和存储表示网站中的内容块的结构的模板,可以快速地从网站中提取新网页的内容块。输出块的层次顺序也被保持,这保证了所提取的内容块与原始内容块的顺序相同。
2019-11-26 cs.IR
Exploring the Potential of Generative AI for the World Wide Web
New York University Abu Dhabi(纽约大学阿布扎比分校);Nokia Bell Labs(诺基亚贝尔实验室)
本文提出WebDiffusion工具,模拟基于Stable Diffusion的Web图像生成,并通过众包评估409张图像,证明生成式AI能利用网页上下文生成高质量图像,但浏览器内生成仍受GPU性能限制。
2023-10-26 cs.AI cs.HC cs.IR
Unstable markup: A template-based information extraction from web sites with unstable markup
本文介绍了在ESWC 2014年语义发布挑战赛2014的框架下,将CEUR研讨会会议记录网站爬行到链接开放数据(LOD)数据集的工作结果。我们的方法是基于使用一个可扩展的模板依赖的爬虫和DBpedia链接提取的实体,如大学和国家的名称。
2014-08-06 cs.DL cs.IR
Generative Pre-trained Ranking Model with Over-parameterization at Web-Scale (Extended Abstract)
Shanghai Jiao Tong University(上海交通大学);Baidu Inc.(百度公司)
针对传统排序学习模型因标注数据不足和过拟合导致性能不佳的问题,提出一种生成式半监督预训练排序模型GS2P,通过离线实验和真实搜索引擎部署验证了其有效性。
2024-09-25 cs.IR cs.LG
Bew: Towards Answering Business-Entity-Related Web Questions
Stony Brook University(石溪大学);Microsoft Research(微软研究院)
我们提出BewQA,专门设计来回答一类问题,我们称之为Bew问题的系统。Bew问题与餐馆、酒店和电影院等企业/服务有关;例如,“欢乐时光到几点?".这些问题很难回答,因为答案是在开放域Web中找到的,以没有周围上下文的短句形式存在,并且由于网页信息可以频繁更新,因此是动态的。在这些条件下,现有的QA系统表现不佳。我们提出了一个实用的方法,称为BewQA,可以回答Bew查询挖掘模板的业务相关的网页,并使用模板来指导搜索。我们展示了如何利用聚合器网站自动提取模板,这些网站聚合了域中有关业务实体的信息(例如,餐馆)。我们通过从提取的模板中识别最有可能包含答案的部分来回答给定的问题。通过这样做,即使答案跨度没有足够的上下文,我们也可以提取答案。重要的是,BewQA不需要任何培训。我们众包了一个新的数据集,包含1066个Bew问题和餐厅领域的地面真相答案。与最先进的QA模型相比,BewQA在F1分数上提高了27%。与商业搜索引擎相比,BewQA正确回答的Bew问题多出29%。
2020-12-10 cs.CL cs.IR
Pre-trained Graphformer-based Ranking at Web-scale Search (Extended Abstract)
Baidu Inc.(百度公司);Shanghai Jiao Tong University(上海交通大学);Zhejiang Lab(之江实验室)
针对 Web 规模搜索中 Transformer 与 GNN 难以集成于统一学习排序框架的问题,提出 MPGraf 模型,利用模块化和基于胶囊的预训练策略融合两者优势,并通过离线与在线实验验证了其性能。
2024-09-25 cs.IR cs.LG
An Index-based Approach for Efficient and Effective Web Content Extraction
University of Science and Technology of China(中国科学技术大学);Metastone Technology(Metastone技术)
本文提出基于索引的方法,用于高效提取网络相关内容,提升RAG系统查询准确性与处理速度。
2025-12-07 cs.CL cs.IR