Does Search Engine Optimization come along with high-quality content? A comparison between optimized and non-optimized health-related web pages
搜索医疗信息是一种常见而重要的活动，因为它影响人们对医疗保健的决策。使用搜索引擎优化（SEO），内容制作者寻求增加其内容的可见性。搜索引擎优化更有可能是由商业动机的内容生产者，如制药公司，而不是由非商业提供者，如政府机构。在这项研究中，我们问内容质量是否与网页上的SEO措施的存在或不存在相关。我们进行了一项用户研究，其中N = 61参与者包括外行以及专家在健康信息评估评估健康相关的网页分类为优化或非优化。受试者评价的专业知识，非优化的网页比优化的网页的专业知识更高，证明他们的评价更有能力和信誉的外观非优化的网页。此外，对非优化网页的网站运营商的评论都是正面的，而优化网页往往得到正面和负面的评价。我们发现外行和专家的评分没有差异。由于未经优化但高质量的内容可能会被质量较低的优化内容排在前面，因此应在排名中优先考虑可信来源。
2023-01-24 cs.IR
Search Space Engine Optimize Search Using FCC_STF Algorithm in Fuzzy Co-Clustering
模糊联合聚类算法可以通过处理两个主要问题来改进：第一是离群点问题，第二是维数灾难问题，通过搜索引擎在一组网页帧中有效地执行页面置换算法，如FIFO、LRU或优先级算法，可以减少离群点问题。优先级为零的网页（离群值）可以在单独的帧槽中表示。而对搜索引擎获取的网页进行FCC_STF算法，首先减少离群点问题，可以改善维数灾难问题。根据所用模糊化器的不同，比较了FCCM算法和FUZZY CO-DOK算法与FCC_STF算法的优缺点。FCC_STF算法将模糊化器融合为一个实体，通过对（A1，B1，Vcj，A2，B2）值的实验结果表明，该算法对局部极大值不敏感，通过绘制J（fcc_stf）和Vcj之间的关系图，可以获得网页的二维最优搜索空间。
2014-07-24 cs.IR
The Archive Query Log: Mining Millions of Search Result Pages of Hundreds of Search Engines from 25 Years of Web Archives
本文介绍了Archive Query Log（AQL），一个由Internet Archive收集的大规模、多来源查询日志，支持检索模型研究与历时性搜索引擎分析，并以隐私保护方式促进开放研究。
2023-07-31 cs.IR
Shuffling a Stacked Deck: The Case for Partially Randomized Ranking of Search Engine Results
在现代搜索引擎中，网页流行度、PageRank、访问次数和其他衡量网页流行度的指标显著影响搜索结果的排名。人们的假设是，受欢迎程度与质量密切相关，这是一个难以直接衡量的更难以捉摸的概念。不幸的是，流行度和质量之间的相关性是非常弱的新创建的页面，尚未收到许多访问和/或在链接。更糟糕的是，由于新内容的发现主要是通过查询搜索引擎完成的，而且由于用户通常将注意力集中在前几个结果上，新创建的但高质量的页面实际上被"拒之门外"，并且可能需要很长时间才能变得流行。我们提出了一个简单而优雅的解决方案：在搜索结果排名方法中引入可控的随机性。这样做为新页面提供了一个证明其价值的机会，尽管显然使用太多的随机性会降低结果质量并取消所获得的任何好处。因此，在估计新页面质量的探索和利用已知高质量的页面之间存在权衡。我们研究这种权衡分析和通过模拟，在经济目标函数的基础上，随着时间的推移摊销的总结果质量。我们发现，适度的随机性会导致搜索结果的改善。
2005-03-04 cs.IR
Wikipedia Page View Reflects Web Search Trend
关键词出现的频率一般反映了公众对某一主题的兴趣程度。因此，搜索日志是趋势分析的有用资源。然而，对搜索日志的访问通常限于搜索引擎提供商。在本文中，我们调查是否可以估计搜索频率从不同的资源，如维基百科的开放数据的页面浏览量。我们发现经常搜索的关键词与维基百科页面浏览量有非常高的相关性。这表明维基百科页面浏览量可以成为确定全球流行网络搜索趋势的有效工具。
2015-09-07 cs.IR cs.SI
The Evolution of Web Search User Interfaces -- An Archaeological Analysis of Google Search Engine Result Pages
网络搜索引擎改变了人们搜索和访问信息的方式，从而改变了每个人的生活。搜索引擎特别关注用户界面，尤其是搜索引擎结果页面（SERP）。众所周知的“10个蓝色链接”列表已经发展成为更丰富的界面，通常是个性化的搜索查询，用户和其他方面。20多年后，文献没有充分描述这一发展。我们提出了一个研究SERP接口的演变，在过去的二十年中使用谷歌搜索作为案例研究。我们使用每年搜索次数最多的查询从Internet Archive中提取SERP样本。使用这个数据集，我们分析了SERP如何在内容，布局，设计（例如，配色方案、文本样式、图形）、导航和文件大小。我们还分析了与SERP元素相关的用户界面设计模式。我们发现，SERP在元素方面变得更加多样化，聚合了来自不同垂直领域的内容，并包含了更多提供直接答案的功能。这个系统的分析描绘了搜索引擎用户界面的发展趋势，更普遍的是，网页设计。我们预计这项工作将引发其他更具体的研究，可以利用我们的数据集。
2023-01-20 cs.IR
Learning Visual Features from Snapshots for Web Search
当将学习排序算法应用于Web搜索时，通常会设计大量的特征来捕获相关信号。这些特征中的大多数是基于提取的文本元素、链接分析和用户日志计算的。然而，网页不仅仅是链接的文本，而是具有以不同风格组织大量元素的结构化布局。这种布局本身可以传达有用的视觉信息，表明网页的相关性。例如，查询独立布局（即，原始页面布局）可以帮助识别页面质量，而依赖于查询的布局（即，用匹配的查询词呈现的页面）可以进一步告知丰富的结构信息（例如，大小、位置和接近度）。然而，这样的视觉信息的布局已经很少利用在Web搜索在过去。在这项工作中，我们建议从网页的布局中自动学习丰富的视觉特征（即，网页快照）的相关性排名。查询无关和查询相关的快照都被认为是新的输入。然后，我们提出了一种新的视觉感知模型的启发，人类的视觉搜索行为的网页浏览提取视觉特征。该模型可以与传统的人工制作的功能一起端到端学习。我们还表明，这样的视觉功能可以有效地获得在线设置与扩展的倒排索引方案。基准集合上的实验表明，学习视觉特征的网页快照可以显着提高性能的相关性排名在ad-hoc Web检索任务。
2017-10-19 cs.IR
Identify Web-page Content meaning using Knowledge based System for Dual Meaning Words
在搜索引擎产生搜索结果的过程中，网页内容的含义起着很大的作用。大多数情况下，网页的含义存储在标题或元标签区域，但这些含义并不总是匹配的网页内容。为了克服这种情况，我们需要通过网页内容来识别网页的含义。在这种情况下，当网页内容包含双重含义的单词时，很难识别网页的含义。在本文中，我们介绍了一种新的设计和开发机制，识别网页内容的意义，其中持有双重意义的话，在他们的网页内容。
2012-07-16 cs.IR
Mathematical Model of Semantic Look - An Efficient Context Driven Search Engine
万维网（WWW）是一个巨大的网页温室。搜索引擎是为用户查询获取网页的关键应用。在当前一代Web架构中，搜索引擎将用户提供的关键字视为孤立的关键字，而不考虑用户查询的上下文。这会导致向用户显示许多不相关的页面或链接。语义Web是在现有Web的基础上，通过修改框架，以更精确的结果集作为对用户查询的响应。当前的网页需要通过寻找相关的Meta数据添加到它们中的每一个被注释，使它们成为有用的语义Web搜索引擎。Semantic Look通过处理记录在网页中的语义信息来探索用户查询的上下文。它与现有的算法称为OntoLook相比，它表明，语义查找是一个更好的优化搜索引擎的速度是OntoLook的两倍以上。
2014-02-28 cs.IR
Low cost page quality factors to detect web spam
Web垃圾邮件是对搜索引擎结果质量的一大挑战。准确地检测出网络垃圾信息对于搜索引擎来说是非常重要的。在本文中，我们提出了32个低成本的质量因素分类垃圾邮件和火腿网页的实时的的基础上。这些特征可以分为三类：（i）URL特征，（ii）内容特征，以及（iii）链接特征。我们利用神经网络的弹性反向传播学习算法开发了一个分类器，取得了良好的准确性。该分类器可以实时的应用于搜索引擎的结果，因为这些特征的计算需要很少的CPU资源。
2014-10-08 cs.IR
PDD Crawler: A focused web crawler using link and content analysis for relevance prediction
大多数电脑或手机爱好者利用网络进行搜索活动。网络搜索引擎用于搜索;搜索引擎得到的结果由称为网络爬虫的软件模块提供给它。这张网的规模在不断扩大。主要的问题是在这个庞大的数据库中搜索特定的信息。声明一个网页是否与搜索主题相关是一个两难的选择。本文提出了一种爬行器称为PDD爬行器，它将遵循基于链接以及基于内容的方法。这个爬虫遵循一个全新的爬行策略来计算页面的相关性。它根据HTML源代码中各种标记中包含的信息分析页面内容，然后计算页面的总权重。具有最高权重的页面因此具有最大的内容和最高的相关性。
2014-11-17 cs.IR
A Framework for Prefetching Relevant Web Pages using Predictive Prefetching Engine (PPE)
本文提出了一个框架，以增加相关性的网页检索的搜索引擎。该方法引入了一个预测预取引擎（PPE），它利用各种数据采掘算法的日志维护的搜索引擎。该方法的基本前提是，在集群访问的情况下，Web服务器的用户请求的下一个页面通常基于当前和以前请求的页面。在此基础上，绘制规则，然后引导路径预取所需的页面。为了执行预取更多相关页面的预期任务，引入了代理。
2011-09-28 cs.IR
Users' Perception of Search Engine Biases and Satisfaction
搜索引擎可能会一直倾向于某些值，而不是其他值，这被认为是由于内置的基础设施而产生的偏见。许多研究致力于从搜索引擎自身的角度来检测、控制和减轻这些偏见的影响。本研究从终端用户的角度出发，分析了他们对搜索引擎偏见的感知，以及当偏见得到规范时，他们的满意度。在这项研究中，我们将来自搜索引擎Bing的真实搜索页面与结果中具有更多差异（即较少偏见）的合成页面配对。这两个页面都显示了搜索查询的前10个搜索项，我们问参与者他们更喜欢哪一个，为什么他们更喜欢选择的那个。统计分析显示，总体而言，参与者更喜欢原始的Bing页面，并且介绍的位置也与用户的偏好有关。我们发现，用户更喜欢与搜索查询更一致和相关的结果。在一定程度上，引入不确定性破坏了搜索结果的相关性，并损害了用户的满意度。此外，我们证实，用户往往更关注结果的顶部，而不是底部。
2021-05-06 cs.IR
Modeling Users' Contextualized Page-wise Feedback for Click-Through Rate Prediction in E-commerce Search
Alibaba Group（阿里巴巴集团）；Nanjing University（南京大学）
在个性化搜索和推荐中，对用户的历史反馈进行建模是进行点击率预测的关键。现有的方法通常只对用户的正反馈信息（如点击序列）进行建模，而忽略了反馈的上下文信息。在本文中，我们提出了一个新的视角上下文感知用户的行为建模，包括整个页面明智的暴露产品和相应的反馈作为上下文页面明智的反馈序列。可以捕获页面内上下文信息和页面间兴趣演变，以了解更具体的用户偏好。我们设计了一个新的神经排序模型RACP（即，上下文化页面序列上的循环注意力），其利用页面上下文感知注意力来对页面内上下文进行建模。一个循环的注意力过程被用来模拟跨页面的兴趣收敛的演变，在前一页的兴趣去噪。在公共数据集和真实工业数据集上的实验验证了模型的有效性。
2022-03-29 cs.AI cs.IR
Incorporating Clicks, Attention and Satisfaction into a Search Engine Result Page Evaluation Model
现代搜索引擎的结果页面通常为用户提供即时价值，并以易于导航的方式组织信息。核心排名功能有助于实现这一点，结果片段，结果块的智能组织以及对一箱答案或侧面板的广泛使用也是如此。虽然它们对用户有用，并帮助搜索引擎脱颖而出，但这些功能对评估提出了两大挑战。首先，在搜索引擎结果页面（SERP）上存在这样的元素可能会导致点击的缺失，然而，这与不满意无关，即所谓的“良好放弃”。“其次，SERP项目的非线性布局和视觉差异可能会导致用户注意力的非平凡模式，这是现有评估指标无法捕捉的。在本文中，我们提出了一个模型，共同捕捉点击行为，用户注意力和满意度，CAS模型的SERP用户行为，并证明它提供了更准确的预测用户的行动和自我报告的满意度比现有的模型的基础上点击单独。我们使用CAS模型来构建一个新的评估指标，该指标可应用于非线性SERP布局，并可考虑用户直接在SERP上获得的效用。我们证明，这个指标显示出更好的协议与用户报告的满意度比传统的评价指标。
2016-09-02 cs.IR
Query sensitive comparative summarization of search results using concept based segmentation
查询敏感摘要是指根据用户的搜索查询，为用户提供单个或多个网页内容的摘要。本文提出了一种新颖的想法，从一组URL的搜索结果生成一个比较摘要。用户从搜索引擎产生的搜索结果中选择一组网页链接。生成这些选定网站的比较摘要。该方法利用了这些网页的HTML DOM树结构。HTML文档被分割成一组概念块。每个概念块的句子得分相对于查询和特征关键字计算。从不同网页的概念块中抽取重要句子，动态地组成比较摘要。该系统减少了用户浏览各种网站以比较信息所需的时间和精力。通过对内容的比较总结，帮助用户快速决策。
2012-01-11 cs.IR
Web-page Indexing based on the Prioritize Ontology Terms
在当今世界，全球化已成为人类最基本、最普遍的趋势。为了使信息全球化，人们将在互联网上发布文件。因此，互联网的信息量变得巨大。为了处理如此庞大的信息量，Web浏览器使用搜索引擎。搜索引擎的网页索引机制对于从海量的Web资源中快速检索出Web搜索结果起着重要的作用。网络研究人员引入了各种类型的网页索引机制来从网页存储库中检索网页。本文阐述了一种新的网页索引设计与开发方法。所提出的网页索引机制已应用于特定领域的网页，我们已经确定了基于本体的网页域。在我们的方法中，首先我们优先考虑存在于网页内容中的本体术语，然后应用我们自己的索引机制来索引该网页。存储索引的主要优点是优化速度和性能，同时为用户给定的搜索查询从特定于域的搜索引擎存储区域查找相关文档。
2013-11-25 cs.IR
Experience of Developing a Meta-Semantic Search Engine
考虑到今天的Web搜索场景主要是基于关键字的，导致需要语义Web提供有效和有意义的搜索。现有的搜索引擎由于依赖于网页中可用的简单数据而容易对用户查询提供相关答案。另一方面，语义搜索引擎提供高效和相关的结果，因为语义网使用本体管理具有明确定义的含义的信息。一个Meta-搜索引擎是一个搜索工具，它将用户的查询转发到几个现有的搜索引擎，并通过使用自己的页面排名算法提供组合的结果。SemanTelli是一个Meta语义搜索引擎，通过智能代理从不同的语义搜索引擎（如Hakia，DuckDuckGo，SenseBot）获取结果。本文提出了增强SemanTelli与改进的片段分析为基础的页面排名算法和支持图像和新闻搜索。
2013-11-25 cs.IR
Introducing a New Mechanism for Construction of an Efficient Search Model
搜索引擎已成为人们从WWW上检索信息的必然工具。网络研究者们提出了许多基于不同特征的搜索引擎改进算法。这些算法有时是领域相关的，有时是网页排名相关的，有时是效率相关的等等。我们介绍的是这样一种算法，它是多个领域以及效率相关的。在本文中，我们提供了多级索引的顶部基于索引的无环图（IBAG），支持多个本体，以及减少搜索时间。IBAG仅包含与域相关的页面，并由相关页面图（RPaG）构建。我们还提供了一个比较研究的时间复杂度的各种模型。
2011-02-07 cs.IR
The Impact of Main Content Extraction on Near-Duplicate Detection
商业网络搜索引擎采用近似重复检测来确保用户仅看到每个相关结果一次，尽管底层网络抓取通常包括许多网页的（近似）重复。我们重新审视的风险和潜在的信息检索的重点，激励目前的努力，对一个开放和独立的欧洲网络搜索基础设施应保持元数据的重复和接近重复的文件在其索引。在开放式网络搜索基础设施中实现的近似重复检测应该提供合适的相似度阈值，这是一个困难的选择，因为相同的页面可能在与搜索者无关的页面部分（模板，广告等）中存在显著差异。我们研究这个问题，通过比较五个（主要）内容提取方法在两项研究中的网页的相似性的Ctraditional Web抓取。我们发现，网页的全部内容服务于精度为导向的近重复检测，而主要内容提取更召回为导向。
2021-11-21 cs.IR
Web pages search engine based on DNS
搜索引擎是获取当今世界上最大的信息源--Internet的主要途径。互联网正在改变我们生活的方方面面。信息检索服务可能是其最重要的服务。但是对于普通用户来说，互联网搜索服务与我们的期望还有很大的差距，存在着大量的无关搜索结果、陈旧的信息等问题。针对这些问题，提出了一种新的系统--基于DNS的搜索引擎。本文介绍了该系统的设计思想、具体内容和实现方法.
2004-03-23 cs.IR cs.NI
Is This a Good Title?
丢失的网页、返回404“Page Not Found”错误或HTTP响应代码200但取消引用意外内容的URI在当今的浏览体验中无处不在。我们使用互联网搜索引擎来重新定位这些丢失的页面，并提供帮助自动化重新发现过程的方法。我们提出了查询网页的标题对搜索引擎。我们研究了标题的检索性能，并将它们与来自页面内容的词汇签名进行了比较。由于标题自然地表示文档的内容，因此它们直观地随时间而变化。我们测量当前标题和从互联网档案馆获得的相同页面的副本标题之间的编辑距离，并显示它们的演变。我们进一步研究了随着时间的推移，网页的标题更改和内容修改之间的相关性。最后，我们提供了一个预测模型的质量，任何给定的网页标题在其发现性能。我们的结果显示，标题返回超过60%的URI排名靠前，并且在前10个结果中返回了进一步的相关内容。我们发现，标题衰减缓慢，但远比页面的内容更稳定。我们进一步提取停止标题比可以帮助识别性能不足的搜索引擎查询。
2010-04-15 cs.IR
Using Web Page Titles to Rediscover Lost Web Pages
标题由网页中的TITLE元素表示。我们在Yahoo搜索引擎上查询了标题，以确定页面的状态（找到，未找到）。我们根据标题的元素进行了几次测试。这些测试用于辨别我们是否可以根据标题预测页面状态。我们的研究结果提高了我们确定坏标题的能力，但没有提高我们确定好标题的能力。
2010-02-11 cs.IR
Treelicious: a System for Semantically Navigating Tagged Web Pages
协同标记已成为一种流行的和有效的方法来组织和描述网页上的Web。我们目前Treelicious，一个系统，允许标记的网页分层导航。我们的系统丰富了标准标记系统的导航功能，这些系统通常只利用流行度和共现数据。我们描述了一个原型，利用维基百科的类别结构，允许用户从美味的社会书签服务语义导航页面。在我们的系统中，用户可以执行一个普通的关键字搜索和浏览相关的网页，但也有能力扩大搜索到更一般的主题和缩小到更具体的主题。我们表明，Treelicious确实提供了一个直观的框架，允许改进和有效的知识发现。
2011-02-05 cs.IR
Intelligent Search Optimization using Artificial Fuzzy Logics
School of Computing, Engineering and Information Sciences（计算、工程与信息科学学院）
网络上的信息是惊人的，搜索相关信息是困难的，使得网络用户依赖于搜索引擎在网络上找到相关信息。搜索引擎使用爬虫根据网页的内容对网页进行索引和分类，并相应地对网页进行排名。对于给定的用户查询，他们检索数以百万计的网页，并显示他们的用户根据网页排名。每个搜索引擎都有自己的算法，根据一定的参数排名网页。搜索引擎优化（SEO）是网站管理员根据搜索引擎排名参数优化网站以提高网站排名的技术。这是本研究的目的，以确定最流行的搜索引擎优化技术所使用的搜索引擎排名网页，并建立其索引和分类的网络数据的重要性。该研究试图建立在排名算法中使用更多的SEO参数有助于检索更好的搜索结果，从而提高用户满意度。在已完成的研究中，提出了一个基于Web的Meta搜索引擎聚合搜索结果从不同的搜索引擎和排名的网页基于新的页面排名算法，将分配启发式页面排名的网页的基础上SEO参数，如标题标签，Meta描述，网站地图等的研究还提供了深入了解技术，网站管理员可以使用更好地排名他们的网站在谷歌和必应。初步结果表明，在目前的排名算法中使用某些SEO参数有助于检索更有用的结果，为用户查询。这些结果产生的Meta搜索引擎优于现有的搜索引擎更好的检索结果和高精度。
2015-10-03 cs.AI cs.IR
A Fast Template-based Approach to Automatically Identify Primary Text Content of a Web Page
搜索引擎已经成为人们在互联网上浏览信息不可或缺的工具。然而，用户经常被来自不相关网页的冗余结果所困扰。原因之一是因为搜索引擎也看在非信息块的网页，如广告，导航链接等，在本文中，我们提出了一种快速的算法，称为FastContentExtractor自动检测主要内容块的网页，通过改进ContentExtractor算法。通过自动识别和存储表示网站中的内容块的结构的模板，可以快速地从网站中提取新网页的内容块。输出块的层次顺序也被保持，这保证了所提取的内容块与原始内容块的顺序相同。
2019-11-26 cs.IR
CPS-MEBR: Click Feedback-Aware Web Page Summarization for Multi-Embedding-Based Retrieval
针对单嵌入难以完整表征复杂网页的问题，提出融合点击反馈的网页摘要框架CPS-MEBR，结合句子级语义交互生成多嵌入，提升检索质量。
2023-05-07 cs.IR
Web Spam Detection Using Multiple Kernels in Twin Support Vector Machine
Yazd University（亚兹德大学）
搜索引擎是网络数据采集的重要工具。网页是由搜索引擎抓取和索引的。用户通常通过查询搜索引擎来定位有用的网页。垃圾页面是搜索引擎管理面临的挑战之一，它浪费了搜索引擎的资源。这些网页通过欺骗搜索引擎的排名算法试图显示在结果的第一页。垃圾网页的检测方法有多种，如HTML代码风格相似度度量、网页语言模式分析和基于网页内容特征的机器学习算法。支持向量机（Support Vector Machine，SVM）分类器是机器学习中最著名的算法之一。最近，支持向量机的基本结构已经改变了新的扩展，以增加鲁棒性和分类精度。本文将两个非线性核函数引入Twin SVM（TSVM），作为SVM的改进扩展，提高了Web垃圾邮件检测的准确率。通过对每类数据使用两个分离的核函数，提高了分类器的数据分离能力。新提出的方法的有效性进行了实验与两个公开使用的垃圾邮件数据集称为英国-2007和英国-2006。实验结果表明，提出的核化版本的TSVM在Web垃圾页面检测的有效性。
2016-05-10 cs.IR cs.LG
Multiple Presents: How Search Engines Re-write the Past
互联网搜索引擎的功能是在不断变化的。搜索引擎定期更新索引，用新的网页替换网页，向索引中添加新的网页，并丢失旧的网页。某些搜索引擎可用于在互联网上搜索特定时间段的信息。然而，这些“日期戳”不是由网页在Web中的第一次出现确定的，而是由网页更新或添加新网页的最后日期确定的，搜索引擎的爬虫会在数据库中更新此更改。这对学术研究中搜索引擎的使用以及时间和时间性概念的理论含义具有重要意义。我们使用AltaVista和Google在不同的时间搜索不同的更新频率之间的相互作用。结果的检索和检索信息的结构都随着时间的推移而受到侵蚀。
2009-11-18 cs.IR physics.soc-ph
An Efficient Framework for Whole-Page Reranking via Single-Modal Supervision
本文提出 SMAR 框架，借助高质量单模态排序器进行模态级相关性对齐，并仅用有限整页标注训练重排序器，在降低 70-90% 标注成本的同时提升离线与在线搜索效果。
2025-10-19 cs.IR
Semantic snippet construction for search engine results based on segment evaluation
来自搜索引擎的结果列表包括来自每个结果项的网页的链接和摘录。结果列表中的片段在帮助用户点击它方面起着至关重要的作用。本文提出了一种新的方法来构造基于页面中的片段的语义评估的片段。通过应用模型来评估页面中存在的分段并选择具有最高分数的分段来识别目标分段。该模型使得用户判断点击结果项更容易，因为片段是在基于多个因素的关键评估后语义构建的。所提出的模型的原型实现证实了经验验证。
2012-02-13 cs.IR
Web Pages Clustering: A New Approach
Web的快速发展带来了海量的信息。快速向用户提供信息至关重要。英语（或任何语言）在词汇的使用上有很多歧义。因此，不能保证基于关键字的搜索引擎将提供所需的结果。本文介绍了使用字典（标准化）来获取使用关键字的上下文，并根据上下文对结果进行聚类。这些想法可以与元搜索引擎合并，以提高搜索效率。
2011-08-26 cs.IR
Similarity based Dynamic Web Data Extraction and Integration System from Search Engine Result Pages for Web Content Mining
有一个爆炸性的增长，在万维网上的信息，从而提出了一个挑战，Web用户从Web上提取的基本知识。搜索引擎以搜索引擎结果页面（SERP）的形式帮助我们缩小搜索范围。Web内容挖掘是帮助用户从这些SERP中提取有用信息的技术之一。在本文中，我们提出了两个相似性为基础的机制; WDES，提取所需的SERP和存储在本地存储离线浏览和WDICS，整合所需的内容，使用户能够执行预期的分析，并提取所需的信息。实验结果表明，WDES和WDICS在查准率和查全率方面优于DEPTA [1]。
2013-03-23 cs.DB cs.IR
Mapping Web Pages by Internet Protocol (IP) addresses: Analyzing Spatial and Temporal Characteristics of Web Search Engine Results
互联网协议（IP）地址经常被几个不同领域的研究人员用作定位Web用户的方法。然而，关于这些位置的准确性有相互竞争的报告，并且在手动比较IP地理定位数据库和网页地理信息方面几乎没有进行过研究。本文将Yahoo搜索引擎中的网页分为十二类，从“博客”、“新闻”到“教育”、“政府”。然后，我们手动将网页内容创建者的邮寄地址或街道地址与给定IP地址的地理定位结果进行比较。我们介绍了一种制图设计方法，通过创建核密度图可视化与特定关键字相关联的网页的信息景观。
2018-10-15 cs.IR cs.NI cs.SI
Web crawler strategies for web pages under robot.txt restriction
Sri Vaishnav Institute of Technology and Science（斯里瓦伊什纳夫技术与科学学院）
本文解释搜索引擎与网络爬虫的基本工作机制，重点说明 robot.txt 及机器人排除协议如何限制和指导网页爬取。
2024-02-28 cs.AI cs.IR
Ranking Heterogeneous Search Result Pages using the Interactive Probability Ranking Principle
本文比较PRP与iPRP在异构搜索结果页面中的排序差异，发现iPRP通过期望感知效用使排序变化高达48%，建议采用iPRP实现以用户为中心的自适应排序。
2024-01-16 cs.IR
Unraveling the Impact of Visual Complexity on Search as Learning
本文通过多类视觉与美学特征分析面向学习的网页搜索，发现网页布局层面的低视觉复杂性与更高学习成功率相关，并公开代码以支持教育型IR系统设计与复现。
2025-01-09 cs.IR
M3DocDep: Multi-modal, Multi-page, Multi-document Dependency Chunking with Large Vision-Language Models
Human-inspired AI Research, Korea University（韩国大学人智AI研究所）；Computer Science and Engineering, Konkuk University（konkuk大学计算机科学与工程系）；Department of Computer Science and Engineering, Korea University（韩国大学计算机科学与工程系）
本文提出M3DocDep，一种基于大视觉-语言模型的多模态、多页、多文档依赖分块方法，通过恢复块级依赖并构建分块，提高了长多页多模态文档的检索和问答质量。
2026-04-17 cs.AI cs.IR
Multi-reference Cosine: A New Approach to Text Similarity Measurement in Large Collections
一个高效、可扩展的文档相似性检测系统的重要性是不可否认的。搜索引擎需要批量文本相似性度量来检测其索引中的重复和接近重复的网页，以防止多次索引网页。此外，在评分阶段，搜索引擎需要相似性度量来检测网页上的重复内容，以提高其结果的质量。结合降维技术和信息增益理论的思想，提出了一种批量文本相似性检测的新方法。新方法的重点是搜索引擎需要检测重复和接近重复的网页。在NEWS20数据集上对新方法进行了测试，结果表明，新方法在速度和性能上都优于余弦文本相似度算法。最重要的是，它比其他竞争对手的方法，Simhash相似度算法更快，更准确.
2018-10-07 cs.IR
Language Models for Page-Level Layout Decisions in E-commerce Search
Walmart Global Tech（沃尔玛全球技术公司）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究针对电商搜索页面级布局决策的离线评估难题，探究语言模型作为可扩展评估器，发现基于表示的方法在预测用户参与度上优于基于提示的方法，为相关评估提供了可靠基础。
2026-10-09 cs.CL cs.IR cs.LG
From Citation Selection to Citation Absorption: A Measurement Framework for Generative Engine Optimization Across AI Search Platforms
Independent Researcher China；Independent Researcher
本文提出两阶段测量框架，分析生成引擎优化中的引用选择与吸收，发现引用广度与深度存在差异，不同平台在引用数量和影响上表现不同。
2026-04-29 cs.IR
An Empirical Investigation On Search Engine Ad Disclosure
这项针对德国搜索引擎用户（N = 1,000）的代表性研究重点关注用户区分Google结果页面上的自然结果和广告的能力。我们将有关Google业务的问题与基于任务的研究相结合，在这些研究中，用户被要求在结果页面的屏幕截图中区分广告和自然结果。我们发现，只有一小部分用户能够可靠地区分广告和自然结果，并且用户对Google商业模式的了解非常有限。我们的结论是，广告的标签不够，许多用户可能会点击广告，假设他们选择有机的结果。
2017-10-23 cs.IR
GovScape: A Public Multimodal Search System for 70 Million Pages of Government PDFs
University of Washington（华盛顿大学）；Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）；University of North Texas（北德克萨斯大学）；American Institute of Physics（美国物理联合会）；Boston University（波士顿大学）
本文提出GovScape，一个支持多模态搜索的公共系统，用于搜索7000万页的政府PDF文件，展示了其在大规模PDF数据处理中的高效性和可扩展性。
2026-05-18 cs.DL cs.IR
A Survey on Web Spam Detection Methods: Taxonomy
Web垃圾是指通过操纵搜索引擎的排名算法来提高网页在搜索引擎结果中的排名的技术。在最好的情况下，垃圾邮件发送者鼓励观众访问他们的网站，并提供不应得的广告收益的网页所有者。在最坏的情况下，他们在页面中使用恶意内容，并试图在受害者的机器上安装恶意软件。垃圾邮件发送者使用三种垃圾邮件技术来获得更高的排名。这些技术是基于链接的技术，隐藏技术和基于内容的技术。现有的垃圾网页会导致对搜索引擎结果的不信任。这不仅浪费了访问者的时间，也浪费了大量的搜索引擎资源。因此，垃圾邮件检测方法已被提出作为一种解决方案，以减少垃圾网页的负面影响。实验结果表明，这些技术中的一些工作良好，可以发现垃圾邮件页面比其他更准确。本文对Web垃圾邮件技术进行了分类，并对相关的检测方法进行了研究。
2012-10-11 cs.CR cs.IR
Bootstrapped Grouping of Results to Ambiguous Person Name Queries
当今搜索引擎的一些主要排名功能反映了结果的受欢迎程度，并基于排名模型，如PageRank，隐式反馈聚合等。虽然这些功能可以为大范围的查询提供令人满意的结果，但它们加剧了搜索模糊实体的问题：只有当我们正在寻找的人由高排名的网页表示并且所有必需的信息都包含在该页面中时，搜索一个人才会产生令人满意的结果。否则，用户必须重新制定/细化查询或手动检查低排名结果以找到有问题的人。解决这个问题的一种可能的方法是对结果进行聚类，使得每个聚类代表答案集中出现的一个人。然而，聚类搜索结果已被证明是一个困难的努力本身，其中集群通常是中等质量。大量关于人的有用信息出现在Web 2.0平台上，如LinkedIn、维基百科、Facebook等。我们发现，当搜索模糊的人名时，可以根据出现在其中的个人对来自这些平台的信息进行引导以分组结果。我们已经评估了我们的方法在一个手工标记的数据集上，这个数据集包含了大约5,000个网页，这些网页是从谷歌查询中检索到的，涉及50个模糊的人名。
2013-12-06 cs.IR
PULSAR: Pooled Unified Late-Interaction Search and Retrieval for Enterprise Visual Document RAG
Microsoft（微软）；Inception42；Mubadala Investment Company（穆巴达拉投资公司）
针对企业视觉文档RAG的检索难题，提出PULSAR系统，采用池化两阶段后期交互索引，在延迟、QPS、成本等指标上显著优于OCR基线，已在生产环境大规模应用。
2026-08-31 cs.IR
Design and Evaluation of Whole-Page Experience Optimization for E-commerce Search
Amazon（亚马逊公司）；Roblox Corporation（Roblox公司）
本文提出了一种全页体验优化框架，通过建模项目相关性、布局和视觉元素之间的相互作用，提升电子商务搜索结果页面的长期用户满意度和品牌相关性。
2026-01-23 cs.IR cs.LG
Web search engine based on DNS
目前没有一个网络搜索引擎能够覆盖互联网上60%以上的网页。大多数页面数据库的更新间隔几乎是一个月。这种情况多年来一直没有改变。收敛性和新近性问题已经成为当前网络搜索引擎的瓶颈问题。为了解决这些问题，本文提出了一种新的系统--基于DNS的搜索引擎。该系统采用了类似DNS的分层分布式体系结构，这与目前任何一个商业搜索引擎都不同。从理论上讲，该系统可以覆盖互联网上的所有网页。它的更新间隔甚至可以是一天。本文介绍了该系统的设计思想、具体内容和实现方法.
2004-05-27 cs.IR cs.NI
Evaluating Methods to Rediscover Missing Web Pages from the Web Infrastructure
丢失的网页（返回404“Page Not Found”错误的网页）是浏览体验的一部分。手动使用搜索引擎重新发现丢失的页面可能会令人沮丧和失败。我们比较了四个自动化的方法重新发现网页。我们提取页面的标题，生成页面的词汇签名（LS），从书签网站delicious.com获得页面的标签，并从页面的链接邻域生成LS。我们使用所有方法的输出查询互联网搜索引擎，并分析其检索性能。我们的研究结果表明，LS和标题都表现得相当好，超过60%的URI从Yahoo！返回顶级排名。然而，方法的组合提高了检索性能。考虑到LS生成的复杂性，首先查询标题，如果结果不足，则其次查询LS是优选的设置。这一组合占排名靠前的URI的75%以上。
2010-04-16 cs.DL cs.IR
EcoGEO: Trajectory-Aware Evidence Ecosystems for Web-Enabled LLM Search Agents
ShanghaiTech University（上海科技大学）
本文提出EcoGEO，一种基于轨迹的证据生态系统，用于研究网络增强的大语言模型搜索代理在多步骤浏览中的证据获取过程，通过协调导航页面与支持页面提升产品推荐性能。
2026-07-02 cs.AI cs.IR
Role of Ranking Algorithms for Information Retrieval
随着网络使用量的日益增加，网络用户很容易迷失在网络丰富的超结构中。网站所有者的主要目的是根据用户的需求提供相关信息。本文首先阐述了Web挖掘是通过分析用户行为、页面内容来对用户和页面进行分类，然后描述了Web结构挖掘。本文介绍了不同的网页排序算法，并比较了这些算法用于信息检索。讨论和比较了基于网页排名的各种算法，如网页排名（PR）、加权网页排名（WPR）、超链接诱导主题选择（HITS）、距离排名和特征谣言算法。针对PageRank算法和加权PageRank算法设计了仿真接口，但PageRank是Google搜索引擎唯一使用的排名算法。
2012-08-09 cs.IR
Bootstrapping Domain-Specific Content Discovery on the Web
从Web上持续发现特定于域的内容的能力对于许多应用程序来说是至关重要的。虽然集中的爬行策略已被证明是有效的发现，配置一个集中的爬虫是困难和耗时的。给定一个感兴趣的域$D$，主题专家（SME）必须搜索相关网站并收集一组代表性的Web页面，以用作用于创建识别$D$中的页面的分类器的训练样本，以及一组用于种子抓取的页面。在本文中，我们提出了DISCO，旨在引导特定领域的搜索方法。给定一小部分网站，DISCO的目标是发现大量相关网站。DISCO使用一个基于排名的框架，模仿用户在Web上搜索信息的方式：它迭代地发现新页面，提取并对它们进行排名。它还应用多种发现策略，包括向搜索引擎发出的基于关键字的和相关的查询、向后和向前爬行。通过系统地结合这些战略，DISCO能够在各种领域实现高收获率和覆盖率。我们在四个社会良好的领域进行了广泛的实验，使用中小企业在各自的领域收集的数据，并表明我们的方法是有效的，优于国家的最先进的方法。
2019-02-25 cs.IR
Intelligent Agent Based Semantic Web in Cloud Computing Environment
考虑到今天的Web场景，有一个有效的和有意义的搜索在Web上，这是由语义Web提供的需求。现有的搜索引擎是基于关键字的。它们在回答来自用户的智能查询时是脆弱的，因为它们的结果依赖于网页中的信息。而语义搜索引擎提供了高效和相关的结果，因为语义网是当前网络的扩展，其中信息被赋予了定义明确的含义。MetaCrawler是一个搜索工具，它使用几个现有的搜索引擎，并通过使用自己的页面排名算法提供组合结果。本文提出了一种名为SemanTeli的元语义搜索引擎，它可以在云中工作。SemanTelli在智能代理的帮助下从不同的语义搜索引擎（如Hakia、DuckDuckGo、SenseBot）获取结果，这些智能代理消除了现有搜索引擎的局限性。
2013-05-04 cs.IR
From Bootstrapping to Sequence Modeling: A Unified Generative Framework for Personalized Landing-Page Modeling
Duke University（杜克大学）；Kuaishou Technology（快手科技）
针对现有强化学习方法在个性化落地页建模中的马尔可夫假设局限和时序差分学习误差累积问题，提出基于决策变换器的统一生成框架GLAN，通过全局-局部视角建模用户跨日消费动态和会话级细粒度信号，在快手平台上线后DAU和用户生命周期分别提升0.158%和0.108%。
2026-06-29 cs.IR
