Driving the Herd: Search Engines as Content Influencers
在竞争激烈的搜索环境中,如Web,许多文档的作者(出版商)选择让他们的文档在某些查询中排名靠前。为此,他们修改文档-特别是它们的内容-以响应诱导的排名。因此,搜索引擎通过其排名决定影响语料库中的内容。我们提出了第一个研究的能力,搜索引擎驱动预定义的,有针对性的,内容的效果,在语料库中使用简单的技术。第一个是基于羊群效应-一个著名的结果,从经济学文献-第二个是基于偏置的相关性排名功能。我们研究的内容影响类型要么是主题的,要么涉及特定的文档属性-长度和查询词的包含。对我们在受激励的出版商之间组织的排名竞争的分析表明,我们所针对的内容效果类型确实可以通过应用我们建议的技术来实现。这些发现对于搜索引擎在语料库形成中的作用具有重要意义。
2021-10-21 cs.IR
Shuffling a Stacked Deck: The Case for Partially Randomized Ranking of Search Engine Results
在现代搜索引擎中,网页流行度、PageRank、访问次数和其他衡量网页流行度的指标显著影响搜索结果的排名。人们的假设是,受欢迎程度与质量密切相关,这是一个难以直接衡量的更难以捉摸的概念。不幸的是,流行度和质量之间的相关性是非常弱的新创建的页面,尚未收到许多访问和/或在链接。更糟糕的是,由于新内容的发现主要是通过查询搜索引擎完成的,而且由于用户通常将注意力集中在前几个结果上,新创建的但高质量的页面实际上被"拒之门外",并且可能需要很长时间才能变得流行。我们提出了一个简单而优雅的解决方案:在搜索结果排名方法中引入可控的随机性。这样做为新页面提供了一个证明其价值的机会,尽管显然使用太多的随机性会降低结果质量并取消所获得的任何好处。因此,在估计新页面质量的探索和利用已知高质量的页面之间存在权衡。我们研究这种权衡分析和通过模拟,在经济目标函数的基础上,随着时间的推移摊销的总结果质量。我们发现,适度的随机性会导致搜索结果的改善。
2005-03-04 cs.IR
Pre-trained Language Model based Ranking in Baidu Search
排名系统作为搜索引擎的核心,在满足用户信息需求方面起着至关重要的作用。最近,从预训练的语言模型(PLM)微调的神经排名器建立了最先进的排名有效性。然而,由于以下挑战性问题,将这些基于PLM的排名器直接应用于大规模Web搜索系统并非易事:(1)大规模神经PLM的极其昂贵的计算,特别是对于Web文档中的长文本,禁止它们部署在要求极低延迟的在线排名系统中;(2)现有的排名不可知的预培训目标和广告之间的差异,需要综合相关性建模的特殊检索场景是改进在线排名系统的另一个主要障碍;(3)真实世界的搜索引擎通常涉及排名组件的委员会,因此单独微调的排名模型的兼容性对于合作排名系统是关键的。在这项工作中,我们贡献了一系列成功应用的技术,在部署最先进的中文预训练语言模型时解决这些暴露的问题,即,ERNIE,在网上搜索引擎系统。我们首先阐明了一种新颖的做法,以成本效益的总结Web文档和上下文所产生的摘要内容与查询使用一个便宜而强大的金字塔ERNIE架构。然后,我们赋予一个创新的范式,精细地利用大规模的噪声和偏见的点击后行为数据的相关导向的预训练。我们还提出了一个人为锚定的微调策略,为在线排名系统量身定制,旨在稳定在各个在线组件的排名信号。大量的离线和在线实验结果表明,所提出的技术显着提高搜索引擎的性能。
2021-06-25 cs.IR
An ontology-based approach for semantics ranking of the web search engines results
这项工作属于信息检索和语义网领域,旨在提高网络搜索工具的评价。事实上,网络上的大量信息以及新的无经验用户的增长为信息检索带来了新的挑战;当然,当前的搜索引擎(如Google、Bing和Yahoo)提供了浏览网络内容的有效方式。然而,这种类型的工具没有考虑到由查询词和文档词驱动的语义。本文提出了一种新的基于语义的方法来评估信息检索系统,其目标是增加搜索工具的选择性,并改善这些工具的评估。对所提出的评价搜索引擎的方法进行了测试,证明了它对实际搜索工具的适用性。结果表明,语义评估是一种很有前途的方法,以提高性能和行为的搜索引擎以及相关的结果,他们返回。
2012-12-11 cs.IR
Enhancing Invenio Digital Library With An External Relevance Ranking Engine
Invenio是一个基于网络的免费数字图书馆软件套件,最初由CERN开发。为了提高Invenio的信息检索和词相似度排序能力,本文的目标是通过将Invenio与现代外部信息检索系统连接起来来增强Invenio。第一部分对Solr和Xapian等各种信息检索系统进行了比较。第二部分设计并实现了一个独立于系统的词相似度排序桥。随后,Solr和Xapian通过适配器集成到Invenio中。第三部分进行了可扩展性测试。最后,对未来的展望进行了简要的讨论。
2012-11-04 cs.DL cs.IR
Intelligent Search Optimization using Artificial Fuzzy Logics
School of Computing, Engineering and Information Sciences(计算、工程与信息科学学院)
网络上的信息是惊人的,搜索相关信息是困难的,使得网络用户依赖于搜索引擎在网络上找到相关信息。搜索引擎使用爬虫根据网页的内容对网页进行索引和分类,并相应地对网页进行排名。对于给定的用户查询,他们检索数以百万计的网页,并显示他们的用户根据网页排名。每个搜索引擎都有自己的算法,根据一定的参数排名网页。搜索引擎优化(SEO)是网站管理员根据搜索引擎排名参数优化网站以提高网站排名的技术。这是本研究的目的,以确定最流行的搜索引擎优化技术所使用的搜索引擎排名网页,并建立其索引和分类的网络数据的重要性。该研究试图建立在排名算法中使用更多的SEO参数有助于检索更好的搜索结果,从而提高用户满意度。在已完成的研究中,提出了一个基于Web的Meta搜索引擎聚合搜索结果从不同的搜索引擎和排名的网页基于新的页面排名算法,将分配启发式页面排名的网页的基础上SEO参数,如标题标签,Meta描述,网站地图等的研究还提供了深入了解技术,网站管理员可以使用更好地排名他们的网站在谷歌和必应。初步结果表明,在目前的排名算法中使用某些SEO参数有助于检索更有用的结果,为用户查询。这些结果产生的Meta搜索引擎优于现有的搜索引擎更好的检索结果和高精度。
2015-10-03 cs.AI cs.IR
Demystifying Core Ranking in Pinterest Image Search
Pinterest图片搜索引擎每天帮助数亿用户发现有趣的内容。这激励我们通过改进排名技术来提高图像搜索质量。在这项工作中,我们分享了我们如何实际设计和部署各种排名管道到Pinterest图像搜索生态系统中。具体而言,我们着重介绍了我们的新的研究和研究三个方面:训练数据,用户/图像特征化和排名模型。广泛的离线和在线研究比较了不同模型的性能,并证明了我们最终推出的排名模型的效率和有效性。
2018-03-26 cs.IR
Globally Optimized Mutual Influence Aware Ranking in E-Commerce Search
在网络搜索中,从搜索结果多样化的角度研究了文档之间的相互影响。但由于网络搜索中的方法存在差异,不能直接应用于电子商业搜索。而对于电子商业搜索中搜索项之间的相互影响的研究却很少。我们提出了一个全局优化框架,相互影响意识的排名在电子商业搜索。我们的框架直接优化总销售量(GMV)排名,并将排名分解为两个任务。第一个任务是相互影响感知的购买概率估计。我们提出了一个全球性的特征扩展方法,将相互影响到一个项目的功能。我们还使用循环神经网络(RNN)来捕获与购买概率估计中的排名订单相关的影响。第二个任务是根据购买概率估计找到最佳排名顺序。我们将第二个任务视为序列生成问题,并使用束搜索算法来解决它。我们在一个大型电子商业搜索引擎上进行了在线A/B测试。结果表明,我们的方法为搜索引擎带来了5%的GMV增长超过一个强大的基线。
2018-05-22 cs.IR
Measurement and applications of position bias in a marketplace search engine
Thumbtack(图钉公司)
搜索引擎通过挑选和排列结果列表来有意地影响用户行为。用户参与最高的结果,因为他们的突出位置,因为他们通常是最相关的文件。搜索引擎排名算法需要在识别相关性的同时,融入搜索引擎自身的影响。本文介绍了我们的努力,在图钉了解排名的影响,包括随机化程序的实证结果。在消费者市场的背景下,我们讨论了模型选择,实验设计,偏差计算和机器学习模型自适应的实际细节。我们包括一个新的讨论如何排名偏见可能不仅影响标签,而且模型功能。随机化程序改进了模型,激发了内部场景分析,并启用了面向用户的场景工具。
2022-07-13 cs.IR cs.LG
Experience of Developing a Meta-Semantic Search Engine
考虑到今天的Web搜索场景主要是基于关键字的,导致需要语义Web提供有效和有意义的搜索。现有的搜索引擎由于依赖于网页中可用的简单数据而容易对用户查询提供相关答案。另一方面,语义搜索引擎提供高效和相关的结果,因为语义网使用本体管理具有明确定义的含义的信息。一个Meta-搜索引擎是一个搜索工具,它将用户的查询转发到几个现有的搜索引擎,并通过使用自己的页面排名算法提供组合的结果。SemanTelli是一个Meta语义搜索引擎,通过智能代理从不同的语义搜索引擎(如Hakia,DuckDuckGo,SenseBot)获取结果。本文提出了增强SemanTelli与改进的片段分析为基础的页面排名算法和支持图像和新闻搜索。
2013-11-25 cs.IR
Towards a Search Engine for Machines: Unified Ranking for Multiple Retrieval-Augmented Large Language Models
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出uRAG框架,通过统一检索引擎服务多个下游RAG系统,并构建含36个RAG系统的大规模实验生态,以研究面向机器的搜索引擎的核心问题。
2024-04-30 cs.CL cs.IR
Mind Your Language: Effects of Spoken Query Formulation on Retrieval Effectiveness
语音搜索正在成为与搜索引擎交互的流行模式。因此,研究已经转向构建更好的语音转录引擎、界面和搜索引擎,以更好地处理查询的固有冗长性。然而,当人们考虑其使用的非母语的英语,另一个方面,变得重要的是制定的查询用户。在本文中,我们提出了一个初步的研究结果,我们进行了与非英语母语的人制定查询给定的检索任务。我们的研究结果表明,目前的搜索引擎是敏感的,在他们的排名查询制定,从而突出了需要开发更强大的排名方法。
2013-12-14 cs.IR
RRADistill: Distilling LLMs' Passage Ranking Ability for Long-Tail Queries Document Re-Ranking on a Search Engine
Emory University(埃默里大学);Naver Corporation(Naver公司)
RRADistill提出高效标签生成流程与新型sLLM训练方法,通过词项控制层和排序层蒸馏LLM排序能力,并在韩语搜索平台A/B测试中验证其提升长尾查询重排序效果。
2024-11-21 cs.AI cs.IR cs.LG
Farewell to Item IDs: Unlocking the Scaling Potential of Large Ranking Models via Semantic Tokens
ByteDance(字节跳动)
TRM通过语义标记替代物品ID,提升排序模型的扩展性与性能,实现存储减少和AUC提升。
2026-01-30 cs.IR
Search Engine Similarity Analysis: A Combined Content and Rankings Approach
Athens University of Economics and Business(雅典经济与商业大学)
搜索引擎有什么不同?搜索引擎大战是网络分析师最喜欢的话题,因为世界上最大的两家公司,谷歌和微软,正在为争夺网络搜索空间的主导地位而战。搜索引擎受欢迎程度的差异可以通过其有效性或其他因素来解释,例如对最受欢迎的第一个引擎的熟悉程度,同行模仿或习惯力量。在这项工作中,我们提出了两个主要的搜索引擎,谷歌和必应,以及DuckDuckGo的亲和力的透彻分析,其中去了很大的篇幅,以强调其隐私友好的凭据。为此,我们使用2016年和2019年两个时间段的300个唯一查询的综合集合收集了搜索结果,并开发了一个新的相似性度量,该度量利用了搜索响应的内容和排名。我们评估了该度量的特征,并将其用于(1)调查搜索引擎结果的相似性,(2)它们的亲和力随时间的演变,(3)结果的哪些方面影响相似性,以及(4)该度量在不同类型的搜索服务中有何不同。我们发现,谷歌是与众不同的,但Bing和DuckDuckGo在很大程度上是无法区分的。
2020-11-06 cs.IR cs.LG
Assessing Viewpoint Diversity in Search Results Using Ranking Fairness Metrics
页面在搜索结果中的排名方式影响着搜索引擎的用户是否会接触到更同质的观点,或者更确切地说是更多样化的观点。然而,这种观点的多样性并不是微不足道的评估。在本文中,我们使用现有的和新的排名公平性指标来评估搜索结果排名的观点多样性。我们进行了一个受控的模拟研究,显示如何排名公平性指标可以用于观点多样性,他们的结果应该如何解释,以及哪个指标是最合适的情况。本文为未来研究衡量和评估真实搜索结果排名中的观点多样性奠定了重要的基础工作。
2021-07-05 cs.IR
BLOGRANK: Ranking Weblogs Based On Connectivity And Similarity Features
大部分隐藏的网络都驻留在博客服务器中。新的内容是在每天的基础上产生和传统的搜索引擎的工作变成是不够的,由于性质的博客。本文总结了博客世界的结构,并突出了weblog的特殊性。在本文中,我们提出了一种方法来排名的基础上的链接图和几个相似性特征的博客。首先,我们创建一个增强的连接博客图,并添加新类型的边缘和权重,利用许多博客功能。然后,我们使用我们的算法,BlogRank,这是PageRank的修改版本,为每个博客分配一个排名。为了验证我们的方法,我们运行实验的网络日志数据集,我们处理和适应我们的搜索引擎。(http://spiderwave.aueb.gr/Blogwave)。结果表明,使用增强图和BlogRank算法是用户的首选。
2009-03-24 cs.IR
On the Weakenesses of Correlation Measures used for Search Engines' Results (Unsupervised Comparison of Search Engine Rankings)
搜索引擎提供的结果列表的相关性是基本的,它具有深刻的多学科分支。在这里,我们提出了自动和无监督的方法来评估搜索引擎是否提供了可比或相关的结果。我们有两个主要贡献:首先,我们提供的证据表明,超过80%的输入查询-独立于他们的频率-两个主要的搜索引擎共享只有三个或更少的URL在他们的搜索结果,导致越来越多的分歧。在这种情况下(分歧),我们表明,即使是最强大的措施的基础上比较列表是无用的应用,也就是说,小的贡献太少的共同项目将推断没有信心。其次,为了克服这个问题,我们提出了第一个基于内容的措施-即,直接比较搜索结果的内容;这些措施是基于Jaccard比率和分布相似性措施(CDF措施)。我们证明它们是相互正交的(即,Jaccard和分布),并扩大了鉴别能力w.r.t.基于清单的措施我们的方法源于比较搜索引擎结果的实际需要,它是自动从查询选择到最终评估,它适用于任何地理市场,因此设计的规模和使用作为第一个过滤的查询选择(必要的)监督方法。
2011-07-13 cs.IR stat.CO
Exploring Query Understanding for Amazon Product Search
本文基于 Amazon Search 真实系统开展为期一年的研究,分析查询理解对商品排序特征、模型评估的影响,并提出基于查询理解的多任务排序框架。
2024-08-05 cs.IR
A Synonym Based Approach of Data Mining in Search Engine Optimization
在当今互联网信息高速增长的时代,使得用户转向搜索引擎作为传统媒体的替代品。这使得通过数十亿个网页对特定信息进行排序并显示相关数据使得搜索引擎的任务变得困难。对此的补救措施是SEO,即以这种方式优化网站,它将根据排名显示相关网页。这是使搜索引擎优化在网络世界中占据突出地位的主要原因。本文提出了一种基于同义词的数据采掘方法,使提高网站排名的任务更加容易的方式和用户将得到他们的查询答案很容易通过任何搜索引擎在市场上。
2014-07-04 cs.IR
Pretrained Language Model based Web Search Ranking: From Relevance to Satisfaction
本文提出基于PLM的SAT-Ranker框架,通过多字段输入统一建模文档质量、时效性和权威性等满意度维度,离线与在线实验均显示显著收益并已全量部署。
2023-06-02 cs.IR
Link Spam Detection based on DBSpamClust with Fuzzy C-means Clustering
搜索引擎成了无所不在的上网手段。垃圾搜索引擎是一种欺骗搜索引擎排名的技术,它夸大了排名。Web垃圾邮件制造者利用了基于链接的排名算法的脆弱性,通过创建许多人工引用或链接来获得比搜索引擎的结果更高的排名。基于链接的算法,如PageRank,HITS利用超链接的结构细节来对网络中的内容进行排名。本文提出了一种垃圾链接检测算法DBSpamClust。实验表明,该方法可以有效地过滤出垃圾网页
2010-12-31 cs.IR cs.IT cs.SI
Using Exclusive Web Crawlers to Store Better Results in Search Engines' Database
基于爬虫的搜索引擎是Web和Internet用户最常用的搜索引擎,它涉及到Web爬虫、数据库存储、排序、索引和向用户显示。但值得注意的是,由于网站的变化越来越大,搜索引擎遭受了很高的时间和传输成本,这些成本消耗在搜索时调查数据库中每个页面的存在,更新数据库,甚至在任何搜索操作中调查其存在。“Exclusive Web Crawler”提出了抓取特征、链接、媒体和其他元素的指导方针,并将抓取结果存储在其网络数据库中的某个表中。通过这样做,搜索引擎将每个站点的表存储在其数据库中,并在其上实现其排名结果。因此,确保了每个表中数据的准确性(以及它的最新性),并且在搜索结果中不显示404结果,因为事实上,该数据爬虫程序抓取网站管理员输入的数据,并且数据库存储他想要显示的任何内容。
2013-05-13 cs.IR
Ranking library materials
目的:本文讨论了适合图书馆资料的排序因素,并表明,一般的排序是一个复杂的过程,图书馆资料的排序需要多种技术。设计/方法/方式:相关文献进行了审查,以提供一个系统的概述合适的排名因素。讨论是基于Web搜索引擎中使用的排名因素的概述。结果:虽然有各种各样的排名因素适用于图书馆资料,今天的图书馆系统只使用其中的一些。在为图书馆目录设计排名部分时,需要对适用因素进行个别加权。研究限制/应用:虽然本文讨论了不同的因素,但没有给出特定的排名公式。然而,本文提出的论点是,这样的公式必须始终是针对特定用例的。实际影响:在为图书馆的搜索系统设计排名组件或与ILS供应商讨论此类项目时,可以考虑所提出的因素。创意/价值:本文的创新之处在于首次系统地探讨了基于Web搜索引擎使用的主要因素对图书馆文献的排序。
2015-11-18 cs.DL cs.IR
Rankitect: Ranking Architecture Search Battling World-class Engineers at Meta Scale
Meta Platforms, Inc., USA(Meta平台公司)
Rankitect是Meta提出的排序系统神经架构搜索框架,从头组合构建块,在同等搜索空间下比较多种NAS方法,能发现优于工程师设计的新模型,并在离线评估和在线A/B测试中表现积极。
2023-11-14 cs.AI cs.IR cs.LG
Control Search Rankings, Control the World: What is a Good Search Engine?
本文针对“什么是好的搜索引擎”的伦理问题,提出含四种行为模式的基于角色的新方法,结合信息检索领域、新冠案例与搜索引擎发展史展开分析,并给出未来监管参考方向。
2025-02-05 cs.CY cs.IR
Query Chains: Learning to Rank from Implicit Feedback
本文提出了一种使用点进数据来学习网络搜索结果的排名检索函数的新方法。我们观察到,用户搜索网络经常执行一个序列,或链,查询具有类似的信息需求。使用查询链,我们从搜索引擎日志中生成新类型的偏好判断,从而利用用户智能重新制定查询。为了验证我们的方法,我们进行了一个受控的用户研究比较生成的偏好判断明确的相关性判断。我们还实现了一个真实世界的搜索引擎来测试我们的方法,使用修改后的排名SVM从偏好数据中学习改进的排名函数。我们的研究结果表明,显着改善排名的搜索引擎。学习的排名优于静态排名函数,以及在不考虑查询链的情况下训练的排名。
2006-05-08 cs.IR cs.LG
A semantic association page rank algorithm for web search engines
大多数语义Web搜索引擎通过集中使用限于用户提供的查询的概念和关系来检索信息。通过尝试猜测这些概念和关系之间的隐含意义,计算概率,为页面排名打分。在这项研究中,我提出了一个基于关系的网页排名算法被用作语义网搜索引擎。相关性的测量,发现由用户在查询时,以及包含在语义Web环境的基础知识的信息的连接的概率。通过使用从知识库获得的页面中概念之间的“虚拟链接”,我们可以连接页面的概念和组件,并增加概率得分以获得更好的排名。通过创建这些连接,本研究还希望消除结果等于零的可能性,并在两个或更多页面获得相同分数时提供平局决胜解决方案。
2012-11-26 cs.IR
Ranking Entity Based on Both of Word Frequency and Word Sematic Features
实体搜索是满足搜索引擎用户精确或模糊需求的新应用。百度杯2016挑战赛正好提供了这样一个解决实体搜索问题的机会。我们在电影、电视节目、名人和餐馆等4项任务上的平均MAP得分均名列第一。在本文中,我们提出了一系列的相似性特征的基础上的词频特征和词的语义特征,描述了我们的排名架构和实验细节。
2016-08-03 cs.IR
Recency Ranking by Diversification of Result Set
本文提出一种通过结果集多样化自动检测时效性敏感查询并提升文档新鲜度的检索方法,实验证明能显著提高用户满意度。
2024-02-07 cs.IR
Controlling Output Rankings in LLM-Based Search via Generative Engine Optimization
School of Information Sciences, University of Illinois at Urbana-Champaign, IL, USA(伊利诺伊大学厄巴纳-香槟分校信息科学学院);Independent Researcher, Starc Institute(Starc研究所独立研究者);Research Scientist, Intel Labs, Santa Clara, CA, USA(英特尔实验室研究科学家)
CORE通过优化内容生成,提升基于LLM的搜索中小企业产品的可见性,实现高推广成功率。
2026-10-22 cs.AI cs.CL cs.IR
Learning Optimal Card Ranking from Query Reformulation
移动搜索最近被证明是搜索市场增长的主要贡献者。移动搜索和桌面搜索的关键区别在于,信息呈现仅限于移动终端的屏幕空间。因此,主要的搜索引擎已经采用了一种新类型的搜索结果呈现,称为\textit{information cards},其中每个卡片呈现针对给定查询的来自一个域/垂直的汇总结果,以扩充标准的蓝色链接搜索结果。虽然人们普遍认为信息卡特别适合移动用户体验,但优化此类结果集也具有挑战性。通常,像查询重构这样的用户参与度度量是基于每个查询的卡片的整个排名列表的,并且大多数传统的学习排序算法需要每个项目的相关性标签。在本文中,我们调查的可能性解释查询重组成有效的相关标签的查询卡对。我们继承了传统的学习排名的概念,并提出逐点,成对和列表的查询重构的解释。此外,我们提出了一个学习标签策略,学习每张卡的贡献,相对于查询,这些贡献可以用作标签的训练卡排名模型。我们利用一个国家的最先进的排名模型,并证明了所提出的机制的有效性,从一个主要的搜索引擎的大规模移动数据,显示来自用户参与的标签训练的模型可以显着优于从人类判断标签训练。
2016-06-22 cs.IR
AWS CORD-19 Search: A Neural Search Engine for COVID-19 Literature
冠状病毒病(COVID-19)已被世卫组织宣布为大流行病,每天报告数千例病例。许多关于这种疾病的科学文章正在发表,这就需要一种能够以可靠的方式组织和查询它们的服务。为了支持这一目标,我们推出了AWS CORD-19 Search(ACS),这是一个公共的、针对COVID-19的神经搜索引擎,由多个机器学习系统提供支持,以支持基于自然语言的搜索。ACS具有文档排序、段落排名、问答和主题分类等功能,为COVID-19研究人员和政策制定者搜索和发现高优先级科学问题的答案提供了可扩展的解决方案。我们对该系统与其他领先的COVID-19搜索平台进行了定量评估和定性分析。ACS在这些系统中表现最好,产生了高质量的结果,我们在这项工作中详细介绍了相关的例子。
2020-10-07 cs.IR
An Innovative Approach for online Meta Search Engine Optimization
Northumbria University(诺森比亚大学)
本文提出了一种方法,以确定有效的技术用于Web搜索引擎优化(SEO)。了解SEO因素,可以影响页面排名在搜索引擎是有意义的网站管理员谁希望吸引大量的用户到他们的网站。不同于以往的相关研究,在这项研究中,我们开发了一个智能的Meta搜索引擎,聚合的结果,从各种搜索引擎和排名的基础上,几个重要的SEO参数。该研究试图建立在排名算法中使用更多的SEO参数有助于检索更好的搜索结果,从而提高用户满意度。从Meta搜索引擎生成的初始结果在更好地检索到高精度的搜索结果方面优于现有的搜索引擎。
2015-09-28 cs.AI cs.IR
Interpretable & Time-Budget-Constrained Contextualization for Re-Ranking
搜索引擎在严格的时间限制下运行,因为快速响应对用户满意度至关重要。因此,神经重新排序模型具有有限的时间预算来重新排序文档。在相同的时间内,更快的重新排序模型可以比效率较低的模型包含更多的文档,从而提高效率。为了利用这一属性,我们提出了TK(Transformer-Kernel):一个神经网络重新排名模型的ad-hoc搜索使用一个有效的上下文化机制。TK使用非常少的Transformer层(最多三个)来将查询和文档词嵌入置于上下文中。为了对单个术语的交互进行评分,我们使用了文档长度增强的内核池,这使用户能够深入了解模型。传统知识提供了有效性和效率之间的最佳比例:在现实的时间限制(最大。每个查询200 ms)TK与BERT和其他重排序模型相比达到了最高的效率。我们在三个大规模的排名集合上证明了这一点:MSMARCO-Passage,MSMARCO-Document和TREC CAR。此外,为了深入了解TK,我们进行了聚类查询分析TK的结果,突出其优势和劣势的查询与不同类型的信息需要,我们展示了如何解释的原因,排名差异的两个文件,通过比较其内部分数。
2020-02-04 cs.IR
UPV at TREC Health Misinformation Track 2021 Ranking with SBERT and Quality Estimators
Universitat Politècnica de València(瓦伦西亚理工大学)
搜索引擎上的健康错误信息是一个严重的问题,可能会对个人或公共健康产生负面影响。为了缓解这个问题,TREC组织了一个健康错误信息跟踪。本文介绍了我们对这一轨道的意见。我们使用BM 25和特定领域的语义搜索引擎检索初始文档。后来,我们研究了健康新闻的质量评估模式,并将其应用于重新排名的文件。我们合并的分数从不同的组成部分,通过使用倒数等级融合。最后,我们讨论了结果并总结了未来的工作。
2021-12-11 cs.AI cs.IR
SERank: Optimize Sequencewise Learning to Rank Using Squeeze-and-Excitation Network
学习排序(LTR)是一组有监督的机器学习算法,旨在生成一系列项目的最佳排序顺序。在过去的几十年里,人们对许多排序模型进行了研究。大多数算法在训练和推理过程中对每个查询文档对进行独立处理。近年来,人们提出了一些基于多变量评分函数或上下文嵌入的方法,这些方法主要是通过挖掘候选列表中的信息来进行改进。然而,这些方法通常会大大增加在线推理过程中的计算成本,特别是当在现实世界的Web搜索系统中的大规模的候选人。更重要的是,很少有研究关注模型结构的新颖设计,以利用信息对候选人进行排名。在这项工作中,我们提出了一个有效的和高效的方法命名为SERank,这是一个顺序排序模型,利用挤压和激励网络,以利用跨文档的信息。此外,我们研究我们提出的方法在几个公共基准数据集,以及从商业问答搜索引擎,知乎收集的点击日志。此外,我们还在知乎搜索引擎上进行了在线A/B测试,以进一步验证所提出的方法。离线数据集和在线A/B测试的结果表明,我们的方法有助于显着改善。
2020-06-07 cs.IR
Preliminary Bias Results in Search Engines
这份报告旨在报告我的论文进展到目前为止。我的工作试图显示两个搜索引擎,必应和谷歌在几个选定的有争议的话题的角度的差异。在这项工作中,我们试图区分的观点,Bing \和谷歌使用情绪以及排名的文件返回从这两个搜索引擎上相同的查询,这些查询主要涉及有争议的话题。你可以在下面找到我们使用的方法和实验结果。
2022-11-07 cs.IR
Does Reasoning Make Search More Fair? Comparing Fairness in Reasoning and Non-Reasoning Rerankers
Johns Hopkins University(约翰霍普金斯大学);Human Language Technology Center of Excellence(语言技术卓越中心)
研究比较了推理与非推理重排序器的公平性,发现推理模型对公平性无显著影响,需进一步优化以提升公平性。
2026-03-11 cs.AI cs.IR
A Syntactic Classification based Web Page Ranking Algorithm
现有的搜索引擎由于缺乏对搜索结果的分类,有时会给出令人不满意的搜索结果。如果有某种方法可以了解用户对搜索结果的偏好,并根据偏好对页面进行排名,那么搜索结果对用户来说将更加有用和准确。本文提出了一种基于网页句法分类的网页排序算法。语法分类并不关心网页内容的含义。该方法主要包括三个步骤:根据用户的需求选择网页的一些属性,测量它们,并在不同类型的网页排序时给予不同的权重。通过对一组网页运行模糊c-均值算法和神经网络分类来支持句法分类的存在。对于相同查询字符串的不同页面类型的排名变化也被证明。
2011-02-03 cs.IR
piRank: A Probabilistic Intent Based Ranking Framework for Facebook Search
Meta Inc.(Meta公司)
虽然在文献中已经进行了大量的研究,探索不同类型的机器学习方法的搜索排名,他们中的大多数都集中在特定的预定义的问题,但只有少数人研究了排名框架,可以应用在商业搜索引擎中的可扩展的方式。与此同时,现有的排名模型通常针对归一化折扣累积收益(NDCG)或在线点击率(CTR)进行优化,并且这两种类型的机器学习模型都是基于这样的假设构建的:高质量的训练数据可以很容易地获得并很好地应用于未知案例。在Facebook搜索的实践中,我们观察到我们的ML模型的训练数据存在某些问题。首先,尾部查询意图在我们的人类评级数据集中几乎没有覆盖。其次,搜索点击日志往往是嘈杂的,很难清理,由于各种原因。为了解决上述问题,在本文中,我们提出了一个基于概率意图的排名框架(简称piRank),它可以:1)提供可扩展的框架,以分而治之的方式解决针对不同查询意图的各种排名问题; 2)提高系统开发敏捷性,包括迭代速度和系统可调试性; 3)以系统的方式结合机器学习和基于数学的算法方法。我们在Facebook搜索引擎系统上进行了大量的实验和研究,并验证了这种新的排名架构的有效性。
2022-03-27 cs.IR cs.LG
Intertemporal Connections Between Query Suggestions and Search Engine Results for Politics Related Queries
这篇简短的论文涉及两个数据源的组合和比较:搜索引擎结果和查询建议的16个术语有关的政治候选人和政党。这些数据是在2017年9月德国联邦大选前收集的,为期两个月。排名偏置重叠(RBO)统计用于衡量最高权重排名的相似性。对于每个搜索词以及搜索结果和查询自动完成,我们研究了随着时间的推移排名的稳定性。
2019-02-13 cs.CY cs.IR
Driving Engagement in Daily Fantasy Sports with a Scalable and Urgency-Aware Ranking Engine
Unmesh Padalkar
本文提出一种可扩展的排名引擎,通过实时紧迫性特征和时间间隔编码提升每日幻想体育的推荐效果,实现9%的nDCG@1提升。
2026-04-15 cs.IR cs.LG
Siamese BERT-based Model for Web Search Relevance Ranking Evaluated on a New Czech Dataset
Web搜索引擎专注于在数百毫秒内提供高度相关的结果。因此,预先训练的语言Transformer模型(如BERT)由于其高计算需求而难以在这种情况下使用。我们提出了我们的实时方法,利用基于BERT的连体架构的文档排序问题。该模型已经部署在一个商业搜索引擎中,并将生产性能提高了3%以上。为了进一步的研究和评估,我们发布了DaReCzech,这是一个独特的数据集,包含160万个捷克用户查询-文档对,具有手动分配的相关性级别。我们还发布了Small-E-Czech,这是一个在大型捷克语语料库上预训练的Electra小型语言模型。我们相信这些数据将支持搜索相关性和以多语言为重点的研究社区的努力。
2021-12-03 cs.CL cs.IR
Towards two-dimensional search engines
我们研究了各种有向网络的统计特性,使用基于Google矩阵的主导向量(称为PageRank和CheiRank)的节点排名。平均而言,PageRank根据传入链接的数量对节点进行排序,而CheiRank则根据传出链接的数量对节点进行排序。这样,节点的排名就变成二维的【形】,为新型二维的【形】搜索引擎的发展铺平了道路。分析了英国、法国和意大利大学网络、维基百科、Linux内核、基因调控等网络在PageRank-CheiRank平面上信息流的统计特性。一个特别强调的是英国大学网络使用大型数据库公开在英国。还分析了垃圾链接控制的方法。
2012-03-02 cond-mat.stat-mech cs.IR
Evaluating search engines and defining a consensus implementation
不同的搜索引擎对同一个关键字提供不同的输出。这可能是由于相关性的不同定义和/或用户偏好的不同知识/预期,但排名也被怀疑偏向自己的内容,这可能会损害其他内容提供方。在本文中,我们提出了一些初步的步骤,严格的比较和分析的搜索引擎,提出了一个共识的相关性的一个页面的定义,相对于一个关键字,从一组搜索引擎。更具体地说,我们查看几个搜索引擎的结果,以获得关键字样本,并根据页面在所有搜索引擎中的排名,为每个关键字定义页面的可见性。这允许为关键字定义搜索引擎的分数,然后定义所有关键字的平均分数。基于页面的可见性,我们还可以将共识搜索引擎定义为每个关键字显示最可见结果的引擎。我们已经实现了这个模型,并提出了一个分析的结果。
2018-08-02 cs.IR cs.SI stat.AP
Towards a Better Tradeoff between Effectiveness and Efficiency in Pre-Ranking: A Learnable Feature Selection based Approach
Alibaba Group(阿里巴巴集团)
在现实世界的搜索、推荐和广告系统中,通常采用多级排名架构。这种架构通常包括匹配、预排名、排名和重新排名阶段。在预排序阶段,通常采用基于向量积的模型和以表示为中心的架构来考虑系统效率。然而,这给系统的有效性带来了重大损失。本文提出了一种新的预排序方法,支持复杂的模型与交互为中心的架构。该方法利用基于特征复杂度和变分丢弃的可学习特征选择方法,在有效性和效率之间取得了较好的折衷。在一个真实世界的电子商务赞助的搜索系统的搜索引擎的评价表明,利用所提出的预排名,系统的有效性显着提高。此外,与具有常规预排序模型的系统相比,消耗相同量的计算资源。
2021-05-17 cs.AI cs.IR
Generative Pre-trained Ranking Model with Over-parameterization at Web-Scale (Extended Abstract)
Shanghai Jiao Tong University(上海交通大学);Baidu Inc.(百度公司)
针对传统排序学习模型因标注数据不足和过拟合导致性能不佳的问题,提出一种生成式半监督预训练排序模型GS2P,通过离线实验和真实搜索引擎部署验证了其有效性。
2024-09-25 cs.IR cs.LG
Personalized Web Search
Language Technologies Institute(语言技术研究所)
个性化是搜索引擎提高用户体验的重要手段。现有的工作大多做纯特征工程,提取大量的会话风格的特征,然后训练一个排序模型。在这里,我们提出了一种新的方法来建模的长期和短期的用户行为使用多臂强盗算法。该算法可以很好地泛化用户间的会话信息,并且作为一种Explore-Exploit风格的算法,它可以很好地泛化到新的URL和新的用户。实验结果表明,该算法的性能优于默认排序,优于几种流行的多臂强盗算法。
2015-02-03 cs.IR cs.LG
Can Argus Judge Them All? Comparing VLMs Across Domains
Bharati Vidyapeeth(巴哈提大学);Macquarie University(麦考瑞大学);DSEU-Okhla;Vivekananda Institute of Professional Studies(维维kananda专业研究学院);IIIT-Delhi(德里印度理工学院);Center for SDGC(SDGC中心);Stanford University(斯坦福大学)
研究跨领域视觉语言模型,提出ARGUS-EVAL评估框架,通过多种指标刻画模型行为,评估多个模型在下游任务表现,发现能力与可靠性导向排名有显著差异,如Qwen-2.5VL-3B-Instruct能力强,CLIP延迟和内存占用低。
2026-07-14 cs.AI cs.CL cs.IR
Public awareness and attitudes towards search engine optimization
这项研究的重点是什么用户知道搜索引擎优化(SEO),以及他们如何能够识别结果,有可能受到SEO的影响。我们对德国在线人群(N = 2,012)进行了一项在线调查。我们发现,43%的用户认为不向Google付费就可以获得更好的排名。这与通过付费广告产生影响的可能性形成鲜明对比,79%的互联网用户都知道这一点。然而,只有29.2%的人知道广告与有机结果的区别。8.9%的用户知道“搜索引擎优化”一词,但14.5%的用户能正确说出至少一种SEO策略。标记可通过SEO影响的结果的成功率因搜索引擎结果页面(SERP)复杂性和设备而异:参与者在具有简单结构的SERP上取得的成功率高于在更复杂的SERP上取得的成功率。SEO结果在小屏幕上比在大屏幕上更好地识别。59.2%的人认为SEO对排名有(非常)强烈的影响。SEO通常被认为是积极的(75.2%)而不是消极的(68.4%)。这项研究的见解对搜索引擎提供商、监管机构和信息素养都有影响。
2022-04-21 cs.CY cs.IR
A Survey on Web Spam Detection Methods: Taxonomy
Web垃圾是指通过操纵搜索引擎的排名算法来提高网页在搜索引擎结果中的排名的技术。在最好的情况下,垃圾邮件发送者鼓励观众访问他们的网站,并提供不应得的广告收益的网页所有者。在最坏的情况下,他们在页面中使用恶意内容,并试图在受害者的机器上安装恶意软件。垃圾邮件发送者使用三种垃圾邮件技术来获得更高的排名。这些技术是基于链接的技术,隐藏技术和基于内容的技术。现有的垃圾网页会导致对搜索引擎结果的不信任。这不仅浪费了访问者的时间,也浪费了大量的搜索引擎资源。因此,垃圾邮件检测方法已被提出作为一种解决方案,以减少垃圾网页的负面影响。实验结果表明,这些技术中的一些工作良好,可以发现垃圾邮件页面比其他更准确。本文对Web垃圾邮件技术进行了分类,并对相关的检测方法进行了研究。
2012-10-11 cs.CR cs.IR
Click Efficiency: A Unified Optimal Ranking for Online Ads and Documents
传统的概率排序原则被用于对搜索结果进行排序,而基于期望利润的排序被用于付费广告的放置。这些排名试图最大限度地提高基于用户点击模型的预期效用。最近对搜索引擎日志的实证分析表明,排名广告和搜索结果都有一个统一的点击模型。文档和广告排名的分离视图没有考虑这种共性。此外,所使用的模型考虑以下参数:(i)用户放弃浏览结果的概率(ii)结果片段的感知相关性。但如何考虑他们改善排名目前是未知的。在本文中,我们提出了一个广义的排名功能-即“点击效率(CE)”-文件和广告的经验证明用户点击模型的基础上。排序考虑上述参数(i)和(ii),最优的并且具有与排序相同的时间复杂度。为了利用它的一般性,我们研究了减少形式的CE排名在不同的假设枚举的层次结构的排名功能。层次结构中的一些排名是当前使用的广告和文档排名功能;而其他排名则建议新的排名。虽然最优的排名是足够的文件排名,应用CE排名广告拍卖需要一个适当的定价机制。我们将第二个基于价格的定价机制与建议的排名。我们的分析证明了几个理想的属性,包括收入优势VCG相同的出价向量和存在的纳什均衡纯策略。这个均衡是社会最优的,收入等于真实的VCG均衡。此外,我们放松了CE排名的独立性假设,并分析了多样性排名问题。我们表明,最佳多样性排名是NP-困难的一般情况下,一个恒定的时间近似是不可能的。
2011-07-08 cs.GT cs.IR
Ranking in Genealogy: Search Results Fusion at Ancestry
Ancestry(Ancestry(Ancestry公司))
家谱研究是利用历史记录等可用资源研究家族史。Freestry为其客户提供世界上最大的在线家谱索引之一,拥有来自广泛来源的数十亿条记录,包括出生和死亡证明、人口普查记录、法庭和遗嘱认证记录等重要记录。Ancestry搜索旨在返回各种记录类型的相关记录,使我们的订阅者能够构建家谱,研究他们的家族史,并从不同的角度对他们的祖先做出有意义的发现。在为系谱学研究设计的现代搜索引擎中,对搜索结果进行适当的排序以提供高度相关的信息是一个令人生畏的挑战。特别是,历史记录的差异使得以公平的方式对记录进行评分具有内在的困难。在这里,我们提供了一个概述,我们的解决方案,以克服这种记录不一致的问题,在商业搜索引擎。具体来说,我们引入了定制的坐标上升(定制CA)来加速特定记录类型内的排名。然后,我们提出了随机搜索(SS),线性结合排名的结果,从各种记录类型的内容联合。此外,我们提出了一种新的信息检索度量,归一化累积熵(NCE),以衡量结果的多样性。我们证明了这两种算法的有效性的相关性(NDCG)和多样性(NCE),如果适用于在离线实验中使用真实的客户数据在campestry。
2019-02-27 cs.IR cs.LG stat.ML