Ranking Triples using Entity Links in a Large Web Crawl - The Chicory Triple Scorer at WSDM Cup 2017
本文介绍了奇科利队参加2017年WSDM杯三重排名挑战赛的情况。我们的方法部署了大量的实体标记的Web数据来估计三元组表示的相关关系的正确性，结合使用维基百科摘要的基线方法[1]。相关性估计来自于由Google的实体链接器注释的CCNWeb 12，作为FACC 1数据集公开提供。我们的实现是从一个所谓的“搜索策略”自动生成的，该策略声明性地指定如何将输入数据组合成三元组的最终排名。
2017-12-22 cs.IR
Role of Ranking Algorithms for Information Retrieval
随着网络使用量的日益增加，网络用户很容易迷失在网络丰富的超结构中。网站所有者的主要目的是根据用户的需求提供相关信息。本文首先阐述了Web挖掘是通过分析用户行为、页面内容来对用户和页面进行分类，然后描述了Web结构挖掘。本文介绍了不同的网页排序算法，并比较了这些算法用于信息检索。讨论和比较了基于网页排名的各种算法，如网页排名（PR）、加权网页排名（WPR）、超链接诱导主题选择（HITS）、距离排名和特征谣言算法。针对PageRank算法和加权PageRank算法设计了仿真接口，但PageRank是Google搜索引擎唯一使用的排名算法。
2012-08-09 cs.IR
Query Segmentation for Relevance Ranking in Web Search
在本文中，我们试图回答的问题，如何提高国家的最先进的方法在Web搜索的相关性排序的查询分割。这里，通过查询分割，其意味着将输入查询分割成段，通常是自然语言短语，使得搜索中的相关性排名的性能增加。我们建议采用重新排序的方法在查询分割，首先采用一个生成模型来创建前$k$候选人，然后采用一个判别模型来重新排序的候选人，以获得最终的分割结果。该方法已被广泛用于自然语言处理中的结构预测，但据我们所知，尚未应用于查询分割。此外，我们提出了一种新的方法，使用的查询分割的结果在相关性排名，它把原始查询词和分割的查询短语作为查询表示的单位。我们调查我们的方法是否可以改善三个相关性模型，即BM 25，关键n-gram模型，和依赖模型。我们在三个大规模网络搜索数据集上的实验结果表明，我们的方法确实可以显着提高相关性排名在所有三种情况下。
2013-12-01 cs.IR
Credibility in Web Search Engines
网络搜索引擎应用各种排名信号来实现用户满意度，即，为用户提供最佳结果的结果页面。虽然这些排名信号隐含地考虑了可信度（例如，通过衡量受欢迎程度），没有采用明确的可信度衡量标准。在这一章中，在Web搜索引擎的可信度进行了讨论，在一个广泛的背景下：可信度作为一个措施，包括在搜索引擎的索引文件，作为一个排名信号的可信度，在通用搜索结果的上下文中的可信度，以及使用可信度作为一个明确的衡量排名的目的的可能性。据发现，虽然搜索引擎-至少在一定程度上-显示可信的结果，他们的用户，有没有完全集成的可信度框架的Web搜索引擎。
2012-08-05 cs.IR
Web Document Clustering and Ranking using Tf-Idf based Apriori Approach
在过去的几年里，动态Web呈指数级增长，现在用户可以获得与主题相关的数千个文档。大多数Web文档都是非结构化的，没有组织的方式，因此用户更难找到相关文档。一种更有用和有效的机制是将聚类与排名相结合，其中聚类可以将相似的文档分组在一个地方，并且可以将排名应用于每个聚类，以便在开始时查看顶部文档。除了特定的聚类算法，不同的术语加权函数应用于所选择的特征来表示Web文档是聚类任务的一个主要方面。考虑到这种方法，在这里，我们提出了一种新的机制，称为Tf-Idf基于Apriori聚类的Web文档。然后，我们排名的文件在每个集群中使用Tf Idf和相似性因子的文件的用户查询的基础上。这种方法将帮助用户在一个地方获得所有相关文档，并可以将搜索限制在他选择的一些顶级文档上。为了实验的目的，我们采用了康奈尔大学的Classic 3和Classic 4数据集，有超过10，000个文档，并使用gensim工具包来进行我们的工作。我们比较了我们的方法与传统的apriori算法，发现我们的方法是更高的最小支持度提供更好的结果。我们的排名机制也给出了78%的良好F-措施。
2014-06-21 cs.IR
Pretrained Language Model based Web Search Ranking: From Relevance to Satisfaction
本文提出基于PLM的SAT-Ranker框架，通过多字段输入统一建模文档质量、时效性和权威性等满意度维度，离线与在线实验均显示显著收益并已全量部署。
2023-06-02 cs.IR
WebRED: Effective Pretraining And Finetuning For Relation Extraction On The Web
Google Brain（谷歌大脑）；Google（谷歌公司）
关系抽取用于填充对许多应用程序很重要的知识库。用于训练关系抽取模型的现有数据集要么由于远程监督而遭受噪声标签，要么限于某些域，要么太小而无法训练高容量模型。这限制了关系抽取的下游应用。因此，我们介绍：WebRED（Web关系抽取数据集），一个强监督的人类注释数据集，用于从万维网上发现的各种文本中提取关系，由约110 K个示例组成。我们还描述了我们用来收集~ 200 M示例作为此任务的预训练数据的方法。我们表明，将大型弱监督数据集上的预训练与小型强监督数据集上的微调相结合，可以获得更好的关系抽取性能。我们为这个新的数据集提供了基线，并提出了一个案例，人类注释的重要性，提高性能的关系抽取从网络上找到的文本。
2021-02-18 cs.CL cs.IR
Aligning Web Query Generation with Ranking Objectives via Direct Preference Optimization
提出利用直接偏好优化（DPO）将排序信号融入查询生成，以生成高质量合成查询，提升下游检索性能，并在MS MARCO基准上验证了有效性。
2025-05-25 cs.IR
Efficient and Effective Spam Filtering and Re-ranking for Large Web Datasets
2009年TREC网络特别和相关反馈任务使用了一个新的文档集，即2009年初从普通网络上抓取的CNOW Web 09数据集。该数据集包含10亿个网页，其中相当一部分是垃圾网页-旨在欺骗搜索引擎以提供不需要的有效负载的网页。我们研究了垃圾邮件对TREC 2009年网络特别和相关反馈任务结果的影响，这些任务使用了CtrudeWeb 09数据集。我们表明，一个简单的基于内容的分类器，最少的训练是有效的，足以排名的“垃圾邮件”的每一个页面在数据集中使用标准的个人电脑在48小时内，有效的足以产生显着和实质性的改善，在固定的截止精度（estP 10）以及排名措施（estR精度，StatMAP，MAP）的几乎所有提交的运行。此外，使用一组“蜜罐”查询，可以将训练数据的标记简化为完全自动的过程。经典的信息检索方法的结果特别是通过过滤-从最差的到最好的。
2010-04-29 cs.IR
An ontology-based approach for semantics ranking of the web search engines results
这项工作属于信息检索和语义网领域，旨在提高网络搜索工具的评价。事实上，网络上的大量信息以及新的无经验用户的增长为信息检索带来了新的挑战;当然，当前的搜索引擎（如Google、Bing和Yahoo）提供了浏览网络内容的有效方式。然而，这种类型的工具没有考虑到由查询词和文档词驱动的语义。本文提出了一种新的基于语义的方法来评估信息检索系统，其目标是增加搜索工具的选择性，并改善这些工具的评估。对所提出的评价搜索引擎的方法进行了测试，证明了它对实际搜索工具的适用性。结果表明，语义评估是一种很有前途的方法，以提高性能和行为的搜索引擎以及相关的结果，他们返回。
2012-12-11 cs.IR
Intelligent Search Optimization using Artificial Fuzzy Logics
School of Computing, Engineering and Information Sciences（计算、工程与信息科学学院）
网络上的信息是惊人的，搜索相关信息是困难的，使得网络用户依赖于搜索引擎在网络上找到相关信息。搜索引擎使用爬虫根据网页的内容对网页进行索引和分类，并相应地对网页进行排名。对于给定的用户查询，他们检索数以百万计的网页，并显示他们的用户根据网页排名。每个搜索引擎都有自己的算法，根据一定的参数排名网页。搜索引擎优化（SEO）是网站管理员根据搜索引擎排名参数优化网站以提高网站排名的技术。这是本研究的目的，以确定最流行的搜索引擎优化技术所使用的搜索引擎排名网页，并建立其索引和分类的网络数据的重要性。该研究试图建立在排名算法中使用更多的SEO参数有助于检索更好的搜索结果，从而提高用户满意度。在已完成的研究中，提出了一个基于Web的Meta搜索引擎聚合搜索结果从不同的搜索引擎和排名的网页基于新的页面排名算法，将分配启发式页面排名的网页的基础上SEO参数，如标题标签，Meta描述，网站地图等的研究还提供了深入了解技术，网站管理员可以使用更好地排名他们的网站在谷歌和必应。初步结果表明，在目前的排名算法中使用某些SEO参数有助于检索更有用的结果，为用户查询。这些结果产生的Meta搜索引擎优于现有的搜索引擎更好的检索结果和高精度。
2015-10-03 cs.AI cs.IR
TPRM: A Topic-based Personalized Ranking Model for Web Search
Artificial Intelligence Application Research Center, Huawei Technologies（华为技术有限公司人工智能应用研究中心）
排名模型已经取得了可喜的成果，但它仍然具有挑战性的设计个性化的排名系统，利用用户简档和查询和文档之间的语义表示。在本文中，我们提出了一个基于主题的个性化排名模型（TPRM），结合用户的主题配置文件与预先训练的上下文术语表示量身定制的一般文档排序列表。在真实数据集上的实验表明，TPRM的性能明显优于最先进的ad-hoc排名模型和个性化排名模型。
2021-08-13 cs.AI cs.CL cs.IR
Ranking Pages by Topology and Popularity within Web Sites
我们比较了两种链接分析排名方法的网页在一个网站。第一种称为网站排名，是PageRank对网站粒度的适应，第二种称为流行度排名，是基于用户点击页面中的外链的频率，这些外链由用户通过网站的导航会话捕获。我们在人工创建的不同规模的网站和两个真实的数据集上进行了实验，采用相对熵来比较两种排名方法的分布。对于真实的数据集，我们还采用了非参数测量，称为斯皮尔曼的footrule，我们用它来比较排名前十的网页由两种方法。我们的主要结果是，受欢迎程度排名和网站排名的分布是令人惊讶的接近彼此，这意味着一个网站的拓扑结构是非常有用的，在引导用户通过网站。因此，在实践中，网站排名提供了一个合理的一阶近似的用户在网站内的总体行为，由流行度排名。
2004-12-09 cs.AI cs.IR
A Hybrid Approach to Web Service Recommendation Based on QoS-Aware Rating and Ranking
随着互联网上具有相同或相似功能的Web服务数量的不断增加，越来越多的服务使用者在寻找和选择合适的Web服务时，将注意力集中在Web服务的非功能属性上，即服务的服务质量（quality of service，QoS）。对于大多数QoS感知的Web服务推荐系统，推荐的Web服务列表通常是基于一个面向评级的预测方法，旨在预测潜在的评级，活跃的用户可能会分配给未评级的服务尽可能准确地获得。然而，在一些应用场景中，评级预测的高准确性可能不一定导致令人满意的推荐结果。在本文中，我们提出了一个面向排名的混合方法相结合的基于项目的协同过滤和潜在因素模型来解决Web服务的排名问题。特别是，两个Web服务之间的相似性来衡量他们的排名，而不是传统的QoS评级之间的相关系数。此外，我们还改进了衡量标准NDCG（归一化折扣累积增益），用于评估排名顺序返回的前K个建议的准确性。在真实Web服务的QoS数据集上进行了全面的实验，实验结果表明，该方法的性能优于其他同类方法。
2015-01-18 cs.IR cs.SE
Social Ranking Techniques for the Web
社交媒体的激增有可能改变网络的结构和组织。在过去，科学家们把网络看作是一个大的连接组件，以了解超链接的拓扑结构如何与页面中包含的信息质量相关，他们提出了对网页中包含的信息进行排名的技术。我们认为，从网页上的信息和网络数据的社会关系可以结合起来，创造一个个性化的和社会连接的网络。在本文中，我们将网络视为两个网络的组成部分，一个由网页中的信息组成，另一个由社交媒体网站上共享的个人数据组成。它们一起使我们能够分析社交媒体如何在人与人之间传播信息，以及如何使用社交网络的结构来为每个用户专门排名，交付和组织信息。我们通过对用户在Google Buzz和Twitter上共享的网页进行排名实验来验证我们的社交排名概念。
2013-06-26 cs.IR cs.SI physics.soc-ph
RAProp: Ranking Tweets by Exploiting the Tweet/User/Web Ecosystem and Inter-Tweet Agreement
Twitter的日益普及使得对推文的可信度和相关性评估的改进对搜索变得更加重要。然而，由于推文大小的限制，很难单独从推文的内容中提取排名措施。我们提出了一种新的排名方法，称为RAProp，它结合了两个正交措施的相关性和可信度的推文。第一个称为特征得分，衡量推文来源的可信度。这是通过从一个三层的twitter生态系统中提取特征来实现的，这个生态系统由用户、tweet和tweet中引用的页面组成。第二项措施称为一致性分析，通过分析内容如何以及是否被其他推文独立证实来评估推文内容的可信度。我们将推文的候选结果集视为图的顶点，边测量每对推文之间的估计一致性。特征分数在该一致图上传播，以计算具有可信来源和独立确证的前k个推文。我们的方法在TREC 2011年微博数据集的1600万条推文上的评估表明，对于前30名的精度，我们比数据集上当前性能最好的方法高出53%，比当前Twitter搜索高出300%以上。我们还提出了一个详细的内部经验评估RAProp相比，我们提出的几种替代方法。
2013-08-11 cs.IR
Pre-trained Language Model based Ranking in Baidu Search
排名系统作为搜索引擎的核心，在满足用户信息需求方面起着至关重要的作用。最近，从预训练的语言模型（PLM）微调的神经排名器建立了最先进的排名有效性。然而，由于以下挑战性问题，将这些基于PLM的排名器直接应用于大规模Web搜索系统并非易事：（1）大规模神经PLM的极其昂贵的计算，特别是对于Web文档中的长文本，禁止它们部署在要求极低延迟的在线排名系统中;（2）现有的排名不可知的预培训目标和广告之间的差异，需要综合相关性建模的特殊检索场景是改进在线排名系统的另一个主要障碍;（3）真实世界的搜索引擎通常涉及排名组件的委员会，因此单独微调的排名模型的兼容性对于合作排名系统是关键的。在这项工作中，我们贡献了一系列成功应用的技术，在部署最先进的中文预训练语言模型时解决这些暴露的问题，即，ERNIE，在网上搜索引擎系统。我们首先阐明了一种新颖的做法，以成本效益的总结Web文档和上下文所产生的摘要内容与查询使用一个便宜而强大的金字塔ERNIE架构。然后，我们赋予一个创新的范式，精细地利用大规模的噪声和偏见的点击后行为数据的相关导向的预训练。我们还提出了一个人为锚定的微调策略，为在线排名系统量身定制，旨在稳定在各个在线组件的排名信号。大量的离线和在线实验结果表明，所提出的技术显着提高搜索引擎的性能。
2021-06-25 cs.IR
Citation Counting, Citation Ranking, and h-Index of Human-Computer Interaction Researchers: A Comparison between Scopus and Web of Science
本研究探讨了Scopus和Web of Science在引用计数，引用排名和h指数的22名顶级人机交互（HCI）的研究人员从赤道-一个大型的英国跨学科研究合作项目之间的差异。结果表明，Scopus提供了显着更多的HCI文献的覆盖面比Web的科学，主要是由于相关的ACM和IEEE同行评审会议的会议记录的覆盖面。如果仅比较期刊引文，则两个数据库之间不存在显著差异。虽然更广泛的文献覆盖范围并没有显着改变个别研究人员的相对引文排名，但Scopus在引文计数和h指数方面都比Web of Science更细致入微地帮助区分研究人员。Scopus还生成了与Web of Science生成的引文网络图显著不同的单个学者的引文网络图。该研究还比较了基于Google Scholar的h指数得分与基于Scopus和Web of Science联盟的h指数得分。该研究的结论是，Scopus可以作为唯一的数据源，用于基于引文的研究和评价HCI，特别是如果在会议论文中的引文寻求和h分数应该手动计算，而不是依赖于系统计算。
2008-03-12 cs.HC cs.IR
Generative Pre-trained Ranking Model with Over-parameterization at Web-Scale (Extended Abstract)
Shanghai Jiao Tong University（上海交通大学）；Baidu Inc.（百度公司）
针对传统排序学习模型因标注数据不足和过拟合导致性能不佳的问题，提出一种生成式半监督预训练排序模型GS2P，通过离线实验和真实搜索引擎部署验证了其有效性。
2024-09-25 cs.IR cs.LG
Verso folio: Diversified Ranking for Large Graphs with Context-Aware Considerations
这项工作是关于网络资源的多样化排名和相互关联的文件，依赖于一个类似网络的结构，如网页。这方面的一个实际例子是查询k个最相关的网页，这些网页在同一时间也尽可能彼此不相似。使用网络距离和上下文相似性的聚合来量化相关性和相异性。例如，对于问题的特定配置，我们可能对在文本描述方面与查询相似但在网络图方面彼此远离的网页感兴趣，例如许多点击。回顾过去，在文献中可以找到一个缺乏的工作，解决这个问题，考虑到由文件链接形成的网络结构。在这项工作中，我们提出了一个爬山的方法，是种子的文件集，这是使用贪婪的启发式多样化最初产生的。更重要的是，我们在网页的上下文中处理这个问题，其中有一个底层的网络结构连接可用的文档和资源。这与大多数作品有很大的不同，这些作品要么在内容定义方面解决问题，要么在数据的图形结构方面解决问题，但从来没有同时解决这两个方面。据我们所知，这是第一次以优雅的方式将这一重要问题的两个方面结合起来，还允许在如何配置（i）文档相关性与结果项的权衡方面有很大的灵活性。项目的差异，以及（ii）网络距离与内容相关性或差异。最后但并非最不重要的是，我们提出了一个广泛的评估我们的方法，证明其有效性和效率。
2016-07-25 cs.IR
Globally Optimized Mutual Influence Aware Ranking in E-Commerce Search
在网络搜索中，从搜索结果多样化的角度研究了文档之间的相互影响。但由于网络搜索中的方法存在差异，不能直接应用于电子商业搜索。而对于电子商业搜索中搜索项之间的相互影响的研究却很少。我们提出了一个全局优化框架，相互影响意识的排名在电子商业搜索。我们的框架直接优化总销售量（GMV）排名，并将排名分解为两个任务。第一个任务是相互影响感知的购买概率估计。我们提出了一个全球性的特征扩展方法，将相互影响到一个项目的功能。我们还使用循环神经网络（RNN）来捕获与购买概率估计中的排名订单相关的影响。第二个任务是根据购买概率估计找到最佳排名顺序。我们将第二个任务视为序列生成问题，并使用束搜索算法来解决它。我们在一个大型电子商业搜索引擎上进行了在线A/B测试。结果表明，我们的方法为搜索引擎带来了5%的GMV增长超过一个强大的基线。
2018-05-22 cs.IR
CWRCzech: 100M Query-Document Czech Click Dataset and Its Application to Web Relevance Ranking
Charles University（查理大学）
本研究发布了目前最大的带原始文本的捷克语点击数据集CWRCzech及人工标注测试集，验证了大规模自动采集的点击数据训练的排序模型性能可超越人工标注数据训练的模型。
2024-07-15 cs.CL cs.IR
CRAWLDoc: A Dataset for Robust Ranking of Bibliographic Documents
Universität Ulm（乌尔姆大学）
本文提出CRAWLDoc方法，通过统一嵌入出版物URL关联的网页资源、锚文本和链接，实现跨出版商和格式的稳健文档排序，并构建了包含600篇出版物的标注数据集。
2025-06-04 cs.CL cs.IR
The Lovasz-Bregman Divergence and connections to rank aggregation, clustering, and web ranking
University of Washington（华盛顿大学）
我们以几种方式扩展了最近引入的Lovasz-Bregman（LB）分歧理论（Iyer & Bilmes，2012）。我们表明，它们代表了一个“分数”和“排序”之间的失真，从而提供了一个新的观点排名聚合和基于顺序的聚类与有趣的连接到网络排名。我们展示了如何LB分歧有一些属性类似于许多置换为基础的度量，实际上有特殊情况下的形式非常相似的肯德尔- $τ$度量。我们还展示了如何LB分歧subsidians一些常用的排名措施，在信息检索，如NDCG和AUC。然而，与传统的基于置换的度量不同，LB发散自然地捕获排序中的“置信度”的概念，从而为涉及聚合分数而不仅仅是排序的应用提供新的表示。我们展示了一些最近使用的网络排名模型是如何Lovasz-Bregman排名聚合的形式，并观察到Mallow模型使用LB发散的自然形式已被用作“学习排序”问题的条件排名模型。
2013-08-24 cs.IR cs.LG stat.ML
Using Exclusive Web Crawlers to Store Better Results in Search Engines' Database
基于爬虫的搜索引擎是Web和Internet用户最常用的搜索引擎，它涉及到Web爬虫、数据库存储、排序、索引和向用户显示。但值得注意的是，由于网站的变化越来越大，搜索引擎遭受了很高的时间和传输成本，这些成本消耗在搜索时调查数据库中每个页面的存在，更新数据库，甚至在任何搜索操作中调查其存在。“Exclusive Web Crawler”提出了抓取特征、链接、媒体和其他元素的指导方针，并将抓取结果存储在其网络数据库中的某个表中。通过这样做，搜索引擎将每个站点的表存储在其数据库中，并在其上实现其排名结果。因此，确保了每个表中数据的准确性（以及它的最新性），并且在搜索结果中不显示404结果，因为事实上，该数据爬虫程序抓取网站管理员输入的数据，并且数据库存储他想要显示的任何内容。
2013-05-13 cs.IR
Siamese BERT-based Model for Web Search Relevance Ranking Evaluated on a New Czech Dataset
Web搜索引擎专注于在数百毫秒内提供高度相关的结果。因此，预先训练的语言Transformer模型（如BERT）由于其高计算需求而难以在这种情况下使用。我们提出了我们的实时方法，利用基于BERT的连体架构的文档排序问题。该模型已经部署在一个商业搜索引擎中，并将生产性能提高了3%以上。为了进一步的研究和评估，我们发布了DaReCzech，这是一个独特的数据集，包含160万个捷克用户查询-文档对，具有手动分配的相关性级别。我们还发布了Small-E-Czech，这是一个在大型捷克语语料库上预训练的Electra小型语言模型。我们相信这些数据将支持搜索相关性和以多语言为重点的研究社区的努力。
2021-12-03 cs.CL cs.IR
WebAPIRec: Recommending Web APIs to Software Projects via Personalized Ranking
School of Information Systems, Singapore Management University（新加坡管理大学信息系统学院）
应用程序编程接口（API）为开发人员提供了大量的功能，可以重用，而无需重新发明轮子。根据项目需求确定适当的API对于项目的成功至关重要，因为许多功能可以重用以实现更快的开发。然而，大量的API往往会阻碍开发人员快速找到合适的API的能力。在这种情况下，我们提出了一种新的自动化方法，称为WebAPIRec，它将项目配置文件作为输入，并输出可用于实现项目的{web} API的排名列表。在其核心，WebAPIRec采用了个性化的排名模型，对特定于（个性化）项目的Web API进行排名。基于{web} API使用的历史数据，WebAPIRec学习了一个模型，该模型最大限度地减少了web API的错误排序，即，当使用的{web} API的排名低于未使用的（或尚未使用的）web API时。我们已经在一个数据集上评估了我们的方法，该数据集包括来自ProgrammableWeb的9，883个Web API和4，315个Web应用程序项目，结果令人鼓舞。对于84.0%的项目，WebAPIRec能够成功返回正确的API，这些API用于实现前5名的项目。这比ProgrammableWeb的本机搜索功能提供的建议要好得多。WebAPIRec也优于McMillan等人。的应用搜索引擎和基于流行度的推荐。
2017-05-01 cs.AI cs.IR cs.SE
Learning to Blend by Relevance
各种垂直搜索引擎的出现凸显了一个事实，即单一的排名技术无法处理搜索问题的复杂性和规模。例如，视频和图像搜索背后的技术与一般的网络搜索非常不同。它们的排名功能几乎没有共同点。问答网站（例如，哇哦！答案）可以利用为一般web开发的文本匹配和点击功能，但它们有独特的页面结构和丰富的用户反馈，例如，大拇指向上和大拇指向下评级在雅虎！答案，这大大有利于自己的排名。即使对于答案和一般网络共享的那些特征，特征和相关性之间的相关性也可能非常不同。因此，需要专门的功能，以便更好地对各个域中的文件进行排名。这些专用函数定义在不同的特征空间上。然而，每个域都有一个搜索框，既不高效也不可扩展。而不是键入相同的查询两次到两个雅虎！搜索和Yahoo！回答和检索两个排名列表，我们宁愿把它只一次，但从这两个领域的主题收到一个全面的文件列表。这种情况需要新的技术，将来自不同来源的文档混合到一个单一的排名列表中。尽管混合列表的内容丰富，但它仍然必须按照相关性进行排序，我们称这种技术为混合，这是本文的主要主题。
2010-09-23 cs.IR
Idea2Prior: Auditable Paper Retrieval and Ranking from Research Ideas
Johns Hopkins University（约翰斯·霍普金斯大学）
Idea2Prior是基于PaperArena的可审计文献检索系统，结合多源发现等技术，在EASY、MEDIUM查询的论文检索排序上优于ChatGPT、Gemini的网页深度研究，可支持针对性思路到论文检索。
2026-10-16 cs.IR
PRADA: Practical Black-Box Adversarial Attacks against Neural Ranking Models
近年来，神经排序模型（NRM）取得了显著的成功，特别是在预训练的语言模型中。然而，深度神经模型因其对对抗性示例的脆弱性而臭名昭著。鉴于我们越来越依赖神经信息检索模型，对抗攻击可能成为一种新型的网络垃圾邮件技术。因此，重要的是研究潜在的对抗攻击，以在部署NRM之前识别其漏洞。在本文中，我们介绍了针对NRM的单词替换排名攻击（WSRA）任务，该任务旨在通过向其文本添加对抗性扰动来提升目标文档的排名。我们专注于基于决策的黑盒攻击设置，攻击者不能直接访问模型信息，但只能查询目标模型，以获得部分检索列表的排名位置。这种攻击设置在现实世界的搜索引擎中是现实的。我们提出了一种新的基于伪相关性的对抗性排名攻击方法（PRADA），该方法基于伪相关反馈（PRF）来学习代理模型，以生成用于发现对抗性扰动的梯度。在两个网络搜索基准数据集上的实验表明，PRADA可以超越现有的攻击策略，并成功地用小的不可识别的文本扰动欺骗NRM。
2022-06-08 cs.IR
Pre-trained Graphformer-based Ranking at Web-scale Search (Extended Abstract)
Baidu Inc.（百度公司）；Shanghai Jiao Tong University（上海交通大学）；Zhejiang Lab（之江实验室）
针对 Web 规模搜索中 Transformer 与 GNN 难以集成于统一学习排序框架的问题，提出 MPGraf 模型，利用模块化和基于胶囊的预训练策略融合两者优势，并通过离线与在线实验验证了其性能。
2024-09-25 cs.IR cs.LG
A semantic association page rank algorithm for web search engines
大多数语义Web搜索引擎通过集中使用限于用户提供的查询的概念和关系来检索信息。通过尝试猜测这些概念和关系之间的隐含意义，计算概率，为页面排名打分。在这项研究中，我提出了一个基于关系的网页排名算法被用作语义网搜索引擎。相关性的测量，发现由用户在查询时，以及包含在语义Web环境的基础知识的信息的连接的概率。通过使用从知识库获得的页面中概念之间的“虚拟链接”，我们可以连接页面的概念和组件，并增加概率得分以获得更好的排名。通过创建这些连接，本研究还希望消除结果等于零的可能性，并在两个或更多页面获得相同分数时提供平局决胜解决方案。
2012-11-26 cs.IR
Can We Find Documents in Web Archives without Knowing their Contents?
保存技术的最新进展导致了越来越多的网络档案系统和收藏。这些集合对于探索Web的过去是有价值的，但它们的价值只能通过有效的访问和探索机制来揭示。理想的搜索和排序方法必须对内容的高冗余和时间噪声具有鲁棒性，并且可以扩展到归档的大量数据。尽管在Web档案搜索的几个尝试，促进访问Web档案仍然是一个具有挑战性的问题。在这项工作中，我们进行了第一次分析不同的排名策略，利用证据的元数据，而不是完整的内容的文件。我们进行了第一项研究，比较有用的非内容证据的Web档案搜索，其中的证据是从文件头，链接和URL字符串的元数据挖掘。基于这些发现，我们提出了一个简单但令人惊讶的有效学习模型，结合多个证据来区分“好”和“坏”的搜索结果。我们进行定量和定性的实证实验，以确认我们所提出的方法的有效性，作为第一步，更好地排名在Web档案考虑Meta数据。
2017-01-14 cs.IR
Learning the Gain Values and Discount Factors of DCG
评价指标是排序系统的重要组成部分，过去在信息检索和Web搜索中提出了许多评价指标。贴现累积收益（DCG）已成为一种广泛采用的评价指标，用于评估Web搜索中使用的排名功能的性能。然而，在DCG中使用的两组参数（增益值和折扣因子）以相当特别的方式确定。在本文中，我们首先表明，DCG一般是不连贯的，这意味着比较使用DCG的排名功能的性能很大程度上取决于特定的增益值和折扣因子。然后，我们提出了一种新的方法，可以学习的增益值和折扣因素，从用户的偏好排名。数值模拟表明了我们所提出的方法的有效性。请联系作者获取本作品的完整版本。
2012-12-22 cs.IR
Misinformation Resilient Search Rankings with Webgraph-based Interventions
针对互联网不可靠新闻泛滥问题，提出基于公平、通用等四原则的网络图干预方法，经大小规模网络图验证可大幅处罚不可靠域名，助力提升搜索结果可信度、减少错误信息传播。
2024-04-13 cs.IR cs.SI
Link Spam Detection based on DBSpamClust with Fuzzy C-means Clustering
搜索引擎成了无所不在的上网手段。垃圾搜索引擎是一种欺骗搜索引擎排名的技术，它夸大了排名。Web垃圾邮件制造者利用了基于链接的排名算法的脆弱性，通过创建许多人工引用或链接来获得比搜索引擎的结果更高的排名。基于链接的算法，如PageRank，HITS利用超链接的结构细节来对网络中的内容进行排名。本文提出了一种垃圾链接检测算法DBSpamClust。实验表明，该方法可以有效地过滤出垃圾网页
2010-12-31 cs.IR cs.IT cs.SI
Features and Aggregators for Web-scale Entity Search
我们专注于实体搜索中的两个研究问题：对可能支持候选实体的文档或片段进行评分，以及将不同片段的分数聚合到实体分数中。在IR中，在实体搜索的范围之外已经研究了邻近评分。然而，除了在使用概率语言模型的少数情况下，聚合已经被硬连线。相反，我们探索简单，强大的，有区别的排名算法，信息片段的功能和广泛的家庭的聚合功能。我们的第一个贡献是一个研究的接近认知片段功能。与以前的工作，使用硬连线的“接近内核”，实现了固定的衰减与距离相比，我们提出了一个“通用”的功能编码，共同表达的困惑（信息量）的查询项匹配和接近的匹配实体提到。我们的第二个贡献是聚合函数的研究。我们不是在片段上训练排名算法，然后聚合分数，而是直接在实体上进行训练，这样排名算法就考虑到了所使用的聚合函数。我们的第三个贡献是一个广泛的网络规模的评估上述算法的两个数据集具有相当不同的属性和行为。第一个是TREC规模企业搜索中使用的W3C数据集，带有预先注释的实体提及。第二个是Web规模的开放域实体搜索数据集，由5亿个Web页面组成，其中包含约80亿个标记跨度，自动标注了维基百科中20万个实体类型中的200万个实体。在TREC数据集上，我们的系统的性能与当前流行的系统相当。在更大和更嘈杂的Web数据集上，我们的系统提供了比所有其他系统更好的性能，与最接近的竞争对手相比，MAP提高了8%。
2013-03-13 cs.IR
Best Practices for Distilling Large Language Models into BERT for Web Search Ranking
Tencent（腾讯）
本研究提出将大语言模型的排序能力通过持续预训练、排序损失微调及混合点式和边际MSE损失蒸馏至BERT，以低成本实现高效网页搜索排序，并已在商业引擎中部署验证。
2024-11-07 cs.CL cs.IR
Reinforcement Ranking
我们引入了一个新的网页排名框架-强化排名-提高了网页排名的稳定性和准确性，同时消除了计算随机游走的平稳分布的需要。我们开发了一个逆时强化学习框架，该框架基于反向贝尔曼方程的解来确定网页的权威性，而不是依赖于隐形传态来确保定义良好的马尔可夫链。特别是，对于一个给定的奖励功能和冲浪政策，我们恢复一个定义良好的权威分数从逆时间的角度来看：回头看，从网页，什么是总收入的折扣奖励带来的冲浪者从页面的前辈？这导致了一种新形式的逆时动态编程/迭代学习问题，它比基于Page Rank的方法具有几个优点：首先，适定性不再需要底层马尔可夫链的随机性、遍历性和不可约性。其次，该方法对图拓扑结构不太敏感，并且在存在悬挂页面的情况下更稳定。第三，反向Bellman迭代不仅产生更有效的幂迭代，它还允许在图变化的情况下更快地更新。最后，我们的实验表明，排名质量的改善。
2013-03-24 cs.IR cs.SI
Experience of Developing a Meta-Semantic Search Engine
考虑到今天的Web搜索场景主要是基于关键字的，导致需要语义Web提供有效和有意义的搜索。现有的搜索引擎由于依赖于网页中可用的简单数据而容易对用户查询提供相关答案。另一方面，语义搜索引擎提供高效和相关的结果，因为语义网使用本体管理具有明确定义的含义的信息。一个Meta-搜索引擎是一个搜索工具，它将用户的查询转发到几个现有的搜索引擎，并通过使用自己的页面排名算法提供组合的结果。SemanTelli是一个Meta语义搜索引擎，通过智能代理从不同的语义搜索引擎（如Hakia，DuckDuckGo，SenseBot）获取结果。本文提出了增强SemanTelli与改进的片段分析为基础的页面排名算法和支持图像和新闻搜索。
2013-11-25 cs.IR
Learning to Match Using Local and Distributed Representations of Text for Web Search
诸如潜在语义分析和基于神经嵌入的模型学习文本的分布式表示，并将查询与潜在语义空间中的文档进行匹配。另一方面，在传统的信息检索模型中，术语具有离散或局部表示，并且文档的相关性由查询术语在正文中的精确匹配来确定。我们假设，匹配与分布式表示补充匹配与传统的本地表示，两者的组合是有利的。我们提出了一种新的文档排序模型，该模型由两个独立的深度神经网络组成，一个使用本地表示匹配查询和文档，另一个使用学习的分布式表示匹配查询和文档。这两个网络作为单个神经网络的一部分进行联合训练。我们表明，这种组合或“二重奏”的表现显着优于任何一个神经网络单独的网页排名任务，也显着优于传统的基线和其他最近提出的模型的基础上神经网络。
2016-10-26 cs.IR
A Synonym Based Approach of Data Mining in Search Engine Optimization
在当今互联网信息高速增长的时代，使得用户转向搜索引擎作为传统媒体的替代品。这使得通过数十亿个网页对特定信息进行排序并显示相关数据使得搜索引擎的任务变得困难。对此的补救措施是SEO，即以这种方式优化网站，它将根据排名显示相关网页。这是使搜索引擎优化在网络世界中占据突出地位的主要原因。本文提出了一种基于同义词的数据采掘方法，使提高网站排名的任务更加容易的方式和用户将得到他们的查询答案很容易通过任何搜索引擎在市场上。
2014-07-04 cs.IR
End-to-End Neural Ranking for eCommerce Product Search: an application of task models and textual embeddings
我们考虑的问题，检索和排名的电子商务目录中的项目，通常被称为SKU，为了相关的用户发出的查询。用于排序的输入数据是查询的文本和目录中索引的SKU的文本字段。我们审查的方式，这个问题既相似又不同的问题，IR在网络搜索的背景下。产品搜索问题和网络搜索的IR问题之间的差异需要在模型和数据集方面采用不同的方法。我们首先回顾了最近的国家的最先进的网络搜索IR模型，区分两种不同类型的模型，我们称之为分布式和本地交互型。不同类型的相关性模型开发的IR有互补的优点和缺点时，应用于电子商务产品搜索。此外，我们解释了为什么在IR文献中使用的数据集构建的传统方法无法产生足以用于电子商务产品搜索模型的训练或评估的数据。我们解释了我们自己的方法，将任务建模技术应用于电子商务网站的点击日志，可以构建一个大规模的数据集，用于相关性模型的训练和鲁棒基准测试。我们的实验包括将IR文献中的几个模型应用于我们自己的数据集。根据经验，我们已经确定，当应用于我们的数据集时，与基线tf-idf相比，某些局部交互类型的模型将排名错误减少了三分之一。应用于我们的数据集，分布式模型未能超越基线。作为部署系统的基础，分布式模型在计算上比本地交互模型有几个优点。这激发了一个正在进行的工作计划，我们在论文的结尾处概述了这个计划。
2018-06-19 cs.IR
Ranking library materials
目的：本文讨论了适合图书馆资料的排序因素，并表明，一般的排序是一个复杂的过程，图书馆资料的排序需要多种技术。设计/方法/方式：相关文献进行了审查，以提供一个系统的概述合适的排名因素。讨论是基于Web搜索引擎中使用的排名因素的概述。结果：虽然有各种各样的排名因素适用于图书馆资料，今天的图书馆系统只使用其中的一些。在为图书馆目录设计排名部分时，需要对适用因素进行个别加权。研究限制/应用：虽然本文讨论了不同的因素，但没有给出特定的排名公式。然而，本文提出的论点是，这样的公式必须始终是针对特定用例的。实际影响：在为图书馆的搜索系统设计排名组件或与ILS供应商讨论此类项目时，可以考虑所提出的因素。创意/价值：本文的创新之处在于首次系统地探讨了基于Web搜索引擎使用的主要因素对图书馆文献的排序。
2015-11-18 cs.DL cs.IR
InteractRank: Personalized Web-Scale Search Pre-Ranking with Cross Interaction Features
Pinterest
InteractRank提出在双塔预排序模型中引入查询-项目交叉交互特征，在Pinterest实验中以低延迟显著提升在线参与度，分别超越BM25和普通双塔基线6.5%和3.7%。
2025-04-09 cs.AI cs.IR cs.LG
CMT in TREC-COVID Round 2: Mitigating the Generalization Gaps from Web to Special Domain Search
Tsinghua University（清华大学）；Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
基于深度预训练语言模型（LM）的神经排序器已被证明可以改进许多信息检索基准。然而，这些方法受到预训练域和目标域之间的相关性的影响，并且依赖于大量的微调相关性标签。直接将预训练方法应用于特定领域可能会导致次优搜索质量，因为特定领域可能存在领域适应问题，例如COVID领域。本文提出了一个搜索系统，以减轻特殊领域的适应问题。该系统利用领域自适应预训练和少样本学习技术来帮助神经排序器缓解领域差异和标签稀缺问题。此外，我们也整合了稠密检索，以减轻传统稀疏检的词汇不匹配障碍。我们的系统在TREC-COVID任务的第二轮非手动运行中表现最好，该任务旨在从与COVID-19相关的科学文献中检索有用的信息。我们的代码可在https://github.com/thunlp/OpenMatch上公开获取。
2020-11-03 cs.CL cs.IR
Personalized Web Search
Language Technologies Institute（语言技术研究所）
个性化是搜索引擎提高用户体验的重要手段。现有的工作大多做纯特征工程，提取大量的会话风格的特征，然后训练一个排序模型。在这里，我们提出了一种新的方法来建模的长期和短期的用户行为使用多臂强盗算法。该算法可以很好地泛化用户间的会话信息，并且作为一种Explore-Exploit风格的算法，它可以很好地泛化到新的URL和新的用户。实验结果表明，该算法的性能优于默认排序，优于几种流行的多臂强盗算法。
2015-02-03 cs.IR cs.LG
Retrieving and Ranking Relevant JavaScript Technologies from Web Repositories
ISISTAN-CONICET（ISISTAN-国家科学技术研究委员会）；ISISTAN-CIC（ISISTAN-科学研究委员会）；UNICEN（阿根廷中央布宜诺斯艾利斯省国立大学）
软件技术的选择是一项重要而复杂的任务。我们考虑JavaScript（JS）应用程序的开发人员，由于可用的技术选项越来越多，对他们来说，JS库的评估变得困难和耗时。一种常见的策略是通过搜索引擎（例如，NPM，或者Google），尽管它带来了一些问题。首先，如果有技术需求，引擎可能会返回一个很长的结果列表，这通常会导致信息过载问题。第二，应该根据开发人员感兴趣的标准对结果进行排名。然而，决定如何权衡这些标准以做出决定并不简单。在这项工作中，我们提出了一个两阶段的方法来帮助开发人员检索和排名JS技术在一个半自动化的方式。第一阶段（ST检索）使用元搜索技术来收集满足开发人员需求的JS技术。第二阶段（称为ST-排名），依赖于机器学习技术来推断，基于Web中其他项目使用的标准，ST-检索的输出排名。我们评估了我们的方法与NPM，并取得了令人满意的结果，在检索的技术的准确性和顺序，它们被排名。
2022-05-30 cs.IR cs.LG cs.SE
Search results diversification in competitive search
本研究针对竞争性搜索场景，提出并分析整合结果多样化的排序函数，证明其存在均衡，并缓解作者模仿高排名文档内容的现象。
2025-01-24 cs.GT cs.IR
Query Chains: Learning to Rank from Implicit Feedback
本文提出了一种使用点进数据来学习网络搜索结果的排名检索函数的新方法。我们观察到，用户搜索网络经常执行一个序列，或链，查询具有类似的信息需求。使用查询链，我们从搜索引擎日志中生成新类型的偏好判断，从而利用用户智能重新制定查询。为了验证我们的方法，我们进行了一个受控的用户研究比较生成的偏好判断明确的相关性判断。我们还实现了一个真实世界的搜索引擎来测试我们的方法，使用修改后的排名SVM从偏好数据中学习改进的排名函数。我们的研究结果表明，显着改善排名的搜索引擎。学习的排名优于静态排名函数，以及在不考虑查询链的情况下训练的排名。
2006-05-08 cs.IR cs.LG
Comparative analysis of various web crawler algorithms
VIT Vellore（维韦卡南达理工学院韦洛尔分校）
本报告比较了五种网络爬虫算法，旨在确定最有效的网页爬取方法，以提升信息检索效率。
2023-06-21 cs.IR cs.LG cs.SI
A Survey on Web Spam Detection Methods: Taxonomy
Web垃圾是指通过操纵搜索引擎的排名算法来提高网页在搜索引擎结果中的排名的技术。在最好的情况下，垃圾邮件发送者鼓励观众访问他们的网站，并提供不应得的广告收益的网页所有者。在最坏的情况下，他们在页面中使用恶意内容，并试图在受害者的机器上安装恶意软件。垃圾邮件发送者使用三种垃圾邮件技术来获得更高的排名。这些技术是基于链接的技术，隐藏技术和基于内容的技术。现有的垃圾网页会导致对搜索引擎结果的不信任。这不仅浪费了访问者的时间，也浪费了大量的搜索引擎资源。因此，垃圾邮件检测方法已被提出作为一种解决方案，以减少垃圾网页的负面影响。实验结果表明，这些技术中的一些工作良好，可以发现垃圾邮件页面比其他更准确。本文对Web垃圾邮件技术进行了分类，并对相关的检测方法进行了研究。
2012-10-11 cs.CR cs.IR
Revisiting Text Ranking in Deep Research
The University of Edinburgh（爱丁堡大学）；University of Glasgow（格拉斯哥大学）
本文通过复现实验，从检索单元、流水线配置和查询特性三个角度评估文本排序方法在深度研究中的有效性，并提出Q2Q方法缓解查询不匹配问题。
2026-06-23 cs.AI cs.CL cs.IR
Network-based information filtering algorithms: ranking and recommendation
在互联网和万维网变得流行和广泛可用之后，个人的电子存储在线交互迅速成为研究人员的挑战，并且可能甚至更快地成为企业家的有价值信息的来源。我们现在有详细的记录，包括社交网络中的非正式友谊关系、电子商务网站上的购买、用户之间发送的各种信息、网络书签的在线收集，以及许多其他数据集，这些数据集使我们能够提出从学术和商业角度都感兴趣的问题。例如，您可能希望与社交网络的哪些其他用户成为朋友？您可能有兴趣购买哪些其他产品？谁是网络中最有影响力的用户？您接下来可能要访问哪个网页？所有这些问题不仅本身有趣，而且它们的答案可能有助于企业家为客户提供更好的服务，并最终增加他们的利润。
2012-08-22 cs.IR cs.SI physics.data-an
