Ranking Triples using Entity Links in a Large Web Crawl - The Chicory Triple Scorer at WSDM Cup 2017
本文介绍了奇科利队参加2017年WSDM杯三重排名挑战赛的情况。我们的方法部署了大量的实体标记的Web数据来估计三元组表示的相关关系的正确性，结合使用维基百科摘要的基线方法[1]。相关性估计来自于由Google的实体链接器注释的CCNWeb 12，作为FACC 1数据集公开提供。我们的实现是从一个所谓的“搜索策略”自动生成的，该策略声明性地指定如何将输入数据组合成三元组的最终排名。
2017-12-22 cs.IR
Credibility in Web Search Engines
网络搜索引擎应用各种排名信号来实现用户满意度，即，为用户提供最佳结果的结果页面。虽然这些排名信号隐含地考虑了可信度（例如，通过衡量受欢迎程度），没有采用明确的可信度衡量标准。在这一章中，在Web搜索引擎的可信度进行了讨论，在一个广泛的背景下：可信度作为一个措施，包括在搜索引擎的索引文件，作为一个排名信号的可信度，在通用搜索结果的上下文中的可信度，以及使用可信度作为一个明确的衡量排名的目的的可能性。据发现，虽然搜索引擎-至少在一定程度上-显示可信的结果，他们的用户，有没有完全集成的可信度框架的Web搜索引擎。
2012-08-05 cs.IR
Query Segmentation for Relevance Ranking in Web Search
在本文中，我们试图回答的问题，如何提高国家的最先进的方法在Web搜索的相关性排序的查询分割。这里，通过查询分割，其意味着将输入查询分割成段，通常是自然语言短语，使得搜索中的相关性排名的性能增加。我们建议采用重新排序的方法在查询分割，首先采用一个生成模型来创建前$k$候选人，然后采用一个判别模型来重新排序的候选人，以获得最终的分割结果。该方法已被广泛用于自然语言处理中的结构预测，但据我们所知，尚未应用于查询分割。此外，我们提出了一种新的方法，使用的查询分割的结果在相关性排名，它把原始查询词和分割的查询短语作为查询表示的单位。我们调查我们的方法是否可以改善三个相关性模型，即BM 25，关键n-gram模型，和依赖模型。我们在三个大规模网络搜索数据集上的实验结果表明，我们的方法确实可以显着提高相关性排名在所有三种情况下。
2013-12-01 cs.IR
Ranking Pages by Topology and Popularity within Web Sites
我们比较了两种链接分析排名方法的网页在一个网站。第一种称为网站排名，是PageRank对网站粒度的适应，第二种称为流行度排名，是基于用户点击页面中的外链的频率，这些外链由用户通过网站的导航会话捕获。我们在人工创建的不同规模的网站和两个真实的数据集上进行了实验，采用相对熵来比较两种排名方法的分布。对于真实的数据集，我们还采用了非参数测量，称为斯皮尔曼的footrule，我们用它来比较排名前十的网页由两种方法。我们的主要结果是，受欢迎程度排名和网站排名的分布是令人惊讶的接近彼此，这意味着一个网站的拓扑结构是非常有用的，在引导用户通过网站。因此，在实践中，网站排名提供了一个合理的一阶近似的用户在网站内的总体行为，由流行度排名。
2004-12-09 cs.AI cs.IR
Pretrained Language Model based Web Search Ranking: From Relevance to Satisfaction
本文提出基于PLM的SAT-Ranker框架，通过多字段输入统一建模文档质量、时效性和权威性等满意度维度，离线与在线实验均显示显著收益并已全量部署。
2023-06-02 cs.IR
Ensemble Ranking Model with Multiple Pretraining Strategies for Web Search
一个有效的排序模型通常需要大量的训练数据来学习文档和查询之间的相关性。用户点击经常被用作训练数据，因为它们可以指示相关性并且收集起来很便宜，但是它们包含大量的偏差和噪声。在减轻模拟用户点击中的各种类型的偏差以基于多个特征训练有效的学习排名模型方面已经有了一些工作。然而，如何在具有真实点击数据的大规模预训练模型上有效地使用这些方法是未知的。为了减轻现实世界中的数据偏差，我们在预训练阶段引入了基于统计学的特征，改进了排名目标，添加了随机否定，并校准了倾向计算。然后，我们微调几个预训练的模型，并训练一个集成模型，以在微调阶段将来自各种预训练模型的所有预测与人类注释数据聚合在一起。我们的方法在WSDM Cup 2023的“网络搜索预训练”任务中获得第三名，比第四名的团队好22.6%。
2023-02-18 cs.IR
Intelligent Search Optimization using Artificial Fuzzy Logics
School of Computing, Engineering and Information Sciences（计算、工程与信息科学学院）
网络上的信息是惊人的，搜索相关信息是困难的，使得网络用户依赖于搜索引擎在网络上找到相关信息。搜索引擎使用爬虫根据网页的内容对网页进行索引和分类，并相应地对网页进行排名。对于给定的用户查询，他们检索数以百万计的网页，并显示他们的用户根据网页排名。每个搜索引擎都有自己的算法，根据一定的参数排名网页。搜索引擎优化（SEO）是网站管理员根据搜索引擎排名参数优化网站以提高网站排名的技术。这是本研究的目的，以确定最流行的搜索引擎优化技术所使用的搜索引擎排名网页，并建立其索引和分类的网络数据的重要性。该研究试图建立在排名算法中使用更多的SEO参数有助于检索更好的搜索结果，从而提高用户满意度。在已完成的研究中，提出了一个基于Web的Meta搜索引擎聚合搜索结果从不同的搜索引擎和排名的网页基于新的页面排名算法，将分配启发式页面排名的网页的基础上SEO参数，如标题标签，Meta描述，网站地图等的研究还提供了深入了解技术，网站管理员可以使用更好地排名他们的网站在谷歌和必应。初步结果表明，在目前的排名算法中使用某些SEO参数有助于检索更有用的结果，为用户查询。这些结果产生的Meta搜索引擎优于现有的搜索引擎更好的检索结果和高精度。
2015-10-03 cs.AI cs.IR
An ontology-based approach for semantics ranking of the web search engines results
这项工作属于信息检索和语义网领域，旨在提高网络搜索工具的评价。事实上，网络上的大量信息以及新的无经验用户的增长为信息检索带来了新的挑战;当然，当前的搜索引擎（如Google、Bing和Yahoo）提供了浏览网络内容的有效方式。然而，这种类型的工具没有考虑到由查询词和文档词驱动的语义。本文提出了一种新的基于语义的方法来评估信息检索系统，其目标是增加搜索工具的选择性，并改善这些工具的评估。对所提出的评价搜索引擎的方法进行了测试，证明了它对实际搜索工具的适用性。结果表明，语义评估是一种很有前途的方法，以提高性能和行为的搜索引擎以及相关的结果，他们返回。
2012-12-11 cs.IR
Context Models For Web Search Personalization
我们提出了我们的解决方案，以Yandex个性化网页搜索的挑战。这个挑战的目的是使用历史搜索日志为一组测试用户个性化前N个文档排序。我们使用了从用户和查询相关的上下文中提取的100多个特征来训练神经网络和基于树的学习排名和回归模型。我们最终提交的作品融合了几种不同的模型，NDCG@10的得分为0.80476，在194个获得三等奖的团队中排名第四。
2015-02-02 cs.IR
Can We Find Documents in Web Archives without Knowing their Contents?
保存技术的最新进展导致了越来越多的网络档案系统和收藏。这些集合对于探索Web的过去是有价值的，但它们的价值只能通过有效的访问和探索机制来揭示。理想的搜索和排序方法必须对内容的高冗余和时间噪声具有鲁棒性，并且可以扩展到归档的大量数据。尽管在Web档案搜索的几个尝试，促进访问Web档案仍然是一个具有挑战性的问题。在这项工作中，我们进行了第一次分析不同的排名策略，利用证据的元数据，而不是完整的内容的文件。我们进行了第一项研究，比较有用的非内容证据的Web档案搜索，其中的证据是从文件头，链接和URL字符串的元数据挖掘。基于这些发现，我们提出了一个简单但令人惊讶的有效学习模型，结合多个证据来区分“好”和“坏”的搜索结果。我们进行定量和定性的实证实验，以确认我们所提出的方法的有效性，作为第一步，更好地排名在Web档案考虑Meta数据。
2017-01-14 cs.IR
TPRM: A Topic-based Personalized Ranking Model for Web Search
Artificial Intelligence Application Research Center, Huawei Technologies（华为技术有限公司人工智能应用研究中心）
排名模型已经取得了可喜的成果，但它仍然具有挑战性的设计个性化的排名系统，利用用户简档和查询和文档之间的语义表示。在本文中，我们提出了一个基于主题的个性化排名模型（TPRM），结合用户的主题配置文件与预先训练的上下文术语表示量身定制的一般文档排序列表。在真实数据集上的实验表明，TPRM的性能明显优于最先进的ad-hoc排名模型和个性化排名模型。
2021-08-13 cs.AI cs.CL cs.IR
Generative Pre-trained Ranking Model with Over-parameterization at Web-Scale (Extended Abstract)
Shanghai Jiao Tong University（上海交通大学）；Baidu Inc.（百度公司）
针对传统排序学习模型因标注数据不足和过拟合导致性能不佳的问题，提出一种生成式半监督预训练排序模型GS2P，通过离线实验和真实搜索引擎部署验证了其有效性。
2024-09-25 cs.IR cs.LG
Learning Visual Features from Snapshots for Web Search
当将学习排序算法应用于Web搜索时，通常会设计大量的特征来捕获相关信号。这些特征中的大多数是基于提取的文本元素、链接分析和用户日志计算的。然而，网页不仅仅是链接的文本，而是具有以不同风格组织大量元素的结构化布局。这种布局本身可以传达有用的视觉信息，表明网页的相关性。例如，查询独立布局（即，原始页面布局）可以帮助识别页面质量，而依赖于查询的布局（即，用匹配的查询词呈现的页面）可以进一步告知丰富的结构信息（例如，大小、位置和接近度）。然而，这样的视觉信息的布局已经很少利用在Web搜索在过去。在这项工作中，我们建议从网页的布局中自动学习丰富的视觉特征（即，网页快照）的相关性排名。查询无关和查询相关的快照都被认为是新的输入。然后，我们提出了一种新的视觉感知模型的启发，人类的视觉搜索行为的网页浏览提取视觉特征。该模型可以与传统的人工制作的功能一起端到端学习。我们还表明，这样的视觉功能可以有效地获得在线设置与扩展的倒排索引方案。基准集合上的实验表明，学习视觉特征的网页快照可以显着提高性能的相关性排名在ad-hoc Web检索任务。
2017-10-19 cs.IR
The Lovasz-Bregman Divergence and connections to rank aggregation, clustering, and web ranking
University of Washington（华盛顿大学）
我们以几种方式扩展了最近引入的Lovasz-Bregman（LB）分歧理论（Iyer & Bilmes，2012）。我们表明，它们代表了一个“分数”和“排序”之间的失真，从而提供了一个新的观点排名聚合和基于顺序的聚类与有趣的连接到网络排名。我们展示了如何LB分歧有一些属性类似于许多置换为基础的度量，实际上有特殊情况下的形式非常相似的肯德尔- $τ$度量。我们还展示了如何LB分歧subsidians一些常用的排名措施，在信息检索，如NDCG和AUC。然而，与传统的基于置换的度量不同，LB发散自然地捕获排序中的“置信度”的概念，从而为涉及聚合分数而不仅仅是排序的应用提供新的表示。我们展示了一些最近使用的网络排名模型是如何Lovasz-Bregman排名聚合的形式，并观察到Mallow模型使用LB发散的自然形式已被用作“学习排序”问题的条件排名模型。
2013-08-24 cs.IR cs.LG stat.ML
Using Exclusive Web Crawlers to Store Better Results in Search Engines' Database
基于爬虫的搜索引擎是Web和Internet用户最常用的搜索引擎，它涉及到Web爬虫、数据库存储、排序、索引和向用户显示。但值得注意的是，由于网站的变化越来越大，搜索引擎遭受了很高的时间和传输成本，这些成本消耗在搜索时调查数据库中每个页面的存在，更新数据库，甚至在任何搜索操作中调查其存在。“Exclusive Web Crawler”提出了抓取特征、链接、媒体和其他元素的指导方针，并将抓取结果存储在其网络数据库中的某个表中。通过这样做，搜索引擎将每个站点的表存储在其数据库中，并在其上实现其排名结果。因此，确保了每个表中数据的准确性（以及它的最新性），并且在搜索结果中不显示404结果，因为事实上，该数据爬虫程序抓取网站管理员输入的数据，并且数据库存储他想要显示的任何内容。
2013-05-13 cs.IR
RAProp: Ranking Tweets by Exploiting the Tweet/User/Web Ecosystem and Inter-Tweet Agreement
Twitter的日益普及使得对推文的可信度和相关性评估的改进对搜索变得更加重要。然而，由于推文大小的限制，很难单独从推文的内容中提取排名措施。我们提出了一种新的排名方法，称为RAProp，它结合了两个正交措施的相关性和可信度的推文。第一个称为特征得分，衡量推文来源的可信度。这是通过从一个三层的twitter生态系统中提取特征来实现的，这个生态系统由用户、tweet和tweet中引用的页面组成。第二项措施称为一致性分析，通过分析内容如何以及是否被其他推文独立证实来评估推文内容的可信度。我们将推文的候选结果集视为图的顶点，边测量每对推文之间的估计一致性。特征分数在该一致图上传播，以计算具有可信来源和独立确证的前k个推文。我们的方法在TREC 2011年微博数据集的1600万条推文上的评估表明，对于前30名的精度，我们比数据集上当前性能最好的方法高出53%，比当前Twitter搜索高出300%以上。我们还提出了一个详细的内部经验评估RAProp相比，我们提出的几种替代方法。
2013-08-11 cs.IR
Pre-trained Graphformer-based Ranking at Web-scale Search (Extended Abstract)
Baidu Inc.（百度公司）；Shanghai Jiao Tong University（上海交通大学）；Zhejiang Lab（之江实验室）
针对 Web 规模搜索中 Transformer 与 GNN 难以集成于统一学习排序框架的问题，提出 MPGraf 模型，利用模块化和基于胶囊的预训练策略融合两者优势，并通过离线与在线实验验证了其性能。
2024-09-25 cs.IR cs.LG
SIREN (Luring LLMs onto the Rocks): PAIR-Driven Preference Manipulation in Web-RAG Recommenders
The University of Queensland（昆士兰大学）；Curtin University（科廷大学）
研究网页增强型大语言模型推荐系统中排序推荐的对抗操纵问题，提出SIREN方法，利用23种内容中毒技术迭代编辑检索到的网页，在两个Claude模型上实验，使选定实体多次达排名第1，验证了声明性排名等方式的有效性。
2026-10-22 cs.CR cs.IR
Siamese BERT-based Model for Web Search Relevance Ranking Evaluated on a New Czech Dataset
Web搜索引擎专注于在数百毫秒内提供高度相关的结果。因此，预先训练的语言Transformer模型（如BERT）由于其高计算需求而难以在这种情况下使用。我们提出了我们的实时方法，利用基于BERT的连体架构的文档排序问题。该模型已经部署在一个商业搜索引擎中，并将生产性能提高了3%以上。为了进一步的研究和评估，我们发布了DaReCzech，这是一个独特的数据集，包含160万个捷克用户查询-文档对，具有手动分配的相关性级别。我们还发布了Small-E-Czech，这是一个在大型捷克语语料库上预训练的Electra小型语言模型。我们相信这些数据将支持搜索相关性和以多语言为重点的研究社区的努力。
2021-12-03 cs.CL cs.IR
Contrastive Fine-tuning Improves Robustness for Neural Rankers
AWS AI Labs（亚马逊云科技人工智能实验室）
当暴露于噪声输入或应用于新领域时，最先进的神经排序器的性能可能会大幅恶化。在本文中，我们提出了一种新的方法微调神经排名，可以显着提高其鲁棒性域外数据和查询扰动。具体来说，在微调期间，将比较表示空间中的数据点的对比损失与标准排名损失相结合。我们使用相关性标签来表示相似/不相似对，这使得模型能够学习不同查询-文档对之间的底层匹配语义，并提高鲁棒性。在四个通道的排名数据集的实验中，所提出的对比微调方法获得的鲁棒性的查询重新制定，噪声扰动，和zero-shot传输的BERT和BART基于排名的改进。此外，我们的实验表明，对比微调优于数据增强的鲁棒神经排名。
2021-05-27 cs.CL cs.IR
CWRCzech: 100M Query-Document Czech Click Dataset and Its Application to Web Relevance Ranking
Charles University（查理大学）
本研究发布了目前最大的带原始文本的捷克语点击数据集CWRCzech及人工标注测试集，验证了大规模自动采集的点击数据训练的排序模型性能可超越人工标注数据训练的模型。
2024-07-15 cs.CL cs.IR
A Large-Scale Web Search Dataset for Federated Online Learning to Rank
Delft University of Technology（代尔夫特理工大学）；University of Amsterdam（阿姆斯特丹大学）
本文提出大规模网络搜索数据集 AOL4FOLTR，包含 260 万条查询和真实用户标识、点击及时间戳，以支持更真实的联邦在线学习排序基准测试和异步联邦学习场景。
2025-08-17 cs.AI cs.DC cs.IR
Best Practices for Distilling Large Language Models into BERT for Web Search Ranking
Tencent（腾讯）
本研究提出将大语言模型的排序能力通过持续预训练、排序损失微调及混合点式和边际MSE损失蒸馏至BERT，以低成本实现高效网页搜索排序，并已在商业引擎中部署验证。
2024-11-07 cs.CL cs.IR
Retrieving and Ranking Relevant JavaScript Technologies from Web Repositories
ISISTAN-CONICET（ISISTAN-国家科学技术研究委员会）；ISISTAN-CIC（ISISTAN-科学研究委员会）；UNICEN（阿根廷中央布宜诺斯艾利斯省国立大学）
软件技术的选择是一项重要而复杂的任务。我们考虑JavaScript（JS）应用程序的开发人员，由于可用的技术选项越来越多，对他们来说，JS库的评估变得困难和耗时。一种常见的策略是通过搜索引擎（例如，NPM，或者Google），尽管它带来了一些问题。首先，如果有技术需求，引擎可能会返回一个很长的结果列表，这通常会导致信息过载问题。第二，应该根据开发人员感兴趣的标准对结果进行排名。然而，决定如何权衡这些标准以做出决定并不简单。在这项工作中，我们提出了一个两阶段的方法来帮助开发人员检索和排名JS技术在一个半自动化的方式。第一阶段（ST检索）使用元搜索技术来收集满足开发人员需求的JS技术。第二阶段（称为ST-排名），依赖于机器学习技术来推断，基于Web中其他项目使用的标准，ST-检索的输出排名。我们评估了我们的方法与NPM，并取得了令人满意的结果，在检索的技术的准确性和顺序，它们被排名。
2022-05-30 cs.IR cs.LG cs.SE
Search results diversification in competitive search
本研究针对竞争性搜索场景，提出并分析整合结果多样化的排序函数，证明其存在均衡，并缓解作者模仿高排名文档内容的现象。
2025-01-24 cs.GT cs.IR
Link Spam Detection based on DBSpamClust with Fuzzy C-means Clustering
搜索引擎成了无所不在的上网手段。垃圾搜索引擎是一种欺骗搜索引擎排名的技术，它夸大了排名。Web垃圾邮件制造者利用了基于链接的排名算法的脆弱性，通过创建许多人工引用或链接来获得比搜索引擎的结果更高的排名。基于链接的算法，如PageRank，HITS利用超链接的结构细节来对网络中的内容进行排名。本文提出了一种垃圾链接检测算法DBSpamClust。实验表明，该方法可以有效地过滤出垃圾网页
2010-12-31 cs.IR cs.IT cs.SI
P^3 Ranker: Mitigating the Gaps between Pre-training and Ranking Fine-tuning with Prompt-based Learning and Pre-finetuning
Northeastern University（东北大学）；Tsinghua University（清华大学）；Microsoft Research（微软研究院）
与其他语言任务相比，将预训练的语言模型（PLM）应用于搜索排名通常需要更多的细微差别和训练信号。在本文中，我们确定和研究预训练和排名微调之间的两个不匹配：关于训练目标和模型架构的差异的训练模式差距，以及考虑排名所需的知识和预训练期间学到的知识之间的差异的任务知识差距。为了缩小这些差距，我们提出了预训练，非学习和预微调神经排名器（P^3排名器）。P^3 Ranker利用基于学习的学习将排名任务转换为预训练类模式，并使用预微调来初始化中间监督任务的模型。在MS MARCO和Robust04上的实验表明，P^3 Ranker在Few-Shot排序方面具有优越的性能。分析表明，P^3 Ranker能够更好地适应排名任务，通过基于任务的学习，并检索必要的排名导向的知识，在预微调，导致数据效率的PLM适应。我们的代码可在www.example.com上获得。
2022-05-05 cs.CL cs.IR
RankT5: Fine-Tuning T5 for Text Ranking with Ranking Losses
Google Research（谷歌研究院）
最近，基于预训练语言模型（如BERT）的文本排名取得了实质性进展。然而，关于如何利用更强大的序列到序列模型（如T5）的研究有限。现有的尝试通常将文本排名公式化为分类，并依赖于后处理来获得排名列表。在本文中，我们提出了RankT 5，并研究了两个基于T5的排名模型结构，编码器-解码器和编码器-只有一个，使他们不仅可以直接输出每个查询-文档对的排名分数，但也可以微调与“成对”或“列表”的排名损失，以优化排名性能。我们的实验表明，所提出的模型与排名损失可以实现显着的排名性能增益不同的公共文本排名数据集。此外，当用列表排序损失进行微调时，与用分类损失进行微调的模型相比，排序模型似乎在域外数据集上具有更好的zero-shot排序性能。
2022-10-12 cs.CL cs.IR
Reinforcement Ranking
我们引入了一个新的网页排名框架-强化排名-提高了网页排名的稳定性和准确性，同时消除了计算随机游走的平稳分布的需要。我们开发了一个逆时强化学习框架，该框架基于反向贝尔曼方程的解来确定网页的权威性，而不是依赖于隐形传态来确保定义良好的马尔可夫链。特别是，对于一个给定的奖励功能和冲浪政策，我们恢复一个定义良好的权威分数从逆时间的角度来看：回头看，从网页，什么是总收入的折扣奖励带来的冲浪者从页面的前辈？这导致了一种新形式的逆时动态编程/迭代学习问题，它比基于Page Rank的方法具有几个优点：首先，适定性不再需要底层马尔可夫链的随机性、遍历性和不可约性。其次，该方法对图拓扑结构不太敏感，并且在存在悬挂页面的情况下更稳定。第三，反向Bellman迭代不仅产生更有效的幂迭代，它还允许在图变化的情况下更快地更新。最后，我们的实验表明，排名质量的改善。
2013-03-24 cs.IR cs.SI
DCN V2: Improved Deep & Cross Network and Practical Lessons for Web-scale Learning to Rank Systems
Google Inc.（谷歌公司）
学习有效的特征交叉是构建推荐系统的关键。然而，稀疏和大的特征空间需要穷举搜索来识别有效的交叉。提出了深度交叉网络（DCN）来自动有效地学习有界度预测特征交互。不幸的是，在具有数十亿训练样本的网络规模流量模型中，DCN在学习更具预测性的特征交互时，在其交叉网络中表现出有限的表达能力。尽管取得了重大的研究进展，但生产中的许多深度学习模型仍然依赖于传统的前馈神经网络来低效地学习特征交叉。根据DCN和现有特征交互学习方法的优点/缺点，我们提出了一个改进的框架DCN-V2，使DCN在大规模工业环境中更实用。在一项广泛的超参数搜索和模型调整的综合实验研究中，我们观察到DCN-V2方法在流行的基准数据集上的性能优于所有最先进的算法。改进后的DCN-V2在特征交互学习方面更具表现力，但仍然具有成本效益，特别是当与低秩体系结构的混合物相结合时。DCN-V2很简单，可以很容易地作为构建块采用，并且在Google的许多网络规模的学习排序系统中提供了显着的离线准确性和在线业务指标收益。
2020-10-20 cs.IR cs.LG stat.ML
Evaluating Methods to Rediscover Missing Web Pages from the Web Infrastructure
丢失的网页（返回404“Page Not Found”错误的网页）是浏览体验的一部分。手动使用搜索引擎重新发现丢失的页面可能会令人沮丧和失败。我们比较了四个自动化的方法重新发现网页。我们提取页面的标题，生成页面的词汇签名（LS），从书签网站delicious.com获得页面的标签，并从页面的链接邻域生成LS。我们使用所有方法的输出查询互联网搜索引擎，并分析其检索性能。我们的研究结果表明，LS和标题都表现得相当好，超过60%的URI从Yahoo！返回顶级排名。然而，方法的组合提高了检索性能。考虑到LS生成的复杂性，首先查询标题，如果结果不足，则其次查询LS是优选的设置。这一组合占排名靠前的URI的75%以上。
2010-04-16 cs.DL cs.IR
Annotating Data for Fine-Tuning a Neural Ranker? Current Active Learning Strategies are not Better than Random Selection
TU Wien（维也纳工业大学）；University of Queensland（昆士兰大学）；Cohere；Leiden University（莱顿大学）
本文研究了在有限数据和预算下微调PLM排序器，发现现有主动学习策略在有效性上不优于随机选择，且在固定标注成本下表现更差，无法识别低成本高效的最优数据子集。
2023-09-12 cs.CL cs.IR
Personalized Web Search
Language Technologies Institute（语言技术研究所）
个性化是搜索引擎提高用户体验的重要手段。现有的工作大多做纯特征工程，提取大量的会话风格的特征，然后训练一个排序模型。在这里，我们提出了一种新的方法来建模的长期和短期的用户行为使用多臂强盗算法。该算法可以很好地泛化用户间的会话信息，并且作为一种Explore-Exploit风格的算法，它可以很好地泛化到新的URL和新的用户。实验结果表明，该算法的性能优于默认排序，优于几种流行的多臂强盗算法。
2015-02-03 cs.IR cs.LG
Exploring the Effectiveness of Multi-stage Fine-tuning for Cross-encoder Re-rankers
University of Pisa（比萨大学）；University of Glasgow（格拉斯哥大学）
本研究系统比较了交叉编码器重排序器在单阶段与多阶段微调下的效果，发现对比学习单阶段微调即可达到与多阶段方法相当的性能。
2025-03-28 cs.AI cs.IR
When Fine-Tuning Fails: Lessons from MS MARCO Passage Ranking
Department of IT IIIT Allahabad Prayagraj, India（信息技术系印度理工学院Allahabad分校）
本文通过五种模型变体的实验发现，在MS MARCO段落排序任务上微调预训练模型反而降低性能，揭示了微调破坏嵌入空间结构的问题，并指出架构创新才是改进关键。
2025-06-23 cs.CL cs.IR
Comparative analysis of various web crawler algorithms
VIT Vellore（维韦卡南达理工学院韦洛尔分校）
本报告比较了五种网络爬虫算法，旨在确定最有效的网页爬取方法，以提升信息检索效率。
2023-06-21 cs.IR cs.LG cs.SI
Semi-Siamese Bi-encoder Neural Ranking Model Using Lightweight Fine-Tuning
Seoul National University（首尔国立大学）；Naver Corp.（Naver公司）
基于BERT的神经排序模型（NRM）可以是交叉编码器或双向编码器。在这两者之间，bi-encoder效率很高，因为所有文档都可以在实际查询时间之前进行预处理。在这项工作中，我们展示了两种方法来提高基于BERT的双编码器的性能。第一种方法是用轻量级的微调来代替完整的微调步骤。我们研究轻量级的微调方法，是基于适配器的，基于FPGA的，和两者的混合。第二种方法是开发半连体模型，其中查询和文档的处理具有有限的差异。通过学习两个轻量级的微调模块来实现有限的差异，其中BERT的主要语言模型对于查询和文档都是通用的。我们为monoBERT，TwinBERT和ColBERT提供了广泛的实验结果，其中三个性能指标在Robust 04，Cocktail Web 09 b和MS-MARCO数据集上进行了评估。结果证实，轻量级微调和半暹罗是相当有帮助的改善基于BERT的双编码器。事实上，轻量级的微调对CrossEncoder也很有帮助
2022-03-02 cs.CL cs.IR
Query Chains: Learning to Rank from Implicit Feedback
本文提出了一种使用点进数据来学习网络搜索结果的排名检索函数的新方法。我们观察到，用户搜索网络经常执行一个序列，或链，查询具有类似的信息需求。使用查询链，我们从搜索引擎日志中生成新类型的偏好判断，从而利用用户智能重新制定查询。为了验证我们的方法，我们进行了一个受控的用户研究比较生成的偏好判断明确的相关性判断。我们还实现了一个真实世界的搜索引擎来测试我们的方法，使用修改后的排名SVM从偏好数据中学习改进的排名函数。我们的研究结果表明，显着改善排名的搜索引擎。学习的排名优于静态排名函数，以及在不考虑查询链的情况下训练的排名。
2006-05-08 cs.IR cs.LG
A Survey on Web Spam Detection Methods: Taxonomy
Web垃圾是指通过操纵搜索引擎的排名算法来提高网页在搜索引擎结果中的排名的技术。在最好的情况下，垃圾邮件发送者鼓励观众访问他们的网站，并提供不应得的广告收益的网页所有者。在最坏的情况下，他们在页面中使用恶意内容，并试图在受害者的机器上安装恶意软件。垃圾邮件发送者使用三种垃圾邮件技术来获得更高的排名。这些技术是基于链接的技术，隐藏技术和基于内容的技术。现有的垃圾网页会导致对搜索引擎结果的不信任。这不仅浪费了访问者的时间，也浪费了大量的搜索引擎资源。因此，垃圾邮件检测方法已被提出作为一种解决方案，以减少垃圾网页的负面影响。实验结果表明，这些技术中的一些工作良好，可以发现垃圾邮件页面比其他更准确。本文对Web垃圾邮件技术进行了分类，并对相关的检测方法进行了研究。
2012-10-11 cs.CR cs.IR
InteractRank: Personalized Web-Scale Search Pre-Ranking with Cross Interaction Features
Pinterest
InteractRank提出在双塔预排序模型中引入查询-项目交叉交互特征，在Pinterest实验中以低延迟显著提升在线参与度，分别超越BM25和普通双塔基线6.5%和3.7%。
2025-04-09 cs.AI cs.IR cs.LG
Anomaly Detection Based on Access Behavior and Document Rank Algorithm
分布式拒绝服务（DDoS）攻击是当前互联网面临的一种严重威胁。DDos攻击通常是在网络层进行的，例如SYN flooding、UDP flooding和UDP flooding，这些攻击被称为分布式拒绝服务攻击。这些DDos攻击的目的是利用网络带宽和拒绝服务来授权受害者系统的用户。从低层获得，新的基于应用层的DDos攻击利用授权HTTP请求来过载受害者资源更难检测。当这些发生在任何流行的网站的人群事件，这种情况是非常严重的。最先进的方法不能处理正常活动和攻击者活动之间没有相当大的偏差的情况。在线Web访问的页面排名和邻近图表示在实践中需要花费很多时间。应该有比邻近图搜索更少的计算复杂性。因此，提出了Web访问表机制来保存数据，如“谁访问了什么，多少次，他们的平均排名”，以发现异常的Web访问行为。该系统具有较低的计算复杂性，但可能产生相当大的时间复杂度。
2014-02-09 cs.CR cs.IR cs.NI
Revisiting Text Ranking in Deep Research
The University of Edinburgh（爱丁堡大学）；University of Glasgow（格拉斯哥大学）
本文通过复现实验，从检索单元、流水线配置和查询特性三个角度评估文本排序方法在深度研究中的有效性，并提出Q2Q方法缓解查询不匹配问题。
2026-06-23 cs.AI cs.CL cs.IR
