BLOGRANK: Ranking Weblogs Based On Connectivity And Similarity Features
大部分隐藏的网络都驻留在博客服务器中。新的内容是在每天的基础上产生和传统的搜索引擎的工作变成是不够的,由于性质的博客。本文总结了博客世界的结构,并突出了weblog的特殊性。在本文中,我们提出了一种方法来排名的基础上的链接图和几个相似性特征的博客。首先,我们创建一个增强的连接博客图,并添加新类型的边缘和权重,利用许多博客功能。然后,我们使用我们的算法,BlogRank,这是PageRank的修改版本,为每个博客分配一个排名。为了验证我们的方法,我们运行实验的网络日志数据集,我们处理和适应我们的搜索引擎。(http://spiderwave.aueb.gr/Blogwave)。结果表明,使用增强图和BlogRank算法是用户的首选。
2009-03-24 cs.IR
Exploiting "Quantum-like Interference" in Decision Fusion for Ranking Multimodal Documents
多模态信息的融合和排序始终是一项具有挑战性的任务。一个强大的决策级融合方法不仅应该是动态自适应的权重分配给每个代表,但也包括不同的模态之间的相互关系。在本文中,我们提出了一个量子启发的模型融合和排名的视觉和文本信息占上述模态之间的依赖关系。首先,我们分别计算基于文本和基于图像的相似度。两种不同的方法已被应用于计算每个单峰相似性。第一个模型使用词袋模型。对于第二种方法,在ImageNet上使用预先训练好的VGG19模型计算图像相似度,同时对基于文本的查询采用查询扩展方法提高检索性能。之后,局部相似性得分符合所提出的量子启发模型。这两种模式之间的相互依赖性是通过“量子干涉”隐含地捕获的。最后,根据建议的相似性度量的文件进行排名。我们在ImageCLEF 2007照片数据汇集上测试了我们的方法,并展示了所提出方法的有效性。一系列有趣的研究结果进行了讨论,这将提供理论和经验基础,为未来的发展这一方向。
2018-11-28 cs.IR
A Study on Passage Re-ranking in Embedding based Unsupervised Semantic Search
IBM Research(IBM研究);IBM Watson
用于(基于嵌入的)无监督语义搜索的现有技术方法利用(查询和段落的)组成相似性或(来自查询和段落的)成对词(或术语)相似性。通过设计,基于单词的方法不包含更大上下文(查询/段落)中的相似性,而基于成分相似性的方法通常无法利用上下文中最重要的线索。在本文中,我们提出了一种新的成分相似性为基础的方法,称为可变质心向量(VCVB),试图解决这两个限制。我们还提出了使用不同类型的成分相似性为基础的方法,利用通用的句子嵌入的结果。我们提供了两个不同的基准的实证评估。
2019-03-13 cs.CL cs.IR
Query Chains: Learning to Rank from Implicit Feedback
本文提出了一种使用点进数据来学习网络搜索结果的排名检索函数的新方法。我们观察到,用户搜索网络经常执行一个序列,或链,查询具有类似的信息需求。使用查询链,我们从搜索引擎日志中生成新类型的偏好判断,从而利用用户智能重新制定查询。为了验证我们的方法,我们进行了一个受控的用户研究比较生成的偏好判断明确的相关性判断。我们还实现了一个真实世界的搜索引擎来测试我们的方法,使用修改后的排名SVM从偏好数据中学习改进的排名函数。我们的研究结果表明,显着改善排名的搜索引擎。学习的排名优于静态排名函数,以及在不考虑查询链的情况下训练的排名。
2006-05-08 cs.IR cs.LG
RRADistill: Distilling LLMs' Passage Ranking Ability for Long-Tail Queries Document Re-Ranking on a Search Engine
Emory University(埃默里大学);Naver Corporation(Naver公司)
RRADistill提出高效标签生成流程与新型sLLM训练方法,通过词项控制层和排序层蒸馏LLM排序能力,并在韩语搜索平台A/B测试中验证其提升长尾查询重排序效果。
2024-11-21 cs.AI cs.IR cs.LG
SemanticZ at SemEval-2016 Task 3: Ranking Relevant Answers in Community Question Answering Using Semantic Similarity Based on Fine-tuned Word Embeddings
Research Training Group AIPHES(AIPHES研究培训组);Institute for Computational Linguistics(计算语言学研究所);Heidelberg University(海德堡大学);Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所)
我们描述了我们在社区论坛中寻找好答案的系统,如SemEval-2016,关于社区问答的任务3中所定义的。我们的方法依赖于几个语义相似性特征的基础上微调词嵌入和主题的相似性。在主要的子任务C中,我们的主要提交排名第三,MAP为51.68,准确率为69.94。在子任务A中,我们的主要提交也是第三名,MAP为77.58,准确率为73.39。
2019-11-20 cs.AI cs.CL cs.IR
Ranking of Wikipedia articles in search engines revisited: Fair ranking for reasonable quality?
本文的目的是审查激烈讨论的问题,是否排名维基百科的文章在搜索引擎是合理的文章的质量。在概述了当前维基百科信息质量的研究之后,总结了关于维基百科条目质量的扩展讨论。在此基础上,提出了一种评价维基百科条目的探试法,并将其应用于在搜索引擎检索有效性测试中得分较高的维基百科条目,并与陪审员的相关性判断进行比较。在所有测试的搜索引擎中,陪审员一致认为维基百科的结果比相应结果位置上的其他结果更好。相关性判断通常与启发式评价的结果大致一致。高相关性判断不符合启发式评估的相对低分数的情况被解释为维基百科高度信任的指标。维基百科的系统性缺陷之一在于其不连贯的用户模型。进一步调整建议的标准目录,例如对所提供的标准进行不同的加权,可以作为维基百科条目的用户模型差异化评估的起点。本文将参考文献质量评价方法应用于维基百科条目,并与搜索引擎评价问题相结合。
2011-09-05 cs.IR
Credibility in Web Search Engines
网络搜索引擎应用各种排名信号来实现用户满意度,即,为用户提供最佳结果的结果页面。虽然这些排名信号隐含地考虑了可信度(例如,通过衡量受欢迎程度),没有采用明确的可信度衡量标准。在这一章中,在Web搜索引擎的可信度进行了讨论,在一个广泛的背景下:可信度作为一个措施,包括在搜索引擎的索引文件,作为一个排名信号的可信度,在通用搜索结果的上下文中的可信度,以及使用可信度作为一个明确的衡量排名的目的的可能性。据发现,虽然搜索引擎-至少在一定程度上-显示可信的结果,他们的用户,有没有完全集成的可信度框架的Web搜索引擎。
2012-08-05 cs.IR
HyQE: Ranking Contexts with Hypothetical Query Embeddings
Boston University(波士顿大学);Intuit AI Research(Intuit人工智能研究院)
HyQE提出一种无需微调LLM的可扩展上下文排序框架,通过让预训练LLM基于检索上下文生成假设查询,再计算其与用户查询的嵌入相似度来排序,在多个基准上提升了排序性能。
2024-10-20 cs.AI cs.IR
Rankitect: Ranking Architecture Search Battling World-class Engineers at Meta Scale
Meta Platforms, Inc., USA(Meta平台公司)
Rankitect是Meta提出的排序系统神经架构搜索框架,从头组合构建块,在同等搜索空间下比较多种NAS方法,能发现优于工程师设计的新模型,并在离线评估和在线A/B测试中表现积极。
2023-11-14 cs.AI cs.IR cs.LG
LLM4PR: Improving Post-Ranking in Search Engine with Large Language Models
针对搜索引擎后排序阶段的LLM优化研究空白,提出LLM4PR范式,通过QIA模块、特征适配及多任务微调完成后排序,实验证明其性能达SOTA。
2024-11-02 cs.IR
A Framework for Ranking Content Providers Using Prompt Engineering and Self-Attention Network
针对内容推荐系统中的内容提供者排序问题,提出融合显式反馈、内容特征、提示工程构建真值及自注意力 ListWise 排序网络的框架,在线实验证明可提升推荐质量、可信度与多样性。
2024-09-17 cs.IR
Poset representation and similarity comparisons os systems in IR
在本文中,我们使用偏序集表示来描述复杂的答案后,IR系统的聚类和排名过程。所考虑的答案可以通过地图表示或文件的专题分项清单提供。偏序集表示,与图论和关系表示开辟了许多新的相似性度量的定义,能够考虑到聚类和排名过程的观点。我们提出了一个一般的方法来构造新的相似性措施,并给出了几个例子。这些措施可以用于半有序分区;此外,在两组答案的比较中,相应的相似性指标是常见答案的呈现等级的递增函数。
2009-06-17 cs.IR
Enhancing Invenio Digital Library With An External Relevance Ranking Engine
Invenio是一个基于网络的免费数字图书馆软件套件,最初由CERN开发。为了提高Invenio的信息检索和词相似度排序能力,本文的目标是通过将Invenio与现代外部信息检索系统连接起来来增强Invenio。第一部分对Solr和Xapian等各种信息检索系统进行了比较。第二部分设计并实现了一个独立于系统的词相似度排序桥。随后,Solr和Xapian通过适配器集成到Invenio中。第三部分进行了可扩展性测试。最后,对未来的展望进行了简要的讨论。
2012-11-04 cs.DL cs.IR
Intelligent Search Optimization using Artificial Fuzzy Logics
School of Computing, Engineering and Information Sciences(计算、工程与信息科学学院)
网络上的信息是惊人的,搜索相关信息是困难的,使得网络用户依赖于搜索引擎在网络上找到相关信息。搜索引擎使用爬虫根据网页的内容对网页进行索引和分类,并相应地对网页进行排名。对于给定的用户查询,他们检索数以百万计的网页,并显示他们的用户根据网页排名。每个搜索引擎都有自己的算法,根据一定的参数排名网页。搜索引擎优化(SEO)是网站管理员根据搜索引擎排名参数优化网站以提高网站排名的技术。这是本研究的目的,以确定最流行的搜索引擎优化技术所使用的搜索引擎排名网页,并建立其索引和分类的网络数据的重要性。该研究试图建立在排名算法中使用更多的SEO参数有助于检索更好的搜索结果,从而提高用户满意度。在已完成的研究中,提出了一个基于Web的Meta搜索引擎聚合搜索结果从不同的搜索引擎和排名的网页基于新的页面排名算法,将分配启发式页面排名的网页的基础上SEO参数,如标题标签,Meta描述,网站地图等的研究还提供了深入了解技术,网站管理员可以使用更好地排名他们的网站在谷歌和必应。初步结果表明,在目前的排名算法中使用某些SEO参数有助于检索更有用的结果,为用户查询。这些结果产生的Meta搜索引擎优于现有的搜索引擎更好的检索结果和高精度。
2015-10-03 cs.AI cs.IR
piRank: A Probabilistic Intent Based Ranking Framework for Facebook Search
Meta Inc.(Meta公司)
虽然在文献中已经进行了大量的研究,探索不同类型的机器学习方法的搜索排名,他们中的大多数都集中在特定的预定义的问题,但只有少数人研究了排名框架,可以应用在商业搜索引擎中的可扩展的方式。与此同时,现有的排名模型通常针对归一化折扣累积收益(NDCG)或在线点击率(CTR)进行优化,并且这两种类型的机器学习模型都是基于这样的假设构建的:高质量的训练数据可以很容易地获得并很好地应用于未知案例。在Facebook搜索的实践中,我们观察到我们的ML模型的训练数据存在某些问题。首先,尾部查询意图在我们的人类评级数据集中几乎没有覆盖。其次,搜索点击日志往往是嘈杂的,很难清理,由于各种原因。为了解决上述问题,在本文中,我们提出了一个基于概率意图的排名框架(简称piRank),它可以:1)提供可扩展的框架,以分而治之的方式解决针对不同查询意图的各种排名问题; 2)提高系统开发敏捷性,包括迭代速度和系统可调试性; 3)以系统的方式结合机器学习和基于数学的算法方法。我们在Facebook搜索引擎系统上进行了大量的实验和研究,并验证了这种新的排名架构的有效性。
2022-03-27 cs.IR cs.LG
Accelerating E-Commerce Search Engine Ranking by Contextual Factor Selection
在工业大规模搜索系统中,例如Taobao.com搜索商品,通过从复杂的过程中引入更多的因素,例如,用于提取图像因子的深度神经网络。同时,这些因素的增加也增加了对计算资源的需求,增加了系统的响应延迟。已经观察到,搜索实例通常只需要一小组有效因子,而不是所有因子。因此,去除无效因素显著提高了系统效率。本文研究了\emph{Contextual Factor Selection}(CFS)算法,该算法针对每个搜索实例只选择一个有效因子子集,在搜索质量和响应延迟之间取得了较好的平衡。我们将CFS注入到搜索引擎的排名评分中,以加速引擎,同时考虑排名的有效性和效率。CFS模型的学习涉及到一个组合优化问题,它被转化为一个序列决策问题。通过强化学习来解决这个问题,我们提出了RankCFS,它已经在离线环境和真实世界的在线环境(淘宝网)中进行了评估。实验结果表明,本文提出的CFS方法在离线环境下的性能优于现有的几种有监督/无监督的特征选择方法,在日常测试和$2017$的光棍节购物节测试中,在服务延迟方面也取得了显着的实际性能改善。
2018-03-14 cs.IR
Driving the Herd: Search Engines as Content Influencers
在竞争激烈的搜索环境中,如Web,许多文档的作者(出版商)选择让他们的文档在某些查询中排名靠前。为此,他们修改文档-特别是它们的内容-以响应诱导的排名。因此,搜索引擎通过其排名决定影响语料库中的内容。我们提出了第一个研究的能力,搜索引擎驱动预定义的,有针对性的,内容的效果,在语料库中使用简单的技术。第一个是基于羊群效应-一个著名的结果,从经济学文献-第二个是基于偏置的相关性排名功能。我们研究的内容影响类型要么是主题的,要么涉及特定的文档属性-长度和查询词的包含。对我们在受激励的出版商之间组织的排名竞争的分析表明,我们所针对的内容效果类型确实可以通过应用我们建议的技术来实现。这些发现对于搜索引擎在语料库形成中的作用具有重要意义。
2021-10-21 cs.IR
Driving Engagement in Daily Fantasy Sports with a Scalable and Urgency-Aware Ranking Engine
Unmesh Padalkar
本文提出一种可扩展的排名引擎,通过实时紧迫性特征和时间间隔编码提升每日幻想体育的推荐效果,实现9%的nDCG@1提升。
2026-04-15 cs.IR cs.LG
Cluster Language Model for Improved E-Commerce Retrieval and Ranking: Leveraging Query Similarity and Fine-Tuning for Personalized Results
本文提出利用K-Means对查询聚类并在各簇上微调聚类语言模型,以较低训练成本改进电商检索准确性,实现优于双编码器模型的个性化检索结果。
2023-09-25 cs.IR
DeepFace-EMD: Re-ranking Using Patch-wise Earth Mover's Distance Improves Out-Of-Distribution Face Identification
Auburn University(奥本大学);Carnegie Mellon University(卡内基梅隆大学)
人脸识别(FI)无处不在,并推动执法部门做出许多高风险决策。最先进的FI方法通过在它们的图像嵌入之间取余弦相似性来比较两个图像。然而,这样的方法遭受到对新类型的图像(例如,当查询面部被掩蔽、裁剪或旋转时)不包括在训练集或图库中。在这里,我们提出了一个重新排名的方法,比较两个面孔使用地球移动器的距离上的深,图像补丁的空间特征。我们额外的比较阶段明确地在细粒度级别上检查图像相似性(例如,眼睛对眼睛),并且比传统FI对OOD扰动和遮挡更鲁棒。有趣的是,在没有微调特征提取器的情况下,我们的方法始终如一地提高了所有测试的OOD查询的准确性:掩蔽,裁剪,旋转和对抗,同时在分发图像上获得类似的结果。
2022-03-25 cs.CV cs.IR cs.LG
A Collaborative Ranking Model with Multiple Location-based Similarities for Venue Suggestion
在基于位置的社交网络上,推荐活动场所是满足用户需求的关键。最近的研究探索了采用协同排名(CR)的建议,结合学习排序和协同过滤的想法。然而,CR遭受稀疏性问题,主要是因为它关联相似的用户的基础上,在他们的签入历史中的场地的精确匹配。尽管协同过滤的研究已经表明,考虑辅助信息,如地理影响,有助于减轻模型的稀疏性问题,在CR相同的方向仍然需要探索。在这项工作中,我们提出了一个CR框架,专注于排名列表的顶部,同时在学习模型参数时集成任意数量的场馆之间的相似性函数。我们进一步介绍了三个例子的相似性措施的基础上场馆的内容和位置。将跨场地相似性度量引入模型中增强了用户之间的潜在关联,因为在将用户彼此关联时也考虑了相似场地。我们在TREC上下文建议数据集上的实验表明,我们提出的CR模型击败了其他最先进的场地建议方法。
2018-07-13 cs.IR
Shuffling a Stacked Deck: The Case for Partially Randomized Ranking of Search Engine Results
在现代搜索引擎中,网页流行度、PageRank、访问次数和其他衡量网页流行度的指标显著影响搜索结果的排名。人们的假设是,受欢迎程度与质量密切相关,这是一个难以直接衡量的更难以捉摸的概念。不幸的是,流行度和质量之间的相关性是非常弱的新创建的页面,尚未收到许多访问和/或在链接。更糟糕的是,由于新内容的发现主要是通过查询搜索引擎完成的,而且由于用户通常将注意力集中在前几个结果上,新创建的但高质量的页面实际上被"拒之门外",并且可能需要很长时间才能变得流行。我们提出了一个简单而优雅的解决方案:在搜索结果排名方法中引入可控的随机性。这样做为新页面提供了一个证明其价值的机会,尽管显然使用太多的随机性会降低结果质量并取消所获得的任何好处。因此,在估计新页面质量的探索和利用已知高质量的页面之间存在权衡。我们研究这种权衡分析和通过模拟,在经济目标函数的基础上,随着时间的推移摊销的总结果质量。我们发现,适度的随机性会导致搜索结果的改善。
2005-03-04 cs.IR
Pre-trained Language Model based Ranking in Baidu Search
排名系统作为搜索引擎的核心,在满足用户信息需求方面起着至关重要的作用。最近,从预训练的语言模型(PLM)微调的神经排名器建立了最先进的排名有效性。然而,由于以下挑战性问题,将这些基于PLM的排名器直接应用于大规模Web搜索系统并非易事:(1)大规模神经PLM的极其昂贵的计算,特别是对于Web文档中的长文本,禁止它们部署在要求极低延迟的在线排名系统中;(2)现有的排名不可知的预培训目标和广告之间的差异,需要综合相关性建模的特殊检索场景是改进在线排名系统的另一个主要障碍;(3)真实世界的搜索引擎通常涉及排名组件的委员会,因此单独微调的排名模型的兼容性对于合作排名系统是关键的。在这项工作中,我们贡献了一系列成功应用的技术,在部署最先进的中文预训练语言模型时解决这些暴露的问题,即,ERNIE,在网上搜索引擎系统。我们首先阐明了一种新颖的做法,以成本效益的总结Web文档和上下文所产生的摘要内容与查询使用一个便宜而强大的金字塔ERNIE架构。然后,我们赋予一个创新的范式,精细地利用大规模的噪声和偏见的点击后行为数据的相关导向的预训练。我们还提出了一个人为锚定的微调策略,为在线排名系统量身定制,旨在稳定在各个在线组件的排名信号。大量的离线和在线实验结果表明,所提出的技术显着提高搜索引擎的性能。
2021-06-25 cs.IR
Movie Recommendation System using Composite Ranking
在当今世界,丰富的数字内容,如电子书,电影,视频和文章可供消费。回顾所有可访问的内容并决定下一步看什么是令人生畏的。因此,数字媒体提供商希望利用这种混乱并解决它,以增加用户参与度,最终带来更高的收入。内容提供方经常利用推荐系统作为对抗这种信息过载的有效方法。本文致力于开发一种综合的方法来推荐电影。传统上,电影推荐系统使用协同过滤,其利用用户与媒体的交互,或者基于内容的过滤,其利用电影的可用元数据。技术进步还引入了一种将两种系统集成在一起的混合技术。然而,我们的方法只处理基于内容的建议,进一步加强它与排名算法的基础上内容相似性指标。有助于排名的三个指标是元数据的相似性,视觉内容和电影的用户评论。我们使用文本矢量化,然后对元数据进行余弦相似性,通过预训练的VGG 19进行特征提取,然后对视觉内容进行K均值聚类,并对用户评论进行情感比较。这样的系统允许观众知道“感觉”相同的电影。
2022-12-05 cs.IR cs.MM
Towards a Search Engine for Machines: Unified Ranking for Multiple Retrieval-Augmented Large Language Models
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出uRAG框架,通过统一检索引擎服务多个下游RAG系统,并构建含36个RAG系统的大规模实验生态,以研究面向机器的搜索引擎的核心问题。
2024-04-30 cs.CL cs.IR
Forward Backward Similarity Search in Knowledge Networks
相似性搜索是GitHub、DBLP、Wikipedia等社交和知识网络中的一个基本问题,现有的网络相似性度量方法由于只从查询节点的角度考虑相似性而受到限制。然而,由于现实世界的网络拓扑结构的复杂性,忽略目标节点的偏好往往会导致奇怪或不直观的性能。在这项工作中,我们提出了一个双视角的相似性度量称为向前向后相似性(FBS),有效地计算拓扑相似性的角度来看,查询节点和候选节点的角度。我们的方法的有效性进行了评估,传统的定量排名指标和大规模的人类判断四个大型现实世界的网络。该方法符合人类的偏好,并优于其他相似性搜索算法的社区重叠和链接预测。最后,我们展示了五位著名研究人员在学术合作网络上的前5名排名,以说明我们的方法如何比其他方法更直观地捕捉语义。
2016-11-28 cs.IR cs.SI
Link Spam Detection based on DBSpamClust with Fuzzy C-means Clustering
搜索引擎成了无所不在的上网手段。垃圾搜索引擎是一种欺骗搜索引擎排名的技术,它夸大了排名。Web垃圾邮件制造者利用了基于链接的排名算法的脆弱性,通过创建许多人工引用或链接来获得比搜索引擎的结果更高的排名。基于链接的算法,如PageRank,HITS利用超链接的结构细节来对网络中的内容进行排名。本文提出了一种垃圾链接检测算法DBSpamClust。实验表明,该方法可以有效地过滤出垃圾网页
2010-12-31 cs.IR cs.IT cs.SI
An ontology-based approach for semantics ranking of the web search engines results
这项工作属于信息检索和语义网领域,旨在提高网络搜索工具的评价。事实上,网络上的大量信息以及新的无经验用户的增长为信息检索带来了新的挑战;当然,当前的搜索引擎(如Google、Bing和Yahoo)提供了浏览网络内容的有效方式。然而,这种类型的工具没有考虑到由查询词和文档词驱动的语义。本文提出了一种新的基于语义的方法来评估信息检索系统,其目标是增加搜索工具的选择性,并改善这些工具的评估。对所提出的评价搜索引擎的方法进行了测试,证明了它对实际搜索工具的适用性。结果表明,语义评估是一种很有前途的方法,以提高性能和行为的搜索引擎以及相关的结果,他们返回。
2012-12-11 cs.IR
On the Weakenesses of Correlation Measures used for Search Engines' Results (Unsupervised Comparison of Search Engine Rankings)
搜索引擎提供的结果列表的相关性是基本的,它具有深刻的多学科分支。在这里,我们提出了自动和无监督的方法来评估搜索引擎是否提供了可比或相关的结果。我们有两个主要贡献:首先,我们提供的证据表明,超过80%的输入查询-独立于他们的频率-两个主要的搜索引擎共享只有三个或更少的URL在他们的搜索结果,导致越来越多的分歧。在这种情况下(分歧),我们表明,即使是最强大的措施的基础上比较列表是无用的应用,也就是说,小的贡献太少的共同项目将推断没有信心。其次,为了克服这个问题,我们提出了第一个基于内容的措施-即,直接比较搜索结果的内容;这些措施是基于Jaccard比率和分布相似性措施(CDF措施)。我们证明它们是相互正交的(即,Jaccard和分布),并扩大了鉴别能力w.r.t.基于清单的措施我们的方法源于比较搜索引擎结果的实际需要,它是自动从查询选择到最终评估,它适用于任何地理市场,因此设计的规模和使用作为第一个过滤的查询选择(必要的)监督方法。
2011-07-13 cs.IR stat.CO
Ranking library materials
目的:本文讨论了适合图书馆资料的排序因素,并表明,一般的排序是一个复杂的过程,图书馆资料的排序需要多种技术。设计/方法/方式:相关文献进行了审查,以提供一个系统的概述合适的排名因素。讨论是基于Web搜索引擎中使用的排名因素的概述。结果:虽然有各种各样的排名因素适用于图书馆资料,今天的图书馆系统只使用其中的一些。在为图书馆目录设计排名部分时,需要对适用因素进行个别加权。研究限制/应用:虽然本文讨论了不同的因素,但没有给出特定的排名公式。然而,本文提出的论点是,这样的公式必须始终是针对特定用例的。实际影响:在为图书馆的搜索系统设计排名组件或与ILS供应商讨论此类项目时,可以考虑所提出的因素。创意/价值:本文的创新之处在于首次系统地探讨了基于Web搜索引擎使用的主要因素对图书馆文献的排序。
2015-11-18 cs.DL cs.IR
A Learnable Fully Interacted Two-Tower Model for Pre-Ranking System
针对双塔预排序模型缺乏信息交互导致有效性不足的问题,提出可学习全交互双塔模型(FIT),通过MQM和LSS模块实现高效的早期与后期特征交互,在保证推理效率的同时显著提升了模型性能。
2025-09-16 cs.IR
MILDNet: A Lightweight Single Scaled Deep Ranking Architecture
Fynd (Shopsense Retail Technologies Pvt. Ltd.)(Fynd(商感零售科技私人有限公司))
多尺度深度CNN架构[1,2,3]成功地捕获了用于视觉相似性任务的精细和粗略级别的图像描述符,但它们带来了昂贵的存储器开销和延迟。在本文中,我们提出了一个竞争的新颖的CNN架构,称为MILDNet,其优点是非常紧凑(约3倍)。受连续的CNN层表示抽象级别不断增加的图像这一事实的启发,我们通过将多个中间层的激活与最后一层耦合,将深度排名模型压缩为单个CNN。在著名的Street 2shop数据集[4]上训练,我们证明了我们的方法与当前最先进的模型一样好,只有三分之一的参数,模型大小,训练时间和推理时间的显着减少。中间层对图像检索任务的重要性也已被证明在流行的数据集Holidays,Oxford,Paris上执行[5]。因此,尽管我们的实验是在电子商务领域进行的,但它也适用于其他领域。我们进一步进行了消融研究,通过检查添加每个中间层的影响来验证我们的假设。有了这个,我们还提出了MILDNet的两个更有用的变体,一个是用于边缘设备的移动模型(小12倍),另一个是用于RAM较少的系统的复杂特征模型(512-d特征嵌入),以降低排名成本。此外,我们还提出了一种直观的方法来自动创建定制的内部三元组训练数据集,这是很难手动创建的。这个解决方案也可以部署为一个包罗万象的视觉相似性解决方案。最后,我们提出了我们的整个生产级架构,目前在Fynd的视觉相似性。
2019-03-14 cs.AI cs.CV cs.IR
Demystifying Core Ranking in Pinterest Image Search
Pinterest图片搜索引擎每天帮助数亿用户发现有趣的内容。这激励我们通过改进排名技术来提高图像搜索质量。在这项工作中,我们分享了我们如何实际设计和部署各种排名管道到Pinterest图像搜索生态系统中。具体而言,我们着重介绍了我们的新的研究和研究三个方面:训练数据,用户/图像特征化和排名模型。广泛的离线和在线研究比较了不同模型的性能,并证明了我们最终推出的排名模型的效率和有效性。
2018-03-26 cs.IR
Control Search Rankings, Control the World: What is a Good Search Engine?
本文针对“什么是好的搜索引擎”的伦理问题,提出含四种行为模式的基于角色的新方法,结合信息检索领域、新冠案例与搜索引擎发展史展开分析,并给出未来监管参考方向。
2025-02-05 cs.CY cs.IR
Controlling Output Rankings in LLM-Based Search via Generative Engine Optimization
School of Information Sciences, University of Illinois at Urbana-Champaign, IL, USA(伊利诺伊大学厄巴纳-香槟分校信息科学学院);Independent Researcher, Starc Institute(Starc研究所独立研究者);Research Scientist, Intel Labs, Santa Clara, CA, USA(英特尔实验室研究科学家)
CORE通过优化内容生成,提升基于LLM的搜索中小企业产品的可见性,实现高推广成功率。
2026-10-22 cs.AI cs.CL cs.IR
Globally Optimized Mutual Influence Aware Ranking in E-Commerce Search
在网络搜索中,从搜索结果多样化的角度研究了文档之间的相互影响。但由于网络搜索中的方法存在差异,不能直接应用于电子商业搜索。而对于电子商业搜索中搜索项之间的相互影响的研究却很少。我们提出了一个全局优化框架,相互影响意识的排名在电子商业搜索。我们的框架直接优化总销售量(GMV)排名,并将排名分解为两个任务。第一个任务是相互影响感知的购买概率估计。我们提出了一个全球性的特征扩展方法,将相互影响到一个项目的功能。我们还使用循环神经网络(RNN)来捕获与购买概率估计中的排名订单相关的影响。第二个任务是根据购买概率估计找到最佳排名顺序。我们将第二个任务视为序列生成问题,并使用束搜索算法来解决它。我们在一个大型电子商业搜索引擎上进行了在线A/B测试。结果表明,我们的方法为搜索引擎带来了5%的GMV增长超过一个强大的基线。
2018-05-22 cs.IR
Performance Evaluation and Optimization of Math-Similarity Search
数学中的相似性搜索是寻找与用户查询相似的数学表达式。我们将数学表达式之间的相似性因子概念化,并提出了一种通过基于这些相似性因子定义度量来进行数学相似性搜索(MSS)的方法[11]。我们的初步实施表明MSS的优势相比,非相似性为基础的搜索。为了更有效地搜索相似的数学表达式,MSS进一步优化。本文主要研究MSS的性能评估和优化问题。我们的研究结果表明,所提出的优化过程显着提高了MSS的性能方面的相关性排名和召回。
2015-05-29 cs.IR
OutRank: Speeding up AutoML-based Model Search for Large Sparse Data sets with Cardinality-aware Feature Ranking
Outbrain inc.(Outbrain公司)
OutRank通过基数感知特征排序加速AutoML模型搜索,在合成和真实数据集上无性能损失或优于基线,并支持探索高达300%更大的特征空间。
2023-09-04 cs.AI cs.IR cs.LG
Finding Salient Context based on Semantic Matching for Relevance Ranking
本文提出了一种基于显著性上下文的语义匹配方法来改进信息检索中的相关性排序。我们首先提出了一个新的显著性上下文的概念,然后定义了如何测量它,然后我们展示了如何使用滑动窗口技术来定位最显著的上下文。最后,我们使用查询词和文档语料库中最显著的上下文词之间的语义相似度来对这些文档进行排名。TREC的各种集合上的实验表明,我们的模型相比,国家的最先进的方法的有效性。
2019-09-03 cs.IR
Ranking Entity Based on Both of Word Frequency and Word Sematic Features
实体搜索是满足搜索引擎用户精确或模糊需求的新应用。百度杯2016挑战赛正好提供了这样一个解决实体搜索问题的机会。我们在电影、电视节目、名人和餐馆等4项任务上的平均MAP得分均名列第一。在本文中,我们提出了一系列的相似性特征的基础上的词频特征和词的语义特征,描述了我们的排名架构和实验细节。
2016-08-03 cs.IR
Re-Ranking Through an Attribution Lens for Citation Quality in Legal QA
Technical University of Munich(慕尼黑技术大学)
针对法律问答中检索增强生成系统的引用质量问题,提出基于扰动归因分数训练轻量级交叉编码器对候选段落重排序,显著提升引用忠实度并与专家答案对齐。
2026-06-02 cs.CL cs.IR
Learning to Rank Scientific Documents from the Crowd
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of Massachusetts Medical School(马萨诸塞大学医学院)
在任何科学中,寻找相关的已发表文章都是一项重要的任务,但随着生物医学领域新工作的爆炸式增长,它变得特别具有挑战性。大多数现有的方法使用文本相似性度量来识别两篇文章是否相关。然而,生物医学知识发现是假设驱动的。最相关的文章可能不是具有最高文本相似性的文章。在这项研究中,我们首先开发了一种创新的众包方法来建立一个专家注释的文档排名语料库。使用这个语料库作为金标准,我们然后评估的方法,使用文本相似度排名的相关性的文章。最后,我们开发和评估了一个新的监督模型,自动排名相关的科学文章。我们的研究结果表明,作者的排名显着不同的排名基于文本相似性的模型。通过在注释语料库的一个子集上训练学习排名模型,我们发现最好的监督学习排名模型(SVM-Rank)显着超过了最先进的基线系统。
2016-11-04 cs.CL cs.DL cs.IR
Experience of Developing a Meta-Semantic Search Engine
考虑到今天的Web搜索场景主要是基于关键字的,导致需要语义Web提供有效和有意义的搜索。现有的搜索引擎由于依赖于网页中可用的简单数据而容易对用户查询提供相关答案。另一方面,语义搜索引擎提供高效和相关的结果,因为语义网使用本体管理具有明确定义的含义的信息。一个Meta-搜索引擎是一个搜索工具,它将用户的查询转发到几个现有的搜索引擎,并通过使用自己的页面排名算法提供组合的结果。SemanTelli是一个Meta语义搜索引擎,通过智能代理从不同的语义搜索引擎(如Hakia,DuckDuckGo,SenseBot)获取结果。本文提出了增强SemanTelli与改进的片段分析为基础的页面排名算法和支持图像和新闻搜索。
2013-11-25 cs.IR
Semantic Similarity Measure of Natural Language Text through Machine Learning and a Keyword-Aware Cross-Encoder-Ranking Summarizer -- A Case Study Using UCGIS GIS&T Body of Knowledge
School of Geographical Sciences and Urban Planning, Arizona State University(亚利桑那州立大学地理科学与城市规划学院)
针对GIS&T BoK主题语义关系手动定义不完整的问题,评估多种NLP技术提取文本语义,并提出KACERS摘要器生成科学文献语义摘要,以指导BoK内容组织并展示长文本语义理解潜力。
2023-05-17 cs.AI cs.CL cs.IR
A Formal Account of Effectiveness Evaluation and Ranking Fusion
本文提出了一个理论框架,模型的检索系统提供的信息方面的信息论。建议的框架允许正式化:(i)系统的有效性作为系统输出和人类评估之间的信息理论相似性,以及(ii)排名融合作为信息量的测量。其结果是,建议的有效性度量改进了流行的度量方面的正式约束。此外,我们的实证实验表明,它从传统指标中捕获质量方面,而反过来则不正确。我们的工作还推进了对经验已知的有效性增加现象的理论基础的理解,当以无监督的方式结合检索系统输出时。
2018-09-14 cs.IR
An Innovative Approach for online Meta Search Engine Optimization
Northumbria University(诺森比亚大学)
本文提出了一种方法,以确定有效的技术用于Web搜索引擎优化(SEO)。了解SEO因素,可以影响页面排名在搜索引擎是有意义的网站管理员谁希望吸引大量的用户到他们的网站。不同于以往的相关研究,在这项研究中,我们开发了一个智能的Meta搜索引擎,聚合的结果,从各种搜索引擎和排名的基础上,几个重要的SEO参数。该研究试图建立在排名算法中使用更多的SEO参数有助于检索更好的搜索结果,从而提高用户满意度。从Meta搜索引擎生成的初始结果在更好地检索到高精度的搜索结果方面优于现有的搜索引擎。
2015-09-28 cs.AI cs.IR
UPV at TREC Health Misinformation Track 2021 Ranking with SBERT and Quality Estimators
Universitat Politècnica de València(瓦伦西亚理工大学)
搜索引擎上的健康错误信息是一个严重的问题,可能会对个人或公共健康产生负面影响。为了缓解这个问题,TREC组织了一个健康错误信息跟踪。本文介绍了我们对这一轨道的意见。我们使用BM 25和特定领域的语义搜索引擎检索初始文档。后来,我们研究了健康新闻的质量评估模式,并将其应用于重新排名的文件。我们合并的分数从不同的组成部分,通过使用倒数等级融合。最后,我们讨论了结果并总结了未来的工作。
2021-12-11 cs.AI cs.IR
Semantic Vector Encoding and Similarity Search Using Fulltext Search Engines
向量表示和向量空间建模(VSM)在现代机器学习中起着核心作用。我们提出了一种新的方法来“向量相似性搜索”的密集语义表示的单词和文档,可以部署在传统的基于反向索引的全文引擎,利用其鲁棒性,稳定性,可扩展性和无处不在。我们表明,这种方法允许索引和查询密集向量的文本域。这为实现重大效率提升以及更简单的部署、扩展和监控开辟了令人兴奋的途径。最终的结果是一个快速和可扩展的向量数据库,在向量搜索性能和质量之间进行了可调的权衡,并得到了Elasticsearch等标准全文引擎的支持。我们经验证明其查询性能和质量,通过应用此解决方案的语义搜索任务在整个英文维基百科的密集矢量表示。
2017-06-03 cs.IR
AdaptSSR: Pre-training User Model with Augmentation-Adaptive Self-Supervised Ranking
University of Science and Technology of China(中国科学技术大学);OPPO Research Institute(OPPO研究院);Hefei University of Technology(合肥工业大学)
针对用户建模中数据增强导致的特征丢失与噪声引入问题,提出增强自适应自监督排序方法AdaptSSR,通过多重成对排序损失和自适应融合机制预训练判别性用户模型,有效提升了下游任务表现。
2023-10-24 cs.AI cs.IR
Mind Your Language: Effects of Spoken Query Formulation on Retrieval Effectiveness
语音搜索正在成为与搜索引擎交互的流行模式。因此,研究已经转向构建更好的语音转录引擎、界面和搜索引擎,以更好地处理查询的固有冗长性。然而,当人们考虑其使用的非母语的英语,另一个方面,变得重要的是制定的查询用户。在本文中,我们提出了一个初步的研究结果,我们进行了与非英语母语的人制定查询给定的检索任务。我们的研究结果表明,目前的搜索引擎是敏感的,在他们的排名查询制定,从而突出了需要开发更强大的排名方法。
2013-12-14 cs.IR
Multi-reference Cosine: A New Approach to Text Similarity Measurement in Large Collections
一个高效、可扩展的文档相似性检测系统的重要性是不可否认的。搜索引擎需要批量文本相似性度量来检测其索引中的重复和接近重复的网页,以防止多次索引网页。此外,在评分阶段,搜索引擎需要相似性度量来检测网页上的重复内容,以提高其结果的质量。结合降维技术和信息增益理论的思想,提出了一种批量文本相似性检测的新方法。新方法的重点是搜索引擎需要检测重复和接近重复的网页。在NEWS20数据集上对新方法进行了测试,结果表明,新方法在速度和性能上都优于余弦文本相似度算法。最重要的是,它比其他竞争对手的方法,Simhash相似度算法更快,更准确.
2018-10-07 cs.IR
Farewell to Item IDs: Unlocking the Scaling Potential of Large Ranking Models via Semantic Tokens
ByteDance(字节跳动)
TRM通过语义标记替代物品ID,提升排序模型的扩展性与性能,实现存储减少和AUC提升。
2026-01-30 cs.IR
Similarity based Dynamic Web Data Extraction and Integration System from Search Engine Result Pages for Web Content Mining
有一个爆炸性的增长,在万维网上的信息,从而提出了一个挑战,Web用户从Web上提取的基本知识。搜索引擎以搜索引擎结果页面(SERP)的形式帮助我们缩小搜索范围。Web内容挖掘是帮助用户从这些SERP中提取有用信息的技术之一。在本文中,我们提出了两个相似性为基础的机制; WDES,提取所需的SERP和存储在本地存储离线浏览和WDICS,整合所需的内容,使用户能够执行预期的分析,并提取所需的信息。实验结果表明,WDES和WDICS在查准率和查全率方面优于DEPTA [1]。
2013-03-23 cs.DB cs.IR