CPS-MEBR: Click Feedback-Aware Web Page Summarization for Multi-Embedding-Based Retrieval
针对单嵌入难以完整表征复杂网页的问题,提出融合点击反馈的网页摘要框架CPS-MEBR,结合句子级语义交互生成多嵌入,提升检索质量。
2023-05-07 cs.IR
A Survey on Information Retrieval, Text Categorization, and Web Crawling
本文综述了信息检索的概念、方法和应用。它深入到IR系统中涉及的文档和查询建模,以及预处理操作,如删除停止词和同义词搜索技术。本文还讨论了文本分类及其在神经网络和机器学习中的应用。最后,网络爬虫的体系结构是要讨论如何互联网蜘蛛索引网络文件,以及他们如何允许用户在网络上搜索项目的光。
2012-12-10 cs.IR
Retrieval-as-a-Service:A System-Oriented Analysis of Industrial Retrieval Pipelines in Web Systems
Yale University(耶鲁大学);Stevens Institute of Technology(史蒂文斯理工学院);University of Maryland College Park(马里兰大学帕克分校);University of California, Berkeley(加州大学伯克利分校)
本文从系统角度调查工业检索管道,提出统一RaaS管道抽象,分析LLM集成的影响,为大规模Web系统提供设计指南。
2026-06-16 cs.IR
Careful Queries, Credible Results: Teaching RAG Models Advanced Web Search Tools with Reinforcement Learning
Tsinghua University(清华大学);The University of Hong Kong(香港大学);Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学)
本文提出WebFilter框架,通过结合检索过滤机制和基于行为与结果的奖励策略,提升RAG模型的查询质量和检索精度,实验表明其在领域内和领域外基准测试中表现更优。
2026-03-22 cs.IR
Pre-trained Language Model for Web-scale Retrieval in Baidu Search
检索是网络搜索中的一个关键阶段,它从十亿规模的语料库中识别出一小部分与查询相关的候选者。在检索阶段发现更多的语义相关的候选是非常有希望向最终用户展示更多的高质量的结果。然而,在实际的搜索引擎中,如何建立和部署有效的语义匹配检索模型仍然是一个不容忽视的挑战。在本文中,我们描述了检索系统,我们开发和部署在百度搜索。该系统利用了最新的国家的最先进的中文预训练的语言模型,即增强表示通过知识整合(ERNIE),这有利于系统的表达语义匹配。特别是,我们开发了一个基于ERNIE的检索模型,该模型配备了1)基于表达性转换器的语义编码器,以及2)全面的多阶段训练范式。更重要的是,我们提出了一个实用的系统工作流程部署模型在网络规模的检索。最终,该系统完全部署到生产环境中,并进行了严格的离线和在线实验。实验结果表明,该系统能够进行高质量的候选检索,特别是对于那些不常见的需求尾查询。总的来说,由预训练的语言模型(即,ERNIE)可以在很大程度上提高我们的搜索引擎的可用性和适用性。
2021-10-16 cs.IR
Web Table Extraction, Retrieval and Augmentation: A Survey
表格是组织和操作数据的强大而流行的工具。在网上可以找到大量的表格,这是一个宝贵的知识资源。本次调查的目的是综合和提出二十年的研究网络表。特别是,我们将现有的文献组织成六个主要类别的信息访问任务:表提取,表解释,表搜索,问答,知识库扩充,表扩充。对于这些任务中的每一个,我们确定和描述开创性的方法,目前相关的资源,并指出不同的任务之间的相互依赖性。
2020-02-05 cs.IR
DS@GT at LongEval: Evaluating Temporal Performance in Web Search Systems and Topics with Two-Stage Retrieval
DS@GT团队在CLEF 2025 LongEval中,基于Qwant数据集采用查询扩展与文档重排序的两阶段稀疏检索系统,评估并缓解Web内容演变导致的IR模型性能下降问题,最佳系统平均NDCG@10达0.296。
2025-07-11 cs.IR
LongEval-Retrieval: French-English Dynamic Test Collection for Continuous Web Search Evaluation
本文提出动态测试集LongEval-Retrieval,通过连续时间步子集合模拟网络搜索环境变化,提供法英双语数据、软相关性评估及基线分析。
2023-04-27 cs.IR
Role of Ranking Algorithms for Information Retrieval
随着网络使用量的日益增加,网络用户很容易迷失在网络丰富的超结构中。网站所有者的主要目的是根据用户的需求提供相关信息。本文首先阐述了Web挖掘是通过分析用户行为、页面内容来对用户和页面进行分类,然后描述了Web结构挖掘。本文介绍了不同的网页排序算法,并比较了这些算法用于信息检索。讨论和比较了基于网页排名的各种算法,如网页排名(PR)、加权网页排名(WPR)、超链接诱导主题选择(HITS)、距离排名和特征谣言算法。针对PageRank算法和加权PageRank算法设计了仿真接口,但PageRank是Google搜索引擎唯一使用的排名算法。
2012-08-09 cs.IR
Enhanced Trustworthy and High-Quality Information Retrieval System for Web Search Engines
万维网是最重要的信息来源。但是,信息的正确性得不到保证,搜索引擎检索到的信息相互冲突,所提供的信息质量也从低质量到高质量不等。我们提供了增强的可信度,在特定的(实体)和广泛的(内容)查询在网络搜索。可信度的过滤基于5个因素:出处,权威,年龄,流行度和相关链接。基于这5个因素计算可信度,并将其存储,从而提高检索可信网站的性能。计算出的可信度仅针对静态网站存储。质量是根据用户选择的策略提供的。基于质量的检索到的可信信息的排名使用WIQA(Web信息质量评估)框架。
2009-11-18 cs.IR
Semantic-Sensitive Web Information Retrieval Model for HTML Documents
随着互联网的出现,一个数字信息交流的新时代已经开始。目前,互联网包含超过50亿个在线网站,这个数字每天都在呈指数级增长。从根本上说,信息检索(IR)是存储文档和从这些文档中检索信息的科学和实践。从数学上讲,IR系统的核心是基于特征向量模型,并结合术语加权方案,该方案根据文档中的术语相对于其出现的上下文的重要性对其进行加权。实际上,向量空间模型(VSM),词频(TF)和逆词频(IDF)是主流IR系统中采用的其他长期建立的技术。然而,目前的IR模型只针对通用类型的文本文档,因为它们不考虑特定格式的文件,如HTML Web文档。提出了一种新的语义敏感的HTML文档Web信息检索模型。它由一个称为SWVM的向量模型和一个称为BTF-IDF的加权方案组成,特别设计用于支持HTML Web文档的索引和检索。所提出的模型的主要优点是,它分配额外的权重出现在某些预先指定的HTML标签,相关的文档的语义。此外,该模型是语义敏感的,因为它为每个被索引的术语生成同义词,然后对它们进行适当的加权,以增加检索具有相似上下文但不同词汇术语的文档的可能性。进行的实验,揭示了一个重大的提高,在精度的Web IR系统和一个激进的增加,被检索的相关文件的数量。作为进一步的研究,该模型是升级,以支持索引和检索的Web图像在多媒体丰富的Web文档。
2012-04-01 cs.IR
Improving web search using contextual retrieval
上下文检索是当今搜索引擎在方便查询和返回相关信息方面的关键技术。本文报道了一个系统的开发和评估,该系统旨在解决与万维网(WWW)的上下文信息检索相关的一些挑战。所开发的系统已被设计,以捕捉隐式和显式的用户数据,这是用来开发一个人的上下文配置文件。这样的配置文件可以在多个用户之间共享,以创建共享的上下文知识库。这些用于优化搜索查询并改善用户的搜索结果及其搜索体验。已经进行了一项实证研究,以评估该系统对一些假设。在本文中,结果相关的一个支持索赔,用户可以找到更容易使用的上下文搜索系统的信息。
2014-07-23 cs.IR
Simulating Users in Interactive Web Table Retrieval
本研究提出基于Doc2Query的交互式查询重构策略模拟Web表格检索会话,结合用户认知状态,通过多视角评估揭示查询策略与模态对用户有效性的影响。
2023-10-18 cs.IR
LongEval at CLEF 2025: Longitudinal Evaluation of IR Systems on Web and Scientific Data
The Open University(开放大学);Research Studios Austria, Data Science Studio(奥地利研究工作室,数据科学工作室);TU Wien(维也纳工业大学);University of Stavanger(斯塔万格大学);Univ. Grenoble Alpes, CNRS, Grenoble INP(格勒诺布尔阿尔卑斯大学,法国国家科学研究中心,格勒诺布尔理工学院);TH Köln - University of Applied Sciences(科隆应用技术大学)
LongEval 2025 通过两个动态数据集和两项检索任务,从时间维度评估检索系统在数据变化下的效果稳定性,并基于 nDCG 等指标对 19 支参赛团队的方法进行了纵向评测。
2025-09-22 cs.IR
The Retrieval Effectiveness of Web Search Engines: Considering Results Descriptions
目的:比较五个主要的Web搜索引擎(Google、Yahoo、MSN、Ask.com和Seekport)的检索效果,不仅考虑结果,而且考虑结果描述。设计/方法/方式:该研究使用现实生活中的查询。结果是匿名和随机的。结果由提出原始查询的人判断。结果:两个主要的搜索引擎,谷歌和雅虎,表现最好,他们之间没有显着差异。Google提供的结果描述比其他任何搜索引擎都要相关得多。这可能是用户认为该引擎优越的原因之一。研究局限性:该研究基于用户模型,其中用户相当系统地考虑了一定数量的结果。在现实生活中,情况可能并非如此。实际意义:暗示搜索引擎应该关注相关的描述。建议搜索者使用除Google之外的其他搜索引擎。创意/价值:这是第一个主要的研究比较结果和描述系统,并提出了新的检索措施,以考虑到结果的描述
2015-11-18 cs.IR
Web Retrieval-Aware Chunking (W-RAC) for Efficient and Cost-Effective Retrieval-Augmented Generation Systems
AI Research Team, Yellow.ai(Yellow.ai AI研究团队)
本文提出W-RAC,一种针对网页文档的高效分块框架,通过分离文本提取与语义分块规划,减少LLM token消耗,提升系统可观察性。
2026-01-08 cs.AI cs.IR
An Integrated Search Framework for Leveraging the Knowledge-Based Web Ecosystem
信息爆炸限制了基于知识的网络生态系统(KBWE)中检索词的判断,使得相关信息的检索及其知识管理具有挑战性。现有的信息检索(IR)工具和它们在一个框架中的融合需要关注,在其中搜索结果可以有效地管理。在这篇文章中,我们证明了各种用户和代理在各种KBWE方案的有效使用信息检索服务。本文提出了一种新的集成搜索框架(ISF),它综合利用了爬行策略、Web搜索技术和传统的数据库搜索方法。此外,ISF还提供全面的、动态的、个性化的、面向组织的信息检索服务,服务范围从Internet、Example、Intranet到个人桌面。在这项实证研究中,实验进行了证明在搜索过程中的改进,在概念ISF辨别。实验结果表明,与其他流行的搜索引擎相比,该搜索引擎的准确率有所提高。
2020-12-10 cs.IR
Semantic Modelling with Long-Short-Term Memory for Information Retrieval
在本文中,我们解决了以下问题,在Web文档和信息检索(IR):我们如何使用长期的上下文信息,以获得更好的IR性能?与使用词袋表示查询和文档的常见IR方法不同,我们将它们视为单词序列,并使用长短期记忆(LSTM)来捕获上下文依赖关系。据我们所知,这是LSTM首次应用于信息检索任务。由于信息检索问题的特殊性,训练策略与传统的LSTM不同。来自Bing网络搜索的IR任务的实验评估表明,所提出的方法在解决词汇不匹配和长期的上下文建模问题的能力,从而显着优于现有的最先进的方法的Web文档检索任务。
2015-02-27 cs.IR
Web2Text: Deep Structured Boilerplate Removal
网页是许多自然语言处理和信息检索任务的有价值的信息源。从这些文档中提取主要内容对于派生应用程序的性能至关重要。为了解决这个问题,我们引入了一个新的模型,执行序列标签,集体分类HTML页面中的所有文本块作为样板或主要内容。我们的方法使用了一个隐藏的马尔可夫模型上的潜力来自DOM树的功能,使用卷积神经网络。该方法在CleanEval基准测试中为样板文件的删除设置了一个新的最先进的性能。作为信息检索管道的一个组件,它提高了在CITCHWeb 12集合上的检索性能。
2018-03-27 cs.IR
Dr Web: a modern, query-based web data retrieval engine
Birkbeck, University of London(伦敦大学伯贝克学院);University of Messina(墨西拿大学)
本文提出Dr Web,一个基于查询语言的模块化Web数据检索引擎,解决动态内容与杂乱数据提取问题,并阐述其开源发布路径。
2025-02-18 cs.CL cs.DB cs.IR
Hybrid Information Retrieval Model For Web Images
90年代初的互联网的Bing Bang大大增加了通过网络分发和共享的图像数量。因此,开发了图像信息检索系统来索引和检索散布在因特网上的图像文件。这些系统中的大多数都是基于关键字的,它们基于文本元数据搜索图像;因此,它们是不精确的,因为用人类语言描述图像是模糊的。此外,还存在基于内容的图像检索系统,它们基于图像的视觉信息进行图像检索。然而,基于内容的类型系统仍然不成熟,不是有效的,因为他们遭受低检索查全率/查准率。本文提出了一种新的混合图像信息检索模型,用于索引和检索HTML文档中发布的Web图像。所提出的模型的区别标志是,它是基于图形内容和文本元数据。图形内容由图像的颜色特征和颜色直方图表示;而文本元数据由HTML文档中围绕图像的术语表示,更具体地说,除了出现在图像的alt属性,文件名和class-label中的术语之外,还出现在标记p,h1和h2中。此外,本文提出了一种新的术语加权方案称为VTF-IDF的短期可变的术语频率-逆文档频率,不同于传统的计划,它利用HTML标签结构,并分配一个额外的奖金权重出现在某些特定的HTML标签,与图像的语义。实验结果表明,该模型具有较高的检索准确率,优于现有的其他模型。
2012-04-01 cs.IR
An effective web document clustering for information retrieval
在过去的几年中,Web的大小呈指数级增长,用户可以获得与主题相关的数千个文档。有了这么多的信息,如果没有一个适当的框架来搜索现有的数据,就不可能充分利用万维网。这种必要的组织可以通过许多方式来完成。在本文中,我们介绍了一种组合的方法来聚类的网页,首先发现频繁集,然后聚类的文件。这些频繁集是通过使用频繁模式增长技术产生的。然后应用模糊C-均值算法对它进行聚类,找到具有高度相关性和相似特征的文档的聚类。我们使用Gensim包来实现我们的方法,因为它的简单性和鲁棒性。我们比较了我们的结果与(频繁模式增长,K-means)和(频繁模式增长,余弦_相似性)的组合方法。实验结果表明,该方法比上述两种方法的结合更有效,并且能够更有效地处理传统模糊C均值算法对初始质心和待形成聚类数敏感的严重缺陷。
2012-11-06 cs.IR
Embedding Web-based Statistical Translation Models in Cross-Language Information Retrieval
尽管越来越多的语言对被机器翻译服务所覆盖,但仍有许多语言对缺乏翻译资源。跨语言信息检索(CLIR)是一种需要复杂程度相对较低的翻译功能的应用,因为当前的信息检索(IR)模型仍然是基于词袋的。Web为自动构建可用于统计翻译模型自动训练的平行语料库提供了广阔的资源。所得到的翻译模型可以以几种方式嵌入到检索模型中。在本文中,我们将探讨的问题,自动挖掘并行文本从Web和不同的方式集成的翻译模型的检索过程中。我们对CLIR标准测试集的实验表明,基于Web的翻译模型在CLIR任务中可以超过商业机器翻译系统。这些结果打开的角度,构建一个全自动查询翻译设备CLIR在一个非常低的成本。
2003-12-03 cs.CL cs.IR
Beyond Pipelines: A Fundamental Study on the Rise of Generative-Retrieval Architectures in Web Research
Institute for Advanced Studies in Basic Sciences(基础科学高级研究所)
本文研究了生成-检索架构在网页研究中的崛起,探讨了LLMs通过RAG对网页研究和行业的影响,分析了关键进展、挑战及未来方向。
2026-02-19 cs.AI cs.IR
Evaluating the retrieval effectiveness of Web search engines using a representative query sample
搜索引擎检索有效性研究通常是小规模的,仅使用有限的查询样本。此外,查询由研究人员选择。我们从德国一家主要的搜索引擎中随机抽取了1,000个信息查询和1,000个导航查询,并根据这个样本比较了谷歌和必应的结果,从而解决了这些问题。陪审员是通过众包找到的,数据是使用专门的软件,相关性评估工具(RAT)收集的。我们发现,虽然Google在这两种查询类型上都优于Bing,但信息查询的性能差异相当小。然而,对于导航查询,Google在95.3%的情况下找到了正确答案,而Bing只找到了76.6%的正确答案。我们的结论是,搜索引擎性能的导航查询是非常重要的,因为在这种情况下,用户可以清楚地识别查询,返回正确的结果。因此,这种查询类型的性能可能有助于解释用户对搜索引擎的满意度。
2014-05-09 cs.IR
WebNavigator: Global Web Navigation via Interaction Graph Retrieval
National Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室);School of Artificial Intelligence(人工智能学院);Fellou AI
WebNavigator通过交互图检索和路径规划解决自主网络导航中的拓扑盲区问题,实现优于企业级代理的性能。
2026-10-06 cs.AI cs.IR
WebRec: Enhancing LLM-based Recommendations with Attention-guided RAG from Web
The Hong Kong Polytechnic University(香港理工大学)
针对现有基于RAG的推荐系统未充分利用网络资源的问题,提出WebRec框架,通过LLM生成适配的检索查询、设计MP-Head模块增强分散相关信息的注意力,有效提升了推荐效果。
2025-11-18 cs.IR
Designing a Dynamic Components and Agent based Approach for Semantic Information Retrieval
本文提出了一种基于Agent和语义Web技术的Web信息管理方法,面向语义的基于Agent的搜索(SOAS),以应对当前存在的挑战,Meta数据提取,建模和信息检索在Web上。SOAS的设计遵循四个主要需求,即:自动用户请求处理,动态非结构化全文阅读,分析和建模,语义查询生成和优化结果分类器。SOAS的体系结构由一个称为个人代理(PA)的代理和五个动态组件组成,即,请求处理单元(RPU)、代理查询器(AL)、代理查询器(AC)、列表生成器(LB)和结果生成器(RG)。此外,在本文中,我们简要地讨论了语义Web和一些已经存在的时间提出和实现基于语义的方法。
2010-08-07 cs.IR
PRESY: A Context Based Query Reformulation Tool for Information Retrieval on the Web
问题陈述:网络上的海量信息以及新用户的不断增长给信息检索带来了新的挑战。这些用户越来越难以找到满足其个人需要的相关文件。当然,目前的搜索引擎(如谷歌,必应和雅虎)提供了一个有效的方式来浏览网页内容。然而,结果质量高度依赖于使用查询,这些查询需要更精确地找到相关文档。对于大多数不熟练的用户来说,这项任务仍然很复杂,他们无法在查询中用重要的词来表达自己的需求。因此,我们认为,重新制定的初始用户的查询可以是一个很好的替代方案,以提高信息的选择性。本研究提出一种新的方法,并提出了一个原型系统称为PRESY(Profile-based REformulation SYSTEM)的信息检索在Web上。方法:它使用增量方法通过构建上下文基础来对用户进行分类。后者是由两种类型的上下文(静态和动态)使用用户的配置文件获得。提出的架构实现使用.NET环境进行查询重构测试。结果:实验结果表明,该方法有效地提高了返回内容的精度。这些测试是用最流行的搜索引擎(即谷歌,绑定和雅虎)进行的,特别是因为它们的高选择性。在给定的结果中,我们发现查询重构提高了前三个结果的10.7%和11.7%的下七个返回的元素。因此,我们可以看到,用户初始查询的重新表达提高了返回内容的相关性。
2011-06-12 cs.IR
Handling Overload Conditions In High Performance Trustworthy Information Retrieval Systems
Web搜索引擎针对给定的搜索查询检索大量的信息。但用户只需要从这些庞大的检索数据中获得可靠和高质量的信息。搜索引擎的响应时间必须是最小值,以便满足用户。即使系统过载,也应该保持最佳水平的响应时间。本文提出了一种适用于Web搜索引擎的信息检索系统的最优减载算法,用于处理实时数据流应用中的过载问题。实验结果表明,该算法使Web搜索引擎能够在最佳的响应时间内为用户提供可靠的搜索结果,即使在过载的情况下。
2010-04-26 cs.IR
OwlerLite: Scope- and Freshness-Aware Web Retrieval for LLM Assistants
University of Passau(帕绍大学);IT:U Austria(奥地利信息技术大学)
OwlerLite通过用户定义的范围和数据新鲜度提升LLM助手的检索可控性和可信度。
2026-01-25 cs.HC cs.IR
From Crawled to Published: A Publisher-Controlled Web Architecture for an AI-Native Internet
KAUST(卡塔尔科技大学)
本文提出AI原生互联网的概念,旨在通过语义解析器和信息片段暴露机制,优化网络架构以支持AI驱动的语义检索。
2026-10-21 cs.AI cs.IR cs.NI
An Effective Information Retrieval for Ambiguous Query
搜索引擎为单个用户查询返回数千个网页,其中大多数是不相关的。在这种情况下,有效的信息检索从不断扩大的网络是一个具有挑战性的任务,特别是,如果查询是模糊的。这里出现的主要问题是,如何获得相关的页面,一个模糊的查询。提出了一种基于向量空间模型和自由字典的数据挖掘中关联概念的社区向量生成方法。我们通过计算社区向量和由搜索引擎提取的网页形成的文档向量之间的相似度来开发聚类。我们使用Gensim软件包来实现该算法,因为它的简单性和鲁棒性。分析表明,我们的方法是一种有效的方法来形成一个模糊的查询聚类。
2012-04-06 cs.IR
Retrieval Collapses When AI Pollutes the Web
NAVER Corp.(NAVER公司)
研究发现AI生成内容污染导致检索系统崩溃,需引入检索意识策略以防止质量下降。
2026-02-18 cs.AI cs.IR
Enhancing Dense Retrievers' Robustness with Group-level Reweighting
针对无监督web图数据模式多样且不平衡导致密集检索模型性能次优的问题,提出WebDRO方法,通过聚类锚点-文档对并利用组分布鲁棒优化重新加权,提升模型在最坏情况下的泛化能力与检索性能。
2024-10-14 cs.IR
DuReader_retrieval: A Large-scale Chinese Benchmark for Passage Retrieval from Web Search Engine
University of Edinburgh(爱丁堡大学);Baidu Inc.(百度公司)
本文介绍了一个用于段落检索的大规模中文数据集DuReader_retrieval。DuReader_retrieval包含来自商业搜索引擎的超过9万个查询和超过800万个独特的段落。为了减轻其他数据集的缺点并确保我们的基准测试的质量,我们(1)通过手动注释从多个检索器汇集的结果来减少开发和测试集中的假阴性,以及(2)删除语义上与开发和测试查询相似的训练查询。此外,我们还提供了两个用于跨域评估的域外测试集,以及一组用于跨语言检索评估的人工翻译查询。实验结果表明,DuReader_retrieval是一个具有挑战性的和一些问题仍然没有解决,如显着的短语不匹配和查询和段落之间的句法不匹配。这些实验还表明,密集检索器不能很好地推广跨领域,跨语言检索本质上是具有挑战性的。DuReader_retrieval可在https://github.com/baidu/DuReader/tree/master/DuReader-Retrieval上公开获取。
2022-11-15 cs.CL cs.IR
A novel model for query expansion using pseudo-relevant web knowledge
在信息检索领域,查询扩展(QE)一直被用作处理用户查询与目标信息之间的词不匹配的基本问题的技术。在查询词与扩展词之间的关系上下文中,现有的加权技术往往不能恰当地捕捉词与词之间的关系以及词与整个查询词之间的关系,导致检索效率较低。我们提出的QE方法通过提出三个加权模型来解决这个问题,这三个加权模型基于(1)tf-itf,(2)基于k-最近邻(kNN)的余弦相似性,以及(3)相关性得分。此外,为了提取扩展术语的初始集合,我们使用由三个流行的搜索引擎即Google、Bing和DuckDuckGo返回的前N个网页组成的伪相关网络知识来响应原始查询。在这三个加权模型中,tf-itf对从网络内容中获得的每个单独术语进行评分,基于kNN的余弦相似度对扩展术语进行评分以获得术语与术语的关系,相关性评分对选定的扩展术语相对于整个查询进行加权。该模型被称为基于Web知识的查询扩展(WKQE),在FIRE数据集上,与未扩展的查询相比,MAP得分提高了25.89%,GMAP得分提高了30.83%。与其他相关方法的WKQE技术的比较分析清楚地表明显着改善检索性能。我们还分析了不同数量的伪相关文档和扩展条款的检索效果的建议模型。
2019-08-27 cs.IR
An ontology-based approach for semantics ranking of the web search engines results
这项工作属于信息检索和语义网领域,旨在提高网络搜索工具的评价。事实上,网络上的大量信息以及新的无经验用户的增长为信息检索带来了新的挑战;当然,当前的搜索引擎(如Google、Bing和Yahoo)提供了浏览网络内容的有效方式。然而,这种类型的工具没有考虑到由查询词和文档词驱动的语义。本文提出了一种新的基于语义的方法来评估信息检索系统,其目标是增加搜索工具的选择性,并改善这些工具的评估。对所提出的评价搜索引擎的方法进行了测试,证明了它对实际搜索工具的适用性。结果表明,语义评估是一种很有前途的方法,以提高性能和行为的搜索引擎以及相关的结果,他们返回。
2012-12-11 cs.IR
Aligning Web Query Generation with Ranking Objectives via Direct Preference Optimization
提出利用直接偏好优化(DPO)将排序信号融入查询生成,以生成高质量合成查询,提升下游检索性能,并在MS MARCO基准上验证了有效性。
2025-05-25 cs.IR
MS MARCO Web Search: a Large-scale Information-rich Web Dataset with Millions of Real Click Labels
本文提出 MS MARCO Web Search 数据集,以数百万真实点击标签和贴近真实分布的丰富网络数据支持神经索引、嵌入及大语言模型信息访问研究,并提供三项检索挑战基准。
2024-05-13 cs.IR
DailyQA: A Benchmark to Evaluate Web Retrieval Augmented LLMs Based on Capturing Real-World Changes
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院)
DailyQA是一个自动更新的动态基准,利用维基百科修订日志生成每周问题,评估LLM处理时间敏感网络信息的能力,发现检索结果重排序至关重要,且LLM仍面临重大挑战。
2025-05-22 cs.AI cs.IR
KhyontekAI at CheckThat! 2026: Multilingual Dense Retrieval and Cross-Encoder Reranking for Scientific Web Claims
Tezpur University(特兹普尔大学)
该研究针对社交媒体科学断言的多语言来源检索难题,提出结合微调密集检索与交叉编码器重排序的两阶段框架,经实验验证元数据丰富化及交叉编码器重排序可提升效果,在CLEF 2026任务中取得多语言MRR@5的优异成绩。
2026-10-14 cs.CL cs.IR
A Vietnamese information retrieval system for product-price
价格信息检索(IR)系统允许用户搜索和查看特定产品的价格之间的差异。构建产品价格驱动的IR系统是一个具有挑战性和活跃的研究领域。完全依赖商店通过界面环境提供的产品信息的方法会受到数据库的限制。而自动系统则具体要求输入产品名称和商业网站。在这两种范式下,为越南人建立产品价格IR系统的方法仍然非常有限。在本文中,我们介绍了一个自动越南IR系统的产品价格,通过识别和存储Xpath模式,以提取产品的价格从商业网站。我们的系统的实验显示出可喜的成果。
2019-11-26 cs.IR
Task-Adaptive Retrieval over Agentic Multi-Modal Web Histories via Learned Graph Memory
School of Engineering, Royal Melbourne Institute of Technology University(皇家墨尔本理工大学工程学院)
本文提出ACGM方法,通过任务自适应图记忆检索代理历史,利用策略梯度优化提升检索质量,在多个数据集上取得显著成果。
2026-04-09 cs.AI cs.IR
Webly Supervised Joint Embedding for Cross-Modal Image-Text Retrieval
University of California, Riverside(加州大学河滨分校)
视觉数据和自然语言描述之间的跨模态检索一直是多媒体领域的一个挑战。虽然最近的图像-文本检索方法通过学习跨模态对齐的深度表示提供了很大的希望,但这些方法中的大多数都受到小规模数据集的训练问题的困扰,这些小规模数据集覆盖了有限数量的具有地面真理句子的图像。此外,通过用句子注释数百万张图像来创建更大的数据集是非常昂贵的,并且可能导致有偏见的模型。受最近深度神经网络中Web监督学习的成功启发,我们利用带有噪声注释的现成Web图像来学习鲁棒的图像-文本联合表示。具体来说,我们的主要想法是利用Web图像和相应的标签,以及完全注释的数据集,来训练学习视觉语义联合嵌入。我们提出了一个两阶段的任务,可以增强一个典型的监督成对排序损失为基础的配方与弱注释的网络图像学习更强大的视觉语义嵌入。两个标准的基准数据集上的实验表明,我们的方法实现了显着的性能增益相比,国家的最先进的方法在图像-文本检索。
2018-08-23 cs.CV cs.IR cs.MM
Idea2Prior: Auditable Paper Retrieval and Ranking from Research Ideas
Johns Hopkins University(约翰斯·霍普金斯大学)
Idea2Prior是基于PaperArena的可审计文献检索系统,结合多源发现等技术,在EASY、MEDIUM查询的论文检索排序上优于ChatGPT、Gemini的网页深度研究,可支持针对性思路到论文检索。
2026-10-16 cs.IR
To Click or not to Click? The Role of Contextualized and User-Centric Web Snippets
在搜索网络时,通常可能有太多的结果可用于模糊查询。从检索到的页面中提取的文本片段是页面对查询意图的有用性的指示器,并且可以用于集中搜索结果的范围。在本文中,我们提出了一种新的方法来自动提取网页片段,是高度相关的查询意图和表达的网页的整个内容。我们表明,语义的使用,作为重点检索的基础,产生高质量的文本片段的建议。与使用页面的统计内容获得的片段相比,我们的方法提供的片段在检索性能方面明显更好。此外,我们的研究表明,语义驱动的片段生成也可以用来增强传统的段落检索算法的基础上,字重叠或统计权重,因为它们通常在覆盖范围不同,并产生不同的结果。用户点击查询的相关片段可以用来细化查询结果,并促进最全面的相关文档。
2009-03-14 cs.IR
Semantic Information Retrieval Using Ontology In University Domain
当今的传统搜索引擎几乎不提供与用户的搜索查询相关的基本内容。这是因为用户发出的请求的上下文和语义没有得到充分的分析。因此,这里需要一个语义Web搜索出现。SWS即将进入结合了自然语言处理和人工智能的网络搜索领域。本文所做工作的目的是设计、开发和实现一个面向大学领域的语义搜索引擎-- SIEU(Semantic信息抽取in University Domain)。SIEU使用本体作为信息检索过程的知识库。这不仅仅是一个关键字搜索。它是一个层次以上的谷歌或任何其他搜索引擎检索分析只是关键字。在这里,从语法和语义两方面分析查询。所开发的系统检索的Web结果更相关的用户查询,通过关键字扩展。这里获得的结果将足够准确,以满足用户的要求。由于对查询进行了语义分析,因此准确率将得到提高。该系统对从事网络开发的人员和研究人员具有一定的参考价值。Google搜索结果将重新排名并优化,以提供相关链接。为了排名,已经应用了一种算法,该算法为用户查询获取更合适的结果。
2012-07-24 cs.IR
XML Information Retrieval:An overview
由于在线网络信息的爆炸性增长,定位和提取有价值的相关信息仍然是信息检索系统的主要挑战。这些挑战可以被认为是XML信息检索的挑战,因为XML已经成为Web上的事实标准。对XML信息检索的研究始于为XML信息检索定制的经典信息检索策略,后来发展出了专门针对XML信息检索的新的信息检索策略。同时,文献也揭示了快速智能红外系统的发展。尽管它们在特定的约束域中取得了成功,但在复杂的信息空间中,它们还有额外的限制。因此,IR系统的有效性在满足最大需求方面没有得到解决。本文概述了XML IR中早期的工作和差距。
2014-10-27 cs.IR
G-Bean: an ontology-graph based web tool for biomedical literature retrieval
目前,大多数人使用PubMed搜索MEDLINE数据库,这是生命科学和生物医学信息的重要书目信息源。然而,PubMed有一些缺点,使得很难找到与用户个人意图有关的相关出版物,特别是对于非专家用户。为了改善PubMed的不足,我们开发了一个基于图的生物医学搜索引擎G-Bean,它通过三个方面的创新来解决PubMed的不足:并行文档索引创建、基于本体图的查询扩展和基于用户搜索意图的文档检索和重新排序。使用106个OHSUMED基准查询的性能评估显示,当使用这些查询搜索MEDLINE数据库时,G-Bean返回的相关结果比PubMed更多。PubMed甚至无法返回某些OHSUMED查询的任何检索结果,因为它无法从自然语言查询字符串自动形成适当的布尔查询语句。G-Bean可在http://bioinformatics.clemson.edu/G-Bean/index.php.G-Bean上获得,它通过基于本体图的查询扩展、自动文档索引和用户搜索意图发现来解决PubMed的局限性。它在从MEDLINE数据库中查找相关文章以满足用户的信息需求方面显示出显着的优势。
2015-08-31 cs.IR
Web-Based File Clustering and Indexing for Mindoro State University
民都洛州立大学基于网络的文件聚类和索引旨在将通过网络传播的数据组织成组或集合,以促进数据的可用性和访问,同时满足用户的偏好。主要的好处包括增加Web信息的可访问性,了解用户的导航行为,改善Web上的信息检索和内容交付。基于Web的文件聚类可以帮助用户找到所需的文档。在本文中,一种新的方法已被引入搜索结果聚类,是基于检索到的文档的语义,而不是在这些文件中的术语的语法。数据聚类被用来改善从文档集合中的信息检索。数据处理和分析使用SPSS的工具进行评估,以测试所使用的措施的信度和效度。评价基于所选质量特征描述的Likert量表(优、良、一般和差)。
2022-02-13 cs.IR
Retrieval of very large numbers of items in the Web of Science: an exercise to develop accurate search strategies
目前的交流提出了一个简单的练习,目的是解决一个单一的问题:在Web of Science界面中检索大量的项目。众所周知,Web of Science界面允许用户从单个查询中获得最多100,000个项目。但是,如果查询的结果超过100,000项,该怎么办呢?这项工作为实现这一目标找到了一种可能的办法。案例研究是检索美国特定年份的全部科学成果。使用数据库的Source字段检索项目的不同部分。然后,创建一个简单的布尔语句,以消除重叠,提高搜索策略的准确性。有人指出,在制定先进的搜索策略方面,团队合作十分重要。
2009-11-06 cs.DL cs.IR physics.soc-ph
Social Network Extraction: Superficial Method and Information Retrieval
社会网络已经成为政府的主题之一,主要是处理混乱的问题。在这些问题上,网络的使用正在稳步增长。然而,大多数Web文档是非结构化的,缺乏语义。本文提出了一种信息检索驱动的方法来处理Web中特征的异构性。建议的解决方案是比较一些方法已经显示出提取社会关系的能力:强度关系和基于在线学术数据库的关系。
2016-01-12 cs.IR cs.SI
A Study of Factuality, Objectivity and Relevance: Three Desiderata in Large-Scale Information Retrieval?
信息检索(IR)系统处理的许多信息是不可靠的,有偏见的,通常是不可信的[1],[2],[3]。然而,事实性和客观性检测并不是IR系统的标准组件,尽管在过去十年中自然语言处理(NLP)中已经成为可能。受此启发,我们询问事实性和客观性检测是否以及如何使IR受益。我们分两部分回答这个问题。首先,我们使用最先进的自然语言处理技术计算两个TREC集合中文档真实性和客观性的概率,并分析其与文档相关性的关系。我们发现,真实性是强烈的,正相关的文件相关性,但客观性不是。其次,我们研究的影响,真实性和客观性的检索效率,将它们作为查询独立的功能,我们结合了竞争力的语言建模基线。对450个TREC查询的实验表明,在强基线上,真实性提高了精度>10%,特别是对于网络搜索中使用的未经策划的数据;客观性给出了混合的结果。一个总体的明显趋势是,当搜索未经策划的(例如网络)文档时,文档的真实性和客观性对IR更有利。据我们所知,这是第一个研究的真实性和客观性的后端IR,贡献新的发现之间的关系相关性和真实性/客观性,并在统计上显着收益的检索效率在竞争激烈的网络搜索任务。
2016-10-08 cs.IR