A Concept Knowledge-Driven Keywords Retrieval Framework for Sponsored Search
在赞助商搜索中,检索同义关键字的精确匹配类型是非常重要的准确定位广告。已经提出了基于数据驱动的深度学习的方法来解决这个问题。该方法的一个明显缺点是它对实体级长尾实例的泛化性能很差,即使它们可能与频繁实例共享相似的概念级模式。在大量知识库的帮助下,我们发现大多数商业同义查询-关键字对可以通过概念标注抽象成有意义的概念模式。基于这一事实,我们提出了一个新的知识驱动的概念检索框架,以减轻这个问题,它包括三个部分:数据概念化,匹配通过概念模式和概念增强的歧视。离线和在线实验表明,我们的方法是非常有效的。该框架已成功应用于百度的赞助搜索系统中,并取得了显著的收益。
2021-02-21 cs.IR
A Survey on Adversarial Information Retrieval on the Web
这篇调查报告讨论了不同形式的恶意技术,这些技术可能会影响信息检索模型如何检索文档进行查询,以及它们的补救措施。
2020-02-15 cs.IR
Responding to Retrieval: A Proposal to Use Retrieval Information for Better Presentation of Website Content
检索和内容管理被认为是相互排斥的。在本文中,我们建议他们不必如此。在通常的信息检索情况下,有关网站的服务器管理员可以获得一些关于导致网站的查询(由于“点击”或“访问”)的信息。这些信息可以用来更好地展示网站上的内容。此外,我们建议检索系统可以与内容提供方共享更多的信息。这将使得内容提供方(任何网站)能够具有与查询趋势一致的内容的更动态的呈现,而不侵犯查询用户的隐私。其结果将是检索系统和内容提供方之间更好的同步,目的是改善用户的网络搜索体验。这也将使内容提供方在这一过程中有发言权,因为内容提供方比检索系统更了解内容。这也意味着内容呈现可以响应于查询而改变。最终,用户将能够更轻松、更快速地找到相关内容。
2015-01-19 cs.IR
Evaluating Elements of Web-based Data Enrichment for Pseudo-Relevance Feedback Retrieval
在这项工作中,我们分析了一个伪相关检索方法的基础上,Web搜索引擎的结果。通过使用来自Web搜索引擎结果页面和链接内容的文本数据来丰富主题,我们训练特定于主题且具有成本效益的分类器,这些分类器可用于搜索相关文档的测试集合。在Grossman和Cormack最初在TREC Common Core 2018上所做的尝试的基础上,我们考虑到不同的搜索引擎,查询和测试集合,解决了系统性能随时间推移的问题。我们的实验结果显示了所考虑的组件如何以及在多大程度上影响检索性能。总体而言,分析的方法是强大的平均检索性能和一个有前途的方式来使用Web内容的数据丰富的相关反馈方法。
2022-03-10 cs.IR
WTR: A Test Collection for Web Table Retrieval
我们描述了Web表格检索任务的测试集合的发展,特点和可用性,它使用了一个大规模的Web表格语料库提取的公共爬行。由于Web表通常具有丰富的上下文信息,如页面标题和周围的段落,我们不仅提供了相关性判断的查询表对,但也相关性判断的查询表上下文对相对于查询,这是被忽略了以前的测试集合。为了方便未来的研究与此基准,我们提供了有关如何预处理数据集的详细信息,以及传统和最近提出的表检索方法的基线结果。我们的实验结果表明,适当使用上下文标签可以受益于以前的表检索方法。
2021-05-05 cs.IR
Effective performance of information retrieval on web by using web crawling
万维网由超过500亿个在线页面组成。它是高度动态的,即网络不断引入新的功能,吸引了许多人。由于这种规模上的爆炸,有效的信息检索系统或搜索引擎可用于访问信息。在本文中,我们提出了EPOW(有效性能的网络爬虫)架构。它是一个软件代理,其主要目标是最大限度地减少用户定位所需信息的过载。我们设计了网络爬虫,考虑到并行化的政策。由于我们的EPOW爬虫有一个高度优化的系统,它可以每秒下载大量的页面,同时对崩溃鲁棒。我们还提出了使用数据结构的概念来实现调度器和循环队列,以提高我们的网络爬虫的性能。
2012-05-13 cs.IR
An end-to-end Generative Retrieval Method for Sponsored Search Engine --Decoding Efficiently into a Closed Target Domain
本文提出了一种面向赞助式搜索引擎的生成式检索方法,该方法利用神经机器翻译(NMT)直接从查询中生成关键词。这种方法是完全端到端的,它跳过了传统检索系统中的查询重写和相关性判断阶段。与标准的机器翻译不同,检索环境中的目标空间是一个受约束的闭集,其中只应生成提交的关键字。我们提出了一个基于Trie树的修剪技术在束搜索,以解决这个问题。将此方法部署到实际工业环境中的最大挑战是运行解码器的延迟影响。自规范化训练与基于Trie的动态修剪相结合,大大减少了推理时间,加速了20倍以上。我们还设计了一个混合的在线-离线服务架构,以减少延迟和CPU消耗。为了鼓励NMT生成现有系统未发现的新关键字,仔细选择训练数据。该模型已成功应用于百度商业搜索引擎中作为辅助检索分支,为百度带来了10倍以上的收益提升。
2019-03-18 cs.IR
Information Retrieval (IR) through Semantic Web (SW): An Overview
大量的数据存在于网络上。它包含了大量的网页,从中找到合适的信息是非常繁琐的任务。有必要以正式方式组织数据,以便用户能够容易地访问和使用它们。为了从文档中检索信息,我们有许多信息检索(IR)技术。目前的IR技术还没有那么先进,他们可以利用文档中的语义知识,并给出精确的结果。IR技术是主要因素负责处理语义Web(SW)语言的注释,并在本文中用于检索信息的知识表示语言进行了讨论。
2014-03-27 cs.IR
CPS-MEBR: Click Feedback-Aware Web Page Summarization for Multi-Embedding-Based Retrieval
针对单嵌入难以完整表征复杂网页的问题,提出融合点击反馈的网页摘要框架CPS-MEBR,结合句子级语义交互生成多嵌入,提升检索质量。
2023-05-07 cs.IR
A Survey on Information Retrieval, Text Categorization, and Web Crawling
本文综述了信息检索的概念、方法和应用。它深入到IR系统中涉及的文档和查询建模,以及预处理操作,如删除停止词和同义词搜索技术。本文还讨论了文本分类及其在神经网络和机器学习中的应用。最后,网络爬虫的体系结构是要讨论如何互联网蜘蛛索引网络文件,以及他们如何允许用户在网络上搜索项目的光。
2012-12-10 cs.IR
Information Retrieval on the web and its evaluation
互联网是数以百万计的人的主要信息来源之一。人们可以在互联网上找到几乎所有问题的相关信息。此外,如果我们想检索关于某个特定主题的信息,我们可能会发现与该主题相关的数千个网页。但我们主要关心的是从这些集合中找到相关的网页。因此,在本文中,我讨论了如何从网络上检索信息和检索这些信息所需的努力,在系统和用户的努力。
2012-09-28 cs.IR
Retrieval-as-a-Service:A System-Oriented Analysis of Industrial Retrieval Pipelines in Web Systems
Yale University(耶鲁大学);Stevens Institute of Technology(史蒂文斯理工学院);University of Maryland College Park(马里兰大学帕克分校);University of California, Berkeley(加州大学伯克利分校)
本文从系统角度调查工业检索管道,提出统一RaaS管道抽象,分析LLM集成的影响,为大规模Web系统提供设计指南。
2026-06-16 cs.IR
Pretraining De-Biased Language Model with Large-scale Click Logs for Document Ranking
预训练语言模型在各种大规模信息检索任务中取得了巨大的成功。然而,大多数预训练任务是基于伪造的检索数据,其中定制规则产生的查询被假设为用户对给定文档或段落发出的查询。因此,我们探索使用大规模点击日志来预训练语言模型,而不是对模拟查询进行回复。具体来说,我们建议使用用户行为特征来预训练一个用于文档排序的去偏见语言模型。对百度脱敏点击日志的大量实验验证了我们方法的有效性。我们的团队在WSDM Cup 2023网络搜索预训练中以12.16525的折扣累积增益@10(DCG@10)得分在最终排行榜上获得第一名。
2023-02-27 cs.IR
Careful Queries, Credible Results: Teaching RAG Models Advanced Web Search Tools with Reinforcement Learning
Tsinghua University(清华大学);The University of Hong Kong(香港大学);Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学)
本文提出WebFilter框架,通过结合检索过滤机制和基于行为与结果的奖励策略,提升RAG模型的查询质量和检索精度,实验表明其在领域内和领域外基准测试中表现更优。
2026-03-22 cs.IR
Web Table Extraction, Retrieval and Augmentation: A Survey
表格是组织和操作数据的强大而流行的工具。在网上可以找到大量的表格,这是一个宝贵的知识资源。本次调查的目的是综合和提出二十年的研究网络表。特别是,我们将现有的文献组织成六个主要类别的信息访问任务:表提取,表解释,表搜索,问答,知识库扩充,表扩充。对于这些任务中的每一个,我们确定和描述开创性的方法,目前相关的资源,并指出不同的任务之间的相互依赖性。
2020-02-05 cs.IR
DS@GT at LongEval: Evaluating Temporal Performance in Web Search Systems and Topics with Two-Stage Retrieval
DS@GT团队在CLEF 2025 LongEval中,基于Qwant数据集采用查询扩展与文档重排序的两阶段稀疏检索系统,评估并缓解Web内容演变导致的IR模型性能下降问题,最佳系统平均NDCG@10达0.296。
2025-07-11 cs.IR
LongEval-Retrieval: French-English Dynamic Test Collection for Continuous Web Search Evaluation
本文提出动态测试集LongEval-Retrieval,通过连续时间步子集合模拟网络搜索环境变化,提供法英双语数据、软相关性评估及基线分析。
2023-04-27 cs.IR
DuReader_retrieval: A Large-scale Chinese Benchmark for Passage Retrieval from Web Search Engine
University of Edinburgh(爱丁堡大学);Baidu Inc.(百度公司)
本文介绍了一个用于段落检索的大规模中文数据集DuReader_retrieval。DuReader_retrieval包含来自商业搜索引擎的超过9万个查询和超过800万个独特的段落。为了减轻其他数据集的缺点并确保我们的基准测试的质量,我们(1)通过手动注释从多个检索器汇集的结果来减少开发和测试集中的假阴性,以及(2)删除语义上与开发和测试查询相似的训练查询。此外,我们还提供了两个用于跨域评估的域外测试集,以及一组用于跨语言检索评估的人工翻译查询。实验结果表明,DuReader_retrieval是一个具有挑战性的和一些问题仍然没有解决,如显着的短语不匹配和查询和段落之间的句法不匹配。这些实验还表明,密集检索器不能很好地推广跨领域,跨语言检索本质上是具有挑战性的。DuReader_retrieval可在https://github.com/baidu/DuReader/tree/master/DuReader-Retrieval上公开获取。
2022-11-15 cs.CL cs.IR
Role of Ranking Algorithms for Information Retrieval
随着网络使用量的日益增加,网络用户很容易迷失在网络丰富的超结构中。网站所有者的主要目的是根据用户的需求提供相关信息。本文首先阐述了Web挖掘是通过分析用户行为、页面内容来对用户和页面进行分类,然后描述了Web结构挖掘。本文介绍了不同的网页排序算法,并比较了这些算法用于信息检索。讨论和比较了基于网页排名的各种算法,如网页排名(PR)、加权网页排名(WPR)、超链接诱导主题选择(HITS)、距离排名和特征谣言算法。针对PageRank算法和加权PageRank算法设计了仿真接口,但PageRank是Google搜索引擎唯一使用的排名算法。
2012-08-09 cs.IR
Enhanced Trustworthy and High-Quality Information Retrieval System for Web Search Engines
万维网是最重要的信息来源。但是,信息的正确性得不到保证,搜索引擎检索到的信息相互冲突,所提供的信息质量也从低质量到高质量不等。我们提供了增强的可信度,在特定的(实体)和广泛的(内容)查询在网络搜索。可信度的过滤基于5个因素:出处,权威,年龄,流行度和相关链接。基于这5个因素计算可信度,并将其存储,从而提高检索可信网站的性能。计算出的可信度仅针对静态网站存储。质量是根据用户选择的策略提供的。基于质量的检索到的可信信息的排名使用WIQA(Web信息质量评估)框架。
2009-11-18 cs.IR
Semantic-Sensitive Web Information Retrieval Model for HTML Documents
随着互联网的出现,一个数字信息交流的新时代已经开始。目前,互联网包含超过50亿个在线网站,这个数字每天都在呈指数级增长。从根本上说,信息检索(IR)是存储文档和从这些文档中检索信息的科学和实践。从数学上讲,IR系统的核心是基于特征向量模型,并结合术语加权方案,该方案根据文档中的术语相对于其出现的上下文的重要性对其进行加权。实际上,向量空间模型(VSM),词频(TF)和逆词频(IDF)是主流IR系统中采用的其他长期建立的技术。然而,目前的IR模型只针对通用类型的文本文档,因为它们不考虑特定格式的文件,如HTML Web文档。提出了一种新的语义敏感的HTML文档Web信息检索模型。它由一个称为SWVM的向量模型和一个称为BTF-IDF的加权方案组成,特别设计用于支持HTML Web文档的索引和检索。所提出的模型的主要优点是,它分配额外的权重出现在某些预先指定的HTML标签,相关的文档的语义。此外,该模型是语义敏感的,因为它为每个被索引的术语生成同义词,然后对它们进行适当的加权,以增加检索具有相似上下文但不同词汇术语的文档的可能性。进行的实验,揭示了一个重大的提高,在精度的Web IR系统和一个激进的增加,被检索的相关文件的数量。作为进一步的研究,该模型是升级,以支持索引和检索的Web图像在多媒体丰富的Web文档。
2012-04-01 cs.IR
Quotient Space-Based Keyword Retrieval in Sponsored Search
Baidu(百度)
随着各大搜索引擎将对精确匹配产品的匹配要求放宽到同义级别,同义关键词检索成为赞助式搜索的一个重要问题。由于查询和关键字之间的同义关系是相当稀缺的,传统的信息检索框架在这种情况下是低效的。在本文中,我们提出了一种新的商空间为基础的检索框架来解决这个问题。将关键词之间的同义关系看作是一种数学等价关系,将同义关键词压缩为一个代表,对应的商空间将大大减小关键词库的规模。然后直接在查询和关键字代表之间进行基于嵌入的检索。为了减少基于商空间的检索的语义鸿沟,一个单一的语义连体模型被用来检测关键字-关键字和查询-关键字的同义关系。实验结果表明,基于商空间的同义词检索方法在记忆代价和召回效率方面都有很大的提高。该方法已在百度的在线赞助搜索系统中成功实施,并在收入方面取得了显着的改善。
2021-05-26 cs.IR cs.LG
Improving web search using contextual retrieval
上下文检索是当今搜索引擎在方便查询和返回相关信息方面的关键技术。本文报道了一个系统的开发和评估,该系统旨在解决与万维网(WWW)的上下文信息检索相关的一些挑战。所开发的系统已被设计,以捕捉隐式和显式的用户数据,这是用来开发一个人的上下文配置文件。这样的配置文件可以在多个用户之间共享,以创建共享的上下文知识库。这些用于优化搜索查询并改善用户的搜索结果及其搜索体验。已经进行了一项实证研究,以评估该系统对一些假设。在本文中,结果相关的一个支持索赔,用户可以找到更容易使用的上下文搜索系统的信息。
2014-07-23 cs.IR
Simulating Users in Interactive Web Table Retrieval
本研究提出基于Doc2Query的交互式查询重构策略模拟Web表格检索会话,结合用户认知状态,通过多视角评估揭示查询策略与模态对用户有效性的影响。
2023-10-18 cs.IR
LongEval at CLEF 2025: Longitudinal Evaluation of IR Systems on Web and Scientific Data
The Open University(开放大学);Research Studios Austria, Data Science Studio(奥地利研究工作室,数据科学工作室);TU Wien(维也纳工业大学);University of Stavanger(斯塔万格大学);Univ. Grenoble Alpes, CNRS, Grenoble INP(格勒诺布尔阿尔卑斯大学,法国国家科学研究中心,格勒诺布尔理工学院);TH Köln - University of Applied Sciences(科隆应用技术大学)
LongEval 2025 通过两个动态数据集和两项检索任务,从时间维度评估检索系统在数据变化下的效果稳定性,并基于 nDCG 等指标对 19 支参赛团队的方法进行了纵向评测。
2025-09-22 cs.IR
The Retrieval Effectiveness of Web Search Engines: Considering Results Descriptions
目的:比较五个主要的Web搜索引擎(Google、Yahoo、MSN、Ask.com和Seekport)的检索效果,不仅考虑结果,而且考虑结果描述。设计/方法/方式:该研究使用现实生活中的查询。结果是匿名和随机的。结果由提出原始查询的人判断。结果:两个主要的搜索引擎,谷歌和雅虎,表现最好,他们之间没有显着差异。Google提供的结果描述比其他任何搜索引擎都要相关得多。这可能是用户认为该引擎优越的原因之一。研究局限性:该研究基于用户模型,其中用户相当系统地考虑了一定数量的结果。在现实生活中,情况可能并非如此。实际意义:暗示搜索引擎应该关注相关的描述。建议搜索者使用除Google之外的其他搜索引擎。创意/价值:这是第一个主要的研究比较结果和描述系统,并提出了新的检索措施,以考虑到结果的描述
2015-11-18 cs.IR
An Integrated Search Framework for Leveraging the Knowledge-Based Web Ecosystem
信息爆炸限制了基于知识的网络生态系统(KBWE)中检索词的判断,使得相关信息的检索及其知识管理具有挑战性。现有的信息检索(IR)工具和它们在一个框架中的融合需要关注,在其中搜索结果可以有效地管理。在这篇文章中,我们证明了各种用户和代理在各种KBWE方案的有效使用信息检索服务。本文提出了一种新的集成搜索框架(ISF),它综合利用了爬行策略、Web搜索技术和传统的数据库搜索方法。此外,ISF还提供全面的、动态的、个性化的、面向组织的信息检索服务,服务范围从Internet、Example、Intranet到个人桌面。在这项实证研究中,实验进行了证明在搜索过程中的改进,在概念ISF辨别。实验结果表明,与其他流行的搜索引擎相比,该搜索引擎的准确率有所提高。
2020-12-10 cs.IR
Semantic Modelling with Long-Short-Term Memory for Information Retrieval
在本文中,我们解决了以下问题,在Web文档和信息检索(IR):我们如何使用长期的上下文信息,以获得更好的IR性能?与使用词袋表示查询和文档的常见IR方法不同,我们将它们视为单词序列,并使用长短期记忆(LSTM)来捕获上下文依赖关系。据我们所知,这是LSTM首次应用于信息检索任务。由于信息检索问题的特殊性,训练策略与传统的LSTM不同。来自Bing网络搜索的IR任务的实验评估表明,所提出的方法在解决词汇不匹配和长期的上下文建模问题的能力,从而显着优于现有的最先进的方法的Web文档检索任务。
2015-02-27 cs.IR
Web2Text: Deep Structured Boilerplate Removal
网页是许多自然语言处理和信息检索任务的有价值的信息源。从这些文档中提取主要内容对于派生应用程序的性能至关重要。为了解决这个问题,我们引入了一个新的模型,执行序列标签,集体分类HTML页面中的所有文本块作为样板或主要内容。我们的方法使用了一个隐藏的马尔可夫模型上的潜力来自DOM树的功能,使用卷积神经网络。该方法在CleanEval基准测试中为样板文件的删除设置了一个新的最先进的性能。作为信息检索管道的一个组件,它提高了在CITCHWeb 12集合上的检索性能。
2018-03-27 cs.IR
Hybrid Information Retrieval Model For Web Images
90年代初的互联网的Bing Bang大大增加了通过网络分发和共享的图像数量。因此,开发了图像信息检索系统来索引和检索散布在因特网上的图像文件。这些系统中的大多数都是基于关键字的,它们基于文本元数据搜索图像;因此,它们是不精确的,因为用人类语言描述图像是模糊的。此外,还存在基于内容的图像检索系统,它们基于图像的视觉信息进行图像检索。然而,基于内容的类型系统仍然不成熟,不是有效的,因为他们遭受低检索查全率/查准率。本文提出了一种新的混合图像信息检索模型,用于索引和检索HTML文档中发布的Web图像。所提出的模型的区别标志是,它是基于图形内容和文本元数据。图形内容由图像的颜色特征和颜色直方图表示;而文本元数据由HTML文档中围绕图像的术语表示,更具体地说,除了出现在图像的alt属性,文件名和class-label中的术语之外,还出现在标记p,h1和h2中。此外,本文提出了一种新的术语加权方案称为VTF-IDF的短期可变的术语频率-逆文档频率,不同于传统的计划,它利用HTML标签结构,并分配一个额外的奖金权重出现在某些特定的HTML标签,与图像的语义。实验结果表明,该模型具有较高的检索准确率,优于现有的其他模型。
2012-04-01 cs.IR
An effective web document clustering for information retrieval
在过去的几年中,Web的大小呈指数级增长,用户可以获得与主题相关的数千个文档。有了这么多的信息,如果没有一个适当的框架来搜索现有的数据,就不可能充分利用万维网。这种必要的组织可以通过许多方式来完成。在本文中,我们介绍了一种组合的方法来聚类的网页,首先发现频繁集,然后聚类的文件。这些频繁集是通过使用频繁模式增长技术产生的。然后应用模糊C-均值算法对它进行聚类,找到具有高度相关性和相似特征的文档的聚类。我们使用Gensim包来实现我们的方法,因为它的简单性和鲁棒性。我们比较了我们的结果与(频繁模式增长,K-means)和(频繁模式增长,余弦_相似性)的组合方法。实验结果表明,该方法比上述两种方法的结合更有效,并且能够更有效地处理传统模糊C均值算法对初始质心和待形成聚类数敏感的严重缺陷。
2012-11-06 cs.IR
Evaluating the retrieval effectiveness of Web search engines using a representative query sample
搜索引擎检索有效性研究通常是小规模的,仅使用有限的查询样本。此外,查询由研究人员选择。我们从德国一家主要的搜索引擎中随机抽取了1,000个信息查询和1,000个导航查询,并根据这个样本比较了谷歌和必应的结果,从而解决了这些问题。陪审员是通过众包找到的,数据是使用专门的软件,相关性评估工具(RAT)收集的。我们发现,虽然Google在这两种查询类型上都优于Bing,但信息查询的性能差异相当小。然而,对于导航查询,Google在95.3%的情况下找到了正确答案,而Bing只找到了76.6%的正确答案。我们的结论是,搜索引擎性能的导航查询是非常重要的,因为在这种情况下,用户可以清楚地识别查询,返回正确的结果。因此,这种查询类型的性能可能有助于解释用户对搜索引擎的满意度。
2014-05-09 cs.IR
Web Retrieval-Aware Chunking (W-RAC) for Efficient and Cost-Effective Retrieval-Augmented Generation Systems
AI Research Team, Yellow.ai(Yellow.ai AI研究团队)
本文提出W-RAC,一种针对网页文档的高效分块框架,通过分离文本提取与语义分块规划,减少LLM token消耗,提升系统可观察性。
2026-01-08 cs.AI cs.IR
WebRec: Enhancing LLM-based Recommendations with Attention-guided RAG from Web
The Hong Kong Polytechnic University(香港理工大学)
针对现有基于RAG的推荐系统未充分利用网络资源的问题,提出WebRec框架,通过LLM生成适配的检索查询、设计MP-Head模块增强分散相关信息的注意力,有效提升了推荐效果。
2025-11-18 cs.IR
Designing a Dynamic Components and Agent based Approach for Semantic Information Retrieval
本文提出了一种基于Agent和语义Web技术的Web信息管理方法,面向语义的基于Agent的搜索(SOAS),以应对当前存在的挑战,Meta数据提取,建模和信息检索在Web上。SOAS的设计遵循四个主要需求,即:自动用户请求处理,动态非结构化全文阅读,分析和建模,语义查询生成和优化结果分类器。SOAS的体系结构由一个称为个人代理(PA)的代理和五个动态组件组成,即,请求处理单元(RPU)、代理查询器(AL)、代理查询器(AC)、列表生成器(LB)和结果生成器(RG)。此外,在本文中,我们简要地讨论了语义Web和一些已经存在的时间提出和实现基于语义的方法。
2010-08-07 cs.IR
PRESY: A Context Based Query Reformulation Tool for Information Retrieval on the Web
问题陈述:网络上的海量信息以及新用户的不断增长给信息检索带来了新的挑战。这些用户越来越难以找到满足其个人需要的相关文件。当然,目前的搜索引擎(如谷歌,必应和雅虎)提供了一个有效的方式来浏览网页内容。然而,结果质量高度依赖于使用查询,这些查询需要更精确地找到相关文档。对于大多数不熟练的用户来说,这项任务仍然很复杂,他们无法在查询中用重要的词来表达自己的需求。因此,我们认为,重新制定的初始用户的查询可以是一个很好的替代方案,以提高信息的选择性。本研究提出一种新的方法,并提出了一个原型系统称为PRESY(Profile-based REformulation SYSTEM)的信息检索在Web上。方法:它使用增量方法通过构建上下文基础来对用户进行分类。后者是由两种类型的上下文(静态和动态)使用用户的配置文件获得。提出的架构实现使用.NET环境进行查询重构测试。结果:实验结果表明,该方法有效地提高了返回内容的精度。这些测试是用最流行的搜索引擎(即谷歌,绑定和雅虎)进行的,特别是因为它们的高选择性。在给定的结果中,我们发现查询重构提高了前三个结果的10.7%和11.7%的下七个返回的元素。因此,我们可以看到,用户初始查询的重新表达提高了返回内容的相关性。
2011-06-12 cs.IR
Handling Overload Conditions In High Performance Trustworthy Information Retrieval Systems
Web搜索引擎针对给定的搜索查询检索大量的信息。但用户只需要从这些庞大的检索数据中获得可靠和高质量的信息。搜索引擎的响应时间必须是最小值,以便满足用户。即使系统过载,也应该保持最佳水平的响应时间。本文提出了一种适用于Web搜索引擎的信息检索系统的最优减载算法,用于处理实时数据流应用中的过载问题。实验结果表明,该算法使Web搜索引擎能够在最佳的响应时间内为用户提供可靠的搜索结果,即使在过载的情况下。
2010-04-26 cs.IR
An Effective Information Retrieval for Ambiguous Query
搜索引擎为单个用户查询返回数千个网页,其中大多数是不相关的。在这种情况下,有效的信息检索从不断扩大的网络是一个具有挑战性的任务,特别是,如果查询是模糊的。这里出现的主要问题是,如何获得相关的页面,一个模糊的查询。提出了一种基于向量空间模型和自由字典的数据挖掘中关联概念的社区向量生成方法。我们通过计算社区向量和由搜索引擎提取的网页形成的文档向量之间的相似度来开发聚类。我们使用Gensim软件包来实现该算法,因为它的简单性和鲁棒性。分析表明,我们的方法是一种有效的方法来形成一个模糊的查询聚类。
2012-04-06 cs.IR
Enhancing Dynamic Image Advertising with Vision-Language Pre-training
针对动态图像广告中查询-图像匹配的数据不一致、跨模态交互不足及模型分离优化问题,提出视觉-语言预训练框架,通过多目标学习统一检索与相关性建模,在百度搜索广告系统中使CPM和CTR分别提升1.04%和1.865%。
2023-06-25 cs.IR
Enhancing Dense Retrievers' Robustness with Group-level Reweighting
针对无监督web图数据模式多样且不平衡导致密集检索模型性能次优的问题,提出WebDRO方法,通过聚类锚点-文档对并利用组分布鲁棒优化重新加权,提升模型在最坏情况下的泛化能力与检索性能。
2024-10-14 cs.IR
Embedding Web-based Statistical Translation Models in Cross-Language Information Retrieval
尽管越来越多的语言对被机器翻译服务所覆盖,但仍有许多语言对缺乏翻译资源。跨语言信息检索(CLIR)是一种需要复杂程度相对较低的翻译功能的应用,因为当前的信息检索(IR)模型仍然是基于词袋的。Web为自动构建可用于统计翻译模型自动训练的平行语料库提供了广阔的资源。所得到的翻译模型可以以几种方式嵌入到检索模型中。在本文中,我们将探讨的问题,自动挖掘并行文本从Web和不同的方式集成的翻译模型的检索过程中。我们对CLIR标准测试集的实验表明,基于Web的翻译模型在CLIR任务中可以超过商业机器翻译系统。这些结果打开的角度,构建一个全自动查询翻译设备CLIR在一个非常低的成本。
2003-12-03 cs.CL cs.IR
Generative Retrieval for Book search
针对图书检索中复杂信息与层级结构挑战,提出生成式检索框架GBS,通过数据增强与面向目录的编码,在百度数据集上MRR@20提升9.8%。
2025-01-19 cs.IR
Beyond Pipelines: A Fundamental Study on the Rise of Generative-Retrieval Architectures in Web Research
Institute for Advanced Studies in Basic Sciences(基础科学高级研究所)
本文研究了生成-检索架构在网页研究中的崛起,探讨了LLMs通过RAG对网页研究和行业的影响,分析了关键进展、挑战及未来方向。
2026-02-19 cs.AI cs.IR
Dr Web: a modern, query-based web data retrieval engine
Birkbeck, University of London(伦敦大学伯贝克学院);University of Messina(墨西拿大学)
本文提出Dr Web,一个基于查询语言的模块化Web数据检索引擎,解决动态内容与杂乱数据提取问题,并阐述其开源发布路径。
2025-02-18 cs.CL cs.DB cs.IR
A novel model for query expansion using pseudo-relevant web knowledge
在信息检索领域,查询扩展(QE)一直被用作处理用户查询与目标信息之间的词不匹配的基本问题的技术。在查询词与扩展词之间的关系上下文中,现有的加权技术往往不能恰当地捕捉词与词之间的关系以及词与整个查询词之间的关系,导致检索效率较低。我们提出的QE方法通过提出三个加权模型来解决这个问题,这三个加权模型基于(1)tf-itf,(2)基于k-最近邻(kNN)的余弦相似性,以及(3)相关性得分。此外,为了提取扩展术语的初始集合,我们使用由三个流行的搜索引擎即Google、Bing和DuckDuckGo返回的前N个网页组成的伪相关网络知识来响应原始查询。在这三个加权模型中,tf-itf对从网络内容中获得的每个单独术语进行评分,基于kNN的余弦相似度对扩展术语进行评分以获得术语与术语的关系,相关性评分对选定的扩展术语相对于整个查询进行加权。该模型被称为基于Web知识的查询扩展(WKQE),在FIRE数据集上,与未扩展的查询相比,MAP得分提高了25.89%,GMAP得分提高了30.83%。与其他相关方法的WKQE技术的比较分析清楚地表明显着改善检索性能。我们还分析了不同数量的伪相关文档和扩展条款的检索效果的建议模型。
2019-08-27 cs.IR
An ontology-based approach for semantics ranking of the web search engines results
这项工作属于信息检索和语义网领域,旨在提高网络搜索工具的评价。事实上,网络上的大量信息以及新的无经验用户的增长为信息检索带来了新的挑战;当然,当前的搜索引擎(如Google、Bing和Yahoo)提供了浏览网络内容的有效方式。然而,这种类型的工具没有考虑到由查询词和文档词驱动的语义。本文提出了一种新的基于语义的方法来评估信息检索系统,其目标是增加搜索工具的选择性,并改善这些工具的评估。对所提出的评价搜索引擎的方法进行了测试,证明了它对实际搜索工具的适用性。结果表明,语义评估是一种很有前途的方法,以提高性能和行为的搜索引擎以及相关的结果,他们返回。
2012-12-11 cs.IR
WebNavigator: Global Web Navigation via Interaction Graph Retrieval
National Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室);School of Artificial Intelligence(人工智能学院);Fellou AI
WebNavigator通过交互图检索和路径规划解决自主网络导航中的拓扑盲区问题,实现优于企业级代理的性能。
2026-10-06 cs.AI cs.IR
Aligning Web Query Generation with Ranking Objectives via Direct Preference Optimization
提出利用直接偏好优化(DPO)将排序信号融入查询生成,以生成高质量合成查询,提升下游检索性能,并在MS MARCO基准上验证了有效性。
2025-05-25 cs.IR
MS MARCO Web Search: a Large-scale Information-rich Web Dataset with Millions of Real Click Labels
本文提出 MS MARCO Web Search 数据集,以数百万真实点击标签和贴近真实分布的丰富网络数据支持神经索引、嵌入及大语言模型信息访问研究,并提供三项检索挑战基准。
2024-05-13 cs.IR
OwlerLite: Scope- and Freshness-Aware Web Retrieval for LLM Assistants
University of Passau(帕绍大学);IT:U Austria(奥地利信息技术大学)
OwlerLite通过用户定义的范围和数据新鲜度提升LLM助手的检索可控性和可信度。
2026-01-25 cs.HC cs.IR
RAG-Enhanced Large Language Models for Dynamic Content Expiration Prediction in Web Search
Baidu Inc.(百度公司)
本文提出基于大型语言模型的查询感知动态内容过期预测框架,通过提取细粒度时间上下文和利用LLM推断查询特定的有效性范围,提升搜索结果的新鲜度和用户体验。
2026-05-13 cs.CL cs.IR
Idea2Prior: Auditable Paper Retrieval and Ranking from Research Ideas
Johns Hopkins University(约翰斯·霍普金斯大学)
Idea2Prior是基于PaperArena的可审计文献检索系统,结合多源发现等技术,在EASY、MEDIUM查询的论文检索排序上优于ChatGPT、Gemini的网页深度研究,可支持针对性思路到论文检索。
2026-10-16 cs.IR
To Click or not to Click? The Role of Contextualized and User-Centric Web Snippets
在搜索网络时,通常可能有太多的结果可用于模糊查询。从检索到的页面中提取的文本片段是页面对查询意图的有用性的指示器,并且可以用于集中搜索结果的范围。在本文中,我们提出了一种新的方法来自动提取网页片段,是高度相关的查询意图和表达的网页的整个内容。我们表明,语义的使用,作为重点检索的基础,产生高质量的文本片段的建议。与使用页面的统计内容获得的片段相比,我们的方法提供的片段在检索性能方面明显更好。此外,我们的研究表明,语义驱动的片段生成也可以用来增强传统的段落检索算法的基础上,字重叠或统计权重,因为它们通常在覆盖范围不同,并产生不同的结果。用户点击查询的相关片段可以用来细化查询结果,并促进最全面的相关文档。
2009-03-14 cs.IR
Retrieval Collapses When AI Pollutes the Web
NAVER Corp.(NAVER公司)
研究发现AI生成内容污染导致检索系统崩溃,需引入检索意识策略以防止质量下降。
2026-02-18 cs.AI cs.IR