Interactive Retrieval Based on Wikipedia Concepts
提出了一种基于Wikipedia概念的交互式检索用户反馈机制。在这种机制中,系统向用户呈现一组维基百科概念,用户可以选择相关的概念来改进他/她的查询。为了实现这种机制,我们提出了解决两个问题的方法:1)如何选择少量可能相关的维基百科概念显示给用户,以及2)如何重新排序检索到的文档给定的用户识别的维基百科概念。我们的方法进行了评估三个TREC数据集。实验结果表明,我们的方法可以显着提高检索性能。
2014-12-29 cs.IR
Employing Wikipedia's Natural Intelligence For Cross Language Information Retrieval
Johns Hopkins University(约翰斯·霍普金斯大学)
在本文中,我们提出了一种新的方法检索信息的语言以外的查询。我们使用这种技术与现有的传统的跨语言信息检索(CLIR)技术相结合,以改善他们的结果。该方法与依赖于机器翻译来翻译查询然后使用机器翻译来搜索目标文档空间的传统技术相比具有许多优点。该方法不限于所需语言的机器翻译算法的可用性,并且使用互联网上已经存在的容易获得的翻译信息源作为“中间人”方法。在本文中,我们使用维基百科;然而,可以使用任何类似的多语言,交叉引用的文档主体。出于评估和比较的目的,我们还分别实现了传统的机器翻译方法和Wikipedia方法。
2009-06-16 cs.CL cs.IR
Triadic First-Order Logic Queries in Temporal Networks
本文首次提出面向大规模时序网络的阈值化一阶逻辑三元模体查询算法 FOLTY,其理论运行时间与最优时序三角形计数相当,并能在普通硬件上高效处理近 7000 万条边的图。
2025-07-23 cs.DB cs.DS cs.IR
Enabling Complex Wikipedia Queries - Technical Report
在这份技术报告中,我们提出了一个用于存储维基百科的数据库模式,以便它可以很容易地用于查询密集型应用程序。除了存储的方式,使其高度可访问的信息,我们的模式使用户能够轻松地制定复杂的查询使用的信息,如锚文本的链接和它们在页面中的位置,标题和重定向页面的数量为每个页面和实体页面的段落结构。我们已经成功地将该模式应用于推荐系统、信息检索和情感分析等领域。为了帮助其他研究人员,我们现在可以在线获得该模式及其内容。
2015-08-13 cs.IR
Synonym search in Wikipedia: Synarcher
开发了在特殊结构的文本语料库(维基百科)中搜索同义词(和相关术语)的程序Synarcher。搜索结果以图表的形式呈现。可以交互式地浏览图形和搜索图形元素。本文介绍了同义词搜索的自适应HITS算法、程序结构和程序工作评价,并给出了测试实例。该算法可应用于搜索引擎中的同义词查询扩展和同义词词典的形成。
2006-06-23 cs.DM cs.IR
"Piaf" vs "Adele": classifying encyclopedic queries using automatically labeled training data
百科全书查询表达了获取通常在百科全书中可用的信息的意图,例如传记,地理或历史事实。在本文中,我们训练一个分类器,用于检测网页查询的语义意图。为了训练这样的分类器,我们自动标记原始查询日志中的训练数据。我们使用点击数据来选择积极的例子,这些查询,主要导致维基百科的文章。我们研究了可以生成来描述输入查询的一大组特征。这些功能包括特定于术语的模式以及对知识库项目(例如Freebase)的查询预测。结果表明,使用这些特征集,可以实现87%以上的F1得分,与基于Google的基线竞争,后者使用更广泛的信号集来提高维基百科对潜在的百科全书查询的排名。结果还表明,维基百科的文章标题和Freebase实体匹配的查询投影代表了最相关的功能组。当训练集包含频繁的正面示例(即排除罕见的查询)时,结果往往会有所改善。
2015-11-30 cs.IR
Finding path motifs in large temporal graphs using algebraic fingerprints
我们研究了一类顶点着色时态图的模式检测问题。特别是,给定一个顶点着色的时态图和一个多颜色集作为查询,我们搜索包含查询中指定的颜色的图中的时态路径。这些类型的问题有几个应用,例如为游客推荐旅游或检测金融交易网络中的异常行为。对于我们考虑的模式检测问题的家庭,我们建立复杂性的结果和设计的代数算法框架的基础上约束多线性筛选。我们证明,我们的解决方案规模庞大的图形高达十亿边的多集查询与五种颜色和高达一亿边的多集查询与十种颜色,尽管问题是NP-难的。我们的实现,这是公开的,具有实际的边缘线性可扩展性,并高度优化。例如,在一个拥有超过600万条边的真实图形数据集和一个具有10种颜色的多集查询中,我们可以在具有4个核心的Haswell桌面上在不到8分钟的时间内提取出最佳解决方案。
2020-07-27 cs.DB cs.DC cs.DS
Unexpected Knowledge: Auditing Wikipedia and Grokipedia Search Recommendations
University of Calabria, ICAR-CNR(卡塔尼亚大学,ICAR-CNR);University of Southern California(南加州大学);University of Calabria, ICAR-CNR, Revelis s.r.l.(卡塔尼亚大学,ICAR-CNR,Revelis s.r.l.)
研究通过比较维基百科和Grokipedia的搜索推荐,发现两者均存在意外结果,但主题分布和推荐差异显著。
2025-12-18 cs.AI cs.IR
Semantic Content Filtering with Wikipedia and Ontologies
领域知识的使用通常被发现可以提高内容过滤应用中的查询效率。特别是,在更专业的领域,如医学免费文本或法律文件中使用基于知识的方法,取得了切实的好处。然而,问题是,领域知识的来源是耗时的建设和同样昂贵的维护。作为一种潜在的补救措施,最近对维基百科的研究表明,这一庞大的社会构建的知识可以有效地利用,不仅提供事实,而且还提供有关语义概念相似性的准确信息。本文描述了一个框架,文档过滤,维基百科的概念相关性信息相结合的领域本体产生语义内容分类。使用路透社RCV 1语料库和TREC-11过滤任务定义的方法进行评估。在一项比较研究中,该方法表现出强大的性能,似乎优于基于支持向量机(SVM)和C4.5算法的内容分类器。
2010-12-03 cs.IR
WISER: A Semantic Approach for Expert Finding in Academia based on Entity Linking
我们提出了WISER,一个新的语义搜索引擎的专家发现在学术界。我们的系统是无监督的,它结合了经典的语言建模技术,基于文本证据,与维基百科知识图谱,通过实体链接。WISER通过一种新颖的分析技术对每位学术作者进行索引,该技术利用维基百科绘制的小型标记和加权图来模拟她的专业知识。图中的节点是作者出版物中提到的维基百科实体,而加权边表示通过基于文本和图的相关性函数计算的这些实体之间的语义相关性。每个节点还标记有相关性分数,该分数模拟相应实体与作者专业知识的相关性,并通过在该图上进行适当的随机行走计算来计算;以及通过实体和其他类型的结构嵌入从维基百科学习的潜在向量表示。在查询时,专家检索结合经典的以文档为中心的方法,利用查询词在作者的文档中的出现,与一组新的配置文件为中心的评分策略,计算作者的专业知识和查询主题之间的语义相关性,通过上述基于图形的配置文件。我们的系统的有效性是建立在一个大规模的实验测试标准数据集上的这项任务。我们表明,WISER实现了更好的性能比所有其他竞争对手,从而证明了有效性的建模作者的个人资料,通过我们的“语义”图的实体。最后,我们评论使用WISER的索引和分析整个研究社区内的比萨大学,其应用程序在我们的大学技术转让。
2019-06-10 cs.IR
WIKIR: A Python toolkit for building a large-scale Wikipedia-based English Information Retrieval Dataset
在过去的几年里,深度学习方法允许在ad-hoc信息检索中获得新的最先进的结果。然而,这种方法通常需要大量的注释数据才能有效。由于大多数可公开用于学术研究的标准ad-hoc信息检索数据集(例如Robust 04,CIBMWeb 09)最多有250个带注释的查询,因此最近用于信息检索的深度学习模型在这些数据集上表现不佳。这些模型(例如DUET,Conv-KNRM)是根据从商业搜索引擎收集的数据进行训练和评估的,这些搜索引擎不公开用于学术研究,这对研究的可重复性和进步是一个问题。在本文中,我们提出了WIKIR:一个开源的工具包,自动建立大规模的英语信息检索数据集的基础上维基百科。WIKIR在GitHub上公开。我们还提供了wikIR 78 k和wikIRS 78 k:两个大规模的公开数据集,都包含78,628个查询和3,060,191个(查询,相关文档)对。
2020-03-17 cs.IR
Massive Query Expansion by Exploiting Graph Knowledge Bases
基于关键词的搜索引擎存在术语歧义和词汇不匹配的问题。在本文中,我们提出了一个查询扩展技术,丰富的查询表示为关键字和短的自然语言描述。我们提出了一个新的大规模查询扩展策略,丰富了查询使用的知识库,通过确定查询概念,并添加相关的同义词和语义相关的条款。我们提出两种方法:(i)词汇扩展,其在知识库中定位相关概念;以及(ii)拓扑扩展,其分析概念之间的关系网络,并且通过知识图谱的路径和社区分析来建议语义上相关的术语。我们使用两个版本的维基百科作为知识库进行扩展,得出的结论是,词汇和拓扑扩展的组合提供了系统的精度提高了27%以上。
2013-10-21 cs.IR
Assessing Wikipedia-Based Cross-Language Retrieval Models
这项工作比较跨语言检索的概念模型:首先,我们适应多语言文档的概率潜在语义分析(pLSA)。不同加权方案的实验表明,有利于在两个语言端的相似长度的文档的加权方法给出了最好的结果。考虑到单语言和多语言潜在狄利克雷分配(LDA)的行为时,适用于这些文件,我们使用的训练语料库建立在维基百科上,所有的文件都是长度规范化,并获得改进,以前报告的分数LDA。我们工作的另一个重点是模型组合。为此,我们在实验中包括显式语义分析(ESA)。我们观察到,ESA是没有竞争力的LDA在基于查询的检索任务CLEF 2000数据。与单独的机器翻译相比,机器翻译与概念模型的结合将性能提高了21.1%。机器翻译依赖于并行语料库,这可能不适用于许多语言对。我们进一步探讨有多少跨语言的信息可以携带在维基百科的特定信息源,即链接文本。最好的结果是使用语言建模的方法,完全没有来自平行语料库的信息。平滑的需要提出了关于合理性和效率的有趣问题。链接模型仅捕获某种信息,并建议加权方案来强调特定单词。因此,对于组合模型,另一个有趣的问题是如何整合不同的加权方案。使用一个非常简单的组合方案,我们得到的结果,比较有利的CLEF 2000数据集上以前报道的结果。
2014-01-10 cs.CL cs.IR
Towards Semantic Query Segmentation
eBay Inc.(eBay公司)
在信息检索任务中,查询词切分是理解用户搜索意图的关键环节之一。它涉及将搜索查询中的标记分组为有意义的短语,这有助于搜索相关性和查询理解等下游任务。在本文中,我们提出了一种新的方法来分割用户查询使用分布式查询嵌入。我们的主要贡献是使用低维特征向量进行查询的分割任务的监督方法,摆脱了传统的手动调整和启发式NLP特征,这些特征非常昂贵。我们对50,000个人类注释的Web搜索引擎查询语料库进行基准测试,达到了与最先进技术相当的准确性。我们的技术的优点是它的速度快,不使用外部知识库,如维基百科的分数提高。这有助于我们将我们的方法推广到其他领域,如电子商务,而无需任何微调。我们证明了这种方法的有效性,另外50,000人注释的电子商务查询语料库从eBay的搜索日志。我们的方法易于实现,并在不同的搜索领域推广,证明了低维嵌入在查询分割任务中的强大功能,为该问题开辟了一个新的研究方向。
2017-07-25 cs.CL cs.IR
Leveraging Catalog Knowledge Graphs for Query Attribute Identification in E-Commerce Sites
数百万人使用在线电子商业平台搜索和购买产品。识别查询中的属性是将用户连接到相关项目的关键组件。然而,在许多情况下,查询具有多个属性,并且其中一些属性将彼此冲突。例如,查询“maroon 5 dvd”具有两个候选属性,颜色“maroon”或波段“maroon 5”,其中只能存在属性中的一个。在本文中,我们解决的问题,解决冲突的属性在电子商业查询。这个问题的一个挑战是,用于理解Web查询的知识库(如Wikipedia)并不关注电子商业领域。然而,电子商业搜索引擎可以访问包含关于物品及其属性的详细信息的目录。我们提出了一个框架,从目录构建知识图谱,以解决冲突的属性在电子商业查询。我们在电子商业平台上的真实查询实验表明,利用目录信息解决冲突的属性显着提高属性识别,也给出了更多的相关搜索结果。
2018-07-13 cs.IR
Automatic Table completion using Knowledge Base
表是一种流行的数据格式,用于组织和表示关系信息。用户在收集他们所需的信息(例如,实体及其属性)进行决策。在这项工作中,我们建议解决一种新类型的异构查询即:表格查询,其中包含一个自然语言查询描述,所需的表的列名,和一个例子行。我们的目标是获取更多的实体元组(行)并自动填充表格查询指定的表。我们设计了一个新的框架AutoTableComplete,其目的是集成模式特定的结构信息与自然语言的上下文信息提供的用户,自动完成表格,使用异构的知识库(KB)作为主要的信息源。给定一个表格查询作为输入,我们的框架首先构造一组候选链,连接KB中给定的示例实体。我们学习使用表格查询的语义上下文从这些候选中选择最佳匹配链。然后将所选链转换为SPARQL查询,对KB执行以收集一组候选行,然后按照它们与表格查询的相关性对这些行进行排名,以完成所需的表。我们基于维基百科页面和Freebase中的表格构建了一个新的数据集,使用该数据集进行了广泛的实验,以证明AutoTableComplete的有效性,并对我们的方法进行了详细的错误分析。
2019-09-20 cs.IR
Multilingual and Domain-Agnostic Tip-of-the-Tongue Query Generation for Simulated Evaluation
Carnegie Mellon University(卡内基梅隆大学);Independent Researcher(独立研究者)
本文构建了多语言舌尖提示测试集,研究提示语言和源文档语言对模拟查询准确性的影響,并发布四个多领域测试集,为构建非英语的现实舌尖提示数据集提供指导。
2026-04-22 cs.CL cs.IR
Topic Level Disambiguation for Weak Queries
尽管取得了有限的成功,但今天的信息检索(IR)系统并不智能或可靠。当用户将他们的信息需求公式化为不完整或模糊的查询时(即,弱查询)。因此,在现代IR研究的主要挑战之一是通过提高弱查询的性能,提供一致的结果在所有的查询。然而,现有的IR方法,如查询扩展是不是过于有效,因为他们很少努力分析和利用的含义的查询。此外,依赖于文本上下文的词义消歧方法对于通常较短的弱查询是无效的。出于对一个强大的IR系统,可以始终提供高度准确的结果的需求,所提出的研究实施了一种新的主题检测,利用语言模型和维基百科的结构知识,并系统地评估查询消歧和基于主题的检索方法对TREC集合的影响。实验结果不仅证实了所提出的主题检测和基于主题的检索方法的有效性,而且表明查询消歧并没有像预期的那样提高检索效率。
2015-02-17 cs.IR
A User-Centered Concept Mining System for Query and Document Understanding at Tencent
概念是对世界的认识的集中体现,是人类认知过程的重要组成部分。从Web文档中挖掘概念并构建相应的分类法是文本理解的核心研究问题,并支持许多下游任务,如查询分析,知识库构建,推荐和搜索。然而,我们认为,大多数以前的研究提取正式和过于笼统的概念,从维基百科或静态网页,这是不代表用户的角度。本文介绍了我们在腾讯QQ浏览器中实现和部署Concept T的经验。它通过挖掘大量的用户查询和交互式搜索点击日志,发现以用户为中心的概念,在正确的粒度符合用户的兴趣。提取的概念具有适当的粒度,与用户语言风格一致,并动态更新。我们进一步提出了以用户为中心的概念标记文档和构建主题-概念-实例分类的技术,这有助于提高搜索以及在腾讯QQ浏览器的新闻源推荐。我们进行了广泛的离线评估,以证明我们的方法可以提取更高质量的概念相比,其他几个现有的方法。本系统已部署在腾讯QQ浏览器中。基于大量真实用户的在线A/B测试结果表明,在腾讯QQ浏览器推荐框架中引入以用户为中心的思想后,Feed用户的印象效率提高了6.01%。
2019-05-21 cs.IR
Toward Word Embedding for Personalized Information Retrieval
Université de Grenoble(格勒诺布尔大学);CNRS(法国国家科学研究中心);Université de Saint-Étienne(圣艾蒂安大学)
本文介绍了在个性化信息检索的背景下,使用词嵌入(word2vec)查询扩展的初步工作。传统上,词嵌入是在一个通用的语料库上学习的,比如维基百科。在这项工作中,我们试图个性化的词嵌入学习,通过实现对用户的个人资料的学习。然后,词嵌入处于与用户兴趣相同的上下文中。我们的建议是在CLEF社会图书搜索2016年收集评估。研究结果表明,在个性化信息检索中,词嵌入的应用还有待进一步研究。
2016-06-22 cs.CL cs.IR
Identifying Aspects for Web-Search Queries
许多网络搜索查询是探索未知信息空间的开始,而不是寻找特定的网页。为了有效地回答这些查询,搜索引擎应该尝试以便于探索的方式组织相关信息的空间。我们描述的Aspector系统,计算方面为一个给定的查询。每个方面是一组搜索查询,这些搜索查询一起表示与原始搜索查询相关的不同信息需求。作为探索空间的有效手段,Aspector计算彼此正交并具有高组合覆盖率的方面。Aspector结合两个信息源来计算方面。我们通过分析查询日志发现候选方面,并将它们聚类以消除冗余。然后,我们使用大规模协作知识库(例如,Wikipedia)来计算不太频繁出现的查询的候选方面,并将可能“语义”相关的方面分组在一起。我们提出了一个用户的研究表明,我们计算的方面被评为有利的三个竞争的替代品-相关搜索提出的谷歌,集群标签分配的集群搜索引擎,并提出了必应导航搜索。
2014-01-16 cs.DB cs.IR
The Tangent Search Engine: Improved Similarity Metrics and Scalability for Math Formula Search
随着世界范围内数据数量和种类的不断增加,Web已经成为数学公式的丰富存储库。这就需要创建一个健壮的、可扩展的数学信息检索系统,用户可以使用单独的公式(按表达式查询)或关键字和公式的组合来搜索数学信息。通常,最能满足用户信息需求的页面包含的表达式只能近似匹配查询公式。对于试图定位或重新找到特定表达式、浏览相似公式或非数学专家的用户,公式的相似性更多地取决于符号的相对位置,而不是深层数学语义。我们提出了最大子树相似性(MSS)度量查询的表达式,产生直观的排名公式的基础上,他们的外观,所表示的类型和符号的相对位置。由于对大型集合中的所有公式应用度量的成本太高,因此我们首先使用元组上的倒排索引检索表达式,该元组对符号对之间的关系进行编码,使用Dice系数对命中进行排名。然后使用MSS对前k个公式进行重新排名。我们的方法在NTCIR-11维基百科公式检索基准上获得了最先进的性能,并且在索引空间和整体检索时间方面都是有效的。其他图形形式的检索系统,包括化学图表,流程图,图形和表格,也可以受益于采用我们的方法。
2015-07-22 cs.IR
Q4EDA: A Novel Strategy for Textual Information Retrieval Based on User Interactions with Visual Representations of Time Series
Dalhousie University(达尔豪斯大学)
了解如何构建基于文本的搜索引擎(SQ),用于搜索引擎(SE),如谷歌或维基百科已成为一项基本技能。虽然通过这些SE可以获得许多数据,但大多数结构化数据集都在其范围之外。可视化工具可以帮助解决这一限制,但没有任何工具能够接近通过通用SE获得的信息量。为了填补这一空白,本文提出了Q4EDA,一种新的框架,转换用户的视觉选择查询上执行的时间序列的视觉表示,提供有效和稳定的SQs用于通用SE和相关信息的建议。用户通过一个应用程序介绍并验证了Q4EDA的有用性,该应用程序将Gapminder的折线图复制品与填充有维基百科文件的SE相连接,显示Q4EDA如何支持和加强对联合国世界指标的探索性分析。尽管有一些限制,Q4EDA在其提案中是独一无二的,并且代表了基于用户与视觉表示的交互来查询文本信息的解决方案的真正进步。
2022-08-02 cs.HC cs.IR cs.LG
Evaluating D-MERIT of Partial-annotation on Information Retrieval
本文提出 D-MERIT 数据集,揭示了部分标注数据集会导致检索模型评估失真,并建议在资源效率与可靠评估间取得平衡。
2024-10-13 cs.IR
DESIRE-ME: Domain-Enhanced Supervised Information REtrieval using Mixture-of-Experts
针对开放域问答的主题异构性问题,提出基于混合专家框架的神经信息检索模型 DESIRE-ME,通过 Wikipedia 数据训练门控机制对查询分类并加权领域专家预测,使模型自适应多领域,显著提升检索性能。
2024-03-20 cs.IR
Beyond the Reranker: Do RAG Retrieval Enhancements Help Once a Strong Reranker Is Present?
Cascade Research(Cascade研究)
研究在强重排序器存在下,多种RAG检索增强方法是否仍有效。构建异构基准HetDocQA,发现仅查询扩展和SSCC(新提出的逐源校准校正器)能带来可靠提升。
2026-06-14 cs.AI cs.IR
G-RAG: Knowledge Expansion in Material Science
Intelsense AI Limited(Intelsense AI有限公司);Bangladesh University of Engineering and Technology(孟加拉国工程技术大学);Shahjalal University of Science and Technology(沙赫贾拉勒科技大学)
针对材料科学中传统RAG的信息过时、幻觉与检索不准等问题,本文提出G-RAG,通过MatIDs实体抽取、外部知识库查询、智能体解析及图数据库关系建模来提升检索与理解性能。
2024-12-01 cs.AI cs.IR