A Dual Embedding Space Model for Document Ranking
搜索引擎的基本目标是在给定查询的情况下识别具有相关文本的文档。这在本质上是困难的,因为查询和文档可能使用不同的词汇表,或者文档可能包含不相关的查询词。我们调查神经词嵌入作为证据来源的文档排序。我们训练一个word 2 vec嵌入模型在一个大型的未标记的查询语料库,但在如何使用该模型是常用的,我们保留了输入和输出的预测,使我们能够利用这两个嵌入空间,以获得更丰富的分布关系。在排序过程中,我们将查询词映射到输入空间,将文档词映射到输出空间,并通过聚合所有查询-文档词对的余弦相似度来计算查询-文档相关性得分。我们假设,建议的双嵌入空间模型(DESM)捕获的证据,一个文件是否是关于一个查询词除了什么是传统的基于词频的方法建模。我们的实验表明,DESM可以重新排名顶部返回的商业Web搜索引擎,如Bing,比一个基于术语匹配的信号,如TF-IDF的文件。然而,当对一组较大的候选文档进行排名时,我们发现基于嵌入的方法容易出现误报,检索到的文档与查询仅松散相关。我们证明,这个问题可以有效地解决排名的DESM和字数统计功能的线性混合的基础上。
2016-02-02 cs.IR
Query Refinement by Multi Word Term expansions and semantic synonymy
我们开发了一个系统,TermWatch(https://stid-bdd.iut.univ-metz.fr/TermWatch/index.pl),它结合了术语的语言提取,它们的结构化成一个术语网络与聚类算法。在本文中,我们将探讨它的能力,在整合最有前途的方面的研究,查询细化:选择有意义的文本单元集群(领域术语),选择紧密的语义关系,集群术语,结构的术语在网络中,使abetter感知领域概念。我们在PASCAL 2005-2006书目数据库(http://www.example.com)的367 645篇英文摘要上进行了实验,并将TermWarch自动构建的结构化术语资源与TermScience资源(http://termsciences.inist.fr/)的英文部分(包含88 211个术语)进行了比较。www.inist.fr
2008-11-04 cs.IR
Pseudo-Query Reformulation
自动查询重构是指重写用户的原始查询,以提高检索结果的排名相比,原始查询。我们提出了一个通用的框架,自动查询重构离散优化的基础上。我们的方法,被称为伪查询重构,将自动查询重构作为一个搜索问题的图形连接的最小的转换(例如,长期添加,删除)的未加权查询。这个框架允许我们测试现有的性能预测方法,作为图搜索过程的分析。我们在几个公开的数据集上证明了该方法的有效性。
2015-07-14 cs.IR
Query Expansion Strategy based on Pseudo Relevance Feedback and Term Weight Scheme for Monolingual Retrieval
使用伪相关反馈的查询扩展是一种有用的和流行的查询重构技术。在我们提出的查询扩展方法中,我们假设相关信息可以在文档中找到中心思想附近。文件通常分为节、段和行。所提出的方法试图提取的关键字,更接近的中心主题的文件。扩展项是通过对伪相关反馈得到的文档进行等频划分,并利用tf-idf得分得到的。idf因子是针对文档中的分区数计算的。使用以下方法选择用于查询扩展的词组:最高得分、平均得分和具有最大数量的关键字的词组。由于不同的查询扩展方法对每个查询的影响不同,因此研究了这些方法在选择查询扩展词时的作用。从最初的研究,我们扩展实验,开发一个基于规则的统计模型,自动选择最好的一组单词,结合tf-idf评分和3种方法在这里解释,在未来。实验在FIRE 2011 Adhoc印地语和英语测试集上进行,每个测试集上有50个查询,使用Terrier作为检索引擎。
2015-02-18 cs.IR
An efficient algorithm for three-component key index construction
在本文中,接近全文搜索在大文本数组被认为是。搜索查询由几个词组成。搜索结果是包含这些单词的文档列表。在现代搜索系统中,包含彼此接近的搜索查询词的文档比不共享此特征的文档更相关。为了解决这个任务,对于每个索引文档中的每个单词,我们需要在索引中存储一条记录。在这种情况下,查询搜索时间与索引文档中查询词的出现次数成比例。因此,搜索系统通常比包含不太频繁出现的普通单词的查询更慢地评估包含频繁出现的单词的查询。对于文本中的每个单词,我们使用额外的索引来存储与给定单词的距离小于或等于MaxDistance的附近单词的信息,这是一个参数。这个参数可以取5、7甚至更大的值。可以创建三个组件的键索引,以加快查询执行速度。在此之前,我们提出的实验结果表明,当查询包含非常频繁出现的单词,查询执行与三个组件的关键字索引的平均时间是94.7倍,比使用普通倒排索引时所需的。在当前的工作中,我们描述了一个新的三个组件的关键索引建立算法,并证明了算法的正确性。我们提出的实验结果创建这样一个指数,这是依赖于最大距离的值。
2020-06-14 cs.IR
Ontology Based Query Expansion Using Word Sense Disambiguation
现有的信息检索技术没有考虑用户查询中存在的关键字的上下文。因此,搜索引擎有时不能向用户提供足够的信息。必须开发基于用户关键字语义的新方法,以便在广阔的网络空间中进行搜索而不会导致信息丢失。基于语义的信息检索技术需要理解用户查询中概念的含义。这将提高搜索结果的查全率。因此,本文的研究重点是基于概念的语义信息检索。这项工作是基于词义消歧,词库WordNet和本体的任何领域的检索信息,以捕捉特定的概念(S)的上下文,并发现它们之间的语义关系。
2010-03-07 cs.IR
Merchandise Recommendation for Retail Events with Word Embedding Weighted Tf-idf and Dynamic Query Expansion
eBay Inc.(易趣公司)
为了推荐季节性零售活动的相关商品,我们依赖于从市场库存中检索的商品。通过反馈来扩大查询范围,我们讨论了利用词嵌入相似度来选择关键词扩展候选词,并提出了一种改进的tf-idf扩展词搜索排序公式。
2022-08-18 cs.IR cs.LG
Proximity full-text searches of frequently occurring words with a response time guarantee
全文搜索引擎是信息检索的重要工具。在邻近全文搜索中,如果文档包含彼此接近的查询词,特别是如果查询词是频繁出现的词,则文档是相关的。对于文本中的每个单词,我们使用额外的索引来存储与给定单词的距离小于或等于MaxDistance的附近单词的信息,这是一个参数。当查询由高频率使用的词的情况下,搜索算法进行了讨论。此外,我们提出了不同的MaxDistance值的实验结果,以评估搜索速度依赖于MaxDistance的值。这些结果表明,当评估包含高频率出现的单词的查询时,使用我们的索引的查询执行的平均时间是使用标准倒排文件的查询执行的平均时间的94.7-45.9倍(取决于MaxDistance的值)。这是一篇发表在Pinelas S.上的文章的预印本,Kim A.,Vlasov V.(eds)数学分析与应用。CONCORD-90 2018年。Springer Proceedings in Mathematics & Statistics,vol 318,由Springer,Cham出版。最终认证版本可在线获取:https://doi.org/10.1007/978-3-030-42176-2_37
2020-09-06 cs.IR
Query2Prod2Vec Grounded Word Embeddings for eCommerce
Bocconi University(博科尼大学);Coveo Labs(Coveo实验室);Coveo(Coveo公司)
我们提出了Query2V2Vec,一个模型,该模型的基础词汇表示的产品搜索中的产品嵌入:在我们的模型中,意义是一个数字商店中的产品的单词和潜在的空间之间的映射。我们利用购物会话来学习底层空间,并使用商品化注释来构建词汇类比进行评估:我们的实验表明,我们的模型比NLP和IR文献中的已知技术更准确。最后,我们强调了零售巨头之外的产品搜索数据效率的重要性,并强调了Query2V2Vec如何适应大多数从业者面临的实际限制。
2021-04-02 cs.IR cs.LG
Deep Neural Networks for Query Expansion using Word Embeddings
Tehran University(德黑兰大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
查询扩展是缓解信息检索任务中词汇不匹配问题的一种方法。以往的研究表明,通过伪相关反馈等传统方法选择用于查询扩展的术语并不总是有助于检索过程。在本文中,我们表明,这也是真实的最近提出的基于嵌入的查询扩展方法。然后,我们引入一个人工神经网络分类器来预测查询扩展条款的有用性。该分类器使用术语词嵌入作为输入。我们在四个TREC新闻专线和网络集合上进行实验,结果表明,与竞争基线相比,使用分类器选择的扩展项显着提高了检索性能。结果也显示比基线更稳健。
2018-11-08 cs.CL cs.IR
Discovering Latent Concepts and Exploiting Ontological Features for Semantic Text Search
命名实体和WordNet单词在定义它们出现的文本内容时非常重要。命名实体具有本体特征,即它们的别名、类和标识符。WordNet词汇还具有本体特征,即同义词、上位词、下位词和义项。概念的这些特征可能隐藏在它们的文本外观中。此外,还有一些相关的概念没有出现在查询中,但如果添加它们,则可以显示查询的含义。传统的约束扩散激活算法利用了网络中节点的所有关系,这会在查询中添加不合适的信息。同时,我们只使用查询中表示的关系。提出了一种基于本体的广义向量空间模型来进行语义文本搜索。它通过关系约束扩散激活发现查询中的相关潜在概念。此外,为了表示一个词有一个以上的可能直接意义,它结合了最具体的共同上位词的其余未消除歧义的多个意义与词的形式。在一个基准数据集上的实验表明,我们的模型是41.9%和29.3%,分别优于纯粹的基于关键字的模型和传统的约束扩散激活模型的检索性能的MAP措施。
2018-07-15 cs.IR
Labeling of Query Words using Conditional Random Field
West Bengal University of Technology(西孟加拉理工大学);Jadavpur University(贾达普大学)
本文介绍了我们的方法查询词标注作为一种尝试,在混合脚本信息检索在论坛信息检索评估(FIRE)2015年的共享任务。查询是用罗马字母写的,单词是英语或从印度地方语言音译而来。除英语外,共有八种印度语言。我们还确定了命名实体和特殊符号作为我们任务的一部分。基于CRF的机器学习框架用于用其对应的语言标签来标记各个词。我们使用基于词典的方法进行语言识别。我们在识别语言时还考虑了单词的上下文。我们的系统表现出75.5%的整体准确率为令牌级语言识别。孟加拉语、英语和印地语的符号级语言标签识别的严格F度量分数分别为0.7486、0.892和0.7972。我们的系统的总体加权F度量为0.7498。
2016-07-29 cs.CL cs.IR
An Improved Algorithm for Fast K-Word Proximity Search Based on Multi-Component Key Indexes
搜索查询由几个词组成。在邻近全文搜索中,我们希望找到包含这些单词的文档。当查询由高频率出现的单词组成时,此任务需要大量时间。如果我们不能通过将高频率出现的单词声明为停止词来避免这个任务,那么我们可以通过引入额外的索引来优化我们的解决方案,以加快执行速度。在以前的工作中,我们讨论了如何减少搜索时间与多组件的关键字索引。我们已经证明,如果查询由高频率出现的单词组成,则可以使用额外的索引将平均查询执行时间提高130倍。在本文中,我们提出了另一种搜索算法,克服了我们以前的算法的一些限制,并提供更多的性能增益。这是一篇发表在Arai K.上的文章的预印本,Kapoor S.,巴蒂亚河(eds)智能系统与应用。智能系统2020。Advances in Intelligent Systems and Computing,第1251卷,Springer,Cham出版。最终认证版本可在线获取:https://doi.org/10.1007/978-3-030-55187-2_37
2020-09-06 cs.IR
Learning to Rank Words: Optimizing Ranking Metrics for Word Spotting
Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
在本文中,我们探讨和评估使用排名为基础的目标函数学习同时一个单词串和一个字的图像编码器。我们认为检索框架中,用户期望的检索列表排名根据定义的相关性得分。在单词识别问题的上下文中,根据与查询字符串的字符串编辑距离来设置相关性分数。我们的实验证明了所提出的模型的竞争力的性能,手写和真实场景的单词图像上的查询字符串单词发现。我们还提供了查询的例子词发现的结果,虽然它不是这项工作的主要重点。
2021-06-09 cs.CV cs.IR
CodeMatcher: Searching Code Based on Sequential Semantics of Important Query Words
为了加速软件开发,开发人员经常从大规模代码库中搜索和重用现有代码片段,例如,GitHub.多年来,研究者们提出了许多基于信息检索的代码检索模型,但这些模型都未能将查询和代码之间的语义鸿沟联系起来。早期成功的基于深度学习的模型DeepCS通过学习代码方法对和相应的自然语言描述之间的关系解决了这个问题。DeepCS的两个主要优点是能够理解不相关/嘈杂的关键字,并捕获查询和代码中单词之间的顺序关系。在本文中,我们提出了一个基于IR的模型CodeMatcher,继承了DeepCS的优点,同时它可以利用基于IR的模型中的索引技术来大大加快搜索响应时间。CodeMatcher首先收集查询词的元数据以识别不相关/噪声词,然后在Elasticsearch工具索引的代码库上使用重要查询词迭代执行模糊搜索,最后根据候选代码片段中的标记如何顺序匹配查询中的重要词来重新排列返回的候选代码集。我们在一个拥有约41 k存储库的大规模代码库上验证了它的有效性。实验结果表明,CodeMatcher的MRR为0.60,比DeepCS、CodeHow和UNIF分别高出82%、62%和46%。我们提出的模型比DeepCS快1.2k倍以上。此外,CodeMatcher在MRR方面分别比GitHub和Google搜索高出46%和33%。我们还注意到:方法名在连接查询和代码中起着重要的作用,提高方法命名的质量有助于代码搜索。
2022-02-22 cs.IR cs.SE
Comparing and Combining Methods for Automatic Query Expansion
查询扩展是提高信息检索系统性能的公知方法。在这项工作中,我们已经测试了不同的方法来提取候选查询条件的排名靠前的文件返回的第一遍检索。其中之一是共现的方法,基于措施的候选人和检索到的文档中的查询条件的共现。另一种方法是概率方法,它基于集合和排名最高的集合中术语的概率分布。我们比较检索的改进,通过扩大查询与属于这两种方法的不同方法获得的条款。此外,我们已经开发了一个天真的组合,这两种方法,我们已经得到的结果,改善与他们单独获得的。这一结果证实,每种方法提供的信息性质不同,因此可以合并使用。
2008-04-13 cs.IR
Relevance-based Word Embedding
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
学习词汇术语的高维密集表示,也称为词嵌入,最近在自然语言处理和信息检索任务中引起了很多关注。嵌入向量通常基于大型语料库中的术语接近度来学习。这意味着在公知的词嵌入算法中的目标,word2vec是准确预测给定单词或上下文的相邻单词。然而,这个目标并不一定等同于许多信息检索(IR)任务的目标。各种IR任务的主要目标是捕获相关性,而不是术语接近度,句法,甚至语义相似性。这就是开发基于查询文档相关性信息学习单词表示的无监督的基于相关性的词嵌入模型的动机。在本文中,我们提出了两个学习模型,具有不同的目标函数,一个学习的词汇集为每个查询的相关性分布,和其他分类每个术语属于相关或不相关的类为每个查询。为了训练我们的模型,我们使用了超过600万个独特的查询和响应每个查询检索的排名最高的文档,这些文档被认为与查询相关。我们extraperitively评估我们的学习词表示模型使用两个IR任务:查询扩展和查询分类。在四个TREC集合上的查询扩展实验和在KDD Cup 2005数据集上的查询分类实验表明,基于相关性的词嵌入模型的性能显著优于最先进的基于邻近度的嵌入模型,如word2vec和GloVe。
2017-07-16 cs.CL cs.IR cs.LG
Automatic Table completion using Knowledge Base
表是一种流行的数据格式,用于组织和表示关系信息。用户在收集他们所需的信息(例如,实体及其属性)进行决策。在这项工作中,我们建议解决一种新类型的异构查询即:表格查询,其中包含一个自然语言查询描述,所需的表的列名,和一个例子行。我们的目标是获取更多的实体元组(行)并自动填充表格查询指定的表。我们设计了一个新的框架AutoTableComplete,其目的是集成模式特定的结构信息与自然语言的上下文信息提供的用户,自动完成表格,使用异构的知识库(KB)作为主要的信息源。给定一个表格查询作为输入,我们的框架首先构造一组候选链,连接KB中给定的示例实体。我们学习使用表格查询的语义上下文从这些候选中选择最佳匹配链。然后将所选链转换为SPARQL查询,对KB执行以收集一组候选行,然后按照它们与表格查询的相关性对这些行进行排名,以完成所需的表。我们基于维基百科页面和Freebase中的表格构建了一个新的数据集,使用该数据集进行了广泛的实验,以证明AutoTableComplete的有效性,并对我们的方法进行了详细的错误分析。
2019-09-20 cs.IR
Rule based Approach for Word Normalization by resolving Transcription Ambiguity in Transliterated Search Queries
查询词与文档词的匹配是诸如向量空间模型等尽力信息检索模型的基本功能。在我们的基于SMS的信息系统的问题中,我们期望普通人参与信息搜索。我们的系统允许移动用户制定自己的话,自己的音译风格和拼写形式的查询。为了实现这种灵活性,我们已经解决了由于用户查询术语中固有的转录噪声而导致的术语级歧义。我们已经开发了一个基于规则的方法来选择最相关的关闭标准的条款,每个嘈杂的条款在用户查询。我们已经使用了四个不同版本的规则为基础的算法与变化的规则集。我们制定了这个规则集,包括基本的Levenshtein最小编辑距离算法的术语匹配。本文介绍了马拉地语和印地语文献信息系统的实验和相应的结果。我们对马拉地语和印地语文学进行了实验,其中包括歌曲,gazals,powadas,bharud和其他类型的标准音译形式,如ITRANS。
2019-10-16 cs.IR
Dynamic Model for Query-Document Expansion towards Improving Retrieval Relevance
从搜索引擎中获取相关信息一直是信息检索研究工作的核心。查询扩展是一种已经被研究并被证明在相关性方面产生积极结果的检索技术。用户需要将他们的查询表达为单词、句子或问题的短列表。使用这种简短的格式,大量的信息在从实际查询大小转换所需信息的过程中丢失,因为用户不能用几句话表达他所有的想法。这主要导致不良的查询表示,这有助于不期望的检索效率。这种信息的丢失使得查询扩展技术的研究成为一个强有力的研究领域。本研究工作的重点是两种检索方法的鸣叫长度查询和长度查询。已经提出了两种算法,预计实现产生一个更好的相关性检索模型比大多数国家的最先进的相关性模型。
2021-03-18 cs.IR
Selection of Optimal Parameters in the Fast K-Word Proximity Search Based on Multi-component Key Indexes
邻近全文搜索通常在当代全文搜索系统中实现。让我们假设搜索查询是一个单词列表。如果查询的单词在文档中彼此接近,则很自然地认为文档是相关的。对于查询由频繁出现的单词组成的情况,邻近因子甚至更重要。邻近全文搜索要求存储用户可以搜索的每个单词在文档中的每次出现的信息。对于文档中每个单词的每次出现,我们使用额外的索引来存储有关附近单词的信息,即文档中出现的单词与给定单词的距离小于或等于MaxDistance参数。我们在以前的作品中表明,这些索引可以用来提高平均查询执行时间高达130倍的查询,包括出现频率高的单词。在本文中,我们考虑如何搜索性能和搜索质量取决于最大距离和其他参数的值。众所周知的GOV 2文本集合用于实验中的结果的再现性。在分析实验结果的基础上,提出了一种新的索引模式。这是发表在第二十二届数据密集型领域数据分析和管理国际会议(DAMDID/RCDL 2020)补充论文集上的贡献的预印本,俄罗斯沃罗涅日,2020年10月13日至16日,第336-350页,由CEUR研讨会论文集出版。最终认证版本可在线获取:http://ceur-ws.org/Vol-2790/
2021-01-09 cs.IR
Semi-automatic methods for adding words to the dictionary of VepKar corpus based on inflectional rules extracted from Wiktionary
本文介绍了一种使用英语维基词典的屈折变化表来生成Veps和卡累利阿语言的开放语料库中的Veps动词和名词的单词形式的技术。关于卡累利阿和Veps Wiktionary条目的信息与变形表。以jogi(河流)词条为例,说明了维基词典静态模板和动态模板的工作原理。提出了根据英语维基词典的动态模板数据,在VepKar语料库中构造词形变化表的方法。
2020-01-14 cs.IR
A Data Driven Approach to Query Expansion in Question Answering
University of Sheffield(谢菲尔德大学)
自然语言问题的自动回答是一个有趣而有用的问题。问答(QA)系统通常在初始阶段执行信息检索。Lucene等引擎提供的信息检索(IR)性能限制了整个系统的性能。例如,对于几乎40%的问题,在低级别没有检索到带有答案的文档。在本文中,回答文本从以前的QA评估举行的文本检索会议(TREC)的一部分,配对查询和分析,试图确定性能增强的话。然后,这些词用于评估查询扩展方法的性能。数据驱动的扩展词被发现对70%以上的难题有帮助。这些词可用于改进和评估查询扩展方法。简单的盲相关反馈(RF)被正确预测为不太可能帮助整体性能,并提供了一个可能的解释,其低价值的IR QA。
2012-03-22 cs.CL cs.IR
In a Few Words: Comparing Weak Supervision and LLMs for Short Query Intent Classification
本文针对短查询的信息类、导航类和事务类意图分类,实证比较弱监督基线 ORCAS-I 与多种 LLaMA-3.1 模型,发现 LLM 召回率更高但精确率不足。
2025-06-06 cs.IR
Query Expansion for Patent Searching using Word Embedding and Professional Crowdsourcing
United States Patent and Trademark Office(美国专利商标局)
专利审查过程包括检索以前的工作,以验证专利申请描述了一项新的发明。专利审查员主要使用基于关键词的搜索来发现现有技术。关键词搜索的关键部分是查询扩展,这是包括诸如同义词和其他相关词的替代术语的过程,因为相同的概念在文献中通常被不同地描述。专利术语通常是特定领域的。通过管理特定于技术的语料库并基于这些语料库训练词嵌入模型,我们能够自动识别给定单词或短语的最相关扩展。我们比较了几种自动查询扩展技术对专家指定的扩展的性能。此外,我们探索了一种新的机制来提取相关的条款,而不仅仅是基于一个输入项,而是通过计算它们的质心,并确定最近的邻居,这个质心结合几个条款。熟练的专利审查员通常是识别相关术语的最佳和最可靠的来源。通过设计一个用户界面,允许审查员与词嵌入建议进行交互,我们能够使用这些交互来为相关术语的众包模式提供动力。从用户那里学习可以让我们克服一些挑战,比如识别出那些前沿的、尚未在语料库中发表的单词。本文研究了词嵌入和众包模型在11个不同技术领域的有效性。
2019-11-14 cs.CL cs.IR cs.LG
Remedies against the Vocabulary Gap in Information Retrieval
搜索引擎严重依赖于基于术语的方法,这些方法将查询和文档表示为词袋。文本(文档或查询)由一组单词表示,忽略语法和词序,但保留词频计数。当呈现搜索查询时,引擎然后通过计算查询和文档术语之间的匹配度来根据文档的相关性得分对文档进行排名。虽然基于术语的方法在实践中是直观和有效的,但它们是基于这样的假设的:无论查询语义如何,精确包含查询术语的文档都是高度相关的。当然,基于术语的方法假设不包含查询术语的文档是不相关的。然而,众所周知,在术语级别的高匹配度并不一定意味着高相关性,反之亦然,匹配空查询术语的文档可能仍然是相关的。因此,当查询和文档使用不同的词来描述相同的概念时,就会出现查询和文档之间的词汇差距。如何缓解这种词汇差距所带来的影响,正是本文研究的主题。更具体地说,我们提出(1)的方法来制定一个有效的查询从复杂的文本结构和(2)潜在的向量空间模型,规避词汇差距信息检索。
2017-11-16 cs.AI cs.CL cs.IR
Using Query Expansion in Manifold Ranking for Query-Oriented Multi-Document Summarization
Beihang University(北京航空航天大学)
流形排序已成功地应用于面向查询的多文档摘要。它不仅利用了句子之间的关系,而且还利用了给定查询和句子之间的关系。然而,原始查询的信息往往是不够的。为此,本文提出了一种结合流形排序的查询扩展方法来解决这一问题。该方法不仅利用查询词本身的信息和知识库WordNet进行同义词扩展,还利用文档集本身的信息进行多种方式的查询扩展(均值扩展、方差扩展和TextRank扩展)。与以往的查询扩展方法相比,我们的方法结合了多种查询扩展方法,更好地表示查询信息,同时在流形排序上做了有益的尝试。此外,我们使用词的重叠度和词之间的接近度来计算句子之间的相似度。在DUC2006和DUC2007数据集上进行了实验,实验结果表明,所提出的查询扩展方法能够显著提高系统性能,使系统性能达到与现有系统相当的水平.
2021-07-31 cs.AI cs.IR cs.LG
Automatic Classification of Text Databases through Query Probing
网络上的许多文本数据库都“隐藏”在搜索界面之后,它们的文档只能通过查询来访问。搜索引擎通常会忽略这种仅用于搜索的数据库的内容。最近,类似Yahoo的目录已经开始手动地将这些数据库组织成用户可以浏览以找到这些有价值的资源的类别。我们提出了一种新的策略来自动分类的搜索只文本数据库。我们的技术首先训练一个基于规则的文档分类器,然后使用分类器的规则来生成探测查询。查询被发送到文本数据库,然后根据它们为每个查询产生的匹配数量对文本数据库进行分类。我们报告了一些初步的探索性实验表明,我们的方法是有希望的,以自动特征的文本数据库在网络上访问的内容。
2000-03-09 cs.DB cs.IR
Improving Information Retrieval Results for Persian Documents using FarsNet
Sharif University of Technology(谢里夫理工大学)
在本文中,我们提出了一种新的方法查询扩展,它使用FarsNet(波斯语WordNet),以找到类似的令牌相关的查询和扩展的语义含义的查询。为此,我们在FarsNet中使用同义关系,并提取相关的同义词来查询单词。该算法被用于增强信息检索系统和改善搜索结果。与基线方法(不使用查询扩展)相比,该系统的总体评估显示平均平均精度(MAP)提高了约9%。
2018-11-01 cs.CL cs.IR
Automatic Query Image Disambiguation for Content-Based Image Retrieval
Friedrich Schiller University Jena(耶拿弗里德里希·席勒大学)
呈现给基于内容的图像检索系统的查询图像通常具有各种不同的解释,使得难以识别用户所追求的搜索目标。我们提出了一种克服这种模糊性的技术,同时保持所需的用户交互量最小。为了实现这一点,查询图像的邻域被划分为连贯的聚类,用户可以从中选择相关的。一种新的反馈集成技术,然后重新排名整个数据库方面的用户反馈和原始查询。我们在公开的MIRFLICKR-25 K数据集上评估了我们的方法,在基线检索上,它导致平均精度相对提高了23%,而基线检索并没有区分不同的图像感觉。
2017-11-02 cs.CV cs.IR
Contextual Query Using Bell Tests
在信息检索和数据采掘中,为了评估查询的有效性,测试是必不可少的。一个自动测量工具,旨在展示上下文中的单词的含义已经开发出来,并与量子理论,特别是纠缠。基于超空间语义语言(HAL)方法,在语义空间上进行了“类量子”实验。使用从HAL矩阵和查询可观量发出的状态向量实现了量子HAL模型,测试了宽范围的窗口大小。贝尔参数S,在一个文件中的两个字相关联的措施,推导出特定的窗口大小的峰值。峰值显示贝尔不等式的最大量子违反,并依赖于文件。这种受量子理论启发的新的相关性度量可能有希望用于测量查询相关性。
2013-09-30 cs.IR quant-ph
Automatic Language Identification for Romance Languages using Stop Words and Diacritics
University Politehnica of Bucharest(布加勒斯特理工大学);University of Lyon(里昂大学)
自动语言识别是一个自然语言处理问题,它试图确定给定内容的自然语言。在本文中,我们提出了一种统计方法,用于自动语言识别的书面文本使用字典包含停用词和变音符号。我们提出了不同的方法来结合这两个词典来准确地确定文本语料库的语言。之所以选择这种方法,是因为停用词和变音符号对于一种语言来说是非常特定的,尽管有些语言有一些相似的词和专用字符,但它们并不都是通用的。考虑的语言是浪漫语言,因为它们非常相似,通常很难从计算的角度区分它们。我们已经测试了我们的方法使用Twitter语料库和新闻文章语料库。两个语料库都由UTF-8编码的文本组成,因此可以考虑变音符号,在文本没有变音符号的情况下,仅使用停止词来确定文本的语言。实验结果表明,该方法对小文本的正确率在90%以上,
2018-06-14 cs.CL cs.IR
Affect Enriched Word Embeddings for News Information Retrieval
Adobe(奥多比)
词的分布式表示已被证明是有用的,以提高效率的IR系统在许多子任务,如查询扩展,检索和排名。像word 2 vec、GloVe等算法也是不同NLP任务中许多改进的关键因素。这种嵌入模型的一个常见问题是,像快乐和悲伤这样的词出现在类似的上下文中,因此在嵌入空间中被错误地聚集在一起。在本文中,我们利用Aff 2 Vec,一组词嵌入模型,其中包括影响信息,以更好地捕捉新闻文本中的影响方面,以实现更好的结果在信息检索任务,也这样的嵌入是由同义词/反义词的问题较少击中。我们评估其有效性的两个IR相关的任务(查询扩展和排名)在纽约时报数据集(TREC-core '17)比较他们对其他词嵌入为基础的模型和经典的排名模型。
2019-09-04 cs.CL cs.IR
DeepCAT: Deep Category Representation for Query Understanding in E-commerce Search
Emory University(埃默里大学);The Home Depot(家得宝)
将搜索查询映射到产品分类中的一组相关类别在电子商业搜索中是一个重大挑战,原因有两个:1)由于有偏见的点击行为,训练数据表现出严重的类不平衡问题,以及2)具有很少客户反馈的查询(例如,尾查询)在训练集中没有很好地表示,并且导致查询理解的困难。为了解决这些问题,我们提出了一个深度学习模型DeepCAT,它学习联合词-类别表示以增强查询理解过程。我们相信,学习类别的相互作用,有助于提高少数类,尾部和躯干查询的类别映射的性能。DeepCAT包含一个新的词-类别表示模型,该模型基于训练集中的词-类别共现来训练类别表示。然后利用类别表示引入一个新的损失函数来估计类别-类别共现,以改进联合词-类别嵌入。为了证明我们的模型对少数类别和尾查询的有效性,我们进行了两组实验。结果表明,DeepCAT在少数类上实现了10%的改进,在最先进的标签嵌入模型上实现了7.1%的尾查询改进。我们的研究结果提出了一个有前途的方向,以改善电子商业搜索的语义建模的分类层次结构。
2021-05-10 cs.CL cs.IR cs.LG
Bridging the Gap: Incorporating a Semantic Similarity Measure for Effectively Mapping PubMed Queries to Documents
National Center for Biotechnology Information(国家生物技术信息中心);National Library of Medicine, National Institutes of Health(美国国家医学图书馆,美国国立卫生研究院)
传统的信息检索(IR)的主要方法是检查查询中有多少单词出现在文档中。然而,这种方法的一个缺点是,它可能无法检测到相关的文档中没有或只有少数单词从一个查询中被发现,语义分析方法,如LSA(潜在语义分析)和LDA(潜在Dirichlet分配)已被提出来解决这个问题,但他们的性能并不优于普通的IR方法相比。在这里,我们提出了一个查询文档的相似性措施的动机字移动器的距离。与其他相似性度量不同,所提出的方法依赖于神经词嵌入来计算词之间的距离。当在查询和文档之间没有找到直接匹配时,此过程有助于识别相关单词。我们的方法是有效的和简单的实现。在TREC Genomics数据上的实验结果表明,该方法的平均精度比BM 25排序函数平均高12%。此外,对于从PubMed搜索日志收集的真实数据集,我们使用学习排序方法将语义度量与BM 25相结合,从而将排名分数提高了25%。该实验表明,所提出的方法和BM 25很好地相互补充,并共同产生卓越的性能。
2017-10-17 cs.CL cs.IR
Constraint Translation Candidates: A Bridge between Neural Query Translation and Cross-lingual Information Retrieval
Alibaba Group(阿里巴巴集团)
查询翻译是跨语言信息检索系统中的一个关键部分。在深度学习的帮助下,神经机器翻译(NMT)在各种任务上都表现出了良好的效果。然而,NMT通常使用大规模域外数据而不是域内查询翻译对进行训练。此外,翻译模型在推理时缺乏一种机制来保证生成的词与搜索索引相匹配。QT的这两个缺点导致人类可读的文本,但下游检索任务的候选人不足。在本文中,我们提出了一种新的方法来缓解这些问题,限制开放的目标词汇搜索空间的QT的一组重要的话挖掘从搜索索引数据库。在训练和推理时都采用约束翻译候选,从而指导翻译模型学习和生成性能良好的目标查询。本文提出的方法在一个真实的CLIR系统--全球速卖通电子商务搜索引擎中得到了应用和检验。实验结果表明,我们的方法在翻译质量和检索准确率上都比强NMT基线有更好的性能。
2020-10-26 cs.CL cs.IR
Automatic Query Optimization for Retrieving Traffic Tweets
与许多社交媒体和数据经纪公司一样,Twitter通过搜索API(应用程序编程接口)提供数据。除了按日期和位置过滤结果外,研究人员还可以使用布尔文本查询来搜索具有特定内容的推文,使用{ \it AND}、{ \it OR}和{ \it NOT}运算符来选择必须或不得出现在匹配推文中的短语组合。这种布尔文本搜索系统并不是Twitter独有的,它在许多不同的环境中都可以找到,包括学术,法律和医疗数据库,但是由于推文的相对数量和简短性,它在Twitter的用例中被扩展到了极限。此外,在20世纪80年代和90年代期间,在信息检索的主题下,对这种系统的半自动化使用进行了很好的研究,然而,从那时起,对这种系统的研究已经大大下降。因此,我们提出了更新的方法,自动选择和完善复杂的布尔搜索查询,可以隔离相关的结果具有更大的特异性和完整性。此外,我们提出了初步的结果,使用优化的查询收集样本的交通事故相关的推文,以及手动分类和分析它们的结果。
2020-06-21 cs.IR cs.SI
Xu: An Automated Query Expansion and Optimization Tool
Queen’s University(女王大学);Gnowit Inc.(Gnowit公司)
互联网上信息的指数增长对信息检索系统产生相关结果是一个巨大的挑战。需要新的方法来重新格式化或扩展用户查询,以生成令人满意的响应,并提高召回率和精度。查询扩展(QE)是一种基于语义相似性度量引入附加标记或短语来扩展用户查询的技术。折衷的是增加的计算复杂性,以找到语义相似的单词和可能增加的噪音在信息检索。尽管在这个问题上的一些研究工作,量化宽松尚未被探索不够,需要更多的工作,在相似性匹配和组合查询条件的目标是检索一个小的最适当的反应。QE在处理复杂查询时应该是可伸缩的、快速的和健壮的,并且具有良好的响应时间和噪声上限。在本文中,我们提出了徐,一个自动QE技术,使用高维聚类的词向量和Datamuse API,一个开源的查询引擎,找到语义相似的话。我们将Xu实现为命令行工具,并使用包含新闻文章和人工生成QE的数据集评估其性能。评估结果表明,Xu优于Datamuse,参考人类生成的QE,准确率约为88%。
2019-05-08 cs.CL cs.IR
Mixed Attention Transformer for Leveraging Word-Level Knowledge to Neural Cross-Lingual Information Retrieval
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
预先训练的上下文表示为许多下游任务提供了巨大的成功,包括文档排序。这种预训练表示的多语言版本提供了使用同一模型联合学习多种语言的可能性。虽然预计通过这种联合训练可以获得很大的收益,但在跨语言信息检索(CLIR)的情况下,多语言环境下的模型并没有达到与单语言环境下相同的性能水平。我们假设性能下降是由于查询和文档之间的翻译差距。在单语检索任务中,由于词汇输入相同,模型更容易识别出出现在文档中的查询词。然而,在将不同语言的单词投影到同一超空间的多语言预训练模型中,模型倾向于将查询词转换为相关词,即,出现在相似上下文中的术语,除了或有时不是目标语言中的同义词。这个属性给模型连接查询和文档中同时出现的术语带来了困难。为了解决这个问题,我们提出了一种新的混合注意力Transformer(MAT),它结合了外部的字级知识,如字典或翻译表。我们设计了一个三明治式的架构,将MAT嵌入到最近基于Transformer的深度神经模型中。通过将翻译知识编码成注意力矩阵,具有MAT的模型能够关注输入序列中的互译词。实验结果表明,外部知识的有效性和MAT嵌入的神经重排序模型的CLIR任务的显着改善。
2021-09-14 cs.CL cs.IR
Keyword Embeddings for Query Suggestion
Linknovate Science(Linknovate科学公司);University of A Coruña(拉科鲁尼亚大学)
目前,搜索引擎用户普遍依赖于查询建议来改善他们的初始输入。当前的系统非常擅长向用户的查询推荐词汇调整或拼写更正。然而,他们往往很难建议语义相关的关键字给定用户的查询。在某些任务中,如法律检索或学术检索,详细查询的构造是至关重要的。在这些情况下,关键字建议方法是至关重要的,以指导用户在查询公式。本文提出了两个新的模型,用于科学文献训练的关键词建议任务。我们的技术适应Word2Vec和FastText的架构,通过利用文档的关键字共现来生成关键字嵌入。除了这些模型,我们还提出了一个专门定制的负采样方法,利用关键字如何出现在学术出版物。我们设计了一个排名为基础的评估方法,以下两个已知的项目和特设的搜索场景。最后,我们评估了我们的建议对国家的最先进的词和句子嵌入模型显示出相当大的改善基线的任务。
2023-01-23 cs.CL cs.IR
Deep Bag-of-Words Model: An Efficient and Interpretable Relevance Architecture for Chinese E-Commerce
Alibaba Group(阿里巴巴集团)
针对电商搜索中预训练模型延迟高、双塔模型黑盒不可解释的问题,提出深度词袋模型,通过稀疏词袋表示计算相关性,兼具高效性与可解释性,适配中文电商在线搜索部署。
2024-07-12 cs.AI cs.CL cs.IR
Document clustering with evolved multiword search queries
Sheffield Hallam University(谢菲尔德哈勒姆大学);University College London(伦敦大学学院);University of Brighton(布莱顿大学)
本文提出用演化搜索查询进行文档聚类,通过优化查询减少重叠,并结合KNN分配未匹配文档,在8个数据集上取得最高准确率,同时兼具可解释性与可修改性。
2025-02-24 cs.IR cs.LG cs.NE
Reducing the impact of out of vocabulary words in the translation of natural language questions into SPARQL queries
University of Calabria(卡拉布里亚大学)
对于不熟悉SPARQL查询语言的用户来说,公共知识库中的大量可用信息可能很复杂。SPARQL中自然语言问题的自动翻译有可能克服这个问题。现有的基于神经机器翻译的系统非常有效,但在识别训练集的词汇表之外(OOV)的单词时容易失败。在查询大型本体时,这是一个严重的问题。在本文中,我们结合命名实体链接,命名实体识别,神经机器翻译执行自动翻译的自然语言的问题到SPARQL查询。我们通过在Monument、QALD-9和LC-QuAD v1上运行实验,证明了我们的方法比现有方法对OOV词更有效和更有弹性,这些数据集是DBpedia上问答的知名数据集。
2021-11-04 cs.CL cs.IR cs.LG