Query Expansion for Cross-Language Question Re-Ranking
Johns Hopkins University(约翰斯·霍普金斯大学)
社区问答(CQA)平台已经成为每天提问和回答问题的非常受欢迎的论坛。虽然这些论坛是社区知识的丰富宝库,但由于非正式讨论的开放性质,它们对寻找相关答案和类似问题提出了挑战。此外,如果该平台允许以多种语言提问和回答,我们将面临匹配跨语言信息的额外挑战。在这项工作中,我们专注于跨语言问题重新排序共享任务,其目的是找到可能用不同语言编写的现有问题。我们的贡献是探索查询扩展技术,这个问题。我们调查的基础上的扩展词嵌入,DBpedia的概念链接,和Hypernym,并表明,他们优于现有的国家的最先进的方法。
2019-04-16 cs.CL cs.IR
A Data Driven Approach to Query Expansion in Question Answering
University of Sheffield(谢菲尔德大学)
自然语言问题的自动回答是一个有趣而有用的问题。问答(QA)系统通常在初始阶段执行信息检索。Lucene等引擎提供的信息检索(IR)性能限制了整个系统的性能。例如,对于几乎40%的问题,在低级别没有检索到带有答案的文档。在本文中,回答文本从以前的QA评估举行的文本检索会议(TREC)的一部分,配对查询和分析,试图确定性能增强的话。然后,这些词用于评估查询扩展方法的性能。数据驱动的扩展词被发现对70%以上的难题有帮助。这些词可用于改进和评估查询扩展方法。简单的盲相关反馈(RF)被正确预测为不太可能帮助整体性能,并提供了一个可能的解释,其低价值的IR QA。
2012-03-22 cs.CL cs.IR
GQE-PRF: Generative Query Expansion with Pseudo-Relevance Feedback
Artificial Intelligence Application Research Center, Huawei Technologies(华为技术有限公司人工智能应用研究中心)
在信息检索中,基于伪相关反馈的查询扩展是提高检索效率的有效方法.近年来,随着深度学习技术的快速发展,神经文本生成在许多自然语言任务中取得了令人鼓舞的成功。为了充分利用文本生成的优势进行信息检索,本文提出了一种新的方法,有效地将文本生成模型集成到基于PRF的查询扩展中。特别是,我们的方法通过神经文本生成模型生成增强的查询条件的初始查询和伪相关反馈。此外,为了训练生成模型,我们采用了条件生成对抗网(CGANs),提出了PRF-CGAN方法,其中生成器和生成器都以伪相关反馈为条件。我们使用两个基准数据集评估我们的方法在信息检索任务上的性能。实验结果表明,我们的方法取得了相当的性能或优于传统的查询扩展方法的检索和重排序任务。
2021-08-13 cs.AI cs.CL cs.IR
A Hybrid Citation Retrieval Algorithm for Evidence-based Clinical Knowledge Summarization: Combining Concept Extraction, Vector Similarity and Query Expansion for High Precision
Northwestern University Feinberg School of Medicine(西北大学范伯格医学院);Bluhm Cardiovascular Institute of Northwestern Medicine(西北大学布鲁姆心血管研究所);University of Kansas Medical Center(堪萨斯大学医学中心)
新的信息检索方法,以确定引文相关的临床主题,可以克服知识差距之间存在的主要文献(MEDLINE)和在线临床知识资源,如UpToDate。直接检索MEDLINE数据库或使用查询扩展方法检索MEDLINE数据库会返回大量与查询无关的引文。目前的研究提出了一个引文检索系统,检索引文的循证临床知识总结。该方法结合了查询扩展、基于概念的筛选算法和基于概念的向量相似度。我们还提出了一个信息抽取框架自动概念(人口,干预,比较和疾病)提取。我们评估了我们提出的系统上的所有主题(查询)从UpToDate两种疾病,心力衰竭(HF)和心房颤动(AFib)。根据UpToDate中可用的引用金标准,该系统在HF主题上的总体F分数为41.2%,在AFib主题上的总体F分数为42.4%。与基于查询扩展的基线(HF的F评分为1.3%,AFib为2.2%)和使用疾病下位词和期刊名称、基于概念的筛选和基于术语的向量相似性系统(HF的F评分为37.5%,AFib为39.5%)的查询扩展的系统相比,这一数值显著较高。使用前K个相关引文评估系统,其中K是金标准中的引文数量,HF主题的总体F分数为69.9%,AFib主题为75.1%。此外,当对10个HF和6个AFib临床主题进行测试时,系统每个主题检索到多达18个新的相关引文。
2016-09-06 cs.CL cs.IR
Towards Explaining Query Expansion Performance in Information Retrieval
Indian Statistical Institute(印度统计学院);IIT Bombay(孟买印度理工学院);IIT Bhilai(比莱印度理工学院)
本研究通过理想扩展查询和可分离性两个视角解释查询扩展性能差异,提出度量方法并在多个TREC数据集上验证,发现接近理想扩展查询的查询效果更好。
2026-10-08 cs.CL cs.IR
Generative Query Expansion with Multilingual LLMs for Cross-Lingual Information Retrieval
The Alan Turing Institute(艾伦·图灵研究所);University College London(伦敦大学学院);Queen Mary University of London(伦敦女王学院)
本研究探讨了多语言大语言模型在跨语言信息检索中的生成式查询扩展效果,发现查询长度和提示技术对性能影响显著,且不同语言间存在显著的检索性能差异。
2025-11-24 cs.AI cs.CL cs.IR
Semantic Evolutionary Concept Distances for Effective Information Retrieval in Query Expansion
Hong Kong Baptist University(香港浸会大学);University of Perugia(佩鲁贾大学)
在这项工作中,几个语义方法的概念为基础的查询扩展和重新排序方案进行了研究,并与不同的基于本体的扩展方法在Web文档搜索和检索进行了比较。特别是,我们专注于基于概念的查询扩展计划,其中,为了有效地提高精度的Web文档检索,以减少用户的浏览时间,主要目标是快速地为用户提供最合适的查询扩展。在Web文档检索中,查询扩展的两个关键任务是找到扩展候选,即Web文档域中最接近的概念,并对扩展查询进行适当的排序。我们提出的方法,旨在提高扩展阶段更好的Web文档检索和精度。其基本思想是使用PMING距离来测量候选概念之间的距离,PMING距离是一种协作语义接近度度量,即可以通过使用来自web搜索引擎的统计结果来计算的度量。实验结果表明,该方法能为用户提供更满意的扩展结果,提高了Web文档检索的质量。
2017-01-19 cs.AI cs.CL cs.IR
Improving Information Retrieval Results for Persian Documents using FarsNet
Sharif University of Technology(谢里夫理工大学)
在本文中,我们提出了一种新的方法查询扩展,它使用FarsNet(波斯语WordNet),以找到类似的令牌相关的查询和扩展的语义含义的查询。为此,我们在FarsNet中使用同义关系,并提取相关的同义词来查询单词。该算法被用于增强信息检索系统和改善搜索结果。与基线方法(不使用查询扩展)相比,该系统的总体评估显示平均平均精度(MAP)提高了约9%。
2018-11-01 cs.CL cs.IR
GOLFer: Smaller LM-Generated Documents Hallucination Filter & Combiner for Query Expansion in Information Retrieval
City University of Hong Kong(香港城市大学);The University of Hong Kong(香港大学)
本文提出 GOLFer,通过幻觉过滤与加权文档组合,使较小开源语言模型可用于查询扩展,并在多类检索数据集上取得优于同类小模型方法、媲美大型 LLM 方法的效果。
2025-06-05 cs.AI cs.CL cs.IR
Query-Adaptive Semantic Chunking for Retrieval-Augmented Generation: A Dynamic Strategy with Contextual Window Expansion
Independent Researcher(独立研究者)
提出查询自适应语义分块(QASC)方法,通过将查询融入分块过程,利用句子-查询嵌入余弦相似度、上下文窗口扩展和分块级分数聚合,动态构建相关且连贯的文档块,在F1分数上比固定分块提升18-27%,比语义和智能体分块提升8-12%。
2026-05-26 cs.CL cs.IR
Natural language technology and query expansion: issues, state-of-the-art and perspectives
Faculty of IT, Monash University(莫纳什大学信息技术学院);University of Lyon(里昂大学);CNRS(法国国家科学研究中心)
丰富的知识资源的可用性促使人们在信息检索技术的开发和增强方面做出了大量的努力。用户的信息需求是用自然语言表达的,成功的检索在很大程度上取决于预期目的的有效沟通。自然语言查询由多个语言特征组成,用于表示预期的搜索目标。造成语义歧义和误解的查询,以及其他因素,如缺乏熟悉的搜索环境的语言特征影响用户的能力,准确地表示他们的信息需求,创造的概念意图差距。后者直接影响返回的搜索结果的相关性,这可能不是用户满意的,因此是影响信息检索系统的有效性的主要问题。我们讨论的核心是识别表征查询意图的重要成分,并通过添加有意义的术语、短语甚至潜在表示来丰富它们,手动或自动地捕获它们的预期含义。具体来说,我们讨论的技术,以实现丰富,特别是那些利用从统计处理的长期依赖关系的文档语料库或从外部知识源,如本体收集的信息。我们放下解剖的通用语言学为基础的查询扩展框架,并提出其基于模块的分解,覆盖的主题问题,从查询处理,信息检索,计算语言学和本体工程。对于每个模块,我们回顾了文献中最先进的解决方案,并根据所使用的技术进行了分类和分析。
2020-04-23 cs.CL cs.IR
Expand, Rerank, and Retrieve: Query Reranking for Open-Domain Question Answering
Massachusetts Institute of Technology(麻省理工学院);Meta AI
本文提出 EAR 方法,通过查询扩展生成多样化查询并用重排序器选择更优查询,从而显著提升 BM25 在开放域问答中的检索准确率。
2023-05-26 cs.CL
Query Expansion Using Contextual Clue Sampling with Language Models
University College London(伦敦大学学院);University of Waterloo(滑铁卢大学)
查询扩展是信息检索中缓解查询词与文档词汇不匹配的有效方法。最近的一项研究使用语言模型来生成查询相关的上下文以供扩展。沿着这条线,我们认为,从这些背景下的扩展条款应该平衡两个关键方面:多样性和相关性。增加多样性的明显方法是从语言模型中抽取多个上下文。然而,这是以相关性为代价的,因为模型有一个众所周知的倾向,即产生不正确或不相关的上下文。为了平衡这两个方面的考虑,我们提出了一个有效的过滤策略和融合的基础上,每个上下文的生成概率检索到的文件相结合。我们的基于词汇匹配的方法实现了类似的前5名/前20名的检索准确率和更高的前100名的准确率相比,建立良好的稠密检索模型DPR,同时减少了超过96%的索引大小。对于端到端QA,读者模型也受益于我们的方法,并在几个竞争基线中获得了最高的精确匹配分数。
2022-10-13 cs.CL
Semantically-Enriched Search Engine for Geoportals: A Case Study with ArcGIS Online
STKO Lab, UC Santa Barbara(加州大学圣巴巴拉分校STKO实验室);ESRI Inc(环境系统研究所公司);SayMosaic Inc.(SayMosaic公司);UC Santa Barbara(加州大学圣巴巴拉分校);STKO Lab(STKO实验室)
许多地理门户网站,如ArcGIS Online的建立,以提高地理空间数据的可重用性和实现智能知识发现的目标。然而,根据以往的研究,大多数现有的地理门户网站采用基于Lucene的技术来实现其核心搜索功能,这具有有限的能力,捕捉用户的搜索意图。为了更好地理解用户的搜索意图,可以使用查询扩展来通过添加语义相似的术语来丰富用户的查询。在地理门户和地理信息检索的背景下,我们主张从地理空间和主题的角度来丰富用户的查询语义的想法。在地理空间方面,我们提出了丰富的查询,同时使用的地方partonomy和距离衰减。在主题方面,概念扩展和基于嵌入的文档相似度被用来推断隐藏在用户查询中的隐含信息。这个语义查询扩展1 2 G. Mai等人的框架被实现为一个语义丰富的搜索引擎,使用ArcGIS Online作为案例研究。构建了一个基准数据集来评估所提出的框架。我们的评估结果表明,所提出的语义查询扩展框架是非常有效的捕捉用户的搜索意图,并显着优于一个良好的建立基线Lucene的实际评分功能,在DCG@K(K= 3,5,10)的增量超过3.0。
2020-03-14 cs.CL cs.IR
Simple and Effective Knowledge-Driven Query Expansion for QA-Based Product Attribute Extraction
Rakuten Institute of Technology(乐天技术研究所);Rakuten Group Inc.(乐天集团);Institute of Industrial Science(工业科学研究所);the University of Tokyo(东京大学)
电子商务网站属性值提取的一个关键问题是如何处理大量不同产品的属性。虽然这个挑战部分地解决了问答(QA)的方法,找到一个给定的查询(属性)的产品数据中的值,它不工作,有效地为罕见的和模糊的查询。因此,我们提出了简单的知识驱动的查询扩展的基础上可能的答案(值)的查询(属性)的基于QA的AVE。我们从训练数据中检索查询(属性)的值以扩展查询。我们用知识丢弃和知识令牌混合两种技巧来训练模型,模拟测试中价值知识的不完全性。在AliExpress数据集的清理版本上的实验结果表明,我们的方法提高了AVE的性能(+6.08宏F1),特别是对于罕见和模糊的属性(分别为+7.82和+6.86宏F1)。
2022-06-28 cs.AI cs.CL
NeuralQA: A Usable Library for Question Answering (Contextual Query Expansion + BERT) on Large Datasets
Cloudera Fast Forward Labs
现有的问答(QA)工具面临着限制其在实践中使用的挑战。它们的设置或与现有基础设施的集成可能很复杂,不提供可配置的交互式接口,并且不涵盖经常构成QA管道的全部子任务(查询扩展、检索、阅读和解释/意义构建)。为了帮助解决这些问题,我们引入了NeuralQA -一个用于大型数据集QA的可用库。NeuralQA与现有基础设施(例如,ElasticSearch实例和使用HuggingFace Transformers API训练的读取器模型),并为QA子任务提供有用的默认值。它引入并实现了上下文查询扩展(CQE)使用掩蔽的语言模型(MLM)以及相关的片段(RelSnip)-一种方法,用于压缩大型文档成较小的段落,可以快速处理的文档阅读器模型。最后,它提供了一个灵活的用户界面,以支持研究探索的工作流程(例如,基于梯度的解释的可视化,以支持模型行为的定性检查)和大规模搜索部署。NeuralQA的代码和文档可以在Github(https://github.com/victordibia/neuralqa}{Github)上以开源的形式获得。
2020-11-28 cs.AI cs.CL cs.HC
BioRAGent: A Retrieval-Augmented Generation System for Showcasing Generative Query Expansion and Domain-Specific Search for Scientific Q&A
University of Regensburg(雷根斯堡大学)
BioRAGent是一个基于网络的检索增强生成系统,利用大型语言模型进行查询扩展和片段提取,支持生物医学问答,通过引用链接保证透明度,并展示了少样本学习在专业搜索中的有效应用。
2024-12-16 cs.AI cs.CL
Sequence-to-Set Semantic Tagging: End-to-End Multi-label Prediction using Neural Attention for Complex Query Reformulation and Automated Text Categorization
The Ohio State University(俄亥俄州立大学);Nationwide Children’s Hospital(全国儿童医院)
新颖的上下文可能经常出现在复杂的查询场景中,例如在涉及生物医学文献的循证医学(EBM)中,其可能不明确地指出现在任何基于事实或规则的知识源(例如,像UMLS的本体)中的实体或规范概念形式。此外,在当前上下文中有意义的候选概念之间的隐藏关联可能不存在于单个文档中,而是通过替代词汇形式存在于集合中。因此,受到最近序列到序列神经模型在广泛的NLP任务中提供最先进技术的成功的启发,我们开发了一种新的序列到集合框架,用于学习可以影响语料库内术语转移的文档表示,用于语义标记大量文档。我们证明了我们提出的方法在用于文本分类的监督多标签分类设置中以及在没有人类注释的文档标签的独特无监督设置中都是有效的,该设置不使用外部知识资源,只使用语料库派生的术语统计来驱动训练。此外,我们表明,使用我们的架构对大量未标记数据进行半监督训练,可以在有限的标记数据可用时提高文本分类任务的性能。我们的方法来生成文档编码,采用我们的序列到集合模型来推断语义标签,根据我们所知,在基于Okapi BM 25的文档检索系统上评估时,为TREC CDS 2016挑战数据集提供了最先进的无监督查询扩展任务;以及MLTM基线(Soleimani et al,2016),用于www.example.com和Ohsumed数据集上的监督和半监督多标签预测任务del.icio.us。我们将公开我们的代码和数据。
2019-11-11 cs.CL cs.IR cs.LG
QCG-Rerank: Chunks Graph Rerank with Query Expansion in Retrieval-Augmented LLMs for Tourism Domain
School of Computer and Communication Engineering, University of Science and Technology Beijing(北京科技大学计算机与通信工程学院);Beijing Engineering Research Center for Cyberspace Data Analysis and Applications(北京网络空间数据分析与应用工程研究中心);Guangxi Tourism Development One-Click Tour Digital Cultural Tourism Industry Co.,Ltd(广西旅游发展一键游数字文化旅游产业有限公司)
针对旅游领域RAG检索结果含大量无关或矛盾信息的问题,提出QCG-Rerank模型,通过查询扩展与块图迭代计算转移概率重排序候选块,提升LLM响应质量。
2024-11-04 cs.AI cs.CL
Leveraging the Inherent Hierarchy of Vacancy Titles for Automated Job Ontology Expansion
TechWolf(泰克沃尔夫)
机器学习在在线招聘中发挥着越来越大的作用,为全球许多最大的就业平台提供智能配对和职位推荐。然而,正文很少足以完全理解一个招聘信息:通常情况下,大部分所需信息都浓缩在职位名称中。已经做出了一些有组织的努力,将职位名称映射到手工制作的知识库中,以提供这一信息,但这些仅覆盖了大约60%的在线空缺。我们引入了一种新的,纯粹的数据驱动的方法来检测新的职位。我们的方法在概念上是简单的,非常有效的和传统的基于NER的方法的竞争力。虽然我们的方法的独立应用并不优于微调的BERT模型,但它也可以作为预处理步骤应用,从而大大提高了几种架构的准确性。
2020-04-06 cs.CL cs.LG
Event-Driven Query Expansion
Technion(以色列理工学院);eBay Research(eBay研究院)
大量的事件相关的查询发布在Web搜索。在本文中,我们试图提高检索性能,利用事件,并专门针对查询扩展的经典任务。提出了一种扩展事件相关查询的方法,首先检测与之相关的事件,然后将扩展的候选词作为与查询和事件语义相关的词。为了识别候选人,我们利用一种新的机制,同时嵌入词和事件在同一个向量空间。我们表明,我们提出的利用事件的方法,提高查询扩展性能显着相比,国家的最先进的方法在各种新闻专线TREC数据集。
2020-12-22 cs.CL cs.IR
A Linguistically Driven Framework for Query Expansion via Grammatical Constituent Highlighting and Role-Based Concept Weighting
Faculty of IT(信息技术学院);Faculty of Computer Science(计算机科学学院);Monash University(莫纳什大学);University of Lyon(里昂大学)
在本文中,我们提出了一个语言动机的查询扩展框架,识别和编码的重要查询成分,表征查询意图,以提高检索性能。感兴趣的概念被认为是核心概念,代表了搜索目标的要旨,而其余的查询成分,用于指定搜索目标和完成查询结构被分类为描述性,关系或结构。认识到需要形成语义相关的碱基对提取相关的潜在扩展概念的目的,一个算法,它利用句法依赖来捕捉相邻和非相邻的查询概念之间的关系。最后,一个强大的加权方案,适当强调查询成分的重要性,根据其语言的作用,在扩展查询。我们证明了改进的检索效率方面的平均平均精度(MAP)获得的建议基于语言的查询扩展框架,通过实验TREC特设测试集合。
2020-04-25 cs.CL cs.IR
ThinkQE: Query Expansion via an Evolving Thinking Process
ThinkQE通过演进的思考过程和语料库交互策略,在测试时实现更全面的查询扩展,优于传统密集检索器和重排序器。
2026-03-09 cs.CL cs.IR
Query2doc: Query Expansion with Large Language Models
Microsoft Research(微软研究院)
本文提出query2doc方法,利用大型语言模型生成伪文档来扩展查询,显著提升稀疏和稠密检索系统的性能,无需微调。
2023-10-11 cs.CL cs.IR
Corpus-Steered Query Expansion with Large Language Models
University of Amsterdam(阿姆斯特丹大学);Tencent IEG(腾讯互动娱乐事业群);University of Maryland(马里兰大学);University of Technology Sydney(悉尼科技大学)
针对LLM生成查询扩展存在幻觉和语料错位的问题,本文提出CSQE,结合初始检索文档中的关键句与LLM知识扩展查询,在无需训练的情况下提升检索性能。
2024-02-28 cs.CL cs.IR
ADORE: Iterative Query Expansion with Retrieval-Grounded Relevance Feedback
University of Waterloo(滑铁卢大学);Mila – Quebec AI Institute(魁北克人工智能研究所);University of Toronto(多伦多大学);University of California, Berkeley(加州大学伯克利分校)
提出ADORE框架,通过迭代生成伪段落、检索语料库并评估相关性,利用检索反馈指导查询扩展,显著提升检索性能。
2026-06-15 cs.CL cs.IR
Automated Query Generation for Evidence Collection from Web Search Engines
University of Sussex(萨塞克斯大学)
人们普遍认为,所谓的事实可以通过在互联网上搜索信息来核实。该过程需要事实检查器基于事实制定搜索查询并将其呈现给搜索引擎。然后,在做出决定之前,需要在搜索结果中识别相关和可信的段落。许多新闻和媒体机构的助理编辑每天都在进行这一工作。在这里,我们问的问题,是否有可能自动化的第一步,即查询生成。我们能不能根据类似于人类专家的事实陈述来自动制定搜索查询?在这里,我们认为相似性的文本相似性和相关的文档返回的搜索引擎。首先,我们介绍了一个中等规模的证据收集数据集,其中包括390个事实陈述以及相关的人类生成的搜索查询和搜索结果。然后,我们研究使用一些基于规则的自动文本生成方法,基于预训练的大语言模型(LLM)生成查询。我们表明,这些方法有不同的优点,并提出了一种混合的方法,在实践中具有优越的性能。
2023-03-15 cs.CL cs.IR
Hypothetical Documents or Knowledge Leakage? Rethinking LLM-based Query Expansion
Department of Intelligent Semiconductors, Soongsil University(智能半导体系,顺斯尔大学);School of AI Convergence, Soongsil University(人工智能融合学院,顺斯尔大学);MAUM AI Inc.(MAUM人工智能公司);Adobe Research, USA(Adobe美国研究实验室)
本文质疑基于大语言模型的查询扩展方法在零样本检索中的性能提升可能源于基准测试的知识泄漏,并通过事实验证实验发现生成文档包含黄金证据蕴含信息时性能才持续提升,揭示了现有评估可能被夸大。
2025-06-04 cs.CL cs.IR
Leveraging Cognitive Search Patterns to Enhance Automated Natural Language Retrieval Performance
Multimedia University(多媒体大学);University of Lyon(里昂大学)
在大型文本存储库中搜索信息一直受到所谓的文档查询词汇差距的困扰,即一方面存储的文档实体中的内容与另一方面人类查询之间的语义不一致。在过去的二十年里,大量的工作已经提高了技术检索能力,而一些研究已经揭示了与人类搜索行为有关的问题。我们认为,这些努力应该联合起来,在这个意义上,自动检索系统必须完全模仿人类的搜索行为,从而考虑的程序,根据用户逐步提高他们的初始查询。为此,突出显示模仿用户搜索行为的认知重构模式,并增强与检索过程中采用的原始术语在统计上搭配或在词汇语义上相关的术语。我们通过考虑查询的概念表示形式化这些模式的应用,并引入一组允许对初始查询进行操作修改的操作。基于遗传算法的加权过程允许根据术语的概念角色类型来强调术语。对现实世界的数据集对相关性,语言,概念和基于知识的模型进行了实验评估。我们还表明,当语言和相关性模型相比,一个更好的性能方面的平均精度比词嵌入为基础的模型实例。
2020-04-21 cs.CL cs.IR
Knowledge-Aware Query Expansion with Large Language Models for Textual and Relational Retrieval
University of California San Diego(加利福尼亚大学圣迭戈分校);Adobe Research(奥多比研究院)
本文提出知识感知查询扩展框架,利用知识图谱文档关系增强大语言模型,并通过文档文本节点表示和关系过滤实现知识感知检索,在文本与关系半结构化检索上优于现有方法。
2025-02-05 cs.CL cs.IR
Tracing and Taming Hallucinated Terms via Subsequence-Association Filtering and Breadth-Aware Selection for LLM Query Expansion
Indian Institute of Technology (BHU)(印度理工学院(贝拿勒斯 Hindu 大学));University College London(伦敦大学学院);Halmstad University(哈尔姆斯塔德大学)
针对大语言模型查询扩展的幻觉问题,提出无需训练的SAFE-QE方法,在保持排序质量的同时大幅减少无支持的幻觉术语,在TREC、BEIR数据集上验证了其有效性。
2026-10-12 cs.CL cs.IR
Exp4Fuse: A Rank Fusion Framework for Enhanced Sparse Retrieval using Large Language Model-based Query Expansion
City University of Hong Kong(香港城市大学);The University of Hong Kong(香港大学)
本文提出 Exp4Fuse 排序融合框架,通过融合原始查询与 LLM 零样本扩展查询的稀疏检索结果,在多个数据集上以更低成本取得 SOTA。
2025-06-05 cs.AI cs.CL cs.IR
QEQR: An Exploration of Query Expansion Methods for Question Retrieval in CQA Services
University of Tehran(德黑兰大学)
本文针对CQA服务中问题检索的词汇鸿沟问题,提出结合词相似度、问题相似度及选择性扩展的查询扩展方法,相对最佳基线提升1.8%。
2024-11-23 cs.CL cs.HC cs.IR
Improving Query Safety at Pinterest
Pinterest(品趣)
搜索引擎中的查询推荐是一把双刃剑,有不可否认的好处,但也有潜在的危害。识别不安全的查询对于保护用户免受不适当的查询建议的影响是必要的。然而,确定这些是不平凡的,因为语言的多样性所造成的大量词汇,社会群体特有的俚语和错别字,因为一个术语的不适当性取决于上下文。在这里,我们将问题描述为查询集扩展,其中我们获得了一个小的且可能有偏见的种子集,目的是识别一组不同的语义相关查询。我们提出了PinSets,查询集扩展系统,它采用了一种简单而强大的机制来搜索用户会话,以近乎完美的精度将一个微小的种子集扩展为数千个相关查询,深入到尾部,以及易于解释的解释。PinSets将其高质量的扩展归功于使用文本和行为技术的混合(即,将查询既视为组合又视为黑盒)。实验结果表明,对于药品相关查询,PinSets将20个种子查询扩展为15,670个正训练样本,准确率超过99%.生成的扩展具有不同的词汇,并正确处理具有模糊安全性的单词。PinSets将Pinterest上的不安全查询建议减少了90%。
2020-06-23 cs.CL cs.IR
MILL: Mutual Verification with Large Language Models for Zero-Shot Query Expansion
City University of Hong Kong(香港城市大学);Baidu Inc.(百度公司)
本文提出零样本查询扩展框架MILL,通过大语言模型生成子查询与文档,并与检索文档相互验证以优化扩展,在三个基准数据集上验证了其有效性。
2024-03-28 cs.AI cs.CL cs.IR
When do Generative Query and Document Expansions Fail? A Comprehensive Study Across Methods, Retrievers, and Datasets
Johns Hopkins University(约翰斯·霍普金斯大学);Allen Institute for AI(艾伦人工智能研究所);Yale University(耶鲁大学)
本文首次全面分析基于大语言模型的查询与文档扩展,发现扩展对弱检索器有益但对强检索器有害,并提出按模型强弱和数据集分布差异选择性使用扩展的实用建议。
2024-02-26 cs.AI cs.CL cs.IR
Beyond the limitation of a single query: Train your LLM for query expansion with Reinforcement Learning
NVIDIA(英伟达);Pennsylvania State University(宾夕法尼亚州立大学)
针对搜索智能体在多跳问答中推理与搜索能力受限的问题,通过强化学习训练 LLM 进行查询扩展,并引入预训练 squeezer 模型辅助理解检索文档,使 3B 模型在多跳 QA 基准上达到 SOTA 且平均提升 4.4%。
2025-10-11 cs.AI cs.CL cs.IR
Event-Centric Query Expansion in Web Search
Tencent Inc.(腾讯公司);University of Science and Technology of China(中国科学技术大学)
本文提出基于事件中心的查询扩展系统EQE,通过事件收集、改写、语义检索和在线排序四阶段快速准确挖掘最优扩展,已在腾讯QQ浏览器搜索中部署并显著提升搜索指标。
2023-05-30 cs.CL cs.IR
RENSA: Rich Environment Metadata to Navigate Shared and Distributed Endpoints for Automated Federated SPARQL Query Generation
Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学(SOKENDAI));National Institute of Informatics(信息学研究所);Database Center for Life Science(生命科学数据库中心)
RENSA是利用扩展SBM的联邦SPARQL查询生成框架,可精准选择数据源、消除ASK查询开销,在LargeRDFBench上表现优异,还能为查询变量推断约束。
2026-09-01 cs.CL cs.DB
Query Expansion System for the VoxCeleb Speaker Recognition Challenge 2020
National Taiwan Normal University(国立台湾师范大学)
在本报告中,我们描述了我们提交给VoxCeleb Speaker Recognition Challenge(VoxSRC)2020的申请。采取了两种办法。一种是将查询扩展应用于说话人确认,与本研究的基线相比,取得了显著的进步。另一种是使用Kaldi提取x向量,并将其概率线性判别分析(PLDA)得分与ResNet得分相结合。
2020-11-04 cs.CL cs.SD eess.AS
KSE-Web: An Analysis of Hybrid Retrieval and LLM-Assisted Query Expansion for Low-Resource Khmer Semantic Search
本文针对低资源高棉语语义搜索,构建专属数据集,评估多种检索方法,发现BM25性能最优,LLM辅助查询扩展未提升效果但模型规模影响显著,为相关研究提供基础。
2026-08-25 cs.AI cs.CL cs.IR
Automated Query-Product Relevance Labeling using Large Language Models for E-commerce Search
Walmart Global Tech(沃尔玛全球技术)
本研究利用大型语言模型结合提示工程技术,自动化电子商务搜索的查询-产品相关性标注,在多个数据集上接近人类水平,显著降低成本和时间,并提升搜索体验。
2025-02-21 cs.AI cs.CL cs.IR
Query Expansion for Patent Searching using Word Embedding and Professional Crowdsourcing
United States Patent and Trademark Office(美国专利商标局)
专利审查过程包括检索以前的工作,以验证专利申请描述了一项新的发明。专利审查员主要使用基于关键词的搜索来发现现有技术。关键词搜索的关键部分是查询扩展,这是包括诸如同义词和其他相关词的替代术语的过程,因为相同的概念在文献中通常被不同地描述。专利术语通常是特定领域的。通过管理特定于技术的语料库并基于这些语料库训练词嵌入模型,我们能够自动识别给定单词或短语的最相关扩展。我们比较了几种自动查询扩展技术对专家指定的扩展的性能。此外,我们探索了一种新的机制来提取相关的条款,而不仅仅是基于一个输入项,而是通过计算它们的质心,并确定最近的邻居,这个质心结合几个条款。熟练的专利审查员通常是识别相关术语的最佳和最可靠的来源。通过设计一个用户界面,允许审查员与词嵌入建议进行交互,我们能够使用这些交互来为相关术语的众包模式提供动力。从用户那里学习可以让我们克服一些挑战,比如识别出那些前沿的、尚未在语料库中发表的单词。本文研究了词嵌入和众包模型在11个不同技术领域的有效性。
2019-11-14 cs.CL cs.IR cs.LG
PolySQL: Scaling Text-to-SQL Evaluation Across SQL Dialects via Automated Backend Isomorphism
IBM Research(IBM研究院);ETH Zürich(苏黎世联邦理工学院)
PolySQL通过自动化后端同构性方法,实现跨SQL方言的文本到SQL评估扩展,揭示了从SQLite到其他方言的平均准确率下降10.1%及方言难度层级。
2026-05-08 cs.CL
Beyond Query-Level Comparison: Fine-Grained Reinforcement Learning for Text-to-SQL with Automated Interpretable Critiques
ByteDance, Beijing, China(字节跳动,北京,中国)
RuCo-C通过细粒度强化学习和自动可解释批评,提升文本到SQL的评估性能。
2025-11-27 cs.CL
Staged Linguistic Seeding: Grounded Query Expansion for Verified-Unit QA in AI Contact Centers
OpenMined;MaumAI, Inc.(MaumAI公司)
针对AI客服中心问答的部署约束,提出分阶段语言种子注入(SLS)方法,通过接地槽配方生成查询变体并过滤,提升检索性能,降低不支持回答占比,为相关应用提供研究参考。
2026-09-09 cs.CL cs.IR
A New Query Expansion Approach via Agent-Mediated Dialogic Inquiry
Enhans Seoul, South Korea(首尔增强韩国)
针对LLM查询扩展同质化问题,提出多智能体对话式探究框架AMD,通过苏格拉底提问、对话回答和反思反馈三个角色构建更丰富的查询表示,在BEIR和TREC基准上优于现有方法。
2025-08-14 cs.CL cs.IR cs.LG
Query Expansion: Term Selection using the EWC Semantic Relatedness Measure
University of Aizu(会津大学);Institut Télécom – Télécom Bretagne(法国电信学院-布列塔尼电信学院)
本文研究的效率EWC语义相关性措施在一个特设的检索任务。该指标结合了基于维基百科的显式语义分析指标、WordNet路径指标和混合搭配指标。在实验中,开源搜索引擎Terrier被用作索引和检索数据的工具。所提出的技术进行了测试的NTCIR数据汇集。实验显示了有希望的结果。
2011-08-19 cs.CL
Automated Extraction of Acronym-Expansion Pairs from Scientific Papers
Rowan University(罗文大学);Bristol-Myers Squibb(百时美施贵宝公司)
本文提出融合文档预处理、正则表达式与 GPT-4 的流程,从科学论文中识别缩写并消歧、提取对应全称,实验表明二者互补可提升准确性与一致性。
2024-12-02 cs.CL cs.IR
Generation-Augmented Query Expansion For Code Retrieval
Kent State University(肯特州立大学);Microsoft(微软);Georgia Institute of Technology(佐治亚理工学院)
预先训练的语言模型在代码检索任务中取得了很大的成功,其中给出了自然语言文档查询以找到最相关的现有代码片段。然而,现有的模型只关注优化的文档代码对嵌入到潜在的空间,没有外部知识的关联。在本文中,我们提出了一个生成增强的查询扩展框架。受人类检索过程的启发--在搜索之前先勾画出答案,在这项工作中,我们利用强大的代码生成模型来帮助代码检索任务。具体来说,我们证明了,而不是仅仅根据文档查询检索目标代码片段,这将是有帮助的,以增加其生成对应的文档查询-从代码生成模型生成的代码片段。据我们所知,这是第一次尝试利用代码生成模型来增强代码检索任务。我们在CodeSearchNet基准测试中取得了新的最先进的结果,并大大超过了基线。
2022-12-20 cs.AI cs.CL cs.SE
CAPSTONE: Curriculum Sampling for Dense Retrieval with Document Expansion
The University of Hong Kong(香港大学);Microsoft Research Asia(微软亚洲研究院);Microsoft(微软)
针对文档扩展稠密检索中训练与推理不一致导致性能下降的问题,本文提出课程采样策略,逐步增强生成查询与真实查询的相关性,使模型学习同时关注文档和查询,从而获得更优的查询感知文档表示,并在域内外数据集上验证了其有效性。
2023-10-29 cs.CL
Performance of the SafeTerm AI-Based MedDRA Query System Against Standardised MedDRA Queries
ClinBAY Limited(ClinBAY有限公司)
SafeTerm基于AI的MedDRA查询系统在标准化MedDRA查询中表现出良好性能,通过多标准统计方法实现高召回率和精度平衡。
2025-12-08 cs.CL
Automated Collection of Evaluation Dataset for Semantic Search in Low-Resource Domain Language
University of Göttingen(哥廷根大学);eschbach GmbH(埃施巴赫有限公司)
针对低资源德语过程工业领域语义搜索评估数据集构建难的问题,提出集成弱文本编码器与LLM的端到端自动标注流水线,显著提升了与人工标注的一致性,为低资源领域语义搜索提供实用方案。
2024-12-13 cs.CL
LEXpander: applying colexification networks to automated lexicon expansion
Medical University of Vienna(维也纳医科大学);Graz University of Technology(格拉茨工业大学);Complexity Science Hub Vienna(维也纳复杂性科学中心)
最近的社交媒体和其他语料库文本分析方法依赖于单词列表来检测主题,测量含义或选择相关文档。这些列表通常是通过将计算词典扩展方法应用于小的、手动策划的词根集合来生成的。尽管这种方法被广泛使用,我们仍然缺乏一个详尽的比较分析的词汇扩展方法的性能,以及如何可以改善额外的语言数据。在这项工作中,我们提出了LEXpander,词汇扩展的方法,利用新的数据colexification,即语义网络连接的基础上共享的概念和翻译到其他语言的单词。我们评估LEXpander在一个基准测试,包括广泛使用的方法的基础上,各种词嵌入模型和同义词网络的词典扩展。我们发现,LEXpander优于现有的方法在精度和精度和召回生成的单词列表在各种测试之间的权衡。我们的基准测试包括英语和德语的几个语言类别和情感变量。我们还表明,扩展的单词列表构成了一个高性能的文本分析方法,在各种语料库的应用案例。通过这种方式,LEXpander提出了一种系统的自动化解决方案,将简短的单词列表扩展为详尽而准确的单词列表,这些单词列表可以非常接近心理学和语言学专家生成的单词列表。
2022-05-31 cs.CL