Generative Query Reformulation Using Ensemble Prompting, Document Fusion, and Relevance Feedback
Department of Computer Science(计算机科学系);Emory University(埃默里大学)
本文提出基于集成提示的查询重构方法GenQREnsemble和GenQRFusion,利用释义生成多组关键词并整合相关反馈,在多个基准上将检索效果提升最多18%,超越了现有最先进结果。
2024-05-27 cs.CL cs.IR
Beyond Single-Shot: Multi-step Tool Retrieval via Query Planning
Massachusetts Institute of Technology(麻省理工学院)
本文提出TOOLQP框架,通过迭代查询规划解决多步工具检索问题,实现更高效的检索和执行能力。
2026-01-12 cs.AI cs.CL cs.IR
Corpus-Steered Query Expansion with Large Language Models
University of Amsterdam(阿姆斯特丹大学);Tencent IEG(腾讯互动娱乐事业群);University of Maryland(马里兰大学);University of Technology Sydney(悉尼科技大学)
针对LLM生成查询扩展存在幻觉和语料错位的问题,本文提出CSQE,结合初始检索文档中的关键句与LLM知识扩展查询,在无需训练的情况下提升检索性能。
2024-02-28 cs.CL cs.IR
Query Performance Prediction using Relevance Judgments Generated by Large Language Models
University of Amsterdam(阿姆斯特丹大学);University of Waterloo(滑铁卢大学);Leiden University(莱顿大学)
提出QPP-GenRE框架,利用大语言模型生成相关性判断,分解QPP任务以预测多种IR指标并增强可解释性,通过近似策略和微调解决计算与性能挑战,在多个数据集上达到最先进效果。
2025-05-26 cs.AI cs.CL cs.IR
MILL: Mutual Verification with Large Language Models for Zero-Shot Query Expansion
City University of Hong Kong(香港城市大学);Baidu Inc.(百度公司)
本文提出零样本查询扩展框架MILL,通过大语言模型生成子查询与文档,并与检索文档相互验证以优化扩展,在三个基准数据集上验证了其有效性。
2024-03-28 cs.AI cs.CL cs.IR
GenQREnsemble: Zero-Shot LLM Ensemble Prompting for Generative Query Reformulation
Emory University(埃默里大学)
本文提出 GenQREnsemble 零样本 LLM 集成提示方法及融合伪相关反馈的 GenQREnsembleRF,通过多指令释义生成关键词,显著提升查询重构与检索性能。
2024-04-04 cs.AI cs.CL cs.IR
Zero-Shot Cross-Domain Code Search without Fine-Tuning
Zhejiang University(浙江大学);Chongqing University(重庆大学);Singapore Management University(新加坡管理大学)
本文提出CodeBridge,一种零样本、无需微调的跨领域代码搜索方法,通过将查询-代码匹配分解为查询-注释和代码-代码匹配,并利用LLM生成注释和伪代码进行融合,在多个数据集上显著优于现有方法。
2025-04-10 cs.CL cs.SE
SPM: Structured Pretraining and Matching Architectures for Relevance Modeling in Meituan Search
Meituan Inc.(美团公司)
针对美团生活服务搜索中结构化文档字段分布差异大、重要性与长度不均导致的相关性建模难题,提出两阶段结构化预训练与匹配架构SPM,经实验验证有效提升性能且已上线部署。
2023-08-27 cs.CL cs.IR
Zero-Shot Dense Retrieval with Embeddings from Relevance Feedback
MIT Lincoln Laboratory(林肯实验室);Massachusetts Institute of Technology(麻省理工学院)
本文提出 ReDE-RF,将 LLM 生成假设文档改为相关性估计并选取真实文档生成嵌入,在低资源零样本密集检索中提升准确率与查询延迟。
2024-10-28 cs.AI cs.CL cs.IR
Zero-Shot and Efficient Clarification Need Prediction in Conversational Search
Università della Svizzera italiana(瑞士意大利语区大学);University of Amsterdam(阿姆斯特丹大学)
针对对话式搜索中澄清需求预测(CNP)训练数据有限且低效的问题,提出零样本高效框架Zef-CNP,利用大型语言模型生成合成查询训练模型,并设计TIQ-CoT与反事实查询生成策略提升质量,在有效性和效率上均优于现有方法。
2025-02-28 cs.AI cs.CL cs.IR
Deep Bag-of-Words Model: An Efficient and Interpretable Relevance Architecture for Chinese E-Commerce
Alibaba Group(阿里巴巴集团)
针对电商搜索中预训练模型延迟高、双塔模型黑盒不可解释的问题,提出深度词袋模型,通过稀疏词袋表示计算相关性,兼具高效性与可解释性,适配中文电商在线搜索部署。
2024-07-12 cs.AI cs.CL cs.IR
Improve Query Focused Abstractive Summarization by Incorporating Answer Relevance
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心);The Hong Kong University of Science and Technology(香港科技大学)
以查询为中心的摘要(QFS)模型的目的是从源文档生成摘要,可以回答给定的查询。大多数以前的工作QFS只考虑查询的相关性标准时,产生的摘要。然而,研究答案相关性在摘要生成过程中的作用也是重要的。在本文中,我们提出了QFS-BART,一个模型,该模型通过一个问答模型,结合了明确的答案相关的源文件的查询,生成连贯的和答案相关的摘要。此外,我们的模型可以利用大型预训练模型,显着提高摘要性能。在Debatepedia数据集上的实验结果表明,该模型达到了新的最先进的性能。
2021-05-31 cs.CL
Combining State-of-the-Art Models with Maximal Marginal Relevance for Few-Shot and Zero-Shot Multi-Document Summarization
University of Lethbridge(莱斯布里奇大学);International Institute of Information Technology Bangalore(班加罗尔国际信息技术学院)
在自然语言处理中,多文档摘要(MDS)比单文档摘要(SDS)更具有挑战性。这些挑战包括增加的搜索空间和包含冗余信息的更大可能性。虽然深度学习方法的进步已经导致开发了几种能够总结的高级语言模型,但特定于MDS问题的各种训练数据仍然相对有限。因此,MDS方法需要很少或不需要预训练,分别称为Few-Shot或zero-shot应用程序,可能是对当前汇总工具集的有益补充。为了探索一种可能的方法,我们设计了一种策略,结合国家的最先进的模型的输出,使用最大边际相关性(MMR)的重点是查询相关性,而不是文档的多样性。我们的基于MMR的方法显示了在Few-Shot和zero-shot MDS应用中当前最先进的结果的某些方面的改进,同时通过所有可用的度量保持最先进的输出标准。
2022-11-19 cs.CL
MetricPrompt: Prompting Model as a Relevance Metric for Few-shot Text Classification
Harbin Institute of Technology(哈尔滨工业大学)
针对少样本文本分类中提示模型依赖言语化器设计的问题,提出将任务重构为文本对相关性估计的MetricPrompt方法,用提示模型作相关性度量,在多数据集少样本设置下达SOTA性能。
2023-06-15 cs.CL
Query Focused Abstractive Summarization: Incorporating Query Relevance, Multi-Document Coverage, and Summary Length Constraints into seq2seq Models
Ben-Gurion University(本-古里安大学);Dept. of Computer Science(计算机科学系)
查询集中摘要(QFS)主要使用提取方法来解决。然而,这种方法产生的文本具有低连贯性。我们研究如何将抽象方法应用于QFS,以克服这些限制。基于神经注意力的序列到序列模型的最新发展已经导致了抽象通用单文档摘要任务的最新成果。这样的模型在大量训练数据上以端到端的方法训练。我们从三个方面使抽象摘要适用于QFS:(a)由于没有训练数据,我们将查询相关性纳入到预先训练的抽象模型中;(b)由于现有的抽象模型是在单文档环境中训练的,我们设计了一种迭代方法来将抽象模型嵌入到QFS的多文档需求中;(c)我们调整的抽象模型经过训练,可以生成特定长度的文本(约100个单词),而我们的目标是生成不同大小的输出(约250个单词);我们设计了一种方法,使生成的摘要的目标大小适应给定的大小比例。我们将我们的方法(QFS的相关性敏感注意力)与提取基线进行了比较,并将其与DUC QFS数据集上的抽象模型相结合的各种方法进行了比较,并证明了ROUGE性能的可靠改进。
2018-01-25 cs.CL
SERM: Self-Evolving Relevance Model with Agent-Driven Learning from Massive Query Streams
Northeastern University, Shenyang, China(东北大学,沈阳,中国);ByteDance(字节跳动);Peking University(北京大学)
针对大规模查询流中相关性模型泛化能力不足的问题,SERM通过多代理模块检测分布偏移并生成可靠标签,实现迭代自演化提升性能。
2026-07-28 cs.CL
On the fractal nature of mutual relevance sequences in the Internet news message flows
Elvisti(埃尔维斯蒂(公司));Kiev Polytechnical Institute(基辅理工学院)
在信息检索任务中,相关性是指检索系统给出的文档与用户的信息查询在形式上的一致性。一般来说,检索系统找到的文件应该按一定的顺序提交给用户。因此,检索被认为是一个选择的文件正式解决用户的查询,应该补充一定的程序处理相关的设置。很自然地引入了一个文档符合查询的定量度量,即相关性度量。由于不存在确定相关性度量的单一规则,我们将考虑其中两个我们认为最简单的规则。所提出的方法不设任何限制,可以适用于其他相关性措施。
2007-10-01 cs.CL
Assessing LLMs for Zero-shot Abstractive Summarization Through the Lens of Relevance Paraphrasing
University of California, Davis(加利福尼亚大学戴维斯分校);University of South Florida(南佛罗里达大学)
本文提出相关性改写策略,通过识别并改写关键句子生成最小扰动数据集,评估4个数据集和4种不同规模LLM的零样本摘要鲁棒性,发现模型对扰动文章的摘要生成表现不一致,需进一步改进。
2025-02-01 cs.CL
RAPS: A Novel Few-Shot Relation Extraction Pipeline with Query-Information Guided Attention and Adaptive Prototype Fusion
University of Science and Technology of China(中国科学技术大学)
Few-Shot关系抽取(FSRE)的目标是通过仅使用少量带注释的实例进行学习来识别不可见的关系。为了更有效地推广到新的关系,本文提出了一种新的管道FSRE任务的基础上查询信息引导的注意力和自适应原型fuSion,即RAPS。具体地说,RAPS首先通过查询信息引导的注意力模块,利用支持实例和查询实例之间丰富的交互信息,以获得更准确的初始原型表示的关系原型。然后,RAPS通过自适应原型融合机制将初始原型与相关信息进行融合,得到训练和预测的集成原型。在基准数据集FewRel 1.0上的实验表明,我们的方法对最先进的方法有显着的改进。
2022-11-08 cs.CL
FAQ Retrieval using Query-Question Similarity and BERT-Based Query-Answer Relevance
LINE Corporation(LINE公司);Yahoo Japan Corporation(雅虎日本公司);Kyoto University(京都大学)
常见问题(FAQ)检索是一项重要的任务,其目标是根据用户的查询从数据库中检索出合适的问答(QA)对。我们提出了一个FAQ检索系统,认为用户的查询和问题之间的相似性,以及查询和答案之间的相关性。虽然常见的FAQ检索方法是构造标记数据进行训练,但它需要标注成本。因此,我们使用传统的无监督信息检索系统来计算查询和问题之间的相似度。另一方面,可以通过使用FAQ数据库中的QA对来学习查询和答案之间的相关性。最近提出的BERT模型用于相关性计算。由于FAQ页面中的QA对的数量不足以训练模型,我们通过利用与问题中的FAQ集相似的FAQ集来解决这个问题。我们在两个数据集上评估我们的方法。第一个是localgovFAQ,这是我们在日本行政自治区域中构建的数据集。第二个是StackExchange数据集,这是英文的公共数据集。我们证明,我们提出的方法优于基线方法在这些数据集上。
2019-05-24 cs.CL cs.IR
Query-Utterance Attention with Joint modeling for Query-Focused Meeting Summarization
Beijing University of Posts and Telecommunications(北京邮电大学)
本文针对面向查询的会议摘要任务,提出基于查询-话语注意力的联合建模框架,同时利用词元级和话语级查询相关性,在QMSum数据集上取得新的最先进性能。
2023-06-01 cs.AI cs.CL
Deep Relevance Ranking Using Enhanced Document-Query Interactions
Athens University of Economics and Business(雅典经济与商业大学);Google AI(谷歌人工智能)
我们探索了几种新的文档相关性排名模型,建立在Guo et al.(2016)的深度相关性匹配模型(DRMM)基础上。与DRMM不同,DRMM使用术语的上下文不敏感编码和查询-文档术语交互,我们在整个模型中注入了丰富的上下文敏感编码,灵感来自PACRR(Hui等人,卷积n-gram匹配功能,但以多种方式扩展,包括查询和文档输入的多个视图。我们在来自BIOASQ问答挑战的数据集上测试我们的模型(Tsatsaronis等人,2015年)和TREC ROBUST 2004年(Voorhees,2005年),显示它们优于基于BM 25的基线,DRMM和PACRR。
2018-09-11 cs.CL cs.IR
Query-adaptive Video Summarization via Quality-aware Relevance Estimation
ETH Zurich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
尽管自动视频摘要的问题最近受到了很多关注,但是创建还突出显示与搜索查询相关的元素的视频摘要的问题却很少被研究。我们通过将查询相关摘要作为视频帧子集选择问题来解决这个问题,这使我们可以优化同时多样化,代表整个视频并与文本查询相关的摘要。我们量化的相关性,通过测量帧和查询之间的距离在一个共同的文本视觉语义嵌入空间诱导的神经网络。此外,我们扩展了模型,以捕获查询无关的属性,如帧质量。我们将我们的方法与之前用于缩略图选择的文本视觉嵌入的最新技术进行比较,并表明我们的模型在相关性预测方面优于它们。此外,我们引入了一个新的数据集,注释的多样性和查询特定的相关性标签。在这个数据集上,我们训练和测试了我们完整的视频摘要模型,并表明它优于标准基线,如最大边缘相关性。
2017-09-28 cs.CL cs.CV cs.MM
GQE-PRF: Generative Query Expansion with Pseudo-Relevance Feedback
Artificial Intelligence Application Research Center, Huawei Technologies(华为技术有限公司人工智能应用研究中心)
在信息检索中,基于伪相关反馈的查询扩展是提高检索效率的有效方法.近年来,随着深度学习技术的快速发展,神经文本生成在许多自然语言任务中取得了令人鼓舞的成功。为了充分利用文本生成的优势进行信息检索,本文提出了一种新的方法,有效地将文本生成模型集成到基于PRF的查询扩展中。特别是,我们的方法通过神经文本生成模型生成增强的查询条件的初始查询和伪相关反馈。此外,为了训练生成模型,我们采用了条件生成对抗网(CGANs),提出了PRF-CGAN方法,其中生成器和生成器都以伪相关反馈为条件。我们使用两个基准数据集评估我们的方法在信息检索任务上的性能。实验结果表明,我们的方法取得了相当的性能或优于传统的查询扩展方法的检索和重排序任务。
2021-08-13 cs.AI cs.CL cs.IR
A Multi-Task Architecture on Relevance-based Neural Query Translation
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
我们描述了一种多任务学习方法来训练一个神经机器翻译(NMT)模型与一个基于相关性的辅助任务(RAT)的搜索查询翻译。跨语言信息检索(CLIR)任务的翻译过程通常被视为一个黑箱,它是作为一个独立的步骤来执行的。然而,在并行数据上训练的NMT模型不知道检索语料库的词汇分布。我们用我们的多任务学习架构解决了这个问题,在意大利语-英语查询文档数据集上,该架构比强大的NMT基线提高了16%。我们使用定量和定性分析表明,我们的模型生成平衡和精确的翻译与正则化效果,它实现了从多任务学习范式。
2019-06-17 cs.CL cs.IR
Aligning Query Representation with Rewritten Query and Relevance Judgments in Conversational Search
Université de Montréal(蒙特利尔大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Renmin University of China(中国人民大学);University of Copenhagen(哥本哈根大学);Beijing Jiaotong University(北京交通大学)
本文提出QRACDR模型,通过将查询表示与改写查询及相关文档对齐,结合相关性判断训练查询表示模型,在八个数据集上显著提升了对话式搜索和ad-hoc搜索的性能。
2024-07-29 cs.CL cs.IR
Relevance-Promoting Language Model for Short-Text Conversation
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室)
尽管序列到序列框架在短文本对话(STC)任务上是有效的,但是训练数据的利用不足的问题(即,来自查询文本的监督信号是\textit{ignored})仍然未解决。此外,所采用的基于\textit{maximization}的解码策略倾向于生成通用响应或具有重复的响应,不适合STC任务。在本文中,我们建议将STC任务制定为语言建模问题,并定制一个训练策略,以适应响应生成的语言模型。为了提高生成性能,我们设计了一个相关促进Transformer语言模型,它执行额外的监督源关注后的自我注意,以增加信息查询令牌的重要性,在计算令牌级表示。该模型进一步细化查询表示与相关性线索推断,从它的多个参考在训练过程中。在测试中,我们采用了\textit{randomization-over-maximization}策略来减少通用响应的生成。在一个大型中文STC数据集上的实验结果表明,该模型在相关性度量和多样性度量方面具有优越性。\footnote {代码可从https://ai.tencent.com/ailab/nlp/dialogue/获得。
2019-11-26 cs.CL
CWRCzech: 100M Query-Document Czech Click Dataset and Its Application to Web Relevance Ranking
Charles University(查理大学)
本研究发布了目前最大的带原始文本的捷克语点击数据集CWRCzech及人工标注测试集,验证了大规模自动采集的点击数据训练的排序模型性能可超越人工标注数据训练的模型。
2024-07-15 cs.CL cs.IR
Do You Know What You Are Talking About? Characterizing Query-Knowledge Relevance For Reliable Retrieval Augmented Generation
Vanderbilt University(范德堡大学);Intuit AI Research(英图伊特人工智能研究院);Vanderbilt University Medical Center(范德堡大学医学中心);Virginia Tech(弗吉尼亚理工大学)
本文提出一种统计框架,通过在线GoF测试检测超出知识范围的查询及离线检测查询分布偏移,以评估查询-知识相关性,从而提升RAG系统的可靠性。
2024-10-10 cs.CL cs.LG
Exploring the Viability of Synthetic Query Generation for Relevance Prediction
Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind)
本研究探讨了合成查询生成在细粒度相关性预测中的可行性,发现现有QGen方法不如跨域迁移学习,并引入标签条件化QGen模型以改进性能,但仍难以完全捕捉相关性标签的细微差别。
2023-06-16 cs.CL cs.IR
Few-shot Query-Focused Summarization with Prefix-Merging
The Hong Kong Polytechnic University(香港理工大学);Xidian University(西安电子科技大学);Soochow University(苏州大学)
面向查询的摘要被认为是文本摘要的一个重要扩展。它的目的是为给定的查询生成一个简洁的突出显示。与文本摘要不同,面向查询的摘要一直受到缺乏高质量大规模数据集的困扰。本文探讨了在面向查询的摘要中,能否将文本摘要和问答知识整合和迁移,以辅助少样本学习。在这里,我们提出了前缀合并,一个基于前缀的预训练策略,用于以查询为中心的摘要中的少样本学习。受前缀调整的启发,我们可以将文本摘要和问答中的任务知识整合到一个适当设计的前缀中,并将合并后的前缀应用于以查询为中心的摘要。只有少量的可训练参数,前缀合并优于以查询为中心的摘要的微调。我们进一步讨论了不同的前缀设计的影响,并提出了一个可视化的解释前缀合并的工作原理。
2022-11-29 cs.AI cs.CL
Precise Zero-Shot Dense Retrieval without Relevance Labels
Carnegie Mellon University(卡内基梅隆大学);University of Waterloo(滑铁卢大学)
虽然密集检索已被证明是有效和高效的跨任务和语言,它仍然难以创建有效的完全zero-shot稠密检索系统时,没有相关性标签。在本文中,我们认识到零样本学习和编码相关性的困难。相反,我们建议通过假设的文档嵌入(HyDE)。给定一个查询,HyDE第一个zero-shot命令一个遵循查询的语言模型(例如,InstructGPT)生成一个假设文档。该文档捕获相关性模式,但不真实,可能包含错误的细节。然后,一个无监督的对比学习编码器(例如Contriever)将文档编码为嵌入向量。该向量识别语料库嵌入空间中的邻域,其中基于向量相似性检索相似的真实文档。第二步将生成的文档与实际的语料库联系起来,编码器的密集瓶颈过滤掉了不正确的细节。我们的实验表明,HyDE显著优于最先进的无监督密集检索器Contriever,并显示出与微调检索器相当的强大性能,跨越各种任务(例如Web搜索,QA,事实验证)和语言(例如SW,KO,JA)。
2022-12-20 cs.CL cs.IR
APRF-Net: Attentive Pseudo-Relevance Feedback Network for Query Categorization
Emory University(埃默里大学);The Home Depot(家得宝)
查询分类是电子商务搜索中查询意图理解的重要组成部分。常见的查询分类任务是在产品分类中选择相关的细粒度产品类别。对于频繁的查询,丰富的客户行为(例如,点进数据)可用于推断相关产品类别。然而,对于覆盖大量搜索流量的更罕见的查询,由于缺乏这种信号,仅仅依靠客户行为可能是不够的。为了提高罕见的查询分类,我们适应伪相关反馈(PRF)的方法,利用潜在的知识嵌入在语义或词汇相似的产品文档,以丰富表示更罕见的查询。为此,我们提出了一种新的深度神经模型,称为注意伪相关反馈网络(APRF-Net),以增强查询分类的罕见查询的表示。为了证明我们的方法的有效性,我们收集了来自大型商业搜索引擎的搜索查询,并将APRF-Net与最先进的文本分类深度学习模型进行了比较。我们的结果表明,APRF-Net在F1@1评分上比基线显着提高了查询分类5.9%,对于罕见(尾部)查询,这一提高提高到8.2%。本文的研究结果可以用来进一步改善搜索查询表示和理解。
2021-05-10 cs.CL cs.IR cs.LG
Relevance-based Word Embedding
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
学习词汇术语的高维密集表示,也称为词嵌入,最近在自然语言处理和信息检索任务中引起了很多关注。嵌入向量通常基于大型语料库中的术语接近度来学习。这意味着在公知的词嵌入算法中的目标,word2vec是准确预测给定单词或上下文的相邻单词。然而,这个目标并不一定等同于许多信息检索(IR)任务的目标。各种IR任务的主要目标是捕获相关性,而不是术语接近度,句法,甚至语义相似性。这就是开发基于查询文档相关性信息学习单词表示的无监督的基于相关性的词嵌入模型的动机。在本文中,我们提出了两个学习模型,具有不同的目标函数,一个学习的词汇集为每个查询的相关性分布,和其他分类每个术语属于相关或不相关的类为每个查询。为了训练我们的模型,我们使用了超过600万个独特的查询和响应每个查询检索的排名最高的文档,这些文档被认为与查询相关。我们extraperitively评估我们的学习词表示模型使用两个IR任务:查询扩展和查询分类。在四个TREC集合上的查询扩展实验和在KDD Cup 2005数据集上的查询分类实验表明,基于相关性的词嵌入模型的性能显著优于最先进的基于邻近度的嵌入模型,如word2vec和GloVe。
2017-07-16 cs.CL cs.IR cs.LG
QueryForm: A Simple Zero-shot Form Entity Query Framework
Northeastern University(东北大学);Google Cloud AI(谷歌云人工智能);Google Research(谷歌研究院)
本文提出零样本表单实体查询框架QueryForm,通过双重提示机制和大规模网页数据预训练,在XFUND和Payment基准上以更小模型取得SOTA的F1分数。
2023-06-28 cs.AI cs.CL cs.LG
Selecting Query-bag as Pseudo Relevance Feedback for Information-seeking Conversations
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Shandong University(山东大学)
针对信息检索对话中候选回复检索与重排序问题,提出QB-PRF框架,通过无监督对比学习选择同义查询并以多维注意力融合查询袋,从而增强查询表示并提升匹配性能。
2024-03-22 cs.CL cs.IR
Unsupervised Search Algorithm Configuration using Query Performance Prediction
eBay Research(易趣研究院)
搜索引擎配置对于不专业的开发人员来说可能相当困难。相反,可以使用自动配置方法来加快开发时间。然而,这样的自动过程通常需要相关性标签来训练监督模型。在这项工作中,我们提出了一个简单的解决方案,查询性能预测的基础上,不需要相关标签,但只有一个样本的查询在一个给定的域。使用两个示例用例,我们证明了我们的解决方案的优点。
2022-10-03 cs.CL cs.IR
Incorporating Relevance Feedback for Information-Seeking Retrieval using Few-Shot Document Re-Ranking
Technical University of Darmstadt(达姆施塔特工业大学)
将词汇检索器与神经重排序模型配对在大规模信息检索数据集上具有最先进的性能。该管道涵盖了诸如问答或导航查询之类的场景,然而,对于信息搜索场景,用户通常以点击或显式反馈的形式提供关于文档是否与其查询相关的信息。因此,在这项工作中,我们将探讨如何通过采用Few-Shot和参数有效的学习技术将相关反馈直接集成到神经重排序模型中。具体来说,我们引入了一个kNN的方法,重新排名的文件的基础上,他们的相似性与查询和用户认为相关的文件。此外,我们还探索了交叉编码器模型,我们使用元学习进行预训练,随后针对每个查询进行微调,仅在反馈文档上进行训练。为了评估我们不同的集成策略,我们将四个现有的信息检索数据集转换为相关反馈的情况。大量的实验表明,将相关反馈直接集成到神经重排序模型中可以提高它们的性能,并且将词汇排序与我们表现最好的神经重排序器融合在一起,比所有其他方法都好5.2 nDCG@20。
2022-10-19 cs.CL cs.IR
LoL: A Comparative Regularization Loss over Query Reformulation Losses for Pseudo-Relevance Feedback
Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Institute for AI Industry Research, Tsinghua University(清华大学人工智能产业研究院)
伪相关反馈(PRF)是一种有效的查询重组技术,以提高检索的准确性。它的目的是减轻查询和其潜在的相关文档之间的语言表达式的不匹配。现有的PRF方法独立地处理源自同一查询但使用不同数量的反馈文档的修订查询,导致严重的查询漂移。在不比较来自同一查询的两个不同修订的效果的情况下,PRF模型可能不正确地集中在更多反馈中增加的附加不相关信息上,并且因此重新制定比使用较少反馈的修订更不有效的查询。理想情况下,如果一个PRF模型可以区分反馈中的无关信息和相关信息,那么反馈文档越多,修改后的查询就越好。为了弥补这一差距,我们提出了损失的损失(LOL)框架来比较训练过程中同一查询的不同版本之间的重构损失。具体地说,我们修改了一个原始查询多次并行使用不同数量的反馈和计算其重构损失。然后,我们在这些重构损失上引入额外的正则化损失,以惩罚使用更多反馈但获得更大损失的修订。通过这种比较正则化,期望PRF模型通过比较不同修订查询的效果来学习抑制额外增加的无关信息。此外,我们提出了一个微分查询重构方法来实现这个框架。该方法在向量空间中对查询进行修正,直接优化查询向量的检索性能,适用于稀疏和稠密检索模型。实验结果表明,该方法对两种典型的稀疏和稠密检索检索模型的有效性和鲁棒性。
2022-04-25 cs.CL cs.IR cs.LG
Deploying a BERT-based Query-Title Relevance Classifier in a Production System: a View from the Trenches
eBay Inc.(易趣公司)
Transformers的双向编码器表示(BERT)模型已经从根本上提高了许多自然语言处理(NLP)任务的性能,例如文本分类和命名实体识别(NER)应用。然而,由于BERT的巨大尺寸,因此针对低延迟和高吞吐量的工业用例对其进行扩展具有挑战性。我们成功地优化了查询标题相关性(QTR)分类器,通过一个紧凑的模型,我们命名为BERT双向长短期记忆(BertBiLSTM)部署。该模型能够在CPU上最多0.2ms内推断输入。BertBiLSTM在上述现实生产任务的准确性和效率方面超过了现成的BERT模型的性能。我们分两个阶段实现这一结果。首先,我们创建一个预训练的模型,称为eBERT,它是使用我们独特的项目标题语料库训练的原始BERT架构。然后,我们针对QTR任务对eBERT进行微调。其次,我们通过知识蒸馏(KD)过程对BertBiLSTM模型进行训练,以模仿eBERT模型的性能,并显示数据增强的效果,以达到相似的目标。实验结果表明,该模型优于其他紧凑和生产准备模型。
2021-08-23 cs.CL stat.CO
JurisTCU: A Brazilian Portuguese Information Retrieval Dataset with Query Relevance Judgments
Câmara dos Deputados(议会委员会);Tribunal de Contas da União (TCU)(联邦审计法院)
本文介绍了一个包含16045份巴西联邦会计法院判例文书和150个带有相关性标注查询的巴西葡萄牙语信息检索数据集,通过混合方法产生相关性判断,展示了文档扩展方法在提升BM25性能上的显著效果,以及OpenAI模型在短关键词查询中的优越表现。
2025-08-01 cs.CL cs.IR
ZeQR: Zero-shot Query Reformulation for Conversational Search
Institute for Financial Services Analytics(金融服务分析研究院);University of Delaware(特拉华大学)
本文提出零样本查询重构框架ZeQR,利用机器阅读理解语言模型显式解决对话查询中的共指和省略歧义,无需监督数据即可普遍适用于任意检索器,并在四个TREC对话数据集上持续超越最先进基线。
2024-10-17 cs.CL cs.IR
Few-Shot Query Intent Detection via Relation-Aware Prompt Learning
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Shenzhen MSU-BIT University(深圳MSU-BIT大学);Harbin Institute of Technology(哈尔滨工业大学)
针对少样本查询意图检测,提出SAID框架统一整合文本与查询-查询、查询-答案关系结构信息进行预训练,并设计查询自适应注意力网络生成意图特定关系令牌,实现细粒度知识迁移,在真实数据集上显著优于现有方法。
2025-09-06 cs.CL cs.IR
DR-RAG: Applying Dynamic Document Relevance to Retrieval-Augmented Generation for Question-Answering
Li Auto Inc.(理想汽车);Sun Yat-sen University(中山大学);Northeastern University(东北大学);Sichuan University(四川大学)
针对RAG单次检索不可靠且多次调用LLM效率低的问题,提出两阶段DR-RAG框架,利用文档与查询的动态相关性及紧凑分类器提升多跳问答检索召回与答案准确率。
2024-06-16 cs.CL cs.LG
Query Attribute Modeling: Improving search relevance with Semantic Search and Meta Data Filtering
提出查询属性建模(QAM)混合框架,通过将文本查询分解为元数据标签和语义元素提升搜索精度,在亚马逊玩具数据集上mAP@5达52.99%,优于传统搜索方法。
2025-08-06 cs.AI cs.CL cs.IR
PACRR: A Position-Aware Neural IR Model for Relevance Matching
MPI for Informatics(马克斯·普朗克信息学研究所);htw saar(萨尔应用技术大学);Rutgers University(罗格斯大学)
为了将深度学习用于信息检索,需要能够捕获评估文档与给定用户查询的相关性所需的所有相关信息的模型。虽然以前的作品已经成功地捕捉unigram术语匹配,如何充分利用位置相关的信息,如接近度和术语依赖性一直没有得到充分的探讨。在这项工作中,我们提出了一种新的神经IR模型命名为PACRR,旨在更好地建模查询和文档之间的位置相关的相互作用。在6年的TREC Web Track数据上进行的大量实验证实,该模型在多个基准测试下产生了更好的结果。
2017-07-21 cs.CL cs.IR
Q2E: Query-to-Event Decomposition for Zero-Shot Multilingual Text-to-Video Retrieval
Department of Computer Science and Electrical Engineering University of Maryland Baltimore County(计算机科学与电气工程系马里兰大学巴尔的摩县)
针对零样本多语言文本-视频检索任务,提出Q2E查询到事件分解方法,借助大模型知识分解简化查询,结合基于熵的多模态融合,在多数据集上超越现有最优基线,还验证了音频信息的增益作用,已开源相关代码与数据。
2025-11-13 cs.CL cs.CV
BioNLP-OST 2019 RDoC Tasks: Multi-grain Neural Relevance Ranking Using Topics and Attention Based Query-Document-Sentence Interactions
Siemens AG(西门子股份公司);University of Munich (LMU)(慕尼黑大学(LMU))
本文介绍了我们的系统细节和参与BioNLP-OST 2019 RDoC任务的结果。研究领域标准(RDoC)结构是一个多维和广泛的框架,通过结合从基因组学到行为的知识来描述心理健康障碍。RDoC标记数据集的不可用性和繁琐的标记过程阻碍了RDoC框架在生物医学研究社区和医疗保健行业中的充分潜力。因此,任务1旨在检索和排名与给定RDoC结构相关的PubMed摘要,任务2旨在从给定PubMed摘要中提取最相关的句子。我们研究(1)基于注意力的监督神经主题模型和SVM用于PubMed摘要的检索和排名,并进一步利用BM 25和其他相关性度量进行重新排名,(2)监督和无监督句子排名模型,利用多视图表示,包括查询感知的基于注意力的句子表示(QAR),词袋(BoW)和TF-IDF。我们最好的系统在任务1和任务2中分别获得了0.86的平均精度(mAP)和0.58的宏观平均精度(MAA)。
2019-10-02 cs.CL cs.IR cs.LG
A Fast Deep Learning Model for Textual Relevance in Biomedical Information Retrieval
Chan Zuckerberg Initiative(陈·扎克伯格倡议);National Center for Biotechnology Information(国家生物技术信息中心)
生命科学出版物的特点是大量的技术词汇,表达同一概念有许多词汇和语义变化。为了解决生物医学文献搜索中的相关性问题,我们引入了一个深度学习模型,用于文档文本与关键字样式查询的相关性。由于训练数据量相对较小,该模型使用预训练的词嵌入。有了这些,该模型首先计算查询和文档之间的可变长度Delta矩阵,表示两个文本之间的差异,然后通过深度卷积阶段,然后通过深度前馈网络计算相关性得分。这导致适合在在线搜索引擎中使用的快速模型。该模型是鲁棒的,并且优于可比的最先进的深度学习方法。
2018-02-26 cs.CL cs.IR
Modeling Product Search Relevance in e-Commerce
Carnegie Mellon University(卡内基梅隆大学)
随着电子商业的快速发展,在线产品搜索已经成为一种流行的和有效的范例,为客户找到所需的产品和从事网上购物。然而,在客户真正希望购买的产品与响应于来自客户的查询而建议的产品的相关性之间仍然存在很大的差距。在本文中,我们提出了一个强大的方法来预测相关性分数给定的搜索查询和产品,使用涉及机器学习,自然语言处理和信息检索技术。我们将传统的信息检索模型(如BM 25和Indri)与深度学习模型(如word2vec、page2vec和paragraph2vec)进行了比较。我们分享一些我们的见解和发现,从我们的实验。
2020-01-14 cs.CL cs.IR cs.LG
Combining Q&A Pair Quality and Question Relevance Features on Community-based Question Retrieval
Wuhan University of Technology(武汉理工大学)
问答社区已经成为人们从互联网上获取知识和信息的重要途径。然而,现有的翻译模型的基础上不考虑查询特定的语义时,分配权重的查询检索。因此,本文在传统主题翻译模型的基础上改进了术语加权模型,并进一步考虑问答对的质量特征,提出了一种基于社区的问答质量和相关度相结合的问题检索方法(T2LM+)。我们还提出了一种基于卷积神经网络的问句检索方法。实验结果表明,与目前比较先进的方法相比,本文提出的两种方法分别提高了MAP值4.91%和6.31%。
2019-07-03 cs.AI cs.CL cs.IR