Improving Information Retrieval Results for Persian Documents using FarsNet
Sharif University of Technology(谢里夫理工大学)
在本文中,我们提出了一种新的方法查询扩展,它使用FarsNet(波斯语WordNet),以找到类似的令牌相关的查询和扩展的语义含义的查询。为此,我们在FarsNet中使用同义关系,并提取相关的同义词来查询单词。该算法被用于增强信息检索系统和改善搜索结果。与基线方法(不使用查询扩展)相比,该系统的总体评估显示平均平均精度(MAP)提高了约9%。
2018-11-01 cs.CL cs.IR
WordNet-Based Information Retrieval Using Common Hypernyms and Combined Features
HCMC University of Technology(胡志明市理工大学);John von Neumann Institute(约翰·冯·诺依曼研究所)
基于关键词词汇匹配的文本搜索由于词的多义和同义而不能令人满意。一般来说,利用单词含义的语义搜索提高了搜索性能。在本文中,我们调查基于WordNet的信息检索系统,它采用了词义消歧的方法来处理查询和文档。问题是,在许多情况下,一个词有不止一个可能的直接意义,只选择其中一个可能会给这个词一个错误的意义。此外,以前的系统只使用词的形式来表示词义及其上位词。我们提出了一种新的方法,使用最具体的共同上位词的剩余未消歧的多个意义的一个词,以及组合WordNet功能来表示词义。在一个基准数据集上的实验表明,在MAP度量方面,我们的搜索引擎比词法搜索好17.7%,比使用WordNet的所有调查搜索系统至少好9.4%。本体,词义消歧,语义标注,语义搜索。
2018-07-15 cs.CL cs.IR
Query-focused Extractive Summarisation for Biomedical and COVID-19 Complex Question Answering
Macquarie University(麦考瑞大学)
本文介绍了麦考瑞大学参与最近两个BioASQ协同任务(截至2022年6月)和BioASQ 10任务B(BioASQ 10 b),阶段B。在这些任务中,参与系统预计将生成生物医学问题的复杂答案,其中答案可能包含一个以上的句子。我们采用以查询为中心的提取摘要技术。特别地,我们遵循基于句子分类的方法,该方法对与问题相关联的每个候选句子进行评分,并且将$n$得分最高的句子作为答案返回。Synergy Task对应于一个端到端系统,它需要文档选择、片段选择和找到最终答案,但它的训练数据非常有限。对于Synergy任务,我们选择了两个阶段的候选句子:文档检索和片段检索,最终的答案是通过使用一个DistilBERT/ALBERT分类器,已被训练的训练数据的BioASQ 9 b。使用BioASQ组织者提供的搜索API对CORD-19数据进行标准搜索,实现了文件检索,并通过使用问题和候选句子的余弦相似性对检索到的顶级文件的句子进行重新排序,实现了片段检索。我们观察到,通过sBERT表示的向量具有超过tf. idf的边缘。BioASQ 10 b B阶段侧重于寻找生物医学问题的具体答案。对于这项任务,我们遵循以数据为中心的方法。我们假设第一个BioASQ年的训练数据可能有偏差,我们用训练数据的不同子集进行了实验。当系统在BioASQ 10 b训练数据的后半部分上训练时,我们观察到结果的改善。
2022-09-05 cs.CL
Enhancing Retrieval Augmented Generation with Hierarchical Text Segmentation Chunking
Institute for Artificial Intelligence, VNU University of Engineering and Technology(人工智能研究所,越南工程大学)
针对传统RAG分块未考虑文本结构导致语义不足的问题,提出整合层次化文本分割与聚类生成语义连贯分块的框架,利用段落级和聚类级向量检索,在多个数据集上优于传统方法。
2025-07-14 cs.AI cs.CL
QontSum: On Contrasting Salient Content for Query-focused Summarization
IR Lab, Georgetown Univeristy Washington D.C., USA;IR Lab, Georgetown Univeristy
本文提出QontSum,通过对比学习引导模型关注文档中与查询相关的显著内容,在多个QFS基准上以更低微调成本达到或超过现有SOTA,并提升摘要查询相关性。
2023-07-14 cs.CL
Evaluating a Generative Adversarial Framework for Information Retrieval
Princeton University(普林斯顿大学);Indian Institute of Technology, Madras(马德拉斯印度理工学院)
生成对抗网络(GANs)的最新进展使其在多个领域得到了广泛的应用。最近的一个模型,IRGAN,适用于这个框架的信息检索(IR),并在过去的几年中获得了显着的关注。在这项重点工作中,我们批判性地分析了IRGAN的多个组成部分,同时提供了一些缺点的实验和理论证据。具体来说,我们确定的问题与恒定的基线长期的策略梯度优化,并表明发电机损害IRGAN的性能。我们的研究结果的动机,我们提出了两个模型的自我对比估计和共同训练的表现优于IRGAN的三个任务中的两个。
2020-10-01 cs.CL cs.IR cs.LG
Explainability of Text Processing and Retrieval Methods: A Survey
Indian Statistical Institute(印度统计研究所)
本文综述了文本处理和检索方法的可解释性,涵盖词嵌入、序列建模、注意力模块等技术,并探讨了未来研究方向。
2026-03-10 cs.AI cs.CL cs.IR
Context-aware Decoding Reduces Hallucination in Query-focused Summarization
University of Utah(犹他大学)
本文提出上下文感知解码方法,通过减少查询导向摘要中的幻觉并保留词法模式匹配度,提升生成质量。
2026-01-05 cs.CL cs.IR
FG-RAG: Enhancing Query-Focused Summarization with Context-Aware Fine-Grained Graph RAG
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出FG-RAG框架,通过上下文感知实体扩展和查询级细粒度摘要,解决现有GraphRAG在查询聚焦摘要任务中缺乏查询感知和上下文信息的问题,并在多个指标上优于其他RAG系统。
2025-03-13 cs.AI cs.CL cs.IR
Open Domain Question Answering over Tables via Dense Retrieval
Tel-Aviv University(特拉维夫大学);Google Research(谷歌研究院)
开放域QA的最新进展已经导致了基于稠密检索的强大模型,但仅专注于检索文本段落。在这项工作中,我们解决了开放域QA表的第一次,并表明检索可以提高检索器设计来处理表格上下文。我们提出了一个有效的预训练程序,我们的检索和提高检索质量与挖掘硬负。由于相关数据集缺失,我们提取了自然问题的子集(Kwiatkowski等人,2019年)到表QA数据集。我们发现,我们的检索器提高检索结果从72.0到81.1 recall@10和端到端的QA结果从33.8到37.7的精确匹配,超过一个BERT为基础的检索器。
2021-06-09 cs.CL
Multilingual Universal Sentence Encoder for Semantic Retrieval
Google AI(谷歌人工智能);Google(谷歌)
我们介绍了两个预训练的检索为重点的多语种句子编码模型,分别基于Transformer和CNN模型架构。该模型使用多任务训练的双编码器将来自16种语言的文本嵌入到单个语义空间中,该双编码器使用基于翻译的桥接任务来学习绑定表示(Chidambaram al.,2018年)。该模型在语义检索(SR)、翻译对双文本检索(BR)和检索问答(ReQA)方面的性能与最新技术具有竞争力。在英语迁移学习任务中,我们的句子级嵌入接近,在某些情况下超过了单语,仅英语,句子嵌入模型的性能。我们的模型可在TensorFlow Hub上下载。
2019-07-09 cs.CL
Deduction over Mixed-Level Logic Representations for Text Passage Retrieval
描述了一种系统,该系统使用自然语言文档的(部分)含义的混合级别表示(基于标准霍恩子句逻辑)和可变深度搜索策略,该搜索策略区分知识表示中的不同抽象级别以定位文档中的特定段落。混合层次表示以及可变深度搜索策略适用于NLP之外的领域。
1999-12-15 cs.CL
A Multi-Resolution Word Embedding for Document Retrieval from Large Unstructured Knowledge Bases
University of Arkansas(阿肯色大学);Google LLC.(谷歌有限责任公司)
深度语言模型学习分层表示被证明是自然语言处理、文本挖掘和信息检索的强大工具。然而,表现良好的检索表示必须捕捉不同层次的抽象或上下文范围的语义含义。在本文中,我们提出了一种新的方法来产生多分辨率的词嵌入,表示在多个分辨率的上下文范围的文件。为了研究其性能,我们使用斯坦福问答数据集(SQuAD)和问答搜索和阅读(QUASAR)在一个开放域的问答设置,其中的第一个任务是找到有用的文件来回答给定的问题。为此,我们首先比较了各种文本嵌入方法的检索性能的质量,并给出了广泛的经验比较与各种非增强的基础嵌入的性能,并没有多分辨率表示。我们认为,多分辨率词嵌入始终优于原始的对应物,并且专门为检索目的训练的深度残差神经模型在用于增强这些嵌入时可以产生进一步的显着收益。
2019-05-22 cs.CL cs.IR
Meaning in Order, Order in Meaning: Semantic R-precision for Keyphrase Evaluation
ILIN - Institute for Learning and Innovation in Networks, Karlsruhe University of Applied Sciences(学习与网络创新研究所,卡尔斯鲁厄应用科学大学);Karlsruhe Institute of Technology(卡尔斯鲁厄工业大学)
提出语义R-精度(SemR-p)指标,结合语义相似性与排序感知,从人类视角评估自动生成关键词的质量,优于传统词汇和语义匹配方法。
2026-06-05 cs.CL cs.IR
Query Focused Multi-Document Summarization with Distant Supervision
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
我们认为,更好地建模查询集群的相互作用,以促进查询为重点的多文档摘要(QFS)的问题。由于缺乏训练数据,现有的工作在很大程度上依赖于检索式的方法来估计查询和文本段之间的相关性。在这项工作中,我们利用远程监督从问答,其中各种资源可以更明确地捕捉查询和文档之间的关系。我们提出了一个由粗到细的建模框架,它引入了单独的模块,用于估计片段是否与查询相关,可能包含答案和中心。在此框架下,经过训练的证据估计器进一步辨别哪些检索到的片段可能回答摘要中的最终选择的查询。我们证明,我们的框架优于强比较系统的标准QFS基准。
2020-04-06 cs.CL cs.IR cs.LG
Baleen: Robust Multi-Hop Reasoning at Scale via Condensed Retrieval
Stanford University(斯坦福大学)
多跳推理(即,跨两个或多个文档的推理)是利用大型语料库展示广泛知识的NLP模型的关键要素。为了检索证据段落,多跳模型必须应对跨跳快速增长的搜索空间,表示结合多种信息需求的复杂查询,并解决关于在训练段落之间跳跃的最佳顺序的模糊性。我们通过Baleen来解决这些问题,Baleen是一个系统,它提高了多跳检索的准确性,同时在多跳设置中从弱训练信号中鲁棒地学习。为了驯服的搜索空间,我们提出了浓缩检索,管道,总结检索到的段落后,每一跳到一个单一的紧凑的上下文。为了模拟复杂的查询,我们引入了一个集中的后期交互检索,允许不同的部分相同的查询表示,以匹配不同的相关段落。最后,为了推断无序训练通道之间的跳跃依赖关系,我们设计了潜在的跳跃排序,一种弱监督策略,训练检索器本身选择的跳跃序列。我们评估Baleen检索两跳问答和多跳索赔验证,建立最先进的性能。
2022-07-10 cs.CL cs.IR
To Retrieve or Not to Retrieve? Uncertainty Detection for Dynamic Retrieval Augmented Generation
Emory University(埃默里大学)
针对确定性检索不适用于长问答的问题,研究探索多种不确定性检测方法以实现动态检索增强生成,发现相关指标可在问答准确率仅略有下降的情况下将检索调用次数减少近一半,提升了检索效率。
2025-03-18 cs.AI cs.CL cs.IR
TagRAG: Tag-guided Hierarchical Knowledge Graph Retrieval-Augmented Generation
East China Normal University(东华师范大学)
TagRAG通过构建标签知识图谱和标签引导的检索生成框架,提升小语言模型的全局推理能力和知识增量效率,实验显示其在多个领域数据集上表现优异。
2026-05-02 cs.CL cs.IR
BURT: BERT-inspired Universal Representation from Learning Meaningful Segment
Shanghai Jiao Tong University(上海交通大学)
尽管预先训练的语境化语言模型(如BERT)在各种下游任务上取得了显著的性能,但当前的语言表示仍然仅关注特定粒度的语言目标,这在同时涉及多个级别的语言单元时可能不适用。因此,本工作介绍和探讨了普遍的表示学习,即,在统一向量空间中嵌入不同层次的语言单位。我们提出了一个通用的表示模型,BURT(BERT-inspired Universal Representation from learning meaningful segmentT),将不同层次的语言单位编码到同一个向量空间中。具体来说,我们提取和屏蔽有意义的部分的基础上逐点互信息(PMI),将不同的粒度目标到预训练阶段。我们在英语和汉语的数据集上进行了实验,包括GLUE和CLUE基准测试,我们的模型在广泛的下游任务上超越了其基线和替代方案。我们提出了我们的方法来构建类比数据集的单词,短语和句子和实验与多个表示模型,通过任务独立的评估来检查学习向量空间的几何属性。最后,我们在两个真实的文本匹配场景中验证了我们的统一预训练策略的有效性。因此,我们的模型显着优于现有的信息检索(IR)方法,并产生通用的表示,可以直接应用到检索为基础的问答和自然语言生成任务。
2020-12-31 cs.CL
A Generalized Vector Space Model for Ontology-Based Information Retrieval
命名实体(NE)是由名称(如人员,组织和位置)引用的对象。命名实体和关键字对文档的含义很重要。我们提出了一个广义向量空间模型,结合命名实体和关键字。在该模型中,我们考虑到命名实体的不同本体特征,即别名,类和标识符。此外,我们使用实体类来表示疑问词的潜在信息,在传统的基于关键字的搜索被忽视。我们已经在TREC数据集上实现并测试了所提出的模型,如本文所述。
2018-07-20 cs.CL cs.DB cs.IR
Unlocking Multi-View Insights in Knowledge-Dense Retrieval-Augmented Generation
School of Artificial Intelligence, Beihang University(北航人工智能学院);Zhongguancun Laboratory(中关村实验室)
本文提出MVRAG框架,通过多领域视角的意图感知查询重写提升知识密集型RAG的检索精度,在法律和医学案例检索中显著提高召回率和精确率。
2025-10-23 cs.CL
From Local to Global: A Graph RAG Approach to Query-Focused Summarization
Microsoft Research(微软研究院);Microsoft Strategic Missions and Technologies(微软战略任务与技术部);Microsoft Office of the CTO(微软首席技术官办公室)
针对RAG处理全局问题失效、现有QFS方法扩展性不足的问题,提出GraphRAG方法,通过LLM构建实体知识图并预生成社区摘要,在100万token数据集的全局问题上,生成答案的全面性和多样性显著优于传统RAG。
2025-02-19 cs.AI cs.CL cs.IR
Combining Deep Neural Reranking and Unsupervised Extraction for Multi-Query Focused Summarization
Technische Hochschule Nürnberg Georg Simon Ohm(纽伦堡乔治·西蒙·欧姆应用科学大学)
CrisisFACTS Track旨在应对事件跟踪领域的多流实况调查等挑战;参与者的系统从若干灾害相关事件中提取重要事实,同时纳入时间顺序。我们提出了一个组合的检索,重新排序,以及著名的线性规划(ILP)和最大边际相关性(MMR)框架。在前两个模块中,我们探索了各种方法,包括基于实体的基线,预训练和微调的问答系统和ColBERT。然后,我们使用后一个模块作为一个提取的总结组件,考虑多样性和新颖性标准。自动评分运行显示了整个评估设置的强大结果,但也揭示了缺点和挑战。
2023-02-02 cs.CL
MuVER: Improving First-Stage Entity Retrieval with Multi-View Entity Representations
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
实体检索是自然语言处理中的一项重要任务,其目的是从大量知识库中消除对规范实体的歧义。实体检索的最新进展表明,双编码器结构是一个强大而有效的框架,提名候选人,如果实体只确定的描述。但是,他们忽略了实体提及的意义在不同的语境中是不同的,并且与描述的各个部分相关,这在以前的作品中是平等对待的。在这项工作中,我们提出了多视图实体表示(MuVER),一种新的实体检索方法,构建多视图表示实体描述和近似的最佳视图通过启发式搜索方法提到。我们的方法在ZESHEL上达到了最先进的性能,并在三个标准实体链接数据集上提高了候选项的质量
2021-09-13 cs.CL
An Accurate Arabic Root-Based Lemmatizer for Information Retrieval Purposes
Benha University(本哈大学);Electronics Research Institute(电子研究所)
尽管其强大的句法,语义衔接,和较少的歧义,词元级分析和生成尚未在阿拉伯语NLP文献的重点。在目前的研究中,我们提出了第一个非统计准确的阿拉伯语lemmatizer算法,适用于信息检索(IR)系统。建议的词元化器利用不同的阿拉伯语知识资源,以产生准确的词元形式及其相关功能,支持IR的目的。实验结果表明,该算法的最高准确率达到94.8%。对于第一次看到的文档,达到了89.15%的准确率,相比之下,对于相同的数据集,最新的斯坦福精确阿拉伯语模型的准确率为76.7%。
2012-03-15 cs.CL
Noun-Phrase Analysis in Unrestricted Text for Information Retrieval
信息检索是自然语言处理的一个重要应用领域,人们面临着处理大量不受限制的自然语言文本的真正挑战。本文介绍了几种简单、健壮、高效的名词短语分析技术在信息检索中的应用。特别是,我们描述了一种混合的方法来提取有意义的(连续或不连续)子复合词从复杂的名词短语使用语料库统计和语言学。实验结果表明,基于这种提取的子复合词的索引提高了信息检索系统的查全率和查准率。名词短语分析技术在图书标引和主题词表自动抽取方面也有潜在的应用价值。
1996-05-13 cmp-lg cs.CL
Toward Optimal Search and Retrieval for RAG
University of Colorado Boulder(科罗拉多大学博尔德分校);Intel Labs(英特尔实验室)
本文研究如何优化RAG流水线中的检索器,通过问答和归因问答实验揭示了检索与RAG性能的关系,发现降低搜索精度对性能影响小但能提升检索速度和内存效率。
2024-11-11 cs.CL
Where Does the Performance Improvement Come From? -- A Reproducibility Concern about Image-Text Retrieval
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));China University of Petroleum (East China)(中国石油大学(华东));JD Explore Academy(京东探索研究院);Peng Cheng Laboratory(鹏城实验室)
本文旨在通过分析图像-文本检索模型的可重复性,为信息检索界提供对检索学习最新进展的一些思考。由于近十年来多模态数据的增加,图像-文本检索已经逐渐成为信息检索领域的一个主要研究方向。许多研究人员训练和评估图像文本检索算法使用基准数据集,如MS-COCO和Flickr 30 k。过去的研究主要集中在性能上,以各种方式提出了多种最先进的方法。根据他们的说法,这些技术提供了改进的模态交互,因此更精确的多模态表示。与以前的作品相比,我们专注于方法的可重复性和检查的元素,导致提高性能的预训练和nonpretrained模型在检索图像和文本。更具体地说,我们首先研究相关的再现性问题,并解释为什么我们的重点是图像-文本检索任务。其次,我们系统地总结了当前的图像-文本检索模型的范式和这些方法的贡献。第三,我们分析了预训练和非预训练检索模型的再现的各个方面。为了完成这一点,我们进行了消融实验,并获得了一些影响因素,影响检索召回比在原来的文件中声称的改进。最后,我们提出了一些反思和挑战,检索社区应该考虑在未来。我们的源代码可在https://github.com/WangFei-2019/Image-text-Retrieval上公开获取。
2022-08-27 cs.CL cs.CV cs.IR
Chain of Retrieval: Multi-Aspect Iterative Search Expansion and Post-Order Search Aggregation for Full Paper Retrieval
KAIST(韩国科学技术院)
本文提出Chain of Retrieval框架,通过多方面迭代搜索扩展和后序聚合,提升全文检索效果,实验表明其优于现有基线方法。
2026-10-20 cs.AI cs.CL cs.IR
Topic-DPR: Topic-based Prompts for Dense Passage Retrieval
South China Normal University(华南师范大学);The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出Topic-DPR,通过基于主题的提示和对比学习解决密集段落检索中的语义空间坍缩问题,并引入正负采样策略,在两个数据集上超越现有最先进方法。
2023-10-10 cs.AI cs.CL
Same Image, Different Meanings: Toward Retrieval of Context-Dependent Meanings
Tokyo Metropolitan University(东京都立大学);CyberAgent
研究图像意义的上下文依赖性及其对检索的影响,提出L1-L4框架,探讨嵌入式叙事上下文对不同抽象层次检索效果的影响。
2026-05-13 cs.IR
RECOR: Reasoning-focused Multi-turn Conversational Retrieval Benchmark
University of Innsbruck(因斯布鲁克大学);Oracle AI(甲骨文人工智能)
RECOR基准通过分解与验证框架提升多轮对话检索性能,结合历史与推理使nDCG@10提升至0.479,推理专用模型表现优于密集编码器。
2026-01-09 cs.IR
Neural-IR-Explorer: A Content-Focused Tool to Explore Neural Re-Ranking Results
在本文中,我们期待超越基于度量的评价信息检索系统,探索背后的排名结果的原因。我们提出了以内容为中心的Neural-IR-Explorer,它使用户能够浏览检索结果,并检查神经重新排序模型的内部工作和细粒度结果。该资源管理器包括可用查询的分类概述,以及带有各种选项的单个查询结果视图,以突出显示查询-文档对之间的语义连接。Neural-IR-Explorer可从以下网址获得:https://neural-ir-explorer.ec.tuwien.ac.at/
2019-12-10 cs.IR
T-Retrievability: A Topic-Focused Approach to Measure Fair Document Exposure in Information Retrieval
University of Glasgow(格拉斯哥大学)
针对现有全局可检索性指标无法准确衡量检索模型曝光偏差的问题,提出主题聚焦的T-Retrievability度量,通过局部主题组计算聚合得到更可靠的公平性评估结果。
2025-11-17 cs.IR
The Effect of Document Selection on Query-focused Text Analysis
Johns Hopkins University(约翰霍普金斯大学)
本文评估了七种文档选择策略对四种文本分析方法在两个数据集上的影响,发现语义或混合检索策略能有效避免弱策略的弊端,确立数据选择为方法学决策。
2026-04-13 cs.CL cs.IR
Batch Evaluation Metrics in Information Retrieval: Measures, Scales, and Meaning
最近的一系列论文已经考虑了测量尺度在信息检索(IR)实验中的作用,并且提出了应该使用(仅)均匀步长间隔尺度的论点,并且因此,诸如倒数秩、期望倒数秩、归一化折扣累积增益和平均精度之类的公知度量应该被丢弃作为测量工具,或者被适配成使得它们的度量值位于数字线上的均匀间隔的点处。这些论文描绘了过去几十年IR评估的一幅相当黯淡的画面,与社区对实际实验和可衡量的改进的整体强调不一致。我们这项工作的目的是挑战这一立场。特别是,我们认为,从分类和有序的数据映射到数线上的点集是有效的,提供了一个外部的原因,每个目标点已被选中。我们首先考虑测量尺度的一般作用,以及分类、有序、区间、比率和绝对数据汇集的一般作用。关于前两个类别,我们还提供了一些知识的例子,这些知识是由实数行的数字映射捕获和表示的。然后集中在信息检索,我们认为,文档排序是分类数据,有效性度量的作用是提供一个单一的值,表示有用的用户或人口的用户的任何给定的排名,有用性能够表示为一个连续变量的比例尺度。也就是说,我们认为,目前的IR指标是有根据的,而且,这些指标是更有意义的,在其目前的形式比在拟议的“间隔”版本。
2022-07-07 cs.IR
Tackling Query-Focused Summarization as A Knowledge-Intensive Task: A Pilot Study
University of Amsterdam(阿姆斯特丹大学);Amazon Alexa AI(亚马逊Alexa人工智能);University of Edinburgh(爱丁堡大学)
本研究将查询聚焦摘要(QFS)作为知识密集型任务处理,无需预先提供相关文档,构建了新数据集KI-QFS,实验表明现有模型在该设置下表现显著下降,揭示了知识密集型QFS的挑战与改进空间。
2023-07-31 cs.CL cs.IR
Beyond Relevant Documents: A Knowledge-Intensive Approach for Query-Focused Summarization using Large Language Models
University of Amsterdam(阿姆斯特丹大学);Amazon Alexa AI(亚马逊Alexa人工智能);University of Edinburgh(爱丁堡大学)
提出一种知识密集型查询聚焦摘要方法,通过检索模块从大规模语料库获取文档,结合LLM摘要控制器生成准确摘要,无需预先相关文档,实验验证其优越性能。
2024-08-19 cs.CL cs.IR
The Price of Meaning: Why Every Semantic Memory System Forgets
Sentra;Massachusetts Institute of Technology(麻省理工学院)
本文研究了语义记忆系统中意义与遗忘的权衡,证明了语义连续核阈值记忆系统中干扰和遗忘不可避免,通过四个结果揭示了语义表示的有效秩、局部维度、记忆增长对保留的影响以及联想诱饵的虚假回忆无法消除。
2026-03-28 cs.AI cs.IR cs.NE
Information Retrieval in long documents: Word clustering approach for improving Semantics
本文提出基于词嵌入聚类和词簇加权的长文档语义信息检索方法,通过融合词汇与语义表示,在 SQuAD 和 TREC-CAR 上显著优于纯关键词方法。
2025-07-26 cs.IR
A Generalized Framework for Ontology-Based Information Retrieval Application to a public-transportation system
在本文中,我们提出了一个通用的框架,基于本体的信息检索。我们专注于从数据源中提取的语义信息的识别和这些知识到本体的映射。为了实现更大的可扩展性,我们提出了一种基于实体检索模型的语义索引方法。此外,我们使用本体的公共交通领域,以验证这些建议。最后,我们评估我们的系统使用本体映射和现实世界的数据源。实验表明,我们的框架可以提供有意义的搜索结果。
2014-09-02 cs.IR
Non-Compositional Term Dependence for Information Retrieval
在IR中建模术语依赖性的目的是识别相互依赖太严重而不能被视为一个词袋的共现术语,并相应地调整索引和排名。依赖项主要使用词频统计来识别,假设(a)如果术语在某些语料库中共同出现的频率足够高,则它们在语义上是依赖的;(b)它们共同出现的频率越高,它们在语义上的依赖性就越大。这个假设并不总是正确的:共现术语的频率可以与它们的语义依赖的强度分开。例如,在某些语料库中,“redtape”可能总体上比“tape measure”频率低,但这并不意味着“red”+“tape”比“tape”+“measure”依赖性低。这对于非组合短语尤其如此,即其含义不能由其术语的单个含义组成的短语(例如短语“redtape”意思是官僚机构)。出于这种缺乏区分的频率和强度的长期依赖IR,我们提出了一个原则性的方法来处理长期依赖查询,使用词汇频率和语义证据。我们专注于非成分短语,将最近的无监督检测模型[21]扩展到IR。我们的方法,使用马尔可夫随机场[31]集成到排名中,产生了比竞争性TREC基线更有效的收益,表明IR中术语依赖的研究领域仍有改进的空间。
2015-07-29 cs.IR
Matching Meaning at Scale: Evaluating Semantic Search for 18th-Century Intellectual History through the Case of Locke
University of Helsinki(赫尔辛基大学);TurkuNLP, University of Turku(图尔库大学TurkuNLP);ELLIS Institute Finland(芬兰ELLIS研究所)
本文通过洛克作品的接受情况,评估语义搜索在18世纪思想史中的应用,发现其能更有效地检索隐含意义,但受限于词汇重叠。
2026-05-12 cs.AI cs.CL cs.CY
Report on the 1st Workshop on Large Language Model for Evaluation in Information Retrieval (LLM4Eval 2024) at SIGIR 2024
本文报告了与SIGIR 2024同期举办的首届LLM4Eval研讨会,该研讨会聚焦于利用大型语言模型进行信息检索评估这一新兴主题,通过专题讨论和海报展示促进研究者交流。
2024-08-09 cs.IR
Still Fresh? Evaluating Temporal Drift in Retrieval Benchmarks
University of Waterloo(滑铁卢大学)
本研究评估了时间变化对检索基准FreshStack的影响,发现语料库更新后大部分查询仍能得到支持,模型排名变化较小,表明基准在时间演变下仍具可靠性。
2026-03-04 cs.AI cs.CL cs.IR
Semantic Arabic Information Retrieval Framework
信息发布量和存储量的不断增加,要求有专门的信息检索框架来准确、快速地检索和获取信息。目前,基于关键字的技术通常用于信息检索中。然而,关键词方法的一个主要缺点是它无法处理自然语言中的一词多义和同义现象。例如,不同社区对词语的含义和对概念的理解不同。同一个词用于不同的概念(一词多义)或使用不同的词用于同一个概念(同义)。大多数信息检索框架在处理词汇语义方面存在不足(索引、布尔模型、潜在语义分析(LSA)、潜在语义索引(LSI)和语义排序等)。传统的阿拉伯语信息检索(AIR)模型在处理语义查询时,不仅要处理关键字,还要处理这些关键字的上下文,因此性能不足。因此,需要一种具有语义索引结构和基于语义索引的排序算法的语义信息检索模型。
2015-12-10 cs.IR
Structure-Preserving Graph Contrastive Learning for Mathematical Information Retrieval
National Central University(中央大学)
本文提出一种保留数学公式结构的图对比学习方法,通过变量替换提升数学信息检索性能。
2026-03-09 cs.DL cs.IR
NLP-SIR: A Natural Language Approach for Spreadsheet Information Retrieval
电子表格是一种无处不在的软件工具,用于各种各样的任务,如财务建模,统计分析和库存管理。从这些数据中提取有意义的信息可能是一项困难的任务,特别是对于不熟悉许多电子表格应用程序的高级数据处理功能的新手用户。我们相信,通过使用自然语言处理(NLP)技术,这项任务可以变得相当容易。本文介绍了一个用于电子表格信息检索的自然语言接口NLP-SIR。最近的评估结果比较NLP-SIR与现有的信息检索工具也概述。评价结果表明,NLP-SIR是一种更有效的电子表格信息检索方法。
2009-08-08 cs.HC cs.IR cs.SE
Towards Proactive Information Retrieval in Noisy Text with Wikipedia Concepts
University College London(伦敦大学学院)
从用户历史中提取有用的信息以清楚地了解信息需求是主动式信息检索系统的一个重要特征。关于理解信息和相关性,维基百科可以提供智能系统所需的背景知识。这项工作探讨了如何利用上下文的查询使用维基百科的概念可以提高主动信息检索嘈杂的文本。我们制定了两个模型,使用实体链接相关联的维基百科主题的相关性模型。我们围绕播客片段检索任务的实验表明,维基百科概念中存在明确的相关性信号,而排名模型可以通过合并它们来提高精度。我们还发现维基化查询的背景上下文可以帮助消除查询的含义,进一步帮助主动信息检索。
2022-10-18 cs.AI cs.IR cs.LG
Query expansion techniques for information retrieval: A survey
随着网络规模的不断扩大,在互联网上对由少数关键字组成的查询进行相关信息抽取已成为一个巨大的挑战。查询扩展(QE)在提高Internet上的搜索性能方面起着至关重要的作用。在这里,用户的初始查询通过添加具有类似意义的附加有意义的术语来重新表述。作为信息检索(IR)的一部分,QE长期以来一直受到研究者的关注。它在个性化社会文档、问答、跨语言信息检索、信息过滤和多媒体信息检索等领域具有重要影响力。由于TREC(Text信息检索Conference)和CLEF(Conference and Labs of the Evaluation Forum)等专门的信息检索会议的召开,QE的研究得到了进一步的重视。本文从核心技术、使用的数据源、加权和排名方法、用户参与和应用等方面对1960年至2017年IR中的QE技术进行了调查,并指出了相似性和差异性。
2019-06-20 cs.IR
Comprehensive Review on Semantic Information Retrieval and Ontology Engineering
本文围绕态势感知系统的知识整合与环境适应需求,对语义信息检索与本体工程进行快速综述,指出本体推理凭借正式灵活可扩展的知识框架可解决传统系统的局限,并梳理了新兴挑战与未来研究方向。
2023-07-25 cs.IR
Dense Text Retrieval based on Pretrained Language Models: A Survey
文本检索是信息检索领域的一个长期研究课题,它要求系统能够以自然语言的形式返回用户查询的相关信息资源。从经典的检索方法到基于学习的排序函数,底层的检索模型随着不断的技术创新而不断发展。设计有效的检索模型的关键在于如何学习文本的表示方法和建立相关匹配模型。预训练语言模型(PLM)最近的成功揭示了通过利用PLM的优秀建模能力来开发更强大的文本检索方法。借助强大的PLM,我们可以有效地学习查询和文本在潜在表示空间中的表示,并进一步构建密集向量之间的语义匹配函数以进行相关性建模。这种检索方法被称为稠密检索,因为它采用密集向量(也称为,嵌入)来表示文本。鉴于稠密检索的快速发展,本文系统地综述了基于PLM的稠密检索的最新研究进展。与以往的稠密检索研究不同,本文从体系结构、训练、索引和集成四个方面对相关工作进行了新的梳理,并对各个方面的主流技术进行了总结。我们彻底调查的文献,包括300+相关的参考文献的稠密检索。为了支持我们的调查,我们创建了一个网站,提供有用的资源,并发布了一个代码库和工具包,实现稠密检索模型。本综述旨在提供一个全面、实用的参考,重点介绍密集文本检索的主要进展。
2022-11-27 cs.IR
Robust Information Retrieval for False Claims with Distracting Entities In Fact Extraction and Verification
Amazon Alexa(亚马逊 Alexa);Amazon Web Services, Inc.(亚马逊云科技公司)
准确的证据检索对于自动事实核查至关重要。很少有以前的研究集中在真实和虚假的索赔之间的差异,以及它们如何影响证据检索。与真实索赔相比,虚假索赔更容易包含无关实体,从而干扰证据检索模型。基于BERT的检索模型在检索反驳虚假主张的证据时比检索支持真实主张的证据时犯了更多的错误。当测试对抗性虚假索赔(合成生成)包含不相关的实体,召回的检索模型是显着低于原始索赔。这些结果表明,香草BERT为基础的检索模型是不稳健的不相关的实体在虚假的索赔。通过使用包含不相关实体的合成虚假索赔来增强训练数据,训练后的模型实现了更高的证据召回率,包括包含不相关实体的虚假索赔。此外,使用单独的模型来检索反驳和支持证据,然后将它们聚合起来,也可以提高证据召回率,包括不相关实体的虚假声明。这些结果表明,我们可以通过数据增强和模型集成来提高基于BERT的检索模型对不相关实体的虚假声明的鲁棒性。
2021-12-10 cs.IR cs.LG
Gradient Augmented Information Retrieval with Autoencoders and Semantic Hashing
University of Cambridge(剑桥大学)
本文将探讨在信息检索的上下文中使用自动编码器进行语义哈希。本文将总结如何有效地训练自动编码器,以创建有意义的和低维的数据编码。本文将演示如何计算和存储最接近的编码输入查询可以帮助加快搜索时间和提高我们的搜索结果的质量。本文的新贡献涉及使用自动编码器学习的数据表示,以各种方式增强我们的搜索查询。我提出并评估了新的梯度搜索增强(GSA)方法,以及更著名的伪相关反馈(PRF)调整。研究发现,GSA有助于提高基于TF-IDF的信息检索系统的性能,而PRF与GSA相结合对本文所比较的系统的整体效果最好。
2018-03-12 cs.IR cs.LG stat.ML