Optimizing Test-Time Query Representations for Dense Retrieval
Korea University(高丽大学);Princeton University(普林斯顿大学);Google Research(谷歌研究院)
本文提出TOUR方法,利用测试时检索结果和交叉编码器伪标签迭代优化查询表示,可视为Rocchio算法的推广,在开放域问答和段落检索上显著提升性能与效率。
2023-05-28 cs.CL cs.IR
Towards Consistency Filtering-Free Unsupervised Learning for Dense Retrieval
Waseda University(早稻田大学);Yahoo Japan Corporation(雅虎日本公司)
本文针对稠密检索领域迁移中一致性过滤计算开销高且难以识别目标领域检索意图的问题,提出用直接伪标签、伪相关反馈或无监督关键词生成替代一致性过滤器,实验表明基于 TextRank 的伪相关反馈平均效果最优,并证明免过滤无监督学习可在保持性能的同时持续提升训练与推理效率。
2023-08-05 cs.CL cs.IR cs.LG
LatentRAG: Latent Reasoning and Retrieval for Efficient Agentic RAG
University of Amsterdam(阿姆斯特丹大学)
LatentRAG通过将推理与检索从离散语言空间转移到连续潜在空间,提升代理RAG的效率,实验表明其在七种基准数据集上性能与显式方法相当,推理延迟降低约90%。
2026-10-27 cs.CL cs.LG
Neural Retrieval for Question Answering with Cross-Attention Supervised Data Augmentation
Google Research(谷歌研究院);Google Cloud AI(谷歌云人工智能)
独立地将问题和答案投影到共享嵌入空间中的神经模型允许从大型语料库中进行有效的连续空间检索。独立地计算问题和答案的嵌入导致与匹配问题到其答案相关的信息的后期融合。虽然对于有效检索至关重要,但后期融合的性能低于利用早期融合的模型(例如,基于BERT的分类器,在问题-答案对之间具有交叉关注)。我们提出了一种监督数据采掘方法,使用一个准确的早期融合模型,以提高一个有效的后期融合检索模型的训练。我们首先训练一个准确的分类模型,问题和答案之间的交叉注意。准确的交叉注意模型然后被用来注释附加的通道,以便生成用于神经检索模型的加权训练样本。由此产生的具有额外数据的检索模型显著优于直接使用黄金注释在$N$(P@N)和平均倒数秩(MRR)的精度上训练的检索模型。
2020-09-29 cs.CL
Noun-Phrase Analysis in Unrestricted Text for Information Retrieval
信息检索是自然语言处理的一个重要应用领域,人们面临着处理大量不受限制的自然语言文本的真正挑战。本文介绍了几种简单、健壮、高效的名词短语分析技术在信息检索中的应用。特别是,我们描述了一种混合的方法来提取有意义的(连续或不连续)子复合词从复杂的名词短语使用语料库统计和语言学。实验结果表明,基于这种提取的子复合词的索引提高了信息检索系统的查全率和查准率。名词短语分析技术在图书标引和主题词表自动抽取方面也有潜在的应用价值。
1996-05-13 cmp-lg cs.CL
HingeMem: Boundary Guided Long-Term Memory with Query Adaptive Retrieval for Scalable Dialogues
College of Design and Innovation, Tongji University(同济大学设计创意学院);Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University(同济大学上海自主智能无人系统科学中心)
HingeMem通过边界引导的长期记忆和查询自适应检索,提升对话系统在多轮交互中的记忆效率与适应性,实验表明在不同规模的LLM上实现20%的性能提升并降低计算成本。
2026-04-08 cs.AI cs.CL
AISA: AI Safety Assistant Framework for Continuous Improvement of Highway Construction
University of Pittsburgh(匹兹堡大学)
本研究提出AISA框架,基于LLM和文本嵌入模型实现公路施工事故分类、质量评分及相关数据检索,为未来智能体应用提供基础,在OIICS分类和事故检索等任务上取得优于随机水平的效果。
2026-08-19 cs.CL
Building Legal Case Retrieval Systems with Lexical Matching and Summarization using A Pre-Trained Phrase Scoring Model
Japan Advanced Institute of Science and Technology(日本先进科学技术研究院);National Institute of Informatics(国立信息学研究所)
我们提出了解决2019年法律信息抽取/蕴涵竞赛的法律案例检索任务的方法。我们的方法是基于这样的想法,即摘要是重要的检索。一方面,我们采用了一种基于摘要的模型,称为编码摘要,它将给定的文档编码到连续的向量空间中,其中嵌入了文档的摘要属性。我们利用COLIEE 2018的资源,在此基础上训练文档表示模型。另一方面,我们提取一个给定的查询及其候选人的不同部分的词汇特征。我们观察到,通过比较查询的不同部分及其候选项,我们可以实现更好的性能。此外,基于摘要的方法结合词汇特征和潜在特征实现了更好的性能。我们在比赛的基准上取得了任务的最先进的结果。
2020-09-29 cs.CL
Towards Lighter and Robust Evaluation for Retrieval Augmented Generation
Paris-Saclay University(巴黎萨克雷大学);BNP Paribas CIB(法国巴黎银行企业与投资银行);AgroParisTech(巴黎高科农业学院)
针对RAG评估依赖昂贵商业大模型且不透明的问题,提出用小型量化开源大模型构建轻量可解释的连续评分指标,还开发了替代人类判断相关性的新AUC指标。
2025-03-20 cs.AI cs.CL
Chronological Knowledge Retrieval: A Retrieval-Augmented Generation Approach to Construction Project Documentation
Université Catholique de Louvain, ICTEAM/INGI(列日大学,ICTEAM/INGI);Buildwise;BPC Group(BPC集团)
本文提出一种基于检索增强生成的方法,用于建设项目文档的时间知识检索,通过语义搜索与大语言模型结合,实现对项目会议记录的对话式访问,支持时间标注的决策历史查询。
2026-03-25 cs.CL
Topic-DPR: Topic-based Prompts for Dense Passage Retrieval
South China Normal University(华南师范大学);The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出Topic-DPR,通过基于主题的提示和对比学习解决密集段落检索中的语义空间坍缩问题,并引入正负采样策略,在两个数据集上超越现有最先进方法。
2023-10-10 cs.AI cs.CL
Continuous Approach to Phase (Norm) Retrieval Frames
本文研究希尔伯特空间中连续框架的相位与范数检索问题,提出连续近Riesz基并证明其可逆算子不变性,给出相关等价条件,分析扰动稳定性,还建立了张量积框架与其分量间两类检索性质的等价关系。
2025-01-15 cs.IR cs.NA math-ph
Learning Temporal Point Processes for Efficient Retrieval of Continuous Time Event Sequences
IIT Delhi(印度理工学院德里分校);IIT Bombay(印度理工学院孟买分校)
最近的发展,在预测建模使用标记时间点过程(MTPP),使几个真实世界的应用,涉及连续时间事件序列(CTES)的准确表征。然而,这些序列的检索问题在文献中仍然很大程度上没有得到解决。为了解决这个问题,我们提出了NEUROSEQRET,它学习检索和排名一组相关的连续时间事件序列为一个给定的查询序列,从一个大型语料库的序列。更具体地说,NEUROSEQRET首先在查询序列上应用可训练的解扭曲函数,这使得它与语料库序列相当,特别是当相关的查询-语料库对具有单独不同的属性时。然后,它将未变形的查询序列和语料库序列馈送到MTPP引导的神经相关性模型中。我们开发了两种变体的相关性模型,提供了准确性和效率之间的权衡。我们还提出了一个优化框架来学习二进制序列嵌入的相关性分数,适合本地敏感的哈希导致显着的加速返回给定的查询序列的前K个结果。我们对几个数据集的实验表明,NEUROSEQRET的准确性显著提高,超过了几个基线,以及我们的哈希机制的有效性。
2022-02-17 cs.IR cs.LG
LongEval-Retrieval: French-English Dynamic Test Collection for Continuous Web Search Evaluation
本文提出动态测试集LongEval-Retrieval,通过连续时间步子集合模拟网络搜索环境变化,提供法英双语数据、软相关性评估及基线分析。
2023-04-27 cs.IR
Continuous Active Learning Using Pretrained Transformers
University of Waterloo(滑铁卢大学)
预训练和微调的Transformer模型,如BERT和T5,已经改善了自组织检索和问答的最新技术水平,但在高召回信息检索中还没有,其目标是检索基本上所有相关的文档。我们调查是否使用基于变换器的模型进行重新排序和/或特征化可以提高基线模型实现的TREC总召回跟踪,这代表了目前的高召回信息检索的最新技术水平。我们还介绍了CALBERT,一个模型,可用于不断微调基于相关反馈的BERT模型。
2022-08-15 cs.AI cs.IR cs.LG
Unsupervised Corpus Poisoning Attacks in Continuous Space for Dense Retrieval
本文提出在连续嵌入空间中进行无监督语料库污染攻击的方法,通过优化保持文档嵌入几何距离和最大化词级差异,提升攻击效率和效果,实验验证了其在不同领域数据集上的有效性。
2026-03-16 cs.CL cs.IR
An Exploration Graph with Continuous Refinement for Efficient Multimedia Retrieval
HTW Berlin(柏林应用技术大学)
本文提出连续求精探索图(crEG),用于快速构建紧凑图以实现高效多媒体检索,其偶度无向图及连通性特性适配探索式搜索,实验显示ANNS高效率与探索式搜索性能无必然关联。
2026-07-31 cs.IR
Data Mining Model for the Data Retrieval from Central Server Configuration
一个服务器,这是保持跟踪繁忙的文档流量,是无法过滤的文件,最相关的和更新的连续文本搜索查询。本文主要研究如何处理持续高文档流量的连续文本提取。主要目标是检索最近更新的文件是最相关的查询,通过应用滑动窗口技术。该方案基于倒排文件的原理,采用结构化的方式对主存中的流文档进行索引,并采用基于增量阈值的方法对文档到达和过期事件进行处理。它还确保使用无监督重复检测消除重复文档检索。根据用户反馈对文档进行排名,并给予更高的优先级进行检索。
2013-11-20 cs.DB cs.IR
XML Information Retrieval Systems: A Survey
XML信息库的持续增长与XML检索系统开发的不断努力相匹配,在很大程度上旨在支持面向内容的XML检索。这些系统利用XML文档中的可用结构信息,以返回文档组件-所谓的XML元素-而不是对用户查询的补充文档。在本文中,我们提供了一个不同的XML信息检索系统的概述和分类,根据其存储和查询评价策略。
2011-11-28 cs.IR
Quotient Space-Based Keyword Retrieval in Sponsored Search
Baidu(百度)
随着各大搜索引擎将对精确匹配产品的匹配要求放宽到同义级别,同义关键词检索成为赞助式搜索的一个重要问题。由于查询和关键字之间的同义关系是相当稀缺的,传统的信息检索框架在这种情况下是低效的。在本文中,我们提出了一种新的商空间为基础的检索框架来解决这个问题。将关键词之间的同义关系看作是一种数学等价关系,将同义关键词压缩为一个代表,对应的商空间将大大减小关键词库的规模。然后直接在查询和关键字代表之间进行基于嵌入的检索。为了减少基于商空间的检索的语义鸿沟,一个单一的语义连体模型被用来检测关键字-关键字和查询-关键字的同义关系。实验结果表明,基于商空间的同义词检索方法在记忆代价和召回效率方面都有很大的提高。该方法已在百度的在线赞助搜索系统中成功实施,并在收入方面取得了显着的改善。
2021-05-26 cs.IR cs.LG
Retrieving Continuous Time Event Sequences using Neural Temporal Point Processes with Learnable Hashing
University of Washington Seattle(西雅图华盛顿大学);Indian Institute of Technology Delhi(印度理工学院德里分校);Indian Institute of Technology Bombay(印度理工学院孟买分校)
针对连续时间事件序列(CTES)大规模检索被忽视的问题,提出首个端到端CTES检索框架NeuroSeqRet,结合可训练反扭曲、MTPP引导的相关性模型与可学习哈希,实现准确率显著提升。
2023-07-13 cs.IR cs.LG
Dense Retrieval with Continuous Explicit Feedback for Systematic Review Screening Prioritisation
本文提出一种利用连续显式反馈更新密集查询表示的筛选优先级排序方法,无需昂贵微调,在CLEF TAR数据集上验证了其高效性和有效性。
2024-07-17 cs.IR
Learning Binary Codes with Spiking Neural Networks for Cross-Modal Hashing Retrieval
College of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院);Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University(吉林大学符号计算与知识工程教育部重点实验室)
提出SpikeHash框架,通过脉冲状态演化、方向性脉冲交互和竞争性脉冲读出实现跨模态哈希检索,在三个基准数据集上取得竞争性检索精度并降低参数量和能耗。
2026-11-19 cs.IR cs.MM
Universal Vision-Language Dense Retrieval: Learning A Unified Representation Space for Multi-Modal Retrieval
本文提出了通用视觉语言稠密检索(UniversalVision-Language Dense Retrieval,UniVL-DR),为多模态检索建立了统一的模型。UniVL-DR在嵌入空间中对查询和多模态资源进行编码,用于从不同模态中搜索候选项。为了学习一个统一的嵌入空间用于多模态检索,UniVL-DR提出了两种技术:1)通用嵌入优化策略,使用模态平衡的硬否定对比优化嵌入空间; 2)图像动词化方法,弥合原始数据空间中图像和文本之间的模态差距。UniVL-DR在多模态开放域问答基准测试WebQA上达到了最先进的水平,在文本-文本检索和文本-图像检索两个子任务上优于所有检索模型。它表明,通用多模态搜索是可行的,以取代一个统一的模型和单/跨模态任务的分治管道。本工作的所有源代码都可以在https://github.com/OpenMatch/UniVL-DR上获得。
2023-02-05 cs.IR
Efficient Constant-Space Multi-Vector Retrieval
University of Glasgow(格拉斯哥大学);Pinecone;University of Pisa(比萨大学)
针对ColBERT等多向量检索方法存储成本高的问题,提出将文档编码为固定数量向量的方法,在降低存储开销并优化分页管理的同时,于MSMARCO和BEIR上保留了大部分检索有效性。
2025-04-02 cs.CL cs.IR
High-Dimensional Concentration and Retrieval Instability in Embedding Spaces: Implications for Retrieval-Augmented Generation
研究高维嵌入空间中距离和余弦浓度的现象,通过数值实验揭示其对最近邻检索稳定性的影响,并表明这些效应可能削弱检索增强生成中的基础可靠性。
2026-05-19 cs.AI cs.IR
Semantic Arabic Information Retrieval Framework
信息发布量和存储量的不断增加,要求有专门的信息检索框架来准确、快速地检索和获取信息。目前,基于关键字的技术通常用于信息检索中。然而,关键词方法的一个主要缺点是它无法处理自然语言中的一词多义和同义现象。例如,不同社区对词语的含义和对概念的理解不同。同一个词用于不同的概念(一词多义)或使用不同的词用于同一个概念(同义)。大多数信息检索框架在处理词汇语义方面存在不足(索引、布尔模型、潜在语义分析(LSA)、潜在语义索引(LSI)和语义排序等)。传统的阿拉伯语信息检索(AIR)模型在处理语义查询时,不仅要处理关键字,还要处理这些关键字的上下文,因此性能不足。因此,需要一种具有语义索引结构和基于语义索引的排序算法的语义信息检索模型。
2015-12-10 cs.IR
Video-Text Retrieval by Supervised Sparse Multi-Grained Learning
University of Waterloo(滑铁卢大学)
提出多粒度稀疏学习框架S3MA,通过监督学习构建视频与文本共享的稀疏概念空间,并结合帧表示计算多粒度相似性,在多个视频-文本检索基准上优于现有方法。
2023-10-17 cs.CL cs.CV cs.IR
More Robust Dense Retrieval with Contrastive Dual Learning
稠密检索在嵌入空间进行文本检索,与稀疏检索相比具有许多优点。现有的密集检索器通过对比训练优化查询和文档的表示,并将其映射到嵌入空间。通过对齐匹配的查询-文档对并将否定文档推离查询来优化嵌入空间。然而,在这样的训练范例中,查询仅被优化为与文档对齐并且被粗略地定位,从而导致各向异性的查询嵌入空间。在本文中,我们分析了嵌入空间分布,并提出了一个有效的训练范式,对比对偶学习近似最近邻(DANCE)学习细粒度的查询表示稠密检索。DANCE结合了一个额外的双重训练对象的查询检索,灵感来自经典的信息检索训练公理,查询可能性。通过对比学习,DANCE的双训练对象学习查询和文档的更定制的表示,以保持嵌入空间的平滑和均匀,在MS MARCO文档检索任务上的DANCE排名性能上蓬勃发展。与仅对文档检索任务进行优化的ANCE不同,DANCE将查询嵌入集中在更接近文档表示的位置,同时使文档分布更具区分性。这种集中的查询嵌入分布为查询分配了更均匀的负采样概率,并有助于充分优化查询检索任务中的查询表示。我们的代码在https://github.com/thunlp/DANCE上发布。
2021-07-16 cs.IR
Real-Time Hybrid Retrieval in Hyperbolic Space for Retrieval-Augmented Generation on Edge Devices
International Institute of Information Technology(印度信息科学研究院)
该研究提出一种基于洛伦兹模型双曲空间的混合文档检索系统,通过HyTE-H变换投影词嵌入,结合BM25与洛伦兹相似度评分,在BEIR基准数据集上取得良好效果,可在边缘设备实现RAG实时检索。
2026-08-04 cs.IR
Quantum contextuality in classical information retrieval
已知基于相关性的概率评估的文档排序表现出非经典相关性,这可以通过承认事件空间的复杂结构来解释,即,通过假设事件从多个样本空间出现。在量子力学中,由重叠的样本空间形成的事件空间的结构是已知的,它们可能表现出一些反直觉的特征,称为量子上下文性。在本说明中,我观察到,从结构的角度来看,量子上下文看起来类似于个性化的信息检索的情况。沿着这些路线,知识修订被视为操作性的测量和量化的信息检索方案的个性化率的方法建议。
2012-05-25 cs.IR
A data-driven strategy to combine word embeddings in information retrieval
在自然语言处理和信息检索中,词嵌入是文档的单字表示中的词的重要描述符。查询的表示一直是这一领域最关键的挑战之一,因为它由几个术语组成,几乎没有描述能力。诸如平均词嵌入之类的策略可以丰富查询的描述能力,因为它们有利于从表征这些方法的连续向量表示中识别相关术语。我们提出了一个数据驱动的策略来结合词嵌入。我们使用Idf组合的嵌入表示查询,这些表示优于平均词嵌入最近提出的文献。基准数据上的实验结果表明,我们的建议表现良好,这表明数据驱动的词嵌入组合是一个很有前途的研究线在ad-hoc信息检索。
2021-05-26 cs.IR
A Systematic Evaluation of Retrieval-Augmented Generation and Language Models for Space Operations
NOVA LINCS;Neuraspace;Technical University of Munich(慕尼黑技术大学)
本文系统评估了结合大语言模型与信息检索技术的检索增强生成管道在太空操作中提取和综合领域知识的效果,比较了不同检索策略、嵌入模型和LLM回答对信息准确性、相关性和可靠性的影响。
2026-05-23 cs.AI cs.IR
Ranked Document Retrieval in (Almost) No Space
文档排序检索是搜索引擎的一项基本任务。这样的查询是用倒排索引解决的,倒排索引需要额外的45%-80%的压缩文本空间,每个查询需要几十到几百微秒。在本文中,我们展示了如何排名的文档检索查询可以解决在几十毫秒内使用基本上没有额外的空间在内存中压缩表示的文档集合。更确切地说,我们增强了字节码小波树(WTBCs),一种重新排列压缩集合的字节的数据结构,使它们支持排名合取和析取查询,仅使用6%-18%的压缩文本空间。
2012-07-23 cs.DB cs.IR
Spaces, Trees and Colors: The Algorithmic Landscape of Document Retrieval on Sequences
文档检索是六十年代以来最成熟的信息检索活动之一,遍及所有搜索引擎。它的目的是从文本文档的集合中获取与模式查询最相关的文本文档。当前技术主要面向“自然语言“文本集合,其中倒排索引是优选的解决方案。尽管这种范式取得了成功,但它未能正确处理某些东亚语言和其他“自然语言“假设不成立的情况。在这次调查中,我们涵盖了最近的研究,在扩展的文件检索技术,以更广泛的一类序列集合,它有应用生物信息学,数据和Web挖掘,化学信息学,软件工程,多媒体信息检索,和许多其他。我们专注于算法方面的技术,揭示了丰富的世界之间的关系,文件检索的挑战和基本问题的树,字符串,范围查询,离散几何,和其他。
2013-09-27 cs.DS cs.IR
Ad Hoc Table Retrieval using Semantic Similarity
我们介绍和解决问题的特设表检索:回答一个关键字查询的排名表。这个任务不仅本身很有趣,而且还被用作许多其他基于表的信息访问场景(如表完成或表挖掘)的核心组件。这项工作的主要新贡献是一种方法,用于执行查询和表之间的语义匹配。具体来说,我们(i)表示查询和表在多个语义空间(离散稀疏和连续密集向量表示)和(ii)引入各种相似性的措施,以匹配这些语义表示。我们考虑所有可能的语义表示和相似性度量的组合,并将其用作监督学习模型中的特征。使用基于维基百科表格的专用测试集合,我们展示了在最先进的基线上的显着和实质性的改进。
2018-03-08 cs.IR
Optimizing Question Semantic Space for Dynamic Retrieval-Augmented Multi-hop Question Answering
针对多跳问答中单步检索语义不匹配及子问题依赖处理成本高的问题,提出Q-DREAM框架,通过问题分解、依赖优化和动态检索三模块协同,显著提升跨域问答准确率与检索效率。
2025-05-31 cs.IR
Deep Lifelong Cross-modal Hashing
China West Normal University(西华师范大学);Sichuan University(四川大学);Chongqing University of Posts and Telecommunication(重庆邮电大学)
针对跨模态哈希在新类别数据持续到达时的灾难性遗忘与重复训练问题,提出深度终身跨模态哈希,通过增量训练、终身哈希损失和多标签语义监督保持性能并大幅降低训练成本。
2023-04-26 cs.CV cs.IR
SpatCode: Rotary-based Unified Encoding Framework for Efficient Spatiotemporal Vector Retrieval
Zhejiang University(浙江大学);Nanjing University(南京大学)
SpatCode提出一种基于旋转的统一编码框架,通过整合时间、空间和语义线索,实现高效的时空向量检索,提升检索准确性和效率。
2026-01-14 cs.IR
Applying Vector Space Model (VSM) Techniques in Information Retrieval for Arabic Language
信息检索(IR)允许存储、管理、处理和检索信息、文档、网站等。这是显而易见的,通过大量的努力,建立IR系统使用任何模型,是有效的某些语言。本报告提出了一个实现的核心IR技术,这是向量空间模型(VSM)。我们选择VSM模型为我们的项目,因为它是一个术语加权方案,检索到的文档可以根据其相关度排序。这种技术的另一个重要特征是能够从系统的用户获得相关反馈;用户可以判断检索到的文档是否与他们的需要相关。开发的系统已通过使用服务器端脚本建立一个阿拉伯IR网站进行验证。实验结果表明,该系统能够有效地应用向量空间模型的所有技术,并对阿拉伯语有效。
2018-01-15 cs.IR
Semantic Table Retrieval using Keyword and Table Queries
Web上的表格以结构化的形式包含大量的知识。为了利用这一宝贵的资源,我们解决了表检索的问题:回答一个信息需要与表的排名列表。我们调查这个问题在两个不同的变体,根据信息需求是如何表达的:作为一个关键字查询或作为一个现有的表(“查询表”)。这项工作的主要新的贡献是一个语义表检索框架匹配的信息需求(关键字或表查询)对表。具体来说,我们(i)表示查询和表在多个语义空间(离散稀疏和连续密集向量表示)和(ii)引入各种相似性的措施,以匹配这些语义表示。我们考虑所有可能的语义表示和相似性度量的组合,并将其用作监督学习模型中的特征。使用基于维基百科表格的两个专门构建的测试集合,我们展示了对最先进基线的显著和实质性改进。
2021-05-13 cs.IR
A Markov Random Field Topic Space Model for Document Retrieval
本文提出了一种新的智能文档检索的统计方法。它试图提供一个更结构化和可扩展的数学方法,在流行的潜在语义分析(LSA)的方法来文档索引的术语泛化。一个马尔可夫随机场(MRF),捕获的条款和文件之间的关系作为随机变量之间的概率依赖假设。从那里,它使用MRF-Gibbs等价推导出联合概率以及文档变量的局部概率。提出了一种参数学习方法,该方法利用秩约简和奇异值分解,将文档-术语关系的维度降低到潜在主题空间的维度。实验结果证实了这种方法的能力,有效地和高效地从大量的数据集检索文档。
2011-11-28 cs.IR
When Index Term Probability Violates the Classical Probability Axioms Quantum Probability can be a Necessary Theory for Information Retrieval
概率模型需要事件空间的概念来定义概率度量。一个事件空间有一个概率测度,它支持柯尔莫哥洛夫公理。然而,从不同来源观察到的概率,例如文档的相关性,可能不允许单个事件空间,从而导致一些问题。本文介绍了一些结果,以确保所观察到的概率的相关性的文件是否承认一个单一的事件空间。此外,本文还引入了另一种概率框架,从而挑战了经典概率在文档排序中的应用。一些思考的便利性扩展的经典probabilistic- tic检索到一个更一般的框架,其中包括的问题。
2012-03-12 cs.IR
The Crowded Embedding Space: A Mean-Field Mechanism for Emergent Marginalization in Retrieval-Augmented Agents
研究检索增强型智能体中密集检索导致少数内容被边缘化的问题,通过静态和动态分析揭示平均场机制,证明局部相关性目标会系统性地排斥少数兴趣。
2026-06-01 cs.AI cs.IR
Retrieval of Experiments with Sequential Dirichlet Process Mixtures in Model Space
我们解决的问题,检索相关实验的查询实验,动机是在分子生物学和其他实验科学的数据集的公共数据库,以及需要的科学家涉及到早期的工作水平上的实际测量数据。由于实验本身就是嘈杂的,数据库不断积累,我们认为,检索引擎应该具备两个特殊的特点。首先,它应该比较从实验中学习到的模型,而不是原始测量本身:这允许结合实验特定的先验知识来抑制噪声影响,并专注于重要的事情。其次,它应该从新发布的实验中顺序更新,而不显式存储测量值或模型,这对于节省存储空间和保护数据隐私至关重要:这促进了终身学习。我们制定的检索作为一个“supermodeling”的问题,顺序学习的一组模型的后验分布,表示为一组MCMC样本,并建议使用基于粒子学习的顺序狄利克雷过程混合物(Dirichlet)为此目的。检索的相关性度量是通过混合表示从超模型中导出的。我们证明了所提出的检索方法对模拟数据和分子生物学实验的性能。
2014-03-06 cs.IR stat.AP stat.ML
Dirac Notation, Fock Space and Riemann Metric Tensor in Information Retrieval Models
本文以狄拉克符号为工具,研究了三种经典的信息检索模型及其扩展。我们表明,几乎所有这样的模型可以描述的向量占用数表示(ONR)的福克空间与各种规格,例如,占用数、内积或项-项交互作用。作为重要的研究案例,本文引入了布尔模型的概念福克空间(CFS),并利用Dirac符号对潜在语义索引(LSI)模型的奇异值分解(SVD)的基本公式进行了操作。在奇异值分解的基础上,引入了一种黎曼度量张量,它不仅可以用来计算文档与查询的相关性,还可以用来度量数据聚类中文档的贴近度。
2011-06-20 cs.IR math-ph math.MP
Concepts Complement Dense Semantics: Learning Compact Sparse Spaces for Text-Image Retrieval
Korea University(高丽大学);Sungkyunkwan University(成均馆大学);KT Corporation(KT公司)
提出GRASP框架,通过挖掘视觉-文本概念并训练轻量级稀疏头,生成可解释的概念级证据以补充稠密语义匹配,在文本-图像检索中实现更优准确率与更紧凑接地的稀疏空间。
2026-09-29 cs.CV cs.IR