Quels corpus d'entraînement pour l'expansion de requêtes par plongement de mots : application à la recherche de microblogs culturels
我们在这里描述了一个实验框架和微博检索所获得的结果。我们研究一种流行的方法,即,词嵌入,并研究训练集对学习嵌入的影响。我们专注于查询扩展,用于检索CLEF CMC 2016语料库上的推文。我们的研究结果表明,使用在与索引文档相同的领域中的语料库上训练的嵌入不一定会导致更好的检索结果。
2019-11-17 cs.IR
A Neural Corpus Indexer for Document Retrieval
当前的文档检索解决方案主要遵循索引检索范式,其中索引很难直接针对最终检索目标进行优化。在本文中,我们的目的是表明,一个端到端的深度神经网络统一的训练和索引阶段可以显着提高传统方法的召回性能。为此,我们提出了神经语料库索引器(NCI),一个序列到序列的网络,直接为指定的查询生成相关的文档标识符。为了优化NCI的召回性能,我们发明了一个前缀感知的权重自适应解码器架构,并利用定制的技术,包括查询生成,语义文档标识符,和基于一致性的正则化。实证研究证明了NCI在两个常用的学术基准上的优越性,与最佳基线方法相比,NQ 320 k数据集上的Recall@1和TriviaQA数据集上的R-Precision分别实现了+21.4%和+16.8%的相对增强。
2023-02-12 cs.IR
Interact-RAG: Reason and Interact with the Corpus, Beyond Black-Box Retrieval
Tsinghua University(清华大学);Alibaba Cloud(阿里云);Shanghai Qi Zhi Institute(上海人工智能实验室)
Interact-RAG通过引入语义交互引擎,使LLM代理能够主动操控检索过程,从而提升复杂信息检索任务的性能。
2026-02-26 cs.IR
PashtoCorp: A 1.25-Billion-Word Corpus, Evaluation Suite, and Reproducible Pipeline for Low-Resource Language Development
Independent Researcher(独立研究员)
本文介绍了PashtoCorp,一个包含12.5亿词的Pashto语料库,通过可重复的流水线和多种数据源,显著提升了低资源语言的NLP研究水平。
2026-03-17 cs.CL cs.IR cs.LG
Reproducible Hybrid Time-Travel Retrieval in Evolving Corpora
针对演化语料库中检索结果不可复现的问题,提出结合Lucene与列存储版本化索引的混合检索系统,支持时间旅行查询并保持原始排名,实现完全可复现。
2024-11-06 cs.IR
On the Merits of LLM-Based Corpus Enrichment
本文提出利用大语言模型增强文档语料库以提升查询检索效果的新视角,并通过生成高可检索性文档及在RAG和答案归因中的应用验证其潜在优势。
2025-06-06 cs.IR
Pre-training Tasks for User Intent Detection and Embedding Retrieval in E-commerce Search
在一般语料库上预训练的BERT风格模型(例如,Wikipedia)和针对特定任务语料库的微调,最近已经成为许多NLP任务中的突破性技术:问答,文本分类,序列标记等。然而,这种技术可能并不总是有效,特别是对于两种情况:包含与一般语料库Wikipedia非常不同的文本的语料库,或者为了特定目的学习嵌入空间分布的任务(例如,近似最近邻搜索)。在本文中,以解决上述两种情况下,我们遇到的工业电子商业搜索系统,我们提出了定制和新的预训练任务的两个关键模块:用户意图检测和语义嵌入检索。微调后的自定义预训练模型小于BERT基础大小的10%,以便对成本有效的CPU服务是可行的,显着改善了其他基线模型:1)没有预训练模型和2)在离线数据集和在线系统上使用一般语料库从官方预训练的BERT微调模型。为了可重复性和未来的工作,我们开放了我们的数据集。
2022-08-22 cs.IR
Learning Multi-Step Query Rewriting via Corpus Feedback for Conversational Search
INESC-ID;Carnegie Mellon University(卡内基梅隆大学);Amazon(亚马逊)
该研究将对话式查询重写转化为序列检索问题,提出基于语料反馈的多步重写智能体,无需人工标注,在多个数据集上优于基线且可泛化,提升了检索效果。
2026-10-09 cs.IR
A Systematic Study of Biomedical Retrieval Pipeline Trade-offs in Performance and Efficiency
Columbia University(哥伦比亚大学)
本文通过实证研究探讨了生物医学检索流水线设计对性能和效率的影响,发现语料聚合优于绝对检索质量,MedRAG/pubmed在图基(HNSW)索引下达到性能效率最优平衡。
2026-02-23 cs.IR
Corpus structure, language models, and ad hoc information retrieval
大多数以前的工作,最近开发的语言建模方法信息检索的重点是特定于文档的特征,因此没有考虑到周围的语料库的结构。我们提出了一种新的算法框架,在该框架中,基于文档的语言模型所提供的信息被增强了从相似文档的集群中提取的信息。使用这个框架,我们开发了一套新的算法。即使是最简单的方法在精确度和召回率方面也优于标准的语言建模方法,我们的新插值算法在所有三个测试语料库中的两个指标都有统计学上的显着改进。
2004-05-12 cs.CL cs.IR
Ultron: An Ultimate Retriever on Corpus with a Model-based Indexer
文献检索在索引检索框架下已经被广泛研究了几十年,它经受住了时间的考验。不幸的是,这种流水线框架限制了最终检索质量的优化,因为索引和检索是分离的阶段,不能以端到端的方式联合优化。为了统一这两个阶段,我们探讨了一个基于模型的索引文件检索。具体来说,我们提出了Ultron,它将所有文档的知识编码到模型中,旨在端到端地直接检索相关文档。对于基于模型的索引器来说,如何表示文档和如何训练模型是需要探索的两个主要问题。现有的解决方案遭受语义缺陷docids和有限的监督数据。为了解决这两个问题,首先,我们设计了两种类型的docids,更丰富的语义和更容易的模型推理。此外,我们提出了一个三阶段的训练工作流程,以捕获更多的知识包含在语料库和查询和docids之间的关联。在两个公共数据集上的实验证明了Ultron在文档检索方面优于高级基线。
2022-08-19 cs.IR
Group-Aware Adaptive Retrieval for Evidence Navigation
Sungkyunkwan University(成均馆大学)
针对推理密集型检索的召回率受限问题,提出GAREN方法,通过组级扩展探索语料库图,在BRIGHT数据集上较最强基线提升达8.0%。
2026-09-03 cs.IR
Annotation of Scientific Summaries for Information Retrieval
我们提出了一种结合表面NLP和机器学习技术的方法,用于基于注释语料库对摘要进行排名和生成摘要。语料库中标注了元语义标签,表明句子承载的信息类别(目标,发现,新事物,假设,结论,未来的工作,相关工作)。标注后的语料被输入自动摘要器,用于面向查询的摘要排序和多摘要摘要。为了使摘要器适应这两个任务,设计了两个新的加权函数,以考虑语料库中标签的分布。结果,虽然仍然是初步的,鼓励我们追求这条线的工作,并找到更好的方法来建立IR系统,可以考虑到语义标注的语料库。
2011-10-26 cs.IR
Efficiency and Effectiveness of SPLADE Models on Billion-Scale Web Document Title
NAVER Search(NAVER搜索)
本文研究了SPLADE和扩展SPLADE模型在大规模网页文档检索中的效率与有效性,通过剪枝策略提升效率并保持性能。
2025-11-27 cs.AI cs.IR
Beyond Chunk-Then-Embed: A Comprehensive Taxonomy and Evaluation of Document Chunking Strategies for Information Retrieval
The University of Queensland(昆士兰大学);CSIRO(联邦科学与工业研究组织);Google(谷歌)
本文研究了文档片段化策略在信息检索中的分类与评估,发现任务依赖性和分段方法差异影响效果,提出统一框架并提供公开基准。
2026-02-19 cs.IR
Recurrent Binary Embedding for GPU-Enabled Exhaustive Retrieval from Billion-Scale Semantic Vectors
Bing Ads of AI & Research Group, Microsoft Corp.(微软公司必应广告AI与研究组)
GPU硬件和深度学习的多个领域的快速发展为使用穷举搜索的十亿级信息检索提供了新的机会。基于语义学习的强大概念,本文提出了一种递归二进制嵌入(RBE)模型,该模型可以学习用于实时检索的紧凑表示。该模型具有独特的能力,通过逐步添加二进制残差向量来细化基本二进制向量,以满足所需的精度。改进的向量使得能够有效地实现逐位操作的穷举相似性计算,随后是本文还提出的近无损k-NN选择算法。所提出的算法被集成到一个端到端的多GPU系统中,该系统可以实时从超过10亿个候选项中检索数千个顶级项。RBE模型和检索系统进行了评估,从一个主要的付费搜索引擎的数据。当与最先进的二进制表示模型和语义嵌入的全精度模型进行比较时,RBE的表现明显优于前者,并填补了两者之间超过80%的AUC差距。与我们的生产检索系统相比,实验也表现出优越的性能。虽然本文的主要重点是基于特定类别的语义模型构建RBE,但推广到其他类型是很简单的,正如本文结尾的两个不同模型所示。
2018-02-18 cs.DC cs.IR cs.LG
CorpusLM: Towards a Unified Language Model on Corpus for Knowledge-Intensive Tasks
Huawei(华为)
本文提出CorpusLM,一种通过统一贪婪解码整合生成式检索、闭卷生成和RAG的统一语言模型,利用外部语料库解决知识密集型任务,并在KILT基准上取得卓越性能。
2024-04-21 cs.CL cs.IR
On Listwise Reranking for Corpus Feedback
Seoul National University(首尔大学);Delft University of Technology(代尔夫特理工大学)
L2G通过隐式诱导文档图实现高效基于图的检索,无需显式图计算开销,且在效果上与基于oracle的图方法相当。
2025-12-21 cs.IR
Improving Retrieval in Theme-specific Applications using a Corpus Topical Taxonomy
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Yonsei University(延世大学);Pohang University of Science and Technology(浦项科技大学)
针对特定主题应用中预训练语言模型检索效果受限的问题,提出即插即用的ToTER框架,借助语料主题分类体系补充查询上下文,可增强各类PLM检索器,经实验验证有效。
2024-03-07 cs.AI cs.IR
Corpus Poisoning via Approximate Greedy Gradient Descent
本文提出 AGGD 攻击方法,用结构化搜索改进 HotFlip 以生成更高质量的对抗性 token 扰动,在多个数据集和检索器上显著提升语料库投毒成功率,并可泛化及用于 RAG 知识投毒。
2024-10-25 cs.IR
AdversarialCoT: Single-Document Retrieval Poisoning for LLM Reasoning
University of Amsterdam(阿姆斯特丹大学)
研究针对RAG系统中的知识库污染攻击,提出AdversarialCoT方法,通过单文档污染影响LLM推理,揭示其安全风险并提供改进方案。
2026-04-14 cs.IR
Unsupervised Corpus Aware Language Model Pre-training for Dense Passage Retrieval
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
最近的研究表明,使用微调的语言模型~(LM)的稠密检索的有效性。然而,密集的猎犬很难训练,通常需要大量工程微调管道,以实现其全部潜力。在本文中,我们确定和解决两个基本问题的密集检索:i)~脆弱的训练数据噪声和ii)~需要大批量鲁棒地学习嵌入空间。我们使用最近提出的Condenser预训练架构,该架构通过LM预训练学习将信息压缩到密集向量中。在此基础上,我们提出了coCondenser,它增加了一个无监督的语料库级别的对比损失来预热段落嵌入空间。在MS-MARCO、Natural Question和Trivia QA数据集上的检索实验表明,coCondenser消除了对增强、合成或过滤等繁重数据工程的需求,以及对大批量训练的需求。它显示出与RocketQA相当的性能,RocketQA是一个最先进的,经过大量工程设计的系统,使用简单的小批量微调。
2021-08-12 cs.CL cs.IR
Towards Retrieving Interaction Spaces for Agentic Search
提出RISE方法,通过BM25构建有边界的交互空间,并预处理文档支持shell式导航,在BrowseComp-Plus上以约四分之一成本达到78%准确率,优于纯shell基线。
2026-06-05 cs.IR
Event-aware Video Corpus Moment Retrieval
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出EventFormer模型,以事件为基本单元进行视频语料库时刻检索,通过事件推理、分层编码和锚点多头自注意力提升检索性能,在多个基准上取得最优结果。
2024-02-21 cs.CV cs.IR
SARCLIP: A Scalable CLIP-Based Retrieval System for Seventeenth-Century Spanish American Notary Records
University of Missouri(密苏里大学);University of Missouri–Kansas City(密苏里大学堪萨斯城分校)
该研究针对历史手稿档案检索难题,构建了基于CLIP的SARCLIP系统,结合FAISS索引、伪相关反馈等人在回路功能,可在大规模17世纪西班牙美洲公证记录语料库上实现完整交互式检索。
2026-08-25 cs.IR
HyperSU: Corpus-Driven Semantic-Unit Hypergraph for Retrieval-Augmented Generation
The University of New South Wales(新南威尔士大学);Hunan University(湖南大学);The University of Sydney(悉尼大学);Euler AI;Vecton AI
提出HyperSU框架,通过语义单元超图和线索引导的双向检索,解决超图RAG中的幻觉、高索引成本和语义漂移问题,在GraphRAG-Bench上准确率提升14.7%。
2026-11-06 cs.IR
ClueWeb22: 10 Billion Web Documents with Visual and Semantic Information
Microsoft(微软);Carnegie Mellon University(卡内基梅隆大学)
作为最新版本的数据集,CNET Web 22提供了100亿个包含丰富信息的网页。它的设计受到了对高质量,大规模网络语料库的需求的影响,以支持一系列学术和工业研究,例如,在信息系统,检索增强AI系统和模型预训练中。与早期的语料库相比,CCRYSTWeb 22语料库更大,更多样,质量更高,并且符合商业网络搜索的文档分布。除了原始HTML之外,Cocktail Web 22还包含有关行业标准文档理解系统提供的网页的丰富信息,包括Web浏览器呈现的页面的视觉表示,来自神经网络解析器的解析HTML结构信息,以及预处理的清洁文档文本,以降低进入门槛。这些信号中有许多已在工业中广泛使用,但在这种规模下首次提供给研究界。
2022-12-02 cs.AI cs.CL cs.IR
Interprétation vague des contraintes structurelles pour la RI dans des corpus de documents XML - Évaluation d'une méthode approchée de RI structurée
我们提出了具体的数据结构设计的索引和检索的信息元素在异构XML数据库。该索引方案非常适合于管理各种上下文搜索,无论是在结构级还是在信息内容级表示。近似搜索机制是基于一个修改的Levenshtein编辑距离和信息融合算法。所描述的实现强调了以字段/值实例和自由文本元素形式呈现的结构化信息的混合。在INEX 2005评估活动的检索性能的建议的方法进行了评估。评估结果排名的VVCAS任务的最佳评估XML IR系统之间的建议的方法。
2008-06-30 cs.IR
GraFine: Retrieval-Time Refinement for Efficient Graph RAG over Corpus Graphs
KAIST(韩国科学技术院)
FastInsight通过融合运算提升图RAG检索效率和洞察力,改进检索准确性和生成质量。
2026-08-12 cs.AI cs.IR
RankGraph-2: Lifecycle Co-Design for Billion-Node Graph Learning in Recommendation
Meta Platforms(Meta平台)
针对十亿规模图检索中图构建、表示学习与实时服务三阶段孤立的问题,提出RankGraph-2框架,通过协同设计各阶段(如联合训练聚类索引、预计算邻域等),在降低83%服务计算成本的同时,召回率比GAT+Deep Graph Infomax高3.8倍,并带来CTR和CVR提升。
2026-07-27 cs.AI cs.IR
PEARL: Front-Loading Relational Chains for Multi-Hop Table Retrieval
Korea University(韩国延世大学)
PEARL是无需训练的多表格检索框架,通过前置化关系链实现垂直划分的子表格编码,在3跳查询的R@2指标上最高提升30.05%,性能优于现有方法。
2026-09-01 cs.IR
Retrieval Augmented Conversational Recommendation with Reinforcement Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google DeepMind(谷歌DeepMind);UC San Diego(加州大学圣地亚哥分校)
本文提出RAR框架,通过动态结合检索与生成提升推荐性能与事实性,构建大规模电影语料库并引入强化学习方法优化候选集。
2026-04-13 cs.IR
IL-PCSR: Legal Corpus for Prior Case and Statute Retrieval
IIT Kharagpur(印度克哈格普尔理工学院);IIT Kanpur(印度坎普尔理工学院)
针对法规检索与先例检索任务独立研究导致无法利用两者关联的问题,提出IL-PCR语料库提供共同测试平台,并开发基于LLM的重排序方法,利用任务间依赖关系取得最佳性能。
2025-10-31 cs.AI cs.CL cs.IR
Retrieval Capabilities of Large Language Models Scale with Pretraining FLOPs
Databricks Mosaic Research(Databricks Mosaic研究)
针对检索性能与预训练FLOPs的扩展关系问题,通过测试不同参数和数据规模的LLM,发现其零样本BEIR检索性能随模型规模等指标可预测扩展,且上下文学习分数与检索分数强相关,为LLM检索器开发提供参考。
2025-08-24 cs.AI cs.IR cs.LG
Beyond Semantic Similarity: Rethinking Retrieval for Agentic Search via Direct Corpus Interaction
Texas A&M University(德克萨斯A&M大学);University of Waterloo(滑铁卢大学);UC San Diego(圣地亚哥大学);Stanford University(斯坦福大学);University of Washington(华盛顿大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Verdent AI;Lambda
本文提出直接语料交互(DCI)方法,通过通用终端工具直接搜索原始语料,无需嵌入模型或检索接口,有效提升代理搜索性能。
2026-05-03 cs.AI cs.IR
Augmented Embeddings for Custom Retrievals
Microsoft Corp.(微软公司)
针对大语言模型提示词场景下异质严格检索的需求,提出通过学习预训练嵌入的低秩残差适配实现的自适应稠密检索方法,在小K值Top-K检索任务上效果优于通用嵌入基线。
2023-10-09 cs.IR cs.LG
Test-time Corpus Feedback: From Retrieval to RAG
L3S Research Center(L3S研究中心);TU Delft(代尔夫特理工大学);University of Glasgow(格拉斯哥大学)
针对RAG流水线将检索与推理分离导致复杂任务性能受限的问题,本综述结构化概述整合反馈的先进检索与排序机制,分类反馈信号作用,旨在连接IR与NLP视角,强调检索在RAG系统中的动态可学习性。
2025-08-24 cs.AI cs.IR cs.LG
Query Drift Compensation: Enabling Compatibility in Continual Learning of Retrieval Embedding Models
Computer Vision Center, Barcelona, Spain(巴塞罗那计算机视觉中心);Department of Computer Science, Universitat Autònoma de Barcelona, Spain(巴塞罗那自治大学计算机科学系);IDEAS Research Center, Warsaw, Poland(华沙IDEAS研究中心)
针对检索嵌入模型持续学习中模型更新与旧索引语料不兼容、需重索引的问题,提出查询漂移补偿方法,结合嵌入蒸馏将新查询嵌入投影到旧空间,无需重索引即可提升性能并减轻遗忘。
2025-10-05 cs.IR cs.LG
Aethel: A Reproducible Graph-Retrieval Framework for Multi-Hop Financial Diligence
Dartmouth(达特茅斯学院)
针对二级私募股权交易中财务披露信息综合难题,Aethel框架结合二分个性化PageRank图检索等技术,将语料库建模为实体-段落图。在多跳金融尽职调查任务中,该框架在特定数据集上有较好表现,优势依赖语料库规模和实体索引质量,且发布相关工件保证可重现性。
2026-07-29 cs.IR cs.MA
Individual corpora predict fast memory retrieval during reading
Bergische Universität Wuppertal(伍珀塔尔大学);Universität Hamburg(汉堡大学)
从其中训练预测语言模型的语料库可以被认为是语义系统的经验。我们在平板电脑上记录了两名参与者两个月的日常阅读,生成了300/500 K令牌的个体语料库样本。然后,我们从个人语料库和7000万句报纸语料库中训练word 2 vec模型,以获得基于个人和规范的长期记忆结构。为了测试个体语料库是否能对长期记忆提取的认知任务做出更好的预测,我们生成了由134个句子组成的刺激材料,这些句子具有不相关的个体和基于范数的单词概率。对于随后的眼动追踪研究1-2个月后,我们的回归分析表明,个人,但不是正常语料库为基础的单词概率可以解释首次注视时间和首次通过凝视时间。字长还影响注视时间和总观看时间。结果表明,语料库代表个人的长期记忆结构可以更好地解释阅读性能比规范语料库,最近获得的信息是词汇访问迅速。
2020-10-20 cs.CL cs.IR
Unsupervised Corpus Poisoning Attacks in Continuous Space for Dense Retrieval
本文提出在连续嵌入空间中进行无监督语料库污染攻击的方法,通过优化保持文档嵌入几何距离和最大化词级差异,提升攻击效率和效果,实验验证了其在不同领域数据集上的有效性。
2026-03-16 cs.CL cs.IR
Improving Video Corpus Moment Retrieval with Partial Relevance Enhancement
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对视频语料库时刻检索中视频与查询的部分相关性问题,提出部分相关性增强模型(PREM),通过多模态协同检索器和先聚焦后融合定位器及增强训练方法,在 TVR 和 DiDeMo 数据集上达到最新技术水平。
2024-04-23 cs.CV cs.IR
Corpus2Skill: Distilling Enterprise Knowledge into Navigable Agent Skills for QA and RAG
Magellan Technology Research Institute(马格纳技术研究 institute)
本文提出Corpus2Skill,通过将文档库转化为层次化技能目录,使LLM代理在服务时能导航该目录,提升问答质量和 grounding,但指出导航并非所有场景下的最佳替代方案。
2026-08-27 cs.AI cs.CL cs.IR
CAMI: Cost-Aware Agent-Guided Multi-Indexing for Semantic Retrieval
IBM Software Innovation Lab India(IBM软件创新实验室印度)
提出CAMI框架,将多索引构建形式化为预算约束的多目标组合选择问题,通过智能体发现、原子单元搜索和置信度感知调度,在严格预算下系统性地识别高召回率索引组合,相比标准基线召回率提升9.4%,预算减少5倍。
2026-06-14 cs.AI cs.IR
Association Is Not Similarity: Learning Corpus-Specific Associations for Multi-Hop Retrieval
Independent Researcher(独立研究者)
本文提出AAR方法,通过对比学习在嵌入空间中学习语料特定的关联关系,提升多跳检索的召回率,且无需评估集调优。
2026-02-13 cs.AI cs.CL cs.IR
Video Corpus Moment Retrieval with Contrastive Learning
Nanyang Technological University(南洋理工大学);Institute of Infocomm Research, A*STAR(信息通信研究院,新加坡科技研究局);Singapore University of Technology and Design(新加坡科技设计大学);Institute of High Performance Computing, A*STAR(高性能计算研究所,新加坡科技研究局)
给定未修剪和未分割的视频的集合,视频语料库矩检索(VCMR)是检索时间矩(即,视频的一部分),其在语义上对应于给定的文本查询。由于视频和文本来自两个不同的特征空间,因此有两种通用方法来解决VCMR:(i)单独编码每个模态表示,然后对齐两个模态表示以进行查询处理,以及(ii)采用细粒度的跨模态交互来学习多模态表示以进行查询处理。虽然第二种方法通常会导致更好的检索精度,但第一种方法要有效得多。在本文中,我们提出了一个检索和定位网络与对比学习(ReLoCLNet)的VCMR。我们采用第一种方法,并引入两个对比学习目标来改进视频编码器和文本编码器,以分别学习视频和文本表示,但更好地对齐VCMR。视频对比学习(VideoCL)是在视频级最大化查询和候选视频之间的互信息。帧对比学习(FrameCL)的目的是在视频内在帧级突出与查询相对应的时刻区域。实验结果表明,虽然ReLoCLNet分别编码文本和视频以提高效率,但其检索准确率与采用跨模态交互学习的基线相当。
2021-05-13 cs.CL cs.CV cs.IR
Learning Temporal Point Processes for Efficient Retrieval of Continuous Time Event Sequences
IIT Delhi(印度理工学院德里分校);IIT Bombay(印度理工学院孟买分校)
最近的发展,在预测建模使用标记时间点过程(MTPP),使几个真实世界的应用,涉及连续时间事件序列(CTES)的准确表征。然而,这些序列的检索问题在文献中仍然很大程度上没有得到解决。为了解决这个问题,我们提出了NEUROSEQRET,它学习检索和排名一组相关的连续时间事件序列为一个给定的查询序列,从一个大型语料库的序列。更具体地说,NEUROSEQRET首先在查询序列上应用可训练的解扭曲函数,这使得它与语料库序列相当,特别是当相关的查询-语料库对具有单独不同的属性时。然后,它将未变形的查询序列和语料库序列馈送到MTPP引导的神经相关性模型中。我们开发了两种变体的相关性模型,提供了准确性和效率之间的权衡。我们还提出了一个优化框架来学习二进制序列嵌入的相关性分数,适合本地敏感的哈希导致显着的加速返回给定的查询序列的前K个结果。我们对几个数据集的实验表明,NEUROSEQRET的准确性显著提高,超过了几个基线,以及我们的哈希机制的有效性。
2022-02-17 cs.IR cs.LG
Inject or Navigate? Token-Efficient Retrieval for LLM Analysis of Transactional Legal Documents
Syntheia Pty Ltd(合成有限公司)
研究如何在交易法律文件分析中高效检索,对比全语料库注入与两种结构化检索模式(NAVEMBED和NAVINDEX),发现NAVINDEX在令牌占用、上下文及成本方面优势明显,还得出缓存交叉规则。
2026-07-08 cs.CL cs.IR
Dense X Retrieval: What Retrieval Granularity Should We Use?
University of Washington(华盛顿大学);Tencent AI Lab(腾讯AI实验室);University of Pennsylvania(宾夕法尼亚大学);Carnegie Mellon University(卡内基梅隆大学)
该研究聚焦稠密检索的检索粒度选择问题,提出以命题作为新型检索单元,实验证明细粒度单元建索引的检索效果优于段落级单元,且能提升检索增强语言模型下游问答任务性能。
2024-10-04 cs.AI cs.CL cs.IR
A Large-Scale, Cross-Disciplinary Corpus of Systematic Reviews
Leipzig University(莱比锡大学);University of Tübingen(图宾根大学);Kassel University(卡塞尔大学)
本文提出Webis-SR4ALL-26语料库,包含301,871篇系统评价,涵盖所有科学领域。通过多阶段预处理流程,链接OpenAlex元数据和参考文献列表,提取检索和筛选相关的结构化方法 artifacts,用于跨领域基准测试和元科学分析。
2026-04-23 cs.CL cs.IR
Maximum Common Subgraph Guided Graph Retrieval: Late and Early Interaction Networks
IIT Bombay(印度理工学院孟买分校)
图检索问题是在一个大型的图语料库中搜索与查询图最相似的图。对相似性进行评分的一个常见考虑因素是查询图和语料库图之间的最大公共子图(MCS),通常计算公共边的数量(即,MCES)。在某些应用中,还期望公共子图是连通的,即,最大公共连通子图(MCCS)找到精确的MCES和MCCS是棘手的,但如果按相关性对语料库图进行排名是目标,则可能是不必要的。我们设计了快速和可训练的神经函数,很好地逼近MCES和MCCS。后期交互方法分别计算查询和语料库图的密集表示,并在最后阶段使用简单的相似性函数比较这些表示,从而形成高度可扩展的系统。早期的交互方法结合了输入阶段的两个图形的信息,通常更准确,但速度较慢。我们提出了晚期和早期的相互作用神经MCES和MCCS配方。它们都是基于查询和语料库节点之间的节点对齐矩阵的连续松弛。对于MCCS,我们提出了一种新的可微网络来估计最大连通公共子图的大小。七个数据集的广泛实验表明,我们的建议是优越的后期相互作用模型的准确性和速度。我们早期的交互模型提供了与最先进技术相竞争的准确性,速度更快。
2022-10-20 cs.IR cs.LG
Context-Efficient Retrieval with Factual Decomposition
University of Chicago(芝加哥大学);Toyota Technological Institute at Chicago(芝加哥丰田技术学院);Stony Brook University(石溪大学)
本文提出将外部语料库预处理为半结构化原子事实,以提升大型语言模型在有限检索文本下的问答性能,并减小上下文规模、提高推理效率。
2025-03-25 cs.CL cs.IR
A Representation Sharpening Framework for Zero Shot Dense Retrieval
Information Sciences Institute, University of Southern California(信息科学研究所,南加州大学);Amazon(亚马逊)
本文提出一种无需训练的表示锐化框架,通过增强文档表示以区分相似文档,在零样本稠密检索中显著提升性能,并在 BRIGHT 基准上达到最优,同时兼容现有方法且不增加推理成本。
2025-11-07 cs.CL cs.IR
Improving Retrieval-Augmented Large Language Models via Data Importance Learning
ETH Zürich(苏黎世联邦理工学院);University of Amsterdam(阿姆斯特丹大学);Apple(苹果公司)
本文提出基于多线性扩展的数据重要性评估算法及其高效近似算法,通过仅剪枝或重加权检索语料库而无需进一步训练即可提升检索增强大语言模型性能,并验证了其高效性与有效性。
2023-07-06 cs.CL cs.IR cs.LG