Pre-training for Information Retrieval: Are Hyperlinks Fully Explored?
Huawei Poisson Lab(华为泊松实验室);University of Montreal(蒙特利尔大学);Renmin University of China(中国人民大学)
近年来,在应用预训练的语言模型方面取得了很大进展,例如,BERT,到信息检索(IR)任务。网页中常用的超链接已被用来设计培训前的目标。例如,超链接的锚文本已被用于模拟查询,从而构建了大量的查询文档对进行预训练。然而,作为两个网页之间的桥梁,超链接的潜力还没有得到充分的开发。在这项工作中,我们专注于建模的超链接连接的两个文档之间的关系,并设计一个新的预训练目标的特设检索。具体来说,我们将文档之间的关系分为四组:无链接、单向链接、对称链接和最相关的对称链接。该模型通过对相邻两组文档样本的比较,逐步提高其捕获匹配信号的能力。我们提出了一个渐进的超链接预测({PHP})框架,探索超链接的利用率在预训练。在两个大规模的ad-hoc检索数据集和六个问答数据集上的实验结果表明,该方法优于现有的预训练方法。
2022-09-14 cs.AI cs.CL cs.IR
MCA: Modality Composition Awareness for Robust Composed Multimodal Retrieval
Sony Group Corporation(索尼集团公司);Sony AI(索尼人工智能)
针对统一编码器在组合多模态检索中易受模态捷径影响的问题,提出模态组合感知框架,通过偏好损失和组合正则化增强鲁棒性,实验验证了其有效性。
2026-10-06 cs.AI cs.CL cs.IR
Birdie: Advancing State Space Models with Reward-Driven Objectives and Curricula
George Mason University(乔治梅森大学);Stanford University(斯坦福大学);Liquid AI;Archimedes AI
针对状态空间模型长程上下文内检索能力弱的问题,提出不改动架构的训练流程Birdie,结合双向处理、动态预训练目标与强化学习,显著提升检索密集型任务性能,缩小与Transformers的差距并保持计算效率。
2025-02-21 cs.AI cs.CL cs.LG
Optimizing What Matters: AUC-Driven Learning for Robust Neural Retrieval
ServiceNow
针对现有双编码器检索器的NCE目标与AUC脱节、导致下游任务性能不佳的问题,提出等价于最大化AUC的MW损失,理论与实验均证明其能提升检索器校准性与判别力,适用于RAG等高风险场景。
2025-09-30 cs.AI cs.CL cs.IR
Beyond Relevance: Utility-Centric Retrieval in the LLM Era
State Key Laboratory of AI Safety, ICT, CAS(中国科学院计算技术研究所人工智能安全国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学)
本文探讨了在大语言模型时代,检索系统从以相关性为中心转向以效用为中心的转变,分析了效用与LLM需求及代理RAG的联系,提供设计检索系统的理论基础和实践指导。
2026-04-10 cs.AI cs.CL cs.IR
Beyond Independent Passages: Adaptive Passage Combination Retrieval for Retrieval Augmented Open-Domain Question Answering
National Taiwan University(国立台湾大学);Amazon Search(亚马逊搜索);University College London(伦敦大学学院)
本文提出自适应段落组合检索框架AdaPCR,通过将段落组合作为检索与重排序单元来建模段落间依赖,并结合上下文感知查询改写和答案似然对齐的重排序训练,在无需停止模块的情况下自适应选择段落数量,从而在开放域问答尤其是多跳推理中优于基线方法。
2025-07-05 cs.AI cs.CL cs.LG
Vector Retrieval with Similarity and Diversity: How Hard Is It?
Rutgers University(罗杰斯大学)
本文提出向量检索相似性与多样性(VRSD)问题,证明其为NP完全问题,并设计无参数启发式算法,在多个数据集上优于MMR和k-DPP等基线。
2026-05-22 cs.CL cs.IR
Adapting to Non-Stationary Environments: Multi-Armed Bandit Enhanced Retrieval-Augmented Generation on Knowledge Graphs
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Tencent Hunyuan(腾讯混元)
针对非平稳环境中RAG系统性能下降问题,提出多目标多臂老虎机增强的RAG框架,将检索方法作为臂并利用实时反馈动态选择,在平稳与非平稳环境下均取得优异表现。
2024-12-20 cs.AI cs.CL
Bridging the Training-Inference Gap for Dense Phrase Retrieval
University of California, Santa Barbara(加州大学圣巴巴拉分校);Korea University(高丽大学);Meta AI;Google Research(谷歌研究院);Apple(苹果公司)
构建密集的检索器需要一系列标准程序,包括训练和验证神经模型,以及创建索引以实现高效搜索。然而,这些程序往往是不一致的,训练目标并不完全反映检索场景在推理时间。在本文中,我们探讨了如何减少稠密检索中训练和推理之间的差距,重点是密集短语检索(Lee等人,2021年),其中数十亿的表示在推理时被索引。由于验证每一个密集检索与大规模的索引实际上是不可行的,我们提出了一个有效的方法来验证密集检索使用整个语料库的一个小的子集。这使我们能够验证各种训练策略,包括统一对比损失术语和使用硬否定词进行短语检索,这在很大程度上减少了训练-推理的差异。实验结果表明,在开放领域问答中,我们将前1短语的检索准确率提高了2~3个点,前20段落的检索准确率提高了2~4个点。我们的工作敦促建模密集检索仔细考虑的训练和推理,通过有效的验证,同时推进短语检索作为稠密检索的一般解决方案。
2022-10-25 cs.CL cs.IR cs.LG
Retrieval Oriented Masking Pre-training Language Model for Dense Passage Retrieval
Alibaba Group(阿里巴巴集团)
预训练的语言模型(PTM)已被证明产生强大的文本表示密集段落检索任务。Masked Language Modeling(MLM)是预训练过程的一个主要子任务。然而,我们发现,传统的随机掩蔽策略倾向于选择大量的令牌,对段落检索任务的影响有限(例如,停止词和标点符号)。通过注意到术语重要性权重可以为段落检索提供有价值的信息,我们在此提出了替代的面向检索的掩蔽(称为ROM)策略,其中更重要的标记将具有更高的被掩蔽的概率,以捕获这种简单而重要的信息,以促进语言模型预训练过程。值得注意的是,所提出的新的令牌掩蔽方法不会改变原始PTM的架构和学习目标。我们的实验验证了所提出的ROM使术语重要性信息,以帮助语言模型预训练,从而实现更好的性能多通道检索基准。
2022-10-27 cs.CL cs.IR
Learning Retrieval Models with Sparse Autoencoders
NAVER LABS Europe(NAVER实验室欧洲)
本文提出SPLARE方法,利用稀疏自编码器改进检索模型,实验显示其在多语言和领域外任务中优于传统方法,SPLARE-7B在多语言检索任务中表现优异。
2026-02-27 cs.AI cs.IR cs.LG
Continuous Active Learning Using Pretrained Transformers
University of Waterloo(滑铁卢大学)
预训练和微调的Transformer模型,如BERT和T5,已经改善了自组织检索和问答的最新技术水平,但在高召回信息检索中还没有,其目标是检索基本上所有相关的文档。我们调查是否使用基于变换器的模型进行重新排序和/或特征化可以提高基线模型实现的TREC总召回跟踪,这代表了目前的高召回信息检索的最新技术水平。我们还介绍了CALBERT,一个模型,可用于不断微调基于相关反馈的BERT模型。
2022-08-15 cs.AI cs.IR cs.LG
Which Negatives Matter? Ask Your Text Encoder: Adaptive Similarity Margins for Dense-Caption Retrieval
Shenzhen Future Network of Intelligence Institute (FNii-Shenzhen)(深圳未来智能网络研究院)
该研究针对密集字幕检索中InfoNCE目标函数过早饱和的问题,提出HN-CLIP方法,通过文本编码器的文本-文本几何构建自适应相似度间隔,在四个基准上提升R@1,且训练速度更快,仅用20%数据即可达最强基线。
2026-08-21 cs.AI cs.LG
End-to-End Trainable Retrieval-Augmented Generation for Relation Extraction
National Institute of Standards and Technology(美国国家标准与技术研究院);Colorado State University(科罗拉多州立大学);Toyota Technological Institute(丰田工业大学)
针对检索增强生成中实例检索不可微导致无法端到端训练的问题,提出ETRAG框架,通过可微的k近邻选择实现检索器与关系抽取目标的联合优化,在TACRED数据集上显著提升性能。
2024-10-10 cs.CL
Retrieved But Not Reliable: A Survey on Attacks, and Defenses in Retrieval-Augmented Generation
Faculty of Information Technology, University of Science(胡志明市科学大学信息技术学院);Vietnam National University, Ho Chi Minh City(越南国家大学胡志明市分校);Virginia Tech(弗吉尼亚理工大学);Indiana University(印第安纳大学);University College Cork(科克大学学院);National University of Singapore(新加坡国立大学);VNU University of Engineering and Technology(越南国家大学工程技术大学);The Pennsylvania State University(宾夕法尼亚州立大学)
本综述针对检索增强生成(RAG)的安全与鲁棒性问题,形式化其各阶段威胁模型,分类攻击目标并梳理各阶段防御及评估方法,为该领域提供统一研究框架。
2026-08-28 cs.CL cs.CR cs.LG
Toward Universal Text-to-Music Retrieval
KAIST(韩国科学技术院);ByteDance(字节跳动);Gaudio Lab(Gaudio实验室)
本文介绍了有效的设计选择文本到音乐检索系统。一个理想的基于文本的检索系统将支持各种输入查询,如预定义的标签,看不见的标签,和文档级描述。事实上,大多数以前的工作主要集中在一个单一的查询类型(标签或句子),可能不会推广到另一个输入类型。因此,我们回顾最近的基于文本的音乐检索系统使用我们提出的基准在两个主要方面:输入文本表示和训练目标。我们的研究结果使一个通用的文本到音乐检索系统,实现了可比的检索性能,在标签和标签级的输入。此外,所提出的多模态表示推广到9个不同的下游音乐分类任务。我们在线提供代码和演示。
2022-11-26 cs.IR cs.MM cs.SD
Efficient Passage Retrieval with Hashing for Open-domain Question Answering
Studio Ousia(Ousia工作室);RIKEN(理化学研究所);University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
大多数最先进的开放域问答系统使用神经检索模型将段落编码为连续向量并从知识源中提取它们。然而,这样的检索模型往往需要大量的内存来运行,因为它们的通道索引的大小。在本文中,我们介绍了二进制通道检索器(BPR),一个内存高效的神经检索模型,集成了学习哈希技术到国家的最先进的密集通道检索器(DPR)表示通道索引使用紧凑的二进制代码,而不是连续向量。BPR是用两个任务的多任务目标进行训练的:基于二进制代码的有效候选生成和基于连续向量的精确重新排序。与DPR相比,BPR在两个标准的开放域问答基准测试(Natural Questions和TriviaQA)上将内存成本从65 GB大幅降低到2 GB,而不损失准确性。我们的代码和训练模型可以在https://github.com/studio-ousia/bpr上找到。
2021-06-02 cs.CL cs.IR
Retrieval-Feedback-Driven Distillation and Preference Alignment for Efficient LLM-based Query Expansion
本文提出一种检索反馈驱动的蒸馏与偏好对齐框架,通过从强教师模型转移检索友好的扩展行为到紧凑的学生模型,以降低推理成本并提升检索效果。
2026-03-14 cs.AI cs.IR
One Pic is All it Takes: Poisoning Visual Document Retrieval Augmented Generation with a Single Image
The Alan Turing Institute(艾伦·图灵研究所);University College London(伦敦大学学院)
本文研究了视觉文档检索增强生成(VD-RAG)对污染攻击的脆弱性,通过单张恶意图片实现针对性和通用性攻击,展示了VD-RAG在目标和通用设置下的漏洞,但在黑盒攻击下表现出一定的鲁棒性。
2026-04-02 cs.CL cs.CR cs.CV
NeuroQL: A Neuro-Symbolic Language and Dataset for Inter-Subjective Reasoning
OrgD. Labs(OrgD实验室)
我们提出了一个新的人工智能任务和基线解决方案的主体间推理。我们将主观间信息定义为可能由不同方共享的客观和主观信息的混合物。例如,IR(信息检索)系统报告的商品及其客观属性,需要与在线论坛的主观用户评论进行交叉引用。对于一个人工智能系统来说,要成功地对两者进行推理,它需要能够将客观事实的符号推理与主观用户评论中的共识结合起来。为此,我们引入NeuroQL数据集和DSL(特定领域语言)作为此问题的基线解决方案。NeuroQL是一种神经符号语言,它扩展了与神经原语的逻辑统一,用于提取和检索。它可以作为一个目标,用于将主体间问题(以自然语言提出)自动翻译成可以回答它们的神经符号代码。
2023-03-13 cs.AI cs.CL cs.PL
ReinPool: Reinforcement Learning Pooling Multi-Vector Embeddings for Retrieval System
LG Uplus(LG 集团)
ReinPool通过强化学习动态过滤多向量嵌入,实现高效的检索系统,显著提升检索性能。
2026-01-12 cs.CL cs.CV cs.IR
ALM2Vec: Learning Audio Embeddings for Universal Audio Retrieval with Large Audio-Language Models
Zhejiang University(浙江大学);Johns Hopkins University(约翰霍普金斯大学)
提出ALM2Vec框架,利用预训练大型音频语言模型学习统一嵌入空间,实现跨域、任务感知的音频检索,支持指令感知检索,在标准基准上表现优异。
2026-07-01 cs.AI cs.SD eess.AS
Overcoming the Retrieval Barrier: Indirect Prompt Injection in the Wild for LLM Systems
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本研究提出了一种高效且低成本的黑盒攻击算法,通过分解恶意内容为触发片段和攻击片段,实现了对LLM系统的间接提示注入攻击,揭示了检索过程中存在的关键安全漏洞。
2026-01-11 cs.AI cs.CR
ImpRAG: Retrieval-Augmented Generation with Implicit Queries
Rutgers University(新泽西罗格斯大学);FAIR, Meta(FAIR,Meta)
ImpRAG提出一种无需显式查询的检索增强生成系统,通过统一模型隐式表达信息需求并同时优化检索与生成,在8个知识密集型任务上取得3.6至11.5的精确匹配提升。
2025-09-18 cs.CL
M3: A Multi-Task Mixed-Objective Learning Framework for Open-Domain Multi-Hop Dense Sentence Retrieval
The University of Florida(佛罗里达大学)
本文提出M3框架,通过结合多任务混合目标进行稠密文本表征学习,解决了仅依赖对比学习导致的检索性能欠佳问题,并在大规模开放域事实验证基准数据集FEVER上取得最先进性能。
2024-03-21 cs.CL cs.IR cs.LG
Multi-Objective Personalized Product Retrieval in Taobao Search
Alibaba Group(阿里巴巴集团)
在淘宝这样的大型电商平台,要从数十亿候选商品中检索出让用户满意的商品,是一个很大的挑战。这是学术界和工业界共同关注的问题。近年来,该领域的大量工作通过增强基于嵌入的检索(EBR)方法,包括淘宝搜索引擎中的多粒度深度语义产品检索(MGDSPR)模型[16],取得了显著的改进。然而,我们发现,MGDSPR仍然存在的问题,相关性差,弱个性化相比,在我们的在线系统中的其他检索方法,如词汇匹配和协同过滤。这些问题促使我们进一步加强我们的EBR模型在相关性估计和个性化检索方面的能力。在本文中,我们提出了一种新的多目标个性化产品检索(MOPPR)模型,四个层次的优化目标:相关性,曝光,点击和购买。本文构造了全空间多正样本来训练MOPPR,而不是现有EBR模型中的单正样本,并采用了一种改进的softmax loss来优化多个目标。大量的离线和在线实验结果表明,MOPPR优于基线MGDSPR的相关性估计和个性化检索的评价指标。MOPPR在28天的在线A/B测试中实现了0.96%的交易和1.29%的GMV改进。从2021年双11购物节开始,MOPPR在手机淘宝搜索全面布局,取代了之前的MGDSPR。最后,我们讨论了我们在多目标检索和排序方面更深入探索的几个高级主题,以贡献于社区。
2022-10-09 cs.AI cs.IR
CSMF: Cascaded Selective Mask Fine-Tuning for Multi-Objective Embedding-Based Retrieval
针对多目标基于嵌入的检索中模型参数多、检索延迟高及目标间因果关系建模难的问题,提出CSMF方法,通过级联选择性掩码微调提升检索效率与服务性能,且不增加参数与检索开销。
2025-04-17 cs.IR
Retrieval-GRPO: A Multi-Objective Reinforcement Learning Framework for Dense Retrieval in Taobao Search
Taobao & Tmall Group of Alibaba(阿里巴巴淘宝和天猫集团)
Retrieval-GRPO通过多目标强化学习框架解决密集检索中的硬负样本依赖和跷跷板效应问题,提升复杂长尾查询的语义泛化能力。
2026-02-07 cs.IR
MIMO: Multilingual Information Retrieval via Monolingual Objectives
Department of Computer Science and Engineering, Korea University(韩国大学计算机科学与工程系)
提出MIMO两阶段框架,利用教师模型的稳定英语语义空间,通过知识蒸馏和跨语言对比学习联合优化,解决多语言信息检索中语言聚类和嵌入对齐-均匀性权衡问题。
2026-08-28 cs.AI cs.IR
Efficient, Property-Aligned Fan-Out Retrieval via RL-Compiled Diffusion
University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
R4T通过强化学习编译扩散模型,实现高效且属性对齐的扇出检索,提升检索质量并显著降低推理延迟。
2026-03-06 cs.IR cs.LG
Class Anchor Margin Loss for Content-Based Image Retrieval
University of Bucharest(布加勒斯特大学)
针对CBIR中度量学习配对挖掘低效、统计学习特征不够紧凑的问题,提出无需配对、直接优化L2度量的类别锚点间隔损失及锚点驱动的两阶段检索系统,并在多数据集与两类架构上验证其更优、更稳定。
2023-06-03 cs.CV cs.IR cs.LG
Robust Training Objectives Improve Embedding-based Retrieval in Industrial Recommendation Systems
Snap, Inc.(斯耐普公司)
研究验证自监督多任务学习(SSMTL)鲁棒训练目标在大规模工业推荐系统中的有效性,通过在线A/B测试证明其显著提升好友推荐关键指标。
2024-09-23 cs.IR cs.LG
When Is Complex Chunking Worth It? A Multi-Objective Evaluation of Chunking Methods at Scale
University of Passau(帕绍大学);Interdisciplinary Transformation University(跨学科转型大学)
该研究针对长文档分块的多目标评估问题,在多语料库、多模型下对比八种分块策略,发现分块需兼顾检索性能与系统成本,应作为多目标设计决策。
2026-11-05 cs.IR
MOHPER: Multi-objective Hyperparameter Optimization Framework for E-commerce Retrieval System
Bucketplace Inc.(Bucketplace公司)
针对传统电商搜索优化仅侧重CTR易忽略真实购买意图、CTCVR稀疏性带来优化难题的问题,提出多目标超参数优化框架MOHPER,结合贝叶斯优化与采样联合优化多目标,还提出元配置投票等策略提升效率,已在实际部署中实现用户满意度与营收的平衡优化。
2025-08-31 cs.AI cs.IR
Embedding Subspace Partitioning for Dynamic Multi-Objective Retrieval
LinkedIn(领英)
提出嵌入子空间划分(ESP)检索框架,通过分解嵌入为任务感知子空间并加权求和,实现服务时可调的多目标动态检索,在MS MARCO基准和LinkedIn平台上显著优于多任务基线。
2026-09-28 cs.IR
Multi-Decoder OneRec: Controllable Generative Retrieval for Multi-Objective Industrial Recommendation
Kuaishou Technology(快手科技)
本文针对多目标工业推荐的碎片化问题,提出可控生成式检索框架Multi-Decoder OneRec,通过多解码器结构实现共享建模与目标控制,在公开基准Kwai26及生产环境测试中均取得推荐效果提升。
2026-07-30 cs.IR
Graph Contrastive Learning with Multi-Objective for Personalized Product Retrieval in Taobao Search
本文提出多目标图对比学习模型GCL-MO,通过商品同构图和改进对比损失同时优化个性化与相关性,提升长尾商品表示,并在淘宝搜索中取得显著在线收益。
2023-07-10 cs.IR
Large Language Model as Universal Retriever in Industrial-Scale Recommender System
Taobao & Tmall Group of Alibaba, China(淘宝与天猫集团(阿里巴巴))
本研究提出基于大语言模型的通用检索模型URM,通过多查询表示、矩阵分解和概率采样技术,实现工业级推荐系统中多目标的高效生成式检索,性能优于专用模型并提升广告核心指标3%。
2025-05-19 cs.IR cs.LG
Learning to Truncate Ranked Lists for Information Retrieval
排序列表截断在各种专业信息检索应用(例如专利检索或法律检索)中是至关重要的。其目标是根据用户定义的目标动态确定返回文档的数量,以达到结果的整体效用和用户努力之间的平衡。现有的方法将此任务描述为一个序贯决策问题,并将预定义的损失作为代理目标,存在局部决策和非直接优化的局限性。在这项工作中,我们提出了一个全球性的决策为基础的截断模型AttnCut,直接优化用户定义的目标排名列表截断。具体来说,我们采取成功的Transformer架构,以捕获的整体依赖性的排名列表中的截断决策,并采用奖励增强最大似然(RAML)直接优化。我们考虑两种类型的用户定义的目标,这是实际使用。一个是广泛采用的指标,如F1作为一个平衡的目标,另一个是最好的F1在一些最小的召回限制,代表了一个典型的目标,在专业搜索。Robust04和MQ2007数据集的实证结果证明了我们的方法与最先进的基线相比的有效性。
2021-03-01 cs.IR
Design Theory to improve health evidence retrieval
目的:我们的研究目的是为卫生组织设计一种可行的技术解决方案,以消除循证临床信息检索的障碍,并提高循证实践。研究方法:回顾了2010年至2020年的文献,以确定循证临床信息检索中存在的问题,并使用文献中的建议来确定解决方案目标。设计科学研究用于使用云服务完成研究流中的三个项目,如Web规模发现,内容管理系统,联合访问,全球知识库和文档交付。采用设计思维、系统思维和面向用户的信息需求理论构建设计理论。结果如下:研究流产生了三个新颖的和创新的人工制品:上下文模型,统一的架构,和上下文感知的统一架构,我们评估的一部分,学术评论,学术出版物和会议论文集在各个研究流阶段。第四个人工制品或设计理论,提出了概括的结果作为成熟的知识。
2021-11-10 cs.IR
Controlling Authority Retrieval: A Missing Retrieval Objective for Authority-Governed Knowledge
本文提出CAR目标,用于检索当前活跃的权威前沿,与传统相关性检索不同。通过定理和命题分析,证明了TCA的上界,并在多个数据集上验证了方法有效性。
2026-04-28 cs.CL cs.IR
OneShot: Index-in-Ranking with Neural Scoring for Large-Scale Retrieval
Meta Platforms, Inc.(元平台公司)
本研究针对推荐系统检索阶段排序目标与索引结构不一致的问题,提出OneShot框架,将索引学习与排序目标联合,突破点积瓶颈,部署于Instagram短视频推荐系统,提升了召回率与效率。
2026-08-03 cs.IR cs.LG
MPFormer: Adaptive Framework for Industrial Multi-Task Personalized Sequential Retriever
Kuaishou Technology(快手科技);Unaffiliated(无隶属)
本文提出MPFormer框架,通过三项创新机制解决多阶段优化不一致问题,提升推荐系统用户参与度和系统效率。
2025-08-28 cs.AI cs.IR
Latent Objective Induction and Diversity-Constrained Selection: Algorithms for Multi-Locale Retrieval Pipelines
Bahcesehir University(巴希谢希尔大学)
本文提出三种算法用于多地区检索流水线,通过潜在目标诱导和多样性约束选择提升源多样性与减少重复。
2026-02-17 cs.DS cs.IR
MVR-cache: Optimizing Semantic Caching via Multi-Vector Retrieval and Learned Prompt Segmentation
School of Computer Science, Peking University, Beijing, China(北京大学计算机科学学院,北京,中国);School of Information, Renmin University of China, Beijing, China(中国人民大学信息学院,北京,中国)
提出MVR-cache方法,利用多向量检索和学习型提示分割模型,通过强化学习优化缓存命中率,在保证正确性的前提下将缓存命中率提升高达37%。
2026-05-24 cs.DB cs.IR cs.LG
Improving Visual-Semantic Embeddings by Learning Semantically-Enhanced Hard Negatives for Cross-modal Information Retrieval
Loughborough University(拉夫堡大学)
视觉语义嵌入(VSE)的目的是提取图像及其描述的语义,并将它们嵌入到同一个潜在空间中,以实现跨模态的信息检索。大多数现有的VSE网络是通过采用硬负损失函数来训练的,该函数学习相关和不相关图像描述嵌入对的相似性之间的客观裕度。然而,硬否定损失函数中的客观裕度被设置为固定的超参数,其忽略不相关的图像-描述对的语义差异。为了解决在获得训练的VSE网络之前测量图像描述对之间的最佳相似性的挑战,本文提出了一种新的方法,该方法包括两个主要部分:(1)发现图像描述的底层语义;(2)提出了一种新的语义增强的硬否定损失函数,其中基于不相关的图像-描述对之间的最佳相似性分数来动态地确定学习目标。通过将所提出的方法集成到五个最先进的VSE网络中进行了广泛的实验,这些网络应用于三个跨模态信息检索任务的基准数据集。结果表明,所提出的方法取得了最佳的性能,也可以采用现有的和未来的VSE网络。
2023-02-14 cs.CV cs.IR
Aligning Web Query Generation with Ranking Objectives via Direct Preference Optimization
提出利用直接偏好优化(DPO)将排序信号融入查询生成,以生成高质量合成查询,提升下游检索性能,并在MS MARCO基准上验证了有效性。
2025-05-25 cs.IR
Does Generative Retrieval Overcome the Limitations of Dense Retrieval?
State Key Laboratory of AI Safety, Institute of Computing Technology, CAS(中国科学院计算技术研究所人工智能安全重点实验室);University of Chinese Academy of Sciences(中国科学院大学);University of Amsterdam(阿姆斯特丹大学)
本文从学习目标与表示能力两方面对比生成式检索与稠密检索,揭示 GR 在语料和模型扩展下的理论优势,并通过实验验证,同时指出其实践差距与未来研究方向。
2025-11-11 cs.IR
Evaluation of some Information Retrieval models for Gujarati Ad hoc Monolingual Tasks
本文介绍了广泛使用的信息检索(IR)模型的古吉拉特语特设单语检索任务的工作。我们提出了一个索引基线古吉拉特语表示的平均平均精度(MAP)值。我们的目标是获得一个更好的古吉拉特语IR模型的相对图片。结果表明,经典的IR模型,如词频逆文档频率(TF_IDF)相比,最近的概率IR模型表现更好。这些实验有助于确定古吉拉特语的表现优异的IR模型。
2012-09-01 cs.IR
Pre-training for Ad-hoc Retrieval: Hyperlink is Also You Need
为预训练的语言模型设计更接近下游任务的预训练目标可以在微调阶段获得更好的性能,特别是在ad-hoc检索领域。现有的预训练方法为IR量身定制,试图将弱监督信号,如查询可能性为基础的采样,从原始文本语料库构建伪查询文档对。然而,这些信号严重依赖于采样方法。例如,查询似然模型可能导致在构造的预训练数据中的很多噪声。\blfootnote{$\dagger$ This work was done during an internship at Huawei.}在本文中,我们提出利用大规模的超链接和锚文本来预训练用于ad-hoc检索的语言模型。由于锚文本是由网站管理员创建的,通常可以总结目标文档,因此它可以帮助构建比特定算法更准确和可靠的预训练样本。考虑到下游ad-hoc检索的不同观点,我们设计了四个基于超链接的预训练任务。然后,我们对Transformer模型进行预训练,以预测成对偏好,并结合Masked语言模型目标。在两个大规模ad-hoc检索数据集上的实验结果表明,与现有方法相比,该模型有显著的改进.
2021-08-20 cs.IR
Beyond Relevance: On the Relationship Between Retrieval and RAG Information Coverage
Johns Hopkins University(约翰霍普金斯大学);National Institute of Standards and Technology(国家标准与技术研究院);University of New Hampshire(新罕布什尔大学)
研究检索质量与生成响应信息覆盖的关系,发现基于覆盖的检索指标与生成响应中的要点覆盖强相关,支持用检索指标代理RAG性能。
2026-06-23 cs.AI cs.IR
Web Table Extraction, Retrieval and Augmentation: A Survey
表格是组织和操作数据的强大而流行的工具。在网上可以找到大量的表格,这是一个宝贵的知识资源。本次调查的目的是综合和提出二十年的研究网络表。特别是,我们将现有的文献组织成六个主要类别的信息访问任务:表提取,表解释,表搜索,问答,知识库扩充,表扩充。对于这些任务中的每一个,我们确定和描述开创性的方法,目前相关的资源,并指出不同的任务之间的相互依赖性。
2020-02-05 cs.IR
Automatic Query Image Disambiguation for Content-Based Image Retrieval
Friedrich Schiller University Jena(耶拿弗里德里希·席勒大学)
呈现给基于内容的图像检索系统的查询图像通常具有各种不同的解释,使得难以识别用户所追求的搜索目标。我们提出了一种克服这种模糊性的技术,同时保持所需的用户交互量最小。为了实现这一点,查询图像的邻域被划分为连贯的聚类,用户可以从中选择相关的。一种新的反馈集成技术,然后重新排名整个数据库方面的用户反馈和原始查询。我们在公开的MIRFLICKR-25 K数据集上评估了我们的方法,在基线检索上,它导致平均精度相对提高了23%,而基线检索并没有区分不同的图像感觉。
2017-11-02 cs.CV cs.IR
Pre-training with Aspect-Content Text Mutual Prediction for Multi-Aspect Dense Retrieval
针对多方面稠密检索中现有分类目标无法充分捕捉方面值语义相似性的问题,提出方面-内容文本相互预测的预训练方法,在商品与小程序搜索数据集上均优于强基线。
2023-08-22 cs.IR