Unified Multimodal and Multilingual Retrieval via Multi-Task Learning with NLU Integration
Xiaomi Corporation（小米公司）
本文提出通过多任务学习与NLU集成实现统一的多模态和多语言检索，提升跨语言和跨模态的检索效率与准确性。
2026-01-21 cs.IR
Dense Text Retrieval based on Pretrained Language Models: A Survey
文本检索是信息检索领域的一个长期研究课题，它要求系统能够以自然语言的形式返回用户查询的相关信息资源。从经典的检索方法到基于学习的排序函数，底层的检索模型随着不断的技术创新而不断发展。设计有效的检索模型的关键在于如何学习文本的表示方法和建立相关匹配模型。预训练语言模型（PLM）最近的成功揭示了通过利用PLM的优秀建模能力来开发更强大的文本检索方法。借助强大的PLM，我们可以有效地学习查询和文本在潜在表示空间中的表示，并进一步构建密集向量之间的语义匹配函数以进行相关性建模。这种检索方法被称为稠密检索，因为它采用密集向量（也称为，嵌入）来表示文本。鉴于稠密检索的快速发展，本文系统地综述了基于PLM的稠密检索的最新研究进展。与以往的稠密检索研究不同，本文从体系结构、训练、索引和集成四个方面对相关工作进行了新的梳理，并对各个方面的主流技术进行了总结。我们彻底调查的文献，包括300+相关的参考文献的稠密检索。为了支持我们的调查，我们创建了一个网站，提供有用的资源，并发布了一个代码库和工具包，实现稠密检索模型。本综述旨在提供一个全面、实用的参考，重点介绍密集文本检索的主要进展。
2022-11-27 cs.IR
Turkish Text Retrieval Experiments Using Lemur Toolkit
我们使用Lemur Toolkit，一个为信息检索（IR）研究而设计的开源工具包，在土耳其语的TREC类测试集合上进行自动索引和检索实验。我们研究和比较了Lemur支持的三种检索模型，特别是结合特定语言预处理技术的语言建模方法。我们的实验表明，所有的检索模型受益于特定语言的预处理方面的检索质量。语言建模方法也是最好的性能检索模型时，语言特定的预处理应用。
2014-05-07 cs.IR
Mixture of Structural-and-Textual Retrieval over Text-rich Graph Knowledge Bases
University of Oregon（俄勒冈大学）；Michigan State University（密歇根州立大学）；Adobe Research（Adobe研究）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
本文提出结构-文本混合检索方法MoR，通过规划-推理-组织框架协同利用文本丰富图知识库中的结构与文本知识，并结合结构轨迹重排序提升检索性能。
2025-06-01 cs.AI cs.IR cs.LG
Efficient and Versatile Model for Multilingual Information Retrieval of Islamic Text: Development and Deployment in Real-World Scenarios
rttl labs（rttl实验室）
本研究利用《古兰经》多语言语料库，提出结合跨语言与单语技术的混合训练方法，开发高效轻量的多语言信息检索模型，并在真实场景中验证其成本效益与检索效果。
2025-10-14 cs.AI cs.CL cs.IR
Beyond Text: Aligning Vision and Language for Multimodal E-Commerce Retrieval
Target（塔吉特）
研究电子商务领域双塔检索模型的统一文本-图像融合，指出特定领域微调及查询与产品文本和图像模态的两阶段对齐很关键，提出新型模态融合网络并验证其有效性。
2026-07-07 cs.IR
Evaluating Chunking Strategies for Retrieval-Augmented Generation on Academic Texts
研究在检索增强生成系统中，基于聚类的语义分块是否优于固定大小和递归分块，通过RAGAs框架在长结构化学术论文上评估检索和答案质量，发现聚类分块未超越简单策略。
2026-07-03 cs.AI cs.CL cs.IR
Captions Are Worth a Thousand Words: Enhancing Product Retrieval with Pretrained Image-to-Text Models
本文提出利用instructBLIP和CLIP等预训练模型生成图像文本描述并与现有文本结合，有效提升了电商场景下基于文本的商品检索能力，并在Amazon ESCI数据集上验证了其增强检索和生成独立描述的双重效果。
2024-02-13 cs.IR
Predictive Chemistry Augmented with Text Retrieval
本文提出 TextReact 方法，通过检索文献文本并结合掩码 LM 训练将其与分子表示对齐，从而增强化学反应预测，并在条件推荐和逆合成任务上超过仅用分子数据训练的 SOTA 模型。
2023-12-08 cs.AI cs.CL cs.IR
Mixed-modality Representation Learning and Pre-training for Joint Table-and-Text Retrieval in OpenQA
Microsoft STC Asia（微软亚洲软件工程技术中心）；Microsoft Research Asia（微软亚洲研究院）；Beihang University（北京航空航天大学）；Sun Yat-sen University（中山大学）
开放领域问答（OpenQA）提供了更全面的信息，从表格和文本资源中检索证据是必不可少的。然而，训练一个有效的密集表文本检索是困难的，由于挑战的表文本的差异和数据稀疏性问题。为了解决上述挑战，我们引入了一个优化的OpenQA表格文本检索器（OTTeR），以联合检索表格和文本证据。首先，我们提出了两种增强混合模态表示学习的机制：模态增强表征和混合模态负采样策略。其次，为了缓解数据稀疏性问题，提高整体检索能力，我们进行了以检索为中心的混合模态综合预训练。实验结果表明，OTTeR大大提高了性能的表和文本检索的OTT-QA数据集。全面分析审查了所有拟议机制的有效性。此外，配备了OTTeR，我们的OpenQA系统在下游QA任务上取得了最先进的结果，在精确匹配方面比之前的最佳系统绝对提高了10.1%。所有的代码和数据都可以在https://github.com/Jun-jie-Huang/OTTeR上找到。
2022-10-11 cs.AI cs.CL cs.IR
Explainability of Text Processing and Retrieval Methods: A Survey
Indian Statistical Institute（印度统计研究所）
本文综述了文本处理和检索方法的可解释性，涵盖词嵌入、序列建模、注意力模块等技术，并探讨了未来研究方向。
2026-03-10 cs.AI cs.CL cs.IR
KAP: MLLM-assisted OCR Text Enhancement for Hybrid Retrieval in Chinese Non-Narrative Documents
针对中文非叙述性文档混合检索的困难，提出KAP框架，利用多模态大语言模型优化OCR输出，减少噪声并重构结构，显著优于传统方法。
2025-05-01 cs.IR
LSTM-based Selective Dense Text Retrieval Guided by Sparse Lexical Retrieval
针对稠密与稀疏词法检索的快速融合问题，提出 CluSD：利用稀疏结果与嵌入簇重叠及 LSTM 两阶段选择相关簇，按需执行部分稠密检索和块磁盘 I/O，并在 MS MARCO、BEIR 上对比基线验证。
2025-02-15 cs.IR
HLATR: Enhance Multi-stage Text Retrieval with Hybrid List Aware Transformer Reranking
Alibaba Group（阿里巴巴集团）
深度预训练的语言模型（例如，BERT）在大规模文本检索任务中是有效的。由于预先训练的语言模型计算量大和语料库规模大，现有的文本检索系统通常采用先检索后重新排序的结构。在这种多级架构下，以往的研究主要集中在优化框架的单级，从而提高整体检索性能。然而，如何直接耦合多阶段的功能优化还没有得到很好的研究。在本文中，我们设计了混合列表感知Transformer重排序（HLATR）作为后续的重排序模块，将检索和重排序阶段的功能。HLATR是轻量级的，可以很容易地与现有的文本检索系统并行化，使重排序过程可以在一个单一的，但有效的处理。在两个大规模文本检索数据集上的实验表明，HLATR能够有效地提高现有多阶段文本检索方法的排序性能。
2022-05-21 cs.CL cs.IR
Exploring Combinations of Ontological Features and Keywords for Text Retrieval
命名实体已被考虑并与关键字相结合，以提高信息检索性能。然而，目前还没有一个正式的、完整的模型将实体名称、类和标识符考虑在内。我们的工作探索了传统向量空间模型的各种适应性，将不同的本体特征与关键字以不同的方式结合起来。它显示了更好的性能相比，基于关键字的Lucene，以及它们的优势，文本检索和表示的文档和查询的模型。
2018-07-20 cs.IR
MELON: A Large-Scale Dataset for Multi-Event Text-to-Long-Video Retrieval
ETRI（电子通信研究所）；KAIST（韩国科学技术院）；Kyungpook National University（庆北国立大学）
该研究针对现有文本-视频检索数据集无法适配含多事件的长视频的问题，推出首个大规模多事件文本到长视频检索数据集MELON，并提出多事件感知损失，提升了检索准确率。
2026-09-03 cs.IR
Flickr30K-CFQ: A Compact and Fragmented Query Dataset for Text-image Retrieval
针对现有文本-图像检索查询僵硬不自然的问题，本文构建紧凑碎片化查询数据集Flickr30K-CFQ，并提出基于LLM提示工程的查询增强方法，在公共数据集和该挑战集上分别提升超过0.9%和2.4%的查询理解性能。
2024-04-01 cs.IR
RepBERT: Contextualized Text Embeddings for First-Stage Retrieval
虽然查询和文档之间的精确术语匹配是执行第一阶段检索的主要方法，但我们提出了一种不同的方法，称为RepBERT，用固定长度的上下文嵌入来表示文档和查询。查询和文档嵌入的内积被认为是相关性得分。在MS MARCO Passage Ranking任务中，RepBERT在所有初始检索技术中取得了最先进的结果。它的效率与词袋方法相当。
2020-07-20 cs.IR
Universal Vision-Language Dense Retrieval: Learning A Unified Representation Space for Multi-Modal Retrieval
本文提出了通用视觉语言稠密检索（UniversalVision-Language Dense Retrieval，UniVL-DR），为多模态检索建立了统一的模型。UniVL-DR在嵌入空间中对查询和多模态资源进行编码，用于从不同模态中搜索候选项。为了学习一个统一的嵌入空间用于多模态检索，UniVL-DR提出了两种技术：1）通用嵌入优化策略，使用模态平衡的硬否定对比优化嵌入空间; 2）图像动词化方法，弥合原始数据空间中图像和文本之间的模态差距。UniVL-DR在多模态开放域问答基准测试WebQA上达到了最先进的水平，在文本-文本检索和文本-图像检索两个子任务上优于所有检索模型。它表明，通用多模态搜索是可行的，以取代一个统一的模型和单/跨模态任务的分治管道。本工作的所有源代码都可以在https://github.com/OpenMatch/UniVL-DR上获得。
2023-02-05 cs.IR
BRIDGE: Multimodal-to-Text Retrieval via Reinforcement-Learned Query Alignment
High institute for computer & information systems（高等计算机与信息系统学院）；Chungbuk National University（忠北大学）；Assiut University（艾斯尤特大学）；University of Innsbruck（因斯布鲁克大学）
BRIDGE通过强化学习查询对齐模型和增强神经搜索检索器，解决多模态查询在文本库中的检索问题，实现优于多模态编码器的nDCG@10性能。
2026-04-08 cs.CV cs.IR
Toward Universal Text-to-Music Retrieval
KAIST（韩国科学技术院）；ByteDance（字节跳动）；Gaudio Lab（Gaudio实验室）
本文介绍了有效的设计选择文本到音乐检索系统。一个理想的基于文本的检索系统将支持各种输入查询，如预定义的标签，看不见的标签，和文档级描述。事实上，大多数以前的工作主要集中在一个单一的查询类型（标签或句子），可能不会推广到另一个输入类型。因此，我们回顾最近的基于文本的音乐检索系统使用我们提出的基准在两个主要方面：输入文本表示和训练目标。我们的研究结果使一个通用的文本到音乐检索系统，实现了可比的检索性能，在标签和标签级的输入。此外，所提出的多模态表示推广到9个不同的下游音乐分类任务。我们在线提供代码和演示。
2022-11-26 cs.IR cs.MM cs.SD
mmRAG: A Modular Benchmark for Retrieval-Augmented Generation over Text, Tables, and Knowledge Graphs
针对现有RAG评估侧重文本、依赖不透明端到端评估的局限，研究推出覆盖文本、表格与知识图谱的模块化基准mmRAG，可细粒度评估RAG组件，并确立了基准性能。
2025-05-16 cs.IR
Pre-train a Discriminative Text Encoder for Dense Retrieval via Contrastive Span Prediction
稠密检索在许多信息检索（IR）相关任务中显示出了良好的效果，其基础是高质量的文本表示学习以实现有效的检索。最近的一些研究表明，基于自动编码器的语言模型能够使用弱解码器来提高稠密检索的性能。然而，我们认为，1）它是没有歧视性的解码所有的输入文本，2）即使是一个弱的解码器有旁路效应的编码器。因此，在这项工作中，我们引入了一种新的对比跨度预测任务来单独预训练编码器，但仍然保留了自动编码器的瓶颈能力。因此，在这项工作中，我们建议放弃解码器，并引入一种新的对比跨度预测任务来单独预训练编码器。其关键思想是迫使编码器生成的文本表示接近自己的随机跨度，而远离其他使用组明智的对比损失。通过这种方式，我们可以1）通过跨跨度的分组对比学习来有效地学习有区别的文本表示，2）彻底避免解码器的旁路效应。在公开的检索基准数据集上的综合实验表明，该方法在稠密检索中的性能明显优于现有的预训练方法。
2022-04-22 cs.IR
Towards Proactive Information Retrieval in Noisy Text with Wikipedia Concepts
University College London（伦敦大学学院）
从用户历史中提取有用的信息以清楚地了解信息需求是主动式信息检索系统的一个重要特征。关于理解信息和相关性，维基百科可以提供智能系统所需的背景知识。这项工作探讨了如何利用上下文的查询使用维基百科的概念可以提高主动信息检索嘈杂的文本。我们制定了两个模型，使用实体链接相关联的维基百科主题的相关性模型。我们围绕播客片段检索任务的实验表明，维基百科概念中存在明确的相关性信号，而排名模型可以通过合并它们来提高精度。我们还发现维基化查询的背景上下文可以帮助消除查询的含义，进一步帮助主动信息检索。
2022-10-18 cs.AI cs.IR cs.LG
Hybrid Retrieval and Multi-stage Text Ranking Solution at TREC 2022 Deep Learning Track
Alibaba Group（阿里巴巴集团(Alibaba Group)）
针对TREC 2022深度学习赛道任务，提出融合稀疏与稠密检索的混合检索方案，搭配全交互排序模型加轻量子排序模块的多阶段排序方法，在段落、文档排序测试集上分获第1、第4名。
2023-08-23 cs.CL cs.IR
Normalized Contrastive Learning for Text-Video Retrieval
Columbia University（哥伦比亚大学）；Meta
跨模态对比学习以其简单有效的特点引领了多模态检索的发展。然而，在这项工作中，我们发现，跨模态对比学习遭受不正确的归一化的总和检索概率的每个文本或视频实例。具体来说，我们发现，许多测试实例是过度或不足的代表在检索过程中，显着损害检索性能。为了解决这个问题，我们提出了归一化对比学习（NCL），它利用Sinkhorn-Knopp算法来计算实例偏差，这些偏差适当地归一化每个实例的总检索概率，以便在跨模态检索期间公平地表示每个文本和视频实例。实证研究表明，NCL在不同模型架构上的文本视频检索中带来了一致和显著的收益，在ActivityNet，MSVD和MSR-VTT数据集上具有新的最先进的多模态检索指标，而无需任何架构工程。
2022-11-30 cs.CV cs.IR cs.LG
Reversed in Time: A Novel Temporal-Emphasized Benchmark for Cross-Modal Video-Text Retrieval
Renmin University of China（中国人民大学）
本文构建通过视频逆转强化时间理解评测的 RTime 数据集及三项检索任务，并引入难负样本训练，揭示现有视频-文本模型面临的新挑战。
2025-09-28 cs.AI cs.CL cs.CV
Augmenting Textual Generation via Topology Aware Retrieval
本研究利用文本间的拓扑关系（如邻近性和角色）指导RAG检索，提出拓扑感知检索增强生成框架，通过检索和聚合模块提升LLM文本生成质量。
2024-05-27 cs.IR
Text Retrieval with Multi-Stage Re-Ranking Models
提出三阶段重排序模型，结合BM25、语言模型及模型集成或更大语言模型，在MS-MARCO上训练MiniLM，零样本评估，兼顾高准确率与低速度衰减。
2023-11-14 cs.IR
Aligning Language Models for Versatile Text-based Item Retrieval
针对通用文本嵌入难以满足物品检索需求的问题，本文用十个任务构建领域内数据集并微调嵌入模型，显著提升多类零样本检索性能，且可增强 Chat-Rec 等对话推荐智能体。
2024-02-29 cs.IR
Where Does the Performance Improvement Come From? -- A Reproducibility Concern about Image-Text Retrieval
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；China University of Petroleum (East China)（中国石油大学（华东））；JD Explore Academy（京东探索研究院）；Peng Cheng Laboratory（鹏城实验室）
本文旨在通过分析图像-文本检索模型的可重复性，为信息检索界提供对检索学习最新进展的一些思考。由于近十年来多模态数据的增加，图像-文本检索已经逐渐成为信息检索领域的一个主要研究方向。许多研究人员训练和评估图像文本检索算法使用基准数据集，如MS-COCO和Flickr 30 k。过去的研究主要集中在性能上，以各种方式提出了多种最先进的方法。根据他们的说法，这些技术提供了改进的模态交互，因此更精确的多模态表示。与以前的作品相比，我们专注于方法的可重复性和检查的元素，导致提高性能的预训练和nonpretrained模型在检索图像和文本。更具体地说，我们首先研究相关的再现性问题，并解释为什么我们的重点是图像-文本检索任务。其次，我们系统地总结了当前的图像-文本检索模型的范式和这些方法的贡献。第三，我们分析了预训练和非预训练检索模型的再现的各个方面。为了完成这一点，我们进行了消融实验，并获得了一些影响因素，影响检索召回比在原来的文件中声称的改进。最后，我们提出了一些反思和挑战，检索社区应该考虑在未来。我们的源代码可在https://github.com/WangFei-2019/Image-text-Retrieval上公开获取。
2022-08-27 cs.CL cs.CV cs.IR
Establishing a Foundation for Tetun Ad-Hoc Text Retrieval: Stemming, Indexing, Retrieval, and Ranking
针对德顿语缺乏检索方案的问题，构建停用词表、词干提取器和测试集等基础资源，实验表明去除连字符和撇号后检索标题可提升效率与效果，并公开了相关资源。
2025-10-15 cs.IR
LexLIP: Lexicon-Bottlenecked Language-Image Pre-Training for Large-Scale Image-Text Retrieval
Hong Kong Baptist University（香港浸会大学）；Microsoft Corporation（微软公司）
图像-文本检索（ITR）是一个任务，检索相关的图像/文本，给定的查询从另一个模态。传统的稠密检索依赖于使用双流编码器将图像和文本编码成密集表示，然而，在大规模检索场景中，其面临检索速度低的挑战。在这项工作中，我们提出了词汇加权范式，在词汇空间中的稀疏表示学习图像和文本，以利用词袋模型和高效的倒排索引，从而显着降低检索延迟。一个关键的差距来自图像数据的连续性，以及对稀疏词汇空间表示的要求。为了弥补这一差距，我们引入了一种新的预训练框架，Lexicon-Bottlenecked词汇图像预训练（LexLIP），学习重要性感知的词汇表示。该框架在双流编码器和弱化文本解码器之间具有词汇检查模块，允许构建连续的词袋瓶颈来学习词汇重要性分布。在使用相同规模的数据进行预训练后，我们的LexLIP在两个基准ITR数据集MSCOCO和Flickr 30 k上实现了最先进的性能。此外，在大规模检索场景下，LexLIP的检索速度比CLIP快5.5 ~ 221.3倍，索引存储内存减少13.2 ~ 48.8倍。
2023-02-06 cs.CV cs.IR
Text Information Retrieval in Tetun: A Preliminary Study
本文针对低资源语言德顿语缺乏信息检索方案的问题，开展即席检索实验并报告初步结果，为构建德顿语搜索解决方案提供基础。
2024-06-11 cs.IR
C-DLSI: An Extended LSI Tailored for Federated Text Retrieval
随着网络在数据量和地理分布上的扩展，集中式搜索方法变得低效，导致对协作信息检索的兴趣增加，联邦文本检索（FTR）。与现有的集中式信息检索（IR）方法不同，FTR是由多个节点组成的，每个节点本身就是一个完整的搜索引擎。为了处理查询，FTR首先需要识别托管相关文档的有前途的对等体，其次需要从所选对等体中检索最相关的文档。大多数现有的方法只应用传统的IR技术，将每个文本集合作为一个单一的大文档，并利用术语匹配来排名的集合。在本文中，我们形式化的问题，并确定FTR的属性，并分析了扩展LSI的聚类，以适应FTR的可行性，在此基础上提出了一种新的方法称为基于聚类的分布式潜在语义索引（C-DLSI）。C-DLSI通过聚类来区分节点的主题，捕获聚类中的局部LSI空间，并考虑这些LSI空间之间的关系，从而提供对节点更精确的刻画。因此，提出了新的描述符的同行和兼容的本地文本检索。实验结果表明，C-DLSI优于现有的方法。
2018-10-05 cs.IR
Optimizing Multi-Stage Language Models for Effective Text Retrieval
VJ Technology（VJ科技）
本文提出面向日本法律数据集的两阶段文本检索流程，结合先进语言模型与多策略集成模型，在领域数据和MS-MARCO上均取得最先进性能。
2024-12-26 cs.CL cs.IR cs.LG
Zero-shot Composed Image Retrieval Considering Query-target Relationship Leveraging Masked Image-text Pairs
Graduate School of Information Science and Technology, Hokkaido University（北海道大学信息科学与技术研究院）；Faculty of Information Science and Technology, Hokkaido University（北海道大学信息科学与技术学院）
提出一种利用掩码图文对进行端到端训练的零样本组合图像检索方法，通过学习查询与目标关系优化文本反演网络，实现更准确检索。
2024-06-27 cs.CV cs.IR
Text Based Approach For Indexing And Retrieval Of Image And Video: A Review
VJTI（维多利亚贾姆纳加尔技术学院）
多媒体中的文本数据包含了自动标注、索引等有用信息。用于从给定视频或图像识别覆盖或场景文本的提取信息。提取的文本可用于检索视频和图像。在本文中，首先，我们讨论了不同的技术，从图像和视频文本提取。其次，我们回顾了利用抽取的文本对图像和视频进行索引和检索的技术。
2014-04-05 cs.CV cs.DL cs.IR
CAIBC: Capturing All-round Information Beyond Color for Text-based Person Retrieval
Nanjing Tech University（南京工业大学）；Jinling Institute of Technology（金陵科技学院）；Beihang University（北京航空航天大学）
基于文本的人物检索是在给定自然语言描述的情况下，从大规模的人物图像数据库中识别出目标人物的图像。现有的方法通常面临一个\textbf{color over-reliance problem}，这意味着模型在匹配跨模态数据时严重依赖颜色信息。实际上，颜色信息是用于检索的重要决策依据，但是对颜色的过度依赖会使模型从其他关键线索（例如，纹理信息、结构信息等）分散注意力，从而导致次优的检索性能。为了解决这个问题，本文提出\textbf{C}捕获\textbf{A} II轮\textbf{I}信息\textbf{B} eyond \textbf{C} olor（\textbf{CAIBC}）通过一个联合优化的多分支架构，基于文本的人检索。CAIBC包含三个分支，包括RGB分支、灰度（GRS）分支和颜色（RGB）分支。此外，为了平衡和有效地充分利用全方位的信息，我们采用了相互学习的机制，使三个涉及不同信息方面的部门能够相互交流和学习。在\textbf{supervised}和\textbf{weakly supervised}两种基于文本的人物检索环境下，对我们提出的CAIBC方法在CUHK-PEDES和RSTPReid数据集上进行了广泛的实验分析，实验结果表明，CAIBC方法在所有三个任务上的性能都明显优于现有方法，达到了最先进的水平.
2022-09-13 cs.CV cs.IR cs.MM
Experiments with Different Indexing Techniques for Text Retrieval tasks on Gujarati Language using Bag of Words Approach
本文针对形态丰富的古吉拉特语文本检索，基于词袋方法比较停用词去除、词干提取和频繁格生成等索引技术，以MAP为指标验证其相比普通词索引基线的显著改进。
2020-02-05 cs.DL cs.IR
From BM25 to Corrective RAG: Benchmarking Retrieval Strategies for Text-and-Table Documents
本文对比了十种检索策略，发现混合检索与神经重排序结合的方法在金融问答基准上表现优异，BM25在金融文档中优于最新密集检索，查询扩展方法对精确数值查询帮助有限。
2026-04-02 cs.CL cs.IR
Topic-Grained Text Representation-based Model for Document Retrieval
National University of Defense Technology（国防科技大学）
文档检索使用户能够准确、快速地找到所需的文档。为了满足检索效率的要求，流行的深度神经方法采用基于表示的匹配范式，通过离线预存储文档表示来节省在线匹配时间。然而，上面的范例消耗了大量的本地存储空间，特别是当将文档存储为单词粒度的表示时。为了解决这个问题，我们提出了TGTR，一个主题粒度的文本表示为基础的文档检索模型。TGTR采用基于表示的匹配模式，离线存储文档表示以保证检索效率，而采用新颖的主题粒度表示而不是传统的词粒度表示，大大降低了存储需求。实验结果表明，与词粒度基线相比，TGTR在检索准确率方面始终与TREC CAR和MS MARCO竞争，但它所需的存储空间不到它们所需的1/10。此外，TGTR在检索精度方面压倒性地超过了全球粒度基线。
2022-07-11 cs.CL cs.IR
Multi-modal Retrieval of Tables and Texts Using Tri-encoder Models
deepset
开放域抽取式问答通过首先检索候选文本，然后从这些候选文本中提取答案，在文本数据上工作得很好。然而，有些问题不能仅通过文本来回答，而是需要存储在表格中的信息。在本文中，我们提出了一种方法来检索文本和表格相关的问题，共同编码文本，表格和问题到一个单一的向量空间。为此，我们基于相关工作中的文本和表格数据集创建了一个新的多模态数据集，并比较了不同编码模式的检索性能。我们发现，Transformer模型的密集向量嵌入在六个评估数据集中的四个上优于稀疏嵌入。比较不同的密集嵌入模型，每个问题，文本和表格都有一个编码器的三编码器，与问题有一个编码器，文本和表格都有一个编码器的双编码器相比，提高了检索性能。我们将新创建的多模态数据集发布给社区，以便它可以用于训练和评估。
2021-10-19 cs.CL cs.IR
Audio Retrieval with Natural Language Queries: A Benchmark Study
University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Oxford（牛津大学）；University of Cambridge（剑桥大学）
这项工作的目标是跨模态的文本音频和音频文本检索，其目标是从一个候选人的池中检索的音频内容，最佳匹配给定的书面描述，反之亦然。文本音频检索使用户能够通过一个直观的界面搜索大型数据库：他们只需发布他们想要听到的声音的自由形式的自然语言描述。为了研究文本音频和音频文本检索的任务，这在现有的文献中受到了有限的关注，我们引入了三个具有挑战性的新基准。我们首先从AudioCaps和Clotho音频字幕数据集构建文本音频和音频文本检索基准。此外，我们还介绍了SoundDescs基准，它由成对的音频和自然语言描述组成，用于各种声音集合，这些声音与AudioCaps和Clotho中的声音是互补的。我们采用这三个基准来建立跨模态文本音频和音频文本检索的基线，在那里我们展示了预训练对不同音频任务的好处。我们希望我们的基准将激发进一步研究音频检索与自由形式的文本查询。所有使用的数据集的代码、音频功能以及SoundDescs数据集都可以在https://github.com/akoepke/audio-retrieval-benchmark上公开获得。
2022-01-27 cs.IR cs.SD eess.AS
Texture feature extraction in the spatial-frequency domain for content-based image retrieval
Université du Québec en Outaouais（魁北克大学乌塔韦校区）
大规模多媒体数据库的出现给基于内容的图像检索带来了巨大的挑战。尽管CBIR被认为是一个新兴的研究领域，但它构成了新方法和系统实现的强大背景。因此，许多研究成果都集中在技术，使更高的图像检索精度，同时保持低水平的计算复杂性。基于纹理特征的图像检索受到了特别的关注，因为这种视觉特征在大多数现实世界的图像中无处不在。本文重点介绍了基于纹理的图像检索和空频图像表示的最新研究进展。特别是，它给出了一个概述的统计方法和技术，用于纹理特征提取使用最流行的空间频率图像变换，即离散小波，Gabor小波，双树复小波和contourlet。指示也给出了有关使用的相似性度量函数和最重要的取得的成果。
2010-12-23 cs.CV cs.IR cs.MM
AToMiC: An Image/Text Retrieval Test Collection to Support Multimedia Content Creation
University of Waterloo（滑铁卢大学）；Naver Labs Europe（Naver欧洲实验室）；Google Research（谷歌研究院）；Wikimedia Foundation（维基媒体基金会）
本文提出AToMiC数据集，利用Wikipedia的大规模图文关联构建层次化、多领域的检索测试集，以弥合现有简化设置与多媒体内容创作实际应用间的差距，为跨模态检索研究提供可扩展的测试平台。
2023-04-04 cs.CL cs.CV cs.IR
Stacked Convolutional Deep Encoding Network for Video-Text Retrieval
现有的跨模态视频文本检索任务的主要方法是学习一个联合嵌入空间来衡量跨模态的相似性。然而，这些方法很少探索视频帧或文本单词内部的长距离依赖性，导致文本和视觉细节不足。在本文中，我们提出了一种用于视频-文本检索任务的堆栈卷积深度编码网络，该网络考虑同时对视频和文本中的长程和短程依赖性进行编码。具体来说，我们的方法中的多尺度扩张卷积（MSDC）块能够通过采用不同尺度的卷积层的内核大小和扩张大小来编码视频帧或文本单词之间的短程时间线索。一个堆叠的结构被设计成通过重复采用MSDC块来扩展感受野，这进一步捕获了这些线索之间的长程关系。此外，为了获得更鲁棒的文本表示，我们充分利用了强大的语言模型命名为Transformer在两个阶段：预训练短语和微调短语。在两个不同的基准数据集（MSR-VTT，MSVD）上的实验表明，我们提出的方法优于其他最先进的方法。
2020-04-10 cs.IR cs.MM
Text Proxy: Decomposing Retrieval from a 1-to-N Relationship into N 1-to-1 Relationships for Text-Video Retrieval
Hefei University of Technology（合肥工业大学）
提出TV-ProxyNet框架，将文本-视频检索的1对N关系分解为N个1对1关系，通过文本代理和迭代控制机制提升语义对齐，在三个基准上R@1提升2.0%-3.3%，取得SOTA性能。
2024-12-16 cs.CV cs.IR cs.MM
Transformer Based Language Models for Similar Text Retrieval and Ranking
Casetext Machine Learning（凯斯文本机器学习部门）
大多数用于相似文本检索和具有长自然语言查询的排序的方法在某种程度上依赖于具有彼此共同的词的查询和响应。最近的应用基于transformer的神经语言模型的文本检索和排名问题已经非常有前途，但仍然涉及一个两步的过程中，结果候选人首先通过袋的字为基础的方法，然后重新排名的神经Transformer。在本文中，我们介绍了新的方法，有效地应用神经Transformer模型相似的文本检索和排名，而无需初始的词袋为基础的步骤。通过消除基于词袋的步骤，我们的方法能够准确地检索和排名结果，即使他们没有共同的非停用词的查询。我们通过使用来自Transformers（BERT）的双向编码器表示来创建长度为1的文本的矢量化表示，以及矢量最近邻搜索索引来实现这一点。我们演示了使用BERT来完成这项任务的监督和无监督手段。
2020-05-21 cs.CL cs.IR
An Information Retrieval Approach to Short Text Conversation
Huawei Technologies（华为技术有限公司）
人机对话被认为是人工智能中最困难的问题之一。在本文中，我们解决它的一个关键的子问题，被称为短文本会话，其中给定的消息从人类，计算机返回一个合理的响应消息。我们利用社交媒体上大量的简短对话数据来研究这个问题。我们建议在第一步将短文本会话形式化为搜索问题，并采用最先进的信息检索（IR）技术来执行任务。我们调查的意义，以及限制IR方法。我们的实验表明，检索为基础的模型可以使系统的行为，而“智能”，当与一个巨大的存储库的会话数据从社交媒体。
2014-08-29 cs.CL cs.IR
FiD-Light: Efficient and Effective Retrieval-Augmented Text Generation
TU Wien（维也纳工业大学）；Google（谷歌）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
检索增强生成模型比独立的语言模型提供了许多优点：除了对给定查询的文本答案之外，它们还提供从可更新的知识库检索的出处项。然而，它们也是更复杂的系统，需要处理长输入。在这项工作中，我们引入了FiD-Light，以大大提高最先进的检索增强FiD模型的效率，同时保持相同的有效性水平。我们的FiD-Light模型限制了从编码器（单独编码段落）到解码器（使用级联编码表示）的信息流。此外，我们通过文本源指针调整FiD-Light的重新排名功能，以提高排名靠前的出处精度。我们对七个知识密集型任务（KILT）的实验表明，FiD-Light始终提高了查询延迟和有效性之间的帕累托边界。具有光源指向功能的FiD-Light在六个KILT任务上获得了大量新的最先进的结果，用于组合文本生成和出处检索评估，同时保持合理的效率。
2022-09-28 cs.CL cs.IR
Audio Retrieval with Natural Language Queries
University of Oxford（牛津大学）
我们认为使用自由形式的自然语言查询检索音频的任务。为了研究这个问题，这在现有的文献中受到了有限的关注，我们引入了具有挑战性的新基准，基于文本的音频检索使用来自Audiocaps和Clotho数据集的文本注释。然后，我们使用这些基准来建立跨模态音频检索的基线，在那里我们展示了预训练对不同音频任务的好处。我们希望我们的基准将激发进一步的研究跨模态的基于文本的音频检索与自由形式的文本查询。
2021-07-22 cs.IR cs.SD eess.AS
Analysis of Plan-based Retrieval for Grounded Text Generation
Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）；University of Southern California（南加州大学）
本文利用指令微调大语言模型的规划能力引导检索，以降低长文本生成中的幻觉，通过提高相关事实覆盖率，生成更具信息量且归因率更高的响应。
2024-08-20 cs.CL cs.IR
mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval
Tongyi Lab, Alibaba Group（阿里巴巴集团通义实验室）；The Hong Kong Polytechnic University（香港理工大学）
本文从零构建了长上下文多语言文本表示模型与重排序器，通过引入支持8192-token的编码器及对比学习，在匹配甚至超越大规模模型性能的同时显著提升了训练与推理效率。
2024-10-14 cs.CL cs.IR
