Boot and Switch: Alternating Distillation for Zero-Shot Dense Retrieval
School of Computing and Information Systems（计算与信息系统学院）；The University of Melbourne（墨尔本大学）；Google DeepMind（谷歌DeepMind）
本文提出无监督交替蒸馏方法ABEL，通过稠密检索器与重排序器相互提供监督信号迭代提升，在BEIR基准上超越有监督和无监督检索器，并具备强零样本领域适应能力。
2023-11-27 cs.CL cs.IR
An Unsupervised Normalization Algorithm for Noisy Text: A Case Study for Information Retrieval and Stance Detection
Indian Institute of Technology Kharagpur（印度理工学院卡哈拉格普尔分校）；Indian Institute of Science Education and Research Kolkata（印度科学教育与研究学院加尔各答分院）
今天可用的大部分文本数据包含各种类型的“噪声”，例如数字化文档中的OCR噪声，微博网站上用户非正式写作风格引起的噪声等。为了能够在所有可用数据上执行搜索/检索和分类等任务，我们需要强大的文本规范化算法，即，用于清除文本中的各种噪音。已经有几种努力来清理或规范化噪声文本;然而，许多现有的文本规范化方法是受监督的，并且需要依赖于语言的资源或难以获得的大量训练数据。我们提出了一种无监督的文本规范化算法，不需要任何训练数据/人工干预。该算法适用于不同语言的文本，可以处理机器产生的和人类产生的噪音。在几个标准数据集上的实验表明，通过该算法的文本规范化，使更好的检索和立场检测，相比，使用几个基线文本规范化方法。我们的算法的实现可以在https://github.com/ranarag/UnsupClean上找到。
2021-01-09 cs.AI cs.CL cs.IR
Back-Training excels Self-Training at Unsupervised Domain Adaptation of Question Generation and Passage Retrieval
Mila/McGill University（Mila/麦吉尔大学）；Korbit Technologies（Korbit 科技公司）；Facebook CIFAR AI Chair（Facebook CIFAR AI 讲席）
在这项工作中，我们引入了反向训练，一种替代自训练的无监督领域自适应（UDA）从源到目标域。虽然自训练生成合成训练数据，其中自然输入与噪声输出对齐，但反向训练导致自然输出与噪声输入对齐。这显著地减小了目标域和合成数据分布之间的间隙，并且减小了模型对源域的过拟合。我们从\textit{Natural Questions}域到机器学习和生物医学域运行UDA实验的问题生成和段落检索。我们发现，反向训练大大优于自我训练，平均提高了7.8 BLEU-4分，在两个领域的前20名检索准确率为17.6%。我们进一步提出了一致性过滤器，以在训练之前去除低质量的合成数据。我们还发布了一个新的领域适应数据集- \textit{MLQuestions}，包含35 K未对齐的问题，50 K未对齐的段落和3 K对齐的问题-段落对。
2021-09-09 cs.AI cs.CL cs.LG
Unsupervised Multimodal Representation Learning across Medical Images and Reports
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
医学成像模式和相关放射学报告之间的联合嵌入有可能为临床社区提供显著的益处，范围从跨域检索到报告的条件生成，再到多模态表示学习的更广泛目标。在这项工作中，我们建立了基线联合嵌入结果测量通过本地和全球检索方法即将发布的MIMIC-CXR数据集，包括胸部X射线图像和相关的放射学报告。我们研究了监督和无监督的方法在这个任务上，并表明，对于学习表示的文档检索任务，只需要有限的监督量产生的结果相比，完全监督的方法。
2018-11-21 cs.CL cs.LG
SMART-RAG: Selection using Determinantal Matrices for Augmented Retrieval
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Information Management Department, Peking University（北京大学信息管理系）
本文提出SMART-RAG，一个完全无监督且无需训练的RAG上下文选择框架，利用行列式点过程同时建模相关性、多样性和冲突，有效解决了传统RAG的冗余与信息冲突问题，显著提升了问答性能。
2024-09-21 cs.CL
Unsupervised Domain Adaption for Neural Information Retrieval
HiTZ Basque Center for Language Technologies（HiTZ巴斯克语言技术中心）；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
本文对比了大型语言模型与规则方法在神经信息检索合成数据生成中的效果，发现前者大幅领先，且无监督域适应优于零样本，中等规模模型即可胜任。
2023-10-13 cs.AI cs.CL
Multi-Vector Retrieval as Sparse Alignment
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Google Research（谷歌研究院）
多向量检索模型在许多信息检索任务上优于单向量双编码器。在本文中，我们铸造的多向量检索问题的查询和文档标记之间的稀疏对齐。我们提出了AligneR，一种新的多向量检索模型，学习查询和文档标记（例如“狗”与“小狗”）之间的稀疏成对对齐，以及反映其相对重要性的每标记一元显着性检索。我们表明，控制成对令牌对齐的稀疏性往往会带来显着的性能增益。虽然大多数聚焦于文档的特定部分的仿真问题需要较少数量的对齐，但其他需要对文档有更广泛理解的问题则倾向于更多数量的对齐。另一方面，一元显着性决定了一个token是否需要与其他token对齐以进行检索（例如，“kind”来自“kind of currency is used in new zealand}”）。利用稀疏化的一元显著性，我们能够修剪大量的查询和文档标记向量，提高多向量检索的效率。我们使用熵正则化线性规划来学习稀疏的一元显著性，这比其他方法更能实现稀疏性。在zero-shot设置中，AligneR在nDCG@10中得分为51.1分，在BEIR基准测试中的13项任务中实现了新的仅回收器的最先进水平。此外，采用几个示例（<= 8）的成对比对进一步提高了参数检索任务的性能，最高可达15.7分nDCG@10。AligneR的一元显着性帮助我们仅保留20%的文档标记表示，性能损失最小。我们进一步表明，我们的模型通常产生可解释的对齐，并显着提高其性能时，从…
2022-11-02 cs.CL cs.IR
Rethinking the Role of Token Retrieval in Multi-Vector Retrieval
Google DeepMind（谷歌DeepMind）
本文提出 XTR 多向量检索模型，通过新目标函数优先检索重要文档 token，使评分仅依赖检索到的 token，成本较 ColBERT 降低两到三个数量级，并在 BEIR 上提升 nDCG@10 达 2.8。
2024-04-08 cs.CL cs.IR
Lbl2Vec: An Embedding-Based Approach for Unsupervised Document Retrieval on Predefined Topics
Technical University of Munich（慕尼黑工业大学）
在本文中，我们考虑使用无监督的方法从未标记的文档数据集中检索具有预定义主题的文档的任务。所提出的无监督方法只需要少量的关键字描述各自的主题，没有标记的文件。现有的方法要么严重依赖于大量的额外编码的世界知识或术语文档频率。此外，我们引入了一种方法，学习联合嵌入的文档和词向量，仅从未标记的文档数据集，以找到语义相似的主题所描述的关键字的文件。所提出的方法几乎不需要文本预处理，但同时有效地检索相关文档的概率很高。当从公开和常用的数据集连续检索不同预定义主题的文档时，我们在一个数据集上实现了0.95的接收器工作特征曲线值下的平均面积，在另一个数据集上实现了0.92。此外，我们的方法可以用于多类文档分类，而不需要预先为数据集分配标签。与无监督分类基线相比，我们将各自数据集的F1分数从76.6增加到82.7，从61.0增加到75.1。为了便于复制我们的方法，我们将开发的Lbl 2 Vec代码作为3-Clause BSD许可证下的即用型工具公开提供。
2022-10-12 cs.AI cs.CL
ReinPool: Reinforcement Learning Pooling Multi-Vector Embeddings for Retrieval System
LG Uplus（LG 集团）
ReinPool通过强化学习动态过滤多向量嵌入，实现高效的检索系统，显著提升检索性能。
2026-01-12 cs.CL cs.CV cs.IR
Distributional Inclusion Vector Embedding for Unsupervised Hypernymy Detection
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Tsinghua University（清华大学）
对上位关系的建模，如poodle is-a dog，是许多自然语言处理任务的重要泛化辅助工具，如蕴涵、共指、关系抽取和问答。从标记的上位词源（如WordNet）进行的监督学习限制了这些模型的覆盖范围，这可以通过从未标记的文本中学习上位词来解决。现有的无监督方法要么不能扩展到大的词汇表，要么产生不可接受的低精度。本文介绍了分布式包含向量嵌入（DIVE），一个简单的实现无监督的上位词发现方法，通过每个词的非负向量嵌入，保持包含属性的词上下文在一个低维和可解释的空间。在实验评估更全面，比任何以前的文献，我们知道11个数据集使用多个现有的以及新提出的评分功能评估，我们发现，我们的方法提供了两倍的精度以前的无监督嵌入，和最高的平均性能，使用更紧凑的词表示，并产生许多新的国家的最先进的结果。
2018-05-29 cs.CL
Retrieval Augmented Generation based Large Language Models for Causality Mining
Indiana University Indianapolis（印第安纳大学印第安纳波利斯分校）
本文提出基于检索增强生成（RAG）的动态提示方案，提升大语言模型在因果检测与挖掘任务中的性能，并在多数据集和多模型上验证其优越性。
2025-05-29 cs.CL
AugTriever: Unsupervised Dense Retrieval and Domain Adaptation by Scalable Data Augmentation
Salesforce Research（Salesforce研究院）
本研究针对稠密检索依赖人工标注的问题，提出AugTriever框架，通过查询提取和迁移式查询生成两种无监督数据增强方法生成伪查询-文档对，在BEIR和ODQA数据集上实现了优于强基线的无监督稠密检索、域适应及有监督微调效果。
2024-10-30 cs.CL cs.IR
Unsupervised Multilingual Dense Retrieval via Generative Pseudo Labeling
National Taiwan University（国立台湾大学）；Taiwan AI Labs（台湾人工智能实验室）
针对多语言稠密检索依赖大量配对数据的难题，提出无监督模型UMR，利用多语言大模型的序列似然估计生成伪标签，通过两阶段迭代框架训练，在两个基准数据集上超越有监督基线，且代码数据模型已开源。
2024-03-06 cs.CL cs.IR
Soft Seeded SSL Graphs for Unsupervised Semantic Similarity-based Retrieval
基于语义相似度的检索在现代网络搜索、问答、相似文档检索等领域发挥着越来越重要的作用。语义相似内容检索的改进对Quora、Stack Overflow、Siri等应用程序具有重要意义。我们提出了一种新的基于语义相似度的无监督内容检索模型，在该模型中，我们为每个查询构建语义流图，并在基于图的半监督学习（SSL）中引入“软播种”的概念，以将其转换为无监督模型。我们证明了我们的模型在Stack Exchange QA数据集上的等效问题检索问题上的有效性，其中我们的无监督方法显着优于最先进的无监督模型，并产生与最佳监督模型相当的结果。我们的研究提供了一种方法来解决基于语义相似性的检索没有任何训练数据，并允许无缝扩展到不同领域的QA社区，以及其他语义等价的任务。
2017-12-15 cs.IR
GPL: Generative Pseudo Labeling for Unsupervised Domain Adaptation of Dense Retrieval
Technical University of Darmstadt（达姆施塔特工业大学）；University of Waterloo（滑铁卢大学）；Hugging Face
稠密检索方法可以克服词汇鸿沟，并导致显着改善的搜索结果。然而，它们需要大量的训练数据，这对于大多数领域是不可用的。如先前的工作所示（Thakur等人，2021b），密集检索器的性能在域转移下严重降低。这将稠密检索方法的使用限制在仅具有大训练数据集的少数域。在本文中，我们提出了新的无监督领域自适应方法生成伪标记（GPL），它结合了查询生成器和伪标记从交叉编码器。在六个有代表性的领域专用数据集上，我们发现建议的GPL可以优于开箱即用的最先进的稠密检索方法，最多可达9.3点nDCG@10。GPL需要来自目标域的更少（未标记）数据，并且在训练中比以前的方法更鲁棒。我们进一步研究了六个最近的预训练方法在检索任务的领域自适应场景中的作用，其中只有三个可以产生改进的结果。最好的方法，TSDAE（Wang等人，2021年）可以与GPL结合使用，在六个任务中平均提高1.4分nDCG@10。代码和模型可在https://github.com/UKPLab/gpl上获得。
2022-04-25 cs.CL cs.IR
CNN Retrieval based Unsupervised Metric Learning for Near-Duplicated Video Retrieval
多媒体视频作为重要的数据载体，其数量的急剧增加往往会导致大量重复和近似重复的视频出现在搜索结果的前列。近重复视频检索（NDVR）可以聚类并过滤掉冗余内容。本文提出的NDVR方法从全连接层和聚合中间卷积层提取基于卷积神经网络（CNN）特征的帧级视频表示。无监督度量学习用于相似性度量和特征匹配。结合k-最近邻域的重排序算法融合了两级特征的检索结果，进一步提高了检索性能。在广泛使用的CC\_WEB\_VIDEO数据集上的大量实验表明，该方法具有优于现有技术的性能。
2021-05-30 cs.IR
Evaluating Multilingual Text Encoders for Unsupervised Cross-Lingual Retrieval
University of Mannheim（曼海姆大学）；University of Cambridge（剑桥大学）
基于神经Transformer架构的预训练多语言文本编码器，如多语言BERT（mBERT）和XLM，在无数的语言理解任务上取得了很好的性能。因此，它们已被采用作为多语言和跨语言表示学习和迁移的一个去范例，使跨语言词嵌入（CLWEs）有效地过时。然而，问题仍然存在，在何种程度上这一发现推广1）无监督的设置和2）特设跨语言IR（CLIR）的任务。因此，在这项工作中，我们提出了一个系统的实证研究集中在国家的最先进的多语言编码器跨语言的文档和句子检索任务在大量的语言对的适用性。与有监督的语言理解相比，我们的研究结果表明，对于无监督的文档级CLIR -一种没有针对IR特定微调的相关性判断的设置-预训练编码器未能显着优于基于CLWE的模型。对于高级CLIR，我们证明了可以实现最先进的性能。然而，使用通用多语言文本编码器“现成的”并不能达到峰值性能，而是依赖于它们的变体，这些变体进一步专门用于句子理解任务。
2021-01-21 cs.CL cs.IR
U-CREAT: Unsupervised Case Retrieval using Events extrAcTion
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
本文提出U-CREAT无监督案例检索流水线，通过事件抽取提升法律先例检索性能与速度，并在印度IL-PCR和加拿大COLIEE两个法律体系基准上取得最先进结果。
2023-07-11 cs.AI cs.CL cs.IR
Coupled CycleGAN: Unsupervised Hashing Network for Cross-Modal Retrieval
近年来，散列算法以其存储成本低、查询效率高等优点在大规模跨模态检索中受到越来越多的关注。得益于深度学习，跨模态检索领域取得了令人瞩目的研究成果。然而，现有的深度跨模态散列方法要么依赖于大量的标记信息，要么没有能力学习不同模态之间的准确性相关性。本文提出了一种无监督耦合循环生成对抗哈希网络（UCH），用于跨模态检索，其中外循环网络用于学习强大的公共表示，内循环网络用于生成可靠的哈希码。具体来说，我们提出的UCH将这两个网络与生成对抗机制无缝耦合，可以同时优化以学习表示和哈希码。在三个流行的基准数据集上进行的大量实验表明，所提出的UCH优于最先进的无监督跨模态哈希方法。
2019-03-06 cs.IR
Unsupervised Context Retrieval for Long-tail Entities
University of Stavanger（斯塔万格大学）；Signal（Signal公司）
监视媒体流中的实体通常依赖于丰富的实体表示，如知识库（KB）中可用的结构化信息。对于长尾实体，由于其在参考知识库中的代表性有限（如果不是完全缺失的话），这种监测是非常具有挑战性的。在本文中，我们解决的问题，检索文本上下文监测长尾实体。我们提出了一种无监督的方法来克服长尾实体的有限表示，利用已建立的实体和它们的上下文作为支持信息。一个专门建立的测试集合上的评估显示了我们的方法的适用性和它的鲁棒性的KB实体。
2019-08-05 cs.AI cs.CL cs.IR
Unsupervised Dense Retrieval with Relevance-Aware Contrastive Pre-Training
University of Amsterdam（阿姆斯特丹大学）；JD Explore Academy（京东探索研究院）；Tencent IEG（腾讯互动娱乐事业群）；China University of Petroleum (East China)（中国石油大学（华东））
针对无监督对比预训练中伪正例不相关的问题，本文提出相关性感知对比学习，利用模型自身估计正例对相关性并自适应加权损失，在 BEIR 和开放域 QA 检索上持续提升 Contriever。
2023-06-05 cs.CL cs.IR
Unsupervised, Efficient and Semantic Expertise Retrieval
University of Amsterdam（阿姆斯特丹大学）
我们引入了一个无监督的判别模型的任务，检索专家在线文档集。我们只使用文本证据，并通过以无监督的方式学习分布式单词表示来避免显式特征工程。我们将我们的模型与最先进的无监督统计向量空间和概率生成方法进行比较。我们提出的对数线性模型达到了最先进的以文档为中心的方法的检索性能水平，具有所谓的以配置文件为中心的方法的低推理成本。在大多数情况下，它在向量空间和生成模型上产生了统计上显著的改进排名，与各种基准上的监督方法的性能相匹配。也就是说，通过只使用文本，我们可以做得和使用外部证据和/或相关反馈的方法一样好。对比分析的排名产生的歧视性和生成的方法表明，他们有互补的优势，由于无监督的判别模型进行语义匹配的能力。
2017-09-17 cs.AI cs.CL cs.IR
Unsupervised Domain Adaptation for Sparse Retrieval by Filling Vocabulary and Word Frequency Gaps
Tokyo Institute of Technology（东京工业大学）
使用预训练的语言模型的IR模型显著优于像BM 25这样的词汇方法。特别是，SPLADE，它编码的文本稀疏向量，是一个有效的模型，用于实际使用，因为它显示了鲁棒性域外数据集。然而，SPLADE仍然在训练数据中的低频词的精确匹配上挣扎。此外，词汇和词频的域转移恶化了SPLADE的IR性能。由于在目标域中监督数据是稀缺的，所以在没有监督数据的情况下解决域转移是必要的。本文提出了一种无监督的领域自适应方法，通过填充词汇和词频的差距。首先，我们扩展词汇表，并在目标领域的语料库上使用掩蔽的语言模型执行持续的预训练。然后，我们乘以SPLADE编码的稀疏向量的逆文档频率权重，以考虑的重要性，与低频字的文件。我们使用我们的方法在数据集上进行了实验，这些数据集与源域有很大的词汇差距。我们表明，我们的方法优于目前最先进的领域自适应方法。此外，我们的方法实现了最先进的结果，结合BM 25。
2022-11-08 cs.CL cs.IR
Unsupervised Query Routing for Retrieval Augmented Generation
针对现有检索增强生成查询路由方法依赖人工标注监督数据、成本高且泛化性差的问题，提出一种构建“上限”响应评估检索质量的无监督方法，可自动生成训练数据，在五个数据集上验证了其更优的可扩展性与泛化能力。
2025-01-14 cs.IR
PyRetri: A PyTorch-based Library for Unsupervised Image Retrieval by Deep Convolutional Neural Networks
Megvii Technology（旷视科技）；Nanjing University of Science and Technology（南京理工大学）；Alibaba Group（阿里巴巴集团）
尽管将深度学习方法应用于基于内容的图像检索领域取得了重大进展，但还没有一个软件库以统一的方式涵盖这些方法。为了填补这一空白，我们引入了PyRetri，这是一个基于深度学习的无监督图像检索的开源库。该库将检索过程封装在几个阶段中，并为每个阶段提供涵盖各种主要方法的功能。其设计思想是为基于深度学习的图像检索研究提供一个统一的平台，具有较高的可用性和可扩展性。据我们所知，这是第一个通过深度学习进行无监督图像检索的开源库。
2020-08-05 cs.CV cs.IR cs.LG
Unsupervised Document Expansion for Information Retrieval with Stochastic Text Generation
信息检索面临的挑战之一是词汇不匹配问题，这是指查询词和文档之间的词在词汇上不同但在语义上相似。虽然最近的工作已经提出了扩展查询或文档，丰富他们的表示与额外的相关条款，以解决这一挑战，他们通常需要大量的查询文档对训练的扩展模型。在本文中，我们提出了一个无监督的文档扩展与生成（UDEG）框架与预训练的语言模型，生成不同的补充句子的原始文档，而不使用标签的查询文档对进行训练。为了生成句子，我们进一步随机扰动它们的嵌入，以生成更多样化的句子用于文档扩展。我们验证我们的框架上的两个标准的IR基准数据集。结果表明，我们的框架显着优于相关的扩展基线IR。
2021-10-14 cs.IR
DeepDiffusion: Unsupervised Learning of Retrieval-adapted Representations via Diffusion-based Ranking on Latent Feature Manifold
University of Yamanashi（山梨大学）
特征表示的无监督学习对于分析大量没有语义标签的多媒体数据是一个具有挑战性的重要问题。最近提出的基于神经网络的无监督学习方法已经成功地获得了适合于多媒体数据分类的特征。然而，无监督学习的特征表示适应于基于内容的匹配，比较，或检索的多媒体数据还没有得到很好的探索。为了获得这样的检索适应功能，我们引入了结合扩散距离的特点流形与神经网络为基础的无监督特征学习的想法。这个想法被实现为一种称为DeepDiffusion（DD）的新算法。DD同时优化两个组件，一个是由深度神经网络嵌入的特征，另一个是利用潜在特征流形上的扩散的距离度量。DD依赖于其损失函数，而不是编码器架构。因此，它可以应用于不同的多媒体数据类型与它们各自的编码器架构。使用3D形状和2D图像的实验评估证明了DD算法的多功能性和高精度。代码可在https://github.com/takahikof/DeepDiffusion上获得
2022-11-14 cs.CV cs.IR
LaPraDoR: Unsupervised Pretrained Dense Retriever for Zero-Shot Text Retrieval
University of California, San Diego（加州大学圣地亚哥分校）；Microsoft Research Asia（微软亚洲研究院）；Sun Yat-sen University（中山大学）
在本文中，我们提出了LaPraDoR，这是一种预训练的双塔密集检索器，不需要任何监督数据进行训练。具体来说，我们首先提出迭代对比学习（ICoL），迭代训练查询和文档编码器的缓存机制。ICoL不仅扩大了负实例的数量，而且还将缓存示例的表示保持在相同的隐藏空间中。然后，我们提出了词汇增强的稠密检索（LEDR）作为一个简单而有效的方法来提高稠密检索与词汇匹配。我们评估LaPraDoR最近提出的BEIR基准，包括18个数据集的9个zero-shot文本检索任务。实验结果表明，与有监督的稠密检索模型相比，LaPraDoR具有最先进的性能，进一步的分析揭示了我们的训练策略和目标的有效性。与重新排名相比，我们的词汇增强方法可以在毫秒内运行（快22.5倍），同时实现卓越的性能。
2022-04-27 cs.AI cs.CL cs.IR
Exploiting Hierarchical Dependence Structures for Unsupervised Rank Fusion in Information Retrieval
在信息检索中，等级融合的目标是从多个搜索结果中产生一个单一的输出列表。通过组合各种IR系统的输出来提高性能是一项具有挑战性的任务。一个中心点是，许多不明显的因素参与相关性的估计，导致数据之间的非线性相互关系。在信息检索领域中，对随机变量之间的复杂依赖关系建模的能力已经变得越来越流行，并且最近已经认识到需要进一步探索这些依赖关系以用于数据融合。Copula提供了一个框架来分离依赖结构和边际。受Copula理论的启发，我们提出了一种新的无监督的、动态的、非线性的、基于非代数函数对嵌套合成的秩融合方法。模型的依赖结构是通过在每个查询的基础上利用查询-文档相关性来定制的。我们实验了CLEF语料库融合3和6检索系统的三个主题集，比较我们的方法对CombMNZ技术和其他非线性无监督策略。实验表明，我们的融合方法在显式条件下提高了性能，在这种情况下，线性融合技术具有与非线性方法相当的性能。
2022-08-10 cs.IR
A high speed unsupervised speaker retrieval using vector quantization and second-order statistics
本文描述了一种有效的无监督的说话人检索方法。我们假设每个音频文件或音频片段中只有一个扬声器。使用公共通用码本对音频数据进行建模。码本基于帧袋（BOF）。从所有音频文件中提取与音频帧相对应的特征。使用K-means算法将这些特征分组到聚类中。各个音频文件通过对应于该文件的聚类箱的数量的归一化分布来建模。在第一层中，使用向量空间表示来检索与查询文件最近的k。在第二层中，二阶统计测量应用于获得的k-最近的文件，以找到检索的最终结果。所描述的方法进行评估的法语广播新闻的酯语料库的子集。
2010-09-09 cs.IR cs.SD
Retrieval-efficiency trade-off of Unsupervised Keyword Extraction
本文提出一种无监督关键词提取方法，通过顺序合并文档部分并利用个性化PageRank，在保持最先进检索性能的同时，速度比现有方法快两个数量级，并能在不到一分钟内处理1400万篇文档。
2022-08-15 cs.IR
Unsupervised dense retrieval with conterfactual contrastive learning
本文提出基于博弈论与无监督反事实学习的正则化方法，通过增强稠密检索模型对细粒度相关性信号的敏感性，在无需段落级标注的情况下提升模型可解释性与抗对抗攻击鲁棒性。
2024-12-30 cs.IR
Unsupervised Multi-Criteria Adversarial Detection in Deep Image Retrieval
Old Dominion University（欧道明大学）；Zhejiang University（浙江大学）；University of Delaware（特拉华大学）
针对深度图像检索中对抗攻击防御策略缺失的问题，提出一种无监督多准则检测方案，通过汉明距离、量化损失和去噪三准则限制对抗空间，在四个数据集上实现2-23%检测率提升且计算开销极小。
2023-04-09 cs.CV cs.IR
Unsupervised Corpus Poisoning Attacks in Continuous Space for Dense Retrieval
本文提出在连续嵌入空间中进行无监督语料库污染攻击的方法，通过优化保持文档嵌入几何距离和最大化词级差异，提升攻击效率和效果，实验验证了其在不同领域数据集上的有效性。
2026-03-16 cs.CL cs.IR
Unsupervised Context Aware Sentence Representation Pretraining for Multi-lingual Dense Retrieval
最近的研究表明，使用预训练的语言模型（PLM），以提高稠密检索和多语言稠密检索的有效性。在这项工作中，我们提出了一个简单而有效的单语预训练任务称为对比上下文预测~（CCP）学习句子表示建模句子水平的上下文关系。通过将句子在局部上下文中的嵌入推得更近，并将随机负样本推得更远，不同语言可以形成同构结构，然后两种不同语言的句子对将自动对齐。实验表明，语言模型对比训练过程中容易出现模型崩溃和信息泄漏，而语言专用存储体和非对称批量归一化操作分别对防止崩溃和信息泄漏起到了至关重要的作用。此外，句子嵌入的后处理也是非常有效的，以实现更好的检索性能。在多语言句子检索任务Tatoeba上，我们的模型在不使用双语数据的情况下实现了新的SOTA结果。我们的模型也显示出较大的增益Tatoeba之间转移时，非英语对。在两个多语言的查询通道检索任务，XOR和TYDI先生，我们的模型甚至实现了两个SOTA结果在所有预训练模型使用双语数据的zero-shot和监督设置。
2022-06-07 cs.IR
LLM2IR: simple unsupervised contrastive learning makes long-context LLM great retriever
Computer Science（计算机科学）
LLM2IR通过简单无监督对比学习将长上下文LLM转化为高效检索器，验证了上下文长度与检索能力的关系。
2025-10-31 cs.AI cs.CL cs.IR
Unsupervised Large Language Model Alignment for Information Retrieval via Contrastive Feedback
针对LLMs在信息检索中生成响应过于通用难以区分相似文档的问题，提出无监督对齐方法RLCF，通过相似文档组构建对比反馈信号并在PPO中优化模型，显著提升了响应的独特性与检索性能。
2024-03-26 cs.IR
Contrastive Quantization with Code Memory for Unsupervised Image Retrieval
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学清华-深圳国际研究生院）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Shenzhen University（深圳大学）；Peng Cheng Laboratory（鹏城实验室）
散列（包括二进制散列和量化）在计算和存储方面的高效率使得它成为大规模检索系统中的常用策略。为了减轻对昂贵注释的依赖，无监督深度哈希成为一个重要的研究问题。本文提出了一种新的无监督深度量化解决方案，即具有代码记忆的对比量化（MeCoQ）。与现有的基于重构的策略不同，我们通过对比学习来学习无监督的二进制描述符，这可以更好地捕获有区别的视觉语义。此外，我们发现码字多样性正则化是关键，以防止对比学习为基础的量化模型退化。此外，我们引入了一种新的量化代码存储器模块，该模块比传统的特征存储器具有更低的特征漂移，从而提高了对比学习。在基准数据集上的大量实验表明，MeCoQ优于最先进的方法。代码和配置可在https://github.com/gimpong/AAAI22-MeCoQ上公开获取。
2022-03-08 cs.AI cs.CV cs.IR
On Cross-Lingual Retrieval with Multilingual Text Encoders
University of Cambridge（剑桥大学）；University of Mannheim（曼海姆大学）
在这项工作中，我们提出了一个系统的实证研究，重点是国家的最先进的多语言编码器跨语言的文件和句子检索任务在许多不同的语言对的适用性。我们首先将这些模型视为多语言文本编码器，并在无监督的特设句子和文档级CLIR中对其性能进行基准测试。与有监督的语言理解相比，我们的研究结果表明，对于无监督的文档级CLIR -一种没有针对IR特定微调的相关性判断的设置-平均而言，预训练的多语言编码器未能显着优于基于CLWE的早期模型。对于高级检索，我们确实获得了最先进的性能：然而，峰值分数是由多语言编码器满足的，这些编码器以监督的方式进一步专门用于句子理解任务，而不是使用它们的香草“现成”变体。根据这些结果，我们介绍了本地化的相关性匹配文档级CLIR，我们独立的分数对文档部分的查询。在第二部分中，我们评估了以监督方式微调的多语言编码器（即，我们学习排名）在一系列的zero-shot语言和域转移CLIR实验中的英语相关性数据。我们的研究结果表明，监督重新排名很少提高性能的多语言Transformers作为无监督的基础排名。最后，只有通过域内对比微调（即，相同的域，只有语言迁移），我们设法提高排名质量。我们发现跨语言检索结果和（zero-shot）跨语言迁移的结果在目标语言中的单语检索之间存在实质性的经验差异，这表明在单语数据上训练的检索模型的“单语过拟合”。
2021-12-21 cs.CL cs.IR
HiHPQ: Hierarchical Hyperbolic Product Quantization for Unsupervised Image Retrieval
HiHPQ提出在双曲几何中结合层次化语义相似性的无监督乘积量化方法，通过双曲乘积量化器和层次化语义学习模块提升图像检索性能，实验证明其优于现有最先进基线。
2024-01-14 cs.IR
Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Pattern Recognition Center, WeChat AI（微信AI模式识别中心）
本文提出InFO-RAG无监督信息精炼训练方法，将LLM视为RAG中的信息精炼器，以低成本提升其整合并优化不同质量检索文本的能力；11个数据集零样本实验显示其平均提升LLaMA2性能9.39%。
2024-06-12 cs.AI cs.CL cs.IR
Temporal Preference Optimization for Unsupervised Retrieval
Microsoft, Redmond, USA（微软公司，美国红mond）；Sungkyunkwan University, Suwon, South Korea（成均馆大学，韩国首尔）
提出TPOUR方法，通过时间检索偏好优化（TRPO）和可学习时间嵌入插值，使无监督稠密检索器能捕捉时间相关性，在时间信息检索任务上超越有监督和无监督基线。
2026-06-17 cs.AI cs.IR
Generalized Ensemble Model for Document Ranking in Information Retrieval
提出了一种用于文档排序的广义集成模型（gEnM）。gEnM线性地组合基础文档检索模型，并尝试在高位检索相关文档。为了获得多个文档检索模型或排序器的最优线性组合，通过直接最大化平均精度来制定优化程序。提出了有监督学习和无监督学习两种算法来求解该问题。对于有监督的方案，考虑了两种方法的基础上的数据设置，即批量和在线设置。在批量设置中，我们提出了一个修正的牛顿算法，gEnM.BAT，通过近似的导数和海森矩阵。在在线环境中，我们提出了一个基于随机梯度下降（SGD）的算法-gEnM. ON。对于无监督的计划，一个无监督的集成模型（UnsEnM），从每个组成的排名迭代共同学习。在基准数据集上的实验研究验证了所提算法的有效性。因此，通过适当的算法，gEnM在不同的实际信息检索应用中是可行的选择。
2017-02-01 cs.IR
Unsupervised Visual and Textual Information Fusion in Multimedia Retrieval - A Graph-based Point of View
多媒体收藏在规模和多样性上比以往任何时候都要增长。因此，有效的多媒体检索系统是至关重要的访问这些数据集从最终用户的角度来看，并在一个可扩展的方式。我们感兴趣的图像/文本多媒体对象的存储库，我们研究多模态信息融合技术的背景下，基于内容的多媒体信息检索。我们专注于基于图形的方法，已被证明提供最先进的性能。我们特别研究了其中两种方法：跨媒体相似性和基于随机游走的分数。从理论的角度来看，我们提出了一个统一的基于图的框架，其中包括上述两种方法。我们的建议使我们能够突出的核心功能时，应该考虑使用基于图形的技术结合视觉和文本信息。我们使用三个不同的现实世界的数据集比较跨媒体和随机游走的结果。从实用的角度来看，我们扩展的实证分析，使我们能够提供见解和指导方针，使用基于图的方法，多模态信息融合在基于内容的多媒体信息检索。
2014-01-27 cs.IR
Unsupervised Cross-Media Hashing with Structure Preservation
Institute for Infocomm Research（信息通信研究院）
近年来，异构多媒体数据呈指数级增长。从异构数据源中进行有效、准确的数据检索的需求吸引了跨媒体检索的研究兴趣。在这里，给定任何媒体类型的查询，跨媒体检索试图从异构数据源中找到不同媒体类型的相关结果。为了便于大规模的跨媒体检索，我们提出了一种新的无监督跨媒体哈希方法。我们的方法将局部亲和力和距离排斥的限制到一个矩阵分解框架。相应地，所提出的方法学习散列函数，从不同的媒体类型生成统一的散列码，同时确保数据分布的固有几何结构被保留。这些散列码使不同媒体类型的数据之间的相似性能够被直接评估。在两个大规模多媒体数据集上的实验结果表明了该方法的有效性，优于现有的方法。
2016-03-18 cs.CV cs.IR
Unsupervised Graph-based Rank Aggregation for Improved Retrieval
University of Campinas (UNICAMP)（坎皮纳斯大学）；São Paulo State University (UNESP)（圣保罗州立大学）
本文提出了一个强大的和全面的基于图的排名聚合方法，用于合并检索任务中孤立的排名模型的结果。该方法遵循一个无监督的计划，这是独立的孤立的行列如何制定。我们的方法是能够结合任意的模型，定义在不同的排名标准，如那些基于文本，图像或混合内容表示。我们重新制定的ad-hoc检索问题作为一个文件检索的基础上融合图，我们提出了一个新的统一的表示模型，能够合并多个等级，并表示检索结果的相互关系自动。通过这样做，我们声称检索系统可以受益于学习数据集的流形结构，从而导致更有效的结果。另一个贡献是，与现有方法不同，我们的基于图的聚合公式允许封装从多个排名编码的上下文信息，这些信息可以直接用于排名，而无需对图进行进一步的计算和后处理步骤。基于图，一个新的相似性检索分数制定使用一个有效的计算最小公共子图。最后，与现有方法相比的另一个好处是没有超参数。考虑到不同的知名公共数据集，包括文本，图像和多模态文档进行了全面的实验评估。执行的实验表明，我们的方法达到最高性能，产生更好的有效性分数比国家的最先进的基线方法，并促进大收益的排名被融合，从而证明了成功的能力的建议表示查询的基础上统一的基于图的模型排名融合。
2019-03-18 cs.CV cs.IR
Shuffle and Learn: Minimizing Mutual Information for Unsupervised Hashing
University of British Columbia（不列颠哥伦比亚大学）
无监督二进制表示允许快速数据检索而无需任何注释，从而实现快速人员重新识别和多媒体检索等实际应用。有人认为，二进制空间中的冲突是高性能无监督哈希的主要障碍之一，因为目前的方法未能捕捉到精确的代码冲突在整个域。提出了一种新的松弛方法Shuffle and Learn来解决无监督哈希中的代码冲突。联合概率的近似导数和二进制层的梯度被引入以桥接从散列到输入的更新。给出了$ε$ --联合概率逼近导数收敛性的证明，保证了互信息更新的精确性。所提出的算法进行迭代全局更新，以最小化互信息，发散代码之前，定期无监督优化。实验表明，所提出的方法可以放松局部最优的代码优化，并有助于生成更有区别性和信息量的二进制表示，没有任何注释。在三个开放数据集上进行了无监督二进制代码图像检索的性能基准测试，并且该模型在所有这些数据集上的图像检索任务上都达到了最先进的精度。提供了数据集和可复制的代码。
2020-11-20 cs.CV cs.IR cs.LG
Precise Zero-Shot Dense Retrieval without Relevance Labels
Carnegie Mellon University（卡内基梅隆大学）；University of Waterloo（滑铁卢大学）
虽然密集检索已被证明是有效和高效的跨任务和语言，它仍然难以创建有效的完全zero-shot稠密检索系统时，没有相关性标签。在本文中，我们认识到零样本学习和编码相关性的困难。相反，我们建议通过假设的文档嵌入（HyDE）。给定一个查询，HyDE第一个zero-shot命令一个遵循查询的语言模型（例如，InstructGPT）生成一个假设文档。该文档捕获相关性模式，但不真实，可能包含错误的细节。然后，一个无监督的对比学习编码器（例如Contriever）将文档编码为嵌入向量。该向量识别语料库嵌入空间中的邻域，其中基于向量相似性检索相似的真实文档。第二步将生成的文档与实际的语料库联系起来，编码器的密集瓶颈过滤掉了不正确的细节。我们的实验表明，HyDE显著优于最先进的无监督密集检索器Contriever，并显示出与微调检索器相当的强大性能，跨越各种任务（例如Web搜索，QA，事实验证）和语言（例如SW，KO，JA）。
2022-12-20 cs.CL cs.IR
CITADEL: Conditional Token Interaction via Dynamic Lexical Routing for Efficient and Effective Multi-Vector Retrieval
University of Waterloo（滑铁卢大学）；Meta AI
多向量检索方法结合了稀疏（例如BM 25）和密集（例如DPR）检索器的优点，并在各种检索任务上实现了最先进的性能。然而，与单向量方法相比，这些方法要慢几个数量级，并且需要更多的空间来存储索引。在本文中，我们统一了不同的多向量检索模型从令牌路由的角度来看，并提出条件令牌交互通过动态词汇路由，即CITADEL，高效和有效的多向量检索。CITADEL学习将不同的令牌向量路由到预测的词汇“键”，使得查询令牌向量仅与路由到相同键的文档令牌向量交互。这种设计在保持高精度的同时显著降低了计算成本。值得注意的是，CITADEL在域内（MS MARCO）和域外（BEIR）评估方面都实现了与先前最先进的ColBERT-v2相同或略好的性能，同时速度快了近40倍。代码和数据可在https://github.com/facebookresearch/dpr-scale上获得。
2022-11-18 cs.CL cs.IR
Tiny Descriptors for Image Retrieval with Unsupervised Triplet Hashing
Institute for Infocomm Research（资讯通信研究院）；Université Pierre et Marie Curie（皮埃尔和玛丽·居里大学）；CentraleSupélec（巴黎中央理工-高等电力学院）
一个典型的图像检索流水线开始于比较来自大型数据库的全局描述符，以找到候选匹配的短列表。一个好的图像描述符是检索管道的关键，应该协调两个矛盾的要求：提供尽可能高的召回率和尽可能紧凑的快速匹配。随着深度卷积神经网络（DCNN）在大规模图像分类中的成功应用，越来越多地使用从DCNN中提取的描述符来代替传统的手工描述符，如具有更好检索性能的Fisher向量（FV）。然而，典型的DCNN描述符的维度-从视觉特征金字塔或完全连接的层中提取-在数千个标量值处仍然相当高。在本文中，我们提出了无监督三重哈希（UTH），一种完全无监督的方法来计算非常紧凑的二进制哈希-在32-256位范围内-从高维全局描述符。UTH由两个连续的深度学习步骤组成。首先，堆叠限制玻尔兹曼机（SRBM），一种无监督的深度神经网络，用于学习二进制嵌入函数，能够将描述符大小降低到所需的比特率。SRBM通常能够以丢失原始DCNN描述符空间的一些期望度量属性为代价来确保非常高的压缩率。然后，三元组网络，基于权重共享网络的秩学习方案被用来微调二进制嵌入函数，以尽可能多地保留原始空间的有用度量属性。使用DCNN描述符对多个公开可用的数据集进行的全面实证评估表明，我们的方法能够在目标比特范围内显着优于最先进的无监督方案。
2015-11-10 cs.CV cs.IR cs.LG
Unsupervised Data-Efficient Cross-Modal Retrieval with Global-Neighborhood Alignment Hashing
School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院）；Shien-Ming Wu School of Intelligent Engineering, South China University of Technology（华南理工大学吴贤铭智能工程学院）；College of Computer and Information Engineering, Henan Normal University（河南师范大学计算机与信息工程学院）；VinUniversity（Vin大学）
提出全局邻域对齐哈希（GNAH），通过原型锚定全局对齐和对比随机邻域对齐，在少量图像-文本对下学习紧凑二进制码，实现数据高效的无监督跨模态检索。
2026-07-01 cs.CV cs.IR
Learning More From Less: Towards Strengthening Weak Supervision for Ad-Hoc Retrieval
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
有限的可用性地面真相相关标签一直是一个主要的障碍，监督方法的应用，特别是检索。因此，无监督评分方法（如BM 25）仍然是深度学习技术的有力竞争者，深度学习技术在其他领域（如计算机视觉和自然语言处理）带来了巨大的改进。最近的工作表明，可以利用这些无监督方法的性能来生成用于学习排名模型的训练数据。这方面工作的关键限制是训练集的大小需要超过原始无监督方法的性能，它可以与$10^{13}$训练样本一样大。基于这些见解，我们提出了两种方法来减少所需的训练数据量。第一种方法从众包中获得灵感，并利用多个无监督的排名器来生成软的或噪声感知的训练标签。第二步识别有害的或错误标记的训练样本，并将其从训练集中删除。我们表明，我们的方法使我们能够超越无监督基线的性能，比以前的作品少得多的训练样本。
2019-07-19 cs.IR cs.LG
Unsupervised Rank-Preserving Hashing for Large-Scale Image Retrieval
Columbia University（哥伦比亚大学）；University of Southern California（南加利福尼亚大学）
我们提出了一种无监督哈希方法，其目的是产生二进制代码，保持由实值表示引起的排名。这种紧凑的哈希码能够完全消除实值特征存储，并允许大规模图像检索应用的计算复杂度和存储成本的显着降低。具体来说，我们学习了一个基于神经网络的模型，它将输入表示转换为二进制表示。我们以一种直观有效的方式形式化了网络的训练目标，将每个训练样本视为一个查询，并旨在使用产生的哈希码获得与原始特征相同的检索结果。这种训练公式直接优化散列模型，以实现其产生的散列代码的目标用途。我们进一步探讨了增加一个解码器训练，以获得原始特征的近似重建。在测试时，我们只使用我们的哈希码，通过基于图的高效搜索过程检索最有希望的数据库样本，并使用重建的特征进行重新排序，因此根本不需要访问原始特征。在多个公开的大规模数据集上进行的实验表明，我们的方法始终优于所有比较先进的无监督哈希方法，并且重建过程可以有效地提高搜索精度，同时具有最小的恒定额外成本。
2019-03-04 cs.CV cs.IR cs.MM
