Cross-modal Zero-shot Hashing
哈希算法因其存储成本低、查询速度快而被广泛研究用于大数据检索。Zero-shot Hashing(Zero-Shot Hashing)旨在学习一种哈希模型,该模型仅使用来自可见类别的样本进行训练,但可以很好地推广到不可见类别的样本。CNOH通常使用类别属性来寻求语义嵌入空间,以将知识从可见类别转移到不可见类别。因此,当标记数据不足时,它可能会表现不佳。目前的多模态数据处理方法主要是针对单模态数据而设计的,这就阻碍了它们在多模态数据中的应用。另一方面,现有的跨模态散列解决方案假设所有模态共享相同的类别标签,而在实践中,不同数据模态的标签可能不同。为了解决这些问题,我们提出了一个通用的跨模态Zero-shot哈希(CZHash)解决方案,以有效地利用具有不同标签空间的未标记和标记的多模态数据。CZHash首先使用标签和特征信息量化实例之间的复合相似性。然后,它定义了一个目标函数,以实现与复合相似性保持、类别属性空间学习和哈希编码函数学习兼容的深度特征学习。CZHash还引入了一种替代优化过程来联合优化这些学习目标。在基准多模态数据集上的实验表明,CZHash算法在有效性和适应性方面均优于相关的代表性哈希算法.
2019-08-19 cs.CV cs.LG
Codebook-Centric Deep Hashing: End-to-End Joint Learning of Semantic Hash Centers and Neural Hash Function
针对现有深度哈希方法随机初始化哈希中心忽略语义、两阶段方法存在开销与性能缺陷的问题,提出端到端的CRH框架,联合优化哈希函数并动态重分配哈希中心,在检索任务上性能优于现有最优方法。
2025-11-15 cs.CV cs.LG
Mean Local Group Average Precision (mLGAP): A New Performance Metric for Hashing-based Retrieval
Arizona State University(亚利桑那州立大学)
近年来,由于需要紧凑的表示来支持在线图像等大规模数据库中的高效搜索/检索,视觉数据哈希技术的研究越来越受到关注。在许多可能性中,平均精度(mAP)已成为基于散列的检索的主要性能指标。mAP的一个明显缺点是它无法平衡检索准确性和哈希码的利用率:推动系统获得更高的mAP将不可避免地导致哈希码的利用率更低。由于散列空间中样本的冲突增加,散列码的不良利用阻碍了良好的检索。这意味着给出更高mAP值的模型不一定在检索中做得更好。在本文中,我们引入了一个新的度量命名为平均本地组平均精度(mLGAP)更好地评估基于哈希的检索的性能。新的度量标准提供了一种检索性能度量标准,该度量标准还协调了哈希码的使用,从而产生了比mAP等传统度量标准更有实际意义的性能度量标准。为此,我们首先从数学分析的不足之处的mAP基于哈希的检索。然后,我们提出mLGAP,并说明为什么它更适合基于哈希的检索。图像检索实验证明了该度量的有效性。
2018-11-24 cs.CV cs.LG
Fast Supervised Hashing with Decision Trees for High-Dimensional Data
The University of Adelaide(阿德莱德大学)
监督哈希旨在将原始特征映射到能够在汉明空间中保持基于标签的相似性的紧凑二进制代码。非线性散列函数由于其强大的泛化能力而表现出优于线性散列函数的优势。在文献中,核函数通常用于实现散列中的非线性,其以缓慢的评估和训练时间为代价实现令人鼓舞的检索性能。在这里,我们提出使用提升决策树实现哈希的非线性,这是快速的训练和评估,因此更适合于与高维数据的哈希。在我们的方法中,我们首先提出了子模块化的哈希二进制代码推理问题的配方和一个有效的基于GraphCut的块搜索方法来解决大规模的推理。然后,我们通过训练提升的决策树来学习哈希函数,以适应二进制代码。实验表明,我们提出的方法显着优于大多数国家的最先进的方法在检索精度和训练时间。特别是对于高维数据,我们的方法在训练时间方面比许多方法快了几个数量级。
2014-05-28 cs.CV cs.LG
SSAH: Semi-supervised Adversarial Deep Hashing with Self-paced Hard Sample Generation
The Harbin Institute of Technology(哈尔滨工业大学);Alibaba DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Nanyang Technological University(南洋理工大学);Xiamen University(厦门大学)
深度哈希方法已被证明是有效和高效的大规模网络媒体搜索。这些数据驱动方法的成功在很大程度上取决于收集足够的标记数据,这通常是实际情况下的一个关键限制。目前针对这个问题的解决方案是利用生成对抗网络(GAN)来增强半监督学习中的数据。然而,现有的基于GAN的方法将图像生成和哈希学习视为两个独立的过程,导致生成无效。此外,大多数工作未能利用语义信息中的未标记的数据。在本文中,我们提出了一种新的半监督自步调对抗哈希方法,命名为SSAH,以解决上述问题在一个统一的框架。SSAH方法由对抗网络(A-Net)和哈希网络(H-Net)组成。为了提高生成图像的质量,首先,A-Net学习具有多尺度遮挡和多角度旋转变形的硬样本,这与精确哈希代码的学习竞争。其次,我们设计了一种新的自定进度的硬生成策略,逐步增加生成样本的哈希难度。为了充分利用未标记数据中的语义信息,我们提出了一种半监督的一致性损失算法。实验结果表明,我们的方法可以显着改善国家的最先进的模型在广泛使用的哈希数据集和细粒度数据集。
2019-11-20 cs.CV cs.LG
Image Hashing by Minimizing Discrete Component-wise Wasserstein Distance
Virginia Tech(弗吉尼亚理工大学);University of Minnesota(明尼苏达大学);Purdue University(普渡大学)
图像散列是一个基本问题,需要高效和有效的解决方案,为各种实际情况。对抗性自动编码器能够隐式地学习一个鲁棒的、保持局部性的哈希函数,该函数可以生成平衡的、高质量的哈希码。然而,现有的对抗性哈希方法对于大规模图像检索应用是低效的。具体地,它们需要指数数量的样本以能够生成最佳散列码,并且需要显著高的计算成本来进行训练。在本文中,我们表明,高样本复杂度的要求往往会导致次优检索性能的对抗哈希方法。为了解决这一挑战,我们提出了一种新的adversarial-autoencoder哈希方法,该方法具有更低的样本要求和计算成本。具体而言,通过利用低维离散空间中散列函数的所需属性,我们的方法通过平均一组易于计算的一维Wasserstein距离来有效地估计Wasserstein距离的更好变体。与其他对抗性哈希方法相比,所得到的哈希方法具有数量级更好的样本复杂度,因此具有更好的泛化性能。此外,计算成本显着降低使用我们的方法。我们在几个真实世界的数据集上进行了实验,结果表明,该方法优于竞争散列方法,比当前最先进的图像散列方法提高了10%。本文附带的代码可以在Github上找到(https://github.com/khoadoan/adversarial-hashing)。
2020-05-26 cs.CV cs.IR cs.LG
A Survey on Deep Hashing Methods
Peking University(北京大学);Alibaba Group(阿里巴巴集团);Damo Academy(达摩院)
最近邻搜索的目的是在数据库中获取样本与查询之间距离最小的样本,它是计算机视觉和数据采掘等领域的一项基本任务。散列是最广泛使用的方法之一,其计算和存储效率。随着深度学习的发展,深度哈希方法显示出比传统方法更多的优势。在这项调查中,我们详细研究了当前的深度哈希算法,包括深度监督哈希和深度无监督哈希。具体来说,我们根据如何测量学习的哈希码的相似性,将深度监督哈希方法分为成对方法,基于排名的方法,逐点方法以及量化。此外,根据深度无监督哈希算法的语义学习方式,将其分为基于相似性重构的方法、基于伪标签的方法和基于无预测自监督学习的方法。我们还介绍了三个相关的重要主题,包括半监督深度哈希,域自适应深度哈希和多模式深度哈希。同时,我们给出了一些常用的公共数据集和衡量深度哈希算法性能的方案。最后,我们讨论了一些潜在的研究方向的结论。
2022-04-23 cs.CV
Cross-Modality Hashing with Partial Correspondence
Institute of Image Processing
学习哈希函数进行跨媒体搜索是非常可取的,由于其存储成本低,查询速度快。然而,从互联网上抓取的数据并不总是能够保证不同模态之间的良好对应,这影响了哈希函数的学习。本文主要研究部分对应数据的跨模式哈希算法。使用不完全对应的数据来提高散列性能。在Wiki和NUS-WIDE数据集上的实验结果表明,该方法在对应信息较少的情况下,性能优于现有的散列方法。
2015-02-25 cs.CV
Deep Supervised Hashing with Triplet Labels
Carnegie Mellon University(卡内基梅隆大学)
哈希算法是大规模图像检索中最流行和最强大的近似最近邻搜索技术之一。大多数传统的散列方法首先将图像表示为现成的视觉特征,然后在单独的阶段产生散列代码。然而,现成的视觉特征可能与散列码学习过程不最佳兼容,这可能导致次优散列码。最近,已经提出了使用深度神经网络来同时学习图像特征和散列码的深度散列方法,并且已经显示出优于传统散列方法的性能。大多数深度哈希方法都以成对标签或三重标签的形式给出监督信息。当前最先进的深度哈希方法DPSH~ \cite{li2015feature}基于成对标签,通过最大化成对相似性的可能性来同时执行图像特征学习和哈希码学习。受DPSH~ \cite{li2015feature}的启发,我们提出了一种基于三元组标签的深度哈希方法,旨在最大化给定三元组标签的可能性。实验结果表明,我们的方法优于所有基线CIFAR-10和NUS-WIDE数据集,包括最先进的方法DPSH~ \cite{li2015feature}和所有以前的三元组标签为基础的深度哈希方法。
2016-12-12 cs.CV
Evaluation of Hashing Methods Performance on Binary Feature Descriptors
Warsaw University of Technology(华沙理工大学)
在本文中,我们评估性能的数据依赖哈希方法对二进制数据。我们的目标是找到一种散列方法,可以有效地产生低维的二进制表示的512位FREAK描述符。最近的无监督,半监督和监督哈希方法的代表性样本进行了实验评估标记的二进制FREAK特征描述符的大型数据集。
2017-07-21 cs.CV
A Revisit on Deep Hashings for Large-scale Content Based Image Retrieval
The State Key Lab of CAD&CG(CAD&CG国家重点实验室);Zhejiang University(浙江大学)
在基于内容的图像检索(CBIR)中,研究深度哈希方法是一个增长的趋势,其中使用深度卷积神经网络来学习哈希函数和二进制代码,然后可以使用二进制代码来进行近似最近邻(ANN)搜索。所有现有的深度哈希论文都根据实验结果报告了他们的方法优于传统哈希方法的性能。然而,现有的深度哈希论文的评估存在严重的缺陷:(1)他们使用的数据集太小,太简单,无法模拟真实的CBIR情况。(2)他们没有正确地将搜索时间包括在他们的评估标准中,而搜索时间在实际的CBIR系统中是至关重要的。(3)一些无监督散列算法的性能(例如,如果使用多个哈希表,LSH)很容易被提升,这是评估中应该考虑的一个重要因素,而大多数深度哈希论文都没有这样做。我们通过精心设计的实验环境重新评估了几种最先进的深度哈希方法。实证结果表明,这些深度哈希方法的性能不如多表IsoH,这是一种非常简单的无监督哈希方法。因此,所有深度哈希论文中的结论都应该仔细重新检查。
2017-11-16 cs.CV
Deep Reinforcement Learning for Image Hashing
Peking University(北京大学)
深度哈希方法最近受到了广泛的关注,这些方法通过利用深度网络的强大表示能力来实现有希望的结果。然而,现有的深度哈希方法大多是独立学习一组哈希函数,而忽略了不同哈希函数之间的相关性,这些相关性可以极大地提高检索精度。受深度强化学习顺序决策能力的启发,我们提出了一种新的深度强化学习图像哈希方法(DRLIH)。我们提出的DRLIH方法将哈希学习问题建模为一个顺序决策过程,通过纠正以前的哈希函数所造成的错误来学习每个哈希函数,并提高检索精度。据我们所知,这是第一个从深度强化学习角度解决哈希问题的工作。我们提出的DRLIH方法的主要贡献可以总结如下:(1)我们提出了一个深度强化学习哈希网络。在所提出的网络中,我们利用递归神经网络(RNN)作为代理来建模哈希函数,这些哈希函数顺序地将图像投影到二进制代码中,因此当前的哈希函数学习可以考虑以前的哈希函数的错误。(2)我们提出了一个顺序学习策略的基础上提出DRLIH。我们将状态定义为RNN的隐藏层和图像特征的内部特征的元组,它可以反映智能体做出的历史决策。我们还提出了一个行动组的方法,以提高在同一组中的散列函数的相关性。三个广泛使用的数据集上的实验证明了我们提出的DRLIH方法的有效性。
2019-02-24 cs.CV
Optimal Projection Guided Transfer Hashing for Image Retrieval
Learning Intelligence & Vision Essential Group(学习智能与视觉基础组);School of Microelectronics and Communication Engineering, Chongqing University, China(重庆大学微电子与通信工程学院)
近年来,由于二进制码的计算和存储效率,学习哈希已被广泛研究用于图像检索。对于大多数现有的学习哈希方法,需要足够的训练图像,并用于学习精确的哈希代码。然而,在一些现实世界的应用中,在感兴趣的域中并不总是有足够的训练图像。此外,一些现有的监督方法需要大量的标记数据,这是一个昂贵的过程中的时间,标签和人类的专业知识。为了处理这些问题,受迁移学习的启发,我们提出了一种简单而有效的无监督哈希方法,称为最佳投影引导迁移哈希(GTH),其中我们借用其他不同但相关的域的图像,即,源域以帮助学习感兴趣的域的精确散列码(即,目标域。此外,我们建议寻求最大似然估计(MLE)解决方案的目标和源域的哈希函数由于域间隙。此外,采用交替优化的方法来获得目标域和源域的两个投影,使得域散列视差逐渐减小。在各种基准数据库上进行的大量实验验证了我们的方法优于许多最先进的学习哈希方法。实现细节可在https://github.com/liuji93/GTH上获得。
2019-03-01 cs.CV cs.IR cs.LG
Object Detection based Deep Unsupervised Hashing
Beijing Institute of Technology(北京理工大学)
近年来,相似性保持哈希算法在大规模图像检索中得到了广泛的研究。与无监督哈希算法相比,有监督哈希算法利用语义标签信息,通常具有更好的性能。直观地说,对于未标记的数据,如果我们可以首先从未标记的数据中挖掘一些有监督的语义“标签信息”,然后将“标签信息”纳入训练过程,则会提高无监督哈希方法的性能。因此,在本文中,我们提出了一种新的目标检测为基础的深度无监督哈希方法(ODDUH)。具体地说,一个预先训练好的目标检测模型被用来挖掘有监督的“标签信息”,它被用来指导学习过程,以产生高质量的hash codes.Wide在两个公共数据集上的实验表明,所提出的方法优于最先进的无监督hash方法在图像检索任务。
2018-11-24 cs.CV
A Revisit of Hashing Algorithms for Approximate Nearest Neighbor Search
Zhejiang University(浙江大学)
近似最近邻搜索(ANNS)是机器学习和数据采掘许多领域的基本问题。在过去的十年中,提出了许多哈希算法来解决这个问题。每一种算法都声称优于其他最先进的哈希方法。然而,对这些散列文件的评估不够彻底,这些说法应该重新审查。ANNS方法的最终目标是在最短的时间内返回最准确的答案(最近邻)。如果正确实现,几乎所有的哈希方法都会随着代码长度的增加而提高性能。然而,许多现有的散列论文只报告了代码长度小于128的性能。在本文中,我们仔细地重新审视了使用哈希索引进行搜索的问题,并分析了两种流行的哈希索引搜索过程的优缺点。在此基础上,提出了一种简单有效的两级索引结构,并对目前流行的11种哈希算法进行了比较。令人惊讶的是,基于随机投影的局部敏感散列(LSH)是性能最好的算法,这与其他十篇散列论文中的声明相矛盾。尽管基于随机投影的LSH非常简单,但我们的结果表明,该算法的能力被远远低估了。为了可重复性,本文中使用的所有代码都发布在GitHub上,GitHub可以用作各种哈希算法之间公平比较的测试平台。
2019-06-19 cs.CV
Mutual Linear Regression-based Discrete Hashing
Shandong University(山东大学);Shandong University of Finance and Economics(山东财经大学)
标签信息因其对提高精度的有效性而被广泛应用于散列算法中。现有的散列方法通常使用两种不同的投影来表示散列码和类标签之间的相互回归。与现有的方法相比,我们提出了一种新的基于学习的散列方法,称为稳定监督离散散列相互线性回归(S2DHMLR)在这项研究中,其中只有一个稳定的投影被用来描述散列代码和相应的标签之间的线性相关性。据我们所知,这种策略以前没有用于哈希。此外,我们进一步使用提升策略来提高所提出的方法的最终性能,而不增加额外的约束条件,并在时间和空间方面有很少的额外支出。在三个图像基准上进行的大量实验证明了该方法的优越性能。
2019-03-15 cs.CV
Unsupervised Hashing with Contrastive Information Bottleneck
Sun Yat-sen University(中山大学);SUNY at Buffalo(纽约州立大学布法罗分校)
许多无监督散列方法都隐含地建立在重构输入数据的思想上,这基本上鼓励散列代码尽可能多地保留原始数据的信息。然而,这一要求可能会迫使模型花费大量的精力来重建无用的背景信息,而忽略了保留对哈希任务更重要的区分性语义信息。为了解决这个问题,最近的成功的对比学习在学习连续表示的启发,我们建议适应这个框架来学习二进制哈希码。具体来说,我们首先建议修改目标函数以满足哈希的特定要求,然后在模型中引入概率二进制表示层,以便于整个模型的端到端训练。我们进一步证明了所提出的基于对比学习的散列方法和互信息之间的强连接,并表明所提出的模型可以考虑在更广泛的框架下的信息瓶颈(IB)。在这个角度下,自然得到了一个更一般的哈希模型。在三个基准图像数据集上的大量实验结果表明,所提出的哈希方法显着优于现有的基线。
2021-05-19 cs.CV
A Deep Hashing Learning Network
Ocean University of China(中国海洋大学)
基于散列的方法寻求紧凑且高效的二进制代码,以保留原始数据空间中的邻域结构。对于大多数现有的散列方法,图像首先被编码为手工制作的视觉特征的向量,然后通过散列投影和量化步骤得到紧凑的二进制向量。大多数手工特征只是对输入的低层信息进行编码,可能无法保持图像对的语义相似性。同时,散列函数学习过程与特征表示无关,因此特征对于散列投影可能不是最优的。在本文中,我们提出了一种基于设计良好的深度卷积神经网络的监督哈希方法,该方法试图同时学习哈希代码和数据的紧凑表示。该模型通过在丢失层之前增加一个紧凑的sigmoid层来学习二进制码。在多个图像数据集上的实验表明,该模型的性能优于其他最先进的方法。
2015-07-16 cs.CV
MIHash: Online Hashing with Mutual Information
Boston University(波士顿大学)
基于学习的散列方法被广泛用于最近邻检索,最近,在线散列方法通过从流数据中学习散列函数,表现出良好的性能-复杂度权衡。在本文中,我们首先解决在线哈希的一个关键挑战:索引数据的二进制代码必须重新计算,以跟上哈希函数的更新。我们提出了一个有效的质量衡量哈希函数,基于信息理论的数量,互信息,并成功地使用它作为一个标准,以消除不必要的哈希表更新。接下来,我们还展示了如何使用随机梯度下降优化互信息目标。因此,我们开发了一种新的哈希方法,MIHash,可以在在线和批量设置中使用。图像检索基准(包括2.5M的图像数据集)的实验证实了我们的配方的有效性,无论是在减少哈希表重新计算和学习高质量的哈希函数。
2017-07-29 cs.CV
Correlation Hashing Network for Efficient Cross-Modal Retrieval
Tsinghua University(清华大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
散列算法广泛应用于大规模多模态检索的近似最近邻搜索,具有存储和计算效率高的特点。跨模态哈希通过利用不同模态之间的语义相关性来提高哈希编码的质量。现有的跨模态散列方法首先将数据转换为低维特征向量,然后通过另一个单独的量化步骤生成二进制代码。然而,由于量化误差没有被显式地最小化并且特征表示没有与二进制码联合优化,因此可能生成次优散列码。本文提出了一种跨模态散列的相关散列网络(CHN)方法,该方法联合学习适合于散列编码的良好数据表示,并形式化地控制量化误差。所提出的CHN是一种混合深度架构,其构成了用于学习良好图像表示的卷积神经网络、用于学习良好文本表示的多层感知、用于生成紧凑二进制代码的两个散列层以及将所有东西集成在一起以实现学习相似性保持和高质量散列代码的结构化最大边际损失。大量的实证研究表明,CHN产生的最先进的跨模态检索性能的标准基准。
2017-02-20 cs.CV
Deep Class-Wise Hashing: Semantics-Preserving Hashing via Class-wise Loss
City University of Hong Kong(香港城市大学);Shenzhen Institutes of Advanced Technology, CAS(中国科学院深圳先进技术研究院)
深度监督哈希已经成为计算机视觉中大规模语义图像检索问题的有影响力的解决方案。鉴于最近的进展,基于卷积神经网络的散列方法通常寻找成对或三重标签来进行相似性保持学习。然而,视觉内容的复杂语义概念很难通过相似/不相似标签来捕获,这限制了检索性能。通常,成对或三重损失不仅遭受昂贵的训练成本,而且缺乏提取足够的语义信息。在这方面,我们提出了一种新的深度监督哈希模型来学习更紧凑的类级相似性保持二进制代码。我们基于深度学习的模型是由深度度量学习驱动的,深度度量学习直接将语义标签作为训练中的监督信息,并生成相应的判别哈希代码。提出了一种新的基于高斯分布的三次约束损失函数,在保留语义变化的同时,对嵌入空间中不同类的重叠部分进行惩罚。为了解决二进制编码引入的离散优化问题,提出了一种两步优化策略,以提供有效的训练并避免梯度消失的问题。在四个大规模基准数据库上的实验表明,该模型可以达到最先进的检索性能。此外,当训练样本有限时,我们的方法优于其他有监督的深度哈希方法,具有不可忽略的余量。
2018-03-12 cs.CV
Deep Residual Hashing
Technische Universität München(慕尼黑工业大学);Indian Institute of Technology, Kharagpur(印度理工学院克勒格布尔分校);IBM Almaden Research Center(IBM阿尔马登研究中心);Johns Hopkins University(约翰斯·霍普金斯大学)
散列算法的目标是生成高度紧凑的相似性保持码字,非常适合大规模的图像检索任务。大多数现有的哈希方法首先将图像编码为手工制作的特征向量,然后进行单独的二进制化步骤以生成哈希码。该两阶段过程可能产生次优编码。在本文中,我们首次提出了一种通过残差学习进行监督哈希的深度架构,称为深度残差哈希(DRH),用于端到端同时进行表示学习和哈希编码。DRH模型由四个关键元素组成:(1)具有多个堆叠的残差块的子网络;(2)用于二值化的哈希层;(3)基于邻域分量分析的监督检索损失函数,用于相似性保持嵌入;以及(4)哈希相关损失和正则化,以控制量化误差并提高哈希编码的质量。我们提出了一个大型的公共胸部X射线图像数据库与共病的广泛实验的结果,并讨论了结果显示出实质性的改进,最新的国家的最先进的方法。
2016-12-16 cs.CV
Simultaneous Feature Aggregating and Hashing for Compact Binary Code Learning
University of Liverpool(利物浦大学);Singapore University of Technology and Design(新加坡科技设计大学);Chalmers University of Technology(查尔姆斯理工大学);University of Dayton(代顿大学)
用压缩哈希码表示图像是大规模基于内容的图像检索的一种有吸引力的方法。在大多数现有的基于散列的图像检索系统中,对于每幅图像,首先将局部描述符聚合为全局表示向量。然后,该全局向量经受散列函数以生成二进制散列码。在以前的作品中,聚合和散列过程是独立设计的。因此,这些框架可能会生成次优哈希码。在本文中,我们首先提出了一种新的无监督哈希框架,其中特征聚合和哈希同时设计并联合优化。具体来说,我们的联合优化生成聚合表示,可以更好地重建一些二进制代码。这导致更多的区别二进制哈希码和提高检索精度。此外,该方法是灵活的。它可以扩展为监督哈希。当数据标签可用时,框架可以适于学习二进制代码,其最小化重构损失w.r.t.标记向量。此外,我们还提出了一个快速版本的最先进的哈希方法二进制自动编码器将用于我们提出的框架。在各种设置下的基准数据集上进行的大量实验表明,所提出的方法优于最先进的无监督和监督哈希方法。
2019-04-24 cs.CV
Deep Hashing with Hash-Consistent Large Margin Proxy Embeddings
Huawei Technologies(华为技术有限公司);Netflix(奈飞公司);University of California, San Diego(加利福尼亚大学圣迭戈分校)
图像哈希码是通过对训练用于分类或检索的卷积神经网络(CNN)的嵌入进行二值化来产生的。虽然代理嵌入在这两个任务上都实现了良好的性能,但由于鼓励非二进制嵌入的旋转模糊性,它们对于二进制化来说并不是微不足道的。提出使用一组固定的代理(CNN分类层的权重)来消除这种模糊性,并介绍了一种设计对分类和散列都接近最佳的代理集的过程。由此产生的散列一致的大保证金(HCLM)代理,鼓励饱和的散列单元,从而保证一个小的二进制化错误,同时产生高度歧视性的散列代码。语义扩展(sHCLM),旨在提高哈希性能的传输方案,也提出了。大量的实验表明,sHCLM嵌入在几个小型和大型数据集上,无论是在训练类集内还是在训练类集外,都比最先进的哈希程序有了显着的改进。
2020-07-27 cs.CV
SSDH: Semi-supervised Deep Hashing for Large Scale Image Retrieval
Institute of Computer Science and Technology, Peking University(北京大学计算机科学技术研究所)
哈希方法已广泛用于大规模图像数据库的高效相似性检索。传统的散列方法学习散列函数从手工特征生成二进制代码,其实现有限的准确性,因为手工特征不能最佳地表示图像内容并保持语义相似性。最近,几种深度哈希方法表现出了更好的性能,因为深度架构生成了更具鉴别力的特征表示。然而,这些深度哈希方法主要是针对监督场景设计的,它们只利用语义相似性信息,而忽略了底层的数据结构。在本文中,我们提出了半监督深度哈希(SSDH)方法,通过同时保留语义相似性和底层数据结构来执行更有效的哈希函数学习。主要贡献如下:(1)提出了一种半监督损失算法,该算法能够最小化标记数据的经验误差以及标记数据和未标记数据的嵌入误差,既能保持语义相似性,又能捕获底层数据结构上有意义的邻居,从而实现有效的哈希。(2)半监督深度哈希网络旨在广泛利用标记和未标记数据,其中我们提出了一种在线图构建方法,以受益于训练期间不断演变的深度特征,从而更好地捕获语义邻居。据我们所知,所提出的深度网络是第一个可以以半监督方式同时执行哈希代码学习和特征学习的深度哈希方法。在5个广泛使用的数据集上的实验结果表明,我们提出的方法优于最先进的哈希方法。
2017-11-07 cs.CV
Online Hashing with Similarity Learning
Peking University(北京大学)
在线散列方法通常在线学习散列函数,旨在有效地适应流媒体环境中的数据变化。然而,当散列函数被更新时,整个数据库的二进制代码必须被更新以与散列函数一致,导致在线图像检索过程的效率低下。在本文中,我们提出了一种新型的在线哈希框架,无需更新二进制代码。在所提出的框架中,散列函数是固定的,二进制代码的参数相似性函数在线学习,以适应流数据。具体地说,采用了一种具有双线性形式的参数相似性函数,并根据散列方法的特点,提出了一种在线学习相似性函数的度量学习算法。在两个多标签图像数据集上的实验表明,该方法在多标签图像检索的准确性和效率方面具有竞争力或优于最先进的在线哈希方法。
2021-07-04 cs.CV
HashEncoding: Autoencoding with Multiscale Coordinate Hashing
University of Pennsylvania(宾夕法尼亚大学)
我们提出了HashEncoding,一种新的自动编码架构,它利用非参数多尺度坐标散列函数来实现无卷积的逐像素解码器。通过利用散列函数的空间折叠行为,HashEncoding允许一个固有的多尺度嵌入空间,该空间比原始图像小得多。因此,与传统自动编码器中的解码器相比,解码器需要的参数非常少,接近原始图像的非参数重建,并允许更大的概括性。最后,通过允许反向传播直接到坐标空间,我们表明,哈希编码可以利用几何任务,如光流。
2022-11-29 cs.CV
HHF: Hashing-guided Hinge Function for Deep Hashing Retrieval
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
深度哈希在大规模图像检索中表现出了良好的性能。然而,深度神经网络(DNN)提取的潜在代码在二值化过程中不可避免地会丢失语义信息,这损害了检索的准确性,使其具有挑战性。虽然许多现有的方法进行正则化,以减轻量化误差,我们找出了度量学习和量化学习之间的不兼容的冲突。度量损失惩罚类间距离,以将不受约束的不同类推得更远。更糟糕的是,它往往映射的潜在代码偏离理想的二值化点,并在二值化过程中产生严重的二义性。基于二进制线性码的最小距离,我们创造性地提出了哈希引导的铰链函数(HHF),以避免这种冲突。详细地说,精心设计的拐点,它依赖于哈希位长度和类别数,显式地采用来平衡度量项和量化项。这样的修改可以防止网络在深度哈希中陷入局部度量最优最小值。在CIFAR-10、CIFAR-100、ImageNet和MS-COCO上的大量实验表明,HHF始终优于现有技术,并且具有健壮性和灵活性,可以移植到其他方法中。代码可在https://github.com/JerryXu0129/HHF上获得。
2022-01-12 cs.CV
Supervised Deep Hashing for Hierarchical Labeled Data
Beijing Institute of Technology(北京理工大学);National University of Singapore(新加坡国立大学);South China University of Technology(华南理工大学)
近年来,散列方法在大规模图像检索中得到了广泛的应用。然而,现有的散列方法大多没有考虑标签之间的层次关系,这意味着它们忽略了层次结构中存储的丰富信息。此外,大多数以前的工作,平等地对待每一个比特的哈希码,这不符合层次标记数据的情况。在本文中,我们提出了一种新的深度哈希方法,称为监督分层深度哈希(SHDH),对分层标记数据进行哈希码学习。具体来说,我们定义了一个新的相似性公式分层标记的数据通过加权每一层,并设计了一个深卷积神经网络,以获得每个数据点的哈希码。在几个真实世界的公共数据集上进行的大量实验表明,该方法在图像检索任务中的性能优于最先进的基线。
2017-09-12 cs.CV
Deep Saliency Hashing
Harbin Institute of Technology(哈尔滨工业大学);SenseTime Research(商汤科技研究院);Hong Kong Polytechnic University(香港理工大学);Damo Academy, Alibaba Group(阿里巴巴集团达摩院)
近年来,哈希方法被证明是有效和高效的大规模Web媒体搜索。然而,现有的通用散列方法对于描述具有相似整体外观但具有细微差异的细粒度对象具有有限的区分能力。为了解决这个问题,我们首次将注意力机制引入到细粒度哈希码的学习中。具体来说,我们提出了一种新的深度哈希模型,称为深度显着性哈希(DSaH),它自动挖掘显着区域,同时学习语义保持哈希代码。DSaH是一个两步端到端模型,由注意力网络和哈希网络组成。我们的损失函数包含三个基本组成部分,包括语义损失,显着性损失和量化损失。作为DSaH的核心,显著性损失引导注意力网络从图像对中挖掘有区别的区域。我们进行了广泛的实验,细粒度和一般检索数据集的性能评估。在包括Oxford Flowers-17,Stanford Dogs-120和CUB Bird在内的细粒度数据集上的实验结果表明,我们的DSaH在细粒度检索任务中表现最好,并且在Stanford Dogs-120和CUB Bird上击败了最强的竞争对手(DTQ)约10%。DSaH还可以与通用数据集上的几种最先进的哈希方法相媲美,包括CIFAR-10和NUS-WIDE。
2019-02-01 cs.CV
Adversarial collision attacks on image hashing functions
Facebook AI(Facebook人工智能)
使用感知算法对图像进行散列是解决重复图像检测问题的常用方法。然而,感知图像散列算法是可区分的,因此容易受到基于梯度的对抗攻击。我们证明,不仅可以修改图像以产生不相关的散列,而且可以通过微小的对抗性扰动产生源图像和目标图像之间的精确图像散列冲突。在白盒设置中,这些冲突可以在几乎每个图像对和哈希类型(包括深度和非学习哈希)中复制。此外,通过攻击散列函数的输出之外的点,攻击者可以避免必须知道特定算法的细节,从而导致跨不同散列大小或模型架构传输的冲突。使用这些技术,攻击者可以毒害重复图像检测服务的图像查找表,导致未定义或不需要的行为。最后,我们提供了几个潜在的缓解基于梯度的图像哈希攻击。
2020-11-18 cs.CV
Towards Efficient Deep Hashing Retrieval: Condensing Your Data via Feature-Embedding Matching
College of Information Science and Technology, Donghua University(东华大学信息科学与技术学院);ETH Zurich(苏黎世联邦理工学院);College of Electrical Engineering, Zhejiang University(浙江大学电气工程学院)
本文针对深度哈希检索训练成本高的问题,探讨了主流数据集压缩方法的影响,并提出以分布匹配为中心、结合模型与数据增强技术的IEM方法,显著提升了哈希空间特征及检索性能。
2025-03-03 cs.CV
Deep Hashing: A Joint Approach for Image Signature Learning
AT&T Labs(AT&T实验室)
基于相似性的图像散列是减少视觉数据存储和加速图像搜索的关键技术。传统的散列方案通常将手工制作的特征馈送到散列函数中,这将特征提取和散列函数学习的过程分开。在本文中,我们提出了一种新的算法,同时进行特征工程和非线性监督哈希函数学习。我们在本文中的技术贡献有两个方面:1)深度网络优化通常通过梯度传播来实现,这非常需要平滑的目标函数。散列码的离散性质使它们不适合基于梯度的优化。为了解决这个问题,我们提出了一个指数哈希损失函数和它的双线性光滑近似。从而实现有效的梯度计算和传播; 2)预训练是监督式深度学习中的重要技巧。在当前的深度哈希文献中,从未讨论过预训练对哈希代码质量的影响。我们提出了一种受基于深度网络的图像分类最新进展启发的预训练方案,并通过实验证明了其有效性。对几种广泛使用的图像基准进行了全面的定量评价。在所有基准测试中,我们提出的深度哈希算法的性能都远远优于所有最先进的竞争对手。特别是,我们的算法实现了一个近乎完美的0.99的汉明排名精度只有12位MNIST,和CIFAR 10数据集上的0.74的新纪录。相比之下,在CIFAR 10上,现有的散列算法在没有或有深度网络的情况下获得的最佳准确度分别为0.36和0.58。
2016-08-12 cs.CV
Hard Example Guided Hashing for Image Retrieval
School of Software, South China Normal University(华南师范大学软件学院);College of Engineering and Computer Science, Syracuse University(雪城大学工程与计算机科学学院)
与传统的哈希方法相比,深度哈希方法产生的哈希码具有丰富的语义信息,在图像检索领域的性能有了很大的提高。然而,目前的深度哈希方法在预测硬样本的相似性方面并不令人满意。影响硬样本学习能力的主要因素有两个:关键特征提取薄弱和硬样本不足。本文提出了一种新的端到端模型,用于从硬示例中提取关键特征,并获得具有准确语义信息的哈希码。此外,我们重新设计了一个硬对损失函数来评估样本的硬度和更新惩罚权重。它有效地解决了困难实例中的短缺问题。在CIFAR-10和NUS-WIDE上的实验结果表明,该模型的性能优于主流的基于散列的图像检索方法。
2021-12-27 cs.CV
Query-adaptive Image Retrieval by Deep Weighted Hashing
Institute of Computer Science and Technology, Peking University(北京大学计算机科学技术研究所)
散列方法在大规模图像检索中受到广泛关注。最近,一些深度哈希方法通过利用深度网络的强大表示能力,取得了令人鼓舞的结果。然而,现有的深度哈希方法平等地对待所有哈希位。一方面,大量的图像共享相同的距离查询图像由于离散的汉明距离,这提出了一个关键的问题,图像检索的细粒度的排名是非常重要的。另一方面,不同的哈希位对图像检索的贡献实际上是不同的,同等对待它们会极大地影响图像检索的准确性。为了解决上述两个问题,我们提出了查询自适应深度加权哈希(QaDWH)的方法,它可以执行细粒度的排序不同的查询加权汉明距离。首先,提出了一种新的深度哈希网络来联合学习哈希码和相应的类权重,使得学习的权重可以反映不同哈希位对不同图像类的重要性。其次,提出了一种查询自适应的图像检索方法,该方法通过融合图像的语义概率和学习到的类权值,快速生成不同查询图像的哈希位权值。细粒度的图像检索,然后进行加权汉明距离,它可以提供更准确的排名比传统的汉明距离。在四个广泛使用的数据集上的实验表明,该方法优于八种最先进的哈希方法。
2017-05-09 cs.CV
Semantic Cluster Unary Loss for Efficient Deep Hashing
Tsinghua University(清华大学)
散列法将相似数据映射成具有较小汉明距离的二进制散列码,由于其存储开销小、检索速度快而受到广泛关注。随着深度学习的快速发展,深度哈希方法在高效的信息检索中取得了可喜的成果。大多数现有的深度哈希方法采用成对或三元组损失来处理数据潜在的相似性,但由于涉及$O(n^2)$数据对和$O(n^3)$三元组,因此训练困难且效率较低。为了解决这些问题,我们提出了一种新的具有一元损失的深度哈希算法,可以非常有效地进行训练。首先,我们引入了传统三重态损失的一元上界,从而降低了$O(n)$的复杂性,并桥接了基于分类的一元损失和三重态损失。其次,我们提出了一种新的语义聚类深度哈希(SCDH)算法,通过引入修改的一元上界损失,命名为语义聚类一元损失(SCUL)。产生的哈希码形成几个紧凑的簇,这意味着同一簇中的哈希码具有相似的语义信息。我们还证明了所提出的SCDH是很容易被扩展到半监督设置,通过将国家的最先进的半监督学习算法。在大规模数据集上的实验表明,该方法优于现有的散列算法。
2019-02-02 cs.CV
Online Supervised Hashing for Ever-Growing Datasets
Boston University(波士顿大学)
监督散列方法广泛用于计算机视觉应用中的最近邻搜索。大多数最先进的监督哈希方法都采用批处理学习器。不幸的是,当面对大型训练数据集时,批量学习策略可能效率低下。此外,对于批量学习器,还不清楚如何适应哈希函数,因为数据集会随着时间的推移不断增长和多样化。然而,在许多实际情况下,数据集会增长和多样化;因此,哈希函数和索引都必须迅速适应这些变化。为了解决这些问题,我们提出了一种在线哈希方法,该方法可以适应数据集的变化和扩展。由于它是一个在线算法,我们的方法提供了线性复杂度与数据集的大小。我们的解决方案是有监督的,因为我们将可用的标签信息,以保持语义邻域。这种自适应散列方法是有吸引力的;但是当散列函数被更新时,它需要重新计算哈希表。如果更新频率很高,则重新计算哈希表条目可能会导致系统效率低下,尤其是对于大型索引。因此,我们也提出了一个框架,以减少哈希表更新。我们在两个基准上将我们的方法与最先进的解决方案进行了比较,并证明了比以前的工作有显着的改进。
2015-11-10 cs.CV
Deep Ordinal Hashing with Spatial Attention
Nanjing University of Science and Technology(南京理工大学);Facebook(脸书);University of Central Florida(中佛罗里达大学)
哈希算法由于其高效的计算和存储能力,近年来在图像检索中得到了广泛的研究。最近的工作已经证明了使用深度神经网络同时进行特征表示和哈希函数学习的优越性。然而,现有的大多数深度哈希方法直接通过编码全局语义信息来学习哈希函数,而忽略了图像的局部空间信息。局部空间结构的丢失使得哈希函数的性能成为瓶颈,从而限制了其在精确相似性检索中的应用。在这项工作中,我们提出了一种新的深度有序散列(DOH)方法,它通过利用局部和全局视图的特征空间的排名结构来学习有序表示。特别是,为了有效地建立排名结构,我们提出了学习的秩相关空间,同时利用局部空间信息从全卷积网络(FCN)和全局语义信息从卷积神经网络(CNN)。更具体地说,一个有效的空间注意力模型的目的是捕捉本地的空间信息,有选择地学习明确的位置密切相关的目标对象。在这种散列框架中,图像的局部空间和全局语义性质以端到端的排序到散列的方式被捕获。在三个广泛使用的数据集上进行的实验结果表明,所提出的DOH方法显着优于最先进的哈希方法。
2018-05-07 cs.CV
Semi-supervised Hashing for Semi-Paired Cross-View Retrieval
Jiangnan University(江南大学);University of Surry(萨里大学)
最近,散列技术在大规模检索任务中获得了重要性,因为它们的检索速度。大多数现有的交叉视图框架都假设数据是良好配对的。然而,完全配对的多视图情况在实际应用中并不普遍。本文提出的方法的目的是学习半成对跨视图检索任务的哈希函数。为了利用部分数据的标签信息,我们提出了一个半监督哈希学习框架,联合执行特征提取和分类器学习。两个数据集上的实验结果表明,我们的方法优于几个国家的最先进的方法在检索精度。
2018-06-19 cs.CV
Pairwise Teacher-Student Network for Semi-Supervised Hashing
Tsinghua University(清华大学)
哈希方法将相似的高维数据映射成具有较小汉明距离的二进制哈希码,由于其存储代价低、检索速度快而受到广泛关注。成对相似性很容易获得,并广泛用于检索,大多数监督哈希算法都是针对成对监督而精心设计的。由于标记所有数据对是困难的,提出了半监督哈希,旨在学习有效的代码有限的标记对和丰富的未标记的。现有的方法构建图来捕获数据集的结构,但它们不能很好地工作,因为图是基于数据表示来构建的,并且确定复杂数据的表示是困难的。在本文中,我们提出了一种新的教师-学生半监督哈希框架,在该框架中,学生使用教师网络产生的成对信息进行训练。该网络遵循平滑性假设,该假设实现了相似数据对的一致距离,使得邻域查询的检索结果相似。在大规模数据集上的实验表明,该方法在监督基线上获得了令人印象深刻的增益,优于最先进的半监督哈希方法。
2019-02-02 cs.CV
Weakly-Supervised Online Hashing
Shandong University(山东大学)
随着社交网站的快速发展,近年来,具有用户提供的标签的社交图像以流媒体的方式不断到达。基于散列的图像搜索方法具有查询速度快、存储开销小等优点,受到越来越多的关注。然而,现有的用于社会图像检索的散列方法是基于批处理模式的,这违反了社会图像的本质,即,社交图像通常周期性地生成或者以流的方式收集。虽然存在许多在线图像散列方法,但它们要么采用忽略相关标签的无监督学习,要么以需要高质量标签的监督方式设计。针对上述问题,本文提出了一种新的弱监督在线哈希算法(WOH)。为了学习高质量的哈希码,WOH通过考虑标签的语义和去除噪声来利用弱监督。此外,我们开发了一个离散的在线优化算法的WOH,这是有效的和可扩展的。在两个真实世界的数据集上进行的大量实验证明了WOH与几种最先进的哈希基线相比的优越性。
2021-07-08 cs.CV
Variable-Length Hashing
Institute for Infocomm Research(资讯通信研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Advanced Digital Science Center(先进数字科学中心)
散列已经成为大规模相似性搜索的流行技术。大多数基于学习的哈希方法生成紧凑但相关的哈希码。然而,这种冗余是存储效率低的。因此,我们提出了一个无损的可变长度哈希(VLH)方法,是存储和搜索效率。存储效率是通过将固定长度的哈希码转换为可变长度的哈希码来实现的。通过使用多个哈希表结构来获得搜索效率。使用VLH,我们能够故意将冗余添加到哈希码中,以提高检索性能,而不会牺牲存储效率或搜索复杂性。特别是,我们提出了一个块K-means哈希(B-KMH)的方法,以获得显着提高检索性能,没有增加存储和边际增加计算成本。
2016-03-17 cs.CV cs.IR
Regularizing Deep Hashing Networks Using GAN Generated Fake Images
最近,基于深度网络的哈希(deep hashing)已经成为大规模图像检索的主要方法。它的目标是通过深度网络学习图像的紧凑按位表示,以便将相似的图像映射到附近的哈希码。由于深度网络模型通常具有大量参数,因此对于我们拥有的训练数据来说,它可能过于复杂,导致模型过度拟合。为了解决这个问题,在本文中,我们提出了一个简单的两阶段流水线来学习深度哈希模型,通过使用假图像正则化深度哈希网络。第一阶段是通过生成对抗网络(GAN)从原始训练集生成假图像,而不需要额外的数据。在第二阶段,我们提出了一个深度架构来学习哈希函数,其中我们使用基于最大熵的损失来合并GAN新创建的假图像。我们表明,这种损失作为一个强大的正则化的深层架构,通过惩罚低熵输出哈希码。这种损失也可以解释为模型集成,通过同时训练具有大量权重共享但在不同训练集上的许多网络模型。在多个基准数据集上的实验结果表明,该方法比现有的散列方法具有更好的性能增益。
2018-09-02 cs.CV
Cascading Hierarchical Networks with Multi-task Balanced Loss for Fine-grained hashing
Guangdong Polytechnic Normal University(广东技术师范大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
随着互联网时代细粒度图像数量的爆炸式增长,如何从大规模的细粒度图像中进行快速有效的检索成为一个具有挑战性的问题。在众多的检索方法中,散列法因其效率高、占用存储空间小而被广泛使用。由于细粒度图像的特点,造成了类间方差小、类内方差大等困难,使得细粒度散列比传统散列更具挑战性。为了提高细粒度散列的检索精度,我们提出了一个级联网络来学习紧凑和高度语义的散列代码,并介绍了注意力引导的数据增强方法。我们将此网络称为级联分层数据增强网络。我们还提出了一种新的方法来协调平衡多任务学习的损失。我们在一些常见的细粒度视觉分类数据集上做了大量的实验。实验结果表明,我们提出的方法优于几种最先进的哈希方法,可以有效提高细粒度检索的准确性。源代码是公开的:https://github.com/kaiba007/FG-CNET。
2023-03-20 cs.CV
Supervised Incremental Hashing
University of Maryland(马里兰大学)
我们提出了一种增量策略,用于学习大规模图像搜索的核哈希函数。我们的方法是基于一个两阶段的分类框架,将二进制代码之间的特征空间和语义空间的中间变量。在分类的第一阶段,二进制代码被一组二进制支持向量机视为类标签;每个对应于一个比特。在第二阶段,二进制代码成为多类SVM的输入空间。哈希函数通过一种高效的算法来学习,其中通过循环坐标下降来解决寻找最佳二进制代码的NP难题,并以并行增量方式训练支持向量机。对于像从以前看不见的类添加图像这样的修改,我们描述了一个增量过程,用于有效和高效地更新以前的哈希函数。在三个大规模图像数据集上的实验表明,所提出的散列方法,监督增量散列(SIH),在最先进的监督散列方法的有效性。
2016-06-09 cs.CV
Hashing for Similarity Search: A Survey
Microsoft Research(微软研究院);The University of Queensland(昆士兰大学);Tsinghua University(清华大学)
相似性搜索(最近邻搜索)是从大型数据库中寻找与查询项距离最小的数据项的问题。已经开发了各种方法来解决这个问题,最近已经投入了大量的努力近似搜索。在本文中,我们提出了一个调查的主要解决方案之一,哈希,这已经被广泛研究,因为开拓性的工作局部敏感哈希。本文将散列算法分为两大类:局部敏感散列算法(locality sensitive hashing)和学习散列算法(learning to hash),局部敏感散列算法是根据数据分布来学习散列函数,本文从散列函数的设计、散列编码空间中的距离度量和搜索机制等方面对散列算法进行了综述。
2014-08-13 cs.CV cs.DB cs.DS
Sparse similarity-preserving hashing
近年来,大量的注意力已经投入到有效的最近邻搜索的相似性保持哈希。现有散列技术的困境之一是性能和计算复杂性之间的内在权衡:虽然较长的散列码允许较低的误报率,但很难在不导致非常高的误报率或禁止计算成本的情况下增加嵌入维数。在本文中,我们提出了一种方法来克服这种限制,强制散列码是稀疏的。稀疏高维码享有长散列的典型的低假阳性率,同时保持假阴性率类似于具有相等数量的自由度的较短密集散列方案的假阴性率。我们使用一个定制的前馈神经网络的哈希函数。涉及视觉和多模态数据的广泛的实验评估显示了所提出的方法的好处。
2014-02-16 cs.CV cs.DS
Deep Cross-modal Hashing via Margin-dynamic-softmax Loss
Beijing Institute of Technology(北京理工大学);Jiangxi University of Finance and Economics(江西财经大学);Huazhong University of Science and Technology(华中科技大学)
由于跨模态哈希方法具有检索效率高、存储开销小等优点,因此受到了广泛的关注。对于有监督的跨模态哈希方法,如何使学习的哈希码充分保留数据点标签中包含的语义信息是进一步提高检索性能的关键。因此,几乎所有的监督式跨模态哈希方法通常都依赖于定义数据点之间的相似性和标签信息来完全或部分地指导哈希模型学习。然而,定义的数据点之间的相似度只能部分地捕捉数据点的标签信息,而忽略了丰富的语义信息,从而阻碍了检索性能的进一步提高。因此,在本文中,不同于以往的作品,我们提出了一种新的跨模态哈希方法,没有定义数据点之间的相似性,称为深度跨模态哈希通过\textit{Margin-dynamic-softmax Loss}(DCHML)。具体地说,DCHML首先训练一个代理哈希网络,将数据集的每个类别信息转换成一个语义区分哈希码,称为代理哈希码。每个代理哈希码都能很好地保留其对应类别的语义信息。接下来,没有定义数据点之间的相似性来监督特定于模态的哈希网络的训练过程,我们提出了一种新的\textit{margin-dynamic-softmax loss}直接利用代理哈希码作为监督信息。最后,通过最小化新的\textit{margin-dynamic-softmax loss},可以训练特定模态的哈希网络生成哈希码,该哈希码可以同时很好地保持跨模态相似性和丰富的语义信息。
2021-05-18 cs.CV cs.IR cs.MM
Multimodal similarity-preserving hashing
Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)(达勒莫勒人工智能研究所(IDSIA));Università della Svizzera Italiana (USI)(瑞士意大利语区大学(USI));Scuola Universitaria Professionale della Svizzera Italiana (SUPSI)(瑞士意大利语区应用科学与艺术大学(SUPSI));Tel Aviv University(特拉维夫大学)
我们引入了一个有效的计算框架,用于将属于多种模态的数据散列到一个单一的表示空间中,在这个空间中它们变得相互比较。所提出的方法是基于一种新的耦合连体神经网络架构,并允许统一处理内和模态间的相似性学习。与现有的跨模态相似性学习方法不同,我们的散列函数不限于二值化线性投影,可以采用任意复杂的形式。我们的实验表明,我们的方法显着优于国家的最先进的散列方法对多媒体检索任务。
2012-07-06 cs.CV cs.NE
Deep Lifelong Cross-modal Hashing
China West Normal University(西华师范大学);Sichuan University(四川大学);Chongqing University of Posts and Telecommunication(重庆邮电大学)
针对跨模态哈希在新类别数据持续到达时的灾难性遗忘与重复训练问题,提出深度终身跨模态哈希,通过增量训练、终身哈希损失和多标签语义监督保持性能并大幅降低训练成本。
2023-04-26 cs.CV cs.IR
Supervised Online Hashing via Hadamard Codebook Learning
Xiamen University(厦门大学);Tencent Technology (Shanghai) Co., Ltd(腾讯科技(上海)有限公司)
近年来,二进制代码学习,也称为哈希,在大规模多媒体检索中受到广泛关注。它的目的是将高维数据点编码为二进制代码,因此原始高维度量空间可以通过汉明空间有效地近似。然而,现有的哈希方法大多采用离线批量学习,这是不适合处理流数据或新实例的增量数据集。相比之下,现有的在线哈希算法的鲁棒性仍然是一个悬而未决的问题,而监督/语义信息的嵌入很难提高在线哈希算法的性能,这主要是由于监督学习中类别数未知的缺陷。在本文中,我们提出了一个在线哈希方案,称为Hadamard Codebook为基础的在线哈希(HCOH),旨在解决上述问题的鲁棒性和监督的在线哈希。特别地,我们首先分配一个适当的高维二进制码的每个类标签,这是随机生成的Hadamard码到每个类标签,这是随机生成的Hadamard码。然后,采用LSH算法,根据哈希位的大小来缩减Hadamard码的长度,从而实现了对预定义二进制码的在线自适应,并在理论上保证了语义相似性。最后,我们考虑设置随机数据采集,这有利于我们的方法,有效地学习相应的散列函数通过随机梯度下降(SGD)在线。值得注意的是,所提出的HCOH可以嵌入有监督的标签,并且不限于预定义的类别编号。在三个广泛使用的基准上的大量实验证明了所提出的方案比最先进的方法的优点。该代码可在https://github.com/lmbxmu/mycode/tree/master/2018ACMMM_HC…
2019-05-24 cs.CV cs.MM
Deep Asymmetric Hashing with Dual Semantic Regression and Class Structure Quantization
Shenzhen University(深圳大学);Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳市人工智能与机器人研究院);Tianjin University(天津大学);Australian National University(澳大利亚国立大学)
近年来,深度哈希算法在图像检索中得到了广泛的应用。大多数现有的深度哈希方法采用一对一量化来减少信息损失。然而,这种类无关的量化不能为网络训练提供有区别的反馈。此外,这些方法仅利用单个标签来整合数据的监督信息进行哈希函数学习,由于完全忽略了数据的类间信息,可能导致网络泛化性能较差,哈希码质量相对较低。在本文中,我们提出了一个双重语义非对称哈希(DSAH)方法,它产生歧视性的哈希码下的三重约束。首先,DSAH利用类优先进行类结构量化,从而在量化过程中传递类信息。其次,设计了一种简单有效的标签机制来表征数据的类内紧致性和类间可分性,从而实现语义敏感的二进制代码学习。最后,设计了一个有意义的成对相似性保持损失,以最小化类相关的网络输出之间的距离的基础上的亲和图。有了这三个主要组成部分,就可以通过网络生成高质量的哈希码。在各种数据集上进行的大量实验证明了DSAH与最先进的深度哈希方法相比的优越性。
2021-12-23 cs.CV cs.IR
Convolutional Hashing for Automated Scene Matching
Castle Global, Inc.
我们提出了一个强大的新的损失函数和训练计划学习二进制哈希函数。特别是,我们证明了我们的方法,首次创建一个神经网络,优于国家的最先进的Haar小波和颜色布局描述符在自动场景匹配的任务。通过准确地将网络输出流形上的距离与汉明空间中的距离相关联,我们实现了非平凡假阳性率降低100倍,真阳性率显着提高。我们希望我们的见解为应用于其他信息检索哈希任务的哈希模型提供巨大的胜利。
2018-02-09 cs.CV cs.IR stat.ML