Fast Supervised Discrete Hashing
Institute of Intelligent Machines, Chinese Academy of Sciences(中国科学院合肥智能机械研究所);The University of Sydney(悉尼大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
基于学习的哈希算法是“热门话题”,因为它们可以大大增加现有方法的规模。本文在“监督离散散列”(SDH)的基础上,提出了一种新的基于学习的散列方法--“快速监督离散散列”(FSDH)。将训练样本(或哈希码)回归到相应的类标签被广泛用于普通最小二乘回归。FSDH没有采用这种方法,而是使用一种非常简单但有效的方法,将训练样本的类标签回归到相应的哈希码,以加速算法。据我们所知,这种策略以前没有用于哈希。传统的SDH将优化分解为三个子问题,其中最关键的子问题-二进制哈希码的离散优化-使用迭代离散循环坐标下降(DCC)来解决,这是耗时的。然而,FSDH具有封闭形式的解决方案,并且仅需要单个而不是迭代的哈希码求解步骤,这是高效的。此外,FSDH通常比SDH更快地求解最小二乘回归的投影矩阵,使得FSDH通常比SDH更快。例如,我们的结果表明,FSDH是大约12倍的速度比SDH的哈希位数为128的CIFAR-10数据库,和FSDH是大约151倍的速度比FastHash的哈希位数为64的MNIST数据库。实验结果表明,FSDH不仅速度快,而且性能优于其他比较方法。
2019-04-07 cs.LG stat.ML
One Loss for All: Deep Hashing with a Single Cosine Similarity based Learning Objective
Universiti Malaya(马来亚大学);University of Surrey(萨里大学);Geek+(极智嘉);iFlyTek-Surrey Joint Research Centre on Artificial Intelligence(科大讯飞-萨里人工智能联合研究中心)
深度哈希模型通常有两个主要的学习目标:使学习的二进制哈希码具有区分性和最小化量化误差。在诸如比特平衡和码正交性的进一步约束的情况下,现有模型采用大量(>4)损耗并不罕见。这导致模型培训的困难,并随后阻碍其有效性。在这项工作中,我们提出了一种新的深度哈希模型,只有一个学习目标。具体来说,我们表明,最大限度地提高连续码和相应的二进制正交码之间的余弦相似性,可以确保散列码的鉴别力和量化误差最小化。此外,利用该学习目标,可以通过简单地使用批量归一化(BN)层来实现代码平衡,并且多标签分类也可以直接使用标签平滑。其结果是一个单损失深度哈希模型,消除了调整各种损失权重的所有麻烦。重要的是,大量的实验表明,我们的模型是非常有效的,在三个大规模的实例检索基准测试中,性能优于最先进的多损失哈希模型,通常是显著的利润率。代码可在https://github.com/kamwoh/orthohash上获得
2021-09-29 cs.CV cs.LG
The Power of Asymmetry in Binary Hashing
Toyota Technological Institute at Chicago(芝加哥丰田理工学院);University of Toronto(多伦多大学);Technion(以色列理工学院)
当近似二进制相似性使用汉明距离之间的短二进制哈希,我们表明,即使相似性是对称的,我们可以有更短,更准确的哈希使用两个不同的代码映射。即,对于两个不同的二进制码$f,g$,通过将$x$和$x'$之间的相似性近似为$f(x)$和$g(x')$之间的汉明距离,而不是$f(x)$和$f(x')$之间的汉明距离。
2013-11-29 cs.CV cs.IR cs.LG
Optimal Projection Guided Transfer Hashing for Image Retrieval
Learning Intelligence & Vision Essential Group(学习智能与视觉基础组);School of Microelectronics and Communication Engineering, Chongqing University, China(重庆大学微电子与通信工程学院)
近年来,由于二进制码的计算和存储效率,学习哈希已被广泛研究用于图像检索。对于大多数现有的学习哈希方法,需要足够的训练图像,并用于学习精确的哈希代码。然而,在一些现实世界的应用中,在感兴趣的域中并不总是有足够的训练图像。此外,一些现有的监督方法需要大量的标记数据,这是一个昂贵的过程中的时间,标签和人类的专业知识。为了处理这些问题,受迁移学习的启发,我们提出了一种简单而有效的无监督哈希方法,称为最佳投影引导迁移哈希(GTH),其中我们借用其他不同但相关的域的图像,即,源域以帮助学习感兴趣的域的精确散列码(即,目标域。此外,我们建议寻求最大似然估计(MLE)解决方案的目标和源域的哈希函数由于域间隙。此外,采用交替优化的方法来获得目标域和源域的两个投影,使得域散列视差逐渐减小。在各种基准数据库上进行的大量实验验证了我们的方法优于许多最先进的学习哈希方法。实现细节可在https://github.com/liuji93/GTH上获得。
2019-03-01 cs.CV cs.IR cs.LG
b-Bit Minwise Hashing in Practice: Large-Scale Batch and Online Learning and Using GPUs for Fast Preprocessing with Simple Hash Functions
Cornell University(康奈尔大学);Microsoft Research(微软研究院);Microsoft Corporation(微软公司)
在本文中,我们研究了几个关键问题,必须解决之前,可以应用b位minwise散列的数据量经常使用的工业应用程序,特别是在搜索的背景下。1.(b位)最小散列需要计算k的昂贵的预处理步骤(例如,500)在对每个数据向量应用相应的排列之后,计算最小值。我们开发了一个使用GPU的并行化方案,并观察到预处理时间可以减少20-80倍,并大大小于数据加载时间。2. b-bit minwise hashing的一个主要优点是它可以大大减少批量学习所需的内存量。然而,随着在线算法在搜索环境中的大规模学习中变得越来越流行,目前还不清楚b位minwise是否会对它们产生显着的改进。本文表明,$b$位minwise哈希提供了一个有效的数据大小/维数减少计划,因此它可以显着减少数据加载时间为每个时代的在线训练过程。这是重要的,因为在线学习通常需要许多(例如,10到100)个历元以达到足够的精度。3.另一个关键问题是,对于非常大的数据集,由于其空间要求,不可能存储(完全)随机置换矩阵。我们的论文是第一个研究,以证明$b$位minwise散列实现使用简单的散列函数,例如,2-通用(2U)和4-通用(4U)散列族可以产生与使用完全随机排列非常相似的学习结果。最多200 GB的数据集上的实验。
2012-05-14 cs.DB cs.IR cs.LG
CoopHash: Cooperative Learning of Multipurpose Descriptor and Contrastive Pair Generator via Variational MCMC Teaching for Supervised Image Hashing
College of Engineering and Computer Science, VinUniversity(VinUniversity工程与计算机科学学院);Akool Research(Akool研究院);Department of Statistics and Data Science, UCLA(加州大学洛杉矶分校统计与数据科学系);Google Research(谷歌研究院);VecML
针对监督图像哈希标注不足及 GAN 难联合训练的问题,提出基于能量协同学习的 CoopHash,联合训练对比图像生成器与多用途描述器,取得最高 10% 相对提升。
2024-06-12 cs.CV cs.IR cs.LG
Scalable Generalized Linear Bandits: Online Computation and Hashing
UW-Madison(威斯康星大学麦迪逊分校)
广义线性Bandits(GLB)是随机线性Bandits的自然扩展,近年来得到了广泛的应用。然而,现有的GLB在轮数和臂数方面的规模很差,限制了它们在实践中的实用性。本文提出了新的,可扩展的解决方案,GLB问题在两个方面。首先,不同于现有的GLB,其每时间步长的空间和时间复杂度至少随时间线性增长$t$,我们提出了一个新的算法,执行在线计算,享受恒定的空间和时间复杂度。其核心是一种新的广义线性扩展的在线置信集转换(GLOC方法),它采用\emph{any}在线学习算法,并把它变成一个GLB算法。作为一个特殊的情况下,我们应用GLOC的在线牛顿步算法,这导致在低遗憾GLB算法的时间和内存复杂度比以前的工作低得多。其次,对于手臂的数量$N$是非常大的情况下,我们提出了新的算法,其中每个下一个手臂通过内积搜索选择。这样的方法可以经由散列算法(即,“可散列处理”)并导致$N$中的时间复杂度次线性。虽然GLOC的Thompson采样扩展是散列顺从的,但其针对$d$维臂集的遗憾界与$d^{3/2}$成比例,而GLOC的遗憾界与$d$成比例。为了缩小这一差距,我们提出了一个新的哈希适合的算法,其遗憾界尺度与$d^{5/4}$。最后,我们提出了一种快速近似散列密钥计算(内积),具有比最先进的更好的精度,这可以是独立的利益。我们总结了初步的实验结果,证实了我们的方法的优点。
2017-10-21 cs.LG stat.ML
Supervised Hashing based on Energy Minimization
Shanghai Jiao Tong University(上海交通大学)
近年来,监督哈希方法由于能够在保持语义信息的同时优化检索速度和存储成本而受到广泛关注。由于散列代码学习是NP难的,因此许多方法都采用某种形式的松弛技术。但是这些方法的性能很容易由于松弛而恶化。幸运的是,许多监督哈希公式可以被视为能量函数,因此求解哈希代码相当于在相应的条件随机场(CRF)中学习边缘。通过最小化完全分解的分布和该CRF的吉布斯分布之间的KL散度,可以获得一组一致性方程,但是并行更新它们可能不会产生局部最优,因为不能保证变分下限增加。在本文中,我们使用的S形函数的线性近似转换这些一致性方程的线性系统,它有一个封闭的形式的解决方案。通过将这种新技术应用于两个经典的哈希公式KSH和SPLH,我们得到了两个新的方法称为EM(能量最小化为基础)-KSH和EM-SPLH。在三个数据集上的实验结果表明了该方法的优越性。
2017-12-02 cs.LG stat.ML
Pairwise Supervised Hashing with Bernoulli Variational Auto-Encoder and Self-Control Gradient Estimator
Texas A&M University(德州农工大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
语义散列已成为许多大型信息检索系统中快速相似性搜索的关键组成部分,特别是对于文本数据。变分自动编码器(VAE)与二进制潜在变量作为哈希码提供了最先进的性能方面的精度为文档检索。我们提出了一个具有离散潜在VAE的成对损失函数来奖励监督哈希的类内相似性和类间相异性。该算法不依赖于已有的有偏梯度估计器,而是采用无偏低方差梯度估计器,通过对两组相关的二进制哈希码的不可微损失函数进行估计,控制梯度估计的方差,从而优化哈希函数.这种新的语义哈希框架实现了优越的性能相比,国家的最先进的,我们的综合实验证明。
2020-05-21 cs.LG stat.ML
Locality-sensitive hashing in function spaces
Department of Applied Mathematics, University of Colorado, Boulder(科罗拉多大学博尔德分校应用数学系)
我们讨论了在函数空间上进行相似性搜索的问题。为了在合理的时间内对此类空间执行搜索,我们使用{ \it位置敏感哈希}(LSH)。我们提出了两种方法,使LSH功能$\mathbb{R}^N$扩展到$L^p$空间:一个使用函数近似的正交基,另一个使用(准)蒙特卡洛风格的技术。我们使用所提出的散列计划,以构建一个LSH家庭的Wasserstein距离在一维,连续的概率分布。
2020-02-10 cs.LG math.PR stat.ML
Weakly-paired Cross-Modal Hashing
Southwest University(西南大学);KAUST(阿卜杜拉国王科技大学);George Mason University(乔治梅森大学)
散列算法以其存储成本低、检索速度快等优点被广泛应用于大规模数据检索中。现有的跨模态散列方法乐观地假设跨模态的训练样本之间的对应关系是容易获得的。这种假设在实际应用中是不现实的。此外,这些方法通常需要不同模态的相同数量的样本,这限制了它们的灵活性。我们提出了一种灵活的跨模态散列方法(Flex-CMH)来从弱配对数据中学习有效的散列代码,这些数据在模态之间的对应关系部分(甚至完全)未知。FlexCMH首先引入了基于聚类的匹配策略来探索每个聚类的局部结构,从而找到跨模态的聚类(和其中的样本)之间的潜在对应关系。为了减少不完全对应的影响,它在统一的目标函数中联合优化潜在的对应、从对应导出的跨模态散列函数和散列量化损失。还提出了一种替代的优化技术,以协调对应和哈希函数,并加强这两个目标的相互影响。在公开的多模态数据集上的实验表明,FlexCMH实现了比最先进的方法更好的结果,它确实为实际的跨模态哈希任务提供了高度的灵活性。
2019-05-29 cs.LG stat.ML
Supervised Auto-Encoding Twin-Bottleneck Hashing
University of Geneva(日内瓦大学)
该研究将自编码双瓶颈哈希推广为监督深度哈希网络,融入标签信息并处理类别不平衡,在三个数据集上取得显著改进。
2023-06-19 cs.LG
Task-adaptive Asymmetric Deep Cross-modal Hashing
Shandong Normal University(山东师范大学);Harbin Institute of Technology(哈尔滨工业大学)
监督跨模态哈希算法的目标是将异质模态数据的语义相关性嵌入到具有区分性语义标签的二进制哈希码中。由于其在检索和存储效率上的优势,被广泛用于解决高效的跨模态检索。然而,现有的研究平等地处理不同的跨模态检索的任务,并简单地学习相同的哈希函数对他们以对称的方式。在这种情况下,不同的跨模态检索任务的唯一性被忽略,可能会带来次优性能。基于此,本文提出了一种任务自适应非对称深度跨模态哈希(TA-ADCMH)方法。它可以学习任务自适应哈希函数的两个子检索任务,通过同时的模态表示和非对称哈希学习。与以前的跨模态哈希方法不同,我们的学习框架联合优化了语义保持,将多媒体数据的深层特征转换为二进制哈希码,以及语义回归,直接将查询模态表示回归到显式标签。通过该模型,二进制代码可以有效地保持不同模态之间的语义相关性,同时自适应地捕获查询语义。在两个标准数据集上从多个方面证明了TA-ADCMH的优越性。
2022-03-21 cs.IR cs.LG
Deep Kernel Supervised Hashing for Node Classification in Structural Networks
Beijing Institute of Technology(北京理工大学);Huazhong University of Science and Technology(华中科技大学)
结构网络中的节点分类已被证明是有用的,在许多现实世界的应用。随着网络嵌入的发展,节点分类的性能得到了很大的提高。然而,现有的基于网络嵌入的方法在低维空间中存在线性不可分问题,难以捕捉节点的实际类别特征,同时也无法将网络结构信息和节点标签信息同时融入到网络嵌入中。为了解决上述问题,在本文中,我们提出了一种新的深度核监督哈希(DKSH)方法来学习节点的哈希表示用于节点分类。具体来说,首先提出了一种深度多核学习,将节点映射到合适的Hilbert空间,以处理线性不可分问题。然后,而不是只考虑两个节点之间的结构相似性,一个新的相似性矩阵的设计,合并网络结构信息和节点标签信息。在相似性矩阵的监督下,学习到的节点的哈希表示同时很好地保留了学习到的希尔伯特空间中的两种信息。大量的实验表明,该方法显着优于国家的最先进的基线在三个真实世界的基准数据集。
2021-04-03 cs.LG cs.SI
Towards Optimal Discrete Online Hashing with Balanced Similarity
Xiamen University(厦门大学);Tencent Technology (Shanghai) Co., Ltd(腾讯科技(上海)有限公司);Peng Cheng Laboratory(鹏城实验室)
当面对大规模的图像数据集时,在线哈希是一种很有前途的在线检索和预测任务的解决方案。它将在线流数据编码为紧凑的二进制代码,同时更新哈希函数以更新现有数据集的代码。为此,现有方法仅基于新数据批次更新散列函数,而不调查这种新数据与现有数据集之间的相关性。此外,现有的作品更新散列函数使用松弛过程在其相应的近似连续空间。如何在在线哈希中直接应用离散优化仍然是一个悬而未决的问题。在本文中,我们提出了一种新的监督在线散列方法,称为平衡相似在线离散散列(BSODH),在一个统一的框架来解决上述问题。BSODH采用了一种设计良好的哈希算法,通过非对称图正则化来保持流数据和现有数据集之间的相似性。我们进一步发现了由构造的非对称图所带来的“数据不平衡”问题,该问题限制了离散优化在我们问题中的应用。因此,进一步提出了一种新的平衡相似性,它使用两个平衡因子来平衡相似和不相似的权重,并最终使离散优化的使用。在三个广泛使用的基准上进行的大量实验证明了所提出的方法比最先进的方法的优势。
2019-04-23 cs.IR cs.LG
Hadamard Matrix Guided Online Hashing
Huawei(华为)
在线图像散列技术是近年来研究的热点之一,它以流的方式接收大规模数据,实时更新散列函数。其关键挑战在于难以平衡学习的及时性和模型的准确性。为此,大多数作品遵循监督设置,即,使用类标签来提高散列性能,这在两个方面存在缺陷:第一,强约束,例如,正交或相似性保持,然而,这通常是松弛的,并导致大的精度下降。其次,需要大量的训练批次来学习最新的哈希函数,这大大增加了学习的复杂度。为了应对上述挑战,本文提出了一种新的监督在线哈希方案Hadamard矩阵引导在线哈希(HMOH)。本文的主要创新点在于引入了Hadamard矩阵,这是一个通过Sylvester方法构造的正交二元矩阵。特别地,为了释放强约束的需要,我们将Hadamard矩阵的每一列作为每个类标签的目标代码,其本质上满足散列码的几个期望性质。为了加速在线训练,首先采用LSH对齐目标代码和待学习二进制代码的长度。然后,我们将哈希函数的学习视为一组二进制分类问题,以拟合指定的目标代码。最后,大量的实验表明,所提出的方法优于各种国家的最先进的方法的准确性和效率。代码可在https://github.com/lmbxmu/mycode上获得。
2020-01-22 cs.IR cs.LG
Compact Hyperplane Hashing with Bilinear Functions
Columbia University(哥伦比亚大学);IBM T. J. Watson Research Center(IBM T. J. 沃森研究中心);Google Research(谷歌研究中心)
超平面散列旨在快速搜索超平面的最近点,并已在使用SVM扩展主动学习方面显示出实际影响。不幸的是,现有的随机化方法需要很长的哈希码来实现合理的搜索精度,从而降低了搜索速度和较大的存储开销。为此,本文提出了一种新的超平面哈希技术,产生紧凑的哈希码。其关键思想是所提出的哈希函数的双线性形式,这导致了更高的碰撞概率比现有的超平面哈希函数时,使用随机投影。为了进一步提高性能,我们提出了一个基于学习的框架,其中双线性函数直接从数据中学习。这导致短而有区别的代码,并且还提高了基于随机投影的解决方案的搜索性能。大规模的主动学习实验进行了两个数据集上的多达一百万个样本证明了所提出的方法的整体优势。
2012-06-18 cs.LG stat.ML