Markov Chain Monte Carlo for Arrangement of Hyperplanes in Locality-Sensitive Hashing
FUJITSU LABORATORIES LTD.(富士通研究所)
由于汉明距离可以通过逐位计算来计算,因此它们可以以比L2距离更少的计算负荷来计算。因此,可以在汉明距离空间中更快地执行相似性搜索。汉明距离空间的元素是位串。另一方面,超平面的排列导致从特征向量到特征位串的变换。这种变换方法是一种位置敏感散列,作为高速执行近似相似性搜索的方式而引起关注。超平面安排的监督学习允许我们获得一种方法,该方法将它们转换为反映应用于更高维特征向量的标签的信息的特征位串。在本文中,我们提出了一个监督学习方法的超平面安排的特征空间,使用马尔可夫链蒙特卡罗(MCMC)方法。我们考虑在学习过程中使用的概率密度函数,并评估其性能。我们还考虑了学习中所需的学习数据对的采样方法,并对其性能进行了评估。我们确认,当使用合适的概率密度函数和采样方法时,这种学习方法的准确性大于现有的学习方法的准确性。
2013-03-18 cs.LG
Ranking-based Deep Cross-modal Hashing
Southwest University(西南大学);China University of Geosciences(中国地质大学);George Mason University(乔治梅森大学);University of Electronic Science and Technology of China(电子科技大学);Beijing University of Civil Engineering and Architecture(北京建筑大学)
跨模式哈希算法以其存储开销小、查询速度快等优点在多模式数据检索中受到越来越多的关注。然而,大多数现有的散列方法是基于手工制作或原始级别的对象的功能,这可能不是最佳的编码过程兼容。此外,这些散列方法主要被设计用于处理简单的成对相似性。与多个标签相关联的实例的复杂多级排序语义结构尚未得到很好的探索。在本文中,我们提出了一种基于排名的深度跨模态哈希方法(RDCMH)。RDCMH首先使用数据的特征和标签信息来获得半监督语义排序列表。接下来,为了扩展手工特征的语义表示能力,RDCMH将语义排名信息集成到深度跨模态哈希中,并联合优化深度特征表示和哈希函数的兼容参数。在真实多模态数据集上的实验表明,RDCMH算法在跨模态检索应用中的性能优于其他同类算法。
2019-05-11 cs.LG stat.ML
Unsupervised Deep Hashing for Large-scale Visual Search
Northwestern Polytechnical University(西北工业大学);University of Oulu(奥卢大学)
基于学习的哈希算法在大规模视觉搜索中起着关键作用。然而,大多数现有的散列算法倾向于学习不寻求代表性二进制代码的浅模型。在本文中,我们提出了一种基于无监督深度学习的哈希方法,将特征分层转换为哈希码。在异构深度哈希框架内,考虑具有特定约束的自动编码器层来建模特征和二进制代码之间的非线性映射。然后,一个限制玻尔兹曼机(RBM)层的约束被用来减少在汉明空间的维数。视觉搜索问题上的广泛实验证明了我们所提出的方法相比,国家的最先进的竞争力。
2016-01-31 cs.CV cs.LG
Hierarchy Neighborhood Discriminative Hashing for An Unified View of Single-Label and Multi-Label Image retrieval
School of Information and Communication Engineering(信息与通信工程学院);University of Electronic Science and Technology of China(电子科技大学)
最近,深度监督哈希方法已经成为大规模图像检索任务的热门。为了保持示例之间的语义相似性概念,它们通常利用成对监督或三元组监督信息进行散列学习。然而,这些方法通常忽略了语义类信息,这有助于提高哈希码的语义区分能力。本文提出了一种新的层次邻域判别哈希算法。具体地说,我们构造了一个二分图来建立子类特征中心和嵌入特征之间的粗略语义邻域关系。此外,我们利用成对监督信息来构建嵌入特征之间的精细语义邻域关系。最后,我们提出了一个层次邻域判别散列损失统一的单标签和多标签图像检索问题与单流深度神经网络架构。在两个大规模数据集上的实验结果表明,该方法的性能优于现有的散列方法。
2019-01-11 cs.CV cs.LG
Deep Hashing for Signed Social Network Embedding
Beijing Institute of Technology(北京理工大学);Huazhong University of Science and Technology(华中科技大学)
网络嵌入是一种很有前途的网络表示方法,可以方便地处理和分析许多签名社交网络,如链接预测和节点分类。近年来,已有的几种嵌入算法都采用了特征散列算法来提高嵌入效率,并取得了很大的成功。然而,现有的基于特征散列的嵌入算法仅考虑签名社交网络中的正链接。直观地说,负面链接也有助于提高性能。因此,在本文中,我们提出了一种新的深度哈希方法,通过同时考虑正负链接,用于签名社交网络嵌入。大量的实验表明,该方法优于几个国家的最先进的基线,通过链接预测任务在两个现实世界中签署的社交网络。
2019-08-16 cs.LG cs.SI
Hyperplane Arrangements and Locality-Sensitive Hashing with Lift
FUJITSU LABORATORIES LTD.(富士通研究所)
局部敏感哈希将高维特征向量(如图像和语音)转换为位数组,并允许使用汉明距离进行高速相似性计算。有一种散列方案,它根据特征向量与放置在特征空间中的超平面的法向量之间的内积的符号将特征向量映射到位数组。这种散列可以被看作是通过超平面对特征空间的离散化。如果给出了数据的标签,则可以通过使用学习算法来确定超平面。然而,许多提出的学习方法不考虑超平面的偏移。不这样做会减少分割区域的数量,并且汉明距离和欧几里德距离之间的相关性变小。在本文中,我们提出了一个升降机映射,转换学习算法没有偏移量的那些考虑到偏移量。使用这种方法,没有偏移的学习方法给出了空间的离散化,就好像它考虑了偏移一样。对于所提出的方法,我们输入了几个高维特征数据集,并研究了数据的统计特性,超平面的数量和所提出的方法的效果之间的关系。
2012-12-26 cs.IR cs.LG stat.ML
Learning Discriminative Hashing Codes for Cross-Modal Retrieval based on Multi-view Features
散列技术因其存储要求低、处理速度快等优点在检索任务中得到了广泛的应用。许多基于单一视图的散列方法已被广泛研究用于信息检索。然而,单个视图的表示能力不足,并且没有捕获一些区分信息,这导致改进有限。在本文中,我们采用多个视图来表示图像和文本,以丰富的特征信息。我们的框架利用多个视图之间的互补信息,以更好地学习有区别的紧凑哈希码。提出了一种联合进行分类器学习和子空间学习的离散散列学习框架,以同时完成多个搜索任务。我们的框架包括两个阶段,即核化过程和量化过程。核化的目的是找到一个共同的子空间,多视图功能可以融合。量化阶段被设计为学习有区别的统一散列码。在单标签数据集(WiKi和MMED)和多标签数据集(MIRFlickr和NUS-WIDE)上进行了大量的实验,实验结果表明了该方法的优越性。
2020-01-06 cs.IR cs.LG cs.MM
Scaling up Kernel Ridge Regression via Locality Sensitive Hashing
EPFL(洛桑联邦理工学院);Microsoft Research(微软研究院);Google Research(谷歌研究院)
在Rahimi和Recht(2007)的开创性论文中引入的随机分箱特征是使用局部敏感散列近似核矩阵的有效方法。随机分箱特征提供了一种非常简单和有效的近似拉普拉斯核的方法,但不幸的是,它不适用于许多重要的核类别,特别是那些生成平滑高斯过程的核,如高斯核和Matern核。在本文中,我们介绍了一个简单的加权版本的随机装箱功能,并表明相应的核函数生成高斯过程的任何期望的平滑度。我们表明,我们的加权随机分仓功能提供了一个频谱近似相应的内核矩阵,导致有效的算法内核岭回归。在大规模回归数据集上的实验表明,该方法的精度优于随机傅立叶特征方法。
2020-03-21 cs.DS cs.LG stat.ML
Johnson-Lindenstrauss embeddings for noisy vectors -- taking advantage of the noise
本文研究了亚采样和散列作为工具的近似欧氏范数保持嵌入(未知)加性高斯噪声的向量的理论性质。这种嵌入有时被称为约翰逊-林登施特劳斯嵌入,因为它们的著名引理。以前的工作表明,作为稀疏嵌入,子采样和哈希的成功密切依赖于要映射的向量的$l_\infty$与$l_2$的比率。本文表明,噪声的存在消除了这种约束,在高维,换句话说,稀疏嵌入,如子采样和散列具有可比的嵌入维数密集嵌入有类似的近似范数保持降维属性。关键是,噪声应该被视为一种待开发的信息,而不仅仅是要去除的东西。理论界的子采样和散列恢复的近似范数的高维向量在噪声的存在下,推导出,与数值例子显示更好的性能,在噪声的存在下实现。
2022-09-01 cs.DS cs.LG cs.NA
Meta Cross-Modal Hashing on Long-Tailed Data
Southwest University(西南大学);Shandong University(山东大学);George Mason University(乔治梅森大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
由于跨模态哈希算法在减少存储空间的同时加快了异构数据的查询速度,因此在多模态数据的近似最近邻搜索中得到了广泛的研究。大多数散列方法假设训练数据是类平衡的,然而,在实践中,真实世界的数据往往具有长尾分布。在本文中,我们介绍了一种基于元学习的跨模态哈希方法(MetaCMH)来处理长尾数据。由于尾类中训练样本的缺乏,MetaCMH首先从不同模态的数据中学习直接特征,然后引入联想记忆模块来学习尾类样本的记忆特征。然后,它结合直接和记忆功能,以获得每个样本的Meta功能。对于长尾分布的头类样本,直接特征的权重较大,因为有足够的训练数据来学习它们;而对于稀有类,记忆特征的权重较大。最后,MetaCMH使用似然损失函数来保持不同模态的相似性,并以端到端的方式学习哈希函数。在长尾数据集上的实验表明,MetaCMH的性能明显优于现有的方法,特别是在尾部类上。
2021-11-07 cs.AI cs.DB cs.LG
Sparse-Inductive Generative Adversarial Hashing for Nearest Neighbor Search
National Institute of Informatics(国立信息学研究所)
针对无监督哈希中异构空间映射的分布不一致与优化难题,提出SiGAH方法,通过生成对抗框架与压缩感知机制学习哈希码,在四个基准数据集上性能超越现有最优方法。
2023-06-12 cs.CV cs.LG
Understanding Sparse JL for Feature Hashing
Harvard University(哈佛大学)
特征散列和其他随机投影方案通常用于降低特征向量的维数。我们的目标是有效地将生活在$\mathbb{R}^n$中的高维特征向量投影到低得多的维度空间$\mathbb{R}^m$中,同时近似地保持欧几里德范数。这些方案可以使用稀疏随机投影来构建,例如使用稀疏Johnson-Lindenstrauss(JL)变换。由Weinberger et. al(ICML '09)分析了稀疏度为1的稀疏JL在具有小的$\ell_\infty$与$\ell_2$范数比的特征向量上的准确性。最近,Freksen,Kamma和Larsen(NeurIPS '18)通过证明具有稀疏性$1$的稀疏JL的$\ell_\infty$与$\ell_2$范数比和准确性之间的紧密权衡来结束这一工作。在本文中,我们证明了在特征向量上的稀疏JL中使用稀疏$s$大于$1$的好处。我们的主要结果是$\ell_\infty$到$\ell_2$的范数比和一般稀疏$s$的准确性之间的紧密权衡,显着推广的结果Freksen等。我们的结果从理论上证明,稀疏的JL与$s > 1$可以有显着更好的范数保存属性的特征向量比稀疏的JL与$s = 1$,我们也实证证明了这一发现。
2020-03-26 cs.DS cs.LG math.PR
Fully Understanding the Hashing Trick
Aarhus University(奥胡斯大学)
特征散列,也称为{ \em the hashing trick},由Weinberger等人(2009)引入,是用于扩展机器学习算法的关键技术之一。不严格地说,特征散列使用随机稀疏投影矩阵$A : \mathbb{R}^n \to \mathbb{R}^m$(其中$m \ll n$),以便将数据的维度从$n$减少到$m$,同时近似地保持欧几里德范数。$A$的每一列都只包含一个非零项,等于$-1$或$1$。Weinberger等人给出了$\|Ax\|_2^2$的尾部边界。具体来说,他们表明,对于每个$\varepsilon, δ$,如果$\|x\|_{\infty} / \|x\|_2$足够小,并且$m$足够大,则$$\Pr[ \; | \;\|Ax\|_2^2 - \|x\|_2^2\; | < \varepsilon \|x\|_2^2 \;] \ge 1 - δ\;.$$这些界限后来由Dasgupta \etal(2010)扩展,最近由Dahlgaard等人(2017)进行了改进,然而,这种关键技术的性能的真实性质,具体地说,关键参数$\|x\|_{\infty} / \|x\|_2, m, \varepsilon, δ$之间的正确折衷仍然是一个悬而未决的问题。我们解决这个问题,给出严格的渐近界的确切权衡之间的中心参数,从而提供了一个完整的理解的性能特征散列。我们补充的渐近界与…
2018-05-22 cs.DS cs.LG math.FA
Adversarially Trained Deep Neural Semantic Hashing Scheme for Subjective Search in Fashion Inventory
Indian Institute of Technology Kharagpur(印度理工学院卡哈拉格普尔分校);Microsoft(微软)
从图库中检索查询图像的最接近匹配的简单方法是使用像素或特征空间中的绝对差之和来比较图像对。该过程是计算上昂贵的,病态的照明,背景组成,姿势变化,以及效率低下,部署在画廊集超过1000个元素。散列是一种更快的替代方法,它涉及在降维的简单特征空间中表示图像。将图像编码成二进制哈希码使得能够使用汉明距离度量在图像对中进行相似性比较。然而,挑战在于使用语义哈希方案对图像进行编码,该方案让主观邻居位于可容忍的汉明半径内。这项工作提出了一种采用深度神经语义哈希网络的对抗学习来进行时尚库存检索的解决方案。它由一个特征提取卷积神经网络(CNN)组成,学习(i)最小化分类服装类型的错误,(ii)最小化语义邻居之间的汉明距离,最大化语义不同图像之间的距离,(iii)最大限度地扰乱搜索引擎的能力,以识别相应的哈希码图像对时,处理语义相似的查询图库图像对。时尚库存搜索的实验验证在找到最接近的匹配时产生90.65%的平均精度(mAP),相比之下,通过现有技术的用于汉明空间检索的深度柯西散列获得53.26%的平均精度。
2019-06-30 cs.CV cs.LG eess.IV
CountSketches, Feature Hashing and the Median of Three
Aarhus University(奥胡斯大学);University of Copenhagen(哥本哈根大学)
在本文中,我们重新审视经典的CountSketch方法,这是一个稀疏的,随机投影,转换(高维)欧几里得向量$v$到一个向量的维度$(2t-1) s$,其中$t, s > 0$是整数参数。已知即使对于$t=1$,CountSketch也允许估计$v$的坐标,其中方差由$\|v\|_2^2/s$限定。对于$t > 1$,估计量取$2t-1$独立估计值的中位数,并且估计值偏离$2 \|v\|_2/\sqrt{s}$以上的概率在$t$中呈指数级小。这表明选择$t$为所需逆失效概率的对数。然而,CountSketch的实现通常使用一个小的、恒定的$t$。以前的工作只预测在这种情况下,一个恒定的因素改善。我们的主要贡献是一个新的分析计数草图,显示了改善方差$O(\min\{\|v\|_1^2/s^2,\|v\|_2^2/s\})$时,$t > 1$。也就是说,对于足够大的$s$,方差与$s^{-2}$成比例地渐近减小。我们还研究了方差的设置中的内积是从两个CountSketches估计。这一发现表明,特征散列方法本质上与CountSketch相同,但不使用中值估计器,可以在可能使用中值估计器的设置中以较小的成本变得更可靠。我们在实验中证实了我们的理论发现,从而有助于证明为什么在实践中,一个小的常数的估计往往是足够的。我们改进的方差界是基于新的一般定理的方差和高的时刻的中位数的独立同分布。随机变…
2021-02-03 cs.DS cs.LG stat.ML
TimeWak: Temporal Chained-Hashing Watermark for Time Series Data
University of Neuchâtel(讷伊大学);Delft University of Technology(代尔夫特理工大学)
针对潜空间水印与数据空间时间序列扩散生成器不兼容的问题,提出首个多变量时间序列扩散模型水印算法TimeWak,通过时间链式哈希嵌入和ε-精确逆推实现高数据效用与鲁棒可检测的水印。
2025-10-22 cs.AI cs.CR cs.LG
Embedding Compression with Hashing for Efficient Representation Learning in Large-Scale Graph
Visa Research(维萨研究院)
图神经网络(GNN)是专门为图数据设计的深度学习模型,它们通常依赖于节点特征作为第一层的输入。当在没有节点特征的图上应用这种类型的网络时,可以提取简单的基于图的节点特征(例如,度数)或学习输入节点表示(即,在训练网络的时候。虽然后一种训练节点嵌入的方法更有可能带来更好的性能,但与嵌入相关的参数数量随着节点数量线性增长。因此,当处理工业规模的图形数据时,以端到端的方式在图形处理单元(GPU)存储器内训练输入节点嵌入以及GNN是不切实际的。受为自然语言处理(NLP)任务开发的嵌入压缩方法的启发,我们开发了一种节点嵌入压缩方法,其中每个节点用位向量而不是浮点向量来压缩表示。压缩方法中使用的参数可以与GNN一起训练。我们表明,所提出的节点嵌入压缩方法相比,替代品实现了优越的性能。
2022-08-11 cs.AI cs.DB cs.LG
Tricking the Hashing Trick: A Tight Lower Bound on the Robustness of CountSketch to Adaptive Inputs
Google Research(谷歌研究院);Tel Aviv University(特拉维夫大学);UC Berkeley(加州大学伯克利分校)
CountSketch和Feature Hashing(“hashing trick”)是流行的随机降维方法,支持恢复$\ell_2$ -重命中者(键$i$,其中$v_i^2 > ε\|\boldsymbol{v}\|_2^2$)和近似内积。当输入是{ \em非自适应}(不依赖于先前的输出)时,应用于大小为$O(\ell/ε)$的草图的经典估计器对于在$\ell$中呈指数的查询数量是准确的。然而,当输入是自适应的时,可以在使用经典估计器的$O(\ell)$查询之后构造对抗输入,并且最知名的鲁棒估计器仅支持$\tilde{O}(\ell^2)$查询。在这项工作中,我们表明,这种二次依赖是在某种意义上固有的:我们设计了一个攻击后,$O(\ell^2)$查询产生一个对抗性的输入向量,其草图是高度偏见。我们的攻击使用“自然”非自适应输入(只有最终的对抗输入是自适应选择的),并普遍适用于任何正确的估计,包括攻击者未知的估计。在这一点上,我们暴露了这种基本方法的内在脆弱性。
2022-08-28 cs.CR cs.DS cs.LG