Hashing Learning with Hyper-Class Representation
Central South University(中南大学)
现有的无监督哈希学习是一种以属性为中心的计算。它可能无法准确地保持数据之间的相似性。这导致哈希函数学习的性能降低。本文提出了一种基于超类表示的哈希算法。这是一个分两步走的办法。第一步,发现潜在的决策特征,建立超类。第二步基于第一步中的超类信息构造哈希学习,使得超类内的数据的哈希码尽可能相似,以及超类之间的数据的哈希码尽可能不同。为了评估效率,在四个公共数据集上进行了一系列实验。实验结果表明,该算法在平均精度(MAP)、平均精度(AP)和汉明半径2(HAM2)方面均优于对比算法
2022-06-06 cs.LG
HashNet: Deep Learning to Hash by Continuation
Tsinghua University(清华大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
学习哈希算法由于其计算效率和检索质量的优势,被广泛应用于大规模多媒体检索中的近似最近邻搜索。哈希的深度学习通过端到端的表示学习和哈希编码来提高检索质量,最近受到越来越多的关注。受制于符号激活优化中的不适定梯度困难,现有的哈希方法的深度学习需要首先学习连续表示,然后在单独的二进制化步骤中生成二进制哈希码,这会严重损失检索质量。这项工作提出了HashNet,一种新的深度架构,用于深度学习通过具有收敛保证的连续方法进行散列,它从不平衡的相似性数据中准确地学习二进制散列码。其关键思想是通过连续方法来解决优化具有非光滑二进制激活的深度网络中的不适定梯度问题,在该方法中,我们从学习具有平滑激活函数的更简单的网络开始,并让它在训练过程中进化,直到它最终回到原始的难以优化的具有符号激活函数的深度网络。综合经验证据表明,HashNet可以生成精确的二进制哈希码,并在标准基准测试中获得最先进的多媒体检索性能。
2017-07-29 cs.CV cs.LG
Random Forests Can Hash
Duke University(杜克大学);Tel Aviv University(特拉维夫大学)
哈希码是一种非常有效的数据表示,需要能够处理不断增长的数据量。我们引入了一个具有信息论代码聚合的随机森林语义哈希方案,首次展示了随机森林,一种与深度学习一起在分类方面显示出惊人结果的技术,也可以扩展到大规模检索。传统的随机森林无法强制从每个树为相同类数据生成的散列的一致性,即,以保持潜在的相似性,并且它也缺乏跨树的代码聚合的原则性方法。我们从一个简单的散列方案开始,其中森林中独立训练的随机树充当散列函数。我们提出了一个子空间模型作为分裂函数,并表明它加强了哈希一致性树的数据从同一类。我们还介绍了一种信息理论的方法,用于将各个树的代码聚合成单个哈希代码,为每个类产生接近最优的唯一哈希。在大规模公共数据集上的实验表明,该方法在检索任务中的性能明显优于最先进的哈希方法。
2015-04-17 cs.CV cs.IR cs.LG
Learning to Hash with Graph Neural Networks for Recommender Systems
Texas A&M University(得克萨斯农工大学);Alibaba Group(阿里巴巴集团)
图表示学习在支持大规模高质量候选搜索方面引起了广泛关注。尽管它在学习用户-项目交互网络中的对象的嵌入向量方面是有效的,但在连续嵌入空间中推断用户偏好的计算成本是巨大的。在这项工作中,我们研究了高质量检索的图神经网络(GNNs)的哈希问题,并提出了一个简单而有效的离散表示学习框架,以共同学习连续和离散代码。具体来说,提出了一种使用GNN的深度哈希(HashGNN),它由两个组件组成,一个用于学习节点表示的GNN编码器和一个用于将表示编码为哈希码的哈希层。整个架构通过联合优化两个损失来进行端到端的训练,即,来自重建观察到的链路的重建损失,以及来自保持散列码的相对排序的排序损失。提出了一种新的基于引导直通估计器(STE)的离散优化策略。其主要思想是通过连续嵌入指导来避免STE反向传播中的梯度放大,在这种指导下,我们从学习一个更简单的网络开始,模仿连续嵌入,并让它在训练过程中进化,直到最终回到STE。在三个公开的数据集和一个真实的阿里巴巴公司数据集上的综合实验表明,我们的模型不仅可以实现与连续模型相当的性能,而且在推理过程中运行速度要快数倍。
2020-03-04 cs.IR cs.LG
MemoNet: Memorizing All Cross Features' Representations Efficiently via Multi-Hash Codebook Network for CTR Prediction
Sina Weibo(新浪微博)
提出MemoNet模型,将多哈希码本网络(HCNet)作为记忆机制融入CTR排序模型,高效学习并记忆交叉特征表示,在三个公开数据集和在线测试中超越现有方法,并展现码本规模扩展的性能增益规律。
2023-09-04 cs.AI cs.IR cs.LG
Mean Local Group Average Precision (mLGAP): A New Performance Metric for Hashing-based Retrieval
Arizona State University(亚利桑那州立大学)
近年来,由于需要紧凑的表示来支持在线图像等大规模数据库中的高效搜索/检索,视觉数据哈希技术的研究越来越受到关注。在许多可能性中,平均精度(mAP)已成为基于散列的检索的主要性能指标。mAP的一个明显缺点是它无法平衡检索准确性和哈希码的利用率:推动系统获得更高的mAP将不可避免地导致哈希码的利用率更低。由于散列空间中样本的冲突增加,散列码的不良利用阻碍了良好的检索。这意味着给出更高mAP值的模型不一定在检索中做得更好。在本文中,我们引入了一个新的度量命名为平均本地组平均精度(mLGAP)更好地评估基于哈希的检索的性能。新的度量标准提供了一种检索性能度量标准,该度量标准还协调了哈希码的使用,从而产生了比mAP等传统度量标准更有实际意义的性能度量标准。为此,我们首先从数学分析的不足之处的mAP基于哈希的检索。然后,我们提出mLGAP,并说明为什么它更适合基于哈希的检索。图像检索实验证明了该度量的有效性。
2018-11-24 cs.CV cs.LG
Task-adaptive Asymmetric Deep Cross-modal Hashing
Shandong Normal University(山东师范大学);Harbin Institute of Technology(哈尔滨工业大学)
监督跨模态哈希算法的目标是将异质模态数据的语义相关性嵌入到具有区分性语义标签的二进制哈希码中。由于其在检索和存储效率上的优势,被广泛用于解决高效的跨模态检索。然而,现有的研究平等地处理不同的跨模态检索的任务,并简单地学习相同的哈希函数对他们以对称的方式。在这种情况下,不同的跨模态检索任务的唯一性被忽略,可能会带来次优性能。基于此,本文提出了一种任务自适应非对称深度跨模态哈希(TA-ADCMH)方法。它可以学习任务自适应哈希函数的两个子检索任务,通过同时的模态表示和非对称哈希学习。与以前的跨模态哈希方法不同,我们的学习框架联合优化了语义保持,将多媒体数据的深层特征转换为二进制哈希码,以及语义回归,直接将查询模态表示回归到显式标签。通过该模型,二进制代码可以有效地保持不同模态之间的语义相关性,同时自适应地捕获查询语义。在两个标准数据集上从多个方面证明了TA-ADCMH的优越性。
2022-03-21 cs.IR cs.LG
Bio-Inspired Hashing for Unsupervised Similarity Search
UC San Diego(加利福尼亚大学圣地亚哥分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Princeton University(普林斯顿大学);IBM Research(IBM研究院)
果蝇的嗅觉回路启发了一种新的局部敏感哈希(LSH)算法,FlyHash。与产生低维散列码的经典LSH算法相比,FlyHash产生稀疏的高维散列码,并且在相似性搜索中也被证明具有优于经典LSH算法的经验性能。然而,FlyHash使用随机预测,无法从数据中学习。基于FlyHash的灵感和神经生物学中稀疏扩展表示的普遍性,我们的工作提出了一种新的哈希算法BioHash,该算法以数据驱动的方式产生稀疏高维哈希码。我们表明,BioHash优于以前公布的各种哈希方法的基准。由于我们的学习算法是基于一个本地和生物学上合理的突触可塑性规则,我们的工作提供了证据的建议,LSH可能是一个计算的原因,在各种生物系统的稀疏扩展图案的丰度。我们还提出了一个卷积变体BioConvHash,进一步提高了性能。从计算机科学的角度来看,BioHash和BioConvHash是快速的,可扩展的,并产生压缩的二进制表示,可用于相似性搜索。
2020-06-30 cs.DB cs.IR cs.LG
Shuffle and Learn: Minimizing Mutual Information for Unsupervised Hashing
University of British Columbia(不列颠哥伦比亚大学)
无监督二进制表示允许快速数据检索而无需任何注释,从而实现快速人员重新识别和多媒体检索等实际应用。有人认为,二进制空间中的冲突是高性能无监督哈希的主要障碍之一,因为目前的方法未能捕捉到精确的代码冲突在整个域。提出了一种新的松弛方法Shuffle and Learn来解决无监督哈希中的代码冲突。联合概率的近似导数和二进制层的梯度被引入以桥接从散列到输入的更新。给出了$ε$ --联合概率逼近导数收敛性的证明,保证了互信息更新的精确性。所提出的算法进行迭代全局更新,以最小化互信息,发散代码之前,定期无监督优化。实验表明,所提出的方法可以放松局部最优的代码优化,并有助于生成更有区别性和信息量的二进制表示,没有任何注释。在三个开放数据集上进行了无监督二进制代码图像检索的性能基准测试,并且该模型在所有这些数据集上的图像检索任务上都达到了最先进的精度。提供了数据集和可复制的代码。
2020-11-20 cs.CV cs.IR cs.LG
SHACIRA: Scalable HAsh-grid Compression for Implicit Neural Representations
University of Maryland(马里兰大学)
本文提出SHACIRA框架,通过量化潜权重重参数化与潜空间熵正则化压缩Instant-NGP式特征网格,在图像、视频和辐射场上以更少内存取得优于现有INR方法的效果。
2023-09-27 cs.AI cs.CV cs.LG
Generative Semantic Hashing Enhanced via Boltzmann Machines
Sun Yat-sen University(中山大学);Microsoft Dynamics 365 AI(微软Dynamics 365人工智能部门);SUNY at Buffalo(纽约州立大学布法罗分校)
生成式语义哈希算法具有检索速度快、占用内存少等优点,是一种很有前途的大规模信息检索技术。为了训练的易处理性,现有的生成哈希方法大多假设后验分布的因子分解形式,强制哈希码的比特之间的独立性。从模型表示和代码空间大小的角度来看,独立性始终不是最好的假设。为了引入散列码比特之间的相关性,本文提出采用玻尔兹曼机的分布作为变分后验。为了解决训练的棘手问题,我们首先开发了一种近似方法来重新参数化玻尔兹曼机的分布,通过将其增强为类高斯分布和伯努利分布的分层级联。在此基础上,进一步推导出证据下界(ELBO)的渐近精确下界。通过这些新技术,可以有效地优化整个模型。大量的实验结果表明,通过有效地建模哈希码中不同位之间的相关性,我们的模型可以实现显着的性能增益。
2020-06-16 cs.CL cs.LG stat.ML
Interactive Volume Visualization via Multi-Resolution Hash Encoding based Neural Representation
University of California - Davis(加州大学戴维斯分校);Intel Corporation(英特尔公司)
本文通过结合GPU张量核心、CUDA框架与宏单元加速渲染算法,实现了体积神经表示的交互式光线追踪,并支持核外训练与免预训练,解决了体数据神经网络推理慢的问题。
2023-06-29 cs.GR cs.LG
For Manifold Learning, Deep Neural Networks can be Locality Sensitive Hash Functions
Google(谷歌公司)
众所周知,训练深度神经网络提供了捕获输入的基本特征的有用表示。然而,这些表征在理论和实践中知之甚少。在监督学习的背景下,一个重要的问题是,这些表示是否捕捉到分类信息的特征,同时过滤掉非信息的噪声。我们探讨这个问题的形式化,考虑生成过程中,每个类都与一个高维流形和不同的类定义不同的流形。在该模型下,每个输入使用两个潜在向量产生:(i)“流形标识符”$γ$;以及(ii)沿着流形的表面移动示例的“变换参数”$θ$。例如,在一个示例中,$γ$可以表示狗的规范图像,而$θ$可以代表姿势、背景或照明的变化。我们提供的理论和经验证据表明,神经表征可以被视为类LSH函数,将每个输入映射到一个嵌入,该嵌入仅是信息$γ$的函数,并且对$θ$不变,有效地恢复了流形标识符$γ$。这种行为的一个重要后果是一次性学习看不见的类。
2021-03-11 cs.LG
Efficient physics-informed neural networks using hash encoding
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本文提出将多分辨率哈希编码引入物理信息神经网络,并用有限差分替代自动微分以处理导数不连续性,在Burgers、Helmholtz和Navier-Stokes方程上实现了约10倍的训练效率提升。
2023-02-26 cs.LG physics.comp-ph
Hash Collisions in Molecular Fingerprints: Effects on Property Prediction and Bayesian Optimization
University of Toronto(多伦多大学);Valence Labs(Valence实验室)
本研究探讨了分子指纹中哈希碰撞对性质预测和贝叶斯优化的影响,发现精确指纹在性质预测中略有提升,但在贝叶斯优化中未见显著改进。
2025-11-21 cs.LG
On Eliciting Syntax from Language Models via Hashing
National Institute of Information and Communications Technology (NICT)(日本信息通信研究机构(NICT))
该研究探索利用二值表示的信息保留能力从语言模型提取句法,通过升级比特级CKY、采用无监督对比哈希训练及新型损失函数,实现低成本获取高质量句法分析树。
2024-10-05 cs.AI cs.CL cs.LG
Unified Functional Hashing in Automatic Machine Learning
Google Research(谷歌研究院);Google(谷歌)
自动机器学习(AutoML)领域最近取得了令人印象深刻的成果,包括发现最先进的机器学习解决方案,如神经图像分类器。这通常是通过应用进化搜索方法来完成的,该方法从大空间中采样多个候选解决方案,并通过长时间的训练过程评估每个候选解决方案的质量。因此,搜索往往很慢。在本文中,我们表明,可以通过采用快速统一的函数哈希,特别是通过功能等价缓存技术,我们也提出了大的效率增益。其核心思想是通过散列检测搜索方法何时产生等价的候选项,这种情况经常发生,并且这种方式避免了昂贵的重新评估。我们的散列是“功能性的”,因为它识别等价的候选者,即使它们被不同地表示或编码,并且它是“统一的”,因为相同的算法可以散列任意表示;例如计算图,命令式代码或lambda函数。作为证据,我们在多个AutoML领域显示了显着的改进,包括神经架构搜索和算法发现。最后,我们通过实证分析,考虑哈希冲突,评估噪声和搜索分布的影响。总之,我们希望本文可以作为AutoML中哈希技术的指导。
2023-02-10 cs.LG cs.NE
Projected Hamming Dissimilarity for Bit-Level Importance Coding in Collaborative Filtering
University of Copenhagen(哥本哈根大学)
当推理涉及大量数据的任务时,一种常见的方法是将数据项表示为汉明空间中的对象,在汉明空间中可以有效地进行操作。然后可以通过学习对象的二进制表示(哈希码)并计算它们的汉明距离来计算对象相似性。虽然这是非常有效的,但每个位维度都是相等加权的,这意味着数据的潜在区分信息丢失了。一个更有表现力的替代方法是使用实值向量表示并计算它们的内积;这允许改变每个维度的权重,但速度要慢很多。为了解决这个问题,我们推导出一种新的方法来测量汉明空间中两个对象之间的相异性,其中每个维度具有二进制加权(即,禁用位):我们考虑将一个对象的向量投影到另一个对象的向量上的场不可知相异度。当在汉明空间中工作时,这导致新的投影汉明相异度,其通过投影的选择,有效地允许一个对象的散列码通过另一个对象的散列码的二进制重要性加权。我们提出了一个变分哈希模型学习哈希码优化这个投影汉明相异度,并在协同过滤实验中进行实验评估。与最先进的基于散列的协同过滤基线相比,所得到的散列代码在NDCG中的有效性增益高达+7%,在MRR中的有效性增益高达+14%,同时与使用汉明距离相比,不需要额外的存储和计算开销。
2021-03-26 cs.IR cs.LG
Learning to Collide: Recommendation System Model Compression with Learned Hash Functions
深度推荐模型的一个关键特征是其嵌入表的巨大内存需求。这些嵌入表通常可以达到数百千兆字节,这增加了硬件要求和培训成本。一种减少模型大小的常用技术是将所有分类变量标识符(id)散列到一个更小的空间中。这种散列减少了必须存储在嵌入表中的唯一表示的数量;从而减小了它的大小。然而,这种方法会在语义不同的id之间引入冲突,从而降低模型质量。我们引入了另一种方法,学习哈希函数,它学习了一个新的映射函数,鼓励语义相似的id之间的冲突。我们从历史数据和嵌入访问模式中获得了这种学习映射。我们在一个生产模型上对这种技术进行了实验,发现由访问频率和学习的低维嵌入相结合的映射是最有效的。我们证明了一个小的改进相对于散列技巧和其他碰撞相关的压缩技术。这是正在进行的工作,探索分类id冲突对推荐模型质量的影响,以及如何控制这些冲突以提高模型性能。
2022-03-28 cs.AI cs.DC cs.IR
Matryoshka Hash Representations for Model-Aware Compact Semantic Retrieval
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对RAG检索中量化码在多字节预算下性能冲突的问题,提出两阶段马特罗什卡哈希表示(MHR),分离全宽训练与前缀组织,在MS MARCO和BEIR上以32字节超越基线。
2026-11-03 cs.AI cs.IR cs.LG