Deep Manifold Hashing: A Divide-and-Conquer Approach for Semi-Paired Unsupervised Cross-Modal Retrieval
Huazhong University of Science and Technology（华中科技大学）；Research Institute of Huazhong University of Science and Technology in Shenzhen（华中科技大学深圳研究院）；Deeproute Co. Ltd（元戎启行有限公司）；Southern University of Science and Technology（南方科技大学）；Guizhou Normal University（贵州师范大学）
将数据投影为二进制代码的散列在跨模态检索中显示出非凡的才能，这是由于其低存储使用率和高查询速度。尽管它们在某些场景下取得了经验性的成功，但现有的跨模态哈希方法通常在不存在具有大量标记信息的完全配对数据时无法跨越模态间隙。为了克服这个缺点，在分治策略的激励下，我们提出了深度流形哈希（DMH），一种将半成对无监督跨模态检索问题划分为三个子问题并为每个子问题构建一个简单而有效的模型的新方法。具体地，第一模型被构造用于通过基于流形学习补充半配对数据来获得模态不变特征，而第二模型和第三模型的目的分别是学习哈希码和哈希函数。在三个基准上的大量实验表明，与最先进的完全配对和半配对无监督跨模态哈希方法相比，我们的DMH具有优越性。
2022-09-26 cs.AI cs.CV
Deep Supervised Information Bottleneck Hashing for Cross-modal Retrieval based Computer-aided Diagnosis
Huazhong University of Science and Technology（华中科技大学）；Guizhou Normal University（贵州师范大学）；Hubei University（湖北大学）
将X射线图像、放射学报告和其他医学数据映射为公共空间中的二进制代码，这可以帮助临床医生从异构模态（即，基于散列的跨模态医学数据检索），为促进计算机辅助诊断提供了新的视角。然而，仍然存在一个障碍，以提高医疗检索的准确性：如何揭示模糊的语义的医疗数据，而不分心的多余信息。为了克服这个缺点，我们提出了深度监督信息瓶颈哈希（DSIBH），它有效地增强了哈希码的可区分性。具体而言，针对单模态的深度确定性信息瓶颈（Yu，Yu和Principe 2021）被扩展到跨模态场景。这样就减少了多余的信息，从而提高了散列码的可鉴别性。实验结果表明，所提出的DSIBH相比，国家的最先进的跨模态医学数据检索任务的优越的准确性。
2022-05-06 cs.AI cs.CV cs.LG
CLIP Multi-modal Hashing: A new baseline CLIPMH
Zhejiang Lab（之江实验室）；University of Chinese Academy of Sciences（中国科学院大学）
针对现有多模态哈希方法因骨干网络特征表达能力不足导致检索精度低的问题，提出基于CLIP的多模态哈希基线CLIPMH，通过CLIP提取并融合多模态特征生成哈希码，检索性能较现有方法最高提升8.38%。
2023-08-22 cs.CV cs.IR cs.MM
Using Deep Cross Modal Hashing and Error Correcting Codes for Improving the Efficiency of Attribute Guided Facial Image Retrieval
West Virginia University（西弗吉尼亚大学）
基于散列的图像检索方法具有查询速度快、存储开销小等优点，受到了研究界的广泛关注。在本文中，我们提出了一种新的纠错深度交叉模式哈希（CMH-ECC）方法，该方法使用指定某些面部属性的位图作为输入查询，从数据库中检索相关的人脸图像。在这种架构中，我们使用端到端的深度学习模块生成紧凑的哈希码，该模块有效地捕获了人脸和属性模态之间的内在关系。我们还将我们的深度学习模块与前向纠错码相结合，以进一步缩短同一主题的不同模态之间的距离。具体而言，深度哈希和前向纠错码的属性被用来设计具有高检索性能的跨模态哈希框架。使用两个标准数据集的人脸属性图像模态的实验结果表明，我们的CMH-ECC人脸图像检索模型优于目前大多数基于属性的人脸图像检索方法。
2019-02-11 cs.CV cs.IR cs.LG
Cluster-wise Unsupervised Hashing for Cross-Modal Similarity Search
Shanghai Jiao Tong University（上海交通大学）
大规模跨模态哈希相似性检索在搜索引擎、自动驾驶仪等现代搜索应用中越来越受到重视，在计算量和存储量上显示出巨大的优越性。然而，现有的无监督跨模态哈希方法仍存在一些局限性：（1）许多方法在求解优化目标时放松了离散约束，这可能会显著降低检索性能;（2）现有的哈希模型大多将异构数据投影到一个公共的潜在空间中，这可能会忽略异构数据的多样性;（3）将实值数据点转换为二进制码往往会导致大量的信息丢失，产生次优的连续潜在空间。针对上述问题，提出了一种新的逐行无监督哈希算法（CUH）。具体而言，CUH联合执行多视图聚类，将来自不同模态的原始数据点投影到自己的低维潜在语义空间中，在自己的低维空间中寻找聚类中心点和公共聚类指标，并学习压缩哈希码和相应的线性哈希函数。提出了一个离散优化框架，用于在聚类代码原型的指导下学习跨模态的统一二进制代码。在不同基准数据集上的综合实验表明了CUH的合理性和有效性。
2019-12-29 cs.CV cs.MM
Correlation Hashing Network for Efficient Cross-Modal Retrieval
Tsinghua University（清华大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
散列算法广泛应用于大规模多模态检索的近似最近邻搜索，具有存储和计算效率高的特点。跨模态哈希通过利用不同模态之间的语义相关性来提高哈希编码的质量。现有的跨模态散列方法首先将数据转换为低维特征向量，然后通过另一个单独的量化步骤生成二进制代码。然而，由于量化误差没有被显式地最小化并且特征表示没有与二进制码联合优化，因此可能生成次优散列码。本文提出了一种跨模态散列的相关散列网络（CHN）方法，该方法联合学习适合于散列编码的良好数据表示，并形式化地控制量化误差。所提出的CHN是一种混合深度架构，其构成了用于学习良好图像表示的卷积神经网络、用于学习良好文本表示的多层感知、用于生成紧凑二进制代码的两个散列层以及将所有东西集成在一起以实现学习相似性保持和高质量散列代码的结构化最大边际损失。大量的实证研究表明，CHN产生的最先进的跨模态检索性能的标准基准。
2017-02-20 cs.CV
PromptHash: Affinity-Prompted Collaborative Cross-Modal Learning for Adaptive Hashing Retrieval
School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院）
针对现有跨模态哈希方法语义保留不足等问题，提出PromptHash框架，通过亲和性提示学习、门控融合架构与分层对比对齐提升检索性能，在NUS-WIDE等数据集上取得显著增益。
2025-03-20 cs.AI cs.CV cs.IR
Semantic-Consistent Bidirectional Contrastive Hashing for Noisy Multi-Label Cross-Modal Retrieval
本文提出语义一致的双向对比哈希方法，通过跨模态语义一致性分类和双向软对比哈希模块，有效应对多标签数据中的噪声问题，提升跨模态检索的鲁棒性与性能。
2026-01-17 cs.AI cs.CV
Efficient Cross-Modal Retrieval via Deep Binary Hashing and Quantization
Rakuten, Inc.（乐天公司）
跨模态检索的目标是在不同的内容模态中搜索具有相似语义的数据。然而，跨模态检索需要大量的存储和检索时间，因为它需要处理多个模态的数据。现有的工作集中在学习单源紧凑功能，如二进制哈希码，保持不同模态之间的相似性。在这项工作中，我们提出了一个联合学习的深度哈希和量化网络（HQ）的跨模态检索。我们通过端到端的深度学习架构，同时学习二进制哈希码和量化码，以多种形式保存语义信息。在检索步骤中，使用二进制散列从搜索空间中检索项目的子集，然后使用量化对检索到的项目进行重新排序。我们从理论上和经验表明，这种两阶段的检索方法提供了更快的检索结果，同时保持准确性。在NUS-WIDE、MIR-Flickr和Amazon数据集上的实验结果表明，与基于监督神经网络的紧凑编码模型相比，HQ的精度提高了7%以上。
2022-02-15 cs.CV cs.IR cs.LG
Unsupervised Generative Adversarial Cross-modal Hashing
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）
跨模态哈希算法将异构的多媒体数据映射到一个共同的汉明空间中，实现跨模态的快速、灵活的检索。无监督跨模态哈希比监督方法更灵活和适用，因为不涉及密集的标记工作。然而，现有的无监督方法通过保留内部和内部相关性来学习散列函数，同时忽略了不同模态之间的底层流形结构，这对于捕获不同模态的有意义的最近邻居以用于跨模态检索非常有帮助。为了解决上述问题，在本文中，我们提出了一种无监督的生成对抗跨模态哈希方法（UGACH），它充分利用了GAN的无监督表示学习的能力，以利用跨模态数据的底层流形结构。主要贡献可以概括如下：（1）我们提出了一个生成对抗网络，以无监督的方式对跨模式哈希进行建模。在所提出的UGACH中，给定一种模态的数据，生成模型试图拟合流形结构上的分布，并选择另一种模态的信息数据来挑战判别模型。判别模型学习区分生成的数据和从相关图中采样的真阳性数据，以实现更好的检索精度。这两个模型以对抗的方式进行训练，以相互改进并促进哈希函数学习。(2)我们提出了一种基于相关图的方法来捕获跨不同模态的底层流形结构，使不同模态但在同一流形内的数据可以具有较小的汉明距离，并提高检索精度。与6种最先进的方法进行了大量的实验比较，验证了我们所提出的方法的有效性。
2017-12-01 cs.CV
Error-Corrected Margin-Based Deep Cross-Modal Hashing for Facial Image Retrieval
跨模态散列有助于将异构的多媒体数据映射到一个公共的汉明空间中，这可以用于跨不同模态的快速和灵活的检索。在本文中，我们提出了一种新的跨模态散列架构-深度神经解码器跨模态散列（DNDCMH），它使用一个二进制向量指定某些面部属性的存在作为输入查询，从数据库中检索相关的人脸图像。DNDCMH网络由两个独立的组件组成：一个基于属性的深度跨模态哈希（ADCMH）模块，它使用基于margin（m）的损失函数来有效地学习紧凑的二进制代码，以保持汉明空间中模态之间的相似性，以及一个神经纠错解码器（NECD），这是一个用神经网络实现的纠错解码器。DNDCMH中NECD网络的目标是对ADCMH产生的哈希码进行纠错，以提高检索效率。NECD网络被训练成具有大于或等于基于裕度的损失函数的裕度（m）的纠错能力。这导致NECD可以纠正由ADCMH生成的损坏的哈希码，直到汉明距离为m。我们在标准数据集上评估并比较了DNDCMH与最先进的跨模态散列方法，以证明我们方法的优越性。
2020-04-03 cs.CV
Attribute-Guided Network for Cross-Modal Zero-Shot Hashing
Tianjin University（天津大学）；Lancaster University（兰卡斯特大学）
Zero-Shot Hashing旨在学习一种哈希模型，该模型仅由可见类别的实例训练，但可以很好地生成未见过类别的实例。通常，它是通过利用语义嵌入空间来实现知识从可见域转移到不可见域。现有的研究主要集中在单模态检索，特别是基于图像的图像检索（IBIR）。然而，作为散列领域的一个热点研究课题，跨模态检索在实际应用中更为常见。为了解决跨模态Zero-Shot哈希（CMSHH）检索任务，我们提出了一种新的属性引导网络（AgNet），它不仅可以执行IBIR，但也基于文本的图像检索（TBIR）。特别是，AgNet将不同的模态数据对齐到语义丰富的属性空间中，这弥合了模态异质性和zero-shot设置造成的差距。我们还设计了一个有效的策略，利用属性来指导在同一个网络中的图像和文本的哈希码的生成。在三个基准数据集（AwA，SUN和ImageNet）上的大量实验结果证明了AgNet在跨模态和单模态zero-shot图像检索任务上的优越性。
2018-02-06 cs.CV
CLIP Multi-modal Hashing for Multimedia Retrieval
School of Information Science and Technology, University of Science and Technology of China（中国科学技术大学信息科学技术学院）；Zhejiang Lab（之江实验室）；University of Chinese Academy of Sciences（中国科学院大学）
针对独立骨干网络特征表达能力有限导致检索准确率低的问题，提出CLIP多模态哈希方法（CLIPMH），利用CLIP框架提取并融合文本与视觉特征生成哈希码，实验证明其检索性能显著优于现有方法。
2024-10-10 cs.CV
Long-tail Cross Modal Hashing
Shandong University（山东大学）；George Mason University（乔治梅森大学）
现有的跨模式哈希算法主要针对平衡数据，而现实世界中具有长尾分布的非平衡数据更为普遍。由于标签与多模态数据的个性和共性信息之间的复杂关系，目前已经提出了几种长尾散列方法，但它们都不适用于多模态数据。此外，CMH方法主要挖掘多模态数据的共性来学习哈希码，哈希码可以覆盖由各个模态的个性编码的尾部标签。在本文中，我们提出LtCMH（长尾CMH）处理不平衡的多模态数据。LtCMH首先采用自动编码器挖掘不同模态的个性和共性，通过最小化各个模态的个性之间的依赖性，并通过增强这些模态的共性。然后，它动态地将个性化和共性与从各个模态中提取的直接特征相结合，以创建Meta特征，从而丰富尾部标签的表示，并将Meta特征二进制化以生成哈希码。LtCMH在长尾数据集上的性能显著优于最先进的基线，并且在具有平衡标签的数据集上具有更好（或相当）的性能。
2022-11-28 cs.CL cs.CV cs.IR
SCH-GAN: Semi-supervised Cross-modal Hashing by Generative Adversarial Network
Peking University（北京大学）
跨模态哈希算法将异构的多媒体数据映射到一个共同的汉明空间中，实现跨模态的快速、灵活的检索。有监督的跨模态散列方法通过引入语义边信息已经取得了相当大的进展。然而，它们主要有两个局限性：（1）严重依赖于大规模标记的跨模态训练数据，这是劳动密集型和难以获得。(2)忽略跨不同模态的大量未标记数据中包含的丰富信息，特别是容易被错误检索的边缘示例，这有助于对相关性进行建模。为了解决这些问题，在本文中，我们提出了一种新的半监督跨模态哈希方法的生成对抗网络（SCH-GAN）。我们的目标是利用GAN对数据分布建模的能力，以对抗的方式促进跨模态哈希学习。本文的主要贡献可以概括如下：（1）提出了一种新的跨模态哈希生成对抗网络。在我们提出的SCH-GAN中，生成模型试图在给出另一种模态的查询时从未标记数据中选择一种模态的边缘示例。而判别模型则试图区分查询中所选的实例和真正的正例。这两个模型之间存在极大极小博弈，从而使得生成模型能够提高判别模型的哈希性能。(2)我们提出了一种基于强化学习的算法来驱动拟议的SCH-GAN的训练。生成模型将判别模型预测的相关性得分作为奖励，通过最大化正负数据之间的差值，尝试选择接近差值的样本来促进判别模型。在3个广泛使用的数据集上的实验验证了该方法的有效性。
2018-02-07 cs.CV
Transitive Hashing Network for Heterogeneous Multimedia Retrieval
Tsinghua University（清华大学）；Hong Kong University of Science and Technology（香港科技大学）
散列算法由于其存储和检索效率的优势，在大规模多媒体检索中得到了广泛的应用。跨模态散列使得能够响应于另一模态的查询而从一个模态的数据库中进行高效检索。现有的跨模态散列工作假设跨模态的散列函数学习的异构关系。在本文中，我们放松了强假设，只需要这样的异构关系在一个辅助数据集不同的查询/数据库域。我们设计了一个混合深度架构，以同时学习辅助数据集的跨模式相关性，并对齐辅助数据集和查询/数据库域之间的数据集分布，从而生成用于异构多媒体检索的传递哈希码。大量的实验表明，所提出的方法产生最先进的多媒体检索性能的公共数据集，即NUS-WIDE，ImageNet-YahooQA。
2016-08-15 cs.CV
Semantic-Cohesive Knowledge Distillation for Deep Cross-modal Hashing
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Rensselaer Polytechnic Institute（拉特克利夫理工学院）
针对跨模态哈希中多标签语义提取与原始数据缺乏交互的局限，提出语义内聚知识蒸馏方案 SODA，将多标签信息作为新文本模态并利用教师网络提取语义特征，显著提升了跨模态检索性能。
2025-10-07 cs.CV cs.IR cs.LG
Deep Unsupervised Contrastive Hashing for Large-Scale Cross-Modal Text-Image Retrieval in Remote Sensing
Technische Universität Berlin（柏林工业大学）
由于大规模多模态数据的可用性（例如，不同传感器获取的卫星图像、文本句子等）档案，跨模态检索系统的发展已经引起了RS的极大关注，该系统可以基于任何模态的查询来搜索和检索跨不同模态的语义相关数据。在本文中，我们将注意力集中在跨模态文本图像检索上，其中来自一种模态的查询（例如，文本）可以与来自另一个的存档条目匹配（例如，图片）。大多数现有的跨模态文本图像检索系统需要大量的标记的训练样本，也不允许快速和内存效率的检索，由于其固有的特点。这些问题限制了现有的跨模态检索系统在大规模遥感应用中的适用性。为了解决这个问题，在本文中，我们介绍了一种新的深度无监督跨模态对比哈希（DUCH）方法的RS文本图像检索。所提出的DUCH由两个主要模块组成：1）特征提取模块（其提取文本-图像模态的深度表示）;以及2）散列模块（其学习从所提取的表示生成跨模态二进制散列码）。在散列模块中，我们引入了一个新的多目标损失函数，包括：i）对比目标，使相似性保留在两个模态内和模态间的相似性; ii）一个对抗性的目标，在两个模态之间执行跨模态表示一致性; iii）二进制化目标，用于生成代表性的散列代码。实验结果表明，建议DUCH优于国家的最先进的无监督跨模态哈希方法在两个多模态（图像和文本）基准档案在RS。我们的代码可在https://git.tu-berlin.de/rsim/duch上公开获取。
2022-01-20 cs.CV
Unsupervised Deep Cross-modality Spectral Hashing
Singapore University of Technology and Design（新加坡科技设计大学）；University of Liverpool（利物浦大学）；University of Dayton（代顿大学）
针对无监督跨模态检索的二进制哈希码学习问题，提出两步式DCSH框架，通过谱嵌入联合学习单模态与跨模态表示，并用CNN架构学习图像和文本哈希函数，在三个基准上优于现有方法。
2020-08-18 cs.CV
Self-Supervised Adversarial Hashing Networks for Cross-Modal Retrieval
Xidian University（西安电子科技大学）；Tencent AI Lab（腾讯人工智能实验室）；University of Sydney（悉尼大学）
得益于深度学习的成功，跨模态检索最近取得了重大进展。然而，仍然存在一个关键的瓶颈：如何弥合模态差距，以进一步提高检索的准确性。在本文中，我们提出了一种自监督对抗散列（\textbf{SSAH}）方法，它是早期尝试将对抗学习以自监督方式纳入跨模态散列的方法之一。这项工作的主要贡献是利用两个对抗网络来最大化不同模态之间表示的语义相关性和一致性。此外，我们利用自监督语义网络发现高层次的语义信息的形式多标签注释。这些信息指导特征学习过程，并保留公共语义空间和汉明空间中的模态关系。在三个基准数据集上进行的大量实验验证了所提出的SSAH超越了最先进的方法。
2018-04-04 cs.CV
HashGAN:Attention-aware Deep Adversarial Hashing for Cross Modal Retrieval
Sun Yat-Sen University（中山大学）；National University of Singapore（新加坡国立大学）；QiHoo 360 Artificial intelligence institute（奇虎360人工智能研究院）
随着多模态数据的快速增长，用于跨模态检索的哈希方法受到了广泛的关注。基于深度网络的跨模态哈希方法很有吸引力，因为它们可以将特征学习和哈希编码集成到端到端的可训练框架中。然而，它仍然是具有挑战性的，以找到不同形式的数据之间的内容相似性，由于异质性的差距。为了进一步解决这个问题，我们提出了一个具有注意力机制的对抗性哈希网络，通过选择性地关注多模态数据的信息部分来增强内容相似性的测量。提出的新对抗网络HashGAN由三个构建块组成：1）用于获得特征表示的特征学习模块，2）用于生成注意掩码的生成注意模块，该注意掩码用于获得关注（前景）和未关注（背景）特征表示，3）用于学习保持不同模态之间相似性的哈希函数的判别哈希编码模块。在我们的框架中，生成模块和判别模块以对抗的方式进行训练：生成器被学习以使生成器不能保持多模态数据的相似性。背景特征表示，而多模态表示的目的是保持多模态数据的相似性。前景和背景特征表示。对几个基准数据集的广泛评估表明，所提出的HashGAN比其他最先进的跨模式哈希方法带来了实质性的改进。
2017-11-26 cs.CV
MTFH: A Matrix Tri-Factorization Hashing Framework for Efficient Cross-Modal Retrieval
Huaqiao University（华侨大学）；Xidian University（西安电子科技大学）；Stony Brook University（石溪大学）；Hong Kong Baptist University（香港浸会大学）
散列技术以其低存储开销和高查询速度的优点，引发了跨模态检索的一场革命。最近的跨模态哈希方法通常学习统一或等长的哈希码来表示多模态数据，并使它们具有直观的可比性。然而，这种统一或等长的散列表示可能固有地牺牲其表示可扩展性，因为来自不同模态的数据可能不具有一一对应关系，并且可以通过不等长度的不同散列码来更有效地编码。为了缓解这些问题，本文利用了一个相关的和相对未探索的问题：编码的异构数据与不同的哈希长度和推广的跨模态检索在各种具有挑战性的情况下。为此，提出了一种通用且灵活的跨模态散列框架，称为矩阵三因子散列（MTFH），可以在各种设置中无缝工作，包括配对或未配对的多模态数据，以及相等或不同的散列长度编码场景。更具体地说，MTFH利用一个有效的目标函数来灵活地学习具有不同长度设置的特定于模态的散列码，同时同步学习两个语义相关矩阵，以在语义上关联不同的散列表示，用于异构数据可比。因此，所得到的哈希码对于各种具有挑战性的跨模态检索任务具有更强的语义意义。在公共基准数据集上进行的大量实验突出了MTFH在各种检索场景下的优越性，并显示了其与最先进技术的竞争性能。
2019-09-12 cs.CV
Attributes Grouping and Mining Hashing for Fine-Grained Image Retrieval
Southeast University（东南大学）；Key Laboratory of Measurement and Control of Complex Systems of Engineering, Ministry of Education（教育部复杂工程系统测量与控制重点实验室）；Nanjing Enbo Technology Co., Ltd.（南京恩博科技有限公司）
提出属性分组与挖掘哈希（AGMH）方法，利用卷积描述符替代注意力引导特征，通过注意力分散损失和逐步交互外部注意力捕捉细微差异，在细粒度图像检索基准上取得最佳性能。
2023-11-10 cs.AI cs.CV cs.IR
Attribute-Aware Deep Hashing with Self-Consistency for Large-Scale Fine-Grained Image Retrieval
Southeast University（东南大学）；Nanjing University of Science and Technology（南京理工大学）；University of Electronic Science and Technology of China（电子科技大学）；Peking University（北京大学）
针对大规模细粒度图像检索中类间差异小、类内差异大及数据量爆炸的挑战，提出具有自一致性的属性感知哈希网络，通过无监督提取属性向量生成哈希码并增加重构路径对抗简单性偏差，在多个数据集上表现优越。
2023-11-21 cs.CV cs.IR cs.LG
Robust Self-Paced Hashing for Cross-Modal Retrieval with Noisy Labels
Sichuan University（四川大学）；Southwest University of Science and Technology（西南科技大学）；Sichuan National Innovation New Vision UHD Video Technology Co., Ltd.（四川国创新视界超高清视频科技有限公司）
针对跨模态检索中的噪声标签问题，本文提出RSHNL方法，通过对比哈希学习、中心聚合学习和噪声容忍自步哈希，模拟人类认知过程从易到难学习，有效提升噪声标签下的检索鲁棒性。
2025-01-03 cs.CV cs.MM
Asymmetric Scalable Cross-modal Hashing
University of Macau（澳门大学）
跨模式哈希是解决大规模多媒体检索问题的一种成功方法。提出了许多基于矩阵分解的散列方法。然而，现有的方法仍然存在一些问题，如如何有效地产生二进制码，而不是直接放松他们的连续性。此外，大多数现有的方法选择使用$n\times n$相似矩阵进行优化，这使得内存和计算负担不起。在本文中，我们提出了一种新的非对称可伸缩跨模式哈希（ASCMH）来解决这些问题。该方法首先引入一种集体矩阵分解，从不同模态的核化特征中学习一个公共的潜在空间，然后借助语义标签和公共潜在空间将相似度矩阵优化转化为距离-距离差最小化问题。因此，减轻了$n\times n$非对称优化的计算复杂性。在哈希码的生成中，我们还采用了标签信息的正交约束，这对于搜索精度是必不可少的。从而大大减少了计算的冗余度。为了有效优化和可扩展到大规模数据集，我们采用两步方法，而不是同时优化。在Wiki、MIRFlickr-25 K和NUS-WIDE三个基准数据集上进行的大量实验表明，我们的ASCMH在准确性和效率方面优于最先进的跨模式哈希方法。
2022-07-26 cs.CV cs.IR
Asymmetric Correlation Quantization Hashing for Cross-modal Retrieval
Shanghai Jiao Tong University（上海交通大学）
由于跨模态散列方法在大规模多模态数据的相似性计算和数据库存储方面的优势，在异构模态数据的相似性检索中引起了广泛的关注。然而，目前的CMH方法仍存在一些不足：（1）大多数CMH方法在二进制约束条件下将实值数据点转换为离散的紧致二进制码，由于大量的信息丢失和产生次优的哈希码，限制了对原始数据的表示能力;（2）离散二进制约束学习模型求解困难，当量化误差较大时，放松二进制约束会大大降低检索性能;（3）CMH的学习问题是在对称框架下处理的，导致优化目标的困难和复杂。针对上述问题，本文提出了一种新的非对称相关量化哈希算法。ACQH通过学习异构模态数据点的投影矩阵，将查询转换为潜在语义空间中的低维实值向量，同时通过逐点标签信息回归，以由粗到精的方式构造堆叠的组合量化嵌入，通过码本中的一系列学习的实值码字来指示数据库点。此外，统一的散列码跨模态可以直接获得离散迭代优化框架的文件。在三个基准数据集上的综合实验表明了ACQH的有效性和合理性。
2020-01-14 cs.CV cs.IR cs.LG
Deep Robust Multilevel Semantic Cross-Modal Hashing
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）；MIIT Key Laboratory of Pattern Analysis and Machine Intelligence（工业和信息化部模式分析与机器智能重点实验室）；Collaborative Innovation Center of Novel Software Technology and Industrialization（新型软件技术与产业化协同创新中心）；Nanyang Technological University（南洋理工大学）
基于散列的跨模态检索最近取得了重大进展。但是，直接将不同模态的数据嵌入到联合汉明空间中，由于固有的模态差异和噪声，不可避免地会产生错误代码。提出了一种新的鲁棒多级语义散列算法（RMSH），用于更准确的跨模态检索。它旨在保持具有丰富语义的数据之间的细粒度相似性，同时明确要求不同点之间的距离大于特定值以获得强大的鲁棒性。为此，我们在信息编码理论分析的基础上给出了该值的有效界，并将上述目标体现为一种边缘自适应的三重丢失。此外，我们通过融合多个哈希码引入伪码来探索罕见的语义，缓解相似性信息的稀疏性问题。在三个基准上的实验表明了所得到的边界的有效性，我们的方法达到了最先进的性能。
2020-10-06 cs.CV
Multi-Modal Mutual Information Maximization: A Novel Approach for Unsupervised Deep Cross-Modal Hashing
Singapore University of Technology and Design（新加坡科技设计大学）；Monash University（蒙纳士大学）；University of Dayton（代顿大学）
在本文中，我们采用最大化的互信息（MI）的方法来解决问题的无监督学习的二进制哈希码的有效跨模态检索。我们提出了一种新的方法，称为跨模态信息最大哈希（CMIMH）。首先，学习信息表示，可以保持内和模态间的相似性，我们利用最近的进展，估计变分下限MI最大限度地提高MI之间的二进制表示和输入功能和二进制表示不同的方式。通过联合最大化这些MI的假设下，二进制表示是由多变量伯努利分布建模，我们可以学习二进制表示，它可以保持内部和内部模式的相似性，有效地在一个小批量的方式与梯度下降。此外，我们发现，试图通过从不同模态中学习相同实例的相似二进制表示来最小化模态间隙可能会导致信息量较少的表示。因此，在减少模态间隔和丢失模态私有信息之间取得平衡对于跨模态检索任务是重要的。标准基准数据集上的定量评估表明，该方法始终优于其他国家的最先进的跨模态检索方法。
2021-12-13 cs.CV
An Unsupervised Cross-Modal Hashing Method Robust to Noisy Training Image-Text Correspondences in Remote Sensing
开发准确和可扩展的跨模态图像-文本检索方法，其中来自一种模态的查询（例如，文本）可以与来自另一个的存档条目匹配（例如，遥感图像）在遥感（RS）领域引起了极大的关注。大多数现有的方法假设存在一个可靠的多模态训练集，该训练集具有精确匹配的文本-图像对。然而，该假设可能并不总是成立，因为多模态训练集可能包括噪声对（即，与训练图像相关联的文本描述/字幕可能是有噪声的），从而扭曲了检索方法的学习过程。为了解决这个问题，我们提出了一种新型的无监督跨模式哈希方法，该方法对有噪图像-文本对应关系（CHNR）具有鲁棒性。CHNR由三个模块组成：1）特征提取模块，其提取图像-文本对的特征表示; 2）噪声检测模块，其检测潜在的噪声对应;以及3）散列模块，其生成跨模态二进制散列码。所提出的CHNR包括两个训练阶段：i）元学习阶段，其使用一小部分干净的（即，可靠的）数据，以对抗方式训练噪声检测模块;以及ii）主训练阶段，在该主训练阶段，使用经训练的噪声检测模块来识别有噪声的对应关系，同时在有噪声的多模态训练集上训练散列模块。实验结果表明，所提出的CHNR优于国家的最先进的方法。我们的代码可在https://git.tu-berlin.de/rsim/chnr上公开获取
2022-02-26 cs.CV
Creating Something from Nothing: Unsupervised Knowledge Distillation for Cross-Modal Hashing
Hefei University of Technology（合肥工业大学）；Huawei Inc.（华为公司）
近年来，跨模态哈希算法（CMH）引起了越来越多的关注，主要是因为它能够将来自不同模态的内容，特别是视觉和语言的内容映射到同一空间，从而成为跨模态数据检索的有效方法。CMH有两个主要的框架，在是否需要语义监督方面彼此不同。与无监督方法相比，有监督方法通常具有更高的精度，但需要更繁重的数据标注工作。在本文中，我们提出了一种新的方法，使指导监督的方法使用由无监督的方法产生的输出。具体来说，我们利用师生优化传播知识。实验在两个流行的CMH基准上进行，即，MIRFlickr和NUS-WIDE数据集。我们的方法优于所有现有的无监督方法的大幅度。
2020-04-01 cs.CV
Unsupervised Contrastive Hashing for Cross-Modal Retrieval in Remote Sensing
跨模态检索系统是遥感领域的一个研究热点，它能够基于任意模态的查询，跨模态检索语义相关的数据。在本文中，我们将注意力集中在跨模态文本图像检索上，其中来自一种模态的查询（例如，文本）可以与来自另一个的存档条目匹配（例如，图片）。现有的跨模态文本图像检索系统中，大多数RS需要大量的标记的训练样本，也不允许快速和内存有效的检索。这些问题限制了现有的跨模态检索系统在大规模遥感应用中的适用性。为了解决这个问题，在本文中，我们介绍了一种新的无监督跨模态对比哈希（DUCH）方法在RS的文本图像检索。为此，所提出的DUCH由两个主要模块组成：1）特征提取模块，其提取两种模态的深度表示; 2）散列模块，其学习从所提取的表示生成跨模态二进制散列码。我们引入了一种新的多目标损失函数，包括：i）对比目标，使相似性保留内和模态间的相似性; ii）一个对抗性的目标，在两个模态之间实施跨模态表示的一致性;和iii）二进制化目标生成哈希码。实验结果表明，所提出的DUCH优于国家的最先进的方法。我们的代码可在https://git.tu-berlin.de/rsim/duch上公开获取。
2022-04-19 cs.CV
COMAE: COMprehensive Attribute Exploration for Zero-shot Hashing
CNIC, CAS UCAS Beijing China（中国科学院计算机网络信息中心、中国科学院大学北京校区）
针对现有零样本哈希忽略表征与属性局部关联、未充分利用连续值属性的问题，提出COMAE方法，通过逐点、成对、类级三种一致性约束探索属性关联，在主流数据集上性能优于现有最先进哈希技术，尤其在不可见类更多的场景中优势显著。
2025-05-19 cs.CV
A Novel Incremental Cross-Modal Hashing Approach
Indian Institute of Science（印度科学学院）
跨模态检索处理当从另一模态提供搜索查询时从一个模态检索相关项目。由于易于存储、快速计算和高准确性，数据表示为二进制位的哈希技术特别重要。在现实世界中，数据类别的数量不断增加，这需要能够处理这种动态场景的算法。在这项工作中，我们提出了一种新的增量跨模态哈希算法称为“iCMH”，它可以适应自己来处理新类别的传入数据。该方法包括两个连续的阶段，即学习哈希码和训练哈希函数。在每个阶段，使用少量的被称为“样本”的旧类别数据，以便在尝试学习新的传入数据时不会忘记旧数据，即避免灾难性遗忘。在第一阶段中，使用样本的哈希码，同时计算新数据的哈希码，以使其保持与现有数据的语义关系。对于第二阶段，我们提出了非深度和深度架构来有效地学习哈希函数。在各种跨模态数据集上的广泛实验以及与最先进的跨模态算法的比较表明了我们方法的实用性。
2020-02-03 cs.CV
Deep Lifelong Cross-modal Hashing
China West Normal University（西华师范大学）；Sichuan University（四川大学）；Chongqing University of Posts and Telecommunication（重庆邮电大学）
针对跨模态哈希在新类别数据持续到达时的灾难性遗忘与重复训练问题，提出深度终身跨模态哈希，通过增量训练、终身哈希损失和多标签语义监督保持性能并大幅降低训练成本。
2023-04-26 cs.CV cs.IR
Dual Purpose Hashing
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）
近年来，人们越来越需要一个统一的框架来解决涉及类别和属性的多个现实图像检索任务。考虑到现代数据集的规模，哈希算法的低复杂度是有利的。然而，大多数现有的散列方法被设计为保持一种单一的相似性，从而不适合同时处理不同的任务。为了克服这一局限性，我们提出了一种新的哈希方法，命名为双重目的哈希（DPH），它联合保留的类别和属性的相似性，利用卷积神经网络（CNN）模型，分层捕获类别和属性之间的相关性。由于同时具有类别和属性标签的图像是稀缺的，我们的方法被设计为将互联网上丰富的部分标记的图像作为训练输入。在此框架下，新图像的二进制编码可以通过量化类二进制层的网络输出而容易地获得，并且可以容易地从编码中恢复属性。在两个大规模数据集上的实验表明，我们的双重目的哈希码可以实现与那些专门为每个单独的检索任务设计的最先进的方法相当甚至更好的性能，同时比比较的方法更紧凑。
2016-07-19 cs.CV
Zero-Shot Hashing Based on Reconstruction With Part Alignment
Ningbo University（宁波大学）
本文提出零样本哈希方法RAZH，通过聚类将图像块分组为部分并与属性向量对齐，以解决现有方法忽略属性与图像部分对应关系的问题，实验证明其优于现有方法。
2025-03-10 cs.CV cs.IR
Attribute-Prompted Kernel Hashing for Unsupervised Data-Efficient Cross-Modal Retrieval
School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院）；VinUniversity
提出属性提示核哈希（APKH），利用视觉-语言基础模型的广义属性先验，通过上下文优化属性核映射和核平滑对比对齐，在数据受限场景下实现从可见到不可见类别的跨模态检索。
2026-07-02 cs.CV cs.IR
Anchor Graph Structure Fusion Hashing for Cross-Modal Similarity Search
Shanghai Jiao Tong University（上海交通大学）；Zhejiang Normal University（浙江师范大学）
跨模态散列仍然存在一些需要解决的挑战：（1）大多数现有的CMH方法将图作为输入来建模数据分布。这些方法忽略了多模态之间图结构的相关性;（2）大多数CMH方法忽略了多模态数据之间的融合亲和性;（3）大多数CMH方法在求解优化目标时放松了离散约束，检索性能显著下降。为了解决上述问题，我们提出了一种新的锚图结构融合哈希（AGSFH）。AGSFH通过Hadamard积将多模态的锚点图构造成锚点图结构融合矩阵，充分利用了底层数据结构的几何特性。基于锚图结构融合矩阵，AGSFH尝试直接学习内在锚图，其中自适应地调整内在锚图的结构，使得内在图的组件的数量恰好等于聚类的数量。此外，AGSFH保持锚融合亲和力到共同的二元汉明空间。此外，设计了一个离散优化框架来学习统一二进制码。在三个公共社交数据集上的大量实验结果证明了AGSFH的优越性。
2022-02-09 cs.CV cs.IR
Contrastive masked auto-encoders based self-supervised hashing for 2D image and 3D point cloud cross-modal retrieval
Wuhan National Laboratory for Optoelectronics, Huazhong University of Science and Technology（华中科技大学武汉光电国家研究中心）；School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院）；School of Software Engineering, Huazhong University of Science and Technology（华中科技大学软件学院）；School of Computer Science and Cyber Engineering, Guangzhou University（广州大学计算机科学与网络工程学院）
针对2D图像与3D点云跨模态检索中现有方法语义捕捉不足、模态鸿沟难弥合的问题，提出基于对比掩码自编码器的自监督哈希方法CMAH，通过对比学习、多模态自编码器及融合模块提升性能，在三个公开数据集上优于所有基线。
2024-08-11 cs.CV
Comprehensive Graph-conditional Similarity Preserving Network for Unsupervised Cross-modal Hashing
HangZhou Dianzi University（杭州电子科技大学）；The University of Sydney（悉尼大学）
无监督跨模式哈希算法（UCMH）是近年来的研究热点。目前UCMH专注于探索数据的相似性。然而，目前的UCMH方法计算两个数据之间的相似性，主要依赖于两个数据的跨模态特征。这些方法遭受不准确的相似性问题，导致次优的检索汉明空间，因为数据之间的跨模态特征不足以描述复杂的数据关系，例如两个数据具有不同的特征表示但共享固有概念的情况。在本文中，我们设计了一个深度图邻居相干保持网络（DGCPN）。具体来说，DGCPN源于图模型，并通过合并数据及其邻居之间的信息来探索图邻居的一致性。DGCPN通过利用三种类型的数据相似性（即，图相邻一致性、共存相似性以及模态内和模态间一致性），并设计了半实半二进制优化策略以减少散列期间的量化误差。本质上，DGCPN通过探索和利用图中数据的内在关系来解决不准确的相似性问题。我们在三个公共UCMH数据集上进行了广泛的实验。实验结果证明了DGCPN的优越性，例如，在MIRFlickr-25 K上使用64位哈希码从图像中检索文本，将平均精度从0.722提高到0.751。我们将在https://github.com/Atmegal/DGCPN上发布源代码包和训练模型。
2020-12-25 cs.CV cs.IR
Lightweight Contrastive Distilled Hashing for Online Cross-modal Retrieval
School of Artificial Intelligence, Guangzhou University（广州大学人工智能学院）；School of Computer Science, Guangdong Polytechnic Normal University（广东技术师范大学计算机科学学院）；School of Automation, Guangdong University of Technology（广东工业大学自动化学院）；Bio-Computing Research Center, Harbin Institute of Technology（哈尔滨工业大学生物计算研究中心）
本文提出轻量级对比蒸馏哈希（LCDH），通过知识蒸馏框架和相似矩阵近似桥接离线与在线跨模态哈希，利用CLIP和注意力模块增强教师网络，以轻量级学生网络提升在线检索性能，实验验证其优于现有方法。
2025-02-28 cs.CV
Distribution-Consistency-Guided Multi-modal Hashing
Beijing Institute of Technology（北京理工大学）
针对多模态哈希中噪声标签损害检索性能的问题，提出分布一致性引导的多模态哈希方法（DCGMH），利用标签与哈希码相似度的分布一致性模式过滤并修正噪声标签，显著提升了多模态检索性能。
2024-12-19 cs.AI cs.CV cs.IR
Discrete Multi-modal Hashing with Canonical Views for Robust Mobile Landmark Search
The University of Queensland（昆士兰大学）
移动地标搜索因其巨大的实用价值而受到越来越多的关注。然而，由于两个重大挑战，这一问题仍未得到解决。一个是查询传输的高带宽消耗，另一个是从移动设备发送的查询图像的巨大视觉变化。在本文中，我们提出了一种新的散列方案，命名为基于规范视图的离散多模态散列（CV-DMH），通过一个新的三阶段学习过程来处理这些问题。首先，设计了一个子模块函数来度量视图集的视觉代表性和冗余度。利用该方法，通过迭代挖掘策略，有效地发现了捕获地标关键视觉外观的规范视图，这些视图具有有限的冗余。其次，应用多模态稀疏编码将多模态的视觉特征转换为中间表示。它可以鲁棒地和自适应地表征具有一定规范视图的各种地标图像的视觉内容。最后，紧凑的二进制代码学习的中间表示在一个定制的离散二进制嵌入模型，保留与规范的意见，并删除所涉及的噪声测量的图像的视觉关系。在这一部分中，我们提出了一种新的基于增广拉格朗日乘子（ALM）的优化方法来直接求解离散二进制码。我们不仅可以显式地处理离散约束，而且可以将比特不相关约束和平衡约束结合起来考虑。在真实世界地标数据集上的实验表明，CV-DMH的性能优于几种最先进的方法。
2017-07-13 cs.CV
FDDH: Fast Discriminative Discrete Hashing for Large-Scale Cross-Modal Retrieval
Huaqiao University（华侨大学）；Sun Yat-sen University（中山大学）；Hong Kong Baptist University（香港浸会大学）
跨模态散列因其有效性和效率而受到广泛关注，以促进跨不同模态的高效检索。然而，大多数现有的方法在学习哈希码时没有充分利用语义信息的区分能力，同时经常涉及耗时的训练过程来处理大规模数据集。为了解决这些问题，我们制定了学习的相似性保持哈希码的正交旋转的语义数据，以尽量减少量化损失的映射这些数据到汉明空间，并提出了一个有效的快速判别离散哈希（FDDH）的大规模跨模态检索的方法。具体地说，FDDH引入正交基将训练样本的目标哈希码回归到其对应的语义标签，并利用“拖拽”技术提供可证明的大语义边界。因此，语义信息的区分能力可以被明确地捕获并最大化。进一步提出了一种正交变换方案，将非线性嵌入数据映射到语义子空间中，能够很好地保证数据特征与其语义表示的语义一致性。因此，一个有效的封闭形式的解决方案推导出的歧视性哈希码学习，这是非常计算效率。此外，一个有效的和稳定的在线学习策略，提出了优化特定模态的投影函数，具有适应不同的训练规模和流数据。所提出的FDDH方法理论上近似于双Lipschitz连续性，运行速度足够快，并且还显着提高了检索性能。源代码发布于：https://github.com/starxliu/FDDH。
2021-05-15 cs.CV
Absorbing Gradient Conflicts: Modeling Semantic Variance via Kent Distributions for Cross-Modal Hashing
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；School of Cyber Science and Engineering, Southeast University（东南大学网络空间安全学院）
针对现有跨模态哈希方法因代理为静态点引发的梯度冲突问题，提出 KDPH 框架，将代理建模为 Kent 分布，结合定制损失函数，在基准数据集上性能优于现有最优方法。
2026-08-26 cs.CV
Modal-aware Features for Multimodal Hashing
Sun Yat-Sen University（中山大学）；South China Normal University（华南师范大学）
许多检索应用可以受益于多种模态，例如，维基百科上包含图像的文本，如何表示多模态数据是关键组成部分。大多数深度多模态学习方法通常涉及两个步骤来构建联合表示：1）使用单独和独立的深度模型学习多个中间特征，每个中间特征对应于一个模态; 2）使用融合策略将中间特征合并到联合表示中。然而，在第一步中，这些中间特征彼此没有先前的知识，并且不能充分利用其他模态中包含的信息。在本文中，我们提出了一个模态感知操作作为一个通用的构建块，以捕获异构中间特征之间的非线性依赖关系，可以尽快学习其他多模态数据中的相关结构。模态感知操作由内核网络和注意力网络组成。核网络用于学习与其他模态的非线性关系。然后，为了更好地学习二进制哈希码的表示，我们提出了一个注意力网络，发现这些模态感知功能的信息区域，有利于检索。在三个公共基准数据集上进行的实验表明，相对于最先进的方法，我们的方法的性能有显着的改善。
2019-11-19 cs.CV
Unsupervised Data-Efficient Cross-Modal Retrieval with Global-Neighborhood Alignment Hashing
School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院）；Shien-Ming Wu School of Intelligent Engineering, South China University of Technology（华南理工大学吴贤铭智能工程学院）；College of Computer and Information Engineering, Henan Normal University（河南师范大学计算机与信息工程学院）；VinUniversity（Vin大学）
提出全局邻域对齐哈希（GNAH），通过原型锚定全局对齐和对比随机邻域对齐，在少量图像-文本对下学习紧凑二进制码，实现数据高效的无监督跨模态检索。
2026-07-01 cs.CV cs.IR
Cycle-Consistent Deep Generative Hashing for Cross-Modal Retrieval
The University of Queensland（昆士兰大学）；Dalian University of Technology（大连理工大学）；Inception Institute of Artificial Intelligence (IIAI)（人工智能初创研究院）
在本文中，我们提出了一种新的深度生成方法来进行跨模态检索，以通过循环一致性损失在没有配对训练样本的情况下学习哈希函数。我们提出的方法采用对抗性训练方案来学习几个哈希函数，从而在假设底层语义关系的同时实现模态之间的翻译。为了将具有语义的散列码引入到输入输出对中，进一步提出了在对抗训练的基础上进行循环一致性损失，以加强输入和相应输出之间的相关性。我们的方法是生成学习哈希函数，使学习的哈希码可以最大限度地相关每个输入输出对应，同时也可以再生的输入，以最大限度地减少信息损失。因此，执行对散列嵌入的学习以跨模态以及相关联的生成模型联合优化散列函数的参数。在各种大规模跨模态数据集上的大量实验表明，我们提出的方法取得了更好的检索结果比国家的艺术。
2018-10-29 cs.CV
Zero-Shot Sketch-Image Hashing
University of East Anglia（东安格利亚大学）；Inception Institute of Artificial Intelligence (IIAI)（人工智能初创研究院）；University of Electronic Science and Technology of China（电子科技大学）
最近的研究表明，跨模态二值表示学习方法可以有效地解决大规模草图图像检索问题，其中汉明距离匹配显著加快了相似性搜索的过程。提供训练和测试数据受到一组固定的预定义的类别，尖端SBIR和跨模态哈希作品获得可接受的检索性能。然而，大多数现有的方法失败时，查询草图的类别在训练过程中从未见过。在本文中，上述问题被简要介绍为一个新的，但现实的zero-shot SBIR哈希任务。我们阐述了这个特殊的任务的挑战，并相应地提出了一个zero-shot草图图像哈希（ZSIH）模型。构建了端到端的三网结构，其中两个网络作为二进制编码器。第三个网络分别利用Kronecker融合层和图卷积来减轻草图图像的异构性并增强数据之间的语义关系。作为ZSIH的一个重要组成部分，我们制定了一个产生式哈希方案重建语义知识表示的zero-shot检索。据我们所知，ZSIH是第一个适用于SBIR和交叉模式搜索的zero-shot哈希工作。在两个扩展数据集上进行了综合实验，草图和TU柏林与一个新的zero-shot列车测试分裂。所提出的模型显着优于相关工作。
2018-03-06 cs.CV
Learning Attribute-Aware Hash Codes for Fine-Grained Image Retrieval via Query Optimization
School of Computer Science and Engineering（计算机科学与工程学院）；Nanjing University of Science and Technology（南京理工大学）；Key Laboratory of New Generation Artificial Intelligence Technology（新一代人工智能技术重点实验室）；Southeast University（东南大学）
本文提出一种基于可学习查询的属性感知哈希码学习方法，并引入辅助分支建模高阶属性交互，以提升细粒度图像检索精度与鲁棒性，尤其在低位哈希码场景下优于现有方法。
2025-09-21 cs.CV
SHOE: Supervised Hashing with Output Embeddings
University of Maryland（马里兰大学）
我们提出了一个监督的二进制编码方案的图像检索，学习投影考虑到从输出嵌入获得的类之间的相似性。我们的动机是，以这种方式学习的二进制哈希码提高了检索结果和现有监督哈希方案的视觉质量。我们采用了顺序贪婪优化，通过最小化二进制代码和输出嵌入向量的内积之间的差异来学习关系感知投影。我们开发了一个联合优化框架来学习预测，从而提高了监督哈希在标准和兄弟评估指标方面的准确性。我们通过在核化输入CNN特征上应用监督降维技术来进一步提高性能。实验在三个数据集上进行：CUB-2011，SUN-Attribute和ImageNet ILSVRC 2010。作为我们方法的副产品，我们表明，使用简单的k-nn池分类器和我们的判别码，可以在细粒度数据集（如CUB）上改进复杂的分类模型，并在CNN特征上提供令人印象深刻的1024压缩比。
2015-01-30 cs.CV
Deep Binaries: Encoding Semantic-Rich Cues for Efficient Textual-Visual Cross Retrieval
School of Computing Sciences, University of East Anglia（东英吉利大学计算科学学院）；Malong Technologies Co., Ltd.（码隆科技有限公司）；Future Media Center, University of Electronic Science and Technology of China（电子科技大学未来媒体中心）
跨模态散列通常被认为是大规模文本-视觉交叉检索的有效技术，其中来自不同模态的数据被映射到共享的汉明空间进行匹配。传统的文本-视觉二进制编码方法大多只考虑图像的整体表示，无法对描述性语句进行建模。这使得现有的方法不适合处理丰富的语义信息的跨模态数据的质量文本视觉搜索任务。为了解决具有语义丰富线索的跨模态数据的散列问题，本文开发了一种新型的集成深度架构，以有效地编码信息图像和长描述性句子的详细语义，称为文本视觉深度二进制文件（TVDB）。特别地，引入具有长短期记忆单元的基于区域的卷积网络以充分探索图像区域细节，而句子的语义线索由文本卷积网络建模。此外，我们提出了一种随机批量训练例程，其中高质量的二进制代码和深度编码函数以交替的方式进行有效优化。在Microsoft COCO、IAPR TC-12和INRIA Web数据集上进行了实验，结果表明该TVDB模型在跨模态检索中的性能明显优于现有的二进制编码方法.
2017-08-08 cs.AI cs.CV
Combo-Gait: Unified Transformer Framework for Multi-Modal Gait Recognition and Attribute Analysis
Johns Hopkins University（约翰霍普金斯大学）；University of Maryland（马里兰大学）
本文提出结合2D时间轮廓与3D SMPL特征的多模态框架，实现步态识别与年龄、BMI、性别等属性估计，通过统一Transformer融合多模态特征，提升鲁棒性和准确性。
2026-04-22 cs.AI cs.CV cs.LG
