Task-adaptive Asymmetric Deep Cross-modal Hashing
Shandong Normal University（山东师范大学）；Harbin Institute of Technology（哈尔滨工业大学）
监督跨模态哈希算法的目标是将异质模态数据的语义相关性嵌入到具有区分性语义标签的二进制哈希码中。由于其在检索和存储效率上的优势，被广泛用于解决高效的跨模态检索。然而，现有的研究平等地处理不同的跨模态检索的任务，并简单地学习相同的哈希函数对他们以对称的方式。在这种情况下，不同的跨模态检索任务的唯一性被忽略，可能会带来次优性能。基于此，本文提出了一种任务自适应非对称深度跨模态哈希（TA-ADCMH）方法。它可以学习任务自适应哈希函数的两个子检索任务，通过同时的模态表示和非对称哈希学习。与以前的跨模态哈希方法不同，我们的学习框架联合优化了语义保持，将多媒体数据的深层特征转换为二进制哈希码，以及语义回归，直接将查询模态表示回归到显式标签。通过该模型，二进制代码可以有效地保持不同模态之间的语义相关性，同时自适应地捕获查询语义。在两个标准数据集上从多个方面证明了TA-ADCMH的优越性。
2022-03-21 cs.IR cs.LG
Prototype-Based Layered Federated Cross-Modal Hashing
Shandong University（山东大学）；Shandong Jianzhu University（山东建筑大学）
最近，深度跨模式哈希得到了越来越多的关注。然而，在许多实际情况下，数据是分布式的，由于隐私问题而无法收集，这大大降低了每个客户端上的跨模式哈希性能。由于统计异质性、模型异质性以及迫使每个客户端接受相同参数的问题，将联邦学习应用于跨模态哈希学习变得非常棘手。在本文中，我们提出了一种新的方法称为基于原型的分层联邦跨模态哈希。具体来说，该原型用于学习服务器上实例和类之间的相似性，减少统计异构性（非IID）对不同客户端的影响。我们监控本地和全局原型之间的距离，以进一步提高性能。为了实现个性化的联邦学习，在服务器端部署了一个超网络来动态更新局部模型不同层的权值。基准数据集上的实验结果表明，我们的方法优于国家的最先进的方法。
2022-10-27 cs.AI cs.LG
Discriminative Supervised Hashing for Cross-Modal similarity Search
Jiangnan University（江南大学）；University of Surrey（萨里大学）
散列技术具有存储成本低、检索效率高等优点，近年来成为跨模态相似性检索的一个新兴研究方向。由于多模态数据反映了相似的语义内容，因此许多研究都致力于学习统一的二进制代码。然而，通过这些方法学习的判别式散列特征是不够的。这导致较低的准确性和鲁棒性。我们提出了一种新的哈希学习框架，该框架联合执行分类器学习，子空间学习和矩阵分解，以保留类特定的语义内容，称为判别式监督哈希（DSH），学习多模态数据的判别式统一二进制代码。此外，减少信息的损失，并保持数据的非线性结构，DSH非线性投影不同的模态到公共空间，在其中异构数据点之间的相似性可以衡量。在三个公开数据集上进行的大量实验表明，本文提出的框架优于几种最先进的方法。
2019-04-18 cs.CV cs.LG cs.MM
Using Deep Cross Modal Hashing and Error Correcting Codes for Improving the Efficiency of Attribute Guided Facial Image Retrieval
West Virginia University（西弗吉尼亚大学）
基于散列的图像检索方法具有查询速度快、存储开销小等优点，受到了研究界的广泛关注。在本文中，我们提出了一种新的纠错深度交叉模式哈希（CMH-ECC）方法，该方法使用指定某些面部属性的位图作为输入查询，从数据库中检索相关的人脸图像。在这种架构中，我们使用端到端的深度学习模块生成紧凑的哈希码，该模块有效地捕获了人脸和属性模态之间的内在关系。我们还将我们的深度学习模块与前向纠错码相结合，以进一步缩短同一主题的不同模态之间的距离。具体而言，深度哈希和前向纠错码的属性被用来设计具有高检索性能的跨模态哈希框架。使用两个标准数据集的人脸属性图像模态的实验结果表明，我们的CMH-ECC人脸图像检索模型优于目前大多数基于属性的人脸图像检索方法。
2019-02-11 cs.CV cs.IR cs.LG
Online Enhanced Semantic Hashing: Towards Effective and Efficient Retrieval for Streaming Multi-Modal Data
Shandong University（山东大学）
随着多媒体设备和应用的蓬勃发展，大规模多模态数据的高效检索已成为一个热门的研究课题。其中，哈希算法由于其检索效率高、存储成本低而成为一种普遍的选择。虽然多模式哈希算法近年来引起了人们的广泛关注，但仍存在一些问题。第一点是，现有的方法主要是在批处理模式下设计的，不能有效地处理流多模态数据。第二点是，所有现有的在线多模式哈希方法都无法有效地处理与流数据块连续出现的看不见的新类。在本文中，我们提出了一个新的模型，称为在线增强语义haShing（OASIS）。我们设计了新的语义增强的数据表示，这可以帮助处理新的未来类，从而构建增强的语义目标函数。进一步提出了一种高效的离散在线优化算法。大量的实验表明，我们的方法可以超过国家的最先进的模型。为了良好的可重复性和造福社区，我们的代码和数据已经在补充材料中提供，并将公开提供。
2022-03-24 cs.LG cs.MM
Efficient Cross-Modal Retrieval via Deep Binary Hashing and Quantization
Rakuten, Inc.（乐天公司）
跨模态检索的目标是在不同的内容模态中搜索具有相似语义的数据。然而，跨模态检索需要大量的存储和检索时间，因为它需要处理多个模态的数据。现有的工作集中在学习单源紧凑功能，如二进制哈希码，保持不同模态之间的相似性。在这项工作中，我们提出了一个联合学习的深度哈希和量化网络（HQ）的跨模态检索。我们通过端到端的深度学习架构，同时学习二进制哈希码和量化码，以多种形式保存语义信息。在检索步骤中，使用二进制散列从搜索空间中检索项目的子集，然后使用量化对检索到的项目进行重新排序。我们从理论上和经验表明，这种两阶段的检索方法提供了更快的检索结果，同时保持准确性。在NUS-WIDE、MIR-Flickr和Amazon数据集上的实验结果表明，与基于监督神经网络的紧凑编码模型相比，HQ的精度提高了7%以上。
2022-02-15 cs.CV cs.IR cs.LG
Optimizing Ranking Measures for Compact Binary Code Learning
University of Adelaide（阿德莱德大学）；Nanjing University（南京大学）
散列已被证明是大规模信息检索的有价值的工具。尽管取得了很大的成功，现有的散列方法优化简单的目标，如重建误差或图形拉普拉斯相关的损失函数，而不是性能评估标准的兴趣-多变量性能指标，如AUC和NDCG。在这里，我们提出了一个通用的框架（称为StructHash），允许一个直接优化多元性能指标。由此产生的优化问题可能涉及指数或无限多个变量和约束，这比标准的结构化输出学习更具挑战性。为了解决StructHash优化问题，我们使用列生成和切割平面技术的组合。我们通过将其应用于排名预测和图像检索来展示StructHash的通用性，并表明它优于一些最先进的哈希方法。
2014-07-04 cs.CV cs.LG
Learning Discriminative Hashing Codes for Cross-Modal Retrieval based on Multi-view Features
散列技术因其存储要求低、处理速度快等优点在检索任务中得到了广泛的应用。许多基于单一视图的散列方法已被广泛研究用于信息检索。然而，单个视图的表示能力不足，并且没有捕获一些区分信息，这导致改进有限。在本文中，我们采用多个视图来表示图像和文本，以丰富的特征信息。我们的框架利用多个视图之间的互补信息，以更好地学习有区别的紧凑哈希码。提出了一种联合进行分类器学习和子空间学习的离散散列学习框架，以同时完成多个搜索任务。我们的框架包括两个阶段，即核化过程和量化过程。核化的目的是找到一个共同的子空间，多视图功能可以融合。量化阶段被设计为学习有区别的统一散列码。在单标签数据集（WiKi和MMED）和多标签数据集（MIRFlickr和NUS-WIDE）上进行了大量的实验，实验结果表明了该方法的优越性。
2020-01-06 cs.IR cs.LG cs.MM
Long-tail Cross Modal Hashing
Shandong University（山东大学）；George Mason University（乔治梅森大学）
现有的跨模式哈希算法主要针对平衡数据，而现实世界中具有长尾分布的非平衡数据更为普遍。由于标签与多模态数据的个性和共性信息之间的复杂关系，目前已经提出了几种长尾散列方法，但它们都不适用于多模态数据。此外，CMH方法主要挖掘多模态数据的共性来学习哈希码，哈希码可以覆盖由各个模态的个性编码的尾部标签。在本文中，我们提出LtCMH（长尾CMH）处理不平衡的多模态数据。LtCMH首先采用自动编码器挖掘不同模态的个性和共性，通过最小化各个模态的个性之间的依赖性，并通过增强这些模态的共性。然后，它动态地将个性化和共性与从各个模态中提取的直接特征相结合，以创建Meta特征，从而丰富尾部标签的表示，并将Meta特征二进制化以生成哈希码。LtCMH在长尾数据集上的性能显著优于最先进的基线，并且在具有平衡标签的数据集上具有更好（或相当）的性能。
2022-11-28 cs.CL cs.CV cs.IR
Cross-modal Zero-shot Hashing by Label Attributes Embedding
Southwest University（西南大学）；Shandong University（山东大学）；Joint SDU-NTU Centre for Artificial Intelligence Research（山东大学-南洋理工大学人工智能联合研究中心）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；George Mason University（乔治梅森大学）
跨模态哈希算法是跨模态近似最近邻搜索中最有前途的方法之一。大多数CMH解决方案理想地假设训练集和测试集的标签是相同的。然而，该假设经常被违反，导致zero-shot CMH问题。最近的努力，以解决这个问题的重点是转移知识从可见的类看不见的标签属性。然而，属性是孤立的多模态数据的特征。为了减少信息差距，我们引入了一种方法，称为LAEH（标签属性嵌入zero-shot跨模态哈希）。LAEH首先通过word2vec模型得到标签的初始语义属性向量，然后使用一个转换网络将它们转换到一个公共子空间中。接下来，它利用哈希向量和特征相似性矩阵来指导不同模态的特征提取网络。同时，利用属性相似度作为标签相似度的补充，对标签嵌入和公共子空间进行修正。实验表明，LAEH算法优于相关的代表性的zero-shot和跨模态散列方法。
2021-11-07 cs.AI cs.CV cs.LG
Deep Supervised Information Bottleneck Hashing for Cross-modal Retrieval based Computer-aided Diagnosis
Huazhong University of Science and Technology（华中科技大学）；Guizhou Normal University（贵州师范大学）；Hubei University（湖北大学）
将X射线图像、放射学报告和其他医学数据映射为公共空间中的二进制代码，这可以帮助临床医生从异构模态（即，基于散列的跨模态医学数据检索），为促进计算机辅助诊断提供了新的视角。然而，仍然存在一个障碍，以提高医疗检索的准确性：如何揭示模糊的语义的医疗数据，而不分心的多余信息。为了克服这个缺点，我们提出了深度监督信息瓶颈哈希（DSIBH），它有效地增强了哈希码的可区分性。具体而言，针对单模态的深度确定性信息瓶颈（Yu，Yu和Principe 2021）被扩展到跨模态场景。这样就减少了多余的信息，从而提高了散列码的可鉴别性。实验结果表明，所提出的DSIBH相比，国家的最先进的跨模态医学数据检索任务的优越的准确性。
2022-05-06 cs.AI cs.CV cs.LG
Semantic-Cohesive Knowledge Distillation for Deep Cross-modal Hashing
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Rensselaer Polytechnic Institute（拉特克利夫理工学院）
针对跨模态哈希中多标签语义提取与原始数据缺乏交互的局限，提出语义内聚知识蒸馏方案 SODA，将多标签信息作为新文本模态并利用教师网络提取语义特征，显著提升了跨模态检索性能。
2025-10-07 cs.CV cs.IR cs.LG
Meta Cross-Modal Hashing on Long-Tailed Data
Southwest University（西南大学）；Shandong University（山东大学）；George Mason University（乔治梅森大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
由于跨模态哈希算法在减少存储空间的同时加快了异构数据的查询速度，因此在多模态数据的近似最近邻搜索中得到了广泛的研究。大多数散列方法假设训练数据是类平衡的，然而，在实践中，真实世界的数据往往具有长尾分布。在本文中，我们介绍了一种基于元学习的跨模态哈希方法（MetaCMH）来处理长尾数据。由于尾类中训练样本的缺乏，MetaCMH首先从不同模态的数据中学习直接特征，然后引入联想记忆模块来学习尾类样本的记忆特征。然后，它结合直接和记忆功能，以获得每个样本的Meta功能。对于长尾分布的头类样本，直接特征的权重较大，因为有足够的训练数据来学习它们;而对于稀有类，记忆特征的权重较大。最后，MetaCMH使用似然损失函数来保持不同模态的相似性，并以端到端的方式学习哈希函数。在长尾数据集上的实验表明，MetaCMH的性能明显优于现有的方法，特别是在尾部类上。
2021-11-07 cs.AI cs.DB cs.LG
Information-Theoretic Hashing for Zero-Shot Cross-Modal Retrieval
Huazhong University of Science and Technology（华中科技大学）；UiT-The Arctic University of Norway（挪威北极大学）
零次跨模态检索（Zero-Shot Cross-Modal Retrieval，简称ZCMR）是针对异构数据的检索问题而提出的。通常，为了保证泛化，来自自然语言处理（NLP）模型的预定义类嵌入被用于构建公共空间。在本文中，我们没有使用额外的NLP模型来预先定义公共空间，而是从信息论的角度考虑了一种完全不同的方法来构建（或学习）公共汉明空间。我们把我们的模型的信息理论哈希（ITH），它是由两个级联模块：自适应信息聚合（AIA）模块和语义保持编码（SPE）模块。具体来说，我们的AIA模块从相关信息原则（PRI）中获得灵感，构建一个公共空间，自适应地聚合不同形式的数据的内在语义，并过滤掉冗余或不相关的信息。另一方面，我们的SPE模块进一步生成不同形式的散列代码，通过保持本质语义的相似性与元素的Kullback-Leibler（KL）分歧。总的相关正则化项也被施加到不同维度的散列码之间，以减少冗余。在三个基准数据集上的充分实验证明了所提出的ITH在EST-CMR中的优越性。补充材料中提供了源代码。
2022-09-26 cs.IR cs.LG
Asymmetric Correlation Quantization Hashing for Cross-modal Retrieval
Shanghai Jiao Tong University（上海交通大学）
由于跨模态散列方法在大规模多模态数据的相似性计算和数据库存储方面的优势，在异构模态数据的相似性检索中引起了广泛的关注。然而，目前的CMH方法仍存在一些不足：（1）大多数CMH方法在二进制约束条件下将实值数据点转换为离散的紧致二进制码，由于大量的信息丢失和产生次优的哈希码，限制了对原始数据的表示能力;（2）离散二进制约束学习模型求解困难，当量化误差较大时，放松二进制约束会大大降低检索性能;（3）CMH的学习问题是在对称框架下处理的，导致优化目标的困难和复杂。针对上述问题，本文提出了一种新的非对称相关量化哈希算法。ACQH通过学习异构模态数据点的投影矩阵，将查询转换为潜在语义空间中的低维实值向量，同时通过逐点标签信息回归，以由粗到精的方式构造堆叠的组合量化嵌入，通过码本中的一系列学习的实值码字来指示数据库点。此外，统一的散列码跨模态可以直接获得离散迭代优化框架的文件。在三个基准数据集上的综合实验表明了ACQH的有效性和合理性。
2020-01-14 cs.CV cs.IR cs.LG
Simple to Complex Cross-modal Learning to Rank
Xi’an Jiaotong University（西安交通大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Technology Sydney（悉尼科技大学）；National University of Singapore（新加坡国立大学）
不同模态之间的异质性鸿沟给多媒体信息检索带来了巨大的挑战。一些研究将跨模态检索任务形式化为排序问题，并学习共享的多模态嵌入空间来度量跨模态相似性。然而，以前的方法往往建立共享嵌入空间的基础上的线性映射函数，这可能是不够复杂，以揭示更复杂的模态间的对应关系。此外，目前的研究假设排名是同等重要的，因此所有的排名同时使用，或随机选择一个小的排名训练嵌入空间在每次迭代。然而，这些策略，总是遭受离群值以及降低泛化能力，由于他们缺乏对人类认知过程的深刻理解。本文将具有多样性的自定进度学习理论引入到跨模态学习排序中，并基于非线性映射函数学习一个最优的多模态嵌入空间。该策略增强了模型对离群值的鲁棒性，并通过从不同查询的简单排名逐渐训练模型到更复杂的排名来实现更好的泛化。一个有效的替代算法被用来解决所提出的具有挑战性的问题，在实践中快速收敛。在多个基准数据集上的大量实验结果表明，该方法比文献中的最先进方法有了显着的改进。
2017-07-07 cs.LG stat.ML
Transductive Zero-Shot Hashing for Multilabel Image Retrieval
Wuhan University（武汉大学）；Sun Yat-Sen University（中山大学）；University of South Carolina（南卡罗来纳大学）
散列编码已广泛应用于大规模图像检索的近似最近邻搜索。给定语义注释，例如类标签和训练数据的成对相似性，散列方法可以学习并生成有效且紧凑的二进制代码。虽然一些新引入的图像可能包含未定义的语义标签，我们称之为看不见的图像，但已经研究了zeor-shot散列技术。然而，现有的zeor-shot哈希方法主要针对单标签图像的检索，而不能处理多标签图像。在本文中，首次提出了一种新的直推式zero-shot散列方法，用于多标签不可见图像检索。为了预测未知数据/目标数据的标签，通过对已知数据/源数据的实例-概念一致性排序来建立视觉-语义桥梁。然后，成对的相似性损失和焦点量化损失被构造用于使用可见/源和不可见/目标数据来训练散列模型。在三个流行的多标签数据集上的广泛评估表明，所提出的哈希方法取得了显着优于竞争方法的结果。
2021-06-30 cs.CV cs.LG
Cross-modal Deep Metric Learning with Multi-task Regularization
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）
基于深度神经网络的跨模态检索已经成为一个研究热点，用户可以通过它来搜索图像和文本等多种模态的结果。然而，现有的方法主要集中在标记数据的两两相关性和重建误差。它们忽略了不同模态之间语义相似和不相似的约束，并且不能利用未标记的数据。本文提出了跨模态深度度量学习与多任务正则化（CDMLMR），它集成了四元组排名损失和半监督对比损失，用于在统一的多任务学习架构中建模跨模态语义相似性。四元组排序损失可以模拟语义相似和不相似的约束，以保留跨模态的相对相似性排序信息。半监督对比损失能够最大化标记和未标记数据的语义相似性。与现有方法相比，CDMLMR不仅利用了相似性排序信息，还利用了未标记的跨模态数据，从而提高了跨模态检索的准确率。
2017-04-05 cs.CV cs.LG stat.ML
Bernoulli Embeddings for Graphs
Netflix Inc.（奈飞公司）；IBM India Research Laboratory（IBM印度研究院）
正如语义哈希可以加速信息检索一样，二进制值嵌入可以显著减少图形数据检索的延迟。我们引入一个简单但有效的模型来学习图中节点的二进制向量。通过将嵌入想象为具有不同偏差的独立硬币翻转，可以将连续优化技术应用于近似的预期损失。以这种方式优化的嵌入在各种数据集的排名和预排名任务上始终优于谱图嵌入和各种学习的实值嵌入的量化。
2018-03-25 cs.AI cs.LG stat.ML
Multi-label feature selection based on binary hashing learning and dynamic graph constraints
Key Laboratory of Intelligent Education Technology and Application of Zhejiang Province Zhejiang Normal University（浙江省智能教育技术与应用重点实验室，浙江师范大学）；School of Computing, Mathematics and Engineering, Charles Sturt University（查尔斯·斯特劳特大学计算机、数学与工程学院）
本文提出BHDG方法，通过二进制哈希码和动态图约束提升多标签学习中噪声抑制和特征选择性能，实验表明其在六个评估指标上均优于现有方法。
2025-03-18 cs.LG
Better Generalization with Semantic IDs: A Case Study in Ranking for Recommendations
Google（谷歌）；Google DeepMind（谷歌DeepMind）
针对推荐系统中随机哈希ID导致相似物品泛化困难的问题，提出使用RQ-VAE从内容嵌入学习的Semantic ID替代随机ID，通过哈希子片段适应工业级排序模型，在不牺牲整体质量下提升长尾物品泛化。
2024-05-30 cs.IR cs.LG
Rank Subspace Learning for Compact Hash Codes
University of Central Florida（中佛罗里达大学）
大数据时代催生了对开发哈希算法以实现高效存储和快速最近邻搜索的前所未有的兴趣。大多数现有的工作学习散列函数是投影特征空间中特征值的数值量化。在这项工作中，我们提出了一种新的哈希学习框架，编码功能的排名顺序，而不是在一些最佳的低维排名子空间的数值。我们制定的排名子空间学习问题的分段线性凹凸函数的优化，并提出了两个版本的算法：一个独立的优化每个哈希位和其他利用顺序学习框架。我们的工作是赢家通吃（WTA）散列族的推广，自然享有所有的秩相关措施的数值稳定性的好处，同时被优化，以实现在非常短的代码长度的高精度。我们比较了几个国家的最先进的散列算法在监督和无监督域，在一些数据集表现出优越的性能。
2015-03-19 cs.IR cs.LG
Supervised Feature Subset Selection and Feature Ranking for Multivariate Time Series without Feature Extraction
NEC Laboratories America（美国NEC实验室）
我们介绍了多变量时间序列（MTS）分类的监督特征排序和特征子集选择算法。与大多数现有的监督/无监督MTS的特征选择算法，我们的技术不需要一个特征提取步骤，从时间序列生成一个一维的特征向量。相反，它是基于直接计算单个时间序列之间的相似性，并评估产生的聚类结构与标签的匹配程度。该技术适用于异构MTS数据，其中时间序列测量可能具有不同的采样分辨率，以及多模态数据。
2020-05-01 cs.LG stat.ML
Generalized Contrastive Learning for Multi-Modal Retrieval and Ranking
本文提出广义对比学习（GCL）框架，通过将连续排序分数融入损失函数来优化多模态检索与排序，并构建了千万级数据集MarqoGS-10M，实验证明其在多项指标上显著优于基线且支持单阶段系统。
2025-04-27 cs.CV cs.IR cs.LG
Linear-PAL: A Lightweight Ranker for Mitigating Shortcut Learning in Personalized, High-Bias Tabular Ranking
Viator, Tripadvisor（猫途鹰Viator）
Linear-PAL通过结构约束和向量化技术，在高偏差情况下提升排序质量并显著降低训练延迟。
2025-12-15 cs.IR cs.LG
CascadER: Cross-Modal Cascading for Knowledge Graph Link Prediction
University of Michigan（密歇根大学）；Allen Institute for Artificial Intelligence (AI2)（艾伦人工智能研究所（AI2））；Northwestern University（西北大学）；The Hebrew University of Jerusalem（希伯来大学）
知识图谱（KG）链接预测是人工智能中的一项基本任务，在自然语言处理、信息检索和生物医学中有着广泛的应用。最近，通过利用KG中的跨模态信息，使用将知识图谱嵌入（KGE）和上下文语言模型（LM）相结合的集成，已经取得了有希望的结果。然而，现有的集成要么（1）在排名准确性增益方面不一致有效，要么（2）由于深度语言模型的成对排名的组合爆炸问题，在较大的数据集上效率不高。在本文中，我们提出了一种新的分层排名架构CascadER，以保持排名的准确性，同时提高效率显着。CascadER使用LM对更有效的基本KGE的输出进行重新排序，依赖于自适应子集选择方案，该方案旨在最小限度地调用LM，同时最大限度地提高KGE的精度。大量的实验表明，CascadER将MRR提高了9个点，超过KGE基线，在四个基准上设置了新的最先进的性能，同时将效率提高了一个或多个数量级，超过竞争性的跨模态基线。我们的实证分析表明，跨模态的模型的多样性和保存个别模型的置信信号有助于解释级联的有效性，并建议跨模态级联架构的有前途的方向。代码和预训练模型可在https://github.com/tsafavi/cascader上获得。
2022-09-23 cs.AI cs.CL cs.LG
Attribute-Aware Deep Hashing with Self-Consistency for Large-Scale Fine-Grained Image Retrieval
Southeast University（东南大学）；Nanjing University of Science and Technology（南京理工大学）；University of Electronic Science and Technology of China（电子科技大学）；Peking University（北京大学）
针对大规模细粒度图像检索中类间差异小、类内差异大及数据量爆炸的挑战，提出具有自一致性的属性感知哈希网络，通过无监督提取属性向量生成哈希码并增加重构路径对抗简单性偏差，在多个数据集上表现优越。
2023-11-21 cs.CV cs.IR cs.LG
RAMQA: A Unified Framework for Retrieval-Augmented Multi-Modal Question Answering
University of Florida（佛罗里达大学）
提出RAMQA统一框架，结合学习排序与生成式排列增强技术，用于多模态检索增强问答，在WebQA和MultiModalQA基准上显著优于强基线。
2025-01-23 cs.AI cs.CL cs.IR
A Discriminative Vectorial Framework for Multi-modal Feature Representation
Ryerson University（瑞尔森大学）
随着感知技术和计算技术的飞速发展，表征同一模式或现象的多模态数据源越来越受到人们的关注。因此，找到从这些多模态数据源中探索有用信息的方法已迅速成为必要。本文提出了一种基于多模态散列（MH）和判别相关最大化（DCM）分析的多模态特征表示的判别向量框架。具体而言，所提出的框架是能够最大限度地减少不同模态之间的语义相似性MH和严格的内在歧视性表示跨多个数据源DCM分析联合，使一个新的矢量框架的多模态特征表示。此外，所提出的特征表示策略进行了分析，并进一步优化基于规范和非规范的情况下，分别。因此，所生成的特征表示导致高质量的输入数据源的有效利用，从而在各种应用中产生改进的、有时相当令人印象深刻的结果。利用经典特征和基于深度神经网络（DNN）的特征，应用于图像和多媒体分析和识别任务，包括数据可视化，人脸识别，对象识别，跨模态（文本-图像）识别和音频情感识别，证明了所提出的框架的有效性和通用性。实验结果表明，所提出的解决方案优于国家的最先进的统计机器学习（SML）和DNN算法。
2021-03-09 cs.LG
Multi-modal Deep Analysis for Multimedia
Tsinghua University（清华大学）；Microsoft Research（微软研究院）
随着互联网和多媒体业务的迅速发展，产生了大量的用户生成和服务提供商生成的多媒体数据。这些数据本质上是异构和多模态的，这给处理和分析它们带来了巨大的挑战。多模态数据包括来自不同模态的各种类型的数据的混合物，如文本，图像，视频，音频等。在本文中，我们对多媒体中的多模态分析进行了深入而全面的概述。我们介绍了两个科学研究问题，数据驱动的相关表示和知识引导的多媒体分析融合。为了解决这两个科学问题，我们从以下几个方面进行了研究：1）多模态相关表示：跨不同模态的数据的多模态融合，以及2）多模态数据和知识融合：数据与领域知识的多模态融合。更具体地说，在数据驱动的相关表示方面，我们强调了三种重要的方法，例如多模态深度表示，多模态迁移学习和多模态哈希。在知识引导的融合方面，讨论了知识与数据的融合方法，以及多模态视觉问答、多模态视频摘要、多模态视觉模式挖掘和多模态推荐等四个需要不同领域知识的典型应用。最后，提出了本文的研究思路和未来的研究方向。
2020-01-04 cs.CV cs.IR cs.LG
Yambda-5B -- A Large-Scale Multi-modal Dataset for Ranking And Retrieval
Yandex
本文发布源自Yandex Music的工业级多模态数据集Yambda-5B，含47.9亿条交互及音频嵌入，并通过is_organic标志区分有机行为与推荐行为，配套全局时间划分评估协议，为推荐系统研究提供可复现的基准资源。
2025-06-01 cs.IR cs.LG
Candidate Set Re-ranking for Composed Image Retrieval with Dual Multi-modal Encoder
Australian National University（澳大利亚国立大学）；Idiap Research Institute（伊迪亚普研究所）；Australian Institute for Machine Learning (AIML)（澳大利亚机器学习研究所）
针对组合图像检索中现有方法效率与判别力难以兼顾的问题，提出两阶段模型，结合快速向量剪枝与双编码器重排序，利用视觉-语言预训练网络，在标准基准上性能优于现有最优方法。
2024-01-29 cs.CV cs.IR cs.LG
Re-ranking the Context for Multimodal Retrieval Augmented Generation
University of Maryland College Park（马里兰大学帕克分校）；NEC Laboratories America（美国NEC实验室）
针对多模态 RAG 检索无关条目的问题，本文利用相关性分数 RS 替代嵌入余弦相似度，并自适应选择至多 k 个条目重排上下文，在 COCO 上显著提升相关性与回答准确性。
2025-01-08 cs.CV cs.IR cs.IT
