MARC: Multi-Label Adaptive Retrieval Contrastive Loss for Remote Sensing Images
本文提出MACL方法，通过标签感知采样、频率敏感加权和动态温度缩放，解决遥感图像多标签检索中的语义重叠、标签分布不平衡和类间共现模式复杂等问题，实验表明其在三个基准数据集上优于对比损失基线。
2026-04-04 cs.CV
Class Anchor Margin Loss for Content-Based Image Retrieval
University of Bucharest（布加勒斯特大学）
针对CBIR中度量学习配对挖掘低效、统计学习特征不够紧凑的问题，提出无需配对、直接优化L2度量的类别锚点间隔损失及锚点驱动的两阶段检索系统，并在多数据集与两类架构上验证其更优、更稳定。
2023-06-03 cs.CV cs.IR cs.LG
Optimization of Rank Losses for Image Retrieval
Cnam（法国国立工艺学院）；Google Research（谷歌研究院）；Coexya；Sorbonne Université（索邦大学）
本文提出了一种鲁棒且可分解的排序损失优化框架SupRank，解决了深度神经网络端到端训练中的不可微性和不可分解性问题，并成功应用于图像检索和分层图像检索，同时创建了首个分层地标检索数据集。
2023-09-15 cs.CV
Bayesian Triplet Loss: Uncertainty Quantification in Image Retrieval
Technical University of Denmark（丹麦技术大学）；University of Oxford（牛津大学）；University of Zaragoza（萨拉戈萨大学）
图像检索中的不确定性量化对于下游决策至关重要，但它仍然是一个具有挑战性且未探索的问题。目前用于估计不确定性的方法校准不良，计算昂贵，或基于几何学。我们提出了一种新的方法，将图像嵌入视为随机特征，而不是确定性特征。我们的两个主要贡献是：（1）匹配三元组约束的可能性，并评估锚点更接近正而不是负的概率;（2）证明传统l2归一化合理的特征空间上的先验。为了确保计算效率，我们推导出一个变分近似的后验，称为贝叶斯三重损失，产生国家的最先进的不确定性估计和匹配的预测性能，目前国家的最先进的方法。
2021-09-17 cs.CV
Probability Weighted Compact Feature for Domain Adaptive Retrieval
Chongqing University（重庆大学）；University of Electronic Science and Technology of China（电子科技大学）
领域自适应图像检索包括单领域检索和跨领域检索。现有的图像检索方法大多只针对单域检索，假设检索数据库和查询的分布是相似的。然而，在实际应用中，在理想光照/姿态/背景/摄像机条件下获取的检索数据库与在非受控条件下获取的查询结果之间的差异非常大。本文从实际应用的角度出发，重点研究了具有挑战性的跨域检索问题。针对这一问题，提出了一种有效的概率加权压缩特征学习（PWCF）方法，该方法通过提供域间相关性指导来提高跨域检索精度，并学习一系列压缩二进制代码来提高检索速度。首先，我们通过最大后验估计（MAP）得到我们的损失函数：贝叶斯视角（BP）引起的焦点三重损失，BP引起的量化损失和BP引起的分类损失。其次，我们提出了一个共同的流形结构域之间探索跨域的潜在相关性。考虑到域间差异导致的原始特征表示有偏差，流形结构难以构建。因此，我们提出了一个新的功能命名为直方图特征的邻居（HFON）从样本统计的角度。在各种基准数据库上进行的大量实验验证了该方法在领域自适应图像检索中的性能优于许多最先进的图像检索方法。源代码可在https://github.com/fuxianghuang1/PWCF上获得
2020-03-06 cs.CV
Do Lessons from Metric Learning Generalize to Image-Caption Retrieval?
University of Amsterdam（阿姆斯特丹大学）
半硬底片的三重丢失已经成为从头开始优化的图像字幕检索（ICR）方法的事实上的选择。度量学习的最新进展产生了新的损失函数，在图像检索和表示学习等任务上优于三重损失。我们问这些发现是否推广到ICR的设置，通过比较三个损失函数的两个ICR方法。我们否定地回答这个问题：在ICR任务上，半硬否定挖掘的三重损失仍然优于从度量学习中新引入的损失函数。为了更好地理解这些结果，我们引入了一种分析方法来比较损失函数，通过计算有多少样本对梯度w.r.t.优化过程中的查询表示。我们发现，损失函数，导致较低的评估分数的ICR任务，在一般情况下，采取太多的（非信息）样本时，计算梯度w.r.t.查询表示，这导致次优性能。具有半硬负的三重态损失被示出优于其他损失函数，因为当计算梯度时，它仅考虑一个（硬）负。
2022-02-14 cs.AI cs.CV cs.IR
DeepFirearm: Learning Discriminative Feature Representation for Fine-grained Firearm Retrieval
Center for Research on Intelligent Perception and Computing (CRIPAC), Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所智能感知与计算研究中心（CRIPAC））；University of Chinese Academy of Sciences（中国科学院大学）
对于自动调节社交媒体中令人震惊的枪支图像的不适当出现或在法医中识别枪支类型有很大的需求。图像检索技术在解决这些问题上具有巨大的潜力。为了促进这一领域的研究，我们引入了Firearm 14k，这是一个由167个类别的14，000多张图像组成的大型数据集。该方法可用于枪械图像的细粒度识别和检索。图像检索的最新进展主要是由微调最先进的卷积神经网络的检索任务。传统的单容限对比损耗以其简单、性能好而得到广泛应用。我们发现它在Firearm 14k数据集上表现不佳，原因是：（1）在训练过程中，正图像和负像对造成的损失是不平衡的。(2)这个数据集和ImageNet之间存在巨大的领域差距。我们建议通过采用双裕度对比损耗来处理不平衡损耗。我们通过两阶段的训练策略来解决领域差距问题，首先对网络进行微调以进行分类，然后对其进行微调以进行检索。实验结果表明，我们的方法优于传统的单一利润率的方法，由一个大的利润率（高达88.5%的相对改善），甚至超过了强大的三重损失为基础的方法。
2018-06-11 cs.CV
Recall@k Surrogate Loss with Large Batches and Similarity Mixup
Czech Technical University in Prague（布拉格捷克理工大学）
这项工作的重点是通过探索新的损失函数、批量大小和新的正则化方法之间的相互作用来学习用于检索的深度视觉表示模型。直接优化，通过梯度下降，一个评价指标，是不可能的，当它是不可微的，这是在检索召回的情况。在这项工作中提出了一个可区分的替代损失的召回。使用回避GPU内存的硬件限制的实现，该方法训练具有非常大的批量大小，这对于在整个检索数据库上计算的度量是必不可少的。它由一种有效的混合正则化方法辅助，该方法对成对标量相似性进行操作，并进一步增加了批量大小。当用于深度度量学习时，所建议的方法在几个图像检索基准中实现了最先进的性能。对于实例级识别，该方法优于使用平均精度的近似值进行训练的类似方法。
2022-03-25 cs.CV
A Triplet-loss Dilated Residual Network for High-Resolution Representation Learning in Image Retrieval
Ferdowsi University of Mashhad（马什哈德菲尔多西大学）；McMaster University（麦克马斯特大学）
基于内容的图像检索是基于视觉内容（如颜色、形状或空间关系以及纹理）从大量图像库中检索图像子集的过程。在某些应用中，例如定位，图像检索被用作初始步骤。在这种情况下，顶部检索图像的准确性显著影响整个系统的准确性。本文介绍了一个简单而有效的图像检索系统，具有较少的可训练参数，它提供了可接受的准确率在顶部检索的图像。所提出的方法受益于一个膨胀的残余卷积神经网络与三重损失。实验评估表明，该模型可以提取更丰富的信息（即，高分辨率表示），从而提高图像检索的准确性，而不增加模型的深度或复杂性。为了增强提取的表示的鲁棒性，当前研究从每个特征图中获取候选感兴趣区域，并对这些区域应用广义均值池化。由于基于三元组的网络中三元组的选择影响模型训练，我们采用了三元组在线挖掘方法。我们在两个具有挑战性的图像检索数据集上测试了所提出的方法在各种配置下的性能，即Revisited Paris6k（RPar）和UKBench。实验结果表明，在RPar中等和硬模式下的准确率分别为94.54和80.23（平均精度为10级），在UKBench数据集中的准确率分别为3.86（召回率为4级）。
2023-03-15 cs.AI cs.CV
Segment Augmentation and Differentiable Ranking for Logo Retrieval
Middle East Technical University（中东技术大学）
标志检索是一个具有挑战性的问题，因为与图像检索任务相比，相似性的定义更加主观，并且已知的相似性集合非常稀少。为了应对这一挑战，在本文中，我们提出了一种简单但有效的基于片段的增强策略，以引入人工相似的徽标来训练深度网络进行徽标检索。在这种新颖的增强策略中，我们首先在徽标中找到片段，并在片段上应用旋转，缩放和颜色变化等变换，这与传统的图像级增强策略不同。此外，我们评估是否最近推出的排名为基础的损失函数，平滑AP，是一个更好的方法来学习相似的标志检索。在大规模METU商标数据集上，我们表明：（i）与基线模型或图像级增强策略相比，我们基于片段的增强策略提高了检索性能;（ii）Smooth-AP确实比传统的徽标检索损失更好。
2022-09-13 cs.CV
Exploring Content Based Image Retrieval for Highly Imbalanced Melanoma Data using Style Transfer, Semantic Image Segmentation and Ensemble Learning
Gujarat Technological University（古吉拉特理工大学）
病变图像经常在开放设置中拍摄。由于图像数据的多样性，卷积神经网络很难找到合适的特征并具有良好的泛化能力，因此很难建立基于内容的病变图像检索（CBIR）系统。本文探讨了这一领域，并提出了多个相似性措施，使用风格损失和骰子系数通过一个新的相似性措施称为I1-得分。在提出的CBIR相似性度量中，纯风格损失方法比传统的方法如欧氏距离和余弦相似性实现了显着的准确性提高。使用风格损失的I1分数表现优于传统方法的一个小的利润率，而，I1分数与骰子系数公平非常差。所使用的模型使用集成学习进行训练，以获得更好的泛化能力。
2021-10-12 cs.CV
Deep Reinforced Attention Regression for Partial Sketch Based Image Retrieval
Rochester Institute of Technology（罗切斯特理工学院）
基于细粒度草图的图像检索（FG-SBIR）旨在从给定查询草图的大型图库中找到特定的图像。尽管FG-SBIR在许多关键领域（例如，犯罪活动跟踪），但是现有的方法仍然具有低准确性，同时对诸如草图中不必要的笔划之类的外部噪声敏感。检索性能将进一步恶化下一个更实际的飞行设置，其中只有一个部分完整的草图，只有几个（嘈杂的）中风可用于检索相应的图像。我们提出了一个新的框架，利用一个独特设计的深度强化学习模型，执行双层探索，以处理部分草图训练和注意区域选择。通过将模型的注意力集中在草图的重要区域，该模型对不必要的笔画噪声保持了鲁棒性，并大幅度提高了检索精度。为了充分探索部分草图并定位要参与的重要区域，该模型执行用于全局探索的自举策略梯度，同时调整用于局部探索的管理定位器网络的标准偏差项。训练过程由一个混合损失来指导，该混合损失集成了强化损失和监督损失。提出了一种动态的排序奖励机制，以适应基于局部草图的实时图像检索过程。在三个公开数据集上进行的大量实验表明，我们提出的方法在基于部分草图的图像检索上达到了最先进的性能。
2021-11-21 cs.CV cs.IR cs.LG
Content-Based Medical Image Retrieval with Opponent Class Adaptive Margin Loss
Amasya University（阿马西亚大学）；Bilkent University（比尔肯特大学）；National Magnetic Resonance Research Center, Bilkent University（比尔肯特大学国家磁共振研究中心）；Sabuncu Brain Research Center, Bilkent University（比尔肯特大学萨本库脑研究中心）
具有数字存储的医学成像设备的广泛使用为大量数据存储库的管理铺平了道路。快速访问与疑似病例外观相似的图像样本可以帮助医疗保健专业人员建立咨询系统，并改善诊断程序，同时最大限度地减少处理延迟。然而，手动查询大型数据存储库是劳动密集型的。基于内容的图像检索（CBIR）提供了一种基于密集嵌入向量的自动化解决方案，这些嵌入向量表示图像特征以允许定量相似性评估。三元组学习已经成为CBIR中恢复嵌入的一种强大方法，尽管传统的损失函数忽略了对手图像类之间的动态关系。在这里，我们介绍了一种基于新的对手类自适应保证金（OCAM）损失的医学图像库自动查询的三元组学习方法。OCAM使用可变的边缘值，该值在训练过程中不断更新，以保持最佳的区分表示。OCAM的CBIR性能与三个公共数据库（胃肠道疾病，皮肤病变，肺部疾病）上的代表性学习的最先进的损失函数进行比较。在每个应用领域的综合实验证明了OCAM相对于基线的优越性能。
2022-11-22 cs.CV eess.IV
Exploring Uncertainty in Conditional Multi-Modal Retrieval Systems
University of Maryland, College Park（马里兰大学帕克分校）；Honda Research Institute, USA（本田美国研究所）
我们将视觉检索作为回归问题，将三元组损失作为回归损失。这使得认知不确定性估计使用辍学作为贝叶斯近似框架检索。因此，蒙特卡罗（MC）采样的杠杆，以提高检索性能。我们的方法在两个应用程序上进行评估：人员重新识别和自动驾驶汽车。在前一个应用程序的多个数据集上实现了可比较的最先进的结果。我们利用本田驾驶数据集（HDD）进行自动驾驶汽车应用。它为自我运动动作理解提供了多种模态和相似性概念。因此，我们提出了一个多模态条件检索网络。它将嵌入分解为单独的表示，以编码不同的相似性。这种形式的联合学习消除了对训练多个独立网络的需要，而没有任何性能下降。定量评估凸显了我们的方法能力，在高度不确定的环境中实现了6%的改进。
2019-01-23 cs.CV
An Efficient Framework for Zero-Shot Sketch-Based Image Retrieval
Queensland University of Technology（昆士兰科技大学）
近年来，基于零拍草图的图像检索（Zero-shot Sketch-based Image Retrieval，简称SBIR）由于其更接近实际应用，更具有现实性和挑战性，引起了计算机视觉界的广泛关注。基于内容的图像检索（CBIR）、零样本学习和领域自适应等多个计算机视觉问题都是SBIR的主要挑战。大多数以前使用深度神经网络的研究都通过将草图和图像投影到一个共同的低维空间或将知识从可见的类转移到不可见的类来实现改进的结果。然而，这些方法是用由多个深度卷积神经网络（CNN）组成的复杂框架进行训练的，并且依赖于类别级别的单词标签。这增加了对培训资源和数据集的要求。相比之下，我们提出了一个简单有效的框架，不需要高计算训练资源，并且可以在没有语义分类标签的数据集上进行训练。此外，在训练和推理阶段，我们的方法只使用单个CNN。在这项工作中，预先训练的ImageNet CNN（例如，ResNet 50）使用三个建议的学习对象进行了微调：域感知四元组丢失，语义分类丢失和语义知识保存丢失。通过引入领域感知的四元组和语义分类损失来学习区分性特征、语义特征和领域不变特征，将基于语义的SBIR视为目标检测和验证问题。...
2021-02-08 cs.CV
Learning Super-Features for Image Retrieval
NAVER LABS Europe（NAVER欧洲实验室）
结合局部和全局特征的方法最近在多个具有挑战性的深度图像检索基准测试中表现出出色的性能，但它们对局部特征的使用至少引发了两个问题。首先，这些局部特征简单地归结为神经网络的局部映射激活，因此可能是极其冗余的。其次，它们通常是用全局损失来训练的，这种损失只作用于局部特征的聚合;相比之下，测试是基于局部特征匹配的，这在训练和测试之间产生了差异。在本文中，我们提出了一种新的深度图像检索架构，完全基于我们称为超级特征的中级特征。这些超级功能是由一个迭代的注意力模块，并构成一个有序的集合，其中每个元素集中在一个本地化的和判别图像模式。对于训练，它们只需要图像标签。对比度损失直接在超级特征的级别上操作，并专注于那些在图像之间匹配的特征。第二种互补性损失鼓励多样性。在常见地标检索基准上的实验验证了，当使用相同数量的特征时，超级特征的性能大大优于最先进的方法，并且只需要更小的内存占用来匹配它们的性能。代码和模型可在https://github.com/naver/FIRe上获得。
2022-01-31 cs.CV
Learning Joint Embedding with Modality Alignments for Cross-Modal Retrieval of Recipes and Food Images
Georgia Institute of Technology（佐治亚理工学院）；Wuhan University of Technology（武汉理工大学）
本文提出了一种学习文本图像联合嵌入的三层模态对齐方法，称为JEMA，用于烹饪食谱和食物图像的跨模态检索。第一层通过使用术语提取和排序增强序列模式优化LSTM网络来改进食谱文本嵌入，并通过将ResNeXt-101图像编码器与使用wideResNet-50和word 2 vec的类别嵌入相结合来优化图像嵌入。第二层模态对齐使用具有软边缘优化的双批硬三重损失来优化纹理-视觉联合嵌入损失函数。第三模态对齐结合了两种类型的跨模态对齐作为辅助损失正则化，以进一步减少两个模态特定嵌入函数的联合学习中的对齐误差。基于类别的跨模态对齐旨在将图像类别与食谱类别对齐，作为对联合嵌入的损失正则化。基于跨模态鉴别器的对齐旨在添加视觉-文本嵌入分布对齐以进一步正则化联合嵌入损失。使用100万个食谱基准数据集Recipe 1 M进行的大量实验表明，所提出的JEMA方法在图像到食谱和食谱到图像检索方面优于最先进的交叉模态嵌入方法。
2021-08-18 cs.CV cs.IR
Improved Deep Hashing with Soft Pairwise Similarity for Multi-label Image Retrieval
Wuhan University（武汉大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）；Sun Yat-Sen University（中山大学）；University of South Carolina（南卡罗来纳大学）；Tianjin University（天津大学）
散列编码在大规模图像检索的近似最近邻搜索中得到了广泛的应用。最近，已经提出了许多深度哈希方法，并且与传统的基于特征学习的方法相比，它们的性能有了很大的提高。这些方法大多在语义级标签上检验两两相似度，其中两两相似度通常以硬分配的方式定义。也就是说，如果它们共享不少于一个类别标签，则成对相似性为“1”，如果它们不共享任何类别标签，则成对相似性为“0”。然而，这样的相似性定义不能反映持有多个标签的成对图像的相似性排名。本文提出了一种新的深度哈希方法用于多标签图像检索，通过将成对相似度重新定义为实例相似度，其中实例相似度基于归一化的语义标签量化为百分比。基于实例的相似性，加权交叉熵损失和最小均方误差损失量身定制的损失函数的建设，并有效地用于同时特征学习和哈希编码。在三个流行数据集上的实验表明，该方法在多标签图像检索中取得了较好的性能。
2019-10-17 cs.CV
Deep Hashing Learning for Visual and Semantic Retrieval of Remote Sensing Images
Hunan University（湖南大学）；University of Iceland（冰岛大学）
在遥感大数据管理的迫切需求驱动下，大规模遥感影像检索（RSIR）日益受到遥感领域的关注。一般来说，现有的检索方法可以被视为基于视觉的检索方法，从数据库中搜索并返回一组相似的图像到给定的查询图像。尽管检索方法取得了巨大的成功，但仍有一个问题需要回答：我们能否获得返回的相似图像的准确语义标签，以进一步帮助分析和处理图像？受上述问题的启发，本文将图像检索问题重新定义为图像的视觉和语义检索。具体来说，我们提出了一种新的深度哈希卷积神经网络（DHCNN），同时检索相似的图像，并在一个统一的框架中对其语义标签进行分类。更详细地，使用卷积神经网络（CNN）来提取高维深度特征。然后，将哈希层完美地插入到网络中，将深层特征转换为紧凑的哈希码。此外，在散列层上执行具有softmax函数的全连接层以生成类分布。最后，精心设计了一个损失函数，同时考虑了每幅图像的标签损失和图像对之间的相似性损失。在两个遥感数据集上的实验结果表明，该方法达到了最先进的检索和分类性能。
2019-09-10 cs.CV eess.IV
Multi-task Cross-modal Learning for Chest X-ray Image Retrieval
National Library of Medicine, NIH（美国国立卫生研究院国家医学图书馆）
本文提出多任务学习框架，通过改进BiomedCLIP模型，提升胸部X射线图像与文本的跨模态检索性能。
2026-01-08 cs.AI cs.CV cs.IR
Two-Stage Triplet Loss Training with Curriculum Augmentation for Audio-Visual Retrieval
KDDI Research, Inc.（KDDI综合研究所）
本文提出一种基于课程学习的两阶段三元组损失训练范式，通过从半难到难三元组的渐进式训练及插值增强技术优化嵌入空间，在视听跨模态检索任务上实现了约9.8%的MAP提升。
2023-10-20 cs.CV cs.IR cs.MM
Deep Triplet Hashing Network for Case-based Medical Image Retrieval
Harbin Institute of Technology（哈尔滨工业大学）；Southern University of Science and Technology（南方科技大学）；CVTE Research（CVTE研究院）；Inception Institute of Artificial Intelligence（Inception人工智能研究院）
深度哈希方法已被证明是大规模图像检索中最有效的近似最近邻搜索技术。然而，现有的深度哈希方法在基于案例的医学图像检索中的小样本排序性能较差。返回的查询结果中排名靠前的图像可以是与查询图像不同的类别。这个排名问题是由分类，感兴趣区域（ROI）和哈希空间中的小样本信息丢失引起的。为了解决排名问题，我们提出了一个端到端的框架，称为基于注意力的三重哈希（ATH）网络，学习低维哈希码，保留分类，ROI和小样本信息。我们在ATH的网络结构中嵌入了一个空间注意模块，专注于ROI信息。空间注意力模块通过沿通道轴联合利用最大池化、元素最大化和元素平均值操作来聚合特征图的空间信息。三元组交叉熵损失可以帮助将图像的分类信息和图像之间的相似性映射到哈希码中。在两个基于案例的医疗数据集上的大量实验表明，与最先进的深度哈希方法相比，我们提出的ATH可以进一步提高检索性能，并提高小样本的排名性能。与其他损失方法相比，三重交叉熵损失可以提高分类性能和散列码的可鉴别性
2021-01-29 cs.CV cs.IR
Improved Deep Classwise Hashing With Centers Similarity Learning for Image Retrieval
City University of Hong Kong（香港城市大学）
基于深度监督哈希算法的图像检索以其高效性和优越的检索性能而受到研究者的关注。现有的大多数基于成对/三元组标签的深度监督哈希算法存在计算成本高和语义信息利用率低的问题。最近，深度类哈希引入了一种由类标签信息交替监督的类损失;然而，我们发现它仍然有其缺点。在本文中，我们提出了一种改进的深度类哈希，它可以同时进行哈希学习和类中心学习。具体来说，我们设计了一个两步的中心相似性学习策略。它与类间损失相互作用，吸引类中心集中在类内样本上，同时尽可能地推动其他类中心。中心相似性学习有助于生成更紧凑和有区别的散列码。我们在三个基准数据集上进行了实验。实验结果表明，在各种常用的图像检索评价指标下，该方法有效地超越了原方法，并优于最先进的基线。
2021-03-17 cs.CV cs.IR
SOLAR: Self-supervised Joint Learning for Symmetric Multimodal Retrieval
Ant Group（蚂蚁集团）
本文提出SOLAR框架，通过自监督学习解决对称多模态检索问题，利用未标记数据提升模型性能，实验显示其在基准测试中优于现有方法。
2026-07-14 cs.CV
Triplet-Center Loss for Multi-View 3D Object Retrieval
Huazhong University of Science and Technology（华中科技大学）
大多数现有的3D对象识别算法专注于利用具有softmax损失的深度学习模型的强大区分能力来进行3D数据的分类，而使用深度度量学习来学习区分特征以进行3D对象检索或多或少被忽视。在这篇论文中，我们研究了3D对象检索的深度度量学习损失的变体，这些变体在这一领域没有得到足够的关注。首先，引入了两种代表性的损失，三重损失和中心损失，可以学习更多的区别性特征比传统的分类损失。然后，我们提出了一种新的损失命名为三重中心损失，它可以进一步提高的鉴别能力的功能。所提出的三重中心损失为每个类学习一个中心，并要求来自同一类的样本和中心之间的距离比来自不同类的样本和中心之间的距离更近。在两个流行的3D对象检索基准和两个广泛采用的基于草图的3D形状检索基准上的大量实验结果一致地证明了我们提出的损失的有效性，并且与最先进的方法相比已经取得了显着的改进。
2018-03-16 cs.CV
DNN-based 3D Cloud Retrieval for Variable Solar Illumination and Multiview Spaceborne Imaging
针对固定太阳光照限制，提出首个可扩展的DNN三维云反演系统，融合多视角图像与相机姿态、太阳方向，采用两阶段训练，显著提升太阳天顶角变化下的反演性能。
2024-11-07 cs.CV eess.IV
Angular Triplet-Center Loss for Multi-view 3D Shape Retrieval
Beihang University（北京航空航天大学）；Research Institute of Beihang University in Shenzhen（北京航空航天大学深圳研究院）；Beijing Advanced Innovation Center for Big Data and Brain Computing（北京大数据与脑计算先进创新中心）
如何获得理想的表示的三维形状，这是歧视性的跨类别和类内聚合，是一个重大的挑战，在三维形状检索。现有的大多数三维形状检索方法都集中在捕获具有softmax损失的强判别性形状表示用于分类任务，而忽略了具有度量损失的形状特征学习用于三维形状检索。在本文中，我们解决这个问题的基础上的直觉，形状嵌入的余弦距离应该足够接近同一类和远离跨类别。由于大多数三维形状检索任务使用形状特征的余弦距离来度量形状相似性，我们提出了一种新的度量损失命名为角三重中心损失，它直接优化特征之间的余弦距离。它继承了三重中心损失的性质，同时实现更大的类间距离和更小的类内距离。与以往三维形状检索方法中采用欧氏距离的度量损失和边缘设计困难不同，该方法更便于特征嵌入的训练，更适合三维形状检索。此外，为了在嵌入空间上提供更明确的判别约束，采用角度裕度来代替余弦裕度。在两个流行的3D对象检索基准测试ModelNet40和ShapeNetCore 55上的大量实验结果证明了我们提出的损失的有效性，并且我们的方法在各种3D形状数据集上取得了最先进的结果。
2019-01-22 cs.CV
Rethinking Loss Design for Large-scale 3D Shape Retrieval
Beihang University（北京航空航天大学）
学习有区别的形状表示是大规模三维形状检索的关键问题。本文提出了一种基于协同内积损失的形状嵌入算法，该算法能够在不同类别之间进行区分，并在同一类别内进行聚类。利用简单的内积运算，CIP损失显式地强制将同一类的特征聚类在线性子空间中，而类间子空间被约束为至少正交。与以往的度量损失函数相比，CIP损失函数能为嵌入提供更清晰的几何解释，且易于实现，无需对余弦边缘进行归一化运算。此外，我们提出的损失项可以结合其他常用的损失函数，可以很容易地插入到现有的现成的架构。在两个公开的3D对象检索数据集ModelNet和ShapeNetCore 55上进行的大量实验证明了我们的建议的有效性，并且我们的方法在两个数据集上都取得了最先进的结果。
2019-06-03 cs.CV
Unified Loss of Pair Similarity Optimization for Vision-Language Retrieval
Beijing University of Posts and Telecommunications（北京邮电大学）；University of Washington（华盛顿大学）；China Telecom Digital Intelligence Technology Co., Ltd.（中国电信数字智能科技有限公司）
有两种流行的损失函数用于视觉语言检索，即，三重损失和对比学习损失，它们本质上都最小化了负对和正对之间的相似性差异。更具体地说，现有检索模型中广泛使用的三重丢失硬负挖掘（Triplet-HN），以提高区分能力，在训练中容易陷入局部极小值。另一方面，视觉语言对比学习损失（VLC），这是广泛使用的视觉语言预训练，已被证明可以实现显着的性能增益视觉语言检索，但微调的性能与VLC上的小数据集是不令人满意的。本文提出了一种统一的视觉语言检索对相似度损失优化方法，为理解现有的损失函数提供了有力的工具。我们的统一损失包括VLC的硬样本挖掘策略，并引入了三重损失所使用的余量，以实现更好的相似性分离。结果表明，三重态HN和VLC都是我们统一损耗的特殊形式。与Triplet-HN相比，我们的统一损失具有更快的收敛速度。与VLC相比，我们的统一损失更具鉴别力，可以在下游微调任务中提供更好的泛化能力。在图像-文本和视频-文本检索基准上的实验表明，我们的统一损失可以显着提高最先进的检索模型的性能。
2022-11-07 cs.CV cs.MM
TriCoLo: Trimodal Contrastive Loss for Text to Shape Retrieval
Simon Fraser University（西蒙菲莎大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）
针对文本到形状检索，提出三模态对比学习方案，利用大批量对比学习，无需复杂注意力机制，实现良好检索性能，为后续三模态嵌入研究奠定基础。
2023-12-27 cs.CV
Intra-Modal Constraint Loss For Image-Text Retrieval
Univ Rennes（雷恩大学）；INSA Rennes（雷恩国立应用科学学院）；CNRS（法国国家科学研究中心）；Zhejiang University of Technology（浙江工业大学）
跨模态检索在计算机视觉和自然语言处理领域都引起了广泛的关注。随着卷积神经网络和递归神经网络的发展，跨图像-文本模式检索的瓶颈不再是图像和文本特征的提取，而是嵌入空间中有效的损失函数学习。许多损失函数试图从异质模态中接近成对特征。提出了一种基于模态内约束损失函数的图像和文本联合嵌入学习方法，以减少来自同一模态的否定对的违反。实验结果表明，我们的方法优于国家的最先进的双向图像-文本检索方法在Flickr 30 K和Microsoft COCO数据集。我们的代码是公开的：https://github.com/CanonChen/IMC。
2022-07-13 cs.CV cs.MM
Symmetric Multi-Similarity Loss for EPIC-KITCHENS-100 Multi-Instance Retrieval Challenge 2024
The Hong Kong Polytechnic University（香港理工大学）
针对2024年EPIC-KITCHENS-100多实例检索挑战赛中现有损失未充分利用软标签相关矩阵的问题，提出对称多相似性损失，结合技巧与集成学习取得冠军成绩。
2024-06-18 cs.CV
Graph Pattern Loss based Diversified Attention Network for Cross-Modal Retrieval
University of Science and Technology of China（中国科学技术大学）；Hangzhou Dianzi University（杭州电子科技大学）
跨模态检索旨在通过组合诸如图像、视频、文本和音频的多媒体数据来实现灵活的检索体验。无监督方法的核心之一是挖掘不同对象表示之间的相关性，以获得满意的检索性能，而不需要昂贵的标签。在本文中，我们提出了一个基于图模式丢失的多样化注意力网络（GPLDAN）的无监督跨模态检索，深入分析表示之间的相关性。首先，我们提出了一个多样化的注意力特征投影仪，通过考虑不同的表示之间的相互作用，以产生多个表示的一个实例。然后，我们设计了一个新的图模式损失来探索不同表示之间的相关性，在这个图中，不同表示之间的所有可能的距离被考虑。此外，加入模态分类器，在融合前显式地声明特征的对应模态，引导网络增强辨别能力。我们在四个公共数据集上测试GPLDAN。实验结果表明，GPLDAN与现有的跨模态检索方法相比，具有较好的性能和竞争力。
2021-06-25 cs.AI cs.CV
Dissecting Deep Metric Learning Losses for Image-Text Retrieval
Microsoft（微软）
视觉语义嵌入（VSE）是一种流行的方法，在图像和语言模态之间学习一个联合嵌入空间，其中语义相似性将被保留的图像和文本检索。三重态损失与硬负挖掘已成为事实上的目标，大多数VSE方法。受图像领域深度度量学习（DML）的最新进展的启发，产生了优于三重损失的新损失函数，在本文中，我们重新审视了在图像-文本匹配中为VSE找到更好目标的问题。尽管在设计基于梯度移动的损失方面进行了一些尝试，但大多数DML损失都是在嵌入空间中根据经验定义的。而不是直接应用这些损失函数，这可能会导致次优的梯度更新模型参数，在本文中，我们提出了一种新的基于一致性的客观分析框架，或\textit{GOAL}，系统地分析现有的DML函数的梯度的组合和重新加权。在这个分析框架的帮助下，我们进一步提出了一个新的家庭的目标在梯度空间探索不同的梯度组合。在梯度不可积分到有效的损失函数的情况下，我们实现我们提出的目标，使得它们直接在梯度空间中操作，而不是在嵌入空间中的损失上操作。全面的实验表明，我们的新目标在不同的视觉/文本特征和模型框架上的基线上不断提高性能。我们还展示了GOAL框架的可推广性，通过将其扩展到使用三元组家庭损失的其他模型，包括具有重跨模态交互的视觉语言模型，并在COCO和Flick 30 K上的图像-文本检索任务上取得了最先进的结果。
2022-10-21 cs.CV
Retrieval of Surface Solar Radiation through Implicit Albedo Recovery from Temporal Context
Laboratory of Cryospheric Sciences, Ecole Polytechnique Fédérale de Lausanne（冰冻科学实验室，瑞士洛桑联邦理工学院）；Environmental Computational Science and Earth Observation Laboratory, Ecole Polytechnique Fédérale de Lausanne（环境计算科学与地球观测实验室，瑞士洛桑联邦理工学院）
针对山区积雪动态导致传统地表太阳辐射反演失效的问题，提出基于时空视觉Transformer的注意力模拟器，从卫星时序图像隐式学习晴空反射率，在瑞士复杂地形区达到与反照率辅助模型相当的性能，提升了地形泛化能力。
2025-06-11 cs.CV physics.ao-ph
CLAREL: Classification via retrieval loss for zero-shot learning
Element AI
我们解决的问题，学习细粒度的跨模态表示。我们提出了一种基于实例的深度度量学习方法，在联合视觉和文本空间。本文的主要新颖之处在于，它表明，使用每图像语义监督导致zero-shot性能的实质性改善，而不是使用仅类监督。最重要的是，我们为度量重新缩放方法提供了概率证明，该方法解决了广义零样本学习设置中非常常见的问题，即，将来自不可见类别的测试图像分类为在训练期间可见的类别之一。我们在两个细粒度的零样本学习数据集：CUB和FLOWERS上评估了我们的方法。我们发现，在广义zero-shot分类任务CLAREL始终优于现有的方法在这两个数据集。
2020-04-05 cs.CV cs.LG stat.ML
Not All Pairs are Equal: Hierarchical Learning for Average-Precision-Oriented Video Retrieval
UCAS（中国科学院大学）；ICT, CAS（中国科学院自动化研究所）；IIE, CAS（中国科学院工程热物理研究所）；Peng Cheng Laboratory（鹏城实验室）
针对视频检索中训练目标与平均精度（AP）评估指标不一致的问题，提出分层学习框架HAP-VR，采用TopK-Chamfer相似度与QuadLinear-AP损失，并约束帧级相似度，在多个基准上超越现有方法。
2024-07-22 cs.CV
Deep Hashing with Triplet Quantization Loss
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学协同媒体创新中心）
随着图像数据库的爆炸式增长，深度哈希（学习图像的紧凑二进制描述符）已成为快速图像检索的关键。许多现有的深度哈希方法利用量化损失，定义为量化前后特征之间的距离，以减少二值化特征的误差。虽然最小化量化损失保证了量化对检索精度的影响最小，但不幸的是，即使在量化之前，它也会显着降低特征的表现力。在本文中，我们表明，上述定义的量化损失是过于限制，事实上没有必要保持高检索精度。因此，我们提出了一种新形式的量化损失测量的三重态。三元组量化损失的核心思想是学习有区别的实值描述符，从而使量化后的检索精度损失最小。在两个广泛使用的不同规模的基准数据集CIFAR-10和In-shop上进行的大量实验表明，所提出的方法优于最先进的深度哈希方法。此外，我们表明，紧凑的二进制描述符与三重量化损失导致量化后的性能下降非常小。
2017-10-31 cs.CV
Multiple Discrimination and Pairwise CNN for View-based 3D Object Retrieval
Key Laboratory of Computer Vision and System, Ministry of Education, Tianjin University of Technology（天津理工大学 计算机视觉与系统教育部重点实验室）
随着计算机技术、摄像设备技术、网络技术和硬件技术的快速发展和广泛应用，三维物体（或模型）检索引起了人们的广泛关注，已成为计算机视觉领域的研究热点。已经在3D对象检索中可用的深度学习功能已被证明比手工制作的功能的检索性能更好。然而，大多数现有的网络没有考虑多视角图像选择对网络训练的影响，并且单独使用对比度损失只是迫使同类样本尽可能接近。在这项工作中，提出了一种新的解决方案命名为多视图歧视和成对CNN（MDPCNN）的三维物体检索来解决这些问题。通过添加Slice层和Concat层，可以同时输入多个批次和多个视图。此外，通过训练不易被聚类分类的样本，得到了一个高分辨力的网络。最后，我们部署对比中心损失和对比损失作为优化目标，具有更好的类内紧凑性和类间可分性。大规模的实验表明，所提出的MDPCNN可以实现一个显着的性能比国家的最先进的算法在三维物体检索。
2020-02-27 cs.CV cs.LG eess.IV
Learning Condition Invariant Features for Retrieval-Based Localization from 1M Images
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
用于基于检索的定位的图像特征必须对动态对象（例如汽车）以及季节和白天的变化保持不变。这种不变性在某种程度上是可以通过现有的方法学习的，这些方法使用的是三元组损失，给定大量不同的训练图像。然而，由于算法训练复杂度高，在大数据集上不同损失函数之间存在不足的比较。在本文中，我们在三个不同的基准数据集上训练和评估几种定位方法，包括拥有超过一百万张图像的Oxford RobotCar。这种大规模的评估产生了有价值的见解的普遍性和性能的检索为基础的本地化。基于我们的研究结果，我们开发了一种新的方法来学习更准确，更好地概括本地化功能。它包括两个主要贡献：（i）基于特征量的损失函数，（ii）硬正和成对负挖掘。在具有挑战性的牛津RobotCar夜间条件下，我们的方法在5米范围内的定位精度比著名的三重损失高出24.4%。
2020-12-08 cs.CV
Cross-Modal Retrieval for Motion and Text via DropTriple Loss
School of Artificial Intelligence, Chongqing University of Technology, China（重庆理工大学人工智能学院）；College of Computer Science, Sichuan University, China（四川大学计算机学院）；Key Laboratory of Machine Perception, Shenzhen Graduate School, Peking University, China（北京大学深圳研究生院机器感知重点实验室）
本文提出DropTriple损失，用于提升人类动作与文本之间的跨模态检索性能，实验表明在HumanML3D数据集上实现了较高的检索准确率。
2026-02-09 cs.CL cs.CV
FashionBERT: Text and Image Matching with Adaptive Loss for Cross-modal Retrieval
Alibaba Group（阿里巴巴集团）
本文研究了服装行业跨模态检索中的文本和图像匹配问题。与一般领域的匹配不同，服装匹配需要更多地关注服装图像和文本中的细粒度信息。先锋方法检测感兴趣的区域（即，RoI），并使用RoI嵌入作为图像表示。一般来说，ROI倾向于在时尚图像中表示“对象级”信息，而时尚文本倾向于描述更详细的信息，例如样式，属性。因此，ROI对于时尚文本和图像匹配来说不够细粒度。为此，我们提出了FashionBERT，它利用补丁作为图像特征。以预先训练好的BERT模型作为骨干网络，Fashion BERT学习文本和图像的高级表示。同时，我们提出了一个自适应的损失，权衡多任务学习的FashionBERT建模。两个任务（即，文本和图像匹配以及跨模态检索）被合并以评估FashionBERT。在公共数据集上，实验表明FashionBERT在性能上比基线和最先进的方法有了显着的改进。在实践中，FashionBERT被应用在一个具体的跨模态检索应用中。我们提供了详细的匹配性能和推理效率分析。
2020-05-29 cs.CV cs.IR cs.LG
Cross-modal Center Loss
跨模态检索的目标是学习不同模态数据的区别性和模态不变特征。不同于现有的方法，通常从离线网络提取的特征，在本文中，我们提出了一种方法，联合训练组件的跨模态检索框架与元数据，使网络找到最佳的功能。提出的端到端框架更新了三个损失函数：1）一个新的跨模态中心损失，以消除跨模态差异，2）交叉熵损失，以最大限度地提高类间的变化，和3）均方误差损失，以减少模态变化。特别是，我们提出的跨模态中心损失最大限度地减少了所有模态中属于同一类的对象的特征距离。在多模态检索任务上进行了广泛的实验，包括2D图像，3D点云和网格数据。该框架在ModelNet40数据集上的性能明显优于最先进的方法。
2020-08-08 cs.CV
Pruning Convolutional Neural Networks for Image Instance Retrieval
Institute for Infocomm Research（资讯通信研究院）；Peking University（北京大学）；MIT（麻省理工学院）
在这项工作中，我们专注于从修剪卷积神经网络（CNN）提取的深度描述符的图像实例检索的问题。目标是在保持检索性能的同时大量修剪卷积边缘。为此，我们引入了数据独立和数据依赖的算法来修剪卷积边缘，并在几个基准数据集上使用不同的深度描述符评估它们在各种压缩率下的性能。此外，我们提出了一个端到端的框架来微调修剪网络，一个三重损失函数专门设计的检索任务。我们发现，启发式修剪和微调的组合提供了5倍的压缩率，而不会有相当大的损失检索性能。
2017-07-18 cs.CV
Binary Generative Adversarial Networks for Image Retrieval
使用深度哈希的图像检索中最引人注目的成功主要涉及需要标签的判别模型。在本文中，我们使用二进制生成对抗网络（BGAN）以无监督的方式将图像嵌入到二进制代码中。通过将生成对抗网络（GAN）的输入噪声变量限制为二进制并以每个输入图像的特征为条件，BGAN可以同时学习每个图像的二进制表示，并生成与原始图像相似的图像。在所提出的框架中，我们解决了两个主要问题：1）如何直接生成二进制码没有放松？2)如何使二值表示具有准确的图像检索能力？我们通过提出新的符号激活策略和引导学习过程的损失函数来解决这些问题，该损失函数由对抗损失、内容损失和邻域结构损失的新模型组成。在标准数据集（CIFAR-10，NUSWIDE和Flickr）上的实验结果表明，我们的BGAN在~mAP方面显著优于现有的散列方法高达107%（见表tab.res.map.comp）我们的匿名代码可在：https://github.com/htconquer/BGAN。
2017-08-08 cs.CV
A Proposal-based Approach for Activity Image-to-Video Retrieval
Shanghai Jiao Tong University（上海交通大学）
活动图像到视频检索任务旨在检索包含与查询图像相似的活动的视频，这是一个具有挑战性的任务，因为视频通常具有许多与活动无关的背景片段。在本文中，我们利用R-C3 D模型来表示一个视频的活动建议袋，它可以过滤掉在一定程度上的背景片段。然而，每个袋子里仍然有嘈杂的建议。因此，我们提出了一种基于活动提案的图像到视频检索（APIVR）方法，它将多实例学习纳入跨模态检索框架，以解决提案噪声问题。具体来说，我们提出了一个图多实例学习（GMIL）模块与图卷积层，并将此模块与分类损失，对抗损失，和三元组损失在我们的跨模态检索框架。此外，我们提出了基于点到子空间距离的几何感知三重丢失，以保留活动建议的结构信息。在三个广泛使用的数据集上的实验验证了该方法的有效性。
2019-11-24 cs.CV cs.MM eess.IV
AutoV: Loss-Oriented Ranking for Visual Prompt Retrieval in LVLMs
School of Computer Science, Peking University（北京大学计算机学院）；ByteDance Inc.（字节跳动公司）；Shanghai Jiao Tong University（上海交通大学）
AutoV通过损失导向的提示检索提升大视觉-语言模型在图像理解等任务中的性能。
2026-07-14 cs.CV
UniCA: Bi-directional Cross-Attention with Positive Similarity Loss for Robust Multi-Modal Retrieval
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Southern Medical University（南方医科大学）
提出UniCA模型，通过双向交叉注意力块和正相似性损失增强跨模态语义对齐，在WebQA基准上混合任务Recall@5提升4.09%。
2026-06-03 cs.CV cs.IR
FLARE-SSM: Deep State Space Models with Influence-Balanced Loss for 72-Hour Solar Flare Prediction
Keio University（Keio大学）
针对太阳耀斑预测中的类别不平衡问题，提出基于多个深度状态空间模型并引入FLARE loss的预测模型，在72小时预测任务中标准指标上优于基线方法。
2025-09-12 astro-ph.SR cs.CV
Improving Video-Text Retrieval by Multi-Stream Corpus Alignment and Dual Softmax Loss
MMU；KuaiShou Inc.（快手公司）
采用大规模的预训练模型CLIP进行视频文本检索已经成为一种新的趋势，超过了以往的视频文本检索方法。然而，由于视频和文本之间的结构和内容的异质性，以前的基于CLIP的模型容易在训练阶段过拟合，导致相对较差的检索性能。在本文中，我们提出了一个多流语料库对齐网络与单门混合专家（CAMoE）和一个新的双软最大损失（DSL）来解决这两个异构性。CAMoE采用专家混合（Mixture-of-Experts，MoE）来提取多视角视频表示，包括动作、实体、场景等，然后将它们与文本的相应部分对齐。在这一阶段，我们对特征提取模块和特征对齐模块进行了大量的探索。DSL的提出，以避免单向的最佳匹配，发生在以前的对比方法。通过批量引入每对的固有先验，DSL作为修正器来修正相似度矩阵，实现双重最佳匹配。DSL很容易实现，只需要一行代码，但有很大的改进。实验结果表明，所提出的CAMoE和DSL算法具有很强的效率，在MSR-VTT、MSVD和LSMDC等测试中均达到了SOTA标准。在MSR-VTT中，这两种方法的性能都有很大的提高，超过了以前的SOTA方法，达到了4.6% R@1。
2021-11-22 cs.CV
DeepSolarEye: Power Loss Prediction and Weakly Supervised Soiling Localization via Fully Convolutional Networks for Solar Panels
University of Washington（华盛顿大学）；IBM Research Lab（IBM研究实验室）
污垢对太阳能电池板的影响是可再生能源领域中一个重要且研究充分的问题。在本文中，我们提出了第一个基于卷积神经网络（CNN）的方法，用于太阳能电池板污染和缺陷分析。我们的方法将太阳能电池板的RGB图像和环境因素作为输入来预测功率损耗、污染定位和污染类型。在计算机视觉中，定位是一项复杂的任务，通常需要手动标记的训练数据，例如边界框或分割掩模。我们提出的方法包括专门的四个阶段，完全避免了本地化的地面真相，只需要面板图像与功率损失标签的训练。使用网络监督学习将从预测的定位掩模获得的影响区域分类为污染类型。为了提高CNN的定位能力，我们引入了一种新的双向输入感知融合（BiDIAF）块，该块在CNN的不同级别上加强输入，以学习特定于输入的特征图。我们的实证研究表明，BiDIAF提高了约3%的功率损耗预测精度和约4%的定位精度。当以弱监督方式学习时，我们的端到端模型在本地化方面进一步提高了约24%。我们的方法是可推广的，并在网络抓取的太阳能电池板图像上显示出有希望的结果。我们的系统在NVIDIA TitanX GPU上的帧速率为22 fps（包括所有步骤）。此外，我们收集了第一个用于太阳能电池板图像分析的数据集，包括45，000多张图像。
2018-03-18 cs.CV
Cascading Hierarchical Networks with Multi-task Balanced Loss for Fine-grained hashing
Guangdong Polytechnic Normal University（广东技术师范大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
随着互联网时代细粒度图像数量的爆炸式增长，如何从大规模的细粒度图像中进行快速有效的检索成为一个具有挑战性的问题。在众多的检索方法中，散列法因其效率高、占用存储空间小而被广泛使用。由于细粒度图像的特点，造成了类间方差小、类内方差大等困难，使得细粒度散列比传统散列更具挑战性。为了提高细粒度散列的检索精度，我们提出了一个级联网络来学习紧凑和高度语义的散列代码，并介绍了注意力引导的数据增强方法。我们将此网络称为级联分层数据增强网络。我们还提出了一种新的方法来协调平衡多任务学习的损失。我们在一些常见的细粒度视觉分类数据集上做了大量的实验。实验结果表明，我们提出的方法优于几种最先进的哈希方法，可以有效提高细粒度检索的准确性。源代码是公开的：https://github.com/kaiba007/FG-CNET。
2023-03-20 cs.CV
Cycle-Consistent Deep Generative Hashing for Cross-Modal Retrieval
The University of Queensland（昆士兰大学）；Dalian University of Technology（大连理工大学）；Inception Institute of Artificial Intelligence (IIAI)（人工智能初创研究院）
在本文中，我们提出了一种新的深度生成方法来进行跨模态检索，以通过循环一致性损失在没有配对训练样本的情况下学习哈希函数。我们提出的方法采用对抗性训练方案来学习几个哈希函数，从而在假设底层语义关系的同时实现模态之间的翻译。为了将具有语义的散列码引入到输入输出对中，进一步提出了在对抗训练的基础上进行循环一致性损失，以加强输入和相应输出之间的相关性。我们的方法是生成学习哈希函数，使学习的哈希码可以最大限度地相关每个输入输出对应，同时也可以再生的输入，以最大限度地减少信息损失。因此，执行对散列嵌入的学习以跨模态以及相关联的生成模型联合优化散列函数的参数。在各种大规模跨模态数据集上的大量实验表明，我们提出的方法取得了更好的检索结果比国家的艺术。
2018-10-29 cs.CV
Learn to Understand Negation in Video Retrieval
Renmin University of China（中国人民大学）
否定是一种常见的语言技巧，它允许人们表达我们不想要的东西。自然地，人们可能期望视频检索支持带有否定的自然语言查询，例如，发现孩子们坐在地板上不和狗玩耍的镜头。然而，最先进的基于深度学习的视频检索模型缺乏这种能力，因为它们通常是在缺乏否定描述的视频描述数据集（如MSR-VTT和VATEX）上训练的。他们的检索结果基本上忽略了示例查询中的否定词，错误地返回了孩子们和狗玩耍的视频。本文首次对视频检索中的否定理解学习进行了研究，主要做了以下几方面的工作。通过重新利用现有的两个数据集（MSR-VTT和VATEX），我们提出了一个新的评估协议，视频检索与否定。我们提出了一种基于学习的方法来训练一个负面感知的视频检索模型。其关键思想是首先通过部分否定其原始字幕来为特定训练视频构建软否定字幕，然后计算三元组上的双向约束损失。这种辅助损失被加权地加到标准的取回损失上。实验结果表明，通过该方法对CLIP模型进行再训练，明显提高了其处理否定查询的能力。此外，模型在原有基准上的性能也得到了改善。
2022-07-13 cs.CV cs.MM
