Central Similarity Quantization for Efficient Image and Video Retrieval
National University of Singapore（新加坡国立大学）；Tencent AI Lab（腾讯人工智能实验室）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
现有的数据相关哈希方法通常从成对或三元组数据关系中学习哈希函数，只能局部地捕捉数据的相似性，学习效率低，碰撞率低。在这项工作中，我们提出了一个新的\emph{global}相似性度量，被称为\emph{central similarity}，与鼓励的哈希码相似的数据对，以接近一个共同的中心和那些不相似的数据对收敛到不同的中心，以提高哈希学习效率和检索精度。我们主要通过引入一个新的概念来公式化所提出的中心相似性度量的计算，即，\emph{hash center}是指分散在汉明空间中的一组数据点，彼此之间具有足够的相互距离。然后，我们提供了一个有效的方法来构建良好分离的哈希中心，利用阿达玛矩阵和伯努利分布。最后，我们提出了中心相似性量化（CSQ），优化数据点之间的中心相似性w.r.t.它们的哈希中心，而不是优化局部相似性。CSQ是通用的，适用于图像和视频哈希场景。在大规模图像和视频检索任务上的大量实验表明，CSQ可以为相似数据对生成内聚哈希码，为不相似数据对生成分散哈希码，检索性能显著提高，mAP比现有技术提高了3%~ 20%.代码位于：\url{https://github.com/yuanli2333/Hadamard-Matrix-for-hashing}
2020-03-31 cs.CV
Similarity Matters: A Novel Depth-guided Network for Image Restoration and A New Dataset
针对现有图像恢复方法忽略深度信息的问题，提出深度引导网络DGN及新数据集，通过双交互分支联合训练并利用对象内外相似性，实现了最先进的恢复性能与良好泛化能力。
2025-08-10 cs.CV
Enriching ImageNet with Human Similarity Judgments and Psychological Embeddings
University College London（伦敦大学学院）
物体识别的进步蓬勃发展，部分原因是高质量数据集和相关基准的可用性。然而，这些基准测试（如ILSVRC）相对特定于任务，主要集中在预测类标签上。我们引入了一个公开的数据集，体现了人类感知和推理的一般任务能力。ImageNet的人类相似性判断扩展（ImageNet-HSJ）由补充ILSVRC验证集的人类相似性判断组成。新数据集支持一系列任务和性能指标，包括对无监督学习算法的评估。我们展示了两种评估方法：直接使用相似性判断和使用在相似性判断上训练的心理嵌入。该嵌入空间包含数量级更多的点（即，图像）比以前的努力基于人类的判断。通过选择性采样过程，使用变分贝叶斯推理和模型集成对嵌入空间中最不确定的方面进行采样，可以扩展到完整的50，000个图像集。这一方法创新不仅能够扩大规模，而且还应通过在需要的地方集中取样来提高解决方案的质量。为了证明ImageNet-HSJ的实用性，我们使用相似性评级和嵌入空间来评估几种流行模型符合人类相似性判断的程度。一个发现是，在特定任务基准上表现更好的更复杂的模型并不能更好地符合人类的语义判断。除了人类的相似性判断，预先训练的心理嵌入和用于推断变分嵌入的代码也是公开的。总体而言，ImageNet-HSJ资产支持内部表示的评估和更人性化模型的开发。
2020-11-22 cs.CV cs.LG
Results and findings of the 2021 Image Similarity Challenge
Meta AI；Czech Technical University in Prague（布拉格捷克技术大学）；DeNA；Baidu Research（百度研究院）
2021年图像相似性挑战赛引入了一个数据集，作为评估最新图像复制检测方法的新基准。有200人参加了比赛。本文对排名靠前的论文进行了定量和定性分析。看来，最困难的图像变换涉及严重的图像裁剪或隐藏到不相关的图像，结合局部像素扰动。获奖作品中的关键算法元素包括：强增强训练、自监督学习、分数归一化、显式重叠检测和全局描述符匹配，然后进行成对图像比较。
2022-02-08 cs.CV cs.LG
Semantic Similarity Score for Measuring Visual Similarity at Semantic Level
Beijing University of Posts and Telecommunications（北京邮电大学）；Peng Cheng Laboratory（鹏城实验室）
针对传统图像相似性指标无法准确衡量语义通信中语义信息损失的问题，提出基于场景图生成与图匹配的SeSS指标，经人工标注微调后，在多类测试场景中验证了其衡量图像语义差异的有效性，可用于视觉语义通信系统评估。
2024-07-10 cs.AI cs.CV
Provenance of AI-Generated Images: A Vector Similarity and Blockchain-based Approach
Department of Computer Science and Software Engineering, Miami University, Oxford, Ohio（计算机科学与软件工程系，迈阿密大学，俄亥俄州奥克兰）；Farmer School of Business, Miami University, Oxford, Ohio（农学商学院，迈阿密大学，俄亥俄州奥克兰）
针对AI生成图像难以鉴别的问题，提出基于图像嵌入与向量相似度的检测框架，并通过五个基准模型验证其在扰动下的鲁棒性与效率。
2025-10-15 cs.CR cs.CV cs.LG
GeneCIS: A Benchmark for General Conditional Image Similarity
Meta AI；University of Oxford（牛津大学）
针对现有图像相似性模型仅适配单一相似性定义的问题，提出零样本评估的GeneCIS基准，并设计基于图像字幕数据挖掘的可扩展方法，在多项基准上实现性能提升。
2023-06-13 cs.AI cs.CV cs.LG
Contextual Visual Similarity
Carnegie Mellon University（卡内基梅隆大学）
测量视觉相似性对于图像理解至关重要。是什么让两个图像相似？大多数现有的视觉相似性的工作假设图像是相似的，因为它们包含相同的对象实例或类别。然而，图像相似的原因要复杂得多。例如，从类别的角度来看，黑狗图像类似于白狗图像。然而，在颜色方面，黑狗图像比白狗图像更类似于黑马图像。这个例子用来说明视觉相似性是模糊的，但是当给出明确的上下文视角时可以变得精确。基于这一观察，我们提出了上下文视觉相似性的概念。具体来说，我们研究了图像搜索应用领域中的上下文视觉相似性的概念。而不是只提供一个图像的图像相似性搜索（\eg，谷歌图像搜索），我们需要三个图像。给定一个查询图像，第二个正图像和第三个负像，不同于前两个图像，我们定义了一个上下文的相似性搜索标准。特别是，我们学习每个图像的所有特征维度的特征权重，使得查询图像和正图像之间的距离很小，并且在重新加权它们的特征之后，它们到负像的距离很大。学习的特征权重编码由用户指定的上下文视觉相似性，并可用于属性特定的图像搜索。我们还展示了我们的上下文相似性加权方案对不同任务的有用性，例如回答视觉类比问题和无监督属性发现。
2016-12-08 cs.CV
Learning Non-Metric Visual Similarity for Image Retrieval
Aston University（阿斯顿大学）
测量数据分布中两个或多个实例之间的视觉相似性是图像检索中的一项基本任务。理论上，非度量距离能够生成比度量距离更复杂和更准确的相似性模型，前提是系统精确地捕获非线性数据分布。在这项工作中，我们探索神经网络模型学习的非度量相似性函数的实例搜索。我们认为，基于神经网络的非度量相似性函数可以建立一个更好的人类视觉感知模型比标准的度量距离。由于我们提出的相似性函数是可微的，我们探索了一种真正的端到端的可训练图像检索方法，即我们从输入图像像素学习权重到最终的相似性得分。实验评估表明，非度量相似性网络能够学习图像之间的视觉相似性，并在最先进的图像表示的基础上提高性能，提高标准图像检索数据集与标准度量距离的结果。
2019-04-10 cs.CV
2nd Place Solution to Facebook AI Image Similarity Challenge Matching Track
Samsung Electronics（三星电子）
本文介绍了Facebook AI图像相似性挑战的第二名解决方案：DrivenData上的匹配跟踪。该解决方案基于自监督学习和视觉Transformer（ViT）。主要的突破来自于将查询图像和参考图像连接起来形成一个图像，并要求ViT直接从图像中预测查询图像是否使用参考图像。该解决方案在私人排行榜上获得了0.8291微平均精度。
2021-11-15 cs.CV
Explaining Image Similarity with Automatically Extracted Concept Activation Vectors
该研究提出与模型和度量无关的框架，用稀疏自编码器提取的概念激活向量解释图像相似度，通过潜在扰动验证其符合数据分布，可用于理解模型的相似度判断。
2026-07-31 cs.CV
Full-reference image quality assessment-based B-mode ultrasound image similarity measure
Pierre and Marie Curie University（皮埃尔和玛丽居里大学）；ESPCI Paris, PSL Research University（巴黎高等物理化工学院，巴黎文理研究大学）；National University of Defense Technology（国防科技大学）；Peking University（北京大学）；Sun Yat-Sen University（中山大学）
在过去的几十年中，新的全参考图像质量评估算法的数量急剧增加。然而，尽管已经取得了显着的进展，医学超声图像的相似性测量仍然在很大程度上没有解决，由于高水平的斑点噪声污染。超声图像相似性度量的潜在应用在几个方面似乎是显而易见的。超声图像质量评价、异常功能区域检测等。本文对超声图像视觉结构相似性度量的全参考图像质量评价方法进行了比较研究。此外，基于图像相似性指数，通用的超声运动跟踪重新初始化框架，在这项工作中。在合成数据和真实超声肝脏数据上进行了实验，结果表明，在超声肝脏序列中，基于相似性的跟踪重新初始化方法可以将界标跟踪的平均误差从2 mm降低到1.5 mm左右。
2017-01-17 cs.CV
Improved Deep Hashing with Soft Pairwise Similarity for Multi-label Image Retrieval
Wuhan University（武汉大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）；Sun Yat-Sen University（中山大学）；University of South Carolina（南卡罗来纳大学）；Tianjin University（天津大学）
散列编码在大规模图像检索的近似最近邻搜索中得到了广泛的应用。最近，已经提出了许多深度哈希方法，并且与传统的基于特征学习的方法相比，它们的性能有了很大的提高。这些方法大多在语义级标签上检验两两相似度，其中两两相似度通常以硬分配的方式定义。也就是说，如果它们共享不少于一个类别标签，则成对相似性为“1”，如果它们不共享任何类别标签，则成对相似性为“0”。然而，这样的相似性定义不能反映持有多个标签的成对图像的相似性排名。本文提出了一种新的深度哈希方法用于多标签图像检索，通过将成对相似度重新定义为实例相似度，其中实例相似度基于归一化的语义标签量化为百分比。基于实例的相似性，加权交叉熵损失和最小均方误差损失量身定制的损失函数的建设，并有效地用于同时特征学习和哈希编码。在三个流行数据集上的实验表明，该方法在多标签图像检索中取得了较好的性能。
2019-10-17 cs.CV
BSNet: Bi-Similarity Network for Few-shot Fine-grained Image Classification
Lanzhou University of Technology（兰州理工大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；University College London（伦敦大学学院）
用于细粒度图像分类的少样本学习最近在计算机视觉中得到了关注。在用于少样本学习的方法中，由于简单和有效，基于度量的方法在许多任务上是有利的最先进的。大多数基于度量的方法假设一个单一的相似性度量，从而获得一个单一的特征空间。然而，如果样本可以同时通过两个不同的相似性度量进行很好的分类，则类内的样本可以在较小的特征空间中分布得更复杂，从而产生更具鉴别力的特征图。出于这一动机，我们提出了一个所谓的\textit{Bi-Similarity Network}（\textit{BSNet}），由一个单一的嵌入模块和两个相似性度量的双相似性模块。在支持图像和查询图像通过基于卷积的嵌入模块之后，双相似性模块根据不同特征的两个相似性度量来学习特征图。通过这种方式，该模型能够从少量的细粒度图像中学习更多的区分性和更少的相似性偏差特征，从而可以显着提高模型的泛化能力。通过大量的实验，稍微修改已建立的度量/相似性为基础的网络，我们表明，所提出的方法产生了实质性的改善几个细粒度的图像基准数据集。代码可在以下网址获得：https://github.com/spraise/BSNet
2020-11-29 cs.CV
Image similarity using Deep CNN and Curriculum Learning
Amazon Development Centre (India) Pvt. Ltd.（亚马逊（印度）开发中心私人有限公司）
图像相似性涉及在给定参考图像的情况下获取看起来相似的图像。我们的解决方案称为SimNet，是一个深度连体网络，它使用一种受课程学习启发的新型在线配对挖掘策略，对正面和负像进行训练。我们还创建了一个多尺度CNN，其中最终的图像嵌入是顶层和下层嵌入的联合表示。我们继续表明，这种多尺度连体网络比传统的CNN更好地捕捉细粒度的图像相似性。
2018-07-13 cs.CV
Learning Fine-grained Image Similarity with Deep Ranking
Northwestern University（西北大学）；Google Inc.（谷歌公司）；California Institute of Technology（加州理工学院）
学习细粒度图像相似性是一项具有挑战性的任务。它需要捕捉类间和类内的图像差异。本文提出了一种基于深度学习技术的深度排序模型，该模型直接从图像中学习相似性度量，比基于手工特征的模型具有更高的学习能力。提出了一种新的多尺度网络结构来有效地描述图像。提出了一种有效的三重采样算法来学习具有分布随机梯度的模型。大量的实验表明，该算法优于基于手工制作的视觉特征和深度分类模型的模型。
2014-04-17 cs.CV
Color image restoration based on nonlocal saturation-value similarity
School of Mathematical Sciences, Key Laboratory of Intelligent Computing and Applications (Ministry of Education), Tongji University（数学科学学院、智能计算与应用重点实验室（教育部）、同济大学）
本文提出了一种基于饱和度-值相似性的非局部变分技术，用于改进传统方法中颜色信息描述不精确的问题，通过引入饱和度-值相似性非局部总变分模型，提升图像恢复的视觉质量和量化指标表现。
2026-03-19 cs.CV
A Haar Wavelet-Based Perceptual Similarity Index for Image Quality Assessment
Universität Bremen（不来梅大学）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Technische Universität Berlin（柏林工业大学）；Berlin Institute of Technology（柏林工业大学）
在大多数实际情况下，图像和视频的压缩或传输会产生失真，最终会被人类观察者感知到。反之亦然，图像和视频恢复技术，如修复或去噪，旨在提高人类观众的体验质量。因此，正确地评估图像与人类观看者主观体验的未失真参考图像之间的相似性可以导致任何传输、压缩或恢复系统的显著改进。本文介绍了Haar小波为基础的感知相似性指数（HaarPSI），一种新的和计算成本低廉的相似性度量的全面参考图像质量评估。HaarPSI利用从Haar小波分解获得的系数来评估两个图像之间的局部相似性以及图像区域的相对重要性。HaarPSI与人类体验质量的一致性在四个大型基准数据库上进行了验证，其中包含数千张不同失真的图像。在这些数据库中，HaarPSI与人类意见分数的相关性高于最先进的全参考相似性度量，如结构相似性指数（SSIM），特征相似性指数（FSIM）和基于视觉显着性的指数（VSI）。随着简单的计算结构和短的执行时间，这些实验结果表明，在现实世界的任务HaarPSI的高适用性。
2017-11-06 cs.CV
End-to-end Image Captioning Exploits Multimodal Distributional Similarity
The University of Sheffield（谢菲尔德大学）
我们假设，端到端的神经图像描述系统的工作似乎很好，因为他们利用和学习“分布相似性”在多模态特征空间，通过映射测试图像在这个空间中类似的训练图像，并从相同的空间生成一个标题。为了验证我们的假设，我们专注于图像描述的“图像”方面，并改变输入图像表示，但保持CNN-RNN模型的RNN文本生成组件不变。我们的分析表明，图像描述模型（i）是能够分离的结构从嘈杂的输入表示;（ii）遭受几乎没有显着的性能损失时，高维表示被压缩到一个较低的维度空间;（iii）聚类图像相似的视觉和语言信息在一起。我们的研究结果表明，我们的分布相似性假设成立。我们的结论是，无论使用的图像表示图像描述系统似乎匹配图像，并在一个学习的联合图像-文本语义子空间生成字幕。
2018-09-11 cs.CV
Similarity and symmetry measures based on fuzzy descriptors of image objects` composition
Institute of Control and Industrial Electronics, Warsaw University of Technology（华沙理工大学控制与工业电子研究所）
本文描述了一种方法来衡量的相似性和对称性的图像标注与边界框指示图像对象。由于快速高效的基于深度学习的对象检测方法的快速发展，后一种表示最近变得流行起来。所提出的方法允许比较多组边界框来估计其底层图像的相似度。它是基于模糊的方法，使用模糊互位置（FMP）矩阵来描述空间组成和图像内的边界框之间的关系。提出了一种用FMP矩阵描述的两幅图像相似度的计算方法，并给出了计算算法。它输出描述基于内容的图像相似度的单个标量值。通过修改方法的参数，代替相似性，也可以测量对象组成的反射对称性。所提出的方法允许测量不同强度的物体组成的差异。它对于平移和缩放也是不变的，并且在对称检测的情况下，对于对称轴的位置和方向也是不变的。几个例子说明了该方法。
2021-07-28 cs.CV
Image Similarity Using Sparse Representation and Compression Distance
University of British Columbia（不列颠哥伦比亚大学）
一项新的研究使用压缩方法来测量信号之间的相似性。当已知一个信号的信息时，如果另一个信号可以被显著压缩，则认为两个信号是相似的。现有的基于压缩的相似性方法，虽然成功的离散一维域，不工作，以及在图像的上下文中。本文提出了一种基于稀疏表示的方法来编码的信息内容的图像使用的信息从其他图像，并使用的紧凑性（稀疏性）的表示作为衡量其压缩性（多少可以压缩的图像）相对于其他图像。图像的表示越稀疏，它就可以被压缩得越好，并且它与其他图像越相似。通过在图像聚类、检索和分类中实现的高精度，证明了所提出的措施的有效性。
2013-05-07 cs.CV
Co-Sparse Textural Similarity for Image Segmentation
Technische Universität München（慕尼黑工业大学）
我们提出了一种基于纹理和颜色信息的自然图像分割算法，该算法利用了凸多标签优化框架内的图像分割的共稀疏分析模型。作为该方法的一个关键组成部分，我们引入了一种新的纹理相似性度量，它建立在图像补丁的共同稀疏表示。我们提出了一种贝叶斯方法来合并纹理相似性与颜色和位置的信息。结合最近开发的凸多标签优化方法，这导致一个有效的算法，监督和无监督分割，这是很容易并行化的图形硬件。该方法在无监督分割中提供了有竞争力的结果，并在格拉茨基准上优于最先进的交互式分割方法。
2013-12-17 cs.CV
G-image Segmentation: Similarity-preserving Fuzzy C-Means with Spatial Information Constraint in Wavelet Space
G图像是指定义在不规则图域上的图像数据。本文阐述了一种基于相似性保持的模糊C均值（FCM）算法的G图像分割方法，旨在开发G图像分割技术和工具。为了保持图像中任意像素与其邻域之间的隶属度相似性，在隶属度划分中引入Kullback-Leibler散度项作为FCM的一部分。在此基础上，提出了一种考虑图像像素空间信息的相似性保持模糊C均值算法，以增强算法的鲁棒性。由于小波空间的优越特性，建议的FCM在此空间中进行，而不是在传统的FCM中使用的欧几里德，以确保其高鲁棒性。在合成和真实G图像上的实验表明，它确实比最先进的FCM算法具有更高的鲁棒性和性能。此外，它需要的计算量比大多数方法都少。
2020-07-01 cs.CV
Feature learning based on visual similarity triplets in medical image analysis: A case study of emphysema in chest CT scans
University of Copenhagen（哥本哈根大学）；Eindhoven University of Technology（埃因霍温理工大学）；Hvidovre Hospital（维兹奥勒医院）；Bispebjerg Hospital（比斯佩比约医院）；Erasmus MC - University Medical Center Rotterdam（伊拉斯谟医学中心——鹿特丹大学医学中心）
使用卷积神经网络（CNN）的监督特征学习可以提供医学图像的简洁和疾病相关的表示。然而，训练CNN需要注释的图像数据。注释医学图像可能是一项耗时的任务，即使是专家注释也会受到评估者之间和评估者内部差异的影响。评估图像的视觉相似性，而不是指示特定的病理或估计疾病的严重程度，可以让非专家参与，帮助发现新的模式，并可能减少评级者的变异性。我们考虑的任务，评估肺气肿的程度在胸部CT扫描。我们从视觉评估的肺气肿程度中获得视觉相似性三元组，并使用CNN学习低维嵌入。我们在973张图像上评估了这些网络，并表明CNN可以从衍生的相似性三元组中学习疾病相关的特征表示。据我们所知，这是第一个医学图像应用程序，其中相似性三元组已被用于学习可用于嵌入不可见测试图像的特征表示
2018-06-19 cs.CV
Pseudo-Pair based Self-Similarity Learning for Unsupervised Person Re-identification
The University of Western Australia（西澳大学）；Anhui University（安徽大学）；Zhengzhou University（郑州大学）；Huawei（华为）；Monash University（莫纳什大学）；City, University of London（伦敦大学城市学院）
通过估计交叉摄像机拍摄的人体短裤之间的相似度来进行人体再识别对于视频监控系统具有重要意义。目前用于估计这种相似性的方法需要大量的标记样本进行监督训练。在本文中，我们提出了一种基于伪对的自相似性学习方法，用于无人类注释的无监督人员重新ID。与传统的无监督的re-ID方法，使用基于全局聚类的伪标签，我们构建补丁代理类作为初始监督，并建议分配伪标签的图像通过成对梯度引导的相似性分离。这可以将图像聚类为伪对，并且伪对可以在训练期间更新。基于伪对，我们提出了一种新的自相似性学习来提高相似性函数的泛化能力：它通过内部相似性从单个图像中学习局部判别特征，并通过内部相似性发现图像之间的补丁对应关系。内部相似性学习是基于通道注意力从图像中检测不同的局部特征。间相似性学习采用与非局部块的可变形卷积来对准用于跨图像相似性的补丁。在多个re-ID基准数据集上的实验结果表明了该方法的优越性。
2022-07-09 cs.CV
Optimizing Top Precision Performance Measure of Content-Based Image Retrieval by Learning Similarity Function
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Centerfield Corporation（Centerfield公司）；Cornell University（康奈尔大学）；Shandong Medical College（山东医学高等专科学校）；New York University Abu Dhabi（纽约大学阿布扎比分校）；Soochow University（苏州大学）；California State University San Bernardino（加州州立大学圣贝纳迪诺分校）；Travelers Canada（旅行者加拿大公司）
本文研究了基于内容的图像检索问题。在这个问题中，最流行的性能度量是最高精度度量，而检索系统的最重要组成部分是用于将查询图像与数据库图像进行比较的相似性函数。然而，到目前为止，还没有现有的相似性学习方法提出优化的最高精度的措施。为了填补这一空白，在本文中，我们提出了一种新的相似性学习方法，以最大限度地提高最高精度的措施。我们将此问题建模为最小化问题，目标函数为排名在前不相关图像之后的相关图像的损失和相似性函数参数的平方Frobenius范数的组合。这个最小化问题被解决为二次规划问题。在两个基准数据集上的实验表明，当以最高精度作为性能指标时，该方法优于其他相似性学习方法。
2016-08-20 cs.CV
Cross-Media Similarity Evaluation for Web Image Retrieval in the Wild
Zhejiang University（浙江大学）；Renmin University of China（中国人民大学）
为了通过文本查询检索未标记图像，跨媒体相似性计算是一个关键组成部分。虽然新的方法不断推出，已经做了一些评估这些方法与大规模的查询日志分析。因此，这些方法在回答真实用户查询方面给我们带来了多大的帮助尚不清楚。鉴于使用相对简单的文本/图像匹配计算跨媒体相似性的基线方法，高级模型取得了多大进展也不清楚。本文从语用学的角度对这两个问题进行了探讨。根据所提出的查询可视性度量，将查询自动分类，然后将其连接到三个测试集上的多个跨媒体相似性模型的评估。这样的连接表明，国家的最先进的成功主要是由于他们的良好性能的面向视觉的查询，而这些查询只占一小部分的真实用户查询。为了量化目前的进展，我们提出了一个简单的text 2 image方法，表示一个新的测试查询的一组图像从大规模的查询日志中选择。因此，计算测试查询和给定图像之间的跨媒体相似性归结为比较给定图像和所选图像之间的视觉相似性。在具有挑战性的Clickture数据集上进行的图像检索实验表明，所提出的text 2 image与最近基于深度学习的替代方案相比毫不逊色。
2018-01-06 cs.CV
Learn to Evaluate Image Perceptual Quality Blindly from Statistics of Self-similarity
Beijing Center for Mathematics and Information Interdisciplinary Sciences（北京数学与信息交叉科学中心）；The Hong Kong Polytechnic University（香港理工大学）
在各种图像质量评估（IQA）任务中，由于缺乏关于参考图像和失真类型的知识，盲IQA（BIQA）特别具有挑战性。基于自然场景统计的特征已被成功地应用于BIQA中，而特征的质量相关性对质量预测性能起着至关重要的作用。在人类视觉系统的早期处理阶段，旨在消除信号的冗余，有效的视觉编码的事实，我们提出了一个简单的，但非常有效的BIQA方法，通过计算统计的自相似性（SOS）的图像。具体来说，我们计算失真图像的尺度间相似性和尺度内相似性，从这些相似性中提取SOS特征，并学习回归模型将SOS特征映射到主观质量分数。大量的实验表明，非常有竞争力的质量预测性能和泛化能力的SOS基于BIQA方法。
2015-10-10 cs.CV
Effectively Leveraging Attributes for Visual Similarity
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Boston University（波士顿大学）
测量两个图像之间的相似性通常需要沿着不同的轴执行复杂的推理（例如，颜色、纹理或形状）。可以通过注释属性来提供对测量相似性可能重要的见解，但是先前的工作倾向于将这些注释视为完整的，导致它们使用预测单个图像上的属性的简单方法，这些属性反过来又用于测量相似性。但是，对数据集来说，完全注释每个可能重要的属性是不切实际的。因此，仅基于这些不完整的注释来表示图像可能会错过关键信息。为了解决这个问题，我们提出了成对属性信息相似性网络（PAN），它将相似性学习分解为从两个图像的联合表示中捕获相似性条件和相关性得分。这使得我们的模型能够识别两个图像包含相同的属性，但可以将其视为不相关的（例如，由于它们之间的细粒度差异），并且在测量两个图像之间的相似性时被忽略。值得注意的是，虽然使用属性注释的现有方法通常不能优于现有技术，但是PAN在Polyvore Outfits上的服装物品之间的兼容性预测上获得了4-9%的改进，在使用Caltech-UCSD Birds（CUB）的图像的Few Shot分类上获得了5%的增益，并且在In-Shop Clothes Retrieval上获得了超过1%的Recall@1提升。可在https://github.com/samarth4149/PAN上获得实施
2021-08-20 cs.CV
Perceptual Similarity guidance and text guidance optimization for Editing Real Images using Guided Diffusion Models
Shandong University（山东大学）
针对扩散模型图像编辑时修改图与源图差异大的问题，提出结合文本引导优化与感知相似性引导的双引导方法，实现编辑区域真实且未编辑区域高保真的图像编辑效果。
2023-12-09 cs.CV
New similarity index based on entropy and group theory
Instituto de Cibernética Matemática y Física（数学物理控制论研究所）
在这项工作中，我们提出了一个新的相似性指数的图像考虑熵函数和群论。该指数考虑了图像的代数群，它是由一个内部的法律，提供了一种新的方法，图像的减法定义。通过图像领域中的一个等价关系，证明了商群的存在性，并在此基础上定义了新的相似性指标。我们还提出了新的指标的主要性质，并立即应用其作为停止标准的“均值漂移迭代算法”。
2014-10-28 cs.CV
SimPropNet: Improved Similarity Propagation for Few-shot Image Segmentation
IIIT Hyderabad（海得拉巴国际信息技术学院）；Adobe（奥多比）
Few-Shot分割（FSS）方法使用（支持）图像掩模对的小集合对目标（查询）图像中的特定对象类执行图像分割。最近的基于深度神经网络的FSS方法利用支持图像的前景特征与查询图像特征之间的高维特征相似性。在这项工作中，我们展示了现有方法中利用这种相似性信息的差距，并提出了一个框架- SimPropNet，以弥合这些差距。我们建议联合预测的支持和查询掩码，以迫使支持功能，以共享特性的查询功能。我们还建议使用一种新型的前景-背景注意力融合机制来利用查询和支持图像的背景区域中的相似性。我们的方法在PASCAL-5i数据集上实现了单次和五次分割的最新结果。本文包括详细的分析和消融研究提出的改进和定量比较与当代方法。
2020-05-02 cs.CV
Single Image Super-Resolution based on Wiener Filter in Similarity Domain
Noiseless Imaging Oy（无噪声成像有限公司）；Tampere University of Technology（坦佩雷理工大学）；United Technology Research Centre Ireland（联合技术研究中心爱尔兰分部）
单图像超分辨率（SISR）是一个从一幅低分辨率（LR）图像估计出一幅似然高分辨率（HR）图像的不适定问题。目前最先进的SISR方法是基于补丁的。它们使用外部数据或内部自相似性来学习HR图像的先验。基于外部数据的方法利用来自训练数据的大量块，而基于自相似性的方法利用来自输入图像的一个或多个相似块。在本文中，我们提出了一种基于自相似性的方法，能够使用大量的相似补丁从输入图像中提取解决SISR问题。我们引入了一种新的先验导致在一维相似域的补丁组的协同过滤，并将其与迭代反投影框架。该算法的性能进行了评估的一些SISR基准数据集。在不使用任何外部数据的情况下，所提出的方法在各种缩放因子的测试数据集上优于当前基于非CNN的方法。在某些数据集上，与最近的方法A+相比，增益超过1 dB。对于高采样率（x4），所提出的方法与最近的基于深度卷积网络的方法类似地执行。
2017-11-29 cs.CV
Patch redundancy in images: a statistical testing framework and some applications
ENS Cachan（卡尚高等师范学校）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎-萨克雷大学）；Université d’Orléans（奥尔良大学）；Université de Tours（图尔大学）；Univ. Bordeaux（波尔多大学）；Bordeaux INP（波尔多国立理工学院）
在这项工作中，我们引入了一个统计框架，以分析自然图像中的空间冗余。这种空间冗余的概念必须在本地定义，因此我们给出了一些函数（自相似性和模板相似性）的例子，给定一个或两个图像，计算补丁之间的相似性度量。如果相似性度量足够小，则称两个斑块相似。为了得到一个标准，采取决定两个补丁之间的相似性，我们提出了一个相反的模型。也就是说，如果相关联的相似性测量不太可能发生在背景模型中，则两个块被称为相似。选择高斯随机场作为背景模型，我们推导出相似性度量的概率分布函数的非渐近表达式。我们介绍了一种快速算法，以评估冗余的自然图像和目前的应用中去噪，周期性分析和纹理排名。
2019-04-12 cs.CV
Gradient Magnitude Similarity Deviation: A Highly Efficient Perceptual Image Quality Index
针对图像质量评估需兼顾精度与效率的需求，提出基于梯度幅值相似度图标准差的GMSD算法，兼具高预测精度与极低计算成本。
2013-11-26 cs.CV
Color Constancy based on Image Similarity via Bilayer Sparse Coding
计算颜色恒常性是计算机视觉中一个非常重要的课题，引起了许多研究者的关注。近年来，大量的研究表明，高层次的视觉内容信息的照明估计的影响。然而，所有这些现有的方法本质上是组合策略，其中图像的内容分析仅用于指导各种单独的照度估计方法的组合或选择。在本文中，我们提出了一种新的双层稀疏编码模型的照明估计，同时考虑图像的相似性在低层次的颜色分布和高层次的图像场景内容。为此，将图像的场景内容信息与其颜色分布相结合，以获得最佳的光照估计模型。在两组真实图像上的实验结果表明，该算法优于其他主流的光照估计方法，甚至优于组合方法。
2012-11-08 cs.CV
3rd Place Solution to Meta AI Video Similarity Challenge
LINE Corporation（LINE公司）；Keio University（庆应义塾大学）
针对视频拷贝检测问题，本文基于现有图像拷贝检测技术并结合视频数据特性提出多种策略，在VSC2022双赛道获第三名，准确率显著提升。
2023-05-18 cs.CV
Cats, not CAT scans: a study of dataset similarity in transfer learning for 2D medical image classification
Eindhoven University of Technology（埃因霍温理工大学）；IT University of Copenhagen（哥本哈根信息技术大学）
迁移学习是医学图像分类的常用策略，特别是通过对源数据进行预训练和对目标数据进行微调。关于如何选择合适的源数据，目前还没有达成共识，在文献中，我们可以找到有利于大型自然图像数据集（如ImageNet）的证据，以及有利于更专业的医学数据集的证据。在本文中，我们进行了系统的研究与9个源数据集与自然或医学图像，和三个目标医学数据集，所有与2D图像。我们发现ImageNet是导致最高性能的来源，但更大的数据集不一定更好。我们还研究了数据相似性的不同定义。我们发现，共同的直觉相似性可能是不准确的，因此不足以预测一个合适的源先验。最后，我们讨论了在这一领域进一步研究所需的几个步骤，特别是关于其他类型（例如3D）的医学图像。我们的实验和预训练模型可通过\url{https://www.github.com/vcheplygina/cats-scans}获得
2021-07-13 cs.CV
A new Image Similarity Metric for a Perceptual and Transparent Geometric and Chromatic Assessment
Institute for High-Performance Computing and Networking (ICAR) - National Research Council (CNR)（高性能计算与网络研究所（ICAR）- 国家研究理事会（CNR））；University of Naples Federico II（那不勒斯费德里科二世大学）；University of Naples Parthenope（那不勒斯帕尔泰诺大学）
本文提出了一种结合纹理和色彩差异的新型图像相似性度量方法，通过Earth Mover's Distance和Oklab色彩空间提升感知评估的透明性和准确性。
2026-01-27 cs.CV
Sar image despeckling based on nonlocal similarity sparse decomposition
Wuhan University（武汉大学）；Institut Telecom ParisTech（巴黎高等电信学院）
提出了一种在抑制相干斑噪声的同时保留细节信息的合成孔径雷达（SAR）图像去相干斑方法。该方法结合了非局部自相似划分和一种改进的稀疏分解。非局部划分方法将一系列结构相似性数据集分组。每个数据集都具有良好的稀疏性，可以在稀疏表示下学习过完备字典。在稀疏分解中，我们提出了一种新的方法来确定主原子从过完备字典，形成一个主字典。在具有主原子的主字典上对每个数据集执行去斑。实验结果表明，该方法在抑制相干斑噪声的同时，能较好地保持图像的结构细节。
2016-11-22 cs.CV
Hierarchical Clustering in Face Similarity Score Space
University of Notre Dame（圣母大学）
人脸识别中的相似度分数表示由匹配算法计算的图像对之间的接近度。给定一个大的图像集和所有对之间的接近度，定义一个相似性得分空间。将聚类分析应用于相似性得分空间以开发各种分类。考虑到数据集中的受试者数量，我们使用分层方法来聚合同一受试者的图像。我们还探讨了学科水平之上和之下的层次结构，包括反映性别和种族的聚类。证据支持存在的聚类种族，性别，主题，和照明条件。
2016-05-19 cs.CV
Instance-weighted Central Similarity for Multi-label Image Retrieval
Centre for Perceptual and Interactive Intelligence（感知与交互智能中心）；Chinese Academy of Sciences（中国科学院）
深度哈希算法通过将高维数据点编码为二进制码进行高效检索，已被广泛应用于大规模图像检索。与基于成对/三重相似性的哈希学习相比，基于中心相似性的哈希可以更有效地捕获全局数据分布。然而，对于多标签图像检索，以往的方法只使用多个等权值的哈希中心生成一个质心作为学习目标，忽略了哈希中心权值与图像中实例区域比例之间的关系。为了解决上述问题，我们提出了一个两步的替代优化方法，实例加权中心相似性（ICS），自动学习对应于哈希码的中心权重。首先，我们应用最大熵正则化器来防止一个哈希中心支配损失函数，并通过投影梯度下降计算中心权重。其次，我们更新神经网络参数的标准反向传播与固定的中心权重。更重要的是，学习的中心权重可以很好地反映图像中前景实例的比例。我们的方法在图像检索基准上达到了最先进的性能，特别是在MS COCO数据集上提高了1.6%-6.4%的mAP。
2022-09-20 cs.CV
Image Stitching by Line-guided Local Warping with Global Similarity Constraint
Wuhan University（武汉大学）；Huazhong University of Science and Technology（华中科技大学）
低纹理图像拼接仍然是一个具有挑战性的问题。很难实现良好的对准，并且由于不充分和不可靠的点对应，很容易破坏图像结构。此外，由于多幅图像之间的视点变化，拼接图像遭受投影失真。为了解决这些问题，本文提出了一种基于全局相似性约束的线引导局部变形图像拼接方法。线特征作为图像的几何描述和场景约束，用于指导图像的精确拼接。一方面，通过设计权函数将线特征整合到局部变形模型中;另一方面，采用线特征来施加强几何约束，包括线对应和线共线性，通过网格优化来提高拼接性能。为了减轻投影变形，我们采用了一个全球性的相似性约束，这是通过设计的权重策略与投影变形。该约束导致最终扭曲缓慢地从投影变换改变为图像上的相似性变换。最后，图像经过两阶段的对齐方案，提供准确的对齐，并减少投影失真。我们评估我们的方法上的一系列图像，并与其他几种方法进行比较。实验结果表明，该方法提供了令人信服的拼接性能，它优于其他国家的最先进的方法。
2017-10-30 cs.CV
Deep Learning based Inter-Modality Image Registration Supervised by Intra-Modality Similarity
Northwestern Polytechnical University（西北工业大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Shanghai United Imaging Intelligence Co., Ltd（上海联影智能有限公司）；Shanghai Jiao Tong University（上海交通大学）
非刚性模态间配准可以促进来自不同模态的准确信息融合，但是由于跨模态的非常不同的图像外观，因此具有挑战性。在本文中，我们提出了训练一个非刚性的模态间图像配准网络，它可以直接预测从输入的多模态图像，如CT和MR图像的变换场。特别是，我们的模态间配准网络的训练是由基于可用配对数据的模态内相似性度量来监督的，该配对数据来自预对准的CT和MR数据集。具体地，在训练阶段中，为了配准输入CT和MR图像，在变形的MR图像和与输入CT配对的MR图像上评估它们的相似性。因此，模态内相似性度量可以直接应用于测量输入CT和MR图像是否良好配准。此外，我们使用双模态的想法，其中我们衡量的相似性，CT模态和MR模态。以这种方式，可以共同考虑两种模态中的互补解剖结构，以更准确地训练模态间配准网络。在测试阶段，训练的模态间配准网络可以直接应用于配准新的多模态图像，而无需任何配对数据。实验结果表明，该方法可以实现具有挑战性的非刚性模态间配准任务有希望的准确性和效率，也优于国家的最先进的方法。
2018-04-28 cs.CV
Beyond Fidelity: Semantic Similarity Assessment in Low-Level Image Processing
Fuzhou University（福州大学）；The Hong Kong Polytechnic University（香港理工大学）
本文提出语义相似性评估作为低级图像处理的新任务，通过语义实体和关系构建结构化框架，提出T3S模型，在COCO和SPA-Data上优于传统保真度指标，更反映语义变化。
2026-04-28 cs.CV
Clarity Contrast and Similarity Selection for Multi-Focus Image Fusion
该研究针对多聚焦图像融合中源图像交互不足的问题，提出CSNet模型，通过CCAM和相似性选择策略实现信息交互，在定量和定性评估中达到当前最优性能。
2026-08-05 cs.CV
Multi-level Similarity Learning for Low-Shot Recognition
Ocean University of China（中国海洋大学）
低拍摄学习表示基于非常有限的标记训练样本识别看不见的对象的能力，这模拟了人类的视觉智能。根据这一概念，我们提出了一个多层次的相似性模型（MLSM），以捕获支持和查询样本之间的深度编码的距离度量。我们的方法是基于这样一个事实，即图像相似性学习可以分解为图像级，全局级和对象级。一旦建立了相似性函数，MLSM将能够通过计算有限数量的标记样本和目标图像之间的相似性得分来对图像进行分类。此外，我们进行了5路实验与1杆和5杆设置在加州理工大学UCSD数据集。在实际应用中，与现有的方法相比，该模型可以取得令人满意的结果。
2019-12-13 cs.CV
Edge-Based Blur Kernel Estimation Using Sparse Representation and Self-Similarity
Beijing University of Technology（北京工业大学）；Tsinghua University（清华大学）
盲图像反卷积是指在模糊核未知的情况下，从观测到的模糊图像中恢复出潜像的问题。本文提出了一种基于边缘的模糊核估计方法用于盲运动反卷积。在我们以前的工作中，我们将稀疏表示和自相似性的图像补丁作为先验知识到我们的盲反卷积模型，以正则化恢复的潜像。由于几乎任何自然图像都具有稀疏性和多尺度自相似性，我们构造了一个稀疏正则化和跨尺度非局部正则化基于我们的补丁先验。已经观察到，我们的正则化器通常只对突出边缘的图像块偏爱清晰图像而不是模糊图像，因此我们定义了一个边缘掩码来定位我们想要应用正则化器的突出边缘。模拟和真实模糊图像的实验结果表明，我们的方法优于现有的国家的最先进的盲去模糊方法，即使处理非常大的模糊，由于使用的边缘掩模。
2018-11-17 cs.CV
Finding More Relevance: Propagating Similarity on Markov Random Field for Image Retrieval
Beijing University of Posts and Telecommunications（北京邮电大学）；Raytheon BBN Technologies（雷神BBN技术公司）；Tianjing University（天津大学）
如何从大规模的语料库中高效、准确地检索对象是一个具有挑战性的课题。在本文中，我们提出了一种方法，传播视觉特征水平的相似性的马尔可夫随机场（MRF），以获得高层次的对应关系，在图像空间中的图像对。所提出的图像对之间的对应关系不仅反映了底层视觉特征的相似性，而且还反映了数据库中其他图像之间的关系，并且可以很容易地集成到现有的基于视觉词袋（BoW）的系统中，以降低丢失率。我们在标准的Oxford-5 K，Oxford-105 K和Paris-6 K数据集上评估了我们的方法。实验结果表明，该方法在三个数据集上的检索准确率都有明显提高，超过了当前最先进的检索性能。
2013-12-26 cs.CV
SDD-FIQA: Unsupervised Face Image Quality Assessment with Similarity Distribution Distance
Guangzhou University（广州大学）；Tencent（腾讯）；Nanjing University of Science and Technology（南京理工大学）；Xiamen University（厦门大学）
近年来，人脸图像质量评估（FIQA）已成为人脸识别系统中不可缺少的一部分，以保证在无约束场景下识别性能的稳定性和可靠性。为此，FIQA方法应同时考虑人脸图像的内在属性和可识别性。以往的大多数工作都是将样本嵌入不确定性或成对相似性作为质量分数来估计，这只考虑了部分类内信息。然而，这些方法忽略了类间的有用信息，这是用于估计的人脸图像的可识别性。在这项工作中，我们认为，一个高质量的人脸图像应该是类似于它的类内样本和不同的类间样本。因此，我们提出了一种新的无监督FIQA方法，结合相似性分布距离的人脸图像质量评估（SDD-FIQA）。我们的方法通过计算类内相似性分布和类间相似性分布之间的Wasserstein距离（WD）来生成质量伪标签。有了这些质量伪标签，我们就能够训练一个回归网络来进行质量预测。在基准数据集上进行的大量实验表明，所提出的SDD-FIQA以令人印象深刻的幅度超越了最先进的技术。同时，我们的方法在不同的识别系统中表现出良好的泛化能力。
2021-03-10 cs.CV
Image Similarity using An Ensemble of Context-Sensitive Models
University of Oxford（牛津大学）
针对图像相似性数值标注困难的问题，提出基于 A:R 对 B:R 相对比较标注的上下文敏感模型集成方法，性能优于最佳单模型约 5%，并超过混合数据微调模型及 CLIP、DINO 深度嵌入。
2024-09-10 cs.CV
Integrating Visual and Semantic Similarity Using Hierarchies for Image Retrieval
Laboratoire Interdisciplinaire des Environnements Continentaux, Université de Lorraine（洛林大学大陆环境跨学科实验室）；Georgia Tech Europe（佐治亚理工学院欧洲校区）；LTER- “Zone Atelier Moselle”（长期生态研究网络-“摩泽尔核心研究区”）
针对CBIR中视觉相似但语义不相关的检索问题，提出利用深度分类网络潜空间中类别重叠构建视觉层次，并将其融入距离度量，在CUB-200-2011、CIFAR100及硅藻显微图像用例中取得更优检索性能。
2023-08-16 cs.CV
Spatial Feature Extraction in Airborne Hyperspectral Images Using Local Spectral Similarity
Space Applications Centre, ISRO（印度空间研究组织空间应用中心）
提出了一种基于局部光谱相似性的高光谱图像均匀区域和边缘检测算法。该算法通过计算中心像素光谱和邻域光谱之间的向量相似性，将空间窗口内的三维数据立方体转换为光谱相似性矩阵。根据相似性矩阵的顺序统计或相似性矩阵与空间核的空间卷积导出最终边缘强度。LSS算法通过考虑空间窗口内相似光谱的空间模式，便于同时使用光谱-空间信息进行边缘检测。所提出的边缘检测方法进行了测试基准HSIs以及从航空可见光和红外成像光谱仪下一代（AVIRIS-NG）获得的图像。LSS方法对多变量高斯噪声和低空间分辨率场景的鲁棒性也用基准HSI进行了验证。采用品质因数、虚警率和漏警率对边缘检测方法的性能进行了评价。结果表明，分数距离测度和欧氏距离测度能够更准确地检测边缘的HSIs相比，其他光谱相似性措施。该方法不仅适用于全光谱的辐射率和反射率数据，而且在主成分图像上也表现出了良好的性能。此外，该算法在快速性、准确性和鲁棒性方面均优于传统的多通道边缘检测器。实验结果也证实，LSS可以作为一种预处理方法，以减少错误的聚类以及分类输出。
2019-11-06 cs.CV
Robust Registration of Multimodal Remote Sensing Images Based on Structural Similarity
Southwest Jiaotong University（西南交通大学）；University of Trento（特伦托大学）；Purdue University（普渡大学）
多模态遥感数据的自动配准（例如，光学、LiDAR、SAR）是一项具有挑战性的任务，因为这些数据之间存在显著的非线性辐射差异。为了解决这个问题，本文提出了一种新的特征描述符命名为定向相位一致性直方图（HOPC），这是基于图像的结构特性。此外，一个相似性度量命名为HOPCncc的定义，它使用的归一化相关系数（NCC）的HOPC描述符的多模态配准。在相似性度量的定义中，我们首先扩展了相位一致性模型以生成其方向表示，并使用扩展的模型来构建HOPCncc。然后针对该度量设计了一种快速模板匹配方案，用于检测图像间的控制点。建议HOPCncc的目的是捕捉图像之间的结构相似性，并已测试了各种光学，激光雷达，SAR和地图数据。结果表明，HOPCncc对复杂的非线性辐射差异具有鲁棒性，并且优于最先进的相似性度量（即，NCC和互信息）在匹配性能上的差异。此外，本文还提出了一种基于HOPCncc的鲁棒配准方法，并使用六对多模态遥感图像进行了评估。实验结果证明了该方法在多模态图像配准中的有效性。
2021-03-31 cs.CV
