Do better ImageNet classifiers assess perceptual similarity better?
Google Research（谷歌研究院）
在预训练的深度特征空间中测量的图像之间的感知距离在评估感知相似性方面优于先前的低级别、基于像素的度量。虽然AlexNet和VGG等较旧且不太准确的模型捕捉感知相似性的能力是众所周知的，但现代和更准确的模型却很少被研究。在本文中，我们提出了一项大规模的实证研究，以评估ImageNet分类器在感知相似性上的表现。首先，我们观察到ImageNet准确性与ResNets、EfficientNets和视觉Transformer等现代网络的感知得分之间存在负相关性：即更好的分类器获得更差的感知得分。然后，我们检查了ImageNet准确性/感知分数在不同深度，宽度，训练步骤数量，权重衰减，标签平滑和丢弃方面的关系。更高的准确度在一定程度上提高了感知得分，但我们发现在中高准确度范围内准确度和感知得分之间存在帕累托边界。我们进一步探讨这种关系，使用一些似是而非的假设，如失真不变性，空间频率敏感性，和替代感知功能。有趣的是，我们发现了仅在ImageNet上训练了不到5个epoch的浅ResNet和ResNet，其新兴的Perceptual Score与直接在监督的人类感知判断上训练的先前最佳网络相匹配。我们研究中模型的检查点可在https://console.cloud.google.com/storage/browser/gresearch/perceptual_similarity上获得。
2022-10-29 cs.CV
Shift-tolerant Perceptual Similarity Metric
Portland State University（波特兰州立大学）
现有的感知相似性度量假设图像和其参考很好地对齐。因此，这些度量通常对人眼察觉不到的小对准误差敏感。本文研究了小错位的影响，特别是输入和参考图像之间的一个小的移位，对现有的度量，并相应地开发了一个移位容忍的相似性度量。本文建立在LPIPS，一个广泛使用的学习感知相似性度量，并探讨了架构设计考虑，使其对不可察觉的错位鲁棒。具体来说，我们研究了广泛的神经网络元素，如抗混叠滤波，池化，跨步，填充和跳过连接，并讨论了他们的角色，使一个强大的度量。基于我们的研究，我们开发了一种新的基于深度神经网络的感知相似性度量。我们的实验表明，我们的度量是宽容的不可察觉的变化，同时符合人类的相似性判断。
2022-07-27 cs.CV
Structured Uncertainty Similarity Score (SUSS): Learning a Probabilistic, Interpretable, Perceptual Metric Between Images
University of Sussex（Sussex大学）；University College London（伦敦大学学院）
SUSS通过学习图像特定的线性变换和去相关残差，提供可解释的感知度量，实现与人类视觉紧密对齐的图像相似度评估。
2025-12-03 cs.CV
Identifying and Mitigating Flaws of Deep Perceptual Similarity Metrics
Luleå University of Technology（吕勒奥理工大学）
图像相似性度量是计算机视觉的一个基本问题，目前还没有通用的解决方案。虽然简单的指标，如像素级L2范数已被证明有明显的缺陷，但它们仍然很受欢迎。一组最近的最先进的指标，减轻了这些缺陷中的一些是深度感知相似性（DPS）指标，其中相似性被评估为神经网络的深度特征中的距离。然而，DPS指标本身的好处，特别是它们的缺陷没有得到彻底的检查。这项工作研究了最常见的DPS度量，其中深度特征通过空间位置进行比较，以及比较平均和排序的深度特征的度量。通过使用专门设计的图像对指标进行深入分析，以了解指标的优点和缺点。这项工作有助于对DPS缺陷的新见解，并进一步建议改进指标。这项工作的实现可以在网上获得：https://github.com/guspih/deep_perceptual_similarity_analysis/
2022-07-06 cs.CV
Perceptual Similarity guidance and text guidance optimization for Editing Real Images using Guided Diffusion Models
Shandong University（山东大学）
针对扩散模型图像编辑时修改图与源图差异大的问题，提出结合文本引导优化与感知相似性引导的双引导方法，实现编辑区域真实且未编辑区域高保真的图像编辑效果。
2023-12-09 cs.CV
A new Image Similarity Metric for a Perceptual and Transparent Geometric and Chromatic Assessment
Institute for High-Performance Computing and Networking (ICAR) - National Research Council (CNR)（高性能计算与网络研究所（ICAR）- 国家研究理事会（CNR））；University of Naples Federico II（那不勒斯费德里科二世大学）；University of Naples Parthenope（那不勒斯帕尔泰诺大学）
本文提出了一种结合纹理和色彩差异的新型图像相似性度量方法，通过Earth Mover's Distance和Oklab色彩空间提升感知评估的透明性和准确性。
2026-01-27 cs.CV
Enhancing Underexposed Photos using Perceptually Bidirectional Similarity
Sun Yat-Sen University（中山大学）；Peng Cheng Laboratory（鹏城实验室）；South China University of Technology（华南理工大学）；Chinese University of Hong Kong（香港中文大学）；Wuhan University（武汉大学）
尽管已经取得了显著的进步，但是用于增强曝光不足的照片的现有方法由于视觉伪影的存在而倾向于产生视觉上不令人满意的结果（例如，色彩失真、细节丢失和曝光不均匀）。我们观察到，这是因为它们未能确保源曝光不足图像及其增强输出之间的视觉信息的感知一致性。为了获得高质量的结果，这些文物，我们提出了一种新的曝光不足的照片增强方法，能够保持感知的一致性。我们提出了一个有效的标准，称为感知双向相似性，明确描述了如何确保感知的一致性，实现这一点。特别是，我们采用Retinex理论和铸造的增强问题作为一个约束的照明估计优化，在这里我们制定感知双向相似性的约束照明和解决的照明，可以恢复所需的无伪影增强结果。此外，我们描述了一个视频增强框架，采用所提出的照明估计处理曝光不足的视频。为此，引入了一种概率方法，通过解决贝叶斯最大后验问题将采样关键帧的照明传播到整个视频。大量的实验表明，我们的方法优于国家的最先进的方法。
2020-07-08 cs.CV
Deep Perceptual Similarity is Adaptable to Ambiguous Contexts
Luleå University of Technology（吕勒奥理工大学）
本研究探索深度感知相似度度量对特定上下文的适应性，通过训练ImageNet预训练CNN适应随机失真排序，在99%情况下提升性能且不损害先前表现。
2023-05-12 cs.CV
Foundation Models Boost Low-Level Perceptual Similarity Metrics
Portland State University（波特兰州立大学）；Sony Interactive Entertainment (PlayStation)（索尼互动娱乐（ PlayStation））
本研究针对全参考图像质量评估中基础模型多用于最终层特征的现状，探索利用基础模型中间特征构建低层感知相似性度量，证实其更有效且无需训练即可超越传统及前沿习得度量。
2025-01-12 cs.CV
PerFace: Metric Learning in Perceptual Facial Similarity for Enhanced Face Anonymization
The University of Tokyo（东京大学）；NII（日本国立信息机构）
本文提出基于人类感知的人脸相似度度量PerFace，通过构建6,400个三元组标注数据集并进行度量学习，以平衡人脸匿名化中的匿名性与自然度，实验证明其优于现有方法。
2025-09-24 cs.CV
Gradient Magnitude Similarity Deviation: A Highly Efficient Perceptual Image Quality Index
针对图像质量评估需兼顾精度与效率的需求，提出基于梯度幅值相似度图标准差的GMSD算法，兼具高预测精度与极低计算成本。
2013-11-26 cs.CV
A Haar Wavelet-Based Perceptual Similarity Index for Image Quality Assessment
Universität Bremen（不来梅大学）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Technische Universität Berlin（柏林工业大学）；Berlin Institute of Technology（柏林工业大学）
在大多数实际情况下，图像和视频的压缩或传输会产生失真，最终会被人类观察者感知到。反之亦然，图像和视频恢复技术，如修复或去噪，旨在提高人类观众的体验质量。因此，正确地评估图像与人类观看者主观体验的未失真参考图像之间的相似性可以导致任何传输、压缩或恢复系统的显著改进。本文介绍了Haar小波为基础的感知相似性指数（HaarPSI），一种新的和计算成本低廉的相似性度量的全面参考图像质量评估。HaarPSI利用从Haar小波分解获得的系数来评估两个图像之间的局部相似性以及图像区域的相对重要性。HaarPSI与人类体验质量的一致性在四个大型基准数据库上进行了验证，其中包含数千张不同失真的图像。在这些数据库中，HaarPSI与人类意见分数的相关性高于最先进的全参考相似性度量，如结构相似性指数（SSIM），特征相似性指数（FSIM）和基于视觉显着性的指数（VSI）。随着简单的计算结构和短的执行时间，这些实验结果表明，在现实世界的任务HaarPSI的高适用性。
2017-11-06 cs.CV
Learn to Evaluate Image Perceptual Quality Blindly from Statistics of Self-similarity
Beijing Center for Mathematics and Information Interdisciplinary Sciences（北京数学与信息交叉科学中心）；The Hong Kong Polytechnic University（香港理工大学）
在各种图像质量评估（IQA）任务中，由于缺乏关于参考图像和失真类型的知识，盲IQA（BIQA）特别具有挑战性。基于自然场景统计的特征已被成功地应用于BIQA中，而特征的质量相关性对质量预测性能起着至关重要的作用。在人类视觉系统的早期处理阶段，旨在消除信号的冗余，有效的视觉编码的事实，我们提出了一个简单的，但非常有效的BIQA方法，通过计算统计的自相似性（SOS）的图像。具体来说，我们计算失真图像的尺度间相似性和尺度内相似性，从这些相似性中提取SOS特征，并学习回归模型将SOS特征映射到主观质量分数。大量的实验表明，非常有竞争力的质量预测性能和泛化能力的SOS基于BIQA方法。
2015-10-10 cs.CV
E-LPIPS: Robust Perceptual Image Similarity via Random Transformation Ensembles
Aalto University（阿尔托大学）；NVIDIA（英伟达）
最近的研究表明，卷积神经网络的隐变量有助于有效的感知相似性度量，该度量可以准确地预测人类对相对图像相似性评估的判断。首先，我们表明，这种学习的感知相似性度量（LPIPS）容易受到对抗攻击，显着矛盾的人类视觉相似性判断。鉴于神经网络对对抗性扰动的众所周知的弱点，这并不奇怪，我们继续表明，用输入的随机变换的无限族进行自组装-一种已知不会使分类网络鲁棒的技术-足以使度量鲁棒对抗攻击，同时保留对人类判断的预测能力。最后，我们研究了我们的新的自组装度量（E-LPIPS）对自然图像空间的几何形状。我们发现的证据“知觉凸性”的相似外观的图像保持外观的凸组合，离散测地线产生有意义的帧插值和纹理变形，所有没有明确的对应关系。
2019-06-11 cs.CV cs.NE
LipSim: A Provably Robust Perceptual Similarity Metric
New York University（纽约大学）
本文揭示了现有感知相似度度量易受对抗攻击的问题，提出基于1-Lipschitz网络的LipSim度量，提供可证明的鲁棒性保证，并在自然分数、认证分数及图像检索中验证其性能。
2024-03-29 cs.CV cs.LG
Psychologically-Inspired, Unsupervised Inference of Perceptual Groups of GUI Widgets from GUI Images
Australian National University（澳大利亚国立大学）；CSIRO’s Data61（联邦科学与工业研究组织数据61研究所）；Monash University（莫纳什大学）
受格式塔感知理论启发，提出一种仅需GUI像素图像的无监督方法，用于推断GUI小部件感知组，在1091个GUI数据集上显著优于启发式基线。
2023-05-24 cs.CV cs.HC cs.SE
Generating Images with Perceptual Similarity Metrics based on Deep Networks
University of Freiburg（弗莱堡大学）
图像生成机器学习模型通常使用基于图像空间中的距离的损失函数来训练。这通常会导致过度平滑的结果。我们提出了一类损失函数，我们称之为深度感知相似性度量（DeePSiM），以减轻这个问题。我们不是计算图像空间中的距离，而是计算由深度神经网络提取的图像特征之间的距离。该度量更好地反映了图像的感知相似性，从而导致更好的结果。我们展示了三个应用：自动编码器训练，变分自编码器的修改，以及深度卷积网络的逆。在所有情况下，生成的图像看起来清晰，类似于自然图像。
2016-02-09 cs.CV cs.LG cs.NE
High-Level Perceptual Similarity is Enabled by Learning Diverse Tasks
York University（约克大学）；University of Toronto（多伦多大学）
预测人类感知相似性是一个具有挑战性的课题正在进行的研究。人类视觉的这一方面的视觉过程被认为是采用多个不同层次的视觉分析（形状，对象，纹理，布局，颜色等）。在本文中，我们假设图像相似性的感知不是一个明确的学习能力，而是一个学习别人的副产品。这一主张得到了支持，利用表示从一组不同的视觉任务，并使用它们联合预测感知相似性。这是通过简单的特征拼接完成的，无需任何进一步的学习。尽管如此，在具有挑战性的完全相似（TLL）基准上进行的实验大大超过了最近的基线，缩小了人类感知相似性预测的大部分差距。我们对这些结果进行了分析，并在更广泛的背景下讨论了新兴的视觉能力及其对机器视觉研究过程的影响。
2019-03-26 cs.AI cs.CV cs.LG
The Many Senses of Visual Similarity: A Text-Prompted Image Perceptual Metric
研究人类视觉相似性判断的上下文依赖问题，通过引入大规模数据集微调VLM，产生能捕捉多种视觉相似性意义的TPIPS度量，该度量与人类感知更契合，还在多种任务中开启新功能。
2026-08-18 cs.CV cs.LG
Saliency Driven Perceptual Image Compression
Czech Technical University in Prague（布拉格捷克理工大学）；Amazon Web Services（亚马逊云科技）
本文提出了一种新的端到端的有损图像压缩可训练模型，其中包括几个新的组件。该方法包括：1）适当的感知相似性度量; 2）图像中的显著性; 3）分层自回归模型。本文证明了常用的评价指标，如MS-SSIM和PSNR是不够的判断图像压缩技术的性能，因为它们不符合人类的感知相似性。或者，提出了一种新的度量，该度量是在特定于图像压缩的感知相似性数据上学习的。建议的压缩模型采用了显着的区域和优化建议的感知相似性度量。该模型不仅生成视觉效果更好的图像，而且与现有的工程或学习压缩技术相比，还为后续的计算机视觉任务（如对象检测和分割）提供了卓越的性能。
2020-11-08 cs.CV eess.IV
High Dynamic Range Imaging by Perceptual Logarithmic Exposure Merging
University ”Politehnica” of Bucharest（布加勒斯特理工大学）
在本文中，我们强调了对数型图像处理（LTIP）模型和人类视觉系统（HVS）的Naka-Rushton模型之间的相似性。LTIP是对数图像处理（LIP）的一个衍生，它进一步用多项式函数的比率代替对数函数。基于这种相似性，我们表明，有可能提出一个统一的框架的高动态范围（HDR）成像问题，即执行曝光合并下的LTIP模型是相当于标准的辐照度图融合。由此产生的HDR算法被证明提供高质量的主观和客观评价。
2015-06-03 cs.CV
Demiguise Attack: Crafting Invisible Semantic Adversarial Perturbations with Perceptual Similarity
Beijing Institute of Technology（北京理工大学）；Nanyang Normal University（南阳师范学院）
深度神经网络（DNN）被发现容易受到对抗性样本的攻击。对抗性示例是具有视觉上无法察觉的扰动的恶意图像。虽然这些精心制作的扰动受到严格的$\Lp$范数界限的限制，但它们仍然很容易被人类感知。当攻击黑盒模型或具有降噪滤波器等防御措施的模型时，这些扰动的成功率也有限。为了解决这些问题，我们提出了伪装攻击，用感知相似度制作“不受限制”的扰动。具体来说，我们可以通过基于感知相似度操纵语义信息来创建强大且逼真的对抗性示例。我们生成的对抗性示例对人类视觉系统（HVS）是友好的，尽管扰动是很大的。我们扩展了广泛使用的攻击与我们的方法，提高对抗的有效性令人印象深刻，同时有助于不可感知。大量的实验表明，该方法不仅优于各种国家的最先进的攻击在欺骗率，可转移性，对防御的鲁棒性，但也可以有效地改善攻击。此外，我们还注意到，我们的实现可以模拟真实场景中发生的照明和对比度变化，这将有助于暴露DNN的盲点。
2021-07-03 cs.AI cs.CV
Beyond MOS: Subjective Image Quality Score Preprocessing Method Based on Perceptual Similarity
University of Electronic Science and Technology of China（电子科技大学）
本文提出PSP方法，利用图像感知相似度建模主观评分并通过相似度正则化EMA预处理分数，有效缓解主观偏差并提升下游IQA任务性能。
2024-04-30 cs.CV eess.IV
Attacking Perceptual Similarity Metrics
Portland State University（波特兰州立大学）
本研究系统评估感知相似性度量对不可感知对抗扰动的鲁棒性，发现常见攻击可翻转其判断，并提出结合空间与PGD攻击的迁移方法，为度量鲁棒性研究提供基准。
2023-05-15 cs.CV eess.IV
Robust Representation Learning via Perceptual Similarity Metrics
Autodesk AI Lab（欧特克人工智能实验室）；Stanford University（斯坦福大学）；Mila（米拉人工智能研究所）；Université de Montréal（蒙特利尔大学）
人工智能的一个基本挑战是学习有用的数据表示，在下游任务中产生良好的性能，而不会过度拟合虚假的输入特征。提取这种任务相关的预测信息对于现实世界的数据集来说特别困难。在这项工作中，我们提出了对比输入变形（CIM），一个表示学习框架，学习数据的输入空间变换，以减轻不相关的输入功能对下游性能的影响。我们的方法利用感知相似性度量通过一个三重损失，以确保转换保留任务相关的information.Empirically，我们证明了我们的方法对任务的有效性，通常遭受的虚假相关性的存在：分类与滋扰信息，分布外泛化，并保存子组的准确性。我们还表明，CIM与其他基于互信息的表示学习技术是互补的，并证明当一起使用时，它可以提高变分信息瓶颈（VIB）的性能。
2021-06-11 cs.CV cs.LG
R-LPIPS: An Adversarially Robust Perceptual Similarity Metric
New York University（纽约大学）
针对LPIPS度量易受对抗样本攻击的安全隐患，本文提出了利用对抗训练深度特征的新度量R-LPIPS，并通过实验证明了其相比经典LPIPS的优越性与鲁棒性。
2023-07-31 cs.CV cs.LG eess.IV
Perceptual Color Difference Modeling Using Machine Learning and Human Similarity Judgments
Kazakh-British Technical University（哈萨克-英国技术大学）；ADA University（ADA大学）
本研究利用人类相似性判断和机器学习，通过比较不同颜色表示和回归算法，发现COLIBRI特征结合LightGBM能最佳预测感知颜色差异，R²达0.703。
2026-10-01 cs.CV cs.HC
The Unreasonable Effectiveness of Deep Features as a Perceptual Metric
UC Berkeley（加州大学伯克利分校）；OpenAI（开放人工智能研究中心）；Adobe Research（奥多比研究院）
虽然人类几乎毫不费力地快速评估两个图像之间的感知相似性，但其潜在过程被认为是相当复杂的。尽管如此，当今最广泛使用的感知指标，如PSNR和SSIM，都是简单、肤浅的函数，无法解释人类感知的许多细微差别。最近，深度学习社区发现，在ImageNet分类上训练的VGG网络的特征作为图像合成的训练损失非常有用。但是这些所谓的“知觉损失”有多知觉呢？哪些因素对他们的成功至关重要？为了回答这些问题，我们引入了一个新的人类感知相似性判断数据集。我们系统地评估不同架构和任务的深度功能，并将其与经典指标进行比较。我们发现，在我们的数据集上，深度特征的表现远远优于所有以前的指标。更令人惊讶的是，这个结果并不局限于ImageNet训练的VGG特征，而是适用于不同的深度架构和监督级别（监督，自监督甚至无监督）。我们的研究结果表明，感知相似性是一个新兴的财产共享的深视觉表征。
2018-04-10 cs.CV cs.GR
Image Difference Quantification Using Autoencoder-Based Latent Representations
该研究提出基于卷积自编码器的框架，在潜在空间用余弦相似度量化图像差异，经猫狗等数据集验证，其对感知相关图像失真敏感，可作为传统像素级相似度指标的替代方案，具多领域应用潜力。
2026-08-26 cs.CV
Learning to Generate Images with Perceptual Similarity Metrics
University of Toronto（多伦多大学）；University of Colorado, Boulder（科罗拉多大学博尔德分校）
深度网络越来越多地应用于涉及图像合成的问题，例如，从文本描述中生成图像并从紧凑表示中重建输入图像。图像合成网络的监督训练通常使用逐像素损失（PL）来指示生成的图像与其对应的目标图像之间的失配。相反，我们建议使用一个损失函数，更好地校准到人类对图像质量的感知判断：多尺度结构相似性得分（MS-SSIM）。由于MS-SSIM是可微的，因此很容易将其纳入梯度下降学习。我们比较了使用MS-SSIM与PL损失对训练确定性和随机自编码器的后果。对于三种不同的架构，我们收集了人类对图像重建质量的判断。对于两种不同的PL测量（$\ell_1$和$\ell_2$距离），观察者可靠地偏好由MS-SSIM优化模型合成的图像，而不是由PL优化模型合成的图像。我们还探讨了训练目标对图像编码的影响，并分析了感知优化表示在图像分类上产生更好性能的条件。最后，我们展示了感知优化网络在超分辨率成像中的优越性。正如计算机视觉通过使用模仿哺乳动物视觉系统结构的卷积架构而取得的进步一样，我们认为，通过使用与人类感知特征保持一致的训练目标，可以在图像建模方面取得重大进展。
2017-01-24 cs.CV cs.LG
A study of deep perceptual metrics for image quality assessment
ENSTA Paris, Institut Polytechnique de Paris（巴黎高等先进技术学院，巴黎理工学院）；Safrantech, Safran Group（赛峰科技，赛峰集团）
有几种度量标准可以量化图像之间的相似性，但当涉及到测量高度失真图像的相似性时，它们的效率很低。在这项工作中，我们提出了基于深度神经网络的感知度量来解决图像质量评估（IQA）任务。我们根据不同的超参数（如网络的架构或训练过程）来研究深度感知指标。最后，我们提出了我们的多分辨率感知度量（MR-感知），它允许我们在不同的分辨率下聚合感知信息，并在具有不同图像变形的IQA任务上优于标准感知度量。我们的代码可在https://github.com/ENSTA-U2IS/MR_perceptual上获得
2022-02-17 cs.AI cs.CV cs.GR
Transfer of View-manifold Learning to Similarity Perception of Novel Objects
Peking University（北京大学）；Carnegie Mellon University（卡内基梅隆大学）；John Hopkins University（约翰斯·霍普金斯大学）
我们开发了一个感知相似性判断模型，该模型基于重新训练深度卷积神经网络（DCNN），该网络学习将每个3D对象的不同视图相关联，以捕捉我们视觉体验中对象持久性和连续性的概念。再训练过程有效地执行距离度量学习下的对象持久性约束，修改对象表示的视图流形。它减少了同一对象的不同视图的表示之间的有效距离，而不影响不同对象的视图之间的距离，从而导致同一类别内和跨类别的各个对象之间的视图流形的解开。这种解开使模型能够区分和识别同一类别中的对象，而与视点无关。我们发现，这种能力不仅限于训练过的对象，还可以转移到训练过的和未训练过的类别中的新对象，以及各种全新的人工合成对象。学习中的这种迁移表明了视图中距离度量的修改-流形更一般和抽象，可能在部件级别，并且独立于训练期间经历的特定对象或类别。有趣的是，深度网络中特征表示的转换被发现比AlexNet更好地匹配人类感知相似性判断，这表明对象持久性可能是生物神经网络中感知相似性判断发展的重要约束。
2017-03-31 cs.CV
Unsupervised Coherent Video Cartoonization with Perceptual Motion Consistency
Institute of Computing Technology（计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Huawei Technologies（华为技术有限公司）；University of Science and Technology of China（中国科学技术大学）
近年来，像风格转移和神经照片编辑这样的创意内容生成引起了越来越多的关注。其中，真实世界场景的卡通化在娱乐和工业中有着很好的应用。与注重提高生成图像风格效果的图像翻译不同，视频卡通化对时间一致性有额外的要求。在本文中，我们提出了一个空间自适应的语义对齐框架与感知运动一致性相干视频卡通化在无监督的方式。语义对齐模块的设计是为了恢复变形的语义结构所造成的空间信息丢失的编码器-解码器架构。此外，我们设计的时空相关地图作为一个风格独立的，全局感知的感知运动一致性的正则化。该算法通过对照片和卡通图像中的高层次特征进行相似性度量，获取光流中原始像素值以外的全局语义信息。此外，相似性度量从特定领域的风格属性中分离出时间关系，这有助于在不损害卡通图像风格效果的情况下规范时间一致性。定性和定量实验表明，我们的方法能够生成风格和时间高度一致的卡通视频。
2022-04-02 cs.CV
The Unreasonable Effectiveness of Linear Prediction as a Perceptual Metric
University of Toronto（多伦多大学）；Vector Institute for A.I.（向量人工智能研究所）；Google Deepmind（谷歌DeepMind）；Google Research（谷歌研究院）
本文提出一种无需训练数据或深度特征的线性预测感知度量LASI，在推理时求解加权最小二乘问题构建感知嵌入，性能媲美LPIPS等深度方法，计算成本接近MS-SSIM，且可与现有度量互补。
2023-10-06 cs.CV
A Domain-specific Perceptual Metric via Contrastive Self-supervised Representation: Applications on Natural and Medical Images
Technical University of Munich（慕尼黑工业大学）；University of Zurich（苏黎世大学）；Southern University of Science and Technology（南方科技大学）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
量化两幅图像的感知相似性是低级计算机视觉中的一个长期问题。自然图像领域通常依赖于监督学习，例如，预训练的VGG，以获得潜在表示。然而，由于域偏移，来自自然图像域的预训练模型可能不适用于其他图像域，例如医学成像。值得注意的是，在医学成像中，评估感知相似性仅由在不同医学领域接受过广泛培训的专家执行。因此，医学成像仍然缺乏任务特定的，客观的感知措施。这项工作回答了这样一个问题：是否有必要依靠监督学习来获得一个有效的表示，可以衡量感知相似性，或者自我监督就足够了？为了了解最近的对比自监督表示（CSR）是否可以拯救，我们从自然图像开始，系统地评估CSR作为众多当代架构和任务的度量，并将其与现有方法进行比较。我们发现，在自然图像域中，CSR的行为与监督的一个在几个感知测试作为一个度量，在医疗领域，CSR更好地量化感知相似性有关的专家的评级。我们还证明了CSR可以显着提高图像质量在两个图像合成任务。最后，我们广泛的研究结果表明，感知是一个新兴的CSR属性，它可以适应许多图像域，而不需要注释。
2022-12-03 cs.CV cs.MM eess.IV
Deep Learning-based Image Super-Resolution Considering Quantitative and Perceptual Quality
Yonsei University（延世大学）
最近，已经表明，在超分辨率中，在超分辨率图像的定量和感知质量之间存在折衷关系，其分别对应于与地面实况图像的相似性和自然度。在本文中，我们提出了一种新的超分辨率方法，可以提高感知质量的放大图像，同时保持传统的定量性能。所提出的方法采用深度网络进行多遍升级，同时使用一个神经网络和两个定量分数预测器网络。实验结果表明，该方法实现了定量和感知质量的良好平衡，表现出更令人满意的结果比现有的方法。
2019-04-19 cs.CV
Human Perceptual Evaluations for Image Compression
Center for Machine Perception, Czech Technical University（捷克技术大学机器感知中心）；Amazon（亚马逊）
最近，人们对深度学习技术进行图像压缩产生了很大的兴趣，并且有人声称其中几种技术产生的结果比工程压缩方案（如JPEG，JPEG 2000或BPG）更好。当今比较图像压缩方案的标准方式是使用感知相似性度量，诸如PSNR或MS-SSIM（多尺度结构相似性）。这导致了一些深度学习技术，通过选择MS-SSIM作为损失函数来直接优化MS-SSIM。虽然这会导致更高的MS-SSIM等技术，我们使用用户研究表明，由此产生的改进可能是误导。用于具有较高MS-SSIM的图像压缩的深度学习技术实际上可能在感知上比具有较低MS-SSIM的工程压缩方案更差。
2019-08-09 cs.CV eess.IV
On the Suitability of $L_p$-norms for Creating and Preventing Adversarial Examples
Carnegie Mellon University（卡内基梅隆大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
许多研究工作都致力于更好地理解对抗性示例，这些示例是机器学习模型的特制输入，在感知上类似于良性输入，但分类不同（即，误分类）。创建对抗性示例的算法和防御它们的策略通常使用$L_p$ -范数来测量对抗性输入与其良性原始输入之间的感知相似性。然而，先前的工作已经表明，两个图像不需要如通过$L_p$ -范数测量的那样彼此接近以在感知上相似。在这项工作中，我们表明，接近根据$L_p$规范不仅是不必要的感知相似性，但也是不够的。具体来说，专注于数据集（CIFAR 10和MNIST），$L_p$规范，并在以前的工作中使用的阈值，我们通过在线用户研究表明，“对抗性的例子”，更接近他们的良性同行比常用的$L_p$规范阈值所需的，但仍然可以感知不同的人类从相应的良性的例子。即，根据$L_p$ -范数彼此“接近”的两个图像之间的感知距离可以足够高，使得参与者频繁地将两个图像分类为表示不同的对象或数字。结合以前的工作，我们因此表明，接近的输入所测量的$L_p$规范是既不必要也不充分的感知相似性，这对创建和防御对抗性的例子。我们提出并讨论了替代相似性度量，以刺激未来的研究在该领域。
2018-07-27 cs.CR cs.CV
Structural Similarity Index SSIMplified: Is there really a simpler concept at the heart of image quality measurement?
Nontrivialzeros Research（非平凡零点研究所）
结构相似性指数（SSIM）通常被认为是图像质量评价（IQA）最近历史上的一个里程碑。唉，SSIM从三个启发性因素的产物中得到的公认的发展继续掩盖了它真正的潜在简单性。相反，从一个反对称的重新制定，我们首先显示SSIM是一个对比度或可见性功能在经典意义上。此外，以前神秘的结构协方差被揭示为方差的差异。第二步，消除SSIM固有的二次性质，允许与人类观察者得分接近线性相关，而无需调用通常但任意的S形模型拟合。我们的结论是，SSIM可以重新解释知觉掩蔽：它基本上相当于一个标准化的误差或噪声可见度函数（NVF），而且，NVF单独解释它的成功建模感知图像质量。我们使用术语相异性商（DQ）用于特定反对称/对称SSIM导出的NVF。看来IQA研究人员现在可能有两个选择：1）继续使用复杂的SSIM公式，但注意SSIM只是巧合地起作用，因为协方差项实际上是伪装的均方误差（MSE）。2)使用最简单的感知掩蔽图像质量指标，即NVF或DQ。在这个选择上，奥卡姆是明确的：在预测能力不存在差异的情况下，做出的假设越少越好。
2015-05-25 cs.CV
Learned Perceptual Image Enhancement
Google Research（谷歌研究院）
学习典型的图像增强流水线涉及增强图像和参考图像之间的损失函数的最小化。虽然L1和L2损失可能是为此目的最广泛使用的函数，但它们不一定会导致感知上令人信服的结果。在本文中，我们证明了将学习的无参考图像质量度量添加到损失中可以显着提高增强算子。该指标是使用CNN（卷积神经网络）来实现的，该CNN是在标记有人类评分者的美学偏好的大规模数据集上训练的。这种损失使我们能够方便地在我们的学习框架中执行反向传播，以同时优化与给定的地面真实参考和感知质量的相似性。这种感知损失仅用于图像处理操作者的训练参数，并且在推理时间不施加任何额外的复杂性。我们的实验表明，这种损失可以有效地调整各种运算符，例如本地色调映射和去雾。
2017-12-07 cs.CV
PerSIM: Multi-resolution Image Quality Assessment in the Perceptually Uniform Color Domain
Georgia Institute of Technology（佐治亚理工学院）
一个普通的观察者感知世界的颜色，而不是黑色和白色。此外，视觉系统关注的是结构和片段，而不是单个像素。基于这些观察，我们提出了一个完整的参考客观图像质量度量建模视觉系统的特性和色度相似性在感知均匀的颜色域（Lab）。在L通道中获得高斯拉普拉斯特征以模拟人类视觉系统中的视网膜神经节细胞，并且在a和b通道上计算颜色相似性。在所提出的感知相似性指数（PerSIM），多分辨率的方法来模仿人类视觉系统的分层性质。在验证中使用了LIVE和TID 2013数据库，PerSIM在排名、单调行为和线性方面优于整个数据库中的所有比较指标。
2018-11-18 cs.CV cs.MM eess.IV
Self-attention in Vision Transformers Performs Perceptual Grouping, Not Attention
York University（约克大学）
最近，相当多的计算机视觉研究涉及称为视觉Transformer的深度神经架构。在这些模型中的视觉处理包括声称实现注意力机制的计算模型。尽管越来越多的工作试图了解注意力机制在视觉Transformer中的作用，但它们的作用在很大程度上是未知的。在这里，我们问视觉Transformer中的注意力机制是否表现出与人类视觉注意力相似的效果。为了回答这个问题，我们重新审视了这些模型中的注意力公式，发现尽管名称如此，但在计算上，这些模型执行了一类特殊的具有相似分组效应的松弛标记。此外，尽管现代实验结果表明人类视觉注意力涉及前馈和反馈机制，但视觉Transformer的纯前馈结构表明，这些模型中的注意力不会产生与人类相同的效果。为了量化这些观察结果，我们评估了一系列视觉Transformer的分组性能。我们的研究结果表明，自我注意模块组的数字在刺激的基础上相似的视觉特征，如颜色。此外，在一个单例检测实验的显着性检测的一个实例，我们研究了这些模型是否表现出类似的效果，前馈视觉显着性机制中利用人类的视觉注意。我们发现，一般来说，基于transformer的注意模块分配更多的显着性，无论是干扰或地面。总之，我们的研究表明，视觉Transformer中的注意力机制执行相似性分组而不是注意。
2023-03-02 cs.CV
Global-Local Image Perceptual Score (GLIPS): Evaluating Photorealistic Quality of AI-Generated Images
Western University（西安大略大学）
针对传统图像质量评价指标与人类感知契合度低的问题，提出融合transformer注意力与MMD的GLIPS指标及IBS标度法，在与人类评分相关性上优于FID等现有指标，可更可靠地评估AI生成图像的照片级真实感。
2024-05-16 cs.CV
DiffSim: Taming Diffusion Models for Evaluating Visual Similarity
National University of Singapore（新加坡国立大学）
本文提出 DiffSim 方法，利用预训练扩散模型去噪 U-Net 注意力层的特征对齐来评估视觉相似性，克服了传统指标无法兼顾外观细节与语义内容的局限，并引入 Sref 和 IP 基准，在多基准上实现了与人类偏好高度一致的最先进性能。
2024-12-19 cs.CV
Improving Visual Representation Learning through Perceptual Understanding
Tractable AI（Tractable人工智能公司）
我们提出了一个扩展掩码自编码器（MAE），它通过明确鼓励学习更高的场景级别的功能，提高了模型学习的表示。我们通过以下方式做到这一点：（i）在生成的图像和真实图像之间引入感知相似性项（ii）结合对抗训练文献中的几种技术，包括多尺度训练和自适应增强。这些的组合不仅导致更好的像素重建，而且表现出更好的图像内的更高层次的细节。更重要的是，我们展示了我们的方法，感知MAE，导致更好的性能时，用于下游任务优于以前的方法。我们在ImageNet-1 K上实现了78.1%的top-1精度线性探测，微调时高达88.1%，其他下游任务的结果类似，所有这些都不使用额外的预训练模型或数据。
2023-03-28 cs.CV
Deep Perceptual Compression
Czech Technical University（捷克技术大学）；Amazon（亚马逊）
在最近的文献中已经提出了几种深度学习的有损压缩技术。其中大多数是通过使用MS-SSIM（多尺度结构相似性）或MSE（均方误差）作为损失函数来优化的。不幸的是，这些都与人类的感知没有很好的相关性，这在压缩后的图像中清晰可见。在某些情况下，深度学习技术的MS-SSIM高于传统的非深度学习编解码器，如JPEG-2000或BPG。然而，这些深度学习技术产生的图像在许多情况下对人眼来说明显比JPEG-2000或BPG产生的图像更差。我们建议使用一种替代的深度感知度量，该度量已被证明与人类感知相似性更好地保持一致。然后，我们提出了深度感知压缩（DPC），它利用基于编码器-解码器的图像压缩模型，以联合优化的深度感知度量和MS-SSIM。通过广泛的人类评价，我们表明，该方法产生的视觉效果比以前的学习为基础的压缩方法和JPEG-2000，是可比的BPG。此外，我们证明，对于目标检测等任务，使用DPC压缩的图像具有更好的准确性。
2019-07-31 cs.CV eess.IV
MRI-GAN: A Generalized Approach to Detect DeepFakes using Perceptual Image Assessment
San José State University（圣何塞州立大学）
DeepFakes是通过将原始图像的面部与其他人的面部交换而生成的合成视频。在本文中，我们描述了我们开发基于深度学习的通用模型来对DeepFake内容进行分类的工作。我们提出了一个新的框架，使用生成对抗网络（GAN）为基础的模型，我们称之为MRI-GAN，利用图像中的感知差异来检测合成视频。我们使用DeepFake Detection Challenge Dataset测试了我们的MRI-GAN方法和基于纯帧的模型。我们的基于普通框架的模型达到了91%的测试准确度，而使用我们的MRI-GAN框架和结构相似性指数测量（SSIM）的感知差异模型达到了74%的测试准确度。MRI-GAN的结果是初步的，并且可以通过修改损失函数的选择、调谐超参数或通过使用更高级的感知相似性度量来进一步改进。
2022-02-28 cs.CV cs.LG eess.IV
Low Dose CT Image Denoising Using a Generative Adversarial Network with Wasserstein Distance and Perceptual Loss
Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）；Xian Jiaotong University（西安交通大学）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；West China Hospital（华西医院）
本文介绍了一种基于Wasserstein距离和感知相似性的生成对抗网络（GAN）的CT图像去噪新方法。Wasserstein距离是最优变换理论中的一个重要概念，它有望提高GAN的性能。感知损失将去噪输出的感知特征与已建立的特征空间中的地面真值的感知特征进行比较，而GAN有助于将数据噪声分布从强迁移到弱。因此，我们提出的方法将我们的视觉感知知识转移到图像去噪任务中，不仅能够降低图像噪声水平，而且能够同时保留关键信息。在临床CT图像的实验中取得了令人满意的结果。
2018-04-24 cs.CV
PeCo: Perceptual Codebook for BERT Pre-training of Vision Transformers
Microsoft Research Asia（微软亚洲研究院）
为视觉Transformer的BERT预训练探索了一种较好的预测指标。我们观察到当前的预测目标与人类的感知判断不一致，这种矛盾促使我们学习一个感知预测目标。我们认为，感知相似的图像应该保持接近彼此的预测目标空间。我们意外地发现了一个简单而有效的想法：在dVAE训练过程中加强感知相似性。此外，我们采用自监督Transformer模型进行深度特征提取，并表明它可以很好地计算感知相似度。我们证明，这种学习的视觉标记确实表现出更好的语义含义，并帮助预训练在各种下游任务中实现卓越的传输性能。例如，我们在具有ViT-B主干的ImageNet-1 K上实现了$\textbf{84.5\%}$ Top-1准确度，在相同的预训练时期下，通过$\textbf{+1.3\%}$胜过竞争方法BEiT。该方法在COCO上的目标检测和分割以及在ADE 20 K上的语义分割方面都有了显著的改进。配备了更大的主干ViT-H，我们在仅使用ImageNet-1 K数据的方法中实现了最先进的ImageNet精度（\textbf{88.3\%}）。
2022-12-07 cs.CV cs.LG
Semantically Consistent Image Completion with Fine-grained Details
The Chinese University of Hong Kong（香港中文大学）
由于生成对抗网络（GANs）的进步，图像完成已经取得了重大进展。虽然看起来很自然，但合成的内容仍然缺乏细节，特别是对于具有复杂结构的场景或具有大孔的图像。这是因为在低水平的重建损失和高水平的对抗性损失之间存在差距。为了解决这个问题，我们引入了一个感知网络来提供中级指导，该网络在相似性增强的空间中测量合成内容和原始内容之间的语义相似性。我们对不同损失和不同水平的感知特征在图像补全中的作用进行了详细的分析，表明对抗训练和感知特征之间存在互补性。通过将它们组合在一起，我们的模型可以以端到端的方式实现近乎无缝的融合结果。此外，我们设计了一种有效的轻量级生成器架构，可以用更少的参数实现有效的图像修补。在CelebA Face和Paris StreetView数据集上进行评估，我们提出的方法显着优于现有方法。
2017-11-26 cs.CV
SROBB: Targeted Perceptual Loss for Single Image Super-Resolution
SROBB: Targeted Perceptual Loss for Single Image Super-Resolution（SROBB：面向单幅图像超分辨率的感知损失）
通过感知损失的好处，最近的研究已经显着提高了性能的超分辨率任务，其中高分辨率的图像是从其低分辨率的对应解决。虽然这样的目标函数生成接近照片真实感的结果，但它们的能力是有限的，因为它们以相同的方式估计整个图像的重建误差，而不考虑任何语义信息。在本文中，我们提出了一种新的方法，以更客观的方式从感知损失中受益。我们使用有针对性的目标函数优化了基于深度网络的解码器，该目标函数使用相应的术语对不同语义级别的图像进行惩罚。特别是，所提出的方法利用我们提出的OBB（对象，背景和边界）标签，从分割标签生成，估计一个合适的感知损失的边界，同时考虑纹理相似性的背景。我们表明，我们提出的方法的结果更逼真的纹理和更尖锐的边缘，并优于其他国家的最先进的算法在标准的基准和广泛的用户研究的结果的定性结果。
2019-08-20 cs.CV
When Does Perceptual Alignment Benefit Vision Representations?
MIT（麻省理工学院）；Google DeepMind（谷歌DeepMind）；TU Berlin（柏林工业大学）；BIFOLD（柏林大数据中心）；Weizmann Institute of Science（魏茨曼科学研究所）；Anthropic（Anthropic公司）；U.C. Berkeley（加州大学伯克利分校）
本文研究将视觉模型表示与人类感知判断对齐如何影响其在多种计算机视觉任务中的表现，发现该对齐方法在提升计数、分割等下游任务性能的同时，能广泛保留在专业分布外领域的表现。
2024-10-14 cs.CV cs.LG
CLPIPS: A Personalized Metric for AI-Generated Image Similarity
University of Oklahoma（俄克拉荷马大学）
本文提出CLPIPS，一种基于LPIPS的个性化度量标准，通过人类反馈优化提升感知对齐，展示有限的人工调整可显著增强文本到图像工作流中的感知对齐。
2026-03-26 cs.AI cs.CV eess.IV
Perceptual Image Anomaly Detection
Philips Research（飞利浦研究院）；Lomonosov Moscow State University（莫斯科国立罗蒙诺索夫大学）
我们提出了一种新的图像异常检测方法，其中使用的算法，从一些分布的“正常”数据的样本，旨在检测出的分布（异常）样本。我们的方法包括编码器和生成器的组合，用于将图像分布映射到预定义的潜在分布，反之亦然。它利用生成对抗网络来学习这些数据分布，并使用感知损失来检测图像异常。为了实现这一目标，我们引入了一个新的相似性度量，它表示图像之间的感知相似性，并且对图像对比度的变化具有鲁棒性。其次，我们介绍了一种新的方法来选择的权重的多目标损失函数（图像重建和分布映射）的情况下，验证数据集的超参数调整。在训练之后，我们的模型将输入图像的异常性测量为它与建模数据分布的最接近的生成图像之间的感知差异。所提出的方法进行了广泛的评估，在几个公开的图像基准，并实现了最先进的性能。
2020-02-28 cs.CV eess.IV
