Perceptual Quality Assessment of Trisoup-Lifting Encoded 3D Point Clouds
College of Electronics and Information, Qingdao University(青岛大学电子与信息学院);School of Control Science and Engineering, Shandong University(山东大学控制科学与工程学院);School of Electronic and Computer Engineering, Peking University(北京大学电子与计算机工程学院);Peng Cheng Laboratory(鹏城实验室);School of Telecommunications Engineering, Xidian University(西安电子科技大学通信工程学院);Department of Electrical and Computer Engineering, University of Waterloo(滑铁卢大学电气与计算机工程系)
本文提出首个面向Trisoup-Lifting编码三维点云的无参考比特流层质量评估模型streamPCQ-TL,通过TBPP、TC与TQP建模纹理失真并结合几何衰减因子,同时构建了最大规模的专用数据库WPC6.0,实验证明其性能稳健且计算成本低。
2024-10-19 cs.CV eess.IV
Asynchronous Feedback Network for Perceptual Point Cloud Quality Assessment
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University(上海交通大学合作 medianet 创新中心);University of Missouri–Kansas City(密苏里大学堪萨斯分校)
针对无参考点云质量评估中全局与局部特征缺乏交互的问题,提出AFQ-Net,通过双分支异步反馈、注意力引导动态卷积及由粗到细融合提升预测性能。
2024-12-02 cs.CV
Perceptual Quality Assessment of NeRF and Neural View Synthesis Methods for Front-Facing Views
University of Cambridge(剑桥大学);ISTI-CNR(意大利国家研究委员会信息科学与技术研究所)
本文首次对NVS和NeRF变体进行感知评估,构建了含参考视频序列的数据集,通过受控实验和多种指标分析合成视频质量,为NVS评估的数据集与指标选择提供建议。
2023-10-24 cs.CV eess.IV
Textured Geometry Evaluation: Perceptual 3D Textured Shape Metric via 3D Latent-Geometry Network
本文提出TGE方法,通过直接利用3D纹理网格的几何和颜色信息,实现对3D纹理形状保真度的感知评估,优于传统基于渲染的方法。
2025-12-01 cs.CV
Prototype-Aware Heterogeneous Task for Point Cloud Completion
Shanghai Jiao Tong University(上海交通大学);East China Normal University(华东师范大学)
点云补全是从局部点云数据中恢复原始形状信息的一种方法,已引起三维视觉界的广泛关注。现有的方法通常能成功地完成标准形状的点云生成,而不能生成非标准形状的点云局部细节。为了获得理想的局部细节,全局形状信息的指导至关重要。在这项工作中,我们设计了一种有效的方法来区分标准/非标准形状的帮助下,类内的形状原型表示,这可以通过建议的监督形状聚类借口任务计算,从而在一个异构组件w.r.t完成网络。定义为形状类别的特征质心的代表性原型可以提供全局形状指导,这被称为软感知先验,以多尺度方式通过期望的选择性感知特征融合模块注入下游完成网络。此外,为了有效的训练,我们考虑了基于难度的采样策略,以鼓励网络更多地关注一些几何信息较少的部分点云。实验结果表明,该方法优于现有方法,具有较强的完成复杂几何形状的能力。
2022-09-05 cs.CV
DAL-PCQA: Enabling Distortion-Level and Language-Driven Reasoning for Point Cloud Quality Assessment
University of Brasília(巴西利亚大学)
提出DAL-PCQA数据集,通过多级失真标签、质量类别和自然语言描述,结合零样本与微调多模态模型,实现可解释的点云质量评估。
2026-06-06 cs.CV cs.MM eess.IV
Perceptual Quality Assessment of 3D Gaussian Splatting: A Subjective Dataset and Prediction Metric
针对3D高斯溅射(3DGS)渲染内容感知质量研究不足的问题,提出首个主观质量评估数据集3DGS-QA,并设计基于3D高斯基元的无参考预测模型,其性能优于现有方法,推动3DGS质量评估研究。
2025-11-11 cs.CV
Puzzle Similarity: A Perceptually-guided Cross-Reference Metric for Artifact Detection in 3D Scene Reconstructions
USI(USI大学);IDSIA(IDSIA研究所)
针对3D重建新视图伪影检测缺乏有效度量的问题,提出交叉参考度量Puzzle Similarity,通过训练视图块分布定位伪影,构建人工标注数据集验证其达到SOTA,可提升相关应用效果。
2025-07-29 cs.AI cs.CV cs.GR
Blind Quality Assessment of 3D Dense Point Clouds with Structure Guided Resampling
University of Waterloo(滑铁卢大学);Tencent MediaLab(腾讯媒体实验室);Ningbo University(宁波大学);Shanghai Jiao Tong University(上海交通大学);Nanyang Technological University(南洋理工大学)
三维点云的客观质量评估是开发沉浸式多媒体系统在现实世界中的应用必不可少的。尽管2D图像和视频的感知质量评估取得了成功,但对于具有大规模不规则分布的3D点的3D点云,盲/无参考度量仍然很少。因此,在本文中,我们提出了一个客观的点云质量指数与结构引导呼吸(SGR)自动评估三维密集点云的感知视觉质量。SGR是一种通用的盲质量评估方法,无需任何参考信息的帮助。具体来说,考虑到人类视觉系统(HVS)是高度敏感的结构信息,我们首先利用点云的唯一的法向量执行区域预处理,其中包括关键点检索和局部区域的建设。然后,我们提取了三组与质量相关的特征,包括:1)几何密度特征; 2)颜色自然度特征; 3)角度一致性特征。人类大脑的认知特性和自然规律都涉及到设计的质量感知功能,可以捕捉扭曲的3D点云的最重要方面。在几个公开的主观点云质量数据库上进行的大量实验验证了我们提出的SGR可以与最先进的全参考,减少参考和无参考质量评估算法竞争。
2022-08-31 cs.CV cs.MM
Style-based Point Generator with Adversarial Rendering for Point Cloud Completion
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
本文提出了一种基于样式的点生成器和对抗性绘制(SpareNet)来完成点云的绘制。首先,我们提出了通道关注EdgeConv,以充分利用点特征的局部结构以及全局形状。其次,我们观察到香草折叠所使用的连接方式限制了其生成复杂和忠实形状的潜力。受StyleGAN的成功启发,我们将形状特征视为样式代码,在折叠过程中调制规范化层,这大大增强了其能力。第三,我们认识到,现有的点监督,例如,倒角距离或地球移动器的距离,不能忠实地反映重建点的感知质量。为了解决这个问题,我们建议使用可区分的渲染器将完成的点投影到深度图,并应用对抗训练来倡导不同视角下的感知现实主义。ShapeNet和KITTI上的综合实验证明了我们方法的有效性,它在提供卓越视觉质量的同时实现了最先进的定量性能。
2021-05-12 cs.CV
Contrastive Pre-Training with Multi-View Fusion for No-Reference Point Cloud Quality Assessment
Shanghai Jiao Tong University(上海交通大学);Tencent(腾讯);University of Washington(华盛顿大学)
针对无参考点云质量评估标注数据稀缺和泛化差的问题,提出对比预训练框架CoPA学习质量感知表示,并设计语义引导多视图融合模块,在多个基准上超越现有方法且能惠及其他模型。
2024-03-27 cs.CV cs.MM
Associate-3Ddet: Perceptual-to-Conceptual Association for 3D Point Cloud Object Detection
Fudan University(复旦大学);Baidu Inc.(百度公司);University of Science and Technology of China(中国科学技术大学)
从3D点云中检测目标检测仍然是一项具有挑战性的任务,尽管最近的研究利用深度学习技术突破了极限。由于点云数据存在严重的空间遮挡和点密度随距离变化的固有差异,同一物体在点云数据中的外观变化很大。因此,针对这种外观变化设计鲁棒的特征表示是3D目标检测方法中的关键问题。在本文中,我们创新性地提出了一种类似领域自适应的方法来增强特征表示的鲁棒性。更具体地说,我们弥合了感知域之间的差距,在感知域中的特征来自真实场景,在概念域中的特征是从由非遮挡点云丰富的详细信息组成的增强场景中提取的。这种领域自适应方法模拟了人脑在进行物体感知时的功能。大量的实验表明,我们简单而有效的方法从根本上提高了三维点云目标检测的性能,并达到了最先进的结果。
2020-06-08 cs.CV cs.LG cs.RO
Rethinking Perceptual Metrics for Medical Image Translation
Duke University(杜克大学)
该研究针对医学图像翻译的评估问题,测试了多种感知度量在两项翻译任务上的表现,发现常用感知度量与分割任务相关性差,而像素级SWD度量或适用于细微模态内翻译,指出需进一步研究适配医学场景的评估度量。
2024-04-10 cs.CV cs.LG eess.IV
The Effect of Perceptual Metrics on Music Representation Learning for Genre Classification
University of Bristol(布里斯托尔大学);Universitat de Valencia(瓦伦西亚大学)
研究感知度量在音乐流派分类表征学习中的作用,发现以感知损失训练的自编码器提取特征比直接作距离度量更能提升分类性能和泛化能力。
2024-09-25 cs.AI cs.CV cs.LG
LipSim: A Provably Robust Perceptual Similarity Metric
New York University(纽约大学)
本文揭示了现有感知相似度度量易受对抗攻击的问题,提出基于1-Lipschitz网络的LipSim度量,提供可证明的鲁棒性保证,并在自然分数、认证分数及图像检索中验证其性能。
2024-03-29 cs.CV cs.LG
R-LPIPS: An Adversarially Robust Perceptual Similarity Metric
New York University(纽约大学)
针对LPIPS度量易受对抗样本攻击的安全隐患,本文提出了利用对抗训练深度特征的新度量R-LPIPS,并通过实验证明了其相比经典LPIPS的优越性与鲁棒性。
2023-07-31 cs.CV cs.LG eess.IV
A study of deep perceptual metrics for image quality assessment
ENSTA Paris, Institut Polytechnique de Paris(巴黎高等先进技术学院,巴黎理工学院);Safrantech, Safran Group(赛峰科技,赛峰集团)
有几种度量标准可以量化图像之间的相似性,但当涉及到测量高度失真图像的相似性时,它们的效率很低。在这项工作中,我们提出了基于深度神经网络的感知度量来解决图像质量评估(IQA)任务。我们根据不同的超参数(如网络的架构或训练过程)来研究深度感知指标。最后,我们提出了我们的多分辨率感知度量(MR-感知),它允许我们在不同的分辨率下聚合感知信息,并在具有不同图像变形的IQA任务上优于标准感知度量。我们的代码可在https://github.com/ENSTA-U2IS/MR_perceptual上获得
2022-02-17 cs.AI cs.CV cs.GR
Adversarially Robust CLIP Models Can Induce Better (Robust) Perceptual Metrics
EPFL(洛桑联邦理工学院);Tübingen AI Center, University of Tübingen(蒂宾根大学蒂宾根人工智能中心)
本文提出通过无监督对抗微调得到 R-CLIP_F,以诱导兼具零样本高性能、对抗鲁棒性和可解释性的感知度量,并验证其在 NSFW 检测与图像检索中的优势。
2025-02-17 cs.CV cs.LG
Towards Unified Benchmark and Models for Multi-Modal Perceptual Metrics
New York University(纽约大学);EPFL(洛桑联邦理工学院)
本研究提出UniSim-Bench基准,评估多模态感知指标,并微调视觉语言模型以统一多任务相似性度量,虽取得最高平均性能,但泛化仍具挑战。
2024-12-13 cs.CV cs.LG
Data is Overrated: Perceptual Metrics Can Lead Learning in the Absence of Training Data
University of Bristol(布里斯托大学);Universitat de Valencia(瓦伦西亚大学)
本文在音频领域将感知指标用作训练损失,让压缩自编码器仅学习重建均匀噪声,证明其比欧几里得损失更能提升对未见自然信号的泛化。
2023-12-06 cs.AI cs.CV cs.LG
A Perceptual Quality Metric for Video Frame Interpolation
Portland State University(波特兰州立大学)
视频帧内插技术的研究近年来取得了很大的进展。然而,现有的方法大多使用现成的指标来衡量插值结果的质量,除了少数方法,采用用户研究,这是耗时的。由于视频帧内插结果经常表现出独特的伪影,现有的质量度量在测量内插结果时有时与人类感知不一致。一些最近的基于深度学习的感知质量指标显示出与人类判断更一致,但它们在视频上的性能受到影响,因为它们不考虑时间信息。在本文中,我们提出了一个专门的感知质量度量测量视频帧插值结果。我们的方法直接从视频而不是单个帧中学习感知特征。该方法比较了从视频帧中提取的金字塔特征,并采用Swin Transformer基于块的时空模块提取时空信息。为了训练我们的度量,我们收集了一个新的视频帧插值质量评估数据集。我们的实验表明,我们的专用质量指标优于国家的最先进的方法时,测量视频帧插值结果。我们的代码和模型在\url{https://github.com/hqqxyy/VFIPS}上公开提供。
2022-10-04 cs.CV eess.IV
A New Super-Resolution Measurement of Perceptual Quality and Fidelity
超分辨率结果通常通过全参考图像质量度量或人类评级分数来测量。然而,这些评估方法是一般的图像质量测量,并且不考虑超分辨率问题的性质。本文基于超分辨率的一对多映射特性,分析了评价问题,提出了一种新的基于分布的超分辨率度量方法。从分布距离出发,我们推导出建议的度量,使其易于访问和计算。通过人体受试者的研究超分辨率,我们表明,该指标是高度相关的人类感知质量,并优于大多数现有的指标。此外,所提出的度量与基于感知的度量相比,与保真度度量具有更高的相关性。为了了解所提出的度量的属性,我们进行了广泛的评估,在其设计选择,并表明该度量是强大的设计选择。最后,我们表明,该度量可以用于训练超分辨率网络,以获得更好的感知质量。
2023-03-10 cs.CV eess.IV
Generating Images with Perceptual Similarity Metrics based on Deep Networks
University of Freiburg(弗莱堡大学)
图像生成机器学习模型通常使用基于图像空间中的距离的损失函数来训练。这通常会导致过度平滑的结果。我们提出了一类损失函数,我们称之为深度感知相似性度量(DeePSiM),以减轻这个问题。我们不是计算图像空间中的距离,而是计算由深度神经网络提取的图像特征之间的距离。该度量更好地反映了图像的感知相似性,从而导致更好的结果。我们展示了三个应用:自动编码器训练,变分自编码器的修改,以及深度卷积网络的逆。在所有情况下,生成的图像看起来清晰,类似于自然图像。
2016-02-09 cs.CV cs.LG cs.NE
Shift-tolerant Perceptual Similarity Metric
Portland State University(波特兰州立大学)
现有的感知相似性度量假设图像和其参考很好地对齐。因此,这些度量通常对人眼察觉不到的小对准误差敏感。本文研究了小错位的影响,特别是输入和参考图像之间的一个小的移位,对现有的度量,并相应地开发了一个移位容忍的相似性度量。本文建立在LPIPS,一个广泛使用的学习感知相似性度量,并探讨了架构设计考虑,使其对不可察觉的错位鲁棒。具体来说,我们研究了广泛的神经网络元素,如抗混叠滤波,池化,跨步,填充和跳过连接,并讨论了他们的角色,使一个强大的度量。基于我们的研究,我们开发了一种新的基于深度神经网络的感知相似性度量。我们的实验表明,我们的度量是宽容的不可察觉的变化,同时符合人类的相似性判断。
2022-07-27 cs.CV
Saliency Driven Perceptual Image Compression
Czech Technical University in Prague(布拉格捷克理工大学);Amazon Web Services(亚马逊云科技)
本文提出了一种新的端到端的有损图像压缩可训练模型,其中包括几个新的组件。该方法包括:1)适当的感知相似性度量; 2)图像中的显著性; 3)分层自回归模型。本文证明了常用的评价指标,如MS-SSIM和PSNR是不够的判断图像压缩技术的性能,因为它们不符合人类的感知相似性。或者,提出了一种新的度量,该度量是在特定于图像压缩的感知相似性数据上学习的。建议的压缩模型采用了显着的区域和优化建议的感知相似性度量。该模型不仅生成视觉效果更好的图像,而且与现有的工程或学习压缩技术相比,还为后续的计算机视觉任务(如对象检测和分割)提供了卓越的性能。
2020-11-08 cs.CV eess.IV
Attacking Perceptual Similarity Metrics
Portland State University(波特兰州立大学)
本研究系统评估感知相似性度量对不可感知对抗扰动的鲁棒性,发现常见攻击可翻转其判断,并提出结合空间与PGD攻击的迁移方法,为度量鲁棒性研究提供基准。
2023-05-15 cs.CV eess.IV
Deep Perceptual Image Quality Assessment for Compression
Google Research(谷歌研究院)
有损图像压缩对于数据的高效存储和传输是必要的。通常,比特率和质量之间的权衡决定了最佳压缩级别。这使得图像质量度量成为任何成像系统的组成部分。虽然现有的全参考指标(如PSNR和SSIM)可能对感知质量不太敏感,但最近引入的学习方法可能无法推广到看不见的数据。在本文中,我们提出了迄今为止最大的具有人类感知偏好的图像压缩质量数据集,允许使用深度学习,并且我们为有损图像压缩开发了一个完整的参考感知质量评估指标,该指标优于现有的最先进的方法。我们表明,该模型可以有效地从新数据集中的数千个示例中学习,因此它可以更好地推广到其他看不见的人类感知偏好数据集。
2021-07-15 cs.CV eess.IV
Identifying and Mitigating Flaws of Deep Perceptual Similarity Metrics
Luleå University of Technology(吕勒奥理工大学)
图像相似性度量是计算机视觉的一个基本问题,目前还没有通用的解决方案。虽然简单的指标,如像素级L2范数已被证明有明显的缺陷,但它们仍然很受欢迎。一组最近的最先进的指标,减轻了这些缺陷中的一些是深度感知相似性(DPS)指标,其中相似性被评估为神经网络的深度特征中的距离。然而,DPS指标本身的好处,特别是它们的缺陷没有得到彻底的检查。这项工作研究了最常见的DPS度量,其中深度特征通过空间位置进行比较,以及比较平均和排序的深度特征的度量。通过使用专门设计的图像对指标进行深入分析,以了解指标的优点和缺点。这项工作有助于对DPS缺陷的新见解,并进一步建议改进指标。这项工作的实现可以在网上获得:https://github.com/guspih/deep_perceptual_similarity_analysis/
2022-07-06 cs.CV
A Domain-specific Perceptual Metric via Contrastive Self-supervised Representation: Applications on Natural and Medical Images
Technical University of Munich(慕尼黑工业大学);University of Zurich(苏黎世大学);Southern University of Science and Technology(南方科技大学);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院)
量化两幅图像的感知相似性是低级计算机视觉中的一个长期问题。自然图像领域通常依赖于监督学习,例如,预训练的VGG,以获得潜在表示。然而,由于域偏移,来自自然图像域的预训练模型可能不适用于其他图像域,例如医学成像。值得注意的是,在医学成像中,评估感知相似性仅由在不同医学领域接受过广泛培训的专家执行。因此,医学成像仍然缺乏任务特定的,客观的感知措施。这项工作回答了这样一个问题:是否有必要依靠监督学习来获得一个有效的表示,可以衡量感知相似性,或者自我监督就足够了?为了了解最近的对比自监督表示(CSR)是否可以拯救,我们从自然图像开始,系统地评估CSR作为众多当代架构和任务的度量,并将其与现有方法进行比较。我们发现,在自然图像域中,CSR的行为与监督的一个在几个感知测试作为一个度量,在医疗领域,CSR更好地量化感知相似性有关的专家的评级。我们还证明了CSR可以显着提高图像质量在两个图像合成任务。最后,我们广泛的研究结果表明,感知是一个新兴的CSR属性,它可以适应许多图像域,而不需要注释。
2022-12-03 cs.CV cs.MM eess.IV
Towards a Semantic Perceptual Image Metric
Google AI Perception(谷歌AI感知部门)
我们提出了一个完整的参考,感知图像度量的基础上VGG-16,人工神经网络对象分类训练。我们将该指标拟合到一个新的数据库中,该数据库基于14万张由接受最少指导的人类评分员用地面实况注释的独特图像。由此产生的指标显示了TID 2013的竞争性能,TID 2013是一个广泛用于评估图像质量评估方法的数据库。更有趣的是,它表现出强烈的反应,对象可能携带语义相关性,如面孔和文字,我们证明使用可视化技术和消融实验。实际上,该指标似乎模拟了语义上下文对判断的更高影响,我们在未经训练的评分员中观察到了这一点。由于图像处理系统的绝大多数用户不熟悉图像质量评估(IQA)任务,这些发现可能会对感知度量的实际应用产生重大影响。
2018-08-01 cs.CV
The Unreasonable Effectiveness of Deep Features as a Perceptual Metric
UC Berkeley(加州大学伯克利分校);OpenAI(开放人工智能研究中心);Adobe Research(奥多比研究院)
虽然人类几乎毫不费力地快速评估两个图像之间的感知相似性,但其潜在过程被认为是相当复杂的。尽管如此,当今最广泛使用的感知指标,如PSNR和SSIM,都是简单、肤浅的函数,无法解释人类感知的许多细微差别。最近,深度学习社区发现,在ImageNet分类上训练的VGG网络的特征作为图像合成的训练损失非常有用。但是这些所谓的“知觉损失”有多知觉呢?哪些因素对他们的成功至关重要?为了回答这些问题,我们引入了一个新的人类感知相似性判断数据集。我们系统地评估不同架构和任务的深度功能,并将其与经典指标进行比较。我们发现,在我们的数据集上,深度特征的表现远远优于所有以前的指标。更令人惊讶的是,这个结果并不局限于ImageNet训练的VGG特征,而是适用于不同的深度架构和监督级别(监督,自监督甚至无监督)。我们的研究结果表明,感知相似性是一个新兴的财产共享的深视觉表征。
2018-04-10 cs.CV cs.GR
A new Image Similarity Metric for a Perceptual and Transparent Geometric and Chromatic Assessment
Institute for High-Performance Computing and Networking (ICAR) - National Research Council (CNR)(高性能计算与网络研究所(ICAR)- 国家研究理事会(CNR));University of Naples Federico II(那不勒斯费德里科二世大学);University of Naples Parthenope(那不勒斯帕尔泰诺大学)
本文提出了一种结合纹理和色彩差异的新型图像相似性度量方法,通过Earth Mover's Distance和Oklab色彩空间提升感知评估的透明性和准确性。
2026-01-27 cs.CV
MILO: A Lightweight Perceptual Quality Metric for Image and Latent-Space Optimization
Max Planck Institute for Informatics(马克斯·普朗克研究所(信息研究所))
本研究提出轻量级多尺度感知质量度量MILO,通过伪MOS监督训练,在FR-IQA基准上性能优于现有方法,还可作为感知损失结合空间掩蔽与课程学习,提升生成式任务性能并降低计算开销。
2025-09-01 cs.CV
Robust Representation Learning via Perceptual Similarity Metrics
Autodesk AI Lab(欧特克人工智能实验室);Stanford University(斯坦福大学);Mila(米拉人工智能研究所);Université de Montréal(蒙特利尔大学)
人工智能的一个基本挑战是学习有用的数据表示,在下游任务中产生良好的性能,而不会过度拟合虚假的输入特征。提取这种任务相关的预测信息对于现实世界的数据集来说特别困难。在这项工作中,我们提出了对比输入变形(CIM),一个表示学习框架,学习数据的输入空间变换,以减轻不相关的输入功能对下游性能的影响。我们的方法利用感知相似性度量通过一个三重损失,以确保转换保留任务相关的information.Empirically,我们证明了我们的方法对任务的有效性,通常遭受的虚假相关性的存在:分类与滋扰信息,分布外泛化,并保存子组的准确性。我们还表明,CIM与其他基于互信息的表示学习技术是互补的,并证明当一起使用时,它可以提高变分信息瓶颈(VIB)的性能。
2021-06-11 cs.CV cs.LG
Hybrid Image Resolution Quality Metric (HIRQM):A Comprehensive Perceptual Image Quality Assessment Framework
Indian Institute of Information Technology–Manipur(印度信息技术学院—曼ipur)
本文提出混合图像分辨率质量度量 HIRQM,融合统计、多尺度和 VGG16 深度特征,并通过动态加权机制提升感知对齐,在 TID2013 和 LIVE 上取得优于传统度量的相关性能。
2025-05-04 cs.CV eess.IV
QD-PCQA: Quality-Aware Domain Adaptation for Point Cloud Quality Assessment
本文提出QD-PCQA框架,通过Rank-weighted Conditional Alignment和Quality-guided Feature Augmentation策略提升点云质量评估的泛化能力。
2026-03-16 cs.CV
Perceptually-inspired super-resolution of compressed videos
University of Bristol(布里斯托大学)
空间分辨率自适应是一种在视频压缩中经常采用的提高编码效率的技术。这种方法对输入视频的较低分辨率版本进行编码,并在解码期间重建原始分辨率。最近的工作采用了基于卷积神经网络(CNN)的高级超分辨率方法,而不是使用传统的上采样滤波器,以进一步提高重建质量。这些方法通常被训练为最小化基于像素的损失,例如均方误差(MSE),尽管这种类型的损失度量与主观意见没有很好的相关性。在本文中,感知启发的超分辨率方法(M-SRGAN)提出了使用修改后的CNN模型,已使用生成对抗网络(GAN)与感知损失函数的压缩内容上训练的压缩视频的空间上采样。所提出的方法与HEVC HM 16.20集成,并且已经使用随机访问配置在JVET公共测试条件(UHD测试序列)上进行了评估。结果显示,与原始HM 16.20相比,感知质量有了明显的改善,基于感知质量度量VMAF的平均比特率节省了35.6%(Bjøntegaard Delta测量)。
2021-06-15 cs.CV cs.LG eess.IV
The Many Senses of Visual Similarity: A Text-Prompted Image Perceptual Metric
研究人类视觉相似性判断的上下文依赖问题,通过引入大规模数据集微调VLM,产生能捕捉多种视觉相似性意义的TPIPS度量,该度量与人类感知更契合,还在多种任务中开启新功能。
2026-08-18 cs.CV cs.LG
Scoot: A Perceptual Metric for Facial Sketches
Nankai University(南开大学);Inception Institute of Artificial Intelligence(起源人工智能研究院);Xiamen University(厦门大学);Cardiff University(卡迪夫大学);Peng Cheng Lab(鹏城实验室)
人类视觉系统具有很强的快速判断人脸草图相似性的能力。然而,现有的两个广泛使用的面部草图度量,例如,FSIM和SSIM未能解决该领域中的这种感知相似性。最近的人脸建模领域的研究已经证实,包括结构和纹理的人脸草图合成(FSS)有显着的积极效益。但是,哪些统计数据更重要,并有助于他们的成功?在本文中,我们设计了一个感知度量,称为结构同现纹理(Scoot),它同时考虑块级空间结构和同现纹理统计。为了测试指标的质量,我们提出了三种新的元措施的基础上各种可靠的属性。大量的实验表明,我们的酷指标超过了以前的工作的性能。此外,我们建立了第一个大规模(152k判断)基于人类感知的草图数据库,可以评估一个度量与人类感知的一致性。我们的研究结果表明,“空间结构”和“共生纹理”是人脸草图合成中两个普遍适用的感知特征。
2019-09-04 cs.CV cs.DB
Structured Uncertainty Similarity Score (SUSS): Learning a Probabilistic, Interpretable, Perceptual Metric Between Images
University of Sussex(Sussex大学);University College London(伦敦大学学院)
SUSS通过学习图像特定的线性变换和去相关残差,提供可解释的感知度量,实现与人类视觉紧密对齐的图像相似度评估。
2025-12-03 cs.CV
Perceptually Accurate 3D Talking Head Generation: New Definitions, Speech-Mesh Representation, and Evaluation Metrics
POSTECH(浦项科技大学);KRAFTON(克拉夫顿);KAIST(韩国科学技术院)
本文提出时间同步性、唇部可读性和表现力三项标准,引入语音-网格同步表示作为感知损失和评估指标,显著提升了3D说话头生成的唇部同步感知准确度。
2025-03-31 cs.CV cs.GR
Towards Imperceptible Query-limited Adversarial Attacks with Perceptual Feature Fidelity Loss
University of California(加利福尼亚大学);The Chinese University of Hong Kong(香港中文大学)
最近,有大量的工作是通过视觉上类似于良性样本的对抗性输入来欺骗基于深度学习的分类器,特别是对于图像。然而,研究人员通常使用Lp范数最小化作为不可感知性的代理,这过度简化了真实世界图像和人类视觉感知的多样性和丰富性。在这项工作中,我们提出了一种新的感知度量,利用低级别图像特征保真度和人类视觉敏感度之间的良好联系,我们称之为感知特征保真度损失。我们证明了我们的度量可以鲁棒地反映和描述在各种条件下验证的生成的对抗图像的不可感知性。此外,我们证明了该度量是高度灵活的,可以方便地集成到不同的现有优化框架中,以指导噪声分布,以获得更好的不可感知性。该度量在具有挑战性的黑盒攻击中特别有用,其中由于非平凡的扰动功率而难以实现不可感知性。
2021-01-31 cs.CR cs.CV cs.LG
Foundation Models Boost Low-Level Perceptual Similarity Metrics
Portland State University(波特兰州立大学);Sony Interactive Entertainment (PlayStation)(索尼互动娱乐( PlayStation))
本研究针对全参考图像质量评估中基础模型多用于最终层特征的现状,探索利用基础模型中间特征构建低层感知相似性度量,证实其更有效且无需训练即可超越传统及前沿习得度量。
2025-01-12 cs.CV
RankSRGAN: Generative Adversarial Networks with Ranker for Image Super-Resolution
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学)
生成对抗网络(GAN)已经证明了恢复单个图像超分辨率(SISR)的真实细节的潜力。为了进一步提高超分辨率结果的视觉质量,PIRM 2018-SR Challenge采用感知指标来评估感知质量,如PI,NIQE和Ma。然而,现有的方法不能直接优化这些不可区分的感知指标,这是高度相关的人类评级。为了解决这个问题,我们提出了具有秩的超分辨率生成对抗网络(RankSRGAN),以优化感知度量方向的生成器。具体来说,我们首先训练一个可以学习感知度量行为的Ranker,然后引入一种新的rank-content loss来优化感知质量。最吸引人的部分是,该方法可以结合不同的SR方法的优势,以产生更好的结果。大量的实验表明,RankSRGAN实现了视觉上令人愉悦的结果,并达到了最先进的性能感知指标。项目页面:https://wenlongzhang0724.github.io/Projects/RankSRGAN
2019-08-26 cs.CV
Learning a Saliency Evaluation Metric Using Crowdsourced Perceptual Judgments
Beihang University(北京航空航天大学);University of Central Florida(中佛罗里达大学)
在人类注视预测领域,提出了数十种计算显著性模型,以揭示不同假设和定义下的显著性特征。因此,显着性模型基准测试通常需要多个评估指标来同时从多个角度评估显着性模型。然而,大多数计算度量并没有被设计成直接测量显著图的感知相似性,使得评估结果有时可能与主观印象不一致。为了解决这个问题,本文首先进行了广泛的主观测试,以找出显着性图之间的视觉相似性是如何被人类感知的。基于这些测试中收集的众包数据,我们总结了评估显着性图的几个关键因素,并对现有指标的性能进行了评估。受这些因素的启发,我们建议使用众包感知判断,基于双流卷积神经网络学习显着性评估指标。具体地,来自众包数据的每一对的相对显著性分数被用来在训练过程期间正则化网络。通过捕捉不同受试者在比较显着性图时共享的关键因素,学习的度量更好地与人类对显着性图的感知保持一致,使其成为现有度量的良好补充。实验结果表明,学习的度量可以推广到新图像,新数据集,新模型和合成数据的显着性图的比较。由于学习度量的有效性,它也可以用于促进用于注视预测的新模型的开发。
2018-06-27 cs.CV
Journey Towards Tiny Perceptual Super-Resolution
Samsung AI Center(三星人工智能中心);University of Warwick(华威大学);University of Cambridge(剑桥大学)
最近在单图像感知超分辨率(SR)方面的工作已经证明了通过深度卷积网络生成逼真纹理的前所未有的性能。然而,这些卷积模型过于庞大和昂贵,阻碍了它们在终端设备上的有效部署。在这项工作中,我们提出了一种神经架构搜索(NAS)方法,该方法将NAS和生成对抗网络(GANs)与感知SR的最新进展相结合,并提高了小型感知SR模型的效率,以促进设备上的执行。具体来说,我们搜索的架构的发电机和连续的,突出的独特的挑战和关键的意见,搜索SR优化的连续的,并将它们与现有的连续的架构在文献中。我们的微型感知SR(TPSR)模型在全参考感知度量(LPIPS)和失真度量(PSNR)方面都优于SRGAN和EnhanceNet,同时分别提高了26.4 $\times$的内存效率和33.6 $\times$的计算效率。
2020-07-08 cs.CV eess.IV
PerSIM: Multi-resolution Image Quality Assessment in the Perceptually Uniform Color Domain
Georgia Institute of Technology(佐治亚理工学院)
一个普通的观察者感知世界的颜色,而不是黑色和白色。此外,视觉系统关注的是结构和片段,而不是单个像素。基于这些观察,我们提出了一个完整的参考客观图像质量度量建模视觉系统的特性和色度相似性在感知均匀的颜色域(Lab)。在L通道中获得高斯拉普拉斯特征以模拟人类视觉系统中的视网膜神经节细胞,并且在a和b通道上计算颜色相似性。在所提出的感知相似性指数(PerSIM),多分辨率的方法来模仿人类视觉系统的分层性质。在验证中使用了LIVE和TID 2013数据库,PerSIM在排名、单调行为和线性方面优于整个数据库中的所有比较指标。
2018-11-18 cs.CV cs.MM eess.IV
Efficient motion-based metrics for video frame interpolation
本文提出一种基于运动场散度的高效视频帧插值质量度量,在 BVI-VFI 数据集上取得合理感知相关性(PLCC=0.51),并比 FloLPIPS 快 2.7 倍,且更偏好感知质量好的插值帧。
2025-09-18 cs.CV eess.IV
A Neural Quality Metric for BRDF Models
Department of Science and Technology, Linköping University(林雪平大学科学与技术系);Department of Computer Science and Technology, University of Cambridge(剑桥大学计算机科学与技术系)
针对传统BRDF空间度量无法捕捉感知差异的问题,本文提出直接在BRDF空间运行的神经质量度量,以MLP实现并基于感知标注数据训练,其与人类判断的相关性显著优于现有度量,为BRDF模型评估提供感知驱动的替代方案。
2025-08-04 cs.CV
Deep Perceptual Similarity is Adaptable to Ambiguous Contexts
Luleå University of Technology(吕勒奥理工大学)
本研究探索深度感知相似度度量对特定上下文的适应性,通过训练ImageNet预训练CNN适应随机失真排序,在99%情况下提升性能且不损害先前表现。
2023-05-12 cs.CV
Learning to Generate Images with Perceptual Similarity Metrics
University of Toronto(多伦多大学);University of Colorado, Boulder(科罗拉多大学博尔德分校)
深度网络越来越多地应用于涉及图像合成的问题,例如,从文本描述中生成图像并从紧凑表示中重建输入图像。图像合成网络的监督训练通常使用逐像素损失(PL)来指示生成的图像与其对应的目标图像之间的失配。相反,我们建议使用一个损失函数,更好地校准到人类对图像质量的感知判断:多尺度结构相似性得分(MS-SSIM)。由于MS-SSIM是可微的,因此很容易将其纳入梯度下降学习。我们比较了使用MS-SSIM与PL损失对训练确定性和随机自编码器的后果。对于三种不同的架构,我们收集了人类对图像重建质量的判断。对于两种不同的PL测量($\ell_1$和$\ell_2$距离),观察者可靠地偏好由MS-SSIM优化模型合成的图像,而不是由PL优化模型合成的图像。我们还探讨了训练目标对图像编码的影响,并分析了感知优化表示在图像分类上产生更好性能的条件。最后,我们展示了感知优化网络在超分辨率成像中的优越性。正如计算机视觉通过使用模仿哺乳动物视觉系统结构的卷积架构而取得的进步一样,我们认为,通过使用与人类感知特征保持一致的训练目标,可以在图像建模方面取得重大进展。
2017-01-24 cs.CV cs.LG
RankSRGAN: Super Resolution Generative Adversarial Networks with Learning to Rank
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Shanghai AI Lab(上海人工智能实验室)
生成对抗网络(GAN)已经证明了恢复单个图像超分辨率(SISR)的真实细节的潜力。为了进一步提高超分辨率结果的视觉质量,PIRM 2018-SR Challenge采用感知指标来评估感知质量,如PI,NIQE和Ma。然而,现有的方法不能直接优化这些不可区分的感知指标,这是高度相关的人类评级。为了解决这个问题,我们提出了具有秩的超分辨率生成对抗网络(RankSRGAN),以优化不同感知度量方向的生成器。具体来说,我们首先训练一个可以学习感知度量行为的Ranker,然后引入一种新的rank-content损失来优化感知质量。最吸引人的部分是,该方法可以结合不同的SR方法的优势,以产生更好的结果。此外,我们将我们的方法扩展到多个Rankers,为生成器提供多维约束。大量的实验表明,RankSRGAN实现了视觉上令人愉悦的结果,并达到了最先进的性能,在感知指标和质量。项目页面:https://wenlongzhang0517.github.io/Projects/RankSRGAN
2021-07-20 cs.CV
The Unreasonable Effectiveness of Linear Prediction as a Perceptual Metric
University of Toronto(多伦多大学);Vector Institute for A.I.(向量人工智能研究所);Google Deepmind(谷歌DeepMind);Google Research(谷歌研究院)
本文提出一种无需训练数据或深度特征的线性预测感知度量LASI,在推理时求解加权最小二乘问题构建感知嵌入,性能媲美LPIPS等深度方法,计算成本接近MS-SSIM,且可与现有度量互补。
2023-10-06 cs.CV
An Unsupervised Information-Theoretic Perceptual Quality Metric
Google Research(谷歌研究院)
人类感知的易处理模型已经证明是具有挑战性的建设。手工设计的模型,如MS-SSIM仍然是流行的预测人类图像质量的判断,由于其简单性和速度。最近的现代深度学习方法可以表现得更好,但它们依赖于收集成本高昂的监督数据:大量的类标签,如ImageNet,图像质量评级,或两者兼而有之。我们将信息理论目标函数的最新进展与人类视觉系统的生理学和对视频帧的无监督训练所告知的计算架构相结合,产生了我们的感知信息度量(PIM)。我们表明,PIM与最近和具有挑战性的BAPPS图像质量评估数据集上的监督度量具有竞争力,并且在预测CLIC 2020中图像压缩方法的排名方面优于它们。我们还使用ImageNet-C数据集进行定性实验,并建立PIM是强大的建筑细节。
2021-01-10 cs.CV