Verification of Very Low-Resolution Faces Using An Identity-Preserving Deep Face Super-Resolution Network
Mitsubishi Electric Research Labs (MERL)(三菱电机研究实验室)
人脸超分辨率方法通常旨在产生视觉上吸引人的结果,而不是为了进一步的人脸识别而保留显著特征。在这项工作中,我们提出了一种深度学习方法,用于在非常低分辨率的人脸图像上进行人脸验证,该方法涉及身份保留人脸超分辨率。我们的框架包括一个超分辨率网络和一个特征提取网络。我们训练了一个基于VGG的深度人脸识别网络(Parkhi et al. 2015),将其用作特征提取器。我们的超分辨率网络经过训练,以最小化高分辨率地面实况图像和超分辨率图像之间的特征距离,其中使用我们预先训练的特征提取网络提取特征。我们在FRGC,Multi-PIE,LFW-a和MegaFace数据集上进行了实验,以评估我们在受控和非受控环境中的方法。实验结果表明,该方法在低分辨率人脸验证中的性能优于传统的超分辨率方法。
2019-03-26 cs.CV
FaceQgen: Semi-Supervised Deep Learning for Face Image Quality Assessment
School of Engineering, Universidad Autonoma de Madrid(马德里自治大学工程学院)
在本文中,我们开发了FaceQgen,一个无参考的人脸图像质量评估方法的基础上的生成对抗网络,生成一个标量的质量测量与人脸识别的准确性。FaceQgen不需要标签质量措施进行培训。它使用SCface数据库从头开始训练。FaceQgen将图像复原应用于未知质量的面部图像,将其变换为规范的高质量图像,即,正面姿态、均匀背景等。质量估计被建立为原始图像和恢复图像之间的相似性,因为低质量图像由于恢复而经历更大的变化。我们比较了三种不同的数值质量度量:a)原始图像和恢复图像之间的MSE,b)它们的SSIM,以及c)GAN的鉴别器的输出分数。结果表明,FaceQgen的质量措施是很好的人脸识别精度的估计。我们的实验包括与其他为人脸和一般图像设计的质量评估方法的比较,以便将FaceQgen定位在最先进的水平。这种比较表明,即使FaceQgen在人脸识别准确性预测方面没有超过现有的最佳人脸质量评估方法,它取得了足够好的结果,证明了半监督学习方法用于质量估计的潜力(特别是,基于每个主题的单个高质量图像的数据驱动学习),具有在未来通过充分细化模型来提高其性能的能力,并且与不需要质量标签来开发其开发的竞争方法相比具有显著优势。这使得FaceQgen具有灵活性和可扩展性,无需昂贵的数据整理。
2022-01-03 cs.CV eess.IV
Teacher-Student Network for Real-World Face Super-Resolution with Progressive Embedding of Edge Information
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
针对合成与真实低分辨率人脸图像间的域间隙问题,提出教师-学生模型,利用循环网络中间输出渐进嵌入边缘信息,在真实人脸超分辨率上超越现有方法。
2024-05-08 cs.CV eess.IV
Deep multi-frame face super-resolution
近年来,人脸验证和识别问题取得了快速的进展,然而,从小尺寸图像中识别仍然是一项具有挑战性的任务,该任务与人脸超分辨率的任务内在地交织在一起。使用多帧来解决这个问题是一个有吸引力的想法,但需要解决对齐问题,这对于低分辨率的人脸来说也是一个挑战。在这里,我们提出了一个整体系统的多帧识别,对齐和超分辨率的面孔。我们的神经网络架构恢复每个输入序列的中心帧,另外考虑到相邻帧的数量,并利用亚像素运动。我们使用流行的视频人脸识别数据集(YouTube Faces)来展示我们的结果。与包括基于单图像超分辨率的基线相比,我们显示出识别分数的显著改善。
2017-10-15 cs.CV
SelFSR: Self-Conditioned Face Super-Resolution in the Wild via Flow Field Degradation Network
Institute of Cyber-System and Control, Zhejiang University(浙江大学智能系统与控制研究所);Ningbo Research Institute, Zhejiang University(浙江大学宁波研究院);State Key Laboratory of Industrial Control Technology, Zhejiang University(浙江大学工业控制技术国家重点实验室)
尽管在基准数据集上取得了成功,但大多数先进的人脸超分辨率模型在真实场景中表现不佳,因为真实图像和合成训练对之间存在显着的域差距。为了解决这个问题,我们提出了一种新的域自适应退化网络的人脸超分辨率在野外。该退化网络预测流场以及中间低分辨率图像。然后,通过扭曲中间图像来生成退化的对应物。由于优先捕获运动模糊,这种模型在保持原始图像和退化图像之间的一致性方面表现得更好。我们进一步提出了超分辨率网络的自适应块。该块将输入图像作为条件项,以有效地利用面部结构信息,消除对显式先验(例如,面部标志或边界)的依赖。我们的模型在CelebA和真实世界的人脸数据集上都达到了最先进的性能。前者展示了我们提出的架构的强大生成能力,而后者在现实世界的图像中表现出出色的身份一致性和感知质量。
2021-12-20 cs.CV eess.IV
Component Attention Guided Face Super-Resolution Network: CAGFace
The University of Auckland(奥克兰大学);Purdue University(普渡大学);The Australian National University(澳大利亚国立大学)
为了充分利用人脸的底层结构、人脸数据集的集体信息以及上采样过程中的中间估计,这里我们介绍了一种用于人脸图像的4 $\times$超分辨率的全卷积多级神经网络。我们使用分割网络隐式地施加面部组件式注意力地图,以使我们的网络专注于面部固有模式。我们网络的每个阶段都由一个主干层、一个残差主干层和空间上采样层组成。我们循环地应用阶段来重建中间图像,然后重用其空间到深度转换的版本来逐步引导和增强图像质量。我们的实验表明,我们的脸超分辨率方法实现定量优越和感知愉悦的结果相比,最先进的。
2019-10-19 cs.CV
FSRNet: End-to-End Learning Face Super-Resolution with Facial Priors
Nanjing University of Science and Technology(南京理工大学);Youtu Lab, Tencent(腾讯优图实验室);Michigan State University(密歇根州立大学);University of Adelaide(阿德莱德大学)
人脸超分辨率(SR)是一个特定领域的超分辨率问题。可以利用特定的面部先验知识来更好地超分辨率面部图像。本文提出了一种新型的深度端到端可训练人脸超分辨率网络(FSRNet),它充分利用了人脸的几何先验,面部地标热图和解析图,以超分辨率极低分辨率(LR)的面部图像,而无需良好对齐的要求。具体来说,我们首先构建一个粗糙的SR网络来恢复粗糙的高分辨率(HR)图像。然后,粗HR图像被发送到两个分支:精细SR编码器和先验信息估计网络,其提取图像特征,并分别估计界标热图/解析图。图像特征和先验信息都被发送到精细SR解码器以恢复HR图像。为了进一步生成逼真的人脸,我们提出了人脸超分辨率生成对抗网络(FSRGAN),将对抗损失纳入FSRNet。此外,我们引入了两个相关的任务,人脸对齐和解析,作为新的评价指标的脸SR,解决了经典指标w.r.t.视觉感知大量的基准测试实验表明,FSRNet和FSRGAN在定量和定性上都明显优于LR人脸SR的最新技术水平。代码将在发布时提供。
2017-11-29 cs.CV
Self-Supervised Robustifying Guidance for Monocular 3D Face Reconstruction
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);Microsoft AI R&D Center(微软人工智能研发中心);MediaTek Inc.(联发科技股份有限公司)
尽管最近的发展,在三维人脸重建的遮挡和噪声的人脸图像,性能仍然不能令人满意。此外,大多数现有的方法依赖于额外的依赖关系,对训练过程造成了许多限制。因此,我们提出了一个自我监督的鲁棒性指南(ROGUE)框架,以获得鲁棒性对遮挡和噪声的人脸图像。建议的网络包含1)指导管道,以获得干净人脸的3D人脸系数; 2)鲁棒化管道,以获得遮挡或噪声图像的估计系数与干净对应图像之间的一致性。提出的图像级和特征级损失函数有助于ROGUE学习过程,而不会产生额外的依赖关系。为了便于模型评估,我们提出了两个具有挑战性的遮挡人脸数据集,ReaChOcc和SynChOcc,包含真实世界和合成的基于遮挡的人脸图像,用于鲁棒性评估。此外,产生CelebA的测试数据集的噪声变体用于评估。我们的方法比目前最先进的方法性能好得多(例如,对于感知误差,对于真实世界遮挡减少23.8%,对于合成遮挡减少26.4%,对于噪声图像减少22.7%),证明了所提出的方法的有效性。遮挡数据集和相应的评估代码在https://github.com/ArcTrinity9/Datasets-ReaChOcc-and-SynChOcc上公开发布。
2022-10-21 cs.AI cs.CV
Face Super-Resolution with Progressive Embedding of Multi-scale Face Priors
Tianjin University(天津大学);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
人脸超分辨率(FSR)任务是从低分辨率输入重建高分辨率人脸图像。最近的工作已经取得了成功,这项任务,利用面部先验,如面部标志。现有的方法大多关注全局形状和结构信息,而对局部纹理信息关注较少,不能很好地恢复局部细节。在本文中,我们提出了一种新的基于递归卷积网络的人脸超分辨率框架,逐步引入全局形状和局部纹理信息。我们充分利用递归网络的中间输出,在第一步和第二步的输出中分别提取地标信息和面部动作单元(AU)信息,而不是低分辨率的输入。此外,我们引入了AU分类结果作为一种新的定量度量的面部细节恢复。大量的实验表明,我们提出的方法显着优于国家的最先进的FSR方法在图像质量和面部细节恢复。
2022-10-12 cs.CV
Progressive Face Super-Resolution via Attention to Facial Landmark
人脸超分辨率(SR)是SR域的一个子字段,专门针对人脸图像的重建。人脸重建的主要挑战是在不失真的情况下恢复基本的面部特征。我们提出了一种新的人脸SR方法,该方法可以生成逼真的8倍超分辨率人脸图像,并完全保留面部细节。为此,我们采用了渐进式训练方法,通过将网络分成连续的步骤来实现稳定的训练,每个步骤都产生具有逐渐更高分辨率的输出。我们还提出了一种新的面部注意力损失,并将其应用于每一步,通过乘以像素差和热图值来专注于更详细地恢复面部属性。最后,我们提出了一个压缩版本的最先进的人脸对齐网络(FAN)的地标热图提取。通过提出的FAN,我们可以提取适合人脸SR的热图,并减少整体训练时间。实验结果表明,我们的方法优于国家的最先进的方法在定性和定量测量,特别是在感知质量。
2019-08-22 cs.CV
Joint Super-Resolution and Alignment of Tiny Faces
Northeastern University(东北大学)
小人脸的超分辨率(SR)和界标定位是高度相关的任务。一方面,地标定位可以获得更高的精度与人脸的高分辨率(HR)。另一方面,面部SR将受益于面部属性(如地标)的先验知识。因此,我们提出了一个联合对齐和SR网络,同时检测面部标志和超分辨率微小的脸。更具体地说,共享的深度编码器被应用于通过利用互补信息来提取两个任务的特征。为了利用分层编码器的代表能力,共享的特征提取模块的中间层被融合以形成有效的特征表示。然后,融合的特征被馈送到特定于任务的模块,以并行地检测地标和超分辨率面部图像。大量的实验表明,该模型显着优于国家的最先进的地标定位和SR的人脸。我们展示了微小面部的地标定位的大的改进(即,16*16)。此外,所提出的框架对于低分辨率(LR)面部(即,64*64)与现有的人力资源方法(即,256*256)。至于SR,所提出的方法恢复更清晰的边缘和更多的细节LR人脸图像比其他国家的最先进的方法,我们定性和定量地证明。
2019-11-19 cs.CV
Kalman-Inspired Feature Propagation for Video Face Super-Resolution
S-Lab, Nanyang Technological University(新加坡南洋理工大学S-Lab)
针对视频人脸超分辨率中细节重建与时间一致性难以兼顾的问题,提出KEEP框架,借助卡尔曼滤波思想循环传播历史恢复特征以稳定人脸先验,并验证其跨帧细节一致性。
2024-08-09 cs.CV
Learning Spatial Attention for Face Super-Resolution
The University of Hong Kong(香港大学);Tencent AI Lab(腾讯人工智能实验室)
一般的图像超分辨率技术在应用于低分辨率人脸图像时,难以恢复人脸的细节结构。最近针对人脸图像定制的基于深度学习的方法通过与诸如人脸解析和地标预测之类的附加任务联合训练来实现改进的性能。然而,多任务学习需要额外的手动标记数据。此外,大多数现有的工作只能生成相对低分辨率的人脸图像(例如,$128\times128$),因此它们的应用受到限制。在本文中,我们介绍了一种新的空间注意力残差网络(SPARNet)建立在我们新提出的人脸注意力单元(FAU)的人脸超分辨率。具体来说,我们引入了一个空间的注意力机制香草残留块。这使得卷积层能够自适应地引导与关键面部结构相关的特征,并且较少关注那些特征不丰富的区域。这使得训练更加有效和高效,因为关键面部结构仅占面部图像的非常小的部分。注意力地图的可视化显示,我们的空间注意力网络可以很好地捕捉关键的人脸结构,即使是非常低分辨率的人脸(例如,$16\times16$)。各种指标(包括PSNR,SSIM,身份相似性和地标检测)的定量比较表明,我们的方法优于当前的国家的艺术。我们进一步扩展SPARNet与多尺度鉴别器,命名为SPARNetHD,以产生高分辨率的结果(即,$512\times512$)。我们表明,SPARNetHD训练与合成数据不仅可以产生高质量和高分辨率的输出综合退化的人脸图像,但也表现出良好的泛化能力,以现实世界的低质量人脸图像。
2020-12-04 cs.CV
Super-Resolution of Real-World Faces
Indian Institute of Technology, Madras(马德拉斯印度理工学院)
真实的低分辨率(LR)人脸图像包含退化,这些退化变化太大且太复杂,以至于无法通过已知的下采样内核和信号无关噪声来捕获。因此,为了成功地超分辨真实人脸,一种方法需要对大范围的噪声、模糊、压缩伪影等具有鲁棒性。最近的一些作品试图使用生成对抗网络(GAN)从真实图像的数据集对这些退化进行建模。他们生成合成退化的LR图像,并使用它们与相应的真实高分辨率(HR)图像训练一个超分辨率(SR)网络使用的像素级损失和对抗性损失的组合。在本文中,我们提出了一个两个模块的超分辨率网络,其中特征提取器模块从LR图像中提取鲁棒特征,SR模块仅使用这些鲁棒特征生成HR估计。我们训练退化GAN将双三次下采样的干净图像转换为真正的退化图像,并在所获得的退化LR图像和其干净LR对应图像之间进行插值。然后,将该插值LR图像与其对应的HR对应物一起用于从端到端训练超分辨率网络。熵正则化Wasserstein散度用于强制从干净和退化图像中学习的编码特征与从插值图像中提取的编码特征非常相似,以确保鲁棒性。
2022-02-08 cs.CV eess.IV
Semantic Encoder Guided Generative Adversarial Face Ultra-Resolution Network
Lakehead University(湖首大学);Western University(韦仕敦大学);Okanagan College(奥肯那根学院);Hunan Normal University(湖南师范大学);Tianjin University(天津大学);The University of British Columbia Okanagan(不列颠哥伦比亚大学奥肯那根分校)
人脸超分辨率是一种特定领域的图像超分辨率,其目的是从低分辨率(LR)人脸图像生成高分辨率(HR)人脸图像。在本文中,我们提出了一种新的人脸超分辨率方法,即语义编码器引导的生成对抗人脸超分辨率网络(SEGA-FURN),用于将未对齐的微小LR人脸图像超分辨率为具有多个超放大因子(例如,4x和8x)。所提出的网络由一个新型的语义编码器和一个新型的生成器组成,该语义编码器能够捕获嵌入的语义来指导对抗性学习,该生成器使用一个名为内部密集块残差(RIDB)的分层架构。此外,我们提出了一个联合判别图像数据和嵌入的语义。联合神经网络学习图像空间和潜在空间的联合概率分布。我们还使用相对论平均最小二乘损失(RaLS)作为对抗性损失,以减轻梯度消失问题并增强训练过程的稳定性。在大规模人脸数据集上的大量实验证明,该方法可以获得优异的超分辨率结果,在定性和定量比较中均明显优于其他最先进的方法。
2023-01-03 cs.CV cs.LG eess.IV
FCSR-GAN: Joint Face Completion and Super-resolution via Multi-task Learning
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Peng Cheng Laboratory(鹏城实验室);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
包含低分辨率和遮挡的组合变化通常存在于野外的面部图像中,例如,在视频监控的情况下。虽然大多数现有的人脸图像恢复方法只能处理每个模型的一种类型的变化,但在这项工作中,我们提出了一种深度生成对抗网络(FCSR-GAN),用于通过多任务学习执行联合人脸完成和人脸超分辨率。FCSR-GAN的生成器的目的是恢复一个高分辨率的人脸图像没有遮挡给定的输入低分辨率的人脸图像与遮挡。FCSR-GAN的恢复使用一组精心设计的损失(对抗损失,感知损失,像素损失,平滑损失,风格损失和面部先验损失)来确保恢复的高分辨率面部图像的高质量,而不会遮挡。FCSR-GAN的整个网络可以使用我们的两阶段训练策略进行端到端的训练。在公共领域CelebA和Helen数据库上的实验结果表明,该方法在联合执行人脸超分辨率(最多8个$\times$)和人脸补全方面优于现有方法,并在跨数据库测试中表现出良好的泛化能力。当人脸图像中存在低分辨率和遮挡时,我们的FCSR-GAN也有助于提高人脸识别性能。
2019-11-04 cs.CV
Super-FAN: Integrated facial landmark localization and super-resolution of real-world low resolution faces in arbitrary poses with GANs
The University of Nottingham(诺丁汉大学)
本文解决了两个具有挑战性的任务:提高低分辨率的面部图像的质量和准确定位面部标志在这样的低分辨率图像。为此,我们做出了以下5个贡献:(a)我们提出了Super-FAN:第一个同时解决这两个任务的端到端系统,即提高面部分辨率并检测面部标志。Super-FAN的新颖之处在于通过热图回归和优化新的热图损失来集成子网络以进行面部对齐,从而将结构信息并入基于GAN的超分辨率算法中。(b)我们通过报告不仅在正面图像(如先前的工作)上,而且在整个面部姿势谱上,不仅在合成低分辨率图像(如先前的工作)上,而且在真实世界图像上,都取得了良好的结果,来说明联合训练这两个网络的好处。(c)我们提出了一种新的基于残差的架构,以改善最先进的人脸超分辨率。(d)量化,我们表现出很大的改善,在国家的最先进的人脸超分辨率和对齐。(e)质量,我们第一次在真实世界的低分辨率图像上显示出良好的效果。
2018-03-27 cs.CV
EfficientSRFace: An Efficient Network with Super-Resolution Enhancement for Accurate Face Detection
Nanjing Normal University(南京师范大学);Nanjing University of Information Science and Technology(南京信息工程大学)
本文提出 EfficientSRFace,通过训练时引入可在推理时移除的特征级超分辨率模块增强低分辨率人脸表示,在 FDDB 和 WIDER Face 上以较小开销提升检测精度。
2023-06-04 cs.CV
Diffusion Prior Interpolation for Flexibility Real-World Face Super-Resolution
Nankai University(南开大学);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Shenzhen University(深圳大学)
本文提出扩散先验插值(DPI),通过引入强弱约束掩码策略和条件校正器实现互惠后验采样,平衡真实世界人脸超分辨率的一致性与多样性,性能优于SOTA方法。
2024-12-21 cs.AI cs.CV
Generalizable Method for Face Anti-Spoofing with Semi-Supervised Learning
由于生物特征认证系统的高安全性要求,人脸反欺骗已经引起了人们的广泛关注。将面部生物识别技术引入商业硬件主要依赖于开发可靠的方法来检测虚假登录会话,而无需专门的传感器。目前基于CNN的方法在它们训练的领域上表现良好,但在以前看不见的数据集上往往表现出很差的泛化能力。在本文中,我们描述了一种利用无监督的预训练来提高多个数据集的性能而无需任何调整的方法,引入了用于监督微调的条目反欺骗数据集,并提出了一个多类辅助分类层,用于增强检测欺骗尝试的二进制分类任务。我们通过在MSU-MFSD、Replay-Attack和OULU-NPU数据集上进行跨数据集测试来证明我们模型的效率。
2022-06-13 cs.AI cs.CR cs.CV
A Boosting Method to Face Image Super-resolution
Xiamen University(厦门大学);Wuhan University of Technology(武汉理工大学)
近年来稀疏表示在人脸图像超分辨率方面取得了巨大的成功。传统的基于稀疏性的方法对人脸图像块进行稀疏编码,并通过$\ell_{2}$ -范数度量表示保真度。这样的稀疏编码模型同样地正则化所有的面部块,然而,这忽略了用于图像重建的不同面部块的不同性质。提出了一种基于AdaBoost的加权块超分辨率方法。具体来说,在AdaBoost操作的每次迭代中,每个面部块根据模型在其上的性能自动加权,以便突出那些对下一步提高重建能力更关键的块。这样,通过AdaBoost训练过程,我们可以更专注于具有更丰富信息的补丁(人脸区域)。在标准人脸数据库上的各种实验结果表明,我们提出的方法在客观指标和视觉质量方面都优于最先进的方法。
2018-05-04 cs.CV
Deep Learning-based Face Super-Resolution: A Survey
Harbin Institute of Technology(哈尔滨工业大学);Wuhan University(武汉大学)
人脸超分辨率(Face super-resolution,FSR),又称人脸幻觉(face hallucination),是一种特定领域的图像超分辨率问题,其目的是提高低分辨率人脸图像的分辨率,生成高分辨率人脸图像。最近,FSR受到了相当大的关注,并见证了深度学习技术的发展令人眼花缭乱的进步。到目前为止,很少有基于深度学习的FSR的研究总结。在本调查中,我们以系统的方式对基于深度学习的FSR方法进行了全面的回顾。首先,我们总结了FSR的问题表述,并介绍了流行的评估指标和损失函数。其次,我们详细介绍了FSR中使用的面部特征和流行的数据集。第三,我们大致分类现有的方法根据利用面部特征。在每个类别中,我们从设计原则的一般描述开始,然后概述代表性的方法,然后讨论它们之间的利弊。第四,我们评估了一些最先进的方法的性能。第五,联合FSR和其他任务,以及FSR相关的应用进行了粗略的介绍。最后,我们展望了该领域进一步技术进步的前景。\url{https://github.com/junjun-jiang/Face-Hallucination-Benchmark}提供了一份针对超分辨率的论文和资源的精选列表
2021-09-01 cs.CV
Facial Attribute Capsules for Noise Face Super Resolution
Xidian University(西安电子科技大学);Tencent AI Lab(腾讯人工智能实验室)
现有的人脸超分辨率(SR)方法主要假设输入图像是无噪声的。当应用于输入图像总是被噪声污染的真实场景时,它们的性能急剧下降。本文提出了一种人脸属性胶囊网络(FACN)来解决含噪人脸图像的高尺度超分辨率问题。胶囊是一组神经元,其活动向量模拟同一实体的不同属性。受胶囊概念的启发,本文提出了一种人脸信息的综合表示模型--人脸属性胶囊(Facial Attribute Capsule,FAC)。在SR处理中,我们首先从输入LR脸生成一组FACs,然后从这组FACs重建HR脸。为了有效地提高FAC对噪声的鲁棒性,本文采用综合学习策略,从语义、概率和人脸属性三个方面生成FAC。每个FAC可以分为两个子胶囊:语义胶囊(SC)和概率胶囊(PC)。它们从语义表示和概率分布两个方面详细描述了一个显式的人脸属性。这组FACs通过属性分解的方式将图像建模为语义空间和概率空间中的面部属性信息的组合。不同的FACs可以更好地结合人脸先验信息,生成具有细粒度语义属性的人脸图像。大量的基准实验表明,我们的方法实现了优越的幻觉效果,并优于国家的最先进的非常低分辨率(LR)噪声的人脸图像超分辨率。
2020-02-16 cs.CV
PCA-SRGAN: Incremental Orthogonal Projection Discrimination for Face Super-resolution
Nanjing University of Science and Technology(南京理工大学);Beijing Union University(北京联合大学);Beijing University of Posts and Telecommunications(北京邮电大学)
生成对抗网络(GAN)已用于人脸超分辨率,但它们很容易带来扭曲的面部细节,并且在恢复真实纹理方面仍然存在弱点。为了进一步提高基于GAN的模型在超分辨率人脸图像上的性能,本文提出了PCA-SR GAN,它关注人脸数据的PCA投影矩阵所构成的正交投影空间中的累积鉴别能力。通过将从结构到细节的主成分投影输入到小波变换器中,可以大大降低识别难度,增强生成器的性能,重建出更清晰的轮廓和更精细的纹理,最终实现高感知、低失真。这种增量式正交投影判别法保证了从粗到细的精确优化过程,避免了对感知正则化的依赖。我们在CelebA和FFHQ人脸数据集上进行了实验。定性的视觉效果和定量的评价表明,我们的模型的性能优于相关的作品。
2020-08-28 cs.CV
Learning to Have an Ear for Face Super-Resolution
University of Bern(伯尔尼大学)
我们提出了一种新的方法,使用音频和低分辨率图像来执行极端的面部超分辨率(输入大小增加16倍)。当输入图像的分辨率非常低时(例如,8x8像素),信息的丢失是如此可怕,以至于原始身份的重要细节已经丢失,并且音频可以帮助恢复看似合理的高分辨率图像。事实上,音频携带有关面部属性的信息,如性别和年龄。为了结合听觉和视觉模态,我们提出了一种方法,首先从孤独的音轨,然后从孤独的低分辨率图像建立一个脸的潜在表示。然后我们训练一个网络来融合这两个表示。我们的实验表明,音频可以帮助恢复属性,如性别,年龄和身份,从而提高高分辨率图像重建过程的正确性。我们的过程不使用人类注释,因此可以很容易地使用现有的视频数据集进行训练。此外,我们还证明了我们的模型构建了图像和音频的因子分解表示,因为它允许人们混合来自不同视频的低分辨率图像和音频,并生成具有语义意义组合的逼真面部。
2020-04-02 cs.CV eess.AS eess.IV
Exemplar Guided Face Image Super-Resolution without Facial Landmarks
ETH Zurich(苏黎世联邦理工学院)
如今,由于无处不在的视觉媒体,已经有大量的高分辨率(HR)人脸图像。因此,为了超分辨给定的人的极低分辨率(LR)面部图像,很可能找到同一个人的另一个HR面部图像,其可以用于指导该过程。在本文中,我们提出了一种基于卷积神经网络(CNN)的解决方案,即GWAInet,它将超分辨率(SR)应用于由同一个人的另一个无约束HR人脸图像引导的人脸图像上,该人脸图像在年龄,表情,姿势或大小上可能存在差异。GWAInet以对抗生成的方式进行训练,以产生所需的高质量感知图像结果。HR引导图像的利用通过使用将其内容与输入图像对齐的扭曲子网络以及使用用于从扭曲的引导图像和输入图像提取的特征的特征融合链来实现。在训练中,身份丢失通过最小化SR和HR地面实况图像的嵌入向量之间的距离来进一步帮助保留身份相关特征。与当前面部超分辨率的最新技术相反,我们的方法不需要面部标志点进行训练,这有助于其鲁棒性,并允许其以统一的方式为周围的面部区域产生精细的细节。我们的方法GWAInet以8倍的放大因子产生逼真的图像,并且在定量和感知质量方面优于最先进的技术。
2019-06-17 cs.CV
Super-Resolving Face Image by Facial Parsing Information
Harbin Institute of Technology(哈尔滨工业大学)
本文提出一种解析图引导的人脸超分辨率网络,通过直接提取人脸先验并结合注意力融合块与多尺度细化块,在定量指标和视觉质量上超越了现有最先进方法。
2023-04-06 cs.CV
Multiple Exemplars-based Hallucinationfor Face Super-resolution and Editing
KU Leuven(鲁汶大学);University of Antwerp(安特卫普大学)
给定一个非常低分辨率的人脸输入图像(比如16x16或8x8像素),本文的目标是重建一个高分辨率的版本。这本身就是一个不适定的问题,因为高频信息在低分辨率输入中丢失,需要基于关于图像内容的先验知识进行超分辨率处理。而不是依赖于一个通用的脸之前,在本文中,我们探讨了使用一组样本,即其他高分辨率图像的同一个人。当我们根据它们来调节输出时,这些会指导神经网络。多个样本比单个样本更有效。为了有效地结合来自多个样本的信息,我们引入了像素级权重生成模块。除了标准的面部超分辨率,我们的方法允许执行微妙的面部编辑简单地通过替换样本与另一组不同的面部特征。用户研究表明,超分辨率图像很难与CelebA数据集上的真实图像区分开来。定性比较表明,我们的模型优于CelebA和WebFace数据集的文献中提出的方法。
2021-01-14 cs.CV
Semi-Cycled Generative Adversarial Networks for Real-World Face Super-Resolution
Shandong University of Traditional Chinese Medicine(山东中医药大学);Nankai University(南开大学);ShanghaiTech University(上海科技大学);Taishan University(泰山学院);United Imaging Co.(联影公司)
真实世界人脸超分辨率(SR)是一个高度不适定的图像复原任务。全循环的Cycle-GAN架构被广泛用于在面SR上实现有希望的性能,但在现实世界场景中的挑战性情况下容易产生伪影,因为由于生成器获得的真实世界和合成LR之间的巨大域差距,共同参与同一降级分支将影响最终性能。为了更好地利用GAN强大的真实世界人脸SR生成能力,本文在前向和后向循环一致性重建过程中分别建立两个独立的退化分支,而这两个过程共享同一个恢复分支。我们的半循环生成对抗网络(SCGAN)能够减轻真实世界LR人脸图像和合成LR人脸图像之间的域间隙的不利影响,并通过由前向和后向循环一致性学习过程正则化的共享恢复分支来实现准确和鲁棒的人脸SR性能。在两个合成数据集和两个真实世界数据集上的实验表明,我们的SCGAN在恢复真实世界人脸SR的人脸结构/细节和定量度量方面优于最先进的方法。该代码将在https://github.com/HaoHou-98/SCGAN上公开发布。
2023-01-25 cs.CV
HAZE-Net: High-Frequency Attentive Super-Resolved Gaze Estimation in Low-Resolution Face Images
Chonnam National University(全南国立大学);Electronics and Telecommunications Research Institute(韩国电子通信研究院)
虽然已经利用深度学习技术开发了视线估计方法,但是还没有这样的方法旨在在像素宽度为50像素或更小的低分辨率人脸图像中获得准确的性能。为了解决具有挑战性的低分辨率条件下的限制,我们提出了一种高频注意超分辨率视线估计网络,即,HAZE-Net.我们的网络提高了输入图像的分辨率,并通过基于高频注意力块的超分辨率模块增强了眼睛特征和边界。此外,我们的凝视估计模块利用眼睛的高频分量以及全局外观图。我们还利用人脸的结构位置信息来近似头部姿态。实验结果表明,该方法具有强大的视线估计性能,即使在低分辨率的人脸图像与28 × 28像素。这个工作的源代码可以在https://github.com/dbseorms16/HAZE_Net/上找到。
2022-09-21 cs.CV
Joint Face Completion and Super-resolution using Multi-scale Feature Relation Learning
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);School of Marine Science and Technology, Tianjin University(天津大学海洋科学与技术学院);Tencent AI Lab(腾讯人工智能实验室)
以往的人脸恢复研究通常集中在修复特定类型的低质量人脸图像,如低分辨率(LR)或遮挡的人脸图像。然而,在现实世界中,上述两种形式的图像退化往往并存。因此,设计一种能够同时修复LR遮挡图像的模型是非常重要的。本文提出了一种多尺度特征图生成对抗网络(MFG-GAN)来实现两种退化模式共存的图像的人脸恢复,也可以修复单一退化类型的图像。MFG-GAN在GAN的基础上,结合图卷积和特征金字塔网络,将遮挡的低分辨率人脸图像恢复为非遮挡的高分辨率人脸图像。MFG-GAN使用一组自定义的损失来确保生成高质量的图像。此外,我们以端到端的格式设计了网络。在公共领域CelebA和Helen数据库上的实验结果表明,该方法在同时执行人脸超分辨率(高达4倍或8倍)和人脸完成方面优于最先进的方法。跨数据库测试也表明,该方法具有良好的推广性。
2020-08-25 cs.CV
Face Super-Resolution Using Stochastic Differential Equations
Federal University of Paraná(巴拉那联邦大学);University of Beira Interior(贝拉内格罗大学);Instituto de Telecomunicações(电信研究所)
扩散模型已被证明对于各种应用(例如图像、音频和图形生成)是有效的。其他重要的应用是图像超分辨率和逆问题的解决方案。最近,一些工作已经使用随机微分方程(SDEs)推广扩散模型到连续时间。在这项工作中,我们引入了随机微分方程来生成超分辨率的人脸图像。据我们所知,这是第一次将SDEs用于此类应用。与现有的基于扩散模型的超分辨率方法相比,该方法在峰值信噪比(PSNR)、结构相似性指数(SSIM)和一致性等方面都有较大的提高.特别是,我们还评估了这种方法的人脸识别任务的潜在应用。一个通用的人脸特征提取器被用来比较的超分辨率图像与地面真相和优越的结果相比,其他方法。我们的代码可在https://github.com/marcelowds/sr-sde上公开获取
2022-09-24 cs.CV
LR-to-HR Face Hallucination with an Adversarial Progressive Attribute-Induced Network
University of Maryland(马里兰大学);Academia Sinica(中央研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
人脸超分辨率是一个具有挑战性的和高度不适定的问题,因为低分辨率(LR)的人脸图像可能对应于多个高分辨率(HR)的超幻觉过程中,并导致显着的身份变化的最终超分辨率的结果。因此,为了解决这个问题,我们提出了一个端到端的渐进式学习框架,结合面部属性,并从多尺度判别器中实施额外的监督。通过将面部属性纳入学习过程并逐步解析面部图像,LR和HR图像之间的映射受到更多约束,这显著有助于减少一对多映射中的模糊性和不确定性。此外,我们在CelebA数据集上进行了彻底的评估,遵循以前作品的设置(即从微小的16 x16人脸图像中超分辨率8倍),并且结果表明,所提出的方法可以产生令人满意的人脸超分辨率图像,优于其他现有技术的方法。
2021-09-29 cs.CV
LLV-FSR: Exploiting Large Language-Vision Prior for Face Super-resolution
本文提出LLV-FSR框架,结合大型视觉-语言模型与高阶视觉先验生成多元化线索,以增强特征表示并显著提升人脸超分辨率的重建与感知质量。
2024-11-14 cs.CV
Super-Resolution for Selfie Biometrics: Introduction and Application to Face and Iris
University of Malta(马耳他大学);Universidad Autonoma de Madrid(马德里自治大学);Halmstad University(哈尔姆斯塔德大学)
分辨率的不足对基于图像的生物识别的性能有负面影响。在移动设备中变得无处不在的许多应用不能在受控环境中操作,并且由于缺乏像素分辨率,它们的性能显著下降。虽然已经研究了许多通用的超分辨率技术来恢复用于生物特征识别的低分辨率图像,但是所获得的结果并不总是如所期望的那样。这些通用方法通常旨在增强场景的视觉外观。然而,产生生物特征图像的整体视觉增强并不一定与更好的识别性能相关。这种技术被设计为恢复通用图像,因此不利用生物特征图像中发现的特定结构(例如虹膜或面部),这导致解决方案是次优的。出于这个原因,超分辨率技术必须适应于来自特定生物计量模态的图像的特殊性。近年来,超分辨率在不同的生物识别模式,如人脸虹膜,步态或指纹的应用已经引起了越来越多的兴趣。本章概述了人脸和虹膜图像的超分辨率重建的最新进展,这是自拍生物识别中的两种流行模式。我们还提供了实验结果,使用几个国家的最先进的重建算法,证明了使用超分辨率,以提高人脸和虹膜图像的质量分类之前的好处。在报告的实验中,我们研究了超分辨率在可见光范围内捕获的人脸和虹膜图像的应用,使用的实验设置,以及代表自拍生物识别方案。
2022-04-12 cs.CV
Collaborative Feature Aggregation for Face Super-Resolution and Robust Re-Identification
该研究提出基于Transformer的协作特征聚合方法与级联SR网络,从多序列或多视角人脸图像实现人脸超分辨率,其统一的身份表示可提升行人重识别性能,效果优于现有方法。
2026-07-31 cs.CV
Reference-Based Face Super-Resolution Using the Spatial Transformer
Brandeis University(布兰迪斯大学)
研究人脸超分辨率问题,提出基于参考图像的解决方案,利用空间变换器对齐模块和聚合函数,实现高保真超分辨率,较小模型在多数据集达最优结果。
2026-07-14 cs.CV cs.LG
MetaF2N: Blind Image Super-Resolution by Learning Efficient Model Adaptation from Faces
Harbin Institute of Technology(哈尔滨工业大学);Shanghai Transsion Co, Ltd(上海传音控股有限公司);Peng Cheng Laboratory(鹏城实验室)
针对盲图像超分辨率中人脸恢复耗时且优化不确定的问题,提出MetaF2N方法,利用人脸在元学习框架中一步微调模型以适应整幅自然图像,并引入MaskNet降低低置信区域影响,在合成与真实数据集上均取得优越性能。
2023-09-15 cs.CV
Face hallucination using cascaded super-resolution and identity priors
University of Ljubljana, Faculty of Electrical Engineering(卢布尔雅那大学电气工程学院);University of Notre Dame, Department of Computer Science and Engineering(圣母大学计算机科学与工程系)
在本文中,我们解决的问题,幻觉高分辨率的面部图像从未对齐的低分辨率输入在高放大倍数。我们用卷积神经网络(CNN)来解决这个问题,并提出了一种新的(深度)人脸幻觉模型,该模型将身份先验纳入学习过程。该模型由两个主要部分组成:i)级联的超分辨率网络,其放大低分辨率图像,以及ii)在训练期间充当超分辨率网络的身份先验的人脸识别模型的集合。不同于竞争超分辨率方法,通常依赖于一个单一的模型进行放大(即使放大倍数很大),我们的网络使用级联的多个SR模型,逐步放大低分辨率图像使用步骤$2\times$。这一特性使我们能够在不同的分辨率下应用监督信号(目标外观),并在多尺度上结合身份约束。我们的模型能够放大在不受约束的条件下捕获的(非常)低分辨率图像,并产生视觉上令人信服的结果。我们在大型面部图像数据集上严格评估了所提出的模型,并报告了与最先进技术相比的优越性能。
2019-02-11 cs.CV
Efficient Face Super-Resolution via Wavelet-based Feature Enhancement Network
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出基于小波的特征增强网络(WFEN),通过小波变换无损分解高低频特征并引入全域 Transformer,在不堆叠模块的前提下高效平衡了人脸超分辨率的性能、模型大小与速度。
2024-07-30 cs.CV
TANet: A new Paradigm for Global Face Super-resolution via Transformer-CNN Aggregation Network
Wuhan Institute of Technology(武汉工程大学);Harbin Institute of Technology(哈尔滨工业大学);Wuhan University(武汉大学)
最近,面部超分辨率(FSR)方法将整个面部图像馈送到卷积神经网络(CNN)中或者利用额外的面部先验(例如,面部解析图、面部界标)以聚焦于面部结构,从而在恢复面部细节的同时保持面部结构的一致性。然而,CNN有限的感受野和不准确的面部先验会降低重建面部的自然度和保真度。在本文中,我们提出了一个新的范式的基础上的自我注意力机制(即,Transformer的核心),充分挖掘人脸结构特征的表征能力。具体来说,我们设计了一个由两条路径组成的Transformer-CNN聚合网络(TANet),其中一条路径使用CNN负责恢复细粒度的面部细节,而另一条路径使用资源友好的Transformer通过利用长距离视觉关系建模来捕获全局信息。通过对这两条路径的特征进行聚合,同时增强了全局人脸结构的一致性和局部人脸细节恢复的逼真度。人脸重建和识别的实验结果表明,该方法可以显着优于国家的最先进的方法。
2021-09-16 cs.CV
Arbitrary-Resolution and Arbitrary-Scale Face Super-Resolution with Implicit Representation Networks
National Yang Ming Chiao Tung University(国立阳明交通大学)
本文提出ARASFSR方法,通过隐式表示网络实现任意分辨率和任意尺度的面部超分辨率,解决传统方法在上采样尺度和输入尺寸敏感性方面的局限。
2025-11-20 cs.CV
Deep Face Super-Resolution with Iterative Collaboration between Attentive Recovery and Landmark Estimation
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
最近基于深度学习和面部先验知识的工作已经成功地对严重退化的面部图像进行了超分辨率处理。然而,现有的方法没有充分利用先验知识,因为面部先验信息,如地标和组件地图总是估计低分辨率或粗超分辨率的图像,这可能是不准确的,从而影响恢复性能。在本文中,我们提出了一种深度人脸超分辨率(FSR)的方法与两个递归网络之间的迭代合作,分别专注于面部图像恢复和地标估计。在每个循环步骤中,恢复分支利用界标的先验知识来产生更高质量的图像,这反过来又有助于更准确的界标估计。因此,两个过程之间的迭代信息交互逐步提高彼此的性能。此外,一个新的注意力融合模块的设计,以加强指导的地标地图,面部组件单独生成和聚合注意力更好地恢复。定量和定性的实验结果表明,该方法显着优于国家的最先进的FSR方法在恢复高质量的人脸图像。
2020-03-29 cs.CV
A Unified Framework to Super-Resolve Face Images of Varied Low Resolutions
Shandong University(山东大学);University of Jinan(济南大学)
针对现有FSR需按不同低分辨率分别训练模型的问题,提出由三个锚点自编码器、特征权重回归器和解码器构成的统一框架,一次训练即可在多种低分辨率下取得鲁棒的先进性能。
2023-06-06 cs.CV
GCFSR: a Generative and Controllable Face Super Resolution Method Without Facial and GAN Priors
ByteDance Inc(字节跳动公司);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Shanghai AI Laboratory(上海人工智能实验室)
人脸图像的超分辨率(人脸幻觉)通常依赖于人脸先验信息来恢复真实细节并保留身份信息。最近的进展可以在GAN prior的帮助下取得令人印象深刻的结果。他们要么设计复杂的模块来修改固定的GAN先验,要么采用复杂的训练策略来微调生成器。在这项工作中,我们提出了一个生成和可控的人脸SR框架,称为GCFSR,它可以重建图像与真实的身份信息,而无需任何额外的先验。通常,GCFSR具有编码器生成器架构。设计了风格调制和特征调制两个模块,用于多因素的SR任务。风格调制的目的是生成真实的人脸细节和特征调制动态融合的多级编码的功能和生成的条件上的放大因子。简单而优雅的架构可以以端到端的方式从头开始训练。对于小的放大因子(<=8),GCFSR可以产生令人惊讶的好结果,只有对抗性损失。在增加L1和感知损失后,GCFSR可以在大的放大因子上优于最先进的方法(16,32,64)。在测试阶段,我们可以通过特征调制来调节生成强度,通过不断改变条件放大因子来实现各种生成效果。
2022-03-14 cs.CV
Stochastic Attribute Modeling for Face Super-Resolution
KAIST(韩国科学技术院)
当高分辨率(HR)图像退化为低分辨率(LR)图像时,图像会丢失一些现有信息。因此,多个HR图像可以对应于LR图像。现有的方法大多没有考虑随机属性引起的不确定性,只能进行概率推断。因此,预测的HR图像通常是模糊的,因为网络试图在单个输出图像中反映所有可能性。为了克服这一局限性,本文提出了一种新的人脸超分辨率(SR)计划,考虑到随机建模的不确定性。具体来说,LR图像中的信息被分别编码为确定性和随机性属性。此外,输入条件属性预测提出并单独训练预测部分活着的随机属性从LR图像。广泛的评价表明,该方法成功地减少了学习过程中的不确定性,并优于现有的国家的最先进的方法。
2022-07-16 cs.CV
From Less to More: Spectral Splitting and Aggregation Network for Hyperspectral Face Super-Resolution
Harbin Institute of Technology(哈尔滨工业大学);Wuhan University(武汉大学)
高分辨率高光谱人脸图像在弱光环境、欺骗攻击等不可控条件下的人脸相关计算机视觉任务中发挥着重要作用。然而,高光谱人脸图像密集的光谱波段是以有限的光子数量为代价的,平均达到一个狭窄的光谱窗口,这大大降低了高光谱人脸图像的空间分辨率。在本文中,我们研究了如何将深度学习技术应用于高光谱人脸图像超分辨率(HFSR),特别是当训练样本非常有限时。受益于光谱波段的数量,其中每个波段可以被看作是一个图像,我们提出了一个光谱分裂和聚合网络(SSANet)的HFSR有限的训练样本。在浅层,我们将高光谱图像分成不同的光谱组。然后,我们逐渐聚合更深层的相邻波段,以利用光谱相关性。通过这种光谱分裂和聚合策略(SSAS),我们可以将原始高光谱图像分成多个样本(\emph{from less to more}),以支持网络的有效训练,并有效地利用光谱之间的光谱相关性。为了应对小训练样本量(S3)问题的挑战,我们提出了通过自我表征模型和语义诱导增强来扩展训练样本。实验表明,SSANet可以很好地模拟空间和光谱信息的联合相关性。通过扩展训练样本,SSANet可以有效地缓解S3问题。
2022-04-12 cs.CV
GVTNet: Graph Vision Transformer For Face Super-Resolution
Southwest University of Science and Technology(西南科技大学)
针对现有Transformer架构在人脸超分辨率中无法处理补丁间关系导致面部组件失真的问题,提出GVTNet,将补丁视为图节点并基于补丁信息建立邻接矩阵,使补丁仅与相邻补丁交互,实验表明其优于现有技术,尤其在增强面部组件方面。
2025-02-18 cs.CV
Real-World Super-Resolution of Face-Images from Surveillance Cameras
Aalborg University(奥尔堡大学);Milestone Systems A/S(Milestone Systems公司)
现有的人脸图像超分辨率(SR)方法大多假设低分辨率(LR)图像是通过双三次插值从高分辨率(HR)图像中人工下采样得到的。该操作改变了自然图像特性并降低了噪声。因此,在这些数据上训练的SR方法在应用于真实LR图像时通常无法产生良好的结果。为了解决这个问题,我们提出了一个新的框架来生成现实的LR/HR训练对。我们的框架估计现实的模糊内核,噪声分布和JPEG压缩伪影生成LR图像与源域中的图像特征相似。这使我们能够使用高质量的人脸图像作为地面实况(GT)来训练SR模型。为了获得更好的感知质量,我们使用基于生成对抗网络(GAN)的SR模型,其中我们将常用的VGG损失[24]与LPIP损失[52]进行了交换。在真实和人为损坏的人脸图像上的实验结果表明,与现有的最新技术(SoTA)方法相比,我们的方法可以以更少的噪声进行更详细的重建。此外,我们还证明了传统的非参考图像质量评估(IQA)方法无法捕捉到这种改进,并证明了最近的NIMA度量[16]通过平均意见排名(MOR)与人类感知更好地相关。
2021-02-05 cs.CV
HeadsUp! High-Fidelity Portrait Image Super-Resolution
Texas A&M University(德克萨斯农工大学);Topaz Labs(Topaz实验室)
提出单步扩散模型HeadsUp,通过人脸监督和基于参考的身份恢复机制实现端到端高保真人像图像超分辨率,并构建4K数据集,在多任务上达到SOTA。
2025-10-10 cs.CV
FANVIDv2: Evaluating Video Super-Resolution by Face and Licence-Plate Recognition Under Compound Degradation
Indian Institute of Technology Bombay(印度理工学院孟买分校)
FANVIDv2基准通过人脸和车牌识别指标评估视频超分辨率,采用复合退化生成低分辨率视频,实验表明RCDM基线显著提升识别性能。
2026-10-01 cs.CV
Face Hallucination by Attentive Sequence Optimization with Reinforcement Learning
Sun Yat-Sen University(中山大学)
人脸幻觉是一个特定领域的超分辨率问题,其目标是从低分辨率输入生成高分辨率人脸图像。与现有的分块超分辨率模型相比,该模型将人脸图像划分为规则块并独立地将LR应用于HR映射到每个块,我们实现了深度强化学习并开发了一种新的注意力感知人脸幻觉(Attention-FH)框架,该框架循环学习参加一系列块并通过充分利用图像的全局相互依赖性来执行面部部分增强。具体来说,我们提出的框架包括两个组成部分:一个经常性的政策网络,用于动态地指定一个新的出席区域在每个时间步的基础上的状态的超分辨率图像和过去的出席区域序列,和局部增强网络选择补丁幻觉和全局状态更新。Attention-FH模型通过最大化反映关于整个HR图像的幻觉结果的长期奖励来联合学习递归策略网络和局部增强网络。大量的实验表明,我们的注意FH显着优于国家的最先进的方法在野外的人脸图像与大的姿态和照明变化。
2019-05-04 cs.CV
Face to Cartoon Incremental Super-Resolution using Knowledge Distillation
Indian Institute of Information Technology, Allahabad(印度阿拉哈巴德信息技术学院);Sorbonne Centre for Artificial Intelligence, Sorbonne University Abu Dhabi(索邦大学阿布扎比分校索邦人工智能中心)
针对GAN人脸超分辨率模型适配新数据的难题,提出结合知识蒸馏的人脸到卡通增量超分辨率框架ISR-KD,经CelebA预训练、iCartoonFace增量训练,可在保留原有人脸幻视能力的同时提升卡通人脸超分辨率性能。
2024-01-27 cs.CV eess.IV
Self-Supervised 3D Face Reconstruction via Conditional Estimation
Carnegie Mellon University(卡内基梅隆大学);University of Cambridge(剑桥大学);MPI for Intelligent Systems, Tübingen(图宾根智能系统研究所)
我们提出了一个条件估计(CEST)框架,通过视频的自监督训练从2D单视图图像中学习3D面部参数。CEST基于合成分析的过程,其中从面部图像估计3D面部参数(形状、反射率、视点和光照),然后重新组合以重建2D面部图像。为了在不显式访问其标签的情况下学习语义上有意义的3D面部参数,CEST通过考虑其统计依赖性来耦合不同3D面部参数的估计。具体地,任何3D面部参数的估计不仅取决于给定图像,而且取决于已经导出的面部参数。此外,采用反射率的对称性和一致性的视频帧之间,以提高解纠缠的面部参数。结合反射对称性和一致性的新策略,CEST可以有效地用野外视频剪辑进行训练。定性和定量实验都证明了CEST的有效性。
2021-10-10 cs.CV cs.LG eess.IV