OPHAvatars: 单样本照片级真实感人头数字人
OPHAvatars: One-shot Photo-realistic Head Avatars
AI总结：
针对仅用单张肖像生成照片级真实感动画3D头部数字人的问题，提出结合可变形神经辐射场、盲人脸修复与迭代重训练的OPHAvatars方法，消除失真且效果优于现有最优方法。
摘要：
我们提出了一种仅以一张肖像为参考合成照片级真实感数字人的方法。给定一张肖像，我们的方法利用驱动关键点特征合成粗略的说话头部视频。基于该粗略视频，我们的方法通过可变形神经辐射场合成粗略的说话头部数字人。利用粗略数字人的渲染图像，我们的方法用盲人脸修复模型更新低质量图像。基于更新后的图像，我们重新训练数字人以获得更高质量。经过数次迭代，我们的方法能够合成照片级真实感的可驱动3D神经头部数字人。我们方法的动机是，可变形神经辐射场能够消除image2video方法带来的不自然失真。我们的方法在针对不同对象的定量与定性研究中均优于现有最优方法。
英文摘要：
We propose a method for synthesizing photo-realistic digital avatars from only one portrait as the reference. Given a portrait, our method synthesizes a coarse talking head video using driving keypoints features. And with the coarse video, our method synthesizes a coarse talking head avatar with a deforming neural radiance field. With rendered images of the coarse avatar, our method updates the low-quality images with a blind face restoration model. With updated images, we retrain the avatar for higher quality. After several iterations, our method can synthesize a photo-realistic animatable 3D neural head avatar. The motivation of our method is deformable neural radiance field can eliminate the unnatural distortion caused by the image2video method. Our method outperforms state-of-the-art methods in quantitative and qualitative studies on various subjects.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
