arXiv 2208.000502023-05-18cs.CV

通过学习人脸关键点轨迹生成多个4D表情过渡

Generating Multiple 4D Expression Transitions by Learning Face Landmark Trajectories

University Mohammed VI Polytechnic（穆罕默德六世理工大学）；University of Parma（帕尔马大学）；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Institut Mines-Télécom（法国国立高等矿业电信学校联盟）；CRIStAL（里尔计算机、信号与自动控制实验室）；IMT Nord Europe（北欧国立高等矿业电信学院）；Media Integration and Communication Center (MICC)（媒体集成与通信中心（MICC））；Univ. of Florence（佛罗伦萨大学）

Naima Otberdout, Claudio Ferrari, Mohamed Daoudi, Stefano Berretti, Alberto Del Bimbo

备注：: This preprint is an extension of CVPR 2022 paper arXiv:2105.07463

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

提出Motion3DGAN和S2D-Dec模型，通过学习3D关键点运动轨迹生成不同表情间的过渡及复合4D表情，在五个数据集上显著优于以往方法且对未见数据泛化良好。

摘要：

在这项工作中，我们解决了4D面部表情生成问题。这通常通过将中性3D人脸动画化以达到表情峰值，然后返回到中性状态来解决。然而在现实世界中，人们展现出更复杂的表情，并从一个表情切换到另一个表情。因此，我们提出了一个新模型，该模型生成不同表情之间的过渡，并合成长且复合的4D表情。这涉及三个子问题：(i) 对表情的时间动态进行建模，(ii) 学习它们之间的过渡，以及 (iii) 变形通用网格。我们提出使用一组3D关键点的运动来编码表情的时间演变，我们通过训练流形值GAN（Motion3DGAN）来学习生成这些关键点。为了允许生成复合表情，该模型接受两个编码起始和结束表情的标签。最终的网格序列由Sparse2Dense网格解码器（S2D-Dec）生成，该解码器将关键点位移映射到已知网格拓扑的密集逐顶点位移。通过显式处理运动轨迹，该模型完全独立于身份。在五个公共数据集上的大量实验表明，我们提出的方法相较于以前的解决方案带来了显著改进，同时对未见数据保持良好的泛化能力。

英文摘要：

In this work, we address the problem of 4D facial expressions generation. This is usually addressed by animating a neutral 3D face to reach an expression peak, and then get back to the neutral state. In the real world though, people show more complex expressions, and switch from one expression to another. We thus propose a new model that generates transitions between different expressions, and synthesizes long and composed 4D expressions. This involves three sub-problems: (i) modeling the temporal dynamics of expressions, (ii) learning transitions between them, and (iii) deforming a generic mesh. We propose to encode the temporal evolution of expressions using the motion of a set of 3D landmarks, that we learn to generate by training a manifold-valued GAN (Motion3DGAN). To allow the generation of composed expressions, this model accepts two labels encoding the starting and the ending expressions. The final sequence of meshes is generated by a Sparse2Dense mesh Decoder (S2D-Dec) that maps the landmark displacements to a dense, per-vertex displacement of a known mesh topology. By explicitly working with motion trajectories, the model is totally independent from the identity. Extensive experiments on five public datasets show that our proposed approach brings significant improvements with respect to previous solutions, while retaining good generalization to unseen data.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。