VGGTFace: Topologically Consistent Facial Geometry Reconstruction in the Wild
Xin Ming, Yuxuan Han, Tianyu Huang, Feng Xu(作者)
VGGTFace通过引入VGGT和Pixel3DMM实现高效拓扑一致的面部几何重建,适用于真实世界多视角图像。
2025-11-26 cs.CV
Stacked Dense U-Nets with Dual Transformers for Robust Face Alignment
InsightFace;Imperial College London(帝国理工学院)
在野外拍摄的图像中,面部标志点定位是一个重要且具有挑战性的问题。目前的最新技术围绕着某些类型的深度卷积神经网络(DCNN),如堆叠U网和沙漏网络。在这项工作中,我们创新性地提出了堆叠密集U网来完成这项任务。我们设计了一种新的规模聚合网络拓扑结构和信道聚合模块,在不牺牲计算复杂性和模型规模的前提下提高了模型的容量。借助于堆叠密集U网内部的可变形卷积和外部数据变换的相干损失,我们的模型获得了对任意输入人脸图像空间不变的能力。在大量野外数据集上的实验验证了该方法在极端姿态、夸张表情和严重遮挡情况下的鲁棒性。最后,我们表明,准确的三维人脸对齐可以帮助姿态不变的人脸识别,我们实现了一个新的国家的最先进的CFP-FP的准确性。
2018-12-05 cs.CV
Imitator: Personalized Speech-driven 3D Facial Animation
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Microsoft Mixed Reality & AI Lab(微软混合现实与人工智能实验室)
语音驱动的3D人脸动画已经被广泛地研究,在游戏、角色动画、虚拟现实和远程呈现系统中具有应用。现有技术的方法使目标演员的面部拓扑结构变形以同步输入音频,而不考虑目标演员的身份特定的说话风格和面部特质,因此,导致不真实和不准确的嘴唇运动。为了解决这个问题,我们提出了模仿者,语音驱动的面部表情合成方法,它从一个短的输入视频中学习特定于身份的细节,并产生新的面部表情匹配特定于身份的说话风格和面部特质的目标演员。具体来说,我们训练一个风格不可知的Transformer上的一个大型的面部表情数据集,我们使用作为音频驱动的面部表情的先验。基于此先验,我们基于短参考视频优化特定于身份的说话风格。为了训练先验,我们引入了一种新的基于检测到的双唇辅音的损失函数,以确保合理的嘴唇闭合,从而提高所生成的表情的真实感。通过详细的实验和用户研究,我们表明,我们的方法产生时间连贯的面部表情从输入音频,同时保持说话风格的目标演员。
2022-12-30 cs.CV
Structured Landmark Detection via Topology-Adapting Deep Graph Learning
PAII. Inc.(PAII公司);University of Rochester(罗切斯特大学);University of South Carolina(南卡罗来纳大学);Chang Gung Memorial Hospital(长庚纪念医院);Ping An Technology(平安科技)
图像界标检测的目的是自动识别预定义的基准点的位置。尽管最近在这一领域取得了成功,但尚未充分利用高阶结构建模来捕获解剖标志之间的隐式或显式关系。在这项工作中,我们提出了一种新的拓扑适应深度图学习方法,用于精确的解剖面部和医疗(例如,手、骨盆)界标检测。该方法利用局部图像特征和全局形状特征构造图形信号。自适应图拓扑自然地探索和着陆在任务特定的结构上,这些结构是通过两个图卷积网络(GCN)端到端学习的。在三个公开的面部图像数据集(WFLW、300 W和COFW-68)以及三个真实世界的X射线医学数据集(头影测量(公开)、手和骨盆)上进行了广泛的实验。在所有研究的数据集上与以前最先进的方法进行定量比较的结果表明,在鲁棒性和准确性方面都具有优越的性能。学习的图形拓扑的定性可视化展示了位于地标后面的物理上合理的连接。
2020-07-23 cs.CV
Attribute-Centered Loss for Soft-Biometrics Guided Face Sketch-Photo Recognition
West Virginia University(西弗吉尼亚大学)
面部草图能够捕捉面部的空间拓扑,同时缺少一些面部属性,如种族、皮肤或头发颜色。现有的素描照片识别方法大多忽略了面部属性的重要性。在本文中,我们提出了一个新的损失函数,称为属性中心损失,训练深度耦合卷积神经网络(DCCNN)的面部属性引导草图照片匹配。具体来说,提出了一种以属性为中心的损失,它在共享的嵌入空间中学习几个不同的中心,用于具有不同属性组合的照片和草图。DCCNN同时被训练成围绕其关联中心映射照片和成对的已证实属性以及相应的法医草图,同时保留空间拓扑信息。重要的是,这些中心学会了彼此保持相对距离,这与它们相互矛盾的属性的数量有关。复合(E-PRIP)和半法医(IIIT-D半法医)数据库进行了广泛的实验。所提出的方法显着优于最先进的。
2018-04-09 cs.CV
Eyelid Fold Consistency in Facial Modeling
Microsoft(微软公司)
本文提出眼睑褶皱一致性新定义及统一拓扑几何处理方法,重新处理训练数据以改进参数化面部模型,显著提升面部相关机器学习任务表现。
2024-10-17 cs.CV cs.GR
Topo4D: Topology-Preserving Gaussian Splatting for High-Fidelity 4D Head Capture
Shanghai Jiao Tong University(上海交通大学);Huawei Cloud Computing Technologies Co., Ltd(华为云计算技术有限公司);Xueshen AI(学神科技)
针对现有4D头部采集方法误差大、依赖人工的问题,提出Topo4D框架,通过绑定网格顶点的固定拓扑动态3D高斯及逐帧交替优化,从多视图时序图像生成高保真4D头部网格与纹理,效果优于现有SOTA方法。
2024-07-15 cs.CV
Pose-Controllable 3D Facial Animation Synthesis using Hierarchical Audio-Vertex Attention
Nanchang Hangkong University(南昌航空大学);Dalian University of Technology(大连理工大学);Cardiff University(卡迪夫大学)
现有的音频驱动的三维人脸动画方法大多缺乏对人脸表情和头部姿态的详细描述,导致人机交互效果不理想。提出了一种基于层次化音频-顶点注意力的姿态可控的三维人脸动画合成方法。为了合成真实和详细的表达,提出了一种分层分解策略,将音频信号编码为全局潜在特征和局部顶点控制特征。然后利用局部和全局音频特征结合顶点空间特征,通过图卷积神经网络融合人脸模型的内在空间拓扑结构和音频对应的语义特征,预测最终的一致性人脸动画。为了实现姿态可控的动画,我们介绍了一种新的姿态属性增强方法,利用二维说话脸技术。实验结果表明,该方法可以产生更真实的面部表情和头部姿态运动。定性和定量的实验表明,该方法实现了竞争力的性能对国家的最先进的方法。
2023-02-24 cs.CV cs.GR
Expressive Whole-Body 3D Gaussian Avatar
DGIST(大邱庆北科学技术院);Meta
本文提出ExAvatar,通过结合SMPL-X参数化网格与3D高斯泼溅的混合表示,从短单目视频中学习支持面部表情和手部动作的全身3D化身,并利用连接性正则化减少新表情和姿态下的伪影。
2024-07-31 cs.CV
Versatile Face Animator: Driving Arbitrary 3D Facial Avatar in RGBD Space
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
本文提出自监督框架Versatile Face Animator,通过RGBD动画模块和网格重定向模块,在无需blendshapes或rigs的情况下实现任意3D角色的面部动画生成。
2023-08-11 cs.CV cs.MM
UADSN: Uncertainty-Aware Dual-Stream Network for Facial Nerve Segmentation
University of Electronic Science and Technology of China(电子科技大学)
本文提出不确定性感知双流网络UADSN,融合2D与3D分割并通过一致性损失、通道压缩与空间激励模块及clDice损失,提升CT中细小面神经的分割精度。
2024-06-29 cs.CV eess.IV
Driving Animatronic Robot Facial Expression From Speech
Beijing Institute for General Artificial Intelligence (BIGAI)(北京通用人工智能研究院)
本文提出以线性混合蒙皮为核心的语音驱动电子动画机器人面部表情方法,统一驱动拓扑、表情重定向与运动生成,在RTX 4090上实现超4000 fps实时逼真表情合成,并公开代码。
2024-08-07 cs.CV cs.RO
KoUniTalk: A Lightweight Articulation-Centered Korean-English 3D Talking Face Benchmark
Sogang University(西江大学)
KoUniTalk提出一个轻量级韩英3D说话人脸基准,通过形变迁移统一网格拓扑,将维度降至3,528,支持跨语言语音驱动面部动画训练与评估。
2026-09-22 cs.CV
Topologically Consistent Multi-View Face Inference Using Volumetric Sampling
USC Institute for Creative Technologies(南加州大学创新技术研究所);USC(南加州大学);MPI for Intelligent Systems, Tübingen(蒂宾根马普智能系统研究所)
高保真面部数字化解决方案通常结合用于3D重建的多视图立体视觉(MVS)技术和非刚性配准步骤,以建立身份和表情之间的密集对应。一个常见的问题是在MVS步骤之后需要手动清理,因为3D扫描通常会受到噪声和异常值的影响,并且包含需要由艺术家清理的多毛表面区域。此外,网格配准往往会失败极端的面部表情。大多数基于学习的方法使用底层3D变形模型(3DMM)来确保鲁棒性,但这限制了极端面部表情的输出准确性。此外,回归架构的全局瓶颈无法产生紧密拟合地面实况表面的网格。我们提出ToFu,拓扑一致的脸从多视图,几何推理框架,可以产生拓扑一致的网格在面部身份和表情使用体积表示,而不是一个明确的底层3DMM。我们的新的渐进网格生成网络嵌入的拓扑结构的脸在一个特征量,从几何感知的本地功能采样。由粗到细的架构有助于在一致的网格拓扑中进行密集和准确的面部网格预测。ToFu进一步捕获孔隙级几何细节的位移图,并以反射和镜面反射图的形式促进高质量渲染。这些高质量的资产很容易被制作工作室用于化身创建,动画和基于物理的皮肤渲染。我们展示了最先进的几何和对应精度,同时只需要0.385秒来计算一个网格与10K顶点,这是三个数量级的速度比传统技术。该代码和模型可在https://tianyeli.github.io/tofu上进行研究。
2021-10-06 cs.CV
UVFaceFusion: Fast Multi-view Topologically Consistent Face Reconstruction in the Wild via UV-space Neural Fusion
School of Software and BNRist, Tsinghua University(清华大学软件学院及清华-伯克利深圳学院)
针对数字头像创建等需求,UVFaceFusion提出用UV空间神经融合取代启发式拓扑优化,通过VGGT和Pixel3DMM获取数据,经神经融合网络预测点图,直接采样出固定拓扑网格,在多基准测试和野外数据上有很好表现,重建精度高且速度快。
2026-07-22 cs.CV cs.GR
Pixel3DMM: Versatile Screen-Space Priors for Single-Image 3D Face Reconstruction
Technical University of Munich(慕尼黑技术大学);Synthesia(Synthesia公司);University College London(伦敦大学学院)
提出Pixel3DMM,利用视觉Transformer预测逐像素几何线索约束3DMM优化,通过DINO特征和定制预测头实现单图像3D人脸重建,在新基准上几何精度超基线15%。
2025-05-01 cs.AI cs.CV
MeInGame: Create a Game Character Face from a Single Portrait
Netease Fuxi AI Lab(网易伏羲人工智能实验室);University of Michigan(密歇根大学)
近年来,基于深度学习的三维人脸重建方法被提出,但在游戏中的应用还不多见。当前的游戏角色定制系统要么需要玩家手动调整相当多的面部属性以获得期望的面部,要么具有有限的面部形状和纹理自由度。在本文中,我们提出了一个自动的字符面部创建方法,预测面部形状和纹理从一个单一的肖像,它可以集成到大多数现有的3D游戏。虽然基于3D可变形人脸模型(3DMM)的方法可以从单个图像中恢复准确的3D人脸,但3DMM网格的拓扑结构与大多数游戏中使用的网格不同。为了获得逼真的纹理,现有的方法需要大量的人脸纹理数据进行训练,而建立这样的数据集是费时费力的。此外,在实验室条件下收集的数据集可能无法很好地推广到野外情况。为了解决这些问题,我们提出了1)一种低成本的面部纹理获取方法,2)一种可以将3DMM网格的形状转换为游戏的形状转换算法,以及3)一种用于训练3D游戏面部重建网络的新管道。该方法不仅可以生成与输入肖像相似的逼真的游戏角色,而且可以消除光照和遮挡的影响。实验表明,我们的方法优于国家的最先进的方法在游戏中使用。
2021-02-07 cs.AI cs.CV
LeGO: Leveraging a Surface Deformation Network for Animatable Stylized Face Generation with One Example
KAIST(韩国科学技术院)
提出基于表面变形网络与MAGE编码器的方法,利用可微渲染和方向性CLIP损失实现高度可动画的3D人脸程式化生成,支持多样拓扑结构输出。
2024-03-22 cs.CV cs.GR
3DCaricShop: A Dataset and A Baseline Method for Single-view 3D Caricature Face Reconstruction
Shenzhen Research Institute of Big Data(深圳大数据研究院);Tencent America(腾讯美国)
漫画是一种故意夸大人脸特征以表达幽默或讽刺的艺术表现。然而,从2D漫画图像重建3D漫画仍然是一项具有挑战性的任务,主要是由于缺乏数据。我们建议通过引入3DCaricShop来填补这一空白,这是第一个大型3D漫画数据集,包含2000个由专业艺术家手工制作的高质量多样化3D漫画。3DCaricShop还提供丰富的注释,包括成对的2D漫画图像,相机参数和3D面部标志。为了证明3DCaricShop的优势,我们提出了一种新的基线方法,单视图三维漫画重建。为了确保一个可信的重建与合理的面部变形,我们建议连接的detailrich隐函数和参数网格表示的好的结束。特别地,我们首先将模板网格注册到隐式生成器的输出,并将注册结果迭代地投影到预先训练的PCA空间上,以解决伪影和自相交。为了解决非刚性配准过程中的大变形问题,提出了一种新的视图协作图卷积网络(VCGCN)来从隐式网格中提取关键点,以实现精确配准。我们的方法是能够产生高保真的三维漫画在一个预定义的网格拓扑结构,是动画准备。在3DCaricShop上进行了大量的实验,验证了数据库的重要性和所提方法的有效性。
2021-03-15 cs.CV
Skeleton-based sign language recognition using a dual-stream spatio-temporal dynamic graph convolutional network
School of Computer Science Sichuan University Chengdu, China(计算机科学学院 四川大学 成都)
本文提出双参考双流架构DSLNet,分别以手腕和面部为中心解耦建模手形与轨迹,并通过几何驱动最优传输融合,在多个手语数据集上以更少参数取得最优准确率。
2025-09-18 cs.AI cs.CV
Generating Multiple 4D Expression Transitions by Learning Face Landmark Trajectories
University Mohammed VI Polytechnic(穆罕默德六世理工大学);University of Parma(帕尔马大学);Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);Institut Mines-Télécom(法国国立高等矿业电信学校联盟);CRIStAL(里尔计算机、信号与自动控制实验室);IMT Nord Europe(北欧国立高等矿业电信学院);Media Integration and Communication Center (MICC)(媒体集成与通信中心(MICC));Univ. of Florence(佛罗伦萨大学)
提出Motion3DGAN和S2D-Dec模型,通过学习3D关键点运动轨迹生成不同表情间的过渡及复合4D表情,在五个数据集上显著优于以往方法且对未见数据泛化良好。
2023-05-18 cs.CV
REALY: Rethinking the Evaluation of 3D Face Reconstruction
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Tencent AI Lab(腾讯人工智能实验室);Peng Cheng National Laboratory(鹏城国家实验室)
3D面部重建结果的评估通常依赖于估计的3D模型和地面实况扫描之间的刚性形状对准。我们观察到,将两个形状与不同的参考点对齐会在很大程度上影响评估结果。这给精确诊断和改进3D面部重建方法带来了困难。在本文中,我们提出了一种新的评估方法,采用新的基准REALY,包括100个全局对齐的面部扫描,具有准确的面部关键点,高质量的区域掩模和拓扑一致的网格。我们的方法执行区域明智的形状对齐,并导致更准确的,双向的对应关系,在计算的形状误差。细粒度,区域明智的评价结果为我们提供了详细的了解国家的最先进的三维人脸重建方法的性能。例如,我们对基于单图像的重建方法的实验表明,DECA在鼻子区域上表现最好,而GANFit在脸颊区域上表现更好。此外,一个新的和高质量的3DMM基础,HIFI3D++,使用相同的程序,我们构建REALY对齐和重新拓扑几个3D人脸数据集。我们将在https://realy3dface.com上发布REALY、HIFI3D++和新的评估管道。
2022-07-19 cs.CV cs.GR