Multiview Textured Mesh Recovery by Differentiable Rendering
ZheJiang University(浙江大学);Alibaba-ZheJiang University Joint Research Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院)
虽然通过自我监督在形状和颜色恢复方面取得了令人鼓舞的结果,但基于多层感知器的方法通常在学习深层隐式表面表示时具有沉重的计算成本。由于渲染每个像素需要前向网络推理,因此合成整个图像是非常计算密集的。为了解决这些问题,本文提出了一种有效的从粗到细的方法来恢复纹理网格从多视图。具体来说,一个可微泊松求解器是用来表示对象的形状,这是能够产生拓扑不可知和水密表面。为了考虑深度信息,我们通过最小化渲染网格与来自多视图立体视觉的预测深度之间的差异来优化形状几何。与隐式的形状和颜色的神经表示相反,我们引入了一种基于物理的逆绘制方案,以联合估计环境光照和物体的反射率,这是能够实时绘制高分辨率图像。重建网格的纹理是从一个可学习的密集纹理网格插值。在多个多视图立体视觉数据集上进行了大量的实验,实验结果表明了该方法的有效性。该代码可在https://github.com/l1346792580123/diff上获得。
2022-10-12 cs.CV
FreeUV: Ground-Truth-Free Realistic Facial UV Texture Recovery via Cross-Assembly Inference Strategy
CyberAgent;University of Tsukuba(筑波大学)
针对单视图2D图像恢复3D面部纹理的数据限制与细节挑战,提出无真实标签框架FreeUV,结合预训练稳定扩散模型与交叉组装推理策略,性能超越现有最优方法,还支持多种新应用,提供可扩展的高保真纹理生成方案。
2025-03-21 cs.CV
3D Facial Geometry Recovery from a Depth View with Attention Guided Generative Adversarial Network
School of Communication Engineering, Hangzhou Dianzi University(杭州电子科技大学通信工程学院)
我们提出了一个完整的三维人脸几何形状从一个单一的深度视图,提出了一个注意力引导的生成对抗网络(AGGAN)。与现有的工作,通常需要两个或更多的深度视图来恢复一个完整的3D面部几何形状,建议AGGAN是能够生成一个密集的3D体素网格的脸从一个单一的不受约束的深度视图。具体地,AGGAN在体素空间内编码3D面部几何形状,并利用注意力引导的GAN来对不适定的2.5D深度-3D映射进行建模。多个损失函数,这加强了三维面部几何形状的一致性,连同在体素空间中的面部表面点的先验分布被合并来指导训练过程。定性和定量的比较表明,AGGAN恢复了更完整和更平滑的3D人脸形状,具有处理更宽视角范围的能力,并且比传统方法更能抵抗深度视图中的噪声
2020-09-02 cs.CV
PASDiff: Physics-Aware Semantic Guidance for Joint Real-World Low-Light Face Enhancement and Restoration
Nanjing University of Posts and Telecommunications(南京邮电大学);Beijing University of Posts and Telecommunications(北京邮电大学);PCA Lab, Nanjing University of Science and Technology(南京理工大学PCA实验室);East China Normal University(华东师范大学)
提出PASDiff,一种无需训练的物理感知语义扩散模型,通过逆强度加权和Retinex理论引入光度约束,并利用风格无关结构注入从现成人脸先验中提取结构,在真实低光人脸增强上实现自然光照、色彩恢复和身份一致性的优越平衡。
2026-07-03 cs.CV
Parametric Implicit Face Representation for Audio-Driven Facial Reenactment
Sun Yat-sen University(中山大学);Cardiff University(卡迪夫大学)
针对音频驱动面部重演中显式与隐式表征的权衡问题,提出参数化隐式人脸表征及可控高质量重演框架,通过多项技术优化提升生成效果与泛化性,实验验证其在逼真度和身份风格保真度上优于现有方法。
2023-06-13 cs.CV
Learning Motion-Robust Remote Photoplethysmography through Arbitrary Resolution Videos
Nanyang Technological University(南洋理工大学)
远程光电体积描记(rPPG)能够从面部视频中进行非接触式心率(HR)估计,与传统的基于接触的测量相比,这提供了显着的便利。在现实世界的长期健康监测场景中,参与者的距离和他们的头部运动通常随时间而变化,由于面部分辨率的变化和复杂的运动伪影,导致rPPG测量不准确。与之前针对摄像机和参与者之间的恒定距离设计的rPPG模型不同,在本文中,我们提出了两个即插即用块(即,生理信号特征提取块(PFE)和时间面部对准块(TFA)),以减轻变化的距离和头部运动的降级。一方面,在代表性区域信息的指导下,PFE自适应地将任意分辨率的人脸帧编码为固定分辨率的人脸结构特征。另一方面,利用估计的光流,TFA能够抵消由头部移动引起的rPPG信号混淆,从而有益于运动鲁棒的rPPG信号恢复。此外,我们还训练模型与交叉分辨率约束使用双流双分辨率框架,这进一步帮助PFE学习分辨率鲁棒的面部rPPG特征。在三个基准数据集(UBFC-rPPG、COHFACE和PURE)上的实验证明了该方法的优越性能。一个亮点是,使用PFE和TFA,现成的时空rPPG模型可以在不同的面部分辨率和严重的头部运动场景下预测更鲁棒的rPPG信号。这些代码可在https://github.com/LJW-GIT/Arbitrary_Resolution_rPPG上获得。
2022-12-02 cs.CV
Deep Face Super-Resolution with Iterative Collaboration between Attentive Recovery and Landmark Estimation
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
最近基于深度学习和面部先验知识的工作已经成功地对严重退化的面部图像进行了超分辨率处理。然而,现有的方法没有充分利用先验知识,因为面部先验信息,如地标和组件地图总是估计低分辨率或粗超分辨率的图像,这可能是不准确的,从而影响恢复性能。在本文中,我们提出了一种深度人脸超分辨率(FSR)的方法与两个递归网络之间的迭代合作,分别专注于面部图像恢复和地标估计。在每个循环步骤中,恢复分支利用界标的先验知识来产生更高质量的图像,这反过来又有助于更准确的界标估计。因此,两个过程之间的迭代信息交互逐步提高彼此的性能。此外,一个新的注意力融合模块的设计,以加强指导的地标地图,面部组件单独生成和聚合注意力更好地恢复。定量和定性的实验结果表明,该方法显着优于国家的最先进的FSR方法在恢复高质量的人脸图像。
2020-03-29 cs.CV
Remote Heart Rate Measurement from Highly Compressed Facial Videos: an End-to-end Deep Learning Solution with Video Enhancement
University of Oulu(奥卢大学);Xi’an Jiaotong University(西安交通大学);Northwest University(西北大学)
远程光电体积描记术(rPPG)旨在无任何接触地测量心脏活动,在许多应用中具有巨大的潜力(例如,远程医疗)。现有的rPPG方法依赖于分析面部视频的非常精细的细节,这些细节容易受到视频压缩的影响。在这里,我们提出了一个两阶段,端到端的方法,使用隐藏的rPPG信息增强和注意力网络,这是第一次尝试,以对抗视频压缩损失和恢复rPPG信号从高度压缩的视频。该方法包括两个部分:1)用于视频增强的时空视频增强网络(STVEN),以及2)用于rPPG信号恢复的rPPG网络(rPPGNet)。rPPGNet可以独立工作,实现强大的rPPG测量,并且可以添加STVEN网络并进行联合训练,以进一步提高性能,特别是在高度压缩的视频上。在两个基准数据集上进行的综合实验表明,1)该方法不仅在具有高质量视频对的压缩视频上取得了优异的性能,2)它还可以很好地推广只有压缩视频可用的新数据,这意味着在现实世界中的应用前景广阔。
2019-07-27 cs.CV eess.IV
ImHead: A Large-scale Implicit Morphable Model for Localized Head Modeling
Imperial College London(伦敦帝国学院)
提出隐式3D形变模型imHead,通过紧凑单身份空间与特定区域隐表示实现3D头部建模及面部特征局部编辑,在4K身份数据集上表现优于以往方法。
2025-10-12 cs.CV
Towards Racially Unbiased Skin Tone Estimation via Scene Disambiguation
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
虚拟面部化身将在沉浸式通信、游戏和虚拟世界中发挥越来越重要的作用,因此它们的包容性至关重要。这需要准确地恢复外观,以马多为代表,不分年龄、性别或种族。虽然在估计3D面部几何形状方面已经取得了重大进展,但面部几何形状估计受到的关注较少。这项任务从根本上说是模糊的,因为观察到的颜色是一个函数的亮度和照明,这两者都是未知的。我们发现,目前的方法偏向于浅肤色,这是由于(1)偏好较浅色素沉着的强烈偏向先验和(2)忽略光/暗模糊性的算法解决方案。为了解决这个问题,我们提出了一个新的评估数据集(FAIR)和一个算法(TRUST),以提高估计的公平性。具体来说,我们创建了第一个面部面部表情评估基准,其中受试者在肤色方面是平衡的,并使用个人类型学角度(ITA)度量来测量准确性。然后,我们通过建立一个关键的观察来解决光/光的模糊性:整个场景的图像-而不是面部的裁剪图像-包含有关照明的重要信息,可用于消除歧义。TRUST通过对人脸区域和从场景图像获得的全局光照信号两者进行调节来回归面部阴影。我们的实验结果表明,显着的改善相比,国家的最先进的方法,在准确性和公平性。评估基准和代码将在https://trust.is.tue.mpg.de上提供,以供研究之用。
2022-07-23 cs.CV
Learning Representations for Masked Facial Recovery
West Virginia University(西弗吉尼亚大学)
近年来的大流行导致在公共场所佩戴防护口罩的人数急剧增加。这对人脸识别技术的普遍使用构成了明显的挑战,现在人脸识别技术的性能正在下降。解决这个问题的一种方法是恢复到人脸恢复方法作为预处理步骤。目前的人脸重建和操作方法利用人脸流形建模的能力,但往往是通用的。我们介绍了一种方法,该方法是具体的面部图像从戴着面具的同一个人的图像的恢复。我们这样做是通过设计一个专门的GAN反演方法,基于一组适当的损失学习一个解蔽编码器。通过大量的实验,我们证明了该方法是有效的,在unmasking人脸图像。此外,我们还表明,身份信息被保存得足够好,以提高人脸验证性能的基础上,几个人脸识别基准数据集。
2022-12-28 cs.CV
Detailed Facial Geometry Recovery from Multi-View Images by Learning an Implicit Function
Nanjing University(南京大学);iQIYI Inc(爱奇艺公司)
从一组校准的多视图图像中恢复详细的面部几何形状具有广泛的应用价值。传统的多视图立体视觉(MVS)方法采用基于优化的方法来正则化匹配代价。近年来,基于学习的方法将所有这些集成到一个端到端的神经网络中,并显示出效率的优越性。在本文中,我们提出了一种新的架构,在几十秒内恢复非常详细的3D人脸。与以前通过3D CNN正则化成本量的基于学习的方法不同,我们建议学习一个隐式函数来回归匹配成本。通过对多视点图像进行三维形变模型拟合,提取多幅图像的特征,并在网格连接的UV空间中进行聚合,使得隐函数在恢复人脸细节形状时更加有效。在FaceScape数据集上,我们的方法在准确性上大大优于基于SOTA学习的MVS。代码和数据发布在https://github.com/zhuhao-nju/mvfr上。
2022-05-05 cs.CV
LinguaLinker: Audio-Driven Portraits Animation with Implicit Facial Control Enhancement
Tencent(腾讯)
本研究提出LinguaLinker,一个基于扩散的音频驱动肖像动画框架,通过分别处理音频特征导出控制门以隐式控制面部运动,显著提升了动画保真度、唇形同步准确性和动作变化。
2024-07-26 cs.CV
Implicit Neural Head Synthesis via Controllable Local Deformation Fields
Carnegie Mellon University(卡内基梅隆大学);Flawless AI
针对单目视频中3D头部化身的精细局部控制问题,提出基于3DMM参数和关键点的多个局部隐式变形场,并以稀疏性约束实现更锐利的口腔、非对称表情及面部细节合成。
2023-04-21 cs.CV
AUEditNet: Dual-Branch Facial Action Unit Intensity Manipulation with Implicit Disentanglement
UC San Diego(加州大学圣迭戈分校);Qualcomm Technologies, Inc.(高通技术公司)
针对多AU强度标注数据稀缺问题,本文提出双分支AUEditNet,仅用18名受试者即可隐式解耦身份与属性,实现12个AU的精确强度操控。
2024-04-10 cs.CV
FACIAL: Synthesizing Dynamic Talking Face with Implicit Attribute Learning
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Beihang University(北京航空航天大学);East China Normal University(华东师范大学);Xiamen University(厦门大学);Samsung Research America(三星美国研究院)
在本文中,我们提出了一种说话的脸生成方法,以音频信号作为输入和短的目标视频剪辑作为参考,并合成一个逼真的视频的目标脸与自然的嘴唇运动,头部姿势,和眨眼是同步的输入音频信号。我们注意到,合成的面部属性不仅包括诸如与语音具有高相关性的嘴唇运动之类的显式属性,而且包括诸如与输入音频仅具有弱相关性的头部姿势和眨眼之类的隐式属性。为了对不同人脸属性与输入音频之间的复杂关系进行建模,我们提出了一种FACe隐式属性学习生成对抗网络(FACIAL-GAN),它集成了语音感知,上下文感知和身份感知信息,以合成具有嘴唇,头部姿势和眨眼的逼真运动的3D人脸动画。然后,我们的Rendering-to-Video网络将渲染的人脸图像和眨眼的注意力图作为输入,以生成照片级逼真的输出视频帧。实验结果和用户研究表明,我们的方法可以生成逼真的说话人脸视频,不仅同步嘴唇运动,而且自然的头部运动和眨眼,具有更好的质量比国家的最先进的方法的结果。
2021-08-18 cs.CV
DIG-FACE: De-biased Learning for Generalized Facial Expression Category Discovery
University of Cambridge(剑桥大学);Baidu Inc(百度公司);Central China Normal University(华中师范大学);La Trobe University(拉筹伯大学);China University of Geosciences(中国地质大学);JD Explore Academy(京东探索研究院)
本文提出DIG-FACE方法,通过分别消除隐式分布偏差和显式特征偏好偏差,并引入样本级、三元组级和分布级层次优化,解决广义面部表情类别发现任务中已知与新类别识别性能下降的问题。
2024-11-19 cs.CV
Facial Information Recovery from Heavily Damaged Images using Generative Adversarial Network- PART 1
XRVision Research and Development center(XRVision研发中心);XRVision technologies(XRVision科技公司)
在过去的几十年里,现代成像系统中出现了大量技术,可以捕捉原始场景的准确信息,而无论抖动、运动、照明条件等如何,这些发展已经逐步解决了以高速和高分辨率获取图像的问题。然而,各种难以消除的实时因素导致所获取的图像的信息和质量的退化。现有的技术还不够智能,无法概括这种复杂的现象。因此,有必要开发一个智能框架来恢复原始场景中可能呈现的信息。在这篇文章中,我们提出了一个基于条件GAN的无核框架来恢复严重受损图像的信息。图像的劣化被假定为通过各种模糊的组合而发生。cGAN的学习参数通过多分量损失函数优化,该多分量损失函数包括具有回归损失函数的改进的wasserstein损失。该网络的生成器模块采用局部剩余连接和全局跳跃连接的U-Net结构。局部连接和全局跳过连接被实现用于利用特征的所有阶段。生成的图像表明,该网络有潜力恢复模糊图像的可能信息从学习的功能。这项研究工作是作为我们的IOP工作室软件“面部识别模块”的一部分进行的。
2018-08-27 cs.CV
Omni-SILA: Towards Omni-scene Driven Visual Sentiment Identifying, Locating and Attributing in Videos
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院)
针对视觉情感理解忽略隐式场景信息的问题,提出全场景驱动的Omni-SILA任务及隐式增强因果混合专家(ICM)方法,通过定制模块建模场景并突出隐式信息,在构建数据集上显著优于先进Video-LLMs。
2025-02-26 cs.AI cs.CV
Recovering Faces from Portraits with Auxiliary Facial Attributes
Australian National University(澳大利亚国立大学);Data61/CSIRO(Data61/联邦科学与工业研究组织)
从艺术肖像中恢复逼真的面部是一项具有挑战性的任务,因为在艺术作品中,关键的面部细节往往会被扭曲或完全丢失。为了处理这种损失,我们提出了一个属性引导的人脸恢复从肖像(AFRP),利用人脸恢复网络(FRN)和判别网络(DN)。FRN包括一个自动编码器与残留块嵌入跳过连接,并在自动编码器的瓶颈处将面部属性向量纳入到输入肖像的特征图中。DN具有多个卷积层和全连接层,其作用是强制FRN生成真实的面部图像,其对应的面部属性由输入属性向量决定。%利用空间Transformer网络,FRN自动补偿人像的未对准。%,并生成对齐的面部图像。为了保持身份,我们将恢复的和地面真实的面孔强加给他们,以共享相似的视觉特征。具体地,DN确定恢复的图像是否看起来像真实的面部,并检查从恢复的图像中提取的面部属性是否与给定的属性一致。%我们的方法可以从未对齐的肖像中恢复高质量的真实感人脸,同时保留人脸图像的身份,并且可以重建具有所需属性的真实感人脸图像。我们的方法可以从看不见的风格化肖像,艺术绘画和手绘草图中恢复具有所需属性的真实感身份保留人脸。在大规模的合成和草图数据集上,我们证明了我们的人脸恢复方法达到了最先进的结果。
2019-04-07 cs.CV
Arbitrary-Resolution and Arbitrary-Scale Face Super-Resolution with Implicit Representation Networks
National Yang Ming Chiao Tung University(国立阳明交通大学)
本文提出ARASFSR方法,通过隐式表示网络实现任意分辨率和任意尺度的面部超分辨率,解决传统方法在上采样尺度和输入尺寸敏感性方面的局限。
2025-11-20 cs.CV
Uncertainty-quantified Pulse Signal Recovery from Facial Video using Regularized Stochastic Interpolants
Johns Hopkins University(约翰霍普金斯大学);University of Virginia(弗吉尼亚大学)
本文提出RIS-iPPG方法,通过正则化随机插值提升面部视频中脉冲信号的恢复质量与不确定性估计,实验表明其在三个数据集上表现优异。
2026-04-12 cs.CV
Task-Assisted Domain Adaptation with Anchor Tasks
University of Illinois, Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);Snap Inc.(Snap公司);Bytedance Inc.(字节跳动公司)
某些任务(如表面法线或单视图深度估计)需要逐像素的地面实况,这在真实图像上难以获得,但在合成图像上容易获得。然而,由于域偏移,在合成图像上学习的模型通常不能很好地推广到真实图像。我们改进领域自适应的关键思想是引入一个单独的锚任务(如面部标志),其注释可以免费获得,或者已经在合成和真实数据集上可用。为了进一步利用锚点和主任务之间的隐式关系,我们应用我们的\freeze技术,该技术在源域上学习跨任务指导与最终网络层,并在目标域上使用它。我们评估我们的方法在两对数据集(室内场景和人脸)上的表面法线估计,具有两种锚任务(语义分割和面部标志)。我们发现,盲目地应用领域自适应或训练辅助任务只在一个域可能会损害性能,而使用锚任务在两个域上表现得更好。我们的\freeze技术优于竞争对手的方法,达到性能与最近流行的表面正常估计方法使用形状从阴影域知识的面部图像。
2020-11-10 cs.CV stat.ML
NICE: Neural Implicit Craniofacial Model for Orthognathic Surgery Prediction
NICE通过隐式神经表示实现精确的颅面重建和手术预测,提升正颌手术的精度和解剖完整性。
2025-12-05 cs.CV cs.LG
Unsupervised High-Fidelity Facial Texture Generation and Reconstruction
Technion(以色列理工学院);University of Haifa(海法大学)
多年来,已经提出了许多方法来解决从单个图像中恢复面部3D几何和纹理的任务。这些方法通常无法在训练期间提供高保真度纹理而不依赖于3D面部扫描。相比之下,3D面部生成的补充任务并没有得到太多的关注。与2D纹理域相反,GANs已被证明可以产生高度逼真的面部图像,更具挑战性的3D几何域尚未达到相同的真实感和多样性水平。在本文中,我们提出了一种新的统一管道的任务,生成的几何和纹理,并恢复高保真纹理。我们的纹理模型是学习的,在一个无监督的方式,从自然图像,而不是扫描的纹理图。据我们所知,这是第一个独立于扫描纹理的统一框架。我们的新型训练管道结合了预训练的2D面部生成器以及深度特征操作方法。通过应用精确的3DMM拟合,我们可以将建模的纹理无缝集成到合成生成的背景图像中,从而形成具有背景,头发,牙齿和身体的纹理模型的逼真组合。这使我们能够从2D图像生成领域应用迁移学习,从而大大受益于在该领域获得的令人印象深刻的结果。我们提供了一个全面的研究,最近的几种方法比较我们的模型在生成和重建任务。作为广泛的定性,以及定量分析,证明,我们实现了国家的最先进的结果,这两项任务。
2021-10-10 cs.CV
TIFace: Improving Facial Reconstruction through Tensorial Radiance Fields and Implicit Surfaces
University of Science and Technology of China(中国科学技术大学)
针对稀疏视图人脸新视角合成中基线方法伪影严重的问题,提出结合张量辐射场与隐式曲面的TI-Face,通过SAM前景掩码、掩码约束和稀疏约束提升重建效果,获ICCV 2023 VSCHH挑战赛第一名。
2023-12-15 cs.CV cs.GR
Revisiting Face Forgery Detection: From Facial Representation to Forgery Detection
本文提出通过自监督预训练和竞争学习机制改进面部伪造检测,提升泛化能力并应用于其他面部任务。
2026-03-16 cs.CV
Lifting Scheme-Based Implicit Disentanglement of Emotion-Related Facial Dynamics in the Wild
Zhejiang University(浙江大学)
本文提出隐式面部动态解耦框架IFDD,通过将小波提升方案扩展为可学习框架,利用两阶段模块从全局上下文中隐式解耦情感相关动态信息,在野外数据集上实现更高识别精度与可比效率。
2024-12-18 cs.AI cs.CV
Mover: Mask and Recovery based Facial Part Consistency Aware Method for Deepfake Video Detection
Hunan University(湖南大学);National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学);Wuhan University(武汉大学)
提出Mover模型,利用面部部件不一致性,通过掩码与恢复机制学习非特定特征,以双网络结构有效检测Deepfake视频。
2023-05-06 cs.CV cs.MM
Parameter Efficient Local Implicit Image Function Network for Face Segmentation
Adobe(奥多比);IIT Madras(印度理工学院马德拉斯分校)
人脸解析是指对包含人脸的图像进行逐像素标记。标签的定义,以确定关键的面部区域,如眼睛,嘴唇,鼻子,头发等,在这项工作中,我们利用人脸的结构一致性,提出了一个轻量级的面部解析方法,使用本地隐函数网络,FP-LIIF。我们提出了一个简单的架构,具有卷积编码器和像素MLP解码器,与最先进的模型相比,使用1/26的参数,但在多个数据集上匹配或优于最先进的模型,如CelebAMask-HQ和LaPa。我们不使用任何预训练,与其他作品相比,我们的网络还可以在不改变输入分辨率的情况下以不同的分辨率生成分割。这项工作使面部分割在低计算或低带宽设备上的使用成为可能,因为它具有更高的FPS和更小的模型尺寸。
2023-03-27 cs.CV
Unlock Pose Diversity: Accurate and Efficient Implicit Keypoint-based Spatiotemporal Diffusion for Audio-driven Talking Portrait
University of Liverpool(利物浦大学);Ant Group(蚂蚁集团);Xi’an Jiaotong-Liverpool University(西交利物浦大学);Duke Kunshan University(昆山杜克大学);Ricoh Software Research Center(理光软件研究中心)
针对音频驱动单图像说话人像生成中身份保持、细节还原、姿态多样性与效率难以兼顾的问题,提出KDTalker,融合无监督隐式3D关键点与时空扩散注意力,实现准确唇形同步和高质量多样化动画。
2025-03-17 cs.CV
LSF-Animation: Label-Free Speech-Driven Facial Animation via Implicit Feature Representation
University of Chinese Academy of Sciences(中国科学院大学);Zhongguancun Academy(中关村学院);National University of Singapore(新加坡国立大学);Chongqing University(重庆大学);University of Science and Technology of China(中国科学技术大学)
提出LSF-Animation框架,通过隐式特征表示消除对显式标签的依赖,结合层次化交互融合块,在3DMEAD数据集上实现更优的情感表现力、身份泛化和动画真实感。
2025-10-23 cs.CV cs.GR
Deep Energies for Estimating Three-Dimensional Facial Pose and Expression
Stanford University(斯坦福大学);Industrial Light & Magic(工业光魔)
虽然使用运动捕捉标记和阴影恢复形状在捕捉高质量面部表演方面取得了很大进展,但高端系统通常还依赖于在图像上手绘的旋转镜曲线。这些曲线是主观的,难以一致地绘制;此外,需要特别的程序方法来在用于确定三维面部姿势和表情的优化中嵌入的合成渲染上生成匹配的旋转镜曲线。我们提出了一种替代方法,通过这种方法,可以使用经过训练的神经网络在图像和合成渲染上自动检测这些曲线和其他关键点,从而消除艺术家的主观性和旨在模仿它的特设程序。我们建议使用机器学习网络来隐式地定义深度能量,当使用经典优化技术最小化时,深度能量导致三个-三维面部姿态和表情估计。
2018-12-07 cs.CV
Implicit Identity Representation Conditioned Memory Compensation Network for Talking Head video Generation
HKUST(香港科技大学)
针对复杂运动导致说话人头部视频生成出现遮挡伪影和细节退化的问题,本文提出 MCNet,利用全局面部元记忆库与隐式身份查询补偿源特征,并在 VoxCeleb1 和 CelebV 上取得优于现有方法的结果。
2023-08-18 cs.AI cs.CV
Controllable Talking Face Generation by Implicit Facial Keypoints Editing
NetEase Media Technology (Beijing) Co., Ltd.(网易传媒科技(北京)有限公司)
提出ControlTalk,一种基于隐式关键点编辑的音频驱动说话人脸生成方法,统一处理图像和视频输入,实现精确唇同步和嘴形控制,在HDTF和MEAD基准上优于现有方法。
2024-11-07 cs.AI cs.CV
Implicit 3D Human Mesh Recovery using Consistency with Pose and Shape from Unseen-view
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
提出ImpHMR方法,通过神经特征场在特征层面隐式想象3D人体,利用未见视角的姿态与形状一致性进行自监督学习,克服了现有方法仅依赖单一拍摄视角的限制。
2023-07-03 cs.CV
Photo-realistic Facial Texture Transfer
Rutgers University(罗格斯大学)
近年来,通过使用卷积神经网络,风格转移方法取得了显著的成功。然而,这些方法中的许多集中于艺术风格转移,对输出图像外观几乎没有约束。我们解决了具有挑战性的问题,从一个风格的脸图像到内容的脸图像,在真实感的方式,而不改变原来的内容图像的身份。我们的面部纹理传输框架(FaceTex)通过一种新型的面部语义正则化来增强MRF-CNN的先前工作,该正则化包含面部先验正则化,平滑地抑制面部细观结构(例如眼睛、鼻子和嘴巴)周围的变化,以及面部结构损失函数,该函数隐含地保留了面部结构,以便可以在不改变原始身份的情况下传输面部纹理。我们在人脸图像上展示了结果,并将我们的方法与最近的最先进的方法进行了比较。我们的研究结果表明,由于能够保持原始人脸图像的身份优越的纹理转移。
2017-06-14 cs.CV
Anatomically Constrained Implicit Face Models
DisneyResearch|Studios(迪士尼研究工作室)
针对传统解剖约束人脸模型评估慢、构建需大量数据的问题,提出由隐式神经网络集成的解剖隐式人脸模型,仅需少量数据即可恢复约束面部的解剖子结构,可替代传统blendshape模型并适用于多类人脸相关任务。
2023-12-12 cs.CV cs.GR
HAvatar: High-fidelity Head Avatar via Facial Model Conditioned Neural Radiance Field
Tsinghua University(清华大学);NNKosmos Technology(NNKosmos科技)
本文提出HAvatar,一种面部模型条件化NeRF混合表示,结合参数化模板先验与GAN图像翻译,实现高保真、稳定且视角一致的3D头部头像动画。
2023-09-29 cs.CV
Next3D: Generative Neural Texture Rasterization for 3D-Aware Head Avatars
Tsinghua University(清华大学);Ant Group(蚂蚁集团);Tencent AI Lab(腾讯人工智能实验室)
3D感知生成对抗网络(GANs)仅使用单视图2D图像的集合来合成高保真度和多视图一致的面部图像。为了对面部属性进行细粒度的控制,最近的努力采用了3D可变形面部模型(3DMM)来显式或隐式地描述生成辐射场中的变形。显式方法提供了细粒度的表达式控制,但不能处理由头发和附件引起的拓扑变化,而隐式方法可以建模不同的拓扑,但由于变形场不受约束,泛化能力有限。我们提出了一种新的3D GAN框架,用于从非结构化2D图像中生成高质量和3D一致的面部化身的无监督学习。为了实现变形精度和拓扑灵活性,我们提出了一种三维表示称为生成纹理光栅化三平面。该方法在参数化网格模板的基础上学习生成神经纹理,然后通过光栅化将其投影到三个正交特征平面上,形成一个用于体渲染绘制的三平面特征表示。通过这种方式,我们结合了细粒度的表达控制网格引导显式变形和隐式体积表示的灵活性。我们进一步提出了具体的模块,用于建模嘴内部,这是不考虑3DMM。我们的方法通过大量的实验展示了最先进的3D感知合成质量和动画能力。此外,作为3D先验,我们的动画3D表示提升了多个应用程序,包括一次性面部化身和3D感知风格化。
2023-03-13 cs.CV
DisFaceRep: Representation Disentanglement for Co-occurring Facial Components in Weakly Supervised Face Parsing
School of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机科学与软件工程学院);School of AI and Advanced Computing, Xi’an Jiaotong-Liverpool University(西安交通大学利物浦大学人工智能与先进计算学院);Department of Electrical and Electronic Engineering, The Hong Kong Polytechnic University(香港理工大学电子与电气工程系);Department of Electrical and Computer Engineering, National University of Singapore(新加坡国立大学电子与计算机工程系);Computer Vision Institute, School of Artificial Intelligence, Shenzhen University(深圳大学人工智能学院计算机视觉研究所);Guangdong Provincial Key Laboratory of Intelligent Information Processing, Shenzhen University(广东省智能信息处理重点实验室,深圳大学)
针对弱监督人脸解析中面部组件高共现和相似导致的性能下降,提出DisFaceRep框架,通过显式共现解缠策略和文本引导解缠损失分离组件,在三个数据集上显著优于现有方法。
2025-08-02 cs.CV
Geometry-guided Emotion Modulation for Controllable and Photorealistic Emotional Talking Face Generation
School of Software Technology, Zhejiang University(浙江大学软件学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Ningbo Global Innovation Center, Zhejiang University(浙江大学宁波全球创新中心)
GemTalk框架结合隐式表示与显式几何先验,通过V-AEP、D-GPG和GEM模块,实现情感说话人脸的可控生成,在照片真实感与情感动态上表现优异。
2026-09-01 cs.CV
ImFace++: A Sophisticated Nonlinear 3D Morphable Face Model with Implicit Neural Representations
School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);School of Artificial Intelligence, Beihang University(北京航空航天大学人工智能学院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Ecole Centrale de Lyon, University of Lyon(里昂中央理工学院,里昂大学)
本文提出基于隐式神经表示的非线性3D可变形人脸模型ImFace++,通过解耦身份与表情形变场、细化位移场及Neural Blend-Field,并结合扩展表情嵌入的学习策略,显著提升了人脸重建保真度与对应精度。
2024-10-11 cs.CV
Batch Transformer Architecture: Case of Synthetic Image Generation for Emotion Expression Facial Recognition
University of Bedfordshire(贝德福德大学)
本文提出隐式稀疏风格的Batch Transformer架构,通过仅关注重要维度缩小编解码网络瓶颈,在带妆容遮挡的人脸识别合成图像生成任务中可提升有限原始数据集的多样性。
2025-11-13 cs.CV
Fuzzy-Conditioned Diffusion and Diffusion Projection Attention Applied to Facial Image Correction
Media Technology Center, ETH Z\"urich, Switzerland
本文提出模糊条件扩散与扩散投影注意力机制,通过逐像素可控强度修改和异常程度估计,实现了可解释且自主的人脸图像校正。
2023-07-01 cs.CV cs.LG eess.IV
WaveFace: Authentic Face Restoration with Efficient Frequency Recovery
University of Warwick(华威大学);Imperial College London(伦敦帝国学院);University of Sheffield(谢菲尔德大学)
WaveFace通过频域分解,仅用扩散模型恢复低频分量并统一网络处理高频分量,实现高效且身份保持的真实人脸复原,速度提升10倍。
2024-03-19 cs.CV
Implicit Neural Representation for Physics-driven Actuated Soft Bodies
ETH Zurich(苏黎世联邦理工学院);DisneyResearch|Studios(迪士尼研究院)
该研究提出一种控制主动软体的隐式神经表示方法,通过材料空间点到驱动值的连续映射实现离散化无关的驱动优化,可应用于体软体、人体姿态与面部动画,具备易控、分辨率不变等优势。
2024-01-26 cs.CV cs.GR
An Implicit Physical Face Model Driven by Expression and Style
ETH Zurich(苏黎世联邦理工学院);DisneyResearch|Studios(迪士尼研究院);University of Wisconsin Madison(威斯康星大学麦迪逊分校)
本研究针对人脸动画中风格与表情纠缠、无法跨角色迁移的问题,提出基于数据驱动隐式神经物理模型的新人脸模型,可分别由表情和风格驱动,支持风格迁移融合及碰撞等物理效果合成。
2024-01-27 cs.CV cs.GR
AGA-GAN: Attribute Guided Attention Generative Adversarial Network with U-Net for Face Hallucination
Indian Statistical Institute(印度统计研究所);Østfold University College(东福尔德大学学院)
人脸超分辨率方法的性能依赖于其有效恢复人脸结构和显著特征的能力。尽管基于卷积神经网络和生成对抗网络的方法在面部超分辨率任务上提供了令人印象深刻的性能,但使用与低分辨率图像相关联的属性来提高性能的能力并不令人满意。在本文中,我们提出了一个属性引导注意生成对抗网络,它采用新的属性引导注意(AGA)模块,以识别和集中在图像中的各种面部特征的生成过程。堆叠多个AGA模块能够恢复高级和低级面部结构。我们设计了一个基于高分辨率图像及其相应的面部属性注释之间关系的学习算法来学习判别特征。然后,我们探索使用基于U-Net的架构来改进现有的预测并合成进一步的面部细节。跨多个指标的广泛实验表明,我们的AGA-GAN和AGA-GAN+U-Net框架的性能优于其他几种最先进的人脸幻觉方法。我们还证明了我们的方法的可行性时,每个属性描述符是未知的,从而建立其在现实世界中的应用程序。
2021-11-20 cs.CV
GenderRobustness: Robustness of Gender Detection in Facial Recognition Systems with variation in Image Properties
Anna University(安娜大学);Microsoft Research(微软研究院)
近年来,越来越多的人指责人工智能系统和计算机视觉算法具有隐含的偏见。尽管这些对话现在更加普遍,系统也在通过进行广泛的测试和拓宽视野来改进,但偏见仍然存在。据说存在偏见的一类系统是面部识别系统,其中已经基于性别、种族、肤色和其他面部属性观察到偏见。这更令人不安,因为这些系统实际上用于当今工业的每个部门。从重要的犯罪识别到简单的出勤登记,这些系统已经获得了巨大的市场,特别是在最近几年。这本身就是一个很好的理由,让这些系统的开发人员确保偏见保持在最低限度或理想情况下不存在,以避免重大问题,如偏袒特定性别,种族或一类人,或者使一类人容易受到虚假指控,因为这些系统无法正确识别这些人。
2020-11-26 cs.CV
Unsupervised Multiview Contrastive Language-Image Joint Learning with Pseudo-Labeled Prompts Via Vision-Language Model for 3D/4D Facial Expression Recognition
提出 MultiviewVLM,通过伪标签文本提示、联合嵌入、稳定正负采样和梯度友好损失实现3D/4D面部表情的无监督多视图对比学习,性能超过现有方法。
2025-05-14 cs.CV
LampMark: Proactive Deepfake Detection via Training-Free Landmark Perceptual Watermarks
Nanyang Technological University(南洋理工大学);Qilu University of Technology(齐鲁工业大学);Shandong University(山东大学)
针对被动深度伪造检测算法泛化性不足的问题,提出主动检测方法LampMark,通过免训练的地标感知水印,从面部地标生成二进制水印并嵌入图像,通过水印一致性检测深度伪造,性能优于现有方法。
2024-11-26 cs.CV
Robust Recovery via Implicit Bias of Discrepant Learning Rates for Double Over-parameterization
University of California, Berkeley(加州大学伯克利分校);University of Denver(丹佛大学);New York University(纽约大学)
最近的进展表明,过参数化模型上的梯度下降的隐式偏差使得即使在没有关于内在秩的先验知识的情况下,也能够从线性测量恢复低秩矩阵。相比之下,对于从严重损坏的测量中恢复的鲁棒低秩矩阵,过度参数化导致过度拟合,而无需关于损坏的固有秩和稀疏性的先验知识。本文表明,与双过参数化的低秩矩阵和稀疏腐败,梯度下降与差异学习率可证明恢复的基础矩阵,即使没有先验知识的秩矩阵也稀疏腐败。我们进一步扩展了我们的方法,通过使用深度卷积网络对图像进行过度参数化来实现自然图像的鲁棒恢复。实验表明,我们的方法处理不同的测试图像和不同的腐败程度与一个单一的学习管道,网络宽度和终止条件不需要根据具体情况进行调整。成功的基础再次是隐含的偏见,不同的过度参数化的参数上的差异学习率,这可能会影响更广泛的应用。
2020-06-16 cs.CV cs.LG math.OC
Robust Facial Landmark Detection by Multi-order Multi-constraint Deep Networks
Hanshan Normal University(韩山师范学院);Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳市人工智能与机器人研究院);Wuhan University(武汉大学)
最近,热图回归在人脸标志点检测中得到了广泛的研究,并取得了显著的效果。然而,现有的基于热图回归的人脸标志点检测方法大多忽略了对高阶特征相关性的探索,而高阶特征相关性对于学习更多代表性特征和增强形状约束非常重要。此外,没有明确的全局形状约束已被添加到最终预测的地标,这导致准确性降低。为了解决这些问题,在本文中,我们提出了一种多阶多约束深度网络(MMDN),用于更强大的特征相关性和形状约束学习。具体而言,隐式多阶相关几何感知(IMCG)模型,提出了引入多阶空间相关性和多阶信道相关性的更具鉴别力的表示。此外,显式概率为基础的边界自适应回归(EPBR)方法的发展,以加强全球的形状约束,并进一步搜索语义一致的地标预测边界鲁棒的面部标志检测。有趣的是,所提出的MMDN可以生成更准确的边界自适应地标热图,并有效地增强对具有大姿态变化和严重遮挡的面部的预测地标的形状约束。具有挑战性的基准数据集上的实验结果表明,我们的MMDN国家的最先进的面部标志检测方法的优越性。该准则已在https://github.com/junwan2014/MMDN-master上公开发布。
2020-12-10 cs.CV