Multi-view Feature Extraction based on Dual Contrastive Head
China Agricultural University(中国农业大学)
多视图特征提取是解决高维多视图数据维数问题的有效方法。对比学习是一种流行的自监督学习方法,近年来引起了广泛的关注。大多数基于CL的方法仅从样本水平构建。本文提出了一种新的基于双对比度头的多视角特征提取方法。结构级CL使潜在子空间结构在任意两个交叉视图中保持一致,从而有助于样本级CL更有效地提取区分性特征。进一步证明了结构级CL与互信息、概率内散射和概率间散射之间的关系,为该算法的优良性能提供了理论支持。最后,在六个真实数据集上的数值实验表明,该方法与现有方法相比具有更好的性能.
2023-02-08 cs.CV cs.LG
Less is More: Efficient Point Cloud Reconstruction via Multi-Head Decoders
School of Computing and Artificial Intelligence, Southwest Jiaotong University(计算机与人工智能学院,西南交通大学);Engineering Research Center of Sustainable Urban Intelligent Transportation Ministry of Education, Chengdu, China(可持续城市智能交通工程研究中心,教育部,成都,中国)
本文提出多头解码器架构,利用点云冗余性通过多个独立头重建,在ModelNet40和ShapeNetPart上超越单头基线,证明多样性和架构设计比深度更重要。
2025-05-25 cs.CV
Reconstruction and Reenactment Separated Method for Realistic Gaussian Head
Zhiling Ye, Cong Zhou, Xiubao Zhang, Haifeng Shen, Weihong Deng, Quan Lu(作者)
本文提出一种3D高斯头部的重建与重演分离框架,仅需单张肖像即可生成可控虚拟人,通过基于WebSSL的两阶段大规模生成器提升泛化与纹理重建能力,在512x512下达90 FPS,性能优于现有最先进方法。
2025-09-17 cs.CV
Single-Camera 3D Head Fitting for Mixed Reality Clinical Applications
University of Pennsylvania(宾夕法尼亚大学);Stevens Institute of Technology(史蒂文斯理工学院)
我们解决的问题,估计一个人的头部的形状,定义为完整的头部表面的几何形状,从一个单一的移动摄像机拍摄的视频,并确定所有视频帧的拟合3D头部的对齐,而不管人的姿势。3D头部重建通常倾向于专注于完善面部重建,使头皮达到统计近似。我们的目标是重建每个人的头部模型,以实现未来的混合现实应用。为此,我们通过从运动恢复结构和多视图立体视觉来恢复密集的3D重建和相机信息。然后在新的两阶段拟合过程中使用这些来恢复3D头部形状,通过迭代拟合头部的3D可变形模型与规范空间中的密集重建,并使用传统的面部标志和从头部分割掩模中提取的头皮特征将其拟合到每个人的头部。我们的方法恢复了不同头部形状的一致几何形状,来自不同人,不同智能手机拍摄的视频,以及从客厅到户外空间的各种环境。
2022-03-07 cs.CV
GeoDiff4D: Geometry-Aware Diffusion for 4D Head Avatar Reconstruction
Tsinghua University(清华大学);Li Auto(利亚自动)
GeoDiff4D通过几何感知扩散模型,结合表面法线和表情编码器,实现了高保真的4D头像重建,提升了视觉质量和跨身份泛化能力。
2026-03-12 cs.CV
SVG-Head: Hybrid Surface-Volumetric Gaussians for High-Fidelity Head Reconstruction and Real-Time Editing
Tsinghua University(清华大学);Tencent Hunyuan project page(腾讯混元项目)
提出SVG-Head混合表示,通过表面与体积Gaussians结合FLAME网格实现高保真头部重建,并支持实时外观编辑。
2025-08-15 cs.CV
InstantAvatar: Efficient 3D Head Reconstruction via Surface Rendering
Crisalix Labs(克里萨利克斯实验室);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Institut de Robòtica i Informàtica Industrial, CSIC-UPC(西班牙国家研究委员会-加泰罗尼亚理工大学机器人与工业信息研究所)
本文提出 InstantAvatar,通过体素网格神经场、表面渲染及3D头部SDF先验模型,将单图或少图全头重建缩短至数秒,并在精度可比SOTA时实现100倍加速。
2024-04-05 cs.CV
Avat3r: Large Animatable Gaussian Reconstruction Model for High-fidelity 3D Head Avatars
Technical University of Munich(慕尼黑技术大学);Meta Reality Labs Pittsburgh(Meta现实实验室(匹兹堡))
提出Avat3r模型,通过结合大型重建模型与多视角先验,仅需少量图像即可重建高保真可动画的3D头部化身,在少输入和单输入场景下均具优势且适用性广泛。
2025-09-15 cs.CV
Do Not DeepFake Me: Privacy-Preserving Neural 3D Head Reconstruction Without Sensitive Images
Nanyang Technological University(南洋理工大学);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院)
本文提出一种两阶段隐私保护 3D 面部重建方法,利用非敏感后脑图像和移除隐私的梯度图像重建几何,在保持精度的同时抵御 DeepFake 与面部识别系统。
2024-12-14 cs.CV
Implicit Shape and Appearance Priors for Few-Shot Full Head Reconstruction
Institut de Robòtica i Informàtica Industrial, CSIC-UPC(机器人学与信息工业研究所(西班牙国家研究委员会-加泰罗尼亚理工大学联合机构));Crisalix SA(克里萨利克斯公司);Amazon(亚马逊公司)
针对少样本全3D头重建中现有基于坐标的神经表示需大量视图和密集计算的问题,提出融入概率形状与外观先验的方法,结合可并行光线追踪等策略,扩展H3DS数据集,实现高效准确且速度快一个数量级的最先进几何重建。
2025-02-02 cs.CV
EAvatar: Expression-Aware Head Avatar Reconstruction with Generative Geometry Priors
Department of Data Science and AI, Monash University(数据科学与人工智能系,墨尔本大学);College of Computer Science, Chongqing University(计算机科学学院,重庆大学)
EAvatar提出一种基于3DGS的表情与变形感知头部化身重建框架,通过稀疏关键高斯控制局部变形,并利用生成模型三维先验提升几何可靠性,从而改善表情可控性与细节保真度。
2026-11-03 cs.AI cs.CV
PanoLAM: Large Avatar Model for Gaussian Full-Head Synthesis from One-shot Unposed Image
HKUST(香港科技大学);Tongyi Lab, Alibaba Group(阿里云实验室);Fudan University(复旦大学)
提出PanoLAM框架,通过双分支结构和从粗到细的流水线,利用合成数据训练,实现从单张无姿态图像快速前馈重建高保真高斯全头模型。
2026-10-14 cs.CV
AvatarMAV: Fast 3D Head Avatar Reconstruction Using Motion-Aware Neural Voxels
Tsinghua University(清华大学);NNKosmos Technology(NNKosmos科技)
针对基于NeRF的3D头部化身重建训练耗时长的问题,提出AvatarMAV方法,通过与3DMM表情基对应的4D张量加权拼接生成运动感知神经体素,实现仅5分钟的快速高质量重建。
2023-05-03 cs.CV
GHARP: Real-time Gaussian Head Animation from Large-scale Reconstruction Prior
Apple(苹果公司)
GHARP是一种实时高斯头部动画方法,通过解耦身份与动画阶段、引入身体对齐网络,在Ava-256基准上实现最优质量,且在A100 GPU上速度快13倍、高斯数减8倍。
2026-10-09 cs.CV cs.LG
MonoNPHM: Dynamic Head Reconstruction from Monocular Videos
Technical University of Munich(慕尼黑工业大学);Synthesia;University College London(伦敦大学学院)
提出 MonoNPHM 模型,通过构建潜在外观空间和超维度变形场,利用基于符号距离场的体积渲染从单目 RGB 视频实现动态 3D 头部重建,显著优于基线方法。
2024-05-29 cs.CV
Portrait4D: Learning One-Shot 4D Head Avatar Synthesis using Synthetic Data
针对3DMM限制单样本4D头部合成的问题,提出利用大规模合成数据,通过对抗学习生成多视角训练数据,并结合基于transformer的可动画三平面重建器与解耦学习策略,实现了优于现有技术的4D头部合成。
2024-06-03 cs.CV
FlexAvatar: Flexible Large Reconstruction Model for Animatable Gaussian Head Avatars with Detailed Deformation
Tsinghua University(清华大学);ByteDance(字节跳动)
FlexAvatar通过灵活的重建模型实现高保真3D头身姿态卡通人物的重建,支持实时动态变形,并在无需相机姿态或表情标签的情况下提升细节真实感。
2025-12-19 cs.CV
Portrait4D-v2: Pseudo Multi-View Data Creates Better 4D Head Synthesizer
针对现有4D头部合成依赖不准确3DMM重建的问题,提出Portrait4D-v2方法,通过生成伪多视图视频、结合跨视图自重演与运动感知注意力的Transformer,提升了重建保真度等性能,为4D头部构建提供新路径。
2024-07-11 cs.CV
Head Pose Estimation of Occluded Faces using Regularized Regression
University of Maryland, College Park(马里兰大学帕克分校)
本文提出了回归方法估计头部姿态从闭塞的2-D人脸图像。该过程主要涉及从其被遮挡的图像重建面部,然后进行分类。典型的重建方法假设被遮挡区域的像素误差是独立的。然而,这种假设在遮挡的情况下是不正确的,因为其固有的连续性。因此,我们使用核范数作为度量,可以很好地描述误差的结构。我们还使用基于LASSO回归的l1正则化来改进重建。接下来,我们实现核范数正则化回归(NR),以及我们提出的方法,用于重建和后续分类。最后,我们比较了性能的方法的头部姿态估计的准确性方面的闭塞的脸。
2016-02-02 cs.CV
High-Quality 3D Head Reconstruction from Any Single Portrait Image
本研究提出一种从单张肖像图像生成高质量3D头像的方法,通过整合身份和表情信息提升重建精度与一致性。
2026-01-15 cs.CV
DPHMs: Diffusion Parametric Head Models for Depth-based Tracking
Technical University of Munich(慕尼黑工业大学);Sony Semiconductor Solutions Europe(索尼半导体解决方案欧洲公司);Technical University of Darmstadt(达姆施塔特工业大学)
本文提出 DPHMs,利用潜在扩散先验约束身份与表情编码,提升从含噪单目深度序列进行体积头部重建和表情追踪的鲁棒性。
2024-04-08 cs.CV
High-Fidelity 3D Head Avatars Reconstruction through Spatially-Varying Expression Conditioned Neural Radiance Field
Tsinghua University(清华大学)
本文提出一种空间变化表情条件神经辐射场,通过MLP生成网络捕捉不同空间位置的表情变化,并采用从粗到细的训练策略,实现高保真3D头部头像的逼真渲染和几何细节,优于现有SOTA方法。
2023-10-10 cs.CV
PercHead: Perceptual Head Model for Single-Image 3D Head Reconstruction & Editing
Technical University of Munich(慕尼黑技术大学)
提出PercHead方法,通过基于DINOv2和SAM2.1的感知监督策略及Gaussian Splatting渲染,实现高质量的单图像3D头部重建,并支持通过分割图和文本或图像提示进行直观的语义3D编辑。
2025-11-04 cs.CV
Splat-Portrait: Generalizing Talking Heads with Gaussian Splatting
School of Computing Science, University of Glasgow(格拉斯哥大学计算机科学学院)
Splat-Portrait通过高斯点散布方法实现了更准确的谈话头生成和新视角合成,无需3D监督或运动先验。
2026-01-26 cs.CV
NeRSemble: Multi-view Radiance Field Reconstruction of Human Heads
Technical University of Munich(慕尼黑工业大学)
本文提出了一种由16台相机组成的多视图采集设置,收集了包含220个人头的4700多个高分辨率序列数据集,并提出了NeRSemble方法,通过结合变形场和3D多分辨率哈希编码集合来重建高保真人头动态辐射场,在性能上显著优于现有方法。
2023-05-04 cs.CV
Head Pose Estimation and 3D Neural Surface Reconstruction via Monocular Camera in situ for Navigation and Safe Insertion into Natural Openings
The Chinese University of Hong Kong(香港中文大学);National University of Singapore(新加坡国立大学);Shun Hing Institute of Advanced Engineering, The Chinese University of Hong Kong(香港中文大学舜兴高等工程研究所);Shenzhen Research Institute, The Chinese University of Hong Kong(香港中文大学深圳研究院)
本研究以3D Slicer为平台、单目相机为传感器,结合NeRF算法与MarchingCube算法实现人体头部3D重建与姿态实时同步,为鼻咽拭子采集、插管等医疗操作提供低成本的实时模拟方案。
2024-06-18 cs.CV
ILSH: The Imperial Light-Stage Head Dataset for Human Head View Synthesis
Imperial College London(帝国理工学院)
本文提出用于人头视图合成的ILSH光场舞台数据集,详述其4K采集系统、数据处理与划分方案,包含52名受试者的1248组多视角配对数据,可支撑神经渲染等多类方法研究,助力真人化身技术发展。
2023-10-06 cs.CV
Topologically Consistent Multi-view 3D Head Reconstruction via Coarse-Guided Layered Surface Sampling
Google(谷歌)
提出SHELLS框架,通过分层采样策略解耦特征提取与网格分辨率,实现高效、拓扑一致的多视图三维头部重建,在合成数据训练下泛化到真实场景。
2026-05-29 cs.CV
Hybrid Approach for 3D Head Reconstruction: Using Neural Networks and Visual Geometry
MCQ-Scan;IMT Lille Douai(IMT里尔-杜埃国立高等工程师学校);Univ. Lille(里尔大学);CNRS UMR 9189 CRIStAL(法国国家科研中心UMR 9189 CRIStAL)
从单幅输入图像中恢复人脸的三维几何结构是计算机视觉中一个具有挑战性的研究领域。在本文中,我们提出了一种使用基于深度学习和几何技术的混合方法从单个或多个图像重建3D头部的新方法。我们提出了一个编码器-解码器网络的基础上的U-网架构和训练的合成数据。它可以从一张输入照片中预测像素法向量和地标图。地标用于姿态计算和优化问题的初始化,这反过来又通过使用参数变形模型和法向量场来重建3D头部几何形状。通过对单视图和多视图设置的定性和定量评估测试,实现了最先进的结果。尽管该模型仅在合成数据上训练,但它成功地恢复了真实世界图像的3D几何形状和精确姿态。
2021-04-28 cs.CV
H3D-Net: Few-Shot High-Fidelity 3D Head Reconstruction
Crisalix SA(克里萨利克斯公司);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Institut de Robòtica i Informàtica Industrial, CSIC-UPC(西班牙国家研究委员会-加泰罗尼亚理工大学工业机器人与信息技术研究所)
最近的学习方法,隐式地表示表面几何使用基于坐标的神经表示在多视图三维重建的问题中表现出令人印象深刻的结果。然而,这些技术的有效性取决于场景的大量(几十个)输入视图的可用性以及计算上要求的优化。在本文中,我们解决了这些限制的具体问题,Few-Shot全三维头部重建,赋予基于坐标的表示与概率形状之前,使更快的收敛和更好的推广时,使用很少的输入图像(下至三个)。首先,我们使用隐式表示从数千个不完整的原始扫描中学习3D头部的形状模型。在测试时,我们联合过拟合两个基于坐标的神经网络的场景,一个建模的几何形状和另一个估计的表面辐射,使用隐式微分渲染。我们设计了一个两阶段的优化策略,在该策略中,学习到的先验被用来初始化和约束的几何形状在初始优化阶段。然后,先验被解冻并微调到场景。通过这样做,我们实现了高保真的头部重建,包括头发和肩膀,并具有高层次的细节,始终优于最先进的3D变形模型方法在Few-Shot的情况下,和非参数化的方法时,大的视图集可用。
2021-07-26 cs.AI cs.CV
EgoGVAE: Ego-body Mesh Reconstruction via Guided Variational Autoencoder
Konkuk University(建国大学)
该研究针对仅用头部姿态重建全身网格的难题,提出EgoGVAE方法,通过引导变分自编码器实现一步采样,推理速度比扩散方法快50倍以上,在基准数据集上提升了重建性能。
2026-07-31 cs.CV
Pipeline for 3D reconstruction of the human body from AR/VR headset mounted egocentric cameras
Bharati Vidyapeeth’s College of Engineering(巴拉蒂维迪亚佩斯工程学院)
在本文中,我们提出了一种新的管道的三维重建的全身自我中心的观点。从以自我为中心的观点进行人体的3-D重建是一项具有挑战性的任务,因为视图是倾斜的,并且离相机较远的身体部位被遮挡。一个这样的例子是安装在VR头显下方的摄像头的视图。为了实现这一任务,我们首先使用条件GANs将自我中心的视图转换为完整的第三人称视图。这增加了图像的可理解性并迎合了遮挡。所生成的第三人称视图还通过生成身体的3D网格的3D重建模块发送。我们还训练了一个网络,可以采取第三人称全身的主题,并产生纹理映射应用于网格。生成的网格具有相当逼真的身体比例,并完全操纵允许进一步的应用程序,如实时动画和姿势转移游戏。这种方法可能是关键的一个新领域的移动人类远程呈现。
2021-11-09 cs.AI cs.CV
FA-LAM: Focus-Aware Large Avatar Model for One-Shot 4D Animatable Gaussian Head
HKUST(香港科技大学);Tongyi Lab, Alibaba Group(阿里巴巴集团通义实验室);Beihang University(北京航空航天大学);Lingnan University(岭南大学)
提出FA-LAM模型用于一次性创建可动画化高斯头部及实现3D、4D全头部恢复。通过分析注意力机制等确定影响因素,采用对称语义注意力正则化等方法解决问题,增强模型支持多视图和流式4D重建,提升了头部重建质量。
2026-07-24 cs.CV
Instant Multi-View Head Capture through Learnable Registration
MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Southern California(南加州大学)
针对现有3D头部捕捉方法流程繁琐、速度慢的问题,提出TEMPEH模型,通过联合训练与配准、体素特征融合等技术,实现从多视角图像直接快速预测密集对应3D头部,精度优于现有方法。
2023-06-12 cs.CV
Semi-Supervised Learning with Multi-Head Co-Training
Nanjing University(南京大学)
针对单视图协同训练需额外分类器且易趋同的问题,提出多头协同训练算法,通过多头结构集成基学习器并利用强弱增强策略引入多样性,以极小额外开销提升半监督学习性能。
2024-08-21 cs.CV cs.LG
FHAvatar: Fast and High-Fidelity Reconstruction of Face-and-Hair Composable 3D Head Avatar from Few Casual Captures
Alibaba Group(阿里巴巴集团);Shanghai Jiao Tong University(上海交通大学)
FHAvatar提出一种新型框架,通过分离面部和头发表示,实现从任意数量视角高效重建3D高斯虚拟角色,支持实时动画和风格化编辑。
2026-03-24 cs.CV
FaceLift: Learning Generalizable Single Image 3D Face Reconstruction from Synthetic Heads
University of California, Merced(加州大学梅尔塞德斯分校);Adobe Research(Adobe研究)
针对单目三维人脸重建视图覆盖不全、一致性差及域差距问题,提出FaceLift方法,结合多视角潜扩散模型与合成数据集,实现高质量360度三维头部重建,泛化性与性能均优于现有方法。
2025-08-01 cs.CV cs.GR
Unsupervised Learning on a DIET: Datum IndEx as Target Free of Self-Supervision, Reconstruction, Projector Head
Meta AI;Cranberry-Lemon University(蔓越莓柠檬大学);University of the Witwatersrand(威特沃特斯兰德大学)
如果我们希望学习廉价、可靠和可转移的模型,那么代价高昂、嘈杂和过度专业化的标签将被搁置一边,转而支持无监督学习。为此,谱嵌入、自监督学习或生成式建模提供了有竞争力的解决方案。然而,这些方法带来了许多挑战,\textit{e.g.}估计测地线距离,指定投影仪架构和抗崩溃损失,或指定解码器架构和重建损失。相比之下,我们引入了一个简单的可解释的替代方案-创造的\textbf{DIET} -从未标记的数据中学习表示,没有这些挑战。\textbf{DIET}非常简单:采用自己喜欢的分类设置,并使用\textbf{D} atum \textbf{I} nd \textbf{E} x作为其\textbf{T}目标类,\textit{i.e. each sample is its own class},无需进一步更改。\textbf{DIET}不需要解码器/投影器网络,不基于正对也不基于重构,不引入超参数,并且可以跨数据集和架构进行开箱即用。尽管\textbf{DIET}很简单,但学习到的表示具有高质量,并且通常与最先进的\textit{e.g.}相当,在DIET的学习表示之上使用线性分类器,在CIFAR 100上使用Resnet 101达到$71.4\%$,在TinyImagenet上使用Resnext 50达到$52.5\%$。
2023-02-20 cs.AI cs.CV cs.LG
SelfieAvatar: Real-time Head Avatar reenactment from a Selfie Video
Department of Control Science and Engineering, University of Shanghai for Science and Technology(上海理工大学控制科学与工程系);School of Psychology and Neuroscience, University of Glasgow(格拉斯哥大学心理学与神经科学学院)
本研究提出基于3DMM和StyleGAN的方法,利用自拍视频实现实时头部虚拟形象重现,提升细节还原与高保真度。
2026-01-26 cs.CV
UET-Headpose: A sensor-based top-view head pose dataset
VNU Hanoi(河内国家大学)
头部姿态估计是一项具有挑战性的任务,旨在解决与预测三维矢量相关的问题,这在人机交互或客户行为中有许多应用。以往的研究已经提出了一些精确的方法来收集头部姿态数据。但这些方法需要昂贵的设备,如深度相机或复杂的实验室环境设置。在这项研究中,我们介绍了一种新的方法,有效的成本和易于设置,以收集头部姿势图像,即UET-Headpose数据集,与顶视图头部姿势数据。该方法使用绝对方位传感器代替深度相机,以快速设置且成本低,但仍确保良好的结果。通过实验,我们的数据集已经显示了它的分布之间的差异和可用的数据集,如CMU Panoptic数据集\cite{CMU}。除了使用UET-Headpose数据集和其他头部姿势数据集外,我们还引入了称为FSANet-Wide的全范围模型,该模型的头部姿势估计结果明显优于UET-Headpose数据集,特别是在顶视图图像上。此外,该模型非常轻巧,可以拍摄小尺寸图像。
2021-11-13 cs.AI cs.CV cs.HC
Multi-view Feature Extraction based on Triple Contrastive Heads
China Agricultural University(中国农业大学)
多视图特征提取是解决高维多视图数据维数问题的有效方法。对比学习是一种流行的自监督学习方法,近年来引起了广泛的关注。在这项研究中,我们提出了一种新的多视图特征提取方法的基础上的三重对比头,它结合了样本,恢复,和特征级对比损失,以提取足够的,但最小的子空间判别信息,符合信息瓶颈原则。在MFETCH中,我们构造了特征级对比损失,它去除了一致性信息中的冗余信息,以实现子空间鉴别信息的最小化。此外,在MFETCH中还构造了恢复级对比度损失,该损失捕获了视点特有的鉴别信息,以实现子空间鉴别信息的充分性,数值实验表明,该方法在多视点特征提取中具有很强的优势.
2023-03-22 cs.CV
Refined Geometry-guided Head Avatar Reconstruction from Monocular RGB Video
Michigan State University(密歇根州立大学);Qualcomm Technologies, Inc.(高通技术公司)
本文提出一种两阶段头部虚拟化身重建网络,利用精细3D网格表示和SDF细化,增强NeRF渲染,实现高保真重建,性能优于现有方法。
2025-03-27 cs.CV cs.GR
DiffPortrait360: Consistent Portrait Diffusion for 360 View Synthesis
University of Southern California(南加州大学);MBZUAI(Mohamed bin Zayed 人工智能大学);ByteDance Inc.(字节跳动公司);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Pinscreen Inc.(Pinscreen公司)
针对单视角人头360度视图合成中现有方法视图一致性差、难生成全角度内容的问题,提出基于DiffPortrait3D的新方法,结合定制ControlNet和双外观模块,实现高一致性360度头部视图合成,可生成高质量NeRF用于自由视角渲染,性能优于SOTA方法。
2025-03-19 cs.CV
EmoTalk3D: High-Fidelity Free-View Synthesis of Emotional 3D Talking Head
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Fudan University(复旦大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文提出EmoTalk3D框架与配套多视角数据集,通过“语音-几何-外观”映射及4D高斯解耦,实现情感可控、高保真且自由视角的3D说话头部合成。
2024-08-01 cs.CV
Deformable Model-Driven Neural Rendering for High-Fidelity 3D Reconstruction of Human Heads Under Low-View Settings
Nanyang Technological University(南洋理工大学);Peking University(北京大学);The Chinese University of Hong Kong(香港中文大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);SenseTime Research(商汤科技研究院)
针对低视角3D人头重建易过拟合的问题,提出几何分解与两阶段由粗到细训练,无需3D监督或掩码,提升了重建与新视角合成性能。
2023-08-17 cs.CV
FFAvatar: Feed-Forward 4D Head Avatar Reconstruction from Sparse Portrait Images
School of Electronic Information and Communications, Huazhong University of Science and Technology, Wuhan 430074, China(华中科技大学电子信息与通信学院,武汉430074,中国)
提出基于Transformer的3D高斯框架FFAvatar,通过交替注意力机制和稀疏到密集学习范式,从一张或多张参考图像高效构建高质量、可动画的4D头部化身,支持增量重建和动态个性化。
2026-07-15 cs.AI cs.CV
3D Head-Position Prediction in First-Person View by Considering Head Pose for Human-Robot Eye Contact
The University of Tokyo(东京大学);CyberAgent, Inc.(CyberAgent 公司);Ritsumeikan University(立命馆大学);Osaka University(大阪大学)
为了使人形机器人与人进行目光接触并发起通信,有必要估计人的头部位置。然而,当人移动时,由于机器人的机械延迟,目光接触变得困难。由于这些问题,进行头部位置预测以减轻机器人运动中的延迟的影响是重要的。基于人类在行走时改变方向之前会转动头部的事实,我们假设通过考虑头部姿势可以提高从第一人称视角进行三维(3D)头部位置预测的准确性。我们将我们的方法与传统的基于卡尔曼滤波器的方法进行了比较,发现我们的方法更准确。实验结果表明,考虑头部姿态有助于提高三维头部位置预测的准确性。
2022-01-20 cs.AI cs.CV cs.RO
GLMHA A Guided Low-rank Multi-Head Self-Attention for Efficient Image Restoration and Spectral Reconstruction
Edith Cowan University(伊迪丝·考恩大学);The University of Melbourne(墨尔本大学)
本文提出GLMHA低秩多头自注意力机制,以替代CSA,在保持图像恢复与光谱重建性能的同时显著降低FLOPs和参数量。
2024-10-01 cs.CV
Multi-NeuS: 3D Head Portraits from Single Image with Neural Implicit Functions
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Artificial Intelligence Research Institute (AIRI)(人工智能研究院(AIRI))
提出基于神经隐函数的Multi-NeuS方法,通过扩展NeuS学习人类头部共性先验,实现从单张或少量图像高质量重建3D头部网格。
2023-09-08 cs.CV
SPHEAR: Spherical Head Registration for Complete Statistical 3D Modeling
Google Research(谷歌研究院)
本研究提出基于球形嵌入配准的可微统计3D头部模型SPHEAR,突破经典非刚性配准范式,支持多维度头部数据生成,在效率与精度上均优于现有方法。
2023-11-04 cs.CV
Feed-forward Gaussian Registration for Head Avatar Creation and Editing
Google(谷歌)
MATCH方法通过高效高斯注册实现高质量头像创建,无需预处理,速度快且支持跨主体应用,优于现有方法。
2026-03-16 cs.CV
Head360: Learning a Parametric 3D Full-Head for Free-View Synthesis in 360°
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学现代软件工程国家重点实验室);Fudan University(复旦大学);Tencent AI Lab(腾讯人工智能实验室)
Head360提出首个支持360°自由视角合成、图像拟合、外观编辑与动画的参数化3D全头模型,通过解耦面部运动/形状与神经纹理外观,并实现发型与面部外观分解,达到SOTA渲染与动画质量。
2024-08-01 cs.CV
Condition Matters in Full-head 3D GANs
SSE, CUHK-Shenzhen(CUHK-Shenzhen 信息学院);Tongyi Lab, Alibaba Group(阿里巴巴集团通义实验室);MBZUAI;USC(美国南加州大学);FNii-Shenzhen(深圳未来网络智能省重点实验室);Guangdong Provincial Key Laboratory of Future Networks of Intelligence Internship at Tongyi Lab(广东未来网络智能省重点实验室)
本文提出使用视角不变的语义特征作为条件输入,以解决全头3D GANs中视角偏差问题,提升生成质量和一致性。
2026-02-06 cs.CV cs.GR
One-Shot Free-View Neural Talking-Head Synthesis for Video Conferencing
NVIDIA Corporation(英伟达公司)
我们提出了一个神经说话头视频合成模型,并展示了其应用于视频会议。我们的模型学习使用包含目标人的外观的源图像和指示输出中的运动的驾驶视频来合成说话的头部视频。我们的运动是基于一种新的关键点表示,其中的身份特定的和运动相关的信息被分解unsupervisedly。广泛的实验验证表明,我们的模型在基准数据集上优于竞争方法。此外,我们紧凑的关键点表示使视频会议系统能够实现与商业H.264标准相同的视觉质量,同时仅使用十分之一的带宽。此外,我们展示了我们的关键点表示允许用户在合成过程中旋转头部,这对于模拟面对面的视频会议体验非常有用。
2021-04-02 cs.CV