Do Not DeepFake Me: Privacy-Preserving Neural 3D Head Reconstruction Without Sensitive Images
Nanyang Technological University（南洋理工大学）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）
本文提出一种两阶段隐私保护 3D 面部重建方法，利用非敏感后脑图像和移除隐私的梯度图像重建几何，在保持精度的同时抵御 DeepFake 与面部识别系统。
2024-12-14 cs.CV
FERA 2017 - Addressing Head Pose in the Third Facial Expression Recognition and Analysis Challenge
University of Nottingham（诺丁汉大学）；University of Pittsburgh（匹兹堡大学）；Binghamton University（宾汉姆顿大学）；Imperial College London（帝国理工学院）；University of Twente（特文特大学）；Carnegie Mellon University（卡内基梅隆大学）
近年来，自动面部表情分析领域发展迅速。然而，尽管在新的方法以及基准的努力取得了进展，大多数评估仍然集中在任何构成的表情，近额叶录音，或两者兼而有之。这使得很难判断现有的表情识别方法在人脸以各种姿势（或相机视图）出现的条件下如何执行，显示生态有效的表情。评估这一点的主要障碍是是否有适当的数据，这里提出的挑战是针对这一局限性。FG 2017面部表情识别和分析挑战（FERA 2017）将FERA 2015扩展到不同相机视图下的动作单元发生和强度估计。在本文中，我们提出了面部表情自动识别的第三个挑战，将于2017年5月在美国华盛顿举行的第12届IEEE面部和手势识别会议上举行。定义了两个子挑战：AU发生的检测和AU强度的估计。在这项工作中，我们概述了评估协议，使用的数据，以及两个子挑战的基线方法的结果。
2017-02-14 cs.CV
In-the-wild Facial Expression Recognition in Extreme Poses
International Doctoral Innovation Centre, University of Nottingham Ningbo China（宁波诺丁汉大学国际博士创新中心）；School of Computer Science, University of Nottingham Ningbo China（宁波诺丁汉大学计算机科学学院）；Institute of Microscopy Science and Technology, Ningbo Yongxin Optics Co. LTD.（宁波永新光学股份有限公司显微科学与技术研究所）；School of Computer Science, University of Nottingham（诺丁汉大学计算机科学学院）
在计算机研究领域，人脸表情识别是一个热门的研究课题。近年来，研究已经从实验室环境转移到野外环境。这是具有挑战性的，特别是在极端的姿势下。但目前的表情检测系统都在努力避免姿态效应，以获得通用性。在这项工作中，我们以相反的方式解决问题。我们认为，头部姿势和特殊的头部姿势内检测的表情。我们的工作包括两部分：检测头部姿势并将其分组到一个预定义的头部姿势类中;在每个姿势类中进行面部表情识别。实验结果表明，与不考虑姿态的直接识别相比，采用姿态类分组的方法识别效果更好。我们将手工特征、SIFT、LBP和几何特征与深度学习特征相结合，作为表达式的表示。手工制作的功能与高级深度学习功能一起添加到深度学习框架中。作为比较，我们实现了SVM和随机森林作为预测模型。为了训练和测试我们的方法，我们用6种基本表情标记了人脸数据集。
2018-11-06 cs.CV
Local Multi-Head Channel Self-Attention for Facial Expression Recognition
University of Turin（都灵大学）
自2017年引入Transformer架构以来，已经有许多尝试将自我注意力范式引入计算机视觉领域。在本文中，我们提出了一种新的自我注意模块，可以很容易地集成在几乎每一个卷积神经网络，是专门为计算机视觉，LHC：本地（多）头通道（自我注意）。LHC基于两个主要思想：首先，我们认为在计算机视觉中，利用自我注意力范式的最佳方法是通道应用，而不是更深入的空间注意力，并且卷积不会被NLP中的递归网络那样的注意力模块所取代;其次，局部方法有可能比全局注意力更好地克服卷积的局限性。通过LHC-Net，我们成功地在著名的FER 2013数据集中实现了一个新的最先进的技术水平，与之前的SOTA相比，在计算成本方面，它的复杂性和对“主机”架构的影响显著降低。
2021-11-18 cs.AI cs.CV
A Statistical Approach to Continuous Self-Calibrating Eye Gaze Tracking for Head-Mounted Virtual Reality Systems
UC San Diego（加州大学圣地亚哥分校）；Microsoft Research（微软研究院）
我们提出了一种新颖的，自动的眼睛注视跟踪方案的灵感来自平滑的追求眼睛运动，而玩手机游戏或观看虚拟现实内容。我们的算法连续地校准用于盔装显示器的眼动追踪系统。这消除了对明确校准步骤的需要，并自动补偿耳机相对于头部的微小移动。该算法找到角膜运动和屏幕空间运动之间的对应关系，并使用这些来生成高斯过程回归模型。这些模型的组合提供了从角膜位置到屏幕空间位置的连续映射。精确度几乎与使用明确的校准步骤实现的一样好。
2016-12-20 cs.CV
Simultaneous Facial Landmark Detection, Pose and Deformation Estimation under Facial Occlusion
Rensselaer Polytechnic Institute（伦斯勒理工学院）
人脸特征点检测、头部姿态估计和人脸形变分析是计算机视觉中典型的人脸行为分析任务。现有的方法通常独立地和顺序地执行每个任务，忽略了它们之间的相互作用。为了解决这个问题，我们提出了一个统一的框架，同时面部标志检测，头部姿态估计，和面部变形分析，所提出的模型是鲁棒的面部遮挡。在使用基于模型的头部姿态估计增强的级联过程之后，我们迭代地更新面部标志位置、面部遮挡、头部姿态和面部变形直到收敛。基准数据库上的实验结果表明，该方法的有效性，同时面部标志检测，头部姿势和面部变形估计，即使在面部遮挡的图像。
2017-09-23 cs.CV
Real-time Egocentric Gesture Recognition on Mobile Head Mounted Displays
Google Inc.（谷歌公司）
移动虚拟现实（VR）盔装显示器（HMD）近年来在消费者中变得流行。在这项工作中，我们展示了实时的自我为中心的手势检测和定位移动头戴式显示器。我们的主要贡献是：1）一种新颖的混合现实数据汇集工具，用于自动注释边界框和手势标签; 2）迄今为止最大的以自我为中心的手势和限界框数据集，具有超过400，000个注释帧; 3）一个神经网络，在现代移动CPU上实时的运行，并在8个类别的手势识别上实现高于76%的精度。
2017-12-13 cs.CV
Human Head Pose Estimation by Facial Features Location
University of Maryland（马里兰大学）
我们描述了一种方法，用于估计人的头部姿势在彩色图像中，包含足够的信息来定位头部轮廓和检测非平凡的颜色边缘的个人面部特征。该方法的工作原理是通过在任意背景上定位人的头部，提取头部轮廓，并在3D空间中定位描述头部方向所需的面部特征。它是足够强大的工作与彩色和灰度图像具有准正面视图的人的头部在可变的照明条件下。
2015-10-09 cs.CV
Head Mounted Pupil Tracking Using Convolutional Neural Network
瞳孔跟踪是目标跟踪的一个重要分支，对跟踪精度要求很高。我们研究了头戴式瞳孔跟踪，它往往比远程瞳孔跟踪更方便和精确，但也更具挑战性。当瞳孔跟踪受到光照等噪声的影响时，检测精度会大大降低。由于头戴式记录设备和公共基准图像数据集的出现，头戴式跟踪算法变得更容易设计和评估。在本文中，我们提出了一个强大的头戴式瞳孔检测算法，它使用卷积神经网络（CNN），结合不同的特征瞳孔。这里我们考虑瞳孔的三个特征。首先，我们使用三个基于瞳孔特征的算法来独立地找到瞳孔中心。其次，我们使用CNN来评估每个结果的质量。最后，我们选择最好的结果作为输出。实验结果表明，我们提出的算法性能优于目前的最先进的。
2018-07-17 cs.CV cs.LG
A Real-Time Multi-Task Learning System for Joint Detection of Face, Facial Landmark and Head Pose
University of Macau（澳门大学）；Shenzhen University（深圳大学）
本文提出一种基于YOLOv8的实时多任务检测系统，通过增加关键点回归头并优化多个模块，实现人脸、面部关键点和头部姿态的联合检测，并在300W-LP和AFLW2000-3D数据集上验证了其应对大角度姿态挑战的有效性与实时性。
2023-09-21 cs.CV
Head Frontal-View Identification Using Extended LLE
Center for Spoken Language Understanding, Oregon Health and Science University（俄勒冈健康与科学大学口语语言理解中心）
由于姿态变化引起的外观变化，特别是在没有任何训练样本的情况下，自动头部正视图识别具有挑战性。在本文中，我们提出了一种无监督的算法，用于识别不同的偏航姿态（来自同一个人）下的多个人脸图像中的正面视图。我们的方法是基于局部线性嵌入（LLE），假设与偏航姿态是唯一的变量，面部图像应该位于一个光滑和低维流形。我们水平翻转的人脸图像，并提出了两个K-最近邻协议的原始图像和翻转的图像，分别。在所提出的扩展LLE中，对于任何人脸图像（原始或翻转的人脸图像），我们搜索（1）原始人脸图像中的Ko最近邻居和（2）翻转的人脸图像中的Kf最近邻居来构建相同的邻域图。扩展的LLE消除了原始人脸图像和翻转后的人脸图像在相同的偏航姿态下的差异（由于背景、人脸在整个图像中的位置和比例以及左右人脸的一些不对称性），从而可以有效地使用翻转后的人脸图像。我们的方法不需要任何训练样本作为先验信息。实验结果表明，对于多幅人脸图像，尤其是裁剪后的人脸图像（背景较小、人脸居中），可以在姿态流形的最低点周围可靠地识别头部正面视图。
2012-09-20 cs.CV
HEADS-UP: Head-Mounted Egocentric Dataset for Trajectory Prediction in Blind Assistance Systems
EPFL（洛桑联邦理工学院）；Universidad del Valle（德尔瓦列大学）；EssentialTech Center at EPFL（洛桑联邦理工学院EssentialTech中心）
本文提出首个面向盲人辅助系统的头戴式自我中心轨迹预测数据集HEADS-UP，并基于该数据集设计了一种半局部轨迹预测方法，用于实时评估盲人与行人间的碰撞风险，在数据集和NVIDIA Jetson GPU实时测试中验证了其鲁棒性与效率。
2024-09-30 cs.CV
Mask-off: Synthesizing Face Images in the Presence of Head-mounted Displays
University of Kentucky（肯塔基大学）；North Carolina Central University（北卡罗来纳中央大学）
盔装显示器（HMD）是增强现实系统的重要组成部分。然而，由于上面部区域被设备严重遮挡，在诸如电信和多玩家视频游戏的应用中，用户体验可能受到影响。在本文中，我们首先提出了一种新的实验装置，由两个近红外（NIR）相机指向眼睛区域和一个可见光RGB相机捕捉可见人脸区域。本文的主要目的是基于这些摄像机拍摄到的图像，合成真实感的人脸图像。为此，我们提出了一个新的合成框架，其中包含四个模块：三维头部重建，人脸对齐和跟踪，人脸合成，眼睛合成。在人脸合成中，我们提出了一种新的算法，该算法可以鲁棒地对齐和跟踪个性化的3D头部模型，给出了一个严重被HMD遮挡的人脸。在眼睛合成中，为了生成准确的眼睛运动和动态皱纹变化的眼睛区域周围，我们提出了另一种新的算法来着色的近红外眼睛图像，并进一步消除由着色引起的“红眼”效应。实验结果表明，无论是硬件设置还是系统框架，都能很好地合成视频序列中的真实人脸图像。
2016-10-27 cs.CV
HMD^2: Environment-aware Motion Generation from Single Egocentric Head-Mounted Device
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Stanford University（斯坦福大学）；Nanyang Technological University（南洋理工大学）；Meta Reality Labs Research（Meta现实实验室）
本文提出HMD^2系统，通过结合视觉SLAM与多模态条件动作扩散模型，利用单个头戴式设备实现低延迟的逼真全身动作生成。
2025-03-02 cs.CV
Dimitra: Audio-driven Diffusion model for Expressive Talking Head Generation
Université Côte d’Azur（蔚蓝海岸大学）；Inria（法国国家信息与自动化研究所）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
Dimitra是一个音频驱动的扩散模型框架，通过条件运动扩散Transformer和3D建模，利用音频和参考图像生成具有嘴唇运动、面部表情和头部姿态的逼真说话头，在VoxCeleb2和HDTF上超越现有方法。
2025-02-24 cs.CV
FSRT: Facial Scene Representation Transformer for Face Reenactment from Factorized Appearance, Head-pose, and Facial Expression Features
Autonomous Intelligent Systems - Computer Science Institute VI and Center for Robotics, University of Bonn（波恩大学自主智能系统 - 计算机科学第六研究所与机器人中心）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习和人工智能研究所）
本文提出FSRT，一种基于Transformer的人脸重现方法，通过自监督分解外观、头部姿态和表情特征，支持跨人重现和多源图像适应，实验表明其在运动迁移质量和时间一致性上优于现有方法。
2024-06-10 cs.CV
Robust Facial Landmark Detection under Significant Head Poses and Occlusion
Rensselaer Polytechnic Institute（伦斯勒理工学院）
在一般的“野外”图像上的面部标志检测已经有了巨大的改进。然而，在具有严重遮挡的图像和具有大头部姿势的图像（例如，侧面脸）上检测面部标志仍然是具有挑战性的。事实上，现有的算法通常只能处理其中之一。在这项工作中，我们提出了一个统一的强大的级联回归框架，可以处理严重遮挡的图像和大的头部姿势的图像。具体地，该方法迭代地预测界标遮挡和界标位置。对于遮挡估计，而不是直接预测二进制遮挡向量，我们引入了一种监督回归方法，在每次迭代中逐渐更新地标可见性概率，以实现鲁棒性。此外，我们显式地添加遮挡模式作为约束，以提高遮挡预测的性能。对于地标检测，我们结合地标可见性概率，局部外观和局部形状来迭代更新它们的位置。实验结果表明，该方法在严重遮挡图像和头部姿态较大的图像上的效果明显优于现有的方法。它也可以与一般“野外”图像的其他方法相媲美。
2017-09-23 cs.CV
SyncTalk: The Devil is in the Synchronization for Talking Head Synthesis
Renmin University of China（中国人民大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Psyche AI Inc.（Psyche AI公司）；Chinese Academy of Sciences（中国科学院）；Tsinghua University（清华大学）
在合成逼真的、语音驱动的说话头部视频中实现高同步提出了重大挑战。传统的生成对抗网络（GAN）难以保持一致的面部身份，而神经辐射场（NeRF）方法虽然可以解决这个问题，但通常会产生不匹配的嘴唇运动，不适当的面部表情和不稳定的头部姿势。一个逼真的会说话的头部需要主体身份、嘴唇运动、面部表情和头部姿势的同步协调。缺乏这些同步是一个根本性的缺陷，导致不现实和人为的结果。为了解决同步的关键问题，确定为“魔鬼”在创建现实的说话头，我们介绍SyncTalk。这种基于NeRF的方法有效地保持了主体身份，增强了说话头部合成的同步性和真实感。SyncTalk采用Face-Sync Controller将嘴唇运动与语音对齐，并创新地使用3D面部融合模型来捕捉准确的面部表情。我们的头部同步稳定器优化头部姿势，实现更自然的头部运动。肖像同步发生器恢复头发的细节，并融合生成的头部与躯干的无缝视觉体验。大量的实验和用户研究表明，SyncTalk在同步和真实感方面优于最先进的方法。我们建议观看补充视频：https://ziqiaopeng.github.io/synctalk
2024-04-28 cs.CV
Detecting Deepfake Talking Heads from Facial Biometric Anomalies
University of California, Berkeley（加州大学伯克利分校）
针对深度伪造视频冒充带来的欺诈与虚假信息问题，提出一种利用面部生物特征非自然模式的取证机器学习检测技术，并在大型数据集上验证了其对视频洗白的鲁棒性与对未知生成器的泛化能力。
2025-07-11 cs.CV
SingingHead: A Large-scale 4D Dataset for Singing Head Animation
针对歌唱头部动画领域缺乏专用数据集的问题，该研究构建了含27小时多模态数据的大规模4D数据集SingingHead，提出统一框架UniSinger，在3D与2D歌唱动画任务上均取得优异表现。
2024-07-14 cs.CV
Nose, eyes and ears: Head pose estimation by locating facial keypoints
Centre for Visual Information Technology, KCIS, IIIT Hyderabad（国际信息技术研究所（海得拉巴）KCIS 视觉信息技术中心）
单目头部姿态估计需要学习从人脸的输入图像计算姿态（偏航、俯仰、滚动）的固有欧拉角的模型。注释野外图像的地面真实头部姿势角度是困难的，并且需要专门的拟合过程（其仅提供粗略和近似的注释）。这突出了对可以在受控环境中捕获的数据上进行训练并在野外（具有不同的面部外观和照明）的图像上进行概括的方法的需要。目前大多数直接在输入图像上学习回归函数的深度学习方法都无法做到这一点。为此，我们建议在使用深度学习架构时使用更高级别的表示来回归头部姿势。更具体地说，我们使用五个面部关键点（即左耳、右耳、左眼、右眼和鼻子）上的2D软定位热图图像形式的不确定性图，并将它们通过卷积神经网络来回归头部姿势。我们在两个具有挑战性的基准BIWI和AFLW上显示了头部姿态估计结果，并且我们的方法在这两个数据集上都超越了最先进的水平。
2018-12-03 cs.CV
Learning Dynamic Facial Radiance Fields for Few-Shot Talking Head Synthesis
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；PhiGent Robotics（鉴智机器人）
说话人头像合成是一项新兴技术，在电影配音、虚拟化身、网络教育等领域有着广泛的应用。最近基于NeRF的方法生成更自然的谈话视频，因为它们更好地捕捉面部的3D结构信息。然而，需要为每个具有大型数据集的身份训练特定的模型。在本文中，我们提出了动态面部辐射场（DFRF）的Few-Shot说话的头部合成，它可以快速推广到一个看不见的身份与少量的训练数据。与现有的基于NeRF的方法直接将特定人的3D几何形状和外观编码到网络中不同，我们的DFRF条件人脸辐射场在2D外观图像上学习人脸先验。因此，面部辐射场可以灵活地调整到新的身份与几个参考图像。此外，为了更好地建模的面部变形，我们提出了一个可微的面部变形模块的音频信号的条件下变形的所有参考图像的查询空间。大量的实验表明，只有几十秒的训练剪辑可用，我们提出的DFRF可以合成自然和高质量的音频驱动的说话头部视频的新身份，只有40k迭代。我们强烈建议读者查看我们的补充视频，以进行直观的比较。代码可在https://sstzal.github.io/DFRF/上找到。
2022-07-24 cs.CV
A Framework for Real-Time Face and Facial Feature Tracking using Optical Flow Pre-estimation and Template Tracking
LIACS, Leiden University（莱顿大学LIACS（莱顿高级计算机科学研究所））
这项工作提出了一个框架，用于跟踪头部运动和捕捉运动的嘴和两个眉毛在实时的【形】。我们提出了一个头部跟踪器，这是一个组合的光流和基于模板的跟踪器。光流头部跟踪器的估计被用作微调头部估计的模板跟踪器的起始点。该方法与重新更新光流点一起防止头部跟踪器漂移。这种结合与我们的切换方案，使我们的跟踪器非常强大的快速运动和运动模糊。我们还提出了一种方法来减少头部部分遮挡的影响。在光流和基于模板的跟踪器中，我们识别并排除遮挡点。
2010-12-31 cs.CV
Real-time Simultaneous 3D Head Modeling and Facial Motion Capture with an RGB-D camera
Kyushu University（九州大学）
我们提出了一种使用消费级RGB-D相机构建实时的【形】动画3D头部模型的方法。我们提出的方法是第一个同时提供全面的面部运动跟踪和用户头部的详细3D模型。任何人的头部都可以立即重建，他的面部运动捕捉，而不需要任何培训或预扫描。用户在第一帧中开始以中性表情面对相机，但可以自由移动，说话和改变他的面部表情。面部运动使用混合变形动画模型捕获，而几何细节使用映射到模板网格上的偏差图像捕获。我们贡献了一个有效的算法来生长和细化的头部变形三维模型上的飞行和实时的【形】。我们展示了强大的和高保真的同时面部运动捕捉和3D头部建模的结果在广泛的主题与各种头部姿势和面部表情。
2020-04-22 cs.CV eess.IV
3D Face Alignment Through Fusion of Head Pose Information and Features
Soongsil University（崇实大学）
本研究提出一种融合头部姿态信息与人脸对齐网络特征图的3D人脸对齐新方法，结合双维度多维度特征网络与知识蒸馏训练策略，在多个基准数据集上取得了与当前最优方法相当的性能。
2023-08-25 cs.CV
AI killed the video star. Audio-driven diffusion model for expressive talking head generation
Centre INRIA d’Université Côte d’Azur（INRIA中心，坎特伯雷大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
Dimitra++通过音频驱动的扩散模型生成具有真实嘴唇运动、面部表情和头部姿态的说话头，优于现有方法。
2025-11-27 cs.CV
SPEAK: Speech-Driven Pose and Emotion-Adjustable Talking Head Generation
Ping An Technology（平安科技）；Southeast University（东南大学）；Sun Yat-sen University（中山大学）；Nanjing University of Science and Technology（南京理工大学）；East China University of Science and Technology（华东理工大学）；University of Shanghai for Science and Technology（上海理工大学）
针对现有说话人脸生成忽略情感且受限于特定个体的问题，提出SPEAK框架，通过特征解耦与编辑实现情感和姿态可控的一次性说话人头像生成，确保唇音同步并实现解耦控制。
2024-11-04 cs.CV
EmoZone-Talker: Regional Semantic Control of Audio-Driven 3DGS Talking Heads via Facial Action Units
China University of Petroleum (East China)（中国石油大学（华东））
提出EmoZone-Talker框架，通过区域解耦和时序建模解决音频与表情信号的冲突，实现精细、可解释的面部表情控制。
2026-09-28 cs.CV
JoyVASA: Portrait and Animal Image Animation with Diffusion-Based Audio-Driven Facial Dynamics and Head Motion Generation
JD Health International Inc.（JD健康国际公司）
本文提出JoyVASA，一种基于扩散模型的音频驱动面部动画方法，通过解耦面部表示和独立于角色身份的运动生成，实现更长视频和动物面部的无缝动画。
2026-04-16 cs.CV
Exploring Talking Head Models With Adjacent Frame Prior for Speech-Preserving Facial Expression Manipulation
Guangdong University of Technology（广东工业大学）；Peking University（北京大学）；Sun Yat-sen University（中山大学）
本文提出THFEM框架，结合AD-THG模型与SPFEM，通过相邻帧学习策略提升语音保留的面部表情操纵效果。
2026-01-19 cs.CV
Audio-Driven 3D Facial Animation from In-the-Wild Videos
Tsinghua University（清华大学）；The University of Tokyo（东京大学）
本文提出利用野外二维说话头视频训练三维面部动画模型，结合三维重建方法，实现高保真唇同步并捕捉个人说话风格，显著提升泛化能力。
2023-06-20 cs.CV
Toward Fine-Grained Facial Control in 3D Talking Head Generation
School of Cyber Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Lee Kong Chian School of Medicine, Nanyang Technological University（南洋理工大学李科金医学院）；School of Remote Sensing and Information Engineering, Wuhan University（武汉大学遥感与信息工程学院）；Purple Mountain Laboratories, Nanjing（南京紫金山实验室）；Engineering Research Center of Blockchain Application, Supervision And Management (Southeast University), Ministry of Education（教育部区块链应用、监督与管理工程研究中心（东南大学））；Department of Computer and Information Science, University of Macau（澳门大学计算机与信息科学系）；Department of Computer Science and Engineering, The Hong Kong University of Science and Technology（香港科技大学计算机科学与工程系）
本文提出FG-3DGS框架，通过频率感知解耦策略实现细粒度面部控制，提升3D说话人脸生成的精度和唇同步效果。
2026-02-10 cs.CV
syGlass: Interactive Exploration of Multidimensional Images Using Virtual Reality Head-mounted Displays
West Virginia University（西弗吉尼亚大学）；Rockefeller Neuroscience Institute of West Virginia University（西弗吉尼亚大学洛克菲勒神经科学研究所）
对生物系统更深入了解的追求推动了越来越大的多维图像数据集的获取。在传统的可视化系统中，检查和操纵这种复杂性的数据是非常具有挑战性的。我们开发了syGlass，一个软件包，能够可视化大规模的体积数据与廉价的虚拟现实盔装显示器技术。这允许利用立体视觉来显著改善复杂3D结构的感知，并提供直接在3D中与数据的沉浸式交互。我们通过开发高度优化的数据流和体渲染管道来实现这一目标，这些管道在高达16 TB的数据集上进行了测试，并在虚拟现实GUI中提供了支持高级数据探索、注释和编目的工具。
2018-08-22 cs.CV cs.GR
Breathing Life into Faces: Speech-driven 3D Facial Animation with Natural Head Pose and Detailed Shape
Hunan University（湖南大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出VividTalker框架，通过将头部姿态与嘴部运动解耦并分别编码到离散潜在空间，结合窗口Transformer自回归生成和精细3D数据集，实现具有自然头部姿态和面部细节的语音驱动3D面部动画。
2023-10-31 cs.AI cs.CV
SelfPose: 3D Egocentric Pose Estimation from a Headset Mounted Camera
我们提出了一个解决方案，以自我为中心的3D身体姿态估计从单眼图像捕获向下看鱼眼摄像头安装在头戴式VR设备的边缘。这种不寻常的视角导致图像具有独特的视觉外观，具有严重的自遮挡和透视扭曲，导致下半身和上半身之间的分辨率存在巨大差异。我们提出了一种编码器-解码器架构，其具有新颖的多分支解码器，该多分支解码器设计用于考虑2D预测中的不同不确定性。对合成和真实世界数据集的定量评估表明，我们的策略比最先进的以自我为中心的方法在准确性上有了实质性的提高。为了解决缺乏标记数据的问题，我们还引入了一个大型照片级真实感合成数据集。xR-EgoPose提供高质量的渲染，呈现不同肤色，体型和服装的人，执行一系列动作。我们的实验表明，我们新的合成训练语料库中的高可变性导致了对真实世界镜头的良好泛化，以及对真实世界数据集的最新结果的状态。此外，在Human3.6M基准测试上的评估表明，从第三人称的角度来看，我们的方法在更经典的3D人体姿势问题上的性能与顶级方法相当。
2020-11-02 cs.CV
SurgeonAssist-Net: Towards Context-Aware Head-Mounted Display-Based Augmented Reality for Surgical Guidance
University of Toronto（多伦多大学）；Sunnybrook Health Sciences Centre（桑尼布鲁克健康科学中心）；Sunnybrook Research Institute（桑尼布鲁克研究所）
我们介绍SurgeonAssist-Net：一个轻量级的框架，使行动和工作流驱动的虚拟援助，为一组预定义的手术任务，可访问市售的光学透视盔装显示器（OST-HMD）。在腹腔镜手术工作流程的广泛使用的基准数据集上，我们的实现在自动任务识别的预测准确性方面与最先进的方法竞争，但需要的参数少7.4倍，每秒浮点运算（FLOPS）少10.2倍，CPU上的推理速度快7.0倍，并且能够在Microsoft HoloLens 2 OST-HMD上实现近实时性能。为了实现这一目标，我们利用一个高效的卷积神经网络（CNN）主干从图像数据中提取判别特征，并利用一个低参数递归神经网络（RNN）架构来学习长期的时间依赖性。为了证明我们在HoloLens 2上进行推理的方法的可行性，我们创建了一个样本数据集，其中包括从以用户为中心的视角记录的几个手术任务的视频。训练后，我们部署了我们的模型，并在在线模拟手术场景中对其性能进行了分类，以预测当前的手术任务。我们的方法的效用是探讨在几个相关的临床用例的讨论。我们的代码可在https://github.com/doughtmw/surgeon-assist-net上公开获取。
2021-07-13 cs.CV
Egocentric Gesture Recognition for Head-Mounted AR devices
Trinity College Dublin（都柏林圣三一学院）
在AR/VR环境中与虚拟对象的自然交互有助于实现流畅的用户体验。手势是从现实世界到增强空间的自然延伸，以实现这些交互。识别自我中心手势的主要挑战是在自我视角下找到与手势和手相关的有区别的时空特征。在这项工作中，我们提出了一个数据驱动的端到端的深度学习方法来解决以自我为中心的手势识别问题，它结合了一个自我-手编码器网络，以找到自我-手的功能，和一个递归神经网络，以辨别时间区分功能。由于深度学习网络是数据密集型的，我们提出了一种新的数据增强技术，使用绿色屏幕捕获来缓解地面实况注释的问题。此外，我们还发布了一个数据集，其中包含在绿屏前以自然方式执行的10个手势用于训练，以及在没有绿屏的不同自然场景中执行的相同10个手势用于验证。我们还将我们的网络性能与使用AirGest数据集的最先进网络进行了比较
2018-08-16 cs.CV
Mocap Everyone Everywhere: Lightweight Motion Capture With Smartwatches and a Head-Mounted Camera
Seoul National University（首尔大学）
本文提出仅用两块智能手表和一台头戴相机实现低成本全身动捕，通过融合6D头部姿态、地面高度更新与多阶段Transformer回归，并利用第一人称视觉线索，在室内外复杂场景中实现高质量运动捕捉。
2024-05-06 cs.CV cs.GR
Head2HeadFS: Video-based Head Reenactment with Few-shot Learning
Imperial College London（帝国理工学院）；University of Exeter（埃克塞特大学）
在过去的几年里，大量的工作已经完成了面部重现的问题，解决方案主要来自图形社区。头部再现是一项更具挑战性的任务，其目的不仅是将面部表情，而且是将整个头部姿势从源人物转移到目标人物。目前的方法要么是训练特定于个人的系统，要么是使用面部标志来模拟人类头部，这种表示可能会将不需要的身份属性从源转移到目标。我们提出了head2headFS，一种新的易于适应的管道头重演。我们的条件合成的目标人物密集的3D人脸形状信息的来源，这使得高质量的表达和姿态转移。我们的基于视频的渲染网络在少样本学习策略下进行了微调，仅使用少量样本。这允许在多人数据集上训练的通用生成器快速适应特定于个人的生成器。
2021-03-30 cs.CV
Recognizing Activities of Daily Living with a Wrist-mounted Camera
The University of Tokyo（东京大学）
我们提出了一种新的数据集和一种新的算法，用于从第一人称可穿戴相机中识别日常生活活动（ADL）。处理对象是至关重要的自我中心的ADL识别。为了与环境中的其他对象分开地对与用户的动作相关的对象进行特定检查，许多先前的工作已经解决了从头戴式和胸戴式相机捕获的图像中的被处理对象的检测。然而，检测被处理的对象并不总是容易的，因为它们往往在图像中显得很小。它们可能被用户的身体遮挡。如本文所述，我们将相机安装在用户的手腕上。腕戴式摄像机可以大规模地捕获被处理的对象，因此它使我们能够跳过目标检测过程。为了比较腕戴式摄像头和头戴式摄像头，我们还开发了一个新颖的公开数据集，其中包括两个摄像头同时捕获的日常活动的视频和注释。此外，我们提出了一个有区别的视频表示，保留空间和时间信息编码后提取的卷积神经网络（CNN）的帧描述符。
2016-04-28 cs.CV
3D Gaze Estimation from 2D Pupil Positions on Monocular Head-Mounted Eye Trackers
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
3D凝视信息对于以场景为中心的注意力分析是重要的，但是在真实世界环境中3D凝视的准确估计和分析仍然具有挑战性。我们提出了一种新的单目头戴式眼动仪的3D视线估计方法。与以前的工作相比，我们的方法不旨在推断3D眼球姿态，而是直接将2D瞳孔位置映射到场景相机坐标空间中的3D注视方向。我们首先详细讨论了3D凝视估计任务，并总结了不同的方法，包括我们自己的方法。然后，我们使用模拟和真实数据评估不同的3D凝视估计方法的性能。通过实验验证，我们证明了我们的方法在减少视差误差的有效性，我们确定的3D校准程序的设计的研究挑战。
2016-01-19 cs.CV cs.HC
EventEgo3D++: 3D Human Motion Capture from a Head-Mounted Event Camera
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
针对单目第一人称3D人体运动捕捉在低光照和快速运动下的挑战，提出EventEgo3D++，利用鱼眼镜头事件相机和LNES表示，实现更优精度与鲁棒性及140Hz实时更新。
2025-02-11 cs.CV
Egocentric Gaze Estimation via Neck-Mounted Camera
The University of Tokyo（东京大学）
本文提出通过颈部摄像头进行眼动估计的新任务，并引入基于变换器的模型GLC及两种扩展方法，以提升眼动估计性能。
2026-02-12 cs.CV
Write-a-speaker: Text-based Emotional and Rhythmic Talking-head Generation
Netease Fuxi AI Lab（网易伏羲人工智能实验室）；University of Technology Sydney（悉尼科技大学）
在本文中，我们提出了一种新的基于文本的说话头视频生成框架，合成高保真的面部表情和头部运动，根据上下文的情绪，以及语音节奏和停顿。具体来说，我们的框架包括一个独立于说话人的阶段和一个特定于说话人的阶段。在与说话人无关的阶段，我们设计了三个并行网络，分别从文本中生成嘴部、上面部和头部的动画参数。在特定于说话人的阶段，我们提出了一个3D人脸模型引导的注意力网络来合成为不同个体量身定制的视频。它以动画参数作为输入，并利用注意力掩模来操纵输入个体的面部表情变化。此外，为了更好地建立视觉运动之间的真实对应（即，面部表情变化和头部运动）和音频，我们利用高精度的运动捕捉数据集，而不是依赖于特定个人的长视频。在获得视觉和音频对应之后，我们可以以端到端的方式有效地训练我们的网络。定性和定量结果的大量实验表明，我们的算法实现了高质量的照片般逼真的说话头视频，包括各种面部表情和头部运动，根据语音节奏和优于国家的最先进的。
2021-05-07 cs.CV
HAvatar: High-fidelity Head Avatar via Facial Model Conditioned Neural Radiance Field
Tsinghua University（清华大学）；NNKosmos Technology（NNKosmos科技）
本文提出HAvatar，一种面部模型条件化NeRF混合表示，结合参数化模板先验与GAN图像翻译，实现高保真、稳定且视角一致的3D头部头像动画。
2023-09-29 cs.CV
Beyond Motion Primitives: Behavioral Activity Recognition from Head-Mounted IMU
Harvard AI and Robotics Lab, Harvard University（哈佛人工智能与机器人实验室，哈佛大学）
提出HiT-HAR层次模型，利用头戴式IMU数据实现行为级活动识别，超越传统运动基元，在五类动作和八类场景识别中优于现有模型。
2026-05-26 cs.AI cs.CV
Implicit Neural Head Synthesis via Controllable Local Deformation Fields
Carnegie Mellon University（卡内基梅隆大学）；Flawless AI
针对单目视频中3D头部化身的精细局部控制问题，提出基于3DMM参数和关键点的多个局部隐式变形场，并以稀疏性约束实现更锐利的口腔、非对称表情及面部细节合成。
2023-04-21 cs.CV
LPMM: Intuitive Pose Control for Neural Talking-Head Model via Landmark-Parameter Morphable Model
Naver Webtoon AI（Naver网络漫画人工智能部）
提出LPMM方法，通过语义参数在面部关键点域实现直观的头部姿态和表情控制，克服了现有说话头部模型姿态控制不灵活的问题。
2023-05-17 cs.CV
Neuromuscular Control of the Face-Head-Neck Biomechanical Complex With Learning-Based Expression Transfer From Images and Videos
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；NeuralX, Inc.（NeuralX公司）
人脸表情到三维人脸模型的转换是一个经典的计算机图形学问题。在本文中，我们提出了一种新的，基于学习的方法来转移面部表情和头部运动从图像和视频的生物力学模型的脸-头-颈复合体。利用面部动作编码系统（FACS）作为表情空间的中间表示，我们训练深度神经网络以接收FACS动作单元（AU）并为肌肉骨骼模型输出合适的面部肌肉和下颌激活信号。通过生物力学模拟，激活使面部软组织变形，从而将表情传递到模型。我们的方法比以前的方法有优势。首先，面部表情在解剖学上是一致的，因为我们的生物力学模型模拟了面部、头部和颈部的相关解剖结构。其次，通过使用从生物力学模型本身生成的数据训练神经网络，我们消除了用于表达转移的数据汇集的手动工作。我们的方法的成功证明，通过实验，涉及到我们的面部表情和头部姿势从一系列的面部图像和视频转移到我们的脸，头，颈模型。
2021-11-12 cs.CV cs.GR
EgoWholeView: Camera-Only Head-Mounted Capture of Body and Bimanual Hand Motion for Embodied Demonstrations
Zhongguancun Academy（中关村学院）；DeepCybo；Beijing University of Chemical Technology（北京化工大学）；Zhongguancun Institute of Artificial Intelligence（中关村人工智能研究院）
EgoWholeView是由6台同步广角RGB摄像头组成的可穿戴捕捉系统，融合双视角预测实现身体与双手运动捕捉，精度提升且成本低，可用于具身演示等场景。
2026-10-14 cs.CV
MoGaFace: Momentum-Guided and Texture-Aware Gaussian Avatars for Consistent Facial Geometry
提出MoGaFace框架，通过动量引导几何模块和潜在纹理注意力，在高斯渲染中持续细化面部几何与纹理，解决网格错位问题，实现高保真头部化身重建并提升新视角合成质量。
2025-08-02 cs.CV
Head360: Learning a Parametric 3D Full-Head for Free-View Synthesis in 360°
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学现代软件工程国家重点实验室）；Fudan University（复旦大学）；Tencent AI Lab（腾讯人工智能实验室）
Head360提出首个支持360°自由视角合成、图像拟合、外观编辑与动画的参数化3D全头模型，通过解耦面部运动/形状与神经纹理外观，并实现发型与面部外观分解，达到SOTA渲染与动画质量。
2024-08-01 cs.CV
mmEgoHand: Egocentric Hand Pose Estimation and Gesture Recognition with Head-mounted Millimeter-wave Radar and IMU
School of Software Engineering, Xi’an Jiaotong University（软件工程学院，西安交通大学）；School of Cyber Science and Engineering, Xi’an Jiaotong University（网络科学与工程学院，西安交通大学）；School of Computer Science and Technology, Xi’an Jiaotong University（计算机科学与技术学院，西安交通大学）；College of Computer Science and Technology, Zhejiang University（计算机科学与技术学院，浙江大学）
mmEgoHand提出头戴式毫米波雷达与IMU融合的自我中心手部姿态估计系统，通过端到端Transformer实现时空对齐和3D关键点估计，在10人8手势3姿态下达到90.8%识别准确率。
2025-07-06 cs.CV
AdaMesh: Personalized Facial Expressions and Head Poses for Adaptive Speech-Driven 3D Facial Animation
Tsinghua University（清华大学）；SenseTime Research（商汤科技研究院）；Xverse Technology（Xverse科技公司）；The Chinese University of Hong Kong（香港中文大学）
提出AdaMesh，通过约10秒参考视频学习个性化说话风格，结合MoLoRA微调表情适配器和无需微调的姿态适配器，生成生动的3D面部表情与头部姿态动画。
2025-03-04 cs.CV cs.MM
