LwPosr: Lightweight Efficient Fine-Grained Head Pose Estimation
ETH Zurich（苏黎世联邦理工学院(ETH Zurich)）
提出了一种用于头部姿态估计（HPE）任务的轻量级网络。虽然以前的方法依赖于卷积神经网络，但所提出的网络\textit{LwPosr}使用了深度可分离卷积（DSC）和Transformer编码器层的混合，这些编码器层被构造成两个流和三个阶段，以提供用于预测头部姿势的细粒度回归。定量和定性的演示表明，该网络能够有效地学习头部姿态，同时使用较少的参数空间。使用三个开源数据集（即300 W-LP、AFLW 2000和BIWI数据集）进行广泛消融。据我们所知，（1）与基于关键点的方法和无关键点的方法相比，\textit{LwPosr}是用于估计头部姿势的最轻网络;（2）它为在平均绝对误差和减少参数数量方面优于先前的轻量级网络设定了基准;（3）它是同类中第一个将DSC和Transformer编码器混合用于HPE的网络。这种方法适用于需要轻量级网络的移动设备。
2022-02-07 cs.CV
Owl and Lizard: Patterns of Head Pose and Eye Pose in Driver Gaze Classification
Massachusetts Institute of Technology (MIT)（麻省理工学院）；Chalmers University of Technology（查尔姆斯理工大学）；SAFER
准确、稳健、廉价的车内视线跟踪可以通过促进更有效地研究如何改进（1）车辆界面和（2）未来高级驾驶员辅助系统的设计来帮助保持驾驶员的安全。在本文中，我们估计头部姿态和眼睛姿态从单目视频使用的方法在以前的工作中广泛发展，并提出两个新的有趣的问题。首先，使用头部和眼睛姿势与仅使用头部姿势相比，我们能更好地对驾驶员凝视进行分类吗？第二，是否存在个体特定的凝视策略，其与通过添加眼睛姿态信息而改善的凝视分类有密切相关？我们回答这些问题，通过评估40名司机的道路上的研究数据。论文的主要观点是通过“猫头鹰”和“蜥蜴”的类比来传达的，这描述了眼睛和头部在转移视线时移动的程度。当头部移动很多时（“猫头鹰”），通过在头部姿势之上估计眼睛姿势来获得不多的分类改进。另一方面，当头部保持静止并且只有眼睛移动时（“蜥蜴”），通过添加眼睛姿势，分类准确性显著增加。我们描述了准确性如何在人，凝视策略和凝视区域之间变化。
2016-11-20 cs.CV cs.HC cs.LG
Ollivier-Ricci Curvature For Head Pose Estimation From a Single Image
University of Salerno（萨勒诺大学）
头部姿态估计是许多现实世界应用中的关键挑战，例如注意力和人类行为分析。本文的目的是估计头部姿态从一个单一的图像应用网络曲率的概念。在现实世界中，许多复杂的网络都有一组节点，这些节点彼此连接良好，具有重要的功能作用。类似地，面部标志的交互可以表示为由加权图建模的复杂动态系统。因此，这些系统的功能与底层图形的拓扑和几何结构有着内在的联系。在这项工作中，使用加权图上的Ollivier-Ricci曲率（ORC）的几何概念作为XGBoost回归模型的输入，我们证明了ORC的内在几何基础提供了一种自然的方法来发现潜在的共同结构。在BIWI、AFLW 2000和Pointing'04数据集上的实验表明，ORC_XGB方法与现有的基于地标和仅基于图像的方法相比表现良好。
2022-04-27 cs.CV cs.LG
Head-wise Adaptive Rotary Positional Encoding for Fine-Grained Image Generation
本文提出HARoPE，一种面向细粒度图像生成的头部适应性旋转位置编码方法，通过动态频率分配和语义对齐提升模型性能。
2026-03-12 cs.CV
Head-Aware Visual Cropping: Enhancing Fine-Grained VQA with Attention-Guided Subimage
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
通过注意力引导的子图像增强细粒度VQA，提出无需训练的HAVC方法，利用优化的注意力头提升视觉定位精度。
2026-01-30 cs.CV
LES-Talker: Fine-Grained Emotion Editing for Talking Head Generation in Linear Emotion Space
Xidian University（西安电子科技大学）；University of Macau（澳门大学）
针对说话头生成中细粒度情感编辑可解释性不足的问题，本文提出 LES-Talker，通过基于面部动作单元的线性情感空间和跨维度注意力网络实现跨类型、跨强度、跨面部单元的细粒度可控情感编辑，并在视觉质量和编辑效果上优于主流方法。
2025-03-08 cs.CV
SUPER: Selfie Undistortion and Head Pose Editing with Identity Preservation
Samsung Research（三星研究院）
针对近距离自拍的面部畸变与姿态不佳问题，提出SUPER方法，通过3D GAN反演、深度诱导网格渲染与可见性混合实现去畸变和姿态编辑，效果优于现有方法。
2024-06-18 cs.CV cs.LG
Mathematical Foundation and Corrections for Full Range Head Pose Estimation
Docomo Innovations（Docomo创新公司）；Santa Clara University（圣克拉拉大学）
本文系统梳理了头部姿态估计中坐标系与欧拉角旋转顺序定义不清的问题，通过分析300W-LP、3DDFA-v2、6D-RepNet、WHENet等方法，提出了坐标系推断、姿态转换、二维增广公式及正确绘制例程，并论证了右手坐标系定义的可行性。
2024-05-03 cs.CV cs.LG
LPMM: Intuitive Pose Control for Neural Talking-Head Model via Landmark-Parameter Morphable Model
Naver Webtoon AI（Naver网络漫画人工智能部）
提出LPMM方法，通过语义参数在面部关键点域实现直观的头部姿态和表情控制，克服了现有说话头部模型姿态控制不灵活的问题。
2023-05-17 cs.CV
Human Head Pose Estimation by Facial Features Location
University of Maryland（马里兰大学）
我们描述了一种方法，用于估计人的头部姿势在彩色图像中，包含足够的信息来定位头部轮廓和检测非平凡的颜色边缘的个人面部特征。该方法的工作原理是通过在任意背景上定位人的头部，提取头部轮廓，并在3D空间中定位描述头部方向所需的面部特征。它是足够强大的工作与彩色和灰度图像具有准正面视图的人的头部在可变的照明条件下。
2015-10-09 cs.CV
Regional Attention Network (RAN) for Head Pose and Fine-grained Gesture Recognition
Edge Hill University（边山大学）；Aberystwyth University（阿伯里斯特威斯大学）
情感通常通过非语言的肢体语言表达，如动作/手势，这是人类行为的重要指标。最近的研究在单目图像中的细粒度动作/手势的识别主要集中在表示身体姿势，人与物体的相互作用和局部外观的变化的身体部位的建模空间配置。结果表明，这是一种脆弱的方法，因为它依赖于准确的身体部位/对象检测。在这项工作中，我们认为，存在局部歧视性的语义区域，其“信息性”可以评估的注意力机制推断细粒度的手势/动作。为此，我们提出了一种新的端到端\textbf{Regional Attention Network (RAN)}，这是一个完全卷积神经网络（CNN），通过注意力机制组合多个上下文区域，专注于与给定任务最相关的图像部分。我们的区域由一个或多个连续的细胞，并适应于计算HOG（方向梯度直方图）描述符中使用的策略。该模型在属于3种不同场景的10个数据集上进行了广泛的评估：1）头部姿势识别，2）驾驶员状态识别，以及3）人类动作和面部表情识别。所提出的方法优于国家的最先进的一个相当大的利润率在不同的指标。
2021-01-17 cs.AI cs.CV cs.LG
Face Alignment Assisted by Head Pose Estimation
University of Cambridge（剑桥大学）；Queen Mary University of London（伦敦玛丽女王大学）；Harvard University（哈佛大学）
在本文中，我们提出了一个监督的初始化方案级联人脸对齐的基础上显式头部姿态估计。我们首先研究了大多数最先进的人脸对齐方法的失败案例，并观察到这些失败通常具有一个共同的全局属性，即头部姿态变化通常很大。受此启发，我们提出了一种深度卷积网络模型，用于可靠和准确的头部姿势估计。而不是使用一个平均的脸的形状，或随机选择的形状级联的脸对齐初始化，我们提出了两个方案，用于生成初始化：第一个依赖于预测的平均3D脸的形状（表示由3D面部地标）到2D图像估计的头部姿势;第二个搜索最近的邻居形状从训练集根据头部姿势距离。通过这样做，初始化更接近实际形状，这提高了收敛的可能性，进而提高了面部对齐性能。我们在基准300 W数据集上展示了所提出的方法，并在头部姿态估计和面部对齐方面表现出非常有竞争力的性能。
2015-07-18 cs.CV
DisCoHead: Audio-and-Video-Driven Talking Head Generation by Disentangled Control of Head Pose and Facial Expressions
DeepBrain AI Inc.（深脑人工智能公司）
对于真实的说话头部生成，创建自然的头部运动，同时保持准确的嘴唇同步是必不可少的。为了完成这一具有挑战性的任务，我们提出了DisCoHead，一种新的方法来解开和控制头部姿势和面部表情，而无需监督。DisCoHead使用单个几何变换作为瓶颈，从头部驱动视频中隔离和提取头部运动。无论是仿射或薄板样条变换可以使用和工作以及几何瓶颈。我们通过集成密集运动估计器和生成器的编码器来提高DisCoHead的效率，这些模块原本是独立的模块。更进一步，我们还提出了一种神经混合方法，其中编码器隐式地估计和应用密集运动。在将解纠缠的头部运动应用于源身份之后，DisCoHead根据语音音频控制嘴部区域，并且通过卷积神经网络的权重调制，其跟随眼睛区域的单独驱动视频眨眼和移动眉毛。使用多个数据集的实验表明，DisCoHead成功地生成逼真的音频和视频驱动的说话头，并优于最先进的方法。项目页面：https://deepbrainai-research.github.io/discohead/
2023-03-14 cs.CV cs.LG eess.IV
OPT: One-shot Pose-Controllable Talking Head Generation
Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China 2 School of Cyber Security, University of Chinese Academy of Sciences, Beijing, China（1 中国科学院信息工程研究所，北京，中国 2 中国科学院大学网络空间安全学院，北京，中国）
单镜头说话头生成基于任意音频和一个源面部产生唇同步说话头。为了保证自然和真实，最近的方法提出实现自由姿态控制，而不是简单地编辑嘴部区域。然而，现有的方法不保持准确的身份源脸时，产生头部运动。为了解决身份不匹配问题，实现高质量的自由姿态控制，我们提出了单次姿态可控的Talking头生成网络（OPT）。具体而言，音频特征分解模块将内容特征与音频分离，消除了任意驾驶音频中包含的特定于说话者的信息的影响。然后，从内容特征和源人脸中提取嘴部表情特征，在此过程中设计了特征点丢失，以提高人脸结构的准确性和身份保持质量。最后，为了实现自由姿态控制，来自参考视频的可控头部姿态特征与表情特征和源面部一起被馈送到视频生成器中以生成新的说话头部。大量的定量和定性的实验结果表明，OPT生成高质量的姿态可控的说话头没有身份失配的问题，优于以前的SOTA方法。
2023-02-16 cs.CV
Fine-Grained Dynamic Head for Object Detection
College of Artificial Intelligence, Xi’an Jiaotong University（西安交通大学人工智能学院）；The Chinese University of Hong Kong（香港中文大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Megvii Inc. (Face++)（旷视科技（Face++））
特征金字塔网络（FPN）提出了一个显着的方法来减轻对象表示的规模变化，通过执行实例级分配。然而，这一战略忽略了不同次区域在一个实例中的不同特点。为此，我们提出了一个细粒度的动态头，有条件地选择一个像素级的组合FPN功能从不同的尺度为每个实例，这进一步释放的能力，多尺度特征表示。此外，我们设计了一个空间门与新的激活函数，以减少计算复杂性显着通过空间稀疏卷积。大量的实验证明了所提出的方法的有效性和效率的几个国家的最先进的检测基准。代码可在https://github.com/StevenGrove/DynamicHead上获得。
2020-12-07 cs.AI cs.CV
FONT: Flow-guided One-shot Talking Head Generation with Natural Head Motions
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
本文提出FONT模型，通过头部姿态预测模块、关键点预测器和流引导遮挡感知生成器，从单张源人脸和驱动音频生成具有自然头部动作和同步嘴型的逼真说话人脸视频。
2023-03-31 cs.CV
Deep Head Pose Estimation from Depth Data for In-car Automotive Applications
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）
最近，深度学习方法在计算机视觉的各个领域取得了令人鼓舞的成果。在本文中，我们通过卷积神经网络（CNN）来解决头部姿态估计问题。与文献中的其他提议不同，所描述的系统能够直接工作并且仅基于原始深度数据。此外，头部姿态估计被解决为回归问题，并且不依赖于视觉面部特征，如面部地标。我们在一个著名的公共数据集Biwi Kinect Head Pose上测试了我们的系统，表明我们的方法实现了最先进的结果，并且能够满足实时的性能要求。
2017-03-06 cs.CV
VAE/WGAN-Based Image Representation Learning For Pose-Preserving Seamless Identity Replacement In Facial Images
Department of Electrical
我们提出了一种新的变分生成对抗网络（VGAN）的基础上Wasserstein损失学习的潜在表示，从人脸图像是不变的身份，但保留头部姿势信息。这便于合成具有与给定输入图像相同的头部姿势但具有不同身份的真实面部图像。该网络的一个应用是在隐私敏感的场景中;在图像中的身份替换之后，仍然可以恢复诸如头部姿势之类的实用程序。在3种威胁场景下对合成和真实人脸图像数据集进行了广泛的实验验证，证实了所提出的网络能够保持输入图像的头部姿态，掩盖输入身份，并合成所需身份的高质量逼真人脸图像。我们还表明，我们的网络可以用来执行姿势保持身份变形和身份保持姿势变形。所提出的方法改善了最近的国家的最先进的方法在定量指标以及合成图像质量。
2020-03-02 cs.CV cs.LG
UET-Headpose: A sensor-based top-view head pose dataset
VNU Hanoi（河内国家大学）
头部姿态估计是一项具有挑战性的任务，旨在解决与预测三维矢量相关的问题，这在人机交互或客户行为中有许多应用。以往的研究已经提出了一些精确的方法来收集头部姿态数据。但这些方法需要昂贵的设备，如深度相机或复杂的实验室环境设置。在这项研究中，我们介绍了一种新的方法，有效的成本和易于设置，以收集头部姿势图像，即UET-Headpose数据集，与顶视图头部姿势数据。该方法使用绝对方位传感器代替深度相机，以快速设置且成本低，但仍确保良好的结果。通过实验，我们的数据集已经显示了它的分布之间的差异和可用的数据集，如CMU Panoptic数据集\cite{CMU}。除了使用UET-Headpose数据集和其他头部姿势数据集外，我们还引入了称为FSANet-Wide的全范围模型，该模型的头部姿势估计结果明显优于UET-Headpose数据集，特别是在顶视图图像上。此外，该模型非常轻巧，可以拍摄小尺寸图像。
2021-11-13 cs.AI cs.CV cs.HC
TAG-Head: Time-Aligned Graph Head for Plug-and-Play Fine-grained Action Recognition
Edge Hill University（埃奇希尔大学）
本文提出TAG-Head，一种轻量级时空图头，通过RGB单一模态提升细粒度动作识别性能，采用Transformer编码器和图结构增强时空依赖性，实验证明其在RGB-only模型中达到SOTA，优于多模态方法。
2026-04-13 cs.CV
Fine-Grained Head Pose Estimation Without Keypoints
Georgia Institute of Technology（佐治亚理工学院）
估计人的头部姿势是一个至关重要的问题，它具有大量的应用，例如帮助凝视估计，建模注意力，将3D模型拟合到视频和执行面部对齐。传统的头部姿态计算方法是从目标人脸中估计出一些关键点，然后用平均的人类头部模型解决2D到3D的对应问题。我们认为，这是一个脆弱的方法，因为它完全依赖于地标检测性能，无关的头部模型和一个特设的拟合步骤。我们提出了一种优雅而强大的方式来确定姿势，通过在300 W-LP（一个大型综合扩展数据集）上训练多损失卷积神经网络，通过联合分箱姿势分类和回归直接从图像强度预测固有欧拉角（偏航，俯仰和滚动）。我们目前的经验测试常见的野生姿态基准数据集，显示国家的最先进的结果。此外，我们在通常用于使用深度进行姿势估计的数据集上测试我们的方法，并开始缩小与最先进的深度姿势方法的差距。我们开源了我们的训练和测试代码，并发布了我们的预训练模型。
2018-04-13 cs.CV
Nose, eyes and ears: Head pose estimation by locating facial keypoints
Centre for Visual Information Technology, KCIS, IIIT Hyderabad（国际信息技术研究所（海得拉巴）KCIS 视觉信息技术中心）
单目头部姿态估计需要学习从人脸的输入图像计算姿态（偏航、俯仰、滚动）的固有欧拉角的模型。注释野外图像的地面真实头部姿势角度是困难的，并且需要专门的拟合过程（其仅提供粗略和近似的注释）。这突出了对可以在受控环境中捕获的数据上进行训练并在野外（具有不同的面部外观和照明）的图像上进行概括的方法的需要。目前大多数直接在输入图像上学习回归函数的深度学习方法都无法做到这一点。为此，我们建议在使用深度学习架构时使用更高级别的表示来回归头部姿势。更具体地说，我们使用五个面部关键点（即左耳、右耳、左眼、右眼和鼻子）上的2D软定位热图图像形式的不确定性图，并将它们通过卷积神经网络来回归头部姿势。我们在两个具有挑战性的基准BIWI和AFLW上显示了头部姿态估计结果，并且我们的方法在这两个数据集上都超越了最先进的水平。
2018-12-03 cs.CV
An Intuitive and Unconstrained 2D Cube Representation for Simultaneous Head Detection and Pose Estimation
Shanghai Jiao Tong University（上海交通大学）；East China Normal University（华东师范大学）
最近的头部姿态估计（HPE）方法由欧拉角表示主导。为了避免其固有的模糊性问题的旋转标签，替代四元数为基础的和基于矢量的表示。然而，它们都不是视觉上直观的，并且经常来自模棱两可的欧拉角标签。在本文中，我们提出了一种新的单级基于关键点的方法，通过一个{ \it直观}和{ \it无约束}的2D立方体表示联合头部检测和姿态估计。2D立方体是大致围绕一个头部的3D正六面体标签的正交投影，并且其自身包含头部位置。它可以直接和明确地反映在任何旋转角度的头部方向。与一般的6-DoF对象姿态估计不同，我们的2D立方体忽略头部大小的3-DoF，但保留头部姿态的3-DoF。基于等边长的先验，我们可以毫不费力地从预测的2D头立方体获得欧拉角的封闭形式的解决方案，而不是应用容易出错的Pestrian算法。在实验中，我们提出的方法取得了可比的结果与其他代表性的方法在公共AFLW 2000和BIWI数据集。此外，一个新的测试CMU panoptic数据集表明，我们的方法可以无缝地适应无约束的全视图HPE任务，而无需修改。
2022-12-07 cs.CV
RankPose: Learning Generalised Feature with Rank Supervision for Head Pose Estimation
Ping An Technology（平安科技）
我们解决了具有挑战性的问题，基于RGB图像的头部姿态估计。我们首先重新制定头部姿势表示学习，以限制它到一个有界的空间。头部姿态表示为矢量投影或矢量角度有助于提高性能。此外，提出了一种结合MSE回归损失的排序损失。排名损失监督具有相同人的配对样本的神经网络，并惩罚姿势预测的不正确排序。对这个新的损失函数的分析表明，它有助于更好的局部特征提取器，其中特征被概括为抽象地标，抽象地标是姿势相关的特征，而不是姿势无关的信息，如身份，年龄和照明。大量的实验表明，我们的方法显着优于当前国家的最先进的计划在公共数据集：AFLW2000和BIWI。我们的模型实现了显着的改善，比以前的SOTA MAE AFLW2000和BIWI分别从4.50到3.66和从4.0到3.71。源代码将在https://github.com/seathiefwang/RankHeadPose上提供。
2020-05-22 cs.CV
An Effective Deep Network for Head Pose Estimation without Keypoints
Viettel Aerospace Institute（Viettel 航空航天研究院）
人体头部姿态估计是近年来人脸分析中的一个重要问题，具有许多计算机视觉应用，例如凝视估计、虚拟现实和驾驶辅助。由于头部姿态估计问题的重要性，有必要设计一个紧凑的模型来解决这一任务，以便在部署在基于面部分析的应用（如大型摄像机监控系统、AI摄像机）时降低计算成本，同时保持准确性。在这项工作中，我们提出了一个轻量级的模型，有效地解决了头部姿态估计问题。我们的方法有两个主要步骤。1)我们首先在300 W-LPA数据集上对多个教师模型进行训练，得到头部姿态伪标签。2)我们设计了一个架构与ResNet 18骨干和训练我们提出的模型与这些伪标签的合奏通过知识蒸馏过程。为了评估我们的模型的有效性，我们使用AFLW-2000和BIWI -两个真实世界的头部姿势数据集。实验结果表明，我们提出的模型显着提高了准确性相比，国家的最先进的头部姿态估计方法。此外，我们的模型在Tesla V100上推断时具有$\sim$ 300 FPS的实时速度。
2022-10-25 cs.CV
Toward Fine-Grained Facial Control in 3D Talking Head Generation
School of Cyber Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Lee Kong Chian School of Medicine, Nanyang Technological University（南洋理工大学李科金医学院）；School of Remote Sensing and Information Engineering, Wuhan University（武汉大学遥感与信息工程学院）；Purple Mountain Laboratories, Nanjing（南京紫金山实验室）；Engineering Research Center of Blockchain Application, Supervision And Management (Southeast University), Ministry of Education（教育部区块链应用、监督与管理工程研究中心（东南大学））；Department of Computer and Information Science, University of Macau（澳门大学计算机与信息科学系）；Department of Computer Science and Engineering, The Hong Kong University of Science and Technology（香港科技大学计算机科学与工程系）
本文提出FG-3DGS框架，通过频率感知解耦策略实现细粒度面部控制，提升3D说话人脸生成的精度和唇同步效果。
2026-02-10 cs.CV
OmniSparse: Training-Aware Fine-Grained Sparse Attention for Long-Video MLLMs
针对现有稀疏注意力方法存在训练推理差距、细粒度选择能力不足的问题，提出OmniSparse训练感知细粒度稀疏注意力框架，通过三类自适应机制实现长视频MLLMs的高效推理，性能媲美全注意力且取得显著加速与内存优化效果。
2025-11-18 cs.CV
Improving Head Pose Estimation with a Combined Loss and Bounding Box Margin Adjustment
Tohoku University（东北大学）；Riken Center for AIP（理化学研究所AIP中心）
我们解决了一个问题，估计一个人的头部构成从其RGB图像。在最近的工作中，使用CNN解决这个问题有助于显著提高准确性。然而，我们表明，以下两种方法，尽管它们的简单，可以实现进一步的改进：（i）适当调整的边缘检测到的脸的限界框，和（ii）选择的损失函数。我们表明，这两种方法的集成实现了新的国家的最先进的标准基准数据集在野外头部姿态估计。
2019-05-14 cs.CV
Location-guided Head Pose Estimation for Fisheye Image
School of Electronics and Information Technology, Sun Yat-sen University（中山大学电子与信息工程学院）；Data Science Research Center, Duke Kunshan University（昆山杜克大学数据科学研究中心）；Brigham Young University（杨百翰大学）
针对鱼眼图像畸变导致头部姿态估计性能下降的问题，提出利用头部位置进行多任务学习的端到端 CNN，无需校正或标定即可直接估计，并在三个鱼眼畸变数据集上验证了精度提升。
2024-04-10 cs.AI cs.CV
3D Face Alignment Through Fusion of Head Pose Information and Features
Soongsil University（崇实大学）
本研究提出一种融合头部姿态信息与人脸对齐网络特征图的3D人脸对齐新方法，结合双维度多维度特征网络与知识蒸馏训练策略，在多个基准数据集上取得了与当前最优方法相当的性能。
2023-08-25 cs.CV
From Depth Data to Head Pose Estimation: a Siamese approach
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）
头部姿态的正确估计对于许多应用来说是非常重要的问题。例如，它是汽车驾驶员注意力监测的一项使能技术。在本文中，我们通过以回归方式工作的深度学习网络来解决姿势估计问题。传统的方法通常依赖于视觉面部特征，如面部标志或鼻尖位置。相比之下，我们利用卷积神经网络（CNN）直接从深度数据执行头部姿势估计。我们利用一个连体架构，我们提出了一个新的损失函数，以提高回归网络层的学习。该系统已经在两个公共数据集上进行了测试，Biwi Kinect Head Pose和ICT-3DHP数据库。报告的结果表明，在精度方面的改进，目前国家的最先进的方法和实时的能力的整体框架。
2017-03-10 cs.CV
From Neck to Head: Bio-Impedance Sensing for Head Pose Estimation
German Research Center for Artificial Intelligence（德国人工智能研究中心）；University of Southampton（南安普顿大学）
NeckSense通过生物阻抗传感实现头部姿态估计，结合解剖学先验知识和深度学习框架，实现高精度无视线头部追踪。
2026-01-23 cs.CV eess.SP
DirectMHP: Direct 2D Multi-Person Head Pose Estimation with Full-range Angles
Shanghai Jiao Tong University（上海交通大学）；East China Normal University（华东师范大学）
现有的头部姿态估计方法主要针对单个人的头部姿态估计，这限制了其在多人复杂场景中的应用。我们认为，这些单一的HPE方法对于多人头部姿态估计（MPHPE）是脆弱和低效的，因为它们依赖于单独训练的面部检测器，该检测器不能很好地推广到全视角，特别是对于具有不可见面部区域的头部。在本文中，我们专注于全范围的MPHPE问题，并提出了一个直接的端到端的简单基线命名为DirectMHP。由于缺乏适用于全范围MPHPE的数据集，我们首先通过从公共数据集AGORA和CMU Panoptic中提取用于头部检测和头部定向的地面真实标签来构建两个基准。他们是相当具有挑战性的有许多截断，闭塞，微小和不均匀的照明人类头部。然后，我们设计了一个新的端到端的可训练的一级网络架构，通过联合回归的位置和方向的多头解决MPHPE问题。具体地说，我们把姿态作为头部的一个辅助属性，并将其附加在传统的对象预测之后。这种灵活的设计可接受任意姿态表示，如欧拉角。然后，我们通过共享特征和利用适当的多重损失来联合优化这两个任务。通过这种方式，我们的方法可以隐含地受益于更多的环境，以提高HPE的准确性，同时保持头部检测性能。我们在公共基准上与最先进的单一HPE方法进行了全面比较，并在我们构建的MPHPE数据集上获得了出色的基线结果。数据集和代码发布在https://github.com/hnuzhy/DirectMHP。
2023-02-14 cs.CV
CLERF: Contrastive LEaRning for Full Range Head Pose Estimation
Santa Clara University（圣克拉拉大学）；DOCOMO Innovations（docomo创新公司）
针对头部姿态估计数据稀疏、跨分布预测不准的问题，提出基于3D-aware GAN三元组采样的对比学习框架CLERF，实现全范围精准头部姿态估计，性能优于现有模型。
2024-12-03 cs.CV
A Real-Time Multi-Task Learning System for Joint Detection of Face, Facial Landmark and Head Pose
University of Macau（澳门大学）；Shenzhen University（深圳大学）
本文提出一种基于YOLOv8的实时多任务检测系统，通过增加关键点回归头并优化多个模块，实现人脸、面部关键点和头部姿态的联合检测，并在300W-LP和AFLW2000-3D数据集上验证了其应对大角度姿态挑战的有效性与实时性。
2023-09-21 cs.CV
Light-weight Head Pose Invariant Gaze Tracking
University of Maryland（马里兰大学）；NVIDIA（英伟达）
使用现成的相机进行无约束的远程注视跟踪是一个具有挑战性的问题。最近，已经提出了使用卷积神经网络（CNN）进行基于外观的注视估计的有前途的算法。提高其鲁棒性的各种混杂因素，包括可变的头部姿势，主体身份，照明和图像质量仍然是开放的问题。在这项工作中，我们研究了可变头部姿势对机器学习回归器的影响，这些回归器被训练来估计注视方向。我们提出了一种新的分支CNN架构，提高了可变的头部姿势的鲁棒性的凝视分类，而不增加计算成本。我们还提出了各种程序，以有效地训练我们的凝视网络，包括迁移学习从更密切相关的任务的对象视点估计，并从一个大型的高保真度合成凝视数据集，这使我们的速度快十倍的凝视网络，以实现竞争力的准确性，其目前的国家的最先进的直接竞争对手。
2018-04-23 cs.CV
Latent Embedding Clustering for Occlusion Robust Head Pose Estimation
Institute for Systems and Robotics（系统与机器人研究所）；Instituto Superior Técnico（高等技术学院）
提出一种基于潜在嵌入聚类的头部姿态估计框架，通过无监督聚类优化特征表示，在遮挡场景下实现鲁棒且数据高效的姿态预测。
2024-03-29 cs.CV
Simultaneous Facial Landmark Detection, Pose and Deformation Estimation under Facial Occlusion
Rensselaer Polytechnic Institute（伦斯勒理工学院）
人脸特征点检测、头部姿态估计和人脸形变分析是计算机视觉中典型的人脸行为分析任务。现有的方法通常独立地和顺序地执行每个任务，忽略了它们之间的相互作用。为了解决这个问题，我们提出了一个统一的框架，同时面部标志检测，头部姿态估计，和面部变形分析，所提出的模型是鲁棒的面部遮挡。在使用基于模型的头部姿态估计增强的级联过程之后，我们迭代地更新面部标志位置、面部遮挡、头部姿态和面部变形直到收敛。基准数据库上的实验结果表明，该方法的有效性，同时面部标志检测，头部姿势和面部变形估计，即使在面部遮挡的图像。
2017-09-23 cs.CV
HHP-Net: A light Heteroscedastic neural network for Head Pose estimation with uncertainty
Università degli Studi di Genova（热那亚大学）；IMAVIS srl（IMAVIS有限责任公司）
在本文中，我们介绍了一种新的方法来估计头部姿势的人在单图像开始从一个小的头部关键点集。为此，我们提出了一个回归模型，利用2D姿态估计算法自动计算的关键点，并输出由偏航，俯仰和滚动表示的头部姿态。我们的模型是简单的实现和更有效的相对于最先进的-更快的推理和更小的内存占用-具有可比的准确性。我们的方法还提供了一个措施的异方差的不确定性与三个角度，通过适当设计的损失函数，我们显示有误差和不确定性值之间的相关性，因此，这个额外的信息源可以在随后的计算步骤中使用。作为一个示例应用程序，我们解决了图像中的社会互动分析：我们提出了一种算法，从他们的头部姿势和推理他们的相互位置开始，定量估计人与人之间的互动水平。该代码可在https://github.com/cantarinigiorgio/HHP-Net上获得。
2021-11-03 cs.CV
Towards Robust and Unconstrained Full Range of Rotation Head Pose Estimation
Otto-von-Guericke University（奥托·冯·格里克大学）
针对全范围旋转头部姿态估计问题，提出基于连续6D旋转矩阵表示和测地线损失的无约束端到端方法，显著提升了预测范围与性能并开源代码。
2023-09-14 cs.CV
Full-range Head Pose Geometric Data Augmentations
Docomo Innovations（Docomo创新公司）；Santa Clara University（圣克拉拉大学）
本文针对头部姿态估计在全角度范围内精度不足的问题，提出了基于正确坐标系和欧拉角的二维几何数据增强方法，并通过数学验证实现了全范围俯仰-偏航覆盖，显著提升了现有HPE模型的性能。
2024-08-02 cs.CV
3D Pose-Based Temporal Action Segmentation for Figure Skating: A Fine-Grained and Jump Procedure-Aware Annotation Approach
Nagoya University（名古屋大学）
针对花样滑冰缺乏3D姿态TAS数据集和方法的问题，本文提出了FS-Jump3D数据集及细粒度跳跃过程感知标注方法，验证了3D姿态特征与细粒度数据集在TAS模型中的有效性。
2024-08-29 cs.CV cs.LG
On the power of data augmentation for head pose estimation
本文通过逐步扩展和改进半合成数据集300W-LP，提出包含不确定性估计的新型多任务头部/损失设计，构建了适用于完整6 DoF姿态估计的小型高效模型，展现出极具竞争力的准确率。
2024-10-15 cs.CV
Improving Temporal Interpolation of Head and Body Pose using Gaussian Process Regression in a Matrix Completion Setting
TU Delft（代尔夫特理工大学）
本文提出了一个模型，头部和身体姿态估计（HBPE）时，标记的样本是高度稀疏的。HBPE的当前最先进的多模态方法在转导设置中利用矩阵完成方法来预测未观察到的样本的姿势标签。基于这种方法，所提出的方法处理HBPE时，手动注释的地面真值标签是时间稀疏的。我们认为，目前的最先进的方法过度简化了时间稀疏性假设，使用拉普拉斯平滑。我们的最终解决方案使用：i）高斯过程回归代替拉普拉斯平滑，ii）头部和身体耦合，以及iii）矩阵完成设置中的核范数最小化。该模型被应用到具有挑战性的SALSA数据集的基准对国家的最先进的方法。我们提出的公式在该特定设置中显著优于现有技术，例如，在5%的地面实况标签作为训练数据时，头部姿势准确度和身体姿势准确度分别为约62%和70%。除了及时将更灵活的模型拟合到缺失的标签之外，我们还强调，我们的方法还放松了头部和身体的耦合约束，允许在组中的会话交互期间通常看到的头部和身体姿势的更具表现力的模型。这提供了一个新的基线，以改善未来的集成多模态传感器数据的HBPE的目的。
2018-08-06 cs.CV
Equivariant symmetry-aware head pose estimation for fetal MRI
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；Boston Children's Hospital and Harvard Medical School（波士顿儿童医院和哈佛医学院）；Inria, Université Côte d'Azur（法国国家科学研究中心（Inria）、蔚蓝海岸大学）
本文提出E(3)-Pose方法，通过联合建模旋转等价性和物体对称性，解决胎儿MRI中头部运动的自动适应性处方问题，实现6自由度头部姿态估计。
2026-06-25 cs.CV
Robust Head-Pose Estimation Based on Partially-Latent Mixture of Linear Regressions
INRIA Grenoble Rhône-Alpes（法国国家信息与自动化研究所格勒诺布尔-罗纳-阿尔卑斯中心）；INRIA Rennes Bretagne Atlantique（法国国家信息与自动化研究所雷恩-布列塔尼-大西洋中心）；VideoStitch（VideoStitch公司）；DAQRI Int（DAQRI国际公司）
头部姿态估计在社会事件分析、人机交互、人机交互、驾驶辅助等方面有着广泛的应用。头部姿态估计是具有挑战性的，因为它必须应付不断变化的照明条件，面部方向和外观的变化，面部标志的部分遮挡，以及边界框到面部的对准误差。我们建议使用部分潜在输出的线性回归的混合。这种回归方法学习将高维特征向量（从面部的边界框中提取）映射到头部姿势角度和边界框移位的联合空间上，使得它们在存在不可观察现象的情况下被鲁棒地预测。我们详细描述的映射方法，结合了无监督流形学习技术和回归的混合物的优点。我们用三个公开的数据集验证了我们的方法，并用几种最先进的头部姿势估计方法对所提出的算法的四种变体进行了彻底的基准测试。
2017-03-06 cs.CV
A Vector-based Representation to Enhance Head Pose Estimation
Purdue University（普渡大学）
本文提出用旋转矩阵中的三个向量作为头部姿态估计的表示，并根据这种表示的特点提出了一种新的神经网络。我们解决了目前的头部姿态估计工作中存在的两个潜在问题：1。用于头部姿态估计的公共数据集使用欧拉角或四元数来注释数据样本。然而，这两种注释都有不连续性的问题，因此可能导致神经网络训练中的一些性能问题。2.大多数研究工作报告的欧拉角的平均绝对误差（MAE）的性能的衡量。我们表明，MAE可能并不反映实际的行为，特别是对于案件的个人资料的意见。为了解决这两个问题，我们提出了一种新的注释方法，它使用三个向量来描述头部姿势和一个新的测量向量的平均绝对误差（MAEV）来评估性能。我们还训练了一个新的神经网络来预测这三个向量的正交约束。我们提出的方法在AFLW2000和BIWI数据集上都取得了最先进的结果。实验表明，我们的基于矢量的注释方法可以有效地减少大姿态角的预测误差。
2020-12-08 cs.CV
MIA-Former: Efficient and Robust Vision Transformers via Multi-grained Input-Adaptation
Department of Electrical and Computer Engineering, Rice University（莱斯大学电气与计算机工程系）；Alibaba DAMO Academy（阿里巴巴达摩院）
ViT通常在计算上过于昂贵，无法安装到现实世界的资源受限设备上，这是由于（1）它们的复杂性随着输入令牌的数量呈二次方增加，以及（2）它们的过度参数化的自我注意头部和模型深度。同时，不同的图像具有不同的复杂性，并且它们的不同区域可以包含各种级别的视觉信息，这表明在模型复杂性方面平等地对待所有区域/标记是不必要的，而这种用于削减ViT复杂性的机会尚未被充分探索。为此，我们提出了一个多粒度输入自适应视觉Transformer框架，称为MIA-前，可以输入自适应调整结构的ViT在三个粗到细粒度（即，模型深度和模型头部/令牌的数量）。特别是，我们的MIA-Former采用了一种低成本的网络，该网络采用混合监督和强化训练方法进行训练，以输入自适应的方式跳过不必要的层，头部和令牌，从而降低了整体计算成本。此外，一个有趣的副作用是，我们的MIA-Former的产生的ViT自然配备了改进的鲁棒性对对抗攻击超过他们的静态同行，因为MIA-Former的多粒度动态控制提高了模型的多样性，类似于合奏的效果，从而增加了对抗攻击对所有子模型的难度。大量的实验和消融研究验证了所提出的MIA-Former框架可以有效地分配适应于输入图像难度的计算预算，同时增加鲁棒性，实现最先进的（SOTA）精度-效率权衡，例如，与SOTA动态Transformer模型相比，在相同甚至更高的精度下节省20%的计算量。
2021-12-21 cs.CV cs.LG
HeadPosr: End-to-end Trainable Head Pose Estimation using Transformer Encoders
ETH Zurich（苏黎世联邦理工学院）
在本文中，HeadPosr提出使用单个RGB图像来预测头部姿势。\textit{HeadPosr}使用一种新颖的架构，其中包括一个Transformer编码器。具体包括：（1）主干;（2）连接器;（3）Transformer编码器;（4）预测头。研究了在HPE中使用Transformer编码器的意义。在HeadPosr中使用的Transformer中，对不同的（1）编码器数量;（2）头部数量;（3）不同位置嵌入;（4）不同激活;（5）输入通道大小进行了广泛的消融研究。进一步的研究使用：（1）不同的骨干，（2）使用不同的学习率也显示。精心设计的实验和消融研究使用三种不同的HPE广泛使用的开源数据集进行，即，300 W-LP、AFLW 2000和BIWI数据集。实验结果表明，在AFLW 2000数据集和BIWI数据集上，\textit{HeadPosr}在使用300 W-LP进行训练时，其性能优于所有现有的无地标方法和其他基于地标或深度估计的方法。在对比较数据集的结果进行平均时，它的表现也更好，因此为HPE的问题设定了基准，也证明了使用Transformers的有效性。
2022-02-07 cs.CV
Robust Head Pose Estimation Using Contourlet Transform
Urmia University（乌尔米亚大学）
头部姿态估计是许多模式识别和计算机视觉系统（如人脸识别）中的重要预处理步骤。由于人脸的姿态对人脸识别系统的性能有很大的影响，如何准确地估计人脸图像中的人脸姿态仍然是一个具有挑战性的问题。在本文中，我们提出了一种新的方法，头部姿态估计。为了提高估计的效率，我们使用轮廓波变换的特征提取。Contourlet变换是一种多分辨率、多方向的变换。为了降低特征空间的维数，获得合适的特征，我们使用LDA（线性判别分析）和PCA（主成分分析）去除无效特征。然后，我们应用不同的分类器，如k-最近邻（knn）和最小距离。我们使用公共可用的FERET数据库来评估所提出的方法的性能。仿真结果表明，该方法具有较好的鲁棒性。
2012-05-12 cs.CV
HP2IFS: Head Pose estimation exploiting Partitioned Iterated Function Systems
University of Salerno（萨勒诺大学）；University of Molise（莫利塞大学）
关于其三个自由度，从2D图像估计实际头部取向是众所周知的问题，其对于涉及头部姿势知识的大量应用是非常重要的。因此，这个主题已经被大量的方法和算法所解决，其中大部分都利用了神经网络。实际上，机器学习方法实现了准确的头部旋转值，但需要足够的训练阶段，并且为此目的，需要相关数量的正面和负面示例。在本文中，我们采取了不同的方法，这一主题，通过使用分形编码理论，特别是分区迭代函数系统提取的分形代码从输入的头部图像，并比较这种表示的参考模型，通过汉明距离的分形代码。根据在BIWI和AFLW 2000数据库上进行的实验，所提出的基于PIFS的头部姿态估计方法提供准确的偏航/俯仰/滚动角值，其性能接近基于机器学习的算法的最新技术水平，并且超过大多数基于非训练的方法。
2020-03-25 cs.CV
Head Pose Estimation of Occluded Faces using Regularized Regression
University of Maryland, College Park（马里兰大学帕克分校）
本文提出了回归方法估计头部姿态从闭塞的2-D人脸图像。该过程主要涉及从其被遮挡的图像重建面部，然后进行分类。典型的重建方法假设被遮挡区域的像素误差是独立的。然而，这种假设在遮挡的情况下是不正确的，因为其固有的连续性。因此，我们使用核范数作为度量，可以很好地描述误差的结构。我们还使用基于LASSO回归的l1正则化来改进重建。接下来，我们实现核范数正则化回归（NR），以及我们提出的方法，用于重建和后续分类。最后，我们比较了性能的方法的头部姿态估计的准确性方面的闭塞的脸。
2016-02-02 cs.CV
DeAR: Fine-Grained VLM Adaptation by Decomposing Attention Head Roles
Chongqing Research Institute of Harbin Institute of Technology（哈尔滨工业大学重庆研究所）；Ocean University of China（中国海洋大学）；The Hong Kong Polytechnic University（香港理工大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
DeAR通过分解注意力头角色实现细粒度VLM适应，有效平衡任务适应与泛化能力。
2026-03-07 cs.CV
Multi-task head pose estimation in-the-wild
Universidad Politécnica de Madrid（马德里理工大学）；ETSII, Universidad Rey Juan Carlos（胡安·卡洛斯国王大学工程学院）
我们提出了一种基于深度学习的多任务方法来估计图像中的头部姿态。我们贡献了一个网络架构和训练策略，利用人脸姿态、对齐和可见性之间的强依赖关系，为所有三个任务生成一个性能最好的模型。我们的架构是一个编码器-解码器CNN与残留块和横向跳过连接。我们表明，头部姿态估计和基于地标的人脸对齐的组合显着提高了前一个任务的性能。此外，姿势任务在瓶颈层、编码器末端的位置，以及取决于空间信息（诸如可见性和对准）的任务在最终解码器层中的位置，也有助于提高最终性能。在实验中进行的模型优于国家的最先进的人脸姿态和可见性任务。通过包括最终的地标回归步骤，它还产生与最先进水平相当的面部对齐结果。
2022-02-04 cs.CV
