Pose-Robust Calibration Strategy for Point-of-Gaze Estimation on Mobile Phones
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对手机注视点估计中校准模型对头部姿态变化敏感的问题，构建MobilePoG基准并分析校准点与姿态多样性的影响，提出用户移动手机注视校准点的动态校准策略，显著提升了估计器对头部姿态变化的鲁棒性。
2025-08-14 cs.AI cs.CV cs.HC
Head and Body: Unified Detector and Graph Network for Person Search in Media
Tencent Youtu Lab（腾讯优图实验室）
媒体中的人物搜索在互联网应用中有着越来越大的潜力，如视频剪辑和人物收集。这项工作是常见的，但被忽视了以前的人搜索工作，重点是监视场景。媒体场景与监控场景有一些不同的挑战。例如，一个人可能会经常更换衣服。为了缓解这个问题，本文提出了一个统一的检测器和图形网络（UDGNet）的人在媒体搜索。UDGNet是第一个同时检测和重新识别人体和头部的人称搜索框架。具体来说，首先建立基于统一网络的两个分支对人体和头部进行检测，然后利用检测到的人体和头部进行重新识别。这种双任务方法可以显着增强辨别学习。为了解决换布问题，UDGNet构建了两个图来探索换布样本之间的可靠链接，并利用图网络来学习更好的嵌入。这种设计有效地增强了人员搜索对换衣服挑战的鲁棒性。此外，我们证明了UDGNet可以实现基于锚和无锚的人的搜索框架，并进一步实现性能的提高。本文还为媒体中的人物搜索（PSM）提供了一个大规模的数据集，该数据集提供了身体和头部注释。它是迄今为止媒体中最大的个人搜索数据集。实验表明，UDGNet在mAP中将无锚模型AlignPS提高了12.1%。同时，它在监视和长期场景中表现出良好的泛化能力。数据集和代码将在https://github.com/shuxjweb/PSM.git上提供。
2021-11-27 cs.CV
TimeWalker: Personalized Neural Space for Lifelong Head Avatars
Shanghai AI Laboratory（上海人工智能实验室）；CUHK（香港中文大学）
TimeWalker通过个性化神经空间实现终身头像的重建与动画，结合动态神经基融合模块和2D高斯点散射技术，实现真实感的面部表情和年龄变化建模。
2025-12-13 cs.CV
Single-Camera 3D Head Fitting for Mixed Reality Clinical Applications
University of Pennsylvania（宾夕法尼亚大学）；Stevens Institute of Technology（史蒂文斯理工学院）
我们解决的问题，估计一个人的头部的形状，定义为完整的头部表面的几何形状，从一个单一的移动摄像机拍摄的视频，并确定所有视频帧的拟合3D头部的对齐，而不管人的姿势。3D头部重建通常倾向于专注于完善面部重建，使头皮达到统计近似。我们的目标是重建每个人的头部模型，以实现未来的混合现实应用。为此，我们通过从运动恢复结构和多视图立体视觉来恢复密集的3D重建和相机信息。然后在新的两阶段拟合过程中使用这些来恢复3D头部形状，通过迭代拟合头部的3D可变形模型与规范空间中的密集重建，并使用传统的面部标志和从头部分割掩模中提取的头皮特征将其拟合到每个人的头部。我们的方法恢复了不同头部形状的一致几何形状，来自不同人，不同智能手机拍摄的视频，以及从客厅到户外空间的各种环境。
2022-03-07 cs.CV
LEAPS: End-to-End One-Step Person Search With Learnable Proposals
Chongqing University（重庆大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Tianjin University（天津大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
我们提出了一个端到端的一步人的搜索方法与学习的建议，命名为LEAPS。给定一组稀疏和可学习的建议，LEAPS采用动态人搜索头直接执行人检测和相应的re-id特征生成，而无需非最大抑制后处理。动态寻人头包括探测头和新型柔性识别头。我们灵活的re-id头首先采用动态区域的兴趣（ROI）操作，以提取歧视性的ROI功能的建议。然后，它产生的re-id功能，使用一个平原和层次交互re-id模块。为了更好地指导区分性re-id特征学习，我们引入了一种多样的re-id样本匹配策略，代替了检测头中的二分匹配。综合实验表明，拟议的LEAPS的好处，实现了良好的性能上的两个公众人物搜索基准：中大中山大学和PRW。当使用相同的ResNet 50主干时，我们的LEAPS获得了55.0%的mAP得分，比文献中报道的最佳结果高出1.7%，同时在具有挑战性的PRW数据集上实现了大约两倍的加速。我们的源代码和模型将被发布。
2023-03-21 cs.CV
Multi-Level Attention for Unsupervised Person Re-Identification
China University of Mining and Technology（中国矿业大学）
注意力机制由于在神经网络中表现出色而不需要引入额外信息，因此被广泛应用于深度学习。然而，在无监督的人物再识别中，以多头自我注意为代表的注意模块在非基础事实的情况下会受到注意扩散的影响。为了解决这个问题，我们设计了像素级注意力模块，为多头自注意提供约束。同时，针对人物重识别数据的识别目标均为样本中的行人的特点，设计了领域级注意力模块，提供更全面的行人特征。我们结合头部级，像素级和领域级的注意力，提出了多层次的注意力块，并验证其性能上的大型人员重新识别数据集（市场-1501，DukeMTMC-reID和MSMT 17和PersonX）。
2022-01-10 cs.CV
3D Head-Position Prediction in First-Person View by Considering Head Pose for Human-Robot Eye Contact
The University of Tokyo（东京大学）；CyberAgent, Inc.（CyberAgent 公司）；Ritsumeikan University（立命馆大学）；Osaka University（大阪大学）
为了使人形机器人与人进行目光接触并发起通信，有必要估计人的头部位置。然而，当人移动时，由于机器人的机械延迟，目光接触变得困难。由于这些问题，进行头部位置预测以减轻机器人运动中的延迟的影响是重要的。基于人类在行走时改变方向之前会转动头部的事实，我们假设通过考虑头部姿势可以提高从第一人称视角进行三维（3D）头部位置预测的准确性。我们将我们的方法与传统的基于卡尔曼滤波器的方法进行了比较，发现我们的方法更准确。实验结果表明，考虑头部姿态有助于提高三维头部位置预测的准确性。
2022-01-20 cs.AI cs.CV cs.RO
DiffusionAvatars: Deferred Diffusion for High-fidelity 3D Head Avatars
Technical University of Munich（慕尼黑工业大学）
本研究提出DiffusionAvatars方法，结合扩散模型与神经参数化头部模型，通过交叉注意力和TriPlane特征绑定实现高保真3D头部虚拟形象合成，在新姿态表情生成上效果优于现有方法。
2024-04-16 cs.CV
Audio-driven Talking Face Video Generation with Learning-based Personalized Head Pose
Tsinghua University（清华大学）；University of Science and Technology of China（中国科学技术大学）；Zhejiang University（浙江大学）
现实世界中的说话脸往往伴随着自然的头部运动。然而，大多数现有的说话人脸视频生成方法仅考虑具有固定头部姿势的面部动画。在本文中，我们通过提出一个深度神经网络模型来解决这个问题，该模型将源人的音频信号A和目标人的非常短的视频V作为输入，并输出具有个性化头部姿势（利用V中的视觉信息），表情和嘴唇同步（通过考虑A和V）的合成的高质量说话面部视频。在我们的工作中最具挑战性的问题是，自然的姿势往往会导致在平面内和平面外的头部旋转，这使得合成的说话人脸视频远离现实。为了解决这一挑战，我们重建3D人脸动画，并重新渲染成合成帧。为了将这些帧调整为具有平滑背景过渡的逼真帧，我们提出了一种新的内存增强GAN模块。通过首先基于公开可用的数据集训练一般映射，并使用目标人的输入短视频微调映射，我们开发了一种有效的策略，仅需要少量帧（约300帧）来学习包括头部姿势在内的个性化谈话行为。广泛的实验和两个用户研究表明，我们的方法可以生成高质量的（即，个性化的头部运动、表情和良好的嘴唇同步）说话的面部视频，这自然地看起来比最先进的方法具有更明显的头部运动效果。
2020-03-05 cs.CV cs.GR
AnyoneNet: Synchronized Speech and Talking Head Generation for Arbitrary Person
Northwestern Polytechnical University（西北工业大学）；Delft University of Technology（代尔夫特理工大学）
自动生成其中合成语音与说话头部中的嘴唇运动同步的视频在许多人机交互场景中具有巨大的潜力。在本文中，我们提出了一种自动的方法来生成同步的语音和讲话的头部视频的基础上的文本和一个单一的人脸图像的任意人作为输入。与以前的文本驱动的说话头生成方法，它只能合成一个特定的人的声音，所提出的方法是能够合成语音的任何人是无法访问的训练阶段。具体地，所提出的方法将同步的语音和讲话头部视频的生成分解为两个阶段，即，文本到语音（TTS）阶段和语音驱动的讲话头部生成阶段。本文提出的TTS模块是一种基于人脸的多说话人TTS模型，它从人脸图像中获取说话人身份信息，而不是从语音中获取说话人身份信息，从而可以根据输入的人脸图像合成个性化的语音。为了从人脸图像中生成说话的头部视频，提出了一种基于面部标志的方法，可以预测嘴唇运动和头部旋转。大量的实验表明，该方法是能够产生同步的语音和说话的头部视频为任意的人和非人。合成语音显示与给定的脸关于合成语音的音色和一个人的外观在图像中的一致性，和所提出的基于地标的说话头方法优于国家的最先进的基于地标的方法生成自然说话头视频。
2021-08-11 cs.CV cs.SD eess.AS
Context-aware CNNs for person head detection
Ecole Normale Supérieure（巴黎高等师范学院）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）
人体检测是计算机视觉中的一个关键问题。虽然人脸检测已经达到成熟，检测的人在摄像机的角度，人体姿势，光照条件和遮挡的充分变化仍然是一个困难的挑战。在这项工作中，我们专注于在自然场景中检测人的头部。从最近的本地R-CNN对象检测器开始，我们用两种类型的上下文线索对其进行了扩展。首先，我们利用人与场景的关系，提出了一个全局CNN模型，该模型经过训练，可以直接从完整图像中预测头部的位置和比例。其次，我们显式地对对象之间的成对关系进行建模，并使用结构化输出代理损失训练成对CNN模型。局部、全局和成对模型被组合到联合CNN框架中。为了训练和测试我们的完整模型，我们引入了一个由224,740个电影帧中注释的369,846个人头组成的大型数据集。我们评估了我们的方法，并在三个数据集中展示了对最近几个基线的人头检测的改进。我们还展示了我们的模型提供的检测速度的改进。
2015-11-24 cs.CV cs.LG
FCPose: Fully Convolutional Multi-Person Pose Estimation with Dynamic Instance-Aware Convolutions
The University of Adelaide（阿德莱德大学）；Monash University（莫纳什大学）
我们提出了一个完全卷积的多人姿态估计框架，使用动态实例感知卷积，称为FCPose。与通常需要ROI（感兴趣区域）操作和/或分组后处理的现有方法不同，FCPose消除了ROI和具有动态实例感知关键点估计头的分组后处理。动态关键点头部以每个实例（人）为条件，并且可以在其过滤器的动态生成的权重中对实例概念进行编码。此外，凭借动态卷积的强大表示能力，FCPose中的关键点头部被设计得非常紧凑，从而实现快速推理，并使FCPose无论图像中的人数如何都具有几乎恒定的推理时间。例如，在COCO数据集上，使用DLA-34主干的FCPose实时版本的推断速度比Mask R-CNN（ResNet-101）快约4.5倍（41.67 FPS vs. 9.26FPS），同时实现了更高的性能。FCPose还提供了比其他最先进的方法更好的速度/精度权衡。我们的实验结果表明，FCPose是一个简单而有效的多人姿态估计框架。代码可在：https://git.io/AdelaiDet
2021-05-29 cs.CV
TGRMPT: A Head-Shoulder Aided Multi-Person Tracker and a New Large-Scale Dataset for Tour-Guide Robot
Zhejiang Lab（之江实验室）
服务机器人的安全和礼貌服务需要鲁棒地跟踪周围的人，特别是导游机器人（TGR）。然而，现有的多目标跟踪（MOT）或多人跟踪（MPT）方法不适用于TGR，原因如下：缺乏相关的大规模数据集; 2.缺乏评估跟踪器的适用指标。在这项工作中，我们针对TGR的视觉感知任务，并提出了TGRDB数据集，这是一个新的大规模多人跟踪数据集，包含大约5.6小时的注释视频和超过450个长期轨迹。此外，我们提出了一个更适用的指标来评估跟踪器使用我们的数据集。作为我们工作的一部分，我们提出了TGRMPT，一种新颖的MPT系统，它结合了来自头肩和全身的信息，并实现了最先进的性能。我们已经在https://github.com/wenwenzju/TGRMPT上发布了我们的代码和数据集。
2022-07-08 cs.CV cs.RO
Live Speech Portraits: Real-Time Photorealistic Talking-Head Animation
Nanjing University（南京大学）；Xmov（上海魔珐科技有限公司）
据我们所知，我们首先提出了一个实时系统，该系统仅由音频信号以超过30 fps的速度驱动，生成个性化的逼真的说话头动画。我们的系统包含三个阶段。第一阶段是深度神经网络，其提取深度音频特征以及流形投影以将特征投影到目标人的语音空间。在第二阶段，我们从投影的音频特征中学习面部动态和运动。预测的运动包括头部姿态和上身运动，其中前者由对目标人的头部姿态分布进行建模的自回归概率模型生成。上半身的运动是从头部姿势推导出来的。在最后阶段，我们根据之前的预测生成条件特征图，并将它们与候选图像集一起发送到图像到图像转换网络，以合成照片级真实感渲染。我们的方法很好地推广到野生音频，并成功地合成高保真个性化的面部细节，例如，皱纹牙齿我们的方法还允许明确控制头部姿势。广泛的定性和定量评估，以及用户研究，证明了我们的方法优于国家的最先进的技术。
2021-09-24 cs.CV cs.GR
Few-Shot Adversarial Learning of Realistic Neural Talking Head Models
Samsung AI Center（三星人工智能中心）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
最近的几项工作表明，通过训练卷积神经网络来生成高度逼真的人类头部图像，可以获得它们。为了创建个性化的说话头部模型，这些工作需要在单个人的大型图像数据集上进行训练。然而，在许多实际场景中，需要从人的几个图像视图（可能甚至是单个图像）学习这种个性化的讲话头部模型。在这里，我们提出了一个系统，这种Few-Shot的能力。它在一个大型视频数据集上执行冗长的元学习，然后能够将以前看不见的人的神经说话头部模型的少量和一次性学习框架为具有高容量生成器和判别器的对抗性训练问题。至关重要的是，该系统能够以特定于个人的方式初始化发生器和训练器的参数，因此尽管需要调整数千万个参数，但训练可以基于几张图像并快速完成。我们表明，这样的方法是能够学习高度逼真和个性化的新的人，甚至肖像画的说话头模型。
2019-09-25 cs.CV cs.GR cs.LG
AdaMesh: Personalized Facial Expressions and Head Poses for Adaptive Speech-Driven 3D Facial Animation
Tsinghua University（清华大学）；SenseTime Research（商汤科技研究院）；Xverse Technology（Xverse科技公司）；The Chinese University of Hong Kong（香港中文大学）
提出AdaMesh，通过约10秒参考视频学习个性化说话风格，结合MoLoRA微调表情适配器和无需微调的姿态适配器，生成生动的3D面部表情与头部姿态动画。
2025-03-04 cs.CV cs.MM
Black Re-ID: A Head-shoulder Descriptor for the Challenging Problem of Person Re-Identification
University of Chinese Academy of Sciences（中国科学院大学）；AI Research of JD.com（京东人工智能研究院）
人物再识别（Re-ID）的目的是从多个摄像机捕获的一组图像中检索输入的人物图像。虽然最近的Re-ID方法取得了巨大的成功，但大多数方法都是根据服装的属性（例如，颜色、纹理）。然而，人们通常穿着黑色衣服或在低光照明下被监视系统捕获，在这种情况下，衣服的属性严重缺失。我们把这个问题称为黑Re-ID问题。为了解决这个问题，而不是依赖于服装信息，我们建议利用头肩特征，以协助人的Re-ID。提出了头肩自适应注意力网络（HAA）学习的头肩特征和创新的集成方法，旨在提高我们的模型的泛化。给定输入人图像，如果图像内的个人穿着黑色衣服，则集成方法将通过分配更大的权重来关注头肩特征。由于缺乏合适的基准数据集来研究Black Re-ID问题，我们还贡献了第一个Black-reID数据集，它包含1274个身份的训练集。在Black-reID、Market 1501和DukeMTMC-reID数据集上的广泛评估表明，与现有的Re-ID方法相比，我们的模型在Black和传统的Re-ID问题上都取得了最好的结果。此外，我们的方法也被证明是有效的，在处理人的Re-ID在类似的服装。我们的代码和数据集可在https://github.com/xbq1994/上获得。
2020-08-19 cs.CV cs.LG eess.IV
Enhancing Long-Term Person Re-Identification Using Global, Local Body Part, and Head Streams
Seoul National University of Science and Technology（首尔科学技术大学）
针对传统行人重识别仅适用于未换衣短期场景的局限，提出融合全局、头部、局部身体部位三流的长期行人重识别框架，在三个公开数据集上性能超越现有最优方法。
2024-03-05 cs.AI cs.CV
Natural and Effective Obfuscation by Head Inpainting
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；KU-Leuven/PSI（鲁汶大学/PSI）；Toyota Motor Europe (TRACE)（丰田汽车欧洲公司（TRACE））；ETH Zurich（苏黎世联邦理工学院）
随着越来越多的个人照片被分享到网上，能够在这些照片中模糊身份正成为隐私保护的必需品。人们已经在很大程度上采取了涂黑或模糊头部区域，但它们导致了差的用户体验，同时对现有技术的人识别器是令人惊讶地无效的。在这项工作中，我们提出了一种新的头部修复混淆技术。在社交媒体照片中生成逼真的头部修复具有挑战性，因为主体出现在不同的活动和头部方向中。因此，我们将任务分成两个子任务：（1）从图像上下文（例如，身体姿势）生成面部地标，以无缝假设可感知的头部姿势，以及（2）面部地标条件头部修复。我们验证了我们的修复方法生成逼真的人的图像，同时实现了优越的混淆性能对自动人识别器。
2018-03-16 cs.CR cs.CV cs.CY
An Evaluation Framework for Generating Multi-View Images of a Person in a Scene
Princeton University（普林斯顿大学）
本文针对DiTs生成人物多视角图像时的空间一致性问题，提出HSRD指标，为构建高质量多视角合成数据集提供评估流程。
2026-09-07 cs.CV
Locate, Size and Count: Accurately Resolving People in Dense Crowds via Detection
Indian Institute of Science（印度科学学院）
我们引入了一个检测框架，密集人群计数和消除需要流行的密度回归范例。典型的计数模型预测图像的人群密度，而不是检测每个人。这些回归方法，在一般情况下，无法定位的人足够准确的大多数应用程序以外的计数。因此，我们采用的架构，定位每个人在人群中，大小的斑点头与限界框，然后计数。与普通的物体或人脸检测器相比，在设计这样的检测系统时存在某些独特的挑战。其中一些是密集人群中巨大多样性的直接后果，以及连续预测盒子的需要。我们解决了这些问题，并开发了我们的LSC-CNN模型，该模型可以可靠地检测稀疏到密集人群中的人头。LSC-CNN采用多列架构，自上而下的反馈处理，以更好地解决人员问题，并在多个分辨率下生成精细的预测。有趣的是，所提出的训练机制只需要点头部注释，但可以估计头部的近似大小信息。我们证明了LSC-CNN不仅比现有的密度回归器具有更好的定位，而且在计数方面也表现出色。我们方法的代码可以在https://github.com/val-iisc/lsc-cnn上找到。
2020-02-15 cs.CV
Realistic One-shot Mesh-based Head Avatars
Samsung AI Center – Moscow（三星人工智能中心（莫斯科））；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Yandex Armenia（亚美尼亚扬德克斯公司）
我们提出了一个系统，为现实的一杆网格为基础的人类头部化身创建，罗马为短。使用一张照片，我们的模型估计一个人特定的头部网格和相关的神经纹理，它编码局部光度和几何细节。由此产生的化身是操纵的，可以使用神经网络渲染，该网络与网格和纹理估计器一起在野外视频数据集上进行训练。在实验中，我们观察到，我们的系统表现出竞争力的头部几何形状恢复和渲染的质量，特别是跨人重演。查看结果https://samsunglabs.github.io/rome/
2022-06-16 cs.CV cs.GR
Text2Video: Text-driven Talking-head Video Synthesis with Personalized Phoneme-Pose Dictionary
Baidu Research（百度研究院）
随着深度学习技术的发展，从音频或文本中自动生成视频已经成为一个新兴的、有前途的研究课题。在本文中，我们提出了一种新的方法来合成视频从文本。该方法构建音素-姿势词典并训练生成对抗网络（GAN）以从内插音素姿势生成视频。与音频驱动的视频生成算法相比，该方法具有以下优点：1）只需要音频驱动方法所需训练数据的一小部分; 2）更灵活，不受说话人变化的影响; 3）显著减少了预处理、训练和推理时间。我们进行了大量的实验，比较所提出的方法与国家的最先进的说话的脸生成方法的基准数据集和我们自己的数据集。实验结果证明了该方法的有效性和优越性。
2022-01-22 cs.CV eess.IV
FSRT: Facial Scene Representation Transformer for Face Reenactment from Factorized Appearance, Head-pose, and Facial Expression Features
Autonomous Intelligent Systems - Computer Science Institute VI and Center for Robotics, University of Bonn（波恩大学自主智能系统 - 计算机科学第六研究所与机器人中心）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习和人工智能研究所）
本文提出FSRT，一种基于Transformer的人脸重现方法，通过自监督分解外观、头部姿态和表情特征，支持跨人重现和多源图像适应，实验表明其在运动迁移质量和时间一致性上优于现有方法。
2024-06-10 cs.CV
EgoTwin: Dreaming Body and View in First Person
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）；Hong Kong University of Science and Technology（香港科学与技术大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出EgoTwin框架，基于扩散Transformer联合生成第一人称视频与人体运动，通过头部中心运动表示和控制论启发的交互机制解决视点对齐与因果交互问题，并构建大规模数据集验证其有效性。
2025-08-18 cs.CV
Generalizable One-shot Neural Head Avatar
NVIDIA（英伟达）
该研究提出一种单样本神经头部化身框架，通过三分支生成三平面结合体渲染与超分辨率，实现单图高效重建驱动未见过身份的3D头部化身，效果优于现有SOTA方法。
2023-06-14 cs.CV
Talk Like You: Imitating How You Speak in Real-Time Talking Head Generation
MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统全国重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CAIR, HKISI, Chinese Academy of Sciences（中国科学院香港创新研究院人工智能与机器人创新中心）；SCSE, FIE, M.U.S.T.（澳门科技大学创新工程学院计算机科学与工程学院）
提出TalkLikeYou框架，通过运动空间建模和一步流匹配实现实时说话头生成，采用两阶段模仿学习捕捉个体说话习惯，并引入PLAD指标评估，显著提升模仿效果。
2026-10-06 cs.CV
Improving Head Pose Estimation with a Combined Loss and Bounding Box Margin Adjustment
Tohoku University（东北大学）；Riken Center for AIP（理化学研究所AIP中心）
我们解决了一个问题，估计一个人的头部构成从其RGB图像。在最近的工作中，使用CNN解决这个问题有助于显著提高准确性。然而，我们表明，以下两种方法，尽管它们的简单，可以实现进一步的改进：（i）适当调整的边缘检测到的脸的限界框，和（ii）选择的损失函数。我们表明，这两种方法的集成实现了新的国家的最先进的标准基准数据集在野外头部姿态估计。
2019-05-14 cs.CV
Let Them Talk: Audio-Driven Multi-Person Conversational Video Generation
Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；Meituan（美团）；AMC and Department of ECE, HKUST（香港科技大学AMC及电子与计算机工程系）
本文提出多人对话视频生成新任务及框架MultiTalk，通过L-RoPE方法解决音频与人物绑定问题，并结合部分参数和多任务训练保留指令遵循能力，在多个数据集上取得优异性能。
2025-05-28 cs.CV
Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control
Imperial College London（帝国理工学院）；Huawei Technologies（华为技术有限公司）；University of Sussex（萨塞克斯大学）
我们提出了Free-HeadGAN，一个人通用的神经说话头合成系统。我们表明，稀疏的3D面部标志的人脸建模足以实现最先进的生成性能，而不依赖于强大的统计先验的脸，如3D变形模型。除了3D姿势和面部表情之外，我们的方法还能够完全将眼睛注视从驾驶演员转移到源身份。我们完整的管道由三个组件组成：一个规范的3D关键点估计器，它回归3D姿势和表情相关的变形，一个凝视估计网络和一个基于HeadGAN架构的生成器。我们进一步实验了我们的生成器的扩展，以适应使用注意力机制的少量学习，如果有多个源图像可用。与最新的重演和运动转移模型相比，我们的系统实现了更高的照片真实感，同时提供了明确的凝视控制。
2022-08-03 cs.CV
Neural Head Reenactment with Latent Pose Descriptors
Samsung AI Center（三星人工智能中心）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）
我们提出了一个神经头重演系统，这是由潜在的姿态表示驱动，并能够预测前景分割旁边的RGB图像。潜在的姿态表示作为整个重演系统的一部分被学习，并且学习过程仅基于图像重建损失。我们表明，尽管它很简单，但有足够大和多样化的训练数据集，这种学习成功地从身份分解。然后，所得到的系统可以再现驾驶人的模仿，并且还可以执行跨人重演。此外，我们表明，学习的描述符是有用的其他姿势相关的任务，如关键点预测和姿势为基础的检索。
2020-10-30 cs.CV cs.LG
Kalman Filter Based Multiple Person Head Tracking
Norwegian University of Science and Technology（挪威科技大学）；University of Imam Abdulrahman Bin Faisal（伊玛目·阿卜杜勒拉赫曼·本·费萨尔大学）；University of Ha'il（哈伊勒大学）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）
在多目标跟踪中，目标表示是影响跟踪性能的重要因素。最先进的方法依赖于基于深度学习的视觉表示，其以高计算复杂性为代价提供最佳性能。在本文中，我们提出了一个简单而有效的目标表示人体跟踪。我们的灵感来自于这样一个事实，即随着时间的推移，人体会经历严重的变形和内部/内部闭塞。因此，不是跟踪整个身体部分，而是选择相对刚性器官跟踪来在延长的时间段内跟踪人。因此，我们遵循检测跟踪的范例，并生成的目标假设的空间位置的头部在每一帧。在定位头部位置之后，针对每个目标实例化具有恒定速度运动模型的卡尔曼滤波器，其遵循场景中目标的时间演变。为了关联连续帧中的目标，使用以贪婪方式关联对应目标的组合优化。在四个具有挑战性的视频监控数据集上对定性结果进行了评估，并取得了令人满意的结果。
2020-06-11 cs.CV cs.LG eess.IV
Pipeline for 3D reconstruction of the human body from AR/VR headset mounted egocentric cameras
Bharati Vidyapeeth’s College of Engineering（巴拉蒂维迪亚佩斯工程学院）
在本文中，我们提出了一种新的管道的三维重建的全身自我中心的观点。从以自我为中心的观点进行人体的3-D重建是一项具有挑战性的任务，因为视图是倾斜的，并且离相机较远的身体部位被遮挡。一个这样的例子是安装在VR头显下方的摄像头的视图。为了实现这一任务，我们首先使用条件GANs将自我中心的视图转换为完整的第三人称视图。这增加了图像的可理解性并迎合了遮挡。所生成的第三人称视图还通过生成身体的3D网格的3D重建模块发送。我们还训练了一个网络，可以采取第三人称全身的主题，并产生纹理映射应用于网格。生成的网格具有相当逼真的身体比例，并完全操纵允许进一步的应用程序，如实时动画和姿势转移游戏。这种方法可能是关键的一个新领域的移动人类远程呈现。
2021-11-09 cs.AI cs.CV
Customizing an Affective Tutoring System Based on Facial Expression and Head Pose Estimation
Tarbiat Modares University（塔比阿特莫达雷斯大学）
近年来，数位学习的主要问题已从分析内容转向借由智能教学系统（ITS）来提供个人化的学习环境。因此，通过设计个性化的教学模式，学习者能够有一个成功的和满意的经验，实现他们的学习目标。情感教学系统是一种能够识别学习者情感状态并对其做出反应的智能教学系统。在这项研究中，我们设计，实现和评估了一个系统，个性化的学习环境的基础上面部情绪识别，头部姿态估计，和学习者的认知风格。首先，创建了一个名为智能分析器（AI）的单元，负责识别学习者的面部表情和头部角度。其次，构建了ATS系统，该系统主要由ITS、IA两个单元组成。结果显示，有了ATS，参与者需要更少的努力来通过测试。换句话说，我们观察到，当IA单元被激活时，学习者可以通过最后的测试，在更少的尝试比那些IA单元被停用。此外，他们在平均及格分数和学术满意度方面也有所改善。
2021-11-21 cs.CV cs.HC cs.LG
ReenactNet: Real-time Full Head Reenactment
University of Exeter（埃克塞特大学）；Imperial College London（帝国理工学院）；Foundation for Research and Technology - Hellas (FORTH)（希腊基础研究与技术基金会（FORTH））
视频到视频合成是一个具有挑战性的问题，旨在学习语义映射序列和描述驾驶视频特征的照片级真实感视频之间的转换函数。我们提出了一个头对头的系统，我们自己的实现能够完全转移的人的头部3D姿态，面部表情和眼睛凝视从源到目标演员，同时保留目标演员的身份。我们的系统产生高保真度，时间平滑和照片般逼真的合成视频忠实地将人类随时间变化的头部属性从源传输到目标演员。我们建议的实施：1）实时的工作（$\sim 20$ fps），2）在具有作为唯一输入的网络摄像头的商用膝上型计算机上运行，3）是交互式的，允许参与者通过改变目标人（例如，名人、政治家等）的表情、头部姿势和眼睛注视来立即驾驶目标人，并且同时可视化合成的视频。
2020-05-22 cs.CV
Deformable Distributed Multiple Detector Fusion for Multi-Person Tracking
Johns Hopkins University（约翰斯·霍普金斯大学）；Hong Kong Baptist University（香港浸会大学）
本文讨论了在复杂环境中具有挑战性的遮挡和广泛的姿态变化的全自动多人跟踪。我们的解决方案将多个检测器组合用于一组不同的感兴趣区域（例如，全身和头部）用于多人跟踪。使用多个检测器导致更少的未检测，因为它能够利用各个检测器的互补强度。虽然假阳性的数量可能会随着从多个检测器检测到的边界框的数量增加而增加，但我们建议通过限界框位置和深度信息对检测输出进行分组。为了对显著的姿态变化具有鲁棒性，在我们的多人跟踪系统中学习了检测器之间的可变形空间关系。从现场重症监护室（ICU）的RGBD数据，我们表明，所提出的方法显着提高了多人跟踪性能的国家的最先进的方法。
2015-12-18 cs.CV
RankPose: Learning Generalised Feature with Rank Supervision for Head Pose Estimation
Ping An Technology（平安科技）
我们解决了具有挑战性的问题，基于RGB图像的头部姿态估计。我们首先重新制定头部姿势表示学习，以限制它到一个有界的空间。头部姿态表示为矢量投影或矢量角度有助于提高性能。此外，提出了一种结合MSE回归损失的排序损失。排名损失监督具有相同人的配对样本的神经网络，并惩罚姿势预测的不正确排序。对这个新的损失函数的分析表明，它有助于更好的局部特征提取器，其中特征被概括为抽象地标，抽象地标是姿势相关的特征，而不是姿势无关的信息，如身份，年龄和照明。大量的实验表明，我们的方法显着优于当前国家的最先进的计划在公共数据集：AFLW2000和BIWI。我们的模型实现了显着的改善，比以前的SOTA MAE AFLW2000和BIWI分别从4.50到3.66和从4.0到3.71。源代码将在https://github.com/seathiefwang/RankHeadPose上提供。
2020-05-22 cs.CV
The Center of Attention: Center-Keypoint Grouping via Attention for Multi-Person Pose Estimation
Technical University of Munich（慕尼黑工业大学）
我们引入CenterGroup，一个基于注意力的框架，从一组身份不可知的关键点和图像中的人中心预测来估计人的姿势。我们的方法使用一个Transformer来获得所有检测到的关键点和中心的上下文感知嵌入，然后应用多头注意力直接将关节分组到相应的人中心。虽然大多数自下而上的方法在推理时依赖于不可学习的聚类，但CenterGroup使用完全可区分的注意力机制，我们与关键点检测器一起进行端到端的训练。因此，我们的方法获得了最先进的性能，推理时间比竞争的自底向上方法快2.5倍。我们的代码可在https://github.com/dvl-tum/center-group上获得。
2021-10-11 cs.CV
Faceless Person Recognition; Privacy Implications in Social Media
Max-Planck Institute for Informatics（马克斯·普朗克信息学研究所）
随着我们将更多的生活转移到虚拟领域，网络上共享的数据量不断增加，并对我们的隐私构成威胁。这项工作有助于通过分析人们在社交媒体数据中的识别程度来理解这种数据共享对隐私的影响。为了便于系统的研究，我们定义了一些场景，考虑到一些因素，如一个人有多少个头被标记，以及这些头是否被混淆。我们提出了一个强大的人识别系统，可以处理姿势和服装的大变化，可以用很少的训练样本进行训练。我们的研究结果表明，即使存在模糊处理，少量图像也足以威胁用户的隐私。我们展示了详细的实验结果，并讨论了它们的影响。
2016-07-28 cs.AI cs.CR cs.CV
Multi-Domain Pose Network for Multi-Person Pose Estimation and Tracking
ByteDance AI Lab（字节跳动人工智能实验室）
野外多人姿态估计和跟踪是一个重要而又具有挑战性的问题。为了训练一个强大的模型，大规模的训练数据是至关重要的。虽然有几个数据集用于人体姿势估计，但尚未研究在多数据集上训练的最佳实践。在本文中，我们提出了一个简单的网络称为多域姿态网络（MDPN）来解决这个问题。通过将任务视为多域学习，我们的方法可以学习更好的姿态预测表示。结合预测头微调和多分支组合，它显示出比基线的显着改进，并在PoseTrack ECCV 2018挑战赛上实现了最佳性能，而无需MPII和COCO以外的其他数据集。
2018-10-19 cs.CV
From Neck to Head: Bio-Impedance Sensing for Head Pose Estimation
German Research Center for Artificial Intelligence（德国人工智能研究中心）；University of Southampton（南安普顿大学）
NeckSense通过生物阻抗传感实现头部姿态估计，结合解剖学先验知识和深度学习框架，实现高精度无视线头部追踪。
2026-01-23 cs.CV eess.SP
AvatarStudio: Text-driven Editing of 3D Dynamic Human Head Avatars
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；University of Freiburg（弗赖堡大学）
本文提出AvatarStudio，结合个性化文本到图像扩散模型与VT-SDS，在NeRF表示中实现文本驱动的动态全头外观编辑，并通过形变网络保证3D与时间一致性。
2023-06-02 cs.CV cs.GR
Large-scale Multi-modal Person Identification in Real Unconstrained Environments
Guangdong University of Technology（广东工业大学）
真实无约束噪声环境下的身份识别是一个巨大的挑战。在使用深度卷积神经网络（DCNN）或机器学习方法进行大规模野外身份识别的多特征学习中，关键是设计适当的决策层融合或特征层融合策略，以增强区分力。需要提取不同类型的有效特征，建立合理的框架来融合不同类型的信息。在传统的方法中，不同的人是基于单一的模态特征来识别，如面部特征，音频特征，头部特征。这些传统的方法不能实现一个高度准确的水平，在真实的无约束环境中的人识别。该研究的目的是提出一个融合模块，融合多模态特征的人在真实的无约束环境中的身份识别。
2019-12-17 cs.CV eess.SP
Fast Bi-layer Neural Synthesis of One-Shot Realistic Head Avatars
Samsung AI Center（三星人工智能中心）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；University of Cambridge（剑桥大学）
我们提出了一个基于神经渲染的系统，从一张照片创建头部化身。我们的方法通过将人的外观分解为两层来建模。第一层是由一个小的神经网络合成的姿态相关的粗糙图像。第二层由包含高频细节的姿态独立纹理图像定义。纹理图像被离线生成、变形并添加到粗图像，以确保合成的头部视图的高有效分辨率。我们将我们的系统与类似的最先进的系统在视觉质量和速度方面进行比较。实验表明，对于给定的视觉质量，与以前的神经头化身模型相比，推理速度显著加快。我们还报告我们的系统的实时智能手机为基础的实施。
2020-08-24 cs.CV cs.GR cs.LG
MorphGAN: One-Shot Face Synthesis GAN for Detecting Recognition Bias
Boston University（波士顿大学）；Apple（苹果公司）
为了检测人脸识别网络中的偏差，使用仅特定属性以某种受控方式变化的样本来探测被测网络可能是有用的。然而，捕获一个足够大的数据集与特定的控制感兴趣的属性是困难的。在这项工作中，我们描述了一个模拟器，适用于特定的头部姿势和面部表情的调整，以前看不见的人的图像。模拟器首先将3D变形模型拟合到提供的图像，应用所需的头部姿势和面部表情控制，然后将模型渲染到图像中。接下来，使用以原始图像和渲染的变形模型为条件的条件生成对抗网络（GAN）来产生具有新的面部表情和头部姿势的原始人的图像。我们称之为条件GAN -- MorphGAN。使用MorphGAN生成的图像保留了原始图像中的人的身份，并且所提供的对头部姿势和面部表情的控制允许创建测试集，以识别面部识别深度网络关于姿势和表情的鲁棒性问题。当训练数据稀缺时，MorphGAN生成的图像也可以用作数据增强。我们表明，通过用新的姿势和表情来增强小型人脸数据集，识别性能提高了9%，这取决于增强和数据稀缺性。
2020-12-10 cs.AI cs.CV cs.CY
