Real-time Egocentric Gesture Recognition on Mobile Head Mounted Displays
Google Inc.（谷歌公司）
移动虚拟现实（VR）盔装显示器（HMD）近年来在消费者中变得流行。在这项工作中，我们展示了实时的自我为中心的手势检测和定位移动头戴式显示器。我们的主要贡献是：1）一种新颖的混合现实数据汇集工具，用于自动注释边界框和手势标签; 2）迄今为止最大的以自我为中心的手势和限界框数据集，具有超过400，000个注释帧; 3）一个神经网络，在现代移动CPU上实时的运行，并在8个类别的手势识别上实现高于76%的精度。
2017-12-13 cs.CV
EgoGaussian: Dynamic Scene Understanding from Egocentric Video with 3D Gaussian Splatting
ETH Zürich（苏黎世联邦理工学院）；Google（谷歌公司）；Microsoft（微软公司）；KU Leuven（鲁汶大学）；INSAIT（保加利亚索菲亚的INSAIT研究院）
本文提出 EgoGaussian，仅用 RGB 第一人称视频，通过 Gaussian Splatting 与片段级在线学习实现三维场景重建及刚性物体动态跟踪。
2024-10-02 cs.CV
Real-Time Simulated Avatar from Head-Mounted Sensors
Reality Labs Research, Meta（Meta Reality Labs 研究部）；Carnegie Mellon University（卡内基梅隆大学）
提出SimXR方法，通过端到端学习直接从AR/VR头显的图像和位姿生成人形机器人控制信号，结合物理定律实现实时虚拟形象控制。
2024-04-24 cs.CV cs.GR cs.RO
Egocentric Gaze Estimation via Neck-Mounted Camera
The University of Tokyo（东京大学）
本文提出通过颈部摄像头进行眼动估计的新任务，并引入基于变换器的模型GLC及两种扩展方法，以提升眼动估计性能。
2026-02-12 cs.CV
EgoBody: Human Body Shape and Motion of Interacting People from Head-Mounted Devices
ETH Zürich（苏黎世联邦理工学院）；Microsoft（微软）；Meta Reality Labs Research（Meta现实实验室）
从以自我为中心的观点理解社交互动对于许多应用至关重要，从辅助机器人到AR/VR。推理互动的关键是从自我中心的角度理解互动伙伴的身体姿势和运动。然而，由于缺乏数据集，这一领域的研究受到严重阻碍。现有的数据集在大小、捕获/注释方式、地面实况质量或交互多样性方面都是有限的。我们填补了这一空白，提出自我身体，一种新的大规模数据集的人类姿势，形状和运动估计从自我中心的意见，在复杂的3D场景中的互动。我们使用微软HoloLens 2头戴式设备记录丰富的以自我为中心的数据流（包括RGB、深度、眼睛注视、头部和手部跟踪）。为了获得准确的3D地面实况，我们使用多Kinect装备校准耳机，并将富有表现力的SMPL-X人体网格拟合到多视图RGB-D帧，随着时间的推移重建3D人体形状和相对于场景的姿势。我们收集了125个序列，跨越不同的互动场景，并提出了第一个基准的3D全身姿势和形状估计的社会合作伙伴从自我中心的观点。我们广泛评估了最先进的方法，强调了它们在以自我为中心的情况下的局限性，并利用我们的高质量注释来解决这些局限性。数据和代码可在https://sanweiliti.github.io/egobody/egobody.html上获得。
2022-08-16 cs.AI cs.CV
Egocentric Gesture Recognition for Head-Mounted AR devices
Trinity College Dublin（都柏林圣三一学院）
在AR/VR环境中与虚拟对象的自然交互有助于实现流畅的用户体验。手势是从现实世界到增强空间的自然延伸，以实现这些交互。识别自我中心手势的主要挑战是在自我视角下找到与手势和手相关的有区别的时空特征。在这项工作中，我们提出了一个数据驱动的端到端的深度学习方法来解决以自我为中心的手势识别问题，它结合了一个自我-手编码器网络，以找到自我-手的功能，和一个递归神经网络，以辨别时间区分功能。由于深度学习网络是数据密集型的，我们提出了一种新的数据增强技术，使用绿色屏幕捕获来缓解地面实况注释的问题。此外，我们还发布了一个数据集，其中包含在绿屏前以自然方式执行的10个手势用于训练，以及在没有绿屏的不同自然场景中执行的相同10个手势用于验证。我们还将我们的网络性能与使用AirGest数据集的最先进网络进行了比较
2018-08-16 cs.CV
Robust Egocentric Photo-realistic Facial Expression Transfer for Virtual Reality
Facebook Reality Labs（Facebook现实实验室）；Imperial College London（伦敦帝国理工学院）；Carnegie Mellon University（卡内基梅隆大学）
社交存在，即与真人在一起的感觉，将推动由虚拟现实（VR）中的数字人驱动的下一代通信系统。最好的3D视频逼真的VR化身，最大限度地减少了神秘的效果依赖于个人特定（PS）模型。然而，这些PS模型的构建非常耗时，并且通常使用有限的数据可变性进行训练，这导致泛化能力和鲁棒性较差。影响面部表情转移算法准确性的主要可变性来源包括使用不同的VR头戴设备（例如，照相机配置、头戴式耳机的倾斜度），面部外观随时间的变化（例如，胡须、化妆），以及环境因素（例如，照明、背景）。这是VR中这些模型可扩展性的主要缺点。本文通过提出一种经过专门增强策略训练的端到端多身份架构（MIA），在克服这些限制方面取得了进展。MIA在未经训练的受试者中使用最少的个性化信息（即，中性3D网格形状）。类似地，如果PS纹理解码器可用，则MIA能够在具有挑战性的场景中稳健地驱动完整的化身（形状+纹理），从而优于PS模型。我们对提高鲁棒性和泛化的关键贡献在于，我们的方法以无监督的方式隐式地将面部表情与滋扰因素（例如，耳机、环境、面部外观）。我们证明了优越的性能和鲁棒性的所提出的方法与国家的最先进的PS方法在各种实验。
2022-07-04 cs.CV
EgoPoser: Robust Real-Time Egocentric Pose Estimation from Sparse and Intermittent Observations Everywhere
ETH Zürich（苏黎世联邦理工学院）
本文提出 EgoPoser，通过间歇手部跟踪、全局运动分解和高效 SlowFast 模块，实现跨体型、跨环境的实时第一人称全身姿态估计，性能优于现有方法且推理速度超过600fps。
2024-09-06 cs.AI cs.CV cs.GR
HOT3D: Hand and Object Tracking in 3D from Egocentric Multi-View Videos
Meta Reality Labs；facebookresearch（Facebook Research）
本文提出HOT3D数据集，提供超833分钟自我中心多视角手部与物体3D跟踪数据，并验证多视角方法在3D手部跟踪、6DoF物体姿态估计等任务上显著优于单视角方法。
2025-04-30 cs.AI cs.CV cs.RO
HMD^2: Environment-aware Motion Generation from Single Egocentric Head-Mounted Device
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Stanford University（斯坦福大学）；Nanyang Technological University（南洋理工大学）；Meta Reality Labs Research（Meta现实实验室）
本文提出HMD^2系统，通过结合视觉SLAM与多模态条件动作扩散模型，利用单个头戴式设备实现低延迟的逼真全身动作生成。
2025-03-02 cs.CV
REFA: Real-time Egocentric Facial Animations for Virtual Reality
Reality Labs at Meta（Meta 实验室）
REFA通过基于蒸馏的方法实现虚拟现实中的实时面部表情跟踪，利用异构数据训练模型，提升虚拟角色表达的非侵入性与准确性。
2026-01-07 cs.CV
HiSC4D: Human-centered interaction and 4D Scene Capture in Large-scale Space Using Wearable IMUs and LiDAR
Xiamen University（厦门大学）；School of Informatics, Xiamen University（厦门大学信息学院）；Fujian Key Laboratory of Sensing and Computing for Smart Cities（福建省智慧城市感知与计算重点实验室）；School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）
本研究提出HiSC4D方法，融合可穿戴IMU与头戴式LiDAR，通过联合优化实现无约束大空间的以人为中心的4D场景与人体交互捕捉，并构建含多场景多运动的数据集验证其有效性与泛化性。
2024-09-14 cs.AI cs.CV cs.GR
mmEgoHand: Egocentric Hand Pose Estimation and Gesture Recognition with Head-mounted Millimeter-wave Radar and IMU
School of Software Engineering, Xi’an Jiaotong University（软件工程学院，西安交通大学）；School of Cyber Science and Engineering, Xi’an Jiaotong University（网络科学与工程学院，西安交通大学）；School of Computer Science and Technology, Xi’an Jiaotong University（计算机科学与技术学院，西安交通大学）；College of Computer Science and Technology, Zhejiang University（计算机科学与技术学院，浙江大学）
mmEgoHand提出头戴式毫米波雷达与IMU融合的自我中心手部姿态估计系统，通过端到端Transformer实现时空对齐和3D关键点估计，在10人8手势3姿态下达到90.8%识别准确率。
2025-07-06 cs.CV
HEADS-UP: Head-Mounted Egocentric Dataset for Trajectory Prediction in Blind Assistance Systems
EPFL（洛桑联邦理工学院）；Universidad del Valle（德尔瓦列大学）；EssentialTech Center at EPFL（洛桑联邦理工学院EssentialTech中心）
本文提出首个面向盲人辅助系统的头戴式自我中心轨迹预测数据集HEADS-UP，并基于该数据集设计了一种半局部轨迹预测方法，用于实时评估盲人与行人间的碰撞风险，在数据集和NVIDIA Jetson GPU实时测试中验证了其鲁棒性与效率。
2024-09-30 cs.CV
Egocentric Pose Recognition in Four Lines of Code
University of California, Irvine（加州大学欧文分校）；Universidad de Zaragoza（萨拉戈萨大学）
我们解决的问题，估计一个人的上肢（手臂+手）从胸部安装的深度相机的3D姿态。重要的是，我们在与物体的日常交互中考虑姿势估计。过去的工作表明，强姿态+视点先验和基于深度的特征对于鲁棒性能至关重要。在以自我为中心的视图中，手和手臂在相机前面的明确定义的体积内是可观察的。我们称这个体积为自我中心的工作空间。一个值得注意的属性是手的外观与工作空间位置相关。为了利用这种相关性，我们在一个全球自我中心的坐标框架，而不是一个本地的扫描窗口中分类手臂+手的配置。这极大地简化了体系结构并提高了性能。我们提出了一个高效的流水线，1）使用内部参数与我们的物理相机匹配的虚拟胸部安装相机生成用于训练的合成工作空间样本，2）计算整个体积上的透视感知深度特征，3）通过稀疏多类SVM识别离散手臂+手部姿势类。我们的方法提供了最先进的手姿态识别性能，从自我中心的RGB-D图像的实时。
2014-11-29 cs.CV
Mo2Cap2: Real-time Mobile 3D Motion Capture with a Cap-mounted Fisheye Camera
Max-Planck Institute for Informatics（马克斯-普朗克信息研究所）；Stanford University（斯坦福大学）；CVLAB of EPFL（洛桑联邦理工学院计算机视觉实验室）
我们提出了第一个实时的【形】方法，用于在广泛的不受约束的日常活动中对3D人体姿势进行自我中心的估计。此设置有一组独特的挑战，例如硬件设置的移动性，以及对长时间捕获会话的鲁棒性，以及从跟踪失败中快速恢复。我们解决这些挑战的基础上，一个新的轻量级的设置，转换标准的棒球帽的设备，高品质的姿态估计的基础上，一个单一的帽安装鱼眼相机。从捕获的以自我为中心的直播流中，我们基于CNN的3D姿态估计方法在消费级GPU上以60 Hz运行。除了新颖的硬件设置之外，我们的其他主要贡献是：1）自上而下的鱼眼图像的大型地面真实训练语料库和2）一种新颖的解纠缠3D姿态估计方法，该方法考虑了自我中心观点的独特属性。正如我们的评估所示，我们实现了较低的3D联合误差以及比现有基线更好的2D叠加。
2019-01-23 cs.CV
The Monado SLAM Dataset for Egocentric Visual-Inertial Tracking
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Collabora Ltd.（Collabora有限公司）；CIFASIS, CONICET-UNR
本文提出Monado SLAM数据集，用于解决头戴式设备中高动态运动、动态遮挡等挑战性场景下的视觉-惯性里程计与SLAM问题。
2025-07-31 cs.CV cs.RO
EgoKit: Towards Unified Low-Cost Egocentric Data Collection with Heterogeneous Devices
George Mason University（乔治·马歇尔大学）；ByteDance（字节跳动）
本文提出EgoKit，一种统一六种异构设备的第一人称视角数据采集工具包，解决了不同设备间SDK差异和数据采集不一致的问题，同时提供统一的日志格式和手部追踪数据。
2026-05-16 cs.CV cs.RO
Event-based Stereo Depth Estimation from Ego-motion using Ray Density Fusion
Technische Universität Berlin（柏林工业大学）；Einstein Center Digital Future（爱因斯坦数字未来中心）；SCIoI Excellence Cluster（SCIoI卓越集群）
事件相机是生物启发的传感器，通过响应场景中的亮度变化来模仿人类视网膜。它们以微秒级分辨率生成基于异步尖峰的输出，与传统相机相比具有高动态范围、低运动模糊和能效等优势。大多数基于事件的立体方法试图利用相机的高时间分辨率和事件跨相机的连续性来建立匹配和估计深度。相比之下，这项工作研究如何估计深度立体事件相机没有明确的数据关联融合后投影射线密度，并证明其有效性头戴式摄像机的数据，这是记录在一个以自我为中心的方式。代码和视频可在https://github.com/tub-rip/dvs_mcemvs上获得
2022-10-17 cs.CV cs.RO
HMD-EgoPose: Head-Mounted Display-Based Egocentric Marker-Less Tool and Hand Pose Estimation for Augmented Surgical Guidance
University of Toronto（多伦多大学）；Sunnybrook Health Sciences Centre（桑尼布鲁克健康科学中心）；Sunnybrook Research Institute（桑尼布鲁克研究所）
现代计算机辅助外科手术的成败取决于对跟踪器械和组织的精确六自由度（6DoF）位置和方向（姿态）估计。在本文中，我们提出了HMD-EgoPose，这是一种基于单次学习的手部和物体姿态估计方法，并在单目红绿蓝（RGB）6DoF无标记手部和手术器械姿态跟踪的基准数据集上展示了最先进的性能。此外，我们揭示了我们的HMD-EgoPose框架的性能6DoF姿态估计的市售光学透视盔装显示器（OST-HMD）通过低延迟流方法的能力。我们的框架利用高效的卷积神经网络（CNN）骨干进行多尺度特征提取和一组子网络来共同学习刚性手术钻器械的6DoF姿态表示和用户手的抓握方向。为了使我们的方法可用于商业上可用的OST-HMD，Microsoft HoloLens 2，我们创建了一个用于低延迟视频和数据通信的管道，该管道具有能够优化网络推理的高性能计算工作站。HMD-EgoPose在手术工具姿态估计的基准数据集上优于当前最先进的方法，在实际数据上实现了11.0 mm的平均工具3D顶点误差，并进一步朝着临床可行的无标记跟踪策略迈进。通过我们的低延迟流方法，当与OST-HMD集成时，我们实现了199.1 ms的往返延迟，用于姿态估计和跟踪模型的增强可视化。我们的单次学习方法对遮挡和复杂表面具有鲁棒性，并改进了当前最先进的无标记工具和手部姿势估计方法。
2022-05-20 cs.CV
Ego-1K -- A Large-Scale Multiview Video Dataset for Egocentric Vision
Ego-1K数据集通过12个同步相机采集近1000个短视频，用于推动神经3D视频合成和动态场景理解，其核心挑战在于近距离动态物体和设备自身运动导致的大视差和图像运动。
2026-03-14 cs.CV
LiP-Flow: Learning Inference-time Priors for Codec Avatars via Normalizing Flows in Latent Space
ETH Zürich（苏黎世联邦理工学院）；Meta Reality Labs Research（Meta现实实验室）；University of Surrey（萨里大学）
从摄像头圆顶中捕获的多视图数据训练的神经人脸化身可以产生照片般逼真的3D重建。然而，在推理时，它们必须由有限的输入驱动，例如由头戴式摄像头或前置摄像头记录的部分视图以及稀疏的面部标志。为了减轻这种不对称性，我们引入了一个先验模型，该模型以运行时输入为条件，并通过潜在空间中的归一化流将该先验空间与3D人脸模型联系起来。我们提出的模型LiP-Flow由两个编码器组成，它们从丰富的训练时间和贫乏的推理时间观察中学习表示。一个归一化流程将两个表示空间连接起来，并将潜在样本从一个域转换到另一个域，从而允许我们定义潜在似然目标。我们对模型进行了端到端的训练，以最大限度地提高表示空间和重建质量的相似性，使3D人脸模型能够感知有限的驱动信号。我们进行了广泛的评估，其中潜在代码进行了优化，以从部分或稀疏的观察重建3D化身。我们表明，我们的方法导致一个富有表现力和有效的先验，捕捉面部动态和微妙的表情更好。
2022-03-15 cs.CV
EgoCap: Egocentric Marker-less Motion Capture with Two Fisheye Cameras (Extended Abstract)
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Intel Visual Computing Institute（英特尔视觉计算研究院）；University of Bath（巴斯大学）
基于标记和无标记的光学骨骼运动捕捉方法使用围绕场景放置的摄像机的由外向内布置，其中视点会聚在中心。他们经常会因可能需要的标记服而造成不适，并且他们的记录量受到严格限制，并且通常限于具有受控背景的室内场景。因此，我们提出了一种新的方法，用于实时，无标记和以自我为中心的运动捕捉，估计全身骨骼姿势从一个轻量级的立体对鱼眼相机，连接到头盔或虚拟现实耳机。它将鱼眼视图的新生成姿态估计框架的优势与基于ConvNet的身体部位检测器相结合，该检测器在新的自动注释和增强数据集上进行训练。我们的inside-in方法在一般室内和室外场景以及拥挤的场景中捕获全身运动。
2016-12-31 cs.CV
EgoWholeView: Camera-Only Head-Mounted Capture of Body and Bimanual Hand Motion for Embodied Demonstrations
Zhongguancun Academy（中关村学院）；DeepCybo；Beijing University of Chemical Technology（北京化工大学）；Zhongguancun Institute of Artificial Intelligence（中关村人工智能研究院）
EgoWholeView是由6台同步广角RGB摄像头组成的可穿戴捕捉系统，融合双视角预测实现身体与双手运动捕捉，精度提升且成本低，可用于具身演示等场景。
2026-10-14 cs.CV
EgoGen: An Egocentric Synthetic Data Generator
ETH Zürich（苏黎世联邦理工学院）；Microsoft（微软公司）
针对第一人称视角合成数据应用不足、自然人体运动模拟困难的问题，提出基于虚拟人第一人称视觉输入、结合避障运动基元与两阶段强化学习的EgoGen生成器，无需预定义路径，可适配动态环境，在三项第一人称感知任务上验证了有效性并将开源。
2026-11-05 cs.AI cs.CV
EgoRenderer: Rendering Human Avatars from Egocentric Camera Images
Max Plank Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；University of Maryland（马里兰大学）
我们介绍了EgoRenderer，这是一种用于渲染由可穿戴的、以自我为中心的鱼眼相机捕获的人的全身神经化身的系统，该相机安装在帽子或VR头戴式设备上。我们的系统呈现逼真的新观点的演员和她的运动从任意虚拟相机的位置。从这种以自我为中心的图像渲染全身化身带来了独特的挑战，因为自上而下的视图和大的失真。我们通过将渲染过程分解为几个步骤来解决这些挑战，包括纹理合成，姿势构建和神经图像转换。对于纹理合成，我们提出了自我DPNet，一个神经网络，推断输入鱼眼图像和一个底层的参数化身体模型之间的密集对应关系，并从自我中心的输入中提取纹理。此外，为了对动态外观进行编码，我们的方法还学习了一个隐式纹理堆栈，该堆栈可以捕获姿势和视点之间的详细外观变化。为了生成正确的姿势，我们首先使用参数模型从自我中心视图估计身体姿势。然后，我们合成一个外部的自由视点姿态图像投影的参数模型，用户指定的目标视点。接下来，我们将目标姿态图像和纹理组合成组合特征图像，使用神经图像转换网络将其转换为输出彩色图像。实验评估表明，EgoRenderer能够生成一个人戴着一个以自我为中心的相机的现实自由视点化身。与几个基线的比较证明了我们方法的优势。
2021-11-24 cs.CV
EgoForce: Forearm-Guided Camera-Space 3D Hand Pose from a Monocular Egocentric Camera
Max Planck Institute for Informatics (MPII)（马克斯·普朗克信息研究所）
本文提出 EgoForce 框架，通过统一网络处理不同相机模型，结合可微 forearm 表示和 ray 空间求解器，实现高精度 3D 手姿态恢复，实验显示在 HOT3D 数据集上 MPJPE 减少 28%。
2026-05-12 cs.CV cs.GR
MEEV: Body Mesh Estimation On Egocentric Video
NAVER CLOVA Video（NAVER CLOVA 视频）
本技术报告介绍了我们为ECCV 2022上的EgoBody Challenge提出的解决方案MEEV。从头戴式设备捕获的数据集包括人体形状和交互人的运动。EgoBody数据集具有诸如被遮挡的身体或模糊图像的挑战。为了克服这些挑战，MEEV被设计为利用多尺度特征来获得丰富的空间信息。此外，为了克服数据集大小的限制，模型使用聚合的2D和3D姿态估计数据集进行预训练。MEEV的MPJPE和MPVPE分别达到82.30和92.93，并在ECCV 2022上赢得了EgoBody挑战赛，这表明了所提出方法的有效性。代码可在https://github.com/clovaai/meev上获得
2022-10-21 cs.CV
Egocentric 6-DoF Tracking of Small Handheld Objects
Google Inc.（谷歌公司）
虚拟和增强现实技术在过去几年中有了显著的增长。这种系统的关键组件是跟踪3D空间中的盔装显示器和控制器的姿态的能力。我们从以自我为中心的相机角度解决了手持控制器的高效6自由度跟踪问题。我们收集了HMD Controller数据集，其中包括超过540，000个立体图像对，标记有手持控制器的完整6自由度姿态。我们提出的SSD-AF-Stereo 3D模型在3D关键点预测中实现了33.5毫米的平均误差，并与控制器上的IMU传感器结合使用，以实现6自由度跟踪。我们还提出了基于模型的全6自由度跟踪方法的结果。我们所有的模型都在实时的移动CPU推理的严格约束下运行。
2018-04-16 cs.CV
Ego4o: Egocentric Human Motion Capture and Understanding from Multi-Modal Input
MPI Informatics（MPI信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；Google（谷歌公司）；University of Pennsylvania（宾夕法尼亚大学）；Saarbrücken Research Center for Visual Computing, Interaction and Artificial Intelligence（萨尔布吕肯视觉计算、交互与人工智能研究中心）
Ego4o框架利用VR/AR头显等可穿戴设备的多模态稀疏输入，结合运动VQ-VAE与多模态LLM，在部分输入缺失时仍能同时实现人体运动捕捉与运动描述生成，并提升整体精度。
2025-04-11 cs.CV
EgoSim: An Egocentric Multi-view Simulator and Real Dataset for Body-worn Cameras during Motion and Activity
ETH Zürich（苏黎世联邦理工学院）
针对佩戴式摄像头自我中心视觉研究，提出EgoSim仿真器与MultiEgoView数据集，利用真实动作捕捉生成多视角渲染，并验证其能有效辅助三维姿态估计网络在真实数据上的训练。
2025-02-25 cs.AI cs.CV cs.LG
Egocentric Visibility-Aware Human Pose Estimation
PICO
本文提出Eva-3M数据集和EvaPose方法，通过引入关键点可见性标注提升视角感知人体姿态估计的准确性。
2026-02-27 cs.CV
EgoPoseVR: Spatiotemporal Multi-Modal Reasoning for Egocentric Full-Body Pose in Virtual Reality
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）
EgoPoseVR通过融合头戴设备运动信息与中心RGB-D观测，实现了在虚拟现实中的准确全身姿态跟踪，提高了姿态估计的准确性和稳定性。
2026-02-05 cs.CV cs.ET cs.GR
Estimating Egocentric 3D Human Pose in Global Space
MPI Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；Facebook Reality Labs（Facebook现实实验室）
使用单个鱼眼相机的以自我为中心的3D人体姿态估计最近变得流行，因为它允许在不受约束的环境中捕获广泛的日常活动，这对于使用外部相机的传统由外向内运动捕获是困难的。然而，现有的方法有几个局限性。一个突出的问题是，所估计的姿势位于鱼眼相机的局部坐标系中，而不是在世界坐标系中，这对于许多应用是限制性的。此外，这些方法遭受有限的准确性和时间不稳定性，由于由单眼设置和严重遮挡在强烈扭曲的自我中心的角度引起的模糊性。为了解决这些局限性，我们提出了一种新的方法，使用一个单一的头戴式鱼眼相机的自我中心的全球3D身体姿态估计。为了实现准确和时间稳定的全局姿态，通过最小化热图重投影误差并强制执行从mocap数据集学习的局部和全局身体运动先验，在帧序列上执行时空优化。实验结果表明，我们的方法优于国家的最先进的方法在定量和定性。
2021-08-24 cs.CV
3D Human Pose Perception from Egocentric Stereo Videos
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
针对第一人称视角自遮挡导致3D人体姿态估计不准的问题，提出融合场景深度特征与时序增强关节查询的transformer框架，同时发布两个更大规模的基准数据集，实验证明方法性能显著优于现有方案。
2024-05-15 cs.CV
EMHI: A Multimodal Egocentric Human Motion Dataset with HMD and Body-Worn IMUs
针对第一人称姿态估计中图像自遮挡和IMU漂移问题，本文提出首个融合HMD立体图像与身体IMU的真实VR多模态数据集EMHI，并设计基线方法MEPoser验证其有效性。
2025-11-06 cs.CV
FRAME: Floor-aligned Representation for Avatar Motion from Egocentric Video
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Google（谷歌）
针对第一人称视频运动捕捉的挑战，提出轻量级VR数据采集设置与FRAME架构，通过几何合理的多模态整合实现高帧率、高质量且具备强泛化能力的身体姿态预测。
2025-03-29 cs.CV
EgoCap: Egocentric Marker-less Motion Capture with Two Fisheye Cameras
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Intel Visual Computing Institute（英特尔视觉计算研究所）；University of Bath（巴斯大学）
基于标记和无标记的光学骨骼运动捕捉方法使用围绕场景放置的摄像机的由外向内布置，其中视点会聚在中心。他们经常会因可能需要的标记服而造成不适，并且他们的记录量受到严格限制，并且通常限于具有受控背景的室内场景。替代的基于套装的系统使用几个惯性测量单元或外骨骼来捕获运动。这使得捕获独立于有限体积，但需要大量的，通常是约束性的，并且难以设置身体仪器。因此，我们提出了一种新的方法，用于实时，无标记和以自我为中心的运动捕捉，估计全身骨骼姿态从一个轻量级的立体对鱼眼相机，连接到头盔或虚拟现实耳机。它结合了鱼眼视图的新生成姿态估计框架的优势，以及在大型新数据集上训练的基于ConvNet的身体部位检测器。我们的inside-in方法在一般的室内和室外场景中捕捉全身运动，以及附近有许多人的拥挤场景。被捕获的用户可以自由地四处移动，这使得能够重建更大规模的活动，并且在虚拟现实中特别有用，以自由地漫游和交互，同时看到完全运动捕获的虚拟身体。
2016-09-23 cs.CV
MECCANO: A Multimodal Egocentric Dataset for Humans Behavior Understanding in the Industrial-like Domain
University of Catania（卡塔尼亚大学）；Next Vision s.r.l.（Next Vision有限责任公司）
本文提出MECCANO多模态第一人称工业场景数据集，包含注视、深度和RGB数据，并围绕动作识别、主动物体检测、人-物交互检测、动作预测和下一主动物体检测五项任务构建基准，证明现有算法在该场景下仍面临挑战。
2022-09-19 cs.CV
Recognizing Activities of Daily Living with a Wrist-mounted Camera
The University of Tokyo（东京大学）
我们提出了一种新的数据集和一种新的算法，用于从第一人称可穿戴相机中识别日常生活活动（ADL）。处理对象是至关重要的自我中心的ADL识别。为了与环境中的其他对象分开地对与用户的动作相关的对象进行特定检查，许多先前的工作已经解决了从头戴式和胸戴式相机捕获的图像中的被处理对象的检测。然而，检测被处理的对象并不总是容易的，因为它们往往在图像中显得很小。它们可能被用户的身体遮挡。如本文所述，我们将相机安装在用户的手腕上。腕戴式摄像机可以大规模地捕获被处理的对象，因此它使我们能够跳过目标检测过程。为了比较腕戴式摄像头和头戴式摄像头，我们还开发了一个新颖的公开数据集，其中包括两个摄像头同时捕获的日常活动的视频和注释。此外，我们提出了一个有区别的视频表示，保留空间和时间信息编码后提取的卷积神经网络（CNN）的帧描述符。
2016-04-28 cs.CV
How You Move Your Head Tells What You Do: Self-supervised Video Representation Learning with Egocentric Cameras and IMU Sensors
Indiana University（印第安纳大学）；Facebook Reality Labs（脸书现实实验室）
从头戴式摄像机中了解用户的活动是增强和虚拟现实（AR/VR）应用的基本任务。典型的方法是使用由人类标记的数据以监督的方式训练分类器。由于昂贵的注释成本和活动标签的封闭覆盖，这种方法具有局限性。解决这些限制的一种潜在方法是使用自监督学习（SSL）。SSL不依赖于人工注释，而是利用数据的内在属性来学习表示。我们对学习以自我为中心的视频表示特别感兴趣，这些视频表示受益于用户日常活动产生的头部运动，这些头部运动可以很容易地从嵌入在AR/VR设备中的IMU传感器中获得。为了实现这个目标，我们提出了一个简单而有效的方法来学习视频表示学习告诉相应的视频剪辑和头部运动对。我们证明了我们的学习表示识别人和狗的自我中心活动的有效性。
2021-10-04 cs.CV
Estimating Egocentric 3D Human Pose in the Wild with External Weak Supervision
MPI Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；Facebook Reality Labs（Facebook现实实验室）
以自我为中心的3D人体姿态估计与一个单一的鱼眼相机最近引起了大量的关注。然而，现有的方法难以从野外图像中进行姿态估计，因为它们只能在合成数据上训练，这是由于大规模的野外自我中心数据集的不可用。此外，当身体部位被周围场景遮挡或与周围场景交互时，这些方法容易失败。为了解决野外数据短缺的问题，我们收集了一个大规模的野外自我中心数据集，称为野外自我中心姿势（Egocentric Poses in the Wild，EgoPW）。该数据集由头戴式鱼眼摄像头和辅助外部摄像头捕获，在训练期间从第三人称视角提供对人体的额外观察。我们提出了一种新的以自我为中心的姿态估计方法，该方法可以在弱外部监督的情况下在新数据集上进行训练。具体来说，我们首先生成伪标签的EgoPW数据集的时空优化方法，通过将外部视图的监督。然后，伪标签用于训练自我中心姿态估计网络。为了便于网络训练，我们提出了一种新的学习策略来监督自我中心的功能与高质量的特征提取的预训练的外部视图姿态估计模型。实验表明，我们的方法预测准确的3D姿态从一个单一的在野生自我中心的图像，并优于国家的最先进的方法在定量和定性。
2022-01-20 cs.CV
egoPPG: Heart Rate Estimation from Eye-Tracking Cameras in Egocentric Systems to Benefit Downstream Vision Tasks
Department of Computer Science, ETH Zürich（计算机科学系，苏黎世联邦理工学院）
提出egoPPG任务和PulseFormer方法，利用眼动摄像头和惯性测量单元估计心率，在EgoExo4D上提升熟练度估计14%，并发布代码、数据集和增强。
2025-08-06 cs.CV
Egocentric Whole-Body Human Mesh Recovery with Prior-Guided Learning
本文提出基于先验引导的学习框架，通过构造更准确的优化伪标签和多先验方法，提升第一人称全身体素恢复的精度，实验表明其优于现有方法。
2026-05-09 cs.CV
EgoM2P: Egocentric Multimodal Multitask Pretraining
ETH Zürich（苏黎世联邦理工学院）；Zhejiang University（浙江大学）；Microsoft（微软公司）
EgoM2P提出基于高效时间分词器和掩码建模的以自我为中心多模态多任务预训练框架，统一支持注视预测、相机跟踪、深度估计及视频合成，性能媲美专用模型且速度快一个数量级。
2026-11-05 cs.CV
Fish2Mesh Transformer: 3D Human Mesh Recovery from Egocentric Vision
Santa Clara University（圣克拉拉大学）
本文提出Fish2Mesh，一种基于鱼眼感知Transformer的第一人称三维人体网格恢复模型，通过第一人称位置嵌入、多任务SMPL回归和弱监督训练，在自遮挡和畸变条件下优于现有方法。
2025-03-08 cs.CV cs.RO
FlowAvatar: Real-Time Full-Body Avatars from Sparse Egocentric Inputs on Consumer XR Devices
Northwestern University（西北大学）；University of Chicago（芝加哥大学）；Google（谷歌）
FlowAvatar系统在消费级XR设备上通过稀疏自我中心输入实现实时全身个性化化身，其姿态模型在AMASS基准上精度与一致性优异，两项用户研究证实追踪完整性与个性化外观互补可提升具现化效果。
2026-10-14 cs.CV cs.HC
HoloAssist: an Egocentric Human Interaction Dataset for Interactive AI Assistants in the Real World
Microsoft（微软）；ETH Zurich（苏黎世联邦理工学院）
本文提出大规模第一视角双人交互数据集 HoloAssist，包含 166 小时多模态数据与动作、对话标注，并建立错误检测、介入预测和手部预测基准。
2023-09-29 cs.CV
Fast Registration of Photorealistic Avatars for VR Facial Animation
Stanford University（斯坦福大学）；Meta Reality Labs（元宇宙现实实验室）
针对VR面部动画中化身与头显图像间的域差距问题，提出迭代细化与域转移相互增强的配准系统，实现高质量在线配准并公开数据集。
2024-07-18 cs.AI cs.CV
Headset: Human emotion awareness under partial occlusions multimodal dataset
Technische Universität Berlin（柏林工业大学）；INRIA（法国国家信息与自动化研究所）；Tampere University（坦佩雷大学）；Ernst-Abbe University of Applied Sciences Jena（耶拿恩斯特·阿贝应用技术大学）
本文提出了一个多模态数据库HEADSET，包含部分遮挡下的体积数据，用于支持扩展现实应用中的面部表情分类、HMD移除和点云重建等任务。
2024-02-14 cs.CV
Scene-aware Egocentric 3D Human Pose Estimation
MPI Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；Meta Reality Labs（Meta现实实验室）；Google（谷歌）
针对头戴鱼眼相机下人体遮挡与人景交互导致的3D姿态估计难题，提出融合场景深度、体素表示与V2V回归的场景感知方法，并构建EgoGTA和EgoPW-Scene数据集，实现更准确且物理合理的姿态估计。
2023-09-25 cs.CV
COPILOT: Human-Environment Collision Prediction and Localization from Egocentric Videos
Stanford University（斯坦福大学）；NVIDIA Research（英伟达研究院）；The University of Hong Kong（香港大学）
从以自我为中心的观察中预测人类与环境碰撞的能力对于在VR、AR和可穿戴辅助机器人等应用中实现碰撞避免至关重要。在这项工作中，我们介绍了具有挑战性的问题，预测碰撞在不同的环境中，从多视角自我中心的视频从身体安装的摄像机。解决这个问题需要一个可推广的感知系统，该系统可以对哪些人体关节将发生碰撞进行分类，并估计碰撞区域热图以定位环境中的碰撞。为了实现这一点，我们提出了一个基于变换的模型称为COPILOT同时进行碰撞预测和定位，它通过一个新的4D时空视点注意力机制积累信息。为了训练我们的模型，使未来的研究这项任务，我们开发了一个合成数据生成框架，产生自我为中心的视频虚拟人移动和碰撞在不同的3D环境。然后使用该框架建立由8.6M自我中心RGBD帧组成的大规模数据集。大量的实验表明，COPILOT推广到看不见的合成以及现实世界的场景。我们进一步证明COPILOT输出是有用的下游碰撞避免通过简单的闭环控制。请访问我们的项目网页https://sites.google.com/stanford.edu/copilot。
2023-03-26 cs.CV cs.RO
Geometry-Aware Video Inpainting for Joint Headset Occlusion Removal and Face Reconstruction in Social XR
Technische Universität Berlin（柏林技术大学）；Tampere University（塔尔库大学）；HTW Berlin（柏林应用技术大学）
本文提出一种几何感知的视频修复框架，结合GAN修复网络、密集关键点引导与SynergyNet的3DMM回归，从单视点RGB视频中联合移除HMD遮挡并重建逼真的3D人脸几何，实验验证了其有效性与对关键点密度的鲁棒性。
2025-08-17 cs.CV
Event-based Egocentric Human Pose Estimation in Dynamic Environment
Keio University（庆应义塾大学）；JST Presto（日本科学技术振兴机构先驱计划）
提出基于事件相机的自我中心人体姿态估计新任务及首个框架D-EventEgo，通过运动分割模块去除动态物体干扰，在合成数据集的五项指标中四项优于基线。
2025-05-28 cs.CV
