3D-Aware Instance Segmentation and Tracking in Egocentric Videos
University of Oxford（牛津大学）；NAVER LABS Europe（NAVER欧洲实验室）
本文提出一种融合场景几何、3D质心跟踪与实例分割的第一人称视频3D感知方法，在EPIC Fields上显著提升跟踪与分割一致性，并支持3D重建等下游任务。
2024-11-20 cs.AI cs.CV cs.LG
Small Object Detection for Near Real-Time Egocentric Perception in a Manual Assembly Scenario
SmartFactory-KL（凯泽斯劳滕智能工厂）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
近实时的【形】检测头戴式增强现实设备的视频流中的小对象是一个巨大的挑战：训练数据通常是稀缺的，输入视频流的质量可能是有限的，并且小对象是众所周知的难以检测。然而，在工业场景中，通常可以利用上下文知识来检测小物体。此外，对象的CAD数据通常是可用的，并且可以用于生成合成训练数据。我们描述了一个近实时的【形】的小型目标检测管道，用于手动装配场景中的自我中心感知：我们基于Unity中的CAD数据和现实背景生成训练数据集。然后，我们训练一个YOLOv4模型进行两阶段的检测过程：首先，识别上下文，然后检测感兴趣的小对象。我们在增强现实设备Microsoft Hololens 2上评估我们的管道。
2021-06-11 cs.AI cs.CV cs.HC
Occlusion Handling using Semantic Segmentation and Visibility-Based Rendering for Mixed Reality
The University of Tokyo（东京大学）
在室外混合现实系统中，由于场景的复杂性，实时遮挡处理需要很大的计算量，是一个主要的问题。仅使用分割，这是很难准确地渲染一个虚拟物体遮挡的复杂对象，如树木，灌木丛等，在本文中，我们提出了一种新的遮挡处理方法，实时，室外，全方位的混合现实系统，只使用从单目图像序列的信息。首先，我们提出了一个语义分割计划预测量的可见性为不同类型的对象在场景中。我们还同时计算前景概率图使用深度估计从光流。最后，我们结合分割结果和概率图，使用基于概率的绘制方法绘制计算机生成的对象和真实场景。我们的研究结果表明，在处理闭塞相比，现有的混合为基础的方法有很大的改善。
2017-07-30 cs.CV
Scene-aware Egocentric 3D Human Pose Estimation
MPI Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；Meta Reality Labs（Meta现实实验室）；Google（谷歌）
针对头戴鱼眼相机下人体遮挡与人景交互导致的3D姿态估计难题，提出融合场景深度、体素表示与V2V回归的场景感知方法，并构建EgoGTA和EgoPW-Scene数据集，实现更准确且物理合理的姿态估计。
2023-09-25 cs.CV
EgoCast: Forecasting Egocentric Human Pose in the Wild
Universidad de Los Andes（安第斯大学）；Google DeepMind（谷歌DeepMind）
本文提出双模态方法 EgoCast，融合第一人称视频与本体感受数据预测 3D 人体姿态，并通过当前帧估计模块生成伪真值，在 Ego-Exo4D 等基准上显著超越现有方法。
2024-12-03 cs.CV
EgoInteract: Synthetic Egocentric Videos Generation for Interaction Understanding and Anticipation
Department of Mathematics and Computer Science, University of Catania（卡塔尼亚大学数学与计算机科学系）；Next Vision s.r.l.（Next Vision公司）；Reality Labs Research, Meta（Meta现实实验室）
提出EgoInteract可控模拟器，生成带密集时空标注的合成自我中心视频，用于动作分割、下一活动物体检测、交互预测和手物交互检测，在多个真实基准上提升性能。
2026-05-22 cs.CV
Navigation-Oriented Scene Understanding for Robotic Autonomy: Learning to Segment Driveability in Egocentric Images
Aalborg University（奥尔堡大学）
这项工作解决了室外机器人导航的场景理解，仅依赖于车载摄像机捕获的图像。传统的视觉场景理解基于特定的描述类别来解释环境。然而，这样的表示是不能直接解释的决策和约束机器人操作到一个特定的域。因此，我们建议分段自我中心的图像直接在机器人如何可以在他们导航，并定制的学习问题，自主导航任务。围绕图像分割网络，我们提出了一个通用的启示，包括3个驾驶性能水平，可广泛适用于城市和越野场景。通过使用软序数标签对这些级别进行编码，我们在学习过程中结合了类间距离，与标准的“硬”独热标签相比，这改善了分割。此外，我们提出了一种面向导航的像素级损失加权方法，该方法赋予安全关键区域更高的重要性。我们评估了我们的方法对大规模的公共图像分割数据集，从阳光明媚的城市街道到积雪的森林小径。在跨数据集泛化实验中，我们表明，我们的启示学习方案可以应用于各种数据集的混合，并与通用的单数据集分割相比，提高了在看不见的环境中的驾驶性能估计。
2022-01-23 cs.CV cs.RO
Analysis of Hand Segmentation in the Wild
Center for Research in Computer Vision, University of Central Florida（中佛罗里达大学计算机视觉研究中心）
在自我中心视觉中，大量的工作集中在动作和物体识别上。然而，第一人称视频中的手的检测和分割却很少被探索。对于该领域中的许多应用，不仅需要准确地分割相机佩戴者的手，而且还需要准确地分割与他交互的其他人的手。在这里，我们深入研究手部分割问题。在寻求稳健的手部分割方法的过程中，我们评估了现有数据集上最先进的语义分割方法的性能。我们微调了RefineNet，一种领先的语义分割方法，用于手部分割，发现它比最好的竞争者要好得多。现有的手部分割数据集在实验室环境中收集。为了克服这一限制，我们收集了两个新的数据集：a）EgoYouTubeHands，包括以自我为中心的视频，其中包含野外的手，以及b）HandOverFace，以分析我们的模型在存在类似外观遮挡的情况下的性能。我们进一步探讨条件随机场是否可以帮助完善生成的手分割。为了证明准确的手部地图的好处，我们训练了一个CNN用于基于手部的活动识别，并在使用微调的RefineNet产生的手部地图训练CNN时实现了更高的准确性。最后，我们对EgoHands数据集的一个子集进行了注释，以进行细粒度动作识别，并表明只需查看一个手部姿势就可以实现58.6%的准确率，这远远优于机会水平（12.5%）。
2018-03-28 cs.CV
ROAD: Reality Oriented Adaptation for Semantic Segmentation of Urban Scenes
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
近年来，利用合成数据来学习深度模型引起了越来越多的关注。然而，合成图像和真实图像之间的固有域差异通常会导致将学习模型应用于真实世界场景时的显着性能下降。这主要是由于两个原因：1）模型过拟合到合成图像，使得卷积滤波器不能为真实图像提取信息表示; 2）合成数据和真实数据之间存在分布差异，这也被称为领域自适应问题。为此，我们提出了一种新的面向现实的适应方法，通过学习合成数据的城市场景语义分割。首先，我们提出了一种目标引导的蒸馏方法来学习真实的图像风格，这是通过训练分割模型来模仿使用真实图像的预训练真实风格模型来实现的。其次，我们进一步利用城市场景图像的内在空间结构，并提出了一个空间感知的自适应方案，以有效地对齐两个域的分布。这两个模块可以很容易地与现有的最先进的语义分割网络集成，以提高其泛化能力时，从合成到真实的城市场景。通过对GTAV和SYNTHIA数据集的调整，我们在Cityscapes数据集上对所提出的方法进行了评估，结果表明了我们方法的有效性。
2018-04-07 cs.CV
Event-based Egocentric Human Pose Estimation in Dynamic Environment
Keio University（庆应义塾大学）；JST Presto（日本科学技术振兴机构先驱计划）
提出基于事件相机的自我中心人体姿态估计新任务及首个框架D-EventEgo，通过运动分割模块去除动态物体干扰，在合成数据集的五项指标中四项优于基线。
2025-05-28 cs.CV
Future Localization from an Egocentric Depth Image
University of Pennsylvania（宾夕法尼亚大学）
本文提出了一种未来的定位方法：预测一组合理的轨迹的自我运动给定的深度图像。我们预测避开障碍物的路径，物体之间的路径，甚至是绕过拐角进入物体后面的空间的路径。作为自我运动的预测轨迹的副产品，我们在图像中发现了被前景物体遮挡的空白空间。该算法不使用基于图像的特征，如语义标记/分割或目标检测/识别。受几何学的启发，我们使用EgoSpace地图来表示人周围的空间，类似于图示的旅游地图，该地图测量了以自我为中心的坐标系中的遮挡可能性。自我运动的未来轨迹是由紧凑的轨迹基地，使我们能够约束预测的轨迹的线性组合建模。我们从EgoMotion数据集学习EgoSpace地图和轨迹之间的关系，提供未来轨迹的原位测量。考虑到由于前景对象引起的部分遮挡的成本函数被最小化以预测轨迹。这个代价函数生成一个穿过被遮挡空间的轨迹，这使我们能够发现前景对象后面的空白空间。我们定量评估我们的方法，以显示预测的有效性，并适用于各种现实世界的场景，包括步行，购物和社交互动。
2015-09-07 cs.CV
Towards Stable Self-Supervised Object Representations in Unconstrained Egocentric Video
本文提出EgoViT框架，通过三种协同机制学习稳定物体表示，提升无监督物体发现和语义分割性能。
2026-03-14 cs.CV
Real Time Egocentric Object Segmentation: THU-READ Labeling and Benchmarking Results
Nokia Bell-Labs（诺基亚贝尔实验室）
自我中心分割由于其在混合现实（MR）应用中的潜力，最近引起了计算机视觉界的兴趣。虽然大多数以前的作品都集中在分割以自我为中心的人体部位（主要是手），很少有人注意到以自我为中心的对象。由于缺乏以自我为中心的对象的像素级注释的数据集，在本文中，我们贡献了一个从RGB-D THU-READ数据集的2124个图像的子集的语义标记。我们还报告了使用Thundernet的基准测试结果，Thundernet是一种实时语义分割网络，可以允许未来与端到端MR应用程序集成。
2021-06-09 cs.CV
Hand-Priming in Object Localization for Assistive Egocentric Vision
University of Maryland, College Park（马里兰大学帕克分校）
以自我为中心的视觉为增加视觉信息的获取和改善视觉障碍人群的生活质量带来了巨大的希望，物体识别是这一人群的日常挑战之一。虽然我们努力提高识别性能，但仍然很难识别用户感兴趣的对象;由于没有视觉反馈的相机瞄准的挑战，对象甚至可能不包括在帧中。此外，通常用于推断自我中心视觉中的感兴趣区域的注视信息通常是不可靠的。然而，盲人用户通常倾向于包括他们的手，或者与他们希望识别的对象交互，或者简单地将其放置在附近以更好地进行相机瞄准。我们提出了本地化模型，利用存在的手作为上下文信息启动感兴趣的对象的中心区域。在我们的方法中，手部分割被馈送到整个定位网络或其最后的卷积层。使用以自我为中心的数据集从视力和盲人，我们表明，手启动实现更高的精度比其他方法，如微调，多类，多任务学习，这也编码手物体的相互作用在本地化。
2020-02-28 cs.CV cs.HC
Enhanced Self-Perception in Mixed Reality: Egocentric Arm Segmentation and Database with Automatic Labelling
Nokia Bell Labs Spain（西班牙诺基亚贝尔实验室）；Universidad Autonoma de Madrid（马德里自治大学）
在这项研究中，我们专注于自我为中心的手臂分割，以提高增强虚拟（AV）中的自我感知。这项工作的主要贡献是：i）AV分割算法的全面调查; ii）自我中心手臂分割数据集，由超过10，000张图像组成，包括肤色和性别等的变化。我们提供了自动生成地面实况和半合成图像所需的所有细节; iii）首次使用深度学习在AV中分割手臂; iv）为了展示这个数据库的有用性，我们报告了不同的真实自我中心手部数据集的结果，包括GTEA Gaze+，EDSH，EgoHands，Ego Youtube Hands，THU-Read，TEgO，FPAB和Ego Gesture，其允许与利用颜色或深度的现有方法进行直接比较。结果证实了EgoArm数据集对于这项任务的适用性，根据特定的数据集，相对于原始网络实现了高达40%的改进。结果还表明，虽然基于颜色或深度的方法可以在受控条件下工作（缺乏遮挡，均匀照明，仅在近距离内感兴趣的对象，受控背景等），基于深度学习的以自我为中心的分割在实际AV应用中更鲁棒。
2020-03-27 cs.CV
O-MaMa: Learning Object Mask Matching between Egocentric and Exocentric Views
O-MaMa将跨视角分割重构为掩码匹配任务，结合掩码上下文编码器、交叉注意力与对比损失，在Ego-Exo4D基准上以极低参数实现最先进性能。
2025-09-24 cs.CV
Applying Deep Learning for cockpit segmentation in the context of mixed reality
Laboratdrio de Robética, sistemas inteligentes e Complezos - RobSIC（机器人、智能系统与复杂性实验室 - RobSIC）；Instituto de Ciências Tecnoldgicas Universidade Federal de Itajubd, Campus Itabira, MG（科技学院 巴西联邦大学它雅布德分校，伊塔比拉校区，马里兰）；Universidade Tecnológica Federal do Parand - UTFPR, Campus Pato Branco/PR（帕托布兰科/PR技术联邦大学 - UTFPR）
本文提出利用U-net和DeepLabV3+卷积神经网络对驾驶舱图像进行前景与背景分割，以促进混合现实中的虚实融合，实现了约90%的准确率。
2026-06-02 cs.CV cs.GR
Fine-Grained Egocentric Hand-Object Segmentation: Dataset, Model, and Applications
University of Pennsylvania（宾夕法尼亚大学）；Toyota Research Institute（丰田研究所）
以自我为中心的视频为人类行为的高保真建模提供了细粒度的信息。手和交互对象是理解观众行为和意图的一个关键方面。我们提供了一个标记的数据集，由11，243个以自我为中心的图像组成，每个像素都有手和物体的分割标签，这些图像在各种日常活动中进行交互。我们的数据集是第一个标记详细的手-物体接触边界的数据集。我们引入了一个上下文感知的组成数据增强技术，以适应外的分布YouTube自我为中心的视频。我们表明，我们强大的手对象分割模型和数据集可以作为一个基础工具，以提高或使几个下游的视觉应用，包括手状态分类，视频活动识别，3D网格重建的手对象的相互作用，和视频修复的手对象前景在以自我为中心的视频。数据集和代码可在https://github.com/owenzlz/EgoHOS上获得
2022-08-07 cs.CV
Real-time Egocentric Gesture Recognition on Mobile Head Mounted Displays
Google Inc.（谷歌公司）
移动虚拟现实（VR）盔装显示器（HMD）近年来在消费者中变得流行。在这项工作中，我们展示了实时的自我为中心的手势检测和定位移动头戴式显示器。我们的主要贡献是：1）一种新颖的混合现实数据汇集工具，用于自动注释边界框和手势标签; 2）迄今为止最大的以自我为中心的手势和限界框数据集，具有超过400，000个注释帧; 3）一个神经网络，在现代移动CPU上实时的运行，并在8个类别的手势识别上实现高于76%的精度。
2017-12-13 cs.CV
R-Clustering for Egocentric Video Segmentation
Universitat de Barcelona（巴塞罗那大学）；University of Groningen（格罗宁根大学）；Computer Vision Center（计算机视觉中心）
在本文中，我们提出了一种新的方法，自我为中心的视频时间分割的基础上整合的统计均值变化检测器和凝聚聚类（AC）内的能量最小化框架。鉴于大多数AC方法的趋势，过度分割视频序列时，聚类他们的帧，我们结合了聚类的概念漂移检测技术（ADWIN），具有严格的性能保证。ADWIN作为基于聚类的视频分割的统计上界。我们将这两种技术集成在一个能量最小化框架中，该框架用于消除这两种技术的决策的歧义，并考虑到视频帧描述符的时间连续性来完成分割。我们目前的实验超过13.000个图像采集与不同的可穿戴相机的自我中心集，表明我们的方法优于国家的最先进的聚类方法。
2017-04-10 cs.CV
REFA: Real-time Egocentric Facial Animations for Virtual Reality
Reality Labs at Meta（Meta 实验室）
REFA通过基于蒸馏的方法实现虚拟现实中的实时面部表情跟踪，利用异构数据训练模型，提升虚拟角色表达的非侵入性与准确性。
2026-01-07 cs.CV
An Intelligent Passive Food Intake Assessment System with Egocentric Cameras
Imperial College London（伦敦帝国理工学院）；Shanghai Jiao Tong University（上海交通大学）
营养不良是低收入和中等收入国家的一个主要公共卫生问题。了解社区、家庭和个人的食物和营养摄入量对于制定卫生政策和干预措施至关重要。为了简化进行大规模饮食评估的程序，我们建议通过以自我为中心的摄像机，特别是在加纳和乌干达的家庭实施一个智能被动食物摄入量评估系统。首先设计算法去除冗余图像以最小化存储内存。在运行时间，应用基于深度学习的语义分割来识别多种食物类型，并提取新设计的手工特征以进一步监测消耗的食物重量。进行了全面的实验，以验证我们的方法在野外数据集下捕获的设置，模拟独特的LMIC条件下，加纳和肯尼亚的参与者吃常见的加纳/肯尼亚菜。为了证明其有效性，经验丰富的营养师参与了这项研究，以执行视觉部分大小估计，并将他们的预测与我们提出的方法进行比较。令人鼓舞的结果表明，我们的方法能够可靠地监测食物摄入量，并对用户的饮食行为提供反馈，为营养师定期进行饮食评估提供指导。
2021-05-07 cs.AI cs.CV
Unsupervised Segmentation of Action Segments in Egocentric Videos using Gaze
Universiti Teknologi Malaysia（马来西亚理工大学）；Universiti Malaysia Sarawak（马来西亚砂拉越大学）
在以自我为中心的视频中，对动作片段进行无监督分割是诸如活动识别和基于内容的视频检索等任务中的理想特征。将搜索空间减少为动作段的有限集合有助于更快且噪声更少的匹配。然而，在连续的人类活动过程中，机器对自然时间切割的理解存在很大的差距。这项工作报告了一种新的凝视为基础的方法，用于分割使用自我中心的摄像机捕获的视频中的动作片段。凝视用于定位帧内的感兴趣区域。通过跟踪两个简单的基于运动的参数内连续的区域的兴趣，我们发现了一个有限的时间削减。我们提出了几个结果，使用组合（两个参数）的数据集，即，BRISGAZE-ACTIONS.该数据集包含以自我为中心的视频，描述了几种日常生活活动。通过实施两个熵度量，进一步提高了时间切割的质量。
2021-06-23 cs.CV
A Semi-Automated Method for Object Segmentation in Infant's Egocentric Videos to Study Object Perception
University of Houston（休斯顿大学）
婴儿自我中心视频中的对象分割是研究儿童在早期发展阶段如何感知对象的基本步骤。从计算机视觉的角度来看，在这样的视频中的对象分割提出了相当多的挑战，因为儿童的视图是未聚焦的，通常具有大的头部运动，影响儿童的视角的突然变化，这导致对象属性（诸如大小、形状和照明）的频繁变化。在本文中，我们开发了一种半自动的、特定于领域的方法来解决这些问题，并为认知科学家提供对象注释过程，使他们能够选择和监控分割下的对象。该方法从用户对所需对象的注释开始，并采用图割分割和光流计算来自动预测后续视频帧的对象掩模。为了保持准确性，我们使用特定领域的启发式规则重新初始化程序与新的用户输入时，对象属性发生显着变化。评价表明，所提出的方法的速度和准确性高的对象分割在大量的自我中心的视频。我们应用所提出的方法来调查潜在的模式，在儿童的观点，在进步的年龄对象分布。
2016-02-08 cs.CV
EgoLifter: Open-world 3D Segmentation for Egocentric Perception
University of Toronto（多伦多大学）；Meta Reality Labs（元现实实验室）
本文提出EgoLifter系统，采用3D Gaussians和SAM掩码弱监督实现自我中心视角的开放世界3D物体实例分割，并设计瞬态模块滤除动态物体，在Aria Digital Twin基准上达到SOTA。
2024-07-22 cs.CV
Ego2Hands: A Dataset for Egocentric Two-hand Segmentation and Detection
Brigham Young University（杨百翰大学）；Adobe Research（Adobe 研究院）
在真正不受约束的基于RGB的设置中的手部分割和检测对于许多应用是重要的。然而，现有的数据集是远远不够的大小和品种，由于大量的分割和检测数据的手动注释的不可行性。因此，目前的方法受到许多基本假设的限制，如受约束的环境，一致的肤色和照明。在这项工作中，我们提出了Ego 2 Hands，一个大规模的基于RGB的自我中心的手分割/检测数据集，是半自动注释和颜色不变的合成为基础的数据生成技术，能够创建训练数据与大量和品种。对于定量分析，我们手动注释了一个在数量、多样性和注释准确性方面显著超过现有基准的评估集。我们提供了跨数据集评估以及对Ego 2 Hands上最先进模型的性能进行了全面分析，以表明我们的数据集和数据生成技术可以生成泛化到看不见的环境的模型，而无需领域自适应。
2021-12-20 cs.CV
Synchronization is All You Need: Exocentric-to-Egocentric Transfer for Temporal Action Segmentation with Unlabeled Synchronized Video Pairs
University of Catania（卡塔尼亚大学）；Next Vision s.r.l.（Next Vision有限责任公司）；University of Nottingham（诺丁汉大学）
提出利用无标注同步外向-内向视频对，通过知识蒸馏将外向时间动作分割模型迁移至内向场景，无需内向标签，在Assembly101和EgoExo4D上显著提升编辑分数。
2024-07-16 cs.CV
SEER-VAR: Semantic Egocentric Environment Reasoner for Vehicle Augmented Reality
针对第一人称车载增强现实，提出SEER-VAR框架，通过语义分解、上下文感知SLAM分支及LLM推荐动态分离座舱与道路场景，引入EgoSLAM-Drive数据集，提升空间对齐与AR渲染效果，增强场景理解与驾驶体验。
2025-08-24 cs.CV cs.RO
Generative Adversarial Network for Future Hand Segmentation from Egocentric Video
Georgia Institute of Technology（佐治亚理工学院）
我们介绍了新的问题，预计未来的手面具从自我中心的视频的时间序列。一个关键的挑战是对未来头部运动的随机性进行建模，这在全球范围内影响头戴式摄像机视频分析。为此，我们提出了一种新的深度生成模型--Ego GAN，它使用3D全卷积网络来学习用于像素级视觉预测的时空视频表示，使用生成对抗网络（GAN）生成未来的头部运动，然后基于视频表示和生成的未来头部运动预测未来的手部蒙版。我们评估我们的方法在EPIC-Kitterfly和EGTEA Gaze+数据集上。我们进行详细的消融研究，以验证我们的方法的设计选择。此外，我们比较我们的方法与以前的国家的最先进的方法对未来的图像分割，并表明我们的方法可以更准确地预测未来的手面具。
2022-07-20 cs.CV
Enhancing Transformer Backbone for Egocentric Video Action Segmentation
Northeastern University（东北大学）
本文提出双重膨胀注意力机制和编码器-解码器交叉连接增强Transformer主干，结合视觉-语言表示学习，在GTEA和HOI4D数据集上提升了自我中心视频动作分割性能。
2023-05-23 cs.CV
SHARP: Segmentation of Hands and Arms by Range using Pseudo-Depth for Enhanced Egocentric 3D Hand Pose Estimation and Action Recognition
TU Wien（维也纳技术大学）；University of Bristol（布里斯托尔大学）
本研究提出仅用RGB帧结合伪深度的SHARP方法分割场景无关部分，在H2O数据集上实现91.73%的动作识别准确率，姿态误差28.66mm，无需深度传感器即可提升自我中心3D手部姿态估计与动作识别性能。
2024-08-19 cs.CV
CaRe-Ego: Contact-aware Relationship Modeling for Egocentric Interactive Hand-object Segmentation
Department of Electrical and Electronic Engineering, The Hong Kong Polytechnic University（电气与电子工程系，香港理工大学）
CaRe-Ego通过手引导物体特征增强器和以接触为中心的物体解耦策略，显式建模手物接触关系并解耦物体类别耦合，在域内外测试中显著提升自我中心手物分割性能。
2025-05-05 cs.CV
Bending Reality: Distortion-aware Transformers for Adapting to Panoramic Semantic Segmentation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；ByteDance Inc.（字节跳动公司）；Carl Zeiss AG（卡尔·蔡司股份公司）
具有360度方向视图的全景图像包含关于周围空间的详尽信息，为场景理解提供了丰富的基础。为了以强大的全景分割模型的形式展现这种潜力，大量昂贵的像素级注释对于成功至关重要。这样的注释是可用的，但主要用于窄角度的针孔相机图像，这些图像是现成的，用作训练全景模型的次优资源。360度全景图中的失真和独特的图像特征分布阻碍了从注释丰富的针孔域的传输，因此在性能上有很大的影响。为了解决这个领域的差异，并将针孔和360度环绕视觉的语义注释结合在一起，我们建议在可变形补丁嵌入（DPE）和可变形MLP（DMLP）组件中学习对象变形和全景图像失真，这些组件融入我们的PAnoramic语义分割（trans4PASS）模型的Transformer。最后，我们通过生成多尺度原型特征并将它们对齐到我们的互原型自适应（MPA）中以进行无监督领域自适应，将针孔和全景特征嵌入中的共享语义联系在一起。在室内Stanford2D3D数据集上，我们的带MPA的Trans4PASS保持了与完全监督的最先进技术相当的性能，减少了对1，400多个标记的数据集的需求。在室外DensePASS数据集上，我们打破了14.39% mIoU的最新水平，并将新标准设置为56.38%。代码将在https://github.com/jamycheung/Trans4PASS上公开。
2022-03-17 cs.CV cs.RO eess.IV
Robust Egocentric Photo-realistic Facial Expression Transfer for Virtual Reality
Facebook Reality Labs（Facebook现实实验室）；Imperial College London（伦敦帝国理工学院）；Carnegie Mellon University（卡内基梅隆大学）
社交存在，即与真人在一起的感觉，将推动由虚拟现实（VR）中的数字人驱动的下一代通信系统。最好的3D视频逼真的VR化身，最大限度地减少了神秘的效果依赖于个人特定（PS）模型。然而，这些PS模型的构建非常耗时，并且通常使用有限的数据可变性进行训练，这导致泛化能力和鲁棒性较差。影响面部表情转移算法准确性的主要可变性来源包括使用不同的VR头戴设备（例如，照相机配置、头戴式耳机的倾斜度），面部外观随时间的变化（例如，胡须、化妆），以及环境因素（例如，照明、背景）。这是VR中这些模型可扩展性的主要缺点。本文通过提出一种经过专门增强策略训练的端到端多身份架构（MIA），在克服这些限制方面取得了进展。MIA在未经训练的受试者中使用最少的个性化信息（即，中性3D网格形状）。类似地，如果PS纹理解码器可用，则MIA能够在具有挑战性的场景中稳健地驱动完整的化身（形状+纹理），从而优于PS模型。我们对提高鲁棒性和泛化的关键贡献在于，我们的方法以无监督的方式隐式地将面部表情与滋扰因素（例如，耳机、环境、面部外观）。我们证明了优越的性能和鲁棒性的所提出的方法与国家的最先进的PS方法在各种实验。
2022-07-04 cs.CV
EgoSplat: Open-Vocabulary Egocentric Scene Understanding with Language Embedded 3D Gaussian Splatting
Xidian University（西安电子科技大学）；Sun Yat-sen University（中山大学）
本文提出EgoSplat框架，结合SAM2多视图实例特征聚合与时空瞬态预测，在开放词汇第一人称场景理解的定位和分割任务上取得新SOTA。
2025-03-14 cs.CV
Ego-METAS: Egocentric online Multimodal Energy-efficient Temporal Action Segmentation benchmark
University of Zaragoza - I3A（萨拉戈塔大学 - I3A）；Department of Mathematics and Computer Science, University of Catania（卡塔尼亚大学数学与计算机科学系）
为解决资源受限设备上的能耗感知问题，提出了首个自我中心在线多模态节能时间动作分割基准Ego-METAS，包含超过100小时未裁剪视频和5种模态，要求模型动态选择传感器并遵守能量预算，评估显示最优路由高度依赖场景，现有方法难以适应连续环境。
2026-05-29 cs.CV
SR-Clustering: Semantic Regularized Clustering for Egocentric Photo Streams Segmentation
Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；University of Groningen（格罗宁根大学）；Imagga Technologies Ltd（Imagga技术有限公司）；Digital Spaces Living Lab（数字空间生活实验室）
虽然可穿戴相机变得越来越流行，但在以自我为中心的图像的大型非结构化集合中定位相关信息仍然是一个繁琐且耗时的过程。本文讨论了组织自我中心的照片流可穿戴式摄像机采集到语义有意义的片段的问题。首先，通过采用卷积神经网络方法为每个图像提取上下文和语义信息。之后，通过整合语言处理，在语义空间中定义概念词汇。最后，通过利用照片流中的时间相干性，共享上下文和语义属性的图像被分组在一起。由此产生的时间分割特别适合于进一步的分析，从活动和事件识别到语义索引和摘要。在以自我为中心的近17,000幅图像集上的实验表明，该方法优于最先进的方法。
2016-10-17 cs.AI cs.CV
EgoPoseVR: Spatiotemporal Multi-Modal Reasoning for Egocentric Full-Body Pose in Virtual Reality
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）
EgoPoseVR通过融合头戴设备运动信息与中心RGB-D观测，实现了在虚拟现实中的准确全身姿态跟踪，提高了姿态估计的准确性和稳定性。
2026-02-05 cs.CV cs.ET cs.GR
Is Tracking really more challenging in First Person Egocentric Vision?
University of Udine（乌迪内大学）；York University（约克大学）
针对现有研究认为第一人称自我中心视觉跟踪更具挑战但评估场景差异大的问题，该研究提出新型基准测试以分离视角与人-物活动领域的影响，明确难点来源以推动任务发展。
2025-07-21 cs.CV
EgoSurgery-HTS: A Dataset for Egocentric Hand-Tool Segmentation in Open Surgery Videos
Keio University（庆应义塾大学）；Keio University School of Medicine（庆应义塾大学医学院）
本研究推出带有像素级标注的EgoSurgery-HTS数据集及基准套件，覆盖14种手术工具、手部及手-工具三类分割任务，经评估可显著提升第一视角开放手术视频的相关分割准确率。
2025-03-24 cs.AI cs.CV cs.LG
EgoHieraLoc: A Cortically Inspired Hierarchical Segmentation-Guided Framework for Egocentric Visual Query Localization
Dalian University of Technology（大连理工大学）；University of International Business and Economics（对外经济贸易大学）；Jinan University（暨南大学）
该研究提出受人类视觉分层机制启发的EgoHieraLoc框架，含判别解析等三个模块及GSJC，在VQL-2D和VQL-3D基准上实现最优视觉查询定位性能。
2026-08-11 cs.CV
Layered Motion Fusion: Lifting Motion Segmentation to 3D in Egocentric Videos
Visual Geometry Group University of Oxford（视觉几何组牛津大学）；NAVER LABS Europe（NAVER欧洲实验室）
针对第一人称视频中动态场景3D分割失效问题，提出将2D运动分割预测融合进分层辐射场，并辅以测试时细化，显著提升分割精度。
2025-06-22 cs.CV
Memory Storyboard: Leveraging Temporal Segmentation for Streaming Self-Supervised Learning from Egocentric Videos
New York University（纽约大学）
针对第一人称视角视频流的自监督学习问题，受人类事件分割机制启发提出Memory Storyboard框架，通过双层记忆层次进行时间分段与回放，显著提升了无监督持续学习的表示性能。
2025-08-11 cs.CV cs.LG
Gesture-based Bootstrapping for Egocentric Hand Segmentation
Carnegie Mellon University（卡内基梅隆大学）；Michigan State University（密歇根州立大学）
准确识别图像中的手是可穿戴第一人称视点相机人类活动理解的关键子任务。传统的手部分割方法依赖于大量的手动标记数据来生成鲁棒的手部检测器。然而，这些方法仍然面临挑战，因为手的外观在用户、任务、环境或照明条件之间变化很大。在许多可穿戴应用和接口的情况下，关键的观察结果是，仅需要在特定的情境上下文中准确地检测用户的手。基于这一观察，我们引入了一个交互式的方法来学习一个人特定的手分割模型，不需要任何手动标记的训练数据。我们的方法分为两个步骤，一个互动的自举步骤识别移动的手区域，然后学习个性化的用户特定的手外观模型。具体地说，我们的方法使用两个卷积神经网络：（1）手势网络，使用预定义的运动信息来检测手区域;和（2）外观网络，根据手势网络的输出来学习手区域的人特定模型。在训练期间，为了使外观网络对手势网络中的错误鲁棒，前一网络的损失函数在学习时并入手势网络的置信度。实验证明了我们的方法的鲁棒性，在所有具有挑战性的数据集上的F1得分超过0.8，在广泛的照明和手部外观变化范围内，比基线方法提高了10%以上。
2018-06-11 cs.CV
EgoCap: Egocentric Marker-less Motion Capture with Two Fisheye Cameras
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Intel Visual Computing Institute（英特尔视觉计算研究所）；University of Bath（巴斯大学）
基于标记和无标记的光学骨骼运动捕捉方法使用围绕场景放置的摄像机的由外向内布置，其中视点会聚在中心。他们经常会因可能需要的标记服而造成不适，并且他们的记录量受到严格限制，并且通常限于具有受控背景的室内场景。替代的基于套装的系统使用几个惯性测量单元或外骨骼来捕获运动。这使得捕获独立于有限体积，但需要大量的，通常是约束性的，并且难以设置身体仪器。因此，我们提出了一种新的方法，用于实时，无标记和以自我为中心的运动捕捉，估计全身骨骼姿态从一个轻量级的立体对鱼眼相机，连接到头盔或虚拟现实耳机。它结合了鱼眼视图的新生成姿态估计框架的优势，以及在大型新数据集上训练的基于ConvNet的身体部位检测器。我们的inside-in方法在一般的室内和室外场景中捕捉全身运动，以及附近有许多人的拥挤场景。被捕获的用户可以自由地四处移动，这使得能够重建更大规模的活动，并且在虚拟现实中特别有用，以自由地漫游和交互，同时看到完全运动捕获的虚拟身体。
2016-09-23 cs.CV
TouchInsight: Uncertainty-aware Rapid Touch and Text Input for Mixed Reality from Egocentric Vision
Meta Reality Labs（元宇宙实验室）；ETH Zürich（苏黎世联邦理工学院）；Department of Computer Science（计算机科学系）
针对混合现实中头戴相机触摸输入检测不准的问题，提出TouchInsight实时流水线，用带不确定性建模的神经网络实现十指触摸精准检测，离线定位误差6.3mm，在线双手打字达37词/分钟、错误率2.9%。
2024-10-08 cs.CV cs.HC
Predicting the Future from First Person (Egocentric) Vision: A Survey
University of Catania（卡塔尼亚大学）；Philips Research（飞利浦研究院）
以自我为中心的视频可以带来大量关于人类如何感知世界和与环境交互的信息，这对于分析人类行为是有益的。由于可穿戴设备的日益普及以及新的大规模自我中心数据集提供的机会，自我中心视频分析的研究正在迅速发展。随着计算机视觉技术继续以越来越快的速度发展，与预测未来相关的任务开始从理解现在的需要发展。预测未来人类活动、轨迹和与物体的交互在诸如人机交互、工业和日常生活场景的辅助可穿戴技术、娱乐和虚拟或增强现实等应用中至关重要。这项调查总结了在未来预测的背景下，从以自我为中心的愿景，概述了应用程序，设备，存在的问题，常用的数据集，模型和输入方式的研究进展。我们的分析强调，从自我中心的视觉进行未来预测的方法可以在一系列应用中产生重大影响，进一步的研究工作应该致力于任务的标准化和考虑现实世界场景的数据集的建议，例如具有工业职业的数据集。
2021-07-28 cs.CV
EgoWorld: Translating Exocentric View to Egocentric View using Rich Exocentric Observations
AI Lab, LG Electronics（LG电子人工智能实验室）；KAIST（韩国科学技术院）；Visual Geometry Group, University of Oxford（牛津大学视觉几何组）
EgoWorld通过重建丰富的外参照观测来实现外参照到自身参照视角的转换，展示了在增强现实、虚拟现实和机器人应用中的先进性能和鲁棒性。
2026-03-04 cs.AI cs.CV
How You Move Your Head Tells What You Do: Self-supervised Video Representation Learning with Egocentric Cameras and IMU Sensors
Indiana University（印第安纳大学）；Facebook Reality Labs（脸书现实实验室）
从头戴式摄像机中了解用户的活动是增强和虚拟现实（AR/VR）应用的基本任务。典型的方法是使用由人类标记的数据以监督的方式训练分类器。由于昂贵的注释成本和活动标签的封闭覆盖，这种方法具有局限性。解决这些限制的一种潜在方法是使用自监督学习（SSL）。SSL不依赖于人工注释，而是利用数据的内在属性来学习表示。我们对学习以自我为中心的视频表示特别感兴趣，这些视频表示受益于用户日常活动产生的头部运动，这些头部运动可以很容易地从嵌入在AR/VR设备中的IMU传感器中获得。为了实现这个目标，我们提出了一个简单而有效的方法来学习视频表示学习告诉相应的视频剪辑和头部运动对。我们证明了我们的学习表示识别人和狗的自我中心活动的有效性。
2021-10-04 cs.CV
You2Me: Inferring Body Pose in Egocentric Video via First and Second Person Interactions
UC Berkeley（加州大学伯克利分校）；UT Austin（德克萨斯大学奥斯汀分校）；Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（Facebook人工智能研究院）
佩戴相机的人的身体姿势对于增强现实、医疗保健和机器人技术中的应用是非常感兴趣的，然而对于典型的可佩戴相机，人的身体的大部分在视野之外。我们提出了一种基于学习的方法来估计相机佩戴者的3D身体姿势从自我中心的视频序列。我们的关键见解是利用与另一个人的互动--我们可以直接观察到他的身体姿势--作为与第一人称主体的身体姿势内在联系的信号。我们表明，由于个人之间的相互作用往往会引起一系列有序的来回响应，它是可以学习的时间模型的相互关联的构成，即使一方在很大程度上是看不见的。我们展示了我们的想法在各种领域与二元互动，并显示了自我中心的身体姿态估计，这提高了最先进的实质性影响。视频结果可在www.example.com
2020-03-28 cs.CV
EgoExo-WM: Unlocking Exo Video for Ego World Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出通过从外部视频提取结构化身体姿态并利用人体运动学先验将其转换为自我视频，从而利用丰富的野外外部数据训练自我世界模型，显著提升预测质量和下游规划性能。
2026-05-25 cs.CV
Left/Right Hand Segmentation in Egocentric Videos
University of Genova（热那亚大学）；Eindhoven University of Technology（埃因霍温理工大学）
可穿戴摄像头允许人们从以用户为中心（第一人称视觉）的角度记录他们的日常活动。由于其有利的位置，可穿戴相机经常捕捉用户的手，并因此可能代表一个有前途的用户-机器交互工具，用于不同的应用。直观的第一人称视觉方法将手部分割作为背景-前景问题来处理，忽略了两个重要的事实：i）手部不是单个“类皮肤”移动元素，而是一对交互的协作实体，ii）近距离手部交互可能导致手到手的遮挡，并且因此创建单个类手部的段。这些事实使正确理解手部运动和相互作用变得复杂。我们的方法扩展了传统的背景-前景策略，通过包括基于角度和位置的麦克斯韦分布的手识别步骤（左-右）。通过利用时间超像素来解决手到手的遮挡。实验结果表明，除了可靠的左/右手分割，我们的方法大大改善了传统的背景前景手分割。
2016-07-21 cs.AI cs.CV cs.HC
EgoCap: Egocentric Marker-less Motion Capture with Two Fisheye Cameras (Extended Abstract)
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Intel Visual Computing Institute（英特尔视觉计算研究院）；University of Bath（巴斯大学）
基于标记和无标记的光学骨骼运动捕捉方法使用围绕场景放置的摄像机的由外向内布置，其中视点会聚在中心。他们经常会因可能需要的标记服而造成不适，并且他们的记录量受到严格限制，并且通常限于具有受控背景的室内场景。因此，我们提出了一种新的方法，用于实时，无标记和以自我为中心的运动捕捉，估计全身骨骼姿势从一个轻量级的立体对鱼眼相机，连接到头盔或虚拟现实耳机。它将鱼眼视图的新生成姿态估计框架的优势与基于ConvNet的身体部位检测器相结合，该检测器在新的自动注释和增强数据集上进行训练。我们的inside-in方法在一般室内和室外场景以及拥挤的场景中捕获全身运动。
2016-12-31 cs.CV
FEEL (Force-Enhanced Egocentric Learning): A Dataset for Physical Action Understanding
University of Maryland, College Park, USA（马里兰大学 College Park 分校）
FEEL数据集结合了自定义压阻手套收集的力测量与自我中心视频，通过力驱动物理交互，用于接触理解与动作表征学习，取得最佳分割结果并提升跨任务迁移性能。
2026-03-16 cs.CV cs.LG cs.RO
