Future Localization from an Egocentric Depth Image
University of Pennsylvania（宾夕法尼亚大学）
本文提出了一种未来的定位方法：预测一组合理的轨迹的自我运动给定的深度图像。我们预测避开障碍物的路径，物体之间的路径，甚至是绕过拐角进入物体后面的空间的路径。作为自我运动的预测轨迹的副产品，我们在图像中发现了被前景物体遮挡的空白空间。该算法不使用基于图像的特征，如语义标记/分割或目标检测/识别。受几何学的启发，我们使用EgoSpace地图来表示人周围的空间，类似于图示的旅游地图，该地图测量了以自我为中心的坐标系中的遮挡可能性。自我运动的未来轨迹是由紧凑的轨迹基地，使我们能够约束预测的轨迹的线性组合建模。我们从EgoMotion数据集学习EgoSpace地图和轨迹之间的关系，提供未来轨迹的原位测量。考虑到由于前景对象引起的部分遮挡的成本函数被最小化以预测轨迹。这个代价函数生成一个穿过被遮挡空间的轨迹，这使我们能够发现前景对象后面的空白空间。我们定量评估我们的方法，以显示预测的有效性，并适用于各种现实世界的场景，包括步行，购物和社交互动。
2015-09-07 cs.CV
Small Object Detection for Near Real-Time Egocentric Perception in a Manual Assembly Scenario
SmartFactory-KL（凯泽斯劳滕智能工厂）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
近实时的【形】检测头戴式增强现实设备的视频流中的小对象是一个巨大的挑战：训练数据通常是稀缺的，输入视频流的质量可能是有限的，并且小对象是众所周知的难以检测。然而，在工业场景中，通常可以利用上下文知识来检测小物体。此外，对象的CAD数据通常是可用的，并且可以用于生成合成训练数据。我们描述了一个近实时的【形】的小型目标检测管道，用于手动装配场景中的自我中心感知：我们基于Unity中的CAD数据和现实背景生成训练数据集。然后，我们训练一个YOLOv4模型进行两阶段的检测过程：首先，识别上下文，然后检测感兴趣的小对象。我们在增强现实设备Microsoft Hololens 2上评估我们的管道。
2021-06-11 cs.AI cs.CV cs.HC
EgoLoc: Revisiting 3D Object Localization from Egocentric Videos with Visual Queries
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；University of Oxford（牛津大学）
针对现有VQ3D方法因相机重定位位姿少导致成功率低的问题，提出EgoLoc流水线，结合鲁棒相机位姿估计与多视图3D位移聚合，在VQ3D任务上取得87.12%的最新最优成功率。
2023-08-28 cs.CV
Modeling Fine-Grained Hand-Object Dynamics for Egocentric Video Representation Learning
Zhejiang University（浙江大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；The University of Tokyo（东京大学）；Fudan University（复旦大学）；Nanjing University（南京大学）；SIAT（中国科学院深圳先进技术研究院）；Shanghai Jiao Tong University（上海交通大学）
本文提出HOD数据生成流程与EgoVideo模型，通过引入轻量级运动适配器和联合训练策略建模精细手物动力学，在多个第一人称下游任务中取得SOTA性能并展现出强泛化能力。
2025-03-02 cs.CV
First Person Action-Object Detection with EgoNet
University of Pennsylvania（宾夕法尼亚大学）；University of Minnesota（明尼苏达大学）；UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
与传统的安装在机器人上的第三人称相机不同，第一人称相机从近距离捕捉人的视觉感觉运动对象交互。在本文中，我们研究了我们的瞬时视觉注意和运动动作与第一人称相机的对象之间的紧密相互作用。我们提出了一个动作对象的概念-捕捉人的有意识的视觉（看电视）或触觉（拿杯子）交互的对象。动作对象可以是任务相关的，但是由于许多任务共享共同的人-对象空间配置，动作对象相对于人表现出特征3D空间距离和取向。我们设计了一个预测模型，使用EgoNet检测动作对象，EgoNet是一个联合双流网络，它整体集成了视觉外观（RGB）和3D空间布局（深度和高度）线索，以预测动作对象的每像素可能性。我们的网络还集成了第一人称坐标嵌入，旨在学习第一人称数据中动作对象的空间分布。我们展示了EgoNet的预测能力，通过显示它始终优于以前的基线方法。此外，EgoNet还表现出很强的泛化能力，即，它预测新的第一人称数据集中语义上有意义的对象。我们的方法有效地检测动作对象的能力可以用来提高机器人对人与物体交互的理解。
2017-06-10 cs.CV
Ego-Motion Estimation and Dynamic Motion Separation from 3D Point Clouds for Accumulating Data and Improving 3D Object Detection
TU Dortmund（多特蒙德工业大学）；ZF Group（采埃孚集团）
本研究针对高分辨率雷达点云稀疏问题，通过自运动估计和动态运动校正累积点云，在View-of-Delft数据集上验证了该方法能提升三维目标检测性能。
2023-08-29 cs.AI cs.CV cs.RO
3D-Aware Instance Segmentation and Tracking in Egocentric Videos
University of Oxford（牛津大学）；NAVER LABS Europe（NAVER欧洲实验室）
本文提出一种融合场景几何、3D质心跟踪与实例分割的第一人称视频3D感知方法，在EPIC Fields上显著提升跟踪与分割一致性，并支持3D重建等下游任务。
2024-11-20 cs.AI cs.CV cs.LG
HOI4D: A 4D Egocentric Dataset for Category-Level Human-Object Interaction
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Peking University（北京大学）
本文提出大规模4D自我中心数据集HOI4D，包含2.4M帧及丰富标注，并建立三个基准任务以推动类别级人-物交互研究，分析表明其对现有方法构成巨大挑战。
2024-01-03 cs.CV
Guided Attention for Next Active Object @ EGO4D STA Challenge
Istituto Italiano di Tecnologia（意大利技术研究院）；University of Trento（特伦托大学）；University of Verona（维罗纳大学）；University of Genoa（热那亚大学）
本研究针对EGO4D短期对象交互预测挑战赛，提出基于引导注意力机制的方案，在StillFast模型的快速网络上应用该机制，结合目标检测与时空特征增强运动和上下文信息，在验证集和测试集上均取得优异表现，达到SOTA水平。
2023-10-04 cs.CV
EgoAfford: Task-Oriented Affordance Grounding via Egocentric Referring Segmentation
针对部件级可供性定位难以适配复杂多步桌面任务的问题，提出基准EgoAfford及参考模型EgoLens，验证了下一步推理与动作角色条件部件定位的互补挑战，为感知与规划联合研究提供基础。
2026-08-06 cs.CV
EgoSurgery-Tool: A Dataset of Surgical Tool and Hand Detection from Egocentric Open Surgery Videos
Keio University（庆应义塾大学）；Keio University School of Medicine（庆应义塾大学医学院）
针对第一视角开放手术视频中手术工具检测的类别不平衡、形状纹理相似等挑战及数据集缺乏问题，提出EgoSurgery-Tool扩展数据集，含49K+工具和46K+手部边界框，用9种检测器分析其有效性，性能优于现有数据集。
2024-11-27 cs.AI cs.CV cs.LG
IDD-X: A Multi-View Dataset for Ego-relative Important Object Localization and Explanation in Dense and Unstructured Traffic
Centre for Visual Information Technology, IIIT Hyderabad（IIIT海得拉巴视觉信息技术中心）；Department of Computer Science, IIT Mandi（IIT曼迪计算机科学系）
针对密集非结构化交通场景，提出大规模双视图数据集IDD-X，包含69K边界框和19K轨迹，支持自车相对重要目标定位与解释预测，并引入定制深度网络奠定驾驶行为研究基础。
2024-04-23 cs.AI cs.CV cs.RO
NEMO: Future Object Localization Using Noisy Ego Priors
Honda Research Institute USA（本田研究院美国）
从视觉观测中预测智能体的未来轨迹是实现动态环境中自主系统安全有效导航的重要问题。本文重点关注与移动平台特别相关的未来轨迹预测的两个重要方面：1）对预测的不确定性进行建模，特别是从自我中心的观点，其中其他代理的交互反应和行为中的不确定性必须考虑自我运动中的不确定性，以及2）对问题的多模态性质进行建模，这在城市交通场景中的交叉点处特别普遍。为了解决这些问题，在一个统一的方法，我们提出了NEMO（嘈杂的自我运动先验未来的对象定位），未来的预测代理的自我中心的观点。在所提出的方法中，未来预测的预测分布与预测的不确定性联合建模。为此，我们将问题分为两个任务：未来的自我运动预测和未来的对象定位。我们首先模型的多模态分布的未来自我运动的不确定性估计。由此产生的自我行为的分布被用来对未来自我运动的多种模式进行采样。然后，每一个模态被用来作为一个先验的理解自我载体和目标代理之间的相互作用。我们预测的多模态的未来位置的目标从个人模式的自我车辆，同时建模的不确定性的目标的行为。为此，我们广泛评估建议的框架使用公开的基准数据集（HEV-I）补充里程计数据从惯性测量单元（IMU）。
2020-07-22 cs.CV cs.RO eess.IV
Cognition Transferring and Decoupling for Text-supervised Egocentric Semantic Segmentation
School of Information and Communication Engineering, University of Electronic Science and Technology of China（电子科技大学信息与通信工程学院）
本文提出CTDN网络，通过认知迁移与前景-背景解耦解决文本监督第一人称语义分割中的关系不敏感和物体干扰问题，在多个基准上显著超越现有方法。
2024-12-23 cs.CV
EC-IoU: Orienting Safety for Object Detectors via Ego-Centric Intersection-over-Union
DENSO AUTOMOTIVE Deutschland GmbH（电装德国汽车有限公司）；Technical University of Munich（慕尼黑工业大学）；Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）
本文提出EC-IoU度量，通过加权机制从自我视角优先关注真实物体更近点，可用于评估和训练物体检测器，并在KITTI上取得优于IoU的平均精度。
2025-01-02 cs.AI cs.CV cs.LG
O-MaMa: Learning Object Mask Matching between Egocentric and Exocentric Views
O-MaMa将跨视角分割重构为掩码匹配任务，结合掩码上下文编码器、交叉注意力与对比损失，在Ego-Exo4D基准上以极低参数实现最先进性能。
2025-09-24 cs.CV
Hand-Priming in Object Localization for Assistive Egocentric Vision
University of Maryland, College Park（马里兰大学帕克分校）
以自我为中心的视觉为增加视觉信息的获取和改善视觉障碍人群的生活质量带来了巨大的希望，物体识别是这一人群的日常挑战之一。虽然我们努力提高识别性能，但仍然很难识别用户感兴趣的对象;由于没有视觉反馈的相机瞄准的挑战，对象甚至可能不包括在帧中。此外，通常用于推断自我中心视觉中的感兴趣区域的注视信息通常是不可靠的。然而，盲人用户通常倾向于包括他们的手，或者与他们希望识别的对象交互，或者简单地将其放置在附近以更好地进行相机瞄准。我们提出了本地化模型，利用存在的手作为上下文信息启动感兴趣的对象的中心区域。在我们的方法中，手部分割被馈送到整个定位网络或其最后的卷积层。使用以自我为中心的数据集从视力和盲人，我们表明，手启动实现更高的精度比其他方法，如微调，多类，多任务学习，这也编码手物体的相互作用在本地化。
2020-02-28 cs.CV cs.HC
InternVideo-Ego4D: A Pack of Champion Solutions to Ego4D Challenges
Shanghai AI Laboratory（上海人工智能实验室）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；The University of Hong Kong（香港大学）；Nanjing University（南京大学）；The Chinese University of Hong Kong（香港中文大学）；The Australia National University（澳大利亚国立大学）；Tsinghua University（清华大学）
在这份报告中，我们提出了我们的冠军解决方案，以五个轨道在Ego 4D的挑战。我们利用我们开发的InternVideo，视频基础模型，五个自我4D任务，包括时刻识别，自然语言识别，未来的手预测，状态变化目标检测，和短期对象交互预测。InternVideo-Ego 4D是一种有效的范例，可以通过简单的头部设计将强大的基础模型适应于下游以自我为中心的视频理解任务。在这五项任务中，InternVideo-Ego 4D的表现全面超越了基准方法和CVPR 2022的冠军，展现了InternVideo作为视频基础模型的强大表现能力。我们的代码将在https://github.com/OpenGVLab/ego4d-eccv2022-solutions上发布
2022-11-17 cs.CV
Egocentric Audio-Visual Object Localization
University of Rochester（罗切斯特大学）；Meta Reality Labs Research（Meta现实实验室）
人类自然地通过第一人称视角统一声音和视觉来感知周围的场景。同样地，机器通过从自我中心的角度学习多感官输入来接近人类智能。在本文中，我们探讨了具有挑战性的自我中心的视听对象定位任务，并观察到：1）自我运动普遍存在于第一人称录音，即使在很短的时间内; 2）视图外的声音成分可以创建，而佩戴者转移他们的注意力。为了解决第一个问题，我们提出了一个几何感知的时间聚合模块来处理egomotion明确。通过估计时间几何变换并利用它来更新视觉表示来减轻自运动的影响。此外，我们提出了一个级联的特征增强模块来解决第二个问题。它通过解开视觉指示的音频表示来提高跨模态定位的鲁棒性。在训练过程中，我们利用自然可用的视听时间同步作为“免费”的自我监督，以避免昂贵的标签。我们还为评估目的注释和创建Epic Sounding Object数据集。大量的实验表明，我们的方法实现了最先进的定位性能在自我中心的视频，并可以推广到不同的视听场景。
2023-03-23 cs.CV cs.MM cs.SD
A Real-Time System for Egocentric Hand-Object Interaction Detection in Industrial Domains
Department of Mathematics and Computer Science, University of Catania（数学与计算机科学系，卡塔尼亚大学）
本文提出了一种实时系统，通过动作识别和物体检测模块检测工业领域中的手-物体交互，实现了高效准确的实时检测。
2025-12-04 cs.CV
Enhancing Egocentric Object Detection in Static Environments using Graph-based Spatial Anomaly Detection and Correction
Centre of Excellence in Maritime Safety（海上安全卓越中心）；Singapore Polytechnic（新加坡理工学院）；Singapore（新加坡）
提出一种基于图神经网络的后处理管道，通过建模静态环境中物体的空间关系来校正自我中心帧中的检测异常，显著提升检测性能。
2025-08-11 cs.CV
X-view: Non-egocentric Multi-View 3D Object Detector
自动驾驶的三维目标检测算法从三维鸟瞰图或透视图或两者来推断三维障碍物。最近的工作试图通过挖掘和融合多个自我中心的观点来提高检测性能。虽然以自我为中心的透视图弥补了鸟瞰图的一些弱点，但扇形网格划分在距离上变得如此粗糙，以至于目标和周围环境混合在一起，这使得特征的区分力降低。本文在总结3D多视图学习研究的基础上，针对多视图学习方法的不足，提出了一种新的基于多视图的3D检测方法X-view。具体来说，X视图突破了传统透视图原点必须与三维笛卡尔坐标一致的限制。X-view被设计为一个通用的范例，可以应用于几乎任何基于LiDAR的3D探测器，无论是基于体素/网格还是基于原始点，运行时间都只有很小的增加。我们在KITTI和NuScenes数据集上进行实验，以证明我们提出的X-view的鲁棒性和有效性。结果表明，当与四种主流的最先进的3D方法结合时，X-view获得了一致的改进：SECOND，PointRCNN，Part-A^2和PV-RCNN。
2021-03-24 cs.CV
Where is my Wallet? Modeling Object Proposal Sets for Egocentric Visual Query Localization
Meta AI；KAUST（阿卜杜拉国王科技大学）
针对自我中心视觉查询定位中的隐式偏差，提出通过扩展标注、动态丢弃物体候选及基于Transformer的CocoFormer模块进行改进，在VQ2D和VQ3D任务及少样本检测中取得领先成绩。
2023-04-06 cs.CV
Behavioural pattern discovery from collections of egocentric photo-streams
INTIA；UNCPBA（布宜诺斯艾利斯省中部国立大学）；CONICET（阿根廷国家科学与技术研究理事会）；University of Groningen（格罗宁根大学）；University of Barcelona（巴塞罗那大学）
行为的自动发现在旨在评估和改善人们的生活质量时非常重要。以自我为中心的图像提供了对相机佩戴者日常生活的丰富而客观的描述。这项工作提出了一种新的方法来识别一个人的行为模式，从收集自我中心的照片流。我们的模型基于定义图像组成的上下文（地点，活动和环境对象）来表征时间帧。基于时间框架之间的相似性，描述了收集的日子为用户，我们提出了一种新的无监督贪婪的方法来发现的行为模式集的基础上，一种新的语义聚类方法。此外，我们提出了一个新的分数度量来评估所提出的算法的性能。我们验证了我们的方法在104天和超过100k的图像从7个用户提取。结果表明，可以发现行为模式，以表征个人的日常生活，从而他们的生活方式。
2020-08-21 cs.CV
Unsupervised routine discovery in egocentric photo-streams
University of Groningen（格罗宁根大学）；University of Barcelona（巴塞罗那大学）
一个人的日常生活是由不同日子的活动定义的，可以直接影响人的健康。在这项工作中，我们解决了日常相关的日子的认识。为此，我们依靠以自我为中心的图像，这些图像由可穿戴相机记录，并允许从第一人称视角监控用户的生活。我们提出了一个无监督的模型，确定日常相关的日子，离群值检测方法。我们在总共72天的时间内以照片流的形式测试了所提出的框架，这些照片流覆盖了5个不同相机佩戴者的大约2周的生活。我们的模型为所有用户实现了平均76%的准确率和68%的加权F分数。因此，我们表明，我们的框架能够识别日常相关的日子，并打开大门，了解人们的行为。
2019-05-10 cs.CV
Object Aware Egocentric Online Action Detection
Yonsei University（延世大学）
针对在线动作检测方法未充分利用以自我为中心视频独特视角的问题，提出对象感知模块，将特定先验集成到现有OAD框架中，在Epic-Kitchens 100数据集上验证显示能无缝提升性能且开销最小。
2024-06-03 cs.AI cs.CV
All the people around me: face discovery in egocentric photo-streams
University of Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）
给定由可穿戴照相机（2fpm）捕获的图像的无约束流，我们提出了一种无监督的自下而上的方法，用于将出现的面部自动聚类到这些数据中存在的个体身份中。这个问题是具有挑战性的，因为图像是在真实世界条件下获得的，因此图像中的人的可见外观经历了强烈的变化。我们提出的管道包括首先将照片流安排到事件中，然后定位其中多个人的外观，最后将同一个人在不同事件中的各种外观分组。在一个月内佩戴照相机采集的数据集上进行的实验结果表明，所提出的方法的有效性所考虑的目的。
2017-05-12 cs.CV
Cross-View Multi-Modal Segmentation @ Ego-Exo4D Challenges 2025
Fudan University（复旦大学）
本文针对 Ego-Exo4D 2025 目标对应任务，提出融合视觉掩码与文本描述的多模态条件融合模块及跨视角目标对齐模块，在排行榜上取得第二名。
2025-06-06 cs.AI cs.CV
ObjectRelator: Enabling Cross-View Object Relation Understanding Across Ego-Centric and Exo-Centric Perspectives
Fudan University（复旦大学）；University of Trento（特伦托大学）；University of Pisa（比萨大学）；ETH Zürich（苏黎世联邦理工学院）；Ant Group（蚂蚁集团）
针对 Ego-Exo 跨视角对象对应中视角与外观变化导致的定位分割难题，提出 ObjectRelator，通过 MCFuse 融合视觉掩码和语言提示，并利用 XObjAlign 自监督对齐实现 SOTA。
2025-07-25 cs.AI cs.CV
EgoObjects: A Large-Scale Egocentric Dataset for Fine-Grained Object Understanding
Meta AI
本文提出大规模第一人称细粒度物体理解数据集 EgoObjects，包含实例级标注，并构建了物体检测与持续学习等基准任务。
2023-09-15 cs.CV
CaRe-Ego: Contact-aware Relationship Modeling for Egocentric Interactive Hand-object Segmentation
Department of Electrical and Electronic Engineering, The Hong Kong Polytechnic University（电气与电子工程系，香港理工大学）
CaRe-Ego通过手引导物体特征增强器和以接触为中心的物体解耦策略，显式建模手物接触关系并解耦物体类别耦合，在域内外测试中显著提升自我中心手物分割性能。
2025-05-05 cs.CV
EgoTracks: A Long-term Egocentric Visual Object Tracking Dataset
Meta AI；UT Austin（德克萨斯大学奥斯汀分校）
针对现有第一人称跟踪数据集存在的时长较短、重检测问题重视不足等局限，研究团队推出源自Ego4D的长期第一人称跟踪数据集EgoTracks，同时改进STARK跟踪器得到EgoSTARK基线模型并公开发布相关资源。
2023-10-01 cs.CV
Egocentric Object Manipulation Graphs
University of Maryland, College Park（马里兰大学帕克分校）
我们介绍自我中心的对象操作图（自我OMG）-一种新的表示活动建模和预期不久的将来的行动集成三个组成部分：1）语义的时间结构的活动，2）短期动态，和3）表示的外观。语义时间结构通过图来建模，该图通过图卷积网络嵌入，其状态模型手和对象之间的特征和关系。这些状态表示来自所有三个抽象层次，并跨越由手-物体接触的形成和断开所限定的段。短期动态建模有两种方式：A）通过3D卷积，以及B）通过预测手轨迹的时空端点，手与物体接触。通过现有方法产生的深时空特征对外观进行建模。我们注意到，在Ego-OMG中，交换这些外观特征很简单，因此Ego-OMG是对大多数现有动作预测方法的补充。我们评估Ego-OMG的EPIC Kitchenette行动预期挑战。EPIC Kitchman的自我中心观点的一致性允许使用以手为中心的线索，而Ego-OMG依赖于此。我们展示了最先进的性能，超过了所有其他以前发表的方法，并在EPIC Kitchild Action Anticipation Challenge的看不见的测试集上排名第一，在看不见的测试集上排名第二。我们把Ego-OMG的成功归因于对长时间捕获的语义结构的建模。我们通过几项消融研究评估了设计选择。代码将在接受后发布
2020-06-05 cs.AI cs.CV cs.RO
Egocentric Human-Object Interaction Detection: A New Benchmark and Method
Department of Electrical and Electronic Engineering, The Hong Kong Polytechnic University（电子与电气工程系，香港理工大学）
本文提出Ego-HOIBench基准（含27K+图像和123类三元组标注）及轻量级即插即用方法HGIR，利用手部几何与交互注意力提升自我中心人-物交互检测性能，实现最先进结果。
2025-08-26 cs.CV
Fine-Grained Egocentric Hand-Object Segmentation: Dataset, Model, and Applications
University of Pennsylvania（宾夕法尼亚大学）；Toyota Research Institute（丰田研究所）
以自我为中心的视频为人类行为的高保真建模提供了细粒度的信息。手和交互对象是理解观众行为和意图的一个关键方面。我们提供了一个标记的数据集，由11，243个以自我为中心的图像组成，每个像素都有手和物体的分割标签，这些图像在各种日常活动中进行交互。我们的数据集是第一个标记详细的手-物体接触边界的数据集。我们引入了一个上下文感知的组成数据增强技术，以适应外的分布YouTube自我为中心的视频。我们表明，我们强大的手对象分割模型和数据集可以作为一个基础工具，以提高或使几个下游的视觉应用，包括手状态分类，视频活动识别，3D网格重建的手对象的相互作用，和视频修复的手对象前景在以自我为中心的视频。数据集和代码可在https://github.com/owenzlz/EgoHOS上获得
2022-08-07 cs.CV
EgoWorld: Translating Exocentric View to Egocentric View using Rich Exocentric Observations
AI Lab, LG Electronics（LG电子人工智能实验室）；KAIST（韩国科学技术院）；Visual Geometry Group, University of Oxford（牛津大学视觉几何组）
EgoWorld通过重建丰富的外参照观测来实现外参照到自身参照视角的转换，展示了在增强现实、虚拟现实和机器人应用中的先进性能和鲁棒性。
2026-03-04 cs.AI cs.CV
Real Time Egocentric Object Segmentation: THU-READ Labeling and Benchmarking Results
Nokia Bell-Labs（诺基亚贝尔实验室）
自我中心分割由于其在混合现实（MR）应用中的潜力，最近引起了计算机视觉界的兴趣。虽然大多数以前的作品都集中在分割以自我为中心的人体部位（主要是手），很少有人注意到以自我为中心的对象。由于缺乏以自我为中心的对象的像素级注释的数据集，在本文中，我们贡献了一个从RGB-D THU-READ数据集的2124个图像的子集的语义标记。我们还报告了使用Thundernet的基准测试结果，Thundernet是一种实时语义分割网络，可以允许未来与端到端MR应用程序集成。
2021-06-09 cs.CV
EgoFun3D: Modeling Interactive Objects from Egocentric Videos using Function Templates
Simon Fraser University（西蒙弗雷泽大学）
本文提出EgoFun3D，通过函数模板建模交互三维物体，解决真实世界视频中交互物体建模难题，提出四阶段流程并展示其挑战性。
2026-09-14 cs.CV
The MECCANO Dataset: Understanding Human-Object Interactions from Egocentric Videos in an Industrial-like Domain
University of Catania（卡塔尼亚大学）；XGD-XENIA s.r.l.（XGD-XENIA有限公司）；University of Hertfordshire（赫特福德大学）
可穿戴相机允许收集人类与世界互动的图像和视频。虽然在第三人称视觉中已经彻底研究了人与物体的交互，但在以自我为中心的环境和工业场景中，这个问题一直没有得到充分研究。为了填补这一空白，我们引入了MECCANO，这是第一个以自我为中心的视频数据集，用于研究类似工业环境中的人与物体的交互。MECCANO已经被20名参与者获得，他们被要求建立一个摩托车模型，为此他们必须与微小的物体和工具进行交互。该数据集已被明确标记为从自我中心的角度识别人与物体交互的任务。具体来说，每个交互都在时间上（使用动作片段）和空间上（使用活动对象边界框）进行了标记。利用所提出的数据集，我们研究了四个不同的任务，包括1）动作识别，2）主动目标检测，3）主动对象识别和4）以自我为中心的人-对象交互检测，这是标准人-对象交互检测任务的重新审视版本。基线结果表明，MECCANO数据集是一个具有挑战性的基准，研究在工业类场景中以自我为中心的人与物体的交互。我们在https://iplab.dmi.unict.it/MECCANO上发布了数据集。
2020-10-12 cs.CV
EgoPCA: A New Framework for Egocentric Hand-Object Interaction Understanding
Shanghai Jiao Tong University（上海交通大学）；HKUST（香港科技大学）；New Hope Investment Group（新希望投资集团）；Dartmouth College（达特茅斯学院）
本文提出EgoPCA框架，通过探测、策展和适应策略，利用预训练集和平衡测试集，解决第一人称与第三人称动作视频的领域差距，提升Ego-HOI识别性能，并达到最先进水平。
2023-09-05 cs.CV
Ego3DT: Tracking Every 3D Object in Ego-centric Videos
University of Washington（华盛顿大学）；Zhejiang University-University of Illinois Urbana Champaign Institute（浙江大学-伊利诺伊大学厄巴纳-香槟分校研究院）
本文提出Ego3DT框架，通过零样本方法利用预训练3D重建模型和动态分层关联机制，实现自我中心视频中所有物体的3D重建与追踪，并在新数据集上取得显著性能提升。
2024-10-11 cs.CV cs.MM
Ego-InBetween: Generating Object State Transitions in Ego-Centric Videos
Advanced Micro Devices, Inc.（先进微器件公司）；Dalian University of Technology（大连理工大学）；The Hong Kong University of Science and Technology（香港科技大学）；The Chinese University of Hong Kong（香港中文大学）；Xi’an Jiaotong University（西安交通大学）
本文提出EgoIn框架，通过TransitionVLM和Object-aware Auxiliary Supervision生成物体状态转换序列，实现以自我为中心视角下的视觉状态迁移。
2026-04-20 cs.CV
A Two-Stage Framework for Ego-Centric Key Object Identification via Object State Prediction
School of Computing and Information, University of Pittsburgh（匹兹堡大学计算与信息学院）
提出一种两阶段框架，通过虚拟自我车辆表示和对象状态预测，结合时空推理，在自动驾驶中提升关键对象识别的准确性。
2026-09-09 cs.CV
Kinematics-Guided Reinforcement Learning for Object-Aware 3D Ego-Pose Estimation
Carnegie Mellon University（卡内基梅隆大学）；Keio University（庆应义塾大学）
我们提出了一种方法，将对象的相互作用和人体动力学的3D自我姿态估计使用头戴式摄像机的任务。我们使用人体的运动学模型来表示人体运动的整个范围，以及身体的动力学模型来与物理模拟器内的对象进行交互。通过在强化学习（RL）框架中将对象建模、运动学建模和动力学建模结合在一起，我们实现了对象感知的3D自我姿态估计。我们设计了几个代表性的创新，通过设计的状态和动作空间，将3D场景的上下文和提高姿态估计质量。我们还构建了一个微调步骤，以纠正漂移和完善估计的人与物体的相互作用。这是第一个工作，以估计一个物理上有效的三维全身互动序列与对象（例如，椅子、箱子、障碍物）。实验结果表明，该方法可以成功地提取出符合物理定律的物体条件下的3D自我姿态序列。
2020-12-09 cs.CV
GEM: A Generalizable Ego-Vision Multimodal World Model for Fine-Grained Ego-Motion, Object Dynamics, and Scene Composition Control
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院（EPFL））；University of Bern（伯尔尼大学）；Swiss Data Science Center（瑞士数据科学中心）；University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）
GEM是一种可泛化的自我视觉多模态世界模型，通过参考帧、稀疏特征、人体姿态和自我轨迹控制未来帧生成，实现细粒度物体动态、自我运动和场景组成控制，并开源全部资源。
2024-12-15 cs.CV
EgoXtreme: A Dataset for Robust Object Pose Estimation in Egocentric Views under Extreme Conditions
Seoul National University（首尔大学）；VGG, University of Oxford（牛津大学VGG实验室）
本文提出EgoXtreme数据集，用于评估在极端条件下眼动视角下物体姿态估计的鲁棒性，发现现有方法在极端条件下表现不佳，需进一步改进。
2026-03-26 cs.CV
Generating 6DoF Object Manipulation Trajectories from Action Description in Egocentric Vision
Kyoto University（京都大学）；National Institute of Informatics（国家信息研究所）；Sony Interactive Entertainment（索尼互动娱乐）
本文提出利用Exo-Ego4D大规模视频数据提取操作轨迹，并结合视觉与点云语言模型，首次实现从第一人称视觉动作描述生成6DoF物体操作轨迹，并在HOT3D数据集上验证有效性。
2025-06-04 cs.CV
Stereo Vision-based Semantic 3D Object and Ego-motion Tracking for Autonomous Driving
Hong Kong University of Science and Technology（香港科技大学）
提出了一种基于立体视觉的方法，用于跟踪动态自动驾驶场景中的摄像机自我运动和3D语义对象。而不是直接回归的3D限界框使用端到端的方法，我们建议使用易于标记的2D检测和离散的观点分类与轻量级的语义推理方法，以获得粗略的3D对象测量。基于在动态环境中具有鲁棒性的目标感知辅助摄像机姿态跟踪，结合融合时间稀疏特征对应的动态目标光束平差（BA）方法和语义三维测量模型，获得了具有实例精度和时间一致性的三维目标姿态、速度和锚定动态点云估计。我们提出的方法的性能在不同的场景中得到了证明。自我运动估计和对象定位与国家的最先进的解决方案进行了比较。
2018-11-29 cs.CV
Next-Active-Object prediction from Egocentric Videos
University of Catania（卡塔尼亚大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
虽然第一人称视觉系统可以从用户的角度感知环境，但它们通常无法预测用户的意图和目标。由于人类活动可以分解为原子动作和与对象的交互，因此智能可穿戴系统将受益于预测用户-对象交互的能力。即使这项任务并不简单，第一人称视觉范式也可以提供重要的线索来应对这一挑战。我们建议利用场景的动态识别下一个活跃的对象之前，对象的交互开始。我们训练一个分类器来区分导致对象激活的轨迹，并通过分析时间滑动窗口内的固定长度轨迹段来预测下一个活动对象。所提出的方法比较有利的几个基线上的日常生活活动（ADL）自我中心的数据集，包括10小时的视频采集20个主题，同时执行无约束的互动与几个对象。
2019-04-10 cs.AI cs.CV cs.LG
HOI-Ref: Hand-Object Interaction Referral in Egocentric Vision
University of Bristol（布里斯托大学）
本研究提出第一人称视觉手-物交互指代任务HOI-Ref，构建含390万问答对的HOI-QA数据集，训练出首个专用模型VLM4HOI，微调后手物指代和交互指代性能分别提升27.9%与26.7%。
2024-04-15 cs.CV
Understanding Egocentric Hand-Object Interactions from Hand Pose Estimation
Bristol University（布里斯托尔大学）
在本文中，我们解决的问题，估计手的姿势从自我中心的观点时，手与物体的相互作用。具体来说，我们提出了一种方法来标记数据集自我暹罗，其中包含自我中心的图像成对明智的。我们还使用收集的成对数据来训练我们的编码器-解码器风格的网络，这已被证明是有效的。这可以带来额外的训练效率和测试准确性。我们的网络是轻量级的，可以用过时的GPU以超过30 FPS的速度执行。我们证明了我们的方法优于Mueller等人，这是在GANerated数据集上处理以自我为中心的手-物体交互问题的最先进的工作。为了展示我们的方法保留语义信息的能力，我们还报告了GUN-71数据集上的抓取类型分类性能，并且仅使用预测的3D手部姿势就优于基准。
2021-09-29 cs.CV cs.HC
HOT3D: Hand and Object Tracking in 3D from Egocentric Multi-View Videos
Meta Reality Labs；facebookresearch（Facebook Research）
本文提出HOT3D数据集，提供超833分钟自我中心多视角手部与物体3D跟踪数据，并验证多视角方法在3D手部跟踪、6DoF物体姿态估计等任务上显著优于单视角方法。
2025-04-30 cs.AI cs.CV cs.RO
EgoFlowNet: Non-Rigid Scene Flow from Point Clouds with Ego-Motion Support
The University of Kaiserslautern-Landau (RPTU)（凯泽斯劳滕-兰道大学）
EgoFlowNet提出一种弱监督点级场景流估计网络，通过二值分割掩码隐式驱动自运动与场景流分支，结合共享代价体和多尺度局部细化，在KITTI真实场景中优于现有方法。
2024-07-03 cs.CV
Image Frame Dynamic Object Segmentation and Ego Motion Estimation using Radar Image Fusion
针对自动驾驶中动态目标分割与自我运动估计的耦合问题，提出Radar-Dot框架，利用雷达多普勒测量、线性约束和光流融合，在nuScenes上实现动态IoU 20.24%和F1 33.67%，并改善自我速度估计。
2026-09-22 cs.CV cs.RO
