ANNEXE: Unified Analyzing, Answering, and Pixel Grounding for Egocentric Interaction
The Hong Kong Polytechnic University（香港理工大学）
本文提出了自我中心交互推理与像素定位任务Ego-IRG及配套数据集Ego-IRGBench，并设计了统一的ANNEXE模型，利用多模态大语言模型同时生成文本与像素级输出，实现全面的自我中心交互理解。
2025-04-02 cs.CV
Next-Active-Object prediction from Egocentric Videos
University of Catania（卡塔尼亚大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
虽然第一人称视觉系统可以从用户的角度感知环境，但它们通常无法预测用户的意图和目标。由于人类活动可以分解为原子动作和与对象的交互，因此智能可穿戴系统将受益于预测用户-对象交互的能力。即使这项任务并不简单，第一人称视觉范式也可以提供重要的线索来应对这一挑战。我们建议利用场景的动态识别下一个活跃的对象之前，对象的交互开始。我们训练一个分类器来区分导致对象激活的轨迹，并通过分析时间滑动窗口内的固定长度轨迹段来预测下一个活动对象。所提出的方法比较有利的几个基线上的日常生活活动（ADL）自我中心的数据集，包括10小时的视频采集20个主题，同时执行无约束的互动与几个对象。
2019-04-10 cs.AI cs.CV cs.LG
UnrealEgo: A New Dataset for Robust Egocentric 3D Human Motion Capture
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Keio University（庆应义塾大学）
我们提出虚幻自我，即，一个新的大规模自然主义数据集，用于以自我为中心的3D人体姿态估计。UnrealEgo基于一种先进的眼镜概念，配备了两个鱼眼摄像头，可以在不受约束的环境中使用。我们设计他们的虚拟原型，并将其附加到三维人体模型的立体视图捕捉。接下来，我们生成一个大型的人体运动语料库。因此，UnrealEgo是第一个在现有的以自我为中心的数据集中提供具有最大运动种类的野外立体图像的数据集。此外，我们提出了一个新的基准方法，一个简单但有效的想法，设计一个2D的立体声输入的关键点估计模块，以提高3D人体姿态估计。大量的实验表明，我们的方法优于以前的国家的最先进的方法定性和定量。UnrealEgo和我们的源代码可以在我们的项目网页上找到。
2022-08-02 cs.CV
Gaze Beyond the Frame: Forecasting Egocentric 3D Visual Span
Seoul National University（首尔国立大学）；Carnegie Mellon University（卡内基梅隆大学）；Reality Labs Research at Meta（Meta现实实验室）
本文提出EgoSpanLift方法，通过将自聚焦视觉跨度预测从2D转换到3D，实现对三维环境未来视觉聚焦的高效预测，并构建了大规模基准测试集。
2025-11-23 cs.CV
What Would You Expect? Anticipating Egocentric Actions with Rolling-Unrolling LSTMs and Modality Attention
University of Catania（卡塔尼亚大学）
自我中心的动作预期包括理解相机佩戴者在不久的将来会与哪些物体互动以及他们将执行哪些动作。我们解决了这个问题，提出了一个架构，能够使用两个LSTM来预测多个时间尺度上的动作，1）总结过去，2）制定对未来的预测。输入视频的处理考虑三个互补的模态：外观（RGB），运动（光流）和对象（基于对象的功能）。模态特定的预测融合使用一种新的模态注意力（MATT）机制，学习加权模态自适应的方式。在两个大规模基准数据集上的广泛评估表明，我们的方法在具有挑战性的EPIC-Kitterfly数据集（包括2500多个动作）上的性能优于现有技术高达+7%，并推广到EGTEA Gaze+。我们的方法也被证明是推广到早期动作识别和动作识别的任务。我们的方法在2019年EPIC-Kitchen自我中心行动预测挑战的公共排行榜中排名第一。请参阅我们的网页代码和示例：http://iplab.dmi.unict.it/rulstm-https://github.com/fpv-iplab/rulstm。
2019-08-05 cs.AI cs.CV
EgoXtreme: A Dataset for Robust Object Pose Estimation in Egocentric Views under Extreme Conditions
Seoul National University（首尔大学）；VGG, University of Oxford（牛津大学VGG实验室）
本文提出EgoXtreme数据集，用于评估在极端条件下眼动视角下物体姿态估计的鲁棒性，发现现有方法在极端条件下表现不佳，需进一步改进。
2026-03-26 cs.CV
Motion-Based Tokenization for Cross-Dataset Egocentric Gaze Modeling
Technical University of Munich (TUM)（慕尼黑工业大学（TUM））；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
该研究针对跨数据集自我中心凝视建模，提出基于运动的分词方法，通过多维度评估对比不同表示方式，发现其在部分迁移场景下的优势，明确事件构建对跨数据集迁移的影响。
2026-08-25 cs.CV
EgoToM: Benchmarking Theory of Mind Reasoning from Egocentric Videos
Reality Labs；FAIR
提出EgoToM基准，用于评估多模态大语言模型从自我中心视频中推理目标、信念和行动的能力，发现模型在目标推断上接近人类，但在信念和未来行动推断上仍有差距。
2025-03-28 cs.AI cs.CV
EgoIntent: A Pre-Outcome Micro-Step Benchmark for Understanding What, Why, and Next
EgoIntent基准旨在通过步级意图理解解决以自我为中心视频中对‘是什么、为什么和下一步’的细粒度理解难题，包含15种日常生活场景，评估模型在三个维度上的表现。
2026-08-04 cs.CV
R3D: Quantitative 3D Spatial Reasoning for Egocentric Wearables
Meta Reality Labs（元现实实验室）
研究针对以自我为中心的可穿戴设备定量3D空间推理，介绍R3D-Bench基准及R3D工具调用框架，用分割和深度提升对象表示构建3D场景，通过工具提供信息给语言模型，在基准测试中表现出色。
2026-07-07 cs.AI cs.CV
Generative Adversarial Network for Future Hand Segmentation from Egocentric Video
Georgia Institute of Technology（佐治亚理工学院）
我们介绍了新的问题，预计未来的手面具从自我中心的视频的时间序列。一个关键的挑战是对未来头部运动的随机性进行建模，这在全球范围内影响头戴式摄像机视频分析。为此，我们提出了一种新的深度生成模型--Ego GAN，它使用3D全卷积网络来学习用于像素级视觉预测的时空视频表示，使用生成对抗网络（GAN）生成未来的头部运动，然后基于视频表示和生成的未来头部运动预测未来的手部蒙版。我们评估我们的方法在EPIC-Kitterfly和EGTEA Gaze+数据集上。我们进行详细的消融研究，以验证我们的方法的设计选择。此外，我们比较我们的方法与以前的国家的最先进的方法对未来的图像分割，并表明我们的方法可以更准确地预测未来的手面具。
2022-07-20 cs.CV
Robust Egocentric Visual Attention Prediction Through Language-guided Scene Context-aware Learning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文提出语言引导的场景上下文感知学习框架，通过上下文感知器和双训练目标提升自体视频中注意力预测的鲁棒性与准确性。
2026-01-05 cs.CV
S-EMBER: A Large-Scale Benchmark for Streaming Egocentric Memory Retrieval
FAIR, Meta（公平研究院，元公司）；Reality Labs, Meta（现实实验室，元公司）
研究针对可穿戴设备连续第一人称记录下AI助手的情景记忆问题，引入S-EMBER基准测试，通过视频及问答对模拟真实交互，发现前沿模型存在定位矛盾，为可穿戴AI代理情景记忆发展奠定基础。
2026-08-27 cs.AI cs.CV
EGO-TOPO: Environment Affordances from Egocentric Video
UT Austin（德克萨斯大学奥斯汀分校）；Facebook AI Research（Facebook人工智能研究）
第一人称视频自然地将物理环境的使用带到了最前沿，因为它显示了相机佩戴者根据他的意图在空间中流畅地互动。然而，目前的方法在很大程度上将观察到的操作与持久空间本身分离开来。我们介绍了一个模型的环境启示，是直接从自我中心的视频。其主要思想是获得一个以人为中心的物理空间（如厨房）模型，该模型捕获（1）交互的主要空间区域和（2）它们支持的可能活动。我们的方法将空间分解为来自第一人称活动的拓扑图，将自我视频组织成一系列对不同区域的访问。此外，我们展示了如何在多个相关环境中链接区域（例如，来自多个厨房的视频）以获得环境功能的合并表示。在EPIC-Kitterfly和EGTEA+上，我们展示了我们在长视频中学习场景启示和预测未来动作的方法。
2020-03-27 cs.CV
Multimodal Future Localization and Emergence Prediction for Objects in Egocentric View with a Reachability Prior
University of Freiburg（弗莱堡大学）；IMRA-EUROPE（欧洲IMRA公司）
在本文中，我们研究的问题，预计未来的动态，特别是未来的位置，其他车辆和行人，在移动的车辆。我们解决了两个基本挑战：（1）由于使用单个RGB相机的自我中心视图和由于车辆的自我运动而引起的相当大的视场变化而导致的部分可见性;（2）未来状态分布的多模态。与许多以前的作品相比，我们不假设结构知识的地图。我们，而不是估计可达性之前的某些类别的对象从当前图像的语义图，并将其传播到未来使用计划的自我运动。实验表明，可达性先验与多假设学习相结合，提高了对跟踪对象未来位置的多模态预测，并首次提高了新对象的出现。我们还展示了有前途的zero-shot转移到看不见的数据集。源代码可从$\href{https://github.com/lmb-freiburg/FLN-EPN-RPN}{\text{this https URL.}}$获得
2020-06-08 cs.CV
EgoExOR: An Ego-Exo-Centric Operating Room Dataset for Surgical Activity Understanding
Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
EgoExOR是首个融合第一人称和第三人称视角的手术室数据集与基准，包含多模态数据与详细场景图标注，为手术活动理解与下一代临床感知奠定基础。
2025-05-30 cs.CV
Learning to Anticipate Egocentric Actions by Imagination
Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）；Zhejiang University（浙江大学）
在执行之前预测动作对于包括自动驾驶和机器人技术在内的广泛实际应用至关重要。在本文中，我们研究了以自我为中心的行动预期任务，预测未来的行动秒之前，它是以自我为中心的视频。以前的方法侧重于总结观察到的内容，并直接预测未来的行动基于过去的观察。我们相信，如果我们能够挖掘一些线索，以弥补未观察帧的丢失信息，这将有利于行动预期。然后，我们建议将动作预测分解为一系列未来特征预测。我们想象视觉特征在不久的将来如何变化，然后根据这些想象的表示来预测未来的动作标签。因此，我们的ImagineRNN以对比学习的方式进行优化，而不是特征回归。我们利用代理任务来训练ImagineRNN，即，从干扰项中选择正确的未来状态。我们通过残差预测进一步改进ImagineRNN，即，将其目标改为预测相邻帧的特征差异，而不是预测帧内容。这促使网络专注于我们的目标，即，未来动作，因为相邻帧特征之间的差异对于预测未来更重要。在两个大规模的自我中心行为数据集上的实验验证了该方法的有效性。我们的方法显着优于以前的方法，在EPIC Kitterfly Action Anticipation Challenge的可见测试集和不可见测试集上。
2021-01-19 cs.CV
One-Shot Affordance Grounding of Deformable Objects in Egocentric Organizing Scenes
School of Artificial Intelligence and Robotics, Hunan University, China（人工智能与机器人学院，湖南大学）；National Engineering Research Center of Robot Visual Perception and Control Technology, Hunan University, China（机器人视觉感知与控制技术国家工程研究中心，湖南大学）
本文提出OS-AGDO方法，通过DefoSEM、OEKFM和实例条件提示，在极少样本下实现对以自我为中心整理场景中可变形物体的准确可供性定位，并在AGDDO15数据集上显著超越现有方法。
2025-07-22 cs.CV cs.RO eess.IV
Enhancing Next Active Object-based Egocentric Action Anticipation with Guided Attention
Istituto Italiano di Tecnologia（意大利技术研究院）；University of Trento（特伦托大学）；University of Verona（维罗纳大学）；University of Genoa（热那亚大学）
本文提出GANO，一种基于引导注意力的多模态Transformer网络，通过融合物体与时空特征，提升第一视角视频中短期动作预测的性能，优于现有最先进方法。
2023-06-23 cs.CV
SlowFast Rolling-Unrolling LSTMs for Action Anticipation in Egocentric Videos
University of Padova（帕多瓦大学）
由于人类行为固有的多模态性质，以自我为中心的视频中的动作预期是一项艰巨的任务。此外，某些动作比其他动作发生得更快或更慢，这取决于参与者或周围的上下文，每次都可能发生变化，并导致不同的预测。基于这一思想，我们建立在RULSTM架构，这是专门设计用于预测人类的行动，并提出了一种新的基于注意力的技术，同时评估，从三种不同的方式，即RGB，光流，和提取的对象中提取的慢和快的功能。两个分支以不同的时间尺度处理信息，即，帧速率和几个融合方案被认为是提高预测精度。我们在EpicKitchen-55和EGTEA Gaze+数据集上进行了广泛的实验，并证明了我们的技术系统地改善了RULSTM架构在不同预期时间的Top-5准确度指标的结果。
2021-09-02 cs.AI cs.CV cs.LG
Intention-Guided Cognitive Reasoning for Egocentric Long-Term Action Anticipation
针对第一视角长期动作预测现有方法的三类局限，提出两阶段框架INSIGHT，融合手-物交互特征、动名语义依赖与意图引导的认知推理，在多个基准上取得SOTA性能。
2025-11-15 cs.AI cs.CV
EMBER-Bench: Benchmarking Cross-Event Causal Memory in Long-Horizon Embodied Tasks
Tsinghua University（清华大学）；The University of Hong Kong（香港大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
针对现有具身记忆基准忽视跨事件因果推理的问题，提出EMBER-Bench基准，含189个任务和699个问答对，评估发现最高准确率61.2%，远低于人类98.3%，揭示智能体从历史提取因果并约束当前行动仍是关键难点。
2026-10-06 cs.CV
Digital Twin Catalog: A Large-Scale Photorealistic 3D Object Digital Twin Dataset
Meta Reality Labs Research（Meta现实实验室）；Stanford University（斯坦福大学）
针对缺乏数字孪生质量的大规模3D重建数据集及自我中心视角评估基准的问题，研究团队推出包含2000个高质量3D物体与多设备拍摄图像的DTC数据集，为相关方法的评估与改进提供支撑。
2025-05-18 cs.AI cs.CV cs.GR
Ego-centric Predictive Model Conditioned on Hand Trajectories
本文提出一个以手部轨迹为条件的统一二阶段预测框架，通过连续状态建模和因果交叉注意力引导潜在扩散模型，在自我中心场景中联合预测未来动作并生成视觉结果，在Ego4D、BridgeData和RLBench上优于现有基线。
2025-08-28 cs.CV
Leveraging Next-Active Objects for Context-Aware Anticipation in Egocentric Videos
Istituto Italiano di Tecnologia (IIT)（意大利理工学院）；University of Genoa（热那亚大学）；University of Bergamo（贝加莫大学）；University of Verona（维罗纳大学）
本文针对第一人称视频短期对象交互预测问题，提出多模态端到端NAOGAT网络，通过捕捉对象与场景上下文关系、利用对象运动动态分别解码两类信息，在两个数据集的多项指标上超越现有方法。
2023-10-05 cs.CV
Egocentric and Exocentric Methods: A Short Survey
University of Central Florida（中佛罗里达大学）；Honda Research Institute USA（本田美国研究院）；University of California, Riverside（加州大学河滨分校）
本文综述了同步结合以自我为中心和以外部为中心视觉的联合学习方法，梳理相关数据集与关键应用，并指出最新进展，为多视角视频理解研究提供参考。
2025-05-09 cs.CV
EgoInteract: Synthetic Egocentric Videos Generation for Interaction Understanding and Anticipation
Department of Mathematics and Computer Science, University of Catania（卡塔尼亚大学数学与计算机科学系）；Next Vision s.r.l.（Next Vision公司）；Reality Labs Research, Meta（Meta现实实验室）
提出EgoInteract可控模拟器，生成带密集时空标注的合成自我中心视频，用于动作分割、下一活动物体检测、交互预测和手物交互检测，在多个真实基准上提升性能。
2026-05-22 cs.CV
Beyond Scanpaths: Graph-Based Gaze Simulation in Dynamic Scenes
GlimpseML；Toyota Motor Europe（丰田汽车欧洲公司）
本文提出基于图的 gaze 模拟方法，通过构建 gaze-中心图和对象密度网络，实现对动态场景中 gaze 动态的精确建模，提供更自然的 gaze 轨迹和 saliency 映射。
2026-03-30 cs.CV
What to Do Next? Memorizing skills from Egocentric Instructional Video
University of Rochester（罗切斯特大学）
本文研究第一人称仿真环境中的交互式动作规划，提出结合拓扑可供性记忆与Transformer的方法，以学习环境表示、选择动作并检测偏差，实验证明其性能提升且对动作偏差具有鲁棒性。
2025-07-01 cs.AI cs.CV cs.LG
Egocentric Visitors Localization in Cultural Sites
Università degli Studi di Catania（卡塔尼亚大学）
我们认为，在一个文化网站的自我中心（第一人称）图像的本地化游客的问题。本地化信息对于在用户访问期间帮助用户（例如，通过建议去哪里和接下来看什么）并向文化场所的管理者提供行为信息（例如，游客在一个特定地点停留了多长时间？最喜欢的是什么？）。为了解决这个问题，我们使用两个摄像头收集了一个以自我为中心的视频的大型数据集：一个头戴式HoloLens设备和一个胸部安装的GoPro。每一帧都根据访问者的位置和他所看的内容进行了标记。该数据集免费提供，以鼓励这一领域的研究。该数据集的补充与基线实验进行考虑一个国家的最先进的方法，以自我为中心的视频基于位置的时间分割。实验表明，引人注目的结果可以实现提取有用的信息，为访问者和网站管理员。
2019-04-10 cs.CV
Egocentric Object Manipulation Graphs
University of Maryland, College Park（马里兰大学帕克分校）
我们介绍自我中心的对象操作图（自我OMG）-一种新的表示活动建模和预期不久的将来的行动集成三个组成部分：1）语义的时间结构的活动，2）短期动态，和3）表示的外观。语义时间结构通过图来建模，该图通过图卷积网络嵌入，其状态模型手和对象之间的特征和关系。这些状态表示来自所有三个抽象层次，并跨越由手-物体接触的形成和断开所限定的段。短期动态建模有两种方式：A）通过3D卷积，以及B）通过预测手轨迹的时空端点，手与物体接触。通过现有方法产生的深时空特征对外观进行建模。我们注意到，在Ego-OMG中，交换这些外观特征很简单，因此Ego-OMG是对大多数现有动作预测方法的补充。我们评估Ego-OMG的EPIC Kitchenette行动预期挑战。EPIC Kitchman的自我中心观点的一致性允许使用以手为中心的线索，而Ego-OMG依赖于此。我们展示了最先进的性能，超过了所有其他以前发表的方法，并在EPIC Kitchild Action Anticipation Challenge的看不见的测试集上排名第一，在看不见的测试集上排名第二。我们把Ego-OMG的成功归因于对长时间捕获的语义结构的建模。我们通过几项消融研究评估了设计选择。代码将在接受后发布
2020-06-05 cs.AI cs.CV cs.RO
EgoAfford: Task-Oriented Affordance Grounding via Egocentric Referring Segmentation
针对部件级可供性定位难以适配复杂多步桌面任务的问题，提出基准EgoAfford及参考模型EgoLens，验证了下一步推理与动作角色条件部件定位的互补挑战，为感知与规划联合研究提供基础。
2026-08-06 cs.CV
Hand-4DGS: Feed-Forward 3D Gaussian Splatting for 4D Hand Reconstruction from Egocentric Videos
Yonsei University（延世大学）；Electronics and Telecommunications Research Institute（电子电信研究院）；ETH Zurich（苏黎世联邦理工学院）；Microsoft Spatial AI Lab（微软空间AI实验室）；VGG, University of Oxford（VGG，牛津大学）
提出Hand-4DGS，首个前馈框架，从第一人称视频直接重建动态4D手部，利用网格引导表示和时间卷积，实现快速推理和强泛化，无需3D真值标注。
2026-10-08 cs.CV
PREGO: online mistake detection in PRocedural EGOcentric videos
Sapienza University of Rome（罗马第一大学）；ItalAI；University of Catania（卡塔尼亚大学）
针对在线开放集第一人称过程视频错误检测的空白，提出基于在线动作识别与符号推理对比的PREGO模型，并适配构建两个在线基准数据集开展评估。
2024-05-17 cs.CV
You-Do, I-Learn: Unsupervised Multi-User egocentric Approach Towards Video-Based Guidance
University of Bristol（布里斯托大学）
本文提出了一种无监督的方法，自动提取基于视频的指导对象的使用，从自我中心的视频和可穿戴的视线跟踪，从多个用户在执行任务时收集。该方法i）发现任务相关对象，ii）为每个对象构建模型，iii）区分每个发现的对象被使用的不同方式，以及iv）发现对象交互之间的依赖性。这项工作使用外观，位置，运动和注意力进行调查，并使用每个相关功能的组合呈现结果。此外，一个在线的可扩展的方法，并比较离线的结果。本文提出了一种方法，用于选择一个合适的视频指南显示给新手用户，指示如何使用一个对象，纯粹由用户的目光触发。潜在辅助模式还可以基于所学习的对象交互序列来推荐接下来要使用的对象。该方法在各种日常任务中进行了测试，例如初始化打印机，准备咖啡和设置健身机。
2016-03-19 cs.CV
On Encoding Temporal Evolution for Real-time Action Prediction
Queensland University of Technology（昆士兰科技大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；University of Maryland（马里兰大学）
预测未来的行动是智能的关键组成部分，特别是当它应用于实时的【形】系统时，如机器人或自动驾驶汽车。虽然最近的工作已经解决了原始RGB像素值的预测，我们专注于预测未来视频帧中的运动演变。为此，我们构建动态图像（DI）通过总结未来帧序列的移动像素。我们训练一个卷积LSTM，以基于无监督学习过程预测下一个DI，然后识别与预测的DI相关的活动。我们在3个基准动作数据集上证明了我们的方法的有效性，表明尽管在具有复杂活动的视频上运行，我们的方法仍然能够高精度地预测下一个人类动作，并获得比最先进的方法更好的结果。
2018-02-08 cs.CV
Inductive Attention for Video Action Anticipation
NVIDIA AI Technology Center（英伟达人工智能技术中心）；Free University of Bozen-Bolzano（博尔扎诺自由大学）
在视频理解和预测性计算机视觉中，基于时空观测预测未来动作是必不可少的。此外，能够预测未来的模型具有重要的应用，它可以帮助预防系统在事件发生之前做出反应。然而，与动作识别任务不同，未来的信息在观察时是不可访问的-模型不能直接将视频帧映射到目标动作以解决预期任务。相反，需要进行时间推断，以将相关证据与未来可能采取的行动联系起来。因此，基于动作识别模型的现有解决方案仅是次优的。最近，研究人员提出延长观察窗口，以从过去的时刻捕捉更长的行动前配置文件，并利用注意力来检索微妙的证据，以改善预期预测。然而，现有的注意力设计通常使用帧输入作为查询，这是次优的，因为视频帧仅弱连接到未来的动作。为此，我们提出了一个归纳注意力模型，称为IAM，它利用当前的预测先验作为查询来推断未来的动作，可以有效地处理长视频内容。此外，我们的方法考虑了未来的不确定性，通过多对多的关联在注意力设计。因此，IAM在多个大规模以自我为中心的视频数据集上始终优于最先进的预测模型，同时使用显著更少的模型参数。
2023-03-18 cs.CV
What Happens Next? Anticipating Future Motion by Generating Point Trajectories
Visual Geometry Group, University of Oxford（牛津大学视觉几何组）
提出一种基于单张图像预测未来运动的方法，通过生成密集轨迹网格来捕捉场景动态和不确定性，相比现有方法更准确多样，并验证其在机器人等下游任务中的有效性。
2026-05-25 cs.AI cs.CV cs.LG
Bridging Perspectives: A Survey on Cross-view Collaborative Intelligence with Egocentric-Exocentric Vision
State Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学）；University of Tokyo（东京大学）；Zhejiang University（浙江大学）；Fudan University（复旦大学）
本文综述自我中心与异我中心视觉的跨视角协作智能，梳理三类研究方向、任务、数据集及局限，并展望未来发展。
2025-06-06 cs.CV
DP-DeGauss: Dynamic Probabilistic Gaussian Decomposition for Egocentric 4D Scene Reconstruction
Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University（上海交通大学图像通信与网络工程研究所）；Nvidia（英伟达）
本文提出DP-DeGauss方法，通过动态概率高斯分解实现眼动4D场景重建，解决动态第一视角场景重建中的复杂运动、遮挡和手-物体交互问题，实现背景、手部和物体的解耦。
2026-04-09 cs.CV
Do You See What I Am Pointing At? Gesture-Based Egocentric Video Question Answering
Imperial College London（伦敦帝国理工学院）
本文提出 EgoPointVQA 数据集和基准，结合 Hand Intent Tokens 提升手势引导的 egocentric 问答性能，HINT-14B 在多个任务上超越现有最佳模型。
2026-03-27 cs.CV
EgoExo-Next:Benchmarking Vision-Language Models on Visual-Option Next-State and Cross-View Reasoning
Fudan University（复旦大学）
本文提出EgoExo-Next基准，通过2,503个四选一问题评估视觉语言模型在动态视觉状态推理上的能力，发现最佳模型准确率仅43.81%，远低于人类的98.55%，凸显了现有模型在组合时间与跨视角推理上的显著局限。
2026-10-06 cs.AI cs.CV
Egocentric Action-aware Inertial Localization in Point Clouds with Vision-Language Guidance
The University of Tokyo（东京大学）；CyberAgent AI Lab（CyberAgent AI实验室）
针对 IMU 漂移与多样动作导致的定位难题，本文提出 EAIL 框架，借助视觉-语言引导将动作线索与点云环境特征对比对齐，并在定位同时识别动作。
2025-07-26 cs.CV
HourVideo: 1-Hour Video-Language Understanding
Stanford University（斯坦福大学）
HourVideo是一个小时级视频理解基准，含多种任务和12,976个问题，测试显示多模态模型仅略优于随机，人类专家大幅领先，揭示巨大能力差距。
2024-11-07 cs.AI cs.CV cs.LG
Forecasting Human-Object Interaction: Joint Prediction of Motor Attention and Actions in First Person Video
Georgia Institute of Technology（佐治亚理工学院）；ETH Zürich（苏黎世联邦理工学院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们解决了在第一人称视频中预测人与物体交互的挑战性任务。大多数现有的方法忽略了相机佩戴者如何与对象交互，或者简单地将身体运动视为单独的模态。相反，我们观察到，国际手部运动揭示了未来活动的关键信息。受此启发，我们采用有意的手部运动作为未来的表示，并提出了一种新的深度网络，该网络联合建模和预测以自我为中心的手部运动、交互热点和未来动作。具体来说，我们将未来的手部运动视为运动注意力，并在我们的深度模型中使用潜变量对这种注意力进行建模。预测的运动注意力进一步被用于识别用于预测动作和交互热点的区分性时空视觉特征。我们提出了广泛的实验证明所提出的联合模型的好处。重要的是，我们的模型在EGTEA Gaze+和EPIC-Kitterfly数据集上产生了新的最先进的动作预测结果。我们的项目页面可以在https://aptx4869lm.github.io/ForecastingHOI/上找到
2020-07-20 cs.CV
Cross-View Exocentric to Egocentric Video Synthesis
Cisco Systems（思科系统公司）；University of Trento（特伦托大学）；Stevens Institute of Technology（史蒂文斯理工学院）；Illinois Institute of Technology（伊利诺伊理工学院）
跨视点视频合成任务旨在从一个显著不同的视点生成另一个视点的视频序列。在本文中，我们研究了从离心（第三人称）视角到自我中心（第一人称）视角的视频生成任务。这是具有挑战性的，因为自我中心的观点有时与离心的观点明显不同。因此，在两个不同的视图之间转换外观是一项重要的任务。特别是，我们提出了一种新的双向时空注意力融合生成对抗网络（STA-GAN）学习空间和时间信息，以生成自我中心的视频序列从偏心视图。STA-GAN由时间分支、空间分支和注意力融合三部分组成。首先，时间和空间分支生成伪帧序列及其相应的特征。在时间和空间分支的下游和上游方向上生成伪帧。接下来，生成的四个不同的假帧及其相应的功能（在两个方向上的空间和时间分支）被送入一个新的多代注意力融合模块，以产生最终的视频序列。同时，我们还提出了一种新的时间和空间的双重优化更强大的网络优化。在Side 2 Ego和Top2 Ego数据集上的大量实验表明，所提出的STA-GAN显著优于现有方法。
2021-07-07 cs.CV cs.MM
Interaction-aware Representation Modeling with Co-occurrence Consistency for Egocentric Hand-Object Parsing
The Hong Kong Polytechnic University（香港理工大学）
本文提出交互感知变压器模型，通过动态查询生成、双上下文特征选择和条件共现损失，提升中心视角手-物体解析的准确性和物理一致性。
2026-02-24 cs.CV
PRVQL: Progressive Knowledge-guided Refinement for Robust Egocentric Visual Query Localization
University of North Texas（北卡罗来纳州立大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；U.S. Naval Research Laboratory（美国海军研究实验室）；Brookhaven National Laboratory（布鲁克海文国家实验室）
针对自我中心视觉查询定位中目标外观变化和背景杂乱问题，提出渐进式知识引导细化框架PRVQL，通过多阶段从视频中提取外观与空间知识来细化查询和视频特征，在Ego4D上取得最先进性能。
2025-06-30 cs.CV
Joint Hand Motion and Interaction Hotspots Prediction from Egocentric Videos
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Intel Labs（英特尔实验室）；UC San Diego（加州大学圣地亚哥分校）
我们建议预测未来的手对象的相互作用，以自我为中心的视频。我们不预测动作标签或像素，而是直接预测手部运动轨迹和下一个活动对象上的未来接触点（即，互动热点）。这种相对低维的表示提供了对未来交互的具体描述。为了解决这个问题，我们首先提供了一种自动的方法来收集大规模数据上的轨迹和热点标签。然后，我们使用这些数据来训练以对象为中心的Transformer（OCT）模型进行预测。我们的模型通过Transformers中的自注意力机制来执行手和物体的交互推理。OCT还提供了一个概率框架来对未来轨迹和热点进行采样，以处理预测中的不确定性。我们在Epic-Kitchen-55、Epic-Kitchen-100和EGTEA Gaze+数据集上进行了实验，结果表明OCT的性能大大优于最先进的方法。项目页面可在https://stevenlsw.github.io/hoi-forecast上找到。
2022-04-04 cs.CV cs.LG
Intention-Conditioned Long-Term Human Egocentric Action Forecasting
Technische Universität Wien (TU Wien)（维也纳技术大学）；Artificial Intelligence Graduate School (AIGS), Ulsan National Institute of Science and Technology (UNIST)（蔚山科学技术院人工智能研究生院）；Institute of Robotics and Mechatronics, German Aerospace Center（德国航空航天中心机器人与机电一体化研究所）
提出 H3M 与 I-CVAE 结合的层次化框架，利用人类意图生成自我中心视频中未来20个动作的稳定长期预测，并在 EGO4D LTA Challenge 两项赛事中排名第一。
2024-04-08 cs.CV
3D-Aware Instance Segmentation and Tracking in Egocentric Videos
University of Oxford（牛津大学）；NAVER LABS Europe（NAVER欧洲实验室）
本文提出一种融合场景几何、3D质心跟踪与实例分割的第一人称视频3D感知方法，在EPIC Fields上显著提升跟踪与分割一致性，并支持3D重建等下游任务。
2024-11-20 cs.AI cs.CV cs.LG
Text Synopsis Generation for Egocentric Videos
University of Central Florida（中佛罗里达大学）
大规模使用的身体佩戴的摄像机已经导致了一个巨大的语料库可用的自我中心的视频。现有的视频摘要算法可以通过从视频中选择（视觉上）有趣的镜头来加速浏览这些视频。尽管如此，由于系统用户仍然必须观看摘要视频，因此浏览大型视频数据库仍然是一个挑战。因此，在这项工作中，我们建议生成一个文本概要，由几个句子组成，描述了一个长的自我中心的视频中最重要的事件。用户可以阅读简短的文本来了解视频，更重要的是，使用文本查询有效地搜索大型视频数据库的内容。由于以自我为中心的视频很长，包含许多活动和事件，使用视频到文本算法会产生数千个描述，其中许多是不正确的。因此，我们提出了一种多任务学习方案，同时生成视频片段的描述，并以端到端的方式总结所得到的描述。我们输入一组视频镜头，网络为每个镜头生成一个文本描述。接下来，用弱监督目标训练的视觉语言内容匹配单元识别正确的描述。最后，我们的网络的最后一个组成部分，称为主旨网络，评估所有的描述，以选择包含关键信息的描述。在为视频生成的数千个描述中，一些信息性的句子被返回给用户。我们在具有挑战性的UT自我中心视频数据集上验证了我们的框架，其中每个视频的长度在3到5个小时之间，平均与3000多个文本描述相关联。生成的文本摘要，包括仅5%（或更少）的生成的描述，在文本域中使用自然语言处理中完善的指标进行比较地面实况摘要。
2020-09-21 cs.CV eess.IV
LIME: Learning Intent-aware Camera Motion from Egocentric Video
ETH Zurich（苏黎世联邦理工学院）；Microsoft（微软）；University of Bonn（波恩大学）
提出LIME模型，从自我中心视频中挖掘多意图相机运动监督，结合自回归观察增益输出与连续流匹配位姿头，实现语言条件相机运动生成。
2026-10-15 cs.CV cs.LG cs.RO
PROVIA: Procedure State Tracking for Online Mistake Detection in Egocentric Videos
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Hunan University（湖南大学）
提出PROVIA，一种通过区分事实状态与接受进度来跟踪程序状态、在线检测第一视角视频中错误的方法，在多个基准上优于仅依赖时间的基线。
2026-09-18 cs.CV
