Cross-modal Map Learning for Vision and Language Navigation
University of Pennsylvania（宾夕法尼亚大学）
我们考虑的问题的视觉和语言导航（VLN）。目前大多数VLN方法都是使用非结构化内存（如LSTM）进行端到端训练，或者使用跨模态注意力对代理的自我中心观察进行训练。与其他作品相比，我们的关键见解是，语言和视觉之间的关联更强，当它发生在明确的空间表示。在这项工作中，我们提出了一个跨模态地图学习模型的视觉和语言导航，首先学习预测自上而下的语义在一个自我中心的地图上观察到的和未观察到的区域，然后预测一个路径作为一组路点的目标。在这两种情况下，预测是由语言通过跨模态注意力机制通知。我们实验测试的基本假设，语言驱动的导航可以解决给定的地图，然后显示竞争力的结果，在完整的VLN-CE基准。
2022-03-21 cs.CV cs.RO
EgoLM: Multi-Modal Language Model of Egocentric Motions
Meta Reality Labs Research（Meta现实实验室）；Nanyang Technological University（南洋理工大学）；University of Tuebingen（蒂宾根大学）
本文提出多功能多模态框架EgoLM，利用大语言模型对自我中心运动与自然语言的联合分布建模，通过将多模态传感器输入投影到语言模型联合潜空间，实现自我中心运动的追踪与理解。
2024-09-26 cs.CV
EPIC-Fusion: Audio-Visual Temporal Binding for Egocentric Action Recognition
University of Bristol（布里斯托大学）；University of Oxford（牛津大学）
我们专注于多模态融合的自我中心的动作识别，并提出了一种新的架构，多模态的时间绑定，即在一定范围内的时间偏移量的模态的组合。我们训练的架构与三个模态- RGB，流和音频-并将它们与中间级融合一起融合表示的稀疏时间采样。与以前的作品相比，模态融合之前的时间聚合，随着时间的推移共享的模态和融合权重。我们提出的架构是端到端训练的，优于单个模态以及模态的后期融合。我们证明了音频在以自我为中心的视觉中的重要性，在每类的基础上，识别动作以及交互对象。我们的方法在最大的以自我为中心的数据集：EPIC-Kitterfly的可见和不可见测试集上实现了最先进的结果，使用公共排行榜的所有指标。
2019-08-22 cs.CV
Egocentric Prediction of Action Target in 3D
New York University（纽约大学）；Tongji University（同济大学）；Tsinghua University（清华大学）
我们有兴趣尽早预测的目标位置，一个人的对象操作动作在3D工作空间从自我中心的视觉。它在人机协作等领域很重要，但尚未得到视觉和学习社区的足够关注。为了刺激对这个具有挑战性的以自我为中心的视觉任务的更多研究，我们提出了一个包含超过100万帧RGB-D和IMU流的大型多模态数据集，并基于我们的高质量2D和3D标签提供评估指标。同时，我们使用递归神经网络设计基线方法，并进行各种消融研究，以验证其有效性。我们的研究结果表明，这个新任务值得机器人、视觉和学习社区的研究人员进一步研究。
2022-03-24 cs.CV
Towards Continual Egocentric Activity Recognition: A Multi-modal Egocentric Activity Dataset for Continual Learning
School of Information and Communication Engineering, University of Electronic Science and Technology of China（电子科技大学信息与通信工程学院）
针对自我中心活动识别在多模态持续学习中的灾难性遗忘问题，本文提出了多模态数据集UESTC-MMEA-CL，并基于RGB、加速度和陀螺仪三种模态对四种基线方法进行了广泛评估。
2023-01-26 cs.CV
Generative Adversarial Network for Future Hand Segmentation from Egocentric Video
Georgia Institute of Technology（佐治亚理工学院）
我们介绍了新的问题，预计未来的手面具从自我中心的视频的时间序列。一个关键的挑战是对未来头部运动的随机性进行建模，这在全球范围内影响头戴式摄像机视频分析。为此，我们提出了一种新的深度生成模型--Ego GAN，它使用3D全卷积网络来学习用于像素级视觉预测的时空视频表示，使用生成对抗网络（GAN）生成未来的头部运动，然后基于视频表示和生成的未来头部运动预测未来的手部蒙版。我们评估我们的方法在EPIC-Kitterfly和EGTEA Gaze+数据集上。我们进行详细的消融研究，以验证我们的方法的设计选择。此外，我们比较我们的方法与以前的国家的最先进的方法对未来的图像分割，并表明我们的方法可以更准确地预测未来的手面具。
2022-07-20 cs.CV
VidEgoThink: Assessing Egocentric Video Understanding Capabilities for Embodied AI
Tsinghua University（清华大学）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））；Tencent Robotics X（腾讯Robotics X实验室）；University of Toronto（多伦多大学）；Zhili College, Tsinghua University（清华大学志道书院）
本文提出VidEgoThink基准，通过视频问答、层次规划、视觉定位和奖励建模四项任务评估具身AI第一人称视角视频理解能力，实验表明现有MLLMs在此类任务上表现不佳，需进一步研究。
2024-10-15 cs.AI cs.CL cs.CV
Robust Egocentric Visual Attention Prediction Through Language-guided Scene Context-aware Learning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文提出语言引导的场景上下文感知学习框架，通过上下文感知器和双训练目标提升自体视频中注意力预测的鲁棒性与准确性。
2026-01-05 cs.CV
Multi-modal Egocentric Activity Recognition using Audio-Visual Features
University of Birmingham（伯明翰大学）
第一人称视频中以自我为中心的活动识别在生活记录、摘要、辅助生活和活动跟踪等各种应用中越来越重要。用于此任务的现有方法是基于使用每个特征的预定权重来解释各种传感器信息。在这项工作中，我们提出了一个新的框架，以自我为中心的活动识别问题的基础上结合视听功能与多核学习（MKL）和多核提升（MKBoost）。为此，首先从视频中提取网格光流、虚拟惯性特征、对数协方差、长方体;音频信号的特征在于使用“超向量”，获得基于高斯混合建模的帧级特征，然后是最大后验适应。然后，提取的多模态特征自适应融合的MKL分类器，其中的特征和核选择/加权和识别任务一起执行。在一些以自我为中心的数据集上对所提出的框架进行了评估。实验结果表明，多模态特征与MKL相结合的识别效果优于现有的识别方法。
2020-04-30 cs.CV
Exploring Missing Modality in Multimodal Egocentric Datasets
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Intelmatix（英特尔矩阵）
针对多模态第一人称视角视频中因各类因素导致的模态缺失问题，提出缺失模态令牌（MMT）概念，有效降低模态缺失带来的性能下降，适配多训练场景且优于现有方法，为鲁棒多模态系统提供新思路。
2024-04-17 cs.CV
Robust Egocentric Referring Video Object Segmentation via Dual-Modal Causal Intervention
Sun Yat-sen University（中山大学）
CERES通过双模态因果干预方法，在自我参照视频中实现鲁棒的目标分割，提升对快速运动和遮挡的鲁棒性。
2025-12-30 cs.CV
Sensor-Augmented Egocentric-Video Captioning with Dynamic Modal Attention
Hitachi, Ltd.（日立制作所）
自动描述视频，或称视频描述，在多媒体领域得到了广泛的研究。本文提出了一种新的任务，传感器增强自我中心的视频描述，一个新构建的数据集，它称为MMAC字幕，和新提出的任务，有效地利用多模态数据的视频和运动传感器，或惯性测量单元（IMU）的方法。虽然传统的视频描述任务由于固定摄像机的有限视角而难以处理人类活动的详细描述，但自我中心视觉具有更大的潜力，可用于基于近得多的视角来生成人类活动的更细粒度的描述。此外，我们利用可穿戴传感器数据作为辅助信息，以减轻自我中心视觉的固有问题：运动模糊，自遮挡和相机范围外的活动。我们提出了一种方法，有效地利用传感器数据与视频数据的基础上的注意力机制，动态地确定模态，需要更多的关注，考虑到上下文信息。我们将所提出的传感器融合方法与MMAC Captions数据集上的强基线进行了比较，发现使用传感器数据作为自我中心视频数据的补充信息是有益的，并且我们提出的方法优于强基线，证明了所提出的方法的有效性。
2021-09-07 cs.CV
Multimodal Knowledge Distillation for Egocentric Action Recognition Robust to Missing Modalities
I3A – University of Zaragoza（萨拉戈萨大学I3A研究中心）；Technical University of Darmstadt, Department of Computer Science（达姆施塔特技术大学计算机科学系）
KARMMA通过多模态知识蒸馏实现抗缺失模态的自体视觉动作识别，以轻量模型提升机器人部署效率。
2026-02-27 cs.CV
Ego4o: Egocentric Human Motion Capture and Understanding from Multi-Modal Input
MPI Informatics（MPI信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；Google（谷歌公司）；University of Pennsylvania（宾夕法尼亚大学）；Saarbrücken Research Center for Visual Computing, Interaction and Artificial Intelligence（萨尔布吕肯视觉计算、交互与人工智能研究中心）
Ego4o框架利用VR/AR头显等可穿戴设备的多模态稀疏输入，结合运动VQ-VAE与多模态LLM，在部分输入缺失时仍能同时实现人体运动捕捉与运动描述生成，并提升整体精度。
2025-04-11 cs.CV
Egocentric Human Trajectory Forecasting with a Wearable Camera and Multi-Modal Fusion
Imperial College London（帝国理工学院）；Tencent Robotics X（腾讯Robotics X）；Stanford University（斯坦福大学）；Shanghai Jiao Tong University（上海交通大学）
在本文中，我们解决的问题预测的轨迹自我中心的相机佩戴者（自我人）在拥挤的空间。从不同相机佩戴者在现实世界中行走的数据中学习到的轨迹预测能力可以转移到帮助视障人士导航，以及在移动机器人中灌输人类导航行为，从而实现更好的人机交互。为此，构建了一个新的以自我为中心的人类轨迹预测数据集，包含佩戴相机在拥挤空间中导航的人的真实轨迹，以及提取的丰富上下文数据。我们提取并利用三种不同的模态来预测相机佩戴者的轨迹，即，他/她的过去轨迹、附近人的过去轨迹以及诸如场景语义或场景深度的环境。一个基于transformer的编码器-解码器神经网络模型，集成了一种新的级联交叉注意力机制，融合多种形式，已被设计用于预测未来的轨迹的相机佩戴者。已经进行了大量的实验，结果表明，我们的模型优于自我中心的人类轨迹预测的最先进的方法。
2022-07-07 cs.CV
EGO-TOPO: Environment Affordances from Egocentric Video
UT Austin（德克萨斯大学奥斯汀分校）；Facebook AI Research（Facebook人工智能研究）
第一人称视频自然地将物理环境的使用带到了最前沿，因为它显示了相机佩戴者根据他的意图在空间中流畅地互动。然而，目前的方法在很大程度上将观察到的操作与持久空间本身分离开来。我们介绍了一个模型的环境启示，是直接从自我中心的视频。其主要思想是获得一个以人为中心的物理空间（如厨房）模型，该模型捕获（1）交互的主要空间区域和（2）它们支持的可能活动。我们的方法将空间分解为来自第一人称活动的拓扑图，将自我视频组织成一系列对不同区域的访问。此外，我们展示了如何在多个相关环境中链接区域（例如，来自多个厨房的视频）以获得环境功能的合并表示。在EPIC-Kitterfly和EGTEA+上，我们展示了我们在长视频中学习场景启示和预测未来动作的方法。
2020-03-27 cs.CV
Multimodal Future Localization and Emergence Prediction for Objects in Egocentric View with a Reachability Prior
University of Freiburg（弗莱堡大学）；IMRA-EUROPE（欧洲IMRA公司）
在本文中，我们研究的问题，预计未来的动态，特别是未来的位置，其他车辆和行人，在移动的车辆。我们解决了两个基本挑战：（1）由于使用单个RGB相机的自我中心视图和由于车辆的自我运动而引起的相当大的视场变化而导致的部分可见性;（2）未来状态分布的多模态。与许多以前的作品相比，我们不假设结构知识的地图。我们，而不是估计可达性之前的某些类别的对象从当前图像的语义图，并将其传播到未来使用计划的自我运动。实验表明，可达性先验与多假设学习相结合，提高了对跟踪对象未来位置的多模态预测，并首次提高了新对象的出现。我们还展示了有前途的zero-shot转移到看不见的数据集。源代码可从$\href{https://github.com/lmb-freiburg/FLN-EPN-RPN}{\text{this https URL.}}$获得
2020-06-08 cs.CV
X-MIC: Cross-Modal Instance Conditioning for Egocentric Action Generalization
Meta Reality Labs（元宇宙实验室）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
本文提出 X-MIC 跨模态适配框架，通过解耦时间建模与冻结视觉编码器，将文本嵌入对齐到第一人称视频，在三个数据集上显著提升了跨数据集动作泛化能力。
2024-03-28 cs.CV
Test-Time Adaptation for Combating Missing Modalities in Egocentric Videos
Center of Excellence in Generative AI, KAUST（生成式AI卓越中心，阿卜杜拉国王科技大学）
针对以自我为中心视频中因模态缺失需重新训练模型的问题，提出测试时自适应方法MiDl，通过最小化互信息与自蒸馏使模型适应缺失模态并保持性能，无需重训即显著提升表现。
2025-03-02 cs.CV
Omnia de EgoTempo: Benchmarking Temporal Understanding of Multi-Modal LLMs in Egocentric Videos
Google（谷歌）；Politecnico di Torino（都灵理工大学）
本文提出 EgoTempo 基准，通过要求整合全视频信息的第一视角视频问答任务，评估并揭示当前 MLLM 的时间推理能力仍存在明显不足。
2025-03-17 cs.CV
MacJEPA: Missingness-Robust Audio-Visual Recognition from Untrimmed Egocentric Videos
Peter L. Reichertz Institute for Medical Informatics, Hannover Medical School（汉诺威医学院彼得·L·赖歇茨医学信息学研究所）；Lower Saxony Center for Artificial Intelligence and Causal Methods in Medicine (CAIMed)（下萨克森州医学人工智能与因果方法中心（CAIMed））
MacJEPA通过掩码上下文查询JEPA和窗口局部模态丢弃，在未修剪自我中心视频中实现视听识别对时间局部传感器中断的鲁棒性，单阶段联合优化，无需测试时适应，在Epic-Kitchens-100和Epic-Sounds上超越缺失模态基线。
2026-10-12 cs.CV
EgoAVU: Egocentric Audio-Visual Understanding
Meta；University of Maryland, College Park（马里兰大学College Park分校）
EgoAVU通过生成第一人称音频视觉叙述和问题，提升多模态大语言模型在第一人称视频理解中的性能。
2026-02-05 cs.CV
EgoVIS@CVPR: PAIR-Net: Enhancing Egocentric Speaker Detection via Pretrained Audio-Visual Fusion and Alignment Loss
Indiana University（印第安纳大学）
针对第一人称视频主动说话者检测难题，本文提出 PAIR-Net，融合部分冻结 Whisper 与微调 AV-HuBERT，并以模态间对齐损失缓解不平衡，在 Ego4D 上取得 76.6% mAP 的最先进结果。
2025-09-26 cs.CV
Social Intuition vs. Machine Reasoning: Anticipating Human-Robot Interaction from multiple modalities
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Loria（洛里亚实验室）；HUCEBOT；CEA, List（法国原子能和替代能源委员会 技术与信息技术部门）；Université Paris-Saclay（巴黎-萨克雷大学）
本研究通过对比人类与轻量级姿态模型及视觉-语言模型在HUI360数据集上的交互预测表现，发现人类在完整视频输入下显著优于机器，表明推理能力不足以匹敌社会直觉。
2026-09-09 cs.CV
MECCANO: A Multimodal Egocentric Dataset for Humans Behavior Understanding in the Industrial-like Domain
University of Catania（卡塔尼亚大学）；Next Vision s.r.l.（Next Vision有限责任公司）
本文提出MECCANO多模态第一人称工业场景数据集，包含注视、深度和RGB数据，并围绕动作识别、主动物体检测、人-物交互检测、动作预测和下一主动物体检测五项任务构建基准，证明现有算法在该场景下仍面临挑战。
2022-09-19 cs.CV
Cross-Modal Action Recognition in Egocentric Video Using Mamba: Integrating RGB and Hand Skeleton Streams via CLS Token Fusion Strategies
Univ. of Buenos Aires. Faculty of Exact and Natural Sciences. Dept. of Computer Science (DC)（布宜诺斯艾利斯大学。精确与自然科学学院。计算机科学系）；CONICET-Univ. of Buenos Aires. Institute of Computer Sciences (ICC)（布宜诺斯艾利斯大学CONICET联合体。计算机科学研究所）
提出一种基于Mamba的跨模态架构，通过四种CLS令牌融合策略（朴素、平均、加权和基于上下文）整合RGB视频和手部骨架数据，在H2O数据集上平均策略达到最佳性能，Top-1准确率在Tiny配置下提升超10%。
2026-05-26 cs.CV
EgoInstruct: An Egocentric Video Dataset of Face-to-face Instructional Interactions with Multi-modal LLM Benchmarking
The University of Tokyo（东京大学）
本文构建面对面教学第一视角视频数据集 EgoInstruct，标注流程步骤分割与对话状态分类任务，并评测联合处理图像、音频和文本的 MLLMs，证明其无需任务专用微调即可优于专用基线。
2025-09-26 cs.CV
EgoM2P: Egocentric Multimodal Multitask Pretraining
ETH Zürich（苏黎世联邦理工学院）；Zhejiang University（浙江大学）；Microsoft（微软公司）
EgoM2P提出基于高效时间分词器和掩码建模的以自我为中心多模态多任务预训练框架，统一支持注视预测、相机跟踪、深度估计及视频合成，性能媲美专用模型且速度快一个数量级。
2026-11-05 cs.CV
Trear: Transformer-based RGB-D Egocentric Action Recognition
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Zhengzhou University（郑州大学）；University of Wollongong（伍伦贡大学）
在本文中，我们提出了一个\textbf{Tr} ansformer为基础的RGB-D \textbf{e} gocentric \textbf{a}的\textbf{r}生态认知框架，称为Trear。它由两个模块组成，帧间注意编码器和相互注意融合模块。我们采用自注意力机制代替光流或递归单元来建模来自不同模态的数据的时间结构。随机裁剪输入帧以减轻数据冗余的影响。来自每个模态的特征通过所提出的融合块进行交互，并通过简单而有效的融合操作进行组合，以产生联合RGB-D表示。在两个以自我为中心的大型RGB-D数据集THU-READ和FPHA以及一个小型数据集WCVS上的实验表明，所提出的方法在很大程度上优于最先进的结果。
2021-01-05 cs.CV
SlowFast Rolling-Unrolling LSTMs for Action Anticipation in Egocentric Videos
University of Padova（帕多瓦大学）
由于人类行为固有的多模态性质，以自我为中心的视频中的动作预期是一项艰巨的任务。此外，某些动作比其他动作发生得更快或更慢，这取决于参与者或周围的上下文，每次都可能发生变化，并导致不同的预测。基于这一思想，我们建立在RULSTM架构，这是专门设计用于预测人类的行动，并提出了一种新的基于注意力的技术，同时评估，从三种不同的方式，即RGB，光流，和提取的对象中提取的慢和快的功能。两个分支以不同的时间尺度处理信息，即，帧速率和几个融合方案被认为是提高预测精度。我们在EpicKitchen-55和EGTEA Gaze+数据集上进行了广泛的实验，并证明了我们的技术系统地改善了RULSTM架构在不同预期时间的Top-5准确度指标的结果。
2021-09-02 cs.AI cs.CV cs.LG
EgoVLPv2: Egocentric Video-Language Pre-training with Fusion in the Backbone
Johns Hopkins University（约翰斯·霍普金斯大学）；Meta AI；University of Toronto（多伦多大学）；National University of Singapore（新加坡国立大学）
针对现有第一人称视频-语言预训练框架仅微调时做跨模态融合的局限，提出EgoVLPv2将融合直接嵌入骨干网络，预训练即学习强跨模态表征，轻量高效且在多下游任务上达SOTA。
2023-08-19 cs.CV
DMC$^3$: Dual-Modal Counterfactual Contrastive Construction for Egocentric Video Question Answering
Nanjing University of Posts and Telecommunications（南京邮电大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Peng Cheng Laboratory（鹏城实验室）；MAIS, Institute of Automation, Chinese Academy of Sciences（自动化所MAIS）
DMC$^3$通过双模态反事实对比构建方法提升第一人称视频问答性能，实现SOTA效果。
2025-12-01 cs.CV cs.MM
Beyond the Cartesian Illusion: Testing Two-Stage Multi-Modal Theory of Mind under Perceptual Bottlenecks
College of Computer Science, Beijing Information Science and Technology University（北京信息科技大学计算机学院）
本文研究了多模态大语言模型在感知瓶颈下的双阶段空间推理能力，提出了一种基于锚点的具身体验空间分解链式推理方法，以解决空间对称性和视角模糊性问题，从而提升多模态理论 of Mind 的表现。
2026-05-18 cs.AI cs.CV
The Audio-Visual Conversational Graph: From an Egocentric-Exocentric Perspective
Georgia Tech（佐治亚理工学院）；Meta Reality Labs（元宇宙实验室）；GenAI, Meta（元公司生成式人工智能部门）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
本文提出从自我中心视频推断外部中心对话交互的新问题，并设计多模态 AV-CONV 框架，利用自注意力联合建模多人听说行为，实验验证其优于基线。
2024-04-03 cs.CV
Intention-Guided Cognitive Reasoning for Egocentric Long-Term Action Anticipation
针对第一视角长期动作预测现有方法的三类局限，提出两阶段框架INSIGHT，融合手-物交互特征、动名语义依赖与意图引导的认知推理，在多个基准上取得SOTA性能。
2025-11-15 cs.AI cs.CV
EgoSound: Benchmarking Sound Understanding in Egocentric Videos
Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）；Nankai University（南开大学）；East China Normal University（华东师范大学）；KAUST（卡塔尔大学）
EgoSound首次系统评估多模态大语言模型在egocentric视频中的声音理解能力，包含7个任务分类，揭示当前模型在空间和因果理解上的局限。
2026-04-18 cs.CV
Egocentric RGB+Depth Action Recognition in Industry-Like Settings
University of Central Florida（中佛罗里达大学）
本文面向类工业场景的自我中心 RGB-D 动作识别，基于 3D Video SWIN Transformer、指数衰减 focal loss 与后期融合，在 MECCANO 上显著超越先前方法并赢得 ICIAP 2023 挑战赛冠军。
2023-09-25 cs.CV eess.IV
Project Aria: A New Tool for Egocentric Multi-Modal AI Research
Meta Reality Labs Research（Meta现实实验室）
本文介绍Meta Reality Labs Research打造的Aria自我中心多模态数据记录与流式设备及其硬件传感器配置和配套软件工具，以推动面向未来AR设备的全天可穿戴、情境感知AI研究。
2023-10-01 cs.CV cs.HC
Multimodal Distillation for Egocentric Action Recognition
KU Leuven University（鲁汶大学）
本研究针对第一人称动作识别任务，提出多模态知识蒸馏框架，让仅用RGB帧推理的学生模型达到多模态教师模型的性能，同时降低计算复杂度，在Epic-Kitchens等数据集上表现优于同架构监督训练模型。
2023-07-18 cs.CV
MMG-Ego4D: Multi-Modal Generalization in Egocentric Action Recognition
Meta Reality Labs（Meta现实实验室）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出多模态泛化（MMG）问题，构建MMG-Ego4D数据集，并引入新融合模块与训练策略，以提升第一人称动作识别在模态缺失或跨模态零样本下的泛化能力。
2023-05-12 cs.AI cs.CV
Spherical World-Locking for Audio-Visual Localization in Egocentric Videos
Seoul National University（首尔大学）；Meta
本文提出 Spherical World-Locking（SWL）框架，通过头部朝向将多感官信号隐式对齐到世界锁定球面，并用保持球面结构的统一 encoder-decoder transformer 提升自我中心视频中的视听定位与行为预测。
2024-08-09 cs.CV
UNIEGO: Proxies as Mediators for Unified Egocentric Video Representation Learning
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
提出分层多教师蒸馏框架UNIEGO，通过代理模型将异构教师知识转化为同质自我中心空间，并采用选择性代理蒸馏自适应筛选可靠监督，在三个自我中心视频理解任务上达到最优。
2026-06-19 cs.CV cs.LG
EgoPoseVR: Spatiotemporal Multi-Modal Reasoning for Egocentric Full-Body Pose in Virtual Reality
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）
EgoPoseVR通过融合头戴设备运动信息与中心RGB-D观测，实现了在虚拟现实中的准确全身姿态跟踪，提高了姿态估计的准确性和稳定性。
2026-02-05 cs.CV cs.ET cs.GR
Predicting the Future from First Person (Egocentric) Vision: A Survey
University of Catania（卡塔尼亚大学）；Philips Research（飞利浦研究院）
以自我为中心的视频可以带来大量关于人类如何感知世界和与环境交互的信息，这对于分析人类行为是有益的。由于可穿戴设备的日益普及以及新的大规模自我中心数据集提供的机会，自我中心视频分析的研究正在迅速发展。随着计算机视觉技术继续以越来越快的速度发展，与预测未来相关的任务开始从理解现在的需要发展。预测未来人类活动、轨迹和与物体的交互在诸如人机交互、工业和日常生活场景的辅助可穿戴技术、娱乐和虚拟或增强现实等应用中至关重要。这项调查总结了在未来预测的背景下，从以自我为中心的愿景，概述了应用程序，设备，存在的问题，常用的数据集，模型和输入方式的研究进展。我们的分析强调，从自我中心的视觉进行未来预测的方法可以在一系列应用中产生重大影响，进一步的研究工作应该致力于任务的标准化和考虑现实世界场景的数据集的建议，例如具有工业职业的数据集。
2021-07-28 cs.CV
Grounded Multi-Hop VideoQA in Long-Form Egocentric Videos
Shanghai Jiao Tong University（上海交通大学）
本文研究长视频第一人称多跳视频问答任务，构建了大规模数据集与基准MultiHop-EgoQA，并提出新架构GeLM，通过引入定位模块增强多模态大语言模型的时序证据检索能力，显著提升了多跳定位推理性能并达到SOTA。
2024-08-26 cs.CV
Egocentric Action-aware Inertial Localization in Point Clouds with Vision-Language Guidance
The University of Tokyo（东京大学）；CyberAgent AI Lab（CyberAgent AI实验室）
针对 IMU 漂移与多样动作导致的定位难题，本文提出 EAIL 框架，借助视觉-语言引导将动作线索与点云环境特征对比对齐，并在定位同时识别动作。
2025-07-26 cs.CV
Ego-centric Predictive Model Conditioned on Hand Trajectories
本文提出一个以手部轨迹为条件的统一二阶段预测框架，通过连续状态建模和因果交叉注意力引导潜在扩散模型，在自我中心场景中联合预测未来动作并生成视觉结果，在Ego4D、BridgeData和RLBench上优于现有基线。
2025-08-28 cs.CV
Ego-VPA: Egocentric Video Understanding with Parameter-efficient Adaptation
Intel Labs（英特尔实验室）；UC San Diego（加州大学圣迭戈分校）
针对第一人称视频理解，提出基于基础提示共享与稀疏近似的参数高效自适应方法Ego-VPA，仅用0.84%可学习参数达到全量微调性能。
2025-02-27 cs.CV cs.LG
HENASY: Learning to Assemble Scene-Entities for Egocentric Video-Language Model
University of Arkansas at Fayetteville（阿肯色大学费耶特维尔分校）
针对现有视频-语言模型可解释性不足、细粒度关系捕捉有限的问题，提出分层实体组装模型HENASY，通过时空令牌分组组装场景实体，结合多粒度对比损失，在保证下游任务性能的同时提升了模型可解释性。
2024-11-01 cs.CV
HAP: A Hand-Driven Active Perception Framework for Egocentric Head Motion Prediction
Shanghai Jiao Tong University（上海交通大学）；Zhongguancun Academy（中关村学院）；China University of Mining and Technology（中国矿业大学）
针对自我中心头部运动预测未充分探索的问题，提出手驱动主动感知框架HAP，利用手部运动推断目标意图并建模动态遮挡，在公共数据集和Bottle数据集上取得更低预测误差。
2026-09-17 cs.CV cs.RO
G3Ego: Gaze-Guided Graphs for Egocentric Action Understanding
University of Zagreb（萨格勒布大学）；University of Twente（特文特大学）
本研究提出G3Ego框架，将注视直接融入图构建以识别动作相关实体，在EGTEA Gaze+和MECCANO数据集上实现有竞争力的动作理解性能，且在类别不平衡评估下提升Macro-F1，无需昂贵视频预训练。
2026-08-21 cs.CV
With a Little Help from my Temporal Context: Multimodal Egocentric Action Recognition
University of Bristol（布里斯托大学）；Google Research（谷歌研究院）
在以自我为中心的视频中，动作是快速连续发生的。我们利用行动的时间背景，并提出了一种方法，学习参加周围的行动，以提高识别性能。为了结合时间背景，我们提出了一个基于变换器的多模态模型，摄取视频和音频作为输入方式，与一个明确的语言模型提供的动作序列上下文，以提高预测。我们在EPIC-KITCHENS和EGTEA数据集上测试了我们的方法，报告了最先进的性能。我们的消融展示了利用时间背景以及将音频输入模态和语言模型重新评分预测的优势。代码和模型：https://github.com/ekazakos/MTCN.
2021-11-01 cs.CV cs.SD eess.AS
EgoTV: Egocentric Task Verification from Natural Language Task Descriptions
Örebro University（奥雷布罗大学）；Meta
该研究提出EgoTV基准与合成数据集，用于验证第一视角视频中任务执行是否符合自然语言描述，并提出NSG神经符号接地方法，在EgoTV和真实数据集上验证了其任务跟踪与验证能力，还开源了相关资源。
2025-11-11 cs.CV
Rolling-Unrolling LSTMs for Action Anticipation from First-Person Video
University of Catania（卡塔尼亚大学）
在本文中，我们解决了自我中心的行动预期的问题，即，预测相机佩戴者将在不久的将来执行什么动作以及他们将与哪些对象交互。具体来说，我们贡献了Rolling-Unrolling LSTM，这是一种学习架构，可以从以自我为中心的视频中预测动作。该方法基于三个组成部分：1）由两个LSTM组成的架构，以对总结过去和推断未来的子任务进行建模，2）序列完成预训练技术，其鼓励LSTM专注于不同的子任务，以及3）模态注意（MATT）机制，其有效地融合通过处理RGB帧执行的多模态预测，光流场和基于对象的特征。所提出的方法在EPIC-Kitterfly、EGTEA Gaze+和ActivityNet上进行了验证。实验表明，所提出的架构在以自我为中心的视频领域是最先进的，在2019年EPIC-Kitchen-egocentric action prediction challenge中取得了最佳表现。该方法还在ActivityNet上实现了不基于无监督预训练的方法的竞争性能，并推广到早期动作识别和动作识别的任务。为了鼓励对这个具有挑战性的主题的研究，我们在我们的网页上提供了我们的代码，训练模型和预提取的特征：www.example.com。
2020-05-08 cs.CV
