Robust Egocentric Visual Attention Prediction Through Language-guided Scene Context-aware Learning
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
本文提出语言引导的场景上下文感知学习框架,通过上下文感知器和双训练目标提升自体视频中注意力预测的鲁棒性与准确性。
2026-01-05 cs.CV
Talking to Me or Someone Else? Rethinking Talk-to-Me Detection in Egocentric Videos
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文重新定义第一视角视频中的“对我说话”检测为在线帧级任务,构建含约90万标注帧的数据集,提出融合音频、视觉和语音语义的多模态模型,帧级F1达75.5%。
2026-09-15 cs.AI cs.CV
Egocentric Visibility-Aware Human Pose Estimation
PICO
本文提出Eva-3M数据集和EvaPose方法,通过引入关键点可见性标注提升视角感知人体姿态估计的准确性。
2026-02-27 cs.CV
Exo2EgoHOI: Hand-Object-Interaction Aware Exocentric-to-Egocentric Video Generation
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Zhejiang University(浙江大学);InSpatio
提出Exo2EgoHOI框架,利用4D HOI先验和分解门控交叉注意力,在外视到自我中心视频生成中保留手-物交互和目标一致性,在ARCTIC-HOI和Ego-Exo4D上显著提升性能。
2026-10-01 cs.AI cs.CV
Imprint: Online Memory Compression for Long-Horizon Egocentric QA
IIT, Kharagpur(印度理工学院卡哈拉格普尔分校)
提出交互中心记忆框架Imprint,将长程自我中心记忆建模为在线压缩问题,利用人类记忆巩固信号选择性保留和压缩交互,在7天基准上提升QA准确率并大幅降低存储和检索开销。
2026-07-02 cs.CV
3D-Aware Instance Segmentation and Tracking in Egocentric Videos
University of Oxford(牛津大学);NAVER LABS Europe(NAVER欧洲实验室)
本文提出一种融合场景几何、3D质心跟踪与实例分割的第一人称视频3D感知方法,在EPIC Fields上显著提升跟踪与分割一致性,并支持3D重建等下游任务。
2024-11-20 cs.AI cs.CV cs.LG
Bringing Online Egocentric Action Recognition into the wild
Politecnico di Torino(都灵理工大学);Italian Institute of Technology(意大利技术研究院);Consortium Cini(奇尼联盟)
为了实现安全有效的人机合作,开发用于识别人类活动的模型至关重要。以自我为中心的视觉似乎是解决这个问题的可行解决方案,因此许多作品提供了深度学习解决方案来从第一人称视频中推断人类动作。然而,尽管非常有前途,但其中大多数都没有考虑现实部署带来的主要挑战,例如模型的可移植性,实时推理的需求以及相对于新领域的鲁棒性(即,新空间、用户、任务)。在本文中,我们设定了以自我为中心的视觉模型在现实应用中应该考虑的边界,定义了一种新的以自我为中心的动作识别设置,鼓励研究人员开发新的应用感知解决方案。我们还提出了一种新的模型无关技术,可以在这种新的环境中快速重新利用现有架构,证明了在微型设备(Jetson Nano)上部署模型的可行性,并以非常低的能耗(平均2.4W,50 fps)直接在边缘执行任务。该代码可在https://github.com/EgocentricVision/EgoWild上公开获取。
2023-03-09 cs.CV
VidParse: Online Parsing of Egocentric Procedures Like a Pro
University of Maryland(马里兰大学)
VidParse是一种无需训练的在线框架,通过图约束推理处理第一人称视角视频的流程解析,在复杂多步骤解析精度上较基线提升最高达10倍。
2026-10-30 cs.CV
Scene-aware Egocentric 3D Human Pose Estimation
MPI Informatics(马克斯·普朗克信息学研究所);Saarland Informatics Campus(萨尔兰信息学园区);Meta Reality Labs(Meta现实实验室);Google(谷歌)
针对头戴鱼眼相机下人体遮挡与人景交互导致的3D姿态估计难题,提出融合场景深度、体素表示与V2V回归的场景感知方法,并构建EgoGTA和EgoPW-Scene数据集,实现更准确且物理合理的姿态估计。
2023-09-25 cs.CV
Incentivizing Temporal-Awareness in Egocentric Video Understanding Models
Virginia Tech(弗吉尼亚理工大学);Apple(苹果公司);Harvard University(哈佛大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);UC Davis(加州大学戴维斯分校)
本文提出TGPO算法,通过强化学习提升多模态大语言模型在自体视频理解中的时间感知能力,实验表明其在时间接地和因果连贯性方面优于现有方法。
2026-03-28 cs.CV
EgoCogNav: Cognition-aware Human Egocentric Navigation
Cornell University(康奈尔大学);Georgia Institute of Technology(佐治亚理工学院)
提出EgoCogNav多模态自我中心导航框架,联合预测路径不确定性、轨迹和头部运动,并引入CEN数据集,实验表明其能学习与人类扫描、犹豫等行为相关的感知不确定性。
2026-07-01 cs.CV cs.LG
TI-PREGO: Chain of Thought and In-Context Learning for Online Mistake Detection in PRocedural EGOcentric Videos
Sapienza University of Rome(萨皮恩扎罗马大学);ItalAI;University of Catania(卡塔尼亚大学);National Institute of Nuclear Physics - LNF(国家核物理研究所 - LNF)
TI-PREGO通过双分支架构结合思维链和上下文学习,实现对第一人称视频中开放集程序错误的在线检测,展现方法在动态场景中的鲁棒性和有效性。
2026-01-05 cs.CV
EAGLE: Episodic Appearance- and Geometry-aware Memory for Unified 2D-3D Visual Query Localization in Egocentric Vision
针对第一视角视觉查询定位受相机运动等因素影响的挑战,提出EAGLE框架,通过情景化外观与几何感知记忆巩固机制及视觉几何接地Transformer,统一2D-3D定位并在Ego4D-VQ基准上实现最先进性能。
2025-11-12 cs.CV
EgoCITE: Context-Augmented Indexing and Time-Aware Retrieval for Long-Horizon Egocentric Memory
University of Michigan(密歇根大学)
本研究针对长时程自我中心记忆系统的索引不可靠、忽略时序意图的问题,提出EgoCITE框架,经多数据集评估,其准确率优于基线且成本显著低于长上下文LLM智能体。
2026-08-20 cs.AI cs.CL cs.CV
Online Episodic Memory Visual Query Localization with Egocentric Streaming Object Memory
University of Udine(乌迪内大学);University of Catania(卡塔尼亚大学);York University(约克大学)
本文提出OVQ2D任务,通过在线处理视频流实现对象定位,引入ESOM框架整合发现、跟踪和记忆模块,实验显示其在Ego4D数据集上表现优异,但仍有提升空间。
2025-12-19 cs.CV
StableHand: Quality-Aware Flow Matching for World-Space Dual-Hand Motion Estimation from Egocentric Video
Mohamed bin Zayed University of Artificial Intelligence(莫扎德·本·泽德人工智能大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Imperial College London(伦敦帝国理工学院)
本文提出StableHand,一种质量感知的流匹配框架,用于从第一人称视频中恢复世界空间双臂的4D运动,通过分解手部姿态估计器提取的观测质量为四个通道,并利用学习的质量网络预测质量信号,以提高运动估计的鲁棒性。
2026-10-27 cs.AI cs.CV
ARGaze: Autoregressive Transformers for Online Egocentric Gaze Estimation
Department of Computer Science, University of Texas at Dallas, Richardson, TX, USA.(德克萨斯大学达拉斯分校计算机科学系);College of Computing, Georgia Institute of Technology, Atlanta, GA, USA(佐治亚理工学院计算机学院);Department of Computer Science, University of Wisconsin-Madison, Madison, WI, USA(威斯康星大学麦迪逊分校计算机科学系);Allen School of Computer Science, University of Washington, USA(华盛顿大学阿伦计算机科学学院)
ARGaze通过自回归变换器模型,利用时间连续性提升在线第一人称注视估计的鲁棒性与准确性。
2026-02-04 cs.CV
EgoTextVQA: Towards Egocentric Scene-Text Aware Video Question Answering
Hefei University of Technology(合肥工业大学);National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学)
本研究推出面向第一视角场景文本问答的基准EgoTextVQA,评估发现现有多模态大模型表现不佳,同时指出了提升性能的关键方向,为相关研究提供可靠测试平台。
2025-03-21 cs.CV cs.MM
X-Ego: Acquiring Team-Level Tactical Situational Awareness via Cross-Egocentric Contrastive Video Representation Learning
University of Southern California(南加州大学);USC Institute for Creative Technologies(USC创意技术研究所)
该研究推出包含124小时《Counter-Strike 2》职业赛事第一人称视角数据的X-Ego-CS基准,提出跨第一人称对比学习方法以提升团队战术态势感知,在位置预测任务上验证了有效性,为多智能体战术学习研究提供支撑。
2025-10-22 cs.AI cs.CV cs.LG
Controllable Egocentric Video Generation via Occlusion-Aware Sparse 3D Hand Joints
ETH Zurich(苏黎世联邦理工学院);MPI for Informatics(信息研究所);Microsoft(微软)
提出利用稀疏3D手部关节点作为显式控制信号,通过遮挡感知特征提取和3D加权机制,实现高保真、3D一致的第一人称手物交互视频生成。
2026-06-26 cs.CV
EgoAdapt: A multi-stream evaluation study of adaptation to real-world egocentric user video
Meta AI;KU Leuven(鲁汶大学)
本文提出 EgoAdapt 基准与多流元评估框架,在 Ego4d 第一人称视频上研究设备端在线自适应,并用新指标评估微调和经验回放。
2023-07-11 cs.AI cs.CV
Ego-METAS: Egocentric online Multimodal Energy-efficient Temporal Action Segmentation benchmark
University of Zaragoza - I3A(萨拉戈塔大学 - I3A);Department of Mathematics and Computer Science, University of Catania(卡塔尼亚大学数学与计算机科学系)
为解决资源受限设备上的能耗感知问题,提出了首个自我中心在线多模态节能时间动作分割基准Ego-METAS,包含超过100小时未裁剪视频和5种模态,要求模型动态选择传感器并遵守能量预算,评估显示最优路由高度依赖场景,现有方法难以适应连续环境。
2026-05-29 cs.CV
EMAG: Ego-motion Aware and Generalizable 2D Hand Forecasting from Egocentric Videos
Keio University(庆应义塾大学);NVIDIA(英伟达)
本文提出EMAG方法,通过引入单应性矩阵表示的自我运动及光流、轨迹等模态,解决自我中心视频中2D手部预测受自我运动影响和视觉过拟合问题,在Ego4D和EPIC-Kitchens 55数据集上取得优于先前方法的性能。
2024-08-23 cs.CV
Uncertainty-aware State Space Transformer for Egocentric 3D Hand Trajectory Forecasting
OPPO US Research Center(OPPO美国研究中心);University at Buffalo(布法罗大学);Michigan State University(密歇根州立大学);Texas A&M University(得克萨斯农工大学)
本文提出不确定性感知状态空间Transformer(USST),结合注意力机制、任意不确定性、速度约束和视觉提示微调,用于从自我中心RGB视频预测三维手部轨迹,并在H2O和EgoPAT3D上验证其优越性。
2023-09-17 cs.CV
Egocentric zone-aware action recognition across environments
Politecnico di Torino(都灵理工大学)
本文针对自我中心视觉中动作与背景难以分离的问题,提出将以活动为中心区域的特定外观与领域无关表示解耦,从而提升 EAR 模型的跨领域可迁移性,并在 EPIC-Kitchens-100 和 Argo1M 数据集上验证了有效性。
2024-09-21 cs.CV
Learning 3D-aware Egocentric Spatial-Temporal Interaction via Graph Convolutional Networks
Purdue University(普渡大学);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心);Honda Research Institute USA(美国本田研究院)
为了实现智能自动驾驶系统,一个有前途的策略是了解人类如何在复杂的驾驶情况下驾驶并与道路使用者互动。在本文中,我们提出了一个三维感知的自我为中心的时空交互框架自动驾驶应用。图卷积网络(GCN)被设计用于交互建模。我们引入了三个新的概念GCN。首先,我们将自我中心的交互分解为自我-事物和自我-事物的交互,由两个GCN建模。在这两个GCN中,自我节点被引入以对事物对象之间的交互进行编码(例如,汽车和行人),以及填充对象之间的交互(例如,车道标记和交通灯)。其次,对象的3D位置被显式地纳入GCN中,以更好地建模以自我为中心的交互。第三,为了在GCN中实现自我-东西交互,我们提出了一个MaskAlign操作来提取不规则对象的特征。我们验证了所提出的框架上的战术驾驶员行为识别。使用本田研究所驾驶数据集,最大的数据集与不同的战术驾驶员行为注释进行了广泛的实验。我们的框架在两个实验设置上分别比基线提高了3.9%和6.0%。此外,我们可视化学习的亲和矩阵,编码自我的东西和自我的东西的相互作用,以展示所提出的框架可以有效地捕捉相互作用。
2020-03-02 cs.CV cs.RO
How to Correctly Make Mistakes: A Framework for Constructing and Benchmarking Mistake Aware Egocentric Procedural Videos
University of Trento(特伦托大学);University of Edinburgh(爱丁堡大学);Italy(意大利);United Kingdom(大不列颠岛)
本文提出PIE-V框架,通过引入可控的人类合理偏差来构建和评估错误感知的第一人称视频,结合心理学启发的错误计划、纠正计划、LLM作家和评委,提升视频的合理性和一致性。
2026-04-16 cs.CV
Differentiable Task Graph Learning: Procedural Activity Representation and Online Mistake Detection from Egocentric Videos
University of Catania(卡塔尼亚大学)
本文提出可微任务图学习框架,通过边权重最大似然优化实现梯度学习,提升任务图预测与第一人称视频在线错误检测性能。
2025-01-09 cs.CV
CaRe-Ego: Contact-aware Relationship Modeling for Egocentric Interactive Hand-object Segmentation
Department of Electrical and Electronic Engineering, The Hong Kong Polytechnic University(电气与电子工程系,香港理工大学)
CaRe-Ego通过手引导物体特征增强器和以接触为中心的物体解耦策略,显式建模手物接触关系并解耦物体类别耦合,在域内外测试中显著提升自我中心手物分割性能。
2025-05-05 cs.CV
Mamba-OTR: a Mamba-based Solution for Online Take and Release Detection from Untrimmed Egocentric Video
Department of Mathematics and Computer Science - University of Catania(数学与计算机科学系 - 卡塔尼亚大学)
本文提出基于Mamba架构的Mamba-OTR模型,通过focal loss和与评估指标对齐的正则化方案解决未剪辑第一人称视频中取放在线检测的标签不平衡与效率问题,在EPIC-KITCHENS-100上显著优于transformer和普通Mamba基线。
2025-07-22 cs.CV
Flowing from Reasoning to Motion: Learning 3D Hand Trajectory Prediction from Egocentric Human Interaction Videos
Meta;University of Washington(华盛顿大学)
本文提出EgoMAN数据集和模型,通过视觉语言推理与运动生成的轨迹-令牌接口,实现阶段感知的3D手轨迹预测,并在现实场景中实现泛化。
2025-12-30 cs.AI cs.CV cs.RO
Egocentric Action-aware Inertial Localization in Point Clouds with Vision-Language Guidance
The University of Tokyo(东京大学);CyberAgent AI Lab(CyberAgent AI实验室)
针对 IMU 漂移与多样动作导致的定位难题,本文提出 EAIL 框架,借助视觉-语言引导将动作线索与点云环境特征对比对齐,并在定位同时识别动作。
2025-07-26 cs.CV
EgoNav: Egocentric Scene-aware Human Trajectory Prediction
Stanford University(斯坦福大学)
本文提出EgoNav方法,利用身体摄像头和扩散模型,结合用户视觉记忆编码与高效采样技术,在自建步行导航数据集上实现以场景为条件的自我轨迹预测,并在碰撞避免和轨迹覆盖指标上优于现有方法。
2024-08-07 cs.CV
EgoAction: Egocentric Action Composition with Reliability-Aware Temporal Fusion for the EPIC-KITCHENS Action Detection Challenge at CVPR 2026
Shandong University(山东大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
提出 EgoAction 统一解耦检测与融合流水线,通过动态加权融合(DWF)自适应组合动词和名词检测流,解决自我中心视频中动作边界定位的可靠性问题。
2026-06-04 cs.CV
A Novel Benchmarking Paradigm and a Scale- and Motion-Aware Model for Egocentric Pedestrian Trajectory Prediction
Huawei Technologies Canada(华为加拿大技术公司)
本文提出一种基于场景提取和新指标的行人轨迹预测评估范式,并设计多模态分层融合及辅助任务的模型,在挑战场景中性能提升达40%。
2023-10-16 cs.CV cs.RO
Technical Report for Egocentric Mistake Detection for the HoloAssist Challenge
Technical University of Munich(慕尼黑技术大学)
针对真实场景中的在线失误检测,本文提出可识别程序性与执行错误、并用 LLM 生成反馈的框架,在 HoloAssist 基准上获得第二名。
2025-06-06 cs.CV
GuideDog: A Real-World Egocentric Multimodal Dataset for Blind and Low-Vision Accessibility-Aware Guidance
Yonsei University(延世大学);LG AI Research(LG AI研究所);Euler Robotics(Euler机器人);Seoul National University(首尔国立大学)
本文提出GuideDog数据集,包含22K图像描述对,用于提升视障者导航能力,通过人机协同标注提升数据质量,并展示深度感知评估基准,揭示当前多模态大语言模型在深度感知方面的挑战。
2026-04-30 cs.CV
EgoActor: Grounding Task Planning into Spatial-aware Egocentric Actions for Humanoid Robots via Visual-Language Models
Beijing Academy of Artificial Intelligence(北京人工智能研究院)
EgoActor通过视觉语言模型将高层任务指令转化为精确的空间感知动作,实现人形机器人在真实和模拟环境中的稳健任务规划与运动执行。
2026-02-04 cs.CV cs.RO
MADiff: Motion-Aware Mamba Diffusion Models for Hand Trajectory Prediction on Egocentric Videos
IRMV Lab, School of Automation and Intelligent Sensing, Shanghai Jiao Tong University and State Key Laboratory of Avionics Integration and Aviation System-of-Systems Synthesis, Shanghai Key Laboratory of Navigation and Location Based Services(IRMV实验室,自动化与智能感知学院,上海交通大学,航空集成与航空系统-of-Systems综合国家重点实验室,导航与定位服务重点实验室);College of Intelligence Science and Technology, National University of Defense Technology(智能科学与技术学院,国防科技大学);Department of Electronic Engineering, Shanghai Jiao Tong University(电子工程学院,上海交通大学)
针对第一视角视频手部轨迹预测受相机自运动干扰、缺少可供性标签的难题,提出运动感知Mamba扩散模型MADiff,在五个公开数据集上达到与SOTA相当的预测精度且可实时运行,将开源代码与预训练模型。
2025-11-14 cs.CV
EgoHDM: An Online Egocentric-Inertial Human Motion Capture, Localization, and Dense Mapping System
HKUST(GZ)(香港科技大学(广州));ETH AI Center(ETH AI中心);ETH Zürich(苏黎世联邦理工学院);HKUST(香港科技大学)
提出融合 6 个 IMU 与头戴 RGB 相机的 EgoHDM,通过双向紧耦合优化和地形接触校正实现近实时人体动捕、定位与稠密建图,精度显著提升。
2024-09-05 cs.CV
Action2Sound: Ambient-Aware Generation of Action Sounds from Egocentric Videos
University of Texas at Austin(得克萨斯大学奥斯汀分校);FAIR, Meta(Meta FAIR研究院)
针对视频与音频弱对应导致生成不受控环境音或幻觉的问题,提出环境感知音频生成模型AV-LDM,通过解耦前景动作音与环境音并利用检索增强生成,在Ego4D等数据集上实现了与视觉内容语义和时间匹配的可控音频生成。
2024-07-25 cs.AI cs.CV cs.SD
Egocentric Video-Language Pretraining
National University of Singapore(新加坡国立大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);University of Bristol(布里斯托大学);Tencent(腾讯)
视频语言预训练(VLP),旨在学习可转移表示,以推进广泛的视频文本下游任务,最近受到越来越多的关注。表现最好的作品依赖于大规模的第三人称视频文本数据集,如HowTo 100 M。在这项工作中,我们利用最近发布的Ego 4D数据集,沿着三个方向开拓自我中心的VLP。(i)我们创建了EgoClip,这是一个第一人称视频文本预训练数据集,包含从Ego 4D中精心挑选的380万个剪辑文本对,涵盖了各种各样的人类日常活动。(ii)我们提出了一个新的预训练目标,称为自我,它适应视频文本对比学习的自我中心域挖掘自我中心意识的积极和消极的样本。(iii)我们引入了EgoMCQ,这是一个接近EgoClip的开发基准,因此可以支持在EgoClip和EgoNCE中有效验证和快速探索我们的设计决策。此外,我们在三个数据集上的五个以自我为中心的下游任务上表现出强大的性能:EPIC-KITCHENS-100上的视频文本检索; Charades-Ego上的动作识别; Ego 4D挑战基准上的自然语言查询,时刻查询和对象状态变化分类。数据集和代码可在https://github.com/showlab/EgoVLP上获得。
2022-10-13 cs.AI cs.CV
Ego2Web: A Web Agent Benchmark Grounded in Egocentric Videos
Google DeepMind(谷歌DeepMind);UNC Chapel Hill(北卡罗来纳大学教堂山分校)
Ego2Web通过结合真实世界第一人称视频与网络任务,解决网络代理在现实物理环境中的感知问题,提出LLM-as-a-Judge评估方法,揭示当前代理在视觉理解和任务规划上的不足。
2026-03-23 cs.AI cs.CL cs.CV
HMD^2: Environment-aware Motion Generation from Single Egocentric Head-Mounted Device
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Stanford University(斯坦福大学);Nanyang Technological University(南洋理工大学);Meta Reality Labs Research(Meta现实实验室)
本文提出HMD^2系统,通过结合视觉SLAM与多模态条件动作扩散模型,利用单个头戴式设备实现低延迟的逼真全身动作生成。
2025-03-02 cs.CV
ObjChangeVR: Object State Change Reasoning from Continuous Egocentric Views in VR Environments
Kennesaw State University(肯纳邦大学);Pennsylvania State University(宾夕法尼亚州立大学)
ObjChangeVR通过结合视角感知和时间基检索,有效识别VR环境中物体状态变化,提升多模态大语言模型在复杂场景下的表现。
2026-02-27 cs.AI cs.CV
Efficient Egocentric Action Recognition with Multimodal Data
ETH Zurich(苏黎世联邦理工学院);Magic Leap(Magic Leap公司)
本文研究可穿戴XR设备上第一人称动作识别中RGB视频与3D手部姿态采样频率对准确率和CPU使用率的影响,发现降低RGB采样率并辅以高频3D手部姿态可在保持高准确率的同时最多降低3倍CPU使用率。
2025-06-02 cs.AI cs.CV
Interaction-aware Representation Modeling with Co-occurrence Consistency for Egocentric Hand-Object Parsing
The Hong Kong Polytechnic University(香港理工大学)
本文提出交互感知变压器模型,通过动态查询生成、双上下文特征选择和条件共现损失,提升中心视角手-物体解析的准确性和物理一致性。
2026-02-24 cs.CV
Intention-Guided Cognitive Reasoning for Egocentric Long-Term Action Anticipation
针对第一视角长期动作预测现有方法的三类局限,提出两阶段框架INSIGHT,融合手-物交互特征、动名语义依赖与意图引导的认知推理,在多个基准上取得SOTA性能。
2025-11-15 cs.AI cs.CV
EgoSpeak: Learning When to Speak for Egocentric Conversational Agents in the Wild
Yonsei University(延世大学);NCSOFT Corporation(NCsoft公司)
针对对话智能体真实场景语音发起预测难题,提出整合四项核心能力的第一人称流式预测框架EgoSpeak,构建YT-Conversation预训练数据集,实验证明其性能优于现有基线,验证了多模态输入与上下文长度的重要性。
2025-02-17 cs.AI cs.CV
SEER-VAR: Semantic Egocentric Environment Reasoner for Vehicle Augmented Reality
针对第一人称车载增强现实,提出SEER-VAR框架,通过语义分解、上下文感知SLAM分支及LLM推荐动态分离座舱与道路场景,引入EgoSLAM-Drive数据集,提升空间对齐与AR渲染效果,增强场景理解与驾驶体验。
2025-08-24 cs.CV cs.RO
Fine-Grained Egocentric Hand-Object Segmentation: Dataset, Model, and Applications
University of Pennsylvania(宾夕法尼亚大学);Toyota Research Institute(丰田研究所)
以自我为中心的视频为人类行为的高保真建模提供了细粒度的信息。手和交互对象是理解观众行为和意图的一个关键方面。我们提供了一个标记的数据集,由11,243个以自我为中心的图像组成,每个像素都有手和物体的分割标签,这些图像在各种日常活动中进行交互。我们的数据集是第一个标记详细的手-物体接触边界的数据集。我们引入了一个上下文感知的组成数据增强技术,以适应外的分布YouTube自我为中心的视频。我们表明,我们强大的手对象分割模型和数据集可以作为一个基础工具,以提高或使几个下游的视觉应用,包括手状态分类,视频活动识别,3D网格重建的手对象的相互作用,和视频修复的手对象前景在以自我为中心的视频。数据集和代码可在https://github.com/owenzlz/EgoHOS上获得
2022-08-07 cs.CV
Symbiotic Attention with Privileged Information for Egocentric Action Recognition
University of Technology Sydney(悉尼科技大学);Baidu Research(百度研究院)
以自我为中心的视频识别是多种交互推理的自然测试平台。由于以自我为中心的视频数据集中存在大量的动作词汇,目前的研究通常采用两分支结构进行动作识别,即一个分支用于动词分类,另一个分支用于名词分类。然而,动词和名词分支之间的相关性研究在很大程度上被忽视了。此外,由于缺乏位置感知的注意力机制,这两个分支未能利用局部特征。在本文中,我们提出了一种新的共生注意力框架,利用标记信息(SAP)的自我中心的视频识别。更精细的位置感知目标检测特征可以促进对动作者与对象的交互的理解。我们在动作识别中引入这些特征,并将它们视为特权信息。我们的框架使动词分支,名词分支和特权信息之间的相互通信。这种通信过程不仅将局部细节注入到全局特征中,而且还利用了关于正在进行的动作的时空位置的隐式指导。我们引入新的共生注意力(SA),使有效的沟通。它首先对一个分支上的检测引导特征进行标准化,以强调来自另一个分支的动作相关信息。SA自适应地增强了三个源之间的相互作用。为了进一步促进这种沟通,空间关系被揭露的选择最相关的行动信息。它识别最有价值和最有区别的分类特征。我们从数量和质量上验证SAP的有效性。值得注意的是,它在两个大规模以自我为中心的视频数据集上达到了最先进的水平。
2020-02-08 cs.CV
PROVIA: Procedure State Tracking for Online Mistake Detection in Egocentric Videos
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Hunan University(湖南大学)
提出PROVIA,一种通过区分事实状态与接受进度来跟踪程序状态、在线检测第一视角视频中错误的方法,在多个基准上优于仅依赖时间的基线。
2026-09-18 cs.CV
Dual-Stage Reweighted MoE for Long-Tailed Egocentric Mistake Detection
Key Lab. of Intelligent Information Processing, Institute of Computing Technology, CAS(智能信息处理重点实验室,计算技术研究所,中国科学院);School of Computer Science and Tech., University of Chinese Academy of Sciences(中国科学院大学计算机科学与技术学院);Institute of Information Engineering, CAS(信息工程研究所,中国科学院);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络安全学院)
针对第一人称视频中错误动作细微且长尾分布的检测难题,提出双阶段重加权MoE框架,通过特征级与分类级专家模块融合多模型特征及多损失分类器预测,提升了罕见模糊错误的识别效果。
2025-10-03 cs.AI cs.CV cs.LG