SHARP: Segmentation of Hands and Arms by Range using Pseudo-Depth for Enhanced Egocentric 3D Hand Pose Estimation and Action Recognition
TU Wien（维也纳技术大学）；University of Bristol（布里斯托尔大学）
本研究提出仅用RGB帧结合伪深度的SHARP方法分割场景无关部分，在H2O数据集上实现91.73%的动作识别准确率，姿态误差28.66mm，无需深度传感器即可提升自我中心3D手部姿态估计与动作识别性能。
2024-08-19 cs.CV
Cross-Modal Action Recognition in Egocentric Video Using Mamba: Integrating RGB and Hand Skeleton Streams via CLS Token Fusion Strategies
Univ. of Buenos Aires. Faculty of Exact and Natural Sciences. Dept. of Computer Science (DC)（布宜诺斯艾利斯大学。精确与自然科学学院。计算机科学系）；CONICET-Univ. of Buenos Aires. Institute of Computer Sciences (ICC)（布宜诺斯艾利斯大学CONICET联合体。计算机科学研究所）
提出一种基于Mamba的跨模态架构，通过四种CLS令牌融合策略（朴素、平均、加权和基于上下文）整合RGB视频和手部骨架数据，在H2O数据集上平均策略达到最佳性能，Top-1准确率在Tiny配置下提升超10%。
2026-05-26 cs.CV
EgoSIS: From Factorized Visual Ego-Transitions to Motion-Canonical Spatial Evidence for UAV Reasoning
Beihang University（北京航空航天大学）；Zhongguancun Academy（中关村学院）；Northeastern University（东北大学）；Technology and Engineering Center for Space Utilization, Chinese Academy of Sciences（中国科学院空间应用工程与技术中心）
EgoSIS通过分解视觉自我转换和运动规范空间证据，为无人机视频问答提供无需位姿的适配器，在SIS-Bench上显著提升感知与记忆准确率。
2026-09-10 cs.CV
Two Stream Networks for Self-Supervised Ego-Motion Estimation
Toyota Research Institute（丰田研究院）
从原始未标记的RGB视频流中学习深度和相机自我运动，通过强大的几何线索进行自我监督，正在取得令人兴奋的进展。为了不仅利用外观，而且还利用场景几何形状，我们提出了一种新的自监督双流网络，使用RGB和推断的深度信息，用于精确的视觉里程计。此外，我们引入了一个稀疏诱导数据增强政策，有效地规范了姿态网络，使更强的泛化性能的自我运动学习。结果表明，我们提出的双流姿势网络在KITTI里程计基准上实现了基于学习的方法中最先进的结果，特别适合大规模的自我监督。我们在100万帧的大规模城市驾驶数据集上进行的实验表明，我们提出的架构的性能确实随着数据的增加而逐渐扩展。
2019-11-19 cs.CV eess.IV
Image Frame Dynamic Object Segmentation and Ego Motion Estimation using Radar Image Fusion
针对自动驾驶中动态目标分割与自我运动估计的耦合问题，提出Radar-Dot框架，利用雷达多普勒测量、线性约束和光流融合，在nuScenes上实现动态IoU 20.24%和F1 33.67%，并改善自我速度估计。
2026-09-22 cs.CV cs.RO
FlowFusion: Dynamic Dense RGB-D SLAM Based on Optical Flow
the University of Tokyo（东京大学）；Beijing University of Civil Engineering and Architecture（北京建筑大学）
动态环境对视觉SLAM具有挑战性，因为运动对象遮挡静态环境特征并导致错误的相机运动估计。在本文中，我们提出了一种新的密集RGB-D SLAM解决方案，同时完成动态/静态分割和摄像机自我运动估计以及静态背景重建。我们的新颖之处在于使用光流残差来突出RGB-D点云中的动态语义，并为相机跟踪和背景重建提供更准确和有效的动态/静态分割。在公共数据集和真实动态场景上的密集重建结果表明，与现有方法相比，该方法在动态和静态环境下都具有准确、高效的性能。
2020-03-11 cs.CV cs.RO
METDrive: Multi-modal End-to-end Autonomous Driving with Temporal Guidance
Intelligent Space Robotics Laboratory, Center for Digital Engineering, Skolkovo Institute of Science and Technology（斯克尔科沃科学与技术研究所智能空间机器人实验室，数字工程中心）；Institute of Automation, Qilu University of Technology (Shandong Academy of Sciences)（齐鲁科技大学自动化研究所，山东科学院）
本文提出 METDrive 多模态端到端自动驾驶系统，利用自车状态时间序列特征和时间引导损失辅助航点预测，并在 CARLA 基准上取得优异成绩。
2025-05-14 cs.CV cs.RO
Collaborative Learning for 3D Hand-Object Reconstruction and Compositional Action Recognition from Egocentric RGB Videos Using Superquadrics
University of Birmingham（伯明翰大学）；Jilin University（吉林大学）；Dongguk University（东国大学）
针对现有手物动作识别方法泛化性差的问题，提出用超二次曲面替代3D边界框表示物体，构建协同学习框架推理手物几何关系，在组合动作识别上超越现有最优水平。
2025-01-13 cs.AI cs.CV
E$^2$(GO)MOTION: Motion Augmented Event Stream for Egocentric Action Recognition
Politecnico di Torino（都灵理工大学）；CINI Consortium（CINI联盟）；Politecnico di Milano（米兰理工大学）
事件相机是一种新型的生物传感器，它以“事件”的形式异步捕获像素级的强度变化。由于它们的传感机制，事件相机几乎没有运动模糊，具有非常高的时间分辨率，并且比传统的基于帧的相机需要更少的功率和存储器。这些特性使它们非常适合多种现实应用，例如可穿戴设备上以自我为中心的动作识别，其中快速的摄像头运动和有限的功率挑战了传统的视觉传感器。然而，到目前为止，不断增长的基于事件的视觉领域忽视了事件相机在此类应用中的潜力。在本文中，我们表明，事件数据是一个非常有价值的方式为自我中心的行动识别。为此，我们引入了N-EPIC-Kitterfly，这是大规模EPIC-Kitterfly数据集的第一个基于事件的相机扩展。在这种情况下，我们提出了两种策略：（i）直接处理事件相机数据与传统的视频处理架构（E $^2$（GO））和（ii）使用事件数据提取光流信息（E $^2$（GO）MO）。在我们提出的基准测试中，我们表明事件数据提供了与RGB和光流相当的性能，但在部署时没有任何额外的流计算，并且仅RGB信息的性能提高了4%。
2022-04-03 cs.CV
Efficient Egocentric Action Recognition with Multimodal Data
ETH Zurich（苏黎世联邦理工学院）；Magic Leap（Magic Leap公司）
本文研究可穿戴XR设备上第一人称动作识别中RGB视频与3D手部姿态采样频率对准确率和CPU使用率的影响，发现降低RGB采样率并辅以高频3D手部姿态可在保持高准确率的同时最多降低3倍CPU使用率。
2025-06-02 cs.AI cs.CV
Multimodal Distillation for Egocentric Action Recognition
KU Leuven University（鲁汶大学）
本研究针对第一人称动作识别任务，提出多模态知识蒸馏框架，让仅用RGB帧推理的学生模型达到多模态教师模型的性能，同时降低计算复杂度，在Epic-Kitchens等数据集上表现优于同架构监督训练模型。
2023-07-18 cs.CV
An End-to-End Two-Stream Network Based on RGB Flow and Representation Flow for Human Action Recognition
Center for Advances in Reliability and Safety（可靠性与安全进展中心）；The Hong Kong Polytechnic University（香港理工大学）
针对传统双流动作识别模型计算成本高的问题，提出用表示流替代光流分支的端到端双流网络，结合CAM提升精度、ConvLSTM编码时空特征，在三个数据集上精度相当或更优，预测时间大幅缩短。
2024-11-27 cs.AI cs.CV
Instance Tracking in 3D Scenes from Egocentric Videos
UC Irvine（加利福尼亚大学欧文分校）；Texas A&M University（得克萨斯农工大学）；Institute of Collaborative Innovation（协同创新研究院）；University of Macau（澳门大学）
本文提出IT3DEgo基准及评估协议，并设计利用预训练分割检测模型与三维异我中心坐标的实例跟踪方法，在第一人称视频中显著优于单目标跟踪方法。
2024-06-07 cs.CV
Mind the Privileged-to-Camera Gap: Actor-Centric Sidecar Supervision for Camera-First Open-Loop Waypoint Prediction
University of Michigan-Dearborn（密歇根大学迪尔伯恩分校）
针对摄像头优先开环路径预测中缺乏对道路参与者显式监督的问题，提出侧车监督方法，利用模拟器生成的参与者标签（如相关性、短时运动）训练模型，在部署时无需额外输入，最终将终点位移误差降低32.6%。
2026-06-23 cs.RO eess.IV
Exo2Ego: Exocentric Knowledge Guided MLLM for Egocentric Video Understanding
Exo2Ego通过迁移学习提升内向视频理解能力，利用外向知识增强模型性能。
2025-12-16 cs.CV
HOT3D: Hand and Object Tracking in 3D from Egocentric Multi-View Videos
Meta Reality Labs；facebookresearch（Facebook Research）
本文提出HOT3D数据集，提供超833分钟自我中心多视角手部与物体3D跟踪数据，并验证多视角方法在3D手部跟踪、6DoF物体姿态估计等任务上显著优于单视角方法。
2025-04-30 cs.AI cs.CV cs.RO
LEAP: LLM-Generation of Egocentric Action Programs
University of Maryland, College Park（马里兰大学帕克分校）
LEAP利用大语言模型从自我中心视频生成包含子动作、条件与控制流的动作程序，并在EPIC Kitchens上作为辅助监督显著提升动作识别与预测性能。
2023-11-29 cs.CV cs.LG cs.RO
In My Perspective, In My Hands: Accurate Egocentric 2D Hand Pose and Action Recognition
TU Wien（维也纳技术大学）
本文针对第一人称视频理解，提出EffHandNet和EffHandEgoNet两种2D手部姿态估计方法，并结合transformer构建动作识别架构，在H2O和FPHA数据集上分别达到91.32%和94.43%准确率，超越现有3D方法。
2024-07-24 cs.CV
Shared Voxel-Map-Based Cooperative Indoor UAV Guidance with a Multi-Agent Soft Actor-Critic Controller
研究室内无人机协同导航问题，提出结合共享体素地图与多智能体软演员-评论家控制器的框架，多无人机融合LiDAR观测构建地图并提供给各智能体，模拟中控制器成功率达90.3%，经微调后在现实实验中实现稳定协同操作，证明该地图表示有效且可扩展。
2026-07-29 cs.AI cs.LG cs.RO
Helping Hands: An Object-Aware Ego-Centric Video Recognition Model
University of Oxford（牛津大学）；Google DeepMind（谷歌DeepMind）
本文提出对象感知解码器，借助手部、对象位置与语义标签预测增强自我中心视频表征，在零样本检索分类和长期理解任务上超越现有方法。
2023-08-15 cs.CV
Students taught by multimodal teachers are superior action recognizers
KU Leuven University（鲁汶大学）
以自我为中心的视频理解的焦点是手-物交互的建模。标准模型--CNN、视觉Transformer等--接收RGB帧作为输入，性能良好，但是，通过采用诸如目标检测、光流、音频等附加模态作为输入，它们的性能进一步提高。另一方面，所需的特定于模态的模块的复杂性增加，使得这些模型对于部署来说不切实际。这项工作的目标是保留这种多模态方法的性能，同时在推理时仅使用RGB图像作为输入。我们的方法是基于多模态知识蒸馏，具有多模态的教师（在目前的实验中，只使用目标检测，光流和RGB帧训练）和一个单峰的学生（仅使用RGB帧作为输入）。我们提出了初步的结果表明，由此产生的模型-从多模态教师蒸馏-显着优于基线RGB模型（没有知识蒸馏训练），以及杂食版本本身（所有模态共同训练），在标准和成分动作识别。
2022-10-09 cs.CV
PoseConvGRU: A Monocular Approach for Visual Ego-motion Estimation by Learning
Zhejiang University（浙江大学）
虽然在过去的十年中已经提出了许多视觉自我运动算法的变体，基于学习的自我运动估计方法已经看到了越来越多的关注，因为它的理想属性的鲁棒性图像噪声和相机校准的独立性。在这项工作中，我们提出了一个数据驱动的方法，完全可训练的视觉自我运动估计的单目相机。我们使用端到端的学习方法，允许模型直接从输入图像对映射到自我运动的估计（参数化为6-DoF变换矩阵）。我们引入了一种新的两模块长期递归卷积神经网络称为PoseConvGRU，具有显式序列姿态估计损失来实现这一点。特征编码模块将短期运动特征编码在图像对中，而记忆传播模块捕获连续图像对中的长期运动特征。视觉记忆是用卷积门控递归单元实现的，它允许随着时间的推移传播信息。在每个时间步，两个连续的RGB图像被堆叠在一起以形成模块-1的6通道张量，以学习如何提取运动信息和估计姿态。然后，输出映射序列通过堆叠的ConvGRU模块，以生成每个图像对的相对变换姿态。我们还增加了训练数据随机跳帧来模拟速度的变化，从而导致在转弯和高速情况下更好的性能。我们评估我们提出的方法的KITTI视觉里程计基准的性能。实验表明，所提出的方法的几何方法的竞争力的表现，并鼓励进一步探索基于学习的方法，即使几何方法表现出有前途的结果，以估计相机自我运动的目的。
2019-06-19 cs.CV cs.LG eess.IV
3D Hand Pose Detection in Egocentric RGB-D Images
Aragon Institute of Engineering Research (i3A), Universidad de Zaragoza（阿拉贡工程研究所（i3A），萨拉戈萨大学）；University of California, Irvine（加州大学欧文分校）
我们专注于从自我中心的观点每天的手姿态估计的任务。对于这项任务，我们表明，深度传感器是特别有用的提取近场交互的相机佩戴者与他/她的环境。尽管最近在使用Kinect类传感器的全身姿势估计方面取得了进展，但RGB-D图像中可靠的单目手部姿势估计仍然是一个未解决的问题。当从第一人称视角分析执行日常活动的手时，由于对象操作和有限的视场引起的严重遮挡，该问题大大加剧。我们的系统解决了这些困难，利用强大的先验的观点和构成的歧视性跟踪检测框架。我们的先验操作通过一个逼真的自我中心的场景，这是用来生成训练数据学习基于深度的姿势分类器的合成模型。我们评估我们的方法上的注释数据集的真实自我为中心的对象操作场景，并比较商业和学术的方法。我们的方法为以自我为中心的RGB-D图像中的手部检测和姿态估计提供了最先进的性能。
2014-11-29 cs.CV
Real-time Hand Tracking under Occlusion from an Egocentric RGB-D Sensor
Max-Planck-Institute for Informatics（马克斯·普朗克信息学研究所）；Universidad Rey Juan Carlos（胡安卡洛斯国王大学）
我们提出了一种方法，实时的，鲁棒性和准确的手姿态估计从移动自我中心的RGB-D相机在杂乱的真实环境。现有的方法通常无法在从自我中心的观点成像的杂乱场景中进行手-物体交互，这对于虚拟或增强现实应用是常见的。我们的方法使用两个随后应用的卷积神经网络（CNN）来定位手并回归3D关节位置。通过使用CNN来估计输入中的手中心的2D位置来实现手定位，即使在存在杂波和遮挡的情况下也是如此。定位的手位置与对应的输入深度值一起用于生成归一化的裁剪图像，该归一化的裁剪图像被馈送到第二CNN中以实时的回归相对3D手关节位置。为了增加精度，鲁棒性和时间稳定性，我们使用运动姿态跟踪能量来改进姿态估计。为了训练CNN，我们引入了一个新的照片级真实感数据集，该数据集使用合并现实方法来捕获和合成杂乱场景中自然手部交互的大量注释数据。通过定量和定性的评价，我们表明，我们的方法是强大的自遮挡和遮挡的对象，特别是在移动自我中心的观点。
2017-10-05 cs.CV
Maximizing Self-supervision from Thermal Image for Effective Self-supervised Learning of Depth and Ego-motion
KAIST（韩国科学技术院）
近年来，热图像深度和自我运动的自监督学习在具有挑战性的场景下显示出很强的鲁棒性和可靠性。然而，固有的热图像属性，如弱对比度，模糊的边缘，和噪声阻碍了从热图像产生有效的自我监督。因此，大多数研究都依赖于额外的自我监督来源，例如光线充足的RGB图像，生成模型和激光雷达信息。在本文中，我们进行了深入的分析，退化的自我监督从热图像的热图像特性。基于分析，我们提出了一种有效的热图像映射方法，显着增加图像的信息，如整体结构，对比度和细节，同时保持时间的一致性。所提出的方法显示出优于先前最先进的网络的深度和姿态结果，而无需利用额外的RGB指导。
2022-06-15 cs.CV cs.RO
EgoExOR: An Ego-Exo-Centric Operating Room Dataset for Surgical Activity Understanding
Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
EgoExOR是首个融合第一人称和第三人称视角的手术室数据集与基准，包含多模态数据与详细场景图标注，为手术活动理解与下一代临床感知奠定基础。
2025-05-30 cs.CV
Ego2Hands: A Dataset for Egocentric Two-hand Segmentation and Detection
Brigham Young University（杨百翰大学）；Adobe Research（Adobe 研究院）
在真正不受约束的基于RGB的设置中的手部分割和检测对于许多应用是重要的。然而，现有的数据集是远远不够的大小和品种，由于大量的分割和检测数据的手动注释的不可行性。因此，目前的方法受到许多基本假设的限制，如受约束的环境，一致的肤色和照明。在这项工作中，我们提出了Ego 2 Hands，一个大规模的基于RGB的自我中心的手分割/检测数据集，是半自动注释和颜色不变的合成为基础的数据生成技术，能够创建训练数据与大量和品种。对于定量分析，我们手动注释了一个在数量、多样性和注释准确性方面显著超过现有基准的评估集。我们提供了跨数据集评估以及对Ego 2 Hands上最先进模型的性能进行了全面分析，以表明我们的数据集和数据生成技术可以生成泛化到看不见的环境的模型，而无需领域自适应。
2021-12-20 cs.CV
HMD-EgoPose: Head-Mounted Display-Based Egocentric Marker-Less Tool and Hand Pose Estimation for Augmented Surgical Guidance
University of Toronto（多伦多大学）；Sunnybrook Health Sciences Centre（桑尼布鲁克健康科学中心）；Sunnybrook Research Institute（桑尼布鲁克研究所）
现代计算机辅助外科手术的成败取决于对跟踪器械和组织的精确六自由度（6DoF）位置和方向（姿态）估计。在本文中，我们提出了HMD-EgoPose，这是一种基于单次学习的手部和物体姿态估计方法，并在单目红绿蓝（RGB）6DoF无标记手部和手术器械姿态跟踪的基准数据集上展示了最先进的性能。此外，我们揭示了我们的HMD-EgoPose框架的性能6DoF姿态估计的市售光学透视盔装显示器（OST-HMD）通过低延迟流方法的能力。我们的框架利用高效的卷积神经网络（CNN）骨干进行多尺度特征提取和一组子网络来共同学习刚性手术钻器械的6DoF姿态表示和用户手的抓握方向。为了使我们的方法可用于商业上可用的OST-HMD，Microsoft HoloLens 2，我们创建了一个用于低延迟视频和数据通信的管道，该管道具有能够优化网络推理的高性能计算工作站。HMD-EgoPose在手术工具姿态估计的基准数据集上优于当前最先进的方法，在实际数据上实现了11.0 mm的平均工具3D顶点误差，并进一步朝着临床可行的无标记跟踪策略迈进。通过我们的低延迟流方法，当与OST-HMD集成时，我们实现了199.1 ms的往返延迟，用于姿态估计和跟踪模型的增强可视化。我们的单次学习方法对遮挡和复杂表面具有鲁棒性，并改进了当前最先进的无标记工具和手部姿势估计方法。
2022-05-20 cs.CV
InfraNet: Quality-Aware RGB Guidance for Efficient Infrared Object Detection
Beihang University（北京航空航天大学）；Zhongguancun Academy（中关村科学城）；Communication University of China（中国传媒大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
针对多模态感知系统在不利视觉条件下目标检测的挑战，提出InfraNet框架，采用非对称架构及质量感知融合模块，设计两种变体，实验表明其在低光等条件下准确且高效。
2026-07-07 cs.CV
MAC-Ego3D: Multi-Agent Gaussian Consensus for Real-Time Collaborative Ego-Motion and Photorealistic 3D Reconstruction
University of Michigan（密歇根大学）；Carnegie Mellon University（卡内基梅隆大学）
针对传统多智能体三维重建地图细节不足、现有稠密方法延迟高的问题，提出MAC-Ego3D框架，通过智能体内/间高斯共识实现实时协同高保真重建，在速度、定位精度与建图质量上均达SOTA。
2024-12-12 cs.CV
GuideDog: A Real-World Egocentric Multimodal Dataset for Blind and Low-Vision Accessibility-Aware Guidance
Yonsei University（延世大学）；LG AI Research（LG AI研究所）；Euler Robotics（Euler机器人）；Seoul National University（首尔国立大学）
本文提出GuideDog数据集，包含22K图像描述对，用于提升视障者导航能力，通过人机协同标注提升数据质量，并展示深度感知评估基准，揭示当前多模态大语言模型在深度感知方面的挑战。
2026-04-30 cs.CV
A Multimodal RGB and Events Dataset for Hand Detection in First-Person View
Zurich University of Applied Sciences（苏黎世应用科技大学）
针对移动机器人系统中传统相机在暗光下运动模糊的问题，提出利用事件相机与RGB相机结合的多模态手部检测方法，并通过合成事件数据集实现与现有方法相当的性能。
2026-06-09 cs.CV
ViGG: Robust RGB-D Point Cloud Registration using Visual-Geometric Mutual Guidance
Beihang University（北航大学）；China Agricultural University（中国农业大学）
ViGG通过视觉-几何互指导策略提升RGB-D点云配准的鲁棒性，优于现有方法。
2025-11-28 cs.CV
Computer Vision-Based Guidance Assistance Concept for Plowing Using RGB-D Camera
Technical University of Munich（慕尼黑工业大学）
提出了一种基于计算机视觉的农用车辆辅助导航的概念，以提高耕作精度，减少驾驶员在长期耕作作业中的认知负担。在许多国家，耕作是一种常见的农业做法，可以在春季和秋季进行。由于犁耕操作需要高牵引力，这导致增加的能量消耗。此外，由于不必要的操纵而导致的更长的操作时间导致更高的燃料消耗。为了给拖拉机的驾驶员和控制单元提供必要的信息，开发了基于RGB-D相机的犁沟检测系统的第一个概念。
2021-07-27 cs.CV
SAGE: Source-Anchored Guidance via Frequency Equalization for Hierarchical RGB-T Alignment and Fusion
针对RGB-T融合中的空间误配准与跨模态差异问题，提出SAGE统一框架，集成频率均衡、层级对齐与子带融合，通过源锚定引导实现弱配准图像的有效对齐与融合。
2026-09-28 cs.AI cs.CV
MEgoHand: Multimodal Egocentric Hand-Object Interaction Motion Generation
School of Computer Science, Peking University（北京大学计算机学院）；Department of Automation, Tsinghua University（清华大学自动化系）；BeingBeyond
提出MEgoHand多模态框架，利用视觉语言模型和流匹配策略生成手-物体交互运动，显著降低误差并提升跨域泛化能力。
2025-05-22 cs.CV
EgoBody: Human Body Shape and Motion of Interacting People from Head-Mounted Devices
ETH Zürich（苏黎世联邦理工学院）；Microsoft（微软）；Meta Reality Labs Research（Meta现实实验室）
从以自我为中心的观点理解社交互动对于许多应用至关重要，从辅助机器人到AR/VR。推理互动的关键是从自我中心的角度理解互动伙伴的身体姿势和运动。然而，由于缺乏数据集，这一领域的研究受到严重阻碍。现有的数据集在大小、捕获/注释方式、地面实况质量或交互多样性方面都是有限的。我们填补了这一空白，提出自我身体，一种新的大规模数据集的人类姿势，形状和运动估计从自我中心的意见，在复杂的3D场景中的互动。我们使用微软HoloLens 2头戴式设备记录丰富的以自我为中心的数据流（包括RGB、深度、眼睛注视、头部和手部跟踪）。为了获得准确的3D地面实况，我们使用多Kinect装备校准耳机，并将富有表现力的SMPL-X人体网格拟合到多视图RGB-D帧，随着时间的推移重建3D人体形状和相对于场景的姿势。我们收集了125个序列，跨越不同的互动场景，并提出了第一个基准的3D全身姿势和形状估计的社会合作伙伴从自我中心的观点。我们广泛评估了最先进的方法，强调了它们在以自我为中心的情况下的局限性，并利用我们的高质量注释来解决这些局限性。数据和代码可在https://sanweiliti.github.io/egobody/egobody.html上获得。
2022-08-16 cs.AI cs.CV
EgoEMG: A Multimodal Egocentric Dataset with Bilateral EMG and Vision for Hand Pose Estimation
Department of Automation, Tsinghua University（清华大学自动化系）
EgoEMG数据集融合双侧EMG和视觉信息，用于手姿态估计，包含16通道EMG、IMU、RGB视频和RGB-D视频，涵盖41名参与者60种手势，提供EMG-to-pose、vision-to-pose和融合任务的基准测试。
2026-05-07 cs.CV
Lateral Ego-Vehicle Control without Supervision using Point Clouds
Technical University of Munich（慕尼黑工业大学）
现有的基于视觉的车辆横向控制的监督方法能够直接将RGB图像映射到适当的转向命令。然而，由于在训练数据中缺乏故障情况，它们在现实世界场景中容易遭受鲁棒性不足。在本文中，提出了一个框架，训练一个更强大的和可扩展的模型，横向车辆控制。该框架只需要一个未标记的RGB图像序列。训练后的模型将点云作为输入，并预测到后续帧的横向偏移，从该后续帧推断转向角。帧姿态又从视觉里程计获得。通过将密集的深度图投影到3D中来构思点云。在训练期间，可以从该点云生成任意数量的附加轨迹。这是为了提高模型的鲁棒性。在线实验表明，我们的方法的性能优于监督模型。
2022-03-20 cs.CV
EgoPressure: A Dataset for Hand Pressure and Pose Estimation in Egocentric Vision
ETH Zürich（苏黎世联邦理工学院）；Microsoft Spatial AI Lab（微软空间人工智能实验室）
本文构建 EgoPressure 第一人称数据集，提供接触点压力强度与高精度手部网格标注，并通过基线实验验证压力和手部姿态的互补价值。
2024-12-04 cs.CV cs.HC
EgoWholeView: Camera-Only Head-Mounted Capture of Body and Bimanual Hand Motion for Embodied Demonstrations
Zhongguancun Academy（中关村学院）；DeepCybo；Beijing University of Chemical Technology（北京化工大学）；Zhongguancun Institute of Artificial Intelligence（中关村人工智能研究院）
EgoWholeView是由6台同步广角RGB摄像头组成的可穿戴捕捉系统，融合双视角预测实现身体与双手运动捕捉，精度提升且成本低，可用于具身演示等场景。
2026-10-14 cs.CV
UniRED: Unified RGB-D Video Frame Interpolation with Event Guidance
School of Software, Shandong University（山东大学软件学院）
提出统一多模态框架UniRED，融合RGB外观、深度几何和事件时间线索，通过双向流估计与运动基细化实现高质量RGB-D视频帧插值，并构建RGB-D-Event数据集缓解数据稀缺。
2026-06-24 cs.CV
Unveiling the Potential of Segment Anything Model 2 for RGB-Thermal Semantic Segmentation with Language Guidance
School of Artificial Intelligence and Robotics, Hunan University（人工智能与机器人学院，湖南大学）；National Engineering Research Center of Robot Visual Perception and Control Technology, Hunan University（机器人视觉感知与控制技术国家工程研究中心，湖南大学）；AI Thrust, Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州）人工智能方向）
本文提出SHIFNet，通过语言引导的混合交互范式释放SAM2在RGB-热红外语义分割中的潜力，结合语义感知跨模态融合与异构提示解码器，在PST900和FMB上取得最优性能。
2025-07-22 cs.CV cs.RO eess.IV
Edge-aware Guidance Fusion Network for RGB Thermal Scene Parsing
Zhejiang University of Science & Technology（浙江科技大学）
RGB热场景解析是近年来计算机视觉领域的研究热点。然而，大多数现有方法都未能对预测地图进行良好的边界提取，并且无法充分利用高级特征。此外，这些方法简单地融合来自RGB和热模态的特征，但无法获得全面的融合特征。为了解决这些问题，我们提出了一个边缘感知的指导融合网络（EGFNet）的RGB热场景解析。首先，我们引入了一个先验边缘图生成的RGB和热图像捕捉预测图中的详细信息，然后嵌入到特征图的先验边缘信息。为了有效地融合RGB和热信息，我们提出了一个多模态融合模块，保证充分的跨模态融合。考虑到高层语义信息的重要性，本文提出了全局信息模块和语义信息模块，从高层特征中提取丰富的语义信息。对于解码，我们使用简单的elementwise除了级联特征融合。最后，为了提高解析的准确性，我们对语义和边界图应用了多任务深度监督。在基准数据集上进行了大量的实验，以证明所提出的EGFNet的有效性和其优越的性能相比，最先进的方法。代码和结果可以在https://github.com/ShaohuaDong2021/EGFNet上找到。
2021-12-09 cs.CV eess.IV
Sparse and noisy LiDAR completion with RGB guidance and uncertainty
KU Leuven（鲁汶大学）
本文提出了一种新的方法来精确地完成稀疏激光雷达地图引导RGB图像。对于自动驾驶汽车和机器人来说，为了实现精确的深度预测，LiDAR的使用是必不可少的。许多应用程序依赖于对周围环境的感知，并使用深度线索来推理和做出相应的反应。一方面，单目深度预测方法无法生成绝对和精确的深度图。另一方面，立体方法仍然明显优于基于LiDAR的方法。深度完成任务的目标是从映射到2D平面的稀疏和不规则点云生成密集的深度预测。我们提出了一个新的框架，提取全局和局部信息，以产生适当的深度图。我们认为，简单的深度补全不需要深度网络。然而，我们还提出了一种融合方法，从单目相机的RGB指导，以利用对象信息和纠正稀疏输入中的错误。这大大提高了准确性。此外，利用置信度掩模，以考虑到从每个模态的深度预测中的不确定性。这种融合方法优于最先进的技术，在KITTI深度完成基准测试中排名第一。我们的可视化代码是可用的。
2019-02-14 cs.CV
RCGNet: RGB-based Category-Level 6D Object Pose Estimation with Geometric Guidance
School of Automation, Beijing Institute of Technology（自动化学院，北京理工大学）；Zhongyuan University of Technology（中州大学）
本文提出RCGNet，一种仅用RGB图像的类别级6D位姿估计方法，通过Transformer预测融合几何特征、几何引导算法增强表示，并用RANSAC-PnP求解位姿，在基准数据集上取得优于已有RGB方法的精度。
2025-08-19 cs.CV
ReViV: Reconstructing the Viewer and the View in 4D from Monocular Egocentric Video
ETH Zurich（苏黎世联邦理工学院）；Delft University of Technology（代尔夫特理工大学）；Microsoft（微软）
研究旨在从单目自我中心视频重建4D中的观看者和视图，提出ReViV框架，将任务建模为学习多模态信号联合概率分布，由掩码生成自我中心变压器驱动，在多基准测试中展现出高精度和效率，还保持了竞争力强的自我中心深度估计，且代码模型开源。
2026-10-08 cs.AI cs.CV
EgoEvGesture: Gesture Recognition Based on Egocentric Event Camera
State Key Laboratory of Extreme Photonics and Instrumentation, Zhejiang University（浙江大学极端光效与仪器国家重点实验室）；School of Artificial Intelligence and Robotics, Hunan University（湖南大学人工智能与机器人学院）；National Engineering Research Center of Robot Visual Perception and Control Technology, Hunan University（湖南大学机器人视觉感知与控制技术国家工程研究中心）
针对第一人称事件相机手势识别中头部运动干扰与异步事件处理难题，提出轻量CNN、状态空间上下文模块和Bins时序移位模块组成的新型网络，并构建首个大规模EgoEvGesture数据集，在未见受试者上以7M参数取得62.7%准确率，优于现有方法。
2025-07-19 cs.CV cs.RO eess.IV
Learning Scene Structure Guidance via Cross-Task Knowledge Transfer for Single Depth Super-Resolution
Key Laboratory for Ubiquitous Network and Service Software of Liaoning Province（辽宁省泛在网络与服务软件重点实验室）；Baidu Research（百度研究院）
现有的颜色引导深度超分辨率（DSR）方法需要成对的RGB-D数据作为训练样本，其中RGB图像由于其几何相似性而用作结构引导以恢复退化的深度图。然而，在实际测试环境中，成对数据的收集可能是有限的或昂贵的。因此，我们首次探索在训练阶段学习跨模态知识，其中RGB和深度模态都可用，但在目标数据集上进行测试，其中仅存在单个深度模态。我们的核心思想是在不改变其网络结构的情况下，从RGB模态提取场景结构指导的知识到单个DSR任务。具体来说，我们构造了一个辅助深度估计（DE）任务，该任务以RGB图像作为输入来估计深度图，并协同训练DSR任务和DE任务以提高DSR的性能。在此基础上，提出了跨任务交互模块，实现了双向跨任务知识转移。首先，我们设计了一个跨任务的蒸馏方案，鼓励DSR和DE网络相互学习的师生角色交换的方式。然后，我们提出了一个结构预测（SP）任务，它提供了额外的结构正则化，以帮助DSR和DE网络学习更多信息的结构表示，以进行深度恢复。大量的实验表明，我们的计划取得了优越的性能相比，其他DSR方法。
2021-03-24 cs.CV
Hyperspectral Image Super Resolution with Real Unaligned RGB Guidance
基于融合的高光谱图像（HSI）超分辨率由于其能够从成对的高分辨率（HR）RGB参考图像中整合高频空间信息而变得越来越普遍。然而，大多数现有的方法要么严重依赖于低分辨率（LR）HSI和RGB图像之间的精确对齐，要么只能处理由刚性几何变换生成的模拟未对齐的RGB图像，这削弱了它们对真实场景的有效性。在本文中，我们探讨了基于融合的HSI超分辨率与真正的RGB参考图像，刚性和非刚性错位。为了解决现有方法对未对齐参考图像的局限性，我们提出了一种HSI融合网络，具有异构特征提取，多阶段特征对齐和关注特征融合。具体来说，我们的网络首先分别使用HSI编码器和RGB编码器将输入的HSI和RGB图像转换为两组多尺度特征。RGB参考图像的特征然后由多级对准模块处理，以将RGB参考图像的特征与LR HSI显式地对准。最后，通过自适应注意力模块对RGB参考图像的对齐特征进行调整，使其更加集中于有区别的区域，然后将其发送到融合解码器，以生成重构的HR HSI。此外，我们收集了一个真实世界的HSI融合数据集，包括成对的HSI和未对齐的RGB参考，以支持评估所提出的模型的真实场景。在模拟数据集和真实数据集上进行了大量的实验，结果表明，该方法在定量评估和视觉比较方面均优于现有的单图像和基于融合的超分辨率方法。
2023-02-13 cs.CV eess.IV
Efficient RGB-D Scene Understanding via Multi-task Adaptive Learning and Cross-dimensional Feature Guidance
School of Mechanical Engineering（机械工程学院）；Vehicle Measurement, Control and Safety Key Laboratory of Sichuan Province（四川省车辆测量控制与安全重点实验室）；National Key Laboratory for Novel Software Technology（新型软件技术国家实验室）；Shanghai Advanced Research Institute（上海先进研究院）；Hubei Key Laboratory of Modern Manufacturing Quality Engineering（湖北省现代制造质量工程重点实验室）
本文提出一种高效的RGB-D场景理解模型，通过多任务自适应学习和跨维度特征引导，提升语义分割、实例分割等任务的准确性和效率。
2026-03-08 cs.CV
GEM: A Generalizable Ego-Vision Multimodal World Model for Fine-Grained Ego-Motion, Object Dynamics, and Scene Composition Control
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院（EPFL））；University of Bern（伯尔尼大学）；Swiss Data Science Center（瑞士数据科学中心）；University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）
GEM是一种可泛化的自我视觉多模态世界模型，通过参考帧、稀疏特征、人体姿态和自我轨迹控制未来帧生成，实现细粒度物体动态、自我运动和场景组成控制，并开源全部资源。
2024-12-15 cs.CV
A brief introduction to a framework named Multilevel Guidance-Exploration Network
Xiamen University（厦门大学）；Reconova Technologies（睿康诺瓦科技）
本文提出多级引导-探索网络MGENet，通过引导与探索网络间高层表征差异检测行为异常，并设计行为-场景匹配模块，在ShanghaiTech和UBnormal数据集上取得领先性能。
2024-06-09 cs.CV
Egocentric Pose Recognition in Four Lines of Code
University of California, Irvine（加州大学欧文分校）；Universidad de Zaragoza（萨拉戈萨大学）
我们解决的问题，估计一个人的上肢（手臂+手）从胸部安装的深度相机的3D姿态。重要的是，我们在与物体的日常交互中考虑姿势估计。过去的工作表明，强姿态+视点先验和基于深度的特征对于鲁棒性能至关重要。在以自我为中心的视图中，手和手臂在相机前面的明确定义的体积内是可观察的。我们称这个体积为自我中心的工作空间。一个值得注意的属性是手的外观与工作空间位置相关。为了利用这种相关性，我们在一个全球自我中心的坐标框架，而不是一个本地的扫描窗口中分类手臂+手的配置。这极大地简化了体系结构并提高了性能。我们提出了一个高效的流水线，1）使用内部参数与我们的物理相机匹配的虚拟胸部安装相机生成用于训练的合成工作空间样本，2）计算整个体积上的透视感知深度特征，3）通过稀疏多类SVM识别离散手臂+手部姿势类。我们的方法提供了最先进的手姿态识别性能，从自我中心的RGB-D图像的实时。
2014-11-29 cs.CV
