Self-Supervised Monocular 4D Scene Reconstruction for Egocentric Videos
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Shanghai Qi Zhi Institute（上海启智研究院）；UC San Diego（加州大学圣地亚哥分校）
针对自我视角视频缺乏高质量标注导致监督方法受限的问题，提出自监督模型EgoMono4D，在快速前馈框架内统一估计相机内参、位姿和视频深度，实现了快速、密集且可泛化的4D点云序列重建。
2025-07-12 cs.CV cs.RO
Functional Hand Type Prior for 3D Hand Pose Estimation and Action Recognition from Egocentric View Monocular Videos
Korea University（高丽大学）；Purdue University（普渡大学）
针对第一人称视频中手部动态感知难的问题，提出基于功能手型先验的识别框架，通过手型分类与语义嵌入提升3D姿态估计和动作识别，在FPHA和H2O基准上超越现有方法。
2026-09-29 cs.CV
AG-EgoPose: Spatially Anchored Residual Correction with Action Context for Monocular Egocentric 3D Pose Estimation
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
AG-EgoPose通过结合短程和长程运动上下文与细粒度空间线索，提出双流框架提升第一视角3D姿态估计的鲁棒性，实验表明其在定量和定性指标上均达到最优。
2026-09-15 cs.CV
4D Human Body Capture from Egocentric Video via 3D Scene Grounding
Georgia Institute of Technology（佐治亚理工学院）；ETH Zürich（苏黎世联邦理工学院）；Zhejiang University（浙江大学）
我们介绍了一种新的任务，重建的时间序列的第二人称三维人体网格从单目自我中心的视频。以自我为中心的视频的独特视角和快速体现的相机运动为人体捕捉增加了额外的技术障碍。为了解决这些挑战，我们提出了一种简单而有效的基于优化的方法，该方法利用整个视频序列的2D观察和人类场景交互约束来估计第二人称人类姿势，形状和全局运动，这些运动基于从自我中心视图捕获的3D环境。我们进行详细的消融研究，以验证我们的设计选择。此外，我们比较我们的方法与以前的国家的最先进的方法从单目视频的人体运动捕捉，并表明我们的方法估计更准确的人体姿势和形状下具有挑战性的自我中心的设置。此外，我们证明了我们的方法产生更逼真的人的场景交互。
2021-10-15 cs.CV
ReViV: Reconstructing the Viewer and the View in 4D from Monocular Egocentric Video
ETH Zurich（苏黎世联邦理工学院）；Delft University of Technology（代尔夫特理工大学）；Microsoft（微软）
研究旨在从单目自我中心视频重建4D中的观看者和视图，提出ReViV框架，将任务建模为学习多模态信号联合概率分布，由掩码生成自我中心变压器驱动，在多基准测试中展现出高精度和效率，还保持了竞争力强的自我中心深度估计，且代码模型开源。
2026-10-08 cs.AI cs.CV
Bringing a Personal Point of View: Evaluating Dynamic 3D Gaussian Splatting for Egocentric Scene Reconstruction
Delft University of Technology（代尔夫特理工大学）；TUM/MCML（慕尼黑工业大学/麦克斯·普朗克研究所）；Czech Technical University in Prague（布拉格捷克技术大学）
本文评估了动态单目3DGS模型在眼动和非眼动视频中的重建效果，发现眼动视角重建质量较低，原因在于模型更擅长静态内容而非动态场景。
2026-04-26 cs.CV
EgoForce: Forearm-Guided Camera-Space 3D Hand Pose from a Monocular Egocentric Camera
Max Planck Institute for Informatics (MPII)（马克斯·普朗克信息研究所）
本文提出 EgoForce 框架，通过统一网络处理不同相机模型，结合可微 forearm 表示和 ray 空间求解器，实现高精度 3D 手姿态恢复，实验显示在 HOT3D 数据集上 MPJPE 减少 28%。
2026-05-12 cs.CV cs.GR
A Multimodal RGB and Events Dataset for Hand Detection in First-Person View
Zurich University of Applied Sciences（苏黎世应用科技大学）
针对移动机器人系统中传统相机在暗光下运动模糊的问题，提出利用事件相机与RGB相机结合的多模态手部检测方法，并通过合成事件数据集实现与现有方法相当的性能。
2026-06-09 cs.CV
MASS: Mesh-inellipse Aligned Deformable Surfel Splatting for Hand Reconstruction and Rendering from Egocentric Monocular Video
The Hong Kong Polytechnic University（香港理工大学）
本文提出MASS方法，通过可变形2D高斯Surfel表示解决单目视频中高保真3D手部重建难题，结合网格对齐Steiner椭圆和分形密集化提升分辨率，引入高斯Surfel变形和两阶段训练策略提升重建质量。
2026-04-10 cs.CV cs.RO
Hand2World: Autoregressive Egocentric Interaction Generation via Free-Space Hand Gestures
College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院，南洋理工大学）
Hand2World通过自由空间手势生成视角交互，利用自回归框架解决遮挡、相机运动解耦和长视频生成问题，提升视觉生成的质量与稳定性。
2026-02-13 cs.CV
EventEgo3D: 3D Human Motion Capture from Egocentric Event Streams
Saarland University（萨尔大学）；MPI for Informatics（马克斯·普朗克信息学研究所）
针对现有第一视角3D人体动作捕捉方法在低光照、高速运动下失效的问题，提出首个基于鱼眼事件相机的EventEgo3D框架，适配LNES事件流表示，搭配自研头戴设备与真实数据集，实现140Hz实时高鲁棒性高精度捕捉。
2024-04-12 cs.CV
HandsOnWorld: Unconstrained Egocentric Video Generation with Camera-Disentangled Hand Control
Tsinghua University（清华大学）；Kling Team, Kuaishou Technology（快手科技 Kling 团队）；Chinese University of Hong Kong（香港中文大学）
提出HandsOnWorld框架，通过单目重建从无约束视频中学习手部控制，利用Plücker手部映射解耦相机与手部运动，生成高保真自我中心视频。
2026-08-17 cs.CV
Estimating Egocentric 3D Human Pose in Global Space
MPI Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；Facebook Reality Labs（Facebook现实实验室）
使用单个鱼眼相机的以自我为中心的3D人体姿态估计最近变得流行，因为它允许在不受约束的环境中捕获广泛的日常活动，这对于使用外部相机的传统由外向内运动捕获是困难的。然而，现有的方法有几个局限性。一个突出的问题是，所估计的姿势位于鱼眼相机的局部坐标系中，而不是在世界坐标系中，这对于许多应用是限制性的。此外，这些方法遭受有限的准确性和时间不稳定性，由于由单眼设置和严重遮挡在强烈扭曲的自我中心的角度引起的模糊性。为了解决这些局限性，我们提出了一种新的方法，使用一个单一的头戴式鱼眼相机的自我中心的全球3D身体姿态估计。为了实现准确和时间稳定的全局姿态，通过最小化热图重投影误差并强制执行从mocap数据集学习的局部和全局身体运动先验，在帧序列上执行时空优化。实验结果表明，我们的方法优于国家的最先进的方法在定量和定性。
2021-08-24 cs.CV
Analysis of Hand Segmentation in the Wild
Center for Research in Computer Vision, University of Central Florida（中佛罗里达大学计算机视觉研究中心）
在自我中心视觉中，大量的工作集中在动作和物体识别上。然而，第一人称视频中的手的检测和分割却很少被探索。对于该领域中的许多应用，不仅需要准确地分割相机佩戴者的手，而且还需要准确地分割与他交互的其他人的手。在这里，我们深入研究手部分割问题。在寻求稳健的手部分割方法的过程中，我们评估了现有数据集上最先进的语义分割方法的性能。我们微调了RefineNet，一种领先的语义分割方法，用于手部分割，发现它比最好的竞争者要好得多。现有的手部分割数据集在实验室环境中收集。为了克服这一限制，我们收集了两个新的数据集：a）EgoYouTubeHands，包括以自我为中心的视频，其中包含野外的手，以及b）HandOverFace，以分析我们的模型在存在类似外观遮挡的情况下的性能。我们进一步探讨条件随机场是否可以帮助完善生成的手分割。为了证明准确的手部地图的好处，我们训练了一个CNN用于基于手部的活动识别，并在使用微调的RefineNet产生的手部地图训练CNN时实现了更高的准确性。最后，我们对EgoHands数据集的一个子集进行了注释，以进行细粒度动作识别，并表明只需查看一个手部姿势就可以实现58.6%的准确率，这远远优于机会水平（12.5%）。
2018-03-28 cs.CV
3D Hand Pose Detection in Egocentric RGB-D Images
Aragon Institute of Engineering Research (i3A), Universidad de Zaragoza（阿拉贡工程研究所（i3A），萨拉戈萨大学）；University of California, Irvine（加州大学欧文分校）
我们专注于从自我中心的观点每天的手姿态估计的任务。对于这项任务，我们表明，深度传感器是特别有用的提取近场交互的相机佩戴者与他/她的环境。尽管最近在使用Kinect类传感器的全身姿势估计方面取得了进展，但RGB-D图像中可靠的单目手部姿势估计仍然是一个未解决的问题。当从第一人称视角分析执行日常活动的手时，由于对象操作和有限的视场引起的严重遮挡，该问题大大加剧。我们的系统解决了这些困难，利用强大的先验的观点和构成的歧视性跟踪检测框架。我们的先验操作通过一个逼真的自我中心的场景，这是用来生成训练数据学习基于深度的姿势分类器的合成模型。我们评估我们的方法上的注释数据集的真实自我为中心的对象操作场景，并比较商业和学术的方法。我们的方法为以自我为中心的RGB-D图像中的手部检测和姿态估计提供了最先进的性能。
2014-11-29 cs.CV
Egocentric Whole-Body Human Mesh Recovery with Prior-Guided Learning
本文提出基于先验引导的学习框架，通过构造更准确的优化伪标签和多先验方法，提升第一人称全身体素恢复的精度，实验表明其优于现有方法。
2026-05-09 cs.CV
EgoM2P: Egocentric Multimodal Multitask Pretraining
ETH Zürich（苏黎世联邦理工学院）；Zhejiang University（浙江大学）；Microsoft（微软公司）
EgoM2P提出基于高效时间分词器和掩码建模的以自我为中心多模态多任务预训练框架，统一支持注视预测、相机跟踪、深度估计及视频合成，性能媲美专用模型且速度快一个数量级。
2026-11-05 cs.CV
LAMP: Localization Aware Multi-camera People Tracking in Metric 3D World
Meta Reality Labs Research（Meta现实实验室）
LAMP提出一种新颖简单框架，通过早期解耦观察者与目标运动，解决多摄像头视角下3D人体跟踪问题，实现动态视角下的高效跟踪。
2026-05-06 cs.CV
SelfPose: 3D Egocentric Pose Estimation from a Headset Mounted Camera
我们提出了一个解决方案，以自我为中心的3D身体姿态估计从单眼图像捕获向下看鱼眼摄像头安装在头戴式VR设备的边缘。这种不寻常的视角导致图像具有独特的视觉外观，具有严重的自遮挡和透视扭曲，导致下半身和上半身之间的分辨率存在巨大差异。我们提出了一种编码器-解码器架构，其具有新颖的多分支解码器，该多分支解码器设计用于考虑2D预测中的不同不确定性。对合成和真实世界数据集的定量评估表明，我们的策略比最先进的以自我为中心的方法在准确性上有了实质性的提高。为了解决缺乏标记数据的问题，我们还引入了一个大型照片级真实感合成数据集。xR-EgoPose提供高质量的渲染，呈现不同肤色，体型和服装的人，执行一系列动作。我们的实验表明，我们新的合成训练语料库中的高可变性导致了对真实世界镜头的良好泛化，以及对真实世界数据集的最新结果的状态。此外，在Human3.6M基准测试上的评估表明，从第三人称的角度来看，我们的方法在更经典的3D人体姿势问题上的性能与顶级方法相当。
2020-11-02 cs.CV
TouchSight: Bare-Handed Tactile Prediction from Egocentric Video via Generative Visual Augmentation
THU（清华大学）；Xspark AI；HKUST (GZ)（香港科技大学（广州））；HKU（香港大学）
TouchSight利用生成式视频模型将手套数据重渲染为裸手观测，从单目第一视角视频预测密集全手接触力，在OakInk2上超越先前方法，证明无需触觉仪器即可恢复触觉信号。
2026-09-18 cs.AI cs.CV
xR-EgoPose: Egocentric 3D Human Pose from an HMD Camera
University College London（伦敦大学学院）；Facebook Reality Lab（Facebook现实实验室）
我们提出了一种新的解决方案，以自我为中心的3D身体姿态估计从单目图像从向下看鱼眼相机安装在边缘的头戴式虚拟现实设备。这个不寻常的观点，只有2厘米。远离用户的面部，导致图像具有独特的视觉外观，其特征在于严重的自遮挡和强烈的透视失真，这导致下半身和上半身之间的分辨率的巨大差异。我们的贡献是双重的。首先，我们提出了一种新的编码器-解码器架构，其具有专门设计的新颖的双分支解码器，以考虑2D联合位置中的变化的不确定性。我们的定量评估，无论是在合成和现实世界的数据集，表明我们的策略导致大幅提高的准确性，最先进的自我中心的姿态估计方法。我们的第二个贡献是一个新的大规模照片级真实感合成数据集- xR-EgoPose -提供383 K帧的高质量渲染，包括各种肤色，体型，服装，在各种背景和照明条件下，执行一系列动作。我们的实验表明，我们新的合成训练语料库中的高可变性导致了对真实世界镜头的良好泛化，并在真实世界数据集上获得了最先进的结果。此外，在Human3.6M基准测试上的评估表明，从第三人称的角度来看，我们的方法在更经典的3D人体姿势问题上的性能与顶级方法相当。
2019-07-23 cs.CV
ESTHER: Egocentric Stereo Hand Estimation and Reconstruction in the Wild
City University of Hong Kong（香港城市大学）
针对以自我为中心立体视觉中缺乏端到端模型和野外基准的问题，提出ESTHER模型与ESTHER3D数据集，利用立体几何与时间推理实现鲁棒且保持度量尺度的手部重建。
2026-10-14 cs.AI cs.CV
Predicting 4D Hand Trajectory from Monocular Videos
Carnegie Mellon University（卡内基梅隆大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
针对现有基于视频的手部姿态重建方法4D轨迹一致性差、标注数据不足的问题，提出HaPTIC方法，改造图像型transformer并加入两种轻量注意力层，从单目视频推断连贯4D手部轨迹，在全局轨迹精度上超越现有方法且单图姿态估计性能达SOTA。
2025-01-14 cs.CV
EgoSim: Egocentric World Simulator for Embodied Interaction Generation
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；The University of Hong Kong（香港大学）
EgoSim通过建模可更新的世界状态，解决现有视角模拟器在3D grounding和动态更新上的不足，生成空间一致的交互视频并支持跨具身迁移。
2026-07-02 cs.AI cs.CV
MEgoHand: Multimodal Egocentric Hand-Object Interaction Motion Generation
School of Computer Science, Peking University（北京大学计算机学院）；Department of Automation, Tsinghua University（清华大学自动化系）；BeingBeyond
提出MEgoHand多模态框架，利用视觉语言模型和流匹配策略生成手-物体交互运动，显著降低误差并提升跨域泛化能力。
2025-05-22 cs.CV
Recognition and 3D Localization of Pedestrian Actions from Monocular Video
Honda Research Institute（本田研究院）
了解和预测行人行为是一个重要的和具有挑战性的研究领域，以实现安全和有效的导航策略，在城市场景中的自动化和先进的驾驶辅助技术。本文从自我中心的角度研究了单目行人行为识别和三维定位，以预测意图和未来轨迹。在城市交通场景中解决这个问题的一个挑战是由于行人的不可预测的行为，从而行动和意图是不断变化的，并取决于行人的姿势，他们的三维空间关系，以及他们与其他代理以及与环境的互动。为了部分地解决这些挑战，我们认为对识别和行人的动作的3D定位构成的重要性。特别是，我们提出了一个动作识别框架，使用两个流的时间关系网络与输入对应的原始RGB图像序列的跟踪行人以及行人的姿势。所提出的方法优于方法使用单流时间关系网络的基础上使用JAAD公共数据集的评估。所估计的姿势和相关联的身体关键点也被用作网络的输入，该网络使用唯一的损失函数来估计行人的3D位置。在KITTI数据集上对我们的3D定位方法进行的评估表明，与现有的最先进的方法相比，平均定位误差有所改善。最后，我们在HRI的H3D驾驶数据集上进行了动作识别和3D定位的定性测试。
2020-08-03 cs.CV
EgoXperience: Learning World-Grounded Egocentric Representations from Human Experience
Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）；Peking University（北京大学）
提出EgoXperience全栈范式，通过EgoX-Engine构建EgoX-Data-6M数据集和EgoX-Bench基准，训练EgoX模型，实现单目自我中心视频的相机、场景等联合重建，性能优于基线。
2026-10-20 cs.CV
EgoPHI: Estimating 3D Hand-Object Contact and Force from Egocentric Vision
ETH Zürich（苏黎世联邦理工学院）
EgoPHI是从单目RGB图像与物体几何联合估计手和物体网格的密集3D接触图与力分布的方法，通过物理模拟扩充数据集，在多场景下实现了性能提升与泛化，推动了第一视角手-物体交互的物理推理。
2026-09-17 cs.CV cs.GR cs.HC
DewHand: Direct Metric World-Space Hand Motion Reconstruction from Egocentric Videos
The University of Tokyo（东京大学）；National Institute of Informatics（信息学研究科）
DewHand是一种从第一视角视频直接重建世界空间手部与相机运动的统一模型，通过单阶段联合预测、结合VGGT-Ω特征与流匹配生成，在多个数据集上优于现有最优方法。
2026-10-22 cs.CV
HOPE: Hand-Object Pressure Estimation from Monocular Videos
Seoul National University（首尔大学）；RLWRLD
HOPE是一种基于单目视频的手-物体压力估计框架，通过将压力估计转化为手中心视频预测问题，结合顶点锚定视频Transformer等组件，在多基准测试中实现了良好泛化，可生成联合接触与压力预测。
2026-11-02 cs.CV
LEXI-SG: Monocular 3D Scene Graph Mapping with Room-Guided Feed-Forward Reconstruction
University of Oxford（牛津大学）；Seoul National University（首尔国立大学）
LEXI-SG是首个仅使用RGB相机输入的开放词汇3D场景图密集映射系统，通过语义先验分割场景为房间，实现可扩展的密集映射。
2026-05-13 cs.CV cs.RO
EgoPlay: Event-Triggered Video Editing for Egocentric Streams
Snap Inc.（Snap公司）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
研究第一人称视角视频流编辑问题，提出EgoPlay，通过微调预训练模型，在单个端到端模型中联合学习事件识别等，构建数据集训练双向视频扩散编辑器，在Ego4D基准测试中表现出色，优于现有基线。
2026-07-28 cs.AI cs.CV
EgoEV-HandPose: Egocentric 3D Hand Pose Estimation and Gesture Recognition with Stereo Event Cameras
National Research Center for Optical Instrumentation, Zhejiang University（浙江大学光学仪器国家研究中心）；School of Artificial Intelligence and Robotics and the National Engineering Research Center of Robot Visual Perception and Control Technology, Hunan University（湖南大学人工智能与机器人学院和机器人视觉感知与控制技术国家工程研究中心）；Ant Group Company Ltd.（蚂蚁集团有限公司）
本文提出EgoEV-HandPose框架，通过立体事件流实现3D双臂姿态估计和手势识别，引入KeypointBEV模块和EgoEVHands数据集，取得优异性能。
2026-11-10 cs.CV cs.RO eess.IV
HMD-EgoPose: Head-Mounted Display-Based Egocentric Marker-Less Tool and Hand Pose Estimation for Augmented Surgical Guidance
University of Toronto（多伦多大学）；Sunnybrook Health Sciences Centre（桑尼布鲁克健康科学中心）；Sunnybrook Research Institute（桑尼布鲁克研究所）
现代计算机辅助外科手术的成败取决于对跟踪器械和组织的精确六自由度（6DoF）位置和方向（姿态）估计。在本文中，我们提出了HMD-EgoPose，这是一种基于单次学习的手部和物体姿态估计方法，并在单目红绿蓝（RGB）6DoF无标记手部和手术器械姿态跟踪的基准数据集上展示了最先进的性能。此外，我们揭示了我们的HMD-EgoPose框架的性能6DoF姿态估计的市售光学透视盔装显示器（OST-HMD）通过低延迟流方法的能力。我们的框架利用高效的卷积神经网络（CNN）骨干进行多尺度特征提取和一组子网络来共同学习刚性手术钻器械的6DoF姿态表示和用户手的抓握方向。为了使我们的方法可用于商业上可用的OST-HMD，Microsoft HoloLens 2，我们创建了一个用于低延迟视频和数据通信的管道，该管道具有能够优化网络推理的高性能计算工作站。HMD-EgoPose在手术工具姿态估计的基准数据集上优于当前最先进的方法，在实际数据上实现了11.0 mm的平均工具3D顶点误差，并进一步朝着临床可行的无标记跟踪策略迈进。通过我们的低延迟流方法，当与OST-HMD集成时，我们实现了199.1 ms的往返延迟，用于姿态估计和跟踪模型的增强可视化。我们的单次学习方法对遮挡和复杂表面具有鲁棒性，并改进了当前最先进的无标记工具和手部姿势估计方法。
2022-05-20 cs.CV
Dyn-HaMR: Recovering 4D Interacting Hand Motion from a Dynamic Camera
Imperial College London（伦敦帝国学院）
Dyn-HaMR首次从动态相机单目视频中重建4D全局手部运动，通过结合SLAM、交互手部先验和分层初始化的多阶段优化流程，显著优于现有方法并建立新基准。
2025-05-31 cs.CV
EgoWholeView: Camera-Only Head-Mounted Capture of Body and Bimanual Hand Motion for Embodied Demonstrations
Zhongguancun Academy（中关村学院）；DeepCybo；Beijing University of Chemical Technology（北京化工大学）；Zhongguancun Institute of Artificial Intelligence（中关村人工智能研究院）
EgoWholeView是由6台同步广角RGB摄像头组成的可穿戴捕捉系统，融合双视角预测实现身体与双手运动捕捉，精度提升且成本低，可用于具身演示等场景。
2026-10-14 cs.CV
Total-Recon: Deformable Scene Reconstruction for Embodied View Synthesis
Carnegie Mellon University（卡内基梅隆大学）
针对可变形场景长单目RGBD视频的具身视角合成难题，提出Total-Recon方法，通过分层分解场景与运动实现照片级重建，构建11段视频的真值基准，性能显著优于现有方法。
2023-10-02 cs.CV cs.GR cs.LG
Do as I Do: Dexterous Manipulation Data from Everyday Human Videos
UC Berkeley（加州大学伯克利分校）
提出DO AS I DO算法，从单目RGB人类视频中重建手-物交互并重定向到多指灵巧机器人手，生成可执行的操作数据，优于现有方法。
2026-06-18 cs.CV cs.RO
Any4D: Unified Feed-Forward Metric 4D Reconstruction
Carnegie Mellon University（卡内基梅隆大学）
Any4D通过模块化4D场景表示，实现高效的多视图前馈4D重建，提升精度和效率，适用于多种下游应用。
2025-12-11 cs.AI cs.CV cs.LG
MEgoVista: Multi-view Ego-aware Motion Estimation for Metric 4D Hands and Head in the Wild
Northwestern Polytechnical University（西北工业大学）；Maniformer
MEgoVista提出一种离线流程，从单个未准备的自我中心视频重建公制双手和头部运动，利用校准立体视觉设定尺度，并在运动捕捉体积内独立验证，为操作学习提供可扩展的标签来源。
2026-10-23 cs.CV
Free-Moving Object Reconstruction and Pose Estimation with Virtual Camera
EPFL（洛桑联邦理工学院）；MagicLeap
针对单目 RGB 视频中自由移动物体的重建与位姿估计问题，提出基于隐式神经表示和虚拟相机系统的无先验全局优化方法，在 HO3D 与自采第一人称序列上表现优异。
2024-05-10 cs.AI cs.CV cs.GR
RLHND: Video Foundation Models as Physically Grounded Hand Trackers for Robot Learning
RLWRLD；KAIST（韩国科学技术院）；Seoul National University（首尔国立大学）
提出RLHND，利用视频基础模型从第一人称视频联合估计手部姿态与触觉信息，实现物理一致的手部追踪，提升机器人学习效果。
2026-10-08 cs.CV cs.RO
