第一人称视角3D手部姿态估计挑战赛2023第一名解决方案技术报告：一种简洁的第一人称手部姿态重建流程
1st Place Solution of Egocentric 3D Hand Pose Estimation Challenge 2023 Technical Report:A Concise Pipeline for Egocentric Hand Pose Reconstruction
AI总结：
针对第一人称视角3D手部姿态估计挑战，提出基于ViT主干和简单回归器的简洁流程，结合多视角融合、测试时增强与模型集成，在AssemblyHands上以12.21mm MPJPE获第一名。
摘要：
本报告介绍了我们在第一人称视角3D手部姿态估计研讨会上的工作。该挑战赛使用AssemblyHands数据集，专注于从单张图像进行第一人称视角的3D手部姿态估计。在比赛中，我们采用了基于ViT的主干网络和简单的回归器进行3D关键点预测，提供了强大的模型基线。我们注意到手-物体遮挡和自遮挡会导致性能下降，因此提出了一种非模型方法，在后处理阶段融合多视角结果。此外，我们利用测试时增强和模型集成进一步提升了性能。我们还发现公共数据集和合理的预处理是有益的。我们的方法在测试数据集上达到了12.21毫米的MPJPE，在第一人称视角3D手部姿态估计挑战赛中获得了第一名。
英文摘要：
This report introduce our work on Egocentric 3D Hand Pose Estimation workshop. Using AssemblyHands, this challenge focuses on egocentric 3D hand pose estimation from a single-view image. In the competition, we adopt ViT based backbones and a simple regressor for 3D keypoints prediction, which provides strong model baselines. We noticed that Hand-objects occlusions and self-occlusions lead to performance degradation, thus proposed a non-model method to merge multi-view results in the post-process stage. Moreover, We utilized test time augmentation and model ensemble to make further improvement. We also found that public dataset and rational preprocess are beneficial. Our method achieved 12.21mm MPJPE on test dataset, achieve the first place in Egocentric 3D Hand Pose Estimation challenge.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
