École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；INRIA（法国国家信息与自动化研究所）；LIGM（加斯帕尔·蒙日信息实验室）；École des Ponts（巴黎高科路桥学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；Czech Institute of Informatics, Robotics and Cybernetics（捷克信息学、机器人与控制论研究所）；Czech Technical University in Prague（布拉格捷克理工大学）
Yann Labbé, Justin Carpentier, Mathieu Aubry, Josef Sivic
We introduce an approach for recovering the 6D pose of multiple known objects in a scene captured by a set of input images with unknown camera viewpoints. First, we present a single-view single-object 6D pose estimation method, which we use to generate 6D object pose hypotheses. Second, we develop a robust method for matching individual 6D object pose hypotheses across different input images in order to jointly estimate camera viewpoints and 6D poses of all objects in a single consistent scene. Our approach explicitly handles object symmetries, does not require depth measurements, is robust to missing or incorrect object hypotheses, and automatically recovers the number of objects in the scene. Third, we develop a method for global scene refinement given multiple object hypotheses and their correspondences across views. This is achieved by solving an object-level bundle adjustment problem that refines the poses of cameras and objects to minimize the reprojection error in all views. We demonstrate that the proposed method, dubbed CosyPose, outperforms current state-of-the-art results for single-view and multi-view 6D object pose estimation by a large margin on two challenging benchmarks: the YCB-Video and T-LESS datasets. Code and pre-trained models are available on the project webpage https://www.di.ens.fr/willow/research/cosypose/.
MV6D: Multi-View 6D Pose Estimation on RGB-D Frames Using a Deep Point-wise Voting Network
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Tübingen（图宾根大学）；Robert Bosch GmbH（罗伯特·博世有限公司）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
BOP Challenge 2022 on Detection, Segmentation and Pose Estimation of Specific Rigid Objects
German Aerospace Center（德国航空航天中心）；TU Munich（慕尼黑工业大学）；Reality Labs at Meta（Meta现实实验室）；INRIA Paris（巴黎法国国家信息与自动化研究所）；Tsinghua University（清华大学）；Niantic（Niantic公司）；MVTec（MVTec公司）；Heidelberg University（海德堡大学）；Czech Technical University in Prague（布拉格捷克理工大学）
我们介绍了BOP Challenge 2022的评估方法、数据集和结果，这是一系列公开竞赛中的第四场，旨在从RGB/RGB-D图像中捕捉6D对象姿态估计领域的现状。在2022年，我们见证了姿态估计精度的另一个显著提高-最先进的水平，2019年为56.9 AR $_C$（Vidal等人）。和69.8 AR $_C$在2020年（Cosypose），移动到83.7 AR $_C$（GDRNPP）的新高度。在2019年以来评估的49种姿态估计方法中，前18种来自2022年。基于点对特征的方法于2010年推出，即使在2020年也取得了有竞争力的结果，现在深度学习方法的表现明显优于点对特征。合成域与真实域之间的差距再次显著减小，GDRNPP仅在来自BlenderProc的合成图像上训练获得82.7 AR $_C$。GDRNPP的最快变体达到80.5 AR $_C$，每个图像的平均时间为0.23 s。由于大多数最近的6D对象姿态估计方法都是从检测/分割对象开始的，因此我们也开始基于COCO指标评估2D目标检测和分割性能。与2020年Cosypose的Mask R-CNN结果相比，检测从60.3 AP $_C$提高到77.3 AP，分割从40.5 AP $_C$提高到58.7 AP。在线评估系统保持开放状态，可在以下网址访问：\href{http://bop.felk.cvut.cz/}{bop…
Multi-view Video-Pose Pretraining for Operating Room Surgical Activity Recognition
University of Strasbourg（斯特拉斯堡大学）；CNRS（法国国家科学研究中心）；INSERM（法国国家健康与医学研究院）；IHU Strasbourg（斯特拉斯堡大学医院研究所）；Intuitive Surgical Inc.（直觉外科公司）；University Hospital of Strasbourg（斯特拉斯堡大学医院）
Nanyang Technological University（南洋理工大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Alibaba Group（阿里巴巴集团）；ByteDance（字节跳动）；Wenzhou University（温州大学）
AUTO3D: Novel view synthesis through unsupervisely learned variational viewpoint and global 3D representation
Harvard University（哈佛大学）；Facebook AI（脸书人工智能）；Carnegie Mellon University（卡内基梅隆大学）；The Hong Kong Polytechnic University（香港理工大学）；Université de Montréal（蒙特利尔大学）；Nanjing University of Information Science and Technology（南京信息工程大学）；Fanhan Tech. Inc.（泛函科技有限公司）
DKPMV: Dense Keypoints Fusion from Multi-View RGB Frames for 6D Pose Estimation of Textureless Objects
College of Aerospace Science and Engineering, National University of Defense Technology（航空航天科学与工程学院，国防科技大学）；Hunan Provincial Key Laboratory of Image Measurement and Vision Navigation（图像测量与视觉导航省级重点实验室）
StereoPose: Category-Level 6D Transparent Object Pose Estimation from Stereo Images via Back-View NOCS
The Chinese University of Hong Kong（香港中文大学）；University of California, Berkeley（加州大学伯克利分校）；Dyson Robot Learning Lab（戴森机器人学习实验室）；Hong Kong Centre for Logistics Robotics（香港物流机器人中心）
LVS: Local View Synthesis from Relative Camera Pose by Reusing Previous Views
Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences（中国科学院长春光学精密机械与物理研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Chinese Academy of Sciences（中国科学院）
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；TuSimple（图森未来）
我们提出了一种方法来恢复绝对的三维人体姿势从多视图图像中，将多视图几何先验在我们的模型。它由两个独立的步骤组成：（1）估计多视图图像中的2D姿态和（2）从多视图2D姿态恢复3D姿态。首先，我们将跨视图融合方案引入到CNN中，以联合估计多个视图的2D姿态。因此，每个视图的2D姿态估计已经受益于其他视图。其次，我们提出了一个递归的图像结构模型来从多视图2D姿态恢复3D姿态。它逐渐提高了三维姿态的精度与负担得起的计算成本。我们在两个公共数据集H36M和Total Capture上测试了我们的方法。两个数据集上的平均每关节位置误差为26 mm和29 mm，显著优于最新技术水平（26 mm vs 52 mm，29 mm vs 35 mm）。我们的代码在\url{https://github.com/microsoft/multiview-human-pose-estimation-pytorch}上发布。
