Level Set-Based Camera Pose Estimation From Multiple 2D/3D Ellipse-Ellipsoid Correspondences
Inria（法国国家信息与自动化研究所）；Université de Lorraine（洛林大学）；LORIA（洛林计算机科学及其应用实验室）；CNRS（法国国家科学研究中心）
在本文中，我们提出了一个基于对象的相机姿态估计从一个单一的RGB图像和一个预先建立的地图的对象，表示与椭球模型。我们表明，相反的点对应关系，成本函数的定义，其特征在于一个3D对象的投影到一个2D目标检测是不简单的。我们开发了一个基于水平集采样的椭圆-椭圆代价，展示了它处理部分可见对象的良好特性，并将其性能与其他常用度量进行了比较。最后，我们表明，使用预测的不确定性检测到的椭圆允许公平的权重的贡献的对应关系，提高了计算的姿态。该代码在https://gitlab.inria.fr/tangram/level-set-based-camera-pose-estimation上发布。
2022-08-19 cs.CV
Geometric Loss Functions for Camera Pose Regression with Deep Learning
University of Cambridge（剑桥大学）
事实证明，深度学习对于鲁棒且实时的单目图像重新定位是有效的。特别地，PoseNet是一种深度卷积神经网络，它学习从单个图像回归6-DOF相机姿态。它学习使用高级特征进行本地化，并且对困难的照明，运动模糊和未知的相机固有特性具有鲁棒性，其中基于点的SIFT配准失败。然而，它是使用朴素的损失函数训练的，其中超参数需要昂贵的调整。本文对这一问题作了较基本的理论处理。我们探索了一些新的损失函数学习相机的姿态，这是基于几何和场景重投影误差。此外，我们展示了如何自动学习一个最佳的权重，同时回归位置和方向。通过利用几何形状，我们证明了我们的技术显着提高了PoseNet在从室内房间到小城市的数据集上的性能。
2017-05-23 cs.CV
On Triangulation as a Form of Self-Supervision for 3D Human Pose Estimation
EPFL（洛桑联邦理工学院）
当标记数据丰富时，监督方法从单个图像进行3D姿态估计是非常有效的。然而，由于地面实况3D标签的获取是劳动密集型和耗时的，最近的注意力已经转向半和弱监督学习。在拥挤的场景中，生成具有少量注释的有效监督形式仍然是一个重大挑战。在本文中，我们建议施加多视图的几何约束，通过加权可微三角剖分，并使用它作为一种形式的自我监督时，没有标签。因此，我们以这样的方式训练2D姿态估计器，使得其预测对应于三角测量的3D姿态的重新投影，并在其上训练辅助网络以产生最终的3D姿态。我们补充三角测量与加权机制，该机制消除了自遮挡或其他受试者遮挡引起的噪声预测的影响。我们在Human3.6M和MPI-INF-3DHP数据集以及一个新的多视图多人数据集上证明了我们的半监督方法的有效性。
2022-06-28 cs.CV
UV R-CNN: Stable and Efficient Dense Human Pose Estimation
Beijing University of Posts and Telecommunications（北京邮电大学）；Chinese Academy of Sciences（中国科学院）
密集姿态估计是用于实例级人体分析的密集3D预测任务，旨在将人体像素从RGB图像映射到人体的3D表面。由于大量的表面点回归，与其他基于区域的人类实例分析任务相比，训练过程似乎很容易崩溃。通过分析现有稠密姿态估计模型的损失公式，引入一种新的点回归损失函数Dense Points} loss来稳定训练进度，并引入一种新的平衡损失加权策略来处理多任务损失。有了上述新颖性，我们提出了一个全新的架构，名为UV R-CNN。在没有来自其他任务的辅助监督和外部知识的情况下，UV R-CNN可以处理密集姿势模型训练过程中的许多复杂问题，使用ResNet-50-FPN特征提取器在DensePose-COCO验证子集上实现65.0%的$AP_{gps}$和66.1%的$AP_{gpsm}$，在最先进的密集人体姿势估计方法中具有竞争力。
2022-11-04 cs.CV
Context-Aware Deep Spatio-Temporal Network for Hand Pose Estimation from Depth Images
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）；Alibaba Group（阿里巴巴集团）
手部姿态估计是计算机视觉中的一个基本而又具有挑战性的问题，其目的是从深度图像中估计手部关节的位置。通常，该问题被建模为以数据驱动的方式学习从图像到手关节坐标的映射函数。在本文中，我们提出了上下文感知的深度时空网络（CADNOW），这是一种新的方法，可以联合建模手部姿势估计的时空特性。我们提出的网络能够从图像序列中学习空间信息和时间结构的表示。此外，通过采用自适应融合方法，该模型能够动态加权不同的预测，强调足够的背景。我们的方法是在两个常见的基准测试，实验结果表明，我们提出的方法实现了最好的或第二最好的性能与国家的最先进的方法和运行在60 fps。
2018-10-06 cs.CV
Adaptive 3D Face Reconstruction from a Single Image
Tianjin University（天津大学）；Cardiff University（卡迪夫大学）
从单幅图像重建三维人脸是一个具有挑战性的问题，特别是在部分遮挡和极端姿态下。这是因为估计的2D界标的不确定性将影响面部重建的质量。在本文中，我们提出了一种新的联合2D和3D优化方法，自适应地重建三维人脸形状从一个单一的图像，它结合了深度的3D地标，以解决不确定的检测不可见的地标。我们的方法的策略涉及两个方面：使用2D和3D地标的粗到精姿态估计，以及基于精细姿态参数的自适应2D和3D重新加权以恢复准确的3D人脸。在多个数据集上的实验结果表明，该方法可以从单色图像中生成高质量的重建图像，并且对自遮挡和大姿态具有鲁棒性。
2020-09-13 cs.CV
Pose Adaptive Dynamic FiLM Modulation for Visual Speech Recognition
Kyushu Institute of Technology（九州工业大学）
针对视觉语音识别中头部姿态变化问题，提出姿态自适应动态FiLM框架，通过DR-FiLM预测输入依赖权重动态控制调制强度，在LRS2和LRS3上显著降低音素错误率。
2026-09-25 cs.CV
ArtiBoost: Boosting Articulated 3D Hand-Object Pose Estimation via Online Exploration and Synthesis
Shanghai Jiao Tong University（上海交通大学）；Shanghai Qi Zhi Institute（上海期智研究院）
从单个RGB图像估计关节式3D手部对象姿势是一个高度模糊且具有挑战性的问题，需要包含不同手部姿势、对象类型和相机视点的大规模数据集。大多数真实世界的数据集缺乏这些数据。相比之下，数据合成可以很容易地分别确保这些差异。然而，构建有效和多样的手-物体交互以及从大量的合成数据中有效地学习仍然是具有挑战性的。为了解决上述问题，我们提出了ArtiBoost，一个轻量级的在线数据增强方法。ArtiBoost通过在复合手对象配置和视点空间（CCV-space）中采样，可以覆盖不同的手对象姿态和摄像机视点，并通过损失反馈和样本重新加权，自适应地丰富当前难以识别的项。ArtiBoost在学习管道内交替执行数据探索和合成，这些合成数据被混合到真实世界的源数据中进行训练。我们在简单的学习基线网络上应用ArtiBoost，并在几个手部对象基准测试中见证了性能的提升。我们的模型和代码可以在https://github.com/lixiny/ArtiBoost上找到。
2022-03-25 cs.AI cs.CV
Pose-dependent weights and Domain Randomization for fully automatic X-ray to CT Registration
Technische Universität München（慕尼黑工业大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
全自动X射线到CT配准需要可靠的初始化，以在现有的基于强度的配准的捕获范围内提供初始对准。这项工作通过提供一种新颖的自动初始化来解决这一需求，该初始化实现了端到端注册。首先，神经网络被训练一次，以检测模拟X射线上的一组解剖标志。提出了一种域随机化方案，使网络能够克服纯粹在模拟数据上训练和在真实X射线上运行推理的挑战。然后，对于每个患者CT，使用患者特异性界标提取方案。它基于对一组模拟X射线的先前训练的网络预测的反向投影和聚类。接下来，重新训练网络以检测新的地标。最后，网络和3D地标位置的组合用于使用透视n点算法来计算初始化。在计算姿态的过程中，引入加权方案以将网络在检测地标时的置信度结合起来。使用真实和模拟X射线在骨盆上评估该算法。模拟X射线的平均（±标准差）靶配准误差（mm）为4.1 ± 4.3，成功率为92%，真实X射线的平均（±标准差）靶配准误差（mm）为4.2 ± 3.9，成功率为86.8%，其中成功定义为平移误差小于30 mm。
2021-04-15 cs.CV eess.IV
D3VO: Deep Depth, Deep Pose and Deep Uncertainty for Monocular Visual Odometry
Technical University of Munich（慕尼黑工业大学）；Artisense
我们提出D3 VO作为一种新的框架，用于单目视觉里程计，在三个层面上利用深度网络-深度，姿态和不确定性估计。我们首先提出了一种新的自监督单目深度估计网络训练立体视频没有任何外部监督。特别地，它将训练图像对对齐到具有预测亮度变换参数的相似照明条件中。此外，我们对输入图像上像素的光度不确定性进行建模，这提高了深度估计的准确性，并为直接（无特征）视觉里程计中的光度残差提供了一个学习的加权函数。评估结果表明，该网络优于国家的最先进的自我监督深度估计网络。D3 VO将预测的深度、姿态和不确定性紧密结合到直接的视觉里程计方法中，以增强前端跟踪和后端非线性优化。我们在KITTI里程计基准和EuRoC MAV数据集上对D3 VO进行了单眼视觉里程计的评估，结果表明D3 VO的性能大大优于传统的单眼VO方法。它还实现了与KITTI上最先进的立体/LiDAR里程计和EuRoC MAV上最先进的视觉惯性里程计相当的结果，同时仅使用单个相机。
2020-03-28 cs.AI cs.CV
MV-SAM3D: Adaptive Multi-View Fusion for Layout-Aware 3D Generation
Peking University（北京大学）；JD Explore Academy（京东探索研究院）
MV-SAM3D通过多视图一致性与物理合理性提升3D生成质量，无需额外训练，实现更可信的布局生成。
2026-04-09 cs.CV
SignAligner: Harmonizing Complementary Pose Modalities for Coherent Sign Language Generation
Hefei University of Technology（合肥工业大学）；University of Science and Technology of China（中国科学技术大学）
本研究扩展了手语数据集PHOENIX14T，提出三阶段SignAligner方法，通过多模态协同生成与校正及视频合成，提升了手语生成的准确性与表现力。
2025-06-13 cs.CV
Research on a Camera Position Measurement Method based on a Parallel Perspective Error Transfer Model
University of Tennessee（田纳西大学）；University of Florida（佛罗里达大学）
本文提出基于并行透视误差传递模型的摄像机姿态估计方法，通过显式建模误差传播提高近距离场景下的鲁棒性和精度。
2026-02-08 cs.CV cs.RO
RoPE-Flow: Monocular Vision-based Robot Pose Estimation via 2D Graph-Conditioned 3D Flow Matching
The Chinese University of Hong Kong（香港中文大学）；Shenzhen Loop Area Institute（深圳河套学院）；Xi’an Jiaotong University（西安交通大学）；EACV Research Center（EACV研究中心）
本研究提出RoPE-Flow框架，通过关键点中心特征提取器、图引导条件生成器及两类损失函数，实现单目视觉下的机器人位姿估计，性能优于现有方法且在零样本跨场景任务中表现出色。
2026-10-16 cs.CV cs.RO
$R^3$: 3D Reconstruction via Relative Regression
University of Michigan（密歇根大学）；Westlake University（西雅图大学）；NVIDIA Research（英伟达研究）
提出一种基于相对回归的3D重建方法$R^3$，使用轻量级MLP预测置信度加权的相对约束，以支持全上下文离线重建和因果有界内存流式重建。
2026-05-28 cs.CV
4DVGGT-D: 4D Visual Geometry Transformer with Improved Dynamic Depth Estimation
Peking University（北京大学）；Zhejiang University（浙江大学）；Huzhou University（湖州大学）；Huawei（华为）；Tongji University（同济大学）
本文提出一种无需训练的渐进解耦框架，通过稳定相机姿态和几何细化，解决动态与静态的分离问题，提升4D场景重建性能。
2026-08-04 cs.CV
Self-Paced Deep Regression Forests with Consideration of Ranking Fairness
University of Electronic Science and Technology of China（电子科技大学）；Yangtze Delta Region Institute, University of Electronic Science and Technology of China（电子科技大学长三角研究院）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Lab（鹏城实验室）
深度判别模型（DDM），例如深度回归森林和深度决策森林，最近已经被广泛研究以解决诸如面部年龄估计、头部姿态估计等问题。由于缺乏没有噪声和不平衡分布问题的标记良好的数据，学习DDM总是具有挑战性的。现有的方法通常通过学习更多的区别特征或重新加权样本来解决这些挑战。我们认为，学习DDM逐渐，从容易到困难，是更合理的，有两个原因。第一，这与人类的认知过程比较吻合。其次，噪声以及代表性不足的例子可以区分凭借以前学到的知识。因此，我们采取渐进式学习策略--自定进度学习（SPL）。那么，一个自然的问题出现了：SPL可以引导DDM实现更健壮和更少偏差的解决方案吗？为了回答这个问题，本文提出了一种新的SPL方法：简单和代表性不足的例子第一，学习DDM。这从一个新的角度解决了SPL中的基本排名和选择问题：公平性。我们的想法是基本的，可以很容易地与各种DDM相结合。在三个计算机视觉任务上的广泛实验结果，即，人脸年龄估计、头部姿态估计和凝视估计的结果表明，新方法在准确性和公平性方面都有相当大的改进。源代码可在https://github.com/learninginvision/SPU上获得。
2022-06-11 cs.CV
Interaction-aware Joint Attention Estimation Using People Attributes
Toyota Technological Institute（丰田工业大学）；University of Hyogo（兵库县立大学）
本文提出利用人物位置、动作和注视属性并通过Transformer显式建模属性交互，结合逐像素MLP头与通用图像注意力估计，实现单张图像中更准确的联合注意力估计。
2023-08-10 cs.CV
