Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose Estimation
Indian Institute of Science(印度科学学院);Google Research(谷歌研究院)
单目3D人体姿态估计的进步主要是由监督技术,需要大规模的2D/3D姿态注释。在没有任何丢弃不熟悉的分布外数据的规定的情况下,这些方法通常表现不稳定。为此,我们将3D人体姿势学习作为一个无监督的领域自适应问题。我们引入了MRP-Net,它构成了一个通用的深度网络骨干,其中两个输出头订阅了两种不同的配置; a)无模型联合定位和b)基于模型的参数回归。这样的设计使我们能够得到合适的措施,量化预测的不确定性,在姿态和关节级别的粒度。虽然仅对标记的合成样本进行监督,但自适应过程旨在最小化未标记目标图像的不确定性,同时最大化极端分布外数据集(背景)的不确定性。除了合成到真实的3D姿势自适应之外,联合不确定性还允许扩展自适应以适用于野外图像,即使在存在遮挡和截断场景的情况下也是如此。我们提出了一个全面的评估所提出的方法,并展示了最先进的性能基准数据集。
2022-03-29 cs.CV
UPose3D: Uncertainty-Aware 3D Human Pose Estimation with Cross-View and Temporal Cues
Queen’s University(女王大学);Ubisoft LaForge(育碧拉福奇工作室)
本研究提出UPose3D多视角3D人体姿态估计方法,通过姿态编译器融合时序与跨视角信息、结合预测不确定性,无需3D标注即可在分布外达最优,分布内性能媲美3D监督方法且为2D监督方法中最优。
2024-07-10 cs.CV
Layer Ensembles: A Single-Pass Uncertainty Estimation in Deep Learning for Segmentation
University of Barcelona(巴塞罗那大学)
深度学习中的不确定性估计已经成为医学图像分析的一个领先研究领域,因为需要在临床实践中安全使用AI算法。大多数不确定性估计方法需要在测试或训练多个网络期间多次对网络权重进行采样。这导致在时间和计算资源方面的更高的训练和测试成本。在本文中,我们提出了层集成,一种新的不确定性估计方法,使用一个单一的网络,只需要一个单一的通道来估计网络的预测不确定性。此外,我们引入了一个图像级的不确定性度量,这是更有益的分割任务相比,常用的像素的度量,如熵和方差。我们评估我们的方法在2D和3D,二进制和多类医学图像分割任务。我们的方法显示了与最先进的Deep Ensembles竞争的结果,只需要一个网络和一个通道。
2022-03-16 cs.CV cs.LG eess.IV
Bayesian Uncertainty and Expected Gradient Length -- Regression: Two Sides Of The Same Coin?
Mercedes-Benz Research and Development India(梅赛德斯-奔驰印度研发中心)
主动学习算法选择数据的子集进行注释,以在预算范围内最大化模型性能。一种这样的算法是预期梯度长度,顾名思义,它使用采样过程中每个示例引起的近似梯度。虽然预期梯度长度已成功用于分类和回归,但回归公式仍然是直观驱动的。因此,我们的理论贡献包括推导这个公式,从而支持实验证据。随后,我们证明了回归中的期望梯度长度等价于贝叶斯不确定性。如果某些假设是不可行的,我们的算法贡献(EGL++)近似的合奏与一个单一的确定性网络的效果。而不是计算每个输入的多个可能的推断,我们利用以前注释的样本来量化以前的标签是真实标签的概率。这种方法使我们能够将预期的梯度长度扩展到一个新的任务:人体姿态估计。我们在两个人体姿态数据集(MPII和LSP/LSPET)上进行了实验验证,突出了EGL++与不同的主动学习算法用于人体姿态估计的可解释性和竞争力。
2021-10-22 cs.CV cs.LG
Camera Distortion-aware 3D Human Pose Estimation in Video with Optimization-based Meta-Learning
KAIST(韩国科学技术院)
现有的3D人体姿态估计算法在无失真数据集上训练,当应用于具有特定相机失真的新场景时,性能下降。在本文中,我们提出了一个简单而有效的模型,三维人体姿态估计在视频中,可以快速适应任何失真环境,利用MAML,一个代表性的基于优化的Meta学习算法。我们认为一个序列的二维关键点在一个特定的失真作为一个单一的任务MAML。然而,由于在失真的环境中没有大规模的数据集,我们提出了一种有效的方法来从未失真的2D关键点生成合成失真数据。对于评估,我们假设两个实际的测试情况,这取决于运动捕捉传感器是否可用。特别是,我们提出了推理阶段优化使用骨长度的对称性和一致性。广泛的评估表明,我们提出的方法成功地适应各种程度的失真在测试阶段,并优于现有的国家的最先进的方法。所提出的方法在实践中是有用的,因为它不需要相机校准和额外的计算在测试设置。
2021-12-03 cs.CV
MonoRUn: Monocular 3D Object Detection by Reconstruction and Uncertainty Propagation
Institute of Intelligent Vehicles, School of Automotive Studies, Tongji University(同济大学汽车学院智能车辆研究所)
三维空间中的目标定位是单目三维目标检测中一个具有挑战性的方面。6DoF位姿估计的最新进展表明,预测图像和物体3D模型之间的密集2D-3D对应图,然后通过透视n点(Perspective-n-Point,简称PSPs)算法估计物体位姿,可以实现显著的定位精度。然而,这些方法依赖于使用对象几何形状的地面真实值进行训练,这在真实的户外场景中很难获得。为了解决这个问题,我们提出了MonoRUn,这是一种新的检测框架,它以自监督的方式学习密集的对应关系和几何形状,并具有简单的3D限界框注释。为了回归像素相关的3D对象坐标,我们采用了具有不确定性意识的区域重建网络。对于自监督训练,预测的3D坐标被投影回图像平面。提出了一种鲁棒KL损失,以最小化不确定加权重投影误差。在测试阶段,我们通过将网络不确定性传播到所有下游模块来利用网络不确定性。更具体地说,利用不确定性驱动的Pestro算法来估计对象姿态及其协方差。大量的实验表明,我们提出的方法优于当前国家的最先进的方法KITTI基准。
2021-03-24 cs.CV
DiffPose: Toward More Reliable 3D Pose Estimation
Monash University(莫纳什大学);Lancaster University(兰卡斯特大学);Singapore University of Technology and Design(新加坡科技设计大学);New York University(纽约大学)
针对单目3D人体姿态估计中的模糊性和遮挡问题,提出将3D姿态估计表述为反向扩散过程的DiffPose框架,通过姿态特定初始化、基于高斯混合模型的正向扩散和上下文条件反向扩散等设计,在Human3.6M和MPI-INF-3DHP基准上显著优于现有方法。
2023-04-09 cs.CV
PoseBench3D: A Cross-Dataset Analysis Framework for 3D Human Pose Estimation via Pose Lifting Networks
University of California, Irvine(加州大学伊文斯分校)
PoseBench3D提出标准化跨数据集评估框架,统一测试四个3D HPE数据集,重评18种方法并报告100多项结果,揭示泛化差距及预处理影响。
2025-09-21 cs.CV
Capturing Object Detection Uncertainty in Multi-Layer Grid Maps
FZI Research Center for Information Technology(FZI信息技术研究中心);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
我们提出了一种用于自动驾驶应用的深度卷积对象检测器,它还可以估计每个检测到的对象的分类、姿态和形状不确定性。输入包括一个多层网格地图,这是非常适合传感器融合,自由空间估计和机器学习。基于估计的姿态和形状的不确定性,我们近似对象外壳有界的碰撞概率,我们发现有助于后续的轨迹规划任务。我们根据KITTI目标检测数据集对模型进行训练。在定量和定性评估中,一些模型与以前开发的对象检测器相比显示出相似的性能和优越的鲁棒性。然而,我们的评估也指出了不希望的数据集属性,当训练数据驱动的模型或创建新的数据集时,应该解决这些问题。
2019-01-31 cs.CV cs.RO
Adaptive Uncertainty Estimation via High-Dimensional Testing on Latent Representations
The University of Hong Kong(香港大学);TCL AI Lab(TCL人工智能实验室);Imperial College London(帝国理工学院)
针对现有不确定性估计方法受限于低维假设且依赖训练时分布外数据的问题,提出一种基于潜在表示的数据自适应高维假设检验框架,无需重训编码器即可提升OOD检测与不确定性估计的准确性。
2023-10-25 cs.AI cs.CV cs.LG
Deep Learning a Grasp Function for Grasping under Gripper Pose Uncertainty
Dyson Robotics Lab, Imperial College London(帝国理工学院戴森机器人实验室)
本文提出了一种新的方法,平行爪抓取孤立物体的深度图像,在大的夹持器位姿不确定性。虽然大多数方法的目标是从图像中预测单个最佳抓取姿势,但我们的方法首先预测每个可能的抓取姿势的得分,我们将其表示为抓取函数。由此,通过用姿态不确定性函数平滑抓取函数,可以实现对抓手的姿态不确定性的抓取鲁棒性。因此,如果单个最佳姿态邻近于抓取质量差的区域,则将不再选择该姿态,而是将选择被抓取质量高的区域包围的姿态。为了学习这个函数,我们训练一个卷积神经网络,它将物体的单个深度图像作为输入,并为图像上的每个抓取姿势输出一个分数。为此,通过使用物理模拟和具有3D对象网格的深度图像模拟来生成训练数据,以使得能够在不需要详尽的真实世界实验的情况下获取足够的数据。我们评估与合成和真实的实验,并表明,学到的把握分数是更强大的抓手姿势的不确定性比当这种不确定性不占。
2016-08-07 cs.CV cs.LG cs.RO
Uncertainty Quantification with Deep Ensembles for 6D Object Pose Estimation
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);Institute of Photogrammetry and Remote Sensing (IPF)(摄影测量与遥感研究所)
本文针对多阶段6D物体姿态估计方法提出基于深度集成的不确定性量化方案,以SurfEmb为例进行评估,并提出新的回归任务不确定性校准分数。
2024-05-02 cs.AI cs.CV
MaskVal: Simple but Effective Uncertainty Quantification for 6D Pose Estimation
BMW Group(宝马集团);Freie Universitaet Berlin(柏林自由大学)
本文提出MaskVal,一种无需修改姿态估计器、通过渲染对比实例分割来量化6D姿态不确定性的简单方法,在数据集和机器人装置上显著优于现有集成方法,并提出了面向机器人操作的不确定性量化评估新方法。
2024-09-05 cs.CV cs.LG cs.RO
Fast Uncertainty Quantification for Deep Object Pose Estimation
NVIDIA(英伟达);California Institute of Technology(加州理工学院);The University of Texas at Austin(德克萨斯大学奥斯汀分校);The University of Sydney(悉尼大学)
基于深度学习的对象姿态估计器通常不可靠且过于自信,特别是当输入图像在训练域之外时,例如,使用sim 2 real transfer。许多机器人任务都迫切需要姿态估计器中高效且鲁棒的不确定性量化(UQ)。在这项工作中,我们提出了一个简单,高效,即插即用的UQ方法6自由度对象姿态估计。我们将2-3个预先训练的模型与不同的神经网络架构和/或训练数据源集成,并计算它们的平均成对不一致性以获得不确定性量化。我们提出了四个分歧度量,包括一个学习的度量,并表明平均距离(ADD)是最好的无学习度量,它只是略差于学习的度量,这需要标记的目标数据。与现有技术相比,我们的方法具有几个优点:1)我们的方法不需要对训练过程或模型输入进行任何修改;以及2)对于每个模型,它只需要一次前向传递。我们评估了三个任务,我们的不确定性量化产生更强的相关性与姿态估计误差比基线的UQ方法。此外,在一个真正的机器人抓取任务中,我们的方法将抓取成功率从35%提高到90%。
2021-03-26 cs.AI cs.CV cs.LG
Rethinking Pose Refinement in 3D Gaussian Splatting under Pose Prior and Geometric Uncertainty
Yonsei University(延世大学);Kookmin University(韩国庆熙大学);Korea Institution of Science and Technology(韩国科学技术院)
本文针对3DGS姿态细化的鲁棒性问题,提出结合蒙特卡洛姿态采样与Fisher信息PnP优化的重定位框架,提升定位精度和稳定性。
2026-03-17 cs.CV
Uncertainty Quantification for Visual Object Pose Estimation: S-Lemma Ellipsoidal Bounds
Massachusetts Institute of Technology(麻省理工学院)
SLUE通过凸优化方法为视觉目标姿态估计提供高概率的椭球不确定性界,有效缩小平移界限并保持方向精度。
2026-08-04 cs.CV cs.RO
Modeling the Uncertainty with Maximum Discrepant Students for Semi-supervised 2D Pose Estimation
Beijing University of Technology(北京工业大学);University of Chinese Academy of Sciences(中国科学院大学)
针对半监督姿态估计中伪标签质量难以用置信度评估的问题,提出基于双均值教师框架的最大差异学生不确定性建模方法,构造多不确定性指标评估伪标签质量,在三个数据集上提升了半监督姿态估计性能。
2023-11-03 cs.AI cs.CV
Multi-person Pose Tracking using Sequential Monte Carlo with Probabilistic Neural Pose Predictor
Panasonic Corporation(松下公司);Ritsumeikan University(立命馆大学)
逐帧预测和匹配是视频中多人姿态跟踪的有效策略。对于这种类型的方法,不确定性感知建模是必不可少的,因为精确的预测是不可能的。然而,以前的研究只依赖于一个单一的预测,而不包括不确定性,这可能会导致严重的跟踪错误,如果预测是不可靠的。本文提出了一种扩展这种方法与顺序蒙特卡罗(SMC)。这自然地重新制定跟踪方案以处理姿态的多个预测(或假设),从而减轻预测误差的负面影响。SMC的重要组成部分,即,一个建议分布,被设计为概率神经姿态预测器,它可以提出不同的和合理的假设,通过合并认知的不确定性和异方差任意不确定性。此外,我们的神经模型中引入了一个递归架构,利用姿势的时间序列信息来管理困难的情况,如频繁的消失和再现的姿势。与现有的基线相比,该方法通过减少最先进的基线方法中约50%的跟踪误差,在PoseTrack2018验证数据集上实现了最先进的MOTA评分。
2020-02-27 cs.CV cs.LG
Quantifying Epistemic Uncertainty in Absolute Pose Regression
KTH Royal Institute of Technology(瑞典皇家理工学院);Univrses AB(Univrses AB公司)
本文提出在变分框架下估计观测似然来量化绝对位姿回归模型的认知不确定性,统一处理观测歧义与重复结构下的概率定位,并在不确定性与预测误差关系建模上优于现有方法。
2025-04-09 cs.CV
Multi-Agent Pose Uncertainty: A Differentiable Rendering Cramér-Rao Bound
Illinois Mathematics and Science Academy(伊利诺伊数学与科学学院)
本文提出一种可微渲染的Cramér-Rao下界,用于多智能体相机位姿不确定性量化,融合Fisher信息,无需关键点对应,适用于协作感知和新视图合成。
2025-10-18 cs.CV cs.GR cs.LG
Object Pose Distribution Estimation for Determining Revolution and Reflection Uncertainty in Point Clouds
SDU Robotics(SDU机器人研究所);The Mærsk Mc-Kinney Møller Institute(马士基麦金尼莫勒研究所);University of Southern Denmark(南部丹麦大学)
本文提出了一种基于深度学习的点云姿态分布估计方法,无需RGB输入,用于评估旋转和反射的不确定性。
2025-12-08 cs.CV
Learning Correlation-aware Aleatoric Uncertainty for 3D Hand Pose Estimation
Grad. School of AI POSTECH(POSTECH人工智能研究生院);Dept. of Electrical Engineering POSTECH(POSTECH电气工程系);School of Computing KAIST(KAIST计算学院)
针对3D手部姿态估计中缺乏偶然不确定性建模及关节相关性考量的问题,提出基于单线性层的概率分布参数化方法作为附加任务头,在保证精度的同时实现高效的相关性感知不确定性建模,性能优于现有方法。
2025-09-01 cs.CV
CoordiNet: uncertainty-aware pose regressor for reliable vehicle localization
MINES ParisTech(巴黎高等矿业学院);Huawei Technologies(华为技术有限公司)
在本文中,我们研究基于视觉的摄像机重新定位与神经网络的机器人和自动驾驶汽车的应用。我们的解决方案是一种基于CNN的算法,它直接从单个图像预测相机姿态(3D平移和3D旋转)。它还提供姿势的不确定性估计。姿态和不确定性与单个损失函数一起学习,并在测试时与EKF融合。此外,我们提出了一种新的完全卷积架构,名为CoordiNet,旨在嵌入一些场景几何。我们的框架在最大的可用基准测试Oxford RobotCar数据集上的表现优于可比方法,平均误差为8米,而之前的最佳误差为19米。我们还研究了我们的方法的性能在大场景的实时的(18 fps)车辆定位。在这种设置中,基于结构的方法需要一个大型数据库,我们表明,我们的建议是一个可靠的替代方案,在繁忙的市区1.9公里的环路中实现29厘米的中位误差
2021-10-07 cs.CV cs.LG cs.RO
CUPS: Improving Human Pose-Shape Estimators with Conformalized Deep Uncertainty
Massachusetts Institute of Technology(麻省理工学院)
CUPS提出一种结合深度不确定性与共形预测的方法,用于从RGB视频估计3D人体姿态和形状,在多个数据集上达到最先进性能并具备概率保证。
2024-12-11 cs.CV cs.RO
D3VO: Deep Depth, Deep Pose and Deep Uncertainty for Monocular Visual Odometry
Technical University of Munich(慕尼黑工业大学);Artisense
我们提出D3 VO作为一种新的框架,用于单目视觉里程计,在三个层面上利用深度网络-深度,姿态和不确定性估计。我们首先提出了一种新的自监督单目深度估计网络训练立体视频没有任何外部监督。特别地,它将训练图像对对齐到具有预测亮度变换参数的相似照明条件中。此外,我们对输入图像上像素的光度不确定性进行建模,这提高了深度估计的准确性,并为直接(无特征)视觉里程计中的光度残差提供了一个学习的加权函数。评估结果表明,该网络优于国家的最先进的自我监督深度估计网络。D3 VO将预测的深度、姿态和不确定性紧密结合到直接的视觉里程计方法中,以增强前端跟踪和后端非线性优化。我们在KITTI里程计基准和EuRoC MAV数据集上对D3 VO进行了单眼视觉里程计的评估,结果表明D3 VO的性能大大优于传统的单眼VO方法。它还实现了与KITTI上最先进的立体/LiDAR里程计和EuRoC MAV上最先进的视觉惯性里程计相当的结果,同时仅使用单个相机。
2020-03-28 cs.AI cs.CV
UA-Pose: Uncertainty-Aware 6D Object Pose Estimation and Online Object Completion with Partial References
Carnegie Mellon University(卡内基梅隆大学);Stony Brook University(石溪大学);National Tsing Hua University(国立清华大学);Amazon(亚马逊)
本文提出UA-Pose,通过在不完整3D模型中建模可见与不可见区域的不确定性,实现基于少量RGBD或单张2D部分参考的6D位姿估计与在线物体补全。
2025-06-09 cs.CV cs.RO
PoseExaminer: Automated Testing of Out-of-Distribution Robustness in Human Pose and Shape Estimation
Johns Hopkins University(约翰斯·霍普金斯大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);University of Freiburg(弗赖堡大学)
人体姿态和形状(HPS)估计方法取得了显着的效果。然而,目前的HPS基准测试大多被设计为在与训练数据相似的场景中测试模型。这可能会导致在实际应用中的关键情况下,观察到的数据与训练数据显着不同,因此是out-of-distribution(OOD)。因此,重要的是要测试和提高HPS方法的OOD鲁棒性。为了解决这个根本问题,我们开发了一个模拟器,可以使用可解释的参数以细粒度的方式进行控制,以探索人类姿势的图像的多样性,例如通过改变姿势,形状和衣服。我们介绍了一种基于学习的测试方法,称为PoseExaminer,通过搜索人体姿势图像的参数空间来自动诊断HPS算法,以找到故障模式。我们探索这个高维参数空间的策略是一个多智能体强化学习系统,其中智能体协作探索参数空间的不同部分。我们表明,我们的PoseExaminer发现了当前最先进的模型中的各种局限性,这些模型与现实世界的场景相关,但被当前的基准所忽略。例如,它发现了大面积的现实人类姿势没有被正确预测,以及瘦和肥胖体型的人类的表现降低。此外,我们表明,微调HPS的方法,利用PoseExaminer发现的故障模式,提高其鲁棒性,甚至其性能的标准基准显着的利润。代码可用于研究目的。
2023-03-30 cs.CV
SE(3)-PoseFlow: Estimating 6D Pose Distributions for Uncertainty-Aware Robotic Manipulation
Department of Computer Science, TU Darmstadt(图宾根大学计算机科学系);Honda Research Institute Europe GmbH(本田欧洲研究院);DFKI, Research Department SAIROL(德累斯顿人工智能研究所)
针对物体位姿估计中的歧义和多模态分布问题,提出基于SE(3)流形流匹配的概率框架SE(3)-PoseFlow,通过样本估计完整6D位姿分布以实现不确定性推理,并在多个基准上达到SOTA,成功应用于下游机器人操作任务。
2025-11-03 cs.CV cs.RO
IUP-Pose: Decoupled Iterative Uncertainty Propagation for Real-time Relative Pose Regression via Implicit Dense Alignment v1
本文提出IUP-Pose,通过隐式密集对齐解决相对姿态估计中姿态与位移估计耦合和跨视图特征对齐不足的问题,实现高精度与高效能的实时部署。
2026-03-20 cs.CV
Uncertainty-Aware Knowledge Distillation for Compact and Efficient 6DoF Pose Estimation
SnT, University of Luxembourg(卢森堡大学SnT分校);Cristal Lab, ENSI, University of Manouba(曼努巴大学ENSI的Cristal实验室);Infinite Orbits, Toulouse(图卢兹的Infinite Orbits)
本文提出了一种不确定性强的知识蒸馏方法,用于提升紧凑型6自由度姿态估计模型的精度和效率。
2025-08-04 cs.CV
Geometric Transformation Uncertainty for Improving 3D Fetal Brain Pose Prediction from Freehand 2D Ultrasound Videos
University of Oxford(牛津大学);Nanyang Technological University(南洋理工大学)
QAERTS提出不确定性感知多头网络,通过联合回归多种几何变换并利用不确定性加权,在低资源条件下提升2D超声胎儿大脑图像的3D平面定位精度和鲁棒性。
2024-07-07 cs.CV cs.LG eess.IV
P2U-SLAM: A Monocular Wide-FoV SLAM System Based on Point Uncertainty and Pose Uncertainty
State Key Laboratory of Extreme Photonics and Instrumentation, Zhejiang University(极端光束与仪器国家重点实验室,浙江大学);National Engineering Research Center of Robot Visual Perception and Control Technology, Hunan University(机器人视觉感知与控制技术国家工程研究中心,湖南大学);State Key Laboratory of Autonomous Intelligent Unmanned Systems(自主智能无人系统国家重点实验室)
P2U-SLAM通过引入点不确定性和位姿不确定性,提升广视场单目SLAM系统的鲁棒性和定位精度。
2026-01-03 cs.CV cs.RO eess.IV
PCM-NeRF: Probabilistic Camera Modeling for Neural Radiance Fields under Pose Uncertainty
Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);University of Amsterdam(阿姆斯特丹大学);University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校)
PCM-NeRF通过引入可学习的不确定性来增强神经表面重建,利用概率分布建模相机姿态,有效应对姿态估计不准确的问题,提升重建精度。
2026-04-20 cs.CV cs.GR
From Keypoints to Predictive Distributions: Post-Hoc Uncertainty for YOLO-Pose Models
本研究针对YOLO-Pose模型未量化空间不确定性的问题,提出轻量级事后概率扩展方法,结合校准诊断与AKP的评估协议,经COCO实验验证其在关键点可靠性排序等任务中有效,并在飞机着陆场景得到应用。
2026-11-06 cs.CV
HHP-Net: A light Heteroscedastic neural network for Head Pose estimation with uncertainty
Università degli Studi di Genova(热那亚大学);IMAVIS srl(IMAVIS有限责任公司)
在本文中,我们介绍了一种新的方法来估计头部姿势的人在单图像开始从一个小的头部关键点集。为此,我们提出了一个回归模型,利用2D姿态估计算法自动计算的关键点,并输出由偏航,俯仰和滚动表示的头部姿态。我们的模型是简单的实现和更有效的相对于最先进的-更快的推理和更小的内存占用-具有可比的准确性。我们的方法还提供了一个措施的异方差的不确定性与三个角度,通过适当设计的损失函数,我们显示有误差和不确定性值之间的相关性,因此,这个额外的信息源可以在随后的计算步骤中使用。作为一个示例应用程序,我们解决了图像中的社会互动分析:我们提出了一种算法,从他们的头部姿势和推理他们的相互位置开始,定量估计人与人之间的互动水平。该代码可在https://github.com/cantarinigiorgio/HHP-Net上获得。
2021-11-03 cs.CV
CPPF++: Uncertainty-Aware Sim2Real Object Pose Estimation by Vote Aggregation
Shanghai Jiao Tong University(上海交通大学);Stanford University(斯坦福大学);Flexiv Robotics Inc.(非夕机器人科技有限公司);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出 CPPF++,通过概率化点对投票、N 点元组及噪声过滤等模块实现仅依赖 CAD 模型的 Sim2Real 物体姿态估计,并发布 DiversePose 300 数据集,性能显著超越已有方法。
2024-03-29 cs.CV cs.LG
Calibration Wizard: A Guidance System for Camera Calibration Based on Modelling Geometric and Corner Uncertainty
ETH Zurich(苏黎世联邦理工学院);INRIA Grenoble – Rhône-Alpes(法国国立信息学与自动化研究院格勒诺布尔-罗讷-阿尔卑斯分院)
众所周知,校准的准确性强烈地依赖于相机姿态的选择,从相机姿态获取校准对象的图像。我们提出了一个系统-校准向导-交互式引导用户对采取最佳的校准图像。对于要拍摄的每个新图像,系统从所有先前获取的图像计算导致内在参数的预期不确定性的全局最大减少的姿势,然后引导用户朝向该姿势。我们还展示了如何将角点位置的不确定性,在一个新的原则性的方式,校准和计算的下一个最好的姿势。合成和真实世界的实验进行证明校准向导的有效性。
2019-09-03 cs.CV
Fusing the Old with the New: Learning Relative Camera Pose with Geometry-Guided Uncertainty
NEC Labs America(NEC美国实验室);University of California San Diego(加州大学圣迭戈分校)
相对相机姿态估计的学习方法已经在很大程度上独立于经典的几何方法而开发。如何整合深度神经网络(DNN)的预测和几何求解器(如5点算法)的解决方案的问题尚未得到充分探索。在本文中,我们提出了一个新的框架,涉及在网络训练过程中两个预测家族之间的概率融合,以期以可学习的方式利用它们的互补优势。融合是通过在几何不确定性的明确指导下学习DNN不确定性来实现的,从而学习考虑与DNN预测相关的几何解。我们的网络具有自注意图神经网络,它通过在不同的对应关系之间执行强交互并潜在地对点之间的复杂关系进行建模来驱动学习。我们提出了适合学习的运动参数化,并表明我们的方法在具有挑战性的DeMoN和ScanNet数据集上实现了最先进的性能。虽然我们专注于相对姿态,但我们设想我们的管道广泛适用于融合经典几何和深度学习。
2021-04-16 cs.CV
Deep Directional Statistics: Pose Estimation with Uncertainty Quantification
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Amazon(亚马逊);Microsoft Research(微软研究院)
现代深度学习系统成功地解决了许多感知任务,例如当输入图像质量较高时的物体姿态估计。然而,在具有挑战性的成像条件下,例如在低分辨率图像上或当图像被成像伪影破坏时,当前系统的准确性显著降低。虽然性能损失是不可避免的,但我们希望我们的模型能够量化它们的不确定性,以实现对不同质量图像的鲁棒性。概率深度学习模型将深度学习的表达能力与不确定性量化相结合。在本文中,我们提出了一种新的概率深度学习模型,用于角回归任务。我们的模型使用von Mises分布来预测对象姿态角的分布。而一个单一的冯米塞斯分布是强有力的假设的分布的形状,我们扩展的基本模型来预测冯米塞斯分布的混合物。我们展示了如何使用有限和无限数量的混合成分来学习混合模型。我们的模型允许在测试时进行基于可能性的训练和有效的推理。我们在一些具有挑战性的姿态估计数据集上证明,与当前最先进的技术相比,我们的模型可以产生校准的概率预测和具有竞争力或优越的点估计。
2018-05-09 cs.CV
Aleatoric Uncertainty from AI-based 6D Object Pose Predictors for Object-relative State Estimation
Control of Networked Systems Group, University of Klagenfurt(克雷格弗尔特大学网络化系统控制组)
本研究通过在现有6D物体姿态预测器的平移、旋转分支后各接入解耦的多层感知器实现偶然不确定性推理,将姿态与不确定性用于扩展卡尔曼滤波器,以低计算开销提升了对象相对状态估计性能,且可部署于边缘设备。
2025-09-01 cs.CV cs.RO
Toward Reliable Human Pose Forecasting with Uncertainty
EPFL(洛桑联邦理工学院)
该研究针对人体姿态预测领域缺乏统一基准和不确定性分析不足的问题,开发了开源评估库并提出两类不确定性建模方法,实现短期预测性能提升及更优的不确定性估计。
2024-04-12 cs.CV cs.HC cs.RO
Deep Bingham Networks: Dealing with Uncertainty and Ambiguity in Pose Estimation
Technische Universität München(慕尼黑工业大学);Siemens AG(西门子公司);Stanford University(斯坦福大学)
在这项工作中,我们介绍了深度宾汉网络(DBN),一个通用的框架,可以自然地处理姿态相关的不确定性和模糊性,在几乎所有的现实生活中的应用程序有关的3D数据。虽然现有的作品努力找到一个单一的解决方案的姿态估计问题,我们和平与造成高度不确定性的解决方案,以确定为最好的模糊性。相反,我们报告了一个家庭的姿态,捕捉的解决方案空间的性质。DBN通过(i)可以产生不同分布模式的多假设预测头;以及(ii)受益于旋转上的宾汉分布的新颖损失函数来扩展现有技术的直接姿态回归网络。这样,DBN既可以在提供不确定性信息的明确情况下工作,也可以在需要每个模式的不确定性的模糊场景中工作。在技术方面,我们的网络回归连续Bingham混合模型,适用于图像等2D数据和点云等3D数据。我们提出了新的训练策略,以避免在训练过程中的模式或后崩溃,并提高数值稳定性。我们的方法在两种不同的应用程序上进行了彻底的测试,这两种应用程序采用两种不同的模式:(i)从图像中进行6D相机重新定位;(ii)从3D点云中进行对象姿态估计,表现出比现有技术更好的优势。对于前者,我们贡献了我们自己的数据集,由五个室内场景组成,其中不可避免地要捕获与难以唯一识别的视图对应的图像。对于后者,我们实现了最佳结果,特别是对于ModelNet数据集的对称对象。
2020-12-20 cs.CV
Prostate Segmentation from 3D MRI Using a Two-Stage Model and Variable-Input Based Uncertainty Measure
Springbok, Inc.(斯普林博克公司);University of Kentucky(肯塔基大学);University of Virginia(弗吉尼亚大学)
本文提出了一种两阶段的分割模型,基于变量输入的不确定性措施和不确定性引导的后处理方法,用于3D磁共振图像(MRI)上的前列腺分割。两阶段模型基于3D扩张的U形网,第一阶段定位前列腺,第二阶段从裁剪的图像中获得准确的分割。对于数据增强,我们提出了变量输入方法,该方法使用额外的随机变量来裁剪感兴趣区域。与其他深度学习模型类似,由于不同的训练和测试图像特征,该模型在某些测试用例中也面临着次优性能的挑战。因此,使用不确定性度量来评估网络的置信度和性能是有价值的,这些不确定性度量通常是从同一测试用例的多个模型输出的概率图或其标准差计算的。然而,很少有研究定量比较不同的方法的不确定度计算。此外,与测试期间常用的贝叶斯丢弃不同,我们在第二阶段基于可变输入图像开发了不确定性度量,并通过计算与基于地面实况的性能指标(如Dice评分)的相关性来评估其性能。对于性能估计,我们预测了Dice分数和Hausdorff距离与最相关的不确定性度量。对于后处理,我们对表现不佳的切片进行高斯滤波,以提高分割质量。使用PROMISE-12数据,我们证明了两阶段模型的鲁棒性,并显示了所提出的基于变量输入的不确定性度量与基于GT的性能的高度相关性。不确定性引导的后处理方法显著提高了标签平滑度。
2019-03-06 cs.CV
Consensus-Driven Uncertainty for Robotic Grasping based on RGB Perception
Stevens Institute of Technology(斯蒂文斯理工学院)
提出一种训练轻量级深度网络的方法,通过真实图像姿态估计和模拟抓取生成数据,预测基于图像姿态估计的抓取能否成功,并发现多物体联合训练有益。
2025-06-26 cs.CV cs.RO
UDF-GMA: Uncertainty Disentanglement and Fusion for General Movement Assessment
School of Computing Science University of Glasgow(计算科学学院格拉斯哥大学)
UDF-GMA针对基于姿态的自动化全身运动评估,显式建模并解耦认知与偶然不确定性,再与运动表示融合以提升分类性能,在Pmi-GMA基准上验证了其有效性和泛化性。
2025-07-07 cs.CV cs.LG eess.IV
Uncertainty-Aware Camera Pose Estimation from Points and Lines
SLAMcore(SLAMcore公司);Kognia Sports Intelligence(科尼亚体育智能公司)
透视n点和线(P $n$ PL)算法旨在根据2D-3D特征对应关系相对于3D模型快速、准确和鲁棒地定位相机,是现代机器人和AR/VR系统的主要部分。现有的基于点的姿态估计方法只考虑了2D特征检测的不确定性,而基于线的姿态估计方法没有考虑不确定性。在我们的设置中,特征的3D坐标和2D投影都被认为是不确定的。我们提出了基于EPOND和DLS的PPOND(L)求解器,用于不确定性感知的姿态估计。我们还修改了只运动光束法平差,以考虑到3D的不确定性。我们在两个不同的视觉里程计数据集上进行了详尽的合成和真实实验。新的PSTK(L)方法在孤立的真实数据上优于最先进的方法,在KITTI的代表性子集上显示平均平移精度提高了18%,而新的不确定细化提高了大多数求解器的姿态精度,例如,与相同数据集上的标准细化相比,EPSTK的平均平移误差降低了16%。该代码可在https://alexandervakhitov.github.io/uncertain-pnp/上获得。
2021-07-08 cs.CV
An uncertainty-aware framework for data-efficient multi-view animal pose estimation
Columbia University(哥伦比亚大学)
本文提出一种结合多视角Transformer、改进EKS后处理和模型蒸馏的不确定性感知框架,解决了有限标注数据下多视角动物姿态估计的精度和不确定性问题,在三种动物上验证了其有效性。
2025-10-10 cs.CV q-bio.QM
UnPose: Uncertainty-Guided Diffusion Priors for Zero-Shot Pose Estimation
Huawei Noah’s Ark Lab, Canada(华为诺亚实验室,加拿大);University of Toronto, Canada(多伦多大学,加拿大)
UnPose利用预训练扩散模型的3D先验与不确定性估计,实现零样本无模型6D姿态估计与重建,并通过不确定性引导的多视图融合和位姿图优化持续提升精度,在实验和真实机器人任务中均优于现有方法。
2025-08-21 cs.CV cs.RO
NeRF-based Spacecraft Reconstruction from Monocular Imagery Under Illumination Variability and Pose Uncertainty
ICTEAM, UCLouvain(ICTEAM,乌得勒支大学);ESAT, KU Leuven(ESAT,鲁汶大学);MECH, KU Leuven(机械工程系,鲁汶大学);Aerospacelab(航天实验室);UCLouvain(乌得勒支大学)
本文提出一种基于NeRF的方法,通过引入图像特定的外观嵌入和姿态修正项,提升在光照变化和姿态不确定性下的航天器重建鲁棒性,验证了其在离线重建中的有效性,并展示了其在在线重建中的潜力。
2026-05-20 cs.CV
Robustness Evaluation in Hand Pose Estimation Models using Metamorphic Testing
Monash University Malaysia(马来西亚莫纳什大学)
手部姿态估计(HPE)是从图像或视频帧中预测和描述手部姿态的任务。当HPE模型估计在实验室或受控环境中捕获的手部姿势时,它们通常会提供良好的性能。然而,现实世界的环境是复杂的,可能会发生各种不确定性,这可能会降低HPE模型的性能。例如,手可能被遮挡,手的可见性可能由于不完美的曝光率而降低,并且手的轮廓在快速手运动期间易于模糊。在这项工作中,我们采用变形测试来评估HPE模型的鲁棒性,并为不同的应用提供HPE模型选择的建议。鲁棒性评估是在四种最先进的模型上进行的,即MediaPipe手部、OpenPose、BodyHands和NSRM手部。我们发现,当引入对角线运动模糊时,平均超过80%的手不能被BodyHands识别,至少50%的手不能被MediaPipe手识别,而平均超过50%的强烈曝光不足的手不能被NSRM手正确地估计。类似地,仅在四个手部关节上应用遮挡也会大大降低这些模型的性能。实验结果表明,遮挡,光照变化和运动模糊是现有HPE模型性能的主要障碍。这些发现可能为研究人员改善手部姿态估计模型及其应用的性能和鲁棒性铺平了道路。
2023-03-08 cs.CV cs.SE
Bottom-Up 2D Pose Estimation via Dual Anatomical Centers for Small-Scale Persons
National University of Singapore(新加坡国立大学);CtrsVision
在多人2D姿态估计中,自自底向上的【形】的方法同时预测所有人的姿态,并且与自上而下的方法不同,不依赖于人体检测。然而,SOTA自自底向上的【形】的方法的精度仍然不如现有的自顶向下的方法。这是由于基于不一致的人体限界框中心和人体尺度归一化的缺乏来回归预测的人体姿势,导致预测的人体姿势不准确并且错过小尺度的人。为了推动自自底向上的【形】姿态估计的包络,我们首先提出了多尺度训练,以增强网络处理单尺度测试的尺度变化,特别是对于小尺度的人。其次,我们引入双解剖中心(即,头部和身体),其中我们可以更准确和可靠地预测人体姿势,特别是对于小规模的人。此外,现有的自自底向上的【形】方法使用多尺度测试来提高姿态估计的准确性,代价是多个额外的向前传递,这削弱了自自底向上的【形】方法的效率,这是自顶向下方法的核心优势。相比之下,我们的多尺度训练使模型能够在单次向前传递中预测高质量的姿势(即,单尺度测试)。与SOTA算法相比,该方法在COCO算法中具有挑战性的小规模人物集上,限界框准确率提高了38.4%,限界框召回率提高了39.1%.对于人体姿态AP评估,我们在COCO测试开发集上通过单尺度测试实现了新的SOTA(71.0 AP)。在跨数据集评估中,我们还在OCHuman数据集上实现了最高性能(40.3 AP)。
2022-11-23 cs.CV
Uncertainty-Driven Dense Two-View Structure from Motion
ETH Zürich(苏黎世联邦理工学院)
针对运动恢复结构运动恢复结构(SfM)问题,提出了一种有效实用的解决方案。解决的一个重要问题是如何有意识地使用两个帧之间的每像素光流对应关系进行准确的姿态估计-因为很难(如果不是不可能的话)建立两个图像之间的完美每像素对应关系。利用仔细估计的相机姿态和预测的每像素光流对应,计算场景的密集深度。随后,引入迭代细化过程以进一步提高光流匹配置信度、相机姿态和深度,利用它们在刚性SfM中的固有依赖性。提出的基本思想是受益于光流估计中的每像素不确定性,并通过在线细化为密集SfM系统提供鲁棒性。具体地说,我们介绍了我们的不确定性驱动的密集双视图SfM管道(DTV-SfM),包括一个不确定性感知的密集光流估计方法,提供每像素的对应关系与他们的匹配的置信度得分,一个加权的密集光束平差公式,依赖于光流的不确定性和双向光流一致性,以改善姿态和深度;深度估计网络,其考虑其与所估计的姿态和关于对极约束的光流的一致性。大量的实验表明,所提出的方法实现了显着的深度精度和最先进的相机姿态结果取代SuperPoint和SuperGlue的准确性时,测试的基准数据集,如DeMoN,YFCC 100 M,和ScanNet。代码和更多材料可在http://vis.xyz/pub/dtv-sfm上获得。
2023-02-12 cs.CV cs.RO
Keypoint-Based Category-Level Object Pose Tracking from an RGB Sequence with Uncertainty Estimation
NVIDIA(英伟达);Georgia Institute of Technology(佐治亚理工学院)
我们提出了一个单阶段,类别级6自由度姿态估计算法,同时检测和跟踪对象的实例在一个已知的类别。我们的方法将单目RGB视频的前一帧和当前帧以及前一帧的预测作为输入,以预测边界长方体和6-DoF姿势(按比例)。在内部,深度网络预测图像坐标中对象关键点(边界长方体的顶点)的分布,然后在使用Pestra计算最终姿态之前,一种新的概率过滤过程在估计值之间进行整合。我们的框架允许系统在预测当前帧时考虑以前的不确定性,从而使预测比单帧方法更准确和稳定。大量的实验表明,我们的方法优于现有的方法具有挑战性的Objectron基准的注释对象视频。我们还展示了我们的工作在增强现实设置的可用性。
2022-05-23 cs.CV cs.RO
Markerless Suture Needle 6D Pose Tracking with Robust Uncertainty Estimation for Autonomous Minimally Invasive Robotic Surgery
University of California San Diego(加州大学圣地亚哥分校)
缝合针定位是自主缝合的必要条件。由于无标记检测的不一致性,自主缝合中的先前方法通常依赖于基准标记而不是无标记检测方案来定位缝合针。然而,基准标记对于现实世界的应用是不实用的,并且在外科手术中经常会被环境因素遮挡(例如,血液)。因此,在这项工作中,我们提出了一个强大的跟踪方法,估计6D姿态的缝合针时,使用不一致的检测。我们根据缝合针的几何形状定义观察模型,该几何形状捕获检测的不确定性,并以概率的方式暂时融合它们。在我们的实验中,我们比较了不同排列的观察模型在缝合针定位任务,以显示其有效性。我们提出的方法优于以前的方法定位缝合针。我们还证明了所提出的跟踪方法在一个自主缝合针重握任务和体外环境。
2022-04-04 cs.CV cs.RO