Dual-frame Fluid Motion Estimation with Test-time Optimization and Zero-divergence Loss
University of Chinese Academy of Sciences（中国科学院大学）；AIR, Tsinghua University（清华大学AIR）；Beijing Institute of Technology（北京理工大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本文提出一种完全自监督的双帧流体运动估计方法，结合零散度损失与测试时优化模块，仅需1%无标签样本即超越全监督方法并具备强跨域鲁棒性。
2024-10-15 cs.CV
PoseRN: A 2D pose refinement network for bias-free multi-view 3D human pose estimation
Kyushu University（九州大学）；Osaka University（大阪大学）；Microsoft Corp（微软公司）
我们提出了一个新的2D姿态细化网络，学习预测估计的2D姿态中的人类偏见。由于基于注释者感知的2D关节位置的注释与由运动捕获（MoCap）系统定义的那些注释之间的差异，2D姿态估计中存在偏差。这些偏差被制作成公开可用的2D姿态数据集，并且不能用现有的误差减少方法来消除。我们提出的姿态细化网络使我们能够有效地消除人类偏见的估计2D姿态，实现高度准确的多视图3D人体姿态估计。
2021-07-07 cs.CV
URNet: Uncertainty-aware Refinement Network for Event-based Stereo Depth Estimation
Technical University of Munich (TUM)（慕尼黑技术大学）
本文提出面向事件立体深度估计的URNet，通过局部-全局细化模块和KL散度不确定性建模提升预测可靠性，并在DSEC数据集上超越SOTA方法。
2025-09-18 cs.CV
Coupled Iterative Refinement for 6D Multi-Object Pose Estimation
Princeton University（普林斯顿大学）
我们解决了6D多对象姿态的任务：给定一组已知的3D对象和RGB或RGB-D输入图像，我们检测和估计每个对象的6D姿态。我们提出了一种新的方法来6D对象的姿态估计，其中包括一个端到端的微分架构，利用几何知识。我们的方法以紧密耦合的方式迭代地细化姿态和对应关系，使我们能够动态地删除离群值以提高准确性。我们使用一种新的可微层来执行姿势细化，通过解决我们称为双向深度增强视角N点（BD-PPEND）的优化问题。我们的方法在标准6D Object Pose基准测试中达到了最先进的精度。代码可在https://github.com/princeton-vl/Coupled-Iterative-Refinement上获得。
2022-04-26 cs.CV
A Pose Proposal and Refinement Network for Better Object Pose Estimation
Department of Computer Science, Colorado State University（科罗拉多州立大学计算机科学系）
在本文中，我们提出了一种新的，端到端的6D对象姿态估计方法，对RGB输入操作。我们的方法由2个主要部分组成：第一部分对输入图像中的对象进行分类，并通过多任务，基于CNN的编码器/多解码器模块提出初始6D姿态估计。第二组件，细化模块，包括渲染器和多注意姿势细化网络，其通过利用外观特征和流向量两者来迭代地细化所估计的姿势。我们的改进器利用混合表示的初始姿态估计来预测相对于目标姿态的相对误差。它进一步增强了空间多注意块，强调对象的区别性特征部分。在三个6D姿态估计基准上的实验表明，我们提出的流水线优于最先进的基于RGB的方法，具有竞争力的运行时性能。
2020-10-07 cs.CV
Iterative Optimisation with an Innovation CNN for Pose Refinement
Australian National University（澳大利亚国立大学）；University of Technology（悉尼科技大学）
由于光照条件和视点的变化，从单个RGB图像中估计物体的姿态是一个具有挑战性的问题。最准确的姿态估计网络通过已知的纹理化3D模型的重投影来实现姿态细化，然而，如果没有观察到的对象的高质量3D模型，则不能应用这样的方法。在这项工作中，我们提出了一种方法，即创新CNN，对象姿态估计的改进，克服了重新投影纹理3D模型的要求。我们的方法通过在随机梯度下降（SGD）框架中迭代地应用创新CNN来逐步改进初始姿态估计。我们在流行的LINEMOD和Occlusion LINEMOD数据集上评估了我们的方法，并在这两个数据集上获得了最先进的性能。
2021-01-22 cs.CV
RNNPose: Recurrent 6-DoF Object Pose Refinement with Robust Correspondence Field Estimation and Pose Optimization
The Chinese University of Hong Kong（香港中文大学）；Zhejiang University（浙江大学）
6-从单目图像中估计DoF对象姿态是具有挑战性的，并且通常需要后细化过程来进行高精度估计。在本文中，我们提出了一个框架的基础上的递归神经网络（RNN）的对象姿态细化，这是错误的初始姿态和遮挡鲁棒性。在循环迭代期间，对象姿态细化被公式化为基于估计的对应场（在渲染图像和观察图像之间）的非线性最小二乘问题。然后通过可微Levenberg-Marquardt（LM）算法解决问题，从而实现端到端训练。在每次迭代中交替进行对应场估计和位姿细化，以恢复目标位姿。此外，为了提高对遮挡的鲁棒性，我们引入了一种基于3D模型和观察到的2D图像的学习描述符的一致性检查机制，该机制在姿态优化期间降低了不可靠的对应关系。在LINEMOD、Occlusion-LINEMOD和YCB-Video数据集上进行的大量实验验证了我们方法的有效性，并展示了最先进的性能。
2022-04-10 cs.CV cs.RO
Dynamic Iterative Refinement for Efficient 3D Hand Pose Estimation
Seoul National University（首尔大学）；Qualcomm Technologies, Inc.（高通技术公司）
虽然手部姿态估计是大多数交互式延展实境和手势识别系统的关键组成部分，但是当代方法没有针对计算和存储器效率进行优化。在本文中，我们提出了一个微小的深度神经网络，其中部分层被递归地利用，以改善其先前的估计。在其迭代优化过程中，我们采用学习的门控标准来决定是否退出权重共享循环，从而允许在我们的模型中对每个样本进行自适应。我们的网络经过训练，能够意识到其当前预测中的不确定性，从而在每次迭代时有效地进行门控，并在每次循环后估计其关键点估计的方差。此外，我们还研究了端到端和渐进式训练协议对我们的递归结构最大化模型容量的有效性。在所提出的设置下，我们的方法在广泛使用的基准测试的准确性和效率方面始终优于最先进的2D/3D手部姿势估计方法。
2021-11-11 cs.CV
Pyramid Frequency Network with Spatial Attention Residual Refinement Module for Monocular Depth Estimation
Jiangnan University（江南大学）
基于深度学习的深度估计方法正在迅速发展，提供优于现有方法的性能。为了估计真实场景中的深度，深度估计模型需要对各种噪声环境具有鲁棒性。在这项工作中，提出了一种具有空间注意力残差细化模块（SARRM）的金字塔频率网络（PFN），以解决现有深度学习方法鲁棒性弱的问题。为了重建具有精确细节的深度图，SARRM构造了具有注意力机制的残差融合方法来细化模糊深度。设计了频域划分策略，并建立了频率金字塔网络，实现了多频带特征提取。通过频率策略，PFN在Make3D，KITTI深度和NYUv2数据集上的室内和室外场景中实现了比最先进的方法更好的视觉准确性。在嘈杂的NYUv2数据集上进行的其他实验表明，PFN在高噪声场景中比现有的深度学习方法更可靠。
2022-04-05 cs.CV
PR-GCN: A Deep Graph Convolutional Network with Point Refinement for 6D Pose Estimation
State Key Laboratory of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）；School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）
基于RGB-D的6D姿态估计最近取得了显著的进展，但仍然受到两个主要限制：（1）深度数据的无效表示和（2）不同模态的不充分整合。本文提出了一种新的深度学习方法，即带有点精化的图卷积网络（PR-GCN），以统一的方式同时解决上述问题。它首先引入了点细化网络（PRN）来抛光3D点云，恢复丢失的部分并去除噪声。随后，提出了多模态融合图卷积网络（MMF-GCN）来增强RGB-D组合，它通过图卷积网络中的局部信息传播来捕获几何感知的模态间相关性。在三个广泛使用的基准上进行了大量的实验，并达到了最先进的性能。此外，它也表明，提出的PRN和MMF-GCN模块是很好的推广到其他框架。
2021-08-23 cs.CV
Multi-Person 3D Pose and Shape Estimation via Inverse Kinematics and Refinement
UNIST（蔚山科学技术院）；eSmart Systems（eSmart系统公司）；Yeongnam Univ.（岭南大学）
从单目RGB图像中以网格的形式估计3D姿态和形状是具有挑战性的。显然，这比仅以骨架或热图的形式估计3D姿势更困难。当涉及交互的人时，由于人与人之间的遮挡引入的模糊性，3D网格重建变得更具挑战性。为了解决这些挑战，我们提出了一个从粗到细的流水线，该流水线受益于1）来自遮挡鲁棒的3D骨架估计的逆运动学和2）基于变换器的关系感知细化技术。在我们的管道中，我们首先从RGB图像中获得多个人的遮挡鲁棒3D骨架。然后，我们应用逆运动学将估计的骨架转换为可变形的3D网格参数。最后，我们应用基于transformer的网格细化，细化所获得的网格参数，考虑内部和人与人之间的3D网格的关系。通过大量的实验，我们证明了我们的方法的有效性，在3DPW，MuPoTS和AGORA数据集上的表现优于最先进的技术。
2022-10-30 cs.CV
PoseFix: Model-agnostic General Human Pose Refinement Network
Seoul National University（首尔国立大学）；Kwangwoon University（光云大学）
从二维图像中估计多人姿态是人类行为理解的一项重要技术。在本文中，我们提出了一个人的姿态细化网络，估计一个输入图像和输入姿态的元组细化的姿态。在以前的方法中，姿势细化主要通过端到端的可训练多级架构来执行。然而，它们高度依赖于姿态估计模型，并且需要仔细的模型设计。相比之下，我们提出了一个模型不可知的姿势细化方法。根据最近的研究，最先进的2D人体姿态估计方法具有类似的误差分布。我们使用此误差统计作为先验信息来生成合成姿势，并使用合成姿势来训练我们的模型。在测试阶段，任何其他方法的位姿估计结果可以输入到所提出的方法。此外，所提出的模型不需要代码或其他方法的知识，这使得它可以很容易地在后处理步骤中使用。我们表明，所提出的方法实现了更好的性能比传统的多阶段细化模型，并不断提高性能的各种国家的最先进的姿态估计方法在常用的基准。该代码可在此https URL \footnote{\url{https://github.com/mks0601/PoseFix_RELEASE}}中找到。
2019-03-10 cs.CV
Double Refinement Network for Efficient Indoor Monocular Depth Estimation
Samsung AI Center Moscow（三星莫斯科人工智能中心）
单目深度估计是使用单个图像获得每个像素的距离测量的任务。它是计算机视觉中的一个重要问题，通常使用神经网络来解决。虽然最近在这一领域的工作已经显示出显着的精度提高，国家的最先进的方法往往需要大量的内存和时间来处理图像。这项工作的主要目的是在不降低精度的情况下提高最新解决方案的性能。为此，我们引入了双细化网络架构。所提出的方法在标准基准RGB-D数据集NYU Depth v2上实现了最先进的结果，而其每秒帧速率明显更高（在批量大小为1时，每个图像的加速高达18倍），并且每个图像的RAM使用率更低。
2019-04-04 cs.CV
Depth Hypothesis Guided Iterative Refinement for Event-Image Monocular Depth Estimation
Southeast University（东南大学）
提出HypoDepth，首个事件-图像单目深度迭代细化框架，通过离散深度假设体和三维代价体将深度回归转为约束搜索，在DSEC和MVSEC上取得最先进结果，且微型模型支持实时运行。
2026-10-05 cs.CV
IronDepth: Iterative Refinement of Single-View Depth using Surface Normal and its Uncertainty
University of Cambridge（剑桥大学）
单幅图像表面法线估计和深度估计是密切相关的问题，因为前者可以由后者计算。然而，从深度估计方法的输出计算的表面法线比由网络直接估计的表面法线精确得多。为了减少这种差异，我们引入了一个新的框架，使用表面法线和它的不确定性，反复完善预测的深度图。可以使用预测的表面法线作为指导，将每个像素的深度传播到查询像素。因此，我们将深度细化公式化为选择相邻像素进行传播的分类。然后，通过传播到子像素点，我们对细化的低分辨率输出进行上采样。所提出的方法在NYUv 2和iBims-1上显示出最先进的性能-无论是在深度还是法线方面。我们的细化模块也可以附加到现有的深度估计方法，以提高其精度。我们还表明，我们的框架，只训练深度估计，也可以用于深度完成。该代码可在https://github.com/baegwangbin/IronDepth上获得。
2022-10-07 cs.CV
Satellite Pose Estimation with Deep Landmark Regression and Nonlinear Pose Refinement
The University of Adelaide（阿德莱德大学）
我们提出了一种方法来估计6DOF姿态的卫星，相对于一个典型的姿态，从一个单一的图像。这一问题在许多空间邻近作业中至关重要，如对接、碎片清除和航天器间通信。我们的方法结合了机器学习和几何优化，通过预测输入图像中一组地标的坐标，将地标与先验重建的3D模型上相应的3D点相关联，然后使用非线性优化求解对象姿态。我们的方法不仅对于这个特定的姿态估计任务是新颖的，这有助于进一步为机器学习和计算机视觉开辟一个相对较新的领域，而且它还展示了卓越的准确性，并在最近由欧洲航天局（ESA）组织的Kelvins姿态估计挑战赛中获得第一名。
2019-08-30 cs.CV
End-to-End Shared Attention Estimation via Group Detection with Feedback Refinement
Toyota Technological Institute, Japan（丰田工业大学）；Idiap Research Institute, Switzerland（Idiap研究所）；École Polytechnique Fédérale de Lausanne, Switzerland（洛桑联邦理工学院）
本文提出一种端到端的共享注意力估计方法，通过群体检测解决传统方法的不足，通过两步过程生成并细化共享注意力热图，提升群体检测和共享注意力估计性能。
2026-04-02 cs.CV
Joint Graph-based Depth Refinement and Normal Estimation
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Sony Europe B.V（索尼欧洲有限公司）
深度估计是理解场景的3D几何形状的重要组成部分，在城市和室内环境中具有许多应用。这些场景的特点是普遍存在的人为结构，在大多数情况下，要么是固有的分段平面，或可以近似为这样。在这些设置中，我们设计了一个新的深度细化框架，旨在恢复底层的逐段平面性的逆深度图。我们制定这个任务作为一个优化问题，涉及数据保真度项，最大限度地减少输入逆深度图的距离，以及执行分段平面解决方案的正则化。至于正则化项，我们将逆深度图建模为像素之间的加权图。所提出的正则化被设计为在每个像素处自动地估计平面，而不需要对场景平面的先验估计，并且同时它鼓励将类似的像素分配给同一平面。用ADAM算法有效地解决了优化问题。实验表明，我们的方法导致了显着的改善，在深度细化，视觉和数值，相对于国家的最先进的算法在Middlebury，KITTI和ETH3D多视图立体视觉数据集。
2020-09-02 cs.CV
MAPRPose: Mask-Aware Proposal and Amodal Refinement for Multi-Object 6D Pose Estimation
State Key Laboratory of Robotics and Systems, Harbin Institute of Technology（机器人系统国家重点实验室，哈尔滨工业大学）；School of Civil Engineering, Harbin Institute of Technology（土木工程学院，哈尔滨工业大学）；Shenzhen Infinite Meta Robot Co., Ltd（深圳无限元机器人有限公司）
提出MAPRPose两阶段框架，通过掩膜感知对应关系生成姿态提议和模态补全驱动的ROI预测实现鲁棒精化，在BOP基准上达到76.5%平均召回率，比FoundationPose高3.1%且多目标推理加速43倍。
2026-08-06 cs.CV
Unsupervised Domain Adaptation for Sim-to-Real Object Pose Estimation with Contrastive Alignment and Pseudo-Label Refinement
SnT, University of Luxembourg（卢森堡大学SnT中心）
提出CAPLR方法，通过局部区域对比对齐和基于一致性的伪标签精炼，实现无监督域自适应物体姿态估计，在多个基准上达到最优性能。
2026-06-23 cs.CV
Generalizing Interactive Backpropagating Refinement for Dense Prediction
Brigham Young University（杨百翰大学）；Adobe Research（Adobe 研究院）
随着深度神经网络成为计算机视觉领域中用于密集预测任务的最先进方法，已经开发了许多方法用于在给定视觉输入的情况下自动估计目标输出。虽然所提出的自动方法的估计精度不断提高，交互式细化往往是必要的进一步校正。最近，已经提出了用于交互式分割任务的特征反向传播细化方案（f-BRS），该方案能够有效优化插入到预训练网络中的一小组辅助变量，以产生更好地与用户输入对齐的对象分割。然而，所提出的辅助变量仅包含通道尺度和偏差，将优化限制为仅全局细化。在这项工作中，为了广泛的密集预测任务的广义反向传播细化，我们引入了一组G-BRS（广义反向传播细化方案）层，使全球和本地细化以下任务：交互式分割，语义分割，图像抠图和单眼深度估计。在SBD，Cityscapes，Mapillary Vista，Composition-1 k和NYU-Depth-V2上的实验表明，我们的方法可以成功地推广并显着提高现有预训练的最先进模型的性能，只需点击几下。
2021-12-22 cs.CV
Graph-PCNN: Two Stage Human Pose Estimation with Graph Pose Refinement
Baidu Inc.（百度公司）
目前，大多数最先进的人体姿态估计方法都是基于热图回归的。关键点的最终坐标直接通过热图解码获得。在本文中，我们的目标是找到一个更好的方法，以获得更准确的定位结果。主要提出了两点改进建议：1）粗定位和精定位应采用不同的特征和方法; 2）关键点之间的关系应考虑。具体来说，我们提出了一个两阶段的基于图和模型不可知的框架，称为Graph-PCNN，在原始热图回归网络上添加了一个本地化子网和一个图姿势细化模块。在第一阶段中，应用热图回归网络来获得粗略的定位结果，并对一组被称为引导点的建议关键点进行采样。在第二阶段，对于每个引导点，不同的视觉特征提取的定位子网。通过图形姿态细化模块探索引导点之间的关系，以获得更准确的定位结果。实验表明，Graph-PCNN可以用于各种骨干网络中，以大幅提高性能。没有花里胡哨的东西，我们最好的模型可以在COCO测试开发分割上实现最先进的76.8% AP。
2020-07-21 cs.CV
Deep-Learning-Based Markerless Pose Estimation Systems in Gait Analysis: DeepLabCut Custom Training and the Refinement Function
University of Florence（佛罗伦萨大学）；SAPIENZA University of Rome（罗马第一大学）
本研究比较了OpenPose和DeepLabCut在步态分析中的性能，发现DLCCT通过定制训练和精修功能在无标记姿态估计中表现最佳。
2024-07-15 cs.CV
Towards Good Practices for Multi-Person Pose Estimation
ByteDance AI Lab（字节跳动人工智能实验室）
多人位姿估计是计算机视觉中一个有趣而又具有挑战性的课题。在本文中，我们对MSPN和PoseFix网络进行了一系列改进，并通过消融研究实证评估了它们对最终模型性能的影响。通过采取所有的改进，我们在COCO测试开发数据集上获得了78.7，在COCO测试挑战数据集上获得了76.3。
2019-10-28 cs.CV
DepthART: Monocular Depth Estimation as Autoregressive Refinement Task
AIRI；HSE University（俄罗斯伏尔加格勒国立大学）
本文提出DepthART方法，将单目深度估计构建为深度自回归细化任务，通过基于模型输出的动态目标和残差最小化训练策略，有效解决了VAR中teacher forcing导致的训练与推理差异，在多个未见基准上取得了优于现有基线的性能。
2025-06-30 cs.CV
Self-Supervised Monocular Depth Estimation with Self-Reference Distillation and Disparity Offset Refinement
Beihang University（北京航空航天大学）
针对自监督单目深度估计，提出自参考蒸馏（随训练更新的同结构教师模型提供监督并经多视图检查过滤离群值）与视差偏移细化（利用多尺度特征上下文一致性增量优化视差）两种方法，在KITTI、Make3D数据集上性能超越现有最优水平。
2023-06-15 cs.CV
CRT-6D: Fast 6D Object Pose Estimation with Cascaded Refinement Transformers
Imperial College London（帝国理工学院）；KAIST（韩国科学技术院）
基于学习的6D对象姿态估计方法依赖于计算大的中间姿态表示和/或利用缓慢的渲染比较流水线迭代地细化初始估计。本文介绍了一种新的方法，我们称之为级联位姿细化Transformers，或CRT-6D。我们将常用的密集中间表示替换为从我们称为OSKF（对象表面关键点特征）的特征金字塔中采样的稀疏特征集，其中每个元素对应于对象关键点。我们采用轻量级的可变形Transformers和链在一起，迭代地完善建议的构成采样OSKF。我们的推理运行时间比最接近的实时方法快2倍，同时在单个模型上支持多达21个对象。我们通过在LM-O和YCBV数据集上进行广泛的实验来证明CRT-6D的有效性。与实时方法相比，我们在LM-O和YCB-V上达到了最先进的水平，稍微落后于推理运行时间高一个数量级的方法。源代码可在https://github.com/PedroCastro/CRT-6D上获得
2022-10-21 cs.CV cs.LG
Pose-Oriented Transformer with Uncertainty-Guided Refinement for 2D-to-3D Human Pose Estimation
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）；Shanghai Jiao Tong University（上海交通大学）
最近，人们对将Transformers引入3D人体姿态估计（HPE）的兴趣激增，因为它们在建模长期依赖性方面具有强大的功能。然而，现有的基于变换器的方法将身体关节视为同等重要的输入，并且忽略了自我注意力机制中的人体骨架拓扑的先验知识。为了解决这个问题，在本文中，我们提出了一个姿态导向的Transformer（POT）与不确定性指导细化的三维HPE。具体来说，我们首先开发了新的面向姿态的自我注意力机制和距离相关的位置嵌入POT明确利用人体骨架拓扑结构。面向姿态的自我注意力机制明确地对身体关节之间的拓扑相互作用进行建模，而距离相关的位置嵌入对关节到根关节的距离进行编码，以区分具有不同回归难度的关节组。此外，我们提出了一个不确定性指导的细化网络（UGRN），以改善从POT的姿态预测，特别是对于困难的关节，通过考虑估计的不确定性的每个关节的不确定性与不确定性指导的采样策略和自我注意力机制。大量的实验表明，我们的方法在3D HPE基准测试（如Human3.6M和MPI-INF-3DHP）上显著优于具有减少的模型参数的最先进方法
2023-02-15 cs.CV
3D Human Pose Estimation with Occlusions: Introducing BlendMimic3D Dataset and GCN Refinement
Institute for Systems and Robotics（系统与机器人研究所）
本研究针对3D人体姿态估计中的遮挡问题，提出BlendMimic3D数据集和基于GCN的即插即用姿态优化模块，显著提升遮挡场景下的姿态估计性能。
2024-04-24 cs.CV
Jointformer: Single-Frame Lifting Transformer with Error Prediction and Refinement for 3D Human Pose Estimation
Trinity College Dublin（都柏林圣三一学院）；Accenture Labs（埃森哲实验室）
单目三维人体姿态估计技术有可能大大提高人体运动数据的可用性。单图像2D-3D提升的最佳性能模型使用图卷积网络（GCN），通常需要一些手动输入来定义不同身体关节之间的关系。我们提出了一种新的变压器为基础的方法，使用更广泛的自我注意力机制来学习这些关系内的一系列令牌代表关节。我们发现，使用中间监督，以及堆叠编码器之间的剩余连接的好处性能。我们还建议将错误预测作为多任务学习框架的一部分，通过允许网络补偿其置信水平来提高性能。我们进行了广泛的消融研究，以表明我们的每一个贡献都提高了性能。此外，我们表明，我们的方法优于最新的单帧3D人体姿态估计的最新状态的大幅度。我们的代码和训练模型在Github上公开提供。
2022-08-07 cs.CV
Estimation of Camera Response Function using Prediction Consistency and Gradual Refinement with an Extension to Deep Learning
National University of Singapore（新加坡国立大学）
大多数现有的方法CRF估计从一个单一的图像无法处理一般的真实图像。例如，基于从边缘提取的色块的EdgeCRF仅在噪声不明显时有效，而对于许多真实图像而言并非如此;以及CRFNet，一种基于完全监督深度学习的最新方法仅适用于训练数据中的CRF，因此无法处理训练数据之外的其他可能的CRF。为了解决这些问题，我们引入了一种使用预测一致性和逐步细化的非深度学习方法。首先，我们更多地依赖于输入图像的补丁，这些补丁提供了更一致的预测。如果从补丁的预测更一致，这意味着补丁可能受噪声或任何劣质颜色组合的影响较小，因此，它可以更可靠的CRF估计。其次，我们采用了一个渐进的细化方案，其中我们从一个简单的CRF模型开始生成一个结果，这是更强大的噪声，但不太准确，然后我们逐渐增加模型的复杂性，以改善结果。这是因为一个简单的模型，虽然不太准确，过拟合噪声比复杂的模型。实验结果表明，该方法在白天和夜间的真实图像中的识别效果优于现有的单图像方法。我们进一步提出了一个更有效的深度学习扩展，它对测试输入图像执行测试时训练（基于无监督损失）。这为我们的方法提供了比CRFNet更好的泛化性能，使其更实际地适用于一般真实图像的CRF估计。
2021-02-23 cs.CV
Depth Refinement for Improved Stereo Reconstruction
Technion - Israel Institute of Technology（以色列理工学院）
深度估计是需要对环境进行3D评估的大量应用的基石，例如机器人、增强现实和自动驾驶等。用于深度估计的一个突出技术是立体匹配，其具有若干优点：它被认为比其他深度感测技术更容易获得，可以实时产生密集的深度估计，并且近年来大大受益于深度学习的进步。然而，用于从立体图像进行深度估计的当前技术仍然遭受固有缺陷。为了重建深度，立体匹配算法在应用几何三角测量之前首先估计左图像和右图像之间的视差图。简单的分析表明，深度误差与物体的距离成二次正比。因此，对于远离相机的物体，恒定的视差误差会转化为较大的深度误差。为了减轻这种二次关系，我们提出了一种简单但有效的方法，使用细化网络的深度估计。我们的分析和实证结果表明，建议的学习过程减少了这种二次关系。我们在知名的基准测试和数据集（如Sceneflow和KITTI数据集）上评估了所提出的改进过程，并证明了深度精度度量的显着改进。
2021-12-15 cs.CV
Spatial Attention Improves Iterative 6D Object Pose Estimation
ETH Zürich（苏黎世联邦理工学院）
从RGB图像估计对象的6D姿态的任务可以分为两个主要步骤：初始姿态估计步骤，然后是精确过程，以正确地配准对象及其观察。在本文中，我们提出了一种新的方法，从RGB图像的6D姿态估计细化。为了实现最终估计的高精度，需要将观测和渲染模型对齐。我们的主要见解是，在初始姿态估计之后，重要的是要注意对象的不同空间特征，以提高对准过程中的估计精度。此外，在对准过程期间，图像中被遮挡的对象的部分应当被给予较少的权重。大多数最先进的细化方法不允许这种细粒度的推理，不能充分利用问题的结构。相比之下，我们提出了一种新的神经网络架构，建立在一个空间注意力机制，识别和利用信息的空间细节，在姿态优化。我们的实验表明，这种方法学会了关注显着的空间特征，并学会忽略对象的遮挡部分，从而在数据集上获得更好的姿态估计。我们在标准基准数据集上进行实验，用于6D姿态估计（LineMOD和Occlusion LineMOD），并优于以前最先进的方法。
2021-01-05 cs.CV
PCKRF: Point Cloud Completion and Keypoint Refinement With Fusion Data for 6D Pose Estimation
Faculty of Information Technology, Beijing University of Technology（北京工业大学信息学部）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Beijing Institute of Technology（北京理工大学）；Shanghai Jiao Tong University（上海交通大学）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
针对传统点云配准位姿精修方法在初始位姿精度提升后效果减弱的问题，提出包含位姿敏感点云补全与颜色辅助迭代关键点配准的PCKRF流水线，可集成于现有6D位姿估计方法提升精度，在高初始精度、无纹理对称物体场景下表现优异。
2024-09-14 cs.CV cs.RO
MoGe-3: Fine-Detail Monocular Geometry Estimation with Self-Guided Sparse Volumetric Refinement
Tsinghua University（清华大学）；USTC（中国科学技术大学）；Microsoft Research（微软研究院）
针对单目几何估计在局部3D结构精细细节上的失真问题，提出基于自引导稀疏体细化的方法，将建模从2D提升到3D空间，通过稀疏卷积避免特征混合，实验证明该方法在恢复精细3D几何方面显著优于现有方法。
2026-07-22 cs.CV
Fast 3D Pose Refinement with RGB Images
Georgia Institute of Technology（佐治亚理工学院）
位姿估计是机器人操作、自主车辆导航等许多机器人和感知任务中的重要步骤。当前最先进的位姿估计方法依赖于结构复杂、推理时间长的深度神经网络。虽然非常强大，但它们需要移动机器人通常无法提供的计算能力。我们提出了一种基于CNN的姿态细化系统，该系统从计算成本较低的算法中获得粗略估计的3D姿态以及对象的限界框图像，并返回高度细化的姿态。在YCB-Video数据集上的实验表明，该系统可以用最少的训练数据将三维姿态精确到极高的精度。
2019-11-17 cs.CV
TransPose: A Transformer-based 6D Object Pose Estimation Network with Depth Refinement
City, University of London（伦敦城市大学）
本文提出仅用 RGB 输入的 Transformer 6D 位姿估计网络 TransPose，通过轻量深度估计、Transformer 检测头与深度细化模块提升精度，并在水果采摘场景中优于现有方法。
2023-07-09 cs.AI cs.CV
DualRefine: Self-Supervised Depth and Pose Estimation Through Iterative Epipolar Sampling and Refinement Toward Equilibrium
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Mechatronics, Systems, and Control Laboratory（机电一体化、系统与控制实验室）；Vehicular Systems Design and Control Lab（车辆系统设计与控制实验室）
提出 DualRefine，利用深度均衡模型框架和对极几何反馈回路迭代耦合精修深度与位姿，在 KITTI 上超过已有自监督基线。
2024-04-05 cs.CV
HopFIR: Hop-wise GraphFormer with Intragroup Joint Refinement for 3D Human Pose Estimation
Hefei University of Technology（合肥工业大学）；Youtu Lab, Tencent（腾讯优图实验室）；Tsinghua University（清华大学）
本文提出HopFIR架构，通过逐跳图Former发现潜在关节协同作用，并结合组内关节细化利用肢体先验信息，在Human3.6M上以32.67 mm的MPJPE大幅超越现有方法，且能显著提升SemGCN和MGCN等GCN方法的性能。
2023-08-19 cs.CV
Refinement Module based on Parse Graph for Human Pose Estimation
Shibang Liu and Xuemei Xie
针对人体姿态估计中解析图方法的参数冗余和结构固定问题，提出可嵌入主流网络的RMPG模块，通过递归分解与组合细化特征，以更少参数提升关节推理精度并建模人体层次与上下文关系。
2025-11-17 cs.CV
Field Converter: Geometry-Initialized Temporal Residual Refinement for World-Grounded Player Pose Estimation from Soccer Broadcasts
Institut de Biomécanique Humaine Georges Charpak (IBHGC), Arts et Métiers ParisTech（乔治·沙帕克人体生物力学研究所（IBHGC），巴黎高科国立高等工艺学校）；French Football Federation (FFF)（法国足球联合会（FFF））
提出Field Converter，利用球场几何初始化球员根部位置，并通过时间残差精化将世界坐标下姿态估计误差从49厘米降至10-11厘米，优于直接回归方法。
2026-09-10 cs.CV
Human Attention Estimation for Natural Images: An Automatic Gaze Refinement Approach
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
今天的照片集及其应用程序试图以各种形式反映用户交互。此外，照片集旨在通过捕获用户意图的应用程序以最小的努力捕获用户的意图。图像中的人类兴趣区域携带关于用户行为的强大信息，并且可以在许多照片应用中使用。在计算机视觉领域，对人类视觉注意力的研究已经以注视跟踪和计算显著性模型的形式进行，并且已经显示出相当大的进展。本文提出了一种隐式注视估计和计算显着性模型之间的集成，以有效地估计人类的注意力区域的图像上的飞行。此外，我们的方法通过隐式校准和增量模型更新来估计人类的注意力，而无需用户的任何积极参与。我们还提出了广泛的分析和个人照片收藏的可能应用。
2016-01-12 cs.CV cs.HC cs.MM
NovaSplat: Model-Free 6D Object Pose Estimation via 3D Gaussian Splatting Onboarding and Refinement
National Technical University of Athens（雅典国立技术大学）
NovaSplat是一种无模型6D物体位姿估计流水线，通过3D高斯溅射模型实现，在家庭和工业基准上性能优异，还推出了速度提升3.1倍的轻量版本。
2026-10-30 cs.CV cs.RO
Joint Reconstruction of 3D Human and Object via Contact-Based Refinement Transformer
Seoul National University（首尔大学）；IPAI；SNU-LG AI Research Center（首尔大学- LG人工智能研究中心）；Codec Avatars Lab, Meta（Meta编码化身实验室）
本文提出CONTHO方法，通过3D引导接触估计和基于接触的细化Transformer，利用接触信息提升单图像3D人体与物体联合重建精度，并在两项任务上达到最先进性能。
2024-04-07 cs.CV
HR-APR: APR-agnostic Framework with Uncertainty Estimation and Hierarchical Refinement for Camera Relocalisation
The Hong Kong University of Science and Technology（香港科技大学）；University of Oxford（牛津大学）
提出APR无关框架HR-APR，通过余弦相似度估计不确定性并用于位姿精修，在保持SOTA精度的同时显著降低计算开销。
2024-04-18 cs.CV cs.RO
3D Hierarchical Refinement and Augmentation for Unsupervised Learning of Depth and Pose from Monocular Video
Shanghai Jiao Tong University（上海交通大学）；University of Cambridge（剑桥大学）
深度和自我运动估计对于自主机器人和自主驾驶的定位和导航至关重要。最近的研究使得从未标记的单目视频中学习每个像素的深度和自我运动成为可能。提出了一种新的无监督训练框架，使用显式3D几何进行3D分层细化和增强。在这个框架中，深度和姿态估计是分层和相互耦合，以细化估计的姿态逐层。提出中间视图图像，并通过利用估计的深度和粗略姿态扭曲图像中的像素来合成中间视图图像。然后，可以从新视图图像和相邻帧的图像估计残余姿态变换以细化粗略姿态。本文以可微的方式实现迭代求精，使整个框架得到一致优化。同时，提出了一种新的图像增强方法，通过合成一个新的视图图像来进行姿态估计，该方法创造性地在3D空间中对姿态进行了增强，但得到了一个新的增强的2D图像。KITTI上的实验表明，我们的深度估计达到了最先进的性能，甚至超过了最近的方法，利用其他辅助任务。我们的视觉里程计优于所有最近的无监督单目学习的方法，并实现竞争力的性能，以几何为基础的方法，ORB-SLAM 2与后端优化。
2022-06-08 cs.CV
TSR-Ego: Temporally Guided Stereo Refinement Framework for Egocentric 3D Human Pose Estimation
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
针对自中心3D人体姿态估计难题，提出TSR-Ego框架，结合短期运动证据与投影引导特征采样，通过因果深度可分离时间卷积和多种自注意力机制细化3D关节查询，实验证明其性能领先，尤其在真实世界序列中优势明显。
2026-07-13 cs.CV
WiSPER: Pose-Supervised Predictive and Residual Flow Refinement For Multi-Person 3D Pose Estimation With WiFi CSI
Singapore Institute of Technology（新加坡理工大学）；Singapore University of Technology and Design（新加坡科技设计大学）；University of Toronto（多伦多大学）
WiSPER通过姿态感知预测预训练和条件残差流细化，利用WiFi CSI实现多人3D姿态估计，在PiW3D数据集上显著降低误差。
2026-10-07 cs.CV
Global Relation Modeling and Refinement for Bottom-Up Human Pose Estimation
在本文中，我们关注的多人姿态估计（MPPE）的自自底向上的【形】范式。以往的自自底向上的【形】方法在后处理过程中大多考虑实例之间的关系来识别不同的身体部位，而在特征学习过程中忽略了对实例或环境之间的关系建模。此外，大多数现有的作品采用上采样和下采样的操作。在采样过程中，会出现与源特征不对齐的问题，导致模型学习到的关键点特征出现偏差。为了克服上述局限性，我们提出了一个卷积神经网络自自底向上的【形】的人体姿态估计。它包括两个基本模块：（i）全局关系建模（GRM）模块全局学习关系（例如，在特征学习过程中，通过融合多阶段特征，实现图像区域间的环境背景、实例交互信息等。它与空间通道注意力机制相结合，重点是实现空间和通道维度的适应性。(ii)多分支特征对齐（MFA）模块聚合来自多个分支的特征以对齐融合特征并获得精细的局部关键点表示。我们的模型能够关注从局部到全局区域的不同粒度，这显著提高了多人姿势估计的性能。我们在COCO和CrowdPose数据集上的结果表明，它是一个有效的多人姿态估计框架。
2023-03-27 cs.AI cs.CV
Combining Local and Global Pose Estimation for Precise Tracking of Similar Objects
Fraunhofer HHI（弗劳恩霍夫电信研究所）；Humboldt University of Berlin（柏林洪堡大学）
在本文中，我们提出了一个多目标的6D检测和跟踪管道潜在的相似和非纹理的对象。用于对象分类和粗略姿态估计的卷积神经网络与局部姿态细化和自动失配检测的组合使得能够直接应用于实时AR场景。全新的网络架构仅使用合成图像进行训练，允许同时估计多个对象的姿态，同时降低GPU内存消耗并增强性能。此外，姿态估计进一步提高了一个局部的边缘为基础的细化步骤，明确利用已知的对象几何信息。对于连续运动，局部细化的单独使用减少了由于几何模糊性或遮挡而导致的姿势不匹配。我们展示了整个跟踪管道，并展示了组合方法的好处。在一组具有挑战性的非纹理相似对象上的实验表明，与基线方法相比，该方法具有更高的质量。最后，我们说明了该系统如何可以用于建筑领域内的一个真正的AR辅助应用。
2022-01-31 cs.CV
Efficient and Robust Absolute Pose Estimation via Gravity-Prior-Driven Transformation Decoupling and Pose Refinement
School of Automation, Southeast University（东南大学自动化学院）；Chair of Robotics, Artificial Intelligence and Real-time Systems, Technical University of Munich（慕尼黑工业大学机器人、人工智能与实时系统讲席）；Faculty of Data Science, City University of Macau（澳门城市大学数据科学学院）
本文提出基于重力先验的变换解耦与位姿优化算法，将6自由度绝对位姿估计简化为4自由度，经多数据集实验及集成ORB-SLAM2验证，性能优于现有SOTA方法，可减少轨迹漂移。
2026-09-02 cs.CV
MultiDepth: Multi-Sample Priors for Refining Monocular Metric Depth Estimations in Indoor Scenes
Silicon Valley Emerging Tech of LG Electronics CTO Office（LG电子首席技术官办公室硅谷新兴技术部门）
针对现有单目度量深度估计模型适配室内场景效果差的问题，提出MultiDepth轻量级优化框架，结合多样本先验优化深度预测，在四个数据集上实现超45%的准确率提升且计算开销更低。
2024-11-01 cs.CV
PhysDepth: Plug-and-Play Physical Refinement for Monocular Depth Estimation in Challenging Environments
Department of Computer Science, East Carolina University（东卡罗来纳大学计算机科学系）；Department of Electrical and Computer Engineering, The University of Arizona（亚利桑那大学电气与计算机工程系）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院）；School of Computer and Cyber Sciences, Augusta University（奥古斯塔大学计算机与网络安全学院）；VCIP, CS, Nankai University（南开大学）
PhysDepth通过引入物理先验信息，提升了在恶劣环境中单目深度估计的鲁棒性和准确性。
2026-01-07 cs.CV
Robust Multi-Task Learning and Online Refinement for Spacecraft Pose Estimation across Domain Gap
Stanford University（斯坦福大学）
提出多尺度多任务 CNN SPNv2，并通过仅合成数据增强训练和 ODR 在线归一化层自监督精修，提升跨域间隙下非合作航天器位姿估计性能。
2023-08-17 cs.CV cs.LG
