Deep motion estimation for parallel inter-frame prediction in video compression
Stellenbosch University（斯泰伦博斯大学）
标准视频编解码器依赖于光流来指导帧间预测：来自参考帧的像素经由运动矢量移动以预测目标视频帧。我们建议学习基于输入视频序列编码的二进制运动代码。这些代码不仅限于2D平移，还可以捕获复杂的运动（扭曲，旋转和遮挡）。我们的运动代码是作为单个神经网络的一部分学习的，该神经网络还学习压缩和解码它们。该方法支持并行视频帧解码，而不是基于流的方法的顺序运动估计和补偿。我们还引入了3D动态位分配，以适应运动引起的对象位移，产生额外的位节省。通过将现有视频编解码器中基于光流的块运动算法替换为我们学习的帧间预测模型，我们的方法在低比特率下优于标准H.264和H.265视频编解码器。
2019-12-11 cs.CV eess.IV
Offline and Online Optical Flow Enhancement for Deep Video Compression
University of Science and Technology of China（中国科学技术大学）
本文针对深度视频压缩中光流编码代价高且泛化性差的问题，提出离线和在线两阶段光流增强方法，在 DCVC 上平均节省 12.8% 比特率且不增加解码端复杂度。
2023-07-11 cs.CV eess.IV
TAFA-GSGC: Group-wise Scalable Point Cloud Geometry Compression with Progressive Residual Refinement
本文提出TAFA-GSGC，一种可扩展的点云几何编码器，通过分层残差细化和通道组熵编码，实现单比特流多质量解码，提升压缩效率并优于PCGCv2基准。
2026-05-13 cs.CV
AQMP: Image compression through Adaptive Quadtree Refinement and Matching Pursuit with Hyperparameter Optimization
CONICET（阿根廷国家科研 council）；Facultad de Matemática, Astronomía, Física y Computación, Universidad Nacional de Córdoba（数学、天文学、物理和计算学院，国家大学科达布拉达）
AQMP结合自适应四叉树细化与匹配追索，通过动态调整块大小提升压缩率，采用超参数优化实现压缩效率与视觉质量的平衡。
2026-05-09 cs.CV
Flexible-Rate Learned Hierarchical Bi-Directional Video Compression With Motion Refinement and Frame-Level Bit Allocation
Koç University（科奇大学）；KUIS AI Center（KUIS人工智能中心）
本文介绍了改进和新的补充，我们最近的工作，端到端的优化分层双向视频压缩，以进一步推进国家的最先进的学习视频压缩。作为一种改进，我们结合了运动估计和预测模块，并压缩改进的残差运动矢量，以提高率失真性能。作为新的补充，我们适应了增益单元提出的图像压缩灵活速率的视频压缩在两个方面：第一，增益单元使一个单一的编码器模型在多个率失真操作点操作;第二，我们利用增益单元控制帧内编码与双向编码帧之间的比特分配，通过微调相应的模型，真正灵活的速率学习视频编码。实验结果表明，我们获得了最先进的率失真性能超过所有现有技术的学习视频编码。
2022-06-27 cs.CV eess.IV
ENCORE: Event-Assisted Complementary Motion Refinement for Learned Video Compression
School of Computer Science, Wuhan University（武汉大学计算机学院）；School of Artificial Intelligence, Ningbo University（宁波大学人工智能学院）；National University of Singapore（新加坡国立大学）；Zhejiang University of Technology（浙江工业大学）；School of Information Engineering, Zhongnan University of Economics and Law（中南财经政法大学信息工程学院）
ENCORE是结合事件相机与RGB帧的学习型视频压缩框架，通过CMR、SERIC、EAR模块细化运动，在多数据集上实现了BD-rate节省的性能提升。
2026-07-31 cs.CV
Test-time adaptation for image compression with distribution regularization
City University of Hong Kong（香港城市大学）
针对跨域图像压缩中潜在表示精修方法率失真性能下降的问题，通过理论分析揭示高斯条件与超先验分布的失配，并提出一种即插即用的贝叶斯分布正则化方法以优化联合概率近似，显著提升了跨域压缩性能并易于集成。
2024-10-16 cs.CV cs.MM
Semantic Ensemble Loss and Latent Refinement for High-Fidelity Neural Image Compression
Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算学部）
针对低比特率神经图像压缩的感知伪影问题，提出融合多种损失的语义集成损失与内容感知潜变量精炼方法，在 CLIC2024 上较 MS-ILLM 节省 62% 比特率。
2024-10-25 cs.CV eess.IV
PoseRN: A 2D pose refinement network for bias-free multi-view 3D human pose estimation
Kyushu University（九州大学）；Osaka University（大阪大学）；Microsoft Corp（微软公司）
我们提出了一个新的2D姿态细化网络，学习预测估计的2D姿态中的人类偏见。由于基于注释者感知的2D关节位置的注释与由运动捕获（MoCap）系统定义的那些注释之间的差异，2D姿态估计中存在偏差。这些偏差被制作成公开可用的2D姿态数据集，并且不能用现有的误差减少方法来消除。我们提出的姿态细化网络使我们能够有效地消除人类偏见的估计2D姿态，实现高度准确的多视图3D人体姿态估计。
2021-07-07 cs.CV
Learned Neural Iterative Decoding for Lossy Image Compression Systems
Rochester Institute of Technology（罗切斯特理工学院）；Pennsylvania State University（宾夕法尼亚州立大学）；Old Dominion University（奥尔德多米宁大学）
对于有损图像压缩系统，我们开发了一种算法，迭代细化，以提高解码器的重建相比，标准的解码技术。具体来说，我们提出了一个递归神经网络的非线性，迭代解码方法。我们的解码器，它与任何编码器，采用自连接的内存单元，利用因果和非因果的空间上下文信息，逐步减少重建误差在一个固定的步骤数。我们的实验与我们的估计变量，并发现迭代细化一贯创建更高的感知质量相比，其他方法更低的失真图像。具体来说，在柯达无损真彩色图像套件上，我们观察到比JPEG高出0.871分贝（dB）的增益，比JPEG 2000高出1.095 dB的增益，比竞争性神经模型高出0.971 dB的增益。
2018-11-10 cs.CV
Towards Efficient Low-rate Image Compression with Frequency-aware Diffusion Prior Refinement
本文提出DiffCR框架，通过频率感知跳过估计和频率解耦注意力模块，实现高效低比特率图像压缩，显著提升压缩效率和图像质量。
2026-01-15 cs.AI cs.CV cs.MM
URNet: Uncertainty-aware Refinement Network for Event-based Stereo Depth Estimation
Technical University of Munich (TUM)（慕尼黑技术大学）
本文提出面向事件立体深度估计的URNet，通过局部-全局细化模块和KL散度不确定性建模提升预测可靠性，并在DSEC数据集上超越SOTA方法。
2025-09-18 cs.CV
Coupled Iterative Refinement for 6D Multi-Object Pose Estimation
Princeton University（普林斯顿大学）
我们解决了6D多对象姿态的任务：给定一组已知的3D对象和RGB或RGB-D输入图像，我们检测和估计每个对象的6D姿态。我们提出了一种新的方法来6D对象的姿态估计，其中包括一个端到端的微分架构，利用几何知识。我们的方法以紧密耦合的方式迭代地细化姿态和对应关系，使我们能够动态地删除离群值以提高准确性。我们使用一种新的可微层来执行姿势细化，通过解决我们称为双向深度增强视角N点（BD-PPEND）的优化问题。我们的方法在标准6D Object Pose基准测试中达到了最先进的精度。代码可在https://github.com/princeton-vl/Coupled-Iterative-Refinement上获得。
2022-04-26 cs.CV
A Pose Proposal and Refinement Network for Better Object Pose Estimation
Department of Computer Science, Colorado State University（科罗拉多州立大学计算机科学系）
在本文中，我们提出了一种新的，端到端的6D对象姿态估计方法，对RGB输入操作。我们的方法由2个主要部分组成：第一部分对输入图像中的对象进行分类，并通过多任务，基于CNN的编码器/多解码器模块提出初始6D姿态估计。第二组件，细化模块，包括渲染器和多注意姿势细化网络，其通过利用外观特征和流向量两者来迭代地细化所估计的姿势。我们的改进器利用混合表示的初始姿态估计来预测相对于目标姿态的相对误差。它进一步增强了空间多注意块，强调对象的区别性特征部分。在三个6D姿态估计基准上的实验表明，我们提出的流水线优于最先进的基于RGB的方法，具有竞争力的运行时性能。
2020-10-07 cs.CV
Iterative Optimisation with an Innovation CNN for Pose Refinement
Australian National University（澳大利亚国立大学）；University of Technology（悉尼科技大学）
由于光照条件和视点的变化，从单个RGB图像中估计物体的姿态是一个具有挑战性的问题。最准确的姿态估计网络通过已知的纹理化3D模型的重投影来实现姿态细化，然而，如果没有观察到的对象的高质量3D模型，则不能应用这样的方法。在这项工作中，我们提出了一种方法，即创新CNN，对象姿态估计的改进，克服了重新投影纹理3D模型的要求。我们的方法通过在随机梯度下降（SGD）框架中迭代地应用创新CNN来逐步改进初始姿态估计。我们在流行的LINEMOD和Occlusion LINEMOD数据集上评估了我们的方法，并在这两个数据集上获得了最先进的性能。
2021-01-22 cs.CV
Dynamic Iterative Refinement for Efficient 3D Hand Pose Estimation
Seoul National University（首尔大学）；Qualcomm Technologies, Inc.（高通技术公司）
虽然手部姿态估计是大多数交互式延展实境和手势识别系统的关键组成部分，但是当代方法没有针对计算和存储器效率进行优化。在本文中，我们提出了一个微小的深度神经网络，其中部分层被递归地利用，以改善其先前的估计。在其迭代优化过程中，我们采用学习的门控标准来决定是否退出权重共享循环，从而允许在我们的模型中对每个样本进行自适应。我们的网络经过训练，能够意识到其当前预测中的不确定性，从而在每次迭代时有效地进行门控，并在每次循环后估计其关键点估计的方差。此外，我们还研究了端到端和渐进式训练协议对我们的递归结构最大化模型容量的有效性。在所提出的设置下，我们的方法在广泛使用的基准测试的准确性和效率方面始终优于最先进的2D/3D手部姿势估计方法。
2021-11-11 cs.CV
Pyramid Frequency Network with Spatial Attention Residual Refinement Module for Monocular Depth Estimation
Jiangnan University（江南大学）
基于深度学习的深度估计方法正在迅速发展，提供优于现有方法的性能。为了估计真实场景中的深度，深度估计模型需要对各种噪声环境具有鲁棒性。在这项工作中，提出了一种具有空间注意力残差细化模块（SARRM）的金字塔频率网络（PFN），以解决现有深度学习方法鲁棒性弱的问题。为了重建具有精确细节的深度图，SARRM构造了具有注意力机制的残差融合方法来细化模糊深度。设计了频域划分策略，并建立了频率金字塔网络，实现了多频带特征提取。通过频率策略，PFN在Make3D，KITTI深度和NYUv2数据集上的室内和室外场景中实现了比最先进的方法更好的视觉准确性。在嘈杂的NYUv2数据集上进行的其他实验表明，PFN在高噪声场景中比现有的深度学习方法更可靠。
2022-04-05 cs.CV
PR-GCN: A Deep Graph Convolutional Network with Point Refinement for 6D Pose Estimation
State Key Laboratory of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）；School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）
基于RGB-D的6D姿态估计最近取得了显著的进展，但仍然受到两个主要限制：（1）深度数据的无效表示和（2）不同模态的不充分整合。本文提出了一种新的深度学习方法，即带有点精化的图卷积网络（PR-GCN），以统一的方式同时解决上述问题。它首先引入了点细化网络（PRN）来抛光3D点云，恢复丢失的部分并去除噪声。随后，提出了多模态融合图卷积网络（MMF-GCN）来增强RGB-D组合，它通过图卷积网络中的局部信息传播来捕获几何感知的模态间相关性。在三个广泛使用的基准上进行了大量的实验，并达到了最先进的性能。此外，它也表明，提出的PRN和MMF-GCN模块是很好的推广到其他框架。
2021-08-23 cs.CV
Multi-Person 3D Pose and Shape Estimation via Inverse Kinematics and Refinement
UNIST（蔚山科学技术院）；eSmart Systems（eSmart系统公司）；Yeongnam Univ.（岭南大学）
从单目RGB图像中以网格的形式估计3D姿态和形状是具有挑战性的。显然，这比仅以骨架或热图的形式估计3D姿势更困难。当涉及交互的人时，由于人与人之间的遮挡引入的模糊性，3D网格重建变得更具挑战性。为了解决这些挑战，我们提出了一个从粗到细的流水线，该流水线受益于1）来自遮挡鲁棒的3D骨架估计的逆运动学和2）基于变换器的关系感知细化技术。在我们的管道中，我们首先从RGB图像中获得多个人的遮挡鲁棒3D骨架。然后，我们应用逆运动学将估计的骨架转换为可变形的3D网格参数。最后，我们应用基于transformer的网格细化，细化所获得的网格参数，考虑内部和人与人之间的3D网格的关系。通过大量的实验，我们证明了我们的方法的有效性，在3DPW，MuPoTS和AGORA数据集上的表现优于最先进的技术。
2022-10-30 cs.CV
PoseFix: Model-agnostic General Human Pose Refinement Network
Seoul National University（首尔国立大学）；Kwangwoon University（光云大学）
从二维图像中估计多人姿态是人类行为理解的一项重要技术。在本文中，我们提出了一个人的姿态细化网络，估计一个输入图像和输入姿态的元组细化的姿态。在以前的方法中，姿势细化主要通过端到端的可训练多级架构来执行。然而，它们高度依赖于姿态估计模型，并且需要仔细的模型设计。相比之下，我们提出了一个模型不可知的姿势细化方法。根据最近的研究，最先进的2D人体姿态估计方法具有类似的误差分布。我们使用此误差统计作为先验信息来生成合成姿势，并使用合成姿势来训练我们的模型。在测试阶段，任何其他方法的位姿估计结果可以输入到所提出的方法。此外，所提出的模型不需要代码或其他方法的知识，这使得它可以很容易地在后处理步骤中使用。我们表明，所提出的方法实现了更好的性能比传统的多阶段细化模型，并不断提高性能的各种国家的最先进的姿态估计方法在常用的基准。该代码可在此https URL \footnote{\url{https://github.com/mks0601/PoseFix_RELEASE}}中找到。
2019-03-10 cs.CV
Double Refinement Network for Efficient Indoor Monocular Depth Estimation
Samsung AI Center Moscow（三星莫斯科人工智能中心）
单目深度估计是使用单个图像获得每个像素的距离测量的任务。它是计算机视觉中的一个重要问题，通常使用神经网络来解决。虽然最近在这一领域的工作已经显示出显着的精度提高，国家的最先进的方法往往需要大量的内存和时间来处理图像。这项工作的主要目的是在不降低精度的情况下提高最新解决方案的性能。为此，我们引入了双细化网络架构。所提出的方法在标准基准RGB-D数据集NYU Depth v2上实现了最先进的结果，而其每秒帧速率明显更高（在批量大小为1时，每个图像的加速高达18倍），并且每个图像的RAM使用率更低。
2019-04-04 cs.CV
Depth Hypothesis Guided Iterative Refinement for Event-Image Monocular Depth Estimation
Southeast University（东南大学）
提出HypoDepth，首个事件-图像单目深度迭代细化框架，通过离散深度假设体和三维代价体将深度回归转为约束搜索，在DSEC和MVSEC上取得最先进结果，且微型模型支持实时运行。
2026-10-05 cs.CV
IronDepth: Iterative Refinement of Single-View Depth using Surface Normal and its Uncertainty
University of Cambridge（剑桥大学）
单幅图像表面法线估计和深度估计是密切相关的问题，因为前者可以由后者计算。然而，从深度估计方法的输出计算的表面法线比由网络直接估计的表面法线精确得多。为了减少这种差异，我们引入了一个新的框架，使用表面法线和它的不确定性，反复完善预测的深度图。可以使用预测的表面法线作为指导，将每个像素的深度传播到查询像素。因此，我们将深度细化公式化为选择相邻像素进行传播的分类。然后，通过传播到子像素点，我们对细化的低分辨率输出进行上采样。所提出的方法在NYUv 2和iBims-1上显示出最先进的性能-无论是在深度还是法线方面。我们的细化模块也可以附加到现有的深度估计方法，以提高其精度。我们还表明，我们的框架，只训练深度估计，也可以用于深度完成。该代码可在https://github.com/baegwangbin/IronDepth上获得。
2022-10-07 cs.CV
Singular Value Scaling: Efficient Generative Model Compression via Pruned Weights Refinement
Laboratory of Advanced Imaging Technology (LAIT)（先进成像技术实验室（LAIT））；Ulsan National Institute of Science and Technology (UNIST)（蔚山科学技术院）
本文提出奇异值缩放（SVS）技术，通过最小化剪枝权重奇异值差异来优化权重初始化，提升GAN和Diffusion模型的微调效率与压缩性能，且无需额外训练成本。
2025-03-31 cs.AI cs.CV
Satellite Pose Estimation with Deep Landmark Regression and Nonlinear Pose Refinement
The University of Adelaide（阿德莱德大学）
我们提出了一种方法来估计6DOF姿态的卫星，相对于一个典型的姿态，从一个单一的图像。这一问题在许多空间邻近作业中至关重要，如对接、碎片清除和航天器间通信。我们的方法结合了机器学习和几何优化，通过预测输入图像中一组地标的坐标，将地标与先验重建的3D模型上相应的3D点相关联，然后使用非线性优化求解对象姿态。我们的方法不仅对于这个特定的姿态估计任务是新颖的，这有助于进一步为机器学习和计算机视觉开辟一个相对较新的领域，而且它还展示了卓越的准确性，并在最近由欧洲航天局（ESA）组织的Kelvins姿态估计挑战赛中获得第一名。
2019-08-30 cs.CV
End-to-End Shared Attention Estimation via Group Detection with Feedback Refinement
Toyota Technological Institute, Japan（丰田工业大学）；Idiap Research Institute, Switzerland（Idiap研究所）；École Polytechnique Fédérale de Lausanne, Switzerland（洛桑联邦理工学院）
本文提出一种端到端的共享注意力估计方法，通过群体检测解决传统方法的不足，通过两步过程生成并细化共享注意力热图，提升群体检测和共享注意力估计性能。
2026-04-02 cs.CV
Joint Graph-based Depth Refinement and Normal Estimation
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Sony Europe B.V（索尼欧洲有限公司）
深度估计是理解场景的3D几何形状的重要组成部分，在城市和室内环境中具有许多应用。这些场景的特点是普遍存在的人为结构，在大多数情况下，要么是固有的分段平面，或可以近似为这样。在这些设置中，我们设计了一个新的深度细化框架，旨在恢复底层的逐段平面性的逆深度图。我们制定这个任务作为一个优化问题，涉及数据保真度项，最大限度地减少输入逆深度图的距离，以及执行分段平面解决方案的正则化。至于正则化项，我们将逆深度图建模为像素之间的加权图。所提出的正则化被设计为在每个像素处自动地估计平面，而不需要对场景平面的先验估计，并且同时它鼓励将类似的像素分配给同一平面。用ADAM算法有效地解决了优化问题。实验表明，我们的方法导致了显着的改善，在深度细化，视觉和数值，相对于国家的最先进的算法在Middlebury，KITTI和ETH3D多视图立体视觉数据集。
2020-09-02 cs.CV
MAPRPose: Mask-Aware Proposal and Amodal Refinement for Multi-Object 6D Pose Estimation
State Key Laboratory of Robotics and Systems, Harbin Institute of Technology（机器人系统国家重点实验室，哈尔滨工业大学）；School of Civil Engineering, Harbin Institute of Technology（土木工程学院，哈尔滨工业大学）；Shenzhen Infinite Meta Robot Co., Ltd（深圳无限元机器人有限公司）
提出MAPRPose两阶段框架，通过掩膜感知对应关系生成姿态提议和模态补全驱动的ROI预测实现鲁棒精化，在BOP基准上达到76.5%平均召回率，比FoundationPose高3.1%且多目标推理加速43倍。
2026-08-06 cs.CV
Unsupervised Domain Adaptation for Sim-to-Real Object Pose Estimation with Contrastive Alignment and Pseudo-Label Refinement
SnT, University of Luxembourg（卢森堡大学SnT中心）
提出CAPLR方法，通过局部区域对比对齐和基于一致性的伪标签精炼，实现无监督域自适应物体姿态估计，在多个基准上达到最优性能。
2026-06-23 cs.CV
Fast Point Cloud Geometry Compression with Context-based Residual Coding and INR-based Refinement
McMaster University（麦克斯特大学）；Shanghai Jiao Tong University（上海交通大学）
本研究针对无序点云压缩难题，提出基于KNN上下文的算术编码和双层架构，结合INR实现优化，在降低复杂度与延迟的同时提升率失真性能，还支持任意密度上采样。
2025-06-13 cs.CV eess.IV
Fast Test-Time Refinement for Robust Learned Image Compression
University of Macau（澳门大学）；Nanyang Technological University（南洋理工大学）
本文针对学习型图像压缩的对抗脆弱性问题，揭示其非对称对抗轨迹特性，提出快速测试时精化框架，经多系统多攻击评估验证了该框架的鲁棒性与实用性。
2026-08-18 cs.AI cs.CV cs.LG
Generalizing Interactive Backpropagating Refinement for Dense Prediction
Brigham Young University（杨百翰大学）；Adobe Research（Adobe 研究院）
随着深度神经网络成为计算机视觉领域中用于密集预测任务的最先进方法，已经开发了许多方法用于在给定视觉输入的情况下自动估计目标输出。虽然所提出的自动方法的估计精度不断提高，交互式细化往往是必要的进一步校正。最近，已经提出了用于交互式分割任务的特征反向传播细化方案（f-BRS），该方案能够有效优化插入到预训练网络中的一小组辅助变量，以产生更好地与用户输入对齐的对象分割。然而，所提出的辅助变量仅包含通道尺度和偏差，将优化限制为仅全局细化。在这项工作中，为了广泛的密集预测任务的广义反向传播细化，我们引入了一组G-BRS（广义反向传播细化方案）层，使全球和本地细化以下任务：交互式分割，语义分割，图像抠图和单眼深度估计。在SBD，Cityscapes，Mapillary Vista，Composition-1 k和NYU-Depth-V2上的实验表明，我们的方法可以成功地推广并显着提高现有预训练的最先进模型的性能，只需点击几下。
2021-12-22 cs.CV
Graph-PCNN: Two Stage Human Pose Estimation with Graph Pose Refinement
Baidu Inc.（百度公司）
目前，大多数最先进的人体姿态估计方法都是基于热图回归的。关键点的最终坐标直接通过热图解码获得。在本文中，我们的目标是找到一个更好的方法，以获得更准确的定位结果。主要提出了两点改进建议：1）粗定位和精定位应采用不同的特征和方法; 2）关键点之间的关系应考虑。具体来说，我们提出了一个两阶段的基于图和模型不可知的框架，称为Graph-PCNN，在原始热图回归网络上添加了一个本地化子网和一个图姿势细化模块。在第一阶段中，应用热图回归网络来获得粗略的定位结果，并对一组被称为引导点的建议关键点进行采样。在第二阶段，对于每个引导点，不同的视觉特征提取的定位子网。通过图形姿态细化模块探索引导点之间的关系，以获得更准确的定位结果。实验表明，Graph-PCNN可以用于各种骨干网络中，以大幅提高性能。没有花里胡哨的东西，我们最好的模型可以在COCO测试开发分割上实现最先进的76.8% AP。
2020-07-21 cs.CV
Deep-Learning-Based Markerless Pose Estimation Systems in Gait Analysis: DeepLabCut Custom Training and the Refinement Function
University of Florence（佛罗伦萨大学）；SAPIENZA University of Rome（罗马第一大学）
本研究比较了OpenPose和DeepLabCut在步态分析中的性能，发现DLCCT通过定制训练和精修功能在无标记姿态估计中表现最佳。
2024-07-15 cs.CV
Towards Good Practices for Multi-Person Pose Estimation
ByteDance AI Lab（字节跳动人工智能实验室）
多人位姿估计是计算机视觉中一个有趣而又具有挑战性的课题。在本文中，我们对MSPN和PoseFix网络进行了一系列改进，并通过消融研究实证评估了它们对最终模型性能的影响。通过采取所有的改进，我们在COCO测试开发数据集上获得了78.7，在COCO测试挑战数据集上获得了76.3。
2019-10-28 cs.CV
DepthART: Monocular Depth Estimation as Autoregressive Refinement Task
AIRI；HSE University（俄罗斯伏尔加格勒国立大学）
本文提出DepthART方法，将单目深度估计构建为深度自回归细化任务，通过基于模型输出的动态目标和残差最小化训练策略，有效解决了VAR中teacher forcing导致的训练与推理差异，在多个未见基准上取得了优于现有基线的性能。
2025-06-30 cs.CV
Self-Supervised Monocular Depth Estimation with Self-Reference Distillation and Disparity Offset Refinement
Beihang University（北京航空航天大学）
针对自监督单目深度估计，提出自参考蒸馏（随训练更新的同结构教师模型提供监督并经多视图检查过滤离群值）与视差偏移细化（利用多尺度特征上下文一致性增量优化视差）两种方法，在KITTI、Make3D数据集上性能超越现有最优水平。
2023-06-15 cs.CV
Pose-Oriented Transformer with Uncertainty-Guided Refinement for 2D-to-3D Human Pose Estimation
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）；Shanghai Jiao Tong University（上海交通大学）
最近，人们对将Transformers引入3D人体姿态估计（HPE）的兴趣激增，因为它们在建模长期依赖性方面具有强大的功能。然而，现有的基于变换器的方法将身体关节视为同等重要的输入，并且忽略了自我注意力机制中的人体骨架拓扑的先验知识。为了解决这个问题，在本文中，我们提出了一个姿态导向的Transformer（POT）与不确定性指导细化的三维HPE。具体来说，我们首先开发了新的面向姿态的自我注意力机制和距离相关的位置嵌入POT明确利用人体骨架拓扑结构。面向姿态的自我注意力机制明确地对身体关节之间的拓扑相互作用进行建模，而距离相关的位置嵌入对关节到根关节的距离进行编码，以区分具有不同回归难度的关节组。此外，我们提出了一个不确定性指导的细化网络（UGRN），以改善从POT的姿态预测，特别是对于困难的关节，通过考虑估计的不确定性的每个关节的不确定性与不确定性指导的采样策略和自我注意力机制。大量的实验表明，我们的方法在3D HPE基准测试（如Human3.6M和MPI-INF-3DHP）上显著优于具有减少的模型参数的最先进方法
2023-02-15 cs.CV
3D Human Pose Estimation with Occlusions: Introducing BlendMimic3D Dataset and GCN Refinement
Institute for Systems and Robotics（系统与机器人研究所）
本研究针对3D人体姿态估计中的遮挡问题，提出BlendMimic3D数据集和基于GCN的即插即用姿态优化模块，显著提升遮挡场景下的姿态估计性能。
2024-04-24 cs.CV
Jointformer: Single-Frame Lifting Transformer with Error Prediction and Refinement for 3D Human Pose Estimation
Trinity College Dublin（都柏林圣三一学院）；Accenture Labs（埃森哲实验室）
单目三维人体姿态估计技术有可能大大提高人体运动数据的可用性。单图像2D-3D提升的最佳性能模型使用图卷积网络（GCN），通常需要一些手动输入来定义不同身体关节之间的关系。我们提出了一种新的变压器为基础的方法，使用更广泛的自我注意力机制来学习这些关系内的一系列令牌代表关节。我们发现，使用中间监督，以及堆叠编码器之间的剩余连接的好处性能。我们还建议将错误预测作为多任务学习框架的一部分，通过允许网络补偿其置信水平来提高性能。我们进行了广泛的消融研究，以表明我们的每一个贡献都提高了性能。此外，我们表明，我们的方法优于最新的单帧3D人体姿态估计的最新状态的大幅度。我们的代码和训练模型在Github上公开提供。
2022-08-07 cs.CV
Estimation of Camera Response Function using Prediction Consistency and Gradual Refinement with an Extension to Deep Learning
National University of Singapore（新加坡国立大学）
大多数现有的方法CRF估计从一个单一的图像无法处理一般的真实图像。例如，基于从边缘提取的色块的EdgeCRF仅在噪声不明显时有效，而对于许多真实图像而言并非如此;以及CRFNet，一种基于完全监督深度学习的最新方法仅适用于训练数据中的CRF，因此无法处理训练数据之外的其他可能的CRF。为了解决这些问题，我们引入了一种使用预测一致性和逐步细化的非深度学习方法。首先，我们更多地依赖于输入图像的补丁，这些补丁提供了更一致的预测。如果从补丁的预测更一致，这意味着补丁可能受噪声或任何劣质颜色组合的影响较小，因此，它可以更可靠的CRF估计。其次，我们采用了一个渐进的细化方案，其中我们从一个简单的CRF模型开始生成一个结果，这是更强大的噪声，但不太准确，然后我们逐渐增加模型的复杂性，以改善结果。这是因为一个简单的模型，虽然不太准确，过拟合噪声比复杂的模型。实验结果表明，该方法在白天和夜间的真实图像中的识别效果优于现有的单图像方法。我们进一步提出了一个更有效的深度学习扩展，它对测试输入图像执行测试时训练（基于无监督损失）。这为我们的方法提供了比CRFNet更好的泛化性能，使其更实际地适用于一般真实图像的CRF估计。
2021-02-23 cs.CV
Depth Refinement for Improved Stereo Reconstruction
Technion - Israel Institute of Technology（以色列理工学院）
深度估计是需要对环境进行3D评估的大量应用的基石，例如机器人、增强现实和自动驾驶等。用于深度估计的一个突出技术是立体匹配，其具有若干优点：它被认为比其他深度感测技术更容易获得，可以实时产生密集的深度估计，并且近年来大大受益于深度学习的进步。然而，用于从立体图像进行深度估计的当前技术仍然遭受固有缺陷。为了重建深度，立体匹配算法在应用几何三角测量之前首先估计左图像和右图像之间的视差图。简单的分析表明，深度误差与物体的距离成二次正比。因此，对于远离相机的物体，恒定的视差误差会转化为较大的深度误差。为了减轻这种二次关系，我们提出了一种简单但有效的方法，使用细化网络的深度估计。我们的分析和实证结果表明，建议的学习过程减少了这种二次关系。我们在知名的基准测试和数据集（如Sceneflow和KITTI数据集）上评估了所提出的改进过程，并证明了深度精度度量的显着改进。
2021-12-15 cs.CV
Spatial Attention Improves Iterative 6D Object Pose Estimation
ETH Zürich（苏黎世联邦理工学院）
从RGB图像估计对象的6D姿态的任务可以分为两个主要步骤：初始姿态估计步骤，然后是精确过程，以正确地配准对象及其观察。在本文中，我们提出了一种新的方法，从RGB图像的6D姿态估计细化。为了实现最终估计的高精度，需要将观测和渲染模型对齐。我们的主要见解是，在初始姿态估计之后，重要的是要注意对象的不同空间特征，以提高对准过程中的估计精度。此外，在对准过程期间，图像中被遮挡的对象的部分应当被给予较少的权重。大多数最先进的细化方法不允许这种细粒度的推理，不能充分利用问题的结构。相比之下，我们提出了一种新的神经网络架构，建立在一个空间注意力机制，识别和利用信息的空间细节，在姿态优化。我们的实验表明，这种方法学会了关注显着的空间特征，并学会忽略对象的遮挡部分，从而在数据集上获得更好的姿态估计。我们在标准基准数据集上进行实验，用于6D姿态估计（LineMOD和Occlusion LineMOD），并优于以前最先进的方法。
2021-01-05 cs.CV
MoGe-3: Fine-Detail Monocular Geometry Estimation with Self-Guided Sparse Volumetric Refinement
Tsinghua University（清华大学）；USTC（中国科学技术大学）；Microsoft Research（微软研究院）
针对单目几何估计在局部3D结构精细细节上的失真问题，提出基于自引导稀疏体细化的方法，将建模从2D提升到3D空间，通过稀疏卷积避免特征混合，实验证明该方法在恢复精细3D几何方面显著优于现有方法。
2026-07-22 cs.CV
RNNPose: Recurrent 6-DoF Object Pose Refinement with Robust Correspondence Field Estimation and Pose Optimization
The Chinese University of Hong Kong（香港中文大学）；Zhejiang University（浙江大学）
6-从单目图像中估计DoF对象姿态是具有挑战性的，并且通常需要后细化过程来进行高精度估计。在本文中，我们提出了一个框架的基础上的递归神经网络（RNN）的对象姿态细化，这是错误的初始姿态和遮挡鲁棒性。在循环迭代期间，对象姿态细化被公式化为基于估计的对应场（在渲染图像和观察图像之间）的非线性最小二乘问题。然后通过可微Levenberg-Marquardt（LM）算法解决问题，从而实现端到端训练。在每次迭代中交替进行对应场估计和位姿细化，以恢复目标位姿。此外，为了提高对遮挡的鲁棒性，我们引入了一种基于3D模型和观察到的2D图像的学习描述符的一致性检查机制，该机制在姿态优化期间降低了不可靠的对应关系。在LINEMOD、Occlusion-LINEMOD和YCB-Video数据集上进行的大量实验验证了我们方法的有效性，并展示了最先进的性能。
2022-04-10 cs.CV cs.RO
Fast 3D Pose Refinement with RGB Images
Georgia Institute of Technology（佐治亚理工学院）
位姿估计是机器人操作、自主车辆导航等许多机器人和感知任务中的重要步骤。当前最先进的位姿估计方法依赖于结构复杂、推理时间长的深度神经网络。虽然非常强大，但它们需要移动机器人通常无法提供的计算能力。我们提出了一种基于CNN的姿态细化系统，该系统从计算成本较低的算法中获得粗略估计的3D姿态以及对象的限界框图像，并返回高度细化的姿态。在YCB-Video数据集上的实验表明，该系统可以用最少的训练数据将三维姿态精确到极高的精度。
2019-11-17 cs.CV
Motion estimation and filtered prediction for dynamic point cloud attribute compression
KDDI Research, Inc.（KDDI综合研究所）
在点云压缩中，由于不规则的几何形状，利用时间冗余进行帧间预测编码具有挑战性。提出了一种基于块的帧间编码的彩色属性压缩方法。该方案包括整数精度的运动估计和一个自适应的基于图形的环路滤波方案，以改善属性预测。所提出的基于块的运动估计方案包括利用几何和颜色属性的初始运动搜索，随后是仅最小化颜色预测误差的运动细化。为了进一步提高颜色预测，我们提出了一个顶点域低通图滤波方案，可以自适应地去除噪声的预测计算从运动估计具有不同的精度。我们的实验表明，显着的编码增益超过国家的最先进的编码方法。
2022-10-28 cs.CV eess.IV
DualRefine: Self-Supervised Depth and Pose Estimation Through Iterative Epipolar Sampling and Refinement Toward Equilibrium
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Mechatronics, Systems, and Control Laboratory（机电一体化、系统与控制实验室）；Vehicular Systems Design and Control Lab（车辆系统设计与控制实验室）
提出 DualRefine，利用深度均衡模型框架和对极几何反馈回路迭代耦合精修深度与位姿，在 KITTI 上超过已有自监督基线。
2024-04-05 cs.CV
HopFIR: Hop-wise GraphFormer with Intragroup Joint Refinement for 3D Human Pose Estimation
Hefei University of Technology（合肥工业大学）；Youtu Lab, Tencent（腾讯优图实验室）；Tsinghua University（清华大学）
本文提出HopFIR架构，通过逐跳图Former发现潜在关节协同作用，并结合组内关节细化利用肢体先验信息，在Human3.6M上以32.67 mm的MPJPE大幅超越现有方法，且能显著提升SemGCN和MGCN等GCN方法的性能。
2023-08-19 cs.CV
Refinement Module based on Parse Graph for Human Pose Estimation
Shibang Liu and Xuemei Xie
针对人体姿态估计中解析图方法的参数冗余和结构固定问题，提出可嵌入主流网络的RMPG模块，通过递归分解与组合细化特征，以更少参数提升关节推理精度并建模人体层次与上下文关系。
2025-11-17 cs.CV
Field Converter: Geometry-Initialized Temporal Residual Refinement for World-Grounded Player Pose Estimation from Soccer Broadcasts
Institut de Biomécanique Humaine Georges Charpak (IBHGC), Arts et Métiers ParisTech（乔治·沙帕克人体生物力学研究所（IBHGC），巴黎高科国立高等工艺学校）；French Football Federation (FFF)（法国足球联合会（FFF））
提出Field Converter，利用球场几何初始化球员根部位置，并通过时间残差精化将世界坐标下姿态估计误差从49厘米降至10-11厘米，优于直接回归方法。
2026-09-10 cs.CV
Joint Reconstruction of 3D Human and Object via Contact-Based Refinement Transformer
Seoul National University（首尔大学）；IPAI；SNU-LG AI Research Center（首尔大学- LG人工智能研究中心）；Codec Avatars Lab, Meta（Meta编码化身实验室）
本文提出CONTHO方法，通过3D引导接触估计和基于接触的细化Transformer，利用接触信息提升单图像3D人体与物体联合重建精度，并在两项任务上达到最先进性能。
2024-04-07 cs.CV
3D Hierarchical Refinement and Augmentation for Unsupervised Learning of Depth and Pose from Monocular Video
Shanghai Jiao Tong University（上海交通大学）；University of Cambridge（剑桥大学）
深度和自我运动估计对于自主机器人和自主驾驶的定位和导航至关重要。最近的研究使得从未标记的单目视频中学习每个像素的深度和自我运动成为可能。提出了一种新的无监督训练框架，使用显式3D几何进行3D分层细化和增强。在这个框架中，深度和姿态估计是分层和相互耦合，以细化估计的姿态逐层。提出中间视图图像，并通过利用估计的深度和粗略姿态扭曲图像中的像素来合成中间视图图像。然后，可以从新视图图像和相邻帧的图像估计残余姿态变换以细化粗略姿态。本文以可微的方式实现迭代求精，使整个框架得到一致优化。同时，提出了一种新的图像增强方法，通过合成一个新的视图图像来进行姿态估计，该方法创造性地在3D空间中对姿态进行了增强，但得到了一个新的增强的2D图像。KITTI上的实验表明，我们的深度估计达到了最先进的性能，甚至超过了最近的方法，利用其他辅助任务。我们的视觉里程计优于所有最近的无监督单目学习的方法，并实现竞争力的性能，以几何为基础的方法，ORB-SLAM 2与后端优化。
2022-06-08 cs.CV
TSR-Ego: Temporally Guided Stereo Refinement Framework for Egocentric 3D Human Pose Estimation
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
针对自中心3D人体姿态估计难题，提出TSR-Ego框架，结合短期运动证据与投影引导特征采样，通过因果深度可分离时间卷积和多种自注意力机制细化3D关节查询，实验证明其性能领先，尤其在真实世界序列中优势明显。
2026-07-13 cs.CV
