Adaptive Joint Optimization for 3D Reconstruction with Differentiable Rendering
City University of Hong Kong(香港城市大学)
由于在扫描和量化过程中不可避免地引入了噪声,通过RGB-D传感器进行的3D重建在几何和纹理方面都存在误差,从而导致诸如相机漂移、网格失真、纹理重影和模糊等伪影。给定一个不完美的重建3D模型,大多数以前的方法都集中在几何形状,纹理或相机姿态的细化。或者在以往的联合优化方法中,针对各部件的优化采用了不同的优化方案和目标,形成了一个复杂的系统。在本文中,我们提出了一种新的优化方法的基础上微分渲染,它集成了优化的相机姿态,几何和纹理到一个统一的框架,通过执行渲染结果和相应的RGB-D输入之间的一致性。基于统一的框架,我们引入了一个联合优化方法,充分利用几何,纹理和相机姿态之间的相互关系,并描述了一个自适应交错策略,以提高优化的稳定性和效率。使用可微分渲染,应用图像级对抗损失来进一步改进3D模型,使其更具照片真实感。使用定量和定性评估的合成和真实数据的实验证明了我们的方法在恢复精细尺度几何和高保真纹理方面的优越性。代码可在https://adjointopti.github.io/adjoin.github.io/获得。
2022-09-12 cs.CV
Multi-View Matching Network for 6D Pose Estimation
Purdue University(普渡大学);HP Inc.(惠普公司)
与现实世界交互的应用,如增强现实或机器人操作,需要对周围物体的位置和姿态有很好的理解。在本文中,我们提出了一种新的方法来估计6自由度(DoF)或6D姿态的对象从一个单一的RGB图像。我们的方法可以与目标检测和分割方法配对,通过将输入图像与渲染图像进行匹配来估计、细化和跟踪对象的姿态。
2019-11-27 cs.CV
DiffPoseNet: Direct Differentiable Camera Pose Estimation
University of Maryland, College Park(马里兰大学帕克分校)
当前用于相机姿态估计的深度神经网络方法依赖于用于3D运动估计的场景结构,但这降低了鲁棒性,从而使得跨数据集泛化困难。相反,从运动恢复运动恢复结构的经典方法利用光流来估计3D运动,然后计算深度。然而,它们的准确性强烈地依赖于光流的质量。为了避免这个问题,已经提出了直接方法,其将3D运动与深度估计分离,但是仅使用正常流形式的图像梯度来计算3D运动。在本文中,我们介绍了一个网络NFlowNet,正常的流量估计,这是用来执行强大的和直接的约束。特别地,正常流用于基于手征(深度正性)约束来估计相对相机姿态。我们通过将优化问题制定为可微的cheirality层来实现这一点,该层允许端到端学习相机姿势。我们对所提出的DiffPoseNet对噪声的敏感性及其在数据集上的泛化进行了广泛的定性和定量评估。我们将我们的方法与KITTI,TartanAir和TUM-RGBD数据集上现有的最先进方法进行比较。
2022-03-21 cs.CV cs.RO
FlowMap: High-Quality Camera Poses, Intrinsics, and Depth via Gradient Descent
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本文提出FlowMap,一种端到端可微方法,通过梯度下降最小化光流目标函数,联合估计视频序列的相机位姿、内参和密集深度,在360度新视角合成任务中表现媲美COLMAP。
2024-07-23 cs.CV
DFNet: Enhance Absolute Pose Regression with Direct Feature Matching
University of Oxford(牛津大学)
我们引入了一个相机重新定位管道,该管道结合了绝对姿态回归(APR)和直接特征匹配。通过结合自适应的新视图合成,我们的方法成功地解决了现有的基于光度的方法无法处理的室外环境中的光度失真。通过域不变特征匹配,我们的解决方案使用未标记数据上的半监督学习来提高姿态回归精度。具体而言,该管道由两个组件组成:Novel View Synthesizer和DFNet。前者合成新的意见,补偿曝光的变化,后者回归相机构成和提取强大的功能,关闭真实图像和合成的域之间的差距。此外,我们还介绍了一种在线合成数据生成方案。我们表明,这些方法有效地提高了室内和室外场景中的相机姿态估计。因此,我们的方法通过比现有的单图像APR方法高出56%,与基于3D结构的方法相比,实现了最先进的准确性。
2022-07-20 cs.CV
TMO: Textured Mesh Acquisition of Objects with a Mobile Device by using Differentiable Rendering
NAVER LABS(NAVER实验室);University of Maryland(马里兰大学)
我们提出了一种新的管道,用于在野外使用单个智能手机获取纹理网格,该智能手机可以访问图像,深度图和有效姿势。我们的方法首先引入了一个RGBD辅助的运动恢复结构,它可以产生过滤后的深度图,并根据相应的深度来细化相机姿态。然后,我们采用神经隐式曲面重建方法,它允许高质量的网格,并开发了一个新的训练过程,用于应用经典的多视图立体视觉方法提供的正则化。此外,我们应用微分渲染微调不完整的纹理地图,并生成纹理的感知更接近原始场景。我们的流水线可以应用于现实世界中的任何常见对象,而无需实验室环境或精确的掩模图像。我们展示了捕获的对象与复杂形状的结果,并验证我们的方法对现有的三维重建和纹理映射方法的数值。
2023-03-27 cs.CV
Foundational feature fusion for conditional flow matching in 6D pose estimation
Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会);University of Trento(特伦托大学)
本研究针对6D位姿估计中现有方法需训练任务特定编码器、融合策略简单的问题,提出FunFlow6D,利用几何与外观基础模型特征及交叉注意力融合机制,在BOP四个数据集上实现最优性能,降低了监督需求和内存开销。
2026-09-01 cs.CV
Generative 6D Pose Estimation via Conditional Flow Matching
Fondazione Bruno Kessler(布鲁诺·克塞尔基金会);University of Trento(特伦托大学);Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
Flose通过条件流匹配生成式方法,结合外观语义特征和RANSAC配准,提升6D姿态估计的准确性和鲁棒性。
2026-02-23 cs.CV
PoseMatcher: One-shot 6D Object Pose Estimation by Deep Feature Matching
Imperial College London(帝国理工学院);KAIST(韩国科学技术院)
提出无模型单样本6D物体姿态估计器PoseMatcher,通过三视图训练流程、新型IO-Layer注意力层、区域修剪策略及改进的细化方法,在Linemod和YCB-V数据集上超越现有单样本方法并媲美实例级方法。
2023-04-03 cs.CV
PoseFM: Relative Camera Pose Estimation Through Flow Matching
Department of Computer Science University of Helsinki(计算机科学系 哈尔滨大学)
本文提出PoseFM框架,将单目帧间视觉里程计转化为生成任务,利用流匹配建模相机运动分布,提升不确定性估计和鲁棒性,在多个基准测试中表现优异。
2026-04-24 cs.CV
QuacamFM: Quaternion-Constrained Flow Matching for Camera Pose Estimation
QuacamFM提出四元数约束流匹配框架,通过球面线性插值保持单位四元数约束,提升稀疏视图相机位姿估计精度,优于扩散模型和经典SfM方法。
2026-09-29 cs.CV
Linear-Covariance Loss for End-to-End Learning of 6D Pose Estimation
Beihang University(北京航空航天大学);MagicLeap(MagicLeap公司);EPFL(洛桑联邦理工学院);ClearSpace(ClearSpace公司)
针对可微PnP策略与PnP平均特性冲突、降低对应关系精度的问题,提出基于真实位姿附近线性化PnP的对角协方差损失,提升了6D位姿估计精度并达SOTA。
2023-10-08 cs.CV
iComMa: Inverting 3D Gaussian Splatting for Camera Pose Estimation via Comparing and Matching
Xi’an Jiaotong University(西安交通大学);Ant Group(蚂蚁集团)
提出 iComMa 方法,通过反演 3D Gaussian Splatting 构建无需训练的可微框架,结合端到端匹配模块与像素级比较损失,有效解决了无 CAD 模型场景下大旋转和平移等不良初始化的 6D 相机位姿估计难题。
2024-03-20 cs.CV
VMRF: View Matching Neural Radiance Fields
Nanyang Technological University(南洋理工大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Alibaba Group(阿里巴巴集团);ByteDance(字节跳动);Wenzhou University(温州大学)
针对NeRF训练依赖相机位姿先验的问题,提出VMRF视角匹配神经辐射场,通过非平衡最优输运的视角匹配与位姿校准技术,无需位姿先验即可训练,在多数据集上性能大幅领先SOTA。
2023-06-11 cs.CV
CAPTRA: CAtegory-level Pose Tracking for Rigid and Articulated Objects from Point Clouds
Peking University(北京大学);Stanford University(斯坦福大学);Shandong University(山东大学);UCSD(加州大学圣地亚哥分校);Tencent AI Lab(腾讯AI实验室);Beijing Institute for General AI(北京通用人工智能研究院)
在这项工作中,我们解决了问题的类别级在线姿态跟踪的对象从点云序列。这是第一次,我们提出了一个统一的框架,可以处理新的刚性对象实例的9DoF姿态跟踪,以及从已知类别的铰接对象的每部分姿态跟踪。这里,包括6D姿态和3D尺寸的9DoF姿态等效于具有自由6D姿态的3D非模态限界框表示。给定当前帧的深度点云和上一帧的估计姿态,我们的新型端到端流水线学习准确更新姿态。我们的流水线由三个模块组成:1)一个姿势规范化模块,用于规范化输入深度点云的姿势; 2)RotationNet,一个直接回归小帧间增量旋转的模块; 3)CoordinateNet,一个预测规范化坐标和分割的模块,支持3D大小和平移的分析计算。利用姿势规范化点云中的小姿势机制,我们的方法通过结合密集坐标预测和直接旋转回归来整合两个世界的最佳效果,从而产生针对9DoF姿势精度优化的端到端可微分流水线(而不使用不可微分RANSAC)。我们广泛的实验表明,我们的方法在类别级刚性对象姿态(NOCS-REAL 275)和铰接对象姿态基准(SAPIEN,BMVC)上以最快的FPS ~12实现了新的最先进的性能。
2021-10-21 cs.CV
Zero-Shot Polygon Matching with Pre-trained Models for Pose Estimation and Polygon Cloud from Challenging Stereo
Chang Li(李昌);Xingtao Peng(彭兴涛)
提出首个零样本多边形匹配范式Z(PM)2,结合预训练模型和手工几何约束,通过双向金字塔匹配和局部-整体二分图优化解决视差不连续、尺度变化等问题,在姿态估计和3D表示中取得领先性能。
2026-06-05 cs.CV
LatentFusion: End-to-End Differentiable Reconstruction and Rendering for Unseen Object Pose Estimation
University of Washington(华盛顿大学);NVIDIA(英伟达)
当前的6D对象姿态估计方法通常需要每个对象的3D模型。这些方法还需要额外的培训,以纳入新的对象。因此,它们难以缩放到大量对象,并且不能直接应用于不可见对象。我们提出了一个新的框架,6D姿态估计看不见的对象。我们提出了一个网络,重建一个潜在的三维表示的对象使用少量的参考意见,在推理时间。我们的网络能够从任意视图渲染潜在的3D表示。使用这个神经渲染器,我们直接优化给定输入图像的姿势。通过使用大量的3D形状来训练我们的网络进行重建和渲染,我们的网络可以很好地推广到看不见的对象。我们提出了一个用于未知物体姿态估计的新数据集--MOPED。我们评估了我们的方法在MOPED以及ModelNet和LINEMOD数据集上进行看不见的物体姿态估计的性能。我们的方法与在这些对象上训练的监督方法相比具有竞争力。代码和数据可在https://keunhong.com/publications/latentfusion/上获得。
2020-06-12 cs.CV cs.GR cs.RO
DeepIM: Deep Iterative Matching for 6D Pose Estimation
University of Washington(华盛顿大学);Tsinghua University(清华大学);BNRist(北京信息科学与技术国家研究中心);NVIDIA(英伟达)
从图像中估计物体的6D位姿是诸如机器人操作和虚拟现实等各种应用中的重要问题。虽然图像到对象姿态的直接回归具有有限的准确性,但是将对象的渲染图像与观察到的图像进行匹配可以产生准确的结果。在这项工作中,我们提出了一种新的深度神经网络的6D姿态匹配命名为DeepIM。给定初始姿态估计,我们的网络能够通过将渲染图像与观察到的图像进行匹配来迭代地细化姿态。该网络被训练为使用3D位置和3D方向的解纠缠表示和迭代训练过程来预测相对姿态变换。在两个常用的6D姿态估计基准上的实验表明,DeepIM比最先进的方法有了很大的改进。我们还证明了DeepIM能够匹配以前看不见的对象。
2019-10-02 cs.CV cs.RO
Differentiable Rendering with Perturbed Optimizers
Inria(法国国家信息与自动化研究所)
从三维场景的二维图像投影进行推理是计算机视觉的核心问题之一。这个逆问题和不适定问题的解决方案通常涉及搜索最能解释观察到的图像数据的模型。值得注意的是,图像既取决于观察到的场景的属性,也取决于图像形成的过程。因此,如果要使用优化技术来解释图像,那么设计用于将3D场景投影到图像中的可微函数(也称为可微渲染)至关重要。以前的可微渲染方法通常用平滑近似代替不可微操作,影响后续的3D估计。在本文中,我们采取了更一般的方法,并通过随机优化棱镜和扰动优化器的相关概念研究可微渲染。特别是,我们的工作突出了一些著名的微分渲染公式和随机平滑优化器之间的联系,并介绍了微分扰动渲染。我们还提出了一个方差减少机制,以减轻扰动优化固有的计算负担,并引入一个自适应方案,自动调整渲染过程中的平滑参数。我们将该方法应用于三维场景重建,并在6D姿态估计和三维网格重建任务上证明了其优势。通过提供可用作强监督信号的信息梯度,我们证明了与使用平滑梯度近似的最先进替代方案相比,扰动渲染器获得更准确解决方案的好处。
2021-10-18 cs.CV cs.LG
Flow6D: Discrete-to-Continuous Flow Matching for Efficient and Accurate Category-Level 6D Pose Estimation
Zhejiang University(浙江大学);University of Science and Technology of China(中国科学技术大学);Shanghai Jiao Tong University(上海交通大学)
提出Flow6D分层流匹配框架,通过两阶段离散潜空间定位-连续姿态回归策略,先离散化姿态参数并用离散流匹配缩小搜索空间,再连续流匹配预测局部残差优化姿态,在合成和真实数据集上以70 FPS实现实时推理,性能优于现有方法。
2026-06-23 cs.CV cs.RO
Towards Self-Supervised Category-Level Object Pose and Size Estimation
HKUST(香港科技大学);Megvii Technology(旷视科技);Kuaishou Technology(快手科技)
在这项工作中,我们解决了具有挑战性的问题的类别级对象的姿势和大小估计从一个单一的深度图像。虽然以前的完全监督工作已经证明了有前途的性能,收集地面实况姿势标签通常是耗时和劳动密集型的。相反,我们提出了一种无标签的方法,学习执行类别模板网格和观察对象点云之间的几何一致性下的自我监督的方式。具体来说,我们的方法包括三个关键组成部分:微分形状变形,注册和渲染。特别地,形状变形和配准被应用于模板网格以消除形状、姿态和尺度上的差异。然后部署可微分渲染器以强制从渲染深度和观察到的场景中提取的点云之间的几何一致性以进行自我监督。我们在真实世界的数据集上评估了我们的方法,发现我们的方法在与一些完全监督的方法竞争的同时,大大优于简单的传统基线。
2022-03-31 cs.CV cs.RO
RFM-Pose:Reinforcement-Guided Flow Matching for Fast Category-Level 6D Pose Estimation
Department of Automation, University of Science and Technology of China(自动化系,中国科学技术大学)
RFM-Pose通过强化学习框架提升类别级6D位姿估计效率,结合流匹配生成模型与近端策略优化实现快速且高效的位姿生成与假设评估。
2026-02-05 cs.CV cs.RO
MaFreeI2P: A Matching-Free Image-to-Point Cloud Registration Paradigm with Active Camera Pose Retrieval
Institute of Cyber-Systems and Control, Zhejiang University(浙江大学控制科学与工程学院 Cyber-Systems 研究所);Polytechnic Institute, Zhejiang University(浙江大学理工学院)
本文提出无匹配图像到点云配准范式MaFreeI2P,通过构建代价体并利用卷积网络在SE(3)空间中主动检索相机位姿,在KITTI-Odometry和Apollo-DaoxiangLake数据集上取得有竞争力的配准精度与召回率。
2024-08-05 cs.CV eess.IV
APML: Adaptive Probabilistic Matching Loss for Robust 3D Point Cloud Reconstruction
Center for Machine Vision and Signal Analysis (CMVS), University of Oulu (Finland)(机器视觉与信号分析中心(CMVS)、奥卢大学(芬兰));Okinawa Institute of Science and Technology (OIST), Japan(冲绳科学技术研究所(OIST)、日本)
提出APML损失,通过Sinkhorn迭代近似一对一匹配,解决点云重建中常用损失的多对一对应和不可微问题,实现快速收敛和更优空间分布。
2025-09-09 cs.AI cs.CV
DNOI-4DRO: Deep 4D Radar Odometry with Differentiable Neural-Optimization Iterations
本文提出DNOI-4DRO模型,将可微神经-优化迭代与传统几何优化结合用于4D雷达里程计,并通过双流主干网络增强稀疏点云表示,在VoD和Snail-Radar数据集上取得优于现有方法的性能。
2025-11-08 cs.AI cs.CV cs.RO
Unconstrained Matching of 2D and 3D Descriptors for 6-DOF Pose Estimation
The University of Western Australia(西澳大学);Murdoch University(莫道克大学)
本文提出了一种新的概念,直接匹配的特征描述符提取的二维图像与特征描述符提取的三维点云。我们使用这个概念来直接定位3D点云中的图像。我们生成匹配的2D和3D点及其相应的特征描述符的数据集,用于学习描述符匹配器分类器。为了在测试时定位图像的姿态,我们从查询图像中提取关键点和特征描述符。然后使用训练的描述符匹配器来匹配来自图像和点云的特征。匹配特征的位置被用于鲁棒的姿态估计算法中以预测查询图像的位置和方向。我们对所提出的方法进行了广泛的评估,用于室内和室外场景以及不同类型的点云,以验证我们的方法的可行性。实验结果表明,直接匹配的特征描述符从图像和点云不仅是一个可行的想法,但也可以可靠地用于估计6自由度的查询相机在任何类型的三维点云在一个无约束的方式与高精度。
2020-05-29 cs.CV cs.LG cs.RO
Exploring the Adjugate Matrix Approach to Quaternion Pose Extraction
Indiana University(印第安纳大学);The Flatiron Institute(弗莱提荣研究所)
四元数对于计算机图形学、机器视觉和机器人技术中各种与旋转相关的问题都很重要。我们研究了四元数与旋转矩阵之间的关系的非平凡几何,通过利用相关特征值问题的特征方程的伴随矩阵来获得四元数特征向量空间的流形。我们认为,由其相应的旋转矩阵参数化的四元数不能表示,例如,在机器学习任务中,作为单值函数:四元数的解决方案,而必须被视为一个流形,与不同的代数解决方案的几个单值扇区表示的辅矩阵。最后,我们利用四元数辅助变量重新审视几个经典的姿态估计应用:2D点云匹配,2D点云投影匹配,3D点云匹配,3D正交点云投影匹配,3D透视点云投影匹配。我们找到了3D正射最小二乘姿势提取问题的精确解决方案,并将其成功应用于透视姿势提取问题,结果改进了现有方法。
2022-05-17 cs.CV eess.IV q-bio.QM
Differentiable Proximal Graph Matching
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出可微近端图匹配(DPGM),将图匹配的二次分配问题松弛为凸优化序列,实现端到端学习,并在多个数据集上取得最优性能。
2024-05-26 cs.CV
PRAGO: Differentiable Multi-View Pose Optimization From Objectness Detections
Istituto Italiano di Tecnologia (IIT)(意大利技术研究院);Pattern Analysis and Computer Vision (PAVIS)(模式分析与计算机视觉实验室)
针对小规模稀疏相机位姿图的可微估计难题,提出PRAGO方法,利用目标性检测精化旋转平均,在7-Scenes上旋转误差相对降低21%。
2024-03-15 cs.CV
Generic 3D Representation via Pose Estimation and Matching
Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校)
尽管大量的计算机视觉研究已经调查了开发通用语义表示,但是开发用于3D的类似表示的努力是有限的。在本文中,我们通过解决一组基本的代理3D任务来学习通用的3D表示:以对象为中心的相机姿态估计和宽基线特征匹配。我们的方法是基于这样的前提下,通过提供监督一组精心挑选的基础任务,泛化到新的任务和抽象能力,可以实现。我们的经验表明,经过训练以解决上述核心问题的多任务ConvNet的内部表示可以推广到新的3D任务(例如,场景布局估计、对象姿态估计、表面法线估计)而不需要微调并且显示出抽象能力的特征(例如,跨模态姿态估计)。在核心监督任务的背景下,我们证明了我们的表示实现了最先进的宽基线特征匹配结果,而不需要先验校正(与SIFT和大多数学习特征不同)。我们还展示了给定一对局部图像块的6DOF相机姿态估计。这两个监督任务的准确性与人类相当。最后,我们贡献了一个由以对象为中心的街景场景以及点对应和相机姿态信息组成的大规模数据集,并以讨论所学的表示和开放的研究问题作为结论。
2017-10-23 cs.CV cs.LG cs.NE
DMM-Net: Differentiable Mask-Matching Network for Video Object Segmentation
University of Toronto(多伦多大学);Vector Institute(向量研究所);Uber ATG Toronto(优步先进技术集团多伦多分部);NVIDIA(英伟达);Canadian Institute for Advanced Research(加拿大高级研究所)
在本文中,我们提出了可微掩模匹配网络(DMM-Net)解决视频对象分割问题的初始对象掩模。依赖于Mask R-CNN主干,我们提取每帧的掩码建议,并将对象模板和建议之间的匹配在一个时间步长上公式化为线性分配问题,其中成本矩阵由CNN预测。我们提出了一个微分匹配层展开投影梯度下降算法,其中投影利用Dykstra的算法。我们证明,在温和的条件下,匹配是保证收敛到最佳。在实践中,它在推理过程中的表现与匈牙利算法相似。同时,我们可以通过它反向传播来学习成本矩阵。匹配后,利用细化头来提高匹配掩模的质量。我们的DMM-Net在最大的视频对象分割数据集YouTube-VOS上取得了有竞争力的结果。在DAVIS 2017上,DMM-Net在第一帧上没有在线学习的情况下实现了最佳性能。在没有任何微调的情况下,DMM-Net在SegTrack v2数据集上执行最先进的方法。最后,我们的匹配层实现起来非常简单;我们在补充材料中附加了PyTorch代码($<50$行)。我们的代码发布在https://github.com/ZENGXH/DMM_Net。
2019-09-27 cs.CV
Multi-Session SLAM with Differentiable Wide-Baseline Pose Optimization
Princeton University(普林斯顿大学)
本文提出一种多会话SLAM系统,通过将光流预测与可微宽基线两视图位姿求解器层耦合进行端到端训练,实现跨不连贯视频的相机位姿追踪、视觉里程计和全局优化,相比现有方法更准确且对灾难性失效更具鲁棒性。
2024-04-23 cs.CV
PoseAug: A Differentiable Pose Augmentation Framework for 3D Human Pose Estimation
National University of Singapore(新加坡国立大学);Huawei International Pte Ltd(华为国际私人有限公司)
现有的3D人体姿态估计器对新数据集的泛化性能较差,这主要是由于训练数据中的2D-3D姿态对的多样性有限。为了解决这个问题,我们提出了PoseAug,这是一个新的自动增强框架,它可以学习如何将可用的训练姿势向更大的多样性扩展,从而提高训练后的2D到3D姿势估计器的泛化能力。具体来说,PoseAug引入了一种新的姿态增强器,它学会调整各种几何因素(例如,姿势、身体大小、视点和位置)。利用这种可微分能力,增强器可以与3D姿态估计器联合优化,并将估计误差作为反馈,以在线方式生成更多样化和更硬的姿态。此外,PoseAug引入了一种新的部件感知运动链空间来评估局部关节角度的可扩展性,并相应地开发了一个判别模块来确保增强姿态的可扩展性。这些精心设计使PoseAug能够生成比现有离线增强方法更多样化但更合理的姿势,从而产生更好的姿势估计器泛化。PoseAug是通用的,易于应用于各种3D姿态估计器。大量的实验表明,PoseAug在场景内和跨场景数据集上都有明显的改进。值得注意的是,在跨数据集评估设置下,它在MPI-INF-3DHP上实现了88.6%的3D PCK,比以前最好的基于数据增强的方法提高了9.1%。代码可以在https://github.com/jfzhang95/PoseAug上找到。
2021-05-06 cs.CV
A Versatile Scene Model with Differentiable Visibility Applied to Generative Pose Estimation
MPI Informatik(马克斯·普朗克信息学研究所);Intel Visual Computing Institute(英特尔视觉计算研究院)
生成重建方法通过优化投影的3D形状模型与图像的重叠来计算形状的3D配置(诸如姿态和/或几何形状)。正确处理遮挡是一个很大的挑战,因为指示是否从相机看到表面点的可见性函数通常不能以封闭形式表示,并且通常在遮挡边界处是离散和不可微的。我们提出了一个新的场景表示,使表面可见性的解析可微的封闭形式的制定。与以前的方法相比,这产生了平滑,解析可微,并有效地优化姿势相似性能量,具有严格的遮挡处理,较少的局部极小值,并通过实验验证了数值优化的改进收敛性。其基本思想是一个新的图像形成模型,表示不透明的物体由一个半透明的介质与一个平滑的高斯密度分布,把能见度变成一个平滑的现象。我们证明了我们的多功能场景模型的优势,在几个生成的姿态估计问题,即无标记的多对象姿态估计,无标记的人体运动捕捉与几个摄像机,和基于图像的3D几何估计。
2016-02-11 cs.CV
DeepPruner: Learning Efficient Stereo Matching via Differentiable PatchMatch
Uber ATG(优步先进技术集团);University of Toronto(多伦多大学);Massachusetts Institute of Technology(麻省理工学院)
我们的目标是显着加快当前最先进的立体声算法的运行速度,以实现实时推理。为了实现这一目标,我们开发了一个可区分的PatchMatch模块,使我们能够放弃大多数差异,而不需要全面的成本量评估。然后,我们利用这种表示来学习为每个像素修剪哪个范围。通过逐步减少搜索空间和有效地传播这样的信息,我们能够有效地计算成本量的高似然假设,并实现节省内存和计算。最后,利用图像引导的细化模块,以进一步提高性能。由于我们的所有组件都是可区分的,因此整个网络可以端到端进行训练。实验结果表明,该方法在KITTI和SceneFlow数据集上取得了较好的效果,并且实时运行时间为62ms。
2019-09-12 cs.CV
Physically Plausible Pose Refinement using Fully Differentiable Forces
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
所有的手-物体交互都是由两个身体相互施加的力控制的,但是在从RGB/RGB-D数据进行姿势和接触估计时,在对这些潜在的力进行建模方面做的工作很少。给定来自任何姿势估计系统的手和对象的姿势,我们提出了一个端到端的可微模型,该模型通过学习对象在其网格中的每个顶点处所经历的力来细化姿势估计。通过将学习到的净力与基于位置的有限差异的净力估计值相匹配,该模型能够找到准确描述物体运动的力,同时解决网格相互渗透和缺乏接触等问题。通过对ContactPose数据集的评估,我们发现该模型成功地纠正了姿势,并找到了更好地匹配地面实况的接触图,尽管没有使用任何RGB或深度图像数据。
2021-08-25 cs.CV
FPG-NAS: FLOPs-Aware Gated Differentiable Neural Architecture Search for Efficient 6DoF Pose Estimation
SnT, University of Luxembourg, Luxembourg(卢森堡大学);Cristal Lab, ENSI, Manouba University, Tunisia(水晶实验室、ENSI、曼努巴大学);Infinite Orbits, Toulouse, France(无限轨道、图卢兹,法国)
FPG-NAS通过FLOPs感知门控机制和任务特定搜索空间,实现高效6DoF姿态估计的可微神经架构搜索,提升架构多样性和效率平衡。
2025-08-05 cs.CV
Human Pose Manipulation and Novel View Synthesis using Differentiable Rendering
University of Surrey(萨里大学);AWS Tübingen(亚马逊云科技图宾根分部)
我们提出了一种新的方法来合成新的观点的人在新的姿势。我们新颖的可微分渲染器可以从任何角度合成高度逼真的图像。我们的渲染器不是在基于网格的结构上操作,而是使用直接表示人类底层骨骼结构的漫射高斯基元。渲染这些基元得到高维潜像的结果,然后通过解码器网络将其转换为RGB图像。该公式产生了一个完全可区分的框架,可以进行端到端的培训。我们证明了我们的方法在Human3.6M和Panoptic Studio数据集上进行图像重建的有效性。我们展示了我们的方法如何可用于个人之间的运动传输;从单个相机捕获的个人的新颖视图合成;从任何虚拟视点合成个人;以及以新颖的姿势重新渲染人。代码和视频结果可在https://github.com/GuillaumeRochette/HumanViewSynthesis上获得。
2022-02-20 cs.CV
Differentiable NMS via Sinkhorn Matching for End-to-End Fabric Defect Detection
Jiangnan University(江南大学);Central South University(中南大学)
针对传统 NMS 阻断梯度且像素级标注昂贵的问题,本文提出基于 Sinkhorn-Knopp 匹配与熵约束掩膜细化的可微 NMS 框架,在 Tianchi 数据集上实现更精确实时的端到端织物缺陷检测并可泛化至通用检测。
2025-05-11 cs.CV
Geometric Correspondence Fields: Learned Differentiable Rendering for 3D Pose Refinement in the Wild
Graz University of Technology(格拉茨工业大学);Facebook Inc.(Facebook公司)
我们提出了一种新的3D姿态细化方法的基础上微分渲染的任意类别的对象在野外。与以前的方法相比,我们做出了两个主要贡献:首先,我们不是在RGB或遮罩空间中比较真实世界的图像和合成渲染,而是在针对3D姿态优化的特征空间中比较它们。其次,我们引入了一种新的可微分渲染器,它可以学习从数据中近似光栅化向后传递,而不是依赖于手工制作的算法。为此,我们预测RGB图像和3D模型渲染之间的深度跨域对应关系,我们称之为几何对应字段。这些对应字段用作像素级梯度,其通过渲染流水线向后分析传播,以直接对3D姿态执行基于梯度的优化。通过这种方式,我们可以将3D模型与RGB图像中的对象精确对齐,从而显著改善3D姿态估计。我们在具有挑战性的Pix3D数据集上评估了我们的方法,并在多个指标上与最先进的细化方法相比实现了高达55%的相对改进。
2020-07-17 cs.CV
Learning Accurate Template Matching with Differentiable Coarse-to-Fine Correspondence Refinement
提出一种基于可微分粗到细对应精化的模板匹配方法,利用边缘感知模块和变换器结构感知信息,实现跨模态、杂乱背景和弱纹理下的精确匹配,显著优于现有方法。
2023-03-15 cs.CV
End-to-End Differentiable 6DoF Object Pose Estimation with Local and Global Constraints
Mercedes-Benz Research and Development India(梅赛德斯-奔驰印度研发中心)
从单个RGB图像推断对象的6DoF姿态是一项重要但具有挑战性的任务,特别是在严重遮挡的情况下。虽然最近的方法通过训练端到端管道来改进两阶段方法,但它们没有利用本地和全球约束。在本文中,我们提出了成对的特征提取集成局部约束,和三重正则化集成全局约束,以改善6DoF目标姿态估计。再加上更好的增强,我们的方法在具有挑战性的Occlusion Linemod数据集上实现了最先进的结果,比以前的最先进的结果提高了9%,并在Linemod数据集上实现了有竞争力的结果。
2020-11-22 cs.CV
6DoF Object Pose Estimation via Differentiable Proxy Voting Loss
University of Technology Sydney(悉尼科技大学);Australian National University(澳大利亚国立大学);Data61/CSIRO(Data61/联邦科学与工业研究组织)
由于遮挡或无纹理外观,从单个图像估计6DOF对象姿态非常具有挑战性。基于向量场的关键点投票在解决这些问题上表现出了其有效性和优越性。然而,向量场的直接回归忽略了像素与关键点之间的距离也显著影响假设的偏差。换句话说,当像素远离关键点时,方向向量中的小误差可产生严重偏离的假设。在本文中,我们的目标是通过将像素和关键点之间的距离纳入我们的目标,以减少这种错误。为此,我们开发了一个简单而有效的可微代理投票损失(DPVL),它模仿了投票过程中的假设选择。通过利用投票损失,我们能够以端到端的方式训练我们的网络。广泛使用的数据集上的实验,即,LINEMOD和Occlusion LINEMOD,表明我们的DPVL显着提高了姿势估计性能并加快了训练收敛速度。
2020-05-04 cs.CV
SkelSplat: Robust Multi-view 3D Human Pose Estimation with Differentiable Gaussian Rendering
University of Padova(帕多瓦大学);University of Amsterdam(阿姆斯特丹大学)
SkelSplat通过可微高斯渲染实现多视角3D人体姿态估计,无需3D真实数据监督,有效提升跨数据集泛化能力与遮挡鲁棒性。
2025-12-02 cs.CV
3D Multi-Object Tracking with Differentiable Pose Estimation
Technical University of Munich(慕尼黑工业大学)
本文提出了一种新的室内环境下基于RGB-D序列的联合三维多目标跟踪与重建方法。为此,我们在每帧中检测和重建对象,同时预测密集的对应映射到一个规范化的对象空间。我们利用这些对应关系来通知图神经网络,以解决所有对象的最佳,时间一致的7-DoF姿态轨迹。我们的方法的新颖性是双重的:首先,我们提出了一种新的基于图形的方法,随着时间的推移,可微姿态估计学习最佳姿态轨迹;第二,我们提出了一个联合制定的重建和姿态估计沿时间轴的鲁棒性和几何一致的多对象跟踪。为了验证我们的方法,我们引入了一个新的合成数据集,包括2381个独特的室内序列,共有60 k个渲染的RGB-D图像,用于多对象跟踪,其中移动对象和摄像机位置来自合成的3D-FRONT数据集。我们证明,我们的方法提高了24.8%,超过现有的最先进的方法的所有测试序列的累积MOTA分数。在对合成和真实世界序列的几次消融中,我们证明了我们基于图的完全端到端可学习的方法在跟踪性能上有显著的提高。
2022-06-28 cs.CV
Multi-View Object Pose Refinement With Differentiable Renderer
Technical University of Munich(慕尼黑工业大学);Siemens AG(西门子股份公司);Toyota Research Institute(丰田研究院)
本文介绍了一种新的多视图6自由度对象姿态细化方法,重点是改进合成数据上训练的方法。它是基于DPOD检测器,它产生密集的2D-3D之间的模型顶点和图像像素在每帧的对应关系。我们已经选择使用具有已知相对相机变换的多个帧,因为它允许通过可解释的ICP类损失函数引入几何约束。损失函数是用可微渲染器实现的,并迭代优化。我们还证明了完全基于合成数据训练的完整检测和细化管道可以用于自动标记真实数据。我们对LineMOD、Occlusion、Homebrew和YCB-V数据集进行了定量评估,并报告了与在合成和真实数据上训练的最先进方法相比的出色性能。我们的经验表明,我们的方法只需要几帧,是强大的关闭相机的位置和噪声在外部相机校准,使其实际使用更容易,更无处不在。
2022-07-06 cs.CV
See the Difference: Direct Pre-Image Reconstruction and Pose Estimation by Differentiating HOG
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
定向梯度直方图(HOG)描述符在过去十年中为计算机视觉带来了许多进步,并且仍然是许多最先进方法的一部分。我们意识到,相关的特征计算是分段可微的,因此许多建立在HOG上的管道可以是可微的。这有助于高级内省以及端到端优化的机会。我们提出了我们的实现$\nabla$ HOG的自动微分工具箱Chumpy的基础上,并显示应用程序的预图像可视化和姿态估计,扩展现有的微分渲染器OpenDR管道。这两个应用程序都改进了各自最先进的HOG方法。
2015-10-02 cs.CV
Monocular Human Pose and Shape Reconstruction using Part Differentiable Rendering
Shanghai Jiao Tong University(上海交通大学);SenseTime Research(商汤科技研究院);Zhejiang University(浙江大学)
从单目图像中重建出高质量的人体姿态和形状依赖于消除由遮挡和形状变化引起的模糊性。最近的工作在基于回归的方法中取得了成功,这些方法直接通过由3D地面实况监督的深度神经网络来估计参数模型。然而,3D地面实况既不丰富也不能有效地获得。在本文中,我们引入身体部位分割作为关键监督。部分分割不仅指示每个身体部分的形状,而且还有助于推断部分之间的遮挡。为了提高重建与部分分割,我们提出了一个部分级可微渲染器,使部分为基础的模型进行监督的部分分割在神经网络或优化循环。我们还介绍了一个通用的参数化模型参与渲染管道作为骨架和详细形状之间的中间表示,其中包括原始几何形状更好的可解释性。该方法结合了参数回归、人体模型优化和详细的模型配准。在Human3.6M、UP-3D和LSP数据集上的实验结果表明,该方法实现了姿态和形状的平衡评估,性能优于现有方法。
2021-01-29 cs.CV
Differentiable Hierarchical Graph Grouping for Multi-Person Pose Estimation
The University of Hong Kong(香港大学);SenseTime Research(商汤科技研究院);Nanjing University(南京大学);The University of Sydney(悉尼大学)
多人姿态估计是具有挑战性的,因为它同时定位多个人的身体关键点。以前的方法可以分为两个流,即自上而下和自下而上的方法。自上而下的方法在人体检测之后定位关键点,而自下而上的方法直接定位关键点,然后针对不同的人对它们进行聚类/分组,这通常比自上而下的方法更有效。然而,在现有的自下而上的方法中,关键点分组通常独立于关键点检测来解决,使得它们不是端到端可训练的并且具有次优性能。在本文中,我们研究了一个新的角度,人体部分分组和重新制定它作为一个图聚类任务。特别是,我们提出了一种新的可微层次图学习(HGG)方法来学习自底向上的多人姿态估计任务中的图分组。此外,HGG很容易嵌入到主流的自底向上方法中。该算法将人类关键点候选者作为图节点,在多层图神经网络模型中对关键点进行聚类。HGG的模块可以与关键点检测网络进行端到端的训练,并且能够以分层的方式监督分组过程。为了提高聚类的区分度,我们增加了一组边缘鉴别器和宏节点鉴别器。在COCO和OCHuman数据集上的大量实验表明,该方法提高了自底向上姿态估计方法的性能。
2020-07-23 cs.CV
Pixel-wise Regression: 3D Hand Pose Estimation via Spatial-form Representation and Differentiable Decoder
Harbin Institute of Technology(哈尔滨工业大学)
基于单幅深度图像的三维手姿态估计是计算机视觉和人机交互领域的一个重要课题。虽然深度学习方法的兴起大大提高了准确率,但由于人手结构的复杂性,该问题仍然难以解决。现有的深度学习方法要么丢失了手部结构的空间信息,要么缺乏对关节坐标的直接监督。本文提出了一种新的逐像素回归方法,该方法使用空间形式表示(SFR)和可微解码器(DD)来解决这两个问题。为了使用我们的方法,我们建立了一个模型,在这个模型中,我们设计了一个特殊的SFR和相关的DD,它将三维关节坐标分为两部分,平面坐标和深度坐标,并使用两个模块分别称为平面回归(PR)和深度回归(DR)来处理它们。我们进行了烧蚀实验,表明我们提出的方法取得了更好的效果比以前的方法。并探讨了不同的训练策略对学习到的SFR和结果的影响。在三个公共数据集上的实验表明,我们的模型与现有的最先进的模型是相当的,在其中一个我们的模型可以减少平均3D联合误差25%。
2019-05-27 cs.CV
Integral Human Pose Regression
Microsoft Research(微软研究院);Peking University(北京大学);Tongji University(同济大学)
现有技术的人体姿态估计方法基于热图表示。尽管该表示具有良好的性能,但本质上存在一些问题,例如不可微和量化误差。这项工作表明,一个简单的积分运算关系和统一的热图表示和联合回归,从而避免了上述问题。它是可微的,有效的,并与任何基于热图的方法兼容。它的有效性是令人信服的验证,通过全面的消融实验在各种设置下,特别是在3D姿态估计,第一次。
2018-09-18 cs.CV
3D Human Pose Estimation in Multi-View Operating Room Videos Using Differentiable Camera Projections
Centre for Artificial Intelligence, Meander Medisch Centrum(米德尔医疗中心人工智能中心);University of Twente(特文特大学)
本文提出利用可微摄像机投影,通过3D损失端到端训练2D CNN,直接优化多视角手术室视频中的3D人体姿态估计,在MVOR数据集上优于2D空间优化方法。
2022-10-21 cs.CV
DPCN++: Differentiable Phase Correlation Network for Versatile Pose Registration
姿态配准在视觉和机器人技术中至关重要。本文重点介绍了具有挑战性的任务,初始化自由姿态注册高达7自由度的均匀和非均匀测量。虽然最近的基于学习的方法显示出使用可微求解器的前景,但它们要么依赖于抽象定义的对应关系,要么倾向于局部极小值。我们提出了一个微分相位相关(DPC)求解器,是全局收敛和对应自由。当与简单的特征提取网络相结合时,我们的通用框架DPCN++允许任意初始化的通用姿态注册。具体来说,特征提取网络首先从一对同质/异质测量中学习密集特征网格。这些特征网格,然后转换成一个平移和尺度不变的频谱表示的基础上傅立叶变换和球形径向聚合,解耦的平移和缩放旋转。接下来,使用DPC求解器在光谱中逐步独立且有效地估计旋转、缩放和平移。整个管道是可区分的,并且经过端到端的培训。我们评估了DCPN++在广泛的配准任务,采用不同的输入方式,包括2D鸟瞰图图像,3D对象和场景测量,以及医学图像。实验结果表明,DCPN++优于经典和基于学习的基线,特别是在部分观测和异构测量。
2022-06-12 cs.CV cs.RO
KVN: Keypoints Voting Network with Differentiable RANSAC for Stereo Pose Estimation
University of Padova(帕多瓦大学)
本文提出 KVN,通过在单目位姿网络中加入可微 RANSAC 层并结合不确定性驱动的多视图 PnP,实现立体物体位姿估计,在公开数据集和新建 TTD 上达到最先进水平。
2024-03-04 cs.CV cs.RO