Robust RPC Bundle Adjustment for Multi-Date Satellite Imagery with Season-Invariant Correspondences
Eurecat(欧洲电信技术研究中心);Universidad de la República(乌拉圭共和国大学);AMIAD;Institut Universitaire de France(法国大学研究院);Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);ENS Paris-Saclay(巴黎萨克雷高等师范学校);Centre Borelli(博雷利中心)
该研究针对多日期卫星图像的RPC优化问题,提出结合季节不变对应关系的鲁棒RPC光束平差流程,在WorldView-3图像实验中优于开源基线,可更高效利用多日期卫星图像。
2026-07-30 cs.CV
PCSR: Pseudo-label Consistency-Guided Sample Refinement for Noisy Correspondence Learning
本文提出PCSR框架,通过伪标签一致性提升对应可靠性,解决噪声对应问题,提升检索鲁棒性。
2026-04-08 cs.CV
RNNPose: Recurrent 6-DoF Object Pose Refinement with Robust Correspondence Field Estimation and Pose Optimization
The Chinese University of Hong Kong(香港中文大学);Zhejiang University(浙江大学)
6-从单目图像中估计DoF对象姿态是具有挑战性的,并且通常需要后细化过程来进行高精度估计。在本文中,我们提出了一个框架的基础上的递归神经网络(RNN)的对象姿态细化,这是错误的初始姿态和遮挡鲁棒性。在循环迭代期间,对象姿态细化被公式化为基于估计的对应场(在渲染图像和观察图像之间)的非线性最小二乘问题。然后通过可微Levenberg-Marquardt(LM)算法解决问题,从而实现端到端训练。在每次迭代中交替进行对应场估计和位姿细化,以恢复目标位姿。此外,为了提高对遮挡的鲁棒性,我们引入了一种基于3D模型和观察到的2D图像的学习描述符的一致性检查机制,该机制在姿态优化期间降低了不可靠的对应关系。在LINEMOD、Occlusion-LINEMOD和YCB-Video数据集上进行的大量实验验证了我们方法的有效性,并展示了最先进的性能。
2022-04-10 cs.CV cs.RO
(Just) A Spoonful of Refinements Helps the Registration Error Go Down
Instituto Superior Técnico(高等技术学院);Technical University of Munich(慕尼黑工业大学);Fondazione Istituto Italiano di Tecnologia(意大利技术研究院)
我们处理数据驱动的3D点云配准。给定点对应,标准Kabsch算法提供最佳旋转估计。这允许通过区分SVD操作以端到端的方式训练配准模型。然而,考虑到Kabsch提供的初始旋转估计,我们可以通过扩展原始优化问题来改进模型训练期间的点对应学习。特别是,我们线性化的旋转矩阵的控制约束,并解决由此产生的线性方程组。然后,我们通过更新初始估计迭代地产生新的解决方案。我们的实验表明,通过将我们的可区分层插入到现有的基于学习的配准方法中,我们提高了对应匹配质量。这使得基于对应的数据驱动配准方法的旋转误差降低了7%。
2021-08-06 cs.CV
Generalized Correspondence Matching via Flexible Hierarchical Refinement and Patch Descriptor Distillation
Donghua University(东华大学);the Hong Kong University of Science and Technology(香港科技大学);Tongji University(同济大学)
针对现有最先进的即插即用对应匹配方法DFM的局限性,提出灵活最近邻分层细化与块描述符蒸馏方法,拓展骨干网络适配性并降低计算量,在多数据集上实现性能超越。
2024-03-08 cs.CV
NHO: A Neural Hamiltonian Operator for Anchor-based Region Localization and Dense Correspondence
Jilin University(吉林大学);Zhejiang University(浙江大学);North China University of Technology(北方工业大学)
提出NHO,结合稀疏锚点与内在几何学习神经哈密顿算子,通过相互细化实现非刚性部分到整体的区域定位与稠密对应,实验验证其精度与对缩放旋转的鲁棒性。
2026-10-01 cs.CV
Patch2Pix: Epipolar-Guided Pixel-Level Correspondences
Technical University of Munich(慕尼黑工业大学);CIIRC Czech Technical University in Prague(布拉格捷克技术大学CIIRC)
用于视觉定位的经典匹配流水线通常涉及三个步骤:(i)局部特征检测和描述,(ii)特征匹配,以及(iii)离群值拒绝。最近出现的对应网络提出在单个网络内执行这些步骤,但由于内存瓶颈而遭受低匹配分辨率。在这项工作中,我们提出了一个新的角度来估计对应的检测到细化的方式,我们首先预测补丁级匹配的建议,然后完善它们。我们提出了Patch2Pix,一种新的细化网络,通过从这些建议定义的局部区域回归像素级匹配,并联合拒绝离群匹配与置信度得分来细化匹配建议。Patch2Pix是弱监督的,以学习与输入图像对的对极几何一致的对应关系。我们表明,我们的细化网络显着提高了图像匹配,单应性估计和定位任务的对应网络的性能。此外,我们还证明了我们的学习细化可以推广到完全监督的方法,而无需重新训练,这使我们获得了最先进的本地化性能。该代码可在https://github.com/GrumpyZhou/patch2pix上获得。
2021-03-26 cs.CV
HiPose: Hierarchical Binary Surface Encoding and Correspondence Pruning for RGB-D 6DoF Object Pose Estimation
Zhejiang University(浙江大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);RPTU Kaiserslautern-Landau(凯撒斯劳滕-兰道工业大学);Technische Universität München(慕尼黑工业大学);Google(谷歌公司)
HiPose提出一种基于分层二值表面编码和由粗到精3D-3D对应关系剪枝的RGB-D 6DoF姿态估计方法,在多个基准上超越所有免优化方法并达到实时高精度。
2024-04-07 cs.CV
See More, Match Better: Multi-Source Feature Fusion for Two-View Correspondence Learning
Nanjing University of Science and Technology(南京理工大学);People’s Daily Online(人民网);University of Science and Technology of China(中国科学技术大学)
提出TriMatch框架,融合几何、纹理语义和结构语义特征,通过语义引导调制和层次细化,提升重复结构等场景下的对应点鉴别能力。
2026-06-08 cs.CV
MAPRPose: Mask-Aware Proposal and Amodal Refinement for Multi-Object 6D Pose Estimation
State Key Laboratory of Robotics and Systems, Harbin Institute of Technology(机器人系统国家重点实验室,哈尔滨工业大学);School of Civil Engineering, Harbin Institute of Technology(土木工程学院,哈尔滨工业大学);Shenzhen Infinite Meta Robot Co., Ltd(深圳无限元机器人有限公司)
提出MAPRPose两阶段框架,通过掩膜感知对应关系生成姿态提议和模态补全驱动的ROI预测实现鲁棒精化,在BOP基准上达到76.5%平均召回率,比FoundationPose高3.1%且多目标推理加速43倍。
2026-08-06 cs.CV
TOCH: Spatio-Temporal Object-to-Hand Correspondence for Motion Refinement
University of Tübingen(蒂宾根大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
TOCH提出一种时空手-物对应场表示,通过时间去噪自编码器学习合理交互流形,用于修正错误的手-物交互序列并实现跨物体抓取迁移。
2023-10-27 cs.CV
Point-wise Map Recovery and Refinement from Functional Correspondence
Technische Universität München(慕尼黑工业大学)
自从他们在形状分析社区的介绍,功能地图已经会见了相当大的成功,由于他们的能力,compensately表示可变形形状之间的密集对应关系,从形状匹配和图像分割的应用程序,探索大型形状集合。尽管这种表示有许多优点,但是,将给定的功能图转换回点对点图的问题却受到了令人惊讶的有限关注。在本文中,我们分析了一般问题的逐点映射恢复任意功能地图。在这样做的时候,我们排除了目前建立的方法所需的许多假设-最值得注意的是,输入形状接近等距的限制要求。我们设计了一个简单的概率模型的基础上有效的恢复过程。实验证实,这种方法在非常具有挑战性的情况下实现了显着的准确性提高。
2015-06-18 cs.CG cs.CV
TransforMatcher: Match-to-Match Attention for Semantic Correspondence
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
建立图像之间的对应关系仍然是一项具有挑战性的任务,特别是在由于不同视点或类内变化而导致的大的外观变化下。在这项工作中,我们引入了一个强大的语义图像匹配学习,称为transforMatcher,它建立在Transformer网络在视觉领域的成功。与现有的基于卷积或注意力的对应方案不同,TransforMatcher执行全局匹配注意力,以实现精确的匹配定位和动态细化。为了处理大量的匹配在密集的相关性地图,我们开发了一个轻量级的注意力架构,考虑全球匹配匹配的相互作用。我们还建议利用多通道相关图进行细化,将多级分数视为特征而不是单个分数,以充分利用更丰富的逐层语义。在实验中,TransforMatcher在SPair-71 k上设置了一个新的最新技术水平,同时在PF-PASCAL数据集上与现有的SOTA方法进行了比较。
2022-05-23 cs.CV
DPODv2: Dense Correspondence-Based 6 DoF Pose Estimation
Technical University of Munich(慕尼黑工业大学);Siemens AG(西门子公司);Toyota Research Institute(丰田研究院)
我们提出了一个三阶段的6自由度目标检测方法称为DPODv 2(密集姿态对象检测器),依赖于密集的对应关系。我们将2D对象检测器与密集的对应估计网络和多视图姿态细化方法相结合,以估计完整的6 DoF姿态。与通常仅限于单目RGB图像的其他深度学习方法不同,我们提出了一个统一的深度学习网络,允许使用不同的成像模式(RGB或深度)。此外,我们提出了一种新的姿态细化方法,即基于微分绘制。主要概念是比较多个视图中的预测对应和渲染对应,以获得与所有视图中的预测对应一致的姿态。我们提出的方法进行了严格的评估,不同的数据模式和类型的训练数据在一个受控的设置。主要结论是,RGB擅长对应性估计,而深度有助于姿态精度,如果良好的3D-3D对应性是可用的。自然,它们的组合实现了整体最佳性能。我们进行了广泛的评估和消融研究,以分析和验证几个具有挑战性的数据集的结果。DPODv 2在所有这些方面都取得了优异的结果,同时仍然保持快速和可扩展性,与所使用的数据模态和训练数据类型无关
2022-07-06 cs.CV
ManiDext: Hand-Object Manipulation Synthesis via Continuous Correspondence Embeddings and Residual-Guided Diffusion
School of Electronic Engineering, Beijing University of Posts and Telecommunications(北京邮电大学电子工程学院);Department of Automation, Tsinghua University(清华大学自动化系);School of Artificial Intelligence, Beijing Normal University(北京师范大学人工智能学院)
针对手-物体动态操作的复杂挑战,提出ManiDext分层扩散框架,通过连续对应嵌入建模接触关系,并结合残差引导的扩散过程生成逼真手姿态,在多类操作任务上表现优异。
2024-09-14 cs.CV
RefPose: Leveraging Reference Geometric Correspondences for Accurate 6D Pose Estimation of Unseen Objects
Seoul National University(首尔大学)
针对单目RGB图像下缺乏先验知识的未见物体6D位姿估计难题,提出RefPose方法,借助参考图像与几何对应关系、相关体引导注意力及迭代渲染-比较策略实现位姿估计,在BOP基准上取得SOTA结果且运行速度具竞争力。
2025-05-16 cs.CV
A Dual Iterative Refinement Method for Non-rigid Shape Matching
UC Irvine(加州大学欧文分校);Rensselaer Polytechnic Institute(伦斯勒理工学院);Duke University(杜克大学)
在这项工作中,提出了一个简单而有效的双重迭代加密(Dual Iterative Refinement)方法,用于两个近似等距形状之间的稠密对应。其核心思想是以互补和有效的方式使用双重信息,如空间和光谱,或局部和全局特征,并从当前迭代中提取更准确的信息用于下一次迭代。在每次迭代中,从当前对应开始,在每个点处使用放大过程以通过局部映射失真准则来选择匹配良好的锚点对。然后,这些选择的锚点对被用于对齐其维度自适应地匹配选择的锚点对的容量的谱特征(或其他适当的全局特征)。由于以数据自适应的方式有效地组合了互补信息,因此该方法不仅高效而且鲁棒,可以在几次迭代内提供准确的结果。通过选择合适的对偶特征,该算法可以灵活地处理补丁匹配和部分匹配。在各种数据集上进行的大量实验表明,该方法在准确性和效率方面优于其他最先进的方法。
2020-11-19 cs.CV
Coupled Iterative Refinement for 6D Multi-Object Pose Estimation
Princeton University(普林斯顿大学)
我们解决了6D多对象姿态的任务:给定一组已知的3D对象和RGB或RGB-D输入图像,我们检测和估计每个对象的6D姿态。我们提出了一种新的方法来6D对象的姿态估计,其中包括一个端到端的微分架构,利用几何知识。我们的方法以紧密耦合的方式迭代地细化姿态和对应关系,使我们能够动态地删除离群值以提高准确性。我们使用一种新的可微层来执行姿势细化,通过解决我们称为双向深度增强视角N点(BD-PPEND)的优化问题。我们的方法在标准6D Object Pose基准测试中达到了最先进的精度。代码可在https://github.com/princeton-vl/Coupled-Iterative-Refinement上获得。
2022-04-26 cs.CV
DPOD: 6D Pose Object Detector and Refiner
Technical University of Munich(慕尼黑工业大学);Siemens Corporate Technology(西门子企业技术)
在本文中,我们提出了一种新的深度学习方法,用于从RGB图像中进行3D目标检测和6D姿态估计。我们的方法,名为DPOD(密集姿态对象检测器),估计密集的多类2D-3D对应映射之间的输入图像和可用的3D模型。给定对应性,经由PSNR和RANSAC计算6DoF姿态。使用定制的基于深度学习的细化方案来执行初始姿态估计的附加RGB姿态细化。我们的结果和大量的相关作品的比较表明,大量的对应关系是有益的,以获得高质量的6D构成之前和之后的细化。与其他主要使用真实数据进行训练并且不对合成渲染进行训练的方法不同,我们对合成和真实训练数据进行评估,与所有最近的检测器相比,在改进之前和之后展示出优异的结果。虽然精确,但所提出的方法仍然具有实时能力。
2019-08-20 cs.CV cs.RO
Towards Hard-pose Virtual Try-on via 3D-aware Global Correspondence Learning
Sun Yat-Sen University(中山大学);ByteDance(字节跳动);UiT The Arctic University of Norway(挪威北极大学);Peng Cheng Laboratory(鹏城实验室)
在本文中,我们的目标是基于图像的人对人的虚拟试穿中存在的各种姿势和大的观点变化。现有的方法在这种情况下受到限制,因为它们主要基于2D姿势和外观来估计服装翘曲流,这省略了3D人体形状的几何先验。此外,目前的服装翘曲方法局限于局部区域,这使得它们在捕获远程依赖性方面无效,并导致具有伪影的劣质流。为了解决这些问题,我们提出了3D感知的全局对应关系,这是可靠的流,共同编码的全局语义相关性,局部变形,和3D人体的几何先验。特别地,给定描绘源和目标人的图像对,(a)我们首先通过两个编码器获得他们的姿势感知和高级表示,并引入具有多个细化模块的粗到精解码器来预测像素级全局对应关系。(b)从图像中推断出的3D参数化人体模型被合并为先验,以规范对应细化过程,从而使我们的流可以是3D感知的,并更好地处理姿势和视点的变化。(c)最后,对抗生成器将通过3D感知流变形的服装和目标人的图像作为输入,以合成照片般逼真的试穿结果。在公共基准测试和我们的HardPose测试集上进行的大量实验证明了我们的方法对SOTA尝试方法的优越性。
2022-11-25 cs.CV
Scene Coordinate and Correspondence Learning for Image-Based Localization
Siemens AG(西门子股份公司);Johns Hopkins University(约翰斯·霍普金斯大学)
场景坐标回归已成为当前摄像机重定位方法的重要组成部分。不同的版本,如回归森林和深度学习方法,已成功应用于估计给定单个输入图像的相应相机姿态。在这项工作中,我们建议通过使用深度学习来回归给定RGB图像的场景坐标。与最近的方法相比,通常采用RANSAC从建立的点对应关系中获得鲁棒的姿态估计,我们建议回归这些对应关系的置信度,这使我们能够立即丢弃错误的预测并改善初始姿态估计。最后,所得到的置信度可以用于对初始姿势假设进行评分并帮助姿势细化,从而提供了解决该任务的通用解决方案。
2018-07-26 cs.CV
Geometry-Aligned Semantic Matching for Cross-Modal Planar Image Registration
提出CDPM,通过几何对齐语义表示与DINO中心特征金字塔,实现跨模态平面图像配准,显著提升精度并降低计算量。
2026-10-05 cs.CV
FRIDU: Functional Map Refinement with Guided Image Diffusion
Technion - Israel Institute of Technology(技术学院-以色列理工学院)
本研究提出FRIDU方法,将函数映射视为二维图像,在函数空间训练扩散模型,推理时用逐点映射引导扩散以满足正交性等目标,性能达SOTA,为函数映射处理提供新路径。
2025-06-17 cs.CV cs.LG
SCOOP: Self-Supervised Correspondence and Optimization-Based Scene Flow
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
SCOOP提出一种自监督场景流估计方法,通过纯对应模型学习点特征并初始化流,再在运行时用自监督目标优化流修正,仅需少量训练数据即可达到领先性能。
2023-04-14 cs.CV
Multi-View Object Pose Refinement With Differentiable Renderer
Technical University of Munich(慕尼黑工业大学);Siemens AG(西门子股份公司);Toyota Research Institute(丰田研究院)
本文介绍了一种新的多视图6自由度对象姿态细化方法,重点是改进合成数据上训练的方法。它是基于DPOD检测器,它产生密集的2D-3D之间的模型顶点和图像像素在每帧的对应关系。我们已经选择使用具有已知相对相机变换的多个帧,因为它允许通过可解释的ICP类损失函数引入几何约束。损失函数是用可微渲染器实现的,并迭代优化。我们还证明了完全基于合成数据训练的完整检测和细化管道可以用于自动标记真实数据。我们对LineMOD、Occlusion、Homebrew和YCB-V数据集进行了定量评估,并报告了与在合成和真实数据上训练的最先进方法相比的出色性能。我们的经验表明,我们的方法只需要几帧,是强大的关闭相机的位置和噪声在外部相机校准,使其实际使用更容易,更无处不在。
2022-07-06 cs.CV
CATRE: Iterative Point Clouds Alignment for Category-level Object Pose Refinement
Tsinghua University(清华大学);BNRist(北京国家信息科学与技术研究中心);University of Washington(华盛顿大学)
虽然最近出现了类别级9自由度对象姿态估计,但由于对象形状和颜色等的巨大类别内差异,以前的基于对应关系或直接回归方法在准确性方面都受到限制。与它们正交,这项工作提出了一种类别级对象姿态和大小细化器CATRE,它能够迭代地增强点云的姿态估计,以产生准确的结果。给定初始姿态估计,CATRE通过对齐部分观测点云和抽象形状先验来预测初始姿态和地面实况之间的相对变换。具体而言,我们提出了一种新的解纠缠体系结构意识到旋转和平移/大小估计之间的固有区别。大量的实验表明,我们的方法显着优于国家的最先进的方法在REAL275,CAMERA25和LM基准高达~85.32Hz的速度,并取得了竞争力的结果类别级跟踪。我们进一步证明了CATRE可以对看不见的类别进行姿势细化。代码和训练模型可用。
2022-07-17 cs.CV
TSAR-MVS: Textureless-aware Segmentation and Correlative Refinement Guided Multi-View Stereo
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Agricultural Information Institute, Chinese Academy of Agricultural Sciences(中国农业科学院农业信息研究所)
本文提出TSAR-MVS方法,通过联合假设过滤、迭代相关细化和无纹理感知分割,有效解决多视图立体中无纹理区域重建难题,并在多个数据集上验证了其优越性能。
2024-08-30 cs.CV
DCL-Net: Deep Correspondence Learning Network for 6D Pose Estimation
South China University of Technology(华南理工大学);DexForce Co. Ltd.(德锐视科技有限公司);Peng Cheng Laboratory(鹏城实验室)
建立摄像机坐标系和物体坐标系之间的点对应关系是求解物体6D位姿的一种很有前途的方法。然而,3D空间中对应学习的替代目标与物体姿态估计的真实目标相差一步,使得学习对于最终任务而言是次优的。在本文中,我们通过引入一种新的深度对应学习网络方法来解决这一缺点,该方法用于直接6D对象姿态估计,简称为DCL-Net。具体来说,DCL-Net采用了新提出的特征分离和对齐(FDA)模块,在特征空间中分别为部分对象观察及其完整的CAD模型建立部分到部分的对应关系和完整到完整的对应关系,这导致了来自两个坐标系的聚合姿态和匹配特征对;这两个FDA模块因此带来了互补的优势。匹配特征对用于学习用于测量深度对应的质量的置信度分数,而姿态特征对由用于直接对象姿态回归的置信度分数加权。还提出了一种基于置信度的姿态精化网络,以迭代的方式进一步提高姿态精度。广泛的实验表明,DCL-Net在三个基准数据集上的性能优于现有方法,包括YCB-Video,LineMOD和Oclussion-LineMOD;消融研究也证实了我们新设计的有效性。
2022-10-11 cs.CV
RealSkin: Spatio-Spectral Partial Neural Adjoint Maps for Image-to-3D Attribute Transfer
Jilin University(吉林大学);Zhejiang University(浙江大学);North China University of Technology(北方工业大学)
研究旨在弥合真实图像与合成3D表面的外观差距,提出RealSkin自监督框架,通过空间引导配准算法和谱感知神经伴随网络,在谱域优化对应,实验表明该方法在真实到合成场景中性能达最优。
2026-07-15 cs.CV
Back to the Feature: Zero-Shot 6DoF Pose Estimation via Dense Local Features
Queen’s University(女王大学)
B2TFPose利用冻结的DINOv3提取稠密局部特征,通过测地线NMS、渲染引导重新对应和多掩膜选择,实现无需训练的零样本6DoF姿态估计,在BOP基准上达到最先进性能。
2026-09-09 cs.CV
Cora: Correspondence-aware image editing using few step diffusion
Simon Fraser University(西蒙弗雷泽大学);Huawei(华为);University of Toronto(多伦多大学);Google Deepmind(谷歌DeepMind)
Cora通过引入对应关系感知的噪声校正和插值注意力图,实现了在少量步骤下精准的图像编辑,有效保持结构、纹理和身份,优于现有方法。
2025-05-29 cs.CV
Personalized 3D Human Pose and Shape Refinement
Leibniz University Hannover(汉诺威莱布尼茨大学);Epic Games(Epic Games公司)
针对回归法三维人体姿态估计中预测与图像错位的问题,提出构建密集对应并利用逐像素位移细化模型,在3DPW和RICH上验证了更好的对齐与三维精度。
2024-03-18 cs.CV
Particle Diffusion Matching: Random Walk Correspondence Search for the Alignment of Standard and Ultra-Widefield Fundus Images
ASRI, Dept. of ECE, Seoul National University(首尔大学电气与计算机工程系ASRI);School of Electrical Engineering, Kookmin University(国民大学电气工程学院)
本文提出了一种稳健的对齐技术,通过扩散模型引导的迭代随机游走对应搜索(RWCS)实现标准视网膜图像(SFIs)和超宽场视网膜图像(UWFIs)的对齐,解决了尺度、外观差异和特征稀少的问题,展示了在多个视网膜图像对齐基准上的最佳性能。
2026-04-11 cs.CV
Learning Dense Facial Correspondences in Unconstrained Images
University of Southern California(南加州大学);Pinscreen;Adobe Research(Adobe 研究院);USC Institute for Creative Technologies(南加州大学创新技术研究院)
我们提出了一个简约但有效的神经网络,计算密集的面部对应高度不受约束的RGB图像。我们的网络学习每个像素的流和一个人的2D输入照片和纹理3D人脸模型的投影之间的匹配性掩码。为了训练这样一个网络,我们生成了一个巨大的数据集的合成人脸与密集的标签使用渲染的变形人脸模型的姿态,表情,照明和闭塞的变化。我们发现,需要使用真实照片进行训练优化,以大幅提高处理真实图像的能力。当与面部检测和3D面部拟合步骤相结合时,我们表明我们的方法在准确性和速度方面优于最先进的面部对齐方法。通过直接估计密集的对应关系,我们不依赖于稀疏的面部标志的完全可见性,并且不限于基于回归的方法的模型空间。我们还评估了我们的视频帧的方法,并证明了成功的每帧处理极端的姿态变化,遮挡和照明条件下。与现有的3D人脸跟踪技术相比,我们的拟合不依赖于以前的帧或正面的面部初始化,是不完美的人脸检测鲁棒性。
2017-09-02 cs.CV
Co-op: Correspondence-based Novel Object Pose Estimation
NAVER LABS(NAVER实验室)
本研究提出Co-op方法,通过半密集对应、混合表示及概率流姿态细化,仅用少量模板和CAD模型即可从单张RGB图像估计训练未见物体的6DoF姿态,在BOP挑战赛七个核心数据集上取得SOTA精度。
2025-03-22 cs.CV
Integrating Efficient Optimal Transport and Functional Maps For Unsupervised Shape Correspondence Learning
University of California, Irvine(加利福尼亚大学欧文分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出无监督形状对应框架,结合函数映射正则化与基于切片Wasserstein距离的高效最优传输损失,并通过熵正则化OT自适应细化点对应,在非刚性匹配和分割迁移中取得先进性能。
2024-03-04 cs.AI cs.CV
SegFix: Model-Agnostic Boundary Refinement for Segmentation
Key Lab of Intelligent Information Processing of Chinese Academy of Sciences (CAS), Institute of Computing Technology, CAS(中国科学院计算技术研究所智能信息处理重点实验室);University of Chinese Academy of Sciences(中国科学院大学);Microsoft Research Asia(微软亚洲研究院);University of Science and Technology of China(中国科学技术大学)
我们提出了一个模型不可知的后处理方案,以提高边界质量的分割结果,是由任何现有的分割模型。出于经验观察,内部像素的标签预测更可靠,我们建议用内部像素的预测来取代原来不可靠的边界像素的预测。我们的方法通过两个步骤只处理输入图像:(i)定位边界像素和(ii)为每个边界像素识别相应的内部像素。我们通过学习从边界像素到内部像素的方向来建立对应关系。我们的方法不需要任何先验信息的分割模型,并达到接近实时的速度。我们通过经验验证,我们的SegFix始终减少了Cityscapes、ADE20K和GTA 5上各种最先进模型生成的分割结果的边界误差。代码可在:https://github.com/openseg-group/openseg.pytorch.
2020-08-27 cs.CV
Cross-Coordinate Correspondence Pruning for Image-to-Point Cloud Registration
研究图像到点云配准问题,提出交叉坐标对应关系修剪(CCP)策略,通过投影统一坐标、轻量级网络预测内点置信度及多密度点集成策略,提升配准精度,性能比现有方法至少高8.6%。
2026-07-21 cs.CV
SCFlow2: Plug-and-Play Object Pose Refiner with Shape-Constraint Scene Flow
Xidian University(西安电子科技大学);Taiyuan University of Technology(太原理工大学);MagicLeap
针对6D目标位姿精修方法存对应噪声或需新目标重训问题,提出SCFlow2框架,引入几何约束训练循环匹配网络,以深度正则化3D场景流迭代,实现即插即用且无需重训即可显著提升现有方法精度。
2025-04-12 cs.CV
Mitigating Content Shift and Hallucination in GenAI Image Editing via Structural Refinement
Department of Electrical Engineering & Computer Science(电气工程与计算机科学系)
提出一种后处理框架,通过建立粗空间和光度对应关系并融合输入图像与GenAI增强图像,在保留感知增强的同时抑制幻觉内容,从而解决黑盒GenAI图像编辑中的结构保持问题。
2026-06-11 cs.CV
Relation-aware Instance Refinement for Weakly Supervised Visual Grounding
School of Information Science and Technology(信息科学与技术学院);Tencent AI Lab(腾讯AI实验室);ShanghaiTech University(上海科技大学);KU Leuven(鲁汶大学);Meituan(美团);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与影像工程研究中心);Shanghai Institute of Microsystem and Information Technology(上海微系统与信息技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
视觉背景是建立视觉对象与其语言实体之间的对应关系,在跨模态场景理解中起着关键作用。学习视觉基础的一种有前途且可扩展的策略是仅利用图像-标题对的弱监督。以前的方法通常依赖于直接匹配查询短语到预先计算的、固定的对象候选池,由于缺乏语义关系约束,这导致不准确的定位和模糊的匹配。在我们的论文中,我们提出了一种新的上下文感知弱监督学习方法,该方法将粗到细的对象细化和实体关系建模集成到两阶段深度网络中,能够产生更准确的对象表示和匹配。为了有效地训练我们的网络,我们引入了一个自学回归损失的建议的位置和分类损失的基础上解析的实体关系。在两个公共基准测试Flickr 30 K Entities和ReferItGame上的大量实验证明了我们弱接地框架的有效性。结果表明,我们的性能远远优于以前的方法,在Flickr 30 K实体中达到59.27\%的top-1准确率,在ReferItGame数据集中达到37.68\%(代码可在https://github.com/Rifly11/ReIR-WeaklyGrounding.pytorch.git获得)。
2021-03-24 cs.CV
CheckerPose: Progressive Dense Keypoint Localization for Object Pose Estimation with Graph Neural Network
Stony Brook University(石溪大学)
本文提出 CheckerPose,通过三维表面关键点渐进定位、二进制像素编码和图神经网络建模,提升单张 RGB 图像的 6-DoF 物体位姿估计精度,并在多个基准上达到最优。
2023-08-13 cs.CV
Beyond Spatio-Temporal Priors: A Generalizable Approach for Dense Correspondence Matching
The University of Hong Kong(香港大学);ByteDance Seed(字节跳动 Seed);Zhejiang University(浙江大学)
该研究提出可泛化框架FreeMatching,结合生成与语义基础表征及异构监督,提升IEG图像对的对应质量,可作为身份保留的定量指标。
2026-11-13 cs.CV cs.LG
GigaPose: Fast and Robust Novel Object Pose Estimation via One Correspondence
LIGM, École des Ponts(巴黎路桥学院LIGM实验室);Adobe(奥多比公司);EPFL(洛桑联邦理工学院)
GigaPose通过二维模板采样与快速最近邻搜索实现单对应关系的快速鲁棒物体姿态估计,较现有方法提速35倍,在BOP七个数据集上达到最先进精度,并支持单图重建3D模型。
2024-03-15 cs.CV
Deformation and Correspondence Aware Unsupervised Synthetic-to-Real Scene Flow Estimation for Point Clouds
Sichuan University(四川大学);The University of Western Australia(西澳大学);Central South University(中南大学);Monash University(莫纳什大学)
点云场景流估计对于自动驾驶中的动态场景导航具有重要的实际意义。由于场景流标签难以获取,现有方法都是在合成数据上训练模型,然后再将其转换到真实场景中。然而,现有的合成数据集和真实场景之间的巨大差异导致模型传输不佳。我们为解决这一问题作出了两项重大贡献。首先,我们为GTA-V引擎开发了一个点云收集器和场景流注释器,以自动获得各种真实感训练样本,而无需人工干预。在此基础上,我们开发了一个大规模的合成场景流数据集GTA-SF。其次,我们提出了一个基于平均教师的领域自适应框架,利用自我生成的伪标签的目标域。它还明确地结合了形状变形正则化和表面对应细化,以解决域转移中的失真和错位。通过大量的实验,我们表明,我们的GTA-SF数据集导致模型泛化到三个真实数据集(即,Waymo,Lyft和KITTI)与最广泛使用的FT 3D数据集相比。此外,我们的框架在六个源-目标数据集对上实现了卓越的自适应性能,显著缩小了60%的平均域差距。有关数据和代码,请访问https://github.com/leolyj/DCA-SRSFE
2022-03-31 cs.CV
DOMR: Establishing Cross-View Segmentation via Dense Object Matching
Hangzhou International Innovation Institute, Beihang University(北京航空航天大学杭州国际创新研究院);Faculty of Science and Technology, University of Macau(澳门大学科学与技术学院);College of Computer Science and Technology, Zhejiang University of Technology(浙江工业大学计算机科学与技术学院);School of Artificial Intelligence, Beihang University(北京航空航天大学人工智能学院)
本文提出DOMR框架,通过密集对象匹配器联合建模对象间位置与语义关系,结合掩码细化头,在Ego-Exo4D上实现跨视角分割SOTA性能。
2025-08-06 cs.CV
ExACT: Exemplar-Driven Calibrated Refinement for Training-Free Visual Grounding in Remote Sensing Images
Xidian University(西安电子科技大学)
提出ExACT框架,通过一次性视觉提示机制弥合多模态大语言模型在遥感视觉定位中的模态差距,实现免训练的精确像素级定位。
2026-06-27 cs.CV
G4Seg: Generation for Inexact Segmentation Refinement with Diffusion Models
CMIC, Shanghai Jiao Tong University(上海交通大学计算机医学研究院);School of Artificial Intelligence, Shanghai Jiao Tong University(上海交通大学人工智能学院);Shanghai Innovation Institute(上海创新研究院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出G4Seg,利用Stable Diffusion的生成先验,通过对比原始图像与掩码条件生成图像的差异实现不精确分割的由粗到细细化,验证了生成式方法解决判别任务的潜力。
2025-06-02 cs.AI cs.CV
Weakly-Supervised Visual-Textual Grounding with Semantic Prior Refinement
University of Padova(帕多瓦大学);Fondazione Bruno Kessler (FBK)(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
针对弱监督视觉-文本定位缺少区域-短语标注的问题,提出融合未训练粗对齐模块与训练优化模块的 SPRM,并在 Flickr30k Entities 和 ReferIt 上取得最优性能。
2023-09-26 cs.AI cs.CL cs.CV
CLNet: Cross-View Correspondence Makes a Stronger Geo-Localizationer
School of Artificial Intelligence, Xidian University(人工智能学院,西安电子科技大学)
CLNet通过引入对应关系感知的特征细化框架,提升跨视图地理定位的准确性和可解释性。
2025-12-16 cs.AI cs.CV
GRIP: Gaussian Rendering as a Cross-Modal Bridge for Image-to-Point Cloud Registration
Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);INSERM(法国国家健康与医学研究院);IRISA(法国雷恩信息与系统研究所)
GRIP通过高斯特征溅射将3D点特征渲染到图像网格,融合视觉与几何信息,实现图像到点云的精确配准,在RGB-D Scenes V2和7 Scenes上达到先进水平。
2026-09-23 cs.CV
KTN: Knowledge Transfer Network for Learning Multi-person 2D-3D Correspondences
人体密集位姿估计的目的是在人体的二维像素和三维人体模板之间建立密集的对应关系,是使机器能够理解图像中的人的关键技术。它仍然提出了几个挑战,由于实际情况下,现实世界的场景是复杂的,只有部分注释是可用的,导致不完整或错误的估计。在这项工作中,我们提出了一个新的框架来检测图像中的多个人的densepose。所提出的方法,我们称为知识转移网络(KTN),解决了两个主要问题:1)如何细化图像表示以减轻不完整的估计,以及2)如何减少由低质量训练标签(即,有限的注释和类不平衡标签)。与现有的作品直接传播densepose估计区域的金字塔特征不同,KTN使用金字塔表示的改进,在那里它同时保持特征分辨率并抑制背景像素,这种策略导致准确性的大幅提高。此外,KTN增强了利用外部知识进行基于3D的身体解析的能力,其中它通过结构化身体知识图谱将从足够的注释训练的基于2D的身体解析器转换为基于3D的身体解析器。通过这种方式,它大大减少了由低质量注释引起的不利影响。KTN的有效性通过其在DensePose-COCO数据集上优于最先进方法的性能来证明。广泛的消融研究和代表性任务的实验结果(例如,人体分割、人体部位分割和关键点检测)和两种流行的密集姿态估计流水线(即,RCNN和全卷积框架),进一步表明了所提出的方法的通用性。
2022-06-21 cs.CV
Learning to Register Unbalanced Point Pairs
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
点云配准方法可以有效地处理大规模、部分重叠的点云对。尽管它的实用性,匹配不平衡对的空间范围和密度一直被忽视,很少研究。我们提出了一种新的方法,称为UPPNet,不平衡点云对注册。我们建议纳入一个分层的框架,有效地发现内点对应逐渐减少搜索空间。该方法首先预测目标点云内可能与查询重叠的子区域。然后,通过超点匹配和细粒度细化模块预测目标和查询之间的精确内点对应关系。应用附加的几何约束来细化满足空间兼容性的对应关系。所提出的网络可以以端到端的方式进行训练,通过单次向前传递预测精确的刚性变换。为了验证所提出的方法的有效性,我们创建了一个精心设计的基准,命名为KITTI-UPP数据集,通过增强KITTI里程数据集。大量的实验表明,该方法不仅优于国家的最先进的点云配准方法的大幅度KITTI-UPP基准,但也取得了竞争力的结果,标准的成对配准基准,包括3DMatch,3DLoMatch,ScanNet,和KITTI,从而显示了我们的方法在各种数据集上的适用性。源代码和数据集将公开发布。
2022-10-15 cs.CV
AXS-Net: Interpretable Deep Unfolding for Hyperspectral Image Denoising via Spectral Basis Unmixing and Structured Noise Refinement
Xiangtan University(湘潭大学)
AXS-Net 通过将高光谱去噪建模为光谱分解与结构化噪声分离的优化问题并展开为深度网络,实现了可解释去噪,在多个数据集上表现优异。
2026-09-09 cs.CV