Dense Multi-view 3D-reconstruction Without Dense Correspondences
Technical University of Munich(慕尼黑工业大学);University of Toulouse(图卢兹大学);Mikros Image
介绍了一种自然光照下多视点形状恢复的变分方法。其关键思想是耦合基于偏微分方程的解决方案,单图像为基础的形状从阴影的问题,跨多个图像和多个颜色通道的变分制定。而不是交替地解决个别SFS问题和优化的一致性跨图像和通道,这是已知的,导致次优的结果,我们提出了一个有效的解决方案的耦合问题的ADMM算法的装置。在对模拟图像和真实图像进行的大量实验中,我们证明了多视图重建和明暗恢复形状的融合可以提供高度准确的密集重建,而无需计算密集对应关系。随着所提出的变分集成跨多个视图的形状从阴影技术变得适用于具有挑战性的现实世界的重建问题,即使在平滑的亮度变化和缺乏纹理的区域中,也会产生非常详细的几何形状。
2017-04-02 cs.CV
MV-RoMa: From Pairwise Matching into Multi-View Track Reconstruction
KAIST(韩国科学技术院);Seoul National University(首尔大学)
MV-RoMa通过多视角密集匹配模型,联合估计源图像到多个共视目标的密集对应关系,提升3D重建的准确性和密度。
2026-03-29 cs.CV
3D Multi-View Stylization with Pose-Free Correspondences Matching for Robust 3D Geometry Preservation
本文提出一种无需姿态信息或显式3D表示的多视角风格化方法,通过复合目标结合外观迁移与几何保持,提升3D任务的鲁棒性。
2026-03-22 cs.CV
COM3D: Leveraging Cross-View Correspondence and Cross-Modal Mining for 3D Retrieval
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出 COM3D,通过场景表示 transformer 生成跨视图对应特征并结合半难负例挖掘优化跨模态匹配,在 Text2Shape 数据集上取得领先的三维形状与文本检索性能。
2024-05-07 cs.CV
NOPE-SAC: Neural One-Plane RANSAC for Sparse-View Planar 3D Reconstruction
Wuhan University(武汉大学);Ant Group(蚂蚁集团);North Carolina State University(北卡罗来纳州立大学)
针对稀疏视图双视图3D重建中对应关系不足的问题,提出NOPE-SAC框架,通过孪生网络和共享MLP学习3D平面对应关系生成单平面位姿假设,经RANSAC加权获得最终位姿,在MatterPort3D和ScanNet基准上取得最先进性能。
2023-09-13 cs.CV
Self-supervised Feature Learning by Cross-modality and Cross-view Correspondences
City University of New York(纽约城市大学);Northwestern Polytechnical University(西北工业大学)
监督学习的成功需要大规模的地面实况标签,这是非常昂贵的,耗时的,或者可能需要特殊的技能来注释。为了解决这个问题,开发了许多自我或无监督的方法。与大多数现有的仅学习2D图像特征或仅学习3D点云特征的自监督学习方法不同,本文提出了一种新颖有效的自监督学习方法,通过利用跨模态和跨视图对应关系来联合学习2D图像特征和3D点云特征,而不使用任何人工标注标签。具体地,通过2D卷积神经网络提取来自不同视角的渲染图像的2D图像特征,并且通过图卷积神经网络提取3D点云特征。两种类型的特征被送入一个两层全连接神经网络来估计跨模态对应关系。通过验证不同模态的两个采样数据是否属于同一对象来联合训练三个网络(即交叉模态),同时,通过最小化对象内距离同时最大化不同视图(即交叉视图)中渲染图像的对象间距离来额外优化2D卷积神经网络。学习的2D和3D功能的有效性进行评估,通过将它们转移到五个不同的任务,包括多视图2D形状识别,3D形状识别,多视图2D形状检索,3D形状检索和3D部分分割。对不同数据集上所有五个不同任务的广泛评估表明,所提出的自监督方法对所学习的2D和3D特征具有很强的泛化能力和有效性。
2020-04-13 cs.CV
Unifying Correspondence, Pose and NeRF for Pose-Free Novel View Synthesis from Stereo Pairs
Korea University(高丽大学);Microsoft Research Asia(微软亚洲研究院)
本文提出一个统一框架,将二维对应匹配、相机位姿估计与NeRF渲染整合在共享表示中端到端训练,显著提升了无位姿立体对新视角合成的精度,尤其在极端视角变化下表现突出。
2024-04-08 cs.CV
Learning Cross-View Semantic Priors for Single-Reference Unseen Object Pose Estimation
College of Aerospace Science and Engineering, National University of Defense Technology(国防科技大学航空航天科学与工程学院);Hunan Provincial Key Laboratory of Image Measurement and Vision Navigation(湖南省图像测量与视觉导航重点实验室)
提出跨视角语义交互(CVSI)和两种训练约束,利用视觉基础模型特征实现单参考未见物体的6D姿态估计,在多个基准上达到最优性能。
2026-06-26 cs.CV
A linear method for camera pair self-calibration and multi-view reconstruction with geometrically verified correspondences
National Technical University of Athens(雅典国家技术大学)
我们研究了未校准图像的无序集的建筑场景的三维重建。我们介绍了一种线性的方法来自校准,并找到相机对的度量重建。我们假设未知的和不同的焦距,但以其他方式已知的内部相机参数和已知的投影重建的相机对。我们恢复两个可能的相机配置在空间中,并使用的手的条件,即所有的3D场景点都在前面的两个摄像机,消除歧义的解决方案。我们证明了两个定理,首先是两个解处于镜像位置,然后是它们的观察方向之间的关系。我们的新方法与Kruppa方程($ΔR = 3.77^{\circ}$)的标准方法(中值旋转误差$ΔR = 3.49^{\circ}$)进行自校准和5点算法校准度量重建的相机对。我们拒绝错误的图像对应,通过引入一种方法来检查点对应是否出现在相同的顺序沿$x, y$图像轴的图像对。我们评估这种方法的精度和召回率,并表明它提高了建筑和一般场景中的点匹配的鲁棒性。最后,我们将所有介绍的方法集成到3D重建管道中。我们利用众多的相机对度量reconstructions使用旋转平均算法和一种新的方法来平均焦距估计。
2019-06-28 cs.CV
CorresNeRF: Image Correspondence Priors for Neural Radiance Fields
The University of Hong Kong(香港大学);Zhejiang Lab(之江实验室);Zhejiang University(浙江大学);Intel Labs(英特尔实验室)
本文提出 CorresNeRF,通过现成方法生成并自适应筛选密集图像对应,以重投影和深度损失监督稀疏视角下的 NeRF 训练,在新视角合成与表面重建上均提升性能。
2023-12-11 cs.CV
Explicit Correspondence Matching for Generalizable Neural Radiance Fields
Monash University(墨尔本大学);ETH Zurich(苏黎世联邦理工学院);University of Oxford(牛津大学);Nanyang Technological University(南洋理工大学)
本文提出一种可泛化NeRF方法,通过显式建模跨视图对应匹配信息,利用Transformer交叉注意力提升特征匹配质量,仅需两个源视图即可实现新视角合成,并在多个评估设置中取得最先进结果。
2025-08-22 cs.CV
GMM-IKRS: Gaussian Mixture Models for Interpretable Keypoint Refinement and Scoring
Graz University of Technology(格拉茨工业大学);Pro2Future GmbH(Pro2Future有限公司);Sony Semiconductor Solutions Europe(索尼半导体解决方案欧洲公司)
本文提出GMM-IKRS框架,利用改进的鲁棒高斯混合模型对任意方法提取的关键点进行精化,并给出由提取概率和定位精度构成的可解释评分,从而支持跨方法比较,实验表明其能持续提升关键点可重复性及位姿恢复性能。
2024-08-30 cs.CV
Multi-View Multi-Person 3D Pose Estimation with Plane Sweep Stereo
National University of Singapore(新加坡国立大学)
用于多视图多人3D姿态估计的现有方法明确地建立交叉视图对应以将来自多个相机视图的2D姿态检测分组,并求解每个人的3D姿态估计。在多人场景中建立跨视图对应是具有挑战性的,并且不正确的对应将导致多级流水线的次优性能。在这项工作中,我们提出了我们的多视图三维姿态估计方法的基础上,平面扫描立体联合解决跨视图融合和三维姿态重建在一个Single Shot。具体来说,我们建议在目标相机视图中为每个2D姿势的每个关节执行深度回归。交叉视图一致性约束通过平面扫描算法由多个参考相机视图隐含地强制执行,以促进准确的深度回归。我们采用了一个由粗到细的方案,首先回归的人级深度,其次是每个人的联合级相对深度估计。3D姿态从给定估计深度的简单反投影获得。我们在基准数据集上评估了我们的方法,在这些数据集上,它的性能优于以前的最先进技术,同时效率非常高。我们的代码可在https://github.com/jiahaoLjh/PlaneSweepPose上获得。
2021-04-06 cs.CV
H3R: Hybrid Multi-view Correspondence for Generalizable 3D Reconstruction
ReLER Lab, CCAI, Zhejiang University(浙江大学ReLER实验室,中国计算机协会,浙江大学);The State Key Lab of Brain-Machine Intelligence, Zhejiang University(浙江大学脑机智能国家重点实验室);Singapore University of Technology and Design(新加坡科技设计大学)
提出H3R混合框架,结合体积潜在融合与注意力聚合,解决多视角对应权衡,收敛快2倍,在多个基准上取得SOTA性能。
2025-08-05 cs.CV
4D Human Body Correspondences from Panoramic Depth Maps
University of Delaware(特拉华大学);ShanghaiTech University(上海科技大学)
可负担得起的3D全身重建系统的可用性已经引起了人体形状的自由视点视频(FVV)。大多数现有的解决方案产生时间上不相关的点云或网格与未知的点/顶点对应。单独压缩每个帧是无效的,仍然会产生超大的数据大小。我们提出了一个端到端的深度学习方案来建立密集的形状对应关系,并随后压缩数据。我们的方法使用稀疏集的“全景”深度图或PDM,每个模拟向内观看同心马赛克。然后,我们开发了一种基于学习的技术来学习PDM上的逐像素特征描述符。结果被送入基于自动编码器的网络进行压缩。综合实验表明,我们的解决方案是强大的,有效的公共和我们新捕获的数据集。
2018-10-12 cs.CV
Virtual Correspondence: Humans as a Cue for Extreme-View Geometry
Massachusetts Institute of Technology(麻省理工学院);Waabi;University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
从极端视图图像中恢复相机的空间布局和场景的几何形状是计算机视觉中的一个长期挑战。主流的3D重建算法通常采用图像匹配范例,并假设场景的一部分在图像之间是共同可见的,当输入之间几乎没有重叠时,性能很差。相比之下,人类可以通过形状的先验知识将一个图像中的可见部分与另一个图像中相应的不可见组件相关联。受此启发,我们提出了一个新的概念,称为虚拟通信(VC)。VC是来自其相机射线在3D中相交的两个图像的一对像素。与经典对应类似,VC符合对极几何;与经典对应不同,VC不需要跨视图共同可见。因此,即使图像不重叠,也可以建立和利用VC。我们介绍了一种方法来找到虚拟的对应关系的基础上,在现场的人。我们展示了VC如何与经典的束调整无缝集成,以在极端视图中恢复相机姿势。实验表明,我们的方法显着优于国家的最先进的相机姿态估计方法在具有挑战性的情况下,是在传统的密集捕捉设置相媲美。我们的方法还释放了潜在的多个下游任务,如场景重建从多视图立体视觉和新的视图合成在极端视图的情况下。
2022-06-16 cs.CV cs.RO
Visual Correspondence Hallucination
LIGM, École des Ponts, Univ Gustave Eiffel, CNRS(LIGM实验室、巴黎综合理工学院、古斯塔夫·埃菲尔大学、法国国家科学研究中心);IMS, University of Bordeaux, Bordeaux INP, CNRS(IMS实验室、波尔多大学、波尔多国立理工学院、法国国家科学研究中心)
给定一对部分重叠的源图像和目标图像以及源图像中的关键点,目标图像中的关键点的对应物可以是可见的、被遮挡的或在视场之外。局部特征匹配方法只能在通信对象可见时识别其位置,而当通信对象被遮挡或在视野之外时,人类也可以通过几何推理来幻觉其位置。在本文中,我们通过训练网络来弥合这一差距,以输出通信者位置的峰值概率分布,而不管该通信者是否可见、被遮挡或在视野之外。我们通过实验证明,这个网络确实能够在训练时没有看到的场景中捕获的图像对上产生幻觉。我们还将该网络应用于绝对相机姿态估计问题,并发现它比最先进的基于局部特征匹配的竞争对手更强大。
2022-02-02 cs.CV
MGCA-Net: Multi-Graph Contextual Attention Network for Two-View Correspondence Learning
College of Cyber Security, Jinan University, Guangzhou, China(广州大学网络安全学院);Chongqing Key Laboratory of Image Cognition, College of Computer Science and Technology, Chongqing University of Posts and Telecommunications, Chongqing, China(重庆邮电大学计算机科学与技术学院);Peng Cheng Laboratory, Shenzhen, China(鹏城实验室);Department of Computer Science, City University of Hong Kong, Hong Kong, China(香港城市大学计算机科学系)
MGCA-Net通过多图上下文注意网络提升双视图对应学习的鲁棒性,有效增强局部和全局几何关系捕捉能力。
2025-12-29 cs.CV
Deep Two-View Structure-from-Motion Revisited
Australian National University(澳大利亚国立大学);Northwestern Polytechnical University(西北工业大学);NVIDIA(英伟达)
双视图运动恢复结构(SfM)是三维重建和可视化SLAM的基础。现有的基于深度学习的方法通过从两个连续帧恢复绝对姿态尺度或从单个图像预测深度图来公式化该问题,这两者都是不适定问题。相比之下,我们建议通过利用经典管道的适定性来重新审视深双视图SfM的问题。我们的方法包括:1)预测两帧之间的密集对应的光流估计网络; 2)从2D光流对应计算相对相机姿态的归一化姿态估计模块;以及3)利用对极几何来减小搜索空间、细化密集对应并估计相对深度图的尺度不变深度估计网络。大量的实验表明,我们的方法优于所有国家的最先进的双视图SfM方法的KITTI深度,KITTI VO,MVS,场景11,和SUN 3D数据集在相对姿态和深度估计的一个明确的利润率。
2021-04-01 cs.CV
CasDeblurGS: Cascaded 2D-to-3D Multi-View Consistency for 3D Gaussian Splatting from Two Blurry Images
University of Virginia(弗吉尼亚大学);KT R&D Center(KT研发中心)
CasDeblurGS是一种级联框架,仅用两张已知内参的运动模糊图像即可重建连贯3D场景,在Deblur-NeRF场景上PSNR较基线提升1.19dB和2.11dB,渲染与几何一致性均改善。
2026-08-12 cs.CV
Disambiguating 2D-3D Correspondences in Gaussian Splatting-based Feature Fields for Visual Localization
Sungkyunkwan University(成均馆大学)
本文提出SplitGS-Loc框架,通过高斯属性区分2D-3D对应关系,解决传统GSFF在视觉定位中的问题,实现稳定PnP收敛,达到最先进的定位性能。
2026-10-30 cs.CV
DynPoint: Dynamic Neural Point For View Synthesis
University of Oxford(牛津大学)
本文提出 DynPoint,通过跨帧深度与场景流估计显式 3D 对应,并构建分层神经点云聚合多参考帧信息,实现无约束单目视频的快速新视图合成。
2025-03-13 cs.CV
Muskie: Multi-view Masked Image Modeling for 3D Vision Pre-training
National University of Defense Technology(国防科技大学)
Muskie通过多视图遮蔽图像建模方法,无需3D监督即可学习视图不变特征和几何理解,提升3D视觉任务性能。
2025-11-22 cs.CV
MvDeCor: Multi-view Dense Correspondence Learning for Fine-grained 3D Segmentation
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);NVIDIA(英伟达);University of Toronto(多伦多大学);Vector Institute(向量研究所)
我们建议在2D域中利用自监督技术进行细粒度的3D形状分割任务。这是受到以下观察的启发:基于视图的表面表示在建模高分辨率表面细节和纹理方面比基于点云或体素占用的3D对应物更有效。具体来说,给定一个3D形状,我们从多个视图渲染它,并在对比学习框架内设置了一个密集的对应学习任务。因此,学习的2D表示是视图不变的和几何一致的,与单独利用2D或3D中的自我监督的替代方案相比,当在有限数量的标记形状上训练时,导致更好的泛化。在纹理(RenderPeople)和无纹理(PartNet)3D数据集上的实验表明,我们的方法在细粒度零件分割方面优于最先进的替代方法。当只有稀疏的视图集可用于训练或形状被纹理化时,基线的改进更大,这表明MvDeCor从2D处理和3D几何推理中受益。
2022-08-18 cs.AI cs.CV cs.GR
A Line-Point Unified Solution to Relative Camera Pose Estimation
RFA Engineering(RFA工程公司);University of North Dakota(北达科他大学)
在这项工作中,我们提出了一个统一的方法,相对相机姿态估计点和线的对应关系。给定一组二维点和线对应的三个视图,其中两个是已知的,已经开发了一种方法来估计第三视图的相机姿态。该算法的新颖之处在于将点和线的对应关系结合在摄像机姿态估计中,这使得我们能够用少量的特征对应关系来计算相对摄像机姿态。我们的中心思想是利用三个视图之间的三线性关系,并从三个视图中的点和线的对应关系生成一组线性方程。方程组的期望解被表示为奇异向量的线性组合,并且通过求解通过对一般相机运动施加正交约束而生成的一小组二次方程来计算系数。通过在公开数据集上的实验,证明了该方法的优越性。实验结果表明,该方法在小范围和大范围摄像机运动情况下的相对摄像机位姿估计中具有很好的鲁棒性和有效性。
2017-10-17 cs.CV cs.RO
Adaptive Correspondence Scoring for Unsupervised Medical Image Registration
Yale University(耶鲁大学);Yale School of Medicine(耶鲁医学院)
提出自适应对应评分训练方案,通过重加权误差残差抑制噪声梯度,提升无监督医学图像配准的准确性和鲁棒性。
2024-07-18 cs.CV eess.IV
CrossScore: Towards Multi-View Image Evaluation and Scoring
提出一种基于交叉注意力机制的交叉参考图像质量评估方法 CrossScore,通过比较同一场景的多视图,在无需真实参考图像的情况下实现了与 SSIM 高度相关的准确评估,填补了新视图合成等任务中的评估空白。
2024-07-23 cs.CV
Cross-View Yaw Estimation in Location Uncertainty with Line-Aligning Yaw Scoring
Seoul National University(首尔大学);Meta;Amazon(亚马逊);ShanghaiTech University(上海科技大学)
提出LAYS方法,通过径向不变的线共识投票,在无需精确位置的情况下实现亚度级偏航精度,显著提升未知偏航下的跨视角定位性能。
2026-07-07 cs.CV
X-LMC: Cross-View Spatiotemporal Collateral Circulation Scoring from DSA
Friedrich-Alexander-Universität, Erlangen-Nürnberg(弗里德里希-亚历山大-埃尔朗根-纽伦堡大学);University Hospital Zurich(苏黎世大学医院);University of Zurich(苏黎世大学)
该研究提出X-LMC跨视图时空深度学习框架,自动从DSA进行ASITN/SIR侧支评分,在134例M1闭塞患者多中心数据上优于基线,性能接近临床评分者间一致性,为卒中血流表型分析提供可复现基础。
2026-08-20 cs.CV
SketchDesc: Learning Local Sketch Descriptors for Multi-view Correspondence
City University of Hong Kong(香港城市大学);Hong Kong University of Science and Technology(香港科技大学);Zhejiang University(浙江大学);University of Surrey(萨里大学)
在本文中,我们研究的问题,多视图草图对应,我们采取的输入多个手绘草图与不同的意见,同一个对象和预测输出的语义之间的对应关系的草图。这个问题是具有挑战性的,因为在不同的视图对应点的视觉特征可以是非常不同的。为此,我们采取深度学习方法,从数据中学习一种新的局部草图描述符。我们通过为从3D形状合成的多视图线条图生成像素级对应关系来贡献训练数据集。为了处理草图的稀疏性和模糊性,我们设计了一种新的多分支神经网络,它集成了基于块的表示和多尺度策略来学习多视图草图之间的像素级对应关系。我们证明了我们所提出的方法的有效性与广泛的实验手绘草图和多视图线图呈现从多个3D形状数据集。
2020-08-10 cs.CV
V$^{2}$-SAM: Marrying SAM2 with Multi-Prompt Experts for Cross-View Object Correspondence
INSAIT, Sofia University “St. Kliment Ohridski”(INSAIT,索非亚大学);Tsinghua University(清华大学);Fudan University(复旦大学);East China Normal University(华东师范大学)
本文提出V2-SAM框架,通过两个互补的提示生成器将SAM2从单视角分割适应到跨视角对应,引入多专家设计和PCCS选择器,实现跨视角物体一致性的新方法。
2026-04-08 cs.CV
CAMEO: Correspondence-Attention Alignment for Multi-View Diffusion Models
KAIST AI(韩国科学技术院人工智能研究中心);NAVER AI Lab(NAVER人工智能实验室);SNU AIIS(延世大学人工智能研究所)
CAMEO通过几何对应监督注意力图,提升多视图扩散模型的训练效率和生成质量。
2025-12-02 cs.CV
Two view constraints on the epipoles from few correspondences
Weizmann Institute of Science(魏茨曼科学研究所);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
一般来说,需要至少7个点对应来计算视图之间的基本矩阵。我们使用相应的核线之间的交比不变性,源于核线单应性,得到一个简单的配方核线和相应的点之间的关系。我们将展示如何使用它来减少对极几何所需的点的数量时,一些关于核线的信息是可用的,并证明这与好友搜索应用程序。
2018-10-22 cs.CV
MAC-XA: Multi-view Anatomy-Correspondence Fusion for Coronary Stenosis Reporting from X-ray Angiography
Technical University of Munich(慕尼黑工业大学);German Heart Center Munich(慕尼黑德国心脏中心);Munich Center for Machine Learning(慕尼黑机器学习中心);German Centre for Cardiovascular Research, Munich Heart Alliance(德国心血管研究中心,慕尼黑心脏联盟);HELIOS Hospital West of Munich(慕尼黑西部黑利奥斯医院);relAI – Konrad Zuse School of Excellence in Reliable AI(relAI - 康拉德·楚泽可靠人工智能卓越学院)
研究冠状动脉X射线血管造影自动报告生成问题,提出将多视图狭窄报告重构成对齐约束聚合问题,引入合成血管造影生成策略及解剖对应模块,实验表明该方法提升对应一致性和狭窄报告质量。
2026-07-08 cs.CV
UniABG: Unified Adversarial View Bridging and Graph Correspondence for Unsupervised Cross-View Geo-Localization
针对无监督跨视角地理定位的伪标签噪声问题,提出双阶段框架UniABG,通过对抗视角桥接与图对应校准实现SOTA性能,在两个基准数据集上精度大幅提升,甚至超过部分有监督方法。
2025-11-15 cs.CV
MVDiffusion: Enabling Holistic Multi-view Image Generation with Correspondence-Aware Diffusion
Simon Fraser University(西蒙菲莎大学);Bytedance(字节跳动)
MVDiffusion提出一种对应感知的扩散方法,通过并行生成和跨视图注意力,实现从文本提示生成一致的多视图图像,解决误差累积问题,并在全景图及深度到图像生成任务中达到先进水平。
2023-12-25 cs.CV
See More, Match Better: Multi-Source Feature Fusion for Two-View Correspondence Learning
Nanjing University of Science and Technology(南京理工大学);People’s Daily Online(人民网);University of Science and Technology of China(中国科学技术大学)
提出TriMatch框架,融合几何、纹理语义和结构语义特征,通过语义引导调制和层次细化,提升重复结构等场景下的对应点鉴别能力。
2026-06-08 cs.CV
LeCoT: revisiting network architecture for two-view correspondence pruning
School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院)
本文提出双视图对应点修剪网络LeCoT,通过空间-通道融合Transformer模块和渐进式预测模块高效利用全局上下文信息,在多项几何任务中超越现有方法。
2025-11-10 cs.CV
Automated ARAT Scoring Using Multimodal Video Analysis, Multi-View Fusion, and Hierarchical Bayesian Models: A Clinician Study
University of Southern California(南加州大学)
本文提出一种自动化ARAT评分系统,融合多模态视频分析、多视角特征与分层贝叶斯模型,在脑卒中康复数据上实现89.0%验证准确率,并经临床医生验证其准确性与可用性。
2025-05-03 cs.AI cs.CV cs.HC
DualBEV: Unifying Dual View Transformation with Probabilistic Correspondences
Zhijia Technology(智加科技)
针对BEV感知中两类视图变换的各自缺陷,提出统一框架DualBEV,通过带三种概率度量的共享特征变换融合二者优势,无需Transformer即实现SOTA性能且效率比肩LSS。
2024-09-13 cs.CV
FOCUS -- Multi-View Foot Reconstruction From Synthetically Trained Dense Correspondences
Department of Engineering, University of Cambridge(剑桥大学工程系)
针对多视角足部重建需大量重叠图像的问题,提出FOCUS方法,通过扩展合成数据集SynFoot2、训练不确定性感知密集对应预测器及两种重建方法,实现少视角下的SOTA重建质量,且速度更快。
2025-02-10 cs.CV
From Correspondence to Actions: Human-Like Multi-Image Spatial Reasoning in Multi-modal Large Language Models
University of Tokyo(东京大学)
提出HATCH框架,通过补丁级空间对齐和动作-答案推理两个目标,提升多模态大模型在多图像空间推理中的性能,在三个基准上超越同规模基线。
2026-06-11 cs.CV
Object Pose Estimation from Monocular Image using Multi-View Keypoint Correspondence
Indian Institute of Science(印度科学学院)
了解2D图像中对象的几何形状和姿态对于广泛的现实世界应用来说是一个基本的必要条件。在深度神经网络的驱动下,最近的方法为物体姿态估计带来了显著的改进。然而,由于缺乏关键点/姿态标注的真实图像,因此它们无法有效地利用对象的3D结构信息。在这项工作中,我们提出了一种数据高效的方法,利用类内对象的几何规则性的姿态估计。首先,我们从简单的2D RGB图像中学习物体部分的姿态不变局部描述符。这些描述符,以及从固定的3D模板模型的渲染获得的关键点,然后用于生成给定的单眼真实图像的关键点对应图。最后,姿态估计网络使用这些对应映射来预测对象的3D姿态。该流水线被进一步扩展到多视图方法,该方法从3D模板模型的多个视图生成的对应集合中吸收关键点信息。多视角信息的融合显著提高了系统的几何理解能力,从而提高了姿态估计性能。此外,使用对应框架负责姿势不变的关键点描述符的学习也允许我们有效地缓解数据稀缺问题。这使我们的方法能够在多个真实图像视点估计数据集上实现最先进的性能,例如Pascal 3D+和ObjectNet 3D。为了鼓励可重复的研究,我们已经发布了我们提出的方法的代码。
2018-09-03 cs.CV
CorrespondentDream: Enhancing 3D Fidelity of Text-to-3D using Cross-View Correspondences
POSTECH(浦项科技大学);ByteDance(字节跳动)
针对零样本文本到3D模型几何保真度不足的问题,提出CorrespondentDream方法,利用扩散U-Net生成的无标注跨视图对应关系优化NeRF,生成更符合常识、保真度更高的3D模型,并通过实验和用户研究验证了效果。
2024-09-16 cs.CV
Person Re-identification with Correspondence Structure Learning
Shanghai Jiao Tong University(上海交通大学);Zhengzhou University(郑州大学);Nanjing University(南京大学);Microsoft Research Asia(微软亚洲研究院)
本文讨论的问题,由于相机的角度变化或人体姿态变化的人重新识别的空间错位处理。我们首先介绍了一种基于提升的方法来学习对应结构,该结构指示来自目标相机对的图像之间的逐块匹配概率。学习的对应结构不仅可以捕获相机之间的空间对应模式,而且还可以处理各个图像中的视点或人体姿势变化。我们进一步介绍了一个基于全局的匹配过程。它集成了一个全局匹配约束的学习对应结构,以排除跨视图的错位在图像补丁匹配过程中,从而实现了更可靠的图像之间的匹配得分。在不同数据集上的实验结果证明了该方法的有效性。
2015-04-23 cs.CV
A Minimal Solution for Two-view Focal-length Estimation using Two Affine Correspondences
MTA SZTAKI(匈牙利科学院计算机与自动化研究所)
提出了一种利用两个仿射对应关系的最小解来估计两个半校准相机之间的公共焦距和基本矩阵-除了公共焦距之外的已知内参数。据我们所知,这个问题还没有解决。所提出的方法扩展了基于点对应的技术与来自局部仿射变换的线性约束。所得到的多元多项式系统是有效地解决了隐变量技术。观察局部仿射的几何,我们引入新的条件消除无效根。为了选择最好的一个剩余的候选人,根选择技术提出了优于最近的,特别是在高电平噪声的情况下。所提出的两点算法进行了验证的合成数据和104公开可用的真实图像对。文中还介绍了该解决方案的Matlab实现。
2017-06-06 cs.CV
Mammography Dual View Mass Correspondence
IBM Research(IBM研究院)
标准的乳腺癌筛查涉及为每个乳房采集两个乳房X射线摄影投影。通常,两种视图的比较支持肿瘤检测和定位的挑战性任务。我们引入了一种深度学习、基于块的Siamese网络,用于双视图乳腺X射线摄影中的病变匹配。我们的本地拟合方法生成一个联合补丁对表示和比较与两个视图之间的共享配置。我们在标准数据集上使用该网络进行了一系列全面的实验,其中包括大型数字数据库筛查乳腺X射线摄影(DDSM)。分析了不同类型数据集之间的网络迁移学习效果,并将基于网络的匹配与基于模板匹配的欧氏距离进行了比较。最后,我们评估了匹配网络在完整检测管道中的贡献。实验结果表明,使用我们的方法提高检测精度的承诺。
2018-07-02 cs.CV
Learning Cross-View Object Correspondence via Cycle-Consistent Mask Prediction
Tsinghua University(清华大学);WeChat Vision, Tencent Inc.(腾讯微信视觉实验室);USTC(中国科学技术大学)
本文提出基于条件二值分割的框架,通过循环一致性训练目标视角预测掩码并重建源视角掩码,实现无标注的自监督学习,提升跨视角物体对应性能。
2026-03-25 cs.CV
C3Po: Cross-View Cross-Modality Correspondence by Pointmap Prediction
Cornell University(康奈尔大学)
C3Po通过点图预测实现跨视角和跨模态的对应关系,提升了几何推理的性能和准确性。
2026-01-11 cs.CV
Towards Establishing Dense Correspondence on Multiview Coronary Angiography: From Point-to-Point to Curve-to-Curve Query Matching
University of Pennsylvania(宾夕法尼亚大学);Siemens Healthineers(西门子医疗)
针对多视图冠脉造影2D投影缺3D信息、有视觉歧义的问题,提出基于CCTA模拟数据的点到点再到曲线到曲线的查询匹配方法,建立密集对应关系,在1260组图像对上验证了可行性。
2023-12-18 cs.CV
COG: Confidence-aware Optimal Geometric Correspondence for Unsupervised Single-reference Novel Object Pose Estimation
Institute of Science Tokyo(东京科学研究院);RIKEN(日本研究机构);Tohoku University(东北大学)
COG通过置信度感知最优传输方法,实现无监督单参考新物体姿态估计,提升对应关系鲁棒性与姿态估计稳定性。
2026-02-28 cs.CV
A Cross-Scale Hierarchical Transformer with Correspondence-Augmented Attention for inferring Bird's-Eye-View Semantic Segmentation
Zhejiang University(浙江大学)
针对多相机图像推断 BEV 语义分割中的尺度差距与多视图融合问题,提出跨尺度层级 Transformer 和对应增强注意力,实现最先进性能。
2023-08-17 cs.CV
Improving Semantic Correspondence with Viewpoint-Guided Spherical Maps
University of Edinburgh(爱丁堡大学)
本文提出利用弱几何球面先验为自监督特征补充三维理解,以改进语义对应估计,在SPair-71k和AwA数据集上有效区分对称视图与重复部件并实现跨类别泛化。
2024-07-05 cs.CV
MuViSeg: Multi-View Segment Correspondences from Dense Geometry Priors
Applied AI Institute(应用人工智能研究所)
研究针对经典图像对应与对象级推理的差距,基于段级匹配范式提出三个学习匹配头,包括LightGlue风格注意力头、DPT风格多尺度融合模块及多视图扩展,在多个数据集和任务中取得显著性能提升。
2026-10-06 cs.CV