EG-Gaussian: Epipolar Geometry and Graph Network Enhanced 3D Gaussian Splatting
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州))
针对3D高斯溅射(3DGS)在图像重建3D场景时存在的初始化不准确和稀疏视图下高斯扁平化问题,提出融合极线几何与图网络的EG-Gaussian框架,显著提升重建精度。
2025-04-18 cs.CV
An Epipolar Line from a Single Pixel
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
从具有非常不同的视点的相机之间的特征点计算对极几何通常容易出错,因为对象的外观在图像之间可能变化很大。对于这种情况,已经表明,使用从视频提取的运动可以实现比使用静态图像好得多的结果。本文在场景动态性的基础上扩展了这些早期的工作。在本文中,我们提出了一种新的方法来计算核几何从视频流,利用以下观察:对于图像A中的像素p,所有像素对应于图像B中的p是在同一核线。等价地,通过摄像机A的中心和p的直线的像是B中的核线。因此,当摄像机A和B同步时,在时刻t1和t2投影到摄像机A中的相同像素p的两个对象的瞬时图像位于摄像机B中的核线上。在此基础上实现了对极线的快速精确计算。基于我们的寻找核线的方法校准相机比以前的方法更快,更强大。
2018-12-15 cs.CV
A General Preprocessing Method for Improved Performance of Epipolar Geometry Estimation Algorithms
University of Haifa(海法大学)
本文提出了一种确定性的预处理算法,其输出可以作为大多数最先进的极线几何估计算法的输入,大大提高了它们的结果。他们现在能够在以前失败的困难案件中取得成功。该算法由三个步骤组成,其范围从局部到全局变化。在局部步骤中,它从一对图像中提取局部特征(例如SIFT)。来自每个图像的相似特征被聚类,并且聚类被匹配,从而产生大量的推定匹配。在第二步中,成对的空间上接近的特征(称为2个关键点)被匹配并由分类器进行排序。选择具有最高等级的2个关键点匹配。在全局步骤中,从每两个2keypoint匹配计算基本矩阵。由于相当多的矩阵是从正确的匹配中生成的,因此它们被用来对第一步中找到的假定匹配进行排名。对于每个匹配的基本矩阵的数量,它近似满足极线约束,计算。这组匹配与由标准方法生成的推定匹配相结合,并且由分类器估计它们正确的概率。然后将这些作为输入提供给最先进的对极几何估计算法,例如BEEM、BLOGS和USAC,从而产生比原始算法好得多的结果。这一点在对来自六个公开数据集的近900个图像对进行的广泛测试中得到了证明。
2015-01-27 cs.CV
EpiDiffVO: Geometry-Aware Epipolar Diffusion for Robust Visual Odometry
International Institute of Information Technology Bangalore(国际信息科技学院班加罗尔)
本文提出了一种稀疏视差匹配框架,通过优化几何一致性来减少冗余,并结合视差扩散过程和图神经网络实现高效的视觉里程计。
2026-05-19 cs.CV
GeoBlur: Epipolar Geometry Estimation from a Single Motion-Blurred Image
Computer Vision Laboratory, Linköping University, Sweden(链接öping大学计算机视觉实验室)
本文提出从单张运动模糊图像中鲁棒估计基础矩阵的方法,通过利用模糊图像中的 smear 路径进行时间实例对应,解决经典方法如8点算法无法处理的时间方向模糊问题。
2026-09-25 cs.CV
Multi-view dense image matching with similarity learning and geometry priors
Univ Gustave Eiffel, LASTIG, ENSG-IGN(古斯塔夫·埃菲尔大学,LASTIG,ENSG-IGN);Thales(泰雷兹)
本研究提出MV-DeepSimNets多视图相似性学习深度网络套件,结合在线几何先验与平面扫描构建正则化代价体,无需专用多视图训练集即可提升重建效果,泛化性优异且已集成至MicMac软件。
2025-05-16 cs.CV
Camera Calibration from Dynamic Silhouettes Using Motion Barcodes
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
计算具有非常不同的视点的相机之间的对极几何通常是有问题的,因为难以找到匹配点。在这些情况下,已经提出使用来自场景中的动态对象的信息来建议点和线对应。我们提出了约两个数量级的速度,以及增加的鲁棒性和准确性,从动态轮廓计算极几何的方法。这种改进是基于一个新的时间签名:运动条形码的线条。运动条形码是用于线的二进制时间序列,其针对每一帧指示所述线上的至少一个前景像素的存在。两个对应的对极线的运动条形码非常相似,因此对对应的对极线的搜索可以仅限于具有相似条形码的线。运动条形码的使用导致在计算对极几何结构中增加的速度、准确度和鲁棒性。
2017-01-08 cs.CV
Structured Epipolar Matcher for Local Feature Matching
University of Science and Technology of China(中国科学技术大学)
本文提出结构化极线匹配器SEM,通过结构化特征提取器建模像素与锚点相对位置关系,并利用极线注意力与匹配过滤不相关区域,在五个标准基准上取得优于现有方法的局部特征匹配性能。
2023-04-13 cs.CV
RePLAy: Remove Projective LiDAR Depthmap Artifacts via Exploiting Epipolar Geometry
Michigan State University(密歇根州立大学)
针对LiDAR投影深度图伪影问题,提出无参数解析方案RePLAy,利用虚拟LiDAR相机与RGB相机的极线几何遮挡去除伪影,显著提升单目深度估计与3D目标检测性能。
2024-07-27 cs.CV
EPINET: A Fully-Convolutional Neural Network Using Epipolar Geometry for Depth from Light Field Images
Yonsei University(延世大学);KAIST(韩国科学技术院)
光场相机捕获空间中光线的空间和角度特性。由于其特性,人们可以在不受控制的照明环境中计算光场的深度,这比有源传感设备有很大的优势。从光场计算的深度可以用于许多应用,包括3D建模和重新聚焦。然而,来自手持相机的光场图像具有非常窄的基线和噪声,使得深度估计困难。已经提出了任何方法来克服光场深度估计的这些限制,但是在这些方法中,在精度和速度之间存在明显的折衷。本文介绍了一种基于全卷积神经网络的快速准确的光场深度估计方法。我们的网络是通过考虑光场几何形状来设计的,我们还通过提出光场特定的数据增强方法来克服训练数据的缺乏。我们在HCI 4D光场基准测试中的大多数指标上都达到了最高排名,并且我们还证明了所提出的方法在真实世界光场图像上的有效性。
2018-04-06 cs.CV
Recovering Epipolar Geometry from Images of Smooth Surfaces
The Technion(以色列理工学院)
我们提出了四种方法来恢复核几何从图像的光滑表面。在用于恢复对极几何的现有方法中,使用在这样的图像中找不到的对应特征点。第一种方法是基于找到由照明创建的对应特征点(ICPM -照明特征点方法(PM))。第二种方法是基于相应的切点创建的切线从核线的光滑体(OTPM -轮廓切线PM)。这两种方法都是精确的,对真实图像给出正确的结果,因为相应的照明特征点的位置和相应的轮廓是已知的,误差很小。但是第二种方法要么局限于特殊类型的场景,要么局限于受限的相机运动。我们还考虑了两种方法,被称为CCPM(曲线特征PM)和CTPM(曲线切线PM),用于搜索对极几何的图像的光滑体的基础上的一组水平曲线与恒定的照明强度。CCPM方法是基于等照度曲线上的对应点的搜索与这些线之间的曲率的相关性的帮助。CTPM方法是根据等照度曲线的切线核线的性质,将其映射为对应等照度曲线的切线核线。标准方法(SM)基于几乎精确对应点对的知识。该方法已实施和测试SM对真实图像。不幸的是,最后两种方法只给我们一个有限的子集的解决方案,包括“好”的解决方案。例外是“无穷远的核线”。其主要原因是光滑天体的等亮度假设不准确。但轮廓和光照特征点不受此误差的影响。因此,第一对方法给出了精确的结果。
2012-07-19 cs.AI cs.CV
DELS-MVS: Deep Epipolar Line Search for Multi-View Stereo
Graz University of Technology(格拉茨技术大学);Sony Europe B.V.(索尼欧洲公司)
我们提出了一种基于深度学习的多视图立体视觉(MVS)的新方法。对于参考图像中的每个像素,我们的方法利用深度架构直接沿着对应的核线搜索源图像中的对应点。我们将我们的方法称为DELS-MVS:深度对极线搜索多视图立体视觉。深度MVS中的先前工作在深度空间内选择感兴趣的范围,将其离散化,并且根据所得到的深度值对极线进行采样:这可能导致对极线的不均匀扫描,从而导致图像空间的不均匀扫描。相反,我们的方法直接在极线上工作:这保证了图像空间的均匀扫描,并避免了选择感兴趣的深度范围的需要,这通常是先验未知的,并且可以从场景到场景变化很大,以及需要适当的离散化的深度空间。事实上,我们的搜索是迭代的,这避免了建立成本卷,存储和处理成本都很高。最后,我们的方法对估计的深度图进行鲁棒的几何感知融合,利用每个深度旁边预测的置信度。我们在ETH 3D、Tanks and Temples和DTU基准上测试了DELS-MVS,并取得了与最先进方法相比具有竞争力的结果。
2022-12-13 cs.CV
Two view constraints on the epipoles from few correspondences
Weizmann Institute of Science(魏茨曼科学研究所);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
一般来说,需要至少7个点对应来计算视图之间的基本矩阵。我们使用相应的核线之间的交比不变性,源于核线单应性,得到一个简单的配方核线和相应的点之间的关系。我们将展示如何使用它来减少对极几何所需的点的数量时,一些关于核线的信息是可用的,并证明这与好友搜索应用程序。
2018-10-22 cs.CV
Synthesizing Consistent Novel Views via 3D Epipolar Attention without Re-Training
ETH Zurich(苏黎世联邦理工学院);ETH AI Center(苏黎世联邦理工学院人工智能中心);NVIDIA(英伟达公司);Microsoft(微软公司);UC Merced(加州大学默塞德分校)
本文提出一种无需训练或微调的3D极线注意力方法,通过利用极线几何检索参考视角的重叠信息,显著提升扩散模型生成新视角的一致性,并增强下游三维重建性能。
2025-02-25 cs.CV
When Epipolar Constraint Meets Non-local Operators in Multi-View Stereo
Huazhong University of Science and Technology(华中科技大学)
针对 Transformer 在 MVS 中全图非局部注意力计算开销大的问题,本文利用对极几何提出极线对约束与 Epipolar Transformer,构建 ET-MVSNet,在 DTU 和 Tanks-and-Temples 上高效达到 SOTA。
2023-09-29 cs.CV
Fundamental Matrices from Moving Objects Using Line Motion Barcodes
The Hebrew University of Jerusalem(希伯来大学)
计算具有非常不同的视点的相机之间的对极几何通常是非常困难的。物体的外观变化很大,很难找到相应的特征点。现有方法使用单个移动对象的轮廓的凸包上的点来搜索对应的核线。当场景包含多个移动对象时,这些方法将失败。本文通过使用“运动条形码”,线条的时间签名,将以前的工作扩展到具有多个移动对象的场景。对应的核线具有相似的运动条形码,并且通过它们的运动条形码的相似性找到对应的核线的候选对。与以前的方法一样,我们假设相机相对静止,并且已经使用背景减除提取了移动对象。
2016-07-26 cs.CV
Relative Pose from SIFT Features
ETH Zurich(苏黎世联邦理工学院);Czech Technical University in Prague(布拉格捷克理工大学)
本文提出了对极几何与方向和尺度协变的几何关系,例如,SIFT,特征。我们推导出一个新的线性约束关系的未知元素的基本矩阵和方向和规模。该方程可以与公知的对极约束一起使用,例如,从四个SIFT对应中估计基本矩阵,从三个SIFT对应中估计本质矩阵,并从三个对应中求解半校准情况。需要比众所周知的基于点的方法更少的对应关系(例如,5PT、6PT和7PT解算器)使类似于RANSAC的随机稳健估计显著更快。在合成环境中的一些问题和公开的真实世界的数据集上超过80000图像对所提出的约束进行了测试。它在处理时间方面优于最先进的技术,同时通常导致更准确的结果。
2022-03-15 cs.CV
Multi-view object pose estimation from correspondence distributions and epipolar geometry
University of Southern Denmark(南丹麦大学);Maersk Mc-Kinney Moller Institute(马士基·麦金尼·穆勒研究所)
在许多涉及刚性物体操纵的自动化任务中,必须获取物体的姿态。使用单个RGB或RGB-D传感器的基于视觉的姿态估计由于其广泛的适用性而特别流行。然而,单视图姿态估计固有地受到深度模糊性和由各种现象(如遮挡、自遮挡、反射等)施加的模糊性的限制。来自多个视图的信息的聚合可以潜在地解决这些模糊性,但是当前最先进的多视图姿态估计方法仅使用多个视图来聚合单视图姿态估计,并且因此依赖于获得良好的单视图估计。我们提出了一种多视图姿态估计方法,该方法聚合了来自多个视图的2D-3D分布,用于初始估计和可选的细化。我们的方法使用学习的2D-3D对应分布在极线约束下对3D-3D对应进行概率采样,这些分布被隐式训练以尊重视觉模糊性,例如对称性。对T-LESS数据集的评估表明,与最好的单视图方法相比,我们的方法将姿态估计误差降低了80-91%,并且我们在T-LESS上展示了最先进的结果,即使与使用五视图和八视图的方法相比。
2023-03-23 cs.CV cs.RO
Patch2Pix: Epipolar-Guided Pixel-Level Correspondences
Technical University of Munich(慕尼黑工业大学);CIIRC Czech Technical University in Prague(布拉格捷克技术大学CIIRC)
用于视觉定位的经典匹配流水线通常涉及三个步骤:(i)局部特征检测和描述,(ii)特征匹配,以及(iii)离群值拒绝。最近出现的对应网络提出在单个网络内执行这些步骤,但由于内存瓶颈而遭受低匹配分辨率。在这项工作中,我们提出了一个新的角度来估计对应的检测到细化的方式,我们首先预测补丁级匹配的建议,然后完善它们。我们提出了Patch2Pix,一种新的细化网络,通过从这些建议定义的局部区域回归像素级匹配,并联合拒绝离群匹配与置信度得分来细化匹配建议。Patch2Pix是弱监督的,以学习与输入图像对的对极几何一致的对应关系。我们表明,我们的细化网络显着提高了图像匹配,单应性估计和定位任务的对应网络的性能。此外,我们还证明了我们的学习细化可以推广到完全监督的方法,而无需重新训练,这使我们获得了最先进的本地化性能。该代码可在https://github.com/GrumpyZhou/patch2pix上获得。
2021-03-26 cs.CV
Epipolar Geometry based Learning of Multi-view Depth and Ego-Motion from Monocular Sequences
TCS Research & Innovation(塔塔咨询服务研究与创新中心)
近年来,预测单眼深度和自我运动的深度方法由于其从单眼图像产生密集深度的能力而得到了发展。它们背后的主要思想是通过将一个视图扭曲成另一个视图来优化图像序列上的光度一致性,类似于直接视觉里程计方法。一个主要缺点是这些方法从单个视图推断深度,这可能无法有效地捕获像素之间的关系。此外,简单地最小化光度损失并不能确保适当的像素对应性,这是准确的深度和姿态估计的关键因素。相比之下,我们提出了一个2视图深度网络来从连续帧中推断场景深度,从而学习像素间的关系。为了确保更好的对应关系,从而更好的几何理解,我们建议将极线约束,使学习更几何声音。我们使用使用Nist'er的五点算法获得的基本矩阵来强制执行有意义的几何约束,而不是将其用作训练标签。与最先进的方法相比,这使我们能够使用更少的可训练参数。所提出的方法产生更好的深度图像和姿态估计,从而以更好的方式捕获场景结构和运动。这样的几何约束学习即使在简单地最小化光度误差将失败的情况下也能成功地执行。
2019-01-07 cs.CV cs.RO
Drift-Resistant Navigation World Model with Anchored Epipolar Guidance
EPFL(瑞士联邦理工学院)
提出一种抗漂移导航世界模型,通过锚定引导滚动和双向对极几何约束,同时减轻感知漂移和几何漂移,提升长期视觉质量、几何一致性和多视图连贯性。
2026-05-23 cs.CV cs.RO
NexusGS: Sparse View Synthesis with Epipolar Depth Priors in 3D Gaussian Splatting
Ocean University of China(中国海洋大学);Singapore Management University(新加坡管理大学);South China University of Technology(华南理工大学)
针对稀疏视图下3DGS新视角合成监督不足的问题,提出NexusGS方法,通过极线深度先验构建密集点云初始化策略,提升深度精度与渲染质量,超越现有最优方法。
2025-03-24 cs.CV
Multi-person 3D Pose Estimation in Crowded Scenes Based on Multi-View Geometry
The Johns Hopkins University(约翰斯·霍普金斯大学);National University of Singapore(新加坡国立大学)
核线约束是当前多人多摄像机三维人体姿态估计方法中特征匹配和深度估计的核心。尽管在稀疏的人群场景中,这一提法令人满意的性能,其有效性经常受到挑战,在密集的人群情况下,主要是由于两个来源的模糊性。第一个是由关节和极线之间的欧几里得距离提供的简单线索导致的人类关节的不匹配。第二个是缺乏鲁棒性,从天真的制定的问题作为一个最小二乘最小化。在本文中,我们从多人3D姿态估计公式出发,而是将其重新公式化为人群姿态估计。我们的方法包括两个关键组成部分:一个快速交叉视图匹配的图形模型,和一个最大后验概率(MAP)估计重建的三维人体姿势。我们证明了我们所提出的方法的有效性和优越性在四个基准数据集。
2020-07-21 cs.CV
Slope-Guided Mamba and Angular-Refined Transformer for Light Field Super-Resolution
Hangzhou International Innovation Institute of Beihang University(北京航空航天大学杭州国际创新研究院)
提出SMART混合网络,通过斜率引导的Mamba和角度精炼的Transformer,解决光场超分辨率中空间-角度解耦和扫描-几何失配问题,在五个基准上取得最优性能。
2026-07-02 cs.CV
Guided Image Feature Matching using Feature Spatial Order
本文将特征空间顺序概念集成到渐进式匹配框架中,结合对极几何过滤不必要的特征匹配,并提出图像对齐方法消除旋转影响,显著提升了图像特征匹配的效率和精度。
2025-10-12 cs.CV eess.IV
Camera Calibration by Global Constraints on the Motion of Silhouettes
Weizmann Institute of Science(魏茨曼科学研究学院)
我们解决的问题,极几何使用的运动轮廓。这些方法匹配跨视图的极线或边界点,然后将其用作假定对应的集合。我们引入了一种方法,通过显着减少假定匹配中的离群值的数量,将最先进的方法的性能提高了两个数量级。我们将边界点的对应问题建模为约束流优化,要求它们在连续帧上的坐标之间存在微小差异。我们的方法被制定为一个线性规划,我们表明,由于我们的问题的性质,它可以有效地解决一个迭代的方式。我们的方法在四个标准数据集上进行了验证,在非常不同的视角上提供了准确的校准。
2017-04-14 cs.CV
CSfM: Community-based Structure from Motion
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
运动恢复结构方法可以大致分为两类:增量方法和全局方法。虽然增量方式对异常值具有鲁棒性,但它存在误差累积和计算量大的问题。全局方式具有同时估计所有相机姿态的优点,但它通常对极几何异常值敏感。在本文中,我们提出了一个自适应的社区为基础的SfM(CSfM)方法,同时考虑到鲁棒性和效率。首先,对极几何图被划分成单独的社区。然后,并行地为每个社区解决重建问题。最后,重建结果合并的一种新的全球相似性平均方法,解决了三个凸$L1$优化问题。实验结果表明,该方法在计算效率方面优于许多最先进的全局SfM方法,同时与许多最先进的增量SfM方法相比,具有相似或更好的重建精度和鲁棒性。
2018-03-23 cs.CV
TransFusion: Cross-view Fusion with Transformer for 3D Human Pose Estimation
University of California, Irvine(加州大学欧文分校);Facebook(脸书);Amazon(亚马逊)
估计每个视图中的2D人体姿态通常是校准的多视图3D姿态估计中的第一步。但是2D姿态检测器的性能受到诸如遮挡和倾斜视角等具有挑战性的情况的影响。为了解决这些挑战,以前的工作从对极几何中导出不同视图之间的点对点对应关系,并利用这些对应关系来合并预测热图或特征表示。而不是预测后的合并/校准,在这里,我们介绍了一个Transformer框架的多视图3D姿态估计,旨在通过整合来自不同视图的信息,直接提高个人的2D预测。受以前的多模态Transformers的启发,我们设计了一个统一的Transformer架构,名为TransFusion,融合来自当前视图和相邻视图的线索。此外,我们提出了核线场的概念,编码到Transformer模型的三维位置信息。由对极场引导的3D位置编码提供了对不同视图的像素之间的对应性进行编码的有效方式。在Human 3.6M和Ski-Pose上的实验表明,与其他融合方法相比,该方法具有更高的效率和一致的改进。具体来说,我们在Human 3.6M上实现了25.8 mm MPJPE,仅使用256 x 256分辨率的5 M参数。
2021-12-09 cs.CV
A Light Touch Approach to Teaching Transformers Multi-view Geometry
University of Oxford(牛津大学)
提出一种利用对极线引导Transformer交叉注意力图的“轻触”方法,在无需测试时相机姿态信息的情况下,有效提升了多视图几何任务中姿态不变的对象实例检索性能。
2023-04-02 cs.AI cs.CV cs.LG
ACCURATE: Arbitrary-shaped Continuum Reconstruction Under Robust Adaptive Two-view Estimation
Global Institute of Future Technology, Shanghai Jiao Tong University(未来技术全球研究院,上海交通大学)
本文提出ACCURATE框架,结合图像分割神经网络与几何约束拓扑遍历算法,实现对任意形状连续体的高精度重建,实验表明在模拟和真实数据集上均达到亚毫米精度。
2026-03-08 cs.CV cs.RO
Rectifying Geometry-Induced Similarity Distortions for Real-World Aerial-Ground Person Re-Identification
Instituto de Telecomunicações(电信研究所);Department of Computer Science, Universidade da Beira Interior(计算机科学系,贝拉内尔内大学)
本文提出GIQT模块,通过校正几何诱导的相似性失真,提升空天地人重识别在极端几何条件下的鲁棒性。
2026-02-25 cs.CV
Good Keypoints for the Two-View Geometry Estimation Problem
Skolkovo Institute of Science and Technology(斯克尔科沃科学与技术研究所);Slamcore
提出一种用于两视图几何估计的关键点评分理论模型,明确优质关键点需具备可重复性和低测量误差,并据此设计了 BoNeSS-ST 检测器,在单应性估计任务上优于现有自监督方法。
2025-05-30 cs.CV
Geometry-aware Similarity Learning on SPD Manifolds for Visual Recognition
Key Lab of Intelligent Information Processing of Chinese Academy of Sciences (CAS), Institute of Computing Technology (ICT)(中国科学院智能信息处理重点实验室,计算技术研究所);Computer Vision Laboratory, Swiss Federal Institute of Technology (ETH)(瑞士联邦理工学院计算机视觉实验室)
对称正定矩阵(SPD)已被广泛用于许多视觉识别任务中的数据表示。成功的主要原因是学习判别SPD矩阵编码的基础SPD流形的黎曼几何。本文提出了一种几何感知的SPD相似性学习(SPDSL)框架,通过直接追求列满秩的流形-流形变换矩阵来学习区分性SPD特征。具体地说,通过利用固定秩半正定(PSD)矩阵流形的黎曼几何,我们提出了一种新的解决方案,以减少优化列满秩变换矩阵的空间上的PSD流形上的优化具有良好的黎曼结构。在这种解决方案下,我们利用一种新的监督SPD相似性学习技术,通过将选定SPD数据对的相似性回归到目标SPD流形上的地面真实相似性来学习转换。为了优化所提出的目标函数,我们进一步推导出PSD流形上的算法。三个视觉分类任务的评价表明,所提出的方法比现有的基于SPD的判别学习方法的优势。
2016-08-17 cs.CV
Two-View Geometry Scoring Without Correspondences
Niantic(Niantic公司);University of Oxford(牛津大学);University College London(伦敦大学学院)
本文提出 FSNet,通过对极注意力直接评估图像对与候选基础矩阵的位姿误差,无需稀疏对应点,并可嵌入 RANSAC,在少匹配或不可靠匹配场景及与 MAGSAC++ 结合时取得先进性能。
2023-06-02 cs.CV
From Correspondences to Pose: Non-minimal Certifiably Optimal Relative Pose without Disambiguation
I3A, University of Zaragoza(萨拉戈萨大学I3A研究所)
本文提出一种无需本质矩阵消歧的非最小相对位姿估计方法,将问题建模为QCQP并引入可认证全局最优约束,通过合成与真实实验验证其有效性、效率和准确性。
2024-03-27 cs.CV
Textured mesh Quality Assessment using Geometry and Color Field Similarity
Shanghai Jiao Tong University(上海交通大学);University of Missouri–Kansas City(密苏里大学-堪萨斯城分校)
针对现有纹理网格质量评估方法准确性与鲁棒性不足的问题,提出基于点的场网格质量指标FMQM,利用几何与颜色场提取四类感知相关特征,在三个基准数据集上超越SOTA且计算效率高。
2025-05-16 cs.CV cs.GR cs.MM
Virtual Correspondence: Humans as a Cue for Extreme-View Geometry
Massachusetts Institute of Technology(麻省理工学院);Waabi;University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
从极端视图图像中恢复相机的空间布局和场景的几何形状是计算机视觉中的一个长期挑战。主流的3D重建算法通常采用图像匹配范例,并假设场景的一部分在图像之间是共同可见的,当输入之间几乎没有重叠时,性能很差。相比之下,人类可以通过形状的先验知识将一个图像中的可见部分与另一个图像中相应的不可见组件相关联。受此启发,我们提出了一个新的概念,称为虚拟通信(VC)。VC是来自其相机射线在3D中相交的两个图像的一对像素。与经典对应类似,VC符合对极几何;与经典对应不同,VC不需要跨视图共同可见。因此,即使图像不重叠,也可以建立和利用VC。我们介绍了一种方法来找到虚拟的对应关系的基础上,在现场的人。我们展示了VC如何与经典的束调整无缝集成,以在极端视图中恢复相机姿势。实验表明,我们的方法显着优于国家的最先进的相机姿态估计方法在具有挑战性的情况下,是在传统的密集捕捉设置相媲美。我们的方法还释放了潜在的多个下游任务,如场景重建从多视图立体视觉和新的视图合成在极端视图的情况下。
2022-06-16 cs.CV cs.RO
Multiview Differential Geometry of Curves
Brown University(布朗大学)
由于提取可靠点特征的方法和射影几何的关键发展,多视图几何领域在重建和校准方面取得了巨大进展。然而,点特征在某些应用中不可用,并导致非结构化点云重建。一般的图像曲线提供了一个互补的功能时,关键点是稀缺的,并导致在3D曲线几何,但面临的挑战没有解决的点和代数曲线的通常的投影几何。我们解决这些挑战奠定了理论基础的框架的基础上微分几何的一般曲线,包括静止曲线,闭塞的轮廓,和非刚性曲线,针对立体对应,相机估计(包括校准,姿态,和多视图极几何),和三维重建给定的测量图像曲线。通过将以前的结果收集到一个内聚理论中,新的结果成为可能,产生了三个贡献。首先,我们从基础空间曲线(切线,曲率,曲率导数,挠率)导出图像曲线(切线,曲率,曲率导数)的微分几何。其次,我们从两条相应的镜像曲线的微分几何导出空间曲线的微分几何。第三,由摄像机运动和空间曲线的微分几何和运动导出图像曲线的微分运动。这种理论的可用性,使新的基于曲线的多视图重建和摄像机估计系统,以增强现有的基于点的方法。该理论已被用于重建“3D曲线草图”,从局部曲线几何形状和跟踪确定相机姿态;其他发展正在进行中。
2016-04-27 cs.CG cs.CV cs.GR
Beyond Decision Boundaries: Relational Geometry Attacks on Contrastive Embedding Manifolds
The University of Alabama at Birmingham(阿拉巴马大学伯明翰分校);Texas A&M University(德克萨斯农工大学)
本文提出几何感知对抗攻击框架,将对比系统攻击转化为流形层面关系破坏,训练轻量级生成器实现实时攻击,使Markmatch验证系统准确率从95.4%降至38.6%并反转正负样本相似性结构。
2026-08-12 cs.AI cs.CV
Anchor Divergence for Semantic Geometry in Contrastive Learning
University of Chicago(芝加哥大学)
本文提出锚点散度方法,通过对比学习、指数族与信息几何的对应,在固定表示上定义上下文相关的语义几何,实验证明其能高效指定特定语义相似性。
2026-10-07 cs.AI cs.CV cs.LG
Transformer Geometry Observatory TGO-II: Representational Similarity Observatory
Department of Electronics Engineering Sardar Vallabhai National Institute of Technology (SVNIT), Surat, India(电子工程系萨达尔·瓦拉布希国家理工学院(SVNIT),印度萨拉特)
提出TGO-II框架,通过CKA、SVCCA、TwoNN-ID和token协方差分析,发现ViT训练中表征专业化增强、内在维度增加且token交互结构保持,挑战了表征复杂性源于token独立的假设。
2026-07-03 cs.CV cs.LG
Centering before Pruning: Lightweight Geometry Correction for Diversity-Based Visual Token Pruning in LVLMs
Inha University(仁荷大学)
针对LVLMs视觉标记序列冗余导致推理成本高的问题,提出Cen-Prune方法,通过保留原始空间独特性并结合中心化余弦相似度,提升了现有多样性视觉标记修剪器的性能。
2026-09-01 cs.AI cs.CV
ECOKV: Geometry-Aware KV Cache Eviction via Complementary Diversity Metrics
MediaTek Inc.(联发科股份有限公司);National Taiwan University(台湾大学)
针对多模态大模型KV缓存内存开销问题,提出ECOKV方法,结合欧氏距离与余弦相似度的几何感知复合度量及自适应加权,缩减观察窗口,实现高效缓存驱逐并达到最先进性能。
2026-09-09 cs.AI cs.CL cs.CV