Homography Decomposition Networks for Planar Object Tracking
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）；East China Normal University（华东师范大学）
平面目标跟踪在机器人、视觉伺服和视觉SLAM等人工智能应用中起着重要作用。虽然以前的平面跟踪器在大多数情况下都能很好地工作，但由于两个连续帧之间的快速运动和大的变换，这仍然是一项具有挑战性的任务。这一问题的根本原因是当单应性参数空间的搜索范围变大时，这种非线性系统的条件数不稳定地变化。为此，我们提出了一种新的单应性分解网络（HDN）的方法，大大减少和稳定的条件数分解成两组的单应性变换。具体而言，相似性变换估计器被设计为通过深度卷积等变网络来鲁棒地预测第一组。通过利用具有高置信度的尺度和旋转估计，通过简单的回归模型估计残差变换。此外，所提出的端到端网络以半监督的方式进行训练。大量的实验表明，我们提出的方法优于国家的最先进的平面跟踪方法在具有挑战性的POT，UCSB和POIC数据集上的大幅度。
2022-02-20 cs.CV cs.RO
Road-aware Monocular Structure from Motion and Homography Estimation
Horizon Robotics（地平线机器人）；China University of Geosciences（中国地质大学）
运动恢复结构（SFM）和地平面单应性估计对于自动驾驶和其他机器人应用至关重要。最近，在分别将深度神经网络用于SFM和单应性估计方面取得了很大进展。然而，直接应用现有的方法进行地平面单应性估计可能会失败，因为道路往往是场景的一小部分。此外，深度SFM方法的性能仍然不如传统方法。在本文中，我们提出了一种方法，可以学习以端到端的方式解决这两个问题，从而提高两者的性能。所提出的网络由Depth-CNN、Pose-CNN和Ground-CNN组成。Depth-CNN和Pose-CNN分别估计密集深度图和自我运动，解决SFM，而Pose-CNN和Ground-CNN后跟单应性层解决地平面估计问题。通过加强SFM和单应性估计结果之间的一致性，整个网络可以使用光度损失和单应性损失进行端到端的训练，除了由现成的分割器提供的道路分割之外，没有任何地面实况。在KITTI基准上进行了全面的实验，与各种最先进的方法相比，证明了有希望的结果。
2021-12-16 cs.CV
Unsupervised Deep Homography: A Fast and Robust Homography Estimation Model
University of Pennsylvania（宾夕法尼亚大学）
多幅航空图像间的单应性估计可以为协同自主探测和监测提供相对位姿估计。在机器人系统上的使用需要快速且鲁棒的单应性估计算法。在这项研究中，我们提出了一种无监督学习算法，该算法训练深度卷积神经网络来估计平面单应性。我们将该算法与传统的基于特征的直接方法以及相应的监督学习算法进行了比较。我们的实证结果表明，与传统的方法相比，无监督算法实现了更快的推理速度，同时保持相当或更好的精度和鲁棒性的光照变化。此外，在合成数据集和代表性的真实世界航空数据集上，与监督深度学习方法相比，我们的无监督方法具有更好的适应性和性能。
2018-02-21 cs.CV
Planar Object Tracking via Weighted Optical Flow
Czech Technical University in Prague（捷克理工大学）
我们提出WOFT -一种新的方法，用于平面对象跟踪，估计一个完整的8度的自由姿态，即单应性w.r.t.参考视图。该方法使用了一种新的模块，该模块利用密集的光流，并为每个光流对应关系分配权重，以完全可微的方式通过加权最小二乘估计单应性。在大多数情况下，训练模块为不正确的对应关系（离群值）分配零权重，使该方法具有鲁棒性，并消除了对RANSAC等通常使用的不可微鲁棒估计器的需要。所提出的加权光流跟踪器（WOFT）在两个基准POT-210和POIC上实现了最先进的性能，在广泛的场景中始终跟踪良好。
2023-01-24 cs.CV
A Geometrically Constrained Point Matching based on View-invariant Cross-ratios, and Homography
National Yang Ming Chiao Tung Univ.（国立阳明交通大学）
在计算机视觉中，寻找图像间的点对应关系在图像拼接、图像检索、视觉定位等应用中起着重要的作用。大多数研究工作都集中在局部特征的匹配上，然后采用采样方法（如RANSAC），通过对图像间的某种全局变换进行反复拟合来验证初始匹配结果。然而，不正确的匹配仍然可能存在，而对这些问题的仔细检查往往被跳过。因此，在这项工作中，提出了一种几何约束算法，以验证初始匹配的SIFT关键点的正确性的基础上的视图不变的交比（CR）。通过从这些关键点随机形成五边形并将它们的形状和位置在具有CR的图像之间进行匹配，可以有效地实现用于上述验证的鲁棒平面区域估计，同时可以容易地相对于那些形状和位置匹配的五边形来检查关键点的正确和不正确的匹配。实验结果表明，该算法对各种场景的单平面区域和多平面区域都能获得满意的效果。
2022-11-06 cs.CV
Homography-Based Loss Function for Camera Pose Regression
Ifremer（法国海洋开发研究院）；Université de Toulon（土伦大学）；Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）
最近的一些基于视觉的重定位算法依赖于深度学习方法来从图像数据执行相机姿态回归。本文重点研究了嵌入两个姿态之间的误差的损失函数，以执行基于深度学习的相机姿态回归。现有的损失函数要么是难以调整的多目标函数，要么存在依赖于地面真实3D场景点的不稳定重投影误差，并且需要两步训练。为了解决这些问题，我们引入了一种新的损失函数，它是基于多平面单应性积分。这个新函数不需要预先初始化，只依赖于物理上可解释的超参数。此外，在良好建立的重定位数据集上进行的实验表明，与现有的损失函数相比，它最大限度地减少了训练过程中的均方重投影误差。
2022-05-04 cs.CV cs.RO
Decoupled Geometric Parameterization and its Application in Deep Homography Estimation
Donghua University（东华大学）；Zhejiang University（浙江大学）；Huawei Technologies（华为技术有限公司）；Shanghai Jiao Tong University（上海交通大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
提出基于相似-核-相似分解的单应性几何参数化方法，解耦相似与核变换参数，实现无需线性系统的直接估计，性能与四角点偏移相当。
2025-05-23 cs.CV
Analytical Modeling and Correction of Distance Error in Homography-Based Ground-Plane Mapping
Institute of Control；Industrial Electronics, Faculty of Electrical Engineering, Warsaw University of Technology, ul. Koszykowa 75, 00-662 Warsaw, Poland
本文推导了单应性扰动与距离误差的解析关系，提出基于回归和梯度下降的两种校正策略，并通过大规模仿真验证了其有效性。
2026-05-29 cs.CV
Image Matching by Bare Homography
Università degli Studi di Palermo（巴勒莫大学）
本文提出非深度图像匹配框架 Slime，通过多尺度局部重叠平面和裸单应性约束逐步修剪并扩展匹配，提升正确匹配的覆盖率与稳定性，并在挑战性场景下缩小与传统混合流程和端到端深度方法的差距。
2024-01-13 cs.CV
Infinite-Homography as Robust Conditioning for Camera-Controlled Video Generation
KAIST AI（韩国科学技术院人工智能研究所）
InfCam通过无限透视变形和数据增强管道，实现高姿态保真度的摄像机控制视频生成，优于现有方法。
2025-12-18 cs.CV
Homography Estimation with Convolutional Neural Networks Under Conditions of Variance
Purdue University（普渡大学）
平面单应性估计是许多计算机视觉问题的基础，例如同时定位与地图构建（SLAM）和增强现实（AR）。然而，高方差的条件甚至混淆了最先进的算法。在这份报告中，我们分析了最近发表的两种方法的性能，使用卷积神经网络（CNN），旨在取代更传统的基于特征匹配的方法来估计单应性。我们对基于CNN的方法的评估特别关注在显著噪声、照明移位和遮挡的条件下测量性能。我们还测量了在不同程度的噪声下训练CNN的好处。此外，我们还比较了使用彩色图像而不是灰度图像作为CNN输入的效果。最后，我们将结果与使用SIFT，SURF和ORB的基于基线特征匹配的单应性估计方法进行比较。我们发现，CNN可以被训练成对噪声更鲁棒，但在无噪声的情况下，准确性的代价很小。此外，CNN在极端方差条件下的表现明显优于基于特征匹配的同行。关于颜色输入，我们得出结论，在CNN架构没有改变以利用颜色平面中的附加信息的情况下，使用颜色输入或灰度输入的性能差异可以忽略不计。关于用噪声损坏的输入训练的CNN，我们表明，将CNN训练到特定的噪声幅度会导致CNN性能最好的噪声水平的“金发区”。
2020-10-22 cs.CV
STag: A Stable Fiducial Marker System
基准标记提供比场景中自然可用的特征更好定义的特征。由于这个原因，它们被广泛用于需要可靠姿态估计的计算机视觉应用中。诸如成像噪声和照明中的细微变化之类的因素会引起估计姿态的抖动。抖动会损害视觉和机器人应用的鲁棒性，并降低AR/VR应用的存在感和沉浸感。在本文中，我们提出STag，基准标记系统，提供稳定的姿态估计。STag被设计为对抖动因素具有鲁棒性，因此比现有解决方案更好地维持姿势稳定性。这是通过利用可以更重复地定位的几何特征来实现的。标记的外部方形边界用于检测和单应性估计。这之后是一个新的单应性细化步骤，使用内部圆形边界。在细化之后，可以跨观看条件稳定且鲁棒地估计姿态。这些功能证明了一套全面的实验，包括与最先进的基准标记系统的比较。
2019-07-01 cs.CV
Intelligent Sampling Consensus for Homography Estimation in Football Videos Using Featureless Unpaired Points
University of Thessaly（色萨利大学）；University of Piraeus（比雷埃夫斯大学）
本文提出H-RANSAC算法，通过几何cheiral准则和凹四边形利用，在无需特征向量或显式点配对的情况下实现足球视频单应性估计，并在重投影误差和成功率上优于现有方法。
2025-11-08 cs.CV
CamFlow+: Hybrid Motion Bases for 2D Camera Motion Estimation with Stabilization Applications
School of Information and Communication Engineering, University of Electronic Science and Technology of China（电子科技大学信息与通信工程学院）；University of Electronic Science and Technology of China（电子科技大学）；School of Aeronautics and Astronautics, Sichuan University（四川大学航空宇航学院）；YingCai Honors College, University of Electronic Science and Technology of China（电子科技大学 YingCai 优秀生学院）；Lingnan University（岭南大学）；Hong Kong University of Science and Technology and Shenzhen Loop Area Institute（香港科学与技术大学及深圳环宇研究院）
提出CamFlow+混合基框架，通过结合单应性物理基、随机基和深度平移基在稠密光流空间中直接估计二维相机运动，并引入深度感知平滑项，有效处理平移、深度变化和局部视差，在相机运动估计和视频稳定任务中取得最优效果。
2026-06-04 cs.CV
Good Keypoints for the Two-View Geometry Estimation Problem
Skolkovo Institute of Science and Technology（斯克尔科沃科学与技术研究所）；Slamcore
提出一种用于两视图几何估计的关键点评分理论模型，明确优质关键点需具备可重复性和低测量误差，并据此设计了 BoNeSS-ST 检测器，在单应性估计任务上优于现有自监督方法。
2025-05-30 cs.CV
Single Image Human Proxemics Estimation for Visual Social Distancing
Istituto Italiano di Tecnologia（意大利理工学院）；University of Genova（热那亚大学）
在这项工作中，我们解决的问题，估计所谓的“社会距离”给定一个单一的未校准的图像在不受约束的情况下。我们的方法提出了一个半自动的解决方案来近似场景地面和图像平面之间的单应矩阵。与估计的单应性，然后我们利用现成的姿势检测器来检测图像上的身体姿势，并使用他们的身体部位的长度来推断他们的人际距离。在当地进一步检查人际距离，以发现可能违反社交距离规则的情况。我们对公共领域数据集的基线进行了定量和定性验证，我们为这些数据集提供了人际距离的地面实况。此外，我们展示了我们的方法部署在一个真实的测试场景中，目前使用的人际距离的统计数据，以提高在关键环境中的安全性的应用。
2020-11-05 cs.CV
GPO: Global Plane Optimization for Fast and Accurate Monocular SLAM Initialization
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；ByteDance AI Lab（字节跳动人工智能实验室）
单目同时定位与地图构建（SLAM）问题的关键是定位。提出了一种基于平面特征的单目SLAM初始化方法。该算法首先在滑动窗口中进行单应性估计。然后进行全局平面优化（global plane optimization，缩写为PEEP）以获得相机姿态和平面法线。可以使用平面约束恢复3D点，而无需三角剖分。该方法充分利用了多帧图像的平面信息，避免了单应性分解中的二义性。我们验证了我们的算法对基线实现收集的棋盘数据集，并提出了广泛的分析。实验结果表明，该方法在准确性和实时性方面均优于微调基线。
2020-05-24 cs.CV cs.RO
VIP-SLAM: An Efficient Tightly-Coupled RGB-D Visual Inertial Planar SLAM
Zhejiang University（浙江大学）；SenseTime Research（商汤科技研究院）
在本文中，我们提出了一个紧密耦合的SLAM系统融合RGB，深度，IMU和结构化平面信息。传统的基于稀疏点的SLAM系统总是维护大量的地图点来对环境进行建模。大量的地图点给我们带来了很高的计算复杂性，使得它很难部署在移动设备上。另一方面，在人造环境中，尤其是在室内环境中，平面是常见的结构。我们通常可以使用少量的平面来表示一个大场景。因此，本文的主要目的是降低基于稀疏点的SLAM的高复杂度。我们建立了一个轻量级的后端地图，它由几个平面和地图点，以实现有效的光束法平差（BA）具有相同或更好的精度。我们使用单应性约束来消除优化中大量平面点的参数，降低BA的复杂度。通过分离单应性约束和点-面约束中的参数和测量值，并对测量值部分进行压缩，进一步有效地提高了BA的速度。我们还将平面信息集成到整个系统中，以实现鲁棒的平面特征提取、数据关联和全局一致的平面重建。最后，我们进行了烧蚀研究，并将我们的方法与模拟和真实环境数据中的类似方法进行了比较。该系统在准确性和效率上具有明显的优势。即使优化涉及平面参数，我们也通过使用平面结构有效地简化了后端映射。全局光束法平差比基于稀疏点的SLAM算法快近2倍。
2022-07-04 cs.CV cs.RO
Quaternion Based Camera Pose Estimation From Matched Feature Points
University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of Florida（佛罗里达大学）；Air Force Research Laboratory（空军研究实验室）
我们提出了一种新的解决方案的相机姿态估计问题，其中旋转和两个视图之间的相机的平移估计从匹配的特征点在图像中。传统上，摄像机姿态估计问题是通过基于本质矩阵或欧几里德单应性的算法来解决的。在空间中的一般位置中具有六个或更多个特征点的情况下，基于基本矩阵的算法可以恢复唯一解。然而，当点在临界表面上时（例如，共面点）和单应性应当被使用。通过将问题用四元数表示，并将旋转和平移估计解耦，我们提出的算法适用于所有点配置。使用模拟和真实世界的图像，我们比较我们的算法与一些最常用的算法的估计精度。我们的方法被证明是更强大的噪声和离群值。为了社区的利益，我们已经在线免费提供了我们算法的实现。
2017-04-11 cs.CV cs.RO
Five-point Fundamental Matrix Estimation for Uncalibrated Cameras
Machine Perception Research Laboratory（机器感知研究实验室）；MTA SZTAKI（匈牙利科学院计算机与自动化研究所（MTA SZTAKI））；Budapest, Hungary（匈牙利布达佩斯（注意：这是地址信息，不应作为机构提取，此处原文本中机构已完整列出，此条为冗余地址，按要求应忽略））
我们的目的是估计的基本矩阵在两个视图从五个对应的旋转不变的特征获得，例如\ SIFT探测器建议的最小求解器首先估计单应性从三个对应，假设它们是共面的，并利用它们的旋转组件。然后由单应矩阵和一般位置上的两个附加点对得到基本矩阵。所提出的方法，结合强大的估计，如图形切割RANSAC，优于其他国家的最先进的算法，无论是在精度和所需的迭代次数。这在合成数据和$561$真实图像对上得到了验证。此外，测试表明，在城市环境中，要求平面上有三个点并没有太大的限制，并且即使点不完全共面，局部优化的鲁棒估计也会导致准确的估计。作为一个潜在的应用，我们表明，使用所提出的方法使两个视图的多运动估计更准确。
2018-03-01 cs.CV eess.IV
NeRF-Supervised Feature Point Detection and Description
University College London（伦敦大学学院）
本文提出利用NeRF生成多样真实数据集，通过透视投影几何监督训练特征点检测与描述模型，在相对位姿估计等任务上以更少数据和时间取得竞争或更优性能。
2024-09-20 cs.CV
IUP-Pose: Decoupled Iterative Uncertainty Propagation for Real-time Relative Pose Regression via Implicit Dense Alignment v1
本文提出IUP-Pose，通过隐式密集对齐解决相对姿态估计中姿态与位移估计耦合和跨视图特征对齐不足的问题，实现高精度与高效能的实时部署。
2026-03-20 cs.CV
A fast minimal solver for absolute camera pose with unknown focal length and radial distortion from four planar points
Centre for Mathematical Sciences（数学科学中心）；Lund University（隆德大学）
在本文中，我们提出了一个快速的最小解算器的绝对相机姿态估计从四个已知的点，位于一个平面。我们假设一个具有未知焦距和未知径向畸变的透视相机模型。径向畸变采用单参数分割模型进行建模。我们表明，这个问题的解决方案可以从一个单变量六次多项式。这导致非常快速且数值稳定的求解器。
2018-06-05 cs.CV
Mapping and Localization from Planar Markers
Córdoba University（科尔多瓦大学）
方形平面标记是用于快速、准确和鲁棒的相机定位的流行工具，但是其使用通常限于单个标记，或者最多限于预先已知其相对姿态的一小组标记。从一个大的平面标记集的映射和定位是一个几乎没有处理的问题，有利于基于关键点的方法。然而，虽然关键点检测器对快速运动、视点的大变化或外观的显著变化不鲁棒，但基准标记可以在更宽范围的条件下鲁棒地检测。本文提出了一种新的方法，同时解决映射和定位问题的一组平方平面标记。首先，创建成对相对标记位姿的集合，从中获得初始位姿图。姿态图可能包含小的成对姿态误差，当传播时，会导致大的误差。因此，我们沿着图的基循环分布旋转和平移误差，以便获得校正的位姿图。最后，我们通过最小化所有观察帧中平面标记的重投影误差来执行全局姿态优化。实验结果表明，该方法优于运动恢复结构和视觉SLAM技术。
2017-01-25 cs.CV
Piecewise Planar Hulls for Semi-Supervised Learning of 3D Shape and Pose from 2D Images
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
我们研究的问题，估计3D形状和姿势的对象的关键点，从一个单一的2D图像。形状和姿势直接从按类别收集的图像及其部分2D关键点注释中学习。在这项工作中，我们首先提出了一个端到端的训练框架，用于中间的2D关键点提取和最终的3D形状和姿态估计。然后，仅使用中间2D关键点的弱监督来训练所提出的框架。此外，我们设计了一个半监督训练框架，从标记和未标记数据中受益。为了利用未标记的数据，我们引入并利用规范对象形状的\emph{piece-wise planar hull}先验。在关键点的帮助下，每个对象类别手动定义一次这些平面外壳。一方面，所提出的方法学习从标记的数据中分割这些平面外壳。另一方面，它同时加强预测的关键点和未标记数据上的分割外壳之间的一致性。强制一致性使我们能够有效地使用未标记的数据来完成手头的任务。所提出的方法通过仅使用一半的注释实现了与完全监督的最先进的方法相当的结果。我们的源代码将公开提供。
2022-11-14 cs.CV
Fusing Monocular RGB Images with AIS Data to Create a 6D Pose Estimation Dataset for Marine Vessels
University of Hamburg（汉堡大学）
针对纯AIS位置信息的局限性，本文提出融合单目RGB图像（YOLOX-X检测）与AIS数据生成船舶6D位姿数据集的技术，通过PnP变换降低投影误差，构建公开BONK-pose数据集。
2025-08-20 cs.CV cs.RO
Fast Projective Image Rectification for Planar Objects with Manhattan Structure
Federal Research Center “Computer Science and Control” of Russian Academy of Sciences（俄罗斯科学院“计算机科学与控制”联邦研究中心）；Moscow Institute of Physics and Technology (State University)（莫斯科物理技术学院（国立大学））；The Institute for Information Transmission Problems of Russian Academy of Sciences（俄罗斯科学院信息传输问题研究所）；Smart Engines Service LLC（Smart Engines服务有限责任公司）
本文提出了一种保持角度和长度比的平面物体度量纠正方法。假设物体的内部结构遵循曼哈顿世界定律，即大多数线段与物体的两个正交方向对齐。为此，我们介绍的方法，估计对应于主要对象方向的两个消失点的位置。它基于估计消失点位置的片段的原始优化函数。对于具有两个消失点的校正单应性的计算，我们提出了一种新的方法，基于估计的相机旋转，使相机轴垂直于物平面。所提出的方法可以应用于各种对象，如文件或建筑物立面的纠正。此外，由于估计了相机旋转，因此该方法可以用于估计对象取向（例如，在利用骨接合植入物的射线照片的手术期间）。在MIDV-500数据集上对该方法进行了评估，该数据集包含具有复杂背景的文档的投影失真图像。根据实验结果，当背景占图像的比例不超过一半时，该方法的准确性优于或等于现有技术。该方法在i7 3610 qm CPU上的运行时间约为3 ms。
2019-12-04 cs.CV
Efficient Globally-Optimal Correspondence-Less Visual Odometry for Planar Ground Vehicles
ShanghaiTech University（上海科技大学）
平面地面车辆的运动通常是非完整的，因此可以通过2自由度阿克曼转向模型来建模。我们分析了估计这种运动的可行性与向下面对的相机，施加正面平行运动相对于地平面。这将运动估计变成一个简单的图像配准问题，其中我们只需要识别一个2参数平面单应性。然而，从这种设置中产生的一个困难是，地平面特征是不明显的，因此难以在连续视图之间匹配。我们通过向基于平面的Ackermann运动估计引入第一个全局最佳、无对应性的解决方案来遇到这个困难。该解决方案依赖于分支定界优化技术。通过低维参数化，推导出的紧边界，和一个有效的实现，我们展示了这种技术是如何最终服从准确的实时运动估计。我们证明了它的全局最优性，并分析了假设一个局部恒定的旋转中心的影响。我们对真实数据的结果最终证明了一个显着的优势，更传统的，基于对应的假设和测试计划。
2022-03-01 cs.CV cs.RO
MarkerPose: Robust Real-time Planar Target Tracking for Accurate Stereo Pose Estimation
Universidad Tecnológica de Bolívar（玻利瓦尔理工大学）
尽管近年来无标记姿态估计引起了人们的关注，但基于标记的方法在受控环境条件下仍然提供无与伦比的准确性。因此，它们被用于许多领域，如机器人或生物医学应用，但主要是通过经典的方法来实现的，这需要大量的算法和参数调整，以确保在不同环境下的可靠性能。在这项工作中，我们提出了MarkerPose，一个强大的，实时的【形】姿态估计系统的基础上的平面目标的三个圆圈和立体视觉系统。MarkerPose适用于高精度姿态估计应用。我们的方法包括两个深度神经网络的标记点检测。用于像素级精度关键点定位和分类的类SuperPoint网络，我们引入了EllipSegNet，这是一种用于亚像素级精度关键点检测的轻量级椭圆分割网络。通过立体三角测量来估计标记的姿态。目标点检测对于低照明和运动模糊条件是鲁棒的。我们将MarkerPose与基于经典计算机视觉技术的检测方法进行了比较，使用机器人手臂进行验证。结果表明，我们的方法提供了更好的精度比经典的技术。最后，我们证明了MarkerPose在3D徒手超声系统中的适用性，这是一个需要高度准确的姿态估计的应用程序。Python和C++代码可在https://github.com/jhacsonmeza/MarkerPose上获得。
2021-05-29 cs.CV
A Single-shot-per-pose Camera-Projector Calibration System For Imperfect Planar Targets
Temple Univeristy（天普大学）；Rowan Univeristy（罗文大学）；HiScene Info. Technologies（亮风台信息技术）
现有的相机-投影仪校准方法通常使用估计的单应性将特征点从相机图像扭曲到投影仪图像，并且由于校准目标的不完美的平面性而经常遭受相机参数和噪声的误差。在本文中，我们提出了一个简单而强大的解决方案，明确应对这些挑战。根据结构光（SL）相机项目校准框架，精心设计的对应算法建立在De Bruijn图案之上。然后，这种对应关系用于初始相机-投影仪校准。然后，为了获得更多的鲁棒性对噪声，特别是那些从一个不完美的平面校准板，光束法平差算法的开发，以联合优化估计的相机和投影仪模型。除了鲁棒性之外，我们的解决方案对于每个校准板姿势只需要一次SL图案的拍摄，这在实践中比多次拍摄解决方案方便得多。在合成数据集和真实数据集上进行数据验证，在所有实验中，我们的方法比现有方法显示出明显的优势。
2018-10-17 cs.CV
Markerless Stride Length estimation in Athletic using Pose Estimation with monocular vision
Dipartimento di Ingegneria dell’Innovazione Università del Salento（创新工程学院，萨勒诺大学）；Istituto di Scienze Applicate e sIstemi Intelligenti - ISASI Consiglio Nazionale delle Ricerche - (CNR)（应用科学与智能系统研究所 - 国家研究理事会 - (CNR)）；Consiglio Nazionale delle Ricerche - (CNR)（国家研究理事会 - (CNR)）
本文提出一种基于单目视觉与姿态估计的无标记步长估计方法，结合概率霍夫变换和单应性变换从视频中估计跑者步长，实验证明其可用于田径训练与步态监测。
2025-07-02 cs.CV
Planar Surface Reconstruction from Sparse Views
University of Michigan（密歇根大学）
研究了在摄像机姿态未知的情况下，由两个视点重建室内场景的平面曲面。虽然现有方法已经成功地创建了许多场景的以对象为中心的重建，但它们未能利用其他结构，例如平面，这些结构通常是室内场景的主要组成部分。在本文中，我们重建平面表面从多个视图，同时联合估计相机姿态。我们的实验表明，我们的方法是能够推进从稀疏视图重建的艺术状态，从Matterport3D具有挑战性的场景。项目网址：https://jinlinyi.github.io/SparsePlanes/
2021-08-20 cs.CV
PlaneRecTR++: Unified Query Learning for Joint 3D Planar Reconstruction and Pose Estimation
National University of Defense Technology（国防科技大学）
本文提出PlaneRecTR++，一种基于Transformer的单阶段统一框架，首次将多视图3D平面重建与相机位姿估计整合，消除了初始位姿估计和平面对应监督需求，在多个公开数据集上达到最优性能。
2025-09-17 cs.CV
Simultaneous Multi-View Camera Pose Estimation and Object Tracking with Square Planar Markers
Instituto Maimónides de Investigación Biomédica de Córdoba (IMIBIC)（科尔多瓦迈蒙尼德生物医学研究所）；Universidad de Córdoba（科尔多瓦大学）
对象跟踪是许多应用中的关键方面，例如医学中的增强现实（例如，跟踪手术器械）或机器人技术。方形平面标记已经成为流行的跟踪工具，因为它们的姿态可以从它们的四个角估计。虽然使用单个标记和单个相机相当大地限制了工作区域，但是使用附接到对象的多个标记需要估计它们的相对位置，这对于高精度跟踪来说不是微不足道的。同样，使用多个相机需要估计它们的外部参数，这也是一个每当相机移动时必须重复的繁琐过程。这项工作提出了一种新的方法，同时解决上述问题。从一个视频序列显示了一组刚性的平面标记记录从多个摄像机，所提出的方法是能够自动获得的三维配置的标记，外部参数的摄像机，和相对姿态之间的标记和摄像机在每一帧。我们的实验表明，我们的方法可以获得高度准确的结果，估计这些参数使用低分辨率相机。一旦获得参数，就可以以低计算成本实时的完成对对象的跟踪。所提出的方法是一个步骤，在开发具有成本效益的解决方案，用于对象跟踪。
2021-03-16 cs.CV
PLANA3R: Zero-shot Metric Planar 3D Reconstruction via Feed-Forward Planar Splatting
The Hong Kong University of Science and Technology（香港科技大学）；Ant Group（蚂蚁集团）；Wuhan University（武汉大学）；Zhejiang University（浙江大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
PLANA3R通过前馈平面撒点实现零样本度量平面三维重建，无需显式平面监督，适用于大规模立体数据集。
2026-10-27 cs.CV
NOPE-SAC: Neural One-Plane RANSAC for Sparse-View Planar 3D Reconstruction
Wuhan University（武汉大学）；Ant Group（蚂蚁集团）；North Carolina State University（北卡罗来纳州立大学）
针对稀疏视图双视图3D重建中对应关系不足的问题，提出NOPE-SAC框架，通过孪生网络和共享MLP学习3D平面对应关系生成单平面位姿假设，经RANSAC加权获得最终位姿，在MatterPort3D和ScanNet基准上取得最先进性能。
2023-09-13 cs.CV
Monocular Road Planar Parallax Estimation
Wuhan University（武汉大学）；Hubei Luojia Laboratory（湖北珞珈实验室）；Horizon Robotics（地平线机器人）；Google Research（谷歌研究院）
本文提出基于道路平面视差的单目三维感知网络RPANet，利用道路平面单应性对齐图像对并预测γ图，结合交叉注意力模块实现三维重建，并在Waymo数据集上验证了其有效性。
2023-07-09 cs.AI cs.CV
Visual SLAM with Graph-Cut Optimized Multi-Plane Reconstruction
DFKI - German Research Center for Artificial Intelligence（德国人工智能研究中心）
本文提出了一个语义平面SLAM系统，提高姿态估计和映射使用的线索，从一个实例平面分割网络。虽然主流方法使用RGB-D传感器，但采用具有这种系统的单目相机仍然面临诸如鲁棒数据关联和精确几何模型拟合等挑战。在大多数现有的工作中，几何模型估计问题，如单应性估计和分段平面重建（PPR）通常是解决标准（贪婪）RANSAC单独和顺序。然而，在缺乏关于场景的信息（即尺度）的情况下，设置内点-外点阈值是困难的。在这项工作中，我们重新审视了这些问题，并认为两个提到的几何模型（单应性/3D平面）可以通过最小化利用空间相干性的能量函数来解决，即使用图形切割优化，这也解决了训练的CNN的输出不准确时的实际问题。此外，我们提出了一个自适应的参数设置策略的基础上，我们的实验，并报告了各种开源数据集的综合评价。
2022-06-21 cs.CV cs.RO
3D Reconstruction and Alignment by Consumer RGB-D Sensors and Fiducial Planar Markers for Patient Positioning in Radiation Therapy
Instituto Maimónides de Investigación en Biomedicina (IMIBIC)（迈蒙尼德生物医学研究所）；Córdoba University（科尔多瓦大学）；Health Time；Clínica las Nieves（拉斯涅韦斯诊所）
背景和目的：患者定位是放射治疗中的关键步骤，已经开发了基于使用光学3D成像的表面重建的非侵入性方法。然而，大多数解决方案需要昂贵的专用硬件和仔细的校准程序，必须重复随着时间的推移。本文提出了一种快速，廉价的患者定位方法的基础上廉价的消费级RGB-D传感器。方法：所提出的方法依赖于一种3D重建方法，该方法实时融合从手持RGB-D传感器记录的人工和自然视觉地标。视频序列被转换成一组具有已知姿势的关键帧，这些关键帧随后被细化以获得患者的真实3D重建。人工地标的使用允许我们的方法自动将重建与参考重建对齐，而不需要相对于线性加速器坐标系校准系统。结果：进行的实验表明，我们的方法得到了一个中位数为1厘米的平移误差，1度的旋转误差相对于参考位姿。此外，所提出的方法将（来自参考和当前场景的）叠加姿态和误差图示出为视觉输出，该误差图可以用于校正患者的当前姿态以匹配参考姿态。结论：提出了一种新的方法来获得三维身体重建的病人定位，而不需要昂贵的硬件或专用的图形卡。该方法可以用于将患者的当前姿势实时的对准到预览姿势，这是放射治疗中的相关步骤。
2021-03-22 cs.CV
Procam Calibration from a Single Pose of a Planar Target
Queen's University（女王大学）
提出了一种新的用户友好的方法来校准的procam系统从一个单一的姿态的平面棋盘目标。用户只需要将棋盘定位在一个合适的姿势。一系列格雷码图案被投影到棋盘上，这允许自动提取相机、投影仪和棋盘之间的对应关系。这些对应关系作为输入被馈送到非线性优化方法，该方法将主点的投影仪建模到棋盘上，并精确地计算相机和投影仪的内在和外在参数，以及相机的失真系数。该方法在procam系统上进行了实验验证，结果表明该方法与现有的多姿态方法在精度上相当。棋盘的方向相对于procam成像的地方的影响，也探讨了通过广泛的模拟。
2021-02-22 cs.CV eess.IV
Minimal Solutions for Relative Pose with a Single Affine Correspondence
National University of Defense Technology（国防科技大学）；Graz University of Technology（格拉茨工业大学）；German Aerospace Center（德国航空航天中心）
在本文中，我们提出了四种情况下，最小的解决方案，利用特征点之间的仿射变换的两个视图的相对姿态估计，我们证明了这些情况下有效的解决方案。它示出，根据平面运动假设或与知识的垂直方向，一个单一的仿射对应是足够的恢复相对相机姿态。考虑的四种情况是两个视图的平面相对运动校准相机作为一个封闭的形式和最小二乘解决方案，一个封闭的形式解决方案未知的焦距和一个已知的垂直方向的情况。这些算法可以有效地用于RANSAC循环内的离群值检测和用于初始运动估计。所有的方法进行评估的合成数据和真实世界的数据集从KITTI基准。实验结果表明，我们的方法优于可比的国家的最先进的方法的准确性与所需的RANSAC迭代次数减少的好处。
2020-04-04 cs.CV
A Simple Algebraic Solution for Estimating the Pose of a Camera from Planar Point Features
I3S, CNRS, Université Côte d’Azur（I3S、CNRS、法国埃克塞大学）；Insitut Universitaire de France（法国大学研究院）；INRIA Sophia Antipolis（Sophia Antipolis INRIA）；I3S Sophia Antipolis（Sophia Antipolis I3S）
本文提出一种分层代数方法，利用至少四个平面点特征及其方位测量，依次求解平面法向量、相机位置、距离和完整姿态，并通过平均化方法提升抗噪性，实验验证了其精度与鲁棒性。
2025-08-03 cs.CV cs.RO
ManhattanSLAM: Robust Planar Tracking and Mapping Leveraging Mixture of Manhattan Frames
Technical University of Munich（慕尼黑工业大学）；Google Inc.（谷歌公司）
本文提出了一种鲁棒的RGB-D SLAM系统，利用室内场景中的结构信息，在CPU上实现精确的跟踪和高效的密集映射。先前的工作已经使用曼哈顿世界（MW）假设来估计低漂移相机姿态，从而限制了此类系统的应用。本文，相比之下，提出了一种新的方法，提供强大的跟踪MW和非MW环境。我们检查平面之间的正交关系以直接检测曼哈顿帧，将场景建模为曼哈顿帧的混合。对于MW场景，我们解耦的姿态估计，并提供了一种新的漂移的旋转估计的基础上曼哈顿帧的意见。对于MW场景中的平移估计和非MW场景中的全相机姿态估计，我们利用点，线和平面特征在具有挑战性的场景中进行鲁棒跟踪。此外，通过利用在每帧中检测到的平面特征，我们还提出了一种有效的基于曲面的密集映射策略，该策略将每个图像划分为平面和非平面区域。平面曲面直接从我们的地图中的稀疏平面初始化，而非平面曲面通过提取超像素来构建。我们在姿态估计，漂移和重建精度的公共基准上评估了我们的方法，与其他最先进的方法相比，实现了卓越的性能。我们将在未来开放我们的代码。
2021-03-28 cs.CV cs.RO
PoseGravity: Pose Estimation from Points and Lines with Axis Prior
BallerTV
提出一种利用相机旋转矩阵轴先验进行绝对姿态估计的新算法，通过求解双曲线与单位圆的交点高效处理点线特征组合，并在平面和最小配置下给出闭式解。
2026-07-01 cs.CV
Galois/monodromy groups for decomposing minimal problems in 3D reconstruction
Georgia Institute of Technology（佐治亚理工学院）；Czech Institute of Informatics, Robotics and Cybernetics, Czech Technical University in Prague（布拉格捷克理工大学信息学、机器人学与控制论研究所）；Duke University（杜克大学）
我们认为伽罗瓦/monodromy组出现在计算机视觉应用中，以期建立更有效的多项式求解器。伽罗瓦/单值群允许我们决定给定问题何时分解为代数子问题，以及它是否具有任何对称性。数值代数几何和计算群论的工具使我们能够将这个框架应用于经典和新颖的重建问题。我们考虑三个经典的情况下-3点绝对姿态，5点相对姿态，和4点单应性估计校准相机-其中的分解和对称性可以自然地理解的伽罗瓦/单值群。然后，我们展示了我们的框架可以应用到新的问题，从绝对和相对姿态估计。例如，我们发现了新的对称性的绝对构成的问题，涉及点和线的功能的混合物。我们还描述了一个问题，估计一对校准的单应性之间的三个图像。对于这个64度的问题，我们可以将其降为16度;后者更好地反映了代数解决问题的内在困难。作为一个副产品，我们获得新的约束兼容的单应性，这可能是独立的利益。
2021-05-10 cs.CV cs.NA math.AG
Resolving Marker Pose Ambiguity by Robust Rotation Averaging with Clique Constraints
The University of Adelaide（阿德莱德大学）；University of Tsukuba（筑波大学）
平面标记在机器人和计算机视觉中用于映射和定位。给定图像中检测到的标记，常见的任务是估计标记相对于相机的6DOF姿态，这是平面姿态估计（PPE）的实例。虽然有成熟的技术，PPE遭受一个基本的模糊性问题，因为可能有一个以上的合理姿态解决方案的PPE实例。特别是当标记角的定位有噪声时，通常难以单独基于重投影误差来消除姿态解的歧义。以前的方法使用启发式标准在可能的解决方案之间进行选择，或者简单地忽略模糊的标记。我们建议通过检查一组标记在多个视图中的位置来解决歧义。我们的具体贡献包括一个新的旋转平均配方，采用了可能的标记定位解决方案，从PPE的模糊性之间的长期依赖关系。我们分析了问题的组合复杂性，并开发了一种新的提升算法来有效地解决标记姿态模糊，而不丢弃任何标记观察。真实和合成数据的结果表明，我们的方法能够处理高度模糊的输入，并提供更准确和/或完整的基于标记的映射和定位。
2019-09-26 cs.CV cs.RO
Automatic LiDAR Extrinsic Calibration System using Photodetector and Planar Board for Large-scale Applications
Handong Global University（韩东国际大学）；Virginia Tech（弗吉尼亚理工大学）
本文提出了一种新的自动校准系统，估计外部参数的激光雷达安装在一个移动平台上的传感器错位检查在大规模生产的高度自动化的车辆。为了获得亚度和亚厘米级的外部校准精度水平，本研究提出了一种新的概念，目标板与嵌入式光电探测器阵列，命名为PD目标系统，找到对应的激光束在目标表面上的精确位置。此外，所提出的系统只需要简单的设计，目标板在固定的姿态在一个近距离内，很容易适用于汽车制造环境。低分辨率激光雷达的实验评估表明，激光雷达偏移姿态可以估计在0.1度和3毫米的精度水平。所提出的校准系统的高精度和简单性使其适用于大规模应用的可靠性和安全性的自主系统。
2020-08-24 cs.CV eess.IV
MonoPP: Metric-Scaled Self-Supervised Monocular Depth Estimation by Planar-Parallax Geometry in Automotive Applications
CARIAD SE（CARIAD公司）；Technische Universität Berlin（柏林技术大学）
MonoPP通过平面-视差几何实现自监督单目深度估计，利用多帧和单帧网络及姿态网络，实现汽车应用中度量尺度深度预测的先进性能。
2024-11-29 cs.AI cs.CV cs.LG
