Density Adaptive Point Set Registration
Linköping University(林雪平大学)
近年来,点集配准的概率方法已经证明了竞争性的结果。这些技术估计点云的概率分布模型。虽然这种表示已经显示出希望,但它对3D点的密度变化高度敏感。这个基本问题主要是由传感器位置跨点集的变化引起的。我们重新审视概率注册范式的基础。与以前的作品相反,我们建模的潜在概率分布的场景的底层结构,从而诱导点集密度变化的不变性。在基于期望最大化的框架中,通过最小化Kullback-Leibler散度来推断场景的概率模型和配准参数。我们的密度自适应注册成功地处理严重的密度变化通常遇到地面激光雷达应用。我们在几个具有挑战性的现实世界激光雷达数据集上进行了广泛的实验。结果表明,我们的方法优于国家的最先进的概率方法的多视图注册,而不需要重新采样。代码可在https://github.com/felja633/DARE上获得。
2018-10-23 cs.CV
Multi-instance Point Cloud Registration by Efficient Correspondence Clustering
Shanghai Jiao Tong University(上海交通大学)
我们解决的问题,估计多个实例的源点云内的目标点云的构成。现有的解决方案需要对大量的假设进行采样以检测可能的实例并拒绝离群值,当实例和离群值的数量增加时,其鲁棒性和效率显着降低。我们建议直接组成不同的集群的基础上的距离不变性矩阵的噪声对应的集合。通过聚类自动识别实例和离群值。我们的方法是强大的和快速的。我们在合成和真实世界的数据集上评估了我们的方法。实验结果表明,该方法在存在70%离群点的情况下,可以正确配准20个实例,F1得分为90.46%,性能明显优于现有方法,至少快10倍
2022-03-27 cs.CV
R-PointHop: A Green, Accurate, and Unsupervised Point Cloud Registration Method
University of Southern California(南加州大学);Tencent America(腾讯美国);Tencent Media Lab(腾讯媒体实验室)
受最近的PointHop分类方法的启发,本文提出了一种无监督的3D点云配准方法,称为R-PointHop。R-PointHop首先使用其最近邻居为每个点确定局部参考系(LRF)并查找局部属性。接下来,R-PointHop通过点下采样、邻域扩展、属性构建和降维步骤获得局部到全局的层次特征。因此,在分层特征空间中使用最近邻规则建立点对应。然后,选择具有良好对应性的显著点的子集来估计3D变换。LRF的使用允许点的分层特征相对于旋转和平移的不变性,从而使得R-PointHop在构建点对应时更鲁棒,即使旋转角度很大。在3DMatch、ModelNet 40和Stanford Bunny数据集上进行了实验,验证了R-PointHop算法在三维点云配准中的有效性。R-PointHop的模型大小和训练时间都比深度学习方法小一个数量级,其配准误差也更小,是一种绿色精准的解决方案。我们的代码可以在GitHub上找到。
2022-03-14 cs.CV
Articulated Shape Matching Using Laplacian Eigenfunctions and Unsupervised Point Registration
INRIA Rhône-Alpes(法国国立信息学与自动化研究院罗讷-阿尔卑斯研究中心)
当每个体素集由一个加权图描述时,匹配由体素集表示的关节形状归结为最大子图同构。谱图理论可以用来将这些图映射到低维空间,并通过对齐它们的嵌入来匹配形状,因为它们对姿态的变化不变性。经典的图同构方案依赖于特征值的排序来对齐特征空间,当处理大数据集或噪声数据时失败。我们推导出一种新的公式,该公式通过选择拉普拉斯矩阵的本征函数的最佳子集来找到两个全等的$K$维点集之间的最佳对齐。通过匹配用直方图构建的特征函数签名来完成选择,并且保留的集合为对齐问题提供了智能初始化,对整体性能有相当大的影响。密集的形状匹配转换成图匹配减少,然后,在正交变换下的嵌入点配准;配准是使用无监督聚类和EM算法的框架来解决的。通过定义一个适当的离群值类来处理不相同形状的最大子集匹配。挑战性的例子的实验结果表明,该算法如何自然地处理拓扑结构的变化,形状的变化和不同的采样密度。
2020-12-14 cs.CV
Fully-Geometric Cross-Attention for Point Cloud Registration
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Technology Sydney(悉尼技术大学)
本文提出完全几何交叉注意力,利用 Gromov-Wasserstein 距离实现任意刚性变换下的跨点云超点特征融合,并结合局部几何自注意力提升低重叠点云配准精度。
2025-06-08 cs.CV
MS-HLMO: Multi-scale Histogram of Local Main Orientation for Remote Sensing Image Registration
Beijing Institute of Technology(北京理工大学);Mississippi State University(密西西比州立大学)
多源图像配准由于图像之间的强度、旋转和尺度差异而具有挑战性。针对多源遥感影像的特点和差异,提出了一种基于特征的多尺度局部主方向直方图配准算法。首先采用Harris角点检测生成特征点;每个Harris特征点的HLMO特征是在具有广义梯度位置和方向直方图(GGLOH)特征描述符的部分主方向图(PIMs)上提取的,该特征描述符提供高强度、旋转和尺度不变性。通过多尺度匹配策略对特征点进行匹配。在17个多源遥感场景上的综合实验表明,本文提出的MS-HLMO及其简化版本MS-HLMO $^+$在配准效果和泛化能力方面优于其他竞争性算法。
2022-04-01 cs.CV eess.IV
Deep Weighted Consensus: Dense correspondence confidence maps for 3D shape registration
Tel Aviv University(特拉维夫大学)
我们提出了一个新的范例刚性对齐点云的基础上学习加权共识,这是强大的噪声以及旋转组的全频谱。当前的模型,可学习的或公理化的,通常通过端到端学习器或迭代方案,对于受限的方向和有限的噪声水平工作得很好。然而,现实世界的任务要求我们处理大的旋转以及离群值,所有已知的模型都无法提供。在这里,我们提出了一个不同的方向。我们声称,我们可以对齐点云的采样匹配点,根据来自一个密集的,软对齐地图的置信水平。流水线是可微的,并且在SO(3)的全谱中的大旋转下收敛,即使具有高噪声水平。我们将该网络与最近提出的方法(如DCP,PointNetLK,RPM-Net,PRnet)以及公理化方法(如ICP和Go-ICP)进行了比较。我们在此报告性能的根本提升。
2021-05-06 cs.AI cs.CV
CLIP-Driven Semantic Discovery Network for Visible-Infrared Person Re-Identification
Beijing Institute of Technology(北京理工大学);Nanjing University of Science and Technology(南京理工大学);Beihang University(北京航空航天大学);Yunnan University(云南大学)
本文提出CLIP驱动语义发现网络CSDN,通过双模态提示学习与高层语义嵌入弥合可见光-红外模态差异,提升行人重识别性能。
2024-01-12 cs.CV
Deep Implicit Optimization enables Robust Learnable Features for Deformable Image Registration
University of Pennsylvania(宾夕法尼亚大学)
本文提出将迭代优化作为深度网络中的隐式可微分层,学习多尺度密集特征用于可变形图像配准,在保证形变场为特征空间局部最优的同时,实现了对域偏移的鲁棒性和测试时任意变换表示的无重训练切换。
2025-05-03 cs.CV cs.LG eess.IV
Generative Adversarial Networks And Domain Adaptation For Training Data Independent Image Registration
Inception Institute of Artificial Intelligence(人工智能 inception 研究所)
医学图像配准是涉及多个患者访问的多模态图像和时间数据的自动分析中的重要任务。传统的方法虽然对不同的图像类型有用,但是是耗时的。最近,已经提出了基于深度学习(DL)的图像配准方法,其在准确性和时间方面优于传统方法。然而,基于DL的方法严重依赖于训练数据,并且在呈现不同扫描仪或解剖结构的图像时不能很好地推广。我们提出了一种基于DL的方法,可以执行一种图像类型的医学图像配准,尽管被训练与不同类型的图像。这是通过在注册过程中的无监督域自适应,并允许更容易地应用到不同的数据集,而无需大量的retraining.To实现我们的目标,我们训练一个网络,将给定的输入图像对使用自动编码器的潜在特征空间矢量。生成的编码特征空间用于在生成对抗网络(GANs)的帮助下生成注册图像。这种特征变换确保了对输入图像类型的更大的不变性。在胸部X光、视网膜和脑部MR图像上的实验表明,在一个数据集上训练的方法对其他数据集具有更好的配准性能,优于不包含域自适应的传统方法
2020-03-26 cs.CV eess.IV
GraffMatch: Global Matching of 3D Lines and Planes for Wide Baseline LiDAR Registration
Massachusetts Institute of Technology(麻省理工学院);Ford Motor Company(福特汽车公司)
与常用的LiDAR点云地图相比,使用线和平面等几何地标可以提高导航精度并降低地图存储要求。然而,基于地标的应用程序,如环路闭合检测注册是具有挑战性的,因为一个可靠的初始猜测是不可用的。在文献中已经研究了全局地标匹配,但是这些方法通常使用3D线和平面地标的特定表示,这些表示对于大的视点变化不是不变的,从而导致不正确的匹配和高配准误差。为了解决这个问题,我们采用仿射格拉斯曼流形来表示3D线和平面,并证明了两个地标之间的距离是不变的旋转和平移,如果在应用格拉斯曼度量之前进行移位操作。这种不变性属性使我们能够使用基于图形的数据关联框架来识别地标匹配,随后可以用于最小二乘意义上的注册。使用公开的LiDAR数据集进行具有挑战性的地标匹配和配准任务评估,与使用视点相关质心和“最近点”表示的方法相比,我们的方法在成功配准方面分别提高了1.7倍和3.5倍。
2022-12-24 cs.CV cs.RO
Attention-guided reference point shifting for Gaussian-mixture-based partial point set registration
本文探讨了在平移和旋转下基于深度学习和高斯混合模型的点集配准中特征向量不变性的影响,提出基于注意力的参考点位移层以提高DeepGMR及其变体的性能。
2026-04-01 cs.CV cs.GR
RANSIC: Fast and Highly Robust Estimation for Rotation Search and Point Cloud Registration using Invariant Compatibility
East China University of Science and Technology(华东理工大学)
基于对应的旋转搜索和点云配准是机器人和计算机视觉中的两个基本问题。然而,离群点的存在,有时甚至占据了绝大多数的假定对应,可以使许多现有的算法要么失败,或有非常高的计算成本。在本文中,我们提出了RANSIC(随机抽样与不变相容性),一个快速和高度鲁棒性的方法适用于这两个问题的基础上,一个新的范例相结合的随机抽样与不变性和兼容性。RANSIC一般从对应集中随机选取小子集开始,通过对每个问题建立的不变量进行相容性检验,从随机子集中寻找潜在的内点作为图的顶点,当至少存在一个K度顶点时,返回符合条件的内点(K根据问题自动更新),并且残差同时满足一定的终止条件。在多个合成和真实实验中,我们证明了RANSIC使用速度快,对超过95%的离群值具有鲁棒性,并且能够召回大约100%的内点,在旋转搜索和点云配准问题上优于其他最先进的求解器。
2021-04-21 cs.CV cs.RO
Full Transformer Framework for Robust Point Cloud Registration with Deep Information Interaction
Beijing Institute of Technology(北京理工大学);National University of Singapore(新加坡国立大学)
最近的基于transformer的方法已经取得了先进的性能,在点云配准,利用优势的Transformer的顺序不变性和建模的依赖性,以聚合信息。然而,他们仍然遭受模糊的特征提取,对噪声的敏感性,和离群值。原因是:(1)CNN的采用由于其局部感受野而无法对全局关系进行建模,导致提取的特征易受噪声影响;(2)Transformers的浅宽架构和位置编码的缺乏导致信息交互效率低下导致特征提取不清晰;(3)几何兼容性的遗漏导致内点和离群点之间的分类不准确。为了解决上述问题,提出了一种新的用于点云配准的全Transformer网络,称为深度交互Transformer(DIT),它包括:(1)一个点云结构提取器(PSE),用于建模全局关系并使用Transformer编码器检索结构信息;(2)深窄点特征Transformer(PFT),以便于利用位置编码跨两个点云的深度信息交互,使得Transformers可以建立全面的关联,并直接学习点之间的相对位置;(3)基于几何匹配的对应置信度评估(GMCCE)方法,通过设计三角描述子来度量空间一致性并估计内点置信度。对干净、有噪声、部分重叠的点云配准的大量实验表明,我们的方法优于最先进的方法。
2021-12-17 cs.AI cs.CV
NeuReg: Domain-invariant 3D Image Registration on Human and Mouse Brains
Tibbling Technologies(蒂布林科技);Redmond, WA(华盛顿州雷德蒙德)
NeuReg提出一种神经启发式三维图像配准架构,利用Swin Transformer编码器生成域无关表示,在人类和小鼠脑数据集上超越现有基线,实现跨域高性能配准。
2024-11-09 cs.AI cs.CV cs.LG
CVSD-Reg: Cross-Modal Visual Semantic Prior Distillation for Robust LiDAR Registration
本文提出CVSD-Reg框架,通过蒸馏视觉基础模型的语义先验提升激光雷达配准的鲁棒性,在多数据集上的成功率优于现有方法,且无需相机输入或事后ICP精修。
2026-08-21 cs.AI cs.CV cs.RO
An "augmentation-free" rotation invariant classification scheme on point-cloud and its application to neuroimaging
University of California, Berkeley(加州大学伯克利分校)
近年来,随着3D传感器和技术的发展,3D医学成像技术的出现和日益普及。然而,在3D医学图像的处理中实现几何不变性在计算上是昂贵的,但是由于刚性配准技术引起的可能误差的存在而仍然是必要的。分析医学成像的另一种方法是通过理解点云表示的3D形状。虽然在医学成像领域,3D点云处理不是一个“去”的选择,但它是保持旋转不变性的标准方法。遗憾的是,由于离散拓扑的存在,人们不能在点云上使用标准的卷积算子。据我们所知,现有的方法做“卷积”不能保持旋转不变性,没有显式的数据增强。因此,我们提出了一个旋转不变卷积算子,通过诱导拓扑超球。在公开的OASIS数据集上进行了实验验证,验证了患有(不患有)痴呆症的受试者之间的分类准确性,证明了我们所提出的方法在模型复杂性,分类准确性以及最后但最重要的旋转不变性方面的有用性。
2019-11-05 cs.CV cs.LG eess.IV
Rotation-Invariant Transformer for Point Cloud Matching
TU Munich(慕尼黑工业大学);NUDT(中国人民解放军国防科技大学);Siemens AG, Munich(西门子股份公司慕尼黑分部)
针对深度点云匹配因依赖数据增强而难以应对罕见旋转的问题,提出旋转不变 Transformer (RoITr),通过结合 PPF 的局部注意力机制与全局跨帧空间感知,显著提升了低重叠与极端旋转场景下的匹配性能。
2024-03-27 cs.CV
FA-KPConv: Introducing Euclidean Symmetries to KPConv via Frame Averaging
Robert Bosch GmbH - ADAS Systems, Software & Services(博世集团-ADAS系统、软件与服务);University of Lübeck - Institute for Signal Processing(吕贝克大学-信号处理研究所)
本文提出FA-KPConv,通过帧平均将精确的欧几里得不变性与等变性引入KPConv点云网络,在不增加可学习参数的前提下提升分类与配准在数据稀缺和随机旋转等困难场景下的性能。
2025-05-08 cs.CV
Efficient Learning on Point Clouds with Basis Point Sets
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Amazon(亚马逊)
随着3D扫描技术的日益普及,点云作为日常场景的丰富表现形式,正逐渐成为计算机视觉的焦点。然而,由于它们的无序结构,机器学习算法很难处理它们。一种常见的方法是应用占用网格映射,这大大增加了存储的数据量,同时通过离散化丢失了细节。最近,提出了深度学习模型来直接处理点云并实现输入排列不变性。然而,这些架构通常使用增加数量的参数,并且计算效率低。在这项工作中,我们提出了基点集(BPS)作为一种高效和完全通用的方法来处理点云与机器学习算法。基点集表示是可以被有效地计算并且可以与标准神经网络架构和其他机器学习算法一起使用的残差表示。使用所提出的表示作为一个简单的全连接网络的输入,使我们能够在形状分类任务上匹配PointNet的性能,同时使用三个数量级的浮点运算。在第二个实验中,我们展示了如何将所提出的表示用于将高分辨率网格注册到嘈杂的3D扫描。在这里,我们提出了第一种单通道高分辨率网格配准方法,避免了耗时的每次扫描优化,并允许实时执行。
2019-08-24 cs.CV
MaskLRF: Self-supervised Pretraining via Masked Autoencoding of Local Reference Frames for Rotation-invariant 3D Point Set Analysis
University of Yamanashi(山梨大学)
针对现有掩码点建模缺乏旋转不变性的问题,提出MaskLRF框架,通过局部参考帧内的掩码自编码学习旋转不变特征,并在多个下游任务上取得最先进精度。
2024-05-22 cs.CV
Key-Grid: Unsupervised 3D Keypoints Detection using Grid Heatmap Features
Shanghai Qizhi Institute(上海智己研究所);Peking University(北京大学);Tsinghua University(清华大学);The University of Hong Kong(香港大学);University of Science and Technology of China(中国科学技术大学);Shanghai AI Lab(上海人工智能实验室)
针对现有无监督3D关键点检测方法在可变形对象上语义一致性差的问题,提出基于自编码器的Key-Grid检测器,通过网格热图特征和跨层信息融合,在多项基准上实现语义一致性与位置精度达SOTA,且具备鲁棒性和SE(3)不变性。
2024-12-07 cs.CV
HOME: Robust Hough-space Matching Method for Structured and Textureless Videos
针对机器人定位中基于点的特征在结构化或无纹理环境中失效的问题,提出HOME框架,将图像转换到霍夫空间,通过一维点匹配实现高效线匹配,经单应性估计验证,其匹配精度高、速度快,扩展到3D姿态估计前景广阔。
2026-07-29 cs.CV cs.RO