A Deep Discontinuity-Preserving Image Registration Network
University of Leeds（利兹大学）；KU Leuven（鲁汶大学）
图像配准旨在建立图像对或图像组之间的空间对应关系，并且是医学图像计算和计算机辅助干预的基石。目前，大多数基于深度学习的配准方法假设期望的变形场是全局平滑和连续的，这对于现实世界的场景并不总是有效的，特别是在医学图像配准（例如心脏成像和腹部成像）中。这种全局约束可能导致伪影和不连续组织界面处的误差增加。为了解决这个问题，我们提出了一个弱监督的深度不连续性保持图像配准网络（DNF），以获得更好的配准性能和逼真的变形场。我们证明，我们的方法实现了显着的改进，配准精度和预测更逼真的变形，在注册实验心脏磁共振（MR）图像从英国生物银行成像研究（UKBB），比国家的最先进的方法。
2021-07-09 cs.CV eess.IV
Geolocation of an aircraft using image registration coupling modes for autonomous navigation
ALTEN Company（阿尔滕公司）；stimulating innovation center of ALTEN Company（阿尔滕公司创新中心）；Tyrix Aerospace Company（特里克斯航空航天公司）
本文提出了一种替代固定翼飞机上的GPS系统的技术，利用飞机上集成的腹部单目相机的空中拍摄的景观，并基于图像配准技术用于飞机的地理定位目的。存在图像配准技术的不同类型的使用：相对配准和绝对配准。通过知道图像1的飞机位置和两个图像之间的重叠，相对的一个能够从两个连续的空中拍摄重新调整飞机的位置。绝对配准将实时航拍与存储在数据库中的预先参考的图像进行比较，并且允许在将航拍与数据库的图像进行比较时对飞行器进行地理定位。每种图像配准技术都有其自身的缺陷，不能单独用于飞行器的定位。本研究提出根据不同的物理参数（飞行器速度、飞行高度、图像兴趣点密度）来评价这些不同类型的图像配准的耦合性。最后，本研究也旨在量化一些图像配准性能，特别是它的执行时间或它的漂移。
2019-09-06 cs.CV eess.IV
Bridging Modalities: Joint Synthesis and Registration Framework for Aligning Diffusion MRI with T1-Weighted Images
University of Electronic Science and Technology of China（电子科技大学）；Brigham and Women’s Hospital（布里奇沃特医院）；Harvard Medical School（哈佛医学院）
本文提出一种基于生成配准网络的无监督框架，通过图像合成和变形场学习，提升扩散MRI与T1加权图像的配准精度。
2026-01-16 cs.CV eess.IV
Embedding Gradient-based Optimization in Image Registration Networks
Imperial College London（帝国理工学院）；Technical University of Munich（慕尼黑工业大学）；University of Edinburgh（爱丁堡大学）
深度学习（DL）图像配准方法通过训练深度神经网络来在一次快速前向传递中预测最佳变换，从而分摊昂贵的成对迭代优化。在这项工作中，我们弥补了传统的迭代能量优化的配准和基于网络的配准之间的差距，并提出梯度下降网络的图像配准（梯度下降网络）。我们提出的方法训练了一个DL网络，该网络在其前向传递中嵌入了展开的基于多分辨率梯度的能量优化，这在其更新步骤中显式地执行图像相异性最小化。使用2D心脏MR和3D脑部MR图像对配准任务进行了广泛评价。我们证明，我们的方法实现了最先进的注册性能，同时使用更少的学习参数，具有良好的数据效率和域鲁棒性。
2022-09-12 cs.CV eess.IV
Deep Convolutional Neural Network for Non-rigid Image Registration
Simon Fraser University（西蒙弗雷泽大学）
在不同时间或位置拍摄的图像会经历旋转、缩放、倾斜等变换。对准已经经历变换的不同图像的过程可以经由配准来完成。当分析时间序列数据以跟踪、平均或鉴别疾病诊断时，配准是期望的。对于刚性（包括线性或仿射）变换存在有效的配准方法;然而，对于非刚性（也称为非仿射）变换，当前方法在计算上昂贵且耗时。在本报告中，我将探索深度神经网络（DNN），更具体地说，深度卷积神经网络（CNN）有效执行非刚性图像配准的能力。实验结果表明，一个CNN可以用于有效的非刚性图像配准，并在显着更少的计算时间比传统的同构恶魔或金字塔的方法。
2021-04-24 cs.CV eess.IV
Large Deformation Diffeomorphic Image Registration with Laplacian Pyramid Networks
The Hong Kong University of Science and Technology（香港科技大学）
最近，基于深度学习的方法在可变形图像配准方面取得了可喜的成果，可用于各种医学图像分析任务。然而，现有的基于深度学习的方法通常限于小变形设置，并且这些方法经常忽略变换的理想属性，包括双射映射和拓扑保持。在本文中，我们提出了一个深拉普拉斯金字塔图像配准网络，它可以解决图像配准优化问题，在一个粗略的形态映射空间内的方式。两个MR脑扫描数据集上的广泛的定量和定性评估表明，我们的方法优于现有的方法，同时保持理想的几何形态属性和有前途的配准速度的显着保证金。
2020-06-30 cs.CV eess.IV
Unsupervised Deformable Image Registration with Local-Global Attention and Image Decomposition
Institute of Medical Technology, Peking University Health Science Center（北京大学医学部医学技术研究所）；National Institute of Health Data Science, Peking University（北京大学国家健康数据科学研究院）；Department of Radiology, Peking University Third Hospital（北京大学第三医院放射科）；Department of Pediatrics, Peking University First Hospital（北京大学第一医院儿科）；Pediatric Epilepsy Center, Peking University First Hospital（北京大学第一医院儿童癫痫中心）；School of Biological Science and Medical Engineering, Southeast University（东南大学生物科学与医学工程学院）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）
本文提出LGANet++，通过局部-全局注意力机制和图像分解技术，实现更准确、鲁棒的无监督可变形图像配准。
2026-01-20 cs.CV eess.IV
Deformable multi-modal image registration for the correlation between optical measurements and histology images
Netherlands Cancer Institute（荷兰癌症研究所）
本研究提出基于VoxelMorph的自动化多模态图像配准技术，解决组织学图像变形导致光学测量与病理标签关联受阻的问题，实验证明无监督模型显著优于有监督及手动方法，有望提升光学技术验证的准确性。
2023-11-24 cs.CV eess.IV
3D deformable registration of longitudinal abdominopelvic CT images using unsupervised deep learning
University of Cambridge（剑桥大学）；Cancer Research UK Cambridge Centre（英国癌症研究中心剑桥中心）；Medical University Vienna（维也纳医科大学）；Cambridge University Hospitals National Health Service (NHS) Foundation Trust（剑桥大学医院国民保健服务基金会信托）；Eindhoven University of Technology（埃因霍温理工大学）；Leiden University（莱顿大学）；University College London（伦敦大学学院）；Cancer Research UK Cambridge Institute（英国癌症研究中心剑桥研究所）
本研究探讨了使用无监督深度学习框架VoxelMorph对乳腺癌骨转移患者采集的纵向腹盆腔CT图像进行变形配准。在配准之前，通过自动移除CT扫描床和所有其他皮质外组件来优化CT图像。为了提高VoxelMorph的学习能力时，只有有限的训练数据是可用的，一种新的增量训练策略，提出了基于连续CT图像的模拟变形。在4折交叉验证方案中，增量训练策略与在单个体积上训练相比实现了显著更好的配准性能。尽管我们的可变形图像配准方法在配准质量方面没有优于使用NiftyReg（被视为基准）的迭代配准，但配准速度约为300倍。本研究通过基于模拟变形的新型增量训练策略，证明了纵向腹盆CT图像基于深度学习的变形配准的可行性。
2020-05-15 cs.CV eess.IV
A survey on deep learning in medical image registration: new technologies, uncertainty, evaluation metrics, and beyond
Johns Hopkins School of Medicine（约翰斯·霍普金斯医学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文全面综述医学图像配准领域的深度学习最新进展，涵盖核心概念、网络架构、损失函数、不确定性估计、评估指标及实际应用，并展望未来发展方向。
2024-11-01 cs.CV eess.IV
F3RNet: Full-Resolution Residual Registration Network for Deformable Image Registration
Tsinghua University（清华大学）；Brigham and Women’s Hospital（布莱根妇女医院）；Harvard Medical School（哈佛医学院）
可变形图像配准（Deformable image registration，配准）对于许多图像引导治疗是必不可少的。最近，深度学习方法在计算机科学中获得了极大的普及和成功。大多数深度学习方法使用所谓的单流“从高到低，从低到高”的网络结构，并且可以获得令人满意的整体配准结果。然而，一些严重变形的局部区域的精确对齐，这是至关重要的精确定位手术目标，往往被忽视。因此，这些方法对一些难以对准的区域不敏感，例如，变形肝叶的患者内配准。在本文中，我们提出了一种新的无监督配准网络，即全分辨率残差配准网络（F3 RNet），用于严重变形器官的变形配准。所提出的方法结合了两个并行的处理流在残差学习的方式。一个流利用全分辨率信息，便于精确的体素级配准。另一个流学习深度多尺度残差表示以获得鲁棒的识别。我们还分解了3D卷积，以减少训练参数并提高网络效率。我们在临床采集的患者腹部CT-MRI数据集和公共吸气和呼气胸部CT数据集上验证了所提出的方法。与最先进的方法相比，多模态和单峰配准的实验表明了有希望的结果。
2020-12-07 cs.CV eess.IV
Towards Positive Jacobian: Learn to Postprocess Diffeomorphic Image Registration with Matrix Exponential
University of Alberta（阿尔伯塔大学）
我们提出了一个后处理层的变形图像配准，使配准场更同构，鼓励雅可比变换为正。同构图像配准由于具有变换的可逆性、平滑性和网格的拓扑保持/非折叠性等特性，对于医学成像研究非常重要。违反这些属性可能导致在图像配准期间解剖结构的邻域和连通性的破坏。最近的大多数深度学习方法都没有明确地解决这个折叠问题，而是试图通过配准域上的平滑正则化来解决这个问题。在本文中，我们提出了一个可微层，它采取任何注册域作为其输入，计算指数的雅可比矩阵的输入和重建一个新的注册域从指数的雅可比矩阵使用泊松重建。我们提出的泊松重建损失强制执行最终配准字段的正雅可比矩阵。因此，我们的方法充当后处理层，本身没有任何可学习的参数，并且可以放置在任何深度学习管道的末端，以形成端到端的可学习框架。我们展示了我们提出的方法对流行的深度学习配准方法Voxelmorph的有效性，并使用包含3D脑部MRI扫描的数据集对其进行评估。我们的研究结果表明，我们的后处理可以有效地减少非正雅可比矩阵的数量显着量，而没有任何明显的配准精度恶化，从而使配准场更同构。我们的代码可在https://github.com/Soumyadeep-Pal/Diffeomorphic-Image-Registration-Postprocess上获得。
2022-02-01 cs.CV eess.IV
SHMoAReg: Spark Deformable Image Registration via Spatial Heterogeneous Mixture of Experts and Attention Heads
提出SHMoAReg，在编码器中使用混合注意力头(MoA)动态选择最优注意力头组合，在解码器中使用空间异构专家混合(SHMoE)为每个体素在不同方向上异构预测变形场，在腹部CT数据集上Dice分数从60.58%提升至65.58%，并增强了模型可解释性。
2026-07-01 cs.CV
A Deep Network for Joint Registration and Reconstruction of Images with Pathologies
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；University of Pennsylvania（宾夕法尼亚大学）
由于病理引起的组织外观变化和缺失对应性，图像与病理的配准具有挑战性。此外，在脑肿瘤中观察到的质量效应可能会使组织移位，随着时间的推移产生比在健康大脑中观察到的更大的变形。深度学习模型已经成功地应用于图像配准以提供显著的加速并使用替代信息（例如，在训练期间进行分段。然而，现有的方法集中于使用来自健康患者的图像来学习配准模型。因此，它们不是设计用于配准具有强烈病理的图像，例如在脑肿瘤和创伤性脑损伤的背景下。在这项工作中，我们探索了一种深度学习方法，将脑肿瘤图像配准到图谱中。我们的模型学习了从肿瘤图像到图谱的外观映射，同时预测到图谱空间的转换。使用单独的解码器，该网络将肿瘤质量效应与准正常图像的重建分开。合成和真实脑肿瘤扫描的结果表明，我们的方法优于代价函数掩蔽登记的图集和重建的准正常图像可以用于更好的纵向配准。
2020-08-17 cs.CV eess.IV
Correlation-aware Coarse-to-fine MLPs for Deformable Medical Image Registration
School of Computer Science, The University of Sydney（悉尼大学计算机科学学院）；Institute of Translational Medicine, Shanghai Jiao Tong University（上海交通大学转化医学研究院）
针对 transformer 难以在全分辨率捕获细粒度长程依赖的问题，提出 CorrMLP：以相关性感知多窗口 MLP 和由粗到细架构实现可变形医学图像配准，并在七个公开数据集上超过现有最优方法。
2024-06-12 cs.CV eess.IV
AMD Severity Prediction And Explainability Using Image Registration And Deep Embedded Clustering
IBM Research Australia（IBM澳大利亚研究院）
我们提出了一种方法来预测严重程度的年龄相关性黄斑变性（AMD）的输入光学相干断层扫描（OCT）图像。虽然AMD没有标准的临床严重程度量表，但我们利用基于深度学习（DL）的图像配准和聚类方法来识别患病病例并预测其严重程度。实验表明，我们的方法的疾病分类性能匹配的最先进的方法。预测的疾病严重程度在以前看不见的数据上表现良好。关于标签和严重度决策，配准输出比类激活图提供更好的解释性
2019-07-06 cs.CV eess.IV
DeepFLASH: An Efficient Network for Learning-based Medical Image Registration
University of Virginia（弗吉尼亚大学）
本文介绍了DeepFLASH，一种新型的网络，具有有效的训练和推理，用于基于学习的医学图像配准。与现有的从高维成像空间中的训练数据学习空间变换的方法相比，我们完全在低维带限空间中开发了一种新的配准网络。这大大降低了昂贵的训练和推理的计算成本和内存占用。为了实现这一目标，我们首先介绍了神经架构的复值运算和表示，这些运算和表示为基于学习的配准模型提供了关键组件。然后，我们构造了一个明确的损失函数的变换场充分特征的带限空间少得多的参数化。实验结果表明，我们的方法明显快于最先进的基于深度学习的图像配准方法，同时产生同样准确的对齐。我们证明了我们的算法在两个不同的应用程序的图像配准：2D合成数据和3D真正的大脑磁共振（MR）图像。我们的代码可在https://github.com/jw4hv/deepflash上获得。
2020-04-05 cs.CV eess.IV
Adversarial Uni- and Multi-modal Stream Networks for Multimodal Image Registration
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Graduate School of Frontier Sciences, The University of Tokyo（东京大学前沿科学研究生院）
计算机断层扫描（CT）图像和磁共振（MR）成像之间的可变形图像配准对于许多图像引导治疗是必不可少的。本文提出了一种新的基于预处理的无监督可变形图像配准方法。与试图将多模态问题（例如，CT到MR）转化为单峰问题（例如，通过图像到图像的转换，我们的方法利用从以下两者估计的变形场：（i）转换的MR图像和（ii）以双流方式的原始CT图像，并自动学习如何融合它们以实现更好的配准性能。多模态配准网络可以通过计算上有效的相似性度量来有效地训练，而无需任何地面真实变形。我们的方法已经在两个临床数据集上进行了评估，与最先进的传统方法和基于学习的方法相比，结果令人鼓舞。
2020-09-21 cs.CV eess.IV
MetaRegNet: Metamorphic Image Registration Using Flow-Driven Residual Networks
University of Georgia（佐治亚大学）；Shanghai Jiao Tong University（上海交通大学）
基于深度学习的方法为医学图像配准提供了有效的解决方案，包括同构图像配准的挑战性问题。然而，大多数方法配准正常图像对，面临着处理具有缺失对应性的图像对的困难，例如，在肿瘤等病变的情况下。我们希望有一种有效的解决方案来共同考虑对应性缺失的病理区域中的空间变形和外观变化，即，找到变形图像配准的解决方案。提出了一些方法来解决这个问题，但它们不能正确地处理大的病理区域和病理周围的变形。在本文中，我们提出了一个深变形图像配准网络（MetaRegNet），它采用时变流来驱动空间变形和产生强度变化。我们在两个数据集上评估MetaRegNet，即，BraTS 2021与脑肿瘤和3D-IRCADb-01与肝肿瘤，在配准健康和肿瘤图像对方面显示出有希望的结果。源代码可在线获得。
2023-03-16 cs.CV eess.IV
Robust Image Registration with Absent Correspondences in Pre-operative and Follow-up Brain MRI Scans of Diffuse Glioma Patients
The Hong Kong University of Science and Technology（香港科技大学）
由于肿瘤质量效应引起的组织外观变化较大以及肿瘤复发区域的对应性缺失，因此术前和随访脑部MRI扫描的配准具有挑战性。尽管最近基于深度学习的可变形配准方法在各种医学应用中取得了显着的成功，但它们中的大多数都不能将图像与病理配准。在本文中，我们提出了一种用于术前和随访脑部MRI扫描的3步配准流水线，包括1）多级仿射配准，2）具有前后一致性约束的条件深拉普拉斯金字塔图像配准网络（cLapIRN），以及3）非线性实例优化方法。我们将该方法应用于脑肿瘤序列配准（BraTS-Reg）挑战。我们的方法实现了脑部MRI扫描与病理的准确和鲁棒配准，在BraTS-Reg挑战的验证集中实现了1.64 mm的中位绝对误差和88%的成功配准率。我们的方法在2022年MICCAI BraTS-Reg挑战赛中排名第一。
2022-11-12 cs.CV eess.IV
A Two Step Approach for Whole Slide Image Registration
Muroran Institute of Technology（室兰工业大学）；Niigata University of Health and Welfare（新潟医疗福祉大学）；Konica Minolta, Inc.（柯尼卡美能达公司）
多染色全切片图像配准是一个活跃的研究领域。然而，目前还不清楚目前的WSI注册方法将如何在真实世界的数据集上执行。乳腺癌组织自动配准（ACROBAT）挑战旨在通过使用源自常规诊断的新数据集来验证当前WSI配准方法的性能，以评估现实世界的适用性。在本报告中，我们提出了针对ACROBAT挑战的解决方案。我们采用了两步的方法，包括刚性和非刚性变换。实验结果表明，验证数据集的第90百分位数中位数为1,250 um。
2022-08-25 cs.CV eess.IV
Learning Homeomorphic Image Registration via Conformal-Invariant Hyperelastic Regularisation
The Hong Kong Polytechnic University（香港理工大学）；University of Cambridge（剑桥大学）；Université Clermont Auvergne（克莱蒙奥弗涅大学）
针对深度学习图像配准缺乏拓扑保持理论保证的问题，提出一种基于共形不变超弹性正则化和坐标MLP的可变形图像配准框架，严格保证了变形场的平滑、可逆与拓扑保持，性能优于现有技术。
2023-06-30 cs.CV eess.IV
Unsupervised Deformable Image Registration with Absent Correspondences in Pre-operative and Post-Recurrence Brain Tumor MRI Scans
The Hong Kong University of Science and Technology（香港科技大学）
手术前和复发后的脑图像的配准通常需要评估脑胶质瘤治疗的有效性。虽然最近基于深度学习的可变形配准方法在健康大脑图像方面取得了显着的成功，但由于参考图像中缺乏对应关系，其中大多数无法准确地将图像与病理对齐。在本文中，我们提出了一种基于深度学习的可变形配准方法，该方法联合估计缺少对应和双向变形场的区域。一个向前向后的一致性约束是用来帮助在本地化的切除和复发区域的体素在两个图像中没有对应。BraTS-Reg挑战的3D临床数据结果表明，与传统的和基于深度学习的配准方法相比，无论是否使用代价函数掩蔽策略，我们的方法都可以改善图像对齐。源代码可在https://github.com/cwmok/DIRAC上获得。
2022-06-08 cs.CV eess.IV
multiGradICON: A Foundation Model for Multimodal Medical Image Registration
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University of Salzburg（萨尔茨堡大学）；Université Gustave Eiffel（古斯塔夫·埃菲尔大学）；Brigham and Women’s Hospital（布莱根妇女医院）；ÉTS Montréal（蒙特利尔工程学院）；Boston University（波士顿大学）；Kitware Inc.（Kitware公司）
本文提出multiGradICON基础模型，通过统一训练单模态与多模态配准、损失函数随机化和多模态数据训练，实现通用多模态医学图像配准。
2025-02-07 cs.CV eess.IV
Modality-Invariant Coarse-to-Fine Retinal Image Registration
针对现有视网膜配准方法依赖模态的局限，提出可泛化的两阶段模态无关框架，含稀疏特征匹配模型与MI-RAFT网络，在多模态视网膜图像配准中性能优于现有方法。
2026-08-18 cs.CV eess.IV
Longitudinal Image Registration with Temporal-order and Subject-specificity Discrimination
University College London（伦敦大学学院）；InstaDeep；University College London Hospital NHS Foundation Trust（伦敦大学学院医院NHS基金会信托）；University of Oxford（牛津大学）
纵向MR图像的形态分析在监测前列腺癌患者的疾病进展中起着关键作用，前列腺癌患者被置于积极的监测计划之下。在本文中，我们描述了一种基于学习的图像配准算法来量化在两个不同时间点采集的同一患者的一对图像之间的感兴趣区域的变化。结合基于强度的相似性和腺体分割作为弱监督，与配准前和迭代配准算法相比，人口数据训练的配准网络显着降低了保留患者数据的目标配准误差（TREs）。此外，这项工作提供了一个定量分析的几个原始数据采样策略，反过来，我们提出了一种新的正则化方法的基础上最大的平均差异，不同采样的训练图像对之间。基于来自86名患者的216张3D MR图像，我们报告了平均TRE为5.6 mm，并且显示了不同训练数据采样策略之间的统计学显著差异。
2020-08-29 cs.CV eess.IV
WSSAMNet: Weakly Supervised Semantic Attentive Medical Image Registration Network
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Whirlpool（惠而浦）
我们提出了WSSAMNet，一种弱监督的医学图像配准方法。我们的方法分为两步，第一步是计算固定体积和移动体积的分割掩模。然后，这些掩模用于处理输入体积，然后在第二步骤中将其作为输入提供给配准网络。配准网络计算变形场以执行固定体积和移动体积之间的对准。我们研究了我们的技术对ANT和VoxelMorph的BrTSReg挑战数据的有效性，我们证明了我们的方法具有竞争力。
2022-03-05 cs.CV eess.IV
Groupwise Multimodal Image Registration using Joint Total Variation
The Wellcome Centre for Human Neuroimaging, UCL（伦敦大学学院惠康人类神经影像中心）
在医学成像中，通常的做法是采集广泛的模态（MRI、CT、PET等），以突出不同的结构或病理。由于患者在扫描或扫描会话之间的移动是不可避免的，因此配准通常是任何后续图像分析之前的重要步骤。在本文中，我们引入了一个基于联合总变分的代价函数，这样的多模态图像配准。该代价函数具有能够实现多个图像的原则性的、成组的对准的优点，同时对强强度非均匀性不敏感。我们评估我们的算法严格对齐模拟和真实的3D大脑扫描。该验证显示了CT/PET到MRI对准的强强度不均匀性和低配准误差的鲁棒性。我们的实现可以在https://github.com/brudfors/coregistration-njtv上公开获得。
2020-05-06 cs.CV eess.IV
Deformable Cross-Attention Transformer for Medical Image Registration
Johns Hopkins Medical Institutes（约翰斯·霍普金斯医学研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）；NVIDIA Corporation（英伟达公司）
Transformers最近已经显示出用于医学图像应用的前景，导致对开发用于医学图像配准的这种模型的兴趣日益增加。在设计配准Transformers方面的最新进展集中于使用交叉注意（CA）来使得能够更精确地理解移动图像与固定图像之间的空间对应。在这里，我们提出了一种新的CA机制，计算窗口注意使用变形窗口。与现有的CA机制，需要密集的计算复杂性，无论是计算CA全球或本地与一个固定的和扩展的搜索窗口，所提出的变形CA可以选择性地采样一组不同的功能在一个大的搜索窗口，同时保持低的计算复杂性。所提出的模型进行了广泛的多模态，单模态，和图集到病人的配准任务，表现出良好的性能对国家的最先进的方法，并表明其有效性的医学图像配准。这项工作的源代码将在发布后提供。
2023-03-10 cs.CV eess.IV
DiffuseMorph: Unsupervised Deformable Image Registration Using Diffusion Model
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
形变图像配准是医学成像的基本任务之一。经典的配准算法通常需要很高的计算成本进行迭代优化。尽管已经开发了基于深度学习的方法用于快速图像配准，但是获得从运动图像到固定图像的逼真连续变形并且具有较少的拓扑折叠问题仍然具有挑战性。为了解决这个问题，在这里，我们提出了一种新的基于扩散模型的图像配准方法，称为DiffuseMorph。DiffuseMorph不仅通过反向扩散生成合成变形图像，而且还允许通过变形场进行图像配准。具体地，通过运动图像和固定图像之间的变形的条件分数函数来生成变形场，使得可以通过简单地缩放分数的潜在特征来从连续变形执行配准。二维人脸和三维医学图像配准任务的实验结果表明，我们的方法提供了灵活的变形与拓扑保持能力。
2022-09-29 cs.CV cs.LG eess.IV
A Deep Learning Framework for Unsupervised Affine and Deformable Image Registration
Image Sciences Institute, University Medical Center Utrecht and Utrecht University（乌得勒支大学医学中心与乌得勒支大学影像科学研究所）；Division of Image Processing of the Leiden University Medical Center（莱顿大学医学中心图像处理部）
图像配准是将两幅或多幅图像对齐的过程，是许多（半）自动医学图像分析任务的核心技术。最近的研究表明，深度学习方法，特别是卷积神经网络（ConvNets），可以用于图像配准。到目前为止，用于配准的ConvNets的训练是使用预定义的示例配准来监督的。然而，获得示例注册并不简单。为了避免对预定义示例的需求，从而提高训练ConvNets进行图像配准的便利性，我们提出了用于\textit{unsupervised}仿射和可变形图像配准的深度学习图像配准（DLIR）框架。在DLIR框架中，通过利用类似于传统的基于强度的图像配准的图像相似性来训练ConvNets进行图像配准。在使用DLIR框架训练ConvNet之后，它可以用于在一个镜头中注册成对的不可见图像。我们提出了灵活的ConvNets设计，用于仿射图像配准和可变形图像配准。通过将多个ConvNet堆叠到一个更大的架构中，我们能够执行从粗到精的图像配准。我们表明，对于心脏电影MRI和胸部CT的配准，DLIR框架的性能与传统的图像配准相当，同时快了几个数量级。
2018-12-05 cs.CV
A Transformer-based Network for Deformable Medical Image Registration
Huazhong University of Science and Technology（华中科技大学）；College of Life Science and Technology, Huazhong University of Science and Technology（华中科技大学生命科学与技术学院）
形变医学图像配准在临床诊断和治疗中起着重要的作用。近年来，基于深度学习的图像配准方法得到了广泛的研究，并在计算速度方面表现出优异的性能。然而，这些方法不能提供足够的配准精度，因为在表示运动和固定图像的全局和局部特征的能力不足。针对这一问题，本文提出了基于Transformer的图像配准方法。该方法利用特征Transformer提取图像的全局和局部特征，生成形变场，并在此基础上以无监督的方式生成配准图像。该方法通过自注意机制和两级信息流，有效地提高了配准精度。在LPBA 40和OASIS-1等脑MR图像数据集上的实验结果表明，与传统的配准方法和基于DL的配准方法相比，该方法具有更高的配准精度。
2022-10-15 cs.CV cs.LG eess.IV
Deep learning in medical image registration: introduction and survey
MAIA Artificial Intelligence Lab（MAIA人工智能实验室）
本文综述了深度学习在医学图像配准中的应用，介绍了图像变换、配准算法、多阶段技术、评估指标及临床应用，并展望了基于transformers的未来研究方向。
2024-01-10 cs.CV cs.LG eess.IV
Meta-Learning Initializations for Interactive Medical Image Registration
University College London（伦敦大学学院）
我们提出了一个交互式医学图像配准的元学习框架。我们提出的框架包括三个组成部分：一个基于学习的医学图像配准算法，一种形式的用户交互，在推理中细化注册，和一个元学习协议，学习一个快速适应的网络初始化。本文介绍了一种具体的算法，实现了注册，互动和元学习协议，我们的示范临床应用：登记的磁共振（MR）成像交互式采集，稀疏采样经直肠超声（TRUS）图像。我们的方法获得了与性能最佳的基于非交互式学习的3D到3D方法（3.97 mm）相当的配准误差（4.26 mm），同时只需要一小部分数据，并且在采集过程中实时发生。将稀疏采样数据应用于非交互式方法会产生更高的配准误差（6.26 mm），证明了交互式MR-TRUS配准的有效性，鉴于自适应过程的实时性，可在术中应用。
2022-10-27 cs.CV cs.LG eess.IV
Non-iterative Coarse-to-fine Transformer Networks for Joint Affine and Deformable Image Registration
School of Computer Science, The University of Sydney（悉尼大学计算机科学学院）；Institute of Translational Medicine, Shanghai Jiao Tong University（上海交通大学转化医学研究院）；Royal Prince Alfred Hospital（皇家阿尔弗雷德王子医院）；Med-X Research Institute, Shanghai Jiao Tong University（上海交通大学Med-X研究院）
针对现有非迭代由粗到精配准方法依赖额外仿射配准、受卷积局部性限制的问题，提出嵌入Transformer的NICE-Trans网络，实现单网络联合仿射与可形变配准，在7个公开数据集上精度与速度均超现有最优方法。
2023-07-07 cs.AI cs.CV eess.IV
Conditional Segmentation in Lieu of Image Registration
University College London（伦敦大学学院）；University of Oxford（牛津大学）；Siemens Healthineers（西门子医疗）；King’s College London（伦敦国王学院）
经典的成对图像配准方法搜索优化数字测量的空间变换，所述数字测量指示一对移动图像和固定图像对准得有多好。当前基于学习的配准方法已经采用相同的范例，并且通常针对任何新的输入图像对以密集位移场或空间变换模型的参数的形式预测密集对应。然而，在许多配准应用中，空间变换本身仅需要传播感兴趣的点或区域（ROI）。在这种情况下，这些ROI内部或外部的详细像素级或体素级对应通常没有什么临床价值。在本文中，我们提出了一种替代的范例，其中相应的图像特定的ROI的位置，在一个图像中定义的，在另一个图像的学习。这导致用条件分割算法代替图像配准，条件分割算法可以建立在典型的图像分割网络及其广泛采用的训练策略上。以前列腺3D MRI和超声图像的配准为例来演示这种新方法，我们报告了术中超声图像上定义的真实感兴趣区域与从术前传播的真实感兴趣区域之间的中位目标配准误差（TRE）为2.1 mm MR图像。与先前提出的空间变换预测配准网络相比，使用所提出的条件分割获得了显着更低（>34%）的TREs，所述空间变换预测配准网络针对单个图像对使用相同的多个ROI标签进行训练。我们结束这项工作，使用定量偏差方差分析，提供一个解释所观察到的注册精度的提高。
2019-06-30 cs.CV cs.LG eess.IV
Analyzing an Imitation Learning Network for Fundus Image Registration Using a Divide-and-Conquer Approach
FAU Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）；University of Leeds（利兹大学）
眼底镜图像上微血管循环的比较是用于诊断和监测疾病（例如糖尿病和高血压）的非侵入性临床指征。患者内图像之间的差异可以通过配准连续采集来定量评估。由于图像的可变性（即对比度、亮度）和视网膜的解剖学变化，眼底图像的配准仍然是一项具有挑战性的任务。最近，已经提出了几种深度学习方法来以端到端的方式配准眼底图像，取得了显着的效果。然而，结果很难解释和分析。在这项工作中，我们提出了一个模仿学习框架，用于注册的二维彩色眼底图像的疾病监测，图像拼接和超分辨率等广泛的应用。我们遵循分而治之的方法来提高所提出的网络的可解释性，并分析了输入图像和超参数对配准结果的影响。结果表明，该配准网络将初始目标配准误差降低到95%.
2019-12-19 cs.CV cs.LG eess.IV
Image Registration Based Flicker Solving in Video Face Replacement and Analysis Based Sub-pixel Image Registration
Hebei University of Technology（河北工业大学）
本文提出了一种视频人脸替换框架，解决了视频序列中交换人脸的闪烁问题。该框架包含两个主要创新点：1）利用图像配准技术对源视频人脸和目标视频人脸进行配准，以消除分割后的视频人脸序列的闪烁或抖动; 2）提出一种快速的亚像素图像配准方法，以提高配准的精度和效率。与先验方法不同的是，它最小化了重叠区域，并考虑了时空相干性。合成视频中的闪烁现象通常是由于视频序列中混合目标人脸和未注册人脸的边界频繁变化引起的。针对闪烁问题，提出了亚像素图像配准方法。在配准过程中，整数像素配准是通过最大化图像间的相似性来实现的，下采样策略加快了配准速度，而亚像素配准则是通过解析方法实现的一步图像匹配。实验结果表明，该算法在不同数据集上进行实验时，计算时间减少，准确率较高。
2018-03-09 cs.CV
Non-Rigid Image Registration Using Self-Supervised Fully Convolutional Networks without Training Data
Perelman School of Medicine, University of Pennsylvania（宾夕法尼亚大学佩雷尔曼医学院）
一种新的非刚性图像配准算法是建立在全卷积网络（FCN）优化和学习空间变换之间的图像对注册在自监督学习框架。与大多数现有的基于深度学习的图像配准方法不同，这些方法从具有已知对应空间变换的训练数据学习空间变换，我们的方法通过最大化固定和变形运动图像之间的图像相似性度量来直接估计图像对之间的空间变换，类似于传统的图像配准算法。图像配准在多分辨率图像配准框架中实现，以通过典型的前馈和反向传播计算，通过深度自我监督，联合优化和学习不同空间分辨率的空间变换和FCN。所提出的方法已被评估为注册三维结构脑磁共振（MR）图像，并获得了更好的性能比国家的最先进的图像配准算法。
2018-01-11 cs.CV
ABN: Anti-Blur Neural Networks for Multi-Stage Deformable Image Registration
Worcester Polytechnic Institute（伍斯特理工学院）；Lehigh University（理海大学）
可变形图像配准，即，通过非线性变换将多个图像对准到一个坐标系中的任务用作神经成像数据的基本预处理步骤。近年来对可变形图像配准的研究主要集中在利用多阶段配准方法提高配准精度上，即利用同一个神经网络对源图像进行多阶段的重复变形，直到其与目标图像达到良好的配准。用于多阶段配准的常规方法通常会使源图像模糊，因为像素/体素值是从由前一阶段生成的图像重复地内插的。然而，在图像配准过程中保持图像质量（如清晰度）对于医疗数据分析至关重要。本文研究了抗模糊变形图像配准问题，提出了一种新的多阶段图像配准方法，称为抗模糊网络（ABN）。具体来说，我们使用一对短期配准和长期记忆网络来学习每个阶段的非线性变形，其中短期配准网络学习如何逐步提高配准精度，而长期记忆网络结合所有先前的变形，以允许直接对原始图像执行插值并保持图像清晰度。在自然和医学图像数据集上的大量实验表明，ABN可以准确地配准图像，同时保持其清晰度。我们的代码和数据可以在https://github.com/anonymous3214/ABN上找到
2022-12-06 cs.CV
Deep Learning in Medical Image Registration: A Survey
Rensselaer Polytechnic Institute（伦斯勒理工学院）
通过稳健的图像配准建立图像对应关系对于许多临床任务（例如图像融合、器官图谱创建和肿瘤生长监测）是至关重要的，并且是非常具有挑战性的问题。自最近深度学习复兴开始以来，医学成像研究界已经开发出基于深度学习的方法，并在许多应用中实现了最先进的技术，包括图像配准。在过去几年中，深度学习在图像配准应用中的快速采用需要进行全面的总结和展望，这是本次调查的主要范围。这需要把重点放在不同的研究领域，以及突出从业者面临的挑战。因此，本调查概述了基于深度学习的医学图像配准在过去几年中的研究挑战和相关创新背景下的演变。此外，这项调查突出了未来的研究方向，以显示如何这一领域可能会向前迈进到一个新的水平。
2020-01-21 cs.CV eess.IV q-bio.QM
Performance of Image Registration Tools on High-Resolution 3D Brain Images
Queensland University of Technology（昆士兰科技大学）
组织清除的最新进展允许以单细胞分辨率对整个器官进行成像。这些方法产生非常大的3D图像（整个小鼠大脑为几千兆字节）。分析这些图像的一个必要步骤是样本之间的配准。现有的配准方法是针对较低分辨率的图像模式（例如MRI）开发的，目前还不清楚它们的性能和准确性在这种较大规模下是否令人满意。在这项研究中，我们使用来自不同小鼠大脑的数据，通过CUBIC协议来评估五种免费的图像配准工具。我们使用了几个性能指标来评估准确性，并将完成时间作为效率的衡量标准。该评估的结果表明，ANTS配准工具提供了最佳的配准精度，而Elastix具有最高的计算效率的方法与可接受的精度。研究结果还强调需要开发针对这些高分辨率3D图像优化的新配准方法。
2018-07-13 cs.CV
Unsupervised Deformable Image Registration Using Cycle-Consistent CNN
Korea Advanced Institute of Science and Technology（韩国科学技术院）；University of Ulsan College of Medicine（蔚山大学医学院）；Asan Medical Center（峨山医学中心）
医学图像配准是癌症诊断等生物医学图像分析的关键处理步骤之一。最近，基于深度学习的有监督和无监督图像配准方法由于其优异的性能而得到了广泛的研究，尽管与经典方法相比计算时间超快。在本文中，我们提出了一种新的无监督医学图像配准方法，训练深度神经网络的3D体积的变形配准使用的周期一致性。由于循环一致性，所提出的深度神经网络可以采用具有严重变形的不同图像数据对进行精确配准。使用多相肝脏CT图像的实验结果表明，我们的方法在几秒钟内提供了非常精确的三维图像配准，从而更准确的癌症大小估计。
2019-07-02 cs.CV cs.LG eess.IV
KLDivNet: An unsupervised neural network for multi-modality image registration
Fudan University（复旦大学）；SenseTime Technology（商汤科技）
多模态图像配准是医学图像分析中最重要的过程之一。最近，卷积神经网络（CNN）在变形配准中显示出巨大的潜力。然而，缺乏体素方面的地面实况挑战了CNN的训练，以实现准确的配准。在这项工作中，我们提出了一个跨模态的相似性度量，基于图像变量的KL发散，并实现了一个有效的估计方法，使用CNN。这个估计网络被称为KLDivNet，可以在无监督的情况下进行训练。然后将KLDivNet嵌入到配准网络中，实现多模态图像的无监督变形配准。我们使用了三个数据集，即，AAL Brain、LiTS Liver和Hospital Liver，具有模态内和模态间图像配准任务以进行验证。结果表明，我们的相似性度量是有效的，所提出的注册网络提供了优越的性能相比，国家的最先进的方法。
2020-02-05 cs.CV
Non-rigid image registration using fully convolutional networks with deep self-supervision
University of Pennsylvania（宾夕法尼亚大学）
我们提出了一种新的非刚性图像配准算法，该算法建立在全卷积网络（FCN）上，以优化和学习待配准图像对之间的空间变换。与大多数现有的基于深度学习的图像配准方法不同，这些方法从具有已知对应空间变换的训练数据学习空间变换，我们的方法通过最大化固定和变形运动图像之间的图像相似性度量来直接估计图像对之间的空间变换，类似于传统的图像配准算法。同时，我们的方法还学习了用于在待配准图像的相同空间分辨率下编码空间变换的FCN，而不是学习粗粒度的空间变换信息。图像配准在多分辨率图像配准框架中实现，以通过典型的前馈和反向传播计算，通过深度自我监督，联合优化和学习不同分辨率的空间变换和FCN。由于我们的方法同时优化和学习图像配准的空间变换，我们的方法可以直接用于配准一对图像，一组图像的配准也是一个训练过程的FCNs，使训练的FCNs可以直接采用新的图像通过前馈计算学习的FCNs没有任何优化。所提出的方法已被评估为注册三维结构脑磁共振（MR）图像，并获得了更好的性能比国家的最先进的图像配准算法。
2017-09-04 cs.CV
Registration and Fusion of Multi-Spectral Images Using a Novel Edge Descriptor
在本文中，我们介绍了一个完全端到端的多光谱图像配准和融合的方法。我们的融合方法将不同光谱通道的图像融合成一个单一的融合图像，通过不同的方法，低，高频率信号。融合的先决条件是光谱带之间的几何对准阶段，通常称为配准。不幸的是，用于单个光谱通道的图像配准的常见方法在来自不同模态的图像上不产生合理的结果。为此，我们介绍了一种新的算法多光谱图像配准，基于一种新的边缘描述符的特征点。我们的方法实现了水平的精确对齐，使我们能够进一步融合图像。实验结果表明，该方法在许多具有挑战性的场景下都能获得高质量的多光谱图像配准和融合。
2018-05-28 cs.CV
Meta-Registration: Learning Test-Time Optimization for Single-Pair Image Registration
Centre for Medical Image Computing, University College London（伦敦大学学院医学图像计算中心）；Wellcome/EPSRC Centre for Surgical & Interventional Sciences, University College London（伦敦大学学院惠康/工程与物理科学研究委员会外科与介入科学中心）
神经网络已经被提出用于通过利用大量训练数据学习图像对之间的最佳变换来进行医学图像配准。这些经过训练的网络可以在一对测试图像上进一步优化-称为测试时间优化。这项工作制定了图像配准作为一个Meta学习算法。这样的网络可以通过对齐训练图像对来训练，同时提高测试时的优化效率;这些任务以前被认为是两个独立的训练和优化过程。假设所提出的元注册，以最大限度地提高网络的“外部”元优化的测试时间优化的效率和有效性。对于图像制导应用程序，往往是时间关键的，但在训练数据有限，潜在获得的速度和精度进行了比较与经典的注册算法，注册网络没有元学习，单对优化没有测试时间优化数据。本文使用108例前列腺癌患者的临床经直肠超声图像数据进行了实验。这些实验证明了元注册协议的有效性，相对于现有的基于学习的方法，该协议可以显著提高性能。此外，由于其快速的测试时间优化过程，元配准在很短的时间内就获得了与经典迭代法相当的结果。
2022-07-22 cs.CV
Metric Learning for Image Registration
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；University of Salzburg（萨尔茨堡大学）；LIGM, UPEM（巴黎东部马恩-拉瓦雷大学 LIGM 实验室）
图像配准是医学图像分析中的一项关键技术，用于估计图像对之间的形变。良好的变形模型对于高质量的估计非常重要。然而，大多数现有的方法使用的ad-hoc变形模型选择的数学方便，而不是捕捉观测数据的变化。最近的深度学习方法直接从数据中学习变形模型。然而，它们对变换的空间规律性提供有限的控制。我们不是学习整个配准方法，而是在配准模型中学习空间自适应正则化器。这允许控制期望的规则性水平并保持配准模型的结构属性。例如，可以实现非纯变换。我们的方法与现有的深度学习图像配准方法有着根本的不同，我们在基于优化的配准算法中嵌入了一个深度学习模型，以参数化和数据自适应配准模型本身。
2019-04-21 cs.CV
Robust, fast and accurate: a 3-step method for automatic histological image registration
Fraunhofer MEVIS（弗劳恩霍夫 MEVIS 数字医学研究所）
我们提出了一种用于不同染色的组织学连续切片的3步配准流水线，包括1）鲁棒的预对准，2）在粗分辨率图像上计算的参数配准，以及3）准确的非线性配准。在所有三个步骤中，相对于越来越灵活的变换，NGF距离测量被最小化。我们应用该方法在ANHIR图像配准的挑战，并评估其性能的训练数据。所提出的方法是鲁棒的（在99.6%的情况下减少误差），快速（运行时间4秒）和准确（中位数相对目标配准误差0.19%）。
2019-03-29 cs.CV
Non-parametric Image Registration of Airborne LiDAR, Hyperspectral and Photographic Imagery of Forests
University of Cambridge（剑桥大学）
目前人们对利用多传感器航空遥感监测森林的结构和生物多样性很感兴趣。本文讨论了非参数图像配准技术的应用，以精确地对齐从多模态成像，这是成功地识别个别树木使用对象识别方法的关键图像。非参数图像配准，特别是优化包含数据保真度和正则化项的目标函数的技术，为图像配准提供了灵活的算法。以西班牙南部的林地调查为例，我们表明，非参数图像配准可以成功地融合数据集时，很少有先验知识的数据集是相互关联的（即在没有地面控制点）。通过一系列实验验证了非参数配准方法在航空遥感图像配准中的有效性。精确的数据融合是机载图像中目标精确识别的前提，因此非参数图像配准可以为分析流程做出有价值的贡献。
2014-07-28 cs.CV
FMIR, a foundation model-based Image Registration Framework for Robust Image Registration
School of Artificial Intelligence and Robotics（人工智能与机器人学院）；Hunan University（湖南大学）；Department of Electrical and Computer Engineering（电气与计算机工程系）；Cornell University（康奈尔大学）
FMIR通过基于基础模型的特征编码器和通道正则化策略，在单一数据集上实现域内最佳性能并保持域外配准的鲁棒性。
2026-01-30 cs.CV
A Novel Histogram Based Robust Image Registration Technique
SVS College of Engineering（SVS工程学院）
提出了一种基于直方图的图像自动配准方法。图像自动配准是遥感数据分析的关键步骤之一。必须使用图像配准技术对新采集的图像进行变换，以匹配先前相关图像的方向和比例。这种新的方法结合了几个分割的图像对注册。引入了直方图模式划分的松弛参数。然后通过物体面积、轴比、周长和分形维数对提取的物体进行表征。匹配的对象用于旋转和平移估计。它允许配准具有旋转和平移差异的图像对。这种方法有助于子像素精度。
2014-02-23 cs.CV
MDReg-Net: Multi-resolution diffeomorphic image registration using fully convolutional networks with deep self-supervision
University of Pennsylvania（宾夕法尼亚大学）；Perelman School of Medicine（佩雷尔曼医学院）；Center for Biomedical Image Computing and Analytics (CBICA)（生物医学图像计算与分析中心（CBICA））
我们提出了一个同构图像配准算法学习空间变换的图像对之间的注册使用全卷积网络（FCN）下的自监督学习设置。该网络被训练为通过最大化固定和变形运动图像之间的图像相似性度量来估计图像对之间的同构空间变换，类似于传统的图像配准算法。它在多分辨率图像配准框架中实现，以联合和增量地优化和学习不同图像分辨率下的空间变换，并进行深度自我监督，以便更好地处理图像之间的大变形。一个空间高斯平滑内核集成的FCNs产生足够平滑的变形领域，实现同构图像配准。特别地，利用在较粗分辨率下学习的空间变换来扭曲运动图像，该运动图像随后用于在较细分辨率下学习增量变换。该过程递归地进行到全图像分辨率，并且累积的变换用作最终变换以最精细的分辨率扭曲运动图像。用于配准高分辨率3D结构脑磁共振（MR）图像的实验结果表明，与最先进的图像配准算法相比，通过我们的方法训练的图像配准网络在几秒钟内获得了鲁棒的、同构的图像配准结果，并且精度有所提高。
2020-10-04 cs.CV
DeepAtlas: Joint Semi-Supervised Learning of Image Registration and Segmentation
University of North Carolina, Chapel Hill（北卡罗来纳大学教堂山分校）
深度卷积神经网络（CNN）是语义图像分割的最新技术，但通常需要许多标记的训练样本。获得用于监督训练的医学图像的3D分割是困难且劳动密集的。受联合分割和配准的经典方法的启发，我们因此提出了一个深度学习框架，该框架联合学习图像配准和图像分割的网络。与以前的深度无监督图像配准工作相比，通过图像分割显示了弱监督的好处，我们的方法可以在可用时使用现有的分割，否则通过分割网络计算它们，从而提供相同的配准好处。相反，分割网络训练受益于配准，配准本质上提供了数据增强的现实形式。膝盖和大脑的3D磁共振（MR）图像上的实验表明，我们的方法实现了大的同时提高分割和配准精度（在独立训练的网络），并允许训练高质量的模型非常有限的训练数据。具体来说，在一次拍摄的情况下（只有一个手动标记的图像），我们的方法在膝盖和大脑图像上分别将无监督配准网络的Dice分数（%）提高了2.7和1.8。
2019-07-26 cs.CV
