Uncertainty-Aware Annotation Protocol to Evaluate Deformable Registration Algorithms
University College London(伦敦大学学院);Massachusetts General Hospital(马萨诸塞总医院);Harvard Medical School(哈佛医学院);Massachusetts Institute of Technology(麻省理工学院)
地标对应是图像配准中广泛使用的金标准类型。然而,对应点的手动放置在所选择的注释位置和视觉歧义的解释中受到高的用户间可变性。在本文中,我们介绍了一个原则性的战略建设的黄金标准,在变形注册。我们的框架:(ii)通过考虑每个注释的空间不确定性来扩展传统的逐点注释,其可以由用户直接指定,或者从来自多个专家的逐点注释聚集;以及(iii)自然地提供了用于评估可变形配准算法的新策略。我们的方法是验证四个不同的注册任务。实验结果表明,建议注释根据其信息量的有效性,和改进的能力,以评估质量的配准算法的输出。此外,我们的方法产生,从稀疏的注释,一个密集的可视化的错误注册方法。我们支持2D和3D数据的方法的源代码可在www.example.com上公开获得。
2021-04-02 cs.CV
ABN: Anti-Blur Neural Networks for Multi-Stage Deformable Image Registration
Worcester Polytechnic Institute(伍斯特理工学院);Lehigh University(理海大学)
可变形图像配准,即,通过非线性变换将多个图像对准到一个坐标系中的任务用作神经成像数据的基本预处理步骤。近年来对可变形图像配准的研究主要集中在利用多阶段配准方法提高配准精度上,即利用同一个神经网络对源图像进行多阶段的重复变形,直到其与目标图像达到良好的配准。用于多阶段配准的常规方法通常会使源图像模糊,因为像素/体素值是从由前一阶段生成的图像重复地内插的。然而,在图像配准过程中保持图像质量(如清晰度)对于医疗数据分析至关重要。本文研究了抗模糊变形图像配准问题,提出了一种新的多阶段图像配准方法,称为抗模糊网络(ABN)。具体来说,我们使用一对短期配准和长期记忆网络来学习每个阶段的非线性变形,其中短期配准网络学习如何逐步提高配准精度,而长期记忆网络结合所有先前的变形,以允许直接对原始图像执行插值并保持图像清晰度。在自然和医学图像数据集上的大量实验表明,ABN可以准确地配准图像,同时保持其清晰度。我们的代码和数据可以在https://github.com/anonymous3214/ABN上找到
2022-12-06 cs.CV
Deform-GAN:An Unsupervised Learning Model for Deformable Registration
形变配准是医学图像分析领域中最具挑战性的任务之一,特别是对于不同序列和模态之间的配准。提出了一种基于无监督学习的三维医学图像非刚性配准方法。据我们所知,这是首次尝试将梯度损失引入基于深度学习的配准。所提出的梯度损失在大变形的序列和模态之间是鲁棒的。此外,采用对抗学习方法将多模态相似度转化为单模态相似度,提高了识别精度。培训期间既不需要地面实况也不需要手动标记。我们在3D大脑配准任务上全面评估了我们的网络。实验结果表明,该方法可以处理非函数强度关系、噪声和模糊的数据。我们的方法优于其他方法,特别是在准确性和速度。
2020-02-26 cs.CV
To Learn or Not to Learn Features for Deformable Registration?
Center for Visual Information Technology (CVIT), IIIT-Hyderabad(国际信息技术研究所(海得拉巴)视觉信息技术中心(CVIT))
基于体素的配准已经流行,具有从体素强度到自相似上下文(SSC)的各种特征。在本文中,我们研究了如何使用各种深度学习(DL)框架学习的特征可用于变形配准以及这种特征学习是否必要的问题。我们研究了在当前最先进的离散配准框架中使用不同DL方法学习的特征,并在2个公开可用的数据集上分析了其性能。我们深入了解了对特征学习有用的DL框架的类型,以及不同DL模型和大脑分割方法的复杂性对离散配准性能的影响(如果有的话)。我们的研究结果表明,配准性能与DL功能和SSC是可比的,稳定的数据集,而这并不适用于低级别的功能。
2018-07-06 cs.CV
Fast Graph-Cut Based Optimization for Practical Dense Deformable Registration of Volume Images
Uppsala University(乌普萨拉大学)
目的:可变形图像配准是医学图像分析中的一个基本问题,其应用包括纵向研究、群体建模和基于图谱的图像分割。配准通常被表述为优化问题,即,根据给定的目标函数找到最优的变形场。离散的,组合的,优化技术已成功地用于解决由此产生的优化问题。具体而言,优化的基础上$α$ -扩展与最小的图形切割已被提出作为一个强大的工具,图像配准。然而,基于图切割的优化方法的高计算成本限制了这种方法用于大体积图像配准的效用。研究方法:在这里,我们提出了加速基于图切割的变形配准划分成重叠的子区域的图像和限制的$α$扩展移动到一个单一的子区域的时间。结果如下:我们的经验表明,这种方法可以实现一个很大的减少计算时间-从几天到几分钟-只有一个很小的罚款方面的解决方案的质量。结论:所提出的方法提供的计算时间的减少,使基于图切割的变形配准可行的大体积图像。重要性:基于图割的图像配准先前已被证明产生优异的结果,但是高计算成本阻碍了用于配准大医学体积图像的方法的采用。我们提出的方法解除了这一限制,只需要一小部分的计算成本,以产生可比的质量的结果。
2018-10-19 cs.CV
An Unsupervised Learning Model for Deformable Medical Image Registration
MIT(麻省理工学院);Cornell University(康奈尔大学);MGH(麻省总医院)
我们提出了一种基于快速学习的可变形成对三维医学图像配准算法。当前的配准方法针对每对图像独立地优化目标函数,这对于大数据来说可能是耗时的。我们将配准定义为一个参数函数,并在给定一组感兴趣的图像的情况下优化其参数。给定一对新的扫描,我们可以通过使用学习的参数直接评估函数来快速计算配准场。我们使用卷积神经网络(CNN)对该函数进行建模,并使用空间变换层从另一个图像重建一个图像,同时对配准域施加平滑度约束。所提出的方法不需要监督信息,如地面实况配准字段或解剖标志。我们证明了配准精度与最先进的3D图像配准相当,同时在实践中操作速度更快。我们的方法有望显着加快医学图像分析和处理流程,同时促进基于学习的配准及其应用的新方向。我们的代码可在https://github.com/balakg/voxelmorph上获得。
2018-04-20 cs.CV
An Auto-Context Deformable Registration Network for Infant Brain MRI
University of North Carolina(北卡罗来纳大学);Shanghai Jiao Tong University(上海交通大学)
变形图像配准是纵向和群体分析的基础。婴儿大脑MR图像的几何对齐是具有挑战性的,由于与大脑发育相关的图像外观的快速变化。在本文中,我们提出了一种婴儿专用的深度配准网络,该网络使用自动上下文策略来逐渐细化变形场,以获得高度准确的对应关系。我们的方法不是训练多个配准网络,而是通过多次调用单个网络进行迭代变形细化来估计变形场。最终的变形场是由变形场的增量合成得到的。实验结果表明,与现有的配准方法相比,我们的方法达到了更高的精度,同时保持了平滑的变形领域。我们的实现可在线获得。
2020-07-05 cs.CV
Deformable Registration Using Average Geometric Transformations for Brain MR Images
Graduate School at Shenzhen, Tsinghua University(清华大学深圳研究生院);The University of Texas at Arlington(德克萨斯大学阿灵顿分校)
医学图像的精确配准对于医生的诊断和定量分析至关重要。提出了一种基于平均几何变换和VoxelMorph CNN结构的医学图像形变配准方法。我们计算微分几何信息,包括雅可比行列式(JD)和旋度向量(CV)的超纯注册字段,并使用它们作为多通道的VoxelMorph CNN的第二个训练。此外,我们使用平均变换来构建一个标准的脑MRI图谱,可以作为固定图像使用。我们验证了我们的方法在两个数据集,包括ADNI数据集和MRBrainS18挑战数据集,并获得良好的改善MR图像配准的平均Dice分数和非负雅可比位置相比,MIT的原始方法。实验结果表明,该方法在脑MRI诊断中取得了较好的效果。
2019-07-23 cs.CV
Deformable Image Registration with Multi-scale Feature Fusion from Shared Encoder, Auxiliary and Pyramid Decoders
School of Information Science and Engineering, Linyi University(临沂大学信息科学与工程学院)
提出一种用于无监督图像配准的可变形卷积金字塔网络,通过共享辅助解码器和多尺度特征融合块融合全局与局部特征,提升复杂变形捕捉能力、配准精度及变形平滑合理性。
2024-08-11 cs.AI cs.CV
Unsupervised End-to-end Learning for Deformable Medical Image Registration
Beihang University(北京航空航天大学);Microsoft Research(微软研究院)
提出了一种基于卷积神经网络的无监督端到端配准算法。该算法的贡献有三个方面:(1)将传统的图像配准算法移植到端到端的卷积神经网络框架中,同时保持了图像配准问题的无监督性质。图像到图像集成框架可以同时学习图像特征和变换矩阵以用于配准。(2)使用没有任何标签的额外数据进行训练可以进一步提高配准性能约10%。(3)注册速度比传统方法快100倍。所提出的网络易于实现,可以有效地训练。实验表明,我们的系统在2D大脑配准上取得了最先进的结果,在2D肝脏配准上取得了相当的结果。它可以扩展到配准肝脏和大脑以外的其他器官,如肾脏、肺和心脏。
2018-01-20 cs.CV
Linear and Deformable Image Registration with 3D Convolutional Neural Networks
University of Bern(伯尔尼大学);CentraleSupélec(中央理工-高等电力学院);Université Paris-Saclay(巴黎-萨克雷大学);Groupe Hospitalier Cochin-Hôtel Dieu(科钦-主宫医院集团);Université Paris Descartes(巴黎笛卡尔大学);TheraPanacea
图像配准,特别是可变形配准方法是医学成像的支柱。受深度学习最新进展的启发,我们在本文中提出了一种新的卷积神经网络架构,该架构将线性和可变形配准耦合到具有近实时性能的统一架构中。我们的框架是模块化的全局变换组件,以及相对于相似性函数,同时它保证顺利的位移场。我们评估了我们的网络在MRI肺部配准的挑战性问题上的性能,并证明了相对于最先进的弹性配准方法的优越性能。在间质性肺病(ILD)分类的临床相关任务中考虑了所提出的变形(吸气和呼气之间),并显示出有希望的结果。
2018-09-13 cs.CV cs.LG
3D deformable registration of longitudinal abdominopelvic CT images using unsupervised deep learning
University of Cambridge(剑桥大学);Cancer Research UK Cambridge Centre(英国癌症研究中心剑桥中心);Medical University Vienna(维也纳医科大学);Cambridge University Hospitals National Health Service (NHS) Foundation Trust(剑桥大学医院国民保健服务基金会信托);Eindhoven University of Technology(埃因霍温理工大学);Leiden University(莱顿大学);University College London(伦敦大学学院);Cancer Research UK Cambridge Institute(英国癌症研究中心剑桥研究所)
本研究探讨了使用无监督深度学习框架VoxelMorph对乳腺癌骨转移患者采集的纵向腹盆腔CT图像进行变形配准。在配准之前,通过自动移除CT扫描床和所有其他皮质外组件来优化CT图像。为了提高VoxelMorph的学习能力时,只有有限的训练数据是可用的,一种新的增量训练策略,提出了基于连续CT图像的模拟变形。在4折交叉验证方案中,增量训练策略与在单个体积上训练相比实现了显著更好的配准性能。尽管我们的可变形图像配准方法在配准质量方面没有优于使用NiftyReg(被视为基准)的迭代配准,但配准速度约为300倍。本研究通过基于模拟变形的新型增量训练策略,证明了纵向腹盆CT图像基于深度学习的变形配准的可行性。
2020-05-15 cs.CV eess.IV
Domain-Shift Immunity in Deep Deformable Registration via Local Feature Representations
Kahlert School of Computing(卡尔伯特计算学校);Scientific Computing and Imaging Institute(科学计算与成像研究所);University of Utah(犹他大学);Department of Biomedical Engineering(生物医学工程系)
本文提出UniReg框架,通过局部特征表示实现深度可变形配准的领域偏移免疫,揭示了局部特征一致性对鲁棒性的关键作用。
2025-12-29 cs.CV
Deformable Registration of Brain MR Images via a Hybrid Loss
Radboud University Medical Center(拉德堡德大学医学中心);University of Leeds(利兹大学);Sichuan University(四川大学);University of North Carolina(北卡罗来纳大学)
由于形变场缺乏真实数据,形变配准模型普遍采用无监督学习策略。这些模型通常依赖于基于强度的相似性损失来获得学习收敛。尽管取得了成功,但这种依赖是不够的。对于单模态图像的形变配准,对准好的两幅图像不仅强度相差不大,而且统计分布和边界区域也很接近。考虑到精心设计的损失函数可以促进学习模型到一个理想的收敛,我们学习的T1加权MR图像的变形配准模型通过集成多个图像特征,通过混合损失。我们的方法以高精度注册OASIS数据集,同时保持变形平滑性。
2021-12-19 cs.CV eess.IV
Fully-deformable 3D image registration in two seconds
Fraunhofer Institute for Medical Image Computing (MEVIS)(弗劳恩霍夫医学图像计算研究所(MEVIS));Universität zu Lübeck(吕贝克大学)
我们提出了一个高度并行的方法,准确和高效的消费级图形处理单元(GPU)上的变分变形3D图像配准。我们建立在最近的无矩阵变分方法和专门的概念,以并行的多核架构的GPU提供的。与并行和优化的CPU实现相比,这使我们能够在986次真实CT胸腹随访扫描中实现32.53的平均加速比。在分辨率约为$256^3$体素时,完整配准的平均运行时间为1.99秒。在公开的DIR实验室基准测试中,我们的方法在平均运行时间为0.32秒的平均地标误差方面排名第三。
2018-12-17 cs.CV
MSR:Hybrid Field Modeling for CT-MRI Rigid-Deformable Registration of the Cervical Spine with an Annotated Dataset
School of Biomedical Engineering, Southern Medical University, Guangzhou, 510515, China.(南方医科大学生物医学工程学院);Guangdong Provincial Key Laboratory of Medical Image Processing, Guangzhou, 510515, China.(广东省医学图像处理重点实验室);Guangdong Province Engineering Laboratory for Medical Imaging(广东省医学影像与诊断技术工程实验室);Information Center, Nanfang Hospital, Southern Medical University, Guangzhou, 510515, China.(南方医科大学南华医院信息中心);Division of Spine Surgery, Department of Orthopaedics, Nanfang hospital, Southern Medical University, Guangzhou, Guangdong, 510515, China.(南方医科大学南华医院骨科脊柱外科)
本文提出MSR框架,通过混合刚-变形配准方法提升颈椎脊柱CT-MRI配准精度,解决复杂结构配准难题。
2026-04-30 cs.CV
LDM-Morph: Latent diffusion model guided deformable image registration
University of Florida(佛罗里达大学)
本文提出LDM-Morph,通过引入潜在扩散模型语义特征、LGCA交叉注意力模块和分层相似性度量,在四个2D心脏数据集上以可比计算效率超越现有CNN和Transformer配准方法,同时提升精度与拓扑保持。
2024-11-23 cs.CV
F3RNet: Full-Resolution Residual Registration Network for Deformable Image Registration
Tsinghua University(清华大学);Brigham and Women’s Hospital(布莱根妇女医院);Harvard Medical School(哈佛医学院)
可变形图像配准(Deformable image registration,配准)对于许多图像引导治疗是必不可少的。最近,深度学习方法在计算机科学中获得了极大的普及和成功。大多数深度学习方法使用所谓的单流“从高到低,从低到高”的网络结构,并且可以获得令人满意的整体配准结果。然而,一些严重变形的局部区域的精确对齐,这是至关重要的精确定位手术目标,往往被忽视。因此,这些方法对一些难以对准的区域不敏感,例如,变形肝叶的患者内配准。在本文中,我们提出了一种新的无监督配准网络,即全分辨率残差配准网络(F3 RNet),用于严重变形器官的变形配准。所提出的方法结合了两个并行的处理流在残差学习的方式。一个流利用全分辨率信息,便于精确的体素级配准。另一个流学习深度多尺度残差表示以获得鲁棒的识别。我们还分解了3D卷积,以减少训练参数并提高网络效率。我们在临床采集的患者腹部CT-MRI数据集和公共吸气和呼气胸部CT数据集上验证了所提出的方法。与最先进的方法相比,多模态和单峰配准的实验表明了有希望的结果。
2020-12-07 cs.CV eess.IV
Deformable Medical Image Registration Using a Randomly-Initialized CNN as Regularization Prior
Institute of Mechatronic Systems, Leibniz Universität Hannover(汉诺威莱布尼茨大学机电系统研究所)
我们使用随机初始化的深度卷积神经网络(CNN)作为正则化先验,提出了可变形的无监督医学图像配准。传统的配准方法通过最小化图像对之间的不相似性来预测变换。最小化通常用手动设计的先验进行正则化,这限制了配准的潜力。通过从大型数据集中学习变换先验,CNN在可变形配准方面取得了巨大成功。然而,学习方法仅限于特定领域的数据,并且难以获得所需的医学数据量。我们的方法使用深度图像先验的思想,将卷积网络与基于手动设计先验的传统配准方法相结合。所提出的方法被应用于脑部MRI扫描。我们表明,我们的方法注册的图像对提供密集的,逐像素的对应映射与国家的最先进的精度。它不依赖于先前的训练,因此不限于特定的图像域。
2019-08-02 cs.CV eess.IV
RANCOR: Non-Linear Image Registration with Total Variation Regularization
Robarts Research Institute(罗巴茨研究所);Western University(韦仕敦大学)
优化技术已被广泛用于变形配准,允许与正则化机制的相似性度量的合并。这些正则化机制旨在减轻不适定配准问题的平凡解的影响,并确保所产生的变形场表现良好。本文介绍了一种新的变形配准算法,RANCOR,它使用迭代凸化来解决变形配准问题下的全变分正则化。最初的比较结果对四个国家的最先进的注册算法使用互联网脑分割库(IBSR)数据库。
2014-04-09 cs.CV
Pretraining Deformable Image Registration Networks with Random Images
Johns Hopkins University(约翰霍普金斯大学);Vanderbilt University(范德比尔特大学)
本文提出使用随机图像间的配准作为代理任务,预训练可变形图像配准的基础模型,实验证明该方法提升了配准精度,减少了对特定领域数据的依赖并加速了收敛。
2025-05-30 cs.CV
GSMorph: Gradient Surgery for cine-MRI Cardiac Deformable Registration
University of Leeds(利兹大学);Radboud University Medical Centre(拉德堡德大学医学中心);Netherlands Cancer Institute(荷兰癌症研究所);Shenzhen University(深圳大学);Shenzhen RayShape Medical Technology Co., Ltd(深圳睿心医疗科技有限公司)
针对医学形变配准需调优超参数平衡配准精度与平滑度的问题,提出无需超参数的梯度外科配准模型GSMorph,可适配任意深度配准网络,在两个心脏MRI数据集上性能优于现有SOTA方法。
2023-07-20 cs.CV eess.IV
Adaptive Conditional Contrast-Agnostic Deformable Image Registration with Uncertainty Estimation
Department of Electrical and Electronic Engineering, Imperial College London(帝国理工学院伦敦校区电子与电气工程系)
本文提出了一种自适应条件对比无关可变形图像配准框架,通过对比增强方案实现对任意成像对比的泛化,并通过方差网络提供不确定性估计,提升配准的准确性和可靠性。
2026-01-09 cs.CV
LiftReg: Limited Angle 2D/3D Deformable Registration
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Harvard Medical School(哈佛医学院)
提出LiftReg,一种基于DRR与CT图像对训练的2D/3D可变形配准深度框架,利用反投影特征和统计形变模型解决有限角度深度模糊问题,在DirLab数据集上优于现有学习方法。
2023-04-04 cs.CV eess.IV
Deformable Cross-Attention Transformer for Medical Image Registration
Johns Hopkins Medical Institutes(约翰斯·霍普金斯医学研究所);Johns Hopkins University(约翰斯·霍普金斯大学);NVIDIA Corporation(英伟达公司)
Transformers最近已经显示出用于医学图像应用的前景,导致对开发用于医学图像配准的这种模型的兴趣日益增加。在设计配准Transformers方面的最新进展集中于使用交叉注意(CA)来使得能够更精确地理解移动图像与固定图像之间的空间对应。在这里,我们提出了一种新的CA机制,计算窗口注意使用变形窗口。与现有的CA机制,需要密集的计算复杂性,无论是计算CA全球或本地与一个固定的和扩展的搜索窗口,所提出的变形CA可以选择性地采样一组不同的功能在一个大的搜索窗口,同时保持低的计算复杂性。所提出的模型进行了广泛的多模态,单模态,和图集到病人的配准任务,表现出良好的性能对国家的最先进的方法,并表明其有效性的医学图像配准。这项工作的源代码将在发布后提供。
2023-03-10 cs.CV eess.IV
Correlation-aware Coarse-to-fine MLPs for Deformable Medical Image Registration
School of Computer Science, The University of Sydney(悉尼大学计算机科学学院);Institute of Translational Medicine, Shanghai Jiao Tong University(上海交通大学转化医学研究院)
针对 transformer 难以在全分辨率捕获细粒度长程依赖的问题,提出 CorrMLP:以相关性感知多窗口 MLP 和由粗到细架构实现可变形医学图像配准,并在七个公开数据集上超过现有最优方法。
2024-06-12 cs.CV eess.IV
DiffuseReg: Denoising Diffusion Model for Obtaining Deformation Fields in Unsupervised Deformable Image Registration
Shanghai Jiao Tong University(上海交通大学);Johns Hopkins University(约翰斯·霍普金斯大学)
针对传统深度学习医学图像配准缺乏可观测性与调整能力的问题,提出对形变场去噪的扩散配准方法DiffuseReg,搭配新型Swin Transformer去噪网络与相似性正则化,在ACDC数据集上Dice得分提升1.32,实现实时可观测与调整。
2024-10-07 cs.CV
Unsupervised Deformable Image Registration with Absent Correspondences in Pre-operative and Post-Recurrence Brain Tumor MRI Scans
The Hong Kong University of Science and Technology(香港科技大学)
手术前和复发后的脑图像的配准通常需要评估脑胶质瘤治疗的有效性。虽然最近基于深度学习的可变形配准方法在健康大脑图像方面取得了显着的成功,但由于参考图像中缺乏对应关系,其中大多数无法准确地将图像与病理对齐。在本文中,我们提出了一种基于深度学习的可变形配准方法,该方法联合估计缺少对应和双向变形场的区域。一个向前向后的一致性约束是用来帮助在本地化的切除和复发区域的体素在两个图像中没有对应。BraTS-Reg挑战的3D临床数据结果表明,与传统的和基于深度学习的配准方法相比,无论是否使用代价函数掩蔽策略,我们的方法都可以改善图像对齐。源代码可在https://github.com/cwmok/DIRAC上获得。
2022-06-08 cs.CV eess.IV
Conditional Deformable Image Registration with Convolutional Neural Network
The Hong Kong University of Science and Technology(香港科技大学)
最近的基于深度学习的方法在可变形图像配准中显示出有希望的结果和运行时间优势。然而,分析超参数的影响和搜索最佳正则化参数在基于深度学习的方法中被证明过于禁止。这是因为它涉及训练大量具有不同超参数值的单独模型。在本文中,我们提出了一个条件图像配准方法和一个新的自监督学习范式的深度变形图像配准。通过学习与正则化超参数相关的条件特征,我们证明了具有任意超参数的最优解可以由单个深度卷积神经网络捕获。此外,所得到的变形场的平滑度可以在推理期间用任意强度的平滑度正则化来操纵。在大规模脑MRI数据集上的大量实验表明,我们提出的方法能够精确控制变形场的平滑度,而不会牺牲运行时间优势或配准精度。
2021-07-05 cs.CV eess.IV
Deformable Groupwise Image Registration using Low-Rank and Sparse Decomposition
University of Lübeck(吕贝克大学);Fraunhofer MEVIS(弗劳恩霍夫医学影像计算研究所)
低秩和稀疏分解以及鲁棒PCA(RPCA)是图像处理中非常成功的技术,并且最近发现用于成组图像配准。本文研究了图像配准中最常用的RPCA-不相似性度量的不足,并提出了一种改进的RPCA-不相似性度量。特别是,这个新的度量模型低秩的要求,通过明确的约束,而不是惩罚,从而避免了陷阱的既定指标。配备全变分正则化,我们提出了一个理论上合理的多级计划的基础上,一阶原始-对偶优化,以解决由此产生的非参数配准问题。正如数值实验所证实的那样,我们的度量特别适用于涉及对象外观和潜在稀疏扰动的经常性变化的数据。我们在数值上比较了它的peaks到一些相关的方法。
2020-01-10 cs.CV
Encoding Matching Criteria for Cross-domain Deformable Image Registration
Shenzhen University Medical School, Shenzhen University(深圳大学医学部,深圳大学)
针对跨域可形变图像配准难题,受传统方法定制匹配准则启发,提出含通用与结构特征编码器的配准导向编码器建模匹配准则,经三域实验验证有效,且可通过one-shot学习更新结构编码器适配新域。
2024-06-18 cs.CV
One Shot Learning for Deformable Medical Image Registration and Periodic Motion Tracking
University of Freiburg(弗莱堡大学);German Cancer Consortium (DKTK)(德国癌症联盟(DKTK))
形变图像配准是医学成像领域的一个重要研究方向。最近,在这一领域发表了多种深度学习方法,显示出有希望的结果。然而,深度学习方法的缺点是需要大量的训练数据集,并且它们无法配准与训练数据集不同的不可见图像。一次性学习不需要大型训练数据集,并且已经被证明适用于3D数据。在这项工作中,我们提出了一个一次性的注册方法在3D和4D数据集的周期性运动跟踪。当应用于3D数据集时,该算法同时计算配准向量场的逆。对于配准,我们采用了一个U-网络结合了粗到细的方法和差分空间Transformer模块。该算法在多个公开的4D和3D数据集上进行了全面测试。结果表明,该方法能够跟踪周期性运动,并产生竞争力的配准精度。可能的应用是作为3D和4D运动跟踪的独立算法使用,或者在研究开始时使用,直到有足够的数据集用于单独的训练阶段。
2020-02-10 cs.CV
Inverse-Consistent Deep Networks for Unsupervised Deformable Image Registration
Tencent AI Medical Center(腾讯AI医疗中心)
形变图像配准是医学图像分析中的一项基本任务,其目标是在一对图像之间建立一种密集的、非线性的对应关系。以前的深度学习研究通常使用监督神经网络来直接学习从一个图像到另一个图像的空间变换,需要特定于任务的地面实况配准来进行模型训练。由于难以收集精确的地面实况配准,这些监督方法的实施实际上具有挑战性。虽然最近已经开发了几种无监督网络,但这些方法通常忽略了一对图像之间的变换的固有逆一致性(对于同构映射至关重要)。此外,现有的方法通常鼓励待估计的变换是局部光滑的,通过一个光滑约束,这不能完全避免折叠在所得到的变换。为此,我们提出了一种用于无监督可变形图像配准的逆一致深度网络(ICNet)。具体来说,我们开发了一个逆一致的约束,鼓励一对图像对称变形朝向彼此,直到两个扭曲的图像匹配。除了使用传统的平滑约束,我们还提出了一个反折叠约束,以进一步避免折叠的转换。所提出的方法不需要任何监督信息,同时鼓励通过建议的逆一致和反折叠约束的转换的拓扑属性。我们在T1加权脑磁共振成像(MRI)扫描的组织分割和解剖标志检测上评估了我们的方法,结果表明我们的ICNet在几种最先进的变形图像配准方法上具有优越的性能。我们的代码将公开提供。
2018-09-10 cs.CV
Dual-Attention Frequency Fusion at Multi-Scale for Joint Segmentation and Deformable Medical Image Registration
School of Information Science and Engineering, Linyi University(临沂大学信息科学与工程学院)
本文提出 DAFF-Net 多任务学习框架,通过多尺度双注意力频率融合模块联合分割与可变形医学图像配准,在三个 3D 脑 MRI 数据集上验证其有监督及无监督变体均优于现有方法。
2024-09-29 cs.CV
MambaMorph: a Mamba-based Framework for Medical MR-CT Deformable Registration
Image Processing Center, Beihang University, Beijing, China(北京航空航天大学图像处理中心);Robotics Institute, Beihang University, Beijing, China(北京航空航天大学机器人研究所);Tongji Hospital, Huazhong University of Science and Technology, Wuhan, China(华中科技大学同济医院)
本文提出基于Mamba的多模态可变形配准框架MambaMorph,通过Mamba配准模块和轻量特征提取器实现高效长程对应建模与高维特征学习,并构建脑部MR-CT配准数据集SR-Reg,在多个数据集上显著提升配准精度且保持合理计算成本。
2025-06-25 cs.CV
INSPIRE: Intensity and spatial information-based deformable image registration
Uppsala University(乌普萨拉大学)
我们提出了INSPIRE,一个性能最好的通用方法变形图像配准。INSPIRE将强度和空间信息结合到基于弹性B样条的变换模型中,并采用了支持对称配准性能的逆不一致惩罚。我们介绍了几个理论和算法的解决方案,提供了高的计算效率,从而在广泛的实际情况下的建议框架的适用性。我们表明,INSPIRE提供了高度准确,以及稳定和强大的配准结果。我们评估的方法从视网膜图像创建的2D数据集上,其特征在于薄结构的网络的存在。在这里,INSPIRE表现出优异的性能,大大优于广泛使用的参考方法。{We还可以在眼底图像配准数据集(FIRE)上评估INSPIRE,该数据集由134对单独采集的视网膜图像组成。INSPIRE在FIRE数据集上表现出出色的性能,大大优于几种特定领域的方法。我们还评估了四个基准数据集的三维磁共振图像的大脑,共2088成对登记的方法。与其他17种最先进方法的比较表明,INSPIRE提供了最佳的整体性能。代码可在http://github.com/MIDA-group/inspire上获得
2023-02-02 cs.CV
SearchMorph:Multi-scale Correlation Iterative Network for Deformable Registration
Shantou University(汕头大学);Sun Yat-sen University(中山大学);First Affiliated Hospital of Shantou University(汕头大学第一附属医院)
形变图像配准可以获得图像的动态信息,在医学图像分析中具有重要意义。无监督深度学习配准方法可以在没有标签的情况下快速达到高配准精度。然而,这些方法通常遭受不相关的特征,注册大变形和细节的能力差,以及不自然的变形场。为了解决上述问题,我们提出了一种无监督的多尺度相关迭代配准网络(SearchMorph)。在提出的网络中,我们引入了一个相关层来加强特征之间的相关性,并构建了一个相关金字塔来为网络提供多尺度的相关信息。我们还设计了一个变形场迭代器,它通过搜索模块和GRU提高了模型注册细节和大变形的能力,同时确保变形场是真实的。我们使用单时间大脑MR图像和多时间超声心动图序列来评估模型的能力,登记大的变形和细节。实验结果表明,该方法在短时间内达到了最高的配准精度和最低的折叠点比率。
2022-07-18 cs.CV
DiffuseMorph: Unsupervised Deformable Image Registration Using Diffusion Model
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
形变图像配准是医学成像的基本任务之一。经典的配准算法通常需要很高的计算成本进行迭代优化。尽管已经开发了基于深度学习的方法用于快速图像配准,但是获得从运动图像到固定图像的逼真连续变形并且具有较少的拓扑折叠问题仍然具有挑战性。为了解决这个问题,在这里,我们提出了一种新的基于扩散模型的图像配准方法,称为DiffuseMorph。DiffuseMorph不仅通过反向扩散生成合成变形图像,而且还允许通过变形场进行图像配准。具体地,通过运动图像和固定图像之间的变形的条件分数函数来生成变形场,使得可以通过简单地缩放分数的潜在特征来从连续变形执行配准。二维人脸和三维医学图像配准任务的实验结果表明,我们的方法提供了灵活的变形与拓扑保持能力。
2022-09-29 cs.CV cs.LG eess.IV
HNAS-reg: hierarchical neural architecture search for deformable medical image registration
Perelman School of Medicine, University of Pennsylvania(宾夕法尼亚大学佩雷尔曼医学院)
针对医学图像配准中人工设计网络架构非最优的问题,提出包含卷积操作与拓扑搜索的分层神经架构搜索框架HNAS-Reg,采用部分通道策略控开销,在636张MRI数据上实现了比现有方法更高的配准精度与更小的模型规模。
2023-08-23 cs.CV eess.IV
Generative Adversarial Registration for Improved Conditional Deformable Templates
New York University(纽约大学);MIT(麻省理工学院);MGH(麻省总医院)
可变形模板是大规模医学图像配准、分割和群体分析的基础。当前用于模板构建的常规和基于深度网络的方法仅使用正则化配准目标,并且通常产生具有模糊和/或解剖学上不可信的外观的模板,从而混淆下游生物医学解释。我们将变形配准和条件模板估计重新表述为对抗游戏,其中我们鼓励在移动模板中使用基于灵活图像协变量的生成对抗配准框架的现实主义。由此产生的模板表现出显着的增益属性,如年龄和疾病的特异性,更好地适应潜在的组明智的时空趋势,并实现改进的锐度和中心性。这些改进使得具有不同协变量的群体建模更准确,用于标准化下游分析,并且更容易对感兴趣的结构进行解剖描绘。
2022-03-17 cs.CV cs.LG eess.IV
XMorpher: Full Transformer for Deformable Medical Image Registration via Cross Attention
Southeast University(东南大学);Jiangsu Provincial Joint International Research Laboratory of Medical Information Processing(江苏省医学信息处理联合国际研究实验室);University of Western Ontario(西安大略大学)
有效的骨干网络对于基于深度学习的形变医学图像配准(Deformable Medical Image Registration,DMIR)非常重要,因为它可以提取和匹配两幅图像之间的特征,以发现相互之间的对应关系,从而实现精细配准。然而,现有的深度网络集中在单个图像的情况下,并且在配对图像上执行的配准任务受到限制。因此,我们提出了一种新的骨干网络,XMorpher,在DMIR有效的对应特征表示。1)提出了一种新的完整的Transformer架构,包括双并行特征提取网络,通过交叉注意交换信息,从而发现多层次的语义对应,同时逐渐提取各个特征,最终实现有效的配准。2)提出了交叉注意力Transformer(CAT)模块,建立图像间的注意力机制,能够自动发现对应关系,促使特征在网络中有效融合。3)该算法将注意力计算限制在不同大小的基窗口和搜索窗口之间,从而集中在变形配准的局部变换上,同时提高了计算效率。在没有任何额外功能的情况下,我们的XMorpher在DSC上提供了Voxelmorph 2.8%的改进,证明了它在DMIR中有效地表示了配对图像的特征。我们相信我们的XMorpher在更多配对的医学图像中具有巨大的应用潜力。我们的XMorpher在https://github.com/Solemoon/XMorpher上开放
2022-06-15 cs.CV
Multi-phase Deformable Registration for Time-dependent Abdominal Organ Variations
Johns Hopkins University(约翰斯·霍普金斯大学)
人体是一个复杂的动力学系统,由各个子动力学部分组成。特别是,胸部和腹部器官具有复杂的内部形状变化,具有不同的频率,由于各种原因,如呼吸与快速运动和呼吸与较慢的运动。用于腹部病变的CT协议是用于各种肿瘤检测的多相扫描,以使用不同的血管造影剂,然而,它们没有足够好地对准以目视检查相同区域。在本文中,我们提出了一个时间效率和准确的变形配准算法的多相CT扫描考虑腹部器官的运动,它可以适用于可微或不可微运动的腹部器官。实验结果表明,对于整个腹部区域,在1分钟内胰腺的配准精度为0.85 +/- 0.45mm(平均值+/- STD)。
2021-03-08 cs.CV eess.IV
Learning Deformable Point Set Registration with Regularized Dynamic Graph CNNs for Large Lung Motion in COPD Patients
University of Lübeck(吕贝克大学)
形变配准一直是医学图像分析中的关键挑战之一。虽然图标配准方法已经开始受益于医学深度学习的最新进展,但这还不适用于点集的配准,例如基于表面、关键点或地标的配准。这主要是由于现代CNN中卷积运算符对密集网格输入的限制。然而,随着几何深度学习领域新开发的方法,现在出现了合适的工具,这些工具可以对不规则域上的医学数据进行强大的分析。在这项工作中,我们提出了一种新的方法,可以使用动态图CNN学习正则化特征描述符。通过将学习的几何特征作为先验概率纳入到完善的相干点漂移(CPD)算法中,制定为可微网络层,我们建立了一个端到端的框架,用于两个点集的鲁棒配准。我们的方法进行评估的挑战性的任务,对齐关键点提取的肺CT扫描在吸气和呼气状态下,大变形,没有任何额外的强度信息。我们的研究结果表明,所提取的关键点的固有几何结构足以建立描述性的点特征,从而显著提高了我们的配准框架的性能和鲁棒性。
2019-09-17 cs.CV
Light-weight Deformable Registration using Adversarial Learning with Distilling Knowledge
AIOZ;Imperial College London(帝国理工学院)
形变配准是图像引导手术、放射治疗等医疗过程中的关键步骤。最新的基于学习的方法专注于通过优化输入图像之间的非线性空间对应来提高精度。因此,这些方法在计算上是昂贵的,并且需要用于实时部署的现代图形卡。在本文中,我们介绍了一种新的轻量级可变形配准网络,该网络在实现有竞争力的精度的同时显著降低了计算成本。特别是,我们提出了一种新的对抗性学习和知识提取算法,该算法成功地将有效但昂贵的教师网络中的有意义的信息利用到学生网络中。我们设计的学生网络是轻量级的,非常适合在典型的CPU上部署。在不同公共数据集上的广泛实验结果表明,我们提出的方法达到了最先进的精度,同时比最近的方法快得多。我们进一步表明,使用我们的对抗性学习算法对于时间效率高的变形配准方法是必不可少的。最后,我们的源代码和训练模型可以在https://github.com/aioz-ai/LDR_ALDK上找到。
2021-10-04 cs.CV eess.IV
Unsupervised Deformable Image Registration Using Cycle-Consistent CNN
Korea Advanced Institute of Science and Technology(韩国科学技术院);University of Ulsan College of Medicine(蔚山大学医学院);Asan Medical Center(峨山医学中心)
医学图像配准是癌症诊断等生物医学图像分析的关键处理步骤之一。最近,基于深度学习的有监督和无监督图像配准方法由于其优异的性能而得到了广泛的研究,尽管与经典方法相比计算时间超快。在本文中,我们提出了一种新的无监督医学图像配准方法,训练深度神经网络的3D体积的变形配准使用的周期一致性。由于循环一致性,所提出的深度神经网络可以采用具有严重变形的不同图像数据对进行精确配准。使用多相肝脏CT图像的实验结果表明,我们的方法在几秒钟内提供了非常精确的三维图像配准,从而更准确的癌症大小估计。
2019-07-02 cs.CV cs.LG eess.IV
Rotation Equivariant Convolutions in Deformable Registration of Brain MRI
University of California, Irvine(加州大学尔湾分校)
本文提出在脑部MRI变形登记网络中集成旋转等变卷积,通过实验验证其在提升登记精度、增强鲁棒性和提高样本效率方面的优势。
2026-04-09 cs.CV
Unsupervised Deformable Registration for Multi-Modal Images via Disentangled Representations
Imperial College London(帝国理工学院);Siemens Healthineers(西门子医疗)
我们提出了一种完全无监督的多模态可变形图像配准方法(UMMs),该方法在训练过程中不需要任何地面真实变形场或任何对齐的多模态图像对。多模态配准是医学图像分析中的一个关键问题。由于不同模态之间的关系复杂且未知,因此非常具有挑战性。在本文中,我们提出了一个无监督学习的方法来减少多模式的注册问题,通过图像去纠缠的一个单一的模式。特别是,我们将这两种模式的图像分解为一个共同的潜在形状空间和单独的潜在外观空间,通过无监督的多模态图像到图像的翻译方法。该方法建立在原图像域中存在的固有形状变形保持在该隐空间中的基础上。具体来说,已经提出了两个指标来训练所提出的网络:在公共形状空间中定义的潜在相似性指标和基于对抗性损失的基于学习的图像相似性指标。我们研究了我们提出的方法的不同变化,并将其与传统的最先进的多模态配准方法进行了比较。结果表明,我们提出的方法实现了竞争力的性能对其他方法在大幅减少计算时间。
2019-03-22 cs.CV
A Transformer-based Network for Deformable Medical Image Registration
Huazhong University of Science and Technology(华中科技大学);College of Life Science and Technology, Huazhong University of Science and Technology(华中科技大学生命科学与技术学院)
形变医学图像配准在临床诊断和治疗中起着重要的作用。近年来,基于深度学习的图像配准方法得到了广泛的研究,并在计算速度方面表现出优异的性能。然而,这些方法不能提供足够的配准精度,因为在表示运动和固定图像的全局和局部特征的能力不足。针对这一问题,本文提出了基于Transformer的图像配准方法。该方法利用特征Transformer提取图像的全局和局部特征,生成形变场,并在此基础上以无监督的方式生成配准图像。该方法通过自注意机制和两级信息流,有效地提高了配准精度。在LPBA 40和OASIS-1等脑MR图像数据集上的实验结果表明,与传统的配准方法和基于DL的配准方法相比,该方法具有更高的配准精度。
2022-10-15 cs.CV cs.LG eess.IV
ContraReg: Contrastive Learning of Multi-modality Unsupervised Deformable Image Registration
New York University(纽约大学);Hyperfine Research(Hyperfine研究公司);Yale University(耶鲁大学)
在不同的成像模式之间建立体素语义对应是一项基础而艰巨的计算机视觉任务。当前的多模态配准技术最大化手工制作的域间相似性函数,在建模非线性强度关系和变形方面受到限制,并且可能需要显著的重新设计或在新任务、数据集和域对上表现不佳。这项工作提出了ContraReg,一种无监督的对比表示学习方法,多模态变形配准。通过将学习到的多尺度局部补丁特征投影到联合学习的域间嵌入空间上,ContraReg获得了对非刚性多模态对齐有用的表示。在实验上,ContraReg实现了准确和稳健的结果,在新生儿T1-T2脑MRI配准任务的一系列基线和消融上具有平滑和可逆的变形,所有方法都在广泛的变形正则化强度范围内得到验证。
2022-06-27 cs.CV cs.LG
An Accessible Solution for Deformable Image Registration Compared with Learning-Based Approaches
Uppsala University(乌普萨拉大学);Uppsala University Hospital(乌普萨拉大学医院)
本研究提出pTVreg的可及实现及自动设置参数的贝叶斯优化框架,在Lung250M-4B数据集上其性能优于现有深度学习方案及其他pTVreg变体。
2026-08-04 cs.CV eess.IV
Coordinate Translator for Learning Deformable Medical Image Registration
Johns Hopkins University(约翰斯·霍普金斯大学);National Institute on Aging(国家老龄化研究所);National Institute of Health(美国国立卫生研究院)
大多数基于深度学习(DL)的可变形图像配准方法使用卷积神经网络(CNN)来估计来自成对的移动图像和固定图像的位移场。然而,这要求CNN中的卷积核不仅要从输入中提取强度特征,还要理解图像坐标系。我们认为,后一项任务对传统CNN来说是一个挑战,限制了它们在注册任务中的性能。为了解决这个问题,我们首先引入了坐标转换器,这是一个可区分的模块,它可以识别固定图像和运动图像之间的匹配特征,并在不需要训练的情况下输出它们的坐标对应。它减轻了CNN理解图像坐标系的负担,使其能够专注于特征提取。然后,我们提出了一种新的可变形配准网络,im2grid,它使用多个坐标转换器与从CNN编码器中提取的分层特征,并以粗到细的方式输出变形场。我们比较了im2grid与最先进的DL和非DL方法的无监督3D磁共振图像配准。我们的实验表明,im2grid优于这些方法在定性和定量。
2022-07-31 cs.CV eess.IV
FSDiffReg: Feature-wise and Score-wise Diffusion-guided Unsupervised Deformable Image Registration for Cardiac Images
The Hong Kong University of Science and Technology(香港科技大学)
针对医学图像无监督可变形配准中变形场质量与拓扑保持的难题,提出含FDG和SDG两个模块的FSDiffReg方法,借助扩散模型引导配准,在3D心脏图像任务上验证了其生成拓扑保持的精细化变形场的有效性。
2023-07-22 cs.CV
SAME: Deformable Image Registration based on Self-supervised Anatomical Embeddings
Johns Hopkins University(约翰斯·霍普金斯大学);PAII Inc.(PAII公司);Ping An Technology(平安科技);The First Affiliated Hospital Zhejiang University(浙江大学医学院附属第一医院)
在这项工作中,我们介绍了一种快速和准确的方法,无监督的三维医学图像配准。这项工作是建立在最近的算法SAM,这是能够计算密集的解剖/语义在像素级的两个图像之间的对应关系。我们的方法被命名为仿射变换,它将图像配准分解为三个步骤:仿射变换,粗变形和深度变形配准。使用SAM嵌入,我们通过寻找更多的一致对应来增强这些步骤,并提供具有更好语义指导的特征和损失函数。我们收集了一个多相胸部计算机断层扫描数据集,每个患者有35个注释器官,并进行受试者间配准进行定量评价。结果表明,在对比度内相位和对比度跨相位配准这两个单独任务中,Dice得分分别比广泛使用的传统配准技术(Elastix FFD,ANTs SyN)和基于学习的VoxelMorph方法高至少4.7%和2.7%。EQUIPMENT实现了与最好的传统配准方法DEEDS(根据我们的评估)相当的性能,同时速度快了几个数量级(从45秒到1.2秒)。
2021-09-23 cs.CV eess.IV
Weakly-Supervised Learning of Metric Aggregations for Deformable Image Registration
Research institute for signals, systems and computational intelligence, sinc(i), FICH-UNL/CONICET(信号、系统与计算智能研究所 sinc(i),FICH-UNL/CONICET);University of Oxford(牛津大学);TheraPanacea;CentraleSupelec(中央理工-高等电力学院);Universite Paris-Saclay(巴黎-萨克雷大学)
形变配准是生物医学图像计算的重要研究方向之一。传统的方法是指定义的相似性标准,一旦赋予变形模型和平滑度约束,确定最佳的变换,以对齐两个给定的图像。这一度量函数的定义是登记过程中最关键的方面之一。我们认为,将语义信息(以解剖分割图的形式)纳入配准过程将进一步提高结果的准确性。在本文中,我们提出了一种新的弱监督的方法来学习域特定的聚合使用解剖分割的常规指标。该组合使用潜在结构化支持向量机(LSSVM)来学习。学习的匹配标准被集成在基于图形模型的无度量优化框架内,从而产生具有以解剖结构为条件的空间变化的相似性度量函数的多度量算法。我们对三种不同的CT和MRI图像数据集进行了广泛的评估,结果表明,学习的多度量配准优于基于传统相似性度量的单度量方法。
2018-09-24 cs.CV