Multiresolution Elastic Medical Image Registration in Standard Intensity Scale
The University of Nottingham（诺丁汉大学）
医学图像配准是一个难题。配准算法不仅需要捕获大尺度和小尺度的图像变形，还必须处理全局和局部图像强度变化。在本文中，我们描述了一个新的多分辨率弹性图像配准方法，挑战这些困难的图像配准。为了捕获大规模和小规模的图像变形，我们使用全局和局部仿射变换算法。为了解决全局和局部图像强度变化，我们应用图像强度标准化算法来校正图像强度变化。这将图像强度转换成标准强度尺度，这允许医学图像的高度精确配准。
2009-07-12 cs.CV
PAN: Projective Adversarial Network for Medical Image Segmentation
University of Central Florida（中佛罗里达大学）；Mayo Clinic Cancer Center（妙佑医疗国际癌症中心）
对抗性学习已被证明是有效的捕获长距离和高级别的标签识别在语义分割。独特的医学成像，捕捉3D语义在一个有效的计算效率的方式仍然是一个悬而未决的问题。在这项研究中，我们通过提出一种新的投影对抗网络（PAN）来解决这种计算负担，该网络通过2D投影融合了高级3D信息。此外，我们在我们的框架中引入了一个注意力模块，这有助于直接从我们的分割器到我们的对抗网络的全局信息的选择性整合。对于临床应用，我们选择从CT扫描中分割胰腺。我们提出的框架实现了最先进的性能，而不增加分割器的复杂性。
2019-06-11 cs.CV cs.LG eess.IV
Projectron -- A Shallow and Interpretable Network for Classifying Medical Images
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
本文介绍了“Projectron”作为一种新的神经网络架构，使用Radon投影来分类和表示医学图像。其动机是建立浅网络，这是更可解释的医学成像领域。Radon变换是一种可以从平行投影重建图像的成熟技术。Projectron首先使用等距角度将全局Radon变换应用于每个图像，然后将这些变换馈送到单层神经元，然后是一层合适的内核，以促进投影的线性分离。最后，投影仪将编码的输出作为输入提供给另外两个层进行最终分类。我们在五个公开可用的数据集上验证了Projectron，一个通用数据集（即MNIST）和四个医学数据集（即肺气肿，IDC，IRMA和肺炎）。结果令人鼓舞，因为我们比较了投影仪的性能与MLP与原始图像和氡投影作为输入，分别。实验清楚地表明，潜在的建议投影表示/分类医学图像。
2019-03-15 cs.CV
Beyond Adapter Retrieval: Latent Geometry-Preserving Composition via Sparse Task Projection
本文提出一种几何感知的稀疏重建框架，通过潜在原型稀疏组合实现LoRA适配器重用，提升零样本泛化，并在医学图像分割、报告生成和图像合成中验证有效性。
2025-08-06 cs.AI cs.CL cs.CV
Generative Medical Image Anonymization Based on Latent Code Projection and Optimization
Inria（法国国家信息与自动化研究所）；Université Côte d’Azur（蔚蓝海岸大学）
针对医学图像匿名化的隐私保护与数据效用平衡问题，提出基于潜在码投影与优化的两阶段生成式方案，在MIMIC-CXR数据集上验证可生成可用作肺部病变检测训练集的匿名合成图像。
2025-01-15 cs.AI cs.CV
Data-Driven Tissue- and Subject-Specific Elastic Regularization for Medical Image Registration
School of Computation, Information and Technology, Technical University of Munich（慕尼黑工业大学计算、信息与技术学院）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Institute of Machine Learning in Biomedical Imaging, Helmholtz Munich（亥姆霍兹慕尼黑生物医学成像机器学习研究所）；German Cancer Consortium (DKTK)（德国癌症联盟）；School of Biomedical Engineering and Imaging Sciences, King’s College London（伦敦国王学院生物医学工程与成像科学学院）
本文提出利用超网络数据驱动地学习组织依赖性弹性参数，实现无需重训的患者特异性医学图像配准正则化，并在多个肺CT和心脏MR数据集上验证了其优于全局正则化器的配准质量。
2024-07-05 cs.CV
Biomechanics-informed Non-rigid Medical Image Registration and its Inverse Material Property Estimation with Linear and Nonlinear Elasticity
School of Control Science and Engineering, Shandong University（山东大学控制科学与工程学院）；Wellcome/EPSRC Centre for Interventional & Surgical Sciences, University College London（伦敦大学学院惠康/英国工程与物理科学研究委员会介入与外科科学中心）；Division of Surgery & Interventional Science, University College London（伦敦大学学院外科与介入科学系）；Institute of Medical and Biological Engineering, University of Leeds（利兹大学医学与生物工程研究所）
本文利用PINNs实现受生物力学约束的非刚性医学图像配准及软组织材料属性逆向估计，将线性弹性推广至非线性，通过前列腺MR图像实验验证了方法，还可通过鞍点求解联合优化的逆问题。
2024-07-09 cs.CV
Prompt-Aware Adaptive Elastic Weight Consolidation for Continual Learning in Medical Vision-Language Models
University College London（伦敦大学学院）
PA-EWC通过提示引导的参数专门化，有效缓解医疗视觉-语言模型在持续学习中的灾难性遗忘问题，提升多模态医学任务的性能。
2025-12-21 cs.CV cs.MM
An Elastic Interaction-Based Loss Function for Medical Image Segmentation
The Hong Kong University of Science and Technology（香港科技大学）
深度学习技术在医学图像分割方面取得了成功，因为它们易于操作并且对各种类型的数据集具有鲁棒性。深度分割任务中常用的损失函数是逐像素损失函数。这导致了这些模型的瓶颈，以实现高精度的生物医学图像中的复杂结构。例如，视网膜图像中预测的小血管经常在像素级损失的监督下断开或甚至丢失。本文通过引入基于远程弹性交互的训练策略来解决这个问题。在该策略中，卷积神经网络（CNN）在预测区域的边界与实际对象的边界之间的弹性相互作用能量的指导下学习目标区域。在建议损失的监督下，预测区域的边界被对象边界强烈吸引，并且倾向于保持连接。实验结果表明，我们的方法是能够实现相当大的改进相比，常用的像素损失函数（交叉熵和骰子损失）和其他最近的损失函数上的三个视网膜血管分割数据集，驱动器，STARE和CHASEDB1。
2020-10-11 cs.CV eess.IV
A Parameterized Generative Adversarial Network Using Cyclic Projection for Explainable Medical Image Classification
Faculty of Applied Sciences, Macao Polytechnic University（澳门理工大学应用科学学院）；John Hopcroft Center (JHC) for Computer Science, Shanghai Jiao Tong University（上海交通大学约翰·霍普克罗夫特计算机科学中心）；College of Physics and Information Engineering, Fuzhou University（福州大学物理与信息工程学院）；Jiangsu JITRI Sioux Technologies Co., Ltd（江苏金智 Sioux 科技有限公司）
针对小规模医学图像数据增强的不确定性问题，提出在循环投影中引入距离参数的 ParaGAN，以控制跨域变化并生成类别差异图，实现优于现有方法的可解释分类。
2023-12-14 cs.CV cs.LG
Learning Autoencoded Radon Projections
University of Waterloo（滑铁卢大学）；University of Ontario Institute of Technology（安大略理工大学）
自动编码器最近已被用于对医学图像进行编码。在这项研究中，我们设计和验证了一个新的框架检索医学图像分类氡投影，压缩在最深层的自动编码器。由于自动编码器降低了维数，因此可以采用多层感知器（MLP）对图像进行分类。MLP的集成促进了一个相当浅的学习架构，这使得训练更快。我们进行了一项比较研究，以检查不同的输入，如原始图像，直方图的定向投影（HOG）和归一化氡投影的自动编码器的能力。我们的框架是基准IRMA数据集包含分布在$57$不同类的$14,410$ X射线图像。实验表明，$313$的IRMA错误（相当于$\approx 82\%$准确度）优于使用自动编码器从IRMA数据集检索的最先进的作品。
2017-09-27 cs.CV
Radon Features and Barcodes for Medical Image Retrieval via SVM
Nanjing University of Science & Technology（南京理工大学）；University of Waterloo（滑铁卢大学）
基于内容的图像检索（CBIR）已经研究了二十多年。将Radon投影和支持向量机相结合，提出了一种基于内容的医学图像检索方法。该方法采用归一化的Radon投影与相应的图像类别标签，以建立一个SVM分类器，和Radon条形码数据库，编码的每一个图像在一个二进制格式也同时产生标记所有的图像。为了在给定查询图像时检索相似图像，生成查询图像的Radon投影和条形码。随后，k-近邻搜索方法被施加到找到的图像与最小汉明距离的Radon条形码在同一类预测的训练SVM分类器，使用Radon功能。通过使用IRMA 2009数据集的57个类别的14，410个X射线图像，验证了所提出的方法的性能。结果表明，我们的方法有能力检索相似的响应，正确识别的查询图像，甚至错误分类的SVM。此外，该方法非常快并且具有低存储器要求。
2016-04-16 cs.CV
Detailed Annotations of Chest X-Rays via CT Projection for Report Understanding
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Daimler TSS（戴姆勒TSS公司）；University Hospital Heidelberg（海德堡大学医院）；German Cancer Research Center（德国癌症研究中心）；University Clinic Essen（埃森大学医院）
在临床放射学报告中，医生捕获有关患者健康状况的重要信息。他们从关于患者内部结构的原始医学成像数据中传达他们的观察结果。因此，制定报告需要医学专家拥有关于解剖区域的广泛知识，这些解剖区域具有正常、健康的外观以及识别异常的能力。在当前的医学图像处理系统中，这种对患者的解剖结构和他们的外观的明确把握是缺失的，因为注释特别难以收集。这使得模型成为狭窄的专家，例如用于识别特定疾病。在这项工作中，我们通过将人体解剖学添加到组合中来恢复这一缺失的环节，并使医疗报告中的内容与其在相关图像中的出现相关联（医疗短语接地）。为了在这种情况下利用解剖结构，我们提出了一个复杂的自动管道来收集和整合来自计算机断层扫描数据集的人体结构，我们将其纳入我们的PAXRay：用于X射线数据中解剖结构分割的投影数据集。我们的评估表明，利用解剖信息的方法在很大程度上有利于放射科医生的发现，因为与常用的区域建议相比，我们的解剖分割允许在OpenI数据集上获得高达绝对50%的更好的接地结果。PAXRay数据集可在https://constantinseibold.github.io/paxray/上获得。
2022-10-07 cs.CV
Evolutionary Projection Selection for Radon Barcodes
University of Waterloo（滑铁卢大学）；University of Ontario Institute of Technology（安大略理工大学）
最近，Radon变换已被用于生成用于标记医学图像的条形码。欠采样图像在某些方向上投影，并且每个投影使用局部阈值进行二值化。阈值化投影的级联创建了可以用于标记或注释医学图像的条形码。少量等距投影，例如，4或8，通常用于生成短条形码。然而，由于数字图像的多样性，并且由于我们只使用少量的投影（以保持条形码短），因此采用等距投影可能不是最好的方法。在本文中，我们提出了寻找$n$的最佳投影，而$n\!<\!180$，以提高表现力的氡条形码。我们展示了简单情况下的穷举搜索的例子，当我们试图找到4个最好的预测16等距投影，并将其与进化方法进行比较，以建立后者的好处时，在一个小的人口规模的情况下，微DE。我们从IRMA数据集中随机选择了10个不同的类别（58个类别中的14，400张X射线图像），并进一步随机选择了每个类别的5张图像进行测试。
2016-04-16 cs.CV
An End-to-end Deep Learning Approach for Landmark Detection and Matching in Medical Images
Centrum Wiskunde & Informatica（数学与计算机科学国家研究所）；Amsterdam UMC, University of Amsterdam（阿姆斯特丹大学阿姆斯特丹大学医学中心）；Delft University of Technology（代尔夫特理工大学）
医学图像中的解剖标志对应可以为两个图像的对准提供额外的指导信息，这反过来对于许多医学应用是至关重要的。然而，手动地标注释是劳动密集型的。因此，我们提出了一种端到端的深度学习方法来自动检测二维（2D）图像对中的地标对应关系。我们的方法包括一个连体神经网络，它被训练来识别图像中的显著位置作为地标，并预测来自两个不同图像的地标对的匹配概率。我们在来自168个下腹部计算机断层扫描（CT）扫描的2D横向切片上训练了我们的方法。我们在22，206对2D切片上测试了该方法，这些切片具有不同的强度，仿射和弹性变换水平。所提出的方法分别为强度、仿射和弹性变换找到每个图像对的平均639、466和370个界标匹配，空间匹配误差至多为1 mm。此外，对于具有强度、仿射和弹性变换的图像对，超过99%的界标对在2 mm、4 mm和8 mm的空间匹配误差内，分别为了研究我们开发的方法在临床环境中的实用性，我们还在从三名患者的随访CT扫描中选择的成对横向切片上测试了我们的方法。结果的目视检查显示，在两个骨解剖区域以及缺乏显著强度梯度的软组织中均存在标志匹配。
2020-01-21 cs.CV
MedNeRF: Medical Neural Radiance Fields for Reconstructing 3D-aware CT-Projections from a Single X-ray
Durham University（杜伦大学）；County Durham and Darlington NHS Foundation Trust（达勒姆郡和达灵顿国民保健服务基金会信托）
计算机断层扫描（CT）是一种有效的医学成像模式，广泛应用于临床医学领域，用于诊断各种病理。多探测器CT成像技术的进步已经实现了额外的功能，包括生成薄层多平面横截面身体成像和3D重建。然而，这涉及患者暴露于相当大剂量的电离辐射。过量的电离辐射会对人体产生决定性的有害影响。本文提出了一种深度学习模型，该模型可以学习从几个甚至单视图X射线重建CT投影。这是基于一种基于神经辐射场的新型架构，该架构通过从2D图像中分离表面和内部解剖结构的形状和体积深度来学习CT扫描的连续表示。我们的模型是在胸部和膝盖数据集上训练的，我们展示了定性和定量的高保真渲染，并将我们的方法与其他最近的基于辐射场的方法进行了比较。我们的代码和数据集链接可在www.example.com上获得
2022-04-08 cs.CV eess.IV
Sparse Projections of Medical Images onto Manifolds
Massachusetts Institute of Technology（麻省理工学院）
流形学习已成功应用于各种医学成像问题。它在实时应用中的使用需要快速投影到低维空间。为此，通过构造从输入空间映射到低维流形的插值函数来应用样本外扩展。常用的方法，如Nyström扩展和内核岭回归，需要使用所有的训练点。我们提出了一个插值函数，只依赖于一个小的输入训练数据的子集。因此，在测试阶段，每个新点仅需要与少量输入训练数据进行比较，以便将该点投影到低维空间上。我们将我们的方法解释为近似核岭回归的样本外扩展。我们的方法涉及到解决一个简单的凸优化问题，并有吸引力的性质，保证近似误差的上限，这是至关重要的医疗应用。调整此误差界限可控制所得插值函数的稀疏性。我们说明了我们的方法在两个临床应用中，需要快速映射到一个低维空间的输入图像。
2013-03-28 cs.CV cs.LG stat.ML
Learning from Compressed CT: Feature Attention Style Transfer and Structured Factorized Projections for Resource-Efficient Medical Image Analysis
Department of Electrical and Electronic Engineering, Bangladesh University of Engineering and Technology（电气电子工程系，孟加拉工程与技术大学）
本文提出FAST和SFP方法，通过压缩CT体积进行胸腔异常检测，实现低资源部署和高效数据传输，实验表明CT-Lite在压缩输入下达到接近未压缩基线的AUROC性能。
2026-07-31 cs.CV eess.IV
Modality-Projection Universal Model for Comprehensive Full-Body Medical Imaging Segmentation
the Institute of Medical Technology and National Biomedical Imaging Center, Peking University（北京大学医学技术研究所暨国家生物医学成像中心）；The First Affiliated Hospital of Shandong First Medical University & Shandong Provincial Qianfoshan Hospital（山东第一医科大学第一附属医院暨山东省千佛山医院）；Peking University Third Hospital（北京大学第三医院）；Guangdong Provincial People’s Hospital（广东省人民医院）；Peking University Cancer Hospital & Institute（北京大学肿瘤医院暨肿瘤研究所）
本文提出模态投影通用模型MPUM，通过动态参数调整实现跨模态全身医学影像分割，并提升解剖结构识别精度、脑-体代谢关联分析能力及模型可解释性。
2024-12-26 cs.AI cs.CV eess.IV
IDEAL: Improved DEnse locAL Contrastive Learning for Semi-Supervised Medical Image Segmentation
Stony Brook University（石溪大学）；Jadavpur University（贾达普大学）；University of Toronto（多伦多大学）；Kyungpook National University（庆北国立大学）
由于标记数据的稀缺性，对比自监督学习（SSL）框架最近在一些医学图像分析任务中显示出巨大的潜力。然而，现有的对比机制是次优的密集像素级分割任务，由于他们无法挖掘本地功能。为此，我们将度量学习的概念扩展到分割任务，使用密集（不）相似性学习来预训练深度编码器网络，并采用半监督范式来微调下游任务。具体来说，我们提出了一个简单的卷积投影头来获得密集的像素级特征，以及一个新的对比损失来利用这些密集的投影，从而改善局部表示。下游任务设计了一个双向一致性正则化机制，包括两个流模型训练。经过比较，我们的IDEAL方法在心脏MRI分割上的公平边缘优于SoTA方法。可用代码：https://github.com/hritam-98/IDEAL-ICASSP23
2023-03-02 cs.CV
Barcodes for Medical Image Retrieval Using Autoencoded Radon Transform
University of Waterloo（滑铁卢大学）
使用基于内容的二进制编码来标记数字图像已经成为一种很有前途的检索技术。最近，Radon条形码（RBC）已被引入作为一种新的二进制描述符的图像搜索。通过Radon投影的二值化并通过将它们组装成载体（即条形码）来生成RBC。一个简单的局部阈值已被建议用于二值化。本文提出了“自动编码Radon条码”的思想。使用训练数据集中的图像，我们对Radon投影进行自动编码，以对隐藏层的输出进行二值化。我们采用小批量随机梯度下降方法进行训练。自动编码器的每个隐藏层可以使用基于所使用的逻辑函数的范围确定的阈值来产生条形码。自动编码器的压缩能力显然减少了Radon投影中固有的冗余，从而获得更准确的检索结果。使用包含14，410张X射线图像的IRMA数据集来验证所提出的方法的性能。与RBCs、SURF和BRISK的实验结果表明，自动编码的Radon条形码（ARBC）具有捕获重要信息和学习更丰富表示的能力，从而降低了图像检索的错误率。
2016-09-16 cs.CV
Modality-bridge Transfer Learning for Medical Image Classification
KAIST（韩国科学技术院）
本文提出了一种基于迁移学习的医学图像分类新方法，以缓解医学领域中标记数据不足的问题。代替从源到少量标记目标数据的直接迁移学习，我们提出了一种模态桥迁移学习，其采用与目标数据库相同的医学成像采集模态中的桥数据库。通过学习从源到桥以及从桥到目标的投影函数，可以计算源之间的域差异（例如，自然图像）和目标（例如，X射线图像）可以减轻。实验结果表明，与各种迁移学习方法相比，该方法即使对少量标记的目标医学图像也能取得较高的分类性能。
2017-08-10 cs.CV
Test-Time Modality Generalization for Medical Image Segmentation
Inha University（仁荷大学）
针对医学图像分割中未见模态泛化问题，提出TTMG框架，结合MASP和MSIW，在四种模态的十一个数据集上取得最优性能。
2025-02-27 cs.CV
An Elastic Image Registration Approach for Wireless Capsule Endoscope Localization
University of Coimbra（科英布拉大学）；CHUC（科英布拉大学医院中心）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）；KTH Royal Institute of Technology（瑞典皇家理工学院）
无线胶囊内窥镜（WCE）是一种创新的成像设备，允许医生检查胃肠道（GI）的所有区域。这对于传统的侵入性内窥镜检查无法到达的小肠尤其重要。虽然WCE代表了医学成像的一个非常重要的进步，但仍然未解决的主要缺点是WCE在其操作时间期间在人体中的精确位置。这主要是由于其运动过程中复杂的生理环境和固有的胶囊效应。当在WCE图像中检测到异常时，医生不精确地知道该异常相对于肠位于何处，因此他们不能有效地进行适当的治疗。本文的主要目的是给WCE本地化的贡献，使用基于图像的方法。这项工作的主要重点是描述的多尺度弹性图像配准方法，其实验应用WCE视频，并与多尺度仿射配准比较。所提出的方法包括捕获刚性和非刚性变形两者的配准，分别由于刚性WCE运动和由GI蠕动运动引起的小肠的弹性变形。在这种方法下，可以获得关于WCE速度的定性信息，以及通过投影几何的WCE位置和方向。与真正的WCE视频帧的实验测试的结果表明，所提出的方法的良好性能，当弹性变形的小肠涉及在连续的帧，其优越性相对于多尺度仿射图像配准，仅占刚性变形和丢弃弹性变形。
2015-04-23 cs.CV
IP-UNet: Intensity Projection UNet Architecture for 3D Medical Volume Segmentation
University College Dublin（都柏林大学学院）；Ulster University（阿尔斯特大学）
针对高分辨率3D医学体数据分割内存占用高、易损失分辨率的问题，提出基于强度投影的IP-UNet模型，在保证分割精度接近3D-UNet的同时大幅降低训练时间和内存消耗。
2023-08-24 cs.CV cs.LG eess.IV
Imaging with Rays: Microscopy, Medical Imaging, and Computer Vision
在本文中，我们广泛地考虑技术，利用投影射线的数据汇集，特别强调光学技术。我们制定了各种成像技术，无论是特殊情况下，或扩展断层重建。然后，我们考虑如何的技术必须扩展到描述对象包含闭塞，与自闭塞不透明的对象。我们制定的重建问题作为一个正则化的非线性优化问题，同时解决对象的亮度和衰减，其中衰减可以成为无限的。我们展示了各种模拟的例子，成像不透明的物体，包括稀疏点源，传统的多视图重建技术，和超分辨率技术，利用遮挡来解决图像。
2014-02-11 cs.CV
Enforcing connectivity of 3D linear structures using their 2D projections
Graz University of Technology（格拉茨技术大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
许多生物和医学任务需要从图像体积中描绘3D曲线结构，例如血管和神经突。这通常使用通过最小化不捕获这些结构的拓扑性质的逐体素损失函数而训练的神经网络来完成。因此，恢复的结构的连接性往往是错误的，这降低了它们的有用性。在本文中，我们建议通过最小化其2D投影上的拓扑感知损失的总和来提高我们的结果的3D连通性。这足以增加准确性并减少提供所需的注释训练数据所需的注释工作。代码可在https://github.com/doruk-oner/ConnectivityOnProjections上获得。
2022-12-24 cs.CV
Learning Physics-Inspired Regularization for Medical Image Registration with Hypernetworks
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Helmholtz Munich（亥姆霍兹慕尼黑中心）；King’s College London（伦敦国王学院）
本文提出利用超网络学习线性弹性正则化器中物理参数对形变场的影响，通过调整HyperMorph框架，在测试时高效发现适合特定数据的医学图像配准物理参数。
2023-12-04 cs.AI cs.CV eess.IV
A new Local Radon Descriptor for Content-Based Image Search
University of Waterloo（滑铁卢大学）
基于内容的图像检索（CBIR）是计算机视觉研究的重要组成部分，特别是在医学专家系统中。在CBIR系统中，具有最少数量的用于调谐的参数的有区别的图像描述符是期望的。在本文中，我们介绍了一种新的简单的描述符的基础上的直方图的局部Radon投影。我们还提出了一个非常快速的卷积为基础的局部氡估计，以克服缓慢的过程中氡预测。我们使用病理图像（KimiaPath 24）和肺部CT补丁进行实验，并测试我们提出的医疗图像处理解决方案。与其他基于直方图的描述符（如LBP和HoG以及一些预训练的CNN）相比，我们取得了更好的结果。
2020-07-30 cs.CV
Facial Recognition with Encoded Local Projections
University of Waterloo（滑铁卢大学）
编码局部投影（Encoded Local Projections，ELP）是最近提出的一种密集采样图像描述符，它利用小邻域内的投影来构造整个图像的直方图/描述符。ELP在搜索医学图像方面与其他最先进的功能一样准确，同时具有时间和资源效率。本文首次尝试将ELP描述子作为人脸识别的主要特征，并在Wild数据集的Labeled Faces上与LBP直方图进行了比较。我们通过比较每个图像描述符与所有其他描述符的卡方距离以及使用每个特征向量训练支持向量机（SVM）来评估描述符。在两种情况下，在相同的子图像配置下，ELP的结果优于LBP。
2018-09-11 cs.CV
Efficient Self-Supervised Adaptation for Medical Image Analysis
KTH Royal Institute of Technology（皇家理工学院）；Science for Life Laboratory（生命科学实验室）
本文提出 ESSA 框架，将参数高效微调用于医学图像的自监督适配，其中 APLA 在多任务上超越全参数 SSA 与有监督微调，并显著降低显存、提升吞吐。
2025-09-27 cs.CV
MR to X-Ray Projection Image Synthesis
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
混合成像在医学成像应用中具有巨大的潜力。为了充分利用来自不同模态的相应信息的可能性，信息必须在域之间可转移。在放射治疗规划中，现有方法利用重建的3D磁共振成像数据来合成对应的X射线衰减图。相比之下，对于荧光透视检查程序，只有线积分数据，即，2D投影图像。问题是哪些方法可能用于这种MR到X射线投影图像到图像的转换。我们研究了三个网络架构和两个损失函数，它们是否适合作为发电机网络这项任务。所有发电机证明产生适当的结果，这项任务。在我们的评估中，级联细化网络与感知损失函数配对实现了最好的定性结果。感知损失表明能够保留投影图像中的大部分高频细节，因此，建议用于基础任务和类似问题。
2018-04-03 cs.CV
Contrastive Learning of Relative Position Regression for One-Shot Object Localization in 3D Medical Images
University of Electronic Science and Technology of China（电子科技大学）；SenseTime Research（商汤科技研究院）
深度学习网络在医学图像中的准确对象定位方面表现出了有前途的性能，但需要大量的注释数据进行监督训练，这是昂贵的并且专业知识繁重。为了解决这个问题，我们提出了一个一次性的框架，用于体积医学图像中的器官和地标定位，在训练阶段不需要任何注释，并且可以用于在推理阶段在给定支持（参考）图像的情况下定位测试图像中的任何地标或器官。我们的主要想法来自于不同人体的组织和器官具有相似的相对位置和背景。因此，我们可以预测它们的非局部斑块的相对位置，从而定位目标器官。我们的框架由三个部分组成：（1）一个投影网络，用于预测来自同一体积的任何两个补丁之间的3D偏移，其中不需要人工注释。在推理阶段，它采取一个给定的地标在参考图像作为一个支持补丁，并预测从一个随机补丁到相应的地标在测试（查询）体积的偏移。(2)一个由粗到精的框架包含两个投影网络，提供更准确的目标定位。(3)基于由粗到精的模型，我们将器官边界盒（B-box）检测转化为定位查询体中沿x，y和z方向的六个极值点。在头颈部CT图像多器官定位中的实验表明，该方法在实时的方面具有较好的性能，在相同的设置下，其定位精度和速度均优于模板匹配方法10^5倍。代码可用：https://github.com/LWHYC/RPR-Loc。
2021-05-25 cs.CV
MinMax Radon Barcodes for Medical Image Retrieval
University of Waterloo（滑铁卢大学）
基于内容的医学图像检索可以支持临床专家的诊断决策。检查类似的图像可以为专家提供线索，以消除他/她最终诊断中的不确定性。除了传统的特征描述符之外，最近已经提出了以不同方式对图像内容进行编码的二进制特征。最近的提议是“Radon条形码”，其采用二值化Radon投影来标记/注释具有基于内容的二进制向量（称为条形码）的医学图像。本文介绍了MinMax Radon条形码，它优于文献中提出的“局部阈值”方案。使用IRMA数据集和来自193个不同类别的14，410个X射线图像，证明了使用MinMax Radon条形码优于\emph{thresholded} Radon条形码的优势。直接检索的检索错误率下降了15%以上。此外，SURF，作为一个行之有效的非二进制方法，和BRISK，作为一个最近的二进制方法进行检查，比较他们的结果与MinMax氡条形码时，从IRMA数据集检索图像。结果表明，MinMax Radon条形码应用于IRMA图像时更快，更准确。
2016-10-02 cs.CV
Determining a rotation of a tetrahedron from a projection
Western Washington University（西华盛顿大学）；Università degli Studi di Firenze（佛罗伦萨大学）；Goethe-Universität（歌德大学）
下面的问题，所产生的医学成像，解决：假设$T$是一个已知的四面体在$\R^3$的质心在原点。还已知的是在围绕原点的未知旋转$ϕ$下的$T$的图像$ϕT$的顶点的正交投影$U$。在什么情况下可以根据$T$和$U$确定$ϕ$？
2012-07-09 cs.CG cs.CV math.MG
Towards continual learning in medical imaging
Imperial College London（帝国理工学院）
本文研究了利用神经网络对脑MRI中两个分割任务进行持续学习的问题。为了探索在这种情况下，目前的方法，用于对抗灾难性遗忘的第一个任务时，一个新的学习的能力，我们调查弹性权重巩固，最近提出的方法的基础上费舍尔信息，最初评估强化学习的雅达利游戏。我们使用它来顺序学习正常大脑结构的分割，然后分割白质病变。我们的研究结果表明，这种最新的方法减少了灾难性遗忘，而在这些具有挑战性的持续学习环境中存在很大的改进空间。
2018-11-06 cs.CV cs.LG
Roto-Translation Covariant Convolutional Networks for Medical Image Analysis
Eindhoven University of Technology（埃因霍温理工大学）
我们提出了一个使用$SE(2)$群卷积进行旋转和平移协变深度学习的框架。特殊欧几里得运动群$SE(2)$的群积描述了两个旋转平移的级联如何导致净旋转平移。我们通过$SE(2)$组卷积层将这种几何结构编码到卷积神经网络（CNN）中，这些卷积层适合标准的2D CNN框架，并且允许在不需要数据增强的情况下一般处理旋转的输入样本。我们引入三层：提升层，其将2D（向量值）图像提升为$SE(2)$图像，即，域为$SE(2)$的3D（向量值）数据;来自和去往$SE(2)$图像的组卷积层;以及从$SE(2)$图像到2D图像的投影层。提升和组卷积层是$SE(2)$协变的（输出与输入旋转平移）。最后的投影层是旋转上的最大强度投影，使完整的CNN旋转不变。我们用组织病理学、视网膜成像和电子显微镜中的三个不同问题表明，使用所提出的组CNN，可以实现最先进的性能，而不需要通过旋转进行数据增强，并且与依赖增强的标准CNN相比，性能有所提高。
2018-06-11 cs.CV cs.LG math.GR
Regularising disparity estimation via multi task learning with structured light reconstruction
The Hamlyn Centre, Imperial College London（哈姆林中心，帝国理工学院）
针对医疗数据缺乏导致视差估计受限的问题，提出结合结构光重建的多任务学习框架，隐式学习视差并提升网络性能，在无额外参数下优于单任务学习。
2023-01-19 cs.CV
Local Radon Descriptors for Image Search
Amirkabir University of Technology（阿米尔卡比尔理工大学）；University of Waterloo（滑铁卢大学）；Deakin University（迪肯大学）
Radon变换及其逆运算是医学成像中的重要技术。最近，Radon变换在基于内容的医学图像检索等应用中又引起了人们的兴趣。然而，到目前为止，所有的研究都使用Radon变换作为一个全球或准全球的图像描述符，通过提取整个图像或大子图像的投影。本文试图表明，密集采样产生的局部Radon投影直方图具有更高的区分能力比全球之一。在本文中，我们介绍了本地氡描述符（LRD），并将其应用到IRMA数据集，其中包含14，410 X射线图像以及INRIA假日数据集与1，990图像。我们的研究结果表明，使用LRD与其全球版本的检索性能显着改善。我们还证明，LRD可以提供与LBP和HOG等成熟描述符相当的结果。
2017-10-11 cs.CV
Compressive Deconvolution in Medical Ultrasound Imaging
IRIT UMR CNRS 5505（法国国家科学研究中心IRIT联合研究单元（UMR 5505））；University of Toulouse（图卢兹大学）
压缩采样在超声成像中的兴趣最近已经被几个研究小组广泛评估。在不同的应用设置之后，已经示出了可以从少量的测量和/或使用减少数量的超声脉冲发射来重建RF数据。然而，RF图像空间分辨率、对比度和信噪比受到成像换能器的有限带宽和与US波传播相关的物理现象的影响。为了克服这些限制，已经提出了几种基于去卷积的图像处理技术来增强超声图像。在本文中，我们提出了一种新的框架，压缩反卷积，重建增强的RF图像压缩测量。利用直接采集模型的统一公式，将随机投影和2D卷积与空间不变的点扩散函数相结合，我们的方法的好处是联合数据量减少和图像质量提高。建议的优化方法，基于交替方向法的乘数，模拟和体内数据进行评估。
2015-12-04 cs.CV
UMedNeRF: Uncertainty-aware Single View Volumetric Rendering for Medical Neural Radiance Fields
Chengdu University of Information Technology（成都信息工程大学）；Purdue University（普渡大学）；University at Buffalo, State University of New York（纽约州立大学布法罗分校）；University at Albany, State University of New York（纽约州立大学奥尔巴尼分校）
针对CT成像辐射剂量高的问题，提出UMedNeRF网络，从单张2D X射线学习CT投影连续表示，结合深度信息与自适应损失权重提升成像质量，在公开数据集上验证了效果。
2024-03-01 cs.CV cs.LG eess.IV
Dual-Prior Guided Null-Space Learning with Mixture-of-Splines for Arbitrary Medical Slice Super-Resolution
Shanghai Key Laboratory of Multidimensional Information Processing（上海多维信息处理重点实验室）；East China Normal University（华东师范大学）
提出DP-NSL框架，通过测量一致性投影和样条混合模块，在零空间内学习几何连续先验，实现任意尺度医学切片超分辨率，保持测量一致性并优于现有方法。
2026-06-29 cs.CV eess.IV
Convolutional Neural Network to Restore Low-Dose Digital Breast Tomosynthesis Projections in a Variance Stabilization Domain
University of São Paulo（圣保罗大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；Fudan University（复旦大学）；Shanghai Center for Brain Science and Brain-inspired Technology（上海脑科学与类脑研究中心）
数字乳腺断层合成摄影（DBT）检查应使用尽可能低的辐射剂量，同时保持足够好的图像质量，以进行准确的医学诊断。在这项工作中，我们提出了一个卷积神经网络（CNN）来恢复低剂量（LD）DBT投影，以实现相当于标准全剂量（FD）采集的图像质量。所提出的网络架构受益于受传统基于模型（MB）恢复方法启发的层的先验知识，考虑到基于模型的深度学习方法，其中网络被训练为在方差稳定变换（VST）域中操作。为了准确地控制网络操作点，在恢复图像的噪声和模糊方面，我们提出了一个损失函数，该损失函数最小化偏差并匹配输入和输出之间的残余噪声。训练数据集由在标准FD下获得的临床数据和通过注入量子噪声获得的低剂量对组成。该网络进行了测试，使用真实的DBT预测与物理拟人乳房体模。与传统的数据驱动方法训练的网络相比，该网络在平均归一化平方误差（MSE），训练时间和噪声空间相关性方面取得了优异的成绩。所提出的方法可以扩展到需要LD采集的其他医学成像应用。
2022-03-22 cs.CV cs.LG eess.IV
Dual Network Architecture for Few-view CT -- Trained on ImageNet Data and Transferred for Medical Imaging
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Koning Corporation（Koning公司）
X射线计算机断层摄影（CT）从投影数据重建横截面图像。然而，与CT扫描相关的电离X射线辐射可能诱发癌症和遗传损伤。因此，减少辐射剂量已引起极大关注。少视图CT图像重建是降低辐射剂量的重要课题。近年来，数据驱动算法在解决少视角CT问题上显示出巨大的潜力。在本文中，我们开发了一个双网络架构（DNA）重建图像直接从正弦图。在所提出的DNA方法中，基于点的全连接层学习反向投影过程，所需的内存比现有技术少得多。该方法使用O（C*N*N_c）参数，其中N和N_c分别表示重建图像的维数和投影数。C是一个可调参数，可以设置为低至1。我们的实验结果表明，DNA产生了竞争力的表现超过其他国家的最先进的方法。有趣的是，当真实患者图像数量有限时，自然图像可以用于预训练DNA以避免过拟合。
2019-09-12 cs.CV cs.LG eess.IV
Novel-view X-ray Projection Synthesis through Geometry-Integrated Deep Learning
Friedrich-Alexander-Universität Erlangen-Nürnberg（弗里德里希-亚历山大-埃尔朗根-纽伦堡大学）
针对传统X射线多视角成像辐射暴露高、流程复杂的问题，提出DL-GIPS模型，通过单投影提取并操作几何与纹理特征合成新视角投影，肺部成像案例验证其有效性，有望革新立体与容积成像。
2025-04-16 cs.CV eess.IV
CheXmix: Unified Generative Pretraining for Vision Language Models in Medical Imaging
Stanford AIMI, Stanford University（斯坦福大学AIMI研究所，斯坦福大学）；Oracle Health AI（Oracle健康AI）；Department of Radiology, Stanford University（斯坦福大学放射科）
CheXmix通过统一早融合生成方法，在医学影像中实现更精确的联合表征学习，优于现有生成模型，在多个任务上表现突出。
2026-04-24 cs.AI cs.CV
Projection-to-Projection Translation for Hybrid X-ray and Magnetic Resonance Imaging
Friedrich-Alexander University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；University Hospital Erlangen（埃尔朗根大学医院）
混合X射线和磁共振（MR）成像在介入医学成像应用中有很大的潜力，这是由于MRI的各种对比度与基于X射线的模态的快速成像相结合。为了充分利用大量现有图像增强技术的潜力，来自两种模态的相应信息必须存在于相同的域中。对于图像引导的介入手术，X射线透视已被证明是选择的模态。在这种情况下，从另一个模态合成一个模态是一个不适定的问题，由于模糊的信号和重叠的结构在投影几何。为了应对这些挑战，我们提出了一种基于学习的MR到X射线投影转换的解决方案。我们提出了一个图像生成器网络，专注于高分辨率层中的高表示能力，以允许精确合成投影图像中的精细细节。此外，在损失计算的加权方案，有利于高频结构的建议，专注于投影成像中的重要细节和轮廓。所提出的扩展证明在生成具有自然外观的X射线投影图像中是有价值的。我们的方法实现了从地面真理的偏差只有$6$ %和结构相似性措施的$0.913\,\pm\,0.005$。特别地，高频加权有助于生成具有清晰外观的投影图像，并减少错误合成的精细细节。
2019-11-19 cs.CV eess.IV
DARE: A Deformable Adaptive Regularization Estimator for Learning-Based Medical Image Registration
Department of Mathematics, University of Innsbruck（数学系，因斯布鲁克大学）；Department of Radiology, Medical University of Innsbruck（放射学系，因斯布鲁克医学院）；Neuroimaging Research Core Facility, Medical University of Innsbruck（神经影像研究核心设施，因斯布鲁克医学院）
针对深度学习医学图像配准方法忽视正则化作用的问题，提出可动态调整弹性正则化、含防折叠机制的DARE框架，提升配准精度与解剖合理性。
2025-10-22 cs.CV cs.NA math.NA
Intuitive Axial Augmentation Using Polar-Sine-Based Piecewise Distortion for Medical Slice-Wise Segmentation
University of Shanghai for Science and Technology（上海理工大学）；Huashan Hospital, Fudan University（复旦大学附属华山医院）
针对医学图像分割，提出一种基于极坐标正弦分段畸变的轴向增强方法，模拟人体躺卧姿态，提升多种分割框架在两种模态下的准确性，且设计直观易用。
2025-03-26 cs.AI cs.CV
Using Synthetic Images to Augment Small Medical Image Datasets
Umeå University（于默奥大学）；Università Campus Bio-Medico di Roma（罗马生物医学自由大学）
本文提出一种基于StyleGAN2的新型条件变体生成高分辨率多模态合成图像，以增强小型医学图像数据集，但实验表明下游语义分割模型并未从中受益。
2025-03-02 cs.AI cs.CV cs.LG
Non-rigid Medical Image Registration using Physics-informed Neural Networks
University College London（伦敦大学学院）；University of Leeds（利兹大学）
软组织的生物力学建模提供了用于约束医学图像配准的非数据驱动的方法，使得估计的空间变换被认为是生物解剖学上合理的。这不仅已被采用在现实世界的临床应用，如磁共振到超声配准前列腺介入在这项工作中的利益，但也提供了一个解释的手段，了解器官运动和空间对应关系的建立。这项工作将最近提出的物理信息神经网络（PINN）实例化为3D线性弹性模型，用于对经直肠超声引导手术期间常见的前列腺运动进行建模。为了克服将PINN推广到不同主题的广泛认可的挑战，我们建议使用PointNet作为基本排列不变特征提取器，以及对齐点集并同时考虑PINN施加的生物力学的配准算法。所提出的方法已经在患者特异性和多患者方式中开发和验证。
2023-02-20 cs.CV eess.IV physics.med-ph
Self-supervised learning via inter-modal reconstruction and feature projection networks for label-efficient 3D-to-2D segmentation
Medical University of Vienna（维也纳医科大学）
提出一种结合3D编码器与2D解码器的新型CNN及自监督重建方法，在有限标注下实现3D到2D分割，Dice分数最高提升23%。
2023-07-13 cs.CV eess.IV
3D-StyleGAN: A Style-Based Generative Adversarial Network for Generative Modeling of Three-Dimensional Medical Images
Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；Massachusetts Institute of Technology（麻省理工学院）；Univ. Lille（里尔大学）；Inserm（法国国家健康与医学研究院）；CHU Lille（里尔大学医院）
通过生成对抗网络（GANs）对三维（3D）医学图像进行图像合成具有巨大的潜力，可以扩展到许多医学应用，例如图像增强和疾病进展建模。然而，当前用于3D医学图像合成的GAN技术需要显著改进以易于适应现实世界的医学问题。在本文中，我们扩展了最先进的StyleGAN 2模型，该模型本身适用于二维图像，以实现3D图像合成。除了图像合成之外，我们还通过从原始StyleGAN 2继承的风格向量研究了3D-StyleGAN的可控性和可解释性，这些风格向量非常适合医学应用：（i）潜在空间投影和重建看不见的真实图像，以及（ii）风格混合。我们使用~ 12，000个三维全脑MR T1图像证明了3D-StyleGAN的性能和可行性，尽管它可以应用于任何3D体积图像。此外，我们探索了不同的超参数配置，以研究更大网络的图像合成的潜在改进。代码和预先训练的网络可在线获得：https://github.com/sh4174/3DStyleGAN。
2021-07-20 cs.CV cs.LG eess.IV
Efficient brain age prediction from 3D MRI volumes using 2D projections
a Division of Medical Informatics, Department of Biomedical Engineering b Division of Statistics \& Machine Learning, Department of Computer；Information Science c Center for Social；Affective Neuroscience, Department of Biomedical；Clinical Sciences d Center for Medical Image Science；Visualization (CMIV) \ \" o ping University, Sweden
在高分辨率医学体积上使用3D CNN对计算要求非常高，特别是对于像英国生物银行这样的大型数据集，其目标是扫描10万名受试者。在这里，我们证明了在3D体积的一些2D投影（代表轴向、矢状和冠状切片的平均值和标准差）上使用2D CNN，在从脑体积预测年龄时，可以获得合理的测试准确度。使用我们的方法，使用单个GPU，具有20，324个主题的一个训练时期需要20 - 50秒，与小型3D CNN相比快了两个数量级。这些结果对于那些无法使用昂贵的GPU硬件进行3D CNN的研究人员来说非常重要。
2023-03-12 cs.CV cs.LG eess.IV
