Restore-RWKV: Efficient and Effective Medical Image Restoration with RWKV
Beihang University(北京航空航天大学);Tsinghua University(清华大学);Peking Union Medical College(北京协和医学院);ByteDance Inc.(字节跳动公司)
本文提出首个基于 RWKV 的医学图像复原模型 Restore-RWKV,通过 Re-WKV 与 Omni-Shift 适配二维图像,以线性复杂度和轻量参数实现多任务 SOTA。
2025-01-06 cs.CV eess.IV
Region Attention Transformer for Medical Image Restoration
Beihang University(北京航空航天大学);Tsinghua University(清华大学);National Cancer Center(国家癌症中心);Cancer Hospital, Chinese Academy(中国科学院肿瘤医院)
针对现有Transformer医学图像复原方法固定区域注意力存在无关干扰与内容碎片化的问题,提出基于SAM动态语义区域划分的区域注意力Transformer及焦点区域损失,在多项医学图像复原任务中取得良好效果。
2024-07-12 cs.CV eess.IV
Vision-Language Controlled Deep Unfolding for Joint Medical Image Restoration and Segmentation
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Harvard University(哈佛大学);SUN YAT-SEN UNIVERSITY(中山大学)
VL-DUN通过联合优化和频率感知Mamba机制,实现医学图像恢复与分割的协同学习,提升PSNR和Dice系数,展示联合学习在复杂临床任务中的优势。
2026-01-30 cs.CV eess.IV
Lightweight Medical Image Restoration via Integrating Reliable Lesion-Semantic Driven Prior
University of Electronic Science and Technology of China(电子科技大学);City University of Hong Kong(香港城市大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Shenzhen Institute For Advanced Study, University of Electronic Science and Technology of China(电子科技大学深圳研究院)
针对医学图像恢复中计算效率低和结果可靠性不足的问题,提出轻量级Transformer方法LRformer,利用蒙特卡洛估计生成可靠病灶语义先验,并通过频域交叉注意力降低近半计算复杂度,实验验证了其有效性和效率。
2025-07-08 cs.CV eess.IV
Learning Semantics-enriched Representation via Self-discovery, Self-classification, and Self-restoration
Arizona State University(亚利桑那州立大学);Mayo Clinic(梅奥诊所)
医学图像自然地与关于人体解剖结构的丰富语义相关联,反映在大量重复出现的解剖模式中,为促进深度语义表示学习和为不同的医学应用产生语义上更强大的模型提供了独特的潜力。但是,如何将医学图像中嵌入的这种强大而自由的语义用于自监督学习,在很大程度上仍有待探索。为此,我们训练深度模型,通过自我发现、自我分类和自我恢复医学图像下的解剖结构来学习语义丰富的视觉表示,从而产生语义丰富的、通用的、预训练的3D模型,称为语义起源。我们使用所有公开的预训练模型,通过自我监督或完全监督,在六个不同的目标任务上检查我们的语义起源,涵盖各种医疗模式中的分类和分割(即,CT、MRI和X射线)。我们广泛的实验表明,Semantic Genesis显著超过了所有3D同行,以及事实上的基于ImageNet的2D迁移学习。这种表现归功于我们新颖的自监督学习框架,鼓励深度模型从嵌入医学图像中的一致解剖结构产生的丰富解剖模式中学习引人注目的语义表示。代码和预先训练的语义起源可在https://github.com/JLiangLab/SemanticGenesis上获得。
2020-07-14 cs.CV eess.IV
Optimization-Based Image Restoration under Implementation Constraints in Optical Analog Circuits
针对光模拟电路难实现含动态变量除法、存在光放大器加性噪声的问题,设计了基于ADMM和PDS的全变分正则化图像复原电路结构,仿真验证其在噪声下仍有良好去噪效果。
2025-06-17 eess.IV
Plug-and-Play Diffusion Meets ADMM: Dual-Variable Coupling for Robust Medical Image Reconstruction
ShanghaiTech University(上海科技大学);Shanghai Jiao Tong University(上海交通大学)
提出双耦合即插即用扩散(DC-PnPDP)框架,通过引入经典对偶变量提供积分反馈并采用频谱均匀化(SH)处理结构伪影,解决了现有PnP求解器的稳态偏差和幻觉问题,在CT和MRI重建中实现了最先进的保真度和加速收敛。
2026-06-03 cs.CV cs.LG eess.IV
Unrolling Plug-and-Play Gradient Graph Laplacian Regularizer for Image Restoration
本文提出将基于梯度图拉普拉斯正则化器的ADMM优化算法展开为可解释前馈网络,以少量参数实现与通用深度学习网络相当的图像复原性能,并提升对协变量偏移的鲁棒性。
2025-03-12 eess.IV
RSR-NF: Neural Field Regularization by Static Restoration Priors for Dynamic Imaging
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
针对dCT中欠采样严重且缺乏动态真值数据的问题,提出RSR-NF,用神经场表示动态对象并通过RED引入学习型静态恢复先验,结合ADMM优化,显著提升重建质量。
2025-03-13 cs.CV cs.LG eess.IV
From Group Sparse Coding to Rank Minimization: A Novel Denoising Model for Low-level Image Restoration
College of Electronic and Optical Engineering & College of Microelectronics, Nanjing University of Posts and Telecommunications(南京邮电大学电子与光学工程学院、微电子学院);College of Telecommunications & Information Engineering, Nanjing University of Posts and Telecommunications(南京邮电大学通信与信息工程学院)
近年来,低秩矩阵恢复理论作为解决各种图像处理问题的一个重要进展而逐渐兴起。同时,分组稀疏编码(GSC)理论在图像恢复(IR)问题中取得了巨大的成功,因为每个分组都具有低秩特性。本文在GSC的视角下,提出了一种新的基于低秩最小化的IR任务去噪模型,并指出了该去噪模型与秩最小化问题之间的重要联系。为了克服凸核范数最小化(NNM)秩逼近所带来的偏差问题,采用了一种更为广义和灵活的秩松弛函数,即加权非凸松弛。在此基础上,结合常用的L_(1/2)和L_(2/3)阈值算子,提出了一种有效的迭代加权算法。最后,我们提出的去噪模型适用于IR问题通过交替方向的乘法器(ADMM)的战略。典型的红外图像压缩感知(CS),修复,去模糊和脉冲噪声去除实验表明,我们提出的方法可以实现显着更高的PSNR/FSIM值比许多相关的国家的最先进的方法。
2020-05-23 cs.LG eess.IV eess.SP
Deep Iteration Assisted by Multi-level Obey-pixel Network Discriminator (DIAMOND) for Medical Image Recovery
Southeast University(东南大学)
图像复原是一个典型的不适定问题,它包含了多种任务。在医学成像领域中,不适定图像中断诊断,甚至中断后续的图像处理。传统的迭代和最新的深度网络都引起了广泛的关注,并在重建令人满意的图像方面取得了显着的进步。本研究将它们的优点结合到一个统一的数学模型中,并提出了一种通用的图像恢复策略来处理这些问题。该战略包括两个模块。首先,构建了一种新的具有WGAN-GP训练的生成对抗网络(GAN)来恢复图像结构和细微细节。然后,深度迭代模块通过ADMM优化利用预训练的深度网络和压缩感知算法的组合来提升图像质量。(D)eep(I)迭代模块抑制图像伪影并进一步恢复微妙的图像细节,(A)由(M)多级(O)超像素特征提取网络(D)识别器支持以恢复一般结构。因此,该策略被命名为DIAMOND。
2021-02-08 cs.CV eess.IV
Image Restoration by Combined Order Regularization with Optimal Spatial Adaptation
全变分(TV)及其相关扩展由于其强大的性能和广泛的适用性而在图像恢复中受到欢迎。虽然经过二十年的广泛研究,原始公式仍然具有相关性,但现在正在探索其结合一阶和二阶导数的扩展以获得更好的性能,例如组合阶TV(COTV)和总广义变分(TGV)。作为对这种多阶凸公式的改进,我们提出了一种新的非凸正则化泛函,该泛函自适应地结合了Hessian-Schatten(HS)范数和一阶TV(TV 1)泛函,具有空间变化的权重。该自适应权重本身由另一个正则化项控制;总成本变为该自适应加权的HS-TV 1项、自适应权重的正则化项和数据拟合项之和。通过联合最小化w.r.t.所需的图像和自适应权重。我们构造了一个块坐标下降法,这个最小化的收敛性证明,它交替之间的最小化w.r.t.所需的图像和自适应权重。我们推导出精确的计算公式最小w.r.t.的自适应加权,并构造了一个ADMM算法的最小化w.r.t.到所需的图像。我们比较所提出的方法,使用图像恢复的例子,包括MRI重建和显微镜反卷积。
2021-06-01 eess.IV
Deconver: A Deconvolutional Network for Medical Image Segmentation
KU Leuven(鲁汶大学);Ghent University(根特大学);Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会);Stanford University(斯坦福大学);Humanitas University(乌尼塔斯大学)
本文提出Deconver网络,将传统反卷积技术作为U形架构核心组件,利用非负反卷积替代注意力机制,在四个数据集上达到SOTA性能并将计算成本降低90%。
2025-04-01 cs.CV eess.IV
Revisiting Rubik's Cube: Self-supervised Learning with Volume-wise Transformation for 3D Medical Image Segmentation
Hangzhou Dianzi University(杭州电子科技大学);Tencent Jarvis Lab(腾讯Jarvis实验室)
深度学习高度依赖于注释数据的数量。然而,3D体积医学数据的注释需要有经验的医生花费数小时甚至数天的时间进行研究。自监督学习是通过深入挖掘原始数据信息来摆脱对训练数据的强烈需求的潜在解决方案。在本文中,我们提出了一种新的自监督学习框架的体积医学图像。具体来说,我们提出了上下文恢复任务,即,Rubik's cube++,用于预训练3D神经网络。与现有的基于上下文恢复的方法不同,我们采用了一种基于体积的上下文置换变换,这有助于网络更好地利用器官的固有3D解剖信息。相比从头开始训练的策略,从魔方++预训练权重进行微调,可以在胰腺分割和脑组织分割等各种任务中实现更好的性能。实验结果表明,我们的自监督学习方法可以显着提高三维深度学习网络在体积医学数据集上的准确性,而无需使用额外的数据。
2020-07-17 cs.CV cs.LG eess.IV
Step-Calibrated Diffusion for Biomedical Optical Image Restoration
University of Michigan(密歇根大学);Western Michigan University(西密歇根大学);Invenio Imaging;LG AI Research(LG人工智能研究院)
提出基于非配对扩散的图像恢复方法RSCD,通过步长校准器动态确定反向扩散步数,在光学图像恢复的质量与感知指标上优于现有方法,获专家偏好并提升下游临床任务表现。
2024-12-17 cs.CV eess.IV
Diffusion Models with Implicit Guidance for Medical Anomaly Detection
Technical University of Munich(慕尼黑工业大学);Helmholtz AI(亥姆霍兹人工智能研究所);Klinikum Rechts der Isar(雷克右岸医院);Imperial College London(帝国理工学院)
本文提出THOR方法,通过时间异常图提供隐式引导,改进扩散模型的去噪过程,以更准确地检测和分割医学图像中的异常,在脑部MRI和腕部X射线中优于现有方法。
2024-03-13 cs.CV cs.LG eess.IV
Spatial-aware Attention Generative Adversarial Network for Semi-supervised Anomaly Detection in Medical Image
School of Computer Science, Wuhan University(武汉大学计算机学院);School of Computer Science, Central China Normal University(华中师范大学计算机学院);University of Louisville(路易斯维尔大学)
针对含正常与异常样本的未标注医学图像利用不足问题,提出SAGAN,通过位置编码、注意力及放宽循环一致性生成健康图像并计算差异分数,在三个数据集上优于现有方法。
2024-05-21 cs.CV eess.IV
vSHARP: variable Splitting Half-quadratic Admm algorithm for Reconstruction of inverse-Problems
the Netherlands Cancer Institute(荷兰癌症研究所);University of Amsterdam(阿姆斯特丹大学);Radboud University Medical Center(拉德堡德大学医学中心)
针对医学成像中的病态逆问题,提出基于深度学习的 vSHARP 算法,通过半二次变量分裂和 ADMM 展开优化,结合 U-Net 去噪与空洞卷积预测 Lagrange 乘子,在加速并行 MRI 重建任务中展现出优于现有方法的性能。
2024-07-30 cs.CV eess.IV physics.med-ph
Full-resolution MLPs Empower Medical Dense Prediction
School of Computer Science, The University of Sydney(悉尼大学计算机科学学院);Institute of Translational Medicine, Shanghai Jiao Tong University(上海交通大学转化医学研究院)
提出全分辨率层次化MLP框架,从全图像分辨率开始使用MLP,在医学图像恢复、配准和分割等密集预测任务上超越CNN和Transformer,实现最先进性能。
2026-06-24 cs.CV eess.IV
Rethinking Decoder Design: Improving Biomarker Segmentation Using Depth-to-Space Restoration and Residual Linear Attention
School of Computing, KAIST, Republic of Korea(韩国科学技术院计算机学院)
提出一种结合多尺度上下文捕获与新型解码器(深度到空间恢复和残差线性注意力)的医学图像分割架构,在四个数据集上超越现有SOTA方法,绝对性能提升2.76%-4.03%。
2025-06-23 cs.CV eess.IV
Guided Nonlocal Patch Regularization and Efficient Filtering-Based Inversion for Multiband Fusion
在多波段融合中,具有高空间和低光谱分辨率的图像与具有低空间但高光谱分辨率的图像组合,以产生具有高空间和光谱分辨率的单个多波段图像。这出现在遥感应用中,例如全色锐化~(MS+PAN)、高光谱锐化~(HS+PAN)和HS-MS融合~(HS+MS)。遥感图像是纹理化的,具有重复的结构。基于图像恢复的非局部块方法的启发,我们提出了一个凸正则化,(i)考虑到长距离的相关性,(ii)惩罚补丁变化,这是更有效的比像素变化捕捉纹理信息,和(iii)使用更高的空间分辨率的图像作为指导图像的权重计算。我们提出了一个有效的ADMM算法,用于优化正则化以及来自成像模型的标准最小二乘损失函数。我们的算法的新颖之处在于,通过将补丁变化表示为滤波操作,并通过明智地分割原始变量和引入潜变量,我们能够有效地使用基于FFT的卷积和软阈值来解决ADMM子问题。就重建质量而言,我们的方法优于最先进的变分和深度学习技术。
2022-10-09 eess.IV
Structure-consistent Restoration Network for Cataract Fundus Image Enhancement
Southern University of Science and Technology(南方科技大学);A*STAR(新加坡科技研究局);New York University(纽约大学);Chinese Academy of Sciences(中国科学院);Shenzhen People’s Hospital(深圳市人民医院)
眼底照相是临床诊断和监测眼部疾病的常规检查。然而,对于白内障患者,眼底图像总是遭受由混浊透镜引起的质量下降。这种退化阻碍了眼科医生或计算机辅助系统的可靠诊断。为了提高临床诊断的确定性,已经提出了恢复算法来提高眼底图像的质量。不幸的是,这些算法的部署仍然存在挑战,例如收集足够的训练数据和保存视网膜结构。在本文中,为了规避严格的部署要求,结构一致的恢复网络(SCR-Net)的白内障眼底图像开发的合成数据,共享一个相同的结构。首先设计了一个白内障仿真模型,收集由具有相同结构的白内障眼底图像组成的合成白内障集合。然后从SCS中提取高频分量(HFCs)来约束结构一致性,从而加强SCR-Net中的结构保持。实验证明了SCR-Net在与最先进方法的比较和后续临床应用中的有效性。该代码可在https://github.com/liamheng/ArcNet-Medical-Image-Enhancement上获得。
2022-06-09 cs.CV eess.IV
Versatile Cataract Fundus Image Restoration Model Utilizing Unpaired Cataract and High-quality Images
Shenzhen-Platform and Carrier (International Science and Technology Information Center) & Shenzhen Bay Lab(深圳平台与载体(国际科技信息中心)及深圳湾实验室);Capital Medical University(首都医科大学);Beijing Tongren Hospital(北京同仁医院)
本文提出新型白内障眼底图像修复方法Catintell,包含合成模型Catintell-Syn与修复模型Catintell-Res,利用非配对数据生成真实图像并提升真实眼底图像质量,在PSNR和SSIM指标上优于其他方法,具备跨数据集通用修复能力。
2024-11-19 cs.CV eess.IV
R2C-GAN: Restore-to-Classify Generative Adversarial Networks for Blind X-Ray Restoration and COVID-19 Classification
Tampere University(坦佩雷大学);Qatar University(卡塔尔大学);Hamad Medical Corporation Hospital(哈马德医疗公司医院)
提出R2C-GAN联合模型,通过图像到图像翻译实现盲X光恢复与COVID-19分类,在QaTa-COV19数据集上F1分数超90%,并获医生认可。
2025-01-26 cs.CV cs.LG eess.IV
Evaluating Procedures for Establishing Generative Adversarial Network-based Stochastic Image Models in Medical Imaging
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Food and Drug Administration(美国食品药品监督管理局)
现代生成模型,如生成对抗网络(GANs),在医学成像的几个领域,如无条件医学图像合成,图像恢复,重建和翻译,以及成像系统的优化,有着巨大的前景。然而,使用GANs建立随机图像模型(SIM)的过程仍然是通用的,并且没有解决与医学成像相关的特定问题。在这项工作中,采用模拟血管造影图像中逼真血管的规范SIM来评估使用GANs建立SIM的过程。基于GAN的SIM与标准SIM进行比较,基于其再现对所考虑的特定医学现实SIM有意义的那些统计数据的能力。结果表明,使用经典度量和医学相关度量评估GANs可能会导致关于训练的GANs的保真度的不同结论。这项工作强调了开发用于评估GANs的客观指标的必要性。
2022-04-07 cs.CV eess.IV physics.med-ph
Image Restoration: A Comparative Analysis of Image De noising Using Different Spatial Filtering Techniques
本文比较了不同空间域滤波技术在图像去噪中的效果,通过引入噪声后应用多种滤波器,并使用PSNR和RMSE评估,发现不同滤波器对不同噪声模型的有效性存在差异。
2024-01-03 cs.IR eess.IV
Assessing the ability of generative adversarial networks to learn canonical medical image statistics
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Center for Devices and Radiological Health, Food and Drug Administration(美国食品药品监督管理局设备与放射健康中心)
近年来,生成对抗网络(GANs)在医学成像领域的潜在应用中获得了巨大的普及,例如医学图像合成,恢复,重建,翻译以及客观的图像质量评估。尽管在生成高分辨率、感知逼真的图像方面取得了令人印象深刻的进展,但目前尚不清楚现代GANs是否可靠地学习对下游医学成像应用有意义的统计数据。在这项工作中,一个国家的最先进的GAN学习统计的规范随机图像模型(SIM卡)的图像质量的客观评估有关的能力进行了研究。结果表明,尽管所采用的GAN成功地学习了所考虑的特定医疗SIM的几个基本的一阶和二阶统计数据,并生成了具有高感知质量的图像,但它未能正确地学习与这些SIM相关的几个逐图像统计数据,突出了迫切需要在图像质量的客观测量方面评估医疗图像GANs。
2022-04-27 cs.CV eess.IV physics.med-ph
Deep Learning CT Image Restoration using System Blur and Noise Models
Johns Hopkins University(约翰斯·霍普金斯大学);University of Pennsylvania(宾夕法尼亚大学)
提出一种结合系统模糊与噪声模型和深度学习的CT图像恢复方法,通过辅助输入增强CNN性能,优于无辅助输入的基线模型。
2024-07-20 cs.CV eess.IV physics.comp-ph
Implicit field learning for unsupervised anomaly detection in medical images
City, University of London(伦敦大学城市学院);Imperial College(帝国理工学院)
提出了一种基于隐场图像表示的无监督医学图像分布外检测方法。在我们的方法中,自动解码器前馈神经网络以组织类型代理的空间坐标和概率之间的映射形式学习健康图像的分布。在推理时,学习的分布用于从给定的测试图像中检索恢复,即与输入图像最大一致但属于健康分布的图像。异常使用我们的模型预测的恢复图像的体素概率进行本地化。我们测试了我们的方法在脑MR图像上的神经胶质瘤的无监督定位任务,并将其与其他几种基于VAE的异常检测方法进行了比较。结果表明,所提出的技术大大优于他们(平均DICE 0.640与0.518的最佳性能基于VAE的替代),同时也需要相当少的计算时间。
2021-06-09 cs.CV cs.LG eess.IV
Investigating the Feasibility of Patch-based Inference for Generalized Diffusion Priors in Inverse Problems for Medical Images
Siemens Healthineers(西门子医疗);Siemens Industry Software(西门子工业软件)
本文探讨了在医学图像MRI反问题中,使用图像块进行扩散先验训练与推断的可行性,分析了其性能、内存效率及伪影避免方法,并验证了整图训练对分块评估的适应性。
2025-04-26 cs.CV cs.LG eess.IV
Retinal Image Restoration using Transformer and Cycle-Consistent Generative Adversarial Network
Bahcesehir University(巴赫切谢希尔大学);American University of Malta(马耳他美国大学)
医学影像学在检测和治疗各种疾病中发挥着重要作用。然而,这些图像往往质量太差,导致效率降低,额外费用,甚至错误的诊断。因此,我们提出了一种使用Vision Transformer和卷积神经网络的视网膜图像增强方法。它构建了一个依赖于未配对数据集的周期一致的生成对抗网络。它由两个生成器组成,它们将图像从一个域转换到另一个域(例如,低质量到高质量,反之亦然),用两个鉴别器玩对抗游戏。生成器为鉴别器产生不可区分的图像,鉴别器从生成的图像中预测原始图像。生成器是Vision Transformer(ViT)编码器和卷积神经网络(CNN)解码器的组合。鉴别器包括传统的CNN编码器。使用诸如峰值信噪比(PSNR)、结构相似性指数度量(SSIM)等评价指标对所得到的改进图像进行了定量测试,并且定性地,即,血管分割所提出的方法成功地减少了模糊,噪声,照明干扰和颜色失真的不利影响,同时显着保留结构和颜色信息。实验结果表明了该方法的优越性。我们的测试PSNR为31.138 dB的第一和27.798 dB的第二个数据集。测试SSIM分别为0.919和0.904。
2023-03-03 cs.CV eess.IV
Implicit Image-to-Image Schrodinger Bridge for Image Restoration
Tsinghua University(清华大学);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院)
针对扩散模型图像复原推理慢的问题,提出隐式图像到图像薛定谔桥I$^3$SB,通过非马尔可夫框架复用受损图像信息,可直接复用预训练I$^2$SB,在多种损坏和模态下以更少步骤实现同等感知质量且保真度更优。
2025-03-22 cs.CV cs.LG eess.IV
Regularized Compression of MRI Data: Modular Optimization of Joint Reconstruction and Coding
University of Cambridge(剑桥大学);Rice University(莱斯大学)
磁共振成像(MRI)处理链从关键的采集阶段开始,为医学诊断图像重建提供原始数据。这个流程通常包括一个近乎无损的数据压缩阶段,它能够以二进制格式进行数字存储和/或传输。在这项工作中,我们提出了一个框架,用于联合优化的MRI重建和有损压缩,产生压缩表示的医学图像,实现质量和比特率之间的改进的权衡。此外,我们证明,有损压缩甚至可以提高重建质量相比,无损压缩的基础上设置。我们的方法有一个模块化的优化结构,实现使用交替方向乘法器(ADMM)技术和最先进的图像压缩技术(BPG)作为一个黑盒模块迭代应用。这建立了与所选择的有损压缩标准兼容的医疗数据压缩方法。所提出的算法的一个主要的新颖性是在总变差正则化添加到模块化压缩过程中,导致更高质量的解压缩图像,而无需任何额外的处理在/后的解压缩阶段。我们的实验表明,我们的正则化为基础的联合MRI重建和压缩的方法往往实现显着的PSNR增益4至9 dB之间的高比特率相比,非正则化的解决方案的联合任务。与基于正则化的解决方案相比,我们的优化方法在高比特率下提供了0.5至1 dB的PSNR增益,这是医学图像压缩的兴趣范围。
2020-11-09 cs.CV eess.IV
CADD: Context aware disease deviations via restoration of brain images using normative conditional diffusion models
Athinoula A. Martinos Center for Biomedical Imaging, Massachusetts General Hospital and Harvard Medical School(阿提诺拉A.马丁纳生物医学成像中心,麻省总医院和哈佛医学院);Hawkes Institute, University College London(霍克斯研究所,伦敦大学学院);Mecha Health(Mecha健康);Computer Science & Artificial Intelligence Lab, Massachusetts Institute of Technology(计算机科学与人工智能实验室,麻省理工学院);Department of Radiology, the University of Tokyo(东京大学放射科);Medical Engineering, Chiba University(千叶大学医学工程);Department of Computational Diagnostic Radiology and Preventive Medicine, the University of Tokyo Hospital(东京大学医院计算诊断放射学与预防医学科)
本文提出CADD,首个用于3D脑图像规范建模的条件扩散模型,通过新颖的推理修复策略平衡异常去除与个体特征保留,在异质性临床数据集上实现神经异常检测的最先进性能。
2025-08-05 cs.CV eess.IV
CSWin-UNet: Transformer UNet with Cross-Shaped Windows for Medical Image Segmentation
Qufu Normal University(曲阜师范大学);Harbin Institute of Technology Shenzhen(哈尔滨工业大学(深圳))
本文提出CSWin-UNet,一种融合交叉形窗口自注意力与UNet的医学图像分割模型,通过高效自注意力和内容感知解码器,在低复杂度下实现高精度分割。
2024-09-19 cs.CV eess.IV
A Review on Deep Learning in Medical Image Reconstruction
Peking University(北京大学)
医学影像学在现代临床中指导疾病的诊断和治疗至关重要。医学图像重建是医学影像学中最基本、最重要的组成部分之一,其主要目标是以最小的成本和风险获得高质量的医学图像,以供临床使用。数学模型在医学图像重建中,或者更一般地说,在计算机视觉中的图像恢复中,一直扮演着重要的角色。早期的数学模型大多是根据人类的知识或假设设计的图像重建,我们将这些模型称为手工模型。后来,手工制作加上数据驱动的建模开始出现,这仍然主要依赖于人类的设计,而部分模型是从观察到的数据中学习的。最近,随着更多的数据和计算资源可用,基于深度学习的模型(或深度模型)将数据驱动建模推向了极端,其中模型主要基于最少人类设计的学习。手工建模和数据驱动建模都有各自的优点和缺点。医学成像的主要研究趋势之一是将手工建模与深度建模相结合,以便我们可以从两种方法中受益。本文的主要部分是从展开动力学的角度对最近的一些深度建模工作进行概念性的回顾。这一观点激发了新的神经网络架构的设计灵感来自优化算法和数值微分方程。鉴于深度建模的流行,该领域仍然存在巨大的挑战,以及我们将在本文结尾讨论的机会。
2022-10-01 cs.CV cs.LG eess.IV
Robust Split Federated Learning for U-shaped Medical Image Networks
Sichuan University(四川大学);The University of British Columbia(不列颠哥伦比亚大学)
U形网络广泛应用于各种医学图像任务,如分割,恢复和重建,但大多数网络通常依赖于集中式学习,因此忽略了隐私问题。为了解决隐私问题,联邦学习(FL)和分裂学习(SL)引起了越来越多的关注。然而,FL和SL很难同时平衡局部计算成本、模型隐私和并行训练。为了实现这一目标,本文提出了鲁棒分裂联邦学习(RoS-FL)的U形医学图像网络,这是一种新的混合学习范式FL和SL。以往的研究不能同时保护数据隐私,包括输入、模型参数、标签和输出。为了有效地处理所有这些问题,我们设计了一种新的U形医学图像网络拆分方法,将网络拆分为由不同方托管的三个部分。此外,分布式学习方法通常遭受由数据异构性引起的局部和全局模型之间的漂移。基于这一考虑,我们提出了一种动态权重校正策略(\textbf{DWCS})来稳定训练过程并避免模型漂移。具体而言,权重校正损失被设计为量化来自两个相邻通信回合的模型之间的漂移。通过最小化该损失,获得校正模型。然后将修正模型和最终轮模型的加权和作为结果。所提出的RoS-FL的有效性得到了不同任务的广泛实验结果的支持。相关代码将在https://github.com/Zi-YuanYang/RoS-FL上发布。
2022-12-13 cs.CV cs.DC eess.IV
Echocardiography to Cardiac MRI View Transformation for Real-Time Blind Restoration
Tampere University(坦佩雷大学);Qatar University(卡塔尔大学);VTT Technical Research Centre of Finland(芬兰国家技术研究中心);Hamad Medical Corporation Hospital(哈马德医疗公司医院);Hayatabad Medical Complex(海亚特阿巴德医疗中心)
针对超声心动图伪影多、心脏MRI成本高的问题,本研究构建Echo2MRI配对数据集,训练专用Cycle-GAN实现超声心动图到心脏MRI视图的转换,合成视图质量高且获医生认可。
2024-12-09 cs.CV cs.LG eess.IV
Cross-modal Medical Image Generation Based on Pyramid Convolutional Attention Network
针对阿尔茨海默病诊断中PET图像常缺失的问题,提出基于金字塔卷积注意力网络的跨模态生成方法,利用sMRI生成高质量PET图像,在ADNI数据库上性能优于现有方法,助力AD诊断。
2024-11-28 cs.CE eess.IV
Blind Inverse Gamma Correction with Maximized Differential Entropy
National University of Singapore(新加坡国立大学);Wuhan Cobot Technology Co., Ltd.(武汉科博特科技有限公司);Huazhong University of Science and Technology(华中科技大学)
在图像采集、处理和/或显示过程中,不希望的非线性伽马失真经常发生在各种各样的图像中。并且伽马失真经常随着捕获设置改变和亮度变化而改变。盲反伽马校正是一种自动确定图像恢复伽马值的方法,对消除图像失真具有重要意义。针对盲反伽马校正问题,提出了一种直接从最大化微分熵模型出发的自适应伽马变换方法。考虑到人眼具有非线性感知敏感性,本文还提出了一种改进的AGT-ME-VISUAL算法,以获得更好的视觉效果。在可变数据集上进行测试,AGT-ME可以获得大范围伽马失真(0.1至3.0)的准确估计,优于最先进的方法。此外,建议AGT-ME和AGT-ME-VISUAL应用于三个典型的应用,包括自动伽玛调整,自然/医学图像对比度增强,条纹投影轮廓术图像恢复。此外,AGT-ME/ AGT-ME-VISUAL是通用的,可以无缝地扩展到掩模图像,多通道(彩色或光谱)图像,或多帧视频,并且没有任意的调谐参数。此外,还提供了相应的Python代码(https://github.com/yongleex/AGT-ME)供感兴趣的用户使用。
2020-07-05 cs.CV eess.IV
A Mutual Inclusion Mechanism for Precise Boundary Segmentation in Medical Images
School of Information Engineering(信息工程学院);Hangzhou Medical College(杭州医学院);School of Information Science(信息科学学院);Japan Advanced Institute of Science and Technology(日本先进科学技术学院)
针对现有医学图像分割方法全局与局部特征融合不足、边界细节关注不够的问题,提出含MIPC模块与GL-MIPC-Residue全局残差的MIPC-Net,在三个公开数据集上性能超越现有最优方法,边界分割精度显著提升。
2024-04-12 cs.CV eess.IV
Nuclear Diffusion Models for Low-Rank Background Suppression in Videos
Dept. of Electrical Engineering, Eindhoven University of Technology, the Netherlands(埃因霍温理工大学电气工程系,荷兰);Philips Research North America, Cambridge MA, USA(飞利浦北美研究部,马萨诸塞州剑桥)
本文提出核扩散模型,结合低秩时间建模与扩散后验采样,提升视频去雾性能,尤其在对比度增强和信号保持方面优于传统RPCA。
2026-04-24 cs.CV cs.LG eess.IV
Non-Local Graph-Based Prediction For Reversible Data Hiding In Images
Beijing Jiaotong University(北京交通大学);National Institute of Informatics(国立信息学研究所)
可逆数据隐藏(RDH)是理想的应用中,隐藏的信息和覆盖介质都需要恢复没有损失。在许多RDH方法中,预测误差扩展(PEE)包含两个步骤:i)预测目标像素值,以及ii)根据预测误差的值嵌入。通常,较高的预测性能导致较大的嵌入容量和/或较低的信号失真。利用图信号处理(GSP)的最新进展,我们提出像素预测作为一个图形信号恢复问题,其中适当的边缘权重的基础图形计算使用一个类似的补丁搜索在一个半局部邻域。具体来说,对于每个候选补丁,我们首先检查其结构张量的特征值,以估计其局部光滑度。如果足够光滑,我们提出了一个最大后验概率(MAP)的问题,使用二次拉普拉斯正则化或图形全变差(GTV)项作为信号先验。虽然使用第一个先验的MAP问题有一个封闭的形式的解决方案,我们设计了一个有效的算法,第二个先验使用交替方向的乘法器(ADMM)与嵌套的近端梯度下降。实验结果表明,与更好的质量基于GSP的预测,在低容量的嵌入图像的视觉质量明显超过国家的最先进的方法。
2018-02-20 cs.CV eess.IV
Generalized Hessian-Schatten Norm Regularization for Image Reconstruction
正则化在可靠地利用成像系统进行科学和医学研究方面起着至关重要的作用。它有助于稳定计算消除由成像过程的物理限制引起的任何退化的过程。在过去的几十年中,全变分正则化,特别是二阶全变分(TV-2)正则化在文献中占据主导地位。两种形式的推广,即Hessian-Schatten范数(HSN)正则化,和总广义变分(TGV)正则化,最近被提出,并已成为成像逆问题的正则化领域的重要发展,由于其性能。在这里,我们开发了一种新的正则化图像恢复,结合了这些众所周知的形式的优势。我们通过限制HSN对偶形式中的最大化空间来实现这一点,就像TGV从TV-2中获得一样。我们命名为广义Hessian-Schatten范数正则化(GHSN)的新的正则化,我们开发了一种新的优化方法的图像重建使用的新形式的正则化的基础上著名的框架称为交替方向的乘法器(ADMM)。我们证明了GHSN的强度使用一些重建的例子。
2021-05-25 eess.IV
An approach to image denoising using manifold approximation without clean images
Indian Institute of Technology, Bombay(孟买印度理工学院)
图像复原一直是众多领域广泛研究的课题。随着深度学习的出现,许多当前的算法被更灵活和更鲁棒的算法所取代。深度网络在盲去噪、图像增强、去模糊、超分辨率、修复等各种任务中表现出令人印象深刻的性能。大多数基于学习的算法在训练过程中使用大量干净的数据。然而,在医学图像处理中的某些应用中,人们可能无法访问大量的干净数据。在本文中,我们提出了一种去噪方法,该方法试图通过将噪声数据推到干净的数据流形附近来学习去噪过程,在训练过程中只使用噪声图像。此外,我们使用感知损失项和迭代细化步骤来进一步细化干净的图像,而不会丢失重要的特征。
2019-04-28 cs.CV eess.IV
Dual Ascent Diffusion for Inverse Problems
Stanford University(斯坦福大学)
本文提出双上升优化框架解决逆问题,提升图像质量与鲁棒性,改进扩散模型先验的MAP求解方法。
2026-05-13 cs.AI cs.CV cs.LG
4KAgent: Agentic Any Image to 4K Super-Resolution
Texas A&M University(德克萨斯大学);Stanford University(斯坦福大学);Snap Inc.(Snap公司);CU Boulder(科罗拉多大学博尔德分校);UT Austin(得克萨斯大学奥斯汀分校);California Institute of Technology(加州理工学院);Topaz Labs(Topaz实验室);UC Merced(加州大学默塞德分校)
4KAgent是一个智能体超分辨率系统,通过分析、感知与修复三模块,将任意低分辨率图像提升至4K,在26个基准上达到最先进水平,并集成人脸修复。
2025-07-09 cs.CV eess.IV
Graph Image Prior for Unsupervised Dynamic Cardiac Cine MRI Reconstruction
提出图图像先验(GIP)用于无监督动态心脏MRI重建,通过两阶段网络独立恢复帧结构并利用图卷积融合时空特征,结合ADMM优化,显著提升了重建性能与泛化能力。
2024-09-24 cs.CV eess.IV