CIV-DG: Conditional Instrumental Variables for Domain Generalization in Medical Imaging
School of Electrical and Information Engineering, Tianjin University（天津大学电气与信息工程学院）
本文提出CIV-DG方法，通过条件工具变量分离病理语义与扫描器伪影，解决医疗AI中跨站点泛化受选择偏差影响的问题，实验表明其在Camelyon17和胸部X光数据集上优于现有方法。
2026-03-26 cs.CV cs.MM
A Novel Unified Conditional Score-based Generative Framework for Multi-modal Medical Image Completion
ShanghaiTech University（上海科技大学）；Shanghai United Imaging Intelligence Co., Ltd.（上海联影智能科技有限公司）；Northwestern Polytechnical University（西北工业大学）
多模态医学图像补全技术已被广泛应用于缓解大量多模态诊断任务中的模态缺失问题。然而，对于大多数现有的综合方法，他们的推理丢失的模态可以崩溃成一个确定性的映射，从可用的，忽略了固有的跨模态关系的不确定性。在这里，我们提出了统一的多模态条件评分生成模型（UMM-CSGM），以利用评分生成模型（SGM）的建模和随机采样的目标概率分布，并进一步扩展SGM跨模态条件合成在一个统一的框架中的各种丢失的模态配置。具体来说，UMM-CSGM采用了一种新的多输入多输出条件得分网络（mm-CSN），通过条件扩散和逆生成在完整的模态空间中学习一组全面的跨模态条件分布。通过这种方式，生成过程可以由所有可用信息准确地调节，并且可以在单个网络中拟合缺失模态的所有可能配置。在BrTS 19数据集上的实验表明，UMM-CSGM可以更可靠地合成肿瘤诱导病变中的不均匀增强和不规则区域，用于任何缺失的模态。
2022-07-07 cs.CV eess.IV
Efficient Large-Deformation Medical Image Registration via Recurrent Dynamic Correlation
Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University（脑启发智能科学与技术研究院，复旦大学）；Department of Radiology, Leiden University Medical Center（放射科，莱顿大学医学中心）
提出基于循环动态相关的配准框架，通过动态重定位匹配区域高效处理大形变，在脑MRI和腹部CT上以极低计算成本达到最先进精度。
2025-10-25 cs.AI cs.CV
R2U++: A Multiscale Recurrent Residual U-Net with Dense Skip Connections for Medical Image Segmentation
COMSATS University Islamabad（伊斯兰堡COMSATS大学）；Umeå University（于默奥大学）
U-Net是一种在医学图像分割领域被广泛采用的神经网络。尽管它很快被医学成像界所接受，但它的性能在复杂的数据集上受到影响。问题可以归因于其简单的特征提取模块：编码器/解码器，以及编码器和解码器之间的语义鸿沟。已经提出了U-Net的变体（如R2 U-Net），通过使网络更深来解决简单特征提取块的问题，但它不处理语义间隙问题。另一方面，另一个变体UNET++通过引入密集的跳过连接来处理语义间隙问题，但具有简单的特征提取块。为了克服这些问题，我们提出了一种新的基于U-Net的医学图像分割架构R2 U ++。在所提出的架构中，vanilla U-Net的适应性变化是：（1）普通卷积骨干被更深的递归残差卷积块取代。这些块增加的视野有助于提取分割的关键特征，这通过网络整体性能的改善得到了证明。(2)密集的跳过路径减少了编码器和解码器之间的语义差距。这些途径积累来自多个尺度的特征，并相应地应用串联。修改后的架构嵌入了多深度模型，并且从不同深度获取的输出的集合提高了图像中以各种尺度出现的前景对象的性能。R2 U ++的性能通过四种不同的医学成像方式进行评估：电子显微镜（EM）、X射线、眼底和计算机断层扫描（CT）。在不同的医学成像分割数据集上，与UNET++相比，IoU评分的平均增益为1.5 ± 0.37%，骰子评分的平均增益为0.9 ± 0.33%，而与R2 U-Net相比，IoU评分的平均增益…
2022-06-03 cs.CV cs.LG eess.IV
Medical Knowledge Intervention Prompt Tuning for Medical Image Classification
The Hong Kong Polytechnic University（香港理工大学）
针对现有提示调优方法难以区分医学概念、遗漏疾病特征的问题，本文提出CILMP方法，借助大语言模型的医学知识生成实例自适应提示，在多类医学图像分类任务上性能超越现有最优提示调优方法。
2025-11-16 cs.CV
Tackling Hallucination from Conditional Models for Medical Image Reconstruction with DynamicDPS
Hawkes Institute, University College London, UK Department of Medical Physics；Biomedical Engineering, University College London, UK Department of Computer Science, University College London, UK The University of Utah, USA, Centre for AI, DS\&AI, AstraZeneca, UK
本文提出 DynamicDPS 框架，融合条件与无条件扩散模型并结合数据一致性、自适应起始点和 Wolfe 线搜索，在低场 MRI 增强中显著减少幻觉并提升组织体积估计精度。
2025-07-24 cs.AI cs.CV eess.IV
DeltaNet:Conditional Medical Report Generation for COVID-19 Diagnosis
Tencent Jarvis Lab（腾讯Jarvis实验室）；Institute of Computing Technology Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；The First Affiliated Hospital of Anhui Medical University（安徽医科大学第一附属医院）；University of Science and Technology of China（中国科学技术大学）
快速筛查和诊断对于COVID-19患者的治疗至关重要。除了金标准RT-PCR，X射线和CT等放射成像也是患者筛查和随访的重要手段。然而，由于患者数量过多，撰写报告成为放射科医生的沉重负担。为了减少放射科医生的工作量，我们提出了DeltaNet自动生成医疗报告。与使用编码器和解码器生成报告的典型图像字幕方法不同，DeltaNet应用条件生成过程。具体地，给定医学图像，DeltaNet采用三个步骤来生成报告：1）首先检索相关的医学报告，即，来自相同或相似患者的历史报告; 2）然后比较检索到的图像和当前图像以找到差异; 3）最后生成新报告以适应基于条件报告识别的差异。我们在COVID-19数据集上评估了DeltaNet，其中DeltaNet优于最先进的方法。除了COVID-19，拟议的DeltaNet也可以应用于其他疾病。我们验证了其泛化能力的公共IU-X射线和MIMIC-CXR数据集的胸部相关疾病。代码可在\url{https://github.com/LX-doctorAI1/DeltaNet}上获得。
2022-11-12 cs.CL cs.CV cs.LG
The Ladder Algorithm: Finding Repetitive Structures in Medical Images by Induction
University of Oxford（牛津大学）
在本文中，我们介绍了阶梯算法，一种新的递归算法，以检测重复结构的自然图像中的高精度使用很少的训练数据。然后，我们证明了从整个脊柱磁共振扫描中提取椎骨的任务，只有腰椎MR扫描的训练数据的算法。结果表明，它实现了99.8%的准确率和召回率的高性能，超过了目前的最先进的方法，在T1和T2加权扫描腰椎检测。它还可以在不重新训练的情况下推广到整个脊柱图像，准确率下降最小，达到99.4%的检测率。
2020-04-08 cs.CV
Steerable Conditional Diffusion for Out-of-Distribution Adaptation in Medical Image Reconstruction
University College London（伦敦大学学院）；Atinary Technologies（Atinary科技公司）；University of Bremen（不来梅大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）；Ajou University School of Medicine（亚洲大学医学院）；The Chinese University of Hong Kong（香港中文大学）
针对扩散模型在分布外医学图像重建中产生幻觉特征的问题，提出 Steerable Conditional Diffusion 框架，仅利用可用测量信息在重建时同步适应模型，显著提升多模态分布外性能。
2025-01-28 cs.CV cs.LG
Conditional Generation of Medical Images via Disentangled Adversarial Inference
Imagia（Imagia公司）；Montréal Institute for Learning Algorithms (MILA)（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）；University of Victoria（维多利亚大学）；West China Hospital of Sichuan University（四川大学华西医院）
合成医学图像生成具有通过许多应用改善医疗保健的巨大潜力，从用于训练机器学习系统的数据增强到保护患者隐私。条件对抗生成网络（cGAN）使用条件因子来生成图像，近年来取得了巨大的成功。直观地说，图像中的信息可以分为两部分：1）通过条件向量呈现的内容和2）风格，即条件向量中缺失的未发现的信息。使用cGAN进行医学图像生成的当前实践仅使用单个变量进行图像生成（即，内容），并且因此不提供很大的灵活性，也不提供对所生成的图像的控制。在这项工作中，我们提出了一种方法来学习图像本身，解开表示的风格和内容，并使用这些信息施加控制的生成过程。在这个框架中，风格是以完全无监督的方式学习的，而内容是通过监督学习（使用条件向量）和无监督学习（使用推理机制）来学习的。我们经历了两个新颖的正则化步骤，以确保内容风格的解开。首先，我们通过引入梯度反向层（GRL）的新应用，最大限度地减少内容和样式之间的共享信息;其次，我们引入了一种自监督正则化方法，以进一步分离内容和样式变量中的信息。我们表明，在一般情况下，两个潜变量模型实现更好的性能，并提供更多的控制所生成的图像。我们还表明，我们提出的模型（DRAI）实现了最好的解纠缠分数，并具有最佳的整体性能。
2022-05-03 cs.CV eess.IV
Multicentric thrombus segmentation using an attention-based recurrent network with gradual modality dropout
本文提出基于注意力的循环网络与渐进模态丢弃方法，用于多中心3D脑扫描中微小目标的检测与分割，提升跨模态和多中心数据的鲁棒性。
2026-04-01 cs.CV math.OC
GeMix: Conditional GAN-Based Mixup for Improved Medical Image Augmentation
IRIT, UMR5505 CNRS（IRIT，UMR5505 CNRS）；Department of Computer Science（计算机科学系）；University of Bucharest（布加勒斯大学）
GeMix利用条件GAN生成软标签引导的混合图像，替代像素插值，在COVIDx-CT-3上提升各骨干网络的宏F1并降低假阴性率，作为即插即用的增强方法。
2025-09-25 cs.AI cs.CV cs.LG
Conditional Deep Convolutional Neural Networks for Improving the Automated Screening of Histopathological Images
University of Pavia（帕维亚大学）
组织病理切片中乳腺癌转移灶的语义分割是一项具有挑战性的任务。事实上，组织病理学图像数据特征的显著变化（域偏移）使得深度学习难以推广到看不见的数据。我们的目标是通过使用条件全卷积网络（co-FCN）来解决这一挑战，该网络的输出可以在运行时进行调节，并且当使用一组适当选择的参考幻灯片来调节输出时，可以提高其性能。我们调整了我们的任务，co-FCN最初应用于体积医学图像中的器官分割，我们在CAMELYON 17数据集中五个医疗中心中的三个的全载玻片图像（WSIs）上训练了它。我们在其余中心的WSI上测试了网络的性能。我们还开发了一种自动选择策略，用于选择条件子集，基于无监督聚类过程应用于一组特定于目标的参考补丁，然后选择策略，依赖于与输入补丁的聚类相似性。我们将我们提出的方法与在相同数据集上训练的U-Net进行了基准测试，没有条件反射。条件网络显示出更好的性能，在WSI与孤立的肿瘤细胞和微转移的医疗中心作为测试的U-网络。我们的贡献是一个架构，可以应用到组织病理学领域和自动化程序的选择条件数据。
2021-05-29 cs.CV eess.IV
Deep Neural Networks for Surface Segmentation Meet Conditional Random Fields
The University of Iowa（爱荷华大学）；The University of Science and Technology of China（中国科学技术大学）
自动表面分割在许多医学图像分析应用中是重要且具有挑战性的。最近的基于深度学习的方法已经被开发用于各种对象分割任务。它们中的大多数是基于分类的方法（例如，U-net），其预测每个体素成为目标对象或背景的概率。这些方法的一个问题是分割后的物体缺乏拓扑保证，通常需要后处理来推断物体的边界曲面。本文提出了一种基于三维卷积神经网络（CNN）和条件随机场（CRF）的新模型来解决端到端训练的表面分割问题。据我们所知，这是第一个研究应用3-D神经网络与CRF模型直接表面分割。在NCI-ISBI 2013 MR前列腺数据集和Medical Segmentation Decathlon Spleen数据集上进行的实验证明了有希望的分割结果。
2019-09-23 cs.CV cs.LG
Learning With Context Feedback Loop for Robust Medical Image Segmentation
University of Burgundy（勃艮第大学）；Centre Georges François Leclerc (CGFL)（乔治·弗朗索瓦·勒克莱尔中心）；Institute of Curie（居里研究所）；University Hospital of Dijon（第戎大学医院）
深度学习已成功用于医学图像分割。它采用卷积神经网络（CNN）从定义的逐像素目标函数中学习独特的图像特征。然而，这种方法可能导致较少的输出像素相互依赖性，从而产生不完整和不切实际的分割结果。在本文中，我们提出了一种用于稳健医学图像分割的全自动深度学习方法，通过使用两个系统将分割问题制定为循环框架。第一个是编码器-解码器CNN的前向系统，其预测来自输入图像的分割结果。然后，前向系统的预测概率输出由基于全卷积网络（FCN）的上下文反馈系统编码。然后将FCN的编码特征空间集成回前向系统的前馈学习过程。使用基于FCN的上下文反馈循环允许前向系统学习和提取更多高级图像特征并修复先前的错误，从而随着时间的推移提高预测准确性。在四个不同的临床数据集上进行的实验结果表明，我们的方法优于最先进的方法的单结构和多结构医学图像分割的潜在应用。通过反馈回路，深度学习方法现在可以产生解剖学上合理且对低对比度图像具有鲁棒性的结果。因此，将图像分割公式化为通过上下文反馈回路的两个互连网络的递归框架可以是鲁棒且高效的医学图像分析的潜在方法。
2021-03-04 cs.CV cs.LG eess.IV
Counterfactual MRI Data Augmentation using Conditional Denoising Diffusion Generative Models
Instituto Superior Técnico（高等技术学院）；Universidade de Lisboa（里斯本大学）；Digital Surgery LAB（数字外科实验室）；Champalimaud Foundation（尚帕利莫基金会）；Faculdade de Medicina, Universidade de Lisboa（里斯本大学医学院）；Instituto de Telecomunicações（电信研究所）
针对医学影像深度学习模型因采集参数差异导致的泛化性与鲁棒性不足问题，提出基于cDDGMs的反事实MRI数据增强方法，可在不改变解剖结构的前提下模拟不同采集参数生成图像，有效提升分割精度尤其是分布外场景下的模型性能，代码已开源。
2024-10-31 cs.AI cs.CV eess.IV
Recurrent Residual Convolutional Neural Network based on U-Net (R2U-Net) for Medical Image Segmentation
University of Dayton（代顿大学）；Comcast Labs（康卡斯特实验室）
基于深度学习（DL）的语义分割方法在过去几年中一直提供最先进的性能。更具体地，这些技术已经成功地应用于医学图像分类、分割和检测任务。其中一种深度学习技术U-Net已成为这些应用程序中最受欢迎的技术之一。本文提出了一种基于U-Net的递归卷积神经网络（RCNN）和一种基于U-Net模型的递归残差卷积神经网络（RRCNN），分别命名为RU-Net和R2 U-Net。所提出的模型利用了U-Net、残差网络以及RCNN的强大功能。这些建议的架构分割任务有几个优点。首先，残差单元有助于训练深层架构。其次，使用递归残差卷积层进行特征积累，确保了分割任务的更好特征表示。第三，它允许我们设计更好的U-Net架构，具有相同数量的网络参数，具有更好的医学图像分割性能。所提出的模型进行了测试，在三个基准数据集，如视网膜图像中的血管分割，皮肤癌分割，肺部病变分割。实验结果表明，与包括U-Net和残差U-Net（ResU-Net）在内的等效模型相比，该模型在分割任务上具有更好的性能。
2018-05-29 cs.CV
Conditional De-Identification of 3D Magnetic Resonance Images
KTH Royal Institute of Technology（瑞典皇家理工学院）；Science for Life Laboratory（生命科学实验室）；University of Tübingen（蒂宾根大学）
医学图像数据的隐私保护具有挑战性。即使删除了元数据，大脑扫描也很容易受到将面部渲染与面部图像数据库相匹配的攻击。已经开发出通过模糊或移除面部的部分来对诊断扫描进行去识别的解决方案。然而，这些解决方案要么无法可靠地隐藏患者的身份，要么过于激进，以至于影响了进一步的分析。我们提出了一类新的去识别技术，而不是删除面部特征，重塑他们。我们的解决方案依赖于一个有条件的多尺度GAN架构。它以患者的MRI扫描作为输入，并根据患者的大脑生成3D体积，该体积被精确保留，但面部已通过重塑被去识别。我们证明了我们的方法比现有技术更好地保护隐私，而不会影响下游的医学分析。在OASIS-3和ADNI语料库上进行分析。
2021-10-18 cs.CR cs.CV cs.LG
Learning what to look in chest X-rays with a recurrent visual attention model
King’s College London（伦敦国王学院）
X射线是通常进行的成像测试，使用少量的辐射来产生身体器官，组织和骨骼的图片。胸部X射线用于检测气道、血管、骨骼、心脏和肺部的异常或疾病。在这项工作中，我们提出了一个随机的注意力为基础的模型，能够学习胸部X射线扫描中的哪些区域应该进行视觉探索，以得出结论，扫描包含一个特定的放射性异常。所提出的模型是一个递归神经网络（RNN），它学习顺序地对整个X射线进行采样，并只关注可能包含相关信息的信息区域。我们报告的实验进行了超过$100,000$ X射线含有扩大的心脏或医疗器械。该模型已使用强化学习方法进行训练，以学习特定于任务的策略。
2017-01-23 cs.CV cs.LG stat.ML
End-to-end semantic face segmentation with conditional random fields as convolutional, recurrent and adversarial networks
Radboud University, Donders Institute for Brain, Cognition and Behaviour（拉德堡德大学，唐德斯脑、认知与行为研究所）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Computer Vision Center（计算机视觉中心）；Universitat de Barcelona（巴塞罗那大学）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）
近年来，在语义分割方面取得了显著的进展。在这里，我们通过利用这些进步的各自优势来解决这个问题。也就是说，我们将四连通图上的条件随机场表示为端到端可训练的卷积和递归网络，并通过对抗过程对其进行估计。重要的是，我们的模型不仅学习一元势，还学习成对势，同时聚合多尺度上下文并控制高阶不一致性。我们在两个标准的语义人脸分割基准数据集上评估了我们的模型，在这两个数据集上都取得了最先进的结果。
2017-03-09 cs.CV
Conditional Recurrent Flow: Conditional Generation of Longitudinal Samples with Applications to Neuroimaging
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Texas, Arlington（德克萨斯大学阿灵顿分校）
基于神经网络的生成模型为各种应用领域的大规模研究打开了一扇大门，特别是对于那些缺乏真实样本以获得统计鲁棒推理的研究。通常，这些生成模型将在现有数据上进行训练以学习测量的基础分布（例如，图像）在以协变量为条件的潜在空间中（例如，图像标签），并生成在潜在空间中相同分布的独立样本。这种模型可能适用于横断面研究，但是，它们不适合生成纵向研究的数据，这些纵向研究侧重于数据序列中的“渐进”行为。在实践中，这是一个相当常见的情况下，在各种神经影像学研究，其目标是表征一个特定的疾病，甚至从早期阶段的病理轨迹。这可能过于雄心勃勃，特别是当样本量很小时（例如，多达几百个）。从上述设置的动机，我们寻求开发一个条件生成模型的纵向数据生成通过设计一个可逆的神经网络。受纵向数据的周期性的启发，我们提出了一种新的神经网络，它结合了经常性的子网络和上下文门控，包括平滑过渡的序列生成的数据。我们的模型在视频序列数据集和纵向AD数据集上进行了验证，这些数据集具有各种实验设置，用于对生成的样本进行定性和定量评估。AD数据集的结果捕获了AD特定组的差异，生成的纵向样本与现有文献一致，这意味着适用于其他疾病研究的巨大潜力。
2018-12-11 cs.CV
Perceptual Learned Video Compression with Recurrent Conditional GAN
ETH Zürich（苏黎世联邦理工学院）；Julius Maximilian University of Würzburg（维尔茨堡朱利叶斯·马克西米利安大学）；KU Leuven（荷语鲁汶大学）
提出了一种基于递归条件GAN的感知学习视频压缩方法。我们采用基于递归自动编码器的压缩网络作为生成器，最重要的是，我们提出了一个递归条件搜索，它根据空间和时间特征，包括递归单元中的潜在表示，时间运动和隐藏状态，对原始视频与压缩视频进行判断。通过这种方式，对抗性训练推动生成的视频不仅在空间上具有照片般的真实感，而且在时间上与地面实况一致，并且在视频帧之间具有连贯性。实验结果表明，学习PLVC模型压缩视频具有良好的感知质量在低比特率，它优于官方HEVC测试模型（HM 16.20）和现有的学习视频压缩方法的几个感知质量指标和用户研究。代码将在项目页面上发布：https://github.com/RenYang-home/PLVC。
2022-04-30 cs.CV eess.IV
Conditional Random Fields as Recurrent Neural Networks
University of Oxford（牛津大学）；Stanford University（斯坦福大学）；Baidu Institute of Deep Learning（百度深度学习研究院）
像素级标记任务，如语义分割，在图像理解中起着核心作用。最近的方法试图利用深度学习技术的能力进行图像识别，以解决像素级标记任务。这种方法的一个核心问题是深度学习技术描绘视觉对象的能力有限。为了解决这个问题，我们引入了一种新形式的卷积神经网络，它结合了卷积神经网络（CNN）和基于条件随机场（CRF）的概率图形建模的优势。为此，我们将具有高斯两两势的条件随机场的平均场近似推理表示为循环神经网络。然后将这个称为CRF-RNN的网络作为CNN的一部分插入，以获得具有CNN和CRF两者的理想属性的深度网络。重要的是，我们的系统将CRF建模与CNN完全集成，使得使用通常的反向传播算法对整个深度网络进行端到端的训练成为可能，避免了用于对象描绘的离线后处理方法。我们将所提出的方法应用于语义图像分割问题，在具有挑战性的Pascal VOC 2012分割基准上获得了最佳结果。
2016-04-13 cs.CV
C$^3$PS: Context-aware Conditional Cross Pseudo Supervision for Semi-supervised Medical Image Segmentation
Shanghai Jiao Tong University（上海交通大学）
针对半监督医学图像分割，提出上下文感知条件交叉伪监督方法C$^3$PS，通过带类别条件的交叉伪监督结合上下文感知提升伪标签质量，训练后期可聚焦难分割器官，在两项任务上性能优于现有最优方法。
2023-06-14 cs.CV
Talking Face Generation by Conditional Recurrent Adversarial Network
Samsung Research America（三星美国研究院）；IBM（国际商业机器公司）
给定一个任意的人脸图像和一个任意的语音片段，所提出的工作试图生成说话的人脸视频与准确的嘴唇同步，同时保持平滑过渡的嘴唇和面部运动在整个视频剪辑。现有的作品要么不考虑跨不同视频帧的人脸图像的时间依赖性，从而容易产生明显的/突然的面部和嘴唇运动，或者仅限于为特定的人生成说话的面部视频，从而缺乏泛化能力。我们提出了一种新的条件视频生成网络，其中音频输入被视为循环对抗网络的条件，从而将时间依赖性纳入其中，以实现嘴唇和面部运动的平滑过渡。此外，我们在视频生成的背景下部署了一个多任务对抗训练方案，以提高照片的真实感和嘴唇同步的准确性。最后，基于从音频片段中提取的音素分布信息，我们开发了一种样本选择方法，该方法在不牺牲生成视频质量的情况下有效地减小了训练数据集的大小。在受控和非受控数据集上进行的大量实验表明，与最先进的方法相比，所提出的方法在视觉质量、唇同步准确性以及唇和面部运动的平滑过渡方面具有优越性。
2019-07-25 cs.CV
Generative Drifting for Conditional Medical Image Generation
Department of Orthodontics and Orofacial Orthopedics, Friedrich-Alexander-University Erlangen-Nuremberg（口腔正畸与面部骨科系，弗里德里希-艾萨克-埃尔兰-纽伦堡大学）；Department Artificial Intelligence in Biomedical Engineering, Friedrich-Alexander-University Erlangen-Nuremberg（生物医学工程人工智能系，弗里德里希-艾萨克-埃尔兰-纽伦堡大学）；Pattern Recognition Lab, Friedrich-Alexander-University Erlangen-Nuremberg（模式识别实验室，弗里德里希-艾萨克-埃尔兰-纽伦堡大学）；Department of Biomedical Engineering, Sun-Yat-sen University（生物医学工程系，孙中山大学）
本文提出GDM框架，通过多目标学习提升3D医学图像生成的分布合理性与患者特异性保真度，同时保持单步推理效率，在MRI到CT合成和稀疏视图CT重建中优于多种基线方法。
2026-04-21 cs.CV
Conditional Diffusion Models for Weakly Supervised Medical Image Segmentation
University of Notre Dame（圣母大学）；National Tsing Hua University（台湾清华大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出利用条件扩散模型中蕴含的类别感知语义信息，通过近似输出对输入条件的导数来生成预测掩码，在仅使用图像级标注的弱监督医学图像分割任务中超越了现有CAM和扩散模型方法，且时间效率更高。
2023-09-15 cs.CV
Text-to-Image Generation with Attention Based Recurrent Neural Networks
COMSATS University Islamabad（COMSATS大学伊斯兰堡校区）
基于文本描述的条件图像建模是无监督学习中一个相对较新的领域。以前的方法使用潜变量模型和生成对抗网络。虽然前者通过使用变分自动编码器来近似，并且依赖于可能妨碍其性能的难以处理的推断，但后者由于基于纳什均衡的目标函数而对训练不稳定。我们开发了一个易于处理和稳定的基于字幕的图像生成模型。该模型使用基于注意力的编码器来学习单词到像素的依赖关系。基于条件自回归的解码器用于学习像素到像素的依赖性并生成图像。在Microsoft COCO和带字幕的MNIST数据集上进行了实验，并使用结构相似性指数对性能进行了评估。结果表明，该模型的性能优于当代的方法，并产生更好的质量图像。关键词：生成图像建模，自回归图像建模，基于字幕的图像生成，神经注意力，循环神经网络。
2020-01-18 cs.CV
Recurrent Deconvolutional Generative Adversarial Networks with Application to Text Guided Video Generation
University of Chinese Academy of Sciences（中国科学院大学）；The Institute of Microelectronics, Tsinghua University（清华大学微电子研究所）；Chinese Academy of Sciences Artificial Intelligence Research（中国科学院人工智能研究院）
本文提出了一种新的视频生成模型，特别是尝试处理从文本描述生成视频的问题，即，合成以给定文本为条件的逼真视频。现有的视频生成方法不能很容易地适应处理这个任务，由于帧的不连续性问题和它们的无文本生成方案。为了解决这些问题，我们提出了一种递归解卷积生成对抗网络（RD-GAN），它包括一个递归解卷积网络（RDN）作为生成器和一个3D卷积神经网络（3D-CNN）作为神经网络。RDN是传统递归神经网络的去卷积版本，它可以很好地建模生成的视频帧的长距离时间依赖性，并充分利用条件信息。该模型可以通过推动RDN生成逼真的视频来进行联合训练，以便3D-CNN无法将它们与真实视频区分开来。我们提出的RD-GAN应用到一系列的任务，包括传统的视频生成，条件视频生成，视频预测和视频分类，并证明其有效性，实现良好的性能。
2020-08-13 cs.CV
Multi-Channel Uncertainty-Weighted Score Matching for Conditional Diffusion in Medical UDA
Stony Brook University（石溪大学）；Massachusetts General Hospital and Harvard Medical School（麻省总医院与哈佛医学院）
提出UPDiff-UDA框架，通过不确定性加权的分数匹配聚合多通道伪标签，结合贝塞尔曲线适应，提升跨模态医学图像分割性能。
2026-07-01 cs.CV
Compositional Reward Models for Conditional Medical Image Generation
Yardi School of Artificial Intelligence（亚尔迪人工智能学院）；Indian Institute Of Technology, Delhi（德里印度理工学院）；Indian Institute of Science（印度科学学院）；Department of Computer Science and Engineering（计算机科学与工程系）
本研究提出PRISM组合奖励模型框架，通过分层约束传播机制优化条件医学图像生成，在三个医学成像数据集上训练下游模型时，多项指标较基准方法均有显著提升。
2026-09-07 cs.CV
A conditional latent autoregressive recurrent model for generation and forecasting of beam dynamics in particle accelerators
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
提出无监督深度学习框架CLARM，结合CVAE与LSTM学习加速器中带电粒子时空动力学，实现多模块束流相空间投影生成与未来状态预测。
2024-03-19 cs.CV cs.LG physics.acc-ph
RePoseDM: Recurrent Pose Alignment and Gradient Guidance for Pose Guided Image Synthesis
Glance AI（格朗斯人工智能公司）
针对姿态引导人物图像合成中姿态对齐难、源姿态泄漏等问题，提出带循环姿态对齐与姿态交互场梯度引导的RePoseDM方法，在多基准上实现挑战性场景下的高真实感姿态迁移。
2024-04-11 cs.CV
Conditional Diffusion Model for Longitudinal Medical Image Generation
Chonnam National University（全南国立大学）
针对纵向医学图像中因患者退出等导致的数据缺失问题，提出一种基于条件扩散的3D图像生成模型，通过注入单张MRI和时间访问编码控制图像变化，生成质量优于现有方法。
2024-11-07 cs.AI cs.CV
Recurrent Models for Situation Recognition
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
这项工作提出了递归神经网络（RNN）模型来预测结构化的“图像情况”-动作和名词实体履行与动作相关的语义角色。与依赖于条件随机场（CRF）的先前工作相比，我们使用专门的动作预测网络，然后使用RNN进行名词预测。我们的系统在最近具有挑战性的imSitu数据集上获得了最先进的准确性，击败了基于CRF的模型，包括使用额外数据训练的模型。此外，我们表明，从情况预测学习的专门功能可以转移到图像描述的任务，以更准确地描述人与物体的相互作用。
2017-08-04 cs.CV
Speech-Driven Facial Reenactment Using Conditional Generative Adversarial Networks
Sharif University of Technology（谢里夫理工大学）；imec（imec研究所）；Ghent University（根特大学）
我们提出了一种新的方法来生成逼真的图像的脸与准确的唇同步，给定的音频输入。通过使用递归神经网络，我们实现了基于音频特征的口部标志。我们利用条件生成对抗网络的能力，以一组地标为条件生成高度逼真的人脸。这两个网络一起能够产生与输入音轨同步的自然面部序列。
2018-03-20 cs.CV
Multi-rater Prism: Learning self-calibrated medical image segmentation from multiple raters
Baidu Inc.（百度公司）；The University of Hong Kong（香港大学）；Purdue University（普渡大学）；University of Electronic Science and Technology of China（电子科技大学）；Shenzhen Eye Hospital, Jinan University（暨南大学附属深圳眼科医院）
在医学图像分割中，往往需要收集多位专家的意见才能做出最终的决策。这种临床常规有助于减轻个人偏见。但是，当数据被多次注释时，标准的深度学习模型通常不适用。在本文中，我们提出了一种新的神经网络框架，称为多评分器棱镜（MrPrism）学习医学图像分割从多个标签。受迭代半二次优化的启发，所提出的MrPrism将以循环的方式结合多评分者置信度分配任务和校准分割任务。在这个循环的过程中，MrPrism可以学习观察者之间的变化，同时考虑到图像的语义属性，并最终收敛到一个自校准的分割结果，反映观察者之间的协议。具体来说，我们提出了收敛棱镜（ConP）和发散棱镜（DivP）迭代地处理这两个任务。ConP根据DivP估计的多评分者置信度图学习校准的分割。DivP基于ConP估计的分割掩码生成多评分者置信图。实验结果表明，通过循环运行ConP和DivP，两个任务可以实现相互提高。MrPrism的最终融合分割结果在广泛的医学图像分割任务上优于最先进的（SOTA）策略。
2022-12-01 cs.CV eess.IV
BerDiff: Conditional Bernoulli Diffusion Model for Medical Image Segmentation
Institute of Science and Technology for Brain-inspired Intelligence（脑启发智能科学与技术研究院）；Fudan University（复旦大学）
针对医学图像分割的模糊性与不确定性问题，提出采用伯努利噪声的条件扩散模型BerDiff，可生成准确多样的分割掩码并加速推理，在多模态数据集上性能优于现有最先进方法。
2023-04-10 cs.AI cs.CV
Score-Based Generative Models for Medical Image Segmentation using Signed Distance Functions
本研究提出一种基于条件分数生成模型的医学图像分割框架，通过表征符号距离函数的分布生成带不确定性的分割掩码，在公开数据集上验证了其竞争力与应用潜力。
2023-07-21 cs.CV
ORAL: Prompting Your Large-Scale LoRAs via Conditional Recurrent Diffusion
The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；National University of Singapore（新加坡国立大学）
本文提出条件循环扩散框架ORAL，通过融合模型架构与任务文本条件生成任务特定的LoRA参数，在数十亿参数LLMs上同时实现可扩展性与可控性，并在多类任务中取得与常规训练相当或更优的性能。
2025-04-08 cs.AI cs.CL cs.CV
Conditional Diffusion Models are Medical Image Classifiers that Provide Explainability and Uncertainty for Free
McGill University（麦吉尔大学）；Mila – Quebec AI Institute（魁北克人工智能研究所）
首次探索类别条件扩散模型在二维医学图像分类中的应用，提出多数投票方案提升性能，在CheXpert和ISIC数据集上无需显式监督即可媲美SOTA判别式分类器，且本质可解释并能量化预测不确定性。
2025-08-08 cs.CV cs.LG
X-Ray Image Compression Using Convolutional Recurrent Neural Networks
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
随着数字健康革命的到来，每天都在生成、存储和处理大量的临床数据。这使得存储和检索大量的医疗保健数据，特别是高分辨率的医学图像，特别具有挑战性。因此，医学图像的有效图像压缩在当今的医疗保健信息系统中，特别是在远程放射学中起着至关重要的作用。提出了一种基于卷积循环神经网络RNN-Conv的X射线图像压缩方法。所提出的架构可以在部署过程中提供可变的压缩率，同时它要求每个网络仅针对X射线图像的特定维度进行一次训练。该模型使用多级池化方案，学习上下文化特征以进行有效压缩。我们在美国国立卫生研究院（NIH）ChestX-ray 8数据集上进行了图像压缩实验，并将所提出的架构的性能与最先进的基于RNN的技术和JPEG 2000进行了比较。实验结果表明，该方法在结构相似性指数（SSIM）和峰值信噪比（PSNR）指标方面取得了较好的压缩性能。据我们所知，这是第一次报告使用深度卷积RNN进行医学图像压缩的评估。
2019-05-09 cs.CV eess.IV
Recognizing Surgical Activities with Recurrent Neural Networks
Johns Hopkins University（约翰斯·霍普金斯大学）
我们应用循环神经网络的任务，从机器人运动学识别手术活动。这一领域的先前工作集中在识别短的、低级别的活动或手势，并且基于隐马尔可夫模型和条件随机场的变体。相比之下，我们致力于识别手势和更长，更高级别的活动或演习，我们用循环神经网络对从运动学到手势/演习的映射进行建模。据我们所知，我们是第一个将循环神经网络应用于这项任务的人。使用单个模型和单个超参数集，我们在准确性和编辑距离方面匹配手势识别的最先进性能，并提高机动识别的最先进性能。代码可在https://github.com/rdipietro/miccai-2016-surgical-activity-rec上获得。
2016-06-22 cs.CV
FlowSDF: Flow Matching for Medical Image Segmentation Using Distance Transforms
Institute of Computer Graphics and Vision（计算机图形与视觉研究所）；Graz University of Technology（格拉茨工业大学）；Photogrammetry and Remote Sensing（摄影测量与遥感研究所）；ETH Zurich（苏黎世联邦理工学院）
FlowSDF提出一种基于条件流匹配和符号距离函数的医学图像分割框架，通过学习SDF分布的概率路径实现掩码采样和不确定性估计，在公开数据集上取得竞争性表现。
2025-02-05 cs.CV
Conditional diffusion model with spatial attention and latent embedding for medical image segmentation
Wayne State University（韦恩州立大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
提出融合 CNN 判别器空间注意力与逐层随机潜在嵌入的条件扩散模型 cDAL，用于医学图像分割，在三个公开数据集上以更少扩散步数取得优于现有方法的 Dice 与 mIoU。
2025-02-19 cs.CV eess.IV
Generation of Artificial CT Images using Patch-based Conditional Generative Adversarial Networks
J.J. Strossmayer University of Osijek（奥西耶克J.J.斯特罗斯迈尔大学）
深度学习在减轻各种临床程序的诊断和预后方面具有巨大的潜力。然而，缺乏足够数量的医学图像是使用深度学习进行基于图像的分析的最常见障碍。由于标注的稀缺性，半监督技术在自动医学分析中的应用越来越受到重视。人工数据增强和生成技术，如生成对抗网络（GANs），可能有助于克服这一障碍。在这项工作中，我们提出了一种图像生成方法，该方法使用具有条件约束的生成对抗网络，其中分割掩码用作图像生成的条件。我们验证了GAN增强医学图像生成在整个心脏计算机断层扫描（CT）图像及其七个子结构上的可行性，即：左心室，右心室，左心房，右心房，心肌，肺动脉和主动脉。所获得的结果表明，所提出的对抗方法的准确生成高质量的CT图像的适用性。该方法显示出巨大的潜力，以促进人工医学图像生成领域的进一步研究。
2022-05-19 cs.CV eess.IV
Multi-dimensional Gated Recurrent Units for Automated Anatomical Landmark Localization
University of Basel（巴塞尔大学）；University Hospital Basel（巴塞尔大学医院）；MIAC AG
我们提出了一个自动化的方法定位在三维医学图像中的解剖标志。该方法结合了两个递归神经网络的粗到精的方法：第一个网络通过分析完整的给定图像体积来确定候选邻域。第二个网络定位的实际地标精确和准确的候选人附近。这两种网络都利用了其主层中的多维门控递归单元，这使得模型复杂度较高，参数集相对较小。我们在头部和颈部的3D磁共振图像中定位脑髓沟。我们表明，所提出的方法优于类似的定位技术，无论是在平均距离毫米和体素w.r.t.数据的手动标记。平均定位误差为1.7 mm，所提出的方法与神经学专家不相上下，正如我们在评分者间比较中所证明的那样。
2017-08-09 cs.CV
DiffDenoise: Self-Supervised Medical Image Denoising with Conditional Diffusion Models
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；United Imaging Intelligence（联影智能）
本文提出DiffDenoise，一种基于条件扩散模型的三阶段自监督医学图像去噪方法，通过盲点网络条件输入、对称噪声平均采样和监督去噪网络，有效保留高频细节，在合成与真实任务中超越现有方法。
2025-03-31 cs.CV eess.IV stat.ML
Brain Segmentation from k-space with End-to-end Recurrent Attention Network
Siemens Healthineers（西门子医疗）；Rutgers University（罗格斯大学）
医学图像分割的任务通常涉及图像重建步骤，以在任何分析之前将采集的原始数据转换为图像。然而，由于重建过程中的噪声，伪影和信息丢失几乎是不可避免的，这损害了分割的最终性能。我们提出了一种新的学习框架，直接从k空间数据进行磁共振脑图像分割。端到端的框架包括一个独特的任务驱动的注意力模块，该模块反复利用中间分割估计，以促进从原始数据中的图像域特征提取，从而紧密地桥接重建和分割任务。此外，为了解决手动标记的挑战，我们引入了一种新的工作流程，通过利用成像模态模拟器和数字幻影生成标记的训练数据进行分割。大量的实验结果表明，该方法优于几个国家的最先进的方法。
2019-07-21 cs.CV
Recurrent Convolutional Neural Network Regression for Continuous Pain Intensity Estimation in Video
University of Oulu（奥卢大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
疼痛强度的自动估计在医疗保健领域具有重要的地位。传统的静态方法倾向于从视频中的帧中单独提取特征，这会导致相邻帧之间的不稳定变化和峰值。为了克服这个问题，我们提出了一个实时回归框架的基础上，经常性的卷积神经网络自动帧级疼痛强度估计。给定AAM扭曲的面部图像的向量序列，我们使用滑动窗口策略来获得递归网络的固定长度的输入样本。然后，我们仔细设计了递归网络的架构，以输出连续值的疼痛强度。所提出的端到端疼痛强度回归框架可以通过考虑足够大的历史帧来预测每个帧的疼痛强度，同时限制模型内参数的规模。我们的方法在已发表的UNBC-McMaster肩关节疼痛表达档案数据库上的准确性和运行速度方面都取得了令人满意的结果。
2016-05-03 cs.CV
RATLIP: Generative Adversarial CLIP Text-to-Image Synthesis Based on Recurrent Affine Transformations
School of Artificial Intelligence, Guangxi Colleges and Universities Key Laboratory of AI Algorithm Engineering（人工智能学院、广西 Colleges and Universities AI 算法工程重点实验室）
本文提出RATLIP模型，通过结合循环神经网络与条件仿射变换引入全局文本信息，并利用Shuffle Attention缓解信息遗忘，同时在生成器和判别器中采用预训练CLIP模型，显著提升了文本到图像合成的质量与一致性。
2025-10-11 cs.CV
Recurrent Affine Transformation for Text-to-image Synthesis
South China University of Technology（华南理工大学）
文本到图像合成的目的是生成自然的图像条件下的文本描述。该任务的主要困难在于有效地将文本信息融合到图像合成过程中。现有方法通常自适应地将合适的文本信息融合到具有多个隔离融合块的合成过程中（例如，条件批量归一化和实例归一化）。然而，孤立的融合块不仅相互冲突，而且增加了训练的难度（见补充资料第一页）。为了解决这些问题，我们提出了一种用于生成对抗网络的递归仿射变换（RAT），该变换将所有融合块与递归神经网络连接起来，以对它们的长期依赖性进行建模。此外，为了提高文本和合成图像之间的语义一致性，我们将一个空间注意力模型的合成。文本描述能够识别匹配的图像区域，监督生成器合成更多相关的图像内容。在CUB、Oxford-102和COCO数据集上的大量实验表明，与最先进的模型\footnote{https://github.com/senmaoy/Recurrent-Affine-Transformation-for-Text-to-image-Synthesis.git}相比，所提出的模型具有优越性
2022-04-22 cs.CV
De-GAN - Dynamic Parameter Tuned GAN for 3D Medical Image Segmentation: A Step Towards Generalisation
Royal Melbourne Institute of Technology University (RMIT)（皇家墨尔本理工大学）
提出DE-GAN，通过动态参数调优生成对比增强FLAIR图像，提升3D脑肿瘤分割在跨数据集上的泛化性能。
2026-10-02 cs.CV
Taming Mambas for Voxel Level 3D Medical Image Segmentation
University of Modena and Reggio Emilia（摩德纳与雷焦艾米利亚大学）
本文提出将基于状态空间模型的Mamba架构引入体素级3D医学图像分割，以线性复杂度实现长程内容推理，解决CNN感受野受限和Transformer内存与数据需求过高的问题。
2024-10-20 cs.CV
