Fine-Grained Image Generation from Bangla Text Description using Attentional Generative Adversarial Network
Pioneer Alpha（先锋阿尔法）
从文本生成细粒度、逼真的图像在视觉和语义领域有许多应用。考虑到这一点，我们提出了孟加拉注意生成对抗网络（AttnGAN），它允许对高分辨率孟加拉文本到图像生成进行强化的多阶段处理。我们的模型可以在图像的不同子区域集成最具体的细节。我们特别关注自然语言描述中的相关词。该框架在CUB数据集上取得了更好的初始得分。第一次，细粒度的图像生成孟加拉语文本使用注意GAN。孟加拉语在100种最常用的语言中排名第七。这激励我们明确关注这种语言，这将确保许多人的必然需求。此外，Bangla具有更复杂的语法结构和更少的自然语言处理资源，这更验证了我们的工作。
2021-09-24 cs.CV
Semantic Segmentation by Improved Generative Adversarial Networks
Shandong University of Science and Technology（山东科技大学）；University of Florida（佛罗里达大学）
现有的分割方法通常将CNN强大的特征提取能力与条件随机场（CRFs）后处理相结合，但结果往往受到CRFs缺陷的限制。由于CRF计算速度慢、效率低，近年来CRF后处理已逐渐被淘汰。本文提出了一种用于图像语义分割任务（Semantic Segmentation by GANs，Seg-GAN）的改进的生成对抗网络（Generative Adversarial Networks，GANs）。此外，我们引入卷积CRF（ConvCRFs）作为图像语义分割任务的有效改进解决方案。为了将分割结果与地面真值分布区分开来并改善输出图像的细节，所提出的卷积神经网络以完全卷积的方式与级联ConvCRF相结合进行了专门设计。此外，对抗性损失积极鼓励输出图像接近地面真实的分布。我们的方法不仅学习从输入图像到相应输出图像的端到端映射，而且还学习损失函数来训练该映射。实验表明，我们的方法取得了更好的性能比国家的最先进的方法。
2021-04-20 cs.CV
Lung image segmentation by generative adversarial networks
School of Applied Mathematics, Xiamen University of Technology（厦门理工学院应用数学学院）
肺部图像分割在肺部疾病的计算机辅助诊断和治疗中起着重要的作用。提出了一种基于生成对抗网络的肺部图像分割方法。我们采用了各种生成对抗网络，并利用其图像翻译能力来执行图像分割。采用生成对抗网络将原始肺部图像转换为分割图像。基于生成对抗网络的分割方法在真实肺部图像数据集上进行了测试。实验结果表明，该方法是有效的，优于最先进的方法。
2019-07-30 cs.CV eess.IV
Adversarial Synthesis Learning Enables Segmentation Without Target Modality Ground Truth
Vanderbilt University（范德堡大学）；Incyte Corporation（因赛特公司）
缺乏可推广性是基于深度学习的分割的一个关键限制。通常，当以不同的成像模式分割器官或从不同的疾病群组分割异常器官时，人工标记新的训练图像。如果能够重用来自一种模态的手动标签（例如，MRI）来训练用于新模态的分割网络（例如，CT）。以前，已经提出了两个阶段的方法来使用循环生成对抗网络（CycleGAN）来合成目标模态的训练图像。然后，这些努力使用合成图像独立地训练分割网络。然而，这两个独立的阶段没有使用合成和分割之间的互补信息。在此，我们提出了一种新的端到端的合成和分割网络（CNONet），以实现不成对的MRI到CT图像合成和CT脾肿大分割同时不使用手动标签的CT。端到端的Dice相似性系数中位数（0.9188）显著高于两阶段策略（0.8801），甚至高于使用CT手动标签的规范多图谱分割（0.9125）和ResNet方法（0.9107）。
2017-12-20 cs.CV
Retinal Vessel Segmentation under Extreme Low Annotation: A Generative Adversarial Network Approach
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
当代基于深度学习的医学图像分割算法需要领域专家进行数小时的注释工作。这些数据饥渴的深度模型在有限数量的标记数据的情况下表现不佳。在本文中，我们使用最近的生成对抗网络概念提出了一个数据有效的学习框架;这使得深度神经网络在低注释状态下的表现明显优于其完全监督的对应网络。该方法是我们以前工作的扩展，增加了一个新的无监督对抗损失和一个基于结构化预测的架构。据我们所知，这项工作是基于对抗框架的结构化预测模型用于医学图像分割的第一次演示。虽然通用，我们应用我们的方法在视网膜眼底图像的血管分割。我们对极低的注释预算（当代注释大小的0.8 - 1.6%）进行了实验。在DRIVE和STARE数据集上，所提出的方法优于我们以前的方法和其他完全监督的基准模型，特别是在注释示例数量非常少的情况下。此外，我们的系统消融研究提出了一些关键配方，用于成功训练基于GAN的半监督算法，并采用编码器-解码器风格的网络架构。
2018-09-05 cs.CV
FLAIRBrainSeg: Fine-grained brain segmentation using FLAIR MRI only
Univ. Bordeaux（波尔多大学）；Bordeaux INP（波尔多国立综合理工学院）；CNRS（法国国家科学研究中心）；Inserm（法国国家健康与医学研究院）；CHU de Bordeaux（波尔多大学医院中心）；Universitat Politècnica de València（瓦伦西亚理工大学）；Instituto de Aplicaciones de las Tecnologías de la Información y de las Comunicaciones Avanzadas（高级信息技术与通信应用研究所）
本文提出仅使用FLAIR MRI的脑部分割方法FLAIRBrainSeg，通过训练网络近似T1加权MRI的分割结果，能生成132个结构分割且对多发性硬化病灶鲁棒，在T1不可用时提供可靠替代方案。
2025-04-04 cs.CV
Retinal Vasculature Segmentation Using Local Saliency Maps and Generative Adversarial Networks For Image Super Resolution
IBM Research Australia（IBM澳大利亚研究院）
我们提出了一种使用生成对抗网络（GANs）的图像超分辨率（ISR）方法，该方法采用低分辨率输入眼底图像并生成高达$16$的缩放因子的高分辨率超分辨率（SR）图像。这有助于更准确的自动图像分析，特别是对于小的或模糊的标志和病理。定义每个像素的重要性的局部显著性图用于定义GAN成本函数中的新显著性损失。实验结果表明，所得到的SR图像具有非常接近原始图像的感知质量，并且比不根据像素的重要性对其进行加权的竞争方法表现得更好。当用于视网膜血管分割时，我们的SR图像的精度水平接近于使用原始图像时获得的精度水平。
2018-05-21 cs.CV
Efficient Active Learning for Image Classification and Segmentation using a Sample Selection and Conditional Generative Adversarial Network
IBM Research Australia（IBM澳大利亚研究院）；Ecole Polytechnique Federale de Lausanne（洛桑联邦理工学院）；University of Bern（伯尔尼大学）
由于覆盖不同疾病类型和严重程度的图像有限，因此训练用于医学图像分类或分割的鲁棒深度学习（DL）系统具有挑战性。我们提出了一个主动学习（AL）框架，选择最翔实的样本，并添加到训练数据。我们使用条件生成对抗网络（cGAN）通过在真实图像样本上调节其生成来生成具有不同疾病特征的逼真胸部X射线图像。使用贝叶斯神经网络识别要添加到训练集的信息样本。实验表明，我们提出的AL框架能够通过使用约35%的完整数据集来实现最先进的性能，从而比传统方法节省了大量的时间和精力。
2019-10-22 cs.CV
Adversarially robust segmentation models learn perceptually-aligned gradients
University of Maryland（马里兰大学）
对抗性训练对语义分割网络的影响尚未得到深入研究。虽然以前的工作已经表明，经过逆向训练的图像分类器可以用于执行图像合成，但我们还没有了解如何最好地利用经过逆向训练的分割网络来完成同样的工作。使用一个简单的优化器，我们证明了对抗训练的语义分割网络可用于执行图像修补和生成。我们的实验表明，经过逆向训练的分割网络更健壮，并且确实表现出感知对齐的梯度，这有助于产生合理的图像修补。我们试图在以下假设背后放置额外的权重：对抗性鲁棒模型表现出与人类视觉更感知一致的梯度。通过图像合成，我们认为，感知对齐梯度促进更好地理解神经网络的学习表示，并有助于使神经网络更可解释。
2022-04-03 cs.CV cs.LG
Object Segmentation using Pixel-wise Adversarial Loss
Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；IWR, University of Heidelberg（海德堡大学交互计算与可视化研究所）；Fraunhofer Center Machine Learning（弗劳恩霍夫机器学习中心）；Visual Learning Lab Heidelberg（海德堡视觉学习实验室）；Institute for Machine Learning and Analytics, Offenburg University（奥芬堡大学机器学习与分析研究所）
最近基于深度学习的方法在对象分割任务上取得了显著的成功。然而，仍有进一步改进的余地。受生成对抗网络的启发，我们提出了一种通用的端到端对抗方法，该方法可以与各种现有的语义分割网络相结合，以提高其分割性能。我们的方法的关键要素是用高分辨率的像素损失来取代常用的二进制对抗损失。此外，我们训练我们的发电机采用随机加权平均的方式，这进一步增强了预测的输出标签地图，导致国家的最先进的结果。我们表明，与基线模型相比，这种逐像素对抗训练和权重平均的组合导致了分割性能的显着和一致的增益。
2019-09-23 cs.CV eess.IV
Generative Adversarial Networks for Automatic Polyp Segmentation
University of Oslo（奥斯陆大学）
本文旨在使用生成对抗网络框架对自动息肉分割问题进行基准测试。将问题视为图像到图像的翻译任务，利用条件生成对抗网络来生成由图像作为输入的条件掩码。生成器和卷积神经网络都是基于卷积神经网络的。模型的Jaccard指数为0.4382，F2得分为0.611。
2020-12-12 cs.CV cs.LG eess.IV
A comparative study of attention mechanism and generative adversarial network in facade damage segmentation
Dresden University of Technology（德累斯顿工业大学）；Zhejiang University（浙江大学）；Changzhou Microintelligence Co., Ltd.（常州微智有限公司）
语义分割受益于深度学习，并已显示出其在处理现场检查图形数据方面的可能性。因此，应检测立面图像中的视觉损坏。注意力机制和生成对抗网络是提高语义分割质量的两种常用策略。针对这两种策略，本文采用具有代表性的卷积神经网络U-net作为主要网络，分两步进行了比较研究。首先，利用细胞图像分别确定具有注意力机制的U-网和生成对抗网络中最有效的网络。随后，从第一次测试中选择的网络及其组合应用于立面损伤分割，以研究这些网络的性能。此外，还发现并讨论了注意力机制和生成对抗网络的联合作用。
2022-09-27 cs.CV eess.IV
Improving Lesion Segmentation for Diabetic Retinopathy using Adversarial Learning
Carnegie Mellon University（卡内基梅隆大学）；INESC TEC
糖尿病视网膜病变（DR）是工作年龄成人失明的主要原因。在眼底图像中识别DR病变可能具有挑战性，而自动DR检测系统可以提供强大的临床价值。在公开可用的DR标记数据集中，印度糖尿病视网膜病变图像数据集（IDRiD）提供了四种不同病变的视网膜眼底图像和像素级注释：微动脉瘤，血管瘤，软渗出液和硬渗出液。我们利用HEDNet边缘检测器来解决该数据集上的语义分割任务，然后通过将HEDNet合并到条件生成对抗网络（cGAN）中，提出了一个端到端的DR病变像素级分割系统。我们设计了一个损失函数，将对抗损失添加到分割损失中。我们的实验表明，增加对抗性损失提高了基线上的病变分割性能。
2020-07-27 cs.CV eess.IV
Retinal Vessel Segmentation in Fundoscopic Images with Generative Adversarial Networks
Vuno Inc.（Vuno公司）；Seoul National University College of Medicine（首尔大学医学院）；Seoul National University Bundang Hospital（首尔大学盆唐医院）
视网膜血管分割是眼底图像自动检测视网膜病变的重要步骤。尽管已经提出了许多方法，但现有方法往往会错过细小血管或允许在终末分支处的假阳性。更不用说欠分割了，当定量研究需要测量血管的精确宽度时，过分割也是一个问题。在本文中，我们提出了一种使用生成对抗训练生成视网膜血管精确地图的方法。我们的方法在DRIVE数据集上实现了0.829的骰子系数，在STARE数据集上实现了0.834的骰子系数，这是两个数据集上最先进的性能。
2017-06-28 cs.CV cs.LG
Shape-consistent Generative Adversarial Networks for multi-modal Medical segmentation maps
Tel Aviv University（特拉维夫大学）
跨域图像翻译的不成对数据集最近获得了很大的改进和兴趣。在医学成像中，有多种成像模式，具有非常不同的特征。我们的目标是在CT和MRI全心脏扫描之间使用跨模态适应进行语义分割。我们提出了一个分割网络，使用合成的心脏体积非常有限的数据集。我们的解决方案基于3D跨模态生成对抗网络，以在模态之间共享信息，并使用未配对的数据集生成合成数据。我们的网络利用语义分割来提高生成器形状的一致性，从而在重新训练分割网络时创建更真实的合成体积。我们表明，当使用空间增强来改进生成对抗网络时，可以在小数据集上实现改进的分割。这些增强改进了发生器的能力，从而提高了分段器的性能。仅使用16个CT和16个MRI心血管体积，在使用建议的架构时，显示出优于其他分割方法的改进结果。
2022-02-04 cs.CV cs.LG eess.IV
Explainable Medical Image Segmentation via Generative Adversarial Networks and Layer-wise Relevance Propagation
University of Oslo（奥斯陆大学）
本文通过提出基于生成对抗网络的模型来分割内窥镜图像中的息肉和器械，从而有助于自动化医学图像分割。这项工作的一个主要贡献是提供解释的预测使用逐层相关性传播方法指定哪些输入图像像素是相关的预测，并在何种程度上。在息肉分割任务中，模型的准确率达到0.84，Jaccard指数为0.46。在乐器分割任务中，模型的准确率达到0.96，Jaccard指数达到0.70。该代码可在https://github.com/Awadelrahman/MedAI上获得。
2021-11-02 cs.CV cs.LG eess.IV
GANet-Seg: Adversarial Learning for Brain Tumor Segmentation with Hybrid Generative Models
seas（海斯学院）
本研究提出GANet-Seg框架，结合预训练GAN与Unet架构，利用全局异常检测与掩码生成网络，通过对抗损失约束提升脑肿瘤分割精度，在BraTS数据集上表现优于基线，减少对标注数据的依赖。
2025-06-26 cs.CV eess.IV
Intelligent image synthesis to attack a segmentation CNN using adversarial learning
Imperial College London（帝国理工学院）；Nagoya University（名古屋大学）；The Aichi Cancer Center（爱知县癌症中心）；Nagoya University Hospital（名古屋大学医院）
基于卷积神经网络（CNN）的深度学习方法已经成功地解决了医学成像中的许多问题，包括图像分割。近年来，已经表明CNN易受攻击，其中输入图像被相对少量的噪声扰动，使得CNN不再能够以足够的精度执行扰动图像的分割。因此，探索如何攻击基于CNN的模型以及如何保护模型免受攻击的方法已成为一个热门话题，因为这也为CNN的性能和泛化能力提供了见解。然而，大多数现有的工作假设不切实际的攻击模型，即所产生的攻击是预先指定的。在本文中，我们提出了一种新的方法来生成对抗性的例子来攻击基于CNN的医学图像分割模型。我们的方法有三个关键特征：1）生成的对抗性示例表现出解剖学上的变化（以变形的形式）以及外观扰动; 2）对抗性示例攻击分割模型，使得Dice分数减少预定量; 3）攻击不需要事先指定。我们已经评估了我们的方法在2D CT图像中的多器官分割问题的基于CNN的方法。我们表明，所提出的方法可以用来攻击不同的基于CNN的分割模型。
2019-09-24 cs.CV eess.IV
Adversarially Guided Diffusion for LiDAR Range Image Synthesis
School of Electrical and Computer Engineering, National Technical University of Athens（雅典国立技术大学电气与计算机工程学院）；Industrial Systems Institute, Athena Research Center（雅典娜研究中心工业系统研究所）
研究针对二维距离图像分割的无限制对抗攻击，提出基于扩散并利用分割损失对抗引导的方法，在SemanticKITTI数据集实验，能跨架构转移，相比基线在有效性与现实性间有独特权衡，实现可控退化。
2026-07-14 cs.CV cs.LG
An Efficient Solution for Breast Tumor Segmentation and Classification in Ultrasound Images Using Deep Adversarial Learning
Universitat Rovira i Virgili（罗维拉-威尔吉利大学）；Bioinformatics Institute（生物信息学研究所）
本文提出了一种有效的解决方案，乳腺超声（BUS）图像中的肿瘤分割和分类。我们建议在条件生成对抗网络（cGAN）分割模型中添加一个无环卷积层，以学习不同分辨率的BUS图像的肿瘤特征。为了自动重新平衡每个最高级别编码特征的相对影响，我们还建议在网络中添加通道加权块。此外，SSIM和L1范数损失与典型的对抗性损失作为一个损失函数的训练模型。我们的模型在Dice和IoU指标方面优于最先进的分割模型，分别获得了93.76%和88.82%的最高分数。在分类阶段，我们表明，从预测掩模的边界形状中提取的统计特征很少能够正确区分良性和恶性肿瘤，准确率为85%。
2019-07-01 cs.CV eess.IV
Unified Attentional Generative Adversarial Network for Brain Tumor Segmentation From Multimodal Unpaired Images
South China University of Technology（华南理工大学）；University of Utah（犹他大学）
在医学应用中，尽管图像特性不同，但可以在多种模态中观察到相同的解剖结构。目前，用于多模态分割的大多数深度模型依赖于成对的注册图像。然而，多模态配对配准图像在许多情况下是难以获得的。因此，开发一个模型，可以分割的目标对象从不同的模式与不成对的图像是有意义的许多临床应用。在这项工作中，我们提出了一种新的双流翻译和分割统一注意生成对抗网络（UAGAN），它可以执行任何到任何图像模态翻译和分割的目标对象的情况下，两个或两个以上的模态是可用的。平移流用于捕获目标解剖结构的模态不变特征。此外，为了专注于与分割相关的特征，我们添加了注意力块来从翻译流中提取有价值的特征。三模态脑肿瘤分割的实验表明，UAGAN在大多数情况下优于现有的方法。
2019-07-08 cs.CV eess.IV
Transformer based Generative Adversarial Network for Liver Segmentation
Northwestern University（西北大学）
放射学扫描（CT，MRI）的自动肝脏分割除了用于诊断和预后的常规用途外，还可以改善手术和治疗计划以及随访评估。虽然卷积神经网络（CNN）已经成为标准的图像分割任务，但最近这已经开始向基于Transformers的架构转变，因为Transformers正在利用捕获信号中的长距离依赖建模能力，即所谓的注意力机制。在这项研究中，我们提出了一种新的分割方法，使用一种混合的方法相结合的Transformer（s）与生成对抗网络（GAN）的方法。这种选择背后的前提是Transformers的自注意机制允许网络聚合高维特征并提供全局信息建模。与传统方法相比，该机制提供了更好的分割性能。此外，我们将该生成器编码到基于GAN的架构中，以便GAN中的鉴别器网络可以对生成的分割掩模与来自人类（专家）注释的真实掩模相比的可信度进行分类。这使得我们能够提取掩模中的高维拓扑信息用于生物医学图像分割，并提供更可靠的分割结果。我们的模型取得了很高的骰子系数为0.9433，召回率为0.9515，和精度为0.9376，优于其他Transformer为基础的方法。
2022-05-28 cs.CV eess.IV
Multimodal 3D Brain Tumor Segmentation with Adversarial Training and Conditional Random Field
Centre for Medical Engineering and Technology, University of Dundee（邓迪大学医学工程与技术中心）
本文提出3D-vGAN模型，通过Pseudo-3D改进V-net并结合条件随机场与原始图像引导，在BraTS-2018数据集上实现优于U-net等经典模型的高精度脑肿瘤分割。
2024-11-21 cs.CV eess.IV
Super Resolution Using Segmentation-Prior Self-Attention Generative Adversarial Network
Zhejiang University（浙江大学）；Central Media Technology Institute, Huawei Technologies Co., Ltd（华为技术有限公司中央媒体技术研究院）
卷积神经网络（CNN）由于其优越的性能而被广泛应用于解决超分辨率（SR）任务。但由于CNN缺乏先验知识和小的感受野，超分辨率问题仍然具有挑战性。我们提出了分段-Piror自注意生成对抗网络（SPSAGAN），将分段先验和特征注意力结合到一个统一的框架中。这种组合是由精心设计的加权加法来平衡特征和分割注意力的影响，因此网络可以强调同一分割类别中的纹理，同时专注于长距离特征关系。我们还提出了一个轻量级的跳过连接架构称为残差中残差稀疏块（RRSB），以进一步提高超分辨率性能和节省计算。大量的实验表明，SPSAGAN可以生成更真实和视觉上令人愉快的纹理相比，最先进的SFTGAN和ESRGAN在许多SR数据集。
2020-03-07 cs.CV cs.LG eess.IV
Segmentation of skin lesions and their attributes using Generative Adversarial Networks
Universidad Nacional de Ingeniería（国立工程大学）
本文利用条件对抗网的图像-图像转换算法对皮肤病变边界及其属性进行语义分割。黑色素瘤是一种皮肤癌，如果及时发现是可以治愈的。皮肤镜图像分割是计算机辅助诊断的一个重要步骤，因为皮肤镜图像存在典型的伪影。为了减轻图像注释过程，我们建议使用修改后的Pix 2 Pix网络。该神经网络从作为输入的真皮图像和作为输出的六个通道的掩模图像学习映射。同样，称为PatchGAN的判别网络输出对于一个通道和六个输出通道是不同的。使用的照片来自2018年ISIC挑战赛，其中500张照片与各自的语义地图一起使用，分为75%用于训练，35%用于测试。获得100个训练时期的高Jaccard指数的分割图的所有属性。
2021-01-30 cs.CV cs.LG eess.IV
Abdominal multi-organ segmentation with cascaded convolutional and adversarial deep networks
IMT Atlantique（大西洋国立高等矿业电信学校）；Dokuz Eylul University（Dokuz Eylul大学）；CHRU Brest（布雷斯特大学地区医疗中心）
目的：腹部解剖分割对于从计算机辅助诊断到图像引导手术的许多应用至关重要。在这种情况下，我们使用深度学习解决了腹部CT和MR图像的全自动多器官分割。方法：该模型扩展了标准的条件生成对抗网络。除了强制模型创建逼真的器官轮廓之外，它还嵌入了级联的部分预训练卷积编码器-解码器作为生成器。从大量非医学图像中进行编码器微调会加剧数据稀缺性的局限性。该网络是端到端训练的，以受益于使用自动上下文的同时多级分割细化。结果如下：用于健康的肝脏，肾脏和脾脏分割，我们的管道提供了优于最先进的编码器-解码器方案有前途的结果。接下来是与2019年IEEE国际生物医学成像研讨会联合组织的联合健康腹部器官分割（CHAOS）挑战，它为我们提供了三个竞赛类别的第一名：肝脏CT，肝脏MR和多器官MR分割。结论：结合级联卷积和对抗网络，增强了深度学习管道自动描绘多个腹部器官的能力，具有良好的泛化能力。重要性：提供的综合评价表明，可以实现更好的指导，以帮助临床医生在腹部图像的解释和临床决策。
2020-01-26 cs.CV cs.LG eess.IV
Comparing Adversarial and Supervised Learning for Organs at Risk Segmentation in CT images
Politecnico di Milano（米兰理工大学）；Human Technopole（人类技术园）
本文比较GAN与监督学习在CT图像危及器官分割中的表现，提出三种不同判别器的GAN模型，在StructSeg数据集上验证其性能达到或优于SE-ResUnet和DeepLabV3等CNN方法。
2023-03-31 cs.CV cs.LG eess.IV
Semantic Segmentation using Adversarial Networks
Facebook AI Research（Facebook 人工智能研究院）；INRIA（法国国家信息与自动化研究所）；Laboratoire Jean Kuntzmann（让·昆兹曼实验室）
对抗训练已被证明可以为生成图像建模产生最先进的结果。在本文中，我们提出了一个对抗性的训练方法训练语义分割模型。我们训练一个卷积语义分割网络以及一个对抗网络，该网络区分来自地面实况或来自分割网络的分割图。我们的方法的动机是，它可以检测和纠正地面实况分割图和分割网络产生的分割图之间的高阶不一致。我们的实验表明，我们的对抗训练方法提高了斯坦福背景和PASCAL VOC 2012数据集的准确性。
2016-11-25 cs.CV
Adversarial training and dilated convolutions for brain MRI segmentation
Eindhoven University of Technology（埃因霍温理工大学）
卷积神经网络（CNN）已被应用于医学图像分析中的各种自动图像分割任务，包括脑MRI分割。生成对抗网络最近受到欢迎，因为它们能够生成难以与真实图像区分的图像。在这项研究中，我们使用对抗训练方法来改进基于CNN的脑MRI分割。为此，我们包括一个额外的损失函数，它激励网络生成难以与手动分割区分的分割。在训练期间，该损失函数与常规的平均每体素交叉熵损失一起被优化。结果表明，使用这种对抗训练程序对两组不同的图像进行分割，并使用两种不同的网络架构，无论是在视觉上还是在Dice系数方面，都可以提高分割性能。
2017-07-11 cs.CV
Learning Fine-Grained Segmentation of 3D Shapes without Part Labels
Southwest University（西南大学）；State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室）；National University of Defense Technology（国防科技大学）
基于学习的3D形状分割通常被公式化为语义标记问题，假设训练形状的所有部分都用给定的标签集进行注释。然而，这种假设对于学习细粒度分割是不切实际的。虽然大多数现成的CAD模型在构造上都是由细粒度的部分组成的，但它们通常会丢失语义标记，并且标记这些细粒度的部分是非常繁琐的。我们使用深度聚类来解决这个问题，其中的关键思想是从具有细粒度分割但没有部分标签的形状数据集中学习部分先验。给定采样点的三维形状，我们建立了一个相似性矩阵的点的聚类先验模型，并通过最小化一个新的低秩损失实现部分分割。为了处理高密度采样点集，我们采用了分而治之的策略。我们将大的点集划分为若干块。每个块使用以类别不可知的方式训练的基于深度聚类的部分先验网络进行分割。然后我们训练一个图卷积网络来合并所有块的片段以形成最终的分割结果。我们的方法进行评估具有挑战性的基准细粒度分割，显示国家的最先进的性能。
2022-01-13 cs.CV
Fine-Grained Segmentation Networks: Self-Supervised Segmentation for Improved Long-Term Visual Localization
Chalmers University of Technology（查尔姆斯理工大学）
长期视觉定位是在外观随时间变化的场景中估计给定查询图像的相机姿态的问题。这是实践中的一个重要问题，例如在自动驾驶中遇到的问题。为了获得对这种变化的鲁棒性，长期定位方法通常使用分段分割作为不变的场景表示，因为每个场景部分的语义含义不应受到季节和其他变化的影响。然而，由于可用类别的数量有限，这些表示通常不是非常有区别的。在本文中，我们提出了一种新的神经网络，细粒度分割网络（FGSN），可用于提供图像分割与大量的标签，并可以在一个自我监督的方式进行训练。此外，我们还展示了如何训练FGSN在季节变化中输出一致的标签。我们通过大量的实验证明，将我们的FGSN产生的细粒度分割集成到现有的定位算法中，可以大大提高定位性能。
2019-08-18 cs.CV
Training-Free Fine-Grained Semantic Segmentations in Low Data Regimes: A FungiTastic Baseline
Covision Lab（Covision实验室）
本文提出了一种无需训练的两阶段框架，用于在低数据环境下实现细粒度语义分割，通过宏分类提示生成蘑菇掩码，并利用嵌入空间中的原型匹配进行细粒度标签分配，提高了可扩展性和分割成本。
2026-05-21 cs.CV
Dynamic Divide-and-Conquer Adversarial Training for Robust Semantic Segmentation
The Chinese University of Hong Kong（香港中文大学）；University of Oxford（牛津大学）；The University of Hong Kong（香港大学）；SmartMore（思谋科技）
对抗性训练有望提高深度神经网络对对抗性扰动的鲁棒性，特别是在分类任务上。相反，这种类型的训练对语义分割的影响才刚刚开始。我们通过制定一个通用的对抗性训练过程，可以在对抗性和干净的样本上表现良好，从而初步尝试探索语义分割的防御策略。我们提出了一种动态分治对抗训练（DDC-AT）策略，通过在训练过程中在目标模型中设置额外的分支，并处理具有不同属性的像素对对抗扰动，以提高防御效果。我们的动态划分机制将像素自动划分为多个分支。请注意，所有这些额外的分支可以在推理过程中放弃，因此不会留下额外的参数和计算成本。在PASCAL VOC 2012和Cityscapes数据集上对各种分割模型进行了广泛的实验，其中DDC-AT在白盒和黑盒攻击下都具有令人满意的性能。
2021-08-16 cs.CV
Pixel Level Data Augmentation for Semantic Image Segmentation using Generative Adversarial Networks
Beihang University（北京航空航天大学）；Keep Inc（Keep公司）
语义分割是计算机视觉的基本课题之一，它的目的是为图像中的每个像素分配语义标签。不平衡的语义标签分布可能对分割精度产生负面影响。在本文中，我们研究使用数据增强方法来平衡语义标签分布，以提高分割性能。我们建议使用生成对抗网络（GANs）来生成逼真的图像，以提高语义分割网络的性能。实验结果表明，该方法不仅可以提高对低精度类的分割性能，而且平均分割精度提高了1.3%~ 2.1%。实验结果表明，这种增强方法可以提高分割精度，并且可以很容易地应用到其他分割模型中。
2019-11-26 cs.CV
Hand Guided High Resolution Feature Enhancement for Fine-Grained Atomic Action Segmentation within Complex Human Assemblies
Newcastle University（纽卡斯尔大学）；Tharsus Ltd.（塔苏斯有限公司）
由于复杂的人类组装原子动作的快速时间和细粒度性质，需要对视频帧进行空间（并且通常是时间）下采样的传统动作分割方法通常会丢失制造领域内准确分类所需的重要细粒度空间和时间信息。为了充分利用更高分辨率的视频数据（通常在制造领域内收集），并促进实时的准确的动作分割-人类机器人协作所需的-我们提出了一种新的手位置引导的高分辨率特征增强模型。我们还提出了一种简单而有效的方法，通过在训练时使用环绕采样和在推理时使用时间感知标签清理，将离线训练的动作识别模型部署为实时的动作分割。我们评估我们的模型上的一个新的动作分割数据集，包含24（+背景）原子动作从视频数据的真实世界的机器人装配生产线。显示高分辨率的手功能以及传统的帧宽功能，提高了细粒度的原子动作分类，虽然时间感知标签清除我们的模型是能够超越类似的编码器/解码器的方法，同时允许实时的分类。
2022-11-24 cs.CV
Segment3D: Learning Fine-Grained Class-Agnostic 3D Segmentation without Manual Labels
Tsinghua University（清华大学）；ETH Zurich（苏黎世联邦理工学院）；Google（谷歌）；Microsoft（微软）
Segment3D利用2D分割基础模型自动生成训练标签，实现无需人工标注的类不可知3D场景分割，生成高质量细粒度掩码，并支持新数据持续提升性能。
2023-12-28 cs.CV
Towards Robust Fine-grained Recognition by Maximal Separation of Discriminative Features
EPFL（洛桑联邦理工学院）
对抗攻击已被广泛研究的一般分类任务，但仍未探索的细粒度识别的上下文中，类间的相似性促进攻击者的任务。在本文中，我们将细粒度识别网络中不同类别的潜在表示的接近度确定为对抗攻击成功的关键因素。因此，我们引入了一种基于注意力的正则化机制，该机制最大限度地分离不同类别的区别性潜在特征，同时最大限度地减少非区别性区域对最终类别预测的贡献。正如我们的实验所证明的那样，这使我们能够显着提高对对抗攻击的鲁棒性，达到匹配甚至超过对抗训练的程度，但不需要访问对抗样本。
2020-06-10 cs.CV
PartNet: A Large-scale Benchmark for Fine-grained and Hierarchical Part-level 3D Object Understanding
Stanford University（斯坦福大学）；University of California San Diego（加州大学圣迭戈分校）；Simon Fraser University（西蒙弗雷泽大学）；Intel AI Lab（英特尔人工智能实验室）
我们提出了PartNet：一个一致的，大规模的3D对象数据集，用细粒度，实例级和层次化的3D零件信息进行注释。我们的数据集包括573，585个零件实例，超过26，671个3D模型，涵盖24个对象类别。该数据集支持并充当许多任务的催化剂，例如形状分析，动态3D场景建模和模拟，启示分析等。使用我们的数据集，我们建立了三个基准任务评估三维零件识别：细粒度的语义分割，层次语义分割，和实例分割。我们对四种用于细粒度语义分割的最先进的3D深度学习算法和三种用于分层语义分割的基线方法进行了基准测试。我们还提出了一种新的方法部分实例分割，并证明其优越的性能比现有的方法。
2018-12-06 cs.CV
Towards Fine-grained Large Object Segmentation 1st Place Solution to 3D AI Challenge 2020 -- Instance Segmentation Track
School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院）；University of Science and Technology of China（中国科学技术大学）
该报告提出以 PointRend 为基础并集成 5 个模型，解决 3D-FUTURE 中大目标的细粒度实例分割问题，在 3D AI Challenge 2020 验证与测试排行榜均获第一。
2024-04-04 cs.CV
DETR-based Layered Clothing Segmentation and Fine-Grained Attribute Recognition
The Hong Kong Polytechnic University（香港理工大学）
本文提出基于DETR的多层注意力模块，聚合多尺度特征以提升分层服装分割与细粒度属性识别精度，并在Fashionpedia数据集上超越现有SOTA模型。
2023-04-17 cs.CV
Adversarially Robust Prototypical Few-shot Segmentation with Neural-ODEs
Indian Institute of Technology Delhi（德里印度理工学院）；Manipal Institute of Technology（马尼帕尔理工学院）；Chennai Mathematical Institute（金奈数学研究所）
少样本学习（FSL）方法被用于数据不丰富的环境中。这在医学领域中尤其明显，其中获得注释是昂贵的。深度神经网络已被证明容易受到对抗攻击的攻击。由于缺乏大量的训练样本，这在FSL的情况下甚至更加严重。在本文中，我们提供了一个框架，使Few-Shot分割模型在医疗领域具有对抗性，这种攻击可能会严重影响使用它们的临床医生所做的决定。我们提出了一种新的强大的Few-Shot分割框架，原型神经常微分方程（PNODE），提供了对基于梯度的对抗攻击的防御。我们表明，与传统的对抗性防御机制（如对抗性训练）相比，我们的框架更强大。对抗性训练涉及增加训练时间，并根据训练期间看到的对抗性示例的类型对有限类型的攻击显示出鲁棒性。我们提出的框架可以很好地推广到常见的对抗攻击，如FGSM，PGD和SMIA，同时具有与现有的Few-Shot分割模型相当的模型参数。我们通过攻击支持集和查询集，在域内和跨域设置中，在三个公开的多器官分割数据集上展示了我们所提出的方法的有效性，而无需进行ad-hoc对抗训练。
2022-10-07 cs.CV
Automatic Liver Segmentation with Adversarial Loss and Convolutional Neural Network
Ortadoğu Teknik Üniversitesi（中东技术大学）
医学图像的自动分割是医学信息领域的一项重要工作，它节省了专家的时间，避免了人为因素的影响。在这项工作中，提出了一种基于条件对抗网络和全卷积网络的方法用于肝脏MRI的自动分割。该方法无需任何后处理，在2018年SIU肝脏分割挑战赛中获得第二名，其数据由Dokuz Eylül大学提供。在本文中，还提出了一些改进的后处理步骤，它表明，与这些补充，该方法优于其他基线方法。
2018-11-28 cs.CV
Adversarial Examples for Semantic Segmentation and Object Detection
The Johns Hopkins University（约翰斯·霍普金斯大学）；UCLA（加州大学洛杉矶分校）；Baidu Research USA（百度研究院美国分部）
已经很好地证明了对抗性的例子，即，添加了视觉上不可感知的扰动的自然图像通常存在于深度网络中，从而无法进行图像分类。在本文中，我们扩展了对抗性的例子，语义分割和目标检测，这是更困难的。我们的观察是，分割和检测都是基于对图像上的多个目标进行分类（例如，基本目标是分割中的像素或感受野以及检测中的对象提议），这启发我们在一组像素/提议上优化损失函数，用于生成对抗扰动。基于这一思想，我们提出了一种名为Dense Advertisement Generation（DAG）的新算法，该算法可以生成大量对抗性示例，并适用于各种最先进的深度网络进行分割和检测。我们还发现，对抗性扰动可以跨网络传输不同的训练数据，基于不同的架构，甚至不同的识别任务。特别是，具有相同架构的网络之间的可转移性比其他情况下更重要。此外，将异质扰动相加往往会得到更好的传输性能，这为黑盒对抗攻击提供了一种有效的方法。
2017-07-21 cs.CV
A Generative Victim Model for Segmentation
该研究从图像生成视角提出一种用于分割任务的生成式受害模型，无需专用分割模型即可生成对抗扰动，突破传统白盒/黑盒攻击思路，实验验证其生成的攻击有效且迁移性良好。
2024-12-10 cs.CV
Exposing Fine-Grained Adversarial Vulnerability of Face Anti-Spoofing Models
University of Chinese Academy of Sciences（中国科学院大学）；CASIA（中国科学院自动化研究所）；SenseTime Research（商汤科技研究院）
针对人脸反欺骗模型对抗脆弱性缺乏细粒度分析的问题，提出含多任务模块与SFA模块的分析框架，引入数据分布先验提升攻击效果，可用于筛选鲁棒组件及对抗训练以增强模型性能。
2023-05-02 cs.CV
Erosion Attack for Adversarial Training to Enhance Semantic Segmentation Robustness
Huazhong University of Science and Technology（华中科技大学）；National University of Singapore（新加坡国立大学）；Griffith University（格里菲斯大学）
本文提出EroSeg-AT框架，通过生成具有上下文语义关系的对抗示例，提升语义分割模型在对抗攻击下的鲁棒性。
2026-01-21 cs.CV
Uncertainty-based Detection of Adversarial Attacks in Semantic Segmentation
Technical University of Berlin, Germany（柏林技术大学）；Ruhr University Bochum, Germany（波鸿鲁尔大学）
本文提出基于不确定性的方法，用于检测语义分割中的对抗攻击，通过分析输出分布熵差异实现轻量级后处理检测。
2024-01-15 cs.CV
Context-aware virtual adversarial training for anatomically-plausible segmentation
Ecole de technologie supérieure（高等技术学院）；Shandong University（山东大学）
尽管具有出色的准确性，但基于深度神经网络的半监督分割方法仍然可以产生临床医生认为在解剖学上不可能的预测，例如，包含孔或断开的区域。为了解决这个问题，我们提出了一个上下文感知的虚拟对抗训练（CaVAT）方法生成解剖学上合理的分割。与只关注准确性的方法不同，我们的方法还考虑了复杂的拓扑约束，如连接性，这不能很容易地在可微损失函数中建模。我们使用对抗性训练来生成违反约束的示例，因此网络可以学习避免对新示例进行这种错误的预测，并使用Reinforce算法来处理不可微的分割约束。所提出的方法提供了一种通用且有效的方法来在任何分割网络上添加任何约束。两个临床相关的数据集上的实验表明，我们的方法产生的分割是准确的和解剖学上合理的区域连接。
2021-07-13 cs.CV
Conditional Adversarial Network for Semantic Segmentation of Brain Tumor
Hasso Plattner Institute for Digital Engineering（哈索·普拉特纳数字工程研究院）
医学图像自动分析在疾病诊断和治疗中具有重要的应用价值。由于脑肿瘤在磁共振图像中的不同表现和形状的差异，使得脑肿瘤的分割具有特殊的重要性和难度。此外，与计算机视觉问题相比，数据集是异构的，并且通常在大小上是有限的。最近提出的对抗性训练在生成图像建模中表现出了很好的效果。在本文中，我们提出了一种新的端到端的可训练架构的脑肿瘤语义分割通过条件对抗训练。我们利用条件生成对抗网络（cGAN）并训练语义分割卷积神经网络（CNN）以及对抗网络，该对抗网络区分来自地面实况或来自BraTS 2017分割任务的分割网络的分割图[15，4，2，3]。我们还提出了一种端到端的可训练CNN，用于基于深度学习技术的生存日预测，用于BraTS 2017预测任务[15，4，2，3]。实验结果表明，所提出的方法对这两个任务的优越能力。该模型对整个肿瘤的DICE评分、灵敏度和特异性分别为0.68、0.99和0.98，实现了在线判断系统。
2017-08-17 cs.CV
ASM-UNet: Adaptive Scan Mamba Integrating Group Commonalities and Individual Variations for Fine-Grained Segmentation
提出ASM-UNet架构，通过结合群体共性与个体差异生成适应性扫描分数以动态指导扫描顺序，解决了细粒度分割中固定扫描顺序的局限，在多个数据集上的CGS和FGS任务中均取得优越性能。
2025-08-10 cs.CV
Duo-SegNet: Adversarial Dual-Views for Semi-Supervised Medical Image Segmentation
Monash University（莫纳什大学）
图像分割是医疗AI中的一个长期挑战。这主要是由于训练神经网络来执行图像分割需要大量的像素级注释数据，而这些数据通常是不可用的。为了解决这个问题，我们提出了一个半监督的图像分割技术的基础上的多视图学习的概念。与之前的技术相比，我们引入了一种对抗形式的双视图训练，并采用批评家将多视图训练中的学习问题制定为最小-最大问题。在几个数据集上进行的全面的定量和定性评估表明，我们提出的方法一致且舒适地优于最先进的医学图像分割算法。该代码可在https://github.com/himashi92/Duo-SegNet上公开获取
2021-08-25 cs.CV
Bitewing Radiography Semantic Segmentation Base on Conditional Generative Adversarial Nets
目前，咬翼类X光图像的分割是一个非常具有挑战性的任务。研究的重点是将其细分为龋齿，釉质，牙本质，牙髓，牙冠，修复和根管治疗。现阶段对咬翼片图像进行语义分割的主要方法是U型深卷积神经网络，但其准确率较低。为了提高咬翼片图像语义分割的准确性，提出了将条件生成对抗网络（cGAN）与U形网络结构（U-Net）相结合的方法用于咬翼片图像的语义分割。实验结果表明，cGAN结合U-Net的准确率为69.7%，比U形深卷积神经网络的准确率56.4%提高了13.3%。
2018-02-07 cs.CV
Enhancing Robustness of Indoor Robotic Navigation with Free-Space Segmentation Models Against Adversarial Attacks
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本研究针对室内机器人导航中深度学习分割模型易受对抗攻击的问题，提出了一种结合新颖距离损失函数的增强型对抗训练方法，通过最小化干净与对抗图像隐藏层间的差距，有效提升了模型抵御对抗扰动的鲁棒性。
2024-02-13 cs.CV
Few-shot 3D Multi-modal Medical Image Segmentation using Generative Adversarial Learning
École de technologie Superieure (ETS)（高等技术学院（ETS））；IIT Kharagpur（印度理工学院卡拉格布尔分校）
我们解决的问题，分割三维多模态医学图像的情况下，很少标记的例子可用于训练。利用对抗学习最近在半监督分割方面的成功，我们提出了一种基于生成对抗网络（GANs）的新方法，用标记和未标记图像训练分割模型。该方法通过学习区分由生成器网络获得的真补丁和假补丁来防止过拟合。我们的工作扩展了当前的对抗性学习方法，这些方法专注于2D单模态图像，以适应更具挑战性的多模态3D体积。在从iSEG-2017和MRBrainS 2013数据集分割脑MRI的问题上评估所提出的方法。显着的性能改进的报告，相比，在完全监督的方式训练的最先进的分割网络。此外，我们的工作还对不同的GAN架构进行了全面的分析，用于半监督分割，显示了最近的技术，如特征匹配，以产生比传统对抗训练方法更高的性能。我们的代码可在https://github.com/arnab39/FewShot_GAN-Unet3D上公开获取
2018-10-29 cs.CV
