Cross Modal Distillation for Supervision Transfer
University of California, Berkeley（加州大学伯克利分校）
在这项工作中，我们提出了一种技术，从不同的方式之间的图像转移监督。我们使用从一个大的标记模态学习的表示作为监督信号，用于训练表示一个新的未标记的成对模态。我们的方法可以学习未标记模态的丰富表示，并且可以用作具有有限标记数据的新模态的预训练过程。我们展示了实验结果，其中我们将监督从标记的RGB图像转移到未标记的深度和光流图像，并展示了这些跨模态监督转移的巨大改进。代码、数据和预训练模型可在https://github.com/s-gupta/fast-rcnn/tree/distillation上获得
2015-11-25 cs.CV
Two-stage MR Image Segmentation Method for Brain Tumors based on Attention Mechanism
提出基于注意力机制的CASP-GAN生成网络和AGCMS分割方法，实现脑肿瘤多模态MR图像的高质量生成与分割，在PSNR、SSMI和RMSE上优于现有方法。
2023-10-10 cs.CV cs.LG eess.IV
Robust Semi-supervised Multimodal Medical Image Segmentation via Cross Modality Collaboration
The Chinese University of Hong Kong（香港中文大学）
本文提出一种鲁棒的半监督多模态医学图像分割框架，通过跨模态协作蒸馏模态无关知识并结合通道级语义一致性损失与对比一致学习，有效应对标注数据稀缺和模态不对齐问题，在多个医学分割任务中取得竞争性性能。
2024-09-04 cs.AI cs.CV eess.IV
Learning High-Resolution Domain-Specific Representations with a GAN Generator
Samsung AI（三星人工智能中心）
近年来，视觉数据的生成模型取得了很大的进展，能够生成高质量和多样性的图像。在这项工作中，我们研究表示学习的GAN发电机。首先，我们表明，这些表示可以很容易地投影到语义分割地图使用轻量级解码器。我们发现，这样的语义投影可以从几个注释的图像。基于这一发现，我们提出了LayerMatch方案，用于近似GAN生成器的表示，该生成器可用于无监督的特定领域预训练。我们考虑半监督学习的情况下，少量的标记数据是可用的，随着一个大的未标记的数据集从同一个域。我们发现，与ImageNet上的标准监督预训练相比，使用LayerMatch预训练的主干可以获得更高的准确性。此外，这种简单的方法也优于最近的半监督语义分割方法，这些方法在训练期间使用标记和未标记的数据。复制我们实验的源代码将在出版时提供。
2020-06-18 cs.CV
DualGAN: Unsupervised Dual Learning for Image-to-Image Translation
Memorial University of Newfoundland（纽芬兰纪念大学）；Simon Fraser University（西蒙弗雷泽大学）
用于跨域图像到图像翻译的条件生成对抗网络（GANs）最近取得了很大进展。根据任务的复杂性，需要数千到数百万的标记图像对来训练条件GAN。然而，人工标记是昂贵的，甚至是不切实际的，并且大量的数据可能并不总是可用的。受自然语言翻译的双重学习的启发，我们开发了一种新的双重GAN机制，该机制使图像翻译器能够从两个领域的两组未标记图像中进行训练。在我们的架构中，原始GAN学习将图像从域U转换到域V中的图像，而双重GAN学习反转任务。由原始任务和双重任务形成的闭环允许来自任一域的图像被翻译，然后被重建。因此，可以使用考虑图像的重建误差的损失函数来训练翻译器。在多个未标记数据的图像翻译任务上的实验表明，DualGAN比单个GAN有相当大的性能增益。对于某些任务，DualGAN甚至可以实现与在完全标记数据上训练的条件GAN相当或略好的结果。
2018-10-09 cs.CV
CD-GAN: a robust fusion-based generative adversarial network for unsupervised remote sensing change detection with heterogeneous sensors
Southwest Minzu University（西南民族大学）；University of Toulouse（图卢兹大学）；University of Electronic Science and Technology of China（电子科技大学）
本文提出CD-GAN，将异构光学传感器变化检测转化为鲁棒融合问题，通过把预训练融合网络嵌入对抗框架实现无监督变化检测，实验证明其通用有效。
2023-11-29 cs.CV cs.LG eess.IV
Multimodal Clustering Networks for Self-supervised Learning from Unlabeled Videos
Columbia University（哥伦比亚大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；University of Central Florida（中佛罗里达大学）；Goethe University Frankfurt（法兰克福大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research AI（IBM研究院人工智能部门）；UT Austin（德克萨斯大学奥斯汀分校）；NYU（纽约大学）
多模态自监督学习正受到越来越多的关注，因为它不仅允许在没有人类监督的情况下训练大型网络，而且还可以跨各种模态搜索和检索数据。在这种情况下，本文提出了一个自我监督的训练框架，学习一个共同的多模态嵌入空间，除了在不同的模态共享表示，强制执行一组语义相似的实例。为此，我们扩展了实例级对比学习的概念，在训练管道中使用多模态聚类步骤来捕获模态之间的语义相似性。由此产生的嵌入空间可以在所有模态中检索样本，甚至可以从看不见的数据集和不同的域中检索。为了评估我们的方法，我们在HowTo100 M数据集上训练我们的模型，并在两个具有挑战性的领域评估其zero-shot检索能力，即文本到视频检索和时间动作定位，在四个不同的数据集上显示最先进的结果。
2021-09-03 cs.CV
Crossing Nets: Combining GANs and VAEs with a Shared Latent Space for Hand Pose Estimation
ETH Zürich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）；University of Bonn（波恩大学）
用于从深度图像估计3D手部姿势的现有技术方法需要大量的带注释的训练数据。我们建议使用具有共享潜在空间的两个深度生成模型来建模3D手部姿势和相应深度图像的统计关系。通过设计，我们的架构允许以半监督的方式从未标记的图像数据中学习。假设姿势和深度图之间的一对一映射，共享潜在空间中的任何给定点都可以被投影到手部姿势和对应的深度图中。然后，可以通过学习一个递归来估计潜在姿势的后验，给出一些深度图来回归手部姿势。为了提高泛化能力并更好地利用未标记的深度图，我们联合训练生成器和训练器。在每次迭代时，生成器都使用来自于SVM的反向传播梯度进行更新，以合成铰接手的真实深度图，而SVM则受益于合成和未标记样本的增强训练集。所提出的网络架构是高效的，在CPU上以90 FPS的速度运行，其精度与3个公开可用的基准测试的最新技术相当或更好。
2017-07-18 cs.CV
SA-GAN: Structure-Aware GAN for Organ-Preserving Synthetic CT Generation
Wayne State University（韦恩州立大学）；University of Michigan（密歇根大学）；University of Wisconsin Madison（威斯康星大学麦迪逊分校）
在医学图像合成中，由于不同模态的图像之间的不一致性，即使是同一患者，模型训练也可能具有挑战性，这通常是由内部状态/组织变化引起的，因为不同模态通常是在不同时间获得的。本文提出了一种新的深度学习方法，结构感知生成对抗网络（SA-GAN），它在生成医学图像时保留了不一致结构的形状和位置。SA-GAN用于从具有两个并行流的磁共振成像（MRI）生成合成计算机断层扫描（synCT）图像：全局流将来自MRI的输入转换到CT域，而局部流自动分割不一致的器官，保持它们在MRI中的位置和形状，并将器官强度转换到CT。通过对骨盆数据集的广泛实验，我们证明了SA-GAN在synCT和器官分割方面提供了临床上可接受的准确性，并支持在内部器官状态变化的疾病部位进行仅MR治疗计划。
2021-09-14 cs.CV eess.IV
Multimodal Conditional Image Synthesis with Product-of-Experts GANs
NVIDIA（英伟达）
现有的条件图像合成框架基于单个模态中的用户输入（诸如文本、分割、草图或样式参考）来生成图像。他们往往无法利用多模态用户输入时，这降低了他们的实用性。为了解决这一限制，我们提出了专家产品生成对抗网络（PoE-GAN）框架，它可以合成基于多个输入模态或其中任何子集（甚至是空集）的图像。PoE-GAN由一个专家乘积生成器和一个多模式多尺度投影映射器组成。通过我们精心设计的训练方案，PoE-GAN学会合成高质量和多样性的图像。除了推进多模态条件图像合成的最新技术外，在单峰设置中进行测试时，PoE-GAN还优于现有的最佳单峰条件图像合成方法。该项目的网站是https://deepimagination.github.io/PoE-GAN。
2021-12-09 cs.CV
3N-GAN: Semi-Supervised Classification of X-Ray Images with a 3-Player Adversarial Framework
Saratoga High School（萨拉托加高中）
深度学习在医学成像任务（如分类）中的成功在很大程度上依赖于大规模数据集的可用性。然而，获取具有大量标记数据的数据集具有挑战性，因为标记是昂贵且耗时的。半监督学习（SSL）是完全监督学习的一种日益增长的替代方案，但需要未标记的样本进行训练。在医学成像中，许多数据集完全缺乏未标记的数据，因此SSL无法常规使用。我们提出了3 N-GAN或3网络生成对抗网络，以在全监督设置中执行医学图像的半监督分类。我们将一个分类器纳入对抗关系中，这样生成器就可以对抗分类器和分类器进行训练。我们的初步结果表明，改进的分类性能和GAN代各种算法。我们的工作可以与许多其他医学成像模型架构和SSL方法无缝集成，以获得更高的性能。
2021-09-22 cs.CV cs.LG eess.IV
Adversarial Inpainting of Medical Image Modalities
许多因素会导致医学图像的局部劣化。例如，金属植入物将导致MRI扫描中的局部扰动。这将影响进一步的后处理任务，例如PET/MRI或放射治疗计划中的衰减校正。在这项工作中，我们提出了通过生成对抗网络（GANs）修复医学图像。建议的框架采用了两个补丁为基础的修复网络与额外的风格和感知损失的修复丢失的信息，在现实的详细和上下文一致的方式。所提出的框架优于其他自然图像修补技术的定性和定量两种不同的医疗模式。
2018-10-15 cs.CV
A Self-supervised GAN for Unsupervised Few-shot Object Recognition
Oregon State University（俄勒冈州立大学）
本文讨论了无监督的Few-Shot对象识别，其中所有的训练图像是未标记的，测试图像被划分为查询和一些标记的支持图像，每个对象类的兴趣。训练图像和测试图像不共享对象类。我们扩展了香草GAN与两个损失函数，都旨在自监督学习。第一个是重建损失，其强制所述解码器重建已用于生成“假”图像的概率采样的潜码。第二个是三重丢失，它强制编码器输出更相似图像的更接近的图像编码。在Few-Shot分类的背景下进行评价、比较和详细的消融研究。我们的方法在Mini-Imagenet和Tiered-Imagenet数据集上的表现明显优于最先进的方法。
2020-10-19 cs.CV
MIST GAN: Modality Imputation Using Style Transfer for MRI
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；Healthcare Technology Innovation Centre（医疗技术创新中心）；Sri Rama Chandra Institute of Higher Education and Research（斯里·拉马·钱德拉高等教育与研究所）
MRI需要大量的成本、时间和精力来生成推荐用于有效诊断和治疗计划的所有模态。深度学习研究的最新进展表明，生成模型在风格迁移和图像合成方面取得了实质性的改进。在这项工作中，我们制定了从现有的MR模式作为一个插补问题，使用风格转移产生缺失的MR模式。通过多对一的映射，我们建立了一个网络模型，该网络在生成目标图像时可以容纳特定领域的风格。我们分析了MR模式内部和之间的风格多样性。我们的模型在BraTS'18数据集上进行了测试，观察到所获得的结果在视觉指标，SSIM和PSNR方面与最先进的水平相当。经过两名放射科专家的评估，我们证明了我们的模型是有效的，可扩展的，适合于临床应用。
2022-02-21 cs.CV eess.IV
Twin-GAN -- Unpaired Cross-Domain Image Translation with Weight-Sharing GANs
Google（谷歌）
我们提出了一个框架，用于将未标记的图像从一个域转换为另一个域中的模拟图像。我们采用了一个逐步增长的跳跃连接的编码器-生成器结构，并训练它与GAN损失的现实输出，一个周期的一致性损失，以保持相同的域翻译身份，和语义一致性损失，鼓励网络保持输入的语义特征的输出。我们将我们的框架应用于翻译人脸图像的任务，并表明它能够学习人脸图像的语义映射，而无需监督的一对一图像映射。
2018-08-26 cs.AI cs.CV cs.LG
Artistic Object Recognition by Unsupervised Style Adaptation
University of Pittsburgh（匹兹堡大学）
计算机视觉系统目前缺乏可靠地识别艺术渲染对象的能力，尤其是当这种数据有限时。在本文中，我们提出了一种方法来识别艺术形式（如绘画，卡通，或素描）的对象，而不需要任何标记的数据，从这些形式。我们的方法明确占文体域之间和域内的变化。为此，我们引入了一种互补的训练模式，该模式在艺术风格上与目标领域相似，并强制网络学习两种训练模式之间不变的特征。我们展示了如何通过使用风格转移技术自动生成这种人工标记的源域，使用不同的目标图像来表示目标域中的风格。与需要大量未标记目标数据的现有方法不同，我们的方法可以处理多达10个未标记图像。我们评估了一些跨域的对象和场景分类任务，并在一个新的数据集，我们发布。我们的实验表明，我们的方法，虽然概念上简单，显着提高了准确性，现有的领域自适应技术获得的艺术对象识别。
2018-12-28 cs.CV
Semantic Map Injected GAN Training for Image-to-Image Translation
Indian Institute of Information Technology, Sri City（印度信息技术学院斯里城校区）；Indian Institute of Information Technology, Allahabad（印度信息技术学院阿拉哈巴德校区）；DRDO Young Scientist Laboratory - Artificial Intelligence (DYSL-AI)（印度国防研究与发展组织青年科学家实验室-人工智能）
图像到图像的转换是最近的趋势，将图像从一个域到另一个域使用生成对抗网络（GAN）。现有的GAN模型仅利用输入和输出的转换模态来执行训练。在本文中，我们执行的语义注入训练的GAN模型。具体来说，我们用原始的输入和输出模态进行训练，并为从输入到语义映射的翻译注入几个训练阶段。让我们将原始训练称为用于将输入图像转换到目标域的训练。在原始训练中注入语义训练提高了训练后的GAN模型的泛化能力。此外，它还保留了分类信息，在生成的图像中以更好的方式。语义图仅在训练时使用，在测试时不需要。实验使用最先进的GAN模型在CityScapes和RGB-NIR立体数据集上进行。与原始训练相比，我们观察到注入语义训练后SSIM，FID和KID分数的改善性能。
2021-12-03 cs.CV eess.IV
Unsupervised Adversarial Attacks on Deep Feature-based Retrieval with GAN
Renmin University of China（中国人民大学）
研究表明，基于深度神经网络（DNN）的图像分类模型容易受到恶意构建的对抗性样本的攻击。然而，很少有人研究基于DNN的图像检索模型如何受到此类攻击的影响。在本文中，我们引入了无监督对抗攻击与生成对抗网络（UAA-GAN）来攻击基于深度特征的图像检索系统。UAA-GAN是一种无监督学习模型，只需要少量未标记的数据进行训练。一旦经过训练，它会对查询图像产生特定于查询的扰动，以形成对抗性查询。其核心思想是确保附加的扰动是几乎察觉不到的人，但有效地推动查询远离其在深特征空间中的原始位置。UAA-GAN适用于各种基于深度特征的应用场景，包括图像检索，人员Re-ID和人脸搜索。实验结果表明，UAA-GAN削弱检索性能没有显着的视觉变化的查询图像。UAA-GAN生成的对抗性示例不太可区分，因为它们倾向于在图像的纹理或突出区域（诸如人类的关键身体部位、主要结构模式/纹理或边缘）中而不是在视觉上不重要的区域（例如，背景和天空）。这种趋势表明，该模型确实学会了如何玩弄图像检索系统和人眼。
2019-07-12 cs.CV
Coupled Generative Adversarial Network for Continuous Fine-grained Action Segmentation
Queensland University of Technology（昆士兰科技大学）
我们提出了一种新的条件GAN（cGAN）模型连续细粒度的人体动作分割，利用多模态数据和学习场景上下文信息。所提出的方法利用两个GANs：称为动作GAN和辅助GAN，其中动作GAN被训练为在当前RGB帧上操作，而辅助GAN利用补充信息，例如深度或光流。两个GANs的目标都是生成类似的“动作代码”，即当前动作的矢量表示。为了促进这一过程的上下文提取器，结合数据和最近的输出，从两种模式被用来提取上下文信息，以帮助识别。其结果是一个经常性的GAN架构，学习任务特定的损失函数从多个功能模态。对所提出的模型的变体进行了广泛的评估，以显示在所提出的网络中利用不同信息流（如上下文和辅助信息）的重要性;并表明我们的模型能够在三个广泛使用的数据集上表现优于最先进的方法：50沙拉，MERL购物和佐治亚理工学院以自我为中心的活动，包括静态和动态相机设置。
2019-09-20 cs.CV
Repurposing GANs for One-shot Semantic Part Segmentation
VISTEC（泰国维斯特克科技学院）
虽然GANs在真实图像生成方面取得了成功，但将GANs用于与合成无关的其他任务的想法尚未得到充分探索。GANs在尝试复制对象的过程中是否学习了对象的有意义的结构部分？在这项工作中，我们测试了这一假设，并提出了一种简单有效的方法，基于GANs的语义部分分割，只需要一个标签的例子以及一个未标记的数据集。我们的关键思想是利用经过训练的GAN从输入图像中提取像素级表示，并将其用作分割网络的特征向量。我们的实验表明，GANs表示是“容易区分的”，并产生令人惊讶的良好结果，与使用更多标签训练的监督基线的结果相当。我们相信这种新颖的GANs再利用是一类新的无监督表示学习的基础，它适用于许多其他任务。更多结果请访问https://repurposegans.github.io/。
2021-07-05 cs.CV cs.LG
MIR-GAN: Refining Frame-Level Modality-Invariant Representations with Adversarial Network for Audio-Visual Speech Recognition
Nanyang Technological University（南洋理工大学）；University of Aberdeen（阿伯丁大学）
本文提出MIR-GAN对抗网络，通过细化帧级模态不变表示来弥合音视频语音识别中模态分布差距，在LRS3和LRS2基准上超越现有最优方法。
2023-06-18 cs.CV cs.MM cs.SD
MEGAN: Mixture of Experts of Generative Adversarial Networks for Multimodal Image Generation
Korea University（高丽大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
最近，生成对抗网络（GANs）在生成逼真图像方面表现出了良好的性能。然而，它们通常难以在给定数据集中学习复杂的底层模式，导致生成的图像质量差。为了解决这个问题，我们提出了一种名为混合专家模型GAN（MEGAN）的新方法，这是一种多生成器网络的集成方法。MEGAN中的每个生成器网络专门用于生成具有特定模态子集的图像，例如，形象课我们提出的模型不是包含一个单独的手工聚类多个模态的步骤，而是通过门控网络对多个生成器进行端到端学习来训练的，门控网络负责为给定条件选择合适的生成器网络。我们采用分类的重新参数化技巧，在选择生成器的同时保持梯度的流动。我们证明了单个生成器学习数据的不同和突出的子部分，并在CIFAR-10中实现了CelebA的多尺度结构相似性（MS-SSIM）得分为0.2470，并且具有竞争力的无监督初始得分为8.33。
2018-05-08 cs.CV
OSSGAN: Open-Set Semi-Supervised Image Generation
The University of Tokyo（东京大学）
我们介绍了一种具有挑战性的条件GANs训练方案，称为开集半监督图像生成，其中训练数据集由两部分组成：（i）标记数据和（ii）未标记数据，其中样本属于标记数据类之一，即闭集，样本不属于任何标记数据类，即开集。与现有的半监督图像生成任务不同，其中未标记的数据仅包含闭集样本，我们的任务更一般，并通过允许开集样本出现来降低实际中的数据汇集成本。由于熵正则化，在标记数据上训练的分类器能够量化样本对cGAN训练的重要性作为置信度，允许我们使用未标记数据中的所有样本。我们设计了OSSGAN，它根据未标记的图像是否属于感兴趣的类别之一或不属于感兴趣的类别，在训练过程中平滑地整合标记和未标记的数据，为训练提供决策线索。在Tiny ImageNet和ImageNet上的实验结果显示，与监督BigGAN和半监督方法相比，有显着的改进。我们的代码可在https://github.com/raven38/OSSGAN上获得。
2022-04-29 cs.CV
M3D-GAN: Multi-Modal Multi-Domain Translation with Universal Attention
SUNY Buffalo（纽约州立大学布法罗分校）；Microsoft Research（微软研究院）；Microsoft Cognition（微软认知）
生成对抗网络在跨模态/域翻译方面取得了重大进展。然而，通常这些网络是为特定任务（例如，对话生成或图像合成，但不是两者）。我们提出了一个统一的模型，M3 D-GAN，它可以在广泛的模式（例如，文本、图像和语音）和域（例如，图像中的属性或语音中的情感）。我们的模型包括模态转换器，将来自不同模态的数据转换为统一的表示，以及一个统一的计算主体，来自不同模态的数据共享相同的网络架构。我们引入了一个通用注意力模块，该模块与整个网络联合训练，并学会将大范围的领域信息编码到高度结构化的潜在空间中。我们用它来控制合成的新方法，如从草图中产生不同的现实图片或改变合成语音的情感。我们在广泛的基准任务上评估我们的方法，包括图像到图像，文本到图像，图像描述，文本到语音，语音识别和机器翻译。我们的研究结果显示了一些任务的最先进的性能。
2019-07-09 cs.CL cs.CV cs.LG
Deform-GAN:An Unsupervised Learning Model for Deformable Registration
形变配准是医学图像分析领域中最具挑战性的任务之一，特别是对于不同序列和模态之间的配准。提出了一种基于无监督学习的三维医学图像非刚性配准方法。据我们所知，这是首次尝试将梯度损失引入基于深度学习的配准。所提出的梯度损失在大变形的序列和模态之间是鲁棒的。此外，采用对抗学习方法将多模态相似度转化为单模态相似度，提高了识别精度。培训期间既不需要地面实况也不需要手动标记。我们在3D大脑配准任务上全面评估了我们的网络。实验结果表明，该方法可以处理非函数强度关系、噪声和模糊的数据。我们的方法优于其他方法，特别是在准确性和速度。
2020-02-26 cs.CV
Semi-supervised Complex-valued GAN for Polarimetric SAR Image Classification
Xidian University（西安电子科技大学）
极化合成孔径雷达（PolSAR）图像在灾害探测、军事侦察等方面有着广泛的应用，但其解译面临着一些挑战，如：针对传统对抗网络中存在的标记数据不足、数据信息利用不充分等问题，提出了一种复值生成对抗网络（GAN）。复数形式的模型符合极化SAR数据的物理机制，有利于利用和保留极化SAR数据的幅相信息。结合GAN结构和半监督学习来处理标记数据的不足。GAN对训练数据进行扩展，利用生成的、标记的和未标记的数据进行半监督学习训练网络。在两个基准数据集上的实验结果表明，我们的模型优于现有的最先进的模型，特别是在标记数据较少的情况下。
2019-06-09 cs.CV eess.IV
RGB-IR Cross-modality Person ReID based on Teacher-Student GAN Model
University of Technology Sydney（悉尼科技大学）
RGB-红外（RGB-IR）人物重新识别（ReID）是一种技术，当光线不可用时，系统可以自动识别出现在视频不同部分的同一个人。这一任务的关键挑战是不同模态下的特征的跨模态差距。为了解决这个问题，我们提出了一种师生GAN模型（TS-GAN GAN），它采用不同的域，引导ReID骨干网学习更好的ReID信息。(1)为了得到相应的RGB-IR图像对，使用RGB-IR生成对抗网络（GAN）生成IR图像。(2)为了启动身份培训，ReID教师模块在IR模态人物图像下进行了培训，然后用于指导其学生对应方进行培训。(3)同样，为了更好地适应不同的领域特征并增强模型ReID性能，使用了三个师生损失函数。与其他基于GAN的模型不同，该模型在测试阶段只需要骨干模块，从而使其更加高效和节省资源。为了展示我们的模型的能力，我们在新发布的SYSU-MM 01 RGB-IR Re-ID基准上进行了广泛的实验，并以49.8%的Rank-1和47.4%的mAP实现了优于最先进的性能。
2020-07-15 cs.CV
A Positive/Unlabeled Approach for the Segmentation of Medical Sequences using Point-Wise Supervision
University of Bern（伯尔尼大学）
快速注释医学成像数据的能力在训练用于分割的深度学习框架中起着关键作用。对于图像卷或视频序列，这样做甚至更加紧迫，因为注释这些内容特别繁重。为了缓解这个问题，这项工作提出了一种新的方法来有效地分割医学成像体积或视频，只使用逐点注释。这使得注释可以非常快速地收集，并且仍然适用于许多分割任务。我们的方法使用稀疏逐点注释，使用适当的正/未标记目标函数训练深度学习模型。虽然大多数这类方法假设数据中的阳性样本的比例是已知的先验，我们引入了一种新的自我监督的方法来估计这一先验有效地结合贝叶斯估计框架和新的停止标准。我们的方法迭代估计适当的类先验，并产生高分割质量的各种对象类型和成像方式。此外，通过利用时空跟踪框架，我们通过利用完整的数据量来规范我们的预测。我们的实验表明，我们的方法优于国家的最先进的方法针对同一问题。
2021-07-18 cs.CV
Learning Gaze-aware Compositional GAN
Fundación Vicomtech（维科姆泰克基金会）；Basque Research and Technology Alliance（巴斯克研究与技术联盟）；Clemson University（克莱姆森大学）；University of the Basque Country（巴斯克大学）；Ikerbasque（伊克巴斯克基金会）；Donostia International Physics Center（圣塞瓦斯蒂安国际物理中心）；Biofisika Institute（生物物理研究所）；Harvard John A. Paulson School of Engineering and Applied Sciences（哈佛大学约翰·A·保尔森工程与应用科学学院）；Boston College（波士顿学院）
本文提出一种感知注视方向的组合GAN生成框架，通过结合有限有标签数据与无标签数据域的多样性生成带注视标注的面部图像，有效提升了ETH-XGaze和CelebAMask-HQ数据集上注视估计DNN的训练效果，并支持图像编辑与注视重定向。
2024-05-31 cs.AI cs.CV
GAN Inversion for Image Editing via Unsupervised Domain Adaptation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Virginia（弗吉尼亚大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
针对现有GAN反演方法难以处理低质量图像的问题，提出基于无监督域适应的UDA-inversion方法，通过最小化目标域损失上界实现高低质量图像的有效反演与编辑，在FFHQ数据集上PSNR达22.14。
2024-05-30 cs.CV
Self-Supervised Spatial Correspondence Across Modalities
University of Michigan（密歇根大学）
本文提出一种基于对比随机游走和循环一致特征学习的自监督方法，无需对齐多模态数据即可实现RGB、深度、热红外等跨模态像素级对应，并在几何与语义匹配基准上表现优异。
2025-06-03 cs.CV
Unsupervised RGBD Video Object Segmentation Using GANs
Kyungpook National University（庆北国立大学）；Information Technology University (ITU)（信息技术大学）；University of Warwick（华威大学）
视频对象分割是许多高级视觉应用中的基本步骤。大多数现有的算法都是基于手工制作的特征，如HOG，超像素分割或基于纹理的技术，而最近发现深度特征更有效。现有的算法观察性能下降的存在下的挑战，如照明变化，阴影，和颜色伪装。为了应对这些挑战，我们提出了一种基于融合的运动对象分割算法，利用颜色以及深度信息，使用GAN，以达到更高的精度。我们的目标是在真实环境中，在具有挑战性的背景场景中分割移动对象。为了解决这个问题，GAN以无监督的方式独立于具有挑战性的视频序列对颜色和深度信息进行训练。在测试过程中，经过训练的GAN生成的背景与测试样本中的背景相似。然后将生成的背景样本与测试样本进行比较，以分割移动对象。最终结果通过融合两种模态（RGB和深度）中的对象边界来计算。我们提出的算法与公开数据集上的五种最先进的方法的比较表明，我们的算法在具有挑战性的真实场景中用于视频中的移动对象分割的强度。
2018-11-05 cs.CV
Evolving GAN Formulations for Higher Quality Image Synthesis
Apple Inc.（苹果公司）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Cognizant AI Labs（高知特人工智能实验室）
生成对抗网络（GANs）已经将深度学习扩展到跨不同数据模式的复杂生成和转换任务。然而，众所周知，GANs很难训练：训练过程中的模式坍塌和其他不稳定性通常会降低生成结果（如图像）的质量。本文提出了一种名为TaylorGAN的新技术，通过为两个网络中的每个网络发现定制的损失函数来改进GANs。将损失函数参数化为泰勒展开式，并通过多目标进化进行优化。在一个图像到图像的翻译基准任务，这种方法定性地提高了生成的图像质量和定量地提高了两个独立的GAN性能指标。因此，它为将来将GANs应用于更具挑战性的任务提供了一种有前途的方法。
2021-10-28 cs.CV cs.LG cs.NE
DeLiGAN : Generative Adversarial Networks for Diverse and Limited Data
Indian Institute of Science（印度科学院）
最近的一类用于生成图像的方法，称为生成对抗网络（GAN），已被用于生成对象、卧室、手写数字和各种其他图像模态的令人印象深刻的逼真图像。然而，典型的基于GAN的方法需要大量的训练数据来捕获图像模态的多样性。在本文中，我们提出了DeLiGAN --一种新的基于GAN的架构，用于不同和有限的训练数据场景。在我们的方法中，我们将潜在生成空间重新参数化为混合模型，并学习混合模型的参数以及GAN的参数。对GAN框架的这种看似简单的修改是令人惊讶的有效的，并且导致模型在生成的样本中实现多样性，尽管使用有限的数据进行训练。在我们的工作中，我们证明了DeLiGAN可以生成手写数字，对象和手绘草图的图像，所有这些都使用有限的数据量。为了定量表征生成的样本的类内多样性，我们还引入了一个修改后的版本的“inception-score”，已被发现与人类评估生成的样本相关的措施。
2017-06-07 cs.CV
ContIG: Self-supervised Multimodal Contrastive Learning for Medical Imaging with Genetics
Hasso Plattner Institute for Digital Engineering, University of Potsdam（波茨坦大学哈索·普拉特纳数字工程研究所）；TU Kaiserslautern（凯泽斯劳滕工业大学）；Hasso Plattner Institute for Digital Health at the Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院哈索·普拉特纳数字健康研究所）
高注释成本是将现代深度学习架构应用于临床相关医疗用例的一个重要瓶颈，这证实了对从未标记数据中学习的新算法的需求。在这项工作中，我们提出了ContIG，这是一种自监督方法，可以从未标记的医学图像和遗传数据的大型数据集中学习。我们的方法使用对比损失在特征空间中对齐图像和几种遗传方式。我们设计了我们的方法，将每个人的多个模态集成到同一个模型中，即使可用的模态因个人而异。我们的程序在所有评估的下游基准任务上都优于最先进的自监督方法。我们还采用了基于梯度的可解释性算法，以更好地理解图像和遗传方式之间的跨模态关联。最后，我们对模型学习到的特征进行全基因组关联研究，揭示图像和遗传数据之间有趣的关系。
2021-11-26 cs.AI cs.CV cs.LG
Generative Adversarial Networks (GAN) Powered Fast Magnetic Resonance Imaging -- Mini Review, Comparison and Perspectives
Imperial College London（伦敦帝国理工学院）；Royal Brompton Hospital（皇家布朗普顿医院）；Yantai University（烟台大学）；University of Cambridge（剑桥大学）；Beijing Institute of Technology（北京理工大学）
磁共振成像（MRI）是医学成像的重要组成部分。当与其他图像模态相比时，它具有诸如不存在辐射、优越的软组织对比度和互补的多序列信息等优点。然而，MRI的一个缺点是其与其他图像模态相比相对较慢的扫描和重建，当成像时间很关键时，限制了其在一些临床应用中的使用。传统的基于压缩感知的MRI（CS-MRI）重建可以加速MRI采集，但是遭受长迭代过程和噪声引起的伪影。最近，深度神经网络（DNN）已被用于稀疏MRI重建模型，以从严重欠采样的k空间数据中重建相对高质量的图像，从而实现更快的MRI扫描。然而，仍有一些障碍需要克服。例如，基于到目标完全采样图像的L1/L2距离直接训练DNN可能导致模糊重建，因为L1/L2损失只能强制执行整体图像或补丁相似性，而不考虑局部信息，如解剖清晰度。在保持自然外观的同时也很难保留精细的图像细节。最近，提出了基于生成对抗网络（GAN）的方法来解决具有增强的图像感知质量的快速MRI。编码器获得欠采样图像的潜在空间，并且解码器使用GAN损失来重建图像。在本章中，我们回顾了GAN驱动的快速MRI方法，并对各种解剖数据集进行了比较研究，以证明这种快速MRI的通用性和鲁棒性，同时提供未来的前景。
2021-05-04 cs.CV eess.IV
MedGAN: Medical Image Translation using GANs
University of Stuttgart（斯图加特大学）
图像到图像的转换被认为是医学图像分析领域的一个新的前沿，具有许多潜在的应用。然而，最近的方法中有很大一部分提供了基于特定任务架构的个性化解决方案，或者需要通过非端到端培训进行改进。在本文中，我们提出了一个新的框架，名为MedGAN，用于医学图像到图像的翻译，它以端到端的方式在图像级别上运行。MedGAN建立在生成对抗网络（GANs）领域的最新进展基础上，将对抗框架与非对抗损失的新组合相结合。我们利用一个神经网络作为一个可训练的特征提取器，惩罚翻译的医学图像和所需的模式之间的差异。此外，风格转移损失被用来匹配所需的目标图像的纹理和精细结构的翻译图像。此外，我们提出了一种新的生成器架构，名为CasNet，它通过编码器-解码器对的渐进式改进来增强翻译后的医学输出的清晰度。在没有任何特定应用修改的情况下，我们将MedGAN应用于三个不同的任务：PET-CT翻译，MR运动伪影校正和PET图像去噪。放射科医生的感知分析和定量评估表明，MedGAN优于其他现有的翻译方法。
2019-04-04 cs.CV
High-Fidelity Image Inpainting with Multimodal Guided GAN Inversion
Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（中国科学院大学杭州高等研究院）；University of North Texas（北得克萨斯大学）
针对现有GAN逆变换图像修复方法忽略未掩码区域一致性约束及单模态限制的问题，提出MMInvertFill，通过多模态引导编码器、F&W+潜在空间及软更新均值潜在模块，在六个数据集上超越现有方法，有效支持域外图像补全。
2025-04-17 cs.CV
Cross-Spectral Iris Matching Using Conditional Coupled GAN
West Virginia University（西弗吉尼亚大学）
跨光谱虹膜识别是一种很有前途的生物识别方法，用于身份认证的个人。然而，匹配虹膜图像在不同的光谱波段获取时，显示出显着的性能退化相比，单波段近红外（NIR）匹配由于在NIR和可见光（VIS）光谱中获得的虹膜图像之间的光谱间隙。虽然研究人员最近专注于基于深度学习的方法来恢复不变的代表性特征，以获得更准确的识别性能，但现有方法无法达到商业应用所需的预期准确性。因此，在本文中，我们提出了一个条件耦合生成对抗网络（CpGAN）架构的跨光谱虹膜识别的VIS和NIR虹膜图像投影到一个低维嵌入域，探索它们之间的隐藏关系。条件CpGAN框架由一对基于GAN的网络组成，一个负责在可见光域中检索图像，另一个负责在NIR域中检索图像。两个网络都试图将数据映射到一个公共的嵌入子空间，以确保来自同一受试者的两种虹膜模态的特征向量之间的最大成对相似性。为了证明我们所提出的方法的有用性，在PolyU数据集上获得的大量实验结果与现有的最先进的交叉光谱识别方法进行了比较。
2020-10-09 cs.CV
Incorporating Semi-Supervised and Positive-Unlabeled Learning for Boosting Full Reference Image Quality Assessment
Harbin Institute of Technology（哈尔滨工业大学）；Dalian Maritime University（大连海事大学）；Peng Cheng Laboratory（鹏城实验室）
全参考图像质量评价（Full-reference image quality assessment，IQA）通过测量失真图像与原始图像质量参考图像的视觉差异来评价失真图像的视觉质量，已广泛应用于低水平视觉任务。在训练FR-IQA模型时，需要使用具有平均意见得分（MOS）的成对标记数据，但这些数据的收集耗时且繁琐，而未标记数据则可以从图像退化或恢复过程中轻松收集，因此利用未标记训练数据来提高FR-IQA性能是一个很有前途的研究方向。此外，由于标记数据和未标记数据之间的分布不一致性，未标记数据中可能会出现离群值，进一步增加了训练难度。在本文中，我们建议结合半监督和正未标记（PU）学习来利用未标记数据，同时减轻离群值的不利影响。特别地，通过将所有标记的数据视为正样本，PU学习被利用来识别负样本（即，离群值）。半监督学习（SSL）进一步部署，利用积极的未标记的数据，动态生成伪MOS。我们采用了一个双分支网络，包括参考和失真分支。此外，在参考分支中引入空间注意力，使其更集中于信息区域，并使用切片Wasserstein距离进行稳健的差异图计算，以解决由GAN模型恢复的图像引起的错位问题。大量的实验表明，我们的方法在基准数据集PIPAL，KADID-10 k，TID 2013，LIVE和CSIQ上的性能优于最先进的方法。
2022-04-19 cs.CV eess.IV
MOC-GAN: Mixing Objects and Captions to Generate Realistic Images
Shanghai AI Laboratory（上海人工智能实验室）；SenseTime（商汤科技）
基于条件描述的图像生成技术近年来受到越来越多的关注。然而，现有的条件输入遭受非结构化形式（字幕）或有限的信息和昂贵的标签（场景图）。对于一个目标场景，核心项目，对象，通常是明确的，而它们的相互作用是灵活的，很难清楚地定义。因此，我们引入了一个更合理的设置，从对象和标题生成逼真的图像。在此设置下，对象显式定义目标图像中的关键角色，标题隐式描述其丰富的属性和连接。相应地，提出了一种MOC-GAN来混合两种模态的输入以生成逼真的图像。该方法首先从字幕中推断出对象对之间的隐含关系，建立隐藏状态场景图。因此，一个包含对象，关系和字幕的多层表示被构造，其中场景图提供场景的结构和字幕提供图像级的指导。然后设计了一个级联的注意生成网络，通过关注字幕中最相关的词来从粗到精生成短语补丁。此外，一个短语明智的DAMSM提出了更好地监督细粒度的短语补丁的一致性。在COCO数据集上，我们的方法在Inception Score和FID上都优于最先进的方法，同时保持高的视觉质量。大量的实验证明了我们所提出的方法的独特功能。
2021-06-06 cs.CV
Generative Adversarial Networks for MR-CT Deformable Image Registration
ETH Zurich（苏黎世联邦理工学院）
MR和CT图像的形变图像配准（Deformable Image Registration，简称形变图像配准）是最具挑战性的配准任务之一，这是由于模态固有的结构差异和丢失的密集地面真值造成的。最近，循环生成对抗网络（cycle-GAN）已被用于学习这两种模式之间的强度关系，用于未配对的大脑数据。然而，它对艾滋病的有用性没有得到评估。在这项研究中，我们评估了循环GAN合成后的胸部和腹部器官的性能。我们表明，几何变化，区分两个群体（如吸气与呼气），很容易合成。这对于依赖于在真实图像和合成图像之间保持空间对应的任何应用（例如，计划、分割、界标传播）都造成实质性问题。为了缓解这个问题，我们研究了通过减小其感受野的大小来减少提供给神经元的空间信息。图像合成从17个未配对的受试者每模态学习。通过目视挑战对3名受试者的11个结构进行手动分割，评价配准性能。基于归一化互信息（NMI）、模态独立邻域描述符（MIND）及其新组合的最新分割方法的平均分割重叠率分别为76.7%、67.7%、76.9%。当基于局部相关性配准由cycle-GAN合成的图像时，这下降到69.1%或更低，这是由于胸部区域的性能较差，其中合成了大的肺体积变化。当使用3D合成MRI（12个切片）和中等大小的腹部感受野时，腹部区域的性能与CT-MRI NMI配准相似（77.4 vs. 78.8%）。
2018-07-19 cs.CV
Few-shot 3D Multi-modal Medical Image Segmentation using Generative Adversarial Learning
École de technologie Superieure (ETS)（高等技术学院（ETS））；IIT Kharagpur（印度理工学院卡拉格布尔分校）
我们解决的问题，分割三维多模态医学图像的情况下，很少标记的例子可用于训练。利用对抗学习最近在半监督分割方面的成功，我们提出了一种基于生成对抗网络（GANs）的新方法，用标记和未标记图像训练分割模型。该方法通过学习区分由生成器网络获得的真补丁和假补丁来防止过拟合。我们的工作扩展了当前的对抗性学习方法，这些方法专注于2D单模态图像，以适应更具挑战性的多模态3D体积。在从iSEG-2017和MRBrainS 2013数据集分割脑MRI的问题上评估所提出的方法。显着的性能改进的报告，相比，在完全监督的方式训练的最先进的分割网络。此外，我们的工作还对不同的GAN架构进行了全面的分析，用于半监督分割，显示了最近的技术，如特征匹配，以产生比传统对抗训练方法更高的性能。我们的代码可在https://github.com/arnab39/FewShot_GAN-Unet3D上公开获取
2018-10-29 cs.CV
Video Content Swapping Using GAN
Carnegie Mellon University（卡内基梅隆大学）
视频生成是计算机视觉中一个有趣的问题。深度生成模型在数据增强、动画特效、AR/VR等领域有着广泛的应用，随着深度学习技术的发展，人们提出了许多深度生成模型来解决这一问题。这些深度生成模型可以在线利用所有未标记的图像和视频，因为它可以以无监督的方式学习深度特征表示。这些模型还可以生成不同类型的图像，具有很大的视觉应用价值。然而，生成视频将更具挑战性，因为我们不仅需要建模视频中对象的外观，还需要建模它们的时间运动。在这项工作中，我们将把视频中的任何帧分解为内容和姿势。我们首先使用预先训练的人体姿势检测从视频中提取姿势信息，并使用生成模型基于内容代码和姿势代码合成视频。
2021-11-21 cs.CV cs.LG
LC-GAN: Image-to-image Translation Based on Generative Adversarial Network for Endoscopic Images
University of Washington（华盛顿大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Rochester Institute of Technology（罗切斯特理工学院）
智能视觉在计算机辅助和机器人手术中很有吸引力。基于视觉的深度学习分析通常需要大型标记数据集，但在医疗问题中，手动数据标记既昂贵又耗时。我们研究了一种新的跨域策略，以减少对手动数据标记的需要，提出了一种基于生成对抗网络（GANs）的图像到图像翻译模型live-cadaver GAN（LC-GAN）。我们考虑一种情况，当标记的尸体手术数据集可用时，任务是在未标记的现场手术数据集上进行器械分割。我们训练LC-GAN来学习尸体图像和实时图像之间的映射。对于实时图像分割，我们首先使用LC-GAN将实时图像转换为假尸体图像，然后使用在真实尸体数据集上训练的模型对假尸体图像进行分割。该方法充分利用标记的尸体数据集进行实时图像分割，而不需要对实时数据集进行标记。LC-GAN有两个具有不同架构的生成器，它们利用从基于尸体图像的分割任务中学习到的深度特征表示。此外，我们提出了结构相似性损失和分割一致性损失，以提高翻译过程中的语义一致性。我们的模型实现了更好的图像到图像的翻译，并导致在建议的跨域分割任务的分割性能提高。
2020-08-13 cs.CV eess.IV
Structurally aware bidirectional unpaired image to image translation between CT and MR
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
磁共振（MR）成像和计算机断层扫描（CT）是手术计划和分析中经常使用的主要诊断成像模式。医学成像的一个普遍问题是，采集过程是相当昂贵和耗时的。像生成对抗网络（GANs）这样的深度学习技术可以帮助我们利用多种成像模式之间的图像到图像转换的可能性，这反过来又有助于节省时间和成本。这些技术将有助于根据MRI信息的反馈在CT下进行手术计划。虽然先前的研究已经显示了从MR到CT的配对和非配对图像合成，但是从CT到MR的图像合成仍然是一个挑战，因为它涉及额外的组织信息的添加。在本文中，我们实现了生成对抗网络的两种不同变体，利用骨盆数据集上CT和MR图像模态之间的循环一致性和结构相似性，从而促进这些图像模态之间的内容和风格的双向交换。所提出的GANs通过不同的机制转换输入的医学图像，因此生成的图像不仅看起来逼真，而且在各种比较指标上表现良好，并且这些图像也已经与放射科医生进行了交叉验证。放射科医师验证表明，生成的MR和CT图像中的微小变化可能与其真实对应物不完全相同，但可用于医疗目的。
2020-06-05 cs.CV eess.IV
GANs for Medical Image Synthesis: An Empirical Study
University of Bourgogne Franche-Comte（勃艮第-弗朗什孔泰大学）；CASIS inc.（CASIS公司）；University of Sherbrooke（舍布鲁克大学）；University Hospital of Dijon（第戎大学医院）
生成对抗网络（GANs）变得越来越强大，生成令人兴奋的逼真图像，模仿它们训练复制的数据集的内容。医学成像中的一个反复出现的主题是，GANs是否也可以像生成逼真的RGB图像那样有效地生成可用的医学数据。在本文中，我们进行了多GAN和多应用研究，以衡量GANs在医学成像中的优势。我们在三种医学成像模式和器官上测试了各种GAN架构，从基本的DCGAN到更复杂的基于样式的GANs，即：心脏电影MRI，肝脏CT和RGB视网膜图像。GANs在众所周知且广泛使用的数据集上进行训练，从这些数据集计算它们的FID分数以测量它们生成的图像的视觉敏锐度。我们通过测量在这些生成的图像上训练的U-Net的分割准确度来进一步测试它们的有用性。结果表明，GANs远不平等，因为有些不适合医学成像应用，而另一些则更好。性能最好的GANs能够通过FID标准生成逼真的医学图像，这些图像可以在视觉图灵测试中欺骗训练有素的专家，并符合某些指标。然而，分割结果表明，没有GAN能够再现医学数据集的全部丰富性。
2021-07-19 cs.CV cs.LG eess.IV
Multimodality-guided Image Style Transfer using Cross-modal GAN Inversion
University of Maryland, College Park（马里兰大学帕克分校）；Snap Inc.（Snap公司）
本文提出跨模态GAN反演方法，将图像和文本等多模态风格输入统一为风格表示，实现多模态引导图像风格迁移，并在TIST和MMIST任务上取得最先进性能。
2023-12-04 cs.CV
BAPGAN: GAN-based Bone Age Progression of Femur and Phalange X-ray Images
LPIXEL Inc.（LPIXEL公司）；Saitama Prefectural University（埼玉县立大学）；Okayama City General Medical Center, Okayama City Hospital（冈山市综合医疗中心 冈山市立医院）；Okayama University（冈山大学）
卷积神经网络在骨龄评估中发挥着关键作用，用于研究各种模式和身体部位下的内分泌学，遗传学和生长障碍。然而，没有研究人员解决骨龄进展/回归，尽管其有价值的潜在应用：骨相关疾病诊断，临床知识获取和博物馆教育。因此，我们提出了骨龄进展生成对抗网络（BAPGAN）来进步/回归股骨/指骨X射线图像，同时保持身份和现实主义。我们通过Frechet起始距离，两位专家骨科医生的视觉图灵测试和t-分布随机邻居嵌入，详尽地证实了BAPGAN的临床潜力。
2021-10-16 cs.CV cs.LG eess.IV
Semi and Weakly Supervised Semantic Segmentation Using Generative Adversarial Network
University of Central Florida（中佛罗里达大学）；University of Catania（卡塔尼亚大学）
语义分割一直是计算机视觉中一个具有挑战性的任务。它的目的是为每个图像像素分配一个标签，需要大量的像素级注释数据，这通常是不可用的。为了解决这一问题，在本文中，我们一方面利用大量可用的未标记或弱标记数据，另一方面利用通过生成对抗网络创建的非真实图像。特别是，我们提出了一个基于生成对抗网络（GANs）的半监督框架，它由一个生成器网络组成，为多类分类器提供额外的训练样本，在GAN框架中充当训练器，从K个可能的类中为样本分配标签y或将其标记为假样本（额外类）。其基本思想是，添加大量虚假视觉数据迫使真实样本在特征空间中接近，从而实现自底向上的聚类过程，这反过来又改善了多类像素分类。为了确保GANs生成的图像质量更高，从而改进像素分类，我们通过添加弱注释数据来扩展上述框架，即，我们向生成器提供类级别信息。我们在几个具有挑战性的基准视觉数据集上测试了我们的方法，即PASCAL，SiftFlow，Stanford和CamVid，与最先进的语义分割方法相比，也实现了具有竞争力的性能
2017-03-28 cs.CV
Temporal Generative Adversarial Nets with Singular Value Clipping
Preferred Networks Inc.（Preferred Networks 公司）
在本文中，我们提出了一个生成模型，时间生成对抗网络（TGAN），它可以学习未标记视频的语义表示，并能够生成视频。与现有的基于生成对抗网络（GAN）的方法不同，这些方法使用由3D去卷积层组成的单个生成器生成视频，我们的模型利用了两种不同类型的生成器：时间生成器和图像生成器。时间生成器将单个潜变量作为输入并输出一组潜变量，每个潜变量对应于视频中的图像帧。图像生成器将一组这样的潜变量转换成视频。为了解决GAN训练中的不稳定问题，我们采用了最近提出的Wasserstein GAN模型，并提出了一种新的方法，以端到端的方式对其进行稳定的训练。实验结果证明了该方法的有效性。
2017-08-18 cs.CV cs.LG
Generative Adversarial Networks for Brain Images Synthesis: A Review
University of Washington（华盛顿大学）；Institute of Systems Biology（系统生物学研究所）；Islamic Azad University（伊斯兰阿扎德大学）
本文综述了生成对抗网络（GAN）在脑图像跨模态合成中的最新进展，涵盖CT、PET和MRI之间的相互转换，以解决多模态影像获取成本高、耗时的问题。
2023-05-16 cs.CV cs.LG eess.IV
Deep GAN-Based Cross-Spectral Cross-Resolution Iris Recognition
近年来，交叉光谱虹膜识别已经成为一种很有前途的生物识别方法，以建立个人的身份。然而，匹配在不同光谱带（即，将可见光（VIS）虹膜探针与近红外（NIR）虹膜图像的图库相匹配，或反之亦然）与带内NIR匹配相比，显示出显著的性能下降。因此，在本文中，我们研究了一系列深度卷积生成对抗网络（DCGAN）架构，以进一步提高跨光谱虹膜识别方法的准确性。此外，与文献中现有的作品，我们引入了一个分辨率差异到经典的交叉光谱匹配问题域。我们已经开发了两种不同的技术，使用条件生成对抗网络（cGAN）作为骨干架构的跨光谱虹膜匹配。在第一种方法中，我们通过训练cGAN同时解决交叉分辨率和交叉光谱匹配问题，该cGAN将交叉分辨率和交叉光谱任务联合转换为相同的分辨率和相同的光谱。在第二种方法中，我们设计了一个耦合的生成对抗网络（cpGAN）架构，该架构由一对cGAN模块组成，该cGAN模块将VIS和NIR虹膜图像投影到低维嵌入域中，以确保来自同一受试者的两种虹膜模态的特征向量之间的最大成对相似性。
2021-08-03 cs.CV
Label-Efficient Cross-Modality Generalization for Liver Segmentation in Multi-Phase MRI
Ho Chi Minh University of Science（胡志明科技大学）；National Central University（国立中央大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Houston（休斯顿大学）；Northwestern University（西北大学）
本文提出一种高效标注的分割方法，通过基础模型适应和协同伪监督，实现多模态和多厂商MRI下的肝脏分割，克服标注数据稀缺和分布不均的问题。
2026-04-14 cs.CV
