Leveraging Image-based Generative Adversarial Networks for Time Series Generation
Humboldt University of Berlin（柏林洪堡大学）
本文提出扩展跨期回报图（XIRP）作为时间序列的二维图像表示，利用WGAN-GP生成合成数据，在预测能力上显著优于基于RNN的生成模型，并引入改进的随机反演提升模拟质量。
2023-08-31 cs.CV cs.LG stat.ML
Non-Adversarial Image Synthesis with Generative Latent Nearest Neighbors
Facebook AI Research（Facebook人工智能研究）；UC Berkeley（加州大学伯克利分校）
无条件图像生成最近由生成对抗网络（GANs）主导。GAN方法训练从随机噪声向量回归图像的生成器，以及尝试区分所生成的图像和真实图像的训练集的训练器。GANs在生成逼真的图像方面表现出了惊人的效果。尽管取得了成功，但GANs存在严重的缺点，包括：训练不稳定和模式下降。GANs的弱点促使人们研究替代方案，包括：变分自动编码器（VAE），潜在嵌入学习方法（例如GLO）和基于最近邻的隐式最大似然估计（IMLE）。不幸的是，目前，GANs仍然明显优于图像生成的替代方法。在这项工作中，我们提出了一种新的方法-生成潜在最近邻（GLANN）-用于在没有对抗训练的情况下训练生成模型。GLANN结合了IMLE和GLO的优点，克服了每种方法的主要缺点。因此，GLANN生成的图像远远优于GLO和IMLE。我们的方法不会遭受模式坍塌，困扰GAN训练，是更稳定。定性结果表明，GLANN在常用数据集上的性能优于由800个GANs和VAE组成的基线。我们的模型也被证明是有效的训练真正的非对抗性无监督图像翻译。
2018-12-21 cs.CV cs.LG stat.ML
Generative Imaging and Image Processing via Generative Encoder
National University of Singapore（新加坡国立大学）
本文介绍了一种新的生成式编码器（GE）模型，用于生成式成像和图像处理，并将其应用于压缩感知和成像、图像压缩、去噪、修复、去模糊和超分辨率等领域。GE模型由预训练阶段和求解阶段组成。在预训练阶段，我们分别训练两个深度神经网络：生成对抗网络（GAN），其生成器$\G$捕获给定图像集的数据分布，以及自动编码器（AE）网络，其编码器$\EN$根据GAN的估计分布压缩图像。在求解阶段，给定噪声图像$x=\mathcal{P}(x^*)$，其中$x^*$是目标未知图像，$\mathcal{P}$是添加加性或乘性或卷积噪声的算子，或者等效地给定压缩域中的这种图像$x$，即，给定$m=\EN(x)$，我们通过$\hat{x}:=\G(z^*)\approx x^*$以生成方式解决优化问题\[ z^*=\underset{z}{\mathrm{argmin}} \|\EN(\G(z))-m\|_2^2+λ\|z\|_2^2 \]以恢复图像$x^*$，其中$λ>0$是超参数。GE模型将GANs的生成能力和AE的稳定性统一在上述优化框架中，而不是将GANs和AE堆叠到单个网络中或将它们的损失函数组合到一个网络中。数值实验表明，该模型的性能优于几个国家的最先进的算法。
2019-05-23 cs.CV cs.LG eess.IV
Pioneer Networks: Progressively Growing Generative Autoencoder
Aalto University（阿尔托大学）；GenMind Ltd（GenMind有限公司）
我们引入了一种新的生成式自动编码器网络模型，该模型学习以高质量和高分辨率编码和重建图像，并支持从编码器的潜在空间中进行平滑随机采样。生成对抗网络（GANs）以其模拟随机高质量图像的能力而闻名，但它们无法重建现有图像。以前的工作试图扩展GANs来支持这种推理，但到目前为止，还没有提供令人满意的高质量结果。相反，我们提出了渐进式增长生成自动编码器（PIONEER）网络，它实现了高质量的重建与$128{\times}128$图像，而不需要一个GAN编码器。我们将最近的技术与最近引入的对抗编码器生成器网络相结合，逐步构建网络的各个部分。重建输入图像的能力在许多现实世界的应用中至关重要，并允许对现有图像进行精确的智能操作。我们在图像合成和推理方面取得了可喜的成果，在CelebA推理任务中取得了最先进的成果。
2018-10-09 cs.CV cs.LG stat.ML
Reinforcement Learning with Generative Models for Compact Support Sets
University of Alberta（阿尔伯塔大学）
提出利用强化学习控制基础模型生成紧凑合成支持集的框架，通过优化提示与奖励反馈机制，在无额外标注成本下显著提升小样本分类准确率。
2024-04-25 cs.CV cs.LG
Interpreting Spatially Infinite Generative Models
University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Microsoft Research（微软研究院）；DeepMind
传统的图像和其他空间模式的深度生成模型只能生成固定大小的输出。生成的图像具有与训练图像完全相同的分辨率，这由底层神经网络中的层数决定。然而，最近的工作已经表明，将空间噪声向量馈送到完全卷积神经网络中使得能够生成任意分辨率的输出图像以及在任意分辨率的训练图像上进行训练。虽然这项工作提供了令人印象深刻的实证结果，很少提供理论解释来解释潜在的生成过程。在本文中，我们提供了一个坚定的理论解释无限空间生成，通过绘制连接到空间随机过程。我们使用由此产生的直觉来改进现有的空间无限生成模型，以通过我们称为无限生成对抗网络（$\infty$ -GAN）的模型实现更有效的训练。通过对世界地图生成、全景图像和纹理合成的实验，验证了$\infty$ -GAN能够高效地生成任意大小的图像。
2020-07-24 cs.CV cs.LG stat.ML
Image Restoration from Parametric Transformations using Generative Models
Rutgers University（罗格斯大学）；University of Patras（帕特雷大学）
当图像统计描述的生成模型，我们可以使用这些信息来开发各种图像修复问题的最佳技术，如修补，超分辨率，图像着色，生成模型反演等的生成模型的帮助下，它是可能的制定，在一个自然的方式，这些恢复问题的统计估计问题。我们的方法，通过最大后验概率与最大似然估计相结合，是能够恢复图像的变形，即使当后者包含未知参数。由此产生的优化是完全定义的，没有需要调整的参数。这必须与目前的技术水平进行比较，目前的技术水平需要确切的变换知识，并且包含具有必须正确定义的权重的正则化项。最后，我们必须提到的是，我们扩展了我们的方法，以适应多个图像的混合，其中每个图像都由自己的生成模型描述，我们能够成功地将每个参与图像从单个混合物中分离出来。
2020-06-16 cs.CV cs.LG eess.IV
Semi-Supervised Learning with Deep Generative Models
Google DeepMind（谷歌DeepMind）
现代数据集规模的不断增加以及获取标签信息的困难使得半监督学习成为现代数据分析中具有重要实际意义的问题之一。我们重新审视了生成模型的半监督学习方法，并开发了新的模型，允许从小的标记数据集到大的未标记数据集的有效推广。迄今为止，生成式方法要么不灵活，效率低下，要么不可扩展。我们表明，利用变分方法的最新进展的深度生成模型和近似贝叶斯推理可以用于提供显着的改进，使生成方法在半监督学习中具有很强的竞争力。
2014-10-31 cs.LG stat.ML
DreamTeacher: Pretraining Image Backbones with Deep Generative Models
NVIDIA（英伟达）；University of Toronto（多伦多大学）；Vector Institute（向量学院）；MIT（麻省理工学院）
提出 DreamTeacher 自监督框架，通过将深度生成模型的特征和任务标签蒸馏到下游图像骨干网络，实现优于现有自监督方法及 ImageNet 分类预训练的表示学习效果。
2023-07-14 cs.CV cs.LG
Conformal Prediction Sets for Deep Generative Models via Reduction to Conformal Regression
School of EECS, Washington State University（电子工程与科学学院，华盛顿州立大学）
针对黑盒深度生成模型预测集的有效性与规模优化问题，提出Generative Prediction Sets共形推理算法，通过归约为共形回归实现可证明保证，在代码和数学应用题任务上性能优于现有方法。
2025-06-16 cs.AI cs.LG
Unsupervised Compositional Concepts Discovery with Text-to-Image Generative Models
UIUC（伊利诺伊大学厄巴纳-香槟分校）；MIT（麻省理工学院）
提出一种无监督方法从图像集合中发现生成概念，能解耦风格、物体与光照并重组生成新图像，同时可用于下游分类任务。
2023-08-03 cs.AI cs.CV cs.LG
Unsupervised Image-to-Image Translation with Generative Prior
Nanyang Technological University（南洋理工大学）
无监督图像到图像翻译旨在学习两个视觉域之间的翻译，而无需配对数据。尽管最近在图像翻译模型方面取得了进展，但在具有剧烈视觉差异的复杂域之间建立映射仍然具有挑战性。在这项工作中，我们提出了一个新的框架，生成先验指导的无监督图像到图像翻译（GP-UNIT），以提高翻译算法的整体质量和适用性。我们的关键见解是利用来自预训练的类条件GANs的生成先验（例如，BigGAN）来学习跨各个领域的丰富内容对应关系。我们提出了一种新的粗到细的方案：我们首先提取生成之前捕获一个强大的粗层次的内容表示，可以在抽象的语义层次上链接对象，在此基础上，细层次的内容特征自适应学习更准确的多级内容对应。大量的实验证明了我们的多功能框架在强大，高质量和多样化的翻译方面优于最先进的方法，即使是具有挑战性和遥远的领域。
2022-04-07 cs.CV cs.LG
Generative Adversarial Network Architectures For Image Synthesis Using Capsule Networks
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
在本文中，我们提出了生成对抗网络（GAN）架构，使用胶囊网络进行图像合成。基于特征的位置等方差原理，胶囊网络对图像特征之间的空间关系进行编码的能力有助于它成为比当前图像合成架构中使用的卷积神经网络（CNN）更强大的批评者。我们提出的GAN架构学习数据流形的速度要快得多，因此，与使用CNN的GANs及其变体相比，可以在更少的训练样本和训练时间内合成视觉上准确的图像。除了分析不同架构生成的图像对应的定量结果外，我们还探索了使用CNN批评的GAN架构所探索的覆盖率和多样性较低的原因。
2018-11-20 cs.CV cs.LG cs.NE
Improving Deep Generative Models on Many-To-One Image-to-Image Translation
University of Maryland（马里兰大学）
本文针对图像到图像转换中常被忽视的多对一关系，提出彩色化 MNIST 数据集与 Color-Recall 评估指标，并设计非对称框架改进 StarGAN V2，在无监督和半监督设置下均提升多对一转换性能。
2024-02-22 cs.CV cs.LG
Image Quality Assessment Techniques Show Improved Training and Evaluation of Autoencoder Generative Adversarial Networks
Carleton University（卡尔顿大学）
我们提出了一种自动编码器生成对抗网络（GANs）的训练和评估方法，特别是边界平衡生成对抗网络（BEGAN），基于图像质量评估文献中的方法。我们的方法探讨了一个多维的评价标准，利用三个距离函数：一个$l_1$分数，梯度幅度相似性平均值（GMSM）分数，和色度分数。我们发现，每个不同的距离函数捕捉图像空间中的一组略有不同的属性，因此，需要自己的评估标准，以正确评估相关属性是否已经充分学习。我们证明了使用新距离函数的模型能够以预测的方式产生比原始BEGAN模型更好的图像。
2017-08-06 cs.CV cs.LG
Generative Patch Priors for Practical Compressive Image Recovery
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；Misubishi Electric Research Laboratories（三菱电机研究实验室）；Arizona State University（亚利桑那州立大学）
在本文中，我们提出了生成补丁先验（GPP），它基于补丁流形模型定义了压缩图像恢复的生成先验。与限制在预训练生成器的范围空间内的学习图像级先验不同，GPP可以使用预训练的补丁生成器恢复各种自然图像。此外，GPP保留了生成先验的优点，如在极低的感测速率下的高重建质量，同时也更普遍地适用。我们表明，GPP优于几个无监督和监督技术在三个不同的传感模型-线性压缩感知与已知的，未知的校准设置，和非线性相位恢复问题。最后，我们提出了一种交替优化策略，使用GPP进行联合校准和重建，该策略在现实世界的未校准压缩感知数据集上对多个基线表现良好。
2020-10-05 cs.CV cs.LG
Generating Images Part by Part with Composite Generative Adversarial Networks
Seoul National University（首尔大学）
图像生成仍然是一般人工智能和具体深度学习中的基本问题。生成对抗网络（GAN）成功生成了高质量的自然图像样本。我们提出了一个称为复合生成对抗网络的模型，它揭示了具有多个生成器的图像的复杂结构，其中每个生成器生成图像的某个部分。这些部分通过alpha混合过程组合以创建新的单个图像。例如，它可以在人脸数据集上训练后，使用两个生成器依次生成背景和人脸。训练是以无监督的方式进行的，没有任何关于每个生成器应该生成什么的标签。我们发现学习的可能性，通过使用这种生成模型经验的结构。
2016-11-14 cs.AI cs.CV cs.LG
Generative Adversarial Network with Multi-Branch Discriminator for Cross-Species Image-to-Image Translation
当前的方法在图像到图像的翻译任务上取得了很大的进展，这得益于图像合成方法的成功，特别是生成对抗网络（GANs）。然而，现有的方法仅限于处理两个物种之间的翻译任务，同时保持语义层面上的内容匹配。一个更具挑战性的任务是在两个以上物种之间进行翻译。为了探索这一新领域，我们提出了一种简单而有效的多分支结构，用于增强任意生成对抗架构（GAN），称为GAN-MBD。该算法利用Boosting策略将一个通用的神经网络分解为多个参数较少的小神经网络，有效地提高了GANs的生成和综合能力。综合实验表明，提出的多分支神经网络可以显着提高流行的GANs的跨物种图像到图像翻译任务的性能，同时减少了计算参数的数量。随函附上有关守则及部分数据，作为补充资料，以供参考。
2019-01-24 cs.CV cs.LG
TGAN: Deep Tensor Generative Adversarial Nets for Large Image Generation
Imperial College London（帝国理工学院）；Columbia University（哥伦比亚大学）；Shanghai Jiao Tong University（上海交通大学）
深度生成模型已成功应用于许多应用。然而，现有的作品在生成大图像时遇到限制（文献通常生成小图像，例如32 * 32或128 * 128）。在本文中，我们提出了一种新的方案，称为深度张量对抗生成网络（TGAN），通过探索张量结构来生成大型高质量图像。本质上，TGAN的对抗过程发生在张量空间中。首先，我们施加张量结构简洁的图像表示，这是优越的捕获像素的邻近信息和图像中的基本对象的空间模式，在现有的作品中的矢量化预处理。其次，我们提出了TGAN，它以级联方式集成了深度卷积生成对抗网络和张量超分辨率，以从随机分布中生成高质量的图像。更具体地说，我们设计了一个张量超分辨率过程，包括张量字典学习和张量系数学习。最后，在三个数据集上，与最先进的对抗性自动编码器相比，所提出的TGAN生成具有更真实纹理的图像。生成的图像的大小增加了8.5倍以上，在PASCAL 2中为374 * 374。
2019-03-04 cs.CV cs.LG
Megapixel Size Image Creation using Generative Adversarial Networks
Happy Finish Ltd.（Happy Finish有限公司）
自出现以来，生成对抗网络（GANs）在AI社区中引起了很大的兴趣。在图像生成方面，有几个项目展示了GANs如何能够生成逼真的图像，但到目前为止，结果看起来还不足以满足视觉媒体制作行业的质量标准。我们提出了一种基于深度卷积生成对抗网络（DCGAN）的优化图像生成过程，以创建逼真的高分辨率图像（高达1024x1024像素）。此外，该系统提供了有限的图像数据集，不到两千张图像。所有这些结果为GANs在计算机图形学和视觉效果领域的进一步开发提供了更多的线索。
2017-05-31 cs.CV cs.GR cs.LG
Deep Structured Generative Models
Tsinghua University（清华大学）
深度生成模型在生成逼真图像方面表现出了良好的效果，但生成具有复杂结构的图像仍然是不平凡的。其主要原因是目前的生成模型大多未能探索图像中的结构，包括空间布局和对象之间的语义关系。为了解决这个问题，我们提出了一种新的深度结构化生成模型，该模型在结构信息的帮助下增强生成对抗网络（GANs）。特别地，场景的布局或结构由随机与或图（sAOG）编码，其中终端节点表示单个对象，边缘表示对象之间的关系。通过适当地利用sAOG，我们的模型可以成功地捕获场景中的内在结构，并相应地生成复杂场景的图像。此外，引入检测网络来从图像中推断场景结构。实验结果表明，我们提出的方法的有效性的建模的内在结构，并产生真实感的图像。
2018-07-10 cs.LG stat.ML
Unsupervised Image-to-Image Translation with Generative Adversarial Networks
Imperial College London（帝国理工学院）；Indian Institute of Technology（印度理工学院）
自动将图像从其原始形式转换为某种合成形式（样式，部分内容等）非常有用，同时保持原始结构或语义。我们将这一要求定义为“图像到图像的转换”问题，并提出了一种基于深度卷积和条件生成对抗网络（GANs）的通用方法来实现它，自2014年以来，该网络在从噪声输入中学习映射图像方面取得了惊人的成功。在这项工作中，我们开发了一种两步（无监督）学习方法，通过使用未标记的图像在不同的域之间转换图像，而不指定它们之间的任何对应关系，从而避免了获取标记数据的成本。与以往的工作相比，我们证明了我们的模型的通用性，通过这种能力，翻译的方差可以由一个单一类型的模型进行。这种能力在双向翻译等应用中是理想的
2017-01-10 cs.CV cs.LG
Generative Adversarial Networks Synthesize Realistic OCT Images of the Retina
RETINA-AI Health, Inc.（视网膜人工智能健康公司）
据我们所知，我们报告了生成对抗网络（GANs）的第一个端到端应用，用于合成视网膜的光学相干断层扫描（OCT）图像。生成模型最近受到关注，因为它们可以合成越来越逼真的图像，给定数据类型的采样。在本文中，我们将GANs应用于视网膜OCT的采样分布。我们观察了真实OCT图像的合成，这些图像描绘了可识别的病理，例如黄斑裂孔、脉络膜新生血管膜、近视变性、黄斑囊样水肿和中心性浆液性视网膜病变等。这是此类报告中的第一份。这项新技术的潜在应用包括手术模拟、治疗计划、疾病诊断以及加速治疗视网膜疾病的新药和手术程序的开发。
2019-02-18 cs.CV cs.LG
Semantic-Guided Generative Image Augmentation Method with Diffusion Models for Image Classification
Harbin Institute of Technology（哈尔滨工业大学）
针对图像增强中多样性与语义一致性难以兼顾的问题，提出 SGID，利用扩散模型并以标签和描述引导生成增强图像，在多种骨干网络上提升分类性能。
2024-01-18 cs.CV cs.LG
Machine Unlearning for Image-to-Image Generative Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Global Technology Applied Research, JPMorgan Chase（摩根大通全球技术应用研究部）
针对现有机器遗忘方法多聚焦分类模型、生成模型领域研究不足的问题，本文提出面向图像到图像生成模型的统一遗忘框架及高效算法，经理论分析与多数据集实验验证，其性能损失小、无需保留样本，是该领域首个系统性研究。
2024-02-02 cs.CV cs.LG
Multi-Modality Image Inpainting using Generative Adversarial Networks
Ontario Tech University（安大略理工大学）
在过去的几年里，深度学习技术，特别是生成对抗网络（GANs），显著改善了图像修复和图像到图像的翻译任务。据我们所知，将图像修复任务与多模态图像到图像翻译相结合的问题仍然完好无损。在本文中，我们提出了一个模型来解决这个问题。该模型将结合夜间到日常的图像翻译和修复进行评估，以及有希望的定性和定量结果。
2022-06-22 cs.CV cs.LG eess.IV
On Deep Generative Models for Approximation and Estimation of Distributions on Manifolds
Georgia Institute of Technology（佐治亚理工学院）；Princeton University（普林斯顿大学）
生成网络在分布学习方面取得了巨大的经验性成功。许多现有的实验已经证明，生成网络可以从低维的易于样本分布生成高维复杂数据。然而，这一现象不能被现有的理论所证明。广泛持有的流形假设推测，真实世界的数据集，如自然图像和信号，表现出低维的几何结构。在本文中，我们考虑这样的低维数据结构，假设数据分布支持低维流形。我们证明了Wasserstein-1损失下生成网络的统计保证。我们表明，Wasserstein-1损失收敛到零，在一个快速的速度取决于内在的尺寸，而不是周围的数据尺寸。我们的理论利用了数据集中的低维几何结构，并证明了生成网络的实用能力。我们不需要对数据分布进行平滑假设，这在实践中是可取的。
2023-02-25 cs.LG stat.ML
Generative Max-Mahalanobis Classifiers for Image Classification, Generation and More
Georgia State University（佐治亚州立大学）
Grathwohl等人的基于能量的联合模型（JEM）表明，标准softmax分类器可以重新解释为联合分布p（x，y）的基于能量的模型（EBM）;所产生的模型可以进行优化，以提高校准，鲁棒性和分布外检测，同时生成与最近基于GAN的方法质量相媲美的样本。然而，JEM利用的softmax分类器本质上是有区别的，其潜在特征空间没有很好地表达为概率分布，这可能会阻碍其图像生成的潜力并导致训练不稳定。我们假设生成分类器，如线性判别分析（LDA），可能更适合图像生成，因为生成分类器明确地建模数据生成过程。因此，本文研究了LDA分类器的图像分类和生成。特别是，Max-Mahalanobis分类器（MMC），LDA的一个特殊情况，非常适合我们的目标。我们表明，我们的生成MMC（GMMC）可以训练判别，生成，或联合图像分类和生成。在多个数据集上的大量实验表明，GMMC实现了最先进的判别和生成性能，同时在校准，对抗鲁棒性和分布外检测方面优于JEM。我们的源代码可以在https://github.com/sndnyang/GMMC上找到。
2021-07-01 cs.CV cs.LG
Generative Adversarial Networks and Other Generative Models
Fraunhofer Institute for Digital Medicine MEVIS（弗劳恩霍夫数字医学MEVIS研究所）
与CNN相比，生成网络在分类、分割或目标检测方面的目标和方法有着根本的不同。它们最初并不是一种图像分析工具，而是用来生成看起来自然的图像。对抗性训练范式已经被提出来稳定生成方法，并且已经被证明是非常成功的-尽管从第一次尝试开始就不是这样。本章对生成对抗网络（GANs）的动机进行了基本介绍，并通过抽象基本任务和工作机制，以及推导早期实用方法的困难，追溯了它们的成功之路。将显示更稳定的训练方法，以及收敛性差的典型迹象及其原因。虽然本章重点介绍用于图像生成和图像分析的GANs，但对抗训练范式本身并不特定于图像，也适用于图像分析中的任务。在将GANs与最近进入场景的进一步生成建模方法进行对比之前，图像语义分割和异常检测的架构示例将受到好评。这将允许对GANs的限制和好处进行上下文化的查看。
2022-07-08 cs.CV cs.LG eess.IV
Anomaly Score: Evaluating Generative Models and Individual Generated Images based on Complexity and Vulnerability
School of Integrated Technology, Yonsei University（延世大学融合技术学院）
本文研究生成图像评估问题，通过分析表示空间复杂性与特征脆弱性，提出异常分数 AS 及单图指标 AS-i，用于评估生成模型和个体生成图像。
2024-04-09 cs.CV cs.LG
Efficient inference in occlusion-aware generative models of images
Google Research（谷歌研究院）
我们提出了一种基于分层的图像生成模型，在该模型中，图像层是单独生成的，然后从前到后合成。因此，我们能够将图像的外观分解为图像中各个对象的外观-此外，对于每个单独的对象，我们可以从姿势中分解内容。与之前在分层模型上的工作不同，我们为每个对象/层事先学习了一个形状，允许模型通过寻找一致的形状来梳理出哪个对象在前面，而不需要访问运动线索或任何标记的数据。我们表明，普通的随机梯度变分贝叶斯（SGVB），它优化了我们的完全可微的下限的对数似然，是足够的学习图像的可解释的表示。最后，我们提出的实验证明了该模型的有效性，用于推断图像中的前景和背景对象。
2016-02-16 cs.CV cs.LG
3D-StyleGAN: A Style-Based Generative Adversarial Network for Generative Modeling of Three-Dimensional Medical Images
Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；Massachusetts Institute of Technology（麻省理工学院）；Univ. Lille（里尔大学）；Inserm（法国国家健康与医学研究院）；CHU Lille（里尔大学医院）
通过生成对抗网络（GANs）对三维（3D）医学图像进行图像合成具有巨大的潜力，可以扩展到许多医学应用，例如图像增强和疾病进展建模。然而，当前用于3D医学图像合成的GAN技术需要显著改进以易于适应现实世界的医学问题。在本文中，我们扩展了最先进的StyleGAN 2模型，该模型本身适用于二维图像，以实现3D图像合成。除了图像合成之外，我们还通过从原始StyleGAN 2继承的风格向量研究了3D-StyleGAN的可控性和可解释性，这些风格向量非常适合医学应用：（i）潜在空间投影和重建看不见的真实图像，以及（ii）风格混合。我们使用~ 12，000个三维全脑MR T1图像证明了3D-StyleGAN的性能和可行性，尽管它可以应用于任何3D体积图像。此外，我们探索了不同的超参数配置，以研究更大网络的图像合成的潜在改进。代码和预先训练的网络可在线获得：https://github.com/sh4174/3DStyleGAN。
2021-07-20 cs.CV cs.LG eess.IV
CDGAN: Cyclic Discriminative Generative Adversarial Networks for Image-to-Image Transformation
Indian Institute of Information Technology, Sri City（印度信息技术学院斯里城校区）；Indian Institute of Information Technology, Allahabad（印度信息技术学院阿拉哈巴德校区）
生成对抗网络（GANs）为解决图像到图像转换问题提供了一个新的方向。不同的GANs使用目标函数中具有不同损耗的生成器和卷积网络。在生成图像的质量和接近地面实况图像方面仍然存在差距。在这项工作中，我们介绍了一种新的图像到图像变换网络，称为循环判别生成对抗网络（CDGAN），填补了上述空白。建议的CDGAN生成高质量和更逼真的图像，通过将额外的循环图像，除了原来的架构的CycleGAN的网络。在三个图像到图像转换数据集上测试了所提出的CDGAN。定量和定性的结果进行了分析，并与国家的最先进的方法进行比较。在三个基线图像到图像变换数据集上进行比较时，所提出的CDGAN方法优于最先进的方法。该代码可在https://github.com/KishanKancharagunta/CDGAN上获得。
2021-11-27 cs.CV cs.LG eess.IV
Network-principled deep generative models for designing drug combinations as graph sets
Texas A&M University（德州农工大学）
联合治疗已显示出提高疗效，同时减少副作用。重要的是，它已成为克服抗生素、抗微生物药物和抗癌药物耐药性的不可或缺的策略。面对巨大的化学空间和小分子组合的设计原则不明确，计算药物组合设计还没有看到生成模型，以满足其加速耐药药物组合发现的潜力。我们开发了第一个用于药物组合设计的深度生成模型，通过联合嵌入图结构的领域知识并迭代训练基于强化学习的化学图集设计器。首先，我们开发了分层变分图自动编码器（HVGAE），经过端到端训练，共同嵌入基因-基因、基因-疾病和疾病-疾病网络。这里引入了新的注意力池，用于从相关基因的表征中学习疾病表征。其次，针对学习表征中的疾病，我们将药物组合设计问题重新定义为图集生成，并开发了一个具有新奖励的基于深度学习的模型。具体来说，除了化学有效性奖励外，我们还引入了一种新的生成对抗性奖励，即广义切片Wasserstein，用于具有与已知药物相似分布的化学多样性分子。我们还为药物组合设计了一个基于网络原理的奖励。数值结果表明，与图嵌入方法相比，HVGAE学习到更多信息和可推广的疾病表示。对四种疾病的案例研究表明，网络原则的药物组合往往具有低毒性。生成的药物组合共同涵盖了与FDA批准的药物组合类似的疾病模块，并可能提出新的系统药理学策略。
2020-04-22 cs.LG q-bio.MN stat.ML
Interpreting Latent Spaces of Generative Models for Medical Images using Unsupervised Methods
University of Copenhagen（哥本哈根大学）；Rigshospitalet（哥本哈根大学国立医院）
生成对抗网络（GANs）和变分自编码器（VAE）等生成模型在医学图像分析中发挥着越来越重要的作用。这些模型的潜在空间通常显示与人类可解释的图像变换相对应的语义上有意义的方向。然而，到目前为止，由于监督数据的要求，他们对医学图像的探索受到了限制。在GAN潜在空间中无监督发现可解释方向的几种方法在自然图像上显示出有趣的结果。这项工作探讨了将这些技术应用于医学图像的潜力，通过在胸部CT扫描上训练GAN和VAE，并使用无监督的方法来发现由此产生的潜在空间中的可解释方向。我们发现几个方向对应于非平凡的图像变换，如旋转或乳房大小。此外，这些方向表明，生成模型捕捉3D结构，尽管只呈现2D数据。结果表明，在GANs中发现可解释方向的无监督方法可推广到VAE，并可应用于医学图像。这打开了一个广泛的未来的工作，使用这些方法在医学图像分析。
2022-07-20 cs.CV cs.LG eess.IV
Improving image generative models with human interactions
Google Brain（谷歌大脑）
GANs提供了一个框架，用于训练模拟数据分布的生成模型。然而，在许多情况下，我们希望训练这些生成模型来优化它生成的数据中的一些辅助目标函数，例如制作更美观的图像。在某些情况下，这些目标函数很难评估，例如，它们可能需要人工交互。在这里，我们开发了一个系统，用于有效地改善GAN，以针对涉及人类交互的目标，特别是生成图像，增加积极的用户交互率。为了改进生成模型，我们从一组相对较小的交互中构建目标域中的人类行为模型，然后使用该行为模型作为辅助损失函数来改进生成模型。我们表明，该系统是成功的，至少在模拟数据，提高积极的相互作用率，并表征一些影响其性能的因素。
2017-09-29 cs.CV cs.LG cs.NE
MrSARP: A Hierarchical Deep Generative Prior for SAR Image Super-resolution
The Ohio State University（俄亥俄州立大学）
针对SAR图像超分辨率问题，提出分层深度生成模型MrSARP，联合建模多分辨率图像并结合评判器训练与改进代价函数，实验表明其优于上采样和稀疏锐化方法。
2022-11-30 cs.CV cs.LG eess.SP
Multi-Modality Image Super-Resolution using Generative Adversarial Networks
Ontario Tech University（安大略理工大学）
在过去的几年里，基于深度学习的技术，如生成对抗网络（GANs），已经显着改善了图像超分辨率和图像到图像转换问题的解决方案。在本文中，我们提出了一个解决方案的联合问题的图像超分辨率和多模态图像到图像的翻译。这个问题可以说是一个高分辨率的图像在一个模态的恢复，给定的低分辨率观察同一图像在一个替代的模态。我们的论文提供了两个模型来解决这个问题，并将评估高分辨率的白天图像的恢复给定的低分辨率的夜间图像相同的场景。将为每个模型提供有希望的定性和定量结果。
2022-06-22 cs.CV cs.LG eess.IV
Image Manipulation with Natural Language using Two-sidedAttentive Conditional Generative Adversarial Network
Saarland University（萨尔大学）
使用照片编辑工具更改图像的内容对于没有经验的用户来说是一项繁琐的任务。特别是，当修改图像中的特定对象的视觉属性而不影响其他成分，如背景等，以简化图像操作的过程，并提供更多的控制给用户，最好是利用一个更简单的接口，如自然语言。因此，在本文中，我们解决的挑战，操纵图像使用自然语言描述。我们提出了双边缘注意条件生成对抗网络（TEA-cGAN）来生成语义操纵的图像，同时保留其他内容，如背景完整。TEA-cGAN在基于生成对抗网络（GAN）的框架的生成器和搜索引擎中以不同的尺度使用细粒度注意力。实验结果表明，TEA-cGAN生成的128 x128和256 x256分辨率图像在CUB和Oxford-102数据集上的定量和定性性能均优于现有方法。
2019-12-16 cs.CL cs.CV cs.LG
Generative Adversarial Network Applications in Creating a Meta-Universe
The University of Georgia（佐治亚大学）
生成对抗网络（GANs）是机器学习方法，用于许多重要和新颖的应用。例如，在成像科学中，GANs被有效地用于生成图像数据集、人脸照片、图像和视频描述、图像到图像转换、文本到图像转换、视频预测和3D对象生成等。在本文中，我们讨论了如何使用GANs来创建人工世界。更具体地说，我们讨论了GANs如何帮助利用图像/视频描述方法来描述图像，以及如何在我们想要的主题中使用图像到图像转换框架将图像转换为新图像。我们阐述了GANs如何影响创建一个定制的世界。
2022-01-23 cs.CV cs.LG eess.IV
Robustness Certification of Generative Models
ETH Zurich（苏黎世联邦理工学院）
生成神经网络可用于通过潜在空间插值指定图像之间的连续变换。然而，证明由图像流形中的结果路径捕获的所有图像满足给定属性可能非常具有挑战性。这是因为这个集合是高度非凸的，阻碍了现有的可扩展鲁棒性分析方法，这些方法通常基于凸松弛。我们提出了一种可扩展的认证方法，它成功地验证了涉及生成模型和分类器的非平凡规范。ApproxLine可以通过捕获神经网络激活向量的无限非凸集合或这些集合上的分布来提供可靠的确定性和概率性保证。我们表明，近似线是实际有用的，可以验证有趣的插值网络的潜在空间。
2020-04-30 cs.CR cs.LG cs.PL
Explainable Medical Image Segmentation via Generative Adversarial Networks and Layer-wise Relevance Propagation
University of Oslo（奥斯陆大学）
本文通过提出基于生成对抗网络的模型来分割内窥镜图像中的息肉和器械，从而有助于自动化医学图像分割。这项工作的一个主要贡献是提供解释的预测使用逐层相关性传播方法指定哪些输入图像像素是相关的预测，并在何种程度上。在息肉分割任务中，模型的准确率达到0.84，Jaccard指数为0.46。在乐器分割任务中，模型的准确率达到0.96，Jaccard指数达到0.70。该代码可在https://github.com/Awadelrahman/MedAI上获得。
2021-11-02 cs.CV cs.LG eess.IV
Deep Snow: Synthesizing Remote Sensing Imagery with Generative Adversarial Nets
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Descartes Labs, Inc（笛卡尔实验室公司）
在这项工作中，我们证明了生成对抗网络（GANs）可以用于在遥感图像中生成逼真的普遍变化，即使在不成对的训练环境中。我们研究了一些基于生成图像和真实图像的深度嵌入的变换质量度量，这些图像能够可视化和理解GAN的训练动态，并且可以在量化生成图像与真实图像的区别方面提供有用的度量。我们还识别了由GAN在生成的图像中引入的一些伪影，这些伪影可能会导致深度嵌入特征空间中真实样本和生成样本之间的差异，即使在真实样本和生成样本在感知上相似的情况下也是如此。
2020-05-18 cs.CV cs.LG eess.IV
How to Trace Latent Generative Model Generated Images without Artificial Watermark?
Rutgers University（罗格斯大学）；Sony AI（索尼人工智能公司）；University of Massachusetts at Amherst（马萨诸塞大学阿默斯特分校）
本文提出LatentTracer方法，通过潜在反转检查图像重建质量，无需额外水印或训练步骤即可高效追溯特定潜在生成模型（如Stable Diffusion）生成的图像，并发现解码器天然提供水印。实验证明该方法具有高准确性和效率。
2024-05-22 cs.AI cs.CV cs.LG
Precise Recovery of Latent Vectors from Generative Adversarial Networks
University of California, San Diego（加州大学圣地亚哥分校）
生成对抗网络（GANs）将潜在向量转换为视觉上合理的图像。通常认为，原始的GAN公式没有给出开箱即用的方法来反转映射，将图像投影回潜在空间。我们介绍一个简单的，基于梯度的技术称为随机裁剪。在实验中，对于由GAN生成的图像，我们100%准确地恢复了它们的潜在向量前图像。实验结果表明，该方法对噪声具有较好的鲁棒性.最后，我们表明，即使是看不见的图像，我们的方法似乎恢复独特的编码。
2017-02-17 cs.LG cs.NE stat.ML
Image Embedding for Denoising Generative Models
University of Bologna（博洛尼亚大学）
去噪扩散模型在生成式建模领域越来越受欢迎，原因有几个，包括简单稳定的训练，优秀的生成质量和坚实的概率基础。在这篇文章中，我们解决的问题{ \em嵌入}的潜在空间的图像去噪扩散模型，即找到一个合适的“噪声”的图像，其去噪的结果在原始图像。我们特别关注去噪扩散隐式模型，由于其反向扩散过程的确定性。作为我们的调查的一个副作用，我们获得了更深入的了解扩散模型的潜在空间的结构，打开有趣的视角，其探索，语义轨迹的定义，和编辑目的的编码的操纵/调节。我们的研究强调了一个特别有趣的属性，这也是这类生成模型的特征，是潜在表示与实现反向扩散过程的网络的独立性。换句话说，一个共同的种子传递到不同的网络（每个网络都在同一个数据集上训练），最终会产生相同的图像。
2022-12-30 cs.AI cs.CV cs.LG
Generative Adversarial Networks for Automatic Polyp Segmentation
University of Oslo（奥斯陆大学）
本文旨在使用生成对抗网络框架对自动息肉分割问题进行基准测试。将问题视为图像到图像的翻译任务，利用条件生成对抗网络来生成由图像作为输入的条件掩码。生成器和卷积神经网络都是基于卷积神经网络的。模型的Jaccard指数为0.4382，F2得分为0.611。
2020-12-12 cs.CV cs.LG eess.IV
Medical image reconstruction with image-adaptive priors learned by use of generative adversarial networks
Department of Computer Science and Engineering, Washington University in St. Louis（圣路易斯华盛顿大学计算机科学与工程系）；Department of Electrical and Systems Engineering, Washington University in St. Louis（圣路易斯华盛顿大学电气与系统工程系）；Department of Bioengineering, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校生物工程系）
医学图像重建是一个典型的不适定逆问题。为了解决这种不适定问题，通常通过一些稀疏促进正则化来合并所寻求的对象属性的先验分布。最近，使用生成对抗网络（GANs）估计的图像的先验分布在正则化这些图像重建问题中的一些方面显示出很大的希望。在这项工作中，我们应用一种基于图像自适应GAN的重建方法（IAGAN）从不完整的医学成像数据中重建高保真图像。据观察，IAGAN方法可以潜在地恢复与医学诊断相关的对象中的精细结构，但在使用传统的稀疏促进正则化的重建中可能会过度平滑。
2020-01-27 cs.LG eess.IV stat.ML
Single MR Image Super-Resolution using Generative Adversarial Network
Ontario Tech University（安大略理工大学）
利用超分辨率方法可以提高医学图像的空间分辨率。实时增强超分辨率生成对抗网络（Real Enhanced Super Resolution Generative Adversarial Network，Real-ESRGAN）是近年来在输入图像分辨率较低的情况下生成更高分辨率图像的有效方法之一。在本文中，我们应用这种方法来提高二维MR图像的空间分辨率。在我们提出的方法中，我们稍微修改了Real-ESRGAN的结构，以训练取自脑肿瘤分割挑战（BraTS）2018数据集的2D磁共振图像（MRI）。通过计算SSIM（结构相似性指数度量）、NRMSE（归一化均方根误差）、MAE（平均绝对误差）和VIF（视觉信息保真度）值，定性和定量地验证了所获得的结果。
2022-07-16 cs.CV cs.LG eess.IV
Diffusion-based Generative Image Outpainting for Recovery of FOV-Truncated CT Images
Technical University of Munich（慕尼黑工业大学）；Massachusetts General Hospital（麻省总医院）；Imperial College London（伦敦帝国学院）；Harvard Medical School（哈佛医学院）
本文提出一种基于扩散模型的生成式图像外绘方法，用于恢复视野截断的胸部CT切片，在训练数据减少87%的情况下，可靠恢复解剖结构并优于现有最先进方法，助力身体成分分析与疾病预后。
2024-09-26 cs.CV cs.LG eess.IV
Energy-Efficient Downlink Semantic Generative Communication with Text-to-Image Generators
Jeonbuk National University（全北国立大学）；Deakin University（迪肯大学）
针对下行通信能耗优化问题，提出含生成型/非生成型用户的语义生成通信框架，设计生成型用户选择算法，相比全非生成用户基线最多降总能耗54%。
2023-06-08 cs.AI cs.DC cs.LG
Interactive Optimization of Generative Image Modeling using Sequential Subspace Search and Content-based Guidance
The University of Tokyo（东京大学）；National Taiwan University（台湾大学）
生成式图像建模技术，如GAN，展示了高度令人信服的图像生成结果。然而，用户交互往往是必要的，以获得所需的结果。现有的尝试增加了交互性，但需要定制的架构或额外的数据。我们提出了一个人的优化方法，允许用户直接探索和搜索生成图像建模的潜在向量空间。我们的系统通过对潜在向量空间进行采样来提供多个候选项，并且用户使用多个滑块来选择子空间内的最佳混合权重。此外，用户可以通过图像编辑工具表达自己的意图。系统基于输入对潜在向量进行采样，并迭代地向用户呈现新的候选。我们的公式的一个优点是，人们可以将我们的方法应用于任意的预训练模型，而无需开发专门的架构或数据。我们用各种生成图像建模应用程序演示了我们的方法，并在与现有技术iGAN的比较用户研究中显示出优异的性能。
2020-08-29 cs.CV cs.GR cs.HC
Trustworthy Image Super-Resolution via Generative Pseudoinverse
Imperial College London（伦敦帝国学院）；Apple（苹果公司）
针对可信图像复原问题，提出基于生成伪逆的图像超分辨率生成模型，符合退化过程且与低分辨率测量渐近一致，性能大幅优于现有方法。
2025-05-18 cs.LG eess.IV
Exploring Generative Adversarial Networks for Image-to-Image Translation in STEM Simulation
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
使用精确的扫描透射电子显微镜（STEM）图像模拟方法需要大量的计算时间，这可能使它们的使用不可行的许多图像的模拟。其他基于线性成像模型的模拟方法，如卷积方法，速度快得多，但太不准确，无法应用。在本文中，我们探索了深度学习模型，这些模型试图将卷积方法产生的STEM图像转化为高精度多层图像的预测。然后，我们将我们的结果与回归方法的结果进行比较。我们发现，使用深度学习模型生成对抗网络（GAN）为我们提供了最佳结果，并在相同数据集上以类似于先前回归模型的准确度水平执行。这个项目的代码和数据可以在这个GitHub存储库https://github.com/uw-cmg/GAN-STEM-Conv2MultiSlice中找到。
2022-11-16 cond-mat.mtrl-sci cs.CV cs.LG
