Skin Lesion Synthesis with Generative Adversarial Networks
University of Campinas (Unicamp)（坎皮纳斯大学）
皮肤癌是迄今为止最常见的癌症类型。早期发现是显著增加成功治疗机会的关键。目前，深度神经网络是自动皮肤癌分类的最新成果。为了进一步推动结果，我们需要解决缺乏注释数据的问题，这是昂贵的，需要专家的大量努力。为了绕过这个问题，我们建议使用生成对抗网络来生成逼真的合成皮肤病变图像。据我们所知，我们的结果是第一个显示视觉上吸引人的合成图像，包括临床意义的信息。
2019-02-08 cs.CV cs.LG
SimGANs: Simulator-Based Generative Adversarial Networks for ECG Synthesis to Improve Deep ECG Classification
Technion - Israel Institute of Technology（以色列理工学院）；Google Research（谷歌研究院）
为监督任务生成训练示例是人工智能长期追求的目标。研究了用于改进心跳分类的心脏信号心电图（ECG）合成问题。ECG合成具有挑战性：由于这种生物-生理系统的动态特性，其中系统的各个部分以复杂的方式相互作用，因此生成用于这种生物-生理系统的训练示例并不简单。然而，多年来人们已经以数学过程模拟器的形式对这些动态特性进行了深入的了解。我们研究如何将这些知识纳入生成过程中，利用生物模拟器的任务，心电图分类。具体来说，我们使用一个表示心脏动力学的常微分方程系统，并将这个ODE系统纳入生成对抗网络的优化过程中，以创建生物学上合理的ECG训练示例。我们进行了实证评估，并表明在生成过程中的心脏模拟知识提高了ECG分类。
2020-06-27 cs.LG eess.SP
Expediting TTS Synthesis with Adversarial Vocoding
UC San Diego（加州大学圣地亚哥分校）
最近的文本到语音（TTS）合成方法采用神经网络策略，直接将感知到的声谱图表示声码为可识别的波形。这样的声码过程在现代TTS流水线中产生了计算瓶颈。我们提出了一种替代方法，该方法利用生成对抗网络（GANs）来学习从感知信息频谱图到简单幅度频谱图的映射，该频谱图可以进行语音编码。通过用户研究，我们表明，我们的方法显着优于天真的语音编码策略，同时是数百倍的速度比神经网络声码器在国家的最先进的TTS系统。我们还表明，我们的方法可以用来实现国家的最先进的结果，在无监督合成的个别字的语音。
2019-07-26 cs.LG cs.SD eess.AS
Adversarial Audio Synthesis
UC San Diego（加利福尼亚大学圣地亚哥分校）
音频信号以高时间分辨率进行采样，学习合成音频需要在一系列时间尺度上捕获结构。生成对抗网络（GANs）在生成局部和全局一致的图像方面取得了广泛的成功，但它们几乎没有应用于音频生成。在本文中，我们介绍了WaveGAN，这是首次尝试将GANs应用于原始波形音频的无监督合成。WaveGAN能够合成具有全局相干性的音频波形的一秒切片，适用于音效生成。我们的实验表明，在没有标签的情况下，WaveGAN在小词汇量语音数据集上训练时可以学习产生可理解的单词，并且还可以合成来自其他领域的音频，如鼓，鸟叫声和钢琴。我们将WaveGAN与一种方法进行了比较，该方法将为图像生成而设计的GANs应用于类似图像的音频特征表示，发现这两种方法都很有前途。
2019-02-09 cs.LG cs.SD
Unsupervised Text Embedding Space Generation Using Generative Adversarial Networks for Text Synthesis
Korea Advanced Institute of Science Technology（韩国科学技术院）；I-BRICKS
本文提出TESGAN，通过GAN生成连续文本嵌入空间并进行无监督学习，解决文本生成中的梯度反向传播与训练数据记忆问题。
2023-10-17 cs.CL cs.LG
Bidirectional Mapping Generative Adversarial Networks for Brain MR to PET Synthesis
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Shenzhen University（深圳大学）；Central South University（中南大学）；Harbin Engineering University（哈尔滨工程大学）
融合多模态医学图像，如MR和PET，可以提供有关人体的各种解剖或功能信息。但由于成本、辐射或其他限制等不同原因，PET数据总是不可用。在本文中，我们提出了一个3D端到端合成网络，称为双向映射生成对抗网络（BMGAN），其中图像上下文和潜在向量被有效地使用并联合优化用于大脑MR到PET合成。具体而言，设计了一种双向映射机制，将PET图像的语义信息嵌入到高维潜空间中。并进一步利用3D DenseU-Net生成器结构和扩展目标函数来提高合成结果的视觉质量。最吸引人的部分是，所提出的方法可以合成的感知逼真的PET图像，同时保留不同的大脑结构的不同主题。实验结果表明，该方法的性能优于其他竞争力的跨模态合成方法的定量措施，定性显示，分类评价。
2020-08-08 cs.LG eess.IV
Generative Adversarial Graph Convolutional Networks for Human Action Synthesis
Instituto de Telecomunicações（电信研究所）；Universidade da Beira Interior（贝拉内陆大学）；DeepNeuronic；NOVA LINCS（新里斯本大学计算机科学实验室）；C4-Cloud Computing Competence Center（C4云计算能力中心）
合成人体骨架的空间和时间动态仍然是一项具有挑战性的任务，不仅在所生成的形状的质量方面，而且在它们的多样性方面，特别是合成特定动作（动作调节）的逼真身体运动。在本文中，我们提出了Kinetic-GAN，这是一种新的架构，它利用生成对抗网络和图卷积网络的优势来合成人体的动力学。所提出的对抗架构可以在局部和全局身体运动中调节多达120种不同的动作，同时通过潜在的空间解纠缠和随机变化来提高样本质量和多样性。我们的实验是在三个著名的数据集上进行的，其中Kinetic-GAN在分布质量指标方面明显优于最先进的方法，同时能够合成超过一个数量级的不同动作。我们的代码和模型可在https://github.com/DegardinBruno/Kinetic-GAN上公开获取。
2021-10-25 cs.AI cs.CV cs.LG
User-Controllable Multi-Texture Synthesis with Generative Adversarial Networks
Samsung AI Center Moscow（三星莫斯科人工智能中心）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；National Research University Higher School of Economics（高等经济大学）
提出了一种基于生成对抗网络（GANs）的多纹理合成模型，该模型具有用户可控机制。用户控制功能允许明确指定应该由模型生成的纹理。该属性来自于使用编码器部分，该编码器部分从数据集中学习每个纹理的潜在表示。为了确保数据集的覆盖率，我们使用了一个对抗性的损失函数，该函数对给定纹理的不正确再现进行惩罚。在实验中，我们证明了我们的模型可以学习大型数据集和原始数据（如高分辨率照片）的描述性纹理流形。此外，我们应用我们的方法来产生3D纹理，并表明它优于现有的基线。
2019-04-24 cs.CV cs.LG stat.ML
Adversarial Audio Synthesis with Complex-valued Polynomial Networks
KTH Royal Institute of Technology（KTH皇家理工学院）；EPFL（洛桑联邦理工学院）
音频合成中的时频（TF）表示越来越多地使用实值网络建模。然而，忽略TF表示的复值性质可能导致次优性能并且需要额外的模块（例如，用于对相位进行建模）。为此，我们引入复值多项式网络，称为APOLLO，以自然的方式集成这种复值表示。具体地说，APOLLO使用高阶张量作为尺度参数来捕获输入元素的高阶相关性。通过利用标准的张量分解，我们得到不同的架构，并使建模更丰富的相关性。我们概述了这样的架构，并展示了他们的性能在音频生成四个基准。作为一个亮点，APOLLO导致$17.5\%$优于对抗方法，$8.2\%$优于SC09数据集上最先进的音频生成扩散模型。我们的模型可以鼓励系统设计的其他高效的架构在复杂的领域。
2022-06-21 cs.LG eess.AS
Fre-GAN: Adversarial Frequency-consistent Audio Synthesis
Korea University（高丽大学）；Netmarble Corporation（网石公司）
虽然最近的神经声码器的工作已经提高了合成音频的质量，但在频率空间中生成的音频和地面真实音频之间仍然存在差距。这种差异会导致频谱伪像，如嘶嘶声噪声或混响，从而降低样本质量。在本文中，我们提出了Fre-GAN，它实现了频率一致的音频合成，并大大提高了生成质量。具体来说，我们首先提出了分辨率连接的生成器和分辨率鉴别器，这有助于学习多个频段上的各种尺度的频谱分布。此外，为了准确地再现高频分量，我们在鉴别器中利用离散小波变换。从我们的实验中，Fre-GAN实现了高保真波形生成，与地面实况音频相比，差距仅为0.03 MOS，同时在质量上优于标准模型。
2021-06-14 cs.LG eess.AS
Bayesian Generative Adversarial Networks via Gaussian Approximation for Tabular Data Synthesis
Department of Social Statistics, The University of Manchester（社会统计系，曼彻斯特大学）；Alliance Manchester Business School, The University of Manchester（曼彻斯特商业联盟学院，曼彻斯特大学）
本文提出GACTGAN，通过高斯近似技术在CTGAN中整合贝叶斯后验近似，以更高效地生成表格数据，提升数据结构和统计信息的保真度并降低隐私风险。
2026-02-25 cs.LG stat.ML
Generative Adversarial Network Architectures For Image Synthesis Using Capsule Networks
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
在本文中，我们提出了生成对抗网络（GAN）架构，使用胶囊网络进行图像合成。基于特征的位置等方差原理，胶囊网络对图像特征之间的空间关系进行编码的能力有助于它成为比当前图像合成架构中使用的卷积神经网络（CNN）更强大的批评者。我们提出的GAN架构学习数据流形的速度要快得多，因此，与使用CNN的GANs及其变体相比，可以在更少的训练样本和训练时间内合成视觉上准确的图像。除了分析不同架构生成的图像对应的定量结果外，我们还探索了使用CNN批评的GAN架构所探索的覆盖率和多样性较低的原因。
2018-11-20 cs.CV cs.LG cs.NE
You Only Need Adversarial Supervision for Semantic Image Synthesis
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Bonn（波恩大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
尽管最近取得了成功，但用于语义图像合成的GAN模型在仅使用对抗监督进行训练时仍然存在图像质量差的问题。从历史上看，另外采用基于VGG的感知损失有助于克服这个问题，显著提高合成质量，但同时限制了GAN模型用于语义图像合成的进展。在这项工作中，我们提出了一种新的，简化的GAN模型，它只需要对抗监督，以实现高质量的结果。我们重新设计了一个语义分割网络，直接使用给定的语义标签映射作为训练的基础事实。通过提供更强的监督，以及生成器通过空间和语义感知反馈，我们能够合成更高保真的图像，更好地对齐到他们的输入标签地图，使使用的感知损失多余的。此外，我们通过对注入到生成器中的3D噪声张量进行全局和局部采样来实现高质量的多模态图像合成，这允许完全或部分图像变化。我们表明，我们的模型合成的图像更加多样化，并遵循真实图像的颜色和纹理分布更密切。我们实现了$6$ FID和$5$ mIoU点的平均改进，超过了仅使用对抗监督的不同数据集的最新技术水平。
2021-03-19 cs.CV cs.LG eess.IV
Relational Data Synthesis using Generative Adversarial Networks: A Design Space Exploration
Renmin University of China（中国人民大学）；Tsinghua University（清华大学）
大数据的激增带来了对隐私保护数据发布的迫切需求。针对这一需求的传统解决方案在有效平衡所发布数据的隐私性和实用性之间的权衡方面存在局限性。因此，数据库社区和机器学习社区最近研究了使用生成对抗网络（GAN）的关系数据合成的新问题，并提出了各种算法。然而，这些算法没有在同一框架下进行比较，因此从业者很难理解GAN的优点和局限性。为了弥补这一差距，我们进行了迄今为止最全面的实验研究，研究将GAN应用于关系数据合成。我们引入了一个统一的基于GAN的框架，并为框架中的每个组件定义了一个设计解决方案空间，包括神经网络架构和训练策略。我们进行了广泛的实验，探索设计空间，并与传统的数据合成方法进行比较。通过大量的实验，我们发现GAN是非常有前途的关系数据综合，并提供指导，选择合适的设计方案。我们还指出了GAN的局限性，并确定未来的研究方向。
2020-08-28 cs.AI cs.DB cs.LG
Generative Adversarial Networks for Brain Images Synthesis: A Review
University of Washington（华盛顿大学）；Institute of Systems Biology（系统生物学研究所）；Islamic Azad University（伊斯兰阿扎德大学）
本文综述了生成对抗网络（GAN）在脑图像跨模态合成中的最新进展，涵盖CT、PET和MRI之间的相互转换，以解决多模态影像获取成本高、耗时的问题。
2023-05-16 cs.CV cs.LG eess.IV
HiFi-GAN: Generative Adversarial Networks for Efficient and High Fidelity Speech Synthesis
Kakao Enterprise（Kakao企业（Kakao Enterprise））
最近几项关于语音合成的工作采用了生成对抗网络（GANs）来产生原始波形。虽然这些方法提高了采样效率和内存使用率，但它们的样本质量尚未达到自回归和基于流的生成模型。在这项工作中，我们提出了HiFi-GAN，它实现了高效和高保真的语音合成。由于语音音频由具有不同周期的正弦信号组成，我们证明了对音频的周期性模式进行建模对于提高样本质量至关重要。单个说话者数据集的主观人类评价（平均意见得分，MOS）表明，我们提出的方法与人类质量相似，同时在单个V100 GPU上生成22.05 kHz高保真音频的速度比实时快167.9倍。我们进一步展示了HiFi-GAN对看不见的说话者的梅尔频谱图反转和端到端语音合成的通用性。最后，HiFi-GAN的小尺寸版本生成的样本比CPU上的实时速度快13.4倍，质量与自回归对应物相当。
2020-10-23 cs.LG cs.SD eess.AS
Multiclass non-Adversarial Image Synthesis, with Application to Classification from Very Small Sample
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
合成图像的生成目前由生成对抗网络（GANs）主导。尽管它们在生成逼真的图像方面取得了杰出的成功，但它们仍然存在主要缺点，包括不稳定和高度敏感的训练过程，模式崩溃和模式混合，以及对大型训练集的依赖。在这项工作中，我们提出了一种新的非对抗性生成方法-潜在空间的优化（COLA），它克服了GANs的一些限制，并在训练数据稀缺时优于GANs。在完整的数据体系中，我们的方法能够在没有监督的情况下生成多样化的多类图像，在图像质量和多样性方面超越了之前的非对抗性方法。在小数据范围内，只有少量标记图像样本可用于训练，无法访问其他未标记数据，我们的结果超过了在相同数据量上训练的最先进的GAN模型。最后，当利用我们的模型来增强小数据集时，我们在具有挑战性的数据集上的小样本分类任务中超越了最先进的性能，包括CIFAR-10，CIFAR-100，STL-10和Tiny-ImageNet。理论分析支持的方法的本质。
2020-12-01 cs.CV cs.LG
Discriminator Synthesis: On reusing the other half of Generative Adversarial Networks
Computer Vision Center (CVC)（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
生成对抗网络早已彻底改变了计算机视觉的世界，并与之相联系，艺术的世界。人们付出了艰苦的努力来充分利用和稳定训练，以便生成器网络的输出具有最高的保真度，但很少在训练完成后使用判别器。在这项工作中，我们建议使用后者，并展示了一种使用它从训练数据集中学习到的特征来改变图像并从头开始生成图像的方法。我们将这种方法命名为Discriminator Dreaming，完整的代码可以在https://github.com/PDillis/stylegan3-fun上找到。
2021-11-12 cs.CV cs.LG eess.IV
DrumGAN VST: A Plugin for Drum Sound Analysis/Synthesis With Autoencoding Generative Adversarial Networks
Sony Computer Science Laboratories（索尼计算机科学实验室）；National Institute of Applied Sciences, Lyon（里昂国立应用科学学院）
在当代流行音乐制作中，鼓的声音设计通常是通过在声音库中浏览和处理预先录制的样本来进行的。人们也可以使用专门的合成硬件，通常通过低层次的，音乐上无意义的参数控制。今天，深度学习领域提供了通过学习的高级特征控制合成过程的方法，并允许生成各种各样的声音。在本文中，我们提出了DrumGAN VST，一个使用生成对抗网络合成鼓声的插件。DrumGAN VST在44.1 kHz采样率音频上运行，提供独立和连续的乐器类控制，并具有编码神经网络，可将声音映射到GAN的潜在空间，从而实现对预先存在的鼓声的重新合成和操纵。我们提供了许多声音的例子和演示的建议VST插件。
2022-06-29 cs.LG cs.SD eess.AS
Generative Adversarial Synthesis of Radar Point Cloud Scenes
RWTH Aachen University（亚琛工业大学）；Technische Universität Ilmenau（伊尔梅瑙工业大学）；Technische Hochschule Ingolstadt（英戈尔施塔特应用技术大学）
本文提出基于PointNet++的GAN模型合成逼真雷达点云场景，以替代费力的真实数据采集与仿真方法，并通过二分类器验证其性能接近真实场景（约87%）。
2024-10-17 cs.CV cs.LG eess.IV
Data synthesis and adversarial networks: A review and meta-analysis in cancer imaging
Universitat de Barcelona（巴塞罗那大学）；Erasmus MC（伊拉斯姆斯医学中心）；Imperial College London（帝国理工学院）
尽管技术和医学进步，但基于成像数据的癌症检测、解释和治疗继续构成重大挑战。这些因素包括观察者间变异性、类别不平衡、数据集变化、肿瘤间和肿瘤内异质性、恶性肿瘤确定和治疗效果不确定性。鉴于生成对抗网络（GANs）、数据合成和对抗训练的最新进展，我们评估了这些技术在解决癌症成像的一些关键挑战方面的潜力。我们将这些挑战分为：（a）数据稀缺和不平衡，（b）数据访问和隐私，（c）数据注释和分割，（d）癌症检测和诊断，以及（e）肿瘤分析，治疗计划和监测。基于我们对164篇在癌症成像背景下应用对抗训练技术的出版物的分析，我们强调了多个具有研究潜力的未充分探索的解决方案。我们进一步贡献的综合研究可信度测试（SynTRUST），一个荟萃分析框架，用于评估医学图像合成研究的验证严格性。SynTRUST基于26个具体的彻底性、可重复性、有用性、可扩展性和可持续性的衡量标准。基于SynTRUST，我们分析了16个最有前途的癌症成像挑战解决方案，并观察到总体上的高验证严格性，但也有一些可取的改进。通过这项工作，我们努力弥合临床癌症成像社区的需求与人工智能社区中数据合成和对抗网络的当前和前瞻性研究之间的差距。
2022-11-27 cs.AI cs.CV cs.LG
Age-Conditioned Synthesis of Pediatric Computed Tomography with Auxiliary Classifier Generative Adversarial Networks
Marquette University（马凯特大学）
深度学习是计算机断层扫描（CT）图像处理（如器官分割）中流行且功能强大的工具，但其对大型训练数据集的要求仍然是一个挑战。尽管儿童在成长过程中存在很大的解剖变异性，但由于对儿童的辐射风险，儿科CT扫描的训练数据集尤其难以获得。在本文中，我们提出了一种方法，有条件地合成逼真的儿科CT图像，使用一个新的辅助分类器生成对抗网络（ACGAN）架构，考虑到年龄信息。所提出的网络生成年龄调节的高分辨率CT图像，以丰富儿科训练数据集。
2020-01-31 cs.CV cs.LG eess.IV
Synthesis of standard 12-lead electrocardiograms using two dimensional generative adversarial network
Advanced Algorithm Research Center, Philips Healthcare（飞利浦医疗保健高级算法研究中心）
本文提出了一个二维（2D）双向长短期记忆生成对抗网络（GAN），以产生合成的标准12导联ECG对应于四种类型的信号：左心室肥大（LVH），左分支束传导阻滞（LBBB），急性心肌梗死（ACUTMI），和正常。它使用全自动端到端过程来生成和验证合成ECG，无需任何目视检查。所提出的模型能够产生合成标准的12导联ECG信号，LVH的成功率为98%，LBBB为93%，ACUTMI为79%，正常为59%。数据的统计学评价证实，合成ECG不偏向于或过度拟合于训练ECG，并且跨越广泛的形态特征。这项研究表明，它是可行的，使用2D GAN，以产生标准的12导联心电图适合人工增强真实心电图的多样化的数据库，从而提供了一个可能的解决方案，广泛的心电图数据集的需求。
2021-06-02 cs.LG eess.SP
GANSynth: Adversarial Neural Audio Synthesis
Google AI（谷歌AI）
高效的音频合成是一项固有的困难的机器学习任务，因为人类感知对全局结构和精细尺度波形相干性都很敏感。自回归模型，如WaveNet，以全局潜在结构和缓慢的迭代采样为代价对局部结构进行建模，而生成对抗网络（GANs）具有全局潜在条件和高效的并行采样，但难以生成局部相干的音频波形。在本文中，我们证明了GANs实际上可以通过在谱域中以足够的频率分辨率对对数幅度和瞬时频率进行建模来生成高保真和局部相干的音频。通过对NSynth数据集的广泛实证研究，我们证明了GANs能够在自动和人工评估指标上超越强大的WaveNet基线，并有效地生成比自回归对应物快几个数量级的音频。
2019-04-15 cs.LG cs.SD eess.AS
Adversarial Generation of Time-Frequency Features with application in audio synthesis
Acoustics Research Institute, Austrian Academy of Sciences（奥地利科学院声学研究所）；Swiss Data Science Center, ETH Zürich（苏黎世联邦理工学院瑞士数据科学中心）
时频（TF）表示为时间序列（如音频）的分析提供了强大而直观的功能。但是，TF域中音频的生成建模仍然是一个微妙的问题。因此，神经音频合成广泛地依赖于直接对波形进行建模，并且先前从神经生成的可逆TF特征无条件地合成音频的尝试仍然难以以令人满意的质量产生音频。在这篇文章中，我们将重点关注短时傅里叶变换，讨论基于生成的可逆TF特征的音频合成中出现的挑战以及如何克服这些挑战。我们通过在短时傅立叶特征上训练生成对抗网络（GAN）来展示故意生成TF建模的潜力。我们表明，通过应用我们的指导方针，我们基于TF的网络能够超越直接生成波形的最先进的GAN，尽管这两个网络的架构相似。
2019-05-16 cs.LG cs.SD eess.AS
CardioGAN: Attentive Generative Adversarial Network with Dual Discriminators for Synthesis of ECG from PPG
Ingenuity Labs Research Institute（Ingenuity Labs 研究院）
心电图（ECG）是心脏活动的电测量，而光电容积描记图（PPG）是血液循环中体积变化的光学测量。虽然这两种信号都用于心率监测，但从医学角度来看，ECG更有用，因为它携带了额外的心脏信息。尽管许多尝试将ECG感测并入智能手表或类似的可穿戴设备中以用于连续且可靠的心脏监测，但PPG传感器是可用的主要可行感测解决方案。为了解决这个问题，我们提出了一种对抗模型，它以PPG为输入，生成ECG作为输出。该网络利用基于注意力的生成器来学习局部显著特征，以及双鉴别器来保持时域和频域中生成数据的完整性。我们的实验表明，与原始输入PPG相比，由ESTGAN生成的ECG提供了更可靠的心率测量，将误差从每分钟9.74次（从PPG测量）减少到2.89次（从生成的ECG测量）。
2020-12-15 cs.LG eess.SP
Composite Travel Generative Adversarial Networks for Tabular and Sequential Population Synthesis
Concordia University（康考迪亚大学）；Ryerson University（瑞尔森大学）
基于代理人的交通建模已成为标准，以模拟旅行行为，流动性选择和活动偏好，使用整个人口的分类旅行需求数据，这些数据通常不易获得。为此目的提出了各种方法来综合人口数据。我们提出了一种复合旅行生成对抗网络（CTGAN），这是一种新型的深度生成模型，用于估计人口的潜在联合分布，能够重建具有表格（例如年龄和性别）以及连续移动数据（例如行程轨迹和序列）的复合合成代理。CTGAN模型与其他最近提出的方法，如变分自编码器（VAE）的方法，这表明在高维表格人口合成的成功。我们根据分布相似性、多变量相关性和时空度量来评估合成输出的性能。结果表明，一致和准确的生成合成人口和他们的表格和空间顺序的属性，在不同的空间尺度和尺寸。
2020-04-15 cs.LG cs.MA stat.ML
Parallel waveform synthesis based on generative adversarial networks with voicing-aware conditional discriminators
1 LINE Corp., Tokyo, Japan 2 NAVER Corp., Seongnam, Korea 3 Search Solutions Inc., Seongnam, Korea
本文提出了基于并行WaveGAN的波形合成系统中的感知条件鉴别器。在这个框架中，我们采用了一种基于投影的条件反射方法，可以显着提高神经网络的性能。此外，传统的波形鉴别器被分成两个波形鉴别器，用于建模有声和无声语音。随着每个训练器分别学习谐波和噪声分量的独特特征，对抗训练过程变得更加有效，使生成器能够产生更逼真的语音波形。主观测试结果表明，该方法优于传统的并行Wavegan和WaveNet系统。特别是，我们在基于FastSpeech 2的文本到语音框架内独立于说话者训练的模型分别为四名日语发言者获得了4.20，4.18，4.21和4.31的平均意见得分。
2021-04-26 cs.LG cs.SD eess.AS
Logo Synthesis and Manipulation with Clustered Generative Adversarial Networks
ETH Zurich（苏黎世联邦理工学院）；Merantix GmbH（Merantix 有限公司）；KU Leuven（鲁汶大学）
为新品牌设计徽标是设计师和客户之间漫长而乏味的来回过程。在本文中，我们将探讨机器学习在多大程度上可以解决设计师的创造性任务。为此，我们建立了一个数据集- LLD -从万维网上抓取的600 k+徽标。在这种多模态数据上训练生成对抗网络（GANs）进行徽标合成并不简单，并且对于一些最先进的方法会导致模式坍塌。我们建议使用通过聚类获得的合成标签来解开和稳定GAN训练。我们能够产生一个高多样性的似是而非的标志，我们展示了潜在的空间探索技术，以减轻互动方式的标志设计任务。此外，我们在CIFAR 10上验证了所提出的聚类GAN训练，当使用通过对ImageNet分类器的特征进行聚类而获得的合成标签时，获得了最先进的Inception分数。GANs可以通过聚类实现的合成标签来处理多模态数据，我们的研究结果显示了这种技术在徽标合成和操作方面的创造性潜力。我们的数据集和模型将在https://data.vision.ee.ethz.ch/cvl/lld/上公开提供。
2017-12-12 cs.CV cs.LG stat.ML
Adversarial Video Generation on Complex Datasets
DeepMind
自然图像的生成模型已经通过规模的强大杠杆作用向高保真样本发展。我们试图通过展示在复杂的Kinetics-600数据集上训练的大型生成对抗网络能够产生比以前工作更高复杂度和保真度的视频样本，将这一成功带到视频建模领域。我们提出的模型，双视频鉴别器GAN（DVD-GAN），规模更长，更高分辨率的视频，利用计算效率的分解，其分辨率。我们对视频合成和视频预测的相关任务进行了评估，并实现了用于Kinetics-600预测的最新Fréchet Inception Distance，以及用于UCF-101数据集合成的最新Inception Score，同时为Kinetics-600的合成建立了强大的基线。
2019-09-25 cs.CV cs.LG stat.ML
Generative adversarial network-based glottal waveform model for statistical parametric speech synthesis
Aalto University（阿尔托大学）
最近的研究表明，使用声门声码可以提高文本到语音合成的质量。这是指声码器，参数化语音分为两个部分，声门兴奋和声道，发生在人类的语音生产设备。当前的声门声码器通过使用深度神经网络（DNN）来生成声门激励波形。然而，目前声门激励模型的基于平方误差的训练仅限于生成条件平均波形，其未能捕获波形的随机变化。因此，作为后处理添加了整形噪声。在这项研究中，我们提出了一种新的方法来预测声门波形的生成对抗网络（GANs）。GANs是生成模型，旨在将数据分布嵌入潜在空间中，通过随机采样潜在分布来生成与原始实例非常相似的新实例。由GANs产生的声门脉冲显示出类似于自然声门脉冲的随机分量。在我们的实验中，我们比较了使用DNN和GANs产生的声门波形生成的合成语音。结果表明，新提出的GANs实现了与广泛使用的DNN相当的合成质量，而不使用加性噪声分量。
2019-03-14 cs.CL cs.LG cs.SD
Non-Adversarial Image Synthesis with Generative Latent Nearest Neighbors
Facebook AI Research（Facebook人工智能研究）；UC Berkeley（加州大学伯克利分校）
无条件图像生成最近由生成对抗网络（GANs）主导。GAN方法训练从随机噪声向量回归图像的生成器，以及尝试区分所生成的图像和真实图像的训练集的训练器。GANs在生成逼真的图像方面表现出了惊人的效果。尽管取得了成功，但GANs存在严重的缺点，包括：训练不稳定和模式下降。GANs的弱点促使人们研究替代方案，包括：变分自动编码器（VAE），潜在嵌入学习方法（例如GLO）和基于最近邻的隐式最大似然估计（IMLE）。不幸的是，目前，GANs仍然明显优于图像生成的替代方法。在这项工作中，我们提出了一种新的方法-生成潜在最近邻（GLANN）-用于在没有对抗训练的情况下训练生成模型。GLANN结合了IMLE和GLO的优点，克服了每种方法的主要缺点。因此，GLANN生成的图像远远优于GLO和IMLE。我们的方法不会遭受模式坍塌，困扰GAN训练，是更稳定。定性结果表明，GLANN在常用数据集上的性能优于由800个GANs和VAE组成的基线。我们的模型也被证明是有效的训练真正的非对抗性无监督图像翻译。
2018-12-21 cs.CV cs.LG stat.ML
Realistic River Image Synthesis using Deep Generative Adversarial Networks
Columbia University（哥伦比亚大学）；University of Iowa（爱荷华大学）
在本文中，我们展示了使用深度学习生成真实河流图像的实际应用。具体而言，我们探索了一种生成对抗网络（GAN）模型，该模型能够生成高分辨率和逼真的河流图像，可用于支持地表水估计、河流弯曲、湿地损失和其他水文研究中的建模和分析。首先，我们创建了一个广泛的架空河流图像库，用于训练。其次，我们引入了渐进式增长GAN（PGGAN），这是一种网络架构，它迭代地训练较小分辨率的GANs，以逐渐提高到非常高的分辨率，从而生成高质量的（即，1024 x1024）合成河流图像。对于更简单的GAN架构，在训练时间的指数增长和梯度消失/爆炸问题方面出现了困难，PGGAN实现似乎显着减少了这些困难。本研究中提出的结果在生成高质量图像和捕获河流结构和流量的细节以支持水文研究方面显示出很大的希望，这通常需要大量的图像来实现模型性能。
2021-07-27 cs.CV cs.LG stat.ML
Text2Action: Generative Adversarial Synthesis from Language to Action
Seoul National University（首尔大学）
在本文中，我们提出了一个生成模型，学习语言和人类行为之间的关系，以产生一个人类的动作序列给定的一个句子描述人类的行为。所提出的生成模型是一个生成对抗网络（GAN），它是基于序列到序列（SEQ 2SEQ）模型。使用建议的生成网络，我们可以合成各种行动的机器人或虚拟代理使用文本编码器递归神经网络（RNN）和动作解码器RNN。所提出的生成网络是从大规模视频数据集MSR-Video-to-Text（MSR-VTT）中提取的29，770对动作和句子注释进行训练的。我们证明了该网络可以生成类似人类的动作，这些动作可以转移到Baxter机器人上，这样机器人就可以根据所提供的句子执行动作。实验结果表明，所提出的生成网络正确地模拟了语言和动作之间的关系，可以从同一个句子中生成不同的动作集。
2017-10-24 cs.CL cs.LG cs.RO
COVID-19 CT Image Synthesis with a Conditional Generative Adversarial Network
Korea University（高丽大学）；George Washington University（乔治华盛顿大学）
2019冠状病毒病（COVID-19）是一种持续的全球大流行病，自2019年12月以来迅速蔓延。实时逆转录聚合酶链反应（rRT-PCR）和胸部计算机断层扫描（CT）成像在COVID-19诊断中均发挥重要作用。胸部CT成像提供了快速报告、低成本和检测肺部感染的高灵敏度的优点。最近，基于深度学习的计算机视觉方法在医学成像应用中表现出了巨大的前景，包括X射线，磁共振成像和CT成像。然而，训练深度学习模型需要大量数据，由于疾病的高传染性，医务人员在收集COVID-19 CT数据时面临很高的风险。另一个问题是缺乏可用于数据标签的专家。为了满足COVID-19 CT成像的数据要求，我们提出了一种基于条件生成对抗网络的CT图像合成方法，该方法可以有效地生成高质量和逼真的COVID-19 CT图像，用于基于深度学习的医学成像任务。实验结果表明，该方法在生成的COVID-19 CT图像上的性能优于其他最先进的图像合成方法，并表明该方法在包括语义分割和分类在内的各种机器学习应用中具有广阔的前景。
2020-12-03 cs.CV cs.LG eess.IV
A Survey and Taxonomy of Adversarial Neural Networks for Text-to-Image Synthesis
Florida Atlantic University（佛罗里达大西洋大学）；Nanjing University of Finance and Economics（南京财经大学）
文本到图像合成是指将人类书面文本描述（以关键字或句子的形式）翻译成与文本语义相似的图像的计算方法。在早期的研究中，图像合成主要依赖于文字到图像的相关性分析，并结合监督方法来找到与文本匹配的视觉内容的最佳对齐。深度学习（DL）的最新进展带来了一组新的无监督深度学习方法，特别是深度生成模型，其能够使用适当训练的神经网络模型生成逼真的视觉图像。在本文中，我们回顾了文本到图像合成研究领域的最新进展。我们的调查首先介绍了图像合成及其挑战，然后回顾了生成对抗网络（GANs）和深度卷积编码器-解码器神经网络（DCNN）等关键概念。在此之后，我们提出了一个分类法，总结GAN为基础的文本到图像合成分为四个主要类别：语义增强GANs，分辨率增强GANs，多样性增强GANs，和运动增强GANs。我们详细阐述了每个组的主要目标，并进一步回顾了每个组中的典型GAN架构。分类和审查概述了技术和不同方法的演变，并最终提供了一个明确的路线图，以总结利用GANs和DCNN生成人脸，鸟类，花卉，室内装饰，边缘图（游戏）对象重建等类别的迷人结果的同期解决方案列表。尚未解决的挑战，以及文本到图像合成领域的未来发展。
2019-10-21 cs.CL cs.CV cs.GR
MelGAN: Generative Adversarial Networks for Conditional Waveform Synthesis
Lyrebird AI（Lyrebird人工智能公司）；Mila（米拉研究所）；University of Montreal（蒙特利尔大学）；CIFAR（加拿大高等研究院）
先前的工作（Donahue等人，2018 a; Engel等人，2019 a）已经发现用GANs生成相干原始音频波形是具有挑战性的。在本文中，我们证明了通过引入一组结构变化和简单的训练技术，可以可靠地训练GANs以生成高质量的相干波形。主观评价指标（平均意见分数，或MOS）表明所提出的方法的有效性，高质量的梅尔频谱图反演。为了建立所提出的技术的一般性，我们展示了我们的模型在语音合成，音乐域翻译和无条件音乐合成的定性结果。我们通过消融研究评估模型的各个组成部分，并提出了一套指导原则，设计通用的鉴别器和发电机的条件序列合成任务。我们的模型是非自回归的，完全卷积的，比竞争模型的参数少得多，并推广到看不见的扬声器梅尔频谱图反转。我们的pytorch实现在GTX 1080Ti GPU上的运行速度比实时快100倍以上，在CPU上的运行速度比实时快2倍以上，没有任何硬件特定的优化技巧。
2019-12-09 cs.CL cs.LG cs.SD
VQCPC-GAN: Variable-Length Adversarial Audio Synthesis Using Vector-Quantized Contrastive Predictive Coding
Sony Computer Science Laboratory（索尼计算机科学实验室）；LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI，巴黎电信学院，巴黎综合理工学院）
受计算机视觉领域的影响，生成对抗网络（GANs）通常用于音频域，使用固定大小的二维频谱图表示作为“图像数据”。然而，在（音乐）音频域中，通常期望生成可变持续时间的输出。本文提出了VQCPC-GAN，一个对抗性的框架，通过利用矢量量化对比预测编码（VQCPC）合成可变长度的音频。从真实音频数据中提取的VQCPC令牌序列用作GAN架构的条件输入，提供所生成内容的逐步时间相关特征。输入噪声z（对抗架构中的特征）随时间保持固定，确保全局特征的时间一致性。我们通过比较不同的指标集对各种强基线来评估所提出的模型。结果表明，即使基线得分最好，VQCPC-GAN即使在生成可变长度音频时也能实现相当的性能。在附带的网站中提供了许多合理的示例，我们发布了可重复性的代码。
2021-07-30 cs.AI cs.LG cs.SD
Photoacoustic image synthesis with generative adversarial networks
German Cancer Research Center (DKFZ)（德国癌症研究中心）；Heidelberg University（海德堡大学）；Helmholtz Information and Data Science School for Health（亥姆霍兹健康信息与数据科学学院）；Cancer Research UK Cambridge Institute, University of Cambridge（剑桥大学英国癌症研究中心剑桥研究所）
光声层析成像（PAT）具有恢复组织形态和功能特性的潜力，具有高空间分辨率。然而，以前试图用监督机器学习解决光学逆问题的尝试受到缺乏标记参考数据的阻碍。虽然这个瓶颈已经通过模拟训练数据得到了解决，但真实图像和模拟图像之间的域差距仍然是一个未解决的挑战。我们提出了一种新的方法PAT图像合成，涉及细分的挑战，产生合理的模拟成两个不相交的问题：（1）概率生成的现实组织形态，和（2）相应的光学和声学特性的像素分配。前者是通过生成对抗网络（GANs）在语义注释的医学成像数据上进行训练来实现的。根据对下游任务的验证研究，我们的方法比传统的基于模型的方法产生更逼真的合成图像，因此可能成为基于深度学习的定量PAT（qPAT）的基本步骤。
2022-10-25 cs.CV cs.LG eess.IV
Improving Clean Accuracy via a Tangent-Space Perspective on Adversarial Training
Department of Statistics and Operations Research, University of North Carolina at Chapel Hill（统计与运筹学系，北卡罗来纳大学教堂山分校）；Department of Mathematics, Purdue University（数学系，普渡大学）
本文提出TART方法，通过利用数据流形几何提升清洁数据准确性，同时保持对抗鲁棒性。
2026-04-16 cs.AI cs.CR cs.LG
Tangent-Normal Adversarial Regularization for Semi-supervised Learning
Beijing Institute of Big Data Research（北京大数据研究院）
与标准监督学习相比，半监督学习的关键难点在于如何充分利用未标记数据。最近提出的一种方法，虚拟对抗训练（VAT），巧妙地执行对抗训练没有标签的信息，施加局部光滑的分类器，这是特别有益的半监督学习。在这项工作中，我们提出了切线常态对抗正则化（TNAR）作为VAT的扩展，考虑到数据流形。TNAR由两个互补的部分组成，正切对抗正则化（TAR）和正常对抗正则化（NAR）。在TAR中，VAT沿着数据流形的切空间应用，旨在加强分类器在流形上的局部不变性，而在NAR中，VAT在与切空间正交的法向空间上执行，旨在对分类器施加鲁棒性，以对抗导致观察数据偏离底层数据流形的噪声。在人工和实际数据集上的实验表明，我们提出的TAR和NAR相互补充，并共同优于其他最先进的半监督学习方法。
2019-03-01 cs.CV cs.LG stat.ML
Generative Adversarial Training for Text-to-Speech Synthesis Based on Raw Phonetic Input and Explicit Prosody Modelling
Adobe Systems（奥多比系统公司）
本文提出一个基于生成对抗训练的端到端语音合成系统，通过显式韵律建模和离散风格令牌，实现高表现力角色声音匹配。
2023-10-14 cs.LG
BOSS: Bidirectional One-Shot Synthesis of Adversarial Examples
University of Central Florida（中佛罗里达大学）；Air Force Research Laboratory（空军研究实验室）
对深度分类器的输入进行添加性不可感知的扰动以最大化其误分类率的设计是对抗机器学习的中心焦点。另一种方法是使用类似GAN的结构从头开始合成对抗性示例，尽管需要使用大量的训练数据。相比之下，本文考虑了对抗性示例的一次性合成;从头开始合成输入，以在预训练模型的输出处诱导任意软预测，同时保持与指定输入的高度相似性。为此，我们提出了一个问题，该问题对训练模型的期望分布和输出分布之间的距离以及这些输入和合成示例之间的相似性进行编码。我们证明了该问题是NP-完全的。然后，我们提出了一种生成方法的解决方案，其中的对抗性的例子是作为一个生成网络的输出，其参数迭代更新，通过优化代理损失函数的双目标。我们证明了通用性和通用性的框架和方法，提出通过应用程序的设计有针对性的对抗攻击，生成的决策边界样本，低置信度分类输入的合成。该方法进一步扩展到具有不同软输出规格的模型的集合。实验结果表明，所提出的目标攻击和置信度降低攻击方法的性能与现有的攻击算法相当。
2022-07-16 cs.LG
Rethinking Adversarial Training with Neural Tangent Kernel
Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）；Chongqing University（重庆大学）；Zhejiang University（浙江大学）
本文基于神经正切核分析对抗训练动力学，揭示数据归一化与无偏批归一化估计量的影响，提出更省时的对抗训练方法，并利用核频谱特征缓解灾难性过拟合。
2023-12-04 cs.AI cs.LG
When and Why Adversarial Training Improves PINNs: A Neural Tangent Kernel Perspective
School of Mathematics and Statistics, Beijing Institute of Technology, China（北京理工大学数学与统计学院，中国）；School of Professional Education and Executive Development The Hong Kong Polytechnic University, China（香港理工大学专业教育学院及管理发展学院，中国）；Department of Computer Science & UCL AI Centre, University College London, UK（伦敦大学学院计算机科学系及UCL人工智能中心，英国）
本文从神经 tangent 核角度分析对抗训练提升PINNs的机制，提出理论框架并设计高效算法，实验证明能显著改善PINNs训练病理，提升模型精度。
2026-10-15 cs.AI cs.LG
What Can the Neural Tangent Kernel Tell Us About Adversarial Robustness?
Center for Data Science（数据科学中心）；New York University（纽约大学）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）
神经网络的对抗性脆弱性以及随后创建鲁棒模型的技术引起了人们的极大关注;然而，我们仍然缺乏对这种现象的充分理解。在这里，我们通过连接神经网络和内核方法的最新理论进展提供的分析工具，即神经切线核（NTK），研究训练神经网络的对抗性示例，随着越来越多的工作利用NTK近似成功分析重要的深度学习现象并为新应用设计算法。我们展示了NTK如何允许以“无训练”的方式生成对抗性示例，并证明它们在“懒惰”机制中转移到欺骗有限宽度的神经网络。我们利用这种联系提供了一个强大的和非强大的功能，这已被认为是神经网络的对抗性脆性的基础上的另一种观点。具体来说，我们定义和研究的内核的特征分解，以更好地了解强大的和非强大的功能，对标准分类和鲁棒性准确性权衡两者的依赖的作用。我们发现，这些特征在不同的架构中具有惊人的一致性，并且鲁棒特征往往对应于模型的最大特征值，因此在训练过程中很早就被学习到。我们的框架允许我们识别和可视化非鲁棒但有用的功能。最后，我们揭示了在实践中使用的神经网络的对抗训练的鲁棒性机制：量化相关经验NTK的演变，我们证明了它的动态更早地落入“懒惰”状态，并表现出一种更强的众所周知的偏见形式，与标准训练相比，优先考虑内核的顶部特征空间内的学习特征。
2023-01-31 cs.CR cs.LG
Evolution of Neural Tangent Kernels under Benign and Adversarial Training
Computer Science and Artificial Intelligence Lab (CSAIL)（计算机科学与人工智能实验室）；Massachusetts Institute of Technology (MIT)（麻省理工学院）
现代深度学习面临的两个关键挑战是减轻深度网络对对抗攻击的脆弱性和理解深度学习的泛化能力。针对第一个问题，已经开发了许多防御策略，其中最常见的是对抗训练（AT）。对于第二个挑战，已经出现的一个主导理论是神经切线核（NTK）--一种在无限宽度限制下表征神经网络行为的理论。在这个限制下，内核被冻结，底层的特征图被固定。然而，在有限宽度中，有证据表明特征学习发生在训练的早期阶段（内核学习），然后是内核保持固定的第二阶段（惰性训练）。虽然先前的工作旨在通过冻结的无限宽度NTK的镜头来研究对抗脆弱性，但没有研究经验/有限NTK在训练期间的对抗鲁棒性的工作。在这项工作中，我们对标准和对抗训练下经验NTK的演变进行了实证研究，旨在消除对抗训练对内核学习和懒惰训练的影响。我们发现，在对抗训练下，经验NTK快速收敛到与标准训练不同的内核（和特征图）。这个新的内核提供了对抗性的鲁棒性，即使当非鲁棒性的训练是在它上面执行的。此外，我们发现，对抗性的训练上的一个固定的内核可以产生一个分类器与$76.1\%$强大的准确性下的PGD攻击与$\varepsilon = 4/255$ CIFAR-10。
2022-10-21 cs.AI cs.LG cs.NE
ALMOST: Adversarial Learning to Mitigate Oracle-less ML Attacks via Synthesis Tuning
New York University（纽约大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）；University of Calgary（卡尔加里大学）
无Oracle机器学习（ML）攻击已经破坏了各种逻辑锁定方案。定期合成，这是专门为面积功率延迟优化，产生网表的关键门的地方容易受到学习。因此，我们呼吁安全意识的逻辑合成。我们提出了ALMOST，这是一个对抗性学习的框架，通过合成调整来减轻无预言机器学习攻击。ALMOST使用基于模拟退火的合成配方生成器，采用经过对抗训练的模型，可以预测各种配方和密钥门位置上最先进的攻击准确性。在ISCAS基准测试上的实验证实，对于几乎合成的电路，攻击的准确率下降到50%左右，而不会破坏设计优化。
2023-03-06 cs.CR cs.LG
Model-Free $μ$ Synthesis via Adversarial Reinforcement Learning
University of Michigan（密歇根大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
受最近基于策略的强化学习（RL）的经验成功的启发，研究基于策略的RL方法在标准控制基准问题上的性能已经成为一种研究趋势。在本文中，我们研究了基于策略的RL方法的有效性的一个重要的鲁棒控制问题，即$μ$合成。我们建立了一个强大的对抗RL和$μ$合成之间的连接，并开发了一个无模型版本的著名的$DK$ -迭代解决状态反馈$μ$合成静态$D$缩放。在该算法中，$K$步骤通过引入一种新的双环对抗RL方法作为子程序来模仿经典的中心路径算法，而$D$步骤基于无模型有限差分近似.广泛的数值研究也证明了我们提出的无模型算法的实用性。我们的研究揭示了对抗RL和鲁棒控制之间的联系。
2022-06-08 cs.LG math.OC
Adversarial Attention for Human Motion Synthesis
University of Glasgow（格拉斯哥大学）
从人机交互到娱乐、虚拟现实和医疗保健，分析人体运动是许多学科感兴趣的核心课题。深度学习在实时捕捉人体姿势方面取得了令人印象深刻的成果。另一方面，由于受试者间的高度可变性，人体运动分析模型通常由于在诸如医疗保健等领域中可用的非常有限的专业数据集而无法概括来自看不见的受试者的数据。然而，获取人体运动数据集是非常耗时，具有挑战性和昂贵的。因此，人体运动合成是深度学习和计算机视觉中的一个关键研究问题。我们提出了一种新的可控人体运动合成方法，通过应用基于注意力的概率深度对抗模型进行端到端训练。我们表明，我们可以通过使用对抗性注意力在短时间和长时间范围内生成合成人体运动。此外，我们还表明，在真实数据不足的情况下，我们可以通过用合成运动补充现有数据集来提高深度学习模型的分类性能。
2022-04-25 cs.CV cs.LG
Adversarial Query Synthesis via Bayesian Optimization
University of Pennsylvania（宾夕法尼亚大学）
本文提出利用贝叶斯优化技术自动合成对抗查询，以提升数据库基准工作的优化余地。
2026-03-02 cs.DB cs.LG
GANStrument: Adversarial Instrument Sound Synthesis with Pitch-invariant Instance Conditioning
Sony Computer Science Laboratories（索尼计算机科学实验室）
我们提出了GANStrument，一个用于乐器声音合成的生成对抗模型。给定单次声音作为输入，它能够在交互时间内生成反映输入音色的音调乐器声音。通过利用实例条件，GANStrument实现了更好的合成声音的保真度和多样性以及对各种输入的泛化能力。此外，我们引入了一个对抗性的训练方案，用于一个音高不变的特征提取器，显着提高了音高准确性和音色一致性。实验结果表明，GANStrument在生成质量和输入可编辑性方面优于不使用实例条件的强基线。定性例子可在网上查阅。
2023-03-07 cs.LG cs.SD eess.AS
Adversarial Pseudo Healthy Synthesis Needs Pathology Factorization
University of Edinburgh（爱丁堡大学）；The Alan Turing Institute（艾伦·图灵研究所）
伪健康合成，即从病理图像创建对象特定的“健康”图像，可能有助于诸如异常检测、理解由病理和疾病引起的变化或甚至作为数据增强的任务。我们将此任务视为因子分解问题：我们的目标是将看起来健康的部分和疾病所在的部分（作为地图）分开。然后，这两个因素（通过网络）重组，以重建输入的疾病图像。我们使用配对或非配对设置以对抗的方式训练我们的模型，其中我们在可用时将疾病图像和地图（作为分割掩模）配对。我们定量地评估伪健康图像的质量。我们在ISLES和BraTS数据集上进行的一系列实验表明，我们的方法优于条件GAN和CycleGAN，突出了在伪健康图像生成的图像翻译任务中使用对抗方法的挑战。
2019-01-10 cs.CV cs.LG stat.ML
SVS: Adversarial refinement for sparse novel view synthesis
University of Surrey（萨里大学）；BBC R&D（英国广播公司研发部）
本文提出了稀疏视图合成。这是一个视图合成问题，其中参考视图的数量是有限的，并且目标视图和参考视图之间的基线是重要的。在这些条件下，当前的辐射场方法由于不可避免的伪像（诸如3D浮动斑点、模糊和结构重复）而灾难性地失败，每当参考视图的数量有限时，或者目标视图显著地偏离参考视图时。网络架构和损失规则化的进步无法令人满意地消除这些伪影。场景中的遮挡确保了这些区域的真实内容对模型不可用。在这项工作中，我们专注于在这些区域内产生幻觉的似是而非的场景内容。为此，我们统一辐射场模型与对抗学习和感知损失。由此产生的系统提供了高达60%的提高感知精度相比，目前国家的最先进的辐射场模型在这个问题上。
2022-11-14 cs.CV cs.GR cs.LG
