Information Compensation for Deep Conditional Generative Networks
近年来，无监督/弱监督条件生成对抗网络（GANs）在建模和生成数据方面取得了许多成功。然而，它们的弱点之一在于它们分离或解开表征编码在其潜在空间中的表征的不同因素的能力很差。为了解决这个问题，我们提出了一种新的无监督条件GANs结构，该结构由一种新的信息补偿连接（IC-连接）驱动。所提出的IC连接使GANs能够补偿在去卷积操作期间发生的信息损失。此外，为了量化离散和连续潜变量的解纠缠程度，我们设计了一个新的评估程序。我们的实证结果表明，与有条件生成设置中的最先进的GANs相比，我们的方法实现了更好的解纠缠。
2022-03-06 cs.CV cs.LG stat.ML
Accelerating GAN training using highly parallel hardware on public cloud
CERN（欧洲核子研究中心）
随着高能物理中机器和深度学习应用的数量不断增加，对专用基础设施的轻松访问是快速高效研发的要求。本文利用Tensorflow数据并行策略，在并行环境中探索不同类型的云服务来训练生成对抗网络（GAN）。更具体地说，我们在多个GPU和Google Tensor Processing Units（TPU）上并行化了训练过程，并比较了两种算法：TensorFlow内置逻辑和自定义循环，优化后可以更好地控制分配给每个GPU工人或TPU核心的元素。所生成的数据的质量进行比较，蒙特卡罗模拟。获得了训练过程的线性加速，同时保留了物理结果方面的大部分性能。此外，我们在多个GPU节点上大规模地对上述方法进行基准测试，在不同的公共云提供商上部署训练过程，寻求整体效率和成本效益。数据科学、云部署选项和相关经济性的结合允许异构地爆发，探索基于云的服务的全部潜力。
2021-11-08 cs.DC cs.LG
From DNNs to GANs: Review of efficient hardware architectures for deep learning
Indian Institute of Technology Bhubaneswar（印度理工学院布巴内斯瓦尔分校）
近年来，超大规模集成（VLSI）工业的发展趋势是多方面的，例如，降低能耗、占用更少的空间、精确的结果、更少的功耗、更快的响应。为了满足这些需求，硬件架构应该是可靠的和鲁棒的这些问题。最近，神经网络和深度学习已经开始对目前的研究范式产生重大影响，这些研究范式包括数百万的参数，用于激活的非线性函数，用于特征提取的卷积运算，用于分类的回归，生成对抗网络。这些操作涉及巨大的计算和内存开销。目前可用的DSP处理器不能执行这些操作，并且它们大多面临诸如存储器开销、性能下降和精度受损的问题。此外，如果使用并行计算为巨大的硅区域供电以加速操作，则IC将由于大量产生的热量而有很大的烧毁机会。因此，新的暗硅约束的开发，以减少散热而不牺牲精度。类似地，不同的算法已经被适配为设计与神经网络、激活函数、卷积神经网络和生成对抗网络中的快速性能兼容的DSP处理器。在这篇综述中，我们说明了硬件的最新发展，以加速深度学习网络的有效实施，提高性能。在这篇评论中调查的技术，预计将指导未来的研究挑战的高性能计算的硬件优化。
2021-06-06 cs.AR cs.LG
HMB-GAN: Hybrid Multi-Bézier GAN for Vector Shape Synthesis
Swinburne University of Technology（斯威本科技大学）
本文提出HMB-GAN，一种混合量子-经典生成对抗网络，用于合成CAD矢量几何形状，通过多段贝塞尔表示和构造性几何连续性，实验表明量子生成器虽收敛快、参数少，但受模拟器开销限制，验证了混合量子架构的可行性。
2026-09-21 cs.LG
MediQ-GAN: Quantum-Inspired GAN for High Resolution Medical Image Generation
Independent Researcher（独立研究者）
提出MediQ-GAN，一种融合经典与量子启发分支的双流生成器，通过变分量子电路避免秩塌缩，在三个医学数据集上优于现有GAN和扩散模型，为医学图像生成提供可扩展且数据高效的框架。
2025-11-03 cs.CV cs.LG quant-ph
Temporal Generative Adversarial Nets with Singular Value Clipping
Preferred Networks Inc.（Preferred Networks 公司）
在本文中，我们提出了一个生成模型，时间生成对抗网络（TGAN），它可以学习未标记视频的语义表示，并能够生成视频。与现有的基于生成对抗网络（GAN）的方法不同，这些方法使用由3D去卷积层组成的单个生成器生成视频，我们的模型利用了两种不同类型的生成器：时间生成器和图像生成器。时间生成器将单个潜变量作为输入并输出一组潜变量，每个潜变量对应于视频中的图像帧。图像生成器将一组这样的潜变量转换成视频。为了解决GAN训练中的不稳定问题，我们采用了最近提出的Wasserstein GAN模型，并提出了一种新的方法，以端到端的方式对其进行稳定的训练。实验结果证明了该方法的有效性。
2017-08-18 cs.CV cs.LG
GANDSE: Generative Adversarial Network based Design Space Exploration for Neural Network Accelerator Design
Nanjing University（南京大学）；Zhejiang University（浙江大学）；Key Laboratory of Collaborative Sensing and Autonomous Unmanned Systems of Zhejiang Province（浙江省协同感知与自主无人系统重点实验室）
随着深度学习的普及，深度学习的硬件实现平台受到越来越多的关注。与通用设备不同，例如，CPU或GPU，其中深度学习算法在软件级别执行，神经网络硬件加速器直接执行算法，以实现更高的能效和性能改进。然而，随着深度学习算法的频繁发展，设计硬件加速器的工程工作量和成本大大增加。为了提高加速器的设计质量，同时节约设计成本，提出了神经网络加速器的设计自动化方法。然而，神经网络加速器的复杂性的增加给设计空间带来了增加的维度。因此，以前的设计空间探索算法不再有效，足以找到一个优化的设计。在这项工作中，我们提出了一个神经网络加速器设计自动化框架GANDSE，我们重新思考的问题，设计空间探索，并提出了一种新的方法的基础上生成对抗网络（GAN），以支持优化的探索高维大设计空间。实验表明，GANDSE能够找到更优化的设计，在可以忽略的时间相比，包括多层感知器和深度强化学习的方法。
2022-11-19 cs.AR cs.LG
Perturbative GAN: GAN with Perturbation Layers
The University of Tokyo（东京大学）
扰动GAN，它取代了现有卷积GANs（DCGAN，WGAN-GP，BIGGAN等）的卷积层。与扰动层，增加了一个固定的噪声掩模，提出了。与卷积GANs相比，该算法需要训练的参数数量更少，训练收敛速度更快，生成图像的接收分数更高，整体训练成本更低。还提出了噪声掩模的数学生成，利用该噪声掩模，可以通过硬件加速来提高训练和生成。扰动GAN使用常规数据集（CIFAR 10，LSUN，ImageNet）进行评估，无论是在扰动层仅用于生成器的情况下，还是在将其引入生成器和鉴别器的情况下。
2019-02-05 cs.LG stat.ML
Guardians of the Quantum GAN
Penn State University（宾夕法尼亚州立大学）
针对第三方量子硬件服务可能窃取qGAN模型信息的风险，提出利用训练时量子硬件噪声特征作为非侵入式水印的技术，结合多硬件序列训练与ML分类器实现高准确率水印提取，可验证模型所有权且适用于其他量子ML模型。
2024-05-15 cs.AR cs.CR cs.LG
MRI Super-Resolution with Ensemble Learning and Complementary Priors
Rensselaer Polytechnic Institute（伦斯勒理工学院）
磁共振成像（MRI）是一种广泛使用的医学成像模式。然而，由于硬件、扫描时间和吞吐量的限制，获得高质量的MR图像在临床上通常具有挑战性。超分辨率方法有可能在不升级任何硬件的情况下提高MR图像质量。在本文中，我们提出了一种用于MR图像超分辨率的集成学习和深度学习框架。在我们的研究中，我们首先使用5种常用的超分辨率算法放大低分辨率图像，并获得具有互补先验的差异放大图像数据集。然后，利用每个数据集训练生成对抗网络（GAN）以生成超分辨率MR图像。最后，卷积神经网络用于集成学习，其将GANs的输出协同到最终的MR超分辨率图像中。根据我们的研究结果，集成学习的结果输出任何一个GAN输出。与一些最先进的基于深度学习的超分辨率方法相比，我们的方法在抑制伪影和保留更多图像细节方面具有优势。
2019-07-06 cs.LG eess.IV physics.med-ph
Small-GAN: Speeding Up GAN Training Using Core-sets
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；University of Toronto（多伦多大学）；Google Brain（谷歌大脑）
Brock等人（2018）的最新研究表明，生成对抗网络（GANs）从大的小批量中受益不成比例。不幸的是，在传统硬件上使用大批量是缓慢和昂贵的。因此，如果我们能够生成实际上很大但实际上很小的批处理，那就太好了。在这项工作中，我们提出了一种方法来做到这一点，在主动学习中使用的核心选择的启发。在训练GAN时，我们从先验知识中抽取大量样本，然后使用Coreset选择压缩该批次。为了有效地创建大量的“真实”图像，我们为每个训练图像创建一个Inception激活的缓存数据集，将它们随机投影到较小的维度，然后在训练时对这些投影的激活使用Coreset选择。我们进行的实验表明，这种技术大大减少了现代GAN变体的训练时间和内存使用，它减少了合成数据集中丢弃模式的比例，并且它允许GANs在异常检测方面达到新的技术水平。
2019-10-29 cs.LG stat.ML
GANGR: GAN-Assisted Scalable and Efficient Global Routing Parallelization
Department of Electrical and Computer Engineering（电气与计算机工程系）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Chicago, USA（美国芝加哥）
本文提出基于GAN的GANGR算法，通过改进批处理方法，实现更高效的全局路由并行化，减少40%的运行时间且路由质量仅轻微下降。
2025-11-21 cs.LG
GAN Lab: Understanding Complex Deep Generative Models using Interactive Visual Experimentation
Georgia Institute of Technology（佐治亚理工学院）；Google Brain（谷歌大脑）
最近在深度学习方面取得的成功引起了从业者和学生的极大兴趣，激发了许多人学习这项新技术。虽然已经成功开发了可视化和交互式方法来帮助人们更轻松地学习深度学习，但大多数现有工具都专注于更简单的模型。在这项工作中，我们提出了GAN Lab，这是第一个交互式可视化工具，专为非专家学习和实验生成对抗网络（GANs），这是一类流行的复杂深度学习模型。通过GAN Lab，用户可以交互式地训练生成模型，并可视化动态训练过程的中间结果。GAN Lab紧密集成了一个模型概览图，它总结了GAN的结构，以及一个分层分布视图，帮助用户解释子模型之间的相互作用。GAN实验室引入了新的交互式实验功能，用于学习复杂的深度学习模型，例如在多个抽象级别上进行分步训练，以了解复杂的训练动态。GAN Lab使用TensorFlow.js实现，任何人都可以通过现代Web浏览器访问，无需安装或专用硬件，克服了部署深度学习交互式工具的重大实际挑战。
2018-09-05 cs.AI cs.HC cs.LG
MFAGAN: A Compression Framework for Memory-Efficient On-Device Super-Resolution GAN
City University of Hong Kong（香港城市大学）；Donghua University（东华大学）；Tencent Computer System Co., Ltd.（腾讯计算机系统有限公司）；The University of Sydney（悉尼大学）
生成对抗网络（GANs）通过恢复照片级逼真的图像，促进了单图像超分辨率（SR）的显着进步。然而，基于GAN的SR（通常是发电机）的高内存消耗导致性能下降和更多的能量消耗，阻碍了基于GAN的SR部署到资源受限的移动设备。本文提出了一种新的压缩框架\textbf{M}--基于\textbf{GAN}的多尺度\textbf{F}特征\textbf{A}聚集网（MFAGAN），以减少生成器的存储器访问开销。首先，为了克服密集连接的内存爆炸，我们利用内存高效的多尺度特征聚合网络作为生成器。其次，为了更快更稳定的训练，我们的方法引入了PatchGAN训练器。第三，为了平衡student函数和压缩生成器，我们同时提取生成器和函数。最后，我们执行硬件感知神经架构搜索（NAS），为目标手机找到一个专门的SubGenerator。受益于这些改进，建议MFAGAN实现高达\textbf{8.3} $\times$内存节省和\textbf{42.9} $\times$计算减少，只有轻微的视觉质量下降，与ESRGAN相比。实证研究还显示，$\sim$ \textbf{70}在高通骁龙865芯片组上的延迟为毫秒级。
2021-07-27 cs.AR cs.LG
Self-Attention Generative Adversarial Network for Speech Enhancement
Queen Mary University of London（伦敦玛丽女王大学）；HCMC University of Technology（胡志明市工业大学）；University of Oxford（牛津大学）；Singapore Institute of Technology（新加坡理工学院）
现有的用于语音增强的生成对抗网络（GANs）仅依赖于卷积运算，这可能会模糊序列输入的时间依赖性。为了解决这个问题，我们提出了一个自注意力层适应非本地注意力，再加上卷积和卷积层的语音增强GAN（SE GAN）使用原始信号输入。此外，我们经验性地研究了将自我注意力层放置在具有不同层索引的（去）卷积层以及在内存允许的情况下放置在所有卷积层的效果。我们的实验表明，引入自我注意SEGAN导致一致的改进，在增强性能的客观评价指标。此外，应用于不同的卷积（解）层不会显著改变性能，这表明它可以方便地应用于最高级别的卷积（解）层，具有最小的内存开销。
2021-02-06 cs.LG cs.SD eess.AS
Deep Graph Translation
George Mason University（乔治梅森大学）；IBM Research（IBM研究院）
受深度生成模型在生成连续数据（如图像和音频）方面的巨大成功的启发，近年来，很少有深度图生成模型被提出来生成离散数据（如图）。它们通常是无条件生成模型，对生成的图形的模式没有控制。因此，在本文中，我们感兴趣的是一个新的问题命名为\emph{Deep Graph Translation}：给定一个输入图，我们希望推断出一个目标图的基础上（包括全球和本地）的翻译映射。图转换在诸如灾难管理和罕见事件预测的许多应用中可能是非常期望的，其中罕见和异常图模式（例如，交通拥堵和恐怖主义事件）将在其发生之前被推断出（即使没有关于该图的异常模式的历史数据（例如，道路网络或人类接触网络）。为了实现这一点，我们提出了一种新的图形翻译-生成对抗网络（GT-GAN），它将生成一个从输入到目标图的图形翻译器。GT-GAN由一个图形转换器组成，我们提出了新的图形卷积和反卷积层来学习全局和局部转换映射。一个新的条件图分类器也被提出来通过对输入图进行条件化来对目标图进行分类。在多个合成数据集和真实数据集上的大量实验证明了所提出的GT-GAN的有效性和可扩展性。
2018-06-22 cs.AI cs.LG stat.ML
Quantization of Generative Adversarial Networks for Efficient Inference: a Methodological Study
Higher School of Economics（高等经济学院）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；Samsung AI Center Moscow（三星莫斯科人工智能中心）；Yandex；Samsung-HSE Laboratory（三星-高等经济学院实验室）
生成对抗网络（GANs）对数字内容创作具有巨大的潜在影响，例如，逼真的数字化身、语义内容编辑以及语音和图像的质量增强。然而，现代GANs的性能与推理过程中执行的大量计算和高能耗结合在一起。这使得它们在边缘设备上的部署变得复杂，甚至不可能。这个问题可以通过量化来解决--量化是一种神经网络压缩技术，通过用低位整数计算代替浮点计算来促进硬件友好的推理。虽然量化对于判别模型来说已经很成熟，但现代量化技术在应用于GANs时的性能仍然不清楚。GANs生成的内容结构比判别模型更复杂，因此GANs的量化更具挑战性。为了解决这个问题，我们在三种不同的GAN架构上对最先进的量化技术进行了广泛的实验研究，即StyleGAN，Self-Attention GAN和CycleGAN。因此，我们发现了实用的方法，使我们能够成功地将这些模型用于4/8位权重和8位激活的推理，同时保持原始全精度模型的质量。
2021-08-31 cs.AI cs.LG
Y-GAN: A Generative Adversarial Network for Depthmap Estimation from Multi-camera Stereo Images
School of Computing and Information Science（计算与信息科学学院）；Florida International University（佛罗里达国际大学）
深度感知是在现实世界中交互的自主系统的关键组成部分，例如送货机器人，仓库机器人和自动驾驶汽车。自主机器人中的任务，如3D物体识别，同时定位与地图构建（SLAM），路径规划和导航，需要某种形式的3D空间信息。深度感知是计算机视觉和机器人学中一个长期存在的研究问题，有着悠久的历史。许多使用深度学习的方法，包括从运动恢复运动恢复结构、从X轴恢复形状、单目、双目和多视图立体视觉，都产生了可接受的结果。然而，这些方法存在几个缺点，例如需要昂贵的硬件，需要监督的训练数据，没有用于比较的地面真实数据，以及忽视遮挡。为了解决这些缺点，这项工作提出了一种新的深度卷积生成对抗网络架构，称为Y-GAN，它使用来自三个摄像头的数据来估计多摄像头视频流中每帧的深度图。
2019-06-03 cs.CV cs.LG stat.ML
GANAX: A Unified MIMD-SIMD Acceleration for Generative Adversarial Networks
Georgia Institute of Technology（佐治亚理工学院）；Qualcomm Technologies, Inc.（高通技术公司）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；UC San Diego（加州大学圣地亚哥分校）
生成对抗网络（GANs）是最新的深度学习模型之一，它从有限的真实数据集生成合成数据。GANs是深度学习在许多领域的进一步扩展（例如，医学、机器人、内容合成）需要大量的标记数据集，这些数据通常要么不可用，要么收集起来成本高昂。尽管GANs在各个领域越来越突出，但这些新模型还没有加速器。事实上，GANs利用了一种新的运算符，称为转置卷积，它暴露了硬件加速的独特挑战。这个操作符首先在多维输入中插入零，然后在这个扩展数组上卷积一个核，以向嵌入的零添加信息。即使在该运算符中存在卷积阶段，当采用常规卷积加速器时，插入的零也会导致计算资源的利用不足。我们提出了GANAX架构，以减轻与使用传统卷积加速器加速GANs相关的低效率来源，使第一个GAN加速器设计成为可能。我们提出了一个重组的输出计算分配计算行与类似的零模式相邻的处理引擎，这也避免了无关紧要的乘加零。这种强制性的相邻性回收了这些相邻处理引擎之间的数据重用，否则这些数据会由于插入的零而减少。重新排序打破了完整的SIMD执行模型，这在卷积加速器中很突出。因此，我们提出了一个统一的MIMD-SIMD设计的GANAX，利用重复的模式在计算中创建不同的微程序，同时执行SIMD模式。
2018-05-10 cs.AR cs.DC cs.LG
Hybrid Quantum-Classical GANs for the Generation of Adversarial Network Flows
Kennesaw State University（肯尼斯州立大学）；University of Nebraska Omaha（内布拉斯加大学奥马哈分校）
本文提出混合量子-经典GAN框架，利用量子生成器生成模拟恶意流量的合成网络流，通过量子态编码减少计算开销，并测试其对经典IDS的绕过能力，探索量子机器学习在生成高级攻击流中的潜力。
2026-05-07 cs.LG
Deep Forward and Inverse Perceptual Models for Tracking and Prediction
Institute for Robotics and Intelligent Machines, Georgia Institute of Technology（佐治亚理工学院机器人与智能机器研究所）；College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院）
我们考虑的问题，学习前向模型，将状态映射到高维图像和逆模型，将高维图像映射到机器人的状态。具体来说，我们提出了一个感知模型，用于通过深度网络从状态生成视频帧，并提供了一个框架，用于跟踪和预测任务。我们表明，我们提出的模型大大优于标准的去卷积方法和GANs的图像生成，产生清晰，照片般逼真的图像。我们还开发了一个卷积神经网络模型的状态估计和比较的结果扩展卡尔曼滤波器估计机器人轨迹。我们验证了一个真正的机器人系统的所有模型。
2018-05-20 cs.AI cs.LG cs.RO
Generative Models on Analog Hardware with Dynamics
Stanford University（斯坦福大学）
提出模拟交互系统框架，通过时变分段参数和隐藏物理状态缩小模拟硬件与生成模型间的差距，结合WGAN训练，在MNIST上实现FID 27.6，能耗比数字方法低两个数量级。
2026-06-26 cs.ET cs.LG
Accelerating Generative Neural Networks on Unmodified Deep Learning Processors -- A Software Approach
Hefei University of Technology（合肥工业大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；National University of Singapore（新加坡国立大学）
生成式神经网络是一类新的神经网络，在内容生成、无监督学习、图像分割和姿态估计等方面有着广泛的应用。它通常涉及大量的计算密集型反卷积操作，这些操作不能直接适用于传统的神经网络处理器。然而，先前的工作主要通过对现有深度学习处理器进行密集的硬件修改来研究专用硬件架构，以加速去卷积和卷积。相比之下，这项工作提出了一种新的反卷积实现与软件方法，并使快速和有效的反卷积执行的传统深度学习处理器。我们提出的方法重新组织了反卷积的计算，并允许深度学习处理器通过将原始反卷积滤波器拆分为多个小滤波器来将其视为标准卷积。与现有的加速方案相比，实现的加速方案实现了2.41 - 4.34倍的性能加速，并降低了27.7% - 54.5%的能源消耗在一组现实的基准测试。此外，我们还将反卷积计算方法应用于现成的商品深度学习处理器。反卷积的性能还表现出比现有反卷积实现方式显著的性能加速。
2020-04-29 cs.CV cs.DS cs.LG
Fast and Accurate Optical Fiber Channel Modeling Using Generative Adversarial Network
Shanghai Jiao Tong University（上海交通大学）；IMT Atlantique
在这项工作中，一个新的数据驱动的光纤通道建模方法，生成对抗网络（GAN）的学习光纤通道的传递函数的分布进行了研究。我们的研究集中在衰减，色散，自相位调制（SPM）和放大自发辐射（ASE）噪声的联合信道效应。为了实现GAN对信道建模的成功，我们修改了损失函数，设计了输入条件向量，并解决了长距离传输的模式坍塌。本文还展示了GAN的有效结构、参数和训练技巧。实验结果表明，该方法能够准确地学习光纤通道的传递函数。模型传输距离可达1000 km，理论上可扩展到任意距离。此外，GAN在不同的光发射功率，调制格式和输入信号分布下显示出鲁棒的泛化能力。将GAN的复杂度与分步傅里叶方法（SSFM）进行比较，总乘法次数仅为SSFM的2%，1000公里传输运行时间不到0.1秒，而在相同的硬件和软件条件下使用SSFM的运行时间为400秒，这凸显了光纤通道建模复杂度的显着降低。
2022-01-18 cs.IT cs.LG eess.SP
Latent Style-based Quantum Wasserstein GAN for Drug Design
本文提出一种基于量子的GAN架构，通过噪声编码和梯度惩罚提升药物设计中的生成能力，利用变分自动编码器在潜在空间中表示分子结构，并在量子模拟器和真实量子硬件上验证性能。
2026-10-30 cs.AI cs.LG q-bio.BM
Quantum-Enhanced Generative Adversarial Networks: Comparative Analysis of Classical and Hybrid Quantum-Classical Generative Adversarial Networks
School of Computing（计算学院）；Singapore Polytechnic（新加坡理工学院）
本文比较经典GAN与3、5、7量子比特的混合量子-经典GAN在二元MNIST上的表现，发现7量子比特模型在噪声模拟下性能接近经典GAN，验证了NISQ时代量子电路作为潜在先验的可行性。
2025-08-17 cs.AI cs.LG quant-ph
Deep EEG Super-Resolution: Upsampling EEG Spatial Resolution with Generative Adversarial Networks
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
针对脑电图设备通道越多成本越高的问题，提出基于生成对抗网络（GANs）的深度脑电图超分辨率方法，能从低分辨率样本生成高分辨率数据，在心理意象任务数据集上MSE和MAE较基线大幅降低，分类准确率损失极小，为提升低密度设备性能提供新途径。
2025-02-12 cs.LG
Unsupervised Denoising of Optical Coherence Tomography Images with Dual_Merged CycleWGAN
噪声是光学相干层析成像（OCT）图像质量不高的一个重要原因。基于卷积神经网络（CNN）的神经网络模型在图像去噪中表现出了优异的性能。然而，OCT图像去噪仍然面临着很大的挑战，因为许多以前的神经网络算法需要大量的标记数据，这可能花费大量的时间或昂贵的。此外，这些基于CNN的算法需要大量的参数和良好的调整技术，这是消耗硬件资源。针对上述问题，本文提出了一种新的循环一致生成对抗网（Dual-Merged Cycle-WGAN），用于视网膜OCT图像的去噪，该方法在减少未标记训练数据的情况下具有显著的去噪效果。我们的模型由两个Cycle-GAN网络组成，改进了生成器，描述器和wasserstein损失，以获得良好的训练稳定性和更好的性能。在两个Cycle-GAN网络之间使用图像融合技术，我们的模型可以获得更详细的信息，从而获得更好的训练效果。烧蚀实验和对比实验证明了该网络的有效性和通用性。与现有的方法相比，本文的方法获得了最好的主观视觉效果和较高的客观评价指标。
2022-05-02 cs.CV cs.LG eess.IV
Cosmological N-body simulations: a challenge for scalable generative models
Swiss Data Science Center（瑞士数据科学中心）；ETH Zurich（苏黎世联邦理工学院）
深度生成模型，如生成对抗网络（GANs）或变分自动编码器（VA）已被证明可以产生高视觉质量的图像。然而，现有的硬件严重限制了可以生成的图像的大小。因此，许多科学领域中高维数据的快速增长对生成模型提出了重大挑战。在宇宙学中，用N体模拟模拟的大尺度三维物质分布在理解宇宙的演化中起着至关重要的作用。由于这些模拟在计算上非常昂贵，因此GANs最近引起了人们的兴趣，作为模拟这些数据集的可能方法，但到目前为止，它们主要限于二维数据。在这项工作中，我们引入了一个新的基准，用于生成三维N体模拟，以激发机器学习社区的新想法，并更接近宇宙学中生成模型的实际应用。作为第一个基准测试结果，我们提出了一个可扩展的GAN方法来训练N体三维立方体的生成器。我们的技术依赖于两个关键的构建模块，（i）将高维数据的生成拆分为较小的部分，以及（ii）使用多尺度方法，有效地捕获全局图像特征，否则这些特征可能会在拆分过程中丢失。我们使用宇宙学中常用的各种统计措施来评估我们的模型生成N体样本的性能。我们的研究结果表明，所提出的模型产生高视觉质量的样本，虽然统计分析表明，捕捉数据中的罕见特征对生成模型造成了重大问题。我们在https://github.com/nperraud/3DcosmoGAN上公开了数据、质量评估例程和所提出的GAN架构
2019-12-18 astro-ph.CO cs.LG eess.IV
Quantum Generative Adversarial Networks: Bridging Classical and Quantum Realms
University of Memphis（孟菲斯大学）；Intercontinental Exchange, Inc.（洲际交易所公司）；Cardinal Health（卡地纳健康集团）；Jawaharlal Nehru University（贾瓦哈拉尔·尼赫鲁大学）
该研究探索将量子计算元素融入生成对抗网络（GANs）架构，利用量子比特特性加速训练并提升生成质量，直面硬件限制与纠错等挑战，推动量子增强机器学习发展。
2023-12-26 cs.ET cs.LG quant-ph
Generative Adversarial Network for Wireless Signal Spoofing
Intelligent Automation, Inc.（智能自动化公司）
本文提出了一种新的方法欺骗无线信号通过使用一般的对抗网络（GAN）生成和发送合成信号，不能可靠地区分从预期的信号。在无线信号通过接收器链之前，在PHY层对无线信号进行认证至关重要。为此，需要捕获原始无线信号固有的各种波形、信道和无线电硬件特征。与此同时，对手变得更加成熟，拥有在欺骗之前记录、分析和操纵信号的认知无线电能力。基于深度学习技术，本文介绍了一种欺骗攻击，由一个发送器和一个接收器组成的对手对承担GAN中的生成器和发送器角色，并进行极大极小博弈以生成最佳欺骗信号，旨在欺骗最训练有素的防御机制。这种方法的结果是双重的。从攻击者的角度来看，基于深度学习的欺骗机制被训练成可能欺骗防御机制，如RF指纹识别。从防御者的角度来看，当发送器和接收器的对手对合作时，基于深度学习的防御机制被训练以对抗潜在的欺骗攻击。针对随机信号、重放和基于GAN的欺骗攻击，测量欺骗信号被误分类为预期信号的概率。结果表明，即使使用深度学习分类器作为防御，基于GAN的欺骗攻击也大大提高了无线信号欺骗的成功概率。
2019-05-07 cs.LG cs.NI eess.SP
Adversarial sampling of unknown and high-dimensional conditional distributions
National Renewable Energy Laboratory（国家可再生能源实验室）；University of Colorado Boulder（科罗拉多大学博尔德分校）
许多工程问题需要预测实现到实现的可变性或精确描述的建模量。在这种情况下，有必要从未知的高维空间中采样元素，这些空间可能有数百万个自由度。虽然存在能够从具有已知形状的概率密度函数（PDF）中采样元素的方法，但是当分布未知时需要进行几次近似。在本文中，采样方法以及对底层分布的推断都是用一种称为生成对抗网络（GAN）的数据驱动方法来处理的，该方法训练两个竞争的神经网络，以产生一个可以有效地从训练集分布中生成样本的网络。在实际应用中，常常需要从条件分布中抽取样本。当条件变量是连续的时，对应于条件变量的特定值的仅一个（如果有的话）数据点可能是可用的，这不足以估计条件分布。这项工作处理这个问题，使用先验估计的PDF的条件矩。两种方法，随机估计，和外部神经网络在这里比较计算这些时刻，但是，任何首选的方法可以使用。该算法的情况下，证明了过滤湍流场的反卷积。结果表明，所提出的算法的所有版本有效地采样目标条件分布与最小的影响相比，国家的最先进的方法对样本的质量。此外，该过程可以用作由以连续变量为条件的条件GAN（cGAN）生成的样本的多样性的度量。
2021-11-08 cs.LG physics.ao-ph physics.comp-ph
L1-Norm Batch Normalization for Efficient Training of Deep Neural Networks
Tsinghua University（清华大学）；University of California, Santa Barbara（加州大学圣塔芭芭拉分校）
批量归一化（BN）已被证明在加速和改进深度神经网络（DNN）的训练方面非常有效。然而，BN带来额外的计算，消耗更多的内存，并且通常会大幅减慢训练过程，这会减少训练工作量。此外，BN中的非线性平方和根运算也阻碍了低位宽量化技术，这引起了深度学习硬件社区的广泛关注。在这项工作中，我们提出了一个L1范数BN（L1 BN），在训练过程中的前向和后向传播都只有线性操作。L1 BN被证明是近似等于原来的L2-范数BN（L2 BN）乘以一个缩放因子。在各种卷积神经网络（CNN）和生成对抗网络（GANs）上的实验表明，与L2 BN相比，L1 BN保持了几乎相同的精度和收敛速度，但具有更高的计算效率。在FPGA平台上，L1 BN中的正负号运算和绝对运算与原来的平方运算和开方运算相比，分别获得了1.5 $\times$的加速比和50%的功耗节省.这种硬件友好的归一化方法不仅在速度上超过了L2 BN，而且简化了ASIC加速器的硬件设计，具有更高的能量效率。最后但并非最不重要的是，L1 BN承诺完全量化的DNN训练，这对未来的自适应终端设备至关重要。
2018-02-27 cs.LG
MelGAN: Generative Adversarial Networks for Conditional Waveform Synthesis
Lyrebird AI（Lyrebird人工智能公司）；Mila（米拉研究所）；University of Montreal（蒙特利尔大学）；CIFAR（加拿大高等研究院）
先前的工作（Donahue等人，2018 a; Engel等人，2019 a）已经发现用GANs生成相干原始音频波形是具有挑战性的。在本文中，我们证明了通过引入一组结构变化和简单的训练技术，可以可靠地训练GANs以生成高质量的相干波形。主观评价指标（平均意见分数，或MOS）表明所提出的方法的有效性，高质量的梅尔频谱图反演。为了建立所提出的技术的一般性，我们展示了我们的模型在语音合成，音乐域翻译和无条件音乐合成的定性结果。我们通过消融研究评估模型的各个组成部分，并提出了一套指导原则，设计通用的鉴别器和发电机的条件序列合成任务。我们的模型是非自回归的，完全卷积的，比竞争模型的参数少得多，并推广到看不见的扬声器梅尔频谱图反转。我们的pytorch实现在GTX 1080Ti GPU上的运行速度比实时快100倍以上，在CPU上的运行速度比实时快2倍以上，没有任何硬件特定的优化技巧。
2019-12-09 cs.CL cs.LG cs.SD
Unfolding Neural Networks for Compressive Multichannel Blind Deconvolution
Harvard University（哈佛大学）；Weizmann Institute of Science（魏茨曼科学研究所）
针对压缩稀疏多通道盲反卷积问题，提出了一种学习结构的展开神经网络。在这个问题中，每个通道的测量值被给出为公共源信号和稀疏滤波器的卷积。与以前的作品中，压缩是通过随机投影或通过应用一个固定的结构化压缩矩阵来实现不同，本文提出了从数据中学习压缩矩阵。给定完整的测量值，所提出的网络以无监督的方式进行训练，以学习源和估计稀疏滤波器。然后，给定估计的源，我们学习结构化压缩算子，同时优化信号重建和稀疏滤波器恢复。压缩的有效结构允许其实际的硬件实现。所提出的神经网络是一种基于展开方法构建的自动编码器：在训练时，编码器使用压缩算子和源将压缩测量映射到稀疏滤波器的估计中，线性卷积解码器重建完整的测量。我们证明，我们的方法是优于经典的结构化压缩稀疏多通道盲反卷积方法的精度和速度的稀疏滤波器恢复。
2021-02-12 cs.LG eess.SP
Learning to See Through Dazzle
Rochester Institute of Technology（罗切斯特理工学院）；U.S. Naval Research Laboratory（美国海军研究实验室）
针对激光眩视导致机器视觉失效的问题，本研究结合波前编码相位掩模与融合傅里叶特征的SGAN网络，实现强激光干扰下的高质量图像恢复，性能优于现有最优方法。
2024-03-04 cs.CV cs.GR cs.LG
Securing generative artificial intelligence with parallel magnetic tunnel junction true randomness
National University of Singapore（新加坡国立大学）
针对生成式AI所用伪随机数易被攻击、传统防御开销大的问题，提出基于STT-MTJs的并行硬件真随机数系统，可大幅降低GAN不安全输出，具备高扩展性，适用于大模型采样，为下一代GAI提供安全组件。
2025-10-02 cond-mat.mtrl-sci cs.LG physics.data-an
Unpaired High-Resolution and Scalable Style Transfer Using Generative Adversarial Networks
ETAS GmbH (Bosch Group)（ETAS有限公司（博世集团））
神经网络已经证明了它们的能力，在各种数据的回归或分类任务上优于许多其他方法。使用神经网络作为数据生成器已经取得了其他惊人的结果，特别是在生成对抗网络（GANs）的设置中。一个特殊的应用是图像域翻译领域。在这里，目标是拍摄具有某种风格的图像（例如摄影）并将其转换为另一种风格（例如绘画）。如果针对未配对的训练样本执行这样的任务，则对应的GAN设置是复杂的，神经网络是大的，并且这导致在训练和评估阶段期间的高峰值存储器消耗。这设置了可处理的最大图像大小的限制。我们解决这个问题的想法，不处理整个图像一次，但训练和评估重叠的图像子样本的水平上的域转换。这种新方法不仅使我们能够翻译神经网络无法立即处理的高分辨率图像，而且还使我们能够使用非常小的神经网络和有限的硬件资源。此外，训练过程所需的图像数量显著减少。我们提出了高质量的结果，图像的总分辨率高达50万像素以上，emonstrate，我们的方法有助于保持局部图像的细节，同时它也保持全球的一致性。
2018-10-10 cs.CV cs.LG stat.ML
Real-Time Radiance Fields for Single-Image Portrait View Synthesis
University of California San Diego（加州大学圣地亚哥分校）；NVIDIA（英伟达）；Stanford University（斯坦福大学）
该研究提出一种单次实时方法，通过基于Vision Transformer的三平面编码器等技术，仅用合成数据训练实现单张未标定图像的3D感知新视图合成，在速度和质量上均优于现有方法。
2023-05-03 cs.AI cs.CV cs.GR
Boosting Resolution and Recovering Texture of micro-CT Images with Deep Learning
University of New South Wales（新南威尔士大学）；School of Minerals and Energy Resources Engineering（矿物与能源资源工程学院）
数字岩石成像受到探测器硬件的限制，必须在图像视场（FOV）和图像分辨率之间进行权衡。这可以用超分辨率（SR）技术来补偿，该技术拍摄宽FOV、低分辨率（LR）图像，并且超分辨率高分辨率（HR）、高FOV图像。增强型深度超分辨率生成对抗网络（EDSRGAN）是在深度学习数字岩石超分辨率数据集上训练的，该数据集是原始和处理过的uCT图像的多样化汇编12000。该网络表现出可比的性能，在双三次插值的相对误差减少50%至70%。与SRCNN和其他方法相比，GAN在恢复纹理方面的性能表现出更好的视觉相似性。差异图表明，SRCNN部分的SRGAN网络恢复大规模的边缘（晶界）的功能，而GAN网络再生感知不可区分的高频纹理。网络性能一般与增强，显示出高适应性的噪音和模糊。HR图像被馈送到网络中，生成HR-SR图像以将网络性能外推到HR图像本身中存在的亚分辨率特征。结果表明，尽管网络在训练规范之外运行，但溶解矿物和薄裂缝等分辨率不足的特征仍会再生。与扫描电子显微镜图像的比较显示细节与样品的基本几何形状一致。纹理的恢复有利于表征具有高比例的低分辨率微孔特征的数字岩石，例如碳酸盐岩和煤样品。通常受到岩石（煤）矿物学、快速瞬态成像（注水）或源能量（微孔隙度）约束的图像可以超准确地解析，以便下游进行进一步分析。
2019-07-27 cs.CV cs.LG eess.IV
Bone Suppression on Chest Radiographs With Adversarial Learning
Imaging Biomarkers and Computer-aided Diagnosis Laboratory, Radiology and Imaging Sciences, National Institutes of Health Clinical Center（美国国立卫生研究院临床中心放射学与成像科学部成像生物标志物和计算机辅助诊断实验室）；Ping An Technology Co., Ltd.（平安科技有限公司）
双能量（DE）胸部X线摄影能够选择性地对两种临床相关材料（即软组织和骨性结构）进行成像，以更好地表征各种胸部病理学，并可能改善后前位（PA）胸部X线摄影的诊断。然而，DE成像需要专门的硬件和比传统放射线照相术更高的辐射剂量，并且运动伪影有时会由于患者的不自主运动而发生。在这项工作中，我们学习传统的射线照片和骨抑制射线照片之间的映射。具体来说，我们建议利用两种变化的生成对抗网络（GANs）的图像到图像之间的传统和骨抑制的X光片DE成像技术获得的翻译。我们比较了训练的有效性与患者明智的配对和未配对的X光片。实验表明，这两种训练策略都能产生“放射现实”的放射照片，在保持测试集上具有抑制的骨骼结构和很少的运动伪影。虽然当使用两个客观图像质量指标（即结构相似性指数（SSIM）和峰值信噪比（PSNR））进行测量时，使用配对图像进行训练的性能略好于未配对图像，但使用未配对图像进行训练在看不见的前后位（AP）射线照片上表现出比配对训练更好的泛化能力。
2020-02-08 cs.CV cs.LG eess.IV
Encoding Robust Representation for Graph Generation
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
生成网络使得从简单的噪声中生成有意义的信号（如图像和文本）成为可能。近年来，基于GAN和VAE的图形和图形信号生成方法得到了发展。然而，这些方法的数学特性尚不清楚，并且训练良好的生成模型是困难的。这项工作提出了一个图形生成模型，使用最近的适应Mallat的散射变换图。所提出的模型自然是由一个编码器和一个解码器。编码器是一个高斯化的图形散射变换，这是强大的信号和图形操作。解码器是一个简单的全连接网络，适用于特定的任务，如链接预测，信号生成的图形和全图形和信号生成。我们提出的系统的训练是有效的，因为它只适用于解码器和硬件要求是温和的。数值结果表明，国家的最先进的性能所提出的系统的链接预测和图形和信号生成。
2019-01-15 cs.LG stat.ML
DrumGAN VST: A Plugin for Drum Sound Analysis/Synthesis With Autoencoding Generative Adversarial Networks
Sony Computer Science Laboratories（索尼计算机科学实验室）；National Institute of Applied Sciences, Lyon（里昂国立应用科学学院）
在当代流行音乐制作中，鼓的声音设计通常是通过在声音库中浏览和处理预先录制的样本来进行的。人们也可以使用专门的合成硬件，通常通过低层次的，音乐上无意义的参数控制。今天，深度学习领域提供了通过学习的高级特征控制合成过程的方法，并允许生成各种各样的声音。在本文中，我们提出了DrumGAN VST，一个使用生成对抗网络合成鼓声的插件。DrumGAN VST在44.1 kHz采样率音频上运行，提供独立和连续的乐器类控制，并具有编码神经网络，可将声音映射到GAN的潜在空间，从而实现对预先存在的鼓声的重新合成和操纵。我们提供了许多声音的例子和演示的建议VST插件。
2022-06-29 cs.LG cs.SD eess.AS
BCGGAN: Ballistocardiogram artifact removal in simultaneous EEG-fMRI using generative adversarial network
HangZhou Dianzi University（杭州电子科技大学）；Southwest University（西南大学）；Zhejiang Provincial Hospital of Chinese Medicine（浙江省中医院）
本文提出模块化生成对抗网络BCGGAN，通过优化各模块参数提升局部表示能力，在不依赖额外参考信号下有效去除同步EEG-fMRI中的BCG伪影并保留关键脑电信息。
2023-08-30 cs.LG
Compressing GANs using Knowledge Distillation
University of Maryland（马里兰大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）
生成对抗网络（GANs）已用于多个机器学习任务，如域转移、超分辨率和合成数据生成。最先进的GANs通常使用数千万个参数，这使得它们在低SWAP（尺寸，重量和功耗）硬件中的应用（如移动设备）以及具有实时的功能的应用中部署起来非常昂贵。还没有发现减少GANs中使用的参数数量的工作。因此，我们提出了一种使用知识蒸馏技术来压缩GANs的方法，其中较小的“学生”GAN学习模仿较大的“教师”GAN。我们表明，在MNIST、CIFAR-10和Celeb-A数据集上使用的蒸馏方法可以分别以1669：1、58：1和87：1的比例压缩教师GANs，同时保持生成图像的质量。从我们的实验中，我们观察到一个定性的限制GAN的压缩。此外，我们观察到，在固定参数预算的情况下，压缩的GANs优于使用标准训练方法训练的GANs。我们推测，这部分是由于过度参数化的GANs的优化景观，它允许使用交替的梯度下降进行有效的训练。因此，训练过参数化的GAN，然后是我们提出的压缩方案，提供了具有少量参数的高质量生成模型。
2019-02-01 cs.LG stat.ML
Quantum Wasserstein Generative Adversarial Networks
University of Maryland（马里兰大学）；University of Electronic Science and Technology of China（电子科技大学）
量子生成模型的研究动机很好，不仅因为它在量子机器学习和量子化学中的重要性，还因为它在近期量子机器上实现的前景。受先前对经典和量子生成模型的对抗训练研究的启发，我们提出了量子Wasserstein生成对抗网络（WGAN）的第一个设计，该设计已被证明可以提高量子生成模型对抗训练的鲁棒性和可扩展性，即使在有噪声的量子硬件上。具体来说，我们提出了量子数据之间的Wasserstein半度量的定义，它继承了经典对应物的一些关键理论优点。我们还演示了如何将量子Wasserstein半度量转化为可以在量子机器上有效实现的量子WGAN的具体设计。我们的数值研究，通过量子系统的经典模拟，显示了我们的量子WGAN比其他量子GAN提案更强大和可扩展的数值性能。作为一个令人惊讶的应用，我们的量子WGAN已被用来生成一个3量子位量子线路的~50门，很好地近似3量子位一维哈密顿模拟电路，需要超过10 k门使用标准技术。
2019-10-31 cs.LG quant-ph
One-shot Generative Distribution Matching for Augmented RF-based UAV Identification
National Center for Supercomputing Applications（国家超级计算应用中心）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对有限射频环境下无人机识别困难的问题，提出利用单样本生成方法增强变换后的RF信号，在低数据场景下优于GANs和VAEs，并提供了理论保证。
2024-07-24 cs.CR cs.LG stat.AP
Enhancing Network Anomaly Detection with Quantum GANs and Successive Data Injection for Multivariate Time Series
Department of Computer Engineering（计算机工程系）；Polytechnique Montreal（蒙特利尔理工学院）；Department of Compute Engineering（计算机工程系）；Department of Computer Science（计算机科学系）；Université de Sherbrooke（谢布鲁克大学）
针对多变量网络流量时间序列异常检测，提出融合VQC、数据重上传与SuDaI的紧凑QGAN，仅80个参数即优于经典GAN并具备噪声鲁棒性。
2025-05-16 cs.LG quant-ph
Quantum Gated Recurrent GAN with Gaussian Uncertainty for Network Anomaly Detection
Institut Quantique（量子研究所）；Thales Digital Solutions Canada（泰雷兹加拿大数字解决方案公司）
针对网络异常检测，提出一种基于QGRU的GAN，采用连续数据注入与多度量门控策略，结合高斯不确定性、Wasserstein评论家与重构误差识别异常，在基准数据集上TaF1达89.43%并在IBM量子硬件上验证了可行性。
2025-10-30 cs.LG cs.NI
Boosting Noise Robustness of Acoustic Model via Deep Adversarial Training
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing Forestry University（北京林业大学）
在实际环境中，语音常常受到各种噪声和混响的干扰，严重影响了自动语音识别（ASR）系统的性能。为了缓解这个问题，最常见的方法是使用设计良好的语音增强方法作为ASR的前端。然而，对于这种方法，额外地消耗更复杂的流水线、更多的计算和甚至更高的硬件成本（麦克风阵列）。此外，语音增强会导致语音失真和训练不匹配。在本文中，我们提出了一种对抗性训练方法，以直接提高声学模型的噪声鲁棒性。具体而言，在训练阶段使用生成对抗网络（GAN）和基于神经网络的声学模型（AM）的联合组合方案。GAN用于通过尝试区分真实干净信号和生成信号的干扰器的引导，从噪声特征生成干净特征表示。生成器、自适应神经网络和自适应模型的联合优化集中了GAN和AM在语音识别中的优势。在CHiME-4上的系统实验表明，该方法显著提高了AM的噪声鲁棒性，在开发集和测试集上的平均相对出错率分别降低了23.38%和11.54%。
2018-05-02 cs.LG cs.SD eess.AS
ST-DPGAN: A Privacy-preserving Framework for Spatiotemporal Data Generation
Data61, CSIRO（Data61联邦科学与工业研究组织（澳大利亚））；University of Rochester（罗切斯特大学）；Australian National University（澳大利亚国立大学）；Tsinghua University（清华大学）；RMIT University（皇家墨尔本理工大学）；Qatar Mobility Innovations Center（卡塔尔交通创新中心）；University of New South Wales（新南威尔士大学）
针对时空数据包含敏感信息不适合第三方访问的问题，提出基于 Graph-GAN 的隐私保护生成模型，通过引入时空注意力块和反卷积结构实现 differential privacy，在保证隐私的同时维持了数据效用和预测性能。
2024-06-04 cs.AI cs.CR cs.LG
