Distribution Matching via Generalized Consistency Models
本文提出一种受连续归一化流中一致性模型启发的分布匹配方法，兼具直接的范数最小化目标与类似GAN的约束适应性，并通过理论和实验验证其有效性。
2025-08-17 cs.AI cs.LG
$α$-GAN: Convergence and Estimation Guarantees
Arizona State University（亚利桑那州立大学）
我们证明了一般CPE损失函数GANs的最小-最大优化与相关$f$ -发散最小化之间的双向对应关系。然后，我们专注于$α$ -GAN，通过$α$ -loss定义，它插值几个GANs（Hellinger，vanilla，Total Variation），并对应于Arimoto发散的最小化。我们证明了对于所有的$α\in \mathbb{R}_{>0}\cup\{\infty\}$，$α$ -GAN引起的Arimoto发散等价收敛.然而，在受限学习模型和有限样本下，我们提供了估计界，其指示作为$α$的函数的不同GAN行为。最后，我们提出了一个玩具数据集的实证结果，突出了调整的$α$超参数的实际效用。
2022-05-12 cs.IT cs.LG math.IT
MonoFlow: Rethinking Divergence GANs via the Perspective of Wasserstein Gradient Flows
University of Bristol（布里斯托大学）；Changping National Laboratory（昌平国家实验室）；Peking University（北京大学）
本文提出统一生成建模框架MonoFlow，利用Wasserstein梯度流重新解释GAN对抗训练，揭示变分散度最小化与对抗训练的本质区别，并指出只要实现MonoFlow，GAN可拥有更多损失设计。
2023-08-08 cs.LG stat.ML
Progressive Growing of GANs for Improved Quality, Stability, and Variation
NVIDIA（英伟达）；Aalto University（阿尔托大学）
我们描述了一种新的生成对抗网络的训练方法。关键的想法是逐步增加生成器和递归：从低分辨率开始，我们添加新的层，随着训练的进行，这些层可以模拟越来越精细的细节。这既加快了训练速度，又极大地稳定了它，使我们能够产生前所未有的质量的图像，例如，CelebA图片1024^2.我们还提出了一种简单的方法来增加生成图像的变化，并在无监督的CIFAR10中实现了8.80的创纪录的初始得分。此外，我们还描述了几个实现细节，这些细节对于阻止生成器和服务器之间的恶性竞争非常重要。最后，我们提出了一个新的度量评估GAN的结果，无论是在图像质量和变化。作为额外的贡献，我们构建了CelebA数据集的更高质量版本。
2018-02-26 cs.LG cs.NE stat.ML
Statistical Error Bounds for GANs with Nonlinear Objective Functionals
Texas State University（德克萨斯州立大学）
本文针对结合 $f$-散度与正则化判别器空间的非线性 $(f,Γ)$-GAN，利用新型 Rademacher 复杂度界建立有限样本统计误差界，证明其一致性并统一 IPM-GAN 结果。
2025-05-10 cs.LG stat.ML
IAN: Combining Generative Adversarial Networks for Imaginative Face Generation
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
生成对抗网络（GANs）因其对图像分布建模的能力而获得了发展势头。它们学习模拟训练集，从而能够从该领域中进行采样，并将学到的知识用于有用的应用程序。提出了几种增强GANs的方法，包括通过一些特征匹配来正则化损失。我们试图将GANs推到训练数据之外，并尝试探索图像流形中看不见的领域。在GAN对基集X进行对抗性训练的过程中，我们首先提出了一种新的基于K-近邻（K-NN）选择性特征匹配的GAN正则化器，并将其称为K-GAN。我们表明，最小化增加的长期遵循交叉熵最小化之间的分布GAN和集合Y。然后，我们介绍了一个级联的GANs框架，试图通过级联采样GANs和平移GANs来解决想象一个新的分布的任务，该分布将基集X和目标集Y相结合，我们将这种GANs的级联称为想象对抗网络（IAN）。我们进行了客观和主观的评价，不同的IAN设置在所解决的任务，并显示了一些有用的应用程序，这些IAN，如流形遍历和创造性的面部生成的人物在电影或视频游戏中的设计。
2019-04-16 cs.CV cs.LG
Generalized Dual Discriminator GANs
International Institute of Information Technology, Hyderabad（国际信息科技学院，海得拉巴）
本文提出 D2 α-GAN 并将其推广为广义双判别器 GAN，证明其极小极大目标等价于 f-散度与反向 f-散度组合的最小化，并通过二维合成实验验证优势。
2025-07-23 cs.IT cs.LG math.IT
Generative Adversarial Networks are Special Cases of Artificial Curiosity (1990) and also Closely Related to Predictability Minimization (1991)
The Swiss AI Lab, IDSIA, USI & SUPSI（瑞士人工智能实验室（IDSIA，意大利瑞士大学与瑞士意大利语区应用科学大学））；NNAISENSE
我回顾了无监督或自监督的神经网络在博弈论环境中玩极大极小博弈：（i）人工电流（AC，1990）是基于两个这样的网络。一个网络学习生成输出的概率分布，另一个学习预测输出的影响。每个网络最小化被另一个最大化的目标函数。(ii)生成对抗网络（GANs，2010-2014）是AC的一种应用，如果输出在给定的集合中，则输出的效果为1，否则为0。(iii)可预测性最小化（Predictability Minimization，PM，1990年代）通过神经编码器对数据分布进行建模，该神经编码器最大化由代码组件的神经预测器最小化的目标函数。我纠正了以前发表的一个说法，即PM不是基于极大极小博弈。
2020-04-22 cs.LG cs.NE
Taming GANs with Lookahead-Minmax
EPFL（洛桑联邦理工学院）；University of Geneva（日内瓦大学）
众所周知，生成对抗网络的训练具有挑战性。潜在的极小极大优化是非常容易受到随机梯度的方差和相关的游戏向量场的旋转分量。为了解决这些挑战，我们提出了前瞻算法的极大极小优化，最初开发的单目标最小化。我们的Lookahead-minmax的回溯步骤自然地处理旋转博弈动态，这一属性被认为是使梯度上升下降方法收敛于文献中经常分析的具有挑战性的示例的关键。此外，它隐式地处理高方差，而不使用大的小批量，这对于达到最先进的性能是必不可少的。在MNIST、SVHN、CIFAR-10和ImageNet上的实验结果表明，将Lookahead-minmax与Adam或extragradient相结合，在性能和稳定性方面具有明显的优势，内存和计算成本可以忽略不计。使用少30倍的参数和小16倍的小批量，我们通过在不使用类标签的情况下获得12.19的FID，超越了CIFAR-10上的类相关BigGAN的报告性能，从而使最先进的GAN训练在公共计算资源的范围内。
2021-06-23 cs.LG stat.ML
Kernel-Based Training of Generative Networks
Rutgers University（罗格斯大学）；University of Patras（帕特雷大学）
生成对抗网络（GANs）是在最小-最大优化问题的帮助下设计的，这些优化问题是用随机梯度型算法解决的，而这些算法是非鲁棒的。在这项工作中，我们重新审视了一个非对抗性的方法依赖于一个纯粹的最小化问题的内核，并提出了一个简单的随机梯度算法计算其解决方案。使用随机逼近理论的简化工具，我们证明了批量版本的算法或平滑的梯度不会提高收敛性。这些观察允许开发一种训练算法，该算法具有降低的计算复杂性和增加的鲁棒性，同时表现出与经典GANs相似的合成特性。
2018-11-23 cs.LG stat.ML
A Convex Duality Framework for GANs
Stanford University（斯坦福大学）
生成对抗网络（GAN）是一个模仿真实模型的生成器和一个区分生成器产生的样本与真实训练样本之间的极大极小博弈。给定一个无约束的可逼近任何函数，这个游戏简化为找到生成模型，最小化数据分布的发散度量，例如Jensen-Shannon（JS）发散。然而，在实践中，该方法被限制在较小的类$\mathcal{F}$中，例如神经网络。然后，一个自然的问题是，当我们约束$\mathcal{F}$时，发散最小化解释如何变化。在这项工作中，我们通过开发一个用于分析GANs的凸对偶框架来解决这个问题。对于凸集$\mathcal{F}$，该对偶框架将原始GAN公式解释为找到具有最小JS-发散的生成模型，该生成模型对被惩罚以匹配数据分布的矩的分布具有最小JS-发散，其中矩由$\mathcal{F}$中的鉴别器指定。我们表明，这种解释更普遍地适用于f-GAN和Wasserstein GAN。作为一个副产品，我们将对偶框架应用于f-散度和Wasserstein距离的混合。与f-发散不同，我们证明了所提出的混合发散随着生成模型而连续变化，这表明在f-GAN和vanilla GAN中正则化Lipschitz常数。我们数值评估的权力，建议的正则化计划，以提高GAN的训练性能。
2018-10-28 cs.LG stat.ML
Conditional GANs with Auxiliary Discriminative Classifier
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Shanghai Jiao Tong University（上海交通大学）
条件生成模型旨在学习数据和标签的潜在联合分布，以实现条件数据生成。其中，辅助分类器生成对抗网络（AC-GAN）得到了广泛的应用，但存在生成样本类内多样性低的问题。本文指出的根本原因是AC-GAN的分类器是生成器不可知的，因此不能为生成器提供信息指导以接近联合分布，从而导致条件熵最小化，从而降低了类内多样性。出于这种理解，我们提出了一种新的条件GAN与辅助判别分类器（ADC-GAN），以解决上述问题。具体来说，所提出的辅助判别分类器成为发电机知道通过识别的类标签的真实数据和生成的数据有区别地。我们的理论分析表明，该生成器可以忠实地学习的联合分布，即使没有原来的卷积，使建议的ADC-GAN的系数超参数的值和选择的GAN损失的鲁棒性，并在训练过程中稳定。在合成和真实世界数据集上的大量实验结果表明，与最先进的基于分类器和基于投影的条件GANs相比，ADC-GAN在条件生成建模方面具有优越性。
2022-06-17 cs.CV cs.LG
A Simpler Alternative to Variational Regularized Counterfactual Risk Minimization
University of Amsterdam（阿姆斯特丹大学）；Radboud University（拉德堡德大学）
本文提出了一种直接最小化$f$-散度近似的新方法，替代了基于$f$-GAN下界的变分正则化反事实风险最小化（VRCRM），在无法重现原始结果的情况下，经验上表现更优。
2024-10-13 cs.LG
Deceive D: Adaptive Pseudo Augmentation for GAN Training with Limited Data
Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）
生成对抗网络（GANs）通常需要大量的数据进行训练，以便合成高保真图像。最近的研究表明，由于过度拟合，用有限的数据训练GANs仍然很难，这是阻碍生成器收敛的根本原因。本文介绍了一种新的策略，称为自适应伪增强（APA），以鼓励健康的竞争之间的发电机和发电机。作为依赖于标准数据增强或模型正则化的现有方法的替代方法，APA通过使用生成器本身来用生成的图像来增强真实数据分布来消除过拟合，这自适应地欺骗了过拟合。大量的实验证明了APA在提高低数据区合成质量方面的有效性。我们提供了一个理论分析，以检查我们的新的培训策略的收敛性和合理性。APA简单有效。它可以无缝地添加到强大的当代GANs中，例如StyleGAN 2，计算成本可以忽略不计。
2021-11-12 cs.CV cs.LG
Preserving Privacy in GANs Against Membership Inference Attack
École de technologie supérieure（高等技术学院）；Universidad de Buenos Aires（布宜诺斯艾利斯大学）；McGill University（麦吉尔大学）；ILLS - International Laboratory on Learning Systems（国际学习系统实验室）；MILA - Quebec AI Institute（魁北克人工智能研究所）；CNRS（法国国家科学研究中心）；CentraleSupélec（巴黎中央理工-高等电力学院）
针对GAN易受成员推理攻击、现有防御方案存在合成数据质量下降或不适配小数据集的问题，提出MEGAN和MIMGAN两种防御框架，可将攻击准确率降至随机猜测水平且合成数据质量损失较小。
2023-11-06 cs.CR cs.LG eess.SP
The relativistic discriminator: a key element missing from standard GAN
Lady Davis Institute（戴维斯夫人研究所）
在标准的生成对抗网络（SGAN）中，学习者估计输入数据是真实的概率。生成器经过训练，以增加假数据是真实数据的概率。我们认为，它还应该同时降低真实数据是真实的概率，因为1）这将解释小批量中一半数据是假的先验知识，2）这将通过发散最小化来观察，3）在最佳设置中，SGAN将等效于积分概率度量（IPM）GANs。我们表明，这个属性可以通过使用相对论性的估计概率，即给定的真实数据比随机采样的假数据更现实的诱导。我们还提出了一个变体，其中，平均而言，估计给定的真实数据比假数据更真实的概率。我们将这两种方法推广到非标准GAN损失函数，并将它们分别称为相对论GANs（RGANs）和相对论平均GANs（RaGANs）。我们表明，基于IPM的GANs是使用身份函数的RGANs的子集。从经验上讲，我们观察到1）RGAN和RaGAN比它们的非相对论对应物更稳定，并且生成更高质量的数据样本，2）具有梯度惩罚的标准RaGAN生成比WGAN-GP质量更好的数据，同时每次生成器更新仅需要一次更新（将达到最新技术水平所需的时间减少400%），以及3）RaGAN能够从非常小的样本（N=2011）生成合理的高分辨率图像（256 × 256），而GAN和LSGAN不能;这些图像的质量明显好于WGAN-GP和SGAN通过光谱归一化生成的图像。
2018-09-10 cs.AI cs.CR cs.LG
Decentralized Learning of Generative Adversarial Networks from Non-iid Data
OMRON SINIC X（欧姆龙 SINIC X 研究院）；OMRON Corporation（欧姆龙公司）
这项工作解决了一个新的问题，即从多个数据汇集中学习生成对抗网络（GANs），每个数据集合i）由不同的客户端单独拥有，ii）从包含不同类的非相同分布中提取。给定这样的非iid数据作为输入，我们的目标是学习一个包含输入数据可能属于的所有类的分布，同时保持数据分散在每个客户端存储中。我们为此做出的关键贡献是一种新的分散式方法，用于从非iid数据中学习GANs，称为Forgiver-First Update（F2 U），该方法a）要求客户端使用自己的数据训练个人识别器，b）更新生成器以欺骗最“宽容”的鉴别器，这些鉴别器认为生成的样本最真实。我们的理论分析证明，这种更新策略允许分散的GAN实现发电机的分布与所有的输入类作为其全局最优的基础上的f-散度最小化。此外，我们提出了一个宽松版本的F2 U称为宽恕第一聚合（F2 A），在实践中表现良好，自适应聚合的歧视，同时强调宽恕的。我们对图像生成任务的经验评估证明了我们的方法在最先进的分散式学习方法中的有效性。
2019-11-22 cs.LG stat.ML
Fast and Provable ADMM for Learning with Generative Priors
EPFL（洛桑联邦理工学院）
在这项工作中，我们提出了一个（线性化）交替方向乘法（ADMM）算法最小化凸函数的非凸约束。我们专注于特殊的情况下，这种约束产生的规格，一个变量应该位于一个神经网络的范围。这是由于最近生成对抗网络（GANs）在压缩感知、去噪和对抗对抗示例的鲁棒性等任务中的成功应用。我们的算法的衍生率的特征在于某些几何性质的发电机网络，我们持有前馈架构，在温和的假设。与梯度下降（GD）不同，它可以有效地处理非光滑目标，以及利用有效的部分最小化过程，因此在许多实际情况下更快。
2019-07-07 cs.LG math.OC stat.ML
On the One-sided Convergence of Adam-type Algorithms in Non-convex Non-concave Min-max Optimization
Yale University（耶鲁大学）；Carnegie Mellon University（卡内基梅隆大学）
Adam型方法是自适应梯度方法的扩展，在监督和无监督机器学习模型的训练中都表现出了很好的性能。特别是，亚当型优化器已被广泛用作训练生成对抗网络（GANs）的默认工具。然而，在理论方面，尽管存在的理论结果表明亚当型方法在最小化问题中的效率，但在GAN的训练中仍然缺乏其出色表现的原因。在现有的工作中，快速收敛一直被认为是最重要的原因之一，并且已经提出了许多工作来在一定的假设条件下给出Min-Max优化算法收敛到临界点的理论保证。在本文中，我们首先从经验上证明，在GAN的训练中，即使在成功的训练中，Adam也不会收敛到临界点：只有生成器在收敛，而在整个训练过程中，GAN的梯度范数仍然很高。我们称之为单边收敛。然后，我们弥合实验和理论之间的差距，亚当型算法证明收敛到一个单侧的一阶稳定点的最小-最大优化问题的单侧MVI条件下。我们还通过经验验证了在标准数据集上训练后，标准GANs满足这种单侧MVI条件。据我们所知，这是第一个结果，它提供了一个经验观察和严格的理论保证亚当型算法在最小最大优化的片面收敛。
2021-09-29 cs.LG math.OC stat.ML
Wasserstein-Wasserstein Auto-Encoders
Xi’an Jiaotong University（西安交通大学）；Zhongnan University of Economics and Law（中南财经政法大学）；The Hong Kong University of Science and Technology（香港科技大学）；Duke-NUS Medical School（杜克-新加坡国立大学医学院）
为了解决学习深度生成模型的挑战（例如，针对变分自编码器的模糊性和训练生成对抗网络的不稳定性，提出了一种新的深度生成模型--Wasserstein-Wasserstein自编码器（WWAE）。我们制定WWAE作为目标分布和生成的分布之间的惩罚最优传输的最小化。通过注意到潜在码Z的先验$P_Z$和聚合后验$Q_Z$都可以被高斯很好地捕获，所提出的WWAE在优化过程中利用了两个高斯的平方Wasserstein-2距离的封闭形式。因此，WWAE不受采样负担的影响，并且通过利用重新参数化技巧而具有计算效率。在包括MNIST、fashion-MNIST和CelebA在内的多个基准数据集上评估的数值结果表明，WWAE比VAE学习更好的潜在结构，并且生成比VAE和GANs更好的视觉质量和更高的FID分数的样本。
2019-02-25 cs.LG stat.ML
Common Spatial Generative Adversarial Networks based EEG Data Augmentation for Cross-Subject Brain-Computer Interface
Shien-Ming Wu School of Intelligent Engineering, South China University of Technology（华南理工大学吴贤铭智能工程学院）
基于脑电信号的脑机接口（BCI）的跨学科应用一直受到个体差异大、特征复杂难以感知的限制。因此，收集每个用户的训练数据用于校准需要花费很长时间。即使使用大量与受试者无关的数据进行预训练的迁移学习方法在没有足够的受试者特定数据的情况下也不能解码不同的EEG信号类别。因此，我们提出了一个跨学科的EEG分类框架，基于生成对抗网络（GANs）的方法称为公共空间GAN（CS-GAN），它使用生成器和神经元之间的对抗训练来获得高质量的数据进行增强。该方法采用一个特殊的模块来保持脑电信号的空间特征，并增加不同类别之间的差异，并有两个损失进一步增强。通过使用足够的增强数据进行自适应训练，我们的跨主题分类准确率比Leave-one Subject-Out（LOO）测试显著提高了15.85%，比BCI竞赛IV数据集2a上的100个原始样本提高了8.57%。此外，我们设计了一种基于卷积神经网络（CNN）的分类方法作为基准，采用类似的空间增强思想，对运动想象脑电数据进行分类，取得了显著的效果。总之，我们的框架提供了一个有前途的方法来处理跨学科的问题，促进BCI的实际应用。
2021-02-08 cs.AI cs.LG eess.SP
Optimal Transport Relaxations with Application to Wasserstein GANs
Stanford University（斯坦福大学）
我们提出了一个家庭的最佳运输问题，通过引入一个额外的最小化步骤，在一个小区域周围的基本运输措施的放松正规化的问题。我们得到的正则化类型与优化文献中研究的平滑技术有关。当使用我们的方法来估计基于经验措施的最优运输成本时，我们获得了统计学习界，这对于指导正则化量是有用的，同时保持了良好的泛化性能。为了说明我们的正则化方法的计算优势，我们将我们的方法应用于训练Wasserstein GANs。我们获得的运行时间的改善，相对于目前的基准，没有恶化的测试性能（通过FID）。运行时间的改善是因为我们新的基于最优性的阈值标准减少了生成网络的昂贵迭代次数，同时增加了actor-critic迭代次数。
2019-06-07 cs.LG math.OC math.ST
GANVO: Unsupervised Deep Monocular Visual Odometry and Depth Estimation with Generative Adversarial Networks
Computer Science Department, The University of Oxford（牛津大学计算机科学系）
在过去的十年中，监督式深度学习方法已被广泛用于视觉里程计（VO）应用中，这在标记数据不丰富的环境中是不可行的。另一方面，无监督的深度学习方法在未知环境中从未标记的数据进行定位和映射，在VO研究中受到的关注相对较少。在这项研究中，我们提出了一个生成式无监督学习框架，该框架使用深度卷积生成对抗网络（GANs）从未标记的RGB图像序列预测场景的6-DoF姿势相机运动和单眼深度图。我们通过扭曲视图序列并将重投影最小化分配给多视图姿态估计和单视图深度生成网络中采用的目标损失函数来创建监督信号。在KITTI和Cityscapes数据集上对所提出的框架进行了详细的定量和定性评估，结果表明，所提出的方法优于现有的传统和无监督深度VO方法，为姿态估计和深度恢复提供了更好的结果。
2019-03-05 cs.CV cs.LG stat.ML
Non-convex Min-Max Optimization: Applications, Challenges, and Recent Theoretical Advances
最小-最大最优化问题，也被称为鞍点问题，是一个经典的最优化问题，它也被研究在零和对策的背景下。给定一类目标函数，目标是找到一个值的参数，导致一个小的目标值，即使是最坏的情况下的功能在给定的类。最近，最小-最大最优化问题在广泛的信号和数据处理应用中变得非常流行，例如公平波束成形、训练生成对抗网络（GANs）和鲁棒机器学习等。这篇文章的总体目标是提供一个调查的最小化和最大化问题的一个重要子类的最新进展，其中的最小化和最大化问题可以是非凸和/或非凹的。特别是，我们将首先提出一些应用程序来展示这种最小最大问题的重要性，然后我们讨论关键的理论挑战，并提供一些令人兴奋的最近的理论和算法的进展，在解决非凸最小最大问题的选择性审查。最后，我们将指出开放的问题和未来的研究方向。
2020-08-18 cs.LG math.OC stat.ML
Spiking Generative Adversarial Networks With a Neural Network Discriminator: Local Training, Bayesian Models, and Continual Meta-Learning
神经形态数据携带由尖峰编码的时空模式中的信息。因此，类脑计算中的中心问题是训练脉冲神经网络（SNN）以响应于给定的脉冲刺激来再现时空脉冲模式。大多数现有方法通过将每个输入分配给特定的期望输出尖峰序列来以确定性方式对SNN的输入-输出行为进行建模。相比之下，为了充分利用尖峰的时间编码能力，这项工作提出了训练SNN，以便匹配尖峰信号的分布，而不是单个尖峰信号。为此，本文介绍了一种新的混合体系结构，包括一个条件发生器，通过SNN实现，和一个神经网络，实现了一个传统的人工神经网络（ANN）。ANN的作用是在训练期间在遵循生成对抗网络（GANs）原理的对抗迭代学习策略中向SNN提供反馈。为了更好地捕捉多模态时空分布，所提出的方法-称为SpikeGAN -进一步扩展到支持贝叶斯学习的发电机的权重。最后，设置随时间变化的统计数据，提出了一个在线元学习变体的SpikeGAN。实验带来的优点，所提出的方法相比，现有的解决方案的基础上（静态）的信念网络和最大似然（或经验风险最小化）的见解。
2021-11-02 cs.LG cs.NE eess.SP
iSeeBetter: Spatio-temporal video super-resolution using recurrent generative back-projection networks
Stanford University（斯坦福大学）；University of Mumbai（孟买大学）
最近，基于学习的模型已经增强了单图像超分辨率（SISR）的性能。然而，连续地将SISR应用于每个视频帧导致缺乏时间相干性。卷积神经网络（CNN）在峰值信噪比（PSNR）和结构相似性（SSIM）等图像质量指标方面优于传统方法。然而，生成对抗网络（GANs）提供了一个竞争优势，因为它能够缓解缺乏更精细纹理细节的问题，这种问题通常在CNN以大的放大因子进行超分辨率时出现。我们提出了iSeeBetter，一种新的基于GAN的时空视频超分辨率（VSR）方法，可以呈现时间一致的超分辨率视频。iSeeBetter使用循环反投影网络的概念作为其生成器，从当前和相邻帧中提取空间和时间信息。此外，为了提高超分辨率图像的“自然度”，同时消除传统算法中的伪影，我们利用了来自超分辨率生成对抗网络（SRGAN）的伪影。虽然均方误差（MSE）作为主要损失最小化目标提高了PSNR/SSIM，但是这些度量可能无法捕获图像中的细节，从而导致感知质量的错误表示。为了解决这个问题，我们使用四重（MSE，感知，对抗和总变差（TV））损失函数。我们的研究结果表明，iSeeBetter提供卓越的VSR保真度和超越国家的最先进的性能。
2020-09-30 cs.AI cs.CV cs.LG
Kantorovich Strikes Back! Wasserstein GANs are not Optimal Transport?
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Artificial Intelligence Research Institute（人工智能研究院）
Wasserstein生成对抗网络（Generative Adversarial Networks，WGANs）是基于最优传输（Optimal Transport，OT）理论和Kantorovich对偶的生成模型。尽管WGAN取得了成功，但仍不清楚底层OT对偶求解器对更新生成器所需的OT成本（Wasserstein-1距离，$\mathbb{W}_{1}$）和OT梯度的近似程度。在本文中，我们解决这些问题。我们构造1-Lipschitz函数，并使用它们来建立射线单调运输计划。该策略产生了连续的基准分布对，具有解析已知的OT计划，OT成本和OT梯度，在高维空间，如图像空间。我们彻底评估流行的WGAN对偶形式求解器（梯度惩罚，谱归一化，熵正则化等）。使用这些基准对。尽管这些求解器在WGAN中表现良好，但它们中没有一个在高维中忠实地计算$\mathbb{W}_{1}$。尽管如此，许多提供了一个有意义的近似OT梯度。这些观察表明，这些求解器不应该被视为良好的估计$\mathbb{W}_{1}$，但在某种程度上，他们确实可以用于变分问题，需要最小化的$\mathbb{W}_{1}$。
2023-01-09 cs.LG
Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets
The University of Iowa（爱荷华大学）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
自适应梯度算法使用梯度的历史来执行基于梯度的更新，并且在训练深度神经网络中无处不在。虽然自适应梯度法理论在最小化问题中得到了很好的理解，但推动其在最小化-最大化问题（如GANs）中取得经验成功的潜在因素仍不清楚。在本文中，我们的目的是弥合这一差距，从理论和实证的角度。首先，我们分析了\citep{daskalakis2017training}中提出的求解一类非凸非凹极小极大问题的乐观随机梯度算法（OSG）的一个变体，并建立了求解$ε$ -一阶平稳点的$O(ε^{-4})$复杂度，该算法只需要调用一个随机一阶预言，同时具有\citep{iusem2017extragradient}中随机外梯度算法所达到的最先进的迭代复杂度.然后，我们提出了一个自适应变体的OSG命名为乐观Adagrad（OAdagrad），并揭示了\emph{improved}自适应复杂性$O\left(ε^{-\frac{2}{1-α}}\right)$，其中$α$表征的增长率的累积随机梯度和$0\leq α\leq 1/2$。据我们所知，这是第一个工作，建立自适应复杂性的非凸非凹极大极小优化。从经验上讲，我们的实验表明，自适应梯度算法在GAN训练中确实优于非自适应算法。此外，这一观察结果可以解释为累积随机梯度的缓慢增长率，如经验所观察到的。
2020-12-25 cs.LG math.OC
ESCHER: Eschewing Importance Sampling in Games by Computing a History Value Function to Estimate Regret
Carnegie Mellon University（卡内基梅隆大学）；DeepMind（深度思维）；Strategy Robot, Inc.（Strategy Robot公司）；Optimized Markets, Inc.（Optimized Markets公司）；Strategic Machine, Inc.（Strategic Machine公司）
最近的技术近似纳什均衡在非常大的游戏杠杆神经网络学习近似最优的政策（战略）。一个有前途的研究方向是使用神经网络来近似反事实后悔最小化（CFR）或其现代变体。DREAM是目前唯一一种基于CFR的神经方法，它是无模型的，因此可以扩展到非常大的游戏，它在估计的遗憾目标上训练神经网络，由于从蒙特卡洛CFR（MCCFR）继承的重要性采样项，该目标可能具有极高的方差。在本文中，我们提出了一个无偏的无模型方法，不需要任何重要性采样。我们的方法，ESCHER，是原则性的，并保证以高概率收敛到一个近似的纳什均衡。我们发现，ESCHER的估计后悔的方差是数量级低于梦想和其他基线。然后，我们表明，ESCHER优于现有的艺术状态-梦想和神经虚构的自我发挥（NFSP）-在一些游戏和差异变得戏剧性的游戏大小的增加。在非常大的黑棋比赛中，ESCHER能够在$90\%$的时间内击败DREAM和NFSP。
2022-10-11 cs.AI cs.GT cs.LG
Complexity Matters: Rethinking the Latent Space for Generative Modeling
National University of Singapore（新加坡国立大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文从模型复杂性视角重新思考生成建模的隐空间，提出隐-数据分布距离及解耦自编码器（DAE）两阶段训练策略，在 VQGAN 和 Diffusion Transformer 等模型上以更低模型复杂性显著提升生成质量。
2023-10-29 cs.LG stat.ML
Experienced Deep Reinforcement Learning with Generative Adversarial Networks (GANs) for Model-Free Ultra Reliable Low Latency Communication
Ericsson Research（爱立信研究院）；Princeton University（普林斯顿大学）
提出了一种新的经验式深度强化学习（deep-RL）框架，为超可靠低延迟通信（URLLC）提供无模型的资源分配。在明确的数据率约束下，所提出的、有经验的深度RL框架可以为每个无线保证高端的到端可靠性和低端到端延迟，而无需对用户的业务进行任何模型或假设。特别是，为了使深度强化学习框架能够应对极端网络条件并在高度可靠的系统中运行，提出了一种基于生成对抗网络（GANs）的新方法。这种GAN方法用于使用真实数据和合成数据的混合来预训练深度RL框架，从而创建一个经验丰富的深度RL框架，该框架已暴露于广泛的网络条件。形式上，URLLC资源分配问题被提出作为一个可靠性，延迟和速率约束下的功率最小化问题。为了使用有经验的深度RL解决这个问题，首先，确定每个用户的速率。然后，这些速率被映射到所研究的无线系统的资源块和功率分配向量。最后，每个用户的端到端可靠性和延迟被用作对深度RL框架的反馈。然后表明，在深度RL算法的固定点处，用户的可靠性和延迟接近最优。此外，对于所提出的GAN方法，发电机输出的理论极限解析推导。仿真结果表明，所提出的方法可以实现接近最佳的性能在速率可靠性延迟区域内，这取决于网络和服务的要求。结果还表明，所提出的有经验的深度强化学习框架能够消除瞬态训练时间，这使得传统的深度强化学习方法不适合URLLC。
2020-10-14 cs.IT cs.LG cs.NI
Local Stochastic Gradient Descent Ascent: Convergence Analysis and Communication Efficiency
The Pennsylvania State University（宾夕法尼亚州立大学）
局部SGD是一种很有前途的方法，以克服分布式学习中的通信开销，减少工作节点之间的同步频率。尽管局部SGD在经验风险最小化方面取得了最新的理论进展，但其在极大极小优化中的效率仍然未被探索。受大规模极小极大学习问题的启发，例如对抗鲁棒学习和训练生成对抗网络（GANs），我们提出了局部随机梯度下降Ascent（局部SGDA），其中原始变量和对偶变量可以在本地进行训练并定期平均，以显着减少通信次数。我们表明，本地SGDA可以证明优化分布式极大极小问题的同质和异构数据，减少通信数量，并建立强凸-强凹和非凸-强凹设置下的收敛速度。此外，我们提出了一种新的变体局部SGDA+，解决非凸-非凹问题。我们给佐证不同的分布式极大极小问题的经验证据。
2021-02-25 cs.LG math.OC
