On the Reliability of Generative Augmentation: A Wasserstein-Based Theoretical and Empirical Study
本研究提出基于Wasserstein的条件生成式数据增强统计框架，推导泛化界，经实验发现增强可靠性由分布近似误差决定，为合成数据质量评估提供了新基础。
2026-09-02 cs.LG stat.ML
On Certified Generalization in Structured Prediction
Heidelberg University（海德堡大学）
针对结构化预测中违反独立同分布假设的挑战，提出一种基于Knothe-Rosenblatt重排的PAC-Bayesian风险界，其泛化速率同时依赖样本数量与规模，并利用Wasserstein依赖矩阵显式刻画输出变量间结构。
2023-10-16 cs.LG stat.ML
Approximation and Generalization Abilities of Score-based Neural Network Generative Models for Sub-Gaussian Distributions
National University of Singapore（新加坡国立大学）
本文证明在次高斯分布假设下，深度ReLU网络可高效逼近分数函数，实现近乎最优的分数估计速率，并在Sobolev/Besov类下达到接近极小极大收敛速率，去除了Lipschitz连续性等关键假设。
2025-10-25 cs.LG stat.ML
Generalization Properties of Optimal Transport GANs with Latent Distribution Learning
University College London（伦敦大学学院）；Istituto Italiano di Tecnologia（意大利技术研究所）；Imperial College London（帝国理工学院）
生成式对抗网络（GAN）框架是概率匹配和真实样本生成的一个成熟范例。虽然最近的注意力一直致力于研究这些模型的理论特性，一个完整的理论理解的主要组成部分仍然缺乏。在这项工作中，我们专注于以最优传输指标作为判别器的生成模型，从统计和建模的角度研究了潜在分布和前推映射（生成器）的复杂性之间的相互作用如何影响性能。受我们分析的启发，我们提倡在GAN范式中学习潜在分布以及前推映射。我们证明，这可以导致显着的优势，在样本的复杂性。
2020-07-29 cs.LG stat.ML
Adversarial Networks and Autoencoders: The Primal-Dual Relationship and Generalization Bounds
Australian National University（澳大利亚国立大学）；Data61；University of Sydney（悉尼大学）
自从引入生成对抗网络（GANs）和变分自编码器（VAE）以来，关于生成建模的文献已经出现了压倒性的复苏。GANs令人印象深刻但难以捉摸的经验性能导致了许多GAN-VAE混合动力的兴起，希望GAN级别的性能和VAE的额外好处，例如用于特征减少的编码器，这是GANs所不提供的。最近，Wasserstein自动编码器（WAE）被提出，实现了与GANs相似的性能，但目前还不清楚两者是否有本质上的不同，或者可以进一步改进为一个统一的模型。在这项工作中，我们研究了$f$ -GAN和WAE模型，并取得了两个主要发现。首先，我们发现$f$ -GAN和WAE目标参与了一个原始-对偶关系，并在一些假设下是等价的，这使我们能够解释WAE的成功。其次，等价结果使我们能够，第一次，证明泛化界的自动编码器模型，这是一个相关的问题，当谈到生成模型的理论分析。此外，我们表明，WAE目标是相关的其他统计量，如$f$的分歧，特别是上界的瓦瑟斯坦距离，然后让我们利用现有的高效（正则化）的最佳运输求解器。因此，我们的研究结果提出了GANs和Autoencoder模型之间的第一个原始-对偶关系，评论了泛化能力，并朝着统一这些模型迈出了一步。
2019-04-26 cs.LG stat.ML
Federated Variational Inference: Towards Improved Personalization and Generalization
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Google Research（谷歌研究院）
本文针对跨设备联邦学习中客户端数据与模型异质性问题，提出基于层次生成模型和变分推断的FedVI算法，并通过PAC-Bayes分析给出泛化界，在FEMNIST和CIFAR-100上取得最优性能。
2023-05-25 cs.DC cs.LG
Generalization Bounds for Flow-matching Generative Models for Intrinsically Low-dimensional Data
University of Michigan（密歇根大学）；Google DeepMind（谷歌DeepMind）；University of California, Berkeley（加州大学伯克利分校）
本文研究流匹配模型从有限样本学习未知分布的统计泛化，推导出基于内在维数的Wasserstein距离误差界，证明其适应数据固有几何并缓解维数灾难，为经验成功提供理论解释。
2026-10-06 cs.AI cs.LG math.ST
Generative quantum advantage for classical and quantum problems
Google Quantum AI（谷歌量子AI）；Department of Physics, California Institute of Technology（加州理工学院物理系）；Department of Physics（物理系）；Astronomy, Purdue University（天文学，普渡大学）
本研究提出可高效训练且无贫瘠高原的生成式量子模型，在68量子比特处理器上证明其能学习经典难处理的分布和量子电路，实现生成式量子优势。
2025-09-10 cs.LG quant-ph
On the Generalization Limits of Quantum Generative Adversarial Networks with Pure State Generators
Department of Computer Science and Research Initiative QC-AI（计算机科学系和QC-AI研究计划）；RPTU Kaiserslautern-Landau（凯撒斯劳滕-兰道大学）；Embedded Intelligence（嵌入式智能）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Department of Artificial Intelligence（人工智能系）；Korea University（韩国大学）；Department of Physics（物理系）
本研究探讨了量子生成对抗网络在纯态生成器中的泛化极限，推导出判别器质量的理论下限，揭示了现有量子生成模型在泛化能力上的根本挑战。
2026-03-04 cs.LG quant-ph
A Path Towards Quantum Advantage in Training Deep Generative Models with Quantum Annealers
NASA Ames Research Center（美国国家航空航天局艾姆斯研究中心）；Stinger Ghaffarian Technologies Inc.（斯汀格·加法里安技术公司）；D-Wave Systems Inc.（D-Wave系统公司）；University of Florence（佛罗伦萨大学）；Simon Fraser University（西蒙弗雷泽大学）
量子-经典混合（QCH）算法的发展是实现最先进的计算模型的关键。文献[1]提出了一种QCH变分自编码器（QVAE）。QVAE由传统深度神经网络实现的经典自动编码结构组成，以执行对离散潜在空间的推理和生成。潜在的生成过程被形式化为从量子或经典玻尔兹曼机（QBM或BM）的热采样。这种设置允许通过使用量子退火器物理模拟生成过程来对深度生成模型进行量子辅助训练。在本文中，我们成功地使用D波量子退火器作为玻尔兹曼采样器来执行QVAE的量子辅助的端到端训练。QVAE的混合结构允许我们在QCH生成模型中部署当前一代量子退火机，以在MNIST等数据集上实现具有竞争力的性能。本文提出的结果表明，可以部署商用量子退火器，结合精心制作的经典深度神经网络，在大规模数据集上的无监督和半监督任务中取得有竞争力的结果。我们还提供了证据表明，我们的设置是能够利用大的潜在空间（Q）的BM，发展缓慢的混合模式。这种表现性的潜在空间导致缓慢且低效的经典采样，并且为在实际采样应用中利用量子退火实现量子优势铺平了道路。
2019-12-04 cs.LG quant-ph
Limits of quantum generative models with classical sampling hardness
Institute of Computer Engineering, TU Wien（计算机工程系，维也纳技术大学）；Institute for Theoretical Physics, ETH Zürich（理论物理研究所，苏黎世联邦理工学院）
本文研究了量子生成模型的极限，发现抗集中模型无法训练，而稀疏分布模型可被训练，揭示了量子优势的来源与经典模拟的权衡。
2025-12-31 cs.LG quant-ph
Implicit Modeling -- A Generalization of Discriminative and Generative Approaches
Dresden University of Technology（德累斯顿工业大学）
我们提出了一种新的建模方法，是一个泛化的生成和歧视性模型。其核心思想是通过仅指定条件分布来使用联合概率分布的隐式参数化。所提出的方案结合了两个世界的优点-它可以使用强大的复杂的判别模型作为其部分，同时具有更好的泛化能力。我们彻底评估所提出的方法，一个简单的分类任务与人工数据，并说明其优势，为真实的场景上的语义图像分割问题。
2016-12-05 cs.LG
Power of Quantum Generative Learning
JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）；Peking University（北京大学）
量子力学固有的概率本质引发了设计量子生成学习模型（QGLM）的努力。尽管取得了经验性的成就，基础和潜在的优势QGLM仍然在很大程度上模糊。为了缩小这种知识差距，我们在这里探索QGLM的泛化特性，将模型从学习数据扩展到未知数据的能力。我们考虑了两种典型的量子广义线性模型：量子线路玻恩机和量子生成对抗网络，并明确给出了它们的推广界。结果表明，当量子器件可以直接访问目标分布和采用量子核时，QGLM优于经典方法。我们进一步利用这些推广的界限，表现出潜在的优势，量子态制备和哈密顿学习。QGLM在加载高斯分布和参数化哈密顿量的基态估计方面的数值结果与理论分析一致。我们的工作为定量理解量子生成学习模型的力量开辟了道路。
2022-08-05 cs.LG quant-ph
Seasoning Generative Models for a Generalization Aftertaste
Google Research（谷歌研究）；Google DeepMind（谷歌DeepMind）
本文提出一种通过判别器指导生成模型的通用方法，证明其能提升模型泛化能力，并涵盖最近的分数扩散方法。
2026-03-19 cs.LG
A Framework for Demonstrating Practical Quantum Advantage: Racing Quantum against Classical Generative Models
Zapata Computing Canada Inc.（扎帕塔计算加拿大公司）；Vector Institute（向量研究所）；Department of Physics and Astronomy（物理与天文学系）；University of Waterloo（滑铁卢大学）；Department of Physics（物理系）；University of Toronto（多伦多大学）
本研究搭建生成模型泛化评估框架，首次开展量子与经典生成模型的实用量子优势定量竞速，发现在20量子比特生成任务的受限数据场景下，量子电路波恩机效率优于主流经典生成模型。
2023-03-27 cond-mat.dis-nn cs.LG quant-ph
Toward a Generalization Metric for Deep Generative Models
Deakin University（迪肯大学）
由于维数灾难，测量深度生成模型（DGMs）的泛化能力是困难的。DGMs的评估指标，如初始分数，Fréchet初始距离，精确召回和神经网络发散，试图使用多项式样本数估计生成的分布和目标分布之间的距离。这些指标是研究人员在设计新模型时的目标。尽管有这些说法，但仍然不清楚他们能在多大程度上衡量生成模型的泛化能力。在本文中，我们调查的能力，这些指标在衡量泛化能力。我们介绍了一个框架，比较评估指标的鲁棒性。我们表明，在这些指标更好的分数并不意味着更好的泛化。它们很容易被记住训练集的一小部分的生成器欺骗。我们建议修复NND度量，使其对生成的数据中的噪声更具鲁棒性。为了建立一个强大的度量泛化，我们建议将最小描述长度原则应用于评估DGMs的问题。我们开发了一种有效的方法来估计生成潜变量模型（GLVMs）的复杂性。实验结果表明，该度量可以有效地检测训练集记忆，区分不同泛化能力的GLVM。源代码可在https://github.com/htt210/GeneralizationMetricGAN上获得。
2021-05-24 cs.LG
Improving Generalization and Stability of Generative Adversarial Networks
生成对抗网络（GANs）是学习复杂高维分布的最流行工具之一。然而，GANs的泛化特性还没有得到很好的理解。在本文中，我们分析了GANs在实际环境中的泛化能力。我们发现，在具有原始GAN损失的离散数据集上训练的鉴别器具有较差的泛化能力，并且不近似于理论上的最优分类。我们提出了一个零中心的梯度惩罚，通过将其推向最佳的梯度来提高泛化的梯度。惩罚保证了GANs的泛化和收敛。在合成数据集和大规模数据集上的实验验证了我们的理论分析。
2019-02-11 cs.AI cs.LG stat.ML
Bias and Generalization in Deep Generative Models: An Empirical Study
Stanford University（斯坦福大学）
在高维环境中，密度估计算法关键地依赖于它们的归纳偏差。尽管最近的经验成功，深生成模型的归纳偏差还没有得到很好的理解。在本文中，我们提出了一个框架来系统地研究图像深度生成模型中的偏差和泛化。受认知心理学实验方法的启发，我们使用精心设计的训练数据集来探索每种学习算法，以表征现有模型何时以及如何生成新的属性及其组合。我们确定了与人类心理学的相似之处，并验证了这些模式在常用的模型和架构中是一致的。
2018-11-08 cs.LG stat.ML
Investigating Generalization Behaviours of Generative Flow Networks
University of Toronto（多伦多大学）；Vector Institute（矢量研究所）；Valence Labs（valence实验室）
本研究针对生成流网络（GFNs）的泛化行为展开实证分析，通过构建新的基于图的基准环境，验证了GFNs近似函数的隐式结构可促进泛化，同时发现其对离线/离策略训练敏感但隐式学习的奖励对训练分布变化鲁棒。
2025-04-16 cs.LG
MGMD-GAN: Generalization Improvement of Generative Adversarial Networks with Multiple Generator Multiple Discriminator Framework Against Membership Inference Attacks
Bangladesh University of Engineering and Technology（孟加拉工程技术大学）
本文提出MGMD-GAN框架，通过多生成器与多判别器结合不相交训练数据分区学习混合分布，缩小泛化差距，从而有效提升模型对抗成员推理攻击的安全性。
2024-10-10 cs.LG
Do Agents Dream of Electric Sheep?: Improving Generalization in Reinforcement Learning through Generative Learning
University of Bologna（博洛尼亚大学）；University College London（伦敦大学学院）
受过度拟合大脑假说启发，提出基于生成式增强的想象强化学习方法，在ProcGen稀疏奖励环境中显著提升智能体泛化能力。
2024-03-12 cs.AI cs.LG
On Generalization for Generative Flow Networks
Mila, Université de Montréal（米拉研究所，蒙特利尔大学）
本文形式化研究了生成式流网络的泛化性，将其与稳定性关联，并通过长度泛化实验评估模型发现奖励函数中未见状态的能力。
2024-07-03 cs.LG
Efficient Online Quantum Generative Adversarial Learning Algorithms with Applications
The University of Sydney（悉尼大学）；University of Technology Sydney（悉尼科技大学）
针对量子生成对抗学习缺乏明确算法的问题，提出融合在线学习的QMMW算法，并通过参数化量子电路与纯态纠缠测试验证其高效性。
2019-04-21 cs.LG quant-ph
Generalization in Generative Adversarial Networks: A Novel Perspective from Privacy Protection
Peking University（北京大学）；Ant Financial（蚂蚁金服）；IBM Research（IBM研究）
在本文中，我们的目标是从隐私保护的新角度来理解生成对抗网络（GANs）的泛化特性。理论上，我们证明了用于训练GAN的差分私有学习算法在一定程度上不会过拟合，即，泛化间隙可以是有界的。此外，最近的一些工作，如贝叶斯GAN，可以重新解释我们的理论见解的基础上，从隐私保护。定量地，为了评估训练良好的GAN模型的信息泄漏，我们对这些模型执行各种成员攻击。实验结果表明，以往的Lipschitz正则化技术不仅可以有效地减少泛化间隙，而且可以减轻训练数据集的信息泄漏。
2019-09-25 cs.CR cs.LG stat.ML
Is Generation Required for Data-Efficient Perception?
研究生成式与非生成式方法实现组合泛化的程度，通过理论刻画归纳偏差，表明生成范式可能更易实现组合泛化，实验发现生成式方法泛化性更好。
2026-07-07 cs.CV cs.LG
Discrepancy Minimization in Domain Generalization with Generative Nearest Neighbors
IIT Delhi（印度理工学院德里分校）
领域泛化（DG）处理在多个源域上训练的机器学习模型在具有不同统计数据的目标域上不能很好地泛化的域移位问题。已经提出了多种方法来解决领域泛化的问题，通过学习跨源域的域不变表示，其不能保证在移位的目标域上的泛化。我们提出了一种基于生成最近邻的离散最小化（GNNDM）方法，它提供了一个理论上的保证，在标记过程中的目标的误差上界。我们采用了一个域离散最小化网络（DDMN），学习域不可知的功能，以产生一个单一的源域，同时保留数据点的类标签。使用生成模型学习从该源域提取的特征，该生成模型的潜在空间用作采样器以检索目标数据点的最近邻居。与现有方法相比，所提出的方法不需要访问域标签（更现实的场景）。经验上，我们证明了我们的方法在两个数据集上的有效性：PACS和VLCS。通过大量的实验，我们证明了所提出的方法，优于几个国家的最先进的DG方法的有效性。
2020-07-28 cs.CV cs.LG
It Ain't That Bad: Understanding the Mysterious Performance Drop in OOD Generalization for Generative Transformer Models
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；ShanghaiTech University（上海科技大学）；Fudan University（复旦大学）
该研究针对生成式Transformer模型在分布外（OOD）数学任务上的性能下降问题，通过训练小语言模型发现其OOD表现背后存在习得的代数结构与等价泛化规律，深化了对生成式模型泛化能力的理解。
2024-07-04 cs.AI cs.LG
Diversity vs. Recognizability: Human-like generalization in one-shot generative models
Brown University（布朗大学）；Carney Institute for Brain Science（卡尼脑科学研究所）；Artificial and Natural Intelligence Toulouse Institute（图卢兹人工与自然智能研究所）；Université de Toulouse（图卢兹大学）
长期以来，对新概念的强大概括一直是人类智能的一个显著特征。然而，深度生成模型的最新进展现在已经导致神经架构能够从单个训练样本合成未知视觉概念的新实例。然而，在这些模型和人类之间进行更精确的比较是不可能的，因为生成模型的现有性能指标（即，FID、IS、可能性）不适用于一次性生成场景。在这里，我们提出了一个新的框架来沿着两个轴评估一次性生成模型：样本可识别性与多样性（即，类内可变性）。使用这个框架，我们对Omniglot手写数据集上的代表性一次性生成模型进行了系统的评估。我们首先展示了GAN类和VAE类模型落在多样性可识别性空间的两端。对关键模型参数的影响进行了广泛的分析，进一步揭示了空间注意和上下文整合对多样性-可识别性权衡的线性贡献。相比之下，解纠缠沿着抛物线传输模型，可以用来最大限度地提高识别率。使用多样性可识别性框架，我们能够识别出与人类数据非常接近的模型和参数。
2022-10-07 cs.AI cs.LG
One-Shot Generalization in Deep Generative Models
Google DeepMind（谷歌DeepMind）
人类有一种令人印象深刻的能力，可以从一个例子中推理出新的概念和经验。特别是，人类具有一次性概括的能力：能够遇到一个新概念，理解它的结构，然后能够生成概念的引人注目的替代变体。我们通过开发新的深度生成模型来开发具有这种重要能力的机器学习系统，这些模型将深度学习的表示能力与贝叶斯推理的推理能力相结合。我们开发了一类基于反馈和注意力原则的序列生成模型。这两个特征导致生成模型，其在密度估计和图像生成中是最先进的。我们使用三个任务来展示我们的模型的一次性泛化能力：无条件采样，生成给定概念的新样本，以及生成概念家族的新样本。在所有情况下，我们的模型都能够生成令人信服的和多样化的样本-只看过一次新的例子-为一次性机器学习提供了一类重要的通用模型。
2016-05-25 cs.AI cs.LG stat.ML
Fragment-based molecular generative model with high generalization ability and synthetic accessibility
HITS incorporation（HITS 公司）；Department of Chemistry, KAIST（韩国科学技术院化学系）；KI for Artificial Intelligence, KAIST（韩国科学技术院人工智能研究院）
深度生成模型在分子设计中具有重要的应用价值。大多数现有的模型通过顺序添加原子来生成分子。这通常使得生成的分子与靶特性的相关性较小，并且合成可及性低。官能团等分子片段与分子性质和合成可及性的关系比原子更密切。在这里，我们提出了一个基于片段的分子生成模型，通过顺序添加分子片段到任何给定的起始分子中来设计具有目标特性的新分子。我们的模型的一个关键特征是在属性控制和片段类型方面具有很高的泛化能力。前者通过以自回归方式学习各个片段对目标属性的贡献而成为可能。对于后者，我们使用了一个深度神经网络，该网络从两个分子的嵌入向量作为输入来预测两个分子的键合概率。在用金砖国家分解方法制备片段库时，隐含地考虑了所生成分子的高合成可及性。我们表明，该模型可以产生分子的同时控制多个目标属性在一个高的成功率。即使在训练数据很少的属性范围内，它也同样适用于看不见的片段，验证了高泛化能力。作为一个实际应用，我们证明了该模型可以产生潜在的抑制剂，对SARS-COV-2的3CL蛋白酶的对接得分方面的高结合亲和力。
2021-11-25 cs.LG
HD Maps are Lane Detection Generalizers: A Novel Generative Framework for Single-Source Domain Generalization
Korea University（高丽大学）；NAVER LABS（NAVER实验室）
针对车道线检测因域差异导致泛化性能不足的问题，提出利用 HD Maps 生成前视图图像并筛选核心子集训练模型的方法，在不访问目标域图像下准确率提升 3.01%p。
2024-05-31 cs.CV cs.LG cs.RO
Generalization and Equilibrium in Generative Adversarial Nets (GANs)
Princeton University（普林斯顿大学）；Duke University（杜克大学）
我们表明，生成对抗网络（GAN）的训练可能不具有良好的泛化特性;例如，训练可能看起来是成功的，但是训练的分布可能远离标准度量中的目标分布。然而，对于一个称为神经网络距离的较弱度量，确实会发生泛化。它还表明，一个近似的纯均衡存在于一个特殊类的发电机与自然的训练目标时，发电机容量和训练集的大小是中等的发电机/发电机的游戏。这种平衡的存在激发了MIX+GAN协议，该协议可以与任何现有的GAN训练相结合，并且经验表明可以改善其中的一些。
2017-08-01 cs.LG cs.NE stat.ML
What Drives Compositional Generalization in Visual Generative Models? The Importance of Continuous Training Objectives
University of Freiburg；Bosch Center for Artificial Intelligence；Inria, \'E cole Normale Sup \'e rieure, CNRS, PSL Research University
研究探讨了视觉生成模型中连续训练目标对组合泛化能力的影响，发现训练目标分布的离散或连续性及条件信息对泛化性能有关键作用。
2026-10-02 cs.AI cs.CV cs.LG
A method for quantifying the generalization capabilities of generative models for solving Ising models
Henan Key Laboratory of Network Cryptography Technology（河南省网络密码技术重点实验室）
本文提出在变分自回归网络框架中引入汉明距离正则化器，结合基态求解成功率构成量化指标，用于衡量不同网络架构求解伊辛模型的泛化能力，并可辅助大规模问题下的神经架构搜索。
2024-05-06 cond-mat.dis-nn cs.AI cs.LG
Principled Understanding of Generalization for Generative Transformer Models in Arithmetic Reasoning Tasks
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；ShanghaiTech University（上海科技大学）；University of Hong Kong（香港大学）；Fudan University（复旦大学）
本文提出统一理论框架，通过分析加法、乘法及模运算，揭示平移不变性与相对位置编码对长度泛化的作用，并经GPT系列实验验证，强调任务结构与数据分布的重要性。
2025-05-30 cs.AI cs.LG
Moderating the Generalization of Score-based Generative Model
Hefei University of Technology（合肥工业大学）；University College London（伦敦大学学院）；San Diego State University（圣地亚哥州立大学）；Beihang University（北航）
针对SGMs泛化滥用风险，提出首个受调节的生成模型MSGM，通过在随机微分方程过程中调整分数函数远离不良数据，有效抑制不良内容生成，同时保持高视觉质量，并兼容多种扩散架构与训练策略。
2025-06-26 cs.CV cs.LG
Robust Generative Adversarial Network
University of Liverpool（利物浦大学）；Alibaba Group（阿里巴巴集团）
生成对抗网络（GANs）是一种强大的生成模型，但通常存在不稳定性和泛化问题，可能导致生成能力差。大多数现有的工作集中在稳定的训练，而忽略了泛化性能。在这项工作中，我们的目标是提高泛化能力的GANs的局部鲁棒性内的小邻域的训练样本。我们还证明了在训练集的小邻域内的鲁棒性可以导致更好的推广。特别是，我们设计了一个强大的优化框架，发电机和发电机相互竞争的\textit{worst-case}设置在一个小Wasserstein球。生成器尝试将\textit{the worst input distribution}（而不是大多数GANs中使用的高斯分布）映射到真实数据分布，而生成器尝试区分真实和虚假分布\textit{with the worst perturbation}。我们已经证明了我们的鲁棒方法可以在温和的假设下获得比传统GANs更严格的泛化上限，确保RGAN优于GANs的理论优势。在CIFAR-10，STL-10和CelebA数据集上的一系列实验表明，我们提出的鲁棒框架可以显著和一致地改善五个基线GAN模型。
2020-04-28 cs.LG stat.ML
Generative Risk Minimization for Out-of-Distribution Generalization on Graphs
University of Virginia（弗吉尼亚大学）；University of Connecticut（康涅狄格大学）
针对图结构数据OOD泛化因非独立同分布特性和复杂结构信息导致的挑战，提出生成式风险最小化（GRM）框架，通过生成不变子图而非提取来捕获不变信息，经理论分析和实验验证其在节点级与图级OOD泛化任务中的优越性。
2025-02-11 cs.AI cs.LG
Self-supervised Vision Transformer are Scalable Generative Models for Domain Generalization
University of Bamberg（班贝格大学）；xAILab
本文提出一种基于自监督Vision Transformer的生成式方法，通过合成多样组织病理学图像增强数据集，显著提升深度学习模型跨领域泛化能力，并在多个数据集上超越现有方法。
2024-07-03 cs.CV cs.LG eess.IV
Semantic Segmentation with Generative Models: Semi-Supervised Learning and Strong Out-of-Domain Generalization
NVIDIA（英伟达）；University of Toronto（多伦多大学）；Yale University（耶鲁大学）；MIT（麻省理工学院）；Vector Institute（向量研究所）
用有限的标记数据训练深度网络，同时实现强大的泛化能力，是减少人类注释工作的关键。这是半监督学习的目标，它利用更广泛可用的未标记数据来补充小的标记数据集。在本文中，我们提出了一个新的框架，歧视像素级的任务，使用生成模型的图像和标签。具体地说，我们学习了一个生成对抗网络，该网络捕获联合图像-标签分布，并使用大量未标记图像（仅添加少量标记图像）进行有效训练。我们在StyleGAN 2之上构建我们的架构，并通过标签合成分支进行增强。测试时的图像标记是通过首先将目标图像通过编码器网络和测试时优化嵌入到联合潜在空间中，然后从推断的嵌入生成标签来实现的。我们评估我们的方法在两个重要的领域：医学图像分割和基于部分的人脸分割。与几个基线相比，我们展示了强大的域内性能，并且是第一个展示极端领域泛化的人，例如在医学成像中从CT转移到MRI，以及从真实面孔的照片转移到绘画，雕塑，甚至卡通和动物面孔。项目页：\url{https://nv-tlabs.github.io/semanticGAN/}
2021-04-12 cs.AI cs.CV cs.LG
On Computation and Generalization of Generative Adversarial Imitation Learning
Georgia Tech（佐治亚理工学院）；Xi’an Jiaotong University（西安交通大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
生成对抗模仿学习（GAIL）是一种学习顺序决策策略的强大而实用的方法。与强化学习（RL）不同，GAIL利用专家的演示数据（例如，人类），并学习未知环境的策略和奖励函数。尽管取得了重大的经验进展，GAIL背后的理论在很大程度上仍然是未知的。主要的困难来自潜在的时间依赖性的示范数据和极小极大计算公式GAIL没有凹凸结构。为了弥合理论与实践之间的差距，本文研究了GAIL的理论特性。具体而言，我们显示：（1）对于一般报酬参数化的GAIL，只要适当控制报酬函数的类，就可以保证推广性;（2）对于报酬参数化为再生核函数的GAIL，可以用随机一阶优化算法有效地求解，该算法可以达到次线性收敛到平稳解.据我们所知，这些是第一个结果的统计和计算保证模仿学习与奖励/政策函数近似。数值实验支持我们的分析。
2020-01-12 cs.LG stat.ML
Bridging Generalization Gap of Heterogeneous Federated Clients Using Generative Models
School of Computing Technologies（计算技术学院）；RMIT University（皇家墨尔本理工大学）；Department of Computing Technologies（计算技术系）；Swinburne University of Technology（斯威本理工大学）
本文提出一种模型异质化的联邦学习框架，通过生成合成数据提升客户端在未见过数据上的泛化能力，同时减少通信和内存开销。
2026-02-13 cs.DC cs.LG
Generalization and Memorization: The Bias Potential Model
Princeton University（普林斯顿大学）
用于学习概率分布的模型，如生成模型和密度估计器，其行为与用于学习函数的模型完全不同。一个例子是记忆现象，即最终收敛到经验分布，发生在生成对抗网络（GANs）中。因此，泛化的问题比监督学习的问题更微妙。对于偏置势模型，我们表明，如果采用早期停止，则可以实现与维度无关的泛化精度，尽管从长远来看，模型要么记住样本，要么发散。
2021-03-02 cs.LG stat.ML
Exponential capacity scaling of classical GANs compared to hybrid latent style-based quantum GANs
Center for Quantum Computing（量子计算中心）；Quantum Coherence (QC2), University of Basel（量子相干性（QC2），巴塞尔大学）
本文研究了混合潜在风格量子GAN在图像生成中的指数容量优势，发现经典GAN与量子GAN在参数规模上呈指数级增长关系。
2026-01-08 cs.AI cs.LG quant-ph
Woodbury Transformations for Deep Generative Flows
Virginia Tech（弗吉尼亚理工大学）；Tufts University（塔夫茨大学）
规范化流是深度生成模型，允许有效的似然计算和采样。这一优势的核心要求是，它们是使用可以有效地求逆的函数构造的，并且可以有效地计算函数的雅可比行列式。研究人员已经引入了各种这样的流操作，但其中很少有允许变量之间的丰富交互而不产生显着的计算成本。在本文中，我们介绍了伍德伯里变换，它实现了有效的可逆性通过伍德伯里矩阵单位和有效的行列式计算通过西尔维斯特的行列式单位。与最先进的标准化流程中使用的其他操作相比，伍德伯里变换能够实现（1）高维交互，（2）有效采样，以及（3）有效的似然评估。其他类似的操作，如1x1卷积，新兴卷积或周期卷积，最多允许这三个优点中的两个。在我们对多个图像数据集的实验中，我们发现Woodbury变换允许学习比其他流架构更高似然的模型，同时仍然享有其效率优势。
2021-01-08 cs.LG stat.ML
Generative Modeling of Weights: Generalization or Memorization?
Princeton University（普林斯顿大学）；University of Pennsylvania（宾夕法尼亚大学）
该研究检验了四种代表性权重生成模型的能力，发现其主要通过记忆训练检查点合成权重，性能未超简单基线，指出数据有限等可能成因，强调生成式模型应用于新领域需更严谨的设计与评估。
2025-10-03 cs.CV cs.LG
Enhancing Generative Models via Quantum Correlations
Harvard University（哈佛大学）；QuEra Computing Inc.（QuEra计算公司）；Max-Planck-Institut für Quantenoptik（马克斯·普朗克量子光学研究所）；Munich Center for Quantum Science and Technology（慕尼黑量子科学与技术中心）
使用从概率分布中提取的样本的生成建模构成了无监督机器学习的强大方法。量子力学系统可以产生表现出量子相关性的概率分布，这些量子相关性很难使用经典模型来捕获。我们从理论上表明，这种量子相关性提供了一个强大的资源生成建模。特别是，我们提供了一个无条件的证明一类广泛使用的生成模型，称为贝叶斯网络，其最小的量子扩展之间的分离的表达能力。我们表明，这种表现力的优势是与量子非局域性和量子上下文。此外，我们在标准机器学习数据集上对这种分离进行了数值测试，并表明它适用于实际问题。这项工作中展示的量子优势的可能性不仅为有用的量子机器学习协议的设计提供了启发，而且还为借鉴量子基础的思想来改进纯粹的经典算法提供了灵感。
2021-01-20 cond-mat.stat-mech cs.LG quant-ph
Distributionally Robust Optimization via Generative Ambiguity Modeling
Department of Computer Science University of Houston（计算机科学系 休斯顿大学）
本文提出了一种基于生成模型的分布鲁棒优化方法GAS-DRO，通过生成模糊集提升模型在对抗分布下的泛化能力。
2026-02-09 cs.LG
Robustness and Generalization via Generative Adversarial Training
Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技校区）；Facebook AI（脸书人工智能实验室）
虽然深度神经网络在各种计算机视觉任务中取得了显著的成功，但它们往往无法推广到新的领域和输入图像的细微变化。已经提出了几种防御措施来提高对这些变化的鲁棒性。然而，目前的防御只能抵御训练中使用的特定攻击，并且模型通常容易受到其他输入变化的影响。此外，这些方法通常会降低模型在干净图像上的性能，并且不会推广到域外样本。在本文中，我们提出了生成式对抗训练，这种方法可以同时提高模型对测试集和域外样本的泛化能力，以及对看不见的对抗攻击的鲁棒性。而不是改变一个低级别的预定义的图像方面，我们生成一个频谱的低级别，中级和高级的变化使用生成模型与解开的潜在空间。使用这些示例进行对抗训练，通过观察训练期间的各种输入变化，使模型能够承受各种攻击。我们表明，我们的方法不仅提高了模型在干净图像和域外样本上的性能，而且使其对不可预见的攻击具有鲁棒性，并优于先前的工作。我们验证了我们的方法的有效性，通过展示各种任务，如分类，分割和目标检测的结果。
2021-09-06 cs.CR cs.CV cs.LG
A Robust Adversarial Network-Based End-to-End Communications System With Strong Generalization Ability Against Adversarial Attacks
Stevens Institute of Technology（史蒂文斯理工学院）；Oklahoma State University（俄克拉荷马州立大学）
我们提出了一种新的防御机制的基础上生成对抗网络（GAN）的框架，以抵御对抗攻击在端到端的通信系统。具体来说，我们利用生成网络来模拟一个强大的对手，并使端到端的通信系统，以打击生成攻击网络通过极大极小博弈。我们表明，该系统不仅可以很好地对抗白盒和黑盒对抗攻击，但也具有良好的泛化能力，保持良好的性能下没有攻击。我们还表明，我们基于GAN的端到端系统优于传统的通信系统和有/没有对抗训练的端到端通信系统。
2021-03-03 cs.AI cs.LG eess.SP
Mutual information maximizing quantum generative adversarial networks
Seoul National University（首尔大学）；KAIST（韩国科学技术院）；Norma Inc.（Norma公司）；Korea Institute for Advanced Study（韩国高等研究院）
针对量子生成对抗网络存在的模式崩塌、特征不可控问题，提出融合InfoGAN原理的量子-经典混合模型InfoQGAN，通过MINE优化互信息，缓解模式崩塌并实现特征解耦，提升训练稳定性与数据增强效果。
2025-10-01 cs.LG q-fin.PM quant-ph
Generative Models For Deep Learning with Very Scarce Data
Universitat Politècnica de València（瓦伦西亚理工大学）；Universidad Autónoma de Madrid（马德里自治大学）
本文的目标是处理深度学习技术失败的数据稀缺场景。我们比较了两种成熟的技术，限制玻尔兹曼机和变分自动编码器，作为生成模型，以增加分类框架中的训练集。从本质上讲，我们依靠马尔可夫链蒙特卡罗（MCMC）算法来生成新的样本。我们表明，推广可以提高这种方法相比，其他国家的最先进的技术，例如半监督学习与梯形网络。此外，我们表明，RBM是优于VAE生成新的样本训练分类器具有良好的泛化能力。
2019-03-21 cs.LG stat.ML
Rethinking Multidimensional Discriminator Output for Generative Adversarial Networks
Salesforce（赛富时）；Amazon（亚马逊）；Florida State University（佛罗里达州立大学）
生成对抗网络的多维批评（critic）输出的研究在文献中尚未充分探索。在本文中，我们推广了Wasserstein GAN框架，利用多维评论家输出，并探讨其性质。我们还引入了一个平方根速度变换（SRVT）块，有利于在多维设置中进行训练。性质的证明基于我们提出的最大p-中心差异，其由p-瓦瑟斯坦距离限制，并且适合具有多维评论家输出n的Wasserstein GAN框架。特别是当n = 1和p = 1时，所提出的差异等于1-瓦瑟斯坦距离。理论分析和实证结果表明，高维批评输出在区分真假分布方面具有优势，有利于结果的快速收敛和多样性。
2022-07-14 cs.LG stat.ML
Feature Likelihood Divergence: Evaluating the Generalization of Generative Models Using Samples
Université de Montréal（蒙特利尔大学）；Mila（米拉研究所）；McGill University（麦吉尔大学）；Google Deepmind（谷歌DeepMind）
提出特征似然散度（FLD）指标，通过密度估计综合评估生成样本的新颖性、保真度和多样性，能有效识别过拟合，优于现有指标如FID。
2024-03-13 cs.CV cs.LG
