On Generalization for Generative Flow Networks
Mila, Université de Montréal（米拉研究所，蒙特利尔大学）
本文形式化研究了生成式流网络的泛化性，将其与稳定性关联，并通过长度泛化实验评估模型发现奖励函数中未见状态的能力。
2024-07-03 cs.LG
Beyond Statistical Similarity: Rethinking Metrics for Deep Generative Models in Engineering Design
Massachusetts Institute of Technology（麻省理工学院）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
本文针对工程设计场景下深度生成模型传统统计评估指标的适配性缺陷，梳理经典指标局限，整理设计专属评估指标集，通过两类工程设计案例验证指标有效性并公开相关代码。
2025-11-17 cs.LG
(Deep) Generative Geodesics
Kim Jaechul Graduate School of AI, KAIST（KAIST金在哲人工智能研究生院）；South Dakota State University（南达科他州立大学）；KU Leuven（鲁汶大学）
本文提出一种与参数化无关的黎曼度量来评估数据点相似性，定义生成距离与测地线，并展示其在聚类、可视化和插值中的应用，以理解生成模型的全局几何性质。
2024-07-15 cs.LG
Metric Learning-based Generative Adversarial Network
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
生成对抗网络（GANs）作为一种通过对抗过程估计生成模型的框架，已经引起了人们的极大关注，并已被证明在各种任务中具有强大的功能。然而，众所周知，训练GANs是微妙和不稳定的，部分原因是其sigmoid交叉熵损失函数。为了克服这一问题，许多研究者将注意力集中在测量模型分布与真实分布接近程度的各种方法上，并采用不同的度量作为目标函数。在本文中，我们提出了一种新的框架，训练GANs的基础上距离度量学习，我们称之为基于度量学习的生成对抗网络（MLGAN）。MLGAN的鉴别器可以动态学习适当的度量，而不是静态度量，以测量生成的样本与真实样本之间的距离。然后，MLGAN根据新学习的度量更新生成器。我们在几个有代表性的数据集上评估了我们的方法，实验结果表明，与现有的几种最先进的方法相比，MLGAN可以实现更优越的性能。我们还通过经验表明，MLGANs可以提高训练GANs的稳定性。
2017-11-08 cs.LG
Design Target Achievement Index: A Differentiable Metric to Enhance Deep Generative Models in Multi-Objective Inverse Design
Massachusetts Institute of Technology（麻省理工学院）
深度生成机器学习模型在设计界越来越受欢迎，这要归功于它们学习和模拟复杂数据分布的能力。虽然早期的工作是有希望的，进一步的进步将取决于解决几个关键的考虑因素，如设计质量，可行性，新颖性和有针对性的逆向设计。我们提出了设计目标实现指数（DTAI），一个可区分的，可调的指标，得分设计的能力，实现设计师指定的最低性能目标。我们证明了DTAI在直接用作深度生成模型中的训练损失时可以大大提高生成设计的性能。我们将DTAI损失应用于性能增强的多样性GAN（PaD GAN），并与一组基线深度生成模型（包括多目标PaD GAN和专用表格生成算法，如条件表格GAN（CT GAN））相比，表现出卓越的生成性能。我们进一步增强PaDGAN与辅助可行性分类器，以鼓励可行的设计。为了评估方法，我们提出了一套全面的评估指标的生成方法，专注于可行性，多样性和满意度的设计性能目标。方法进行测试的一个具有挑战性的基准问题：FRAMED自行车车架设计数据集具有混合数据类型的参数数据，严重偏斜和多模态分布，和十个竞争的性能目标。
2022-05-06 cs.LG
Bias and Generalization in Deep Generative Models: An Empirical Study
Stanford University（斯坦福大学）
在高维环境中，密度估计算法关键地依赖于它们的归纳偏差。尽管最近的经验成功，深生成模型的归纳偏差还没有得到很好的理解。在本文中，我们提出了一个框架来系统地研究图像深度生成模型中的偏差和泛化。受认知心理学实验方法的启发，我们使用精心设计的训练数据集来探索每种学习算法，以表征现有模型何时以及如何生成新的属性及其组合。我们确定了与人类心理学的相似之处，并验证了这些模式在常用的模型和架构中是一致的。
2018-11-08 cs.LG stat.ML
Improving Generalization and Stability of Generative Adversarial Networks
生成对抗网络（GANs）是学习复杂高维分布的最流行工具之一。然而，GANs的泛化特性还没有得到很好的理解。在本文中，我们分析了GANs在实际环境中的泛化能力。我们发现，在具有原始GAN损失的离散数据集上训练的鉴别器具有较差的泛化能力，并且不近似于理论上的最优分类。我们提出了一个零中心的梯度惩罚，通过将其推向最佳的梯度来提高泛化的梯度。惩罚保证了GANs的泛化和收敛。在合成数据集和大规模数据集上的实验验证了我们的理论分析。
2019-02-11 cs.AI cs.LG stat.ML
Measuring Fairness in Generative Models
Singapore University of Technology and Design（新加坡科技设计大学）
深度生成模型在提高训练稳定性和生成数据质量方面取得了很大进展。最近，人们对深层生成数据的公平性越来越感兴趣。公平在许多应用中很重要，例如执法，因为偏见会影响效率。公平数据生成的核心是用于评估和评价不同生成模型的公平性度量。在本文中，我们首先回顾公平性指标提出了在以前的作品，并突出潜在的弱点。然后，我们讨论了性能基准框架以及替代指标的评估。
2021-07-16 cs.LG
Fragment-based molecular generative model with high generalization ability and synthetic accessibility
HITS incorporation（HITS 公司）；Department of Chemistry, KAIST（韩国科学技术院化学系）；KI for Artificial Intelligence, KAIST（韩国科学技术院人工智能研究院）
深度生成模型在分子设计中具有重要的应用价值。大多数现有的模型通过顺序添加原子来生成分子。这通常使得生成的分子与靶特性的相关性较小，并且合成可及性低。官能团等分子片段与分子性质和合成可及性的关系比原子更密切。在这里，我们提出了一个基于片段的分子生成模型，通过顺序添加分子片段到任何给定的起始分子中来设计具有目标特性的新分子。我们的模型的一个关键特征是在属性控制和片段类型方面具有很高的泛化能力。前者通过以自回归方式学习各个片段对目标属性的贡献而成为可能。对于后者，我们使用了一个深度神经网络，该网络从两个分子的嵌入向量作为输入来预测两个分子的键合概率。在用金砖国家分解方法制备片段库时，隐含地考虑了所生成分子的高合成可及性。我们表明，该模型可以产生分子的同时控制多个目标属性在一个高的成功率。即使在训练数据很少的属性范围内，它也同样适用于看不见的片段，验证了高泛化能力。作为一个实际应用，我们证明了该模型可以产生潜在的抑制剂，对SARS-COV-2的3CL蛋白酶的对接得分方面的高结合亲和力。
2021-11-25 cs.LG
Do Agents Dream of Electric Sheep?: Improving Generalization in Reinforcement Learning through Generative Learning
University of Bologna（博洛尼亚大学）；University College London（伦敦大学学院）
受过度拟合大脑假说启发，提出基于生成式增强的想象强化学习方法，在ProcGen稀疏奖励环境中显著提升智能体泛化能力。
2024-03-12 cs.AI cs.LG
Grassmannian Geometry Meets Dynamic Mode Decomposition in DMD-GEN: A New Metric for Mode Collapse in Time Series Generative Models
LIX, École Polytechnique（巴黎综合理工学院 LIX 实验室）；Institute Polytechnique de Paris（巴黎理工学院）；NYU Tandon School of Engineering（纽约大学坦登工程学院）
针对时间序列生成模型模式崩溃问题，提出基于动态模式分解和最优传输的度量DMD-GEN，首次定义时间序列模式崩溃，可量化并解释崩溃模式，在合成与真实数据上验证有效。
2024-12-15 cs.LG
On Training Sample Memorization: Lessons from Benchmarking Generative Modeling with a Large-scale Competition
National Taiwan University（台湾大学）；Google（谷歌）；Kaggle（卡格尔）
自然图像生成模型的许多最新发展都依赖于以数学为动机的度量，这些度量可以通过记忆真实分布中的小样本或直接训练模型来改进度量来轻松地进行游戏。在这项工作中，我们通过设计和部署生成建模竞赛来严格评估这些指标的可玩性。我们的比赛收到了超过11000提交的模型。参与者之间的竞争使我们能够调查生成建模中的有意和无意记忆。为了检测有意记忆，我们提出了“记忆告知Fréchet起始距离”（MiFID）作为一种新的记忆感知度量和设计基准程序，以确保获奖作品在感知质量方面取得了真正的改善。此外，我们手动检查1000个表现最好的模型的代码，以理解和标记不同形式的记忆。我们的分析表明，无意记忆是一个严重的和常见的问题，在流行的生成模型。这些模型的生成图像和我们的记忆标签以及计算MiFID的代码被发布，以促进未来对基准生成模型的研究。
2021-06-06 cs.LG
Dendrogram distance: an evaluation metric for generative networks using hierarchical clustering
本文提出树状图距离指标，利用层次聚类比较真实与生成样本分布，重点检测生成网络中的模式坍塌，并通过受控验证证明其性能与现有先进方法相当。
2023-11-28 cs.CV cs.LG
Is Generation Required for Data-Efficient Perception?
研究生成式与非生成式方法实现组合泛化的程度，通过理论刻画归纳偏差，表明生成范式可能更易实现组合泛化，实验发现生成式方法泛化性更好。
2026-07-07 cs.CV cs.LG
PAC-Bayesian Generalization Bounds for Adversarial Generative Models
Université Laval（拉瓦尔大学）；McGill University（麦吉尔大学）
本文扩展PAC-Bayesian理论至生成模型，基于Wasserstein距离和全变差距离推导泛化界，为Wasserstein GAN和能量基GAN提供新训练目标，并通过实验验证非空界。
2023-11-13 cs.AI cs.LG stat.ML
Quality Measures for Dynamic Graph Generative Models
University of Chicago（芝加哥大学）；Argonne National Laboratory（阿贡国家实验室）
针对动态图生成模型评估中静态快照离散化方法的局限性，本文提出一种基于 Johnson-Lindenstrauss 引理的随机投影标量度量方法，有效捕捉动态图非均匀演化特征，克服了传统方法在特征拓扑敏感度与大规模运行时上的不足。
2025-03-03 cs.LG
Discrepancy Minimization in Domain Generalization with Generative Nearest Neighbors
IIT Delhi（印度理工学院德里分校）
领域泛化（DG）处理在多个源域上训练的机器学习模型在具有不同统计数据的目标域上不能很好地泛化的域移位问题。已经提出了多种方法来解决领域泛化的问题，通过学习跨源域的域不变表示，其不能保证在移位的目标域上的泛化。我们提出了一种基于生成最近邻的离散最小化（GNNDM）方法，它提供了一个理论上的保证，在标记过程中的目标的误差上界。我们采用了一个域离散最小化网络（DDMN），学习域不可知的功能，以产生一个单一的源域，同时保留数据点的类标签。使用生成模型学习从该源域提取的特征，该生成模型的潜在空间用作采样器以检索目标数据点的最近邻居。与现有方法相比，所提出的方法不需要访问域标签（更现实的场景）。经验上，我们证明了我们的方法在两个数据集上的有效性：PACS和VLCS。通过大量的实验，我们证明了所提出的方法，优于几个国家的最先进的DG方法的有效性。
2020-07-28 cs.CV cs.LG
Generalization in Generative Adversarial Networks: A Novel Perspective from Privacy Protection
Peking University（北京大学）；Ant Financial（蚂蚁金服）；IBM Research（IBM研究）
在本文中，我们的目标是从隐私保护的新角度来理解生成对抗网络（GANs）的泛化特性。理论上，我们证明了用于训练GAN的差分私有学习算法在一定程度上不会过拟合，即，泛化间隙可以是有界的。此外，最近的一些工作，如贝叶斯GAN，可以重新解释我们的理论见解的基础上，从隐私保护。定量地，为了评估训练良好的GAN模型的信息泄漏，我们对这些模型执行各种成员攻击。实验结果表明，以往的Lipschitz正则化技术不仅可以有效地减少泛化间隙，而且可以减轻训练数据集的信息泄漏。
2019-09-25 cs.CR cs.LG stat.ML
A Likely Geometry of Generative Models
DTU Compute, Technical University of Denmark, Kongens Lyngby, Denmark（丹麦技术大学计算机系）；Department of Computer Science, University of Virginia, Charlottesville (VA), USA（弗吉尼亚大学计算机科学系）；Department of Electrical and Computer Engineering, University of Virginia, Charlottesville (VA), USA（弗吉尼亚大学电气与计算机工程系）
本文提出了一种通用几何结构，用于分析生成模型，通过定义新的度量和微分方程，以高效计算最短路径和广义均值，并展示其在高密度区域的优越性。
2026-10-21 cs.LG
It Ain't That Bad: Understanding the Mysterious Performance Drop in OOD Generalization for Generative Transformer Models
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；ShanghaiTech University（上海科技大学）；Fudan University（复旦大学）
该研究针对生成式Transformer模型在分布外（OOD）数学任务上的性能下降问题，通过训练小语言模型发现其OOD表现背后存在习得的代数结构与等价泛化规律，深化了对生成式模型泛化能力的理解。
2024-07-04 cs.AI cs.LG
Stronger Generalization Guarantees for Robot Learning by Combining Generative Models and Real-World Data
Princeton University（普林斯顿大学）；NVIDIA Research（英伟达研究院）
我们的动机是机器人系统的学习策略问题，具有丰富的感官输入（例如，视觉）的方式，使我们能够保证泛化到训练过程中看不到的环境。我们提供了一个框架，通过利用现实世界环境的有限数据集结合（可能不准确的）生成模型的环境，提供这样的泛化保证。我们的方法背后的关键思想是利用生成模型，以隐式地指定优先于策略。使用真实世界的环境数据集，通过最小化经由可能近似正确（PAC）-贝叶斯泛化理论导出的新环境中的预期成本的上限来更新该先验。我们展示了我们的方法在两个模拟系统与非线性/混合动力学和丰富的传感方式：（i）四旋翼导航与机载视觉传感器，和（ii）抓住物体使用深度传感器。与以前的工作比较表明，我们的方法能够通过利用生成模型获得更强的泛化保证。我们还提供了硬件实验来验证我们对抓取任务的界限。
2022-07-22 cs.LG cs.RO cs.SY
Distributionally Robust Optimization via Generative Ambiguity Modeling
Department of Computer Science University of Houston（计算机科学系 休斯顿大学）
本文提出了一种基于生成模型的分布鲁棒优化方法GAS-DRO，通过生成模糊集提升模型在对抗分布下的泛化能力。
2026-02-09 cs.LG
Diversity vs. Recognizability: Human-like generalization in one-shot generative models
Brown University（布朗大学）；Carney Institute for Brain Science（卡尼脑科学研究所）；Artificial and Natural Intelligence Toulouse Institute（图卢兹人工与自然智能研究所）；Université de Toulouse（图卢兹大学）
长期以来，对新概念的强大概括一直是人类智能的一个显著特征。然而，深度生成模型的最新进展现在已经导致神经架构能够从单个训练样本合成未知视觉概念的新实例。然而，在这些模型和人类之间进行更精确的比较是不可能的，因为生成模型的现有性能指标（即，FID、IS、可能性）不适用于一次性生成场景。在这里，我们提出了一个新的框架来沿着两个轴评估一次性生成模型：样本可识别性与多样性（即，类内可变性）。使用这个框架，我们对Omniglot手写数据集上的代表性一次性生成模型进行了系统的评估。我们首先展示了GAN类和VAE类模型落在多样性可识别性空间的两端。对关键模型参数的影响进行了广泛的分析，进一步揭示了空间注意和上下文整合对多样性-可识别性权衡的线性贡献。相比之下，解纠缠沿着抛物线传输模型，可以用来最大限度地提高识别率。使用多样性可识别性框架，我们能够识别出与人类数据非常接近的模型和参数。
2022-10-07 cs.AI cs.LG
Learning Discriminative Metrics via Generative Models and Kernel Learning
University of Southern California（南加州大学）；University of Pennsylvania（宾夕法尼亚大学）
指定数据点之间的距离的距离可以以区别性方式或从生成模型中学习。在本文中，我们展示了如何通过一个内核学习框架来统一度量的生成学习和判别学习。具体来说，我们学习从参数生成模型优化的局部度量。然后，这些被用作基本内核，以构建一个全局内核，最大限度地减少一个歧视性的训练标准。我们考虑局部度量核的线性和非线性组合。我们的实证结果表明，这些组合显着提高分类任务的性能。所提出的学习算法也是非常有效的，实现了数量级的训练时间相比，以前的判别基线方法的加速。
2011-09-19 cs.AI cs.LG stat.ME
On the Generalization Limits of Quantum Generative Adversarial Networks with Pure State Generators
Department of Computer Science and Research Initiative QC-AI（计算机科学系和QC-AI研究计划）；RPTU Kaiserslautern-Landau（凯撒斯劳滕-兰道大学）；Embedded Intelligence（嵌入式智能）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Department of Artificial Intelligence（人工智能系）；Korea University（韩国大学）；Department of Physics（物理系）
本研究探讨了量子生成对抗网络在纯态生成器中的泛化极限，推导出判别器质量的理论下限，揭示了现有量子生成模型在泛化能力上的根本挑战。
2026-03-04 cs.LG quant-ph
How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating and Auditing Generative Models
Broad Institute of MIT and Harvard（麻省理工学院与哈佛大学博德研究所）；MIT（麻省理工学院）；Cambridge University（剑桥大学）；UCLA（加州大学洛杉矶分校）
为生成模型设计与领域和模型无关的评估指标是一个重要且尚未解决的问题。大多数现有的指标，这是专门为图像合成设置，表现出有限的能力，诊断不同的故障模式的生成模型在更广泛的应用领域。在本文中，我们引入了一个三维的评价指标，（$α$ -精度，$β$ -召回，真实性），其特征的保真度，多样性和泛化性能的任何生成模型在域不可知的方式。我们的度量标准将统计差异度量与精确召回分析相结合，从而实现模型保真度和多样性的样本和分布级诊断。我们引入泛化作为一个额外的，独立的维度（对多样性的权衡），量化模型复制训练数据的程度-在对隐私要求的敏感数据建模时，这是一个关键的性能指标。这三个度量分量对应于（可解释的）概率量，并通过样本级二进制分类进行估计。我们的指标的样本级性质激发了一种新的用例，我们称之为模型审计，其中我们判断（黑盒）模型生成的单个样本的质量，丢弃低质量样本，从而以事后方式提高整体模型性能。
2022-07-13 cs.LG stat.ML
MetricGAN: Generative Adversarial Networks based Black-box Metric Scores Optimization for Speech Enhancement
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
条件生成对抗网络（GAN）中的对抗性损失并不被设计为直接优化目标任务的评估度量，因此可能并不总是引导GAN中的生成器生成具有改进的度量分数的数据。为了克服这个问题，我们提出了一种新的MetricGAN方法，旨在优化生成器的一个或多个评估指标。此外，基于MetricGAN，生成数据的度量分数也可以由用户任意指定。我们在语音增强任务上测试了所提出的MetricGAN，这特别适合于验证所提出的方法，因为存在测量语音信号的不同方面的多个度量。此外，这些指标通常是复杂的，并且不能通过Lp或传统的对抗性损失来完全优化。
2019-05-13 cs.LG cs.SD eess.AS
A Study on the Evaluation of Generative Models
Bar-Ilan University（巴伊兰大学）
不返回似然值的隐式生成模型，例如生成对抗网络和扩散模型，近年来变得流行。虽然这些模型确实显示出了显著的效果，但评估它们的性能具有挑战性。这个问题对于推动研究向前发展和从随机噪声中识别有意义的收益至关重要。目前，启发式指标，如Inception score（IS）和Frechet Inception Distance（FID）是最常见的评估指标，但它们衡量的是什么并不完全清楚。此外，还有关于他们的分数实际上有多大意义的问题。在这项工作中，我们通过生成一个高质量的合成数据集来研究生成模型的评估指标，在这个数据集上，我们可以估计经典指标进行比较。我们的研究表明，虽然FID和IS确实与几个f-分歧相关，但它们对接近模型的排名可能会有很大不同，这使得它们在用于模糊比较时存在问题。我们进一步使用这个实验设置来研究哪个评估指标与我们的概率指标最相关。最后，我们研究用于指标（如FID）的基本功能。
2022-06-22 cs.CV cs.LG
One-Shot Generalization in Deep Generative Models
Google DeepMind（谷歌DeepMind）
人类有一种令人印象深刻的能力，可以从一个例子中推理出新的概念和经验。特别是，人类具有一次性概括的能力：能够遇到一个新概念，理解它的结构，然后能够生成概念的引人注目的替代变体。我们通过开发新的深度生成模型来开发具有这种重要能力的机器学习系统，这些模型将深度学习的表示能力与贝叶斯推理的推理能力相结合。我们开发了一类基于反馈和注意力原则的序列生成模型。这两个特征导致生成模型，其在密度估计和图像生成中是最先进的。我们使用三个任务来展示我们的模型的一次性泛化能力：无条件采样，生成给定概念的新样本，以及生成概念家族的新样本。在所有情况下，我们的模型都能够生成令人信服的和多样化的样本-只看过一次新的例子-为一次性机器学习提供了一类重要的通用模型。
2016-05-25 cs.AI cs.LG stat.ML
MOCHA: A Dataset for Training and Evaluating Generative Reading Comprehension Metrics
UC Irvine（加州大学欧文分校）；The Hebrew University（希伯来大学）；Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）；AI2 Irvine（艾伦人工智能研究所欧文分部）
把阅读理解作为一个生成问题提供了很大的灵活性，允许开放式的问题，对可能的答案几乎没有限制。然而，现有的生成指标阻碍了进展，这些指标依赖于标记重叠，并且对阅读理解的细微差别不可知。为了解决这个问题，我们引入了一个用于训练和评估生成式阅读理解指标的基准：使用人类注释建模正确性。MOCHA包含来自6个不同问答数据集的模型输出的40K人类判断分数和用于评估的额外一组最小对。使用MOCHA，我们训练阅读理解的学习评价指标LERC，以模仿人类的判断分数。LERC在保留注释上的绝对Pearson点超过基线指标10到36。当我们评估最小对的鲁棒性时，LERC达到了80%的准确率，比基线高出14到26个绝对百分点，同时留下了显著的改进空间。MOCHA提出了一个具有挑战性的问题，发展准确和强大的生成式阅读理解指标。
2020-10-15 cs.CL cs.LG
On Evaluation Metrics for Graph Generative Models
University of Guelph（圭尔夫大学）；Vector Institute（向量研究所）；Samsung, SAIT AI Lab（三星综合技术院人工智能实验室）；POSTECH（浦项科技大学）
在图像生成中，可以通过视觉检查模型输出来自然地评估生成模型。然而，对于图生成模型（GGM）来说，情况并非总是如此，这使得它们的评估具有挑战性。目前，用于评估GGM的标准过程受到三个关键限制：i）它不产生单个分数，这使得模型选择具有挑战性，ii）在许多情况下，它未能考虑潜在的边缘和节点特征，以及iii）它执行起来非常缓慢。在这项工作中，我们减轻了这些问题，通过搜索标量，域不可知的，可扩展的指标评估和排名GGM。为此，我们研究了现有的GGM指标和基于神经网络的指标，这些指标来自使用从特定任务网络中提取的嵌入的图像生成模型。受某些图神经网络（GNN）在没有任何训练的情况下提取有意义的图表示的能力的启发，我们引入了几个基于未经训练的随机GNN提取的特征的度量。我们设计的实验，彻底测试指标的能力，以衡量所生成的图形的多样性和保真度，以及他们的样本和计算效率。根据样本的数量，我们推荐两个基于随机GNN的指标中的一个，我们证明它比现有的指标更具表达力。虽然我们专注于将这些指标应用于GGM评估，但在实践中，这使得能够轻松计算任何两组图之间的相异性，而不管域如何。我们的代码发布于：https://github.com/uoguelph-mlrg/GGM-metrics。
2022-04-27 cs.AI cs.LG
BourGAN: Generative Networks with Metric Embeddings
Columbia University（哥伦比亚大学）
本文讨论了生成对抗网络（GANs）的模式崩溃。我们把模式看作是度量空间中数据分布的几何结构。在这种几何透镜下，我们将数据集的子样本从任意度量空间嵌入到l2空间中，同时保持它们的成对距离分布。该度量嵌入不仅自动确定潜在空间的维度，还使我们能够构建高斯混合来绘制潜在空间随机向量。我们使用高斯混合模型与目标函数的简单增强相结合来训练GANs。我们的方法的每一个主要步骤都得到了理论分析的支持，我们对真实和合成数据的实验证实，生成器能够产生分布在大多数模式上的样本，同时避免不需要的样本，在许多指标上优于最近的几个GAN变体，并提供新的功能。
2018-12-03 cs.LG stat.ML
Principled Understanding of Generalization for Generative Transformer Models in Arithmetic Reasoning Tasks
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；ShanghaiTech University（上海科技大学）；University of Hong Kong（香港大学）；Fudan University（复旦大学）
本文提出统一理论框架，通过分析加法、乘法及模运算，揭示平移不变性与相对位置编码对长度泛化的作用，并经GPT系列实验验证，强调任务结构与数据分布的重要性。
2025-05-30 cs.AI cs.LG
HD Maps are Lane Detection Generalizers: A Novel Generative Framework for Single-Source Domain Generalization
Korea University（高丽大学）；NAVER LABS（NAVER实验室）
针对车道线检测因域差异导致泛化性能不足的问题，提出利用 HD Maps 生成前视图图像并筛选核心子集训练模型的方法，在不访问目标域图像下准确率提升 3.01%p。
2024-05-31 cs.CV cs.LG cs.RO
Moderating the Generalization of Score-based Generative Model
Hefei University of Technology（合肥工业大学）；University College London（伦敦大学学院）；San Diego State University（圣地亚哥州立大学）；Beihang University（北航）
针对SGMs泛化滥用风险，提出首个受调节的生成模型MSGM，通过在随机微分方程过程中调整分数函数远离不良数据，有效抑制不良内容生成，同时保持高视觉质量，并兼容多种扩散架构与训练策略。
2025-06-26 cs.CV cs.LG
Generalization and Equilibrium in Generative Adversarial Nets (GANs)
Princeton University（普林斯顿大学）；Duke University（杜克大学）
我们表明，生成对抗网络（GAN）的训练可能不具有良好的泛化特性;例如，训练可能看起来是成功的，但是训练的分布可能远离标准度量中的目标分布。然而，对于一个称为神经网络距离的较弱度量，确实会发生泛化。它还表明，一个近似的纯均衡存在于一个特殊类的发电机与自然的训练目标时，发电机容量和训练集的大小是中等的发电机/发电机的游戏。这种平衡的存在激发了MIX+GAN协议，该协议可以与任何现有的GAN训练相结合，并且经验表明可以改善其中的一些。
2017-08-01 cs.LG cs.NE stat.ML
Evaluating generative audio systems and their metrics
Georgia Institute of Technology（佐治亚理工学院）
近年来，使用深度生成模型的音频合成取得了相当大的进展。然而，最新技术水平很难量化;不同的研究在报告结果时往往使用不同的评估方法和不同的指标，这使得与其他系统进行直接比较变得困难，甚至是不可能的。此外，在大多数情况下，所报告的度量的感知相关性和意义是未知的，从而禁止关于实际可用性和音频质量的任何结论性见解。本文提出了一项研究，调查国家的最先进的方法并排与（i）一组先前提出的音频重建的客观指标，并与（ii）听的研究。结果表明，目前使用的客观指标不足以描述当前系统的感知质量。
2022-08-31 cs.LG cs.SD eess.AS
Generalization Metrics for Practical Quantum Advantage in Generative Models
University of Oxford（牛津大学）；Zapata Computing Canada Inc.（加拿大扎帕塔计算公司）
本研究提出基于泛化性能的采样度量，用于无歧义评估生成模型的实用量子优势，实验显示量子启发模型在生成新颖有效样本上较GAN有68倍提升。
2023-05-11 cs.LG quant-ph
Robust Generative Adversarial Network
University of Liverpool（利物浦大学）；Alibaba Group（阿里巴巴集团）
生成对抗网络（GANs）是一种强大的生成模型，但通常存在不稳定性和泛化问题，可能导致生成能力差。大多数现有的工作集中在稳定的训练，而忽略了泛化性能。在这项工作中，我们的目标是提高泛化能力的GANs的局部鲁棒性内的小邻域的训练样本。我们还证明了在训练集的小邻域内的鲁棒性可以导致更好的推广。特别是，我们设计了一个强大的优化框架，发电机和发电机相互竞争的\textit{worst-case}设置在一个小Wasserstein球。生成器尝试将\textit{the worst input distribution}（而不是大多数GANs中使用的高斯分布）映射到真实数据分布，而生成器尝试区分真实和虚假分布\textit{with the worst perturbation}。我们已经证明了我们的鲁棒方法可以在温和的假设下获得比传统GANs更严格的泛化上限，确保RGAN优于GANs的理论优势。在CIFAR-10，STL-10和CelebA数据集上的一系列实验表明，我们提出的鲁棒框架可以显著和一致地改善五个基线GAN模型。
2020-04-28 cs.LG stat.ML
Power of Quantum Generative Learning
JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）；Peking University（北京大学）
量子力学固有的概率本质引发了设计量子生成学习模型（QGLM）的努力。尽管取得了经验性的成就，基础和潜在的优势QGLM仍然在很大程度上模糊。为了缩小这种知识差距，我们在这里探索QGLM的泛化特性，将模型从学习数据扩展到未知数据的能力。我们考虑了两种典型的量子广义线性模型：量子线路玻恩机和量子生成对抗网络，并明确给出了它们的推广界。结果表明，当量子器件可以直接访问目标分布和采用量子核时，QGLM优于经典方法。我们进一步利用这些推广的界限，表现出潜在的优势，量子态制备和哈密顿学习。QGLM在加载高斯分布和参数化哈密顿量的基态估计方面的数值结果与理论分析一致。我们的工作为定量理解量子生成学习模型的力量开辟了道路。
2022-08-05 cs.LG quant-ph
What Drives Compositional Generalization in Visual Generative Models? The Importance of Continuous Training Objectives
University of Freiburg；Bosch Center for Artificial Intelligence；Inria, \'E cole Normale Sup \'e rieure, CNRS, PSL Research University
研究探讨了视觉生成模型中连续训练目标对组合泛化能力的影响，发现训练目标分布的离散或连续性及条件信息对泛化性能有关键作用。
2026-10-02 cs.AI cs.CV cs.LG
Generative Risk Minimization for Out-of-Distribution Generalization on Graphs
University of Virginia（弗吉尼亚大学）；University of Connecticut（康涅狄格大学）
针对图结构数据OOD泛化因非独立同分布特性和复杂结构信息导致的挑战，提出生成式风险最小化（GRM）框架，通过生成不变子图而非提取来捕获不变信息，经理论分析和实验验证其在节点级与图级OOD泛化任务中的优越性。
2025-02-11 cs.AI cs.LG
A method for quantifying the generalization capabilities of generative models for solving Ising models
Henan Key Laboratory of Network Cryptography Technology（河南省网络密码技术重点实验室）
本文提出在变分自回归网络框架中引入汉明距离正则化器，结合基态求解成功率构成量化指标，用于衡量不同网络架构求解伊辛模型的泛化能力，并可辅助大规模问题下的神经架构搜索。
2024-05-06 cond-mat.dis-nn cs.AI cs.LG
A Standardized Framework For Evaluating Gene Expression Generative Models
本文提出GGE框架，通过标准化评估方法解决基因表达生成模型中指标不一致、超参数不可比等问题，促进生成方法的公平比较和生物信息学研究进展。
2026-03-11 cs.LG q-bio.GN
On Computation and Generalization of Generative Adversarial Imitation Learning
Georgia Tech（佐治亚理工学院）；Xi’an Jiaotong University（西安交通大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
生成对抗模仿学习（GAIL）是一种学习顺序决策策略的强大而实用的方法。与强化学习（RL）不同，GAIL利用专家的演示数据（例如，人类），并学习未知环境的策略和奖励函数。尽管取得了重大的经验进展，GAIL背后的理论在很大程度上仍然是未知的。主要的困难来自潜在的时间依赖性的示范数据和极小极大计算公式GAIL没有凹凸结构。为了弥合理论与实践之间的差距，本文研究了GAIL的理论特性。具体而言，我们显示：（1）对于一般报酬参数化的GAIL，只要适当控制报酬函数的类，就可以保证推广性;（2）对于报酬参数化为再生核函数的GAIL，可以用随机一阶优化算法有效地求解，该算法可以达到次线性收敛到平稳解.据我们所知，这些是第一个结果的统计和计算保证模仿学习与奖励/政策函数近似。数值实验支持我们的分析。
2020-01-12 cs.LG stat.ML
Bridging Generalization Gap of Heterogeneous Federated Clients Using Generative Models
School of Computing Technologies（计算技术学院）；RMIT University（皇家墨尔本理工大学）；Department of Computing Technologies（计算技术系）；Swinburne University of Technology（斯威本理工大学）
本文提出一种模型异质化的联邦学习框架，通过生成合成数据提升客户端在未见过数据上的泛化能力，同时减少通信和内存开销。
2026-02-13 cs.DC cs.LG
Generalization and Memorization: The Bias Potential Model
Princeton University（普林斯顿大学）
用于学习概率分布的模型，如生成模型和密度估计器，其行为与用于学习函数的模型完全不同。一个例子是记忆现象，即最终收敛到经验分布，发生在生成对抗网络（GANs）中。因此，泛化的问题比监督学习的问题更微妙。对于偏置势模型，我们表明，如果采用早期停止，则可以实现与维度无关的泛化精度，尽管从长远来看，模型要么记住样本，要么发散。
2021-03-02 cs.LG stat.ML
Characterizing the Latent Space of Molecular Deep Generative Models with Persistent Homology Metrics
IBM（国际商业机器公司）；IBM Research（IBM研究院）
深度生成模型越来越多地成为计算机分子设计管道的组成部分，并且具有双重目标，即学习使候选分子可行的化学和结构特征，同时还具有足够的灵活性以生成新颖的设计。具体地，变分自动编码器（VAE）是生成模型，其中编码器-解码器网络对被训练以重构训练数据分布，使得编码器网络的潜在空间是平滑的。因此，可以通过从该潜在空间采样来发现新的候选者。然而，架构和超参数的范围是巨大的，选择最佳组合进行计算机发现对下游的成功具有重要意义。因此，重要的是开发一种原则性的方法来区分给定的生成模型能够学习显著的分子特征的程度。在这项工作中，我们提出了一种方法，通过将潜在空间度量与拓扑数据分析（TDA）领域的度量相关联，来测量深度生成模型的潜在空间能够编码分子数据集的结构和化学特征的程度。我们将我们的评估方法应用于在SMILES字符串上训练的VAE，并表明3D拓扑信息在整个模型的潜在空间中始终编码。
2021-06-07 cs.LG q-bio.BM
Evaluation Metrics for Graph Generative Models: Problems, Pitfalls, and Practical Solutions
ETH Zürich（苏黎世联邦理工学院）；SIB Swiss Institute of Bioinformatics（瑞士生物信息学研究所）；Helmholtz Munich（亥姆霍兹慕尼黑中心）；Technical University of Munich（慕尼黑工业大学）
图生成模型是机器学习的一个非常活跃的分支。鉴于不断发展的新模式日益复杂，有必要提供一个原则性的方法来评价和比较它们。在本文中，我们列举了理想的标准，这样的比较度量，并提供了一个概述的现状，图生成模型比较在今天使用，主要依赖于最大平均差异（MMD）。我们在图生成模型比较的背景下对MMD进行了系统的评估，突出了研究人员无意中可能遇到的一些挑战和陷阱。在对MMD在合成生成的扰动图以及最近提出的图生成模型上的行为进行彻底分析后，我们能够提供一个合适的程序来减轻这些挑战和陷阱。我们将我们的研究结果汇总为一系列实用建议，供研究人员在评估图生成模型时使用。
2022-03-18 cs.LG cs.SI stat.ML
On the Behavior of Intrusive and Non-intrusive Speech Enhancement Metrics in Predictive and Generative Settings
Universität Hamburg（汉堡大学）
本文比较同一语音增强骨干在预测式与生成式范式下的多种侵入式、非侵入式指标表现，揭示两类指标相关性随范式变化，呼吁建立无偏评估体系。
2023-06-05 cs.LG cs.SD eess.AS
Analyzing Generative Models by Manifold Entropic Metrics
Heidelberg University（海德堡大学）
本文提出一组基于独立机制原理的信息论评估指标，用于客观量化生成模型表征的解耦程度，并在EMNIST上比较归一化流与β-VAE，揭示了不同架构和训练过程收敛到解耦表征的归纳偏置排序。
2025-04-07 cs.LG stat.ML
Reliable Fidelity and Diversity Metrics for Generative Models
Clova AI Research, Naver Corp.（Naver公司Clova AI研究院）；Technische Universität München（慕尼黑工业大学）；École polytechnique fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
为图像生成任务设计指示性评价指标仍然是一个悬而未决的问题。用于测量真实图像和生成图像之间的相似性的最广泛使用的度量是Fréchet Inception Distance（FID）分数。由于它没有区分所生成图像的保真度和多样性方面，最近的论文引入了精确度和召回率指标的变体来分别诊断这些属性。在本文中，我们表明，即使是最新版本的精度和召回率指标是不可靠的。例如，它们不能检测两个相同分布之间的匹配，它们对离群值不鲁棒，并且评估超参数是任意选择的。我们提出了解决上述问题的密度和覆盖度量。我们的分析和实验表明，密度和覆盖率为从业者提供了比现有指标更可解释和可靠的信号。代码：https://github.com/clovaai/generative-evaluation-prdc.
2020-06-28 cs.CV cs.LG stat.ML
Geometry-Aware Generative Autoencoders for Warped Riemannian Metric Learning and Generative Modeling on Data Manifolds
Yale University（耶鲁大学）；New York University（纽约大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）
本文提出几何感知生成自编码器GAGA，通过结合流形学习与生成建模，学习扭曲黎曼度量以刻画数据流形几何，实现均匀采样、测地线生成和群体插值，在单细胞轨迹推断上比现有最优方法提升30%。
2025-04-07 cs.LG math.DG stat.ML
Evaluating Aleatoric Uncertainty via Conditional Generative Models
Columbia University（哥伦比亚大学）
随机不确定性量化寻求随机响应的分布知识，这对于机器学习应用中的可靠性分析和鲁棒性改进是重要的。以往任意不确定性估计的研究主要是针对封闭形式的条件密度或方差，这需要对数据的分布或维数有很强的限制。为了克服这些限制，我们研究了任意不确定性估计的条件生成模型。我们引入了两个度量来衡量适合这些模型的两个条件分布之间的差异。这两个指标都可以通过条件生成模型的蒙特卡罗模拟轻松且无偏差地计算，从而促进其评估和训练。我们数值演示了我们的指标如何提供正确的测量条件分布的差异，并可用于训练条件模型对现有的基准竞争。
2022-06-09 cs.LG stat.ML
