Effectively Unbiased FID and Inception Score and where to find them
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文表明,两个常用的生成模型的评估指标,Fréchet初始距离(FID)和初始分数(IS),是有偏差的-为有限样本集计算的分数的期望值不是分数的真实值。更糟糕的是,该论文表明,偏差项取决于所评估的特定模型,因此模型A可能会比模型B获得更好的分数,因为模型A的偏差项较小。这种效应无法通过在固定数量的样本下进行评估来修复。这意味着所有使用FID或IS的比较都是不可靠的。然后,我们将展示如何外推分数,以获得一个有效的无偏估计的分数计算的无限数量的样本,我们的术语$\overline{\textrm{FID}}_\infty$和$\overline{\textrm{IS}}_\infty$。反过来,这种有效的无偏估计需要对有限数量的样本的分数进行良好的估计。我们表明,使用准蒙特卡罗积分显着提高估计FID和IS有限样本集。我们的外推分数是简单的,对有限样本分数的直接替代。此外,我们表明,在GAN训练中使用低差异序列对生成的生成器有很小的改进。
2020-06-15 cs.CV cs.LG
Evaluating generative networks using Gaussian mixtures of image features
Rice University(莱斯大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
我们开发了一种用于评估生成网络性能的方法,给出了两组图像。目前用于此的流行性能度量是Fréchet初始距离(FID)。FID假设使用Inception-v3的倒数第二层特征化的图像遵循高斯分布,如果我们希望使用FID作为度量,则不能违反这一假设。然而,我们发现ImageNet数据集的Inception-v3特征不是高斯的;特别是,每个边缘都不是高斯的。为了解决这个问题,我们使用高斯混合模型(GARCH)对特征化图像进行建模,并计算限制于GARCH的2-Wasserstein距离。我们定义了一个性能指标,我们称之为WaM,在两组图像上使用Inception-v3(或另一个分类器)来特征化图像,估计两个GARCH,并使用限制的$2$ -Wasserstein距离来比较GARCH。我们的实验表明的优势,瓦姆FID,包括FID是如何更敏感的比瓦姆难以察觉的图像扰动。通过将从Inception-v3获得的非高斯特征建模为GMM并使用GMM度量,我们可以更准确地评估生成网络的性能。
2022-07-22 cs.CV cs.LG
Stable Parallel Training of Wasserstein Conditional Generative Adversarial Neural Networks
Oak Ridge National Laboratory(橡树岭国家实验室)
我们提出了一个稳定的,并行的方法来训练Wasserstein条件生成对抗神经网络(W-CGANs)的约束下,一个固定的计算预算。与以前的分布式GANs训练技术不同,我们的方法避免了进程间通信,降低了模式坍塌的风险,并通过使用多个生成器来增强可扩展性,每个生成器都同时在单个数据标签上进行训练。Wasserstein度量的使用还通过稳定每个生成器的训练来降低骑自行车的风险。我们在CIFAR 10,CIFAR 100和ImageNet 1 k数据集上说明了该方法,这三个标准的基准图像数据集保持了每个数据集图像的原始分辨率。在有限的固定计算时间和计算资源内的可扩展性和最终精度方面评估性能。为了测量准确性,我们使用初始分数,Frechet初始距离和图像质量。与通过在深度卷积条件生成对抗神经网络(DC-CGAN)上执行并行方法获得的先前结果相比,初始分数和Frechet初始距离有所改善,以及通过GANs方法创建的新图像的图像质量有所改善。在OLCF超级计算机Summit上使用多达2,000个NVIDIA V100 GPU在两个数据集上实现弱缩放。
2022-07-25 cs.AI cs.CV cs.DC
Fréchet Wavelet Distance: A Domain-Agnostic Metric for Image Generation
University of Bonn(波恩大学);University of Tuebingen(蒂宾根大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所)
提出基于小波包变换的领域无关图像生成度量FWD,无需预训练网络即可保留空间和纹理特征,逐包计算Fréchet距离提升可解释性,并在多数据集和生成器上展现出更强的鲁棒性和泛化能力。
2025-03-02 cs.CV cs.LG eess.IV
Fréchet ChemNet Distance: A metric for generative models for molecules in drug discovery
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学)
机器学习中成功的生成模型的新浪潮增加了对深度学习驱动的从头药物设计的兴趣。然而,评估这种生成模型的性能是非常困难的。通常用于评估这种生成模型的性能的参数是化学上有效的分子的百分比或在特定描述符方面与真实分子的相似性,例如分配系数(logP)或药物相似性。然而,方法比较是困难的,因为不一致的使用评估指标,多个指标的必要性,以及事实上,这些措施中的一些可以很容易地欺骗简单的基于规则的系统。我们提出了一种新的两组分子之间的距离度量,称为Fréchet ChemNet距离(FCD),可用作生成模型的评估指标。FCD类似于最近建立的用于比较图像生成方法的性能指标Fréchet Inception Distance(FID)。FID使用InceptionNet的一个隐藏层,而FCD使用称为ChemNet的深层神经网络的倒数第二层,该网络经过训练以预测药物活性。因此,FCD度量考虑了关于分子的化学和生物学相关信息,并且还通过生成的分子的分布来测量集合的多样性。FCD优于先前度量的优点在于,它可以检测所生成的分子是否a)多样并且具有与真实分子相似的b)化学和c)生物特性。我们还提供了一个易于使用的实现,只需要生成的分子的SMILES表示作为输入来计算FCD。可在以下网址获得实现:https://www.github.com/bioinf-jku/FCD
2018-08-01 cs.LG q-bio.QM stat.ML
Evaluation Metrics for Conditional Image Generation
Tel-Aviv University(特拉维夫大学);Facebook AI Research(脸书人工智能研究院)
我们提出了两个新的指标,用于评估类条件图像生成设置中的生成模型。这些指标是通过概括两个最流行的无条件指标获得的:初始分数(IS)和弗雷切特初始距离(FID)。理论分析表明,背后的动机每个建议的度量和链接的新指标,他们的无条件的同行。在IS的情况下,该链接采用乘积的形式,在FID的情况下,该链接采用上界的形式。我们提供了一个广泛的实证评估,比较的指标,其无条件的变体和其他指标,并利用它们来分析现有的生成模型,从而提供额外的见解,他们的性能,从未学习的类模式坍塌。
2021-02-08 cs.CV cs.LG eess.IV
On the Robustness of Quality Measures for GANs
University of Oxford(牛津大学)
这项工作评估了生成模型的质量度量的鲁棒性,如初始分数(IS)和Fréchet初始距离(FID)。类似于深度模型对各种对抗攻击的脆弱性,我们表明,这些指标也可以通过添加像素扰动来操纵。我们的实验表明,人们可以生成一个分布的图像具有非常高的分数,但感知质量低。相反,可以优化小的不可感知的扰动,当添加到现实世界的图像,恶化他们的分数。我们进一步将评估扩展到生成模型本身,包括最先进的网络StyleGANv2。我们显示的生成模型和FID对添加剂扰动的潜在空间的脆弱性。最后,我们证明了FID可以通过简单地用一个强大的Inception替换标准的Inception来鲁棒化。我们通过大量的实验验证了鲁棒度量的有效性,表明它对操纵更鲁棒。
2022-07-20 cs.LG
MIND: Monge Inception Distance for Generative Models Evaluation
Google DeepMind(谷歌DeepMind);LPSM, Sorbonne Université(巴黎-萨克雷大学LPSM)
MIND 通过 sliced Wasserstein 距离评估生成模型,克服 FID 的局限,更高效、稳健且抗攻击,实验表明 5k 样本可替代 50k 样本的 FID 性能。
2026-05-07 cs.LG
A Study on the Evaluation of Generative Models
Bar-Ilan University(巴伊兰大学)
不返回似然值的隐式生成模型,例如生成对抗网络和扩散模型,近年来变得流行。虽然这些模型确实显示出了显著的效果,但评估它们的性能具有挑战性。这个问题对于推动研究向前发展和从随机噪声中识别有意义的收益至关重要。目前,启发式指标,如Inception score(IS)和Frechet Inception Distance(FID)是最常见的评估指标,但它们衡量的是什么并不完全清楚。此外,还有关于他们的分数实际上有多大意义的问题。在这项工作中,我们通过生成一个高质量的合成数据集来研究生成模型的评估指标,在这个数据集上,我们可以估计经典指标进行比较。我们的研究表明,虽然FID和IS确实与几个f-分歧相关,但它们对接近模型的排名可能会有很大不同,这使得它们在用于模糊比较时存在问题。我们进一步使用这个实验设置来研究哪个评估指标与我们的概率指标最相关。最后,我们研究用于指标(如FID)的基本功能。
2022-06-22 cs.CV cs.LG
FLD+: Data-efficient Evaluation Metric for Generative Models
Indian Institute of Technology Bombay(印度理工学院孟买分校)
本文提出基于归一化流的生成图像评估指标FLD+,通过精确对数似然计算实现比FID更可靠、数据效率和计算效率更高的质量评估,并支持在新领域上重新训练。
2024-11-23 cs.CV cs.LG eess.IV
Establishing an Evaluation Metric to Quantify Climate Change Image Realism
Stanford University(斯坦福大学);Mila, Université de Montréal(蒙特利尔大学米拉研究所)
随着受控任务的成功,生成模型越来越多地应用于人道主义应用[1,2]。在本文中,我们专注于评估的条件生成模型,说明气候变化引起的洪水的后果,以鼓励公众对这个问题的兴趣和认识。由于在条件生成模型中不存在用于比较不同模式的真实性的度量,因此我们提出了几种自动化和基于人类的评估方法。为此,我们调整了几个现有的指标,并根据黄金标准的人类评估来评估自动化指标。我们发现,使用Fréchet Inception Distance(FID)与来自辅助分类器之前的中间Inception-V3层的嵌入产生与人类现实主义最相关的结果。虽然不足以单独建立一个人类相关的自动评估指标,我们相信这项工作开始弥合人类和自动生成评估程序之间的差距。
2019-10-22 cs.CV cs.LG stat.ML
On the Evaluation of Conditional GANs
University of Guelph(圭尔夫大学);Vector Institute(向量研究所);Facebook AI Research(Facebook人工智能研究)
条件生成对抗网络(cGAN)在许多应用领域中得到越来越广泛的使用。尽管取得了突出的进展,定量评价这些模型往往涉及多个不同的指标,以评估不同的理想属性,如图像质量,条件一致性,和内调节多样性。在这种情况下,模型基准测试成为一个挑战,因为每个指标可能表明不同的“最佳”模型。在本文中,我们提出了Frechet联合距离(FJD),它被定义为图像和条件的联合分布之间的Frechet距离,允许它在单个度量中隐式地捕获上述属性。我们在可控的合成数据集上进行概念验证实验,与目前建立的指标相比,这些实验始终突出了FJD的好处。此外,我们使用新引入的度量来比较现有的基于cGAN的模型,以用于各种条件模式(例如类标签,对象掩码,边界框,图像和文本标题)。我们表明,FJD可以用作cGAN基准测试和模型选择的一个有前途的单一指标。代码可以在https://github.com/facebookresearch/fjd上找到。
2019-12-24 cs.CV cs.LG eess.IV
Topology Distance: A Topology-Based Approach For Evaluating Generative Adversarial Networks
Investments AI, AIG(美国国际集团投资人工智能部门)
生成对抗网络(GANs)性能的自动评估一直是机器学习领域的一个挑战。在这项工作中,我们提出了一个距离补充现有的措施:拓扑距离(TD),其背后的主要思想是比较的几何和拓扑特征的潜在流形的真实数据与生成的数据。更具体地说,我们建立Vietoris-Rips复形的图像特征,并定义TD的基础上的持续同调群的两个流形。我们将TD与该领域最常用和最相关的指标进行了比较,包括初始分数(IS),Frechet初始距离(FID),内核初始距离(KID)和几何分数(GS),在各种数据集上进行了一系列实验。我们证明了我们提出的方法在上述指标的独特优势和优越性。结合我们的实证结果和我们提出的支持TD的理论论点,强烈支持TD是一个强大的候选指标的说法,研究人员可以在自动评估GANs学习效果时使用它。
2020-02-27 cs.LG stat.ML
Assessment of Conditional Diffusion Model for Synthetic Histopathology Image Generation
本研究针对合成组织病理学图像生成的评估问题,提出基于数字病理学预训练基础模型改进的FID、IS及精确率-召回率指标,实验发现改进后的IS与下游细胞核分割性能相关性更高,且生成数据多样性对分割性能的提升作用强于单张图像视觉保真度。
2026-08-05 cs.LG
FFAD: A Novel Metric for Assessing Generated Time Series Data Utilizing Fourier Transform and Auto-encoder
Georgia State University(佐治亚州立大学)
针对时间序列生成数据缺少类似 FID 的标准评估指标,本文提出结合傅里叶变换、自动编码器与 Fréchet 距离的 FFAD,并验证其区分类别样本的能力。
2024-03-11 cs.LG
Fréchet Radiomic Distance (FRD): A Versatile Metric for Comparing Medical Imaging Datasets
FRD是一种专为医学影像设计的感知度量标准,通过标准化且可解释的图像特征提升医学影像分析中的比较和评估能力。
2025-06-06 cs.CV cs.LG eess.IV
Assessing Generative Models via Precision and Recall
MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);Google Brain(谷歌大脑)
生成建模的最新进展导致了对作为模型比较手段的统计分歧的研究的兴趣增加。常用的评估方法,如Frechet起始距离(FID),与样品的感知质量密切相关,并且对模式下降敏感。然而,这些指标无法区分不同的故障情况,因为它们只产生一维分数。我们提出了一个新的定义的精度和召回的分布,解开分歧成两个独立的维度。所提出的概念是直观的,保留了理想的属性,并自然导致一个有效的算法,可用于评估生成模型。我们将这个概念与总变化以及最近的评估指标,如初始分数和FID。为了证明所提出的方法的实际效用,我们对生成对抗网络和变分自动编码器的几种变体进行了实证研究。在一组广泛的实验中,我们表明,所提出的度量是能够解开所生成的样本的质量从目标分布的覆盖范围。
2018-10-28 cs.LG stat.ML
Classification Accuracy Score for Conditional Generative Models
DeepMind(深度思维)
图像的深度生成模型(DGMs)现在已经足够成熟,它们可以生成近乎真实感的样本,并获得类似于Frechet Inception Distance(FID)等几何学数据分布的分数。这些结果,特别是在ImageNet这样的大规模数据集上,表明DGM正在感知有意义的空间中学习数据分布,并可用于下游任务。为了测试后一个假设,我们使用来自许多模型类的类条件生成模型-变分自编码器,自回归模型和生成对抗网络(GANs)-来推断真实数据的类标签。我们通过仅使用合成数据训练图像分类器并使用分类器来预测真实数据上的标签来执行此推断。这项任务的性能,我们称之为分类准确度得分(CAS),揭示了一些传统指标无法识别的令人惊讶的结果,并构成了我们的贡献。首先,当使用最先进的GAN(BigGAN-deep)时,与原始数据相比,Top-1和Top-5的准确度分别下降了27.9%和41.6%;来自其他模型类的条件生成模型,如矢量量化变分自编码器(VQ-VAE-2)和分层自回归模型(HAM),在此基准测试中的表现大大优于GANs。其次,CAS自动表面生成模型未能捕获数据分布的特定类,并且以前在文献中是未知的。第三,我们发现传统的GAN指标,如初始得分(IS)和FID既不能预测CAS,也不能用于评估非GAN模型。此外,为了便于更好地诊断生成模型,我们开源了所提出的度量。
2019-10-28 cs.LG stat.ML
GAT-GAN : A Graph-Attention-based Time-Series Generative Adversarial Network
ST Engineering Pte Ltd(新加坡科技工程有限公司)
针对多变量时间序列中复杂时空关系难以建模的问题,本文提出含双图注意力层的 GAT-GAN,并引入 FTD 指标,实验证明其生成质量与下游预测表现优于现有基准。
2023-06-03 cs.AI cs.LG
Toward a Generalization Metric for Deep Generative Models
Deakin University(迪肯大学)
由于维数灾难,测量深度生成模型(DGMs)的泛化能力是困难的。DGMs的评估指标,如初始分数,Fréchet初始距离,精确召回和神经网络发散,试图使用多项式样本数估计生成的分布和目标分布之间的距离。这些指标是研究人员在设计新模型时的目标。尽管有这些说法,但仍然不清楚他们能在多大程度上衡量生成模型的泛化能力。在本文中,我们调查的能力,这些指标在衡量泛化能力。我们介绍了一个框架,比较评估指标的鲁棒性。我们表明,在这些指标更好的分数并不意味着更好的泛化。它们很容易被记住训练集的一小部分的生成器欺骗。我们建议修复NND度量,使其对生成的数据中的噪声更具鲁棒性。为了建立一个强大的度量泛化,我们建议将最小描述长度原则应用于评估DGMs的问题。我们开发了一种有效的方法来估计生成潜变量模型(GLVMs)的复杂性。实验结果表明,该度量可以有效地检测训练集记忆,区分不同泛化能力的GLVM。源代码可在https://github.com/htt210/GeneralizationMetricGAN上获得。
2021-05-24 cs.LG
What FID Hides: Detecting, Ranking, and Diagnosing Deviations in Generative Evaluation
University of California, Davis(加利福尼亚大学戴维斯分校)
该研究针对生成式评估指标FID的缺陷,提出ZID方法,可检测、排序并诊断生成式模型的分布偏差,还能区分欠/过离散,在FID失效场景下有效。
2026-08-26 cs.LG stat.ML
Improving Stability of LS-GANs for Audio and Speech Signals
École de Technologie Supérieure (ÉTS)(高等技术学院);Université du Québec(魁北克大学)
在本文中,我们解决了生成对抗网络(GAN)的不稳定性问题,提出了一个新的相似性度量在酉空间的Schur分解的音频和语音信号的2D表示。我们表明,编码偏离正常计算在这个向量空间到发电机优化配方有助于工艺更全面的频谱图。我们证明了绑定这个指标的有效性,与基线GANs相比,它可以提高训练的稳定性,减少模式坍塌。在UrbanSound 8 k和Mozilla通用语音数据集子集上的实验结果表明,通过Fréchet起始距离测量的生成样本的质量有了相当大的提高。此外,与常规LS-GAN相比,来自这些样本的重建信号实现了更高的信噪比。
2020-08-12 cs.LG cs.SD eess.AS
Unifying and extending Precision Recall metrics for assessing generative models
University of Caen Normandie(卡昂诺曼底大学);ENSICAEN(卡昂高等工程师学院);CNRS(法国国家科学研究中心)
本文基于Simon等人的工作统一了多种生成模型精确率-召回率评估方法,恢复完整曲线并揭示指标缺陷来源,同时给出更强的一致性结果和实验行为分析。
2024-05-02 cs.AI cs.LG stat.ME