Generative Models are Unsupervised Predictors of Page Quality: A Colossal-Scale Study
Google Research(谷歌研究院)
大型生成语言模型(如GPT-2)以其生成文本的能力以及通过微调在监督下游任务中的实用性而闻名。我们的工作是双重的:首先,我们通过人工评估证明,被训练来区分人类和机器生成的文本的分类器作为“页面质量”的无监督预测器出现,能够在没有任何训练的情况下检测低质量内容。这使得能够在低资源设置中快速引导质量指示符。其次,为了了解低质量页面的普遍性和性质,我们对5亿多篇网络文章进行了广泛的定性和定量分析,使其成为有史以来最大规模的研究。
2020-08-17 cs.CL cs.LG stat.ML
Quality-Diversity Generative Sampling for Learning with Synthetic Data
Serena Booth(2 塞雷娜·布思)
针对生成模型合成训练数据易传递偏差的问题,提出无需微调生成模型的质量-多样性生成采样框架,通过提示引导在多样性维度优化数据质量,实现数据均衡,提升分类器公平性且保持准确率。
2024-02-27 cs.CY cs.LG
PaDGAN: A Generative Adversarial Network for Performance Augmented Diverse Designs
Siemens Corporate Technology(西门子公司技术部);Northwestern University(西北大学)
深度生成模型被证明是自动设计综合和设计空间探索的有用工具。当应用于工程设计时,现有的生成模型面临三个挑战:1)生成的设计缺乏多样性并且不覆盖设计空间的所有区域,2)难以显式地提高生成的设计的整体性能或质量,以及3)现有的模型通常不生成新的设计,在训练数据的域之外。在本文中,我们同时解决这些挑战,提出了一个新的基于损失函数的多样性和质量的概率建模的决定性点过程。有了这个新的损失函数,我们开发了一个变种的生成对抗网络,名为“性能增强多样性生成对抗网络“或PaDGAN,它可以生成新的高质量的设计,具有良好的覆盖设计空间。使用三个合成的例子和一个真实世界的翼型设计的例子,我们证明了PaDGAN可以生成多样化和高质量的设计。与普通生成对抗网络相比,平均而言,它生成的样本平均质量分数高出28%,具有更大的多样性,并且没有模式坍塌问题。与通常通过在训练数据的边界内插值来生成新设计的典型生成模型不同,我们表明PaDGAN将训练数据之外的设计空间边界扩展到高质量区域。所提出的方法是广泛适用于许多任务,包括设计空间探索,设计优化,和创造性的解决方案推荐。
2021-08-14 cs.LG stat.ML
On the Limitations of Multimodal VAEs
ETH Zurich(苏黎世联邦理工学院)
多模态变分自编码器(VAE)已显示出作为弱监督数据的有效生成模型的前景。然而,尽管它们的优势是弱监督,但与完全无监督的单峰VAE相比,它们在生成质量上存在差距。在试图解释这一差距,我们发现了一个基本的限制,适用于一个大家庭的混合为基础的多模态VAE。我们证明了模态的子采样强制执行了多模态ELBO上的不期望的上限,从而限制了相应模型的生成质量。从经验上讲,我们展示了合成和真实数据的生成质量差距,并提出了多模态VAE的不同变体之间的权衡。我们发现,现有的方法都没有满足有效的多模态生成模型的所有期望的标准时,应用于更复杂的数据集比以前的基准。总之,我们确定,形式化,并验证基于VAE的方法建模弱监督数据的基本限制,并讨论现实世界的应用程序的影响。
2022-04-07 cs.LG
On the Robustness of Quality Measures for GANs
University of Oxford(牛津大学)
这项工作评估了生成模型的质量度量的鲁棒性,如初始分数(IS)和Fréchet初始距离(FID)。类似于深度模型对各种对抗攻击的脆弱性,我们表明,这些指标也可以通过添加像素扰动来操纵。我们的实验表明,人们可以生成一个分布的图像具有非常高的分数,但感知质量低。相反,可以优化小的不可感知的扰动,当添加到现实世界的图像,恶化他们的分数。我们进一步将评估扩展到生成模型本身,包括最先进的网络StyleGANv2。我们显示的生成模型和FID对添加剂扰动的潜在空间的脆弱性。最后,我们证明了FID可以通过简单地用一个强大的Inception替换标准的Inception来鲁棒化。我们通过大量的实验验证了鲁棒度量的有效性,表明它对操纵更鲁棒。
2022-07-20 cs.LG
BEGAN: Boundary Equilibrium Generative Adversarial Networks
Google(谷歌)
我们提出了一种新的均衡执行方法,结合Wasserstein距离的损失,用于训练基于自动编码器的生成对抗网络。该方法在训练期间平衡发生器和振荡器。此外,它提供了一种新的近似收敛措施,快速和稳定的训练和高视觉质量。我们还得到了一种控制图像多样性和视觉质量之间的权衡的方法。我们专注于图像生成任务,即使在更高的分辨率下,也能在视觉质量方面树立新的里程碑。这是在使用相对简单的模型架构和标准训练过程的同时实现的。
2017-05-31 cs.LG stat.ML
Deep Generative Model-based Quality Control for Cardiac MRI Segmentation
Imperial College London(帝国理工学院)
近年来,卷积神经网络在各种医学图像分割任务中表现出了良好的性能。然而,当训练的分割模型被部署到真实的临床世界中时,该模型可能无法最佳地执行。一个主要的挑战是由于图像质量下降或域偏移问题而产生的潜在质量差的分割。有一个及时的需要,以开发一种自动化的质量控制方法,可以检测到不良分割和反馈给临床医生。在这里,我们提出了一种新的基于深度生成模型的框架,用于心脏MRI分割的质量控制。它首先使用生成模型学习一系列高质量的图像分割对。然后,通过评估其投影到高质量流形上的差异来评估给定测试分割的质量。特别地,通过在潜在空间中的迭代搜索来细化投影。该方法在两个公开的心脏MRI数据集上实现了较高的预测精度。此外,它比传统的基于回归的方法具有更好的泛化能力。我们的方法为心脏MRI分割提供了实时和模型不可知的质量控制,这有可能被集成到临床图像分析工作流程中。
2020-06-23 cs.CV cs.LG eess.IV
Quantifying Quality of Class-Conditional Generative Models in Time-Series Domain
IAV GmbH(IAV有限公司);DFKI GmbH(德国人工智能研究中心);University of Kaiserslautern(凯泽斯劳滕大学)
针对时间序列生成模型缺乏共识质量评估的问题,本文提出 ITS 与 FITD,并在 80 个数据集上验证其与 TSTR 结合可准确评估类别条件生成性能。
2022-10-14 cs.LG stat.ML
Enhancing Code Quality with Generative AI: Boosting Developer Warning Compliance
Electrical and Computer Engineering Department(电气与计算机工程系);United States Naval Academy(美国海军学院)
针对开发者因静态分析警告冗长、困惑且可能误报而忽视修复的问题,提出利用大型语言模型简化警告、说明严重性并建议修复方案,以提升警告修复遵从度和代码质量。
2025-05-16 cs.LG cs.SE
Equalized Generative Treatment: Matching f-divergences for Fairness in Generative Models
DI ENS, École normale supérieure, Université PSL, CNRS, Paris, France;Sorbonne Universit\'e, Universit\'e Paris Cit\'e, CNRS, Laboratoire de Probabilit\'es, Statistique et Mod\'elisation, LPSM, Paris, France;Miles, LAMSADE, Universit\'e Paris-Dauphine-PSL, CNRS, Paris, France
本文提出均等生成处理(EGT)作为生成模型的公平性定义,通过min-max微调方法平衡f-分歧度,提升生成质量的公平性。
2026-02-09 cs.AI cs.LG
EvolGAN: Evolutionary Generative Adversarial Networks
Facebook AI Research(脸书人工智能研究院);Univ. Littoral Cote d’Opale(利托拉尔滨海大学);Univ. Konstanz(康斯坦茨大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔国立理工学院);LIG(格勒诺布尔信息学实验室)
我们建议使用质量估计器和进化方法来搜索在小的、困难的数据集上训练的生成对抗网络的潜在空间。新的方法导致生成的显着更高质量的图像,同时保持原始生成器的多样性。人类评分员更喜欢新版本中的图像,其中猫的频率为83.7pc,FashionGen为74pc,马为70.4pc,艺术品为69.2pc,并且对已经非常优秀的GANs进行了微小的改进。这种方法适用于任何质量评分器和GAN生成器。
2020-09-28 cs.CV cs.LG
Pioneer Networks: Progressively Growing Generative Autoencoder
Aalto University(阿尔托大学);GenMind Ltd(GenMind有限公司)
我们引入了一种新的生成式自动编码器网络模型,该模型学习以高质量和高分辨率编码和重建图像,并支持从编码器的潜在空间中进行平滑随机采样。生成对抗网络(GANs)以其模拟随机高质量图像的能力而闻名,但它们无法重建现有图像。以前的工作试图扩展GANs来支持这种推理,但到目前为止,还没有提供令人满意的高质量结果。相反,我们提出了渐进式增长生成自动编码器(PIONEER)网络,它实现了高质量的重建与$128{\times}128$图像,而不需要一个GAN编码器。我们将最近的技术与最近引入的对抗编码器生成器网络相结合,逐步构建网络的各个部分。重建输入图像的能力在许多现实世界的应用中至关重要,并允许对现有图像进行精确的智能操作。我们在图像合成和推理方面取得了可喜的成果,在CelebA推理任务中取得了最先进的成果。
2018-10-09 cs.CV cs.LG stat.ML
Generative Design through Quality-Diversity Data Synthesis and Language Models
Autodesk Research(欧特克研究院)
针对工程生成式模型的数据集获取与约束遵循难题,提出结合质量-多样性算法合成数据、微调语言模型生成高层设计再用波函数坍缩算法细化的建筑生成设计方法,证明进化合成数据对提升模型性能与文本遵循度的关键作用。
2024-05-16 cs.LG cs.NE
Generative Uncertainty in Diffusion Models
UvA-Bosch Delta Lab, University of Amsterdam(阿姆斯特丹大学)
针对扩散模型单个样本质量难检测的问题,提出基于贝叶斯框架的生成不确定性估计方法,结合语义似然应对高维挑战,可事后应用于预训练模型且能有效识别低质量样本。
2025-06-12 cs.AI cs.LG
Assessing Image Quality Using a Simple Generative Representation
Bar-Ilan University(巴伊兰大学);NVIDIA(英伟达公司)
提出基于自编码器的 VAE-QA 方法,在存在全参考的情况下预测图像质量,显著提升跨数据集泛化能力,同时减少参数、内存占用并加快运行时间。
2024-04-28 cs.AI cs.CV cs.GR
Granular Learning with Deep Generative Models using Highly Contaminated Data
Iowa State University(爱荷华州立大学)
一种利用深度生成模型的最新进展对具有质量问题的真实世界图像数据集进行粒度(连续)意义上的异常检测的方法,使用最近的归一化流模型进行了详细说明,并在许多其他应用程序/域/数据类型中具有影响。该方法是完全无监督的(没有可用的注释),但定性地显示通过覆盖在图像上的缩放对数似然的热图为图像提供准确的语义标记。当基于每幅图像的中值进行排序时,可以观察到清晰的质量趋势。此外,下游分类是可能的和有效的,通过弱监督的方法使用的对数似然输出的归一化流模型作为训练信号的特征提取卷积神经网络。CNN上的预线性密集层输出被示出为解开高级表示并有效地聚类各种质量问题。因此,一个完全无注释(完全无监督)的方法是可能的准确估计和质量问题的分类。
2020-01-06 cs.LG stat.ML
Uncovering the Generative Landscape of Diffusion Models: A Spectral-Guided Quality-Diversity Diffusion Framework
Imperial College London(帝国理工学院);University of Coimbra(科英布拉大学)
该研究提出谱引导的质量-多样性扩散框架,将质量-多样性优化与扩散模型结合,通过h空间谱变异算子提升输出多样性,在文本到图像生成任务上的FID分数优于12个基线方法,实现了图像质量与多样性的良好平衡。
2026-10-14 cs.AI cs.LG
Labeled Graph Generative Adversarial Networks
Virginia Tech(弗吉尼亚理工大学);Tufts University(塔夫茨大学)
\emph{generative adversarial networks}(GANs)作为一种新的生成模型训练方法,在图像生成方面取得了巨大的成功。这个框架最近也被应用于具有图形结构的数据。我们提出了标记图生成对抗网络(LGGAN)来训练具有节点标签的图结构数据的深度生成模型。我们在各种类型的图形数据集上测试了该方法,例如引文网络和蛋白质图的集合。实验结果表明,该模型能够生成与训练数据结构特征相匹配的标记图,在质量和通用性上优于其他方法。为了进一步评估生成的图的质量,我们将它们用于图分类的下游任务,结果表明LGGAN可以忠实地捕获图结构的重要方面。
2021-02-25 cs.LG stat.ML
Illuminating the Space of Beatable Lode Runner Levels Produced By Various Generative Adversarial Networks
Southwestern University(西南大学)
生成对抗网络(GANs)能够从训练集中生成令人信服的元素模仿,但是训练集中元素的分布影响正确训练GAN的难度及其产生的输出质量。本文研究了六种不同的GANs,这些GANs是在游戏Lode Runner的不同数据子集上训练的。质量多样性算法MAP-Elites用于探索每个GAN可以产生的质量水平的集合,其中质量被定义为可击败的并且具有可能的最长解路径。有趣的是,仅在20个级别上训练的GAN生成了最大的多样化可击败级别集,而在150个级别上训练的GAN生成了最小的多样化可击败级别集,从而挑战了训练GANs时越多越好的概念。
2021-01-19 cs.AI cs.LG cs.NE
Discriminative Regularization for Generative Models
Montreal Institute for Learning Algorithms(蒙特利尔学习算法研究所);Université de Montréal(蒙特利尔大学)
我们探讨的问题,是否表示学习分类器可以用来提高生成模型的质量。我们的推测是,标签对应于自然数据的特征,这些特征对人类来说是最突出的:面孔中的身份,图像中的对象和语音中的话语。我们建议利用这一点,通过使用歧视性分类器的表示,以增加相应的生成模型的目标函数。特别是,我们提高了目标函数的变分自动编码器,一个流行的生成模型,具有歧视性的正则化项。我们表明,以这种方式增强目标函数会导致样本比标准变分自编码器的样本更清晰,视觉质量更高。
2016-02-15 cs.LG stat.ML
Wavelets to the Rescue: Improving Sample Quality of Latent Variable Deep Generative Models
Rochester Institute of Technology(罗切斯特理工学院);Verisk AI, Verisk Analytics(Verisk分析公司Verisk人工智能部门)
变分自编码器(VAE)是一种概率深度生成模型,其基础是优雅的理论、稳定的训练过程和有意义的流形表示。然而,由于缺乏对图像的高频纹理细节的明确强调,以及难以直接对高维图像空间上的复杂联合概率分布进行建模,因此它们产生模糊的图像。在这项工作中,我们接近这两个挑战与一个新的小波空间VAE,使用解码器在小波系数空间中的图像建模。这使得VAE能够强调通过小波分解获得的图像内的高频分量。此外,通过将生成高维图像的复杂函数分解为逆小波变换和小波系数的生成,后者变得更容易由VAE建模。我们通过经验验证,在小波空间中运行的深度生成模型可以生成比图像(RGB)空间更高质量的图像。量化,在基准自然图像数据集,我们实现了一致更好的FID分数比基于VAE的架构和竞争力的FID分数与各种GAN模型相同的架构和实验设置。此外,所提出的基于小波的生成模型保留了理想的属性,如解开和信息的潜在表示,而不会失去所生成的样本的质量。
2019-10-26 cs.CV cs.LG eess.IV
Generative Adversarial Networks for Synthesizing InSAR Patches
Hensoldt Sensors GmbH(亨索尔特传感器有限公司);Signal Processing in Earth Observation, Technical University of Munich (TUM)(慕尼黑工业大学地球观测信号处理);Remote Sensing Technology Institute (IMF), German Aerospace Center (DLR)(德国航空航天中心遥感技术研究所)
生成对抗网络(GANs)已成功用于光学和实值SAR强度图像之间的图像转换任务。其应用包括人工补丁生成和自动SAR光学场景匹配辅助SAR场景与其光学对应物的可解释性。合成人工复值InSAR图像堆栈要求,除了良好的感知质量,更严格的质量指标,如相位噪声和相位相干性。本文提供了一种生成式CNN结构的信号处理模型,描述了影响这些质量指标的影响,并基于流行的深度学习框架,提出了一种将复值数据映射到给定CNN结构的映射方案。
2020-08-03 cs.LG eess.IV eess.SP
ESRGAN+ : Further Improving Enhanced Super-Resolution Generative Adversarial Network
Université d'Antananarivo(塔那那利佛大学)
增强型超分辨率生成对抗网络(ESRGAN)是一种感知驱动的方法,用于单图像超分辨率,能够生成逼真的图像。尽管这些生成的图像的视觉质量,仍然有改进的空间。以这种方式,该模型被扩展以进一步提高图像的感知质量。我们设计了一种新颖的模块来取代原来ESRGAN使用的模块。此外,我们引入噪声输入的发电机网络,以利用随机变化。生成的图像呈现更逼真的纹理。该代码可在https://github.com/ncarraz/ESRGANplus上获得。
2020-07-15 cs.LG eess.IV
Reparameterized Sampling for Generative Adversarial Networks
Peking University(北京大学)
近年来,采样方法已被成功地应用于提高生成对抗网络(GANs)的样本质量。然而,在实践中,它们通常具有较差的采样效率,因为来自生成器的独立建议采样。在这项工作中,我们提出了REP-GAN,一种新的采样方法,允许一般依赖的建议,通过REparameterizing的马尔可夫链的潜在空间的生成器。从理论上讲,我们表明,我们的重新参数化的建议承认一个封闭形式的大都会黑斯廷斯验收比。在人工和真实数据集上的大量实验表明,我们的REP-GAN大大提高了样本效率,同时获得了更好的样本质量。
2021-07-01 cs.LG stat.ML
Autoregressive Quantile Networks for Generative Modeling
DeepMind(深度思维)
我们引入了自回归隐式分位数网络(AIQN),这是一种与常用方法根本不同的生成建模方法,它使用分位数回归隐式地捕获分布。AIQN能够实现卓越的感知质量和评估指标的改进,而不会导致样本多样性的损失。该方法可以应用于许多现有的模型和架构。在这项工作中,我们使用AIQN扩展了PixelCNN模型,并使用Inception score,FID,非樱桃挑选样本和修复结果在CIFAR-10和ImageNet上展示了结果。我们一直观察到,AIQN产生了一个高度稳定的算法,提高了感知质量,同时保持了高度多样化的分布。
2018-06-14 cs.LG stat.ML
Improving the quality of generative models through Smirnov transformation
Universidad Complutense de Madrid(马德里康普顿斯大学);Instituto de Ciencias Matemáticas (CSIC-UAM-UCM-UC3M)(数学科学研究所(CSIC-UAM-UCM-UC3M));Universidad Politécnica de Madrid(马德里理工大学)
解决生成对抗网络(GANs)的收敛问题是生成模型中最突出的问题之一。在这项工作中,我们提出了一种新的激活函数作为输出的生成器代理。该激活函数基于Smirnov概率变换,并且其被专门设计用于提高所生成的数据的质量。与以前的作品形成鲜明对比,我们的激活函数提供了一个更一般的方法,不仅处理复制的分类变量,但与任何类型的数据分布(连续或离散)。此外,我们的激活函数是可导出的,因此,它可以在GAN训练过程中无缝集成到反向传播计算中。为了验证这种方法,我们针对两个不同的数据集评估了我们的建议:a)包含离散和连续变量混合的人工渲染数据集,以及b)包含正常连接和加密挖矿攻击的基于流的网络流量数据的真实数据集。为了评估生成的数据的保真度,我们分析了他们的结果,在统计性质的质量指标,也关于使用这些合成数据,以饲料嵌套的机器学习为基础的分类。实验结果表明,相对于朴素的基于均值的生成器和标准的GAN,用这种新的激活函数调谐的GAN网络的性能明显优于此。数据的质量是如此之高,以至于生成的数据可以完全替代真实数据来训练嵌套分类器,而不会降低所获得的准确度。这一结果鼓励使用GANs来生成高质量的合成数据,这些数据适用于必须保证数据隐私的场景。
2021-10-29 cs.AI cs.LG
Likelihood Estimation for Generative Adversarial Networks
Johannes Kepler University of Linz(林茨约翰内斯·开普勒大学)
我们提出了一种简单的方法来评估生成对抗网络(GANs)中生成图像的质量。该方法可以应用于任何类型的GAN,而不会干扰学习过程或影响学习目标。其中心思想是定义一个与生成图像的质量相关的似然函数。特别是,我们从真实图像的嵌入(隐藏的激活)的分布中导出高斯似然函数,并基于此,定义两个简单的度量,来衡量生成图像的嵌入是来自真实图像的嵌入的分布的可能性。这为生成的图像产生了一个简单的适应度度量,适用于所有种类的GANs。CIFAR-10上的实证结果表明,所提出的措施和所产生的图像的感知质量之间有很强的相关性。
2017-07-24 cs.AI cs.LG
Extreme Image Coding via Multiscale Autoencoders With Generative Adversarial Optimization
Nanjing University(南京大学)
我们提出了一种基于多尺度自动编码器(MSAE)的极端图像压缩框架,以提供视觉上令人愉快的重建在一个非常低的比特率。我们的方法利用不同分辨率尺度下的“先验”来提高压缩效率,并采用具有多尺度鉴别器的生成对抗网络(GAN)来执行端到端的可训练率失真优化。我们比较了感知质量的重建与传统的压缩算法,使用高效视频编码(HEVC)的帧内配置文件和JPEG 2000的公共城市景观和ADE 20 K数据集,展示了显着的主观质量的改善。
2020-01-03 cs.LG eess.IV
Enhancing Binary Code Comment Quality Classification: Integrating Generative AI for Improved Accuracy
Sri Sivasubramaniya Nadar College of Engineering(斯里·西瓦苏布拉马尼亚·纳达尔工程学院)
本研究通过整合生成式AI生成的代码与注释对,构建了包含9048对C语言数据的增强数据集,训练出两个二进制代码注释质量分类模型,有效提升了分类准确率。
2023-10-14 cs.AI cs.LG cs.SE
A Style-Based Generator Architecture for Generative Adversarial Networks
NVIDIA(英伟达)
我们提出了一种替代生成器架构的生成对抗网络,借用风格转移文献。新的体系结构导致自动学习的、无监督的高级属性分离(例如,在人脸上训练时的姿态和身份)和所生成的图像中的随机变化(例如,雀斑、头发),并且它能够实现对合成的直观的、尺度特定的控制。新的生成器改进了传统分布质量度量方面的最新技术,导致明显更好的插值特性,并且还更好地解开了潜在的变化因素。为了量化插值质量和解纠缠,我们提出了两种新的,自动化的方法,适用于任何发电机架构。最后,我们介绍了一个新的,高度多样化和高质量的人脸数据集。
2019-03-29 cs.LG cs.NE stat.ML
Accelerating Score-based Generative Models for High-Resolution Image Synthesis
Fudan University(复旦大学);University of Surrey(萨里大学);RIKEN(理化学研究所)
基于得分的生成模型是近年来新兴的一类生成模型。其关键思想是通过向高斯样本反复添加高斯噪声和梯度,直到收敛到目标分布,即,扩散采样。然而,为了确保采样收敛的稳定性和生成质量,该顺序采样过程必须采用小的步长和许多采样迭代(例如,2000年)。已经提出了几种加速方法,重点是低分辨率生成。在这项工作中,我们认为加速与SGM的高分辨率生成,一个更具挑战性,但更重要的问题。我们从理论上证明,这种缓慢的收敛缺点主要是由于目标分布的无知。此外,我们引入了一种新的目标分布感知采样(TDAS)方法,利用空间和频率域的结构先验。在CIFAR-10、CelebA、LSUN和FFHQ数据集上进行的大量实验验证了TDAS可以始终如一地加速最先进的SGM,特别是在更具挑战性的高分辨率(1024 x1024)图像生成任务上,速度高达18.4倍,同时在很大程度上保持了合成质量。通过较少的采样迭代,TDAS仍然可以生成高质量的图像。相比之下,现有的方法性能急剧下降,甚至完全失效
2022-06-10 cs.CV cs.LG
HiFi-GAN: Generative Adversarial Networks for Efficient and High Fidelity Speech Synthesis
Kakao Enterprise(Kakao企业(Kakao Enterprise))
最近几项关于语音合成的工作采用了生成对抗网络(GANs)来产生原始波形。虽然这些方法提高了采样效率和内存使用率,但它们的样本质量尚未达到自回归和基于流的生成模型。在这项工作中,我们提出了HiFi-GAN,它实现了高效和高保真的语音合成。由于语音音频由具有不同周期的正弦信号组成,我们证明了对音频的周期性模式进行建模对于提高样本质量至关重要。单个说话者数据集的主观人类评价(平均意见得分,MOS)表明,我们提出的方法与人类质量相似,同时在单个V100 GPU上生成22.05 kHz高保真音频的速度比实时快167.9倍。我们进一步展示了HiFi-GAN对看不见的说话者的梅尔频谱图反转和端到端语音合成的通用性。最后,HiFi-GAN的小尺寸版本生成的样本比CPU上的实时速度快13.4倍,质量与自回归对应物相当。
2020-10-23 cs.LG cs.SD eess.AS
Generative Adversarial Networks
Tel Aviv University(特拉维夫大学)
生成对抗网络(GANs)是用于生成高质量数据的非常流行的框架,并且在许多领域的学术界和工业界都得到了广泛的应用。可以说,它们最大的影响是在计算机视觉领域,在那里它们实现了最先进的图像生成。本章介绍了GANs,讨论了它们的原理机制,并提出了它们在训练和评估过程中的一些固有问题。我们集中在这三个问题:(1)模式坍塌,(2)消失的梯度,(3)低质量的图像的生成。然后,我们列出了一些架构变体和丢失变体GANs,它们可以解决上述挑战。最后,我们给出了GANs在实际应用中的两个应用示例:数据增强和人脸图像生成。
2022-03-01 cs.CV cs.LG
Transport Novelty Distance: A Distributional Metric for Evaluating Material Generative Models
Bundesanstalt für Materialforschung und -prüfung (BAM)(联邦材料研究所(BAM));Friedrich-Schiller-Universität Jena(耶拿弗里德里希-施特劳斯大学)
本文提出传输新颖度距离(TNovD)作为评估材料生成模型质量与新颖性的分布度量,通过最优传输理论和对比学习实现,适用于材料发现及其他领域。
2025-12-10 cond-mat.mtrl-sci cs.LG
Evaluation Metric for Quality Control and Generative Models in Histopathology Images
Department of Electrical Engineering(电气工程系);Indian Institute of Technology Bombay(印度理工学院孟买分校)
本文提出ResNet-L2(RL2)指标,利用ResNet特征与归一化流在潜在空间计算RMSE距离,以更轻量、快速且数据需求少的方式评估组织病理学图像生成质量,并可用于过滤低质量图像块。
2025-01-02 cs.AI cs.CV cs.LG
Generative Chemical Transformer: Neural Machine Learning of Molecular Geometric Structures from Chemical Language via Attention
Seoul National University(首尔大学);Ewha Womans University(梨花女子大学)
发现更适合特定用途的新材料是提高人类生活质量的一个重要问题。在这里,提出了一种基于对化学语言的深刻理解来创建满足某些期望条件的分子的神经网络(生成化学Transformer,GCT)。GCT中的注意力机制使我们能够超越化学语言本身的局限性,对分子结构有更深层次的理解。通过对生成分子质量的定量评价,研究了语言模型在反分子设计问题中的意义。GCT生成高度逼真的化学字符串,满足化学和语言语法规则。从生成的字符串中解析出的分子同时满足多个目标属性,并且针对单个条件集而变化。这些进展将有助于通过加速所需材料发现的过程来改善人类生活质量。
2021-12-03 cs.LG physics.chem-ph
Multi-level Latent Space Structuring for Generative Control
Tel Aviv University(特拉维夫大学);Hebrew University of Jerusalem(耶路撒冷希伯来大学)
截断被广泛用于生成模型中,用于提高生成样本的质量,但代价是降低它们的多样性。我们建议利用StyleGAN生成架构来设计一种新的截断技术,该技术基于将潜在空间分解为集群,从而能够在多个语义级别上执行自定义截断。我们通过学习重新生成W空间来做到这一点,W空间是StyleGAN的扩展中间潜在空间,使用可学习的高斯混合,同时训练分类器来识别每个潜在向量所属的聚类。由此产生的截断方案是更忠实于原始的未截断的样本,并允许更好的质量和多样性之间的权衡。我们将我们的方法与StyleGAN的其他截断方法进行了定性和定量比较。
2022-02-11 cs.CV cs.LG
Turning Waste into Wealth: Leveraging Low-Quality Samples for Enhancing Continuous Conditional Generative Adversarial Networks
Nanjing University of Information Science & Technology(南京信息工程大学);Zhejiang University(浙江大学);University of British Columbia(不列颠哥伦比亚大学)
提出Dual-NDA方法,通过引入视觉不真实和标签不一致两类负样本改进判别器目标与CcGAN训练算法,显著提升了生成图像的视觉保真度与标签一致性,超越现有条件GANs和扩散模型。
2023-12-31 cs.CV cs.LG
PQMass: Probabilistic Assessment of the Quality of Generative Models using Probability Mass Estimation
Mila – Québec Artificial Intelligence Institute(魁北克人工智能研究所);Ciela Institute(Ciela研究所);Université de Montréal(蒙特利尔大学);SanboxAQ;CCA – Flatiron Institute(CCA-Flatiron研究所);University of Edinburgh(爱丁堡大学);Trottier Space Institute(特罗特里尔空间研究所)
研究提出无需似然的PQMass方法,通过划分样本空间并应用卡方检验,可严谨评估生成模型质量、比较模型,适用于多模态及中等高维数据,无需辅助模型或特征提取。
2026-09-01 cs.AI cs.LG stat.ME
High-Quality Synthetic Financial Time-Series using a GAN-Diffusion Framework
Sapienza University of Rome(罗马大学)
提出一种结合GAN和扩散模型的质量感知生成框架,通过GAN的Critic引导扩散过程,生成更真实且保留金融时间序列典型事实和资产间相关结构的合成数据。
2026-05-26 cs.AI cs.LG
The Chamber Ensemble Generator: Limitless High-Quality MIR Data via Generative Modeling
Université de Montréal(蒙特利尔大学);Mila(米拉研究所);University of Washington(华盛顿大学);Google Research(谷歌研究院)
数据是现代机器学习系统的生命线,包括音乐信息检索(MIR)系统。然而,MIR长期以来一直被小数据集和不可靠的标签所困扰。在这项工作中,我们建议使用生成建模来打破这一瓶颈。通过将音符的生成模型(在巴赫合唱团上训练的Coconet)与室内合奏的结构化合成模型(在URMP上训练的MIDI-DDSP)流水线化,我们展示了一个能够产生无限数量的具有丰富注释的逼真合唱音乐的系统,所述注释包括混音、词干、连音、音符级性能属性(断奏、颤音等),甚至是细粒度的合成参数(音调、幅度等)。我们称这个系统为腔室合奏生成器(CEG),并使用它来生成一个大的数据集chorales从四个不同的腔室合奏(CocoChorales)。我们证明,使用我们的方法生成的数据改进了最先进的音乐转录和声源分离模型,我们发布的系统和数据集作为开源的基础,为未来的工作在MIR社区。
2022-09-28 cs.IR cs.LG cs.SD
Energy Consumption of Deep Generative Audio Models
IRCAM(声学与音乐研究协调研究所);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);UNIRIO(里约热内卢州立大学)
在大多数科学领域,深度学习社区主要关注深度生成模型的质量,从而产生高度准确和成功的解决方案。然而,这种对质量的竞争是以巨大的计算成本为代价的,这会导致巨大的能源消耗和温室气体排放。这个问题的核心是我们作为一个科学界用来评估我们工作的措施。在本文中,我们建议依赖于基于帕累托最优的多目标措施,它既考虑到模型的质量,又考虑到其能源消耗。通过将我们的测量应用于当前最先进的生成音频模型,我们表明它可以彻底改变结果的重要性。我们相信,社区可以广泛使用这种类型的指标来评估他们的工作,同时将计算成本-以及精细的能源消耗-置于深度学习研究的聚光灯下。
2021-10-13 cs.LG cs.SD eess.AS
A generative adversarial approach to facilitate archival-quality histopathologic diagnoses from frozen tissue sections
University of Texas MD Anderson Cancer Center(德克萨斯大学MD安德森癌症中心);Indiana University School of Medicine(印第安纳大学医学院)
在涉及组织病理学的临床诊断和研究中,福尔马林固定石蜡包埋(FFPE)组织因其出色的图像质量而几乎普遍受到青睐。然而,组织处理时间(超过24小时)可能会减慢决策。相比之下,新鲜冷冻(FF)处理(不到1小时)可以产生快速的信息,但由于缺乏清晰度,形态变形和更频繁的伪影,诊断准确性不佳。在这里,我们使用人工智能来弥合这一差距。我们使用生成对抗网络(GAN)从来自40名患者的98个配对肾脏样本的FF图像合成了类似FFPE的图像,即虚拟FFPE。五名委员会认证的病理学家在盲法测试中评估了结果。虚拟FFPE数据的图像质量被评估为高,并显示出与真实FFPE图像的密切相似性。与FF图像相比,虚拟FFPE图像上的疾病临床评估显示出更高的观察者间一致性。几乎即时生成的虚拟FFPE图像不仅可以减少获得信息的时间,而且可以促进从常规FF图像进行更精确的诊断,而无需额外的成本和努力。
2021-08-24 cs.CV cs.LG eess.IV
Measuring Orthogonality in Representations of Generative Models
ETH Zurich(苏黎世联邦理工学院);Free University of Bozen-Bolzano(博尔扎诺自由大学);German Heart Center of the Charité(夏里特德国心脏中心)
本文提出重要性加权正交性(IWO)和重要性加权秩(IWR)两种新度量,通过评估生成因子子空间的正交性与秩,证明表示质量与正交性而非解耦性更相关,为无监督表示学习评估提供新方向。
2024-10-01 cs.AI cs.LG
Frequency-Aware Reconstruction of Fluid Simulations with Generative Networks
ETH Zürich(苏黎世联邦理工学院)
卷积神经网络最近被用来从一组简化的参数完全重建流体模拟数据。然而,由于传统上用监督的L1-损失函数训练的(去)卷积不能区分数据中的低频和高频,因此对于较高的频带,误差不能有效地最小化。这与感知结果的质量直接相关,因为丢失的高频细节很容易被注意到。在本文中,我们分析了生成网络的重建质量,并提出了一种频率感知的损失函数,该函数能够在训练期间关注数据集的特定频带。我们表明,我们的方法提高了中频段流体模拟数据的重建质量,在需要相当的训练时间的同时,获得了更好的感知结果。
2019-12-18 cs.GR cs.LG physics.comp-ph
GEN: Highly Efficient SMILES Explorer Using Autodidactic Generative Examination Networks
Firmenich SA(芬美意公司);Novartis Institutes for BioMedical Research(诺华生物医学研究院);BIGCHEM GmbH(BIGCHEM有限公司);Helmholtz Zentrum München - German Research Center for Environmental Health(慕尼黑亥姆霍兹中心——德国环境健康研究中心)
递归神经网络已被广泛用于在已知化学空间中生成数百万个从头分子。这些深度生成模型通常使用LSTM或GRU单元进行设置,并使用规范的SMILE进行训练。在这项研究中,我们引入了一种新的鲁棒架构,生成检查网络GEN,基于具有级联子模型的双向RNN来学习和生成具有训练目标空间的分子SMILES。GEN在几个时期内自主学习目标空间,同时接受独立的在线检查机制来衡量生成集的质量。在这里,我们使用在线统计质量控制(SQC)的有效分子的百分比SMILES作为检查措施,以选择最早可用的稳定模型的权重。使用多个并行编码层结合使用不受限制的SMILES随机化的SMILES增强可以生成非常高水平的有效SMILES(95-98%)。我们的架构结合了出色的新颖率(85-90%),同时生成SMILES,并具有很强的财产空间保护(95-99%)。我们灵活的考试机制对其他质量标准持开放态度。
2019-09-10 cs.LG stat.ML
Generative Joint Source-Channel Coding for Semantic Image Transmission
Imperial College London(帝国理工学院);Huawei Technologies Co., Ltd.(华为技术有限公司)
最近的工作表明,使用深度神经网络(DNN)的联合信源信道编码(JSCC)方案(称为DeepJSCC)在无线图像传输中提供了有希望的结果。然而,这些方法主要集中在相对于输入图像的重构信号的失真,而不是它们的感知由人类。然而,仅仅关注传统的失真度量不一定会导致高感知质量,特别是在极端的物理条件下,例如非常低的带宽压缩比(BCR)和低信噪比(SNR)状态。在这项工作中,我们提出了两种新的JSCC方案,利用深度生成模型(DGMs)的感知质量进行无线图像传输,即InverseJSCC和GenerativeJSCC。前者是DeepJSCC的逆问题方法,后者是端到端优化的JSCC方案。在这两种情况下,我们优化了加权和的均方误差(MSE)和学习感知图像补丁相似性(LPIPS)的损失,捕捉更多的语义相似性比其他失真指标。InverseJSCC通过使用基于样式的生成对抗网络(StyleGAN)解决逆优化问题,对DeepJSCC模型的失真重建进行去噪。我们的模拟结果表明,InverseJSCC在边缘情况下的感知质量方面显着提高了最先进的(SotA)DeepJSCC。在GenerativeJSCC中,我们对编码器和基于StyleGAN的解码器进行了端到端训练,并证明GenerativeJSCC在失真和感知质量方面都明显优于DeepJSCC。
2022-11-24 cs.AI cs.LG eess.IV
Carré du champ flow matching: better quality-generalisation tradeoff in generative models
Institute of Artificial Intelligence(人工智能研究所);Medical University of Vienna(维也纳医科大学);University of Oxford(牛津大学);AITHYRA;EPFL(苏黎世联邦理工学院)
Carré du champ flow matching通过几何感知噪声改进生成模型的质量-泛化权衡,适用于数据稀缺和非均匀采样场景。
2026-02-27 cs.AI cs.LG math.DG
Real-Time Streamable Generative Speech Restoration with Flow Matching
Signal Processing Group, Dept. of Informatics, Universität Hamburg(信息学院信号处理组,汉堡大学)
本文提出Stream.FM流式生成模型,通过优化架构和压缩技术实现低延迟的实时语音处理,展示其在语音增强等任务中的高性能表现。
2026-04-21 cs.LG cs.SD eess.SP
Enhancing Diffusion Models for High-Quality Image Generation
本报告全面实现并优化了DDPMs和DDIMs,通过引入CFG、结合VAE的Latent Diffusion Models及噪声调度策略提升生成能力,实验证明DDIM + CFG在CIFAR-10和ImageNet-100上实现了更快推理与更优图像质量。
2024-12-19 cs.AI cs.CV cs.LG
SeismoGen: Seismic Waveform Synthesis Using Generative Adversarial Networks
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);University of Pittsburgh(匹兹堡大学)
从地震时间序列中检测地震事件已被证明是一项具有挑战性的任务。由于劳动密集型和大规模数据集,手动检测可能是昂贵且繁琐的。近年来,已经开发了基于机器学习的自动检测方法以提高准确性和效率。然而,这些方法的准确性依赖于足够量的高质量训练数据,由于对领域知识和主题专业知识的要求,获得高质量训练数据本身可能是昂贵的。本文通过回答两个问题来解决这一困境:(1)在有限数量的可靠标签的情况下,我们是否可以利用它们来生成更多的合成标签;(2)我们是否可以利用这些合成标签来提高检测能力?在所有现有的生成模型中,生成对抗网络(GAN)显示出其在多个领域生成高质量合成样本的最高能力。我们设计了基于GAN的模型。特别是,我们研究了几种不同的网络结构。通过比较生成的结果,我们基于GAN的生成模型产生了最高的质量。我们进一步将数据集与我们的生成模型生成的合成样本相结合,并表明我们的地震分类模型的可检测性比没有增加训练集的训练模型显着提高。
2020-05-02 cs.LG physics.geo-ph stat.ML
MeshFleet: Filtered and Annotated 3D Vehicle Dataset for Domain Specific Generative Modeling
University of Augsburg(奥格斯堡大学);BMW Group(宝马集团);TU Darmstadt(达姆施塔特工业大学)
针对领域专用3D生成缺乏高质量车辆数据的问题,本文提出MeshFleet数据集及基于质量分类器的自动筛选标注流水线,并通过对比与SV3D微调实验验证其有效性。
2025-03-18 cs.AI cs.CV cs.LG
Quantifying the Impact of Lossy Compression on Neural Generative Surrogate Modeling
LLNL-CONF-2007282
研究有损压缩训练数据对生成代理模型质量的影响,提出利用神经网络训练不确定性估计压缩容错阈值的方法,在保持模型质量的同时实现高达39倍的数据存储节省和3倍的训练加速。
2026-06-16 cs.AI cs.DC cs.LG
Low Bit-Rate Wideband Speech Coding: A Deep Generative Model based Approach
National University of Defense Technology(国防科技大学);Army Engineering University of PLA(中国人民解放军陆军工程大学)
传统的低速率语音编码方法只能处理8 kHz的窄带语音,这限制了语音质量的进一步提高。受最近成功探索用于图像和语音压缩的深度学习方法的启发,本文提出了一种新方法,通过梅尔频率倒谱系数(MFCC)的矢量量化(VQ)并使用称为WaveGlow的深度生成模型来提供高效和高质量的语音编码。对于16 kHz宽带语音,其编码特征是80维MFCC矢量,通过对MFCC矢量采用不同的矢量量化方案,可以实现1000-2000 bit/s码率的语音编码。这种新的基于深度生成网络的编解码器工作速度很快,因为WaveGlow模型放弃了逐样本自回归机制。我们在多说话人TIMIT语料库上对这种新方法进行了评估,实验结果表明,与最先进的经典MELPe编解码器相比,它在较低的比特率下提供了更好的语音质量。
2021-02-04 cs.LG cs.MM cs.SD