EchoAlign: Bridging Generative and Discriminative Learning under Noisy Labels
School of Software, Shandong University, Jinan 250100, China（山东大学软件学院，济南250100，中国）；Sydney AI Centre, The University of Sydney, Sydney, NSW 2050, Australia（悉尼大学悉尼人工智能中心，悉尼，新南威尔士州2050，澳大利亚）
EchoAlign通过将噪声标签作为监督目标，调整实例特征以实现对齐，提升在高噪声环境下的鲁棒学习能力，实验显示其在多个数据集上表现优于现有方法。
2026-05-11 cs.LG
From Noisy Prediction to True Label: Noisy Prediction Calibration via Generative Model
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；University of Seoul（首尔大学）
在机器学习社会中，嘈杂的标签是不可避免的，但也是有问题的。它通过使分类器过度拟合噪声标签来破坏分类器的泛化。现有的噪声标记方法主要集中在训练过程中对分类器进行修改。它有两个潜在的问题。首先，这些方法不适用于未经进一步训练的预训练分类器。其次，训练分类器并同时使来自噪声标签的所有负面影响规则化并不容易。我们提出了一个新的分支的方法，噪声预测校准（NPC）的学习与噪声标签。通过生成模型引入和估计一种新型的转移矩阵，NPC将噪声预测从预训练分类器校正为真实标签作为后处理方案。我们证明了NPC理论上与基于转移矩阵的方法一致。然而，NPC经验上提供了更准确的途径来估计真实标签，即使不参与分类器学习。此外，如果训练实例及其预测可用，则NPC适用于使用噪声标签方法训练的任何分类器。我们的方法NPC提高了所有基线模型在合成和真实数据集上的分类性能。实现的代码可在https://github.com/BaeHeeSun/NPC上获得。
2022-05-26 cs.AI cs.CV cs.LG
Symmetry-Aware Generative Modeling through Learned Canonicalization
Mila（米拉）；McGill University（麦吉尔大学）
本文提出通过学习规范化网络生成对称密度，避免传统不变先验与等变生成过程的局限，提升分子建模的样本质量和推理速度。
2026-04-12 cs.LG
Privacy without Noisy Gradients: Slicing Mechanism for Generative Model Training
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
针对差分隐私生成模型依赖噪声梯度导致调参与收敛困难的问题，提出向私有数据随机低维投影加噪的切片机制，并基于平滑切片$f$-散度和核估计器实现非对抗训练，提升合成数据质量且优化调整不增加隐私成本。
2024-10-25 cs.CR cs.LG
DyGen: Learning from Noisy Labels via Dynamics-Enhanced Generative Modeling
Georgia Institute of Technology（佐治亚理工学院）；Adobe Research（奥多比研究院）
针对语言模型微调中噪声标签导致过拟合的问题，提出结合嵌入空间动态模式与变分自编码、共正则化的DyGen模型，在合成与真实噪声数据集上均取得准确率提升。
2023-06-13 cs.CL cs.LG
Improving Sampling from Generative Autoencoders with Markov Chains
Imperial College London（帝国理工学院）
我们专注于生成式自动编码器，例如变分或对抗式自动编码器，它们与推理模型一起共同学习生成模型。生成式自动编码器是那些被训练成对由推理模型学习的潜在分布柔和地实施先验的自动编码器。我们将推理模型映射到观察样本的分布称为学习的潜在分布，它可能与先验不一致。我们制定了一个马尔可夫链蒙特卡罗（MCMC）采样过程，相当于迭代解码和编码，这使我们能够从学习的潜在分布中采样。由于生成模型从学习的潜在分布而不是先验学习映射，因此我们可以使用MCMC来提高从生成模型提取的样本的质量，特别是当学习的潜在分布远离先验时。使用MCMC采样，我们能够揭示使用或不使用去噪标准训练的生成式自动编码器之间以前看不见的差异。
2017-01-12 cs.AI cs.LG stat.ML
Bias Correction of Learned Generative Models using Likelihood-Free Importance Weighting
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
学习生成模型通常会产生相对于底层数据分布的有偏统计数据。校正这种偏差的标准技术是重要性抽样，其中来自模型的样本由模型和真实分布下的似然比加权。当似然比未知时，可以通过训练概率分类器来区分来自两种分布的样本来估计它。我们采用这种无似然重要性加权方法来纠正生成模型中的偏差。我们发现，这种技术始终提高了标准拟合优度指标，用于评估最先进的深度生成模型的样本质量，这表明减少了偏差。最后，我们展示了它在以下典型应用中的实用性：a）使用生成对抗网络进行分类的数据增强，以及b）使用非策略数据进行基于模型的策略评估。
2019-11-03 cs.LG cs.NE stat.ML
Quantifying Manifolds: Do the manifolds learned by Generative Adversarial Networks converge to the real data manifold
Applied Artificial Intelligence Institute（应用人工智能学院）
该研究通过实验量化GAN训练各阶段学习到的流形，以本征维度、拓扑特征为指标对比真实数据流形，探究训练过程中模型学习的流形是否会收敛至真实数据流形。
2024-03-08 cs.AI cs.LG
Generative Tomography Reconstruction
University of Pisa（比萨大学）
我们提出了一个端到端的可微分架构的断层扫描重建，直接映射到一个去噪重建的噪声正弦图。与现有的方法相比，我们的端到端架构可以在使用更少的参数和时间的同时产生更准确的重建。我们还提出了一个生成模型，给出了一个嘈杂的正弦图，可以采样现实的重建。该生成模型可以在迭代过程中用作先验，通过考虑物理模型，可以减少重建中的伪影和错误。
2020-11-25 cs.CV cs.LG cs.NA
Generative Adversarial Networks for Extreme Learned Image Compression
ETH Zürich（苏黎世联邦理工学院）
我们提出了一个基于GANs的学习图像压缩系统，以极低的比特率运行。我们提出的框架结合了编码器、解码器/生成器和多尺度鉴别器，我们为生成学习压缩目标联合进行训练。该模型合成了它无法存储的细节，在以前的方法失败并显示强烈伪影的比特率下获得视觉上令人愉悦的结果。此外，如果原始图像的语义标签图是可用的，我们的方法可以完全合成解码图像中的不重要的区域，如街道和树木从标签图，按比例减少存储成本。一项用户研究证实，对于低比特率，我们的方法优于最先进的方法，即使它们使用的比特数超过两倍。
2019-08-18 cs.CV cs.LG
T-CGAN: Conditional Generative Adversarial Network for Data Augmentation in Noisy Time Series with Irregular Sampling
Politecnico Milano（米兰理工大学）；Harvard University（哈佛大学）
本文提出了一种适用于不规则采样时间序列的数据增强方法--时间条件生成对抗网络（T-CGAN）。我们的方法是基于条件生成对抗网络（CGAN），其中生成步骤是由一个去卷积神经网络和卷积神经网络的判别步骤。生成器和时间序列生成器都以采样时间戳为条件，学习数据和时间戳之间的隐藏关系，从而生成新的时间序列。我们用合成和真实世界的数据集来评估我们的模型。对于合成数据，我们比较了用T-CGAN生成的数据训练的分类器的性能，以及用原始数据训练的相同分类器的性能。结果表明，在T-CGAN生成的数据上训练的分类器与在真实数据上训练的分类器的性能相同，即使是非常短的时间序列和小的训练集。对于现实世界的数据集，我们比较我们的方法与其他技术的数据增强的时间序列，如时间分片和时间扭曲，在分类问题与不平衡的数据集。结果表明，我们的方法总是优于其他方法，在规则采样和不规则采样的时间序列的情况下。我们实现了特别好的性能的情况下，一个小的训练集和短，噪声，不规则采样的时间序列。
2019-02-01 cs.LG stat.ML
Bridging Generative and Discriminative Noisy-Label Learning via Direction-Agnostic EM Formulation
Cornell Tech（康奈尔科技）；Cornell University（康奈尔大学）；Department of Radiology, Stanford University（斯坦福大学放射科）；Oxford University（牛津大学）；Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey（视觉、语音和信号处理中心（CVSSP）、塞维利亚大学）
本文提出一种方向无关的单阶段EM框架用于生成式噪声标签学习，通过判别式代理替代图像生成并引入部分标签监督，在视觉和NLP基准上以更低计算成本达到最先进准确率。
2026-09-29 cs.CV cs.LG
Medical image reconstruction with image-adaptive priors learned by use of generative adversarial networks
Department of Computer Science and Engineering, Washington University in St. Louis（圣路易斯华盛顿大学计算机科学与工程系）；Department of Electrical and Systems Engineering, Washington University in St. Louis（圣路易斯华盛顿大学电气与系统工程系）；Department of Bioengineering, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校生物工程系）
医学图像重建是一个典型的不适定逆问题。为了解决这种不适定问题，通常通过一些稀疏促进正则化来合并所寻求的对象属性的先验分布。最近，使用生成对抗网络（GANs）估计的图像的先验分布在正则化这些图像重建问题中的一些方面显示出很大的希望。在这项工作中，我们应用一种基于图像自适应GAN的重建方法（IAGAN）从不完整的医学成像数据中重建高保真图像。据观察，IAGAN方法可以潜在地恢复与医学诊断相关的对象中的精细结构，但在使用传统的稀疏促进正则化的重建中可能会过度平滑。
2020-01-27 cs.LG eess.IV stat.ML
Evaluating Graph Generative Models with Contrastively Learned Features
UBC（不列颠哥伦比亚大学）；Autodesk（欧特克公司）；Amii（阿尔伯塔机器智能研究所）
已经提出了各种各样的模型的图生成模型，需要有效的方法来评估其质量。到目前为止，大多数技术要么使用基于子图计数的传统度量，要么使用随机初始化的图神经网络（GNN）的表示。我们建议使用来自对比训练的GNN的表示，而不是随机GNN，并表明这提供了更可靠的评估指标。然而，传统方法和基于GNN的方法都不占主导地位：我们给出了每种方法都无法区分的图的例子。我们证明了图子结构网络（GSN），它在某种程度上结合了这两种方法，更好地区分图数据集之间的距离。
2022-06-13 cs.LG stat.ML
Conditional Generative Adversarial Networks for Speech Enhancement and Noise-Robust Speaker Verification
Aalborg University（奥尔堡大学）
提高语音系统在噪声环境中的性能一直是一个具有挑战性的课题，而语音增强（SE）是解决这一问题的有效技术之一。受生成对抗网络（GANs）在各种图像处理任务中的良好结果的启发，我们探索了条件GANs（cGANs）用于SE的潜力，特别是，我们利用Isola等人提出的图像处理框架。[1]学习从噪声语音的频谱图到增强对应物的映射。SE cGAN由两个网络组成，以对抗的方式进行训练：一个生成器试图增强输入的噪声频谱图，另一个生成器试图区分生成器提供的增强频谱图和使用噪声频谱图作为条件的数据库中的干净频谱图。我们在语音质量的感知评估（PESQ），短时客观可懂度（STOI）和说话人验证的等错误率（EER）（示例应用）方面评估了cGAN方法的性能。实验结果表明，cGAN方法的整体性能优于经典的短时谱幅度最小均方误差（STSA-MMSE）SE算法，并且与基于深度神经网络的SE方法（DNN-SE）相当。
2017-09-07 cs.LG cs.SD eess.AS
Generative Continual Concept Learning
University of Pennsylvania（宾夕法尼亚大学）；HRL Laboratories, LLC（HRL实验室有限责任公司）；Stanford University（斯坦福大学）
在学习了一个概念之后，人类还能够通过只观察少数标记的实例而不干扰过去学习的知识来不断地将他们学习的概念推广到新的领域。相比之下，在持续学习环境中有效地学习概念仍然是当前人工智能算法的公开挑战，因为持续的模型再训练是必要的。受并行分布式处理学习和互补学习系统理论的启发，我们开发了一个计算模型，该模型能够使用少量标记样本有效地将先前学习的概念扩展到新的领域。我们将概念的新形式与其过去学习的形式结合在一个嵌入空间中，以实现有效的持续学习。这样做，生成分布被学习，使得它在嵌入空间中的任务之间共享，并对抽象概念进行建模。这个过程使模型能够生成伪数据点来重放过去的经验，以解决灾难性遗忘。
2019-09-07 cs.AI cs.LG stat.ML
Learned denoising with simulated and experimental low-dose CT data
Centrum Wiskunde & Informatica（数学和计算机科学中心）；University of Cambridge（剑桥大学）；Leiden University（莱顿大学）
本研究利用大型二维CT数据集，对比U-Net、MSD-Net在模拟与实验低剂量CT噪声数据上的去噪性能，发现端到端训练可提升效果，且需更优噪声模拟方法弥合模拟与真实数据差距。
2024-08-15 cs.LG eess.IV
Deep Generative Modeling for Identification of Noisy, Non-Stationary Dynamical Systems
University of Washington（华盛顿大学）
本文提出 dynamic SINDy 方法，将变分推断与稀疏非线性动力学识别相结合，对非平稳系统中时变的 ODE 系数进行建模与不确定性量化，并在合成数据及线虫神经元数据上验证了其有效性。
2024-10-02 cs.LG q-bio.QM
The Learning of Fuzzy Cognitive Maps With Noisy Data: A Rapid and Robust Learning Method With Maximum Entropy
Systems Research Institute, Polish Academy of Sciences（波兰科学院系统研究所）
许多模糊认知图（FCM）的学习方法，如基于Hebbian和基于种群的学习方法，已被开发用于建模和仿真动态系统。然而，这些方法面临着几个明显的局限性。这些模型中的大多数在学习具有数百个节点的大规模FCM时非常耗时。此外，这些算法学习的FCM缺乏鲁棒性时，实验数据包含噪声。此外，在这些算法中，很少考虑合理的权重分布，这可能会导致所得到的FCM的性能降低。在这篇文章中，提出了一种简单，快速，鲁棒的学习方法来学习模糊控制模型从噪声数据，特别是，学习大规模的模糊控制模型。该算法的关键是将模糊C均值算法的学习问题等价地转化为经典约束凸优化问题，其中最小二乘项保证了学习好的模糊C均值算法的鲁棒性，最大熵项规范了学习好的模糊C均值算法的权值分布。一系列的实验，涵盖两个常用的激活函数（sigmoid和双曲正切函数）进行的合成数据集与噪声和现实世界的数据集。实验结果表明，该方法对含有噪声的数据具有快速鲁棒性，且学习后的权值分布更均匀。此外，所提出的方法学习的FCM也表现出优越的性能相比，现有的方法。索引术语-模糊认知图（FCM），最大熵，噪声数据，快速和强大的学习。
2019-08-22 cs.LG stat.ML
Exploring Time Conditioning in Diffusion Generative Models from Disjoint Noisy Data Manifolds
SGIT AI Lab（SGIT人工智能实验室）；UTokyo（东京大学）；HKUST（香港科技大学）；UCSD（加州大学圣地亚哥分校）；ZJUT（浙江工业大学）；Baidu（百度）；RIKEN AIP（日本理化学研究所AIP）
本文从几何视角重新审视扩散模型中的时间条件作用，发现高维空间中噪声分布集中在低维流形上，通过调整DDIM前向过程并结合流匹配方法，证明无需时间条件即可生成高质量内容。
2026-04-28 cs.CV cs.LG
Unraveling the Enigma of Double Descent: An In-depth Analysis through the Lens of Learned Feature Space
Fudan University（复旦大学）；School of Computer Science, Fudan University（复旦大学计算机科学技术学院）；University College London（伦敦大学学院）；Department of Computer Science, University College London（伦敦大学学院计算机科学系）；Shanghai Key Laboratory of Intelligent Information Processing（上海智能信息处理重点实验室）
本研究通过分析学习表示的特征空间，揭示了双重下降现象由噪声数据驱动，发生于不完美模型中，其本质是模型先拟合噪声至插值点，再通过过参数化引入隐式正则化以分离信息与噪声。
2024-04-25 cs.LG
Learning Implicit Generative Models with the Method of Learned Moments
DeepMind（深度心智）
提出了一种用于训练大规模隐式生成模型的矩量法（MoM）算法。在这种情况下，矩估计遇到两个问题：通常很难定义学习模型参数所需的数百万个矩，并且很难确定在指定矩时哪些属性是有用的。为了解决第一个问题，我们引入了矩网络，并将矩定义为网络的隐藏单元和网络输出相对于其参数的梯度。为了解决第二个问题，我们使用渐近理论来强调矩的必要性-即它们应该最小化估计模型参数的渐近方差-并引入一个目标来学习更好的矩。通过这种学习矩方法（MoLM）创建的目标序列可以训练高质量的神经图像采样器。在CIFAR-10上，我们证明了MoLM训练的生成器比使用梯度惩罚正则化和频谱归一化对抗目标训练的生成器实现了更高的初始得分和更低的Frechet初始距离。这些生成器还在CelebA上实现了近乎完美的多尺度结构相似性得分，并可以创建128 x128图像的高质量样本。
2018-06-28 cs.LG stat.ML
Walking the Score Manifold: Continuous-time Generative Dynamics on Learned Data Manifolds
DFKI Kaiserslautern（凯泽斯劳滕德国人工智能研究中心）；RPTU Kaiserslautern（凯泽斯劳滕-兰道工业大学）；Imperial College London（帝国理工学院）
本文提出在分数模型学习的流形上学习连续时间向量场，实现任意时间戳生成与时间超分辨率，并通过横向稳定性目标增强鲁棒性，在视频、PDE和分子动力学数据上验证了有效性。
2026-09-17 cs.AI cs.LG
Self-Consuming Generative Models with Adversarially Curated Data
本文研究噪声与对抗性筛选数据下生成模型自消耗再训练的演化，理论刻画鲁棒性条件，并提出预算受限竞争场景中的攻击算法。
2025-05-14 cs.LG
Parameter-Efficient Generative Modeling with Controlled Vector Fields
Department of Computer Sciences, University of Wisconsin, Madison, WI, 53706（威斯康星大学麦迪逊分校计算机科学系）
提出一种基于Chow-Rashevskii定理的连续时间生成建模框架，通过少量固定向量场和学习的标量控制构建表达流，实现参数高效的分布变换。
2026-05-27 cs.LG stat.ML
Efficient Bayesian Inference from Noisy Pairwise Comparisons
ETH Zurich, Switzerland（苏黎世联邦理工学院）
本文提出BBQ模型，通过贝叶斯方法处理噪声成对比较数据，改进了传统Bradley-Terry方法，提供更稳健和可解释的排名结果。
2026-05-12 cs.CV cs.LG
Learning to Bound: A Generative Cramér-Rao Bound
Tel Aviv University（特拉维夫大学）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
Cramér-Rao界（CRB）是一个关于无偏参数估计性能的著名下界，已被用于研究各种各样的问题。然而，为了获得CRB，需要给定参数的测量的可能性的分析表达式，或者等效地，需要数据的精确和明确的统计模型。在许多应用中，这样的模型是不可用的。相反，这项工作引入了一种新的方法来近似CRB使用数据驱动的方法，它消除了分析统计模型的要求。这种方法是基于最近成功的深度生成模型建模复杂的，高维分布。使用学习的归一化流模型，我们对测量的分布进行建模，并获得CRB的近似值，我们称之为生成Cramér-Rao界（GCRB）。简单问题的数值实验验证了这种方法，并在两个图像处理任务的图像去噪和边缘检测与学习相机噪声模型的实验证明了它的权力和好处。
2022-10-09 cs.LG eess.SP
Phase-aware Training Schedule Simplifies Learning in Flow-Based Generative Models
针对基于流的生成模型训练中高维高斯混合模态相对概率学习阶段消失的问题，提出时间膨胀调度，分阶段学习模态概率与方差，简化速度场自动编码器学习，还为真实数据提出特征相关高效训练区间方法。
2025-02-09 cs.LG stat.ML
Problems using deep generative models for probabilistic audio source separation
Amsterdam Machine Learning Lab（阿姆斯特丹机器学习实验室）；University of Amsterdam（阿姆斯特丹大学）
深度生成建模的最新进展使得从复杂数据中学习先验分布成为可能，随后可用于贝叶斯推理。然而，我们发现，通过音频信号的深度生成模型学习的分布并没有表现出使用概率方法进行音频声源分离等任务所必需的正确属性。我们观察到，学习的先验分布要么是歧视性的和极端的峰值或平滑和非歧视性的。我们在两个音频数据集上量化了两种类型的深度生成模型的这种行为。
2020-11-03 cs.LG cs.SD eess.AS
Automatic Detection of Noisy Electrocardiogram Signals without Explicit Noise Labels
Medical AI Inc.（医疗人工智能公司）；KAIST（韩国科学技术院）
心电图（ECG）信号有助于诊断心血管疾病，心血管疾病是导致死亡的主要原因之一。然而，它们经常被噪声伪影污染，并影响自动和手动诊断过程。基于深度学习的ECG信号自动检查可能导致不准确的诊断，而手动分析涉及临床医生拒绝噪声ECG样本，这可能会花费额外的时间。为了解决这个问题，我们提出了一个两阶段的基于深度学习的框架来自动检测有噪声的ECG样本。通过对两个不同数据集的广泛实验和分析，我们观察到基于深度学习的框架可以有效地检测轻微和高度噪声的ECG样本。我们还研究了将在一个数据集上学习的模型转移到另一个数据集，并观察到该框架有效地检测了有噪声的ECG样本。
2022-08-08 cs.LG eess.SP
Label-Noise Robust Diffusion Models
KAIST（韩国科学技术院）；NAVER Cloud（NAVER 云）
本文提出转移感知加权去噪得分匹配（TDSM）方法，首次在条件扩散模型中利用时间依赖标签转移概率处理噪声标签，通过实验验证其能提升生成质量并增强生成模型的标签噪声鲁棒性。
2024-02-27 cs.LG
Mitigating Noisy Supervision Using Synthetic Samples with Soft Labels
McMaster University（麦克马斯特大学）
针对深度神经网络易受噪声标签影响导致泛化差的问题，提出利用合成样本与软标签训练模型的框架，通过聚合样本及其最近邻并逐步纠正噪声标签，在多个基准和真实数据集上显著提升了表示质量与鲁棒性。
2024-06-22 cs.CV cs.LG
REALM: Reliable Expertise-Aware Language Model Fine-Tuning from Noisy Annotations
Department of Electrical and Computer Engineering（电气与计算机工程系）
REALM通过无监督学习同时学习模型参数和标注者专业能力评分，提升在噪声标注下的微调效果，实验显示其在多种任务和数据集上均优于传统方法。
2026-09-01 cs.LG
Correlation Analysis of Generative Models
VI Department\ for Infocomm Research A STAR, Singapore, 138632 Li\；School of ISE Wuhan University of Science；School of CST Wuhan University of Science
本文提出了一种统一的表示方法，用于分析生成模型中噪声数据与预测目标之间的相关性，以改进模型的预测性能。
2026-02-20 cs.CV cs.LG
Semantic Hierarchy Emerges in Deep Generative Representations for Scene Synthesis
Department of Information Engineering, The Chinese University of Hong Kong（香港中文大学信息工程学系）
尽管生成对抗网络（GANs）在图像合成方面取得了成功，但人们对生成模型在深度生成表示中学到了什么以及照片般逼真的图像如何能够由最近GANs中引入的逐层随机性组成缺乏足够的理解。在这项工作中，我们表明，高度结构化的语义层次出现的变化因素，从合成场景的生成表示在国家的最先进的GAN模型，如样式GAN和大GAN。通过在不同的抽象层次上探测具有广泛语义集的逐层表示，我们能够量化输出图像中发生的激活和语义之间的因果关系。这样的量化识别了由GANs学习的人类可理解的变化因素来组成场景。定性和定量结果进一步表明，由具有逐层潜在代码的GANs学习的生成表示专门用于合成不同的层次语义：早期层倾向于确定空间布局和配置，中间层控制分类对象，后期层最终呈现场景属性以及配色方案。识别这样一组可操纵的潜在变化因素有助于语义场景操纵。
2020-02-11 cs.CV cs.GR cs.LG
GAN-Tree: An Incrementally Learned Hierarchical Generative Framework for Multi-Modal Data Distributions
Indian Institute of Science（印度科学学院）
尽管生成对抗网络取得了显著的成功，但对于不同的训练集，它们的性能似乎不那么令人印象深刻，需要学习不连续的映射函数。虽然多模式先验或多发电机模型已被提出来缓解这个问题，这样的方法可能会失败，这取决于经验选择的初始模式分量。与这种自下而上的方法相反，我们提出了GAN-Tree，它遵循分层划分策略来处理这种不连续的多模态数据。GAN-Tree不需要对模式的数量做任何假设，它利用一种新的模式分裂算法将父模式有效地分裂为语义上有凝聚力的子模式，从而促进无监督聚类。此外，它还可以通过仅更新树结构的单个分支，将新的数据模式增量添加到已经训练好的GAN树中。与以前的方法相比，所提出的框架在选择称为GAN-Set的各种互斥和穷举树节点方面提供了更高的灵活性。在包括ImageNet在内的合成和自然图像数据集上进行的大量实验证明了GAN-Tree相对于现有技术的优越性。
2019-09-16 cs.CV cs.LG
On Learning Contrastive Representations for Learning with Noisy Labels
University of Western Ontario（西安大略大学）；ByteDance Inc.（字节跳动公司）；Vector Institute（向量研究所）
深度神经网络能够很容易地记住有噪声的标签，并具有softmax交叉熵（CE）损失。先前的研究试图解决这个问题，重点是将噪声鲁棒损失函数的CE损失。然而，记忆问题得到缓解，但由于非鲁棒CE损失而仍然存在。为了解决这个问题，我们专注于学习强大的对比表示的数据上的分类器是很难记住的标签噪声下CE损失。我们提出了一种新的对比正则化函数来学习这样的表示噪声数据标签噪声不占主导地位的表示学习。通过理论上研究所提出的正则化函数诱导的表示，我们揭示了学习的表示保持与真实标签相关的信息，并丢弃与损坏标签相关的信息。此外，我们的理论结果还表明，学习的表示是强大的标签噪声。在基准数据集上的实验证明了该方法的有效性。
2022-07-23 cs.CV cs.LG
Instance-Dependent Noisy Label Learning via Graphical Modelling
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；University of Adelaide（阿德莱德大学）；Monash University（莫纳什大学）
在深度学习的生态系统中，噪声标签是不可避免的，但也是麻烦的，因为模型很容易过拟合它们。标签噪声有许多类型，例如对称、非对称和实例相关噪声（IDN），IDN是唯一依赖于图像信息的类型。这种对图像信息的依赖使得IDN成为研究标签噪声的关键类型，因为标签错误在很大程度上是由图像中存在的视觉类的信息不足或模糊引起的。为了提供一种有效的技术来解决IDN，我们提出了一种新的图形化建模方法称为InstanceGM，它结合了判别和生成模型。InstanceGM的主要贡献是：i）使用连续伯努利分布来训练生成模型，提供显着的训练优势，以及ii）探索最先进的噪声标签判别分类器，以从依赖于实例的噪声标签样本中生成干净的标签。InstanceGM与当前的噪声标签学习方法相比具有竞争力，特别是在使用合成和真实世界数据集的IDN基准测试中，我们的方法在大多数实验中显示出比竞争对手更好的准确性。
2022-09-02 cs.CV cs.LG
Accounting for model error in ensemble variational data assimilation through learned generative dynamics
CEREA, ENPC, EDF R&D, Institut Polytechnique de Paris（CEREA，巴黎高等路桥学院，法国电力集团研发部，巴黎理工学院）
该研究提出生成式迭代集合卡尔曼滤波（IEnKF-G），将学习到的生成动力学与集合变分数据同化结合，在含显著模型误差的地球物理模型测试中，其精度优于IEnKF-Q等基准方法。
2026-10-14 cs.LG physics.ao-ph stat.ML
Curriculum Learning for Deep Generative Models with Clustering
Xiaomi AI Lab（小米人工智能实验室）；Chinese University of Hong Kong（香港中文大学）；Peking University（北京大学）
训练像生成对抗网络（GAN）这样的生成模型对于噪声数据来说是一个挑战。提出了一种新的基于聚类的课程学习算法。课程建设是基于数据点的底层集群的中心性。在训练期间，高中心性的数据点优先被馈送到生成模型中。为了使我们的算法可扩展到大规模数据，设计了活动集，在这个意义上，每一轮的训练只在包含一小部分已经训练过的数据和较低中心度的增量数据的活动子集上进行。此外，本文还从几何学的角度分析了集群课程生成模式的必要性。在猫和人脸数据上的实验验证了我们的算法能够学习最佳生成模型（例如ProGAN），并针对噪声数据的指定质量度量。一个有趣的发现是，最佳集群课程是密切相关的临界点的几何渗流过程中制定的文件。
2019-09-26 cs.CV cs.LG stat.ML
Physics-inspired Generative AI models via real hardware-based noisy quantum diffusion
Department of Physics and Astronomy（物理与天文学系）；University of Florence（佛罗伦萨大学）；LENS - European Laboratory for Non-Linear Spectroscopy（欧洲非线性光谱实验室）；Department of Engineering（工程系）；University Pompeu Fabra（庞培法布拉大学）
提出两种物理启发的量子扩散模型协议，通过量子随机游走和真实IBM量子硬件噪声生成图像，证明量子噪声可作为有用资源提升生成式AI性能。
2026-10-12 cond-mat.dis-nn cs.AI cs.CV
Decomposed Adversarial Learned Inference
Amazon Alexa AI（亚马逊Alexa AI）；SUNY Buffalo（纽约州立大学布法罗分校）
生成对抗模型的有效推理仍然是一个重要且具有挑战性的问题。我们提出了一种新的方法，分解的对抗性学习推理（DALI），它明确地匹配数据和代码空间中的先验分布和条件分布，并对生成模型的依赖结构提出了直接约束。我们推导出一个等价形式的先验和条件匹配目标，可以有效地优化，而无需任何参数假设的数据。我们通过进行定量和定性评估来验证DALI在MNIST、CIFAR-10和CelebA数据集上的有效性。结果表明，与其他对抗性推理模型相比，DALI显着改善了重建和生成。
2020-04-21 cs.LG stat.ML
Diffusion-Based Unsupervised Audio-Visual Speech Separation in Noisy Environments with Noise Prior
Faculty of Engineering, Bar-Ilan University（巴伊兰大学工程学院）；OriginAI
针对单麦克风含噪语音分离问题，提出一种基于扩散模型的无监督音视频分离方法，通过显式建模语音与噪声分布并利用逆向扩散过程采样，在嘈杂环境中实现了有效的纯净语音分离。
2025-09-17 cs.LG eess.AS
Disentangled Generative Graph Representation Learning
National Key Laboratory of Radar Signal Processing, Xidian University（雷达信号处理国家重点实验室，西安电子科技大学）；Institute of Information Sensing, Xidian University（信息感知研究院，西安电子科技大学）；McCombs School of Business, The University of Texas at Austin（德克萨斯大学奥斯汀分校麦克唐纳商学院）
本文提出DiGGR框架，通过解耦学习潜在因素提升图表示的鲁棒性和可解释性，在两个图学习任务中优于现有方法。
2026-05-07 cs.AI cs.LG
Hierarchical Adversarially Learned Inference
MILA, Université de Montréal（蒙特利尔大学MILA）；Element AI；DeepMind
我们提出了一个新的层次生成模型与一个简单的马尔可夫结构和相应的推理模型。生成和推理模型都是使用对抗学习范式训练的。我们证明，层次结构支持学习的逐步更抽象的表示，以及提供语义上有意义的重建与不同程度的保真度。此外，我们证明了最小化生成网络和推理网络之间的Jensen-Shanon发散足以最小化重建误差。由此产生的语义上有意义的分层潜在结构的发现是例证CelebA数据集。在那里，我们证明了我们的模型以无监督的方式学习的特征优于最好的手工特征。此外，与最近在CelebA上进行属性预测任务的几种深度监督方法相比，提取的特征仍然具有竞争力。最后，我们利用该模型的推理网络，以实现最先进的性能的半监督变体的MNIST数字分类任务。
2018-02-04 cs.LG stat.ML
On robustness of generative representations against catastrophic forgetting
Warsaw University of Technology（华沙理工大学）；Jagiellonian University（雅盖隆大学）；Tooploox
在学习新任务时对先前学习的知识的灾难性遗忘是当代神经网络的广泛观察到的限制。虽然许多持续学习的方法被提出来减轻这个缺点，但主要的问题仍然没有答案：灾难性遗忘的根本原因是什么？在这项工作中，我们的目标是回答这个问题，提出和验证一组研究假设相关的表征的特异性内部建立的神经模型。更具体地说，我们设计了一组经验评估，比较的鲁棒性表示的歧视和生成模型对灾难性遗忘。我们观察到，通过判别模型学习的表征比生成模型更容易发生灾难性遗忘，这为开发用于持续学习的生成模型的优势提供了新的视角。最后，我们的工作开辟了新的研究途径和可能性，采用生成模型在持续学习超越单纯的重放机制。
2021-09-04 cs.CV cs.LG
Multimodal Adversarially Learned Inference with Factorized Discriminators
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
从多模态数据中学习是机器学习的一个重要研究课题，它有可能获得更好的表示。在这项工作中，我们提出了一种新的方法来生成建模的多模态数据的基础上生成对抗网络。为了学习一个相干的多模态生成模型，我们表明，有必要同时将不同的编码器分布与联合解码器分布对齐。为此，我们构建了一种特定形式的训练器，使我们的模型能够有效地利用数据，这些数据可以进行训练。通过利用对比学习，通过因式分解的样本，我们训练我们的模型上的单峰数据。我们在基准数据集上进行了实验，结果表明，我们提出的方法在各种指标上都优于最先进的方法。源代码将公开提供。
2021-12-20 cs.CV cs.LG
Semi-crowdsourced Clustering with Deep Generative Models
Tsinghua University（清华大学）
我们考虑半监督聚类问题，其中众包提供关于数据的小子集上的成对比较的噪声信息，即，样本对是否在同一个聚类中。我们提出了一种新的方法，包括一个深度生成模型（DGM）来表征数据的低级特征，以及一个统计关系模型，用于在其子集上进行噪声成对注释。这两部分共享潜在变量。为了使模型在其复杂性和拟合数据之间自动权衡，我们还开发了其完全贝叶斯变体。推理的挑战是解决快速（自然梯度）随机变分推断算法，在那里我们有效地结合了变分消息传递的关系部分和摊销学习的DGM在一个统一的框架下。在合成数据集和真实数据集上的实证结果表明，我们的模型优于以前的众包聚类方法。
2018-10-29 cs.LG stat.ML
Interpretable Graph Convolutional Neural Networks for Inference on Noisy Knowledge Graphs
BenevolentAI（仁爱AI）
在这项工作中，我们提供了一个新的配方图卷积神经网络（GCNN）的链接预测的图形数据，解决了生物医学知识图谱（KG）的共同挑战。我们将正则化的注意力机制引入GCNN，不仅提高了干净数据集的性能，而且还有利地适应KG中的噪声，这是现实世界应用中普遍存在的问题。此外，我们探索了可解释建模的新可视化方法，并说明了如何利用学习的表示来自动化数据集去噪。结果显示在一个合成数据集，共同的基准数据集FB 15 k-237，和一个大型的生物医学知识图谱来自噪声和干净的数据源的组合。使用这些改进，我们可视化了一个学习模型的疾病囊性纤维化的代表性，并演示了如何询问神经网络，以显示PPARG作为类风湿性关节炎的候选治疗靶点的潜力。
2018-12-01 cs.LG stat.ML
Continual Classification Learning Using Generative Models
University of Geneva（日内瓦大学）；Geneva School of Business Administration, HES-SO（瑞士西部高等专业学院日内瓦工商管理学院）
持续学习是一种通过容纳知识同时保留先前学到的经验来随着时间顺序学习的能力。神经网络可以在联合训练时学习多个任务，但当一次呈现一个任务时，无法保持先前学习的任务的性能。这个问题被称为灾难性遗忘。在这项工作中，我们提出了一个分类模型，从连续观察的任务，同时防止灾难性遗忘不断学习。我们建立在[10]的终身生成能力的基础上，并通过推导联合对数似然$\log p(x; y)$的新变分界限将其扩展到分类设置。
2018-10-24 cs.LG stat.ML
Learning from Imperfect Data: Robust Inference of Dynamic Systems using Simulation-based Generative Model
POSTECH（POSTECH大学）
本文提出SiGMoID模型，通过结合物理指导神经网络和Wasserstein生成对抗网络，实现对动态系统在噪声数据下的稳健推断和参数估计。
2025-12-24 cs.LG math.DS
Nonlinear Markov Random Fields Learned via Backpropagation
The Wellcome Centre for Human Neuroimaging, UCL（伦敦大学学院惠康人类神经影像中心）
虽然卷积神经网络（CNN）目前在图像分割方面的竞争中占据主导地位，但对于神经成像分析任务，基于混合模型的更经典的生成方法在实践中仍然被用于分割大脑。为了弥合两者之间的差距，在本文中，我们提出了一个概率生成模型，这已被证明是强大的磁共振（MR）图像之间的变化，通过不同的成像协议，和一个CNN之间的婚姻。该链接是在未知组织类别上的先验分布中，其使用马尔可夫随机场进行经典建模。在这项工作中，我们通过一种经常性的CNN来模拟相邻像素之间的相互作用，这种CNN可以编码更复杂的空间相互作用。我们验证了我们提出的模型公开可用的MR数据，从不同的中心，并表明它概括了整个成像协议。这个结果证明了在生成模型中成功且有原则地包含CNN，这反过来可以通过任何概率生成方法进行图像分割。
2019-03-08 cs.CV cs.LG stat.ML
Flat-Consensus Diffusion for Robust Data Reshaping under Noisy Evaluator
针对噪声评估下的数据重塑问题，提出平坦共识扩散框架FCDiff，通过微观平滑与宏观共识聚合，在8数据集上取得最优稳健性。
2026-09-29 cs.AI cs.LG
Unsupervised and Semi-supervised Learning with Categorical Generative Adversarial Networks
University of Freiburg（弗赖堡大学）
在本文中，我们提出了一种方法来学习一个判别分类器从未标记或部分标记的数据。我们的方法基于一个目标函数，该目标函数权衡了观察到的示例及其预测的分类类分布之间的互信息，以及分类器对对抗生成模型的鲁棒性。由此产生的算法可以被解释为生成对抗网络（GAN）框架的自然推广，或者作为正则化信息最大化（RIM）框架的扩展，以针对最佳对手进行鲁棒分类。我们根据经验评估了我们的方法-我们称之为分类生成对抗网络（或CatGAN）-在合成数据以及具有挑战性的图像分类任务上，证明了学习分类器的鲁棒性。我们进一步定性地评估了与判别分类器一起学习的对抗生成器生成的样本的保真度，并确定了CatGAN目标和判别聚类算法（如RIM）之间的联系。
2016-04-30 cs.LG stat.ML
