Revisiting One-vs-All Classifiers for Predictive Uncertainty and Out-of-Distribution Detection in Neural Networks
Google Research, Brain Team（谷歌研究院，Brain团队）
现代神经网络中预测不确定性的准确估计对于实现良好校准的预测和检测分布外（OOD）输入至关重要。最有前途的方法主要集中在改善模型不确定性（例如深度集合和贝叶斯神经网络）和OOD检测的后处理技术（例如ODIN和Mahalanobis距离）。然而，有相对较少的调查如何参数化的概率在判别分类器影响的不确定性估计，和占主导地位的方法，softmax交叉熵，导致误导性的高置信度OOD数据和下协变量偏移。我们研究了使用（1）一对一的公式来捕捉“以上都没有”的概念，以及（2）基于距离的logit表示来将不确定性编码为到训练流形的距离的函数来制定概率的替代方法。我们表明，一对多的公式可以提高图像分类任务的校准，同时匹配softmax的预测性能，而不会产生任何额外的训练或测试时间复杂度。
2020-07-10 cs.LG stat.ML
Training Normalizing Flows with the Information Bottleneck for Competitive Generative Classification
Heidelberg University（海德堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
信息瓶颈（IB）目标使用信息论来制定任务性能与鲁棒性的权衡。它已成功地应用于标准判别分类设置。我们提出的问题是否也可以用来训练生成的可能性模型，如正常化流的IB。由于规范化流使用可逆网络架构（INN），因此它们通过构造来保持信息。这似乎与瓶颈的概念相矛盾。在这项工作中，首先，我们开发的理论和方法的IB-INN，一类有条件的规范化流程，INN的训练使用IB目标：引入少量的{ \em控制}的信息损失允许一个渐近精确制定的IB，同时保持INN的生成能力完好无损。其次，我们研究了这些模型的实验性质，特别是作为生成分类器。该模型类提供了诸如改进的不确定性量化和分布外检测的优点，但是传统的生成式分类器解决方案在分类精度方面受到相当大的影响。我们发现IB中的权衡参数控制了接近标准分类器的生成能力和准确性的混合。从经验上讲，我们的不确定性估计在这种混合制度相比，传统的生成和歧视分类。
2021-01-12 cs.LG stat.ML
Generative Adversarial Trainer: Defense to Adversarial Perturbations with GAN
Seoul National University（首尔国立大学）
本文提出利用生成对抗网络交替训练生成器和分类器，以增强神经网络对对抗扰动的鲁棒性，并在CIFAR数据集上显著降低泛化误差，优于Dropout等正则化方法。
2023-07-04 cs.LG stat.ML
Chroma-VAE: Mitigating Shortcut Learning with Generative Classifiers
New York University（纽约大学）
深度神经网络容易受到捷径学习的影响，使用简单的特征来实现低训练损失，而不需要发现基本的语义结构。与之前的观点相反，我们表明，生成模型本身不足以防止捷径学习，尽管有动机恢复比歧视性方法更全面的数据表示。然而，我们观察到，捷径优先编码的信息最少，这是一个事实，生成模型可以利用，以减轻捷径学习。特别是，我们提出了Chroma-VAE，这是一种双管齐下的方法，其中VAE分类器最初被训练为在小的潜在子空间中隔离捷径，允许在互补的无捷径潜在子空间上训练二级分类器。除了证明Chroma-VAE在基准和真实世界的快捷学习任务上的功效外，我们的工作还强调了操纵生成分类器的潜在空间以隔离或解释特定相关性的潜力。
2022-11-28 cs.LG
Generative Posterior Networks for Approximately Bayesian Epistemic Uncertainty Estimation
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Amazon Alexa AI（亚马逊Alexa AI）
提出生成式后验网络（GPNs），利用未标记数据通过正则化网络趋向先验样本来直接近似贝叶斯后验，从而在高维问题中提升认知不确定性估计和可扩展性。
2023-12-29 cs.LG stat.ML
T-CGAN: Conditional Generative Adversarial Network for Data Augmentation in Noisy Time Series with Irregular Sampling
Politecnico Milano（米兰理工大学）；Harvard University（哈佛大学）
本文提出了一种适用于不规则采样时间序列的数据增强方法--时间条件生成对抗网络（T-CGAN）。我们的方法是基于条件生成对抗网络（CGAN），其中生成步骤是由一个去卷积神经网络和卷积神经网络的判别步骤。生成器和时间序列生成器都以采样时间戳为条件，学习数据和时间戳之间的隐藏关系，从而生成新的时间序列。我们用合成和真实世界的数据集来评估我们的模型。对于合成数据，我们比较了用T-CGAN生成的数据训练的分类器的性能，以及用原始数据训练的相同分类器的性能。结果表明，在T-CGAN生成的数据上训练的分类器与在真实数据上训练的分类器的性能相同，即使是非常短的时间序列和小的训练集。对于现实世界的数据集，我们比较我们的方法与其他技术的数据增强的时间序列，如时间分片和时间扭曲，在分类问题与不平衡的数据集。结果表明，我们的方法总是优于其他方法，在规则采样和不规则采样的时间序列的情况下。我们实现了特别好的性能的情况下，一个小的训练集和短，噪声，不规则采样的时间序列。
2019-02-01 cs.LG stat.ML
Context-Specific Refinements of Bayesian Network Classifiers
IE University（IE大学）；University of Valencia（瓦伦西亚大学）
本文提出基于分段树模型的上下文特定贝叶斯网络分类器，扩展TAN等模型，通过数据驱动学习提升分类准确性。
2024-05-28 cs.LG stat.ML
Discriminative Regularization for Generative Models
Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）
我们探讨的问题，是否表示学习分类器可以用来提高生成模型的质量。我们的推测是，标签对应于自然数据的特征，这些特征对人类来说是最突出的：面孔中的身份，图像中的对象和语音中的话语。我们建议利用这一点，通过使用歧视性分类器的表示，以增加相应的生成模型的目标函数。特别是，我们提高了目标函数的变分自动编码器，一个流行的生成模型，具有歧视性的正则化项。我们表明，以这种方式增强目标函数会导致样本比标准变分自编码器的样本更清晰，视觉质量更高。
2016-02-15 cs.LG stat.ML
Fully Automatic Electrocardiogram Classification System based on Generative Adversarial Network with Auxiliary Classifier
City University of Hong Kong（香港城市大学）
提出了一种基于生成对抗网络（GAN）的高性能全自动心电图（ECG）心律失常分类系统。我们的GAN中的发生器（G）设计用于生成以不同心律失常类别为条件的各种耦合矩阵输入，以用于数据增强。我们设计的ECG（D）在真实和生成的ECG耦合矩阵输入上进行训练，并且在完成我们的GAN的训练后被提取作为心律失常分类器。在通过包括使用无监督算法估计的患者特定正常搏动来微调D并通过G生成通常很少获得的异常搏动之后，我们的全自动系统在MIT-BIH心律失常数据库上显示出室上性异位搏动（SVEB或S搏动）和室性异位搏动（VEB或V搏动）的总体分类性能优越。它超越了几个最先进的自动分类器，可以在类似的水平上执行一些专家辅助方法。特别是，SVEB的F1分数比性能最好的自动系统提高了13%。此外，SVEB（87%）和VEB（93%）的检测灵敏度均达到较高水平，这对实际诊断具有重要价值。因此，我们建议我们的ACE-GAN（生成对抗网络与心电图辅助分类器）为基础的自动系统可以是一个有前途的和可靠的工具，高通量的临床筛选实践，而不需要任何人工干预或专家辅助标记。
2021-03-04 cs.LG eess.SP stat.ML
Generative Adversarial Networks for Black-Box API Attacks with Limited Training Data
Intelligent Automation, Inc.（智能自动化公司）
由于基于机器学习的在线系统通过应用程序编程接口（API）提供给公共或付费用户，因此它们容易受到频繁的利用和攻击。本文研究了在实际情况下，当API调用有速率限制时的对抗性机器学习。对手通过以下方式发起探索性（推理）攻击：用输入数据样本查询在线机器学习系统（特别是分类器）的API，收集返回的标签以建立训练数据，并训练功能上等效且统计上接近目标分类器的对抗性分类器。有限的训练数据的探索性攻击被证明无法可靠地推断出一个真实的文本分类器API，可在线向公众提供的目标分类器。作为回报，构建基于深度学习的生成对抗网络（GAN）以从有限数量的真实训练数据样本生成合成训练数据，从而扩展训练数据并提高推断分类器的性能。探索性攻击通过基于从推断的分类器获得的置信度得分分别选择训练和测试数据样本，提供了发起因果攻击（旨在毒害训练过程）和逃避攻击（旨在欺骗分类器做出错误决策）的基础。这些具有小足迹的隐形攻击（使用少量API调用）使对抗机器学习在对手可用的训练数据有限的现实情况下变得实用。
2019-01-25 cs.CR cs.LG stat.ML
Versatile Auxiliary Classifier with Generative Adversarial Network (VAC+GAN)
National University of Ireland Galway（爱尔兰国立大学戈尔韦分校）
人工智能中最有趣的挑战之一是训练条件生成器，这些条件生成器能够提供从特定分布中提取的标记对抗样本。在这项工作中，提出了一种新的框架，通过将分类器与鉴别器并行放置来训练深度条件生成器，并通过生成器网络反向传播分类误差。该方法是通用的，适用于生成对抗网络（GAN）实现的任何变化，并且与类似方法相比也给出了优越的结果。
2018-06-18 cs.CV cs.LG eess.IV
Generative Adversarial Classifier for Handwriting Characters Super-Resolution
Xi’an Jiaotong-Liverpool University（西交利物浦大学）
生成对抗网络（GAN）由于在图像生成、图像变换和超分辨率等方面的优异性能，近年来受到了广泛的关注。然而，GAN很少被研究和训练用于分类，导致生成的图像可能不适合分类。在本文中，我们提出了一种新的生成对抗分类器（GAC），特别是低分辨率手写字符识别。具体地说，在普通GANs的训练过程中，额外引入一个分类器，对GAC进行校准，以学习合适的结构并恢复有利于分类的字符图像。实验结果表明，在基准数据CASIA-HWDB 1.1和MNIST上，该方法在手写字符8倍超分辨率上的性能较现有方法分别提高了约10%和20%。
2019-01-18 cs.AI cs.CV cs.LG
Triple Generative Adversarial Networks
Tsinghua University（清华大学）
我们提出了一个统一的博弈理论框架进行分类和有条件的图像生成有限的监督。它被公式化为由生成器、分类器和搜索器组成的三人极大极小博弈，因此被称为三重生成对抗网络（Triple-GAN）。生成器和分类器表征图像和标签之间的条件分布，以分别执行条件生成和分类。该工具只专注于识别虚假的图像标签对。在非参数假设下，我们证明了博弈的唯一均衡是由生成器和分类器表征的分布收敛到数据分布。作为三人机制的副产品，Triple-GAN可以灵活地结合不同的半监督分类器和GAN架构。我们在两个具有挑战性的环境中评估Triple-GAN，即半监督学习和极低数据制度。在这两种设置中，Triple-GAN都可以实现出色的分类结果，并同时在特定类别中生成有意义的样本。特别地，使用通常采用的13层CNN分类器，Triple-GAN在10个以上的基准测试上显著优于广泛的半监督学习方法，无论是否应用数据增强。
2020-09-14 cs.CV cs.LG stat.ML
Scene Uncertainty and the Wellington Posterior of Deterministic Image Classifiers
UCLA（加州大学洛杉矶分校）
我们提出了一种方法来估计的不确定性的图像分类器的结果在一个给定的输入数据。通常用于图像分类的深度神经网络是从输入图像到输出类的确定性映射。因此，他们在给定数据上的结果不涉及不确定性，因此我们必须在定义、测量和解释不确定性时指定我们所指的可变性，并将“信心”归因于结果。为此，我们引入了惠灵顿后验，这是响应于可能由产生给定图像的相同场景生成的数据而获得的结果的分布。由于有无限多的场景可以产生任何给定的图像，惠灵顿后节涉及从描绘的场景以外的其他场景的感应转移。我们探讨了使用数据增强，辍学，ensembling，单视图重建，模型线性化计算惠灵顿后。附加方法包括使用条件生成模型，诸如生成对抗网络、神经辐射场和条件先验网络。我们测试这些方法对经验的后验通过执行相同的底层场景的多个图像上的推理。这些发展只是朝着以与安全关键应用和人类解释兼容的方式评估深度网络分类器的可靠性迈出的一小步。
2023-03-24 cs.CV cs.LG stat.ML
Explore the Expression: Facial Expression Generation using Auxiliary Classifier Generative Adversarial Network
AZAD Research Lab（AZAD研究实验室）；Sweden（瑞典（注：此处Sweden为国家，非机构，根据要求应忽略。但原HTML中“Affiliation: Sweden”可能是笔误或格式错误，若仅保留明确的机构名“AZAD Research Lab”）。修正后应为：{）
面部表情是一种非语言交流的形式，人类可以无缝地进行有意义的信息传递。大多数文献都涉及面部表情识别方面，然而，随着生成模型的出现，除了对一组表情进行分类之外，还可以探索情感空间。在这篇文章中，我们提出了一个生成模型架构，强大地生成一组面部表情的多个字符的身份，并探讨了通过结合简单的生成复杂的表情的可能性。
2022-02-08 cs.CV cs.GR cs.LG
Uncertainty Quantification with Generative Models
Berkeley Center for Cosmological Physics（伯克利宇宙物理中心）；University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
我们开发了一种基于生成模型的方法来解决贝叶斯逆问题，例如从噪声和不完整图像中重建图像。我们的框架解决了贝叶斯重建的两个常见挑战：1）它利用复杂的数据驱动先验，包括有关未损坏数据分布的所有可用信息。2)它能够以潜在空间和数据空间中的后验分析的形式实现计算上易于处理的不确定性量化。该方法是非常有效的，因为生成模型只需要在未损坏的数据集上训练一次，之后，该过程可以用于任意损坏类型。
2019-10-22 astro-ph.CO cs.LG stat.ML
Leveraging Active Subspaces to Capture Epistemic Model Uncertainty in Deep Generative Models for Molecular Design
本研究利用活动子空间近似后验分布，为JT-VAE分子设计模型提供无需改动架构的认知不确定性量化方法，并验证其对分子优化的潜在价值。
2024-08-15 cs.LG q-bio.QM stat.ML
Deep Generative Models for Geometric Design Under Uncertainty
Northwestern University（西北大学）
深度生成模型在学习紧凑和富有表现力的设计表示方面表现出了有效性，这些设计表示显着改善了几何设计优化。然而，这些模型不考虑制造或制造引入的不确定性。过去量化这种不确定性的工作往往对几何变化进行简化假设，而“真实世界”的不确定性及其对设计性能的影响由于高维数而难以量化。为了解决这个问题，我们提出了一个基于生成对抗网络的不确定性框架下的设计（GAN-DUF），它包含一个深度生成模型，可以同时学习标称（理想）设计的紧凑表示和给定任何标称设计的制造设计的条件分布。我们在两个实际的工程设计实例中展示了该框架，并展示了其在制造后找到具有更好性能的解决方案的能力。
2022-03-09 cs.LG
Age-Conditioned Synthesis of Pediatric Computed Tomography with Auxiliary Classifier Generative Adversarial Networks
Marquette University（马凯特大学）
深度学习是计算机断层扫描（CT）图像处理（如器官分割）中流行且功能强大的工具，但其对大型训练数据集的要求仍然是一个挑战。尽管儿童在成长过程中存在很大的解剖变异性，但由于对儿童的辐射风险，儿科CT扫描的训练数据集尤其难以获得。在本文中，我们提出了一种方法，有条件地合成逼真的儿科CT图像，使用一个新的辅助分类器生成对抗网络（ACGAN）架构，考虑到年龄信息。所提出的网络生成年龄调节的高分辨率CT图像，以丰富儿科训练数据集。
2020-01-31 cs.CV cs.LG eess.IV
Uncertainty Calibration for Deep Audio Classifiers
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
尽管深度神经网络（DNN）在音频分类任务中取得了巨大的成功，但其不确定性校准仍处于探索阶段。一个经过良好校准的模型在确定其预测时应该是准确的，而在可能不准确时应该显示出高度的不确定性。在这项工作中，我们研究了深度音频分类器的不确定性校准。特别是，我们经验性地研究了流行的校准方法的性能：（i）Monte Carlo Dropout，（ii）合奏，（iii）焦点损失和（iv）频谱归一化高斯过程（SNGP），在音频分类数据集上。为此，我们评估（i-iv）的环境声音和音乐流派分类的任务。结果表明，未校准的深度音频分类器可能过于自信，SNGP表现最好，在本文的两个数据集上非常有效。
2022-06-27 cs.LG cs.SD eess.AS
Generative Adversarial Learning for Spectrum Sensing
Intelligent Automation, Inc.（智能自动化公司）
提出了一种新的训练数据增强和领域自适应方法，以支持机器学习在认知无线电中的应用。机器学习通过可靠地提取和学习固有频谱动态来提供有效的工具以自动化认知无线电功能。然而，为了充分利用认知无线电的机器学习优势，有两个重要的挑战需要克服。首先，机器学习需要大量的真实数据来捕获复杂的信道和发射器特性，并且训练底层算法（例如，分类器）。第二，已经为一个频谱环境识别的训练数据不能用于另一个频谱环境（例如，在沟道和发射极条件改变之后）。为了解决这些挑战，使用具有深度学习结构的生成对抗网络（GAN）来1）生成额外的合成训练数据以提高分类器准确度，以及2）使训练数据适应频谱动态。该方法通过仅假设有限的训练数据而不需要频谱统计知识来应用于频谱感测。机器学习分类器用有限的、增强的和适应的训练数据来训练以检测信号。结果表明，训练数据的增加，提高了分类器的准确性显着，这种增加是持续与领域自适应作为光谱条件的变化。
2018-04-02 cs.LG cs.NI stat.ML
Quantifying Uncertainty In Traffic State Estimation Using Generative Adversarial Networks
Columbia University（哥伦比亚大学）
本文旨在使用基于物理信息的深度学习（PIDL）的生成对抗网络来量化流量状态估计（TSE）中的不确定性。焦点的不确定性来自基本图，换句话说，从交通密度到速度的映射。量化TSE问题的不确定性是为了表征预测交通状态的鲁棒性。自诞生以来，生成对抗网络（GAN）已经成为一种流行的概率机器学习框架。在本文中，我们将通知GAN为基础的预测使用随机交通流模型和开发一个GAN为TSE的PIDL框架，命名为"PhysGAN-TSE”。通过对真实世界数据集，下一代仿真（NGSIM）数据集进行实验，该方法被证明是更强大的不确定性量化比纯GAN模型或纯交通流模型。两个物理模型，Lighthill-Whitham-Richards（LWR）和Aw-Rascle-Zhang（ARZ）模型，作为PhysGAN的物理组件进行了比较，结果表明，ARZ的PhysGAN实现了更好的性能比LWR的。
2022-11-09 cs.LG
Enhancing Diffusion-Based Image Synthesis with Robust Classifier Guidance
Technion（以色列理工学院）
去噪扩散概率模型（DDPM）是近年来出现的一类具有最新研究成果的生成模型。为了获得类条件生成，建议通过来自时间依赖分类器的梯度来引导扩散过程。虽然这个想法在理论上是合理的，但基于深度学习的分类器容易受到基于梯度的对抗攻击的影响。因此，虽然传统的分类器可以实现良好的准确性分数，但它们的梯度可能是不可靠的，并且可能阻碍生成结果的改进。最近的工作发现，对抗性强的分类器表现出与人类感知一致的梯度，这些可以更好地引导生成过程，使其生成语义有意义的图像。我们利用这一观察定义和训练的时间依赖的adversarially强大的分类器，并使用它作为指导的生成扩散模型。在极具挑战性和多样性的ImageNet数据集上进行的实验中，我们的方案引入了更易于理解的中间梯度，与理论研究结果更好地对齐，以及在几个评估指标下改进的生成结果。此外，我们还进行了一项意见调查，其结果表明人类评分者更喜欢我们方法的结果。
2023-03-15 cs.CV cs.LG
Improving Model Compatibility of Generative Adversarial Networks by Boundary Calibration
National Taiwan University（台湾大学）；Carnegie Mellon University（卡内基梅隆大学）
生成对抗网络（GANs）是一个强大的模型家族，它学习底层分布以生成合成数据。许多现有的GANs研究都集中在提高视觉应用所生成的图像数据的真实性上，很少有人关注提高用于训练其他分类器的生成数据的质量--这一任务被称为模型兼容性问题。因此，现有的GANs通常更喜欢生成远离分类器边界的“更容易”的合成数据，并且避免生成近边界数据，已知近边界数据在训练分类器中起重要作用。为了提高GAN的模型兼容性，我们提出了边界校准GANs（BCGAN），它利用了使用原始数据的一组预训练分类器的边界信息。特别地，我们在GAN的生成器中引入了辅助边界校准损失（BC损失），以匹配原始数据和生成数据的后验分布之间的统计数据，相对于预训练分类器的边界。BC损失是可证明无偏的，并且可以容易地与不同的GAN变体耦合以提高它们的模型兼容性。实验结果表明，BCGAN不仅能像原始GANs一样生成逼真的图像，而且比原始GANs具有更好的模型兼容性。
2021-11-03 cs.LG
Class-Incremental Learning with Generative Classifiers
Baylor College of Medicine（贝勒医学院）；University of Cambridge（剑桥大学）；Rice University（莱斯大学）
针对深度神经网络增量学习新类别时现有方法存在缺陷或性能不足的问题，提出基于生成式分类的策略，通过学习联合分布结合贝叶斯规则分类，在多个基准上优于无数据存储的基线方法。
2021-04-28 cs.AI cs.CV cs.LG
Co-supervised learning paradigm with conditional generative adversarial networks for sample-efficient classification
University of Georgia（佐治亚大学）；Clemson University（克莱姆森大学）
使用监督学习的分类需要注释大量的类平衡数据用于模型训练和测试。这实际上限制了监督学习的应用范围，特别是深度学习。为了解决与有限和不平衡的数据相关的问题，本文介绍了一种样本有效的协同监督学习范式（SEC-CGAN），其中有条件的生成对抗网络（CGAN）与分类器一起训练，并在训练过程中向注释数据补充语义条件的、置信度感知的合成示例。在这种情况下，CGAN不仅充当共同监督者，而且还提供补充的质量示例，以端到端的方式帮助分类器训练。实验表明，建议SEC-CGAN优于外部分类器GAN（EC-GAN）和基线ResNet-18分类器。为了比较，上述方法中的所有分类器都采用ResNet-18架构作为骨干。特别地，对于街景门牌号数据集，使用5%的训练数据，SEC-CGAN实现了90.26%的测试准确率，而EC-GAN为88.59%，基线分类器为87.17%;对于高速公路图像数据集，使用10%的训练数据，SEC-CGAN的测试准确率达到98.27%，相比之下，EC-GAN为97.84%，基线分类器为95.52%。
2022-12-27 cs.CV cs.LG
Multimodal Uncertainty Reduction for Intention Recognition in Human-Robot Interaction
TU Darmstadt（达姆施塔特工业大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Goethe University（歌德大学）
辅助机器人可以通过支持日常生活活动来提高老年人的生活质量和个人独立性。为了保证人与机器人之间安全直观的交互，需要自动识别人类意图。由于人类多模态地传达他们的意图，使用多个模态进行意图识别不仅可以增加对单个模态失败的鲁棒性，而且特别地减少了关于要预测的意图的不确定性。这是可取的，特别是在机器人和潜在的脆弱的人类之间的直接交互的情况下，最小的不确定性，以及关于这种实际的不确定性的知识是必要的。因此，在现有的方法相比，在这项工作中，多模态意图识别的新方法，重点是通过分类器融合的不确定性降低。对于四个考虑的模态语音，手势，注视方向和场景对象的个人意图分类器进行训练，所有这些输出的概率分布在所有可能的意图。通过使用贝叶斯方法独立意见池组合这些输出分布，可以减少关于要识别的意图的不确定性。该方法在一个7自由度的机器人手臂的协作人机交互任务进行评估。结果表明，融合分类器，结合多种形式优于各自的基础分类器，提高精度，鲁棒性，减少不确定性。
2019-07-04 cs.HC cs.LG cs.RO
Triple Generative Adversarial Nets
Tsinghua University（清华大学）
生成对抗网络（GANs）在图像生成和半监督学习（SSL）中显示出了希望。然而，SSL中现有的GANs存在两个问题：（1）生成器和分类器（即分类器）可能不会同时是最优的;（2）生成器无法控制生成样本的语义。这些问题本质上是由两个玩家的公式产生的，其中一个单一的神经网络共享识别假样本和预测标签的不兼容的角色，它只估计数据而不考虑标签。为了解决这些问题，我们提出了三重生成对抗网络（Triple-GAN），它由三个参与者组成-生成器，分类器和分类器。生成器和分类器描述图像和标签之间的条件分布，而分类器只专注于识别虚假的图像标签对。我们设计兼容的实用程序，以确保分布特征的分类器和发电机都收敛到数据分布。我们在各种数据集上的结果表明，Triple-GAN作为一个统一的模型可以同时（1）在深度生成模型中实现最先进的分类结果，（2）通过在潜在空间类条件下插值，在数据空间中解开输入的类和样式并平滑地传输。
2017-11-05 cs.CV cs.LG
Enhancing Generative Molecular Design via Uncertainty-guided Fine-tuning of Variational Autoencoders
Texas A&M University（德克萨斯农工大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）
本文提出了一种基于主动学习的模型不确定性引导微调方法，通过在变分自编码器参数的低维活跃子空间中量化不确定性并结合黑盒优化，有效提升了生成式分子设计在下游属性优化任务中的表现。
2024-05-31 cs.LG q-bio.BM q-bio.QM
Counterfactual Explanation of Brain Activity Classifiers using Image-to-Image Transfer by Generative Adversarial Network
Okayama University（冈山大学）；Japan Science and Technology Agency（日本科学技术振兴机构）；Rikkyo University（立教大学）；National Institute for Physiological Sciences（生理学研究所）；Araya Inc.（Araya 公司）；Keio University（庆应义塾大学）
深度神经网络（DNN）可以从大脑激活中准确解码与任务相关的信息。然而，由于DNN的非线性，DNN做出的决策很难解释。解释这种黑箱系统的一个有希望的方法是反事实解释。在这个框架中，一个黑盒系统的行为是通过比较真实的数据和现实的合成数据，特别是生成，使得黑盒系统输出一个不真实的结果来解释。在这里，我们介绍了一种新的生成DNN（反事实激活生成器，CAG），可以为基于DNN的大脑激活分类器提供反事实解释。重要的是，CAG可以同时处理与不同行为任务相关的多个类之间的图像转换。使用CAG，我们展示了基于DNN的分类器的反事实解释，这些分类器学会了区分七个行为任务的大脑激活。此外，通过CAG的迭代应用，我们能够增强和提取影响分类器决策的细微空间大脑活动模式。总之，这些结果表明，基于图像到图像变换的反事实解释将是一种很有前途的方法来理解和扩展DNN在fMRI分析中的当前应用。
2021-10-28 cs.CV cs.LG q-bio.NC
Conditional Diffusion Models are Medical Image Classifiers that Provide Explainability and Uncertainty for Free
McGill University（麦吉尔大学）；Mila – Quebec AI Institute（魁北克人工智能研究所）
首次探索类别条件扩散模型在二维医学图像分类中的应用，提出多数投票方案提升性能，在CheXpert和ISIC数据集上无需显式监督即可媲美SOTA判别式分类器，且本质可解释并能量化预测不确定性。
2025-08-08 cs.CV cs.LG
Score-based Conditional Generation with Fewer Labeled Data by Self-calibrating Classifier Guidance
National Taiwan University（台湾大学）
针对少标注数据下分类器引导的得分生成模型条件生成不准确的问题，提出利用能量模型原理将分类器转化为无条件得分视图并自校准正则化，显著提升条件生成质量。
2024-02-07 cs.CV cs.LG
Generative Uncertainty in Diffusion Models
UvA-Bosch Delta Lab, University of Amsterdam（阿姆斯特丹大学）
针对扩散模型单个样本质量难检测的问题，提出基于贝叶斯框架的生成不确定性估计方法，结合语义似然应对高维挑战，可事后应用于预训练模型且能有效识别低质量样本。
2025-06-12 cs.AI cs.LG
Classifier-Free Diffusion Guidance
Google Research（谷歌研究院）
分类器指导是最近引入的在条件扩散后训练中权衡模式覆盖和样本保真度的方法，其精神与其他类型的生成模型中的低温温度采样或截断相同。分类器引导将扩散模型的分数估计与图像分类器的梯度相结合，从而需要训练与扩散模型分离的图像分类器。它还提出了一个问题，即是否可以在没有分类器的情况下进行指导。我们表明，指导确实可以由一个纯粹的生成模型没有这样的分类器：在我们所谓的无分类器引导，我们共同训练一个有条件和无条件的扩散模型，我们结合所得到的有条件和无条件的得分估计，以达到样本质量和多样性之间的权衡使用分类器的指导。
2022-07-26 cs.AI cs.LG
GAN-DUF: Hierarchical Deep Generative Models for Design Under Free-Form Geometric Uncertainty
Northwestern University（西北大学）
深度生成模型在学习紧凑和富有表现力的设计表示方面表现出了有效性，这些设计表示显着改善了几何设计优化。然而，这些模型不考虑制造或制造引入的不确定性。过去的工作，量化这种不确定性往往使简化假设的几何变化，而“真实世界”，“自由形式”的不确定性及其对设计性能的影响是难以量化的，由于高维数。为了解决这个问题，我们提出了一个基于生成对抗网络的不确定性框架下的设计（GAN-DUF），它包含一个深度生成模型，可以同时学习标称（理想）设计的紧凑表示和给定任何标称设计的制造设计的条件分布。这开辟了以下新的可能性：1）~构建与形状和拓扑设计兼容的通用不确定性量化模型; 2）~建模自由形式的几何不确定性而无需对几何可变性的分布做出任何假设;以及3）~允许快速预测新标称设计的不确定性。我们可以将所提出的深度生成模型与鲁棒设计优化或基于可靠性的设计优化相结合，用于不确定性设计。我们在两个实际的工程设计实例中展示了该框架，并展示了其在制造后找到具有更好性能的解决方案的能力。
2022-10-07 cs.CE cs.LG
Exploring the Connection between Robust and Generative Models
Sapienza, University of Rome（罗马第一大学）
本文揭示对抗训练分类器内部隐含 EBM 生成结构，并据此解释、检测无目标对抗样本，提出能量接近真实数据的 High-Energy PGD 攻击。
2023-06-05 cs.CR cs.CV cs.LG
On the link between generative semi-supervised learning and generative open-set recognition
Stellenbosch University（斯泰伦博斯大学）
本研究揭示生成式半监督学习与生成式开放集识别在“互补空间”正则化上本质相通，并通过实验证明二者效果几乎一致，进而提出首个统一基准与融合框架。
2023-08-23 cs.AI cs.CV cs.LG
Generative method for aerodynamic optimization based on classifier-free guided denoising diffusion probabilistic model
School of Management, Hefei University of Technology（合肥工业大学管理学院）
本文提出基于无分类器引导去噪扩散概率模型（CDDPM）的翼型逆向设计框架，通过捕捉性能指标相关性并生成压力系数分布，相比Wasserstein生成对抗网络方法精度提升33.6%，并结合全局优化与主动学习策略提供合理的性能指标组合。
2025-03-10 cs.AI cs.LG
A Unified Generative Adversarial Network Training via Self-Labeling and Self-Attention
Toshiba Corporation（东芝公司）；University of Bern（伯尔尼大学）
我们提出了一种新的GAN训练方案，可以以统一的方式处理任何级别的标签。我们的计划引入了一种人工标签的形式，可以将手动定义的标签，当可用时，并诱导它们之间的对齐。为了定义人工标签，我们利用了这样一个假设，即神经网络生成器可以更容易地被训练来将附近的潜在向量映射到具有语义相似性的数据，而不是跨单独的类别。我们使用生成的数据样本和它们相应的人工条件标签来训练分类器。然后，分类器用于自标记真实数据。为了提高自标记的准确性，我们还使用了分类器的指数移动平均。然而，由于分类器仍然可能出错，特别是在训练开始时，我们还通过自注意力来细化标签，仅当分类器输出高分类概率得分时才使用真实数据样本的标签。我们在CIFAR-10，STL-10和SVHN上评估了我们的方法，并表明自标记和自注意力都能持续提高生成数据的质量。更令人惊讶的是，我们发现所提出的方案甚至可以优于类条件GANs。
2021-06-18 cs.CV cs.LG
Conditional GANs with Auxiliary Discriminative Classifier
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Shanghai Jiao Tong University（上海交通大学）
条件生成模型旨在学习数据和标签的潜在联合分布，以实现条件数据生成。其中，辅助分类器生成对抗网络（AC-GAN）得到了广泛的应用，但存在生成样本类内多样性低的问题。本文指出的根本原因是AC-GAN的分类器是生成器不可知的，因此不能为生成器提供信息指导以接近联合分布，从而导致条件熵最小化，从而降低了类内多样性。出于这种理解，我们提出了一种新的条件GAN与辅助判别分类器（ADC-GAN），以解决上述问题。具体来说，所提出的辅助判别分类器成为发电机知道通过识别的类标签的真实数据和生成的数据有区别地。我们的理论分析表明，该生成器可以忠实地学习的联合分布，即使没有原来的卷积，使建议的ADC-GAN的系数超参数的值和选择的GAN损失的鲁棒性，并在训练过程中稳定。在合成和真实世界数据集上的大量实验结果表明，与最先进的基于分类器和基于投影的条件GANs相比，ADC-GAN在条件生成建模方面具有优越性。
2022-06-17 cs.CV cs.LG
HumanACGAN: conditional generative adversarial network with human-based auxiliary classifier and its evaluation in phoneme perception
The University of Tokyo（东京大学）；National Institute of Technology, Tokuyama College（德山工业高等专门学校）；University of Tsukuba（筑波大学）
我们提出了一个条件生成对抗网络（GAN），结合人类的感知评价。基于深度神经网络（DNN）的GAN生成器可以准确地表示真实数据分布，但永远无法表示人类可接受的分布，这些分布是人类接受自然性的数据范围，而不管数据是否真实。提出了一个HumanGAN来模拟人类可接受的分布。基于DNN的生成器使用基于人类的训练器来训练，即，人类的感知评估，而不是GAN的基于DNN的评估。但是，HumanGAN不能表示条件分布。本文提出了HumanACGAN，HumanGAN的理论扩展，处理条件人类可接受的分布。我们的HumanACGAN通过将人类不仅视为机器人，而且还视为辅助分类器来训练基于DNN的条件生成器。该生成器通过欺骗基于人类的分类器和基于人类的分类器来训练，其中基于人类的分类器对无条件自然性进行评分，基于人类的分类器对类条件感知可接受性进行评分。训练可以使用涉及人类感知评估的反向传播算法来执行。我们在音素感知上的实验结果表明，我们的HumanACGAN可以成功地训练这个条件生成器。
2021-02-08 cs.HC cs.LG cs.SD
Man-in-the-Middle Attacks against Machine Learning Classifiers via Malicious Generative Models
Swinburne University of Technology（斯威本科技大学）
深度神经网络（DNN）容易受到故意制作的对抗性示例的影响。在过去的几年里，人们花了很多精力来探索查询优化攻击，以找到黑盒或白盒DNN模型的对抗性例子，以及针对这些攻击的防御对策。在这项工作中，我们探索了DNN模型在中间人（MitM）攻击的保护伞下的漏洞，这是以前没有调查过的。从MitM对手的角度来看，上述对抗性示例攻击不再可行。首先，这种攻击必须在实际发动攻击之前多次获得模型的输出，这对于MitM对手来说在实践中是困难的。其次，这种攻击是一次性的，不能直接推广到新的数据示例上，这降低了攻击者的回报率。相比之下，使用生成模型来动态制作对抗性示例可以减轻缺点。然而，生成模型的对抗能力，如变分自动编码器（VAE），还没有得到广泛的研究。因此，给定一个分类器，我们研究使用VAE解码器将良性输入转换为对抗性输入，或者将良性VAE编码器的输出解码为对抗性示例。该方法可以赋予MitM攻击者更多的攻击能力。根据我们的评估，所提出的攻击在MNIST和CIFAR10数据集上都可以达到95%以上的成功率，这比最先进的查询优化攻击更好或相当。与此同时，该攻击比查询优化攻击快104倍。
2019-10-14 cs.CR cs.LG
Generative Adversarial Network-Driven Detection of Adversarial Tasks in Mobile Crowdsensing
University of Ottawa（渥太华大学）
移动人群感知系统是脆弱的，因为它们建立在非专用和无处不在的属性，各种攻击。基于机器学习（ML）的方法被广泛研究以构建攻击检测系统并确保MCS系统安全。然而，旨在阻塞传感前端和MCS后端的攻击者利用智能技术，这对MCS平台和服务提供商来说是一个挑战，需要开发适当的检测框架来应对这些攻击。生成对抗网络（GANs）已被应用于生成与真实样本极其相似的合成样本，欺骗分类器，使合成样本与原始样本无法区分。以前的工作表明，基于GAN的攻击比经验设计的攻击样本表现出更严重的破坏性，并导致MCS平台的检测率较低。考虑到这一点，本文旨在通过集成基于GAN的模型来检测智能设计的非法传感服务请求。为此，我们提出了一个两级级联分类器，它将GAN级联与二进制分类器相结合，以防止对抗性的假任务。仿真结果表明，该方法提高了对抗攻击检测率（AADR），通过KNN/NB从$0\%$提高到$97.5\%$，通过决策树从$45.9\%$提高到$100\%$.同时，两级分类器，原始攻击检测率（OADR）提高了三个二进制分类器，与比较，如NB从$26.1\%$到$61.5\%$。
2022-02-16 cs.AI cs.CR cs.LG
Data augmentation using generative networks to identify dementia
Department of Computer Science（计算机科学系）；Sheffield Institute for Translational Neuroscience (SITraN)（谢菲尔德转化神经科学研究所（SITraN））；Department of Human Communication Sciences（人类传播科学系）；Department of Neuroscience（神经科学系）；Royal Hallamshire Hospital（皇家哈勒姆郡医院）；Academic Neurology Unit, Royal Hallamshire Hospital（皇家哈勒姆郡医院学术神经科）
本文针对医疗机器学习分类器的数据限制问题，采用生成网络进行数据增强，将变分自编码器应用于痴呆检测的语音特征，使四分类器F值提升16%。
2026-11-11 cs.AI cs.CL cs.LG
Shedding Light on Large Generative Networks: Estimating Epistemic Uncertainty in Diffusion Models
Barcelona Supercomputing Center - Centro Nacional de Supercomputación (BSC-CNS)（巴塞罗那超级计算中心）
本文提出DECU框架，通过结合预训练参数高效训练条件扩散模型集成，并采用成对距离估计器评估互信息，准确估计大规模扩散模型的认知不确定性。
2024-06-05 cs.AI cs.CV cs.LG
Markov Property in Generative Classifiers
我们表明，对于生成分类器，条件独立对应于诱导歧视功能的线性约束。因此，无向马尔可夫网络分类器的判别函数可以由线性约束集来表征。这些约束表示的二阶有限差分算子的功能分类变量。作为一个应用，我们研究了无向马尔可夫性质下的生成分类器的表达能力，并提出了一种将判别分类器和生成分类器相结合的一般方法。
2018-11-12 cs.LG stat.ML
Reject Illegal Inputs with Generative Classifier Derived from Any Discriminative Classifier
The University of Hong Kong（香港大学）
生成式分类器已被证明有希望检测非法输入，包括对抗性样本和分布外样本。Supervised Deep Infomax~（SDIM）是一个可扩展的端到端框架，用于学习生成分类器。在本文中，我们提出了一个修改的SDIM称为SDIM- \emph{logit}。SDIM- \emph{logit}不是从头开始训练生成分类器，而是首先将任何给定的判别分类器产生的logit作为输入，并生成logit表示;然后通过对logit表示施加统计约束来导出生成分类器。SDIM- \emph{logit}能够继承判别分类器的性能而不损失。SDIM- \emph{logit}引起的额外参数的数量可以忽略不计，并且可以有效地训练与基本分类器固定。我们执行\emph{classification with rejection}，其中类条件小于预先选择的阈值的测试样本将被拒绝而不进行预测。在非法输入（包括对抗样本、常见错误样本和分布外样本）上的实验表明，SDIM- \emph{logit}允许拒绝一部分测试样本，显著提高了在左测试集上的性能.
2020-01-02 cs.LG stat.ML
Kernel-based Generative Learning in Distortion Feature Space
University of Rhode Island（罗德岛大学）
本文提出了一种新的基于核的生成式分类器，它是在一个失真子空间中使用多项式级数展开定义的，称为核失真（KD）分类器。提出了一种迭代核选择算法，通过不断地去除和添加核来稳定地提高分类性能。字符识别应用的实验结果不仅表明，所提出的生成分类器的性能优于许多现有的分类器，但也说明了它有不同的识别能力相比，最先进的判别分类器-深度信念网络。识别多样性表明，所提出的生成分类器和判别分类器的混合组合，可以进一步提高分类性能。两种混合组合方法，级联和堆叠，已被实现，以验证的多样性和改进的分类器。
2016-06-21 cs.LG stat.ML
Are Generative Classifiers More Robust to Adversarial Attacks?
Microsoft Research Cambridge（微软研究院剑桥分院）；University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Eberhard Karls University of Tübingen（图宾根大学）
随着先进的攻击和防御技术的积极开发，人们对研究深度神经网络分类器对对手的鲁棒性越来越感兴趣。然而，最近的工作主要集中在判别分类器上，它只对给定输入的标签的条件分布进行建模。在本文中，我们提出并研究了深度贝叶斯分类器，它改进了经典的朴素贝叶斯与条件深度生成模型。我们进一步开发了对抗性示例的检测方法，这些方法在生成模型下拒绝低可能性的输入。实验结果表明，深度贝叶斯分类器比深度判别分类器更强大，并且所提出的检测方法对许多最近提出的攻击是有效的。
2019-05-27 cs.LG stat.ML
Generative Well-intentioned Networks
Tsinghua University（清华大学）
我们提出了生成善意网络（GWINs），这是一种新的框架，用于提高基于确定性的封闭世界分类器的准确性。条件生成网络恢复分类器以高确定性正确标记的观察结果的分布。在推理过程中，我们向分类器引入了拒绝选项，允许分类器拒绝观察实例，而不是预测不确定的标签。这些被拒绝的观察结果由生成网络转换为高确定性的表示，然后由分类器重新标记。该架构允许任何基于确定性的分类器或拒绝函数，并且不限于多层感知器。使用基准分类数据集评估该框架的能力，并表明GWINs显着提高不确定观测的准确性。
2019-10-28 cs.LG stat.ML
DBCal: Density Based Calibration of classifier predictions for uncertainty quantification
Pacific Northwest National Laboratory（太平洋西北国家实验室）
测量来自机器学习方法的预测的不确定性在科学领域和应用中是重要的。我们目前，据我们所知，第一个这样的技术，量化的不确定性的预测从一个分类器和帐户的分类器的信念和性能。我们证明，我们的方法提供了一个准确的估计的概率，两个神经网络的输出是正确的，通过显示一个预期的校准误差小于0.2%的二进制分类器，和小于3%的语义分割网络与极端的类不平衡。我们的经验表明，我们的方法返回的不确定性是分类器的预测是正确的概率的准确测量，因此在不确定性传播具有广泛的实用性。
2022-04-01 cs.LG stat.ML
Robust Inference via Generative Classifiers for Handling Noisy Labels
KAIST（韩国科学技术院）；Google Brain（谷歌大脑）；University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；AItrics
大规模数据集可能包含相当大比例的噪声（不正确）类标签，并且众所周知，现代深度神经网络（DNN）很难从这种噪声训练数据集进行泛化。为了缓解这个问题，我们提出了一种新的推理方法，称为鲁棒生成分类器（RoG），适用于任何有区别的（例如，softmax）在噪声数据集上预训练的神经分类器。特别是，我们在预训练的DNN的隐藏特征空间之上引入了一个生成分类器，以获得更鲁棒的决策边界。通过使用最小协方差行列式估计器估计生成式分类器的参数，我们显着提高了分类精度，而无需重新训练深度模型，也无需改变其架构。假设特征为高斯分布，我们证明了RoG在噪声标签下比基线更好地推广。最后，我们提出了RoG的集成版本，通过研究DNN的逐层特性来提高其性能。我们广泛的实验结果证明了RoG的优越性，给出了通过多种训练技术优化的不同学习模型，以处理不同的噪声标签场景。
2019-05-13 cs.LG stat.ML
An Uncertainty Framework for Classification
我们定义了一个广义似然函数的不确定性措施的基础上，并表明，最大限度地提高这样的似然函数不同的措施，诱导不同类型的分类。在概率框架中，我们获得了优化交叉熵函数的分类器。在可能性框架中，我们得到的分类器，最大限度地提高类间的利润。此外，我们表明，支持向量机是这些最大间距分类器的子类。
2013-01-16 cs.LG stat.ML
On the Calibration of Probabilistic Classifier Sets
Ghent University（根特大学）；LMU Munich（慕尼黑大学）
本文将校准概念从单个概率分类器扩展到概率分类器集合，提出新的非参数校准检验方法，并通过实验揭示深度神经网络集成普遍校准不佳的问题。
2023-04-19 cs.LG stat.ML
