Contrastive MIM: A Contrastive Mutual Information Framework for Unified Generative and Discriminative Representation Learning
NVIDIA
提出cMIM框架，通过对比目标增强MIM，统一生成式与判别式表示学习，无需正样本增强且对批次大小鲁棒，实验表明其在分类回归任务上优于MIM和InfoNCE。
2025-09-08 cs.LG
Discriminative Regularization for Generative Models
Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）
我们探讨的问题，是否表示学习分类器可以用来提高生成模型的质量。我们的推测是，标签对应于自然数据的特征，这些特征对人类来说是最突出的：面孔中的身份，图像中的对象和语音中的话语。我们建议利用这一点，通过使用歧视性分类器的表示，以增加相应的生成模型的目标函数。特别是，我们提高了目标函数的变分自动编码器，一个流行的生成模型，具有歧视性的正则化项。我们表明，以这种方式增强目标函数会导致样本比标准变分自编码器的样本更清晰，视觉质量更高。
2016-02-15 cs.LG stat.ML
Discriminatively-Tuned Generative Classifiers for Robust Natural Language Inference
University of Chicago（芝加哥大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
虽然判别式神经网络分类器通常是优选的，但是最近的工作已经显示出生成式分类器在数据效率和鲁棒性方面的优势。在本文中，我们专注于自然语言推理（NLI）。我们提出了GenNLI，一个用于NLI任务的生成分类器，并通过将其与五个基线进行比较来实证表征其性能，包括判别模型和大规模预训练语言表示模型，如BERT。我们探索了我们的生成分类器的区分微调的训练目标，显示了对先前工作的日志损失微调的改进。特别是，我们发现一个简单的无界修改日志损失，我们称之为“infinilog损失”强有力的结果。我们的实验表明，GenNLI在几个具有挑战性的NLI实验设置中，包括小训练集，不平衡的标签分布和标签噪声，都优于判别和预训练基线。
2020-10-08 cs.CL cs.LG
Generative and Discriminative Text Classification with Recurrent Neural Networks
DeepMind
我们以经验为基础描述了用于文本分类的判别式和生成式LSTM模型的性能。我们发现，尽管基于RNN的生成模型比它们的词袋祖先更强大（例如，它们考虑了文档中单词之间的条件依赖性），它们具有比区分训练的RNN模型更高的渐近错误率。然而，我们也发现生成模型比它们的判别模型更快地接近它们的渐近错误率--Ng & Jordan（2001）证明的模式同样适用于做出更天真的条件独立假设的线性分类模型。基于这一发现，我们假设基于RNN的生成分类模型对数据分布的变化更鲁棒。这一假设在zero-shot和连续学习设置中的一系列实验中得到了证实，这些实验表明生成模型的性能大大优于判别模型。
2017-05-26 cs.CL cs.LG stat.ML
EchoAlign: Bridging Generative and Discriminative Learning under Noisy Labels
School of Software, Shandong University, Jinan 250100, China（山东大学软件学院，济南250100，中国）；Sydney AI Centre, The University of Sydney, Sydney, NSW 2050, Australia（悉尼大学悉尼人工智能中心，悉尼，新南威尔士州2050，澳大利亚）
EchoAlign通过将噪声标签作为监督目标，调整实例特征以实现对齐，提升在高噪声环境下的鲁棒学习能力，实验显示其在多个数据集上表现优于现有方法。
2026-05-11 cs.LG
Discriminative, Generative and Self-Supervised Approaches for Target-Agnostic Learning
Monash University（莫纳什大学）
监督学习的特征在于区分学习和生成学习，其寻求基于预定义的预测器属性集合来预测单个（有时是多个）预定义目标属性的值。对于应用程序中的可用信息和预测可能会有所不同，从实例到实例，我们提出了目标不可知学习的任务，其中任意不相交的属性集可以用于每个预测和目标的每个待预测的实例。对于这项任务，我们调查了各种可用于处理缺失值、自我监督训练和伪似然训练的技术，并将它们适应一套适合该任务的算法。我们对这套算法在大量分类，连续和离散数据集上进行了广泛的实验，并报告了它们在分类和回归误差方面的性能。我们还报告了这些算法在处理大规模数据集时的训练和预测时间。生成和自监督学习模型都表现良好的任务，虽然他们对不同类型的数据的特点是相当不同的。然而，我们推导出的伪似然理论的定理也表明，它们是相关的推断一个联合分布模型的基础上的伪似然训练。
2020-11-12 cs.LG
IRGAN: A Minimax Game for Unifying Generative and Discriminative Information Retrieval Models
University College London（伦敦大学学院）；Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）；Tianjin University（天津大学）；Birkbeck, University of London（伦敦大学伯贝克学院）
本文对信息检索建模中的两个思想流派进行了统一的阐述：生成式检索侧重于预测给定查询的相关文档，判别式检索侧重于预测给定查询-文档对的相关性。我们提出了一个博弈论的极大极小博弈迭代优化这两个模型。一方面，旨在从标记和未标记数据中挖掘信号的判别模型为训练生成模型提供指导，以在给定查询的文档上拟合潜在的相关性分布。另一方面，生成模型作为当前判别模型的攻击者，通过最小化其判别目标，以对抗的方式为判别模型生成困难的示例。随着这两个模型之间的竞争，我们表明，统一的框架利用了两个学派的思想：（i）生成模型学习通过来自判别模型的信号来拟合文档的相关性分布，以及（ii）判别模型能够利用生成模型选择的未标记数据来实现对文档排序的更好估计。我们的实验结果表明，在包括Web搜索、项目推荐和问答在内的各种应用中，与强基线相比，Precision@5和MAP的性能分别提高了23.96%和15.50%。
2018-02-22 cs.IR cs.LG
Learning Discriminative Metrics via Generative Models and Kernel Learning
University of Southern California（南加州大学）；University of Pennsylvania（宾夕法尼亚大学）
指定数据点之间的距离的距离可以以区别性方式或从生成模型中学习。在本文中，我们展示了如何通过一个内核学习框架来统一度量的生成学习和判别学习。具体来说，我们学习从参数生成模型优化的局部度量。然后，这些被用作基本内核，以构建一个全局内核，最大限度地减少一个歧视性的训练标准。我们考虑局部度量核的线性和非线性组合。我们的实证结果表明，这些组合显着提高分类任务的性能。所提出的学习算法也是非常有效的，实现了数量级的训练时间相比，以前的判别基线方法的加速。
2011-09-19 cs.AI cs.LG stat.ME
Stochastic Discriminative EM
Norwegian University of Science and Technology（挪威科技大学）；University of Granada（格拉纳达大学）
随机判别EM（英语：Stochastic discriminative EM，缩写：sdEM）是一种在线EM型算法，用于判别训练属于指数族的概率生成模型。在这项工作中，我们介绍和证明这个算法作为一个随机的自然梯度下降方法，即一种方法，占统计模型的参数空间中的信息几何。我们展示了如何使用这种学习算法来训练概率生成模型，通过最小化不同的判别损失函数，如负条件对数似然和铰链损失。由sdEM训练得到的模型总是生成的（即它们定义了联合概率分布），因此，无论是在学习还是在进行预测时，都可以以原则性的方式处理缺失数据和潜在变量。该方法的性能说明了几个文本分类问题，其中一个多项式朴素贝叶斯和一个潜在的Dirichlet分配为基础的分类器学习使用不同的判别损失函数。
2014-10-02 cs.LG
Using the Naive Bayes as a discriminative classifier
Telecom SudParis（南巴黎电信学院）；Institut Polytechnique de Paris（巴黎综合理工学院）；IBM GSB France（IBM法国全球企业服务部）
对于分类任务，概率模型可以分为两个不相交的类：生成或判别。它取决于给定观测$y$，$p(x | y)$的标签$x$的后验概率计算。一方面，生成式分类器，如朴素贝叶斯或隐马尔可夫模型（HMM），在使用贝叶斯规则来计算$p(x | y)$之前，需要计算联合概率p（x，y）。另一方面，判别分类器直接计算$p(x | y)$，而不管观测的规律。它们现在被广泛使用，具有逻辑斯谛回归、条件随机场（CRF）和人工神经网络等模型。然而，最近的熵前向-后向算法表明，隐马尔可夫模型，作为一个生成模型，也可以匹配的歧视性的定义。这个例子引发了一个问题，即其他生成模型是否也是如此。在本文中，我们证明了朴素贝叶斯分类器也可以匹配判别分类器的定义，因此它可以以生成或判别的方式使用。此外，这一观察还讨论了生成-判别对的概念，例如，将朴素贝叶斯和逻辑斯谛回归或HMM和CRF联系起来。与此相关，我们表明，逻辑斯谛回归可以被看作是一个特殊的情况下，朴素贝叶斯用于判别的方式。
2021-03-05 cs.LG stat.ML
Multi-Label Topic Assignment via LLM Distillation: A Comparative Analysis of Generative vs. Discriminative Student Models
eBay Inc.（eBay公司）
本研究通过比较生成式与判别式学生模型在多标签主题分配中的性能，发现生成式模型在复杂对话和标签扩展场景下更优，并已成功部署于大规模电商生产环境。
2026-10-08 cs.CL cs.LG
Discriminative Score Function: Turning Pretrained Models into Functional Generative Priors
Seoul National University（首尔大学）
该研究提出判别式评分函数（DSF），从预训练判别式模型的损失梯度几何提取生成场，可用于图像生成、编辑等任务，还能实现零样本量化校准，效果优于无数据基线。
2026-10-14 cs.CV cs.LG
A Hybrid of Generative and Discriminative Models Based on the Gaussian-coupled Softmax Layer
Osaka University（大阪大学）；Institute for Datability Science（数据可行性科学研究所）
本文提出在单个神经网络中结合高斯耦合Softmax层，同时估计类后验与类条件分布，实现生成式与判别式模型的混合，并应用于半监督学习和置信度校准。
2023-05-10 cs.CV cs.LG
Reject Illegal Inputs with Generative Classifier Derived from Any Discriminative Classifier
The University of Hong Kong（香港大学）
生成式分类器已被证明有希望检测非法输入，包括对抗性样本和分布外样本。Supervised Deep Infomax~（SDIM）是一个可扩展的端到端框架，用于学习生成分类器。在本文中，我们提出了一个修改的SDIM称为SDIM- \emph{logit}。SDIM- \emph{logit}不是从头开始训练生成分类器，而是首先将任何给定的判别分类器产生的logit作为输入，并生成logit表示;然后通过对logit表示施加统计约束来导出生成分类器。SDIM- \emph{logit}能够继承判别分类器的性能而不损失。SDIM- \emph{logit}引起的额外参数的数量可以忽略不计，并且可以有效地训练与基本分类器固定。我们执行\emph{classification with rejection}，其中类条件小于预先选择的阈值的测试样本将被拒绝而不进行预测。在非法输入（包括对抗样本、常见错误样本和分布外样本）上的实验表明，SDIM- \emph{logit}允许拒绝一部分测试样本，显著提高了在左测试集上的性能.
2020-01-02 cs.LG stat.ML
Generative-Discriminative Complementary Learning
University of Pittsburgh（匹兹堡大学）；The University of Melbourne（墨尔本大学）；The University of Sydney（悉尼大学）；Carnegie Mellon University（卡内基梅隆大学）
大多数最先进的深度学习方法都是判别式方法，它们对给定输入特征的标签的条件分布进行建模。这种方法的成功在很大程度上取决于高质量的标记实例，这是不容易获得的，特别是随着候选类的数量增加。本文研究了互补学习问题。与普通标签不同，互补标签很容易获得，因为注释器只需要为每个实例随机选择一个候选类提供一个是/否的答案。我们提出了一种生成-判别互补学习方法，该方法通过对条件（判别）和实例（生成）分布进行建模来估计普通标签。我们的方法，我们称之为互补条件GAN（CC GAN），提高了预测普通标签的准确性，并可以生成高质量的实例，尽管监管不力。除了大量的实证研究，我们还从理论上证明了我们的模型可以从互补标记的数据中恢复真实的条件分布。
2019-09-11 cs.LG stat.ML
Introspective Generative Modeling: Decide Discriminatively
UCSD（加州大学圣地亚哥分校）
我们通过开发内省生成建模（IGM）来研究无监督学习，IGM使用渐进学习的深度卷积神经网络来获得生成器。生成器本身是一个具有内省能力的学习器：能够自我评估其生成的样本与给定的训练数据之间的差异。当随后进行重复的判别学习时，现代判别分类器的期望属性直接由生成器继承。IGM使用分类合成算法学习CNN分类器的级联。在实验中，我们观察到令人鼓舞的结果，包括纹理建模，艺术风格转移，人脸建模，和半监督学习的应用。
2017-04-25 cs.CV cs.LG cs.NE
Principled Hybrids of Generative and Discriminative Domain Adaptation
School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）；Silicon Valley AI Lab, Baidu Research（百度研究院硅谷人工智能实验室）
我们提出了一个概率框架领域自适应，混合生成和歧视性建模的原则性的方式。在这个框架下，生成和判别模型对应于先验参数的特定选择。这为我们提供了一种非常普遍的方法，通过不同的先验选择，在生成性和歧视性极端之间进行插值。通过最大化边际和条件对数似然，从这个框架导出的模型可以使用来自源域的标记实例以及来自源域和目标域的未标记实例。在这个框架下，我们表明，流行的重建损失的自动编码器对应于一个上界的负边缘对数似然的未标记的情况下，边缘分布由适当的内核密度估计。这提供了一种方法来解释自动编码器在领域自适应和半监督学习中的经验成功。我们使用神经网络实例化我们的框架，并建立一个具体的模型，DAuto。经验上，我们证明了DAuto在文本，图像和语音数据集上的有效性，表明当领域自适应是可能的时，它优于相关竞争对手。
2017-10-27 cs.AI cs.LG
Deep Privacy Funnel Model: From a Discriminative to a Generative Approach with an Application to Face Recognition
Harvard University（哈佛大学）；Idiap Research Institute（Idiap 研究所）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Université de Lausanne（洛桑大学）
本文提出深度隐私 funnel 模型，结合信息论隐私原则与表征学习，改进人脸识别中的隐私保护与效用平衡，同时引入生成隐私 funnel 模型和深度变分隐私 funnel 模型，降低敏感信息泄露。
2026-04-09 cs.LG
Generative Click-through Rate Prediction with Applications to Search Advertising
提出一种结合生成式预训练与判别式微调的两阶段CTR预测模型，通过生成模型增强表达能力，并在新数据集和在线A/B测试中验证了有效性，已部署于大型电商平台。
2025-07-15 cs.LG
Max-margin Deep Generative Models
Stanford University（斯坦福大学）；Tsinghua University（清华大学）
深度生成模型（DGMs）在学习复杂数据的多层表示和通过探索生成能力来执行输入数据的推理方面是有效的。然而，很少有工作已经做了检查或授权的判别能力的DGMs作出准确的预测。本文提出了最大间隔深度生成模型（mmDGMs），该模型探索了最大间隔学习的强区分原则，以提高DGMs的区分能力，同时保留生成能力。针对分段线性目标，提出了一种有效的双随机次梯度算法。在MNIST和SVHN数据集上的实验结果表明，（1）最大间隔学习可以显着提高DGMs的预测性能，同时保持生成能力;（2）通过采用深度卷积神经网络（CNN）作为识别和生成模型，mmDGMs与最先进的完全判别网络相比具有竞争力。
2015-12-15 cs.CV cs.LG
Generative or Discriminative? Revisiting Text Classification in the Era of Transformers
Amazon Inc.（亚马逊公司）
本文在Transformer时代重新审视文本分类，比较生成式与判别式模型的性能，揭示不同架构下的表现差异并提供实际应用指导。
2026-01-09 cs.CL cs.LG
SelfEval: Leveraging the discriminative nature of generative models for evaluation
Meta；GenAI（生成式人工智能部门）
提出SelfEval方法，利用生成模型自身计算真实图像给定文本提示的似然以评估文本-图像生成扩散模型的文本对齐性，在多任务上与人类评估高度一致，且无需外部模型，还展现出与判别模型相当的识别性能。
2024-11-27 cs.CV cs.LG
Training Discriminative Models to Evaluate Generative Ones
Flowers Laboratory (ENSTA ParisTech & INRIA)（弗劳尔斯实验室（巴黎高等科技学院与法国国家信息与自动化研究所））；Thales, Theresis Laboratory（泰雷兹集团泰雷西斯实验室）
众所周知，生成模型很难评估。最近的工作，特别是关于生成对抗网络（GANs）的工作，可以为不同类别的图像生成良好的视觉样本。然而，对其质量的验证仍然难以界定，目前还没有关于最佳评价程序的协议。本文旨在为生成模型的客观评价过程迈出一步。它提出了一种新的方法来评估一个训练的生成模型，通过评估测试精度的分类器训练生成的数据。测试集由真实图像组成。因此，分类器精度被用作评估生成模型是否符合真实数据分布的代理。通过将结果与不同生成的数据集进行比较，我们能够对生成模型进行分类和比较。这种方法的动机也是为了评估生成模型是否可以帮助判别神经网络学习，即，衡量在生成的数据上进行训练是否能够使模型在真实设置上成功测试。我们的实验比较了MNIST和时尚MNIST数据集上的变分自动编码器（VAE）和生成对抗网络（GAN）框架的不同生成器。我们的研究结果表明，没有一个生成模型能够完全取代真实的数据训练一个判别模型。但它们也表明，初始GAN和WGAN是在MNIST数据库（修改的美国国家标准与技术研究所数据库）和时装MNIST数据库上生成的最佳选择。
2019-07-01 cs.LG stat.ML
A Tale of Three Probabilistic Families: Discriminative, Descriptive and Generative Models
University of California, Los Angeles（加州大学洛杉矶分校）
Grenander的模式理论是一个数学框架，其中模式由代数结构的随机变量的概率模型表示。在本文中，我们回顾了三个家庭的概率模型，即判别模型，描述模型和生成模型。判别模型是以分类器的形式存在的。它指定给定输入信号的类标签的条件概率。描述性模型基于在信号上定义的能量函数来指定信号的概率分布。生成模型假设信号是由一些潜变量通过变换生成的。我们将在一个共同的框架内回顾这些模型，并探讨它们之间的联系。我们还将回顾利用深度神经网络的高逼近能力的最新发展。
2018-12-04 cs.CV cs.LG stat.ML
Discriminative classification with generative features: bridging Naive Bayes and logistic regression
Brigham Young University（杨百翰大学）；University of California, Santa Barbara（加州大学圣芭芭拉分校）
Smart Bayes通过整合生成特征与判别模型，提升分类性能，优于朴素贝叶斯和逻辑回归。
2025-11-30 cs.AI cs.LG stat.CO
Learning Symbolic Representations Through Joint GEnerative and DIscriminative Training
KU Leuven（鲁汶大学）
本文提出贝叶斯框架 GEDI，联合生成模型与自监督判别目标学习符号表示，可无缝接入神经符号框架，并在多个图像基准上显著提升聚类与小数据性能。
2023-04-22 cs.AI cs.LG
Stochastic Feature Mapping for PAC-Bayes Classification
Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）
数据分布的概率生成建模可以潜在地利用对判别分类有用的隐藏信息。这一观察激发了将生成模型和判别模型结合起来进行分类的方法的发展。在本文中，我们提出了一种新的方法来耦合生成和歧视性模型在一个统一的框架的基础上PAC-Bayes风险理论。我们首先从一个实际的MAP分类器上生成模型的操作模型参数无关的随机特征映射。然后，我们构造了一个线性随机分类器配备的特征映射，并推导出明确的PAC-Bayes风险界，这种分类器的监督和半监督学习。最小化风险界，使用EM-样的迭代过程，导致一个新的后验隐藏变量（E-步骤）和模型参数的更新规则（M-步骤）。由于采用了特征映射的方法和边界风险的显式形式，使得后验概率的推导总是可行的。导出的后验允许调整生成模型，随后调整特征映射以获得更好的分类。由于特征映射是与模型参数无关的，因此导出的模型参数更新规则与非耦合模型相同。我们的实验表明，数据建模生成模型和判别式分类器之间的耦合，通过在这个框架中的随机特征映射，导致一个一般的分类工具与国家的最先进的性能。
2012-04-16 cs.LG
Hybrid Discriminative-Generative Training via Contrastive Learning
University of California, Berkeley（加州大学伯克利分校）
对比学习和监督学习都取得了重大进展和成功。然而，到目前为止，它们在很大程度上被视为两个独立的目标，只有通过共享神经网络才能结合在一起。在本文中，我们表明，通过基于能量的模型的混合判别生成训练的角度，我们可以直接连接对比学习和监督学习。除了呈现这种统一的观点之外，我们还展示了我们对基于能量的损失的近似的具体选择在CIFAR-10和CIFAR-100上的WideResNet分类准确性方面优于现有实践。它还提高了鲁棒性、分布外检测和校准性能。
2020-08-10 cs.CV cs.LG stat.ML
Towards the Unification of Generative and Discriminative Visual Foundation Model: A Survey
University of California Los Angeles（加利福尼亚大学洛杉矶分校）；Rice University（莱斯大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Michigan（密歇根大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Walmart Global Tech（沃尔玛全球技术公司）；Santa Clara University（圣克拉拉大学）；Shanghai AI Laboratory（上海人工智能实验室）；Johns Hopkins University（约翰斯·霍普金斯大学）
本综述梳理视觉基础模型在生成式、判别式任务的发展脉络与核心方法，整理相关资源与挑战，指出两类范式融合是未来创新方向，为领域研究者提供参考。
2023-12-15 cs.CV cs.LG
Discriminative Estimation of Total Variation Distance: A Fidelity Auditor for Generative Data
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出一种判别式估计总变差距离的方法，通过贝叶斯风险与TV距离的关系实现生成数据保真度审计，并证明高斯分布分离度影响估计精度，实验验证了有效性。
2024-05-24 cs.LG stat.ML
The Informed Sampler: A Discriminative Approach to Bayesian Inference in Generative Computer Vision Models
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Microsoft Research Cambridge（微软研究院剑桥实验室）
计算机视觉是困难的，因为在照明，形状和纹理的大的可变性;此外，图像信号是非加性的，由于闭塞。生成模型承诺通过准确地将图像形成过程建模为具有先前信念的潜变量的函数来解释这种可变性。贝叶斯后验推理原则上可以解释观察结果。虽然直观上很吸引人，但由于后验推理的困难，计算机视觉的生成模型在很大程度上未能实现这一承诺。因此，社区倾向于有效的歧视性做法。我们仍然相信生成模型在计算机视觉中的有用性，但认为我们需要利用现有的判别式甚至启发式计算机视觉方法。我们实现这一想法的原则性的方式与“知情的采样器”，并在仔细的实验中证明它具有挑战性的生成模型，其中包含渲染程序作为其组件。我们专注于倒置现有的图形渲染引擎的问题，一种方法，可以被理解为“逆图形”。知情的采样器，使用简单的判别建议的基础上现有的计算机视觉技术，实现了显着的改进的推理。
2015-03-07 cs.CV cs.LG stat.ML
A Bayesian Gaussian Process-Based Latent Discriminative Generative Decoder (LDGD) Model for High-Dimensional Data
Isfahan University of Technology（伊斯法罕理工大学）；Boston University（波士顿大学）；University of Minnesota（明尼苏达大学）；Worcester Polytechnic University（伍斯特理工大学）
提出基于贝叶斯高斯过程的潜在判别生成解码器（LDGD）模型，通过将高维数据映射到低维流形并利用诱导点降低计算复杂度，实现了高精度标签预测与高效可扩展的高维数据表征。
2024-05-07 cs.LG
Discriminative Multimodal Learning via Conditional Priors in Generative Models
BI Norwegian Business School（BI挪威商学院）；UiT The Arctic University of Norway（挪威北极大学）；Norwegian Computing Center（挪威计算中心）
带有潜变量的深度生成模型最近被用于从多模态数据中学习联合表示和生成过程。然而，这两种学习机制可能相互冲突，并且表示可能无法在数据模态上嵌入信息。本研究研究的现实场景中，所有的模态和类标签可用于模型训练，但下游任务所需的一些模态和标签丢失。我们表明，在这种情况下，变分的下限限制联合表示和丢失的方式之间的互信息。为了解决这些问题，我们引入了一种新的条件多模态判别模型，该模型使用信息丰富的先验分布，并优化了一个无似然的目标函数，使联合表示和缺失模态之间的互信息最大化。大量的实验证明了我们提出的模型的好处，实证结果表明，我们的模型实现了最先进的结果，在代表性的问题，如下游分类，声学反演，图像和注释生成。
2023-01-21 cs.LG stat.ML
Analysing Diffusion-based Generative Approaches versus Discriminative Approaches for Speech Restoration
DESY（德国电子同步加速器研究所）
在过去的几年里，基于扩散的生成模型对计算机视觉和语音处理社区产生了很大的影响。除了数据生成任务之外，它们还被用于数据恢复任务，如语音增强和去混响。虽然传统上认为判别模型更强大，例如用于语音增强，但最近已经显示生成扩散方法大大缩小了这种性能差距。在本文中，我们系统地比较了生成扩散模型和判别方法在不同的语音恢复任务的性能。为此，我们扩展我们以前的贡献扩散为基础的语音增强在复杂的时间-频率域的带宽扩展的任务。然后，我们将其与具有相同网络架构的区分训练神经网络进行比较，用于三个恢复任务，即语音去噪，去混响和带宽扩展。我们观察到，生成方法在所有任务上的全局性能都优于其判别式方法，对于非加性失真模型（如去混响和带宽扩展）具有最大的优势。代码和音频示例可以在https://uhh.de/inf-sp-sgmsemultitask上找到
2023-03-16 cs.LG cs.SD eess.AS
Diffusion-TTA: Test-time Adaptation of Discriminative Models via Generative Feedback
Carnegie Mellon University（卡内基梅隆大学）
本文提出 Diffusion-TTA，利用扩散模型的生成反馈在测试时自适应判别模型，通过最大化图像似然反向传播梯度，显著提升分类、分割和深度预测等任务的准确率，优于 TTT-MAE 和 TENT 等现有方法。
2023-11-29 cs.AI cs.CV cs.LG
Bridging Generative and Discriminative Noisy-Label Learning via Direction-Agnostic EM Formulation
Cornell Tech（康奈尔科技）；Cornell University（康奈尔大学）；Department of Radiology, Stanford University（斯坦福大学放射科）；Oxford University（牛津大学）；Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey（视觉、语音和信号处理中心（CVSSP）、塞维利亚大学）
本文提出一种方向无关的单阶段EM框架用于生成式噪声标签学习，通过判别式代理替代图像生成并引入部分标签监督，在视觉和NLP基准上以更低计算成本达到最先进准确率。
2026-09-29 cs.CV cs.LG
Interpretable Generative and Discriminative Learning for Multimodal and Incomplete Clinical Data
Department of Health Sciences and Technology (DHEST), ETH Zurich（健康科学与技术系，苏黎世联邦理工学院）；Department of Signal Theory and Communications, Universidad Carlos III de Madrid（信号理论与通信系，卡洛斯三世大学）；UCL Hawkes Institute, Department of Computer Science, University College London（UCL Hawkes研究所，伦敦大学学院计算机科学系）；Instituto de Investigación Sanitaria Gregorio Marañón (IiSGM), Madrid（Gregorio Marañón卫生研究所（IiSGM），马德里）
针对多模态临床数据视角缺失和样本量有限的问题，提出一种可解释的贝叶斯生成与判别式双重学习框架，通过半监督策略实现缺失数据填补与跨视角稳健推断。
2025-10-10 cs.LG stat.ML
Generative and discriminative training of Boltzmann machine through Quantum annealing
University of Michigan（密歇根大学）
提出了一种量子-经典混合方法，用于学习玻尔兹曼机（BM）的生成和判别任务。玻尔兹曼机是一种无向图，具有可见和隐藏节点的网络，其中前者用作读取站点，而后者用于操纵可见状态的概率。在生成式BM中，可见数据的样本模仿给定数据集的概率分布。相比之下，区别性BM的可见位点被视为输入/输出（I/O）读取位点，其中输出状态的条件概率针对给定的输入状态集合进行优化。用于学习BM的成本函数被定义为使用超参数调整的Kullback-Leibler（KL）散度和负条件对数似然（NCLL）的加权和。这里，KL Divergence是生成学习的成本，NCLL是判别学习的成本。提出了一种随机Newton-Raphson优化方法。使用通过量子退火（QA）获得的BM的直接样本来近似梯度和海森。量子退火器是代表伊辛模型的物理学的硬件，该模型在低但有限的温度下工作。该温度影响BM的概率分布;然而，其值是未知的。以前的努力集中在估计这个未知的温度，通过回归的采样状态的理论玻尔兹曼能量与实际硬件采样的状态的概率。这假设控制参数的变化不影响系统温度，然而，通常情况并非如此。相反，提出了一种基于样本的概率分布而不是能量的方法来估计最优参数集。这确保了可以从单次运行中获得最佳集合。
2022-07-19 cs.LG quant-ph
Gradients of Generative Models for Improved Discriminative Analysis of Tandem Mass Spectra
University of California, Davis（加州大学戴维斯分校）
串联质谱（MS/MS）是一种高通量技术，用于鉴定复杂生物样品（如一滴血）中的蛋白质。在该过程的输出处生成光谱的集合，其中每个光谱代表原始复杂样品中存在的肽（蛋白质子序列）。在这项工作中，我们利用生成模型的对数似然梯度来提高这种光谱的识别。特别是，我们表明，最近提出的动态贝叶斯网络（DBN）的梯度可以自然地采用基于核的判别分类。由此产生的Fisher核大大改善了最近尝试将生成和判别模型结合起来进行后处理分析的尝试，在评估的数据集上优于所有其他方法。我们通过引入Theseus，DBN代表大量广泛使用的MS/MS评分函数，将Fisher内核框架提供的改进精度扩展到其他搜索算法。此外，通过梯度上升和最大乘积推理，我们使用Theseus在没有任何监督的情况下学习模型参数。
2019-09-04 cs.LG q-bio.QM stat.ML
Direct-Inverse Prompting: Analyzing LLMs' Discriminative Capacity in Self-Improving Generation
The Pennsylvania State University（宾夕法尼亚州立大学）；University of Illinois at Chicago（芝加哥大学伊利诺伊分校）
本文提出并分析直接、逆和混合三种判别提示，利用LLMs的判别能力减少生成不确定性，实现自我改进，并在两个基准数据集上验证其效果。
2024-06-27 cs.AI cs.CL cs.LG
Green MLOps to Green GenOps: An Empirical Study of Energy Consumption in Discriminative and Generative AI Operations
Bristol Research and Innovation Laboratory（布里斯托尔研究与创新实验室）；Toshiba Europe Ltd.（东芝欧洲有限公司）；Digital Catapult（数字弹射实验室）
本研究实证分析了真实 MLOps 流水线中判别式 AI 与 LLMs 的能耗，发现优化架构与硬件可显著降低判别式模型能耗，而 LLMs 能效需平衡模型规模与请求负载，为绿色可持续 AI 运营提供了基准与指南。
2025-03-31 cs.AI cs.LG
Masked Face Recognition with Generative-to-Discriminative Representations
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security at University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Cloud Music Inc.（网易云音乐）；Department of Communication Engineering, Shanghai University（上海大学通信工程系）
提出统一深度网络，通过生成式编码器与判别式重构器学习遮挡鲁棒表征，结合关系知识蒸馏，有效提升掩蔽人脸识别性能。
2024-05-27 cs.AI cs.CV cs.LG
Hybrid Generative/Discriminative Learning for Automatic Image Annotation
College of Computing（计算机学院）；Georgia Institute of Technology（佐治亚理工学院）
自动图像注释（AIA）对机器学习提出了巨大的挑战，因为它需要对输入和输出都模糊的数据进行建模，例如，图像包含多个对象并标记有多个语义标签。更具挑战性的是，候选标签的数量通常是巨大的（与词汇大小一样大），但每个图像只与其中的几个相关。本文提出了一种混合生成判别分类器，同时解决极端的数据模糊性和过拟合的脆弱性问题，如AIA的任务。特别是：（1）建立指数-多项混合（EMM）模型，以捕获输入和输出的模糊性，同时鼓励预测稀疏性;（2）通过结合图模型的变分推理和有序回归的成对公式的判别学习，显式地最大化EMM模型的预测能力。实验表明，我们的方法实现了卓越的注释性能和更好的标签可扩展性。
2012-03-15 cs.CV cs.LG stat.ML
Generative and Discriminative Deep Belief Network Classifiers: Comparisons Under an Approximate Computing Framework
University of California, San Diego（加利福尼亚大学圣迭戈分校）
将深度学习硬件算法用于嵌入式应用的特点是存在挑战，例如设备功耗的限制、标记数据的可用性以及用于在云服务器上频繁训练的有限互联网带宽。为了实现低功耗实现，我们考虑针对嵌入式设备分类任务的深度学习算法（称为判别式深度信念网络（DDBN））的有效位宽减少和修剪。我们训练DDBN生成和歧视性目标下的近似计算框架和分析其功率在性能的监督和半监督的应用程序。我们还调查了DDBN的分布性能时，推理数据具有相同的类结构，但统计上不同的训练数据，由于动态实时操作环境。基于我们的分析，我们提供了新的见解和建议，选择训练目标，位宽值，和准确性的敏感性相对于标记的数据量，以实现DDBN推理与最低功耗的嵌入式硬件平台上的精度公差。
2021-01-31 cs.AI cs.CV cs.LG
UME-R1: Exploring Reasoning-Driven Generative Multimodal Embeddings
School of Informatics, Xiamen University, China（厦门大学信息学院）；WeChat AI, Tencent Inc, China（腾讯公司微信AI部门）；Key Laboratory of Digital Protection and Intelligent Processing of Intangible Cultural Heritage of Fujian and Taiwan (Xiamen University), Ministry of Culture and Tourism, China（福建省和台湾非物质文化遗产数字化保护与智能处理重点实验室）；Shanghai Artificial Intelligence Laboratory, China（上海人工智能实验室）
UME-R1通过生成嵌入和强化学习提升多模态嵌入性能，实现判别与生成嵌入的互补，展现生成嵌入在推理和下游任务中的优势。
2026-03-01 cs.AI cs.LG
Unsupervised and Semi-supervised Learning with Categorical Generative Adversarial Networks
University of Freiburg（弗赖堡大学）
在本文中，我们提出了一种方法来学习一个判别分类器从未标记或部分标记的数据。我们的方法基于一个目标函数，该目标函数权衡了观察到的示例及其预测的分类类分布之间的互信息，以及分类器对对抗生成模型的鲁棒性。由此产生的算法可以被解释为生成对抗网络（GAN）框架的自然推广，或者作为正则化信息最大化（RIM）框架的扩展，以针对最佳对手进行鲁棒分类。我们根据经验评估了我们的方法-我们称之为分类生成对抗网络（或CatGAN）-在合成数据以及具有挑战性的图像分类任务上，证明了学习分类器的鲁棒性。我们进一步定性地评估了与判别分类器一起学习的对抗生成器生成的样本的保真度，并确定了CatGAN目标和判别聚类算法（如RIM）之间的联系。
2016-04-30 cs.LG stat.ML
Generative vs. Discriminative modeling under the lens of uncertainty quantification
SAMOVAR（萨莫瓦尔（实验室））；Télécom SudParis（南巴黎电信学院）；Institut Polytechnique de Paris（巴黎综合理工学院）；CEA-List（原子能与替代能源委员会- LIST研究所）；Université Paris-Saclay（巴黎萨克雷大学）
本文比较生成式与判别式建模在认知不确定性量化、先验作用、半监督学习及后验预测采样上的差异，并提出兼容两类方法的通用采样方案。
2024-06-13 cs.LG stat.ME stat.ML
GEDI: GEnerative and DIscriminative Training for Self-Supervised Learning
KU Leuven（鲁汶大学）
自监督学习是利用大量未标记数据的一种流行而强大的方法，文献中已经提出了各种各样的训练目标。在这项研究中，我们进行了贝叶斯分析的国家的最先进的自监督学习目标，并提出了一个统一的制定基于似然学习。我们的分析提出了一种将自监督学习与生成模型相结合的简单方法，允许这两种看似不同的方法进行联合训练。我们将这种组合框架称为GEDI，它代表GEnerative和DIscriminative培训。此外，我们展示了一个实例的GEDI框架集成基于能量的模型与基于集群的自监督学习模型。通过对合成数据和真实数据（包括SVHN、CIFAR10和CIFAR100）的实验，我们表明GEDI在聚类性能方面远远优于现有的自监督学习策略。我们还证明了GEDI可以集成到一个神经符号框架中，以解决小数据制度中的任务，在那里它可以使用逻辑约束，以进一步提高聚类和分类性能。
2023-02-07 cs.AI cs.CV cs.LG
Discriminative and Generative Models for Anatomical Shape Analysison Point Clouds with Deep Neural Networks
LMU Munich（慕尼黑大学）
我们引入深度神经网络来分析解剖形状，从给定的任务中学习低维形状表示，而不是依赖于手工设计的表示。我们的框架是模块化的，由几个计算块，执行基本的形状处理任务。网络在无序的点云上运行，并为相似性变换提供不变性，从而避免了识别形状之间的点对应关系的需要。基于该框架，我们组装了一个判别模型的疾病分类和年龄回归，以及生成模型的累积重建的形状。特别是，我们提出了一个条件生成模型，其中的条件向量提供了一种机制来控制生成过程。例如，当将其作为辅助信息传递时，它能够评估特定于特定诊断的形状变化。在处理单个形状之后，我们引入了多个解剖结构的联合分析的扩展，其中多个结构的同时建模可以导致更紧凑的编码和更好地理解疾病。我们展示了我们的框架在真实和合成数据的综合实验的优势。关键的见解是：（i）学习特定于给定任务的形状表示比其他形状描述符产生更高的性能，（ii）多结构分析比单结构分析更有效，更准确，以及（iii）我们的模型生成的点云捕获与阿尔茨海默病相关的形态差异，以至于它们可以用于训练用于疾病分类的判别模型。我们的框架自然地扩展到大型数据集的分析，使其有可能在大规模人群中学习特征变化。
2020-10-02 cs.CV cs.LG
CDGAN: Cyclic Discriminative Generative Adversarial Networks for Image-to-Image Transformation
Indian Institute of Information Technology, Sri City（印度信息技术学院斯里城校区）；Indian Institute of Information Technology, Allahabad（印度信息技术学院阿拉哈巴德校区）
生成对抗网络（GANs）为解决图像到图像转换问题提供了一个新的方向。不同的GANs使用目标函数中具有不同损耗的生成器和卷积网络。在生成图像的质量和接近地面实况图像方面仍然存在差距。在这项工作中，我们介绍了一种新的图像到图像变换网络，称为循环判别生成对抗网络（CDGAN），填补了上述空白。建议的CDGAN生成高质量和更逼真的图像，通过将额外的循环图像，除了原来的架构的CycleGAN的网络。在三个图像到图像转换数据集上测试了所提出的CDGAN。定量和定性的结果进行了分析，并与国家的最先进的方法进行比较。在三个基线图像到图像变换数据集上进行比较时，所提出的CDGAN方法优于最先进的方法。该代码可在https://github.com/KishanKancharagunta/CDGAN上获得。
2021-11-27 cs.CV cs.LG eess.IV
Jointly Discriminative and Generative Recurrent Neural Networks for Learning from fMRI
Yale University（耶鲁大学）；Yale School of Medicine（耶鲁医学院）
递归神经网络（RNN）被设计用于处理时间序列数据，最近已被用于从功能性磁共振成像（fMRI）数据创建预测模型。然而，收集用于学习的大型fMRI数据集是一项艰巨的任务。此外，网络的可解释性尚不清楚。为了解决这些问题，我们利用多任务学习并设计了一种新的基于RNN的模型，该模型可以学习区分类别，同时学习生成fMRI时间序列数据。采用长短期记忆（LSTM）结构，我们开发了一个基于隐藏状态的判别模型和一个基于细胞状态的生成模型。生成模型的添加限制了网络学习由LSTM节点表示的函数社区，这些社区既与数据生成一致，又对分类任务有用。我们将我们的方法应用于自闭症与健康对照受试者的分类，使用自闭症脑成像数据交换的几个数据集。实验表明，我们的联合判别和生成模型改进了分类学习，同时也产生了强大而有意义的功能社区，以更好地理解模型。
2019-10-15 cs.LG eess.IV q-bio.NC
Machine learning the Ising transition: A comparison between discriminative and generative approaches
CSAIL, Massachusetts Institute of Technology（CSAIL，麻省理工学院）；Department of Physics, University of Basel（物理系，巴塞尔大学）
本文以二维正方晶格铁磁伊辛模型的热相变为案例，通过数值实验比较判别式与生成式方法在相变分类任务中的适用性，为相分类问题的求解路径选择提供依据。
2024-11-28 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Classification via score-based generative modelling
在这项工作中，我们研究了基于分数的梯度学习在判别和生成分类设置中的应用。分数函数可以用来表征数据分布，作为密度的替代。它可以通过分数匹配有效地学习，并用于灵活地生成可信的样本，以提高区分性分类质量，恢复密度和构建生成式分类器。我们分析了涉及基于分数的表示的决策理论，并在模拟和真实世界的数据集上进行了实验，证明了它在实现和提高二进制分类性能方面的有效性，以及对扰动的鲁棒性，特别是在高维和不平衡的情况下。
2022-07-22 cs.AI cs.LG
Semi-Implicit Generative Model
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
为了结合显式和隐式生成模型，我们引入了半隐式生成器（SIG）作为一个灵活的分层模型，可以在极大似然框架中进行训练。理论和实验表明，SIG可以生成高质量的样本，特别是在处理多模态时。通过将SIG作为无偏正则化器引入到生成对抗网络（GAN）中，我们证明了极大似然和对抗学习之间的相互作用可以稳定对抗训练，抵抗GANs臭名昭著的模式崩溃问题，并提高生成的随机样本的多样性。
2019-07-29 cs.LG stat.ML
