The Informed Sampler: A Discriminative Approach to Bayesian Inference in Generative Computer Vision Models
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Microsoft Research Cambridge（微软研究院剑桥实验室）
计算机视觉是困难的，因为在照明，形状和纹理的大的可变性;此外，图像信号是非加性的，由于闭塞。生成模型承诺通过准确地将图像形成过程建模为具有先前信念的潜变量的函数来解释这种可变性。贝叶斯后验推理原则上可以解释观察结果。虽然直观上很吸引人，但由于后验推理的困难，计算机视觉的生成模型在很大程度上未能实现这一承诺。因此，社区倾向于有效的歧视性做法。我们仍然相信生成模型在计算机视觉中的有用性，但认为我们需要利用现有的判别式甚至启发式计算机视觉方法。我们实现这一想法的原则性的方式与“知情的采样器”，并在仔细的实验中证明它具有挑战性的生成模型，其中包含渲染程序作为其组件。我们专注于倒置现有的图形渲染引擎的问题，一种方法，可以被理解为“逆图形”。知情的采样器，使用简单的判别建议的基础上现有的计算机视觉技术，实现了显着的改进的推理。
2015-03-07 cs.CV cs.LG stat.ML
Interpretable Generative and Discriminative Learning for Multimodal and Incomplete Clinical Data
Department of Health Sciences and Technology (DHEST), ETH Zurich（健康科学与技术系，苏黎世联邦理工学院）；Department of Signal Theory and Communications, Universidad Carlos III de Madrid（信号理论与通信系，卡洛斯三世大学）；UCL Hawkes Institute, Department of Computer Science, University College London（UCL Hawkes研究所，伦敦大学学院计算机科学系）；Instituto de Investigación Sanitaria Gregorio Marañón (IiSGM), Madrid（Gregorio Marañón卫生研究所（IiSGM），马德里）
针对多模态临床数据视角缺失和样本量有限的问题，提出一种可解释的贝叶斯生成与判别式双重学习框架，通过半监督策略实现缺失数据填补与跨视角稳健推断。
2025-10-10 cs.LG stat.ML
Gradients of Generative Models for Improved Discriminative Analysis of Tandem Mass Spectra
University of California, Davis（加州大学戴维斯分校）
串联质谱（MS/MS）是一种高通量技术，用于鉴定复杂生物样品（如一滴血）中的蛋白质。在该过程的输出处生成光谱的集合，其中每个光谱代表原始复杂样品中存在的肽（蛋白质子序列）。在这项工作中，我们利用生成模型的对数似然梯度来提高这种光谱的识别。特别是，我们表明，最近提出的动态贝叶斯网络（DBN）的梯度可以自然地采用基于核的判别分类。由此产生的Fisher核大大改善了最近尝试将生成和判别模型结合起来进行后处理分析的尝试，在评估的数据集上优于所有其他方法。我们通过引入Theseus，DBN代表大量广泛使用的MS/MS评分函数，将Fisher内核框架提供的改进精度扩展到其他搜索算法。此外，通过梯度上升和最大乘积推理，我们使用Theseus在没有任何监督的情况下学习模型参数。
2019-09-04 cs.LG q-bio.QM stat.ML
DiffGAD: A Diffusion-based Unsupervised Graph Anomaly Detector
University of Science and Technology of China（中国科学技术大学）；New York University（纽约大学）；China Academy of Electronics and Information Technology（中国电子科技集团公司电子科学研究院）
DiffGAD提出基于扩散的潜在空间学习范式，注入判别性内容并引入内容保留机制，在六个大规模数据集上显著提升无监督图异常检测性能。
2025-02-25 cs.AI cs.LG cs.SI
Unsupervised Contextual Anomaly Detection using Joint Deep Variational Generative Models
提出了一种用于无监督上下文异常检测的方法，该方法使用交叉链接的变分自动编码器对来为观察分配正态性分数。该方法能够将上下文属性与行为属性区分开，并且对于异常或新颖的上下文属性的存在是鲁棒的。该方法可以用包含异常的数据集进行训练，而无需任何特殊的预处理。
2019-04-01 cs.LG stat.ML
FastLogAD: Log Anomaly Detection with Mask-Guided Pseudo Anomaly Generation and Discrimination
University of Alberta（阿尔伯塔大学）
针对现有无监督日志异常检测需额外数据、速度不足的问题，提出FastLogAD框架，通过掩码引导生成伪异常日志，基于嵌入范数实现无测试数据的阈值选择，在基准上性能更优且检测速度至少提升10倍。
2024-04-12 cs.LG
Universal Data Anomaly Detection via Inverse Generative Adversary Network
Cornell University（康奈尔大学）
研究了数据异常检测问题。在对无异常数据进行建模的零假设下，假设测量值来自具有一些经过验证的历史样本的未知分布。在复合备择假设下，测量值来自与零假设下的分布相距正距离的未知分布。没有训练数据可用于异常数据的分布。提出了一种基于逆生成对抗网络的半监督深度学习技术。
2020-01-23 cs.LG eess.SP stat.ML
Adversarial Anomaly Detection using Gaussian Priors and Nonlinear Anomaly Scores
eMundo GmbH（eMundo 公司）；Gofore Oyj（Gofore 公司）；LMU Munich（慕尼黑大学）；University of Vienna（维也纳大学）
本文提出β-VAEGAN模型，结合VAE与GAN，并通过核化SVM学习非线性异常分数及利用高斯先验偏差构造新分量，在MITBIH心律失常数据库上将异常检测F1分数从0.85提升至0.92。
2023-10-27 cs.LG stat.ML
MadSGM: Multivariate Anomaly Detection with Score-based Generative Models
Yonsei University（延世大学）；Samsung SDS（三星SDS）；LG AI Research（LG人工智能研究院）
MadSGM提出基于分数生成模型的多变量时间序列异常检测方法，综合重构、密度和梯度三类异常度量，在五个基准数据集上取得最稳健准确的预测结果。
2023-08-29 cs.AI cs.LG
Bayesian Semisupervised Learning with Deep Generative Models
基于神经网络的具有判别成分的生成模型是一种强有力的半监督学习方法。然而，这些技术a）不能在模型的判别分量的估计中考虑模型不确定性，以及b）缺乏在标签生成过程中捕获复杂随机模式的灵活性。为了避免这些问题，我们首先建议使用具有随机输入的判别分量以增加噪声灵活性。我们展示了如何一个有效的吉布斯抽样程序可以边缘化的随机输入时，推断在这个模型中丢失的标签。在此之后，我们扩展的判别组件是完全贝叶斯和产生的不确定性估计其参数值。这为半监督贝叶斯主动学习打开了大门。
2017-06-29 stat.ML
GRD-Net: Generative-Reconstructive-Discriminative Anomaly Detection with Region of Interest Attention Module
Department of Engineering, University of Ferrara（费拉拉大学工程学院）；Bonfiglioli Engineering（博尼菲利奥工程公司）
GRD-Net通过生成-重建-判别架构和感兴趣区域注意力模块，实现更高效的异常检测，适用于工业表面缺陷识别。
2026-03-08 cs.AI cs.CV cs.LG
Discriminative training for Convolved Multiple-Output Gaussian processes
多输出高斯过程（MOGP）是向量值函数上的概率分布，并且先前已用于多输出回归和多类分类。多输出高斯过程的一个较少探索的方面是，它可以用作模式识别背景下的向量值随机场的生成模型。作为生成模型，多输出GP能够处理具有连续输入的向量值函数，例如，与隐马尔可夫模型相反。它还提供了建模多维随机函数与高维输入的能力。在这份报告中，我们使用一个被称为最小分类误差的判别训练标准来拟合多输出高斯过程的参数。我们比较了MOGP的生成训练和区分训练在情感识别、活动识别和人脸识别方面的表现。我们还比较了所提出的方法对隐马尔可夫模型训练的生成和歧视的方式。
2015-02-07 stat.ML
An Interpretable Generative Framework for Anomaly Detection in High-Dimensional Financial Time Series
Department of Information Systems & Analytics（信息系统与分析系）；Farmer School of Business（农民商学院）
ReGEN-TAD通过结合现代机器学习与经济计量诊断，提出了一种可解释的生成框架，用于高维金融时间序列中的异常检测，提升了鲁棒性和经济一致性。
2026-03-09 cs.LG stat.ML
Inference with Discriminative Posterior
我们研究贝叶斯判别推理给定一个模型族$p(c,\x, θ)$，假设包含我们所有的先验信息，但仍然是不正确的。这介于“标准”贝叶斯生成建模和贝叶斯回归之间，其中已知余量$p(\x,θ)$关于$p(c|\x,θ)$没有信息。我们给出了一个公理证明，即判别式后验概率对于条件推理是一致的;使用判别式后验概率是经典贝叶斯回归中的标准实践，但我们表明，对于联合密度的模型族，它在理论上也是合理的。与贝叶斯回归相比，一个实际的好处是，在生成建模中处理缺失值的标准方法可以扩展到判别推理，如果数据量很小，这是有用的。与标准的生成式建模相比，如果模型族不正确，则判别后验会产生更好的条件推理。如果模型族也包含真实模型，则判别后验给出与标准贝叶斯生成建模相同的结果。用马尔可夫链蒙特卡罗进行了实际计算。
2008-11-18 math.ST stat.ML stat.TH
On the Usage of Generative Models for Network Anomaly Detection in Multivariate Time-Series
IE–FING, UDELAR（乌拉圭共和国大学工程学院信息工程系）；AIT Austrian Institute of Technology（奥地利技术研究院）
尽管多年来探索了许多用于异常检测的尝试和方法，但是数据通信网络中的罕见事件的自动检测仍然是一个复杂的问题。在本文中，我们介绍了Net-GAN，一种新的方法来检测网络异常的时间序列，使用递归神经网络（RNN）和生成对抗网络（GAN）。与传统上专注于单变量测量的最新技术不同，Net-GAN通过RNN利用时间依赖性来检测多变量时间序列中的异常。Net-GAN发现基线、多变量数据的潜在分布，而不对其性质进行任何假设，为检测复杂、难以建模的网络监控数据中的异常提供了一种强大的方法。我们进一步利用生成模型背后的概念来构思Net-VAE，这是一种基于变分自动编码器（VAE）的Net-GAN网络异常检测的补充方法。我们在不同的监控场景中评估了Net-GAN和Net-VAE，包括物联网传感器数据中的异常检测和网络测量中的入侵检测。生成模型是一种很有前途的网络异常检测方法，特别是当考虑到复杂性和不断增长的时间序列监测在运营网络。
2020-10-16 cs.AI cs.LG cs.NI
Real time dense anomaly detection by learning on synthetic negative data
University of Zagreb Faculty of Electrical Engineering and Computing（萨格勒布大学电气工程与计算学院）
提出一种联合训练生成流的混合方法，在内点分布边界采样合成负数据，实现无需真实负数据的密集异常检测，并验证了基于能量密度的贡献。
2023-05-24 cs.CV cs.LG
AGAD: Adversarial Generative Anomaly Detection
NEC Laboratories China（NEC中国研究院）
提出AGAD，一种基于自对比的异常检测范式，通过从正常样本生成上下文对抗信息来生成伪异常数据，在监督和半监督场景下显著提升检测性能，且仅需不超过5%的异常训练数据。
2023-04-09 cs.CV cs.LG
Anomaly Detection in Networks via Score-Based Generative Models
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Artificial Intelligence Research Institute（人工智能研究院）
针对属性图中节点离群点检测缺乏通用方法的问题，提出利用基于分数的图生成模型进行检测，在小规模图上取得竞争力结果，并实证分析了狄利克雷能量的重构难点。
2023-06-27 cs.LG
Learning Discriminative Metrics via Generative Models and Kernel Learning
University of Southern California（南加州大学）；University of Pennsylvania（宾夕法尼亚大学）
指定数据点之间的距离的距离可以以区别性方式或从生成模型中学习。在本文中，我们展示了如何通过一个内核学习框架来统一度量的生成学习和判别学习。具体来说，我们学习从参数生成模型优化的局部度量。然后，这些被用作基本内核，以构建一个全局内核，最大限度地减少一个歧视性的训练标准。我们考虑局部度量核的线性和非线性组合。我们的实证结果表明，这些组合显着提高分类任务的性能。所提出的学习算法也是非常有效的，实现了数量级的训练时间相比，以前的判别基线方法的加速。
2011-09-19 cs.AI cs.LG stat.ME
The Projected Belief Network Classfier : both Generative and Discriminative
Fraunhofer FKIE（弗劳恩霍夫通信、信息处理和人机工程学研究所）
投影信念网络（PBN）是一种基于前馈神经网络（FF-NN）的具有易处理的似然函数的分层生成网络。因此，它可以与判别式分类器共享实施例，并且可以继承两种类型的网络的最佳质量。在本文中，一个卷积PBN构造，是完全歧视和完全生成，并测试语音命令的频谱。结果表明，无论是从判别还是生成的角度来看，该网络都具有优良的品质。随机数据合成和可见的数据重建低维隐变量，而分类器的性能接近一个正规化的判别网络。还演示了与传统的判别式CNN的组合。
2020-08-14 cs.LG stat.ML
Discriminative Viewer Identification using Generative Models of Eye Gaze
University of Potsdam（波茨坦大学）
我们研究的问题，确定观众的任意图像的基础上，他们的眼睛注视。心理学研究已经推导出眼动的生成随机模型。为了利用这个背景知识内的歧视性训练的分类模型，我们从不同的生成模型的眼睛凝视费舍尔内核。实验上，我们发现分类器的性能强烈依赖于底层的生成模型。使用具有Fisher核的SVM提高了底层生成模型的分类性能。
2020-03-25 cs.LG stat.ML
Discriminative Regularization for Generative Models
Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）
我们探讨的问题，是否表示学习分类器可以用来提高生成模型的质量。我们的推测是，标签对应于自然数据的特征，这些特征对人类来说是最突出的：面孔中的身份，图像中的对象和语音中的话语。我们建议利用这一点，通过使用歧视性分类器的表示，以增加相应的生成模型的目标函数。特别是，我们提高了目标函数的变分自动编码器，一个流行的生成模型，具有歧视性的正则化项。我们表明，以这种方式增强目标函数会导致样本比标准变分自编码器的样本更清晰，视觉质量更高。
2016-02-15 cs.LG stat.ML
Generative and Discriminative Text Classification with Recurrent Neural Networks
DeepMind
我们以经验为基础描述了用于文本分类的判别式和生成式LSTM模型的性能。我们发现，尽管基于RNN的生成模型比它们的词袋祖先更强大（例如，它们考虑了文档中单词之间的条件依赖性），它们具有比区分训练的RNN模型更高的渐近错误率。然而，我们也发现生成模型比它们的判别模型更快地接近它们的渐近错误率--Ng & Jordan（2001）证明的模式同样适用于做出更天真的条件独立假设的线性分类模型。基于这一发现，我们假设基于RNN的生成分类模型对数据分布的变化更鲁棒。这一假设在zero-shot和连续学习设置中的一系列实验中得到了证实，这些实验表明生成模型的性能大大优于判别模型。
2017-05-26 cs.CL cs.LG stat.ML
Transfer Learning from an Auxiliary Discriminative Task for Unsupervised Anomaly Detection
Center for Urban Science and Progress（城市科学与进步中心）；New York University（纽约大学）；Institute Of Design And Urbanism（设计与城市主义研究所）；ITMO University（圣彼得堡国立信息技术机械与光学大学）
从移动网络等高维数据中进行无监督异常检测是一项具有挑战性的任务。如何从这些高维数据中提取特征是该领域的研究热点。本研究的目的是探讨网络分类学习到的特征在无监督异常检测中的可移植性。我们建议使用一个辅助分类任务提取特征，从无标记的数据通过监督学习，可用于无监督的异常检测。我们通过设计实验来检测来自纽约和台北的移动网络数据中的异常来验证这种方法，并将结果与PCA和自动编码器的传统无监督特征学习方法进行比较。我们发现，我们的特征学习方法对两个数据集都产生了最佳的异常检测性能，优于其他研究方法。这建立了这种方法的实用功能工程，它可以应用于其他类似性质的问题。
2019-12-05 cs.LG physics.soc-ph stat.ML
Discriminative classification with generative features: bridging Naive Bayes and logistic regression
Brigham Young University（杨百翰大学）；University of California, Santa Barbara（加州大学圣芭芭拉分校）
Smart Bayes通过整合生成特征与判别模型，提升分类性能，优于朴素贝叶斯和逻辑回归。
2025-11-30 cs.AI cs.LG stat.CO
Learning Discriminative and Generalizable Anomaly Detector for Dynamic Graph with Limited Supervision
University of Science and Technology of China（中国科学技术大学）
针对动态图异常检测中标注异常稀缺的问题，提出一个结合残差表示编码、限制损失和双边界优化的模型无关框架，从正常/未标注数据中学习可判别边界，同时利用有限标注异常并保持对未见异常的泛化能力。
2026-05-29 cs.AI cs.LG
Using the Naive Bayes as a discriminative classifier
Telecom SudParis（南巴黎电信学院）；Institut Polytechnique de Paris（巴黎综合理工学院）；IBM GSB France（IBM法国全球企业服务部）
对于分类任务，概率模型可以分为两个不相交的类：生成或判别。它取决于给定观测$y$，$p(x | y)$的标签$x$的后验概率计算。一方面，生成式分类器，如朴素贝叶斯或隐马尔可夫模型（HMM），在使用贝叶斯规则来计算$p(x | y)$之前，需要计算联合概率p（x，y）。另一方面，判别分类器直接计算$p(x | y)$，而不管观测的规律。它们现在被广泛使用，具有逻辑斯谛回归、条件随机场（CRF）和人工神经网络等模型。然而，最近的熵前向-后向算法表明，隐马尔可夫模型，作为一个生成模型，也可以匹配的歧视性的定义。这个例子引发了一个问题，即其他生成模型是否也是如此。在本文中，我们证明了朴素贝叶斯分类器也可以匹配判别分类器的定义，因此它可以以生成或判别的方式使用。此外，这一观察还讨论了生成-判别对的概念，例如，将朴素贝叶斯和逻辑斯谛回归或HMM和CRF联系起来。与此相关，我们表明，逻辑斯谛回归可以被看作是一个特殊的情况下，朴素贝叶斯用于判别的方式。
2021-03-05 cs.LG stat.ML
Medical Diagnosis From Laboratory Tests by Combining Generative and Discriminative Learning
Beijing University of Posts and Telecommunications（北京邮电大学）；Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）；Petuum Inc（Petuum公司）
计算表型研究的主要目标是进行医学诊断。在医院，医生依靠大量的临床数据来做出诊断决策，其中实验室检查是最重要的资源之一。然而，实验室测试数据的纵向和不完整性质对其解释和使用造成了重大挑战，这可能导致人类医生和自动诊断系统做出有害的决策。在这项工作中，我们利用深度生成模型来处理复杂的实验室测试。具体来说，我们提出了一个端到端的架构，涉及一个深度生成变分递归神经网络（VRNN）学习强大的和可推广的功能，和一个判别式神经网络（NN）模型学习诊断决策，这两个模型联合训练。我们的实验是在一个涉及46,252名患者的数据集上进行的，50个最常见的测试被用来预测50个最常见的诊断。结果表明，我们的模型，VRNN+NN，显着（p<0.001）优于其他基线模型。此外，我们证明了联合训练所学习到的表示比纯生成模型所学习到的表示信息量更大。最后，我们发现我们的模型为缺失值提供了一个令人惊讶的好插补。
2017-11-16 cs.AI cs.LG stat.ML
Reject Illegal Inputs with Generative Classifier Derived from Any Discriminative Classifier
The University of Hong Kong（香港大学）
生成式分类器已被证明有希望检测非法输入，包括对抗性样本和分布外样本。Supervised Deep Infomax~（SDIM）是一个可扩展的端到端框架，用于学习生成分类器。在本文中，我们提出了一个修改的SDIM称为SDIM- \emph{logit}。SDIM- \emph{logit}不是从头开始训练生成分类器，而是首先将任何给定的判别分类器产生的logit作为输入，并生成logit表示;然后通过对logit表示施加统计约束来导出生成分类器。SDIM- \emph{logit}能够继承判别分类器的性能而不损失。SDIM- \emph{logit}引起的额外参数的数量可以忽略不计，并且可以有效地训练与基本分类器固定。我们执行\emph{classification with rejection}，其中类条件小于预先选择的阈值的测试样本将被拒绝而不进行预测。在非法输入（包括对抗样本、常见错误样本和分布外样本）上的实验表明，SDIM- \emph{logit}允许拒绝一部分测试样本，显著提高了在左测试集上的性能.
2020-01-02 cs.LG stat.ML
Generative-Discriminative Complementary Learning
University of Pittsburgh（匹兹堡大学）；The University of Melbourne（墨尔本大学）；The University of Sydney（悉尼大学）；Carnegie Mellon University（卡内基梅隆大学）
大多数最先进的深度学习方法都是判别式方法，它们对给定输入特征的标签的条件分布进行建模。这种方法的成功在很大程度上取决于高质量的标记实例，这是不容易获得的，特别是随着候选类的数量增加。本文研究了互补学习问题。与普通标签不同，互补标签很容易获得，因为注释器只需要为每个实例随机选择一个候选类提供一个是/否的答案。我们提出了一种生成-判别互补学习方法，该方法通过对条件（判别）和实例（生成）分布进行建模来估计普通标签。我们的方法，我们称之为互补条件GAN（CC GAN），提高了预测普通标签的准确性，并可以生成高质量的实例，尽管监管不力。除了大量的实证研究，我们还从理论上证明了我们的模型可以从互补标记的数据中恢复真实的条件分布。
2019-09-11 cs.LG stat.ML
Principled Hybrids of Generative and Discriminative Domain Adaptation
School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）；Silicon Valley AI Lab, Baidu Research（百度研究院硅谷人工智能实验室）
我们提出了一个概率框架领域自适应，混合生成和歧视性建模的原则性的方式。在这个框架下，生成和判别模型对应于先验参数的特定选择。这为我们提供了一种非常普遍的方法，通过不同的先验选择，在生成性和歧视性极端之间进行插值。通过最大化边际和条件对数似然，从这个框架导出的模型可以使用来自源域的标记实例以及来自源域和目标域的未标记实例。在这个框架下，我们表明，流行的重建损失的自动编码器对应于一个上界的负边缘对数似然的未标记的情况下，边缘分布由适当的内核密度估计。这提供了一种方法来解释自动编码器在领域自适应和半监督学习中的经验成功。我们使用神经网络实例化我们的框架，并建立一个具体的模型，DAuto。经验上，我们证明了DAuto在文本，图像和语音数据集上的有效性，表明当领域自适应是可能的时，它优于相关竞争对手。
2017-10-27 cs.AI cs.LG
Training Discriminative Models to Evaluate Generative Ones
Flowers Laboratory (ENSTA ParisTech & INRIA)（弗劳尔斯实验室（巴黎高等科技学院与法国国家信息与自动化研究所））；Thales, Theresis Laboratory（泰雷兹集团泰雷西斯实验室）
众所周知，生成模型很难评估。最近的工作，特别是关于生成对抗网络（GANs）的工作，可以为不同类别的图像生成良好的视觉样本。然而，对其质量的验证仍然难以界定，目前还没有关于最佳评价程序的协议。本文旨在为生成模型的客观评价过程迈出一步。它提出了一种新的方法来评估一个训练的生成模型，通过评估测试精度的分类器训练生成的数据。测试集由真实图像组成。因此，分类器精度被用作评估生成模型是否符合真实数据分布的代理。通过将结果与不同生成的数据集进行比较，我们能够对生成模型进行分类和比较。这种方法的动机也是为了评估生成模型是否可以帮助判别神经网络学习，即，衡量在生成的数据上进行训练是否能够使模型在真实设置上成功测试。我们的实验比较了MNIST和时尚MNIST数据集上的变分自动编码器（VAE）和生成对抗网络（GAN）框架的不同生成器。我们的研究结果表明，没有一个生成模型能够完全取代真实的数据训练一个判别模型。但它们也表明，初始GAN和WGAN是在MNIST数据库（修改的美国国家标准与技术研究所数据库）和时装MNIST数据库上生成的最佳选择。
2019-07-01 cs.LG stat.ML
A Tale of Three Probabilistic Families: Discriminative, Descriptive and Generative Models
University of California, Los Angeles（加州大学洛杉矶分校）
Grenander的模式理论是一个数学框架，其中模式由代数结构的随机变量的概率模型表示。在本文中，我们回顾了三个家庭的概率模型，即判别模型，描述模型和生成模型。判别模型是以分类器的形式存在的。它指定给定输入信号的类标签的条件概率。描述性模型基于在信号上定义的能量函数来指定信号的概率分布。生成模型假设信号是由一些潜变量通过变换生成的。我们将在一个共同的框架内回顾这些模型，并探讨它们之间的联系。我们还将回顾利用深度神经网络的高逼近能力的最新发展。
2018-12-04 cs.CV cs.LG stat.ML
Implicit Modeling -- A Generalization of Discriminative and Generative Approaches
Dresden University of Technology（德累斯顿工业大学）
我们提出了一种新的建模方法，是一个泛化的生成和歧视性模型。其核心思想是通过仅指定条件分布来使用联合概率分布的隐式参数化。所提出的方案结合了两个世界的优点-它可以使用强大的复杂的判别模型作为其部分，同时具有更好的泛化能力。我们彻底评估所提出的方法，一个简单的分类任务与人工数据，并说明其优势，为真实的场景上的语义图像分割问题。
2016-12-05 cs.LG
Learning Symbolic Representations Through Joint GEnerative and DIscriminative Training
KU Leuven（鲁汶大学）
本文提出贝叶斯框架 GEDI，联合生成模型与自监督判别目标学习符号表示，可无缝接入神经符号框架，并在多个图像基准上显著提升聚类与小数据性能。
2023-04-22 cs.AI cs.LG
Hybrid Discriminative-Generative Training via Contrastive Learning
University of California, Berkeley（加州大学伯克利分校）
对比学习和监督学习都取得了重大进展和成功。然而，到目前为止，它们在很大程度上被视为两个独立的目标，只有通过共享神经网络才能结合在一起。在本文中，我们表明，通过基于能量的模型的混合判别生成训练的角度，我们可以直接连接对比学习和监督学习。除了呈现这种统一的观点之外，我们还展示了我们对基于能量的损失的近似的具体选择在CIFAR-10和CIFAR-100上的WideResNet分类准确性方面优于现有实践。它还提高了鲁棒性、分布外检测和校准性能。
2020-08-10 cs.CV cs.LG stat.ML
Discriminative Estimation of Total Variation Distance: A Fidelity Auditor for Generative Data
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出一种判别式估计总变差距离的方法，通过贝叶斯风险与TV距离的关系实现生成数据保真度审计，并证明高斯分布分离度影响估计精度，实验验证了有效性。
2024-05-24 cs.LG stat.ML
A Logic-based Approach to Generatively Defined Discriminative Modeling
Tokyo Institute of Technology（东京工业大学）；Meijo University（名城大学）
条件随机场（CRF）通常是指定的图形模型，但在本文中，我们提出使用概率逻辑程序，并指定他们产生。我们的意图是，首先提供一个统一的方法，CRF复杂的建模，通过使用图灵完备语言和第二，提供一个方便的方式来实现生成判别对机器学习比较生成和判别模型，并选择最好的模型。我们实现了我们的方法作为D-PRISM语言修改PRISM，一个基于逻辑的概率建模语言生成建模，同时利用其动态规划机制，有效的概率计算。我们用逻辑回归、线性链CRF和CRF-CFG测试了D-PRISM，并在经验上证实了它们与生成对应物（即，朴素贝叶斯，HMM和PCFG。我们还介绍了新的CRF模型，CRF-BNC和CRF-LCG。它们分别是贝叶斯网络分类器和概率左角文法的CRF版本，并且易于在D-PRISM中实现。我们的经验表明，他们的表现优于他们的生成同行的预期。
2014-10-15 cs.LG
Discriminative Multimodal Learning via Conditional Priors in Generative Models
BI Norwegian Business School（BI挪威商学院）；UiT The Arctic University of Norway（挪威北极大学）；Norwegian Computing Center（挪威计算中心）
带有潜变量的深度生成模型最近被用于从多模态数据中学习联合表示和生成过程。然而，这两种学习机制可能相互冲突，并且表示可能无法在数据模态上嵌入信息。本研究研究的现实场景中，所有的模态和类标签可用于模型训练，但下游任务所需的一些模态和标签丢失。我们表明，在这种情况下，变分的下限限制联合表示和丢失的方式之间的互信息。为了解决这些问题，我们引入了一种新的条件多模态判别模型，该模型使用信息丰富的先验分布，并优化了一个无似然的目标函数，使联合表示和缺失模态之间的互信息最大化。大量的实验证明了我们提出的模型的好处，实证结果表明，我们的模型实现了最先进的结果，在代表性的问题，如下游分类，声学反演，图像和注释生成。
2023-01-21 cs.LG stat.ML
Discriminatively-Tuned Generative Classifiers for Robust Natural Language Inference
University of Chicago（芝加哥大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
虽然判别式神经网络分类器通常是优选的，但是最近的工作已经显示出生成式分类器在数据效率和鲁棒性方面的优势。在本文中，我们专注于自然语言推理（NLI）。我们提出了GenNLI，一个用于NLI任务的生成分类器，并通过将其与五个基线进行比较来实证表征其性能，包括判别模型和大规模预训练语言表示模型，如BERT。我们探索了我们的生成分类器的区分微调的训练目标，显示了对先前工作的日志损失微调的改进。特别是，我们发现一个简单的无界修改日志损失，我们称之为“infinilog损失”强有力的结果。我们的实验表明，GenNLI在几个具有挑战性的NLI实验设置中，包括小训练集，不平衡的标签分布和标签噪声，都优于判别和预训练基线。
2020-10-08 cs.CL cs.LG
Diffusion-TTA: Test-time Adaptation of Discriminative Models via Generative Feedback
Carnegie Mellon University（卡内基梅隆大学）
本文提出 Diffusion-TTA，利用扩散模型的生成反馈在测试时自适应判别模型，通过最大化图像似然反向传播梯度，显著提升分类、分割和深度预测等任务的准确率，优于 TTT-MAE 和 TENT 等现有方法。
2023-11-29 cs.AI cs.CV cs.LG
Generative-Discriminative Variational Model for Visual Recognition
Carnegie Mellon University（卡内基梅隆大学）
从具有手工制作特征的浅层分类器到端到端可训练的深度学习模型的范式转变已经显示出监督学习任务的显着改进。尽管深度神经网络（DNN）具有很好的潜力，但如何减轻训练过程中的过拟合一直是人们感兴趣的研究课题。在本文中，我们提出了一个生成判别变分模型（GDVM）的视觉分类，在其中，我们引入了一个潜在的变量推断，从输入表现出生成能力的预测。换句话说，我们的GDVM将监督学习任务转换为生成学习过程，并将数据区分用于改进分类。在我们的实验中，我们考虑多类分类，多标签分类，和零样本学习的任务。我们表明，我们的GDVM与基线或最近的生成DNN模型相比表现良好。
2017-06-07 cs.LG
IRGAN: A Minimax Game for Unifying Generative and Discriminative Information Retrieval Models
University College London（伦敦大学学院）；Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）；Tianjin University（天津大学）；Birkbeck, University of London（伦敦大学伯贝克学院）
本文对信息检索建模中的两个思想流派进行了统一的阐述：生成式检索侧重于预测给定查询的相关文档，判别式检索侧重于预测给定查询-文档对的相关性。我们提出了一个博弈论的极大极小博弈迭代优化这两个模型。一方面，旨在从标记和未标记数据中挖掘信号的判别模型为训练生成模型提供指导，以在给定查询的文档上拟合潜在的相关性分布。另一方面，生成模型作为当前判别模型的攻击者，通过最小化其判别目标，以对抗的方式为判别模型生成困难的示例。随着这两个模型之间的竞争，我们表明，统一的框架利用了两个学派的思想：（i）生成模型学习通过来自判别模型的信号来拟合文档的相关性分布，以及（ii）判别模型能够利用生成模型选择的未标记数据来实现对文档排序的更好估计。我们的实验结果表明，在包括Web搜索、项目推荐和问答在内的各种应用中，与强基线相比，Precision@5和MAP的性能分别提高了23.96%和15.50%。
2018-02-22 cs.IR cs.LG
Introspective Generative Modeling: Decide Discriminatively
UCSD（加州大学圣地亚哥分校）
我们通过开发内省生成建模（IGM）来研究无监督学习，IGM使用渐进学习的深度卷积神经网络来获得生成器。生成器本身是一个具有内省能力的学习器：能够自我评估其生成的样本与给定的训练数据之间的差异。当随后进行重复的判别学习时，现代判别分类器的期望属性直接由生成器继承。IGM使用分类合成算法学习CNN分类器的级联。在实验中，我们观察到令人鼓舞的结果，包括纹理建模，艺术风格转移，人脸建模，和半监督学习的应用。
2017-04-25 cs.CV cs.LG cs.NE
Direct-Inverse Prompting: Analyzing LLMs' Discriminative Capacity in Self-Improving Generation
The Pennsylvania State University（宾夕法尼亚州立大学）；University of Illinois at Chicago（芝加哥大学伊利诺伊分校）
本文提出并分析直接、逆和混合三种判别提示，利用LLMs的判别能力减少生成不确定性，实现自我改进，并在两个基准数据集上验证其效果。
2024-06-27 cs.AI cs.CL cs.LG
Green MLOps to Green GenOps: An Empirical Study of Energy Consumption in Discriminative and Generative AI Operations
Bristol Research and Innovation Laboratory（布里斯托尔研究与创新实验室）；Toshiba Europe Ltd.（东芝欧洲有限公司）；Digital Catapult（数字弹射实验室）
本研究实证分析了真实 MLOps 流水线中判别式 AI 与 LLMs 的能耗，发现优化架构与硬件可显著降低判别式模型能耗，而 LLMs 能效需平衡模型规模与请求负载，为绿色可持续 AI 运营提供了基准与指南。
2025-03-31 cs.AI cs.LG
Masked Face Recognition with Generative-to-Discriminative Representations
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security at University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Cloud Music Inc.（网易云音乐）；Department of Communication Engineering, Shanghai University（上海大学通信工程系）
提出统一深度网络，通过生成式编码器与判别式重构器学习遮挡鲁棒表征，结合关系知识蒸馏，有效提升掩蔽人脸识别性能。
2024-05-27 cs.AI cs.CV cs.LG
Hybrid Generative/Discriminative Learning for Automatic Image Annotation
College of Computing（计算机学院）；Georgia Institute of Technology（佐治亚理工学院）
自动图像注释（AIA）对机器学习提出了巨大的挑战，因为它需要对输入和输出都模糊的数据进行建模，例如，图像包含多个对象并标记有多个语义标签。更具挑战性的是，候选标签的数量通常是巨大的（与词汇大小一样大），但每个图像只与其中的几个相关。本文提出了一种混合生成判别分类器，同时解决极端的数据模糊性和过拟合的脆弱性问题，如AIA的任务。特别是：（1）建立指数-多项混合（EMM）模型，以捕获输入和输出的模糊性，同时鼓励预测稀疏性;（2）通过结合图模型的变分推理和有序回归的成对公式的判别学习，显式地最大化EMM模型的预测能力。实验表明，我们的方法实现了卓越的注释性能和更好的标签可扩展性。
2012-03-15 cs.CV cs.LG stat.ML
Generative and Discriminative Deep Belief Network Classifiers: Comparisons Under an Approximate Computing Framework
University of California, San Diego（加利福尼亚大学圣迭戈分校）
将深度学习硬件算法用于嵌入式应用的特点是存在挑战，例如设备功耗的限制、标记数据的可用性以及用于在云服务器上频繁训练的有限互联网带宽。为了实现低功耗实现，我们考虑针对嵌入式设备分类任务的深度学习算法（称为判别式深度信念网络（DDBN））的有效位宽减少和修剪。我们训练DDBN生成和歧视性目标下的近似计算框架和分析其功率在性能的监督和半监督的应用程序。我们还调查了DDBN的分布性能时，推理数据具有相同的类结构，但统计上不同的训练数据，由于动态实时操作环境。基于我们的分析，我们提供了新的见解和建议，选择训练目标，位宽值，和准确性的敏感性相对于标记的数据量，以实现DDBN推理与最低功耗的嵌入式硬件平台上的精度公差。
2021-01-31 cs.AI cs.CV cs.LG
Multi-Label Topic Assignment via LLM Distillation: A Comparative Analysis of Generative vs. Discriminative Student Models
eBay Inc.（eBay公司）
本研究通过比较生成式与判别式学生模型在多标签主题分配中的性能，发现生成式模型在复杂对话和标签扩展场景下更优，并已成功部署于大规模电商生产环境。
2026-10-08 cs.CL cs.LG
Anomaly Detection via Minimum Likelihood Generative Adversarial Networks
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence of Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；University of Chinese Academy of Sciences（中国科学院大学）
异常检测的目的是通过正态模型来检测异常事件。随着训练数据规模的快速增长和计算能力的不断提高，基于深度学习的异常检测方法越来越受到人们的青睐。提出了一种基于生成对抗网络（GAN）的领域异常检测方法。提出了最小似然正则化方法，使生成器产生更多的异常，并防止其收敛到正态数据分布。适当的异常分数的集成被证明可以有效地提高稳定性。在Cifar10和UCI数据集上，该方法与其他异常检测方法相比，取得了显著的改进。
2018-08-01 cs.LG stat.ML
UME-R1: Exploring Reasoning-Driven Generative Multimodal Embeddings
School of Informatics, Xiamen University, China（厦门大学信息学院）；WeChat AI, Tencent Inc, China（腾讯公司微信AI部门）；Key Laboratory of Digital Protection and Intelligent Processing of Intangible Cultural Heritage of Fujian and Taiwan (Xiamen University), Ministry of Culture and Tourism, China（福建省和台湾非物质文化遗产数字化保护与智能处理重点实验室）；Shanghai Artificial Intelligence Laboratory, China（上海人工智能实验室）
UME-R1通过生成嵌入和强化学习提升多模态嵌入性能，实现判别与生成嵌入的互补，展现生成嵌入在推理和下游任务中的优势。
2026-03-01 cs.AI cs.LG
Task Confusion and Catastrophic Forgetting in Class-Incremental Learning: A Mathematical Framework for Discriminative and Generative Modelings
Toronto Metropolitan University（多伦多都会大学）
该研究构建类别增量学习数学框架，从理论上证明判别式建模因任务混淆无法达到最优，而生成式建模可克服该问题，并据此评估多种主流策略。
2024-10-28 cs.LG
Unsupervised and Semi-supervised Learning with Categorical Generative Adversarial Networks
University of Freiburg（弗赖堡大学）
在本文中，我们提出了一种方法来学习一个判别分类器从未标记或部分标记的数据。我们的方法基于一个目标函数，该目标函数权衡了观察到的示例及其预测的分类类分布之间的互信息，以及分类器对对抗生成模型的鲁棒性。由此产生的算法可以被解释为生成对抗网络（GAN）框架的自然推广，或者作为正则化信息最大化（RIM）框架的扩展，以针对最佳对手进行鲁棒分类。我们根据经验评估了我们的方法-我们称之为分类生成对抗网络（或CatGAN）-在合成数据以及具有挑战性的图像分类任务上，证明了学习分类器的鲁棒性。我们进一步定性地评估了与判别分类器一起学习的对抗生成器生成的样本的保真度，并确定了CatGAN目标和判别聚类算法（如RIM）之间的联系。
2016-04-30 cs.LG stat.ML
