Exponential Family Discriminant Analysis: Generalizing LDA-Style Generative Classification to Non-Gaussian Models
Yale University（耶鲁大学）
本文提出指数族判别分析（EFDA），扩展了传统线性判别分析（LDA）到指数族模型，通过闭式最大似然估计和线性决策规则，在保持LDA特例的同时捕捉非线性边界。EFDA在正确设定下渐近校准且统计高效，通过模拟验证其在多种分布下的分类性能。
2026-03-24 cs.LG stat.ML
WDiscOOD: Out-of-Distribution Detection via Whitened Linear Discriminant Analysis
Georgia Institute of Technology（佐治亚理工学院）
本文提出WDiscOOD方法，利用白化线性判别分析将特征投影到判别和残差子空间，结合偏差计算OOD分数，在ImageNet-1k及六个OOD数据集上验证了其优越性能。
2023-08-30 cs.AI cs.CV cs.LG
A Simple Unified Framework for Detecting Out-of-Distribution Samples and Adversarial Attacks
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））；University of Michigan（密歇根大学）；Google Brain（谷歌大脑）；AItrics
在许多现实世界的机器学习应用中，检测从统计上或相反地远离训练分布抽取的测试样本是部署良好分类器的基本要求。然而，已知具有softmax分类器的深度神经网络即使对于这种异常样本也会产生高度过度自信的后验分布。在本文中，我们提出了一种简单而有效的方法来检测任何异常样本，它适用于任何预先训练的softmax神经分类器。我们在高斯判别分析下获得了深度模型（低级和高级）特征的类条件高斯分布，这导致了基于Mahalanobis距离的置信度得分。虽然大多数先前的方法已经被评估用于检测分布外或对抗性样本，但不是两者都有，但在我们的实验中，所提出的方法在这两种情况下都达到了最先进的性能。此外，我们发现，我们提出的方法在苛刻的情况下更鲁棒，例如，当训练数据集具有噪声标签或少量样本时。最后，我们证明了所提出的方法通过将其应用于类增量学习而具有更广泛的用途：每当检测到分布外的样本时，我们的分类规则可以很好地融入新的类，而无需进一步训练深度模型。
2018-10-27 cs.CR cs.LG stat.ML
Robust Generalised Quadratic Discriminant Analysis
Indian Statistical Institute（印度统计研究所）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
二次判别分析（QDA）是一种广泛使用的统计工具，用于对来自不同多元正态总体的观测值进行分类。广义二次判别分析（GQDA）分类规则/分类器，其将QDA和最小马氏距离（MMD）分类器推广以区分具有基础椭圆对称分布的群体，当其是最佳的时，其与QDA分类器相当有利地竞争，并且当QDA在非正态基础分布（例如，柯西分布）下失败时，其表现好得多。然而，GQDA的分类规则是基于训练样本的样本均值向量和样本离差矩阵，这是非常不稳定的数据污染。在现实世界中，由于它是相当常见的面对数据非常容易受到离群值，缺乏鲁棒性的经典估计的均值向量和分散矩阵的GQDA分类器的效率显着降低，增加了误分类错误。本文研究了GQDA分类器的性能时，经典的估计的均值向量和分散矩阵中使用的各种强大的同行所取代。各种真实数据集的应用程序，以及模拟研究揭示了更好的性能所提出的强大版本的GQDA分类。本文通过比较研究，提出了在数据集污染程度的特定情况下，如何适当地选择稳健估计量。
2020-04-11 cs.CV cs.LG stat.CO
A State-Space Approach to Nonstationary Discriminant Analysis
Department of Electrical and Computer Engineering, Texas A&M University（电气与计算机工程系，德克萨斯大学）
本文提出基于状态空间模型的非平稳判别分析框架NSLDA和NSQDA，结合EM、GMM-卡尔曼与粒子平滑方法处理参数估计、时间标签恢复及非线性漂移，在仿真中优于LDA、QDA和SVM基线。
2025-08-22 cs.LG
Deep Linear Discriminant Analysis
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
我们引入了深度线性判别分析（DeepLDA），它以端到端的方式学习线性可分离的潜在表示。经典LDA提取保持类可分性的特征，并用于许多分类问题的降维。本文的中心思想是将LDA置于深层神经网络之上。这可以看作是经典LDA的非线性扩展。我们不是最大化单个样本的目标标签的可能性，而是提出了一个目标函数，该目标函数推动网络产生以下特征分布：（a）在同一类内具有低方差，（b）不同类之间具有高方差。我们的目标是从一般的LDA特征值问题，仍然允许训练与随机梯度下降和反向传播。为了进行评估，我们在三个不同的基准数据集（MNIST，CIFAR-10和STL-10）上测试了我们的方法。DeepLDA在MNIST和CIFAR-10上产生了有竞争力的结果，并且在STL-10的监督设置上优于用分类交叉熵（相同架构）训练的网络。
2016-02-17 cs.LG
A Kernel Fisher Discriminant Analysis-Based Tree Ensemble Classifier: KFDA Forest
School of Industrial Management Engineering, Korea University（韩国大学工业管理工程学院）；School of Mechanical Engineering, Chungnam National University（Chungnam国立大学机械工程学院）
提出一种基于核Fisher判别分析的树集成方法KFDA Forest，通过Bootstrap和随机子集划分增强多样性，利用核技巧处理非线性数据，以决策树为基分类器提升准确率。
2026-06-27 cs.LG
Implicitly Constrained Semi-Supervised Linear Discriminant Analysis
Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）；Leiden University Medical Center（莱顿大学医学中心）
半监督学习是模式识别领域一个重要而活跃的研究课题。对于具体使用线性判别分析的分类，已经提出了几种半监督变体。使用这些方法中的任何一种都不能保证优于不考虑额外未标记数据的监督分类器。在这项工作中，我们比较了传统的期望最大化类型的半监督线性判别分析方法与基于内在约束的方法，并提出了一种新的原则性方法，半监督线性判别分析，使用所谓的隐式约束。我们探讨这些方法之间的关系，并考虑的问题，如果在什么意义上，我们可以预期的监督程序的性能改善。基于约束的方法对模型的错误指定更鲁棒，并且在未见过对象的对数似然性方面，可能优于对数据做出更多假设的替代方案。
2014-11-17 cs.LG stat.ML
Linear Discriminant Generative Adversarial Networks
我们开发了一种新的方法来训练GANs，用于无监督和类条件生成图像，称为线性判别GAN（LD-GAN）。LD-GAN的递归被训练以最大化生成样本和目标样本的隐藏表示的分布之间的线性可分性，而生成器基于通过对隐藏表示执行LDA而计算的决策超平面进行更新。LD-GAN提供了一个具体的分离能力的度量标准，我们的实验表明，在无监督的情况下，通过校准生成器和鉴别器之间的更新频率，可以简单地稳定LD-GAN的训练，而无需使用归一化方法和对权重的约束。在类条件生成任务中，与采用辅助分类器的WGAN相比，所提出的方法显示出更好的训练稳定性以及更好的泛化性能。
2017-07-25 cs.LG stat.ML
Communications Inspired Linear Discriminant Analysis
Duke University（杜克大学）；PA Consulting Group（PA咨询集团）；University College London（伦敦大学学院）
本文从信息论的角度研究了有监督的线性降维问题。通过最大化投影信号和类别标签之间的互信息（基于香农熵度量）来设计线性投影矩阵。通过利用最近关于互信息的梯度的理论结果，可以直接使用梯度下降来解决上述优化问题，而不需要简化目标函数。对该方法与两种密切相关的方法（线性判别分析和信息判别分析）进行了理论分析和实证比较，并与用Renyi熵定义互信息的方法进行了比较（在这种情况下，在特定的参数设置下，可以简单地计算梯度）.相对于这些替代方法，所提出的方法在真实数据集上取得了令人鼓舞的结果。
2012-06-27 cs.LG stat.ML
High-Dimensional Quadratic Discriminant Analysis under Spiked Covariance Model
KAUST（阿卜杜拉国王科技大学）
二次判别分析（QDA）是一种广泛使用的分类技术，它将线性判别分析（LDA）分类器推广到类间协方差矩阵不同的情况。为了使QDA分类器产生高的分类性能，需要准确估计协方差矩阵。这样的任务在高维设置中变得更加具有挑战性，其中观察的数量与特征维度相当。在这种情况下，提高QDA分类器性能的一种流行方法是正则化协方差矩阵，将相应的分类器称为正则化QDA（R-QDA）。在这项工作中，我们考虑的情况下，人口协方差矩阵具有尖峰协方差结构，模型，经常假设在几个应用程序。基于经典的QDA，我们提出了一种新的二次分类技术，其参数的选择，使得最大化的二次判别比。数值模拟结果表明，该分类器不仅在模拟数据和真实数据下的分类性能优于经典的R-QDA，而且具有较低的计算复杂性，适用于高维环境.
2020-06-25 cs.LG stat.ML
Kernel Alignment Inspired Linear Discriminant Analysis
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
核对齐度量两个核之间的相似程度。在本文中，灵感来自核对齐，我们提出了一种新的线性判别分析（LDA）公式，核对齐LDA（kaLDA）。我们首先定义了两个核，数据核和类指示核。问题是找到一个子空间，以最大化子空间转换的数据核和类指示核之间的对齐。令人惊讶的是，内核对齐诱导kaLDA目标函数是非常相似的经典LDA，可以表示使用类间和总散布矩阵。这可以扩展到多标签数据。我们使用Stiefel流形梯度下降算法来解决这个问题。我们在8个单标签和6个多标签数据集上进行了实验。实验结果表明，kaLDA在单标记和多标记问题上都有很好的性能。
2016-10-14 cs.LG stat.ML
Wasserstein Discriminant Analysis
Université Côte d’Azur（蔚蓝海岸大学）
Wasserstein判别分析（WDA）是一种新的有监督的方法，它可以通过计算一个合适的线性映射到一个低维子空间，以提高分类的高维数据。遵循经典线性判别分析（LDA）的蓝图，WDA选择最大化两个量之比的投影矩阵：来自不同类别的投影点的分散度除以来自同一类别的投影点的分散度。为了量化离散度，WDA使用正则化的瓦瑟斯坦距离，而不是通常考虑的交叉方差测量，特别是在LDA中。由于最优传输的基本原理，WDA能够捕获类之间的全局（分布规模）和局部（样本规模）交互。正则化的瓦瑟斯坦距离可以使用Sinkhorn矩阵缩放算法计算，我们表明，WDA的优化可以使用自动微分Sinkhorn迭代来解决。数值实验表明，在玩具示例和现实生活中的数据集（如MNIST）以及从加州理工学院数据集的一个子集中获得的深度特征的预测和可视化方面，都有很好的结果。
2018-05-23 cs.LG stat.ML
Two-dimensional Bhattacharyya bound linear discriminant analysis with its applications
Shanghai University（上海大学）；Hainan University（海南大学）；Inner Mongolia University（内蒙古大学）
最近提出的基于Bhattacharyya误差界估计的L2-范数线性鉴别分析准则（L2 BLDA）是线性鉴别分析（LDA）用于特征提取的一种有效改进。然而，L2 BLDA仅被提出来处理向量输入样本。当面对二维的【形】输入（如图像）时，由于它没有考虑图像的内在结构，会丢失一些有用的信息。在本文中，我们将L2 BLDA扩展到二维的【形】Bhattacharyya界线性判别分析（2DBLDA）。2DBLDA算法最大化类间距离，同时最小化类内距离。类间和类内项之间的权重常数由所涉及的数据确定，使得所提出的2DBLDA自适应。此外，2DBLDA的准则相当于优化Bhattacharyya误差的上界。2DBLDA的构造使其避免了小样本问题，同时具有鲁棒性，并可以通过一个简单的标准特征值分解问题来解决。图像识别和人脸图像重建的实验结果证明了所提方法的有效性。
2020-11-11 cs.LG stat.ML
FEMDA: a unified framework for discriminant analysis
Université Paris-Saclay（巴黎-萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）；RTE（法国电力传输网公司）
提出FEMDA统一框架，采用每簇任意椭圆对称分布替代高斯假设，推导新决策规则，实现鲁棒、高效且简单的判别分析。
2023-11-13 cs.LG stat.ML
Implicit Bias in Deep Linear Discriminant Analysis
School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院）
本文研究深度LDA的隐含正则化，通过分析梯度流证明平衡初始化下网络将加法更新转为乘法更新，自动保持(2/L)准范数。
2026-04-10 cs.LG stat.ML
A Max-relevance-min-divergence Criterion for Data Discretization with Applications on Naive Bayes
University of Nottingham Ningbo China（宁波诺丁汉大学）；Nanyang Technological University（南洋理工大学）
针对现有数据离散化方法忽略泛化性能导致过度分割的问题，提出最大相关性-最小散度离散化方案，在朴素贝叶斯框架下于45个基准数据集上显著优于现有方法。
2023-04-05 cs.DM cs.IT cs.LG
Deep Linear Discriminant Analysis Revisited
Department of Mathematics, Nazarbayev University（纳扎尔拜耶夫大学数学系）；Machine Learning Department, Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学机器学习系）；Department of Mathematical Sciences, Purdue University Fort Wayne（普渡大学福恩湾分校数学科学系）；Remote Sensing Department, National Center of Space Research and Technology（国家空间研究与技术中心遥感部）
本文提出判别负对数似然损失，用于解决深度LDA中生成结构与判别性能之间的矛盾，提升模型的判别能力和概率校准。
2026-01-04 cs.LG stat.ML
Weighted Fisher Discriminant Analysis in the Input and Feature Spaces
University of Waterloo（滑铁卢大学）
Fisher判别分析（FDA）是一种子空间学习方法，它分别最小化和最大化数据的类内和类间散布。虽然在FDA中，所有的类对都以相同的方式处理，但有些类比其他类更接近。加权FDA为类对分配权重，以解决FDA的这一缺点。在本文中，我们提出了一个余弦加权FDA以及一个自动加权FDA中的权重自动找到。我们还提出了一个加权FDA在特征空间中建立一个加权的内核FDA现有的和新提出的权重。ORL人脸识别数据集上的实验表明了所提出的加权方案的有效性。
2020-04-04 cs.CV cs.LG stat.ML
Grow-Push-Prune: aligning deep discriminants for effective structural network compression
McGill University（麦吉尔大学）
当今大多数流行的深度架构都是手工设计的，以成为通才。然而，这种设计过程通常会导致大量的冗余，无用，甚至有害的功能，为特定的任务。不必要的高复杂性使得深度网络对于许多现实世界的应用程序来说是不切实际的，特别是那些没有强大GPU支持的应用程序。在本文中，我们试图从深层判别分析的角度推导出任务依赖的紧凑模型。我们提出了一种用于分类任务的迭代和主动方法，该方法在（1）推送步骤，其目标是同时最大化类分离，惩罚协方差，并将深度判别式与紧凑的神经元集合对齐，以及（2）修剪步骤，该步骤丢弃不太有用甚至干扰的神经元。采用反卷积来消除“不重要”滤波器的影响，恢复有用的贡献源。提出了一种简单的网络增长策略的基础上的基本的Inception模块的挑战性任务，需要更大的容量比什么的基础网络可以提供。在MNIST，CIFAR 10和ImageNet数据集上的实验证明了我们方法的有效性。在ImageNet上，通过推送和修剪我们的Inception-88模型，我们实现了比在生长过程中生成的Inception网、剩余网和类似大小的流行紧凑网更准确的模型。我们还表明，我们成长的Inception网（没有硬编码的维度对齐）明显优于类似复杂性的残差网。
2021-10-02 cs.CV cs.LG
Robust Bhattacharyya bound linear discriminant analysis through adaptive algorithm
Zhijiang College, Zhejiang University of Technology（浙江工业大学之江学院）；Hainan University（海南大学）；China Agricultural University（中国农业大学）
在本文中，我们提出了一种新的线性判别分析准则通过Bhattacharyya误差界估计的基础上一个新的L1-范数（L1 BLDA）和L2-范数（L2 BLDA）。L1 BLDA和L2 BLDA分别在L1范数和L2范数下最大化由类均值的加权成对距离度量的类间离散度，同时最小化类内离散度。所提出的模型可以避免小样本量（SSS）的问题，并没有可能遇到的LDA秩限制。值得一提的是，L1范数的引入使得L1 BLDA具有很好的鲁棒性，并且L1 BLDA是通过一种有效的非贪婪交替方向乘法（ADMM）求解的，其中所有的投影向量都可以一次性获得。此外，L1 BLDA和L2 BLDA之间的类内和类间的权重常数由所涉及的数据集确定，这使得我们的L1 BLDA和L2 BLDA自适应。在基准数据集和手写体数字数据库上的实验结果表明了所提方法的有效性。
2018-11-06 cs.LG stat.ML
A Bi-level Nonlinear Eigenvector Algorithm for Wasserstein Discriminant Analysis
University of California, Davis（加州大学戴维斯分校）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本文提出了一种双层非线性特征向量算法（WDA-nepv），通过将WDA双层优化的内层和外层均表述为非线性特征值问题并在SCF框架下高效求解，实现了无导数和无代理模型的优化，提升了分类准确性与可扩展性。
2023-07-28 cs.LG stat.ML
A Convex formulation for linear discriminant analysis
Wright State University（莱特州立大学）
本文提出 ConvexLDA 监督降维方法，通过凸的多目标代价平衡类内紧致性与类间分离体积，无需矩阵求逆或成对距离计算，并在多类高维数据上优于多种 LDA 方法。
2025-03-17 cs.CV cs.LG
Spectrally-Corrected and Regularized QDA Classifier for Spiked Covariance Model
School of Data Sciences, Zhejiang University of Finance and Economics（浙江财经大学数据科学学院）；School of Mathematics and Statistics, Northeast Normal University（东北师范大学数学与统计学院）；Northeast Normal University（东北师范大学）
针对高维场景下QDA分类失效的问题，提出结合谱校正与正则化、通过最大化Fisher判别比选参的SR-QDA方法，实验证明其在中高维场景下表现优于多种对比方法。
2025-03-17 cs.LG math.ST stat.TH
Multivariate Functional Linear Discriminant Analysis for the Classification of Short Time Series with Missing Data
Institute of Computer Science, University of Rostock, Germany（罗斯托克大学计算机科学研究所）；Indian Institute of Science Education and Research, Thiruvananthapuram（泰尔胡瓦纳纳特帕拉姆印度科学教育与研究学院）；Leibniz–Institute for Food Systems Biology, Technical University of Munich, Freising, Germany（莱比锡食品系统生物学研究所，慕尼黑技术大学，弗莱辛，德国）；Stellenbosch Institute of Advanced Studies (STIAS), South Africa（斯坦伦博斯高级研究 institute（STIAS），南非）
本文提出MUDRA方法，通过高效ECM算法处理多变量时间序列中的缺失数据，提升分类性能，尤其在缺失数据情况下表现更优。
2024-02-20 cs.LG math.ST stat.TH
Simplex Deep Linear Discriminant Analysis
Mohamed bin Zayed University of Artificial Intelligence（莫莫德·本·泽德人工智能大学）；National Center of Space Research and Technology（国家空间研究与技术中心）；Nazarbayev University（纳扎尔巴耶夫大学）；Purdue University Fort Wayne（普渡大学富尔顿分校）
本文提出了一种受约束的深度LDA方法，通过固定类均值和限制协方差，提升模型在图像和文本任务中的分类性能。
2026-02-19 cs.LG stat.ML
Max-margin Metric Learning for Speaker Recognition
Tsinghua University（清华大学）
概率线性判别分析（ProbabilityLinearDiscriminantAnalysis，PLDA）是一种常用的i向量模型归一化方法，在说话人识别中具有很好的性能。然而，PLDA模型的一个潜在问题是，它基本上假设扬声器向量上的高斯分布，这在实践中并不总是正确的。另外，目标函数与任务的目标不直接相关，例如，区分真正的演讲者和冒名顶替者。在本文中，我们提出了一个最大间隔度量学习方法来解决这个问题。它学习一个线性变换的标准，目标和冒名顶替者试验之间的差距最大化。在SRE 08核测试上的实验表明，与PLDA相比，新方法可以获得相当甚至更好的性能，尽管评分只是一个简单的余弦计算。
2016-03-31 cs.LG cs.SD
