Optimal variable selection in multi-group sparse discriminant analysis
本文考虑的问题，多组分类的设置中的变量数$p$是大于观察数$n$。在文献中已经提出了几种方法来解决这个问题，但是它们的变量选择性能要么是未知的，要么是次优的，在两组的情况下已知的结果。在这项工作中，我们使用Gaynanova等人的判别分析建议，为多组情况下相关变量的一致恢复提供了尖锐的条件，2014.我们实现的收敛速度，达到最佳缩放的样本量$n$，变量数$p$和稀疏水平$s$。这些速率明显快于多组情况下的最佳已知结果。此外，它们与两组情况下的最优极大极小利率相吻合。我们验证了我们的理论结果与数值分析。
2014-11-23 stat.ML
Selecting Biomarkers for building optimal treatment selection rules using Kernel Machines
用于治疗选择的最佳生物标志物组合可以通过最小化由靶向疾病及其治疗引起的人群的总负担来获得。然而，当存在多个生物标志物时，将所有生物标志物包括在模型中可能是昂贵的，并且损害模型性能。为了解决这个问题，我们考虑通过最小化额外包含生物标志物测量成本的扩展总负担来优化特征选择。制定它作为一个0-范数惩罚加权分类，我们开发了各种估计线性和非线性组合的程序。通过模拟和一个真实的数据例子，我们证明了在推导治疗选择规则时，将特征选择和标记成本结合起来的重要性。
2019-06-06 stat.AP stat.ML
Non-stationary Gaussian process discriminant analysis with variable selection for high-dimensional functional data
University of Melbourne（墨尔本大学）；University of Edinburgh（爱丁堡大学）；University of Sydney（悉尼大学）
随着数据采集技术的发展，高维分类和特征选择任务无处不在。在一些应用领域，如生物学，基因组学和蛋白质组学，数据往往是功能性的，并表现出一定程度的粗糙度和非平稳性。这些结构对主要依赖于分别执行变量选择和分类的两阶段方法的常用方法提出了额外的挑战。在这项工作中，我们提出了一种新的高斯过程判别分析（GPDA），结合这些步骤在一个统一的框架。我们的模型是一个两层的非平稳高斯过程加上一个伊辛之前，以确定差分分布的位置。可扩展的推理是通过开发一个变分方案，利用稀疏逆协方差阵的使用进展。我们展示了我们的方法在模拟数据集和两个蛋白质组学数据集：乳腺癌和SARS-CoV-2上的性能。我们的方法通过提供可解释性和不确定性量化以及低计算成本来区分自己，这对于增加数据驱动工具的信任和社会接受度至关重要。
2021-09-29 cs.LG stat.CO stat.ML
Pivotal Estimation of Linear Discriminant Analysis in High Dimensions
本文提出高维线性判别分析方法PANDA，具有调参不敏感特性，并在估计误差和误分类率上达到最优收敛速率，数值实验验证其性能优于或等同于现有方法且调参成本更低。
2023-09-18 math.ST stat.ML stat.TH
Optimal Discriminant Analysis in High-Dimensional Latent Factor Models
针对高维分类的两步投影流程，本文构建潜变量模型提供理论依据，提出数据驱动选主成分数量的高效分类器，证明其超额风险收敛速率达极小极大最优，且特征维数可超样本量，实验验证了理论与方法的有效性。
2025-08-03 math.ST stat.ME stat.ML
Optimal Discriminant Functions Based On Sampled Distribution Distance for Modulation Classification
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
在这封信中，我们推导出调制分类的最佳判别函数的基础上采样的分布距离。所提出的方法分类各种候选星座使用低复杂度的方法的基础上，在特定的测试点沿累积分布函数的分布距离。该方法基于贝叶斯决策准则，在给定一组测试点的情况下，渐近地提供可能的最小分类误差。测试点位置也进行了优化，以提高分类性能。该方法提供了显着的增益超过现有的方法，也使用的信号特征的分布。
2013-02-19 cs.LG cs.PF stat.ML
Compressive Regularized Discriminant Analysis of High-Dimensional Data with Applications to Microarray Studies
我们提出了一种线性判别分析的修改，称为压缩正则化判别分析（CRDA），用于分析高维数据集。CRDA是专门设计用于特征消除的，可以用作基因芯片研究中的基因选择方法。CRDA借鉴了多测量向量（MMV）模型中的$\ell_{q,1}$范数最小化算法的思想，并利用联合稀疏促进硬阈值进行特征消除。当我们考虑具有挑战性的场景时，也需要正则化样本协方差阵，其中特征（变量）的数量与训练数据集的样本量相当或超过该样本量。模拟研究和四个例子的真实生活中的微阵列数据集评估的性能CRDA分类。总的来说，所提出的方法给出了更少的误分类错误比它的竞争对手，而在同一时间实现准确的特征选择。
2018-04-11 stat.AP stat.ME stat.ML
Interpolating Discriminant Functions in High-Dimensional Gaussian Latent Mixtures
University of Toronto（多伦多大学）；Cornell University（康奈尔大学）
本文考虑了在低维隐高斯混合结构和非零噪声的假设模型下高维特征的二进制分类。利用广义最小二乘估计器估计最优分离超平面的方向。所估计的超平面被示出为在训练数据上插值。虽然方向向量可以一致地估计，正如可以从线性回归的最新结果中预期的那样，但是朴素的插件估计无法一致地估计截距。一个简单的校正，需要一个独立的保持样本，使程序极小极大最优在许多情况下。后一个过程的插值属性可以保留，但令人惊讶的是，这取决于标签的编码方式。
2023-03-29 cs.LG math.ST stat.ME
Structural Effect and Spectral Enhancement of High-Dimensional Regularized Linear Discriminant Analysis
针对高维RLDA性能受数据结构影响的问题，本文推导误分类率近似并提出SEDA，通过调整协方差尖峰特征值提升分类与降维性能。
2025-07-22 cs.LG math.ST stat.ME
Deflation-Free Optimal Scoring
School of Mathematical Sciences, University of Southampton（数学科学学院，南安普顿大学）
本文提出无消元最优评分方法，通过全局正交约束同时估计判别向量，解决传统方法误差传播问题，实验表明其在高维数据分类中性能优于现有方法。
2026-04-28 cs.LG math.OC stat.ML
A Doubly Regularized Linear Discriminant Analysis Classifier with Automatic Parameter Selection
COMSATS University Islamabad（COMSATS大学伊斯兰堡校区）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
基于线性判别分析（LDA）的分类器在训练数据的大小小于特征的数量或与特征的数量相当的许多实际设置中倾向于不稳定。作为补救措施，已经提出了不同的正则化LDA（RLDA）方法。这些方法可能仍然表现不佳，这取决于可用训练数据的大小和质量。特别地，例如由于噪声污染而导致的测试数据与训练数据模型的偏差可能导致严重的性能降级。此外，这些方法进一步致力于高斯假设（LDA建立在此基础上）来调整其正则化参数，这可能会在处理真实数据时损害准确性。为了解决这些问题，我们提出了一个双重正则化的LDA分类器，我们表示为R2LDA。在所提出的R2LDA方法中，RLDA得分函数被转换成两个向量的内积。通过替换这些向量的正则化估计的表达式，我们得到了包含两个正则化参数的R2LDA评分函数。为了设置这些参数的值，我们采用三种现有的正则化技术;约束扰动正则化方法（COPRA），有界扰动正则化（BPR）算法，和广义交叉验证（GCV）方法。这些方法都是基于线性估计模型，以样本协方差矩阵的平方根作为线性算子，对正则化参数进行调整。从合成数据和真实数据中获得的结果证明了所提出的R2LDA方法的一致性和有效性，特别是在涉及测试数据被噪声污染的情况下，这些噪声在训练阶段没有观察到。
2021-03-27 cs.LG stat.ML
Approximately optimal domain adaptation with Fisher's Linear Discriminant
Microsoft Research（微软研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出基于 FLD 的源任务平均假设与目标任务假设凸组合模型，推导 0-1 损失下的最优组合及可计算近似，并在 EEG、ECG 分类中验证其有效性。
2024-03-01 cs.LG eess.SP stat.AP
Sparse quadratic classification rules via linear dimension reduction
本文研究了具有不等协方差阵的两组样本之间的高维分类问题。而不是估计完整的二次判别规则，我们建议同时进行变量选择和线性降维的原始数据，随后应用二次判别分析的减少空间。与二次判别分析相比，所提出的框架不需要估计精度矩阵，并且随着测量次数线性扩展，这使得它在高维数据集上的使用特别有吸引力。我们支持的方法与理论保证变量选择的一致性，并与竞争的方法进行实证比较。我们将该方法应用于乳腺癌患者的基因表达数据，并证实了ESR1基因在区分雌激素受体状态中的重要性。
2018-01-16 stat.ME stat.ML
Alternating direction method of multipliers for penalized zero-variance discriminant analysis
我们认为，在高维设置的给定数据的特征的数量显着大于观察的数量的分类任务。为了完成这项任务，我们提出了一个启发式，称为稀疏零方差判别分析（SZVD），同时进行线性判别分析和特征选择高维数据。该方法结合了经典的零方差判别分析，其中判别向量是在类内协方差阵的零空间中识别的，并施加惩罚以在所得向量中诱导稀疏结构。为了近似解决由此产生的非凸问题，我们开发了一个简单的算法的基础上交替方向法的乘数。此外，我们表明，该算法适用于更大的一类惩罚广义特征值问题，包括一个特定的松弛的稀疏主成分分析问题。最后，我们建立了理论保证我们的算法收敛到原来的非凸问题的固定点，并实证证明了我们的启发式分类模拟数据和时间序列分类应用程序中提取的数据的有效性。
2015-12-08 math.OC stat.ML
Feature selection in omics prediction problems using cat scores and false nondiscovery rate control
我们重新讨论了线性判别分析（LDA）中的特征选择问题，即当特征相关时。首先，我们介绍了一个汇集的质心制定的多类LDA预测函数，其中的Mahalanobis变换预测的相对权重由相关调整$t$ -分数（猫分数）。其次，对于特征选择，我们提出了阈值猫分数通过控制错误的非发现率（FNDR）。第三，分类器的训练是基于相关性和方差的James-Stein收缩估计，其中正则化参数是分析选择的，而不需要重新搜索。总的来说，这导致了一个有效的和计算成本低廉的框架，高维预测与自然特征选择。建议的收缩判别程序在R软件包`` sda '中实现，可从R存储库CRAN获得。
2010-10-08 stat.AP stat.ML
A multi-class structured dictionary learning method using discriminant atom selection
FICH（FICH学院）；UNL（国立拉普拉塔大学）；CONICET（阿根廷国家科学与技术研究理事会）；FIQ（FIQ学院）
在过去的十年中，传统的字典学习方法已经成功地应用于各种模式分类任务。虽然这些方法产生对失真和丢失数据鲁棒的信号的稀疏表示，但是如果最终目标是信号分类，则这种表示经常被证明是不合适的。为了克服或至少减弱这样的弱点，近年来出现了几种新的方法，这些方法将判别信息引入稀疏诱导模型。特别是，判别式字典学习的方法已被证明比传统的方法更准确（在信号分类方面），传统的方法只专注于最小化总表示误差。在这项工作中，我们提出了一种新的多类判别措施和创新的字典学习方法。对于一个给定的字典，这种新的措施，它不仅考虑到当一个特定的原子被用于表示来自某个类的信号和其相应的表示系数的大小，而且这种原子在总的表示误差的影响，是能够有效地量化的程度的可辨别性的每一个原子。另一方面，新的字典构造方法产生的字典是非常适合多类分类任务。我们的方法进行了测试，广泛使用的数据库的手写数字识别，并与三个国家的最先进的分类方法进行比较。结果表明，我们的方法显着优于其他三个实现良好的识别率，此外，降低了分类器的计算成本。
2018-12-04 cs.CV cs.LG stat.ML
A Feature-map Discriminant Perspective for Pruning Deep Neural Networks
Princeton University（普林斯顿大学）
网络修剪已成为加速移动和边缘应用的深度神经网络的事实上的工具。最近，基于特征图判别式的通道修剪已经显示出有希望的结果，因为它与区分多个类的CNN目标很好地一致，并且提供了修剪决策的更好的可解释性。然而，现有的基于判别式的方法受到计算效率低下的挑战，因为缺乏量化特征图判别能力的理论指导。在本文中，我们提出了一个新的数学公式，以准确和有效地量化的特征映射的区分度，从而产生了一个新的标准，判别信息（DI）。我们分析了DI的理论属性，特别是非减属性，这使得DI成为一个有效的选择标准。基于DI的修剪去除对DI值影响最小的信道，因为它们包含关于判别能力的很少信息。DI准则的通用性还使得层内混合精度量化能够进一步压缩网络。此外，我们提出了一个基于DI的贪婪修剪算法和结构蒸馏技术，自动决定修剪结构，满足一定的资源预算，这是一个常见的需求，在现实中。大量的实验证明了我们方法的有效性：与未修剪的模型相比，我们在ImageNet上修剪的ResNet 50实现了44%的FLOPs减少，而没有任何Top-1精度损失
2020-05-28 cs.CV cs.LG stat.ML
Unobserved classes and extra variables in high-dimensional discriminant analysis
在监督分类问题中，测试集可能包含属于学习阶段未观察到的类别的数据点。此外，测试数据中的相同单位可以在关于何时收集学习样本的后续阶段记录的一组附加变量上测量。在这种情况下，在学习阶段构建的分类器需要适应处理潜在的未知类和额外的维度。我们介绍了一种基于模型的判别方法，自适应混合判别分析（D-AMDA），它可以检测未观察到的类，并适应增加的维数。通过基于期望最大化算法的全归纳方法进行模型估计。然后，该方法被嵌入到一个更一般的框架，自适应变量的选择和分类适合于大尺寸的数据。仿真研究和人工实验相关的掺假蜂蜜样本的分类，以验证所提出的框架，以处理复杂的情况下的能力。
2021-02-03 stat.CO stat.ME stat.ML
Multi-Group Quadratic Discriminant Analysis via Projection
Tsinghua University（清华大学）；Colorado State University（科罗拉多州立大学）
本文提出MGQDA方法，通过投影高维数据以实现多组分类，具有非线性和异质性协方差结构的处理能力，并在模拟和基因表达应用中展示了其优越的预测性能。
2026-01-08 stat.ME stat.ML
Kullback-Leibler Penalized Sparse Discriminant Analysis for Event-Related Potential Classification
Instituto de Investigación en Señales, Sistemas e Inteligencia Computacional, UNL, CONICET, FICH（信号、系统与智能计算研究所，国立利托拉尔大学，国家科学与技术研究理事会，水文与工程系）；Facultad de Ingeniería, Universidad Nacional de Entre Ríos（国立恩特雷里奥斯大学工程学院）；Instituto de Matemática Aplicada del Litoral, UNL, CONICET, FIQ（滨海应用数学研究所，国立利托拉尔大学，国家科学与技术研究理事会，化学工程系）
脑机接口（BCI）是一种仅使用脑活动（EEG）在人的思想和外部世界之间提供直接通信的系统。基于事件相关电位（ERP）的脑机接口问题是一个二元模式识别问题。线性判别分析（LDA）被广泛用于解决这类分类问题，但当特征数量相对于观测数量较大时，它会失败。在这项工作中，我们提出了一个惩罚版本的稀疏判别分析（SDA），称为Kullback-Leibler惩罚稀疏判别分析（KLSDA）。该方法既继承了SDA的判别特征选择和分类特性，又通过加入Kullback-Leibler类差异信息提高了SDA的性能。KLSDA方法被设计为自动选择最佳正则化参数。对两个真实的ERP-EEG数据集的数值实验表明，该方法优于标准SDA。
2016-08-24 cs.CV cs.LG stat.ML
A Large Dimensional Study of Regularized Discriminant Analysis Classifiers
本文对标准正则化判别分析分类器进行了高维分析，这些分类器是在假设数据来自具有不同均值和协方差的高斯混合模型的基础上设计的。分析依赖于随机矩阵理论（RMT）的基本结果，当每个类中的特征数量和训练数据的基数以相同的速度增长时。在温和的假设下，我们表明，渐近分类误差接近一个确定性的量，只依赖于与每个类的均值和协方差以及问题的维度。这样的结果允许更好地理解正则化判别分析的性能，在实际的大而有限的维度，并可以用来确定和预先估计的最佳正则化参数，最大限度地减少误分类错误的概率。尽管理论上仅对高斯数据有效，但我们的研究结果表明，从流行的USPS数据库中提取的真实数据集预测性能具有很高的准确性，从而在理论与实践之间建立了有趣的联系。
2019-06-18 stat.ML
Wasserstein Discriminant Analysis
Université Côte d’Azur（蔚蓝海岸大学）
Wasserstein判别分析（WDA）是一种新的有监督的方法，它可以通过计算一个合适的线性映射到一个低维子空间，以提高分类的高维数据。遵循经典线性判别分析（LDA）的蓝图，WDA选择最大化两个量之比的投影矩阵：来自不同类别的投影点的分散度除以来自同一类别的投影点的分散度。为了量化离散度，WDA使用正则化的瓦瑟斯坦距离，而不是通常考虑的交叉方差测量，特别是在LDA中。由于最优传输的基本原理，WDA能够捕获类之间的全局（分布规模）和局部（样本规模）交互。正则化的瓦瑟斯坦距离可以使用Sinkhorn矩阵缩放算法计算，我们表明，WDA的优化可以使用自动微分Sinkhorn迭代来解决。数值实验表明，在玩具示例和现实生活中的数据集（如MNIST）以及从加州理工学院数据集的一个子集中获得的深度特征的预测和可视化方面，都有很好的结果。
2018-05-23 cs.LG stat.ML
A Compressive Classification Framework for High-Dimensional Data
Aalto University（阿尔托大学）
我们提出了一个压缩分类框架的设置，其中的数据维度是显着高于样本量。所提出的方法，被称为压缩正则化判别分析（CRDA）是基于线性判别分析，并有能力选择显着的功能，通过使用联合稀疏促进硬阈值的判别规则。由于特征的数量大于样本量，该方法还使用了最先进的正则化样本协方差阵估计。在实际数据集，包括图像，语音信号和基因表达数据的几个分析例子说明了所提出的CRDA分类器在实践中提供的有前途的改进。总体而言，所提出的方法给出了更少的误分类错误比它的竞争对手，而在同一时间实现准确的特征选择结果。该方法的开源R包和MATLAB工具箱（名为compressiveRDA）是免费提供的。
2020-11-12 cs.LG stat.ML
A Direct Approach for Sparse Quadratic Discriminant Analysis
二次判别分析（QDA）是一种标准的分类工具，由于其简单性和灵活性。由于其参数的数量与变量的数量成二次方关系，因此当维数相对较大时，QDA是不实用的。为了解决这个问题，我们提出了一个新的程序命名为DA-QDA QDA在分析高维数据。DA-QDA在一个简单而连贯的框架中制定，旨在直接估计贝叶斯判别函数中的关键量，包括二次相互作用和分类变量的线性指数。在适当的稀疏性假设下，我们建立了一致性结果估计的相互作用和线性指数，并进一步表明，我们的程序的误分类率收敛到最佳贝叶斯风险，即使当维数是指数高的样本量。基于交替方向乘子法（ADMM），提出了一种求解相互作用的有效算法，该算法比文献中的同类算法快得多。通过广泛的模拟研究和四个真实数据集的分析，说明了DA-QDA的良好性能。
2018-09-05 stat.CO stat.ME stat.ML
High-Dimensional Tensor Discriminant Analysis with Incomplete Tensors
University of Notre Dame（圣母大学）；New York University（纽约大学）
针对不完整高维张量分类难题，提出基于TGMM的Tensor LDA-MD算法，利用判别张量低秩结构处理缺失数据，建立相关理论界，在模拟与真实数据中表现优异。
2024-10-30 cs.LG stat.ME stat.ML
Penalized versus constrained generalized eigenvalue problems
我们调查之间的差异使用$\ell_1$罚款与$\ell_1$约束的广义特征值问题，如主成分分析和判别分析。我们的主要发现是，一个$\ell_1$罚款可能无法提供非常稀疏的解决方案，变量选择，可以通过使用$\ell_1$约束补救的严重缺点。我们的主张得到了经验证据和理论分析的支持。最后，我们说明了一个$\ell_1$约束条件下的判别分析和主成分分析的优势。
2015-05-04 stat.CO stat.ML
Feature Selection Approach with Missing Values Conducted for Statistical Learning: A Case Study of Entrepreneurship Survival Dataset
在这篇文章中，我们调查的功能，提高区分生存的微型和小型企业（MSE）使用的方法，数据挖掘与特征选择。根据数据集的复杂性，提出了均值填补（MI）、k-最近邻（KNN）和期望最大化（EM）三种数据填补方法的比较，采用互选变量技术，通过t检验，然后通过数据挖掘过程采用逻辑斯谛回归分类方法、朴素贝叶斯算法、线性判别分析和支持向量机从而比较它们各自的性能。实验结果将在开发一个模型来预测MSE生存传播，一旦它成为巴西GPA和宏观经济的重要组成部分，就可以更好地理解这个主题。
2018-10-02 cs.LG stat.ML
Embedding Feature Selection for Large-scale Hierarchical Classification
George Mason University（乔治梅森大学）
大规模层次分类（HC）涉及由数千个类和数百万个训练实例组成的数据集，这些数据集具有高维特征，这带来了一些大数据挑战。特征选择是解决大规模HC问题的一种有效策略。它加快了训练过程，减少了预测时间，并通过压缩学习模型权重向量的总大小来最大限度地减少内存需求。大多数研究也表明，特征选择是称职的，并成功地提高分类精度，通过删除不相关的功能。在这项工作中，我们研究了各种基于过滤器的特征选择方法降维，以解决大规模HC问题。我们对具有不同特征，类别和实例分布的文本和图像数据集进行的实验评估显示，在大规模数据集上的速度提高了3倍，存储学习模型的权重向量的内存需求减少了45%，而分类精度没有任何显着损失（某些数据集的改进）。源代码：https://cs.gmu.edu/~mlbio/featureselection.
2017-06-06 cs.LG stat.ML
Optimised Feature Subset Selection via Simulated Annealing
Instituto de Física Fundamental, IFF-CSIC（物理基础研究所，IFF-CSIC）；Inspiration-Q
本研究提出基于模拟退火的ℓ₀范数特征选择算法SA-FDR，以费希尔判别比为优化导向做全局搜索，能捕捉特征间依赖，在高维数据上可在保证准确率的同时选出更紧凑的特征子集，助力可解释模型设计。
2025-07-31 cond-mat.stat-mech cs.LG stat.ML
A ROAD to Classification in High Dimensional Space
对于高维分类，众所周知，单纯地执行Fisher判别规则会导致差的结果，这是由于发散的光谱和噪声积累。因此，研究人员提出了独立规则来规避不同的频谱，稀疏独立规则来减轻噪声积累的问题。然而，在生物学应用中，通常有一组相关基因负责临床结果，使用协方差信息可以显着降低误分类率。通过比较Fisher判别规则和独立性规则的误分类率，揭示了这种错误率降低的程度。为了实现基于有限样本的增益，提出了一种基于协方差惩罚的正则化最优仿射鉴别器（ROAD）。随着惩罚的放松，ROAD选择了越来越多的特征。当采用筛选方法在命中ROAD之前缩小特征池时，可以实现进一步的益处。一个有效的约束坐标下降算法（CCD）也被开发来解决相关的优化问题。建立了Oracle类型的抽样性质。仿真研究和实际数据分析支持了我们的理论结果，并证明了新的分类方法在各种相关结构下的优势。在总体水平上对ROAD优化问题的连续分段线性解路径的一个精细结果证明了CCD算法的线性插值。
2011-11-09 stat.ME stat.ML
