On Supervised Feature Selection from High Dimensional Feature Spaces
University of Southern California（南加州大学）
将机器学习应用于图像和视频数据通常会产生高维特征空间。有效的特征选择技术识别出一个判别特征子空间，该子空间降低了计算和建模成本，同时性能降低很少。在这项工作中，提出了一种新的监督特征选择方法的机器学习决策。由此产生的测试分别被称为分类和回归问题的判别特征测试（DFT）和相关特征测试（RFT）。详细描述了DFT和RFT过程。此外，我们比较了DFT和RFT与几种经典的特征选择方法的有效性。为此，我们使用LeNet-5为MNIST和Fashion-MNIST数据集获得的深度特征作为说明性示例。还包括具有手工制作和基因表达特征的其他数据集，用于性能评估。实验结果表明，DFT和RFT可以选择一个低维的特征子空间清晰，鲁棒性，同时保持较高的决策性能。
2022-06-19 cs.LG
Variable Metric Proximal Gradient Method with Diagonal Barzilai-Borwein Stepsize
Stanford University（斯坦福大学）；LG Sillicon Valley Lab（LG硅谷实验室）
变尺度邻近梯度法（VM-PG）是一类应用广泛的凸优化方法。近年来，人们对VM-PG在不同度量选择下的理论保证进行了大量的研究。然而，大多数这样的度量选择依赖于（昂贵的）Hessian，或限于标量步长，如具有大量保护的Barzilai-Borwein（BB）步长。相反，在本文中，我们提出了一种自适应度量选择策略，称为对角Barzilai-Borwein（BB）步长。所提出的对角线选择更好地捕获问题的局部几何结构，同时保持每步计算成本类似于标量BB步长，即$O(n)$。在此度量选择下，分析了VM-PG算法的理论收敛性。我们的实证研究说明了在所提出的对角BB步长下改进的收敛结果，特别是对于合成和真实世界数据集的病态机器学习问题。
2019-10-15 cs.LG math.OC stat.ML
Deflation-Free Optimal Scoring
School of Mathematical Sciences, University of Southampton（数学科学学院，南安普顿大学）
本文提出无消元最优评分方法，通过全局正交约束同时估计判别向量，解决传统方法误差传播问题，实验表明其在高维数据分类中性能优于现有方法。
2026-04-28 cs.LG math.OC stat.ML
Variational Nonparametric Discriminant Analysis
变量选择和分类是高维数据分析中的常见目标。大多数这样的方法作出的分布假设可能与数据可能采用的不同分布族不兼容。提出了一种新的贝叶斯非参数判别分析模型，该模型在一个无缝的框架内进行变量选择和分类。P{ó}lya树先验被分配给未知的组条件分布，以解释它们的不确定性，并允许关于分布的先验信念被简单地合并为超参数。采用折叠变分贝叶斯推理与一系列函数逼近相结合，导致了一个低计算成本的算法。由此产生的决策规则进行启发式的解释，并与现有的双样本贝叶斯非参数假设检验。通过对一些模拟数据集和公开的真实数据集的应用，与当前最先进的方法相比，该方法表现出良好的性能。
2019-08-27 stat.ME
Feature Selection Approach with Missing Values Conducted for Statistical Learning: A Case Study of Entrepreneurship Survival Dataset
在这篇文章中，我们调查的功能，提高区分生存的微型和小型企业（MSE）使用的方法，数据挖掘与特征选择。根据数据集的复杂性，提出了均值填补（MI）、k-最近邻（KNN）和期望最大化（EM）三种数据填补方法的比较，采用互选变量技术，通过t检验，然后通过数据挖掘过程采用逻辑斯谛回归分类方法、朴素贝叶斯算法、线性判别分析和支持向量机从而比较它们各自的性能。实验结果将在开发一个模型来预测MSE生存传播，一旦它成为巴西GPA和宏观经济的重要组成部分，就可以更好地理解这个主题。
2018-10-02 cs.LG stat.ML
Embedding Feature Selection for Large-scale Hierarchical Classification
George Mason University（乔治梅森大学）
大规模层次分类（HC）涉及由数千个类和数百万个训练实例组成的数据集，这些数据集具有高维特征，这带来了一些大数据挑战。特征选择是解决大规模HC问题的一种有效策略。它加快了训练过程，减少了预测时间，并通过压缩学习模型权重向量的总大小来最大限度地减少内存需求。大多数研究也表明，特征选择是称职的，并成功地提高分类精度，通过删除不相关的功能。在这项工作中，我们研究了各种基于过滤器的特征选择方法降维，以解决大规模HC问题。我们对具有不同特征，类别和实例分布的文本和图像数据集进行的实验评估显示，在大规模数据集上的速度提高了3倍，存储学习模型的权重向量的内存需求减少了45%，而分类精度没有任何显着损失（某些数据集的改进）。源代码：https://cs.gmu.edu/~mlbio/featureselection.
2017-06-06 cs.LG stat.ML
Parallel feature selection based on the trace ratio criterion
SimulaMet；AISIA Research Lab（AISIA研究实验室）；University of Science（科学大学）；Vietnam National University（越南国家大学）；University of Connecticut（康涅狄格大学）
当今数据的增长对管理和推理提出了挑战。虽然特征提取方法能够减少用于推断的数据的大小，但是它们无助于最小化数据存储的成本。另一方面，特征选择有助于去除冗余特征，因此不仅有助于推理，而且有助于降低管理成本。本文提出了一种新的并行特征选择分类方法--基于迹准则的并行特征选择方法（PFST），该方法可以扩展到非常大的数据集。我们的方法使用跟踪标准，一种用于Fisher判别分析的类可分性度量，来评估特征的有用性。从理论上分析了该准则的理想性质。基于该准则，PFST通过首先进行前向选择并提前去除看似冗余的特征，快速地从大数据集的一组特征中找到重要特征。在模型中包含最重要的特征之后，我们检查它们的贡献，以确定可能改善拟合的可能相互作用。最后，我们做了一个向后选择，以检查回可能的冗余添加的前向步骤。我们评估我们的方法，通过各种实验使用线性判别分析作为分类器上选定的功能。实验表明，我们的方法可以产生一个小的功能集在一小部分的时间量的其他方法进行比较。此外，在PFST选择的特征上训练的分类器不仅比其他方法选择的分类器具有更好的准确性，而且比所有可用特征的分类器具有更好的准确性。
2022-03-03 cs.LG
Non-asymptotic model selection in block-diagonal mixture of polynomial experts models
Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；CNRS（法国国家科学研究中心）；La Trobe University（乐卓博大学）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔理工学院）
通过惩罚似然类型标准进行模型选择是许多统计推断和机器学习问题中的标准任务。取得的进展，导致推导出的标准与渐近一致性的结果，并越来越重视引进非渐近标准。我们专注于在回归数据中建模非线性关系的问题，潜在的隐藏的图形结构的高维预测之间的相互作用，在混合专家建模框架。为了处理这样一个复杂的情况下，我们研究了块对角局部混合多项式专家（BLoMPE）回归模型，这是建立在一个逆回归和块对角结构的高斯专家协方差阵。我们引入惩罚极大似然选择准则来估计回归模型的未知条件密度。该模型选择准则使我们能够处理具有挑战性的问题，推断的混合物成分的数量，多项式的次数多项式的次数平均函数，和隐藏的块对角结构的协方差阵，这减少了要估计的参数的数量，并导致在模型的复杂性和稀疏性之间的权衡。特别是，我们提供了一个强有力的理论保证：一个有限样本的预言不等式所满足的惩罚最大似然估计与Jensen-Kullback-Leibler型损失，以支持引入的非渐近模型选择标准。该标准的惩罚形状取决于所考虑的BLoMPE模型的随机子集的复杂性，包括相关的图形结构，多项式的次数多项式的次数均值函数，以及混合成分的数量。
2021-05-10 cs.AI cs.LG math.ST
FoLDTree: A ULDA-Based Decision Tree Framework for Efficient Oblique Splits and Feature Selection
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
本文提出LDATree和FoLDTree两种基于ULDA的决策树框架，实现高效斜切分、特征选择与多类分类，性能优于传统斜树，准确率媲美随机森林。
2025-05-23 cs.LG stat.ME stat.ML
Efficiently Learning a Detection Cascade with Sparse Eigenvectors
NICTA（澳大利亚国家信息与通信技术研究院）；Australian National University（澳大利亚国立大学）；University of New South Wales（新南威尔士大学）
在这项工作中，我们首先表明，特征选择方法以外的提升也可以用于训练一个有效的对象检测器。特别是，我们介绍了贪婪稀疏线性判别分析（GSLDA）\cite{Moghaddam2007Fast}的概念简单和计算效率，并实现略好的检测性能相比，\cite{Viola2004Robust}。此外，我们提出了一种新的技术，称为提升贪婪稀疏线性判别分析（BGSLDA），有效地训练检测级联。BGSLDA利用了Boosting的样本重新加权特性和GSLDA的类可分性准则。
2009-03-18 cs.AI cs.LG cs.MM
Improving BPSO-based feature selection applied to offline WI handwritten signature verification through overfitting control
Centro de Informática, UFPE（伯南布哥联邦大学信息中心）；École de Technologie Supérieure - Université du Québec（魁北克大学高等技术学院）
本文研究了在手写签名验证（HSV）的背景下，使用二进制粒子群优化（BPSO）进行特征选择时是否存在过拟合问题。SigNet是一种最先进的深度CNN模型，用于HSV上下文中的特征表示，包含2048个维度。这些维度中的一些维度可以包括由独立于写入者（WI）方法使用的二分法变换（DT）生成的相异性表示空间中的冗余信息。分析是在GPDS-960数据集上进行的。实验表明，该方法能够控制过拟合搜索过程中的最具鉴别力的表示。
2020-05-11 cs.CV cs.LG
Incremental personalized E-mail spam filter using novel TFDCR feature selection with dynamic feature update
Nirma University（尼尔马大学）；Symbiosis Institute of Technology（共生理工学院）；Symbiosis International (Deemed University)（共生国际（认定大学））
通过电子邮件进行的通信仍然是在互联网上交流信息的高度正规、常规和不可或缺的方法。日益增长的垃圾邮件比例和攻击性给垃圾邮件的分类分布不均匀、错误代价不均等、内容变化频繁和个性化上下文敏感鉴别等带来了挑战。在这项研究中，我们提出了一种新颖的和独特的方法来开发一个增量个性化的电子邮件垃圾邮件过滤器。拟议的工作是使用三个重要的贡献。首先，我们采用了一种新的术语频率差和类别比为基础的特征选择功能TFDCR选择最具鉴别力的功能，而不管在每个类中的样本数量。其次，使用增量学习模型，使分类器能够动态更新判别函数。第三，一个启发式函数selectionRankWeight被引入到现有的功能集，确定新的功能进行强区分能力的传入的电子邮件集升级。三个具有不同特征的公共电子邮件数据集被用来评估过滤器的性能。通过实验比较了TFDCR的特征选择效率，并观察了批量学习和增量学习模式下的滤波性能。结果表明，TFDCR作为最有效的特征选择函数的优越性。加入动态特征更新功能的增量学习模型克服了概念漂移的问题。该过滤器大大提高了分类精度，减少了将合法邮件误分类为垃圾邮件的误报率，验证了该方法的有效性和可行性。
2019-04-27 cs.LG stat.ML
Effective Discriminative Feature Selection with Non-trivial Solutions
National University of Defense Technology（国防科技大学）；Northwestern Polytechnical University（西北工业大学）
特征选择和特征变换是降维的两种主要方法，通常是分开提出的。本文将基于变换的线性判别分析（LDA）降维方法与稀疏正则化相结合，提出了一种特征选择方法。我们通过${\ell}_{2,1}$ -范数正则化对LDA的变换矩阵施加行稀疏性来实现特征选择，并且所得公式优化以选择最具鉴别力的特征并同时去除冗余特征。该公式被扩展到${\ell}_{2,p}$ -范数正则化的情况下：这是更有可能提供更好的稀疏性时，$0<p<1$。因此，公式是一个更好的近似的特征选择问题。给出了求解基于${\ell}_{2,p}$ -范数的优化问题的一个有效算法，并证明了该算法在满足$0<p\le 2$条件下收敛.进行了系统的实验，以了解所提出的方法的工作。在各种类型的真实数据集上的实验结果表明了该算法的有效性。
2015-04-21 cs.LG
Adaptive Graph-based Generalized Regression Model for Unsupervised Feature Selection
Southwestern University of Finance and Economics（西南财经大学）；Putian College Affiliated Hospital（莆田学院附属医院）；Southwest Jiaotong University（西南交通大学）
无监督的特征选择是一种重要的无标签高维数据降维方法，有利于避免"维数灾难“，提高后续机器学习任务（如聚类和检索）的性能。如何选择不相关的、有鉴别力的特征是无监督特征选择的关键问题。许多提出的方法选择具有强鉴别性和高冗余度的特征，反之亦然。然而，它们只满足这两个标准中的一个。其他现有的方法通过在原始特征空间上构造图矩阵来选择具有低冗余度的鉴别特征。由于原始特征空间通常含有冗余和噪声，这会降低特征选择的性能。为了解决这些问题，我们首先提出了一种新的广义回归模型施加的不相关的约束和$\ell_{2,1}$ -范数正则化。该算法可以同时选择不相关的和有区别的特征，并减少属于同一邻域的数据点的方差，这有助于聚类任务。通过自适应学习相似诱导图，在降维空间上构造数据的局部内在结构。然后将基于谱分析的图结构和指标矩阵的学习集成到广义回归模型中。最后，我们开发了一种替代的迭代优化算法来求解目标函数。一系列的实验进行了9个真实世界的数据集，以证明所提出的方法相比，与其他竞争的方法的有效性。
2020-12-27 cs.LG stat.ML
Optimised Feature Subset Selection via Simulated Annealing
Instituto de Física Fundamental, IFF-CSIC（物理基础研究所，IFF-CSIC）；Inspiration-Q
本研究提出基于模拟退火的ℓ₀范数特征选择算法SA-FDR，以费希尔判别比为优化导向做全局搜索，能捕捉特征间依赖，在高维数据上可在保证准确率的同时选出更紧凑的特征子集，助力可解释模型设计。
2025-07-31 cond-mat.stat-mech cs.LG stat.ML
Unsupervised Feature Selection Algorithm Based on Graph Filtering and Self-representation
Shanxi University（山西大学）；Sichuan University（四川大学）；Anhui University（安徽大学）
针对现有无监督特征选择方法未考虑数据高阶邻域信息、难捕捉数据内在结构的问题，提出结合图滤波与自表示的算法，通过高阶图滤波、l2,1范数约束及迭代求解提升特征选择效果，经仿真验证有效。
2024-11-01 cs.LG
Application of Classification and Feature Selection in Building Energy Simulations
Texas A&M（德州农工大学）
建筑能耗性能是性能化建筑设计决策的关键特征之一。建筑围护结构材料在提高建筑节能性能方面可以发挥关键作用。建筑材料的热性能决定了建筑围护结构的传热水平，从而决定了建筑物全年的热能性能。本研究应用线性判别分析法探讨材料热物性对建筑热负荷之影响。采用两种方法进行特征选择，包括主成分分析（PCA）和穷举特征选择（EFS）。一个假设的设计方案是开发与六个材料的替代品，在洛杉矶，加利福尼亚州的办公楼。最佳设计方案的选择基于LDA的结果和关键的输入参数的PCA和EFS方法的基础上确定。主成分分析的结果证实，在所有的热性能的材料，四个参数，包括导热系数，密度，比热容和厚度是最关键的功能，在建筑热行为和热能消耗。这一结果与大多数建筑能耗模拟工具的假设相当吻合。
2021-08-27 cs.LG
Non-stationary Gaussian process discriminant analysis with variable selection for high-dimensional functional data
University of Melbourne（墨尔本大学）；University of Edinburgh（爱丁堡大学）；University of Sydney（悉尼大学）
随着数据采集技术的发展，高维分类和特征选择任务无处不在。在一些应用领域，如生物学，基因组学和蛋白质组学，数据往往是功能性的，并表现出一定程度的粗糙度和非平稳性。这些结构对主要依赖于分别执行变量选择和分类的两阶段方法的常用方法提出了额外的挑战。在这项工作中，我们提出了一种新的高斯过程判别分析（GPDA），结合这些步骤在一个统一的框架。我们的模型是一个两层的非平稳高斯过程加上一个伊辛之前，以确定差分分布的位置。可扩展的推理是通过开发一个变分方案，利用稀疏逆协方差阵的使用进展。我们展示了我们的方法在模拟数据集和两个蛋白质组学数据集：乳腺癌和SARS-CoV-2上的性能。我们的方法通过提供可解释性和不确定性量化以及低计算成本来区分自己，这对于增加数据驱动工具的信任和社会接受度至关重要。
2021-09-29 cs.LG stat.CO stat.ML
Optimal variable selection in multi-group sparse discriminant analysis
本文考虑的问题，多组分类的设置中的变量数$p$是大于观察数$n$。在文献中已经提出了几种方法来解决这个问题，但是它们的变量选择性能要么是未知的，要么是次优的，在两组的情况下已知的结果。在这项工作中，我们使用Gaynanova等人的判别分析建议，为多组情况下相关变量的一致恢复提供了尖锐的条件，2014.我们实现的收敛速度，达到最佳缩放的样本量$n$，变量数$p$和稀疏水平$s$。这些速率明显快于多组情况下的最佳已知结果。此外，它们与两组情况下的最优极大极小利率相吻合。我们验证了我们的理论结果与数值分析。
2014-11-23 stat.ML
Mid-price Prediction Based on Machine Learning Methods with Technical and Quantitative Indicators
Tampere University（坦佩雷大学）；Aarhus University（奥胡斯大学）
股票价格预测是一项具有挑战性的任务，但机器学习方法最近已成功用于此目的。在本文中，我们从技术和定量分析中提取了270多个手工特征（因素），并测试了它们对短期中间价走势预测的有效性。我们专注于一个包装功能选择方法，使用熵，最小均方和线性判别分析。我们还建立了一个新的定量功能的基础上自适应逻辑回归在线学习，这是不断选择的第一个大多数提出的特征选择方法。本研究探讨了最佳组合的功能，使用高频限价订单簿数据，从纳斯达克北欧。我们的研究结果表明，排序方法和分类器可以使用这样一种方式，一个可以达到最佳性能的组合只有很少的先进的手工制作的功能。
2019-07-13 cs.LG q-fin.ST stat.ML
Optimal Feature Selection in High-Dimensional Discriminant Analysis
我们考虑高维判别分析问题。对于这个问题，已经提出了不同的方法，并通过建立分类风险的精确收敛速度以及判别规则的l2收敛结果来证明。然而，尖锐的理论分析，这些程序的变量选择性能尚未建立，即使模型解释是科学数据分析的根本重要性。本文通过使用稀疏判别分析（Mai et al.，2012年）。通过仔细的分析，我们建立的收敛速度显着快于最知名的结果，并承认一个最佳的缩放的样本量n，维数p，和稀疏水平s的高维设置。在高维判别分析的背景下，变量选择问题的充分条件的补充必要的信息理论的限制。利用数值等价结果，我们的方法还建立了ROAD估计量的最佳结果（Fan等人，2012）和稀疏最优缩放估计器（Clemmensen等人，2011年）。此外，我们分析了一个穷举搜索过程，其性能作为一个基准，并表明它是变量选择一致的条件下较弱。还提供了大量的模拟，证明边界的清晰度。
2013-06-27 math.ST stat.ML stat.TH
Feature Selection By KDDA For SVM-Based MultiView Face Recognition
Amirkabir University of Technology（阿米尔卡比尔理工大学）
处理高维数据的人脸识别等应用需要一种映射技术，该技术引入了具有增强的区分能力的低维特征的表示和能够对这些复杂特征进行分类的适当分类器。传统的线性判别分析方法的最优性准则与所得到的特征表示的分类能力没有直接关系。此外，他们的分类精度受到“小样本量”的问题，这是经常遇到的FR任务。在这篇简短的论文中，我们结合了非线性核映射的数据称为KDDA与支持向量机分类器，以有效和成本效益的方式来处理这两个缺点。这里提出的方法进行比较，在分类精度方面，其他常用的FR方法UMIST人脸数据库。结果表明，该方法的性能总体上优于传统的FR方法，如特征脸，费舍尔脸，D-LDA方法和传统的线性分类器。
2008-12-13 cs.CV cs.LG
A Doubly Regularized Linear Discriminant Analysis Classifier with Automatic Parameter Selection
COMSATS University Islamabad（COMSATS大学伊斯兰堡校区）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
基于线性判别分析（LDA）的分类器在训练数据的大小小于特征的数量或与特征的数量相当的许多实际设置中倾向于不稳定。作为补救措施，已经提出了不同的正则化LDA（RLDA）方法。这些方法可能仍然表现不佳，这取决于可用训练数据的大小和质量。特别地，例如由于噪声污染而导致的测试数据与训练数据模型的偏差可能导致严重的性能降级。此外，这些方法进一步致力于高斯假设（LDA建立在此基础上）来调整其正则化参数，这可能会在处理真实数据时损害准确性。为了解决这些问题，我们提出了一个双重正则化的LDA分类器，我们表示为R2LDA。在所提出的R2LDA方法中，RLDA得分函数被转换成两个向量的内积。通过替换这些向量的正则化估计的表达式，我们得到了包含两个正则化参数的R2LDA评分函数。为了设置这些参数的值，我们采用三种现有的正则化技术;约束扰动正则化方法（COPRA），有界扰动正则化（BPR）算法，和广义交叉验证（GCV）方法。这些方法都是基于线性估计模型，以样本协方差矩阵的平方根作为线性算子，对正则化参数进行调整。从合成数据和真实数据中获得的结果证明了所提出的R2LDA方法的一致性和有效性，特别是在涉及测试数据被噪声污染的情况下，这些噪声在训练阶段没有观察到。
2021-03-27 cs.LG stat.ML
Revisiting the Application of Feature Selection Methods to Speech Imagery BCI Datasets
Institute of Biomedical Engineering, University of Toronto（多伦多大学生物医学工程研究所）；Bloorview Research Institute, Holland Bloorview Kids Rehabilitation Hospital（霍兰德布卢维尤儿童康复医院布卢维尤研究所）
脑机接口（Brain-computer interface，BCI）旨在建立和改善人机交互。人们越来越关注设计新的硬件设备，以促进通过各种技术收集大脑信号，例如湿和干脑电图（EEG）和功能性近红外光谱（fNIRS）设备。机器学习方法的有希望的结果吸引了研究人员将这些方法应用于他们的数据。然而，有些方法可以被忽略，仅仅是因为它们对特定数据集的性能较差。本文展示了如何相对简单而强大的特征选择/排名方法可以应用到语音图像数据集，并产生显着的结果。为此，我们介绍了两种方法，水平和垂直设置，使用任何特征选择和排名方法的语音图像BCI数据集。我们的主要目标是提高支持向量机，$k$ -最近邻，决策树，线性判别分析和长短期记忆递归神经网络分类器的分类精度。我们的实验结果表明，使用一个小的通道子集，我们可以保留，并在大多数情况下，提高分类精度，无论分类器。
2020-08-17 cs.LG eess.SP
A GA-based feature selection of the EEG signals by classification evaluation: Application in BCI systems
Texas A&M University（得克萨斯农工大学）
在脑电信号（EEG）处理中，从数据集中找到合适的信息是成功进行信号分类的一大挑战。特征选择方法使得解决这个问题成为可能;然而，方法选择仍在研究中，以找出哪种特征可以表现最好，以提取信号的最合适的特征，以提高分类性能。在这项研究中，我们使用遗传算法（GA），一种启发式搜索算法，找到最佳的组合的特征提取方法和分类器，在脑机接口（BCI）的应用。当且仅当BCI系统同时具有高精度和高速度时，它才是实用的。在所提出的方法中，遗传算法作为一个搜索引擎，以找到最佳的组合的功能和分类。这里使用的特征是Katz、Higuchi、Petrosian、Sevcik和盒计数维数（BCD）特征提取方法。这些特征被应用到小波子带中，并使用自适应神经模糊推理系统（ANFIS）、模糊k-最近邻（FKNN）、支持向量机（SVM）和线性判别分析（LDA）等四种分类器进行分类。由于大量的功能，GA优化是用来找到最佳的适应值（FV）的功能。结果表明，LDA分类的Katz分形特征估计方法具有最佳的FV。因此，由于与原始信号相比，第一Daubechies小波变换的计算时间较低，最终选择的方法包含细节子带的第一系数的分形特征。
2019-01-16 cs.LG cs.NE stat.ML
A non-asymptotic approach for model selection via penalization in high-dimensional mixture of experts models
Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；CNRS（法国国家科学研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔国立理工学院）；La Trobe University（乐卓博大学）；University of Queensland（昆士兰大学）
专家混合（MoE）是一类流行的统计和机器学习模型，多年来由于其灵活性和效率而受到关注。在这项工作中，我们考虑高斯门控本地化MoE（GLoME）和块对角协方差本地化MoE（BLoME）回归模型，以呈现非线性关系的异质数据与潜在的隐藏的图形结构的高维预测之间的相互作用。这些模型提出了困难的统计估计和模型选择问题，无论是从计算和理论的角度。在惩罚极大似然估计的框架下，研究了由混合分量数、高斯均值专家复杂度协方差阵的隐块对角结构组成的GLoME或BLoME模型集合中的模型选择问题.特别是，我们建立了非渐近的风险界，采取的形式弱预言不等式，提供的下界的处罚举行。我们的模型的良好的经验行为，然后证明在合成和真实的数据集。
2022-09-04 cs.AI cs.LG math.ST
A Study of Data Pre-processing Techniques for Imbalanced Biomedical Data Classification
Swinburne University of Technology（斯威本科技大学）；Deakin University（迪肯大学）；Harvard Medical School（哈佛医学院）
生物医学数据在开发用于识别特定肿瘤、药物发现和人类癌症分类的预测模型中被广泛接受。然而，以往的研究通常集中在不同的分类器，而忽略了类不平衡的问题，在现实世界的生物医学数据集。目前缺乏对不平衡生物医学数据学习的数据预处理技术（如重排序和特征选择）的评价研究。数据预处理技术和数据分布之间的关系在以前的研究中从未被分析过。本文主要回顾和评价了一些流行的和最近发展起来的类不平衡学习的特征选择方法。我们从数据分布的角度分析了每种技术的有效性。基于五个分类器，四个性能指标，八种学习技术，在二十个真实世界的数据集上进行了广泛的实验。实验结果表明：（1）使用支持向量机（SVM）分类器时，再分类和特征选择技术表现出更好的性能。然而，当使用C4.5决策树和线性判别分析分类器时，恢复和特征选择技术的性能较差;（2）对于具有不同分布的数据集，当使用SVM和KNN（K-最近邻）分类器时，随机欠采样和特征选择等技术的性能优于T位置-尺度分布的数据预处理方法。在负二项分布上，随机过采样方法的不平衡率较低，优于其他方法;（3）特征选择方法在大多数情况下优于其他数据预处理方法，因此，特征选择SVM分类器是不平衡生物医学数据学习的最佳选择。
2019-11-04 cs.LG q-bio.QM stat.ML
Importance-Guided Basis Selection for Low-Rank Decomposition of Large Language Models
Iowa State University（爱荷华州立大学）；Meta
本文提出BSI框架，通过估计移除每个基所导致的损失增加来选择和剪枝基，提升低秩分解效果。
2026-05-07 cs.LG
Class Mean Vector Component and Discriminant Analysis
Department of Engineering, ECE, Aarhus University（奥胡斯大学工程系（ECE））
在核方法中使用的核矩阵使用简单但隐式定义的解决方案来编码解决在输入空间中的数据表示上定义的复杂非线性问题所需的所有信息。对核矩阵的谱分析定义了输入数据表示到核空间的子空间的显式非线性映射，其可用于直接应用线性方法。然而，核子空间的选择对于后续处理步骤的性能至关重要。在本文中，我们提出了一种基于核的降维的成分分析方法，最佳地保留了类的两两距离的特征空间的手段。我们提供了广泛的分析所提出的标准，用于核主成分分析和核判别分析的连接，导致所提出的方法的判别分析版本。我们的分析还提供了更多的见解，通过应用这些方法获得的特征空间的属性。
2020-10-23 cs.LG stat.ML
Compressive Regularized Discriminant Analysis of High-Dimensional Data with Applications to Microarray Studies
我们提出了一种线性判别分析的修改，称为压缩正则化判别分析（CRDA），用于分析高维数据集。CRDA是专门设计用于特征消除的，可以用作基因芯片研究中的基因选择方法。CRDA借鉴了多测量向量（MMV）模型中的$\ell_{q,1}$范数最小化算法的思想，并利用联合稀疏促进硬阈值进行特征消除。当我们考虑具有挑战性的场景时，也需要正则化样本协方差阵，其中特征（变量）的数量与训练数据集的样本量相当或超过该样本量。模拟研究和四个例子的真实生活中的微阵列数据集评估的性能CRDA分类。总的来说，所提出的方法给出了更少的误分类错误比它的竞争对手，而在同一时间实现准确的特征选择。
2018-04-11 stat.AP stat.ME stat.ML
Selecting the number of clusters, clustering models, and algorithms. A unifying approach based on the quadratic discriminant score
University of Naples Federico II（那不勒斯腓特烈二世大学）；University of Salerno（萨莱诺大学）
本文提出基于二次判别得分的统一聚类选择方法，通过自助重采样比较不同聚类解，可处理其他方法无法比较的划分，并在实验中展现出更优的整体性能。
2023-08-11 cs.LG stat.ML
A multi-class structured dictionary learning method using discriminant atom selection
FICH（FICH学院）；UNL（国立拉普拉塔大学）；CONICET（阿根廷国家科学与技术研究理事会）；FIQ（FIQ学院）
在过去的十年中，传统的字典学习方法已经成功地应用于各种模式分类任务。虽然这些方法产生对失真和丢失数据鲁棒的信号的稀疏表示，但是如果最终目标是信号分类，则这种表示经常被证明是不合适的。为了克服或至少减弱这样的弱点，近年来出现了几种新的方法，这些方法将判别信息引入稀疏诱导模型。特别是，判别式字典学习的方法已被证明比传统的方法更准确（在信号分类方面），传统的方法只专注于最小化总表示误差。在这项工作中，我们提出了一种新的多类判别措施和创新的字典学习方法。对于一个给定的字典，这种新的措施，它不仅考虑到当一个特定的原子被用于表示来自某个类的信号和其相应的表示系数的大小，而且这种原子在总的表示误差的影响，是能够有效地量化的程度的可辨别性的每一个原子。另一方面，新的字典构造方法产生的字典是非常适合多类分类任务。我们的方法进行了测试，广泛使用的数据库的手写数字识别，并与三个国家的最先进的分类方法进行比较。结果表明，我们的方法显着优于其他三个实现良好的识别率，此外，降低了分类器的计算成本。
2018-12-04 cs.CV cs.LG stat.ML
A Feature-map Discriminant Perspective for Pruning Deep Neural Networks
Princeton University（普林斯顿大学）
网络修剪已成为加速移动和边缘应用的深度神经网络的事实上的工具。最近，基于特征图判别式的通道修剪已经显示出有希望的结果，因为它与区分多个类的CNN目标很好地一致，并且提供了修剪决策的更好的可解释性。然而，现有的基于判别式的方法受到计算效率低下的挑战，因为缺乏量化特征图判别能力的理论指导。在本文中，我们提出了一个新的数学公式，以准确和有效地量化的特征映射的区分度，从而产生了一个新的标准，判别信息（DI）。我们分析了DI的理论属性，特别是非减属性，这使得DI成为一个有效的选择标准。基于DI的修剪去除对DI值影响最小的信道，因为它们包含关于判别能力的很少信息。DI准则的通用性还使得层内混合精度量化能够进一步压缩网络。此外，我们提出了一个基于DI的贪婪修剪算法和结构蒸馏技术，自动决定修剪结构，满足一定的资源预算，这是一个常见的需求，在现实中。大量的实验证明了我们方法的有效性：与未修剪的模型相比，我们在ImageNet上修剪的ResNet 50实现了44%的FLOPs减少，而没有任何Top-1精度损失
2020-05-28 cs.CV cs.LG stat.ML
Regularized Bilinear Discriminant Analysis for Multivariate Time Series Data
Yunnan University of Finance and Economics（云南财经大学）；Northwestern Polytechnical University（西北工业大学）
针对多元时间序列的矩阵结构利用不足及BLDA类内矩阵奇异问题，提出带两个正则化参数的RBLDA及高效模型选择算法，实验显示其整体识别性能最佳且可视化更优。
2022-02-26 cs.LG stat.ML
Communication-efficient Distributed Sparse Linear Discriminant Analysis
我们提出了一个通信有效的分布式估计方法稀疏线性判别分析（LDA）在高维制度。我们的方法将大小为$N$的数据分布到$m$机器上，并使用大小为$N/m$的数据子集在每个机器上估计局部稀疏LDA估计器。在分布式估计之后，我们的方法聚集来自$m$机器的去偏局部估计器，并稀疏化聚集估计器。我们表明，聚合估计达到相同的统计率的集中估计方法，只要机器的数量$m$选择适当。此外，我们证明了我们的方法可以达到模型选择的一致性在一个温和的条件下比集中的方法。合成和真实数据集上的实验证实了我们的理论。
2016-10-15 stat.ML
Sparse quadratic classification rules via linear dimension reduction
本文研究了具有不等协方差阵的两组样本之间的高维分类问题。而不是估计完整的二次判别规则，我们建议同时进行变量选择和线性降维的原始数据，随后应用二次判别分析的减少空间。与二次判别分析相比，所提出的框架不需要估计精度矩阵，并且随着测量次数线性扩展，这使得它在高维数据集上的使用特别有吸引力。我们支持的方法与理论保证变量选择的一致性，并与竞争的方法进行实证比较。我们将该方法应用于乳腺癌患者的基因表达数据，并证实了ESR1基因在区分雌激素受体状态中的重要性。
2018-01-16 stat.ME stat.ML
Alternating direction method of multipliers for penalized zero-variance discriminant analysis
我们认为，在高维设置的给定数据的特征的数量显着大于观察的数量的分类任务。为了完成这项任务，我们提出了一个启发式，称为稀疏零方差判别分析（SZVD），同时进行线性判别分析和特征选择高维数据。该方法结合了经典的零方差判别分析，其中判别向量是在类内协方差阵的零空间中识别的，并施加惩罚以在所得向量中诱导稀疏结构。为了近似解决由此产生的非凸问题，我们开发了一个简单的算法的基础上交替方向法的乘数。此外，我们表明，该算法适用于更大的一类惩罚广义特征值问题，包括一个特定的松弛的稀疏主成分分析问题。最后，我们建立了理论保证我们的算法收敛到原来的非凸问题的固定点，并实证证明了我们的启发式分类模拟数据和时间序列分类应用程序中提取的数据的有效性。
2015-12-08 math.OC stat.ML
Feature selection in omics prediction problems using cat scores and false nondiscovery rate control
我们重新讨论了线性判别分析（LDA）中的特征选择问题，即当特征相关时。首先，我们介绍了一个汇集的质心制定的多类LDA预测函数，其中的Mahalanobis变换预测的相对权重由相关调整$t$ -分数（猫分数）。其次，对于特征选择，我们提出了阈值猫分数通过控制错误的非发现率（FNDR）。第三，分类器的训练是基于相关性和方差的James-Stein收缩估计，其中正则化参数是分析选择的，而不需要重新搜索。总的来说，这导致了一个有效的和计算成本低廉的框架，高维预测与自然特征选择。建议的收缩判别程序在R软件包`` sda '中实现，可从R存储库CRAN获得。
2010-10-08 stat.AP stat.ML
Structural Effect and Spectral Enhancement of High-Dimensional Regularized Linear Discriminant Analysis
针对高维RLDA性能受数据结构影响的问题，本文推导误分类率近似并提出SEDA，通过调整协方差尖峰特征值提升分类与降维性能。
2025-07-22 cs.LG math.ST stat.ME
Stochastic diagonal estimation with adaptive parameter selection
本文研究大型或隐式矩阵的对角估计，提出一种结合投影方法与自适应参数优化的随机对角估计算法，推导了随机查询向量数量的下界，数值实验证明了其高效性与稳定性。
2024-10-15 cs.NA math.NA stat.ML
Multi-Group Quadratic Discriminant Analysis via Projection
Tsinghua University（清华大学）；Colorado State University（科罗拉多州立大学）
本文提出MGQDA方法，通过投影高维数据以实现多组分类，具有非线性和异质性协方差结构的处理能力，并在模拟和基因表达应用中展示了其优越的预测性能。
2026-01-08 stat.ME stat.ML
Unobserved classes and extra variables in high-dimensional discriminant analysis
在监督分类问题中，测试集可能包含属于学习阶段未观察到的类别的数据点。此外，测试数据中的相同单位可以在关于何时收集学习样本的后续阶段记录的一组附加变量上测量。在这种情况下，在学习阶段构建的分类器需要适应处理潜在的未知类和额外的维度。我们介绍了一种基于模型的判别方法，自适应混合判别分析（D-AMDA），它可以检测未观察到的类，并适应增加的维数。通过基于期望最大化算法的全归纳方法进行模型估计。然后，该方法被嵌入到一个更一般的框架，自适应变量的选择和分类适合于大尺寸的数据。仿真研究和人工实验相关的掺假蜂蜜样本的分类，以验证所提出的框架，以处理复杂的情况下的能力。
2021-02-03 stat.CO stat.ME stat.ML
Block-diagonal covariance selection for high-dimensional Gaussian graphical models
KU Leuven（鲁汶大学）；Leuven Statistics Research Center (LStat)（鲁汶统计研究中心）；Université Paris Descartes（巴黎笛卡尔大学）；CNRS（法国国家科学研究中心）；Université Paris-Sud（巴黎南大学）；INRA（法国国家农业研究院）
高斯图形模型被广泛用于推断和可视化连续变量之间的依赖关系网络。然而，当样本量与变量数量相比较小时，很难推断该图。为了减少模型中需要估计的参数数量，我们提出了一种基于预言不等式和极大极小下界的强理论保证的非渐近模型选择方法。该模型的协方差阵近似为一个分块对角矩阵。通过对样本协方差阵进行阈值化来检测该矩阵的结构，其中使用斜率试探法来选择阈值。基于协方差阵的块对角结构，将估计问题分解为若干个独立的问题：然后在每个块中使用图形套索算法推断变量之间的依赖关系网络。该程序的性能示出了模拟数据。一个真正的基因表达数据集有限的样本量的应用程序也提出：降维允许注意力客观地集中在较小的基因子集之间的相互作用，导致更简约和可解释的模块化网络。
2016-09-29 cs.LG math.ST stat.ML
Penalized versus constrained generalized eigenvalue problems
我们调查之间的差异使用$\ell_1$罚款与$\ell_1$约束的广义特征值问题，如主成分分析和判别分析。我们的主要发现是，一个$\ell_1$罚款可能无法提供非常稀疏的解决方案，变量选择，可以通过使用$\ell_1$约束补救的严重缺点。我们的主张得到了经验证据和理论分析的支持。最后，我们说明了一个$\ell_1$约束条件下的判别分析和主成分分析的优势。
2015-05-04 stat.CO stat.ML
Robust Locality-Aware Regression for Labeled Data Classification
Nanjing University of Science and Technology（南京理工大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
随着数据表示维数的急剧增加，提取潜在的低维特征对于有效的分类变得至关重要。针对现有线性判别方法存在边缘表示不清晰、难以揭示数据流形结构等问题，提出了一种新的判别特征提取框架--鲁棒局部感知回归（Robust Locality-Aware Regression，RLAR）。在我们的模型中，我们引入了一个重定向的回归来自适应地执行边缘表示学习，而不是使用一般的平均类间间隔。此外，我们制定了一个新的策略，以提高局部类内紧致的数据流形，它可以实现联合学习的局部感知图结构和理想的投影矩阵。为了减少异常值的干扰和防止过拟合，我们用L2，1范数度量回归项和局部感知项以及正则化项。进一步地，通过L2，1范数对投影矩阵强制行稀疏性，实现了特征选择和特征提取的协同。然后，我们推导出一个有效的迭代算法求解所提出的模型。在一系列UCI数据集和其他基准数据库上的实验结果表明，所提出的RLAR优于一些国家的最先进的方法。
2020-06-15 cs.LG stat.ML
Penalized model-based clustering with cluster-specific diagonal covariance matrices and grouped variables
聚类分析是在许多新兴领域如微阵列数据分析中最广泛使用的统计工具之一。对于微阵列和其他高维数据，许多噪声变量的存在可能掩盖潜在的聚类结构。因此，通过变量选择去除噪声变量是必要的。对于同时进行变量选择和参数估计的问题，现有的基于模型的聚类分析中的惩罚似然方法都假设聚类之间的对角协方差阵是公共的，但这在实际中可能并不成立。为了分析高维数据，特别是那些样本量相对较低的数据，本文介绍了一种新的方法，该方法在更一般的情况下使用特定于聚类的（对角）协方差阵来缩小方差和均值。此外，通过包含或排除一组变量来选择分组变量是通过特定形式的惩罚来允许的，这有助于结合主题知识，例如用于疾病亚型发现的聚类微阵列样品中的基因功能。为了实现，期望最大化算法推导出参数估计，其中的M-步骤清楚地表明收缩和阈值的影响。数值例子，包括应用于急性白血病亚型发现与微阵列基因表达数据，提供证明所提出的方法的实用性和优势。
2008-03-26 math.ST stat.ML stat.TH
