Sparse Functional Linear Discriminant Analysis
函数线性判别分析提供了一种简单而有效的分类方法,有可能实现完美的分类。在文献中提出了几种方法,主要解决问题的维度。另一方面,人们对分析的可解释性越来越感兴趣,这有利于简单和稀疏的解决方案。在这项工作中,我们提出了一种新的方法,采用了一种类型的稀疏性,识别非零子域的功能设置,提供了一个解决方案,更容易解释,而不影响性能。由于需要在解中嵌入额外的约束,我们将泛函线性判别分析重新表述为具有适当惩罚的正则化问题。受$\ell_1$型正则化在标量变量诱导零系数方面的成功启发,我们开发了一种新的用于泛函线性判别分析的正则化方法,该方法结合了$\ell_1$型惩罚$\int |f|$来诱导零区域。我们证明,我们的配方有一个定义良好的解决方案,包含零区域,实现功能的稀疏性域选择的意义。此外,正则化的解决方案的误分类概率收敛到贝叶斯错误,如果数据是高斯。我们的方法不假设基础函数在域中具有零区域,而是产生一个稀疏估计器,该估计器始终估计真实函数,无论后者是否稀疏。与现有方法的数值比较表明,在有限样本的模拟和真实数据的例子,这一属性。
2020-12-11 stat.ME
A Convex Optimization Approach to High-Dimensional Sparse Quadratic Discriminant Analysis
在本文中,我们研究了高维稀疏二次判别分析(QDA),旨在建立分类误差的最佳收敛速度。最小最大下界的建立,以证明必要的结构性假设,如稀疏性条件的鉴别方向和微分图的可能建设一致的高维QDA规则。然后,我们提出了一个分类算法称为SDAR稀疏性假设下使用约束凸优化。极大极小的上界和下界,得到这个分类规则是同时率最优的参数空间的集合,对数因子。仿真研究表明,SDAR性能良好的数值。该算法还说明了通过分析前列腺癌数据和结肠组织数据。在高斯设置的两组高维QDA的方法和理论也扩展到多组分类和高斯copula模型下的分类。
2019-12-05 stat.ME
Sensible Functional Linear Discriminant Analysis
本文的重点是将Fisher线性判别分析(LDA)扩展到一般$c$类别分类问题的密集记录的功能数据和稀疏观察的纵向数据。我们提出了一种有效的方法来确定最佳的LDA预测,除了管理从这个扩展出现的协方差算子的不可逆性问题。一个条件期望技术来解决的挑战,投影稀疏数据的LDA方向。我们研究了所提出的估计量的渐近性质,并证明了在某些情况下可以实现渐近完美分类。数值例子进一步证明了这种新方法的性能。
2017-09-06 stat.ME
Sparse Fisher's discriminant analysis with thresholded linear constraints
各种正则化线性判别分析(LDA)方法已被提出来解决的问题,在高维设置的经典方法。当只有两个类时,其中一些方法在高维中已经建立了渐近最优性。证明多类分类的渐近最优性的一个主要困难是分类边界通常很复杂,并且当类别数大于2时,通常不存在分类误差的明确公式。对于Fisher的LDA,一个额外的困难是协方差阵也涉及到线性约束。本文的主要目的是建立渐近一致性和渐近最优性,我们的稀疏Fisher的LDA与阈值的线性约束在高维设置为任意数量的类。为了解决上述第一个困难,我们提供了一个大家庭的线性分类规则与任意数量的类在高维设置的渐近最优性和相应的收敛速度,并将它们应用到我们的方法。为了克服第二个困难,我们提出了一个阈值的方法,以避免估计的协方差阵。我们将该方法应用于多元函数数据的小波变换分类问题。
2015-08-05 stat.ME
A Direct Estimation Approach to Sparse Linear Discriminant Analysis
本文考虑高维数据的稀疏线性判别分析。与现有的分别估计精度矩阵$Ø$和均值向量差$\de$的方法不同,本文提出了一种简单有效的分类器,通过约束$\ell_1$最小化直接估计乘积$Ø\de$。估计器可以有效地实现使用线性规划和分类器所产生的被称为线性规划判别(LPD)规则。LPD规则具有理想的理论和数值特性。它利用了$Ø\de$的近似稀疏性,因此允许即使当$Ø$和/或$\de$不能被一致地估计时它仍然可以执行良好的情况。研究了LPD规则的渐近性质,并给出了一致性和收敛速度的结果。LPD分类器具有优越的有限样本性能和显着的计算优势,现有的方法,需要单独估计的$Ø$和$\de$。LPD规则也适用于分析肺癌和白血病研究的真实数据集。与现有方法相比,分类器表现良好。
2011-07-18 math.ST stat.ME stat.TH
Regularized Sparse Optimal Discriminant Clustering
Doshisha University(立命馆大学)
提出基于凸聚类惩罚项的稀疏最优判别聚类(SODC)新方法,利用优界函数和ADMM算法解决评分矩阵中正交约束与聚类结构并存的挑战,提升聚类识别准确性。
2025-10-14 stat.ME
Main and Interaction Effects Selection for Quadratic Discriminant Analysis via Penalized Linear Regression
判别分析是一种有效的分类方法。在高维环境下,判别分析的变量选择变得越来越重要。本文研究二次判别分析中主效应和互作效应选择的二元类问题。提出了一种新的惩罚二次判别分析(QDA)用于二元分类的变量选择。在相关变量的稀疏性假设下,我们进行了惩罚线性回归,通过插入模型中的主效应和交互效应来获得稀疏QDA。然后利用复合绝对罚函数(CAP)将QDA问题转化为惩罚稀疏最小二乘优化问题。提出了一种求解凸惩罚最小二乘问题的坐标下降算法.惩罚线性回归可同时选择主效应和交互效应,并进行分类。与现有的QDA变量选择方法相比,大量的仿真研究和两个实际数据分析表明,本文提出的方法在变量选择和分类性能上具有良好的鲁棒性。
2017-02-15 stat.ME
A Direct Approach for Sparse Quadratic Discriminant Analysis
二次判别分析(QDA)是一种标准的分类工具,由于其简单性和灵活性。由于其参数的数量与变量的数量成二次方关系,因此当维数相对较大时,QDA是不实用的。为了解决这个问题,我们提出了一个新的程序命名为DA-QDA QDA在分析高维数据。DA-QDA在一个简单而连贯的框架中制定,旨在直接估计贝叶斯判别函数中的关键量,包括二次相互作用和分类变量的线性指数。在适当的稀疏性假设下,我们建立了一致性结果估计的相互作用和线性指数,并进一步表明,我们的程序的误分类率收敛到最佳贝叶斯风险,即使当维数是指数高的样本量。基于交替方向乘子法(ADMM),提出了一种求解相互作用的有效算法,该算法比文献中的同类算法快得多。通过广泛的模拟研究和四个真实数据集的分析,说明了DA-QDA的良好性能。
2018-09-05 stat.CO stat.ME stat.ML
Sparse quadratic classification rules via linear dimension reduction
本文研究了具有不等协方差阵的两组样本之间的高维分类问题。而不是估计完整的二次判别规则,我们建议同时进行变量选择和线性降维的原始数据,随后应用二次判别分析的减少空间。与二次判别分析相比,所提出的框架不需要估计精度矩阵,并且随着测量次数线性扩展,这使得它在高维数据集上的使用特别有吸引力。我们支持的方法与理论保证变量选择的一致性,并与竞争的方法进行实证比较。我们将该方法应用于乳腺癌患者的基因表达数据,并证实了ESR1基因在区分雌激素受体状态中的重要性。
2018-01-16 stat.ME stat.ML
Sparse Fisher's Linear Discriminant Analysis for Partially Labeled Data
分类是一种重要的工具,有许多有用的应用。在众多的分类方法中,Fisher线性判别分析(LDA)是一种传统的基于模型的方法,它利用了协方差信息。然而,在高维、低样本量设置中,LDA不能直接展开,因为样本协方差不可逆。虽然有一些现代方法被设计来处理高维数据,但它们可能不像LDA那样完全使用协方差信息。因此,在某些情况下,仍然希望使用基于模型的方法,如LDA进行分类。本文将探讨LDA在更复杂的数据设置中的潜力。在许多实际应用中,手动为观测值添加标签的成本很高;因此,通常只有一小部分标记数据可用,而大量观测值没有标签。仅通过标记数据获得良好的分类性能是一个很大的挑战,特别是当维数大于标记数据的大小时。为了克服这个问题,我们提出了一个半监督稀疏LDA分类器,以利用看似无用的未标记数据。它们提供了额外的信息,有助于在某些情况下提高分类性能。采用直接估计的方法重建LDA并达到稀疏性,同时采用差分-凸算法处理与未标记数据相关的非凸损失函数。研究了该分类器的理论特性。我们的模拟示例有助于理解从未标记数据中提取的信息何时以及如何有用。一个真实数据的例子进一步说明了所提出的方法的实用性。
2015-09-17 stat.ME stat.ML
Variable selection and basis learning for ordinal classification
针对高维有序响应分类问题,本文提出一种扩展稀疏多类线性判别分析的方法,通过计算有序权重区分有序与非有序变量,实现变量选择与基学习,在高维场景下具有渐近保证,且模拟与真实数据验证了其稀疏可解释性。
2025-02-14 stat.ME
Multivariate Functional Linear Discriminant Analysis: An Application to Inflammatory Bowel Disease Classification
University of Minnesota Twin Cities(明尼苏达大学双城分校);William & Mary(威廉与玛丽学院)
针对炎症性肠病分类,提出一种多元函数线性判别分析方法,可处理高维稀疏数据,识别随时间变化的判别微生物特征,并揭示维生素B缺乏等潜在临床相关发现。
2025-10-24 stat.AP stat.CO stat.ME
Dynamic Linear Discriminant Analysis in High Dimensional Space
动态演化的高维数据是现代数据时代的主要特征。作为对此的部分回应,近年来越来越重视解决维度挑战。然而,这些数据集的非静态性质在很大程度上被忽视了。本文通过提出一种新颖而简单的动态线性规划判别(DLPD)规则来解决这两个挑战。不同于通常的静态线性判别分析,新方法是能够捕捉不断变化的分布的基础人口建模的平均值和协方差作为光滑函数的协变量的利益。在近似稀疏的条件下,我们表明,条件误分类率的DLPD规则收敛到贝叶斯风险的概率均匀的用于建模的动态的变量的范围内,当允许的维数与样本量呈指数增长。同时,我们也建立了贝叶斯风险估计的极小极大下界,这意味着我们所提出的规则的误分类率是极小极大率最优的。通过大量的模拟研究和对乳腺癌数据集的分析,说明了DLPD规则的良好性能。
2019-01-18 math.ST stat.ME stat.TH
Sparsifying the Fisher Linear Discriminant by Rotation
基于稀疏线性判别分析(LDA)的高维分类技术已经在文献中提出了许多。为了有效地使用它们,线性分类器的稀疏性是一个先决条件。然而,这在许多应用程序中可能并不容易获得,并且需要数据的旋转来创建所需的稀疏性。在本文中,我们提出了一个家庭的旋转创建所需的稀疏性。其基本思想是利用合并样本的样本协方差阵的主成分及其变量来旋转数据,然后应用现有的高维分类器。这种旋转和求解过程可以与任何现有的分类器相结合,并且对真实模型的稀疏程度具有鲁棒性。我们发现,这些旋转确实创造了高维分类所需的稀疏性,并提供了理论上的理解,为什么这样的旋转工程经验。大量的模拟和真实数据的例子证明了所提出的方法的有效性,我们的方法的改进,一些流行的高维分类规则清楚地显示。
2014-08-16 stat.ME
Penalized Orthogonal Iteration for Sparse Estimation of Generalized Eigenvalue Problem
提出了一种求解广义特征值问题(GEP)特征向量稀疏估计的新算法。GEP出现在许多现代数据分析情况和统计方法中,包括主成分分析(PCA)、多类线性判别分析(LDA)、典型相关分析(CCA)、充分降降维(SDR)和不变坐标选择。我们建议修改标准的广义正交迭代与稀疏诱导惩罚的特征向量。为了实现这一目标,我们推广的正交迭代方程求解步骤的惩罚凸优化问题。由此产生的算法,称为惩罚正交迭代,提供了准确的估计的真实特征空间,当它是稀疏的。还提出了一种计算效率更高的替代方案,它适用于PCA和LDA问题。数值研究表明,所提出的算法是有竞争力的,我们的调整过程工作良好。我们展示了该算法的应用,以获得稀疏估计PCA,多类LDA,CCA和SDR。补充材料可在网上查阅。
2018-06-27 stat.ME
A ROAD to Classification in High Dimensional Space
对于高维分类,众所周知,单纯地执行Fisher判别规则会导致差的结果,这是由于发散的光谱和噪声积累。因此,研究人员提出了独立规则来规避不同的频谱,稀疏独立规则来减轻噪声积累的问题。然而,在生物学应用中,通常有一组相关基因负责临床结果,使用协方差信息可以显着降低误分类率。通过比较Fisher判别规则和独立性规则的误分类率,揭示了这种错误率降低的程度。为了实现基于有限样本的增益,提出了一种基于协方差惩罚的正则化最优仿射鉴别器(ROAD)。随着惩罚的放松,ROAD选择了越来越多的特征。当采用筛选方法在命中ROAD之前缩小特征池时,可以实现进一步的益处。一个有效的约束坐标下降算法(CCD)也被开发来解决相关的优化问题。建立了Oracle类型的抽样性质。仿真研究和实际数据分析支持了我们的理论结果,并证明了新的分类方法在各种相关结构下的优势。在总体水平上对ROAD优化问题的连续分段线性解路径的一个精细结果证明了CCD算法的线性插值。
2011-11-09 stat.ME stat.ML