A Convex Optimization Approach to High-Dimensional Sparse Quadratic Discriminant Analysis
在本文中,我们研究了高维稀疏二次判别分析(QDA),旨在建立分类误差的最佳收敛速度。最小最大下界的建立,以证明必要的结构性假设,如稀疏性条件的鉴别方向和微分图的可能建设一致的高维QDA规则。然后,我们提出了一个分类算法称为SDAR稀疏性假设下使用约束凸优化。极大极小的上界和下界,得到这个分类规则是同时率最优的参数空间的集合,对数因子。仿真研究表明,SDAR性能良好的数值。该算法还说明了通过分析前列腺癌数据和结肠组织数据。在高斯设置的两组高维QDA的方法和理论也扩展到多组分类和高斯copula模型下的分类。
2019-12-05 stat.ME
Sensible Functional Linear Discriminant Analysis
本文的重点是将Fisher线性判别分析(LDA)扩展到一般$c$类别分类问题的密集记录的功能数据和稀疏观察的纵向数据。我们提出了一种有效的方法来确定最佳的LDA预测,除了管理从这个扩展出现的协方差算子的不可逆性问题。一个条件期望技术来解决的挑战,投影稀疏数据的LDA方向。我们研究了所提出的估计量的渐近性质,并证明了在某些情况下可以实现渐近完美分类。数值例子进一步证明了这种新方法的性能。
2017-09-06 stat.ME
Sparse Fisher's discriminant analysis with thresholded linear constraints
各种正则化线性判别分析(LDA)方法已被提出来解决的问题,在高维设置的经典方法。当只有两个类时,其中一些方法在高维中已经建立了渐近最优性。证明多类分类的渐近最优性的一个主要困难是分类边界通常很复杂,并且当类别数大于2时,通常不存在分类误差的明确公式。对于Fisher的LDA,一个额外的困难是协方差阵也涉及到线性约束。本文的主要目的是建立渐近一致性和渐近最优性,我们的稀疏Fisher的LDA与阈值的线性约束在高维设置为任意数量的类。为了解决上述第一个困难,我们提供了一个大家庭的线性分类规则与任意数量的类在高维设置的渐近最优性和相应的收敛速度,并将它们应用到我们的方法。为了克服第二个困难,我们提出了一个阈值的方法,以避免估计的协方差阵。我们将该方法应用于多元函数数据的小波变换分类问题。
2015-08-05 stat.ME
Regularized Sparse Optimal Discriminant Clustering
Doshisha University(立命馆大学)
提出基于凸聚类惩罚项的稀疏最优判别聚类(SODC)新方法,利用优界函数和ADMM算法解决评分矩阵中正交约束与聚类结构并存的挑战,提升聚类识别准确性。
2025-10-14 stat.ME
Optimal feature selection for sparse linear discriminant analysis and its applications in gene expression data
研究了线性鉴别分析(LDA)中特征选择的理论规则,提出了一种新的稀疏线性鉴别分析特征选择方法。使用$l_1$最小化方法来选择将构造LDA的重要特征。本文研究了两阶段LDA(TLDA)的渐近结果,表明TLDA是一种最优分类规则,其收敛速度是现有方法中最好的。在模拟数据集和真实数据集上的实验结果与理论结果一致,表明TLDA与现有方法相比具有良好的性能。总的来说,TLDA使用比其他方法更低的最小特征或基因数量,以实现更好的结果,降低误分类率。
2013-04-22 stat.AP stat.ME
Main and Interaction Effects Selection for Quadratic Discriminant Analysis via Penalized Linear Regression
判别分析是一种有效的分类方法。在高维环境下,判别分析的变量选择变得越来越重要。本文研究二次判别分析中主效应和互作效应选择的二元类问题。提出了一种新的惩罚二次判别分析(QDA)用于二元分类的变量选择。在相关变量的稀疏性假设下,我们进行了惩罚线性回归,通过插入模型中的主效应和交互效应来获得稀疏QDA。然后利用复合绝对罚函数(CAP)将QDA问题转化为惩罚稀疏最小二乘优化问题。提出了一种求解凸惩罚最小二乘问题的坐标下降算法.惩罚线性回归可同时选择主效应和交互效应,并进行分类。与现有的QDA变量选择方法相比,大量的仿真研究和两个实际数据分析表明,本文提出的方法在变量选择和分类性能上具有良好的鲁棒性。
2017-02-15 stat.ME
A Direct Estimation Approach to Sparse Linear Discriminant Analysis
本文考虑高维数据的稀疏线性判别分析。与现有的分别估计精度矩阵$Ø$和均值向量差$\de$的方法不同,本文提出了一种简单有效的分类器,通过约束$\ell_1$最小化直接估计乘积$Ø\de$。估计器可以有效地实现使用线性规划和分类器所产生的被称为线性规划判别(LPD)规则。LPD规则具有理想的理论和数值特性。它利用了$Ø\de$的近似稀疏性,因此允许即使当$Ø$和/或$\de$不能被一致地估计时它仍然可以执行良好的情况。研究了LPD规则的渐近性质,并给出了一致性和收敛速度的结果。LPD分类器具有优越的有限样本性能和显着的计算优势,现有的方法,需要单独估计的$Ø$和$\de$。LPD规则也适用于分析肺癌和白血病研究的真实数据集。与现有方法相比,分类器表现良好。
2011-07-18 math.ST stat.ME stat.TH
A Direct Approach for Sparse Quadratic Discriminant Analysis
二次判别分析(QDA)是一种标准的分类工具,由于其简单性和灵活性。由于其参数的数量与变量的数量成二次方关系,因此当维数相对较大时,QDA是不实用的。为了解决这个问题,我们提出了一个新的程序命名为DA-QDA QDA在分析高维数据。DA-QDA在一个简单而连贯的框架中制定,旨在直接估计贝叶斯判别函数中的关键量,包括二次相互作用和分类变量的线性指数。在适当的稀疏性假设下,我们建立了一致性结果估计的相互作用和线性指数,并进一步表明,我们的程序的误分类率收敛到最佳贝叶斯风险,即使当维数是指数高的样本量。基于交替方向乘子法(ADMM),提出了一种求解相互作用的有效算法,该算法比文献中的同类算法快得多。通过广泛的模拟研究和四个真实数据集的分析,说明了DA-QDA的良好性能。
2018-09-05 stat.CO stat.ME stat.ML
Variable selection and basis learning for ordinal classification
针对高维有序响应分类问题,本文提出一种扩展稀疏多类线性判别分析的方法,通过计算有序权重区分有序与非有序变量,实现变量选择与基学习,在高维场景下具有渐近保证,且模拟与真实数据验证了其稀疏可解释性。
2025-02-14 stat.ME
Sparse quadratic classification rules via linear dimension reduction
本文研究了具有不等协方差阵的两组样本之间的高维分类问题。而不是估计完整的二次判别规则,我们建议同时进行变量选择和线性降维的原始数据,随后应用二次判别分析的减少空间。与二次判别分析相比,所提出的框架不需要估计精度矩阵,并且随着测量次数线性扩展,这使得它在高维数据集上的使用特别有吸引力。我们支持的方法与理论保证变量选择的一致性,并与竞争的方法进行实证比较。我们将该方法应用于乳腺癌患者的基因表达数据,并证实了ESR1基因在区分雌激素受体状态中的重要性。
2018-01-16 stat.ME stat.ML
Sparse Fisher's Linear Discriminant Analysis for Partially Labeled Data
分类是一种重要的工具,有许多有用的应用。在众多的分类方法中,Fisher线性判别分析(LDA)是一种传统的基于模型的方法,它利用了协方差信息。然而,在高维、低样本量设置中,LDA不能直接展开,因为样本协方差不可逆。虽然有一些现代方法被设计来处理高维数据,但它们可能不像LDA那样完全使用协方差信息。因此,在某些情况下,仍然希望使用基于模型的方法,如LDA进行分类。本文将探讨LDA在更复杂的数据设置中的潜力。在许多实际应用中,手动为观测值添加标签的成本很高;因此,通常只有一小部分标记数据可用,而大量观测值没有标签。仅通过标记数据获得良好的分类性能是一个很大的挑战,特别是当维数大于标记数据的大小时。为了克服这个问题,我们提出了一个半监督稀疏LDA分类器,以利用看似无用的未标记数据。它们提供了额外的信息,有助于在某些情况下提高分类性能。采用直接估计的方法重建LDA并达到稀疏性,同时采用差分-凸算法处理与未标记数据相关的非凸损失函数。研究了该分类器的理论特性。我们的模拟示例有助于理解从未标记数据中提取的信息何时以及如何有用。一个真实数据的例子进一步说明了所提出的方法的实用性。
2015-09-17 stat.ME stat.ML
Structured Sparse Aggregation
我们介绍了一种方法,聚合许多最小二乘估计,使所得的估计有两个属性:稀疏性和结构。也就是说,在所得模型中仅使用少数候选协变量,并且所选协变量遵循假定为先验已知的候选协变量的某种结构。虽然稀疏性在许多环境中得到了很好的研究,包括聚合,但结构化稀疏方法仍在出现。我们展示了一个结构化稀疏聚合的一般框架,允许各种各样的结构,包括重叠的分组结构和一般的结构处罚定义为一组函数的协变量。我们证明了这样的估计满足结构稀疏预言不等式-它们的有限样本风险适应于目标的结构稀疏性。这些不等式表明,在适当的设置下,结构化稀疏估计执行至少以及,并可能远远优于,稀疏聚合估计。我们经验建立的有效性的方法,使用模拟和应用到艾滋病毒耐药性。
2011-11-18 stat.ME
An efficient algorithm for structured sparse quantile regression
分位数回归结合促进结构化(或组)稀疏性的惩罚进行研究。在参数向量上使用混合$\ell_{1,\infty}$ -范数对传统的分位数回归问题施加结构稀疏性。一个算法推导出计算相应的最小化问题的分段线性解路径。最后给出了算法的Matlab实现,并对算法的应用进行了研究。
2013-02-25 stat.ME
Sparsifying the Fisher Linear Discriminant by Rotation
基于稀疏线性判别分析(LDA)的高维分类技术已经在文献中提出了许多。为了有效地使用它们,线性分类器的稀疏性是一个先决条件。然而,这在许多应用程序中可能并不容易获得,并且需要数据的旋转来创建所需的稀疏性。在本文中,我们提出了一个家庭的旋转创建所需的稀疏性。其基本思想是利用合并样本的样本协方差阵的主成分及其变量来旋转数据,然后应用现有的高维分类器。这种旋转和求解过程可以与任何现有的分类器相结合,并且对真实模型的稀疏程度具有鲁棒性。我们发现,这些旋转确实创造了高维分类所需的稀疏性,并提供了理论上的理解,为什么这样的旋转工程经验。大量的模拟和真实数据的例子证明了所提出的方法的有效性,我们的方法的改进,一些流行的高维分类规则清楚地显示。
2014-08-16 stat.ME
Low Rank and Structured Modeling of High-dimensional Vector Autoregressions
高维时间序列数据的网络建模是一个关键的学习任务,因为它在许多应用领域,包括宏观经济学,金融和神经科学的广泛使用。虽然在文献中已经深入研究了基于向量自回归模型(VAR)的稀疏建模问题,但涉及低秩和组稀疏分量的更复杂的网络结构却很少受到关注,尽管它们存在于数据中。不考虑低等级结构会导致观察到的时间序列之间的虚假连接,这可能导致从业人员对相关的科学或政策问题得出错误的结论。为了准确地估计网络的格兰杰因果关系的相互作用后,考虑到潜在的影响,我们介绍了一种新的方法来估计低秩和结构稀疏的高维VAR模型。我们引入了一个正则化的框架,涉及核范数和套索(或组套索)惩罚的组合。进一步,随后建立低秩和结构化稀疏分量的估计误差率的非渐近上界。我们还介绍了一种快速估计算法,并通过对合成数据和真实数据的数值实验,证明了所提出的建模框架在标准稀疏VAR估计上的性能。
2018-12-09 stat.ME
Dynamic Linear Discriminant Analysis in High Dimensional Space
动态演化的高维数据是现代数据时代的主要特征。作为对此的部分回应,近年来越来越重视解决维度挑战。然而,这些数据集的非静态性质在很大程度上被忽视了。本文通过提出一种新颖而简单的动态线性规划判别(DLPD)规则来解决这两个挑战。不同于通常的静态线性判别分析,新方法是能够捕捉不断变化的分布的基础人口建模的平均值和协方差作为光滑函数的协变量的利益。在近似稀疏的条件下,我们表明,条件误分类率的DLPD规则收敛到贝叶斯风险的概率均匀的用于建模的动态的变量的范围内,当允许的维数与样本量呈指数增长。同时,我们也建立了贝叶斯风险估计的极小极大下界,这意味着我们所提出的规则的误分类率是极小极大率最优的。通过大量的模拟研究和对乳腺癌数据集的分析,说明了DLPD规则的良好性能。
2019-01-18 math.ST stat.ME stat.TH
Multivariate Functional Linear Discriminant Analysis: An Application to Inflammatory Bowel Disease Classification
University of Minnesota Twin Cities(明尼苏达大学双城分校);William & Mary(威廉与玛丽学院)
针对炎症性肠病分类,提出一种多元函数线性判别分析方法,可处理高维稀疏数据,识别随时间变化的判别微生物特征,并揭示维生素B缺乏等潜在临床相关发现。
2025-10-24 stat.AP stat.CO stat.ME
Structured, sparse regression with application to HIV drug resistance
本文介绍了一种新的正向逐步回归方法。我们的修改发现解决方案的回归问题,所选择的预测出现在一个结构化的模式,相对于一个预定义的距离测量的候选预测。我们的方法的动机是预测HIV-1耐药性的蛋白质序列的问题。我们发现,我们的方法提高了耐药性的可解释性,同时产生与标准方法相当的预测准确性。我们还证明了我们的方法在模拟研究,并提出了一些理论结果和连接。
2011-08-01 stat.AP stat.ME
A Method for Finding Structured Sparse Solutions to Non-negative Least Squares Problems with Applications
在许多领域,如高光谱成像和差分光学吸收光谱(DOAS)的分层问题,往往需要找到稀疏的非负线性组合的字典元素,匹配观察到的数据。我们展示了这些问题的各个方面,如DOAS参考和高光谱端元的不确定性,可以通过扩展字典与分组元素和实施结构化稀疏性假设,每组内的组合应该是稀疏的,甚至1-稀疏。如果字典是高度一致的,它是难以获得良好的解决方案,使用凸或贪婪的方法,如非负最小二乘(NNLS)或正交匹配追踪。我们使用与Hoyer测度相关的惩罚,Hoyer测度是$l_1$和$l_2$范数的比率,作为要添加到NNLS型模型中的目标的稀疏性惩罚。为了解决由此产生的非凸模型,我们提出了一个缩放梯度投影算法,需要解决一系列的强凸二次规划。讨论了它与凸分裂方法和凸规划差分的密切联系。我们还提出了有前途的数值结果,例如DOAS分析和高光谱解混问题。
2013-01-03 stat.AP stat.CO stat.ME