Sparse Linear Discriminant Analysis for Multi-view Structured Data
同时利用来自多个来源的数据（多视图数据）的优势的分类方法具有巨大的潜力，可以产生比两步方法更强大的发现：关联然后分类。我们提出了两种方法，稀疏综合判别分析（SIDA）和SIDA与网络信息（SIDANet），联合关联和分类研究。该方法考虑多视图数据之间的整体关联，以及在选择关联的鉴别向量时每个视图内的分离，并且最佳地将受试者分离到不同的类别中。SIDANet是第一个将先前的结构信息纳入联合关联和分类研究的方法之一。它使用图的归一化拉普拉斯算子来平滑预测变量的系数，从而鼓励选择连接且行为相似的预测变量。我们证明了我们的方法在一组合成和真实数据集上的有效性。我们的研究结果强调了联合关联和分类方法的好处，如果目标是关联多视图数据并进行分类。
2020-01-15 stat.ME
Sparse Functional Linear Discriminant Analysis
函数线性判别分析提供了一种简单而有效的分类方法，有可能实现完美的分类。在文献中提出了几种方法，主要解决问题的维度。另一方面，人们对分析的可解释性越来越感兴趣，这有利于简单和稀疏的解决方案。在这项工作中，我们提出了一种新的方法，采用了一种类型的稀疏性，识别非零子域的功能设置，提供了一个解决方案，更容易解释，而不影响性能。由于需要在解中嵌入额外的约束，我们将泛函线性判别分析重新表述为具有适当惩罚的正则化问题。受$\ell_1$型正则化在标量变量诱导零系数方面的成功启发，我们开发了一种新的用于泛函线性判别分析的正则化方法，该方法结合了$\ell_1$型惩罚$\int |f|$来诱导零区域。我们证明，我们的配方有一个定义良好的解决方案，包含零区域，实现功能的稀疏性域选择的意义。此外，正则化的解决方案的误分类概率收敛到贝叶斯错误，如果数据是高斯。我们的方法不假设基础函数在域中具有零区域，而是产生一个稀疏估计器，该估计器始终估计真实函数，无论后者是否稀疏。与现有方法的数值比较表明，在有限样本的模拟和真实数据的例子，这一属性。
2020-12-11 stat.ME
A Convex Optimization Approach to High-Dimensional Sparse Quadratic Discriminant Analysis
在本文中，我们研究了高维稀疏二次判别分析（QDA），旨在建立分类误差的最佳收敛速度。最小最大下界的建立，以证明必要的结构性假设，如稀疏性条件的鉴别方向和微分图的可能建设一致的高维QDA规则。然后，我们提出了一个分类算法称为SDAR稀疏性假设下使用约束凸优化。极大极小的上界和下界，得到这个分类规则是同时率最优的参数空间的集合，对数因子。仿真研究表明，SDAR性能良好的数值。该算法还说明了通过分析前列腺癌数据和结肠组织数据。在高斯设置的两组高维QDA的方法和理论也扩展到多组分类和高斯copula模型下的分类。
2019-12-05 stat.ME
Sensible Functional Linear Discriminant Analysis
本文的重点是将Fisher线性判别分析（LDA）扩展到一般$c$类别分类问题的密集记录的功能数据和稀疏观察的纵向数据。我们提出了一种有效的方法来确定最佳的LDA预测，除了管理从这个扩展出现的协方差算子的不可逆性问题。一个条件期望技术来解决的挑战，投影稀疏数据的LDA方向。我们研究了所提出的估计量的渐近性质，并证明了在某些情况下可以实现渐近完美分类。数值例子进一步证明了这种新方法的性能。
2017-09-06 stat.ME
Sparse Fisher's discriminant analysis with thresholded linear constraints
各种正则化线性判别分析（LDA）方法已被提出来解决的问题，在高维设置的经典方法。当只有两个类时，其中一些方法在高维中已经建立了渐近最优性。证明多类分类的渐近最优性的一个主要困难是分类边界通常很复杂，并且当类别数大于2时，通常不存在分类误差的明确公式。对于Fisher的LDA，一个额外的困难是协方差阵也涉及到线性约束。本文的主要目的是建立渐近一致性和渐近最优性，我们的稀疏Fisher的LDA与阈值的线性约束在高维设置为任意数量的类。为了解决上述第一个困难，我们提供了一个大家庭的线性分类规则与任意数量的类在高维设置的渐近最优性和相应的收敛速度，并将它们应用到我们的方法。为了克服第二个困难，我们提出了一个阈值的方法，以避免估计的协方差阵。我们将该方法应用于多元函数数据的小波变换分类问题。
2015-08-05 stat.ME
A Direct Approach for Sparse Quadratic Discriminant Analysis
二次判别分析（QDA）是一种标准的分类工具，由于其简单性和灵活性。由于其参数的数量与变量的数量成二次方关系，因此当维数相对较大时，QDA是不实用的。为了解决这个问题，我们提出了一个新的程序命名为DA-QDA QDA在分析高维数据。DA-QDA在一个简单而连贯的框架中制定，旨在直接估计贝叶斯判别函数中的关键量，包括二次相互作用和分类变量的线性指数。在适当的稀疏性假设下，我们建立了一致性结果估计的相互作用和线性指数，并进一步表明，我们的程序的误分类率收敛到最佳贝叶斯风险，即使当维数是指数高的样本量。基于交替方向乘子法（ADMM），提出了一种求解相互作用的有效算法，该算法比文献中的同类算法快得多。通过广泛的模拟研究和四个真实数据集的分析，说明了DA-QDA的良好性能。
2018-09-05 stat.CO stat.ME stat.ML
Regularized Sparse Optimal Discriminant Clustering
提出基于凸聚类惩罚项的稀疏最优判别聚类（SODC）新方法，利用优界函数和ADMM算法解决评分矩阵中正交约束与聚类结构并存的挑战，提升聚类识别准确性。
2025-10-14 stat.ME
Main and Interaction Effects Selection for Quadratic Discriminant Analysis via Penalized Linear Regression
判别分析是一种有效的分类方法。在高维环境下，判别分析的变量选择变得越来越重要。本文研究二次判别分析中主效应和互作效应选择的二元类问题。提出了一种新的惩罚二次判别分析（QDA）用于二元分类的变量选择。在相关变量的稀疏性假设下，我们进行了惩罚线性回归，通过插入模型中的主效应和交互效应来获得稀疏QDA。然后利用复合绝对罚函数（CAP）将QDA问题转化为惩罚稀疏最小二乘优化问题。提出了一种求解凸惩罚最小二乘问题的坐标下降算法.惩罚线性回归可同时选择主效应和交互效应，并进行分类。与现有的QDA变量选择方法相比，大量的仿真研究和两个实际数据分析表明，本文提出的方法在变量选择和分类性能上具有良好的鲁棒性。
2017-02-15 stat.ME
Dynamic Linear Discriminant Analysis in High Dimensional Space
动态演化的高维数据是现代数据时代的主要特征。作为对此的部分回应，近年来越来越重视解决维度挑战。然而，这些数据集的非静态性质在很大程度上被忽视了。本文通过提出一种新颖而简单的动态线性规划判别（DLPD）规则来解决这两个挑战。不同于通常的静态线性判别分析，新方法是能够捕捉不断变化的分布的基础人口建模的平均值和协方差作为光滑函数的协变量的利益。在近似稀疏的条件下，我们表明，条件误分类率的DLPD规则收敛到贝叶斯风险的概率均匀的用于建模的动态的变量的范围内，当允许的维数与样本量呈指数增长。同时，我们也建立了贝叶斯风险估计的极小极大下界，这意味着我们所提出的规则的误分类率是极小极大率最优的。通过大量的模拟研究和对乳腺癌数据集的分析，说明了DLPD规则的良好性能。
2019-01-18 math.ST stat.ME stat.TH
Sparse quadratic classification rules via linear dimension reduction
本文研究了具有不等协方差阵的两组样本之间的高维分类问题。而不是估计完整的二次判别规则，我们建议同时进行变量选择和线性降维的原始数据，随后应用二次判别分析的减少空间。与二次判别分析相比，所提出的框架不需要估计精度矩阵，并且随着测量次数线性扩展，这使得它在高维数据集上的使用特别有吸引力。我们支持的方法与理论保证变量选择的一致性，并与竞争的方法进行实证比较。我们将该方法应用于乳腺癌患者的基因表达数据，并证实了ESR1基因在区分雌激素受体状态中的重要性。
2018-01-16 stat.ME stat.ML
Sparse Fisher's Linear Discriminant Analysis for Partially Labeled Data
分类是一种重要的工具，有许多有用的应用。在众多的分类方法中，Fisher线性判别分析（LDA）是一种传统的基于模型的方法，它利用了协方差信息。然而，在高维、低样本量设置中，LDA不能直接展开，因为样本协方差不可逆。虽然有一些现代方法被设计来处理高维数据，但它们可能不像LDA那样完全使用协方差信息。因此，在某些情况下，仍然希望使用基于模型的方法，如LDA进行分类。本文将探讨LDA在更复杂的数据设置中的潜力。在许多实际应用中，手动为观测值添加标签的成本很高;因此，通常只有一小部分标记数据可用，而大量观测值没有标签。仅通过标记数据获得良好的分类性能是一个很大的挑战，特别是当维数大于标记数据的大小时。为了克服这个问题，我们提出了一个半监督稀疏LDA分类器，以利用看似无用的未标记数据。它们提供了额外的信息，有助于在某些情况下提高分类性能。采用直接估计的方法重建LDA并达到稀疏性，同时采用差分-凸算法处理与未标记数据相关的非凸损失函数。研究了该分类器的理论特性。我们的模拟示例有助于理解从未标记数据中提取的信息何时以及如何有用。一个真实数据的例子进一步说明了所提出的方法的实用性。
2015-09-17 stat.ME stat.ML
Variable selection and basis learning for ordinal classification
针对高维有序响应分类问题，本文提出一种扩展稀疏多类线性判别分析的方法，通过计算有序权重区分有序与非有序变量，实现变量选择与基学习，在高维场景下具有渐近保证，且模拟与真实数据验证了其稀疏可解释性。
2025-02-14 stat.ME
Sparsifying the Fisher Linear Discriminant by Rotation
基于稀疏线性判别分析（LDA）的高维分类技术已经在文献中提出了许多。为了有效地使用它们，线性分类器的稀疏性是一个先决条件。然而，这在许多应用程序中可能并不容易获得，并且需要数据的旋转来创建所需的稀疏性。在本文中，我们提出了一个家庭的旋转创建所需的稀疏性。其基本思想是利用合并样本的样本协方差阵的主成分及其变量来旋转数据，然后应用现有的高维分类器。这种旋转和求解过程可以与任何现有的分类器相结合，并且对真实模型的稀疏程度具有鲁棒性。我们发现，这些旋转确实创造了高维分类所需的稀疏性，并提供了理论上的理解，为什么这样的旋转工程经验。大量的模拟和真实数据的例子证明了所提出的方法的有效性，我们的方法的改进，一些流行的高维分类规则清楚地显示。
2014-08-16 stat.ME
Multivariate Functional Linear Discriminant Analysis: An Application to Inflammatory Bowel Disease Classification
针对炎症性肠病分类，提出一种多元函数线性判别分析方法，可处理高维稀疏数据，识别随时间变化的判别微生物特征，并揭示维生素B缺乏等潜在临床相关发现。
2025-10-24 stat.AP stat.CO stat.ME
Varying Coefficient Linear Discriminant Analysis for Dynamic Data
Shanghai Jiao Tong University（上海交通大学）
线性判别分析（LDA）是统计学和机器学习中一种重要的分类工具。本文研究了动态数据的变系数LDA模型，将贝叶斯判别方向作为暴露变量的函数，以解决数据的异质性问题。提出了一种基于B样条逼近的最小二乘估计方法。数据驱动的判别过程比动态线性规划规则\citep{jiang2020dynamic}在计算上更有效。我们还建立了相应的估计误差界和超额误分类风险的收敛速度。$L_2$距离的估计误差对于低维区域是最优的，并且对于高维区域是接近最优的。模拟数据和实际数据的数值实验都证实了我们提出的分类方法的优越性。
2022-10-10 cs.LG stat.ME
Penalized Orthogonal Iteration for Sparse Estimation of Generalized Eigenvalue Problem
提出了一种求解广义特征值问题（GEP）特征向量稀疏估计的新算法。GEP出现在许多现代数据分析情况和统计方法中，包括主成分分析（PCA）、多类线性判别分析（LDA）、典型相关分析（CCA）、充分降降维（SDR）和不变坐标选择。我们建议修改标准的广义正交迭代与稀疏诱导惩罚的特征向量。为了实现这一目标，我们推广的正交迭代方程求解步骤的惩罚凸优化问题。由此产生的算法，称为惩罚正交迭代，提供了准确的估计的真实特征空间，当它是稀疏的。还提出了一种计算效率更高的替代方案，它适用于PCA和LDA问题。数值研究表明，所提出的算法是有竞争力的，我们的调整过程工作良好。我们展示了该算法的应用，以获得稀疏估计PCA，多类LDA，CCA和SDR。补充材料可在网上查阅。
2018-06-27 stat.ME
Interpretable discriminant analysis for functional data supported on random nonlinear domains with an application to Alzheimer's disease
本研究提出一种可解释判别分析框架，通过将分类转化为正则化多元函数型线性回归，直接估计非线性随机域函数型数据的判别方向，无需预估计协方差，经模拟和阿尔茨海默病数据集验证，识别的特征与现有神经科学研究一致。
2024-04-12 stat.AP stat.ME
Robust Sparse Precision Matrix Estimation and its Application
针对高维重尾分布的精度矩阵估计问题，提出基于空间符号协方差的SCLIME和SGLASSO方法，证明了其一致性速率与现有方法匹配，并在模拟与真实数据中验证了其优越性。
2025-03-05 stat.ME
Approximately optimal domain adaptation with Fisher's Linear Discriminant
Microsoft Research（微软研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出基于 FLD 的源任务平均假设与目标任务假设凸组合模型，推导 0-1 损失下的最优组合及可计算近似，并在 EEG、ECG 分类中验证其有效性。
2024-03-01 cs.LG eess.SP stat.AP
Kernel discriminant analysis and clustering with parsimonious Gaussian process models
这项工作提出了一个家庭的简约高斯过程模型，允许建立，从有限的样本，在无限维空间中的基于模型的分类。建议的简约模型是通过约束特征分解的高斯过程建模每一类。这特别允许使用将观测投影到无限维空间中的非线性映射函数。它还表明，可以直接从观察空间通过核函数的分类器的建设。因此，所提出的分类方法能够对各种类型的数据进行分类，例如分类数据、功能数据或网络。此外，可以通过组合不同的内核来对混合数据进行分类。该方法也扩展到无监督分类的情况下。在不同数据集上的实验结果证明了该方法的有效性。
2012-06-15 stat.AP stat.ME
A ROAD to Classification in High Dimensional Space
对于高维分类，众所周知，单纯地执行Fisher判别规则会导致差的结果，这是由于发散的光谱和噪声积累。因此，研究人员提出了独立规则来规避不同的频谱，稀疏独立规则来减轻噪声积累的问题。然而，在生物学应用中，通常有一组相关基因负责临床结果，使用协方差信息可以显着降低误分类率。通过比较Fisher判别规则和独立性规则的误分类率，揭示了这种错误率降低的程度。为了实现基于有限样本的增益，提出了一种基于协方差惩罚的正则化最优仿射鉴别器（ROAD）。随着惩罚的放松，ROAD选择了越来越多的特征。当采用筛选方法在命中ROAD之前缩小特征池时，可以实现进一步的益处。一个有效的约束坐标下降算法（CCD）也被开发来解决相关的优化问题。建立了Oracle类型的抽样性质。仿真研究和实际数据分析支持了我们的理论结果，并证明了新的分类方法在各种相关结构下的优势。在总体水平上对ROAD优化问题的连续分段线性解路径的一个精细结果证明了CCD算法的线性插值。
2011-11-09 stat.ME stat.ML
Simultaneous sparse estimation of canonical vectors in the p>>N setting
本文研究了线性判别分析中当采用$p\gg N$时典型向量的稀疏估计问题。在文献中已经提出了几种方法，估计一个典型的向量，在两组的情况下。然而，如果组的数目是$G$，则可以考虑$G-1$规范向量。在多组上下文中，通常以顺序方式估计典范向量。此外，通常需要对协方差结构进行单独的先验估计。我们提出了一种新的方法直接估计的典型向量。与现有技术相比，该方法一次估计所有典型向量，在所有向量上执行变量选择，并在变量选择和分类一致性上具有理论保证。首先，我们强调的事实是，在$N>p$设置的规范向量可以表示在一个封闭的形式，正交变换。其次，我们提出了这种形式的扩展到$p\gg N$设置，并通过使用组惩罚实现特征选择。由此产生的优化问题是凸的，可以使用块坐标下降算法来解决。该方法的实际性能进行了评估，通过模拟研究以及实际数据的应用。
2015-04-30 stat.ME stat.ML
A New Regression Lens on Multi-Class Classification
University of Toronto（多伦多大学）；Cornell University（康奈尔大学）
本文通过建立判别方向与回归系数之间的关系，提出基于回归的多类分类新框架，支持结构化、正则化及非参数回归方法，并为l1正则化和降维回归提供理论保证。
2026-04-08 stat.ME
