arXiv 0909.21912009-09math.STstat.TH

高维线性判别分析的快速收敛

Fast rate of convergence in high dimensional linear discriminant analysis

Robin Girard

摘要：

本文对高斯数据的高维线性判别进行了理论分析。研究了线性判别规则的超额风险问题。重点讨论了当样本维数p大于样本量n时，标准方法的性能较差的问题。相应的理论结果是非渐近的下界。另一方面，我们提出了两个歧视程序的基础上降维，并提供相关的收敛速度，可以是O（log（p）/n）稀疏假设下。最后，我们所有的结果依赖于一个定理，提供了简单的尖锐的超额风险和估计误差之间的关系，定义所使用的判别规则的几何参数。

英文摘要：

This paper gives a theoretical analysis of high dimensional linear discrimination of Gaussian data. We study the excess risk of linear discriminant rules. We emphasis on the poor performances of standard procedures in the case when dimension p is larger than sample size n. The corresponding theoretical results are non asymptotic lower bounds. On the other hand, we propose two discrimination procedures based on dimensionality reduction and provide associated rates of convergence which can be O(log(p)/n) under sparsity assumptions. Finally all our results rely on a theorem that provides simple sharp relations between the excess risk and an estimation error associated to the geometric parameters defining the used discrimination rule.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

变量有误差的判别分析的极小极大快速率

Minimax fast rates for discriminant analysis with errors in variables

研究了测量误差对判别分析的影响。给定观测值$Z=X+ε$，其中$ε$表示随机噪声，目标是在两个可能的候选$f$和$g$中预测$X$的密度。我们假设我们有两个学习样本。我们的目标是接近最好的决策规则$G^\star$定义为贝叶斯风险的最小化。在无噪声情况下$(ε=0)$，极小极大快速收敛率在判别分析（参见\cite{mammen}）或更一般的分类框架（参见\cite{tsybakov2004,AT}）中的边际假设下是众所周知的。在本文中，我们打算建立类似的结果在嘈杂的情况下，即处理变量的错误时。我们证明了这个问题的极大极小下界，并解释如何才能达到这些利率，特别是使用经验风险最小化（ERM）方法的基础上反卷积核估计。

2015-05-12math.STstat.TH

高维判别分析中的最优特征选择

Optimal Feature Selection in High-Dimensional Discriminant Analysis

我们考虑高维判别分析问题。对于这个问题，已经提出了不同的方法，并通过建立分类风险的精确收敛速度以及判别规则的l2收敛结果来证明。然而，尖锐的理论分析，这些程序的变量选择性能尚未建立，即使模型解释是科学数据分析的根本重要性。本文通过使用稀疏判别分析（Mai et al.，2012年）。通过仔细的分析，我们建立的收敛速度显着快于最知名的结果，并承认一个最佳的缩放的样本量n，维数p，和稀疏水平s的高维设置。在高维判别分析的背景下，变量选择问题的充分条件的补充必要的信息理论的限制。利用数值等价结果，我们的方法还建立了ROAD估计量的最佳结果（Fan等人，2012）和稀疏最优缩放估计器（Clemmensen等人，2011年）。此外，我们分析了一个穷举搜索过程，其性能作为一个基准，并表明它是变量选择一致的条件下较弱。还提供了大量的模拟，证明边界的清晰度。

2013-06-27math.STstat.MLstat.TH

高维线性判别分析的关键估计

Pivotal Estimation of Linear Discriminant Analysis in High Dimensions

本文提出高维线性判别分析方法PANDA，具有调参不敏感特性，并在估计误差和误分类率上达到最优收敛速率，数值实验验证其性能优于或等同于现有方法且调参成本更低。

2023-09-18math.STstat.MLstat.TH

任意类数稀疏线性判别分析的渐近最优性

Asymptotic optimality of sparse linear discriminant analysis with arbitrary number of classes

许多稀疏线性判别分析（LDA）方法已经被提出来克服经典LDA在高维环境中的主要问题。然而，渐近最优性结果仅限于只有两个类的情况，这是由于LDA的分类边界是一个超平面，并且在这种情况下存在分类误差的显式公式。在有两个以上类别的情况下，分类边界通常是复杂的，并且没有明确的分类误差公式存在。本文研究了在多元正态分布情形下，一类具有任意类数的线性分类规则在高维背景下的渐近最优性.我们的主要定理提供了易于检查的标准，在这个家庭的一般分类规则的渐近最优的维数和样本量都去无穷大和类的数量是任意的。我们建立了相应的收敛速度。一般理论适用于经典的LDA和最近提出的两个稀疏LDA方法的扩展，以获得渐近最优性。我们在各种设置的扩展方法进行模拟研究。

2015-08-05math.STstat.TH

稀疏线性判别分析的一种直接估计方法

A Direct Estimation Approach to Sparse Linear Discriminant Analysis

本文考虑高维数据的稀疏线性判别分析。与现有的分别估计精度矩阵$Ø$和均值向量差$\de$的方法不同，本文提出了一种简单有效的分类器，通过约束$\ell_1$最小化直接估计乘积$Ø\de$。估计器可以有效地实现使用线性规划和分类器所产生的被称为线性规划判别（LPD）规则。LPD规则具有理想的理论和数值特性。它利用了$Ø\de$的近似稀疏性，因此允许即使当$Ø$和/或$\de$不能被一致地估计时它仍然可以执行良好的情况。研究了LPD规则的渐近性质，并给出了一致性和收敛速度的结果。LPD分类器具有优越的有限样本性能和显着的计算优势，现有的方法，需要单独估计的$Ø$和$\de$。LPD规则也适用于分析肺癌和白血病研究的真实数据集。与现有方法相比，分类器表现良好。

2011-07-18math.STstat.MEstat.TH

高维潜因子模型中的最优判别分析

Optimal Discriminant Analysis in High-Dimensional Latent Factor Models

针对高维分类的两步投影流程，本文构建潜变量模型提供理论依据，提出数据驱动选主成分数量的高效分类器，证明其超额风险收敛速率达极小极大最优，且特征维数可超样本量，实验验证了理论与方法的有效性。

2025-08-03math.STstat.MEstat.ML

更多相关论文收起更多论文

Alexandrov空间和Wasserstein空间中经验重心的快速收敛

Fast convergence of empirical barycenters in Alexandrov spaces and the Wasserstein space

这项工作建立了快速收敛速度的经验重心在一个大类的测地空间的曲率界的意义上的亚历山德罗夫。更具体地说，我们表明，参数的收敛速度是可以实现的自然条件下，其特征在于从一个重心的测地线的双向扩展。这些结果在很大程度上推进了国家的最先进的关于这个问题的收敛速度和各种空间覆盖。特别是，我们的结果适用于无限维空间，如2-Wasserstein空间，其中的测地线的双可拓性转化为康托洛维奇潜力的规律性。

2021-07-12math.MGmath.STstat.TH

关于$L^1$的一个注记-无界快速增长函数经验极小的收敛性

A note on $L^1$-Convergence of the Empiric Minimizer for unbounded functions with fast growth

对于$V : \mathbb{R}^d \to \mathbb{R}$强制，我们研究了经验极小值的$L^1$ -距离的收敛速度，这是真正的最小值的函数$V$采样噪声与有限数量的$n$的样本，最小值的$V$。我们表明，在一般情况下，对于快速增长的无界函数，收敛速度是有界以上的$a_n n^{-1/q}$，其中$q$是潜在的随机变量的维数，其中$a_n = o(n^\varepsilon)$为每个$\varepsilon > 0$。然后，我们提出的应用程序中出现的机器学习和蒙特卡洛模拟的最优化问题。

2023-03-08math.STstat.MLstat.TH

熵运输费用的改进中心极限定理及快速收敛速度

An improved central limit theorem and fast convergence rates for entropic transportation costs

IMUVA, Universidad de Valladolid（巴利亚多利德大学IMUVA数学研究所）；IMT, Université de Toulouse（图卢兹大学图卢兹数学研究所）；Center for Data Science, New York University（纽约大学数据科学中心）

证明了以人口成本为中心的亚高斯概率测度之间的熵运输成本的中心极限定理。这是第一个结果，它允许熵最优输运之间的措施，不一定是离散的渐近有效的推断。在紧支持的情况下，我们补充这些结果与新的，更快的，收敛速度的预期熵运输成本之间的经验措施。我们的证明是基于加强熵最优输运问题的对偶解的收敛结果。

2022-05-04cs.LGmath.PRmath.ST

广义贝叶斯学习的后验集中和快速收敛速度

Posterior concentration and fast convergence rates for generalized Bayesian learning

Dalhousie University（达尔豪斯大学）；University of Science（理大学）；Vietnam National University（越南国立大学）；AISIA Research Lab（AISIA研究实验室）；University of Delaware（特拉华大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）

本文研究了一般情形下广义Bayes估计的学习率，其中假设类可以是不可数的且形状不规则，损失函数可以有重尾，最优假设可能不唯一.证明了在多尺度Bernstein条件下，广义后验分布集中在最优假设集附近，广义Bayes估计具有较快的学习速度.我们的结果表明，标准的贝叶斯线性回归是强大的重尾分布。

2021-11-19cs.LGmath.STstat.TH

用于分类的深度神经网络的快速收敛速度

Fast convergence rates of deep neural networks for classification

Seoul National University（首尔国立大学）

我们推导了深度神经网络（DNN）分类器的快速收敛速度，其中使用铰链损失学习了整流线性单元（ReLU）激活函数。我们考虑真实模型的三种情况：（1）光滑决策边界，（2）光滑条件类概率，以及（3）边际条件（即，输入在决策边界附近的概率很小）。我们表明，使用铰链损失学习的DNN分类器在所有三种情况下都实现了快速收敛，前提是架构（即，层数、节点数和稀疏度）。是经过精心挑选的。一个重要的含义是，DNN架构非常灵活，可以在各种情况下使用，无需太多修改。此外，我们考虑了通过最小化交叉熵学习的DNN分类器，并表明DNN分类器在大多数数据的条件类概率足够接近1或0的条件下实现了快速收敛速度。这种假设对于图像识别来说并不罕见，因为人类非常擅长识别大多数图像。为了证实我们的理论解释，我们提出了一个小的数值研究的结果进行比较铰链损失和交叉熵。

2019-06-18cs.LGmath.STstat.ML

非对数凹抽样下随机梯度Langevin动力学的快速收敛性

Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling

University of California, Los Angeles（加利福尼亚大学洛杉矶分校）

我们提供了一个新的收敛性分析随机梯度Langevin动力学（SGLD）的抽样从一类分布，可以是非对数凹的。在我们的方法的核心是一个新的电导分析SGLD使用辅助时间可逆马尔可夫链。在一定条件下的目标分布，我们证明了$\tilde O(d^4ε^{-2})$随机梯度评价足以保证$ε$ -抽样误差的总变异距离，其中$d$是问题的尺寸。这改进了SGLD收敛速度的现有结果（Raginsky等人，2017年; Xu等人，2018年）。我们进一步表明，提供了一个额外的Hessian Lipschitz条件的对数密度函数，SGLD保证实现$ε$ -采样误差内$\tilde O(d^{15/4}ε^{-3/2})$随机梯度评价。我们的证明技术提供了一种新的方法来研究基于Langevin算法的收敛性，并揭示了一些基于随机梯度的快速采样算法的设计。

2021-02-23cs.LGmath.STstat.ML