Kullback-Leibler Penalized Sparse Discriminant Analysis for Event-Related Potential Classification
Instituto de Investigación en Señales, Sistemas e Inteligencia Computacional, UNL, CONICET, FICH(信号、系统与智能计算研究所,国立利托拉尔大学,国家科学与技术研究理事会,水文与工程系);Facultad de Ingeniería, Universidad Nacional de Entre Ríos(国立恩特雷里奥斯大学工程学院);Instituto de Matemática Aplicada del Litoral, UNL, CONICET, FIQ(滨海应用数学研究所,国立利托拉尔大学,国家科学与技术研究理事会,化学工程系)
脑机接口(BCI)是一种仅使用脑活动(EEG)在人的思想和外部世界之间提供直接通信的系统。基于事件相关电位(ERP)的脑机接口问题是一个二元模式识别问题。线性判别分析(LDA)被广泛用于解决这类分类问题,但当特征数量相对于观测数量较大时,它会失败。在这项工作中,我们提出了一个惩罚版本的稀疏判别分析(SDA),称为Kullback-Leibler惩罚稀疏判别分析(KLSDA)。该方法既继承了SDA的判别特征选择和分类特性,又通过加入Kullback-Leibler类差异信息提高了SDA的性能。KLSDA方法被设计为自动选择最佳正则化参数。对两个真实的ERP-EEG数据集的数值实验表明,该方法优于标准SDA。
2016-08-24 cs.CV cs.LG stat.ML
Smoothing ADMM for Sparse-Penalized Quantile Regression with Non-Convex Penalties
Norwegian University of Science and Technology-NTNU(挪威科技大学);Linköping University(林雪平大学);University of Southern Denmark(南丹麦大学)
本文研究了非凸非光滑稀疏惩罚下的分位数回归问题,提出了一种名为SIAD的单循环平滑ADMM算法,通过递增惩罚参数加速收敛,理论上确认了子梯度界收敛率为o(k^{-1/4}),数值实验证明其优于现有方法。
2023-09-04 cs.AI cs.LG stat.ML
An Efficient Approach to Sparse Linear Discriminant Analysis
提出了一种新的稀疏线性判别分析(LDA)的公式化和解析方法。我们的建议是基于惩罚最佳评分。它与惩罚LDA完全等价,与目前提出的基于类指标回归的多类方法相反。稀疏性是通过group-Lasso惩罚获得的,该惩罚在所有判别方向上选择相同的特征。我们的实验表明,这种方法生成非常简约的模型,而不影响预测性能。除了预测之外,所得到的稀疏判别方向也适用于数据的低维表示。我们的算法是非常有效的中到大量的变量,因此特别适合于基因表达数据的分析。
2012-06-27 cs.LG stat.ML
Estimator of Prediction Error Based on Approximate Message Passing for Penalized Linear Regression
The Graduate University for Advanced Science (SOKENDAI)(综合研究大学院大学(SOKENDAI))
我们提出了一个估计的预测误差,使用近似消息传递(AMP)算法,可以应用到广泛的稀疏处罚。根据Stein引理,在AMP固定点处计算广义自由度的估计,这是预测误差估计的构造的关键量。基于AMP的估计器的结果形式不依赖于惩罚函数,并且其值可以通过考虑预测器之间的相关性来进一步改进。当预测变量和响应变量的分量独立地按照高斯分布生成时,所提出的估计量是渐近无偏的。我们研究的行为下的非凸稀疏处罚,赤池的信息准则不对应于预测误差的无偏估计量的真实数据的估计。所提出的估计器所选择的模型是接近的,这使得最小化的真实预测误差。
2018-05-08 cs.LG stat.ML
PENDANTSS: PEnalized Norm-ratios Disentangling Additive Noise, Trend and Sparse Spikes
RWTH Aachen University(亚琛工业大学);Univ. Paris-Saclay(巴黎萨克雷大学);CentraleSupélec(巴黎中央理工-高等电力学院);Inria(法国国家信息与自动化研究所);IFP Energies nouvelles(法国石油与新能源研究院)
去噪、去趋势、去卷积:通常的恢复任务,传统上解耦。耦合公式需要复杂的不适定反问题。我们提出PENDANTSS的联合趋势去除和盲反卷积稀疏峰状信号。它混合了一个简约的先验假设,即平滑趋势和噪声可以通过低通滤波在一定程度上分离。我们结合广义准范数比SOOT/SPOQ稀疏惩罚$\ell_p/\ell_q$与BEADS三元辅助源分离算法。这导致了一个收敛和有效的工具,一个新的信任区域块交替可变度量的前向-后向方法。当应用于典型的峰值分析化学信号时,它优于可比方法。提供可复制的代码。
2023-02-16 cs.LG eess.SP math.OC
Coordinate Descent for MCP/SCAD Penalized Least Squares Converges Linearly
Wuhan University(武汉大学)
从观测数据中恢复稀疏信号是信号/成像处理、统计学和机器学习中的一个重要课题。非凸惩罚最小二乘因其良好的统计性质而受到广泛关注。在计算上,坐标下降(CD)是一个主力最小化非凸惩罚最小二乘准则,由于其简单性和可扩展性。在这项工作中,我们证明了线性收敛速度CD解决MCP/SCAD惩罚最小二乘问题。
2021-09-18 cs.LG stat.CO stat.ML
High dimensional Sparse Gaussian Graphical Mixture Model
University of Groningen(格罗宁根大学)
本文研究了基于高斯混合图模型(GGMM)的异构数据网络重构问题。众所周知,由于大量的变量与可能性的简并性,在这种情况下的参数估计是具有挑战性的。作为一种解决方案,我们提出了一个惩罚的极大似然技术施加$l_{1}$罚款的精度矩阵。我们的方法缩小了参数,从而导致更好的可识别性和变量选择。我们使用的期望最大化(EM)算法,其中包括图形LASSO估计的混合系数和精度矩阵。证明了在一定的正则条件下,惩罚极大似然(PML)估计是相容的.我们通过模拟展示了PML估计的性能,并展示了我们的方法在基因组应用中用于高维数据分析的实用性。
2013-10-05 cs.LG stat.ML
Sparse estimation via nonconcave penalized likelihood in a factor analysis model
考虑因子分析模型中的稀疏估计问题。一个传统的估计过程中使用的是以下两个步骤的方法:模型估计的极大似然方法,然后旋转技术是用来找到稀疏因子加载。然而,当变量的数目远大于观测的数目时,不能获得最大似然估计。此外,即使最大似然估计是可用的,旋转技术通常不产生足够稀疏的解决方案。为了处理这些问题,本文介绍了一种惩罚似然过程,对因子载荷施加非凸惩罚。我们发现,惩罚似然过程可以被视为传统的两步方法的推广,所提出的方法可以产生稀疏的解决方案比旋转技术。一个新的算法,通过期望最大化算法随着坐标下降被引入到计算整个解决方案的路径,它允许应用到各种各样的凸和非凸处罚。蒙特卡罗模拟进行调查我们的建模策略的性能。最后给出了一个实际数据的例子来说明我们的方法。
2013-03-15 stat.CO stat.ME stat.ML
Concave Penalized Estimation of Sparse Gaussian Bayesian Networks
University of California, Los Angeles(加州大学洛杉矶分校)
我们开发了一个惩罚似然估计框架,从观测数据中估计高斯贝叶斯网络的结构。与最近通过限制搜索空间来加速学习问题的方法相比,我们的主要贡献是一种基于分数的结构学习的快速算法,该算法不以任何方式限制搜索空间,并且适用于具有数千个变量的高维数据集。我们使用凹正则化,而不是更流行的$\ell_0$(例如BIC)惩罚,是新的。此外,我们提供了理论保证,推广现有的渐近结果时,基本分布是高斯分布。最值得注意的是,我们的框架不需要存在所谓的忠实的DAG表示,因此理论必须以一种新的方式处理估计问题的固有不可识别性。最后,作为一个独立的兴趣,我们提供了一个全面的比较,我们的方法,几个标准的结构学习方法,使用开源软件包开发的R语言。基于这些实验,我们表明,我们的算法是显着快于其他竞争的方法,同时获得较高的灵敏度与可比的错误发现率的高维数据。特别是,我们的方法生成具有8000个节点的DAG的20个估计的解决方案路径的总运行时间约为一小时。
2015-01-04 cs.LG stat.ME stat.ML
Nonconvex sparse regularization for deep neural networks and its optimality
University of Notre Dame(圣母大学);Seoul National University(首尔国立大学)
最近的理论研究证明,通过在一定稀疏性约束下最小化经验风险获得的深度神经网络(DNN)估计量可以获得回归和分类问题的最佳收敛速度。然而,稀疏性约束要求知道真实模型的某些属性,这在实践中是不可用的。此外,由于稀疏约束的离散性质,计算是困难的。在本文中,我们提出了一种新的惩罚估计方法稀疏DNN,解决了上述问题存在的稀疏性约束。我们建立了一个预言不等式的建议稀疏惩罚DNN估计的超额风险,并推导出几个学习任务的收敛速度。特别是,我们证明了稀疏惩罚估计可以自适应地获得各种非参数回归问题的极小极大收敛速度。对于计算,我们开发了一个有效的基于梯度的优化算法,保证单调减少的目标函数。
2021-08-09 cs.LG math.ST stat.ML
A note relating ridge regression and OLS p-values to preconditioned sparse penalized regression
当设计矩阵具有标准正交列时,普通最小二乘(OLS)解的“软阈值”产生Lasso解[Tibshirani,1996]。如果使用Puffer预处理Lasso [Jia and Rohe,2012],则该结果从正交设计推广到满秩设计(定理1)。定理2改进了Puffer预处理器,使Lasso选择与去除具有最大p值的OLS解的元素相同的模型。使用广义的Puffer预处理器,定理3将岭回归与预处理的Lasso联系起来;该结果是针对高维设置,p > n。其中标准Lasso类似于向前选择[Efron等人,2004],定理1,2和3表明,预处理拉索更类似于向后淘汰。这些结果适用于l1以上的稀疏惩罚;对于广泛的稀疏和非凸技术(例如SCAD和MC+),结果适用于所有局部极小值。
2014-12-03 stat.ME stat.ML
Sparse-Group Log-Sum Penalized Graphical Model Learning For Time Series
研究了高维平稳多元高斯时间序列的条件独立图的推断问题。在文献中已经考虑了基于稀疏群套索的频域公式的问题,其目标是估计数据的稀疏逆功率谱密度(PSD)。然后从估计的逆PSD推断CIG。在本文中,我们研究使用稀疏群对数和惩罚(LSP),而不是稀疏群套索惩罚。提出了一种求解非凸问题迭代优化的交替方向乘子法。我们提供了充分条件的Frobenius范数的逆PSD估计的真值的局部收敛。这个结果也产生了收敛速度。我们说明了我们的方法,利用合成和真实数据的数值例子。
2022-04-29 eess.SP stat.ML
Penalized Orthogonal-Components Regression for Large p Small n Data
我们提出了一个惩罚正交成分回归(POCRE)的大p小n数据。按顺序构建正交分量,以在标准化后最大化其与响应残差的相关性。一个新的惩罚框架,通过经验贝叶斯阈值实现,有效地识别每个组件的稀疏预测。POCRE是计算效率,由于其领先的稀疏主成分的顺序构造。此外,这种构造提供了其他属性,例如对高度相关的预测器进行分组,并允许共线或近似共线的预测器。POCRE可以通过多变量响应构造公共成分,从而建立大p小n数据的潜变量模型。
2008-12-18 stat.ME stat.ML
Multi-Attribute Graph Estimation with Sparse-Group Non-Convex Penalties
Auburn University(奥本大学)
针对多属性高维高斯图模型,本文提出带稀疏组非凸惩罚的对数似然学习框架及 ADMM 优化方法,并证明其支撑恢复与精度矩阵估计的局部一致性,实验显示 log-sum 惩罚表现最优。
2025-05-17 cs.LG eess.SP stat.ML
Penalized deep neural networks estimator with general loss functions under weak dependence
THEMA(THEMA研究所);CY Cergy Paris Université(CY巴黎赛尔吉大学)
本文提出稀疏惩罚深度神经网络预测器,适用于弱相依过程与一般损失函数,建立了超额风险的神谕不等式,收敛速率接近O(n^{-1/3}),并成功应用于颗粒物预报。
2023-05-10 cs.LG math.ST stat.ML
Concentrated Document Topic Model
National University of Singapore(新加坡国立大学)
我们提出了一个集中的文档主题模型(CDTM)的无监督文本分类,这是能够产生一个集中和稀疏的文档主题分布。特别地,指数熵惩罚施加在文档主题分布上。我们将该模型应用于基准NIPS数据集,观察到比潜在Dirichlet分配(LDA)更连贯的主题和更集中和稀疏的文档主题分布。
2021-02-06 cs.IR cs.LG stat.ML
Alternating direction method of multipliers for penalized zero-variance discriminant analysis
我们认为,在高维设置的给定数据的特征的数量显着大于观察的数量的分类任务。为了完成这项任务,我们提出了一个启发式,称为稀疏零方差判别分析(SZVD),同时进行线性判别分析和特征选择高维数据。该方法结合了经典的零方差判别分析,其中判别向量是在类内协方差阵的零空间中识别的,并施加惩罚以在所得向量中诱导稀疏结构。为了近似解决由此产生的非凸问题,我们开发了一个简单的算法的基础上交替方向法的乘数。此外,我们表明,该算法适用于更大的一类惩罚广义特征值问题,包括一个特定的松弛的稀疏主成分分析问题。最后,我们建立了理论保证我们的算法收敛到原来的非凸问题的固定点,并实证证明了我们的启发式分类模拟数据和时间序列分类应用程序中提取的数据的有效性。
2015-12-08 math.OC stat.ML
Communication-Efficient l_0 Penalized Least Square
College of Mathematics and Statistics, Chongqing University(重庆大学数学与统计学院)
针对高维稀疏线性回归的海量数据通信瓶颈,提出基于增强支持检测与求根的CESDAR分布式算法,利用代理似然框架避免原始数据传输,在保证全局估计统计精度的同时大幅降低通信成本并提升执行速度。
2025-04-01 cs.LG stat.ML
Sparse minimum Redundancy Maximum Relevance for feature selection
RIKEN AIP(日本理化学研究所AIP);Keio University(庆应大学)
提出一种基于惩罚mRMR和knockoff滤波器的特征筛选方法,通过控制FDR识别非活跃特征,性能与HSIC-LASSO相当但更保守,仅需设置FDR阈值。
2025-08-26 cs.LG stat.ME stat.ML
Strong oracle optimality of folded concave penalized estimation
折叠凹惩罚方法在高维稀疏估计中具有很强的预言性质。然而,折叠凹惩罚问题通常有多个局部解,并且仅对其中一个未知的局部解建立预言性质。一个具有挑战性的基本问题仍然是,它是不清楚的局部最优值计算由一个给定的优化算法具有良好的理论性质。为了弥补这一重要的理论差距,在十多年中,我们提供了一个统一的理论来明确地表明如何通过本地线性逼近算法获得的甲骨文解决方案。对于一个折叠凹惩罚估计问题,证明了只要问题是局部化的,并且oracle估计是良好的,我们就可以利用一步局部线性逼近得到oracle估计.此外,一旦获得预言估计量,局部线性逼近算法收敛,即它在下一次迭代中产生相同的估计量。本文以稀疏线性回归、稀疏逻辑斯谛回归、稀疏精度矩阵估计和稀疏分位数回归四个经典稀疏估计问题为例,阐述了稀疏估计的一般理论。
2015-04-02 math.ST stat.CO stat.ML
Penalized Likelihood Methods for Estimation of Sparse High Dimensional Directed Acyclic Graphs
有向无环图(DAG)通常用于表示图形模型中随机变量之间的因果关系。这些模型的应用出现在物理和生物系统的研究中,其中节点之间的有向边表示系统组件对彼此的影响。从观测数据估计DAG的一般问题在计算上是NP困难的,而且两个有向图在观测上可能是等价的。当节点表现出自然排序时,估计有向图的问题就归结为估计网络结构的问题。在本文中,我们提出了一种惩罚似然方法,直接估计的DAG的邻接矩阵。同时考虑了套索和自适应套索惩罚,提出了一种有效的高维DAG估计算法。本文研究了当变量数随样本量增长到无穷大时,两种惩罚的变量选择一致性。我们表明,虽然套索只能一致地估计真实的网络在严格的假设下,自适应套索实现这一任务在温和的正则条件。所提出的方法的性能进行比较,替代方法在模拟,以及真实的,数据的例子。
2009-11-28 math.ST stat.ME stat.ML
Sparse Distance Weighted Discrimination
距离加权判别(DWD)最初是为了处理支持向量机中的数据堆积问题而提出的。在本文中,我们考虑稀疏惩罚DWD高维分类。解决标准DWD的最新算法是基于二阶锥规划的,然而这样的算法对于高维数据的稀疏惩罚DWD不起作用。为了克服具有挑战性的计算困难,我们开发了一个非常有效的算法来计算稀疏DWD的解决方案的路径在一个给定的细网格的正则化参数。我们实现了一个公开的R包sdwd的算法。我们进行了大量的数值实验,以证明我们的方法的计算效率和分类性能。
2015-01-24 stat.CO stat.ML
Penalized Estimation of Directed Acyclic Graphs From Discrete Data
贝叶斯网络是一类流行的图形模型,其结构由有向无环图(DAG)给出。然而,从离散或分类数据中学习贝叶斯网络特别具有挑战性,因为参数空间很大,并且难以搜索稀疏结构。在这篇文章中,我们开发了一个最大惩罚似然方法来解决这个问题。而不是常用的多项分布,我们模型的条件分布的一个节点给定其父母的多logit回归,其中一个边缘参数化的一组系数向量与虚拟变量编码的节点的水平。为了得到一个稀疏的DAG,采用了一个群范数惩罚,并开发了一个分块坐标下降算法,以最大限度地提高受惩罚的似然无环约束的DAG。当介入数据可用时,我们的方法构造一个因果网络,其中有向边表示因果关系。我们将我们的方法应用到各种模拟和真实的数据集。结果表明,我们的方法是非常有竞争力的,与许多现有的方法相比,在DAG估计从干预和高维观测数据。
2018-02-02 stat.ME stat.ML
Empirical Bayes Covariance Decomposition, and a Solution to the Multiple Tuning Problem in Sparse PCA
University of Chicago(芝加哥大学)
本文提出利用经验贝叶斯方法解决稀疏PCA中的多重调优问题,通过协方差分解提升模型性能。
2026-02-22 stat.ME stat.ML
Robustness in sparse linear models: relative efficiency based on robust approximate message passing
University of California, San Diego(加州大学圣迭戈分校)
理解高维线性模型的有效性是一个长期存在的问题。可以追溯到Huber和Bickel的小尺寸问题的经典工作已经说明了有效损失函数的好处。当参数$p$的数量与样本大小$n$、$p \approx n$的数量级相同时,最近建立了一种不同于Huber的效率模式。在这项工作中,我们考虑模型选择的惩罚方法的估计效率的影响。特别是,我们探讨是否稀疏,在新的效率模式时,$p > n$的结果。为了得到正则化M-估计量的渐近均方误差,我们使用了强大的近似消息传递框架。我们提出了一种新的,鲁棒的和稀疏的近似消息传递算法(RAMP),这是自适应的错误分布。我们的算法包括许多非二次和不可微的损失函数。我们推导出它的渐近均方误差,并显示其收敛性,而允许$p, n, s \to \infty$,与$n/p \in (0,1)$和$n/s \in (1,\infty)$。当$p$比$n$大得多时,我们确定了一些惩罚$M$估计的相对效率的新模式。我们表明,经典的信息界不再是可达的,即使是轻尾误差分布。我们证明了惩罚最小绝对偏差估计优于惩罚最小二乘估计,在重尾分布的情况下。对于非零参数$s$的数量的所有选择,$s \leq n$和$s \approx n$,我们都观察到这种模式。在$s =p \approx n$的非惩罚问题中,相反的机制成立。因此,我们发现,模型选择的存在显着改变的效率模式。
2016-12-24 cs.AI cs.LG math.ST
L0 Sparse Inverse Covariance Estimation
针对稀疏逆协方差估计,本文研究非凸 $l_0$ 惩罚的对数似然优化,提出循环下降算法并证明其收敛到局部极小值,仿真显示其偏差低于 $l_1$ 方法且估计质量更优。
2015-03-19 stat.ML
Sparse inference of the drift of a high-dimensional Ornstein-Uhlenbeck process
给定连续时间中高维Ornstein-Uhlenbeck过程的观测,我们在行稀疏性假设下进行漂移参数的推断。为了实现这一目标,我们考虑该过程的负对数似然,并通过$\ell^1$惩罚(Lasso和自适应Lasso)进行惩罚。通过一个尖锐的预言不等式和一个关于变量选择的长时间渐近性的极限定理,我们给出了这个过程的非渐近和渐近结果.作为一个副产品,我们指出的事实是,对于Ornstein-Uhlenbeck过程,不需要一个假设的限制本征值类型,以获得快速的速率为拉索,而众所周知的是强制性的线性回归,例如。数值结果表明,这种惩罚程序相比,标准的极大似然方法的模拟和现实世界的金融数据的好处。
2017-07-10 stat.ML
MIST: L0 Sparse Linear Regression with Momentum
大量的注意力已经被给予最小化的惩罚最小二乘准则估计稀疏解的大型线性方程组。惩罚负责诱导稀疏性,自然选择是所谓的$l_0$范数。在本文中,我们开发了一个Momentumized迭代收缩保持(MIST)算法最小化所产生的非凸准则,并证明其收敛到局部极小。在大数据集上的仿真结果表明,该方法的性能优于其他方法。
2015-03-19 stat.ML
Heavy Lasso: sparse penalized regression under heavy-tailed noise via data-augmented soft-thresholding
针对高维线性回归中的重尾噪声与异常值问题,提出结合 Student's t 型损失、数据增强和软阈值算法的 Heavy Lasso,并给出非渐近误差界与 R 实现。
2025-06-09 stat.ME stat.ML
Recursive $\ell_{1,\infty}$ Group lasso
我们引入了一个递归自适应组套索算法的实时惩罚最小二乘预测,产生一个时间序列的最佳稀疏预测系数向量。在每个时间索引的算法计算的最佳$\ell_{1,\infty}$惩罚递归最小二乘(RLS)预测器的精确更新。每次更新最小化一个凸但不可微的函数优化问题。我们开发了一个在线同伦方法,以减少计算复杂度。数值仿真结果表明,该算法在求解群稀疏系统辨识问题时,性能优于$\ell_1$正则化RLS算法,且实现复杂度低于直接群套索算法.
2011-01-29 stat.ME stat.ML
Adaptive deep learning for nonlinear time series models
本文针对非平稳非线性时间序列模型,提出基于深度神经网络的自适应非参数估计理论,证明稀疏惩罚DNN估计量可达到多类非线性自回归模型的极小极大最优速率,并通过数值模拟验证其对低维结构及不连续均值函数的估计效果。
2024-05-03 math.ST stat.ML stat.TH
Predictor Selection for Synthetic Controls
综合控制方法通常依赖于匹配的预处理特性(称为预测)的处理单元。预测量的选择和如何加权对综合控制估计量的性能和可解释性起着关键作用。本文提出了一种稀疏的合成控制过程,惩罚的数量的预测用于生成反事实选择最重要的预测。我们推导出,在一个线性因子模型的框架下,一个新的模型选择的一致性结果,并表明,惩罚过程具有更快的均方误差收敛速度。通过仿真研究,我们然后表明,稀疏综合控制实现了更低的偏差,并具有更好的后处理性能比unpenalized综合控制。最后,我们应用该方法重新研究了在加利福尼亚州的99号提案的通过,在一个增强的设置与大量的预测。
2022-12-29 econ.EM stat.ME stat.ML