Individual Data Protected Integrative Regression Analysis of High-dimensional Heterogeneous Data
循证决策通常依赖于对多项研究的荟萃分析,这使得更精确地估计和调查可推广性成为可能。然而,在超高维环境中,多个异质性研究的综合分析是极具挑战性的。当个体水平的数据不能在研究之间共享时,挑战甚至更加明显,这被称为DataSHIELD约束(Wolfson等人,2010年)。在稀疏回归模型假设是相似的,但不完全相同的研究,本文提出了一种新的数据屏蔽高维整合回归(SHIR)的综合估计过程。SHIR通过基于汇总统计的整合过程保护个体数据,调节协变量分布和模型参数的研究异质性,并实现一致的变量选择。从理论上讲,SHIR是统计上更有效的比现有的分布式方法,集成从本地站点的去偏LASSO估计。此外,聚合衍生数据所产生的估计误差是可以忽略不计的统计极小极大率和SHIR被证明是渐近等价的估计,通过共享所有数据获得的理想估计。我们的方法的有限样本性能进行了研究,并通过广泛的模拟设置与现有的方法进行比较。我们进一步说明了SHIR的效用,从多个慢性疾病队列的电子健康记录数据,以获得冠状动脉疾病的表型算法。
2020-09-14 stat.ME
Efficient Modeling of Surrogates to Improve Multi-source High-dimensional Integrative Regression
Harvard University(哈佛大学);Peking University(北京大学);Zhejiang University(浙江大学);Harvard Chan School of Public Health(哈佛陈曾熙公共卫生学院)
针对多源高维整合回归,开发SASH方法,利用大量有误差的未标记代理样本和少量金标准标记数据,通过一系列回归避免局部极小值问题,保护个体信息,提升学习精度。
2026-08-05 stat.ME
MM-PCA: Integrative Analysis of Multi-group and Multi-view Data
数据整合是将多个数据组(研究,队列)和/或多个数据视图(变量,特征)相结合的问题。由于大型和异构数据集的普遍存在,这项任务在许多学科中变得越来越重要。数据集成通常旨在识别跨多个群组和特征集一致的结构。虽然这种联合分析可以从单个数据集中获得更多信息,但也有可能对异构数据进行全球限制性整合,从而掩盖感兴趣的信号。因此,在这里,我们提出了一种数据自适应集成方法,允许在数据中的结构被共享在一个先验未知的\emph{subset of cohorts and views}。该方法,多组多视图主成分分析(MM-PCA),确定部分共享,稀疏的低秩组件。这也导致跨群组和视图的综合双聚类。MM-PCA的优势在模拟数据和来自癌症基因组图谱的组学数据上进行了说明。MM-PCA可作为R包提供。关键词:数据集成,多视图,多组,双聚类
2019-11-12 q-bio.GN stat.AP stat.ME
Parallel integrative learning for large-scale multi-response regression with incomplete outcomes
在许多应用中,多任务学习越来越多地用于研究多个响应和一组预测变量之间的关联结构。在大数据时代,不完全结果、大量响应和预测因子的高维性并存,对估计、预测和计算提出了前所未有的挑战。在本文中,我们提出了一个可扩展的和计算效率高的程序,称为PEER,大规模的多响应回归与不完整的结果,其中响应和预测的数量可以是高维的。受稀疏因子回归的启发,我们将多响应回归转换为一组单变量响应回归,这可以有效地并行实现。在一些温和的正则条件下,我们证明了PEER具有很好的抽样性质,包括估计,预测和变量选择的一致性。大量的仿真研究表明,我们的建议相比,在估计精度,变量选择和计算效率的几个现有的方法。
2021-04-11 stat.AP stat.CO stat.ME
Projection Sparse Principal Component Analysis: an efficient least squares method
提出了一种新的稀疏主成分分析(SPCA)方法,该方法通过将满基数主成分投影到变量子集上来获得解。所得到的分量保证解释给定比例的方差。这些解决方案的计算是非常有效的。该方法与最优最小二乘稀疏分量法相比效果良好。我们发现,其他SPCA方法无法识别主成分的最佳稀疏近似,并解释比我们的解决方案更少的方差。我们说明和比较我们的方法与分析的一个真实的数据集包含社会经济数据和计算结果的9个数据集的增加维度高达16,000个变量。
2019-10-07 stat.ME
Sparse Principal Component Analysis: a Least Squares approximation approach
稀疏主成分分析的目的是找到具有很少非零载荷的主成分。我们得到这样的稀疏的解决方案,通过添加一个真正的稀疏性要求,原来的主成分分析(PCA)的目标函数。这种方法与其他方法不同,因为它保留了PCA的原始最优性:分量的\uns \和数据的最小二乘近似。为了确定非零负载的最佳子集,我们提出了一个分支定界搜索和迭代消除算法。最后一个算法发现稀疏的解决方案与大负载,可以运行,而无需指定的基数的负载和组件的数量来计算提前。我们与现有的稀疏PCA方法和几个真实数据集上的例子进行了全面的比较。
2014-08-17 stat.ME
Integrated Principal Components Analysis
数据集成,或同时对多个数据源进行战略分析,通常会导致可能隐藏在单个数据源的个性化分析中的发现。我们开发了一种新的无监督数据集成方法集成主成分分析(iPCA),这是一个基于模型的推广PCA,并作为一个实用的工具,发现和可视化发生在多个数据集的共同模式。驱动iPCA的关键思想是矩阵变量正态模型,其Kronecker乘积协方差结构捕获每个数据集内的单个模式和多个数据集共享的联合模式。在此模型的基础上,我们开发了几个惩罚(稀疏和非稀疏)的协方差估计iPCA,并使用测地凸性,我们证明了我们的非稀疏iPCA估计收敛到非凸问题的全局解。我们还通过广泛的模拟和案例研究应用到阿尔茨海默病的综合基因组学中,展示了iPCA的实际优势。特别是,我们表明,通过iPCA提取的联合模式是高度预测患者的认知和阿尔茨海默氏症的诊断。
2021-04-03 stat.ME
Exploring the genetic patterns of complex diseases via the integrative genome-wide approach
动机:全基因组关联研究(GWAS)在数千个个体中检测超过100万个单核苷酸多态性(SNP),已被广泛用于识别复杂疾病的遗传风险变体。然而,大多数已经确定的变异导致的风险增量相对较小,并且只能解释复杂疾病中的一小部分遗传变异。这就是所谓的缺失遗传性问题。有证据表明,许多复杂的疾病与遗传有关,这意味着这些疾病具有共同的遗传风险变体。因此,探索多项相关研究的遗传相关性可能是一种很有前途的策略,可以消除虚假关联并识别潜在的遗传风险变体,从而揭开复杂疾病中遗传性缺失的奥秘。结果:我们提出了一个通用的和强大的方法来识别遗传模式,从多个大规模的基因组数据集。我们将汇总统计量视为一个矩阵,并证明遗传模式将形成一个低秩矩阵加上稀疏分量。因此,我们将问题制定为矩阵恢复问题,我们的目标是发现多种疾病/特征以及每个疾病/特征所共有的风险变体。我们提出了一个凸公式的矩阵恢复和一个有效的算法来解决这个问题。我们证明了我们的方法使用合成数据集和真实数据集的优势。实验结果表明,我们的方法可以成功地重建共享和个人的遗传模式从汇总统计,并取得更好的性能相比,在广泛的场景下的替代方法。
2015-01-26 cs.CE q-bio.QM stat.ME
Integrative analysis of transcriptomic and metabolomic data via sparse canonical correlation analysis with incorporation of biological information
不同高维数据类型的集成分析正变得越来越流行。类似地,在数据分析中纳入变量之间的先前函数关系一直是越来越感兴趣的话题,因为它有助于阐明复杂疾病之间的潜在机制。在本文中,我们的目标是评估来自预测健康研究所(PHI)研究的转录组学和代谢组学数据之间的关联,该研究包括处于心血管疾病高风险的健康成年人。为此,我们开发了统计方法,用于确定稀疏结构的典型相关分析(CCA)与生物/结构信息的结合。我们提出的方法使用基因之间和代谢物之间的先验网络结构信息来指导稀疏CCA中相关基因和代谢物的选择,从而提供对心血管疾病分子基础的深入了解。我们的模拟结果表明,结构化稀疏CCA方法优于现有的稀疏CCA方法在选择相关的基因和代谢物时,结构信息是翔实的,是强大的错误指定的结构信息。我们对PHI研究的分析表明,许多基因和代谢途径,包括一些已知与心血管疾病相关的基因和代谢途径,在我们提出的方法选择的基因和代谢物的子集中富集。
2016-06-08 stat.AP stat.ME
Robust nonparametric integrative analysis to decipher heterogeneity and commonality across subgroups using sparse boosting
在许多生物医学问题中,数据通常是异质的,样本跨越多个患者亚组,其中不同的亚组可能具有不同的疾病亚型、阶段或其他医学背景。这些亚组可能相关,但预计它们在基础生物学方面也存在差异。异质性数据提供了一个宝贵的机会,探索相关亚组之间的异质性和共性。不幸的是,仍然缺乏有效的统计分析方法。近年来,一些基于综合分析的新方法被提出来解决这个具有挑战性的问题。尽管有希望的结果,现有的研究仍然是有限的,忽略了数据污染,并作出严格的假设,线性效应的协变量的响应。因此,我们开发了一个强大的非参数综合分析方法来识别异质性和共性,以及选择重要的协变量和估计协变量的影响。通过采用柯西损失函数来适应可能的数据污染,并建立非参数模型来适应非线性效应。所提出的方法是基于稀疏增强技术。所提出的方法的优点是在广泛的模拟证明。对多形性胶质母细胞瘤和肺腺癌的癌症基因组图谱数据的分析表明,所提出的方法具有令人满意的预测,具有生物学意义的发现。
2022-11-28 stat.AP stat.ME
An integrative sparse boosting analysis of cancer genomic commonality and difference
在癌症研究中,高通量分析已被广泛进行。在最近的研究中,对多个癌症患者组/亚组的数据进行了综合分析。这种分析有可能揭示基因组的共性以及组/亚组之间的差异。然而,在现有的文献中,特别关注基因组共性和差异的方法非常有限。在这项研究中,一种新的估计和标记选择方法的基础上稀疏增强技术,以解决共性/差异的问题。在技术创新方面,引入了新的惩罚和增量计算方法。该方法还可以有效地适应协变量的分组结构。仿真结果表明,它可以在广泛的设置下优于直接竞争对手。对两个TCGA(The Cancer Genome Atlas)数据集的分析表明,该方法能够识别出具有重要生物学意义的标记,并具有令人满意的预测性和稳定性。
2022-11-28 q-bio.GN stat.AP stat.ME
Sparse higher order partial least squares for simultaneous variable selection, dimension reduction, and tensor denoising
针对高维张量场景下高阶偏最小二乘估计一致性无法保证的问题,提出可同步实现变量选择、降维与张量去噪的SHOPS回归方法,补全相关理论性质并通过实验与生物数据应用验证有效性。
2024-10-10 stat.AP stat.ME
Sparse partial least squares for on-line variable selection in multivariate data streams
在本文中,我们提出了一个计算效率高的算法在线变量选择的多元回归问题,涉及高维数据流。该算法递归地提取偏最小二乘解的所有潜在因素,并为每个因素选择最重要的变量。这是通过只有一个稀疏奇异值分解,可以有效地更新在线和自适应的方式。基于人工数据流的仿真结果表明,该算法是能够选择重要的变量在动态设置中的相关结构之间的观察流是由一些隐藏的组件和每个变量的重要性随时间变化。我们还报告了我们的算法的应用程序的多变量版本的“增强型指数跟踪”的问题,使用金融数据流。该应用程序包括执行在线资产配置,目标是同时超越两个基准指数。
2009-02-08 stat.ME stat.ML
Recovery of Sparse Signals Using Multiple Orthogonal Least Squares
Rutgers, The State University of New Jersey(罗格斯,新泽西州立大学)
我们研究了从压缩的线性测量中恢复稀疏信号的问题。这个问题,通常被称为稀疏恢复或稀疏重建,近年来产生了很大的兴趣。为了恢复稀疏信号,我们提出了一种新的方法,称为多个正交最小二乘(MOLS),它扩展了著名的正交最小二乘(OLS)算法,允许多个$L$指数选择每次迭代。由于在每次选择中包含多个支持度指标,MOLS算法在更少的迭代次数内收敛,并提高了传统OLS算法的计算效率。理论分析表明,如果测量矩阵满足等距常数为$δ_{LK} < \frac{\sqrt{L}}{\sqrt{K} + 2 \sqrt{L}}.$的限制等距性质(RIP),则MOLS($L > 1$)在$K$迭代内可以精确恢复所有$K$稀疏信号。结果表明,当信噪比与输入信号的稀疏程度成线性关系时,MOLS算法可以实现稀疏信号的稳定恢复。
2015-12-31 cs.IT cs.LG math.IT
Convergence of uncertainty estimates in Ensemble and Bayesian sparse model discovery
University of Washington(华盛顿大学);Imperial College(帝国理工学院)
本文理论分析基于bootstrap的序贯阈值最小二乘集成稀疏模型发现,证明其变量选择错误率指数收敛,并能高效实现趋近真实值的不确定性量化。
2023-04-26 cs.LG math.DS stat.ME
Square-Root Lasso: Pivotal Recovery of Sparse Signals via Conic Programming
本文提出了一种估计高维稀疏线性回归模型的关键方法,其中回归变量总数$p$很大,可能比$n$大得多,但只有$s$回归变量是显著的.该方法是套索的一种改进,称为平方根套索。该方法是关键的,因为它既不依赖于标准差$σ$的知识,也不需要预先估计$σ$。此外,该方法不依赖于噪声的正态性或亚高斯性。它实现了接近预言机的性能,在预测范数中达到收敛速度$σ\{(s/n)\log p\}^{1/2}$,从而使套索的性能与已知的$σ$相匹配。这些性能结果是有效的高斯和非高斯误差,在一些温和的时刻限制。我们制定的平方根套索作为一个凸锥规划问题的解决方案,这使我们能够实现使用有效的算法方法,如邻域点和一阶方法的估计。
2011-12-18 math.ST stat.ME stat.TH
A unified approach to model selection and sparse recovery using regularized least squares
模型选择和稀疏恢复是正则化方法研究的两个重要问题。我们研究的正则化方法的性质在这两个问题的统一框架下的正则化最小二乘凹罚。对于模型选择,我们建立条件下,正则化最小二乘估计享有非渐近性质,称为弱预言性质,其中的维数可以指数增长的样本量。对于稀疏恢复,我们提出了一个充分条件,确保稀疏解的可恢复性。特别是,我们通过考虑一个家庭的处罚,使一个光滑的同伦之间的$L_0$和$L_1$处罚的方法来解决这两个问题。我们还提出了用于稀疏恢复的顺序迭代重新加权平方(SIRS)算法。数值研究支持我们的理论结果,并证明了我们的模型选择和稀疏恢复的新方法的优势。
2009-09-03 math.ST stat.TH
A Fast Coordinate Descent Method for High-Dimensional Non-Negative Least Squares using a Unified Sparse Regression Framework
本文构建统一稀疏回归理论,证明多面体约束最小二乘在高维下存在局部唯一稀疏解,并据此提出高维 NNLS 坐标下降求解器,较现有最优方法加速至少 5 倍。
2024-10-28 math.ST stat.CO stat.TH
Sparse recovery via Orthogonal Least-Squares under presence of Noise
我们考虑的正交最小二乘(OLS)算法的恢复$m$维$k$稀疏信号从少量的噪声线性测量。在信号非零元素满足一定条件的情况下,建立了有界噪声环境下OLS的精确恢复条件。新的结果也改善了现有的保证正交匹配追踪(OMP)算法。此外,该框架还可以为系数矩阵是根据高斯分布或伯努利分布随机抽取的情况提供概率保证,其中我们利用了一些集中性质。结果表明,在一定条件下,OLS在$k$迭代中以很高的概率恢复真实支持度。这又证明了${\cal O}\left(k\log m\right)$测量足以通过OLS精确恢复稀疏信号。
2016-08-08 cs.IT math.IT stat.ML
Smoothed Low Rank and Sparse Matrix Recovery by Iteratively Reweighted Least Squares Minimization
National University of Singapore(新加坡国立大学);Peking University(北京大学)
这项工作提出了一个通用的框架,用于解决低秩和/或稀疏矩阵最小化问题,这可能涉及多个非光滑项。迭代加权最小二乘法(IRLS)是一种快速求解器,它通过交替更新变量及其权重来平滑目标函数并使其最小化。然而,传统的IRLS只能解决稀疏或低秩的平方损失或仿射约束的最小化问题。这项工作推广IRLS解决联合/混合低秩和稀疏最小化问题,这是许多任务的基本配方。作为一个具体的例子,我们用IRLS求解了$p$范数和$\ell_{2,q}$ -范数正则化的低秩表示(LRR)问题,并从理论上证明了所导出的解是一个稳定点(如果$p,q\geq1$是全局最优的).我们的IRLS的收敛性证明比以前的证明更一般,它依赖于$p$范数和$\ell_{2,q}$ -范数的特殊性质.在合成数据集和真实数据集上的大量实验表明,我们的IRLS更有效。
2014-12-06 cs.CV cs.LG stat.ML
A dual semismooth Newton based augmented Lagrangian method for large-scale linearly constrained sparse group square-root Lasso problems
Southwest Jiaotong University(西南交通大学);Zhejiang University City College(浙江大学城市学院)
平方根Lasso问题被证明是鲁棒回归问题。此外,具有结构稀疏性的平方根回归问题在统计和机器学习中也起着重要的作用。本文主要研究大规模线性约束稀疏群平方根Lasso问题的数值计算。为了克服目标函数中存在两个非光滑项的困难,提出了一种基于对偶半光滑牛顿(SSN)的增广拉格朗日方法(ALM),即把ALM应用于子问题由SSN方法求解的对偶问题。应用SSN方法时,广义雅可比矩阵的正定性是非常重要的。因此,我们刻画了它的正定性与相应原问题的约束非退化条件的等价性。在数值实现中,我们充分利用了二阶稀疏性,从而可以有效地获得牛顿方向。数值实验证明了该算法的有效性。
2021-11-27 cs.LG cs.NA math.NA
Fast spectral algorithms from sum-of-squares proofs: tensor decomposition and planted sparse vectors
Cornell University(康奈尔大学);UC Berkeley(加州大学伯克利分校)
我们考虑了机器学习应用中出现的两个问题:在随机线性子空间中恢复种植稀疏向量的问题和分解随机低秩过完备3-张量的问题。对于这两个问题,最著名的保证是基于平方和方法。我们开发新的算法的启发分析的平方和方法。我们的算法实现了相同或类似的保证,这些问题的平方和,但运行时间显着更快。对于种植稀疏向量问题,我们给出了一个算法的运行时间近似线性的输入大小,近似恢复种植稀疏向量的一个随机子空间的$\mathbb R^n$的维数高达$\tilde Ω(\sqrt n)$的相对稀疏度为常数。这些恢复保证与Barak,Kelner和Steurer(STOC 2014)最知名的恢复保证匹配,最高可达对数因子。对于张量分解,我们给出了一个算法的运行时间接近线性的输入大小(与指数$\approx 1.086$),近似恢复一个组件的随机3张量在$\mathbb R^n$的秩高达$\tilde Ω(n^{4/3})$。由于Ge和Ma(RANDOM 2015),此问题的最佳先前算法可达到$\tilde Ω(n^{3/2})$的秩,但需要准多项式时间。
2016-02-03 cs.CC cs.DS cs.LG
A Proximal-Gradient Homotopy Method for the Sparse Least-Squares Problem
我们考虑解决$\ell_1$ -正则化最小二乘($\ell_1$ -LS)问题的背景下,稀疏恢复,如压缩感知的应用。标准的邻近梯度法,也称为迭代软阈值时,应用于这个问题,具有较低的计算成本,每次迭代,但相当慢的收敛速度。然而,当解是稀疏的时,它常常在最后阶段表现出快速的线性收敛。我们利用局部线性收敛使用同伦连续策略,即,我们针对正则化参数的递减值的序列来求解$\ell_1$ -LS问题,并且在每个阶段结束时使用近似解来热启动下一阶段。虽然类似的策略已经在文献中进行了研究,但还没有从理论上分析它们的全局迭代复杂性。本文表明,在适当的假设稀疏恢复,建议同伦策略,确保所有迭代同伦解决方案的路径是稀疏的。因此,目标函数沿着解路径是有效的强凸的,并且可以建立每个阶段的几何收敛。因此,我们的方法的总迭代复杂度是$O(\log(1/ε))$,用于找到$ε$ -最优解,这可以被解释为全局几何收敛速率。我们还提出了实证结果来支持我们的理论分析。
2012-03-14 cs.IT math.IT math.OC
Sum-of-Squares Lower Bounds for Sparse PCA
Princeton University(普林斯顿大学);Institute for Advanced Study(高等研究院)
本文建立了一个统计与计算的权衡解决一个基本的高维机器学习问题,通过一个基本的凸松弛方法。具体来说,我们考虑{ \em稀疏主成分分析}(稀疏PCA)的问题,和家庭的{ \em平方和}(SoS,又名Lasserre/Parillo)凸松弛。众所周知,在大维度$p$中,可以仅使用$n \approx k\log p$(高斯或伯努利)样本来{ \em原则上}检测种植的$k$ -稀疏单位向量,但是已知的所有{ \em有效}(多项式时间)算法需要$n \approx k^2$样本。还已知的是,该二次间隙不能通过最基本的{ \em半定}(SDP,aka谱)松弛来改进,其等效于2度SoS算法。在这里,我们证明,度-4 SoS算法也不能改善这种二次差距。这个平均情况下的下限增加了这个强大的凸松弛算法家族的机器学习中的小的困难结果集合。此外,我们的设计的时刻(或“伪期望”),这个下限是相当不同的,比以前的下限。建立更高程度的SoS算法的下界仍然是一个具有挑战性的问题。
2015-10-18 cs.CC cs.LG math.ST
Nonlinear Sparse Generalized Canonical Correlation Analysis for Multi-view High-dimensional Data
New York University(纽约大学);University of California, San Francisco(加州大学旧金山分校);East China Normal University(华东师范大学);University of Michigan(密歇根大学)
针对多视图高维数据,提出三种非线性稀疏广义CCA方法(HSIC-SGCCA、SA-KGCCA、TS-KGCCA),其中HSIC-SGCCA通过块近线性与线性化ADMM求解非凸问题,并在模拟和TCGA-BRCA数据上优于现有方法。
2025-02-26 cs.LG stat.ML
Non-negative least squares for high-dimensional linear models: consistency and sparse recovery without regularization
最小二乘拟合通常不适用于高维线性模型,其中预测变量的数量与样本的样本个数具有相同或甚至更大的数量级。近年来发展起来的理论创造了一种范式,根据这种范式,稀疏促进正则化被认为是在这种情况下的必要性。偏离这种模式,我们表明,非负约束的回归系数可能是同样有效的显式正则化,如果设计矩阵有额外的属性,这是满足在几个应用程序的非负最小二乘(NNLS)。我们表明,对于这些设计,NNLS的预测和估计方面的性能是可比的套索。我们认为,在特定情况下,NNLS可能有一个更好的$\ell_{\infty}$率估计,因此也支持恢复时,结合阈值的优势。从实际的角度来看,NNLS不依赖于正则化参数,因此更容易使用。
2014-02-12 math.ST stat.ML stat.TH
Matrix-wise $\ell_0$-constrained Sparse Nonnegative Least Squares
University of Mons(蒙斯大学)
多右端非负最小二乘问题(MNNLS)出现在依赖于加法线性组合的模型中。特别是,它们是大多数非负矩阵分解算法的核心,并有许多应用。已知非负性约束自然有利于稀疏性,即具有很少非零项的解。然而,进一步增强这种稀疏性通常是有用的,因为它提高了结果的可解释性,并有助于减少噪声,从而导致稀疏MNNLS问题。在本文中,相对于大多数以前的作品,执行稀疏列或行明智的,我们首先介绍了一种新的制定稀疏MNNLS,矩阵明智的稀疏约束。然后,我们提出了一个两步算法来解决这个问题。第一步将稀疏MNNLS划分为子问题,原始问题的每列一个。然后,它使用不同的算法来产生,精确或近似,帕累托前每个子问题,也就是说,产生一组代表重建误差和稀疏性之间的不同权衡的解决方案。第二步在这些Pareto前沿中选择解决方案,以构建使重构误差最小化的稀疏约束矩阵。我们在面部和高光谱图像上进行了实验,结果表明,我们提出的两步方法比列式和全局应用的最先进的稀疏编码算法提供了更准确的结果。
2022-06-22 cs.LG stat.ML
Dual-sPLS: a family of Dual Sparse Partial Least Squares regressions for feature selection and prediction with tunable sparsity; evaluation on simulated and near-infrared (NIR) data
Université Saint-Joseph(圣约瑟夫大学);Université Claude Bernard Lyon 1(里昂第一大学);IFP Energies nouvelles(法国石油与新能源研究院)
本文提出 Dual-sPLS 稀疏偏最小二乘回归族,通过对偶范数惩罚和收缩比率参数实现可调稀疏性,在模拟与真实 NIR 化学数据上取得良好预测与解释效果。
2023-01-17 cs.LG math.OC stat.ML
Compressed Sensing for Sparse Underwater Channel Estimation: Some Practical Considerations
我们研究使用结构化的阈值算法稀疏水下信道估计,利用压缩感知。该方法对稀疏信道估计的标准算法如匹配追踪、迭代检测和最小二乘等进行了改进。
2010-02-13 cs.IT math.IT stat.AP
Online Hyperparameter-Free Sparse Estimation Method
在本文中,我们推导出一个在线估计稀疏参数向量,不像LASSO方法,不需要调整任何超参数。该算法是基于协方差匹配的方法,相当于一个加权版本的平方根LASSO。该估计器的计算复杂性与在线版本的正则化最小二乘(RLS)和LASSO具有相同的数量级。我们提供了一个可行的和不可行的实施LASSO和RLS的数值比较,以说明所提出的在线超参数估计的优势。
2015-05-06 math.ST stat.TH
Support recovery and sup-norm convergence rates for sparse pivotal estimation
Université Paris-Saclay(巴黎萨克雷大学);IMAG(IMAG研究所);Inria(法国国家信息与自动化研究所);CEA(法国原子能和替代能源委员会);Univ. Montpellier(蒙彼利埃大学);CNRS(法国国家科学研究中心)
在高维稀疏回归中,关键估计量是最优正则化参数与噪声水平无关的估计量。典型的关键估计量是平方根Lasso,与其衍生物一起制定为“非光滑+非光滑”优化问题。解决这些问题的现代技术包括平滑计算项,以受益于快速有效的近似算法。在这项工作中,我们证明了非平滑和平滑,单任务和多任务平方根拉索型估计的极大极小超范数收敛速度。由于我们的理论分析,我们提供了一些关于如何设置平滑超参数的指导方针,并在合成数据上说明了这些指导方针的意义。
2020-09-03 cs.LG math.OC stat.ML
Least Square Estimation: SDEs Perturbed by Lévy Noise with Sparse Sample Paths
Krea University(克雷亚大学);IIT Kanpur(坎普尔印度理工学院);Indian Institute of Technology Bhubaneswar(布巴内斯瓦尔印度理工学院)
本文提出了一种针对受莱维噪声扰动的随机微分方程中稀疏样本路径的最小二乘估计方法,并分析了其渐近收敛速率。
2025-12-30 stat.ME
Partial least squares for sparsely observed curves with measurement errors
函数偏最小二乘(FPLS)通常用于拟合标量函数回归模型。为了准确起见,FPLS要求在整个时间跨度上尽可能密集地记录功能预测器的每个实现;然而,有时会违反这个条件,例如,纵向研究和缺失数据研究。针对这一点,我们适应FPLS的情况下,每个主题的测量数量是小的,有界的从上面。由此产生的提案简称为PLEASS。在一定的正则条件下,我们建立了估计的相合性,并给出了标量响应的置信区间。仿真研究和实际数据的应用说明了竞争的精度PLEASS
2020-07-13 stat.ME
Regularized Least-Mean-Square Algorithms
我们考虑自适应系统辨识问题的凸约束,并提出了一个家庭的正规化最小均方(LMS)算法。我们表明,与适当选择的正则化参数的正则化LMS证明优于其传统的对应方的均方偏差。我们建立了简单的和封闭形式的表达式来选择这个正则化参数。为了识别一个未知的稀疏系统,我们提出了稀疏和组稀疏LMS算法,这是正则化LMS家族的特殊例子。仿真结果表明,该滤波器的收敛速度和稳态误差的稀疏性假设下的真实系数向量的优势。
2010-12-23 stat.ME stat.ML
Fast algorithm for sparse least trimmed squares via trimmed-regularized reformulation
针对最小截尾平方(LTS)计算成本高、加入ℓ₁范数稀疏惩罚的FAST-LTS速度慢的问题,提出基于近端梯度法与重构技术的低成本稀疏LTS算法,其收敛性更优,实验验证可高效得到较小目标值。
2024-10-06 math.OC stat.CO stat.ME
Graph-based Square-Root Estimation for Sparse Linear Regression
针对稀疏线性回归中高维数据处理、噪声多样及标准差估计难的问题,提出基于图的平方根估计模型,兼具理论保障与计算效率,在多类噪声数据下的估计、预测及模型选择性能更优。
2025-08-01 stat.CO stat.ME
A Method for Finding Structured Sparse Solutions to Non-negative Least Squares Problems with Applications
在许多领域,如高光谱成像和差分光学吸收光谱(DOAS)的分层问题,往往需要找到稀疏的非负线性组合的字典元素,匹配观察到的数据。我们展示了这些问题的各个方面,如DOAS参考和高光谱端元的不确定性,可以通过扩展字典与分组元素和实施结构化稀疏性假设,每组内的组合应该是稀疏的,甚至1-稀疏。如果字典是高度一致的,它是难以获得良好的解决方案,使用凸或贪婪的方法,如非负最小二乘(NNLS)或正交匹配追踪。我们使用与Hoyer测度相关的惩罚,Hoyer测度是$l_1$和$l_2$范数的比率,作为要添加到NNLS型模型中的目标的稀疏性惩罚。为了解决由此产生的非凸模型,我们提出了一个缩放梯度投影算法,需要解决一系列的强凸二次规划。讨论了它与凸分裂方法和凸规划差分的密切联系。我们还提出了有前途的数值结果,例如DOAS分析和高光谱解混问题。
2013-01-03 stat.AP stat.CO stat.ME
A joint optimization approach to identifying sparse dynamics using least squares kernel collocation
Department of Applied Mathematics, University of Washington(应用数学系,华盛顿大学)
本文提出了一种联合优化方法,通过结合稀疏恢复与RKHS理论,实现从稀少噪声观测中高效学习稀疏动力学方程。
2026-02-20 cs.LG math.DS stat.ME
spca: An R package to Compute Least Squares Sparse Principal Components
介绍R包spca,实现最小二乘稀疏主成分分析(LS-SPCA),生成不相关或轻度相关的稀疏主成分,有效最大化解释方差,并提供高效计算和灵活的用户接口。
2026-06-27 stat.CO stat.ME stat.ML
Sparse Partial Least Squares for Coarse Noisy Graph Alignment
University of Florida(佛罗里达大学);Rice University(莱斯大学)
图形信号处理(GSP)提供了一个强大的框架,分析信号出现在各种领域。在普惠制的许多应用中,有多种网络结构,每一种结构都能反映同一基本现象的不同方面。为了整合这些不同的数据源,图对齐技术试图找到两个图的顶点之间的最佳对应关系。我们考虑这个问题的一个推广,没有自然的一对一的顶点之间的映射,但每个图的社区结构之间的对应关系。因为我们寻求在这个更高的社区级别上学习结构,所以我们将这个问题称为“粗”图对齐。为此,我们提出了一种新的正则化偏最小二乘方法,它既结合了观察到的图结构,并施加稀疏性,以反映底层块社区结构。我们为我们的方法提供了有效的算法,并在模拟中证明了其有效性。
2021-04-06 cs.LG cs.SI eess.SP