Dependent relevance determination for smooth and structured sparse regression
在许多问题设置中,参数向量不仅是稀疏的,而且以非零系数倾向于聚集在一起的方式依赖。我们将这种依赖形式称为“区域稀疏性”。经典的稀疏回归方法,如套索和自动相关性确定(ARD),它们将参数建模为先验独立的,因此不利用这种依赖关系。在这里,我们介绍了一个分层模型的光滑,区域稀疏的权重向量和张量在线性回归设置。我们的方法代表了一个层次的相关性确定框架的扩展,在那里我们添加了一个转换后的高斯过程模型回归权重的先验方差之间的依赖关系。我们将其与傅立叶系数的先验方差的结构化模型相结合,从而消除了不必要的高频。由此产生的先验知识鼓励权重同时在两个不同的基中是区域稀疏的。我们发展了拉普拉斯近似和蒙特卡罗马尔可夫链(MCMC)采样,以提供有效的推断后验。此外,一个两阶段的凸松弛的拉普拉斯近似的方法也提供放松不可避免的非凸优化过程中。最后,我们显示了实质性的改进,从大脑成像的模拟和真实数据集的可比方法。
2019-01-24 stat.ML
Tractable downfall of basis pursuit in structured sparse optimization
Technion – Israel Institute of Technology(以色列理工学院)
研究结构矩阵中基追踪失效的条件,提供稀疏解的确定性保证,并通过最优控制问题验证结果,连接压缩感知与几何建模。
2026-03-14 math.OC stat.ML
Information criteria for structured parameter selection in high dimensional tree and graph models
Université libre de Bruxelles(布鲁塞尔自由大学)
本文针对高维模型中参数选择易产生假阳性过估计的问题,提出在假阳性和假阴性间取得平衡的改进信息准则,为无收缩估计量开发了适用于树和图模型结构化选择的校正Mallows's Cp准则。
2023-06-24 cs.LG math.ST stat.TH
Information Projection and Approximate Inference for Structured Sparse Variables
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Stanford University(斯坦福大学)
通过信息投影的近似推理最近被引入作为一种通用的方法,用于有效的概率推理给定稀疏变量。这份手稿超越了经典的稀疏性,提出了有效的算法,通过信息投影的近似推理,适用于任何结构的变量集,承认枚举使用\emph{matroid}。我们表明,由此产生的信息投影可以减少到组合子模优化拟阵约束。此外,利用最新的子模块优化的进展,我们提供了一个有效的贪婪算法,具有强大的优化理论的保证。可以用这种方式表达的概率模型的类别是相当广泛的,正如我们所展示的,包括组稀疏回归,组稀疏主成分分析和稀疏典型相关分析等。此外,模拟数据和高维神经成像数据的实证结果突出了信息投影方法的优越性能相比,建立的基线的概率模型的范围。
2016-07-12 cs.LG stat.ML
Structured, sparse regression with application to HIV drug resistance
本文介绍了一种新的正向逐步回归方法。我们的修改发现解决方案的回归问题,所选择的预测出现在一个结构化的模式,相对于一个预定义的距离测量的候选预测。我们的方法的动机是预测HIV-1耐药性的蛋白质序列的问题。我们发现,我们的方法提高了耐药性的可解释性,同时产生与标准方法相当的预测准确性。我们还证明了我们的方法在模拟研究,并提出了一些理论结果和连接。
2011-08-01 stat.AP stat.ME
Smoothing Proximal Gradient Method for General Structured Sparse Learning
School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机科学学院);Tepper School of Business, Carnegie Mellon University(卡内基梅隆大学泰珀商学院)
我们研究的问题,学习高维回归模型正则化的结构稀疏诱导惩罚编码的输入或输出侧的先验结构信息。我们考虑两种广泛采用的惩罚类型作为我们的激励示例:1)基于l1/l2混合范数惩罚的重叠组套索惩罚,以及2)图引导融合惩罚。对于这两种类型的惩罚,由于其不可分离性,开发一个有效的优化方法仍然是一个具有挑战性的问题。在本文中,我们提出了一个通用的优化方法,称为平滑邻近梯度方法,它可以解决结构稀疏回归问题的光滑凸损失和广泛的结构稀疏诱导惩罚。我们的方法是基于Nesterov的一般平滑技术。它实现了比标准的一阶方法,次梯度方法更快的收敛速度,并且比最广泛使用的邻域点方法更具可扩展性。数值结果表明,所提出的方法的效率和可扩展性。
2012-02-14 cs.LG stat.ML
Lasso, fractional norm and structured sparse estimation using a Hadamard product parametrization
使用乘法重新参数化,我证明了具有$q\leq 1$的$L_q$惩罚的子集可以表示为$L_2$惩罚的总和。由此可见,可以使用非常简单和直观的交替岭回归算法来获得套索和其他范数惩罚回归估计。与同样直观的期望最大化算法相比,该算法避免了一些数值不稳定性问题,并且在速度方面也具有竞争力。此外,所提出的算法可以扩展到适应稀疏的高维场景,广义线性模型,并可用于创建结构稀疏通过来自参数的协方差模型的惩罚。这种基于模型的惩罚对于空间或时间结构化参数的稀疏估计可能是有用的。
2017-05-19 stat.CO
Adaptive Compressed Sensing for Support Recovery of Structured Sparse Sets
本文研究了通过自适应压缩感知恢复结构化信号支持度的问题。我们研究了几类结构化的支持集,并通过压缩测量准确地恢复这些集的基本限制,同时提供自适应支持恢复协议,这些类的性能接近最佳。我们表明,通过自适应设计的传感矩阵,我们可以获得显着的性能增益超过非自适应协议。这些增益源于自适应感测可以:(i)更好地减轻噪声的影响,以及(ii)更好地利用支持集的结构。
2016-09-02 math.ST stat.TH
Structured Sparse Regression via Greedy Hard-Thresholding
Microsoft Research(微软研究院);Technicolor R & I(汤姆逊研发中心);University of Texas at Austin(德克萨斯大学奥斯汀分校)
一些学习应用程序需要解决高维回归问题,其中相关特征属于少量(重叠)组。对于非常大的数据集和标准稀疏性约束下,硬阈值方法已被证明是非常有效的,但这种方法需要NP硬投影时,处理重叠的群体。在本文中,我们表明,这种NP难预测不仅可以避免呼吁子模块优化,但这样的方法来与强有力的理论保证,即使在存在条件不佳的数据(即当两个功能有相关性$\geq 0.99$),现有的分析无法处理。这些方法表现出一个有趣的计算精度的权衡,并可以扩展到显着困难的问题,如稀疏重叠组。真实和合成数据上的实验验证了我们的主张,并表明所提出的方法比其他贪婪和凸松弛技术学习组结构稀疏的速度快几个数量级。
2016-05-27 cs.LG stat.ML
Structured Sparse Principal Components Analysis with the TV-Elastic Net penalty
主成分分析(PCA)是一种广泛用于数据分析的探索性工具,用于揭示群体内的主要变异模式。尽管它能够在低维空间中表示数据集,但PCA的可解释性仍然有限。然而,在神经影像学中,发现临床上可解释的表型标记物是至关重要的,这些标记物可以解释人群脑图像的主要变异性。最近,已经提出了标准PCA方法的一些替代方案,例如稀疏PCA,其目的是限制组件的密度。然而,稀疏性本身并不能完全解决可解释性问题,因为它可能产生分散和不稳定的成分。我们假设,有关数据结构的先验信息的结合可能会导致改善大脑模式的相关性和可解释性。因此,我们提出了一个简单的扩展流行的PCA框架,增加了结构化的稀疏性惩罚的加载向量,以确定在大脑图像中占大多数的变异性的几个稳定的区域。这种结构化稀疏性可以通过组合l1和总变差(TV)惩罚来获得,其中TV正则化对关于数据结构的高阶信息进行编码。本文提出了结构化稀疏PCA(表示为SPCA-TV)优化框架及其解决方案。我们证明了效率和多功能性的SPCA-TV三个不同的数据集。SPCA-TV相对于非结构化方法的收益是显著的,因为SPCA-TV以易于解释的可理解的大脑模式的形式揭示了数据集内的可变性,并且在不同的样本中更稳定。
2016-09-14 stat.ML
Sparse Variable Selection on High Dimensional Heterogeneous Data with Tree Structured Responses
针对高维异质数据中混杂因素导致Lasso假发现多的问题,提出树引导稀疏线性混合模型,利用响应间依赖关系进行变量选择,实验证明其ROC面积优于现有方法。
2024-04-19 stat.ME
Do algorithms and barriers for sparse principal component analysis extend to other structured settings?
National University of Singapore(新加坡国立大学);Georgia Institute of Technology(佐治亚理工学院)
在 spiked Wishart 模型下研究 union-of-subspace 结构的主成分分析,建立依赖几何特性的基本极限,证明 projected power method 的局部收敛性,并通过对 path 和 tree sparsity 的分析展示计算难度证据。
2023-12-31 cs.LG stat.ML
Smoothing proximal gradient method for general structured sparse regression
Carnegie Mellon University(卡内基梅隆大学)
我们研究的问题估计高维回归模型正则化的结构化稀疏诱导惩罚编码的输入或输出变量的先验结构信息。我们考虑两种广泛采用的这类惩罚作为激励的例子:(1)一般的群套索惩罚,从群套索惩罚推广;(2)图引导的融合套索惩罚,从融合套索惩罚推广。对于这两种类型的惩罚,由于其不可分离性和非光滑性,开发一个有效的优化方法仍然是一个具有挑战性的问题。在本文中,我们提出了一种通用的优化方法,平滑邻近梯度(SPG)方法,它可以解决结构稀疏回归问题的任何光滑凸损失下的结构稀疏诱导罚款的广泛频谱。我们的方法结合了一个有效的近端梯度方法的平滑技术。它的收敛速度明显快于标准的一阶方法,次梯度方法,并且比最广泛使用的邻域点方法更具可扩展性。我们的方法的效率和可扩展性的模拟实验和真实的遗传数据集上证明。
2012-06-29 cs.LG math.OC stat.AP
Low-Rank and Structured Sparse Tensor Decomposition for Anomaly Detection in Multivariate Functional Data
Georgia Institute of Technology(佐治亚理工学院)
针对多元函数数据异常检测,提出ES-CP和FG-Lasso两种无监督稀疏张量分解方法,通过低秩CP分解和结构化稀疏惩罚,在模拟与锻造案例中显著提升检测与定位性能。
2026-10-07 cs.LG stat.AP stat.CO
Sparse matrix linear models for structured high-throughput data
最近的技术进步导致了高通量生物数据的快速生成,可用于解决广泛研究领域的新科学问题。这些数据可以被认为是一个大型矩阵,协变量注释了该矩阵的行和列。矩阵线性模型提供了一种方便的方法来建模这样的数据。在许多情况下,需要对这些模型进行稀疏估计。我们提出了快速,通用的方法来拟合稀疏矩阵线性模型结构化的高吞吐量数据。我们诱导模型稀疏使用L $_1$惩罚,并考虑的情况下,响应矩阵和协变量矩阵是大的。由于数据大小,如果将问题转换为相应的单变量回归场景,则用于估计这些惩罚回归模型的标准方法失败。通过利用我们的模型结构中的矩阵属性,我们开发了几种快速估计算法(坐标下降,FISTA和ADMM),并讨论了它们的权衡。我们评估我们的方法的性能模拟数据,E。coli化学遗传筛选数据和两个具有多变量响应的拟南芥遗传数据集。我们的算法已经在Julia编程语言中实现,可在https://github.com/senresearch/MatrixLMnet.jl上获得。
2021-02-26 stat.CO
Efficient Adaptive Compressive Sensing Using Sparse Hierarchical Learned Dictionaries
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
压缩感知(CS)中的最近突破性结果已经确立,许多高维对象可以从相对少量的非自适应线性投影观测中准确地恢复,只要对象在某种基础上具有稀疏表示。随后的努力表明,CS的性能可以通过利用非零信号系数的位置中的结构(结构化稀疏性)或在感测过程中使用某种形式的在线测量聚焦(自适应性)来改善。在本文中,我们研究了这两种技术的强大的混合体。首先,我们描述了一个简单的自适应传感过程,并表明它是一个可证明的有效方法,用于获取稀疏信号,表现出结构稀疏性特征的基于树的系数依赖关系。接下来,采用稀疏层次字典学习的技术,我们表明,表现出适当形式的结构化稀疏的表示可以从训练数据的集合中学习。这些技术的组合导致有效且高效的自适应压缩采集过程。
2011-11-29 cs.CV cs.IT math.IT
Structured Sparse Aggregation
我们介绍了一种方法,聚合许多最小二乘估计,使所得的估计有两个属性:稀疏性和结构。也就是说,在所得模型中仅使用少数候选协变量,并且所选协变量遵循假定为先验已知的候选协变量的某种结构。虽然稀疏性在许多环境中得到了很好的研究,包括聚合,但结构化稀疏方法仍在出现。我们展示了一个结构化稀疏聚合的一般框架,允许各种各样的结构,包括重叠的分组结构和一般的结构处罚定义为一组函数的协变量。我们证明了这样的估计满足结构稀疏预言不等式-它们的有限样本风险适应于目标的结构稀疏性。这些不等式表明,在适当的设置下,结构化稀疏估计执行至少以及,并可能远远优于,稀疏聚合估计。我们经验建立的有效性的方法,使用模拟和应用到艾滋病毒耐药性。
2011-11-18 stat.ME
Information criteria for sparse methods in causal inference
对于倾向得分分析和稀疏估计,我们提出了一个信息准则来确定变量选择所需的正则化参数。首先,对于基于高斯分布的因果推断模型,我们扩展了Stein的无偏风险估计理论,得到了一个几乎没有传统稀疏估计弱点的广义Cp准则,并在不考虑渐近性的情况下,导出了该准则的逆概率加权稀疏估计版本.接下来,对于一般的因果推断模型,不一定是高斯分布为基础的,我们扩展了渐近理论LASSO的倾向得分分析,实现双重强大的稀疏估计的意图。从渐近理论出发,给出了逆概率加权稀疏估计的AIC型信息准则,进而导出了双抗差稀疏估计的自身具有双抗差的准则。数值实验比较所提出的标准与现有的标准来自一个正式的论点,并验证所提出的标准是优越的,在几乎所有的情况下,差异是不可忽略的,在许多情况下,变量选择的结果显着不同。实际数据分析证实,这些标准的变量选择和估计之间的差异实际上是很大的。最后,推广到一般稀疏估计使用组LASSO,弹性网,和非凸正则化,以表明该准则是高度可扩展的。
2022-04-21 stat.ME
An efficient algorithm for structured sparse quantile regression
分位数回归结合促进结构化(或组)稀疏性的惩罚进行研究。在参数向量上使用混合$\ell_{1,\infty}$ -范数对传统的分位数回归问题施加结构稀疏性。一个算法推导出计算相应的最小化问题的分段线性解路径。最后给出了算法的Matlab实现,并对算法的应用进行了研究。
2013-02-25 stat.ME
A Method for Finding Structured Sparse Solutions to Non-negative Least Squares Problems with Applications
在许多领域,如高光谱成像和差分光学吸收光谱(DOAS)的分层问题,往往需要找到稀疏的非负线性组合的字典元素,匹配观察到的数据。我们展示了这些问题的各个方面,如DOAS参考和高光谱端元的不确定性,可以通过扩展字典与分组元素和实施结构化稀疏性假设,每组内的组合应该是稀疏的,甚至1-稀疏。如果字典是高度一致的,它是难以获得良好的解决方案,使用凸或贪婪的方法,如非负最小二乘(NNLS)或正交匹配追踪。我们使用与Hoyer测度相关的惩罚,Hoyer测度是$l_1$和$l_2$范数的比率,作为要添加到NNLS型模型中的目标的稀疏性惩罚。为了解决由此产生的非凸模型,我们提出了一个缩放梯度投影算法,需要解决一系列的强凸二次规划。讨论了它与凸分裂方法和凸规划差分的密切联系。我们还提出了有前途的数值结果,例如DOAS分析和高光谱解混问题。
2013-01-03 stat.AP stat.CO stat.ME
Low Rank and Structured Modeling of High-dimensional Vector Autoregressions
高维时间序列数据的网络建模是一个关键的学习任务,因为它在许多应用领域,包括宏观经济学,金融和神经科学的广泛使用。虽然在文献中已经深入研究了基于向量自回归模型(VAR)的稀疏建模问题,但涉及低秩和组稀疏分量的更复杂的网络结构却很少受到关注,尽管它们存在于数据中。不考虑低等级结构会导致观察到的时间序列之间的虚假连接,这可能导致从业人员对相关的科学或政策问题得出错误的结论。为了准确地估计网络的格兰杰因果关系的相互作用后,考虑到潜在的影响,我们介绍了一种新的方法来估计低秩和结构稀疏的高维VAR模型。我们引入了一个正则化的框架,涉及核范数和套索(或组套索)惩罚的组合。进一步,随后建立低秩和结构化稀疏分量的估计误差率的非渐近上界。我们还介绍了一种快速估计算法,并通过对合成数据和真实数据的数值实验,证明了所提出的建模框架在标准稀疏VAR估计上的性能。
2018-12-09 stat.ME
Sparse Linear Discriminant Analysis for Multi-view Structured Data
同时利用来自多个来源的数据(多视图数据)的优势的分类方法具有巨大的潜力,可以产生比两步方法更强大的发现:关联然后分类。我们提出了两种方法,稀疏综合判别分析(SIDA)和SIDA与网络信息(SIDANet),联合关联和分类研究。该方法考虑多视图数据之间的整体关联,以及在选择关联的鉴别向量时每个视图内的分离,并且最佳地将受试者分离到不同的类别中。SIDANet是第一个将先前的结构信息纳入联合关联和分类研究的方法之一。它使用图的归一化拉普拉斯算子来平滑预测变量的系数,从而鼓励选择连接且行为相似的预测变量。我们证明了我们的方法在一组合成和真实数据集上的有效性。我们的研究结果强调了联合关联和分类方法的好处,如果目标是关联多视图数据并进行分类。
2020-01-15 stat.ME