Missing values: sparse inverse covariance estimation and an extension to sparse regression
提出了一种估计高维多元正态模型中存在缺失数据的逆协方差阵的l1正则化似然方法。我们的方法是基于假设的数据是随机缺失(MAR),这也需要完全随机缺失的情况下。该方法的实现是非平凡的,因为观察到的负对数似然一般是一个复杂的非凸函数。我们提出了一个有效的期望最大化算法的优化与可证明的数值收敛性能。此外,我们扩展的方法来处理稀疏回归上下文中的缺失值。我们证明了这两种方法的模拟和真实数据。
2012-02-27 stat.ME
Incorporating prior information and borrowing information in high-dimensional sparse regression using the horseshoe and variational Bayes
我们介绍了一种稀疏的高维回归方法,可以将先验信息的回归参数,并可以借用一组类似的数据集的信息。先前的信息可以例如来自先前的研究或基因组数据库,以及跨一组基因或基因组网络借用的信息。该方法是基于使用马蹄铁先验的回归参数的先验建模,与依赖于外部信息的稀疏指数的先验。通过对超参数应用经验贝叶斯策略来集成多个数据集。为了提高计算效率,我们使用变分贝叶斯方法近似后验分布。该框架对于分析具有复杂依赖结构的大规模数据集是有用的。我们通过应用于基因调控网络的重建和eQTL定位来说明这一点。
2019-01-29 stat.ME
Are Latent Factor Regression and Sparse Regression Adequate?
Princeton University(普林斯顿大学)
我们提出了因子增广稀疏线性回归模型(FARM),它不仅包含了潜在因子回归和稀疏线性回归的特殊情况,而且将降维和稀疏回归联系在一起。我们分别在亚高斯噪声和重尾噪声(具有有界的(1+x)阶矩,对于所有x>0)的存在下,为我们的模型的估计提供了理论保证。此外,现有的监督学习的工作往往假设潜在的因素回归或稀疏线性回归是真正的基础模型,而没有证明其充分性。为了填补这一重要空白,我们还利用我们的模型作为替代模型来测试潜在因子回归和稀疏线性回归模型的充分性。为了实现这些目标,我们分别提出了因子调整去偏检验(FabTest)和两阶段方差分析类型检验。我们还进行了大规模的数值实验,包括合成和FRED宏观经济数据,以证实我们的方法的理论特性。数值结果表明,我们的模型对潜在的因素回归和稀疏线性回归模型的鲁棒性和有效性。
2022-03-02 cs.LG math.ST stat.ME
Robust and Sparse Regression in GLM by Stochastic Optimization
The Graduate University for Advanced Studies(高级研究大学院大学);The Institute of Statistical Mathematics(统计数学研究所);Nagoya University Graduate School of Medicine(名古屋大学医学研究科)
本文提出基于γ-散度的鲁棒稀疏广义线性模型,采用随机优化方法提高高维数据下的鲁棒性和稀疏性,通过随机化随机投影梯度下降法实现高效参数估计。
2018-02-09 stat.ME stat.ML
Robust and Sparse Regression via $γ$-divergence
在高维数据中,已经提出了许多稀疏回归方法。然而,它们可能对离群值不稳健。近年来,人们研究了利用密度幂权进行抗差参数估计,并讨论了相应的发散性。其中一个这样的分歧是$γ$ -分歧和鲁棒估计使用$γ$ -分歧是已知的具有很强的鲁棒性。本文研究了基于$γ$ -散度的稳健稀疏回归问题。我们扩展的$γ$ -发散回归问题,并表明,它具有很强的鲁棒性下,即使在严重污染的离群值是异质的。损失函数由稀疏正则化的$γ$ -散度的经验估计构造,参数估计被定义为损失函数的最小值。为了得到鲁棒的稀疏估计,我们提出了一种有效的更新算法,该算法具有单调递减的损失函数的性质。特别地,我们详细讨论了一个线性回归问题与$L_1$正则化。在数值实验和实际数据分析中,我们看到所提出的方法优于过去的鲁棒和稀疏的方法。
2016-08-29 stat.ME stat.ML
Sparse Quadratic Discriminant Analysis and Community Bayes
我们开发了一类规则,跨越范围之间的二次判别分析和朴素贝叶斯,通过稀疏的图形模型的路径。使用组套索惩罚来引入收缩,并鼓励在精度矩阵中形成类似的稀疏模式。它给出了稀疏估计的相互作用,并产生可解释的模型。受估计精度矩阵的连通分量结构的启发,我们提出了社区贝叶斯模型,该模型将特征划分为几个有条件的独立社区,并将分类问题拆分为单独的较小问题。社区贝叶斯思想是相当普遍的,可以应用于非高斯数据和基于似然的分类器。
2016-10-19 stat.CO stat.ML
A note relating ridge regression and OLS p-values to preconditioned sparse penalized regression
当设计矩阵具有标准正交列时,普通最小二乘(OLS)解的“软阈值”产生Lasso解[Tibshirani,1996]。如果使用Puffer预处理Lasso [Jia and Rohe,2012],则该结果从正交设计推广到满秩设计(定理1)。定理2改进了Puffer预处理器,使Lasso选择与去除具有最大p值的OLS解的元素相同的模型。使用广义的Puffer预处理器,定理3将岭回归与预处理的Lasso联系起来;该结果是针对高维设置,p > n。其中标准Lasso类似于向前选择[Efron等人,2004],定理1,2和3表明,预处理拉索更类似于向后淘汰。这些结果适用于l1以上的稀疏惩罚;对于广泛的稀疏和非凸技术(例如SCAD和MC+),结果适用于所有局部极小值。
2014-12-03 stat.ME stat.ML
Bayesian Variable Selection in Multivariate Nonlinear Regression with Graph Structures
高斯图模型(GGM)是使用精度矩阵进行依赖结构概率探索的成熟工具。我们开发了一种贝叶斯方法,将协变量信息在这个GGM设置在一个非线性看似无关的回归框架。我们提出了一个联合预测器和图选择模型,并开发了一个有效的折叠吉布斯采样算法来搜索联合模型空间。此外,我们研究了它的理论变量选择性质。我们证明了我们的方法对各种模拟数据,最后从TCPA项目的真实数据集。
2021-07-31 math.ST stat.ME stat.TH
Tree Search Network for Sparse Regression
School of Electrical Engineering, Korea Advanced Institute of Science and Technology(韩国科学技术院电气工程学院)
我们考虑经典的稀疏回归问题的恢复稀疏信号$x_0$给定的测量向量$y = Φx_0+w$。提出了一种基于深度神经网络的稀疏回归树搜索算法。TSN通过执行具有修剪的树搜索来提高为稀疏回归设计的深度神经网络的信号重构性能。在无噪声和有噪声的情况下都可以观察到,TSN恢复合成信号和真实信号的复杂度比传统的树搜索低,并且对于广泛用于稀疏回归的各种类型的感测矩阵$Φ$,TSN优于现有算法。
2019-04-01 cs.LG eess.SP stat.ML
Path Thresholding: Asymptotically Tuning-Free High-Dimensional Sparse Regression
在本文中,我们解决了高维稀疏回归的调整参数选择的挑战性问题。我们提出了一个简单的和计算效率高的方法,称为路径阈值(PaTh),将任何调整参数相关的稀疏回归算法到一个渐进的调谐免费稀疏回归算法。更具体地说,我们证明,随着问题的大小变得很大(在变量的数量和观测的数量),在适当的条件下,在不指定调整参数的情况下,PaTh执行精确的稀疏回归。在有限维设置中,我们证明了,PaTh可以减轻模型选择算法的计算负担,显着减少搜索空间的调整参数。
2014-02-23 cs.IT math.IT math.ST
Cox's proportional hazards model with a high-dimensional and sparse regression parameter
本文讨论了D. R. Cox在一个高维和稀疏设置的回归参数。为了估计回归参数,应用Dantzig选择器。证明了模型的Dantzig选择器的变量选择一致性。这一性质使我们能够降低参数的维数,并构造回归参数和累积基线风险函数的渐近正态估计。
2017-10-28 math.ST stat.TH
Joint estimation of sparse multivariate regression and conditional graphical models
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
多元回归模型是对经典的一元回归模型的自然推广,用于拟合多个响应.在本文中,我们提出了一个高维多元条件回归模型,用于构造多元回归系数矩阵的稀疏估计,该矩阵考虑了多个响应之间的依赖结构。所提出的方法分解成一系列的惩罚条件对数似然的协变量和其他响应的条件下的每个响应的多元回归问题。它允许同时估计稀疏回归系数矩阵和稀疏逆协方差阵。针对协变量的发散维度和响应数量建立了渐进选择一致性和正态性。所提出的方法的有效性也证明了在各种模拟的例子,以及应用程序的多形性胶质母细胞瘤癌症数据。
2013-06-19 cs.LG stat.ML
Smooth Sparse Coding via Marginal Regression for Learning Sparse Representations
Georgia Tech(佐治亚理工学院);Baidu Inc.(百度公司)
我们提出并分析了一种新的框架,学习稀疏表示,基于两种统计技术:核平滑和边际回归。所提出的方法提供了一个灵活的框架,将特征相似性或时间信息存在于数据集,通过非参数核平滑。我们提供了泛化界的字典学习使用平滑稀疏编码,并显示如何样本的复杂性取决于所使用的核函数的L1范数。此外,我们建议使用边际回归获得稀疏代码,这显着提高了速度,并允许一个扩展到大字典的大小很容易。我们证明了所提出的方法的优点,无论是在精度和速度方面,通过大量的实验,在几个真实的数据集。此外,我们还演示了如何使用所提出的方法来改善半监督稀疏编码。
2012-10-03 cs.LG stat.ML
Swapping Variables for High-Dimensional Sparse Regression with Correlated Measurements
我们考虑高维稀疏线性回归问题,使用少量的线性测量,被噪声污染的稀疏向量的准确估计。众所周知,当测量矩阵包含高度相关的列时,标准的计算上易处理的稀疏回归算法-如Lasso,正交匹配追踪(OMP)及其扩展-性能很差。为了解决这个缺点,我们开发了一个简单的贪婪算法,称为SWAP,迭代交换变量,直到收敛。SWAP在处理具有高相关性的度量矩阵时非常有效。事实上,我们证明了SWAP输出真正的支持,在稀疏向量的非零元素的位置,在一个相对温和的条件下的测量矩阵。此外,我们表明,SWAP可以用来提高任何稀疏回归算法的性能。我们经验证明SWAP的优势,通过比较它与几个国家的最先进的稀疏回归算法。
2014-02-22 cs.IT math.IT math.ST
High Dimensional Robust Sparse Regression
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们提供了一种新的-据我们所知,第一-高维稀疏回归算法的解释和/或响应变量的腐败的常数部分。我们的算法恢复真正的稀疏参数与次线性样本的复杂性,在存在一个恒定的分数的任意腐败。我们的主要贡献是一个强大的变种迭代硬持票。利用这一点,我们提供了精确的估计:当稀疏回归中的协方差矩阵是恒等的时,我们的误差保证接近信息理论最优。然后,我们处理未知结构协方差矩阵的鲁棒稀疏回归。我们提出了一种滤波算法,它包括一种新的随机离群值去除技术的强大的稀疏均值估计,可能是在其本身的权利感兴趣的:滤波算法是足够灵活的处理未知的协方差。此外,它是有序更有效的计算比椭球算法。使用次线性样本复杂度,我们的算法实现了最佳已知(和第一)的错误保证。我们证明了大规模稀疏回归问题的有效性与任意腐败。
2019-05-29 cs.LG math.ST stat.ML
Sparse Poisson Regression with Penalized Weighted Score Function
本文提出了一种新的惩罚方法来求解稀疏Poisson回归问题。与$\ell_1$惩罚对数似然估计不同,我们的新方法可以看作是惩罚加权评分函数方法。我们证明了在较弱的条件下,我们的估计量是$\ell_1$相容的,并且调节参数可以预先指定,这与平方根Lasso具有相同的良好性质.
2017-03-11 math.ST stat.TH
Outlier Robust and Sparse Estimation of Linear Regression Coefficients
针对协变量和噪声受对抗性离群污染且噪声重尾的线性回归,提出基于通用链集中不等式的抗离群稀疏估计方法,在更弱假设下获得更尖锐误差界。
2024-05-24 math.ST stat.ML stat.TH
Communication-efficient sparse regression: a one-shot approach
Stanford University(斯坦福大学);Dartmouth College(达特茅斯学院)
我们设计了一个一次性的方法,分布稀疏回归在高维设置。关键思想是平均“去偏”或“去偏”的套索估计。我们表明,只要数据集没有被分割到太多的机器上,这种方法就能以与套索相同的速度收敛。我们还将该方法推广到广义线性模型。
2015-08-11 cs.LG stat.ML
Robust and Sparse Estimation of Linear Regression Coefficients with Heavy-tailed Noises and Covariates
The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学)
研究了线性回归系数的抗差稀疏估计。本文所解决的情况是,协变量和噪声是从重尾分布中采样的,并且协变量和噪声被恶意离群值污染。我们的估计量可以有效地计算。此外,估计的误差界是接近最优的。
2022-10-09 cs.LG stat.ML
Sparse Volterra and Polynomial Regression Models: Recoverability and Estimation
University of Minnesota(明尼苏达大学)
Volterra和多项式回归模型在非线性系统辨识和推理任务中起着重要作用。从神经科学到全基因组关联分析等令人兴奋的应用都建立在这些模型的基础上,并具有简约性的额外要求。这一要求具有很高的解释价值,但不幸的是,不能满足最小二乘或核回归方法。为此,压缩采样(CS)的方法,已经成功的线性回归设置,可以提供一个可行的替代方案。CS稀疏Volterra和多项式模型的可行性是这项工作的核心主题。一个共同的稀疏回归任务,最初提出的两个模型。建立在(加权)拉索为基础的计划,一个自适应RLS型算法稀疏多项式回归。多项式模型的可辨识性受到维数的严重挑战。然而,根据CS原理,当这些模型稀疏时,它们可以通过少得多的测量来恢复。为了量化足够数量的测量给定水平的稀疏性,受限制的等距属性(RIP)进行了研究,在常见的多项式回归设置,概括已知的结果,其线性对应。新的(加权)自适应CS算法稀疏多项式建模的优点是通过合成以及真实数据测试基因型-表型分析验证。
2011-09-07 cs.IT cs.LG math.IT
Leave Pima Indians alone: binary regression as a benchmark for Bayesian computation
抽象的。每当引入执行贝叶斯计算的新方法时,通常的做法是在二进制回归模型和中等大小的数据集上展示这种方法。本文将讨论这种做法在多大程度上是合理的。它还回顾了贝叶斯计算的当前状态,使用二进制回归作为运行示例。这两个采样为基础的算法(重要性抽样,MCMC和SMC)和快速近似(拉普拉斯和EP)的覆盖。提供了大量的数值结果,其中一些可能会违背传统的智慧,某些算法的有效性。其他问题(变量选择)和其他模型的影响也进行了讨论。
2015-06-29 stat.CO stat.ME
Objective Bayesian hypothesis testing in binomial regression models with integral prior distributions
在这项工作中,我们应用积分先验的方法来处理贝叶斯模型选择在二项式回归模型与一般的链接功能。这些模型经常用于调查流行病学研究中的关联和风险,其中一个目标是展示暴露是否是发展某种疾病的风险因素;本文的目的是测试特定暴露因素的影响。我们制定了贝叶斯模型选择情况下的问题,并解决它使用客观贝叶斯因素。为了在二项回归模型的回归系数上构造参考先验分布,我们依赖于积分先验的方法,该方法几乎是自动的,因为它只需要指定估计参考先验,并且不依赖于这些先验中的调整参数或超参数。
2013-06-28 stat.CO stat.ME
Compressed Bayesian Tensor Regression
University of Toronto(多伦多大学)
针对张量回归中的高维问题,提出广义张量随机投影方法将高维协变量嵌入低维子空间,结合贝叶斯推理框架和低秩参数表示,实现高效预测与计算成本降低。
2026-06-11 stat.CO stat.ME
A generalized likelihood based Bayesian approach for scalable joint regression and covariance selection in high dimensions
研究了贝叶斯范式下高维多元回归模型中回归系数矩阵和误差精度矩阵(逆协方差矩阵)的联合稀疏性选择问题。所选择的稀疏模式对于帮助理解预测变量和响应变量之间的关系网络以及后者之间的条件关系至关重要。虽然贝叶斯方法具有通过后验包含概率和可信区间提供自然不确定性量化的优点,但当前贝叶斯方法要么限制于稀疏模式的特定子类和/或不可扩展到具有数百个响应和预测因子的设置。贝叶斯方法只关注于估计后验模式是可扩展的,但不从后验分布生成样本用于不确定性量化。使用基于双凸回归的广义似然和尖峰和平板先验,我们开发了一种称为联合回归网络的算法(JRNS),用于联合回归和协方差选择,该算法(a)可以适应一般稀疏模式,(b)提供不确定性量化的后验样本,(c)可扩展,比提供不确定性量化的最先进贝叶斯方法快几个数量级。我们证明了所提出的方法对合成数据的统计和计算效率,并通过对选定的癌症数据集的分析。我们还建立了高维后验一致性的开发算法之一。
2022-01-14 stat.CO stat.ME
Sparse Unit-Sum Regression
本文在回归权和为1的约束下,研究了线性回归的稀疏性。我们提出了一种结合$\ell_0$ -和$\ell_1$ -正则化的方法。我们通过调整Bertsimas等人(2016)最近为$\ell_0$进行的方法创新来计算其解决方案-标准线性回归中的正则化。在模拟实验中,我们比较我们的方法$\ell_0$ -正则化和$\ell_1$ -正则化,并发现它的预测性能和稀疏性方面表现良好。在指数跟踪的应用程序中,我们表明,我们的方法可以获得大大稀疏的投资组合相比,$\ell_1$ -正则化,同时保持类似的跟踪性能。
2019-07-10 stat.CO stat.ME
High-Dimensional Bayesian Regularised Regression with the BayesReg Package
贝叶斯惩罚回归技术,如贝叶斯套索和贝叶斯马蹄估计,最近在统计文献中受到了大量的关注。然而,在通用马尔可夫链蒙特卡罗平台(如STAN)之外,实现最先进的贝叶斯惩罚回归的软件相对较少。本文介绍了一个新的工具箱bayesreg,用于拟合具有连续收缩先验密度的贝叶斯惩罚回归模型。该工具箱的特点是具有高斯或重尾误差模型的贝叶斯线性回归和具有岭、套索、马蹄和马蹄$+$估计量的贝叶斯逻辑斯谛回归。该工具箱是免费的,开源的,可用于MATLAB和R数值平台。
2016-12-20 stat.CO
Differential Equation-Constrained Local Regression for Data with Sparse Design
本文提出一种利用一阶微分方程约束的局部常数回归方法,以改善稀疏数据区域的估计性能,并通过模拟和肿瘤数据验证其降低偏差与方差的效果。
2025-07-08 stat.CO stat.ME
Efficient Computation for Centered Linear Regression with Sparse Inputs
稀疏输入的回归是大规模模型的常见主题。针对稀疏输入优化底层线性代数允许更快地估计此类模型。与此同时,集中输入有利于改善模型的解释和收敛。然而,将数据居中自然会使稀疏数据变得密集,从而限制了优化的机会。我们提出了一种有效的策略,估计中心回归,同时利用稀疏结构的数据,提高计算性能和减少内存占用的估计。
2019-10-29 stat.CO
Efficient Bayesian reduced rank regression using Langevin Monte Carlo approach
研究了贝叶斯降秩回归问题。本文首次提出用朗之万蒙特卡罗方法来处理这一问题。一个频谱缩放的学生先验分布是用来利用底层的低秩结构的系数矩阵。我们表明,我们的算法是显着快于吉布斯采样器在高维设置。仿真结果表明,我们提出的贝叶斯降秩回归算法是可比的国家的最先进的方法,其中的秩是通过交叉验证选择。
2021-02-15 stat.CO
Bayesian Transfer Learning for High-Dimensional Linear Regression via Adaptive Shrinkage
University of California, Los Angeles(加州大学洛杉矶分校)
BLAST通过自适应收缩先验和贝叶斯源选择,提升高维线性回归的后验推断精度与不确定性量化。
2026-03-06 stat.AP stat.CO stat.ME
Mixed Beta Regression: A Bayesian Perspective
本文建立在最近的研究,重点是连续有界数据的回归建模,如在连续尺度上测量的比例。具体来说,它涉及来自贝叶斯方法的混合效应的beta回归模型。我们使用一个合适的参数化的贝塔法在其平均值和精度参数,并允许这两个参数通过回归结构,可能涉及固定和随机效应建模。规范的先验分布进行了讨论,通过吉布斯抽样的计算实现,并给出了说明性的例子。
2012-11-14 stat.CO
Robust and Sparse Multinomial Regression in High Dimensions
针对高维数据,提出了一种稳健稀疏的多项式回归估计。估计器的鲁棒性通过修剪观测值来实现,估计器的稀疏性通过弹性网惩罚来获得,弹性网惩罚是$L_1$和$L_2$惩罚的混合。从这个角度来看,建议的估计是一个扩展的enet-LTS估计\citep{Kurnaz18}的线性和逻辑斯谛回归的多项式回归设置。在介绍了一种算法的计算,进行了模拟研究,以显示性能相比,非稳健版本的多项式回归估计。一些真实数据的例子强调了这个强大的估计的有用性。
2022-05-24 math.ST stat.CO stat.ME
Flexible online multivariate regression with variational Bayes and the matrix-variate Dirichlet process
灵活的回归方法在某些应用中非常有用,其中兴趣集中在响应向量的整个分布随协变量变化的方式上。在这方面,最近开发的技术使用矩阵变量Dirichlet过程作为多元线性回归模型中系数的混合分布的先验。该方法是有吸引力的,特别是在多变量设置,方便的方式,它允许借款强度在不同的组件回归和其计算的简单性和易处理性。本文的目的是开发快速的在线变分贝叶斯方法来拟合这个模型,并研究它们如何执行相比,MCMC和批量变分方法在许多情况下。
2016-02-29 stat.CO
Tractable Bayesian Density Regression via Logit Stick-Breaking Priors
人们越来越关注响应变量的分布如何随一组预测变量而变化。贝叶斯非参数依赖混合模型提供了一种灵活的方法来解决这个问题。然而,几个公式需要计算要求高的算法后验推理。基于这个问题,我们研究了一类预测依赖的无限混合模型,它依赖于一个简单的表示的棒断裂先验通过顺序逻辑斯谛回归。该公式保持了与流行的预测依赖棒断裂先验相同的理想特性,并利用最近的Pólya-gamma数据增强来促进后验推理的几种计算方法的实现。这些例程包括马尔可夫链蒙特卡罗通过吉布斯抽样,期望最大化算法,和平均场变分贝叶斯可扩展的推理,从而刺激了更广泛的实施贝叶斯密度回归的从业者。与这些方法相关的算法详细介绍,并在毒理学研究中进行测试。
2020-05-04 stat.CO