A Multivariate Regression Approach to Association Analysis of Quantitative Trait Network
许多复杂的疾病综合征，如哮喘，包括大量的高度相关的，而不是独立的，临床表型，提出了一个新的技术挑战，在确定同时与相关性状相关的遗传变异。在这项研究中，我们提出了一个新的统计框架，称为图形引导融合套索（GFlasso），以原则性的方式解决这个问题。我们的方法明确表示的依赖结构之间的数量性状作为一个网络，并利用这个性状网络编码结构化的正则化在一个多元回归模型的基因型和性状，使遗传标记，共同影响亚组的高度相关的性状可以检测到高灵敏度和特异性。虽然大多数传统的方法独立地检查每个表型，然后将结果结合起来，但我们的方法在一个单一的统计方法中共同分析所有性状，并借用相关表型之间的信息来发现共同干扰相关triats子集而不是单个性状的遗传标记。使用基于HapMap联盟数据和哮喘数据集的模拟数据集，我们比较了我们的方法与单标记分析的性能，以及其他稀疏回归方法，如岭回归和套索，不使用任何结构信息的性状。我们的研究结果表明，有一个显着的优势，在检测真正的因果SNPs时，我们将相关模式的性状，使用我们提出的方法。
2008-11-13 q-bio.GN q-bio.MN q-bio.QM
LMM-Lasso: A Lasso Multi-Marker Mixed Model for Association Mapping with Population Structure Correction
探索可遗传性状的遗传基础仍然是生物医学研究的核心挑战之一。在简单的情况下，单个多态位点解释了表型变异的一个重要部分。然而，许多感兴趣的性状似乎受到遗传基因座组的多因素控制。这种多元关联的准确检测是不平凡的，往往受到有限的权力。与此同时，混杂的影响，如人口结构，导致虚假的关联信号，导致假阳性结果，如果他们没有考虑在模型中。在这里，我们提出了LMM-Lasso，一个混合模型，允许两个，多位点映射和校正混杂效应。我们的方法是简单的，没有调整参数，有效地控制人口结构和规模的全基因组数据集。我们通过回顾性分析展示了其在全基因组关联研究和连锁作图中的实际应用。在拟南芥和小鼠的数据中，我们的方法能够在91%的表型中找到显着更大比例的表型变异的遗传原因。与此同时，我们的模型将这种变异性分解为个体SNP效应和群体结构引起的组分。除了遗传可遗传性的增加，已知候选基因的丰富表明LMM-Lasso检索的关联更有可能是真实的。
2012-09-21 q-bio.GN q-bio.PE q-bio.QM
Sparse Overlapping Sets Lasso for Multitask Learning and its Application to fMRI Analysis
当对一项任务有用的功能对其他任务也有用时，多任务学习可能会有效，并且组套索是选择公共功能子集的标准方法。在本文中，我们感兴趣的是一种限制较少的多任务学习形式，其中（1）可用的特征可以根据相似性的概念组织成子集，（2）在一个任务中有用的特征与最适合其他任务的特征相似，但不一定相同。本文的主要贡献是一个新的过程称为稀疏重叠集（SOS）套索，凸优化，自动选择相关的学习任务相似的功能。误差界SOSlasso推导出其一致性建立平方误差损失。特别是，SOSlasso的动机是多学科功能磁共振成像研究，其中功能活动是使用大脑体素作为特征进行分类的。使用真实数据和合成数据进行的实验证明了SOSlasso与lasso和group lasso相比的优势。
2013-11-22 cs.LG stat.ML
Integrating complex selection rules into the latent overlapping group Lasso for constructing coherent prediction models
本文提出将复杂选择规则数学化并通过潜在重叠组Lasso整合到变量选择中的结构化方法，用于构建可解释且准确的一致性预测模型，并在高血压合并房颤患者口服抗凝药后大出血风险预测中验证了其有效性。
2024-01-16 stat.AP stat.ME
Theoretical Properties of the Overlapping Groups Lasso
在线性回归环境中，我们给出了两组关于Jacob，Obozinski和Vert（2009）重叠的分组套索的理论结果。该方法允许在稀疏回归中联合选择预测因子，允许编码为一组组的预测因子的复杂结构稀疏性。这个灵活的框架表明，任意复杂的结构可以用一组复杂的组进行编码。我们的研究结果表明，这种策略的结果在意想不到的理论后果的程序。特别地，我们给出了两组结果：（1）预测和估计的有限样本界，（2）渐近分布和选择。这两组结果都深入了解了选择一组越来越复杂的组进行该过程的后果，以及当该组无法恢复真正的稀疏模式时会发生什么。此外，这些结果证明了分组套索手术（有和无重叠组）之间的差异和相似性。我们的分析表明，必须谨慎选择组集-过于复杂的组集会破坏分析。
2011-11-09 stat.ML
Classification with Sparse Overlapping Groups
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
在高维机器学习的应用中，具有稀疏性约束的分类问题扮演着重要的角色。在一些情况下，特征可以被分组在一起，使得可以选择或不选择特征的整个子集。然而，在许多应用中，这可能限制性太大。在本文中，我们感兴趣的结构化稀疏特征选择的限制较少的形式：我们假设，而功能可以根据一些概念的相似性进行分组，而不是所有的功能在一个组需要选择手头的任务。当组由不相交的特征集组成时，这有时被称为“稀疏组”套索，并且它允许使用比传统组套索方法更丰富的模型类别。我们的框架进一步推广传统的稀疏组套索允许重叠的群体，在许多应用中需要额外的灵活性，并提出了进一步的挑战。本文的主要贡献是一个新的程序称为稀疏重叠组（SOG）套索，凸优化程序，自动选择相似的功能，在高维分类。我们建立了一个相当一般的设置下SOGlasso分类问题的模型选择误差界。特别是，误差界是第一个这样的结果，使用稀疏组套索分类。此外，一般SOGlasso约束专门用于套索和群套索的结果，其中一些是已知的，一些是新的。SOGlasso的动机是多学科功能磁共振成像研究，其中功能活动是使用脑体素作为特征，脑磁图（MEG）中的源定位问题，并在微阵列数据分析中分析基因激活模式进行分类。使用真实数据和合成数据的实验证明了SOGlasso与Lasso和Group Lasso相比的优势。
2014-09-04 cs.LG stat.ML
A Sparse Graph-Structured Lasso Mixed Model for Genetic Association with Confounding Correction
Carnegie Mellon University（卡内基梅隆大学）；National University of Singapore（新加坡国立大学）
虽然线性混合模型（LMM）在纠正由群体分层、家族结构和隐性相关性引起的虚假关联方面表现出了竞争力，但关于基因型和表型数据的复杂结构，仍有更多的挑战有待解决。例如，遗传学家已经发现，某些表型簇比其他表型簇更多地共同表达。因此，一个联合分析，可以利用这种相关性的信息在一个异构的数据集是至关重要的遗传建模。我们提出了稀疏图结构线性混合模型（sGLMM），它可以将数据集中的性状的相关性信息与混淆校正相结合。我们的方法能够揭示大量表型的遗传关联，同时考虑这些表型的相关性。通过大量的仿真实验，我们表明，该模型优于其他现有的方法，可以从人口结构和共享信号的相关性建模。此外，我们在来自植物和人类的两个不同物种的真实世界基因组数据集中验证了sGLMM的有效性。在拟南芥数据中，sGLMM模型在63.4%的性状上表现优于其他基线模型。我们还讨论了我们的模型发现的人类阿尔茨海默病的潜在因果遗传变异，并证明了一些最重要的遗传位点。
2023-02-14 cs.LG q-bio.GN stat.ML
Group-Lasso on Splines for Spectrum Cartography
对连续态势感知的不断需求需要创新的大规模信号处理算法，并辅以协作和自适应传感平台，以实现分层传感和控制的目标。为了实现这一目标，本文开发了一种基于样条的方法来估计字段，它依赖于一个基础的扩展模型的领域的利益。该模型需要已知的基地，加权通用功能估计从现场的噪声样本。基于正则化变分最小二乘（LS）准则，提出了一种新的场估计器，该准则产生由薄板样条生成的有限参数化（函数）估计。鲁棒性的考虑激励以及通过一套过完备的（可能重叠）基函数，而稀疏正则化增强LS成本赋予估计的能力，选择一些这些基地，“更好”解释的数据。这种简约的字段表示成为可能，因为稀疏意识样条为基础的方法，本文诱导的薄板样条展开的系数的组拉索估计每个基础。一个分布式的算法也被开发来获得使用无线传感器网络的组Lasso估计，或使用多个处理器来平衡单个计算单元的负载。基于样条的新方法的动机是频谱制图应用程序，其中一组感知认知无线电合作，以估计在空间和频率的RF功率分布。模拟测试证实，估计的功率谱密度图集产生所需的RF状态意识，因为地图揭示的空间位置，空闲频带可以重新用于传输，即使衰落和阴影效应是明显的。
2010-10-01 stat.ME
Genomic Prediction of Quantitative Traits using Sparse and Locally Epistatic Models
在植物和动物育种研究中，个体的遗传价值（加性+上位性遗传效应）和育种价值（加性遗传效应）之间存在区别，因为预计某些上位性遗传效应会因重组而丢失。在本文中，我们认为，育种者可以利用一些上位标记的影响，在低重组的地区。本文介绍的模型旨在利用遗传图谱信息估计局部上位性品系遗传力，并结合局部加性和上位性效应。为此，我们使用了具有多个局部基因组关系矩阵的半参数混合模型，并采用分层设计和套索后处理来实现最终模型的稀疏性。我们的模型产生良好的预测性能以及良好的解释性信息。
2014-02-10 stat.AP stat.ML
BiSSLB: Binary Spike-and-Slab Lasso Biclustering
University of South Carolina（南卡罗来纳大学）；George Mason University（乔治梅森大学）
本文提出BiSSLB方法，用于二进制数据集的聚类，通过逻辑矩阵分解模型和尖峰- slab先验，结合印度教过程先验自动确定聚类数，解决噪声和可扩展性问题。
2026-03-19 stat.ME
Approximate Post-Selective Inference for Regression with the Group LASSO
在使用LASSO组（或广义变体，如重叠、稀疏或标准化LASSO组）进行选择后，在没有对选择偏倚进行调整的情况下，对所选参数的推断是不可靠的。在惩罚高斯回归设置，现有的方法提供了选择事件，可以表示为线性不等式的数据变量的调整。然而，这样的表示，未能举行选择与集团LASSO和实质上阻碍了范围内的后续后选择推理。关键问题的推理兴趣-例如，推理的影响，选定的变量的结果-仍然没有答案。在本文中，我们开发了一个一致的，后选择，贝叶斯方法来解决现有的差距，通过推导出一个似然调整因子和近似值，消除偏见的选择组。在模拟数据和Human Connectome Project数据上的实验表明，我们的方法可以恢复所选组内参数的影响，同时只需付出很小的代价进行偏差调整。
2022-08-13 math.ST stat.ME stat.ML
Near-Ideal Behavior of Compressed Sensing Algorithms
在最近的一篇论文中，它表明，LASSO算法表现出“接近理想的行为”，在以下意义上：假设$y = Az + η$，其中$A$满足限制等距属性（RIP）与一个足够小的常数，和$\Vert η\Vert_2 \leq ε$。然后最小化服从$\Vert y - Az \Vert_2 \leq ε$的$\Vert z \Vert_1$导致估计$\hat{x}$，其误差$\Vert \hat{x} - x \Vert_2$由通用常数乘以由知道$x$的非零分量的位置的“oracle”获得的误差来限定。在优化领域，LASSO算法已经在几个方向上推广，例如组LASSO，稀疏组LASSO，没有或具有树结构重叠组，以及最近的排序LASSO。在本文中，它表明，{ \it任何算法\/}表现出接近理想的行为，在上述意义上，只提供（i）用于定义稀疏指数的规范是“可分解的”，（ii）在努力执行稀疏性最小化的惩罚规范是“$γ$ -可分解的”，和（iii）一个“压缩性条件”在一组限制等距属性是满足的。具体地，组LASSO和稀疏组LASSO（在组中具有一些允许的重叠）以及排序的$\ell_1$范数最小化都表现出接近理想的行为。显式的残余误差的界限推导出包含以前已知的结果作为特殊情况。
2014-04-21 stat.ML
Tree-guided group lasso for multi-response regression with structured sparsity, with an application to eQTL mapping
我们考虑的问题估计稀疏的多响应回归函数，与应用表达数量性状位点（eQTL）定位，其目标是发现影响基因表达水平的遗传变异。特别是，我们调查的收缩技术能够捕捉到一个给定的层次结构的响应，如层次聚类树与叶节点的响应和内部节点的集群相关的响应在多个粒度，我们试图利用这种结构来恢复协变量相关的每个层次定义的集群的响应。我们提出了一个树引导组套索，或树套索，估计多响应回归下，采用一种新的惩罚函数从树构造的结构稀疏。我们描述了一个系统的加权方案，重叠的组中的树罚，使每个回归系数被惩罚在一个平衡的方式，尽管不均匀的多重性的组成员的回归系数，由于组之间的重叠。为了有效的优化，我们采用了一个平滑的近端梯度方法，最初开发的一般类的结构稀疏诱导处罚。使用模拟和酵母数据集，我们证明了我们的方法在预测误差和恢复真实稀疏模式方面表现出优越的性能，与其他学习多变量响应回归的方法相比。
2012-09-28 q-bio.GN q-bio.QM stat.AP
Structured Input-Output Lasso, with Application to eQTL Mapping, and a Thresholding Algorithm for Fast Estimation
我们考虑的问题，学习高维多任务回归模型，稀疏性约束下引起的存在下的分组结构的输入协变量和输出预测。这个问题主要是由表达数量性状基因座（eQTL）定位引起的，其目标是发现基因组（输入）中的遗传变异，这些遗传变异影响多个共表达基因（输出）的表达水平，无论是上位性的，还是多效性的，或者两者兼而有之。一个结构化的输入输出套索（SIOL）模型的基础上，一个复杂的l1/l2范数惩罚的回归系数矩阵，使发现复杂的稀疏输入/输出关系，和一个高效的新的优化算法，称为分层组阈值（HiGT）的开发，以解决由此产生的不可微，不可分离的，和超高维的优化问题。我们在模拟和酵母eQTL数据集上表明，我们的模型可以更好地恢复输入和输出之间的结构化稀疏关系，并且我们的算法在同一模型下显着优于其他优化技术。此外，我们提出了一种新的方法，有效地和有效地检测输入的相互作用，利用现有的知识，从生物实验。
2012-05-09 q-bio.GN q-bio.QM stat.AP
Group-sparse SVD Models and Their Applications in Biological Data
Jiangxi Science and Technology Normal University（江西科技师范大学）；Wuhan University（武汉大学）；Chinese Academy of Sciences（中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）
稀疏奇异值分解（SVD）模型已被提出用于双聚类高维基因表达数据，以识别具有相似表达的块模式。然而，这些模型没有考虑到变量选择的先前组效应。为此，我们首先针对变量的非重叠组结构提出了具有组Lasso（GL 1-SVD）和组L0-范数惩罚（GL 0-SVD）的组稀疏SVD模型。然而，这样的组稀疏SVD模型限制了它们在一些具有重叠结构的问题中的适用性。因此，我们还提出了两个具有重叠组Lasso（OGL 1-SVD）和重叠组L0-范数惩罚（OGL 0-SVD）的组稀疏SVD模型。我们首先采用交替迭代策略求解基于块坐标下降法的GL 1-SVD和基于投影法的GL 0-SVD。求解OGL 1-SVD的关键是一个带重叠群Lasso罚的近似算子。我们采用交替方向的乘法器（ADMM）来解决邻近算子。同样，我们开发了一个近似的方法来解决OGL 0-SVD。通过对这些方法的应用以及与其它方法的比较，验证了它们的有效性。将它们广泛应用于具有基因先验组知识的几个真实基因表达数据，确定了一些生物学上可解释的基因模块。
2018-07-28 cs.LG q-bio.QM stat.ML
Identifying Genetic Risk Factors via Sparse Group Lasso with Group Graph Structure
Arizona State University（亚利桑那州立大学）；Baidu Research（百度研究院）；University of Southern California（南加州大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Michigan（密歇根大学）
全基因组关联研究（GWA研究或GWAS）研究遗传变异（如单核苷酸多态性（SNP））与个体性状之间的关系。最近，在GWA研究中将生物先验知识与机器学习方法结合起来引起了越来越多的关注。然而，在现实世界中，核苷酸水平的生物先验尚未得到很好的研究。另外，在基因水平上的研究，例如，蛋白质-蛋白质相互作用和途径，是更严格和合法的，它是潜在的有益的，利用这样的基因水平的先验GWAS。在本文中，我们提出了一种新的两级结构稀疏模型，称为稀疏组套索与组级图结构（SGLGG），GWAS。它可以被认为是一个稀疏组Lasso以及一个组级图Lasso。从本质上讲，SGLGG惩罚核苷酸水平的稀疏性，并利用基因水平的先验（基因组和网络），以识别表型相关的风险SNP。采用乘子算法中的交替方向法对模型进行优化。我们对阿尔茨海默病神经影像计划全基因组序列数据和神经影像数据的实验证明了SGLGG的有效性。作为一个回归模型，它是有竞争力的国家的最先进的稀疏模型;作为一个变量选择方法，SGLGG是有前途的识别阿尔茨海默病相关的风险SNPs。
2017-09-12 cs.LG q-bio.GN stat.ML
Efficient Penalized Generalized Linear Mixed Models for Variable Selection and Genetic Risk Prediction in High-Dimensional Data
稀疏正则化回归方法现在被广泛用于全基因组关联研究（GWAS），以解决限制发现潜在重要预测因子的多重检验负担。线性混合模型（Linear mixed models，简称LMM）是一种有效的替代主成分（principal components，简称PC）调整的方法。然而，它们在二元性状GWAS中的使用依赖于无效的假设，即残差方差不依赖于估计的回归系数。此外，Lemp使用响应的协方差阵的单个谱分解，这在广义线性混合模型（GLemp）中不再可能。我们介绍了一种新的方法，称为pglmm，一个惩罚GLMM，允许同时选择遗传标记和估计其影响，占个体间的相关性和二进制性质的性状。我们开发了一种基于PQL估计的计算效率高的算法，该算法允许在高维二进制性状GWAS（~ 300，000 SNP）上缩放正则化混合模型。我们通过模拟结果表明，惩罚LMM和逻辑斯谛回归与PC调整未能正确选择重要的预测因子和/或预测精度下降的二元响应时，相关性矩阵的维数是高的pglmm相比。此外，我们通过分析英国生物银行数据中的两个多基因二元性状证明，我们的方法可以实现更高的预测性能，同时也选择了比稀疏正则化逻辑套索与PC调整更少的预测因子。我们的方法可以作为Julia包PenalizedGLMM. jl使用。
2022-06-24 stat.AP stat.ME
A Communication-Efficient Parallel Method for Group-Lasso
Tsinghua University（清华大学）
Group-Lasso（gLasso）通过考虑输入变量的分组结构来识别预测响应变量的重要解释因子。然而，大多数现有的gLasso算法都不能扩展到处理大规模数据集，这在许多应用程序中正在成为一种常态。在本文中，我们提出了一个分而治之的并行算法（DC-gLasso），以扩大gLasso的回归与分组结构的任务。DC-gLasso只需要两次迭代来收集和聚合数据子集上的局部估计，并且在某些条件下可以证明是正确的，以恢复真实模型。我们进一步扩展它来处理组之间的重叠。在广泛的合成和真实世界数据集上的实证结果表明，DC-gLasso可以在不牺牲回归精度的情况下显着提高时间效率。
2016-12-07 cs.LG stat.ML
On the Limit Imbalanced Logistic Regression by Binary Predictors
在这项工作中，我们引入了一个修改（重新缩放）的似然不平衡逻辑斯谛回归。这种新的方法使得指数先验的使用和lasso正则化路径的计算变得更加容易。准确地说，我们研究了一种极限行为，其中通过复制大多数类观测人为地增加了类不平衡。如果满足一些强重叠条件，则最大似然估计收敛到接近初始值的有限值（截距除外），如使用二元预测器的模拟所示。该解对应于凹函数的极值，我们称之为“重新缩放”似然。在这种情况下，指数先验的使用有一个明确的解释，即少数类的预测手段的转变。由于简单的二元结构，一些随机设计给出了套索正则化问题的解析路径估计。提出了一种基于矩阵求逆的分段对数函数近似路径算法。这项工作的动机是其在药物警戒背景下对自发性报告数据库的潜在应用。
2018-04-18 stat.ME
Support union recovery in high-dimensional multivariate regression
在多元回归中，$K$维响应向量根据一组常见的$p$协变量进行回归，回归系数矩阵为$B^*\in\mathbb{R}^{p\times K}$。我们研究的多元组拉索，其中块正则化的基础上的$\ell_1/\ell_2$规范用于支持工会恢复，或恢复的一组$s$行的$B^*$是非零的行为。在高维尺度下，我们表明，多变量组Lasso表现出一个阈值的恢复的确切的行模式与高概率的随机设计和噪声，指定的样本复杂性参数$θ(n,p,s):=n/[2ψ(B^*)\log(p-s)]$。这里，$n$是样本量，而$ψ(B^*)$是稀疏重叠函数，测量构成模型的$K$ -回归系数向量的稀疏和重叠的组合。我们证明了多变量组拉索成功的问题序列$(n,p,s)$，使$θ(n,p,s)$超过一个临界水平$θ_u$，并失败的序列，使$θ(n,p,s)$低于一个临界水平$θ_{\ell}$。对于标准高斯系综的特殊情况，我们表明，$θ_{\ell}=θ_u$，使表征是尖锐的。稀疏重叠函数$ψ(B^*)$表明，如果设计在活动行上不相关，则多元回归的$\ell_1/\ell_2$正则化相对于普通Lasso方法永远不会损害性能，并且当系数向量适当正交时，可以在样本复杂性方面产生实质性改进（高达$K$的因子）。对于更一般的设计，普通Lasso有可能优于多变量组Lasso。我们补充我们的分析与模拟，证明我们的理论结果的尖锐性，即使…
2011-03-07 math.ST stat.ML stat.TH
Efficient First Order Methods for Linear Composite Regularizers
Toyota Technological Institute at Chicago, University of Chicago（芝加哥大学丰田理工学院）；University at Albany（奥尔巴尼大学）；City University of Hong Kong（香港城市大学）；University College London（伦敦大学学院）；Syracuse University（雪城大学）
在机器学习和统计学中，一类广泛的正则化问题使用正则化项，该正则化项通过将简单的凸函数ω与线性变换组合而获得。此设置包括Group Lasso方法、Fused Lasso和其他全变差方法、多任务学习方法等等。在本文中，我们提出了一种计算这类正则化子的邻近算子的一般方法，假设函数ω的邻近算子是已知的。我们的方法建立在最佳一阶优化方法的最新研究路线，并使用不动点迭代数值计算的邻近算子。它比目前的方法更一般，正如我们所示的数值模拟，计算效率比现有的一阶方法，没有达到最佳的速度。特别是，我们的方法优于最先进的O（1/T）方法重叠组Lasso和匹配最佳O（1/T^2）方法融合Lasso和树结构组Lasso。
2011-04-07 cs.LG math.OC stat.ME
Proximal methods for the latent group lasso penalty
Istituto Italiano di Tecnologia（意大利技术研究院）；MIT（麻省理工学院）；Università di Genova（热那亚大学）
我们考虑一个正则化的最小二乘问题，正则化的结构稀疏诱导规范，它扩展了通常的$\ell_1$和组套索惩罚，允许子集重叠。这样的正则化导致非光滑的问题，难以优化，我们在本文中提出了一个合适的版本的加速邻近方法来解决这些问题。我们证明了一个嵌套的过程，获得了一个加速的邻近方法与内部算法计算的邻近算子的收敛性。通过利用罚函数的几何性质，设计了一种新的有效集策略，使得内迭代速度较快，从而保证了整个算法的良好计算性能.我们的方法允许处理高维问题，而无需进行降维预处理，从而使最先进的方法具有更好的计算和预测性能，如在玩具和真实数据上的经验所示。
2012-09-03 cs.LG math.OC stat.ML
Signal Recovery in Unions of Subspaces with Applications to Compressive Imaging
在从通信到遗传学的应用中，信号可以被建模为位于子空间的并集中。在该模型下，位于某些子空间中的信号系数一起是活动的或不活动的。潜在的子空间是预先已知的，但是活动的子空间的特定集合（即，在信号支持中）必须从测量中学习。我们表明，利用知识的子空间可以进一步减少精确的信号恢复所需的测量数量，并推导出所需的测量数量的普遍界限。这个界是普适的，因为它只取决于所考虑的子空间的数量，以及它们之间的相对方向。子空间的细节（例如，组成、尺寸、范围、重叠等）并不影响我们获得的结果。在这个过程中，我们推导出样本复杂性界限的特殊情况下的组套索重叠组（潜在组套索），这是在各种应用程序中使用。最后，我们还表明，图像的小波变换系数可以建模为躺在组，因此可以有效地恢复使用组套索方法。
2012-09-14 math.OC stat.ML
Hierarchical Sparse Modeling: A Choice of Two Group Lasso Formulations
在估计模型中要求稀疏性已成为统计学中的常规做法。在许多情况下，我们希望要求获得的稀疏模式尊重某些特定问题的约束。分层稀疏建模（HSM）是指这些约束指定一组参数设置为零时，另一组参数设置为零的情况。近年来，许多论文针对这种形式的稀疏结构开发了凸正则化器，这种形式的稀疏结构出现在许多统计领域，包括交互建模、时间序列分析和协方差估计。在本文中，我们观察到，这些方法分为两个框架，组套索（GL）和潜在的重叠组套索（GL），这还没有系统地比较的背景下，HSM。本文的目的是提供一个并排比较这两个框架的HSM在其统计特性和计算效率。我们呼吁特别注意GL的更积极的收缩参数的层次结构中，属性不共享的。在计算方面，我们引入了一个有限步算法，精确地解决了近似算子的最接近的一个简单的HSM结构，我们后来利用这一点开发一种新的基于路径的块坐标下降计划一般的HSM结构。这两种算法都大大提高了迭代算法的计算性能。最后，我们在协方差估计的背景下比较了这两种方法，在这里我们引入了一个新的稀疏带估计器，我们表明，它实现了现有的基于GL的方法的统计优势，但更简单的表达和更有效的计算。
2017-11-29 math.ST stat.CO stat.ME
A General Framework for Structured Sparsity via Proximal Optimization
University College London（伦敦大学学院）
我们研究了结构稀疏性的一个广义框架。它扩展了著名的Lasso和Group Lasso方法，将变量的额外约束作为凸优化问题的一部分。该框架提供了一种直接的方式，有利于规定的稀疏模式，如排序，连续区域和重叠组，等等。现有的优化方法仅限于特定的约束集，往往不能很好地扩展样本大小和维度。我们提出了一种新的一阶近似方法，它建立在不动点和逐次逼近的结果。该算法可以应用于一般类的圆锥曲线和范数约束集，并依赖于一个邻近算子的子问题，可以显式计算。在不同的回归问题上的实验证明了该优化算法的有效性及其随问题规模的扩展性。它们还展示了最先进的统计性能，比Lasso和StructOMP有所改进。
2011-06-26 cs.LG stat.ML
Orthogonal Matching Pursuit for Text Classification
École Polytechnique（巴黎综合理工学院）；Athens University of Economics and Business（雅典经济与商业大学）
在文本分类中，由于高维数而出现过拟合问题，使得正则化变得必要。虽然经典的正则化器提供稀疏性，但它们无法返回高度准确的模型。相反，最先进的群套索正则化器以低稀疏性为代价提供了更好的结果。在本文中，我们采用贪婪的变量选择算法，称为正交匹配追踪，文本分类任务。我们还扩展了标准组OMP通过引入重叠组OMP处理重叠组的功能。实证分析表明，OMP和重叠GOMP构成强大的正则化，能够产生有效的和非常稀疏的模型。代码和数据可在线获取：https://github.com/y3nk0/OMP-for-Text-Classification。
2018-10-09 cs.CL cs.LG stat.ML
Smoothing proximal gradient method for general structured sparse regression
Carnegie Mellon University（卡内基梅隆大学）
我们研究的问题估计高维回归模型正则化的结构化稀疏诱导惩罚编码的输入或输出变量的先验结构信息。我们考虑两种广泛采用的这类惩罚作为激励的例子：（1）一般的群套索惩罚，从群套索惩罚推广;（2）图引导的融合套索惩罚，从融合套索惩罚推广。对于这两种类型的惩罚，由于其不可分离性和非光滑性，开发一个有效的优化方法仍然是一个具有挑战性的问题。在本文中，我们提出了一种通用的优化方法，平滑邻近梯度（SPG）方法，它可以解决结构稀疏回归问题的任何光滑凸损失下的结构稀疏诱导罚款的广泛频谱。我们的方法结合了一个有效的近端梯度方法的平滑技术。它的收敛速度明显快于标准的一阶方法，次梯度方法，并且比最广泛使用的邻域点方法更具可扩展性。我们的方法的效率和可扩展性的模拟实验和真实的遗传数据集上证明。
2012-06-29 cs.LG math.OC stat.AP
Error Bounds for Compressed Sensing Algorithms With Group Sparsity: A Unified Approach
在压缩感知中，为了从可能有噪声的测量中恢复稀疏或近似稀疏的向量，最流行的方法是$\ell_1$ -范数最小化。[1]中给出了真实向量和估计向量之间误差的$\ell_2$范数的上界，[2]中进行了回顾，而[3]中给出了$\ell_1$范数的界。当未知向量不是常规稀疏而是“组稀疏”时，在文献中已经提出了$\ell_1$ -范数的各种替代方案，包括组LASSO、稀疏组LASSO和具有树结构重叠组的组LASSO。然而，这些修改后的目标函数中的任何一个都没有误差界限。本文基于可分解范数和$γ$ -可分解范数的概念，给出了一种统一的方法来推导真向量与其逼近之间的误差上界。给出的边界覆盖了上面提到的所有规范，也为将来选择规范以适应稀疏性的替代形式提供了指导。
2015-12-29 stat.ML
Improving Mendelian Randomization Analysis by Instrument Borrowing from Auxiliary Outcome Traits
Department of Biostatistics, Johns Hopkins Bloomberg School of Public Health（约翰斯·霍普金斯彭博公共卫生学院生物统计系）；Department of Oncology, School of Medicine, Johns Hopkins University（约翰斯·霍普金斯大学医学院肿瘤系）
研究针对孟德尔随机化在无效工具变量存在时的问题，提出借用辅助结果性状工具变量改进推断。先引入共同异质性统计量及理论识别次要性状，扩展两种方法，模拟研究和实际应用表明新方法能更好控制错误、提高功效。
2026-10-15 stat.ME
Overlapping group logistic regression with applications to genetic pathway selection
在全基因组表达分析中，发现解释感兴趣表型的重要基因长期以来一直具有挑战性。分析，如基因集富集分析（GSEA），纳入途径信息已成为假设检验中广泛使用，但基于途径的方法已在很大程度上缺席回归方法，由于处理重叠途径的挑战和由此产生的缺乏可用的软件。R包grpreg被广泛用于拟合组套索和其他组惩罚回归模型;在本研究中，我们开发了一个扩展grpregOverlap，以允许使用Jacob等人提出的潜在变量方法重叠组结构。我们比较这种方法的普通套索和GSEA使用模拟和真实的数据。我们发现，纳入先前的途径信息大大提高了基因表达分类器的准确性，我们揭示了几种方法，其中假设检验方法，如GSEA不同于回归方法的途径数据的分析。
2016-09-13 stat.ME
Split Regularized Regression
我们提出了一种拟合线性回归模型的方法，该方法将协变量集分成组。通过最小化目标函数来执行将变量最优地分成组和回归系数的正则化估计，该目标函数鼓励每组内的稀疏性和它们之间的多样性。然后将估计的系数合并在一起以形成最终拟合。我们的过程在给定的惩罚线性回归估计器（例如，Lasso，弹性网），通过将其拟合到可能重叠的特征组，鼓励这些组之间的多样性，以减少相应预测的相关性。对于弹性网罚函数和正交预测函数两组情形，我们给出了每组中回归系数的封闭形式解。我们建立了我们的方法的一致性，预测因子的数量可能会随着样本量的增加而增加。一个广泛的模拟研究和实际数据的应用表明，在一般情况下，所提出的方法提高了预测精度的基础估计程序中使用。GLM和其他模型的可能扩展进行了讨论。本文的补充材料，可在线获得，包含我们的理论结果的证明和我们的模拟研究的全部结果。
2019-12-12 stat.ME
Identification of gene pathways implicated in Alzheimer's disease using longitudinal imaging phenotypes with sparse regression
我们提出了一种新的方法，用于检测与多变量数量性状相关的基因通路，并使用它来识别与阿尔茨海默病（AD）患者大脑中纵向结构变化的成像内表型特征相关的因果通路。我们的方法，被称为途径稀疏降秩回归（PsRRR），使用组套索惩罚回归共同建模的影响，全基因组单核苷酸多态性（SNP），分组到功能途径使用基因-基因相互作用的先验知识。使用利用有限样本变异性的恢复策略，将途径按重要性排序。我们的应用研究使用了阿尔茨海默病神经成像倡议（ADNI）数据库中464名受试者的全基因组扫描和MR图像。将66，182个SNP映射到来自KEGG通路数据库的185个基因通路。AD的体素成像特征通过分析相对于基线在6、12和24个月时的结构变化的3D模式来获得。在我们的研究中，高级AD内表型相关通路包括描述趋化因子、Jak-stat和胰岛素信号通路以及紧密连接相互作用的通路。所有这些都与AD生物学有关。在二次分析中，我们研究了可能驱动通路选择的SNP和基因，并确定了一些先前验证的AD基因，包括CR 1，APOE和TOMM 40。
2012-04-09 stat.AP stat.ME
A first-order optimization algorithm for statistical learning with hierarchical sparsity structure
在许多统计学习问题中，期望最优解符合由有向无圈图表示的先验已知稀疏结构。通过凸正则化子来诱导这样的结构需要利用组重叠的非光滑罚函数。我们的研究重点是评价Jacob等人（2009）开发的潜在重叠组套索的近端操作符。我们实现了一个乘法器的交替方向法与共享计划，以解决大规模的基础最优化问题的情况下有效地。在不存在强凸性的情况下，利用误差界理论证明了算法的全局线性收敛性。更具体地说，当目标函数中的非光滑部分不具有多面体epigraph时，本文有助于建立原始和对偶误差界。我们还研究了图的结构对算法收敛速度的影响。详细的数值模拟研究不同的图形结构支持所提出的算法和两个应用程序中的学习。
2020-10-18 math.OC stat.CO
Pathways-driven Sparse Regression Identifies Pathways and Genes Associated with High-density Lipoprotein Cholesterol in Two Asian Cohorts
全基因组关联研究（GWAS）中分析数据的标准方法忽略了遗传标记之间的任何潜在功能关系。相反，基因通路分析使用基因组内功能结构的先验信息来识别与感兴趣的性状相关的通路。在第二步中，可以在相关途径内鉴定重要的单核苷酸多态性（SNP）或基因。大多数途径方法开始于一次测试一个SNP，因此未能利用多SNP联合建模方法中固有的潜在优势。在这里，我们描述了一个双水平，稀疏回归模型的同时识别的途径，基因和SNPs与数量性状。我们的方法考虑到了与全基因组数据联合建模途径特定的各种因素，包括遗传预测因子之间的广泛相关性，以及变体可能重叠多个途径的事实。我们使用一种重新排序策略，该策略利用有限的样本变异性来为通路、SNP和基因提供稳健的排名。我们通过模拟测试我们的方法，并使用它来执行路径驱动的SNP选择，在两个独立的GWAS亚洲成年人队列中寻找与血清高密度脂蛋白胆固醇（HDLC）水平变化相关的路径，基因和SNP。通过比较两个队列的结果，我们确定了一些候选途径，包括与心肌病相关的途径，以及T细胞受体和PPAR信号传导。突出显示的基因包括与L型钙通道、腺苷酸环化酶、整联蛋白、层粘连蛋白、MAPK信号传导和免疫功能相关的基因。
2013-02-23 stat.AP stat.ME
Stabilizing black-box model selection with the inflated argmax
Data Science Institute, University of Chicago（芝加哥大学数据科学研究所）；Department of Statistics, University of Michigan（密歇根大学统计学系）；Department of Statistics, University of Chicago（芝加哥大学统计学系）；Department of Computer Science, University of Chicago（芝加哥大学计算机科学系）
本文提出了一种基于bagging和膨胀argmax的稳定模型选择方法，通过理论保证提高模型选择的稳定性，在多个实验中表现出优于传统方法的性能。
2025-11-30 cs.LG stat.ME stat.ML
Simultaneous support recovery in high dimensions: Benefits and perils of block $\ell_1/\ell_\infty$-regularization
考虑使用$\ell_{1}/\ell_{\infty}$ -正则化回归来联合估计回归系数的$\pdim \times \numreg$矩阵。我们分析了$\ell_1/\ell_\infty$ -正则化二次规划的高维标度，考虑了$\ell_\infty$ -范数的一致性和变量的选择。首先，我们建立的$\ell_\infty$ -错误的界限，以及充分条件，为固定和随机设计的确切变量选择。我们的第二组结果适用于$\numreg = 2$线性回归问题与标准高斯设计，其支持重叠在一个分数$α\in [0,1]$的条目：对于这个问题的类，我们证明了$\ell_{1}/\ell_{\infty}$ -正则化方法经历了一个相变-也就是说，从失败到成功的急剧变化-其特征在于重新缩放的样本大小$θ_{1,\infty}(n, p, s, α) = n/\{(4 - 3 α) s \log(p-(2- α) s)\}$。该阈值的含义是，如果重叠参数足够大（$α> 2/3$），则使用$\ell_1 / \ell_{\infty}$正则化产生改进的统计效率，但是对于中等到小重叠（$α< 2/3$），具有比基于朴素Lasso的方法更高的\emph{worse}统计效率。这些结果表明，在应用$\ell_1/\ell_\infty$块正则化时需要谨慎：如果数据与其结构不匹配，则可能会损害相对于计算成本较低的方案的…
2009-05-05 cs.IT math.IT math.ST
A Regression-based Approach to Robust Estimation and Inference for Genetic Covariance
本文提出统一的基于回归的遗传协方差稳健估计与推断框架，证明模型错误设定下的渐近稳健性，并通过模拟和远交小鼠GWAS分析验证其效果。
2023-10-04 stat.ME
Predicting Responses from Weighted Networks with Node Covariates in an Application to Neuroimaging
针对神经影像等场景下带节点协变量的加权网络响应预测问题，提出基于社区结构的两种特征分组方案，结合重叠组LASSO优化，在预测精度和特征可解释性上表现更优，可广泛应用于神经影像研究。
2023-08-22 stat.AP stat.ME
On genetic correlation estimation with summary statistics from genome-wide association studies
全基因组关联研究（Genome-wide association studies，GWAS）已被广泛用于研究单核苷酸多态性（single nucleotide polymorphisms，SNPs）与复杂性状之间的关联，其中样本量n和SNPs数量p都可能非常大。最近，基于GWAS汇总统计量（例如，SNP效应大小）。然而，经验证据显示了一种常见的偏差现象，即即使是高度显著的跨性状PRS也只能解释非常少量的遗传方差（R^2通常<1%）。本文的目的是发展一种新的和强大的方法来解决跨性状PRS的偏差现象。我们从理论上表明，估计的遗传相关性是渐近偏向于零时，复杂的性状是高度多基因/全基因。当所有p个SNPs都被用来构建PRS时，我们证明了PRS估计的渐近偏差与未知的因果SNPs数量m无关。我们提出了一个一致的PRS估计量来纠正这种渐进偏差。我们还开发了一种新的估计遗传相关性，这是完全基于两套GWAS汇总统计量。此外，我们研究了通过GWAS p值进行SNP筛选是否可以改善估计，并显示GWAS之间重叠样本的影响。我们的研究结果可能有助于揭开神秘面纱，并解决令人困惑的“丢失的遗传重叠”现象的交叉性状PRS解剖的遗传相似性密切相关的遗传性状。我们说明了我们的偏差校正PRS估计的有限样本性能，通过使用数值实验和英国生物银行的数据，我们在其中评估脑白质束和神经精神疾病之间的遗传相关性。
2019-03-04 q-bio.GN q-bio.NC stat.ME
The composite absolute penalties family for grouped and hierarchical variable selection
从高维数据中提取有用的信息是当今统计研究和实践的重要焦点。惩罚损失函数最小化已被证明是有效的，这一任务的理论和经验。由于具有正则化和稀疏性的优点，$L_1$ -惩罚平方误差最小化方法Lasso在回归模型和其他模型中很受欢迎。本文将包括$L_1$在内的不同范数组合起来，形成一种智能惩罚，以便在回归或分类模型的拟合中加入边信息，从而获得合理的估计。具体来说，我们引入了复合绝对惩罚（CAP）家庭，它允许给定的分组和层次关系的预测要表达的。CAP惩罚是通过定义群体并在跨群体和群体内水平上结合规范惩罚的属性来构建的。分组选择用于不重叠的组。通过定义具有特定重叠模式的组来实现分层变量选择。我们建议使用BLASSO和交叉验证来计算CAP估计。对于只涉及$L_1$和$L_{\infty}$范数的CAP估计的子类，我们引入iCAP算法来跟踪分组选择问题的整个正则化路径。在这个子族中，自由度（df）的无偏估计推导出来，使得正则化参数的选择没有交叉验证。CAP在一系列模拟实验中，包括$p\gg n$和可能错误指定分组的情况下，显示出对LASSO的预测性能的改善。当模型的复杂性被正确计算时，iCAP在实验中被认为是吝啬的。
2009-09-02 math.ST stat.TH
High-Dimensional Regression with Binary Coefficients. Estimating Squared Error and a Phase Transition
We consider a sparse linear regression model Y=Xβ^{*}+W where X has a Gaussian entries, W is the noise vector with mean zero Gaussian entries, and β^{*} is a binary vector with support size (sparsity) k. Using a novel conditional second moment method we obtain a tight up to a multiplicative constant approximation of the optimal squared error \min_β \|Y-Xβ\|_{2}, where the minimization is over all k-sparse binary vectors β. The approximation reveals interesting structural properties of the underlying regression problem. In particular, a) We establish that n^*=2k \log p/ \log (2k/σ^{2}+1) is a p…
2019-09-25 math.PR math.ST stat.ML
Algorithmic Bayesian Group Gibbs Selection
贝叶斯模型选择，在George和McCulloch（1993）和Abramovich等人（1998）中有先例，支持与模型不确定性相关的可信度度量，但当稀疏先验近似时，计算成本可能很高。我们设计了一个适合高斯噪声，t分布噪声和逻辑学习的精确选择引擎，受益于坐标下降套索的数据结构。吉布斯采样器链以与等能量（Equi-Energy）兼容的压缩二进制格式存储（Kou等人，2006）回火。我们实现了一个分组效应选择模型，类似于组套索的设置，以确定进入模型的系数的共同输入。我们推导出一个函数的群包含被积函数，并引入一个新的MCMC开关步骤，以避免数值积分。定理表明该步具有指数收敛到目标分布。我们证明了群体选择的作用，以告知遗传分解的dilemma实验，并确定潜在的数量性状基因座在p > 40 K异质股票单倍型/表型研究。
2023-03-10 stat.CO stat.ME
Flexible co-data learning for high-dimensional prediction
临床研究通常集中在复杂的特征，其中许多变量在驱动或治疗疾病的机制中发挥作用。当数据是高维的时，临床预测是困难的，但是额外的信息，如领域知识和先前发表的研究，可能有助于改善预测。这种互补数据或协数据提供了关于协变量的信息，例如来自外部研究的基因组位置或p值。我们的方法可以利用多个和各种协同数据源来改进预测。我们使用离散或连续的协数据来定义可能重叠或分层结构的协变量组。然后，这些用于估计广义线性和Cox模型的自适应多组岭罚。我们结合经验贝叶斯估计组惩罚超参数与额外的收缩水平。这提供了一个独特的灵活框架，因为任何类型的收缩都可以在组级别上使用。超参数收缩学习特定协同数据源的相关性，对抗许多组的超参数的过拟合，并考虑结构化协同数据。我们描述了各种类型的协数据，并提出了合适的形式hypershrinkage。该方法是非常通用的，因为它允许多个协数据集的整合和加权，包括未惩罚的协变量和后验变量选择。我们在两个癌症基因组学应用中证明了这一点，并表明它可以大大提高其他密集和简约预后模型的性能，并稳定变量选择。
2020-05-08 stat.ME stat.ML
Optimal Dorfman Group Testing for Symmetric Distributions
本文将Dorfman分组检测中的样本状态从独立同分布推广为可交换随机变量，利用函数q刻画对称联合分布，将集合划分问题归约为整数划分问题并高效求解，在COVID-19数据上解释了原始研究的高经验效率。
2024-02-27 math.PR stat.AP stat.ME
