Safe preselection in lasso-type problems by cross-validation freezing
提出了一种新的高维惩罚回归中安全变量预选的方法，如套索。预选--从一组可管理的协变量开始--往往在没有明确认识到其潜在偏倚的情况下实施。基于顺序实现的套索与不断增加的预测列表，我们发现了一个新的属性的一组相应的交叉验证曲线，一种模式，我们称之为冻结。它允许确定一个协变量子集，我们使用该子集获得与使用完整协变量集获得的相同的套索解。冻结以前没有被描述过，并且与最近讨论的丢弃预测因子的安全规则不同。我们通过模拟证明，通过其与结果的单变量相关性对预测因子进行排名，在大多数情况下会导致早期冻结，从而提供了一种安全有效的方法，将套索分析集中在较小且易于管理的预测因子上。我们说明了我们的策略的适用性的背景下，GWAS分析和微阵列基因组数据。冻结提供了很大的潜力，扩大适用性的惩罚回归超高维数据集。它的适用性不仅限于标准套索，而是许多惩罚方法的通用属性。
2012-12-07 stat.ME
Structured Screen-and-Select for Ultra-High-Dimensional Variable Selection
The University of Texas at El Paso（德克萨斯大学埃尔帕索分校）
针对超高维变量选择中边际筛选可能遗漏弱信号活跃预测因子的问题，提出结构化筛选与选择（S3VS）迭代框架，结合结果筛选与相关局部集，在多种模型下实现，模拟和卵巢癌数据表明其可改善变量恢复或预测。
2026-09-22 stat.ME
Disentangling the effects of traits with shared clustered genetic predictors using multivariable Mendelian randomization
当基因簇中的遗传变异与疾病结果相关时，从变异到结果的因果途径可能难以解开。例如，趋化因子受体基因簇含有与各种细胞因子相关的遗传变体。该簇中的变体与中风风险之间的关联可能由这些细胞因子中的任何一种驱动。多变量孟德尔随机化是标准单变量孟德尔随机化的扩展，用于估计具有共享遗传预测因子的相关暴露的直接影响。然而，当遗传变异被聚类时，出现了金发姑娘困境：在分析中包括太多高度相关的变异可能导致条件反射，但过于积极地修剪变异可能导致不精确的估计，甚至缺乏识别。我们提出了多变量的方法，使用主成分分析，以减少许多相关的遗传变异到一个较小的正交分量，用作工具变量。我们在模拟中表明，这些方法导致更精确的估计，是不太敏感的数值不稳定性，由于强相关性和输入数据的小变化。我们应用这些方法来证明趋化因子基因簇中最可能的中风危险因素是单核细胞趋化蛋白-1。
2021-10-02 stat.ME
A Two-Stage Variable Selection Approach for Correlated High Dimensional Predictors
在拟合统计模型时，经常会发现一些预测因子之间存在相关性，并共同起作用。许多组变量选择方法被开发来选择与连续或分类响应密切相关的预测变量组。这些现有的方法通常假设群的结构是已知的。例如，具有类似实际意义的变量，或由分类数据创建的虚拟变量。然而，在实践中，知道确切的群结构是不切实际的，特别是当变量维数很大时。结果，可以选择组变量选择结果。为了解决这一挑战，我们提出了一个两阶段的方法，结合变量聚类阶段和组变量阶段的组变量选择问题。变量聚类阶段使用来自数据的信息来找到组结构，这提高了现有组变量选择方法的性能。对于预测因子远大于观测值的三维数据，我们在第一阶段采用了变量筛选方法，并展示了这种方法的优点。在这篇文章中，我们比较和讨论了四个现有的组变量选择方法在不同的模拟模型下的性能，有和没有变量聚类阶段。两阶段方法在预测精度以及选择活动预测因子的精度方面表现出更好的性能。运动员的数据也被用来显示所提出的方法的优点。
2021-03-24 stat.AP stat.CO stat.ME
Regression shrinkage and grouping of highly correlated predictors with HORSES
在具有高度相关的预测因子的高维数据分析中，识别变量的同质子组可能具有挑战性。我们提出了一种新的方法，称为带收缩和相等选择的回归的Hynomonal算子，简称HORSES，它同时选择正相关的变量并将它们识别为预测聚类。这是通过一个约束最小二乘问题与正则化，包括一个线性组合的L_1罚款的系数和另一个L_1罚款的系数的两两差异。惩罚函数的这种指定鼓励将正相关的预测器与稀疏解决方案相结合进行分组。我们构造了一个有效的算法来实现HORSES过程。我们通过仿真表明，该方法优于其他变量选择方法的预测误差和简约。该技术被证明在两个数据集，一个小的数据集从阿巴拉契亚的土壤分析，和一个高维数据集从近红外（NIR）光谱研究，显示方法的灵活性。
2013-02-01 stat.ML
Robust multi-outcome regression with correlated covariate blocks using fused LAD-lasso
Lasso是一种流行且有效的方法，用于高维回归模型中的同时估计和变量选择。在本文中，提出了一个强大的LAD套索方法的多个结果，解决了非正态分布的结果和离群观测的挑战。从空间或时间，或光谱带或基因组位置测量的协变量数据通常具有由测量协变量之间的距离产生的自然相关结构。所提出的多结果方法包括通过组融合惩罚来处理这样的协变量块，这通过惩罚相邻回归系数向量之间的差异来鼓励相邻回归系数向量之间的相似性，例如在顺序数据情况下。所提出的方法的属性首先说明了广泛的模拟，其次，该方法被应用到现实生活中的倾斜数据的例子，退休行为的异方差解释变量。
2022-12-01 stat.ME
Robust Ultra-High-Dimensional Variable Selection With Correlated Structure Using Group Testing
University of Maryland Baltimore Marlene & Stewart Greenebaum Comprehensive Cancer Center（马里兰大学巴尔的摩分校马伦和斯蒂文·格林堡综合癌症中心）；Case Western Reserve University（凯斯西储大学）；University of Florida（佛罗里达大学）
本文提出了一种基于群体测试的鲁棒超高维变量选择方法，通过数据驱动的组内聚类和稳健统计方法，在数据污染和非正态条件下均表现出色，适用于基因组生物标志物发现。
2026-02-06 cs.LG stat.ME
Bayesian network-guided sparse regression with flexible varying effects
本文提出贝叶斯方法VERGE，通过推断预测变量网络并结合变系数建模与尖峰-平板先验进行特征选择，在模拟和肠道微生物组与肥胖应用中优于现有方法。
2024-07-06 stat.AP stat.ME
Prescreen, Then Subsample: Efficient model training for large-scale biomedical data with correlated covariates
IUF – Leibniz Research Institute for Environmental Medicine（莱布尼茨环境医学研究所）；TU Dortmund University（多特蒙德工业大学）
针对具有复杂相关结构的大规模生物医学数据，提出PTS两阶段训练框架，整合SuSiE预筛选与IBOSS子采样，可在缩短训练时间的同时保持与全数据训练相当的预测性能。
2026-10-16 stat.ME
Multivariate Sparse Group Lasso Joint Model for Radiogenomics Data
放射基因组学是癌症研究中的一个新兴领域，它将医学成像数据与基因组数据相结合，以预测患者的临床结果。在本文中，我们提出了一个多变量稀疏组套索联合模型集成成像和基因组数据建立预测模型。具体来说，我们共同考虑两个模型，一个回归成像特征的基因组特征，和其他回归患者的临床结果的基因组特征。通过稀疏组套索的正则化惩罚允许并入内在组信息，例如生物途径和成像类别，以选择重要的内在组和组内的重要特征。为了整合来自两个模型的信息，在每个模型中，我们在每个个体基因组特征的惩罚项中引入权重，其中权重与另一模型中该特征的模型系数负相关。如果某个特征被另一个模型选择，则该权重允许该特征具有更高的被一个模型选择的机会。我们的模型适用于连续和时间事件的结果。它还允许使用两个单独的数据集来拟合两个模型，解决了许多基因组数据集没有可用成像数据的实际挑战。仿真和实际数据分析表明，我们的方法优于现有的方法在文献中。
2022-06-03 stat.CO stat.ME
Tumor Radiogenomics with Bayesian Layered Variable Selection
我们提出了一个统计框架，整合放射性磁共振成像（MRI）和基因组数据，以确定低级别胶质瘤（LGG）的潜在放射基因组学协会。我们设计了一种新的成像表型，通过将肿瘤区域分成同心球形层，模仿肿瘤的演变过程。每一层内的MRI数据由基于体素强度的概率密度函数表示，其捕获关于肿瘤异质性的完整信息。在黎曼几何框架下，这些密度被映射到作为成像表型的主成分分数的向量。随后，我们建立贝叶斯变量选择模型的每一层的成像表型作为响应和基因组标记作为预测。我们的新的分层先验公式结合了层的走廊到外部结构，以及基因组标记之间的相关性。我们采用一个计算效率的期望-最大化为基础的估计策略。仿真研究表明，我们的方法相比，其他方法的优越性能。随着对LGG中的癌症驱动基因的关注，我们讨论了一些生物学相关的发现。与生存和肿瘤发生有关的基因被鉴定为与球形层相关，这可能在常规侵入性方法之前作为疾病监测的早期诊断标志物。
2021-06-21 stat.AP stat.ME
Setwise Hierarchical Variable Selection and the Generalized Linear Step-Up Procedure for False Discovery Rate Control
Department of Mathematics and Statistics, Dalhousie University（达尔豪斯大学数学与统计系）
本文提出了一种基于集的分层变量选择方法，结合广义线性逐步提升程序，有效控制FDR并提升预测性能。
2026-03-02 stat.ME
Regularized Multivariate Regression for Identifying Master Predictors with Application to Integrative Genomics Study of Breast Cancer
在本文中，我们提出了一种新的方法remMap -正则化多元回归识别MAster预测-在高维低样本设置下拟合多元响应回归模型。remMap的动机是基于多种类型的高维基因组数据来研究不同生物分子之间的调控关系。特别是，我们有兴趣研究DNA拷贝数的改变对RNA转录水平的影响。为此，我们通过多变量线性回归来模拟RNA表达水平对DNA拷贝数的依赖性，并利用适当的正则化来处理高维数以及合并所需的网络结构。本文还讨论了调谐参数的选择准则。所提出的方法的性能说明通过广泛的仿真研究。最后，将remMap应用于乳腺癌研究，其中测量了172个肿瘤样本的全基因组RNA转录水平和DNA拷贝数。我们在细胞带17 q12-q21中确定了一个trans-hub区域，该区域的扩增影响了30多个非连锁基因的RNA表达水平。这些发现可能有助于更好地了解乳腺癌病理学。
2009-06-19 stat.AP stat.ME
Analysis of Genomic and Transcriptomic Variations as Prognostic Signature for Lung Adenocarcinoma
肺癌是全世界死亡人数最多的主要原因，肺腺癌（LUAD）是肺癌最常见的形式。在这项研究中，我们对LUAD患者的突变进行了综合荟萃分析，包括单核苷酸变异（SNV），拷贝数变异（CNV），RNA-seq和临床数据，这些数据从癌症基因组图谱（TCGA）中下载。我们整合了SNV和CNV基因，差异表达基因（DEG）和活性子网络中的DEG来构建预后特征。使用具有Lasso罚分的Cox比例风险模型（LOOCV）来鉴定不同基因类别中的最佳基因签名。通过使用基于所选基因签名计算的患者的风险评分，将训练和测试数据中的患者聚类为高风险组和低风险组。我们生成了12个基因签名（DEPTOR、ZBTB 16、BCHE、MGLL、MASP 2、TNNI 2、RAPGEF 3、SGK 2、MYO 1A、CYP 24 A1、PODXL 2、CCNA 1）用于总生存期预测。高危组与低危组的生存时间差异有统计学意义。这12个基因标签可以预测预后，它们是LUAD患者生存的潜在预测因子。
2019-12-04 q-bio.GN stat.AP
Rank-based Lasso -- efficient methods for high-dimensional robust model selection
我们考虑在大数据库中识别重要预测因子的问题，其中响应变量依赖于解释变量的线性组合，通过未知的链接函数，被来自未知分布的噪声破坏。我们利用自然，稳健和有效的方法，它依赖于用它们的秩替换响应变量的值，然后通过使用众所周知的Lasso来识别重要的预测因子。我们提供了新的一致性结果，建议的程序（称为，RankLasso "），并提出其阈值和自适应版本，扩大其应用范围。我们的理论结果表明，这些修改可以识别的一组相关的预测下更广泛的数据生成的情况下，比常规的RankLasso。理论结果得到了仿真研究和实际数据分析的支持，表明即使误差项来自柯西分布且连接函数是非线性的，我们的方法也能正确识别相关的预测因子。它们还证明了在预测因子基本相关的情况下RankLasso修改版本的优越性。数值研究还表明，RankLasso在模型选择方面的表现明显优于LADLasso，LADLasso是一种成熟的稳健模型选择方法。
2019-11-16 stat.ME
False Variable Selection Rates in Regression
最近有兴趣将错误发现率（FDR）的思想扩展到回归设置中的变量选择。传统上，在这些设置中的FDR已经根据全回归模型的系数来定义。最近的论文一直在努力控制这个数量时，预测相关。本文表明，这个完整的模型定义的FDR遭受不直观的和潜在的不良行为的存在相关的预测。我们提出了一个新的错误选择错误的标准，错误的可变率（FVR），避免了这些问题，并表现在一个更直观的方式。我们讨论了这个标准的行为，以及它如何与传统的FDR相比，以及提出的指导方针，以确定在特定的环境中是适当的。最后，我们提出了一个简单的估计程序FVR逐步变量选择。我们分析了这种估计的性能，并在文献中最近的估计连接。
2013-02-10 stat.ME
Component Selection in the Additive Regression Model
与线性回归模型中的变量选择类似，在流行的可加性回归模型中选择显著性成分是非常有趣的。然而，这些分量是未知的独立变量的光滑函数，是不可观测的。因此，需要某种近似。在本文中，我们提出了一种惩罚回归样条近似和组变量选择的组合，称为拉索型样条方法（LSM），来处理这个组件选择问题，在每个组中的强相关变量的发散数量。结果表明，所提出的方法可以同时选择有效分量和估计非参数加性函数分量，同时具有最优的收敛速度。为了使LSM在计算中稳定，并能够适应其估计的分量函数的光滑程度，加权幂样条基和投影加权幂样条基的建议。他们的表现是通过模拟研究，在两个设置独立的预测和相关的预测，分别，并出现优于竞争的方法的性能。将该方法推广到实际数据的部分线性回归模型分析，得到了可靠的结果。
2010-12-30 stat.ME
Modeling Educational Performance Using School Demographics and Teacher Characteristics
University of South Alabama（南阿拉巴马大学）
提出自适应加权组融合LASSO估计器，在统一惩罚回归框架中联合进行变量选择、组正则化和系数融合，通过ADMM算法求解，并证明渐近性质，在教育数据中提升模型可解释性和预测精度。
2026-06-29 stat.ME
An Approach of Bayesian Variable Selection for Ultrahigh Dimensional Multivariate Regression
在许多实践中，科学家特别感兴趣的是检测哪些预测因子与多变量响应真正相关。将多个响应建模为一个向量比逐个分离每个分量更准确。这对于具有多个相关成分的复杂性状尤其如此。提出了一种贝叶斯多变量选择（BMVS）方法，用于从一个多维候选库中选择影响多变量响应的重要预测因子。通过应用样本大小相关的spike和slab先验，BMVS方法在一定条件下满足强选择一致性性质，这代表了BMVS优于其他现有的基于贝叶斯多元回归的方法。该方法考虑了多个响应的协方差结构而不假设独立性，并通过快速更新MCMC过程将协方差相关参数的估计与所有回归参数集成到一个框架中。通过仿真表明，BMVS方法优于其他一些相关的频率论和贝叶斯方法。所提出的BMVS方法具有广泛应用的灵活性，包括具有多种相关表型和大规模遗传变异和/或环境变量的全基因组关联研究，如真实数据分析部分所示。所提出的方法的计算机代码和测试数据作为一个R包。
2021-11-15 stat.ME
Power analysis of knockoff filters for correlated designs
Massachusetts Institute of Technology（麻省理工学院）
Barber和Candès 2016年引入的山寨过滤器是一个优雅的框架，用于控制变量选择中的错误发现率。虽然实证结果表明，这种方法并不太保守，但没有结论性的理论结果，其权力。当预测因子是独立同分布时。高斯，已知当信噪比趋于无穷大时，敲除滤波器在可以使FDR同时变为0和功率变为1的意义上是一致的。在这项工作中，我们研究的情况下，预测有一个一般的协方差阵$Σ$。我们引入一个简单的功能称为有效信号不足（ESD）的协方差阵$Σ$，预测各种变量选择方法的一致性。特别是，ESD揭示了精度矩阵$Σ^{-1}$的结构在一致性中起着核心作用，因此，预测器的条件独立结构也是如此。为了利用这种连接，我们引入了条件独立敲除，这是一个简单的过程，能够与更复杂的敲除过滤器竞争，并且当预测器服从高斯树图形模型时（或者当图形足够稀疏时）定义。我们的理论结果得到了合成数据的数值证据的支持。
2020-01-09 cs.IT cs.LG math.IT
SegCorr: a statistical procedure for the detection of genomic regions of correlated expression
动机：检测基因组中相邻基因之间表达的局部相关性已被证明是鉴定癌症中转录失调的可能原因的有效策略。它已被成功地用于说明机制的作用，如拷贝数变异（CNV）或表观遗传改变的因素，可能会显着改变大的染色体区域（基因沉默或基因激活）的表达。结果如下：相关区域的识别需要将基因表达相关矩阵分割成均匀相关基因的区域，并评估观察到的局部相关性是否显著高于背景染色体相关性。提出了一个统一的统计框架来实现这两个任务，其中使用动态规划算法有效地执行最佳分割，然后使用精确的测试过程来实现高度相关区域的检测。我们还提出了一个简单而有效的程序来纠正表达信号的机制已经知道影响表达相关性。所提出的程序，称为SegCorr的性能和鲁棒性，模拟数据进行评估。该程序说明了癌症数据，其中的信号进行校正的相关性可能引起的拷贝数的变化。校正允许检测与DNA甲基化相关性高的区域。可用性和实施：R软件包SegCorr在CRAN上可用。
2015-04-22 stat.ME
Robust Dual-Regularized Variable Selection under Outlier Contamination
Case Western Reserve University（凯斯西储大学）；University of North Dakota（北达科他大学）；CNRS UMR 6205, Univ Bretagne Sud（法国国家科学研究中心联合研究实验室第6205号，南布列塔尼大学）
针对外点污染下单指标模型的变量选择问题，提出两阶段稀疏中位数梯度外积（smOPG）方法，结合中位数回归与局部加权实现鲁棒性，模拟与实证均优于现有方法。
2026-09-21 stat.CO stat.ME stat.ML
Ultrahigh Dimensional Feature Selection via Kernel Canonical Correlation Analysis
高维变量选择是基因组学等许多科学领域的一个重要问题。本文提出了一种基于核典型相关分析的可靠独立特征筛选方法（KCCA-SIS）。KCCA- SIS易于实现和应用.与Fan和Lv [2008]提出的基于Pearson相关性（SIS）的确定独立性筛选方法相比，KCCA-SIS可以处理变量间的非线性依赖关系。与Li等人[2012]提出的基于距离相关性的确定独立性筛选方法（简称DC-SIS）相比，KCCA-SIS具有无标度、无分布性，并且基于高斯核的普适特性（Micchelli等人[2006]）具有更好的近似结果。KCCA-SIS比SIS和DC-SIS更通用，因为SIS和DC-SIS对应于特定的内核选择。与Balasubramanian等人[2013]开发的Hilbert Schmidt独立性准则-Sure独立性筛选（sup-HSIC-SIS，简称）的上确界相比，KCCA-SIS是无标度的，消除了特征和响应变量的边缘变化。KCCA-SIS的应用不需要对响应变量和预测变量之间的模型假设，可用于多维数据分析。与DC-SIS和sup-HSIC-SIS类似，KCCA-SIS也可以直接用于筛选分组预测因子和多变量响应变量。通过仿真研究表明，KCCA-SIS具有一定的筛选性能，并具有较好的性能。我们应用KCCA-SIS研究人类大脑发育时空基因表达数据集中的自闭症基因，并获得了更好的结果相比，其他现有的…
2016-06-02 stat.ME
FDR-Controlled Variable Selection for Generalized Linear Models and Cox Regression with Virtual Dummies
TU Darmstadt（达姆施塔特工业大学）
本文提出一种基于虚拟哑变量的FDR控制变量选择方法，适用于广义线性模型和Cox回归，通过扩展T-Rex选择器，在保持分布等价性下实现内存高效选择，并经模拟和真实数据验证。
2026-09-25 eess.SP stat.ME
Dimension Reduction for Spatially Correlated Data: Spatial Predictor Envelope
降维是分析高维数据的重要工具。预测因子包络是一种用于回归的降维方法，其假设预测因子的某些线性组合对回归是无关紧要的。与传统的极大似然和最小二乘估计相比，该方法在估计效率和预测精度上都有很大的提高。虽然预测包络已经开发和研究了独立的数据，没有工作已经做了调整预测包络空间数据。在这项工作中，预测包络适应流行的空间模型，形成空间预测包络（SPE）。最大似然估计的SPE推导出，随着渐近分布的估计给出一定的假设，显示SPE估计是渐近更有效的比原来的空间模型的估计。通过模拟研究和地球化学数据集的分析说明了所提出的模型的有效性。
2022-01-06 stat.ME
Regression based thresholds in principal loading analysis
主载荷分析是一种降维方法，它丢弃对协方差阵只有很小失真影响的变量。作为一种特殊情况，主载荷分析丢弃与其余变量不相关的变量。另一方面，在多元线性回归中，既不与其余预测因子相关也不与因变量相关的预测因子具有等于零的回归系数。因此，如果目标是选择多个预测变量，则丢弃不相关的变量，因为它也在主载荷分析中完成。然而，这两种方法选择相同的变量不仅发生在零相关的特殊情况下。我们贡献的条件下，这两种方法共享相同的变量选择。此外，我们扩展了这些条件，提供了一个选择的阈值在主负荷分析，只遵循建议的基础上模拟结果到目前为止。
2022-03-21 econ.EM math.ST stat.TH
Group least squares regression for linear models with strongly correlated predictor variables
传统的最小二乘回归主要研究单个预测变量的影响，但强相关变量会产生多重共线性，这使得研究它们的影响变得困难。现有的处理多重共线性的方法，如岭回归是复杂的。为了解决多重共线性问题，而不放弃简单的最小二乘回归，对于预测变量在组内相关性强，但组间相关性弱的情况下，我们建议用组方法研究最小二乘回归的组的影响。使用强相关变量的所有正相关安排，我们首先表征组的影响是有意义的，可以准确地估计。然后，我们提出了组的方法与数值例子，并证明其优势，现有的方法处理多重共线性。我们还解决了一个常见的误解的最小二乘估计模型的预测精度，并通过一个例子讨论了类似的群体效应在广义线性模型。
2022-12-21 stat.ME
ARMAr-LASSO: Mitigating the Impact of Predictor Serial Correlation on the LASSO
Penn State University, USA（宾夕法尼亚州立大学）
ARMAr-LASSO通过预白化预测变量以减轻序列相关性影响，提升稀疏线性模型的估计和预测准确性。
2026-01-24 math.ST stat.TH
Bayesian Conditional Tensor Factorizations for High-Dimensional Classification
在许多应用领域中，收集分类响应和高维分类预测因子的数据，目标是在对重要预测因子进行推断的同时构建用于分类的简约模型。在基因组学等环境中，预测因子之间可能存在复杂的相互作用。通过使用一个精心构造的塔克分解，我们定义了一个模型，可以描述任何条件概率，同时促进变量的选择和建模的高阶相互作用。贝叶斯方法之后，我们提出了一个马尔可夫链蒙特卡罗算法的后验计算容纳不确定性的预测要包括在内。在近稀疏假设下，后验分布的条件概率实现接近参数率的收缩，即使在超高维设置。使用模拟的例子和生物医学应用程序的方法进行说明。
2013-01-21 stat.ME
Penalized Linear Models for Highly Correlated High-Dimensional Immunophenotyping Data
针对高相关性和偏态分布的高维免疫表型数据，提出Bootstrap增强正则化方法（BERM），通过两步策略提升变量选择与估计精度，并在1型糖尿病免疫参数识别中验证其有效性。
2025-04-11 stat.AP
Virtual Dummies: Enabling Scalable FDR-Controlled Variable Selection via Sequential Sampling of Null Features
本文提出VD-LARS方法，通过序列采样_null_特征实现高维变量选择的FDR控制，大幅降低内存和运行时间，同时保持精确选择律和FDR保证。
2026-04-08 stat.ME stat.ML
Semi-standard partial covariance variable selection when irrepresentable conditions fail
传统的变量选择方法可能会失败的符号一致时，不可表示的条件被违反。当预测变量的数量超过样本量时，这在高维设置中尤其重要。在本文中，我们提出了一个新的半标准的偏协方差（SPAC）的方法，这是能够减少其他协变量的相关性影响，同时充分捕捉系数的大小。建议的SPAC是有效的，在选择协变量有直接影响的响应变量，而消除的预测因子，这是不直接相关的响应，但与相关的预测因子高度相关。我们表明，建议的SPAC方法与Lasso惩罚或光滑剪切绝对偏差（SCAD）的惩罚具有强的符号一致性，在高维设置。数值研究和创伤后应激障碍的数据应用程序也证实，所提出的方法优于现有的Lasso，自适应Lasso，SCAD，Peter-Clark-simple算法，因子调整正则化模型选择方法时，不可表示的条件失败。
2022-04-24 math.ST stat.ME stat.TH
Simultaneous Variable Selection, Clustering, and Smoothing in Function on Scalar Regression
我们解决的问题，多重共线性的功能上的标量回归模型，通过使用事先同时选择，集群，并平滑功能的影响。我们的方法对高度相关的预测因子的影响进行分组，在不从模型中删除相关预测因子的情况下进行降维。我们通过仿真研究验证了我们的方法，表现出优越的性能相对于现有的降维方法在功能上的标量文献。我们还展示了使用我们的模型的特定年龄的生育率从联合国性别信息数据库的数据集。
2019-06-25 stat.AP
Elastic Net Procedure for Partially Linear Models
变量选择在高维数据分析中起着重要的作用。然而高维数据往往导致强相关变量问题。本文提出了部分线性模型的弹性网方法，并证明了其估计的群体效应。通过仿真研究，我们表明，强相关变量的问题，可以更好地处理弹性网程序比Lasso，ALasso和岭。基于实证分析，我们可以得到，当预测因子的数量$p$远大于样本量$n$时，弹性网程序特别有用。
2015-07-22 math.PR stat.ME stat.ML
High-dimensional regression and variable selection using CAR scores
变量选择是一个困难的问题，特别是在高维基因组数据的分析具有挑战性。在这里，我们介绍了CAR得分，一种新的和高度有效的标准变量排名的线性回归的基础上马氏解相关的解释变量。CAR评分提供了一个规范排序，鼓励对相关预测因子进行分组并降低对抗性变量的权重。它分解了解释的方差的比例，是边际相关和标准化回归系数之间的中间值。作为总体数量，任何优选的推断方案都可以用于其估计。使用模拟，我们证明了通过CAR分数进行变量选择是非常有效的，并且产生的预测误差和真阳性率和假阳性率与现代回归技术（如弹性网和boosting）相比毫不逊色。我们通过分析与糖尿病进展以及衰老对人脑基因表达的影响有关的数据来说明我们的方法。实现CAR评分回归的R包“care”可从CRAN获得。
2011-07-19 stat.AP stat.ME
Modular Bayes screening for high-dimensional predictors
在许多应用领域中，随着多维预测因子的常规收集，快速识别有希望的预测因子的小子集的筛选方法已经变得司空见惯。我们提出了一种新的模数贝叶斯筛选（MOBS）方法，其中涉及几个新的特点，可能会导致性能的提高。MOBS首先将贝叶斯混合模型应用于响应的边缘分布，获得混合权重的后验样本、集群特定参数和每个主题的集群分配。然后引入假设检验，对应于是否包括给定的预测因子，每个假设的后验概率可有条件地分析在第一阶段中采样的未知数，并调整控制跨测试的信息借用的参数。通过对第一阶段后验样本进行边缘化，我们避免了两阶段方法中典型的不确定性估计不足。通过使用{ \em模块化}，我们大大简化了模型规范，降低了计算复杂度。我们为这种方法提供了基本的理论支持，并说明了在模拟研究中相对于竞争对手的出色性能，以及捕捉复杂变化的能力，超越了简单的差异。该方法说明了基因组学的应用程序，通过使用一个非常高维的顺式eQTL数据集，约38万个SNP。
2017-03-29 stat.ME
An algorithm for the multivariate group lasso with covariance estimation
本文研究了考虑相关误差项的多元线性回归模型的一个组Lasso估计。一个块坐标下降算法被用来计算这个估计。我们用分类数据和多变量时间序列数据进行了模拟研究，这些数据是预测变量之间自然分组的典型设置。我们的模拟研究表明，所提出的组套索估计的替代估计相比，具有良好的性能。我们说明了一个基因表达的时间序列数据集的方法。
2015-12-16 stat.CO stat.ME
Mixture Envelope Model for Heterogeneous Genomics Data Analysis
包络模型又称多元回归模型，是为解决多响应回归问题而提出的。它通过使用适应均值函数的协方差阵的最小约简子空间来度量预测变量与多重响应之间的线性关联。然而，在许多实际应用中，数据可能包含许多未知的混杂因素，或者它们只是来自不同的资源。因此，在整个人口中可能存在某种异质依赖性，并将他们分为不同的群体。例如，在乳腺癌人群中存在几种亚型，每个亚型组具有不同的基因相互作用机制。在这种情况下，使用所有观察值构建单个模型会忽略组间的差异，而由于未知的组分类，估计每组的多个模型是不可行的。针对这一问题，本文提出了一种混合包络模型，该模型为异构数据构建了一个分组模型，并通过一种输入-条件一致性（ICC）算法将异构数据分类到不同的组中。仿真结果表明，我们提出的方法优于现有的方法在分类和预测。最后，我们将我们提出的方法应用到乳腺癌分析中，以识别炎性乳腺癌亚型患者，并评估micro-RNA和信使RNA基因表达之间的关联。
2018-05-04 stat.ME
Measuring Variable Importance via Accumulated Local Effects
Northwestern University（西北大学）
本文提出基于累积局部效应的新型变量重要性度量方法，解决了预测变量相关时的外推和重要性衰减问题，且计算效率更高。
2025-12-24 stat.ME
Small-sample Brain Mapping: Sparse Recovery on Spatially Correlated Designs with Randomization and Clustering
INRIA（法国国家信息与自动化研究所）；NeuroSpin（NeuroSpin神经影像研究中心）；CEA（法国原子能委员会）
功能性神经成像可以测量大脑？人对外界刺激的反应。它被用来执行大脑映射：从这些观察中识别所涉及的大脑区域。这个问题可以被转换成线性监督学习任务，其中神经成像数据被用作刺激的预测器。大脑映射然后被看作是一个支持恢复问题。在功能性MRI（fMRI）数据上，这个问题特别具有挑战性，因为i）由于有限的采集时间，样本的数量很少，以及ii）变量是强相关的。我们建议克服这些困难，通过聚类的原始变量得到的新变量使用稀疏回归模型。使用随机化技术，例如自举样本和变量聚类，可以提高稀疏方法的恢复性能。我们证明了我们的方法在广泛的模拟研究以及两个fMRI数据集的好处。
2012-06-27 cs.CV cs.LG stat.AP
Efficient Clustering of Correlated Variables and Variable Selection in High-Dimensional Linear Models
Indian Statistical Institute（印度统计研究所）
本文提出了一种自适应聚类Lasso（ACL）方法，用于变量强相关的高维稀疏回归模型的变量选择。为了处理相关变量，聚类或分组变量，然后追求模型拟合的概念被广泛接受。当维数很高时，找到一个合适的群结构和原来的问题一样困难。ACL是一个三阶段的过程，在第一阶段，我们使用Lasso（或其自适应或阈值版本）进行初始选择，然后我们还包括那些未被Lasso选择但与Lasso选择的变量密切相关的变量。在第二阶段，我们集群的变量的基础上减少预测集，并在第三阶段，我们进行稀疏估计，如Lasso集群代表或组Lasso的基础上产生的结构聚类过程。我们表明，我们的程序是一致的和有效的，在寻找真正的底层人口群体结构（假设不可表示和β-min条件下）。我们还研究了我们的方法的组选择的一致性，我们使用模拟和伪真实数据集的例子来支持理论。
2016-03-11 cs.LG stat.ML
Informative co-data learning for high-dimensional Horseshoe regression
高维数据通常来自临床基因组学研究，以推断特定性状的相关预测因子。提高预测性能的一种方法是包括来自先验知识或先前研究的预测因子的信息。这种信息也称为"共同数据“。为此，我们开发了一种新的贝叶斯模型，包括协数据在一个高维回归框架，称为信息马蹄回归（infHS）。所提出的方法回归协数据变量的回归参数的先验方差，改善变量的选择和预测。我们实现了一个吉布斯采样器和变分近似算法。前者适用于中等尺寸的应用程序，除了预测，目标后验推理，而后者的计算效率允许处理非常大量的变量。我们展示了包括共同数据的好处与模拟研究。最后，我们证明了infHS优于两个基因组学应用的竞争方法。
2023-03-10 stat.AP stat.CO stat.ME
Integrative Predictor-Dependent Learning of Network Data and Spatially Correlated Nodal Attributes for Multimodal Brain Imaging in Aging
Texas A&M University（德克萨斯农工大学）
本文提出一个预测依赖的联合建模框架，用于多受试者共享节点的网络数据，结合空间坐标和空间相关节点属性，通过整合结构性和功能性信息，研究脑连接模式与衰老相关预测变量的关系。
2026-03-22 stat.AP stat.ME
Split Bregman method for large scale fused Lasso
University of California Irvine（加州大学尔湾分校）
回归或分类系数的排序发生在许多实际应用中。Fused Lasso通过$\ell_1$范数正则化器显式正则化相邻系数之间的差异来利用这种排序。然而，由于正则化项的不可分离性和非光滑性，求解融合Lasso问题在计算上要求很高。现有的求解器只能处理中小规模的问题，或者预测矩阵为单位矩阵的融合Lasso问题的特殊情况。本文提出了一种基于分裂Bregman方法的迭代算法来求解一类大规模融合Lasso问题，包括广义融合Lasso问题和融合Lasso支持向量分类器问题。我们使用增广拉格朗日方法推导出我们的算法，并证明其收敛性。我们的方法的性能进行了测试，人工数据和现实世界的应用程序，包括蛋白质组数据从质谱和基因组数据阵列CGH。我们证明，我们的方法是许多倍的速度比现有的求解器，并表明，它是特别有效的大p，小n的问题。
2010-06-26 cs.LG math.OC stat.CO
Enhancing Computational Efficiency in High-Dimensional Bayesian Analysis: Applications to Cancer Genomics
本文系统评估了 Two-Block Gibbs 采样器在高维贝叶斯收缩模型中的性能，证明其相比 Three-Block Gibbs 采样器计算效率更高、收敛更快，并通过 NCI-60 癌细胞基因表达预测蛋白质表达的应用验证了其价值。
2024-10-22 stat.CO stat.ME
A testing-based approach to the discovery of differentially correlated variable sets
给定在两种采样条件下获得的数据，识别在一种条件下与另一种条件下行为不同的变量通常是有意义的。我们介绍了一种差分分析的二阶行为称为差分相关挖掘（DCM）。DCM方法识别差异相关的变量集，具有在一个样本条件下集合中变量之间的平均成对相关性高于另一个样本条件的属性。DCM基于迭代搜索过程，该过程自适应地更新候选变量集的大小和元素。更新是通过假设检验的个别变量，其基础上的渐近分布的平均微分相关。我们通过将其应用于模拟数据以及基因组学和脑成像中的最新实验数据集来研究DCM的性能。
2016-02-25 stat.ME
Correlation and variable importance in random forests
研究了预测变量相关时随机森林算法的变量选择问题。在高维回归或分类框架中，变量选择是一项困难的任务，在存在高度相关的预测因子时变得更具挑战性。首先，我们对可加回归模型的排列重要性测度进行了理论研究。这使我们能够描述预测变量之间的相关性如何影响排列重要性。我们的研究结果激励使用递归特征消除（RFE）算法在这种情况下的变量选择。该算法使用排列重要性作为排序准则，递归地消除变量。接下来的各种模拟实验说明了RFE算法的效率，用于选择少量的变量以及良好的预测误差。最后，该选择算法进行了测试的Landsat卫星数据从UCI机器学习知识库。
2016-04-18 stat.ME
Linear Regression Models in Epidemiology
本文建议使用回归模型分析流行病学数据，该模型能够对这些数据进行主题（流行病学）解释，无论是不相关的还是相关的预测因子。为此，响应函数不仅应包括预测变量中的线性项，还应包括高阶项（例如二次项和交叉项）。对于回归模型的流行病学解释，建议构造从一般回归函数导出的条件函数，其中除一个预测变量外，所有预测变量的值保持固定。与传统的线性预测模型的基础上，在任何变量的系数进行解释的技术，我们的方法提出解释这个条件函数，这是多变量的任何预测依赖于所有其他预测的值。正是这样的函数可以描述Y和预测因子之间的关系，在不同的预测因子域中具有不同的形式。本文讨论了差异的情况下，涉及相关和不相关的预测变量之间的条件函数的解释。举例说明流行病学和环境数据的回归模型的构建和分析。
2020-02-19 stat.AP stat.ME
Bayesian Univariate-Guided Sparse Regression for Ultra-High-Dimensional Data
Virginia Commonwealth University（弗吉尼亚联邦大学）
本文提出BUGS框架，通过连续调节收缩实现边际关联信息的直接整合，提升信号噪声分离。BUGS-Active在超高维下实现高效计算，应用于DNA甲基化研究，展现准确预测与可解释稀疏选择。
2026-10-05 stat.ME
Data integration in high dimension with multiple quantiles
本文讨论了来自多个来源（实验）的高维数据的分析，这些数据具有不同的可能相关的响应，但共享相同的预测因子集。预测因子的测量值在实验中可能不同。我们引入了一种新的回归方法，多个分位数选择那些预测影响任何响应在任何分位数水平和估计非零参数。我们的估计是一个惩罚目标函数的最小化，它聚集了来自不同实验的数据。我们建立了估计量的模型选择相合性和渐近正态性。此外，我们提出了一个信息准则，它也可以用于一致的模型选择。模拟和两个数据的应用程序说明了我们的方法的优点，它考虑到跨实验和分位数水平的预测引起的组结构。
2020-06-29 stat.ME
A generalized Bayesian approach for high-dimensional robust regression with serially correlated errors and predictors
本文提出基于缩放伪Huber损失的广义贝叶斯方法，用于高维稳健回归，在序列相关误差和预测变量下实现无需调节参数选择的正式统计推断，并通过适当先验保证稀疏高维设置中参数估计和变量选择的理论性质与稳健性能。
2025-03-12 math.ST stat.CO stat.ME
Targeted empirical Bayes for more supervised joint factor analysis
针对标准联合贝叶斯因子模型在响应变量不依赖预测因子主导主成分时难以识别信号的问题，提出靶向响应预测性能的经验贝叶斯方法估计残差方差，提升了模拟效果，并应用于环境暴露健康效应评估的NHANES数据。
2025-05-16 stat.ME
Sufficient dimension reduction for regression with spatially correlated errors: application to prediction
本文针对空间相关高维数据预测问题，提出基于充分降维的方法，在逆回归中引入可分离空间协方差模型和空间自回归误差模型，推导最大似然估计量并结合非参数前向回归进行预测，通过模拟和实际数据验证了其有效性。
2025-02-04 math.ST stat.ME stat.TH
Smooth Adjustment for Correlated Effects
本文考虑了一个含校正变量的高维线性回归模型。近年来，各种方法已经发展起来，但它仍然是具有挑战性的，保持准确的估计时，有复杂的相关结构之间的预测和响应。我们提出了一个自适应的和“反向”的惩罚正则化来解决这个问题。这种惩罚并没有缩小变量，而是专注于消除收缩偏差并鼓励分组效应。结合l_1罚函数和最小最大凹罚函数（MCP），提出了相关效应平滑调整（SACE）和相关效应广义平滑调整（GSACE）两种方法。与传统的自适应估计器相比，所提出的方法受初始估计器的影响较小，可以减少初始估计的假阴性。所提出的方法可以被看作是新的惩罚的调整参数的线性函数，并示出在极高的相关变量的情况下和弱相关变量的情况下，准确地估计系数。在较弱的正则条件下，证明了该方法满足一定的预言性质.我们通过模拟和应用表明，所提出的方法往往优于其他方法。
2019-01-16 stat.ME
