Adaptive Test for High Dimensional Quantile Regression
Tiangong University（天津工业大学）；Nankai University（南开大学）；Fujian Normal University（福建师范大学）
本文提出了一种自适应检验方法，用于高维分位数回归系数检验，通过结合max型和sum型统计量的特性，实现了在不同稀疏水平下的稳健性能。
2025-12-25 stat.ME
High-dimensional Statistical Inference and Variable Selection Using Sufficient Dimension Association
Florida International University（佛罗里达国际大学）；Oklahoma State University（俄克拉荷马州立大学）；Oregon Health & Science University（俄勒冈健康与科学大学）
本文提出一种无需特定回归模型或稀疏性假设的高维变量选择与推断方法，通过构建三种检验统计量并控制假发现率，验证了其有效性。
2025-09-17 stat.ME
Sparsity regret bounds for individual sequences in online linear regression
École Normale Supérieure（巴黎高等师范学院）
考虑了任意确定性序列上的在线线性回归问题，当环境维数d可以远大于时间轮数T时。我们引入了稀疏遗憾界的概念，这是一个确定性的在线对应最近的风险界在稀疏的情况下，在随机设置。我们证明了这样的遗憾界的在线学习算法称为SeqSEW和指数加权和数据驱动的截断的基础上。在第二部分中，我们将该算法的无参数版本应用于随机设置（随机设计的回归模型）。这产生了与Dalalyan和Tsybakov（2011）相同的风险边界，但解决了其中两个悬而未决的问题。特别是我们的风险界是自适应的（对数因子）的未知方差的噪声，如果后者是高斯。我们还讨论了固定设计的回归模型。
2013-04-12 cs.LG math.ST stat.ML
Generalized Reduced-Rank Regression with Homogeneity Pursuit
本文在广义线性模型下统一研究同质性、低秩和稀疏性假设，提出正则化极大似然估计方法，证明统计一致性，并通过模拟和树种数据验证其有效性。
2025-01-25 stat.ME
Optimal Sparsity Testing in Linear regression Model
研究了高维线性回归模型的稀疏性检验问题。问题是测试回归参数$θ^*$的非零分量（也称为稀疏度）的数量是否小于或等于$k_0$。我们查明了这个问题的最小最大分离距离，这相当于量化$k_1$稀疏向量$θ^*$有多远必须从一组$k_0$稀疏向量，以便测试能够拒绝原假设具有高概率。考虑了两种情况。在独立情景中，协变量为i.i.d.。正态分布，噪声水平已知。在一般情况下，协变量的协方差阵和噪声水平都是未知的。虽然在这两种情况下的极大极小分离距离不同，但它们实际上都取决于$k_0$和$k_1$，说明对于这种复合测试问题，空值和备择假设的大小都起着关键作用。
2020-04-23 math.ST stat.TH
Adaptive estimation of High-Dimensional Signal-to-Noise Ratios
本文研究了高斯随机设计下高维线性回归模型中残差方差、可解释方差比例$η$和信号强度估计的等价问题。我们的目的是了解不知道稀疏的回归参数，不知道分布的设计上的极小极大估计率的$η$的影响。根据回归参数的稀疏性$k$，$η$的最优估计量依赖于估计回归参数或基于U型统计量，并且具有取决于$k$的极大极小率。在重要的情况下，$k$是未知的，我们建立了一个自适应的过程，其收敛速度同时达到最极小极大风险在所有$k$的对数损失，我们证明是不可避免的。最后，设计分布的知识被证明发挥了关键作用。当设计的分布是未知的，一致的估计解释方差确实是可能的，在更窄的制度比已知的设计分布。
2017-03-16 stat.ME
Fundamental limits and algorithms for sparse linear regression with sublinear sparsity
University of Cambridge（剑桥大学）
本文为次线性稀疏度机制下的稀疏线性回归建立了精确的归一化互信息和MMSE渐近表达式，通过推广自适应插值方法并提出改进的AMP算法以严格分析了其状态演化，证明了传统线性假设对稀疏信号并非必要。
2023-04-08 cs.IT cs.LG math.IT
Confidence Intervals for High-Dimensional Linear Regression: Minimax Rates and Adaptivity
置信集在统计推断中起着基础性的作用。本文考虑随机设计下高维线性回归的置信区间。我们首先建立了在给定稀疏参数的Oracle环境下，对于置信区间，极小极大期望长度的收敛速度。然后，重点是适应稀疏的置信区间的建设的问题。理想情况下，自适应置信区间的长度应该自动调整到未知回归向量的稀疏性，同时保持预先指定的覆盖概率。它示出，这样的目标是在一般情况下是无法实现的，除了当稀疏参数被限制到一个小区域的置信区间具有通常的参数率的最佳长度。进一步证明了自适应性的缺乏不是由于极小极大框架的保守性，而是从根本上由准确学习偏差的困难造成的。
2015-11-27 math.ST stat.TH
Adaptive Fused LASSO in Grouped Quantile Regression
本文研究了解释变量分组的分位数模型。为了既保证参数组的稀疏性，又保证连续两组变量之间的稀疏性，我们提出并研究了一种自适应融合组LASSO分位数估计。变量组的数量可以是固定的或不同的。我们发现在经典假设下的收敛速度，我们表明，所提出的估计满足预言性质。
2016-07-19 math.ST stat.TH
Honest confidence sets for high-dimensional regression by projection and shrinkage
在非参数回归中，构造置信集的诚实性问题产生了。虽然非参数估计中的最优率可以用来构造尖锐的置信集，但在估计光滑度后，置信水平往往会严重下降。类似地，对于高维回归，稀疏估计的预言不等式可以用来构造尖锐的置信集。然而，稀疏度本身是未知的，需要估计，导致诚实问题。为了解决这个问题，我们开发了一种新的方法来构建诚实的信心集稀疏高维线性回归。我们构造的关键思想是将信号分为强组和弱组，然后分别为每组构造置信集。这是通过投影和收缩方法实现的，后者通过Stein估计和相关的Stein无偏风险估计来实现。我们的置信集是诚实的，在整个参数空间没有任何稀疏约束，而其直径适应最佳速率的$n^{-1/4}$时，真正的参数确实是稀疏的。通过广泛的数值比较，我们证明了我们的方法优于其他竞争对手，具有有限样本的大利润，包括基于底层模型的真正稀疏性的Oracle方法。
2019-05-03 math.ST stat.ME stat.TH
Hypothesis testing for high-dimensional sparse binary regression
本文研究了高维稀疏二元回归模型中极大极小假设检验的检测边界。出于对罕见变异效应的基因测序关联研究的动机，我们研究了当设计矩阵稀疏时假设检验问题的复杂性。我们观察到一个新的现象，在检测边界的行为，不发生在高斯线性回归的情况下。我们推导出的检测边界作为两个组件的函数：一个设计矩阵稀疏指数和信号强度，其中每一个是一个函数的稀疏性的替代品。对于任何替代方案，如果设计矩阵稀疏性指数过高，则无论信号强度的大小如何，任何测试都是渐近无效的。对于稀疏性指数不太高的二进制设计矩阵，我们的结果与高斯情况下的结果是平行的。在这种情况下，我们推导出密集和稀疏制度的检测边界。对于密集制度，我们证明了广义似然比是率最优的，稀疏制度，我们提出了一个扩展的更高的批评测试，并表明它是率最优和尖锐的。我们用模拟研究说明了理论结果的有限样本性质。
2015-03-05 math.ST stat.CO stat.ME
Minimax Semiparametric Learning With Approximate Sparsity
该研究针对高维下精确稀疏假设适用范围有限的问题，形式化近似稀疏性概念，推导其下回归斜率与平均导数的极小极大速率，提出达最优速率的估计器，还发现有序与无序非参数回归的最优性边界存在差异。
2025-07-31 econ.EM math.ST stat.ML
Implicit Regularization for Group Sparsity
Texas A&M University（德克萨斯农工大学）；New York University（纽约大学）
我们研究了隐式正则化梯度下降结构稀疏通过一种新的神经重新参数化，我们称之为对角分组线性神经网络。我们展示了我们的重新参数化的以下有趣的性质：在平方回归损失上的梯度下降，没有任何明确的正则化，偏向于具有组稀疏结构的解决方案。与许多现有的理解隐式正则化的工作相比，我们证明了我们的训练轨迹不能通过镜像下降来模拟。我们分析了相应的回归问题在一般噪声设置的梯度动力学，并获得最小最优错误率。与使用对角线性网络的隐式稀疏正则化的现有界限相比，我们的分析与新的重新参数化显示出改进的样本复杂度。在退化的情况下，大小一组，我们的方法产生了一个新的算法稀疏线性回归。最后，我们证明了我们的方法的有效性与几个数值实验。
2023-01-29 cs.LG stat.ML
Testability of high-dimensional linear models with non-sparse structures
近年来，在可能非稀疏的高维模型下理解统计推断得到了广泛的关注。对于一个给定的回归系数的组成部分，我们表明，问题的难度取决于相应行的协变量的精度矩阵的稀疏性，而不是回归系数的稀疏性。我们开发了统一的和基本上统一的不可测试性的新概念，允许在广泛的替代品的测试的局限性的研究。一致不可测性确定了一个备选方案的集合，使得任何检验对该组中任何备选方案的功效渐近至多等于标称大小。新的建设的影响，包括新的极大极小可测性的结果，在目前的结果形成鲜明对比，不依赖于稀疏的回归参数。我们确定了新的可测试性和功能相关性之间的权衡。特别是，我们表明，在弱特征相关性的模型中，极大极小下界可以通过测试，其功率具有$\sqrt{n}$率，而不管模型稀疏性的大小。
2019-11-25 math.ST stat.ME stat.ML
Inference in High-dimensional Linear Regression
当潜在解释变量的数目大于样本量时，本文提出了一种线性回归模型的推断方法。该方法将每个回归系数依次作为兴趣参数，其余系数是讨厌的参数，并寻求最佳的兴趣尊重变换，在概念费舍尔信息矩阵的相关块上引起稀疏性。通过对每个变量进行边际最小二乘分析来利用诱导的稀疏性，如在析因实验中，从而避免惩罚。一个参数化的问题被发现是特别方便，无论是计算和数学。特别是，它允许的最佳转换问题的解析解，便于理论分析和比较其他工作。与正则化回归（如lasso及其扩展）相比，既不需要选择调整，也不需要重新调整解释变量，确保保留回归系数的物理解释。推荐的用法是在一组更广泛的推理陈述中，以反映模型和参数的不确定性。扩展到其他回归模型的工作所涉及的考虑因素进行了简要讨论。
2022-11-11 math.ST stat.ME stat.TH
Functional Linear Regression with Mixed Predictors
我们研究了一个功能性线性回归模型，该模型处理功能性反应，并允许功能性协变量和高维向量协变量。该模型是灵活的，嵌套在文献中的几个功能回归模型作为特殊情况。基于再生核希尔伯特空间（RKHS）理论，提出了一种能适应离散样本点上函数变量观测值的惩罚最小二乘估计。除了传统的光滑惩罚，一组拉索型惩罚进一步施加诱导稀疏的高维向量预测。我们推导出有限样本的理论保证，并表明我们的估计量的超额预测风险是最小最大最优的。此外，我们的分析揭示了一个有趣的相变现象，最优超额风险的光滑性和稀疏性的功能回归系数共同决定。设计了一种新的基于迭代坐标下降的高效优化算法，以同时处理光滑性和组惩罚。仿真研究和实际数据的应用说明了所提出的方法相比，在文献中的最先进的方法有前途的性能。
2022-08-23 math.ST stat.ME stat.TH
Uncertainty Quantification Under Group Sparsity
在群体稀疏下，惩罚回归中的不确定性的量化是一个重要的开放问题。在高维尺度下，假设高斯误差模型和设计矩阵及真系数的温和条件，我们建立了一种改进的参数自举方法对群套索的渐近有效性.自举样本的模拟提供了对大组系数的同时推断。通过大量的数值比较，我们证明了我们的引导方法比流行的竞争对手表现得更好，突出了其实用性。将理论结果推广到其他块范数惩罚和亚高斯误差，进一步拓宽了潜在的应用。
2017-06-04 math.ST stat.ME stat.TH
High-dimensional regression with a count response
针对计数响应的高维回归问题，提出带复杂度惩罚的惩罚最大似然估计量，证明其自适应极小极大性，给出LASSO与SLOPE凸代理实现方案并通过实验验证性能。
2024-09-13 math.ST stat.ME stat.TH
High dimensional regression and matrix estimation without tuning parameters
提出了一种在任意范数下自动适应未知稀疏性的高斯均值估计的一般理论。该理论被应用于产生自适应极小极大率最优估计在高维回归和矩阵估计，不涉及调整参数。
2015-11-28 math.PR math.ST stat.TH
Generalized Linear Models with Structured Sparsity Estimators
North Carolina State University（北卡罗来纳州立大学）
本文在广义线性模型中引入结构稀疏估计。Stucky和van de Geer（2018）最近针对固定设计和正态误差引入了最小二乘损失中的结构稀疏估计。我们扩展他们的结果去偏结构稀疏估计与广义线性模型为基础的损失。结构化稀疏估计是指在所选范数中使用可能的稀疏结构的惩罚损失函数。这些包括加权群套索，套索和规范产生的凸锥。最大的困难是不清楚如何证明两个预言不等式。第一个是初始惩罚广义线性模型估计。由于不清楚特定的可行加权逐点回归如何适合惩罚广义线性模型的预言不等式，我们需要第二个预言不等式来获得广义线性模型的二阶偏导数的样本估计的近似逆的预言界。我们的贡献有五个方面：1。通过证明隐含条件而不是假设隐含条件，将已有的预言不等式结果推广到惩罚广义线性模型中。其中一个关键问题是一个样本单点边界条件的证明及其在预言不等式中的应用。2.我们的研究结果甚至覆盖非次高斯误差和回归。3.我们提供了一个可行的加权nodewise回归证明，推广了文献中的结果，从一个简单的l_1范数的使用，从凸锥产生的规范。4.我们认识到，在可行的逐节点回归证明中使用的范数应该弱于或等于惩罚广义线性模型损失中的范数。5.通过求广义线性模型损失的奇异样本二阶偏导数的近似逆，可以消除第一步估计的偏差。
2021-04-29 cs.LG econ.EM stat.ML
Minimax rates of $\ell_p$-losses for high-dimensional linear regression models with additive measurement errors over $\ell_q$-balls
本文研究了在$\ell_p\ (1\leq p<\infty)$ -损失下具有可加误差的高维线性回归的极小极大速率，其中回归参数具有弱稀疏性。我们的下限和上界同意常数因子，这意味着所提出的估计是最小最大最优的。
2019-11-19 math.ST stat.TH
Sparse-group Convoluted Smoothed Quantile Regression in High Dimension
School of Mathematics and Statistics, Southwest University（西南大学数学与统计学院）
针对高维场景下传统组选择方法无法实现组内稀疏的问题，提出自适应两阶段稀疏组选择方法，结合卷积平滑分位数损失与两类惩罚项实现组内双水平稀疏，兼具理论保障与计算效率，在模拟及乳腺癌基因数据中表现优异。
2026-10-14 math.ST stat.ME stat.TH
Confidence regions for high-dimensional generalized linear models under sparsity
研究了高维稀疏模型中低维参数的渐近正态估计和置信区域。我们的方法是基于$\ell_1$ -惩罚的M-估计，这是用于建设的偏差校正估计。在高维参数的稀疏性假设、期望损失的光滑性条件和熵条件下，证明了该估计是渐近正态的.这导致一致有效的置信区域和低维参数的假设检验。本方法的不同之处在于它允许处理我们不能充分微分的损失函数，例如分位数损失、Huber损失或铰链损失函数。我们还提供了新的结果估计的逆费舍尔信息矩阵，这是必要的建设建议的估计。我们制定我们的结果一般模型在高层次的条件下，但这些条件详细研究广义线性模型，并提供温和的充分条件。作为特定的例子，我们调查的情况下，分位数损失和Huber损失的线性回归，并证明了性能的估计在模拟研究和真实的数据集从全基因组关联研究。我们进一步研究的情况下，逻辑斯谛回归，并说明了模拟和真实数据的估计性能。
2016-10-05 math.ST stat.ME stat.TH
Scaled minimax optimality in high-dimensional linear regression: A non-convex algorithmic regularization approach
经典的高维线性回归问题的快速收敛问题已得到广泛的研究。可以说，在实践中最快的程序之一是迭代硬控制（IHT）。然而，IHT强烈依赖于真实稀疏参数$s$的知识。本文提出了一种新的高维线性回归估计的快速算法。利用估计，支持恢复和优化之间的相互作用，我们实现了最佳的统计精度和快速收敛。我们的程序的主要优点是，它是完全自适应的，使其比最先进的IHT方法更实用。我们的程序达到最佳的统计精度比，例如，经典算法的套索。此外，我们建立了尖锐的最优结果的估计和支持恢复。因此，我们提出了一种新的迭代硬阈值算法的高维线性回归，是规模的最小最大最优（实现的预言，知道稀疏模式的估计误差，如果可能的话），快速和自适应。
2020-08-27 math.ST stat.TH
Uniform Inference for High-dimensional Quantile Regression: Linear Functionals and Regression Rank Scores
对于维数远大于样本量的模型，假设检验只有在成功地消除初始估计偏差后，才能像经典的学生化检验那样进行公式化。去偏估计量的理论可以在固定分位值的分位数回归模型的背景下发展。然而，通常需要基于分位数回归过程来制定测试，因为这会导致更稳健的测试和更稳定的置信集。此外，分位数回归中的推断需要估计所谓的稀疏函数，其取决于误差的未知密度。在本文中，我们考虑一个去偏的一致测试问题的方法。我们开发了高维回归秩分数，并展示了如何使用它们来估计稀疏函数，以及如何使它们适应涉及分位数回归过程的推断。此外，我们开发了一个Kolmogorov-Smirnov测试的位置移动的高维模型和置信集，是一致有效的许多分位数值。主要的技术成果是发展的Bahadur表示的去偏估计，是均匀的分位数和均匀收敛的分位数过程的布朗桥过程，这是独立的利益。模拟研究表明，我们的程序的有限样本特性。
2017-02-20 stat.ML
Adaptive posterior concentration rates for sparse high-dimensional linear regression with random design and unknown error variance
本文研究了随机设计与未知误差方差下的稀疏高维线性回归，证明了后验集中速率对未知稀疏度的自适应能力，并利用 fractional posterior 和 oracle inequalities 将分析扩展至模型误设情况。
2024-05-29 math.ST stat.ML stat.TH
Bivariate Matrix-valued Linear Regression (BMLR): Finite-sample performance under Identifiability and Sparsity Assumptions
Cornell University（康奈尔大学）；Capital Fund Management（资本基金管理公司）
本文提出双变量矩阵值线性回归模型，通过显式优化免费估计器在可识别性和稀疏性假设下实现参数高效估计，并通过实验验证其在有限样本下的性能。
2025-12-04 math.ST stat.ML stat.TH
A minimax optimal approach to high-dimensional double sparse linear regression
针对高维双稀疏线性回归问题，提出动态更新阈值的IHT-style迭代硬阈值流程，证明其极小极大最优性，设计自适应方案应对未知稀疏度与噪声，实现更优估计与支撑集恢复效果。
2024-12-09 math.ST stat.TH
Chi-square and normal inference in high-dimensional multi-task regression
在$B^*$的行稀疏假设下，针对具有$p$协变量、$T$任务和$n$观测值的多任务线性模型，提出了大小为$p\times T$的未知系数矩阵$B^*$的卡方和正态推断方法.允许行稀疏度$s$、维度$p$和任务数$T$随$n$增长。在高维区域$p\ggg n$中，为了利用行稀疏性，考虑MT Lasso。我们建立在MT Lasso的基础上，采用去偏置方案来校正由惩罚引起的偏置。该方案需要引入一个新的数据驱动对象，称为交互矩阵，它可以捕获不同任务中噪声向量和残差之间的有效相关性。这个矩阵是psd，大小为$T\times T$，可以有效地计算。交互作用矩阵使我们能够在高斯设计和对应于Frobenius范数一致性的$\frac{sT+s\log(p/s)}{n}\to0$下导出渐近正态和$χ^2_T$结果。对于已知和未知设计协方差$Σ$，这些渐近分布结果生成$B^*$单个条目的有效置信区间和$B^*$单行的有效置信椭圆。虽然以前的建议在分组变量回归要求行稀疏$s\lesssim\sqrt n$常数取决于$T$和对数因子$n,p$，去偏置方案使用的交互矩阵提供了置信区间和$χ^2_T$置信椭圆的条件下${\min(T^2,\log^8p)}/{n}\to 0$和$$ \frac{sT+s\log(p/s)+\|Σ^{-1}e_j\|_0\log p}{n}\to0, \quad \frac{\…
2021-07-16 math.ST stat.ML stat.TH
Bayesian Regression Tree Ensembles that Adapt to Smoothness and Sparsity
决策树集成是一个有用的工具，用于获得回归函数的灵活估计。这些方法的示例包括梯度提升决策树、随机森林和贝叶斯CART。树集合的两个潜在缺点是它们缺乏平滑性和易受维数灾难的影响。我们表明，这些问题可以克服，而不是考虑稀疏诱导软决策树中的决定被视为概率。我们在贝叶斯加性回归树框架的背景下实现了这一点，并通过在基准数据集上的测试说明了其良好的性能。我们提供了强有力的理论支持，我们的方法表明，后验分布集中在极小极大率（最多对数因子）的稀疏函数和功能与添加剂的结构在高维政权的协变量空间的维数允许增长近指数的样本量。我们的方法也适应未知的平滑度和稀疏度，并可以通过对现有的BART算法进行最小的修改来实现。
2018-09-15 stat.ME
Nearly optimal minimax estimator for high-dimensional sparse linear regression
我们提出了一个很好的研究统计估计问题的估计：估计的线性回归模型与软稀疏约束（$\ell_q$约束与$0<q\leq1$）在高维设置。我们首先提出了一个家庭的估计，称为投影最近邻估计，并显示，通过使用凸几何的结果，这种估计是在一个对数因子的最佳任何设计矩阵。然后利用[SIAM J. COMPUT. 36（2007）1764-1776]，我们获得了用于计算任何这样的估计任务的极大极小风险的近似算法，并且还获得了用于$\ell_1$稀疏约束的重要情况的多项式时间近似最优估计器。尽管对这个问题进行了数十年的研究，但以前只知道特殊情况下的结果。当参数半径未知时，我们也将该方法推广到自适应的情况。
2013-11-08 math.ST stat.TH
An Easily Tunable Approach to Robust and Sparse High-Dimensional Linear Regression
针对高维稀疏线性回归中噪声尺度、稀疏度及异常值数量难以预知的问题，提出基于Huber损失与均值中位数自适应校准的迭代稳健估计量，获得匹配极小极大下界的非渐近误差保证。
2025-06-14 math.ST stat.TH
MIST: L0 Sparse Linear Regression with Momentum
大量的注意力已经被给予最小化的惩罚最小二乘准则估计稀疏解的大型线性方程组。惩罚负责诱导稀疏性，自然选择是所谓的$l_0$范数。在本文中，我们开发了一个Momentumized迭代收缩保持（MIST）算法最小化所产生的非凸准则，并证明其收敛到局部极小。在大数据集上的仿真结果表明，该方法的性能优于其他方法。
2015-03-19 stat.ML
Jointly Sparse Global SIMPLS Regression
偏最小二乘（PLS）回归结合了降维和预测使用潜在变量模型。由于偏最小二乘回归（PLS-R）不需要矩阵求逆或对角化，它可以应用于大量变量的问题。随着预测因子维数的增加，变量选择变得至关重要，以避免过度拟合，提供更准确的预测因子，并产生更多的可解释的参数。我们提出了一个全局变量选择方法，惩罚所有PLS组件的变量总数。换句话说，所提出的全局惩罚鼓励在PLS组件之间共享所选择的变量。我们制定PLS-R与联合稀疏作为一个变分优化问题，目标函数等于一个新的全球SIMPLS标准加上混合范数稀疏惩罚的权重矩阵。混合范数稀疏性惩罚是与在所有PLS分量上使用的相同变量相对应的权重上的$\ell_2$范数的$\ell_1$范数。提出了一种新的增广拉格朗日方法来解决优化问题，稀疏性的软阈值自然地作为迭代解的一部分发生。实验表明，改进的PLS-R达到更好的或良好的性能与许多更少的选择预测变量。
2014-08-01 stat.ME
Conic Sparsity: Estimation of Regression Parameters in Closed Convex Polyhedral Cones
本文提出一种基于对偶形式参数化的“锥稀疏性”概念，用于刻画闭凸多面体锥低维面上的回归参数，并推广spike-and-slab先验以高效计算后验，有效解决带线性等式与不等式约束的参数估计问题。
2025-04-30 stat.ME
Posterior Inference for Quantile Regression: Adaptation to Sparsity
分位数回归是一种功能强大的数据分析工具，可适应异质协变量-响应关系。我们发现，通过耦合适当的收缩先验的非对称拉普拉斯工作似然，我们可以提供后验推理，自动适应可能的稀疏性分位数回归分析。在对后验方差进行适当调整后，后验推断在异质性下提供了渐近有效的推断。此外，所提出的方法导致Oracle渐近有效性的积极（非零）的分位数回归系数和超有效的非积极的。通过避免需要追求二分变量选择，贝叶斯计算框架证明了理想的推理稳定性调整参数选择。我们的工作有助于揭示贝叶斯计算方法在分位数回归的频率论推断中的价值。
2021-11-01 math.ST stat.ME stat.TH
Hierarchical sparsity priors for regression models
我们专注于稀疏回归问题的日益重要的领域，其中有许多变量，其中一个大的子集的影响可以忽略不计。本文介绍了分层先验分布的建设时，被认为是相关的影响。这些先验允许回归系数之间的依赖性，并鼓励不同的回归系数向零收缩。这些先验的性质进行了讨论和应用的线性模型与相互作用和广义可加模型作为例证。涉及不同层次的相互作用的遗传思想也包括在内。
2014-07-22 math.ST stat.ME stat.TH
Differentially Private Estimation and Inference in High-Dimensional Regression with FDR Control
The University of Hong Kong（香港大学）；Tsinghua University（清华大学）；Zhejiang University（浙江大学）；Rutgers University（罗格斯大学）
本文提出新的方法进行高维线性回归中的差分隐私估计与推断。引入DP-BIC选择未知稀疏性参数，开发DP去偏差算法，通过稀疏性进行隐私保护推断，并通过DP多重检验控制FDR。
2026-04-10 stat.ME
Principled Inference in Dense High-Dimensional Linear Models via Local Conditional Sparsity
Guangxi Normal University（广西师范大学）；University of Michigan（密歇根大学）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出NLNR框架，通过局部条件稀疏性在高维线性模型中实现坐标wise推断，建立估计量的一致性和渐近正态性，并开发阈值筛选和提升变体以提升有限样本性能。
2026-04-13 stat.ME
Estimating the health effects of environmental mixtures using Bayesian semiparametric regression and sparsity inducing priors
人类经常暴露于化学品和其他环境因素的混合物中，这使得量化与环境混合物相关的健康影响成为制定充分保护人类健康的环境政策的关键目标。对接触环境混合物的影响进行量化提出了若干统计挑战。通常情况下，暴露于多种污染物会相互作用，从而影响结果。此外，结果与某些暴露（如某些金属）之间的风险-响应关系可能表现出复杂的非线性形式，因为某些暴露在不同的暴露范围内可能是有益的，也可能是有害的。为了估计复杂混合物的健康影响，我们提出了一个灵活的贝叶斯方法，允许暴露相互作用，并与结果有非线性关系。我们使用多变量尖峰和板先验来诱导稀疏性，以确定哪些曝光与结果相关，以及哪些曝光相互作用。所提出的方法是可解释的，因为我们可以使用包含到模型中的后验概率来识别相互作用的污染物。我们说明了我们的方法的能力，使用模拟数据来估计复杂的功能，并将我们的方法应用于两项研究，以确定哪些环境污染物对健康产生不利影响。
2019-10-29 stat.ME
Modeling with Categorical Features via Exact Fusion and Sparsity Regularisation
Operations Research Center, Massachusetts Institute of Technology（麻省理工学院运筹学中心）；The University of Sydney（悉尼大学）；Sloan School of Management, Massachusetts Institute of Technology（麻省理工学院斯隆管理学院）
本文研究高维线性回归中类别预测变量的建模问题，提出通过聚类回归系数和稀疏性压缩模型，结合混合整数规划和快速近似算法，提供理论保证和实验证明性能优势。
2026-03-26 stat.ME
Fast and Robust Sparsity Learning over Networks: A Decentralized Surrogate Median Regression Approach
Shanghai Jiao Tong University（上海交通大学）；Iowa State University（爱荷华州立大学）
分散稀疏学习由于其快速增长的应用，最近吸引了大量的关注。为了得到鲁棒的稀疏估计，一个自然的想法是采用非光滑中值损失结合$\ell_1$稀疏正则化。然而，大多数现有的方法遭受由{ \em double}非光滑目标引起的慢收敛性能。为了加快计算速度，本文提出了一种分散代理中值回归（deSMR）方法，有效地解决了分散稀疏学习问题。我们表明，我们提出的算法具有线性收敛速度与一个简单的实现。我们还研究了统计保证，它表明，我们提出的估计实现了近预言收敛速度，而没有任何限制的网络节点的数量。此外，我们建立了稀疏支持恢复的理论结果。数值实验和实际数据的研究证明了该方法的有效性。
2022-02-11 cs.LG stat.ME stat.ML
Sparse Sliced Inverse Regression via Cholesky Matrix Penalization
我们介绍了一种新的稀疏切片逆回归估计称为Cholesky矩阵惩罚和自适应版本实现稀疏估计的中心子空间的尺寸。新的估计使用的协变量的协方差阵的Cholesky分解，并包括在目标函数中的正则化项，以实现稀疏的计算效率的方式。我们建立的理论值的调谐参数，实现估计和变量选择的一致性的中心子空间。此外，我们提出了一个新的投影信息准则来选择我们提出的估计的调整参数，并证明了新的标准有利于选择的一致性。Cholesky矩阵惩罚估计量继承了Matrix Lasso和Lasso切片逆回归估计量的优点，在数值研究中具有优越的性能，并可适用于文献中的其他充分维方法。
2021-04-20 stat.ME
A Sparsity Inducing Nuclear-Norm Estimator (SpINNEr) for Matrix-Variate Regression in Brain Connectivity Analysis
经典的标量响应回归方法将协变量视为向量，并估计相应的回归系数向量。然而，在医学应用中，回归量通常是多维数组的形式。例如，人们可能对使用MRI成像来识别哪些大脑区域与健康结果相关感兴趣。矢量化二维图像阵列是一种不令人满意的方法，因为它破坏了图像的固有空间结构，并且在计算上具有挑战性。我们提出了一种替代方法-正则化矩阵回归-其中的矩阵的回归系数被定义为一个解决方案的具体优化问题。该方法，称为SParsity诱导核范数估计（SpINNEr），同时施加两种惩罚类型的回归系数矩阵-核范数和套索范数-鼓励低秩矩阵的解决方案，也有进入式稀疏。交替方向乘子法（ADMM）的一个特定的实现是用来建立一个快速和有效的数值求解器。我们的模拟表明，SpINNEr在估计准确性方面优于其他方法，当与响应相关的条目（代表大脑的功能连接）被安排在连接良好的社区中时。SpINNEr用于研究HIV相关结果与人脑功能连接之间的关联。
2020-01-30 cs.NA math.NA math.OC
A generalized likelihood based Bayesian approach for scalable joint regression and covariance selection in high dimensions
研究了贝叶斯范式下高维多元回归模型中回归系数矩阵和误差精度矩阵（逆协方差矩阵）的联合稀疏性选择问题。所选择的稀疏模式对于帮助理解预测变量和响应变量之间的关系网络以及后者之间的条件关系至关重要。虽然贝叶斯方法具有通过后验包含概率和可信区间提供自然不确定性量化的优点，但当前贝叶斯方法要么限制于稀疏模式的特定子类和/或不可扩展到具有数百个响应和预测因子的设置。贝叶斯方法只关注于估计后验模式是可扩展的，但不从后验分布生成样本用于不确定性量化。使用基于双凸回归的广义似然和尖峰和平板先验，我们开发了一种称为联合回归网络的算法（JRNS），用于联合回归和协方差选择，该算法（a）可以适应一般稀疏模式，（b）提供不确定性量化的后验样本，（c）可扩展，比提供不确定性量化的最先进贝叶斯方法快几个数量级。我们证明了所提出的方法对合成数据的统计和计算效率，并通过对选定的癌症数据集的分析。我们还建立了高维后验一致性的开发算法之一。
2022-01-14 stat.CO stat.ME
Tree-guided group lasso for multi-response regression with structured sparsity, with an application to eQTL mapping
我们考虑的问题估计稀疏的多响应回归函数，与应用表达数量性状位点（eQTL）定位，其目标是发现影响基因表达水平的遗传变异。特别是，我们调查的收缩技术能够捕捉到一个给定的层次结构的响应，如层次聚类树与叶节点的响应和内部节点的集群相关的响应在多个粒度，我们试图利用这种结构来恢复协变量相关的每个层次定义的集群的响应。我们提出了一个树引导组套索，或树套索，估计多响应回归下，采用一种新的惩罚函数从树构造的结构稀疏。我们描述了一个系统的加权方案，重叠的组中的树罚，使每个回归系数被惩罚在一个平衡的方式，尽管不均匀的多重性的组成员的回归系数，由于组之间的重叠。为了有效的优化，我们采用了一个平滑的近端梯度方法，最初开发的一般类的结构稀疏诱导处罚。使用模拟和酵母数据集，我们证明了我们的方法在预测误差和恢复真实稀疏模式方面表现出优越的性能，与其他学习多变量响应回归的方法相比。
2012-09-28 q-bio.GN q-bio.QM stat.AP
Sparse Unit-Sum Regression
本文在回归权和为1的约束下，研究了线性回归的稀疏性。我们提出了一种结合$\ell_0$ -和$\ell_1$ -正则化的方法。我们通过调整Bertsimas等人（2016）最近为$\ell_0$进行的方法创新来计算其解决方案-标准线性回归中的正则化。在模拟实验中，我们比较我们的方法$\ell_0$ -正则化和$\ell_1$ -正则化，并发现它的预测性能和稀疏性方面表现良好。在指数跟踪的应用程序中，我们表明，我们的方法可以获得大大稀疏的投资组合相比，$\ell_1$ -正则化，同时保持类似的跟踪性能。
2019-07-10 stat.CO stat.ME
On the Beta Prime Prior for Scale Parameters in High-Dimensional Bayesian Regression Models
本文研究了尺度参数为一般β素数分布的高维贝叶斯线性回归。在稀疏性的假设下，我们证明了当$p \gg n$时，在β素数先验中适当地选择超参数会导致（接近）极大极小后验收缩率。对于有限样本，我们提出了一种基于边缘极大似然（MML）的数据自适应超参数估计方法。这使得我们的先验能够适应稀疏和密集的设置，并且在我们提出的经验贝叶斯过程中，MML估计永远不会有崩溃为零的风险。我们推导出有效的蒙特卡罗EM和变分期望最大化算法实现我们的模型，这是在R包NormalBetaPrime。一个基因表达数据集的模拟和分析说明了我们的模型的自适应不同水平的稀疏性和信号强度。
2019-01-24 stat.ME
A covariate-dependent Cholesky decomposition for high-dimensional covariance regression
Baylor University（贝勒大学）；Goizueta Business School, Emory University（埃默里大学戈伊泽塔商学院）
本文提出一种新的变系数序列回归框架，通过修改Cholesky分解来建模协变量依赖的正定协方差矩阵，同时引入联合稀疏结构以处理高维数据。
2026-04-08 stat.ME
Robust Fused Lasso Penalized Huber Regression with Nonasymptotic Property and Implementation Studies
对于现实中的一些特殊数据，如基因数据，相邻的基因可能具有相似的功能。因此，确保相邻基因之间的平滑性是非常必要的。但是，在这种情况下，标准的套索惩罚似乎不再合适了。另一方面，在高维统计中，一些数据集很容易被离群值污染或包含重尾分布的变量，这使得许多传统的方法不足。为了解决这两个问题，本文提出了一种用于稳健估计和推理的自适应Huber回归，其中，融合套索惩罚用于鼓励系数的稀疏性以及它们的差的稀疏性，即，系数分布的局部恒定性。理论上，我们建立了它的非渐近估计误差界下的$\ell_2$ -范数在高维设置。所提出的估计方法被公式化为一个凸的、非光滑的和可分离的优化问题，因此，可以采用交替方向的乘子方法。最后，我们进行了模拟研究和实际癌症数据的研究，这表明所提出的估计方法是更强大的和预测。
2022-09-28 stat.ME
Dynamic sparsity on dynamic regression models
在目前的工作中，我们考虑的变量选择和收缩的高斯动态线性回归贝叶斯框架内。特别是，我们提出了一种新的方法，允许随时间变化的稀疏性，基于扩展的尖峰和板先验的动态模型。这是通过为时变系数的方差分配适当的马尔可夫切换先验来完成的，扩展了Ishwaran和Rao（2005）以前的工作。此外，我们研究了不同的先验，包括过程方差的常见反向伽玛先验，以及其他混合先验分布，例如尖峰和平板的伽玛先验，这导致系数的正态伽玛先验的混合（Griffin ad Brown，2010）。从这个意义上说，我们的先验可以被视为一个动态变量选择先验，它在每个时间点诱导平滑（通过板）或收缩到零（通过尖峰）。用于后验计算的MCMC方法使用可以在每个时间点假设二进制状态的马尔可夫潜变量来生成系数的方差。通过这种方式，我们的模型是一个动态混合模型，因此，我们可以使用Gerlach等人（2000）的算法来生成潜在过程，而无需对状态进行调节。最后，通过模拟示例和真实数据应用程序来举例说明我们的方法。
2020-09-29 stat.CO stat.ME stat.ML
Rank-based Maxsum test for high dimensional regression coefficient
School of Mathematical Science, Tiangong University（天津工业大学数学科学学院）；School of Mathematics and Statistics, Nanjing University of Science and Technology（南京理工大学数学与统计学院）；School of Statistics and Data Science, LEBPS, KLMDASR, and LPMC, Nankai University（南开大学统计与数据科学学院）
本文提出基于秩的maxsum检验，用于高维线性模型中回归系数的全局推断，结合sum和max检验的优点，通过Cauchy组合方法实现稳健性和适应性，验证了在多种误差分布和稀疏性下具有良好的大小控制和统计功效。
2026-03-15 stat.ME
A direct approach to tree-guided feature aggregation for high-dimensional regression
针对高维回归中等稀疏特征聚合问题，提出一种避免合成过参数化的树引导正则化方法，其近端算子可单次非迭代求解，理论收敛速率更优或相当，经模拟和微生物组数据应用验证有效。
2025-09-30 stat.ME
Sparse Reduced Rank Regression With Nonconvex Regularization
The Hong Kong University of Science and Technology（香港科技大学）
研究了稀疏降秩回归模型的估计问题。SRRR模型被广泛应用于信号处理、计量经济学等领域的降维和变量选择。该问题的目标是最小化最小二乘损失，并考虑到正交性约束。在文献中，凸稀疏诱导函数已被用于SRRR。在这项工作中，提出了一个非凸函数更好的稀疏诱导。基于交替极小化（或投影）方法，提出了一种求解非凸优化问题的有效算法。数值仿真结果表明，该算法是更有效的基准方法相比，非凸函数可以导致更好的估计精度。
2018-03-20 cs.LG q-fin.CP stat.ME
