Optimal Sparsity Testing in Linear regression Model
研究了高维线性回归模型的稀疏性检验问题。问题是测试回归参数$θ^*$的非零分量（也称为稀疏度）的数量是否小于或等于$k_0$。我们查明了这个问题的最小最大分离距离，这相当于量化$k_1$稀疏向量$θ^*$有多远必须从一组$k_0$稀疏向量，以便测试能够拒绝原假设具有高概率。考虑了两种情况。在独立情景中，协变量为i.i.d.。正态分布，噪声水平已知。在一般情况下，协变量的协方差阵和噪声水平都是未知的。虽然在这两种情况下的极大极小分离距离不同，但它们实际上都取决于$k_0$和$k_1$，说明对于这种复合测试问题，空值和备择假设的大小都起着关键作用。
2020-04-23 math.ST stat.TH
Sparsity oracle inequalities for the Lasso
本文研究了随机设计下非参数回归中$\ell_1$ -惩罚最小二乘的预言性质。我们证明了惩罚最小二乘估计满足稀疏预言不等式，即，根据oracle vector的非零分量的数量来确定边界。即使当模型的维数（远）大于样本量且回归矩阵不正定时，结果也是有效的。它们可用于高维线性回归、非参数自适应回归估计和任意估计量的集结问题。
2007-05-23 math.ST stat.TH
Regression graphs and sparsity-inducing reparametrizations
本文探讨参数化与稀疏性的内在联系，研究在协方差模型中通过重参数化诱导稀疏性的结构，利用Iwasawa分解和链图模型提出新方法，并解释近似零的含义，为建模提供新视角。
2025-04-25 math.ST stat.TH
On consistency and sparsity for sliced inverse regression in high dimensions
我们在这里提供了一个框架来分析切片逆回归（SIR），监督降维技术介绍了\cite{Li:1991}的相变现象。在较弱的条件下，渐近比$ρ= \lim p/n$是相变参数，SIR估计是相容的当且仅当$ρ= 0$ .当维数$p$大于$n$时，提出了一种对角阈值筛选SIR（DT-SIR）算法。该方法为我们提供了条件期望$var(\mathbf{E}[\boldsymbol{x}|y])$的协方差阵的特征空间的估计。然后通过将协方差阵的逆乘以特征空间来获得期望的降维空间。在对预测变量的协方差阵和方向载荷的稀疏性假设下，证明了DT-SIR在高维数据分析中估计降维空间的一致性。大量的数值实验表明，所提出的方法相比，其竞争对手的优越性能。
2016-11-21 math.ST stat.TH
Confidence Intervals for High-Dimensional Linear Regression: Minimax Rates and Adaptivity
置信集在统计推断中起着基础性的作用。本文考虑随机设计下高维线性回归的置信区间。我们首先建立了在给定稀疏参数的Oracle环境下，对于置信区间，极小极大期望长度的收敛速度。然后，重点是适应稀疏的置信区间的建设的问题。理想情况下，自适应置信区间的长度应该自动调整到未知回归向量的稀疏性，同时保持预先指定的覆盖概率。它示出，这样的目标是在一般情况下是无法实现的，除了当稀疏参数被限制到一个小区域的置信区间具有通常的参数率的最佳长度。进一步证明了自适应性的缺乏不是由于极小极大框架的保守性，而是从根本上由准确学习偏差的困难造成的。
2015-11-27 math.ST stat.TH
Bayesian Linear Regression for Multivariate Responses Under Group Sparsity
我们研究了具有相关响应的贝叶斯高维多元线性回归模型的频率论性质。预测因子被分成许多组，并且组结构是预先确定的。该模型的两个特点是独特的：（i）组稀疏性施加在预测。(ii)协方差阵是未知的，并且其维数也可以很高。我们选择一个产品的独立尖峰和板条先验的回归系数和一个新的先验的协方差阵的基础上，其特征分解。每个钉板先验是零处的点质量和涉及$\ell_{2,1}$ -范数的多元密度的混合。我们首先得到后验收缩率，即具有高后验概率的模型的有效维数的界。然后，我们表明，多元回归系数可以在一定的兼容性条件下恢复。最后，我们量化的不确定性的回归系数与频率论的有效性，通过Bernstein-von Mises型定理。结果导致贝叶斯方法的选择一致性。我们推导出后验收缩率使用的一般理论，通过构建一个合适的测试，从第一原则使用矩界的某些似然比。这导致了关于1/2阶平均雷尼发散的真理的后验集中。这种获得后收缩率所需测试的技术在许多其他问题中可能是有用的。
2019-06-11 math.ST stat.TH
Minimax Semiparametric Learning With Approximate Sparsity
该研究针对高维下精确稀疏假设适用范围有限的问题，形式化近似稀疏性概念，推导其下回归斜率与平均导数的极小极大速率，提出达最优速率的估计器，还发现有序与无序非参数回归的最优性边界存在差异。
2025-07-31 econ.EM math.ST stat.ML
Adaptive Fused LASSO in Grouped Quantile Regression
本文研究了解释变量分组的分位数模型。为了既保证参数组的稀疏性，又保证连续两组变量之间的稀疏性，我们提出并研究了一种自适应融合组LASSO分位数估计。变量组的数量可以是固定的或不同的。我们发现在经典假设下的收敛速度，我们表明，所提出的估计满足预言性质。
2016-07-19 math.ST stat.TH
High Dimensional Gaussian Graphical Regression Models with Covariates
虽然高斯图模型已被广泛应用于许多科学领域，相对有限的进展已取得联系图结构的外部协变量。我们提出了一个高斯图回归模型，它回归的平均值和精度矩阵的高斯图模型的协变量。在共表达数量性状基因座（QTL）研究的背景下，我们的方法可以确定遗传变异和临床状况如何调节受试者级别的网络结构，并恢复群体级别和受试者级别的基因网络。我们的框架鼓励协变量对均值和精度矩阵的影响稀疏。特别是对于精度矩阵，我们规定同时稀疏，即，组稀疏性和元素稀疏性，分别对有效协变量及其对网络边缘的影响。我们首先在已知均值参数的情况下建立变量选择一致性，然后在均值未知依赖于外部协变量的情况下建立更具挑战性的变量选择一致性，并在这两种情况下建立估计精度参数的$\ell_2$收敛速度和选择一致性。我们提出的方法的实用性和有效性证明，通过模拟研究和应用程序与脑癌患者的共表达QTL研究。
2022-01-29 math.ST stat.ME stat.TH
Functional Adaptive Double-Sparsity Estimator for Functional Linear Regression Model with Multiple Functional Covariates
针对多维传感器信号导致标量对函数回归模型解释困难的问题，提出功能自适应双重稀疏估计器，通过函数变量选择和零子区间识别实现全局与局部稀疏，具有oracle性质，并在Kinect传感器研究中有效刻画关节运动与健康的关联。
2024-06-27 math.ST stat.ME stat.TH
Sparse Estimation by Exponential Weighting
考虑具有固定设计和高斯噪声的回归模型，其中回归函数可以潜在地由允许给定字典中的稀疏表示的函数很好地近似。本文采用指数权重来利用这种潜在的稀疏性，实现稀疏模式聚合的原则。这种模型选择采取稀疏估计，使我们能够在几个流行的框架，包括普通稀疏，融合稀疏和组稀疏的稀疏预言不等式。这些理论结果的一个显著方面是，它们在任何条件下都不存在于字典中。此外，我们描述了一个有效的实现稀疏模式聚合的原则，相比之下，一些基本的数值例子的最先进的程序。
2013-01-07 math.ST stat.ME stat.TH
Bayesian Factor-adjusted Sparse Regression
研究了协变量高度相关的高维线性回归。在这种设置中，传统的稀疏性假设的回归系数往往不能成立，因此，许多模型选择程序不工作。为了应对这一挑战，我们通过因子结构对协变量的变化进行建模。具体而言，协变量之间的强相关性由共同因素解释，其余变异被解释为每个协变量的特质成分。这导致了一个因素调整回归模型，共同因素和特质成分作为协变量。我们相应地推广了传统的稀疏性假设，并假设所有的共同因素，但只有少数的特质组件的响应。然后提出了一种具有尖峰和平板先验的贝叶斯方法用于参数估计和模型选择。模拟研究表明，我们的贝叶斯方法优于其套索模拟，表现出不敏感的高估的共同因素的数量，支付一个可以忽略不计的代价，在没有相关性的情况下，并扩大以及增加样本量，维数和稀疏。美国债券风险溢价和宏观经济指标的真实数据集上的数值结果为我们的方法提供了强有力的支持。
2019-03-23 math.ST stat.ME stat.TH
Joint Bayesian Variable and DAG Selection Consistency for High-dimensional Regression Models with Network-structured Covariates
考虑了高维回归模型中协变量的回归系数和协变量的协方差阵的联合稀疏估计问题，其中预测变量既与响应变量相关，又通过高斯有向无圈图（DAG）模型在函数上相互关联.高斯DAG模型在逆协方差阵的Cholesky因子中引入稀疏性，而稀疏性模式又对应于对基础预测变量的特定条件独立性假设。近年来已经开发了各种方法贝叶斯推理在确定这样的网络结构的预测回归设置，但这些模型的重要稀疏性选择属性还没有得到彻底的研究。本文研究了一类在回归系数上具有spike和slab先验的递阶模型和一类在逆协方差阵的Cholesky因子上具有多个形状参数的灵活且一般的DAG-Wishart分布.在温和的规律性假设下，我们建立了联合选择一致性的变量和潜在的DAG的协变量时，预测的维度允许增长远远大于样本量。我们证明了我们的方法优于现有的方法在选择网络结构的预测在几个模拟设置。
2020-04-20 math.ST stat.ME stat.TH
Testability of high-dimensional linear models with non-sparse structures
近年来，在可能非稀疏的高维模型下理解统计推断得到了广泛的关注。对于一个给定的回归系数的组成部分，我们表明，问题的难度取决于相应行的协变量的精度矩阵的稀疏性，而不是回归系数的稀疏性。我们开发了统一的和基本上统一的不可测试性的新概念，允许在广泛的替代品的测试的局限性的研究。一致不可测性确定了一个备选方案的集合，使得任何检验对该组中任何备选方案的功效渐近至多等于标称大小。新的建设的影响，包括新的极大极小可测性的结果，在目前的结果形成鲜明对比，不依赖于稀疏的回归参数。我们确定了新的可测试性和功能相关性之间的权衡。特别是，我们表明，在弱特征相关性的模型中，极大极小下界可以通过测试，其功率具有$\sqrt{n}$率，而不管模型稀疏性的大小。
2019-11-25 math.ST stat.ME stat.ML
Honest confidence sets for high-dimensional regression by projection and shrinkage
在非参数回归中，构造置信集的诚实性问题产生了。虽然非参数估计中的最优率可以用来构造尖锐的置信集，但在估计光滑度后，置信水平往往会严重下降。类似地，对于高维回归，稀疏估计的预言不等式可以用来构造尖锐的置信集。然而，稀疏度本身是未知的，需要估计，导致诚实问题。为了解决这个问题，我们开发了一种新的方法来构建诚实的信心集稀疏高维线性回归。我们构造的关键思想是将信号分为强组和弱组，然后分别为每组构造置信集。这是通过投影和收缩方法实现的，后者通过Stein估计和相关的Stein无偏风险估计来实现。我们的置信集是诚实的，在整个参数空间没有任何稀疏约束，而其直径适应最佳速率的$n^{-1/4}$时，真正的参数确实是稀疏的。通过广泛的数值比较，我们证明了我们的方法优于其他竞争对手，具有有限样本的大利润，包括基于底层模型的真正稀疏性的Oracle方法。
2019-05-03 math.ST stat.ME stat.TH
Hypothesis testing for high-dimensional sparse binary regression
本文研究了高维稀疏二元回归模型中极大极小假设检验的检测边界。出于对罕见变异效应的基因测序关联研究的动机，我们研究了当设计矩阵稀疏时假设检验问题的复杂性。我们观察到一个新的现象，在检测边界的行为，不发生在高斯线性回归的情况下。我们推导出的检测边界作为两个组件的函数：一个设计矩阵稀疏指数和信号强度，其中每一个是一个函数的稀疏性的替代品。对于任何替代方案，如果设计矩阵稀疏性指数过高，则无论信号强度的大小如何，任何测试都是渐近无效的。对于稀疏性指数不太高的二进制设计矩阵，我们的结果与高斯情况下的结果是平行的。在这种情况下，我们推导出密集和稀疏制度的检测边界。对于密集制度，我们证明了广义似然比是率最优的，稀疏制度，我们提出了一个扩展的更高的批评测试，并表明它是率最优和尖锐的。我们用模拟研究说明了理论结果的有限样本性质。
2015-03-05 math.ST stat.CO stat.ME
Bayesian High-dimensional Linear Regression with Sparse Projection-posterior
提出一种基于稀疏投影后验的贝叶斯高维线性回归方法，实现估计、不确定性量化与变量选择，理论保证最优收缩率，并支持分布式计算，在模拟和真实数据中表现优异。
2025-02-27 math.ST stat.ME stat.TH
The sparsity and bias of the Lasso selection in high-dimensional linear regression
Meinshausen和Buhlmann [Ann. Statistist. 34（2006）1436- 1462]表明，对于高斯图形模型中的邻域选择，在邻域稳定性条件下，LASSO是一致的，即使当变量的数量比样本量更高阶时。Zhao和Yu [（2006）J. Machine Learning Research 7 2541--2567]在线性回归的上下文中将邻域稳定性条件形式化为强不可表示条件。该论文表明，在这种条件下，LASSO精确地选择非零回归系数的集合，只要这些系数以一定的速率远离零。本文假设理想模型外的回归系数很小，但不一定为零。在稀疏Riesz条件下的设计变量的相关性，我们证明了LASSO选择一个模型的正确顺序的维度，控制的水平所确定的小回归系数和阈值偏差的贡献所选择的模型的偏差，并选择所有系数的更大的顺序比所选择的模型的偏差。此外，由于这种速率一致性的LASSO模型选择，它被证明是误差平方和的平均响应和$\ell_α$ -损失的回归系数收敛在最佳可能的速率在给定的条件下。我们的结果的一个有趣的方面是，变量的数量的对数可以是相同的顺序为某些随机相关设计的样本量。
2008-08-07 math.ST stat.TH
Penalized Estimation in Additive Regression with High-Dimensional Data
加法回归通过将响应信号建模为复杂性相对较低的协变量的函数之和，提供了线性回归的扩展。研究了高维非参数可加回归中的惩罚估计，其中用泛函半范数来诱导分量函数的光滑性，用经验$L_2$范数来诱导稀疏性.函数半范数可以是Sobolev或有界变分类型，并且允许在各个分量函数之间不同。我们建立了新的预言不等式的预测性能，这样的方法在三个简单的技术条件：一个亚高斯条件的噪声，一个兼容性条件的设计和考虑中的功能类，和一个熵条件的功能类。对于随机设计，样本相容性条件可以在一个附加条件下用其总体版本代替，以确保经验范数的适当收敛。在齐次设置的复杂性的组件功能是相同的顺序，我们的研究结果提供了一个频谱的显式收敛速度，从所谓的慢速率，而不需要的兼容性条件下的硬稀疏或一定的$L_q$稀疏允许许多小组件在真正的回归函数的快速。这些结果显着拓宽和锐化现有的文献。
2017-04-24 math.ST stat.TH
Taking Advantage of Sparsity in Multi-Task Learning
本文研究了多元线性回归方程的估计问题，它既可用于预测，又可用于变量选择。根据最近关于多任务学习的工作Argyriou et al. [2008]，我们假设回归向量共享相同的稀疏模式。这意味着相关预测变量的集合在不同的方程中是相同的。这一假设使我们考虑将Group Lasso作为候选估计方法。我们证明了该估计具有良好的稀疏性预言不等式和变量选择性质。结果在设计矩阵上的特定限制特征值条件和相干条件下成立，这自然扩展了Bickel等人[2007]，Lounici [2008]的近期工作。特别是，在多任务学习场景中，任务的数量可以增长，我们能够完全消除边界中预测变量数量的影响。最后，我们展示了如何将我们的结果扩展到更一般的噪声分布，我们只需要方差是有限的。
2009-03-09 math.ST stat.ML stat.TH
Aggregation by exponential weighting, sharp PAC-Bayesian bounds and sparsity
研究了确定性设计回归模型中平方损失下的聚集问题。我们得到尖锐的PAC贝叶斯风险界定义通过指数权重的聚集，在一般假设下的分布误差和聚集的功能。然后，我们应用这些结果来推导稀疏预言不等式。
2013-03-22 math.ST stat.TH
Inference in High-dimensional Linear Regression
当潜在解释变量的数目大于样本量时，本文提出了一种线性回归模型的推断方法。该方法将每个回归系数依次作为兴趣参数，其余系数是讨厌的参数，并寻求最佳的兴趣尊重变换，在概念费舍尔信息矩阵的相关块上引起稀疏性。通过对每个变量进行边际最小二乘分析来利用诱导的稀疏性，如在析因实验中，从而避免惩罚。一个参数化的问题被发现是特别方便，无论是计算和数学。特别是，它允许的最佳转换问题的解析解，便于理论分析和比较其他工作。与正则化回归（如lasso及其扩展）相比，既不需要选择调整，也不需要重新调整解释变量，确保保留回归系数的物理解释。推荐的用法是在一组更广泛的推理陈述中，以反映模型和参数的不确定性。扩展到其他回归模型的工作所涉及的考虑因素进行了简要讨论。
2022-11-11 math.ST stat.ME stat.TH
$L_1$-Penalization in Functional Linear Regression with Subgaussian Design
本文研究了随机次高斯设计和实值响应下的函数回归。重点是其中的回归函数可以很好地近似的一个功能的线性模型与斜率函数是“稀疏”的意义上，它可以表示为一个小数目的分离良好的“尖峰”的总和的问题。这可以看作是一个扩展，现在经典的稀疏估计问题的情况下，无限字典。我们研究了基于惩罚经验风险最小化二次损失和复杂性惩罚定义的$L_1$ -范数（LASSO的连续版本）的回归函数的估计。主要目标是引入几个重要的参数，在这类问题的稀疏性特征，并证明尖锐的甲骨文不等式显示如何连续LASSO估计的$L_2$ -错误取决于基本的稀疏性的问题。
2014-09-14 math.ST stat.TH
Functional Linear Regression with Mixed Predictors
我们研究了一个功能性线性回归模型，该模型处理功能性反应，并允许功能性协变量和高维向量协变量。该模型是灵活的，嵌套在文献中的几个功能回归模型作为特殊情况。基于再生核希尔伯特空间（RKHS）理论，提出了一种能适应离散样本点上函数变量观测值的惩罚最小二乘估计。除了传统的光滑惩罚，一组拉索型惩罚进一步施加诱导稀疏的高维向量预测。我们推导出有限样本的理论保证，并表明我们的估计量的超额预测风险是最小最大最优的。此外，我们的分析揭示了一个有趣的相变现象，最优超额风险的光滑性和稀疏性的功能回归系数共同决定。设计了一种新的基于迭代坐标下降的高效优化算法，以同时处理光滑性和组惩罚。仿真研究和实际数据的应用说明了所提出的方法相比，在文献中的最先进的方法有前途的性能。
2022-08-23 math.ST stat.ME stat.TH
Adaptive posterior concentration rates for sparse high-dimensional linear regression with random design and unknown error variance
本文研究了随机设计与未知误差方差下的稀疏高维线性回归，证明了后验集中速率对未知稀疏度的自适应能力，并利用 fractional posterior 和 oracle inequalities 将分析扩展至模型误设情况。
2024-05-29 math.ST stat.ML stat.TH
Minimax rates of $\ell_p$-losses for high-dimensional linear regression models with additive measurement errors over $\ell_q$-balls
本文研究了在$\ell_p\ (1\leq p<\infty)$ -损失下具有可加误差的高维线性回归的极小极大速率，其中回归参数具有弱稀疏性。我们的下限和上界同意常数因子，这意味着所提出的估计是最小最大最优的。
2019-11-19 math.ST stat.TH
High dimensional regression and matrix estimation without tuning parameters
提出了一种在任意范数下自动适应未知稀疏性的高斯均值估计的一般理论。该理论被应用于产生自适应极小极大率最优估计在高维回归和矩阵估计，不涉及调整参数。
2015-11-28 math.PR math.ST stat.TH
Bivariate Matrix-valued Linear Regression (BMLR): Finite-sample performance under Identifiability and Sparsity Assumptions
Cornell University（康奈尔大学）；Capital Fund Management（资本基金管理公司）
本文提出双变量矩阵值线性回归模型，通过显式优化免费估计器在可识别性和稀疏性假设下实现参数高效估计，并通过实验验证其在有限样本下的性能。
2025-12-04 math.ST stat.ML stat.TH
Scaled minimax optimality in high-dimensional linear regression: A non-convex algorithmic regularization approach
经典的高维线性回归问题的快速收敛问题已得到广泛的研究。可以说，在实践中最快的程序之一是迭代硬控制（IHT）。然而，IHT强烈依赖于真实稀疏参数$s$的知识。本文提出了一种新的高维线性回归估计的快速算法。利用估计，支持恢复和优化之间的相互作用，我们实现了最佳的统计精度和快速收敛。我们的程序的主要优点是，它是完全自适应的，使其比最先进的IHT方法更实用。我们的程序达到最佳的统计精度比，例如，经典算法的套索。此外，我们建立了尖锐的最优结果的估计和支持恢复。因此，我们提出了一种新的迭代硬阈值算法的高维线性回归，是规模的最小最大最优（实现的预言，知道稀疏模式的估计误差，如果可能的话），快速和自适应。
2020-08-27 math.ST stat.TH
Chi-square and normal inference in high-dimensional multi-task regression
在$B^*$的行稀疏假设下，针对具有$p$协变量、$T$任务和$n$观测值的多任务线性模型，提出了大小为$p\times T$的未知系数矩阵$B^*$的卡方和正态推断方法.允许行稀疏度$s$、维度$p$和任务数$T$随$n$增长。在高维区域$p\ggg n$中，为了利用行稀疏性，考虑MT Lasso。我们建立在MT Lasso的基础上，采用去偏置方案来校正由惩罚引起的偏置。该方案需要引入一个新的数据驱动对象，称为交互矩阵，它可以捕获不同任务中噪声向量和残差之间的有效相关性。这个矩阵是psd，大小为$T\times T$，可以有效地计算。交互作用矩阵使我们能够在高斯设计和对应于Frobenius范数一致性的$\frac{sT+s\log(p/s)}{n}\to0$下导出渐近正态和$χ^2_T$结果。对于已知和未知设计协方差$Σ$，这些渐近分布结果生成$B^*$单个条目的有效置信区间和$B^*$单行的有效置信椭圆。虽然以前的建议在分组变量回归要求行稀疏$s\lesssim\sqrt n$常数取决于$T$和对数因子$n,p$，去偏置方案使用的交互矩阵提供了置信区间和$χ^2_T$置信椭圆的条件下${\min(T^2,\log^8p)}/{n}\to 0$和$$ \frac{sT+s\log(p/s)+\|Σ^{-1}e_j\|_0\log p}{n}\to0, \quad \frac{\…
2021-07-16 math.ST stat.ML stat.TH
Sparse-group Convoluted Smoothed Quantile Regression in High Dimension
School of Mathematics and Statistics, Southwest University（西南大学数学与统计学院）
针对高维场景下传统组选择方法无法实现组内稀疏的问题，提出自适应两阶段稀疏组选择方法，结合卷积平滑分位数损失与两类惩罚项实现组内双水平稀疏，兼具理论保障与计算效率，在模拟及乳腺癌基因数据中表现优异。
2026-10-14 math.ST stat.ME stat.TH
Confidence regions for high-dimensional generalized linear models under sparsity
研究了高维稀疏模型中低维参数的渐近正态估计和置信区域。我们的方法是基于$\ell_1$ -惩罚的M-估计，这是用于建设的偏差校正估计。在高维参数的稀疏性假设、期望损失的光滑性条件和熵条件下，证明了该估计是渐近正态的.这导致一致有效的置信区域和低维参数的假设检验。本方法的不同之处在于它允许处理我们不能充分微分的损失函数，例如分位数损失、Huber损失或铰链损失函数。我们还提供了新的结果估计的逆费舍尔信息矩阵，这是必要的建设建议的估计。我们制定我们的结果一般模型在高层次的条件下，但这些条件详细研究广义线性模型，并提供温和的充分条件。作为特定的例子，我们调查的情况下，分位数损失和Huber损失的线性回归，并证明了性能的估计在模拟研究和真实的数据集从全基因组关联研究。我们进一步研究的情况下，逻辑斯谛回归，并说明了模拟和真实数据的估计性能。
2016-10-05 math.ST stat.ME stat.TH
A minimax optimal approach to high-dimensional double sparse linear regression
针对高维双稀疏线性回归问题，提出动态更新阈值的IHT-style迭代硬阈值流程，证明其极小极大最优性，设计自适应方案应对未知稀疏度与噪声，实现更优估计与支撑集恢复效果。
2024-12-09 math.ST stat.TH
High-dimensional properties for empirical priors in linear regression with unknown error variance
我们研究了高维线性回归的全贝叶斯过程。我们采用[1]中介绍的数据依赖的经验先验。在他们的论文中，这些先验具有很好的后验收缩特性，并且易于计算。本文将他们的理论结果推广到误差方差未知的情况。在适当的稀疏性假设下，通过分析多元t分布，我们得到了模型选择的一致性、后验收缩率以及Bernstein von-Mises定理。
2022-02-11 math.ST stat.TH
Nearly optimal minimax estimator for high-dimensional sparse linear regression
我们提出了一个很好的研究统计估计问题的估计：估计的线性回归模型与软稀疏约束（$\ell_q$约束与$0<q\leq1$）在高维设置。我们首先提出了一个家庭的估计，称为投影最近邻估计，并显示，通过使用凸几何的结果，这种估计是在一个对数因子的最佳任何设计矩阵。然后利用[SIAM J. COMPUT. 36（2007）1764-1776]，我们获得了用于计算任何这样的估计任务的极大极小风险的近似算法，并且还获得了用于$\ell_1$稀疏约束的重要情况的多项式时间近似最优估计器。尽管对这个问题进行了数十年的研究，但以前只知道特殊情况下的结果。当参数半径未知时，我们也将该方法推广到自适应的情况。
2013-11-08 math.ST stat.TH
The Price of Competition: Effect Size Heterogeneity Matters in High Dimensions
在高维稀疏回归中，在固定稀疏水平的同时增加信噪比是否总是会导致更好的模型选择？对于高维稀疏回归问题，令人惊讶的是，在本文中，我们回答了这个问题的否定在政权的线性稀疏的Lasso方法，依赖于一个新的概念，我们长期效应大小异质性。粗略地说，如果一个回归系数向量的非零项具有显著不同的量值，则该向量具有高效应量异质性。从这个新的措施的观点，我们证明了假阳性率和真阳性率实现最佳的权衡一致沿Lasso路径时，该措施是最大的在一定意义上，和最坏的权衡时，它是最小的意义上，所有非零效应大小大致相等。此外，我们证明了第一次假选择发生得更早时，效应大小异质性是最小的，比当它是最大的。这两种现象的根本原因是，打个比方，在进入模型时，效应大小相同的变量之间的“竞争”。总之，我们的研究结果表明，效应量异质性应作为一个重要的补充措施，在高维回归问题的分析中的稀疏性的回归系数。我们的证明使用近似消息传递理论的技术，以及一种新的技术来估计第一个假变量的秩。
2022-03-09 cs.IT math.IT math.ST
High-dimensional instrumental variables regression and confidence sets
本文考虑了具有多个回归变量的线性工具变量模型中的推断，这些回归变量都可以是内生的。我们提出了STIV估计。辨识鲁棒置信集是通过求解线性规划得到的。我们目前的收敛速度，变量的选择，置信集，适应稀疏性的结果，并分析使用偏差校正的线性函数向量的置信带。我们还提供了一些工具是内源性的解决方案。该应用程序是EASI需求系统。
2021-08-06 math.ST stat.TH
Benign Overfitting of Non-Sparse High-Dimensional Linear Regression with Correlated Noise
研究了存在内生性的非稀疏高维线性回归问题，提出无正则化估计量在协方差矩阵特征值条件下可实现良性过拟合，并利用凸高斯极小极大定理（CGMT）提供理论证明与扩展。
2023-10-20 math.ST stat.TH
An Easily Tunable Approach to Robust and Sparse High-Dimensional Linear Regression
针对高维稀疏线性回归中噪声尺度、稀疏度及异常值数量难以预知的问题，提出基于Huber损失与均值中位数自适应校准的迭代稳健估计量，获得匹配极小极大下界的非渐近误差保证。
2025-06-14 math.ST stat.TH
Group Lasso for generalized linear models in high dimension
如今，越来越多的数据是可用的，我们必须处理的模型在高维（协变量的数量远远大于样本量）。在稀疏性假设下，我们有理由希望能够对回归参数做出很好的估计。这种稀疏性假设以及将协变量块结构化为具有相似行为模式的组例如在基因组学中是非常自然的。大量的科学文献存在的高斯线性模型，包括Lasso估计，也组Lasso估计，促进组稀疏下的组的先验知识。我们将此群Lasso方法推广到广义线性模型，并研究了此估计对于稀疏高维广义线性模型的收敛速度.在对协变量的假设和对设计矩阵的条件下，给出了预测误差和估计误差的预言不等式。我们证明了这种估计的能力，恢复良好的稀疏近似的真实模型。最后，我们将这些结果扩展到弹性网惩罚的情况，并将其应用于所谓的泊松回归情况，该情况与逻辑斯谛回归相反，在本文中尚未研究。
2014-01-22 math.ST stat.TH
Cardinality Sparsity: Applications in Matrix-Matrix Multiplications and Machine Learning
本文提出“基数稀疏性”概念，以唯一值数量刻画张量稀疏性，并证明其可改进深度学习与张量回归、大幅加速二进制矩阵乘法及降低内存占用。
2025-08-31 math.ST stat.TH
