Multiple testing via relative belief ratios
一些大规模的推理问题被认为是基于使用相对置信比作为统计证据的措施。这种方法适用于多重测试问题。这一点的一个特殊应用是关于评估稀疏性。稀疏性的方法有几个优点，因为它是基于证据的测量，不需要以任何方式限制先验。
2016-09-21 math.ST stat.TH
Estimation of the $l_2$-norm and testing in sparse linear regression with unknown variance
本文研究了方差未知的稀疏线性回归的$l_2$ -范数和平方$l_2$ -范数的估计问题，以及在$l_2$分离的稀疏替代下回归参数为零的假设检验问题.我们建立了这三个问题的最优估计率（分别为检验率）。
2020-10-26 math.ST stat.TH
Testing Heteroskedasticity in High-Dimensional Linear Regression
提出了一种新的高维线性回归异方差检验方法，其中协变量个数可以大于样本量。我们的测试程序是基于Lasso的残差。我们证明了我们的检验统计量具有渐近正态性下的原假设的同性。仿真结果表明，该方法可以获得准确的经验大小和功率。我们还介绍了实际经济数据应用的结果。
2022-10-31 math.ST stat.TH
Asymptotic Properties of Bayes Risk of a General Class of Shrinkage Priors in Multiple Hypothesis Testing Under Sparsity
考虑独立正态观测均值的同时检验问题。在贝叶斯决策理论框架下，研究了一类单组收缩先验诱导的多重检验规则的渐近最优性，其中总损失为误分类假设的个数.我们假设数据为两组正态混合模型，并考虑Bogdan等人（2011）采用的渐近框架，他在多重检验的背景下引入了稀疏下渐近贝叶斯最优性的概念。一般类的一组先验研究是丰富的，包括，除其他外，家庭的三个参数β，广义双帕累托先验，特别是马蹄铁，正常指数伽玛和Strawderman-Berger先验。我们建立，在我们所选择的渐近框架内，研究中的多个测试规则渐近达到贝叶斯甲骨文的风险的乘法因子，与常数的风险接近的甲骨文风险的常数。这与Datta和Ghosh（2013）基于Carvalho等人（2009，2010）引入的马蹄估计量的多重检验规则获得的结果相似。我们进一步证明，在对底层稀疏参数的非常温和的假设下，基于van der Pas et al.（2014）提出的相应全局收缩参数的经验贝叶斯估计的诱导决策规则，在相同的乘法因子下渐近地获得最优贝叶斯风险。我们提供了一个统一的参数适用于一般类的先验研究。在此过程中，我们解决了Datta和Ghosh（2013）关于广义双重Pareto先验最优性的一个猜想。我们的工作还表明，Datta和Ghosh（2013）的结果可以进一步改进。
2015-06-10 math.ST stat.TH
Testing additivity in nonparametric regression under random censorship
本文研究了右删失数据下多元回归函数的非参数估计。更确切地说，我们提出了一个统计量，被证明是渐近正态分布下的添加剂的假设，并可以用来测试在删失回归设置的可加性。
2008-02-07 math.ST stat.TH
Minimax rate of testing in sparse linear regression
研究了线性回归模型的参数为0的假设检验问题，该问题针对在l2-距离上与0分离的s-稀疏选择。本文证明了在p < n的Gauss线性回归模型中，非渐近Minimax检验率的形式为sqrt（（s/n）log（1 + sqrt（p）/s）），其中p是参数的维数，n是样本量.我们还表明，这是极小极大率估计的l2-范数的回归参数。
2018-10-09 math.ST stat.TH
Sparsity regret bounds for individual sequences in online linear regression
École Normale Supérieure（巴黎高等师范学院）
考虑了任意确定性序列上的在线线性回归问题，当环境维数d可以远大于时间轮数T时。我们引入了稀疏遗憾界的概念，这是一个确定性的在线对应最近的风险界在稀疏的情况下，在随机设置。我们证明了这样的遗憾界的在线学习算法称为SeqSEW和指数加权和数据驱动的截断的基础上。在第二部分中，我们将该算法的无参数版本应用于随机设置（随机设计的回归模型）。这产生了与Dalalyan和Tsybakov（2011）相同的风险边界，但解决了其中两个悬而未决的问题。特别是我们的风险界是自适应的（对数因子）的未知方差的噪声，如果后者是高斯。我们还讨论了固定设计的回归模型。
2013-04-12 cs.LG math.ST stat.ML
Testing exogeneity in the functional linear regression model
提出了一种新的检验统计量来检验函数线性回归模型的外生性。与有限维线性回归设置中的Hausman型检验相反，不可能直接扩展到函数线性回归模型。相反，我们提出了一个检验统计量的基础上的两个估计量的预测的平方差的总和，用于检验功能线性回归模型中的外生性的原假设。我们得到了零值下的渐近正态性和一般替代下的相合性。此外，我们证明了剩余的自举程序的自举一致性结果。在模拟中，我们研究了有限样本性能的测试方法，并说明了基于引导的方法的优越性。特别是，自助方法变得更加强大的正则化参数的选择。
2022-08-14 math.ST stat.TH
Testing convex hypotheses on the mean of a Gaussian vector. Application to testing qualitative hypotheses on a regression function
在本文中，我们提出了一个通用的方法，基于多重测试，测试的高斯向量的平均值属于一个凸集在R^n。我们表明，测试达到其标称水平，并描述了一类向量的测试达到规定的权力。在函数回归模型中，这种一般方法被应用于检验关于回归函数的一些定性假设。例如，我们测试回归函数是正的、递增的、凸的，或者更一般地，满足微分不等式。建立了一类光滑函数上的一致分离率，并与文献中的其他结果进行了比较。模拟研究评估一些测试单调性的程序。
2005-04-25 math.ST stat.TH
Testing for linearity in boundary regression models with application to maximal life expectancies
我们考虑一个误差为a.s.的回归模型。阴性因此，回归函数不是观测值的期望值，而是其支持的右端点。我们开发了两个拟合优度检验的假设，即回归函数是一个仿射函数，研究的渐近分布的检验统计量，以近似固定的大小的测试，推导出其有限样本性质的基础上模拟和应用它们的预期寿命数据。
2020-09-30 math.ST stat.TH
Distribution free testing for linear regression. Extension to general parametric regression
最近，\cite{Khm13, Khm16, Khm17}提出了一种基于酉变换的检验参数假设的无分布方法，并在\cite{Ngu17}和\cite{Rob19}中进行了进一步的研究。本文证明了在线性回归的分布自由检验中，变换的形式是极其简单的。然后将其推广到向量值协变量的一般参数回归。
2020-02-07 math.ST stat.ME stat.TH
Asymptotic Bayes Optimality Under Sparsity of the Gavrilov-Benjamini-Sarkar Step-Down Testing Procedure
Texas A&M University（德克萨斯农工大学）；Indian Statistical Institute（印度统计研究所）
研究加夫里洛夫 - 本雅明尼 - 萨卡尔（GBS）逐步多重检验程序在稀疏高斯序列模型中的渐近贝叶斯最优性，通过直接分析贝叶斯风险，结合新不等式和信号交叉论证得出其最优性。
2026-10-27 math.ST stat.TH
Sharp Asymptotic Minimaxity for Multiple Testing Using One-Group Shrinkage Priors
Dhirubhai Ambani University（Dhirubhai Ambani大学）；Texas A&M University（德克萨斯农工大学）；Indian Statistical Institute（印度统计研究所）
研究稀疏高斯序列模型中基于全局-局部尺度混合正态先验的贝叶斯多重检验规则的渐近极小化极大性质，证明在已知或未知稀疏度下，适当选择全局收缩参数可使检验规则达到精确极小化极大风险。
2026-06-15 math.ST stat.TH
Adaptive testing on a regression function at a point
本文研究了当一个回归函数在零点下满足符号或形状约束时，在某一点上的推断问题。我们提出了一个测试，实现了最佳的极大极小率自适应的范围内的Hölder类，直到一个$\log\log n$长期，我们证明是必要的适应。我们将结果应用于自适应单侧检验的回归不连续性参数下的单调性限制，单调回归函数的值在边界和真实的零假设的比例在多重检验问题。
2015-10-14 math.ST stat.TH
Uniform Asymptotics for Nonparametric Quantile Regression with an Application to Testing Monotonicity
本文建立了分位数回归函数局部多项式估计的Bahadur表示的一致差错率。差错率在一系列分位数、回归量中的一系列评估点以及观察到的随机变量的广泛概率类别上是均匀的。关于局部多项式分位数回归估计量的Bahadur表示的大多数现有结果都适用于固定数据生成过程。在测试单调性的背景下，原假设是一个复杂的复合假设，它是特别相关的建立巴哈杜尔展开，保持一致的一大类数据生成过程。此外，我们建立了相同的差错率的自助局部多项式估计，这可能是有用的各种自助推断。作为一个例子，我们应用于测试的单调性分位数回归和基于这个例子的Monte Carlo实验。
2015-08-26 math.ST stat.TH
Testing for a constant coefficient of variation in nonparametric regression
本文对一般非参数回归模型中变异系数为常数的假设提出了一种新的检验方法。该检验基于回归函数的平方与方差函数之间的$L^2$距离估计值。我们证明了在原假设和固定替代下该距离的标准化估计的渐近正态性，并通过模拟研究研究了相应的Bootstrap检验的有限样本性质。所得结果适用于一般混合条件下的平稳过程，并用于构造金融时间序列中平稳性假设的检验。
2008-09-29 math.ST stat.TH
Testing for correct model specification in copula regression models
针对半参数Copula回归模型，通过引入真实回归函数与假定模型中最佳逼近的加权\(L^2\)距离进行拟合优度检验，推导检验方法并构建置信区间，有限样本模拟显示该方法有良好性质。
2026-07-17 math.ST stat.TH
Expansion for moments of regression quantiles with application to nonparametric testing
我们讨论回归分位数参数规格的非参数检验。该检验基于这些分位数的参数和非参数拟合的比较。非参数拟合是Nadaraya-Watson分位数平滑估计量。检验统计量的渐近处理需要发展新的数学论证。仅使用非参数估计的Bahadur展开式的方法是不令人满意的。它对维数和带宽的选择要求太高。我们的替代数学方法需要计算Nadaraya-Watson分位数回归估计的矩。该计算通过应用高阶Edgeworth展开来完成。
2017-07-14 math.ST stat.TH
Testing for changes in polynomial regression
我们考虑一个非线性多项式回归模型，在这个模型中，我们希望检验回归参数中的结构稳定性的原假设与未知时间的突变的替代。本文给出了最大型检验统计量的极值分布，它与最大选择似然比似然比渐近等价。由此产生的测试易于应用，即使在小样本中也具有良好的尺寸和功率。
2008-10-22 math.ST stat.TH
Minimax rates of $\ell_p$-losses for high-dimensional linear regression models with additive measurement errors over $\ell_q$-balls
本文研究了在$\ell_p\ (1\leq p<\infty)$ -损失下具有可加误差的高维线性回归的极小极大速率，其中回归参数具有弱稀疏性。我们的下限和上界同意常数因子，这意味着所提出的估计是最小最大最优的。
2019-11-19 math.ST stat.TH
Hypothesis testing for varying coefficient models in tail index regression
针对尾指数回归缺乏变系数模型检验方法的问题，本文研究估计量的渐近性质，提出用于判断系数函数是否显著随协变量变化的假设检验方法。
2023-12-11 math.ST stat.TH
Minimax testing of a composite null hypothesis defined via a quadratic functional in the model of regression
本文研究了非参数多元回归模型下复合原假设的检验问题。对于给定的二次函数$Q$，原假设声明回归函数$f$满足约束$Q[f]=0$，而替代假设对应于$Q[f]$远离零的函数。一方面，我们提供了极大极小化率的测试和确切的分离常数，以及尖锐的最佳测试程序，对角和非负二次泛函。我们考虑光滑类的椭球形和检查，我们的条件得到满足，在特定情况下，对应于各向异性的Sobolev类椭球。在这种情况下，我们提出了一个封闭的形式的极大极小速率和分离常数。另一方面，二次泛函的极小极大率既不是正的也不是负的，使得出现两种不同的状态：“正则”和“非正则”。在“规则”情况下，极大极小化速率等于$n^{-1/4}$，而在“不规则”情况下，速率取决于平滑类，并且比“规则”情况下慢。我们将其应用到测试在嘈杂的环境中观察到的两个功能的规范的平等的问题。
2013-01-04 math.ST stat.TH
Scaled minimax optimality in high-dimensional linear regression: A non-convex algorithmic regularization approach
经典的高维线性回归问题的快速收敛问题已得到广泛的研究。可以说，在实践中最快的程序之一是迭代硬控制（IHT）。然而，IHT强烈依赖于真实稀疏参数$s$的知识。本文提出了一种新的高维线性回归估计的快速算法。利用估计，支持恢复和优化之间的相互作用，我们实现了最佳的统计精度和快速收敛。我们的程序的主要优点是，它是完全自适应的，使其比最先进的IHT方法更实用。我们的程序达到最佳的统计精度比，例如，经典算法的套索。此外，我们建立了尖锐的最优结果的估计和支持恢复。因此，我们提出了一种新的迭代硬阈值算法的高维线性回归，是规模的最小最大最优（实现的预言，知道稀疏模式的估计误差，如果可能的话），快速和自适应。
2020-08-27 math.ST stat.TH
Global and Simultaneous Hypothesis Testing for High-Dimensional Logistic Regression Models
高维逻辑斯谛回归被广泛应用于分析具有二元结果的数据。在本文中，全球测试和大规模的多重检验的回归系数被认为是在单和两个回归设置。利用广义低维投影进行偏倚校正，构造了检验全局原假设的检验统计量，并导出了其渐近原假设分布。建立了全局检验的下界，证明了该检验在一定的稀疏范围内是渐近极小极大最优的。为了同时检验各个系数，提出了多重检验程序，并显示出渐近控制的错误发现率（FDR）和错误发现的变量（FDV）。进行了模拟研究，以检查所提出的测试的数值性能和现有的方法相比，其优越性。通过分析代谢组学研究的数据集也说明了测试程序，该研究调查粪便代谢物和小儿克罗恩病之间的关联以及治疗对这种关联的影响。
2020-11-19 math.ST stat.ME stat.TH
Minimax Semiparametric Learning With Approximate Sparsity
该研究针对高维下精确稀疏假设适用范围有限的问题，形式化近似稀疏性概念，推导其下回归斜率与平均导数的极小极大速率，提出达最优速率的估计器，还发现有序与无序非参数回归的最优性边界存在差异。
2025-07-31 econ.EM math.ST stat.ML
Statistical Inference and Large-scale Multiple Testing for High-dimensional Regression Models
本文对高维回归模型（包括线性和逻辑斯谛回归）的统计推断和多重检验的最新发展进行了选择性的综述。我们检查的置信区间和假设检验的各种低维目标，如回归系数和线性和二次泛函的建设。其关键技术是为目标低维目标生成去偏和去parasized估计器，并估计其不确定性。除了涵盖这些统计方法背后的动机和直觉之外，我们还讨论了它们在高维推理背景下的最优性和自适应性。此外，我们还回顾了基于多元回归模型的统计推断的最新发展和高维回归的大规模多重检验的进展。R包SIHR已经实现了本文讨论的一些高维推理方法。
2023-01-25 math.ST stat.ME stat.TH
Honest confidence sets for high-dimensional regression by projection and shrinkage
在非参数回归中，构造置信集的诚实性问题产生了。虽然非参数估计中的最优率可以用来构造尖锐的置信集，但在估计光滑度后，置信水平往往会严重下降。类似地，对于高维回归，稀疏估计的预言不等式可以用来构造尖锐的置信集。然而，稀疏度本身是未知的，需要估计，导致诚实问题。为了解决这个问题，我们开发了一种新的方法来构建诚实的信心集稀疏高维线性回归。我们构造的关键思想是将信号分为强组和弱组，然后分别为每组构造置信集。这是通过投影和收缩方法实现的，后者通过Stein估计和相关的Stein无偏风险估计来实现。我们的置信集是诚实的，在整个参数空间没有任何稀疏约束，而其直径适应最佳速率的$n^{-1/4}$时，真正的参数确实是稀疏的。通过广泛的数值比较，我们证明了我们的方法优于其他竞争对手，具有有限样本的大利润，包括基于底层模型的真正稀疏性的Oracle方法。
2019-05-03 math.ST stat.ME stat.TH
Homogeneity in Regression
本文探讨了高维回归系数的齐次性问题，它是稀疏性概念的推广，具有更广泛的适用性。当人们期望对应于相邻地理区域或协变量的相似聚类的回归系数近似相同时，就会出现同质性。稀疏性对应于具有已知原子零点的均匀性的特殊情况。在这篇文章中，我们提出了一种新的方法，称为聚类算法，通过数据驱动的分割（DRDD）回归探索同质性。提供了新的数学增益，可以通过探索均匀性。分析了两个版本的统计特性。特别是，我们提出的估计量的渐近正态性，这表明更好的估计精度齐次参数比没有齐次探索。当我们的方法与稀疏性探索相结合时，可以实现比单独的稀疏性探索更高的效率。这为在高维回归中探索低维结构的能力提供了额外的见解：同质性和稀疏性。新开发的方法进一步说明了模拟研究和实际数据的应用。
2013-03-29 stat.ME
Testing axial symmetry in multivariate location-scale linear regression
Charles University（查理大学）；The Czech Academy of Sciences, Institute of Information Theory and Automation（捷克科学院信息与自动化研究所）
提出基于积分秩得分的检验方法，用于多元线性异方差回归中条件轴向对称性的检验，推导渐近分布，并通过模拟和实际数据验证。
2026-06-11 math.ST stat.ME stat.TH
High dimensional regression and matrix estimation without tuning parameters
提出了一种在任意范数下自动适应未知稀疏性的高斯均值估计的一般理论。该理论被应用于产生自适应极小极大率最优估计在高维回归和矩阵估计，不涉及调整参数。
2015-11-28 math.PR math.ST stat.TH
Small-sample one-sided testing in extreme value regression models
本文导出了一般极值回归模型的调整符号似然比统计量。调整减少了标准正态近似值对带符号似然比统计量分布的误差。我们使用Monte Carlo模拟来比较不同测试的有限样本性能。我们的模拟表明，有符号的似然比检验往往是自由的样本量时，并在缩小尺寸失真的调整是有效的。两个实际数据的应用程序，并进行了讨论。
2014-05-23 math.ST stat.ME stat.TH
Testing High Dimensional Mean Under Sparsity
受高斯假设下的似然比检验的启发，我们提出了一种最大平方和检验方法，用于对高维均值向量进行假设检验。该检验方法考虑了变量间的相关性，以减轻计算负担，并使似然比检验的渐近功效最大化。提出了一种基于模拟的方法来逼近检验统计量的抽样分布。检验程序的有效性在零假设和备择假设下均得到证明。我们进一步将主要结果推广到没有等协方差假设的两样本问题。数值结果表明，所提出的测试可以比一些现有的替代方案更强大。
2015-10-19 stat.ME
Fundamental limits and algorithms for sparse linear regression with sublinear sparsity
University of Cambridge（剑桥大学）
本文为次线性稀疏度机制下的稀疏线性回归建立了精确的归一化互信息和MMSE渐近表达式，通过推广自适应插值方法并提出改进的AMP算法以严格分析了其状态演化，证明了传统线性假设对稀疏信号并非必要。
2023-04-08 cs.IT cs.LG math.IT
Significance testing in quantile regression
本文考虑多元非参数分位数回归中预测变量的显著性检验问题。提出了一个随机过程，它是基于一个比较的响应与非参数分位数回归估计下的原假设。证明了在原假设下，该过程弱收敛于中心高斯过程，并讨论了在固定和局部替换下检验的渐近性质.特别是，我们表明，-在非参数方法的基础上估计$L^2$ -距离-新的测试是能够检测本地的替代品收敛到原假设与任何速率$a_n \to 0$，使$a_n \sqrt{n} \to \infty$（这里$n$表示的样本量）。我们还提出了一个小的模拟研究，说明了有限样本性质的自举版本的相应的Kolmogorov-Smirnov测试。
2012-06-14 math.ST stat.ME stat.TH
Hypothesis testing for high-dimensional sparse binary regression
本文研究了高维稀疏二元回归模型中极大极小假设检验的检测边界。出于对罕见变异效应的基因测序关联研究的动机，我们研究了当设计矩阵稀疏时假设检验问题的复杂性。我们观察到一个新的现象，在检测边界的行为，不发生在高斯线性回归的情况下。我们推导出的检测边界作为两个组件的函数：一个设计矩阵稀疏指数和信号强度，其中每一个是一个函数的稀疏性的替代品。对于任何替代方案，如果设计矩阵稀疏性指数过高，则无论信号强度的大小如何，任何测试都是渐近无效的。对于稀疏性指数不太高的二进制设计矩阵，我们的结果与高斯情况下的结果是平行的。在这种情况下，我们推导出密集和稀疏制度的检测边界。对于密集制度，我们证明了广义似然比是率最优的，稀疏制度，我们提出了一个扩展的更高的批评测试，并表明它是率最优和尖锐的。我们用模拟研究说明了理论结果的有限样本性质。
2015-03-05 math.ST stat.CO stat.ME
On the testing of multiple hypothesis in sliced inverse regression
针对单变量响应与p维预测变量的回归框架下的多重检验问题，提出基于切片逆回归的无模型MTA方法，可渐近控制错误发现率，检验功效优于现有方法。
2023-06-16 math.ST stat.ME stat.TH
Two-sample testing of high-dimensional linear regression coefficients via complementary sketching
本文提出一种基于互补草图的高维线性回归系数两样本检验方法，无需系数可单独估计，在稀疏与稠密差异下具有最优渐近功效，并通过模拟和单细胞数据验证其有效性。
2022-04-27 math.ST stat.ME stat.TH
Inference in High-dimensional Linear Regression
当潜在解释变量的数目大于样本量时，本文提出了一种线性回归模型的推断方法。该方法将每个回归系数依次作为兴趣参数，其余系数是讨厌的参数，并寻求最佳的兴趣尊重变换，在概念费舍尔信息矩阵的相关块上引起稀疏性。通过对每个变量进行边际最小二乘分析来利用诱导的稀疏性，如在析因实验中，从而避免惩罚。一个参数化的问题被发现是特别方便，无论是计算和数学。特别是，它允许的最佳转换问题的解析解，便于理论分析和比较其他工作。与正则化回归（如lasso及其扩展）相比，既不需要选择调整，也不需要重新调整解释变量，确保保留回归系数的物理解释。推荐的用法是在一组更广泛的推理陈述中，以反映模型和参数的不确定性。扩展到其他回归模型的工作所涉及的考虑因素进行了简要讨论。
2022-11-11 math.ST stat.ME stat.TH
Testability of high-dimensional linear models with non-sparse structures
近年来，在可能非稀疏的高维模型下理解统计推断得到了广泛的关注。对于一个给定的回归系数的组成部分，我们表明，问题的难度取决于相应行的协变量的精度矩阵的稀疏性，而不是回归系数的稀疏性。我们开发了统一的和基本上统一的不可测试性的新概念，允许在广泛的替代品的测试的局限性的研究。一致不可测性确定了一个备选方案的集合，使得任何检验对该组中任何备选方案的功效渐近至多等于标称大小。新的建设的影响，包括新的极大极小可测性的结果，在目前的结果形成鲜明对比，不依赖于稀疏的回归参数。我们确定了新的可测试性和功能相关性之间的权衡。特别是，我们表明，在弱特征相关性的模型中，极大极小下界可以通过测试，其功率具有$\sqrt{n}$率，而不管模型稀疏性的大小。
2019-11-25 math.ST stat.ME stat.ML
An efficient algorithm for structured sparse quantile regression
分位数回归结合促进结构化（或组）稀疏性的惩罚进行研究。在参数向量上使用混合$\ell_{1,\infty}$ -范数对传统的分位数回归问题施加结构稀疏性。一个算法推导出计算相应的最小化问题的分段线性解路径。最后给出了算法的Matlab实现，并对算法的应用进行了研究。
2013-02-25 stat.ME
Testing Multiple Linear Regression Systems with Metamorphic Testing
回归是最常用的统计技术之一。然而，测试回归系统是一个巨大的挑战，因为缺乏测试预言一般。在本文中，我们表明，变形测试是一种有效的方法来测试多个线性回归系统。在此过程中，我们确定内在的数学性质的线性回归，然后提出11个变形关系用于测试。他们的有效性进行检查，使用突变分析与一系列不同的回归程序。我们进一步研究如何以更有效的方式采用测试。我们的工作是适用于检查预测系统的可靠性的基础上回归，已被广泛应用于经济，工程和科学，以及统计用户操纵的回归计算。
2021-08-17 cs.SE stat.ME
Sparsity Oriented Importance Learning for High-dimensional Linear Regression
由于现在公认的不可忽略的模型选择不确定性，数据分析师不应再满足于来自模型选择过程的单个最终模型的输出，而不管其复杂性如何。为了提高模型选择的可靠性和重现性，一个建设性的方法是充分利用一个健全的变量重要性措施。虽然有趣的重要性措施，并越来越多地用于数据分析，很少有理论的理由已经完成。在本文中，我们提出了一种新的变量重要性度量，稀疏导向的重要性学习（SOIL），从稀疏线性建模的角度考虑到变量选择的不确定性，通过使用一个合理的模型加权高维回归。理论上证明了SOIL方法具有包含/排除属性：当模型权重适当地围绕真实模型时，SOIL重要性可以很好地将真实模型中的变量与其他变量分开。特别是，即使信号很弱，SOIL也很少给真实模型中的变量提供比真实模型中的变量显著更高的重要值。广泛的模拟在几个说明性的设置和实际数据的例子与引导模拟显示理想的属性的土壤的重要性相比，其他的重要性措施。
2016-08-01 stat.ME
Implicit Regularization for Group Sparsity
Texas A&M University（德克萨斯农工大学）；New York University（纽约大学）
我们研究了隐式正则化梯度下降结构稀疏通过一种新的神经重新参数化，我们称之为对角分组线性神经网络。我们展示了我们的重新参数化的以下有趣的性质：在平方回归损失上的梯度下降，没有任何明确的正则化，偏向于具有组稀疏结构的解决方案。与许多现有的理解隐式正则化的工作相比，我们证明了我们的训练轨迹不能通过镜像下降来模拟。我们分析了相应的回归问题在一般噪声设置的梯度动力学，并获得最小最优错误率。与使用对角线性网络的隐式稀疏正则化的现有界限相比，我们的分析与新的重新参数化显示出改进的样本复杂度。在退化的情况下，大小一组，我们的方法产生了一个新的算法稀疏线性回归。最后，我们证明了我们的方法的有效性与几个数值实验。
2023-01-29 cs.LG stat.ML
Testing Sparsity-Inducing Penalties
许多惩罚极大似然估计对应于特定先验分布下的后验模估计。适当的一个特定类别的惩罚函数，因此可以解释为适当的先验参数。例如，对回归系数的套索惩罚的适当性取决于回归系数的经验分布与拉普拉斯分布相似的程度。我们给出了一个检验程序，以检验Laplace先验是否合适，并相应地检验使用套索惩罚估计是否合适。该测试程序设计为具有针对指数幂先验的功效，其对应于$\ell_q$惩罚。通过模拟，我们表明，这种测试程序达到了预期的水平，并有足够的权力，以检测违反拉普拉斯假设时，观察和未知的回归系数的数量是大的。然后，我们引入了一个自适应的程序，选择一个更合适的前和相应的惩罚时，原假设被拒绝的指数幂先验类。我们表明，这可以提高估计的回归系数时，他们是从指数幂分布，当他们是从穗和板分布。
2018-09-08 stat.ME
Equivalence testing for linear regression
本文提出线性回归的等价性检验方法，用于确认连续结果与预测变量间无有意义关联，涵盖非标准化回归系数和半偏相关系数的检验，并比较了贝叶斯方法。
2023-05-16 stat.ME
Nonparametric Empirical Bayes Estimation and Testing for Sparse and Heteroscedastic Signals
University of Pennsylvania（宾夕法尼亚大学）；Temple University（天普大学）；University of Michigan（密歇根大学）
现代大规模数据往往涉及高维未知参数的估计和检验。希望以准确性和错误发现控制来识别稀疏信号，“大海捞针”。然而，现代数据结构中前所未有的复杂性和异构性需要新的机器学习工具来有效地利用共性，并针对稀疏性和异构性进行鲁棒调整。此外，高维参数的估计往往缺乏不确定性量化。在本文中，我们提出了一种新的尖峰和非参数混合先验（SNP）-尖峰，以促进稀疏性和非参数结构捕获信号。与现有的方法相比，本文提出的方法同时解决了估计和检验问题，具有以下优点：1）稀疏性估计准确; 2）具有收缩/软阈值特性的点估计; 3）不确定性量化的可信区间; 4）控制错误发现率的最优多重检验过程。我们的方法在模拟数据和基因表达案例研究上都表现出很好的经验性能。
2021-11-05 cs.LG stat.ME
Goodness-of-fit testing the error distribution in multivariate indirect regression
本文提出了一个多元间接回归模型误差分布的拟合优度检验。检验统计量基于标准化残差的经验过程的Khmaladze变换。该拟合优度检验在收敛的根n速率下是一致的，并且该检验可以保持针对以根n速率收敛到零的局部替代的功效。
2018-12-06 stat.ME
Hypothesis Testing in High-Dimensional Instrumental Variables Regression with an Application to Genomics Data
基因表达和表型关联可能受到来自多个来源的潜在未测量混杂因素的影响，导致对关联的偏倚估计。由于遗传变异在很大程度上解释了基因表达变异，因此可以在高维工具变量（IV）回归的框架内将其用作研究基因表达与表型之间关联的工具。然而，由于遗传变异和基因表达的维度通常大于样本量，因此统计推断（例如，用于此类高维IV模型的假设检验）并非微不足道，并且尚未在文献中进行研究。由于工具变量（例如，遗传变体）必须在大量的遗传变体中进行选择。研究了稀疏IV回归模型的假设检验问题，给出了单个回归系数的检验方法和多个回归系数的多重检验方法，其中单个回归系数的检验统计量是基于逆回归构造的.一个多重检验程序开发选择变量，并控制错误发现率。仿真进行评估我们所提出的方法的性能。这些方法通过酵母数据集的分析来说明，以确定与过氧化氢存在下的生长相关的基因。
2019-10-21 stat.AP stat.ME
Testing parametric models in linear-directional regression
本文给出了具有标量响应和方向预测变量的参数回归模型的拟合优度检验。方向预测变量是任意维球面上的向量。检验过程是基于平滑和参数回归估计之间的加权平方距离，其中平滑回归估计是通过投影局部方法获得的。给出了在原假设和局部替代假设下检验统计量的渐近行为，并给出了一个可用于实际应用的自举算法。仿真研究说明了在有限样本的测试的性能。该过程适用于测试文本挖掘中的线性模型。
2020-09-20 stat.ME
Sparsity learning via structured functional factor augmentation
本文提出函数因子增广结构fFAS及选择模型fFASM，以解决高维函数线性回归中相关协变量的变量选择问题，并通过理论与数值实验证明其在估计精度和选择一致性上的优越性。
2025-01-04 stat.ME
Estimation, Confidence Intervals, and Large-Scale Hypotheses Testing for High-Dimensional Mixed Linear Regression
研究了高维混合线性回归模型，其中输出变量来自两个线性回归模型之一，且混合比例未知，随机协变量的协方差结构未知.基于一个高维的期望最大化算法，我们提出了一个迭代过程来估计两个回归向量，并建立其收敛速度。基于迭代估计，我们进一步构造了去偏估计，并证明了它们的渐近正态性。对于单个坐标，构造以去偏估计量为中心的置信区间。此外，提出了一个大规模的多重检验程序来检验的回归系数，并示出控制的错误发现率（FDR）渐近。仿真研究进行了检查所提出的方法的数值性能和现有的方法相比，其优越性。所提出的方法进一步说明，通过分析的数据集的多重图像细胞仪，其中调查的细胞表型，包括20个表位或标记物的组合的表达水平之间的相互作用网络。
2020-11-06 stat.ME stat.ML
Heteroscedasticity Testing for Regression Models: A Dimension Reduction-based Model Adaptive
异方差检验在回归分析中具有重要意义。现有的局部平滑检验由于采用了非参数估计，即使协变量的数目不多，也会受到维数灾难的严重影响。本文提出了一种基于降维的模型自适应检验方法，该方法类似于局部平滑检验，假设协变量的个数等于均值回归函数中协变量的线性组合个数，特别是当均值函数包含一个单一指标时，协变量的个数等于1。在原假设下，检验统计量是渐近正态的，因此很容易确定临界值。通过仿真和实际数据分析，检验了有限样本的性能。
2015-10-13 stat.ME
Generalized Linear Models with Structured Sparsity Estimators
North Carolina State University（北卡罗来纳州立大学）
本文在广义线性模型中引入结构稀疏估计。Stucky和van de Geer（2018）最近针对固定设计和正态误差引入了最小二乘损失中的结构稀疏估计。我们扩展他们的结果去偏结构稀疏估计与广义线性模型为基础的损失。结构化稀疏估计是指在所选范数中使用可能的稀疏结构的惩罚损失函数。这些包括加权群套索，套索和规范产生的凸锥。最大的困难是不清楚如何证明两个预言不等式。第一个是初始惩罚广义线性模型估计。由于不清楚特定的可行加权逐点回归如何适合惩罚广义线性模型的预言不等式，我们需要第二个预言不等式来获得广义线性模型的二阶偏导数的样本估计的近似逆的预言界。我们的贡献有五个方面：1。通过证明隐含条件而不是假设隐含条件，将已有的预言不等式结果推广到惩罚广义线性模型中。其中一个关键问题是一个样本单点边界条件的证明及其在预言不等式中的应用。2.我们的研究结果甚至覆盖非次高斯误差和回归。3.我们提供了一个可行的加权nodewise回归证明，推广了文献中的结果，从一个简单的l_1范数的使用，从凸锥产生的规范。4.我们认识到，在可行的逐节点回归证明中使用的范数应该弱于或等于惩罚广义线性模型损失中的范数。5.通过求广义线性模型损失的奇异样本二阶偏导数的近似逆，可以消除第一步估计的偏差。
2021-04-29 cs.LG econ.EM stat.ML
High-dimensional regression with unknown variance
我们回顾了最近的结果，高维稀疏线性回归在实际情况下的未知方差。涵盖了不同的稀疏设置，包括坐标稀疏，组稀疏和变化稀疏。重点放在非渐近分析和可行的程序。此外，一个小的数值研究比较了三个计划调整的Lasso估计的实际性能和一些参考收集一些更一般的模型，包括多元回归和非参数回归。
2012-02-20 math.ST stat.TH
