Shrinkage Estimators for Beta Regression Models
针对Beta回归模型中解释变量共线性影响参数估计的问题,本文从带logit链接函数的惩罚似然角度提出岭回归和LASSO收缩估计量,并通过模拟和实际数据验证了其性质。
2024-06-26 stat.AP stat.ME
A Modelling Framework for Regression with Collinearity
本文提出一种处理共线性回归的实证有效建模框架EEM-M,通过两个模型选择过程分别控制共线性并评估整体性能,并设计了两种算法实现该框架。
2023-06-26 math.ST stat.ME stat.TH
Bayesian Profile Regression with Linear Mixed Models (Profile-LMM) applied to Longitudinal Exposome Data
Amsterdam UMC(阿姆斯特丹大学医学中心);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本文提出Profile-LMM框架,将贝叶斯剖面回归与线性混合模型结合,处理纵向暴露组数据中的共线性和时间变异,并通过模拟和Lifelines队列验证其识别与舒张压相关的暴露组合的能力。
2025-10-09 stat.ME
Random Norming Aids Analysis of Non-linear Regression Models with Sequential Informative Dose Selection
两阶段自适应优化设计是提高临床试验效率的一个有吸引力的选择。在这些设计中,基于中期数据,选择局部最佳剂量用于进一步探索,这引起来自两个阶段的数据之间的依赖性。在一个试验性研究中,当第一阶段样本容量固定,第二阶段样本量较大时,在具有独立正态误差的非线性回归模型下使用极大似然估计时,由于相关性,费舍尔信息不能使估计量渐近地充分标准化。在这种情况下,我们提出了三种替代的随机信息措施,并表明它们提供更好的归一化的MLE渐近。在模拟研究中研究了随机信息测度的性能,结果表明,当样本量较小时,观测信息的性能最好。
2019-05-23 stat.AP stat.ME
Median bias reduction in random-effects meta-analysis and meta-regression
在荟萃分析中,随机效应模型常用于综合不同研究的信息。虽然基于似然性的推理在限制属性和实施方面都很有吸引力,但其在随机效应荟萃分析中的应用可能会导致误导性结论,特别是当研究数量较少时。目前的文件显示,如何减少渐近偏差的极大似然估计的方差分量的方法,也可以大大提高推断的平均效应大小。这些结果是针对随机效应荟萃回归的更一般框架得出的,该框架允许平均效应大小随研究特定协变量而变化。
2018-05-23 stat.AP stat.ME
Size and power properties of some tests in the Birnbaum-Saunders regression model
Birnbaum-Saunders分布已被非常有效地用于模拟疲劳材料的失效时间和模拟寿命数据。本文给出了Birnbaum-Saunders回归模型中似然比、Wald、score和梯度检验统计量的非零分布函数在Pitman替代序列下的渐近展开式,直到$n^{-1/2}$阶.所有四个统计量的渐近分布得到检验的回归参数的子集和检验的形状参数。蒙特卡罗模拟,以比较这些测试的有限样本性能。我们还提出了一个经验的应用。
2010-05-18 stat.ME
Empirical Bayes mean estimation with nonparametric errors via order statistic regression on replicated data
本文研究了$K$噪声观测值对$N$单元效应量的经验Bayes估计。我们表明,它是可能实现近贝叶斯最优的均方误差,没有任何假设或知识的影响大小分布或噪声。噪声分布可以是异方差的,并且从单元到单元任意变化。我们的建议,我们称之为极光,利用复制固有的$K$观察每单位和重铸的效果大小估计问题作为一个一般的回归问题。具有线性回归的Aurora可证明地匹配广泛的估计器的性能,包括样本均值、修剪均值、样本中位数以及其James-Stein收缩版本。Aurora自动化了互联网规模数据集的效应大小估计,正如我们在一家大型科技公司的数据上所展示的那样。
2021-08-10 stat.ME
Improved Likelihood Inference in Birnbaum-Saunders Regressions
Birnbaum-Saunders回归模型常用于可靠性研究。我们解决的问题,在这类模型中进行推理时,观察的数量是小的。我们证明了当样本量较小时,似然比检验趋于自由,并且我们得到了一个校正因子,它减小了检验的样本量失真。这种修正使检验的误差率随着样本量的增加而消失得更快。数值结果表明,在有限样本情况下,改进的似然比检验比通常的似然比检验更可靠。我们还提出了一个经验的应用。
2009-04-22 stat.ME
Semiparametric logistic regression with unknown sizes, and its application to bioassays
具有未知大小的逻辑斯谛回归在生物和医学科学中有许多重要的应用。文献中关于这个问题的模型都是参数模型。提出了一个半参数回归模型。该模型包含由于尺寸变化引起的过度分散,并允许一般的剂量-反应关系。期望条件最大化算法提供了最大化的对数似然。Bootstrap方法可用于构造回归系数的置信区间。仿真研究所提出的模型的行为。两个实际的例子进行了研究所提出的模型。
2006-09-20 math.ST stat.TH
Sample Size Calculations in Simple Linear Regression: Trials and Tribulations
本文解决的问题是在一个简单的线性回归模型的背景下,确定给定水平和功率的样本量。在技术层面上,简单线性回归模型是一个五参数模型。很自然地,样本量计算基于模型斜率参数的最小二乘估计。营养参数(如预测变量X的方差和响应Y的条件方差)会在计算中产生问题。目前文献中的方法并不具有启发性。一种方法是基于给定预测量X上的数据的斜率参数的估计量的条件分布。另一种方法是基于样本相关系数。我们通过确定建立在斜率参数估计量上的检验统计量的精确无条件分布来克服这些问题。精确的无条件分布在一定程度上给样本量的计算带来了困难。另一方面,基于X和Y的样本相关系数的检验避免了基于斜率参数的检验所存在的问题。然而,我们失去了斜率参数带来的直观解释。令人惊讶的是,我们发现相关性检验得出的样本量与斜率参数检验得出的样本量在各种设置下都是同步的。
2019-07-24 stat.ME
Model Selection Consistency for Cointegrating Regressions
研究了协整回归中所有协变量都是弱外生变量时自适应Lasso的渐近性质。我们假设候选I(1)变量的数量相对于样本量(但可能更大)是次线性的,候选I(0)变量的数量相对于样本量是多项式的。证明了在协整分析的经典条件下,该估计量渐近地选择模型中变量的正确子集,并且其渐近分布与OLS估计量的分布相同,因为模型中的变量是事先已知的(预言性质).我们还推导出一个算法的基础上的局部二次近似,并提出了一个数值研究,以显示在有限样本的方法的充分性。
2011-10-10 stat.CO stat.ME stat.ML
An improved sample size calculation method for score tests in generalized linear models
Self和Alfresen(1988)发展了一种在相邻方案下广义线性模型中分数检验的样本量确定方法。当效应量较大时,其性能可能会恶化。我们提出了一个修改的Self-Bucksen方法,考虑到方差的得分统计下的零假设和备择假设,并扩展该方法的非劣效性试验。采用改良方法计算优效性和非劣效性试验中逻辑斯谛回归和负二项回归的样本量。我们进一步解释了为什么最近由朱和Lakkis得出的公式往往低估了负二项回归所需的样本量。数值算例验证了该方法的准确性。
2020-06-23 stat.ME
Testing for Heteroscedasticity in High-dimensional Regressions
检验误差的异方差性是高维回归中的一个主要挑战,其中协变量的数量与样本量相比很大。传统的程序,如白色和Breusch-Pagan测试通常遭受低尺寸和功率。本文提出了两种新的基于标准OLS残差的检验方法。利用随机Haar正交矩阵理论,得到了当自由度趋于无穷大时,两个检验统计量在零点下的渐近正态性。这包括经典的低维设置,其中变量的数量是固定的,而样本量趋于无穷大,以及比例高维设置,其中这些维度按比例增长到无穷大。因此,这些程序在应用中提供了广泛的维度覆盖。据我们所知,这是第一个程序在文献中检验异方差是有效的中,高维回归。我们提出的测试现有的方法的优越性证明了广泛的模拟和一些真实的数据分析以及。
2017-10-13 stat.ME
Small-sample testing inference in symmetric and log-symmetric linear regression models
本文讨论了中小样本对称和对数对称线性回归模型的假设检验问题。我们专注于四个测试,即沃尔德,似然比,得分,梯度测试。这些检验依赖于渐近结果,当样本量不足以保证检验统计量的精确分布与相应的卡方渐近分布之间的良好一致性时,这些检验是不可靠的。Bartlett和Bartlett型校正通常会减弱测试的尺寸失真。这些校正在对称线性回归模型中的似然比和得分检验的文献中可用。在这里,我们推导出梯度测试的Bartlett型校正。我们证明了这些修正对对数对称线性回归模型也是有效的。我们数值比较各种测试,并引导测试,通过模拟。我们的研究结果表明,校正和自举测试表现出I型概率误差接近所选择的标称水平,几乎没有功率损耗。分析校正的测试,包括Bartlett校正的梯度测试在本文中得出的,执行以及自举测试的优势,不需要计算密集型计算。我们提出了两个真实的数据应用程序来说明修改后的测试的有用性。保留字:对称回归模型;巴特利特校正; Bartlett型校正; Bootstrap;对数对称回归模型;梯度统计;评分统计;似然比统计量; Wald统计量
2016-02-02 stat.ME
Improving the accuracy of likelihood-based inference in meta-analysis and meta-regression
随机效应模型经常被用于综合荟萃分析中不同研究的信息。虽然基于似然性的推理在限制属性和实施方面都很有吸引力,但其在随机效应荟萃分析中的应用可能会导致误导性结论,特别是当研究数量较少时。目前的文件显示,如何减少渐近偏差的极大似然估计的方差分量的方法,也可以大大提高推断的平均效应大小。这些结果是针对随机效应荟萃回归的更一般框架得出的,该框架允许平均效应大小随研究特定协变量而变化。
2017-05-22 stat.ME
Asymptotic Expansion of Risk for a Regression Model with respect to $α$-Divergence with an Application to the Sample Size Problem -- Complete Version
对于一个回归模型,我们考虑了极大似然估计关于$α$ -发散的风险,其中包括Kullback-Leibler发散、Hellinger距离和$χ^2$发散的特殊情况.风险相对于样本量$n$的渐近展开给出了$n^{-2}$阶。我们感兴趣的是风险收敛速度(到零)是如何受到回归模型的误差项分布和标准化解释变量的联合矩的大小的影响。除了一般结果(由Mathematica程序给出)外,我们还考虑了三种具体的误差项分布:正态分布、t分布和斜正态分布。我们使用m.l.e.的(近似)风险。作为回归模型估计难度的度量。特别是将近似的风险值与二项分布的风险值进行比较,可以为估计回归模型所需的样本量给出一定的标准。
2017-09-09 math.ST stat.TH
Nonparametric Regression under Cluster Sampling
本文在聚类依赖且聚类规模异质可增长的条件下,为非参数核回归建立了渐近理论,揭示了异质聚类规模引入的新方差项,并提出聚类稳健的带宽选择与推断方法,通过模拟和实证数据验证其有效性。
2024-12-28 econ.EM stat.ME
Logistic regression with unknown sizes
在生物和医学科学中经常出现未知大小的二项数据。以前的方法要么使用泊松近似或准似然方法。提出了一种全似然方法,将未知尺寸作为潜在变量。这种方法简化了分析,因为可以应用极大似然估计。它还有助于我们更多地了解模型之间的效率损失和模型内的估计精度。仿真评估所提出的模型的性能。存活的空肠隐窝数据的应用进行了讨论。所提出的方法不仅与以往的方法具有竞争力,而且也给出了一个适当的解释膨胀的变化的期望大小。
2006-09-20 math.ST stat.TH
Sequential Nonparametric Regression
Carnegie Mellon University(卡内基梅隆大学);University of Chicago(芝加哥大学)
我们提出的算法非参数回归的设置中的数据是连续获得的。虽然传统的估计器选择的带宽取决于样本量,对于连续数据的有效样本量是动态变化的。我们提出了一个线性时间算法,调整每个新的数据点的带宽,并显示估计达到最佳的极小极大收敛速度。我们还提出了使用在线专家混合算法来适应未知的光滑的回归函数。我们提供的模拟证实了理论结果,并证明了方法的有效性。
2012-06-27 astro-ph.IM cs.LG stat.ME
Regression estimator for the tail index
尾部指标参数的估计是极值理论的主要目标之一。对于重尾分布,Hill估计是估计尾部指标参数的最常用方法。最近的工作旨在用不同的方法改进Hill估计,例如使用bootstrap或Kolmogorov-Smirnov度量。这些方法是渐近一致的,但对于尾部指数$ξ>1$和较小的样本量的估计未能接近理论值的实际样本量。在本文中,我们介绍了一种新的经验方法,它可以很好地估计高尾指数参数,也可能是有用的相对较小的样本量。
2018-06-04 math.ST stat.ME stat.TH
Small-sample one-sided testing in extreme value regression models
本文导出了一般极值回归模型的调整符号似然比统计量。调整减少了标准正态近似值对带符号似然比统计量分布的误差。我们使用Monte Carlo模拟来比较不同测试的有限样本性能。我们的模拟表明,有符号的似然比检验往往是自由的样本量时,并在缩小尺寸失真的调整是有效的。两个实际数据的应用程序,并进行了讨论。
2014-05-23 math.ST stat.ME stat.TH
Double-mixing semiparametric logistic regression with unknown sizes
未知大小的二项数据经常出现在生物和医学科学中,并且通常是过度分散的。所有以前的方法使用参数模型,只考虑过度分散,由于尺寸的变化。建议的半参数模型考虑过度分散由于大小和概率的变化。通过这样做,它可以包括由观测引起的变化,缺失的协变量,以及协变量中的随机测量误差。提出了一种期望条件最大化算法来稳定对数似然优化。讨论了混合分布的支撑点数目的选取和Bootstrap方法。仿真结果验证了该模型的有效性。两个实例被用来说明所提出的模型。
2006-09-20 math.ST stat.TH
Adaptative significance levels in linear regression models with known variance
Pereira和Stern [Entropy 1(4)(1999)99-110]提出了精确假设的全贝叶斯显著性检验(FBST),作为贝叶斯替代方法,而不是使用p值的传统显著性检验。FBST基于支持原假设(H)的证据。实施《联邦调查法》的一个重要的实际问题是确定证据必须有多大才能决定是否予以驳回。在经典的显著性检验中,已知p值随样本量的增加而减小,因此设置单一的显著性水平往往会导致H拒识。在FBST程序中,当样本量增加时,有利于H的证据表现出与p值相同的行为。这表明定义FBST中H拒绝的截止点应是样本量函数。在这项工作中,线性回归模型的情况下,已知的方差贝叶斯方法被认为是一种方法来找到一个截止值的证据在FBST最小化的线性组合的平均类型I和第二类错误概率为给定的样本量,也为一个给定的尺寸的参数空间。
2019-06-10 stat.ME
On Data Enriched Logistic Regression
生物医学研究人员通常在明确定义的人群中研究某些暴露对疾病风险的影响。为了实现这一目标,黄金标准是设计一个试验,从该人群中选择适当的样本。由于此类试验的成本较高,通常收集的样本量有限,不足以准确估计某些暴露的影响。在本文中,我们讨论了如何利用外部"大数据"(具有更大样本量的数据)的信息,以提高估计精度的风险,引入小偏差。我们提出了一系列加权估计,以平衡包括大数据时的偏差增加和方差减少。我们将我们提出的估计量连接到已建立的惩罚回归估计量。我们使用二阶和高阶渐近展开推导出最优权重。使用广泛的模拟研究,我们表明,改善的均方误差(MSE)的回归系数可以是实质性的,即使有限的样本量和我们的加权方法优于现有的方法,如惩罚回归和詹姆斯斯坦的方法。我们还提供了理论上的保证,建议的估计将永远不会导致渐近MSE大于极大似然估计仅使用小数据一般。我们将我们提出的方法应用于亚洲队列联盟中国队列数据,以估计年龄,BMI,吸烟,饮酒和死亡率之间的关系。
2019-11-14 stat.AP
Information-Based Optimal Subdata Selection for Big Data Linear Regression
在许多科学分支中产生了大量的数据。由于计算的局限性,非线性统计方法不再适用于超大数据集。大数据分析的一个关键步骤是数据简化。在线性回归的背景下,现有的调查集中在基于子采样的方法。然而,这种方法不仅容易产生采样误差,而且还导致估计量的协方差阵通常由子数据大小的倒数的项从下面限定。我们提出了一种新的方法,称为基于信息的最优子数据选择(IBOSS)。与领先的现有子数据方法相比,IBOSS方法具有以下优点:(i)速度明显更快;(ii)适合分布式并行计算;(iii)即使子数据大小固定,随着完整数据大小的增加,斜率参数估计量的方差也收敛到0,即,收敛速度取决于完整的数据大小;(四)数据分析的IBOSS子数据是直截了当的,抽样分布的IBOSS估计是很容易评估。理论结果和大量的模拟表明,IBOSS的方法是优于基于子采样的方法,有时由数量级。通过对实际数据的分析,说明了新方法的优越性.
2017-10-28 stat.ME
Optimal subsampling algorithm for composite quantile regression with distributed data
对于存储在多台机器上的海量数据,我们提出了一种分布式子抽样的复合分位数回归方法。通过建立一般二次抽样算法下复合分位数回归估计的相合性和渐近正态性,得到了L-最优准则下的最优二次抽样概率和最优分配量.一个两步算法近似的最佳子采样过程的发展。通过模拟和真实数据集上的数值实验说明了所提出的方法。
2023-01-06 stat.CO
Restricted Regression in Networks
本文提出受限网络回归模型,通过对协变量正交化随机效应以缓解网络回归中的共线性与网络混杂问题,并改进回归系数估计。
2023-11-29 stat.ME
Complete Subset Averaging for Quantile Regressions
针对分位数回归,提出了一种基于完全子集平均(CSA)的条件分位数预测方法。考虑中的所有模型都可能被错误指定,并且随着样本量的增加,回归变量的维数趋于无穷大。由于我们对完整的子集进行平均,因此模型的数量比采用复杂加权方案的通常模型平均方法大得多。我们建议使用一个相等的权重,但选择适当的大小的完整的子集的基础上留一出交叉验证方法。在Lu和Su(2015)的理论基础上,我们研究了CSA的大样本性质,并证明了Li(1987)意义下的渐近最优性。我们通过蒙特卡罗模拟和经验应用检查有限样本性能。
2021-07-13 econ.EM stat.ME
Testing Heteroskedasticity in High-Dimensional Linear Regression
提出了一种新的高维线性回归异方差检验方法,其中协变量个数可以大于样本量。我们的测试程序是基于Lasso的残差。我们证明了我们的检验统计量具有渐近正态性下的原假设的同性。仿真结果表明,该方法可以获得准确的经验大小和功率。我们还介绍了实际经济数据应用的结果。
2022-10-31 math.ST stat.TH
Determination of the Representative Sample Size in Linear Regression
本文针对线性回归中假设模型与真实模型偏差导致的样本精度差异问题,提出了包含自变量及其函数的近似级数选择方法,以确定代表性样本量。
2026-08-07 math.ST stat.TH
Multiple Observers Ranked Set Samples for Shrinkage Estimators
分级集抽样(RSS)被用作一种强大的数据收集技术,用于测量研究变量需要昂贵和/或繁琐的过程的情况,而抽样单元可以容易地分级(例如,骨质疏松症研究)。本文针对线性回归、随机约束回归和逻辑斯谛回归的系数估计中的共线性问题,提出了多观测站RSS数据下岭型和Liu型收缩估计.通过广泛的数值研究,我们表明,收缩方法与多观察员RSS的结果更有效的系数估计。开发的方法,最后应用到骨矿物质数据分析的骨疾病状态的妇女年龄在50岁及以上。
2021-10-15 math.ST stat.CO stat.ME
Heteroskedasticity-robust inference in linear regression models with many covariates
我们考虑在线性回归模型,是强大的异方差和存在许多控制变量的推断。当控制变量的数目以与样本量相同的速率增加时,协方差阵的通常异方差稳健估计是不一致的。因此,基于这些估计量的测试即使在大样本中也会发生尺寸失真。提出了这种设置的另一种协方差矩阵估计量,补充了Cattaneo,Jansson和Newey(2018)最近的工作。我们提供了高层次的条件,我们的方法提供(渐近)大小正确的推理,以及更原始的条件,为三种特殊情况。仿真结果和经验说明推断工会保费。
2020-09-28 math.ST stat.TH
Nearly Optimal Sample Size in Hypothesis Testing for High-Dimensional Regression
Stanford University(斯坦福大学)
考虑高维线性回归模型的参数拟合问题。在参数$p$的数量与样本量$n$相当或超过$n$的情况下,成功的方法使用$\ell_1$惩罚最小二乘估计量,称为Lasso。不幸的是,与线性估计器不同(例如,普通最小二乘法),没有建立良好的方法来计算置信区间或p值的基础上的Lasso估计。最近,一系列工作\cite{javanmard2013hypothesis, confidenceJM, GBR-hypothesis}已经解决了这个问题,通过构建一个去偏版本的Lasso估计。本文研究随机设计模型的这种方法,假设设计的精度矩阵存在一个好的估计。我们的分析比现有技术有所改进,因为如果样本量$n$渐近优于$s_0 (\log p)^2$,则其建立了接近最佳的\emph{average}检验功效,其中$s_0$为稀疏水平(非零系数的数量)。早期的工作获得可证明的保证,只有更大的样本量,即它需要$n$渐近支配$(s_0 \log p)^2$。特别是,对于随机设计的稀疏精度矩阵,我们表明,其具有所需的属性的估计可以有效地计算。最后,我们评估这种方法的合成数据,并将其与以前的建议。
2013-11-01 cs.IT cs.LG math.IT
Regression model selection via log-likelihood ratio and constrained minimum criterion
对数似然比似然比在模型选择中应用广泛,但在模型选择中应用较少。我们开发了一个基于对数似然比的方法,通过关注被似然比检验认为合理的模型集来选择回归模型。我们表明,当样本量较大且检验的显著性水平较小时,集合中的最小模型是真实模型的概率很高,因此,我们选择了这个最小模型。检验的显著性水平用作该方法的参数。我们考虑了三个水平的这个参数在模拟研究中,并比较这种方法与赤池信息准则和贝叶斯信息准则,以证明其良好的精度和适应性,以不同的样本量。我们还应用这种方法来选择南非心脏病数据集的逻辑斯谛回归模型。
2021-09-25 math.ST stat.ME stat.TH
Nonlinear Regression with Residuals: Causal Estimation with Time-varying Treatments and Covariates
针对时变处理与协变量下标准回归调整因果估计不一致的问题,提出带共线性调整的回归估计量,属于参数化g-formula,将带残差回归拓展至多种非线性模型,估计一致且易实现。
2024-03-10 stat.CO stat.ME
Scaling Laws for Precision in High-Dimensional Linear Regression
The University of Hong Kong(香港大学)
本文研究了高维线性回归中低精度训练的缩放规律,揭示了乘法和加法量化对模型和数据容量的不同影响,为优化训练协议提供了理论依据。
2026-02-26 cs.AI cs.LG stat.ML
A comparison of methods for the analysis of binomial proportion data in behavioral research
在行为和精神病学研究中,经常会出现由有限数量的试验中每个受试者的“成功”和“失败”比例组成的数据。这类聚集的二进制数据通常是非正态分布的,如果应用通常的一般线性模型并且样本量较小,则可能会导致参数估计和预测问题。在这里,我们研究了一些可用的分析方法的性能适用于比例数据的分析,即线性回归,泊松回归,β-二项回归和广义线性混合模型(GLISPR)。我们报告的结论,从模拟研究评估功率和I型错误率的这些模型的情况下,类似于那些遇到的行为研究人员和不同的样本量,集群大小和固定效应参数;此外,我们描述了从应用这些方法的数据从两个真正的行为实验的结果。我们的研究结果表明,虽然GLSTO和β-二项回归是分析聚类二进制结果的强大工具,但线性近似仍然可以在这种情况下提供可靠的假设检验。另一方面,泊松回归在用于比例数据建模时,可能会严重受到模型误设的影响。我们的结论提供了一些指导方针,选择合适的分析仪器,样品和集群大小取决于实验条件。
2016-05-06 q-bio.NC q-bio.QM stat.ME
Goodness-of-fit Testing in Linear Regression Models
模型检验在线性回归中起着重要的作用,因为模型误设定严重影响了回归分析的有效性和效率。在实践中,模型检查通常通过主观评估模型残差的图来执行。该方法通过从模型的残差构造随机过程来实现,然而由于非常复杂的协方差函数,获得检验统计量的精确分布是困难的。已经提出了几种解决方案来克服这一点,但是基于模拟和自举的方法仅渐近有效,并且可以在有限的样本量下产生具有不适当大小的测试。因此,我们建议使用置换估计零分布。我们表明,在一些温和的假设下,同方差的随机误差,这会产生相合检验下的零和备择假设。小样本性质的建议测试进行了研究,在广泛的Monte Carlo模拟研究,它表明,建议的测试达到正确的大小,即使有强烈的非正态随机误差和一个非常小的样本量,同时作为其他可用的替代品一样强大。最后给出了一些实际数据的例子。
2019-11-18 math.ST stat.TH
Bootstrap Error Estimation and Sketch-Size Selection for Sketched Ridge Regression
Institute of Science Tokyo(东京科学大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能研究中心)
本文将配对行自举法扩展至草图岭回归,推导了相关渐近性质,开发了多种自举改进方法,实验验证了其在误差估计与草图规模选择上的有效性。
2026-08-18 math.ST stat.TH
Non-Asymptotic Analysis of Efficiency in Conformalized Regression
EPFL(洛桑联邦理工学院);Shanghai University of Finance and Economics(上海财经大学)
本文研究了符合化回归的非渐近效率界,通过SGD训练分位数和中位数回归,建立了预测集长度与理想区间的偏差界,揭示了不同误覆盖水平下的收敛率相变。
2026-03-05 cs.LG stat.ML
Homoscedasticity tests for both low and high-dimensional fixed design regressions
本文证明了当样本量$n$趋于无穷大,协变量个数$p$固定或趋于无穷大时,检验线性回归模型异方差存在性的统计量的渐近正态性.此外,我们的方法表明,它的渐近正态性成立,即使没有同方差。
2016-03-12 math.ST stat.TH
Quantile Regression for Large-scale Applications
Stanford University(斯坦福大学);LinkedIn(领英);International Computer Science Institute(国际计算机科学研究所);University of California at Berkeley(加州大学伯克利分校)
本文提出一种近线性时间复杂度的随机算法,用于解决大规模分位数回归问题,通过低失真子空间保持嵌入提升计算效率,适用于超大规模数据集。
2014-01-07 cs.DC cs.DS cs.NA
Testing for linearity in boundary regression models with application to maximal life expectancies
我们考虑一个误差为a.s.的回归模型。阴性因此,回归函数不是观测值的期望值,而是其支持的右端点。我们开发了两个拟合优度检验的假设,即回归函数是一个仿射函数,研究的渐近分布的检验统计量,以近似固定的大小的测试,推导出其有限样本性质的基础上模拟和应用它们的预期寿命数据。
2020-09-30 math.ST stat.TH
Model selection in regression under structural constraints
本文考虑了在可接受模型的额外结构约束下的回归模型选择,其中潜在的预测因子的数量甚至可能大于可用的样本量。我们开发了一个贝叶斯形式主义作为一个自然的工具,用于生成一个广泛的类的模型选择标准的基础上惩罚最小二乘估计与各种复杂性的罚款与先验模型大小。由此产生的标准是自适应的结构约束。我们建立了一组给定大小的可容许模型的MAP估计的二次风险的上界和相应的极小极大风险的下界。然后,我们指定类的先验(因此,类的复杂性处罚),其中的“近正交”设计的MAP估计是渐近至少近极大极小(对数因子)同时在整个范围内的稀疏和密集的设置。此外,当可接受模型的数量“小”时(例如,有序变量选择),或者相反,对于完全变量选择的情况,所提出的估计器实现了精确的极大极小率。
2013-02-17 math.ST stat.TH
Forward Regression via Gram-Schmidt Orthogonalization for Ultra-High Dimensional Linear Models
School of Management, Zhejiang University(浙江大学管理学院);Perelman School of Medicine, University of Pennsylvania(宾夕法尼亚大学佩雷尔曼医学院);Booth School of Business, University of Chicago(芝加哥大学布斯商学院)
本文提出基于Gram-Schmidt正交化的前向回归方法,用于高维线性模型中的变量筛选,通过递归更新减少重复投影成本,避免交叉验证,提升计算效率与稳定性。
2026-03-19 econ.EM stat.ME
No Universal Winner in Model Selection: Regression versus Representational Similarity Analysis
School of Psychology, Nanjing Normal University(南京师范大学心理学系);Adolescent Education and Intelligence Support Lab of Nanjing Normal University, Laboratory of Philosophy and Social Sciences at Universities in Jiangsu Province(南京师范大学青少年教育与智力支持实验室,江苏省高校哲学社会科学实验室);The Joint Research Institute for Brain Science and Mental Health, Nanjing Normal University and Taizhou Fifth People's Hospital(南京师范大学与泰州市第五人民医院脑科学与心理健康联合研究所);Scientific and Statistical Computing Core, National Institute of Mental Health(美国国家精神卫生研究所科学统计计算核心);Department of Psychology, University of South Carolina(南卡罗来纳大学心理学系);Institute for Mind and Brain, University of South Carolina(南卡罗来纳大学心智与大脑研究所)
本文系统评估了回归、表征相似性分析(RSA)和模式成分建模(PCM)在不同数据生成机制下的模型选择性能,发现线性假设下回归和PCM优于RSA,非线性保序变换下基于秩的RSA更具优势。
2026-11-10 stat.CO stat.ME
Spatial+: a novel approach to spatial confounding
针对空间回归中协变量与空间效应共线造成的估计偏差,本文提出用去除空间依赖后的协变量残差替代原协变量的 spatial+ 方法,并证明其渐近无偏、易于实现且可扩展至非高斯模型。
2020-09-20 math.ST stat.AP stat.ME
Minimum Sample Size for Developing a Multivariable Prediction Model using Multinomial Logistic Regression
多项逻辑斯谛回归模型允许预测具有2个以上类别的分类结局的风险。在开发这样的模型时,研究人员应该确保参与者的数量(n)相对于每个类别k的事件数量(E. k)和预测参数数量(p. k)是适当的。我们提出了三个标准,以确定所需的最小n在现有的标准开发的二元结果。第一个准则旨在最小化模型过拟合。第二个目标是尽量减少观察到的和调整后的R2 Nagelkerke之间的差异。第三个标准旨在确保准确估计总体风险。对于标准(i),我们表明样本量必须基于与多项式逻辑斯谛回归的子模型对应的不同一对一逻辑斯谛回归模型的预期Cox-snell R2,而不是基于多项式逻辑斯谛回归的总体Cox-snell R2。我们通过模拟研究测试了所提出的标准(i)的性能,发现它导致了期望的过拟合水平。标准(ii)和(iii)是以前提出的二元结果标准的自然扩展。我们说明了如何实施样本量标准,通过一个工作的例子考虑发展的多项风险预测模型的肿瘤类型时,提出了卵巢肿块。并给出了仿真代码和算例。我们将把我们提出的标准嵌入到pmsampsize R库和Stata模块中。
2022-07-26 stat.AP stat.ME
This is not normal! (Re-) Evaluating the lower $n$ guidelines for regression analysis
本研究通过220亿次模拟评估回归分析样本量下限,发现t值收敛取决于变量分布特征而非误差项正态性,证明 $n \geq 30$ 规则并非普适,并据此提出了修订指南。
2024-10-16 stat.AP stat.ME
Bagging cross-validated bandwidth selection in nonparametric regression estimation with applications to large-sized samples
交叉验证是非参数回归估计中一种常用的带宽选择方法。然而,这种技术有两个显著的缺点:(i)所选带宽的大的可变性,以及(ii)对于非常大的样本量,不能在合理的时间内提供结果。为了克服这些问题,装袋交叉验证带宽进行了分析。该方法包括计算有限数量的子样本的交叉验证带宽,然后将平均平滑参数重新缩放到原始样本量。在随机设计回归模型下,得到了Nadaraya-Watson估计量的留一交叉验证带宽的偏差和方差的二阶渐近表达式.随后,渐近偏差和方差和极限分布推导出袋装交叉验证选择器。子样本数量和子样本大小的适当选择导致装袋交叉验证选择器依分布收敛的$n^{-1/2}$速率,优于留一交叉验证的速率$n^{-3/10}$。在与COVID-19大流行相关的真实数据集上进行的几次模拟和演示显示了我们的建议的行为以及与留一交叉验证相比在统计效率和计算时间方面更好的性能。
2021-05-10 math.ST stat.AP stat.CO
Bayesian size-and-shape regression modelling
ETH Zurich(苏黎世联邦理工学院);Università della Svizzera italiana(瑞士意大利语大学);Polytechnic of Turin(都灵理工大学);Sapienza University(罗马第一大学)
本研究基于已有成果,提出带高斯地标点的尺寸与形状响应变量回归模型的贝叶斯估计方法,该方法属于贝叶斯潜变量模型框架,具备高度灵活的建模能力。
2024-06-10 stat.ME
Bayesian Principal Component Regression model with spatial effects for forest inventory under small field sample size
遥感观测广泛用于分析环境变量。这些变量往往表现出空间相关性,在预测中使用的校准模型中必须考虑到这一点,要么直接建立相关性模型,要么考虑到空间相关的随机效应。许多遥感仪器的另一个特点是,推导出的预测变量是高度相关的,这可能导致不必要的模型过度训练,最坏的情况下,在估计奇异。这两个因素都会影响预测精度,特别是当用于模型校准的训练集很小时。为了克服这些建模的挑战,我们提出了一个通用的模型校准程序的遥感数据,并将其应用到机载激光扫描数据的森林资源清查。我们使用一个线性回归模型,该模型通过主成分和贝叶斯正则化来解释预测因子中的多重共线性。它有一个空间随机效应分量的空间相关性,不能解释一个简单的线性模型。一个有效的马尔可夫链蒙特卡罗抽样方案是用来占所有模型参数的不确定性。我们测试了所提出的模型对几个替代品,它优于其他线性校准模型,特别是当有空间效应,多重共线性和训练集大小很小。
2017-01-30 stat.AP stat.ME
Mastering Rare Event Analysis: Optimal Subsample Size in Logistic and Cox Regressions
针对现有最优子采样方法缺乏最优子样本量选择工具的问题,本研究提出了适配稀有事件Cox回归、平衡与不平衡数据logistic回归的样本量选择工具及不平衡数据logistic回归的新型子采样流程,并通过模拟与真实数据集分析验证了有效性。
2024-06-19 stat.ME
Bootstrap Nonlinear Regression Application in a Design of an Experiment Data for Fewer Sample Size
本文报道了Bootstrap非线性回归方法在试验次数较少的试验数据集设计中的应用。使用图形技术增强和验证了具有所需性能的设计。具有所需特性的增广设计有利于所用近似函数的准确性。比较了R语言和SAS在计算非线性函数和Bootstrap方面的计算能力。
2015-09-18 stat.ME