Composite Expectile Regression with Gene-environment Interaction
当误差分布具有异方差性时,就推翻了线性回归的假设。期望回归是一个强大的工具,估计条件期望的反应变量在这种情况下。由于多水平期望回归模型已经得到了很好的研究,我们提出了复合期望回归,通过组合不同水平的期望回归来提高功效。本文研究了高维情形下的稀疏复合期望回归问题。它是通过实现一个坐标下降算法。我们还证明了它的选择和估计的一致性。仿真结果表明,该算法的性能与其它算法相当或优于其它算法。我们应用所提出的方法来分析肺腺癌(LUAD)的真实数据集,研究G-E相互作用。
2022-07-02 math.ST stat.ME stat.TH
A Continuous Threshold Expectile Model
期望回归是一个有用的工具,用于探索反应和解释变量之间的关系超出条件均值。本文开发了一种连续阈值期望回归模型,用于建模数据,其中协变量对响应变量的影响是线性的,但以连续的方式在未知阈值以下和以上变化。基于网格搜索方法,我们通过非对称最小二乘回归方法获得了阈值和回归系数的估计。我们推导出所有估计的渐近性质,并表明阈值的估计达到根-n一致性。对于给定的期望值,我们还建立了一个门限存在性的加权Cumsum型检验统计量,并在零模型和局部替代模型下得到了它的渐近性质.该检验只需要在没有阈值的情况下在原假设下拟合模型,因此它在计算上比似然比类型检验更有效。仿真研究表明,理想的有限样本性能在同方差和异方差的情况下。我们的方法在荷兰的增长数据和棒球投手工资数据的应用揭示了有趣的见解。
2016-11-08 stat.ME
Renewable Online Expectile Regression for Heterogeneous Streaming Data with Abnormal Batches
School of Economics and Management, Beihang University(北京航空航天大学经济管理学院);MOE Key Laboratory of Complex System Analysis and Management Decision, Beihang University(北京航空航天大学复杂系统分析与管理决策教育部重点实验室)
针对流数据中异常批次导致的批次异质性,提出基于检测和自适应加权的可再生在线期望回归方法,并引入Huber损失增强稳健性,提升估计精度与鲁棒性。
2026-09-29 stat.ME
Renewable estimation in linear expectile regression models with streaming data sets
School of Economics and Management, Beihang University(北京航空航天大学经济管理学院);MOE Key Laboratory of Complex System Analysis and Management Decision, Beihang University(北京航空航天大学复杂系统分析与管理决策教育部重点实验室)
本文提出了一种基于期望值回归的在线可再生方法,用于流数据中高效估计异方差和不均匀协变量效应,兼具高计算效率和低存储成本。
2026-02-26 stat.CO stat.ME
Joint inference on extreme expectiles for multivariate heavy-tailed distributions
期望值的概念,最初引入的背景下,测试的同方差性和条件对称性的误差分布在线性回归,诱导一个法律不变的,连贯的和elicitable风险的措施,已收到了大量的关注精算和金融风险管理的背景下。最近的一些论文集中在行为和估计极端预期为基础的风险措施及其潜在的风险管理。联合推理的几个极端expectables然而一直保持不变,事实上,即使是一个边际极端expectables的推理结果是一个困难的问题,在有限的样本。研究了重尾边缘分布随机向量的多个极值边缘期望的同时估计问题。这是在一般极值依赖模型中完成的,其中重点是保证金之间的成对依赖性。我们使用我们的结果,以获得准确的置信区域的极端预期,以及几个极端预期的平等性测试。我们的方法展示在有限样本模拟研究和真实的财务数据。
2020-07-17 stat.ME
A new GEE method to account for heteroscedasticity, using asymmetric least-square regressions
广义估计方程(GEE)被广泛用于分析纵向数据;然而,它们不适用于异方差数据,因为它们仅估计回归变量对平均响应{ \textemdash }的影响,因此不考虑数据异质性。在这里,我们结合GEE与非对称最小二乘(期望)回归,得到一类新的估计,我们称之为广义期望估计方程(Gestival)。GARCH模型估计回归变量对响应分布的期望值的影响,它提供了回归变量对整个响应分布的影响的详细视图。除了捕获数据异方差性,GARCH扩展了各种工作相关结构,以考虑受试者内的依赖性。我们推导出Gestival估计量的渐近性质,并提出了一个用于推断的协方差阵的鲁棒估计量(参见我们的R包,github.com/AmBarry/expectgee)。我们的模拟表明,Gestival估计是无偏和有效的,我们的实际数据分析表明,它捕捉异方差。
2020-12-24 stat.ME
Retire: Robust Expectile Regression in High Dimensions
由于异方差或协变量效应的不齐性,高维数据通常会显示异质性。惩罚分位数和期望回归方法为高维数据的异方差检测提供了有用的工具。前者由于校验丢失的非平滑性质而在计算上具有挑战性,而后者对重尾误差分布敏感。在本文中,我们提出和研究(惩罚)鲁棒期望回归(退休),重点是迭代加权$\ell_1$ -惩罚,减少估计偏差从$\ell_1$ -惩罚,并导致预言的性质。在理论上,我们建立了退休估计在两种状态下的统计性质:(i)低维状态,其中$d \ll n$ ;(ii)高维状态,其中$s\ll n\ll d$和$s$表示显著预测变量的数量。在高维环境中,我们仔细地描述了迭代重加权$\ell_1$ -惩罚退休估计的解路径,该估计来自折叠凹正则化的局部线性近似算法。在一个温和的最小信号强度的条件下,我们表明,经过尽可能多的$\log(\log d)$迭代的最后的迭代享有预言收敛速度。在每一步迭代中,加权$\ell_1$ -惩罚凸规划可以用半光滑牛顿坐标下降算法有效地求解。数值研究表明,所提出的程序相比,无论是非鲁棒或分位数回归为基础的替代品的竞争力表现。
2023-03-22 stat.ME stat.ML
Semiparametric Expectile Regression for High-dimensional Heavy-tailed and Heterogeneous Data
近年来,高维异构数据引起了人们的广泛关注和讨论。在异质性下,半参数回归是统计学中常用的数据建模方法。本文利用期望回归在计算和分析异质性方面的优势,提出了一种带非凸惩罚的正则化部分线性可加期望回归,如SCAD或MCP等。我们专注于一个更现实的场景:回归误差是重尾分布,只有有限的时刻,这是违反了经典的亚高斯分布假设,在实践中更常见。在一定的正则条件下,我们证明了当概率趋于1时,预言估计是我们的最优化问题的局部极小值之一。理论研究表明,该方法所能处理的线性协变量的维数基数本质上受回归误差矩条件的限制。在计算上,由于相应的最优化问题是非凸的和非光滑的,我们推导了一个两步算法来解决这个问题。最后,我们通过Monto Carlo模拟研究和一个真实数据的例子证明了所提出的方法具有良好的性能,在估计精度和模型选择。此外,通过选取不同的期望权值$α$,我们能够检测异质性并探索响应变量的整个条件分布,这表明我们提出的方法对于分析高维异质数据是有用的。
2019-08-18 math.ST stat.ME stat.TH
Unified unconditional regression for multivariate quantiles, M-quantiles and expectiles
该研究提出基于多维Huber函数的统一无条件回归方法,可对多元因变量的三类分位数建模,拓展了已有重中心化影响函数回归框架,证明了估计量渐近性质,给出调参选择方法,并通过模拟和真实数据验证了有效性。
2023-08-01 math.ST stat.ME stat.TH
Improved LARS algorithm for adaptive LASSO in the linear regression model
本文提出一种改进的LARS算法,将自适应LASSO与多种有偏估计量相结合,并通过蒙特卡洛模拟和真实数据验证其在一致变量选择中的性能。
2024-05-13 stat.ME
A race-DC in Big Data
分合(DC)策略在大数据领域得到了广泛的应用。偏差校正是DC过程中局部有偏估计有效集结的关键,特别是当数据批数很大时。本文通过残差调整合成估计(race)建立了一个race-DC。Race-DC适用于各种类型的有偏估计,包括但不限于线性回归中的Lasso估计、岭估计和主成分估计,以及非线性回归中的最小二乘估计。所得到的全局估计在线性模型下是严格无偏的,在非线性模型下是加速减小偏差的,并且在数据批量较大的情况下能达到理论上的最优.此外,种族-DC在计算上是简单的,因为它是形式线性回归中的最小二乘估计。详细的模拟研究表明,所得到的全局估计是显着的偏差校正,和Oracle估计的行为是可比的,是远远优于竞争对手。
2019-11-27 stat.ME
Robust Estimation and Shrinkage in Ultrahigh Dimensional Expectile Regression with Heavy Tails and Variance Heterogeneity
高维数据的重尾现象和异质性在各个科学领域中普遍存在,给经典统计方法带来了新的挑战。本文将非对称平方损失和huber型稳健技术相结合,提出了一种适用于高维重尾异质数据的稳健期望回归方法。与经典的huber方法不同,我们在两边引入了两个不同的调节参数来解释可能的不对称性,并允许它们发散以减少由鲁棒近似引起的偏差。在正则化框架中,我们采用了一般折叠凹罚函数,如SCAD或MCP罚函数来寻求偏差减少。我们研究了相应估计量的有限样本性质,并弄清楚我们的方法如何发挥其作用,以权衡估计精度对重尾分布。此外,注意到鲁棒非对称损失函数是处处可微的,基于我们的理论研究,我们提出了一个有效的一阶优化算法后,局部线性逼近的非凸问题。在不同分布下的仿真研究表明,我们的方法在系数估计,模型选择和异质性检测令人满意的性能。
2019-10-01 math.ST stat.ME stat.TH
Inference in pseudo-observation-based regression using (biased) covariance estimation and naive bootstrapping
Institute of Statistics, RWTH Aachen University(亚琛工业大学统计研究所);Department of Public Health - Department of Biostatistics, Aarhus University(奥胡斯大学公共卫生学院-生物统计系)
本文提出基于伪观测回归的推断方法,通过改进的协方差估计和学生化方法提高检验精度,解决了传统方法的一致性问题。
2026-01-22 math.ST stat.ME stat.TH
An algorithm-based multiple detection influence measure for high dimensional regression using expectile
识别有影响的观测值是数据分析的重要组成部分,可以防止有偏估计量得出错误的结论。然而,在高维数据中,这种识别具有挑战性。当同一数据集中有多个有影响力的观测时,经典和最近开发的方法通常表现不佳。特别是,当前的方法可能会失败时,有掩蔽几个有影响力的观察具有相似的特性,或淹没时,有影响力的观察是附近的边界的空间跨越良好的观察。因此,我们提出了一个基于算法的,多步骤,多检测程序,以确定有影响力的意见,解决目前的局限性。我们的三步算法来识别和捕获数据中的不良变化,$\asymMIP,$是基于两个互补的统计,灵感来自不对称的相关性,并建立在预期。仿真结果表明,更高的检测能力比竞争的方法。使用所得到的渐近分布导致检测有影响力的意见,而不需要计算要求的程序,如自助。我们的方法应用于自闭症脑成像数据交换神经成像数据集导致了基于皮层厚度的大脑成熟度的更平衡和准确的预测。请参阅我们的GitHub,获取实现我们算法的免费R包:\texttt{asymMIP}(\url{github.com/AmBarry/hidetify})。
2021-05-26 stat.AP stat.CO stat.ME
Variable selection in convex quantile regression: L1-norm or L0-norm regularization?
维数灾难是非参数估计中公认的挑战。本文提出了一种新的L0-范数正则化方法,用于凸分位数和期望回归的子集变量选择。我们展示了如何使用混合整数规划来解决实践中提出的L0范数正则化方法,并建立了一个链接到常用的L1范数正则化方法。利用蒙特卡罗方法比较了L0-惩罚凸分位数和期望回归方法与L1-范数正则化方法在有限样本下的性能。该方法进一步应用于衡量OECD国家的可持续发展绩效,并实证分析了变量降维的准确性。仿真和应用结果表明,在多维空间中,L0范数正则化方法比L1范数正则化方法能更有效地解决维数灾难问题.
2021-07-07 stat.AP stat.ME
Optimal Bias-Correction and Valid Inference in High-Dimensional Ridge Regression: A Closed-Form Solution
针对高维Ridge回归的固有偏差问题,提出一种迭代偏差校正策略及Ridge-Screening变量选择方法,在$p<n$和$p>n$时均实现最优去偏与有效推断,并通过理论与实验验证了其渐近性质。
2024-07-24 econ.EM stat.ME stat.ML
The Benefit of Group Sparsity in Group Inference with De-biased Scaled Group Lasso
研究了高维线性回归中变量组的置信区域和近似卡方检验。当组的大小是小的,低维投影估计的个别系数可以直接用于构建有效的置信区域和p值的组。然而,现有的分析低维投影估计不直接进行卡方为基础的推断一个大的变量组,而不膨胀的样本量的一个因素的组大小。我们建议去偏一个缩放组拉索卡方为基础的统计推断潜在的非常大的变量组。我们证明了所提出的方法捕获组稀疏的好处在适当的条件下,统计推断的噪声水平和变量组,大和小。当群体规模较大时,这种益处尤其明显。
2016-02-21 math.ST stat.ME stat.TH
Are Latent Factor Regression and Sparse Regression Adequate?
Princeton University(普林斯顿大学)
我们提出了因子增广稀疏线性回归模型(FARM),它不仅包含了潜在因子回归和稀疏线性回归的特殊情况,而且将降维和稀疏回归联系在一起。我们分别在亚高斯噪声和重尾噪声(具有有界的(1+x)阶矩,对于所有x>0)的存在下,为我们的模型的估计提供了理论保证。此外,现有的监督学习的工作往往假设潜在的因素回归或稀疏线性回归是真正的基础模型,而没有证明其充分性。为了填补这一重要空白,我们还利用我们的模型作为替代模型来测试潜在因子回归和稀疏线性回归模型的充分性。为了实现这些目标,我们分别提出了因子调整去偏检验(FabTest)和两阶段方差分析类型检验。我们还进行了大规模的数值实验,包括合成和FRED宏观经济数据,以证实我们的方法的理论特性。数值结果表明,我们的模型对潜在的因素回归和稀疏线性回归模型的鲁棒性和有效性。
2022-03-02 cs.LG math.ST stat.ME
On the efficiency of the de-biased Lasso
本文研究了具有高斯噪声$ε$和高斯随机设计$X$的高维线性回归模型$Y = X β^0 + ε$。我们假设$Σ:= E X^T X / n$是非奇异的,并将其逆写为$Θ:= Σ^{-1}$。感兴趣的参数是$β^0$的第一个组件$β_1^0$。我们表明,在高维的情况下,去偏Lasso估计的渐近方差可以小于$Θ_{1,1}$。对于一些特殊的情况下,我们建立了渐近有效性。所述条件包括$β^0$稀疏且$Θ$的第一列$Θ_1$不稀疏。这些条件取决于$Σ$是否已知。
2018-08-21 math.ST stat.TH
Generalized Ridge Regression: Biased Estimation for Multiple Linear Regression Models
本文针对多元线性回归中回归变量非正交导致普通最小二乘估计不佳的问题,系统研究了广义岭回归的估计、均方误差、拟合优度及自助法推断。
2024-07-02 stat.ME
On a length-biased Birnbaum-Saunders regression model applied to meteorological data
长度偏置的Birnbaum-Saunders分布在环境科学中是有用的和实用的。本文首先给出了长度有偏Birnbaum-Saunders分布的一些新性质,证明了它的参数之一是众数,并且它是双峰分布。然后,我们介绍了一个新的回归模型的基础上,这种分布。我们实现了用极大似然法进行参数估计,逼近区间估计,并考虑了三种类型的残差。详细的蒙特卡罗研究进行了评估的性能的似然为基础的估计,置信区间和经验分布的残差。最后,我们用一个真实的气象数据集说明了所提出的回归模型。
2020-12-27 stat.ME
Regression Analysis with Response-biased Sampling
响应有偏抽样是根据响应变量的值从总体中抽取样本的一种抽样方法,在生物医学、流行病学、经济学和社会学研究中很常见。特别地,在某些条件下,删失、截断或缺失协变量的数据中的完全观测值可被视为响应有偏抽样。本文提出将计量经济学中称为广义加速失效时间模型的转换模型用于有偏响应抽样的回归分析。在误差分布未知的情况下,变换模型的范围很广,足以涵盖线性回归模型、Cox模型和比例优势模型等特殊情况。据我们所知,除了病例-对照逻辑斯谛回归外,文献中没有报道前瞻性估计方法可以在不作任何修改的情况下适用于有偏抽样。本文证明了最大秩相关估计对于有偏响应抽样是有效的,并建立了它的相合性和渐近正态性。与逆概率方法不同的是,所提出的估计方法不涉及抽样概率,这在实践中往往很难获得。该方法不需要估计未知的变换函数和误差分布,易于用Nelder-Mead单纯形算法实现,不需要凸性或连续性。我们提出了一个使用随机加权的推理过程,以避免复杂的密度估计时,使用插件规则的方差估计。数值研究与支持性证据。应用程序说明与福布斯全球2000年的数据和斯坦福大学的心脏移植数据。
2014-12-20 stat.ME
The Influence Function of Penalized Regression Estimators
本文针对高维回归中非稳健的 lasso 和 ridge 估计,计算了惩罚 M-估计量和稀疏 LTS 估计量的影响函数、渐近方差及均方误差,证明仅有有界导数损失函数的 M-估计量对异常值稳健。
2015-01-06 math.ST stat.TH
Generalized Linear Models for Longitudinal Data with Biased Sampling Designs: A Sequential Offsetted Regressions Approach
在研究罕见(二元)或低变异性(连续)终点时,偏倚抽样设计可以非常有效。我们考虑纵向数据设置,其中被采样的概率取决于通过结果相关的辅助变量重复测量的响应。这种辅助变量或结果依赖性采样改善了观察到的反应,并可能比随机采样的暴露变异性,{即使}辅助变量不是科学的兴趣。{For分析,}我们提出了一个广义线性模型为基础的方法,使用序列的两个偏置回归。第一种方法使用偏移逻辑斯谛回归模型估计辅助变量与响应和协变量数据的关系。偏移取决于辅助变量的不同值的采样概率的(假定的)已知比率。辅助模型的结果用于估计以响应和协变量为条件的采样的观察特异性概率,然后使用这些概率来解释第二个目标人群模型中的偏倚。我们提供了渐近标准误占不确定性的辅助模型的估计,并进行模拟研究,证明大量的偏差减少,正确的覆盖概率,并提高了设计效率超过简单随机抽样设计。我们用两个例子来说明这种方法。
2020-01-13 stat.ME
Gradient-Boosted Mixture Regression Models for Postprocessing Ensemble Weather Forecasts
针对集合天气预报校准不足的问题,提出MIXMOS、MIXSAMOS及结合梯度提升的MIXSAMOS-GB混合回归后处理模型,实现自动变量选择,在德国2米地表温度预报案例中性能显著优于现有模型。
2024-12-12 stat.AP
Liu-type Negative Binomial Regression: A Comparison of Recent Estimators and Applications
本文给出了负二项回归模型的一个新的有偏估计,它是文献[12]中对线性模型提出的Liu型估计的推广。针对极大似然估计(MLE)在解释变量间存在多重共线性时方差膨胀的问题,提出了一种新的有偏估计,减小了MLE的方差,从而得到稳定的推断.此外,我们还通过矩阵均方误差均方误差(MMSE)准则对新估计与其他估计进行了理论上的比较。此外,一个蒙特卡罗模拟研究的目的是评估性能的估计的意义上的均方误差。最后,一个真实的数据应用程序来说明新的估计的好处。
2016-04-08 stat.ME
Length-biased Birnbaum-Saunders quantile regression with application to water evaporation
University of Brasília(巴西利亚大学);Federal University of Pelotas(佩洛塔斯联邦大学)
提出基于长度偏差Birnbaum-Saunders分布的分位数回归模型,通过重新参数化直接解释协变量对响应变量条件分位数的影响,并应用于巴西气象数据。
2026-05-25 stat.AP stat.ME
High-dimensional Newey-Powell Test Via Approximate Message Passing
University of Manchester(曼彻斯特大学);University of Minnesota Twin Cities(明尼苏达大学双城分校)
本文提出一种高维异方差性检验方法,基于近似消息传递算法,通过模拟和实际数据验证其有效性。
2025-12-10 stat.ME
Stochastic Restricted Biased Estimators in misspecified regression model with incomplete prior information
本文将误设分析推广到最近引入的随机约束有偏估计,当解释变量之间存在多重共线性时。随机限制岭估计(SRRE),随机限制几乎无偏岭估计(SRAURE),随机限制刘估计(SRLE),随机限制几乎无偏刘估计(SRAULE),随机限制主成分回归估计(SRPCR),随机约束r-k类估计(SRrk)和随机约束r-d类估计(SRrd)当回归系数的先验信息不完全时,由于缺失相关解释变量而在错误指定的回归模型中进行了检验。在均方误差矩阵(MSEM)意义下,得到了估计量与预测量之间的优性条件。最后,通过数值算例和蒙特卡罗模拟研究来说明理论结果。
2018-02-28 math.ST stat.ME stat.TH
Inference for biased models: a quasi-instrumental variable approach
对于不完全稀疏的线性回归模型,即不显著变量的系数不完全为零,通过变量选择获得的工作模型通常是有偏的。即使在稀疏的情况下,在变量选择之后,当一些重要的变量缺失时,工作模型也会有偏差。因此,在这样的情况下,不能期望root-n一致估计和准确预测。本文提出了一种新的建模方法,当引入准工具变量时,可以得到一个无偏的模型。该方法能保证估计的根-n相合性和渐近正态性,提高预测精度。新方法的性能通过仿真研究进行了检查。
2014-07-16 stat.ME
A Revisit to De-biased Lasso for Generalized Linear Models
去偏lasso已成为一种流行的工具来绘制高维回归模型的统计推断。然而,模拟表明,对于广义线性模型(GLM),去偏套索不足以消除偏差,并产生不可靠的置信区间。这促使我们仔细研究去偏套索在高维GLM中的应用。当$p >n$时,我们检测到逆信息矩阵上的关键稀疏性条件在GLM设置中通常不成立,这可能解释了去偏置套索的低于标准的性能。即使在一个不太具有挑战性的“大$n$,发散$p$“的情况下,我们发现,去偏套索和极大似然方法往往产生置信区间与不满意的覆盖概率。在这种情况下,我们研究了一种替代方法,通过直接反转Hessian矩阵,而不施加矩阵稀疏性假设,进一步校正偏差。我们建立了所得估计的任何线性组合的渐近分布,这为推断奠定了理论基础。仿真结果表明,这种改进的去偏估计在消除偏差方面表现良好,并产生诚实的置信区间覆盖。我们通过分析一项前瞻性的基于医院的波士顿肺癌研究来说明这种方法,这是一项大规模的流行病学队列研究,旨在调查遗传变异对肺癌风险的联合影响。
2020-06-23 stat.ME
High-Dimensional Gaussian Copula Regression: Adaptive Estimation and Statistical Inference
我们开发的自适应估计和推理方法,高维高斯copula回归,实现相同的性能,而无需知识的边际变换的高维线性回归。利用Kendall的基于τ的协方差阵估计,提出了一个$\ell_1$正则化估计和相应的去偏估计的置信区间的建设和假设检验。理论性质的程序进行了研究,所提出的估计和推理方法是适应未知的单调边际变换。还考虑了对给定协变量值的响应的预测。该程序易于实现,并在数值上表现良好。该方法也被应用于分析社区和犯罪的非规范化数据从UCI机器学习知识库。
2015-12-08 stat.ME
Simultaneous semi-parametric estimation of clustering and regression
研究了具有固定组效应的回归模型的参数估计,当组变量缺失而组相关变量可用时。这个问题涉及聚类以基于组相关变量推断缺失的组变量,以及回归以在给定组和最终附加变量的目标变量上构建模型。因此,这个问题可以用公式表示为目标和组相关变量的联合分布建模。该联合模型的常用参数估计策略是两步方法,首先学习组变量(聚类步骤),然后插入其估计量以拟合回归模型(回归步骤)。然而,这种方法是次优的(特别是提供有偏的回归估计),因为它没有利用目标变量进行聚类。因此,我们要求同时估计方法的聚类和回归,在半参数框架。数值实验说明了我们的主张,考虑广泛的分布和回归模型的好处。我们的新方法的相关性说明了处理与高血压预防相关的问题的真实数据。
2020-12-28 stat.ME
Generalized Linear Models with Linear Constraints for Microbiome Compositional Data
受微生物组成分数据回归分析的启发,本文考虑了具有成分协变量的广义线性回归分析,其中对回归系数施加一组线性约束以解释数据的成分性质并实现亚成分一致性。为了有效地估计回归系数,提出了一种基于广义加速邻近梯度法的惩罚似然估计方法。一个去偏的程序,以获得渐近无偏和正态分布的估计,这导致有效的置信区间的回归系数。仿真结果表明,在适当的线性约束条件下,置信区间的覆盖概率是正确的,估计的方差较小。这些方法通过微生物组研究来说明,以鉴定与炎症性肠病(IBD)相关的细菌物种,并使用粪便微生物组预测IBD。
2018-01-10 stat.ME
Probability and Non-Probability Samples: Improving Regression Modeling by Using Data from Different Sources
非概率抽样,例如以在线小组的形式,已经成为一种快速和廉价的收集数据的方法。虽然可靠的推理工具可用于古典概率样本,但非概率样本可能会产生强烈的偏倚估计,因为选择机制通常是未知的。我们提出了一个一般的方法,如何改善统计推断时,除了概率样本数据从其他来源,这必须被视为非概率样本,是可用的。该方法使用专门定制的回归残差来扩大原始数据集,包括来自其他来源的观察结果,这些观察结果可以被认为是来自目标人群。估计的准确性的措施,获得了自适应引导技术。它表明,该方法可以提高估计在广泛的场景。为了说明的目的,所提出的方法被应用到两个数据集。
2022-04-03 stat.ME
Bayesian regression tree models for causal inference: regularization, confounding, and heterogeneous effects
本文提出了一种新的非线性回归模型,用于从观察数据中估计异质性处理效应,特别适用于效应量小、异质性效应和强混杂的情况。标准的非线性回归模型,可以很好地预测,有两个显着的弱点时,用于估计异质性处理效应。首先,当拟合具有强混杂的数据时,它们可能产生严重偏倚的处理效应估计值。本文提出的贝叶斯因果森林模型通过直接将倾向函数的估计值引入响应模型的规范中来避免这个问题,隐式地在回归函数上诱导协变量依赖的先验。其次,响应面建模的标准方法不能充分控制效应异质性的正则化强度。贝叶斯因果森林模型允许将处理效应异质性与控制变量的预后效果分开进行正则化,从而可以在信息上“缩小到同质性”。我们通过重新分析一项评估吸烟对医疗支出的因果影响的观察性研究以及广泛的模拟研究来说明这些好处。
2019-11-13 stat.ME
Inference for penalized spline regression: Improving confidence intervals by reducing the penalty
惩罚样条回归是一种常用的散点图平滑方法,但如何构造惩罚样条拟合的置信区间一直存在争议。由于惩罚,拟合的平滑曲线是目标函数的有偏估计。许多方法,包括贝叶斯区间和简单移位偏差减少,已被提出来提升置信区间的覆盖率,但这些方法通常不能充分改善预测值的情况下,函数是急剧弯曲。在本文中,我们开发了一种新的方法来提高置信区间,使用更小的平滑强度比样条拟合。通过仔细选择平滑强度的减少量,置信区间实现了几乎标称的覆盖范围,而不会过宽或波动。通过仿真实验研究了该方法的覆盖性能,并与Hodges(2013)和Kuusela和Panaretos(2015)提出的偏差校正技术进行了比较。
2017-06-02 stat.ME
A Systematic Bias of Machine Learning Regression Models and Its Correction: an Application to Imaging-based Brain Age Prediction
University of Maryland(马里兰大学);School of Medicine(医学院);Maryland Psychiatric Research Center(马里兰精神病研究中心);The University of Maryland Institute for Health Computing (UM-IHC)(马里兰大学健康计算研究所)
本文揭示机器学习回归模型对极端值预测存在系统性偏差,提出通用约束优化校正方法,并在脑龄预测中验证其有效性,实现无偏预测。
2024-09-04 cs.LG stat.ME stat.ML
Data enriched linear regression
我们提出了一个线性回归方法,利用第二个可能有偏见的数据集,可能会大得多的小数据集上的预测。我们的方法将线性回归拟合到两个数据集,同时惩罚这两个模型所做预测之间的差异。由此产生的算法是一个收缩的方法类似于那些在小面积估计。我们发现了一个Stein型发现高斯响应:当模型有5个或更多的系数和10个或更多的误差自由度,它变得不允许只使用小的数据集,无论有多大的偏见。我们还提出了插件和基于AICc的方法来调整我们的惩罚参数。我们的大多数结果使用$L_2$惩罚,但我们得到的公式$L_1$惩罚估计时,该模型是专门的位置设置。普通Stein收缩提供了一个不容许的结果,只有3个或更多的系数,但我们发现,我们的收缩方法通常产生低得多的平方误差,在少至5或10个维度时,偏差是小的,基本上相当于平方误差时,偏差是大的。
2014-12-17 stat.ME
Approximate Residual Balancing: De-Biased Inference of Average Treatment Effects in High Dimensions
在许多情况下,研究人员对估计平均处理效应感兴趣,并愿意依赖于无混淆假设,这要求处理分配与处理前变量的随机条件一样好。如果分析中包含大量治疗前变量,则无混淆假设通常更合理,但这可能会恶化标准方法估计处理效应的性能。在本文中,我们开发了一种方法去偏惩罚回归调整,允许稀疏回归方法,如套索被用于sqrt{n}-一致的推断平均处理效应在高维线性模型。鉴于线性,我们不需要假设治疗倾向是可估计的,或者平均处理效应是结果模型参数的稀疏对比。相反,除了用于使结果模型上的套索回归在1-范数误差下一致的标准假设之外,我们只需要重叠,即,倾向得分均匀地远离0和1。在程序上,我们的方法结合了平衡权重与正则化回归调整。
2018-01-31 econ.EM math.ST stat.ME
A Percentile-Focused Regression Method for Applied Data with Irregular Error Structures
Kingdom of Bahrain(巴林王国)
本文提出一种基于CDF的贝塔回归方法,通过建模响应的完整条件分布,有效处理应用数据中的不规则误差结构,提升模型的分布准确性和预测区间校准。
2026-03-04 stat.ME
Sibling Regression for Generalized Linear Models
University of Massachusetts(马萨诸塞大学);Mount Holyoke College(曼荷莲学院)
实地观察是许多科学研究的基础,特别是在生态和社会科学方面。尽管努力以标准化的方式进行这类调查,但观测可能容易出现系统性测量误差。如有可能,消除观测过程中引入的系统变异性,可大大增加这一数据的价值。现有的用于校正这种误差的非参数技术假设线性加性噪声模型。当应用于广义线性模型(GLM)时,这会导致有偏估计。我们提出了一种基于残差函数的方法来解决这个限制。然后,我们证明了其有效性的合成数据,并表明它减少了系统的检测变化蛾调查。
2021-07-07 cs.LG stat.ME
Automatic Inference for Value-Added Regressions
University College London(伦敦大学学院)
本文研究了价值增加值回归中经验贝叶斯估计器的性质,指出正确建模异方差性可实现自动偏倚校正,从而提高推断效率。
2025-12-09 econ.EM stat.ME
Exact Bias Correction for Linear Adjustment of Randomized Controlled Trials
Freedman(2008)在一个有影响力的实证实践批判中指出,在随机化模型下,线性回归估计量在分析随机对照试验时存在偏倚。根据Freedman的假设,我们推导出精确的闭合形式的偏差校正的线性回归估计和不治疗的协变量的相互作用。我们证明了偏差校正估计量的极限分布与未校正估计量的极限分布是相同的,这意味着可以在不引入任何偏差风险的情况下获得调整的渐近增益。结合Lin(2013)的结果,我们的结果表明,Freedman反对使用回归调整的理论论点可以通过对实践的微小修改而完全解决。
2021-10-25 econ.EM stat.ME
Hypothesis Testing in High-Dimensional Instrumental Variables Regression with an Application to Genomics Data
基因表达和表型关联可能受到来自多个来源的潜在未测量混杂因素的影响,导致对关联的偏倚估计。由于遗传变异在很大程度上解释了基因表达变异,因此可以在高维工具变量(IV)回归的框架内将其用作研究基因表达与表型之间关联的工具。然而,由于遗传变异和基因表达的维度通常大于样本量,因此统计推断(例如,用于此类高维IV模型的假设检验)并非微不足道,并且尚未在文献中进行研究。由于工具变量(例如,遗传变体)必须在大量的遗传变体中进行选择。研究了稀疏IV回归模型的假设检验问题,给出了单个回归系数的检验方法和多个回归系数的多重检验方法,其中单个回归系数的检验统计量是基于逆回归构造的.一个多重检验程序开发选择变量,并控制错误发现率。仿真进行评估我们所提出的方法的性能。这些方法通过酵母数据集的分析来说明,以确定与过氧化氢存在下的生长相关的基因。
2019-10-21 stat.AP stat.ME
Replica analysis of overfitting in regression models for time to event data: the impact of censoring
本文利用副本方法研究删失对Cox比例风险模型过拟合的影响,提出一种无需知道数据生成分布即可自洽校正最大似然估计偏差的新算法,并通过数值模拟验证其有效性。
2023-12-05 cond-mat.dis-nn math.ST stat.ME
Inference in high-dimensional logistic regression under tensor network dependence
University of Florida(佛罗里达大学)
本文研究了在个体间依赖由马尔可夫随机场诱导的情况下,高维协变量逻辑回归的统计推断问题,提出了一种能处理更高阶依赖的张量结构框架,并开发了两步方法以获得渐近正态的估计量,用于构建置信区间和假设检验。
2026-03-20 math.ST stat.ME stat.TH
Sharp Bounds on the Variance of General Regression Adjustment in Randomized Experiments
Columbia University(哥伦比亚大学)
针对随机实验中平均处理效应估计量方差无法识别、传统估计存在向上偏倚的问题,本文拓展已有研究,基于经验过程理论给出一般回归调整的渐近精确方差界,并通过模拟和多学科实证验证了其在线性回归调整中的应用优势。
2026-10-23 math.ST stat.ME stat.TH
Robust high-dimensional Bayesian regression with non-Gaussian errors under global--local shrinkage priors
Ferdowsi University of Mashhad(马什哈德 Ferdowsi 大学)
针对高维多元回归中非高斯误差问题,提出基于尺度-位置混合误差分布与马蹄+先验的稳健贝叶斯框架,实现系数和残差精度矩阵的联合稀疏性,理论证明后验收缩性和选择一致性,模拟和实证表明优于高斯方法。
2026-06-08 stat.AP stat.CO stat.ME
Confidence Intervals and Hypothesis Testing for High-Dimensional Regression
Stanford University(斯坦福大学)
拟合高维统计模型通常需要使用非线性参数估计过程。因此,通常不可能获得参数估计值的概率分布的精确表征。这又意味着量化与某个参数估计值相关的\emph{uncertainty}极具挑战性。具体地说,不存在普遍接受的程序来计算经典的测量不确定性和统计显著性的置信区间或$p$ -这些模型的值。本文考虑高维线性回归问题,提出了一种构造置信区间和$p$值的有效算法。得到的置信区间具有接近最佳的大小。当测试某个参数为零的原假设时,我们的方法具有接近最优的功效。我们的方法是基于构建一个“去偏”版本的正则化M-估计。新的结构改进了该领域的最新工作,因为它没有假设设计矩阵上的特殊结构。我们测试我们的方法合成数据和高通量的基因组数据集核黄素生产率。
2014-04-02 cs.IT cs.LG math.IT