Local Adaptive Grouped Regularization and its Oracle Properties for Varying Coefficient Regression
变系数回归是一种灵活的数据建模技术,其中系数是某些影响修改参数的函数,通常是某个域中的时间或位置。在变系数回归模型中,变量选择的方法有很多种,但现有的方法大多是全局选择,包括或排除整个域上的每个协变量。提出了一种新的局部自适应分组正则化方法,用于空间变系数线性和广义线性回归中局部变量的选择。LAGR选择与空间中任何点的响应相关的协变量,并通过使用局部线性系数估计值对自适应组Lasso进行调整,以获得局部回归模型,从而同时估计这些协变量的系数。在局部线性回归和局部广义线性回归条件下,证明了该方法的预言性质。在模拟研究中评估了LAGR的有限样本性质,并以波士顿房价数据集为例进行了分析。
2014-11-20 stat.ME
Nonparametric modal regression with missing response observations
针对响应变量存在缺失观测值的问题,本文调整了非参数众数回归工具,通过广泛模拟研究考察多种插补方法,并用实际数据示例验证了其有效性。
2025-04-07 stat.ME
Quantile Regression for Partially Linear Varying Coefficient Spatial Autoregressive Models
本文研究了具有可能变系数的部分线性空间自回归模型的分位数回归方法。采用B样条函数对变系数进行逼近。参数估计采用工具变量分位数回归方法。秩分检验是对系数的假设进行的检验,包括对不变系数和变系数恒常性的假设。建立了估计量和检验统计量的渐近性质。蒙特卡罗模拟进行研究所提出的方法的有限样本性能。一个真实的数据的例子进行分析说明。
2016-08-05 stat.ME
Deriving Proper Uniform Priors for Regression Coefficients, Part II
在贝叶斯模型选择问题中,通常应避免不适当的先验,这是一个相对众所周知的事实。本文导出了回归系数的一个适当的、简约的一致先验。然后,我们使用此先验来推导所考虑的回归模型的相应证据值。通过这些证据值,可以计算竞争回归模型的后验概率。
2013-08-05 stat.ME
Transfer Learning with Random Coefficient Ridge Regression
Perelman School of Medicine(佩雷尔曼医学院);University of Pennsylvania(宾夕法尼亚大学)
本文研究迁移学习下的随机系数岭回归,提出两个基于目标与源模型岭估计加权和的系数估计量,通过最小化经验风险确定权重,并利用随机矩阵理论推导最优权重极限值与风险显式表达式,实验证明其预测误差低于传统方法。
2023-06-28 cs.LG stat.ME stat.ML
Bayesian Clustered Coefficients Regression with Auxiliary Covariates Assistant Random Effects
在区域经济学研究中,一个令人感兴趣的问题是检测区域之间的相似性,并估计它们在经济模型中的共享系数。在这篇文章中,我们提出了一个有限混合物(MFM)聚类回归模型的辅助协变量,占人口或经济特征的相似性在空间域的混合。我们的贝叶斯构造提供了聚类数和聚类配置的推断,以及每个聚类的参数估计。通过模拟实验说明了该模型的实证性能,并进一步应用于佐治亚州每月住房成本的影响因素的研究。
2021-08-28 econ.EM stat.AP stat.ME
Optimal Estimation of Brownian Penalized Regression Coefficients
本文介绍了一种确定惩罚函数回归最优系数的新方法。我们假设因变量、自变量和回归系数都是时间的函数,误差动力学遵循随机微分方程。首先,我们构造我们的目标函数作为一个时间相关的残差平方和,然后最小化它相对于回归系数受到不同的误差动态,如LASSO,组LASSO,融合LASSO和三次平滑样条。然后利用Feynman型路径积分方法确定了一个包含系统全部信息的薛定谔型方程。使用关于这些系数的一阶条件,我们可以得到它们的封闭形式解。
2021-07-05 math.OC stat.ME
Nonparametric and Varying Coefficient Modal Regression
在这篇文章中,我们提出了一个新的非参数数据分析工具,我们称之为非参数模态回归,调查感兴趣的变量之间的关系的基础上估计的模式的条件密度的响应变量Y给定的预测X。非参数模态回归与传统的非参数回归的区别在于,它使用“最可能的”条件值来测量中心,而不是条件平均值或中位数。与传统的非参数均值回归和非参数中值回归相比,非参数模态回归具有更好的预测性能和鲁棒性。本文提出用局部多项式回归估计非参数模态回归。所得估计的渐近性质进行了研究。为了扩大非参数模态回归对高维数据或功能/纵向数据的适用性,我们进一步发展了非参数变系数模态回归。通过蒙特卡罗模拟研究和对医疗支出数据的分析,证明了所提出的非参数模态回归模型在预测性能方面优于传统的非参数均值回归和非参数中位数回归。
2016-02-22 stat.ME
Nonparametric Conditional Inference for Regression Coefficients with Application to Configural Polysampling
我们认为推断程序,条件上观察到的从属统计量,为回归系数下的线性回归设置未知的误差分布指定非参数。在正则条件下,建立了回归系数估计的条件渐近正态性,并证明了条件推断过程中核型密度估计的插入方法.仿真结果表明,该方法在构造置信区间时,可以得到精确的条件覆盖概率。插件的方法可以应用于与神经多元采样,以获得强大的条件估计自适应对抗的对比方案。我们证明了这一点,通过调查的条件均方误差的位置估计在各种对抗的模拟研究,成功地扩展到一个非参数的背景下,几何多抽样。
2007-10-30 stat.ME
Coefficient Decomposition of Spatial Regressive Models Based on Standardized Variables
空间自相关分析是空间自回归建模的基础。然而,空间相关系数和空间回归模型之间的关系还没有很好地阐明。本文致力于探索空间回归系数的深层结构。通过数学推理,从基于标准化变量的一般空间回归模型出发,导出了一对典型空间回归系数公式。空间自回归和滞后回归系数被简化为一系列统计参数和度量,包括常规回归系数、Pearson相关系数、Moran指数、空间互相关系数和预测残差方差。这些公式表明了空间相关系数和空间回归系数之间确定的内在关系。新发现如下:空间自回归系数主要取决于自变量的Moran指数,空间滞后回归系数主要取决于自变量与因变量的互相关系数。利用京津冀地区城市系统的观测资料对新公式进行了验证,结果令人满意。新公式及其变量有助于从空间相关性的角度理解空间回归模型,并可用于辅助空间回归建模。
2022-02-14 physics.data-an stat.ME
Indirect multivariate response linear regression
我们提出了一类新的估计的多元响应线性回归系数矩阵,利用假设的响应和预测有一个联合的多元正态分布。这使得我们能够通过对逆回归的参数进行收缩估计,或者通过给定响应的预测因子的条件分布来间接估计回归系数矩阵。我们建立了一个收敛速度界估计在我们的类,我们研究了两个例子。第一示例估计器利用逆回归的系数矩阵是稀疏的假设。第二示例估计器利用逆回归的系数矩阵是秩亏的假设。这些估计不需要流行的假设,即前向回归系数矩阵是稀疏的或具有小的Frobenius范数。使用模拟研究,我们表明,我们的例子估计优于一些数据生成模型的相关竞争对手。
2015-07-16 stat.ME
Penalized Interaction Estimation for Ultrahigh Dimensional Quadratic Regression
二次回归超越了线性模型,同时包含主效应和协变量之间的相互作用。高维二次回归中的交互作用估计问题在过去的十年中受到了广泛的关注。在这篇文章中,我们介绍了一种新的方法,使我们能够估计的主要影响和相互作用分开。与现有的二维二次回归方法不同,我们的建议不需要广泛使用的遗传假设。此外,我们提出的估计有明确的公式,并遵守在总体水平上的不变性原则。在惩罚凸损失函数下,我们估计了矩阵形式的相互作用。即使协变量维数是样本量的指数级,所得估计值也是一致的。我们开发了一个有效的ADMM算法来实现惩罚估计。这种ADMM算法充分利用了矩阵乘法的廉价计算成本,比现有的惩罚方法,如所有对LASSO更有效。我们证明了我们的建议,通过广泛的数值研究有前途的性能。
2019-01-22 stat.ME
Coefficient Shape Alignment in Multiple Functional Linear Regression
本文针对多元函数型回归中协变量的同质性问题,提出基于“系数形状对齐”正则化的分组建模方法,并给出分组识别条件、渐近性质及模拟和糖质量评估实证验证。
2024-10-23 stat.ME stat.ML
Explanation of multicollinearity using the decomposition theorem of ordinary linear regression models
在多元线性回归模型中,分解定理的代数公式用几何学解释了一元回归系数和偏回归系数之间的关系。结果表明,一元回归系数可按最小二乘法分解为各自的偏回归系数。利用分解定理分析了复共线性。研究还表明,重要解释变量的偏回归系数不显著是一种样本现象,但符号期望偏离的原因可能是被解释变量与解释变量之间的总体结构或样本选择的结果。目前诊断多重共线性的一些方法只考虑了解释变量之间的相关性,因此这些方法基本上是不可靠的,在没有区分原因之前,处理多重共线性是盲目的。样本量的增加可以帮助识别多重共线性的原因,差分法可以起到辅助作用。
2021-04-30 stat.ME
Inconsistency of Bayesian Inference for Misspecified Linear Models, and a Proposal for Repairing It
我们的经验表明,贝叶斯推断可以在简单的线性回归问题,无论是在模型平均/选择和贝叶斯岭回归设置下的误指定不一致。我们使用标准的线性模型,它假设同方差,而数据是异方差的,并观察到后验把它的质量越来越高维模型的样本量增加。为了解决这个问题,我们为贝叶斯定理中的似然性配备了一个称为学习率的指数,并且我们提出了安全贝叶斯方法来从数据中学习学习率。SafeBayes倾向于选择小的学习率,一旦标准后验不是“累积集中”,它对我们的数据的结果是相当令人鼓舞的。
2018-10-29 math.ST stat.ME stat.TH
Restricted Regression in Networks
本文提出受限网络回归模型,通过对协变量正交化随机效应以缓解网络回归中的共线性与网络混杂问题,并改进回归系数估计。
2023-11-29 stat.ME
Confidence ellipsoids for regression coefficients by observations from a mixture
线性回归系数的置信椭圆是由不同浓度的混合物的观测值构造的。两种方法进行了讨论。第一种是基于加权最小二乘技术的非参数方法。第二种是近似的极大似然估计,应用EM算法进行估计计算。
2018-06-11 stat.ME
Online Bayesian Model Averaging with Joint Uncertainty Quantification for Models and Regression Coefficients in Binary Regression
The University of Iowa(爱荷华大学)
针对流式二元响应数据,提出基于可再生估计的在线贝叶斯模型平均方法,在降低计算成本的同时近似离线推断,并量化模型与系数的不确定性,支持自适应问题分配。
2026-09-21 stat.AP stat.CO stat.ME
Spline Quantile Regression with Cubic and Linear Smoothing Splines
IBM T. J. Watson Research Center(IBM 沃森研究中心)
本文提出了一种基于样条的分位数回归方法,通过引入三次和线性平滑样条,改进了回归系数的平滑估计,展示了其在实际数据中的应用价值。
2026-03-23 stat.ME
The CDF penalty:sparse and quasi unbiased estimation in regression models
在高维回归建模中,预测变量中包含的候选协变量数量相当大,变量选择至关重要。在这项工作中,我们提出了一个新的惩罚,能够保证稀疏的变量选择,即完全为零的回归系数估计,和准无偏的“选定”的变量在高维回归模型的系数。仿真结果表明,我们的建议执行不差于它的竞争对手,同时始终确保解决方案是唯一的。
2022-12-16 stat.ME
Regularized Fingerprinting in Detection and Attribution of Climate Change with Weight Matrix Optimizing the Efficiency in Scaling Factor Estimation
本文提出用非线性收缩估计误差协方差矩阵构造权重矩阵,以优化气候变化检测与归因中尺度因子的估计效率,并在渐近和有限样本下验证其优于现有线性收缩方法。
2020-12-08 stat.AP stat.ME
Branch and Bound to Assess Stability of Regression Coefficients in Uncertain Models
Utah Valley University(犹他谷大学)
针对高维数据中回归系数随模型变化而不稳定的问题,提出分支定界算法,在正则化回归模型离散空间上高效搜索调整后斜率系数的极值,以评估其稳定性。
2024-08-19 cs.LG math.OC stat.ME
On Bayesian wavelet shrinkage estimation of nonparametric regression models with stationary errors
本文提出一种基于零点质量与逻辑分布混合的贝叶斯规则,用于平稳误差非参数回归模型的小波收缩,其表现优于标准软阈值规则且对信噪比变化不敏感。
2024-04-22 stat.ME
Exact adaptive confidence intervals for linear regression coefficients
提出了一种正态线性回归模型系数的自适应置信区间估计方法。该过程具有作为模型参数的函数恒定的频率覆盖率,但提供比通常的间隔过程更小的间隔,平均跨越回归系数。所提出的程序是通过定义一类CIP,都有确切的$1-α$频率覆盖,然后从这个类中选择的程序,最大限度地减少了事先预期的间隔宽度。这样的过程可以被描述为“频率论,贝叶斯辅助”或FAB。我们描述了一种自适应的方法,用于估计先验分布的数据,使精确的非渐近$1-α$覆盖率保持。此外,在“$p$与$n$一起生长“的渐近场景中,该自适应FAB过程在$1-α$频率主义CIP中是渐近贝叶斯最优的。
2017-07-06 stat.ME
A-Collapsibility of Distribution Dependence and Quantile Regression Coefficients
尤尔-辛普森悖论指出,当对背景变量取平均值时,随机变量之间的关联可以逆转。Cox和Werlington(2003)引入了两个随机变量X和Y之间的分布相关性的概念,并发展了两个相关性条件,每个条件都保证不会发生反转。Ma,Xie and Geng(2006)在一个较强的齐性条件下研究了分布依赖对背景变量W的可验证性。可折叠性确保了条件模型和边际模型的关联保持不变,因此Yule-Simpson反转不会发生。在本文中,我们研究了一个更一般的条件,以避免效果逆转:A-可解释性。Cox和Werenstein的条件意味着A-可解释性,而不假设同质性。事实上,我们表明,当W是一个二元变量,可扩展性相当于A-可扩展性加上齐次性,和A-可扩展性是等价的条件Cox和Werenstein。最近,Cox(2007)将Cochran关于条件和边际模型回归系数的结果扩展到分位数回归系数。Cox条件和Werenstein条件是分位数回归系数A-可检验的充分条件。如果W的条件分布,在给定Y = y和X = x的情况下,属于一维自然指数族,则它们也是必要的。A-accessibility的一些应用包括列联表、线性回归模型和分位数回归模型的分析。
2011-10-08 math.ST stat.AP stat.ME
Statistically Significant Linear Regression Coefficients Solely Driven By Outliers In Finite-sample Inference
本研究通过R模拟验证单个异常值可使线性回归不显著系数呈现统计显著性,对比稳健Huber回归,分析异常值影响与诊断方法,关联正态性假设并警示仅用p值的风险,梳理回归方法与高斯-马尔可夫定理的关系。
2025-05-19 econ.EM math.ST stat.ME
Interpretation of Linear Regression Coefficients under Mean Model Miss-Specification
线性回归是统计学中常用的工具,然而,其有效性和可解释性依赖于强的模型假设。虽然系数协方差的稳健估计扩展了假设检验和置信区间的有效性,但如果模型的均值结构指定错误,则缺乏对系数的明确解释。因此,我们提出了一个新的直观和数学严格的解释系数是独立于特定的模型假设。它依赖于一种新的基于人口的关联度量。这个想法是量化因变量Y的总体均值可以通过改变自变量X的分布而改变多少。限制X的分布变化为线性函数提供了与线性回归的联系。它导致了一个保守的近似新定义的和一般的非线性措施的协会。然后,可以通过线性回归来估计保守线性近似。我们展示了这种解释如何扩展到多元回归,以及它在多大程度上以及在何种意义上导致了对混杂因素的调整。我们指出了新的分析策略的角度,并通过实例和模拟说明了新的解释和策略的实用性和局限性。
2015-04-22 stat.ME
Probability Weighted Clustered Coefficients Regression Models in Complex Survey Sampling
针对复杂抽样调查中不同领域关系存在差异导致现有方法失效的问题,提出基于成对惩罚的统一框架,利用交替方向乘子法求解以研究分组协变量效应,并在理论和数值实验中验证了其在群体识别和估计效率上的优越性。
2024-09-23 stat.ME
Bayesian Data Sketching for Varying Coefficient Regression Models
Department of Statistics Texas A & M University College Station, TX 77843-3143, USA(统计学系,德克萨斯农工大学);Department of Statistics and Applied Probability University of California Santa Barbara Santa Barbara, CA 93106-3110, USA(统计学与应用概率系,加州大学圣巴巴拉分校);UCLA Department of Biostatistics University of California Los Angeles Los Angeles, CA 90095-1772, USA(生物统计学系,加州大学洛杉矶分校)
本文提出贝叶斯数据草图方法,通过随机线性变换压缩函数型大数据,使变系数回归模型无需新算法或专用硬件即可高效进行完全基于模型的贝叶斯推断。
2025-05-30 cs.LG stat.ME stat.ML
Post-selection inference on high-dimensional varying-coefficient quantile regression model
分位数回归已成功地用于研究异质性和重尾数据。变系数模型经常用于捕捉输入变量对响应的影响随指数或时间的变化。在这项工作中,我们研究了高维变系数分位数回归模型,并开发了新的统计推断工具。我们专注于开发有效的置信区间和诚实的测试,在一个固定的时间点和分位数的非参数系数,同时允许输入变量的数量超过样本量的高维设置。由于在估计中使用了模型选择技术,因此在该方案中进行统计推断具有挑战性。然而,我们可以开发有效的推理工具,适用于广泛的数据生成过程,并不遭受由模型选择引入的偏见。我们进行了数值模拟,以证明我们的方法的有限样本性能,我们也说明了一个实际数据的例子的应用。
2021-10-14 stat.ME
Optimality regions for designs in multiple linear regression models with correlated random coefficients
本文研究了具有相关效应的单响应线性回归模型的最优设计。我们引入菱形设计的概念,以减少计算复杂性,并找到一个半代数描述的D-最优性的菱形设计通过Kiefer-Wolfowitz等价定理。随后,我们表明,最佳菱形设计的结构直接取决于随机系数的相关结构。
2019-11-13 math.ST stat.ME stat.TH
Parametric Modeling of Quantile Regression Coefficient Functions with Longitudinal Data
在普通的分位数回归中,不同阶数的分位数一次估计一个。另一种方法称为分位数回归系数建模(QRCM),将分位数回归系数建模为分位数阶数的参数函数。在本文中,我们描述了QRCM范式可以应用于纵向数据。我们引入了一个两水平分位数函数,其中使用两个不同的分位数回归模型来描述受试者内反应和个体效应的(条件)分布。我们提出了一种新型的惩罚固定效应估计,并讨论了它的优势,标准的方法的基础上$\ell_1$和$\ell_2$惩罚。我们提供了模型的可识别性条件,推导出渐近性质,描述拟合优度的措施和模型选择标准,目前的模拟结果,并讨论了应用。该方法已在R软件包qrcm中实现。
2020-05-30 econ.EM stat.ME
Kernel regression for cause-specific hazard models with time-dependent coefficients
竞争风险数据在现代生物医学研究中广泛存在。在过去的二十年中,特定原因危害模型经常被用来处理竞争风险数据。目前还没有研究核似然方法的原因特定的风险模型与时变系数。我们提出了使用局部部分对数似然方法的非参数时变系数估计。仿真研究表明,我们提出的非参数核估计器具有良好的性能,在假设有限的样本设置。最后,我们应用所提出的方法来分析糖尿病透析研究与竞争的死亡原因。
2021-09-11 stat.ME
Dimension Reduction via Supervised Clustering of Regression Coefficients: A Review
降维方法的发展和使用在现代统计文献中很普遍。本文回顾了一类降维技术,其目的是同时选择相关的预测,并找到集群内共享的响应的共同影响。已证明此类方法相对于OLS估计值和套索[Tibshirani,1996]具有优越的性能,尤其是当预测因子存在多重共线性时。它们的应用,其中包括遗传学,流行病学和功能磁共振成像研究,也进行了讨论。
2022-02-17 stat.ME
Extending the coefficient of variation for measuring heterogeneity following a meta-regression
元回归通常用于形成关于元分析中与异质性相关的假设,并估计队列和其他区分因素之间的影响程度。然而,研究水平的变量,称为调节因子,是可用的,并在Meta回归分析中使用,将很少解释所有的异质性。因此,测量和试图理解剩余异质性在元回归中仍然很重要,尽管目前还不清楚如何在元回归环境中使用某些异质性度量。变异系数及其变体是相对异质性的有用度量。我们认为这些措施的背景下,元回归,使研究人员能够调查异质性在不同水平的主持人,也平均相对异质性整体。我们还提供了CI的措施和我们的模拟研究表明,这些区间具有良好的覆盖性能。我们建议,这些措施和相应的时间间隔可以提供有用的见解主持人,可能有助于异质性的存在,在荟萃分析,并导致更好地了解估计的平均效应。
2021-11-18 stat.ME
Scalar-Invariant Test for High-Dimensional Regression Coefficients
本文研究高维环境下线性回归系数的同时检验问题。当维数大于样本量时,经典的$F$检验不适用,因为样本协方差阵不可逆。为了克服这个问题,Goeman、Finos和van Houwelingen(2011)以及Zhong和Chen(2011)在排除了$F$ -统计中的$(\X^{'}\X)^{-1}$项之后提出了他们的检验程序。然而,这两个测试都不是在标量变换组下不变的。为了公平地对待这些变量,我们提出了一种新的检验统计量,并在一定的温和条件下建立了它的渐近正态性。模拟研究表明,我们的测试程序在许多情况下表现得很好。
2015-02-16 stat.ME
Analyzing Zero-Truncated Recurrent Events by Stratified Regression with Time-Varying Coefficients
针对零截断复发事件数据,提出结合人口普查信息的时变系数分层Cox回归参数估计方法,经模拟验证有限样本性能并确立渐近性质,用PMHC项目数据加以说明。
2025-07-30 stat.ME
Generalized Ridge Regression: Applications to Nonorthogonal Linear Regression Models
本文研究广义岭回归在缓解多元线性回归多重共线性中的应用,推导了估计方差、变异系数、相关系数、方差膨胀因子和条件数的表达式,并用两个数值例子验证结果。
2025-04-08 stat.ME
Functional-Coefficient Quantile Regression for Panel Data with Latent Group Structure
本文考虑了具有个体效应的面板分位数回归中的函数系数模型的估计问题,其中考虑了大型面板观测值的横截面和时间依赖性。对异质分位数回归模型施加一种隐群结构,从而大大减少了需要估计的非参数函数系数的数目。通过对特定主题函数系数的局部线性分位数的初步估计,利用经典的凝聚聚类算法估计未知的组结构,并提出一种易于实现的比率准则来确定组数。估计的组数和结构是一致的。此外,分组后的局部线性平滑方法被引入到估计组特定的功能系数,和相关的渐近正态分布理论推导出与文献中的归一化率。开发的方法和理论进行了验证,通过模拟研究,并展示了应用程序的房价数据从英国地方政府区,揭示了不同的同质性结构在不同的分位数水平。
2023-03-23 econ.EM stat.ME
Grouped Generalized Estimating Equations for Longitudinal Data Analysis
广义估计方程(GEE)被广泛用于纵向数据的回归建模,考虑到同一主题内的潜在相关性。尽管标准GEE假设所有受试者的回归系数相同,但当受试者之间的回归系数存在潜在异质性时,这种假设可能不现实。在本文中,我们开发了一个灵活的和可解释的方法,称为分组GEE分析,建模纵向数据允许异质性的回归系数。所提出的方法假设受试者被分成有限数量的组,并且同一组内的受试者共享相同的回归系数。我们提供了一个简单的算法分组的主题和估计的回归系数同时,并显示所提出的估计的渐近性质。组数可以通过交叉验证平均法确定。我们证明了所提出的方法,通过模拟研究和应用程序到一个真实的数据集。
2022-07-08 stat.ME
Sparse Reduced-Rank Regression for Simultaneous Rank and Variable Selection via Manifold Optimization
The University of Electro-Communications(电气通信大学)
针对高真实秩下降秩回归系数估计失效的问题,提出基于稀疏正则化与流形优化的同时秩与变量选择算法,实现准确估计并验证有效性。
2019-11-01 cs.LG stat.ME stat.ML
A Regression-Based Framework for the ACF, PACF, Durbin-Levinson Recursion, and One-Step-Ahead Prediction
Yale University(耶鲁大学);Indiana University Indianapolis(印第安纳大学印第安纳波利斯分校)
本研究构建了统一的基于回归的教学框架,将ACF、PACF、Durbin-Levinson递推及一步预测与回归知识关联,降低了回归与时间序列课程的概念障碍。
2026-08-20 stat.ME
Two-sample testing of high-dimensional linear regression coefficients via complementary sketching
本文提出一种基于互补草图的高维线性回归系数两样本检验方法,无需系数可单独估计,在稀疏与稠密差异下具有最优渐近功效,并通过模拟和单细胞数据验证其有效性。
2022-04-27 math.ST stat.ME stat.TH
Differentially private significance tests for regression coefficients
许多数据生产者寻求在不过度损害数据主体的隐私和机密性的情况下向用户提供对机密数据的访问。一种通用策略是要求用户在不看到机密数据的情况下进行分析;例如,分析师只能访问合成数据或查询系统,这些系统提供统计模型的安全保护输出。对于合成数据或编辑的输出,分析师永远不知道应该在多大程度上信任结果。特别是,如果用户对机密数据进行相同的分析,感兴趣的回归系数是否具有统计学显著性?我们提出的算法来评估这个问题,满足差分隐私。我们描述的条件下,算法应该给出准确的答案统计意义。我们说明了所提出的方法使用人工和真实的数据的属性。
2018-06-11 stat.ME
Regression analysis of multiplicative hazards model with time-dependent coefficient for sparse longitudinal covariates
针对间歇观测纵向协变量下时变系数乘性风险模型,提出核加权方法实现系数函数无偏估计并建立渐近正态性与同时置信带,模拟和ADNI数据验证了方法性能。
2025-03-12 stat.ME
Principal component-guided sparse reduced-rank regression
Doshisha University(立教大学);Institute of Science Tokyo(东京科学大学)
本文提出一种结合pcLasso的降维回归方法,通过主成分方向偏置提升预测准确性和模型可解释性,有效处理响应变量相关性和解释变量群结构问题。
2026-01-13 stat.ME
Soft Tensor Regression
在回归模型中,将张量预测因子与标量结果关联的统计方法通常将张量预测因子向量化,并采用某种形式的正则化来估计其条目的系数,使用张量协变量的摘要,或使用系数张量的低维近似。然而,如果真实秩不小,则系数张量的低秩近似可能会受到影响。我们提出了一个张量回归框架,它假设一个软版本的并行因子(PARAFAC)近似。与经典的PARAFAC相比,其中系数张量的每个条目是跨张量模式的行特定贡献的乘积之和,软张量回归(Softer)框架允许行特定贡献围绕整体均值变化。我们遵循贝叶斯推理方法,并表明软化PARAFAC增加模型的灵活性,导致改进的估计系数张量,更准确地识别重要的预测条目,更精确的预测,即使是低近似秩。从理论的角度来看,我们表明,采用软导致一个弱一致的后验分布的系数张量,无论真实或近似张量秩,结果是不正确的,当采用经典的PARAFAC张量回归。在我们的激励应用程序的背景下,我们将Softer适应对称和半对称张量预测器,并分析大脑网络特征与人类特质之间的关系。
2021-07-28 stat.ME
Testing for Stationary or Persistent Coefficient Randomness in Predictive Regressions
本研究探讨了预测回归中随机系数的持久性如何影响系数随机性检验的功效,发现在平稳系数下新检验优于 LM 检验,并应用于美国股票收益数据验证了该结论。
2024-06-01 econ.EM stat.ME
Sparse and Robust Linear Regression: An Optimization Algorithm and Its Statistical Properties
研究了响应中含有异常值的稀疏线性回归分析。在标准线性回归模型的基础上增加一个参数向量来表示异常值,从而考虑了系数和异常值的稀疏估计问题。对系数施加$\ell_{1}$惩罚,而对离群值施加包括重降类型惩罚在内的各种惩罚。为了解决稀疏估计问题,我们引入了一个优化算法。在一定的条件下,我们证明了该算法所得到的系数的算法收敛性和统计收敛性。此外,它表明,该算法可以恢复真正的支持度的系数的概率去1。
2015-05-20 math.ST stat.ME stat.TH
Semiparametric efficient estimation of the Cox regression coefficient when there can be ties
Bowdoin College(鲍登学院)
本研究针对存在删失数据的Cox模型,推导了回归系数的效率界,证明了Cox的精确估计量渐近有效,并提出了计算复杂度更低的等价估计量。
2026-08-13 math.ST stat.ME stat.TH
Varying-Coefficient Fréchet Regression
本文提出变系数Fréchet回归模型,将经典变系数框架扩展至以随机对象为响应变量的场景,支持欧几里得与非欧几里得响应及效应修饰变量,并提供了针对不同预测变量设置的估计方法与收敛速率证明。
2025-09-14 stat.ME
Adaptive estimation of the rank of the coefficient matrix in high dimensional multivariate response regression models
我们考虑具有低秩未知的回归系数矩阵的多元响应回归问题。在这种情况下,我们分析了一个新的标准,选择最佳的降秩。该准则与Bunea,She和Wegkamp [7]中提出的准则明显不同,因为它不需要估计噪声的未知方差,也不依赖于调谐参数的精细选择。我们开发了一个迭代的,完全数据驱动的程序,适应最佳的信噪比。这个过程以压倒性的概率在几个步骤中找到真正的排名。在每一步中,我们的估计值都增加,但同时它不会超过真实的排名。我们的有限样本结果适用于任何样本量和任何维度,即使响应和协变量的数量增长得比观测值的数量快得多。我们进行了广泛的模拟研究,证实了我们的理论研究结果。新方法在低维和高维情况下都比文献[7]中的方法性能更好,更稳定。
2018-10-29 stat.ME
Reduced-rank Regression in Sparse Multivariate Varying-Coefficient Models with High-dimensional Covariates
在遗传学研究中,不仅从微阵列测量中获得的预测因子的数量非常大,而且还可以有多个响应变量。基于这种情况,我们考虑稀疏多元回归模型中的半参数降维方法。以往的联合变量和秩选择研究主要集中在参数模型,而在这里,我们考虑更具挑战性的变系数模型,使调查变量的非线性相互作用成为可能。利用样条逼近、秩约束和凹群惩罚进行模型估计。给出了估计量的渐近预言性质。我们还提出了降秩独立筛选处理的情况下,维数是如此之高,惩罚估计不能有效地应用。在模拟中,我们展示了同时进行变量和秩选择的优势。一个真实的数据集进行了分析,以说明良好的预测性能时,将遗传变量和指标变量之间的相互作用。
2013-09-24 stat.ME
Time-Varying Coefficient Model Estimation Through Radial Basis Functions
在本文中,我们估计的动态参数的时变系数模型通过径向核函数的纵向研究的背景下。我们的建议是基于一个线性组合的加权核函数涉及的带宽,集中在一组给定的时间点。此外,我们研究了不同的替代估计和推断,包括使用加权最小二乘法与自举方法的频率主义方法,和贝叶斯方法,通过马尔可夫链蒙特卡罗和变分方法。我们比较了上述的估计策略,我们的径向核函数的建议与扩展的基础上回归样条,通过广泛的模拟研究,考虑多个场景的样本量,重复测量的数量,和特定主题的相关性。我们的实验表明,我们的建议的能力的基础上径向核函数确实是可比的,甚至比那些从回归样条。我们通过分析两项艾滋病临床研究的数据来说明我们的方法。
2021-02-27 stat.ME