Testing relevant difference in high-dimensional linear regression with applications to detect transferability
Shanghai University of Finance and Economics(上海财经大学)
针对高维线性回归中系数β的显著性检验,提出原假设为β与0无相关差异(∥β∥≤δ₀)的新检验方法,结合随机矩阵理论处理高维干扰参数,应用于迁移学习可提升模型估计与预测精度。
2025-11-19 stat.ME
Similarity-Informed Transfer Learning for Multivariate Functional Censored Quantile Regression
针对目标器官移植中心样本少、隐私约束强的问题,提出基于队列相似性灵活迁移源队列信息的SITL方法,用于多元函数型删失分位数回归,兼具理论保障与更优的估计推断性能。
2025-03-24 stat.ME
Transfer Learning for High-dimensional Linear Regression: Prediction, Estimation, and Minimax Optimality
本文考虑在迁移学习的环境下,使用来自目标模型的样本以及来自不同但可能相关的回归模型的辅助样本,对高维线性回归进行估计和预测。当已知一组“信息”辅助样本时,提出了一个估计器和一个预测器,并建立了它们的最优性。预测和估计的最优收敛速度比不使用辅助样本的相应速度快。这意味着可以转移来自信息丰富的辅助样本的知识,以提高目标问题的学习性能。在信息辅助样本集未知的情况下,我们提出了一种数据驱动的迁移学习过程,称为Trans-Lasso,并揭示了其对非信息辅助样本的鲁棒性和知识迁移的效率。所提出的程序被证明在数值研究中,并适用于一个数据集的基因表达之间的关联。结果表明,trans-Lasso通过将来自多个不同组织的数据作为辅助样本,提高了靶组织中基因表达预测的性能。
2020-06-18 stat.ME stat.ML
Residual Importance Weighted Transfer Learning For High-dimensional Linear Regression
提出残差重要性加权迁移学习(RIW-TL)方法,通过基于残差的一维密度知识进行重要性加权,克服高维密度估计的维度灾难,实现比LASSO和Trans-Lasso更快的速率和更有效的样本使用。
2024-01-03 stat.ME
Transfer Learning for High-dimensional Quantile Regression with Distribution Shift
Fudan University(复旦大学);University of Pennsylvania(宾夕法尼亚大学);University of Science and Technology of China(中国科学技术大学)
本文提出了一种针对高维分位数回归的迁移学习方法,以应对参数、协变量和残差偏移问题,通过建立误差界和正交去偏方法提升模型的鲁棒性和准确性。
2026-11-17 math.ST stat.ME stat.ML
Tessellation Localized Transfer learning for nonparametric regression
Télécom SudParis, Institut Polytechnique de Paris(巴黎理工学院电信南巴黎学院);Université Paris Nanterre(巴黎楠泰尔大学);Fédération Enac ISAE-SUPAERO,université de Toulouse(图卢兹大学Enac ISAE-SUPAERO联合会);ESILV, Pôle Léonard de Vinci(里昂达芬奇中心ESILV)
本文提出一种非参数回归迁移学习框架,通过局部迁移假设建模源-目标关系的异质性,通过联合学习局部迁移函数和目标回归,实现高效迁移并缓解维度灾难。
2026-03-17 math.ST stat.AP stat.ML
Estimation and inference for transfer learning with high-dimensional quantile regression
Central China Normal University(华中师范大学);Qufu Normal University(曲阜师范大学);Zhongnan University of Economics and Law(中南财经政法大学)
针对高维场景下现有迁移学习对异质性、厚尾考量不足的问题,提出高维分位数回归框架的迁移学习方法,构建误差界与推断工具,设计可迁移性检测规避负迁移,经仿真和真实数据验证性能优异。
2023-11-06 cs.LG math.ST stat.ME
Transfer Learning for Nonparametric Regression: Non-asymptotic Minimax Analysis and Adaptive Procedure
University of Pennsylvania(宾夕法尼亚大学)
本文研究非参数回归迁移学习的非渐近极小极大风险,提出置信度阈值估计量与数据驱动自适应算法,揭示自动平滑和超加速现象,并通过模拟与真实案例验证其性能。
2024-01-22 cs.LG stat.ML
AdaTrans: Feature-wise and Sample-wise Adaptive Transfer Learning for High-dimensional Regression
Pennsylvania State University(宾夕法尼亚州立大学);Xiamen University(厦门大学)
本文提出AdaTrans自适应迁移学习方法,通过融合惩罚和自适应权重在高维回归中检测特征级或样本级可迁移结构,实现选择性信息融合并达到接近oracle的收敛速率。
2024-11-25 cs.LG math.ST stat.ME
Transfer learning for functional linear regression via control variates
School of Mathematics and Physics, Yuxi Normal University(玉溪师范学院数学与物理学院);Joseph J. Zilber College of Public Health, University of Wisconsin-Milwaukee(威斯康星大学密尔沃基分校约瑟夫·J·齐尔伯公共卫生学院)
本文提出了一种基于控制变量的迁移学习方法,用于功能线性回归,通过理论分析和实验验证,提升了估计和预测性能。
2026-03-11 stat.ME stat.ML
Transfer Learning for Linear Regression: a Statistical Test of Gain
EDF R&D(EDF研发中心);Aix-Marseille Université(艾克斯-马赛大学);Université Lumière Lyon 2(里昂第二大学);Université Paris-Est Marne-la-Vallée(巴黎东大学马恩河谷校区)
迁移学习,也被称为知识迁移,旨在将知识从源数据集重用到类似的目标数据集。虽然许多实证研究说明了迁移学习的好处,但很少有理论结果,特别是对于回归问题。本文提出了一个线性模型参数传递问题的理论框架。它示出了一个新的输入向量$x$的传输质量取决于其表示在一个本征基涉及的参数的问题。此外,构建统计检验来预测微调模型对于未观察样本的预测二次风险是否低于基础目标模型。在合成数据和实际用电数据上说明了测试的有效性。
2021-02-18 cs.LG math.ST stat.ML
Transfer Learning with Large-Scale Quantile Regression
本文针对高维分位数回归提出迁移学习方法,通过样本分割一致地检测与目标相似的 informative sources 并加以利用,显著降低目标估计误差,并在飞行硬着陆风险检测中验证了其有效性。
2024-02-25 math.ST stat.CO stat.ME
Coefficient Shape Transfer Learning for Functional Linear Regression
Department of Biostatistics, City University of Hong Kong(香港城市大学生物统计系);Department of Biostatistics, Columbia University(哥伦比亚大学生物统计系)
本文提出一种基于系数形状的迁移学习方法,用于函数型线性回归,通过从源域迁移形状知识增强目标域估计的鲁棒性与泛化能力,并理论分析收敛速率及极小极大最优性,模拟和实际数据验证其有效性。
2025-10-15 stat.ME stat.ML
Shape-restricted transfer learning analysis for generalized linear regression model
本文针对广义线性回归模型,提出结合广义估计方程与形状受限得分函数的迁移学习框架,利用辅助数据提升目标参数推断精度。
2024-07-31 math.ST stat.ME stat.TH
Transfer Learning for Benign Overfitting in High-Dimensional Linear Regression
Yonsei University(延世大学);KAIST(韩国科学技术院)
本文提出了一种两步转移MNI方法,通过分析其非渐近性超额风险,揭示了在特定条件下利用异质数据可提升高维线性回归的泛化能力。
2026-01-16 cs.LG math.ST stat.ML
Representation Transfer Learning via Multiple Pre-trained models for Linear Regression
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出一种基于多个预训练模型的表示迁移学习方法,通过两阶段训练(表示构建和微调)构建目标回归模型模型,并证明了迁移学习在样本复杂度上的优势,迁移学习的有效性。
2023-06-25 cs.LG stat.ML
Automatic Cross-Domain Transfer Learning for Linear Regression
Vivo Software Co. LTD(维沃软件有限公司)
本文针对领域信息未知的线性回归迁移学习问题,提出基于狄利克雷过程推断潜在领域,并同时迁移解释变量与响应变量,通过联合分布建模有效控制偏差,在真实数据集上验证了模型效果。
2025-06-03 cs.LG stat.ML
Minimax optimal transfer learning for high-dimensional additive regression
本文在迁移学习框架下研究高维可加回归,提出基于平滑后拟合估计器的目标估计程序和两阶段估计方法,在次Weibull噪声下建立误差界,并在分布足够接近时实现极小化最优速率。
2025-09-16 cs.LG math.ST stat.ML
TransFusion: Covariate-Shift Robust Transfer Learning for High-Dimensional Regression
Penn State Univ.(宾夕法尼亚州立大学);Xiamen Univ.(厦门大学)
本文提出TransFusion方法,通过新颖的融合正则化器在高维回归中实现协变量偏移鲁棒的迁移学习,并给出非渐近误差界、极小极大最优条件及分布式扩展,仅需一轮通信即可保持集中式估计速率。
2024-04-01 cs.DC cs.LG math.ST
Unified Transfer Learning Models in High-Dimensional Linear Regression
Columbia University(哥伦比亚大学)
针对目标数据稀缺、源目标分布异质的迁移学习场景,提出可解释的统一模型UTrans,可检测可迁移变量与源数据,误差界优于仅用目标数据的情况,实验表现优于现有方法并可应用于代际流动数据分析。
2024-01-30 cs.LG stat.ML
Heterogeneous transfer learning for high-dimensional regression with feature mismatch
Department of Statistics, The Ohio State University(统计学系,俄亥俄州立大学)
本文提出了一种异质迁移学习方法,通过特征映射和填补缺失特征,解决高维回归中特征不匹配问题,并提供了误差上界。
2026-08-13 cs.LG stat.ML
Transfer Learning under Covariate Shift: Local $k$-Nearest Neighbours Regression with Heavy-Tailed Design
针对无界支撑与重尾目标分布下的协变量偏移迁移学习,提出密度比指数与按样本边缘似然调节近邻数的局部 k-近邻回归器,并证明其更快收敛速率。
2024-01-21 math.ST stat.TH
Post-Transfer Learning Statistical Inference in High-Dimensional Regression
University of Information Technology(信息技术大学);Vietnam National University(越南国家大学);RIKEN AIP(日本理化学研究所AIP)
针对高维回归迁移学习中缺乏统计显著性量化方法的问题,本文提出了PTL-SI框架,通过提供有效p值严格控制假阳性率,并结合分治策略增强统计功效。
2025-04-25 cs.LG stat.ML
Transfer Learning in Regression with Influential Points
Soochow University(苏州大学)
针对目标域和源域存在影响点导致回归迁移学习性能下降的问题,提出Trans-CO协同优化框架,实现影响点检测与回归拟合,在模拟和真实数据上优于现有方法。
2025-09-24 stat.ME
Transfer Learning for Robust Structured Regression with Bi-level Source Detection
Rice University(莱斯大学);New York University(纽约大学);University of California at Riverside(加州大学河滨分校)
本文提出TransL2E方法,通过鲁棒L2E准则和双级源检测机制,在数据污染环境下提升结构回归的鲁棒性和准确性。
2026-04-08 stat.ME
Robust transfer regression with corrupted labels
针对目标数据标签大量损坏且位置未知的问题,提出鲁棒迁移回归方法,理论证明其误差含源数据、域偏移、损坏向量三部分且优于仅用目标数据的估计,经压缩信号重构实验验证并应用于GBM患者MGMT甲基化与基因表达关联分析。
2025-02-23 stat.ME
Transfer learning of regression models from a sequence of datasets by penalized estimation
迁移学习是指基于其他数据的预训练来初始化模型拟合的有前途的想法。我们特别考虑回归建模设置,其中来自先前数据的参数估计值可以用作锚点,但可能不适用于所有参数,因此协方差信息不能重复使用。提出了一种通过有针对性的惩罚估计进行更新的方法,该方法将估计量缩小到非零值。当从新数据中寻求更新时,来自先前数据的参数估计用作该非零值。这自然扩展到具有相同响应的数据集序列,但可能只是协变量的部分重叠。迭代更新的回归参数估计被证明是渐近无偏和一致的。通过约束交叉验证的对数似然优化来选择惩罚参数。该约束限制了更新后的估计量从下方向当前估计量的收缩量。界限的目的是保持(更新)估计的拟合优度的所有,但新的数据。所提出的方法相比,其他回归建模程序。最后,它说明了流行病学研究中的数据到达批次与不同的协变量的可用性和模型重新拟合与一个新的批次的可用性。
2020-07-04 stat.ME
Augmented Transfer Regression Learning with Semi-non-parametric Nuisance Models
在当代统计学习中,当测试数据的分布偏离训练数据时,协变量偏移校正在迁移学习中起着重要作用。重要性加权作为一种自然的、原则性的协变量偏移调整策略,在迁移学习领域得到了广泛的应用。然而,该策略对于模型误指定或过大的估计误差不鲁棒。在本文中,我们提出了一种增强的迁移回归学习(ATReL)方法,该方法引入了一个针对目标响应的插补模型,并使用它来增强重要性加权方程。与新的半非参数结构和校准的时刻估计方程的两个滋扰模型,我们的ATReL方法是不太容易(i)的灾难的维数相比,非参数的方法,和(ii)模型错误的规格比参数的方法。我们表明,我们的ATReL估计是根n-一致的,当至少有一个滋扰模型被正确指定,估计的参数部分的滋扰模型实现参数率,和非参数组件率倍鲁棒性。仿真研究表明,我们的方法是更强大的和有效的比现有的参数和完全非参数(机器学习)估计在各种配置。我们还通过一个关于类风湿性关节炎表型分型算法在不同时间窗口的迁移学习的实例来检验我们的方法的实用性。最后,我们提出了一些方法来提高我们的估计器的内在效率,并将现代机器学习方法与我们提出的框架。
2022-04-11 stat.ME
Transfer Learning for High Dimensional Robust Regression
本文提出基于Huber回归的稳健迁移学习方法,应对高维数据异方差性,并设计源数据集未知时的检测算法,通过模拟和超导体数据验证有效性。
2024-06-25 stat.ME stat.OT
Source-Function Weighted-Transfer Learning for Nonparametric Regression with Seemingly Similar Sources
同质性,或者更一般地说,源域和目标域之间的相似性似乎对正迁移学习至关重要。然而,在实践中,相似性条件很难检查,并且经常被违反。本文引入了一种由非正交性和光滑性定义的似相似性来代替常用的相似性条件。这一条件在一般情况下自然满足,甚至隐含着某种意义上的相异。基于表面相似性和$L_2$ -调整,源函数加权转移学习估计(sw-TLE)的构造。通过源函数加权,实现了自适应迁移学习,在某种意义上说,它适用于类似和不类似的情况下,具有相对较高的估计效率。特别地,在同质源和目标模型的情况下,sw-TLE甚至可以与全数据估计器竞争。建立了源函数加权估计量与James-Stein估计量之间的隐含关系,揭示了该方法的结构合理性。此外,该策略确实适用于非参数和半参数模型。综合仿真研究和实际数据分析表明,新策略明显优于竞争对手。
2023-02-22 stat.ME
Joint-Sparse Transfer Learning for High-Dimensional Multi-Output Regression
Marshall School of Business, University of Southern California(南加州大学马歇尔商学院);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对高维多输出回归,提出联合稀疏迁移学习框架,结合融合与去偏估计器,平衡源域信息与偏差,理论误差界及实验验证其有效性。
2026-09-28 stat.ME
Reluctant Transfer Learning in Penalized Regressions for Individualized Treatment Rules under Effect Heterogeneity
Northwell(北卫医疗);Columbia University(哥伦比亚大学)
本文提出一种抗拒迁移学习框架,通过选择性迁移模型组件提升个性化治疗规则估计的适应性与泛化能力,同时支持多臂治疗和变量选择。
2026-05-13 stat.ME
Bayesian Transfer Learning for High-Dimensional Linear Regression via Adaptive Shrinkage
University of California, Los Angeles(加州大学洛杉矶分校)
BLAST通过自适应收缩先验和贝叶斯源选择,提升高维线性回归的后验推断精度与不确定性量化。
2026-03-06 stat.AP stat.CO stat.ME
Transfer Learning with Random Coefficient Ridge Regression
Perelman School of Medicine(佩雷尔曼医学院);University of Pennsylvania(宾夕法尼亚大学)
本文研究迁移学习下的随机系数岭回归,提出两个基于目标与源模型岭估计加权和的系数估计量,通过最小化经验风险确定权重,并利用随机矩阵理论推导最优权重极限值与风险显式表达式,实验证明其预测误差低于传统方法。
2023-06-28 cs.LG stat.ME stat.ML
Transfer Learning for Kernel-based Regression
本文研究再生核希尔伯特空间下非参数回归的迁移学习问题,针对可迁移源已知和未知两种场景分别提出两步核估计器和基于聚合算法的新方法,给出统计性质与极小极大速率,并通过实验验证了理论与方法的有效性。
2025-10-29 cs.LG stat.ME stat.ML
Transfer Learning Under High-Dimensional Network Convolutional Regression Model
Center for Applied Statistics and School of Statistics, Renmin University of China(应用统计中心和中国人民大学统计学院);Department of Biostatistics, Boston University(生物统计学系,波士顿大学);Department of Mathematics and Statistics, Boston University(数学与统计学系,波士顿大学)
针对网络数据依赖性问题,提出基于网络卷积回归的高维迁移学习框架,通过两步算法和源检测机制提升目标域标注数据有限时的预测精度。
2025-04-29 cs.LG stat.ME
Transfer Learning Under High-Dimensional Graph Convolutional Regression Model for Node Classification
Boston University(波士顿大学);Renmin University of China(中国人民大学)
针对节点分类中标签获取困难的问题,提出基于图卷积多项式逻辑回归(GCR)的迁移学习方法Trans-GCR,提供高维理论保证,且性能优越、计算成本低、超参数少。
2024-05-26 cs.LG stat.ME stat.ML
Transfer Learning of CATE with Kernel Ridge Regression
Columbia University(哥伦比亚大学);Purdue University(普渡大学);Peking University Health Science Center(北京大学医学部);Beijing International Center for Mathematical Research, Peking University(北京大学北京国际数学研究中心)
该研究针对CATE迁移学习中重叠不足问题,提出基于KRR的重叠自适应方法,经理论推导和数值实验证实其在有限样本下效率更高、适应性更强,且在真实数据集上表现优越。
2026-08-04 cs.LG stat.ME stat.ML
Transfer Learning in Nonparametric Regression with Deep ReLU Networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Washington University in St. Louis(圣路易斯华盛顿大学);Hong Kong University of Science and Technology(香港科技大学)
该研究针对多组数据的非参数回归,提出基于深度ReLU网络的两阶段偏移学习迁移框架,通过理论分析与实验验证,证明其可克服维度诅咒并实现有效迁移。
2026-08-21 cs.LG stat.ME stat.ML
Augmented transfer regression learning for completely missing covariates
School of Mathematics and Statistics, Huazhong University of Science and Technology(华中科技大学数学与统计学院);Department of Statistics, Colorado State University(科罗拉多州立大学统计学系)
针对目标人群协变量完全缺失的跨人群数据问题,本文提出增强迁移回归学习方法,该方法结合重要性加权估计方程与矩插补项,所得估计量具备双重稳健性且可达半参数效率界。
2026-09-01 math.ST stat.ME stat.ML