A General Class of Transfer Learning Regression without Implementation Cost
The Graduate University for Advanced Studies (SOKENDAI)(高级研究大学(综合研究大学院大学));University of Bristol(布里斯托大学);The Institute of Statistical Mathematics(统计数学研究所);National Institute for Materials Science(国立材料科学研究所)
我们提出了一个新的框架,统一和扩展了现有的迁移学习(TL)回归方法。为了将预训练的源模型与目标任务上的模型连接起来,我们引入了密度比重新加权函数,该函数通过具有特定先验分布的贝叶斯框架进行估计。通过改变两个内在超参数和密度比模型的选择,该方法可以集成三种流行的TL方法:基于跨域相似性正则化的TL,使用密度比估计的概率TL,以及预训练神经网络的微调。此外,所提出的方法可以受益于其简单的实现,而无需任何额外的成本;回归模型可以使用现成的库进行监督学习,其中原始输出变量简单地转换为新的输出变量。我们证明了它的简单性,通用性和适用性,使用各种真实的数据应用程序。
2020-12-17 cs.LG stat.ML
Unified Transfer Learning Models in High-Dimensional Linear Regression
Columbia University(哥伦比亚大学)
针对目标数据稀缺、源目标分布异质的迁移学习场景,提出可解释的统一模型UTrans,可检测可迁移变量与源数据,误差界优于仅用目标数据的情况,实验表现优于现有方法并可应用于代际流动数据分析。
2024-01-30 cs.LG stat.ML
Transfer Learning with Random Coefficient Ridge Regression
Perelman School of Medicine(佩雷尔曼医学院);University of Pennsylvania(宾夕法尼亚大学)
本文研究迁移学习下的随机系数岭回归,提出两个基于目标与源模型岭估计加权和的系数估计量,通过最小化经验风险确定权重,并利用随机矩阵理论推导最优权重极限值与风险显式表达式,实验证明其预测误差低于传统方法。
2023-06-28 cs.LG stat.ME stat.ML
Transfer Learning for Kernel-based Regression
本文研究再生核希尔伯特空间下非参数回归的迁移学习问题,针对可迁移源已知和未知两种场景分别提出两步核估计器和基于聚合算法的新方法,给出统计性质与极小极大速率,并通过实验验证了理论与方法的有效性。
2025-10-29 cs.LG stat.ME stat.ML
Heterogeneous transfer learning for high-dimensional regression with feature mismatch
Department of Statistics, The Ohio State University(统计学系,俄亥俄州立大学)
本文提出了一种异质迁移学习方法,通过特征映射和填补缺失特征,解决高维回归中特征不匹配问题,并提供了误差上界。
2026-08-13 cs.LG stat.ML
The Common Intuition to Transfer Learning Can Win or Lose: Case Studies for Linear Regression
Ben-Gurion University(本-古里安大学);Stanford University(斯坦福大学);Rice University(莱斯大学)
本文研究了线性回归中的迁移学习方法,通过引入目标参数与源参数距离的正则化优化,证明其在足够相关任务上能解决双下降误差峰值并击败独立任务的MMSE解,揭示了迁移学习扩展解空间的优势及其与常见设计理念的差异。
2024-05-31 cs.LG
Expectation Error Bounds for Transfer Learning in Linear Regression and Linear Neural Networks
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Meta
本文研究了迁移学习中辅助数据提升主任务泛化能力的理论条件,针对线性回归和欠参数化线性神经网络,推导了泛化误差的闭式表达式和非渐近误差界,提供了任务权重优化方法和一致性保证。
2026-03-30 cs.LG stat.ML
Transfer Learning for Linear Regression: a Statistical Test of Gain
EDF R&D(EDF研发中心);Aix-Marseille Université(艾克斯-马赛大学);Université Lumière Lyon 2(里昂第二大学);Université Paris-Est Marne-la-Vallée(巴黎东大学马恩河谷校区)
迁移学习,也被称为知识迁移,旨在将知识从源数据集重用到类似的目标数据集。虽然许多实证研究说明了迁移学习的好处,但很少有理论结果,特别是对于回归问题。本文提出了一个线性模型参数传递问题的理论框架。它示出了一个新的输入向量$x$的传输质量取决于其表示在一个本征基涉及的参数的问题。此外,构建统计检验来预测微调模型对于未观察样本的预测二次风险是否低于基础目标模型。在合成数据和实际用电数据上说明了测试的有效性。
2021-02-18 cs.LG math.ST stat.ML
Tessellation Localized Transfer learning for nonparametric regression
Télécom SudParis, Institut Polytechnique de Paris(巴黎理工学院电信南巴黎学院);Université Paris Nanterre(巴黎楠泰尔大学);Fédération Enac ISAE-SUPAERO,université de Toulouse(图卢兹大学Enac ISAE-SUPAERO联合会);ESILV, Pôle Léonard de Vinci(里昂达芬奇中心ESILV)
本文提出一种非参数回归迁移学习框架,通过局部迁移假设建模源-目标关系的异质性,通过联合学习局部迁移函数和目标回归,实现高效迁移并缓解维度灾难。
2026-03-17 math.ST stat.AP stat.ML
Probabilistic Pretraining for Neural Regression
Amazon(亚马逊)
本文提出 NIAQUE 模型,通过置换不变性实现概率回归的迁移学习,预训练后在目标数据集微调可提升性能,并在 Kaggle 竞赛中优于 TabPFN 等强基线。
2025-08-22 cs.LG
Post-Transfer Learning Statistical Inference in High-Dimensional Regression
University of Information Technology(信息技术大学);Vietnam National University(越南国家大学);RIKEN AIP(日本理化学研究所AIP)
针对高维回归迁移学习中缺乏统计显著性量化方法的问题,本文提出了PTL-SI框架,通过提供有效p值严格控制假阳性率,并结合分治策略增强统计功效。
2025-04-25 cs.LG stat.ML
Transfer Learning Under High-Dimensional Graph Convolutional Regression Model for Node Classification
Boston University(波士顿大学);Renmin University of China(中国人民大学)
针对节点分类中标签获取困难的问题,提出基于图卷积多项式逻辑回归(GCR)的迁移学习方法Trans-GCR,提供高维理论保证,且性能优越、计算成本低、超参数少。
2024-05-26 cs.LG stat.ME stat.ML
Automatic Debiased Machine Learning via Riesz Regression
本文提出自动去偏机器学习方法,通过Riesz回归估计Riesz表示器,适用于任意机器学习器,实现端到端去偏,并给出理论保证与实证验证。
2024-03-14 econ.EM math.ST stat.TH
Estimation and inference for transfer learning with high-dimensional quantile regression
Central China Normal University(华中师范大学);Qufu Normal University(曲阜师范大学);Zhongnan University of Economics and Law(中南财经政法大学)
针对高维场景下现有迁移学习对异质性、厚尾考量不足的问题,提出高维分位数回归框架的迁移学习方法,构建误差界与推断工具,设计可迁移性检测规避负迁移,经仿真和真实数据验证性能优异。
2023-11-06 cs.LG math.ST stat.ME
Transfer Learning for Benign Overfitting in High-Dimensional Linear Regression
Yonsei University(延世大学);KAIST(韩国科学技术院)
本文提出了一种两步转移MNI方法,通过分析其非渐近性超额风险,揭示了在特定条件下利用异质数据可提升高维线性回归的泛化能力。
2026-01-16 cs.LG math.ST stat.ML
Transfer Learning of CATE with Kernel Ridge Regression
Columbia University(哥伦比亚大学);Purdue University(普渡大学);Peking University Health Science Center(北京大学医学部);Beijing International Center for Mathematical Research, Peking University(北京大学北京国际数学研究中心)
该研究针对CATE迁移学习中重叠不足问题,提出基于KRR的重叠自适应方法,经理论推导和数值实验证实其在有限样本下效率更高、适应性更强,且在真实数据集上表现优越。
2026-08-04 cs.LG stat.ME stat.ML
Transfer Learning for High-dimensional Linear Regression: Prediction, Estimation, and Minimax Optimality
本文考虑在迁移学习的环境下,使用来自目标模型的样本以及来自不同但可能相关的回归模型的辅助样本,对高维线性回归进行估计和预测。当已知一组“信息”辅助样本时,提出了一个估计器和一个预测器,并建立了它们的最优性。预测和估计的最优收敛速度比不使用辅助样本的相应速度快。这意味着可以转移来自信息丰富的辅助样本的知识,以提高目标问题的学习性能。在信息辅助样本集未知的情况下,我们提出了一种数据驱动的迁移学习过程,称为Trans-Lasso,并揭示了其对非信息辅助样本的鲁棒性和知识迁移的效率。所提出的程序被证明在数值研究中,并适用于一个数据集的基因表达之间的关联。结果表明,trans-Lasso通过将来自多个不同组织的数据作为辅助样本,提高了靶组织中基因表达预测的性能。
2020-06-18 stat.ME stat.ML
Transfer Learning for High-dimensional Quantile Regression with Distribution Shift
Fudan University(复旦大学);University of Pennsylvania(宾夕法尼亚大学);University of Science and Technology of China(中国科学技术大学)
本文提出了一种针对高维分位数回归的迁移学习方法,以应对参数、协变量和残差偏移问题,通过建立误差界和正交去偏方法提升模型的鲁棒性和准确性。
2026-11-17 math.ST stat.ME stat.ML
Transfer Learning of Linear Regression with Multiple Pretrained Models: Benefiting from More Pretrained Models via Overparameterization Debiasing
Faculty of Computer and Information Science(计算机与信息科学学院)
本文提出通过过度参数化去偏方法,利用多个预训练模型提升线性回归任务的迁移学习效果。
2026-02-18 cs.LG
AdaTrans: Feature-wise and Sample-wise Adaptive Transfer Learning for High-dimensional Regression
Pennsylvania State University(宾夕法尼亚州立大学);Xiamen University(厦门大学)
本文提出AdaTrans自适应迁移学习方法,通过融合惩罚和自适应权重在高维回归中检测特征级或样本级可迁移结构,实现选择性信息融合并达到接近oracle的收敛速率。
2024-11-25 cs.LG math.ST stat.ME
Minimax optimal transfer learning for high-dimensional additive regression
本文在迁移学习框架下研究高维可加回归,提出基于平滑后拟合估计器的目标估计程序和两阶段估计方法,在次Weibull噪声下建立误差界,并在分布足够接近时实现极小化最优速率。
2025-09-16 cs.LG math.ST stat.ML
Transfer Learning for Node Regression Applied to Spreading Prediction
Jožef Stefan Institute(约热夫·斯特凡研究所);University of Nova Gorica(新戈里察大学);Jožef Stefan International Postgraduate School(约热夫·斯特凡国际研究生院)
了解信息如何在现实生活中的复杂网络中传播,可以更好地理解动态过程,如错误信息或流行病传播。最近引入的分支机器学习方法学习节点表示提供了许多新的应用,其中之一是本文中提出的传播预测的任务。我们探索了最先进的节点表示学习器的效用,当用于评估从给定节点传播的影响时,通过广泛的模拟估计。此外,由于许多现实生活中的网络在拓扑上是相似的,我们系统地研究了学习的模型是否可以推广到以前看不见的网络,表明在某些情况下可以获得非常好的模型转移。这项工作是第一个探索节点回归任务的学习表示的可转移性的工作之一;我们证明了存在具有相似结构的网络对,在这些网络之间可以转移训练模型(zero-shot),并展示了它们的竞争性能。据我们所知,这是第一次尝试评估节点回归任务的zero-shot转移的效用。
2021-05-03 cs.LG cs.SI
Geometrically Aligned Transfer Encoder for Inductive Transfer in Regression Tasks
LG AI Research(LG人工智能研究)
针对现有迁移学习多聚焦分类任务、难适配回归任务的问题,提出基于微分几何的GATE方法,通过任务间微分同胚实现知识迁移,在分子图数据集上性能优于传统方法且表现稳定。
2023-10-10 cs.AI cs.LG
Transfer Learning in Nonparametric Regression with Deep ReLU Networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Washington University in St. Louis(圣路易斯华盛顿大学);Hong Kong University of Science and Technology(香港科技大学)
该研究针对多组数据的非参数回归,提出基于深度ReLU网络的两阶段偏移学习迁移框架,通过理论分析与实验验证,证明其可克服维度诅咒并实现有效迁移。
2026-08-21 cs.LG stat.ME stat.ML
Adversarial Transfer of Pose Estimation Regression
Naver Labs Europe(Naver Labs欧洲)
我们解决视觉定位中的摄像机姿态估计问题。当前用于姿态估计的基于回归的方法是按场景训练和评估的。它们取决于训练数据集的坐标系,并且在场景和数据集中表现出较低的泛化能力。我们确定了数据集转移的一个重要障碍,泛化和考虑迁移学习作为一种替代方式,更好地重用姿态估计模型。我们修改领域自适应技术的分类,并将其扩展到相机姿态估计,这是一个多元回归的任务。我们开发了一个深度自适应网络来学习场景不变的图像表示,并使用对抗学习来生成这种表示用于模型传输。我们丰富的网络与自监督学习,并使用自适应性理论来验证存在的场景不变表示的图像在两个给定的场景。我们在两个公共数据集Cambridge Landmarks和7Scene上评估了我们的网络,证明了它在几个基线上的优越性,并与最先进的方法进行了比较。
2020-11-23 cs.CV cs.LG
Transfer Learning with Conformalized Quantile Regression for Solar PV Forecasting Under Load-Shedding-Driven Data Scarcity
Green University of Bangladesh(孟加拉国绿色大学)
针对负荷削减导致数据稀缺的光伏预测难题,提出结合共形分位数回归的迁移学习框架,显著提升点预测精度与区间可靠性。
2026-10-02 cs.LG
Transfer Regression via Pairwise Similarity Regularization
University of California, Davis(加州大学戴维斯分校)
迁移学习方法解决了这样的情况,其中存在来自“目标”问题的很少的标记训练数据,但是来自相关“源”域的很多训练数据是可用的。然而,绝大多数迁移学习方法是针对简单设置设计的,其中源和目标预测函数几乎相同,限制了迁移学习方法对真实世界数据的适用性。我们提出了一种新的,较弱的,属性的源域,即使在源和目标预测函数发散时,也可以转移。我们的方法假设源函数和目标函数共享一个成对相似性属性,如果源函数对一对实例做出相似的预测,那么目标函数也会如此。我们提出了成对相似正则化转移,一个灵活的基于图的正则化框架,可以将这种建模假设纳入标准的监督学习算法。我们展示了用户如何将领域知识以空间连续性的形式编码到我们的正则化器中,成对的“相似性约束”以及我们的方法如何使用Nystrom近似扩展到大型数据集。最后,我们提出了积极的和消极的结果,真正的和合成数据集,并讨论当我们的成对相似性转移假设似乎在实践中举行。
2017-12-23 cs.LG
MetaNOR: A Meta-Learnt Nonlocal Operator Regression Approach for Metamaterial Modeling
Lehigh University(理海大学)
我们提出了MetaNOR,一种基于非局部算子回归的迁移学习算子的元学习方法。总体目标是有效地提供代理模型的新的和未知的材料学习任务与不同的微观结构。该算法由两个阶段组成:(1)从现有任务中学习一个通用的非局部核表示;(2)转移学习到的知识,并快速学习替代算子,用于具有不同材料的未知任务,其中只需要少量测试样本。我们应用MetaNOR模拟一维超材料中的波传播,显示出新材料的采样效率的实质性改善。
2022-06-04 cond-mat.mtrl-sci cs.LG stat.ML
Inductive transfer learning from regression to classification in ECG analysis
Department of Computer Engineering, University of Peradeniya(计算机工程系,珀德尼亚大学);SimulaMet
本文研究利用合成心电图数据训练回归模型预测心率、PR间期、QT间期和QRS波群,并通过从回归到分类的迁移学习提升五类心电信号分类性能,验证了该方法在真实心电图数据上的可行性与有效性。
2025-08-05 cs.LG eess.SP
Towards More Accurate Automatic Sleep Staging via Deep Transfer Learning
Queen Mary University of London(伦敦玛丽女王大学);Singapore Institute of Technology(新加坡理工学院);University of Oxford(牛津大学);Peking University(北京大学);University of Lübeck(吕贝克大学);KU Leuven(鲁汶大学)
背景资料:尽管最近在自动睡眠分期方法的发展方面取得了重大进展,但由于数据可变性和数据效率低下的问题,建立一个良好的模型仍然是一个很大的挑战。这项工作提出了一种深度迁移学习方法来克服这些问题,并将知识从大型数据集转移到小型队列中,以进行自动睡眠分期。研究方法:我们从一个通用的端到端深度学习框架开始,用于序列到序列的睡眠分期,并推导出两个网络作为迁移学习的手段。首先在源域(即大型数据库)中训练网络。然后在目标领域(即小群体)中对预训练的网络进行微调,以完成知识转移。我们采用由200名受试者组成的蒙特利尔睡眠研究档案(MASS)数据库作为源域,并在三个不同的目标域上研究深度迁移学习:Sleep-EDF Expanded数据库的Sleep Cassette子集和Sleep Telemetry子集,以及Surrey-cEEGrid数据库。目标域被有意地采用以覆盖与源域不同程度的数据不匹配。结果如下:我们的实验结果表明,所提出的深度迁移学习方法在目标域上实现了自动睡眠分期的显著性能改善。结论:这些结果表明,所提出的方法在解决上述数据可变性和数据效率低下的问题的有效性。重要性:因此,当数据量相对较小时,它将使人们能够提高自动睡眠分期模型的质量。源代码和预训练模型可在http://github.com/pquochuy/sleep_transfer_learning上获得。
2020-08-27 cs.LG eess.SP stat.ML
Transfer Learning Based Automatic Model Creation Tool For Resource Constraint Devices
Samsung R&D Institute Bangalore(三星班加罗尔研发中心);Samsung Research(三星综合技术院)
随着机器学习的增强,许多工具被设计成帮助开发人员轻松创建他们的机器学习模型。在本文中,我们提出了一种新的方法,自动创建这种自定义模型的约束设备使用迁移学习,而不需要编写任何机器学习代码。我们分享了我们的自动模型创建工具的架构,以及它使用YAMNet和MobileNetV 2等预训练模型作为特征提取器创建的CNN模型。最后,我们通过创建一个自动图像和音频分类器来展示从该工具创建的模型的准确性和内存占用,并使用Stanford Cars和ESC-50数据集报告我们的实验结果。
2020-12-18 cs.LG
Transfer Learning for High-dimensional Quantile Regression via Convolution Smoothing
针对高维分位数回归问题,提出基于卷积平滑的两步迁移学习算法及自适应源选择方法,证明了误差界与选择一致性,通过模拟和基因数据实验验证了有效性。
2023-05-02 stat.ME
Transfer Learning in $\ell_1$ Regularized Regression: Hyperparameter Selection Strategy based on Sharp Asymptotic Analysis
The University of Tokyo(东京大学);Kyoto University(京都大学)
本文研究高维稀疏回归中基于 Lasso 的迁移学习算法,利用副本方法进行渐近分析,发现忽略微调阶段的一种信息对泛化性能影响很小,从而显著减少超参数选择工作量,并在真实和半人工数据集上得到验证。
2025-01-30 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Transfer Learning for Moderate-Dimensional Ridge-Regularized Robust Linear Regression
University of Science and Technology of China(中国科学技术大学)
本文研究了中等维度下岭正则化稳健线性回归的迁移学习,提出Trans-RR方法结合源研究的稳健岭估计器和目标研究的稳健岭修正,证明了迁移学习能提升估计精度。
2026-04-12 stat.ME
Transfer Learning Under High-Dimensional Network Convolutional Regression Model
Center for Applied Statistics and School of Statistics, Renmin University of China(应用统计中心和中国人民大学统计学院);Department of Biostatistics, Boston University(生物统计学系,波士顿大学);Department of Mathematics and Statistics, Boston University(数学与统计学系,波士顿大学)
针对网络数据依赖性问题,提出基于网络卷积回归的高维迁移学习框架,通过两步算法和源检测机制提升目标域标注数据有限时的预测精度。
2025-04-29 cs.LG stat.ME
TransFusion: Covariate-Shift Robust Transfer Learning for High-Dimensional Regression
Penn State Univ.(宾夕法尼亚州立大学);Xiamen Univ.(厦门大学)
本文提出TransFusion方法,通过新颖的融合正则化器在高维回归中实现协变量偏移鲁棒的迁移学习,并给出非渐近误差界、极小极大最优条件及分布式扩展,仅需一轮通信即可保持集中式估计速率。
2024-04-01 cs.DC cs.LG math.ST
Transfer learning for functional linear regression via control variates
School of Mathematics and Physics, Yuxi Normal University(玉溪师范学院数学与物理学院);Joseph J. Zilber College of Public Health, University of Wisconsin-Milwaukee(威斯康星大学密尔沃基分校约瑟夫·J·齐尔伯公共卫生学院)
本文提出了一种基于控制变量的迁移学习方法,用于功能线性回归,通过理论分析和实验验证,提升了估计和预测性能。
2026-03-11 stat.ME stat.ML
Transfer Learning with Heterogeneous Feature Spaces in Linear Regression
Beijing Normal University(北京师范大学)
针对源数据仅观测部分目标协变量的异构特征空间问题,提出基于投影插补和重要性加权的迁移学习方法,并建立收敛速率保证。
2026-09-09 stat.ME
Cross-Semantic Transfer Learning for High-Dimensional Linear Regression
Great Bay University(大湾区大学);Southern University of Science and Technology(南方科技大学)
本文提出跨语义迁移学习框架,通过加权融合惩罚和ADMM实现高维线性回归的跨领域迁移,理论证明其在温和条件下能实现Oracle估计器,实验证明在跨语义和部分信号相似性场景中性能优于现有方法。
2025-12-25 stat.ME
Transfer Learning Meets Functional Linear Regression: No Negative Transfer under Posterior Drift
本文研究了后验漂移下的函数线性回归迁移学习,提出基于近似最小二乘法与lasso惩罚的估计器及自适应聚合算法,有效避免了负迁移并提升了目标模型斜率函数的估计精度。
2024-12-19 stat.ME
A Simple and Effective Approach to Automatic Post-Editing with Transfer Learning
Instituto de Telecomunicações(电信研究所);Unbabel
自动后编辑(APE)试图通过人工后编辑来自动地改进黑盒机器翻译(MT)系统的输出。APE系统通常通过补充人工编辑后的数据来训练,这些数据是通过反向翻译生成的大型人工数据,这是一个耗时的过程,通常不比从头开始训练MT系统更容易。在本文中,我们提出了一种替代方案,我们微调预训练BERT模型的编码器和解码器的APE系统,探索几个参数共享策略。通过在单个GPU上对23K句子的数据集进行3小时的训练,我们获得的结果与在5M人工句子上训练的系统具有竞争力。当我们添加这些人工数据时,我们的方法获得了最先进的结果。
2019-06-14 cs.CL cs.LG
High dimensional regression and matrix estimation without tuning parameters
提出了一种在任意范数下自动适应未知稀疏性的高斯均值估计的一般理论。该理论被应用于产生自适应极小极大率最优估计在高维回归和矩阵估计,不涉及调整参数。
2015-11-28 math.PR math.ST stat.TH
Statistical Inference on Panel Data Models: A Kernel Ridge Regression Method
在核岭回归框架下提出了交互固定效应面板数据模型的统计推断方法,与传统的筛法相比,该方法不需要选择基函数和截断参数,模型复杂性由一个连续的正则化参数控制,该参数可以通过广义交叉验证自动选择.基于经验过程理论和泛函分析工具,我们得到了非均匀背景下估计量的联合渐近分布。这些联合渐近的结果,然后使用构造置信区间的回归平均值和预测区间的未来的观察,都是第一个可证明的有效区间在文献中。在齐次背景下,得到了函数估计的边缘渐近正态性。仿真和实际数据分析证明了该方法的优越性。
2017-03-08 math.ST stat.TH
AutoTune: Automatically Tuning Convolutional Neural Networks for Improved Transfer Learning
Indian Institute of Information Technology Sri City(斯里城印度信息技术学院)
迁移学习通过使用在大规模数据集上训练的预训练深度网络来解决具有有限数据的特定任务。通常,在将学习到的知识从源任务转移到目标任务时,最后几层在目标数据集上进行微调(重新训练)。但是,这些层最初是为源任务设计的,可能不适合目标任务。在本文中,我们介绍了一种用于自动调整卷积神经网络(CNN)以改进迁移学习的机制。预训练的CNN层使用贝叶斯优化利用来自目标数据的知识进行调整。首先,我们通过将softmax层中的神经元数量替换为目标任务中涉及的类数量来训练基础CNN模型的最后一层。接下来,通过观察验证数据(贪婪标准)的分类性能,自动调整预训练的CNN。为了评估所提出的方法的性能,在三个基准数据集上进行实验,例如,加州理工101,加州理工256,还有斯坦福狗通过所提出的AutoTune方法获得的分类结果优于标准基线迁移学习方法,在三个数据集上分别实现$95.92\%$、$86.54\%$和$84.67\%$对CalTech-101、CalTech-256和Stanford Dogs的准确性。在这项研究中获得的实验结果表明,调整预训练的CNN层与来自目标数据集的知识承认更好的迁移学习能力。源代码可在https://github.com/JekyllAndHyde8999/AutoTune_CNN_TransferLearning上获得。
2020-12-03 cs.CV cs.LG
Representation Transfer Learning for Semiparametric Regression
本研究提出一种半参数回归下的表示迁移学习方法,通过共享跨域可迁移潜在表示、引入域特定参数处理异质性,证明了目标参数估计的一致性与渐近正态性,经模拟和真实数据验证了方法有效性。
2024-06-19 stat.ME
Coefficient Shape Transfer Learning for Functional Linear Regression
Department of Biostatistics, City University of Hong Kong(香港城市大学生物统计系);Department of Biostatistics, Columbia University(哥伦比亚大学生物统计系)
本文提出一种基于系数形状的迁移学习方法,用于函数型线性回归,通过从源域迁移形状知识增强目标域估计的鲁棒性与泛化能力,并理论分析收敛速率及极小极大最优性,模拟和实际数据验证其有效性。
2025-10-15 stat.ME stat.ML
D-vine copula based quantile regression
分位数回归,即条件分位数的预测,在统计建模和金融应用中逐渐获得重要性。作者介绍了一种新的半参数分位数回归方法的基础上,顺序拟合的似然最优D-藤copula给定的数据,导致高度灵活的模型,易于提取的条件分位数。作为正则vine copula的一个子类,D-vines使得能够根据二元构建块对多元copula进行建模,即所谓的pair-copula构造(PCC)。该算法的工作速度快,准确,即使在高维,并采用了自动变量选择最大化的条件对数似然。此外,分位数回归的典型问题,如分位数交叉或变换,变量的相互作用和共线性,都将自动处理。在一个模拟研究中,与已建立的分位数回归方法相比,该方法提高了精度并节省了计算时间。国际信用违约互换(CDS)数据,包括压力测试和风险价值(VaR)预测的广泛的金融应用表明,所提出的方法的实用性。
2016-11-16 stat.ME
Covid-19: Automatic detection from X-Ray images utilizing Transfer Learning with Convolutional Neural Networks
University of Patras(帕特雷大学);Computer Technology Institute(计算机技术研究所)
在这项研究中,来自普通肺炎、新冠肺炎和正常事件患者的X射线图像数据集被用于冠状病毒的自动检测。该研究的目的是评估近年来提出的用于医学图像分类的最先进的卷积神经网络架构的性能。具体而言,采用了称为迁移学习的程序。通过迁移学习,检测小型医学图像数据集中的各种异常是一个可以实现的目标,通常会产生显着的结果。本实验中使用的数据集是1427张X射线图像的集合。包括224张确诊的新冠肺炎图像,700张确诊的普通肺炎图像,以及504张正常情况下的图像。这些数据是从公共医疗资料库中的可用X射线图像中收集的。通过迁移学习,COVID-19检测的总体准确率达到97.82%。
2020-03-25 cs.CV cs.LG eess.IV
Transfer Learning Using Logistic Regression in Credit Scoring
CREST-ENSAI;LARODEC-ISG;ESSEC, Université de Tunis(突尼斯大学ESSEC)
信用评分风险管理是一个快速增长的领域,由于消费者的信用要求。信贷申请,新的和现有的客户,往往是基于客户信息的经典判别规则进行评估。然而,这些策略都有严重的局限性,没有考虑到现有客户和未来客户之间的特征差异。本文的目的是衡量非客户借款人的信用价值和模型的潜在风险给定的异质人口形成的借款人,银行的客户和其他人谁不是。我们在继承前人在广义高斯判别法中的工作的基础上,将其移植到Logistic模型中,得到了有效的非顾客亚群判别规则。因此,我们得到了几个简单的模型之间的连接的两个Logistic模型的参数分别与两个亚群。并以德国的信用数据集为例对这些模型进行了实验和比较。实验结果表明,使用两个子群体之间的链接,提高了新的贷款申请人的分类精度。
2012-12-26 cs.CE cs.LG
Beyond Source-Level Transfer: Sample-Level Learning for High-Dimensional Quantile Regression
Renmin University of China(中国人民大学)
针对高维分位数回归的迁移学习,提出样本级迁移方法 SL-TL,通过样本选择与重要性加权利用源域可迁移样本,实现更快的收敛速率并展现稳健性能。
2026-10-08 stat.ME
Transfer Learning with Large-Scale Quantile Regression
本文针对高维分位数回归提出迁移学习方法,通过样本分割一致地检测与目标相似的 informative sources 并加以利用,显著降低目标估计误差,并在飞行硬着陆风险检测中验证了其有效性。
2024-02-25 math.ST stat.CO stat.ME
A Multimodal German Dataset for Automatic Lip Reading Systems and Transfer Learning
University of Hamburg(汉堡大学)
唇读的深度学习所需的大型数据集在许多语言中并不存在。在本文中,我们介绍了数据集GLips(德国嘴唇),由250,000个公开的黑森州议会发言人的面部视频组成,这些视频使用自动管道进行了单词级唇读处理。该格式类似于英语LRW(Lip Reading in the Wild)数据集的格式,每个视频在1.16秒的持续时间内编码一个感兴趣的单词,这为研究两个数据集之间的迁移学习提供了兼容性。通过训练深度神经网络,我们研究唇读是否具有语言无关的特征,以便不同语言的数据集可以用于改进唇读模型。我们展示了从头开始的学习,并表明从LRW到GLips的迁移学习,反之亦然,提高了学习速度和性能,特别是对于验证集。
2022-05-11 cs.CL cs.CV cs.LG
Testing relevant difference in high-dimensional linear regression with applications to detect transferability
Shanghai University of Finance and Economics(上海财经大学)
针对高维线性回归中系数β的显著性检验,提出原假设为β与0无相关差异(∥β∥≤δ₀)的新检验方法,结合随机矩阵理论处理高维干扰参数,应用于迁移学习可提升模型估计与预测精度。
2025-11-19 stat.ME
Parameter-Efficient Transfer Learning under Federated Learning for Automatic Speech Recognition
Google(谷歌公司)
本文研究在保护数据隐私下提升ASR模型在用户特定领域性能的挑战,采用联邦学习与参数高效的领域自适应方法解决海量数据需求与高通信开销问题,证明配备适当适配器的联邦微调能达到与集中式微调相近的性能,为隐私保护ASR服务提供新方向。
2024-08-19 cs.CR cs.LG eess.AS