Unified Transfer Learning Models in High-Dimensional Linear Regression
Columbia University(哥伦比亚大学)
针对目标数据稀缺、源目标分布异质的迁移学习场景,提出可解释的统一模型UTrans,可检测可迁移变量与源数据,误差界优于仅用目标数据的情况,实验表现优于现有方法并可应用于代际流动数据分析。
2024-01-30 cs.LG stat.ML
Transfer Learning with Random Coefficient Ridge Regression
Perelman School of Medicine(佩雷尔曼医学院);University of Pennsylvania(宾夕法尼亚大学)
本文研究迁移学习下的随机系数岭回归,提出两个基于目标与源模型岭估计加权和的系数估计量,通过最小化经验风险确定权重,并利用随机矩阵理论推导最优权重极限值与风险显式表达式,实验证明其预测误差低于传统方法。
2023-06-28 cs.LG stat.ME stat.ML
Transfer Learning for Kernel-based Regression
本文研究再生核希尔伯特空间下非参数回归的迁移学习问题,针对可迁移源已知和未知两种场景分别提出两步核估计器和基于聚合算法的新方法,给出统计性质与极小极大速率,并通过实验验证了理论与方法的有效性。
2025-10-29 cs.LG stat.ME stat.ML
Heterogeneous transfer learning for high-dimensional regression with feature mismatch
Department of Statistics, The Ohio State University(统计学系,俄亥俄州立大学)
本文提出了一种异质迁移学习方法,通过特征映射和填补缺失特征,解决高维回归中特征不匹配问题,并提供了误差上界。
2026-08-13 cs.LG stat.ML
A Survey of Constrained Gaussian Process Regression: Approaches and Implementation Challenges
Sandia National Laboratories(桑迪亚国家实验室)
高斯过程回归是一种流行的贝叶斯框架,用于昂贵数据源的替代建模。作为科学机器学习更广泛努力的一部分,许多最近的工作已经在高斯过程回归中纳入了物理约束或其他先验信息,以补充有限的数据并规范模型的行为。我们提供了一个概述和调查的几类高斯过程的约束,包括积极性或边界约束,单调性和凸性约束,微分方程约束提供的线性偏微分方程,边界条件约束。我们比较了每种方法背后的策略以及实施中的差异,最后讨论了限制带来的计算挑战。
2021-01-06 cs.LG math.ST stat.ML
The Common Intuition to Transfer Learning Can Win or Lose: Case Studies for Linear Regression
Ben-Gurion University(本-古里安大学);Stanford University(斯坦福大学);Rice University(莱斯大学)
本文研究了线性回归中的迁移学习方法,通过引入目标参数与源参数距离的正则化优化,证明其在足够相关任务上能解决双下降误差峰值并击败独立任务的MMSE解,揭示了迁移学习扩展解空间的优势及其与常见设计理念的差异。
2024-05-31 cs.LG
Transfer Learning for Linear Regression: a Statistical Test of Gain
EDF R&D(EDF研发中心);Aix-Marseille Université(艾克斯-马赛大学);Université Lumière Lyon 2(里昂第二大学);Université Paris-Est Marne-la-Vallée(巴黎东大学马恩河谷校区)
迁移学习,也被称为知识迁移,旨在将知识从源数据集重用到类似的目标数据集。虽然许多实证研究说明了迁移学习的好处,但很少有理论结果,特别是对于回归问题。本文提出了一个线性模型参数传递问题的理论框架。它示出了一个新的输入向量$x$的传输质量取决于其表示在一个本征基涉及的参数的问题。此外,构建统计检验来预测微调模型对于未观察样本的预测二次风险是否低于基础目标模型。在合成数据和实际用电数据上说明了测试的有效性。
2021-02-18 cs.LG math.ST stat.ML
Expectation Error Bounds for Transfer Learning in Linear Regression and Linear Neural Networks
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Meta
本文研究了迁移学习中辅助数据提升主任务泛化能力的理论条件,针对线性回归和欠参数化线性神经网络,推导了泛化误差的闭式表达式和非渐近误差界,提供了任务权重优化方法和一致性保证。
2026-03-30 cs.LG stat.ML
Very fast Bayesian Additive Regression Trees on GPU
unifi(乌尼维斯大学);Department of Statistics, Computer Science, Applications ``Giuseppe Parenti'' (DISIA)(统计与计算机科学应用系(DISIA))
针对BART运行慢的问题,提出GPU加速实现,速度提升高达200倍,与XGBoost竞争,并开源在bartz包中。
2026-11-10 cs.LG stat.ML
Probabilistic Pretraining for Neural Regression
Amazon(亚马逊)
本文提出 NIAQUE 模型,通过置换不变性实现概率回归的迁移学习,预训练后在目标数据集微调可提升性能,并在 Kaggle 竞赛中优于 TabPFN 等强基线。
2025-08-22 cs.LG
Transfer Learning Under High-Dimensional Graph Convolutional Regression Model for Node Classification
Boston University(波士顿大学);Renmin University of China(中国人民大学)
针对节点分类中标签获取困难的问题,提出基于图卷积多项式逻辑回归(GCR)的迁移学习方法Trans-GCR,提供高维理论保证,且性能优越、计算成本低、超参数少。
2024-05-26 cs.LG stat.ME stat.ML
Post-Transfer Learning Statistical Inference in High-Dimensional Regression
University of Information Technology(信息技术大学);Vietnam National University(越南国家大学);RIKEN AIP(日本理化学研究所AIP)
针对高维回归迁移学习中缺乏统计显著性量化方法的问题,本文提出了PTL-SI框架,通过提供有效p值严格控制假阳性率,并结合分治策略增强统计功效。
2025-04-25 cs.LG stat.ML
Estimation and inference for transfer learning with high-dimensional quantile regression
Central China Normal University(华中师范大学);Qufu Normal University(曲阜师范大学);Zhongnan University of Economics and Law(中南财经政法大学)
针对高维场景下现有迁移学习对异质性、厚尾考量不足的问题,提出高维分位数回归框架的迁移学习方法,构建误差界与推断工具,设计可迁移性检测规避负迁移,经仿真和真实数据验证性能优异。
2023-11-06 cs.LG math.ST stat.ME
Transfer-Learning Across Datasets with Different Input Dimensions: An Algorithm and Analysis for the Linear Regression Case
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
针对不同输入维度的新数据与历史数据难以融合的问题,提出一种计算复杂度与普通最小二乘相当、无需调参的线性迁移学习算法,理论证明其鲁棒性优于仅用新数据的基线,在9个真实数据集上达SOTA。
2023-11-06 cs.LG stat.ML
bartMachine: Machine Learning with Bayesian Additive Regression Trees
我们在R中提出了一个新的包,实现了贝叶斯加性回归树(BART)。该软件包引入了许多新的功能,数据分析使用BART,如变量选择,相互作用检测,模型诊断图,纳入缺失数据和能力,以保存树为未来的预测。它比当前的R实现快得多,并行化,并且能够处理大样本量和高维数据。
2014-11-24 cs.LG stat.ML
Features are fate: a theory of transfer learning in high-dimensional regression
Department of Applied Physics, Stanford University, Stanford CA, USA(应用物理系,斯坦福大学);Department of Chemistry, Stanford University, Stanford CA, USA(化学系,斯坦福大学)
本文从特征视角研究高维回归中的迁移学习,证明当目标任务被预训练模型特征空间良好表示时迁移优于从头训练,并在深度线性网络中解析刻画可迁移性相图,数值验证结果对非线性网络也成立。
2025-07-07 cs.LG stat.ML
Transfer Learning for Benign Overfitting in High-Dimensional Linear Regression
Yonsei University(延世大学);KAIST(韩国科学技术院)
本文提出了一种两步转移MNI方法,通过分析其非渐近性超额风险,揭示了在特定条件下利用异质数据可提升高维线性回归的泛化能力。
2026-01-16 cs.LG math.ST stat.ML
Oblique Bayesian additive regression trees
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
针对轴对齐BART的局限,提出基于线性组合的斜BART方法,利用数据自适应先验沿随机超平面递归划分特征空间,实验证明其预测性能具竞争力且有时更优。
2024-11-13 cs.LG stat.ML
Transfer Learning of CATE with Kernel Ridge Regression
Columbia University(哥伦比亚大学);Purdue University(普渡大学);Peking University Health Science Center(北京大学医学部);Beijing International Center for Mathematical Research, Peking University(北京大学北京国际数学研究中心)
该研究针对CATE迁移学习中重叠不足问题,提出基于KRR的重叠自适应方法,经理论推导和数值实验证实其在有限样本下效率更高、适应性更强,且在真实数据集上表现优越。
2026-08-04 cs.LG stat.ME stat.ML
Barely Biased Learning for Gaussian Process Regression
University of Cambridge(剑桥大学);Imperial College London(帝国理工学院)
最近的工作在可扩展的近似高斯过程回归讨论了偏置方差计算权衡时,估计对数边际似然。我们提出了一种方法,自适应地选择计算量估计时使用的对数边际似然,使目标函数的偏差是保证很小。虽然简单的原则上,我们目前的实现方法是没有竞争力的计算与现有的近似。
2021-09-20 cs.LG stat.ML
Transfer Learning of Linear Regression with Multiple Pretrained Models: Benefiting from More Pretrained Models via Overparameterization Debiasing
Faculty of Computer and Information Science(计算机与信息科学学院)
本文提出通过过度参数化去偏方法,利用多个预训练模型提升线性回归任务的迁移学习效果。
2026-02-18 cs.LG
AdaTrans: Feature-wise and Sample-wise Adaptive Transfer Learning for High-dimensional Regression
Pennsylvania State University(宾夕法尼亚州立大学);Xiamen University(厦门大学)
本文提出AdaTrans自适应迁移学习方法,通过融合惩罚和自适应权重在高维回归中检测特征级或样本级可迁移结构,实现选择性信息融合并达到接近oracle的收敛速率。
2024-11-25 cs.LG math.ST stat.ME
Minimax optimal transfer learning for high-dimensional additive regression
本文在迁移学习框架下研究高维可加回归,提出基于平滑后拟合估计器的目标估计程序和两阶段估计方法,在次Weibull噪声下建立误差界,并在分布足够接近时实现极小化最优速率。
2025-09-16 cs.LG math.ST stat.ML
Transfer Learning for Node Regression Applied to Spreading Prediction
Jožef Stefan Institute(约热夫·斯特凡研究所);University of Nova Gorica(新戈里察大学);Jožef Stefan International Postgraduate School(约热夫·斯特凡国际研究生院)
了解信息如何在现实生活中的复杂网络中传播,可以更好地理解动态过程,如错误信息或流行病传播。最近引入的分支机器学习方法学习节点表示提供了许多新的应用,其中之一是本文中提出的传播预测的任务。我们探索了最先进的节点表示学习器的效用,当用于评估从给定节点传播的影响时,通过广泛的模拟估计。此外,由于许多现实生活中的网络在拓扑上是相似的,我们系统地研究了学习的模型是否可以推广到以前看不见的网络,表明在某些情况下可以获得非常好的模型转移。这项工作是第一个探索节点回归任务的学习表示的可转移性的工作之一;我们证明了存在具有相似结构的网络对,在这些网络之间可以转移训练模型(zero-shot),并展示了它们的竞争性能。据我们所知,这是第一次尝试评估节点回归任务的zero-shot转移的效用。
2021-05-03 cs.LG cs.SI
Geometrically Aligned Transfer Encoder for Inductive Transfer in Regression Tasks
LG AI Research(LG人工智能研究)
针对现有迁移学习多聚焦分类任务、难适配回归任务的问题,提出基于微分几何的GATE方法,通过任务间微分同胚实现知识迁移,在分子图数据集上性能优于传统方法且表现稳定。
2023-10-10 cs.AI cs.LG
Adversarial Transfer of Pose Estimation Regression
Naver Labs Europe(Naver Labs欧洲)
我们解决视觉定位中的摄像机姿态估计问题。当前用于姿态估计的基于回归的方法是按场景训练和评估的。它们取决于训练数据集的坐标系,并且在场景和数据集中表现出较低的泛化能力。我们确定了数据集转移的一个重要障碍,泛化和考虑迁移学习作为一种替代方式,更好地重用姿态估计模型。我们修改领域自适应技术的分类,并将其扩展到相机姿态估计,这是一个多元回归的任务。我们开发了一个深度自适应网络来学习场景不变的图像表示,并使用对抗学习来生成这种表示用于模型传输。我们丰富的网络与自监督学习,并使用自适应性理论来验证存在的场景不变表示的图像在两个给定的场景。我们在两个公共数据集Cambridge Landmarks和7Scene上评估了我们的网络,证明了它在几个基线上的优越性,并与最先进的方法进行了比较。
2020-11-23 cs.CV cs.LG
Transfer Learning with Conformalized Quantile Regression for Solar PV Forecasting Under Load-Shedding-Driven Data Scarcity
Green University of Bangladesh(孟加拉国绿色大学)
针对负荷削减导致数据稀缺的光伏预测难题,提出结合共形分位数回归的迁移学习框架,显著提升点预测精度与区间可靠性。
2026-10-02 cs.LG
Transfer Learning in Nonparametric Regression with Deep ReLU Networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Washington University in St. Louis(圣路易斯华盛顿大学);Hong Kong University of Science and Technology(香港科技大学)
该研究针对多组数据的非参数回归,提出基于深度ReLU网络的两阶段偏移学习迁移框架,通过理论分析与实验验证,证明其可克服维度诅咒并实现有效迁移。
2026-08-21 cs.LG stat.ME stat.ML
Transfer Regression via Pairwise Similarity Regularization
University of California, Davis(加州大学戴维斯分校)
迁移学习方法解决了这样的情况,其中存在来自“目标”问题的很少的标记训练数据,但是来自相关“源”域的很多训练数据是可用的。然而,绝大多数迁移学习方法是针对简单设置设计的,其中源和目标预测函数几乎相同,限制了迁移学习方法对真实世界数据的适用性。我们提出了一种新的,较弱的,属性的源域,即使在源和目标预测函数发散时,也可以转移。我们的方法假设源函数和目标函数共享一个成对相似性属性,如果源函数对一对实例做出相似的预测,那么目标函数也会如此。我们提出了成对相似正则化转移,一个灵活的基于图的正则化框架,可以将这种建模假设纳入标准的监督学习算法。我们展示了用户如何将领域知识以空间连续性的形式编码到我们的正则化器中,成对的“相似性约束”以及我们的方法如何使用Nystrom近似扩展到大型数据集。最后,我们提出了积极的和消极的结果,真正的和合成数据集,并讨论当我们的成对相似性转移假设似乎在实践中举行。
2017-12-23 cs.LG
Universality in Transfer Learning for Linear Models
California Institute of Technology(加州理工学院)
本文在渐近大模型框架下严格分析了线性模型迁移学习与微调的普适性,证明结果仅依赖目标分布的一阶和二阶统计量,并给出微调优于预训练的条件,且扩展到岭回归分类任务。
2025-02-23 cs.LG stat.ML
MetaNOR: A Meta-Learnt Nonlocal Operator Regression Approach for Metamaterial Modeling
Lehigh University(理海大学)
我们提出了MetaNOR,一种基于非局部算子回归的迁移学习算子的元学习方法。总体目标是有效地提供代理模型的新的和未知的材料学习任务与不同的微观结构。该算法由两个阶段组成:(1)从现有任务中学习一个通用的非局部核表示;(2)转移学习到的知识,并快速学习替代算子,用于具有不同材料的未知任务,其中只需要少量测试样本。我们应用MetaNOR模拟一维超材料中的波传播,显示出新材料的采样效率的实质性改善。
2022-06-04 cond-mat.mtrl-sci cs.LG stat.ML
Inductive transfer learning from regression to classification in ECG analysis
Department of Computer Engineering, University of Peradeniya(计算机工程系,珀德尼亚大学);SimulaMet
本文研究利用合成心电图数据训练回归模型预测心率、PR间期、QT间期和QRS波群,并通过从回归到分类的迁移学习提升五类心电信号分类性能,验证了该方法在真实心电图数据上的可行性与有效性。
2025-08-05 cs.LG eess.SP
Enhancing Polynomial Chaos Expansion Based Surrogate Modeling using a Novel Probabilistic Transfer Learning Strategy
Sandia National Laboratories(桑迪亚国家实验室);University of Houston(休斯顿大学)
针对PCE线性回归构建代理模型时过采样导致模拟成本过高的问题,提出一种贝叶斯建模与数据同化启发的概率迁移学习策略,并通过数值算例及油气工程问题验证。
2023-12-07 cs.LG stat.ML
Transfer Learning in $\ell_1$ Regularized Regression: Hyperparameter Selection Strategy based on Sharp Asymptotic Analysis
The University of Tokyo(东京大学);Kyoto University(京都大学)
本文研究高维稀疏回归中基于 Lasso 的迁移学习算法,利用副本方法进行渐近分析,发现忽略微调阶段的一种信息对泛化性能影响很小,从而显著减少超参数选择工作量,并在真实和半人工数据集上得到验证。
2025-01-30 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Bayesian Transfer Learning for High-Dimensional Linear Regression via Adaptive Shrinkage
University of California, Los Angeles(加州大学洛杉矶分校)
BLAST通过自适应收缩先验和贝叶斯源选择,提升高维线性回归的后验推断精度与不确定性量化。
2026-03-06 stat.AP stat.CO stat.ME
Transfer Learning Under High-Dimensional Network Convolutional Regression Model
Center for Applied Statistics and School of Statistics, Renmin University of China(应用统计中心和中国人民大学统计学院);Department of Biostatistics, Boston University(生物统计学系,波士顿大学);Department of Mathematics and Statistics, Boston University(数学与统计学系,波士顿大学)
针对网络数据依赖性问题,提出基于网络卷积回归的高维迁移学习框架,通过两步算法和源检测机制提升目标域标注数据有限时的预测精度。
2025-04-29 cs.LG stat.ME
flexBART: Flexible Bayesian regression trees with categorical predictors
针对传统BART独热编码分类预测变量导致划分受限的问题,提出可将多水平分配到节点两分支的flexBART,并新增空间数据决策规则先验,提升了预测性能与大数据扩展性。
2024-08-12 stat.ME stat.ML
TransFusion: Covariate-Shift Robust Transfer Learning for High-Dimensional Regression
Penn State Univ.(宾夕法尼亚州立大学);Xiamen Univ.(厦门大学)
本文提出TransFusion方法,通过新颖的融合正则化器在高维回归中实现协变量偏移鲁棒的迁移学习,并给出非渐近误差界、极小极大最优条件及分布式扩展,仅需一轮通信即可保持集中式估计速率。
2024-04-01 cs.DC cs.LG math.ST
Quantum assisted Gaussian process regression
Singapore University of Technology and Design(新加坡科技设计大学);University of Oxford(牛津大学);National University of Singapore(新加坡国立大学)
高斯过程(GP)是有监督机器学习中广泛使用的回归问题模型。GP回归的实现通常需要$O(n^3)$逻辑门。我们证明了量子线性系统算法[Harrow等人,物理修订信函103,150502(2009)]可以应用于高斯过程回归(GPR),在某些情况下导致计算时间的指数减少。我们表明,即使在某些情况下不理想地适合量子线性系统算法,多项式的效率增加仍然发生。
2015-12-12 cs.LG quant-ph stat.ML
Variational Bayesian inference for linear and logistic regression
本文介绍线性与逻辑回归的变分贝叶斯推断,涵盖模型、推导及MATLAB/Octave实现,并作为教程与示例文档,提供免费在线函数。
2019-06-29 stat.ML
Transfer Learning Using Logistic Regression in Credit Scoring
CREST-ENSAI;LARODEC-ISG;ESSEC, Université de Tunis(突尼斯大学ESSEC)
信用评分风险管理是一个快速增长的领域,由于消费者的信用要求。信贷申请,新的和现有的客户,往往是基于客户信息的经典判别规则进行评估。然而,这些策略都有严重的局限性,没有考虑到现有客户和未来客户之间的特征差异。本文的目的是衡量非客户借款人的信用价值和模型的潜在风险给定的异质人口形成的借款人,银行的客户和其他人谁不是。我们在继承前人在广义高斯判别法中的工作的基础上,将其移植到Logistic模型中,得到了有效的非顾客亚群判别规则。因此,我们得到了几个简单的模型之间的连接的两个Logistic模型的参数分别与两个亚群。并以德国的信用数据集为例对这些模型进行了实验和比较。实验结果表明,使用两个子群体之间的链接,提高了新的贷款申请人的分类精度。
2012-12-26 cs.CE cs.LG
Computationally efficient multi-level Gaussian process regression for functional data observed under completely or partially regular sampling designs
University of Copenhagen(哥本哈根大学)
本文提出了一种计算高效的多级高斯过程回归方法,用于处理完全或部分规则采样设计下的函数数据,通过解析表达式显著提升计算效率。
2024-08-07 stat.CO stat.ME
Tractable Bayesian Density Regression via Logit Stick-Breaking Priors
人们越来越关注响应变量的分布如何随一组预测变量而变化。贝叶斯非参数依赖混合模型提供了一种灵活的方法来解决这个问题。然而,几个公式需要计算要求高的算法后验推理。基于这个问题,我们研究了一类预测依赖的无限混合模型,它依赖于一个简单的表示的棒断裂先验通过顺序逻辑斯谛回归。该公式保持了与流行的预测依赖棒断裂先验相同的理想特性,并利用最近的Pólya-gamma数据增强来促进后验推理的几种计算方法的实现。这些例程包括马尔可夫链蒙特卡罗通过吉布斯抽样,期望最大化算法,和平均场变分贝叶斯可扩展的推理,从而刺激了更广泛的实施贝叶斯密度回归的从业者。与这些方法相关的算法详细介绍,并在毒理学研究中进行测试。
2020-05-04 stat.CO
Mixed Beta Regression: A Bayesian Perspective
本文建立在最近的研究,重点是连续有界数据的回归建模,如在连续尺度上测量的比例。具体来说,它涉及来自贝叶斯方法的混合效应的beta回归模型。我们使用一个合适的参数化的贝塔法在其平均值和精度参数,并允许这两个参数通过回归结构,可能涉及固定和随机效应建模。规范的先验分布进行了讨论,通过吉布斯抽样的计算实现,并给出了说明性的例子。
2012-11-14 stat.CO
A new Bayesian regression model for counts in medicine
离散数据在许多应用领域中被收集,并且通常以高度偏斜和幂律分布为特征。这方面的一个例子,这是考虑在本文中,是访问专家的数量,往往被视为在医疗保健需求的措施。离散Weibull回归模型最近被提出用于具有离散响应的回归问题,它被证明具有两个重要的特征:能够同时捕获过度分散和欠分散的能力以及条件分布的分位数的封闭形式的解析表达式。在本文中,我们提出了第一个离散Weibull回归模型的贝叶斯实现。该实现考虑了一种新的参数化,其中离散韦布尔分布的两个参数可以依赖于预测。此外,可以施加先验分布,以鼓励参数收缩并导致变量选择。与贝叶斯过程一样,返回参数的完整后验分布,从中可以很容易地计算出可信区间。模拟研究和分析的四个真实的病历数据集显示的承诺,这种方法的广泛适用性的计数数据的分析。该方法在R包BDWreg中实现。
2016-01-12 stat.ME
On semiparametric regression with O'Sullivan penalised splines
这是一本关于在当代半参数回归中使用O 'Sullivan惩罚样条的论文,包括混合模型和贝叶斯公式。奥沙利文惩罚样条类似于P-样条,但有一个优点是平滑样条的直接推广。得到了O 'Sullivan罚矩阵的精确表达式。两者之间的比较表明,奥沙利文惩罚样条更密切地模仿自然边界的平滑样条的行为。讨论了在Matlab、R和BUGS等现代计算环境中的实现。
2007-07-02 stat.ME
Bayesian Additive Regression Trees With Parametric Models of Heteroskedasticity
我们将异方差贝叶斯加性回归树(BART)建模的误差方差参数的对数作为一个线性函数的预先指定的协变量。在该方案下,原始树和模型的吉布斯抽样过程很容易修改,方差模型的参数通过Metropolis-Hastings步骤更新。我们证明了我们的方法的承诺,提供更适当的后验预测区间比homoskedastic BART在异方差设置,并证明了该模型的抗过拟合。我们的实现将在即将发布的R包bartMachine中提供。
2014-02-21 stat.ME
Double Double Descent: On Generalization Errors in Transfer Learning between Linear Regression Tasks
Rice University(莱斯大学)
研究了两个线性回归问题之间的迁移学习过程。一个重要的和及时的特殊情况是当回归器是过参数化的,并完美地插值其训练数据。我们研究了一个参数传输机制,其中目标任务解决方案的参数的一个子集被约束到一个相关的源任务学习的值。我们根据迁移学习架构中的突出因素来分析目标任务的泛化误差,即,可用示例的数量、每个任务中的(自由)参数的数量、从源任务传输到目标任务的参数的数量以及两个任务之间的关系。我们的非渐近分析表明,目标任务的泛化误差遵循二维双下降趋势(相对于每个任务中的自由参数的数量),这是由迁移学习因素控制。我们的分析指出了参数的转移作为额外的过度参数化的替代是有益的特定情况(即,目标任务中的附加自由参数)。具体来说,我们表明,迁移学习设置的有用性是脆弱的,并依赖于一组传输参数之间的微妙的相互作用,任务之间的关系,和真正的解决方案。我们还证明了当源任务与目标任务更接近或相同时,过度参数化的迁移学习不一定更有益。
2022-09-28 cs.LG stat.ML
Near-Optimal Linear Regression under Distribution Shift
Princeton University(普林斯顿大学)
当足够的数据来自源域,而来自目标域的标记数据很少时,迁移学习是必不可少的。我们开发估计,实现最小最大线性风险的线性回归问题下分布偏移。我们的算法涵盖了不同的迁移学习设置,包括协变量偏移和模型偏移。我们还考虑当数据是从线性或一般的非线性模型。我们表明,线性极小极大估计是在一个绝对常数的极小极大风险,甚至在非线性估计的各种源/目标分布。
2021-06-23 cs.LG stat.ML
Tessellation Localized Transfer learning for nonparametric regression
Télécom SudParis, Institut Polytechnique de Paris(巴黎理工学院电信南巴黎学院);Université Paris Nanterre(巴黎楠泰尔大学);Fédération Enac ISAE-SUPAERO,université de Toulouse(图卢兹大学Enac ISAE-SUPAERO联合会);ESILV, Pôle Léonard de Vinci(里昂达芬奇中心ESILV)
本文提出一种非参数回归迁移学习框架,通过局部迁移假设建模源-目标关系的异质性,通过联合学习局部迁移函数和目标回归,实现高效迁移并缓解维度灾难。
2026-03-17 math.ST stat.AP stat.ML
mlOSP: Towards a Unified Implementation of Regression Monte Carlo Algorithms
我们介绍mlOSP,机器学习的计算模板最优停时问题。该模板在R统计环境中实现,并通过GitHub存储库公开提供。mlOSP提出了回归蒙特卡罗(RMC)方法的统一数值实现,以实现最优停时,提供了一个最先进的,开源的,可重复的和透明的平台。突出其模块化的性质,我们提出了RMC算法的多种新变体,特别是在构建用于训练回归量的模拟设计方面,以及在机器学习回归模块方面。此外,mlOSP嵌套大多数现有的RMC计划,允许现有算法的一致和可验证的基准测试。本文包含大量的R代码片段和图形,并作为底层软件包的一个小插曲。
2022-10-02 q-fin.CP stat.ML
Task Shift: From Classification to Regression in Overparameterized Linear Models
Georgia Institute of Technology(佐治亚理工学院)
本文研究过参数化线性模型中从分类到回归的任务迁移,证明零样本迁移不可能,并提出利用有限回归数据渐近恢复真实预测器的后处理算法。
2025-02-18 cs.LG stat.ML
A better method to enforce monotonic constraints in regression and classification trees
Ecole des Ponts ParisTech(巴黎高科桥路学校)
在这份报告中,我们提出了两种新的方法,强制执行单调约束的回归和分类树。一个比当前的LightGBM产生更好的结果,并且具有相似的计算时间。另一个产生更好的结果,但比当前的LightGBM慢得多。我们还提出了一个启发式,考虑到,greetly分裂一棵树,选择单调分裂,其直接收益是远远不是最佳的。然后,我们使用著名的Adult公共数据集将结果与LightGBM库中约束的当前实现进行比较。在整个报告中,我们主要关注我们为LightGBM库所做的方法的实现,尽管它们是通用的,可以在任何回归或分类树中实现。我们提出的最好的方法(一种更聪明的方法来分割树,再加上单调分割的惩罚)始终优于LightGBM的当前实现。对于小的或平均的树,在训练的早期阶段,损失减少可以高达1%,并且在成人数据集的损失峰值时减少到0.1%左右。如果有更大的树,效果会更好。在我们的实验中,我们没有对正则化参数进行大量的调整,并且我们不会惊讶地看到我们的方法在测试集上的性能有所提高。
2020-11-02 cs.LG stat.ML
A Blockwise Descent Algorithm for Group-penalized Multiresponse and Multinomial Regression
本文提出了一种求解分组惩罚多响应回归问题的分块下降算法。使用准牛顿框架,我们扩展到组惩罚多项式回归。我们在R中给出了一个公开的实现,并将该算法的速度与竞争算法进行了比较-我们表明,我们的实现比竞争对手快一个数量级,并且可以实时解决基因表达大小的问题。
2013-11-26 stat.CO stat.ML