Does Pretraining Teach Chemical Language Models Chemistry?
Harvard University(哈佛大学)
该研究在64个分子属性预测数据集上系统评估化学语言模型(CLMs)的预训练效果,发现其预训练增益不随规模扩大而提升,仅基于传统物理化学描述符的监督式预训练可稳定提升性能,且CLMs仅学到少量额外化学知识。
2026-10-15 cs.CL cs.LG physics.chem-ph
Understanding Optimal Feature Transfer via a Fine-Grained Bias-Variance Analysis
Harvard University(哈佛大学);Google DeepMind(谷歌DeepMind)
本文通过细粒度偏差-方差分析研究迁移学习中最优特征表示,发现最优特征化自然稀疏,并揭示了从硬选择到软选择的相变现象。
2025-04-11 cs.LG stat.ML
An Empirical Study of Scaling Laws for Transfer
Epoch AI
本文通过实证研究提出含“迁移差距”项的缩放定律,揭示预训练与微调数据在不同分布间的成本效益权衡,为迁移学习效率测量和最优数据分配提供理论依据。
2024-08-30 cs.LG
Most Transformer Modifications Still Do Not Transfer at 1-3B: A 2020-2026 Update to Narang et al. (2021) with Downstream Evaluation and a Noise Floor
Tencent(腾讯)
本文在1-3B参数规模下,大多数变换器修改仍无法迁移,通过严格的等数据、等计算、等配方控制测试,并结合下游评估和噪声底限进行验证。
2026-05-20 cs.CL cs.LG
Adaptive Transfer Learning on Graph Neural Networks
Microsoft Research Asia(微软亚洲研究院);Beihang University(北京航空航天大学);University of Maryland, College Park(马里兰大学帕克分校)
图神经网络(GNN)被广泛用于学习图结构数据的强大表示。最近的工作表明,将知识从自我监督任务转移到下游任务可以进一步改进图形表示。然而,在优化目标和训练数据方面,自监督任务和下游任务之间存在固有的差距。传统的预培训方法可能是不够有效的知识转移,因为他们没有做任何适应下游的任务。为了解决这些问题,我们提出了一个新的迁移学习范式的GNNs,可以有效地利用自我监督任务作为辅助任务,以帮助目标任务。我们的方法将自适应地选择和组合不同的辅助任务与目标任务的微调阶段。我们设计了一个自适应的辅助损失加权模型,通过量化辅助任务和目标任务之间的一致性来学习辅助任务的权重。此外,我们通过元学习来学习加权模型。我们的方法可以应用于各种迁移学习方法,它不仅在多任务学习中表现良好,而且在预训练和微调。对多个下游任务的综合实验表明,所提方法能有效地将辅助任务与目标任务相结合,与现有方法相比,性能有显著提高。
2021-07-20 cs.LG
ProtoSSL: Self-Supervised Pretraining and Downstream Transfer for Projection-Based Prototype Models
Department of Computer Science(计算机科学系);Center for Translational Data Science(转化数据科学中心);Medical Scientist Training Program(医学科学家培训计划);Pritzker School of Medicine(皮尔兹克医学院);Center for Computational Medicine & Clinical AI(计算医学与临床人工智能中心);Section of Biomedical Data Science, Department of Medicine(医学部生物医学数据科学部门)
ProtoSSL通过自监督学习从未标记时间序列数据中学习可解释的原型,提升低数据场景下的性能,并在人类评估中表现更优,扩展至音频分类。
2026-10-06 cs.LG
Manipulating Transfer Learning for Property Inference
Nanjing University(南京大学);University of Virginia(弗吉尼亚大学)
迁移学习是一种流行的方法,用于使用有限的数据和计算资源为不同的下游任务调整预训练(上游)模型。我们研究了对手如何控制迁移学习中使用的上游模型,可以对受害者的调谐下游模型进行属性推断攻击。例如,推断下游训练集中特定个体的图像的存在。我们演示了攻击,对手可以操纵上游模型进行高效和特定的属性推理攻击(AUC得分$> 0.9$),而不会导致显着的性能损失的主要任务。操作的主要思想是使上游模型生成具有不同分布的激活(中间特征),用于具有和不具有目标属性的样本,从而使对手能够容易地区分使用和不使用具有目标属性的训练样本训练的下游模型。我们的代码可在https://github.com/yulongt23/Transfer-Inference上获得。
2023-03-21 cs.AI cs.CR cs.LG
Enhancing Transfer Learning with Flexible Nonparametric Posterior Sampling
The University of Hong Kong(香港大学);KAIST AI(韩国科学技术院人工智能);AITRICS(AITRICS公司)
针对迁移学习中上下游数据分布偏移导致现有先验策略效果受限的问题,提出采用非参数先验的NPTL后验采样方法,经实验验证其BMA性能优于其他基准。
2024-03-12 cs.LG
CiTrus: Squeezing Extra Performance out of Low-data Bio-signal Transfer Learning
Dolby Laboratories(杜比实验室)
本文提出一种用于低数据生物信号迁移学习的卷积-Transformer混合模型架构与基于频率的掩蔽自编码任务,并引入改进的数据对齐方法,实验表明该方法在多种低数据下游任务上实现了最先进的性能。
2024-12-18 cs.LG
Robust Tickets Can Transfer Better: Drawing More Transferable Subnetworks in Transfer Learning
Georgia Institute of Technology(佐治亚理工学院);Rice University(莱斯大学)
本文提出一种基于对抗鲁棒性提取子网络的新迁移学习流程,证明鲁棒彩票比普通彩票子网络更具可迁移性,并在多任务与稀疏模式下实现更好的准确率-稀疏性权衡。
2025-01-04 cs.LG
Scalable Neural Data Server: A Data Recommender for Transfer Learning
University of Toronto(多伦多大学);Vector Institute(向量研究所);NVIDIA(英伟达)
在实践者的目标领域中缺乏大规模标记数据可能是在实践中应用机器学习算法的瓶颈。迁移学习是一种利用额外数据来提高下游性能的流行策略,但找到最相关的数据进行迁移可能具有挑战性。神经数据服务器(NDS),一个搜索引擎,建议相关的数据为一个给定的下游任务,以前已经提出来解决这个问题。NDS使用经过数据源培训的混合专家模型来估计每个源和下游任务之间的相似性。因此,每个用户的计算成本随着源的数量而增长。为了解决这些问题,我们提出了可扩展神经数据服务器(SNDS),这是一个大规模的搜索引擎,理论上可以索引数千个数据集,为最终用户提供相关的ML数据。SNDS在初始化期间训练中间数据集上的混合专家模型,并通过数据源和下游任务与中间数据集的接近度来表示数据源和下游任务。因此,当新数据集添加到服务器时,SNDS用户产生的计算成本保持固定。我们在大量的现实任务上验证了SNDS,发现SNDS推荐的数据比基线提高了下游任务的性能。我们还展示了SNDS的可扩展性,通过展示其选择相关数据传输的自然图像设置之外的能力。
2022-06-19 cs.CV cs.LG
Enhancing Machine Learning Potentials through Transfer Learning across Chemical Elements
Technical University of Munich(慕尼黑工业大学);TUM School of Engineering and Design(慕尼黑工业大学工程与设计学院)
提出在化学相似元素间迁移势能面,用硅 MLP 加速训练锗 MLP,在小数据条件下提升力预测、模拟稳定性与温度可迁移性。
2025-02-19 cond-mat.mtrl-sci cs.LG
Pretraining Induces a Reusable Spectral Basis for Downstream Task Adaptation
Department of Biomedical Engineering, Southern University of Science and Technology(生物医学工程系,南方科技大学);Department of Psychology, The University of Hong Kong(心理学系,香港大学)
本文通过系统谱分析揭示预训练模型的主奇异向量在微调中保持稳定且跨任务共享,表明预训练建立了可重用的谱坐标系,且更大规模预训练提升几何可迁移性。
2026-05-08 cs.LG
Towards Understanding Feature Learning in Parameter Transfer
Southeast University(东南大学);University of Michigan(密歇根大学)
本文首次从理论角度分析参数迁移中的动态机制,揭示了部分参数复用的条件及影响因素,并证明了负迁移的存在。
2026-01-07 cs.LG
Same Pre-training Loss, Better Downstream: Implicit Bias Matters for Language Models
Stanford University(斯坦福大学)
在大规模数据集上进行语言建模,可以在各种下游语言任务上获得令人印象深刻的性能提升。在开发语言模型时,验证预训练损失(或自回归语言建模中的困惑)通常用作评估指标,因为预训练损失往往与下游性能(其本身难以全面评估)密切相关。与这种传统观点相反,本文表明:1)预训练损失不能完全解释下游性能,2)模型的平坦性与下游性能密切相关,而预训练损失则不相关。在简化的数据集上,我们确定了三种方法来生成具有相同(统计上最优)预训练损失但不同下游性能的模型:在收敛后继续预训练,增加模型大小和改变训练算法。这些实验证明了预训练算法/优化器的隐式偏差的存在-在具有相同最小预训练损失的模型中,它们隐式地更喜欢可转移的模型。为了理解这种隐含的偏见,我们证明了标准小批量噪声的SGD隐含地更喜欢语言模型中更平坦的最小值,并根据经验观察到具有相同最小预训练损失的模型之间的平坦度和下游性能之间的强相关性。我们还在合成语言环境中证明,在具有最小预训练损失的模型中,最平坦的模型转移到下游任务。
2022-10-25 cs.LG
Task2Sim : Towards Effective Pre-training and Transfer from Synthetic Data
MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);Boston University(波士顿大学);Cornell University(康奈尔大学)
Imagenet或其他大规模真实图像数据集上的预训练模型已经导致了计算机视觉的重大进步,尽管伴随着与管理成本,隐私,使用权和道德问题相关的缺点。在本文中,我们第一次研究了基于图形模拟器生成的合成数据的预训练模型到来自不同领域的下游任务的可移植性。在使用这种合成数据进行预训练时,我们发现不同任务的下游性能受到模拟参数(例如,照明、对象姿势、背景等)的不同配置的青睐,没有放之四海而皆准的解决办法。因此,最好将合成的预训练数据定制到特定的下游任务,以获得最佳性能。我们介绍了Task2Sim,一个统一的模型映射下游的任务表示,以最佳的仿真参数,以生成合成的前训练数据。Task2Sim通过训练来学习这种映射,以找到一组“看到”任务的最佳参数。一旦经过训练,它就可以用于一次性预测新的“看不见的”任务的最佳模拟参数,而无需额外的训练。给定每个类的图像数量预算,我们对20个不同的下游任务进行了广泛的实验,结果表明,与在可见和不可见任务上非自适应地选择模拟参数相比,Task2Sim的任务自适应预训练数据的下游性能明显更好。它甚至可以与Imagenet的真实图像预训练相媲美。
2022-03-29 cs.CV cs.LG
Deep Transfer Learning: Model Framework and Error Analysis
School of Mathematics and Statistics, Wuhan University(武汉大学数学与统计学院);Hubei Key Laboratory of Computational Science(湖北省计算科学重点实验室);Center of Statistical Research and School of Statistics, Southwestern University of Finance and Economics(西南财经大学统计研究中心及统计学院)
本文提出一种可自动识别共享与域特定特征的深度迁移学习框架,建立上游特征与下游任务关系,并从理论和实验上证明其可显著改善收敛速率。
2025-01-05 cs.LG stat.ML
Understanding and Improving Transfer Learning of Deep Models via Neural Collapse
University of Michigan(密歇根大学);Stanford University(斯坦福大学);New York University(纽约大学);Courant Institute of Mathematical Sciences, New York University(纽约大学柯朗数学科学研究所);Ohio State University(俄亥俄州立大学);Carnegie Mellon University(卡内基梅隆大学)
本研究揭示预训练模型在下游数据上的特征坍缩(神经坍缩)与迁移准确率正相关,并据此提出一种基于跳跃连接的参数高效微调方法,减少90%以上参数并缓解过拟合。
2024-07-18 cs.AI cs.CV cs.LG
S-JEPA: towards seamless cross-dataset transfer through dynamic spatial attention
Donders Institute for Brain, Cognition and Behaviour, Radboud University(拉德堡德大学邓德斯脑、认知与行为研究所);Université Paris-Saclay(巴黎-萨克雷大学)
针对脑电信号处理中跨数据集迁移的难题,提出包含新型空间块掩码策略和三种下游架构的Signal-JEPA,在54人数据集及三种BCI范式上验证了JEPAs的脑电编码潜力,明确了空间滤波和预训练长度的作用。
2024-10-07 cs.AI cs.LG
TVE: Learning Meta-attribution for Transferable Vision Explainer
Rice University(莱斯大学);Wake Forest University(维克森林大学);New Jersey Institute of Technology(新泽西理工学院);Texas A&M University(德克萨斯农工大学);Stevens Institute of Technology(斯蒂文斯理工学院);North Carolina State University(北卡罗来纳州立大学);Meta Platforms, Inc.(元平台公司)
针对现有解释器难以跨模型和任务迁移的问题,提出基于大规模预训练学习元归因的可迁移视觉解释器TVE,能在无需下游训练的情况下有效解释多种视觉模型。
2024-07-15 cs.AI cs.CV cs.LG
Two Wrongs Can Make a Right: A Transfer Learning Approach for Chemical Discovery with Chemical Accuracy
Massachusetts Institute of Technology(麻省理工学院)
在虚拟高通量筛选(VHTS)中,正确识别和处理具有显著多参考(MR)特征的分子和材料对于实现高数据保真度至关重要。然而,大多数VHTS是用近似的密度泛函理论(DFT),使用一个单一的功能。尽管开发了许多MR诊断,但这种诊断的单个值指示MR对化学性质预测的影响的程度还没有很好地建立。我们评估了超过10,000种过渡金属络合物(TMC)的MR诊断,并与有机分子中的那些进行比较。我们发现,只有一些MR诊断是跨这些材料空间转移。通过研究磁流变特性对化学性质的影响(即,MR效应),涉及多个势能面(即,绝热自旋分裂,$ΔE_\mathrm{H-L}$,和电离势,IP),我们观察到MR效应的抵消超过积累。在预测MR效应时,MR特征的差异比MR特征的总程度更重要。受此观察的启发,我们建立了迁移学习模型,从较低的理论水平直接预测CCSD(T)水平的绝热$ΔE_\mathrm{H-L}$和IP。通过将这些模型与不确定性量化和多级建模相结合,我们引入了一种多管齐下的策略,该策略将数据采集加速至少三倍,同时实现化学准确性(即,1 kcal/mol)。
2022-01-11 cond-mat.mtrl-sci cs.LG physics.chem-ph
VQ-Atom: Semantic Discretization of Local Atomic Environments for Molecular Representation Learning
Atoms as Language, LLC(Atoms as Language公司)
本文提出VQ-Atom,一种用于分子表示学习的语义离散化框架,通过将连续的原子级图表示转换为对应局部化学环境的离散标记,从而提升分子表示的学习效果。
2026-06-08 cs.LG
Localizing Transfer Between Memorization Tasks
本研究通过随机映射记忆任务间的迁移实验,发现等价与非等价两种迁移模式,并定位其分别源于最后一层的幅度驱动和其他层的结构驱动效应,深化了对迁移学习机制的理解。
2026-10-02 cs.LG
Large-Scale Chemical Language Representations Capture Molecular Structure and Properties
IBM Research(IBM研究院)
基于机器学习的模型可以实现准确和快速的分子性质预测,这在药物发现和材料设计中是令人感兴趣的。各种监督机器学习模型已经表现出有希望的性能,但是巨大的化学空间和有限的属性标签使得监督学习具有挑战性。最近,在大型未标记语料库上预训练的基于无监督transformer的语言模型在许多下游自然语言处理任务中产生了最先进的结果。受此发展的启发,我们提出了通过训练一个有效的Transformer编码器模型MoLFormer获得的分子嵌入,该模型使用旋转位置嵌入。该模型采用了线性注意力机制,加上高度分布式的训练,对来自PubChem和ZINC数据集的11亿个未标记分子的SMILES序列。我们表明,学习的分子表示优于现有的基线,包括监督和自我监督的图神经网络和语言模型,从十个基准数据集的几个下游任务。他们在其他两个方面表现得很有竞争力。进一步的分析,特别是通过注意力的镜头,表明接受化学SMILES训练的MoLFormer确实学会了分子内原子之间的空间关系。这些结果提供了令人鼓舞的证据,大规模分子语言模型可以捕获足够的化学和结构信息,以预测各种不同的分子性质,包括量子化学性质。
2022-12-14 cs.CL cs.LG q-bio.BM
Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation
Tencent(腾讯);University of Science and Technology of China(中国科学技术大学);Google(谷歌);Telefonica Research(西班牙电信研究院)
归纳迁移学习对计算机视觉和NLP领域产生了很大的影响,但尚未用于推荐系统领域。尽管已经有大量的研究生成建议的基础上建模用户-项目交互序列,他们中的一些人试图表示和转移这些模型为下游任务,只有有限的数据存在。在本文中,我们深入研究的任务,有效地学习一个单一的用户表示,可以应用到各种各样的任务,从跨域的建议,用户简档预测。微调大型预训练网络并使其适应下游任务是解决此类任务的有效方法。然而,考虑到整个模型需要为每个新任务重新训练,微调参数效率低下。为了克服这个问题,我们开发了一个参数有效的迁移学习架构,称为PeterRec,它可以被配置在飞行中的各种下游任务。具体来说,PeterRec通过注入一系列重新学习的神经网络,允许预先训练的参数在微调过程中保持不变,这些网络很小,但与学习整个网络一样具有表达力。我们进行了广泛的实验消融,以显示在五个下游任务的学习用户表示的有效性。此外,我们还证明了PeterRec在多个领域中进行了有效的迁移学习,在这些领域中,相对于微调整个模型参数,它实现了相当或有时更好的性能。代码和数据集可在https://github.com/fajieyuan/sigir2020_peterrec上获得。
2020-06-09 cs.IR cs.LG
Secure Transfer Learning: Training Clean Models Against Backdoor in (Both) Pre-trained Encoders and Downstream Datasets
Huazhong University of Science and Technology(华中科技大学);Deakin University(迪肯大学);Griffith University(格里菲斯大学)
针对预训练编码器和下游数据集均存在后门的迁移学习场景,本研究提出Trusted Core(T-Core)引导框架,通过识别可信数据和神经元,在资源受限条件下有效缓解后门风险,实证表明其优于现有基线防御。
2025-04-16 cs.CR cs.LG
Towards Foundation Models for Scientific Machine Learning: Characterizing Scaling and Transfer Behavior
Lawrence Berkeley National Lab(劳伦斯伯克利国家实验室);UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所)
研究预训练模型在SciML中的迁移与缩放行为,发现适当微调能以更少样本达到高精度,且性能随模型规模增加而提升,为构建SciML基础模型提供了路径。
2023-06-01 cs.LG cs.NA math.NA
Offsite-Tuning: Transfer Learning without Full Model
Massachusetts Institute of Technology(麻省理工学院)
迁移学习对于基础模型适应下游任务具有重要意义。然而,许多基础模型是专有的,因此用户必须与模型所有者共享他们的数据以微调模型,这是昂贵的并引起隐私问题。此外,微调大型基础模型是计算密集型的,并且对于大多数下游用户来说是不切实际的。在本文中,我们提出了Offsite-Tuning,这是一个隐私保护和高效的迁移学习框架,可以使十亿参数的基础模型适应下游数据,而无需访问完整模型。在异地调优中,模型所有者向数据所有者发送一个轻量级适配器和一个有损压缩模拟器,然后数据所有者在模拟器的帮助下对下游数据的适配器进行微调。然后,将微调过的适配器返回给模型所有者,模型所有者将其插入完整模型以创建经过调整的基础模型。离线调整保护了双方的隐私,并且在计算上比需要访问完整模型权重的现有微调方法更有效。我们展示了各种大型语言和视觉基础模型上的离线调优的有效性。离线调优可以实现与完整模型微调相当的准确性,同时保护隐私和高效,实现6.5倍的加速和5.6倍的内存减少。代码可在https://github.com/mit-han-lab/offsite-tuning上获得。
2023-02-09 cs.CL cs.CV cs.LG
Does Combining Parameter-efficient Modules Improve Few-shot Transfer Accuracy?
Noah's Ark Lab(诺亚方舟实验室)
本文研究 LoRA 模块的可组合性,发现均匀组合与学习式组合在少样本场景下均能提升迁移准确率并优于全量微调,且均匀组合无需额外可学习参数。
2024-02-23 cs.CV cs.LG
Efficient Remote Sensing with Harmonized Transfer Learning and Modality Alignment
Shandong University(山东大学)
针对遥感多模态迁移学习中同模态嵌入聚集阻碍高效微调的问题,提出HarMA方法,通过协调任务约束、模态对齐和单模态均匀对齐,以极少参数实现遥感多模态检索的最优性能,且可集成于现有预训练模型。
2024-05-28 cs.CV cs.LG
GraphControl: Adding Conditional Control to Universal Graph Pre-trained Models for Graph Domain Transfer Learning
Zhejiang University(浙江大学);Rutgers University(罗格斯大学)
针对图预训练模型迁移中的可迁移性-特异性困境,提出GraphControl模块,通过条件输入结合目标数据特征,显著提升模型适应性与性能,且收敛更快。
2024-03-11 cs.LG
ChemBERTa-2: Towards Chemical Foundation Models
Reverie Labs(遐想实验室);UC Berkeley(加州大学伯克利分校);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Deep Forest Sciences(深林科学公司)
GPT-3等大型预训练模型通过利用自监督学习来学习可用于轻松微调各种下游任务的突出表示,对现代自然语言处理产生了巨大影响。我们研究了将这些进展转移到分子机器学习的可能性,通过使用SMILES语言构建化学基础模型ChemBERTA-2。虽然用于分子预测任务的标记数据通常是稀缺的,但SMILES字符串的库是容易获得的。在这项工作中,我们通过优化预训练过程来构建ChemBERTA。我们通过不同的超参数和预训练数据集大小来比较多任务和自我监督预训练,PubChem的化合物多达77 M。据我们所知,77 M集构成了迄今为止用于分子预训练的最大数据集之一。我们发现,通过这些预训练改进,我们在MoleculeNet基准测试套件上与现有的最先进的架构竞争。我们分析了预训练的改进转化为下游任务改进的程度。
2022-09-05 cs.AI cs.LG q-bio.BM
Why Do Better Loss Functions Lead to Less Transferable Features?
Google Research(谷歌研究院);University of Michigan(密歇根大学)
以前的工作已经提出了许多新的损失函数和正则化,提高测试精度的图像分类任务。然而,不清楚这些损失函数是否为下游任务学习更好的表示。本文研究了训练目标的选择如何影响在ImageNet上训练的卷积神经网络的隐藏表示的可转移性。我们发现,许多目标导致ImageNet的准确性在统计上比vanilla softmax cross-entropy有显著的提高,但由此产生的固定特征提取器会更差地转移到下游任务,并且当网络在新任务上完全微调时,损失的选择几乎没有影响。使用中心核对齐来度量网络隐藏表示之间的相似性,我们发现损失函数之间的差异只在网络的最后几层是明显的。我们深入研究了倒数第二层的表示,发现不同的目标和超参数组合导致了显着不同的类分离水平。具有更高类别分离度的表示在原始任务上获得更高的准确性,但其特征对下游任务的有用性较低。我们的研究结果表明,存在一个权衡学习不变的功能,为原始任务和功能相关的转移任务。
2021-11-03 cs.CV cs.LG
Pre-Train Your Loss: Easy Bayesian Transfer Learning with Informative Priors
New York University(纽约大学);Johns Hopkins University(约翰斯·霍普金斯大学);University of Maryland(马里兰大学);Meta AI Research(Meta人工智能研究院)
深度学习正越来越多地朝着迁移学习范式发展,在这种范式下,大型基础模型从源任务上学习的初始化开始,在下游任务上进行微调。但是初始化包含的关于源任务的信息相对较少。相反,我们表明,我们可以从源任务中学习高度信息化的后验,通过监督或自我监督的方法,然后作为修改下游任务的整个损失表面的先验的基础。这种简单的模块化方法可以在各种下游分类和分割任务上实现显着的性能提升和更有效的数据学习,作为标准预训练策略的替代品。这些高度信息化的先验也可以被保存以供将来使用,类似于预先训练的权重,并且与贝叶斯深度学习中通常使用的零均值各向同性无信息先验形成对比。
2022-05-20 cs.CV cs.LG
A Large Scale Investigation of Scaling Limits in Chemical Language Models
Mila – Quebec AI Institute(魁北克AI研究所);Wadhwani School of Data Science and AI, IIT Madras(数据科学与人工智能学院,印度理工学院马德拉斯分校);The Centre for Integrative Biology and Systems medicinE (IBSE)(整合生物学与系统医学中心);IIT Madras Zanzibar(印度理工学院马德拉斯分校(赞赞比尔));Polytechnique Montréal Canada(蒙特利尔理工学院,加拿大);CIFAR AI Chair(CIFAR人工智能主席)
NovoMolGen通过在15亿分子上预训练的Transformer基础模型家族,系统研究了文本表示、分词、模型规模和数据集规模对分子生成的影响,并在无约束和目标导向分子生成任务中取得最先进性能。
2026-10-02 cs.LG
Task Transfer and Domain Adaptation for Zero-Shot Question Answering
New York University(纽约大学);IBM Research AI(IBM研究院人工智能部门)
预训练的语言模型在自然语言处理的各个领域都取得了成功,包括阅读理解任务。然而,当将机器学习方法应用于新领域时,标记的数据可能并不总是可用的。为了解决这个问题,我们对源域数据进行了有监督的预训练,以降低特定于域的下游任务的样本复杂度。我们通过将任务转移与领域自适应相结合来评估特定领域阅读理解任务的zero-shot性能,以微调预训练模型,而没有来自目标任务的标记数据。我们的方法在4个领域中的3个领域中的下游特定领域阅读理解任务上优于领域自适应预训练。
2022-06-14 cs.CL cs.LG
Do Adversarially Robust ImageNet Models Transfer Better?
Microsoft Research(微软研究院);MIT(麻省理工学院)
迁移学习是深度学习中广泛使用的范例,其中在标准数据集上预训练的模型可以有效地适应下游任务。通常,更好的预训练模型会产生更好的迁移结果,这表明初始准确性是迁移学习性能的一个关键方面。在这项工作中,我们确定了另一个这样的方面:我们发现,对抗鲁棒模型,虽然不太准确,但在用于迁移学习时,通常比标准训练的模型表现更好。具体来说,我们专注于对抗性强大的ImageNet分类器,并表明它们在一套标准的下游分类任务上提高了准确性。进一步的分析揭示了迁移学习背景下鲁棒模型和标准模型之间的更多差异。我们的研究结果是一致的(事实上,添加到)最近的假设,说明鲁棒性导致改进的功能表示。我们的代码和模型可以在https://github.com/Microsoft/robust-models-transfer上找到。
2020-12-08 cs.CV cs.LG stat.ML
Scalable Weight Reparametrization for Efficient Transfer Learning
Qualcomm Technologies, Inc.(高通技术公司)
本文提出了一种新的,高效的迁移学习方法,称为可扩展的权重重新参数化(SWR),是高效和有效的多个下游任务。高效的迁移学习涉及利用在较大数据集上训练的预训练模型,并将其重新用于下游任务,目的是最大限度地重用预训练模型。然而,以前的工作导致了更新参数和特定任务模块的增加,导致了更多的计算,特别是对于微小的模型。此外,没有实际考虑控制更新参数的数量。为了解决这些问题,我们建议学习一个策略网络,它可以决定在哪里重新参数化预训练模型,同时遵守更新参数数量的给定约束。策略网络仅在迁移学习过程中使用,而不是之后。因此,我们的方法在拟议的多语言关键字识别和标准基准(ImageNet to Sketch)中获得了最先进的性能,同时需要零额外计算和显着更少的额外参数。
2023-02-26 cs.LG
EMG-FM-Bench: A Comprehensive Benchmark for Foundation Model Transfer and Adaptation on Electromyography
University of Georgia(佐治亚大学);University of Oklahoma(俄克拉荷马大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本基准整合20个数据集和9个预训练模型,系统评估了基础模型在肌电信号上的迁移与适应,发现预训练收益因模型而异,微调显著影响性能,且新用户适应仅部分恢复性能。
2026-10-15 cs.LG
Enhancing pretraining efficiency for medical image segmentation via transferability metrics
本文针对医学图像分割提出一种基于对比学习的可迁移性度量,用于在预训练过程中识别适合下游迁移的最优模型权重,从而缩短预训练时间并提升分割性能。
2025-06-06 cs.CV cs.LG eess.IV
Generation of Uncorrelated Residual Variables for Chemical Process Fault Diagnosis via Transfer Learning-based Input-Output Decoupled Network
Xiangjiang Laboratory(湘江实验室);School of Automation, Central South University(中南大学自动化学院);School of Computer Science, Hunan University of Technology and Business(湖南工商大学计算机学院);Department of Automation, Shanghai Jiao Tong University(上海交通大学自动化系)
本文提出基于迁移学习的输入-输出解耦网络(TDN),通过IDN与预训练VAE结合生成不相关残差变量,实现故障到正常映射,同时完成故障检测与信号估计,并经数值与化学仿真验证有效。
2024-04-29 cs.LG
Simulation-to-real transfer learning for infrared spectroscopic chemical sensing and analysis from molecules to complex samples
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Jilin University(吉林大学);University of Auckland(奥克兰大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Hunan University(湖南大学);The Hong Kong University of Science and Technology(香港科技大学)
研究针对红外光谱化学传感的迁移难题,提出超1亿参数的红外光谱基础模型UltraIR,经6000万仿真光谱预训练后,在多类化学分析任务中性能优于基线,且适配性与数据效率优异。
2026-08-17 cs.AI cs.LG
Towards Optimal Convolutional Transfer Learning Architectures for Breast Lesion Classification and ACL Tear Detection
Stanford University Department of Statistics(斯坦福大学统计学系);Stanford University Department of Computer Science(斯坦福大学计算机科学系)
本研究通过系统比较不同CNN架构及预训练策略,发现带跳跃连接的一维卷积分类器、ResNet50骨干和部分解冻能最优提升乳腺病变与ACL撕裂检测性能,且RadImageNet预训练未显示优势。
2025-08-26 cs.CV cs.LG
Transfer Learning across Different Chemical Domains: Virtual Screening of Organic Materials with Deep Learning Models Pretrained on Small Molecule and Chemical Reaction Data
Zhejiang University of Technology(浙江工业大学);Macao Polytechnic University(澳门理工大学)
针对有机材料标记数据不足的问题,研究用小分子与化学反应数据预训练 BERT 并迁移到五项虚拟筛选任务,USPTO-SMILES 预训练模型取得最优 R2 表现。
2024-03-05 cs.LG physics.chem-ph q-bio.BM
GenSF: Simultaneous Adaptation of Generative Pre-trained Models and Slot Filling
Carnegie Mellon University(卡内基梅隆大学)
在迁移学习中,必须在预训练模型和下游任务之间实现强对齐。先前的工作已经通过提出特定于任务的预训练目标来做到这一点,这牺牲了迁移学习范例的固有可扩展性。相反,我们通过同时修改预训练模型和下游任务的制定来实现强对齐,这更有效,并保留了迁移学习的可扩展性。我们提出了GenSF(生成式插槽填充),它利用生成式预训练的开放域对话模型进行插槽填充。GenSF(1)通过合并关于任务的归纳偏差来适应预训练模型,(2)通过重新制定插槽填充来适应下游任务,以更好地利用预训练模型的能力。GenSF在两个槽填充数据集上实现了最先进的结果,在Few-Shot和zero-shot设置下具有强大的增益。我们在zero-shot插槽填充中实现了9个F1分数的提高。这突出了预训练模型和下游任务之间强对齐的价值。
2021-06-13 cs.AI cs.CL cs.LG
Pre-Trained Model Recommendation for Downstream Fine-tuning
Zhejiang University(浙江大学)
本文提出 Fennec 框架,通过迁移子空间向量距离、代理视觉模型和 archi2vec 架构编码,以 O(1) 复杂度为下游微调推荐预训练模型,并发布基准验证其有效性。
2024-03-11 cs.AI cs.CV cs.LG
Towards Foundation Models on Graphs: An Analysis on Cross-Dataset Transfer of Pretrained GNNs
Technion – Israel Institute of Technology(以色列理工学院);TU Wien(维也纳技术大学);University of Cambridge(剑桥大学);NVIDIA Research(英伟达研究院)
本文研究预训练GNN的跨数据集迁移能力,提出在纯结构预训练基础上扩展以捕获特征信息的方法,发现预训练嵌入需足够下游数据才能提升泛化能力且依赖特征空间相似性。
2024-12-23 cs.LG cs.NE
Transferring Core Knowledge via Learngenes
Southeast University(东南大学);Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education(新一代人工智能技术及其跨学科应用重点实验室(东南大学),教育部)
本文提出遗传迁移学习框架GTL,模仿生物进化过程提取并传递核心学习基因,使后代网络仅用20%参数即可在CIFAR-FS和miniImageNet上分别提升12%和16%准确率。
2024-01-16 cs.LG cs.NE
Scaling Laws for Downstream Task Performance of Large Language Models
Google Research(谷歌研究);OpenAI(开放人工智能);Stanford University(斯坦福大学)
本研究探讨了预训练数据规模和分布对齐对大语言模型下游任务性能的影响,揭示了扩展定律在迁移学习中的应用及翻译质量的预测方法。
2026-01-29 cs.CL cs.LG stat.ML
Exploring the Role of Task Transferability in Large-Scale Multi-Task Learning
New York University(纽约大学);AWS AI(AWS人工智能);AWS AI Labs(AWS人工智能实验室)
最近的工作发现,具有大量不同任务的多任务训练可以均匀地提高看不见的目标任务的下游性能。相反,关于任务可转移性的文献已经确定,中间任务的选择会严重影响下游任务的绩效。本研究旨在探讨多任务表示学习中任务规模和任务关联性的影响。我们发现,平均而言,增加多任务学习的规模,就任务的数量而言,确实会比较小的多任务设置更好地学习表示。然而,如果目标任务是提前知道的,那么在较小的相关任务集合上进行训练与大规模多任务训练相比具有竞争力,并且计算成本降低。
2022-07-12 cs.CL cs.LG
SHiFT: An Efficient, Flexible Search Engine for Transfer Learning
ETH Zurich(苏黎世联邦理工学院)
迁移学习可以被视为从头开始训练模型的数据和计算效率的替代方案。TensorFlow Hub等丰富模型存储库的出现,使从业者和研究人员能够在广泛的下游任务中释放这些模型的潜力。随着这些存储库保持指数级增长,有效地为手头的任务选择一个好的模型变得至关重要。通过仔细比较各种选择和搜索策略,我们意识到没有一种方法优于其他方法,混合或混合策略可能是有益的。因此,我们提出了SHiFT,第一个下游任务感知,灵活,高效的模型搜索引擎迁移学习。这些属性是由一个自定义的查询语言SHiFT-QL与基于成本的决策者,我们经验验证。受机器学习开发的迭代性质的启发,我们进一步支持查询的高效增量执行,这需要在与我们的优化一起使用时仔细实现。
2022-09-28 cs.DB cs.LG
Fingerprint Vector: Enabling Scalable and Efficient Model Fingerprint Transfer via Vector Addition
针对基于继承的模型指纹识别存在的局限,提出指纹向量机制,通过向量加法实现指纹在下游模型的高效迁移,在多架构及下游变体中保持优效性、无害性和鲁棒性,兼具可扩展性。
2025-08-26 cs.CL cs.CR cs.LG
Preserve Pre-trained Knowledge: Transfer Learning With Self-Distillation For Action Recognition
Zhejiang University-University of Illinois at Urbana-Champaign Institute, Zhejiang University(浙江大学伊利诺伊大学厄巴纳香槟校区联合学院,浙江大学)
基于视频的动作识别是计算机视觉研究的热点之一。随着自监督视频表示学习方法的最新进展,动作识别通常遵循两阶段训练框架,即,在大规模未标记集合上进行自监督预训练,在下游标记集合上进行迁移学习。然而,在动作识别的下游迁移学习中,对预先训练的知识的灾难性遗忘成为主要问题,导致次优解。在本文中,为了缓解上述问题,我们提出了一种新的迁移学习方法,该方法将自蒸馏与微调相结合,以保留从大规模数据集学习的预训练模型中的知识。具体来说,我们将来自最后一个时期的编码器固定为教师模型,以指导迁移学习中来自当前时期的编码器的训练。有了这样一个简单而有效的学习策略,我们在动作识别任务中广泛使用的UCF 101和HMDB 51数据集上的表现优于最先进的方法。
2022-05-01 cs.CV cs.LG
Towards a General Time Series Forecasting Model with Unified Representation and Adaptive Transfer
East China Normal University, Shanghai, China(东华大学);Aalborg University, Aalborg, Denmark(奥尔堡大学);Huawei Noah's Ark Lab, Shenzhen, China(华为诺亚实验室)
本文提出一种通用时间序列预测模型,通过分解频率学习和时间序列寄存器实现统一表示与自适应迁移,在七个真实基准上达到最先进性能,并展现出卓越的少样本和零样本能力。
2025-09-07 cs.LG stat.ML