Does Pretraining for Summarization Require Knowledge Transfer?
Carnegie Mellon University(卡内基梅隆大学)
利用大量数据集的预训练技术推动了文本摘要的最新进展。虽然民间的解释表明知识转移是预训练的好处,但人们对它为什么有效,或者是什么使预训练任务或数据集合适却知之甚少。在本文中,我们挑战了知识转移的故事,表明对随机选择的字符n-gram组成的文档进行预训练,我们几乎可以匹配在真实语料库上预训练的模型的性能。这项工作有望消除上游语料库,这可能会减轻对攻击性语言,偏见和版权问题的一些担忧。为了了解使用真实数据的小剩余收益是否可以通过预训练任务的结构来解释,我们设计了几个任务,这些任务的动机是对摘要语料库进行定性研究。然而,这些任务没有带来明显的好处,留下了一个小的作用,知识转让的可能性。
2021-09-10 cs.CL cs.LG
Self-Supervised Pretraining on Paired Sequences of fMRI Data for Transfer Learning to Brain Decoding Tasks
Dartmouth College(达特茅斯学院)
本文提出了一个针对fMRI数据的transformer自监督预训练框架,通过同时进行两个任务预训练以学习听觉皮层时空动态,并在有监督分类任务中微调,显著提升了留出运行上的准确率,验证了多任务预训练与迁移学习的有效性。
2023-05-15 cs.LG q-bio.NC
Probabilistic Pretraining for Neural Regression
Amazon(亚马逊)
本文提出 NIAQUE 模型,通过置换不变性实现概率回归的迁移学习,预训练后在目标数据集微调可提升性能,并在 Kaggle 竞赛中优于 TabPFN 等强基线。
2025-08-22 cs.LG
Towards Universal Neural Operators through Multiphysics Pretraining
ITMO University(ITMO大学)
针对神经算子训练成本高的问题,本研究探索基于Transformer的神经算子在通用迁移学习场景中的应用,通过多物理场预训练验证其跨不同PDE问题(含参数外推、新变量纳入等)的知识迁移有效性,为通用神经算子发展提供支撑。
2025-11-13 cs.LG
Unsupervised pretraining transfers well across languages
Facebook AI Research(Facebook人工智能研究院);Ecole des Hautes Etudes en Sciences Sociales(社会科学高等研究院)
跨语言和多语言的自动语音识别(ASR)训练在有监督的环境中得到了广泛的研究。这是假设存在一个平行语料库的语音和拼写transmittance。最近,人们提出了对比预测编码(CPC)算法来用未标记的数据预训练ASR系统。在这项工作中,我们研究了无监督的预训练是否可以很好地跨语言迁移。我们表明,CPC预训练的轻微修改提取了可以很好地转移到其他语言的功能,与监督预训练不相上下,甚至优于监督预训练。这表明了无监督方法在语言资源较少的语言中的潜力。
2020-02-07 cs.CL cs.LG cs.SD
Conditional Transfer from Controlled Pretraining Mixtures to Code
该研究区分了任务的诊断性、可教性与数据源的迁移性,通过受控预训练发现合成任务族的可教性存在不对称性,且损失导向的自适应调度器会使混合数据偏离可迁移区域。
2026-10-09 cs.LG
Optimal Representation Size: High-Dimensional Analysis of Pretraining and Linear Probing
Gatsby Computational Neuroscience Unit(Gatsby计算神经科学单元);University College London(伦敦大学学院);Institute of Science and Technology Austria(奥地利科学与技术研究所);Sainsbury Wellcome Centre(萨金斯-韦尔科姆中心)
本文研究了预训练和线性探测过程中的最优表示尺寸问题,通过高维分析揭示了表示维度、未标记和标记样本数量以及任务对齐性对训练和泛化误差的影响,提出了在不同预训练和下游数据条件下优化表示尺寸的条件。
2026-11-10 cs.LG
LLM Pretraining Shapes a Generalizable Manifold: Insights into Cross-Modal Transfer to Time Series
McGill University(麦吉尔大学);Mila - Quebec AI Institute(魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);University of Toronto(多伦多大学);Concordia University(康科迪亚大学);com(42.com)
研究探讨了语言预训练的Transformer能否成为有效的时序预测器,并揭示了跨模态迁移的机制,指出预训练构建了流形,微调则将数值动态投影到任务相关方向。
2026-05-19 cs.AI cs.LG
On Transfer of Adversarial Robustness from Pretraining to Downstream Tasks
Yahoo Research(雅虎研究院);Delhi Technological University(德里理工大学);Hyundai Mobis(现代摩比斯);University of Tübingen(图宾根大学)
本研究针对预训练模型鲁棒性向中下游任务迁移机制不明的问题,证明下游线性预测器鲁棒性受底层表征约束,推导了通用损失界与鲁棒分类准则,并通过实验验证,为表征适配后可靠性能的要求刻画提供了初步基础。
2023-10-09 cs.AI cs.LG stat.ML
MoCo-CXR: MoCo Pretraining Improves Representation and Transferability of Chest X-ray Models
Stanford University(斯坦福大学)
对比学习是一种自我监督的形式,可以利用未标记的数据来生成预训练的模型。虽然对比学习在自然图像分类任务上已经证明了有希望的结果,但其在医学成像任务(如胸部X射线解释)上的应用受到限制。在这项工作中,我们提出了MoCo-CXR,这是一个适应的对比学习方法动量对比(MoCo),以产生更好的表示和初始化的模型,在胸部X射线的病理检测。在检测胸腔积液时,我们发现在MoCo-CXR预训练表示上训练的线性模型优于没有MoCo-CXR预训练表示的线性模型,这表明MoCo-CXR预训练表示具有更高的质量。端到端的微调实验表明,通过MoCo-CXR预训练初始化的模型优于其非MoCo-CXR预训练的模型。我们发现,MoCo-CXR预训练提供了有限的标记训练数据的最大好处。最后,我们在预训练过程中看不到的目标结核病数据集上展示了类似的结果,这表明MoCo-CXR预训练赋予模型可以在胸部X射线数据集和任务中应用的表示和可转移性。
2021-05-17 cs.AI cs.CV cs.LG
CARTE: Pretraining and Transfer for Tabular Learning
Inria Saclay(法国国家信息与自动化研究所萨克雷分所)
针对表格数据迁移学习中的数据集成挑战,提出无需对应关系的神经架构CARTE,利用图表示和图注意力网络处理异构表格,在未匹配数据上预训练,性能优于树模型基线并支持跨表联合学习。
2024-05-31 cs.LG
ProtoSSL: Self-Supervised Pretraining and Downstream Transfer for Projection-Based Prototype Models
Department of Computer Science(计算机科学系);Center for Translational Data Science(转化数据科学中心);Medical Scientist Training Program(医学科学家培训计划);Pritzker School of Medicine(皮尔兹克医学院);Center for Computational Medicine & Clinical AI(计算医学与临床人工智能中心);Section of Biomedical Data Science, Department of Medicine(医学部生物医学数据科学部门)
ProtoSSL通过自监督学习从未标记时间序列数据中学习可解释的原型,提升低数据场景下的性能,并在人类评估中表现更优,扩展至音频分类。
2026-10-06 cs.LG
Universal Embedding Function for Traffic Classification via QUIC Domain Recognition Pretraining: A Transfer Learning Success
CESNET association(CESNET协会)
本文提出通过预训练QUIC领域识别模型实现通用嵌入函数,用于提升加密流量分类的迁移学习性能。
2026-01-20 cs.LG cs.NI
Knowledge Transfer from Vision Foundation Models for Efficient Training of Small Task-specific Models
Apple(苹果公司)
针对视觉基础模型推理成本高、小模型难在少标注任务上训练的问题,提出面向任务的知识迁移及检索增强数据集构建策略,以更低计算成本显著超越多种预训练与蒸馏基线。
2024-07-02 cs.CV cs.LG
Strategies for Pretraining Neural Operators
Carnegie Mellon University(卡内基梅隆大学)
本文在不调整架构的前提下系统比较神经算子的多种PDE预训练策略,发现迁移学习与基于物理的方法通常最佳,且数据增强、稀缺数据微调及相似分布下游任务可进一步提升效果。
2024-10-02 cs.LG
RD-JEPA: Predictive latent pretraining for few-trajectory transfer across reaction--diffusion equations
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对反应-扩散方程代理模型迁移需新模拟数据的问题,提出RD-JEPA自监督预训练架构,在五个系统预训练后适应三个保留系统,用少量轨迹即超越多种基线,实现数据高效迁移。
2026-09-25 cs.AI cs.LG
Transfer Learning or Self-supervised Learning? A Tale of Two Pretraining Paradigms
University of California San Diego(加州大学圣地亚哥分校);University of California Berkeley(加州大学伯克利分校)
预训练已成为计算机视觉和自然语言处理中的标准技术,通常有助于大幅提高性能。以前,最主要的预训练方法是迁移学习(TL),它使用标记的数据来学习一个好的表示网络。最近,一种新的预训练方法--自监督学习(SSL)--在广泛的应用中表现出了良好的效果。SSL不需要带注释的标签。它纯粹是通过求解在输入数据示例上定义的辅助任务来对输入数据进行的。目前报告的结果表明,在某些应用程序中,SSL优于TL,在其他应用程序中则相反。对于数据和任务的哪些属性使得一种方法优于另一种方法,还没有一个清晰的理解。如果没有一个明智的指导方针,ML研究人员必须尝试这两种方法,以找出哪一种更好的经验。这样做通常很耗时。在这项工作中,我们的目标是解决这个问题。我们对SSL和TL进行了全面的比较研究,以了解在不同的数据和任务属性下,SSL和TL哪一个更好,包括源任务和目标任务之间的域差异,预训练数据量,源数据中的类不平衡,以及目标数据用于额外预训练的使用,从我们的比较研究中提取的见解可以帮助ML研究人员根据其应用程序的属性决定使用哪种方法。
2020-06-19 cs.CV cs.LG stat.ML
Towards Understanding the Effect of Pretraining Label Granularity
Purdue University(普渡大学);Google Research(谷歌研究院);NVIDIA(英伟达)
该研究聚焦“由细到粗”迁移学习场景,通过实验与理论分析验证细粒度预训练的优势,并结合iNaturalist 2021实验明确保障迁移效果的额外条件,为预训练标签粒度选择提供依据。
2023-10-05 cs.CV cs.LG
Inverse Dynamics Pretraining Learns Good Representations for Multitask Imitation
New York University(纽约大学);Google(谷歌)
本研究探讨了模仿学习中的预训练范式,提出逆向动力学建模作为多任务预训练目标,学习可迁移的低维观测表示,并通过模拟实验和理论分析验证了其有效性。
2023-10-25 cs.LG
Understanding the Role of Invariance in Transfer Learning
MPI-SWS(马克斯·普朗克软件系统研究所)
本文通过合成数据集系统研究表示不变性在迁移学习中的作用,发现对正确变换的不变性往往比训练样本数量、模型架构等因素更重要,并揭示了不变性可能损害迁移的条件及其跨任务可迁移性。
2024-07-05 cs.LG
Improving Code Autocompletion with Transfer Learning
Facebook Inc.(脸书公司)
软件语言模型在预测代码补全使用方面取得了令人鼓舞的成果,一些行业研究也描述了成功的IDE集成。最近,通过对从程序员IDE活动中收集的真实数据集进行训练,自动完成预测的准确性提高了12.8%。但是,如果目标程序设计语言中的IDE自动完成示例有限,可用于模型训练,该怎么办?在本文中,我们研究了预训练自动完成模型对非IDE、非自动完成和不同语言示例代码序列的有效性。我们发现,这些无监督的预训练在非常小的微调数据集上将模型准确性提高了50%以上,在50 k标记的示例上提高了10%以上。我们通过对数千名IDE自动完成用户进行A/B测试,证实了这些预训练在在线环境中的真实影响,发现预训练可使自动完成使用率增加6.63%。
2021-10-13 cs.LG cs.SE
LLM-Guided Diagnostic Evidence Alignment for Medical Vision-Language Pretraining under Limited Pairing
Institute of Intelligent Information Processing, Shanxi University(山西大学智能信息处理研究所);Alliance Manchester Business School, The University of Manchester(曼彻斯特大学阿利安斯商学院);Department of Computer Science and Engineering, The Hong Kong University of Science and Technology(香港科技大学计算机科学与工程系)
本文提出LLM引导的诊断证据对齐方法,旨在解决有限配对数据下医学视觉-语言预训练的诊断表示学习问题,通过提取关键诊断证据提升跨模态对齐效果。
2026-02-07 cs.CV cs.LG
MoCo-Transfer: Investigating out-of-distribution contrastive learning for limited-data domains
Carnegie Mellon University(卡内基梅隆大学)
本文研究在有限数据领域下,利用分布外数据进行MoCo对比预训练并迁移表征的收益,发现相关领域预训练优于ImageNet,并初步提出数据集相似度量化方法。
2023-11-15 cs.CV cs.LG
How Well Do Large-Scale Chemical Language Models Transfer to Downstream Tasks?
Graduate School of Pharmaceutical Sciences, Kyoto University(京都大学药学研究科);RIKEN BDR(理化学研究所BDR);Graduate School of Medicine, Kyoto University(京都大学医学研究科)
研究评估了大规模化学语言模型在增加训练资源时对下游任务性能的影响,发现预训练损失降低但下游任务表现提升有限,并揭示了预训练评估与下游性能之间的差距。
2026-05-13 cs.LG q-bio.QM
TabCausal: Pretraining Across Causal Environments for Tabular Causal Discovery
Nanjing University(南京大学)
提出TabCausal,一种通过动态任务构建策略在多样化因果环境中进行大规模预训练的因果发现基础模型,在合成和语义基准上优于现有方法。
2026-08-19 cs.LG
Time Series Causal Discovery via Context-Conditioned and Causality-Augmented Pretraining
East China Normal University(东华师范大学)
提出PTCD框架,通过上下文条件建模和可迁移因果增强的预训练范式,提升跨任务时间序列因果发现的泛化能力,在多个真实OOD数据集上因果发现和根因识别表现优异。
2026-06-15 cs.LG
ATLAS: Adaptive Transfer Scaling Laws for Multilingual Pretraining, Finetuning, and Decoding the Curse of Multilinguality
MIT(麻省理工学院);University of Washington(华盛顿大学);Stanford University(斯坦福大学);Google Cloud AI(谷歌云人工智能);Google DeepMind(谷歌DeepMind)
ATLAS提出了一种适应性迁移缩放定律,用于多语言预训练、微调和解码,解决了多语言学习中的性能瓶颈和计算优化问题。
2026-02-25 cs.CL cs.LG
Contrastive Pretraining for Echocardiography Segmentation with Limited Data
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
对比学习已经被证明在许多对标记数据的访问受限的应用中是有用的。注释数据的缺乏在医学图像分割中是特别成问题的,因为难以使临床专家手动注释大量数据,诸如心脏的超声图像中的心脏结构。在本文中,我们提出了一种自监督的对比学习方法分割左心室超声心动图有限的注释图像存在。此外,我们还研究了对比预训练对两个著名的分割网络UNet和DeepLabV 3的影响。我们的研究结果表明,对比预训练有助于提高左心室分割的性能,特别是当注释数据很少时。我们展示了如何实现与最先进的全监督算法相当的结果,当我们训练我们的模型在自我监督的方式,然后微调只有5%的数据。我们表明,我们的解决方案优于目前发布的大型公共数据集(EchoNet-Dynamic),实现了0.9252的骰子得分。我们还比较了我们的解决方案在另一个较小的数据集(CAMUS)上的性能,以证明我们提出的解决方案的通用性。代码可在(https://github.com/BioMedIA-MBZUAI/contrastive-echo)获得。
2022-07-14 cs.CV cs.LG eess.IV
Extreme Multi-Domain, Multi-Task Learning With Unified Text-to-Text Transfer Transformers
Carnegie Mellon University(卡内基梅隆大学)
文本到文本Transformers在多任务迁移学习任务中取得了显着的成功,特别是在自然语言处理(NLP)中。然而,虽然已经有几次尝试在不同的域上训练Transformers,但是这些域之间通常有明确的关系,例如,代码摘要,其中自然语言摘要描述代码。很少有人尝试研究多任务迁移学习如何在不同领域的任务上发挥作用。在这个项目中,我们使用多域文本到文本转换Transformers(MD-T5)在两个域(Python Code和Chess)的四个任务上研究了多域多任务学习的行为。我们使用三种流行的训练策略进行了广泛的实验:Bert风格的联合预训练+连续微调,GPT风格的联合预训练+连续微调,以及GPT风格的联合预训练+联合微调。此外,我们还根据四个指标对模型进行了评估- Play Score,Eval Score,BLEU Score和Multi-Domain Learning Score(MDLS)。这些指标衡量各种任务和多领域学习的性能。我们发现,虽然负知识转移和灾难性遗忘对所有模型来说仍然是相当大的挑战,但GPT风格的联合预训练+联合微调策略在多领域,多任务学习中表现最好,因为它在所有四个任务中表现良好,同时仍然保持其多领域知识。
2022-09-21 cs.CL cs.LG
NeuroPB: Scaling Neural Decoding with Pretrained Behavioral Representations
本文提出NeuroPB框架,通过预训练大规模行为表示并对齐有限配对神经-行为数据,提升神经解码性能,在猕猴数据集上R²提升11%与8%,且泛化能力强,为高效BCI提供可行方向。
2026-08-06 cs.LG
GlucoPRISM: Protocol-Supervised Pretraining for Cross-Cohort Glucose Transfer
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Vitalverse(维塔宇宙公司);Google(谷歌公司)
本研究提出 GlucoPRISM 协议监督预训练方法,通过分离表征中损害血糖跨队列迁移的设备相关分量,在 12 个跨队列方向上将平均迁移 AUROC 提升至 73.57,在公共任务及外部临床队列中均取得显著性能提升。
2026-10-12 cs.LG
Self-supervised Pretraining and Transfer Learning Enable Flu and COVID-19 Predictions in Small Mobile Sensing Datasets
University of Washington(华盛顿大学)
来自手机、手表和健身追踪器的详细移动传感数据提供了一个无与伦比的机会,可以量化和应对以前无法测量的行为变化,以改善个人健康并加速对新出现疾病的反应。与自然语言处理和计算机视觉不同,深度表示学习尚未广泛影响这一领域,其中绝大多数研究和临床应用仍然依赖于手动定义的特征和增强的树模型,甚至由于准确性不足而完全放弃预测建模。这是由于行为健康领域的独特挑战,包括非常小的数据集(约10^1名参与者),这些数据集经常包含缺失数据,由具有关键长期依赖性的长时间序列(长度>10^4)和极端的类不平衡(>10^3:1)组成。在这里,我们介绍了一种用于多变量时间序列分类的神经架构,旨在解决这些独特的领域挑战。我们提出的行为表示学习方法结合了自监督预训练和迁移学习的新任务,以解决数据稀缺问题,并通过Transformer自注意力捕获长历史时间序列中的长程依赖关系,然后进行基于卷积神经网络的降维。我们提出了一个评估框架,旨在反映预期的真实世界的性能在合理的部署方案。具体而言,我们证明了(1)在五个预测任务中,相对于基线的性能改善高达0.15 ROC AUC,(2)在小数据场景中,迁移学习诱导的性能改善为16% PR AUC,以及(3)通过独立数据集中zero-shot COVID-19预测的探索性案例研究,迁移学习在新型疾病场景中的潜力。最后,我们讨论了潜在的影响,医疗监督测试。
2022-06-02 cs.HC cs.LG
A Study of Transfer Learning in Music Source Separation
Northwestern University(西北大学);Descript, Inc(Descript公司)
用于执行音频声源分离的监督深度学习方法在存在大量训练数据的领域中可能非常有效。虽然一些音乐领域有足够的数据适合训练分离系统,如摇滚和流行音乐,但许多音乐领域没有,如古典音乐,合唱音乐和非西方音乐传统。众所周知,从相关领域转移学习可以提高深度学习系统的性能,但如何最好地进行预训练并不总是很清楚。在这项工作中,我们研究了预训练期间数据增强的有效性,预训练和下游数据集具有相似内容域对性能的影响,并探讨了一旦预训练,模型必须在最终目标任务上重新训练多少。
2020-10-23 cs.LG cs.SD
Pretraining Federated Text Models for Next Word Prediction
University of Washington(华盛顿大学)
联邦学习是一种在分布式设备上训练模型的分散方法,通过总结本地变化并将聚合参数从本地模型发送到云端,而不是数据本身。在这项研究中,我们采用了迁移学习的思想来进行下一个词预测(NWP)的联邦训练,并进行了一些实验,证明了对联邦NWP模型已经成功的当前基线的增强。具体来说,我们将随机初始化模型的联邦训练基线与预训练方法的各种组合进行比较,包括预训练的词嵌入和整个模型预训练,然后在Stack Overflow帖子数据集上对NWP进行联邦微调。我们使用预训练的嵌入实现性能提升,而不会加剧所需的训练轮数或内存占用。我们还观察到使用集中预训练网络的显着差异,特别是取决于所使用的数据集。我们的研究为联邦NWP提供了有效而廉价的改进,并为联邦学习的迁移学习技术的更严格实验铺平了道路。
2020-08-17 cs.LG stat.ML
Learning to segment with limited annotations: Self-supervised pretraining with regression and contrastive loss in MRI
University of Arizona(亚利桑那大学);Houston Methodist Hospital(休斯顿卫理公会医院)
获取大型数据集的手动注释以用于深度学习(DL)模型的监督训练是具有挑战性的。与标记数据集相比,大型未标记数据集的可用性促使使用自监督预训练来初始化后续分割任务的DL模型。在这项工作中,我们考虑了两种用于驱动DL模型学习不同表示的预训练方法:a)利用图像内的空间依赖性的回归损失和b)利用图像对之间的语义相似性的对比损失。在使用磁共振(MR)图像的两个下游分割应用中评估预训练技术的效果:a)腹部T2加权MR图像中的肝脏分割和b)前列腺T2加权MR图像中的前列腺分割。我们观察到,使用自我监督预训练的DL模型可以用更少的标记数据集进行微调,以获得相当的性能。此外,我们还观察到,使用基于对比损失的预训练初始化DL模型的性能优于回归损失。
2022-05-26 cs.AI cs.CV cs.LG
Reducing Down(stream)time: Pretraining Molecular GNNs using Heterogeneous AI Accelerators
Pacific Northwest National Laboratory(太平洋西北国家实验室);University of Washington(华盛顿大学);IBM Research(IBM研究院);Graphcore
迁移学习的成功已经推广了一些方法,这些方法涉及从大量数据源中预训练模型,然后针对特定任务进行微调。虽然这种方法已经成为自然语言处理等领域的标准,但化学迁移学习方法的实施和评估仍处于早期阶段。在这项工作中,我们展示了在包含270万个水簇的分子数据库上训练的图神经网络(GNN)的下游任务的微调。使用Graphcore IPU作为训练分子GNN的AI加速器,将训练时间从0.5M集群上的2.7天减少到2.7M集群上的1.2小时。在单个GPU上,微调分子动力学下游任务的预训练模型和转移到不同的势能表面分别只需8.3小时和28分钟。
2022-11-08 cs.LG physics.atm-clus
Procedural Pretraining for Molecular Property Prediction
University of Oxford(牛津大学);Adelaide University(阿德莱德大学);Slater Labs(斯莱特实验室)
本研究提出程序化预训练三阶段流程,通过抽象程序化数据学习归纳偏置,在分子性质预测中显著提升性能,尤其在数据稀缺时效果最佳。
2026-09-17 cs.AI cs.LG
Towards Foundation Models on Graphs: An Analysis on Cross-Dataset Transfer of Pretrained GNNs
Technion – Israel Institute of Technology(以色列理工学院);TU Wien(维也纳技术大学);University of Cambridge(剑桥大学);NVIDIA Research(英伟达研究院)
本文研究预训练GNN的跨数据集迁移能力,提出在纯结构预训练基础上扩展以捕获特征信息的方法,发现预训练嵌入需足够下游数据才能提升泛化能力且依赖特征空间相似性。
2024-12-23 cs.LG cs.NE
Improved Multilingual Language Model Pretraining for Social Media Text via Translation Pair Prediction
Twitter, Inc.(Twitter公司)
我们评估了一种简单的方法来提高社交媒体语料库上mBERT的zero-shot多语言迁移,方法是添加一个称为翻译对预测(TPP)的预训练任务,该任务预测一对跨语言文本是否是有效的翻译。我们的方法假设可以访问源-目标语言对之间的翻译(精确或近似),其中我们对源语言任务数据进行微调并在目标语言中评估模型。特别是,我们专注于语言对的迁移学习是困难的mBERT:那些源语言和目标语言是不同的脚本,词汇和语言类型。我们在两个社交媒体任务中展示了TPP预训练在从英语到印地语,阿拉伯语和日语的zero-shot迁移中的改进:NER(在目标语言中,F1平均相对提高37%)和情感分类(F1相对改善12%)社交媒体文本,同时还对通用依赖POS标记的非社交媒体任务进行基准测试(准确率相对提高6.7%)。我们的研究结果是有希望的,因为缺乏社会媒体的双文本语料库。我们的代码可以在https://github.com/twitter-research/multilingual-alignment-tpp上找到。
2021-10-20 cs.CL cs.LG
These Are Not All the Features You Are Looking For: A Fundamental Bottleneck in Supervised Pretraining
Fundamental AI Research (FAIR) at Meta(Meta 的基础人工智能研究(FAIR));New York University(纽约大学)
本文提出通过模型集成策略提升迁移学习性能,发现预训练模型存在特征不一致导致的迁移偏差问题,并在ResNet上验证了该方法的有效性。
2026-02-06 cs.AI cs.LG stat.ML
Variational Pretraining for Semi-supervised Text Classification
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);Carnegie Mellon University(卡内基梅隆大学)
我们介绍了VAMPIRE,一个轻量级的预训练框架,用于在数据和计算资源有限的情况下进行有效的文本分类。我们预训练一个unigram文档模型作为域内未标记数据的变分自编码器,并使用其内部状态作为下游分类器的特征。从经验上讲,我们显示了VAMPIRE对计算昂贵的上下文嵌入和低资源设置下的其他流行的半监督基线的相对强度。我们还发现,在有限的监督下工作时,对域内数据进行微调对于从上下文嵌入中获得良好的性能至关重要。我们在本文中附带了预训练代码,并在下游任务中使用VAMPIRE嵌入。
2019-06-05 cs.CL cs.LG
Between Circuits and Chomsky: Pre-pretraining on Formal Languages Imparts Linguistic Biases
Center for Data Science(数据科学中心);Department of Linguistics(语言学系)
本研究通过预预训练实验发现,捕捉层级依赖且处于架构计算限制内的形式语言能提升语言模型对自然语言的泛化,且以更小token预算实现同等损失,并揭示注意力头迁移的机制证据。
2025-05-27 cs.AI cs.CL cs.LG
Model-Based Reinforcement Learning with Multi-Task Offline Pretraining
Shanghai Jiao Tong University(上海交通大学)
提出一种基于模型的强化学习方法,通过世界模型衡量任务相关性并利用相似性权重自适应迁移物理动力学知识和源动作演示,显著提升新任务的在线训练效率。
2024-06-05 cs.AI cs.LG cs.RO
Small Vocabularies, Big Gains: Pretraining and Tokenization in Time Series Models
本文针对时间序列预测基础模型,系统研究分词器设计与预训练的影响,发现小词表搭配预训练权重优势显著,为相关设计提供了实操指导。
2025-11-06 cs.AI cs.CL cs.LG
DeepStruct: Pretraining of Language Models for Structure Prediction
UC Berkeley(加州大学伯克利分校);Tsinghua University(清华大学)
介绍了一种提高语言模型结构理解能力的方法。与之前使用特定于任务的增强来微调模型的方法不同,我们在一组与任务无关的语料库上预训练语言模型,以从文本生成结构。我们的结构预训练能够实现模型关于结构任务的学习知识的zero-shot转移。我们研究了这种方法在28个数据集上的性能,包括开放信息抽取,联合实体和关系抽取,命名实体识别,关系分类,语义角色标注,事件提取,共指消解,事实探测,意图检测和对话状态跟踪。我们使用特定于任务的训练集进一步增强了预训练。我们表明,一个10 B参数语言模型转移到大多数任务的非平凡,并获得了最先进的性能,我们评估的28个数据集的21。
2023-03-06 cs.AI cs.CL cs.LG
Molecule-Morphology Contrastive Pretraining for Transferable Molecular Representation
GSK(葛兰素史克)
本研究提出 Molecule-Morphology Contrastive Pretraining (MoCoP) 框架,通过整合分子图与细胞形态的多模态表示,显著提升了 QSAR 模型在分子属性预测任务中的性能。
2023-06-27 cs.LG q-bio.BM
Selectivity Drives Productivity: Efficient Dataset Pruning for Enhanced Transfer Learning
Michigan State University(密歇根州立大学);Cisco Research(思科研究院);University of Minnesota, Twin City(明尼苏达大学双城分校);UC Santa Barbara(加州大学圣巴巴拉分校)
针对迁移学习中的数据集剪枝问题,提出label mapping和feature mapping两种新方法,可剪枝40%-80%源数据且不损失下游性能,实现2-5倍预训练加速。
2023-11-18 cs.AI cs.LG
ReactionT5: a large-scale pre-trained model towards application of limited reaction data
Undergraduate School of Pharmaceutical Sciences, Kyoto University(京都大学药学院本科部);Graduate School of Medicine, Kyoto University(京都大学医学研究生院)
提出ReactionT5模型,利用开放反应数据库预训练,针对有限反应数据微调,在产率预测和产物预测任务上表现优于传统模型。
2023-11-12 cs.LG physics.chem-ph
ShellElastic: Scalable Elastic Pretraining with Simultaneous Maximal Updates and Hyperparameter Transfer
Rutgers University(罗格斯大学);Adobe Research(奥多比研究院)
本文提出ShellElastic弹性Transformer架构,结合\textmu E超参数迁移方法,实现超网内多子网络同步最大更新,生成的子网络性能优于基线且接近单独训练的模型。
2026-10-14 cs.AI cs.LG
TMI! Finetuned Models Leak Private Information from their Pretraining Data
Khoury College of Computer Sciences, Northeastern University(东北大学卡利计算机科学学院)
本文提出一种新的成员推理威胁模型和基于元分类器的攻击方法TMI,利用查询访问微调模型成功推断预训练数据成员身份,揭示了迁移学习中的隐私泄露风险。
2024-10-16 cs.CR cs.LG
The Power and Limitation of Pretraining-Finetuning for Linear Regression under Covariate Shift
Johns Hopkins University(约翰斯·霍普金斯大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Harvard University(哈佛大学)
我们研究线性回归下的协变量偏移,其中的边际分布在输入协变量不同的源域和目标域,而给定的输入协变量的条件分布的输出是类似的跨两个域。我们研究了一种迁移学习方法,该方法对源数据进行预训练,并根据目标数据进行微调(均由在线SGD进行)。我们建立尖锐的实例依赖于这种方法的过度风险的上限和下限。我们的界限表明,对于一大类线性回归实例,使用$O(N^2)$源数据(以及稀缺或无目标数据)的迁移学习与使用$N$目标数据的监督学习一样有效。此外,我们还表明,即使只有少量的目标数据,微调也可以大大减少预训练所需的源数据量。我们的理论揭示了预训练的有效性和局限性,以及微调处理协变量偏移问题的好处。
2022-08-03 cs.LG math.OC stat.ML
Structure Pretraining and Prompt Tuning for Knowledge Graph Transfer
Zhejiang University(浙江大学);Huawei Technologies Co., Ltd(华为技术有限公司);Donghai laboratory(东海实验室);Alibaba-Zhejiang University Joint Institute of Frontier Technology(阿里巴巴-浙江大学前沿技术联合研究院)
知识图谱是许多任务中必不可少的背景知识提供者。在设计知识生成相关任务的模型时,关键任务之一是设计知识表示和融合(KRF)模块,该模块从知识生成中学习元素的表示并将其与任务表示融合。由于任务间融合时所考虑的KGs和视角的差异,在任务间进行重复和临时的KRF模块设计。在本文中,我们提出了一种新的知识图谱预训练模型KGTransformer,可以作为一个统一的KRF模块在不同的KG相关的任务。我们用三个自监督任务预训练KGTransformer,并将采样子图作为输入。对于利用,我们提出了一个通用的任务数据作为一个三重提示,允许灵活的任务KG和任务数据之间的交互调整机制。我们在三个任务上评估预训练的KGTransformer,三重分类,zero-shot图像分类和问答。KG Transformer始终比专门设计的任务模型获得更好的结果。通过实验,我们证明了预先训练的KGTransformer可以在KG相关任务中作为通用且有效的KRF模块使用。代码和数据集可在https://github.com/zjukg/KGTransformer上获得。
2023-03-03 cs.AI cs.CL cs.LG
Pretraining & Reinforcement Learning: Sharpening the Axe Before Cutting the Tree
University of California, Berkeley, USA(美国加州大学伯克利分校)
预训练是深度学习中用于提高性能和减少训练时间的常用技术,在深度强化学习(RL)中具有良好的实验结果。然而,预训练需要相关的数据集进行训练。在这项工作中,我们评估了RL任务的预训练的有效性,有和没有分散注意力的背景,使用大型的,公开的数据集与最小的相关性,以及通过自我监督标记的逐个案例生成的数据集。结果表明,在不太相关的数据集上训练期间学习的过滤器会使预训练无效,而在分布数据集上训练期间学习的过滤器可靠地减少了RL训练时间,并在80k RL训练步骤后提高了性能。我们进一步研究,给定有限数量的环境步骤,如何最佳地将可用步骤划分为预训练和RL训练,以最大限度地提高RL性能。我们的代码可以在GitHub上找到
2021-10-06 cs.AI cs.LG
Task Transfer and Domain Adaptation for Zero-Shot Question Answering
New York University(纽约大学);IBM Research AI(IBM研究院人工智能部门)
预训练的语言模型在自然语言处理的各个领域都取得了成功,包括阅读理解任务。然而,当将机器学习方法应用于新领域时,标记的数据可能并不总是可用的。为了解决这个问题,我们对源域数据进行了有监督的预训练,以降低特定于域的下游任务的样本复杂度。我们通过将任务转移与领域自适应相结合来评估特定领域阅读理解任务的zero-shot性能,以微调预训练模型,而没有来自目标任务的标记数据。我们的方法在4个领域中的3个领域中的下游特定领域阅读理解任务上优于领域自适应预训练。
2022-06-14 cs.CL cs.LG