Transfer Learning to Learn with Multitask Neural Model Search
Stanford University(斯坦福大学);Google Research(谷歌研究院)
深度学习模型需要广泛的架构设计探索和超参数优化,才能在给定的任务上表现良好。模型设计空间的探索通常由人类专家进行,并在可能选择的大空间上使用网格搜索和搜索算法的组合进行优化。神经体系结构搜索(NAS)是一种强化学习方法,已被提出用于自动化体系结构设计。NAS已经成功地应用于生成神经网络,可以与最好的人类设计的架构相媲美。然而,NAS需要采样、构建和训练数百到数千个模型,以实现性能良好的架构。对于每个新任务,都需要从头开始执行此过程。NAS的应用程序,以广泛的一组任务目前缺乏一种方法来转移概括的知识跨任务。在本文中,我们提出了多任务神经模型搜索(MNMS)控制器。我们的目标是学习一个可推广的框架,该框架可以将模型构建的成功模型搜索用于先前看到的任务,从而显着加快搜索新任务的速度。我们证明了MNMS可以同时对多个任务进行自动化架构搜索,同时还可以为每个任务学习性能良好的专用模型。然后,我们表明,预先训练的MNMS控制器可以迁移学习到新的任务。通过利用以前搜索的知识,我们发现预训练的MNMS模型从搜索空间中更好的位置开始,并减少了看不见的任务的搜索时间,同时仍然发现优于已发布的人类设计模型的模型。
2017-10-30 cs.AI cs.LG stat.ML
A multitask transfer learning framework for the prediction of virus-human protein-protein interactions
Leibniz University Hannover(莱布尼茨汉诺威大学);University of Veterinary Medicine(兽医大学);TWINCORE, Center for Experimental and Clinical Infection Research Hannover(TWINCORE,汉诺威实验与临床感染研究中心);Umeå University(于默奥大学)
病毒感染在世界范围内造成严重的发病率和死亡率。了解特定病毒与人类蛋白质之间的相互作用模式对于揭示病毒感染和发病机制的潜在机制起着至关重要的作用。这可能进一步有助于预防和治疗与病毒有关的疾病。然而,预测新病毒与人类细胞之间的蛋白质-蛋白质相互作用的任务极具挑战性,因为关于病毒-人类相互作用的数据很少,而且大多数病毒的突变率很快。我们开发了一种多任务迁移学习方法,该方法利用了大约2400万个蛋白质序列的信息和来自人类相互作用组的相互作用模式,以解决小训练数据集的问题。我们不使用手工制作的蛋白质特征,而是利用通过深度语言建模方法从大量蛋白质序列源中学习的统计上丰富的蛋白质表示。此外,我们采用了一个额外的目标,旨在最大限度地提高观察人类蛋白质-蛋白质相互作用的概率。这个额外的任务目标充当正则化器,并且还允许并入领域知识以告知病毒-人蛋白质-蛋白质相互作用预测模型。我们的方法在13个基准数据集和SAR-CoV-2病毒受体的案例研究上取得了有竞争力的结果。实验结果表明,我们提出的模型可以有效地用于病毒-人类和细菌-人类蛋白质-蛋白质相互作用预测任务。我们在https://git.l3s.uni-hannover.de/dong/multitask-transfer上分享我们的代码,用于再现性和未来的研究。
2021-11-26 cs.LG
XMixup: Efficient Transfer Learning with Auxiliary Samples by Cross-domain Mixup
Baidu Research(百度研究院);University of Macau(澳门大学)
从大型源数据集转移知识是一种有效的方法,可以在小样本的情况下微调目标任务的深层神经网络。已经提出了大量算法来促进深度迁移学习,这些技术通常可以分为两组-使用从源数据集预先训练的模型进行目标任务的正则化学习,以及使用源和目标数据集进行多任务学习,以训练共享的骨干神经网络。在这项工作中,我们的目标是通过跨域混合(XMixup)改进深度迁移学习的多任务范式。虽然现有的多任务学习算法需要在源和目标数据集上运行反向传播,并且通常消耗更高的梯度复杂度,但XMixup更有效地将知识从源任务转移到目标任务:对于目标任务的每个类,XMixup从源数据集中选择辅助样本,并通过简单的混合策略增加训练样本。我们在六个真实世界的迁移学习数据集上评估XMixup。实验结果表明,XMixup平均提高了1.9%的准确率。与其他最先进的迁移学习方法相比,XMixup花费更少的训练时间,同时仍然获得更高的准确性。
2020-07-20 cs.CV cs.LG stat.ML
Say What? Collaborative Pop Lyric Generation Using Multitask Transfer Learning
Georgia Tech Center for Music Technology(佐治亚理工学院音乐技术中心)
歌词生成是自然语言生成的一个热门子领域,近年来得到了发展。流行歌词是独特的兴趣,由于体裁的独特风格和内容,除了高水平的合作,在幕后进行的专业流行歌曲创作过程。在本文中,我们提出了一个协作行级歌词生成系统,利用迁移学习通过T5 Transformer模型,到目前为止,还没有被用来生成流行歌词。通过与专业词曲作者直接合作和沟通,我们开发了一个模型,能够学习抒情和风格任务,例如押韵、匹配行节拍要求以及用特定目标词结束行。我们的方法与现有的多个数据集的方法相比,并从我们的在线研究和对行业歌曲作者的采访中获得了积极的结果。
2021-11-15 cs.CL cs.HC cs.LG
An Evolutionary Approach to Dynamic Introduction of Tasks in Large-scale Multitask Learning Systems
Google Research(谷歌研究院)
多任务学习假设能够从多个任务中学习的模型可以通过知识转移实现更好的质量和效率,这是人类学习的一个关键特征。然而,最先进的ML模型依赖于每个任务的高度定制,并利用大小和数据规模,而不是扩展任务的数量。此外,持续学习,增加了时间方面的多任务,往往集中在研究常见的陷阱,如灾难性遗忘,而不是在大规模的研究作为一个关键组成部分,以建立下一代人工智能。我们提出了一种进化的方法,能够生成大规模的多任务模型,支持动态添加新的任务。所产生的多任务模型是稀疏激活,并集成了基于任务的路由,保证有限的计算成本和更少的附加参数,每个任务的模型expands.The建议的方法依赖于知识划分技术,以实现免疫力对灾难性遗忘和其他常见的陷阱,如梯度干扰和负转移。我们的经验表明,所提出的方法可以共同解决69个公共图像分类任务,并取得有竞争力的结果,例如提高了竞争力的基准,如cifar10的最佳模型相比,实现了15%的相对误差减少最先进的公共数据训练。
2022-11-15 cs.AI cs.CV cs.LG
Hierarchical Bayesian Modelling for Knowledge Transfer Across Engineering Fleets via Multitask Learning
The Alan Turing Institute(艾伦·图灵研究所);University of Cambridge(剑桥大学);Scania CV(斯堪尼亚商用车公司);Scania AB (publ)(斯堪尼亚公司(上市));Stockholm University(斯德哥尔摩大学);Imperial College London(伦敦帝国理工学院)
提出层次贝叶斯多任务学习方法,通过共享领域知识解决工程车队数据稀疏问题,提升卡车生存分析与风电场功率预测性能。
2023-05-12 cs.LG eess.SP stat.AP
Just Pick a Sign: Optimizing Deep Multitask Models with Gradient Sign Dropout
Waymo LLC(韦莫有限责任公司);Google Research(谷歌研究院)
绝大多数深度模型使用多个梯度信号(通常对应于多个损失项的总和)来更新共享的可训练权重集。然而,这些多次更新可能会通过将模型拉向相互冲突的方向来阻碍最佳训练。我们提出了梯度符号丢弃(GradDrop),一个概率掩蔽过程,根据其一致性水平在激活层对梯度进行采样。GradDrop作为一个简单的深层实现,可用于任何深度网络,并与其他梯度平衡方法协同。我们证明了GradDrop在传统的多任务和迁移学习设置中优于最先进的多损失方法,并讨论了GradDrop如何揭示最佳多损失训练和梯度随机性之间的联系。
2020-10-14 cs.CV cs.LG
The Natural Language Decathlon: Multitask Learning as Question Answering
Salesforce Research(赛富时研究院)
深度学习提高了许多自然语言处理(NLP)任务的性能。然而,一般的NLP模型不能出现在一个专注于单一指标,数据集和任务的特殊性的范式中。我们介绍了自然语言十项全能(decaNLP),这是一个跨越十项任务的挑战:问答,机器翻译,摘要,自然语言推理,情感分析,语义角色标注,zero-shot关系抽取,面向目标的对话,语义解析和常识代词解析。我们将所有任务都转换为上下文上的问答。此外,我们提出了一个新的多任务问答网络(MQAN)联合学习decaNLP中的所有任务,在多任务设置中没有任何特定于任务的模块或参数。MQAN在机器翻译和命名实体识别的迁移学习、情感分析和自然语言推理的领域自适应以及文本分类的zero-shot功能方面有所改进。我们证明了MQAN的多指针生成器解码器是成功的关键,并且通过反课程训练策略进一步提高了性能。尽管是为decaNLP设计的,MQAN也在单任务设置中实现了WikiSQL语义解析任务的最新结果。我们还发布了用于获取和处理数据、训练和评估模型以及复制decaNLP所有实验的代码。
2018-06-20 cs.AI cs.CL cs.LG
Few-shot Multimodal Multitask Multilingual Learning
Stanford University(斯坦福大学)
虽然少样本学习作为一种迁移学习范式在数据有限的情况下获得了显著的吸引力,但它主要是在构建单峰和单语模型的背景下进行探索的。此外,在Few-Shot多任务学习领域中的现有文献的重要部分执行上下文学习,其需要手动生成的提示作为输入,根据手动提示工程的水平产生不同的结果。此外,上下文学习遭受大量的计算、内存和存储成本,这最终导致高推理延迟,因为它涉及在每次进行预测时通过模型运行所有提示的示例。相比之下,基于经由微调范例的迁移学习的方法以基于每个任务的微调权重的一次性代价避免了上述问题。然而,这样的方法缺乏暴露于Few-Shot多模态多任务学习。在本文中,我们提出了多模态多任务多语言(FM 3)设置的少样本学习,通过使用特定于任务的超网络适应预训练的视觉和语言模型,并对比微调它们,以实现少样本学习。FM 3的架构结合了基于上下文和微调的学习的两个世界中的最佳部分,并由三个主要组件组成:(i)多模态对比微调,以实现少样本学习,(ii)超网络任务适应,以执行多任务学习,以及(iii)特定于任务的输出头,以满足过多的不同任务。FM 3学习视觉和语言领域中最突出的任务及其交叉点,即视觉蕴涵(VE),视觉问答(VQA)和自然语言理解(NLU)任务,如神经实体识别(NER)和GLUE基准,包括QNLI,MNLI,QQP和SST-2。
2023-02-19 cs.AI cs.CL cs.CV
Multitask learning over graphs: An Approach for Distributed, Streaming Machine Learning
EPFL(洛桑联邦理工学院);American University of Beirut(贝鲁特美国大学);Université de Nice Sophia-Antipolis(尼斯索菲亚安提波利斯大学);Northwestern Polytechnical University(西北工业大学)
同时学习多个相关任务的问题在几个领域受到了相当大的关注,特别是在机器学习中,所谓的多任务学习问题或学习学习问题[1],[2]。多任务学习是归纳迁移学习的一种方法(使用针对一个问题所学到的知识来帮助解决另一个问题),并且通过使用相关任务的训练信号中包含的域信息作为归纳偏差来帮助提高相对于单独学习每个任务的泛化性能。在这个社区内,已经得出了几个策略的假设下,所有的数据都可以事先在融合中心。然而,近年来,以分布式和流式方式收集数据的能力不断提高。这就需要设计新的策略,从分布式(或网络化)系统的流数据中共同学习多个任务。本文概述了网络学习和适应的多任务策略。这些策略的工作假设是,代理人被允许相互合作,以学习不同的,但相关的任务。本文展示了合作如何引导网络限制点,以及不同的合作规则如何促进不同的任务相关性模型。它还解释了如何以及何时多任务网络上的合作优于非合作策略。
2021-09-21 cs.LG cs.MA eess.SP
Self-Supervised Pretraining on Paired Sequences of fMRI Data for Transfer Learning to Brain Decoding Tasks
Dartmouth College(达特茅斯学院)
本文提出了一个针对fMRI数据的transformer自监督预训练框架,通过同时进行两个任务预训练以学习听觉皮层时空动态,并在有监督分类任务中微调,显著提升了留出运行上的准确率,验证了多任务预训练与迁移学习的有效性。
2023-05-15 cs.LG q-bio.NC
Data Fusion of Deep Learned Molecular Embeddings for Property Prediction
Purdue University(普渡大学);U.S. Army Combat Capabilities Development Command Army Research Laboratory(美国陆军作战能力发展司令部陆军研究实验室)
针对稀疏数据下标准多任务模型性质预测表现不佳的问题,提出融合独立预训练单任务模型的深度嵌入的方法,复用嵌入以更少参数实现更优性能,在量子化学基准及新构建稀疏数据集上验证有效。
2025-10-28 cond-mat.mtrl-sci cs.LG
Design Perspectives of Multitask Deep Learning Models and Applications
National Institute of Technology, Silchar(锡尔查尔国家技术学院)
近年来,多任务学习在各种应用中取得了巨大的成功。尽管单模型训练在这些年来取得了很好的效果,但它忽略了可能有助于我们更好地估计指标的有价值的信息。在与学习相关的任务下,多任务学习能够更好地概括模型。我们尝试通过在相关任务之间共享特征和归纳迁移学习来增强多任务模型的特征映射。此外,我们的兴趣是学习的任务之间的关系,以获得更好的效益,从多任务学习。在本章中,我们的目标是可视化现有的多任务模型,比较它们的性能,用于评估多任务模型性能的方法,讨论在各个领域设计和实现这些模型时面临的问题,以及它们的优点和里程碑
2022-09-27 cs.AI cs.CV cs.LG
Epistemic Errors of Imperfect Multitask Learners When Distributions Shift
University of Manchester(曼彻斯特大学);ELLIS Institute Finland(芬兰ELLIS研究所);Aalto University(阿尔托大学)
本文研究了不完美多任务学习者在分布转移时的知识性误差,提出了一种框架来表征和消除可减少的知识性不确定性误差,为贝叶斯迁移学习和分布转移内的ε-邻域提供了专门的误差界。
2026-03-31 cs.LG stat.ML
Transfer Learning-Based Label Proportions Method with Data of Uncertainty
Guangdong University of Technology(广东工业大学)
标签比例学习(LLP)是一种只提供未标记数据和每个袋子标签比例的学习任务,在实践中得到了广泛的成功应用。然而,现有的LLP方法大多没有考虑不确定数据的知识转移。针对带有标签比例的学习问题(TL-LLP),提出了一种基于迁移学习的方法,在源任务和目标任务都包含不确定数据的情况下,将源任务的知识迁移到目标任务.该方法首先对不确定数据建立目标模型,同时进行迁移学习,然后提出一个迭代框架,为目标任务建立一个精确的分类器。大量的实验表明,与现有的LLP方法相比,TL-LLP方法可以获得更好的精度,并且对噪声不太敏感。
2019-08-19 cs.LG stat.ML
WALoMA: A Multitask Wireless Foundation Model via Adaptive Low-Rank Masked Autoencoders
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);University of Southampton(南安普顿大学)
研究针对6G无线物理层架构中特定任务模型局限和标记数据稀缺问题,提出WALoMA模型,利用自适应低秩掩码自动编码器,通过自监督学习从无标签数据中学习可转移表示,在五个下游任务中表现出色,显著优于基线。
2026-07-29 cs.LG cs.NI
COVID-MTL: Multitask Learning with Shift3D and Random-weighted Loss for Automated Diagnosis and Severity Assessment of COVID-19
The University of Sydney(悉尼大学);Shanghai Jiao Tong University(上海交通大学);Shandong First Medical University(山东第一医科大学);Shandong Academy of Medical Sciences(山东省医学科学院);Shandong Cancer Hospital and Institute(山东省肿瘤医院)
迫切需要自动化方法来帮助准确有效地评估COVID-19。放射学和核酸检测(NAT)是互补的COVID-19诊断方法。在本文中,我们提出了一个端到端的多任务学习(MTL)框架(COVID-MTL),能够自动化和同时检测(针对放射学和NAT)和COVID-19的严重性评估。COVID-MTL通过我们新的随机加权损失函数并行学习不同的COVID-19任务,该函数在Dirichlet分布下分配学习权重以防止任务支配;我们新的3D实时增强算法(Shift 3D)通过在三维中移动体积输入的低级别特征表示来为3D CNN组件引入空间方差;因此,与单任务模型相比,MTL框架能够加速收敛并提高联合学习性能。通过仅使用胸部CT扫描,COVID-MTL在930个CT扫描上进行了培训,并在399个病例上进行了测试。COVID-MTL针对放射学和NAT检测COVID-19的AUC分别为0.939和0.846,准确率分别为90.23%和79.20%,优于最先进的模型。同时,COVID-MTL产生的AUC为0.800 $\pm$ 0.020和0.813 $\pm$ 0.021(采用迁移学习),用于分类对照/疑似、轻度/常规和重度/危重病例。为了破译识别机制,我们还确定了与COVID-19的阳性和严重程度显著相关(P < 0.001)的高通量肺部特征。
2020-12-31 cs.CV cs.LG eess.IV
Identification of Negative Transfers in Multitask Learning Using Surrogate Models
Northeastern University(东北大学)
本文提出一种基于代理模型的高效方法,通过线性回归近似多任务性能并计算相关性分数,以准确识别负迁移并选择有益源任务子集,优于现有方法。
2023-12-27 cs.AI cs.CL cs.LG
Deep Asymmetric Multi-task Feature Learning
UNIST(蔚山科学技术院);AItrics;KAIST(韩国科学技术院)
我们提出了深度非对称多任务特征学习(Deep-AMTFL),它可以学习跨多个任务共享的深度表示,同时有效地防止特征共享过程中可能发生的负迁移。具体来说,我们引入了一个不对称的自动编码器项,允许简单任务的可靠预测器对特征学习有很高的贡献,同时抑制不可靠预测器对更困难任务的影响。这允许学习噪声较少的表示,并使不可靠的预测器能够通过共享的潜在特征利用来自可靠预测器的知识。这种通过共享特征的不对称知识转移也比任务间不对称转移更具可扩展性和效率。我们在多任务学习和图像分类的多个基准数据集上验证了我们的Deep-AMTFL模型,通过有效地防止深度特征学习中的负迁移,它的性能明显优于现有的对称和非对称多任务学习模型。
2018-06-30 cs.LG stat.ML
Distral: Robust Multitask Reinforcement Learning
DeepMind
大多数深度强化学习算法在复杂和丰富的环境中数据效率低下,限制了它们对许多场景的适用性。提高数据效率的一个方向是具有共享神经网络参数的多任务学习,其中可以通过在相关任务之间的转移来提高效率。然而,在实践中,这通常不会被观察到,因为不同任务的梯度可能会产生负面影响,使学习不稳定,有时甚至降低数据效率。另一个问题是任务之间的奖励方案不同,这很容易导致一个任务主导共享模型的学习。我们提出了一种新的多任务联合训练方法,我们称之为Distral(Distill &迁移学习)。我们建议共享一个“蒸馏”的政策,捕捉跨任务的共同行为,而不是在不同的工人之间共享参数。每个工作者都被训练来解决自己的任务,同时被约束为接近共享策略,而共享策略则通过蒸馏被训练为所有任务策略的质心。学习过程的两个方面都是通过优化联合目标函数来实现的。我们表明,我们的方法支持复杂的3D环境中的高效传输,优于几个相关的方法。此外,所提出的学习过程更鲁棒,更稳定--这些属性在深度强化学习中至关重要。
2017-07-13 cs.LG stat.ML
Multivariate conformal uncertainty propagation in multitask atomistic simulation: Successes and pitfalls
Massachusetts Institute of Technology(麻省理工学院);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);University of Warwick(华威大学)
本文首次将多元共形方法应用于多任务原子模拟,通过校准能量、力和应力并传播到弹性常数等下游量,捕获误差抵消,提升不确定性量化可靠性。
2026-09-28 physics.chem-ph stat.ML
MT-CGCNN: Integrating Crystal Graph Convolutional Neural Network with Multitask Learning for Material Property Prediction
Indian Institute of Science(印度科学学院);Shell Technology Centre Bangalore(壳牌班加罗尔技术中心)
开发准确、可转移且计算成本低廉的机器学习模型可以快速加速新材料的发现和开发。开发此类模型所涉及的一些主要挑战是:(i)与其他领域相比,材料数据的可用性有限,(ii)缺乏通用的材料描述符来预测其各种属性。材料数据的有限可用性可以通过迁移学习来解决,而通用表示最近由Xie和Grossman [1]解决,他们开发了一种晶体图卷积神经网络(CGCNN),提供了晶体的统一表示。在这项工作中,我们通过将CGCNN与基于多任务(MT)学习的迁移学习相结合,开发了一种新的模型(MT-CGCNN)。我们证明了MT-CGCNN的有效性,通过同时预测各种材料的性质,如形成能,带隙和费米能为广泛的无机晶体(46774材料)。MT-CGCNN在相关属性上使用时能够将测试误差降低高达8%。与CGCNN相比,该模型预测具有更低的测试误差,即使当训练数据减少10%时。我们还通过预测与金属/非金属分类相关的最终用户场景来展示我们的模型的更好性能。这些结果鼓励进一步开发机器学习方法,这些方法利用多任务学习来解决发现新材料中的上述挑战。我们提供MT-CGCNN的源代码,以鼓励可重复的研究。
2018-11-14 cond-mat.mtrl-sci cs.LG stat.ML
Selective Inference for Sparse Multitask Regression with Applications in Neuroimaging
本文针对神经影像中多任务稀疏回归问题提出选择性推断框架,通过细化选择事件构造可解的选择调整似然,实现有效置信区间,并在ABCD数据上验证其优于数据拆分方法。
2023-08-10 stat.AP stat.ME stat.ML
Transfer Learning with Uncertainty Quantification: Random Effect Calibration of Source to Target (RECaST)
迁移学习使用数据模型,经过训练可以对来自一个群体的数据进行预测或推断,对来自另一个群体的数据进行可靠的预测或推断。大多数现有的迁移学习方法是基于微调预训练的神经网络模型,并未能提供关键的不确定性量化。我们开发了一个基于迁移学习的模型预测统计框架,称为RECast。主要的机制是一个柯西随机效应,重新校准源模型的目标人群,我们在数学和经验证明了我们的RECast方法的有效性,线性模型之间的转移学习,在这个意义上,预测集将实现其名义规定的覆盖范围,我们数值说明了该方法的鲁棒性渐近近似的非线性模型。尽管许多现有的技术都是建立在特定的源模型上的,但RECast对源模型的选择是不可知的。例如,我们的RECast迁移学习方法可以应用于具有线性或逻辑斯谛回归、深度神经网络架构等的连续或离散数据模型。此外,RECast为预测提供了不确定性量化,这在文献中大多是不存在的。我们检查我们的方法的性能在模拟研究和应用程序中的真实医院数据。
2022-11-29 stat.ME stat.ML