Fair Resource Allocation in Multi-Task Learning
University at Buffalo(布法罗大学)
本文借鉴通信网络公平资源分配,将多任务学习建模为效用最大化问题,提出具备收敛保证的 FairGrad,并在监督与强化学习基准上达到最先进性能。
2024-07-02 cs.LG
Unleashing the Power of Multi-Task Learning: A Comprehensive Survey Spanning Traditional, Deep, and Pretrained Foundation Model Eras
Lehigh University(理海大学);University of Pennsylvania(宾夕法尼亚大学);University of Missouri(密苏里大学);Shandong University(山东大学);University of Hong Kong(香港大学);South China University of Technology(华南理工大学);Cedars-Sinai Medical Center(西达赛奈医疗中心)
本文系统综述了多任务学习从传统方法、深度学习到预训练基础模型的发展历程,将其技术归纳为五大类别,并探讨了任务无关训练与零样本学习等新趋势。
2024-04-29 cs.AI cs.CV cs.LG
AutoSeM: Automatic Task Selection and Mixing in Multi-Task Learning
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
多任务学习(MTL)已经在广泛的问题上取得了成功,其目标是使用一组相关的辅助任务来提高主要任务的性能。然而,当辅助任务的有用性被证明时,主要任务不是先验已知的,MTL模型的成功取决于这些辅助任务的正确选择以及在交替训练期间这些任务的平衡混合比。这两个问题可以通过人工直觉或超参数调整所有组合任务选择来解决,但这会引入归纳偏差,或者当候选辅助任务的数量非常大时不可扩展。为了解决这些问题,我们提出了AutoSeM,一个两阶段的MTL流水线,其中第一阶段通过具有Thompson采样的Beta-Bernoulli多臂强盗自动选择最有用的辅助任务,第二阶段通过基于高斯过程的贝叶斯优化框架学习这些选择的辅助任务的训练混合比。我们在GLUE语言理解任务上进行了几个MTL实验,并表明我们的AutoSeM框架可以成功地找到相关的辅助任务,并自动学习它们的混合比例,在几个主要任务上实现了显着的性能提升。最后,我们为AutoSeM的每个阶段提出了消融,并分析了学习的辅助任务选择。
2019-04-08 cs.CL cs.LG stat.ML
Challenges and Opportunities of Using Transformer-Based Multi-Task Learning in NLP Through ML Lifecycle: A Survey
doXray B.V.(doXray有限公司)
本文综述 NLP 中基于 Transformer 的多任务学习方法,并从数据工程、开发、部署到监控的机器学习生命周期分析其挑战与机遇,同时倡导结合持续学习。
2023-08-16 cs.AI cs.CL cs.LG
Improving Multi-Task Generalization via Regularizing Spurious Correlation
University of California, Los Angeles(加州大学洛杉矶分校);Google Research(谷歌研究院)
多任务学习(MTL)是一种通过知识共享来提高泛化性能的强大学习范式。然而,现有的研究发现,MTL有时会损害概括,特别是当两个任务相关性较低时。损害泛化的一个可能原因是虚假相关,即,有些知识是虚假的,与任务标签没有因果关系,但模型可能错误地利用它们,因此当这种相关性发生变化时,模型就会失败。在MTL设置中,存在伪相关的几个独特挑战。首先,具有非因果知识的风险更高,因为共享的MTL模型需要对来自不同任务的所有知识进行编码,并且一个任务的因果知识可能对另一个任务是虚假的。第二,任务标签之间的混淆给MTL带来了不同类型的虚假相关。我们从理论上证明了MTL比单任务学习更倾向于从其他任务中获取非因果知识,从而概括性更差。针对这一问题,本文提出了多任务因果表示学习框架,旨在通过分解神经模块来表示多任务知识,并通过特定于MTL的不变正则化来学习哪个模块与每个任务有因果关系。实验结果表明,通过缓解虚假相关问题,MTL模型的性能比Multi-MNIST,MovieLens,Taskonomy,CityScape和NYUv 2平均提高了5.5%。
2022-11-24 cs.AI cs.LG
MTLComb: multi-task learning combining regression and classification tasks for joint feature selection
Heidelberg University(海德堡大学);Central Institute of Mental Health(中央心理健康研究所);Hector Institute for Artificial Intelligence in Psychiatry(赫克托精神病学人工智能研究所)
针对混合任务类型的多任务学习因损失量级差异导致联合特征选择有偏差的问题,提出可证明最优的损失加权方案,构建了含完整流程的MTLComb算法包,经模拟和生物医学数据验证有效。
2024-05-16 cs.AI cs.LG q-bio.BM
MTLoRA: A Low-Rank Adaptation Approach for Efficient Multi-Task Learning
Brown University(布朗大学)
本文提出MTLoRA框架,通过任务无关与任务特定低秩适配模块解耦多任务学习微调参数空间,在PASCAL数据集上以更少可训练参数超越全量微调和现有参数高效方法。
2024-03-29 cs.AI cs.CV cs.LG
Decentralized Multi-Task Learning Based on Extreme Learning Machines
Royal Institute of Technology (KTH)(皇家理工学院(KTH))
在多任务学习(MTL)中,相关任务联合学习以提高泛化性能。为了利用极端学习机(ELMs)的高学习速度,我们将ELM框架应用于MTL问题,其中所有任务的ELMs的输出权重是协作学习的。我们首先提出了ELM的MTL问题在集中式设置,这是解决建议MTL-ELM算法。由于不同任务的数据集是地理分布的,因此研究了分散式机器学习。我们制定了分散的MTL问题的基础上ELM优化多块耦合双凸目标函数。为了解决这个问题,我们提出了DMTL-ELM算法,这是一个混合的雅可比和高斯-赛德尔邻近多块交替方向乘子法(ADMM)。进一步,为了减少DMTL-ELM的计算量,提出了一阶近似的DMTL-ELM(FO-DMTL-ELM)。理论分析表明,DMTL-ELM和FO-DMTL-ELM的收敛性是有条件的。通过仿真,我们证明了建议MTL-ELM,DMTL-ELM,FO-DMTL-ELM算法的收敛性,也表明他们可以优于现有的MTL方法。此外,通过调整隐特征空间的维数,DMTL-ELM存在通信负载和学习精度之间的折衷。
2019-04-25 cs.AI cs.LG
Direct Routing Gradient (DRGrad): A Personalized Information Surgery for Multi-Task Learning (MTL) Recommendations
针对多任务学习推荐中的负迁移和跷跷板现象,提出个性化直接路由梯度框架DRGrad,通过路由器、更新器和个性化门控网络减少任务冲突,在真实和公开数据集上优于现有模型且不增加复杂度。
2025-10-04 cs.AI cs.LG
Minimax Multi-Task Learning and a Generalized Loss-Compositional Paradigm for MTL
Georgia Institute of Technology(佐治亚理工学院);GE Global Research(通用电气全球研究中心)
自成立以来,多任务学习(MTL)的工作方式一直是最小化任务明智的经验风险的平均值。我们介绍了一个广义的损失组成的MTL的范例,其中包括一系列的配方作为一个子类。这个频谱的一个端点是极小极大MTL:一个新的MTL公式,最大限度地减少任务的经验风险。通过对极大极小MTL的某种松弛,我们得到了一个跨越极大极小MTL和经典MTL的MTL连续体。完整的范式本身是损失组合的,在经验风险的向量上运行。它结合了极大极小MTL,它的松弛,和许多新的MTL配方作为特殊情况。我们从理论上表明,极大极小MTL倾向于避免最坏情况下的结果,在新绘制的测试任务的学习学习(LTL)测试设置。在MTL和LTL测试设置中,几种MTL配方对合成和实际问题的结果是令人鼓舞的。
2012-09-13 cs.LG stat.ML
A Survey on Deep Multi-Task Learning in Connected Autonomous Vehicles
Department of Electrical and Computer Engineering, University of Windsor(温莎大学电气与计算机工程系);Department of Electrical and Computer Engineering, Queen’s University(皇后大学电气与计算机工程系)
综述联网自动驾驶车辆中深度多任务学习,涵盖感知、预测、规划、控制及V2X通信与资源管理,分析现有方法优缺点并指出未来方向。
2026-06-05 cs.CV cs.LG cs.RO
MD-MTL: An Ensemble Med-Multi-Task Learning Package for DiseaseScores Prediction and Multi-Level Risk Factor Analysis
University of Toronto(多伦多大学)
虽然许多机器学习方法已用于医疗预测和医疗数据的风险因素分析,但大多数先前的研究都涉及单任务学习(STL)方法。然而,医疗保健研究往往涉及多个相关的任务。例如,同时对多个亚组患者进行疾病评分预测和危险因素分析,同时进行多水平的危险因素分析。在本文中,我们开发了一个新的集成机器学习Python包的基础上的多任务学习(MTL),简称为Med-Multi-Task Learning(MD-MTL)包,并将其应用于预测患者的疾病评分,并在多个亚组的患者同时进行危险因素分析。我们在两个数据集上的实验结果证明了MD-MTL包的实用性,并显示了MTL(与STL相比)在分析组织成不同类别(任务,可以是各种年龄组,不同疾病严重程度等)的数据时的优势。
2021-03-05 cs.LG
An Overview of Multi-Task Learning in Deep Neural Networks
Insight Centre for Data Analytics, NUI Galway(爱尔兰国立大学高威数据分析中心);Aylien Ltd.(Aylien有限公司)
多任务学习(MTL)在机器学习的许多应用中取得了成功,从自然语言处理和语音识别到计算机视觉和药物发现。本文旨在对MTL进行概述,特别是在深度神经网络中。它介绍了深度学习中两种最常见的MTL方法,概述了文献,并讨论了最新进展。特别是,它试图通过阐明MTL的工作原理并提供选择适当辅助任务的指导来帮助ML从业者应用MTL。
2017-06-15 cs.AI cs.LG stat.ML
Resolving Token-Space Gradient Conflicts: Token Space Manipulation for Transformer-Based Multi-Task Learning
KAIST(韩国科学技术院)
本文提出DTME-MTL框架,通过在令牌空间识别梯度冲突并自适应调制与扩展令牌,在不大量增加参数的情况下提升Transformer多任务学习的适应性和性能。
2025-07-21 cs.AI cs.CV cs.LG
MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning
Peking University(北京大学);Nanjing University(南京大学);Microsoft Corporation(微软公司)
针对LoRA在多任务学习中因特征投影至同一低维空间导致任务干扰的问题,提出MTL-LoRA,通过引入任务自适应参数区分任务信息并捕获共享知识,在有限参数下显著提升多任务性能。
2025-04-01 cs.AI cs.CL cs.LG
Multi-Task Learning Based on Support Vector Machines and Twin Support Vector Machines: A Comprehensive Survey
Department of Computer Science, Faculty of Mathematical Sciences, Alzahra University(计算机科学系,数学科学学院,阿扎赫拉大学);Department of Informatics, Faculty of Science, Jan Evangelista Purkyne University(信息系,科学学院,扬·埃万杰利斯塔·普日科夫斯基大学);Department of Computer Engineering, Science and Research Branch, IAU(计算机工程系,科学与研究分支,伊阿大学);Department of Industrial and Systems Engineering, University of Florida(工业与系统工程系,佛罗里达大学)
本文全面综述了基于SVM和TWSVM的多任务学习方法,重点探讨了共享表示、任务正则化与结构耦合策略,对比了各模型的理论与性能,并指出了未来构建可扩展且可解释框架的研究方向。
2025-10-30 cs.LG math.OC
Examining Common Paradigms in Multi-Task Learning
Bosch Center for Artificial Intelligence(博世人工智能中心);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Max Planck ETH Center for Learning Systems(马克斯·普朗克ETH学习系统中心);University of Mannheim(曼海姆大学)
该研究结合单任务学习背景探究多任务学习范式,验证了Adam优化器的关键作用并推导其部分损失尺度不变性,指出梯度幅度差异而非角度对齐是多任务学习的特有问题,发现两类学习存在诸多相似性。
2024-08-15 cs.AI cs.CV cs.LG
Conic Multi-Task Classification
University of Central Florida(中佛罗里达大学);Florida Institute of Technology(佛罗里达理工学院)
传统上,多任务学习(MTL)模型优化任务相关目标函数的平均值,这是一种直观的方法,我们将其称为平均MTL。然而,一个更一般的框架,称为圆锥MTL,可以通过考虑目标函数的圆锥组合来制定;在这个框架中,平均MTL作为一个特殊情况出现,当所有组合系数等于1时。虽然圆锥MTL的优势,平均MTL已在以前的工作中实验证明,没有理论上的理由已提供日期。在本文中,我们推导出一个广义的圆锥MTL方法的范围,并证明了最紧的界限不一定实现,当所有的组合系数等于1,因此,平均MTL可能并不总是最佳的选择,它是重要的是要考虑圆锥MTL。作为推广界的一个副产品,它也从理论上解释了以前相关工作的良好实验结果。最后,我们提出了一个新的圆锥MTL模型,其圆锥组合系数最小化的推广界,而不是选择他们的启发式已经做了在以前的方法。通过一系列实验,与其他几种方法进行比较,证明了该模型的合理性和优越性。
2014-08-20 cs.LG
Digital-twin-enhanced metal tube bending forming real-time prediction method based on Multi-source-input MTL
Zhejiang University(浙江大学)
作为最广泛使用的金属管弯曲方法之一,旋转拉伸弯曲(RDB)工艺能够实现可靠且高精度的金属管弯曲成形(MTBF)。回弹等潜在的成形缺陷严重影响成形精度,其机理分析比较困难。同时,现有的方法主要是在离线空间进行的,忽略了物理世界中的实时信息,这是不可靠和效率低下的。针对这一问题,提出了一种基于多源输入多任务学习(MTL)的数字孪生增强(DT增强)金属管弯曲成形实时的【形】预测方法。该方法可以实现对系统MTBF的实时的【形】综合预测。通过共享多闭域的共同特征,在特征共享层和接受层上采用群正则化策略,保证了多源输入MTL的准确性和效率。通过DT增强,利用改进的Grammy Angle Field(GAF)变换将物理实时的【形】变形数据在图像维度上对齐,实现了对实际加工的反映。与传统的离线预测方法不同,新方法将虚拟数据和物理数据相结合,实现了更高效、更准确的实时预测结果。和物理系统之间的DT映射连接。为了排除设备误差的影响,所提出的方法的有效性进行了验证的物理实验验证的有限元仿真场景。同时,将常用的预训练网络与所提出的方法进行了比较。实验结果表明,该方法具有较高的预测精度和预测效率。
2022-07-03 cs.AI cs.LG
MTL-UE: Learning to Learn Nothing for Multi-Task Learning
本文提出首个统一框架MTL-UE,通过生成器结构、标签先验、类别级特征嵌入及任务内外正则化,为多任务数据和模型生成不可学习样本,并在多个数据集、骨干网络和任务加权策略上验证了其优越的攻击性能。
2025-05-08 cs.CR cs.CV cs.LG
LDC-MTL: Balancing Multi-Task Learning through Scalable Loss Discrepancy Control
Department of Computer Science and Engineering, University at Buffalo(布法罗大学计算机科学与工程系);Amazon.com Inc(亚马逊公司);School of Electrical, Computer and Energy Engineering, Arizona State University(亚利桑那州立大学电气、计算机与能源工程学院)
本文提出LDC-MTL,一种基于双层优化的可扩展损失差异控制方法,以$\u041e(1)$开销实现多任务学习的平衡,并保证收敛到帕累托驻点,实验验证了其高效性和准确性。
2025-09-25 cs.LG
LibMTL: A Python Library for Multi-Task Learning
Southern University of Science and Technology(南方科技大学);Peng Cheng Laboratory(鹏城实验室)
本文介绍了LibMTL,一个基于PyTorch的开源Python库,它为多任务学习(MTL)提供了一个统一的,全面的,可重复的和可扩展的实现框架。LibMTL考虑了MTL中的不同设置和方法,它支持大量最先进的MTL方法,包括12种损失加权策略,7种架构以及84种不同架构和损失加权方法的组合。LibMTL的模块化设计使其易于使用和良好的可扩展性,因此用户可以方便快捷地开发新的MTL方法,与现有的MTL方法进行比较,或者在LibMTL的支持下将MTL算法应用于实际应用。LibMTL的源代码和详细文档可分别在https://github.com/median-research-group/LibMTL和https://libmtl.readthedocs.io上获得。
2022-03-27 cs.LG
Distill-2MD-MTL: Data Distillation based on Multi-Dataset Multi-Domain Multi-Task Frame Work to Solve Face Related Tasksks, Multi Task Learning, Semi-Supervised Learning
Seoul National University(首尔大学)
提出了一种基于多任务学习和数据蒸馏的人脸相关任务半监督学习方法。所提出的方法利用具有不同标签的多个数据集来执行不同但相关的任务,例如同时进行年龄,性别,种族,面部表情估计。具体来说,当多个相关任务中只有少数标记良好的数据时,我们利用不同领域中其他相关任务的标签。我们的方法是由(1)一个新的MTL方法,可以处理弱标记的数据集,并同时执行多个任务,(2)MTL为基础的数据蒸馏框架,使网络泛化的训练和测试数据从不同的领域。实验表明,所提出的多任务系统执行每个任务比基线单任务。它还表明,使用不同的域数据集与主数据集可以提高网络的泛化能力,克服数据集之间的域差异。此外,比较基线和MTL框架上的数据蒸馏,后者对来自不同领域的未标记数据显示出更准确的预测。此外,通过提出一种新的学习率优化方法,我们提出的网络能够动态调整其学习率。
2019-07-09 cs.CV cs.LG
Optimizing Evaluation Metrics for Multi-Task Learning via the Alternating Direction Method of Multipliers
Sun Yat-sen University(中山大学);South China Normal University(华南师范大学)
多任务学习(MTL)的目的是通过利用多个任务之间的共享因素来提高多个任务的泛化性能。各种度量(例如,F-score,ROC曲线下面积)用于评价MTL方法的性能。大多数现有的MTL方法试图最小化分类的误分类误差或回归的均方误差。在本文中,我们提出了一种方法来直接优化的评估指标的一个大家庭的MTL问题。直接优化评估指标的MTL公式是两部分的组合:(1)在所有任务的权重矩阵上定义的正则化器,以捕获这些任务的相关性;(2)多个结构化铰链损失的总和,每个对应于一个任务上的某个评估指标的代理。该公式在优化中具有挑战性,因为它的两个部分都是非光滑的。为了解决这个问题,我们提出了一种新的优化过程的交替方向计划的乘数的基础上,我们分解成一个子问题对应的正则化和另一个子问题对应的结构铰链损失的整个优化问题。对于一个大的MTL问题的家庭,第一个子问题有封闭形式的解决方案。为了解决第二子问题,我们提出了一个有效的原始-对偶算法通过坐标上升。广泛的评估结果表明,在一个大家庭的MTL问题,建议MTL方法的直接优化评价指标具有优越的性能增益对相应的基线方法。
2022-10-12 cs.LG
Multi-Task Learning with Feature-Similarity Laplacian Graphs for Predicting Alzheimer's Disease Progression
School of Software(软件学院);Yunnan University(云南大学);Department of Computer Science(计算机科学系);The University of Sheffield(谢菲尔德大学);Department of Computing(计算系);Xi’an JiaoTong-Liverpool University(西安交通大学利物浦大学);School of Medical Technology(医学技术学院);Beijing Institute of Technology(北京理工大学)
针对现有框架未考虑特征相关性时变特性的问题,提出MTL-FSL框架,通过引入特征相似性拉普拉斯惩罚项建模动态特征关系并结合ADMM算法求解,在ADNI数据集上实现了最先进的AD进展预测性能。
2025-10-12 cs.AI cs.LG
Multi-Task Learning with Deep Neural Networks: A Survey
George Mason University(乔治梅森大学);Department of Computer Science(计算机科学系)
多任务学习(MTL)是机器学习的一个分支,其中多个任务通过共享模型同时学习。这种方法提供了一些优点,例如提高数据效率,通过共享表示减少过拟合,以及通过利用辅助信息快速学习。然而,多个任务的同时学习提出了新的设计和优化挑战,选择哪些任务应该联合学习本身就是一个重要的问题。在本综述中,我们概述了深度神经网络的多任务学习方法,旨在总结该领域内成熟的和最新的方向。我们的讨论是根据现有的深度MTL技术分为三组:架构,优化方法和任务关系学习。我们还提供了常见的多任务基准测试的摘要。
2020-09-10 cs.CV cs.LG stat.ML
Multi-task learning via robust regularized clustering with non-convex group penalties
Graduate School of Mathematics, Kyushu University(九州大学大学院数理学府);Faculty of Mathematics, Kyushu University(九州大学数理学部)
针对多任务学习中忽略异常任务的问题,提出MTLRRC方法,结合鲁棒正则化聚类与非凸组惩罚,实现鲁棒任务聚类与异常检测,并通过模拟和实际数据验证其有效性。
2024-05-27 cs.LG stat.ME stat.ML
Monotonic Transformation Invariant Multi-task Learning
The University of Texas at Austin, TX 78712, USA(德克萨斯大学奥斯汀分校)
本文提出DiBS-MTL方法,通过单调变换不变性提升多任务学习的鲁棒性,实验证明其在非凸任务损失场景下具有优越性能。
2026-02-02 cs.LG
When Multi-Task Learning Meets Partial Supervision: A Computer Vision Review
King’s College London(伦敦国王学院);University of Luxembourg(卢森堡大学);Tongji University(同济大学);Shanghai Institute of Intelligent Science and Technology, Tongji University(同济大学上海智能科学与技术研究院)
本综述探讨了多任务学习在部分监督设置下如何应对复杂优化和高标注要求的挑战,系统分析了参数共享、任务分组及部分监督方法,并提供了相关数据集与基准测试结果。
2024-08-28 cs.AI cs.CV cs.LG
Hierarchical Multi-Task Learning Framework for Session-based Recommendations
Georgia Institute of Technology(佐治亚理工学院);The Home Depot(家得宝)
本文提出HierSRec,首次将分层多任务学习架构引入基于会话的推荐系统,通过元数据感知Transformer结合下一类别预测辅助任务来优化下一项目预测主任务,提升了推荐准确率和推理可扩展性。
2023-09-12 cs.AI cs.IR cs.LG
Multi-task learning for natural language processing in the 2020s: where are we going?
University of Colorado Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校)
多任务学习(MTL)在深度学习时代之前就已经存在,并且在过去几年中已经出现了复苏,因为研究人员一直在将MTL应用于自然语言任务的深度学习解决方案。虽然稳定的MTL研究一直存在,但在迁移学习和预训练相关领域发表的令人印象深刻的成功(如BERT)以及新挑战问题的发布(如GLUE和NLP十项全能(decaNLP))的推动下,人们的兴趣越来越大。这些努力更多地关注如何在网络之间共享权重,评估网络组件的可重用性,并确定MTL可以显着优于单任务解决方案的用例。本文致力于提供一个全面的调查的众多最近的MTL的贡献领域的自然语言处理,并提供一个论坛,集中精力在最困难的未解决的问题,在未来十年。虽然不断产生新的模型来提高NLP基准测试的性能,但长期的MTL挑战仍然没有解决,这可能是更好的语言理解,知识发现和自然语言接口的关键。
2020-07-22 cs.CL cs.LG
Emerging Relation Network and Task Embedding for Multi-Task Regression Problems
University of Kassel(卡塞尔大学)
多任务学习(mtl)在计算机视觉和自然语言处理的许多应用中提供了最先进的结果。与单任务学习(stl)不同,mtl允许利用相关任务之间的知识来改善主任务(与辅助任务相比)或所有任务的预测结果。然而,考虑到mtl的最新进展,将mtl架构应用于回归和时间序列问题的比较研究数量有限。一个有趣的非线性问题是预测可再生能源发电厂的预期发电量。因此,本文对以下最新且重要的mtl架构进行了比较研究:硬参数共享、十字绣网络、水闸网络(SN)。他们比较了一个多层感知器模型的相似大小的stl设置。此外,我们提供了一个简单的,但有效的方法来建模任务特定的信息,通过嵌入层在多层感知器,称为任务嵌入。此外,我们还介绍了一种新的多目标语言体系结构新兴关系网络(ern),它可以被认为是水闸网络的扩展。对于太阳能数据集,任务嵌入实现了14.9%的最佳平均改善。太阳数据集上的ern和sn的平均改善幅度相似,分别为14.7%和14.8%。在风力发电数据集上,只有ern实现了高达7.7%的显着改善。结果表明,ern是有益的,当任务只是松散相关的预测问题是更加非线性。相反,所提出的任务嵌入是有利的,当任务是强相关的。此外,任务嵌入提供了一种有效的方法,与其他mtl架构相比,减少了计算工作量。
2020-04-29 cs.AI cs.LG stat.ML
Speech Representation Learning Through Self-supervised Pretraining And Multi-task Finetuning
语音表征学习在语音处理中起着至关重要的作用。其中,自监督学习(SSL)已经成为一个重要的研究方向。事实证明,SSL预训练模型可以在语音处理的各种下游任务中实现出色的性能。另一方面,监督多任务学习(MTL)是另一种表示学习范式,已被证明在计算机视觉(CV)和自然语言处理(NLP)中有效。然而,在语音处理中,还没有系统的研究,一般表示学习模型的监督MTL训练。在本文中,我们证明了MTL微调可以进一步改善SSL预训练。我们分析了有监督的MTL微调的可推广性,以检查通过MTL微调学习的语音表示是否可以推广到看不见的新任务。
2021-10-18 cs.AI cs.CL cs.LG
Adaptive Shared Experts with LoRA-Based Mixture of Experts for Multi-Task Learning
针对现有MoE-MTL方法单任务转多任务时适配冗余、知识共享低效的问题,提出带自适应共享专家的LoRA基MoE及细粒度专家设计,在PASCAL-Context基准上验证了性能提升效果。
2025-10-01 cs.AI cs.CV cs.LG
Task Grouping for Automated Multi-Task Machine Learning via Task Affinity Prediction
Pennsylvania State University(宾夕法尼亚州立大学);Vanderbilt University(范德比尔特大学)
本文提出一种基于任务亲和力预测的自动化任务分组方法,通过分析任务特征和单任务学习特性构建预测器,并结合随机搜索算法减少多任务训练次数,从而在多个基准数据集上找到优于现有基线的任务分组方案。
2023-10-24 cs.LG
MTL-MAD: Multi-Task Learners are Effective Medical Anomaly Detectors
Rayscape;University of Bucharest(布加勒斯特大学);Polytechnic University of Timişoara(蒂米什瓦拉工业大学);Colţea Clinical Hospital(科尔切亚医院);Carol Davila University of Medicine and Pharmacy(卡罗尔·迪瓦ila医学院和药理学大学)
本文提出基于MoE的多任务学习模型,通过自监督和伪标签任务学习,有效检测医学图像中的异常,优于现有方法,并生成可解释的异常图。
2026-05-07 cs.AI cs.CV cs.LG
Rep-MTL: Unleashing the Power of Representation-level Task Saliency for Multi-Task Learning
The Hong Kong University of Science and Technology(香港科技大学);Zhejiang University(浙江大学)
针对多任务优化偏重梯度冲突而忽视共享表征互补的问题,本文提出Rep-MTL,通过表征级任务显著性、熵惩罚和样本级跨任务对齐缓解负迁移并促进共享。
2025-07-28 cs.CV cs.LG
Multi-Task Learning as a Bargaining Game
Bar-Ilan University(巴伊兰大学);Nvidia(英伟达);National University of Singapore(新加坡国立大学)
在多任务学习(MTL)中,联合模型被训练为同时对多个任务进行预测。联合训练降低了计算成本并提高了数据效率;然而,由于这些不同任务的梯度可能会冲突,因此训练MTL的联合模型通常会比相应的单任务模型产生更低的性能。缓解此问题的常用方法是使用特定的启发式将每个任务的梯度组合到联合更新方向中。在本文中,我们建议将梯度组合步骤视为一个讨价还价的游戏,其中任务进行协商,以达成一项协议的参数更新的联合方向。在某些假设下,讨价还价问题有一个独特的解决方案,称为纳什讨价还价解决方案,我们建议使用它作为多任务学习的原则方法。我们描述了一个新的MTL优化过程,纳什MTL,并推导出其收敛性的理论保证。从经验上讲,我们表明,纳什MTL在多个领域的MTL基准测试中取得了最先进的结果。
2022-07-08 cs.GT cs.LG
Model-Protected Multi-Task Learning
Tsinghua University(清华大学);Xi’an Jiaotong University(西安交通大学);Michigan State University(密歇根州立大学);University of California, San Diego(加利福尼亚大学圣迭戈分校);Weill Cornell Medical College(威尔康奈尔医学院)
多任务学习(MTL)是指将多个相关任务一起学习的范式。相反,在单任务学习(STL)中,每个任务都是独立学习的。MTL通常会导致更好的训练模型,因为它们可以利用相关任务之间的共性。然而,由于MTL算法可以“泄漏”跨不同任务的不同模型的信息,MTL构成了潜在的安全风险。具体而言,攻击者可以通过一个任务参与MTL过程,从而获得另一个任务的模型信息。先前提出的隐私保护MTL方法保护的是数据实例而不是模型,与STL方法相比,其中一些方法可能表现不佳。在本文中,我们提出了一个隐私保护的MTL框架,以防止信息从每个模型泄漏到其他模型的基础上扰动的协方差阵的模型矩阵。我们研究了两种流行的MTL方法的实例化,即学习模型矩阵的低秩和组稀疏模式。我们的算法可以保证不低于STL方法相比。我们建立我们的方法的基础上工具的差异隐私,隐私保证,效用界限提供,并考虑异构隐私预算。实验表明,我们的算法优于现有的隐私保护MTL方法构建的基线方法上提出的模型保护问题。
2019-07-02 cs.CR cs.LG stat.ML
Can Optimization Trajectories Explain Multi-Task Transfer?
Johns Hopkins University(约翰斯·霍普金斯大学)
本文通过实证研究多任务学习(MTL)对任务优化的影响,发现MTL在训练早期产生泛化差距,但传统优化轨迹因素无法解释该差距,且梯度冲突不能预测泛化,揭示了MTL失败原因并质疑通用多任务优化算法的作用。
2025-01-30 cs.LG
MTL-KD: Multi-Task Learning Via Knowledge Distillation for Generalizable Neural Vehicle Routing Solver
College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机科学与软件工程学院);School of Automation and Intelligent Manufacturing, Southern University of Science and Technology(南方科技大学自动化与智能制造学院);Guangdong Provincial Key Laboratory of Fully Actuated System Control Theory and Technology, Southern University of Science and Technology(广东省全驱动系统控制理论与技术重点实验室,南方科技大学);Department of Industrial Engineering and Innovation Sciences, Eindhoven University of Technology(埃因霍温理工大学工业工程与创新科学系)
本文提出MTL-KD方法,通过知识蒸馏将多个单任务强化学习模型的策略知识转移到单一重型解码器中,并引入R3C推理策略,实现了在多达1000个节点的多种VRP变体上具有强泛化能力的多任务求解。
2025-11-04 cs.LG
Heterogeneous Multi-task Learning with Expert Diversity
Simon Fraser University(西蒙弗雷泽大学);Borealis AI
预测多个异质生物和医学目标是传统深度学习模型的挑战。与为每个目标训练单独模型的单任务学习相反,多任务学习(MTL)优化单个模型以同时预测多个相关目标。为了解决这一挑战,我们提出了多门混合专家与排他性(MMoEEx)。我们的工作旨在解决异构MTL设置,其中相同的模型优化具有不同特征的多个任务。由于在平衡共享和特定于任务的表示方面的挑战以及优化具有竞争优化路径的任务的需要,这样的场景可能压倒当前的MTL方法。我们的方法有两个关键贡献:首先,我们引入了一种方法来诱导专家之间的更多多样性,从而创建更适合高度不平衡和异构MTL学习的表示;其次,我们采用两步优化方法[6,11]来平衡梯度级别的任务。我们在三个MTL基准数据集上验证了我们的方法,包括重症监护医学信息市场(MIMIC-III)和PubChem BioAssay(PCBA)。
2022-05-27 cs.LG
Exceeding the Limits of Visual-Linguistic Multi-Task Learning
Rice University(莱斯大学);Salesforce Einstein(Salesforce爱因斯坦)
通过利用从数百个实时电子商务网站收集的大量产品数据,我们构建了1000个独特的分类任务,这些任务共享由文本和图像组成的相似结构的输入数据。这些分类任务的重点是学习不同电子商务网站的产品层次结构,导致其中许多是相关的。采用多模态Transformer模型,我们使用多任务学习(MTL)来统一解决这些任务。在最初的100个任务数据集上进行了广泛的实验,以揭示“大规模MTL”的最佳实践(即,MTL有100多个任务)。从这些实验中,一个最终的,统一的方法,这是由最佳实践和新的建议,如DyPa,一个简单的启发式自动分配任务特定的参数,可以受益于额外的能力的任务。使用我们的大规模MTL方法,我们成功地训练了一个单一的模型,在我们的数据集中的所有1000个任务,同时使用最小的任务特定的参数,从而表明,它是可能的扩展几个数量级超出目前的努力在MTL。
2021-07-27 cs.AI cs.CL cs.CV
STG-MTL: Scalable Task Grouping for Multi-Task Learning Using Data Map
Nile University(尼罗河大学);Hugging Face
针对多任务学习任务分组指数级搜索导致的可扩展性难题,提出基于数据图谱的数据驱动分组方法,理论证明可扩展性更优,实验在CIFAR100上支持多达100个任务,性能更好且分组合理。
2024-05-26 cs.LG
Multi-task Learning Of Deep Neural Networks For Audio Visual Automatic Speech Recognition
Samsung R\&D Institute India, Bangalore
多任务学习(MTL)涉及在共享表征上同时训练两个或多个相关任务。在这项工作中,我们应用MTL的视听自动语音识别(AV-ASR)。我们的主要任务是学习视听融合特征与从声学GMM/HMM模型获得的帧标签之间的映射。这是一个辅助任务相结合的视觉特征映射到帧标签从一个单独的视觉GMM/HMM模型。MTL模型进行了测试,在不同级别的串音噪声和结果进行了比较,与基线混合DNN-HMM AV-ASR模型。我们的研究结果表明,MTL是特别有用的,在较高的噪声水平。与基线相比,在-3SNR dB处报告了高达7%的WER相对改善
2017-01-10 cs.AI cs.CL cs.CV
ISAM-MTL: Cross-subject multi-task learning model with identifiable spikes and associative memory networks
School of Future Technology, South China University of Technology(华南理工大学未来技术学院);School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(华中科技大学人工智能与自动化学院)
本文提出ISAM-MTL模型,结合可识别脉冲表示与双向联想记忆网络解决跨被试EEG分类问题,提升了分类准确率与少样本学习能力,并降低了被试间的性能差异。
2025-01-30 cs.LG cs.NE q-bio.NC
Delve into the Applicability of Advanced Optimizers for Multi-Task Learning
Nanyang Technological University(南洋理工大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));School of Artificial Intelligence, Shanghai Jiao Tong University(上海交通大学人工智能学院)
本文研究了先进优化器在多任务学习中的应用,提出APT框架通过自适应动量机制平衡优化器与多任务学习的强项,并引入轻方向保持方法提升Muon的正交化效果,实验表明APT显著提升了多任务学习性能。
2026-04-10 cs.LG
Local Rademacher Complexity-based Learning Guarantees for Multi-Task Learning
University of Central Florida(中佛罗里达大学);Florida Institute of Technology(佛罗里达理工学院)
我们展示了多任务学习(MTL)的Talagrand型浓度不等式,使用该不等式,我们建立了MTL的局部Rademacher复杂性(LRC)的分布和数据依赖版本的急剧超额风险界限。我们还给出了一个新的约束的LRC的范数正则化以及强凸假设类,这不仅适用于MTL,但也标准的i.i.d.设置.结合这两个结果,现在可以轻松推导出许多著名MTL方法的超额风险的快速界限,包括--正如我们所展示的--Schatten范数、群范数和图正则化MTL。导出的界限反映了一个关系akeen的渐近收敛速度的守恒定律。正是这种关系允许在较慢的利率上进行权衡。当与通过传统的全局Rademacher分析获得的速率相比时,相对于每个任务的可用样本数,更快速率的任务数。
2017-02-09 cs.LG
CORE-MTL: Rethinking Gradient Balancing via Causal Orthogonal Representations
Tsinghua University(清华大学)
提出CORE-MTL框架,通过因果正交表示将共享表示分解为语义流和残差流,以分离任务相关结构与虚假上下文,从而减少负迁移并提升泛化能力。
2026-06-01 cs.CV cs.LG
FairBranch: Mitigating Bias Transfer in Fair Multi-task Learning
Free University of Berlin(柏林自由大学);Information Technologies Institute, CERTH(CERTH信息技术研究所);Bundeswehr University, Munich(慕尼黑联邦国防军大学)
针对多任务学习中的负迁移和偏见迁移问题,提出FairBranch方法,通过参数相似性分支分组相关任务并校正公平性梯度冲突,在准确率和公平性上均优于现有方法。
2024-09-24 cs.CY cs.LG
A Comprehensive Evaluation of Multi-task Learning and Multi-task Pre-training on EHR Time-series Data
MIT(麻省理工学院);University of Toronto(多伦多大学);NYU(纽约大学);Vector Institute(Vector研究所);SickKids(病童医院)
多任务学习(MTL)是一种机器学习技术,旨在通过利用跨多个任务的信息来提高模型性能。它已被广泛用于各种数据模式,包括电子健康记录(EHR)数据。然而,尽管大量使用EHR数据,很少有系统的调查MTL的效用在不同的可能的任务和培训计划的利益在医疗保健。在这项工作中,我们检查MTL跨电池的任务EHR时间序列数据。我们发现,虽然MTL确实遭受常见的负迁移,但我们可以通过MTL预训练结合单任务微调来实现显着的收益。我们证明了这些收益可以以任务独立的方式实现,并且不仅在传统学习下提供了微小的改进,而且在少样本学习环境中也有显着的收益,从而表明这可能是一种可扩展的工具,可以在重要的医疗保健环境中提供更好的性能。
2020-07-20 cs.LG stat.ML
MTL-Split: Multi-Task Learning for Edge Devices using Split Computing
University of Verona(维罗纳大学);The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
针对边缘设备计算资源受限场景下多任务DNN在分割计算框架中的划分研究不足的问题,提出新型架构MTL-Split,在合成与真实数据上均取得良好效果。
2024-07-08 cs.CV cs.DC cs.LG
Representation Surgery for Multi-Task Model Merging
Northeastern University(东北大学);Sun Yat-sen University(中山大学);JD Explore Academy(京东探索研究院);University of Maryland(马里兰大学);Shenzhen University(深圳大学);Nanyang Technological University(南洋理工大学)
本文提出表示手术(Surgery)模块,通过无监督优化减少合并模型与个体模型的表示偏差,显著提升多任务模型合并性能。
2024-05-28 cs.AI cs.CV cs.LG
Multi-Faceted Hierarchical Multi-Task Learning for a Large Number of Tasks with Multi-dimensional Relations
Tencent(腾讯)
关于如何提高多任务学习中共享学习的效率已经有很多研究。以前的工作集中在“微”共享的角度为少数任务,而在推荐系统(RS)和其他人工智能应用程序中,往往有大量的任务建模与多维任务关系的需求。例如,当使用MTL在RS中对各种用户行为进行建模时,如果我们将新用户和新项目与旧项目区分开,则会出现具有多维关系的任务的Carnival产品风格增加。本文从“宏观”的角度研究共享学习网络的设计,提出了一个多层面层次的MTL模型(MFH)。MFH采用嵌套的层次树结构,充分利用了多维任务关系,最大限度地提高了共享学习能力。我们在一个拥有100亿样本的大型行业视频平台上对MFH和SOTA模型进行了评估,结果表明,MFH在所有用户组的离线和在线评估中均显著优于SOTA MTL模型,特别是对于新用户而言,其在线时间增加了9.1%,次日留存率增加了1.85%。MFH已经应用于一个大规模的在线视频推荐系统中。MFH特别有利于RS中的冷启动问题,其中新用户和新项目经常遭受“局部过拟合”现象。然而,这个想法实际上是通用的,广泛适用于其他MTL场景。
2021-10-26 cs.LG