Extending Unsupervised Neural Image Compression With Supervised Multitask Learning
Radboud University Medical Center(拉德堡德大学医学中心);Erasmus MC Cancer Institute(伊拉斯谟MC癌症研究所);Facebook AI Research(Facebook人工智能研究院)
我们专注于在千兆像素组织病理学图像上训练卷积神经网络来预测图像级目标的问题。为此,我们扩展了神经图像压缩(NIC),一个图像压缩框架,使用未经监督训练的编码器网络降低这些图像的维数。我们建议使用监督多任务学习(MTL)来训练这个编码器。我们将建议的MTL NIC应用于两个组织病理学数据集和三个任务。首先,我们在2016年肿瘤增殖评估挑战(TUPAC16)中获得了最先进的结果。其次,我们成功地分类了结直肠癌肝转移(CLM)的图像组织病理学生长模式。第三,我们通过直接从相同CLM数据的总生存期中学习来预测患者的死亡风险。我们的实验结果表明,MTL目标学习到的表示是:(1)高度特定的,由于监督训练信号,(2)可转移的,因为相同的特征在不同的任务中表现良好。此外,我们训练了具有不同训练目标的多个编码器,例如无监督和MTL变体,并观察到MTL中的任务数量与TUPAC 16数据集上的系统性能之间存在正相关性。
2020-04-15 cs.CV cs.LG eess.IV
Multi-Task Learning with Feature-Similarity Laplacian Graphs for Predicting Alzheimer's Disease Progression
School of Software(软件学院);Yunnan University(云南大学);Department of Computer Science(计算机科学系);The University of Sheffield(谢菲尔德大学);Department of Computing(计算系);Xi’an JiaoTong-Liverpool University(西安交通大学利物浦大学);School of Medical Technology(医学技术学院);Beijing Institute of Technology(北京理工大学)
针对现有框架未考虑特征相关性时变特性的问题,提出MTL-FSL框架,通过引入特征相似性拉普拉斯惩罚项建模动态特征关系并结合ADMM算法求解,在ADNI数据集上实现了最先进的AD进展预测性能。
2025-10-12 cs.AI cs.LG
Multi-Relational Graph based Heterogeneous Multi-Task Learning in Community Question Answering
HKUST(香港科技大学);Paradigm Inc.(第四范式公司);Tencent Technology (SZ) Co., Ltd.(腾讯科技(深圳)有限公司)
人们提出了各种数据采掘任务来研究Stack Overflow等社区问答(CQA)平台。其中一些任务之间的相关性通过多任务学习(MTL)相互提供有用的学习信号。然而,由于这些任务的高度异构性,很少有现有的作品管理,以共同解决它们在一个统一的框架。为了解决这个问题,我们开发了一个多关系图为基础的MTL模型称为异构多任务图同构网络(HMTGIN),有效地解决异构CQA任务。在每个训练前向传递中,HMTGIN通过图同构网络的扩展和跳过连接来嵌入输入CQA论坛图。然后,嵌入在所有特定于任务的输出层之间共享,以计算相应的损失。此外,两个跨任务的约束条件的基础上的领域知识的任务之间的关系,以规范的联合学习。在评估中,嵌入在不同的特定于任务的输出层之间共享,以做出相应的预测。据我们所知,HMTGIN是第一个能够从多关系图方面处理CQA任务的MTL模型。为了评估HMTGIN的有效性,我们构建了一个新的大规模多关系图CQA数据集,其中包含来自Stack Overflow的超过200万个节点。大量的实验表明:$(1)$ HMTGIN在五个任务上优于所有基线; $(2)$建议的MTL策略和跨任务约束具有实质性优势。
2021-09-04 cs.AI cs.CL cs.LG
Minimax Multi-Task Learning and a Generalized Loss-Compositional Paradigm for MTL
Georgia Institute of Technology(佐治亚理工学院);GE Global Research(通用电气全球研究中心)
自成立以来,多任务学习(MTL)的工作方式一直是最小化任务明智的经验风险的平均值。我们介绍了一个广义的损失组成的MTL的范例,其中包括一系列的配方作为一个子类。这个频谱的一个端点是极小极大MTL:一个新的MTL公式,最大限度地减少任务的经验风险。通过对极大极小MTL的某种松弛,我们得到了一个跨越极大极小MTL和经典MTL的MTL连续体。完整的范式本身是损失组合的,在经验风险的向量上运行。它结合了极大极小MTL,它的松弛,和许多新的MTL配方作为特殊情况。我们从理论上表明,极大极小MTL倾向于避免最坏情况下的结果,在新绘制的测试任务的学习学习(LTL)测试设置。在MTL和LTL测试设置中,几种MTL配方对合成和实际问题的结果是令人鼓舞的。
2012-09-13 cs.LG stat.ML
Conic Multi-Task Classification
University of Central Florida(中佛罗里达大学);Florida Institute of Technology(佛罗里达理工学院)
传统上,多任务学习(MTL)模型优化任务相关目标函数的平均值,这是一种直观的方法,我们将其称为平均MTL。然而,一个更一般的框架,称为圆锥MTL,可以通过考虑目标函数的圆锥组合来制定;在这个框架中,平均MTL作为一个特殊情况出现,当所有组合系数等于1时。虽然圆锥MTL的优势,平均MTL已在以前的工作中实验证明,没有理论上的理由已提供日期。在本文中,我们推导出一个广义的圆锥MTL方法的范围,并证明了最紧的界限不一定实现,当所有的组合系数等于1,因此,平均MTL可能并不总是最佳的选择,它是重要的是要考虑圆锥MTL。作为推广界的一个副产品,它也从理论上解释了以前相关工作的良好实验结果。最后,我们提出了一个新的圆锥MTL模型,其圆锥组合系数最小化的推广界,而不是选择他们的启发式已经做了在以前的方法。通过一系列实验,与其他几种方法进行比较,证明了该模型的合理性和优越性。
2014-08-20 cs.LG
MTL-UE: Learning to Learn Nothing for Multi-Task Learning
本文提出首个统一框架MTL-UE,通过生成器结构、标签先验、类别级特征嵌入及任务内外正则化,为多任务数据和模型生成不可学习样本,并在多个数据集、骨干网络和任务加权策略上验证了其优越的攻击性能。
2025-05-08 cs.CR cs.CV cs.LG
LDC-MTL: Balancing Multi-Task Learning through Scalable Loss Discrepancy Control
Department of Computer Science and Engineering, University at Buffalo(布法罗大学计算机科学与工程系);Amazon.com Inc(亚马逊公司);School of Electrical, Computer and Energy Engineering, Arizona State University(亚利桑那州立大学电气、计算机与能源工程学院)
本文提出LDC-MTL,一种基于双层优化的可扩展损失差异控制方法,以$\u041e(1)$开销实现多任务学习的平衡,并保证收敛到帕累托驻点,实验验证了其高效性和准确性。
2025-09-25 cs.LG
LibMTL: A Python Library for Multi-Task Learning
Southern University of Science and Technology(南方科技大学);Peng Cheng Laboratory(鹏城实验室)
本文介绍了LibMTL,一个基于PyTorch的开源Python库,它为多任务学习(MTL)提供了一个统一的,全面的,可重复的和可扩展的实现框架。LibMTL考虑了MTL中的不同设置和方法,它支持大量最先进的MTL方法,包括12种损失加权策略,7种架构以及84种不同架构和损失加权方法的组合。LibMTL的模块化设计使其易于使用和良好的可扩展性,因此用户可以方便快捷地开发新的MTL方法,与现有的MTL方法进行比较,或者在LibMTL的支持下将MTL算法应用于实际应用。LibMTL的源代码和详细文档可分别在https://github.com/median-research-group/LibMTL和https://libmtl.readthedocs.io上获得。
2022-03-27 cs.LG
MTLComb: multi-task learning combining regression and classification tasks for joint feature selection
Heidelberg University(海德堡大学);Central Institute of Mental Health(中央心理健康研究所);Hector Institute for Artificial Intelligence in Psychiatry(赫克托精神病学人工智能研究所)
针对混合任务类型的多任务学习因损失量级差异导致联合特征选择有偏差的问题,提出可证明最优的损失加权方案,构建了含完整流程的MTLComb算法包,经模拟和生物医学数据验证有效。
2024-05-16 cs.AI cs.LG q-bio.BM
MTLoRA: A Low-Rank Adaptation Approach for Efficient Multi-Task Learning
Brown University(布朗大学)
本文提出MTLoRA框架,通过任务无关与任务特定低秩适配模块解耦多任务学习微调参数空间,在PASCAL数据集上以更少可训练参数超越全量微调和现有参数高效方法。
2024-03-29 cs.AI cs.CV cs.LG
MTL-Split: Multi-Task Learning for Edge Devices using Split Computing
University of Verona(维罗纳大学);The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
针对边缘设备计算资源受限场景下多任务DNN在分割计算框架中的划分研究不足的问题,提出新型架构MTL-Split,在合成与真实数据上均取得良好效果。
2024-07-08 cs.CV cs.DC cs.LG
Optimizing Evaluation Metrics for Multi-Task Learning via the Alternating Direction Method of Multipliers
Sun Yat-sen University(中山大学);South China Normal University(华南师范大学)
多任务学习(MTL)的目的是通过利用多个任务之间的共享因素来提高多个任务的泛化性能。各种度量(例如,F-score,ROC曲线下面积)用于评价MTL方法的性能。大多数现有的MTL方法试图最小化分类的误分类误差或回归的均方误差。在本文中,我们提出了一种方法来直接优化的评估指标的一个大家庭的MTL问题。直接优化评估指标的MTL公式是两部分的组合:(1)在所有任务的权重矩阵上定义的正则化器,以捕获这些任务的相关性;(2)多个结构化铰链损失的总和,每个对应于一个任务上的某个评估指标的代理。该公式在优化中具有挑战性,因为它的两个部分都是非光滑的。为了解决这个问题,我们提出了一种新的优化过程的交替方向计划的乘数的基础上,我们分解成一个子问题对应的正则化和另一个子问题对应的结构铰链损失的整个优化问题。对于一个大的MTL问题的家庭,第一个子问题有封闭形式的解决方案。为了解决第二子问题,我们提出了一个有效的原始-对偶算法通过坐标上升。广泛的评估结果表明,在一个大家庭的MTL问题,建议MTL方法的直接优化评价指标具有优越的性能增益对相应的基线方法。
2022-10-12 cs.LG
Measuring Fine-Grained Relatedness in Multitask Learning via Data Attribution
University of California San Diego(加州大学圣地亚哥分校);Carnegie Mellon University(卡内基梅隆大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出多任务影响函数(MTIF),将数据归因扩展至多任务学习以测量实例级任务相关性,并借此设计数据选择策略有效缓解负迁移,持续提升模型性能。
2025-05-27 cs.LG
Multi-task learning via robust regularized clustering with non-convex group penalties
Graduate School of Mathematics, Kyushu University(九州大学大学院数理学府);Faculty of Mathematics, Kyushu University(九州大学数理学部)
针对多任务学习中忽略异常任务的问题,提出MTLRRC方法,结合鲁棒正则化聚类与非凸组惩罚,实现鲁棒任务聚类与异常检测,并通过模拟和实际数据验证其有效性。
2024-05-27 cs.LG stat.ME stat.ML
Multi-Task Recommendations with Reinforcement Learning
City University of Hong Kong(香港城市大学);Kuaishou Technology(快手科技)
近年来,多任务学习(MTL)在推荐系统(RS)应用中取得了巨大的成功。然而,目前基于MTL的推荐模型往往忽视用户-项目交互的会话模式,因为它们主要是基于项目数据集构建的。此外,平衡多个目标一直是该领域的一个挑战,在现有的工作中,这通常是通过线性估计来避免的。为了解决这些问题,在本文中,我们提出了一个强化学习(RL)增强MTL框架,即RMTL,结合不同的推荐任务的损失使用动态权重。具体而言,RMTL结构可以通过以下方式解决上述两个问题:(i)从会话交互构建MTL环境,以及(ii)训练多任务行动者-批评者网络结构,其与大多数现有的基于MTL的推荐模型兼容,以及(iii)使用批评者网络生成的权重优化和微调MTL损失函数。在两个真实世界的公共数据集上的实验证明了RMTL的有效性,具有更高的AUC对最先进的基于MTL的推荐模型。此外,我们评估和验证RMTL的兼容性和跨各种MTL模型的可移植性。
2023-03-10 cs.IR cs.LG
A Survey on Multi-Task Learning
Southern University of Science and Technology(南方科技大学);Hong Kong University of Science and Technology(香港科技大学)
多任务学习(MTL)是机器学习中的一种学习范式,其目的是利用多个相关任务中包含的有用信息来帮助提高所有任务的泛化性能。本文从算法建模、应用和理论分析三个方面对多目标线性映射进行了综述。在算法建模方面,首先给出了MTL的定义,然后将MTL算法分为特征学习方法、低秩方法、任务聚类方法、任务关系学习方法和分解方法,并讨论了每种方法的特点。为了进一步提高学习任务的性能,MTL可以与其他学习范式相结合,包括半监督学习,主动学习,无监督学习,强化学习,多视图学习和图形模型。当任务数量很大或数据维数很高时,我们回顾了在线,并行和分布式MTL模型以及降维和特征散列,以揭示其计算和存储优势。许多现实世界中的应用程序使用MTL来提高其性能,我们在本文中审查的代表性工作。最后,我们提出了理论分析,并讨论了几个未来的方向MTL。
2021-03-29 cs.AI cs.LG
Monotonic Transformation Invariant Multi-task Learning
The University of Texas at Austin, TX 78712, USA(德克萨斯大学奥斯汀分校)
本文提出DiBS-MTL方法,通过单调变换不变性提升多任务学习的鲁棒性,实验证明其在非凸任务损失场景下具有优越性能。
2026-02-02 cs.LG
Independent Component Alignment for Multi-Task Learning
Samsung Research(三星研究院)
本文提出Aligned-MTL方法,利用梯度线性系统条件数作为稳定性判据,通过对齐梯度正交成分缓解多任务学习中的梯度冲突与主导问题,并支持预定义任务权重,在多个视觉与强化学习基准上持续提升性能。
2023-05-30 cs.CV cs.LG
An Overview of Multi-Task Learning in Deep Neural Networks
Insight Centre for Data Analytics, NUI Galway(爱尔兰国立大学高威数据分析中心);Aylien Ltd.(Aylien有限公司)
多任务学习(MTL)在机器学习的许多应用中取得了成功,从自然语言处理和语音识别到计算机视觉和药物发现。本文旨在对MTL进行概述,特别是在深度神经网络中。它介绍了深度学习中两种最常见的MTL方法,概述了文献,并讨论了最新进展。特别是,它试图通过阐明MTL的工作原理并提供选择适当辅助任务的指导来帮助ML从业者应用MTL。
2017-06-15 cs.AI cs.LG stat.ML
Resolving Token-Space Gradient Conflicts: Token Space Manipulation for Transformer-Based Multi-Task Learning
KAIST(韩国科学技术院)
本文提出DTME-MTL框架,通过在令牌空间识别梯度冲突并自适应调制与扩展令牌,在不大量增加参数的情况下提升Transformer多任务学习的适应性和性能。
2025-07-21 cs.AI cs.CV cs.LG
Improving Multi-Task Generalization via Regularizing Spurious Correlation
University of California, Los Angeles(加州大学洛杉矶分校);Google Research(谷歌研究院)
多任务学习(MTL)是一种通过知识共享来提高泛化性能的强大学习范式。然而,现有的研究发现,MTL有时会损害概括,特别是当两个任务相关性较低时。损害泛化的一个可能原因是虚假相关,即,有些知识是虚假的,与任务标签没有因果关系,但模型可能错误地利用它们,因此当这种相关性发生变化时,模型就会失败。在MTL设置中,存在伪相关的几个独特挑战。首先,具有非因果知识的风险更高,因为共享的MTL模型需要对来自不同任务的所有知识进行编码,并且一个任务的因果知识可能对另一个任务是虚假的。第二,任务标签之间的混淆给MTL带来了不同类型的虚假相关。我们从理论上证明了MTL比单任务学习更倾向于从其他任务中获取非因果知识,从而概括性更差。针对这一问题,本文提出了多任务因果表示学习框架,旨在通过分解神经模块来表示多任务知识,并通过特定于MTL的不变正则化来学习哪个模块与每个任务有因果关系。实验结果表明,通过缓解虚假相关问题,MTL模型的性能比Multi-MNIST,MovieLens,Taskonomy,CityScape和NYUv 2平均提高了5.5%。
2022-11-24 cs.AI cs.LG
MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning
Peking University(北京大学);Nanjing University(南京大学);Microsoft Corporation(微软公司)
针对LoRA在多任务学习中因特征投影至同一低维空间导致任务干扰的问题,提出MTL-LoRA,通过引入任务自适应参数区分任务信息并捕获共享知识,在有限参数下显著提升多任务性能。
2025-04-01 cs.AI cs.CL cs.LG
Task Grouping for Automated Multi-Task Machine Learning via Task Affinity Prediction
Pennsylvania State University(宾夕法尼亚州立大学);Vanderbilt University(范德比尔特大学)
本文提出一种基于任务亲和力预测的自动化任务分组方法,通过分析任务特征和单任务学习特性构建预测器,并结合随机搜索算法减少多任务训练次数,从而在多个基准数据集上找到优于现有基线的任务分组方案。
2023-10-24 cs.LG
Rep-MTL: Unleashing the Power of Representation-level Task Saliency for Multi-Task Learning
The Hong Kong University of Science and Technology(香港科技大学);Zhejiang University(浙江大学)
针对多任务优化偏重梯度冲突而忽视共享表征互补的问题,本文提出Rep-MTL,通过表征级任务显著性、熵惩罚和样本级跨任务对齐缓解负迁移并促进共享。
2025-07-28 cs.CV cs.LG
Deep-CR MTLR: a Multi-Modal Approach for Cancer Survival Prediction with Competing Risks
University of Toronto(多伦多大学);University Health Network(大学健康网络);Princess Margaret Cancer Centre(玛格丽特公主癌症中心)
准确的生存预测对于精确癌症医学的发展至关重要,这就需要新的预后信息来源。最近,人们对利用常规收集的临床和医学成像数据来发现多种癌症类型中的新预后标记物产生了极大的兴趣。然而,以前的大多数研究都只关注个体数据模式,没有利用机器学习的最新进展进行生存预测。我们提出了Deep-CR MTLR --一种新的机器学习方法,用于在存在竞争风险的情况下,根据多模态临床和成像数据准确预测癌症生存率,该方法基于神经网络和多任务逻辑回归框架的扩展。我们在2552例头颈癌患者的队列中证明了多模式方法优于单一模式预测因子的预后性能,特别是对于癌症特异性生存率,其中我们的方法实现了2年AUROC为0.774和$C$指数为0.788。
2021-03-21 cs.LG
Model-Protected Multi-Task Learning
Tsinghua University(清华大学);Xi’an Jiaotong University(西安交通大学);Michigan State University(密歇根州立大学);University of California, San Diego(加利福尼亚大学圣迭戈分校);Weill Cornell Medical College(威尔康奈尔医学院)
多任务学习(MTL)是指将多个相关任务一起学习的范式。相反,在单任务学习(STL)中,每个任务都是独立学习的。MTL通常会导致更好的训练模型,因为它们可以利用相关任务之间的共性。然而,由于MTL算法可以“泄漏”跨不同任务的不同模型的信息,MTL构成了潜在的安全风险。具体而言,攻击者可以通过一个任务参与MTL过程,从而获得另一个任务的模型信息。先前提出的隐私保护MTL方法保护的是数据实例而不是模型,与STL方法相比,其中一些方法可能表现不佳。在本文中,我们提出了一个隐私保护的MTL框架,以防止信息从每个模型泄漏到其他模型的基础上扰动的协方差阵的模型矩阵。我们研究了两种流行的MTL方法的实例化,即学习模型矩阵的低秩和组稀疏模式。我们的算法可以保证不低于STL方法相比。我们建立我们的方法的基础上工具的差异隐私,隐私保证,效用界限提供,并考虑异构隐私预算。实验表明,我们的算法优于现有的隐私保护MTL方法构建的基线方法上提出的模型保护问题。
2019-07-02 cs.CR cs.LG stat.ML
Multi-Task Learning as a Bargaining Game
Bar-Ilan University(巴伊兰大学);Nvidia(英伟达);National University of Singapore(新加坡国立大学)
在多任务学习(MTL)中,联合模型被训练为同时对多个任务进行预测。联合训练降低了计算成本并提高了数据效率;然而,由于这些不同任务的梯度可能会冲突,因此训练MTL的联合模型通常会比相应的单任务模型产生更低的性能。缓解此问题的常用方法是使用特定的启发式将每个任务的梯度组合到联合更新方向中。在本文中,我们建议将梯度组合步骤视为一个讨价还价的游戏,其中任务进行协商,以达成一项协议的参数更新的联合方向。在某些假设下,讨价还价问题有一个独特的解决方案,称为纳什讨价还价解决方案,我们建议使用它作为多任务学习的原则方法。我们描述了一个新的MTL优化过程,纳什MTL,并推导出其收敛性的理论保证。从经验上讲,我们表明,纳什MTL在多个领域的MTL基准测试中取得了最先进的结果。
2022-07-08 cs.GT cs.LG
Decentralized Multi-Task Learning Based on Extreme Learning Machines
Royal Institute of Technology (KTH)(皇家理工学院(KTH))
在多任务学习(MTL)中,相关任务联合学习以提高泛化性能。为了利用极端学习机(ELMs)的高学习速度,我们将ELM框架应用于MTL问题,其中所有任务的ELMs的输出权重是协作学习的。我们首先提出了ELM的MTL问题在集中式设置,这是解决建议MTL-ELM算法。由于不同任务的数据集是地理分布的,因此研究了分散式机器学习。我们制定了分散的MTL问题的基础上ELM优化多块耦合双凸目标函数。为了解决这个问题,我们提出了DMTL-ELM算法,这是一个混合的雅可比和高斯-赛德尔邻近多块交替方向乘子法(ADMM)。进一步,为了减少DMTL-ELM的计算量,提出了一阶近似的DMTL-ELM(FO-DMTL-ELM)。理论分析表明,DMTL-ELM和FO-DMTL-ELM的收敛性是有条件的。通过仿真,我们证明了建议MTL-ELM,DMTL-ELM,FO-DMTL-ELM算法的收敛性,也表明他们可以优于现有的MTL方法。此外,通过调整隐特征空间的维数,DMTL-ELM存在通信负载和学习精度之间的折衷。
2019-04-25 cs.AI cs.LG
Can Optimization Trajectories Explain Multi-Task Transfer?
Johns Hopkins University(约翰斯·霍普金斯大学)
本文通过实证研究多任务学习(MTL)对任务优化的影响,发现MTL在训练早期产生泛化差距,但传统优化轨迹因素无法解释该差距,且梯度冲突不能预测泛化,揭示了MTL失败原因并质疑通用多任务优化算法的作用。
2025-01-30 cs.LG
MTL-KD: Multi-Task Learning Via Knowledge Distillation for Generalizable Neural Vehicle Routing Solver
College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机科学与软件工程学院);School of Automation and Intelligent Manufacturing, Southern University of Science and Technology(南方科技大学自动化与智能制造学院);Guangdong Provincial Key Laboratory of Fully Actuated System Control Theory and Technology, Southern University of Science and Technology(广东省全驱动系统控制理论与技术重点实验室,南方科技大学);Department of Industrial Engineering and Innovation Sciences, Eindhoven University of Technology(埃因霍温理工大学工业工程与创新科学系)
本文提出MTL-KD方法,通过知识蒸馏将多个单任务强化学习模型的策略知识转移到单一重型解码器中,并引入R3C推理策略,实现了在多达1000个节点的多种VRP变体上具有强泛化能力的多任务求解。
2025-11-04 cs.LG
Fair Resource Allocation in Multi-Task Learning
University at Buffalo(布法罗大学)
本文借鉴通信网络公平资源分配,将多任务学习建模为效用最大化问题,提出具备收敛保证的 FairGrad,并在监督与强化学习基准上达到最先进性能。
2024-07-02 cs.LG
Tri-MTL: A Triple Multitask Learning Approach for Respiratory Disease Diagnosis
Department of Psychiatry, Wonkwang University Hospital(精神医学科,Wonkwang大学医院);RSC LAB, MODULABS(RSC实验室,MODULABS);The State University of New York, Korea, Republic of Korea(纽约州立大学,韩国);Department of Pediatrics, Seoul National University Bundang Hospital(儿科,首尔国立大学医院 Bundang 分院);Department of Pediatrics, Seoul National University College of Medicine(儿科,首尔国立大学医学院)
本文提出 Tri-MTL 三重多任务学习框架,融合呼吸音、疾病表现与患者元数据,证明纳入听诊器信息可显著提升肺音分类和疾病诊断性能。
2025-05-06 cs.AI cs.LG cs.SD
Heterogeneous Multi-task Learning with Expert Diversity
Simon Fraser University(西蒙弗雷泽大学);Borealis AI
预测多个异质生物和医学目标是传统深度学习模型的挑战。与为每个目标训练单独模型的单任务学习相反,多任务学习(MTL)优化单个模型以同时预测多个相关目标。为了解决这一挑战,我们提出了多门混合专家与排他性(MMoEEx)。我们的工作旨在解决异构MTL设置,其中相同的模型优化具有不同特征的多个任务。由于在平衡共享和特定于任务的表示方面的挑战以及优化具有竞争优化路径的任务的需要,这样的场景可能压倒当前的MTL方法。我们的方法有两个关键贡献:首先,我们引入了一种方法来诱导专家之间的更多多样性,从而创建更适合高度不平衡和异构MTL学习的表示;其次,我们采用两步优化方法[6,11]来平衡梯度级别的任务。我们在三个MTL基准数据集上验证了我们的方法,包括重症监护医学信息市场(MIMIC-III)和PubChem BioAssay(PCBA)。
2022-05-27 cs.LG
Examining Common Paradigms in Multi-Task Learning
Bosch Center for Artificial Intelligence(博世人工智能中心);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Max Planck ETH Center for Learning Systems(马克斯·普朗克ETH学习系统中心);University of Mannheim(曼海姆大学)
该研究结合单任务学习背景探究多任务学习范式,验证了Adam优化器的关键作用并推导其部分损失尺度不变性,指出梯度幅度差异而非角度对齐是多任务学习的特有问题,发现两类学习存在诸多相似性。
2024-08-15 cs.AI cs.CV cs.LG
ISAM-MTL: Cross-subject multi-task learning model with identifiable spikes and associative memory networks
School of Future Technology, South China University of Technology(华南理工大学未来技术学院);School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(华中科技大学人工智能与自动化学院)
本文提出ISAM-MTL模型,结合可识别脉冲表示与双向联想记忆网络解决跨被试EEG分类问题,提升了分类准确率与少样本学习能力,并降低了被试间的性能差异。
2025-01-30 cs.LG cs.NE q-bio.NC
STG-MTL: Scalable Task Grouping for Multi-Task Learning Using Data Map
Nile University(尼罗河大学);Hugging Face
针对多任务学习任务分组指数级搜索导致的可扩展性难题,提出基于数据图谱的数据驱动分组方法,理论证明可扩展性更优,实验在CIFAR100上支持多达100个任务,性能更好且分组合理。
2024-05-26 cs.LG
CORE-MTL: Rethinking Gradient Balancing via Causal Orthogonal Representations
Tsinghua University(清华大学)
提出CORE-MTL框架,通过因果正交表示将共享表示分解为语义流和残差流,以分离任务相关结构与虚假上下文,从而减少负迁移并提升泛化能力。
2026-06-01 cs.CV cs.LG
Delve into the Applicability of Advanced Optimizers for Multi-Task Learning
Nanyang Technological University(南洋理工大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));School of Artificial Intelligence, Shanghai Jiao Tong University(上海交通大学人工智能学院)
本文研究了先进优化器在多任务学习中的应用,提出APT框架通过自适应动量机制平衡优化器与多任务学习的强项,并引入轻方向保持方法提升Muon的正交化效果,实验表明APT显著提升了多任务学习性能。
2026-04-10 cs.LG
Local Rademacher Complexity-based Learning Guarantees for Multi-Task Learning
University of Central Florida(中佛罗里达大学);Florida Institute of Technology(佛罗里达理工学院)
我们展示了多任务学习(MTL)的Talagrand型浓度不等式,使用该不等式,我们建立了MTL的局部Rademacher复杂性(LRC)的分布和数据依赖版本的急剧超额风险界限。我们还给出了一个新的约束的LRC的范数正则化以及强凸假设类,这不仅适用于MTL,但也标准的i.i.d.设置.结合这两个结果,现在可以轻松推导出许多著名MTL方法的超额风险的快速界限,包括--正如我们所展示的--Schatten范数、群范数和图正则化MTL。导出的界限反映了一个关系akeen的渐近收敛速度的守恒定律。正是这种关系允许在较慢的利率上进行权衡。当与通过传统的全局Rademacher分析获得的速率相比时,相对于每个任务的可用样本数,更快速率的任务数。
2017-02-09 cs.LG
Direct Routing Gradient (DRGrad): A Personalized Information Surgery for Multi-Task Learning (MTL) Recommendations
针对多任务学习推荐中的负迁移和跷跷板现象,提出个性化直接路由梯度框架DRGrad,通过路由器、更新器和个性化门控网络减少任务冲突,在真实和公开数据集上优于现有模型且不增加复杂度。
2025-10-04 cs.AI cs.LG
FairBranch: Mitigating Bias Transfer in Fair Multi-task Learning
Free University of Berlin(柏林自由大学);Information Technologies Institute, CERTH(CERTH信息技术研究所);Bundeswehr University, Munich(慕尼黑联邦国防军大学)
针对多任务学习中的负迁移和偏见迁移问题,提出FairBranch方法,通过参数相似性分支分组相关任务并校正公平性梯度冲突,在准确率和公平性上均优于现有方法。
2024-09-24 cs.CY cs.LG
A Comprehensive Evaluation of Multi-task Learning and Multi-task Pre-training on EHR Time-series Data
MIT(麻省理工学院);University of Toronto(多伦多大学);NYU(纽约大学);Vector Institute(Vector研究所);SickKids(病童医院)
多任务学习(MTL)是一种机器学习技术,旨在通过利用跨多个任务的信息来提高模型性能。它已被广泛用于各种数据模式,包括电子健康记录(EHR)数据。然而,尽管大量使用EHR数据,很少有系统的调查MTL的效用在不同的可能的任务和培训计划的利益在医疗保健。在这项工作中,我们检查MTL跨电池的任务EHR时间序列数据。我们发现,虽然MTL确实遭受常见的负迁移,但我们可以通过MTL预训练结合单任务微调来实现显着的收益。我们证明了这些收益可以以任务独立的方式实现,并且不仅在传统学习下提供了微小的改进,而且在少样本学习环境中也有显着的收益,从而表明这可能是一种可扩展的工具,可以在重要的医疗保健环境中提供更好的性能。
2020-07-20 cs.LG stat.ML
Speech Representation Learning Through Self-supervised Pretraining And Multi-task Finetuning
语音表征学习在语音处理中起着至关重要的作用。其中,自监督学习(SSL)已经成为一个重要的研究方向。事实证明,SSL预训练模型可以在语音处理的各种下游任务中实现出色的性能。另一方面,监督多任务学习(MTL)是另一种表示学习范式,已被证明在计算机视觉(CV)和自然语言处理(NLP)中有效。然而,在语音处理中,还没有系统的研究,一般表示学习模型的监督MTL训练。在本文中,我们证明了MTL微调可以进一步改善SSL预训练。我们分析了有监督的MTL微调的可推广性,以检查通过MTL微调学习的语音表示是否可以推广到看不见的新任务。
2021-10-18 cs.AI cs.CL cs.LG
Multi-task learning for natural language processing in the 2020s: where are we going?
University of Colorado Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校)
多任务学习(MTL)在深度学习时代之前就已经存在,并且在过去几年中已经出现了复苏,因为研究人员一直在将MTL应用于自然语言任务的深度学习解决方案。虽然稳定的MTL研究一直存在,但在迁移学习和预训练相关领域发表的令人印象深刻的成功(如BERT)以及新挑战问题的发布(如GLUE和NLP十项全能(decaNLP))的推动下,人们的兴趣越来越大。这些努力更多地关注如何在网络之间共享权重,评估网络组件的可重用性,并确定MTL可以显着优于单任务解决方案的用例。本文致力于提供一个全面的调查的众多最近的MTL的贡献领域的自然语言处理,并提供一个论坛,集中精力在最困难的未解决的问题,在未来十年。虽然不断产生新的模型来提高NLP基准测试的性能,但长期的MTL挑战仍然没有解决,这可能是更好的语言理解,知识发现和自然语言接口的关键。
2020-07-22 cs.CL cs.LG
Accurate and Data-Efficient Micro-XRD Phase Identification Using Multi-Task Learning: Application to Hydrothermal Fluids
Pacific Northwest National Laboratory(太平洋西北国家实验室);Washington State University(华盛顿州立大学);Argonne National Laboratory(阿贡国家实验室);University of Rochester(罗切斯特大学)
本研究提出多任务学习(MTL)方法,用于自动识别热液流体环境中畸变的微区X射线衍射图谱的物相,减少对标记数据和预处理的依赖,并达到优于二元分类CNN的准确率,同时简化了数据处理流程。
2024-03-15 cond-mat.mtrl-sci cs.LG
NTKMTL: Mitigating Task Imbalance in Multi-Task Learning from Neural Tangent Kernel Perspective
School of CS & School of AI, Shanghai Jiao Tong University Shanghai Innovation Institute(计算机学院与人工智能学院,上海交通大学上海创新研究院)
针对多任务学习中的任务不平衡难题,该研究从神经切线核视角出发,通过扩展NTK矩阵与谱分析平衡任务收敛速度,提出NTKMTL及高效变体NTKMTL-SR,在多类基准任务上达到SOTA性能。
2025-10-21 cs.AI cs.LG
Multi-Faceted Hierarchical Multi-Task Learning for a Large Number of Tasks with Multi-dimensional Relations
Tencent(腾讯)
关于如何提高多任务学习中共享学习的效率已经有很多研究。以前的工作集中在“微”共享的角度为少数任务,而在推荐系统(RS)和其他人工智能应用程序中,往往有大量的任务建模与多维任务关系的需求。例如,当使用MTL在RS中对各种用户行为进行建模时,如果我们将新用户和新项目与旧项目区分开,则会出现具有多维关系的任务的Carnival产品风格增加。本文从“宏观”的角度研究共享学习网络的设计,提出了一个多层面层次的MTL模型(MFH)。MFH采用嵌套的层次树结构,充分利用了多维任务关系,最大限度地提高了共享学习能力。我们在一个拥有100亿样本的大型行业视频平台上对MFH和SOTA模型进行了评估,结果表明,MFH在所有用户组的离线和在线评估中均显著优于SOTA MTL模型,特别是对于新用户而言,其在线时间增加了9.1%,次日留存率增加了1.85%。MFH已经应用于一个大规模的在线视频推荐系统中。MFH特别有利于RS中的冷启动问题,其中新用户和新项目经常遭受“局部过拟合”现象。然而,这个想法实际上是通用的,广泛适用于其他MTL场景。
2021-10-26 cs.LG
Boosting the Accuracy of Stock Market Prediction via Multi-Layer Hybrid MTL Structure
School of Economics and Management, Harbin Institute of Technology(哈尔滨工业大学经济与管理学院)
针对金融数据非线性高维波动的特性,提出融合Transformer编码器、BiGRU与KAN的多层混合MTL框架,在股票预测任务上MAE达1.078、MAPE达0.012、R²达0.98,性能优于主流对比网络。
2025-01-01 cs.LG q-fin.ST
Classifying Documents within Multiple Hierarchical Datasets using Multi-Task Learning
George Mason University(乔治梅森大学)
多任务学习(MTL)是一种监督学习范式,它通过联合学习多个相关任务的预测模型来获得更好的泛化性能。当每个任务只有几个训练样本时,MTL在预测精度方面大大优于传统的单任务学习(STL)。在这项工作中,我们开发了一种基于MTL的方法,用于对在双概念层次结构(即DMOZ和维基百科)中存档的文档进行分类。我们通过为两个分层数据集上的每个不同类定义一个与其余二进制分类任务来解决多类分类问题。我们不是独立地为每个不同的任务学习线性判别式,而是使用MTL方法,使用非参数,惰性,最近邻方法建立数据集上不同任务之间的关系。我们还开发和评估了迁移学习(TL)方法,并将MTL(和TL)方法与标准的单任务学习和半监督学习方法进行了比较。我们的实证结果表明,我们开发的方法,特别是当有较少的训练样本每个分类任务的改进的强度。
2017-06-06 cs.LG stat.ML
Multitask Learning for Time Series Data with 2D Convolution
Visa Research(Visa研究院);University of California, Riverside(加州大学河滨分校)
针对现有1D卷积时间序列分类模型结合多任务学习后性能下降的问题,提出基于2D卷积的多任务学习模型,提升表达能力,在UCR Archive和工业交易数据集上效果优于对比方法。
2023-10-10 cs.AI cs.LG
Multi-task problems are not multi-objective
University of Freiburg(弗赖堡大学)
多目标优化(MOO)旨在为给定的一组目标找到一组最优配置。最近的一项工作将MOO方法应用于典型的机器学习(ML)设置,如果模型应该优化多个目标,则该设置将成为多目标,例如在公平的机器学习中。这些工作还使用多任务学习(MTL)的问题,以基准MOO算法处理每个任务作为独立的目标。在这项工作中,我们表明,MTL问题不类似于MOO问题的特点。特别是,MTL损失没有竞争的情况下,一个充分表达的单一模型。因此,单个模型可以用独立的模型优化所有目标,从而使MOO不适用。我们提供的证据与广泛使用的多时尚MNIST数据集上的广泛实验。我们的研究结果需要新的基准来评估ML的MOO算法。我们的代码可在https://github.com/ruchtem/moo-mtl上获得。
2021-10-14 cs.LG stat.ML
On the Potential of Multi-Task Learning in Predictive Process Monitoring
SAP Signavio;University of Mannheim(曼海姆大学)
本研究首次系统评估多任务学习在预测性流程监控中的效果,发现其能显著提升下一活动预测并缓解类别不平衡,且任务平衡对低容量模型至关重要。
2026-09-15 cs.LG
Deep Automated Multi-task Learning
University of California, San Diego(加利福尼亚大学圣迭戈分校)
多任务学习(MTL)最近有助于学习更好的表示服务于各种NLP任务。MTL旨在通过对次要任务的联合培训来提高主要任务的性能。本文介绍了自动化的任务,利用连续性的输入数据,作为次要任务的MTL模型。我们探索下一个单词预测,下一个字符预测,和遗漏的单词完成潜在的自动化任务。我们的研究结果表明,在一个主要任务上并行训练一个次要的自动化任务,可以提高主要任务的收敛速度和准确性。我们提出了两种方法来增强现有网络的自动化任务,并建立更好的性能,在主题预测,情感分析,和标签推荐。最后,我们证明了MTL模型可以在小而口语化的数据集上表现良好。
2017-09-19 cs.LG stat.ML
AutoMTL: A Programming Framework for Automating Efficient Multi-Task Learning
College of Information & Computer Sciences(信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
多任务学习(MTL)通过在任务之间共享参数来联合学习一组任务。对于许多计算机视觉任务来说,这是一种很有前途的方法,可以降低存储成本,同时提高任务精度。有效采用MTL面临两个主要挑战。第一个挑战是确定跨任务共享哪些参数,以优化内存效率和任务准确性。第二个挑战是自动将MTL算法应用于任意CNN主干,而不需要耗时的手动重新实现和重要的领域专业知识。本文通过开发第一个编程框架AutoMTL来解决这些挑战,AutoMTL可以自动化高效的MTL模型开发,用于视觉任务。AutoMTL将任意骨干卷积神经网络(CNN)和一组要学习的任务作为输入,并自动生成一个多任务模型,同时实现高精度和小内存占用。在三个流行的MTL基准测试(CityScapes,NYUv 2,Tiny-Taskonomy)上的实验证明了AutoMTL在最先进方法上的有效性以及AutoMTL在CNN上的通用性。AutoMTL是开源的,可在https://github.com/zhanglijun95/AutoMTL上获得。
2022-09-29 cs.CV cs.LG