Hierarchical Sparse Bayesian Multitask Learning for Disease Prediction in Pooled Microbiome Studies
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；University of Michigan（密歇根大学）
本文提出一种分层贝叶斯多任务学习模型，通过共享稀疏结构和变分推断，在合并异质微生物组数据中实现稳健的疾病预测与不确定性量化。
2026-09-23 cs.LG q-bio.BM stat.AP
Exact and general decoupled solutions of the LMC Multitask Gaussian Process model
EDF（法国电力公司）
本文提出了一种基于噪声模型假设的LMC多任务高斯过程模型的高效精确解法，通过解耦潜在过程，提高了计算效率，并通过实验验证了其在多任务贝叶斯优化中的应用价值。
2026-08-24 cs.LG stat.ML
Variational Model Merging for Pareto Front Estimation in Multitask Finetuning
RIKEN Center for AI Project, Japan（日本人工智能研究中心（AI项目））；Ubiquitous Knowledge Processing Lab (UKP Lab), Department of Computer Science, Technical University of Darmstadt and National Research Center for Applied Cybersecurity ATHENE, Germany（大众知识处理实验室（UKP实验室），计算机科学系，达姆施塔特技术大学和应用网络安全国家研究中心ATHENE，德国）
提出变分模型合并方法，通过贝叶斯后验合并直接改进帕累托前沿质量，理论上证明更灵活的后验分布能获得更好的帕累托前沿估计，并在视觉和语言模型上验证。
2026-06-24 cs.AI cs.LG stat.ML
Lifelong Bayesian Optimization
University of Cambridge（剑桥大学）；University of Oxford（牛津大学）；University of California, Los Angeles（加州大学洛杉矶分校）
自动机器学习（Auto-ML）系统解决了数据科学预测模型或管道设计自动化的问题。在本文中，我们提出了终身贝叶斯优化（LBO），一个在线的，多任务的贝叶斯优化（BO）算法，旨在解决问题的模型选择的数据集到达和随着时间的推移而演变。为了适用于“终身”贝叶斯优化，算法需要随着不断增加的采集数量而扩展，并且应该能够在学习当前最佳模型时利用过去的优化。我们将模型选择问题转化为一个黑箱函数优化问题。在LBO中，我们利用函数之间的相关性，通过使用先前学习的函数的组件来加速新到达的数据集的学习过程。在真实数据和合成数据上的实验表明，LBO算法优于标准BO算法。
2019-06-21 cs.LG stat.ML
Probabilistic Model Updating of Steel Frame Structures Using Strain and Acceleration Measurements: A Multitask Learning Framework
针对钢框架结构概率模型更新问题，提出一种结合应变与加速度测量的多任务学习框架，通过分解空间框架为多任务并利用模态位移-应力关系，经足尺试验验证可降低参数估计不确定性，提升模型更新鲁棒性。
2024-01-31 stat.AP
Learning What to Evaluate: Correlation-Aware Decoupling for Multiobjective Bayesian Optimization
Pennsylvania State University（宾夕法尼亚州立大学）
本研究提出一种相关性感知的解耦多目标贝叶斯优化方法，利用多任务高斯过程联合建模并选择最优子集评估，在理论上保证一致性并实证超越现有基线。
2026-09-29 cs.LG stat.ML
Learning Multitask Gaussian Bayesian Networks
Xi'an Jiaotong University（西安交通大学）；Shanghai University of Finance and Economics（上海财经大学）；Fourth Military Medical University（第四军医大学）；Air Force Medical University（空军军医大学）；Xijing Hospital（西京医院）
重度抑郁症（MDD）需要研究患者的脑功能连接改变，这可以通过静息态功能磁共振成像（rs-fMRI）数据来揭示。我们考虑的问题，确定一个单一的MDD患者的脑功能连接的改变。这是特别困难的，因为在fMRI扫描过程中收集的数据量太有限，无法为个体分析提供足够的信息。此外，rs-fMRI数据通常具有不完整性、稀疏性、变异性、高维数和高噪声等特点。为了解决这些问题，我们提出了一个多任务高斯贝叶斯网络（MTGBN）的框架，能够识别个别疾病引起的MDD患者的变化。我们假设这种疾病引起的改变与从观察到理解系统如何从相关任务中联合构建的工具学习这种网络结构显示出一定程度的相似性。首先，我们将一类观察中的每个患者视为一个任务，然后通过从共享编码先验知识的默认协方差阵的所有任务中学习来学习该数据类的高斯贝叶斯网络（GBN）。此设置可以帮助我们从有限的数据中了解更多信息。其次，我们推导出完整的似然函数的封闭形式的公式，并使用蒙特卡罗期望最大化（MCEM）算法来搜索近似最好的贝叶斯网络结构有效。最后，我们评估我们的方法与模拟和真实世界的rs-fMRI数据的性能。
2022-06-09 cs.LG stat.ML
Estimating the effects of a California gun control program with Multitask Gaussian Processes
枪支暴力是美国一个严重的公共安全问题。2006年，加州实施了一项独特的枪支监控计划，即武装和违禁人员系统（APPS），以解决该州的枪支暴力问题。APPS计划首先确定那些由于联邦或州法律而被禁止拥有枪支的枪支拥有者，然后对他们的枪支进行认证。我们的目标是评估APPS对加州谋杀率的影响，使用美国各州在该计划推出之前和之后的年度犯罪数据。为此，我们采用非参数贝叶斯方法，多任务高斯过程（MTGPs），面板数据设置。MTGP允许灵活和简约的面板数据模型，嵌套许多现有的方法，并允许直接控制跨时间的依赖性和跨单位的依赖性，以及自然的不确定性量化。我们扩展了这种方法，以纳入非正态结果，辅助协变量和多个结果系列，这些在我们的应用程序中都很重要。我们还表明，这种方法具有吸引力的频率属性，包括一个表示作为一个加权估计与单独的权重单位和时间段。应用这种方法，我们发现，从APPS程序的增加监测和执法大大减少了加州的凶杀案。我们还发现，对谋杀的影响完全是由与枪支有关的谋杀的下降驱动的，对非枪支谋杀没有可测量的影响。估计每起谋杀案避免的成本大大低于传统的估计值的统计生命，这表明一个非常高的效益成本比，为这一执法工作。
2022-06-08 stat.AP stat.ME
Bayesian Generalization Error in Linear Neural Networks with Concept Bottleneck Structure and Multitask Formulation
Aisin Corporation（爱信公司）
概念瓶颈模型（CBM）是一种普遍存在的用概念解释神经网络的方法。在CBM中，概念作为可观察值插入到输出层和最后一个中间层之间。这有助于理解神经网络生成输出背后的原因：权重对应于从最后一个隐藏层到输出层的概念。然而，由于神经网络一般是一个奇异的统计模型，因此还不可能理解CBM中泛化误差的行为。当模型为奇异时，无法创建从参数到概率分布的一对一映射。这种不可识别性使得分析泛化性能变得困难。在这项研究中，我们从数学上澄清了贝叶斯泛化误差和自由能的CBM时，其结构是三层线性神经网络。我们还考虑了一个多任务的问题，神经网络的输出不仅是原始的输出，但也的概念。结果表明，与标准版本相比，CBM极大地改变了三层线性神经网络中参数区域的行为和贝叶斯泛化误差，而多任务模型则没有.
2023-03-16 cs.AI cs.LG math.ST
Sparse Overlapping Sets Lasso for Multitask Learning and its Application to fMRI Analysis
当对一项任务有用的功能对其他任务也有用时，多任务学习可能会有效，并且组套索是选择公共功能子集的标准方法。在本文中，我们感兴趣的是一种限制较少的多任务学习形式，其中（1）可用的特征可以根据相似性的概念组织成子集，（2）在一个任务中有用的特征与最适合其他任务的特征相似，但不一定相同。本文的主要贡献是一个新的过程称为稀疏重叠集（SOS）套索，凸优化，自动选择相关的学习任务相似的功能。误差界SOSlasso推导出其一致性建立平方误差损失。特别是，SOSlasso的动机是多学科功能磁共振成像研究，其中功能活动是使用大脑体素作为特征进行分类的。使用真实数据和合成数据进行的实验证明了SOSlasso与lasso和group lasso相比的优势。
2013-11-22 cs.LG stat.ML
The Benefit of Multitask Representation Learning
Istituto Italiano di Tecnologia（意大利技术研究院）；University College London（伦敦大学学院）；University of Oxford（牛津大学）
我们讨论了一种从多个任务中学习数据表示的通用方法。我们提供了一个理由，这种方法在多任务学习和学习学习的设置。该方法在线性特征学习的特殊情况下进行了详细说明。建立了多任务表征学习优于独立任务学习的理论优势条件。特别是，专注于半空间学习的重要例子，我们得到的制度，其中多任务表示学习是有益的独立任务学习，作为一个函数的样本量，任务的数量和内在的数据维度。我们的研究结果的其他潜在应用包括再生核希尔伯特空间和多层深度网络中的多任务特征学习。
2016-03-25 cs.LG stat.ML
Flexible Modeling of Latent Task Structures in Multitask Learning
University of Massachusetts（马萨诸塞大学）；University of Utah（犹他大学）；University of Campinas（坎皮纳斯大学）；University of Maryland（马里兰大学）
多任务学习算法的设计通常假设所有任务共享的一些固定的、先验已知的潜在结构。然而，它通常是不清楚什么类型的潜在任务结构是最适合于一个给定的多任务学习问题。理想情况下，“正确的”潜在任务结构应该以数据驱动的方式学习。我们提出了一个灵活的，非参数贝叶斯模型，假定一个混合的因素分析结构的任务。该模型的非参数特性使得它可以取代现有的许多潜在任务结构模型（如均值正则化任务、聚类任务、低秩或线性/非线性子空间任务假设等）。此外，它还可以学习更一般的任务结构，解决这些模型的缺点。我们提出了一个变分推理算法，我们的模型。在人工数据集和真实数据集上的实验结果表明了该方法的有效性。
2012-06-27 cs.LG stat.ML
Scalable Feature Selection for (Multitask) Gradient Boosted Trees
Amazon（亚马逊）
梯度提升决策树（GBDTs）被广泛用于在搜索和推荐中建立排名和相关性模型。延迟和可解释性等考虑因素要求使用尽可能少的特征来训练这些模型。GBDT模型中的特征选择通常涉及按重要性对特征进行排序并选择前几个，或者通过执行完全向后特征消除例程。先前提出的动态特征选择方法随着特征的数量而次优地缩放，这在高维设置中可能是令人生畏的。我们开发了一个可扩展的前向特征选择变体GBDT，通过一个新的组测试程序，在高维工作良好，并享有良好的理论性能和计算保证。我们通过对公共和专有数据集的广泛实验表明，所提出的方法在训练时间上提供了显着的加速，同时在模型性能指标方面与现有的GBDT方法一样具有竞争力。我们还将该方法扩展到多任务设置，允许从业者选择跨任务的共同特征，以及选择特定于任务的特征。
2021-09-05 cs.LG stat.ML
Convex Multitask Learning with Flexible Task Clusters
Hong Kong University of Science and Technology（香港科技大学）
传统上，多任务学习（MTL）假设所有的任务都是相关的。当任务确实不连贯时，这可能导致负迁移。最近，已经提出了许多方法，通过发现底层任务集群或关系来缓解这个问题。但是，它们仅限于在任务级别对这些关系进行建模，这在某些应用程序中可能会受到限制。在本文中，我们提出了一种新的MTL制定，捕捉任务的关系，在功能级别。该方法根据任务与特征之间的交互关系，为不同的特征构造不同的任务簇，甚至不需要预先指定簇的个数。在计算上，所提出的配方是强凸的，可以有效地解决加速邻近方法。实验进行了一些合成和真实世界的数据集。在不同程度的任务关系下，所提出的方法的准确性始终是最好的。此外，获得的特定功能的任务集群同意与已知的/合理的任务结构的数据。
2012-06-18 cs.LG stat.ML
Deep Asymmetric Multi-task Feature Learning
UNIST（蔚山科学技术院）；AItrics；KAIST（韩国科学技术院）
我们提出了深度非对称多任务特征学习（Deep-AMTFL），它可以学习跨多个任务共享的深度表示，同时有效地防止特征共享过程中可能发生的负迁移。具体来说，我们引入了一个不对称的自动编码器项，允许简单任务的可靠预测器对特征学习有很高的贡献，同时抑制不可靠预测器对更困难任务的影响。这允许学习噪声较少的表示，并使不可靠的预测器能够通过共享的潜在特征利用来自可靠预测器的知识。这种通过共享特征的不对称知识转移也比任务间不对称转移更具可扩展性和效率。我们在多任务学习和图像分类的多个基准数据集上验证了我们的Deep-AMTFL模型，通过有效地防止深度特征学习中的负迁移，它的性能明显优于现有的对称和非对称多任务学习模型。
2018-06-30 cs.LG stat.ML
Multitask Learning for Citation Purpose Classification
Duke University（杜克大学）
我们提出了我们进入2021年3C共享任务引文上下文分类基于目的的竞争。竞赛的目标是根据科学文章的目的对引文进行分类。这项任务很重要，因为它可能会导致更全面的方法来总结科学文章的目的和用途，但它也很困难，主要是由于可用的训练数据有限，其中每个引用的目的都是手工标记的，以及这些标签的主观性。我们的参赛作品是一个多任务模型，它结合了多个模块，旨在从不同的角度处理问题，包括手工生成的语言特征，TF-IDF特征和LSTM与注意力模型。我们还提供了消融研究和特征分析，其见解可能会导致未来的工作。
2021-06-24 cs.LG stat.ML
Taking Advantage of Multitask Learning for Fair Classification
University of Genoa（热那亚大学）；Istituto Italiano di Tecnologia（意大利理工学院）；University College London（伦敦大学学院）
算法公平性的核心目标是减少自动决策中的偏差。通过使用敏感信息（例如，性别或种族群体）作为统计模型的一部分，以及保护这些特征的任何承诺。通常，由于数据中存在的偏差，使用分类器的函数形式的敏感信息可以提高分类精度。在本文中，我们展示了如何能够两全其美：优化模型的准确性和公平性，而不显式地使用模型的函数形式中的敏感特征，从而平等对待不同的个体。我们的方法基于两个关键思想。一方面，我们建议使用多任务学习（MTL），增强了公平性约束，共同学习组特定的分类器，利用敏感群体之间的信息。另一方面，由于学习组特定的模型可能不被允许，我们建议首先通过任何学习方法预测敏感特征，然后使用预测的敏感特征来训练公平性约束的MTL。这使我们能够通过三管齐下的方法来解决公平性问题，即通过提高每个组的准确性，在训练过程中实施公平性措施，以及在测试过程中保护敏感信息。在两个真实数据集上的实验结果支持了我们的建议，在准确性和公平性方面都有了实质性的改善。
2020-01-31 cs.LG stat.ML
MTLE: A Multitask Learning Encoder of Visual Feature Representations for Video and Movie Description
The Ohio State University（俄亥俄州立大学）；University of Florida（佛罗里达大学）；Air Force Research Lab（空军研究实验室）
学习视频分析的视觉特征表示是一项艰巨的任务，需要大量的训练样本和适当的泛化框架。用于视频描述和电影描述的许多现有技术方法依赖于通过递归神经网络的简单编码机制来对从视频数据提取的时间视觉信息进行编码。在本文中，我们介绍了一种新的多任务编码器-解码器框架的自动语义描述和字幕的视频序列。与目前的方法相比，我们的方法依赖于不同的解码器，训练的视觉编码器在多任务的方式。我们的系统并不完全依赖于多个标签，并允许缺乏训练数据，即使在每个视频只有一个注释的数据集上也能工作。我们的方法在多标题和单标题数据集上的几个指标中显示出优于当前最先进方法的性能。据我们所知，我们的方法是第一种使用多任务方法对视频特征进行编码的方法。我们的方法在2017年的大规模电影描述挑战赛（LSMDC）上证明了其鲁棒性，我们的方法赢得了电影描述任务，其结果在其他竞争对手中被评为对视障人士最有帮助的。
2018-09-19 cs.CL cs.CV cs.LG
On Better Exploring and Exploiting Task Relationships in Multi-Task Learning: Joint Model and Feature Learning
University of Science and Technology of China（中国科学技术大学）；University of Technology, Sydney（悉尼科技大学）
多任务学习（MTL）的目的是通过不同任务之间的相互依赖性来同时学习多个任务。如何度量任务之间的相关性一直是一个热门的问题。任务间相关性的度量方法主要有两种：公共参数共享和不同任务间公共特征共享。然而，这两种类型的相关性主要是独立学习的，导致信息丢失。在本文中，我们提出了一种新的策略来衡量相关性，共同学习共享参数和共享特征表示。我们提出的方法的目的是将不同任务的特征转换到一个共同的特征空间中，在这个空间中，任务是密切相关的，共享参数可以更好地优化。我们给我们提出的多任务学习方法的详细介绍。此外，一个交替算法被引入到优化的非凸目标。一个理论上的界限，证明我们提出的多任务学习算法可以更好地衡量任务之间的相关性。我们进行了各种实验，以验证所提出的联合模型的优越性和功能的多任务学习方法。
2019-04-03 cs.AI cs.LG stat.ML
Multitask Protein Function Prediction Through Task Dissimilarity
Università degli Studi di Milano（米兰大学）
自动蛋白质功能预测是一个具有挑战性的问题，具有鲜明的特点，如蛋白质功能的层次组织和大多数生物功能的注释蛋白质的稀缺性。我们提出了一个多任务学习算法解决这两个问题。不像标准的多任务算法，使用任务（蛋白质功能）相似性信息作为偏见，以加快学习，我们表明，相异性信息强制分离罕见的类标签从频繁的类标签，并因此更适合于解决不平衡的蛋白质功能预测问题。我们支持我们的主张，表明标签传播算法的多任务扩展经验最好的工作时，任务相关性信息表示使用相异性矩阵，而不是相似性矩阵。此外，在三种模式生物上进行的实验比较表明，我们的方法在“蛋白质为中心”和“功能为中心”的评估设置中具有更稳定的性能。
2016-11-03 cs.LG q-bio.QM stat.ML
Learning task structure via sparsity grouped multitask learning
稀疏映射已经成为解决许多高维科学问题的关键方法。当多个任务共享一组相关特征时，在一个组中联合学习它们可以大大提高相关特征选择的质量。然而，在实践中，由于这种分组信息通常是隐藏的，因此这种技术的使用是有限的。在本文中，我们的目标是恢复稀疏模式上的组结构，并在稀疏学习中利用这些信息。为此，我们制定了一个联合优化问题的任务参数和组成员，通过构建一个适当的正则化，以鼓励稀疏学习以及正确的恢复任务组。我们进一步证明，我们提出的方法恢复组和稀疏模式的任务参数准确地通过广泛的实验。
2017-09-15 stat.ML
Pretext Tasks selection for multitask self-supervised speech representation learning
Avignon Université（阿维尼翁大学）；Télécom Paris（巴黎电信学院）；Université Paul Sabatier（保罗·萨巴蒂埃大学）；CNRS（法国国家科学研究中心）
通过解决借口任务，自监督学习利用未标记的数据来提取有用的潜在表示，以取代下游任务中的传统输入特征。在音频/语音信号处理中，通过几十年的研究工作设计出了各种各样的特征。事实证明，学习预测这些特征（也称为伪标签）已被证明是一个特别相关的借口任务，导致有用的自我监督表示，这些表示被证明对下游任务有效。然而，用于组合这些借口任务以更好地执行下游任务的方法和常见实践尚未被适当地探索和理解。事实上，这个过程几乎完全依赖于一个计算量很大的实验过程，随着借口任务数量的增加，这个过程变得很棘手。本文介绍了一种从候选任务集中选择一组任务的方法。我们提出的方法估计校准权的部分损失所考虑的借口任务在自我监督的训练过程中。在自动语音识别、说话人和情感识别上进行的实验验证了我们的方法，因为用我们的方法选择和加权的组比经典的基线表现得更好，从而便于选择和组合相关的伪标签进行自监督表示学习。
2022-11-11 cs.LG cs.SD eess.AS
Fast projections onto mixed-norm balls with applications
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
联合稀疏性为特征选择提供了强有力的结构线索，特别是对于预期表现出“分组”行为的变量。这种行为通常通过组套索，多任务套索和相关方法来建模，其中特征选择通过混合范数来实现。几种基于混合范数的稀疏模型受到了广泛的关注，并且在某些情况下也可以使用高效的算法。令人惊讶的是，几个约束稀疏模型似乎缺乏可扩展的算法。我们通过提出批处理和在线（随机梯度）优化方法来解决这一缺陷，这两种方法都依赖于有效的预测到混合范数球。我们说明我们的方法，将其应用到多任务套索。最后，我们提出一些悬而未决的问题。
2012-04-06 cs.LG math.OC stat.ML
Multitask Learning and Bandits via Robust Statistics
W. P. Carey School of Business, Arizona State University（亚利桑那州立大学W. P. 凯瑞商学院）；Wharton School, University of Pennsylvania（宾夕法尼亚大学沃顿商学院）
针对相关异构学习问题，提出结合稳健统计与LASSO回归的两阶段多任务学习估计器，显著改善了样本复杂度与遗憾界限，并在合成与真实数据集上验证了有效性。
2024-07-28 cs.LG math.ST stat.ML
