ColD Fusion：用于分布式多任务微调的协同下降
ColD Fusion: Collaborative Descent for Distributed Multitask Finetuning
AI总结：
提出 ColD Fusion 范式，通过通信受限的分布式计算实现多任务微调，持续改进预训练模型，在 35 个数据集上平均比 RoBERTa 高 2.33 个百分点。
摘要：
我们提出了一种持续演进预训练模型的新范式，称为 ColD Fusion。它提供了多任务学习的优势，但利用了通信受限的分布式计算，并消除了对共享数据的需求。因此，ColD Fusion 能够形成一个协同循环，即微调后的模型可以被回收利用，以持续改进它们所基于的预训练模型。我们证明了 ColD Fusion 通过产生一个模型，能够带来与多任务训练相当的优势，该模型 (a) 在其训练的所有数据集上均取得强劲性能；并且 (b) 是在未见数据集上进行微调的更好起点。我们表明 ColD Fusion 优于 RoBERTa，甚至优于以前的多任务模型。具体而言，在 35 个多样化数据集上进行训练和测试时，基于 ColD Fusion 的模型在不改变架构的情况下，平均比 RoBERTa 高出 2.33 个百分点。
英文摘要：
We propose a new paradigm to continually evolve pretrained models, denoted ColD Fusion. It provides the benefits of multitask learning but leverages distributed computation with limited communication and eliminates the need for shared data. Consequentially, ColD Fusion can give rise to a synergistic loop, where finetuned models can be recycled to continually improve the pretrained model they are based upon. We show that ColD Fusion yields comparable benefits to multitask training by producing a model that (a) attains strong performance on all of the datasets it was trained on; and (b) is a better starting point for finetuning on unseen datasets. We show that ColD Fusion outperforms RoBERTa and even previous multitask models. Specifically, when training and testing on 35 diverse datasets, ColD Fusion-based model outperforms RoBERTa by 2.33 points on average without any changes to the architecture.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
