基于选择性客户间迁移的文本分类联邦持续学习
Federated Continual Learning for Text Classification via Selective Inter-client Transfer
摘要：
在这项工作中，我们结合了两个范例：联邦学习（FL）和持续学习（CL）的云边缘连续体的文本分类任务。联邦持续学习（FCL）的目标是通过（相关和有效的）知识转移，在不共享数据的情况下，在每个客户端的生命周期内改进深度学习模型。在这里，我们解决的挑战，尽量减少客户端间的干扰，而知识共享，由于异构任务跨客户端在FCL设置。在这样做时，我们提出了一个新的框架，联邦选择性客户端间传输（FedSeIT），有选择地结合模型参数的外国客户端。为了进一步最大限度地提高知识转移，我们评估领域重叠，并从每个外国客户端的历史任务序列中选择信息任务，同时保护隐私。对基线进行评估，我们显示出改进的性能，在使用来自不同领域的五个数据集的一系列任务中，文本分类的（平均）增益为12.4%。据我们所知，这是第一个将FCL应用于NLP的工作。
英文摘要：
In this work, we combine the two paradigms: Federated Learning (FL) and Continual Learning (CL) for text classification task in cloud-edge continuum. The objective of Federated Continual Learning (FCL) is to improve deep learning models over life time at each client by (relevant and efficient) knowledge transfer without sharing data. Here, we address challenges in minimizing inter-client interference while knowledge sharing due to heterogeneous tasks across clients in FCL setup. In doing so, we propose a novel framework, Federated Selective Inter-client Transfer (FedSeIT) which selectively combines model parameters of foreign clients. To further maximize knowledge transfer, we assess domain overlap and select informative tasks from the sequence of historical tasks at each foreign client while preserving privacy. Evaluating against the baselines, we show improved performance, a gain of (average) 12.4\% in text classification over a sequence of tasks using five datasets from diverse domains. To the best of our knowledge, this is the first work that applies FCL to NLP.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
