具有垂直和水平数据划分的多层网络中的跨孤岛联邦学习
Cross-Silo Federated Learning for Multi-Tier Networks with Vertical and Horizontal Data Partitioning
AI总结：
针对多层网络中数据同时存在垂直与水平划分的场景，提出通信高效的分层去中心化坐标下降（TDCD）算法，通过本地多步梯度与中心节点协调减少通信开销，并从理论与实验两方面验证了其收敛性与有效性。
摘要：
我们考虑分层通信网络中的联邦学习。我们的网络模型由一组孤岛组成，每个孤岛持有数据的垂直划分。每个孤岛包含一个中心节点和一组客户端，孤岛的垂直数据分片在其客户端之间进行水平划分。我们提出了分层去中心化坐标下降（TDCD），一种用于此类双层网络的通信高效去中心化训练算法。每个孤岛中的客户端在与中心节点共享更新之前执行多个本地梯度步骤，以减少通信开销。每个中心节点通过平均其工作节点的更新来调整其坐标，然后中心节点之间相互交换中间更新。我们对算法进行了理论分析，并展示了收敛速率对垂直划分数量和本地更新数量的依赖关系。我们进一步通过基于模拟的实验，使用多种数据集和目标函数验证了我们的方法。
英文摘要：
We consider federated learning in tiered communication networks. Our network model consists of a set of silos, each holding a vertical partition of the data. Each silo contains a hub and a set of clients, with the silo's vertical data shard partitioned horizontally across its clients. We propose Tiered Decentralized Coordinate Descent (TDCD), a communication-efficient decentralized training algorithm for such two-tiered networks. The clients in each silo perform multiple local gradient steps before sharing updates with their hub to reduce communication overhead. Each hub adjusts its coordinates by averaging its workers' updates, and then hubs exchange intermediate updates with one another. We present a theoretical analysis of our algorithm and show the dependence of the convergence rate on the number of vertical partitions and the number of local updates. We further validate our approach empirically via simulation-based experiments using a variety of datasets and objectives.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
