GLASU: A Communication-Efficient Algorithm for Federated Learning with Vertically Distributed Graph Data
University of Minnesota(明尼苏达大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
垂直联邦学习(Vertical Federated Learning,VFL)是一种分布式学习模式,计算客户端根据其拥有的同一组样本的部分特征共同训练模型。目前对VFL的研究主要集中在样本独立的情况下,但它很少解决一个新兴的情况下,样本是通过一个图相互关联。对于图结构数据,图神经网络(GNN)是有竞争力的机器学习模型,但VFL设置中的幼稚实现会导致显著的通信开销。此外,训练的分析面临着有偏随机梯度带来的挑战。在本文中,我们提出了一个模型分裂的方法,分裂的骨干GNN在客户端和服务器和通信效率的算法,GLASU,训练这样的模型。GLASU采用惰性聚合和陈旧更新,在评估模型时跳过聚合,在训练时跳过特征交换,大大减少了通信。我们提供了理论分析,并在真实世界的数据集上进行了广泛的数值实验,表明该算法有效地训练了GNN模型,其性能与集中式训练的骨干GNN相匹配。
2023-03-16 cs.LG stat.ML
Split Learning for Distributed Collaborative Training of Deep Learning Models in Health Informatics
Vanderbilt University(范德堡大学);Vanderbilt University Medical Center(范德堡大学医学中心);TripleBlind(TripleBlind公司);UTHealth(得克萨斯大学健康科学中心)
针对医疗机构数据孤岛与隐私约束下的跨机构模型训练难题,提出基于拆分学习的隐私保护分布式学习框架,在性能接近集中式与联邦学习方案的同时提升计算效率、降低隐私风险。
2023-08-21 cs.CR cs.LG
Hybrid Differentially Private Federated Learning on Vertically Partitioned Data
Tencent Inc.(腾讯公司)
我们提出了HDP-VFL,第一个混合差分私有(DP)框架垂直联邦学习(VFL),以证明它是可能的,共同学习广义线性模型(GLM)从垂直分区的数据,只有一个可以忽略不计的成本,w.r.t.训练时间、准确性等,与理想化的非私有VFL相比。我们的工作建立在不同组织之间基于VFL的协作训练的最新进展之上,这些组织依赖于同态加密(HE)和安全多方计算(MPC)等协议来确保计算和训练的安全。特别是,分析了VFL的中间结果(IR)在通信过程中如何泄漏训练数据的隐私信息,并设计了一种基于DP的隐私保护算法来保证VFL参与者的数据机密性。我们从数学上证明了我们的算法不仅为VFL提供了效用保证,而且还提供了多层次的隐私,即DP w.r.t. IR和联合差分隐私(JDP)w.r.t.模型权重实验结果表明,我们的工作,在足够的隐私预算,是定量和定性类似的GLM,学习在理想化的非私人VFL设置,而不是增加成本的内存和处理时间在大多数以前的作品的基础上HE或MPC。如果这篇论文被接受,我们的代码将被发布。
2020-09-06 cs.AI cs.LG stat.ML
Private federated learning on vertically partitioned data via entity resolution and additively homomorphic encryption
Australian National University(澳大利亚国立大学);University of Sydney(悉尼大学);University of Amsterdam(阿姆斯特丹大学);N1Analytics;Data61
考虑两个数据提供者,每个都维护关于公共实体的不同特征集的私有记录。他们的目标是在联合设置中联合学习线性模型,即数据是本地的,共享模型是从本地计算的更新中训练的。与大多数分布式学习的工作相比,在这种情况下,(i)数据是垂直分割的,即按特征分割,(ii)只有一个数据提供者知道目标变量,(iii)实体没有跨数据提供者链接。因此,对于私人学习的挑战,我们增加了实体解析错误的潜在负面后果。我们的贡献是双重的。首先,我们描述了一个三方端到端的解决方案,分为两个阶段-隐私保护实体解决方案和联邦逻辑回归消息加密的加法同态方案-,对诚实但好奇的对手安全。该系统允许学习,而无需公开数据或共享数据提供者共有的实体。我们的实现就像一个天真的非私有解决方案一样准确,它将所有数据放在一个地方,并扩展到具有数百个功能的数百万个实体的问题。其次,我们提供了什么是我们所知的第一个正式的分析实体解析的错误对学习的影响,最佳分类器,经验损失,利润率和泛化能力的影响。我们的研究结果为联邦学习提供了明确而有力的支持:在对实体解析错误的数量和幅度进行合理假设的情况下,在每个对等体的数据为另一个提供显著提升的环境中进行联邦学习可能非常有益。
2017-11-29 cs.LG
Decoupled Vertical Federated Learning for Practical Training on Vertically Partitioned Data
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校);Purdue University(普渡大学)
针对标准纵向联邦学习无法容忍任意崩溃的问题,提出DVFL,通过局部无监督目标及标签监督与聚合解耦实现容错训练,并在MNIST故障场景中取得更优性能。
2024-12-01 cs.DC cs.LG
FedV: Privacy-Preserving Federated Learning over Vertically Partitioned Data
IBM Research(IBM研究院);University of Pittsburgh(匹兹堡大学)
联邦学习(FL)已经被提出来允许多方之间的机器学习(ML)模型的协作训练,其中每一方都可以保持其数据私有。在这个范例中,只有模型更新,如模型权重或梯度,是共享的。许多现有的方法都集中在水平FL,其中每一方具有整个特征集和标签的训练数据集。然而,许多真实场景遵循垂直分区的FL设置,其中只有当来自各方的所有数据集组合在一起时才形成完整的特征集,并且标签仅对单一方可用。隐私保护垂直FL是具有挑战性的,因为完整的标签和特征集不属于一个实体。现有的垂直FL方法需要各方之间的多个对等通信,导致冗长的训练时间,并且仅限于(近似)线性模型和两方。为了缩小这一差距,我们提出了FedV,这是一个在垂直设置中安全梯度计算的框架,用于几个广泛使用的ML模型,如线性模型,逻辑回归和支持向量机。FedV通过使用函数加密方案消除了各方之间对等通信的需要;这使得FedV能够实现更快的训练时间。它也适用于更大和不断变化的政党。我们经验性地证明了多种类型ML模型的适用性,并显示与最先进的方法相比,训练时间减少了10%-70%,数据传输减少了80%至90%。
2021-06-16 cs.AI cs.CR cs.DC
Privacy-Preserving Federated Learning over Vertically and Horizontally Partitioned Data for Financial Anomaly Detection
IBM Research(IBM研究院)
针对金融异常检测中数据同时纵向与横向分区且机构间缺乏信任的问题,提出PV4FAD方案,结合全同态加密、安全多方计算、差分隐私与随机化技术,在训练与推理阶段兼顾隐私保护和模型准确性,并生成随机森林集成模型以提升检测性能。
2023-10-30 cs.CR cs.LG
Combined Federated and Split Learning in Edge Computing for Ubiquitous Intelligence in Internet of Things: State of the Art and Future Directions
Pennsylvania State University(宾夕法尼亚州立大学);Fudan University(复旦大学)
联合学习(Federated Learning,FL)和分裂学习(Split Learning,SL)是两种新兴的协作学习方法,可以极大地促进物联网(Internet of Things,IoT)中的泛在智能。联邦学习使使用私有数据本地训练的机器学习(ML)模型能够聚合成全局模型。拆分学习允许ML模型的不同部分在学习框架中的不同工作者上进行协作训练。联邦学习和分裂学习各有其独特的优势和各自的局限性,可以相互补充,共同实现物联网中的泛在智能。因此,联邦学习和分裂学习的结合成为近年来一个活跃的研究领域,引起了广泛的兴趣。在本文中,我们回顾了联邦学习和分离学习的最新发展,并对在基于边缘计算的物联网环境中结合这两种学习方法的最新技术进行了调查。我们还确定了一些开放的问题,并讨论了在这一领域的未来研究的可能方向,希望进一步引起研究界对这一新兴领域的兴趣。
2022-07-20 cs.DC cs.LG
Differentially Private Label Protection in Split Learning
ByteDance(字节跳动)
分裂学习是一种分布式训练框架,它允许多方在垂直分区的数据(按属性分区)上联合训练机器学习模型。其思想是,只有中间计算结果,而不是私有特征和标签,在各方之间共享,以便原始训练数据保持私有。然而,最近的研究表明,分裂学习的明文实现存在严重的隐私风险,半诚实的对手可以很容易地重建标签。在这项工作中,我们提出了\textsf{TPSL}(转录私有分裂学习),一个通用的梯度扰动为基础的分裂学习框架,提供可证明的差分隐私保证。差分隐私不仅对模型权重,而且对分布式计算设置中的通信消息强制执行。我们在大规模真实数据集上的实验证明了\textsf{TPSL}对标签泄漏攻击的鲁棒性和有效性。我们还发现,\textsf{TPSL}有一个更好的实用性,隐私权衡比基线。
2022-03-04 cs.CR cs.DS cs.LG
Benchmarking Collaborative Learning Methods Cost-Effectiveness for Prostate Segmentation
Inria(法国国家信息与自动化研究所);King’s College London(伦敦国王学院)
针对医疗数据分散且隐私受限导致模型训练数据不足的问题,本文首次将基于共识的方法(CBM)用于协作学习场景下的MRI前列腺分割任务,对比发现其性能与联邦学习相当甚至更优且成本效益更高,为医学影像训练任务提供了联邦学习的有效替代方案。
2023-10-02 cs.LG
SplitFedZip: Learned Compression for Data Transfer Reduction in Split-Federated Learning
Simon Fraser University(西蒙弗雷泽大学)
本文提出SplitFedZip方法,通过学习型压缩技术有效降低SplitFed学习中的数据传输量,在医学图像分割实验中显著减少通信开销并保持模型准确率。
2024-12-18 cs.LG
Hetero-SplitEE: Split Learning of Neural Networks with Early Exits for Heterogeneous IoT Devices
The University of Tokyo(东京大学)
Hetero-SplitEE通过引入异构早期退出和协作训练策略,实现异构物联网设备的高效协同神经网络训练。
2025-12-10 cs.AI cs.LG
Communication-Efficient Hybrid Federated Learning for E-health with Horizontal and Vertical Data Partitioning
University of Cincinnati(辛辛那提大学);University of Wisconsin Milwaukee(威斯康星大学密尔沃基分校);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心);University of Nebraska-Lincoln(内布拉斯加大学林肯分校);Northeastern University(东北大学)
针对电子健康数据同时存在水平与垂直划分的问题,本文提出含一次中间结果交换和两阶段聚合的混合联邦学习框架及 HSGD 算法,给出收敛上界与自适应调参策略,实验证明其可在保证精度时降低通信成本。
2024-04-15 cs.DC cs.LG
FedSL: Federated Split Learning on Distributed Sequential Data in Recurrent Neural Networks
KITE, University Health Network(KITE,大学健康网络)
联邦学习(FL)和分裂学习(SL)是保护隐私的机器学习(ML)技术,能够在客户端之间分布的数据上训练ML模型,而无需直接存取原始数据。现有的FL和SL方法在水平或垂直分区的数据上工作,并且不能处理顺序分区的数据,其中多段顺序数据的段跨客户端分布。在本文中,我们提出了一种新的联邦分裂学习框架,FedSL,训练模型的分布式序列数据。在序列数据上进行训练的最常见ML模型是循环神经网络(RNN)。由于所提出的框架是隐私保护的,多段顺序数据的段不能在客户端之间或客户端和服务器之间共享。为了规避这一限制,我们提出了一种为RNN量身定制的新SL方法。RNN被分成子网络,每个子网络在一个包含多段训练序列的单个段的客户端上训练。在本地训练期间,不同客户端上的子网络彼此通信以捕获不同客户端上的多段顺序数据的连续段之间的潜在依赖性,但不共享原始数据或完整的模型参数。在使用本地顺序数据段训练本地子网络之后,所有客户端将其子网络发送到联邦服务器,在那里子网络被聚合以生成全局模型。在模拟和真实数据集上的实验结果表明,该方法成功地在分布式序列数据上训练模型,同时保护隐私,并且在以更少的通信轮次实现更高的准确性方面优于以前的FL和集中式学习方法。
2022-11-07 cs.DC cs.LG
FedVS: Straggler-Resilient and Privacy-Preserving Vertical Federated Learning for Split Models
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学)
本文提出FedVS框架,通过秘密共享方案同时解决拆分垂直联邦学习中掉队客户端导致的性能下降和嵌入上传引发的隐私泄露问题,并在多种数据集上验证了其优势。
2023-07-06 cs.CR cs.IT cs.LG
CollaFuse: Navigating Limited Resources and Privacy in Collaborative Generative AI
University of Bayreuth(拜罗伊特大学);Fraunhofer FIT(弗劳恩霍夫应用研究促进协会信息技术研究所);German Center for Artificial Intelligence(德国人工智能研究中心);TU Darmstadt(达姆施塔特工业大学)
针对生成式AI中扩散模型的资源需求与隐私挑战,提出受拆分学习启发的CollaFuse框架,通过本地保留轻量进程、服务器承担重计算实现协作训练推理,在医疗场景验证了隐私提升效果,推动分布式协作GenAI发展。
2024-08-16 cs.AI cs.LG
Can We Use Split Learning on 1D CNN Models for Privacy Preserving Training?
Data61, CSIRO(澳大利亚联邦科学与工业研究组织Data61);Cyber Security CRC(网络安全合作研究中心);Sungkyunkwan University(成均馆大学)
最近引入了一种新的协作学习,称为分裂学习,旨在保护用户数据隐私,而不向服务器泄露原始输入数据。它协同运行一个深度神经网络模型,其中模型分为两个部分,一个用于客户端,另一个用于服务器。因此,服务器不能直接存取在客户端处理的原始数据。到目前为止,分割学习被认为是保护客户端原始数据的一种有前途的方法;例如,在医疗图像应用中,使用2D卷积神经网络(CNN)模型保护客户端数据。然而,目前还不清楚分裂学习是否可以应用于其他深度学习模型,特别是1D CNN。在本文中,我们研究了分裂学习是否可以用于对1D CNN模型进行隐私保护训练。为了回答这个问题,我们首先设计并实现了一个分裂学习下的1D CNN模型,并使用医学ECG数据验证其在检测心脏异常方面的有效性。我们观察到,分裂学习下的1D CNN模型可以达到与原始(非分裂)模型相同的98.9\%的准确率。然而,我们的评估表明,分裂学习可能无法保护1D CNN模型上的原始数据隐私。为了解决分裂学习中观察到的隐私泄漏,我们采用了两种隐私泄漏缓解技术:1)在客户端添加更多的隐藏层和2)应用差分隐私。虽然这些缓解技术有助于减少隐私泄露,但它们对模型准确性有重大影响。因此,基于这些结果,我们得出结论,单独的分裂学习不足以保持1D CNN模型中原始序列数据的机密性。
2020-03-16 cs.CR cs.LG cs.NE
Distributed collaborative anomalous sound detection by embedding sharing
Hitachi Ltd.(日立公司)
本文提出一种基于嵌入共享的分布式协作异常声音检测方法,各客户端使用通用预训练模型计算嵌入并在服务器聚合,通过离群点暴露进行检测,使异常声音检测的AUC平均提升6.8%。
2024-03-25 cs.CR cs.LG cs.SD
Personalized Federated Learning via Stacking
提出一种基于堆叠泛化的个性化联邦学习方法,客户端交换隐私保护模型作为基础模型训练元模型,适用于多种数据划分和隐私技术,并支持贡献评估。
2024-04-21 cs.CR cs.DC cs.LG
MP-SL: Multihop Parallel Split Learning
University College Dublin(都柏林大学学院);University of Thessaly(塞萨利大学)
针对并行拆分学习计算节点内存需求高、资源受限设备难参与大模型训练的问题,提出支持多跳流水线训练的MP-SL框架,实验验证其应对系统异构性的效率优于单跳并行SL。
2024-01-31 cs.DC cs.LG
Unleashing the Tiger: Inference Attacks on Split Learning
EPFL(洛桑联邦理工学院);George Mason University(乔治梅森大学);Institute of Applied Computing, CNR(意大利国家研究委员会应用计算研究所)
我们研究了分裂学习的安全性--一种新颖的协作机器学习框架,它通过最小的资源消耗来实现峰值性能。在本文中,我们暴露的协议的漏洞,并证明其固有的不安全性,通过引入一般的攻击策略,针对客户端的私人训练集的重建。更突出的是,我们发现恶意服务器可以主动劫持分布式模型的学习过程,并将其带入不安全状态,从而对客户端数据进行推理攻击。我们实现了不同的攻击适应,并在各种数据集以及现实的威胁场景中进行测试。我们证明,我们的攻击是能够克服最近提出的防御技术,旨在提高分裂学习协议的安全性。最后,我们还说明了协议的不安全性对恶意客户端扩展以前设计的攻击联邦学习。为了使我们的结果可重复,我们在https://github.com/pasquini-dario/SplitNN_FSHA上提供了我们的代码。
2021-11-04 cs.CR cs.LG
Adaptive and Parallel Split Federated Learning in Vehicular Edge Computing
School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院);Xidian University(西安电子科技大学);Guangzhou Institute of Technology, Xidian University(西安电子科技大学广州研究院);Faculty of Information Technology, University of Jyväskylä(于韦斯屈莱大学信息技术学院)
针对车载边缘智能中传统联邦学习存在的适配性差、资源不足、隐私泄露等问题,提出结合拆分学习与联邦学习的ASFV方案,通过自适应模型拆分、并行训练及车辆与资源优化,在非独立同分布数据下显著降低训练延迟,适配网络与车辆移动性。
2024-05-29 cs.AI cs.LG cs.NI
Multi-limb Split Learning for Tumor Classification on Vertically Distributed Data
German University in Cairo(开罗德国大学);Ain Shams University(艾因夏姆斯大学)
脑肿瘤是威胁生命的癌症之一。以前的研究已经使用深度神经网络对脑肿瘤进行了分类。在本文中,我们使用协作式深度学习技术(更具体地说,分裂学习)来执行后面的任务。分裂学习允许通过神经网络分裂成两个(或更多)部分,客户端网络和服务器端网络进行协作学习。客户端被训练到称为剪切层的某个层。然后,在服务器端网络上恢复其余的训练。垂直分布是一种在组织之间分布数据的方法,在几家医院为同一组患者保存不同属性的信息的情况下实施。据我们所知,本文将是第一篇同时实现分裂学习和垂直分布的脑肿瘤分类的论文。使用这两种技术,我们能够实现训练和测试的准确性大于90%和70%,分别。
2023-01-27 cs.CV cs.LG eess.IV
Roulette: A Semantic Privacy-Preserving Device-Edge Collaborative Inference Framework for Deep Learning Classification Tasks
Sun Yat-sen University(中山大学)
针对设备-边缘协同推理中的非独立同分布精度下降和真实标签隐私泄露问题,提出Roulette框架,通过冻结后端、重训练前端为特征提取器和加密器的分割学习范式,提供差分隐私保证,在严重非独立同分布下平均提升推理精度21%并有效防御攻击。
2023-09-06 cs.AI cs.CR cs.DC
Advancements of federated learning towards privacy preservation: from federated learning to split learning
CSIRO Data61(澳大利亚联邦科学与工业研究组织Data61)
在分布式协作机器学习(DCML)范式中,联邦学习(FL)最近因其在健康,金融以及工业4.0和智能汽车等最新创新中的应用而备受关注。FL通过设计提供隐私。它在多个分布式客户端(从两个到数百万个)(如手机)上协作训练机器学习模型,而不与任何其他参与者共享原始数据。在实际场景中,并非所有客户端都具有足够的计算资源(例如,物联网),机器学习模型具有数百万个参数,并且在训练/测试时其在服务器和客户端之间的隐私是主要关注的(例如,竞争对手)。在这方面,FL是不够的,所以引入了分裂学习(SL)。SL在这些场景中是可靠的,因为它将模型分成多个部分,将它们分布在客户端和服务器之间,并训练/测试它们各自的模型部分以完成完整的模型训练/测试。在SL中,参与者不与任何其他方共享数据及其模型部分,并且通常将较小的网络部分分配给数据所在的客户端。最近,引入了FL和SL的混合,称为splitfed learning,以提升FL(更快的训练/测试时间)和SL(模型分割和训练)的优势。根据从外语到外语的发展,并考虑到外语的重要性,本章旨在提供外语及其变体的广泛覆盖。覆盖面包括基本面,现有的调查结果,与隐私措施,如差分隐私,开放的问题,和代码实现的集成。
2020-11-25 cs.AI cs.CR cs.LG
Split Federated Learning on Micro-controllers: A Keyword Spotting Showcase
ASU(亚利桑那州立大学)
如今,人工智能公司通过积极收集边缘设备产生的用户数据来提高服务质量,这危及数据隐私。为了防止这种情况,联邦学习被提出作为一个私人的学习计划,使用它用户可以在本地训练的模型,而无需收集用户的原始数据到服务器。然而,对于具有硬内存限制的边缘设备上的机器学习应用程序,使用FL实现大型模型是不可行的。为了满足内存需求,最近的一种名为分裂联邦学习的协作学习方案是一种潜在的解决方案,因为它在设备上保留一个小模型,并将模型的其余部分保留在服务器上。在这项工作中,我们在Arduino板上实现了一个简单的SFL框架,并在中文数字音频数据集上验证了其正确性,以超过90%的准确率进行关键字定位应用。此外,在英语数字音频数据集上,我们的SFL实现比最先进的FL实现高出13.89%的准确率。
2022-10-04 cs.CR cs.LG
A Vertical Federated Learning Framework for Graph Convolutional Network
Ant Group(蚂蚁集团)
近年来,图神经网络(GNN)在解决现实世界中的各种图数据问题上取得了显著的成功。然而,在大多数行业中,数据以孤岛的形式存在,数据隐私和安全也是一个重要问题。在本文中,我们提出了FedVGCN,联邦GCN学习范式的隐私保护节点分类任务下的数据垂直分区设置,它可以推广到现有的GCN模型。具体来说,我们将计算图数据分为两部分。对于训练过程的每次迭代,双方在同态加密下相互传输中间结果。我们在基准数据上进行了实验,结果证明了FedVGCN在GraphSage情况下的有效性。
2021-06-22 cs.AI cs.LG
Citadel: Protecting Data Privacy and Model Confidentiality for Collaborative Learning with SGX
Hong Kong University of Science and Technology(香港科技大学);Nokia Bell Labs(诺基亚贝尔实验室);University of Nevada, Reno(内华达大学里诺分校)
随着机器学习(ML)的进步及其日益增长的意识,许多拥有数据但没有ML专业知识的组织(数据所有者)希望将他们的数据集中起来,并与那些拥有专业知识但需要来自不同来源的数据的组织合作,以训练真正可推广的模型(模型所有者)。在这种协作ML中,数据所有者希望保护其训练数据的隐私,而模型所有者希望模型和训练方法的机密性,其中可能包含知识产权。然而,现有的私有ML解决方案,如联邦学习和分裂学习,无法同时满足数据和模型所有者的隐私要求。Citadel是一个可扩展的协作机器学习系统,可在英特尔SGX的帮助下保护不可信基础设施中数据所有者和模型所有者的隐私。Citadel在代表数据所有者运行的多个训练飞地和代表模型所有者运行的聚合器飞地之间执行分布式训练。Citadel还通过零和屏蔽和分层聚合在这些飞地之间建立了强大的信息屏障,以防止协同训练期间的数据/模型泄漏。与现有的受SGX保护的培训系统相比,Citadel为协作ML提供了更好的可扩展性和更强的隐私保证。使用各种ML模型的云部署表明,Citadel可以扩展到大量的飞地,SGX导致的速度下降不到1.73倍。
2021-11-08 cs.CR cs.DC cs.LG
SplitNN-driven Vertical Partitioning
Acuratio;MIT(麻省理工学院);Harvard Medical School(哈佛医学院)
在这项工作中,我们介绍了SplitNN驱动的垂直分区,这是一种称为SplitNN的分布式深度学习方法的配置,用于促进从垂直分布的特征中学习。SplitNN不与合作机构共享原始数据或模型细节。拟议的配置允许在拥有不同数据来源的机构之间进行培训,而不需要复杂的加密算法或安全计算协议。我们评估了几种配置,以合并拆分模型的输出,并比较性能和资源效率。该方法是灵活的,并允许许多不同的配置来解决垂直分割数据集带来的特定挑战。
2020-08-07 cs.LG stat.ML
HybridFL: A Federated Learning Approach for Financial Crime Detection
Department of Advanced Computing Sciences, Maastricht University(马斯特里赫特大学高级计算科学系);Department of Cognitive Science and Artificial Intelligence, Tilburg University(蒂尔堡大学认知科学与人工智能系)
HybridFL通过整合水平聚合和垂直特征融合,在金融犯罪检测中实现数据本地性保护下的联合学习,优于本地模型并接近集中式基准性能。
2026-02-22 cs.AI cs.LG
SCALA: Split Federated Learning with Concatenated Activations and Logit Adjustments
school of Electronic and Information Engineering, South China University of Technology(电子与信息工程学院,华南理工大学)
SCALA通过拼接客户端激活和logit调整,解决联邦学习中标签分布偏斜问题,提升模型性能。
2025-12-25 cs.AI cs.LG
ASFL: An Adaptive Model Splitting and Resource Allocation Framework for Split Federated Learning
Department of Electrical and Computer Engineering, The University of British Columbia, Vancouver, Canada(电气与计算机工程系,不列颠哥伦比亚大学);Department of Computer Science and Engineering, Southern University of Science and Technology, China(计算机科学与工程系,南方科技大学)
ASFL框架通过自适应模型分割和资源分配优化,在无线网络中提升联邦学习的收敛速度和效率。
2026-02-19 cs.AI cs.LG
Quality-Adaptive Split-Federated Learning for Segmenting Medical Images with Inaccurate Annotations
Simon Fraser University(西蒙弗雷泽大学)
针对拆分联邦学习中多客户端医学图像标注质量不一导致分割精度下降的问题,提出质量自适应平均策略QA-SplitFed,实验证明其在仅存一个无污染客户端时仍能有效维持分割精度。
2023-04-28 cs.CV cs.LG eess.IV
Analyzing the vulnerabilities in SplitFed Learning: Assessing the robustness against Data Poisoning Attacks
Anglia Ruskin University(安格利亚鲁斯金大学)
本文首次系统研究SplitFed学习中的数据投毒攻击,提出非定向、定向和基于距离三种攻击策略,并通过心电图分类和手写数字识别实验证明非定向及基于距离的攻击比定向攻击更具破坏性。
2023-07-04 cs.AI cs.LG
PubSub-VFL: Towards Efficient Two-Party Split Learning in Heterogeneous Environments via Publisher/Subscriber Architecture
Department of Computer Science, City University of Hong Kong(香港城市大学计算机科学系);ByteDance Inc.(字节跳动公司)
针对两方分割学习在异构环境下的低资源利用率和训练延迟问题,提出基于发布者/订阅者架构的PubSub-VFL,利用分层异步机制和超参数优化,实现2-7倍加速及91.07%的资源利用率。
2025-10-14 cs.AI cs.DC cs.LG
Split Learning for collaborative deep learning in healthcare
Massachusetts General Hospital(马萨诸塞州总医院);Massachusetts Institute of Technology(麻省理工学院)
标记数据的短缺一直阻碍着医疗保健领域深度学习的兴起,因为样本量通常很小,患者信息无法公开共享,多中心协作研究是一个负担。分布式机器学习方法有望缓解这些问题。我们主张基于分裂学习的方法,并首次在医学领域应用这种分布式学习方法,以比较(1)集中托管和(2)非协作配置的性能。两个医学深度学习任务用于将分割学习与传统的单中心和多中心方法进行比较:9000张眼底照片的数据集的二进制分类问题,以及156,535张胸部X光片的数据集的多标签分类问题。几个分布式学习设置进行了比较,范围为1-50分布式参与者。与单中心研究相比,对于任何数量的客户,分离学习配置的性能保持恒定,与两组2个客户后的非协作配置相比显示出显著差异(p < 0.001)。我们的研究结果肯定了深度神经网络在医疗保健中的协作训练的好处。我们的工作证明了分布式学习在医疗保健领域的巨大优势,并为未来的现实世界实现铺平了道路。
2019-12-27 cs.DC cs.LG stat.ML
DC-CCL: Device-Cloud Collaborative Controlled Learning for Large Vision Models
Shanghai Jiao Tong University(上海交通大学);University of Texas at Dallas(德克萨斯大学达拉斯分校);Alibaba Group(阿里巴巴集团)
许多大型视觉模型已经部署在云上用于实时服务。同时,在所服务的移动终端上不断生成新鲜样本。如何利用设备端样本对云端大模型进行改进成为现实需求,却陷入了上行无原始样本、下行无大模型的困境。具体地,由于隐私或通信开销的考虑,用户可能选择不与云共享原始样本,而一些大型视觉模型的大小远远超过移动终端的运行时容量。在这项工作中,我们提出了一个设备-云协作控制学习框架,称为DC-CCL,使云侧的大型视觉模型,不能直接部署在移动终端上仍然受益于设备侧的本地样本。具体地说,DC-CCL垂直地将基础模型分成两个子模型,一个大子模型用于从云端样本学习,另一个小子模型用于从设备端样本学习并执行设备-云知识融合。然而,设备上的小子模型训练需要云侧大子模型的输出来计算所需的梯度。因此,DC-CCL引入了一个轻量级模型来模拟具有知识蒸馏的大型云侧子模型,该模型可以卸载到移动终端以控制其小型子模型的优化方向。鉴于协作学习中两个子模型的解耦性质,DC-CCL还允许云采用预先训练的模型,而移动终端采用具有不同骨干架构的另一模型。
2023-03-18 cs.LG
Vulnerability Due to Training Order in Split Learning
Indian Institute of Science Education and Research, Pune(印度科学教育与研究学院浦那分校);DeepTek Inc(DeepTek公司)
分裂学习(SL)是一种隐私保护的分布式深度学习方法,用于训练协作模型,而无需在客户端之间共享患者的原始数据。在分裂学习中,一个额外的隐私保护算法,称为no-peek算法,这是强大的对抗攻击。分裂学习提供的隐私优势使其适合医疗保健领域的实践。然而,分裂学习算法是有缺陷的,因为协作模型是顺序训练的,即,客户一个接一个地训练我们指出,使用分裂学习算法训练的模型在一轮结束时偏向于用于训练的客户端的数据。这使得SL算法非常容易受到客户端被考虑用于训练的顺序的影响。我们证明,使用所有客户端的数据训练的模型在客户端的数据上表现不佳,这些数据在一轮训练模型中被认为是最早的。此外,我们发现,这种影响变得更加突出的客户端的数量的增加。我们还证明了SplitFedv 3算法缓解了这个问题,同时仍然利用分裂学习提供的隐私优势。
2021-03-26 cs.LG
Auto-Split: A General Framework of Collaborative Edge-Cloud AI
Huawei Technologies Canada Co. Ltd.(华为技术加拿大有限公司);School of Computing Science Simon Fraser University(西蒙弗雷泽大学计算科学学院);Huawei Technologies(华为技术有限公司)
在许多工业规模的应用中,大型且消耗资源的机器学习模型驻留在功能强大的云服务器中。同时,大量的输入数据被收集在云的边缘。推理结果也会传达给用户或传递给边缘的下游任务。边缘通常由大量低功耗设备组成。设计行业产品以支持复杂的深度模型部署并以有效的方式进行模型推理,从而保持高模型准确性和低端到端延迟,这是一个巨大的挑战。本文介绍了华为云的边缘云协同原型Auto-Split背后的技术和工程实践。这项专利技术已经在选定的应用程序上得到验证,正在进行更广泛的系统化边缘云应用程序集成,并作为端到端云边缘协作智能部署的自动化管道服务供公众使用。据我们所知,没有现有的工业产品提供深度神经网络(DNN)分裂的能力。
2021-08-30 cs.AI cs.LG
Bayes-Split-Edge: Bayesian Optimization for Constrained Collaborative Inference in Wireless Edge Systems
University of Kansas(堪萨斯大学);New Jersey Institute of Technology(新泽西理工学院)
针对无线边缘系统中能量和延迟约束下的协作推理,提出Bayes-Split-Edge,利用贝叶斯优化联合优化传输功率和分割点,实现高达2.4倍成本降低和近线性收敛。
2025-10-27 cs.DC cs.LG eess.SP
Attributed Graph Clustering in Collaborative Settings
School of Mathematical Sciences, Zhejiang University(浙江大学数学科学学院);School of Cyber Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);antgroup(蚂蚁集团)
本文提出一种面向垂直划分数据的协作属性图聚类框架,通过缩减样本空间提升效率,并在四个公开数据集上验证其准确率可与集中式方法相媲美,有效解决数据隔离问题。
2024-12-31 cs.LG cs.SI
Vertical Federated Principal Component Analysis and Its Kernel Extension on Feature-wise Distributed Data
Hong Kong Baptist University(香港浸会大学);Xidian University(西安电子科技大学)
尽管联邦学习(FL)在各个领域有着巨大的研究兴趣和快速的应用,但现有的研究大多集中在水平分区局部数据集环境下的有监督联邦学习。本文将研究垂直分区数据集下的无监督FL。因此,本文提出了垂直分区数据集联合主成分分析(VFedPCA)方法,该方法对所有客户端的联合数据集进行降维,并提取主成分特征信息用于下游数据分析。我们进一步利用非线性降维,并提出了垂直联邦高级核主成分分析(VFedAKPCA)方法,它可以有效地和协同建模的非线性性质存在于许多真实的数据集。此外,我们还研究了两种通信拓扑结构。第一种是服务器-客户端拓扑,其中半信任服务器协调联合训练,而第二种是完全分散的拓扑,通过允许客户端自己与邻居通信,进一步消除了对服务器的要求。在五种真实数据集上进行的大量实验证实了垂直分区FL设置下VFedPCA和VFedAKPCA的有效性。代码可在:https://github.com/juyongjiang/VFedPCA-VFedAKPCA
2022-03-03 cs.DC cs.LG
Data-Driven Pinball-Loss Selection for Vertically Distributed Elastic-Net SVMs
Yunnan University(云南大学);Chongqing Normal University(重庆师范大学);Southern University of Science and Technology(南方科技大学)
本文提出数据驱动的垂直分布弹性网支持向量机,通过学习单纯形约束权重优化弹球损失,开发列分区变量分裂求解器,经实验验证其预测性能、数值等价性及多进程可扩展性。
2026-08-04 cs.LG stat.CO
Vertically Federated Graph Neural Network for Privacy-Preserving Node Classification
Zhejiang University(浙江大学);Ant Group(蚂蚁集团);Sony AI(索尼人工智能);Macquarie University(麦考瑞大学);Peking University(北京大学);JZTData Technology(九州通数据科技)
近年来,图神经网络(Graph Neural Network,GNN)在处理由节点特征和节点间邻接信息组成的图数据的各种实际任务中取得了显著的进展。高性能的GNN模型往往依赖于图中丰富的特征和完整的边信息。然而,在实际运作中,这些数据可能会被不同的数据持有者隔离,这就是所谓的数据隔离问题。为了解决这个问题,在本文中,我们提出了VFGNN,联邦GNN学习范式的隐私保护节点分类任务下的数据垂直分区设置,它可以推广到现有的GNN模型。具体来说,我们将计算图分为两部分。我们保留私有数据(即,特征、边和标签)相关的计算,并将其余的计算委托给半诚实服务器。我们还建议应用差分隐私,以防止潜在的信息泄漏的服务器。我们在三个基准上进行了实验,结果证明了VFGNN的有效性。
2022-04-25 cs.CR cs.LG stat.ML
Verifiable Split Learning via zk-SNARKs
1 Information \& Computing Lab, atlanTTic, Universidade de Vigo
本文提出集成 zk-SNARK 证明的可验证分割学习框架,确保前后向传播中计算的正确性与可验证性,克服了区块链系统轻量但不可验证的局限。
2025-11-03 cs.LG
Energy-Efficient Model Compression and Splitting for Collaborative Inference Over Time-Varying Channels
University of Oulu(奥卢大学);Centre for Wireless Communications(无线通信中心)
当今的智能应用可以使用诸如深度神经网络(DNN)之类的机器学习(ML)技术来实现高性能准确性。传统上,在远程DNN推理问题中,边缘设备将原始数据传输到执行推理任务的远程节点。然而,这可能会导致高传输能量成本,并使数据隐私面临风险。在本文中,我们提出了一种技术,以减少总的能源法案在边缘设备,利用模型压缩和随时间变化的模型之间的边缘和远程节点分裂。时变表示考虑了时变信道,并且可以显著降低边缘设备处的总能量,同时保持高精度(低损耗)。我们实现我们的方法在一个图像分类任务使用MNIST数据集,和系统环境模拟为一个轨迹导航的情况下,模拟不同的信道条件。数值模拟表明,我们提出的解决方案的结果在最小的能量消耗和$CO_2$排放相比,所考虑的基线,同时表现出强大的性能在不同的信道条件和带宽制度的选择。
2021-06-02 cs.IT cs.LG math.IT
Collaborative Multidisciplinary Design Optimization with Neural Networks
Stanford University(斯坦福大学)
复杂工程系统的设计导致解决涉及不同学科的非常大的优化问题。通过提供子目标并将问题分解成更小的部分来允许学科并行优化的策略(如协同优化)是有前途的解决方案。然而,它们中的大多数收敛速度慢,这降低了它们的实际应用。早期通过学习代理模型来加速收敛的努力还没有成功地充分提高这些策略的竞争力。本文表明,在协作优化的情况下,通过解决一个有趣的二元分类实例可以获得更快,更可靠的收敛:在目标标记的顶部,两个类之一的训练数据包含到决策边界的距离及其导数。利用这些信息,我们提出了训练一个神经网络与不对称的损失函数,结构,保证Lipshitz连续性,并对尊重基本距离函数属性的正则化。通过一个玩具学习实例证明了该方法的有效性,并将其应用于多学科飞机设计问题。
2021-06-11 cs.LG
Multi-Agent Collaborative Inference via DNN Decoupling: Intermediate Feature Compression and Edge Learning
Beijing Institute of Technology(北京理工大学);Wuhan University(武汉大学);Auburn University(奥本大学)
最近,通过协作推理部署深度神经网络(DNN)模型变得很有吸引力,该模型将预先训练的模型分成两部分,并分别在用户设备(UE)和边缘服务器上执行。然而,DNN的大的中间特征阻碍了灵活的解耦,并且现有的方法要么专注于单个UE场景,要么简单地考虑所需的CPU周期来定义任务,但忽略了单个DNN层的不可分割性。在本文中,我们研究了多智能体协作推理的情况下,一个单一的边缘服务器协调多个UE的推理。我们的目标是为所有UE实现快速和节能的推断。为了实现这一目标,我们首先设计了一个轻量级的自动编码器为基础的方法来压缩大的中间功能。然后,我们根据DNN的推理开销定义任务,并将问题表示为马尔可夫决策过程(MDP)。最后,我们提出了一个多智能体混合近端策略优化(MAHPPO)算法来解决混合行动空间的优化问题。我们在不同类型的网络上进行了大量的实验,结果表明我们的方法可以减少多达56%的推理延迟和节省高达72%的能量消耗。
2022-06-12 cs.LG
Lightweight compression of neural network feature tensors for collaborative intelligence
Simon Fraser University(西蒙弗雷泽大学)
在协作智能应用中,深度神经网络(DNN)的一部分部署在复杂度相对较低的设备上,例如移动电话或边缘设备,而DNN的其余部分在更多计算资源可用的地方进行处理,例如在云中。本文提出了一种新的轻量级压缩技术,专门用于对分裂DNN层的激活进行编码,同时具有适用于边缘设备的低复杂度,并且不需要任何重新训练。我们还提出了一种改进的熵约束量化器的设计算法优化裁剪激活。当应用于流行的对象检测和分类DNN时,我们能够将32位浮点激活压缩到0.6到0.8位,同时将精度损失保持在1%以下。与HEVC相比,我们发现轻量级编解码器始终提供更好的推理准确性,高达1.3%。这种轻量级压缩技术的性能和简单性使其成为在边缘/云应用的分裂神经网络中编码层激活的有吸引力的选择。
2021-05-12 cs.LG eess.IV
Splitwise: Collaborative Edge-Cloud Inference for LLMs via Lyapunov-Assisted DRL
University of Innsbruck(因斯布鲁克大学);Sharif University of Technology(谢赫·巴赫尔·卡什·大学)
Splitwise通过Lyapunov辅助深度强化学习实现LLM在边缘和云环境中的细粒度自适应划分,减少延迟和能耗,提高鲁棒性。
2025-12-29 cs.AI cs.DC cs.ET
Oops!... They Stole it Again: Attacks on Split Learning
Tampere University(塔尔皮奥大学)
本文系统综述了针对拆分学习(SL)的各类攻击及防御方法,按攻击者角色等因素对攻击进行分类,并分析现有防御的有效性与局限,揭示了安全漏洞并指明未来研究方向。
2025-08-14 cs.LG
SplitLLM: Collaborative Inference of LLMs for Model Placement and Throughput Optimization
Yale University(耶鲁大学);NEC Laboratories America(美国NEC实验室)
本文提出一种服务器与客户端协同的LLM推理架构SplitLLM,通过基于动态规划的算法在双方最优分配计算,在满足SLA的前提下使服务器工作负载减少约1/3,较贪心方法提升19%,有效提升了服务器吞吐量。
2024-10-16 cs.DC cs.LG cs.NI
Split learning for health: Distributed deep learning without sharing raw patient data
Massachusetts Institute of Technology(麻省理工学院)
卫生实体能否在不共享敏感原始数据的情况下协作训练深度学习模型?本文提出了一种称为SplitNN的分布式深度学习方法的几种配置,以促进这种协作。SplitNN不与合作机构共享原始数据或模型细节。splitNN的拟议配置迎合了以下实际设置:i)持有不同模式的患者数据的实体,ii)在多个任务上协作的集中式和本地健康实体,以及iii)在不共享标签的情况下学习。我们比较了splitNN和其他分布式深度学习方法(如联邦学习、大批量同步随机梯度下降)的性能和资源效率权衡,并显示了splitNN非常令人鼓舞的结果。
2018-12-03 cs.LG stat.ML
Lightweight Compression of Intermediate Neural Network Features for Collaborative Intelligence
Simon Fraser University(西蒙弗雷泽大学)
在协作智能应用中,深度神经网络(DNN)的一部分部署在移动电话或边缘设备等轻量级设备上,而DNN的其余部分则在更多计算资源可用的地方(如云中)进行处理。本文提出了一种新的轻量级压缩技术,专门设计用于对分裂DNN的中间层输出的特征进行压缩,而不需要对网络权重进行任何重新训练。开发了用于估计该中间层的ReLU和泄漏ReLU激活的限幅和量化误差的数学模型,并用于计算粗量化的最佳限幅范围。我们还提出了一种改进的熵约束设计算法的量化裁剪激活。当应用于流行的对象检测和分类DNN时,我们能够将32位浮点中间激活压缩到0.6到0.8位,同时将准确性损失保持在1%以下。与HEVC相比,我们发现轻量级编解码器始终提供更好的推理准确性,高达1.3%。这种轻量级压缩技术的性能和简单性使其成为对边缘/云应用的分裂神经网络的中间层进行编码的有吸引力的选择。
2021-05-15 cs.LG eess.IV