Feature Space Hijacking Attacks against Differentially Private Split Learning
LiveRamp
拆分学习和差分隐私技术在帮助分布式数据集进行隐私合规高级分析方面具有越来越大的潜力。对分裂学习的攻击是一种重要的评估工具,最近受到越来越多的研究关注。这项工作的贡献是应用最近的特征空间劫持攻击(FSHA)的分裂神经网络的学习过程中增强了差分隐私(DP),使用客户端现成的DP优化器。FSHA攻击在任意设置的DP攻击级别下以低出错率获得客户端的私有数据重建。我们还尝试了降维作为一种潜在的攻击风险缓解,并表明它可能在一定程度上有所帮助。我们讨论了为什么差分隐私在这种情况下不是一种有效的保护,并提到潜在的其他风险缓解方法的原因。
2022-01-14 cs.AI cs.CR
InfoDecom: Decomposing Information for Defending Against Privacy Leakage in Split Inference
InfoDecom通过分解和去除冗余信息并注入校准噪声,实现了在分割推断中更优的隐私保护与效用平衡。
2026-01-03 cs.AI cs.CR cs.DC
Make Split, not Hijack: Preventing Feature-Space Hijacking Attacks in Split Learning
Tampere University(坦佩雷大学);RISE Research Institutes of Sweden(瑞典RISE研究院)
本研究针对拆分学习易受特征空间劫持等攻击、隐私保护不足的问题,提出结合拆分学习与函数秘密共享的混合方法,通过随机掩码与秘密份额处理实现数据隐私保护,兼具高准确率、低通信开销与训练效率优势。
2024-04-14 cs.AI cs.CR
Exploring the Privacy-Energy Consumption Tradeoff for Split Federated Learning
本文系统分析分割联邦学习中切分层选择对客户端能耗与隐私的影响,并通过示例展示在能量预算约束下降低原始数据重建风险的权衡策略。
2024-05-03 cs.AI cs.CR cs.LG
Federated Split Learning for Human Activity Recognition with Differential Privacy
University of Alabama in Huntsville(阿拉巴马大学亨茨维尔分校)
本文提出一种基于差分隐私的联邦分割学习框架FSL-DP,利用加速度计和陀螺仪数据提升人类活动识别准确性,在准确率、损失和通信效率上优于传统联邦学习,并平衡了隐私与性能。
2024-11-09 cs.AI cs.CR cs.LG
Spatio-Temporal Split Learning for Privacy-Preserving Medical Platforms: Case Studies with COVID-19 CT, X-Ray, and Cholesterol Data
Korea University(高丽大学);Hallym University(翰林大学);Seoul National University Hospital(首尔国立大学医院);Dankook University(檀国大学)
机器学习需要大量的样本数据,尤其是在高精度医疗应用中。然而,患者记录是最敏感的私人信息之一,通常不会在机构之间共享。本文介绍了时空分裂学习,一种分布式深度神经网络框架,它是允许隐私敏感组织之间协作的转折点。我们的时空分裂学习展示了如何在最小的隐私问题下有效地进行分布式机器学习。拟议的分割学习由多个客户端和一个集中式服务器组成。每个客户端仅具有一个隐藏层,其充当隐私保护层,并且集中式服务器包括其他隐藏层和输出层。由于集中式服务器不需要访问训练数据,并且使用从隐私保护层接收的参数来训练深度神经网络,因此保证了原始数据的隐私性。我们创造了时空分割学习这个术语,因为多个客户端在空间上分布以覆盖来自不同参与者的不同数据集,我们可以在时间上分割学习过程,将隐私保护层与学习过程的其余部分分离,以最大限度地减少隐私泄露。本文展示了我们如何使用我们提出的多站点时空分割学习算法分析医疗数据,同时确保隐私,用于冠状病毒疾病-19(COVID-19)胸部计算机断层扫描(CT)扫描,粘膜骨骼X射线(MURA)X射线图像和胆固醇水平。
2021-08-20 cs.AI cs.LG eess.IV
Advancements of federated learning towards privacy preservation: from federated learning to split learning
CSIRO Data61(澳大利亚联邦科学与工业研究组织Data61)
在分布式协作机器学习(DCML)范式中,联邦学习(FL)最近因其在健康,金融以及工业4.0和智能汽车等最新创新中的应用而备受关注。FL通过设计提供隐私。它在多个分布式客户端(从两个到数百万个)(如手机)上协作训练机器学习模型,而不与任何其他参与者共享原始数据。在实际场景中,并非所有客户端都具有足够的计算资源(例如,物联网),机器学习模型具有数百万个参数,并且在训练/测试时其在服务器和客户端之间的隐私是主要关注的(例如,竞争对手)。在这方面,FL是不够的,所以引入了分裂学习(SL)。SL在这些场景中是可靠的,因为它将模型分成多个部分,将它们分布在客户端和服务器之间,并训练/测试它们各自的模型部分以完成完整的模型训练/测试。在SL中,参与者不与任何其他方共享数据及其模型部分,并且通常将较小的网络部分分配给数据所在的客户端。最近,引入了FL和SL的混合,称为splitfed learning,以提升FL(更快的训练/测试时间)和SL(模型分割和训练)的优势。根据从外语到外语的发展,并考虑到外语的重要性,本章旨在提供外语及其变体的广泛覆盖。覆盖面包括基本面,现有的调查结果,与隐私措施,如差分隐私,开放的问题,和代码实现的集成。
2020-11-25 cs.AI cs.CR cs.LG
PRSI: Privacy-Preserving Recommendation Model Based on Vector Splitting and Interactive Protocols
School of computer Science and Engineering Sun Yat-sen University(中山大学计算机科学与工程学院)
针对联邦推荐系统(FedRec)的隐私泄露问题及单用户交互数据下的训练挑战,本文提出PRSI隐私保护推荐系统,通过预处理模块、两阶段交互协议实现隐私保护,并验证其安全性、准确性和通信成本。
2024-11-27 cs.AI cs.CR
LSTMSPLIT: Effective SPLIT Learning based LSTM on Sequential Time-Series Data
ENNEW Digital Research Institute, ENN Group(新奥集团新智数字研究院);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);National University of Singapore(新加坡国立大学)
联邦学习(FL)和分裂学习(SL)是两种流行的分布式机器学习(ML)方法,它们提供了一些数据隐私保护机制。在时间序列分类问题中,许多研究人员通常使用基于SL方法的1D卷积神经网络(1DCNN)与单个客户端,以减少客户端的计算开销,同时仍然保护数据隐私。另一种方法,递归神经网络(RNN),用于顺序分区的数据,其中多段顺序数据的段分布在各个客户端上。然而,据我们所知,这仍然是不多的工作,在SL与长短期记忆(LSTM)网络,即使是LSTM网络是实际有效的处理时间序列数据。在这项工作中,我们提出了一种新的方法,LSTMSPLIT,它使用SL架构和LSTM网络来对多个客户端的时间序列数据进行分类。采用差分隐私(DP)技术解决数据隐私泄露问题。与使用心电图数据集和人类活动识别数据集的Split-1DCNN方法相比,所提出的方法LSTMSPLIT已经实现了更好或合理的准确性。此外,所提出的方法,LSTMSPLIT,也可以达到良好的准确性后,应用差分隐私,以保护用户的隐私层的LSTMSPLIT。
2022-03-08 cs.AI cs.CR cs.LG
Edge-assisted U-Shaped Split Federated Learning with Privacy-preserving for Internet of Things
Beijing Wuzi University(北京物资学院);Beijing University of Technology(北京工业大学)
针对物联网设备算力不足、数据传输易拥塞及隐私风险问题,提出边缘辅助U型拆分联邦学习框架EUSFL,结合联邦学习与拆分学习优势,搭配LabelDP噪声机制,在保障隐私的同时提升训练效率、降低设备开销。
2023-11-08 cs.AI cs.CR cs.LG
P3SL: Personalized Privacy-Preserving Split Learning on Heterogeneous Edge Devices
Department of Computer Science, Virginia Tech(弗吉尼亚理工学院计算机科学系);Department of Computer Science, William & Mary(威廉与玛丽学院计算机科学系)
针对异构边缘设备分割学习忽视个性化隐私和本地定制的问题,提出P3SL框架,通过个性化顺序流水线和双层优化实现隐私保护与能耗平衡,并在7设备测试平台上验证了有效性。
2025-08-05 cs.AI cs.DC cs.LG
Evaluating Privacy Leakage in Split Learning
Meta
本文研究分割学习中的隐私泄露问题,发现切割层梯度可被攻击者用于高精度重建私有特征,并验证少量差分隐私能在不明显损害训练效果的前提下有效降低该风险。
2024-01-19 cs.AI cs.CR cs.LG
Towards Representation Identical Privacy-Preserving Graph Neural Network via Split Learning
近年来,关于图神经网络的研究迅速增多,使其从理论研究进入了实际应用阶段。尽管GNN取得了令人鼓舞的性能,但在相关文献中,对分布式图数据的隐私保护训练和推理的关注较少。由于图结构的特殊性,将现有的私有学习框架扩展到GNN具有挑战性。受分裂学习思想的启发,本文提出了一种基于\textbf{S}服务器的\textbf{A}辅助的\textbf{P}隐私保持\textbf{GNN}(SAPGNN)算法,用于水平分区的跨竖井场景中的节点级任务.它提供了集中式GNN到具有最大/最小池聚合的孤立图的自然扩展,同时保证计算中涉及的所有私有数据仍然停留在本地数据持有者处。为了进一步提高数据隐私性,提出了一种安全的池化聚合机制。理论和实验结果表明,该模型达到了相同的准确性,一个学习的组合数据。
2021-07-13 cs.AI cs.LG
$Λ$-Split: A Privacy-Preserving Split Computing Framework for Cloud-Powered Generative AI
School of Engineering, Tokyo Institute of Technology(东京工业大学工程学院)
本文提出 $\Lambda$-Split 分割计算框架,通过将生成式 DNN 的输入、输出侧保留在本地、中间部分置于云端,仅传输隐藏层特征以保护提示词与生成内容隐私,并在 Llama 2 和 Stable Diffusion XL 上验证其有效性。
2023-10-23 cs.AI cs.DC cs.LG
Hybrid Federated and Split Learning for Privacy Preserving Clinical Prediction and Treatment Optimization
Dept. of Information Technology, Washington University of Science and Technology(信息科技系,华盛顿科学大学)
本文提出混合联邦与分割学习方法,通过保留客户端特征提取和服务器预测头部,实现隐私保护下的临床预测与治疗优化,兼顾隐私与效用的平衡。
2026-02-17 cs.AI cs.LG
Secure and Privacy-Preserving Vertical Federated Learning
Visa Research(Visa研究院)
本文提出一种端到端的隐私保护框架,通过三种高效协议实现输入和输出隐私保护,支持全局和全局-局部模型更新,减少计算和通信开销。
2026-04-15 cs.AI cs.CR cs.DC
ZORRO: Zero-Knowledge Robustness and Privacy for Split Learning (Full Version)
University of California San Diego(加州大学圣地亚哥分校);Technical University of Darmstadt(达姆施塔特技术大学)
本文提出ZORRO,一种基于交互式零知识证明的分割学习防御方案,通过强制客户端正确执行防御算法并验证本地模型良性,将后门攻击成功率降至6%以下且开销极低。
2025-09-11 cs.AI cs.CR
Similarity-based Label Inference Attack against Training and Inference of Split Learning
Beijing University of Posts and Telecommunications(北京邮电大学);Pengcheng Laboratory(鹏城实验室)
本文揭示了分割学习交换的中间结果会泄漏私有标签,基于梯度与特征相似性设计三种标签推断攻击,在训练和推理阶段实现接近100%攻击准确率,并能有效抵抗多种最先进防御机制。
2024-03-22 cs.AI cs.CR cs.LG
Weighted Sampled Split Learning (WSSL): Balancing Privacy, Robustness, and Fairness in Distributed Learning Environments
Saginaw Valley State University(萨吉诺谷州立大学);University of Nebraska at Kearney(内布拉斯加大学科尔尼分校)
本文提出加权采样分割学习(WSSL)框架,通过按客户端贡献进行加权采样,在分布式学习中兼顾隐私、鲁棒性与公平性,并在两个数据集上取得优于集中式方法的准确率。
2023-10-27 cs.AI cs.DC cs.LG
Protecting Split Learning by Potential Energy Loss
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Sony AI(索尼人工智能研究院);Ant Group(蚂蚁集团)
针对分割学习前向嵌入的标签隐私泄露问题,提出势能损失方法,通过将同类嵌入推向决策边界增加其复杂度,有效抵御微调与聚类攻击。
2024-05-29 cs.AI cs.CR cs.DC
Fast Fourier Transform-Based Spectral and Temporal Gradient Filtering for Differential Privacy
Electronics and Telecommunications Research Institute (ETRI)(电子电信研究所);University of Southern California(南加州大学);KAIST(韩国科学技术院);Hanwha Life Insurance(翰威特生命保险);OpenNN Lab, MODULABS(OpenNN实验室,MODULABS)
针对差分隐私DP-SGD噪声导致精度下降的问题,提出FFT增强卡尔曼滤波(FFTKF),通过频域滤波分离噪声并利用卡尔曼滤波优化梯度,在保持隐私保证的同时显著提升了模型精度与隐私-效用权衡。
2025-09-13 cs.AI cs.IT cs.LG
Recovering Clinical Utility Under Differential Privacy: Empirical Validation of Adaptive Federated Aggregation on Heterogeneous Cardiovascular Datasets
Federal Institute of Education, Science and Technology of Rio Grande do Norte (IFRN)(北里奥格兰德联邦教育、科学与技术研究所)
研究在五个真实心血管数据集上验证FedCVR框架,通过异构联邦场景和留一机构交叉验证,证明其在实际数据上保持自适应优势,F1分数达79.2%,AUC为0.96,优于标准FedAvg,验证了临床可行性。
2026-07-23 cs.AI cs.CR cs.CY
SplitGNN: Splitting GNN for Node Classification with Heterogeneous Attention
Ant Group(蚂蚁集团)
随着隐私泄露事件的频繁发生和各国隐私法的颁布,数据所有者不愿意直接与任何其他方共享其原始数据和标签。实际上,许多原始数据都存储在图形数据库中,特别是对于金融而言。对于协作构建图神经网络(GNN),联邦学习(FL)可能不是垂直分区设置的理想选择,其中隐私和效率是主要关注点。此外,几乎所有现有的联邦GNN主要是针对同构图设计的,这将各种类型的关系简化为同一类型,从而在很大程度上限制了其性能。我们通过提出一个基于分裂学习的GNN(SplitGNN)来弥合这一差距,其中该模型分为两个子模型:局部GNN模型包括所有与私有数据相关的计算以生成局部节点嵌入,而全局模型通过聚合所有参与者的局部嵌入来计算全局嵌入。我们的SplitGNN允许孤立的异构邻域被协作利用。为了更好地捕获表示,我们提出了一种新的异构注意力(HAT)算法,并使用基于节点和基于路径的注意力机制来学习各种类型的节点和边缘的多跳关系功能。我们证明了SplitGNN在两个标准公共数据集和真实数据集的节点分类任务上的有效性。大量的实验结果验证了我们提出的SplitGNN显着优于最先进的(SOTA)方法。
2023-01-27 cs.AI cs.LG
Federated Split GANs
University of Helsinki(赫尔辛基大学);University of Cambridge(剑桥大学);USTC(中国科学技术大学);KAIST(韩国科学技术院);Northumbria University(诺森比亚大学);HKUST(香港科技大学)
移动设备及其生成的大量和各种数据是基于机器学习(ML)的应用程序的关键推动因素。传统的机器学习技术已经转向新的范式,如联邦(FL)和分裂学习(SL),以改善对用户数据隐私的保护。然而,这些范例通常依赖于位于边缘或云中的服务器来训练ML模型的计算繁重部分,以避免耗尽客户端设备上的有限资源,从而导致将设备数据暴露给此类第三方。这项工作提出了一种替代方法来训练计算繁重的ML模型在用户的设备本身,其中相应的设备数据驻留。具体来说,我们专注于GANs(生成对抗网络),并利用其固有的隐私保护属性。我们用用户设备上的原始数据训练GAN的判别部分,而生成模型是远程训练的(例如,服务器),不需要访问传感器真实数据。此外,我们的方法确保了训练判别模型的计算负载在用户的设备之间共享-与他们的计算能力成比例-通过SL。我们实现了我们提出的协同训练计划的计算繁重的GAN模型在真正的资源受限的设备。结果表明,我们的系统保护了数据隐私,保持了较短的训练时间,并在不受约束的设备(例如,云)。我们的代码可以在https://github.com/YukariSonz/FSL-GAN上找到
2022-07-04 cs.AI cs.CR cs.LG
Roulette: A Semantic Privacy-Preserving Device-Edge Collaborative Inference Framework for Deep Learning Classification Tasks
Sun Yat-sen University(中山大学)
针对设备-边缘协同推理中的非独立同分布精度下降和真实标签隐私泄露问题,提出Roulette框架,通过冻结后端、重训练前端为特征提取器和加密器的分割学习范式,提供差分隐私保证,在严重非独立同分布下平均提升推理精度21%并有效防御攻击。
2023-09-06 cs.AI cs.CR cs.DC
Splitfed learning without client-side synchronization: Analyzing client-side split network portion size to overall performance
Munster Technological University(芒斯特理工大学)
联邦学习(FL)、分裂学习(SL)和分裂美联储学习(SFL)是分布式机器学习的三个最新发展,由于其保护原始数据隐私的能力而受到关注。因此,它们广泛适用于数据敏感的各种领域,例如大规模医疗图像分类、医疗物联网和跨组织钓鱼电子邮件检测。SFL是在FL和SL的交汇点上开发的。它通过提供来自FL范式的并行客户端机器学习模型更新,以及通过在来自SL的客户端和服务器之间拆分模型来提供更高级别的模型隐私(在训练时),从而实现了FL和SL的最佳效果。然而,由于客户端模型同步的要求,SFL在客户端具有通信和计算开销。对于资源受限的客户端侧,需要去除这样的要求以获得学习的效率。在这方面,本文研究了SFL没有客户端模型同步。由此产生的架构被称为多头分裂学习。我们的实证研究,考虑在分布式客户端之间的IID数据分布的MNIST数据的ResNet 18模型发现,多头分裂学习是可行的。其性能与SFL相当。此外,SFL在MNIST测试集上的准确率仅比多头分裂学习高1%-2%。为了进一步加强我们的结果,我们研究了具有各种客户端模型部分的多头分裂学习及其对整体性能的影响。为此,我们的结果发现对模型的整体性能的影响最小。
2021-09-19 cs.AI cs.LG
Personalized Federated Hypernetworks for Privacy Preservation in Multi-Task Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
多智能体强化学习目前专注于所有数据和训练都可以集中到一台机器上的实现。但是,如果本地代理被划分为多个任务,并且需要在每个任务之间保持数据私有,该怎么办?我们开发了个性化联邦超网络(PFH)的强化学习(RL)的第一个应用程序。然后,我们提出了一种新的应用PFH的Few-Shot转移,并证明了显着的初始增加学习。PFH从来没有被证明超过监督学习基准,所以我们将PFH应用到一个重要的领域:RL能源需求响应的价格设定。我们考虑一个一般的情况下,代理人被分割在多个微电网,其中能源消耗数据必须保持在每个微电网的私人。总之,我们的工作探索了个性化联邦学习和RL领域如何结合在一起,使学习在多个任务中有效,同时保持数据安全。
2022-10-19 cs.AI cs.LG cs.SY
How Can Incentives and Cut Layer Selection Influence Data Contribution in Split Federated Learning?
School of Computing, Gachon University(嘉泉大学计算机学院);School of Cybersecurity, Korea University(高丽大学网络安全学院);Princeton University(普林斯顿大学)
针对分割联邦学习中的竞争情境,本文通过Stackelberg博弈建模激励与切层选择对客户端数据贡献的影响,证明均衡存在性并实现双方效用最大化。
2026-09-23 cs.AI cs.GT cs.LG