Decentralized Differentially Private Segmentation with PATE
KTH Royal Institute of Technology(瑞典皇家理工学院);Elekta AB(医科达公司)
在医疗机器学习中保护隐私时,两个重要的考虑因素是(1)将数据保持在机构本地,以及(2)避免从训练模型中推断出敏感信息。这些通常分别使用联邦学习和差分隐私来解决。然而,常用的联合平均算法要求参与机构之间的高度同步。出于这个原因,我们把注意力转向教师合奏的私人聚合(PATE),在那里所有的本地模型可以独立地进行培训,而无需机构间的沟通。因此,本文的目的是探讨如何PATE -最初设计的分类-可以最好地适应语义分割。为此,我们建立了低维表示的分割掩模,学生可以通过低敏感度查询私人聚合器。在脑肿瘤分割(BraTS 2019)数据集上,基于自动编码器的PATE变体在相同的隐私保证下实现了比基于噪声联合平均的先前工作更高的Dice系数。
2020-04-10 cs.CR cs.CV cs.LG
Improved Differentially Private Decentralized Source Separation for fMRI Data
Bangladesh University of Engineering and Technology(孟加拉工程技术大学);Rutgers University(罗格斯大学);Nokia Bell Labs(诺基亚贝尔实验室);Tri-institutional Center for Translational Research in Neuroimaging and Data Science (TReNDS)(神经成像与数据科学转化研究三机构中心(TReNDS));Georgia State University(佐治亚州立大学);Georgia Institute of Technology(佐治亚理工学院);Emory University(埃默里大学)
盲源分离算法如独立成分分析(ICA)被广泛应用于神经影像数据的分析。为了利用更大的样本量,不同的数据持有者/站点可能希望协作地学习特征表示。然而,这些数据集通常是隐私敏感的,排除了在单个站点汇集数据的集中分析。在这项工作中,我们提出了一个差分隐私算法,用于在分散的数据设置中执行ICA。由于每个站点的典型小样本量,分散式差分私有算法的常规方法可能引入太多噪声。我们提出了一种新的协议,使用相关噪声来解决这个问题。我们证明了我们的算法在合成和真实神经成像数据集上的性能优于现有方法,并证明它有时可以达到与相应的非私有算法相同的实用水平。这表明在保护隐私的同时有可能具有有意义的效用。
2021-02-23 cs.LG eess.SP stat.ML
Generative Models for Effective ML on Private, Decentralized Datasets
Google Inc.(谷歌公司)
为了改进机器学习的实际应用,经验丰富的建模人员需要培养对数据集、模型以及两者如何交互的直觉。人工检查原始数据-代表性样本,异常值,错误分类-是a)识别和修复数据中的问题,b)生成新的建模假设,以及c)分配或改进人类提供的标签的重要工具。然而,手动数据检查对于隐私敏感的数据集是有问题的,例如那些代表真实世界个人行为的数据集。此外,在日益重要的联邦学习设置中,手动数据检查是不可能的,其中原始示例存储在边缘,建模者只能访问聚合输出,如指标或模型参数。本文证明了生成模型-使用联邦方法训练并具有正式的差分隐私保证-可以有效地用于调试许多常见的数据问题,即使数据不能直接检查。我们探索这些方法在应用程序中的文本与差分私有联邦RNN和图像使用一种新的算法差分私有联邦GANs。
2020-02-04 cs.LG stat.ML
Differentially-Private Federated Linear Bandits
Media Lab(媒体实验室);Institute for Data, Systems and Society(数据、系统与社会研究所);Massachusetts Institute of Technology(麻省理工学院)
分散式学习系统的迅速发展要求有区别的私人协作学习。在本文中,我们研究这一背景下的线性土匪:我们认为一个集合的代理合作,以解决一个共同的上下文土匪,同时确保他们的通信保持私密。对于这个问题,我们设计了\textsc{FedUCB},集中式和分散式(对等)联邦学习的多代理私有算法。我们提供了一个严格的技术分析,其效用的遗憾,改善合作的强盗学习的几个结果,并提供严格的隐私保证。我们的算法提供了竞争力的性能,无论是在伪遗憾界和经验基准性能在各种多智能体设置。
2020-10-22 cs.CR cs.LG cs.MA
Towards Personalized Differentially Private Learning for Decentralized Local Graphs
School of Computer Science, Beijing University of Posts and Telecommunications(北京邮电大学计算机学院);State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications(北京邮电大学网络与交换技术国家重点实验室);School of Cyber Science and Technology, Shandong University(山东大学网络空间安全学院);School of Cyberspace Security, Beijing University of Posts and Telecommunications(北京邮电大学网络空间安全学院);Department of Computer Science, University of Illinois at Chicago(伊利诺伊大学芝加哥分校计算机科学系)
研究去中心化局部图隐私学习问题,提出PPGNN框架,含个性化扰动机制和加权校准策略,能平衡隐私保护与数据效用。
2026-07-07 cs.CR cs.LG
Distributed Differentially Private Computation of Functions with Correlated Noise
Rutgers, The State University of New Jersey(罗格斯,新泽西州立大学);Nokia Bell Labs(诺基亚贝尔实验室)
机器学习的许多应用,如人类健康研究,涉及处理私人或敏感信息。隐私问题可能会对多个站点保存数据的场景中的协作造成重大障碍,并且目标是在所有数据集上联合估计属性。不同的私有分散算法可以提供强大的隐私保证。然而,当每个站点的数据集很小时,联合估计的准确性可能很差。本文提出了一个新的框架,相关辅助私人估计(CAPE),设计隐私保护分散算法,更好的准确性保证诚实,但好奇的模型。CAPE可以与函数机制一起用于统计和机器学习优化问题。提供了更严格的功能机制的表征,允许CAPE在使用所有数据集的分散设置中实现与集中式算法相同的性能。对合成数据集和真实数据集的回归和神经网络问题的实证结果表明,在许多感兴趣的场景中,差分私有方法可以与非私有算法竞争。
2021-02-23 cs.LG stat.ML
Differentially Private Decentralized Learning with Random Walks
Université de Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);Univ Montpellier(蒙彼利埃大学);Rutgers University(罗格斯大学)
本文研究随机游走去中心化学习的隐私保证,利用 Pairwise Network Differential Privacy 推导出节点间隐私损失的闭式表达式,并证明其优于 gossip 算法。
2024-06-04 cs.CR cs.LG
Differentially private and decentralized randomized power method
INSA Lyon and McGill University(里昂高等工业学院和麦吉尔大学)
针对随机幂方法应用于含个人信息的大规模数据集时的隐私问题,提出降低差分隐私所需噪声的改进变体,并适配去中心化框架,给出更紧收敛界且经真实数据集验证有效。
2025-06-12 cs.CR cs.LG cs.NA
Differentially Private Decentralized Dataset Synthesis Through Randomized Mixing with Correlated Noise
School of Data and Sciences(数据与科学学院);BRAC University(布拉克大学);Electrical and Computer Engineering(电气与计算机工程);University of California, Santa Barbara(加州大学圣巴巴拉分校);Electrical and Electronic Engineering(电气与电子工程);Bangladesh University Engineering and Technology(孟加拉工程与技术大学)
本研究提出CAPE辅助联邦DP-CDA算法,通过引入相关辅助隐私估计协议生成反相关噪声,解决了去中心化环境下差分隐私合成数据实用性下降的问题,在保持严格隐私保证的同时实现了与集中式方法相当的实用性。
2025-09-12 cs.LG stat.ML
Markets, Not Planners: Decentralized Orchestration of LLM Agents with Private Information
University of Chicago(芝加哥大学);University of Virginia(弗吉尼亚大学);Tsinghua University(清华大学);Zhongguancun Academy(中关村学院);Santa Fe Institute(圣塔菲研究所)
针对中心化LLM智能体协调的瓶颈与易操控问题,提出去中心化的AgentLance重复劳动力市场机制,经多类任务验证,其匹配专长、转向廉价智能体的表现优于基线方法,还可通过修正市场失灵进一步提升效率。
2026-08-26 cs.CL cs.MA
Decentralized Differentially Private Power Method
Department of Electrical and Computer Engineering, Cornell University, Cornell Tech(电气与计算机工程系,康奈尔大学,康奈尔科技)
针对网络化多智能体按行划分数据的PCA场景,提出去中心化差分隐私幂法D-DP-PM,通过共享局部嵌入、结合随机初始化隐私性与校准高斯噪声实现(ε,δ)-DP,证明收敛速率并在真实数据集上取得更优隐私-效用权衡。
2025-07-30 cs.LG
Straggler-Resilient Differentially-Private Decentralized Learning
New Jersey Institute of Technology(新泽西理工学院);Simula UiB(西挪威西姆拉研究院)
本文研究去中心化学习中落后者问题与差分隐私保护的结合,提出带超时的跳过方案,并推导收敛与隐私分析,揭示延迟、准确性和隐私之间的权衡。
2024-06-28 cs.CR cs.IT cs.LG
Differential Privacy of Decentralized Learning: Centralized Rate Conditions and Nearly Tight Guarantees
Nokia Bell Labs(诺基亚贝尔实验室)
该研究分析了去中心化 gossip 平均算法在不同威胁模型下的差分隐私保证,证明其与高斯机制的隐私保证相似,并展示了去中心化隐私学习在强凸损失下的额外风险特性。
2026-10-28 cs.CR cs.DC cs.LG
Federated Prediction-Powered Inference from Decentralized Data
National University of Defense Technology(国防科技大学)
本文提出联邦预测驱动推断(Fed-PPI)框架,结合联邦学习与PPI,在去中心化数据不共享隐私的前提下实现统计有效的置信区间推断。
2024-09-03 cs.LG
When Topology Betrays Privacy: Lattice-Based Reconstruction Attacks on Secure Aggregation in Decentralized Federated Learning
Aalborg University(奥尔堡大学);Institut Polytechnique de Paris(巴黎理工学院)
本研究揭示去中心化联邦学习中稀疏拓扑下安全聚合的结构性泄露,通过建立与隐藏子集和问题的联系,设计基于格的重构攻击,成功恢复诚实节点的私有更新与训练数据。
2026-09-09 cs.CR cs.LG
Differentially Private Pre-Trained Model Fusion using Decentralized Federated Graph Matching
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Changsha Aier Eye Hospital(长沙爱尔眼科医院);Nanchang Aier Eye Hospital(南昌爱尔眼科医院)
针对模型即服务场景下模型融合的隐私风险问题,提出结合混合本地差分隐私、去中心化联邦图匹配与扰动滤波适配器的PrivFusion架构,无需重训即可多方安全融合模型,在图像与医疗任务中兼顾隐私保护与模型性能。
2023-11-05 cs.AI cs.CR cs.LG
Towards Collaborative Intelligence: Routability Estimation based on Decentralized Private Data
Duke University(杜克大学);Hong Kong University of Science and Technology(香港科技大学);Texas A&M University(得克萨斯农工大学)
在设计流程中应用机器学习(ML)是EDA中的一个流行趋势,具有从设计质量预测到优化的各种应用。尽管它的承诺,这已经在学术研究和工业工具中得到证明,但其有效性在很大程度上取决于大量高质量训练数据的可用性。实际上,EDA开发人员对最新设计数据的访问非常有限,这些数据由设计公司所有,并且大多是机密的。尽管可以将ML模型训练委托给设计公司,但单个公司的数据可能仍然不充分或存在偏见,特别是对于小公司。这样的数据可用性问题正在成为限制芯片设计ML未来增长的限制因素。在这项工作中,我们提出了一种基于联邦学习的方法,用于EDA中的ML应用程序。我们的方法允许ML模型使用来自多个客户端的数据进行协作训练,但无需显式访问数据以尊重其数据隐私。为了进一步加强结果,我们共同设计了一个定制的ML模型FLNet及其在分散训练场景下的个性化。在综合数据集上的实验表明,与单个局部模型相比,协作训练的准确率提高了11%,并且我们的定制模型FLNet在这种协作训练流程中的性能明显优于以前最好的可路由性估计器。
2022-10-02 cs.LG
A Stochastic Optimization Framework for Private and Fair Learning From Decentralized Data
University of Southern California(南加州大学);Indian Institute of Technology Patna(巴特那印度理工学院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出一种满足孤岛间记录级差分隐私(ISRL-DP)的隐私与公平联邦学习新算法,在温和平滑假设下证明收敛性并促进人口统计均等等公平性,实验表明其在不同隐私级别下实现了最先进的公平性与准确性权衡。
2024-11-12 cs.LG
Private data sharing between decentralized users through the privGAN architecture
University of British Columbia(不列颠哥伦比亚大学)
更多的数据几乎总是有利于分析和机器学习任务。然而,在许多现实情况下,企业不能共享其数据,以保持竞争优势或保护数据源的隐私,例如企业的客户端。我们提出了一种方法,让数据所有者共享他们数据的合成或伪造版本,而不共享实际数据,也不共享直接访问数据的模型参数。所提出的方法基于privGAN架构,其中本地GANs在其各自的数据子集上进行训练,并具有来自中央训练器的额外惩罚,旨在区分给定假样本的来源。我们证明了这种方法,当应用于各种大小的子集,导致更好的效用为业主比实用程序从他们真正的小数据集。唯一共享的信息片段是中央处理器的参数更新。通过对该体系结构中最脆弱的部分进行白盒攻击,证明了该体系结构的隐私性,其结果接近于随机猜测。这种方法将自然地应用于联邦学习环境中。
2020-09-14 cs.CR cs.LG stat.ML
Privacy Preserving Semi-Decentralized Mean Estimation over Intermittently-Connected Networks
Stanford University(斯坦福大学);Princeton University(普林斯顿大学);Bar-Ilan University(巴伊兰大学)
本文针对间歇连接无线网络中的均值估计问题,提出差分隐私协作算法PriCER,通过利用网络固有随机性和高斯扰动,在协作中继与隐私泄露之间实现优化权衡。
2024-06-06 cs.DC cs.IT cs.LG
DP-CSGP: Differentially Private Stochastic Gradient Push with Compressed Communication
Zhejiang University(浙江大学);KTH Royal Institute of Technology(皇家理工学院);A*STAR Centre for Frontier AI Research (CFAR)(前沿人工智能研究(CFAR)中心)
DP-CSGP通过压缩通信和差分隐私保障,在去中心化学习中实现高效通信和高模型效用。
2025-12-15 cs.AI cs.LG
A Differentially Private Blockchain-Based Approach for Vertical Federated Learning
Rensselaer Polytechnic Institute(伦斯勒理工学院)
该研究提出DP-BBVFL算法,结合区块链智能合约与本地差分隐私实现可验证、隐私保护的去中心化纵向联邦学习,首个原型在医疗数据上取得高准确率,为可信协作机器学习提供新方案。
2024-07-09 cs.CR cs.ET cs.LG
PrivSGP-VR: Differentially Private Variance-Reduced Stochastic Gradient Push with Tight Utility Bounds
Zhejiang University(浙江大学);Qilu University of Technology(齐鲁工业大学)
本文提出差分隐私去中心化学习方法 PrivSGP-VR,结合方差缩减随机梯度推送,在优化迭代次数后取得与集中式方法匹配且优于现有去中心化方法的紧效用界。
2024-05-04 cs.LG
PQLM -- Multilingual Decentralized Portable Quantum Language Model for Privacy Protection
Johns Hopkins University(约翰斯·霍普金斯大学);Hong Kong University of Science and Technology(香港科技大学);Nanyang Technological University(南洋理工大学)
通过仔细操作,恶意代理可以对预先训练的语言模型中编码的私有信息进行逆向工程。安全问题推动了量子预训练的发展。在这项工作中,我们提出了一个高度可移植的量子语言模型(PQLM),可以很容易地将信息传输到经典机器上的下游任务。该框架由一个云PQLM组成,该云PQLM使用随机变分量子分类器(VQC)和用于下游应用的本地模型构建。我们证明了特设的可移植性的量子模型提取的词嵌入,并有效地将它们应用到经典机器上的下游任务。我们的PQLM表现出相当的性能,其经典的对应内在的评价(损失,困惑)和外在的评价(多语言情感分析准确性)指标。我们还对影响PQLM性能的因素进行了消融研究,以分析模型的稳定性。我们的工作为可移植的量子预训练语言模型奠定了理论基础,该模型可以在私人数据上进行训练,并在隐私保护的保证下供公众使用。
2023-02-27 cs.CL cs.LG quant-ph
Decentralized Federated Learning through Proxy Model Sharing
Layer 6 AI(Layer 6人工智能公司);University of Waterloo(滑铁卢大学);Vector Institute(向量研究所);Carleton University(卡尔顿大学);Mayo Clinic(梅奥诊所)
本文提出一种去中心化联邦学习通信高效方案ProxyFL,通过参与者维护私有与公开代理模型实现无中心服务器信息交换,支持模型异构并利用差分隐私增强保护,实验证明其以更低通信开销和更强隐私优于现有方法。
2023-05-23 cs.LG
Robust Decentralized Federated Distillation via Multi-Modality Knowledge Collaboration
Faculty of Applied Sciences, Macao Polytechnic University(澳门理工大学应用科学学院);School of Engineering and Technology, Central Queensland University(中央昆士兰大学工程与技术学院);School of Information and Communication Technology, Griffith University(格里菲斯大学信息与通信技术学院)
提出一种鲁棒去中心化联邦蒸馏方法,通过多模态知识协作过滤不可靠客户端并验证梯度,在拜占庭攻击下保证收敛,提升异构模型在非IID数据上的精度。
2026-09-09 cs.DC cs.LG
Mitigating Privacy-Utility Trade-off in Decentralized Federated Learning via $f$-Differential Privacy
University of Pennsylvania(宾夕法尼亚大学);Xiamen University(厦门大学)
本文提出两种基于$f$-差分隐私的核算方法(PN-$f$-DP和Sec-$f$-LDP),用于去中心化联邦学习,通过捕获隐私放大获得更紧的隐私界并提升效用。
2025-10-22 cs.CR cs.LG math.ST
Local Differential Privacy in Decentralized Optimization
MIT(麻省理工学院);KTH(瑞典皇家理工学院)
敏感数据的隐私问题正受到越来越多的关注。本文研究了交互式分散优化中的局部差分隐私问题。通过构建随机本地聚合器,我们提出了一个框架,以放大LDP的常数。本文以乘子的交替方向法和分散梯度下降法为例,通过实验验证了理论的正确性。在一个渐近的观点,我们解决以下问题:在LDP下,是否有可能设计一个分布式的私人最小的任意封闭凸约束与效用损失不显着依赖于维数?作为一个附属的结果,我们还表明,仅仅线性秘密共享,信息理论的隐私是可以实现的有界合谋代理。
2019-06-01 cs.CR cs.LG math.OC
HLF-FSL. A Decentralized Federated Split Learning Solution for IoT on Hyperledger Fabric
atlanTTic Research Center, Information & Computing Lab (ICLAB)(atlanTTic研究所以及信息与计算实验室);Telecommunication Engineering School, Universidade de Vigo(电信工程学院,乌维戈大学);CUD Escuela Naval Militar Universidade de Vigo / Escuela Naval Militar(CUD海军学院,乌维戈大学 / 海军学院)
本文提出一种结合联邦分割学习与 Hyperledger Fabric 的去中心化架构,通过链码实现无中心协调的模型分割与点对点聚合,在保持准确率的同时显著降低训练时间,证明了企业级可行性。
2025-07-10 cs.LG
Decentralized Federated Learning via Mutual Knowledge Transfer
Tsinghua University(清华大学);Syracuse University(雪城大学)
在本文中,我们研究了物联网(IoT)系统中的分散式联邦学习(DFL)问题,其中许多IoT客户端训练模型共同完成一项共同任务,而无需在没有中央服务器的情况下共享其私有训练数据。大多数现有的DFL方案由两个交替步骤组成,即,模型更新和模型平均。然而,直接平均模型参数以在本地客户端融合不同模型会遭受客户端漂移,特别是当训练数据在不同客户端上是异构的时。这导致收敛速度慢和学习性能下降。作为一种可能的解决方案,我们提出了分散式联合学习通过相互知识转移(Def-KT)算法,其中本地客户端通过相互转移他们的学习知识来融合模型。我们在MNIST、Fashion-MNIST、CIFAR-10和CIFAR-100数据集上的实验表明,所提出的Def-KT算法显著优于具有模型平均的基线DFL方法,即,Combo和FullAvg,特别是当训练数据在不同客户端之间不是独立和相同分布(非IID)时。
2021-05-12 cs.DC cs.LG
NeuralDP Differentially private neural networks by design
差分隐私在深度神经网络训练中的应用有望允许大规模(分散)使用敏感数据,同时为个人提供严格的隐私保证。对神经网络进行差分私有训练的主要方法是DP-SGD,它依赖于基于范数的梯度裁剪作为限制灵敏度的方法,然后添加适当校准的高斯噪声。在这项工作中,我们提出了NeuralDP,一种用于私有化神经网络中某些层的激活的技术,该技术通过差分隐私的后处理特性产生差异隐私网络。我们在两个数据集(MNIST和儿科肺炎数据集(PPD))上进行了实验,与DP-SGD相比,我们的方法提供了大幅改善的隐私-效用权衡。
2021-08-10 cs.CR cs.LG
IPLS : A Framework for Decentralized Federated Learning
University Of Thessaly(塞萨利大学);HKUST(香港科技大学)
存储丰富、多维和隐私敏感用户数据的资源丰富的移动设备的激增激发了联邦学习(FL)的设计,这是一种机器学习(ML)范式,使移动设备能够在不共享数据的情况下生成ML模型。然而,大多数现有的FL框架依赖于集中的实体。在这项工作中,我们介绍了IPLS,一个完全分散的联邦学习框架,部分基于星际文件系统(IPFS)。通过使用IPLS并连接到相应的私有IPFS网络,任何一方都可以启动ML模型的训练过程,或者加入另一方已经开始的正在进行的训练过程。IPLS随着参与者的数量而扩展,对间歇性连接和动态参与者离开/到达具有鲁棒性,需要最少的资源,并保证训练模型的准确性快速收敛到集中式FL框架的准确性,准确性下降小于千分之一。
2021-01-06 cs.DC cs.LG cs.NI
Decentralized Online Federated G-Network Learning for Lightweight Intrusion Detection
Polish Academy of Sciences(波兰科学院);University of Stuttgart(斯图加特大学);CNRS(法国国家科学研究中心);Yaşar University(亚萨尔大学)
本文提出基于G网络模型的去中心化在线联邦学习入侵检测架构DOF-ID,在保护各组件数据隐私的同时实现跨组件协作学习,并在Kitsune和Bot-IoT数据集上验证其显著提升检测性能。
2023-11-28 cs.CR cs.LG cs.NI
A Blockchain-based Decentralized Federated Learning Framework with Committee Consensus
Sun Yat-sen University(中山大学);WeBank Co. Ltd.(微众银行股份有限公司)
联邦学习已被广泛研究并应用于各种场景。在移动计算场景中,联邦学习保护用户不暴露他们的私人数据,同时为各种真实世界的应用程序合作训练全局模型。然而,由于恶意客户端或中心服务器不断攻击全局模型或用户隐私数据,联邦学习的安全性越来越受到质疑。为了解决这些安全问题,我们提出了一种基于区块链的去中心化联邦学习框架,即,基于区块链的联邦学习框架与委员会共识(BFLC)。该框架使用区块链进行全局模型存储和本地模型更新交换。为了使拟议的BFLC,我们还设计了一个创新的委员会共识机制,它可以有效地减少共识计算量,减少恶意攻击。然后,我们讨论了BFLC的可扩展性,包括理论安全性、存储优化和激励措施。最后,我们使用真实世界的数据集进行实验,以验证BFLC框架的有效性。
2020-04-02 cs.DC cs.LG
From Noisy Fixed-Point Iterations to Private ADMM for Centralized and Federated Learning
Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院)
该研究将差分隐私机器学习建模为噪声不动点迭代,并据此为集中式、联邦式和完全去中心化学习提出隐私 ADMM 算法,证明其隐私放大与线性收敛效用保证。
2023-07-12 cs.CR cs.DC cs.LG
Mixed Federated Learning: Joint Decentralized and Centralized Learning
Google Inc.(谷歌公司)
联邦学习(FL)支持从分散的隐私敏感数据中学习,对原始数据的计算仅限于在边缘客户端进行。本文介绍了混合FL,其中包括一个额外的损失计算在协调服务器(同时保持FL的私人数据限制)。有许多好处。例如,可以利用附加的数据中心数据来联合地从集中式(数据中心)和分散式(联合)训练数据学习,并且更好地匹配预期的推断数据分布。混合FL还能够卸载一些密集的计算(例如,嵌入正则化)到服务器,大大减少了通信和客户端计算负载。对于这些和其他混合FL用例,我们提出了三种算法:并行训练,单向梯度转移和双向梯度转移。我们国家的收敛范围,并给予直觉,适合特定的混合FL问题。最后,我们进行了广泛的实验上的三个任务,表明混合FL可以混合训练数据,以实现预言的准确性上的推理分布,并可以减少通信和计算开销超过90%。我们的实验证实了算法如何在不同的混合FL问题设置下执行的理论预测。
2022-06-24 cs.DC cs.LG
Information-Theoretic Decentralized Secure Aggregation with Passive Collusion Resilience
Department of Electrical Engineering and Computer Science, Technical University of Berlin(技术大学柏林电气工程与计算机科学系);Guangxi Key Laboratory of Multimedia Communications and Network Technology, Guangxi University(广西多媒体通信与网络技术重点实验室,广西大学);School of Electronic Information and Communications, Huazhong University of Science and Technology(华中科技大学电子信息与通信学院);School of Electrical Engineering and Telecommunications, University of New South Wales(新南威尔士大学电子工程与电信学院)
研究去中心化安全聚合的理论极限,提出在合谋情况下保证输入总和安全计算的通信与密钥使用最优界限。
2026-03-22 cs.CR cs.DC cs.IT
First Provable Guarantees for Practical Private FL: Beyond Restrictive Assumptions
本文提出Fed-α-NormEC,首个在标准假设下提供可证明收敛和隐私保障的联邦学习框架,支持实际特征如局部更新和部分客户端参与。
2025-12-25 cs.LG math.OC stat.ML
Federated and Differentially Private Learning for Electronic Health Records
Stanford University(斯坦福大学);Google Health(谷歌健康)
使用协作和分散的机器学习技术,如联邦学习,有可能在低资源环境中开发和部署临床风险预测模型,而无需共享敏感数据或将其存储在中央存储库中。这个过程需要在合作实体之间进行模型权重或更新的通信,但目前还不清楚患者隐私在多大程度上受到损害。为了深入了解这个问题,我们研究了集中式学习与联邦学习在私人和非私人环境中的有效性。我们考虑的临床预测任务是预测eICU协作研究数据库中31家医院的住院时间延长和住院死亡率。我们发现,虽然在集中式设置中训练时,应用差分私有随机梯度下降来实现强隐私边界是很简单的,但在联邦设置中这样做要困难得多。
2019-11-13 cs.LG stat.ML
Decentralized Gossip Mutual Learning (GML) for brain tumor segmentation on multi-parametric MRI
针对传统联邦学习中心化聚合的服务器故障与本地性能差问题,提出基于八卦协议的去中心化GML框架,通过互学习适配数据差异,在脑肿瘤分割任务中以低通信开销达到FedAvg相近性能。
2024-01-27 cs.CV cs.LG eess.IV
Distributed LSTM-Learning from Differentially Private Label Proportions
TU Dortmund University(多特蒙德工业大学)
近年来,数据隐私和分散的数据汇集变得越来越流行。为了解决隐私,通信带宽和时空数据学习的问题,我们将提出两种使用差分隐私和分散式LSTM学习的有效模型:一种是学习长短期记忆(LSTM)模型,用于提取局部时间节点约束并将其馈送到密集层(LabelProportionToLocal)。另一种方法通过从邻居获取直方图数据并将信息与LSTM输出(LabelProportionToDense)相结合来扩展第一种方法。为了进行评估,使用了两个流行的数据集:Pems-Bay和METR-LA。此外,我们还提供了一个基于LuST的数据集。评估将显示性能和数据隐私之间的权衡。
2023-01-15 cs.AI cs.CR cs.LG
Efficient Decentralized Multi-task Dataset Valuation via Model Merging
Department of Computer Science Rensselaer Polytechnic Institute(罗切斯特理工学院计算机科学系)
研究多任务数据集评估问题,提出DMVM框架,利用任务算法从模型组合推断数据集贡献,避免再训练和数据共享,还引入安全聚合协议,给出理论误差界限并实验验证。
2026-07-07 cs.AI cs.CL cs.CV
Differentially Private and Federated Structure Learning in Bayesian Networks
PreMeDICal, Inria, Idesp, Inserm, University of Montpellier(PreMeDICal, 法国国家信息与自动化研究所, Idesp, 法国国家健康与医学研究院, 蒙彼利埃大学)
本文提出Fed-Sparse-BNSL方法,结合差分隐私与贪心更新,实现高效隐私保护和低通信开销的贝叶斯网络结构学习。
2026-04-10 cs.LG stat.ML
An Efficient Hashing-based Ensemble Method for Collaborative Outlier Detection
School of Computer Science, University of Auckland(奥克兰大学计算机科学学院)
在协作离群值检测中,多个参与者交换在分散设备上训练的本地检测器,而不交换自己的数据。协同离群点检测的一个关键问题是在不侵犯参与者数据隐私和降低检测精度的前提下,有效地聚合多个局部检测器形成全局检测器。我们研究了位置敏感的基于散列的集成方法来检测协作离群值,因为它们是可合并的,并且与差分私有机制兼容。我们提出的LSH iTables很简单,在许多真实世界的数据集上,在集中式和分散式场景中的表现优于最近的集成竞争对手。
2022-01-18 cs.LG
GS-WGAN: A Gradient-Sanitized Approach for Learning Differentially Private Generators
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
丰富数据的广泛可用性推动了众多领域中机器学习应用的增长。然而,具有高度敏感数据的域的增长(例如,医疗)在很大程度上受到阻碍,因为数据的私人性质禁止共享。为此,我们提出了一种安全净化的Wasserstein生成对抗网络(GS-WGAN),它允许发布具有严格隐私保证的敏感数据的净化形式。与之前的工作相比,我们的方法能够更精确地扭曲梯度信息,从而能够训练更深入的模型,生成更多信息的样本。此外,我们的公式自然允许在集中式和联合式中训练GANs(即,分散的)数据场景。通过大量的实验,我们发现我们的方法在多个指标上始终优于最先进的方法(例如,样本质量)和数据集。
2021-03-15 cs.CR cs.LG stat.ML
Private Decentralized Optimization with Noise Reduction and Bias Correction
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Great Bay University(大湾区大学)
针对私有去中心化学习中的噪声与偏差问题,提出PRDO方法,结合递归估计与精确扩散,实现非凸收敛保证并提升准确性。
2026-09-24 cs.LG
Beyond Passive Aggregation: Active Auditing and Topology-Aware Defense in Decentralized Federated Learning
Yunnan Key Laboratory of Statistical Modeling and Data Analysis(云南统计模型与数据研究所);Yunnan University(云南大学)
本文提出主动审计和拓扑感知防御框架,通过动态模型和新型审计指标检测隐蔽后门,提升去中心化联邦学习的鲁棒性。
2026-03-19 cs.LG stat.ME
Privacy Preserving Gossip Learning
University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出一种去中心化隐私保护学习算法,基于无遗忘调参和私有推-求和八卦协议,实现样本顺序学习中的隐私保护与几何收敛。
2026-09-15 cs.LG math.OC
Communication-Efficient Secure Aggregation in Decentralized Learning
EPFL(洛桑联邦理工学院)
CESAR协议整合安全聚合与稀疏化,解决去中心化学习中通信效率与隐私的权衡问题,在保证模型准确率的同时降低66.7%通信量,是首个兼具二者的去中心化协议。
2026-08-03 cs.LG
Embedding-Based Federated Data Sharing via Differentially Private Conditional VAEs
xAILab Bamberg, University of Bamberg, Germany(巴姆堡大学)
本文提出利用差分隐私条件变分自编码器(DP-CVAE)在联邦学习框架下共享基础模型提取的嵌入,以低通信开销和更少参数支持多下游任务,同时保证差分隐私并优于传统联邦分类器。
2025-07-03 cs.CV cs.LG eess.IV
Secure Aggregation with Top-K Sparsification in Decentralized Federated Learning
Southwest Jiaotong University(西南交通大学)
针对去中心化联邦学习中带宽有限和节点不可靠的问题,提出一种结合Top-K梯度稀疏化的信息论安全聚合方案,通过离线阶段处理维度相关开销,使用随机掩码和排列保护梯度,在1%稀疏率下保持精度并显著降低通信成本。
2026-06-09 cs.CR cs.IT cs.LG
Graph-Homomorphic Perturbations for Private Decentralized Learning
EPFL(洛桑联邦理工学院)
随机优化和学习的分散算法依赖于信息的扩散,这是重复的局部交换中间估计的结果。这种结构在代理可能由于隐私问题而不愿意共享原始数据的情况下特别有吸引力。然而,在没有额外的隐私保护机制的情况下,根据私人数据生成的本地估计数的交换可以允许对数据本身进行推断。保障隐私的最常见机制是在广播之前对本地估计值进行扰动。这些扰动通常在每个代理处独立地选择,从而导致显著的性能损失。我们提出了一种替代方案,它构造扰动根据一个特定的零空间条件,允许他们是不可见的(一阶的步长)的网络质心,同时保持隐私的保证。该分析允许一般的非凸损失函数,因此适用于大量的机器学习和信号处理问题,包括深度学习。
2020-10-23 cs.DC cs.LG cs.MA
Efficient Node Selection in Private Personalized Decentralized Learning
RISE Research Institutes of Sweden(瑞典研究院);KTH Royal Institute of Technology(瑞典皇家理工学院);AI Sweden(瑞典人工智能)
本文提出PPDL方法,结合安全聚合与相关对抗多臂老虎机优化,在保护节点隐私的同时实现高效节点选择,并在标签偏移和协变量偏移场景下超越以往非私有方法。
2024-01-15 cs.LG
Decentralized Differentially Private Without-Replacement Stochastic Gradient Descent
Electronic Information School, Wuhan University(武汉大学);Department of Electrical and Computer Engineering, North Carolina State University(北卡罗来纳州立大学)
虽然机器学习在各种领域都取得了显著的成果,但模型的训练通常需要从不同个体收集的大型数据集。由于个人数据集中可能包含敏感信息,因此共享训练数据可能导致严重的隐私问题。因此,迫切需要开发隐私感知的机器学习方法,其中一种有效的方法是利用差分隐私的通用框架。考虑到随机梯度下降(SGD)是大规模机器学习问题中最常用的方法之一,提出了一种分散的差分私有SGD算法.特别是,我们专注于SGD,由于其结构有利于实际实施,因此没有替代品。隐私和收敛性分析所提出的算法。最后,大量的实验证明了所提出的方法的有效性。
2023-02-05 cs.LG stat.ML