Effect of Homomorphic Encryption on the Performance of Training Federated Learning Generative Adversarial Networks
Delft University of Technology(代尔夫特理工大学)
生成对抗网络(GAN)是机器学习(ML)领域中的深度学习生成模型,涉及使用相当大的数据集训练两个神经网络(NN)。在诸如医学的某些领域中,训练数据可以是跨不同医院存储的医院患者记录。经典的集中式方法将涉及将数据发送到集中式服务器,在那里训练模型。然而,这将涉及侵犯患者及其数据的隐私和保密性,这是不可接受的。因此,联邦学习(FL)是一种在分布式环境中训练ML模型而无需数据离开主机设备的ML技术,将是集中式选项的更好替代方案。在这种ML技术中,只有参数和某些元数据会被传递。尽管如此,仍然存在可以使用参数和元数据推断用户数据的攻击。完全隐私保护的解决方案涉及同态加密(HE)通信的数据。本文将重点关注使用三种不同类型的同态加密训练FL-GAN的性能损失:部分同态加密(PHE)、部分同态加密(SHE)和完全同态加密(FHE)。我们还将测试多方计算(MPC)的性能损失,因为它具有同态属性。性能将与训练没有加密的FL-GAN的性能进行比较。我们的实验表明,加密方法越复杂,所需的时间越长,与FL的基本情况相比,HE所需的额外时间相当显著。
2022-07-01 cs.AI cs.CR cs.LG
FPGA-Based Hardware Accelerator of Homomorphic Encryption for Efficient Federated Learning
Hong Kong University of Science and Technology(香港科技大学);Clustar(星辰天合);Peng Cheng Lab(鹏城实验室)
随着人们对隐私保护和数据碎片问题的日益关注,联邦学习已经成为机器学习的一种新范式。联邦学习倾向于利用各种隐私保护机制来保护传输的中间数据,其中同态加密在安全性和易用性之间取得了平衡。然而,复杂的操作和大的操作数给联邦学习带来了巨大的开销。更有效地保持准确性和安全性一直是联邦学习的关键问题。在这项工作中,我们研究了一种硬件解决方案,并设计了一个基于FPGA的同态加密框架,旨在加速联邦学习的训练阶段。其根本复杂性在于寻找一种紧凑的同态加密核心运算架构,以满足联邦学习对加密吞吐量高和配置灵活的要求。我们的框架实现了具有代表性的Paillier同态密码系统,具有高层次的综合灵活性和可移植性,在处理时钟周期,资源使用和时钟频率方面对模乘运算进行了仔细的优化。我们的加速器实现了接近最佳的执行时钟周期,具有比现有设计更好的DSP效率,并在各种联邦学习模型的训练过程中将加密时间减少了71%。
2020-07-21 cs.CR cs.DC cs.LG
TenSEAL: A Library for Encrypted Tensor Operations Using Homomorphic Encryption
École Supérieure en Informatique, Sidi Bel Abbès(西迪贝勒阿巴斯高等信息学院);OpenMined
机器学习算法已经取得了令人瞩目的成果,并在各个领域得到了广泛的应用。这些算法通常依赖于敏感和私人数据,如医疗和财务记录。因此,必须进一步关注应用于机器学习模型的隐私威胁和相应的防御技术。在本文中,我们介绍了TenSEAL,一个使用同态加密的隐私保护机器学习的开源库,可以很容易地集成到流行的机器学习框架中。我们使用MNIST对我们的实现进行基准测试,并表明加密的卷积神经网络可以在不到一秒的时间内进行评估,使用不到半兆字节的通信。
2021-04-28 cs.CR cs.LG
Towards the AlexNet Moment for Homomorphic Encryption: HCNN, theFirst Homomorphic CNN on Encrypted Data with GPUs
深度学习即服务(DLaaS)是基于云的推理应用程序的一个有前途的解决方案。在这种设置中,云具有预先学习的模型,而用户具有她想要运行模型的样本。如果输入样本是敏感数据,DLaaS最大的问题是用户隐私。我们在这里提供了一个高效的隐私保护系统,通过采用高端技术,如全同态加密(FHE),卷积神经网络(CNN)和图形处理单元(GPU)。FHE以其在加密数据上计算的众所周知的特性,为广泛的隐私相关应用提供了支持。这需要很高的成本,因为它需要巨大的计算能力。在本文中,我们展示了如何使用GPU加速在加密数据上运行CNN的性能。我们评估了两个CNN对MNIST和CIFAR-10数据集进行同态分类。我们的解决方案实现了足够的安全级别(> 80位)和合理的分类精度(99%)和(77.55%)MNIST和CIFAR-10,分别。在延迟方面,MNIST和CIFAR-10分别可以在5.16秒和304.43秒内对图像进行分类。我们的系统还可以对一批图像(> 8,000)进行分类,而无需额外的开销。
2020-08-18 cs.CR cs.LG
HETAL: Efficient Privacy-preserving Transfer Learning with Homomorphic Encryption
University of California, Berkeley(加州大学伯克利分校);CryptoLab Inc.(CryptoLab公司);Inha University(仁荷大学)
本研究针对迁移学习在机器学习即服务场景下的隐私保护问题,提出基于CKKS同态加密的HETAL算法,实现了与非加密训练精度相当的加密训练,训练效率大幅提升。
2024-03-21 cs.CR cs.LG
BAYHENN: Combining Bayesian Deep Learning and Homomorphic Encryption for Secure DNN Inference
Peking University(北京大学);Ant Financial Services Group(蚂蚁金融服务集团)
最近,深度学习即服务(DLaaS)已经成为促进深度神经网络(DNN)用于各种目的的有前途的方式。然而,使用DLaaS也会导致客户端和云服务器的潜在隐私泄露。这个隐私问题激发了人们对云服务中DNN模型的隐私保护推理的研究兴趣。在本文中,我们提出了一个实用的解决方案命名为BAYHENN安全DNN推理。它可以同时保护客户端和服务器端的隐私。我们的解决方案的关键策略是结合同态加密和贝叶斯神经网络。具体来说,我们使用同态加密来保护客户端的原始数据,并使用贝叶斯神经网络来保护云服务器中的DNN权重。为了验证我们的解决方案的有效性,我们在MNIST和真实的临床数据集上进行了实验。我们的解决方案在这两项任务上实现了一致的延迟降低。特别是,我们的方法在端到端延迟方面可以比现有的最佳方法(GAZELLE)高出约5倍。
2019-06-26 cs.CR cs.LG
Pushing Forward Multi-Secret-Key Homomorphic Encryption for Private Average Aggregation
atlanTTic, Universidade de Vigo(维戈大学 atlanTTic 研究中心)
本研究针对联邦学习私有平均聚合问题,提出基于RLWE同态加密的轻量级多秘密密钥协议,降低了密文扩张与在线开销,性能优于现有方案。
2026-09-03 cs.CR cs.LG
Homomorphic Encryption and Federated Learning based Privacy-Preserving CNN Training: COVID-19 Detection Use-Case
University of Stavanger(斯塔万格大学);Virginia Commonwealth University(弗吉尼亚联邦大学);Old Dominion University(奥尔多明尼昂大学);Norwegian University of Science and Technology(挪威科技大学)
医疗数据在数据隐私和安全问题方面通常非常敏感。联邦学习是机器学习技术的一种,已经开始用于提高医疗数据的隐私性和安全性。在联邦学习中,训练数据分布在多台机器上,学习过程以协作方式执行。针对深度学习(DL)模型的隐私攻击主要是为了获取敏感信息。因此,应该保护DL模型本身免受对抗攻击,特别是对于使用医疗数据的应用。针对该问题的解决方案之一是基于同态加密的模型保护以防止对手合作者。提出了一种基于同态加密的隐私保护医疗数据联邦学习算法。该算法使用安全的多方计算协议来保护深度学习模型免受攻击。在这项研究中,所提出的算法使用真实世界的医疗数据集进行评估的模型性能。
2022-04-16 cs.CR cs.LG
Dubhe: Towards Data Unbiasedness with Homomorphic Encryption in Federated Learning Client Selection
Shanghai Jiao Tong University(上海交通大学)
联邦学习(FL)是一种分布式机器学习范式,允许客户端在自己的本地数据上协作训练模型。FL保证了客户端的隐私,其安全性可以通过诸如加性同态加密(HE)的密码学方法来加强。然而,FL的效率可能会严重受到客户之间的数据分布差异和全局分布偏度的统计异质性的影响。我们从数学上证明了FL性能下降的原因,并在各种数据集上检查FL的性能。为了解决统计异质性问题,我们提出了一种可插拔的系统级客户端选择方法Dubhe,它允许客户端主动参与训练,同时在HE的帮助下保护他们的隐私。实验结果表明,Dubhe算法在分类精度上与最优贪婪算法相当,而加密和通信开销可以忽略不计。
2021-09-08 cs.CR cs.DC cs.LG
FLASHE: Additively Symmetric Homomorphic Encryption for Cross-Silo Federated Learning
HKUST(香港科技大学);WeBank(微众银行);Tsinghua University(清华大学)
同态加密(HE)是一种很有前途的隐私保护技术,用于跨筒仓联邦学习(FL),其中组织对分散的数据进行协作模型训练。尽管有很强的隐私保证,一般的HE方案导致显着的计算和通信开销。之前的工作使用批量加密来解决这个问题,但它在减轻通信开销方面仍然不是最佳的,并且与稀疏化技术不兼容。在本文中,我们提出了FLASHE,一个HE计划量身定制的跨筒仓FL。为了捕获的安全性和功能的最低要求,FLASHE下降的非对称密钥的设计,只涉及模加操作与随机数。根据是否容纳稀疏化技术,FLASHE在计算效率方面使用不同的方法进行优化。我们已经在FATE上实现了FLASHE作为一个可插拔模块,FATE是一个跨竖井FL的工业平台。与明文训练相比,FLASHE稍微增加了$\leq6\%$的训练时间,而没有通信开销。
2021-09-29 cs.CR cs.DC cs.LG
CipherFace: A Fully Homomorphic Encryption-Driven Framework for Secure Cloud-Based Facial Recognition
Vorboss Limited(沃博斯有限公司);Ibn Haldun University(伊本·赫勒敦大学)
针对云端人脸识别中嵌入向量的隐私安全问题,提出基于全同态加密的CipherFace框架,支持加密距离计算,并实验验证其可扩展性与有效性。
2025-02-22 cs.CR cs.CV cs.LG
PRISM: Privacy-preserving Inference System with Homomorphic Encryption and Modular Activation
针对机器学习模型部署中数据隐私与非线性激活函数不兼容同态加密的问题,提出PRISM框架,用同态兼容近似函数替代非线性激活并重构CNN架构,在CIFAR-10上实现94.4%准确率,平衡了隐私保护与计算效率。
2025-11-11 cs.AI cs.CR cs.LG
MedBlindTuner: Towards Privacy-preserving Fine-tuning on Biomedical Images with Transformers and Fully Homomorphic Encryption
Georgia State University(佐治亚州立大学);Old Dominion University(老道明大学)
本文提出 MedBlindTuner 框架,结合 FHE 与 DEiT,在加密生物医学图像上完成模型训练,并在保持与非加密训练相当准确率的同时保护患者隐私。
2024-01-17 cs.CR cs.CV cs.LG
The Inhibitor: ReLU and Addition-Based Attention for Efficient Transformers under Fully Homomorphic Encryption on the Torus
该研究提出基于ReLU与加法的注意力机制替代传统点积Softmax注意力,提升量化Transformer效率,在四项基准任务上性能相当,且明文与加密场景下均显著节省计算量,有望支撑同态加密下的隐私保护AI应用。
2025-10-01 cs.LG
Privacy-Preserving Wavelet Neural Network with Fully Homomorphic Encryption
Institute for Development and Research in Banking Technology(银行业技术发展与研究所);University of Hyderabad(海得拉巴大学)
隐私保护机器学习(PPML)的主要目的是保护隐私并为构建机器学习模型所使用的数据提供安全性。PPML中有各种技术,如安全多方计算、差分隐私和同态加密(HE)。这些技术与各种机器学习模型甚至深度学习网络相结合,以保护数据隐私和用户身份。在本文中,我们提出了一个全同态加密小波神经网络,以保护隐私,同时不妥协的效率模型。我们在来自金融和医疗保健领域的七个数据集上测试了所提出的方法的有效性。结果表明,我们提出的模型的性能与未加密的模型相似。
2022-05-31 cs.LG
Training Large Scale Polynomial CNNs for E2E Inference over Homomorphic Encryption
IBM Research(IBM研究院);Bar-Ilan University(巴伊兰大学);AI2(艾伦人工智能研究所)
该研究提出新型训练方法,实现可在同态加密下运行的大规模多项式CNN训练,在ImageNet上取得可观精度,还优化了HE评估效率,并通过多项式适配CLIP实现安全零样本预测。
2023-06-11 cs.AI cs.CR cs.LG
Smuche: Scalar-Multiplicative Caching in Homomorphic Encryption
University of Washington(华盛顿大学)
针对同态加密中现有缓存技术(如Rache)因明文特征导致线性开销的问题,提出常数时间标量乘法缓存技术Smuche,通过标量乘法与常数时间随机性实现参数无关的缓存,实验证明其优于Rache和CKKS。
2023-12-26 cs.CR cs.LG cs.PF