DeepShare: Sharing ReLU Across Channels and Layers for Efficient Private Inference
Tel Aviv University(特拉维夫大学)
DeepShare通过跨通道和层共享ReLU,减少计算量并提升私有推理效率,解决XOR问题并取得分类和分割任务的SOTA成果。
2025-12-19 cs.CR cs.LG
Selective Network Linearization for Efficient Private Inference
New York University Tandon School of Engineering(纽约大学坦登工程学院)
私有推理(PI)允许直接对加密安全数据进行推理。虽然有望解决许多隐私问题,但由于极端的运行时间,它的使用受到限制。与延迟由FLOP主导的明文推理不同,在PI中,非线性函数(即ReLU)是瓶颈。因此,实际的PI需要新的ReLU感知优化。为了减少PI延迟,我们提出了一种基于梯度的算法,该算法选择性地线性化ReLU,同时保持预测精度。我们评估我们的算法在几个标准的PI基准。结果表明,与当前技术水平相比,$4.25\%$具有更高的准确性(50 K时的iso-ReLU计数)或$2.2\times$具有更少的延迟(70\%时的iso-accuracy),并在延迟-准确性空间上推进了Pareto边界。为了补充实证结果,我们提出了一个“没有免费的午餐”定理,揭示了如何以及何时网络线性化是可能的,同时保持预测精度。公共代码可在\url{https://github.com/NYU-DICE-Lab/selective_network_linearization}获得。
2022-06-08 cs.CR cs.LG
Learning to Linearize Deep Neural Networks for Secure and Efficient Private Inference
Intel Labs(英特尔实验室);University of Southern California(南加州大学)
现有深度神经网络中的大量ReLU非线性操作使其不适合延迟高效的私有推理(PI)。减少ReLU操作的现有技术通常涉及手动工作并牺牲了显着的准确性。在本文中,我们首先提出了一种新的非线性层ReLU灵敏度的测量方法,从而减轻了识别非线性层ReLU灵敏度时耗时的手动工作。基于这种敏感性,我们提出了SENet,这是一种三阶段训练方法,对于给定的ReLU预算,自动分配每层ReLU计数,决定每层激活图的ReLU位置,并训练具有显著较少ReLU的模型,以潜在地产生延迟和通信效率PI。使用多个模型对各种数据集进行的实验评估表明,与现有替代方案相比,SENet在减少ReLU和提高分类准确性方面都具有卓越的性能。特别是,SENet可以产生需要少约2倍ReLU的模型,同时产生类似的精度。对于类似的ReLU预算,SENet可以产生分类精度提高约2.32%的模型,在CIFAR-100上进行评估。
2023-01-23 cs.AI cs.CV cs.LG
RRNet: Towards ReLU-Reduced Neural Network for Two-party Computation Based Private Inference
University of Connecticut(康涅狄格大学);Northeastern University(东北大学);Lehigh University(理海大学);Duke University(杜克大学);University of Rochester(罗切斯特大学)
深度学习(DL)的普及导致了隐私和安全问题的出现。为了解决这些问题,已经提出了安全双方计算(2 PC)作为实现隐私保护DL计算的手段。然而,在实践中,2 PC方法往往会产生很高的计算和通信开销,这可能会阻碍它们在大规模系统中的使用。为了应对这一挑战,我们引入了RRNet,这是一个系统框架,旨在共同降低MPC比较协议的开销,并通过硬件加速来加速计算。我们的方法将加密构建块的硬件延迟集成到DNN损失函数中,从而提高了能效、准确性和安全性。此外,我们提出了一个加密的硬件调度器和相应的性能模型的现场可编程门阵列(FPGA),以进一步提高我们的框架的效率。实验表明,RRNet在CIFAR-10数据集上实现了比所有SOTA作品更高的ReLU约简性能。
2023-02-22 cs.CR cs.LG
Nearly Optimal Differentially Private ReLU Regression
University of Science and Technology of China(中国科学技术大学);State University of New York at Buffalo(纽约州立大学布法罗分校);Guangzhou University(广州大学);Zhejiang University(浙江大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本文研究差分隐私 ReLU 回归,在次高斯数据设定下提出 DP-MBGLMtron,并证明其超额风险达到忽略对数因子时的极小极大最优速率。
2025-06-10 cs.LG stat.ML
xMLP: Revolutionizing Private Inference with Exclusive Square Activation
University at Buffalo(布法罗大学)
本文提出xMLP架构,仅用平方激活替代ReLU,解决私有推理延迟问题,在CIFAR-100和ImageNet上实现与ReLU相当精度,且PI速度提升7倍,GPU卸载时快700倍。
2024-03-12 cs.CR cs.LG
AESPA: Accuracy Preserving Low-degree Polynomial Activation for Fast Private Inference
Seoul National University(首尔国立大学)
混合私有推理(PI)协议是一种重要的PI技术,它综合利用了多方计算(MPC)和同态加密。然而,即使是最先进的PI协议也会受到非线性层,特别是激活函数的影响。虽然标准的非线性激活函数可以产生更高的模型精度,它必须通过一个昂贵的混淆电路MPC原语处理。多项式激活可以通过Beaver的乘法三倍MPC原语来处理,但到目前为止已经导致严重的准确性下降。在本文中,我们提出了一个保持精度的低次多项式激活函数(AESPA),它利用了ReLU的Hermite扩展和基规范化。我们将AESPA应用于流行的ML模型,如VGGNet,ResNet和预激活ResNet,以显示与具有ReLU激活的标准模型相当的推理准确性,实现了优于先前低次多项式研究的准确性。当应用于最先进的Delphi PI协议上的全USB基线时,AESPA显示出高达42.1倍和28.3倍的在线延迟和通信成本降低。
2022-02-18 cs.CR cs.LG
Differentially Private Non-convex Learning for Multi-layer Neural Networks
UCI(加州大学欧文分校);KAUST(阿卜杜拉国王科技大学);University at Albany(奥尔巴尼大学)
本文针对多层全连接神经网络提出差分隐私非凸优化算法,在广义线性模型、两层及多层网络中实现与维度无关的额外风险,并首次给出DP-SGD在大宽度下的理论保证。
2023-10-12 cs.CR cs.LG stat.ML
ARIANN: Low-Interaction Privacy-Preserving Deep Learning via Function Secret Sharing
Columbia University(哥伦比亚大学);ENS(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL University(巴黎文理研究大学);INRIA(法国国家信息与自动化研究所);Arkhn
我们提出了AriaNN,一个低交互的隐私保护框架,用于私人神经网络训练和敏感数据的推理。我们的半诚实的2方计算协议(与可信的经销商)利用功能秘密共享,最近的轻量级加密协议,使我们能够实现一个有效的在线阶段。我们为神经网络的构建块设计了优化的原语,如ReLU,MaxPool和BatchNorm。例如,我们在在线阶段使用输入大小的单个消息对ReLU操作进行私有比较,并且预处理密钥比以前的工作小近4倍。最后,我们提出了一个扩展来支持n方私有联邦学习。我们将我们的框架实现为PyTorch之上的可扩展系统,该系统利用CPU和GPU硬件加速进行加密和机器学习操作。我们评估了我们的端到端系统,用于在标准神经网络(如AlexNet,VGG 16或ResNet 18)上的远程服务器之间进行私有推理,以及在较小的网络(如LeNet)上进行私有训练。我们表明,计算而不是通信是主要的瓶颈,使用GPU与减少密钥大小是一个很有前途的解决方案,以克服这一障碍。
2021-10-28 cs.CR cs.LG stat.ML
Linearizing Models for Efficient yet Robust Private Inference
Intel Labs(英特尔实验室)
本文提出RLNet,一种鲁棒线性化网络,通过减少ReLU操作实现高效私有推理,在干净、自然扰动和对抗扰动图像上同时提升准确率,ReLU数量减少多达11.14倍,对抗准确率提升约47%。
2024-02-08 cs.AI cs.CR cs.LG
PolyMPCNet: Towards ReLU-free Neural Architecture Search in Two-party Computation Based Private Inference
深度学习(DL)的快速发展和部署见证了新出现的隐私和安全问题。为了缓解这些问题,已经讨论了安全多方计算(MPC),以实现隐私保护DL计算。在实践中,它们通常会带来非常高的计算和通信开销,并可能阻碍它们在大规模系统中的普及。两个正交的研究趋势在解决安全深度学习中的能量效率方面吸引了巨大的兴趣,即,MPC比较协议的开销减少和硬件加速。然而,由于计算和通信节省有限,它们要么实现低缩减率并遭受高延迟,要么由于现有工作主要集中在CPU和GPU等通用计算平台上而耗电。在这项工作中,作为第一次尝试,我们开发了一个系统的框架,PolyMPCNet,联合开销减少MPC比较协议和硬件加速,通过集成硬件延迟的密码构建块到DNN损失函数,以实现高能效,准确性和安全性保证。我们的关键设计原则不是在DNN经过良好训练后(通过删除或丢弃一些非多项式运算符)验证性地检查模型敏感性,而是严格执行DNN设计中的假设-训练一个既硬件高效又安全的DNN,同时逃避局部最小值和鞍点并保持高精度。更具体地说,我们提出了一种直通多项式激活初始化方法,用于加密硬件友好的可训练多项式激活函数,以取代昂贵的2 P-ReLU运算符。针对现场可编程门阵列(FPGA)平台,设计了一种密码硬件调度器,并建立了相应的性能模型。
2023-02-22 cs.CR cs.LG
Regularized PolyKervNets: Optimizing Expressiveness and Efficiency for Private Inference in Deep Neural Networks
Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本研究针对PolyKervNets在深层网络中的训练不稳定性,提出优化训练方法以提升其性能,旨在消除传统非线性激活函数,推进隐私保护DNN架构。
2023-12-23 cs.CR cs.CV cs.LG
Fast and Private Inference of Deep Neural Networks by Co-designing Activation Functions
University of Waterloo(滑铁卢大学);Royal Bank of Canada(加拿大皇家银行)
针对MPC加密DNN推理中ReLU非线性层导致的高延迟问题,本文协同设计多项式激活与单轮MPC协议,并提出配套训练算法,在最高2300万参数模型上实现3至110倍加速且保持精度。
2024-04-16 cs.CR cs.LG
Coordinate Descent for Network Linearization
针对基于ResNet的私有推理中ReLU激活函数导致高延迟的问题,提出直接在离散域中利用坐标下降法优化网络线性化的方法,该方法设计上产生稀疏解,在常见基准测试中达到最先进水平。
2025-11-14 cs.CV cs.LG stat.ML
Characterizing the Training Dynamics of Private Fine-tuning with Langevin diffusion
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学)
本文从理论和实验上揭示了差分隐私全量微调会因骨干网络与线性头不对齐而扭曲预训练特征,并提出先线性探测后微调的DP-LP-FFT策略以缓解该问题,同时给出训练损失界和隐私预算分配的权衡分析。
2025-11-07 cs.AI cs.CR cs.LG
Disparate Impact on Group Accuracy of Linearization for Private Inference
University of Virginia(弗吉尼亚大学);New York University(纽约大学)
本文发现私有推理中线性化ReLU激活虽提升计算效率,但会不成比例地降低少数群体准确率,造成公平性损害,并提出修改微调步骤作为缓解策略。
2024-08-20 cs.CR cs.CY cs.LG
CryptGPU: Fast Privacy-Preserving Machine Learning on the GPU
University of Virginia(弗吉尼亚大学);Facebook AI Research(Facebook AI研究院)
我们介绍CryptGPU,这是一个用于隐私保护的机器学习系统,它在GPU(图形处理单元)上实现所有操作。正如GPU在现代深度学习的成功中发挥了关键作用一样,它们对于实现可扩展的隐私保护深度学习也至关重要。在这项工作中,我们首先引入了一个新的接口,以将秘密共享值(在离散域中)上的加密操作有损嵌入到浮点运算中,这些运算可以由高度优化的CUDA线性代数内核处理。然后,我们确定了一系列的“GPU友好”的加密协议,使隐私保护评估的线性和非线性运算的GPU。我们的微基准测试表明,我们基于GPU的私有卷积协议比类似的基于CPU的协议快150倍以上;对于ReLU激活函数等非线性操作,我们基于GPU的协议比其CPU模拟快10倍左右。借助CryptGPU,我们支持在具有超过6000万个参数的卷积神经网络上进行私有推理和私有训练,并处理ImageNet等大型数据集。与以前的最先进技术相比,当考虑大型模型和数据集时,我们的协议在私有推理方面实现了2倍至8倍的改进,在私有训练方面实现了6倍至36倍的改进。我们的工作不仅展示了完全在GPU上执行安全多方计算(MPC)以实现快速隐私保护机器学习的可行性,而且还强调了设计可以充分利用GPU计算能力的新MPC原语的重要性。
2021-04-22 cs.CR cs.LG