Regularized PolyKervNets: Optimizing Expressiveness and Efficiency for Private Inference in Deep Neural Networks
Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本研究针对PolyKervNets在深层网络中的训练不稳定性,提出优化训练方法以提升其性能,旨在消除传统非线性激活函数,推进隐私保护DNN架构。
2023-12-23 cs.CR cs.CV cs.LG
Differentially Private Bayesian Inference for Exponential Families
College of Information and Computer Sciences(信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
私人推理的研究已经引发了对数据分析的日益关注,当它源于敏感的来源。我们提出了第一种方法,私人贝叶斯推断指数家庭,适当占噪声引入的隐私机制。它是有效的,因为它只适用于足够的统计数据,而不是个人数据。与其他方法不同,它在非渐近数据制度中给出了适当校准的后验信念。
2018-10-26 cs.CR cs.LG stat.ML
DeepReDuce: ReLU Reduction for Fast Private Inference
New York University(纽约大学)
最近对隐私问题的担忧导致研究人员设计出私人神经推理的方法-直接在加密数据上进行推理,而不会看到输入。私有推理面临的主要挑战是,对加密数据进行计算会带来不切实际的高延迟惩罚,主要来自ReLU等非线性运算符。实现实用和私有的推理需要新的优化方法,以最大限度地减少网络ReLU计数,同时保持准确性。本文提出了DeepReduce:一组明智地删除ReLU以减少私有推理延迟的优化。关键的见解是,并非所有的ReLU对准确性的贡献都是一样的。我们利用这一洞察力从经典网络中删除或删除ReLU,以显著降低推理延迟并保持高准确性。给定一个目标网络,DeepReduce输出一个网络的帕累托边界,权衡ReLU的数量和准确性。与最先进的私有推理相比,DeepReduce提高了准确性,并将ReLU计数分别减少了3.5%(iso-ReLU计数)和3.5 $\times$(iso-accuracy)。
2021-06-22 cs.CR cs.LG
CryptoNAS: Private Inference on a ReLU Budget
New York University(纽约大学)
机器学习作为一种服务,已经引起了围绕客户端数据和提供商模型的隐私问题,并促进了对私有推理(PI)的研究:在不公开输入的情况下处理推理的方法。最近,研究人员已经采用了加密技术来证明PI是可能的,但是所有解决方案都会增加推理延迟,超出实际限制。本文观察到现有的模型不适合PI,并提出了一种新的NAS方法,名为CryptoNAS,用于查找和定制模型,以满足PI的需求。关键的见解是,在PI中,运营商延迟成本是非线性操作(例如,ReLU)主导延迟,而线性层变得有效自由。我们开发了ReLU预算作为推理延迟代理的想法,并使用CryptoNAS构建模型,在给定预算内最大限度地提高准确性。CryptoNAS将准确性提高了3.4%,延迟提高了2.4倍。
2021-05-13 cs.CR cs.LG stat.ML
Differentially Private Bayesian Inference for Generalized Linear Models
Aalto University(阿尔托大学);University of Helsinki(赫尔辛基大学);University of Manchester(曼彻斯特大学)
广义线性模型(GLM),如逻辑回归,是数据分析师最广泛使用的工具之一,通常用于敏感数据集。大量的现有工作,调查差分隐私(DP)约束下的GLM只提供私人点估计的回归系数,并不能量化参数的不确定性。在这项工作中,逻辑和泊松回归作为运行的例子,我们介绍了一个通用的噪声感知DP贝叶斯推理方法GLM在手,给出了一个嘈杂的总和的汇总统计量。量化不确定性使我们能够确定哪些回归系数在统计上与零显著不同。我们提供了一个以前未知的严密的隐私分析和实验证明,从我们的模型中获得的后验,同时坚持强隐私保证,接近非私人后验。
2021-05-12 cs.CR cs.LG stat.ML
Sphynx: ReLU-Efficient Network Design for Private Inference
New York University(纽约大学);University of California San Diego(加州大学圣地亚哥分校)
深度学习的出现伴随着对用户数据和服务提供商模型的隐私担忧。我们专注于私有推理(PI),其目标是使用服务提供商的模型对用户的数据样本进行推理。用于深度网络的现有PI方法可以实现加密安全推理,功能几乎没有下降;然而,它们会产生严重的延迟成本,主要是由非线性网络操作(如ReLU)引起的。本文介绍了Sphynx,一种基于微搜索策略的ReLU高效网络设计方法,用于卷积单元设计。Sphynx在CIFAR-100上实现了对所有现有私有推理方法的Pareto优势。我们还设计了支持Tiny-ImageNet和ImageNet上加密私有推理的大规模网络。
2021-06-17 cs.CR cs.LG
The Influence of Dropout on Membership Inference in Differentially Private Models
Drexel University(德雷塞尔大学)
不同的私有模型试图保护模型训练数据的隐私,使其成为模型安全和隐私的重要组成部分。与此同时,数据科学家和机器学习工程师寻求使用不确定性量化方法来确保模型尽可能有用和可操作。我们探讨通过辍学和隐私进行成员推断攻击对模型和没有差分隐私的不确定性量化之间的紧张关系。我们发现,模型与大的辍学略有增加模型的风险屈服于成员推断攻击在所有情况下,包括在不同的私人模型。
2021-03-16 cs.CR cs.LG
MPCFormer: fast, performant and private Transformer inference with MPC
Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Petuum Inc.(Petuum公司);University of California, Berkeley(加州大学伯克利分校)
启用私有推理对于许多基于Transformer模型的云推理服务至关重要。然而,现有的私有推理解决方案可能会将推理延迟增加60倍以上,或者严重损害推理质量。在本文中,我们设计的框架MPCFORMER作为一个实用的解决方案,使用安全多方计算(MPC)和知识蒸馏(KD)。通过广泛的评估,我们表明,MPCFORMER显着加快了Transformer在MPC设置中的推理,同时实现了与输入模型相似的ML性能。在IMDb数据集上,它实现了与BERTBASE相似的性能,但速度要快5.3倍。在GLUE基准测试中,它的性能达到了BERTBASE的97%,加速比为2.2倍。MPCFORMER对不同的训练过的Transformer权重(如ROBERTABASE)和更大的模型(包括BERTLarge)仍然有效。代码可在https://github.com/MccRee177/MPCFormer上获得。
2023-03-16 cs.CR cs.LG
D3p -- A Python Package for Differentially-Private Probabilistic Programming
Aalto University(阿尔托大学);NVIDIA AI Technology Center(英伟达人工智能技术中心);University of Manchester(曼彻斯特大学);University of Helsinki(赫尔辛基大学)
我们提出了d3 p,一个软件包,旨在帮助现场运行时有效的广泛适用的贝叶斯推理下差分隐私的保证。d3 p通过实现差分私有变分推理算法实现了对广泛的概率建模问题的普遍适用性,允许用户用可微密度函数拟合任何参数概率模型。D3 P采用概率编程范例作为用户灵活定义这种模型的有力方式。我们演示了使用我们的软件上的分层逻辑回归的例子,表现出的建模方法,以及易于运行的参数推断。我们还对复杂模型上私有推理的运行时间进行了实证评估,发现与使用TensorFlow Privacy的实现相比,$\sim$的速度提高了$\sim$ 10倍。
2021-09-15 cs.CR cs.LG stat.ML
Differentially Private Variational Inference for Non-conjugate Models
Helsinki Institute for Information Technology (HIIT)(赫尔辛基信息技术研究所);University of Helsinki(赫尔辛基大学)
许多机器学习应用程序都是基于从人们那里收集的数据,例如他们的口味和行为以及生物特征和遗传数据。无论应用程序有多重要,都必须确保个人身份或数据隐私在分析中不会受到损害。差分隐私构成了一个强大的框架,可以防止从计算输出中违反数据主体隐私。许多重要的贝叶斯推断方法的不同的私有版本已经被提出,但缺乏一个有效的统一的方法适用于任意模型。在这方面的贡献,我们提出了一个差异私人变分推断方法具有非常广泛的适用性。它是建立在双随机变分推断,最近的进展,提供了一个变分解决方案的一大类模型。通过对梯度的裁剪和扰动,将微分隐私加入到双随机变分推断中。该算法通过子采样的隐私放大,提高了算法的效率。我们证明了该方法可以达到接近非私人水平的准确性下,合理的强隐私保证,明显改善了以前的采样为基础的替代品,特别是在强隐私制度。
2017-04-10 cs.CR cs.LG stat.ME
Differentially private partitioned variational inference
Telefónica Research(西班牙电信研究院);University of Cambridge(剑桥大学);Harvard University(哈佛大学);University of Helsinki(赫尔辛基大学)
本文提出差分隐私的分区变分推断框架,首次在联邦学习中实现带差分隐私保证的贝叶斯后验变分近似,并给出三种实现方案及理论与实证比较。
2023-04-18 cs.CR cs.LG stat.ML
Noise-Aware Differentially Private Variational Inference
University of Helsinki(赫尔辛基大学)
针对差分隐私导致下游推断不可靠的问题,提出一种基于随机梯度变分推断的噪声感知近似贝叶斯推断方法,可应用于高维和非共轭模型,并改进了后验评估精度。
2026-10-15 cs.CR cs.LG stat.ML
A Graph-Based Analysis of Comparability, Scale, and Attribution in Private Transformer Inference
Texas A&M University(德克萨斯农工大学)
本研究构建含62个PTI系统的实证图,经三层分析阐明私有推理现状,发现仅1个系统对可比、规模前沿在130亿参数处趋稳,为透明评估PTI主张提供框架。
2026-10-14 cs.CR cs.LG
RobPI: Robust Private Inference against Malicious Client
University of Central Florida(中央佛罗里达大学)
RobPI是一种针对恶意客户端的鲁棒隐私推断协议,通过加密兼容噪声提升安全性,有效降低攻击成功率并增加攻击所需查询次数。
2026-02-23 cs.CR cs.LG
Resampling methods for private statistical inference
Stanford University(斯坦福大学)
本文提出两种差分隐私下的非参数自助法变体,通过私有计算数据分区上多次小自助法结果的中位数来构建置信区间,在保证与非私有方法相近误差率的同时,使置信区间长度显著缩短。
2024-06-03 cs.CR cs.LG stat.ME
Differentially private inference via noisy optimization
Columbia University(哥伦比亚大学);University of Cambridge(剑桥大学)
该研究提出基于优化的差分隐私M估计计算框架与隐私置信域构建方法,结合稳健统计与噪声优化得到具收敛保证的最优隐私估计量,还构建了隐私渐近方差估计用于参数推断,经偏差校正提升了小样本性能。
2023-12-13 cs.CR cs.LG math.ST
Locally Differentially Private Bayesian Inference
Aalto University(阿尔托大学);University of Manchester(曼彻斯特大学);University of Helsinki(赫尔辛基大学)
近年来,局部差分隐私(LDP)已成为一种选择的隐私保护数据收集在几种情况下,当聚合器是不值得信赖的技术。LDP通过在用户端添加噪声来提供客户端隐私。因此,客户端不需要依赖于聚合器的可信度。在这项工作中,我们提供了一个噪声感知的概率建模框架,它允许贝叶斯推断考虑到噪声下的LDP隐私,条件是局部扰动观测。LDP协议提供的更强的隐私保护(与中央模型相比)是在更苛刻的隐私-效用权衡下实现的。我们的框架解决了LDP在贝叶斯设置下准确量化不确定性所带来的几个计算和统计挑战。我们证明了我们的框架在参数估计单变量和多变量分布以及逻辑和线性回归的功效。
2021-10-27 cs.CR cs.LG stat.ML
Fast Private Parameter Learning and Inference for Sum-Product Networks
Johannes Gutenberg University Mainz(美因茨约翰内斯古滕贝格大学);Institute of Computer Science(计算机科学研究所)
和积网络(SPN)是一种图形模型,它允许有效地进行几种类型的推理。SPN有两种类型的学习:学习模型的架构和学习参数。在本文中,我们解决了第二个问题:我们展示了如何学习和节点的权重,假设架构是固定的,并且数据在多方之间水平分区。计算将保护每个参与者的隐私。此外,我们将使用秘密共享而不是(同态)加密,这允许快速计算并且需要很少的计算资源。为此,我们使用一种新的整数除法来计算近似实数除法。我们还展示了如何使用学习的SPN进行简单和私人的推理。
2021-10-14 cs.CR cs.LG
CipherPrune: Efficient and Scalable Private Transformer Inference
University of Central Florida(中佛罗里达大学);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);Ant Research(蚂蚁集团研究院);Indiana University Bloomington(印第安纳大学伯明顿分校)
提出CipherPrune框架,通过加密令牌剪枝和多项式降低协议及网络优化,解决私有Transformer推理的效率与可扩展性问题,大幅降低执行开销。
2025-03-05 cs.CR cs.LG
Assessing differentially private deep learning with Membership Inference
SAP SE(SAP公司);University of Waterloo(滑铁卢大学)
旨在识别公共神经网络的训练数据的攻击代表了对参与训练数据集的个人的隐私的严重威胁。通过训练数据或训练函数的匿名化提供了可能的保护,具有差分隐私。然而,数据科学家可以在本地和中央差分隐私之间进行选择,并且需要选择有意义的隐私参数$ε$,这对于非隐私专家来说是一个挑战。我们经验比较本地和中央差分隐私机制下的白盒和黑盒成员推理,以评估其相对的隐私准确性权衡。我们用几个数据集进行了实验,结果表明,这两种机制的权衡是相似的。这表明局部差分隐私是差分隐私深度学习的中央差分隐私的合理替代方案,因为中央差分隐私中的小$ε$和局部差分隐私中的大$ε$会导致类似的成员推断攻击风险。
2020-05-26 cs.CR cs.LG
Selective Network Linearization for Efficient Private Inference
New York University Tandon School of Engineering(纽约大学坦登工程学院)
私有推理(PI)允许直接对加密安全数据进行推理。虽然有望解决许多隐私问题,但由于极端的运行时间,它的使用受到限制。与延迟由FLOP主导的明文推理不同,在PI中,非线性函数(即ReLU)是瓶颈。因此,实际的PI需要新的ReLU感知优化。为了减少PI延迟,我们提出了一种基于梯度的算法,该算法选择性地线性化ReLU,同时保持预测精度。我们评估我们的算法在几个标准的PI基准。结果表明,与当前技术水平相比,$4.25\%$具有更高的准确性(50 K时的iso-ReLU计数)或$2.2\times$具有更少的延迟(70\%时的iso-accuracy),并在延迟-准确性空间上推进了Pareto边界。为了补充实证结果,我们提出了一个“没有免费的午餐”定理,揭示了如何以及何时网络线性化是可能的,同时保持预测精度。公共代码可在\url{https://github.com/NYU-DICE-Lab/selective_network_linearization}获得。
2022-06-08 cs.CR cs.LG
CipherFormer: Efficient Transformer Private Inference with Low Round Complexity
提出CipherFormer,利用同态加密和混淆电路实现低轮次复杂度的Transformer私有推理,在保持准确率的同时显著降低推理延迟并实现大幅加速。
2024-03-25 cs.CR
Assessing Differentially Private Variational Autoencoders under Membership Inference
SAP(思爱普);University of Waterloo(滑铁卢大学)
我们提出了一种方法来量化和比较的隐私准确性权衡差分私人变分自编码器。我们的工作在两个方面补充了以前的工作。首先,我们评估了差分隐私下针对变分自编码器的强重构MI攻击。其次,我们解决了数据科学家设置隐私参数的挑战,这将引导差分隐私的强度,从而也是隐私准确性的权衡。在我们的实验研究中,我们考虑图像和时间序列数据,和三个本地和中央差分隐私机制。我们发现,隐私准确性权衡强烈依赖于数据集和模型架构。我们很少观察到变分自编码器的隐私-准确性权衡,并确定LDP优于CDP的情况。
2022-04-16 cs.CR cs.LG
Differentially Private Normalizing Flows for Density Estimation, Data Synthesis, and Variational Inference with Application to Electronic Health Records
University of Notre Dame(圣母大学)
电子健康记录(EHR)通常包含关于个体患者的敏感医疗信息,这对共享或发布EHR数据以用于下游学习和推理任务造成了重大限制。我们使用规范化流(NF),一系列深度生成模型,来估计具有差分隐私(DP)保证的数据集的概率密度,从中生成隐私保护合成数据。我们将该技术应用于包含肺动脉高压患者的EHR数据集。我们通过比较基于物理模型的参数的高血压状态和变后验分布的预测准确性来评估合成数据的学习和推理效用。此外,我们使用一个模拟的数据集从非线性模型比较的结果变分推断(VI)的基础上的隐私保护的合成数据,和隐私保护的VI直接私有化NF的VI与DP保证给定的原始非私有数据集。结果表明,合成数据产生的差异私人密度估计与NF可以产生良好的效用在一个合理的隐私成本。我们还表明,VI从差分私人NF的自由能约束损失的基础上获得的可能会产生变分近似显着改变的相关结构,和两个分布之间的替代相异性度量的基础上的损失配方可能会提供改进的结果。
2023-02-11 cs.CR cs.LG stat.AP
Noise-Aware Statistical Inference with Differentially Private Synthetic Data
University of Helsinki(赫尔辛基大学);Aalto University(阿尔托大学);University of Manchester(曼彻斯特大学)
虽然在数据隐私社区中,差分隐私(DP)下的合成数据的生成受到了很多关注,但合成数据的分析却少得多。现有的工作表明,简单地分析DP合成数据,就好像它是真实的一样,不会产生有效的人口水平数量的推断。例如,置信区间变得太窄,我们用一个简单的实验来证明。我们解决这个问题,结合合成数据分析技术,从该领域的多重插补(MI),合成数据生成使用噪声感知(NA)贝叶斯建模到一个管道NA+MI,允许计算准确的不确定性估计人口水平的数量从DP合成数据。为了实现NA+MI的离散数据生成使用的边缘查询的值,我们开发了一种新的噪声感知的合成数据生成算法NAPSU-MQ使用最大熵的原则。我们的实验表明,管道是能够产生准确的置信区间DP合成数据。间隔变得更宽,隐私更紧,以准确捕获DP噪声带来的额外不确定性。
2023-02-24 cs.CR cs.LG stat.ML
Differentially Private Covariate Balancing Causal Inference
Yale School of Public Health(耶鲁公共卫生学院);University of Pittsburgh(匹兹堡大学)
本文针对隐私敏感场景下观测数据因果推断中协变量平衡与隐私保护难以兼顾的问题,提出一种差分隐私两阶段协变量平衡加权估计量,在给定隐私预算下同时提供具有一致性和速率最优性保证的点估计与区间估计。
2026-10-30 cs.CR cs.LG stat.ME
Private Topic Modeling
提出了一种求解潜在狄利克雷分配问题的私有化随机变分推断方法。随机变分推断的迭代本质带来了挑战:需要多次迭代才能获得准确的后验分布,但每次迭代都会增加必须添加的噪音量,以实现合理程度的隐私。我们提出了一个实用的算法,克服了这一挑战相结合:(1)一个改进的差分隐私的组合方法,称为时刻会计师,它提供了一个严格的约束上的隐私成本的多个变分推断迭代,从而显着降低了加性噪声的量;和(2)隐私放大导致的大规模数据的二次采样。针对共轭指数族模型,在我们的私有变分推断中,所有的后验分布都将通过简单地扰动期望的充分统计量来私有化。使用维基百科的数据,我们说明了我们的算法对大规模数据的有效性。
2018-12-03 cs.CR stat.ML
Locally Private Bayesian Inference for Count Models
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Microsoft Research(微软研究院);Cornell University(康奈尔大学);University of Texas at Austin(得克萨斯大学奥斯汀分校)
我们提出了一种在泊松分解中进行隐私保护贝叶斯推断的一般方法,泊松分解是一种广泛的模型,包括社会科学中最广泛使用的一些模型。我们的方法满足有限精度的局部隐私,局部差分隐私的推广,我们引入制定隐私保证适合稀疏计数数据。我们开发了一种MCMC算法,该算法在给定的数据上近似局部私有后验模型参数,该数据已经通过几何机制局部私有化(Ghosh等人,2012年)。我们的解决方案是基于两个见解:1)一个新的重新解释的几何机制的条件下,阿拉姆分布(阿拉姆,1946年)和2)的一般定理,将阿拉姆贝塞尔分布(袁和Kalbfleisch,2000年)。我们在两个案例研究中展示了我们的方法,在现实世界的电子邮件数据中,我们表明,我们的方法始终优于常用的朴素方法,获得更高质量的文本主题和更准确的网络链接预测。在某些任务上,我们的隐私保护方法甚至优于非私有推理,其中的条件下的真实数据。
2019-02-21 cs.CL cs.CR cs.LG
Differentially Private Federated Learning: Servers Trustworthiness, Estimation, and Statistical Inference
Rutgers University(罗格斯大学)
本文研究了差分隐私联邦学习中的高维估计与推断挑战,分别在不可信和可信中央服务器场景下证明了估计困难并提出了针对线性回归的新型联邦估计算法及统计推断方法。
2024-04-25 cs.CR cs.LG math.ST
Primer: Fast Private Transformer Inference on Encrypted Data
为基于Transformers的云服务启用隐私保护推理越来越重要。后量子密码技术,例如,全同态加密(FHE)和多方计算(MPC)是支持私有Transformer推理的流行方法。然而,现有的作品仍然遭受禁止计算和通信开销。在这项工作中,我们提出,引物,使一个快速,准确的Transformer加密数据的自然语言处理任务。特别是,引物是由一个混合密码协议优化的注意力为基础的Transformer模型,以及包括计算合并和令牌优先密文包装的技术。在加密语言建模上的综合实验表明,Primer算法达到了最高的准确率,推理延迟比已有方法降低了90.6%~97.5%。
2023-03-23 cs.CR
Differentially Private Bootstrap: New Privacy Analysis and Inference Strategies
Department of Statistics Purdue University West Lafayette, IN 47906, USA(统计学系 帕克森大学);Department of Statistics University of California, Los Angeles Los Angeles, CA 90095, USA(统计学系 加州大学洛杉矶分校);Department of Statistics Purdue University West Lafayette, IN 47906, USA and Department of Statistics University of Pittsburgh Pittsburgh, PA 15260, USA(统计学系 帕克森大学 and 统计学系 肯塔基大学)
本文提出差分隐私自助法,给出新的隐私分析以精确计算组合隐私成本,并通过后处理构建有效置信区间,首次实现分位数回归的私有推断。
2025-09-24 cs.CR cs.DS cs.LG
Making Models Shallow Again: Jointly Learning to Reduce Non-Linearity and Depth for Latency-Efficient Private Inference
Intel Labs(英特尔实验室);University of Southern California(南加州大学)
针对隐私推理中 ReLU 与 MAC 操作过多的问题,提出依据卷积块 ReLU 敏感性联合移除 ReLU 并合并相邻卷积层,使 ResNet18 在 CIFAR-100 上显著降低两类操作且几乎不损失精度。
2023-04-26 cs.CR cs.LG
Clustering and Median Aggregation Improve Differentially Private Inference
Google Research(谷歌研究院);University of Southern California(南加州大学)
针对差分隐私文本生成中均匀采样导致质量下降的问题,本文提出先聚类再选取推理批次,并通过私下计算中位数聚合词元统计量,以更低隐私成本生成更高质量的合成数据。
2025-06-05 cs.AI cs.CL cs.CR
Impala: Low-Latency, Communication-Efficient Private Deep Learning Inference
本文提出了Impala,这是一种新的加密协议,用于在客户端云环境中进行私有推理。Impala建立在最新的解决方案之上,这些解决方案结合了同态加密(HE)和安全多方计算(MPC)的互补优势。一系列的协议优化,以减少通信和性能瓶颈。首先,我们通过引入代理服务器和开发低开销的密钥交换技术,消除了MPC的压倒性的高通信成本从客户端。密钥交换将客户端带宽降低了几个数量级,但代理和云之间的通信仍然过多。其次,我们开发了一个优化的乱码电路,利用截断的秘密份额,以更快的评估和更少的代理云通信。最后,我们提出稀疏HE卷积,以减少使用HE的计算瓶颈。与最先进的技术相比,这些优化为私有深度学习推理提供了超过3倍的带宽节省和4倍的加速。
2022-05-13 cs.CR
Approximating ReLU on a Reduced Ring for Efficient MPC-based Private Inference
Pennsylvania State University(宾夕法尼亚州立大学);Meta AI;Cornell University(康奈尔大学)
本文提出MPC框架HummingBird,通过在缩减环上仅使用部分非关键比特评估ReLU,大幅降低通信开销,在保持高精度的同时实现显著端到端加速。
2023-09-09 cs.CR cs.LG
DPVIm: Differentially Private Variational Inference Improved
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所(HIIT));Aalto University(阿尔托大学);University of Helsinki(赫尔辛基大学);University of Manchester(曼彻斯特大学)
多维统计数据的差分私有(DP)发布通常考虑聚合敏感度,例如,高维向量的向量范数。然而,该向量的不同维度可能具有广泛不同的幅度,因此DP扰动不成比例地影响跨维度的信号。我们在DP-SGD算法的梯度释放中观察到这个问题,当将其用于变分推断(VI)时,其中它表现为收敛性差以及某些变分参数的输出的高方差,并且做出以下贡献:(i)我们在数学上隔离对应于不同变分参数的梯度部分之间的幅度差异的原因。使用这作为先验知识,我们建立了变分参数的梯度之间的联系,并提出了一个有效而简单的修复问题,以获得一个噪声较小的梯度估计,我们称之为$\textit{aligned}$梯度。这种方法使我们能够获得高斯后验近似的协方差参数的更新,而没有隐私成本。我们将此与使用解析推导的预处理(例如,自然梯度)缩放梯度的替代方法进行比较。(ii)我们建议在训练过程中恢复的DP参数轨迹上使用平均值,以减少参数估计中的DP引起的噪声,而无需额外的隐私成本。最后,(iii)为了准确地捕获DP引入模型参数的额外不确定性,我们从参数迹线推断DP引起的噪声,并将其包括在学习后验中,以使其成为$\textit{noise aware}$。我们通过对真实数据的各种实验证明了我们提出的改进的有效性。
2022-10-28 cs.CR cs.LG stat.ML
FaceLeaks: Inference Attacks against Transfer Learning Models via Black-box Queries
LINE Corporation(LINE公司)
迁移学习是一个有用的机器学习框架,它允许人们使用一个用大量数据预训练的强大模型(教师模型)来构建特定于任务的模型(学生模型),而不会显著增加训练成本。教师模型可以包含私有数据,或者与私有输入交互。我们调查是否可以泄漏或推断这样的私人信息,而不直接与教师模型进行交互。我们在人脸识别的背景下描述了这种推理攻击,这是一种对个人隐私高度敏感的迁移学习应用。在黑盒和现实环境下,我们证明了现有的推理技术是无效的,因为通过学生模型与单个训练实例进行交互不会透露有关教师的信息。然后,我们提出了新的策略来推断聚合级信息。因此,教师模型上的成员推断攻击被证明是可能的,即使对手只能访问学生模型。我们进一步证明,敏感的属性可以推断,即使在对手有有限的辅助信息的情况下。最后,对防御策略进行了讨论和评价。我们广泛的研究表明,信息泄漏是一个真正的隐私威胁的迁移学习框架广泛用于现实生活中的情况。
2020-10-27 cs.CR cs.LG stat.ML
Private and Reliable Neural Network Inference
ETH Zurich(苏黎世联邦理工学院)
可靠的神经网络(NN)提供了重要的推理时间可靠性保证,如公平性和鲁棒性。作为补充,隐私保护NN推理保护客户端数据的隐私。到目前为止,这两个新兴领域在很大程度上是脱节的,但它们的结合将越来越重要。在这项工作中,我们提出了第一个系统,使隐私保护推理可靠的神经网络。我们的主要思想是设计有效的全同态加密(FHE)的随机平滑,一个国家的最先进的技术,以获得可靠的模型的核心算法构建块的副本。FHE中缺乏所需的控制流使得这是一项艰巨的任务,因为幼稚的解决方案会导致不可接受的运行时间。我们采用这些构建块,使隐私保护NN推理的鲁棒性和公平性保证在一个系统中称为凤凰。在实验中,我们证明凤凰实现其目标,而不会招致令人望而却步的放纵。据我们所知,这是第一个桥接NN的客户端数据隐私和可靠性保证领域的工作。
2022-10-27 cs.AI cs.CR cs.LG
An Attack to Break Permutation-Based Private Third-Party Inference Schemes for LLMs
Ritual;Stanford University(斯坦福大学);Columbia University(哥伦比亚大学)
本研究提出一种攻击方法,能近乎完美地从隐藏状态重建提示并逆转排列,破解三种基于排列的LLM私有推理方案,揭示其安全性证明缺陷,强调严格安全分析的必要性。
2025-05-23 cs.CR cs.LG
Accelerating Private Large Transformers Inference through Fine-grained Collaborative Computation
FASTLMPI通过细粒度协同设计HE与SS,优化矩阵乘法、SoftMax、LayerNorm和GeLU协议,并引入精确分段逼近技术,显著加速私有大型Transformer推理并降低通信成本。
2025-01-25 cs.CR
A Survey on Private Transformer Inference
Nanyang Technological University(南洋理工大学)
本文聚焦MLaaS场景下Transformer推理的隐私风险,综述基于MPC、HE等密码技术的私有Transformer推理(PTI)最新方案,分析挑战与改进方向并提出评估指南,以平衡推理性能与数据隐私。
2024-12-11 cs.AI cs.CR
Comet: A Communication-efficient and Performant Approximation for Private Transformer Inference
Old Dominion University(奥多明尼昂大学);Chongqing University(重庆大学);University of Arizona(亚利桑那大学)
针对私有 Transformer 推理通信开销大的问题,本文提出插件式方法 Comet 及高效初始近似技术,在 Bert、RoBERTa 和 GLUE 上实现最高 3.9 倍通信减少与 3.5 倍加速。
2024-09-07 cs.AI cs.CR cs.LG
Differentially Private Inference for Longitudinal Linear Regression
Columbia University(哥伦比亚大学)
本文提出了一种基于聚合本地回归的用户级差分隐私回归估计器,解决了纵向线性回归中用户级差分隐私下的估计与推断问题,提供了理论保证和实证性能。
2026-01-15 cs.CR math.ST stat.ME
DCT-CryptoNets: Scaling Private Inference in the Frequency Domain
Purdue University(普渡大学)
提出DCT-CryptoNets,利用频域中的离散余弦变换减少非线性激活和自举开销,实现高达5.3倍延迟降低,并在ImageNet上2.5小时内完成推理,提升可扩展性与可靠性。
2025-01-22 cs.CR cs.CV cs.LG
Practical and Private Hybrid ML Inference with Fully Homomorphic Encryption
EPFL(瑞士联邦理工学院);Inria(法国国家信息与自动化技术研究院);IRMAR(里摩日数学研究所);Université de Rennes(雷恩大学);École Polytechnique(巴黎高等理工学院);CNRS(法国国家科学研究中心)
针对全同态加密推理实用性不足的问题,提出混合框架Safhire,通过线性层加密计算、非线性层客户端明文执行结合随机打乱等优化,在保障隐私的同时大幅降低推理延迟。
2026-10-19 cs.CR cs.LG
Private Transformer Inference in MLaaS: A Survey
Interdisciplinary Graduate Programme(跨学科研究生项目);Nanyang Technological University(南洋理工大学);College of Computing and Data Science(计算与数据科学学院)
该综述梳理 MLaaS 中基于安全多方计算、同态加密等技术的私有 Transformer 推理进展,提出分类体系与评估框架以兼顾性能、资源效率和隐私保护。
2025-05-15 cs.AI cs.CR
Differentially Private Statistical Inference through $β$-Divergence One Posterior Sampling
Universitat Pompeu Fabra(庞培法布拉大学);University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所)
本文提出βD-Bayes方法,通过最小化β-散度的广义后验采样实现差分隐私统计推断,突破了现有方法对模型有界性的强假设限制,首次将后验采样差分隐私估计扩展到神经网络等复杂模型,并在相同隐私保证下获得更精确的估计结果。
2023-10-27 cs.AI cs.CR cs.LG
GPU-based Private Information Retrieval for On-Device Machine Learning Inference
Meta AI;Harvard University(哈佛大学);Virginia Tech(弗吉尼亚理工大学);Penn State(宾夕法尼亚州立大学);Intel(英特尔);Cornell University(康奈尔大学)
针对设备端 ML 无法容纳大型嵌入表的问题,本文提出 GPU 加速的 PIR 及 PIR-ML 协同设计,在保持模型精度的同时实现较 CPU 基线超百倍的检索吞吐。
2023-09-25 cs.CR cs.DC cs.LG
Exposing Hidden Interfaces: LLM-Guided Type Inference for Reverse Engineering macOS Private Frameworks
MOTIF通过LLM引导的类型推断技术,显著提升了对macOS私有框架的逆向工程能力,实现了更高的签名恢复率和更稳定的推断结果。
2026-01-04 cs.AI cs.CR
Privacy-Aware Recommendation with Private-Attribute Protection using Adversarial Learning
推荐是帮助用户找到与其兴趣相关的信息的关键应用之一。然而,恶意攻击者可以通过推荐来推断用户的私人信息。先前的工作在与推荐系统共享之前混淆用户项数据。这种方法在执行数据混淆时没有显式地解决推荐的质量。此外,它不能保护用户免受基于建议的私有属性推理攻击。这项工作是第一次尝试建立一个推荐与属性保护(RAP)模型,同时推荐相关的项目和计数器私有属性推理攻击。我们的方法的关键思想是制定这个问题作为一个对抗性的学习问题,有两个主要组成部分:私人属性推理攻击者,和贝叶斯个性化推荐。攻击者试图根据用户的项目列表和建议来推断用户的私有属性信息。推荐器的目标是提取用户的兴趣,同时利用攻击者来规范推荐过程。实验表明,该模型既保持了推荐服务的质量,又保护了用户免受私有属性推理攻击。
2019-11-22 cs.CR cs.IR cs.SI
SilentWood: Efficient Private Inference Over Gradient-Boosting Decision Forests
CTO Division, LG Electronics(LG电子 CTO 部门);David R. Cheriton School of Computer Science, University of Waterloo(滑铁卢大学 David R. Cheriton 计算机科学学院);Department of Electrical Engineering, KU Leuven(荷语鲁汶大学电气工程系);Computer Science and Engineering, Ohio State University(俄亥俄州立大学计算机科学工程专业);Graduate School of Information Science and Technology, The University of Osaka(大阪大学信息科学技术研究生院)
SilentWood提出了一种高效的隐私保护推理协议,利用同态加密优化梯度提升决策森林的隐私保护推理,显著提升了效率。
2026-09-27 cs.CR cs.DB
PrivQuant: Communication-Efficient Private Inference with Quantized Network/Protocol Co-Optimization
Peking University(北京大学)
本文提出PrivQuant框架,通过联合优化基于2PC的量化推理协议与网络量化算法,在保持高精度的同时显著降低通信量和推理延迟。
2024-10-12 cs.AI cs.CR
Inference With Combining Rules From Multiple Differentially Private Synthetic Datasets
Université Laval(拉瓦尔大学)
本文研究如何对多个差分隐私合成数据集进行统计推断,将缺失数据插补中的合并规则扩展到 DIPS 数据,并通过实证评估其适用边界。
2024-05-08 cs.CR cs.LG stat.AP
Differentially Private Distributed Inference for Multicenter Clinical Studies
Cornell University(康奈尔大学);University of Pittsburgh(匹兹堡大学)
针对多中心临床研究的数据隐私与集中难题,提出基于对数似然比交换的差分隐私分布式推断框架,揭示三者权衡,推导误差界,验证其在多类模拟研究中兼具高效性与低误差优势。
2026-07-31 cs.AI cs.CR cs.LG