AESPA: Accuracy Preserving Low-degree Polynomial Activation for Fast Private Inference
Seoul National University(首尔国立大学)
混合私有推理(PI)协议是一种重要的PI技术,它综合利用了多方计算(MPC)和同态加密。然而,即使是最先进的PI协议也会受到非线性层,特别是激活函数的影响。虽然标准的非线性激活函数可以产生更高的模型精度,它必须通过一个昂贵的混淆电路MPC原语处理。多项式激活可以通过Beaver的乘法三倍MPC原语来处理,但到目前为止已经导致严重的准确性下降。在本文中,我们提出了一个保持精度的低次多项式激活函数(AESPA),它利用了ReLU的Hermite扩展和基规范化。我们将AESPA应用于流行的ML模型,如VGGNet,ResNet和预激活ResNet,以显示与具有ReLU激活的标准模型相当的推理准确性,实现了优于先前低次多项式研究的准确性。当应用于最先进的Delphi PI协议上的全USB基线时,AESPA显示出高达42.1倍和28.3倍的在线延迟和通信成本降低。
2022-02-18 cs.CR cs.LG
MPC-Pipe: an Efficient Pipeline Scheme for Secure Multi-party Machine Learning Inference
University of Southern California(南加利福尼亚大学)
本文提出MPC-Pipe,一种用于安全多方机器学习训练和推理的高效系统,通过流水线化在线阶段的计算与通信以实现重叠,有效提升了ML工作负载的吞吐量与延迟性能。
2024-08-27 cs.CR cs.LG
Perfectly-Secure Synchronous MPC with Asynchronous Fallback Guarantees
安全多方计算(MPC)是安全分布式计算中的一个基本问题。MPC协议允许一组相互不信任的$n$方执行其私有输入的任何联合计算,而不公开关于其输入的任何附加信息。具有信息理论安全性的MPC提供了最强的安全保证,即使对计算上无限的对手也是安全的。完全安全MPC协议是一类信息理论上安全的MPC协议,它以无差错的方式提供所有的安全保证。这项工作的重点是完全安全的MPC。已知的协议被设计为假定同步或异步通信网络。众所周知,只要攻击者能够破坏任何$t_s < n/3$方,完全安全的同步MPC协议是可能的。另一方面,完全安全的异步MPC协议可以容忍多达$t_a < n/4$破坏方。一个自然的问题是,是否存在一个单一的MPC协议,用于各方不知道确切的网络类型的设置,并且该协议可以容忍同步网络中高达$t_s < n/3$的破坏和异步网络中高达$t_a < n/4$的破坏。我们设计了这样一个两全其美的完全安全的MPC协议,提供了$3t_s + t_a < n$持有。为了设计我们的协议,我们设计了两个重要的构建块,这是独立的利益。第一个构建块是一个两全其美的拜占庭协议(BA)协议,它容忍$t < n/3$损坏,并且在同步和异步网络中都保持安全。第二个构建块是基于多项式的两全其美可验证秘密共享(VSS)协议,其可以分别在同步和异步网络中容忍高达$t_s$和$t_a$的破坏。
2022-08-09 cs.CR cs.DC cs.IT
Conclave: secure multi-party computation on big data (extended TR)
安全多方计算(MPC)允许相互不信任的各方在不泄露私人数据的情况下运行联合计算。目前的MPC算法随着数据大小的扩展性很差,这使得MPC在“大数据”上非常慢,并抑制了其实际使用。许多关系分析查询可以保持MPC的端到端安全保证,而无需对所有操作使用加密MPC技术。Conclave是一个查询编译器,它通过将这些查询转换为数据并行、本地明文处理和小MPC步骤的组合来加速这些查询。当各方信任其他人提供特定的数据子集时,Conclave应用新的混合MPC-明文协议来运行MPC之外的其他步骤,并进一步提高可扩展性。我们的Conclave原型在Python和Spark中生成用于明文处理的代码,并使用Sharemand和Obliv-C框架生成安全MPC。秘密会议的规模比最先进的MPC框架本身支持的数据集大三到六个数量级。由于其混合协议,Conclave也大大优于SMCQL,这是最相似的现有系统。
2019-02-17 cs.CR
Training Differentially Private Models with Secure Multiparty Computation
School of Engineering and Technology, University of Washington Tacoma(华盛顿大学塔科马分校工程与技术学院);University of Brasilia(巴西利亚大学);Monash University(莫纳什大学);Ghent University(根特大学);Mila – Quebec AI Institute(米拉-魁北克人工智能研究所)
本文提出结合安全多方计算与差分隐私的模型训练方案,在保持形式化隐私保证的同时提升精度,并在iDASH2021竞赛中获第一名。
2025-03-11 cs.CR cs.LG
Sphynx: ReLU-Efficient Network Design for Private Inference
New York University(纽约大学);University of California San Diego(加州大学圣地亚哥分校)
深度学习的出现伴随着对用户数据和服务提供商模型的隐私担忧。我们专注于私有推理(PI),其目标是使用服务提供商的模型对用户的数据样本进行推理。用于深度网络的现有PI方法可以实现加密安全推理,功能几乎没有下降;然而,它们会产生严重的延迟成本,主要是由非线性网络操作(如ReLU)引起的。本文介绍了Sphynx,一种基于微搜索策略的ReLU高效网络设计方法,用于卷积单元设计。Sphynx在CIFAR-100上实现了对所有现有私有推理方法的Pareto优势。我们还设计了支持Tiny-ImageNet和ImageNet上加密私有推理的大规模网络。
2021-06-17 cs.CR cs.LG
PolyMPCNet: Towards ReLU-free Neural Architecture Search in Two-party Computation Based Private Inference
深度学习(DL)的快速发展和部署见证了新出现的隐私和安全问题。为了缓解这些问题,已经讨论了安全多方计算(MPC),以实现隐私保护DL计算。在实践中,它们通常会带来非常高的计算和通信开销,并可能阻碍它们在大规模系统中的普及。两个正交的研究趋势在解决安全深度学习中的能量效率方面吸引了巨大的兴趣,即,MPC比较协议的开销减少和硬件加速。然而,由于计算和通信节省有限,它们要么实现低缩减率并遭受高延迟,要么由于现有工作主要集中在CPU和GPU等通用计算平台上而耗电。在这项工作中,作为第一次尝试,我们开发了一个系统的框架,PolyMPCNet,联合开销减少MPC比较协议和硬件加速,通过集成硬件延迟的密码构建块到DNN损失函数,以实现高能效,准确性和安全性保证。我们的关键设计原则不是在DNN经过良好训练后(通过删除或丢弃一些非多项式运算符)验证性地检查模型敏感性,而是严格执行DNN设计中的假设-训练一个既硬件高效又安全的DNN,同时逃避局部最小值和鞍点并保持高精度。更具体地说,我们提出了一种直通多项式激活初始化方法,用于加密硬件友好的可训练多项式激活函数,以取代昂贵的2 P-ReLU运算符。针对现场可编程门阵列(FPGA)平台,设计了一种密码硬件调度器,并建立了相应的性能模型。
2023-02-22 cs.CR cs.LG
CrypTFlow: Secure TensorFlow Inference
Microsoft Research(微软研究院)
我们介绍了CrypTFlow,这是第一个将TensorFlow推理代码转换为安全多方计算(MPC)协议的系统,只需按一下按钮。为此,我们构建了三个组件。我们的第一个组件Athos是从TensorFlow到各种半诚实MPC协议的端到端编译器。第二个组件Porthos是一个改进的半诚实三方协议,为类似TensorFlow的应用程序提供了显著的加速。最后,为了提供恶意安全MPC协议,我们的第三个组件Aramis是一种新技术,它使用具有完整性保证的硬件将任何半诚实MPC协议转换为提供恶意安全性的MPC协议。Aramis输出的协议的恶意安全性依赖于硬件的完整性和MPC的半诚实安全性。此外,我们的系统与明文TensorFlow的推理准确性相匹配。我们通过展示真实世界神经网络(如ResNet 50和DenseNet 121)在ImageNet数据集上的安全推理,实验证明了我们系统的强大功能,半诚实安全的运行时间约为30秒,恶意安全的运行时间不到2分钟。安全推理领域的先前工作仅限于小型网络在微小数据集(如MNIST或CIFAR)上的半诚实安全性。即使在MNIST/CIFAR上,CrypTFlow也优于先前的工作。
2020-03-19 cs.CR cs.LG cs.PL
Adam in Private: Secure and Fast Training of Deep Neural Networks with Adaptive Moment Estimation
National Institute of Advanced Industrial Science and Technology(产业技术综合研究所);NTT(日本电信电话株式会社);University of St. Gallen(圣加仑大学)
隐私保护机器学习(PPML)旨在使机器学习(ML)算法能够用于敏感数据。我们通过提出一个框架来促进这一研究,该框架允许通过安全多方计算(MPC)对成熟的最先进的ML算法进行有效和安全的评估。这与大多数先前的作品相反,这些作品用近似的“MPC友好”变体代替ML算法。后一种方法的缺点是需要对组合的ML和MPC算法进行微调,这可能导致效率较低的算法或质量较差的ML。这对于安全的深度神经网络(DNN)训练尤其是一个问题,因为这涉及被认为是“MPC不友好”的算术算法,即整数除法、取幂、求逆和平方根。在这项工作中,我们提出了安全和有效的协议,上述看似MPC不友好的计算。我们的协议是三方协议中的诚实多数设置,我们提出了被动安全和主动安全的中止变体。我们的协议的一个显着特点是,他们同时提供高精度和效率。这个框架使我们能够有效和安全地计算现代ML算法,如Adam和softmax函数,而无需采用近似。因此,我们获得了安全的DNN训练,其性能优于最先进的三方系统;我们的完整训练比最近提出的标准基准网络上的ECOCON @PETS'21的在线阶段快6.7倍。我们进一步对真实世界的DNN、AlexNet和VGG 16进行了测量。我们的框架的性能对于AlexNet来说快了大约12-14倍,对于VGG 16来说快了46-48倍,分别达到了70%和75%的准确度。
2021-06-04 cs.CR cs.LG
SecureRouter: Encrypted Routing for Efficient Secure Inference
University of Central Florida(佛罗里达大学)
SecureRouter通过加密路由和推断框架,实现高效的加密变压器推断,减少延迟并保持数据和模型保密。
2026-04-16 cs.AI cs.CR
HD-cos Networks: Efficient Neural Architectures for Secure Multi-Party Computation
Google(谷歌)
多方计算(MPC)是密码学的一个分支,其中多个非合谋方执行精心设计的协议来安全地计算函数。在非共谋方假设的情况下,MPC具有加密保证,即各方将不会从计算过程中学习敏感信息,使其成为涉及隐私敏感用户数据的应用程序的吸引力框架。在本文中,我们研究的神经网络的训练和推理下的MPC设置。这是具有挑战性的,因为神经网络的基本操作,如ReLU激活函数和矩阵向量乘法,由于增加的多方通信开销,计算起来非常昂贵。为了解决这个问题,我们提出了HD-cos网络,它使用1)余弦作为激活函数,2)Hadamard-Diagonal变换来代替非结构化的线性变换。我们表明,这两种方法在MPC设置下都具有强大的理论动机和高效的计算。我们在多个公共数据集上证明了HD-cos与更昂贵的基线质量相匹配。
2021-10-28 cs.CR cs.LG
EncFormer: Secure and Efficient Transformer Inference over Encrypted Data
National University of Singapore(新加坡国立大学);Agency for Science, Technology and Research (A*STAR)(科学技术研究局)
本文提出EncFormer框架,通过引入阶段兼容模式提升FHE效率,减少转换与通信开销,实现比传统FHE-MPC系统更低的通信和延迟,同时在GLUE任务上保持接近明文的准确性。
2026-04-11 cs.CR
Secure Computation for Machine Learning With SPDZ
安全多方计算(MPC)是密码学的一个领域,它支持对来自多个来源的敏感数据进行计算,同时保持隐私保证。然而,理论MPC协议通常不能有效地扩展到真实世界的数据。该项目研究了SPDZ框架的效率,该框架在流行的机器学习(ML)算法的背景下提供了具有恶意安全性的MPC协议的实现。特别是,我们选择了线性回归和逻辑回归等应用程序,这些应用程序已经使用半诚实MPC技术进行了实施和评估。我们证明,SPDZ框架优于这些以前的实现,同时提供更强的安全性。
2019-01-02 cs.CR
Performance Evaluation of Secure Multi-party Computation on Heterogeneous Nodes
安全多方计算(MPC)是一个广泛的密码学概念,可用于隐私保护计算。通过MPC,多方可以协作计算一个函数,而不会向其他人透露明文的实际输入或输出。MPC的应用范围从隐私保护投票,算术计算和大规模数据分析。从系统的角度来看,MPC中的每一方都可以在一个计算节点上运行。多方的计算节点可以是同构的,也可以是异构的;然而,来自MPC协议的分布式工作负载往往总是同构的(对称的)。在这项工作中,我们研究了一个有代表性的MPC框架和一组MPC的应用程序从系统性能的角度来看。我们展示了一个最先进的MPC协议的详细的在线计算工作流程,并分析了其停滞时间和性能瓶颈的根本原因在同构和异构计算节点。
2020-04-23 cs.CR cs.DC cs.PF
Privacy-Preserving Feature Selection with Secure Multiparty Computation
University of Washington(华盛顿大学);Monash University(莫纳什大学);Ghent University(根特大学)
关于使用安全多方计算(MPC)进行隐私保护机器学习的现有工作几乎完全集中在模型训练和对训练模型的推理上,从而忽略了重要的数据预处理阶段。在这项工作中,我们提出了第一个MPC为基础的协议,私人特征选择的基础上的过滤器的方法,这是独立的模型训练,并可以与任何MPC协议的组合使用排名功能。为此,我们提出了一个有效的特征评分协议的基础上基尼杂质。为了证明我们的方法在实际数据科学中的可行性,我们在常用的机器学习即服务配置中使用所提出的MPC协议进行特征选择实验,其中计算外包给多个服务器,具有半诚实和恶意对手。关于有效性,我们表明,安全的特征选择与建议的协议提高了分类器的准确性,在各种现实世界的数据集,而不会泄露信息的特征值,甚至哪些功能被选中。关于效率,我们记录了从几秒到一小时的运行时间,以完成我们的协议,这取决于数据集的大小和安全设置。
2021-02-06 cs.CR cs.LG
Senate: A Maliciously-Secure MPC Platform for Collaborative Analytics
许多组织都可以从将数据汇集在一起以获得互利的见解中受益-例如,然而,由于隐私问题、监管障碍或商业竞争,这些组织通常无法彼此共享他们的数据。我们提出了参议院,一个系统,允许多方协作运行分析SQL查询,而不会透露他们的个人数据给对方。与先前的安全多方计算(MPC)工作不同,它假设所有各方都是半诚实的,即使在恶意对手存在的情况下,参议院也会保护数据。Senate的核心是一个新的MPC分解协议,它将加密MPC计算分解为更小的单元,其中一些可以由各方的子集并行执行,同时保持其安全性保证。Senate然后提供了一种新的查询规划算法,该算法有效地分解和规划密码计算,比最先进的算法快145 $\times$。
2020-10-26 cs.CR
Bicoptor: Two-round Secure Three-party Non-linear Computation without Preprocessing for Privacy-preserving Machine Learning
提出Bicoptor协议族,通过两轮无预处理的符号判定实现高效三方非线性计算,在ReLU和Maxpool上性能优于现有方案一至两个数量级。
2024-04-19 cs.CR
PPCA: Privacy-preserving Principal Component Analysis Using Secure Multiparty Computation(MPC)
隐私保护数据采掘已成为一个重要的课题。人们已经建立了一些基于多方计算(MPC)的框架来提供理论上有保证的隐私,但现实世界中的算法性能不佳一直是一个挑战。使用主成分分析(PCA)作为一个例子,我们表明,通过考虑MPC平台的独特的性能特征,我们可以设计高效的算法级优化,如更换昂贵的运营商和级联。我们实现了约200 $\times$性能提升现有的隐私保护PCA算法具有相同的隐私保证水平。此外,使用真实世界的数据集,我们表明,通过结合多方数据,我们可以获得更好的训练结果。
2021-05-17 cs.CR cs.DS
MPC-enabled Privacy-Preserving Neural Network Training against Malicious Attack
Nanyang Technological University(南洋理工大学);Shanghai Jiaotong University(上海交通大学)
安全多方计算(MPC)在机器学习,特别是隐私保护神经网络训练中的应用,近年来引起了研究界的极大关注。MPC使多个数据所有者能够联合训练神经网络,同时保护每个参与者的数据隐私。然而,大多数以前的工作集中在半诚实的威胁模型,不能抵御恶意参与者发送的欺诈性消息。在本文中,我们提出了一种方法来构建有效的$n$ -党协议的安全神经网络训练,可以提供安全的所有诚实的参与者,即使大多数的当事人是恶意的。与其他在不诚实的多数设置中提供半诚实安全的设计相比,我们的主动安全神经网络训练在LAN和WAN设置中分别产生了约2倍和2.7倍的可负担的效率开销。此外,我们提出了一个方案,允许添加剂的份额定义在一个整数环$\mathbb{Z}_N$被安全地转换为添加剂的份额在一个有限域$\mathbb{Z}_Q$,这可能是独立的利益。这样的转换方案是必不可少的安全和正确的转换共享海狸三元组定义在一个整数环中产生的预处理阶段的三元组定义在一个字段中使用的在线阶段的计算。
2021-02-10 cs.CR cs.DC cs.LG
How to Simulate It in Isabelle: Towards Formal Proof for Secure Multi-Party Computation
在密码学中,安全多方计算(MPC)协议允许参与者联合计算函数,同时保持其输入的私密性。最近的突破将MPC付诸实践,解决了安全分布式计算的基本挑战。就像经典的加密和密钥交换协议一样,MPC的设计和实现需要精确的保证;任何缺陷都会给攻击者一个破坏隐私或正确性的机会。在本文中,我们提出了第一个(据我们所知)形式化的一些MPC的安全证明。这些证明提供了概率保证的计算模型的安全性,但有一个不同的字符机器证明和证明工具实现到目前为止- MPC证明使用\emph{simulation}的方法,其中安全性是建立在实际的协议执行和一个理想的世界,其中安全性是由定义保证的执行痕迹之间的不可分割性。我们表明,现有的机器推理概率程序适应这种设置,铺平了道路,精确地检查一类新的密码学参数。我们使用Isabelle/HOL内部的CryptHOL框架实现我们的证明。
2018-05-31 cs.CR
Perfectly Secure Synchronous MPC with Asynchronous Fallback Guarantees Against General Adversaries
在这项工作中,我们研究了完全安全的多方计算(MPC)对一般(非阈值)的对手。同步网络中的已知协议对于$Q^{(3)}$对手结构是安全的,而在异步网络中,已知协议对于$Q^{(4)}$对手结构是安全的。一个自然的问题是是否存在一个单一的协议,该协议分别在同步和异步网络中对$Q^{(3)}$和$Q^{(4)}$对手结构保持安全,其中各方不知道网络类型。我们设计了第一个这样的两全其美的协议来对抗一般的对手。我们的结果推广了Appan,Chandramouli和Choudhury(PODC 2022)的结果,该结果提出了一个两全其美的完全安全协议。为了设计我们的协议,我们提出了两个重要的积木是独立的利益。第一个构建块是用于$Q^{(3)}$对手结构的两全其美的完全安全的拜占庭协议(BA)协议,该协议在同步和异步网络中都保持安全。第二个构建块是一个两全其美的完全安全的可验证秘密共享(VSS)协议,该协议分别在同步网络和异步网络中对$Q^{(3)}$和$Q^{(4)}$攻击结构保持安全。
2022-08-12 cs.CR cs.DC cs.IT
MPCLeague: Robust MPC Platform for Privacy-Preserving Machine Learning
Indian Institute of Science(印度科学理工学院)
在现代计算时代,机器学习工具已经在医疗保健和金融等重要领域展示了其潜力,以得出正确的推断。这些部门数据的敏感性和机密性引起了对数据隐私的真正关切。这激发了隐私保护机器学习(PPML)领域的发展,在该领域中,数据的隐私得到了保证。在这篇论文中,我们设计了一个有效的平台,MPCLeague,PPML在安全外包计算(SOC)设置使用安全多方计算(MPC)技术。MPC是安全分布式计算的圣杯问题,它使一组相互不信任的n方能够对他们的私有输入进行联合计算,使得t方的联盟不能学习比输出更多的信息(隐私)或影响计算的真实输出(正确性)。虽然MPC,一般来说,一直是广泛研究的主题,MPC与少数政党的领域最近已经引起了流行,主要是由于其应用于实时场景,效率和简单性。本文主要研究了在最多出现一次讹误的情况下,支持环结构的2方、3方和4方MPC框架的设计。本论文的核心是四个框架- ASTRA,SWIFT,Tetrad,ABY2.0 -迎合不同的设置。通过对广泛使用的ML算法--线性回归、逻辑回归、神经网络和支持向量机--的基准测试的改进,论证了我们框架的实用性。我们为每个框架提出了两个变体,一个变体旨在最大限度地减少执行时间,而另一个则侧重于货币成本。我们的框架的具体效率收益加上更强的安全性保证的鲁棒性,使我们的平台的PPML技术的实时部署的理想选择。
2021-12-26 cs.CR cs.LG
On the relationship between (secure) multi-party computation and (secure) federated learning
这篇短文的贡献包括以下两个部分:在第一部分中,我们能够证明Kairouz等人提出的联邦成员学习(FL)过程\cite{Kairouz1901}是一个随机过程。也就是说,可以在多方计算(MPC)的上下文中定义FL过程的$m$元功能;此外,根据Kairouz等人的的定义可被视为所定义的$m$元功能的实现。因此,FL过程的实例也是MPC协议的实例。简而言之,FL是MPC的子集。为了私密地计算所定义的FL(m-ary)功能,已经部署了各种技术,诸如同态加密(HE)、安全多方计算(SMPC)和差分隐私(DP)。在第二部分中,我们能够证明,如果底层FL实例在基于模拟的框架中私下计算定义的$m$ -ary功能,则基于模拟的FL解决方案也是SMPC的实例。因此,SFL是SMPC的子集。
2020-08-06 cs.CR
A Survey On Secure Machine Learning
本综述探究安全多方计算(MPC)与机器学习的结合,调研相关SecureML库的隐私保护等效能,还探索其在ML游戏环境中的创新应用。
2025-05-21 cs.CR
Secure Evaluation of Quantized Neural Networks
Aarhus University(奥胡斯大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61)
我们在本文中研究了两个问题:首先,我们询问“MPC友好”模型在多大程度上已经得到了TensorFlow或PyTorch等主要机器学习框架的支持。先前的工作提供了仅对定点整数和专用激活函数起作用的协议,这两个方面不受流行的机器学习框架支持,并且对这些专用模型表示的需要意味着很难并且通常不可能使用例如,TensorFlow用于设计、训练和测试模型,这些模型随后必须进行安全评估。第二,我们问评估神经网络的功能在多大程度上已经存在于通用MPC框架中。这些框架得到了更多的审查,更好地记录并在更多的平台上得到支持。此外,它们在支持的威胁模型方面通常是灵活的。相比之下,文献中的大多数安全评估协议都针对特定的威胁模型,并且它们的实现只是“概念验证”,这使得它们很难在实践中采用。我们以积极的方式回答了上述两个问题:我们观察到TensorFlow,PyTorch和MXNet支持的量化技术可以提供可以安全评估的表示模型;此外,这种评估可以由通用MPC框架执行。我们进行了广泛的基准测试,以了解不同腐败模型,网络规模和效率之间的确切权衡。这些实验提供了一个有趣的洞察成本之间的主动和被动的安全,以及诚实和不诚实的大多数。我们的工作表明,现有ML框架和现有MPC协议之间的分界线可能比以前的工作暗示的要窄。
2021-03-01 cs.CR cs.LG
CBNN: 3-Party Secure Framework for Customized Binary Neural Networks Inference
School of Software Engineering, East China Normal University(华东师范大学软件工程学院)
本文提出CBNN,一个面向高效BNN推理的三方安全计算框架,通过知识蒸馏和可分离卷积将标准BNN转换为MPC友好的定制化BNN,并优化线性和非线性操作协议,在保障安全性的同时维持了模型高性能。
2024-12-21 cs.CR cs.LG
RRNet: Towards ReLU-Reduced Neural Network for Two-party Computation Based Private Inference
University of Connecticut(康涅狄格大学);Northeastern University(东北大学);Lehigh University(理海大学);Duke University(杜克大学);University of Rochester(罗切斯特大学)
深度学习(DL)的普及导致了隐私和安全问题的出现。为了解决这些问题,已经提出了安全双方计算(2 PC)作为实现隐私保护DL计算的手段。然而,在实践中,2 PC方法往往会产生很高的计算和通信开销,这可能会阻碍它们在大规模系统中的使用。为了应对这一挑战,我们引入了RRNet,这是一个系统框架,旨在共同降低MPC比较协议的开销,并通过硬件加速来加速计算。我们的方法将加密构建块的硬件延迟集成到DNN损失函数中,从而提高了能效、准确性和安全性。此外,我们提出了一个加密的硬件调度器和相应的性能模型的现场可编程门阵列(FPGA),以进一步提高我们的框架的效率。实验表明,RRNet在CIFAR-10数据集上实现了比所有SOTA作品更高的ReLU约简性能。
2023-02-22 cs.CR cs.LG
Fast and Private Inference of Deep Neural Networks by Co-designing Activation Functions
University of Waterloo(滑铁卢大学);Royal Bank of Canada(加拿大皇家银行)
针对MPC加密DNN推理中ReLU非线性层导致的高延迟问题,本文协同设计多项式激活与单轮MPC协议,并提出配套训练算法,在最高2300万参数模型上实现3至110倍加速且保持精度。
2024-04-16 cs.CR cs.LG
SEEK: model extraction attack against hybrid secure inference protocols
Open Security Research(开放安全研究院)
关于在预测即服务中使用的机器学习模型的安全问题包括模型、查询和结果的隐私。已经开发了基于同态加密(HE)和/或多方计算(MPC)的安全推理解决方案来保护所有敏感信息。最有效的解决方案之一是将HE用于线性层,将MPC用于非线性层。然而,对于这种半诚实安全的混合协议,攻击者可以在推理过程中篡改中间特征,从而比针对明文推理服务的方法更有效地提取模型信息。在本文中,我们提出了SEEK,一个通用的提取方法的混合安全推理服务只输出类标签。该方法能够独立地提取目标模型的每一层,且不受模型深度的影响。对于ResNet-18,SEEK可以提取一个参数,平均查询次数少于50次,平均误差小于$0.03\%$。
2022-09-14 cs.CR cs.LG
Secure Sparse Matrix Multiplications and their Applications to Privacy-Preserving Machine Learning
University of Twente(特文特大学);University of Oldenburg(奥尔登堡大学);Inria(法国国家信息与自动化技术研究院)
本文提出专门的MPC算法用于稀疏矩阵乘法,以解决隐私保护机器学习中稀疏数据处理的效率问题。
2026-03-03 cs.CR cs.LG
Communication-Efficient (Client-Aided) Secure Two-Party Protocols and Its Application
安全多方计算(MPC)允许一组各方联合计算函数,同时保持其输入的私密性。与基于混淆电路的MPC相比,最近的一些研究结果表明,基于秘密共享(SS)的MPC工作在一个非常高的速度。此外,基于SS的MPC可以很容易地矢量化,并实现更高的吞吐量。然而,在基于SS的MPC中,我们需要许多通信回合来计算具体的协议,如相等性检查,小于比较等。在本文中,我们构造了半诚实安全通信有效的两方协议。核心技术是Beaver三重扩展,这是一种处理多扇入门的新工具,我们也展示了如何有效地使用它。我们主要关注减少通信轮数,我们的协议也成功地减少了通信位数(在大多数情况下)。作为一个例子,我们提出了一个小于比较协议(根据实际参数)与三个通信轮。此外,通信比特的数目也更少$38.4\%$。因此,总在线执行时间比采用相同设置的前一工作短$56.1\%$。虽然我们的协议的计算成本比以前的工作更昂贵,我们通过实验证实,这样的缺点在典型的WAN环境中的整个在线性能的影响很小。
2020-01-04 cs.CR
Distributed Hardware Accelerated Secure Joint Computation on the COPA Framework
分布式数据中心应用程序的性能可以通过使用基于FPGA的智能卡来提高,智能卡提供了额外的功能并实现了更高的带宽通信。然而,直到最近,缺乏一种简单的方法来定制SmartCable应用程序的要求,限制了潜在的好处。英特尔的可配置网络协议加速器(COPA)提供了一个可定制的FPGA框架,该框架集成了硬件和软件开发,以提高计算和通信性能。在这第一个案例研究中,我们展示了COPA框架的功能与应用程序从密码学-安全多方计算(MPC)-利用硬件加速器直接连接到主机内存和COPA网络。我们发现,使用COPA框架提供了显着的改进,计算和通信相比,传统的实现MPC使用CPU和CPU。在COPA上运行的单个MPC加速器可实现超过17 Gbps的通信带宽,同时仅使用Stratix 10资源的1%。我们表明,利用COPA框架,使多个MPC加速器并行运行,以完全饱和的100 Gbps的链路,实现更高的性能相比,传统的MIMO。
2022-04-11 cs.CR
Compact: Approximating Complex Activation Functions for Secure Computation
University of Wisconsin—Madison(威斯康星大学麦迪逊分校);Visa Research(Visa研究院);Netflix(网飞公司)
针对安全多方计算中复杂激活函数效率低的问题,提出Compact方法,通过分段多项式近似,在保持模型精度下实现2-5倍计算加速。
2024-03-17 cs.CR cs.LG
MPC in the Quantum Head (or: Superposition-Secure (Quantum) Zero-Knowledge)
University of Washington(华盛顿大学);University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);NTT Research(NTT研究所);Bocconi University(博科尼大学);CISPA
研究将MPC范式推广到量子环境,提出构建零知识协议新方法。基于此给出两个新的三轮协议,一个是NP的零知识论证,安全性归为LWE问题,另一个是QMA的零知识论证,均基于相同假设。
2026-07-08 cs.CR quant-ph
Privacy-Preserving Training of Tree Ensembles over Continuous Data
University of Washington Tacoma(华盛顿大学塔科马分校);Ghent University(根特大学)
大多数现有的安全多方计算(MPC)协议的隐私保护训练的决策树分布式数据假设的功能是分类的。在实际应用中,特征通常是数值。在具有连续值的数据上生长决策树的标准"in the clear“算法需要对每个特征的训练样本进行排序,以寻求每个节点中特征值范围内的最佳分割点。排序在MPC中是一个昂贵的操作,因此找到避免这种昂贵步骤的安全协议是隐私保护机器学习中的一个相关问题。在本文中,我们提出了三种更有效的方案,用于在具有连续特征的数据上安全地训练基于决策树的模型,即:(1)数据的安全离散化,然后在离散化数据上安全地训练决策树;(2)数据的安全离散化,然后在离散化数据上安全地训练随机森林;以及(3)在原始数据上的极端随机树("额外树“)的安全训练。方法(2)和(3)都涉及随机化特征选择。此外,在方法(3)中,也随机选择切割点,从而减轻了预先对数据进行排序或离散化的需要。我们实现了所有提出的解决方案,在半诚实设置与添加剂秘密共享的MPC。除了在数学上证明所有提出的方法都是正确和安全的之外,我们还在分类精度和运行时间方面进行了实验评估和比较。我们私下训练树集成在数据集上与1000个实例或功能在几分钟内,其准确性是在那些在明确获得的。这使得我们的解决方案比现有的基于不经意排序的方法更有效。
2021-06-05 cs.CR cs.LG
Machine-checked ZKP for NP-relations: Formally Verified Security Proofs and Implementations of MPC-in-the-Head
MPC-in-the-Head(MitH)是一个通用的框架,它允许从安全多方计算(MPC)协议构造有效的一般NP关系的零知识协议。在本文中,我们给出了这种转换的第一个机器检查的实现。我们从MitH的EasyCrypt形式化开始,它保留了MitH的模块化结构,并且可以用满足标准安全概念的任意MPC协议来实例化,这使我们能够利用现有的基于机器检查的秘密共享的MPC协议开发。在EasyCrypt中证明了ZK协议的安全性和正确性。使用最近开发的代码提取机制EasyCrypt,我们合成了一个正式验证的协议的实现,我们基准测试,以获得与我们的形式化选择和代码提取机制相关的开销的指示。
2021-05-19 cs.CR
Network Agnostic MPC with Statistical Security
本文研究统计安全的网络无关 MPC,证明在同步/异步网络下分别容忍 $\mathcal{Z}_s$、$\mathcal{Z}_a$ 的充要条件是 $\mathcal{Q}^{(2,1)}$,并构造多种复杂度为多项式的基础协议。
2023-06-02 cs.CR
CompactTag: Minimizing Computation Overheads in Actively-Secure MPC for Deep Neural Networks
本文提出CompactTag,利用线性层到Toeplitz矩阵乘法的转换降低主动安全MPC的MAC标签计算复杂度,在ResNet、Transformer和VGG16上最高实现23倍标签加速与1.47倍在线阶段加速。
2023-11-08 cs.CR
Secrecy: Secure collaborative analytics on secret-shared data
我们提出了一个关系MPC框架,用于在没有信息泄漏的情况下对私有数据进行安全的协作分析。我们的工作目标是具有挑战性的用例,其中数据所有者可能没有私人资源参与计算,因此,他们需要将数据分析安全地外包给不受信任的第三方。我们定义了一组不经意的运营商,解释他们所依赖的安全原语,并分析其成本方面的操作和各方之间的通信。我们展示了如何组成这些运营商可以形成端到端的不经意的查询,我们引入逻辑和物理优化,大大减少了查询执行过程中的空间和通信需求,在某些情况下,从二次到线性或从线性到对数相对于基数的输入。我们实现了我们的框架上的复制秘密共享在一个名为Secondary的系统,并评估它使用真实的查询从几个MPC应用领域。我们的实验表明,与基线方法相比,所提出的优化可以减少超过1000倍的执行时间,使Secondary能够超越最先进的框架,并在数百万个输入行上计算MPC查询,每方只有一个线程。
2022-02-03 cs.CR cs.DB
On the Communication Complexity of Secure Multi-Party Computation With Aborts
本文研究点对点网络中带弃权(不执行)的安全多方计算的通信复杂度,设计了近乎最优的通信高效协议,并证明了诚实参与方数量、通信复杂度和协议局部性之间的权衡关系。
2024-06-11 cs.CR
Symphony: Expressive Secure Multiparty Computation with Coordination
内容:安全多方计算(MPC)是指一系列密码技术,其中相互不信任的各方可以计算其私有输入的函数,同时仅显示函数输出。询价:使用现有的语言和框架很难正确有效地对MPC进行编程,特别是当它们需要协调不同的计算角色时。我们怎么能让这更容易?方法:我们提出Symphony,一种新的功能性程序设计语言,用于两方或多方之间的MPC。Symphony从先前MPC语言的单指令多数据(SIMD)语义开始,其中每一方都执行对称的责任,并使用可以协调多方的结构来概括它。Symphony引入了 ** 一流的分享 ** 和 ** 一流的派对集 **,以高效率提供无与伦比的语言级表现力。知识:开发一个核心的形式语言称为$λ$ -交响乐,我们证明了直观的,广义的SIMD视图的程序符合其实际的分布式语义。因此,程序员可以通过从上到下阅读程序来推理,即使实际上程序是以协调的方式运行的,分布在许多机器上。我们为Symphony实现了一个利用多个加密后端的原型解释器。我们用它编写了各种MPC程序,发现Symphony可以表达其他语言无法表达的优化协议,并且一般来说Symphony程序运行效率很高。[完整摘要见https://doi.org/10.22152/programming-journal.org/2023/7/14]
2023-02-20 cs.CR cs.PL
Secure Medical Image Analysis with CrypTFlow
我们介绍了一个系统,它可以将TensorFlow推理代码转换为安全多方计算(MPC)协议,只需按一下按钮。为此,我们构建了两个组件。我们的第一个组件是从TensorFlow到各种MPC协议的端到端编译器。第二个组件是一个改进的半诚实的3方协议,提供了显着的加速推理。我们通过展示真实世界神经网络的安全推理来实证我们的系统的能力,例如用于从胸部X射线图像检测肺部疾病的DENSENET 121和用于使用CT图像进行放射治疗计划分割的3D-UNet。特别是,本文提供了3D图像的安全分割的第一个评估,这需要比分类更强大的模型,是迄今为止最大的安全推理任务。
2020-12-09 cs.CR
On the Communication Complexity of Secure Computation
信息理论安全多方计算(MPC)是现代密码学的核心基础。然而,对这种原语的通信复杂性知之甚少。在这项工作中,我们开发了强大的信息理论工具来证明MPC的通信复杂性的下界。我们将自己限制在三方设置中,以便在不引入太多并发症的情况下发挥这些工具的功能。我们的技术包括使用数据处理不等式的剩余信息-即,互信息和Gács-Körner公共信息之间的差距,一个新的信息不等式的3方协议,和分配切换的想法,在某些最坏情况下计算的下限可以应用于一般情况。使用这些技术,我们得到了紧界的通信复杂性MPC协议的各种有趣的功能。特别是,我们展示了具有“通信理想”协议的具体功能,该协议在网络中的所有链路上同时实现最小通信。此外,我们获得了一个函数的第一个显式例子,该函数的通信成本高于Feige,Kilian和Naor(1994)的安全计算模型中的输入长度,他们已经证明了这样的函数存在。我们还表明,我们的通信界限意味着紧的下限MPC协议所需的随机性的数量为许多有趣的功能。
2014-04-13 cs.CR cs.IT math.IT
Reflex: Faster Secure Collaborative Analytics via Controlled Intermediate Result Size Disclosure
Reflex 提出首个可配置中间结果修剪框架,通过 Resizer 算子和新隐私指标,在安全多方计算下平衡 OLAP 查询的性能与隐私,显著降低运行时间。
2025-10-23 cs.CR cs.DB
MPC meets SNA: A Privacy Preserving Analysis of Distributed Sensitive Social Networks
在本文中,我们正式的分布式敏感社交网络(DSSNs),其中包括网络,如敌意网络,金融交易网络,供应链网络和性关系网络的概念。与研究得很好的传统社交网络相比,考虑到网络所编织的个人的隐私问题,DSSN的研究往往更具挑战性。在目前的工作中,我们设想使用安全的多方工具和技术进行隐私保护社会网络分析在DSSNs。作为实现这一目标的一步,我们设计了有效的数据无关算法,用于计算给定DSSN的K壳分解和PageRank中心性度量。所设计的数据不经意算法可以转化为等价的安全计算协议。我们还列出了一系列需要解决的挑战,采用安全计算协议作为一个实际的解决方案,研究DSSNs。
2017-05-19 cs.CR cs.SI
Quantum Secure Protocols for Multiparty Computations
针对现有安全多方计算协议易受量子攻击的问题,本文提出量子安全的OLE协议qOLE,并以其为模块构建了抗量子攻击的MPSI协议。
2024-07-17 cs.CR quant-ph
Effectiveness of MPC-friendly Softmax Replacement
CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61研究所)
Softmax广泛用于深度学习,将某些表示映射到概率分布。由于它基于exp/log函数,在多方计算中相对昂贵,Mohassel和Zhang(2017)提出了一种基于ReLU的更简单的替代方案,用于安全计算。然而,我们无法重现他们在MNIST上使用三个完全连接层进行训练时报告的准确性。后来的作品(例如,Wagh等人,2019年和2021年)使用softmax替代不是为了计算输出概率分布,而是为了近似反向传播中的梯度。在这项工作中,我们分析了替换的两种用途,并将其与softmax进行了比较,无论是在多方计算的准确性还是成本方面。我们发现,这种替换只为单层网络提供了显著的速度提升,但它总是降低准确性,有时会显着降低。因此,我们得出结论,它的用处是有限的,应该使用原始的softmax函数。
2021-07-06 cs.CR cs.LG
Secure Multiparty Computation for Synthetic Data Generation from Distributed Data
Microsoft(微软);University of Washington Tacoma(华盛顿大学塔科马分校);Universidade de Brasilia(巴西利亚大学);Ghent University(根特大学)
访问相关数据的法律和道德限制阻碍了健康、金融和教育等关键领域的数据科学研究。具有隐私保证的合成数据生成算法正在成为打破这种数据僵局的范例。然而,现有的方法假设数据持有者将其原始数据提供给可信的管理者,管理者将其用作生成合成数据的燃料。这严重限制了其适用性,因为世界上许多有价值的数据都被锁在孤岛中,由无法在不引起隐私问题的情况下向彼此或中央聚合器显示数据的实体控制。为了克服这一障碍,我们提出了第一个解决方案,其中数据持有者只共享加密数据,用于差分私有合成数据生成。数据持有者将共享发送到执行安全多方计算(MPC)计算的服务器,同时原始数据保持加密。我们在MPC协议中实例化这个想法,用于具有指数机制的乘法权重(MWEM)算法,以基于源自许多数据持有者的真实数据生成合成数据,而不依赖于单个故障点。
2022-10-28 cs.CR cs.LG
Spin: An Efficient Secure Computation Framework with GPU Acceleration
Tsinghua University(清华大学);Tsingjiao Information Technology Co. Ltd.(清角信息技术有限公司)
Spin是一个GPU加速的安全多方计算框架,通过优化非线性函数协议和Transformer注意力机制,在保证安全性的同时实现了最高2倍于现有方案的训练加速及更高效的推理。
2024-02-24 cs.CR cs.LG
SPIKE: Secure and Private Investigation of the Kidney Exchange problem
背景:肾脏交换问题(KEP)解决了需要替代器官的患者与相容的活体供体的匹配问题。理想情况下,许多医疗机构应该参与匹配计划,以增加成功匹配的机会。然而,为了满足法律要求,当前系统使用复杂的基于策略的数据保护机制,其有效地排除了较小的医疗设施的参与。采用安全多方计算(MPC)技术提供了一种技术方法来满足对高度敏感的个人健康信息的数据保护要求,同时减少监管负担。结果如下:我们已经设计,实现,并基准SPIKE,一个安全的基于MPC的隐私保护KEP计算的解决方案,找到匹配的捐助者-接受者对图结构。SPIKE在不到4分钟的时间内匹配了40对长度为2的循环,在运行时的性能比以前的最先进协议高出400倍,同时提供了医学上更强大的解决方案。结论:我们展示了如何解决KEP在一个强大的和隐私保护的方式实现实际的性能。MPC技术的使用在技术层面上满足了许多数据保护要求,允许较小的医疗保健提供者直接参与肾脏交换,减少了法律程序。
2022-04-21 cs.CR q-bio.QM
IncShrink: Architecting Efficient Outsourced Databases using Incremental MPC and Differential Privacy
在本文中,我们考虑安全外包增长的数据库,支持基于视图的查询回答。这些数据库允许不受信任的服务器私下维护物化视图,使得它们可以仅使用物化视图来处理查询请求,而不是访问从中导出视图的原始数据。为了解决这个问题,我们设计了一个新的基于视图的安全外包增长数据库框架,Incshrink。该解决方案的主要特点是:(i)Incshrink使用增量MPC操作器维护视图,无需预先使用可信的第三方,以及(ii)为了确保高性能,Incshrink保证在存在更新的情况下泄漏满足DP。据我们所知,没有现有的系统具有这些属性。我们展示了Incshrink的实际可行性,在效率和准确性方面,对真实世界的数据集和TPC-DS基准进行了广泛的实证评估。评估结果表明,Incshrink在隐私、准确性和效率保证方面提供了三方面的权衡,并且与不支持基于视图的查询范式的标准安全外包数据库相比,提供了至少7,800倍的性能优势。
2022-03-09 cs.CR cs.DB
Silentflow: Leveraging Trusted Execution for Resource-Limited MPC via Hardware-Algorithm Co-design
针对资源受限设备中MPC的COT生成瓶颈,本文提出Silentflow,通过硬件-算法协同设计结合TEE消除COT通信,实现39.51倍加速,ImageNet上PPMLaaS推理比Cryptflow2和Cheetah分别快4.62倍和3.95倍。
2025-08-24 cs.CR
S++: A Fast and Deployable Secure-Computation Framework for Privacy-Preserving Neural Network Training
Ashoka University(阿育王大学)
我们介绍S++,一个简单的,强大的,可部署的框架,用于训练一个神经网络(NN)使用来自多个来源的私人数据,使用秘密共享的安全功能评估。简而言之,考虑一个虚拟的第三方,每个数据持有者都向其发送输入,并计算神经网络:在我们的情况下,这个虚拟的第三方实际上是一组服务器,即使有恶意(但非共谋)对手,也不会单独学习任何东西。以前在这一领域的工作仅限于一个特定的激活函数:ReLU,这使得该方法对于许多用例来说都不切实际。我们第一次为所有常见的激活函数提供快速和可验证的协议,并优化它们以秘密共享的方式运行。能够快速、可验证且稳健地计算幂运算、softmax、sigmoid等,允许我们使用以前编写的NN而无需修改,大大减少了开发人员的工作量和代码的复杂性。最近,人们发现,与sigmoid或tanh等非线性函数相比,ReLU收敛速度更快,计算效率更高。然而,我们认为,如果不将该机制扩展到非线性函数(如logistic sigmoid,tanh和softmax),那将是一种疏忽,因为它们能够将输出表示为概率和通用近似属性。它们在RNN中的贡献和最近的一些进展也使它们更具相关性。
2021-01-28 cs.AI cs.CR
CryptDough: A Unified Analytics Engine for Secure Multiparty Computation
Boston University(波士顿大学)
研究提出统一分析引擎CryptDough,支持多参与方安全分析,通过分层设计与虚拟向量概念提升扩展性,性能优于现有系统2倍以上。
2026-08-19 cs.CR cs.OS