Efficient Encrypted Inference on Ensembles of Decision Trees
IBM Research AI（IBM研究院AI部门）；Mohamed Bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）；University at Buffalo, SUNY（纽约州立大学布法罗分校）；Microsoft Research（微软研究院）
数据隐私问题通常会阻止将基于云的机器学习服务用于敏感的个人数据。虽然同态加密（HE）通过实现对加密数据的计算提供了潜在的解决方案，但挑战在于获得在分级HE方案的乘法深度约束内工作的准确的机器学习模型。用于加密推断的现有方法或者对预先训练的模型进行特别简化（例如，用软比较器替换决策树中的硬比较），或者使用原始训练集直接训练新的深度约束模型。在这项工作中，我们提出了一个框架，将复杂的决策树集成提取的知识转移到浅层神经网络（简称DTNets），这是非常有利于加密推理。我们的方法通过搜索在给定深度约束内运行的最佳DTNet架构，并仅使用从训练数据分布中采样的合成数据来训练该DTNet，从而最大限度地减少了精度损失。在真实世界数据集上进行的大量实验表明，这些特征对于确保DTNet的准确性接近原始树集成的准确性至关重要。我们的系统是高度可扩展的，可以执行有效的推理批量加密（134位的安全）的数据与摊销时间毫秒。这比在集成树的内部节点处应用软比较的标准方法快大约三个数量级。
2021-03-05 cs.AI cs.CR cs.LG
Deep Neural Networks for Encrypted Inference with TFHE
Zama（Zama（扎马）公司（注：根据上下文，Zama 是一家从事相关技术研究的公司））
全同态加密（FHE）是一种允许对加密数据执行计算而无需解密的加密方法。FHE保护处理敏感数据（如健康数据、生物识别数据、信用评分和其他个人信息）的在线服务用户的隐私。对此类数据提供有价值服务的常见方式是通过机器学习，此时，神经网络是非结构化数据的主要机器学习模型。在这项工作中，我们将展示如何构建与TFHE（一种允许任意深度计算电路的FHE方案）的约束兼容的深度神经网络（DNN）。我们讨论的约束条件，并显示DNN的两个计算机视觉任务的架构。我们基准的架构使用混凝土栈，TFHE的开源实现。
2023-02-13 cs.AI cs.CR cs.LG
Enabling Homomorphically Encrypted Inference for Large DNN Models
Barcelona Supercomputing Center (BSC)（巴塞罗那超级计算中心）；Intel Corporation（英特尔公司）
过去几年中，机器学习服务的激增引发了人们对数据隐私的担忧。同态加密（HE）支持使用加密数据进行推理，但它会导致100倍至10，000倍的内存和运行时开销。使用HE的安全深度神经网络（DNN）推理目前受到计算和存储器资源的限制，框架需要数百GB的DRAM来评估小模型。为了克服这些限制，在本文中，我们探讨了利用混合存储器系统的DRAM和持久性存储器组成的可行性。特别是，我们探索了最近发布的英特尔Optane PMem技术和英特尔HE-Transformer nGraph，以运行大型神经网络，如MobileNetV 2（最大的变体）和ResNet-50，这在文献中尚属首次。我们提出了一个深入的分析与不同的硬件和软件配置的执行效率。我们的研究结果得出结论，DNN推理使用HE招致友好的访问模式，这种内存配置，产生有效的执行。
2021-04-29 cs.CR cs.LG cs.PF
Privacy preserving Neural Network Inference on Encrypted Data with GPUs
Georgia State University（佐治亚州立大学）；Charles River Analytics Inc.（查尔斯河分析公司）
近年来，机器学习即服务（MLaaS）已经成为一种增长趋势，并且目前提供了几种这样的服务。MLaaS本质上是一组服务，提供机器学习工具和功能，作为云计算服务的一部分。在这些设置中，云具有部署的预训练模型和大计算能力，而客户端可以使用这些模型进行预测，而不必担心维护模型和服务。然而，MLaaS的主要问题是客户端数据的隐私。尽管在文献中已经提出了几种在加密数据上运行机器学习模型的方法，但其性能仍然远远不能满足实际使用。在本文中，我们的目标是使用全同态加密（FHE），卷积神经网络（CNN）和图形处理单元（GPU）的组合来加速对加密数据运行机器学习的性能。我们使用了一些优化技术，并有效的基于GPU的实现，以实现高性能。我们评估了一个CNN，其架构类似于AlexNet，以分类来自汽车开销上下文（COWC）数据集的同态加密样本。据我们所知，这是第一次在加密数据上评估如此复杂的网络和大型数据集。我们的方法实现了合理的分类准确率为95%的COWC数据集。在性能方面，我们的结果表明，我们可以实现几千倍的速度时，我们实现GPU加速的FHE运算加密的浮点数。
2019-11-26 cs.CR cs.CY cs.LG
Encrypt What Matters: When Selective Homomorphic Inference Is Efficient
Massachusetts Institute of Technology（麻省理工学院）
本文研究选择性同态推理，仅加密敏感区域，发现局部性架构可大幅加速，全局混合架构无加速，局部性是关键属性。
2026-09-10 cs.CR cs.LG
PrivFT: Private and Fast Text Classification with Homomorphic Encryption
A*STAR（新加坡科技研究局）；Inferati Inc（Inferati公司）；Microsoft Research（微软研究院）
由于隐私风险的严重性，对隐私保护分析的需求比以往任何时候都要高，并且要遵守新的隐私法规，这导致对试图在隐私和实用性之间取得平衡的隐私保护技术的兴趣被放大。在这项工作中，我们提出了一种有效的方法，文本分类，同时保护隐私的内容使用全同态加密（FHE）。我们的系统（命名为\textbf{Priv} ate \textbf{F} ast \textbf{T} ext（PrivFT））执行两个任务：1）使用明文模型对加密的用户输入进行推理，2）使用加密的数据集训练有效的模型。对于推理，我们训练一个监督模型，并概述了一个系统的同态推理加密用户输入的预测精度为零损失。在第二部分中，我们展示了如何使用完全加密的数据来训练模型以生成加密模型。我们提供了一个GPU实现的千金金宋（CKKS）FHE计划，并将其与现有的CPU实现，以实现1至2个数量级的加速在各种参数设置。我们在GPU中实现PrivFT，以实现每次推理的运行时间小于0.66秒。在相对较大的加密数据集上进行训练的计算量更大，需要5.04天。
2019-11-18 cs.CR cs.LG
SentinelLMs: Encrypted Input Adaptation and Fine-tuning of Language Models for Private and Secure Inference
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出SentinelLMs方法，通过对分词器和词元嵌入进行不可逆变换并微调，使语言模型能直接处理加密输入，在保护隐私的同时保持与原始模型相当的性能。
2023-12-28 cs.AI cs.CL cs.CR
SHE: A Fast and Accurate Deep Neural Network for Encrypted Data
Indiana University Bloomington（印第安纳大学伯明顿分校）
同态加密（HE）是新兴的机器学习即服务（MLaaS）的最有前途的安全解决方案之一。提出了支持分层HE（LHE）的卷积神经网络（LHECNN）来实现MLaaS以避免大的自举开销。然而，由于其多项式近似激活和池化，先前的LHECNN必须支付显著的计算开销，但仅实现低推理精度。在网络中堆叠许多多项式近似激活层大大降低了推理精度，因为多项式近似激活误差导致下一个批量归一化层的输出分布的低失真。因此，多项式逼近的激活和池化问题成为LHECNN快速、准确建模的障碍。在本文中，我们提出了一种基于移位累积的LHE支持的深度神经网络（SHE），用于对加密数据进行快速准确的推断。我们使用二进制操作友好的环形分层快速同态加密（LTFHE）加密方案来实现ReLU激活和最大池化。我们还采用对数量化来加速推理，用廉价的LTFHE移位代替昂贵的LTFHE乘法。我们提出了一种混合位宽累加器来加速累加。由于LTFHE ReLU激活、最大池化、移位和累加具有较小的乘法深度开销，因此SHE可以实现具有更多卷积和激活层的更深的网络架构。实验结果表明，SHE在MNIST和CIFAR-10上取得了最佳的推理精度，并将推理延迟降低了76.21% ~ 94.23%。SHE的源代码可在https://github.com/qianlou/SHE上获得。
2019-11-16 cs.CR cs.LG
Public-Decay Homomorphic State Space Models for Private Sequence Inference
School of Technology and Management (ESTG-IPVC) Polytechnic Institute of Viana do Castelo（技术与管理学院（ESTG-IPVC）葡萄牙维亚纳多卡斯托尔理工大学）
本文提出公共衰减同态状态空间模型（HSSMs），通过加密-明文公共衰减更新状态，实现隐私序列推断，在保持加密状态的同时提升效率和准确性。
2026-05-15 cs.CR cs.LG
Power-Softmax: Towards Secure LLM Inference over Encrypted Data
IBM Research（IBM研究院）
提出HE友好的自注意力变体Power-Softmax，构建首个超十亿参数的多项式LLM，实现安全加密推理且性能媲美标准Transformer。
2024-10-12 cs.CR cs.LG
Privacy-Preserving Inference in Machine Learning Services Using Trusted Execution Environments
University Of Southern California（南加州大学）
这项工作介绍了Origami，它通过飞地执行，加密盲化，穿插基于加速器的计算的组合，为大型深度神经网络（DNN）模型提供隐私保护推理。Origami将ML模型划分为多个分区。第一分区在SGX飞地内接收加密的用户输入。飞地解密输入，然后对输入数据和模型参数应用密码盲化。加密致盲是一种添加噪声以混淆数据的技术。Origami将用于计算的混淆数据发送到不受信任的GPU/CPU。盲化和去盲化因子由SGX飞地保持私有，从而防止任何对手在计算被卸载到GPU/CPU时对数据进行去噪。计算的输出返回到飞地，飞地使用SGX中私下存储的揭盲因子对噪声数据的计算进行解码。可以对每个DNN层重复该过程，如在先前的工作Slalom中所做的那样。然而，数据设盲和揭盲的开销是可扩展性的限制因素。Origami依赖于经验观察，即前几层之后的特征图无法使用，即使是强大的条件GAN对手也无法重建输入。因此，Origami动态地切换到直接在加速器上执行其余的DNN层，而不需要任何进一步的加密盲干预来保护隐私。我们的经验表明，使用折纸，一个有条件的GAN对手，即使有无限的推理预算，不能重建输入。我们使用VGG-16和VGG-19模型实现并演示了Origami的性能增益。与在SGX中运行整个VGG-19模型相比，Origami推理将私有推理的性能从使用Slalom时的11倍提高到15.1倍。
2019-12-07 cs.CR cs.CV cs.LG
LLMs Can Understand Encrypted Prompt: Towards Privacy-Computing Friendly Transformers
Tsinghua University（清华大学）；Sudo Privacy（Sudo隐私公司）
针对大语言模型隐私推理框架开销过高的问题，本文提出用隐私计算友好的近似算子替换Transformer中密集型算子，相比Iron实现5倍计算加速与80%通信开销降低，且准确率几乎不变。
2023-12-15 cs.CL cs.CR cs.LG
Bi-CryptoNets: Leveraging Different-Level Privacy for Encrypted Inference
National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
本文提出Bi-CryptoNets，将输入数据按隐私性分为敏感与不敏感部分，分别用同态加密和扰动处理，通过双分支网络及知识蒸馏实现高效加密推理。
2024-02-02 cs.CR cs.CV cs.LG
Traveling Salesman-Based Token Ordering Improves Stability in Homomorphically Encrypted Language Models
针对同态加密下LLM文本生成不稳定的问题，提出基于旅行商问题的令牌重排序策略及后处理步骤，防止崩溃并提升连贯性，实现隐私保护的LLM推理。
2025-10-14 cs.CR cs.LG
Tracking without Seeing: Geospatial Inference using Encrypted Traffic from Distributed Nodes
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出GraySense框架，通过分析加密无线视频传输流量中的包大小，实现无原始数据的地理物体跟踪，实验显示在无原始信号访问情况下，跟踪误差达2.33米。
2026-03-29 cs.CV cs.LG cs.NI
Efficient privacy-preserving inference for convolutional neural networks
University of Cambridge（剑桥大学）
使用深度学习模型处理敏感用户数据是最近获得关注的一个领域。现有的工作已经利用同态加密（HE）方案来实现对加密数据的计算。早期的工作是CryptoNets，它需要250秒进行一次MNIST推理。这种方法的主要限制是对HE加密的密文执行操作所需的昂贵的FFT类操作。其他人已经提出使用模型修剪和有效的数据表示来减少所需的HE操作的数量。我们专注于改进现有的工作，提出改变中间张量的表示在CNN推理。我们在MNIST和CIFAR-10数据集上构建和评估私有CNN，并将用于CryptoNets架构推理的操作数量减少了两倍以上。
2022-08-26 cs.CR cs.LG
CipherPrune: Efficient and Scalable Private Transformer Inference
University of Central Florida（中佛罗里达大学）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；Ant Research（蚂蚁集团研究院）；Indiana University Bloomington（印第安纳大学伯明顿分校）
提出CipherPrune框架，通过加密令牌剪枝和多项式降低协议及网络优化，解决私有Transformer推理的效率与可扩展性问题，大幅降低执行开销。
2025-03-05 cs.CR cs.LG
Robust Federated Learning via Byzantine Filtering over Encrypted Updates
本文提出结合同态加密和元分类器的联邦学习方法，通过加密更新上的拜占庭过滤提升鲁棒性，实验表明在多个基准上有效识别拜占庭攻击。
2026-02-06 cs.LG
LinGCN: Structural Linearized Graph Convolutional Network for Homomorphically Encrypted Inference
University of Rochester（罗切斯特大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）；Northeastern University（东北大学）；North Carolina State University（北卡罗来纳州立大学）；University of Connecticut（康涅狄格大学）；University of Massachusetts Dartmouth（马萨诸塞大学达特茅斯分校）
针对同态加密下GCN推理计算开销大的问题，提出LinGCN框架，通过结构线性化、多项式激活替换与增强HE方案降低乘法深度，在NTU-XVIEW数据集上延迟较CryptoGCN提升14.2倍且保持75%准确率。
2023-10-04 cs.AI cs.CR cs.LG
DeepReDuce: ReLU Reduction for Fast Private Inference
New York University（纽约大学）
最近对隐私问题的担忧导致研究人员设计出私人神经推理的方法-直接在加密数据上进行推理，而不会看到输入。私有推理面临的主要挑战是，对加密数据进行计算会带来不切实际的高延迟惩罚，主要来自ReLU等非线性运算符。实现实用和私有的推理需要新的优化方法，以最大限度地减少网络ReLU计数，同时保持准确性。本文提出了DeepReduce：一组明智地删除ReLU以减少私有推理延迟的优化。关键的见解是，并非所有的ReLU对准确性的贡献都是一样的。我们利用这一洞察力从经典网络中删除或删除ReLU，以显著降低推理延迟并保持高准确性。给定一个目标网络，DeepReduce输出一个网络的帕累托边界，权衡ReLU的数量和准确性。与最先进的私有推理相比，DeepReduce提高了准确性，并将ReLU计数分别减少了3.5%（iso-ReLU计数）和3.5 $\times$（iso-accuracy）。
2021-06-22 cs.CR cs.LG
FHE-Agent: Automating CKKS Configuration for Practical Encrypted Inference via an LLM-Guided Agentic Framework
University of Minnesota -- Twin Cities（明尼苏达大学-双城分校）；North Carolina State University（北卡罗来纳州立大学）
FHE-Agent通过LLM引导的代理框架自动化CKKS配置，提升加密推断的精度与效率
2025-11-23 cs.AI cs.CR cs.LG
CryptoGCN: Fast and Scalable Homomorphically Encrypted Graph Convolutional Network Inference
Lehigh University（理海大学）；Microsoft（微软）；Florida International University（佛罗里达国际大学）
最近，基于云的图卷积网络（GCN）在许多隐私敏感的应用（如个人医疗保健和金融系统）中表现出巨大的成功和潜力。尽管其在云上具有很高的推理准确性和性能，但在GCN推理中维护数据隐私对这些实际应用至关重要，但在很大程度上尚未探索。在本文中，我们采取了初步的尝试，并开发了$\textit{CryptoGCN}$ -一个同态加密（HE）的GCN推理框架。我们的方法成功的关键是减少HE操作的巨大计算开销，这可能比明文空间中的对应操作高出几个数量级。为此，我们开发了一种方法，可以有效地利用GCN推理中矩阵运算的稀疏性，以显着降低计算开销。具体而言，我们提出了一种新的AMA数据格式化方法和相关的空间卷积方法，它可以利用复杂的图形结构，并在HE计算中执行高效的矩阵-矩阵乘法，从而大大减少HE操作。我们还开发了一个协同优化框架，可以探索的准确性，安全级别和计算开销之间的权衡，明智的修剪和多项式近似的激活模块的GCN。基于NTU-XVIEW骨骼关节数据集，即，就我们所知，同态评估的最大数据集，我们的实验结果表明，$\textit{CryptoGCN}$在等待时间和同态操作的数量方面优于现有技术的解决方案，即，在等待时间上实现多达3.10 $\times$的加速，并且将总同态操作计数减少77.4%，具有1-1.5 $\%$的小准确度损失。
2022-10-26 cs.AI cs.CR cs.LG
Efficient CNN Building Blocks for Encrypted Data
Center for Data Sciences, International Institute of Information Technology, Bangalore（班加罗尔国际信息技术学院数据科学中心）；Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；University at Buffalo, SUNY（纽约州立大学布法罗分校）；IBM Systems（IBM系统部）；Microsoft（微软）
对加密数据的机器学习可以解决与不可信的服务提供商共享敏感数据的隐私和合法性相关的问题。全同态加密（FHE）是一种很有前途的技术，可以实现机器学习和推理，同时提供严格的信息泄漏保证。由于深度卷积神经网络（CNN）已成为若干应用中的首选机器学习工具，因此已进行了若干尝试来利用CNN从加密数据中提取见解。然而，现有的工作只注重确保数据的安全性，而忽略了模型参数的安全性。他们还报告了高级实现，但没有提供对CNN的通用原语运算符（如卷积、非线性激活和池化）的FHE实现中涉及的准确性、安全性和速度权衡的严格分析。在这项工作中，我们考虑一个机器学习作为一个服务（MLaaS）的情况下，输入数据和模型参数都使用FHE的安全。使用CKKS计划在开源HElib库中，我们表明，所选择的FHE方案的操作参数，如分圆多项式的程度，底层分层HE方案的深度限制，以及计算精度参数对机器学习模型的设计有重大影响（特别是，激活函数和池化方法的选择）。我们的实证研究表明，上述设计参数的选择结果之间的准确性，安全级别，和计算时间显着的权衡。MNIST数据集上的加密推理实验表明，其他设计选择，如密文打包策略和使用多线程的并行化，在确定推理过程的吞吐量和延迟方面也很关键。
2021-01-30 cs.CR cs.LG
HE-MAN -- Homomorphically Encrypted MAchine learning with oNnx models
MCI Management Center Innsbruck（因斯布鲁克管理中心）；Fraunhofer Austria Research GmbH（弗劳恩霍夫奥地利研究有限公司）；SCCH Software Competence Center Hagenberg（哈根贝格软件能力中心）
本文提出开源两方机器学习工具集HE-MAN，利用全同态加密在ONNX模型上实现隐私保护推理，支持Concrete和TenSEAL两种方案，在保证准确率与明文模型相当的同时无需用户具备密码学专业知识。
2023-02-16 cs.CR cs.LG
PRISM: Privacy-preserving Inference System with Homomorphic Encryption and Modular Activation
针对机器学习模型部署中数据隐私与非线性激活函数不兼容同态加密的问题，提出PRISM框架，用同态兼容近似函数替代非线性激活并重构CNN架构，在CIFAR-10上实现94.4%准确率，平衡了隐私保护与计算效率。
2025-11-11 cs.AI cs.CR cs.LG
Highly Accurate CNN Inference Using Approximate Activation Functions over Homomorphic Encryption
Waseda University（早稻田大学）
在大数据时代，基于云的机器学习即服务（MLaaS）引起了相当大的关注。然而，当处理敏感数据时，如财务和医疗数据，就会出现隐私问题，因为云服务器可以访问客户端的原始数据。在云中处理敏感数据的一种常见方法是使用同态加密，它允许在不解密的情况下对加密数据进行计算。以往的研究通常采用低次多项式映射函数，如平方函数，进行数据分类。然而，这种技术导致低分类精度。在这项研究中，我们试图提高分类精度的卷积神经网络（CNN）的推理处理，同时使用同态加密。我们采用了一个激活函数，近似谷歌的Swish激活函数，同时使用四阶多项式。我们还采用批量归一化来归一化Swish函数的输入，以拟合输入范围，从而使误差最小化。我们使用微软的Cheon-Kim-Kim-Song（CKKS）方案的简单加密算术库在同态加密上实现了CNN推理标记。实验评估证实，MNIST和CIFAR-10的分类准确率分别为99.22%和80.48%，比以前的方法分别提高了0.04%和4.11%。
2020-12-02 cs.CR cs.LG stat.ML
Efficient Decoding Methods for Language Models on Encrypted Data
IBM Research（IBM研究院）；Bar-Ilan University（巴伊兰大学）；Tel Aviv University（特拉维夫大学）；Allen Institute for Artificial Intelligence（人工智能研究院）
针对同态加密下大语言模型解码的性能瓶颈，本文提出HE友好的cutmax算法及首个兼容HE的top-p采样方法，具备可证明隐私性与收敛性，可将推理延迟降低24-35倍，推进安全文本生成落地。
2025-11-17 cs.AI cs.CR cs.LG
Static Bootstrap Placement for Encrypted Language Model Decoding
Koç University（科奇大学）
针对同态加密下语言模型解码的服务器端循环问题，提出AR-HE系统，通过静态自举放置规则和加密缓存优化，将GPT-2小规模令牌生成成本从4715秒降至544秒。
2026-10-06 cs.CR cs.DC cs.LG
High-Resolution Convolutional Neural Networks on Homomorphically Encrypted Data via Sharding Ciphertexts
The Johns Hopkins University Applied Physics Laboratory（约翰霍普金斯大学应用物理实验室）
本研究拓展同态加密下的深度卷积神经网络评估方法，通过密文分片、优化行优先矩阵打包及训练正则化，实现高分辨率图像高效隐私推理，在ImageNet和CIFAR-10上分别取得80.2%和98.3%的准确率。
2024-01-29 cs.CR cs.LG
Towards the AlexNet Moment for Homomorphic Encryption: HCNN, theFirst Homomorphic CNN on Encrypted Data with GPUs
深度学习即服务（DLaaS）是基于云的推理应用程序的一个有前途的解决方案。在这种设置中，云具有预先学习的模型，而用户具有她想要运行模型的样本。如果输入样本是敏感数据，DLaaS最大的问题是用户隐私。我们在这里提供了一个高效的隐私保护系统，通过采用高端技术，如全同态加密（FHE），卷积神经网络（CNN）和图形处理单元（GPU）。FHE以其在加密数据上计算的众所周知的特性，为广泛的隐私相关应用提供了支持。这需要很高的成本，因为它需要巨大的计算能力。在本文中，我们展示了如何使用GPU加速在加密数据上运行CNN的性能。我们评估了两个CNN对MNIST和CIFAR-10数据集进行同态分类。我们的解决方案实现了足够的安全级别（> 80位）和合理的分类精度（99%）和（77.55%）MNIST和CIFAR-10，分别。在延迟方面，MNIST和CIFAR-10分别可以在5.16秒和304.43秒内对图像进行分类。我们的系统还可以对一批图像（> 8，000）进行分类，而无需额外的开销。
2020-08-18 cs.CR cs.LG
CGF-Softmax: A Cumulant-Based Softmax Reformulation for Efficient Inference under Homomorphic Encryption
Pohang University of Science and Technology (POSTECH)（釜山科学技术大学）；LG Electronics R&D Center（LG电子研发中心）；Inha University（inha大学）；Daegu Gyeongbuk Institute of Science and Technology (DGIST)（大邱广开府科学技术院）
本文提出CGF-softmax，通过累积生成函数重参数化softmax分母，消除了同态除法和显式最大减法，降低乘法深度并保持softmax关键属性，在视觉Transformer和大语言模型中实现高效准确的加密推理。
2026-05-08 cs.CR cs.LG
Audit and Improve Robustness of Private Neural Networks on Encrypted Data
University of Central Florida（中佛罗里达大学）；Kent State University（肯特州立大学）；Texas Tech University（得克萨斯理工大学）；University of Houston（休斯顿大学）；Drexel University（德雷塞尔大学）
在不解密的情况下对加密数据执行神经网络推理是使隐私保护神经网络（PNet）成为服务的一种流行方法。与部署用于机器学习即服务的常规神经网络相比，PNet需要额外的编码，例如，量化精度数字和多项式激活。加密输入也带来了新的挑战，如对抗性鲁棒性和安全性。据我们所知，我们是第一个研究问题的人，包括（i）PNet是否比常规神经网络对对抗性输入更鲁棒？(ii)如何在不解密的情况下设计一个鲁棒的PNet？我们提出了PNet-Attack来生成黑盒对抗示例，这些示例可以成功地以目标和非目标方式攻击PNet。攻击结果表明，PNet对对抗性输入的鲁棒性需要提高。这不是一个简单的任务，因为PNet模型所有者无法访问输入值的明文，这阻止了现有检测和防御方法的应用，如输入调优，模型规范化和对抗训练。为了解决这个问题，我们提出了一种新的快速和准确的噪声插入方法，称为RPNet，设计鲁棒和私有神经网络。我们的综合实验表明，PNet-Attack减少至少$2.5\times$查询比以前的作品。我们从理论上分析了我们的RPNet方法，并证明了RPNet可以降低$\sim 91.88\%$攻击的成功率。
2022-09-20 cs.CR cs.LG
CryptoNN: Training Neural Networks over Encrypted Data
University of Pittsburgh（匹兹堡大学）
新兴的基于神经网络的机器学习技术（诸如深度学习及其变体）已经在许多应用领域中显示出巨大的潜力。然而，当从用户收集的数据用于训练神经网络模型以支持预测任务时，由于高度隐私敏感数据的泄漏风险，它们引起了严重的隐私问题。为了解决这种严重的隐私问题，在文献中已经提出了几种隐私保护方法，这些方法使用安全多方计算（SMC）或同态加密（HE）作为底层机制。然而，这些加密方法都没有提供有效的解决方案来构建隐私保护机器学习模型，以及支持训练和推理阶段。为了解决上述问题，我们提出了一个CryptoNN框架，该框架通过使用新兴的函数加密方案而不是SMC或HE来支持在加密数据上训练神经网络模型。我们还构造了一个函数加密方案的基本算术计算，以支持建议的CryptoNN框架的要求。我们提出了性能评估和安全性分析的基础加密方案，并通过我们的实验表明，CryptoNN达到的准确性是类似的基准神经网络模型的MNIST数据集。
2019-04-26 cs.CR cs.LG
Homomorphic WiSARDs: Efficient Weightless Neural Network training over encrypted data
University of Campinas（坎皮纳斯大学）；IMDEA Software Institute（IMDEA软件研究所）；Aarhus University（奥胡斯大学）
本文提出对 WiSARD 及无权神经网络进行同态评估，实现加密数据上的高效训练与推理，在 MNIST 和 HAM10000 上相比现有方法 Glyph 实现最高 1200 倍加速且精度损失极小。
2024-03-29 cs.CR cs.LG
I can't see it but I can Fine-tune it: On Encrypted Fine-tuning of Transformers using Fully Homomorphic Encryption
Georgia State University（佐治亚州立大学）；Old Dominion University（老道明大学）
针对隐私法规限制下的数据共享难题，本文提出隐私保护微调系统 BlindTuner，支持仅在同态加密数据上训练 transformer 进行图像分类，准确率媲美未加密模型，速度较先前工作提升 1.5 至 600 倍。
2024-02-14 cs.AI cs.CR cs.LG
TDDM-Melatt: A Decoupled Memory and Diffusion Framework for Generalizable Encrypted Traffic Classification
National University of Defense Technology（国防科技大学）
针对加密流量分类的泛化性局限，研究提出TDDM-Melatt框架，结合解耦内存模型Melatt与流量去噪扩散模型TDDM，在4个公开数据集上的实验性能优于6种基础分类模型和6种SOTA表示学习模型。
2026-09-14 cs.LG
FEnc$^2$: Unifying Data Packing for Efficient Private Inference via Convolution and Architecture-Aware Fragment Encoding
University of Science and Technology of China（中国科学技术大学）；Tsinghua University（清华大学）
提出FEnc$^2$框架，通过卷积感知编码和架构感知密文压缩优化CKKS加密推理中的密文打包，减少旋转和密文数量，实现端到端加速高达228倍。
2026-06-16 cs.CR cs.LG
Crypto-Nets: Neural Networks over Encrypted Data
Carnegie Mellon University（卡内基梅隆大学）；Microsoft（微软）；Microsoft Research（微软研究院）
我们要解决的问题是：用户如何使用第三方持有的预测模型，而不损害私人信息。例如，医院可能希望使用云服务来预测患者的再入院风险。但是，由于规定，病人的医疗档案不能透露。我们的目标是使用模型进行推断，而不会危及预测的准确性或数据的隐私。为了实现高精度，我们使用神经网络，它已被证明优于许多任务的其他学习模型。为了实现隐私要求，我们在以下协议中使用同态加密：数据所有者加密数据并将密文发送给第三方以从训练模型中获得预测。模型对这些密文进行操作，并发送回加密的预测。在该协议中，不仅数据保持私有，甚至预测的值也仅对数据所有者可用。利用同态加密和对神经网络的激活函数和训练算法的修改，我们证明了它是可能的，可能是可行的。该方法为构建安全的基于云的神经网络预测服务而不侵犯用户隐私铺平了道路。
2014-12-24 cs.CR cs.LG cs.NE
Fiona: Accelerating FHE Inference with Packing-Aware Ternary Weights
The Hong Kong University of Science and Technology（香港科技大学）；State Key Laboratory of Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
FIONA是一种离线优化器，通过选择性三元化权重并保留敏感组全精度，在打包布局下减少PMult操作，加速FHE推理，在三个模型上实现1.68-2.38倍加速且精度损失小于1%。
2026-09-29 cs.LG
EDLaaS: Fully Homomorphic Encryption Over Neural Network Graphs for Vision and Private Strawberry Yield Forecasting
University of Lincoln（林肯大学）；University of Aberdeen（阿伯丁大学）
我们提出了自动参数化的全同态加密（FHE）的加密神经网络的推理和FHE兼容的神经网络与我们自己的开源框架和可重复的例子，可重复的推理。我们使用第四代千，金，金和宋（CKKS）FHE计划提供的微软简单加密算术库（MS-SEAL）的固定点。我们显著增强了FHE在深度学习上下文中的可用性和适用性，重点关注组成图、遍历和优化。我们发现FHE并不是所有隐私保护机器学习（PPML）问题的灵丹妙药，并且仍然存在某些限制，例如模型训练。然而，我们也发现，在某些情况下，FHE是非常适合计算完全私人的预测与神经网络。更容易私下计算敏感问题的能力，同时降低了进入门槛，可以允许过于敏感的领域开始将自己从高性能的第三方神经网络中分离出来。最后，我们展示了加密的深度学习如何应用于农业食品中敏感的现实问题，即草莓产量预测，展示了竞争力。我们认为，大规模采用加密的深度学习方法可以在存在隐私问题的情况下更广泛地采用深度学习方法，从而对农业食品行业及其净零的旅程产生巨大的积极潜在影响。
2022-10-18 cs.LG
Privacy-Preserving Tree-Based Inference with TFHE
Zama（扎马）
本文研究如何利用全同态加密（TFHE）对决策树、随机森林和梯度提升树等树模型进行隐私保护推理，并在Concrete-ML库中实现，实验表明其加密版本在准确性上接近未加密版本。
2023-08-07 cs.AI cs.CR cs.LG
PPFL-RDSN: Privacy-Preserving Federated Learning-based Residual Dense Spatial Networks for Encrypted Lossy Image Reconstruction
Department of Informatics and Networked Systems, University of Pittsburgh（信息学与网络系统系，匹兹堡大学）
针对多协作方中心化图像重建的隐私风险与高成本问题，提出融合联邦学习、本地差分隐私和鲁棒水印的PPFL-RDSN框架，在加密有损图像重建任务中性能比肩中心化最优方法，同时保障数据安全与模型真实，适用于隐私保护的协作视觉场景。
2025-10-27 cs.CR cs.LG
ReBoot: Encrypted Training of Deep Neural Networks with CKKS Bootstrapping
Politecnico di Milano（米兰理工学院）
针对同态加密下DNN训练开销大、复杂度高的问题，本文提出基于CKKS的ReBoot框架，通过新型架构、定制打包策略和近似自举实现全加密非交互训练，准确率接近明文训练且性能优于现有方案。
2025-06-24 cs.LG
Privacy-Preserving GNN Inference on Financial Transaction Graphs via Homomorphic Encryption
Delft University of Technology（代尔夫特理工大学）；Sabancı University（萨班哲大学）
本文针对多银行金融场景，提出基于CKKS同态加密的以边为中心的GNN推理框架，在保护交易特征隐私的同时，在IBM AML基准上达到与明文基线相当的性能，端到端分类延迟低至5.31秒。
2026-10-15 cs.CR cs.LG
Encrypted Neural Networks without Overflows
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Polytechnic University of Turin（都灵理工学院）；The University of Manchester（曼彻斯特大学）；Karlsruhe University of Applied Sciences（卡尔斯鲁厄应用科学大学）；University of Milano-Bicocca（米兰-布雷拉大学）
针对CKKS全同态加密方案在神经网络推理中易受溢出攻击的问题，提出一种形式化验证技术，通过计算所有神经元范围的认证界限来消除溢出，将故障率从最高47%降至0%。
2026-08-26 cs.CR cs.LG
ML with HE: Privacy Preserving Machine Learning Inferences for Genome Studies
Sabanci University（萨班哲大学）；North Carolina State University（北卡罗来纳州立大学）
在云计算的背景下保护大数据的隐私和安全性，同时保持其处理的一定水平的效率仍然是一个有待改进的主题。概括所述关注的最流行的应用之一被发现在基因组分析中是有用的。本文提出了一种基于同态加密的安全多标签肿瘤分类方法，利用SVM和XGBoost两种不同的机器学习算法对不同肿瘤类型的加密基因组数据进行分类。
2022-02-01 cs.CR cs.LG q-bio.GN
Inhibitor Transformers and Gated RNNs for Torus Efficient Fully Homomorphic Encryption
RISE, Research Institutes of Sweden（瑞典研究机构RISE）；Zama, Machine Learning Group（Zama机器学习组）；Luleå University of Technology（卢勒奥技术大学）
本文提出抑制器设计用于变换器和门控RNN，通过替换乘法和激活函数为加法和ReLU操作，提升加密推理效率并保持学习能力。
2026-03-23 cs.LG
DCT-CryptoNets: Scaling Private Inference in the Frequency Domain
Purdue University（普渡大学）
提出DCT-CryptoNets，利用频域中的离散余弦变换减少非线性激活和自举开销，实现高达5.3倍延迟降低，并在ImageNet上2.5小时内完成推理，提升可扩展性与可靠性。
2025-01-22 cs.CR cs.CV cs.LG
HETAL: Efficient Privacy-preserving Transfer Learning with Homomorphic Encryption
University of California, Berkeley（加州大学伯克利分校）；CryptoLab Inc.（CryptoLab公司）；Inha University（仁荷大学）
本研究针对迁移学习在机器学习即服务场景下的隐私保护问题，提出基于CKKS同态加密的HETAL算法，实现了与非加密训练精度相当的加密训练，训练效率大幅提升。
2024-03-21 cs.CR cs.LG
Hyperdimensional Computing as a Rescue for Efficient Privacy-Preserving Machine Learning-as-a-Service
Ulsan National Institute of Science and Technology (UNIST)（蔚山科学技术院）
本文提出HE-HDC，利用超维计算与同态加密结合，实现高效的隐私保护机器学习推理，在保持准确率的同时，性能比现有系统快26至3000倍。
2023-08-17 cs.CR cs.LG
Training Large Scale Polynomial CNNs for E2E Inference over Homomorphic Encryption
IBM Research（IBM研究院）；Bar-Ilan University（巴伊兰大学）；AI2（艾伦人工智能研究所）
该研究提出新型训练方法，实现可在同态加密下运行的大规模多项式CNN训练，在ImageNet上取得可观精度，还优化了HE评估效率，并通过多项式适配CLIP实现安全零样本预测。
2023-06-11 cs.AI cs.CR cs.LG
Practical and Private Hybrid ML Inference with Fully Homomorphic Encryption
EPFL（瑞士联邦理工学院）；Inria（法国国家信息与自动化技术研究院）；IRMAR（里摩日数学研究所）；Université de Rennes（雷恩大学）；École Polytechnique（巴黎高等理工学院）；CNRS（法国国家科学研究中心）
针对全同态加密推理实用性不足的问题，提出混合框架Safhire，通过线性层加密计算、非线性层客户端明文执行结合随机打乱等优化，在保障隐私的同时大幅降低推理延迟。
2026-10-19 cs.CR cs.LG
Fast and Private Inference of Deep Neural Networks by Co-designing Activation Functions
University of Waterloo（滑铁卢大学）；Royal Bank of Canada（加拿大皇家银行）
针对MPC加密DNN推理中ReLU非线性层导致的高延迟问题，本文协同设计多项式激活与单轮MPC协议，并提出配套训练算法，在最高2300万参数模型上实现3至110倍加速且保持精度。
2024-04-16 cs.CR cs.LG
Hardware-Aware Neural Architecture Search for Encrypted Traffic Classification on Resource-Constrained Devices
Department of Naval, Electrical, Electronic and Telecommunications Engineering (DITEN), University of Genoa（海军、电气、电子与电信工程系（DITEN），热那亚大学）
本文提出一种硬件高效的深度神经网络，通过硬件感知神经架构搜索优化，实现了在资源受限物联网设备上的加密流量分类。模型在ISCX VPN-nonVPN数据集上达到96.60%的准确率，同时显著降低内存和计算需求。
2026-03-18 cs.LG cs.NI
