Scalable Differentially Private Clustering via Hierarchically Separated Trees
Google Research（谷歌研究院）；Sorbonne Université（索邦大学）；Aarhus University（奥胡斯大学）
研究了$d$维欧氏空间中的私有$k$ -中值和$k$ -均值聚类问题。通过利用树嵌入，我们给出了一个高效且易于实现的算法，该算法在经验上与最先进的非私有方法具有竞争力。我们证明了我们的方法计算的解决方案的成本最多$O(d^{3/2}\log n)\cdot OPT + O(k d^2 \log^2 n / ε^2)$，其中$ε$是隐私保证。(The维度项$d$可以使用标准降维技术用$O(\log k)$代替）。虽然最坏情况下的保证是最先进的私有聚类方法的状态差，我们提出的算法是实用的，运行在近线性，$\tilde{O}(nkd)$，时间和规模为数千万点。我们还表明，我们的方法是适合在大规模的分布式计算环境中的并行化。特别是，我们表明，我们的私人算法可以实现对数数量的MPC轮在次线性内存制度。最后，我们补充我们的理论分析与实证评估，证明算法的效率和准确性相比，其他隐私聚类基线。
2022-06-17 cs.CR cs.DS cs.LG
Securing Private Federated Learning in a Malicious Setting: A Scalable TEE-Based Approach with Client Auditing
LY Corporation（LY公司）
针对现有DP-FTRL假设半诚实服务器的问题，本文提出基于临时TEE模块的服务器扩展作为可信计算基，实现恶意安全DP-FTRL，并通过客户端审计证明，在保持可扩展性的同时提供隐私保证。
2025-09-11 cs.CR cs.LG
Prio: Private, Robust, and Scalable Computation of Aggregate Statistics
本文介绍了Prio，一个用于收集汇总统计数据的隐私保护系统。每个Prio客户端保存私有数据值（例如，其当前位置），并且一小组服务器计算所有客户端的值的统计函数（例如，最受欢迎的位置）。只要至少有一个服务器是诚实的，Prio服务器就几乎不了解客户端的私人数据，除了它们可以从系统计算的汇总统计数据中推断出什么。为了在遇到错误或恶意客户端时保护功能，Prio使用秘密共享非交互式证明（SNIP），这是一种新的加密技术，与传统的零知识方法相比，性能提高了100倍。Prio扩展了经典的私有聚合技术，以收集大量有用的统计信息。例如，Prio可以对客户端提供的高维数据执行最小二乘回归，而不会看到清晰的数据。
2017-03-18 cs.CR
Winning the NIST Contest: A scalable and general approach to differentially private synthetic data
我们提出了一种通用的方法，用于差分私人合成数据生成，包括三个步骤：（1）选择一个低维边缘的集合，（2）测量这些边缘与噪声添加机制，（3）生成合成数据，保留测量的边缘很好。这种方法的核心是Private-PGM，这是一种后处理方法，用于从其边缘的噪声测量中估计高维数据分布。我们提出了两种机制，NIST-MST和MST，这是这种一般方法的实例。NIST-MST是2018年NIST差分隐私合成数据竞赛的获胜机制，MST是一种新机制，可以在更一般的设置中工作，同时仍然执行NIST-MST的性能。我们相信，我们的一般方法应该是广泛的利益，并可以在未来的机制，合成数据的生成。
2021-08-11 cs.CR
LazyDP: Co-Designing Algorithm-Software for Scalable Training of Differentially Private Recommendation Models
KAIST（韩国科学技术院）；Pennsylvania State University（宾夕法尼亚州立大学）；Meta；Cornell University（康奈尔大学）
针对差分隐私推荐系统训练存在的计算与内存瓶颈问题，提出算法-软件协同设计方案LazyDP，相较现有最优系统实现119倍平均训练吞吐量提升，且保证模型数学等价性。
2024-04-12 cs.CR cs.IR cs.LG
Scalable and Private Federated Learning Using Distributed Differential Privacy and Secure Aggregation
Université Paris Cité（巴黎Cité大学）
本文提出DDP-SA框架，结合客户端侧本地差分隐私和全阈值加法秘密共享，实现安全聚合，提供更强的端到端隐私保障且计算可行。
2026-06-06 cs.CR cs.LG
Distributed HDMM: Scalable, Distributed, Accurate, and Differentially Private Query Workloads without a Trusted Curator
University of Vermont（佛蒙特大学）
Distributed HDMM 是一种无需可信 curator 的分布式高维矩阵机制，能够在大规模分布式数据上高效准确地处理线性查询工作负载。
2025-12-17 cs.CR
Scalable Private Decision Tree Evaluation with Sublinear Communication
私有决策树评估（PDTE）允许决策树持有者与特征提供者一起运行安全协议。通过运行协议，特征提供者将学习分类结果。双方都没有透露更多的信息。在大多数现有的PDTE协议中，所需的通信随着树的深度$d$呈指数增长，这对于大型树是非常低效的。这个缺点促使我们设计一个具有$O(d)$通信复杂性的次线性PDTE协议。我们的建设的核心是一个共享的不经意选择（SOS）功能，允许双方执行秘密共享的不经意读取操作从一个数组。我们提供了两个SOS协议，这两个协议都实现了次线性通信，并提出了优化，以进一步提高其效率。我们的次线性PDTE协议的基础上提出的SOS功能，我们证明了它的安全下半诚实的对手。我们比较我们的协议与国家的最先进的，在通信和计算方面，在各种网络设置。性能评估表明，我们的协议是实用的，更大的树比现有的解决方案的可扩展性。
2022-05-03 cs.CR
DeepReDuce: ReLU Reduction for Fast Private Inference
New York University（纽约大学）
最近对隐私问题的担忧导致研究人员设计出私人神经推理的方法-直接在加密数据上进行推理，而不会看到输入。私有推理面临的主要挑战是，对加密数据进行计算会带来不切实际的高延迟惩罚，主要来自ReLU等非线性运算符。实现实用和私有的推理需要新的优化方法，以最大限度地减少网络ReLU计数，同时保持准确性。本文提出了DeepReduce：一组明智地删除ReLU以减少私有推理延迟的优化。关键的见解是，并非所有的ReLU对准确性的贡献都是一样的。我们利用这一洞察力从经典网络中删除或删除ReLU，以显著降低推理延迟并保持高准确性。给定一个目标网络，DeepReduce输出一个网络的帕累托边界，权衡ReLU的数量和准确性。与最先进的私有推理相比，DeepReduce提高了准确性，并将ReLU计数分别减少了3.5%（iso-ReLU计数）和3.5 $\times$（iso-accuracy）。
2021-06-22 cs.CR cs.LG
Bolt-on Differential Privacy for Scalable Stochastic Gradient Descent-based Analytics
University of California, San Diego（加利福尼亚大学圣地亚哥分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Google（谷歌）
虽然可扩展随机梯度下降（SGD）和私有SGD的分析系统分别取得了重大进展，但没有一个主要的可扩展分析框架包含差异化的私有SGD。研究与实践之间的这种脱节有两个相互关联的问题：（1）由于增加噪声以保证隐私而导致的模型准确性低，以及（2）私有算法的高开发和运行时开销。本文采取的第一步，以弥补这种脱节，并提出了一个私人SGD算法，以解决\emph{both}问题的综合方式。与以前的工作所采用的白盒方法相比，我们重新审视并使用{ \em输出扰动}的经典技术来设计一种新的“螺栓”方法来私有SGD。虽然我们的方法简单地解决了（2），但它使（1）更具挑战性。我们解决这个挑战，通过提供一种新的分析的$L_2$敏感性的SGD，它允许，在相同的隐私保证，更好的收敛SGD时，只有一个恒定的数量的通行证可以在数据。我们将我们的算法，以及其他国家的最先进的差分私有SGD，到俾斯麦，一个流行的可扩展的基于SGD的分析系统上的RDBMS。大量的实验表明，我们的算法可以很容易地集成，几乎没有开销，规模很好，最重要的是，在许多真实数据集上产生比最先进的算法更好的（高达4倍）测试精度。
2017-03-23 cs.CR cs.DB cs.LG
MPCFormer: fast, performant and private Transformer inference with MPC
Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Petuum Inc.（Petuum公司）；University of California, Berkeley（加州大学伯克利分校）
启用私有推理对于许多基于Transformer模型的云推理服务至关重要。然而，现有的私有推理解决方案可能会将推理延迟增加60倍以上，或者严重损害推理质量。在本文中，我们设计的框架MPCFORMER作为一个实用的解决方案，使用安全多方计算（MPC）和知识蒸馏（KD）。通过广泛的评估，我们表明，MPCFORMER显着加快了Transformer在MPC设置中的推理，同时实现了与输入模型相似的ML性能。在IMDb数据集上，它实现了与BERTBASE相似的性能，但速度要快5.3倍。在GLUE基准测试中，它的性能达到了BERTBASE的97%，加速比为2.2倍。MPCFORMER对不同的训练过的Transformer权重（如ROBERTABASE）和更大的模型（包括BERTLarge）仍然有效。代码可在https://github.com/MccRee177/MPCFormer上获得。
2023-03-16 cs.CR cs.LG
Fast and Memory Efficient Differentially Private-SGD via JL Projections
University of Pennsylvania（宾夕法尼亚大学）；Microsoft Research（微软研究院）；University of Washington（华盛顿大学）；Stanford University（斯坦福大学）；Twitter（推特）
Abadi等人（2016）的差分私有SGD（DP-SGD）及其变体是唯一已知的用于大规模神经网络私有训练的算法。该算法需要计算每个样本的梯度范数，这在实践中是非常缓慢和内存密集的。在本文中，我们提出了一个新的框架来设计差分私有优化称为DP-SGD-JL和DP-Adam-JL。我们的方法使用Johnson-Lindenstrauss（JL）投影来快速近似每个样本的梯度范数，而无需精确计算它们，从而使我们的优化器的训练时间和内存要求更接近其非DP版本。与以前的尝试，使DP-SGD更快的工作只在一个子集的网络架构或使用编译器技术，我们提出了一个算法的解决方案，适用于任何网络在黑盒的方式，这是本文的主要贡献。为了说明这一点，在IMDb数据集上，我们训练了一个递归神经网络（RNN），以实现良好的隐私与准确性权衡，同时比DP-SGD快得多，并且与非私有SGD具有类似的内存占用。我们算法的隐私分析比DP-SGD更复杂，我们使用Dong等人最近提出的f-DP框架。（2019）来证明隐私。
2021-02-05 cs.CR cs.LG
Fast Private Parameter Learning and Inference for Sum-Product Networks
Johannes Gutenberg University Mainz（美因茨约翰内斯古滕贝格大学）；Institute of Computer Science（计算机科学研究所）
和积网络（SPN）是一种图形模型，它允许有效地进行几种类型的推理。SPN有两种类型的学习：学习模型的架构和学习参数。在本文中，我们解决了第二个问题：我们展示了如何学习和节点的权重，假设架构是固定的，并且数据在多方之间水平分区。计算将保护每个参与者的隐私。此外，我们将使用秘密共享而不是（同态）加密，这允许快速计算并且需要很少的计算资源。为此，我们使用一种新的整数除法来计算近似实数除法。我们还展示了如何使用学习的SPN进行简单和私人的推理。
2021-10-14 cs.CR cs.LG
Secure and Scalable Circuit-based Protocol for Multi-Party Private Set Intersection
本文提出一种基于电路的多方隐私集合求交（PSI）协议，通过优化两方SCS协议并利用简单哈希与分桶技术，规避多方交互复杂性，在保持可扩展性的同时显著降低了计算与通信开销。
2023-09-14 cs.CR
Private, Efficient and Scalable Kernel Learning for Medical Image Analysis
Department of Computer Science, Leipzig University（莱比锡大学计算机科学系）；Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)（可扩展数据与人工智能研究中心（ScaDS.AI））；Medical Data Privacy and Privacy-preserving Machine Learning (MDPPML)（医疗数据隐私与隐私保护机器学习（MDPPML））；Institute for Bioinformatics and Medical Informatics (IBMI)（生物信息学与医学信息学研究所）
针对医学图像分析中核方法面临的隐私和高维挑战，提出基于随机编码的OKRA方法，提升可扩展性和速度，并在临床数据集上优于现有方法。
2024-10-21 cs.CR cs.LG
PrivateFetch: Scalable Catalog Delivery in Privacy-Preserving Advertising
为了保持互联网在使用时免费的可能性，人们的注意力转向了新的解决方案，这些解决方案将允许基于用户偏好等行为信息进行有针对性的广告投放，而不会损害用户隐私。最近，设计这种系统的探索要么采取依赖于语义保证的方法，如$k$ -匿名性-当与替代信息结合时很容易被颠覆，并且没有考虑到甚至这些集群的知识本身也是侵犯隐私的可能性。其他方法通过将所有数据和处理逻辑移动到客户端来提供完全的隐私，但这对于客户端和服务器来说都是非常昂贵的。在这项工作中，我们设计了一个名为PrivateFetch的新框架，用于构建依赖于加密硬度和最佳情况隐私的实用广告交付管道，而不是语法隐私保证或依赖于真实世界的匿名化工具。PrivateFetch利用本地首选项计算，然后是高性能的单服务器专用信息检索（PIR），以确保客户端可以从服务器预取广告内容，而不会向内容提供方泄露其任何固有特征。当考虑一个数据库的$>1,000,000$广告，我们表明，我们可以提供$30$广告的客户端在40秒内，总通信成本为192 KB。我们还证明了PrivateFetch的可行性，运行它的货币成本不到平均广告收入的1%。因此，我们的系统能够基于行为和上下文用户信息为客户端预取广告，然后在典型的浏览会话期间显示它们。此外，虽然我们将PrivateFetch作为私人广告交付进行测试，但我们方法的通用性意味着它也可以用于其他内容类型。
2021-09-16 cs.CR
Efficient and Scalable Implementation of Differentially Private Deep Learning without Shortcuts
Department of Computer Science, University of Helsinki, Finland（计算机科学系，赫尔辛基大学）；CSC – IT Center for Science, Finland（芬兰IT研究中心）；NVIDIA（NVIDIA公司）
本文提出了一种基于JAX的高效DP-SGD实现，利用泊松子采样并结合PyTorch的高效裁剪优化，提升了差分隐私深度学习的计算效率和扩展性。
2026-01-13 cs.CR cs.DC cs.LG
Zef: Low-latency, Scalable, Private Payments
我们介绍Zef，这是第一个拜占庭容错（BFT）协议，支持任意规模的匿名数字货币支付。Zef遵循FastPay的通信和安全模型：这两种协议都是异步的，低延迟的，线性可扩展的，并由部分信任的分片授权提供支持。Zef进一步引入了不透明的硬币，表示为绑定到用户账户的链下证书。为了在支付操作消耗或创建硬币时隐藏硬币的面值，Zef使用随机承诺和NIZK证明。创建的硬币是使用Coconut的盲和可随机化的阈值匿名凭证进行的。为了控制与防止硬币重放相关的存储成本，Zef帐户的设计使得一旦帐户被停用，数据可以安全地删除。除了规范和协议的详细分析外，我们还在Rust中提供了Zef的开源实现。我们在AWS上的广泛基准测试证实了教科书式的线性可扩展性，并在标称容量下证明了不到一秒的确认时间。与现有的基于区块链的匿名支付系统相比，这代表了三个数量级的延迟加速，并且理论上对吞吐量没有限制。
2022-03-08 cs.CR
Scalable and Differentially Private Distributed Aggregation in the Shuffled Model
Google Research（谷歌研究院）；IT University of Copenhagen（哥本哈根信息技术大学）
联邦学习通过使用安全聚合方法实现梯度下降，有望使机器学习在分布式私有数据集上变得可行。这个想法是计算全局权重更新，而不显示单个用户的贡献。当前用于安全聚合的实际协议在“诚实但好奇”的设置中工作，其中好奇的对手观察到所有去往和来自服务器的通信，无法获知任何私人信息，假设服务器是诚实的并且遵循协议。隐私保护协议的一个更可扩展和鲁棒的原语是用户数据的混洗，以便隐藏每个数据项的来源。用于混洗的高度可扩展和安全的协议，即所谓的混合网，已经被提出作为Bittau等人的编码-混洗-分析框架中的隐私保护分析的原语，后来Erlingsson等人和Cheu等人对其进行了分析研究。Cheu等人最近的论文，和Balle等人已经给出了用于安全聚集的协议，其在该“混洗模型”中实现了差分隐私保证。然而，他们的协议是有代价的：预期的聚合错误或每个用户的通信量都是用户数$n$的多项式$n^{Ω(1)}$。在本文中，我们提出了简单且更有效的洗牌模型聚合协议，其中通信和错误在$n$中仅呈多对数增加。我们的新技术是一种概念上的“隐形斗篷”，它使用户的数据几乎无法与随机噪声区分开来，同时在总和上引入零失真。
2019-12-02 cs.CR cs.DC cs.DS
Spruce: Scalable Private Outsourced Retrieval Using Compact Embeddings
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；State Key Laboratory of Internet Architecture, Tsinghua University（清华大学）
Spruce将表示与密码协议协同设计，通过紧凑二进制编码、固定半径MPC、私有聚类剪枝等技术，在保持检索质量的同时大幅提升私有外包检索的速度与吞吐量。
2026-10-06 cs.CR cs.IR cs.LG
Certified but Private: Scalable Zero-Knowledge Proofs for Neural Network Guarantees
Yale University（耶鲁大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出基于零知识证明的PANDA系统，可在不泄露神经网络私有参数的情况下高效证明其鲁棒性与公平性，支持参数超290万的网络，规模远超同类方案且开销更低。
2026-10-14 cs.CR cs.LG cs.LO
Relaxed Marginal Consistency for Differentially Private Query Answering
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts（马萨诸塞大学）
许多用于回答数据库查询的差分私有算法涉及从噪声测量重构离散数据分布的步骤。这提供了一致的查询答案并减少了错误，但通常需要随维度呈指数级增长的空间。Private-PGM是最近的一种方法，它使用图形模型来表示数据分布，其复杂性与图形模型中的精确边缘推断的复杂性成比例，该图形模型的结构由噪声测量中的变量的共现确定。Private-PGM对于稀疏测量是高度可扩展的，但是可能无法在具有密集测量的高维中运行。我们克服了私人PGM的主要可扩展性限制，通过一个原则性的方法，放松一致性约束的估计目标。我们的新方法适用于许多现有的私人查询回答算法，提高了可扩展性或准确性，没有隐私成本。
2021-10-25 cs.CR cs.LG
Towards Scalable and Privacy-Preserving Deep Neural Network via Algorithmic-Cryptographic Co-design
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）；Macquarie University（麦考瑞大学）；JZTData Technology（金智塔科技）；Peking University（北京大学）；East China Normal University（华东师范大学）
深度神经网络（DNN）在各种现实世界的应用中取得了显著的进展，特别是当提供了丰富的训练数据时。然而，数据隔离已成为当前的一个严重问题。现有的工作建立隐私保护DNN模型从算法的角度或密码学的角度。前者主要将DNN计算图在数据持有者之间或数据持有者与服务器之间拆分，具有良好的可扩展性，但存在准确性损失和潜在的隐私风险。相比之下，后者利用耗时的密码技术，具有很强的隐私保证，但可扩展性差。在本文中，我们提出了SPNN-一个可扩展和隐私保护的深度神经网络学习框架，从算法-密码学的角度。从算法的角度来看，我们将DNN模型的计算图分为两部分，即，由数据持有者执行的私有数据相关计算，以及委托给具有高计算能力的服务器的其余繁重计算。从加密的角度来看，我们建议使用两种类型的加密技术，即，秘密共享和同态加密，用于隔离的数据持有者私下地和合作地进行与私有数据相关的计算。此外，我们在分散的设置中实现SPNN，并引入用户友好的API。在真实数据集上的实验结果表明了SPNN的优越性。
2022-02-21 cs.CR cs.LG
Enabling Fast Differentially Private SGD via Just-in-Time Compilation and Vectorization
University of Waterloo（滑铁卢大学）
差分私有机器学习中的一个常见痛点是执行差分私有随机梯度下降（DPSGD）时产生的显著运行时开销，其可能高达两个数量级。我们彻底证明，通过利用强大的语言原语，包括向量化，即时编译，静态图优化，可以大大减少这些开销，在许多情况下，几乎匹配的最佳非私有运行时间。这些收益是在两个框架中实现的：JAX和TensorFlow。JAX通过XLA编译器为这些原语提供了丰富的支持，将其作为语言的核心特性。我们还重新构建了TensorFlow Privacy的核心部分，集成了TensorFlow 2和XLA编译的功能，与当前版本相比，内存和运行时都有了显著的改进。与最佳替代方案相比，这些方法使我们能够实现高达50倍的加速。我们的代码可在https://github.com/TheSalon/fast-dpsgd上获得。
2021-10-26 cs.CR cs.LG cs.PF
Scalable Private Partition Selection via Adaptive Weighting
研究差分隐私分区选择问题，提出自适应重路由权重的MAD算法及两轮版本MAD2R，在保持隐私的同时最大化输出项数，可扩展至数千亿项数据集。
2025-08-08 cs.CR cs.DS
Scalable Private Learning with PATE
Pennsylvania State University（宾夕法尼亚州立大学）；University of California San Diego（加利福尼亚大学圣地亚哥分校）；Google Brain（谷歌大脑）
机器学习的快速采用增加了人们对在敏感数据（如医疗记录或其他个人信息）上训练的机器学习模型的隐私影响的担忧。为了解决这些问题，一种有前途的方法是教师集合的私人聚合，或PATE，它将“教师”模型集合的知识转移到“学生”模型中，通过在不相交的数据上训练教师提供直观的隐私，并通过教师答案的嘈杂聚合来保证强隐私。然而，到目前为止，PATE只在像MNIST这样的简单分类任务上进行了评估，因此在应用于大规模学习任务和真实世界数据集时，其效用尚不清楚。在这项工作中，我们展示了PATE如何扩展到具有大量输出类和未经策划的，不平衡的错误训练数据的学习任务。为此，我们引入了新的嘈杂的聚合机制，教师合奏，更具选择性，增加更少的噪音，并证明其更严格的差分隐私保证。我们的新机制建立在两个见解上：通过使用更集中的噪音来增加教师达成共识的机会，缺乏共识，不需要给学生答案。所使用的共识答案更有可能是正确的，提供更好的直观隐私，并产生更低的差异隐私成本。我们的评估表明，我们的机制在所有指标上都比原来的PATE有所改进，并且可以扩展到具有高实用性和非常强的隐私性（$\varepsilon$ < 1.0）的更大任务。
2018-02-24 cs.CR cs.LG stat.ML
An Accurate, Scalable and Verifiable Protocol for Federated Differentially Private Averaging
INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧分所）
从多方拥有的数据中学习，如在联邦学习中，会对提供给参与者的隐私保证以及在存在恶意方的情况下计算的正确性提出挑战。我们在分布式平均的背景下解决这些挑战，分布式平均是联邦学习算法的一个重要组成部分。我们的第一个贡献是一个可扩展的协议，在该协议中，参与者沿着网络图的边缘交换相关的高斯噪声，并由各方添加的独立噪声补充。我们分析了我们的协议的差分隐私保证和图拓扑的影响下勾结恶意方，表明我们几乎可以匹配的效用的可信馆长模型，即使每个诚实的一方通信，只有对数的其他方随机选择。这与本地隐私模型（具有较低的效用）或基于安全聚合（其中所有用户对都需要交换消息）的协议形成对比。我们的第二个贡献，使用户能够证明他们的计算的正确性，而不损害协议的效率和隐私保证。我们的验证协议依赖于标准的密码原语，如承诺计划和零知识证明。
2022-10-28 cs.CR cs.DC cs.LG
An Adaptive and Fast Convergent Approach to Differentially Private Deep Learning
University of Nanjing（南京大学）；Michigan State University（密歇根州立大学）；Nanyang Technological University（南洋理工大学）；Yale University（耶鲁大学）
随着大数据时代的到来，深度学习已经成为各种机器学习或数据采掘任务（例如，信号处理、网络建模和流量分析等）中的普遍构建块。众包的海量用户数据对深度学习模型的成功起着至关重要的作用。然而，已经表明，用户数据可以从训练的神经模型中推断出来，从而暴露给潜在的对手，这引起了信息安全和隐私问题。为了解决这个问题，最近的研究利用差分隐私技术来设计隐私保护深度学习算法。尽管差分隐私在隐私保护方面取得了成功，但它降低了神经模型的性能。在本文中，我们开发ADADP，自适应和快速收敛的学习算法与可证明的隐私保证。ADADP通过自适应学习率提高收敛速度，显著降低了隐私代价，并通过引入自适应噪声，减轻了差分隐私对模型精度的负面影响。ADADP的性能在真实世界的数据集上进行了评估。实验结果表明，它优于国家的最先进的差分隐私方法的隐私成本和模型的准确性。
2019-12-19 cs.CR cs.LG
PriViT: Vision Transformers for Fast Private Inference
Tandon School of Engineering at New York University（纽约大学坦登工程学院）
针对ViT因大量非多项式运算不适用于MPC隐私推理的问题，提出基于梯度的PriViT算法，选择性泰勒化ViT非线性以保精度，在延迟-精度帕累托前沿上优于现有MPC友好型Transformer设计，经多个图像分类任务验证有效。
2023-10-06 cs.CR cs.LG
The Circle Game: Scalable Private Membership Test Using Trusted Hardware
恶意软件检查正在从本地服务转变为云辅助服务，其中用户的设备查询托管恶意软件签名字典的云服务器，以检查特定应用程序是否可能是恶意软件。虽然这种架构获得了基于云的服务的所有好处，但它带来了主要的隐私问题，因为云服务可以基于用户设备查询的应用程序列表来推断用户的个人特征。私人会员测试（PMT）计划可以消除这种隐私问题。然而，已知的PMT方案不能很好地扩展到大量的同时用户和高查询到达率。我们提出了一个简单的PMT方法使用旋转木马：通过云服务器上的可信硬件循环整个字典。用户通过安全信道与可信硬件通信。我们展示了如何轮播的方法，使用不同的数据结构来表示字典，可以实现两个不同的商业硬件安全架构（ARM TrustZone和英特尔SGX）。我们强调微妙的方面，安全地实现看似简单的PMT计划在这些架构。通过广泛的实验分析，我们表明，对于恶意软件检查的情况下，我们的轮播方法令人惊讶地优于路径ORAM在相同的硬件支持更高的查询到达率，同时保证可接受的响应延迟为个人查询。
2017-02-17 cs.CR
Scalable Differentially Private Sketches under Continual Observation
本文提出 Lazy Sketch 方法，通过延迟更新减少计算开销，提升高速流应用中连续观察差分隐私的实用性。
2025-12-09 cs.CR
AESPA: Accuracy Preserving Low-degree Polynomial Activation for Fast Private Inference
Seoul National University（首尔国立大学）
混合私有推理（PI）协议是一种重要的PI技术，它综合利用了多方计算（MPC）和同态加密。然而，即使是最先进的PI协议也会受到非线性层，特别是激活函数的影响。虽然标准的非线性激活函数可以产生更高的模型精度，它必须通过一个昂贵的混淆电路MPC原语处理。多项式激活可以通过Beaver的乘法三倍MPC原语来处理，但到目前为止已经导致严重的准确性下降。在本文中，我们提出了一个保持精度的低次多项式激活函数（AESPA），它利用了ReLU的Hermite扩展和基规范化。我们将AESPA应用于流行的ML模型，如VGGNet，ResNet和预激活ResNet，以显示与具有ReLU激活的标准模型相当的推理准确性，实现了优于先前低次多项式研究的准确性。当应用于最先进的Delphi PI协议上的全USB基线时，AESPA显示出高达42.1倍和28.3倍的在线延迟和通信成本降低。
2022-02-18 cs.CR cs.LG
CryptGPU: Fast Privacy-Preserving Machine Learning on the GPU
University of Virginia（弗吉尼亚大学）；Facebook AI Research（Facebook AI研究院）
我们介绍CryptGPU，这是一个用于隐私保护的机器学习系统，它在GPU（图形处理单元）上实现所有操作。正如GPU在现代深度学习的成功中发挥了关键作用一样，它们对于实现可扩展的隐私保护深度学习也至关重要。在这项工作中，我们首先引入了一个新的接口，以将秘密共享值（在离散域中）上的加密操作有损嵌入到浮点运算中，这些运算可以由高度优化的CUDA线性代数内核处理。然后，我们确定了一系列的“GPU友好”的加密协议，使隐私保护评估的线性和非线性运算的GPU。我们的微基准测试表明，我们基于GPU的私有卷积协议比类似的基于CPU的协议快150倍以上;对于ReLU激活函数等非线性操作，我们基于GPU的协议比其CPU模拟快10倍左右。借助CryptGPU，我们支持在具有超过6000万个参数的卷积神经网络上进行私有推理和私有训练，并处理ImageNet等大型数据集。与以前的最先进技术相比，当考虑大型模型和数据集时，我们的协议在私有推理方面实现了2倍至8倍的改进，在私有训练方面实现了6倍至36倍的改进。我们的工作不仅展示了完全在GPU上执行安全多方计算（MPC）以实现快速隐私保护机器学习的可行性，而且还强调了设计可以充分利用GPU计算能力的新MPC原语的重要性。
2021-04-22 cs.CR cs.LG
Fast Optimal Locally Private Mean Estimation via Random Projections
Apple Inc.（苹果公司）；UC Berkeley（加州大学伯克利分校）；Northeastern（东北大学）
针对高维局部隐私均值估计中现有算法误差次优或复杂度高的问题，提出 ProjUnit 框架，通过随机投影至低维子空间并运行最优算法，在保证最优误差的同时显著降低通信与计算成本。
2023-06-26 cs.CR cs.LG stat.ML
NOMAI: Scalable Federated Learning with Private Weights
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
NOMAI是首个可扩展的基于MPC的联邦学习系统，结合多委员会MPC架构与打包Shamir秘密共享，大幅降低单用户开销，支持超10^6用户，在MNIST训练中实现三个数量级性能提升，同时满足模型、数据隐私与完整性需求。
2026-10-16 cs.CR
Fast and Fuzzy Private Set Intersection
私有集合交集（PSI）通常被实现为成对用户之间的加密轮序列，而本工作以更简单的方式实现PSI：每个集合只需要加密一次，之后每对用户只需要一个普通的集合比较。这通常比普通PSI快几个数量级，代价是匹配中的一些“延迟”，尽管如此，这可能是可容忍的，甚至是期望的。这在集合由用WordNet处理的英语单词组成的情况下得到了证明。
2014-05-21 cs.CL cs.CR
A Fast Algorithm for Adaptive Private Mean Estimation
Stanford University（斯坦福大学）
我们设计了一个$(\varepsilon, δ)$ -差分私有算法来估计$d$ -变量分布的均值，协方差未知$Σ$，自适应于$Σ$。在多对数因子内，估计器相对于诱导的Mahalanobis范数$||\cdot||_Σ$实现最优收敛速率，需要时间$\tilde{O}(n d^2)$来计算，对于亚高斯分布具有接近线性的样本复杂度，允许$Σ$退化或低秩，并且自适应地扩展到亚高斯之外。在此之前的工作，其他方法需要指数计算时间或超线性缩放$n = Ω(d^{3/2})$，以实现非平凡的误差相对于规范$||\cdot||_Σ$。
2023-01-17 cs.CR cs.DS cs.LG
PoAh: A Novel Consensus Algorithm for Fast Scalable Private Blockchain for Large-scale IoT Frameworks
在当今的互联世界中，资源受限的设备被部署用于传感和决策应用，从智能城市到环境监测。这些资源受限的设备被连接起来，以创建通常被称为物联网（IoT）、雾计算和边缘计算的实时分布式网络。区块链在这些领域中获得了很大的兴趣，通过忽略集中式依赖来保护系统，其中工作量证明（PoW）在使整个安全解决方案分散化方面发挥着至关重要的作用。由于设备的资源限制，PoW不适合基于区块链的安全解决方案。本文提出了一种新的共识算法，称为认证证明（PoAh），它引入了一种加密认证机制，以取代PoW资源受限的设备，并使区块链应用程序特定。因此，PoAh既适合私有区块链，也适合许可区块链。此外，PoAh不仅保护了系统，还保持了系统的可持续性和可扩展性。所提出的共识算法的理论评估在仿真场景中，并在实时硬件测试床，以验证其性能。最后，讨论了PoAh及其在物联网和边缘计算场景中与区块链的集成。所提出的PoAh虽然在有限的计算机资源（例如像Raspberry Pi这样的单板计算设备）中运行，但延迟大约为3秒。
2020-01-21 cs.CR cs.DC
Primer: Fast Private Transformer Inference on Encrypted Data
为基于Transformers的云服务启用隐私保护推理越来越重要。后量子密码技术，例如，全同态加密（FHE）和多方计算（MPC）是支持私有Transformer推理的流行方法。然而，现有的作品仍然遭受禁止计算和通信开销。在这项工作中，我们提出，引物，使一个快速，准确的Transformer加密数据的自然语言处理任务。特别是，引物是由一个混合密码协议优化的注意力为基础的Transformer模型，以及包括计算合并和令牌优先密文包装的技术。在加密语言建模上的综合实验表明，Primer算法达到了最高的准确率，推理延迟比已有方法降低了90.6%~97.5%。
2023-03-23 cs.CR
Compressed Private Aggregation for Scalable and Robust Federated Learning over Massive Networks
本文提出压缩私有聚合（CPA）方法，通过嵌套格量化和码本随机化，在极低比特率下同时实现联邦学习的隐私保护、匿名性和抗恶意用户鲁棒性，且保持与无隐私压缩FL相同的渐近收敛速率。
2025-05-08 cs.CR
XRD: Scalable Messaging System with Cryptographic Privacy
即使端到端加密通信变得越来越流行，由于元数据泄漏（例如谁在与谁通信），私人消息传递仍然是一个具有挑战性的问题。隐藏通信元数据的大多数现有系统要么（1）不容易扩展，要么（2）招致显著的开销，要么（3）提供比密码隐私（诸如差分隐私或启发式隐私）更弱的保证。本文介绍了XRD（Crossroads的缩写），这是一个元数据私有消息传递系统，它提供加密隐私，同时可以通过添加更多服务器轻松扩展以支持更多用户。在高层次上，XRD使用多个混合网络与几种技术并行，包括一种我们称为聚合混合洗牌的新技术。因此，XRD可以在100台服务器上支持200万用户，延迟为251秒。这分别比Atom和Pung快12倍和3.7倍，后者是具有加密隐私的可扩展消息传递系统。
2019-01-14 cs.CR
Towards Sparse Federated Analytics: Location Heatmaps under Distributed Differential Privacy with Secure Aggregation
Cornell Tech（康奈尔理工学院）；Google（谷歌）
我们设计了一种可扩展的算法，可以在来自数百万用户设备的分散数据上私下生成位置热图。它旨在确保数据对服务提供商可见之前的差分隐私，同时保持高数据准确性并最大限度地减少用户设备上的资源消耗。为了实现这一目标，我们重新分布式差分隐私的基础上，最近的结果在安全多方计算，我们设计了一个可扩展的和自适应的分布式差分隐私的位置分析方法。对公共位置数据集的评估表明，这种方法成功地从数百万用户样本中生成了大都市规模的热图，最坏情况下的客户端通信开销明显小于现有的最先进的私有协议。
2022-06-26 cs.CR cs.LG
NanoBatch Privacy: Enabling fast Differentially Private learning on the IPU
Stanford University（斯坦福大学）；Graphcore Inc.（Graphcore公司）；University of Toronto（多伦多大学）
差分私有SGD（DPSGD）最近在深度学习中显示出了希望。然而，与非私有SGD相比，DPSGD算法的计算开销可能会抵消GPU中的GPU的优势。微加密是缓解这种情况的常用方法，并且在TensorFlow隐私库（TFDP）中得到完全支持。然而，它降低了准确性。我们提出了NanoBatch Privacy，这是TFDP的一个轻量级附加组件，通过利用批次大小为1（无微扰）和梯度累积在Graphcore IPU上使用。这使我们能够在对吞吐量影响最小的情况下实现较大的总批量。其次，我们使用Cifar-10说明了从隐私与实用的角度来看，更大的批量大小不一定是最佳的。在ImageNet上，我们在TFDP上实现了超过15倍的加速，而在A100上实现了8倍的加速，甚至在Opacus等库之间也实现了显著的加速。我们还提供了两个扩展：1）用于流水线模型的DPSGD和2）每层剪切，比8x A100上的Opacus实现快15倍。最后，作为应用案例研究，我们将Nanobatch培训应用于私人Covid-19胸部CT预测。
2022-06-02 cs.CR cs.CV cs.DC
Differentially Private Learning Needs Hidden State (Or Much Faster Convergence)
National University of Singapore（新加坡国立大学）
先前的工作差分隐私分析的随机SGD算法依赖于组成定理，其中隐含的（不切实际的）假设是，内部状态的迭代算法被透露给对手。因此，通过这种基于成分的分析导出的Rényi DP界限随着训练时期的数量线性增长。当算法的内部状态是隐藏的，我们证明了一个收敛的隐私界噪声随机梯度下降（强凸光滑损失函数）。我们展示了如何通过子采样和随机后处理来利用隐私放大，并证明了“洗牌和分区”和“无替换采样”随机小批量梯度下降方案的隐私界动态性。我们证明了，在这些设置中，我们的隐私边界以指数速度收敛，并且大大小于组合边界，特别是在几个训练时期之后。因此，除非DP算法收敛快，我们的隐私分析表明，隐藏状态分析可以显着放大差分隐私。
2022-10-17 cs.CR cs.LG stat.ML
Slalom: Fast, Verifiable and Private Execution of Neural Networks in Trusted Hardware
Stanford University（斯坦福大学）
随着机器学习（ML）应用于安全关键或敏感领域，外包ML计算的完整性和隐私性需求日益增长。一个实用的解决方案来自可信执行环境（TEE），它使用硬件和软件保护将敏感计算与不可信的软件堆栈隔离开来。然而，与不受信任的替代方案相比，这些隔离保证在性能上是有代价的。本文通过在可信设备和不可信设备之间有效地划分深度神经网络（DNN）计算，启动了TEE中DNN的高性能执行研究。基于矩阵乘法的有效外包方案，我们提出了Slalom，这是一个框架，可以安全地从TEE（例如，英特尔SGX或Sanctum）到更快但不受信任的协同定位处理器。我们通过在英特尔SGX安全区中运行DNN来评估Slalom，该安全区选择性地将工作委托给不受信任的GPU。对于规范DNN（VGG16，MobileNet和ResNet变体），我们获得了6倍至20倍的可验证推理吞吐量增加，以及4倍至11倍的可验证和私有推理吞吐量增加。
2019-02-27 cs.CR cs.LG stat.ML
Fast and Private Max-Sum Diversification
Tel Aviv University（特拉维夫大学）
研究差分隐私下的最大和多样化问题，提出基数和拟阵约束下的差分隐私算法，实现近最优效用保证，设计更高效算法，实验表明该方法在强隐私保证下效用与非私密基线相当且显著提高执行时间。
2026-07-21 cs.CR cs.DS
dpart: Differentially Private Autoregressive Tabular, a General Framework for Synthetic Data Generation
Hazy（Hazy公司）；University of Edinburgh（爱丁堡大学）；University College London（伦敦大学学院）
我们提出了一个通用的，灵活的，可扩展的框架dpart，一个开源的Python库的差异私人合成数据生成。该方法的核心是自回归建模-将联合数据分布分解为一系列低维条件分布，通过各种方法捕获，例如机器学习模型（逻辑/线性回归，决策树等），简单的直方图计数或自定义技术。创建该图书馆的目的是作为一个快速和可访问的基线，并容纳广泛的用户，从那些在合成数据生成方面迈出第一步的用户，到那些具有领域专门知识的更有经验的用户，他们可以配置建模的不同方面并提出新的方法/机制。dpart的具体实例包括Independent，PrivBayes的优化版本，以及新提出的模型dp-mappop。代码：https://github.com/hazy/dpart
2022-07-12 cs.CR cs.LG
Scalable Information-Flow Analysis of Secure Three-Party Affine Computations
安全多方计算中的精心设计的协议使几个参与者能够计算他们自己的私人输入的公共函数，同时确保没有关于私人输入的不期望的信息泄漏，并且不求助于任何可信的第三方。然而，计算的公共输出不可避免地泄露了一些关于私有输入的信息。最近的作品已经引入了一个框架，并提出了一些技术来量化这种信息流。然而，由于它们的复杂性，这些方法不能扩展到可能涉及大输入空间的实际情况。这里报告的工作的主要贡献是正式调查的信息流捕获的最小熵的特定情况下，安全的三方计算的仿射函数，以使其量化可扩展到现实的场景。为此，我们在数学上推导出一个明确的公式，这个熵下一致的先验信念的输入。我们表明，这种封闭形式的表达式可以计算的时间常数的输入大小和对数的仿射函数的系数。最后，我们制定了一些理论界限，这种隐私泄漏的存在下，非统一的先验信念。
2019-01-03 cs.CR cs.IT math.IT
Private Virtual Tree Networks for Secure Multi-Tenant Environments Based on the VIRGO Overlay Network
Hangzhou Domain Zones Technology Co., Ltd.（杭州域区科技有限公司）
本文提出PVTNs，通过加密机制在VIRGO叠加网络上实现安全的多租户环境组织结构。
2025-12-17 cs.CR cs.DC
Accelerating Private Large Transformers Inference through Fine-grained Collaborative Computation
FASTLMPI通过细粒度协同设计HE与SS，优化矩阵乘法、SoftMax、LayerNorm和GeLU协议，并引入精确分段逼近技术，显著加速私有大型Transformer推理并降低通信成本。
2025-01-25 cs.CR
Fast Private Data Release Algorithms for Sparse Queries
Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）
我们重新审视的问题，准确地回答大类的统计查询，同时保持差分隐私。以前的方法来解决这个问题已经非常普遍，但没有运行时多项式的数据库的大小，只适用于非常有限的类的查询，或放宽了最坏情况下的错误保证的概念。在本文中，我们考虑了大类的稀疏查询，它采取非零值的多项式许多宇宙元素。我们给出了高效的查询释放算法，这类，在交互式和非交互式设置。我们的算法也实现了更好的准确性界限比以前的一般技术时，适用于稀疏查询：我们的界限是独立的宇宙大小。事实上，即使是我们的交互机制的运行时是独立的宇宙的大小，因此可以在“无限宇宙”模型中实现，其中没有有限的宇宙需要指定的数据管理员。
2011-11-29 cs.CR cs.DS cs.LG
PrivFT: Private and Fast Text Classification with Homomorphic Encryption
A*STAR（新加坡科技研究局）；Inferati Inc（Inferati公司）；Microsoft Research（微软研究院）
由于隐私风险的严重性，对隐私保护分析的需求比以往任何时候都要高，并且要遵守新的隐私法规，这导致对试图在隐私和实用性之间取得平衡的隐私保护技术的兴趣被放大。在这项工作中，我们提出了一种有效的方法，文本分类，同时保护隐私的内容使用全同态加密（FHE）。我们的系统（命名为\textbf{Priv} ate \textbf{F} ast \textbf{T} ext（PrivFT））执行两个任务：1）使用明文模型对加密的用户输入进行推理，2）使用加密的数据集训练有效的模型。对于推理，我们训练一个监督模型，并概述了一个系统的同态推理加密用户输入的预测精度为零损失。在第二部分中，我们展示了如何使用完全加密的数据来训练模型以生成加密模型。我们提供了一个GPU实现的千金金宋（CKKS）FHE计划，并将其与现有的CPU实现，以实现1至2个数量级的加速在各种参数设置。我们在GPU中实现PrivFT，以实现每次推理的运行时间小于0.66秒。在相对较大的加密数据集上进行训练的计算量更大，需要5.04天。
2019-11-18 cs.CR cs.LG
FastQuery: Communication-efficient Embedding Table Query for Private LLM Inference
Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；Beijing Advanced Innovation Center for Integrated Circuits（北京集成电路高精尖创新中心）；Institute of Electronic Design Automation, Peking University（北京大学电子设计自动化研究所）
FastQuery通过通信感知量化与一热感知打包，优化私有嵌入表查询，显著降低延迟和通信开销。
2024-05-25 cs.AI cs.CR
AutoReP: Automatic ReLU Replacement for Fast Private Network Inference
Northeastern University（东北大学）；Duke University（杜克大学）；Walmart Global Tech（沃尔玛全球科技）；University of Connecticut（康涅狄格大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）；University of Rochester（罗切斯特大学）；North Carolina State University（北卡罗来纳州立大学）
针对私有推理中ReLU等非线性算子开销高的问题，提出基于梯度的AutoReP方法，结合分布感知多项式近似自动替换ReLU，在多个数据集上实现精度提升与ReLU预算的大幅降低。
2023-08-20 cs.CR cs.LG
