Privacy Amplification by Subsampling: Tight Analyses via Couplings and Divergences
Amazon Research（亚马逊研究院）；IMDEA Software Institute（IMDEA软件研究所）；University at Buffalo (SUNY)（布法罗大学（纽约州立大学））
差分隐私配备了多种分析工具，用于设计隐私数据分析。一个重要的工具是所谓的“二次抽样隐私放大”原则，该原则确保在人口的随机二次抽样上运行的差异隐私机制比在整个人口上运行时提供更高的隐私保证。这一原则的几个例子已经研究了不同的随机抽样方法，每一个特设分析。在本文中，我们提出了一个一般的方法，恢复和改善先前的分析，收益率下限，并得出新的情况下，隐私放大的子采样。我们的方法利用了差分隐私的特性，出现在程序验证社区的分歧。此外，它引入了新的工具，包括先进的联合凸性和隐私配置文件，这可能是独立的利益。
2018-11-23 cs.CR cs.LG stat.ML
Privacy Amplification via Shuffled Check-Ins
LINE Corporation（LINE公司）
本文研究混洗签到分布式计算协议，允许客户端随机自主决定参与，通过基于Rényi差分隐私的隐私放大分析实现紧致隐私保障，并首次在本地/混洗模型下数值评估含高斯机制在内的通用混洗机制。
2023-07-04 cs.CR cs.LG
Privacy Amplification via Random Check-Ins
DeepMind；Google（谷歌）；Google Research - Brain（谷歌研究院 - Brain）
差分私有随机梯度下降（DP-SGD）在许多敏感数据学习应用中形成了一个基本的构建块。两种标准的方法，通过二次采样的隐私放大和通过洗牌的隐私放大，允许在DP-SGD中添加比通过朴素方案更低的噪声。这两种方法中的一个关键假设是，数据集中的元素可以被均匀地采样，或者被均匀地排列--当数据以分散或分布式方式处理时，这些约束可能变得令人望而却步。在本文中，我们专注于在联邦学习（FL）的设置中进行像DP-SGD这样的迭代法，其中数据分布在许多设备（客户端）之间。我们的主要贡献是\emph{random check-in}分布式协议，这至关重要的是只依赖于随机参与决策本地和独立的每个客户端。它具有隐私/准确性权衡，类似于通过子采样/洗牌的隐私放大。然而，我们的方法不需要服务器发起的通信，甚至不需要种群规模的知识。据我们所知，这是第一个为分布式学习框架量身定制的隐私放大，它可能具有超越FL的更广泛的适用性。一路上，我们通过洗牌将$(ε,δ)$ -DP本地随机发生器扩展隐私放大，并以指数方式提高其保证。在实际制度中，这种改进允许使用来自数量级更少的用户的数据来实现类似的隐私和实用性。
2020-07-30 cs.CR cs.LG stat.ML
Privacy Amplification via Random Participation in Federated Learning
Imperial College London（伦敦帝国学院）
在子采样数据集而不是整个数据集上运行随机算法可以增强差分隐私保证。在这项工作中，在联邦设置中，除了对本地数据集进行二次采样之外，我们还考虑了客户端的随机参与。由于客户端的这种随机参与在其子采样中创建了同一客户端的样本之间的相关性，因此我们通过非均匀子采样来分析相应的隐私放大。我们表明，当本地数据集的大小是小的，通过随机参与的隐私保证是接近的集中式设置，其中整个数据集位于一个单一的主机和二次采样。另一方面，当本地数据集很大时，观察算法的输出可以以高置信度揭示采样客户端的身份。我们的分析表明，即使在这种情况下，通过随机参与的隐私保证优于那些只通过本地子采样。
2022-05-03 cs.CR cs.LG
Privacy Amplification for Matrix Mechanisms
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）
本文提出首个面向任意矩阵机制的采样隐私放大算法MMCC，并证明条件组合定理，使DP-FTRL的噪声渐近匹配带放大的DP-SGD，显著改善隐私-效用权衡。
2024-05-04 cs.CR cs.LG
Echo of Neighbors: Privacy Amplification for Personalized Private Federated Learning with Shuffle Model
Renmin University of China（中国人民大学）；Emory University（埃默里大学）
本文提出APES和S-APES框架，首次利用混洗模型的隐私放大效应，在个性化本地差分隐私下实现更强的中心隐私保障，并通过回声贡献度量和后稀疏化技术提升模型效用。
2023-05-26 cs.CR cs.LG
Amplification by Shuffling: From Local to Central Differential Privacy via Anonymity
Google Research – Brain（谷歌研究院 – 大脑团队）；UC Santa Cruz（加州大学圣克鲁兹分校）
敏感的统计数据通常是跨用户集收集的，随着时间的推移，报告的重复收集也会完成。例如，用户的私人偏好或软件使用的趋势可以经由这样的报告来监视。我们研究了收集这样的统计数据的本地差分隐私（LDP）模型，并描述了一种算法，其隐私成本是多对数的用户的值的变化的数量。更根本的是-通过建立在匿名的用户的报告-我们还证明了我们的LDP算法的隐私成本实际上可以低得多时，在差分隐私的中心模型。我们表明，通过一个新的和一般的隐私放大技术，任何置换不变的算法满足$\varepsilon$ -本地差分隐私将满足$(O(\varepsilon \sqrt{\log(1/δ)/n}), δ)$ -中央差分隐私。通过这一点，我们解释了LDP协议的高噪声和$\sqrt{n}$开销是如何导致它们在中央模型中显着更私密的。作为一个实际的推论，我们的研究结果意味着，几个基于LDP的工业部署可能有更低的隐私成本比他们的广告$\varepsilon$将表明-至少如果报告是匿名的。
2020-07-26 cs.CR cs.DS cs.LG
Privacy Amplification by Mixing and Diffusion Mechanisms
MPI-SP（马克斯·普朗克安全与隐私研究所）；IMDEA Software Institute（IMDEA软件研究所）；University at Buffalo, SUNY（纽约州立大学布法罗分校）；U.C. San Diego（加州大学圣迭戈分校）
差分隐私的一个基本结果表明，一个机制的隐私保证是通过对其输出的任何后处理来保持的。在本文中，我们调查在什么条件下随机后处理可以放大隐私的机制。通过解释后处理作为一个马尔可夫算子的应用，我们首先给出了一系列的放大结果的均匀混合性质的马尔可夫过程所定义的运营商。接下来，我们提供放大边界的耦合参数，可以应用在均匀混合的情况下，是不可用的。最后，我们引入了一个新的家庭的机制的基础上的扩散过程是封闭的后处理，并通过一个新的热流参数分析其隐私。在应用方面，我们推广了噪声SGD中的“隐私迭代放大”分析，并表明它在强凸情况下具有指数级改进，并研究了基于Ornstein-Uhlenbeck扩散过程的机制，其中包含高斯机制，作为特殊情况，对有界输入进行最佳后处理。
2019-10-27 cs.CR cs.LG math.PR
Continual Release of Densest Subgraphs: Privacy Amplification & Sublinear Space via Subsampling
Yale University（耶鲁大学）
研究边差分隐私图算法的持续发布模型，通过精细化子采样实现隐私放大与稀疏化，提出首个匹配最佳静态DP误差与非隐私流式空间复杂度的稠密子图算法，并引入图稠密化消除额外对数因子。
2025-10-13 cs.CR cs.DS cs.LG
Personalized Privacy Amplification via Importance Sampling
Elekta（医科达）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Linköping University（林雪平大学）；Uppsala University（乌普萨拉大学）
本文研究重要性采样的隐私属性，提出两种采样分布构建方法以优化隐私-效率权衡或基于核心集效用保证，实验表明在差分隐私k均值问题上优于均匀采样。
2025-03-28 cs.CR cs.LG stat.ML
Privacy Amplification Through Synthetic Data: Insights from Linear Regression
Craft AI；Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Université de Montpellier（蒙彼利埃大学）；INSERM（法国国家健康与医学研究院）
本文通过线性回归框架研究合成数据的隐私放大效应，证明对手控制种子时单点合成数据可泄露与模型同等信息，而随机输入生成有限合成数据点则能放大隐私，为推导更一般界限奠定基础。
2025-06-05 cs.CR cs.LG stat.ML
Privacy Amplification for the Gaussian Mechanism via Bounded Support
Meta；FAIR（Facebook人工智能研究院）
针对现有隐私机制难以充分利用依赖数据的隐私核算框架优势的问题，提出有界支撑高斯机制的简单修改方案，经DP-SGD训练实验验证可将pDP的ε界降低30%且不损失模型效用。
2024-03-07 cs.CR cs.LG
Privacy Amplification by Subsampling in Time Domain
University of California, San Diego（加州大学圣迭戈分校）
聚合时间序列数据，如交通流量和站点占用率，会在一段时间内重复从人群中采样统计数据。这些数据对于了解特定人群的趋势非常有用，但也会带来重大的隐私风险，可能会揭示，例如，花时间在哪里。由于单个参与者可能对序列产生很大影响，因此产生满足差分隐私（DP）标准定义的时间序列的私有版本是具有挑战性的：如果个人可以对每个时间步做出贡献，则满足隐私所需的加性噪声量随采样的时间步数线性增加。因此，如果信号持续时间长或过采样，则必须添加过量的噪声，淹没潜在的趋势。然而，在许多应用中，个人实际上不能参与每个时间步骤。在这种情况下，我们观察到单个参与者的影响（敏感性）可以通过时间上的子采样和/或过滤来减少，同时仍然满足隐私要求。使用一种新的分析，我们表明这种显着降低敏感性，并提出了相应的一类隐私机制。我们用真实世界和合成时间序列数据实证证明了这些技术的效用。
2022-01-13 cs.AI cs.CR cs.LG
On the Inherent Privacy Amplification of Missing Data
Sorbonne Université（索邦大学）；Université Paris Cité（巴黎城市大学）；CNRS（国家科学研究中心）；Laboratoire de Probabilités, Statistique et Modélisation（概率、统计与建模实验室）；LPSM（LPSM实验室）
本文从隐私保护角度研究缺失数据，证明不完整数据可为差分隐私算法提供隐私增强。
2026-09-18 cs.LG stat.ML
Privacy amplification by random allocation
Apple（苹果公司）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文提出了一种通过随机分配实现隐私放大的方法，提供了理论保证和数值算法，证明其隐私保证可被独立子采样上界限制，并在多个参数范围内改进数值结果。
2026-01-14 cs.LG
Privacy Amplification via Compression: Achieving the Optimal Privacy-Accuracy-Communication Trade-off in Distributed Mean Estimation
Stanford University（斯坦福大学）；Google Research（谷歌研究院）
研究在联合通信和差分隐私约束下联邦学习与分析的均值及频率估计问题，提出利用压缩实现隐私放大的算法，在特定条件下实现最优的隐私-精度-通信权衡。
2023-04-04 cs.CR cs.LG stat.ML
Privacy Amplification by Decentralization
Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
分析多方拥有的数据，同时在实用性和隐私性之间实现良好的权衡，是联邦学习和分析中的一个关键挑战。在这项工作中，我们介绍了一种新的放松本地差分隐私（LDP），自然出现在完全分散的算法，即，当参与者通过沿着没有中央协调器的网络图的边缘通信来交换信息时。这种松弛，我们称之为网络DP，捕捉了用户只有系统的本地视图的事实。为了显示网络DP的相关性，我们研究了一个分散的计算模型，其中令牌在网络图上执行行走，并由接收它的一方顺序更新。对于实求和，直方图计算和梯度下降优化等任务，我们提出了环和完整拓扑结构上的简单算法。我们证明了我们的算法在网络DP下的隐私效用权衡显着提高了LDP下可以实现的，并且通常与可信馆长模型的效用相匹配。我们的研究结果第一次表明，正式的隐私收益可以从完全去中心化。我们还提供了实验来说明我们的方法用于分散训练的随机梯度下降的改进效用。
2022-03-07 cs.CR cs.DC cs.LG
Privacy Amplification in Differentially Private Zeroth-Order Optimization with Hidden States
Department of Electrical Engineering, National Taiwan University, Taiwan（台湾国立台湾大学电子工程系）；NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE), Taiwan（国立台湾大学人工智能研究中心（NTU AI-CoRE））；Microsoft, USA（微软公司）；Department of Electrical and Computer Engineering, Georgia Institute of Technology, USA（佐治亚理工学院电子与计算机工程系）
本文研究了在差分隐私和内存约束下零阶优化的隐私放大问题，提出混合噪声机制和新耦合分析，首次获得收敛的隐状态差分隐私界。
2026-05-14 cs.LG
Privacy Amplification for Federated Learning via User Sampling and Wireless Aggregation
The University of Arizona（亚利桑那大学）
在本文中，我们研究了联邦学习的问题，在一个无线信道与用户采样，高斯多址信道建模，受到中央和本地差分隐私（DP/LDP）的约束。已经表明，无线信道的叠加性质提供了带宽高效梯度聚合的双重益处，以及对用户的强DP保证。具体地，中央DP隐私泄漏已经被示出为按比例缩放为$\mathcal{O}(1/K^{1/2})$，其中$K$是用户的数量。它也被证明，用户采样耦合正交传输可以增强中央DP隐私泄漏具有相同的缩放行为。在这项工作中，我们表明，通过加入无线聚合和用户采样，可以获得更强的隐私保证。我们提出了一个私人无线梯度聚合方案，它依赖于独立随机参与决策的每个用户。我们提出的方案的中心DP泄漏的尺度为$\mathcal{O}(1/K^{3/4})$。此外，我们发现，LDP也提高了用户抽样。我们还提出了分析所提出的方案的收敛速度和研究的无线资源，收敛和隐私之间的权衡理论和经验的两种情况下，采样的参与者的数量是$(a)$已知的，或$(b)$未知的参数服务器。
2021-03-02 cs.CR cs.IT cs.LG
The Privacy Blanket of the Shuffle Model
The Alan Turing Institute（艾伦·图灵研究所）；Cambridge University（剑桥大学）；Warwick University（华威大学）；Georgetown University（乔治城大学）
本工作研究差分隐私的背景下，最近提出的洗牌模型。在本地模型中，从用户收集私有化数据的服务器可以追踪到特定用户的输入，而在洗牌模型中，用户匿名地向服务器提交他们的私有化输入。这种设置产生了一个信任模型，它位于经典的管理者和本地模型之间的差分隐私。洗牌模型是Bittau等人（SOPS 2017）引入的编码、洗牌、分析（ESA）模型的核心思想。Cheu等人最近的工作（EUROPHOTOPT 2019）分析了shuffle模型的差分隐私属性，并表明在某些情况下，shuffle协议提供的准确性严格优于本地协议。此外，Erlingsson等人（SODA 2019）提供了一个隐私放大边界，根据每个用户使用的随机发生器的局部差分隐私，量化了洗牌模型实现的管理者差分隐私水平。在这方面，我们作出三项贡献。首先，我们提供了一个最佳的单消息协议，在洗牌模型中的实数求和。我们的协议是非常简单的，有更好的准确性和通信比Cheu等人提出的这个相同的问题的协议。这个协议的最优性如下从我们的第二个贡献，一个新的下限的准确性私人协议的实数求和的洗牌模型。第三个贡献是一个新的放大界分析的隐私协议在洗牌模型的隐私提供相应的本地随机发生器。我们的放大界推广了Erlingsson等人的结果。更广泛的参数范围，并提供了一个完整的家庭的方法来分析隐私放大洗牌模型。
2019-06-02 cs.CR cs.LG stat.ML
FLAME: Differentially Private Federated Learning in the Shuffle Model
Renmin University of China（中国人民大学）；Kyoto University（京都大学）
联邦学习（FL）是一种很有前途的机器学习范例，它使分析器能够在不收集用户原始数据的情况下训练模型。为了保证用户的隐私，差分隐私联邦学习得到了广泛的研究。现有的工作主要是基于差分隐私的\textit{curator model}或\textit{local model}。然而，这两种方法都有优点和缺点。策展人模型允许更高的准确性，但需要一个值得信赖的分析器。在本地模型中，用户在将本地数据发送到分析器之前将其随机化，不需要可信的分析器，但精度有限。在这项工作中，通过利用最近提出的差分隐私洗牌模型中的\textit{privacy amplification}效应，我们实现了两个世界中的最佳，即，馆长模型的准确性和强大的隐私性，而不依赖于任何可信方。首先，我们提出了一个FL框架中的洗牌模型和一个简单的协议（SS简单）从现有的工作扩展。我们发现，SS-Simple只提供了一个不足的隐私放大效果在FL，因为模型参数的尺寸是相当大的。为了解决这一挑战，我们提出了一种增强协议（SS-Double），通过子采样来增加隐私放大效应。此外，当模型大小大于用户群体时，为了提高效用，我们提出了一种具有梯度稀疏化技术的高级协议（SS-Topk）。我们还提供了理论分析和数值评估的隐私放大所提出的协议。在真实数据集上的实验表明，SS-Topk比基于局部模型的FL提高了60.7%的测试精度。
2021-03-20 cs.CR cs.LG stat.ML
Practical and Private (Deep) Learning without Sampling or Shuffling
Google（谷歌）
我们考虑使用小批量梯度训练具有差分隐私（DP）的模型。现有的最先进的差分私有随机梯度下降（DP-SGD）需要通过采样或混洗来进行隐私放大，以获得最佳的隐私/准确性/计算权衡。不幸的是，在重要的实际场景中，特别是联邦学习（FL）中，很难获得对精确采样和洗牌的精确要求。我们设计和分析了一个DP的变种，跟随正规化的领导者（DP-FTRL），比较有利（理论和经验）放大DP-SGD，同时允许更灵活的数据访问模式。DP-FTRL不使用任何形式的隐私放大。该代码可在https://github.com/google-research/federated/tree/master/dp_ftrl和https://github.com/google-research/DP-FTRL上获得。
2021-12-10 cs.CR cs.LG
Sampling Attacks: Amplification of Membership Inference Attacks by Repeated Queries
Max Planck Institute for Computer Science（马克斯·普朗克计算机科学研究所）
机器学习模型已被证明会泄露违反其训练集隐私的信息。我们专注于对机器学习模型的成员推断攻击，其目的是确定数据点是否用于训练受害者模型。我们的工作包括两个方面：我们介绍了抽样攻击，一种新的成员推理技术，不同于其他标准的成员资格的对手是能够工作在严格的限制下，没有访问受害者模型的分数。我们发现，一个受害者模型，只发布标签仍然容易受到抽样攻击和对手可以恢复到100%的性能相比，当后验向量提供。我们的工作的其他方面包括两个最近的成员推断攻击模型的实验结果和对他们的防御。为了防御，我们选择差分隐私的形式梯度扰动在受害者模型的训练以及输出扰动在预测时间。我们在广泛的数据集上进行实验，这使我们能够更好地分析对手，防御机制和数据集之间的交互。我们发现，我们提出的快速和易于实现的输出扰动技术提供了很好的隐私保护成员推断攻击在效用的影响很小。
2020-09-01 cs.CR cs.LG
Beyond Statistical Estimation: Differentially Private Individual Computation via Shuffling
Guangzhou University（广州大学）；National University of Singapore（新加坡国立大学）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；University of Southampton（南安普顿大学）
针对洗牌模型差分隐私仅限于统计估计、无法支持个性化输出的问题，本文提出私有个体计算（PIC）范式及实现协议，通过一次性公钥保障匿名性与隐私放大，结合Minkowski响应随机化器提升实用性，支持排列等变计算任务。
2025-04-14 cs.CR cs.LG
Differentially Private Relational Learning with Entity-level Privacy Guarantees
Georgia Institute of Technology（佐治亚理工学院）；Purdue University（普渡大学）
本文提出了一种具有实体级差分隐私保证的关系学习框架，通过自适应梯度裁剪和隐私放大分析，实现对关系数据的隐私保护与模型训练的平衡。
2026-02-03 cs.CR cs.LG
De-amplifying Bias from Differential Privacy in Language Model Fine-tuning
Stanford University（斯坦福大学）；Truera（Truera公司）；Princeton University（普林斯顿大学）
该研究揭示差分隐私在微调大语言模型时会放大性别、种族和宗教偏见，并发现梯度收敛差异是原因，提出结合反事实数据增强来缓解偏见，实现公平与隐私兼顾。
2024-02-07 cs.CR cs.CY cs.LG
Breaking the Communication-Privacy-Accuracy Tradeoff with $f$-Differential Privacy
Zhejiang University（浙江大学）；Singapore University of Technology and Design（新加坡科技设计大学）；North Carolina State University（北卡罗来纳州立大学）
该研究基于$f$-差分隐私分析离散取值机制的隐私保障，提出三元随机压缩器利用压缩实现隐私放大，打破了联邦数据分析中隐私、通信与准确率的三方权衡，并探讨了其拜占庭容错性与联邦学习应用。
2024-02-01 cs.CR cs.IT cs.LG
Rényi Differential Privacy of the Sampled Gaussian Mechanism
Google Research（谷歌研究院）
采样高斯机制（SGM）--一种子采样和加性高斯噪声的组合--已经成功地用于许多机器学习应用中。该机制的意想不到的权力是来自隐私放大采样，其中一个单一的评价的隐私成本减少二次，而不是线性的，与采样率。SGM的精确隐私特性的特点激励了差分隐私概念的几个放松的发展。这项工作统一并填补了SGM已发表结果的空白。我们描述了一个数值稳定的过程，精确计算SGM的雷尼差分隐私，并证明了一个几乎紧（在一个小的常数因子）的封闭形式的界限。
2019-08-28 cs.CR cs.LG stat.ML
Analysis of Shuffling Beyond Pure Local Differential Privacy
LY Corporation（LY公司）
本文分析了洗牌在超越纯局部差分隐私下的隐私增强效果，提出洗牌指数作为衡量指标，并给出了计算方法。
2026-03-02 cs.CR cs.DS cs.IT
Differential Privacy of Quantum and Quantum-Inspired Classical Recommendation Algorithms
Key Laboratory of System Software, CAS（系统软件重点实验室，中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；Centre for Quantum Software and Information（量子软件与信息中心）；University of Technology Sydney（悉尼大学）
本文研究了量子和受量子启发的经典推荐算法的差分隐私特性，证明了在特定条件下无需额外噪声即可实现隐私保护，并通过实验验证了其有效性。
2026-02-26 cs.CR cs.ET cs.LG
BPFISH: Blockchain and Privacy-preserving FL Inspired Smart Healthcare
Indian Institute of Technology (Banaras Hindu University) Varanasi（瓦拉纳西印度理工学院（贝拿勒斯印度教大学））
本文提出了基于联邦学习（FL）的智能医疗系统，其中医疗中心（MC）使用从患者收集的数据训练本地模型，并将模型权重发送给基于区块链的健壮框架中的矿工，而无需共享原始数据，并考虑隐私保护。我们通过最大化效用和最小化损失函数来制定优化问题，考虑MC的能量消耗和FL过程延迟，以在基于区块链的框架下学习分布式医疗数据的有效模型。我们分两个阶段提出了一个解决方案：首先，提供一个稳定的基于匹配的关联算法，以最大化矿工和MC的效用，然后使用随机梯度下降（SGD）算法解决损失最小化问题，该算法采用差分隐私（DP）和区块链技术下的FL。此外，我们结合区块链技术，在拟议的基于FL的框架中提供耐调和和分散的模型权重共享。该模型的有效性，通过模拟现实世界的医疗数据比较其他国家的最先进的技术。
2022-07-27 cs.CR cs.LG cs.NI
Federated Learning with Enhanced Privacy via Model Splitting and Random Client Participation
School of Optoelectronic & Communication Engineering, Xiamen University of Technology（厦门理工学院光电信息与通信工程学院）；National Key Laboratory of Wireless Communications, University of Electronic Science and Technology of China（电子科技大学信息与通信国家重点实验室）；Division of Information Science and Engineering, KTH Royal Institute of Technology（皇家理工学院信息科学与工程系）；School of Cyber Science and Engineering, Huazhong University of Science and Technology（华中科技大学网络安全科学与工程学院）；School of Engineering, Huaqiao University（华侨大学工程学院）
提出MS-PAFL框架，通过将模型拆分为私有和公共子模型并仅向公共子模型注入噪声，结合随机客户端参与和本地数据子采样的隐私放大分析，在强隐私保证下实现更优的隐私-效用权衡。
2026-05-29 cs.LG
Aggregating Votes with Local Differential Privacy: Usefulness, Soundness vs. Indistinguishability
Tencent Games（腾讯游戏）；University of Science and Technology of China（中国科学技术大学）
投票在将群体智慧引入集体决策中发挥着核心作用，同时数据隐私也是引发个人偏好的常见伦理/法律问题。这项工作研究的问题，聚集个人的投票数据下的本地差分隐私设置，其中的有用性和健全性的汇总分数的主要关注。一种简单的解决方法是加入拉普拉斯随机噪声，然而，它使得聚合分数对于针对本地隐私设置的新型策略行为非常脆弱：数据放大攻击和视图伪装攻击。数据放大攻击是指攻击者的操纵能力在贡献欺诈投票时被隐私保护过程放大。视图伪装攻击是指攻击者可以将恶意数据伪装成有效的私有视图来操纵投票结果。本文在理论上对Laplace机制的估计误差界和操作风险界进行量化后，提出了两种同时提高有效性和可靠性的机制：加权抽样机制和加法机制。前者将分数向量解释为概率数据。与拉普拉斯机制相比，该机制将$d$的均方误差界减小了一半，并将最大风险界从$+\infty$降低到$O(\frac{d^3}{nε})$ .后者根据候选人的总分随机输出候选人的子集。其均方误差界从$O(\frac{d^5}{nε^2})$优化为$O(\frac{d^4}{nε^2})$，其最大幅度风险界降低为$O(\frac{d^2}{nε})$ .实验结果表明，本文提出的方法平均降低了$50\%$的估计误差，对对抗攻击具有更好的鲁棒性.
2019-08-14 cs.CR cs.LG
Shuffled Model of Federated Learning: Privacy, Communication and Accuracy Trade-offs
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Google Research（谷歌研究院）
我们考虑一个分布式的经验风险最小化（ERM）优化问题的通信效率和隐私的要求，由联邦学习（FL）框架的动机。在FL的背景下，传统的企业风险管理问题面临的独特挑战包括：（i）需要为客户的数据提供隐私保证，（ii）压缩客户与服务器之间的通信，因为客户可能有低带宽的链接，（iii）在服务器与客户之间的每一轮通信中与动态的客户群体一起工作，因为每一轮都对一小部分客户进行抽样。为了解决这些挑战，我们开发（最佳）的通信效率计划的私人均值估计几个$\ell_p$空间，使有效的梯度聚合的ERM的优化解决方案的每次迭代。我们还提供了下限和上限的均值估计与隐私和通信的限制，任意$\ell_p$空间。为了获得整体通信、隐私和优化性能操作点，我们将其与该设置固有的隐私放大机会相结合。我们的解决方案利用了客户端采样和每个客户端的数据采样（通过随机梯度下降）提供的固有隐私放大，以及最近开发的使用匿名化的隐私框架，它有效地向服务器提供了相对于客户端随机洗牌的响应。把这些放在一起，我们证明，人们可以得到相同的隐私，优化性能的操作点，在最近的方法，使用全精度通信，但在一个低得多的通信成本，即，有效地获得了“免费”的通信效率。
2020-09-23 cs.IT cs.LG math.IT
How to Securely Shuffle? A survey about Secure Shufflers for privacy-preserving computations
University of Twente（特文特大学）；Inria（法国国家信息与自动化技术研究院）
本文综述了26种安全洗牌协议，分析其分类、比较及隐私保护技术，提供选择指南和未来研究方向。
2025-12-01 cs.CR cs.LG
Differentially Private Learning Needs Hidden State (Or Much Faster Convergence)
National University of Singapore（新加坡国立大学）
先前的工作差分隐私分析的随机SGD算法依赖于组成定理，其中隐含的（不切实际的）假设是，内部状态的迭代算法被透露给对手。因此，通过这种基于成分的分析导出的Rényi DP界限随着训练时期的数量线性增长。当算法的内部状态是隐藏的，我们证明了一个收敛的隐私界噪声随机梯度下降（强凸光滑损失函数）。我们展示了如何通过子采样和随机后处理来利用隐私放大，并证明了“洗牌和分区”和“无替换采样”随机小批量梯度下降方案的隐私界动态性。我们证明了，在这些设置中，我们的隐私边界以指数速度收敛，并且大大小于组合边界，特别是在几个训练时期之后。因此，除非DP算法收敛快，我们的隐私分析表明，隐藏状态分析可以显着放大差分隐私。
2022-10-17 cs.CR cs.LG stat.ML
Controlling Privacy Loss in Sampling Schemes: an Analysis of Stratified and Cluster Sampling
Boston University（波士顿大学）；Institute for Employment Research（就业研究所）；University of Maryland（马里兰大学）；Apple（苹果公司）；Harvard John A. Paulson School of Engineering and Applied Sciences（哈佛大学约翰·A·保尔森工程与应用科学学院）
本研究将差分隐私的隐私放大分析扩展到数据依赖的复杂抽样方案，发现分层抽样与整群抽样不仅不能放大隐私，反而可能导致隐私退化，并提供了相关见解。
2023-06-21 cs.CR cs.LG stat.ME
On Mitigating the Utility-Loss in Differentially Private Learning: A new Perspective by a Geometrically Inspired Kernel Approach
University of Rostock（罗斯托克大学）；Software Competence Center Hagenberg GmbH（哈根堡软件能力中心有限公司）；Johannes Kepler University Linz（约翰内斯·开普勒大学林茨分校）
针对差分隐私分类中的隐私—效用权衡，本文提出在 RKHS 中学习数据仿射包表示的几何启发核距离方法，以抵御成员推理攻击并降低准确率损失，且在多个数据集和联邦学习场景中验证有效。
2024-02-07 cs.AI cs.CR cs.LG
Renyi Differential Privacy of the Subsampled Shuffle Model in Distributed Learning
我们在分布式学习框架中研究隐私，在该框架中，客户端通过与我们需要隐私的服务器进行交互，协同迭代地构建学习模型。受随机优化和联邦学习（FL）范式的启发，我们关注的情况下，一小部分数据样本在每一轮随机子采样参与学习过程，这也使隐私放大。为了获得更强的本地隐私保证，我们在洗牌隐私模型中对此进行了研究，其中每个客户端使用本地差分隐私（LDP）机制随机化其响应，服务器仅接收客户端响应的随机排列（洗牌），而不与每个客户端关联。本文的主要结果是一个隐私优化性能权衡离散随机化机制，在这个子采样洗牌隐私模型。这是通过一个新的理论技术来分析的子采样洗牌模型的Renyi差分隐私（RDP）。我们数值证明，对于重要的制度，与组合我们的界产生显着改善的隐私保证在国家的最先进的近似差分隐私（DP）的保证（强成分）的子采样洗牌模型。我们还展示了使用真实数据集的隐私学习性能操作点在数值上的显着改善。
2021-07-19 cs.CR cs.IT cs.LG
Shuffled Differentially Private Federated Learning for Time Series Data Analytics
Beijing Institute of Technology（北京理工大学）
针对时间序列数据联邦学习中的隐私保护与时间依赖性学习干扰问题，提出结合本地差分隐私与混洗技术的隐私放大算法，在五种数据集上验证其准确率损失极小且优于集中式差分隐私方法。
2023-07-30 cs.AI cs.CR cs.LG
High-speed Implementation of Length-compatible Privacy Amplification in Continuous-variable Quantum Key Distribution
隐私放大是连续变量量子密钥分发（CV-QKD）后处理中必不可少的一个环节，用于从两个相距遥远的合法方之间的完全相同的校正密钥中提取出无条件安全密钥。隐私放大的处理速度对CV-QKD系统的密钥速率有显著影响。提出了基于图形处理器的长度兼容隐私放大算法的高速并行实现。在考虑有限尺寸效应的情况下，采用长度兼容算法来满足不同传输距离下隐私放大的安全性要求。在任意输入长度下实现了超过1Gbps的隐私放大速度，比以往的实验提高了一到两个数量级，支持了高速实时CV-QKD系统，保证了隐私放大的安全性。
2018-05-07 quant-ph
PRISM: Gauge-Invariant Tangent-Space Differentially Private LoRA
University of Science and Technology of China（中国科学技术大学）
针对LoRA中低秩参数化导致的非可辨识性和规范依赖噪声放大问题，提出PRISM机制，通过构造规范不变的差分隐私扰动，实现高效且稳定的隐私-效用权衡。
2026-05-31 cs.LG
Privacy Amplification, Private States, and the Uncertainty Principle
我们证明了在量子密钥分发中处理隐私放大的三种主要方法，即隐私态蒸馏、经典隐私放大和通过不确定原理，是等价和可互换的。通过采用基于不确定原理的安全性证明，构造了一个新的隐私状态提取协议，并证明了该协议与标准的经典隐私放大协议是一致的.这种方法的基础是一个新的特征的私人国家，与他们的标准制定的不确定原理，这给了一个更多的物理理解的安全量子密钥分发。
2007-02-19 quant-ph
Debugging Differential Privacy: A Case Study for Privacy Auditing
Google Research（谷歌研究院）
差分隐私可以为机器学习中的训练数据提供可证明的隐私保证。然而，证据的存在并不排除错误的存在。最近的进展，审计已被用于估计下限差分私人算法的启发，在这里，我们表明，审计也可以用来发现缺陷（据称）差分私人计划。在这个案例研究中，我们审计了一个最近的差分隐私深度学习算法的开源实现，并在99.9999999%的置信度下发现，该实现不满足所声称的差分隐私保证。
2022-03-28 cs.LG
Gradient Descent with Linearly Correlated Noise: Theory and Applications to Differential Privacy
EPFL（瑞士洛桑联邦理工学院）；Google Research（谷歌研究院）
本文研究差分隐私优化中线性相关噪声对梯度下降的影响，提出简化分析框架并给出更紧的理论界，据此设计新的矩阵分解方法以提升差分隐私优化性能。
2024-01-15 cs.LG
Federated Learning Inspired Fuzzy Systems: Decentralized Rule Updating for Privacy and Scalable Decision Making
The University of Newcastle（纽卡斯尔大学）；Singapore University of Technology and Design（新加坡科技设计大学）
本文借鉴联邦学习思想，提出分散式更新模糊规则的方法，以增强模糊系统处理不确定性的能力，并改善隐私、可扩展性和决策性能，但需进一步研究验证其改进程度。
2025-07-09 cs.LG
Stream privacy amplification for quantum cryptography
保密放大是保证量子通信安全的关键步骤。现有的安全证明需要积累大量的原始密钥比特用于隐私放大。这类似于经典密码学中的块密码，其将延迟最终密钥生成，因为在隐私放大之前必须累积整个块。此外，信息协调后的任何剩余错误都会破坏整个块。通过改进基于量子纠错的安全性证明，提出了一种类似于经典流密码的流隐私放大方案。该方案能够以流的方式输出最终密钥，防止错误扩散，将隐私放大置于信息协调之前。流方案也有助于增强可信中继量子网络的安全性。受流密码和量子纠错之间联系的启发，我们进一步开发了一个通用的信息论工具来研究经典加密算法的安全性。
2022-07-03 quant-ph
Quantum privacy amplification for quantum secure direct communication
使用量子力学，可以执行远距离方之间的安全直接通信。在有噪声的量子信道中，量子保密放大是保证信息安全的必要步骤。本文提出了一种利用单光子实现量子保密直接通信的量子保密放大方案。量子保密放大过程包括两个控制非门和一个Hadamard门。在幺正门操作之后，执行测量并且保留一个光子。保留的光子携带了丢弃光子的状态信息，从而减少了信息泄漏。该过程可以递归地执行，使得信息泄漏可以减少到任意低的水平。
2004-08-16 quant-ph
Precise evaluation of leaked information with universal2 privacy amplification in the presence of quantum attacker
当窃听者具有相关的量子态时，我们处理密钥提取。我们提出了不同于Renner的量子隐私放大定理，它是基于1+s阶量子条件Rényi熵的。利用这些定理，我们得到了一个指数递减率的泄漏信息和渐近含糊率，这还没有得到迄今为止在量子设置。
2012-10-11 cs.CR cs.IT math.IT
Limits of privacy amplification against non-signalling memory attacks
本文证明在时间有序非信号系统假设下，任何哈希方法都无法实现超多项式隐私放大，为设备无关密钥分发协议中对抗超量子对手的安全性提供了重要限制。
2012-12-30 cs.CR quant-ph
randextract: a Reference Library to Test and Validate Privacy Amplification Implementations
针对量子密钥分发中 privacy amplification 步骤的正确性验证需求，本文提出了参考库 randextract，用于测试和验证 privacy amplification 的实现，以保障量子密码协议的最终安全性。
2025-05-30 cs.CR quant-ph
Effective Privacy Amplification for Secure Classical Communications
我们研究了经典密钥分配方案的隐私放大的实际有效性。我们发现，与量子密钥分发方案相比，在经典系统中生成的原始密钥的高保真度允许用户总是筛选一个安全的较短的密钥，如果他们有一个上界的窃听概率正确猜测交换的密钥位。在现有的经典通信器中，实现10^-8的信息泄漏所需的隐私放大迭代的数量是2或3，导致相应的减速4到8。我们分析了迭代次数和原始密钥安全性之间的内在权衡。这是唯一的经典的密钥分配系统的属性，使他们非常有用的实际，特别是噪声信道，其中足够低的量子比特误码率是难以实现的。
2011-03-25 cs.CR quant-ph
An efficient hybrid hash based privacy amplification algorithm for quantum key distribution
保密放大（PA）是量子密钥分发（QKD）系统中的重要组成部分，它通过参与者之间的公开协商，从一个部分安全的字符串中提取出一个高度安全的密钥。量子密钥分发保密放大的优化目标是大数据块、高吞吐量和低成本。为了实现这些目标的全局优化，本文结合多线性模哈希和模算术哈希，提出了一种新的隐私放大算法。本文在信息论和组合安全理论的框架下证明了这种混合散列PA算法的安全性。在CPU平台上实现了基于该算法的方案并进行了评估。在一个典型的CV-QKD系统上的实验结果表明，该方案的吞吐量（261Mbps@2.6 * 10^8输入块大小）比现有的最佳方案（140Mbps@1 * 10^8输入块大小）高出一倍.此外，该方案是在移动CPU平台上实现的，而不是桌面CPU或服务器CPU，这意味着该算法具有更好的性能和更低的成本和功耗。
2021-06-07 cs.CR quant-ph
Privacy amplification scheme based on composite coding
保密放大是量子密钥分发后处理中不可缺少的一个步骤，可以用来压缩共享密钥的冗余，提高密钥的安全级别。常用的隐私放大是基于通用哈希函数的随机选择，需要额外的随机源的帮助，而一般情况下并不存在。本文提出了一种基于复合编码的隐私放大方案，它是量子CSS码对经典线性码的推广。与通用散列函数相比，该方案不需要其他随机源，随机性完全由量子比特串提供。此外，在复合编码中，用于提取密钥的信息论界是明显的。
2021-09-15 quant-ph
