BandMF 通过 $b$-Min-Sep 子采样的隐私放大
Privacy Amplification for BandMF via $b$-Min-Sep Subsampling
AI总结：
提出 $b$-min-sep 子采样，一种新的子采样方案，泛化了泊松和球箱子采样，扩展了 BandMF 的实用批处理策略，并通过蒙特卡罗会计提供近精确的隐私分析，在中低噪声区域实现更优的隐私放大。
摘要：
我们研究了 BandMF（即通过带状相关矩阵在迭代间具有相关噪声的 DP-SGD）的隐私放大。我们提出了 $b$-min-sep 子采样，这是一种新的子采样方案，它泛化了泊松和球箱子采样，扩展了 BandMF 先前的实用批处理策略，并在保持分析所需的结构性质的同时，实现了比循环泊松更强的隐私放大。我们使用蒙特卡罗会计给出了近精确的隐私分析，该分析基于一个利用子采样过程中马尔可夫结构的动态规划。我们证明，在高噪声区域，$b$-min-sep 与循环泊松子采样相匹配，并在中低噪声区域实现了严格更优的保证，实验结果支持了我们的主张。我们进一步证明，与之前的 BandMF 子采样方案不同，我们的 $b$-min-sep 子采样自然地扩展到多归属用户级隐私设置。
英文摘要：
We study privacy amplification for BandMF, i.e., DP-SGD with correlated noise across iterations via a banded correlation matrix. We propose $b$-min-sep subsampling, a new subsampling scheme that generalizes Poisson and balls-in-bins subsampling, extends prior practical batching strategies for BandMF, and enables stronger privacy amplification than cyclic Poisson while preserving the structural properties needed for analysis. We give a near-exact privacy analysis using Monte Carlo accounting, based on a dynamic program that leverages the Markovian structure in the subsampling procedure. We show that $b$-min-sep matches cyclic Poisson subsampling in the high noise regime and achieves strictly better guarantees in the mid-to-low noise regime, with experimental results that bolster our claims. We further show that unlike previous BandMF subsampling schemes, our $b$-min-sep subsampling naturally extends to the multi-attribution user-level privacy setting.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
