Distributed Differentially Private Data Analytics via Secure Sketching
Aarhus University（奥胡斯大学）
本文提出线性变换模型，一种分布式差分隐私数据分析模型，介于中心模型和本地模型之间，通过安全多方计算在多服务器上分布应用公共矩阵，避免了单点故障并降低噪声，在低秩近似和岭回归等任务中保持高效用。
2025-03-05 cs.CR cs.LG
Sketched Gaussian Mechanism for Private Federated Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出草图高斯机制（SGM），联合分析草图化与高斯机制的隐私，证明其隐私随草图维度平方根增强，应用于联邦学习在相同隐私下性能优于非草图化方法。
2025-09-09 cs.DC cs.LG
Near-Optimal Private Linear Regression via Iterative Hessian Mixing
Department of EECS, Massachusetts Institute of Technology, US（麻省理工学院电子工程与计算机科学系）；School of Computer Science and Engineering, The Hebrew University of Jerusalem, IL（耶路撒冷希伯来大学计算机科学与工程学院）
提出迭代Hessian混合（IHM）算法，基于高斯草图方法实现差分隐私线性回归，在理论上消除了AdaSSP方法中的维度相关乘法因子，并在实证中持续优于现有基线。
2026-05-21 cs.LG stat.ML
Private Federated Frequency Estimation: Adapting to the Hardness of the Instance
Johns Hopkins University（约翰斯·霍普金斯大学）；Google Research（谷歌研究院）；Rice University（莱斯大学）
本文针对多轮联邦频率估计提出可证明更优的混合草图算法，并设计两阶段方法根据实例难度自适应设置草图大小，同时支持差分隐私，在大规模数据上验证了性能优势。
2023-12-02 cs.DS cs.LG
Enhancing the Privacy of Federated Learning with Sketching
Carnegie Mellon University（卡内基梅隆大学）
为了应对日益增长的对用户隐私的担忧，联邦学习已经成为一种很有前途的工具，可以在设备网络上训练统计模型，同时保持数据本地化。联邦学习方法直接在用户设备上运行训练任务，并且不与第三方共享原始用户数据。然而，当前的方法仍然共享模型更新，其可以包含私有信息（例如，（1）身高和体重，在训练过程中旨在提高联邦学习隐私性的现有努力在以下一个或多个关键领域做出了妥协：性能（特别是通信成本），准确性或隐私性。为了更好地优化这些权衡，我们建议\textit{sketching algorithms}具有独特的优势，因为它们可以在保持准确性的同时提供隐私和性能优势。我们评估了基于草图的联邦学习的可行性与三个代表性的学习模型的原型。我们的初步研究结果表明，在不牺牲性能或准确性的情况下，为联邦学习提供强大的隐私保证是可能的。我们的工作强调，在分布式环境中，隐私和通信之间存在着根本的联系，并提出了围绕实用的私人联邦学习的理论理解，方法和系统设计的重要开放问题。
2019-11-05 cs.CR cs.LG cs.NI
Sketching for First Order Method: Efficient Algorithm for Low-Bandwidth Channel and Vulnerability
Adobe Research（奥多比研究院）；Yale University（耶鲁大学）；Alibaba Inc.（阿里巴巴集团）；MIT（麻省理工学院）
本文提出面向分布式一阶优化的随机 sketching 通信压缩框架，在保证收敛的同时降低联邦学习带宽，并揭示其梯度泄漏风险，进而通过加噪实现差分隐私。
2023-06-06 cs.CR cs.LG
Differentially Private Random Block Coordinate Descent
KAUST（阿卜杜拉国王科技大学）
提出一种差分隐私随机分块坐标下降方法，利用草图矩阵和重要性采样提升收敛速度与效用，推广了DP-CD和DP-SGD。
2024-12-22 cs.CR cs.LG math.OC
Differentially Private Clustered Federated Learning with Privacy-Preserving Initialization and Normality-Driven Aggregation
Samsung AI Centre Cambridge（三星剑桥人工智能中心）
本文提出PINA框架，通过轻量级LoRA适配器和正态驱动聚合机制，提升聚类联邦学习的隐私保护与收敛性能，实验显示在隐私预算下准确率提升2.9%。
2026-04-22 cs.CR cs.LG
DOPPLER: Differentially Private Optimizers with Low-pass Filter for Privacy Noise Reduction
本文提出DOPPLER组件，通过引入低通滤波的频域操作来放大梯度并抑制差分隐私噪声，在保持隐私保证的同时提升模型质量，有效缩小了DP与非DP训练之间的性能差距。
2024-08-24 cs.CR cs.LG stat.ML
Sketch-Flip-Merge: Mergeable Sketches for Private Distinct Counting
数据草图是不同计数的关键工具，使多集能够由紧凑的摘要表示，允许快速的基数估计。因为草图可以被合并以汇总多集联合，所以它们是数据仓库中的基本构建块。虽然存在许多用于基数估计的实用草图，但是没有一个在合并时提供隐私。我们提出了第一个实用的基数草图，同时可合并，差分私人（DP），并具有较低的经验误差。这些介绍了一种新的随机算法执行逻辑运算的噪音位，一个严密的隐私分析，并证明最佳的估计。我们的草图在模拟和现实数据中大大优于现有的理论解决方案。
2023-02-04 cs.CR cs.DS stat.CO
Differentially Private Learning with Margin Guarantees
Google Research（谷歌研究院）；The Ohio State University（俄亥俄州立大学）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）
我们提出了一系列新的差分隐私（DP）算法与维度无关的保证金。对于线性假设的家庭，我们给出了一个纯DP学习算法，受益于相对偏差保证金，以及一个有效的DP学习算法保证金。我们还提出了一个新的高效的DP学习算法与保证金为基础的假设与移位不变的内核，如高斯内核，并指出我们的结果可以扩展到其他内核使用不经意的素描技术。我们进一步给出了一个纯DP学习算法的前馈神经网络的家庭，我们证明保证金是独立的输入尺寸。此外，我们描述了一个通用的标签DP学习算法，它受益于相对偏差的利润界限，并适用于广泛的家庭的假设集，包括神经网络。最后，我们展示了我们的DP学习算法如何以一般的方式进行扩展，以包括模型选择，以选择最佳置信度参数。
2022-04-21 cs.LG stat.ML
Error Estimation for Sketched SVD via the Bootstrap
UC Davis Department of Statistics（加州大学戴维斯分校统计系）；UC Berkeley Department of Statistics and International Computer Science Institute（加州大学伯克利分校统计系和国际计算机科学研究所）
为了快速计算超大型矩阵的奇异值分解（SVD），随机草图算法已成为一种领先的方法。然而，绘制SVD的一个关键的实际困难是用户不知道所绘制的奇异向量/值离精确的奇异向量/值有多远。事实上，用户可能被迫依赖于分析最坏情况的误差范围，这并不考虑给定问题的独特结构。因此，缺乏用于误差估计的工具通常导致比实际需要的更多的计算。为了克服这些挑战，本文开发了一种完全数据驱动的bootstrap方法，该方法可以对草图奇异向量/值的实际误差进行数值估计。特别地，这允许用户检查粗略的初始草图SVD的质量，然后自适应地预测需要多少额外的工作来达到给定的误差容限。此外，该方法在计算上是廉价的，因为它只对草图对象进行操作，并且它不需要经过被分解的整个矩阵。最后，该方法得到了理论保证和一组非常令人鼓舞的实验结果的支持。
2020-03-10 cs.LG stat.CO stat.ML
Differentially Private Linear Sketches: Efficient Implementations and Applications
线性草图已被广泛用于处理快速数据流，它们可以用于准确地回答频率估计，近似前K项，并总结数据分布。当数据是敏感的，它是可取的，以保护私人信息，同时提供有用的结果与理论界限的线性草图提供隐私保证。我们表明，线性草图可以确保隐私，并保持其独特的属性，在初始化时添加少量的噪音。从不同的私有线性草图中，我们展示了旋转栅门模型中最先进的分位数草图也可以是私有的并保持高性能。实验进一步表明，我们提出的差异私人草图是定量和定性相似的无噪声草图具有高利用率的合成和真实的数据集。
2022-10-14 cs.DB cs.DS cs.NI
Differentially private anonymized histograms
Google Research（谷歌研究院）
对于标签计数对的数据集，匿名直方图是计数的多集。匿名化直方图出现在各种潜在敏感的上下文中，例如密码频率列表，社交网络中的度分布，以及离散分布的对称属性的估计。出于这些应用程序，我们提出了第一个差分隐私机制，以释放匿名直方图，实现接近最佳的隐私效用权衡项目的数量和隐私参数。此外，如果底层直方图以紧凑格式给出，则所提出的算法在项目数量上以次线性的方式运行。对于未知的离散分布生成的匿名直方图，我们表明，发布的直方图可以直接用于估计基本分布的对称属性。
2020-01-13 cs.CR cs.DS cs.IT
Passive Inference Attacks on Split Learning via Adversarial Regularization
National University of Singapore（新加坡国立大学）；Massachusetts Institute of Technology（麻省理工学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Renmin University of China（中国人民大学）
针对现有拆分学习被动攻击依赖强假设、性能有限的问题，提出基于对抗正则化的SDAR攻击框架，利用辅助数据学习客户端私有模型的可解码模拟器，在多种拆分场景下实现了远超现有方法、媲美主动攻击的私有数据推断效果。
2025-03-21 cs.CR cs.LG
Better Differentially Private Approximate Histograms and Heavy Hitters using the Misra-Gries Sketch
针对流式近似直方图与重击者的差分隐私发布，本文改进 Misra-Gries 草图机制，使噪声不随草图规模线性增长，并支持用户贡献多个不同元素。
2025-03-18 cs.CR cs.DS cs.IR
Improved Utility Analysis of Private CountSketch
草绘是处理稀疏（或由稀疏向量很好地近似）的高维向量的重要工具，在分布式、并行和流设置中特别有用。众所周知，草图可以通过根据草图的敏感性添加噪声来进行差异化隐私，并且这已经用于隐私分析和联邦学习设置中。差分隐私的后处理属性意味着从草图计算的所有估计可以在给定的隐私预算内发布。在本文中，我们考虑了经典的CountSketch，差分私有的高斯机制，并给出了一个改进的分析，其估计误差。也许令人惊讶的是，隐私-效用权衡基本上是人们所希望的最好结果，与CountSketch中的重复次数无关：错误几乎与非私有CountSketch的错误相同，加上在原始高维域中使向量私有所需的噪声。
2022-10-12 cs.CR cs.DS
Differentially Private Vertical Federated Clustering
Purdue University（普渡大学）；University of Virginia（弗吉尼亚大学）
本文提出首个差分隐私纵向联邦 k-means 聚类算法，通过不可信服务器聚合差分隐私本地中心与成员编码构建加权网格，并基于 Flajolet-Martin sketch 估计网格权重，在保证隐私的同时实现了接近中央隐私设置的模型效用。
2023-03-31 cs.CR cs.LG
Statistical properties of sketching algorithms
草图是一种概率数据压缩技术，在计算机科学界得到了很大程度的发展。大数据集上的数值运算可能慢得令人无法忍受;草图算法通过生成较小的代理数据集来解决这个问题。通常，推断在压缩数据集上进行。草图绘制算法通常使用随机投影来压缩原始数据集，并且这种随机生成过程使它们适合于统计分析。我们认为，勾画的数据可以建模为一个随机样本，从而把这个家庭的数据压缩方法牢牢地在一个推理框架。特别是，我们重点关注高斯、阿达玛和克拉克森-伍德拉夫草图，以及它们在使用大型$n$进行线性回归的单程草图算法中的使用。我们探讨的统计性质的草图回归算法，并得出新的分布结果的一大类草图估计。一个关键的结果是数据无关草图的条件中心极限定理。一个重要的发现是，在均方误差方面的草图算法的最佳选择与源数据集中的信噪比有关。最后，我们证明了理论和它的适用性在两个真实的数据集的限制。
2019-04-02 stat.CO stat.ME
PEARL: A Task-Aware Framework for Evaluating Differentially Private Synthetic Educational Data
The University of Hong Kong（香港大学）
PEARL框架通过多维度检查评估差分隐私合成教育数据，发现多数数据集因遗漏关键组或顺序问题被拒，且隐私保护不保证任务有用性。
2026-09-11 cs.CR cs.LG
Fast John Ellipsoid Computation with Differential Privacy Optimization
University of New South Wales（新南威尔士大学）；The University of Hong Kong（香港大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；The Simons Institute for the Theory of Computing at UC Berkeley（加州大学伯克利分校西蒙斯理论计算研究所）；University of California, Berkeley（加州大学伯克利分校）
针对现有John椭球快速近似算法无隐私保障的问题，提出首个结合噪声扰动、草图与杠杆得分采样的差分隐私算法，证明其满足(ε,δ)-差分隐私且能收敛到指定精度的近似解，平衡了效用与隐私。
2025-02-20 cs.CR cs.DS cs.LG
Locally Private Gaussian Estimation
University of Pennsylvania（宾夕法尼亚大学）；Microsoft Research Redmond（微软研究院雷德蒙德分院）；Google Research New York（谷歌研究院纽约分院）；University of Minnesota（明尼苏达大学）
我们研究一个基本的私人估计问题：每个$n$用户画一个单一的i.i. d。从未知的高斯分布中采样，目标是估计该高斯分布的均值，同时满足每个用户的局部差分隐私。非正式地，局部差分隐私要求每个数据点在被传递到学习算法之前被单独且独立地私有化。因此，局部私有高斯估计是困难的，因为数据域是无界的：用户可以绘制任意不同的输入，但局部差分隐私仍然要求不同的用户具有（最坏情况）相似的私有化输出分布。我们提供了自适应两轮解决方案和非自适应一轮解决方案的局部私人高斯估计。然后，我们部分匹配这些上限与信息理论的下限。这个下限表明，我们的准确性保证是紧对数因子的所有顺序交互式$(\varepsilon,δ)$本地私有协议。
2019-10-27 cs.LG stat.ML
Asymptotically Optimal Locally Private Heavy Hitters via Parameterized Sketches
本文提出了两种新的局部差分隐私频率估计算法。一个解决了基频预言问题，另一个解决了著名的重打击识别问题。与现有技术一致，这些是随机算法。作为失效概率~ $β$的函数，前者对于每个~ $β$都能获得最优的最坏情况估计误差，而后者当~ $β$至少是用户数~ $n$的逆多项式时是最优的.在这两种算法中，服务器运行时间为~ $\tilde{O}(n)$，而用户运行时间为~ $\tilde{O}(1)$。我们的频率预言算法实现了比Basily等人的先前工作更低的估计误差。（NeurIPS 2017）。另一方面，我们的重命中者识别方法与TreeHist（Basily等人，2017），并且具有优越的最差情况误差，系数为$Ω(\sqrt{\log n})$。
2022-02-17 cs.CR cs.DS
On Differentially Private String Distances
Ensemble AI（安森布尔人工智能公司）；Northwestern University（西北大学）；Simons Institute for the Theory of Computing（西蒙斯计算理论研究所）；MIT（麻省理工学院）
针对字符串数据库距离估计任务，提出差分隐私数据结构，支持汉明和编辑距离，在隐私保护下实现高效查询，误差有界。
2024-11-08 cs.AI cs.CR cs.DS
An Effective and Differentially Private Protocol for Secure Distributed Cardinality Estimation
对分布在多个数据持有者上的不同元素的数量进行计数是从人群计数到网络监控的许多实际应用中的一个基本问题。尽管有许多空间和计算效率高的草图方法（例如，Flajolet-Martin草图和HyperLogLog草图）来解决上述问题，但是当考虑到与使用每个数据持有者的个人数据集相关的隐私问题时，这些草图方法是不安全的。尽管最近提出的协议，成功地实现了著名的Flajolet-Martin（FM）草图上的秘密共享为基础的多方计算（MPC）的框架，以解决问题的私人分布式基数估计（PDCE），我们观察到，这个MPC-FM协议是不是差分私人。此外，MPC-FM协议是计算昂贵的，这限制了其应用程序的数据持有者有限的计算资源。为了解决上述问题，在本文中，我们提出了一种新的协议DP-DICE，这是计算效率和差分私有的解决问题的PDCE。实验结果表明，我们的DP-DICE实现了数量级的加速，并减少了几倍的估计误差相比，在相同的安全要求下，与国家的艺术。
2023-02-04 cs.CR cs.DS
Papaya: Practical, Private, and Scalable Federated Learning
Meta AI
跨设备联邦学习（FL）是一种分布式学习范式，它具有与传统分布式学习不同的几个挑战，每个设备上的系统特性的可变性，以及与中央服务器协调的数百万客户端是主要的。文献中描述的大多数FL系统是同步的-它们执行来自各个客户端的模型更新的同步聚合。扩展同步FL具有挑战性，因为增加并行训练的客户端数量会导致训练速度的收益递减，类似于大批量训练。此外，掉队者阻碍同步外语训练。在这项工作中，我们概述了生产异步FL系统设计。我们的工作解决了上述问题，概述了一些系统设计挑战及其解决方案，并触及了为数百万客户构建生产FL系统所产生的原则。从经验上讲，我们证明了在近一亿台设备上训练时，异步FL比同步FL收敛得更快。特别是，在高并发设置中，异步FL比同步FL快5倍，通信开销几乎少8倍。
2022-04-25 cs.DC cs.LG
Noise-Aware Differentially Private Regression via Meta-Learning
University of Helsinki（赫尔辛基大学）；University of Cambridge（剑桥大学）；Microsoft Research AI for Science（微软研究院人工智能科学部）
本文提出DPConvCNP，将ConvCNP与改进的函数型差分隐私机制结合，通过元学习从模拟数据中学习将私有数据映射为DP预测模型，在非高斯数据上优于DP高斯过程基线，且测试更快、调优更少。
2025-05-08 cs.CR cs.LG stat.ML
DP-PCA: Statistically Optimal and Differentially Private PCA
University of Washington（华盛顿大学）；Google Research（谷歌研究院）
我们研究了从$n$ i.i.d.~计算主成分的规范统计任务。数据在$(\varepsilon,δ)$ -差分隐私下的$d$维度中。（$i$）即使对于高斯数据，现有的私有算法也需要样本数量$n$与$d$超线性地缩放，即，$n=Ω(d^{3/2})$，以获得非平凡的结果，而非私有PCA仅需要$n=O(d)$，并且（$ii$）现有技术即使在每个数据点中的随机性任意小时也遭受非零误差。我们提出DP-PCA，这是一个单通算法，克服了这两个限制。它是基于一个私人的小批量梯度上升方法，依赖于{ \em私人均值估计}，它增加了最小的噪音，以确保通过适应一个给定的小批量梯度的方差隐私。对于亚高斯数据，我们甚至为$n=\tilde O(d)$提供了接近最优的统计错误率。此外，我们提供了一个下界，表明亚高斯风格的假设是必要的，在获得最佳的错误率。
2022-05-27 cs.CR cs.IT cs.LG
Differentially Private Semantic Plans for Aggregate Insight Generation
Harvard University（哈佛大学）
DP-SPIN是一个可信策展人框架，通过将记录映射为语义草图并发布差分隐私语义计划，实现独立于受保护数据的语义概念的聚合测量与摘要生成。
2026-09-16 cs.LG
Screen Before You Fetch: Compressed Byzantine Screening for Decentralized Learning on the Edge-Cloud Continuum
School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院）；Department of Information and Computer Science, King Fahd University of Petroleum and Minerals（国王法赫德石油与矿物大学信息与计算机科学系）
SketchGuard 是一种基于 Sketch 筛选的拜占庭鲁棒去中心化联邦学习方法，修复了 naive 实现的安全漏洞，可在保证鲁棒性的同时降低通信开销，适用于多种攻击和任务场景。
2026-08-26 cs.DC cs.LG
Stabilizing Private LASSO under Heterogeneous Covariates via Anisotropic Objective Perturbation
Department of Information Science Ochanomizu University Bunkyo-ku, Tokyo, Japan（信息科学系, 陈仓区, 东京, 日本, 东方大学）；RIKEN center for AIP Chuo-ku, Tokyo, Japan（理化学研究所AIP研究中心, 东京都, 东京, 日本）
本文研究在差分隐私下高维LASSO的稳定性，提出基于Gram矩阵的各向异性目标扰动方法，通过预扭曲策略恢复估计过程的各向同性，提升统计效率和隐私性能。
2026-09-03 cs.IT cs.LG math.IT
Bounded Space Differentially Private Quantiles
估计大数据集的分位数是流算法文献和差分隐私文献中的基本问题。然而，所有现有的用于分布无关分位数计算的私有机制都需要输入大小$n$中至少线性的空间。在这项工作中，我们设计了一个差分隐私算法的分位数估计问题，具有强次线性空间复杂度，在一次和连续观察设置。我们的基本机制估计任何$α$ -近似分位数的长度$n$流在数据宇宙$\mathcal{X}$概率$1-β$使用$O\left( \frac{\log (|\mathcal{X}|/β) \log (αεn)}{αε} \right)$空间，同时满足$ε$ -差分隐私在一个单一的时间点。我们的方法建立在确定性流算法的非私人分位数估计实例化的指数机制，使用的效用函数定义的草图项目，而（私人）从定义的间隔采样的草图。我们还提出了另一种算法的基础上直方图，特别适合于多个分位数的情况下。我们实现了我们的算法，并在合成和真实世界的数据集上进行了实验评估。
2022-01-10 cs.CR cs.DB cs.DS
Online differentially private inference in stochastic gradient descent
针对流式实时数据与无可信管理者场景，提出满足局部差分隐私的单遍带噪随机梯度下降算法，并建立置信区间、收敛速率和泛函中心极限定理。
2025-06-10 stat.ME
Order-Invariant Cardinality Estimators Are Differentially Private
我们认为隐私的情况下，流算法的基数估计。我们发现，一个大类的算法都满足$ε$ -差分隐私，只要（a）该算法是一个简单的下采样过程相结合，和（b）的基数的输入流是$Ω(k/ε)$。这里，$k$是草图的某个参数，其总是至多为草图尺寸（以位为单位），但通常小得多。我们还表明，即使没有修改，在我们的类中的算法满足$(ε, δ)$ -差分隐私，其中$δ$指数下降的流基数。我们的分析适用于基本上所有流行的基数估计算法，并大大概括和收紧隐私范围从早期的作品。
2023-02-03 cs.DS
Graph Spanners by Sketching in Dynamic Streams and the Simultaneous Communication Model
图素描是一个强大的技术介绍的开创性工作的Ahn，Guha和McGregor'12的连接在动态图形流，从那时起，在文献中享有相当大的关注，并导致了近最佳的动态流算法的许多基本问题，如连接，削减和频谱稀疏和匹配。然而，有趣的是，近似图的最短路径度量的草图和动态流的复杂性仍然远未得到很好的理解。除了经典构造的直接$k$ -通路实现（最近由Fernandez、Woodruff和Yasuda改进为$\lfloor\frac k2\rfloor+1$ -通路'20）之外，现有技术相当于Ahn、Guha和McGregor'12的$O(\log k)$ -通路算法，以及Kapralov和Woodruff'14的$2$ -通路算法.特别是，没有单遍算法是已知的，并且遍数、拉伸和空间复杂度之间的最佳折衷是开放的。在本文中，我们介绍了几个新的图形素描技术近似的最短路径度量的输入图。我们给出了第一个{ \em单遍}绘制算法，用于构建图空间：我们展示了如何使用$\widetilde{O}(n)$空间获得$\widetilde{O}(n^{\frac23})$ -图，以及在一般情况下，对于每个$α\in [0, 1]$，使用$\widetilde{O}(n^{1+α})$空间获得$\widetilde{O}(n^{\frac23(1-α)})$ -图，我们认为这种折衷可能接近最优。我们还给出了新的构造算法，任…
2020-11-12 cs.DS
Single Pass PCA of Matrix Products
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
本文提出了一种新的计算乘积$A^TB$的低秩近似的算法，该算法只对两个矩阵$A$和$B$进行一次遍历.最直接的方法是：（a）首先分别绘制$A$和$B$，然后（b）在草图上使用PCA找到顶部组件。相比之下，我们的算法保留了关于$A,B$的附加摘要信息（例如，行和列范数等）。并使用该附加信息从草图获得改进的近似。我们的主要分析结果建立了与现有两遍方法相当的谱范数保证;此外，我们还提供了Apache Spark实现的结果，该结果在真实世界和合成评估数据集上显示出更好的计算和统计性能。
2016-10-26 cs.DS cs.IT cs.LG
VertiMRF: Differentially Private Vertical Federated Data Synthesis
针对纵向联邦设置下数据合成的隐私与跨方属性相关性重建难题，提出差分隐私算法VertiMRF，结合Flajolet-Martin sketch和MRF重建全局数据，并引入降维与一致性强制技术，有效提升了合成数据的隐私保护与效用。
2024-06-27 cs.DS
Improved Differentially Private Euclidean Distance Approximation
这项工作展示了如何私下和更准确地估计向量对之间的欧氏距离。输入向量$x$和$y$被映射到差异私有草图$x'$和$y'$，从中可以估计$x$和$y$之间的距离。我们的估计器依赖于Kane \& Nelson的Sparser Johnson-Lindenstrauss构造（Journal of the ACM 2014），对于任何$0<α,β<1/2$，该构造具有最佳输出维度$k=Θ(α^{-2}\log(1/β))$和稀疏度$s=O(α^{-1}\log(1/β))$。我们结合的建设凯恩\和纳尔逊与拉普拉斯或高斯机制从差分隐私文献，根据隐私参数$\varepsilon$和$δ$。我们还建议Ailon \& Chazelle（SIAM Journal of Computing 2009）的快速约翰逊-林登施特劳斯变换（FJLT）的差分私有版本，它为某些参数的方差提供了速度上的权衡。我们回答了Kenthapadi等人提出的一个开放性问题。（Journal of Privacy and Confidential 2013）通过分析欧氏距离估计器的隐私和效用保证，依赖于拉普拉斯而不是高斯噪声。我们证明，拉普拉斯机制产生较低的方差比高斯机制时，$δ<β^{O(1/α)}$。因此，我们的工作比Kenthapadi等人的工作有所改进。通过对足够小的$δ$给出具有较低方差的更有效的估计器。我们的草图…
2022-03-22 cs.DS
Single Pass Spectral Sparsification in Dynamic Streams
我们提出了第一个单遍算法计算谱稀疏的动态半流模型。给定一个包含插入和删除边的流到图G的单次遍历，我们的算法保持G的关联矩阵的随机线性草图为O（（1/epsilon ^2）n polylog（n））。使用此草图，在任何点，该算法都可以以高概率输出G的（1 +/-π）谱稀疏因子。虽然O（（1/epsilon^2）n polylog（n））空间算法已知用于计算动态流中的“切割稀疏器”[AGM 12 b，GKP 12]和“仅插入”流中的谱稀疏器[KL 11]，但在我们的工作之前，用于在动态流中维护谱稀疏器的最著名的单遍算法需要尺寸Omega（（1/epsilon^2）n^（5/3））的草图[AGM 14]。为了实现我们的结果，我们表明，使用粗稀疏的G和G的关联矩阵的线性草图，它是可能的采样边缘的有效电阻，获得一个频谱稀疏的任意精度。从草图中采样需要ell_2/ell_2稀疏恢复的新应用，这是[AGM 12 b]中用于切割稀疏器的ell_0方法的自然扩展。最近的工作[MP 12]行采样矩阵近似给出了一个递归的方法来获得所需的粗稀疏。在一定的限制下，我们的方法还扩展到保持一般矩阵A^T A的谱近似的问题，给定A中的行的更新流。
2015-04-16 cs.DS
Differentially Private Linear Algebra in the Streaming Model
数值线性代数在计算机科学中占有重要地位。在本文中，我们开始研究执行线性代数任务，同时保护隐私时，数据流在线。我们主要关注的是隐私保护数据结构的空间需求。我们给出了第一个基于{ \em sketch-based}的差分隐私算法。我们给出了最佳的，对数因子，空间数据结构，可以计算低秩近似，线性回归，矩阵乘法，同时保持差分隐私更好的添加剂的误差界相比，已知的结果。值得注意的是，我们匹配了Kane和Nelson在非私有环境中最著名的空间界（J. ACM，61（1）：4）。我们的差分私有低秩近似{ \em重用}随机高斯矩阵的机制，以特定的方式提供一个单通道机制。我们证明，由此产生的分布也保持差分隐私。这可以是独立的利益。我们不做任何假设，如奇异值分离或归一化行假设，在早期的作品。矩阵乘法和线性回归的机制可以被看作是已知的非私有算法的私有模拟。我们所有的机制，在所提出的形式，也可以在分布式设置计算。
2017-10-25 cs.CR cs.DS
Active Sampling Count Sketch (ASCS) for Online Sparse Estimation of a Trillion Scale Covariance Matrix
估计和存储高维数据的协方差（或相关性）矩阵在计算上是具有挑战性的，因为存储器和计算需求都与维度成二次比例。幸运的是，在文本、点击、元基因组数据集等中观察到的高维协方差矩阵通常是稀疏的。在本文中，我们考虑的问题，有效的稀疏估计的协方差矩阵与可能的数万亿元。我们目标数据集的大小要求算法在线，因为超过一次的数据传递是禁止的。在本文中，我们提出了主动采样计数素描（ASCS），在线和一遍素描算法，准确地恢复协方差矩阵的大条目。计数草图（CS），和其他次线性压缩感知算法，提供了一个自然的解决方案，在理论上的问题。然而，由于低信噪比（SNR），普通CS在实践中不能很好地工作。在我们的方法的核心是一种新的主动采样策略，增加了经典CS的SNR。我们证明了我们的算法的实用性与合成数据和现实世界的高维数据集。ASCS显着改善了香草CS，证明了我们的主动采样策略的优点。
2021-06-11 cs.DS stat.CO
Local Differentially Private Fuzzy Counting in Stream Data using Probabilistic Data Structure
流数据中的项的计数的隐私保护估计在包括单词自动校正和流量管理应用的若干真实世界场景中找到应用。RAPPOR和Apple的计数平均草图（CMS）算法的最新工作提出了隐私保护机制，用于使用概率数据结构（如计数布隆过滤器和CMS）在大量数据中进行计数估计。然而，这些现有的方法不足以为实时流数据应用提供合理的解决方案。在这项工作中，我们提出了一种新的（本地）差分私有机制，提供了高效用的流数据计数估计问题与类似或甚至更低的隐私预算，同时提供：a）模糊计数报告计数相关或类似的项目（例如，以占打字错误和数据变化），和b）提高查询效率，以减少实时查询计数的响应时间。我们提供了正式的证据，隐私和效用的保证，并提出了广泛的实验评估我们的算法，使用真实和合成的英语单词数据集的精确和模糊计数的情况。我们的隐私保护机制大大优于以前的工作，在查询时间较低，显着更高的效用（计数估计的准确性）类似或较低的隐私保证，在通信开销的成本。
2022-11-30 cs.CR cs.DS
Pan-private Algorithms: When Memory Does Not Help
考虑在线到达的更新，其中第$t$个输入是$(i_t,d_t)$，其中$i_t$被认为是用户的ID。非正式地，随机化函数$f$相对于ID是{ \em差分隐私}，如果由$f$引起的概率分布与由它在输入上引起的概率分布没有太大不同，其中ID $j$的出现被一些其他ID $k$替换。最近，这个概念被扩展到{ \em泛隐私}，其中$f$的计算保留差分隐私，即使算法的内部存储器被暴露给对手（例如通过恶意闯入或通过政府的命令）。这是一个很强的隐私概念，令人惊讶的是，对于基本的计数任务，如不同的计数，重打击者和其他人，Dwork等人~ \cite{dwork-pan}提出了泛隐私算法具有合理的准确性。泛私有算法是不平凡的，并且依赖于采样。我们重新审视这些基本的计数任务，并显示改进的界限。特别地，我们估计不同计数$\Dt$在$(1\pm \eps)\Dt \pm O(\polylog m)$内，其中$m$是宇宙中元素的数量。这使用了流文学中已知的草图上的适当噪声统计。我们还提出了第一个已知的泛隐私的下限相对于一个单一的入侵。我们的下限表明，即使允许无限内存，泛私有算法的不同计数不能显着更准确地比我们的算法。我们的下界使用噪声解码。对于沉重的打击计数，我们提出了一个泛私人流算法，是准确的$O(k)$在最坏的情况下，以前已知的界限，这个问题是任意更糟。我们的泛私有算法的一个有趣的方面是，它们故意使用非常…
2010-09-08 cs.CR cs.DS
Multipass Linear Sketches for Geometric LP-Type Problems
针对低维高精度几何LP型问题，提出多趟线性草图算法，在多趟模型下实现空间复杂度指数级改进，并证明了单趟算法的下界。
2025-07-16 cs.DS
Settling the Pass Complexity of Approximate Matchings in Dynamic Graph Streams
本文通过提出基于sketching的 $O(\log\log{n})$ 遍历半流式 $O(1)$-近似最大匹配算法，并证明匹配的 $Ω(\log\log{n})$ 遍历下界，确定了动态图流中近似匹配的最优遍历复杂度。
2024-07-30 cs.CC cs.DS
Private Synthetic Data Generation in Bounded Memory
CSIRO’s Data61（CSIRO数据61）
本文提出了一种在受限内存中实现差分隐私的合成数据生成方法PrivHP，通过层次分解和剪枝参数平衡空间与效用，提供灵活的隐私保护与数据生成能力。
2025-12-09 cs.CR cs.DS
Cardinality Estimators do not Preserve Privacy
像HyperLogLog这样的基数估计器是一种草图算法，用于估计大型多集中不同元素的数量。在隐私敏感的情况下使用它们提出了它们是否泄露私人信息的问题。特别是，它们能在保持强大的聚合属性的同时提供任何隐私保证吗？我们制定了一个抽象的概念基数估计，捕捉这种聚合的要求：一个可以合并草图，而不会失去精度。我们提出了一个攻击者模型和相应的隐私定义，严格弱于差分隐私：我们假设攻击者没有数据的先验知识。然后，我们表明，如果基数估计满足这个定义，那么它不能有一个合理的精度水平。我们证明了类似的结果，我们的定义较弱的版本，并分析现有算法的隐私，显示他们的平均隐私损失是显着的，即使是大基数的多集。我们的结论是，强大的聚合要求与任何合理的隐私定义是不相容的，基数估计应被视为敏感的原始数据。我们还提出了风险缓解策略，为他们的现实世界的应用。
2018-12-18 cs.CR cs.DS
User-level Differentially Private Stochastic Convex Optimization: Efficient Algorithms with Optimal Rates
Apple Inc.（苹果公司）；University of Washington（华盛顿大学）
针对用户级隐私下DP-SCO现有算法存在的超多项式耗时或用户数需随维度多项式增长的问题，提出结合新型私有均值估计的多轮DP-SGD算法，实现多项式时间下的最优收敛速率且用户数仅需随维度对数增长。
2023-11-07 cs.CR cs.DS cs.LG
Frequency Estimation with One-Sided Error
频率估计是流媒体算法中最基本的问题之一。给定来自某个全域$U=\{1 \ldots n\}$的元素的流$S$，目标是在单遍中计算$S$的简短草图，使得对于任何元素$i \in U$，可以仅基于草图来估计$S$中$i$出现的次数$x_i$。两个国家的最先进的解决方案，这个问题是计数最小和计数素描算法。由Count-Min产生的频率估计器$\tilde{x}$使用$O(1/\varepsilon \cdot \log n)$维数，保证$\|\tilde{x}-x\|_{\infty} \le \varepsilon \|x\|_1$具有高概率，并且$\tilde{x} \ge x$确定性地保持。此外，Count-Min在假设$x \ge 0$ .另一方面，Count-Sketch使用$O(1/\varepsilon^2 \cdot \log n)$尺寸，保证$\|\tilde{x}-x\|_{\infty} \le \varepsilon \|x\|_2$具有高概率。一个自然的问题是，是否有可能设计出两全其美的草图绘制方法，其误差保证取决于$\ell_2$范数和与Count-Sketch相当的空间，但（像Count-Min）也具有不可低估的属性。我们的主要结果表明，对上述问题的答案是否定的。我们在两个无与伦比的计算模型：线性素描和流算法。我们还研究了补充问题，其中要求草图不高估，即，$…
2021-11-06 cs.CC cs.DS
Differentially Private Continual Releases of Streaming Frequency Moment Estimations
计算的流模型是处理大规模数据的流行方法。在这种设置中，有一个项目流，目标是计算所需的数量（通常是数据统计），同时通过流进行单次传递并使用尽可能少的空间。出于数据隐私的重要性，我们开发了差分隐私流媒体算法下的连续发布设置，在每个时间戳的算法的输出的联合必须是差分隐私。具体地说，我们研究了基本的$\ell_p$ $(p\in [0,+\infty))$频率矩估计问题在此设置下，并给出了一个$\varepsilon$算法，实现$(1+η)$ -相对近似$(\forall η\in(0,1))$与$\mathrm{poly}\log(Tn)$添加性误差和使用$\mathrm{poly}\log(Tn)\cdot \max(1, n^{1-2/p})$空间，其中$T$是流的长度和$n$是宇宙的元素的大小。我们的空间是接近最佳的多对数因子，即使在非私人设置。为了获得我们的结果，我们首先减少了几个原语下的差分私有连续发布模型，如计数不同的元素，重打击者和计数低频元素，在相同的设置更简单，计数/求和问题。基于这些原语，我们开发了一种差分私有连续释放水平集估计方法来解决$\ell_p$频率矩估计问题。我们还提供了一个简单的扩展，我们的结果更硬的滑动窗口模型，统计数据必须保持在过去的$W$数据项。
2023-01-13 cs.DS
Recognizing well-parenthesized expressions in the streaming model
出于一个具体的问题和理解的意义上的流算法的复杂性与形式语言的复杂性的目标，我们调查的问题Dyck（S）检查匹配括号，与$s$不同类型的括号。我们提出了一个Dyck（2）的单通道随机流算法，具有空间$\Order(\sqrt{n}\log n)$，每个字母的时间$\polylog (n)$和单侧误差。我们证明，这种一次通过算法是最佳的，一个$\polylog n$的因素，即使当双侧错误是允许的。对于下界，我们证明了一个直接和硬实例的结果，通过以下的“信息成本”的方法，但有一些曲折。事实上，我们在公共和私人硬币之间玩着微妙的游戏。公共和私人硬币之间的这种混合是由于直接和结果与基本情况的组合下限之间的平衡行为。令人惊讶的是，如果我们可以反向访问输入流，空间需求会大大减少。我们提出了一个Dyck（2）的两遍随机流算法，该算法具有空间$\Order((\log n)^2)$、时间$\polylog (n)$和单侧误差，其中第二遍是反向的.这两个算法都可以扩展到Dyck（s），因为这个问题可以简化为Dyck（2），以便在流模型中找到合适的简化概念。
2009-11-17 cs.CC cs.DS
