Private Continual Release of Real-Valued Data Streams
我们提出了一种不同的私有机制来显示统计信息(例如,移动平均值),其中每个观测值的界限要么过于保守,要么事先未知。这与实时数据监测和报告的场景特别相关,例如,通过智能电表获取能源数据。我们的重点是真实世界的数据流,其分布是轻尾的,这意味着尾部接近零至少与指数分布一样快。对于这样的数据流,预计单个观测值将集中在未知阈值以下。从数据中估计这个阈值可能会侵犯隐私,因为它会揭示与个人相关的特定事件[1]。另一方面,过于保守的阈值可能会通过添加比必要的更多的噪声来影响准确性。我们构造了一个效用优化的差分隐私机制,以释放这个阈值的基础上的输入流。与最先进的算法相比,我们的主要优势在于,添加到流的每个观察结果中的噪声被缩放到阈值,而不是可能更大的界限;当差异显着时,会导致相当大的效用增益。使用两个真实世界的数据集,我们证明了我们的机制,平均而言,提高了3.5倍的第一个数据集上的效用,和9对其他。虽然我们的主要重点是持续发布统计数据,但我们发布阈值的机制可以用于其他各种应用程序,其中需要对输入分布的规模进行(隐私保护)测量。
2018-11-08 cs.CR cs.DS
Time-Aware Projections: Truly Node-Private Graph Statistics under Continual Observation
Boston University(波士顿大学)
本文提出首批在持续发布设置下满足节点差分隐私的算法,通过设计基于时间感知的图流投影技术,在满足可私有测试安全条件时实现稳定投影,从而在稀疏图上以最优误差解决边、三角形等基本图统计问题。
2025-11-05 cs.CR cs.DS
Differentially Private Hierarchical Heavy Hitters
University of Warwick(华威大学);University of Oxford(牛津大学);AT&T Research(AT&T研究院)
研究差分隐私下层次重击者(HHH)的发布问题,在非流式设置中前缀残差计数的相对误差与层次高度和重击者数量无关;在流式设置中频率估计的绝对误差与可用空间无关。
2026-06-12 cs.CR cs.DS
Improved Accuracy for Private Continual Cardinality Estimation in Fully Dynamic Streams via Matrix Factorization
Institute of Science and Technology Austria(奥地利科学与技术研究所);Department of Computer Science, Boston University(波士顿大学计算机科学系)
本文通过矩阵分解改进了全动态流中私有连续基数估计的精度,提升了计数不同元素、度直方图和三角计数的误差界。
2026-01-05 cs.CR cs.DS cs.LG
Online Differentially Private Consistent Clustering
Google Research(谷歌研究);Tel Aviv University(特拉维夫大学);Google(谷歌);Google Deepmind(谷歌DeepMind)
该研究针对在线流环境下的差分隐私聚类问题,提出通用归约方法,使算法在近似比、空间与时间性能上优于或匹配现有方法,且继承了非私有聚类算法的一致性属性。
2026-08-31 cs.CR cs.DS
Local Differentially Private Fuzzy Counting in Stream Data using Probabilistic Data Structure
流数据中的项的计数的隐私保护估计在包括单词自动校正和流量管理应用的若干真实世界场景中找到应用。RAPPOR和Apple的计数平均草图(CMS)算法的最新工作提出了隐私保护机制,用于使用概率数据结构(如计数布隆过滤器和CMS)在大量数据中进行计数估计。然而,这些现有的方法不足以为实时流数据应用提供合理的解决方案。在这项工作中,我们提出了一种新的(本地)差分私有机制,提供了高效用的流数据计数估计问题与类似或甚至更低的隐私预算,同时提供:a)模糊计数报告计数相关或类似的项目(例如,以占打字错误和数据变化),和b)提高查询效率,以减少实时查询计数的响应时间。我们提供了正式的证据,隐私和效用的保证,并提出了广泛的实验评估我们的算法,使用真实和合成的英语单词数据集的精确和模糊计数的情况。我们的隐私保护机制大大优于以前的工作,在查询时间较低,显着更高的效用(计数估计的准确性)类似或较低的隐私保证,在通信开销的成本。
2022-11-30 cs.CR cs.DS
Bounded Space Differentially Private Quantiles
估计大数据集的分位数是流算法文献和差分隐私文献中的基本问题。然而,所有现有的用于分布无关分位数计算的私有机制都需要输入大小$n$中至少线性的空间。在这项工作中,我们设计了一个差分隐私算法的分位数估计问题,具有强次线性空间复杂度,在一次和连续观察设置。我们的基本机制估计任何$α$ -近似分位数的长度$n$流在数据宇宙$\mathcal{X}$概率$1-β$使用$O\left( \frac{\log (|\mathcal{X}|/β) \log (αεn)}{αε} \right)$空间,同时满足$ε$ -差分隐私在一个单一的时间点。我们的方法建立在确定性流算法的非私人分位数估计实例化的指数机制,使用的效用函数定义的草图项目,而(私人)从定义的间隔采样的草图。我们还提出了另一种算法的基础上直方图,特别适合于多个分位数的情况下。我们实现了我们的算法,并在合成和真实世界的数据集上进行了实验评估。
2022-01-10 cs.CR cs.DB cs.DS
Differentially Private Continual Release with Relative Error
The Hong Kong University of Science and Technology(香港科技大学);Guangzhou HKUST Fok Ying Tung Research Institute(广州香港科技大学福耀研究院)
该研究针对差分隐私下持续发布模型的四类任务,证明非自适应输入流下引入相对误差可大幅降低误差,自适应流下仅选最小累计和属性任务误差大,其余任务仍可保小误差,补充了匹配下界。
2026-08-21 cs.DS
Differentially Private Clustering in Data Streams
Google(谷歌);Columbia University(哥伦比亚大学);Purdue University(普渡大学)
本研究针对流式聚类的隐私保护需求,提出首个持续发布设置下的次线性空间差分隐私$k$-均值/$k$-中位数聚类框架,实现两种近似保证且仅需离线DP算法作为黑盒。
2025-10-02 cs.CR cs.DS cs.LG
OptStream: Releasing Time Series Privately
Georgia Institute of Technology(佐治亚理工学院)
机器学习和优化的许多应用都是在数据流上操作的。虽然这些数据集是推动决策算法的基础,但它们通常包含有关个人的敏感信息,其使用会带来重大的隐私风险。受能源系统中的应用启发,本文提出了OPTSTREAM,一种新的算法,用于释放不同的隐私数据流隐私的w-事件模型。OPTSTREAM是一个由采样、扰动、重建和后处理模块组成的4步过程。首先,采样模块在每个感兴趣的时段中选择一小组点进行访问。然后,扰动模块向采样数据点添加噪声以保证隐私。接下来,重构模块从扰动的采样点重新组装未采样的数据点。最后,后处理模块对先前模块的私有输出以及数据流上的附加查询的私有答案使用凸优化,以通过重新分布添加的噪声来提高准确性。OPTSTREAM的测试案例进行评估,涉及从欧洲最大的传输运营商的真实数据流的释放。实验结果表明,OPTSTREAM不仅可以提高国家的最先进的方法的准确性至少一个数量级,但也支持准确的负荷预测的私人数据。
2018-10-30 cs.AI cs.CR cs.DB
Differentially Private Space-Efficient Algorithms for Counting Distinct Elements in the Turnstile Model
本文针对转门流式模型中计数不同元素问题,提出首个次线性空间差分隐私算法,在任意数据流上实现 $\tilde{O}_η(T^{1/3})$ 空间与加性误差,显著改进了现有线性空间需求,并给出了匹配的空间下界。
2025-05-29 cs.CR cs.DS
Streaming Private Continual Counting via Binning
Basic Algorithms Research Copenhagen(哥本哈根大学基础算法研究中心);University of Copenhagen(哥本哈根大学)
针对差分隐私下持续计数在流式设置中空间开销过大的问题,提出基于分箱的低空间近似分解机制,在保证亚线性空间的同时匹配甚至超越渐近最优机制性能。
2025-03-06 cs.CR cs.DS cs.LG
Pan-private Algorithms: When Memory Does Not Help
考虑在线到达的更新,其中第$t$个输入是$(i_t,d_t)$,其中$i_t$被认为是用户的ID。非正式地,随机化函数$f$相对于ID是{ \em差分隐私},如果由$f$引起的概率分布与由它在输入上引起的概率分布没有太大不同,其中ID $j$的出现被一些其他ID $k$替换。最近,这个概念被扩展到{ \em泛隐私},其中$f$的计算保留差分隐私,即使算法的内部存储器被暴露给对手(例如通过恶意闯入或通过政府的命令)。这是一个很强的隐私概念,令人惊讶的是,对于基本的计数任务,如不同的计数,重打击者和其他人,Dwork等人~ \cite{dwork-pan}提出了泛隐私算法具有合理的准确性。泛私有算法是不平凡的,并且依赖于采样。我们重新审视这些基本的计数任务,并显示改进的界限。特别地,我们估计不同计数$\Dt$在$(1\pm \eps)\Dt \pm O(\polylog m)$内,其中$m$是宇宙中元素的数量。这使用了流文学中已知的草图上的适当噪声统计。我们还提出了第一个已知的泛隐私的下限相对于一个单一的入侵。我们的下限表明,即使允许无限内存,泛私有算法的不同计数不能显着更准确地比我们的算法。我们的下界使用噪声解码。对于沉重的打击计数,我们提出了一个泛私人流算法,是准确的$O(k)$在最坏的情况下,以前已知的界限,这个问题是任意更糟。我们的泛私有算法的一个有趣的方面是,它们故意使用非常…
2010-09-08 cs.CR cs.DS
Smoothness of Schatten Norms and Sliding-Window Matrix Streams
大型矩阵通常作为行顺序流访问。我们认为设置行是时间敏感的(即他们到期),这可以描述的滑动窗口行顺序模型,并提供了第一个$(1+ε)$近似Schatten $p$ -规范在此设置。我们的主要技术贡献是证明了Schatten $p$ -范数在行顺序流中是平滑的,因此适合于滑动窗口流的Braverman和Ostrovsky(FOCS 2007)的平滑直方图技术。
2021-11-23 cs.DS
Space-Efficient Private Estimation of Quantiles
针对流式分位数估计的空间与隐私需求,提出三种仅需1-2个存储单元的差分隐私节俭式分位数估计算法,给出理论分析与实验结果,兼顾近似误差保证与隐私保护。
2025-06-12 cs.CR cs.DS
Sublinear Space Graph Algorithms in the Continual Release Model
针对连续发布模型中边差分隐私图算法的不足,本文利用稀疏化技术提出亚线性空间算法,输出顶点子集解决方案并获新成果,还给出全动态场景下界。
2025-04-16 cs.CR cs.DS
How to Make Your Approximation Algorithm Private: A Black-Box Differentially-Private Transformation for Tunable Approximation Algorithms of Functions with Low Sensitivity
提出一种黑盒框架,利用平滑敏感度技术将低敏感度函数的可调近似算法转换为差分隐私变体,在不牺牲精度的前提下,为图论、流式及滑动窗口算法提供了首批隐私保护方案。
2023-09-11 cs.CR cs.DS
Efficient Differentially Private $F_0$ Linear Sketching
线性草图的一个强大功能是,从两个数据向量的草图中,可以计算出向量之间的差异。这使我们能够回答关于两个数据集之间差异的细粒度问题。在这项工作中,我们考虑如何构建加权$F_0$的草图,即,数据集中元素的权重之和,这些权重很小,差异私有,并且计算效率高。假设给出权重向量$w\in(0,1]^u$。对于$x\in\{0,1\}^u$,我们感兴趣的是估计$\Vert x\circ w\Vert_1$,其中$\circ$是Hadamard乘积(入口乘积)。基于Kushilevitz等人的技术~ (STOC 1998),我们引入了一个草图(取决于$w$),它是线性的GF(2),映射向量$x\in \{0,1\}^u$到$Hx\in\{0,1\}^τ$的矩阵$H$从一个合适的分布$\mathcal{H}$采样。差分隐私是通过使用随机响应,翻转概率$p<1/2$的$Hx$的每一位。我们表明,对于$0<β< 1$和$\varepsilon=O(1)$的每个选择,存在$p<1/2$和大小为$τ= O(\log^2(u)\varepsilon^{-2}β^{-2})$的线性草图的分布$\mathcal{H}$,使得:1)对于随机$H\sim\mathcal{H}$和噪声向量$φ$,给定$Hx + φ$,我们可以计算$\Vert x\circ w\Vert_1$的估计,该估计在因子$1\pmβ$加上加性误差…
2020-09-29 cs.DS
Improved Differentially Private Continual Observation Using Group Algebra
本文建立差分隐私持续加权前缀和机制与群代数中群矩阵的联系,通过分解范数分析获得匹配最优非构造界的高效构造,并改进及扩展多类权函数的加性误差上界。
2025-02-15 cs.DS
Private Continual Counting of Unbounded Streams
Department of Computer Sciences University of Wisconsin — Madison(计算机科学系威斯康星大学麦迪逊分校);Department of Electrical and Computer Engineering University of Wisconsin — Madison(电气与计算机工程系威斯康星大学麦迪逊分校)
本研究提出一种无界流的隐私连续计数算法,通过引入基于对数扰动的矩阵分解,实现平滑误差和更优的方差与空间效率。
2026-11-10 cs.CR cs.DS cs.LG
The Binary Tree Mechanism is Optimal for Differentially Private Continual Counting
Aarhus University(奥胡斯大学)
本文证明在近似差分隐私下,连续计数问题的任何机制都必须有期望ℓ∞误差Ω(log^{3/2} n),从而表明二叉树机制是渐近最优的。
2026-10-22 cs.CR cs.DS cs.LG
On Low-Space Differentially Private Low-rank Factorization in the Spectral Norm
低秩因式分解在计算机科学的许多领域中使用,其中对以矩阵形式存储的大型敏感数据执行谱分析。本文研究了旋转栅门更新模型中矩阵关于谱范数的差分私有低秩分解。在该问题中,给定以旋转栅门方式更新的输入矩阵$\mathbf{A} \in \mathbb{R}^{m \times n}$和目标秩$k$,目标是找到两个秩- $k$正交矩阵$\mathbf{U}_k \in \mathbb{R}^{m \times k}$和$\mathbf{V}_k \in \mathbb{R}^{n \times k}$,以及一个半正定对角矩阵$\textbfΣ_k \in \mathbb{R}^{k \times k}$,使得$\mathbf{A} \approx \mathbf{U}_k \textbfΣ_k \mathbf{V}_k^\mathsf{T}$关于谱范数。我们的主要贡献是两个计算效率和次线性空间算法计算差分私人低秩分解。我们考虑两个层次的隐私。在隐私的第一级,我们认为两个矩阵相邻,如果他们的差异有一个Frobenius范数至多$1$。在第二层次的隐私,我们认为两个矩阵相邻,如果他们的差异可以表示为两个单位向量的外积。这两个隐私级别都比早期论文中研究的那些更强,例如Dwork { \it et al.} (STOC 2014),Hardt和Roth(STOC 2013),以及Hardt和Price…
2016-11-28 cs.CR cs.DS
Improved Utility Analysis of Private CountSketch
草绘是处理稀疏(或由稀疏向量很好地近似)的高维向量的重要工具,在分布式、并行和流设置中特别有用。众所周知,草图可以通过根据草图的敏感性添加噪声来进行差异化隐私,并且这已经用于隐私分析和联邦学习设置中。差分隐私的后处理属性意味着从草图计算的所有估计可以在给定的隐私预算内发布。在本文中,我们考虑了经典的CountSketch,差分私有的高斯机制,并给出了一个改进的分析,其估计误差。也许令人惊讶的是,隐私-效用权衡基本上是人们所希望的最好结果,与CountSketch中的重复次数无关:错误几乎与非私有CountSketch的错误相同,加上在原始高维域中使向量私有所需的噪声。
2022-10-12 cs.CR cs.DS
Streaming Symmetric Norms via Measure Concentration
我们描述了每个对称范数$l$(符号翻转和坐标置换下$\mathbb{R}^n$不变的范数)的流空间复杂度,通过将此空间复杂度与$l$的测量集中特性相关联。具体来说,我们提供几乎匹配的上界和下界的空间复杂性计算的$(1\pmε)$近似的规范的流,为每一个$0<ε\leq 1/2$。(The边界与$poly(ε^{-1} \log n)$因子匹配。)我们进一步扩展这些边界到任何大的近似比$D\geq 1.1$,表明空间复杂度的降低与$D^2$成正比,并且这个因素是最好的。当$x$从$l_2$单位球面均匀绘制时,所有边界都取决于$l(x)$的中值。同一个中位数支配着高维空间中的许多现象,例如大偏差界和Dvoretzky定理中的临界维数。对称规范的家庭包含几个良好的研究规范,如所有$l_p$规范,事实上,我们提供了一个新的解释$p\le 2$和$p>2$之间的空间复杂性的差距。此外,我们应用我们的一般结果来轻松地推导出几个规范的界限,这些规范在流模型中以前没有研究过,包括顶部$k$规范和$k$支持规范,这是最近用于机器学习任务。总的来说,这些结果在次线性算法领域的两个突出问题(问题5和30在~ \url{http://sublinear.info})上取得了进展。
2017-06-26 cs.DS
All-Norm Load Balancing in Graph Streams via the Multiplicative Weights Update Method
在加权负载均衡问题中,输入是一组客户端和一组服务器之间的$n$ -顶点二分图,每个客户端都具有一定的非负实权重。输出是将每个客户端映射到其相邻服务器之一的分配,然后服务器的负载是分配给它的客户端的权重之和。目标是找到平衡良好的分配,通常通过(近似)最小化服务器负载的$\ell_\infty$或$\ell_2$范数来捕获。概括这两个目标,全范数负载均衡问题要求一个分配,近似最小化所有$\ell_p$范数目标的$p \ge 1$,包括$p = \infty$,同时。我们的主要结果是一个确定的$O(\log{n})$ -通过$O(1)$ -近似半流算法的所有范数负载均衡问题。在我们的工作之前,在半流设置中仅已知用于$\ell_\infty$ -范数目标的$O(\log{n})$ -通过$O(\log{n})$ -近似算法。我们的算法使用了一种新的应用程序的乘法权重更新方法的混合覆盖/包装凸规划的所有规范的负载均衡问题,涉及无限多的约束。
2023-01-17 cs.DS
Universal Streaming of Subset Norms
在计算的流模型中的大多数已知算法旨在近似单个函数,诸如$\ell_p$ -范数。在2009年,Nelson [ \url{https://sublinear.info},Open Problem 30]询问是否有可能设计出同时逼近流的多个函数的\emph{universal algorithms}。在本文中,我们回答了Nelson的问题的类\emph{subset $\ell_0$-norms}在插入只有频率向量模型。给定一系列子集$\mathcal{S}\subset 2^{[n]}$,我们提供了一个单一的流算法,可以$(1\pm ε)$ -近似的子集范数为每个$S\in\mathcal{S}$。这里,相对于集合$S\subseteq [n]$的$v\in \mathbb{R}^n$的子集- $\ell_p$-范数是向量$v_{|S}$的$\ell_p$ -范数(其表示通过将所有其他坐标归零来将$v$限制为$S$).我们的主要结果是一个近紧的空间复杂性的每一个家庭$\mathcal{S}\subset 2^{[n]}$的子集- $\ell_0$ -规范的插入只流,表示在“重打击尺寸”的$\mathcal{S}$,一个新的组合量,这是有关的VC-尺寸的$\mathcal{S}$。相比之下,我们表明,更一般的旋转栅门和滑动窗口模型需要更大的空间使用。所有这些结果很容易扩展到$\ell…
2020-04-05 cs.DS
DPSW-Sketch: A Differentially Private Sketch Framework for Frequency Estimation over Sliding Windows (Technical Report)
East China Normal University(华东师范大学);Zhejiang University(浙江大学)
针对滑动窗口数据流中的敏感频率估计与重击者识别问题,提出基于 count-min sketch 的差分隐私 DPSW-Sketch,在亚线性时空开销下保证有界误差,并实现更优效用-隐私权衡。
2024-06-12 cs.CR cs.DS cs.LG
Differentially Private $L_2$-Heavy Hitters in the Sliding Window Model
大公司的数据管理通常优先考虑更新的数据,作为比过时数据更高准确性预测的来源。例如,Facebook数据政策将用户搜索历史记录保留$6$个月,而Google数据保留政策规定,浏览器信息最多可存储$9$个月。这些策略由滑动窗口模型捕获,其中只有最新的$W$统计信息形成底层数据集。在本文中,我们考虑的问题,私人释放的$L_2$ -heavy hitters的滑动窗口模型,其中包括$L_p$ -heavy hitters的$p\le 2$,在某种意义上是最强的可能的保证,可以实现使用多对数空间,但不能处理现有的技术,由于次可加性的$L_2$范数。此外,现有的非私有滑动窗口算法使用平滑直方图框架,具有较高的敏感性。为了克服这些障碍,我们引入了第一个差分私有算法的$L_2$ -沉重的打击者在滑动窗口模型通过启动一个数字的$L_2$ -沉重的打击者的算法在整个流具有显着较低的阈值。同样,我们增加了一个近似的频率跟踪算法,具有显着更高的精度的算法。然后,我们使用平滑的灵敏度和统计距离参数,表明我们可以添加噪声成比例的$L_2$范数的估计。据我们所知,我们的技术是第一个私人发布的统计数据,与滑动窗口模型中的子加性函数相关,并且可能对滑动窗口模型中未来的差分私有算法设计具有独立的兴趣。
2023-02-22 cs.DS
Differentially Private Linear Sketches: Efficient Implementations and Applications
线性草图已被广泛用于处理快速数据流,它们可以用于准确地回答频率估计,近似前K项,并总结数据分布。当数据是敏感的,它是可取的,以保护私人信息,同时提供有用的结果与理论界限的线性草图提供隐私保证。我们表明,线性草图可以确保隐私,并保持其独特的属性,在初始化时添加少量的噪音。从不同的私有线性草图中,我们展示了旋转栅门模型中最先进的分位数草图也可以是私有的并保持高性能。实验进一步表明,我们提出的差异私人草图是定量和定性相似的无噪声草图具有高利用率的合成和真实的数据集。
2022-10-14 cs.DB cs.DS cs.NI
Differentially Private Normalizing Flows for Privacy-Preserving Density Estimation
Stanford University(斯坦福大学);Columbia University(哥伦比亚大学);Georgia Institute of Technology(佐治亚理工学院)
标准化流模型已经成为密度估计问题的流行解决方案,能够生成高质量的合成数据以及精确的概率密度估计。然而,在个人直接与训练数据相关联的情况下,发布这样的模型会引起隐私问题。在这项工作中,我们提出了使用规范化的流模型,提供明确的差分隐私保证作为一种新的方法来保护隐私的密度估计的问题。我们使用基准数据集经验性地评估了我们的方法的有效性,并且我们证明了我们的方法大大优于以前的最先进的方法。我们还展示了我们的算法可以应用到差分私有异常检测的任务。
2021-03-25 cs.AI cs.CR cs.DS
Pan-Private Uniformity Testing
Google New York(谷歌纽约);University of Pennsylvania(宾夕法尼亚大学)
集中式差分私有算法将原始数据映射到差分私有输出。相比之下,本地差异私有算法只能通过与数据持有者的公共交互来访问数据,并且这种交互必须是数据的差异私有函数。我们研究了泛隐私的中间模型。与本地私有算法不同,泛私有算法以明文方式接收数据。与集中私有算法不同,该算法每次接收一个元素的数据,并且在处理此流时必须维护差异私有内部状态。首先,我们证明了针对内部状态多重入侵的纯泛隐私等效于顺序交互的本地隐私。接下来,我们上下文泛隐私对一个单一的入侵,通过分析域$[k]$的一致性测试的样本复杂性。集中私有一致性测试具有样本复杂度$k$,而非交互式局部私有一致性测试具有样本复杂度$Θ(k)$ .我们证明了纯泛私有一致性检验的样本复杂度为$Θ(k^{2/3})$。通过一个新的$Ω(k)$下界的顺序交互设置,我们还分开泛私有顺序交互本地私有和多入侵泛私有一致性测试。
2020-07-17 cs.CR cs.DS cs.LG
Privately detecting changes in unknown distributions
Georgia Institute of Technology(佐治亚理工学院);Santa Clara University(圣克拉拉大学);Stanford Graduate School of Business(斯坦福商学院);University of Richmond(里士满大学);Simons Institute for the Theory of Computing(西蒙斯计算理论研究所)
变点检测问题旨在识别数据流中的分布变化。变点检测工具越来越多地应用于数据可能高度敏感且需要正式隐私保证的环境中,例如根据医院记录识别疾病爆发,或物联网设备检测家中活动。差分隐私已经成为一种强大的技术,可以在进行数据分析的同时防止个人信息泄露。许多以前的工作变点检测-包括唯一的私人算法,这个问题-需要完整的知识的变化前和变化后的分布。然而,这种假设对于许多感兴趣的实际应用是不现实的。这项工作的差异私人算法解决变点问题时,数据分布是未知的。此外,数据可以从随时间平滑变化的分布中采样,而不是固定的变化前和变化后分布。我们应用我们的算法来检测这些数据流的线性趋势的变化。最后,我们还提供了实验结果,以经验验证我们的算法的性能。
2020-02-14 cs.DS cs.LG math.ST
On Purely Private Covariance Estimation
Bocconi University(博科尼大学);Lucerne School of Computer Science and Information Technology(卢塞恩计算机科学与信息科技学校)
本文提出了一种纯差分隐私下的协方差估计机制,实现了在谱范数下的最优误差保证,并改进了小数据集下的误差界。
2026-02-02 cs.DS cs.LG
Counting Distinct Elements in the Turnstile Model with Differential Privacy under Continual Observation
该研究针对Turnstile流模型中差分隐私持续发布不同元素计数的问题,证明了最坏情况误差下界,提出基于最大翻转度的元素级隐私机制,实现了紧的参数化误差保证。
2024-07-10 cs.CR cs.DS
A Framework for Private Matrix Analysis
Johns Hopkins University(约翰霍普金斯大学);Fujitsu Laboratories of America(富士通美国研究院)
我们研究了滑动窗口模型中的私有矩阵分析,其中只有最后的$W$更新矩阵被认为是有用的分析。我们给第一个有效的$o(W)$空间差分私有算法的频谱近似,主成分分析,线性回归。我们还启动和显示有效的差异私有算法的两个重要的主成分分析:稀疏主成分分析和非负主成分分析。在我们的工作之前,即使在静态数据设置中,稀疏和非负差分私有主成分分析也没有这样的结果。这些算法是通过确定由流矩阵构成半正定矩阵的充分条件而得到的。我们还显示了计算低秩近似所需的空间上的下界,即使该算法给出了乘法近似,并引起附加误差。这通过减少到某个通信复杂性问题而实现。
2020-09-06 cs.CR cs.DS cs.LG
Efficient and Near-Optimal Noise Generation for Streaming Differential Privacy
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究院);IIT Madras(马德拉斯印度理工学院)
本文针对差分隐私连续计数提出两种近最优且空间高效的噪声生成方案,通过Toeplitz矩阵流式乘法和低阶有理函数逼近平方根,仅需对数或多项式对数空间即可实现高实用性。
2024-05-06 cs.CC cs.CR cs.DS
An Algorithmic Framework For Differentially Private Data Analysis on Trusted Processors
差分隐私已经成为隐私数据分析和机器学习的主要定义。差分隐私的{ \em global}模型假定用户信任数据收集器,可提供强大的隐私保证,并在输出中引入小错误。相比之下,Apple、Google和Microsoft在商业系统中的差分隐私应用程序使用{ \em本地模型}。在这里,用户不信任数据收集器,因此在将其数据发送到数据收集器之前对其数据进行随机化。不幸的是,局部模型对于一些重要的应用来说过于强大,因此其适用性受到限制。在这项工作中,我们提出了一个框架的基础上可信的处理器和一个新的定义称为{ \em不经意差分隐私},它结合了最好的本地和全局模型的差分隐私。我们在这个框架中设计的算法表现出有趣的相互作用的想法,从流算法,不经意的算法,和差分隐私。
2019-10-26 cs.CR cs.DS
Differentially Private Change-Point Detection
Georgia Institute of Technology(佐治亚理工学院);University of Richmond(里士满大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院)
变点检测问题试图识别数据流中未知变点k * 处的分布变化。这个问题出现在许多涉及个人数据的重要实际设置中,包括生物监视、故障检测、金融、信号检测和安全系统。差分隐私领域提供了数据分析工具,可以提供强大的最坏情况隐私保证。本文从差分隐私的角度研究了变点检测的统计问题。我们给出了在线和离线变点检测的私有算法,从理论上分析了这些算法,并对我们的结果进行了实证验证。
2018-08-29 cs.DS cs.LG math.ST
Private Incremental Regression
现代数据源不断生成数据,机器学习的最新挑战是开发在增量(流)设置中表现良好的技术。在本文中,我们研究了私有机器学习的问题,在实践中,数据不是立即给出的,而是随着时间的推移逐渐到达的。我们引入了私人增量ERM和私人增量回归的问题,其总体目标是始终保持一个良好的经验风险最小化的历史下观察到的差分隐私。我们的第一个贡献是一个通用的私人批量ERM机制转换为私人增量ERM机制,基于一个简单的想法,调用私人批量ERM程序在一些定期的时间间隔。我们把这个结构作为比较的基线。然后,我们提供了两种机制的私人增量回归问题。我们的第一个机制是基于私人构建一个嘈杂的增量梯度函数,然后在每个时间步的修改后的投影梯度过程中使用。该机制具有$\approx\sqrt{d}$的超额经验风险,其中$d$是数据的维度。虽然从[Basily et al. 2014]的结果来看,在最坏的情况下,这个界限是紧的,但我们表明,对于某些有趣的回归问题,输入和约束集的某些几何属性可以用来获得更好的结果。
2017-01-04 cs.CR cs.DS stat.ML
Private Counting of Distinct Elements in the Turnstile Model and Extensions
本文提出基于稀疏向量技术的简单算法,在回转门模型下针对不同元素计数实现紧的差分隐私加性误差,并将下界扩展至事件级隐私。
2024-08-21 cs.CR cs.DS
New Lower Bounds for Private Estimation and a Generalized Fingerprinting Lemma
在$(\varepsilon, δ)$ -差分隐私约束下,证明了统计估计任务的新下界.首先,我们提供了严格的下界私人协方差估计的高斯分布。我们发现,估计的协方差矩阵在Frobenius范数需要$Ω(d^2)$样本,并在频谱范数需要$Ω(d^{3/2})$样本,都匹配上界对数因子。后一个界验证了高斯协方差谱估计的私有和非私有样本复杂度之间存在一个受限制的统计差距。我们证明了这些界限通过我们的主要技术贡献,一个广泛的推广的指纹方法的指数家庭。此外,使用私人Assouad方法的Acharya,孙,张,我们显示了一个紧密的$Ω(d/(α^2 \varepsilon))$下界估计的平均值的分布与有界协方差$α$ -误差在$\ell_2$ -距离。先前已知的所有这些问题的下限要么多项式较弱,或举行更严格的条件下的$(\varepsilon, 0)$ -差分隐私。
2023-03-28 cs.CR cs.DS stat.ML
A Fast Algorithm for Adaptive Private Mean Estimation
Stanford University(斯坦福大学)
我们设计了一个$(\varepsilon, δ)$ -差分私有算法来估计$d$ -变量分布的均值,协方差未知$Σ$,自适应于$Σ$。在多对数因子内,估计器相对于诱导的Mahalanobis范数$||\cdot||_Σ$实现最优收敛速率,需要时间$\tilde{O}(n d^2)$来计算,对于亚高斯分布具有接近线性的样本复杂度,允许$Σ$退化或低秩,并且自适应地扩展到亚高斯之外。在此之前的工作,其他方法需要指数计算时间或超线性缩放$n = Ω(d^{3/2})$,以实现非平凡的误差相对于规范$||\cdot||_Σ$。
2023-01-17 cs.CR cs.DS cs.LG
Online Differentially Private Synthetic Data Generation
University of California Irvine(加利福尼亚大学欧文分校);University of Southern California(南加利福尼亚大学)
本研究提出一种在线差分隐私合成数据生成的多项式时间算法,针对超立方体内无限时间范围的数据流,在1-Wasserstein距离下实现近似最优精度界,将持续发布模型从计数查询拓展至Lipschitz查询,仅比离线方法多付出多对数因子的精度代价。
2024-10-23 cs.DS cs.LG math.PR
Differential Privacy for Euclidean Jordan Algebra with Applications to Private Symmetric Cone Programming
University of California, Berkeley(加州大学伯克利分校);New York University(纽约大学);Massachusetts Institute of Technology(麻省理工学院)
本文针对输出位于欧几里得若尔当代数中的函数提出通用高斯差分隐私机制,并结合乘法权重更新方法给出对称锥规划及半定规划的私有求解算法,解决了ICALP 2014提出的公开问题。
2026-11-11 cs.CR cs.DS cs.LG
Private Robust Estimation by Stabilizing Convex Relaxations
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
我们给出了第一个多项式时间和样本$(ε, δ)$ -差分私有(DP)算法估计的平均值,协方差和更高的时刻在存在一个常数的对抗性离群值。我们的算法成功的家庭的分布,满足两个良好的研究性质,在以前的工作稳健估计:可证明的subgaussianity的方向矩和可证明的超收缩度2多项式。我们的恢复保证在“右仿射不变规范”:平均值,乘法谱和相对Frobenius距离保证协方差和内射规范更高的时刻马氏距离。先前的工作获得了私人的稳健算法的均值估计的次高斯分布有界协方差。对于协方差估计,我们是第一个有效的算法(即使在没有离群值的情况下),成功没有任何条件数假设。我们的算法产生于一个新的框架,提供了一个通用的蓝图修改凸松弛稳健估计,以满足强最坏情况下的稳定性保证在适当的参数规范每当算法产生证人的正确性在他们的运行。我们验证这样的保证修改标准的平方和(SoS)半定规划松弛稳健估计。我们的隐私保证是通过将稳定性保证与一个新的“估计依赖”噪声注入机制相结合来获得的,在该机制中,噪声与估计协方差的特征值成比例。我们相信这个框架将是有用的,更普遍地获得DP对应的强大的估计。独立于我们的工作,Ashtiani和Liaw [AL 21]还获得了高斯分布的多项式时间和样本私有稳健估计算法。
2021-12-07 cs.CR cs.DS cs.IT