Hierarchical Heavy Hitters with the Space Saving Algorithm
分层重命中问题将频繁项的概念扩展到按层次结构排列的数据。这个问题已经应用到网络流量监控,异常检测和DDoS检测。我们提出了一个新的流式近似算法计算层次重打击,有几个优点比以前的算法。它改善了早期算法的最坏情况下的时间和空间界限,概念上简单,更容易实现,提供了更好的精度保证,很容易采用分布式或并行设置,并可以有效地实现在商品硬件,如三进制内容可寻址存储器(TCAM)。我们目前的实验结果表明,对于主要的实际利益的参数,我们的二维算法是优于现有的算法在速度和精度方面,在空间方面的竞争力,而我们的一维算法也优于在速度和精度更有限的参数范围。
2011-08-09 cs.DS
Finding Subcube Heavy Hitters in Analytics Data Streams
数据流通常具有大量维度的项。我们在这种情况下研究基本的重量级选手问题。形式上,数据流由$d$ -维项$x_1,\ldots,x_m \in [n]^d$组成。$k$维子立方体$T$是不同坐标$\{ T_1,\cdots,T_k \} \subseteq [d]$的子集.子立方体重命中查询${\rm Query}(T,v)$,$v \in [n]^k$,如果是$f_T(v) \geq γ$,则输出YES,如果是$f_T(v) < γ/4$,则输出NO,其中$f_T$是其坐标$T$具有联合值$v$的流项目的数目的比率。所有子立方体重命中者查询${\rm AllQuery}(T)$输出对${\rm Query}(T,v)$返回YES的所有关节值$v$。这个问题的一维版本$d=1$在数据流理论,数据库,网络和信号处理方面进行了大量研究。子立方体重打击者问题适用于所有这些情况。针对$\tilde{O}(kd/γ)$空间中的子立方体重打击者问题,提出了一种简单的基于水库采样的单程流算法。这是最佳的多对数因子给定的下限。在最坏的情况下,这是$Θ(d^2/γ)$,这是禁止大型$d$,我们的目标是绕过这个二次瓶颈。我们的主要贡献是一个基于模型的方法子立方体重打击者问题。特别地,我们假设维度通过朴素贝叶斯模型彼此相关,有或没有潜在维度。在这个假设下,我们提出了一个新的两遍,$\tilde{O}(d/γ…
2018-02-20 cs.DS
Optimal Tracking of Distributed Heavy Hitters and Quantiles
我们考虑了分布式流模型中的重命中者和分位数的跟踪问题。重打击者和分位数是表征数据分布的两个重要统计量。令$A$是从全域$U=\{1,...,u\}$中提取的元素的多集合。对于给定的$0 \le ϕ\le 1$,$ϕ$ -重命中者是其在$A$中的频率至少为$ϕ|A|$的那些$A$元素; $A$的$ϕ$ -分位数是$U$的元素$x$,使得$A$的至多$ϕ|A|$元素小于$A$,并且$A$的至多$(1-ϕ)|A|$元素大于$x$。假设$A$的元素随时间在$k$远程{ \em站点}处被接收,并且每个站点具有到指定的{ \em协调器}的双向通信信道,其目标是以最少的通信近似地在所有时间跟踪$ϕ$ -重击球者的集合和$A$的$ϕ$ -分位数。我们给出了这两个问题的跟踪算法与最坏情况下的通信成本$O(k/\eps \cdot \log n)$,其中$n$是$A$中的项目的总数,和$\eps$是近似误差。这大大改进了先前已知的算法。我们也给匹配的通信成本的下限,这两个问题,表明我们的算法是最优的。我们还考虑了一个更一般的版本的问题,我们同时跟踪所有$0 \le ϕ\le 1$的$ϕ$分位数。
2008-12-01 cs.DS
Adversarially Robust Dense-Sparse Tradeoffs via Heavy-Hitters
本文改进对抗鲁棒$L_p$重击手算法,并将其与尾向量频率矩估计相结合,提出转门流上更优的对抗鲁棒$L_p$估计算法。
2024-12-08 cs.DS
Differentially Private $L_2$-Heavy Hitters in the Sliding Window Model
大公司的数据管理通常优先考虑更新的数据,作为比过时数据更高准确性预测的来源。例如,Facebook数据政策将用户搜索历史记录保留$6$个月,而Google数据保留政策规定,浏览器信息最多可存储$9$个月。这些策略由滑动窗口模型捕获,其中只有最新的$W$统计信息形成底层数据集。在本文中,我们考虑的问题,私人释放的$L_2$ -heavy hitters的滑动窗口模型,其中包括$L_p$ -heavy hitters的$p\le 2$,在某种意义上是最强的可能的保证,可以实现使用多对数空间,但不能处理现有的技术,由于次可加性的$L_2$范数。此外,现有的非私有滑动窗口算法使用平滑直方图框架,具有较高的敏感性。为了克服这些障碍,我们引入了第一个差分私有算法的$L_2$ -沉重的打击者在滑动窗口模型通过启动一个数字的$L_2$ -沉重的打击者的算法在整个流具有显着较低的阈值。同样,我们增加了一个近似的频率跟踪算法,具有显着更高的精度的算法。然后,我们使用平滑的灵敏度和统计距离参数,表明我们可以添加噪声成比例的$L_2$范数的估计。据我们所知,我们的技术是第一个私人发布的统计数据,与滑动窗口模型中的子加性函数相关,并且可能对滑动窗口模型中未来的差分私有算法设计具有独立的兴趣。
2023-02-22 cs.DS
Constant Time Updates in Hierarchical Heavy Hitters
异常和DDoS检测等监控任务需要根据常见的IP前缀识别频繁的流聚合。这些被称为\emph{hierarchical heavy hitters}(HHH),其中层次结构基于给定应用中感兴趣的前缀类型来确定。现有的HHH算法的每包复杂度与层次结构的大小成比例,从而施加显著的开销。在本文中,我们提出了一个随机常数时间算法HHH。我们证明了概率精度界限的实证评估。使用四个真正的互联网数据包跟踪,我们证明,我们的算法确实获得了可比的准确性和召回以前的作品,同时运行速度高达62倍。最后,我们用我们的算法扩展了Open vSwitch(OVS),并显示它能够每秒处理1380万个数据包。相比之下,将以前的作品在OVS中只获得了2.5倍的吞吐量。
2017-07-21 cs.DS
Tight Bounds for Heavy-Hitters and Moment Estimation in the Sliding Window Model
本文研究了滑动窗口模型中的频繁项与 $F_p$ 矩估计问题,提出了达到紧致空间界的近似算法,并给出了相匹配的理论下界证明。
2025-04-29 cs.DS
Memento: Making Sliding Windows Efficient for Heavy Hitters
云运营商需要实时识别重攻击者(HH)和分层重攻击者(HHH),以实现负载均衡、流量工程和攻击缓解等应用。然而,现有的技术在检测新的重量级人物方面很慢。在本文中,我们提出了通过\textit{sliding windows}识别重量级人物的情况。滑动窗口比现有的方法更快、更准确地检测出重量级人物,但迄今为止还没有实用的算法。因此,我们介绍,设计和分析的\textit{Memento}家庭的滑动窗口算法的HH和HHH问题的单设备和网络范围的设置。使用广泛的评估,我们表明,我们的单设备解决方案达到类似的精度,并通过高达$273\times$比现有的基于窗口的技术更快。此外,我们在一个现实的测试平台上验证了我们的网络范围的HHH检测能力。为此,我们实现了Memento作为流行的HAProxy云负载均衡器的开源扩展。在我们的评估中,使用50个HTTP泛洪,我们的网络范围的方法更快地检测到新的泛洪请求,并将未检测到的泛洪请求的数量减少了$37\times$。
2018-10-24 cs.DS cs.NI
Optimally detecting uniformly-distributed $\ell_2$ heavy hitters in data streams
University of Waterloo(滑铁卢大学);Princeton University(普林斯顿大学)
本文提出在部分随机顺序流中通过额外假设实现最优空间界限的算法,用于检测均匀分布的ℓ₂重 hitters。
2026-02-06 cs.DS
ResidualSketch: Enhancing Layer Efficiency and Error Reduction in Hierarchical Heavy Hitter Detection with ResNet Innovations
针对网络管理中分层重击流检测存在的渐进误差扩散等问题,提出融合残差块与残差连接的ResidualSketch算法,可降低内存开销、保持低延迟,在多数据集多层级上准确率与更新速度优于现有最优方案,代码已开源。
2025-05-18 cs.DS
Simple and Optimal Algorithms for Heavy Hitters and Frequency Moments in Distributed Models
该研究针对协调器与分布式跟踪模型中的$\u2113_p$频繁项和$F_p$估计问题,提出简单且接近最优的算法,改进了多项已有结果的通信代价与轮次复杂度。
2025-05-20 cs.DS
How to Catch L_2-Heavy-Hitters on Sliding Windows
在流数据中找到重元素(heavy-hitters)是一个核心的、众所周知的任务。尽管这个问题的重要性,当考虑流的滑动窗口模型(其中元素最终到期)时,寻找L_2重元素的问题仍然是完全开放的,尽管多篇论文和相当大的成功,在寻找L_1重元素。本文提出了滑动窗口模型中寻找L_2重元素的第一个多对数记忆算法。由于L_2重元素在许多基本流问题(如频率矩)中起着核心作用,我们相信我们的方法对许多滑动窗口算法和应用是非常有用的。例如,我们的方法不仅可以在滑动窗口上找到L_2重元素,而且可以找到关于任意L_p(0<p<2)的重元素。因此,我们的论文完全解决了对于p的所有值具有多对数记忆的滑动窗口寻找L_p重元素的问题,因为众所周知,对于p>2,这一任务是不可能的。我们的方法也可以有其他应用。我们展示了更广泛的适用性,我们的新颖而简单的方法上两个额外的例子:我们展示了如何获得滑动窗口近似的其他属性,如两个流的相似性,或元素的分数,正好出现在窗口内指定的次数(罕见的问题)。在我们的方法的这两个说明性的例子中,我们用最坏情况下的界限替换当前预期的内存界限。
2013-04-16 cs.DS
Distributed mining of time--faded heavy hitters
我们提出了\textsc{P2PTFHH}(对等-到-对等时间-褪色重打击者),据我们所知,这是第一个分布式算法挖掘时间-褪色重打击非结构化P2P网络。\textsc{P2PTFHH}基于\textsc{FDCMSS}(前向衰减计数-最小空间节省)顺序算法,并且通过在每个交互中合并所涉及的对等体的底层数据结构来有效地利用平均流言协议。我们正式证明了我们的分布式算法的收敛性和正确性,并表明它是快速和简单的实现。大量的实验结果证实,\textsc{P2PTFHH}保留了极高的精度和误差范围提供的\textsc{FDCMSS},同时表现出良好的可扩展性。我们的贡献是三方面的:(i)我们证明了平均八卦协议可以与我们的增强草图数据结构一起用于挖掘时间-褪色的重打击者;(ii)我们证明了频率估计的误差范围;(iii)我们实验证明\textsc{P2PTFHH}是非常准确和快速的,允许近实时的处理大型数据集。
2018-12-01 cs.DC cs.DS
Nearly Optimal Distinct Elements and Heavy Hitters on Sliding Windows
本文研究滑动窗口模型下的不同元素与 $\ell_p$-heavy hitters 问题,提出可组合直方图框架结合现有技术追踪特定项,获得了在空间复杂度上近似最优的算法,并改进了已有结果且给出了相应的空间下界。
2023-04-11 cs.DS
Asymptotically Optimal Locally Private Heavy Hitters via Parameterized Sketches
本文提出了两种新的局部差分隐私频率估计算法。一个解决了基频预言问题,另一个解决了著名的重打击识别问题。与现有技术一致,这些是随机算法。作为失效概率~ $β$的函数,前者对于每个~ $β$都能获得最优的最坏情况估计误差,而后者当~ $β$至少是用户数~ $n$的逆多项式时是最优的.在这两种算法中,服务器运行时间为~ $\tilde{O}(n)$,而用户运行时间为~ $\tilde{O}(1)$。我们的频率预言算法实现了比Basily等人的先前工作更低的估计误差。(NeurIPS 2017)。另一方面,我们的重命中者识别方法与TreeHist(Basily等人,2017),并且具有优越的最差情况误差,系数为$Ω(\sqrt{\log n})$。
2022-02-17 cs.CR cs.DS
Parallel mining of time-faded heavy hitters
我们提出了PFDCMSS,一种新的基于消息传递的并行算法,用于挖掘时间衰减的重打击者。该算法是最近发表的FDCMSS顺序算法的并行版本。我们正式证明了它的正确性,通过显示底层的数据结构,一个草图,增加了一个节省空间的流摘要正好持有两个计数器,是可合并的。虽然合并的传统草图直接从理论上推导,我们表明,合并我们的增强草图是不平凡的。尽管如此,所得到的并行算法是快速和简单的实现。据我们所知,PFDCMSS是第一个并行算法,解决了挖掘时间衰减的消息传递并行架构的沉重打击的问题。大量的实验结果证实,PFDCMSS保留了FDCMSS提供的极端精度和误差范围,同时提供了良好的并行可扩展性。
2017-01-11 cs.DC cs.DS
Communication Complexity in Locally Private Distribution Estimation and Heavy Hitters
Cornell University(康奈尔大学)
我们考虑隐私和通信约束下的分布估计和重打击(频率)估计的问题。虽然这些限制已被单独研究,一个最优方案是次优的其他。我们提出了一个样本最优的$\varepsilon$ -局部差分私有(LDP)方案的分布估计,其中每个用户只通信一个比特,不需要公共随机性。我们表明,Hadamard响应,最近提出的计划$\varepsilon$ -LDP分布估计也是效用最优的重打击估计。最后,我们表明,不像分布估计,没有公共随机性,只有一个比特就足够了,任何重量级的估计算法,通信$o(\min \{\log n, \log k\})$位从每个用户不能是最佳的。
2019-05-28 cs.DS cs.IT cs.LG
Learning-Based Heavy Hitters and Flow Frequency Estimation in Streams
Harvard University(哈佛大学)
针对现有基于学习的流频率估计方法仅聚焦哈希类算法、对重量级条目识别效果有限的问题,提出首个基于学习的竞争计数器算法LSS,从理论和实验验证其能提升Space Saving算法在相关任务中的准确率与效率。
2024-06-24 cs.DS cs.LG
Heavy hitters via cluster-preserving clustering
Aarhus University(奥胡斯大学);Harvard University(哈佛大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究院);University of Copenhagen(哥本哈根大学)
在旋转栅门$\ell_p$ $\varepsilon$ -重打击者中,一个人保持一个高维$x\in\mathbb{R}^n$服从$\texttt{update}(i,Δ)$导致$x_i\leftarrow x_i + Δ$,其中$i\in[n]$,$Δ\in\mathbb{R}$。在接收到查询时,目标是报告包含具有$|x_i| \ge \varepsilon \|x_{\overline{1/\varepsilon^p}}\|_p$的每个“重量级”$i\in[n]$的小列表$L\subset[n]$、$|L| = O(1/\varepsilon^p)$,其中$x_{\overline{k}}$表示通过将$x$的最大$k$条目在幅度上归零而获得的向量。对于任何$p\in(0,2]$,CountSketch使用具有$O(\log n)$更新时间的空间的$O(\varepsilon^{-p}\log n)$字来解决$\ell_p$重命中器,$O(n\log n)$查询时间用于输出$L$,并且其在任何查询之后的输出以高概率(whp)$1 - 1/poly(n)$是正确的。不幸的是,查询时间非常慢。为了弥补这一点,工作[CM 05]提出了严格的旋转栅门模型中的$p=1$,一个whp正确的算法实现次优空间$O(\varepsilon^{-1}\log^2 n)$,更差的更新时间$O(\log^…
2016-04-05 cs.DS cs.LG
Distributed Private Heavy Hitters
在本文中,我们给出了有效的算法和下界解决重打击者问题,同时保持差分隐私在完全分布式的局部模型。在这个模型中,有n方,每一方拥有一个来自大小为N的宇宙的元素。heavy hitters问题是找到n方之间共享的最常见元素的身份。在本地模型中,没有可信的数据库管理员,因此算法必须使用不同的私有协议分别与每一个$n$方交互。我们给出了严格的信息理论的上限和下限的精度,这个问题可以解决在本地模型(给本地模型和更常见的集中式隐私模型之间的分离),以及计算效率的算法,即使在数据宇宙N可能是指数大的情况下。
2014-11-06 cs.CR cs.DB cs.DS
Differentially Private Hierarchical Heavy Hitters
University of Warwick(华威大学);University of Oxford(牛津大学);AT&T Research(AT&T研究院)
研究差分隐私下层次重击者(HHH)的发布问题,在非流式设置中前缀残差计数的相对误差与层次高度和重击者数量无关;在流式设置中频率估计的绝对误差与可用空间无关。
2026-06-12 cs.CR cs.DS
BPTree: an $\ell_2$ heavy hitters algorithm using constant memory
在数据流领域中,寻找重量级人物的任务是最著名和研究最多的问题之一。一个是给出一个列表$i_1,i_2,\ldots,i_m\in[n]$,目标是识别$[n]$中经常出现在列表中的项目。在子多项式空间中,可用的最强保证是$\ell_2$保证,其要求找到在流中至少出现$ε\|f\|_2$次的所有项,其中向量$f\in\mathbb{R}^n$是具有$i$ th坐标的流的计数直方图,其等于$i$出现$f_i:=\#\{j\in[m]:i_j=i\}$的次数。实现$\ell_2$保证的第一个算法是[CCF 04]的CountSketch,它需要$O(ε^{-2}\log n)$字的内存和$O(\log n)$更新时间,并且如果流允许删除,则已知是空间最优的。最近的工作[BCIW16]给出了一个改进的算法,只插入流,只使用$O(ε^{-2}\logε^{-1}\log\log n)$字的内存。在这项工作中,我们给出了一个算法\bptree的$\ell_2$重命中只插入流,实现$O(ε^{-2}\logε^{-1})$字的内存和$O(\logε^{-1})$更新时间,这是最佳的依赖$n$和$m$。此外,我们描述了一种算法,用于跟踪$\|f\|_2$在任何时候与$O(ε^{-2})$内存和更新时间。我们的分析依赖于边界的预期上确界的伯努利过程涉及Rademachers有限的独立性,我们通过一个达…
2017-11-09 cs.DS
An Optimal Algorithm for l1-Heavy Hitters in Insertion Streams and Related Problems
我们给出了第一个最优的边界返回的$\ell_1$ -沉重的击球手在数据流中的插入,连同他们的近似频率,关闭一个长的工作线上这个问题。对于$\{1, 2, \dots, n\}$中的$m$项流和参数$0 < ε< ϕ\leq 1$,令$f_i$表示项$i$的频率,即,项目$i$在流中出现的次数。对于任意大的恒定概率,我们的算法返回$f_i \geq ϕm$的所有项目$i$,不返回$f_j \leq (ϕ-ε)m$的项目$j$,并返回近似值$\tilde{f}_i$和它返回的每个项目$i$的$|\tilde{f}_i - f_i| \leq εm$。我们的算法使用$O(ε^{-1} \logϕ^{-1} + ϕ^{-1} \log n + \log \log m)$位的空间,处理每个流更新在$O(1)$最坏情况的时间,并可以报告其输出的时间线性的输出大小。我们还证明了一个下界,这意味着我们的算法是最佳的一个常数因子在其空间复杂度。我们的算法的一个修改可以用来估计最大频率高达一个附加的$εm$错误在上述量的空间,解决问题3在IITK 2006年研讨会上的算法数据流的情况下,$\ell_1$ -沉重的打击者。我们还介绍了几个变种的重量级选手和最大频率的问题,启发等级聚合和投票计划,并显示我们的技术可以应用在这样的设置。与传统的重打击者问题不同,这些变体中的一些变体查看项目之间的比较,而不是…
2016-03-01 cs.DB cs.DS
Federated Heavy Hitter Recovery under Linear Sketching
研究线性草图约束下联邦重击手发现与近似直方图的通信-精度权衡,提出基于局部子采样和IBLT的算法,证明信息论最优性,并揭示两者通信成本对轮数的不同依赖。
2023-07-25 cs.CR cs.DS cs.IT
Beating CountSketch for Heavy Hitters in Insertion Streams
给定来自全域$\mathcal{U}$的项的流$p_1, \ldots, p_m$,在不失一般性的情况下,我们将其识别为整数集合$\{1, 2, \ldots, n\}$,我们考虑返回所有$\ell_2$重命中者的问题,即,其中$f_j$是项$j$在流中出现的次数,以及$F_2 = \sum_{i \in [n]} f_i^2$。这样的保证比$\ell_1$ -保证强得多,后者会查找$f_j \geq εm$所属的$j$。在2002年,Charikar,Chen和Farach-Colton提出了{ \sf CountSketch}数据结构,它使用$Θ(\log^2 n)$位空间(对于常数$ε> 0$)找到所有这样的$j$。唯一已知的下界是$Ω(\log n)$位的空间,这来自于需要指定的身份的项目发现。在本文中,我们表明,它是可能的,以实现$O(\log n \log \log n)$位的空间,这个问题。我们的技术,基于高斯过程,导致了许多其他新的结果,数据流,包括(1)第一个算法估计$F_2$同时在所有点上的流,仅使用$O(\log n\log\log n)$位的空间,改进了自然联合界和算法的黄,泰,和易(2014)。(2)一种估计流的$\ell_{\infty}$范数的方法,直到具有$O(\log n\log\log n)$位空间的加性误差$ε\sqrt{F_2}$,解决IIT…
2015-11-02 cs.DS
Hashing Pursuit for Online Identification of Heavy-Hitters in High-Speed Network Streams
分布式拒绝服务(DDoS)攻击最近变得更加突出,无论是发生频率还是规模。这种攻击使关键的互联网资源无法使用,并破坏其正常运作。因此,快速识别恶意互联网活动至关重要。DDoS威胁模型包括以下特征:(i)向“受害者”发送大量流量的重量级攻击者,(ii)向特定目的地发送流量(不一定是大流量)以用作攻击促进者的持续攻击者,(iii)主机和端口扫描,用于编译将用作攻击放大器的不安全服务器的列表,这些问题的聚集促使开发数据业务流的空间/时间有效的概要,其可用于识别与上述攻击向量相关联的重量级攻击者。本文提出了一个基于哈希的框架和快速算法,考虑到传入的网络流的大维度,可以用来快速识别罪犯。所提出的算法和数据结构提供了对快速存储器不费力的网络流的概要,并且由于简单的逐位操作而可以在硬件中有效地实现。这些方法使用来自大型学术网络的真实互联网数据进行评估。
2014-12-03 cs.CR cs.DS cs.NI
Double-Hashing Algorithm for Frequency Estimation in Data Streams
元素的频率估计是数据流分析和机器学习应用的重要任务。该问题通常通过使用具有次线性空间数据结构的流算法来解决。这些算法允许在使用有限的数据存储的同时处理大数据。常用的流式算法,如count-min sketch,有很多优点,但没有考虑到性能优化的数据流的属性。在本文中,我们介绍了一种新的双哈希算法,提供了灵活性,优化流算法取决于给定流的属性。在双散列方法中,首先采用标准流算法来获得元素频率的估计。该估计值是使用流的一部分导出的,并且允许识别重打击者。接下来,它使用修改的哈希表,其中重命中者被映射到各个桶中,而其他流元素被映射到剩余的桶中。最后,基于所构造的哈希表在整个数据流上利用任何流算法来估计元素频率。我们证明了合成数据和互联网查询日志数据集,我们的方法是能够提高频率估计,由于从哈希过程中删除重打击者,从而减少冲突的哈希表。我们的方法避免了采用额外的机器学习模型来识别重量级人物,从而降低了算法复杂度并简化了实现。此外,因为它不依赖于流元素的特定特征来识别重打击者,所以它适用于各种各样的流。此外,我们提出了一个程序,如何动态调整建议的双哈希算法时,流中的元素的频率随时间而变化。
2022-04-01 cs.DS
Cuckoo Heavy Keeper and the balancing act of maintaining heavy hitters in stream processing
Chalmers Un. of Technology and Gothenburg Un.(查尔姆斯理工大学和哥德堡大学)
CHK 提出了一种并行化方法,通过倒置过程区分频繁和不频繁项,提升流处理中 heavy hitters 的检测吞吐量和准确性
2025-06-30 cs.DC cs.DS
Lumberjack: Better Differentially Private Random Forests through Heavy Hitter Detection in Trees
PreMeDICaL;Inria(法国国家信息与自动化研究所);Université de Montpellier(蒙彼利埃大学);INSERM(国家医学研究院);Technical University of Munich(慕尼黑技术大学)
本文提出Lumberjack算法,通过构建大规模随机决策树并应用隐私保护的剪枝技术,显著提升了差分隐私随机森林的实用性。该方法引入了新的(ε,δ)-DP Heavy Hitter检测算法,具有O_{ε,δ}(√log h)的误差,使得树的高度可以更深,从而在隐私约束下提高表达能力。实验表明,Lumberjack在基准数据集上优于现有差分隐私随机森林方法,特别是在隐私预算下的隐私-效用权衡上取得显著改进。
2026-11-10 cs.DS cs.LG
Finding Frequent Entities in Continuous Data
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
在涉及处理高维数据的许多应用中,重要的是识别占检测的很大一部分的一小组实体。而不是形式化这作为一个聚类问题,其中所有的检测必须分组到硬或软类别,我们将其形式化为一个实例的频繁项目或重打击者的问题,发现组的紧密聚集的对象,具有高密度的特征空间。我们表明,沉重的打击制定产生的解决方案,更准确和有效的聚类制定。此外,我们提出了一种新的在线算法,称为HAC,它解决了连续空间中的问题,并证明了其在真实视频和家庭领域的有效性。
2018-05-08 cs.AI cs.DS stat.ML
Sampling Space-Saving Set Sketches
针对分布式数据流中heavy distinct hitters问题,提出结合sketch与采样技术的Sampling Space-Saving Set Sketch算法,在大小、速度、精度、可合并性和可逆性上均具优势且实验证明其优越性。
2024-02-13 cs.DB cs.DS
The Online Event-Detection Problem
给定流$S = (s_1, s_2, ..., s_N)$,$ϕ$ -重命中者是在$S$中至少出现$ϕN$次的项$s_i$。在数据库文献中已经广泛地研究了寻找重量级人物的问题。在本文中,我们研究了一个相关的问题。如果$s_t$在$(s_1, s_2, ..., s_t)$中恰好发生$ϕN$次,则我们说在时间$t$处存在$ϕ$ -事件。因此,对于每个$ϕ$ -重打击者,存在当其计数达到报告阈值$ϕN$时发生的单个$ϕ$ -事件。我们定义的在线事件检测问题(OEDP):给定$ϕ$和一个流$S$,报告所有的$ϕ$ -事件,只要他们发生。许多现实世界的监控系统需要事件检测,其中必须及时报告所有事件(无误报),不报告非事件(无误报),并且报告阈值较低。结果,OEDP需要大量的空间(Ω(N)字),并且在流模型中或经由标准的基于采样的方法是不可解的。由于OEDP需要很大的空间,我们专注于高速缓存高效的算法在外部内存模型。我们提供的OEDP是在一个最佳的对数因子的算法。我们的算法是可调的:它的参数可以设置为允许有界的误报和有界的延迟报告。我们的放松不允许假阴性,因为报告所有事件是我们应用程序的严格要求。最后,当输入流中的项目计数遵循幂律分布时,我们展示了改进的结果。
2018-12-24 cs.DS
Query complexity of heavy hitter estimation
Indian Institute of Technology, Bombay(印度理工学院孟买分校)
我们考虑的问题,确定的元素的子集$\mathcal{S}^γ_{\mathcal{P}}$的支持下的底层分布$\mathcal{P}$的概率值大于一个给定的阈值$γ$,通过主动查询一个oracle,以获得有关序列$X_1, X_2, \ldots$的$i.i.d.$样本从$\mathcal{P}$。我们考虑两种查询模型:$(a)$每个查询是索引$i$并且oracle返回值$X_i$和$(b)$每个查询是一对$(i,j)$并且oracle给出确认是否为$X_i = X_j$的二进制答案。对于这些查询模型中的每一个,我们设计了顺序估计算法,在每一轮,要么决定什么查询发送到Oracle的整个历史的响应,或决定停止并输出估计的$\mathcal{S}^γ_{\mathcal{P}}$,这是需要正确的一些预先指定的大概率。我们提供的查询复杂度的算法的任何分布$\mathcal{P}$的上限,也得到了最佳的查询复杂度的下限下的两个查询模型。我们还考虑了两个查询模型的噪声版本,并提出了鲁棒的估计,可以有效地对抗噪音的预言机响应。
2021-02-10 cs.DS cs.IT cs.LG
Efficient Measurement on Programmable Switches Using Probabilistic Recirculation
可编程网络交换机承诺灵活性和高吞吐量,从而实现负载均衡和流量工程等应用。网络测量是此类应用的基本构建块,包括识别重要流量(最大流量)或检测流量变化等任务。然而,高吞吐量分组处理架构对编程模型施加了某些限制,诸如受限的分支、有限的存储器访问能力以及有限数量的处理阶段。这些限制限制了可在可编程开关上运行的测量算法的类型。在本文中,我们专注于RMT可编程高吞吐量交换机架构,并仔细研究其设计测量算法的约束。我们证明了我们的研究结果,同时解决重打击问题。我们介绍PRECISION,一个算法,使用\emph{Probabilistic Recirculation}找到顶部流的可编程交换机。通过再循环一小部分数据包,PRECISION简化了对有状态内存的访问,以符合RMT限制,并实现了比以前避免再循环的重命中检测算法更高的准确性。我们还分析了每个架构约束对测量精度的影响,并为测量算法设计者提供了见解。
2018-08-13 cs.DS cs.NI
Better Differentially Private Approximate Histograms and Heavy Hitters using the Misra-Gries Sketch
针对流式近似直方图与重击者的差分隐私发布,本文改进 Misra-Gries 草图机制,使噪声不随草图规模线性增长,并支持用户贡献多个不同元素。
2025-03-18 cs.CR cs.DS cs.IR
The Sparse Vector Technique, Revisited
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院);Ben-Gurion University(本-古里安大学)
我们重新回顾了差分隐私文献中最基本和广泛适用的技术之一-稀疏向量技术[Dwork等人,STOC 2009]。这个简单的算法私下测试数据库上给定查询的值是否接近我们期望的值。它允许提出无限数量的查询,只要答案接近我们的期望,并在第一个查询之后停止,而不是这种情况。我们建议一种替代的,同样简单的,算法,可以继续测试查询,只要任何一个人不有助于太多的查询,其答案偏离我们所期望的答案。我们的分析是微妙的,它的一些成分可能更广泛地适用。在某些情况下,我们的新算法允许从数据库中私下提取比原始算法更多的信息。我们证明了这一点,通过应用我们的算法转移重量级人物的问题:在每一个时间步,每个$n$用户得到一个新的输入,任务是私下确定所有当前重量级人物。也就是说,在时间步长$i$上,目标是识别所有数据元素$x$,使得许多用户具有$x$作为其当前输入。我们提出了一个算法,这个问题与改进的错误保证,可以使用现有的技术。具体来说,我们的算法的错误取决于一个单一的用户持有一个重量级选手作为输入的最大次数,而不是总次数,其中一个重量级选手存在。
2020-11-16 cs.DS cs.LG stat.ML
On the Robustness of CountSketch to Adaptive Inputs
Google Research(谷歌研究院);Tel Aviv University(特拉维夫大学);UC Berkeley(加州大学伯克利分校)
CountSketch是一种流行的降维技术,它使用随机线性测量将向量映射到较低的维度。该草图支持恢复$\ell_2$ -向量的重打击者(具有$v[i]^2 \geq \frac{1}{k}\|\boldsymbol{v}\|^2_2$的条目)。我们研究的鲁棒性的草图在自适应设置输入向量可能取决于从以前的输入输出。自适应设置出现在有反馈或对抗攻击的过程中。我们表明,经典的估计是不强大的,可以攻击的草图大小的顺序的查询数量。我们提出了一个强大的估计(略加修改的草图),允许在草图大小,这是$\sqrt{k}$($k$重打击者)比以前的工作的改进因子的查询的二次数。
2022-02-28 cs.DS cs.LG
Streaming Algorithms with Large Approximation Factors
我们启动了广泛的研究,在流模型中的经典问题与插入和删除的设置,我们允许的近似因子$α$要比$1$大得多。这样的算法可以使用比用于$ε\in (0,1)$的$α= 1+ε$的通常设置少得多的存储器。我们研究大近似的一些问题,在素描和流,下面是我们的一些结果。对于$\ell_p$范数/拟线性$\|x\|_p$的$n$维向量$x$,$0 < p \le 2$,我们表明,获得一个$\poly(n)$ -近似需要相同的内存量作为获得一个$O(1)$ -近似任何$M = n^{Θ(1)}$。为了估计的$\ell_p$规范,$p > 2$,我们显示了一个上限的$O(n^{1-2/p} (\log n \allowbreak \log M)/α^{2})$位的$α$近似,并给出了匹配的下限,几乎整个范围的$α\geq 1$的线性草图。对于$\ell_2$ -重击球手的问题,我们表明,已知的下限的$Ω(k \log n\log M)$位识别$(1/k)$ -重击球手持有,即使我们被允许输出项目是$1/(αk)$ -重,几乎整个范围的$α$,提供算法成功的概率$1-O(1/n)$。我们还获得了一个下界的线性草图,即使是紧的常数概率算法。为了估计不同元素的数目$\ell_0$,我们给出了一个$n^{1/t}$ -近似算法,使用空间的$O(t\log \log M)$位,以及$Ω(t)$位的下界,两者都不…
2022-07-17 cs.DS
DPSW-Sketch: A Differentially Private Sketch Framework for Frequency Estimation over Sliding Windows (Technical Report)
East China Normal University(华东师范大学);Zhejiang University(浙江大学)
针对滑动窗口数据流中的敏感频率估计与重击者识别问题,提出基于 count-min sketch 的差分隐私 DPSW-Sketch,在亚线性时空开销下保证有界误差,并实现更优效用-隐私权衡。
2024-06-12 cs.CR cs.DS cs.LG
Pan-private Algorithms: When Memory Does Not Help
考虑在线到达的更新,其中第$t$个输入是$(i_t,d_t)$,其中$i_t$被认为是用户的ID。非正式地,随机化函数$f$相对于ID是{ \em差分隐私},如果由$f$引起的概率分布与由它在输入上引起的概率分布没有太大不同,其中ID $j$的出现被一些其他ID $k$替换。最近,这个概念被扩展到{ \em泛隐私},其中$f$的计算保留差分隐私,即使算法的内部存储器被暴露给对手(例如通过恶意闯入或通过政府的命令)。这是一个很强的隐私概念,令人惊讶的是,对于基本的计数任务,如不同的计数,重打击者和其他人,Dwork等人~ \cite{dwork-pan}提出了泛隐私算法具有合理的准确性。泛私有算法是不平凡的,并且依赖于采样。我们重新审视这些基本的计数任务,并显示改进的界限。特别地,我们估计不同计数$\Dt$在$(1\pm \eps)\Dt \pm O(\polylog m)$内,其中$m$是宇宙中元素的数量。这使用了流文学中已知的草图上的适当噪声统计。我们还提出了第一个已知的泛隐私的下限相对于一个单一的入侵。我们的下限表明,即使允许无限内存,泛私有算法的不同计数不能显着更准确地比我们的算法。我们的下界使用噪声解码。对于沉重的打击计数,我们提出了一个泛私人流算法,是准确的$O(k)$在最坏的情况下,以前已知的界限,这个问题是任意更糟。我们的泛私有算法的一个有趣的方面是,它们故意使用非常…
2010-09-08 cs.CR cs.DS
Skew in Parallel Query Processing
我们研究的问题,计算一个合取查询q并行,使用p的服务器,在一个大型数据库。我们考虑一轮通信的算法,并研究通信的复杂性。我们特别感兴趣的情况下,数据是偏斜的,这是一个重大挑战,可扩展的并行查询处理。在两种情况下,我们建立了查询的分数边包装和通信量之间的紧密联系。首先,在数据库上的唯一统计数据是输入关系的基数,并且数据是无偏的情况下,我们提供了以查询q的分数边包装表示的匹配上界和下界(最多为多对数p因子)。其次,在关系倾斜并且重量级人物及其频率已知的情况下,我们提供了用通过将查询专门化为重量级人物而获得的剩余查询的包装来表示的上界和下界(最多为多log p因子)。我们所有的下限都以最强的形式表示,即具有无限计算能力的处理器之间需要通信的位数。我们的结果推广了统一数据库(其中每个关系都是匹配的)[4]上的一些先前结果,以及MapReduce模型的其他下界[1]。
2014-01-09 cs.DB cs.DS
A Simple Proof of a New Set Disjointness with Applications to Data Streams
多层承诺集的不相交性是通信复杂性在应用中应用最广泛的问题之一。在这个问题中,有$k$参与者的子集$S^1, \ldots, S^k$,每个都从$\{1, 2, \ldots, n\}$中抽取,并且我们被保证要么这些集合是(1)成对不相交的,要么(2)在所有集合中存在唯一的元素$j$,否则它们是成对不相交的。在黑板模型中求解该问题的总通信量为$Ω(n/k)$。我们观察到,对于大多数应用程序来说,只要看看我们称之为“大多数”的集合不相交性问题就足够了,它改变了情况(2),即至少有一半的集合中出现了唯一的元素$j$,否则这些集合是不相交的。这种变化给了我们一个更简单的证明一个$Ω(n/k)$随机总通信下界,避免了Hellinger距离和庞加莱不等式。利用这一点,我们展示了数据流的几个新结果:\begin{itemize} \item for $\ell_2$-Heavy Hitters, any $O(1)$-pass streaming algorithm in the insertion-only model for detecting if an $\eps$-$\ell_2$-heavy hitter exists requires $\min(\frac{1}{\eps^2}\log \frac{\eps^2n}δ, \frac{1}{\eps}n^{1/2})$ bits o…
2021-05-24 cs.DS
Heavy-Tailed Privacy: The Symmetric alpha-Stable Privacy Mechanism
本文提出对称α-稳定(SaS)机制,在保持卷积封闭性的同时实现纯差分隐私,并分析隐私与参数关系及与高斯机制的误差对比,认为其适合隐私保护应用。
2025-04-25 cs.CR cs.DS
Time lower bounds for nonadaptive turnstile streaming algorithms
如果在更新期间,写入和读取的存储单元仅取决于正在更新的索引和在流的开始处投掷的随机硬币(而不是算法的存储内容),则我们说旋转栅门流算法是“非自适应的”。可以自适应地决定在查询期间读取的存储单元。文献中所有已知的旋转栅门流式传输算法都是非自适应的。我们证明了第一个非平凡的更新时间下界的随机和确定性的旋转栅门流算法,当算法是非自适应的。虽然在证明空间下界方面已经取得了大量的成功,但在旋转栅门模型中没有非平凡的更新时间下界。我们的下界反对经典研究的问题,如沉重的打击,点查询,熵估计,矩估计。在某些确定性算法的情况下,我们的下限几乎匹配已知的上限。
2014-07-08 cs.CC cs.DS
Local, Private, Efficient Protocols for Succinct Histograms
The Pennsylvania State University(宾夕法尼亚州立大学);Boston University(波士顿大学);Harvard University(哈佛大学)
我们给出了有效的协议和匹配精度下界的频率估计的局部模型的差分隐私。在这个模型中,个人用户自己随机化他们的数据,将不同的私人报告发送到一个不受信任的服务器,该服务器将这些报告聚集在一起。我们研究的协议,产生一个简洁的直方图表示的数据。一个简洁的直方图是数据中最频繁的项目(通常称为“重打击者”)及其频率估计值的列表;所有其他项目的频率隐式估计为0。如果有$n$用户的项目来自一个大小为$d$的宇宙,我们的协议在$n$和$\log(d)$中以时间多项式运行。以高概率,他们估计每个项目的准确性,直到错误$O\left(\sqrt{\log(d)/(ε^2n)}\right)$,其中$ε$是隐私参数。此外,我们表明,这么多的错误是必要的,无论计算效率,甚至对于简单的设置,只有一个项目出现在数据集中的显着频率。先前用于该任务的方案(Mishra和Sandler,2006; Hsu,Khanna和Roth,2012)要么在$Ω(d)$中运行,要么具有更严重的错误(约为$\sqrt[6]{\log(d)/(ε^2n)}$),并且唯一已知的错误下限是$Ω(1/\sqrt{n})$。我们还将McGregor et al(2010)的结果适用于当地环境。在一个使用公共硬币的模型中,我们展示了每个用户只需要向服务器发送1比特。对于所有已知的本地协议(包括我们的),转换保持计算效率。
2015-04-18 cs.CR cs.DS cs.LG
BetweenCut: Private Heavy-Node Classification with Doubly Logarithmic Error in Tree Height
Inria(法国国家信息与自动化研究所);University of Oxford(牛津大学);National University of Singapore(新加坡国立大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出BetweenCut算法,在树高为h时实现双重对数加性误差的差分隐私重节点分类,改进现有界并独立于数据库大小。
2026-10-08 cs.CR cs.DS
Tricking the Hashing Trick: A Tight Lower Bound on the Robustness of CountSketch to Adaptive Inputs
Google Research(谷歌研究院);Tel Aviv University(特拉维夫大学);UC Berkeley(加州大学伯克利分校)
CountSketch和Feature Hashing(“hashing trick”)是流行的随机降维方法,支持恢复$\ell_2$ -重命中者(键$i$,其中$v_i^2 > ε\|\boldsymbol{v}\|_2^2$)和近似内积。当输入是{ \em非自适应}(不依赖于先前的输出)时,应用于大小为$O(\ell/ε)$的草图的经典估计器对于在$\ell$中呈指数的查询数量是准确的。然而,当输入是自适应的时,可以在使用经典估计器的$O(\ell)$查询之后构造对抗输入,并且最知名的鲁棒估计器仅支持$\tilde{O}(\ell^2)$查询。在这项工作中,我们表明,这种二次依赖是在某种意义上固有的:我们设计了一个攻击后,$O(\ell^2)$查询产生一个对抗性的输入向量,其草图是高度偏见。我们的攻击使用“自然”非自适应输入(只有最终的对抗输入是自适应选择的),并普遍适用于任何正确的估计,包括攻击者未知的估计。在这一点上,我们暴露了这种基本方法的内在脆弱性。
2022-08-28 cs.CR cs.DS cs.LG
Private Mean Estimation of Heavy-Tailed Distributions
University of Waterloo(滑铁卢大学);Northeastern University(东北大学)
给出了具有有界$k$阶矩分布的差分私有均值估计的极小极大样本复杂度的新的上界和下界。粗略地说,在单变量的情况下,我们表明,$n = Θ\left(\frac{1}{α^2} + \frac{1}{α^{\frac{k}{k-1}}\varepsilon}\right)$样本是必要的和足够的估计平均$α$ -准确性下$\varepsilon$ -差分隐私,或其任何常见的松弛。与不存在隐私约束的估计相比,该结果表明了定性上不同的行为,其中所有$k \geq 2$的样本复杂性都是相同的。我们也给算法的多变量设置的样本复杂性是一个因素的$O(d)$大于单变量的情况下。
2021-02-16 cs.CR cs.DS cs.IT
Improved Rates for Differentially Private Stochastic Convex Optimization with Heavy-Tailed Data
University of Waterloo(滑铁卢大学);Meta;Cornell University(康奈尔大学)
研究了在差分隐私(DP)约束下重尾数据的随机凸优化问题。关于这个问题的大多数先前的工作仅限于损失函数是Lipschitz的情况。相反,介绍了王,肖,Devadas,徐\cite{WangXDX20},我们研究一般的凸损失函数的梯度分布有界的$k$次矩的假设。我们提供了改进的上界的过度人口风险下集中DP凸和强凸损失函数。一路上,我们推导出新的算法私人均值估计的重尾分布,在纯和集中DP。最后,我们证明了私人随机凸优化强凸损失和均值估计的近匹配下界,显示了新的分离之间的纯和集中DP。
2022-11-01 cs.CR cs.DS cs.LG