Hierarchical Heavy Hitters with the Space Saving Algorithm
分层重命中问题将频繁项的概念扩展到按层次结构排列的数据。这个问题已经应用到网络流量监控，异常检测和DDoS检测。我们提出了一个新的流式近似算法计算层次重打击，有几个优点比以前的算法。它改善了早期算法的最坏情况下的时间和空间界限，概念上简单，更容易实现，提供了更好的精度保证，很容易采用分布式或并行设置，并可以有效地实现在商品硬件，如三进制内容可寻址存储器（TCAM）。我们目前的实验结果表明，对于主要的实际利益的参数，我们的二维算法是优于现有的算法在速度和精度方面，在空间方面的竞争力，而我们的一维算法也优于在速度和精度更有限的参数范围。
2011-08-09 cs.DS
Optimal Tracking of Distributed Heavy Hitters and Quantiles
我们考虑了分布式流模型中的重命中者和分位数的跟踪问题。重打击者和分位数是表征数据分布的两个重要统计量。令$A$是从全域$U=\{1,...,u\}$中提取的元素的多集合。对于给定的$0 \le ϕ\le 1$，$ϕ$ -重命中者是其在$A$中的频率至少为$ϕ|A|$的那些$A$元素; $A$的$ϕ$ -分位数是$U$的元素$x$，使得$A$的至多$ϕ|A|$元素小于$A$，并且$A$的至多$(1-ϕ)|A|$元素大于$x$。假设$A$的元素随时间在$k$远程{ \em站点}处被接收，并且每个站点具有到指定的{ \em协调器}的双向通信信道，其目标是以最少的通信近似地在所有时间跟踪$ϕ$ -重击球者的集合和$A$的$ϕ$ -分位数。我们给出了这两个问题的跟踪算法与最坏情况下的通信成本$O(k/\eps \cdot \log n)$，其中$n$是$A$中的项目的总数，和$\eps$是近似误差。这大大改进了先前已知的算法。我们也给匹配的通信成本的下限，这两个问题，表明我们的算法是最优的。我们还考虑了一个更一般的版本的问题，我们同时跟踪所有$0 \le ϕ\le 1$的$ϕ$分位数。
2008-12-01 cs.DS
Optimally detecting uniformly-distributed $\ell_2$ heavy hitters in data streams
University of Waterloo（滑铁卢大学）；Princeton University（普林斯顿大学）
本文提出在部分随机顺序流中通过额外假设实现最优空间界限的算法，用于检测均匀分布的ℓ₂重 hitters。
2026-02-06 cs.DS
Adversarially Robust Dense-Sparse Tradeoffs via Heavy-Hitters
本文改进对抗鲁棒$L_p$重击手算法，并将其与尾向量频率矩估计相结合，提出转门流上更优的对抗鲁棒$L_p$估计算法。
2024-12-08 cs.DS
Differentially Private $L_2$-Heavy Hitters in the Sliding Window Model
大公司的数据管理通常优先考虑更新的数据，作为比过时数据更高准确性预测的来源。例如，Facebook数据政策将用户搜索历史记录保留$6$个月，而Google数据保留政策规定，浏览器信息最多可存储$9$个月。这些策略由滑动窗口模型捕获，其中只有最新的$W$统计信息形成底层数据集。在本文中，我们考虑的问题，私人释放的$L_2$ -heavy hitters的滑动窗口模型，其中包括$L_p$ -heavy hitters的$p\le 2$，在某种意义上是最强的可能的保证，可以实现使用多对数空间，但不能处理现有的技术，由于次可加性的$L_2$范数。此外，现有的非私有滑动窗口算法使用平滑直方图框架，具有较高的敏感性。为了克服这些障碍，我们引入了第一个差分私有算法的$L_2$ -沉重的打击者在滑动窗口模型通过启动一个数字的$L_2$ -沉重的打击者的算法在整个流具有显着较低的阈值。同样，我们增加了一个近似的频率跟踪算法，具有显着更高的精度的算法。然后，我们使用平滑的灵敏度和统计距离参数，表明我们可以添加噪声成比例的$L_2$范数的估计。据我们所知，我们的技术是第一个私人发布的统计数据，与滑动窗口模型中的子加性函数相关，并且可能对滑动窗口模型中未来的差分私有算法设计具有独立的兴趣。
2023-02-22 cs.DS
Double-Hashing Algorithm for Frequency Estimation in Data Streams
元素的频率估计是数据流分析和机器学习应用的重要任务。该问题通常通过使用具有次线性空间数据结构的流算法来解决。这些算法允许在使用有限的数据存储的同时处理大数据。常用的流式算法，如count-min sketch，有很多优点，但没有考虑到性能优化的数据流的属性。在本文中，我们介绍了一种新的双哈希算法，提供了灵活性，优化流算法取决于给定流的属性。在双散列方法中，首先采用标准流算法来获得元素频率的估计。该估计值是使用流的一部分导出的，并且允许识别重打击者。接下来，它使用修改的哈希表，其中重命中者被映射到各个桶中，而其他流元素被映射到剩余的桶中。最后，基于所构造的哈希表在整个数据流上利用任何流算法来估计元素频率。我们证明了合成数据和互联网查询日志数据集，我们的方法是能够提高频率估计，由于从哈希过程中删除重打击者，从而减少冲突的哈希表。我们的方法避免了采用额外的机器学习模型来识别重量级人物，从而降低了算法复杂度并简化了实现。此外，因为它不依赖于流元素的特定特征来识别重打击者，所以它适用于各种各样的流。此外，我们提出了一个程序，如何动态调整建议的双哈希算法时，流中的元素的频率随时间而变化。
2022-04-01 cs.DS
Constant Time Updates in Hierarchical Heavy Hitters
异常和DDoS检测等监控任务需要根据常见的IP前缀识别频繁的流聚合。这些被称为\emph{hierarchical heavy hitters}（HHH），其中层次结构基于给定应用中感兴趣的前缀类型来确定。现有的HHH算法的每包复杂度与层次结构的大小成比例，从而施加显著的开销。在本文中，我们提出了一个随机常数时间算法HHH。我们证明了概率精度界限的实证评估。使用四个真正的互联网数据包跟踪，我们证明，我们的算法确实获得了可比的准确性和召回以前的作品，同时运行速度高达62倍。最后，我们用我们的算法扩展了Open vSwitch（OVS），并显示它能够每秒处理1380万个数据包。相比之下，将以前的作品在OVS中只获得了2.5倍的吞吐量。
2017-07-21 cs.DS
An exact and O(1) time heaviest and lightest hitters algorithm for sliding-window data streams
在这项工作中，我们专注于在滑动窗口数据流中找到最大k和最轻k的击球手的问题。最近的研究工作已经产生了一个ε近似算法更新操作在恒定的时间与高概率和O（1/1）查询时间的最重的打击者的情况下。我们提出了一种新的算法，第一次，据我们所知，提供准确的，而不是近似的结果，而在同一时间达到O（1）的时间与高概率的更新和查询操作的复杂性。此外，我们的算法能够同时提供最短的k和最轻的k击球手，而没有任何开销。在这项工作中，我们描述的算法和配套的数据结构，支持它和合成数据进行定量实验，以验证我们的理论预测。
2011-03-01 cs.DS cs.NI
Heavy Hitters and the Structure of Local Privacy
我们提出了一个新的局部差分隐私算法的重打击者问题，实现最佳的最坏情况下的错误作为所有标准考虑参数的函数。先前的工作得到的出错率最佳地取决于用户的数量，域的大小，和隐私参数，但次最佳地取决于故障概率。我们加强现有的下限的错误，将失败的概率，并表明我们的新的上限是紧相对于这个参数。我们的下界是基于对局部私有协议结构的新理解。我们进一步发展这些想法，得到以下的一般结果超出了重打击。$\bullet$高级分组：在局部模型中，$k$用户的组隐私与$\approx \sqrt{k}$成比例地降级，而不是像在中心模型中那样在$k$中线性地降级。更强的群体隐私产生更好的最大信息保证，以及更强的下限（通过“包装参数”），超过中心模型。$\bullet$基于Basily和Smith（STOC 2015）的转换，我们给出了从任何非交互式近似私有本地协议到纯私有本地协议的通用转换。再次与中心模型相比，这表明我们不能通过从纯局部隐私移动到近似局部隐私来获得更准确的算法。
2017-11-13 cs.DS
Tight Bounds for Heavy-Hitters and Moment Estimation in the Sliding Window Model
本文研究了滑动窗口模型中的频繁项与 $F_p$ 矩估计问题，提出了达到紧致空间界的近似算法，并给出了相匹配的理论下界证明。
2025-04-29 cs.DS
Beating CountSketch for Heavy Hitters in Insertion Streams
给定来自全域$\mathcal{U}$的项的流$p_1, \ldots, p_m$，在不失一般性的情况下，我们将其识别为整数集合$\{1, 2, \ldots, n\}$，我们考虑返回所有$\ell_2$重命中者的问题，即，其中$f_j$是项$j$在流中出现的次数，以及$F_2 = \sum_{i \in [n]} f_i^2$。这样的保证比$\ell_1$ -保证强得多，后者会查找$f_j \geq εm$所属的$j$。在2002年，Charikar，Chen和Farach-Colton提出了{ \sf CountSketch}数据结构，它使用$Θ(\log^2 n)$位空间（对于常数$ε> 0$）找到所有这样的$j$。唯一已知的下界是$Ω(\log n)$位的空间，这来自于需要指定的身份的项目发现。在本文中，我们表明，它是可能的，以实现$O(\log n \log \log n)$位的空间，这个问题。我们的技术，基于高斯过程，导致了许多其他新的结果，数据流，包括（1）第一个算法估计$F_2$同时在所有点上的流，仅使用$O(\log n\log\log n)$位的空间，改进了自然联合界和算法的黄，泰，和易（2014）。(2)一种估计流的$\ell_{\infty}$范数的方法，直到具有$O(\log n\log\log n)$位空间的加性误差$ε\sqrt{F_2}$，解决IIT…
2015-11-02 cs.DS
Memento: Making Sliding Windows Efficient for Heavy Hitters
云运营商需要实时识别重攻击者（HH）和分层重攻击者（HHH），以实现负载均衡、流量工程和攻击缓解等应用。然而，现有的技术在检测新的重量级人物方面很慢。在本文中，我们提出了通过\textit{sliding windows}识别重量级人物的情况。滑动窗口比现有的方法更快、更准确地检测出重量级人物，但迄今为止还没有实用的算法。因此，我们介绍，设计和分析的\textit{Memento}家庭的滑动窗口算法的HH和HHH问题的单设备和网络范围的设置。使用广泛的评估，我们表明，我们的单设备解决方案达到类似的精度，并通过高达$273\times$比现有的基于窗口的技术更快。此外，我们在一个现实的测试平台上验证了我们的网络范围的HHH检测能力。为此，我们实现了Memento作为流行的HAProxy云负载均衡器的开源扩展。在我们的评估中，使用50个HTTP泛洪，我们的网络范围的方法更快地检测到新的泛洪请求，并将未检测到的泛洪请求的数量减少了$37\times$。
2018-10-24 cs.DS cs.NI
ResidualSketch: Enhancing Layer Efficiency and Error Reduction in Hierarchical Heavy Hitter Detection with ResNet Innovations
针对网络管理中分层重击流检测存在的渐进误差扩散等问题，提出融合残差块与残差连接的ResidualSketch算法，可降低内存开销、保持低延迟，在多数据集多层级上准确率与更新速度优于现有最优方案，代码已开源。
2025-05-18 cs.DS
Simple and Optimal Algorithms for Heavy Hitters and Frequency Moments in Distributed Models
该研究针对协调器与分布式跟踪模型中的$\u2113_p$频繁项和$F_p$估计问题，提出简单且接近最优的算法，改进了多项已有结果的通信代价与轮次复杂度。
2025-05-20 cs.DS
How to Catch L_2-Heavy-Hitters on Sliding Windows
在流数据中找到重元素（heavy-hitters）是一个核心的、众所周知的任务。尽管这个问题的重要性，当考虑流的滑动窗口模型（其中元素最终到期）时，寻找L_2重元素的问题仍然是完全开放的，尽管多篇论文和相当大的成功，在寻找L_1重元素。本文提出了滑动窗口模型中寻找L_2重元素的第一个多对数记忆算法。由于L_2重元素在许多基本流问题（如频率矩）中起着核心作用，我们相信我们的方法对许多滑动窗口算法和应用是非常有用的。例如，我们的方法不仅可以在滑动窗口上找到L_2重元素，而且可以找到关于任意L_p（0<p<2）的重元素。因此，我们的论文完全解决了对于p的所有值具有多对数记忆的滑动窗口寻找L_p重元素的问题，因为众所周知，对于p>2，这一任务是不可能的。我们的方法也可以有其他应用。我们展示了更广泛的适用性，我们的新颖而简单的方法上两个额外的例子：我们展示了如何获得滑动窗口近似的其他属性，如两个流的相似性，或元素的分数，正好出现在窗口内指定的次数（罕见的问题）。在我们的方法的这两个说明性的例子中，我们用最坏情况下的界限替换当前预期的内存界限。
2013-04-16 cs.DS
An Optimal Algorithm for l1-Heavy Hitters in Insertion Streams and Related Problems
我们给出了第一个最优的边界返回的$\ell_1$ -沉重的击球手在数据流中的插入，连同他们的近似频率，关闭一个长的工作线上这个问题。对于$\{1, 2, \dots, n\}$中的$m$项流和参数$0 < ε< ϕ\leq 1$，令$f_i$表示项$i$的频率，即，项目$i$在流中出现的次数。对于任意大的恒定概率，我们的算法返回$f_i \geq ϕm$的所有项目$i$，不返回$f_j \leq (ϕ-ε)m$的项目$j$，并返回近似值$\tilde{f}_i$和它返回的每个项目$i$的$|\tilde{f}_i - f_i| \leq εm$。我们的算法使用$O(ε^{-1} \logϕ^{-1} + ϕ^{-1} \log n + \log \log m)$位的空间，处理每个流更新在$O(1)$最坏情况的时间，并可以报告其输出的时间线性的输出大小。我们还证明了一个下界，这意味着我们的算法是最佳的一个常数因子在其空间复杂度。我们的算法的一个修改可以用来估计最大频率高达一个附加的$εm$错误在上述量的空间，解决问题3在IITK 2006年研讨会上的算法数据流的情况下，$\ell_1$ -沉重的打击者。我们还介绍了几个变种的重量级选手和最大频率的问题，启发等级聚合和投票计划，并显示我们的技术可以应用在这样的设置。与传统的重打击者问题不同，这些变体中的一些变体查看项目之间的比较，而不是…
2016-03-01 cs.DB cs.DS
Distributed mining of time--faded heavy hitters
我们提出了\textsc{P2PTFHH}（对等-到-对等时间-褪色重打击者），据我们所知，这是第一个分布式算法挖掘时间-褪色重打击非结构化P2P网络。\textsc{P2PTFHH}基于\textsc{FDCMSS}（前向衰减计数-最小空间节省）顺序算法，并且通过在每个交互中合并所涉及的对等体的底层数据结构来有效地利用平均流言协议。我们正式证明了我们的分布式算法的收敛性和正确性，并表明它是快速和简单的实现。大量的实验结果证实，\textsc{P2PTFHH}保留了极高的精度和误差范围提供的\textsc{FDCMSS}，同时表现出良好的可扩展性。我们的贡献是三方面的：（i）我们证明了平均八卦协议可以与我们的增强草图数据结构一起用于挖掘时间-褪色的重打击者;（ii）我们证明了频率估计的误差范围;（iii）我们实验证明\textsc{P2PTFHH}是非常准确和快速的，允许近实时的处理大型数据集。
2018-12-01 cs.DC cs.DS
Nearly Optimal Distinct Elements and Heavy Hitters on Sliding Windows
本文研究滑动窗口模型下的不同元素与 $\ell_p$-heavy hitters 问题，提出可组合直方图框架结合现有技术追踪特定项，获得了在空间复杂度上近似最优的算法，并改进了已有结果且给出了相应的空间下界。
2023-04-11 cs.DS
Asymptotically Optimal Locally Private Heavy Hitters via Parameterized Sketches
本文提出了两种新的局部差分隐私频率估计算法。一个解决了基频预言问题，另一个解决了著名的重打击识别问题。与现有技术一致，这些是随机算法。作为失效概率~ $β$的函数，前者对于每个~ $β$都能获得最优的最坏情况估计误差，而后者当~ $β$至少是用户数~ $n$的逆多项式时是最优的.在这两种算法中，服务器运行时间为~ $\tilde{O}(n)$，而用户运行时间为~ $\tilde{O}(1)$。我们的频率预言算法实现了比Basily等人的先前工作更低的估计误差。（NeurIPS 2017）。另一方面，我们的重命中者识别方法与TreeHist（Basily等人，2017），并且具有优越的最差情况误差，系数为$Ω(\sqrt{\log n})$。
2022-02-17 cs.CR cs.DS
Parallel mining of time-faded heavy hitters
我们提出了PFDCMSS，一种新的基于消息传递的并行算法，用于挖掘时间衰减的重打击者。该算法是最近发表的FDCMSS顺序算法的并行版本。我们正式证明了它的正确性，通过显示底层的数据结构，一个草图，增加了一个节省空间的流摘要正好持有两个计数器，是可合并的。虽然合并的传统草图直接从理论上推导，我们表明，合并我们的增强草图是不平凡的。尽管如此，所得到的并行算法是快速和简单的实现。据我们所知，PFDCMSS是第一个并行算法，解决了挖掘时间衰减的消息传递并行架构的沉重打击的问题。大量的实验结果证实，PFDCMSS保留了FDCMSS提供的极端精度和误差范围，同时提供了良好的并行可扩展性。
2017-01-11 cs.DC cs.DS
Differentially Private Hierarchical Heavy Hitters
University of Warwick（华威大学）；University of Oxford（牛津大学）；AT&T Research（AT&T研究院）
研究差分隐私下层次重击者（HHH）的发布问题，在非流式设置中前缀残差计数的相对误差与层次高度和重击者数量无关；在流式设置中频率估计的绝对误差与可用空间无关。
2026-06-12 cs.CR cs.DS
BPTree: an $\ell_2$ heavy hitters algorithm using constant memory
在数据流领域中，寻找重量级人物的任务是最著名和研究最多的问题之一。一个是给出一个列表$i_1,i_2,\ldots,i_m\in[n]$，目标是识别$[n]$中经常出现在列表中的项目。在子多项式空间中，可用的最强保证是$\ell_2$保证，其要求找到在流中至少出现$ε\|f\|_2$次的所有项，其中向量$f\in\mathbb{R}^n$是具有$i$ th坐标的流的计数直方图，其等于$i$出现$f_i:=\#\{j\in[m]:i_j=i\}$的次数。实现$\ell_2$保证的第一个算法是[CCF 04]的CountSketch，它需要$O(ε^{-2}\log n)$字的内存和$O(\log n)$更新时间，并且如果流允许删除，则已知是空间最优的。最近的工作[BCIW16]给出了一个改进的算法，只插入流，只使用$O(ε^{-2}\logε^{-1}\log\log n)$字的内存。在这项工作中，我们给出了一个算法\bptree的$\ell_2$重命中只插入流，实现$O(ε^{-2}\logε^{-1})$字的内存和$O(\logε^{-1})$更新时间，这是最佳的依赖$n$和$m$。此外，我们描述了一种算法，用于跟踪$\|f\|_2$在任何时候与$O(ε^{-2})$内存和更新时间。我们的分析依赖于边界的预期上确界的伯努利过程涉及Rademachers有限的独立性，我们通过一个达…
2017-11-09 cs.DS
Communication Complexity in Locally Private Distribution Estimation and Heavy Hitters
Cornell University（康奈尔大学）
我们考虑隐私和通信约束下的分布估计和重打击（频率）估计的问题。虽然这些限制已被单独研究，一个最优方案是次优的其他。我们提出了一个样本最优的$\varepsilon$ -局部差分私有（LDP）方案的分布估计，其中每个用户只通信一个比特，不需要公共随机性。我们表明，Hadamard响应，最近提出的计划$\varepsilon$ -LDP分布估计也是效用最优的重打击估计。最后，我们表明，不像分布估计，没有公共随机性，只有一个比特就足够了，任何重量级的估计算法，通信$o(\min \{\log n, \log k\})$位从每个用户不能是最佳的。
2019-05-28 cs.DS cs.IT cs.LG
Learning-Based Heavy Hitters and Flow Frequency Estimation in Streams
Harvard University（哈佛大学）
针对现有基于学习的流频率估计方法仅聚焦哈希类算法、对重量级条目识别效果有限的问题，提出首个基于学习的竞争计数器算法LSS，从理论和实验验证其能提升Space Saving算法在相关任务中的准确率与效率。
2024-06-24 cs.DS cs.LG
Hashing Pursuit for Online Identification of Heavy-Hitters in High-Speed Network Streams
分布式拒绝服务（DDoS）攻击最近变得更加突出，无论是发生频率还是规模。这种攻击使关键的互联网资源无法使用，并破坏其正常运作。因此，快速识别恶意互联网活动至关重要。DDoS威胁模型包括以下特征：（i）向“受害者”发送大量流量的重量级攻击者，（ii）向特定目的地发送流量（不一定是大流量）以用作攻击促进者的持续攻击者，（iii）主机和端口扫描，用于编译将用作攻击放大器的不安全服务器的列表，这些问题的聚集促使开发数据业务流的空间/时间有效的概要，其可用于识别与上述攻击向量相关联的重量级攻击者。本文提出了一个基于哈希的框架和快速算法，考虑到传入的网络流的大维度，可以用来快速识别罪犯。所提出的算法和数据结构提供了对快速存储器不费力的网络流的概要，并且由于简单的逐位操作而可以在硬件中有效地实现。这些方法使用来自大型学术网络的真实互联网数据进行评估。
2014-12-03 cs.CR cs.DS cs.NI
Heavy hitters via cluster-preserving clustering
Aarhus University（奥胡斯大学）；Harvard University（哈佛大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）；University of Copenhagen（哥本哈根大学）
在旋转栅门$\ell_p$ $\varepsilon$ -重打击者中，一个人保持一个高维$x\in\mathbb{R}^n$服从$\texttt{update}(i,Δ)$导致$x_i\leftarrow x_i + Δ$，其中$i\in[n]$，$Δ\in\mathbb{R}$。在接收到查询时，目标是报告包含具有$|x_i| \ge \varepsilon \|x_{\overline{1/\varepsilon^p}}\|_p$的每个“重量级”$i\in[n]$的小列表$L\subset[n]$、$|L| = O(1/\varepsilon^p)$，其中$x_{\overline{k}}$表示通过将$x$的最大$k$条目在幅度上归零而获得的向量。对于任何$p\in(0,2]$，CountSketch使用具有$O(\log n)$更新时间的空间的$O(\varepsilon^{-p}\log n)$字来解决$\ell_p$重命中器，$O(n\log n)$查询时间用于输出$L$，并且其在任何查询之后的输出以高概率（whp）$1 - 1/poly(n)$是正确的。不幸的是，查询时间非常慢。为了弥补这一点，工作[CM 05]提出了严格的旋转栅门模型中的$p=1$，一个whp正确的算法实现次优空间$O(\varepsilon^{-1}\log^2 n)$，更差的更新时间$O(\log^…
2016-04-05 cs.DS cs.LG
Distributed Private Heavy Hitters
在本文中，我们给出了有效的算法和下界解决重打击者问题，同时保持差分隐私在完全分布式的局部模型。在这个模型中，有n方，每一方拥有一个来自大小为N的宇宙的元素。heavy hitters问题是找到n方之间共享的最常见元素的身份。在本地模型中，没有可信的数据库管理员，因此算法必须使用不同的私有协议分别与每一个$n$方交互。我们给出了严格的信息理论的上限和下限的精度，这个问题可以解决在本地模型（给本地模型和更常见的集中式隐私模型之间的分离），以及计算效率的算法，即使在数据宇宙N可能是指数大的情况下。
2014-11-06 cs.CR cs.DB cs.DS
Federated Heavy Hitter Recovery under Linear Sketching
研究线性草图约束下联邦重击手发现与近似直方图的通信-精度权衡，提出基于局部子采样和IBLT的算法，证明信息论最优性，并揭示两者通信成本对轮数的不同依赖。
2023-07-25 cs.CR cs.DS cs.IT
Cuckoo Heavy Keeper and the balancing act of maintaining heavy hitters in stream processing
CHK 提出了一种并行化方法，通过倒置过程区分频繁和不频繁项，提升流处理中 heavy hitters 的检测吞吐量和准确性
2025-06-30 cs.DC cs.DS
Weighted Reservoir Sampling from Distributed Streams
我们考虑从分布式流中进行消息有效的连续随机采样，其中样本中包含项目的概率与与该项目相关的权重成比例。未加权的版本，其中所有的权重是相等的，是很好的研究，并承认严格的上限和下限的消息复杂性。对于带替换的加权抽样，有一个简单的简化为带替换的未加权抽样。然而，在许多应用中，流只有几个重项，当选择替换时，这些重项可能主导随机样本。加权取样\textit{without replacement}（加权SWOR）避免了这个问题，因为这样重的项目最多只能取样一次。在这项工作中，我们提出了第一个消息优化算法加权SWOR从分布式流。我们的算法也有最佳的空间和时间复杂度。作为我们的算法加权SWOR的应用程序，我们推导出第一个分布式流跟踪算法\textit{heavy hitters with residual error}。这里的目标是识别流项目的贡献显着的剩余流，一旦最重的项目被删除。剩余重打击者概括了$\ell_1$重打击者的概念，并且在具有偏斜的权重分布的流中是重要的。除了上限，我们还提供了消息复杂度的下限，该下限几乎接近$\log(1/ε)$因子。最后，我们使用我们的加权抽样算法，以改善分布式$L_1$跟踪，也称为计数跟踪，这是一个广泛研究的问题，在分布式流消息的复杂性。我们还得到了一个紧密的消息下界，关闭这个基本问题的消息复杂性。
2019-04-08 cs.DS
CR-precis: A deterministic summary structure for update data streams
我们提出的\crprecis结构，这是一个通用的，确定性和次线性的数据结构，总结\emph{update}数据流。\crprecis结构产生用于回答各种基本流查询的\emph{first deterministic sub-linear space/time algorithms for update streams}，诸如（a）点查询，（b）范围查询，（c）找到近似频繁项，（d）找到近似分位数，（e）找到近似分层重命中者，（f）估计内积，（g）接近最优的$B$桶直方图等。
2006-10-10 cs.DS
Lumberjack: Better Differentially Private Random Forests through Heavy Hitter Detection in Trees
PreMeDICaL；Inria（法国国家信息与自动化研究所）；Université de Montpellier（蒙彼利埃大学）；INSERM（国家医学研究院）；Technical University of Munich（慕尼黑技术大学）
本文提出Lumberjack算法，通过构建大规模随机决策树并应用隐私保护的剪枝技术，显著提升了差分隐私随机森林的实用性。该方法引入了新的（ε，δ）-DP Heavy Hitter检测算法，具有O_{ε,δ}(√log h)的误差，使得树的高度可以更深，从而在隐私约束下提高表达能力。实验表明，Lumberjack在基准数据集上优于现有差分隐私随机森林方法，特别是在隐私预算下的隐私-效用权衡上取得显著改进。
2026-11-10 cs.DS cs.LG
The Online Event-Detection Problem
给定流$S = (s_1, s_2, ..., s_N)$，$ϕ$ -重命中者是在$S$中至少出现$ϕN$次的项$s_i$。在数据库文献中已经广泛地研究了寻找重量级人物的问题。在本文中，我们研究了一个相关的问题。如果$s_t$在$(s_1, s_2, ..., s_t)$中恰好发生$ϕN$次，则我们说在时间$t$处存在$ϕ$ -事件。因此，对于每个$ϕ$ -重打击者，存在当其计数达到报告阈值$ϕN$时发生的单个$ϕ$ -事件。我们定义的在线事件检测问题（OEDP）：给定$ϕ$和一个流$S$，报告所有的$ϕ$ -事件，只要他们发生。许多现实世界的监控系统需要事件检测，其中必须及时报告所有事件（无误报），不报告非事件（无误报），并且报告阈值较低。结果，OEDP需要大量的空间（Ω（N）字），并且在流模型中或经由标准的基于采样的方法是不可解的。由于OEDP需要很大的空间，我们专注于高速缓存高效的算法在外部内存模型。我们提供的OEDP是在一个最佳的对数因子的算法。我们的算法是可调的：它的参数可以设置为允许有界的误报和有界的延迟报告。我们的放松不允许假阴性，因为报告所有事件是我们应用程序的严格要求。最后，当输入流中的项目计数遵循幂律分布时，我们展示了改进的结果。
2018-12-24 cs.DS
Estimating small moments of data stream in nearly optimal space-time
对于每个$p \in (0,2]$，我们提出了一个随机算法，返回一个$ε$近似的$p$次频率矩的数据流$F_p = \sum_{i = 1}^n \abs{f_i}^p$。该算法需要空间$O(ε^{-2} \log (mM)(\log n))$，并使用时间$O((\log n) (\log ε^{-1}))$处理每个流更新。它在空间（下限$O(ε^{-2} \log (mM))$以及时间）方面几乎是最优的，并且是具有这些性质的第一个算法。该技术使用适当的阈值从流中的剩余项目中分离出重打击者，并分别估计重打击者和轻元素对$F_p$的贡献。一个关键的组成部分是一个无偏估计$\abs{f_i}^p$的数据结构具有低更新时间和低方差的设计。
2010-06-18 cs.DS cs.LG
Finding Frequent Entities in Continuous Data
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
在涉及处理高维数据的许多应用中，重要的是识别占检测的很大一部分的一小组实体。而不是形式化这作为一个聚类问题，其中所有的检测必须分组到硬或软类别，我们将其形式化为一个实例的频繁项目或重打击者的问题，发现组的紧密聚集的对象，具有高密度的特征空间。我们表明，沉重的打击制定产生的解决方案，更准确和有效的聚类制定。此外，我们提出了一种新的在线算法，称为HAC，它解决了连续空间中的问题，并证明了其在真实视频和家庭领域的有效性。
2018-05-08 cs.AI cs.DS stat.ML
Sampling Space-Saving Set Sketches
针对分布式数据流中heavy distinct hitters问题，提出结合sketch与采样技术的Sampling Space-Saving Set Sketch算法，在大小、速度、精度、可合并性和可逆性上均具优势且实验证明其优越性。
2024-02-13 cs.DB cs.DS
The White-Box Adversarial Data Stream Model
我们研究了白盒对抗模型中的流算法，其中流由对手自适应地选择，对手在每个时间步观察算法的整个内部状态。我们表明，非平凡的算法仍然是可能的。我们首先给出了一个随机算法的$L_1$ -heavy hitters问题，优于最佳的确定性Misra-Gries算法在长流。如果白盒对手是计算上有界的，我们使用加密技术，以减少我们的$L_1$ -重击球手算法的内存，甚至进一步设计了一些额外的算法，图形，字符串和线性代数问题。这种算法的存在是令人惊讶的，因为流式传输算法在该模型中甚至没有秘密密钥，即，其状态完全为对手所知。我们设计的一个算法是用于估计流中不同元素的数量，其中插入和删除实现乘法近似和次线性空间;这样的算法对于确定性算法是不可能的。我们还给出了一个一般的技术，翻译任何两个球员的确定性通信的下限为{ \it随机}算法鲁棒的白盒对手的下限。特别是，我们的研究结果表明，对于所有的$p\ge 0$，存在一个常数$C_p>1$，这样，任何$C_p$ -近似算法的$F_p$矩估计在只插入流与白盒对手需要$n$大小的宇宙的$Ω(n)$空间。类似地，存在恒定的$C>1$，使得用于矩阵秩的仅插入流中的任何$C$近似算法需要具有白盒对手的$Ω(n)$空间。因此，我们的算法结果的基础上加密计算有界和无界的对手之间的分离。（摘要缩短以满足arXiv限制。
2022-07-23 cs.DS
Query complexity of heavy hitter estimation
Indian Institute of Technology, Bombay（印度理工学院孟买分校）
我们考虑的问题，确定的元素的子集$\mathcal{S}^γ_{\mathcal{P}}$的支持下的底层分布$\mathcal{P}$的概率值大于一个给定的阈值$γ$，通过主动查询一个oracle，以获得有关序列$X_1, X_2, \ldots$的$i.i.d.$样本从$\mathcal{P}$。我们考虑两种查询模型：$(a)$每个查询是索引$i$并且oracle返回值$X_i$和$(b)$每个查询是一对$(i,j)$并且oracle给出确认是否为$X_i = X_j$的二进制答案。对于这些查询模型中的每一个，我们设计了顺序估计算法，在每一轮，要么决定什么查询发送到Oracle的整个历史的响应，或决定停止并输出估计的$\mathcal{S}^γ_{\mathcal{P}}$，这是需要正确的一些预先指定的大概率。我们提供的查询复杂度的算法的任何分布$\mathcal{P}$的上限，也得到了最佳的查询复杂度的下限下的两个查询模型。我们还考虑了两个查询模型的噪声版本，并提出了鲁棒的估计，可以有效地对抗噪音的预言机响应。
2021-02-10 cs.DS cs.IT cs.LG
Efficient Measurement on Programmable Switches Using Probabilistic Recirculation
可编程网络交换机承诺灵活性和高吞吐量，从而实现负载均衡和流量工程等应用。网络测量是此类应用的基本构建块，包括识别重要流量（最大流量）或检测流量变化等任务。然而，高吞吐量分组处理架构对编程模型施加了某些限制，诸如受限的分支、有限的存储器访问能力以及有限数量的处理阶段。这些限制限制了可在可编程开关上运行的测量算法的类型。在本文中，我们专注于RMT可编程高吞吐量交换机架构，并仔细研究其设计测量算法的约束。我们证明了我们的研究结果，同时解决重打击问题。我们介绍PRECISION，一个算法，使用\emph{Probabilistic Recirculation}找到顶部流的可编程交换机。通过再循环一小部分数据包，PRECISION简化了对有状态内存的访问，以符合RMT限制，并实现了比以前避免再循环的重命中检测算法更高的准确性。我们还分析了每个架构约束对测量精度的影响，并为测量算法设计者提供了见解。
2018-08-13 cs.DS cs.NI
Streaming Algorithms with Large Approximation Factors
我们启动了广泛的研究，在流模型中的经典问题与插入和删除的设置，我们允许的近似因子$α$要比$1$大得多。这样的算法可以使用比用于$ε\in (0,1)$的$α= 1+ε$的通常设置少得多的存储器。我们研究大近似的一些问题，在素描和流，下面是我们的一些结果。对于$\ell_p$范数/拟线性$\|x\|_p$的$n$维向量$x$，$0 < p \le 2$，我们表明，获得一个$\poly(n)$ -近似需要相同的内存量作为获得一个$O(1)$ -近似任何$M = n^{Θ(1)}$。为了估计的$\ell_p$规范，$p > 2$，我们显示了一个上限的$O(n^{1-2/p} (\log n \allowbreak \log M)/α^{2})$位的$α$近似，并给出了匹配的下限，几乎整个范围的$α\geq 1$的线性草图。对于$\ell_2$ -重击球手的问题，我们表明，已知的下限的$Ω(k \log n\log M)$位识别$(1/k)$ -重击球手持有，即使我们被允许输出项目是$1/(αk)$ -重，几乎整个范围的$α$，提供算法成功的概率$1-O(1/n)$。我们还获得了一个下界的线性草图，即使是紧的常数概率算法。为了估计不同元素的数目$\ell_0$，我们给出了一个$n^{1/t}$ -近似算法，使用空间的$O(t\log \log M)$位，以及$Ω(t)$位的下界，两者都不…
2022-07-17 cs.DS
Better Differentially Private Approximate Histograms and Heavy Hitters using the Misra-Gries Sketch
针对流式近似直方图与重击者的差分隐私发布，本文改进 Misra-Gries 草图机制，使噪声不随草图规模线性增长，并支持用户贡献多个不同元素。
2025-03-18 cs.CR cs.DS cs.IR
SQUAD: Combining Sketching and Sampling Is Better than Either for Per-item Quantile Estimation
流监控是许多数据流应用的基础，例如金融数据跟踪器、安全性、异常检测和负载均衡。在这方面，分位数是特别感兴趣的，因为它们经常捕获用户的效用。例如，如果视频连接具有高尾部延迟，则即使平均延迟和中值延迟较低，感知质量也会受到影响。在这项工作中，我们考虑的问题，近似每项分位数。我们流中的元素是（ID，延迟）元组，我们希望跟踪每个ID的延迟分位数。现有的分位数草图是为单个数字流设计的（例如，仅包含等待时间）。虽然可以为每个ID分配单独的草图实例，但这可能需要不可行的内存量。相反，我们考虑跟踪重命中（最频繁的项目）的分位数，这些分位数通常被认为特别重要，而事先不知道它们。我们首先提出了一个简单的采样算法，作为一个基准。然后，我们设计了一个算法，增加了一个分位数草图内的每个条目的重击算法，导致类似的空间复杂度，但具有确定性的错误保证。最后，我们提出了SQUAD，一种结合采样和草图，同时提高渐近空间复杂度的方法。直观地说，SQUAD使用一个背景采样过程来捕获一个项目的行为之前，它是分配一个草图，从而使我们能够使用更少的样本和草图。我们的解决方案进行了严格的分析，我们证明了我们的方法使用广泛的模拟的优越性。
2022-01-06 cs.DS
The Sparse Vector Technique, Revisited
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；Ben-Gurion University（本-古里安大学）
我们重新回顾了差分隐私文献中最基本和广泛适用的技术之一-稀疏向量技术[Dwork等人，STOC 2009]。这个简单的算法私下测试数据库上给定查询的值是否接近我们期望的值。它允许提出无限数量的查询，只要答案接近我们的期望，并在第一个查询之后停止，而不是这种情况。我们建议一种替代的，同样简单的，算法，可以继续测试查询，只要任何一个人不有助于太多的查询，其答案偏离我们所期望的答案。我们的分析是微妙的，它的一些成分可能更广泛地适用。在某些情况下，我们的新算法允许从数据库中私下提取比原始算法更多的信息。我们证明了这一点，通过应用我们的算法转移重量级人物的问题：在每一个时间步，每个$n$用户得到一个新的输入，任务是私下确定所有当前重量级人物。也就是说，在时间步长$i$上，目标是识别所有数据元素$x$，使得许多用户具有$x$作为其当前输入。我们提出了一个算法，这个问题与改进的错误保证，可以使用现有的技术。具体来说，我们的算法的错误取决于一个单一的用户持有一个重量级选手作为输入的最大次数，而不是总次数，其中一个重量级选手存在。
2020-11-16 cs.DS cs.LG stat.ML
A Simple Proof of a New Set Disjointness with Applications to Data Streams
多层承诺集的不相交性是通信复杂性在应用中应用最广泛的问题之一。在这个问题中，有$k$参与者的子集$S^1, \ldots, S^k$，每个都从$\{1, 2, \ldots, n\}$中抽取，并且我们被保证要么这些集合是（1）成对不相交的，要么（2）在所有集合中存在唯一的元素$j$，否则它们是成对不相交的。在黑板模型中求解该问题的总通信量为$Ω(n/k)$。我们观察到，对于大多数应用程序来说，只要看看我们称之为“大多数”的集合不相交性问题就足够了，它改变了情况（2），即至少有一半的集合中出现了唯一的元素$j$，否则这些集合是不相交的。这种变化给了我们一个更简单的证明一个$Ω(n/k)$随机总通信下界，避免了Hellinger距离和庞加莱不等式。利用这一点，我们展示了数据流的几个新结果：\begin{itemize} \item for $\ell_2$-Heavy Hitters, any $O(1)$-pass streaming algorithm in the insertion-only model for detecting if an $\eps$-$\ell_2$-heavy hitter exists requires $\min(\frac{1}{\eps^2}\log \frac{\eps^2n}δ, \frac{1}{\eps}n^{1/2})$ bits o…
2021-05-24 cs.DS
Flattened Exponential Histogram for Sliding Window Queries over Data Streams
基本计数问题[1]是数据流上滑动窗口查询中最基本、最关键的流问题之一。给定一个0和1的流，这个问题的目的是估计从流中看到的最后N个元素（或时间单位）中1的数量。它的解决方案可以用来作为积木，以解决许多更复杂的问题，如沉重的打击，频率估计，不同的计数，在本文中，我们提出了平坦的指数直方图（FEH）模型的基本计数问题。我们的模型改进了指数直方图[1]，[2]，这是一种用于基本计数问题的广受欢迎的确定性技术，在实践中大部分时间都是关于准确性和内存利用率。在真实世界数据集上的大量实验结果表明，在相同的内存占用情况下，我们的模型的准确性在4到15之间，平均比指数直方图高7倍，而速度大致相同。
2019-12-07 cs.DS
Symmetric Norm Estimation and Regression on Sliding Windows
滑动窗口模型概括了标准流模型，并且通常在最近的数据比在某个时间之前到达的数据更重要或更准确的应用中表现得更好。我们研究了滑动窗口模型中近似对称范数（$\mathbb{R}^n$上的范数，在符号翻转和坐标置换下是不变的）的问题，其中只有$W$最近的更新定义了潜在的频率向量。滑动窗口的标准范数估计算法依赖于Braverman和Ostrovsky（FOCS 2007）的平滑直方图框架，而分析一般对称范数的平滑性似乎是一个具有挑战性的障碍。相反，我们观察到，对称规范流算法的布雷弗曼等。（STOC 2017）可以简化为识别和近似许多子流中重量级人物的频率。我们引入了一个重量级的算法，给出了一个$(1+ε)$ -近似的滑动窗口模型中的每个报告的频率，从而获得第一个算法的一般对称模估计的滑动窗口模型。我们的算法是一个通用的草图，同时近似所有的对称规范在一个参数化类，也提高了平滑直方图框架估计$L_p$规范，大$p$的范围。最后，我们考虑了损失函数是Orlicz范数的情况下的过约束线性回归问题，Orlicz范数是一种对称范数，可以解释为$M$ -估计的尺度不变版本。我们给出了第一个次线性空间算法，产生$(1+ε)$近似解的线性回归问题的损失函数是Orlicz规范的流和滑动窗口模型。
2021-09-03 cs.DS
On the Robustness of CountSketch to Adaptive Inputs
Google Research（谷歌研究院）；Tel Aviv University（特拉维夫大学）；UC Berkeley（加州大学伯克利分校）
CountSketch是一种流行的降维技术，它使用随机线性测量将向量映射到较低的维度。该草图支持恢复$\ell_2$ -向量的重打击者（具有$v[i]^2 \geq \frac{1}{k}\|\boldsymbol{v}\|^2_2$的条目）。我们研究的鲁棒性的草图在自适应设置输入向量可能取决于从以前的输入输出。自适应设置出现在有反馈或对抗攻击的过程中。我们表明，经典的估计是不强大的，可以攻击的草图大小的顺序的查询数量。我们提出了一个强大的估计（略加修改的草图），允许在草图大小，这是$\sqrt{k}$（$k$重打击者）比以前的工作的改进因子的查询的二次数。
2022-02-28 cs.DS cs.LG
$L_p$ Sampling in Distributed Data Streams with Applications to Adversarial Robustness
本文解决了分布式监控模型中所有 $p\ge 1$ 的完美 $L_p$ 采样问题，通信量最优，并基于此实现了对抗鲁棒的 $F_p$ 矩估计及计数、频率估计等核心问题的近最优分布式协议。
2025-10-26 cs.DS
Revisiting the Majority Problem: Average-Case Analysis with Arbitrarily Many Colours
多数问题是重击球者问题的一个特例。给定一个彩色球的集合，任务是识别大多数颜色或声明不存在这种颜色。虽然双色的特殊情况已经得到了很好的研究，但对于任意多种颜色的平均情况性能还没有。在本文中，我们提出了启发式分析的平均情况下的性能出现在文献中的三个确定性算法。我们经验验证我们的分析与大规模模拟。
2018-01-04 cs.DS
Improved Frequency Estimation Algorithms with and without Predictions
MIT（麻省理工学院）；Northeastern University（东北大学）；TTIC（丰田理工学院）
针对数据流元素频率估计问题，提出一种无需预测的新型算法，部分参数下理论性能优于现有学习增强算法，加入高频元素预测后进一步提升精度，实验表现全面超越此前方法。
2023-12-12 cs.DS cs.LG
Data Streams with Bounded Deletions
数据流文献中两种流行的模型是仅插入模型和旋转门模型。不幸的是，许多重要的流问题需要一个$Θ(\log(n))$乘法因子，用于旋转栅门流的空间比用于仅插入流的空间大。这种复杂性差距经常出现，因为在考虑了对项目的所有插入和删除之后，基础频率向量$f$非常接近$0$。在这样的流中的信号检测是困难的，给定大量的删除。在这项工作中，我们提出了一个中间模型，给定一个参数$α\geq 1$，下界规范$\|f\|_p$的$1/α$ -分数的$L_p$质量的流的所有更新都是积极的。这里，对于矢量$f$、$\|f\|_p = \left (\sum_{i=1}^n |f_i|^p \right )^{1/p}$和$p$的值，我们根据应用选择。这在仅插入流（具有$α= 1$）和旋转栅门流（具有$α= \text{poly}(n)$）之间提供了流体介质，并且允许根据$α$进行分析。我们表明，流与此$α$ -属性，对于许多基本的流问题，我们可以取代$O(\log(n))$因素的空间使用的算法在旋转栅门模型与$O(\log(α))$因素。这对于识别重打击者、内积估计、$L_0$估计、$L_1$估计、$L_1$抽样和支持抽样都是正确的。对于每一个问题，我们给出匹配或几乎匹配的$α$属性流的下界。我们注意到，在实践中，许多重要的旋转栅门数据流实际上是$α$-小$α$值的属性流。对于这样的应用程序，我们的结果代表了…
2018-03-23 cs.DS
Tight Bounds for Adversarially Robust Streams and Sliding Windows via Difference Estimators
在对抗性鲁棒流模型中，元素流被呈现给算法，并且被允许在流期间的较早时间依赖于算法的输出。在经典的数据流只插入模型中，Ben-Eliezer et.（PODS 2020，最佳论文奖）展示了如何将非鲁棒算法转换为具有大致$1/\varepsilon$因子开销的鲁棒算法。这随后被Hassidim等人改进为$1/\sqrt{\varepsilon}$因子开销。（NeurIPS 2020，口头报告），抑制对数因子。对于一般的功能，后者是已知的最好的可能性，由卡普兰等人的结果。等人（美国专利商标局2021）。我们将展示如何绕过这一不可能的结果，通过开发数据流算法的一大类流问题，没有开销的近似因子。我们的流问题类包括最充分研究的问题，如$L_2$ -重击球手问题，$F_p$ -矩估计，以及经验熵估计。我们大大提高了所有以前的工作，这些问题，给出了第一个最佳的依赖于近似因子。在以前的工作中，我们得到了一个一般的变换，适用于任何非鲁棒流算法，并依赖于所谓的扭曲数。然而，关键的技术创新是，我们将转换应用于我们称之为流问题的差异估计器，而不是流问题本身的估计器。然后，我们开发了广泛的问题的第一个差异估计。我们的差异估计方法不仅适用于adversarially强大的模型，但其他流模型的时间属性的数据发挥了核心作用。（摘要缩短以满足arXiv限制。）
2022-10-21 cs.DS
Differentially Private Continual Releases of Streaming Frequency Moment Estimations
计算的流模型是处理大规模数据的流行方法。在这种设置中，有一个项目流，目标是计算所需的数量（通常是数据统计），同时通过流进行单次传递并使用尽可能少的空间。出于数据隐私的重要性，我们开发了差分隐私流媒体算法下的连续发布设置，在每个时间戳的算法的输出的联合必须是差分隐私。具体地说，我们研究了基本的$\ell_p$ $(p\in [0,+\infty))$频率矩估计问题在此设置下，并给出了一个$\varepsilon$算法，实现$(1+η)$ -相对近似$(\forall η\in(0,1))$与$\mathrm{poly}\log(Tn)$添加性误差和使用$\mathrm{poly}\log(Tn)\cdot \max(1, n^{1-2/p})$空间，其中$T$是流的长度和$n$是宇宙的元素的大小。我们的空间是接近最佳的多对数因子，即使在非私人设置。为了获得我们的结果，我们首先减少了几个原语下的差分私有连续发布模型，如计数不同的元素，重打击者和计数低频元素，在相同的设置更简单，计数/求和问题。基于这些原语，我们开发了一种差分私有连续释放水平集估计方法来解决$\ell_p$频率矩估计问题。我们还提供了一个简单的扩展，我们的结果更硬的滑动窗口模型，统计数据必须保持在过去的$W$数据项。
2023-01-13 cs.DS
DPSW-Sketch: A Differentially Private Sketch Framework for Frequency Estimation over Sliding Windows (Technical Report)
East China Normal University（华东师范大学）；Zhejiang University（浙江大学）
针对滑动窗口数据流中的敏感频率估计与重击者识别问题，提出基于 count-min sketch 的差分隐私 DPSW-Sketch，在亚线性时空开销下保证有界误差，并实现更优效用-隐私权衡。
2024-06-12 cs.CR cs.DS cs.LG
