Fair-Count-Min: Frequency Estimation under Equal Group-wise Approximation Factor
针对Count-Min草图对不同元素组不公平的问题，提出Fair-Count-Min，通过列分区和组感知半均匀哈希消除组间冲突，保证各组期望近似因子相等，以最小额外误差实现公平并保持效率。
2025-05-25 cs.DS
HyperLogLog Hyper Extended: Sketches for Concave Sublinear Frequency Statistics
对数据元素计算的最常见的统计信息之一是不同键的数量。30年前，Flajolet和Martin开创了一系列研究，最终设计出了最佳近似计数草图，其大小是不同密钥数量的双对数，并且提供了相对误差较小的估计。此外，草图是可组合的，因此适合于流式、并行或分布式计算。我们在这里考虑所有的统计数据的频率分布的关键，其中的贡献的关键的聚合是凹的，并增长（子）线性与其频率。这些基本的聚合在文本、图形和日志分析中非常常见，包括统计量、低频矩和封顶统计。我们为所有凹次线性统计量设计了双对数大小的可组合草图。我们的设计结合了理论上的最优性和实际的简单性。简而言之，我们指定了数据元素到输出元素的定制映射函数，以便数据元素上的目标统计数据近似于输出元素的（最大）不同统计数据，这可以使用现成的草图来近似。我们的关键见解是将这些目标统计数据与输入频率的{ \em补拉普拉斯}变换相关联。
2017-02-24 cs.DS cs.IR
A new Frequency Estimation Sketch for Data Streams
在数据流应用中，关键问题之一是估计每个项目在特定多集中的出现频率。多集意味着这个集合中的每个项目可以出现多次。许多应用中的数据流都是高速流，包含海量数据，如实时IP流量、图形流、Web点击和抓取、传感器数据库、自然语言处理（NLP）[2][6]等，在这些应用中，需要服务器实时的记录流信息。然而，由于这些应用中的数据流是高速的，准确记录和估计项目频率总是不切实际的。解决这个问题的另一种方法是基于概率数据结构估计项目频率，这种方法已广泛用于高速数据流估计[7][9]。Sketches是一种典型的概率数据结构，最初设计用于估计数据流中的项目频率[10][15]。目前，草图已用于许多不同的场景，例如压缩感知中的稀疏近似[16]，自然语言处理[17，18]，数据图[19，20]等等[21]。在本文中，我们主要集中在用于频率估计的草图。
2020-01-04 cs.DS
A survey of sketches in traffic measurement: Design, Optimization, Application and Implementation
网络测量探测底层网络，以支持上层决策，如网络管理，网络更新，网络维护，网络防御等。由于网络流具有海量、快速、不可预测等特点，在测量节点中广泛采用草图来近似记录流的频率或估计流的基数。在其核心，草图通常维护一个或多个计数器数组，并依赖于哈希函数为每个流选择计数器。然后聚集来自分布式测量节点的空间有效的草图以提供正在进行的流的统计。目前，已经提出了大量的重新设计和优化来改进草图，以获得更好的网络测量性能。然而，现有的审查或调查主要侧重于计量任务的一个特定方面。网络测量社区的研究人员和工程师希望有一个涵盖基于草图的网络测量的整个处理流程的一体化调查。为此，我们提出了这一领域的第一次全面调查。我们首先介绍了测量流的准备，然后详细介绍了最近的研究设计，聚合，解码，应用和网络测量的草图的实现。为了总结现有的努力，我们对现有的文献进行了深入的研究，涵盖了90多个草图设计和优化策略。此外，我们还对素描设计进行了全面的分析和定性/定量的比较。最后，我们强调了未来基于草图的网络测量研究的开放问题。
2021-07-20 cs.DS
Asymptotically Optimal Locally Private Heavy Hitters via Parameterized Sketches
本文提出了两种新的局部差分隐私频率估计算法。一个解决了基频预言问题，另一个解决了著名的重打击识别问题。与现有技术一致，这些是随机算法。作为失效概率~ $β$的函数，前者对于每个~ $β$都能获得最优的最坏情况估计误差，而后者当~ $β$至少是用户数~ $n$的逆多项式时是最优的.在这两种算法中，服务器运行时间为~ $\tilde{O}(n)$，而用户运行时间为~ $\tilde{O}(1)$。我们的频率预言算法实现了比Basily等人的先前工作更低的估计误差。（NeurIPS 2017）。另一方面，我们的重命中者识别方法与TreeHist（Basily等人，2017），并且具有优越的最差情况误差，系数为$Ω(\sqrt{\log n})$。
2022-02-17 cs.CR cs.DS
High Probability Frequency Moment Sketches
本文考虑了在最多为$1\pm ε$和\emph{with high confidence} $1-δ$的情况下，求向量$p>2$的$p$阶频率矩的问题.尽管在这个问题上的工作序列很长，这个数量的严格界限只知道常数$δ$。虽然可以通过并行地重复具有恒定错误概率的草图算法$O(\log(1/δ))$次并取输出的中值来获得具有错误概率$δ$的上界，但我们表明这是次优算法！也就是说，我们显示最佳的上限和下限的$Θ(n^{1-2/p} \log(1/δ) + n^{1-2/p} \log^{2/p} (1/δ) \log n)$的草图尺寸，任何常数近似。我们的结果应该与估计$1 \leq p \leq 2$的频率矩的结果进行对比，为此，我们表明，一般$δ$的最佳算法是通过重复恒定错误概率的最佳算法$O(\log(1/δ))$倍，并采取中值输出。我们还得到了匹配的下界为这个问题，常数因子。
2018-05-28 cs.CC cs.DS
Lifting Linear Sketches: Optimal Bounds and Adversarial Robustness
我们提出一种提升技术，将实值线性草图下界推广到整数输入，首次获得离散数据流的最优下界，并证明整数线性草图在对抗攻击下无法鲁棒近似$L_p$范数，解决了相关开放问题。
2025-03-25 cs.DS
WOR and $p$'s: Sketches for $\ell_p$-Sampling Without Replacement
Google Research（谷歌研究院）；Tel Aviv University（特拉维夫大学）；IT University of Copenhagen（哥本哈根信息技术大学）；BARC（哥本哈根基础算法研究中心）；CMU（卡内基梅隆大学）
加权采样是数据分析和机器学习管道中的基本工具。样本用于统计的有效估计或作为数据的稀疏表示。当权重分布偏斜时，实际上经常出现这种情况，无替换（WOR）抽样比有替换（WR）抽样更有效：它为相同数量的样本提供了更广泛的代表性和更高的准确性。我们设计了新颖的可组合草图WOR $\ell_p$采样，加权采样的关键根据权力$p\in[0,2]$他们的频率（或签名数据，更新的总和）。我们的草图的大小仅随样本大小线性增长。我们的设计是简单实用的，尽管复杂的分析，并基于现成的使用广泛实现的重量级草图，如CountSketch。我们的方法是第一个提供WOR采样的重要制度的$p>1$和第一个处理签名更新$p>0$。
2020-08-15 cs.DS cs.LG stat.ML
Improving \textit{Tug-of-War} sketch using Control-Variates method
IIT Mandi（曼迪印度理工学院）；Chennai Mathematical Institute（钦奈数学研究所）
计算大数据的空间有效摘要（\textit{a.k.a. sketches}）是流算法中的中心问题。这些草图用于在多个数据分析任务中回答\textit{post-hoc}查询。用于计算草图的算法通常需要快速、准确和空间效率。流算法框架中的一个基本问题是计算数据流的频率矩。包含$i$类型的$f_i$元素的序列的频率矩是数字$\mathbf{F}_k=\sum_{i=1}^n {f_i}^k,$，其中$i\in [n]$。这也被称为频率向量的$\ell_k$范数$(f_1, f_2, \ldots f_n).$另一个重要的问题是通过计算相应频率向量的内积来计算两个数据流之间的相似性。Alon，Matias和Szegedy~ \cite{AMS}，\textit{a.k.a. Tug-of-war}（或AMS）sketch的开创性工作给出了用于计算频率矩和对应于数据流的两个频率向量之间的内积的随机次线性空间（和线性时间）算法。然而，这些估计值的方差通常往往很大。在这项工作中，我们专注于最小化这些估计的方差。我们使用的技术，从经典的控制变量方法~ \cite{Lavenberg}，这是主要已知的方差减少在蒙特卡洛模拟，因此，我们能够获得显着的方差减少，在一个小的计算开销的成本。我们提出了一个理论分析，我们的建议，并补充它与支持实验合成以及现实世界的数据集。
2022-03-04 cs.DS cs.LG
Tight Lower Bound for Linear Sketches of Moments
估计数据流的频率矩的问题已经吸引了大量的关注，因为流算法的开始[AMS 99]。虽然近似计算$p^{\rm th}$矩的空间复杂度，对于$p\in(0,2]$已经解决[KNW10]，对于$p>2$的精确复杂性仍然是开放的。对于$p>2$，当前最佳算法使用空间字的$O(n^{1-2/p}\log n)$ [AKO 11，BO 10]，而下限是$Ω(n^{1-2/p})$ [BJKS 04]。在本文中，我们显示了一个紧的下限$Ω(n^{1-2/p}\log n)$字的算法类的基础上线性草图，其中存储的只是一个草图$Ax$的输入向量$x$和一些（可能是随机的）矩阵$A$。我们注意到，这个问题的所有已知算法都是线性草图。
2013-06-26 cs.DS cs.IT math.IT
A Unified Construction of Streaming Sketches via the Lévy-Khintchine Representation Theorem
University of Michigan（密歇根大学）
本文提出一种通用方案，利用哈希索引到莱维过程来构建流式草图，统一了多种现有草图的构造，并展示了对近周期函数的可处理性，适用于多维情况及异质矩估计。
2026-04-05 cs.DS math.PR
Tracking the Frequency Moments at All Times
对随机流算法的传统要求仅仅是{ \em one-shot}，即，算法在流的末尾应该是正确的（在规定的$\eps$ -误差范围内）。在本文中，我们研究{ \em跟踪}问题，其中的输出应该是正确的在任何时候。解决跟踪问题的标准方法是运行单次算法的独立实例$O(\log m)$，并将联合边界应用于所有$m$时间实例。在本文中，我们研究，如果这个标准的方法可以改进，为经典的频率矩问题。我们表明，对于任何$1 < p \le 2$的$F_p$问题，我们实际上只需要$O(\log \log m + \log n)$副本，以实现跟踪保证在收银机模型，其中$n$是宇宙的大小。同时，我们提出了一个下限的$Ω(\log m \log\log m)$位的所有线性草图实现这一保证。这表明当$n=(\log m)^{O(1)}$。我们还提出了一个$Ω(\log^2 m)$下界的旋转栅门模型，表明标准的方法，通过使用工会界是本质上是最优的。
2014-12-04 cs.DS
One Table to Count Them All: Parallel Frequency Estimation on Single-Board Computers
草图是概率数据结构，其可以在数学上证明的误差范围内提供近似结果，同时使用比传统方法少的数量级的存储器。它们专为架构上的流数据分析量身定制，即使内存有限，例如广泛用于物联网和边缘计算的单板的【形】计算机。由于这些设备提供多个核心，具有高效的并行草图绘制方案，因此能够管理大量数据流。然而，由于它们的缓存相对较小，因此需要仔细的并行化。在这项工作中，我们专注于频率估计问题，并评估高端服务器，4核Raspberry Pi和8核Odroid的性能。作为草图，我们采用了广泛使用的计数-最小草图。为了以并行和缓存友好的方式散列流，我们应用了一种新颖的制表方法，并将辅助表重新排列为一个。为了在性能上并行化这个过程，我们修改了工作流，并在哈希计算和草图更新之间应用了一种缓冲形式。今天，许多单板的【形】计算机具有异构处理器，其中慢速和快速内核一起配备。为了充分利用这些内核，我们提出了一种动态负载平衡机制，显著提高了频率估计的性能。
2019-03-02 cs.DS
Sublime: Sublinear Error & Space for Unbounded Skewed Streams
University of Toronto（多伦多大学）；KTH Royal Institute of Technology（皇家理工学院）；BARC, University of Copenhagen（哥本哈根大学 BARC）
Sublime框架通过动态扩展计数器和优化内存使用，提升频率估计精度与效率，适用于处理偏斜数据流的场景。
2026-04-28 cs.DB cs.DS cs.IT
Sketching Intersection Profiles: A Simple Proof and Three Applications
Sapienza University of Rome（罗马智慧大学）；Google（谷歌）
本文通过连接交集轮廓草图问题，解决了三个草图问题的复杂度，给出了顶点邻域大小、覆盖函数和随机效用模型的紧界，并提供了一个仅用初等概率的简单下界证明。
2026-06-12 cs.CC cs.DS
A Polynomial Space Lower Bound for Diameter Estimation in Dynamic Streams
该研究针对动态流模型下的直径估计问题，证明常数因子近似需多项式空间，建立了动态流算法与尺度不变函数线性概要、图最小秩的关联，并给出近乎匹配的上界结果。
2025-10-06 cs.CC cs.CG cs.DS
