New cardinality estimation algorithms for HyperLogLog sketches
本文提出了一种新的方法来估计由HyperLogLog草图记录的数据集的基数。一个理论上有动机的扩展到原来的估计，消除了小和大基数的偏见。基于极大似然原理，导出了二次无偏估计方法，并给出了一种稳健有效的数值算法。最大似然方法也可以应用于多个HyperLogLog草图。特别是，它表明，它给出了更精确的基数估计工会，交集，或两个集，都是由HyperLogLog草图表示的传统技术相比，使用的包括-排除原则的相对互补。所有的新方法都通过大量的仿真验证。
2017-02-23 cs.DS
Sampling Sketches for Concave Sublinear Functions of Frequencies
我们考虑大规模的分布式数据集，包括建模为键-值对的元素和计算统计或聚合的任务，其中每个键的贡献由其频率（其元素的值之和）的函数加权。这个基本问题在数据分析和机器学习中有着广泛的应用，特别是在频率的凹次线性函数中，它可以减轻高频键的不成比例的影响。凹次线性函数族包括低频矩（$p \leq 1$）、帽函数（capping）、矩函数及其组合。一种常见的方法是对键进行采样，理想情况下，与它们的贡献成比例，并从样本中估计统计数据。一种简单但昂贵的方法是聚合数据以生成键及其频率的表，将我们的函数应用于频率值，然后应用加权采样方案。我们的主要贡献是可组合的采样草图，可以定制的频率的任何凹次线性函数的设计。我们的草图结构大小非常接近所需的样本大小，并且我们的样本提供了对估计质量的统计保证，这些估计质量非常接近在聚合数据上计算的相同大小的理想样本的质量。最后，我们通过实验证明了我们的方法的简单性和有效性。
2019-12-22 cs.DS
The Cost of Compression: Tight Quadratic Black-Box Attacks on Sketches for $\ell_2$ Norm Estimation
Google Research（谷歌研究）；Tel Aviv University（特拉维夫大学）
本文提出一种通用黑盒攻击，仅需 Õ(k^2) 次查询即可破坏任意线性草图的 ℓ2 范数估计，并证明该下界与已知上界紧密匹配，揭示压缩表示的根本脆弱性。
2025-09-21 cs.DS cs.LG
Sketch-Flip-Merge: Mergeable Sketches for Private Distinct Counting
数据草图是不同计数的关键工具，使多集能够由紧凑的摘要表示，允许快速的基数估计。因为草图可以被合并以汇总多集联合，所以它们是数据仓库中的基本构建块。虽然存在许多用于基数估计的实用草图，但是没有一个在合并时提供隐私。我们提出了第一个实用的基数草图，同时可合并，差分私人（DP），并具有较低的经验误差。这些介绍了一种新的随机算法执行逻辑运算的噪音位，一个严密的隐私分析，并证明最佳的估计。我们的草图在模拟和现实数据中大大优于现有的理论解决方案。
2023-02-04 cs.CR cs.DS stat.CO
Sublinear Sketches for Approximate Nearest Neighbor and Kernel Density Estimation
Department of Computer Science & Engineering, Indian Institute of Technology Bombay（计算机科学与工程系，印度理工学院班加罗尔）
本文提出针对动态数据流的次线性草图算法，用于近似最近邻搜索和核密度估计，在内存与误差间实现接近最优权衡，并首次给出滑动窗口下A-KDE的次线性保证。
2026-09-15 cs.DS cs.LG stat.ML
Sampling Space-Saving Set Sketches
针对分布式数据流中heavy distinct hitters问题，提出结合sketch与采样技术的Sampling Space-Saving Set Sketch算法，在大小、速度、精度、可合并性和可逆性上均具优势且实验证明其优越性。
2024-02-13 cs.DB cs.DS
Space Lower Bounds for Itemset Frequency Sketches
给定一个数据库，计算包含查询项集的行的分数或确定该分数是否高于某个阈值是数据采掘中的基本操作。行的均匀样本是数据库的一个很好的草图，因为所有足够频繁的项集及其近似频率都可以从样本中恢复，并且草图大小与原始数据库中的行数无关。对于许多看似相似的问题，有比均匀采样更好的草图算法。在本文中，我们表明，项目集频率素描，这是不是这种情况。也就是说，我们证明了存在类的数据库，均匀采样是一个空间最佳草图近似项集频率分析，常数或迭代对数因子。
2016-03-09 cs.DS
A Strong Separation for Adversarially Robust $\ell_0$ Estimation for Linear Sketches
本文针对自适应流模型中的线性草图 $\ell_0$ 估计问题，提出了首个自适应攻击，在整数流、有限域和实数域上分别以 $\tilde{\mathcal{O}}(r^8)$ 和 $\tilde{\mathcal{O}}(r^3)$ 次查询破坏草图，实现指数级改进。
2024-09-24 cs.DS
Matrix Product Sketching via Coordinated Sampling
New York University（纽约大学）；Pennsylvania State University（宾夕法尼亚州立大学）
针对独立计算矩阵草图以近似稀疏矩阵乘积的问题，提出基于共享随机种子的协调采样方法，在理论和实验上均证明其优于经典线性草图方法，在分布式回归和注意力矩阵近似中实现数量级提升。
2025-01-29 cs.DB cs.DS cs.LG
Asymptotically Optimal Locally Private Heavy Hitters via Parameterized Sketches
本文提出了两种新的局部差分隐私频率估计算法。一个解决了基频预言问题，另一个解决了著名的重打击识别问题。与现有技术一致，这些是随机算法。作为失效概率~ $β$的函数，前者对于每个~ $β$都能获得最优的最坏情况估计误差，而后者当~ $β$至少是用户数~ $n$的逆多项式时是最优的.在这两种算法中，服务器运行时间为~ $\tilde{O}(n)$，而用户运行时间为~ $\tilde{O}(1)$。我们的频率预言算法实现了比Basily等人的先前工作更低的估计误差。（NeurIPS 2017）。另一方面，我们的重命中者识别方法与TreeHist（Basily等人，2017），并且具有优越的最差情况误差，系数为$Ω(\sqrt{\log n})$。
2022-02-17 cs.CR cs.DS
Fair-Count-Min: Frequency Estimation under Equal Group-wise Approximation Factor
针对Count-Min草图对不同元素组不公平的问题，提出Fair-Count-Min，通过列分区和组感知半均匀哈希消除组间冲突，保证各组期望近似因子相等，以最小额外误差实现公平并保持效率。
2025-05-25 cs.DS
Differentially Private Linear Sketches: Efficient Implementations and Applications
线性草图已被广泛用于处理快速数据流，它们可以用于准确地回答频率估计，近似前K项，并总结数据分布。当数据是敏感的，它是可取的，以保护私人信息，同时提供有用的结果与理论界限的线性草图提供隐私保证。我们表明，线性草图可以确保隐私，并保持其独特的属性，在初始化时添加少量的噪音。从不同的私有线性草图中，我们展示了旋转栅门模型中最先进的分位数草图也可以是私有的并保持高性能。实验进一步表明，我们提出的差异私人草图是定量和定性相似的无噪声草图具有高利用率的合成和真实的数据集。
2022-10-14 cs.DB cs.DS cs.NI
How Robust are Linear Sketches to Adaptive Inputs?
线性草图是强大的算法工具，通过线性变换将n维输入转换为简洁的低维表示。这样的草图已经看到了广泛的应用，包括数据流上的范数估计、压缩感知和分布式计算。然而，在几乎任何现实的设置中，线性草图都面临着其输入与草图的先前评估相关的可能性。已知的技术不再保证在存在这种相关性的情况下输出的正确性。因此，我们要问：线性草图是否固有地对自适应选择的输入不鲁棒？我们对这个问题给予了强有力的肯定回答。具体而言，我们表明，没有线性草图近似的欧几里德范数的输入到任意乘法近似因子的多项式数量的自适应选择的输入。即使草图的尺寸是d = n-o（n）并且草图被给予无限的计算时间，结果仍然是正确的。我们的结果是基于一个算法与运行时间多项式在d中，自适应地找到一个分布在输入上的草图是不正确的恒定概率。我们的结果暗示了相关问题，包括lp范数估计和压缩感知的几个推论。值得注意的是，我们解决了一个开放的问题，在压缩感知的L2/L2恢复保证的可行性，在计算上有界的对手的存在。
2012-11-05 cs.DS
Learning-Augmented Sketches for Hessians
Nanyang Technological University（南洋理工大学）；Shanghai University of Finance and Economics（上海财经大学）；Carnegie Mellon University（卡内基梅隆大学）
草图是一种降维技术，其中通过随机选择的线性组合来压缩矩阵。一系列的工作已经展示了如何绘制Hessian来加速二阶方法中的每次迭代，但是这样的草图通常只依赖于手头的矩阵，并且在许多情况下甚至忽略了输入矩阵。相反，人们可以希望学习针对输入矩阵的特定分布进行优化的草图矩阵的分布。我们将展示如何设计经验的草图的Hessian的背景下，二阶方法。我们证明了一个较小的草图尺寸的列空间的高矩阵是可能的，给定的预言，可以预测的指数的行的大杠杆得分。我们为各种数据集设计了这样一个预言机，这导致了研究充分的迭代Hessian草图过程的更快收敛，该过程适用于凸优化中的各种问题。我们经验表明，学到的草图，与他们的“非学习”的同行相比，确实提高了重要问题的近似精度，包括LASSO和矩阵估计与核范数约束。
2021-10-06 cs.DS cs.LG
A new Frequency Estimation Sketch for Data Streams
在数据流应用中，关键问题之一是估计每个项目在特定多集中的出现频率。多集意味着这个集合中的每个项目可以出现多次。许多应用中的数据流都是高速流，包含海量数据，如实时IP流量、图形流、Web点击和抓取、传感器数据库、自然语言处理（NLP）[2][6]等，在这些应用中，需要服务器实时的记录流信息。然而，由于这些应用中的数据流是高速的，准确记录和估计项目频率总是不切实际的。解决这个问题的另一种方法是基于概率数据结构估计项目频率，这种方法已广泛用于高速数据流估计[7][9]。Sketches是一种典型的概率数据结构，最初设计用于估计数据流中的项目频率[10][15]。目前，草图已用于许多不同的场景，例如压缩感知中的稀疏近似[16]，自然语言处理[17，18]，数据图[19，20]等等[21]。在本文中，我们主要集中在用于频率估计的草图。
2020-01-04 cs.DS
Non-Mergeable Sketching for Cardinality Estimation
基数估计可能是最简单的非平凡的统计问题，可以通过草图解决。HyperLogLog、MinHash和PCSA等工业部署的草图是可合并的，这意味着可以在分布式环境中绘制大型数据集，然后将其合并为整个数据集的单个草图。在过去的十年中，已经开发了各种各样的草图，这些草图是不可合并的，但由于其他原因而具有吸引力。它们更简单，它们的基数估计是严格无偏的，并且它们具有显著更低的方差。我们在一个合理的水平竞争环境中评估素描方案，根据他们的记忆方差乘积（MVP）。例如，在一个示例中，占用$5m$位并且其相对方差为$2/m$（标准误差$\sqrt{2/m}$）的草图具有$10$的MVP。我们的贡献如下。科恩和丁独立地发现了我们所说的鞅变换，用于将可合并的草图转换为不可合并的草图。我们提出了一个简单的方法来分析极限MVP的鞅型草图。我们证明了\Martingale{}变换在不可合并的世界中是最优的，特别是\Martingale{} \fishmonger{}在可线性化的草图中是最优的，MVP为$H_0/2 \approx 1.63$。例如，在一个示例中，这是一个间接的证据，证明要达到1%的标准误差，我们不能做得比一个200字节的草图更好。\Martingale{} \fishmonger{}既不简单也不实用。我们开发了一个新的可合并的草图称为\Curtain{}，罢工之间的简单性和效率很好的平衡，并证明…
2021-02-15 cs.DS
Weighted Minwise Hashing Beats Linear Sketching for Inner Product Estimation
提出基于 Weighted MinHash 的紧凑草图方法用于高维向量内积估计，在稀疏向量上精度优于 CountSketch 等线性草图方法，并具备理论与实验支持。
2023-05-05 cs.DB cs.DS
Back to the Future: an Even More Nearly Optimal Cardinality Estimation Algorithm
我们描述了一个新的基数估计算法，是非常节省空间。它适用于三个新的估计的Flajolet-Martin-85优惠券收集过程中的压缩状态。在与压缩的HyperLogLog草图进行的苹果对苹果的经验比较中，新算法同时在时间/空间/准确性权衡的所有三个维度上获胜。我们的原型使用zstd压缩库，并产生比HLL的熵更小的草图，因此没有可能的压缩HLL实现可以匹配其空间效率。本文的技术贡献包括分析和模拟的三个新的估计，准确值的熵FM 85和HLL，和一个非平凡的方法，通过模拟估计一个双渐近极限。
2017-08-22 cs.DS
GPU-Parallelizable Randomized Sketch-and-Precondition for Linear Regression using Sparse Sign Sketches
本文研究GPU环境下基于稀疏符号草图的草图与预处理方法，提出一种基于拒绝采样的易并行稀疏符号草图生成方法，并通过单GPU和多GPU实验验证其在大规模线性回归中的适用性。
2025-06-06 cs.DC cs.DS cs.NA
Composable Sketches for Functions of Frequencies: Beyond the Worst Case
最近，人们越来越关注使用机器学习技术来改进经典算法。在本文中，我们研究当它是可能的构造紧凑的，可组合的草图加权抽样和统计估计根据数据频率的函数。这种结构现在是大规模数据分析和机器学习管道的核心组件。然而，许多常见的功能，如阈值和p > 2的p阶频率矩，在最坏的情况下需要多项式大小的草图。我们探讨了两种不同类型的假设下的最坏情况下的性能。第一个是获得关于项目频率的嘈杂建议。这延续了Hsu et al.（ICLR 2019）的工作路线，他们假设预测是由机器学习模型提供的。第二个是在有限的一类输入频率分布上提供有保证的性能，这些分布与实践中观察到的情况更好地一致。这扩展了Charikar et al.（ICALP 2002）的开创性论文中关于Zipfian分布下的重打击者的工作。令人惊讶的是，我们的分析和经验表明，“在实践中”小多面体大小的草图提供准确的“硬”功能。
2021-11-03 cs.DS
Sketch-Based Estimation of Subpopulation-Weight
海量数据集的摘要支持对原始数据的近似查询处理。一组记录上的基本聚合是指定为记录属性上的谓词的子群体的权重。Bottom-k草图是一种强大的加权项汇总格式，包括优先级抽样和经典的无替换加权抽样。对于包括分布式数据库和数据流在内的许多数据表示，可以有效地计算它们。我们得到了新的无偏估计和有效的置信区间的子种群重量。我们的估计量和界限是定制的应用程序（如数据流）之间的区别，其中的总重量的草图集可以计算的汇总算法，而无需大量使用额外的资源，和应用程序（如草图的网络社区），这是不是这种情况。我们严格的推导是基于霍维茨-汤普森估计的巧妙应用，并辅以有效的计算方法。我们证明了他们的好处在广泛的帕累托分布。
2008-02-23 cs.DB cs.DS cs.NI
Data Sketches for Disaggregated Subset Sum and Frequent Item Estimation
介绍并研究了一种新的用于处理海量数据集的数据草图。它解决了两个常见的问题：1）计算任意过滤条件下的总和，2）识别数据集中的频繁项或重命中项。对于前者，该草图提供了具有最先进精度的无偏估计。当数据被分解时，它可以处理具有挑战性的场景，因此计算每单位的感兴趣指标需要昂贵的聚合。例如，感兴趣的度量可以是每个用户的总点击，而原始数据是每个用户具有多行的点击流。因此，该草图适用于广泛的应用，包括计算广告预测的历史点击率，报告来自事件流的用户指标，以及测量IP流的网络流量。我们证明和经验表明，草图有良好的性能，分解子集和估计和频繁项目问题。在身份证上。数据，它不仅挑选出频繁项目，但给出强相合估计的比例，每个频繁项目。由此产生的草图渐近地绘制出与样本大小成比例的概率，该概率对于估计数据的总和是最佳的。对于非I.I.D.数据，我们表明，它通常比随机抽样的频繁项问题，从来没有做得更糟。对于子集和估计，我们表明，即使是病理序列，方差接近最优抽样设计。从经验上讲，尽管在分类数据上操作的缺点，我们的方法匹配或优于优先级采样，这是一种用于预聚合数据的最先进的方法，并且与均匀采样相比，在偏斜数据上的表现更好。我们提出了扩展的草图，允许它被用于多个数据集相结合，在分布式系统中，并为时间衰减聚合。
2017-09-12 cs.DS stat.CO
Sketching Linear Classifiers over Data Streams
Stanford University（斯坦福大学）
我们引入了一个新的子线性空间草图-权重中值草图-用于在数据流上学习压缩线性分类器，同时支持模型中大幅度权重的有效恢复。这使得存储器有限的执行几个统计分析的流，包括在线特征选择，流数据解释，相对三角形检测，和逐点互信息的流估计。与捕获数据流中最频繁出现的特征（或项）的相关草图不同，加权中值草图捕获的是一个流（或类）与另一个流（或类）相比最具区别性的特征。权重-中位数草图采用计数-草图中使用的核心数据结构，但它不是草图计数，而是捕获对模型参数的草图梯度更新。我们提供了一个理论分析，建立批量和在线学习的恢复保证，并证明经验改进的内存精度权衡替代内存预算的方法，包括计数为基础的草图和功能哈希。
2018-04-06 cs.DS cs.LG stat.ML
Sub-linear Memory Sketches for Near Neighbor Search on Streaming Data
Rice University（莱斯大学）
我们提出了第一个次线性记忆草图，可以查询，以找到最近的邻居在一个数据集。我们的在线草图算法在$O(N^{(b+1)} \log^3 N)$时间内将N个元素的数据集压缩为大小为$O(N^b \log^3 N)$的草图，其中$b < 1$。此草图可以正确报告满足由$b$参数化的稳定性条件的任何查询的最近邻居。我们实现稳定查询的次线性内存性能结合局部敏感哈希（LSH）为基础的估计，在线核密度估计，压缩感知的最新进展。我们的理论结果揭示了新的光最近邻搜索的内存精度权衡，我们的草图，它完全由短整数数组，在实践中有各种有吸引力的功能。我们评估了我们的方法在Google Plus社交媒体网络中的朋友推荐任务上的记忆召回权衡。我们获得了数量级更好的压缩比随机投影为基础的替代方案，同时保留报告的能力，最近的邻居的实际查询。
2020-09-14 cs.CG cs.DS cs.LG
Weighted Sampling Without Replacement from Data Streams
无替换加权抽样已被证明是设计新算法的一个非常重要的工具。Efraimidis和Spirakis（IPL 2006）提出了一种无需替换数据流的加权采样算法。他们的算法在区间[0，1]上精确计算的假设下工作。Cohen和Kaplan（VLDB 2008）在他们的bottom-k草图中使用了类似的方法。Efraimidis和Spirakis提出了一个开放性问题，即使用有限精度算法是否会影响其算法的准确性。在本文中，我们展示了一种方法，以避免这个问题，通过提供一个精确的减少从k-采样没有更换k-采样更换。我们将结果方法称为Cascade Sampling。
2015-06-04 cs.DS
Information Theoretic Limits of Cardinality Estimation: Fisher Meets Shannon
University of Michigan（密歇根大学）
本文提出FiSh数度量数据草图效率，证明Fishmonger草图在基数估计中达到理论最优，且H₀/I₀为可合并草图的最优FiSh数。
2026-02-14 cs.DS cs.IT math.IT
SQUAD: Combining Sketching and Sampling Is Better than Either for Per-item Quantile Estimation
流监控是许多数据流应用的基础，例如金融数据跟踪器、安全性、异常检测和负载均衡。在这方面，分位数是特别感兴趣的，因为它们经常捕获用户的效用。例如，如果视频连接具有高尾部延迟，则即使平均延迟和中值延迟较低，感知质量也会受到影响。在这项工作中，我们考虑的问题，近似每项分位数。我们流中的元素是（ID，延迟）元组，我们希望跟踪每个ID的延迟分位数。现有的分位数草图是为单个数字流设计的（例如，仅包含等待时间）。虽然可以为每个ID分配单独的草图实例，但这可能需要不可行的内存量。相反，我们考虑跟踪重命中（最频繁的项目）的分位数，这些分位数通常被认为特别重要，而事先不知道它们。我们首先提出了一个简单的采样算法，作为一个基准。然后，我们设计了一个算法，增加了一个分位数草图内的每个条目的重击算法，导致类似的空间复杂度，但具有确定性的错误保证。最后，我们提出了SQUAD，一种结合采样和草图，同时提高渐近空间复杂度的方法。直观地说，SQUAD使用一个背景采样过程来捕获一个项目的行为之前，它是分配一个草图，从而使我们能够使用更少的样本和草图。我们的解决方案进行了严格的分析，我们证明了我们的方法使用广泛的模拟的优越性。
2022-01-06 cs.DS
Harmonic Decomposition in Data Sketches
本文提出一种基于调和结构而非显式采样的通用草图SymmetricPoissonTower，通过拥抱哈希冲突节省空间，对近周期函数指数级优于采样方法，并猜想其能估计所有可处理函数。
2024-11-05 cs.DB cs.DC cs.DS
Sampling Methods for Inner Product Sketching
针对内积估计问题，提出两种基于采样的线性时间草图方法，在理论和实验上优于现有线性草图，并证明了近似保证。
2024-08-22 cs.DB cs.DS
Efficient Leverage Score Sampling for Tensor Train Decomposition
本文提出利用TT分解规范形式和精确杠杆分数采样加速ALS算法，以对数时间复杂度高效采样张量，并在合成与真实数据上验证其优于SVD和ALS基线方法。
2024-06-06 cs.DS
Almost Instance Optimal Sum and Moment Estimation Using Weighted Sampling
National Institute of Science Education and Research（印度科学教育研究所）；Homi Bhabha National Institute（霍米·巴巴国立研究所）
本文提出加权采样下的几乎实例最优求和估计算法，揭示样本复杂度与ℓ2范数的关系，并给出下界及更优的矩估计方法。
2026-10-07 cs.DS
Online Sketch-based Query Optimization
基于代价的查询优化在关系数据库中经过几十年的研究和工业发展仍然是一个关键的任务。查询优化器依赖于大量的统计概要--包括属性级直方图和表级样本--来进行准确的基数估计。随着选择谓词的复杂性和连接谓词数量的增加，出现了两个问题。首先，统计信息不能以增量方式组成，从而无法有效地估计在计划枚举中生成的子计划的成本。其次，小错误通过连接操作符呈指数级传播，这可能导致严重的次优计划。在本文中，我们介绍了COMPASS，一个新的查询优化范例内存数据库的基础上，一种单一类型的统计-快速AGMS草图。在COMPASS中，查询优化和执行相互交织。在查询优化过程中，选择谓词和草图更新被下推并在线评估。这允许Fast-AGMS草图仅在相关元组上计算--这提高了基数估计的准确性。计划枚举是通过递增地组合属性级草图来在查询连接图上执行的，而不是通过为每个子计划构建单独的草图。我们原型COMPASS在MapD -一个开源的并行数据库-并进行了广泛的实验，在完整的工作基准。结果证明，与其他四个数据库系统相比，COMPASS生成了更好的执行计划（无论是在基数还是运行时方面）。总体而言，COMPASS在累积查询执行时间上比所考虑的竞争对手实现了1.35倍到11.28倍的加速。
2021-02-04 cs.DB cs.DS
Matching Noisy Keys for Obfuscation
针对分布式数据概化合并时标识符易泄露的问题，提出使用含噪哈希码的框架，在混淆标识符的同时高概率完成匹配，并给出概率误差界，验证了方法可行性。
2023-12-14 cs.DM cs.DS
