LogLog-Beta and More: A New Algorithm for Cardinality Estimation Based on LogLog Counting
本文提供的信息定义了LogLog-Beta。LogLog-Beta是一种基于LogLog计数的基数估计算法。新算法只使用一个公式,不需要对整个基数范围进行额外的偏差校正,因此,它更有效,更简单的实现。我们的模拟表明,新算法提供的准确性是一样好或更好的HyperLogLog或HyperLogLog++提供的准确性。除了LogLog-Beta之外,我们还提供了另一个基于顺序统计量的基数估计公式,这是对Lumbroso开发的算法的修改。
2020-12-21 cs.DS
Cardinality estimation using Gumbel distribution
基数估计是一项任务,在一个可能有重复元素的大型数据集中近似不同元素的数量。LogLog和HyperLogLog(参见Durand和Flajolet [ESA 2003],Flajolet等人[Discrete Math Theor. 2007])是用于基数估计的小空间草图方案,其既具有强有力的理论性能保证,又在实践中是高度有效的。这使得它们成为一个非常受欢迎的解决方案,在大数据系统中有许多实现(例如Algebird,Apache DataSketches,BigQuery,Presto和Redis)。然而,尽管具有简单而优雅的公式,但LogLog和HyperLogLog的分析都非常复杂--跨越了数十页的分析组合学和复变函数分析。我们提出了一个修改LogLog和HyperLogLog,用连续的Gumbel分布取代离散的几何分布。这导致对估计保证的非常简短、简单和基本的分析,以及估计器的更平滑的行为。
2020-08-17 cs.DM cs.DS
SetSketch: Filling the Gap between MinHash and HyperLogLog
MinHash和HyperLogLog是草图算法,已成为大数据应用程序中集合摘要不可或缺的算法。虽然HyperLogLog允许以非常小的空间计算不同的元素,但MinHash适合快速比较集合,因为它允许估计Jaccard相似性和其他联合量。这项工作提出了一种名为SetSketch的新数据结构,它能够不断填补这两个用例之间的空白。它的交换和幂等插入操作和可合并状态使其适用于分布式环境。基数和联合量的快速,强大,易于实现的估计器,以及使用SetSketch进行相似性搜索的能力,使多功能应用成为可能。所提出的联合估计器也可以应用于其他数据结构,如MinHash,HyperLogLog或HyperMinHash,在许多情况下,它甚至比相应的最先进的估计器更好地执行。
2021-08-11 cs.DB cs.DS
Non-Mergeable Sketching for Cardinality Estimation
基数估计可能是最简单的非平凡的统计问题,可以通过草图解决。HyperLogLog、MinHash和PCSA等工业部署的草图是可合并的,这意味着可以在分布式环境中绘制大型数据集,然后将其合并为整个数据集的单个草图。在过去的十年中,已经开发了各种各样的草图,这些草图是不可合并的,但由于其他原因而具有吸引力。它们更简单,它们的基数估计是严格无偏的,并且它们具有显著更低的方差。我们在一个合理的水平竞争环境中评估素描方案,根据他们的记忆方差乘积(MVP)。例如,在一个示例中,占用$5m$位并且其相对方差为$2/m$(标准误差$\sqrt{2/m}$)的草图具有$10$的MVP。我们的贡献如下。科恩和丁独立地发现了我们所说的鞅变换,用于将可合并的草图转换为不可合并的草图。我们提出了一个简单的方法来分析极限MVP的鞅型草图。我们证明了\Martingale{}变换在不可合并的世界中是最优的,特别是\Martingale{} \fishmonger{}在可线性化的草图中是最优的,MVP为$H_0/2 \approx 1.63$。例如,在一个示例中,这是一个间接的证据,证明要达到1%的标准误差,我们不能做得比一个200字节的草图更好。\Martingale{} \fishmonger{}既不简单也不实用。我们开发了一个新的可合并的草图称为\Curtain{},罢工之间的简单性和效率很好的平衡,并证明…
2021-02-15 cs.DS
Breaking the Quadratic Barrier: Robust Cardinality Sketches for Adaptive Queries
本文通过设计细粒度鲁棒估计器,将基数草图的二次失效障碍从总查询数转移到共享同一元素的查询数,从而支持指数级自适应查询,并扩展了鲁棒算法设计工具。
2025-02-08 cs.DS
Back to the Future: an Even More Nearly Optimal Cardinality Estimation Algorithm
我们描述了一个新的基数估计算法,是非常节省空间。它适用于三个新的估计的Flajolet-Martin-85优惠券收集过程中的压缩状态。在与压缩的HyperLogLog草图进行的苹果对苹果的经验比较中,新算法同时在时间/空间/准确性权衡的所有三个维度上获胜。我们的原型使用zstd压缩库,并产生比HLL的熵更小的草图,因此没有可能的压缩HLL实现可以匹配其空间效率。本文的技术贡献包括分析和模拟的三个新的估计,准确值的熵FM 85和HLL,和一个非平凡的方法,通过模拟估计一个双渐近极限。
2017-08-22 cs.DS
One Attack to Rule Them All: Tight Quadratic Bounds for Adaptive Queries on Cardinality Sketches
本文提出通用自适应攻击框架,证明广泛并集可组合及线性基数草图均可在约二次数量查询内被攻破,其中单调与线性映射达到紧界。
2025-03-14 cs.DS
ExtendedHyperLogLog: Analysis of a new Cardinality Estimator
我们讨论了在流中计数不同元素的问题。流通常被认为是一个元素序列,每次出现一个元素。这个问题的精确解决方案需要流大小的内存空间。对于许多应用,由于非常大的流,该解决方案是不可行的。在这种情况下,解决方案是使用概率数据结构(也称为草图),从中我们可以高精度地估计流的基数。我们提出了一种新的算法,扩展HyperLogLog(EHLL),这是基于国家的最先进的算法,HyperLogLog(HLL)。为了达到与HLL相同的精度,EHLL使用的内存减少了16%。近年来,鞅方法得到了发展。在鞅的设置,我们得到更好的准确性的代价是不能合并草图。EHLL也适用于鞅环境。Martingale EHLL实现了与Martingale HLL相同的精度,使用的内存减少了12%。
2021-06-17 cs.DS
Huffman-Bucket Sketch: A Simple $O(m)$ Algorithm for Cardinality Estimation
University of Gothenburg(哥德堡大学);Chalmers University of Technology(查尔姆斯理工大学)
Huffman-Bucket Sketch通过高效压缩HyperLogLog草图,以更低的内存需求实现基数估计,同时保持可合并性和高效率。
2026-03-11 cs.DS
All-Distances Sketches, Revisited: HIP Estimators for Massive Graphs Analysis
具有数十亿条边的图数据集(如社交和Web图)非常普遍,可扩展计算至关重要。全距离草图(ADS)[Cohen 1997],是一个强大的工具,可扩展的近似统计。该草图是强调较近节点的节点的距离关系的小尺寸样本。所有节点的草图使用近似线性计算来计算,并且将估计器应用于节点的草图以估计其属性。我们提供,第一次,ADS算法和应用程序的统一阐述。我们提出了历史逆概率(HIP)估计,适用于一个节点的ADS估计一个大的自然类的统计。对于重要的特殊情况下的邻域基数(在一些查询距离内的节点数)和接近中心,HIP估计最多有一半的方差以前的估计,我们表明,这基本上是最优的。此外,HIP得到了多项式的改进,更一般的统计量和估计是简单的,灵活的,无偏的,和优雅的。对于数据流的近似不同计数,HIP优于HyperLogLog MinHash草图(Flajolet et et al. 2007)的原始估计器,为这种最先进的实用算法获得了显着提高的估计质量。
2015-01-17 cs.DS cs.SI
Sketch-Flip-Merge: Mergeable Sketches for Private Distinct Counting
数据草图是不同计数的关键工具,使多集能够由紧凑的摘要表示,允许快速的基数估计。因为草图可以被合并以汇总多集联合,所以它们是数据仓库中的基本构建块。虽然存在许多用于基数估计的实用草图,但是没有一个在合并时提供隐私。我们提出了第一个实用的基数草图,同时可合并,差分私人(DP),并具有较低的经验误差。这些介绍了一种新的随机算法执行逻辑运算的噪音位,一个严密的隐私分析,并证明最佳的估计。我们的草图在模拟和现实数据中大大优于现有的理论解决方案。
2023-02-04 cs.CR cs.DS stat.CO
Cardinality Estimators do not Preserve Privacy
像HyperLogLog这样的基数估计器是一种草图算法,用于估计大型多集中不同元素的数量。在隐私敏感的情况下使用它们提出了它们是否泄露私人信息的问题。特别是,它们能在保持强大的聚合属性的同时提供任何隐私保证吗?我们制定了一个抽象的概念基数估计,捕捉这种聚合的要求:一个可以合并草图,而不会失去精度。我们提出了一个攻击者模型和相应的隐私定义,严格弱于差分隐私:我们假设攻击者没有数据的先验知识。然后,我们表明,如果基数估计满足这个定义,那么它不能有一个合理的精度水平。我们证明了类似的结果,我们的定义较弱的版本,并分析现有算法的隐私,显示他们的平均隐私损失是显着的,即使是大基数的多集。我们的结论是,强大的聚合要求与任何合理的隐私定义是不相容的,基数估计应被视为敏感的原始数据。我们还提出了风险缓解策略,为他们的现实世界的应用。
2018-12-18 cs.CR cs.DS
DynamicLogLog: Faster, Smaller, and More Accurate Cardinality Estimation
DOE Joint Genome Institute, Lawrence Berkeley National Laboratory(美国能源部联合基因组研究所,劳伦斯伯克利国家实验室)
本文提出DynamicLogLog算法,通过共享指数和相对前导零计数实现更小的内存占用、更快的处理速度和更平的误差分布,对比实验显示其在精度和效率上优于传统HyperLogLog方法。
2026-05-13 cs.DS
An Effective and Differentially Private Protocol for Secure Distributed Cardinality Estimation
对分布在多个数据持有者上的不同元素的数量进行计数是从人群计数到网络监控的许多实际应用中的一个基本问题。尽管有许多空间和计算效率高的草图方法(例如,Flajolet-Martin草图和HyperLogLog草图)来解决上述问题,但是当考虑到与使用每个数据持有者的个人数据集相关的隐私问题时,这些草图方法是不安全的。尽管最近提出的协议,成功地实现了著名的Flajolet-Martin(FM)草图上的秘密共享为基础的多方计算(MPC)的框架,以解决问题的私人分布式基数估计(PDCE),我们观察到,这个MPC-FM协议是不是差分私人。此外,MPC-FM协议是计算昂贵的,这限制了其应用程序的数据持有者有限的计算资源。为了解决上述问题,在本文中,我们提出了一种新的协议DP-DICE,这是计算效率和差分私有的解决问题的PDCE。实验结果表明,我们的DP-DICE实现了数量级的加速,并减少了几倍的估计误差相比,在相同的安全要求下,与国家的艺术。
2023-02-04 cs.CR cs.DS
Information Theoretic Limits of Cardinality Estimation: Fisher Meets Shannon
University of Michigan(密歇根大学)
本文提出FiSh数度量数据草图效率,证明Fishmonger草图在基数估计中达到理论最优,且H₀/I₀为可合并草图的最优FiSh数。
2026-02-14 cs.DS cs.IT math.IT
Graphical Model Sketch
Adobe Research(Adobe研究院);Rutgers(罗格斯大学);TTI(丰田技术研究院)
结构化的高基数数据出现在许多领域,对建模和推理都提出了重大挑战。图形模型是一种流行的建模结构化数据的方法,但它们不适合高基数变量。count-min(CM)草图是一种在高基数数据中估计概率的流行方法,但它不能很好地扩展到几个变量之外。在这项工作中,我们汇集了图形模型和计数草图的想法,并提出和分析了几种方法来估计结构化的高基数数据流的概率。我们近似的关键思想是使用图形模型的结构,并通过“草图”近似估计其因子,该草图使用随机投影对高基数变量进行散列。我们的近似是计算效率和它们的空间复杂度是独立的变量的基数。我们的误差界是乘法和显着改善后的CM草图,一个国家的最先进的方法来估计流中的概率。我们评估我们的近似合成和现实世界的问题,并报告了一个数量级的改进CM草图。
2016-07-18 cs.DS cs.LG stat.ML
Sampling Space-Saving Set Sketches
针对分布式数据流中heavy distinct hitters问题,提出结合sketch与采样技术的Sampling Space-Saving Set Sketch算法,在大小、速度、精度、可合并性和可逆性上均具优势且实验证明其优越性。
2024-02-13 cs.DB cs.DS