Quancurrent: A Concurrent Quantiles Sketch
Sketches是一系列流算法,广泛用于大数据世界,以执行快速,实时分析。Quantiles是一种流行的草图类型,它估计大型输入流的数据分布。我们提出Quancurrent,一个高度可扩展的并发分位数草图。Quancurrent的吞吐量随着可用线程的数量线性增加,并且对于$32$线程,它在顺序草图上达到$12$ x的更新加速和$30$ x的查询加速。Quancurrent允许查询与更新同时发生,并实现比现有可扩展解决方案更好的查询新鲜度。
2022-08-19 cs.DS
Hokusai - Sketching Streams in Real Time
我们描述了北斋,一个实时的系统,它能够捕捉任意序列的符号流的频率信息。该算法使用CountMin草图作为其基础,并利用草图是线性的这一事实。它提供任意事件的实时的统计数据,例如作为时间函数的查询流。我们使用因子分解近似来提供任意(时间,项目)组合的点估计。可以在恒定的时间内回答问题。
2012-10-16 cs.DB cs.DS
Sketching Linear Classifiers over Data Streams
Stanford University(斯坦福大学)
我们引入了一个新的子线性空间草图-权重中值草图-用于在数据流上学习压缩线性分类器,同时支持模型中大幅度权重的有效恢复。这使得存储器有限的执行几个统计分析的流,包括在线特征选择,流数据解释,相对三角形检测,和逐点互信息的流估计。与捕获数据流中最频繁出现的特征(或项)的相关草图不同,加权中值草图捕获的是一个流(或类)与另一个流(或类)相比最具区别性的特征。权重-中位数草图采用计数-草图中使用的核心数据结构,但它不是草图计数,而是捕获对模型参数的草图梯度更新。我们提供了一个理论分析,建立批量和在线学习的恢复保证,并证明经验改进的内存精度权衡替代内存预算的方法,包括计数为基础的草图和功能哈希。
2018-04-06 cs.DS cs.LG stat.ML
Sketch \star-metric: Comparing Data Streams via Sketching
本文考虑了在小空间约束下任意两个大数据流之间的距离估计问题。这个问题在快速生成输入流的数据密集型监控应用中至关重要。这些数据流需要实时准确地处理,以快速确定与标称行为的任何偏差。我们提出了一个新的度量,草图\star度量,它允许定义可更新的摘要(或草图)的大型数据流之间的距离。草图\star -度量的一个重要特征是,给定对整个初始数据流的度量,草图\star -度量保留草图上的后一度量的公理(例如非负性、恒等式、对称性、三角不等式以及f-散度的特定性质)。在合成轨迹和真实数据上进行的大量实验使我们能够验证草图\star度量的鲁棒性和准确性。
2012-07-27 cs.DM cs.DS cs.IT
Improved Sliding Window Algorithms for Clustering and Coverage via Bucketing-Based Sketches
流计算在大规模数据分析中起着重要的作用。滑动窗口模型是一种流计算模型,它还捕获数据的新近性。在此模型中,数据一次到达一个项目,但对于特定问题,只考虑最新的$W$数据项目。目标是通过在流期间维护一个小摘要,在流的结尾输出一个好的解决方案。在这项工作中,我们提出了一个新的算法框架,设计有效的滑动窗口算法,通过桶为基础的草图。基于这个新的框架,我们开发了空间有效的滑动窗口算法的$k$覆盖,$k$聚类和多样性最大化问题。对于上述每一个问题,我们的算法实现了$(1\pm \varepsilon)$ -近似。与以往的工作相比,它提高了逼近比和空间。
2021-10-29 cs.DS
Single Pass Spectral Sparsification in Dynamic Streams
我们提出了第一个单遍算法计算谱稀疏的动态半流模型。给定一个包含插入和删除边的流到图G的单次遍历,我们的算法保持G的关联矩阵的随机线性草图为O((1/epsilon ^2)n polylog(n))。使用此草图,在任何点,该算法都可以以高概率输出G的(1 +/-π)谱稀疏因子。虽然O((1/epsilon^2)n polylog(n))空间算法已知用于计算动态流中的“切割稀疏器”[AGM 12 b,GKP 12]和“仅插入”流中的谱稀疏器[KL 11],但在我们的工作之前,用于在动态流中维护谱稀疏器的最著名的单遍算法需要尺寸Omega((1/epsilon^2)n^(5/3))的草图[AGM 14]。为了实现我们的结果,我们表明,使用粗稀疏的G和G的关联矩阵的线性草图,它是可能的采样边缘的有效电阻,获得一个频谱稀疏的任意精度。从草图中采样需要ell_2/ell_2稀疏恢复的新应用,这是[AGM 12 b]中用于切割稀疏器的ell_0方法的自然扩展。最近的工作[MP 12]行采样矩阵近似给出了一个递归的方法来获得所需的粗稀疏。在一定的限制下,我们的方法还扩展到保持一般矩阵A^T A的谱近似的问题,给定A中的行的更新流。
2015-04-16 cs.DS
SQUAD: Combining Sketching and Sampling Is Better than Either for Per-item Quantile Estimation
流监控是许多数据流应用的基础,例如金融数据跟踪器、安全性、异常检测和负载均衡。在这方面,分位数是特别感兴趣的,因为它们经常捕获用户的效用。例如,如果视频连接具有高尾部延迟,则即使平均延迟和中值延迟较低,感知质量也会受到影响。在这项工作中,我们考虑的问题,近似每项分位数。我们流中的元素是(ID,延迟)元组,我们希望跟踪每个ID的延迟分位数。现有的分位数草图是为单个数字流设计的(例如,仅包含等待时间)。虽然可以为每个ID分配单独的草图实例,但这可能需要不可行的内存量。相反,我们考虑跟踪重命中(最频繁的项目)的分位数,这些分位数通常被认为特别重要,而事先不知道它们。我们首先提出了一个简单的采样算法,作为一个基准。然后,我们设计了一个算法,增加了一个分位数草图内的每个条目的重击算法,导致类似的空间复杂度,但具有确定性的错误保证。最后,我们提出了SQUAD,一种结合采样和草图,同时提高渐近空间复杂度的方法。直观地说,SQUAD使用一个背景采样过程来捕获一个项目的行为之前,它是分配一个草图,从而使我们能够使用更少的样本和草图。我们的解决方案进行了严格的分析,我们证明了我们的方法使用广泛的模拟的优越性。
2022-01-06 cs.DS
Simple and Deterministic Matrix Sketching
我们适应一个众所周知的流算法近似项目频率的矩阵素描设置。该算法以流式方式一个接一个地接收大矩阵$A \in \R^{n \times m}$的行。它维护草图矩阵$B \in \R^ {1/\eps \times m}$,使得对于任何单位向量$x$ [\|Ax\|^2 \ge \|Bx\|^2 \ge \|Ax\|^2 - \eps \|A\|_{f}^2 \.]在最坏情况下,$A$中每行的草图更新需要$O(m/\eps^2)$操作。对该算法的轻微修改允许每行$O(m/\eps)$操作的摊销更新时间。所提出的算法脱颖而出,因为它是:确定性的,简单的实现,和初等证明。它还通过实验产生了比广泛使用的方法更准确的草图,同时仍然具有计算竞争力。
2012-07-11 cs.DS
Sub-linear RACE Sketches for Approximate Kernel Density Estimation on Streaming Data
Rice University(莱斯大学)
核密度估计是一种简单有效的方法,是许多重要机器学习应用的核心。不幸的是,核方法对于大型高维数据集的扩展性很差。近似核密度估计具有过高的存储器和计算成本,特别是在流设置中。最近的高维密度采样算法可以降低计算成本,但不能在线操作,而流算法不能处理高维数据集,由于维数灾难。我们提出了RACE,一个高效的素描算法内核密度估计高维流数据。RACE将一组N个高维向量压缩到一个小的整数计数器数组中。这个数组足以估计一大类核的核密度。我们的设想是切实可行的,并有强有力的理论保证。我们在真实世界的高维数据集上评估了我们的方法,并表明我们的草图与竞争方法相比压缩效果好10倍。
2019-12-04 cs.DS cs.LG
Sketching and Streaming for Dictionary Compression
该研究提出亚线性概要与流处理技术,用于近似归一化子串复杂度$δ$以估算字典压缩输出大小,显著降低空间开销并提升全对NCD计算效率,可应用于系统发育树重建。
2024-08-19 cs.DS
LSketch: A Label-Enabled Graph Stream Sketch Toward Time-Sensitive Queries
针对图流高效存储与查询挑战,提出LSketch,通过保留标签信息并引入滑动窗口模型,以次线性空间高精度支持结构与时间敏感查询,在四个真实数据集上验证了其优越性。
2023-04-06 cs.DB cs.DS
Turnstile Streaming Algorithms Might (Still) as Well Be Linear Sketches, for Polynomial-Length Streams
Tsinghua University(清华大学);Princeton University(普林斯顿大学)
本文研究了多项式长度流中turnstile算法与线性草图之间的等价性,证明了在特定条件下turnstile算法可以被线性草图模拟,并提出了新的下界结果。
2026-11-02 cs.CC cs.DS
New Cardinality Estimation Methods for HyperLogLog Sketches
这项工作提出了新的基数估计方法的HyperLogLog草图记录的数据集。发现了原始估计量的一个简单推导,这也提供了如何纠正其缺陷的见解。其结果是一个改进的估计,是无偏的整个基数范围内,是容易计算的,并不依赖于经验确定的数据作为以前的方法。基于最大似然原理,提出了一种二次无偏估计方法,该方法也可以推广到估计两个集合的并、交或相对补的基数,这些集合都表示为HyperLogLog草图。实验结果表明,该方法比传统的基于容斥原理的方法具有更高的精度。
2017-06-20 cs.DS
Sketching the order of events
我们介绍了海量数据流的功能。这些流特征可以被认为是“有序矩”,并将流草图从“一阶矩”推广到“任意阶的有序矩”。与经典矩类似,它们具有理论保证,例如对学习算法很重要的普适性。
2017-08-31 cs.DS math.ST stat.ML
Elastic Sketch under Random Stationary Streams: Limiting Behavior and Near-Optimal Configuration
University of Avignon(阿维尼翁大学);IIT Bombay(印度理工学院孟买分校);Meta
本文研究了弹性草图在随机稳定数据流中的性能,分析了其极限分布和内存分配优化,通过理论推导和数值模拟验证了其在实际应用中的有效性。
2026-03-26 cs.DS cs.PF
Non-Mergeable Sketching for Cardinality Estimation
基数估计可能是最简单的非平凡的统计问题,可以通过草图解决。HyperLogLog、MinHash和PCSA等工业部署的草图是可合并的,这意味着可以在分布式环境中绘制大型数据集,然后将其合并为整个数据集的单个草图。在过去的十年中,已经开发了各种各样的草图,这些草图是不可合并的,但由于其他原因而具有吸引力。它们更简单,它们的基数估计是严格无偏的,并且它们具有显著更低的方差。我们在一个合理的水平竞争环境中评估素描方案,根据他们的记忆方差乘积(MVP)。例如,在一个示例中,占用$5m$位并且其相对方差为$2/m$(标准误差$\sqrt{2/m}$)的草图具有$10$的MVP。我们的贡献如下。科恩和丁独立地发现了我们所说的鞅变换,用于将可合并的草图转换为不可合并的草图。我们提出了一个简单的方法来分析极限MVP的鞅型草图。我们证明了\Martingale{}变换在不可合并的世界中是最优的,特别是\Martingale{} \fishmonger{}在可线性化的草图中是最优的,MVP为$H_0/2 \approx 1.63$。例如,在一个示例中,这是一个间接的证据,证明要达到1%的标准误差,我们不能做得比一个200字节的草图更好。\Martingale{} \fishmonger{}既不简单也不实用。我们开发了一个新的可合并的草图称为\Curtain{},罢工之间的简单性和效率很好的平衡,并证明…
2021-02-15 cs.DS
HyperLogLogLog: Cardinality Estimation With One Log More
我们提出了HyperLogLogLog,一个实用的压缩HyperLogLog草图,压缩草图从$O(m\log\log n)$位到$m \log_2\log_2\log_2 m + O(m+\log\log n)$位估计不同元素的数量~ $n$使用$m$ ~寄存器。该算法作为一个简单的替代,保留了HyperLogLog草图的所有估计属性,可以在压缩和未压缩表示之间来回转换,并且压缩草图在压缩域中保持可合并性。假设$n$比$m$大得多,则可以在分摊常数时间内更新压缩草图。我们提供了一个C++实现的草图,并通过实验评估对著名的实现谷歌和Apache,我们的实现提供了小草图,同时保持竞争力的更新和合并时间。具体地说,我们观察到草图大小减少了大约40%。此外,我们得到一个推论的理论算法,压缩草图到$m\log_2\log_2\log_2\log_2 m+O(m\log\log\log m/\log\log m+\log\log n)$位。
2022-05-23 cs.DS
A Deterministic Streaming Sketch for Ridge Regression
University of Utah(犹他大学)
我们提供了一个确定性的空间有效算法估计岭回归。对于具有$d$特征和足够大的正则化参数的$n$数据点,我们仅使用$O(d/\varepsilon)$空间提供了$\varepsilon$ L $_2$误差内的解决方案。这是第一个$o(d^2)$空间确定性流算法,保证解决这个经典问题的错误和风险界。该算法通过频繁方向的变体来勾画协方差矩阵,这意味着它可以在仅插入流和各种分布式数据设置中操作。在合成和真实世界的数据集上的随机草图算法相比,我们的算法具有较少的经验误差,使用较少的空间和相似的时间。
2021-03-10 cs.DS cs.LG stat.ML
Carbonyl4: A Sketch for Set-Increment Mixed Updates
针对SIM数据流处理需求,提出Carbonyl4算法,通过Balance Bucket和Cascading Overflow技术优化方差与精度,实现动态内存缩减,在多数据集上显著提升检索准确性与适应性。
2024-12-21 cs.DS
Relative Error Streaming Quantiles
针对流式数据秩估计的乘性误差需求,本文提出一种空间效率更优的随机化概要,其空间界接近最优,无需预知流长度且可完全合并,适用于并行分布式环境。
2023-08-24 cs.DS
Huffman-Bucket Sketch: A Simple $O(m)$ Algorithm for Cardinality Estimation
University of Gothenburg(哥德堡大学);Chalmers University of Technology(查尔姆斯理工大学)
Huffman-Bucket Sketch通过高效压缩HyperLogLog草图,以更低的内存需求实现基数估计,同时保持可合并性和高效率。
2026-03-11 cs.DS
MTS Sketch for Accurate Estimation of Set-Expression Cardinalities from Small Samples
基于草图的流算法允许有效处理大数据。这些算法使用小的固定大小的存储器来存储输入数据的概要(“草图”),并且使用概率算法来估计期望的量。然而,在许多实际应用中,收集和处理整个数据流是不切实际的,因此通常的做法是只对其中的一小部分进行采样和处理。虽然采样对于处理海量数据集至关重要,但它可能会降低准确性。在本文中,我们提出了一个新的框架,可以准确地估计基数的任何集合表达式之间的任何数量的流只使用一个小样本的每个流。建议的框架包括一个新的草图,称为最大项与子样本(MTS),和一个家庭的算法,使用这个草图。可以使用所提出的草图来有效地回答的可能的查询的示例是,有多少不同的元组出现在表$T_1$和$T_2$中,但不在$T_3$中?本文提出的算法准确地回答这样的查询,只处理每个表中的元组的一小部分样本,并使用恒定的内存量。这样的估计是有用的查询在非常大的数据库系统的优化。我们表明,我们所有的算法是无偏的,我们分析了它们的渐近方差。
2016-11-06 cs.DB cs.DS
One Table to Count Them All: Parallel Frequency Estimation on Single-Board Computers
草图是概率数据结构,其可以在数学上证明的误差范围内提供近似结果,同时使用比传统方法少的数量级的存储器。它们专为架构上的流数据分析量身定制,即使内存有限,例如广泛用于物联网和边缘计算的单板的【形】计算机。由于这些设备提供多个核心,具有高效的并行草图绘制方案,因此能够管理大量数据流。然而,由于它们的缓存相对较小,因此需要仔细的并行化。在这项工作中,我们专注于频率估计问题,并评估高端服务器,4核Raspberry Pi和8核Odroid的性能。作为草图,我们采用了广泛使用的计数-最小草图。为了以并行和缓存友好的方式散列流,我们应用了一种新颖的制表方法,并将辅助表重新排列为一个。为了在性能上并行化这个过程,我们修改了工作流,并在哈希计算和草图更新之间应用了一种缓冲形式。今天,许多单板的【形】计算机具有异构处理器,其中慢速和快速内核一起配备。为了充分利用这些内核,我们提出了一种动态负载平衡机制,显著提高了频率估计的性能。
2019-03-02 cs.DS
Fast and Accurate Graph Stream Summarization
图流是连续的数据项序列,其中每个项指示一条边,包括其两个端点和边权重。它形成一个动态图,随流中的每个项目而变化。图流在网络安全、社交网络、云故障排除系统等领域发挥着重要作用。由于图流的巨大容量和高更新速度,传统的图存储数据结构,如邻接矩阵和邻接表已经不能满足需要。然而,图流摘要的现有技术,如CM sketches、gSketches、TCM和gMatrix,要么支持有限种类的查询,要么遭受查询结果的不良准确性。本文提出了一种新的图流草图(Graph Stream Sketch,简称GSS)来概括图流,它具有线性空间代价(O(|E|),E为图的边集)和常数更新时间复杂度(O(1)),支持对图流的各种查询,且错误可控.理论分析和实验结果都证实了该方案在时间/空间复杂度和查询结果精度方面的优越性。
2018-09-04 cs.DS
Improving \textit{Tug-of-War} sketch using Control-Variates method
IIT Mandi(曼迪印度理工学院);Chennai Mathematical Institute(钦奈数学研究所)
计算大数据的空间有效摘要(\textit{a.k.a. sketches})是流算法中的中心问题。这些草图用于在多个数据分析任务中回答\textit{post-hoc}查询。用于计算草图的算法通常需要快速、准确和空间效率。流算法框架中的一个基本问题是计算数据流的频率矩。包含$i$类型的$f_i$元素的序列的频率矩是数字$\mathbf{F}_k=\sum_{i=1}^n {f_i}^k,$,其中$i\in [n]$。这也被称为频率向量的$\ell_k$范数$(f_1, f_2, \ldots f_n).$另一个重要的问题是通过计算相应频率向量的内积来计算两个数据流之间的相似性。Alon,Matias和Szegedy~ \cite{AMS},\textit{a.k.a. Tug-of-war}(或AMS)sketch的开创性工作给出了用于计算频率矩和对应于数据流的两个频率向量之间的内积的随机次线性空间(和线性时间)算法。然而,这些估计值的方差通常往往很大。在这项工作中,我们专注于最小化这些估计的方差。我们使用的技术,从经典的控制变量方法~ \cite{Lavenberg},这是主要已知的方差减少在蒙特卡洛模拟,因此,我们能够获得显着的方差减少,在一个小的计算开销的成本。我们提出了一个理论分析,我们的建议,并补充它与支持实验合成以及现实世界的数据集。
2022-03-04 cs.DS cs.LG
Sub-linear Memory Sketches for Near Neighbor Search on Streaming Data
Rice University(莱斯大学)
我们提出了第一个次线性记忆草图,可以查询,以找到最近的邻居在一个数据集。我们的在线草图算法在$O(N^{(b+1)} \log^3 N)$时间内将N个元素的数据集压缩为大小为$O(N^b \log^3 N)$的草图,其中$b < 1$。此草图可以正确报告满足由$b$参数化的稳定性条件的任何查询的最近邻居。我们实现稳定查询的次线性内存性能结合局部敏感哈希(LSH)为基础的估计,在线核密度估计,压缩感知的最新进展。我们的理论结果揭示了新的光最近邻搜索的内存精度权衡,我们的草图,它完全由短整数数组,在实践中有各种有吸引力的功能。我们评估了我们的方法在Google Plus社交媒体网络中的朋友推荐任务上的记忆召回权衡。我们获得了数量级更好的压缩比随机投影为基础的替代方案,同时保留报告的能力,最近的邻居的实际查询。
2020-09-14 cs.CG cs.DS cs.LG
Streaming Quantiles Algorithms with Small Space and Update Time
Amazon(亚马逊);Yahoo Research(雅虎研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
流数据上的近似分位数和分布已经研究了大约二十年。最近,Karnin,Lang和Liberty提出了第一个渐进最优算法。这份手稿补充了他们的理论结果,提供了一个实用的变种,他们的算法与改进的常数。对于一个给定的草图大小,我们的技术证明减少了上界的草图误差的两个因素。实验验证了这些改进。我们修改后的分位数草图也通过将最差情况下的更新时间从$O(1/\varepsilon)$减少到$O(\log (1/\varepsilon))$来改善延迟。我们还提出了两个算法的加权项流提供改进的渐近更新时间相比,天真的扩展。最后,我们为这些草图提供了一个专门的数据结构,从而减少了它们的内存占用和更新时间。
2019-06-29 cs.DB cs.DS cs.LG
Faster Spectral Sparsification in Dynamic Streams
图形绘制已经成为一种用于处理随时间变化的大量图形的强大技术(即,在过去的几年中,以Ahn,Guha和McGregor(SODA'12)关于通过草图的图形连接的工作开始。在本文中,我们考虑的问题,设计频谱近似图,或频谱稀疏,使用少量的线性测量,与额外的约束,草图承认一个有效的恢复计划。在我们的工作之前,已知的草图算法具有接近最佳的$\tilde O(n)$空间复杂度,但$Ω(n^2)$时间解码(在输入图的所有潜在边缘上的蛮力),或者具有次二次时间,但相当大的$Ω(n^{5/3})$空间复杂度(由于它们依赖于连通性和有效电阻之间相当弱的关系)。在本文中,我们首先展示了如何一个简单的有效电阻和边缘连接之间的关系,导致一个改进的$\widetilde O(n^{3/2})$空间和时间算法,我们显示是一个天然的障碍,连接为基础的方法。我们的主要结果,然后给出了第一个算法,实现次二次恢复时间,即避免暴力解码,并在同一时间nontrivially使用有效的阻力度量,实现$n^{1.4+o(1)}$空间和恢复时间。我们的主要技术贡献是一种新的方法“桶”的输入图的顶点成集群,允许快速恢复的边缘高有效电阻:桶是通过执行球雕刻的输入图使用(近似)其有效的电阻度量。我们认为,这项技术可能是独立的利益。
2019-03-28 cs.DS
Max-stable sketches: estimation of Lp-norms, dominance norms and point queries for non-negative signals
通过对数据的顺序存取,可以在快速流正数据集上有效地计算最大稳定随机草图。它们可用于回答信号的点和Lp范数查询。在所谓的p稳定(或和稳定)和最大稳定草图之间有一种有趣的联系。严格的性能保证,通过错误概率估计推导和算法实现进行了讨论。
2010-05-24 cs.DB cs.DS
Sketch-Based Anomaly Detection in Streaming Graphs
TurboML;National University of Singapore(新加坡国立大学);Snap Inc.(Snap公司);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
针对动态图流中边与子图异常难以同时在线检测的问题,本文扩展 count-min sketch 以保留稠密子图结构,并提出4种常数内存与时间的在线算法,在4个真实数据集上超过现有基线。
2023-07-13 cs.AI cs.DS cs.LG
QSketch: An Efficient Sketch for Weighted Cardinality Estimation in Streams
提出QSketch,一种用于流中加权基数估计的高效内存Sketch方法,通过量化技术将变量压缩至8位,并利用动态特性提升精度,实现O(1)更新复杂度,在仅用1/8内存下准确率提升约30%,速度快两个数量级。
2024-06-27 cs.DB cs.DS
Fair-Count-Min: Frequency Estimation under Equal Group-wise Approximation Factor
针对Count-Min草图对不同元素组不公平的问题,提出Fair-Count-Min,通过列分区和组感知半均匀哈希消除组间冲突,保证各组期望近似因子相等,以最小额外误差实现公平并保持效率。
2025-05-25 cs.DS
Importance Sketching of Influence Dynamics in Billion-scale Networks
社会,生物和通信网络的痕迹的蓬勃发展为分析网络中的扩散过程提供了前所未有的机会。然而,当今网络的庞大规模在计算效率和可扩展性方面提出了严峻的挑战。在本文中,我们提出了一个新的超图素描框架的影响动力学网络。我们的草图框架,称为SKIS的中心,是一个有效的重要性采样算法,只返回网络中的非奇异反向级联。与以前开发的草图,如RIS和SKIM相比,我们的草图显着提高了估计质量,同时大大减少了处理时间和内存占用。此外,我们提出了一般策略,使用SKIS,以提高现有的算法的影响力估计和影响力最大化,这是出于实际应用,如病毒式营销。使用SKIS,我们为种子集设计了高质量的影响预言,平均估计误差比使用RIS的小10倍,比SKIM小6倍。此外,我们的影响力最大化使用SKIS大大提高了贪心算法的解决方案的质量。它为最快的基于RIS的DSSA算法实现了高达10倍的加速和4倍的内存减少,同时保持了相同的理论保证。
2017-09-11 cs.DS
Estimating Diffusion Degree on Graph Streams
针对图流中扩散度精确计算内存开销大的问题,本文提出扩散度估计草图并证明误差上界,基于此设计top-k影响力节点提取算法,实验效果与精确算法相当或更优。
2024-01-31 cs.DS
Oblivious sketching for logistic regression
TU Dortmund University(多特蒙德工业大学);Carnegie Mellon University(卡内基梅隆大学)
在一个数据流上一次通过解决逻辑回归有什么保证?为了回答这个问题,我们提出了逻辑回归的第一个数据不经意草图。我们的草图可以计算在输入稀疏时间在一个旋转栅门数据流,并减少$d$维数据集的大小从$n$到只有$\operatorname{poly}(μd\log n)$加权点,其中$μ$是一个有用的参数,它捕获的复杂性压缩数据。在草图上求解(加权)逻辑回归给出了完整数据集上原始问题的$O(\log n)$近似。我们还展示了如何获得一个$O(1)$ -近似略有修改。我们的草图是快速,简单,易于实现,我们的实验证明其实用性。
2021-07-14 cs.DS cs.LG stat.ML
Order-Invariant Cardinality Estimators Are Differentially Private
我们认为隐私的情况下,流算法的基数估计。我们发现,一个大类的算法都满足$ε$ -差分隐私,只要(a)该算法是一个简单的下采样过程相结合,和(b)的基数的输入流是$Ω(k/ε)$。这里,$k$是草图的某个参数,其总是至多为草图尺寸(以位为单位),但通常小得多。我们还表明,即使没有修改,在我们的类中的算法满足$(ε, δ)$ -差分隐私,其中$δ$指数下降的流基数。我们的分析适用于基本上所有流行的基数估计算法,并大大概括和收紧隐私范围从早期的作品。
2023-02-03 cs.DS
(Learned) Frequency Estimation Algorithms under Zipfian Distribution
数据流中元素的频率是一个重要的统计度量,估计它们的任务出现在数据分析和机器学习的许多应用中。该问题的两个最流行的算法,Count-Min和Count-Sketch,在实践中被广泛使用。在最近的工作[Hsu等人,ICLR'19],经验表明,用机器学习算法扩充Count-Min和Count-Sketch导致估计误差的显著减小。实验的补充与Count-Min(标准和增强版本)的输入频率遵循Zipfian分布时所产生的预期误差的分析。虽然作者确定了Count-Min的学习版本比标准版本具有更低的估计误差,但他们对标准Count-Min算法的分析并不严格。此外,他们没有对Count-Sketch进行类似的分析。在本文中,我们解决这些问题。首先,我们提供了一个简单的紧密的分析所产生的预期误差的计数最小值。其次,我们提供了第一个误差界的标准和增强版本的计数草图。这些边界几乎是紧的,并再次证明了学习版本的Count-Sketch的性能有所改善。除了证明上述算法之间的紧密差距外,我们认为我们对Count-Min和Count-Sketch标准版本的界限是独立的。特别地,将那些算法中的散列函数的数量设置为$Θ(\log n)$是典型的实践。相反,我们的结果表明,为了最小化\emph{expected}错误,哈希函数的数量应该是一个常数,严格大于$1$。
2020-08-11 cs.DS
Sampling Space-Saving Set Sketches
针对分布式数据流中heavy distinct hitters问题,提出结合sketch与采样技术的Sampling Space-Saving Set Sketch算法,在大小、速度、精度、可合并性和可逆性上均具优势且实验证明其优越性。
2024-02-13 cs.DB cs.DS
DPSW-Sketch: A Differentially Private Sketch Framework for Frequency Estimation over Sliding Windows (Technical Report)
East China Normal University(华东师范大学);Zhejiang University(浙江大学)
针对滑动窗口数据流中的敏感频率估计与重击者识别问题,提出基于 count-min sketch 的差分隐私 DPSW-Sketch,在亚线性时空开销下保证有界误差,并实现更优效用-隐私权衡。
2024-06-12 cs.CR cs.DS cs.LG
Sketched SVD: Recovering Spectral Features from Compressive Measurements
我们考虑一个流数据模型,其中n个传感器观察单独的数据流,在一个旋转栅门模型。我们的目标是分析的奇异值分解(SVD)的矩阵的数据定义隐含的更新流。数据矩阵的每一列i由在传感器i处看到的更新流给出。我们的方法是绘制矩阵的每一列,形成一个“草图矩阵”Y,然后计算草图矩阵的SVD。我们证明了Y的奇异值和右奇异向量与X的奇异值和右奇异向量接近,且相对误差很小。我们还认为,这一界限在非流和非分布式数据汇集设置中具有独立的利益。假设数据矩阵X的大小为Nxn,则通过X的每列的m个线性测量,我们获得具有维度mxn的较小矩阵Y。如果m = O(k ε^{-2}(log(1/ε)+ log(1/δ)),其中k表示X的秩,则以至少1-δ的概率,Y的奇异值σ_j与原始矩阵X的奇异值σ_j相比满足以下相对误差结果(1-ε)^(1/2)<= σ_j/σ_j <=(1 + ε)^(1/2)。此外,Y的右奇异向量v '_j满足||v_j-v_j'||_2 <= min(sqrt{2},(ε \sqrt{1+ε})/(\sqrt{1-ε})max_{i\neq j}(\sqrt{2} σ_iσ_j)/(min_{c\in[-1,1]}(|σ^2_i-σ^2_j(1+cε)|()与X的右奇异向量v_j相比。我们应用这个结果,以获得流图算法来近似的特征值和特征向量的图拉普拉斯算子的情况下,该图具有低秩(许多连接组件)。
2012-11-02 cs.DS cs.IT math.IT
Frequency Estimation with One-Sided Error
频率估计是流媒体算法中最基本的问题之一。给定来自某个全域$U=\{1 \ldots n\}$的元素的流$S$,目标是在单遍中计算$S$的简短草图,使得对于任何元素$i \in U$,可以仅基于草图来估计$S$中$i$出现的次数$x_i$。两个国家的最先进的解决方案,这个问题是计数最小和计数素描算法。由Count-Min产生的频率估计器$\tilde{x}$使用$O(1/\varepsilon \cdot \log n)$维数,保证$\|\tilde{x}-x\|_{\infty} \le \varepsilon \|x\|_1$具有高概率,并且$\tilde{x} \ge x$确定性地保持。此外,Count-Min在假设$x \ge 0$ .另一方面,Count-Sketch使用$O(1/\varepsilon^2 \cdot \log n)$尺寸,保证$\|\tilde{x}-x\|_{\infty} \le \varepsilon \|x\|_2$具有高概率。一个自然的问题是,是否有可能设计出两全其美的草图绘制方法,其误差保证取决于$\ell_2$范数和与Count-Sketch相当的空间,但(像Count-Min)也具有不可低估的属性。我们的主要结果表明,对上述问题的答案是否定的。我们在两个无与伦比的计算模型:线性素描和流算法。我们还研究了补充问题,其中要求草图不高估,即,$…
2021-11-06 cs.CC cs.DS
Sublime: Sublinear Error & Space for Unbounded Skewed Streams
University of Toronto(多伦多大学);KTH Royal Institute of Technology(皇家理工学院);BARC, University of Copenhagen(哥本哈根大学 BARC)
Sublime框架通过动态扩展计数器和优化内存使用,提升频率估计精度与效率,适用于处理偏斜数据流的场景。
2026-04-28 cs.DB cs.DS cs.IT
Enabling Efficient and General Subpopulation Analytics in Multidimensional Data Streams
今天的大规模服务(例如,视频流平台、数据中心、传感器网格)需要跨多维数据集的多个子群体的多样的实时汇总统计。然而,最先进的框架不能以合理的成本实时的提供通用和准确的分析。根本原因是数据子群体的组合爆炸和我们需要同时监控的汇总统计的多样性。我们提出了Hydra,一个有效的多维分析框架,它提出了一种新颖的组合,使用“草图的草图”,以避免监测指数许多亚群和通用草图的开销,以确保准确估计多个统计数据。我们将Hydra构建为Apache Spark插件,并解决实际的系统挑战,以最大限度地减少大规模的开销。在多个真实世界和合成多维数据集上,我们表明Hydra可以实现强大的误差范围,并且在运营成本和内存占用方面比现有框架(例如,火花,德鲁伊),同时确保互动估计时间。
2022-08-09 cs.DB cs.DS
Density Sketches for Sampling and Estimation
Rice University(莱斯大学)
我们介绍密度草图(DS):数据分布的简洁在线摘要。DS可以精确地估计逐点概率密度。有趣的是,DS还提供了从底层数据分布中采样看不见的新数据的能力。因此,与流行的生成模型类似,DS允许我们用从与原始数据相同的分布中提取的合成示例简洁地替换几乎所有机器学习管道中的真实数据。然而,与没有任何统计保证的生成模型不同,DS导致基础密度函数的理论上合理的渐进收敛一致估计。密度草图还有许多吸引人的属性,使其成为大规模分布式应用程序的理想选择。DS构造是一种在线算法。草图是附加的,即,两个草图的总和是组合数据的草图。这些属性允许从分布式源收集数据,将其压缩到密度草图中,以草图形式有效地传输到中央服务器,合并并重新采样到合成数据库中以用于建模应用程序。因此,密度草图可能会彻底改变我们存储、通信和分发数据的方式。
2021-02-24 cs.DS cs.LG stat.ML
Sketch-Flip-Merge: Mergeable Sketches for Private Distinct Counting
数据草图是不同计数的关键工具,使多集能够由紧凑的摘要表示,允许快速的基数估计。因为草图可以被合并以汇总多集联合,所以它们是数据仓库中的基本构建块。虽然存在许多用于基数估计的实用草图,但是没有一个在合并时提供隐私。我们提出了第一个实用的基数草图,同时可合并,差分私人(DP),并具有较低的经验误差。这些介绍了一种新的随机算法执行逻辑运算的噪音位,一个严密的隐私分析,并证明最佳的估计。我们的草图在模拟和现实数据中大大优于现有的理论解决方案。
2023-02-04 cs.CR cs.DS stat.CO
Active Sampling Count Sketch (ASCS) for Online Sparse Estimation of a Trillion Scale Covariance Matrix
估计和存储高维数据的协方差(或相关性)矩阵在计算上是具有挑战性的,因为存储器和计算需求都与维度成二次比例。幸运的是,在文本、点击、元基因组数据集等中观察到的高维协方差矩阵通常是稀疏的。在本文中,我们考虑的问题,有效的稀疏估计的协方差矩阵与可能的数万亿元。我们目标数据集的大小要求算法在线,因为超过一次的数据传递是禁止的。在本文中,我们提出了主动采样计数素描(ASCS),在线和一遍素描算法,准确地恢复协方差矩阵的大条目。计数草图(CS),和其他次线性压缩感知算法,提供了一个自然的解决方案,在理论上的问题。然而,由于低信噪比(SNR),普通CS在实践中不能很好地工作。在我们的方法的核心是一种新的主动采样策略,增加了经典CS的SNR。我们证明了我们的算法的实用性与合成数据和现实世界的高维数据集。ASCS显着改善了香草CS,证明了我们的主动采样策略的优点。
2021-06-11 cs.DS stat.CO
Data Sketches for Disaggregated Subset Sum and Frequent Item Estimation
介绍并研究了一种新的用于处理海量数据集的数据草图。它解决了两个常见的问题:1)计算任意过滤条件下的总和,2)识别数据集中的频繁项或重命中项。对于前者,该草图提供了具有最先进精度的无偏估计。当数据被分解时,它可以处理具有挑战性的场景,因此计算每单位的感兴趣指标需要昂贵的聚合。例如,感兴趣的度量可以是每个用户的总点击,而原始数据是每个用户具有多行的点击流。因此,该草图适用于广泛的应用,包括计算广告预测的历史点击率,报告来自事件流的用户指标,以及测量IP流的网络流量。我们证明和经验表明,草图有良好的性能,分解子集和估计和频繁项目问题。在身份证上。数据,它不仅挑选出频繁项目,但给出强相合估计的比例,每个频繁项目。由此产生的草图渐近地绘制出与样本大小成比例的概率,该概率对于估计数据的总和是最佳的。对于非I.I.D.数据,我们表明,它通常比随机抽样的频繁项问题,从来没有做得更糟。对于子集和估计,我们表明,即使是病理序列,方差接近最优抽样设计。从经验上讲,尽管在分类数据上操作的缺点,我们的方法匹配或优于优先级采样,这是一种用于预聚合数据的最先进的方法,并且与均匀采样相比,在偏斜数据上的表现更好。我们提出了扩展的草图,允许它被用于多个数据集相结合,在分布式系统中,并为时间衰减聚合。
2017-09-12 cs.DS stat.CO
Graphical Model Sketch
Adobe Research(Adobe研究院);Rutgers(罗格斯大学);TTI(丰田技术研究院)
结构化的高基数数据出现在许多领域,对建模和推理都提出了重大挑战。图形模型是一种流行的建模结构化数据的方法,但它们不适合高基数变量。count-min(CM)草图是一种在高基数数据中估计概率的流行方法,但它不能很好地扩展到几个变量之外。在这项工作中,我们汇集了图形模型和计数草图的想法,并提出和分析了几种方法来估计结构化的高基数数据流的概率。我们近似的关键思想是使用图形模型的结构,并通过“草图”近似估计其因子,该草图使用随机投影对高基数变量进行散列。我们的近似是计算效率和它们的空间复杂度是独立的变量的基数。我们的误差界是乘法和显着改善后的CM草图,一个国家的最先进的方法来估计流中的概率。我们评估我们的近似合成和现实世界的问题,并报告了一个数量级的改进CM草图。
2016-07-18 cs.DS cs.LG stat.ML
Sketch-Based Estimation of Subpopulation-Weight
海量数据集的摘要支持对原始数据的近似查询处理。一组记录上的基本聚合是指定为记录属性上的谓词的子群体的权重。Bottom-k草图是一种强大的加权项汇总格式,包括优先级抽样和经典的无替换加权抽样。对于包括分布式数据库和数据流在内的许多数据表示,可以有效地计算它们。我们得到了新的无偏估计和有效的置信区间的子种群重量。我们的估计量和界限是定制的应用程序(如数据流)之间的区别,其中的总重量的草图集可以计算的汇总算法,而无需大量使用额外的资源,和应用程序(如草图的网络社区),这是不是这种情况。我们严格的推导是基于霍维茨-汤普森估计的巧妙应用,并辅以有效的计算方法。我们证明了他们的好处在广泛的帕累托分布。
2008-02-23 cs.DB cs.DS cs.NI
Count-Min: Optimal Estimation and Tight Error Bounds using Empirical Error Distributions
Count-Min sketch是一种重要的数据摘要方法。它允许人们使用一个小的、固定大小的数据草图来估计流中任何项目的计数。但是,草图的准确性取决于基础数据的特征。这导致了一些计数估计程序,在一种情况下工作良好,但在其他情况下表现不佳。从业者面临着两个基本的、没有答案的问题。当数据未知时,应选择哪个变量?给定一个估计,它的误差是否足够小,值得信赖?我们为这些问题提供答案。我们得到新的计数估计,包括可证明的最佳估计,最好的或匹配以前的估计在所有情况下。我们还提供了实用的,严格的误差范围在查询时,新的和现有的估计。这些误差估计还产生最佳地选择草图调整参数的过程,因为它们可以将误差外推到草图宽度和深度的不同选择。关键的观察是,每个计数器中的误差分布可以根据草图本身进行经验估计。通过首先估计该分布,计数估计变成具有已知误差分布的统计估计和推断问题。这提供了一个原则性的方法来获得新的和最佳的估计,以及一种方法来研究现有的估计的错误和属性。
2018-11-09 cs.DS stat.ME
UDDSketch: Accurate Tracking of Quantiles in Data Streams
我们提出了UDDSketch(均匀DDSketch),一个新的草图快速,准确地跟踪数据流中的分位数。该草图深受最近推出的DDSketch的启发,并且基于一种新颖的桶折叠过程,该过程允许克服相应DDSketch过程的固有限制。事实上,DDSketch桶折叠过程不允许导出不遵循次指数分布的数据的分位数估计的准确性的正式保证。相反,UDDSketch的设计使得可以在整个分位数范围内以及输入中的任意分布上提供准确性保证。此外,我们的算法充分利用预算的内存自适应,以保证最好的精度在整个范围内的分位数。在人工数据集上的大量实验结果证实了该方法的有效性。
2020-04-18 cs.DB cs.DS
DDSketch: A fast and fully-mergeable quantile sketch with relative-error guarantees
对于大型分布式数据流,可以轻松地维护诸如均值和方差之类的汇总统计量,但是顺序统计量(即,样本分位数)只能近似地概括。有大量关于维护分位数草图的文献,其中重点是在使用很少内存的情况下限制草图的秩误差。不幸的是,秩误差保证并不排除任意大的相对误差,这在实践中经常发生在数据严重偏斜的情况下。考虑到当代大规模系统的分布式性质,分位数草图的另一个关键属性是可合并性,即,几个组合的草图必须与相同数据的单个草图一样精确。我们提出了第一个完全可合并的,相对错误的分位数草图算法与正式的保证。该草图非常快速和准确,目前正被Datadog广泛使用。
2019-08-28 cs.DB cs.DS
An Effective and Differentially Private Protocol for Secure Distributed Cardinality Estimation
对分布在多个数据持有者上的不同元素的数量进行计数是从人群计数到网络监控的许多实际应用中的一个基本问题。尽管有许多空间和计算效率高的草图方法(例如,Flajolet-Martin草图和HyperLogLog草图)来解决上述问题,但是当考虑到与使用每个数据持有者的个人数据集相关的隐私问题时,这些草图方法是不安全的。尽管最近提出的协议,成功地实现了著名的Flajolet-Martin(FM)草图上的秘密共享为基础的多方计算(MPC)的框架,以解决问题的私人分布式基数估计(PDCE),我们观察到,这个MPC-FM协议是不是差分私人。此外,MPC-FM协议是计算昂贵的,这限制了其应用程序的数据持有者有限的计算资源。为了解决上述问题,在本文中,我们提出了一种新的协议DP-DICE,这是计算效率和差分私有的解决问题的PDCE。实验结果表明,我们的DP-DICE实现了数量级的加速,并减少了几倍的估计误差相比,在相同的安全要求下,与国家的艺术。
2023-02-04 cs.CR cs.DS
A One-Pass Private Sketch for Most Machine Learning Tasks
Rice University(莱斯大学)
差分隐私(DP)是一个令人信服的隐私定义,通过正式的,可证明的保证解释了隐私效用权衡。受通用数据发布算法的最新进展的启发,我们提出了一个私人草图,或数据集的小摘要,支持多种机器学习任务,包括回归,分类,密度估计,近邻搜索等。我们的草图由随机化的列联表组成,这些列联表使用位置敏感的散列进行索引,并使用高效的一次通过算法构建。我们证明了DP核密度估计的竞争性误差界。DP核密度估计的现有方法规模很差,通常随着维度的增加而呈指数增长。相比之下,我们的sketch可以在一个通道中快速运行大型高维数据集。详尽的实验表明,我们的通用草图提供了一个类似的隐私效用权衡相比,现有的DP方法的计算成本的一小部分。我们希望我们的草图能够在分布式的大规模机器学习环境中实现差分隐私。
2020-06-16 cs.CR cs.DS cs.LG