Quancurrent: A Concurrent Quantiles Sketch
Sketches是一系列流算法,广泛用于大数据世界,以执行快速,实时分析。Quantiles是一种流行的草图类型,它估计大型输入流的数据分布。我们提出Quancurrent,一个高度可扩展的并发分位数草图。Quancurrent的吞吐量随着可用线程的数量线性增加,并且对于$32$线程,它在顺序草图上达到$12$ x的更新加速和$30$ x的查询加速。Quancurrent允许查询与更新同时发生,并实现比现有可扩展解决方案更好的查询新鲜度。
2022-08-19 cs.DS
Sketching Linear Classifiers over Data Streams
Stanford University(斯坦福大学)
我们引入了一个新的子线性空间草图-权重中值草图-用于在数据流上学习压缩线性分类器,同时支持模型中大幅度权重的有效恢复。这使得存储器有限的执行几个统计分析的流,包括在线特征选择,流数据解释,相对三角形检测,和逐点互信息的流估计。与捕获数据流中最频繁出现的特征(或项)的相关草图不同,加权中值草图捕获的是一个流(或类)与另一个流(或类)相比最具区别性的特征。权重-中位数草图采用计数-草图中使用的核心数据结构,但它不是草图计数,而是捕获对模型参数的草图梯度更新。我们提供了一个理论分析,建立批量和在线学习的恢复保证,并证明经验改进的内存精度权衡替代内存预算的方法,包括计数为基础的草图和功能哈希。
2018-04-06 cs.DS cs.LG stat.ML
Sketch \star-metric: Comparing Data Streams via Sketching
本文考虑了在小空间约束下任意两个大数据流之间的距离估计问题。这个问题在快速生成输入流的数据密集型监控应用中至关重要。这些数据流需要实时准确地处理,以快速确定与标称行为的任何偏差。我们提出了一个新的度量,草图\star度量,它允许定义可更新的摘要(或草图)的大型数据流之间的距离。草图\star -度量的一个重要特征是,给定对整个初始数据流的度量,草图\star -度量保留草图上的后一度量的公理(例如非负性、恒等式、对称性、三角不等式以及f-散度的特定性质)。在合成轨迹和真实数据上进行的大量实验使我们能够验证草图\star度量的鲁棒性和准确性。
2012-07-27 cs.DM cs.DS cs.IT
Improved Sliding Window Algorithms for Clustering and Coverage via Bucketing-Based Sketches
流计算在大规模数据分析中起着重要的作用。滑动窗口模型是一种流计算模型,它还捕获数据的新近性。在此模型中,数据一次到达一个项目,但对于特定问题,只考虑最新的$W$数据项目。目标是通过在流期间维护一个小摘要,在流的结尾输出一个好的解决方案。在这项工作中,我们提出了一个新的算法框架,设计有效的滑动窗口算法,通过桶为基础的草图。基于这个新的框架,我们开发了空间有效的滑动窗口算法的$k$覆盖,$k$聚类和多样性最大化问题。对于上述每一个问题,我们的算法实现了$(1\pm \varepsilon)$ -近似。与以往的工作相比,它提高了逼近比和空间。
2021-10-29 cs.DS
Single Pass Spectral Sparsification in Dynamic Streams
我们提出了第一个单遍算法计算谱稀疏的动态半流模型。给定一个包含插入和删除边的流到图G的单次遍历,我们的算法保持G的关联矩阵的随机线性草图为O((1/epsilon ^2)n polylog(n))。使用此草图,在任何点,该算法都可以以高概率输出G的(1 +/-π)谱稀疏因子。虽然O((1/epsilon^2)n polylog(n))空间算法已知用于计算动态流中的“切割稀疏器”[AGM 12 b,GKP 12]和“仅插入”流中的谱稀疏器[KL 11],但在我们的工作之前,用于在动态流中维护谱稀疏器的最著名的单遍算法需要尺寸Omega((1/epsilon^2)n^(5/3))的草图[AGM 14]。为了实现我们的结果,我们表明,使用粗稀疏的G和G的关联矩阵的线性草图,它是可能的采样边缘的有效电阻,获得一个频谱稀疏的任意精度。从草图中采样需要ell_2/ell_2稀疏恢复的新应用,这是[AGM 12 b]中用于切割稀疏器的ell_0方法的自然扩展。最近的工作[MP 12]行采样矩阵近似给出了一个递归的方法来获得所需的粗稀疏。在一定的限制下,我们的方法还扩展到保持一般矩阵A^T A的谱近似的问题,给定A中的行的更新流。
2015-04-16 cs.DS
SQUAD: Combining Sketching and Sampling Is Better than Either for Per-item Quantile Estimation
流监控是许多数据流应用的基础,例如金融数据跟踪器、安全性、异常检测和负载均衡。在这方面,分位数是特别感兴趣的,因为它们经常捕获用户的效用。例如,如果视频连接具有高尾部延迟,则即使平均延迟和中值延迟较低,感知质量也会受到影响。在这项工作中,我们考虑的问题,近似每项分位数。我们流中的元素是(ID,延迟)元组,我们希望跟踪每个ID的延迟分位数。现有的分位数草图是为单个数字流设计的(例如,仅包含等待时间)。虽然可以为每个ID分配单独的草图实例,但这可能需要不可行的内存量。相反,我们考虑跟踪重命中(最频繁的项目)的分位数,这些分位数通常被认为特别重要,而事先不知道它们。我们首先提出了一个简单的采样算法,作为一个基准。然后,我们设计了一个算法,增加了一个分位数草图内的每个条目的重击算法,导致类似的空间复杂度,但具有确定性的错误保证。最后,我们提出了SQUAD,一种结合采样和草图,同时提高渐近空间复杂度的方法。直观地说,SQUAD使用一个背景采样过程来捕获一个项目的行为之前,它是分配一个草图,从而使我们能够使用更少的样本和草图。我们的解决方案进行了严格的分析,我们证明了我们的方法使用广泛的模拟的优越性。
2022-01-06 cs.DS
Sub-linear RACE Sketches for Approximate Kernel Density Estimation on Streaming Data
Rice University(莱斯大学)
核密度估计是一种简单有效的方法,是许多重要机器学习应用的核心。不幸的是,核方法对于大型高维数据集的扩展性很差。近似核密度估计具有过高的存储器和计算成本,特别是在流设置中。最近的高维密度采样算法可以降低计算成本,但不能在线操作,而流算法不能处理高维数据集,由于维数灾难。我们提出了RACE,一个高效的素描算法内核密度估计高维流数据。RACE将一组N个高维向量压缩到一个小的整数计数器数组中。这个数组足以估计一大类核的核密度。我们的设想是切实可行的,并有强有力的理论保证。我们在真实世界的高维数据集上评估了我们的方法,并表明我们的草图与竞争方法相比压缩效果好10倍。
2019-12-04 cs.DS cs.LG
LSketch: A Label-Enabled Graph Stream Sketch Toward Time-Sensitive Queries
针对图流高效存储与查询挑战,提出LSketch,通过保留标签信息并引入滑动窗口模型,以次线性空间高精度支持结构与时间敏感查询,在四个真实数据集上验证了其优越性。
2023-04-06 cs.DB cs.DS
Turnstile Streaming Algorithms Might (Still) as Well Be Linear Sketches, for Polynomial-Length Streams
Tsinghua University(清华大学);Princeton University(普林斯顿大学)
本文研究了多项式长度流中turnstile算法与线性草图之间的等价性,证明了在特定条件下turnstile算法可以被线性草图模拟,并提出了新的下界结果。
2026-11-02 cs.CC cs.DS
Lifting Linear Sketches: Optimal Bounds and Adversarial Robustness
我们提出一种提升技术,将实值线性草图下界推广到整数输入,首次获得离散数据流的最优下界,并证明整数线性草图在对抗攻击下无法鲁棒近似$L_p$范数,解决了相关开放问题。
2025-03-25 cs.DS
Sketching the order of events
我们介绍了海量数据流的功能。这些流特征可以被认为是“有序矩”,并将流草图从“一阶矩”推广到“任意阶的有序矩”。与经典矩类似,它们具有理论保证,例如对学习算法很重要的普适性。
2017-08-31 cs.DS math.ST stat.ML
Elastic Sketch under Random Stationary Streams: Limiting Behavior and Near-Optimal Configuration
University of Avignon(阿维尼翁大学);IIT Bombay(印度理工学院孟买分校);Meta
本文研究了弹性草图在随机稳定数据流中的性能,分析了其极限分布和内存分配优化,通过理论推导和数值模拟验证了其在实际应用中的有效性。
2026-03-26 cs.DS cs.PF
A Deterministic Streaming Sketch for Ridge Regression
University of Utah(犹他大学)
我们提供了一个确定性的空间有效算法估计岭回归。对于具有$d$特征和足够大的正则化参数的$n$数据点,我们仅使用$O(d/\varepsilon)$空间提供了$\varepsilon$ L $_2$误差内的解决方案。这是第一个$o(d^2)$空间确定性流算法,保证解决这个经典问题的错误和风险界。该算法通过频繁方向的变体来勾画协方差矩阵,这意味着它可以在仅插入流和各种分布式数据设置中操作。在合成和真实世界的数据集上的随机草图算法相比,我们的算法具有较少的经验误差,使用较少的空间和相似的时间。
2021-03-10 cs.DS cs.LG stat.ML
Carbonyl4: A Sketch for Set-Increment Mixed Updates
针对SIM数据流处理需求,提出Carbonyl4算法,通过Balance Bucket和Cascading Overflow技术优化方差与精度,实现动态内存缩减,在多数据集上显著提升检索准确性与适应性。
2024-12-21 cs.DS
Relative Error Streaming Quantiles
针对流式数据秩估计的乘性误差需求,本文提出一种空间效率更优的随机化概要,其空间界接近最优,无需预知流长度且可完全合并,适用于并行分布式环境。
2023-08-24 cs.DS
MTS Sketch for Accurate Estimation of Set-Expression Cardinalities from Small Samples
基于草图的流算法允许有效处理大数据。这些算法使用小的固定大小的存储器来存储输入数据的概要(“草图”),并且使用概率算法来估计期望的量。然而,在许多实际应用中,收集和处理整个数据流是不切实际的,因此通常的做法是只对其中的一小部分进行采样和处理。虽然采样对于处理海量数据集至关重要,但它可能会降低准确性。在本文中,我们提出了一个新的框架,可以准确地估计基数的任何集合表达式之间的任何数量的流只使用一个小样本的每个流。建议的框架包括一个新的草图,称为最大项与子样本(MTS),和一个家庭的算法,使用这个草图。可以使用所提出的草图来有效地回答的可能的查询的示例是,有多少不同的元组出现在表$T_1$和$T_2$中,但不在$T_3$中?本文提出的算法准确地回答这样的查询,只处理每个表中的元组的一小部分样本,并使用恒定的内存量。这样的估计是有用的查询在非常大的数据库系统的优化。我们表明,我们所有的算法是无偏的,我们分析了它们的渐近方差。
2016-11-06 cs.DB cs.DS
One Table to Count Them All: Parallel Frequency Estimation on Single-Board Computers
草图是概率数据结构,其可以在数学上证明的误差范围内提供近似结果,同时使用比传统方法少的数量级的存储器。它们专为架构上的流数据分析量身定制,即使内存有限,例如广泛用于物联网和边缘计算的单板的【形】计算机。由于这些设备提供多个核心,具有高效的并行草图绘制方案,因此能够管理大量数据流。然而,由于它们的缓存相对较小,因此需要仔细的并行化。在这项工作中,我们专注于频率估计问题,并评估高端服务器,4核Raspberry Pi和8核Odroid的性能。作为草图,我们采用了广泛使用的计数-最小草图。为了以并行和缓存友好的方式散列流,我们应用了一种新颖的制表方法,并将辅助表重新排列为一个。为了在性能上并行化这个过程,我们修改了工作流,并在哈希计算和草图更新之间应用了一种缓冲形式。今天,许多单板的【形】计算机具有异构处理器,其中慢速和快速内核一起配备。为了充分利用这些内核,我们提出了一种动态负载平衡机制,显著提高了频率估计的性能。
2019-03-02 cs.DS
Fast and Accurate Graph Stream Summarization
图流是连续的数据项序列,其中每个项指示一条边,包括其两个端点和边权重。它形成一个动态图,随流中的每个项目而变化。图流在网络安全、社交网络、云故障排除系统等领域发挥着重要作用。由于图流的巨大容量和高更新速度,传统的图存储数据结构,如邻接矩阵和邻接表已经不能满足需要。然而,图流摘要的现有技术,如CM sketches、gSketches、TCM和gMatrix,要么支持有限种类的查询,要么遭受查询结果的不良准确性。本文提出了一种新的图流草图(Graph Stream Sketch,简称GSS)来概括图流,它具有线性空间代价(O(|E|),E为图的边集)和常数更新时间复杂度(O(1)),支持对图流的各种查询,且错误可控.理论分析和实验结果都证实了该方案在时间/空间复杂度和查询结果精度方面的优越性。
2018-09-04 cs.DS
Improving \textit{Tug-of-War} sketch using Control-Variates method
IIT Mandi(曼迪印度理工学院);Chennai Mathematical Institute(钦奈数学研究所)
计算大数据的空间有效摘要(\textit{a.k.a. sketches})是流算法中的中心问题。这些草图用于在多个数据分析任务中回答\textit{post-hoc}查询。用于计算草图的算法通常需要快速、准确和空间效率。流算法框架中的一个基本问题是计算数据流的频率矩。包含$i$类型的$f_i$元素的序列的频率矩是数字$\mathbf{F}_k=\sum_{i=1}^n {f_i}^k,$,其中$i\in [n]$。这也被称为频率向量的$\ell_k$范数$(f_1, f_2, \ldots f_n).$另一个重要的问题是通过计算相应频率向量的内积来计算两个数据流之间的相似性。Alon,Matias和Szegedy~ \cite{AMS},\textit{a.k.a. Tug-of-war}(或AMS)sketch的开创性工作给出了用于计算频率矩和对应于数据流的两个频率向量之间的内积的随机次线性空间(和线性时间)算法。然而,这些估计值的方差通常往往很大。在这项工作中,我们专注于最小化这些估计的方差。我们使用的技术,从经典的控制变量方法~ \cite{Lavenberg},这是主要已知的方差减少在蒙特卡洛模拟,因此,我们能够获得显着的方差减少,在一个小的计算开销的成本。我们提出了一个理论分析,我们的建议,并补充它与支持实验合成以及现实世界的数据集。
2022-03-04 cs.DS cs.LG
Sub-linear Memory Sketches for Near Neighbor Search on Streaming Data
Rice University(莱斯大学)
我们提出了第一个次线性记忆草图,可以查询,以找到最近的邻居在一个数据集。我们的在线草图算法在$O(N^{(b+1)} \log^3 N)$时间内将N个元素的数据集压缩为大小为$O(N^b \log^3 N)$的草图,其中$b < 1$。此草图可以正确报告满足由$b$参数化的稳定性条件的任何查询的最近邻居。我们实现稳定查询的次线性内存性能结合局部敏感哈希(LSH)为基础的估计,在线核密度估计,压缩感知的最新进展。我们的理论结果揭示了新的光最近邻搜索的内存精度权衡,我们的草图,它完全由短整数数组,在实践中有各种有吸引力的功能。我们评估了我们的方法在Google Plus社交媒体网络中的朋友推荐任务上的记忆召回权衡。我们获得了数量级更好的压缩比随机投影为基础的替代方案,同时保留报告的能力,最近的邻居的实际查询。
2020-09-14 cs.CG cs.DS cs.LG
Streaming Quantiles Algorithms with Small Space and Update Time
Amazon(亚马逊);Yahoo Research(雅虎研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
流数据上的近似分位数和分布已经研究了大约二十年。最近,Karnin,Lang和Liberty提出了第一个渐进最优算法。这份手稿补充了他们的理论结果,提供了一个实用的变种,他们的算法与改进的常数。对于一个给定的草图大小,我们的技术证明减少了上界的草图误差的两个因素。实验验证了这些改进。我们修改后的分位数草图也通过将最差情况下的更新时间从$O(1/\varepsilon)$减少到$O(\log (1/\varepsilon))$来改善延迟。我们还提出了两个算法的加权项流提供改进的渐近更新时间相比,天真的扩展。最后,我们为这些草图提供了一个专门的数据结构,从而减少了它们的内存占用和更新时间。
2019-06-29 cs.DB cs.DS cs.LG
QSketch: An Efficient Sketch for Weighted Cardinality Estimation in Streams
提出QSketch,一种用于流中加权基数估计的高效内存Sketch方法,通过量化技术将变量压缩至8位,并利用动态特性提升精度,实现O(1)更新复杂度,在仅用1/8内存下准确率提升约30%,速度快两个数量级。
2024-06-27 cs.DB cs.DS
Estimating Diffusion Degree on Graph Streams
针对图流中扩散度精确计算内存开销大的问题,本文提出扩散度估计草图并证明误差上界,基于此设计top-k影响力节点提取算法,实验效果与精确算法相当或更优。
2024-01-31 cs.DS
Oblivious sketching for logistic regression
TU Dortmund University(多特蒙德工业大学);Carnegie Mellon University(卡内基梅隆大学)
在一个数据流上一次通过解决逻辑回归有什么保证?为了回答这个问题,我们提出了逻辑回归的第一个数据不经意草图。我们的草图可以计算在输入稀疏时间在一个旋转栅门数据流,并减少$d$维数据集的大小从$n$到只有$\operatorname{poly}(μd\log n)$加权点,其中$μ$是一个有用的参数,它捕获的复杂性压缩数据。在草图上求解(加权)逻辑回归给出了完整数据集上原始问题的$O(\log n)$近似。我们还展示了如何获得一个$O(1)$ -近似略有修改。我们的草图是快速,简单,易于实现,我们的实验证明其实用性。
2021-07-14 cs.DS cs.LG stat.ML
Efficient Differentially Private $F_0$ Linear Sketching
线性草图的一个强大功能是,从两个数据向量的草图中,可以计算出向量之间的差异。这使我们能够回答关于两个数据集之间差异的细粒度问题。在这项工作中,我们考虑如何构建加权$F_0$的草图,即,数据集中元素的权重之和,这些权重很小,差异私有,并且计算效率高。假设给出权重向量$w\in(0,1]^u$。对于$x\in\{0,1\}^u$,我们感兴趣的是估计$\Vert x\circ w\Vert_1$,其中$\circ$是Hadamard乘积(入口乘积)。基于Kushilevitz等人的技术~ (STOC 1998),我们引入了一个草图(取决于$w$),它是线性的GF(2),映射向量$x\in \{0,1\}^u$到$Hx\in\{0,1\}^τ$的矩阵$H$从一个合适的分布$\mathcal{H}$采样。差分隐私是通过使用随机响应,翻转概率$p<1/2$的$Hx$的每一位。我们表明,对于$0<β< 1$和$\varepsilon=O(1)$的每个选择,存在$p<1/2$和大小为$τ= O(\log^2(u)\varepsilon^{-2}β^{-2})$的线性草图的分布$\mathcal{H}$,使得:1)对于随机$H\sim\mathcal{H}$和噪声向量$φ$,给定$Hx + φ$,我们可以计算$\Vert x\circ w\Vert_1$的估计,该估计在因子$1\pmβ$加上加性误差…
2020-09-29 cs.DS
Sampling Space-Saving Set Sketches
针对分布式数据流中heavy distinct hitters问题,提出结合sketch与采样技术的Sampling Space-Saving Set Sketch算法,在大小、速度、精度、可合并性和可逆性上均具优势且实验证明其优越性。
2024-02-13 cs.DB cs.DS
How Robust are Linear Sketches to Adaptive Inputs?
线性草图是强大的算法工具,通过线性变换将n维输入转换为简洁的低维表示。这样的草图已经看到了广泛的应用,包括数据流上的范数估计、压缩感知和分布式计算。然而,在几乎任何现实的设置中,线性草图都面临着其输入与草图的先前评估相关的可能性。已知的技术不再保证在存在这种相关性的情况下输出的正确性。因此,我们要问:线性草图是否固有地对自适应选择的输入不鲁棒?我们对这个问题给予了强有力的肯定回答。具体而言,我们表明,没有线性草图近似的欧几里德范数的输入到任意乘法近似因子的多项式数量的自适应选择的输入。即使草图的尺寸是d = n-o(n)并且草图被给予无限的计算时间,结果仍然是正确的。我们的结果是基于一个算法与运行时间多项式在d中,自适应地找到一个分布在输入上的草图是不正确的恒定概率。我们的结果暗示了相关问题,包括lp范数估计和压缩感知的几个推论。值得注意的是,我们解决了一个开放的问题,在压缩感知的L2/L2恢复保证的可行性,在计算上有界的对手的存在。
2012-11-05 cs.DS
DPSW-Sketch: A Differentially Private Sketch Framework for Frequency Estimation over Sliding Windows (Technical Report)
East China Normal University(华东师范大学);Zhejiang University(浙江大学)
针对滑动窗口数据流中的敏感频率估计与重击者识别问题,提出基于 count-min sketch 的差分隐私 DPSW-Sketch,在亚线性时空开销下保证有界误差,并实现更优效用-隐私权衡。
2024-06-12 cs.CR cs.DS cs.LG
Sketched SVD: Recovering Spectral Features from Compressive Measurements
我们考虑一个流数据模型,其中n个传感器观察单独的数据流,在一个旋转栅门模型。我们的目标是分析的奇异值分解(SVD)的矩阵的数据定义隐含的更新流。数据矩阵的每一列i由在传感器i处看到的更新流给出。我们的方法是绘制矩阵的每一列,形成一个“草图矩阵”Y,然后计算草图矩阵的SVD。我们证明了Y的奇异值和右奇异向量与X的奇异值和右奇异向量接近,且相对误差很小。我们还认为,这一界限在非流和非分布式数据汇集设置中具有独立的利益。假设数据矩阵X的大小为Nxn,则通过X的每列的m个线性测量,我们获得具有维度mxn的较小矩阵Y。如果m = O(k ε^{-2}(log(1/ε)+ log(1/δ)),其中k表示X的秩,则以至少1-δ的概率,Y的奇异值σ_j与原始矩阵X的奇异值σ_j相比满足以下相对误差结果(1-ε)^(1/2)<= σ_j/σ_j <=(1 + ε)^(1/2)。此外,Y的右奇异向量v '_j满足||v_j-v_j'||_2 <= min(sqrt{2},(ε \sqrt{1+ε})/(\sqrt{1-ε})max_{i\neq j}(\sqrt{2} σ_iσ_j)/(min_{c\in[-1,1]}(|σ^2_i-σ^2_j(1+cε)|()与X的右奇异向量v_j相比。我们应用这个结果,以获得流图算法来近似的特征值和特征向量的图拉普拉斯算子的情况下,该图具有低秩(许多连接组件)。
2012-11-02 cs.DS cs.IT math.IT
Max-stable sketches: estimation of Lp-norms, dominance norms and point queries for non-negative signals
通过对数据的顺序存取,可以在快速流正数据集上有效地计算最大稳定随机草图。它们可用于回答信号的点和Lp范数查询。在所谓的p稳定(或和稳定)和最大稳定草图之间有一种有趣的联系。严格的性能保证,通过错误概率估计推导和算法实现进行了讨论。
2010-05-24 cs.DB cs.DS
Enabling Efficient and General Subpopulation Analytics in Multidimensional Data Streams
今天的大规模服务(例如,视频流平台、数据中心、传感器网格)需要跨多维数据集的多个子群体的多样的实时汇总统计。然而,最先进的框架不能以合理的成本实时的提供通用和准确的分析。根本原因是数据子群体的组合爆炸和我们需要同时监控的汇总统计的多样性。我们提出了Hydra,一个有效的多维分析框架,它提出了一种新颖的组合,使用“草图的草图”,以避免监测指数许多亚群和通用草图的开销,以确保准确估计多个统计数据。我们将Hydra构建为Apache Spark插件,并解决实际的系统挑战,以最大限度地减少大规模的开销。在多个真实世界和合成多维数据集上,我们表明Hydra可以实现强大的误差范围,并且在运营成本和内存占用方面比现有框架(例如,火花,德鲁伊),同时确保互动估计时间。
2022-08-09 cs.DB cs.DS
Fast Concurrent Data Sketches
数据草图是对长数据流的近似简洁的总结。它们被广泛用于处理大量数据并实时回答有关数据的统计查询。现有的库生成草图的速度非常快,但不允许使用多线程并行创建草图或在构建草图时查询草图。我们提出了一个通用的方法来有效地并行化数据草图,同时边界的错误,这样的并行介绍。利用宽松的语义和强线性的概念,我们证明了我们的算法的正确性,并分析了它在两个特定的草图引起的错误。我们的实现了高的可扩展性,同时保持误差小。
2019-12-05 cs.DC cs.DS
Graphical Model Sketch
Adobe Research(Adobe研究院);Rutgers(罗格斯大学);TTI(丰田技术研究院)
结构化的高基数数据出现在许多领域,对建模和推理都提出了重大挑战。图形模型是一种流行的建模结构化数据的方法,但它们不适合高基数变量。count-min(CM)草图是一种在高基数数据中估计概率的流行方法,但它不能很好地扩展到几个变量之外。在这项工作中,我们汇集了图形模型和计数草图的想法,并提出和分析了几种方法来估计结构化的高基数数据流的概率。我们近似的关键思想是使用图形模型的结构,并通过“草图”近似估计其因子,该草图使用随机投影对高基数变量进行散列。我们的近似是计算效率和它们的空间复杂度是独立的变量的基数。我们的误差界是乘法和显着改善后的CM草图,一个国家的最先进的方法来估计流中的概率。我们评估我们的近似合成和现实世界的问题,并报告了一个数量级的改进CM草图。
2016-07-18 cs.DS cs.LG stat.ML
Sketch-Based Estimation of Subpopulation-Weight
海量数据集的摘要支持对原始数据的近似查询处理。一组记录上的基本聚合是指定为记录属性上的谓词的子群体的权重。Bottom-k草图是一种强大的加权项汇总格式,包括优先级抽样和经典的无替换加权抽样。对于包括分布式数据库和数据流在内的许多数据表示,可以有效地计算它们。我们得到了新的无偏估计和有效的置信区间的子种群重量。我们的估计量和界限是定制的应用程序(如数据流)之间的区别,其中的总重量的草图集可以计算的汇总算法,而无需大量使用额外的资源,和应用程序(如草图的网络社区),这是不是这种情况。我们严格的推导是基于霍维茨-汤普森估计的巧妙应用,并辅以有效的计算方法。我们证明了他们的好处在广泛的帕累托分布。
2008-02-23 cs.DB cs.DS cs.NI
UDDSketch: Accurate Tracking of Quantiles in Data Streams
我们提出了UDDSketch(均匀DDSketch),一个新的草图快速,准确地跟踪数据流中的分位数。该草图深受最近推出的DDSketch的启发,并且基于一种新颖的桶折叠过程,该过程允许克服相应DDSketch过程的固有限制。事实上,DDSketch桶折叠过程不允许导出不遵循次指数分布的数据的分位数估计的准确性的正式保证。相反,UDDSketch的设计使得可以在整个分位数范围内以及输入中的任意分布上提供准确性保证。此外,我们的算法充分利用预算的内存自适应,以保证最好的精度在整个范围内的分位数。在人工数据集上的大量实验结果证实了该方法的有效性。
2020-04-18 cs.DB cs.DS
DDSketch: A fast and fully-mergeable quantile sketch with relative-error guarantees
对于大型分布式数据流,可以轻松地维护诸如均值和方差之类的汇总统计量,但是顺序统计量(即,样本分位数)只能近似地概括。有大量关于维护分位数草图的文献,其中重点是在使用很少内存的情况下限制草图的秩误差。不幸的是,秩误差保证并不排除任意大的相对误差,这在实践中经常发生在数据严重偏斜的情况下。考虑到当代大规模系统的分布式性质,分位数草图的另一个关键属性是可合并性,即,几个组合的草图必须与相同数据的单个草图一样精确。我们提出了第一个完全可合并的,相对错误的分位数草图算法与正式的保证。该草图非常快速和准确,目前正被Datadog广泛使用。
2019-08-28 cs.DB cs.DS
Differentially Private Linear Sketches: Efficient Implementations and Applications
线性草图已被广泛用于处理快速数据流,它们可以用于准确地回答频率估计,近似前K项,并总结数据分布。当数据是敏感的,它是可取的,以保护私人信息,同时提供有用的结果与理论界限的线性草图提供隐私保证。我们表明,线性草图可以确保隐私,并保持其独特的属性,在初始化时添加少量的噪音。从不同的私有线性草图中,我们展示了旋转栅门模型中最先进的分位数草图也可以是私有的并保持高性能。实验进一步表明,我们提出的差异私人草图是定量和定性相似的无噪声草图具有高利用率的合成和真实的数据集。
2022-10-14 cs.DB cs.DS cs.NI
Data Sketches for Disaggregated Subset Sum and Frequent Item Estimation
介绍并研究了一种新的用于处理海量数据集的数据草图。它解决了两个常见的问题:1)计算任意过滤条件下的总和,2)识别数据集中的频繁项或重命中项。对于前者,该草图提供了具有最先进精度的无偏估计。当数据被分解时,它可以处理具有挑战性的场景,因此计算每单位的感兴趣指标需要昂贵的聚合。例如,感兴趣的度量可以是每个用户的总点击,而原始数据是每个用户具有多行的点击流。因此,该草图适用于广泛的应用,包括计算广告预测的历史点击率,报告来自事件流的用户指标,以及测量IP流的网络流量。我们证明和经验表明,草图有良好的性能,分解子集和估计和频繁项目问题。在身份证上。数据,它不仅挑选出频繁项目,但给出强相合估计的比例,每个频繁项目。由此产生的草图渐近地绘制出与样本大小成比例的概率,该概率对于估计数据的总和是最佳的。对于非I.I.D.数据,我们表明,它通常比随机抽样的频繁项问题,从来没有做得更糟。对于子集和估计,我们表明,即使是病理序列,方差接近最优抽样设计。从经验上讲,尽管在分类数据上操作的缺点,我们的方法匹配或优于优先级采样,这是一种用于预聚合数据的最先进的方法,并且与均匀采样相比,在偏斜数据上的表现更好。我们提出了扩展的草图,允许它被用于多个数据集相结合,在分布式系统中,并为时间衰减聚合。
2017-09-12 cs.DS stat.CO
Sublinear Sketches for Approximate Nearest Neighbor and Kernel Density Estimation
Department of Computer Science & Engineering, Indian Institute of Technology Bombay(计算机科学与工程系,印度理工学院班加罗尔)
本文提出针对动态数据流的次线性草图算法,用于近似最近邻搜索和核密度估计,在内存与误差间实现接近最优权衡,并首次给出滑动窗口下A-KDE的次线性保证。
2026-09-15 cs.DS cs.LG stat.ML
Harmonic Decomposition in Data Sketches
本文提出一种基于调和结构而非显式采样的通用草图SymmetricPoissonTower,通过拥抱哈希冲突节省空间,对近周期函数指数级优于采样方法,并猜想其能估计所有可处理函数。
2024-11-05 cs.DB cs.DC cs.DS
Fixed-Rank Approximation of a Positive-Semidefinite Matrix from Streaming Data
Caltech(加州理工学院);EPFL(洛桑联邦理工学院);Cornell(康奈尔大学)
本文提出一种基于Nystrom方法和新秩截断机制的算法,用于从数据流中近似正定矩阵,理论分析证明其在Schatten 1范数下可达到任意给定的相对误差,并通过实验验证其在多种示例中的优越性。
2017-06-18 cs.DS cs.NA math.NA