Optimal Quantile Approximation in Streams
本文解决了流计算模型中一个长期存在的基本问题。即分位数草图的优化构造。$\varepsilon$近似分位数草图接收项目流$x_1,\ldots,x_n$,并允许以至少$1-δ$的概率近似任何查询的等级,直到加性误差$\varepsilon n$。查询$x$的秩是使得$x_i \le x$.此任务所需的最小草图大小至少为$1/\varepsilon$。Felber和Ostrovsky获得了一个固定$δ$的$O((1/\varepsilon)\log(1/\varepsilon))$空间草图。迄今为止,甚至对于随机排列的流或对于近似特定分位数(例如,\中位数。本文得到了一个$O((1/\varepsilon)\log \log (1/δ))$空间简图和一个匹配下界。这解决了开放的问题,并证明了随机和确定性分位数草图之间的定性差距。我们的贡献之一是广泛使用的合并和减少建设的一种新的表示和修改。这种微妙的修改使得分析既紧凑又非常简单。类似的技术应该是有用的,以改善其他素描目标和几何核心建设。
2016-04-05 cs.DS
Adaptively Robust Resettable Streaming
Google Research;Tel Aviv University(特拉维夫大学);Princeton University(普林斯顿大学);UC Berkeley(加州大学伯克利分校)
本文提出了一种适应性鲁棒的可重置流算法,通过微分隐私技术实现多项式对数空间复杂度,支持多种统计量计算并提供误差保证。
2026-01-29 cs.DS
LSketch: A Label-Enabled Graph Stream Sketch Toward Time-Sensitive Queries
针对图流高效存储与查询挑战,提出LSketch,通过保留标签信息并引入滑动窗口模型,以次线性空间高精度支持结构与时间敏感查询,在四个真实数据集上验证了其优越性。
2023-04-06 cs.DB cs.DS
Turnstile Streaming Algorithms Might (Still) as Well Be Linear Sketches, for Polynomial-Length Streams
Tsinghua University(清华大学);Princeton University(普林斯顿大学)
本文研究了多项式长度流中turnstile算法与线性草图之间的等价性,证明了在特定条件下turnstile算法可以被线性草图模拟,并提出了新的下界结果。
2026-11-02 cs.CC cs.DS
Graph Spanners by Sketching in Dynamic Streams and the Simultaneous Communication Model
图素描是一个强大的技术介绍的开创性工作的Ahn,Guha和McGregor'12的连接在动态图形流,从那时起,在文献中享有相当大的关注,并导致了近最佳的动态流算法的许多基本问题,如连接,削减和频谱稀疏和匹配。然而,有趣的是,近似图的最短路径度量的草图和动态流的复杂性仍然远未得到很好的理解。除了经典构造的直接$k$ -通路实现(最近由Fernandez、Woodruff和Yasuda改进为$\lfloor\frac k2\rfloor+1$ -通路'20)之外,现有技术相当于Ahn、Guha和McGregor'12的$O(\log k)$ -通路算法,以及Kapralov和Woodruff'14的$2$ -通路算法.特别是,没有单遍算法是已知的,并且遍数、拉伸和空间复杂度之间的最佳折衷是开放的。在本文中,我们介绍了几个新的图形素描技术近似的最短路径度量的输入图。我们给出了第一个{ \em单遍}绘制算法,用于构建图空间:我们展示了如何使用$\widetilde{O}(n)$空间获得$\widetilde{O}(n^{\frac23})$ -图,以及在一般情况下,对于每个$α\in [0, 1]$,使用$\widetilde{O}(n^{1+α})$空间获得$\widetilde{O}(n^{\frac23(1-α)})$ -图,我们认为这种折衷可能接近最优。我们还给出了新的构造算法,任…
2020-11-12 cs.DS
Single Pass Spectral Sparsification in Dynamic Streams
我们提出了第一个单遍算法计算谱稀疏的动态半流模型。给定一个包含插入和删除边的流到图G的单次遍历,我们的算法保持G的关联矩阵的随机线性草图为O((1/epsilon ^2)n polylog(n))。使用此草图,在任何点,该算法都可以以高概率输出G的(1 +/-π)谱稀疏因子。虽然O((1/epsilon^2)n polylog(n))空间算法已知用于计算动态流中的“切割稀疏器”[AGM 12 b,GKP 12]和“仅插入”流中的谱稀疏器[KL 11],但在我们的工作之前,用于在动态流中维护谱稀疏器的最著名的单遍算法需要尺寸Omega((1/epsilon^2)n^(5/3))的草图[AGM 14]。为了实现我们的结果,我们表明,使用粗稀疏的G和G的关联矩阵的线性草图,它是可能的采样边缘的有效电阻,获得一个频谱稀疏的任意精度。从草图中采样需要ell_2/ell_2稀疏恢复的新应用,这是[AGM 12 b]中用于切割稀疏器的ell_0方法的自然扩展。最近的工作[MP 12]行采样矩阵近似给出了一个递归的方法来获得所需的粗稀疏。在一定的限制下,我们的方法还扩展到保持一般矩阵A^T A的谱近似的问题,给定A中的行的更新流。
2015-04-16 cs.DS
SQUAD: Combining Sketching and Sampling Is Better than Either for Per-item Quantile Estimation
流监控是许多数据流应用的基础,例如金融数据跟踪器、安全性、异常检测和负载均衡。在这方面,分位数是特别感兴趣的,因为它们经常捕获用户的效用。例如,如果视频连接具有高尾部延迟,则即使平均延迟和中值延迟较低,感知质量也会受到影响。在这项工作中,我们考虑的问题,近似每项分位数。我们流中的元素是(ID,延迟)元组,我们希望跟踪每个ID的延迟分位数。现有的分位数草图是为单个数字流设计的(例如,仅包含等待时间)。虽然可以为每个ID分配单独的草图实例,但这可能需要不可行的内存量。相反,我们考虑跟踪重命中(最频繁的项目)的分位数,这些分位数通常被认为特别重要,而事先不知道它们。我们首先提出了一个简单的采样算法,作为一个基准。然后,我们设计了一个算法,增加了一个分位数草图内的每个条目的重击算法,导致类似的空间复杂度,但具有确定性的错误保证。最后,我们提出了SQUAD,一种结合采样和草图,同时提高渐近空间复杂度的方法。直观地说,SQUAD使用一个背景采样过程来捕获一个项目的行为之前,它是分配一个草图,从而使我们能够使用更少的样本和草图。我们的解决方案进行了严格的分析,我们证明了我们的方法使用广泛的模拟的优越性。
2022-01-06 cs.DS
Sub-linear Memory Sketches for Near Neighbor Search on Streaming Data
Rice University(莱斯大学)
我们提出了第一个次线性记忆草图,可以查询,以找到最近的邻居在一个数据集。我们的在线草图算法在$O(N^{(b+1)} \log^3 N)$时间内将N个元素的数据集压缩为大小为$O(N^b \log^3 N)$的草图,其中$b < 1$。此草图可以正确报告满足由$b$参数化的稳定性条件的任何查询的最近邻居。我们实现稳定查询的次线性内存性能结合局部敏感哈希(LSH)为基础的估计,在线核密度估计,压缩感知的最新进展。我们的理论结果揭示了新的光最近邻搜索的内存精度权衡,我们的草图,它完全由短整数数组,在实践中有各种有吸引力的功能。我们评估了我们的方法在Google Plus社交媒体网络中的朋友推荐任务上的记忆召回权衡。我们获得了数量级更好的压缩比随机投影为基础的替代方案,同时保留报告的能力,最近的邻居的实际查询。
2020-09-14 cs.CG cs.DS cs.LG
MTS Sketch for Accurate Estimation of Set-Expression Cardinalities from Small Samples
基于草图的流算法允许有效处理大数据。这些算法使用小的固定大小的存储器来存储输入数据的概要(“草图”),并且使用概率算法来估计期望的量。然而,在许多实际应用中,收集和处理整个数据流是不切实际的,因此通常的做法是只对其中的一小部分进行采样和处理。虽然采样对于处理海量数据集至关重要,但它可能会降低准确性。在本文中,我们提出了一个新的框架,可以准确地估计基数的任何集合表达式之间的任何数量的流只使用一个小样本的每个流。建议的框架包括一个新的草图,称为最大项与子样本(MTS),和一个家庭的算法,使用这个草图。可以使用所提出的草图来有效地回答的可能的查询的示例是,有多少不同的元组出现在表$T_1$和$T_2$中,但不在$T_3$中?本文提出的算法准确地回答这样的查询,只处理每个表中的元组的一小部分样本,并使用恒定的内存量。这样的估计是有用的查询在非常大的数据库系统的优化。我们表明,我们所有的算法是无偏的,我们分析了它们的渐近方差。
2016-11-06 cs.DB cs.DS
Lifting Linear Sketches: Optimal Bounds and Adversarial Robustness
我们提出一种提升技术,将实值线性草图下界推广到整数输入,首次获得离散数据流的最优下界,并证明整数线性草图在对抗攻击下无法鲁棒近似$L_p$范数,解决了相关开放问题。
2025-03-25 cs.DS
Carbonyl4: A Sketch for Set-Increment Mixed Updates
针对SIM数据流处理需求,提出Carbonyl4算法,通过Balance Bucket和Cascading Overflow技术优化方差与精度,实现动态内存缩减,在多数据集上显著提升检索准确性与适应性。
2024-12-21 cs.DS
Oblivious sketching for logistic regression
TU Dortmund University(多特蒙德工业大学);Carnegie Mellon University(卡内基梅隆大学)
在一个数据流上一次通过解决逻辑回归有什么保证?为了回答这个问题,我们提出了逻辑回归的第一个数据不经意草图。我们的草图可以计算在输入稀疏时间在一个旋转栅门数据流,并减少$d$维数据集的大小从$n$到只有$\operatorname{poly}(μd\log n)$加权点,其中$μ$是一个有用的参数,它捕获的复杂性压缩数据。在草图上求解(加权)逻辑回归给出了完整数据集上原始问题的$O(\log n)$近似。我们还展示了如何获得一个$O(1)$ -近似略有修改。我们的草图是快速,简单,易于实现,我们的实验证明其实用性。
2021-07-14 cs.DS cs.LG stat.ML
QSketch: An Efficient Sketch for Weighted Cardinality Estimation in Streams
提出QSketch,一种用于流中加权基数估计的高效内存Sketch方法,通过量化技术将变量压缩至8位,并利用动态特性提升精度,实现O(1)更新复杂度,在仅用1/8内存下准确率提升约30%,速度快两个数量级。
2024-06-27 cs.DB cs.DS
Relative Error Streaming Quantiles
针对流式数据秩估计的乘性误差需求,本文提出一种空间效率更优的随机化概要,其空间界接近最优,无需预知流长度且可完全合并,适用于并行分布式环境。
2023-08-24 cs.DS
DPSW-Sketch: A Differentially Private Sketch Framework for Frequency Estimation over Sliding Windows (Technical Report)
East China Normal University(华东师范大学);Zhejiang University(浙江大学)
针对滑动窗口数据流中的敏感频率估计与重击者识别问题,提出基于 count-min sketch 的差分隐私 DPSW-Sketch,在亚线性时空开销下保证有界误差,并实现更优效用-隐私权衡。
2024-06-12 cs.CR cs.DS cs.LG
Sampling Space-Saving Set Sketches
针对分布式数据流中heavy distinct hitters问题,提出结合sketch与采样技术的Sampling Space-Saving Set Sketch算法,在大小、速度、精度、可合并性和可逆性上均具优势且实验证明其优越性。
2024-02-13 cs.DB cs.DS
A Near-Optimal Algorithm for L1-Difference
我们给出了第一个整数向量的L_1-草绘算法,该算法在近似线性时间内产生近似最优尺寸的草绘。这回答了2006年IITK数据流算法研讨会的开放问题列表中的第一个开放问题。具体地,假设Alice接收到{-M,.,并且Bob在{-M,...,M}^n,并且双方共享随机性。每一方都必须输出其向量的简短草图,以便第三方稍后可以快速恢复(1 +/- eps)近似,||X-Y||_1的概率为2/3,只给出草图。我们给出了一个草图绘制算法,该算法在O(n*log^2(nM))时间内生成O(eps^{-2}log(1/eps)log(nM))位草图,与eps无关。以前最著名的L_1草图算法是由Feigenbaum等人,SICOMP 2002],它实现了O(eps^{-2}log(nM))位的最佳草图长度,但运行时间为O(n*log(nM)/eps^2)。请注意,我们的运行时间对于每个eps都是近似线性的,而对于足够小的eps值,前面算法的运行时间可以像二次方一样大。像他们的算法一样,我们的素描过程也产生了一个小空间,一次通过的流算法,即使x,y的条目以任意顺序给出也有效。
2009-04-13 cs.DS
Better Differentially Private Approximate Histograms and Heavy Hitters using the Misra-Gries Sketch
针对流式近似直方图与重击者的差分隐私发布,本文改进 Misra-Gries 草图机制,使噪声不随草图规模线性增长,并支持用户贡献多个不同元素。
2025-03-18 cs.CR cs.DS cs.IR
Fast and Accurate Graph Stream Summarization
图流是连续的数据项序列,其中每个项指示一条边,包括其两个端点和边权重。它形成一个动态图,随流中的每个项目而变化。图流在网络安全、社交网络、云故障排除系统等领域发挥着重要作用。由于图流的巨大容量和高更新速度,传统的图存储数据结构,如邻接矩阵和邻接表已经不能满足需要。然而,图流摘要的现有技术,如CM sketches、gSketches、TCM和gMatrix,要么支持有限种类的查询,要么遭受查询结果的不良准确性。本文提出了一种新的图流草图(Graph Stream Sketch,简称GSS)来概括图流,它具有线性空间代价(O(|E|),E为图的边集)和常数更新时间复杂度(O(1)),支持对图流的各种查询,且错误可控.理论分析和实验结果都证实了该方案在时间/空间复杂度和查询结果精度方面的优越性。
2018-09-04 cs.DS
Estimating Diffusion Degree on Graph Streams
针对图流中扩散度精确计算内存开销大的问题,本文提出扩散度估计草图并证明误差上界,基于此设计top-k影响力节点提取算法,实验效果与精确算法相当或更优。
2024-01-31 cs.DS
UDDSketch: Accurate Tracking of Quantiles in Data Streams
我们提出了UDDSketch(均匀DDSketch),一个新的草图快速,准确地跟踪数据流中的分位数。该草图深受最近推出的DDSketch的启发,并且基于一种新颖的桶折叠过程,该过程允许克服相应DDSketch过程的固有限制。事实上,DDSketch桶折叠过程不允许导出不遵循次指数分布的数据的分位数估计的准确性的正式保证。相反,UDDSketch的设计使得可以在整个分位数范围内以及输入中的任意分布上提供准确性保证。此外,我们的算法充分利用预算的内存自适应,以保证最好的精度在整个范围内的分位数。在人工数据集上的大量实验结果证实了该方法的有效性。
2020-04-18 cs.DB cs.DS
Data Sketches for Disaggregated Subset Sum and Frequent Item Estimation
介绍并研究了一种新的用于处理海量数据集的数据草图。它解决了两个常见的问题:1)计算任意过滤条件下的总和,2)识别数据集中的频繁项或重命中项。对于前者,该草图提供了具有最先进精度的无偏估计。当数据被分解时,它可以处理具有挑战性的场景,因此计算每单位的感兴趣指标需要昂贵的聚合。例如,感兴趣的度量可以是每个用户的总点击,而原始数据是每个用户具有多行的点击流。因此,该草图适用于广泛的应用,包括计算广告预测的历史点击率,报告来自事件流的用户指标,以及测量IP流的网络流量。我们证明和经验表明,草图有良好的性能,分解子集和估计和频繁项目问题。在身份证上。数据,它不仅挑选出频繁项目,但给出强相合估计的比例,每个频繁项目。由此产生的草图渐近地绘制出与样本大小成比例的概率,该概率对于估计数据的总和是最佳的。对于非I.I.D.数据,我们表明,它通常比随机抽样的频繁项问题,从来没有做得更糟。对于子集和估计,我们表明,即使是病理序列,方差接近最优抽样设计。从经验上讲,尽管在分类数据上操作的缺点,我们的方法匹配或优于优先级采样,这是一种用于预聚合数据的最先进的方法,并且与均匀采样相比,在偏斜数据上的表现更好。我们提出了扩展的草图,允许它被用于多个数据集相结合,在分布式系统中,并为时间衰减聚合。
2017-09-12 cs.DS stat.CO
Fast Sketch-based Recovery of Correlation Outliers
许多数据源可以被解释为时间序列,关键问题是识别大量信号中哪些对是高度相关的。我们预计将有很少的,大的,有趣的相关性,而大多数信号对没有任何强相关性。我们将其抽象为在n个主要是两两不相关的随机变量的集合中识别高度相关的对的问题,其中变量的观测值作为流到达。简化可以消除对观测数量的依赖,但需要进一步的技术来驯服通过所有可能的对搜索的二次(n)成本。我们开发了一种新的算法,用于快速找到大的相关性的基础上草图技术与一个额外的扭曲:我们快速生成草图的随机组合的信号,并使用这些与编码理论的想法,解码相关对的身份。我们证明了正确性,并与最好的LSH(局部敏感哈希)为基础的方法的性能和有效性进行比较。
2017-10-05 cs.DS