Parallel approach to sliding window sums
滑动窗口求和在生物信息学中有着广泛的应用,包括序列拼接、k-mer生成、哈希和压缩。利用现代处理器上可用的高级向量扩展(AVX)指令或GPU和FPGA上的并行计算单元的新向量算法将为生物信息学应用提供显着的性能提升。我们开发了一个通用的向量化滑动和算法,窗口大小w和处理器的数量P是O(P/w)的一般滑动和加速比。对于带交换算子的求和,加速比提高到O(P/log(w)).当应用于基于AVX指令的最小化器的k-mer表生成的基因组应用时,我们获得了超过5倍的加速比。
2019-09-03 cs.DS
Sliding Windows with Limited Storage
我们考虑时间-空间的权衡,精确计算频率矩和顺序统计滑动窗口。给定长度为2n-1的输入,任务是输出长度为n的每个窗口的函数,总共给出n个输出。滑动窗口上的计算与直和问题有关,只是输入到实例几乎完全重叠。我们给出了一个平均情况和随机时空权衡的TS在Omega(n^2)中的下界,用于多路分支程序,因此是标准RAM和字RAM模型,以计算字母表[n]上滑动窗口中不同元素的数量F_0。对于计算F_0的低阶位和计算k不等于1的任何频率矩F_k,同样的下界成立。我们用\tilde中的TS来补充这个下界,以精确计算滑动窗口中的F_k,其时间复杂度为O(n^2).我们展示了滑动窗口元素清晰度的复杂性和滑动窗口$F_0\bmod 2$计算的复杂性之间的时空分离。特别是对于alphabet [n],有一个非常简单的无错误的滑动窗口算法,用于元素的独特性,平均运行时间为O(n),使用O(log{n})空间。我们表明,任何算法的一个单一的元素distinctness实例可以扩展到一个算法的滑动窗口版本的元素distinctness与最多的时间-空间积的多对数增加。最后,我们证明了顺序统计量(如最大值和最小值)的滑动窗口计算可以在时间上仅以对数增长来计算,但对于顺序统计量(如中值)的滑动窗口计算,TS在Omega(n^2)的下限成立,当空间很小时,时间几乎线性增长。
2013-09-18 cs.CC cs.DS
Sliding window property testing for regular languages
Universität Siegen(锡根大学);DI/ENS, PSL Research University(法国巴黎高等师范学院(DI/ENS, PSL研究大学))
我们研究的问题,识别正则语言的计算流模型的一个变种,称为滑动窗口模型。在这个模型中,我们给出了滑动窗口$n$的大小和符号流。在每个时刻,我们必须决定当前流(“活动窗口”)的长度后缀$n$是否属于给定的正则语言。最近的工作表明,该问题的最佳确定性滑动窗口算法的空间复杂度是常数,对数或线性的窗口大小$n$,并提供了自然语言理论表征的空间复杂度类。随后,这些结果被扩展到随机算法,以表明任何这样的算法承认要么常数,双对数,对数或线性空间复杂度。在这项工作中,我们向前迈出了重要的一步,并结合了滑动窗口模型与属性测试设置,这导致了所有正则语言的超高效算法。非正式地,滑动窗口属性测试器必须接受活动窗口,如果它属于语言,如果它远离语言,则拒绝它。我们考虑确定性和随机滑动窗口属性测试仪的单侧和双侧的错误。特别是,我们表明,对于任何正则语言,有一个确定性的滑动窗口属性测试仪,使用对数空间和随机滑动窗口属性测试仪,使用恒定的空间与双侧错误。
2019-09-23 cs.CL cs.DS cs.FL
Minimal Unique Substrings and Minimal Absent Words in a Sliding Window
如果$u$在$T$中只出现一次,并且$u$的任何适当子串在$T$中至少出现两次,则字符串$T$的子串$u$被称为$T$的最小唯一子串(MUS)。如果$w$不出现在$T$中,并且$w$的任何适当子串出现在$T$中,则字符串$w$被称为$T$的最小缺失字(MAW)。本文研究了在给定字符串$T$上滑动窗口中MUSs和MAW的计算问题。我们首先展示了在$T$上的滑动窗口中MUSs的集合是如何变化的,并给出了一个$O(n\logσ)$ -时间和$O(d)$ -空间算法来计算在$T$上的宽度为$d$的滑动窗口中的MUSs,其中$σ$是每个窗口中不同字符的最大数量。然后,我们给紧的上限和下限上的最大数量的变化在一组MAW在滑动窗口超过$T$。我们的边界改进了[Crochemore et al.,2017年]。
2019-09-13 cs.DS
Improved Sliding Window Algorithms for Clustering and Coverage via Bucketing-Based Sketches
流计算在大规模数据分析中起着重要的作用。滑动窗口模型是一种流计算模型,它还捕获数据的新近性。在此模型中,数据一次到达一个项目,但对于特定问题,只考虑最新的$W$数据项目。目标是通过在流期间维护一个小摘要,在流的结尾输出一个好的解决方案。在这项工作中,我们提出了一个新的算法框架,设计有效的滑动窗口算法,通过桶为基础的草图。基于这个新的框架,我们开发了空间有效的滑动窗口算法的$k$覆盖,$k$聚类和多样性最大化问题。对于上述每一个问题,我们的算法实现了$(1\pm \varepsilon)$ -近似。与以往的工作相比,它提高了逼近比和空间。
2021-10-29 cs.DS
Almost-Smooth Histograms and Sliding-Window Graph Algorithms
我们研究算法的滑动窗口模型,一个重要的变种的数据流模型,其中的目标是计算一些函数的一个固定长度的后缀的流。我们将Braverman和Ostrovsky(FOCS 2007)的平滑直方图框架扩展到几乎平滑函数,其中包括所有次可加函数。具体来说,我们表明,如果次加性函数可以在仅插入流模型中近似为$(1+ε)$,那么它也可以在滑动窗口模型中近似为$(2+ε)$,其中空间复杂度增加了因子$O(ε^{-1}\log w)$,其中$w$是窗口大小。我们展示了我们的框架如何产生新的近似算法,相对较少的努力,不承认平滑直方图技术的各种问题。例如,在频率向量模型中,一个对称范数是次可加的,因此我们得到了它的滑动窗口$(2+ε)$ -近似算法;另一个例子是对于流矩阵,我们得到了Schatten $4$ -范数的一个新的滑动窗口$(\sqrt{2}+ε)$ -近似算法。然后,我们考虑图形流,并表明,许多图形问题是次加性的,包括最大次模匹配,最小顶点覆盖,最大$k$ -覆盖,从而得出滑动窗口$O(1)$近似算法,他们几乎是免费的(使用已知的只插入算法)。最后,我们为每个$d\in (1,2]$设计了一个基于最大匹配尺寸的人工函数,其几乎光滑参数正好是$d$。
2022-05-24 cs.DS
Fair Clustering in the Sliding Window Model
研究滑动窗口模型中的比例公平聚类流式算法,证明严格公平下无法实现有限乘法比率,但放宽约束后存在空间高效的近似算法,并在真实数据集上验证了理论。
2025-03-07 cs.DS
How to Catch L_2-Heavy-Hitters on Sliding Windows
在流数据中找到重元素(heavy-hitters)是一个核心的、众所周知的任务。尽管这个问题的重要性,当考虑流的滑动窗口模型(其中元素最终到期)时,寻找L_2重元素的问题仍然是完全开放的,尽管多篇论文和相当大的成功,在寻找L_1重元素。本文提出了滑动窗口模型中寻找L_2重元素的第一个多对数记忆算法。由于L_2重元素在许多基本流问题(如频率矩)中起着核心作用,我们相信我们的方法对许多滑动窗口算法和应用是非常有用的。例如,我们的方法不仅可以在滑动窗口上找到L_2重元素,而且可以找到关于任意L_p(0<p<2)的重元素。因此,我们的论文完全解决了对于p的所有值具有多对数记忆的滑动窗口寻找L_p重元素的问题,因为众所周知,对于p>2,这一任务是不可能的。我们的方法也可以有其他应用。我们展示了更广泛的适用性,我们的新颖而简单的方法上两个额外的例子:我们展示了如何获得滑动窗口近似的其他属性,如两个流的相似性,或元素的分数,正好出现在窗口内指定的次数(罕见的问题)。在我们的方法的这两个说明性的例子中,我们用最坏情况下的界限替换当前预期的内存界限。
2013-04-16 cs.DS
Palindromic Trees for a Sliding Window and Its Applications
回文树(Palindromic Tree)eertree)是一种树状数据结构,使用$O(n)$空间表示$S$的所有不同回文子串的集合[Rubinchik和Shur,2018]。已知,当$S$在大小为$σ$的字母表上并且以在线方式给出时,则$S$的回文树可以在$O(n\logσ)$时间与$O(n)$空间中构造。在本文中,我们考虑的滑动窗口版本的问题:对于一个滑动窗口的长度最多$d$,我们提出了两个版本的算法,保持的回文树的大小$O(d)$为每个滑动窗口$S[i..j]$在$S$,其中$1 \leq j-i+1 \leq d$。第一个版本以$O(n\logσ')$时间和$O(d)$空间工作,其中$σ' \leq d$是窗口中不同字符的最大数量,第二个版本以$O(n + dσ)$时间和$(d+2)σ+ O(d)$空间工作。我们还展示了如何我们的算法可以应用到最小的唯一回文子串(MUPS)和最小的缺席回文字(MAPW)的滑动窗口的有效计算。
2020-11-11 cs.DS
DPSW-Sketch: A Differentially Private Sketch Framework for Frequency Estimation over Sliding Windows (Technical Report)
East China Normal University(华东师范大学);Zhejiang University(浙江大学)
针对滑动窗口数据流中的敏感频率估计与重击者识别问题,提出基于 count-min sketch 的差分隐私 DPSW-Sketch,在亚线性时空开销下保证有界误差,并实现更优效用-隐私权衡。
2024-06-12 cs.CR cs.DS cs.LG
Differentially Private $L_2$-Heavy Hitters in the Sliding Window Model
大公司的数据管理通常优先考虑更新的数据,作为比过时数据更高准确性预测的来源。例如,Facebook数据政策将用户搜索历史记录保留$6$个月,而Google数据保留政策规定,浏览器信息最多可存储$9$个月。这些策略由滑动窗口模型捕获,其中只有最新的$W$统计信息形成底层数据集。在本文中,我们考虑的问题,私人释放的$L_2$ -heavy hitters的滑动窗口模型,其中包括$L_p$ -heavy hitters的$p\le 2$,在某种意义上是最强的可能的保证,可以实现使用多对数空间,但不能处理现有的技术,由于次可加性的$L_2$范数。此外,现有的非私有滑动窗口算法使用平滑直方图框架,具有较高的敏感性。为了克服这些障碍,我们引入了第一个差分私有算法的$L_2$ -沉重的打击者在滑动窗口模型通过启动一个数字的$L_2$ -沉重的打击者的算法在整个流具有显着较低的阈值。同样,我们增加了一个近似的频率跟踪算法,具有显着更高的精度的算法。然后,我们使用平滑的灵敏度和统计距离参数,表明我们可以添加噪声成比例的$L_2$范数的估计。据我们所知,我们的技术是第一个私人发布的统计数据,与滑动窗口模型中的子加性函数相关,并且可能对滑动窗口模型中未来的差分私有算法设计具有独立的兴趣。
2023-02-22 cs.DS
Symmetric Norm Estimation and Regression on Sliding Windows
滑动窗口模型概括了标准流模型,并且通常在最近的数据比在某个时间之前到达的数据更重要或更准确的应用中表现得更好。我们研究了滑动窗口模型中近似对称范数($\mathbb{R}^n$上的范数,在符号翻转和坐标置换下是不变的)的问题,其中只有$W$最近的更新定义了潜在的频率向量。滑动窗口的标准范数估计算法依赖于Braverman和Ostrovsky(FOCS 2007)的平滑直方图框架,而分析一般对称范数的平滑性似乎是一个具有挑战性的障碍。相反,我们观察到,对称规范流算法的布雷弗曼等。(STOC 2017)可以简化为识别和近似许多子流中重量级人物的频率。我们引入了一个重量级的算法,给出了一个$(1+ε)$ -近似的滑动窗口模型中的每个报告的频率,从而获得第一个算法的一般对称模估计的滑动窗口模型。我们的算法是一个通用的草图,同时近似所有的对称规范在一个参数化类,也提高了平滑直方图框架估计$L_p$规范,大$p$的范围。最后,我们考虑了损失函数是Orlicz范数的情况下的过约束线性回归问题,Orlicz范数是一种对称范数,可以解释为$M$ -估计的尺度不变版本。我们给出了第一个次线性空间算法,产生$(1+ε)$近似解的线性回归问题的损失函数是Orlicz规范的流和滑动窗口模型。
2021-09-03 cs.DS
Low-Latency Sliding Window Algorithms for Formal Languages
研究了正则语言和上下文无关语言的低延迟滑动窗口算法,其中延迟是指单个窗口更新或查询所花费的最坏情况时间。对于每一个正则语言$L$,它表明,存在一个恒定的延迟的解决方案,支持添加和删除符号独立的两端的窗口(所谓的双向可变大小模型)。我们证明了这一结果扩展到所有明显的下推语言。对于确定性1计数器语言,我们提出了一个$\mathcal{O}(\log n)$延迟滑动窗口算法的双向可变大小模型,其中$n$是指窗口大小。我们补充这些结果与条件下界:存在一个固定的实时确定性上下文无关的语言$L$这样,假设OMV(在线矩阵向量乘法)猜想,有没有滑动窗口算法的$L$与延迟$n^{1/2-ε}$的任何$ε>0$,即使在最受限制的滑动窗口模型(单向固定大小模型)。上述结果均参考了单位成本的对数字长RAM模型。对于正则语言,我们还使用单词大小$\mathcal{O}(1)$、$\mathcal{O}(\log\log n)$和$\mathcal{O}(\log n)$呈现了一个细化的图片。
2022-09-29 cs.DS cs.FL
Randomized sliding window algorithms for regular languages
滑动窗口算法接收符号流,并且必须在每个时刻输出仅取决于最后的$n$符号的特定值。如果算法是随机化的,则在每个时刻,它以最多$ε$的概率产生不正确的输出,这是恒定的误差界限。这项工作提出了一个更宽松的定义的正确性,这是参数化的错误界$ε$和故障率$ϕ$:一个随机滑动窗口算法是需要错误的概率最多$ε$在一部分的$1-ϕ$的所有时刻的输入流。本文的工作是对正则语言滑动窗口算法研究的继续。在以前的工作中,一个截分定理被证明是确定性算法:最佳的空间复杂度是常数,对数或线性的窗口大小。本文的主要结果涉及三个自然设置(失效率为零的随机算法和失效率有界的随机/确定性算法),并提供了空间复杂度类的自然语言理论刻画。
2018-02-21 cs.DS cs.FL
Approaching Optimal Duplicate Detection in a Sliding Window
重复检测是指当只有有限的内存可用时,识别给定的项是否以前出现在(可能是无限的)数据流中。不幸的是,无限流设置是不适定的,重复检测过滤器的出错率被证明是严重受限的:因此,它们似乎没有提供任何优势,渐近地,在有偏见的抛硬币[8]。在本文中,我们形式化的滑动窗口设置[13,16],并表明,一个完美的(零误差)的解决方案,可以使用到最大的窗口大小$w_\text{max}$。高于此阈值,我们表明,一些现有的重复检测过滤器(专为$\textit{non-windowed}$设置)执行更好的那些针对窗口的问题。最后,我们介绍了一个“排队建设”,提高了一些重复检测过滤器在窗口设置的性能。我们还分析了我们的过滤器在对抗环境中的安全性。
2020-05-10 cs.DS
The Imaginary Sliding Window As a New Data Structure for Adaptive Algorithms
滑动窗口方案在信息论、计算机科学、预测问题和统计学中是已知的。假设具有未知统计数据的源生成某个字母表$A$中的某个单词$... x_{-1}x_{0}x_{1}x_{2}...$。对于每个时刻$t, t=... $ $-1, 0, 1, ...$,存储单词(“窗口”)$ x_{t-w} x_{t-w+1}... x_{t-1}$,其中$w$,$w \geq 1$,称为“窗口长度”。在通用编码理论中,$x_{t}$的编码依赖于窗口估计的信源统计,在预测问题中,每个字母$x_{t}$都是利用窗口的信息等进行预测的,然后将字母$x_{t}$包含在右边的窗口中,而将$x_{t-w}$从窗口中去除。这就是滑动窗口方案。这个计划有两个优点:它允许i)相当精确地估计源统计量和ii)在源统计量改变的情况下调整代码。然而,该方案有一个缺陷,即,必须存储窗口(即字$x_{t-w}... x_{t-1})$),对于大的$w$,这需要大的存储器大小。构造了一种新的“假想滑动窗口”方案。该方案的要点在于,不是从窗口中移除最后一个元素$x_{t-w}$,而是从窗口中移除随机元素。这允许人们保留滑动窗口的优点以及不存储窗口的可能性,从而显著减小存储器大小。
2008-09-27 cs.DS cs.IT math.IT
Automata theory on sliding windows
在最近的一篇论文中,我们分析了流算法的空间复杂度,其目标是确定滑动窗口到固定语言的成员资格。对于正则语言类,我们证明了一个空间分割定理:对于每一个正则语言,最优空间界要么是常数的,要么是对数的,要么是线性的。在本文中,我们继续这条研究路线:我们提出了自然特征的常数和对数空间类,并建立紧密的关系,语言增长的概念。我们还分析了自动机大小的空间复杂度,并证明了几乎匹配的上下界。最后,我们考虑的决定问题是否由DFA/NFA给定的语言承认使用对数/常数空间的滑动窗口算法。
2018-01-05 cs.DS cs.FL
Sliding window order statistics in sublinear space
我们扩展的多通道流模型的滑动窗口问题,并解决问题的顺序统计量的计算固定大小的滑动窗口,在多通道流模型以及密切相关的通信复杂性模型。在$2$ -通过流模型,我们表明,在输入长度$N$与范围$[0,R]$和长度$K$的窗口中的值,滑动窗口最小值可以在$\widetilde{O}(\sqrt{N})$中计算。我们表明,这是接近最佳的(任何常数的通行证)时,$R \geq K$,但可以改善时,$R = o(K)$ $\widetilde{O}(\sqrt{NR/K})$。此外,我们表明,有一个$(l+1)$通过流算法计算$l^\text{th}$ -最小元素在$\widetilde{O}(l^{3/2} \sqrt{N})$空间。在通信复杂性模型中,我们描述了一个简单的$\widetilde{O}(pN^{1/p})$算法来计算奇数$p$的$p$轮通信中的最小值,以及一个更复杂的算法来计算$l^\text{th}$ -$\widetilde{O}(pl^2 N^{1/(p-2l-1)})$空间中的最小元素。最后,我们证明了布尔流的多数统计量不能在次线性空间中计算,这意味着$l^\text{th}$ -最小元素不能在$N$中的次线性空间和独立于$l$的空间中计算。
2018-07-12 cs.DS
Coresets for Minimum Enclosing Balls over Sliding Windows
National University of Singapore(新加坡国立大学);Singapore Management University(新加坡管理大学)
\emph{Coresets}是生成用于近似分析的大量数据集的简明摘要的重要工具。核心集是从原始点集提取的点的一个小子集,使得某些几何属性被保留有可证明的保证。本文研究的问题,保持coreset保持最小封闭球(MEB)的滑动窗口的点,在数据流中不断更新。虽然这个问题已经在批处理和仅附加流设置中得到了广泛的研究,但还没有有效的滑动窗口解决方案。在这项工作中,我们首先介绍了一种算法,称为AOMEB,建立一个核心的MEB在一个只附加流。AOMEB算法在保持近似比不变的情况下,提高了现有算法的实际性能。此外,使用AOMEB作为一个积木,我们提出了两个新的算法,即SWMEB和SWMEB+,保持coresets的MEB在滑动窗口具有恒定的近似比。所提出的算法还支持在再生核希尔伯特空间(RKHS)的MEB coresets。最后,在真实世界和合成数据集上进行的大量实验表明,SWMEB和SWMEB+在最先进的批处理算法上实现了高达四个数量级的加速,同时为MEB提供了与最佳算法相比误差相当小的核心集。
2019-05-10 cs.CG cs.DS cs.LG
Online Learning with Recency: Algorithms for Sliding-window Streaming Multi-armed Bandits
Johns Hopkins University(约翰霍普金斯大学);Rensselaer Polytechnic Institute(伦斯勒理工学院);Texas A&M University(德克萨斯农工大学)
针对在线学习中的近因效应,研究单遍滑动窗口流式多臂老虎机问题,提出纯探索和遗憾最小化算法,并给出记忆-遗憾权衡。
2026-06-08 cs.DS cs.LG
The 2D Tree Sliding Window Discrete Fourier Transform
提出了一种新的二维滑动窗口离散傅里叶变换(SWDFT)算法。该算法基于Cooley-Tukey快速傅立叶变换(FFT)的思想,通过将重叠窗口存储在树数据结构中,避免了重复计算。对于$N_0 \times N_1$数组和$n_0 \times n_1$窗口,我们的算法进行$O(N_0 N_1 n_0 n_1)$操作。我们提供了一个C实现我们的算法的基数-2的情况下,比较我们与现有的算法,并显示我们的算法很容易扩展到更高的维度。
2018-07-17 cs.DS stat.CO stat.ML
Sliding Suffix Tree using LCA
我们考虑一个滑动窗口$W$的字符流从一些字母表的恒定大小。用户想要对当前滑动窗口内容执行确定性子串匹配,并获得匹配的位置。我们提出了一个索引版本的滑动窗口使用后缀树,链接树和最低共同祖先。大小为$Θ(|W|)$的数据结构具有最佳时间查询$Θ(m+occ)$和摊销常数时间更新,其中$m$是查询字符串的长度,$occ$是其出现的次数。
2018-09-06 cs.DS
Optimal Matrix Sketching over Sliding Windows
Renmin University of China(中国人民大学);Gaoling School of Artificial Intelligence(高瓴人工智能学院);Pazhou Laboratory (Huangpu)(琶洲实验室(黄埔));Fudan University(复旦大学);Alibaba Group(阿里巴巴集团)
本文提出DS-FD算法,在滑动窗口上实现矩阵素描的最优O(d/ε)空间界,并给出多种窗口模型的匹配上下界,通过实验验证了其正确性与有效性。
2024-11-05 cs.DB cs.DS cs.LG
Approximate Query Processing over Static Sets and Sliding Windows
静态和动态集合的索引对于诸如信息检索和高速缓存之类的大量应用是基本的。用B表示集合的特征向量,我们考虑编码集合和多集合以支持操作rank(i)的近似版本的问题(即,计算sum_{j <= i} B [j])并选择(i)(即,查找min {p| rank(p)>= i})查询。我们研究了多种类型的近似(允许在查询或结果中的错误),并提出了几个变种的问题的下限和简洁的数据结构。我们还扩展了我们的模型滑动窗口,在其中我们处理的元素流和计算后缀和。这是窗口求和问题的一般化,允许用户在查询时指定窗口大小。在这里,我们提供了一个算法,支持更新和查询在恒定的时间,而只需要(1 + o(1))因子更多的空间比固定窗口求和算法。
2018-09-14 cs.DS
Memento: Making Sliding Windows Efficient for Heavy Hitters
云运营商需要实时识别重攻击者(HH)和分层重攻击者(HHH),以实现负载均衡、流量工程和攻击缓解等应用。然而,现有的技术在检测新的重量级人物方面很慢。在本文中,我们提出了通过\textit{sliding windows}识别重量级人物的情况。滑动窗口比现有的方法更快、更准确地检测出重量级人物,但迄今为止还没有实用的算法。因此,我们介绍,设计和分析的\textit{Memento}家庭的滑动窗口算法的HH和HHH问题的单设备和网络范围的设置。使用广泛的评估,我们表明,我们的单设备解决方案达到类似的精度,并通过高达$273\times$比现有的基于窗口的技术更快。此外,我们在一个现实的测试平台上验证了我们的网络范围的HHH检测能力。为此,我们实现了Memento作为流行的HAProxy云负载均衡器的开源扩展。在我们的评估中,使用50个HTTP泛洪,我们的网络范围的方法更快地检测到新的泛洪请求,并将未检测到的泛洪请求的数量减少了$37\times$。
2018-10-24 cs.DS cs.NI
Sliding Window Algorithms for k-Clustering Problems
计算的滑动窗口模型捕获数据连续到达的场景,但只应使用最新的$w$元素进行分析。我们的目标是设计算法,有效地更新解决方案,而不是从头开始重新计算。在这项工作中,我们专注于$k$ -聚类问题,如$k$ -手段和$k$ -中位数。在这种情况下,我们提供了简单实用的算法,提供更强的性能保证比以前的结果。从经验上讲,我们表明,我们的方法只存储了一小部分数据,速度快了几个数量级,并且找到的解决方案的成本仅略高于访问完整数据集的算法返回的成本。
2020-10-23 cs.DS
A Unified Approach for Clustering Problems on Sliding Windows
我们探讨了一般度量空间和欧氏空间中的流滑动窗口模型的聚类问题。我们提出了第一个多对数空间$O(1)$ -近似的度量$k$ -中位数和度量$k$ -意味着问题的滑动窗口模型,回答了主要的开放问题所提出的巴布科克,数据,Motwani和O 'Callaghan,这仍然没有回答了十多年。我们的算法使用$O(k^3 \log^6 n)$空间和$\operatorname{poly}(k, \log n)$更新时间。这是一个指数级的改进,由于Babcock等人的技术所需的空间。我们引入了一个数据结构,扩展了光滑的直方图介绍了Braverman和Ostrovsky操作更广泛的一类功能。特别是,我们表明,仅使用多对数空间,我们可以保持当前窗口的摘要,从该窗口中,我们可以构建一个$O(1)$近似聚类解决方案。合并归约是计算几何中的一种通用方法,用于使离线算法适应仅插入流模型。几个著名的coreset结构主要是在插入只流模型使用这种方法,包括著名的coreset技术的$k$ -中位数,$k$ -手段在低维和高维欧氏空间。之前的工作已经将这些技术应用于插入-删除模型,但将它们转化为滑动窗口模型仍然是一个挑战。我们给出的第一个算法,给定一个插入只流coreset建设的空间$s$,保持一个$(1\pmε)$ -近似coreset的滑动窗口模型使用$O(s^2ε^{-2}\log n)$空间。对于聚类问题,…
2015-04-21 cs.DS
In-Order Sliding-Window Aggregation in Worst-Case Constant Time
滑动窗口聚合是一种广泛使用的方法,用于从数据流的最新部分提取见解。感兴趣的聚合通常可以表示为结合但不一定是交换或可逆的二元运算符。然而,不可逆算子难以有效地支持。在2017年的一篇会议论文中,我们介绍了DABA,这是第一个具有最坏情况恒定时间的滑动窗口聚合算法。在DABA之前,如果一个窗口的大小为$n$,那么最好的已发布算法将要求每个窗口操作的$O(\log n)$聚合步骤-而对于严格有序的流,这个界限可以改进为平均$O(1)$聚合步骤,不知道如何实现最坏情况下的$O(1)$界限,这对于延迟敏感的应用程序是至关重要的。本文是我们2017年论文的扩展版本。除了更详细地描述DABA之外,本文还介绍了一个新的变体DABA Lite,它在更少的内存中实现了相同的时间范围。DABA需要空间来存储$2n$部分聚合,而DABA Lite只需要空间来存储$n+2$部分聚合。我们的实验合成和真实数据支持的理论研究结果。
2020-09-29 cs.DB cs.DS
Approximate Maintenance of Maximum Subarray Sum in the Sliding Window Model
Graduate School of Information Science and Technology, Osaka University(大阪大学信息科学技术研究生院)
本文研究在滑动窗口模型中如何用亚线性空间近似维护最大子数组和,提出基于Smooth Histogram框架的改进方法,实现任意误差率下的近似解。
2026-04-25 cs.DS
Out-of-Order Sliding-Window Aggregation with Efficient Bulk Evictions and Insertions (Extended Version)
针对乱序且突发的数据流,本文提出支持批量驱逐与批量插入的滑动窗口聚合算法,在理论复杂度和实际性能上均优于现有或朴素方法。
2023-07-20 cs.DB cs.DS
Optimization of the n-dimensional sliding window inter-channel correlation algorithm for multi-core architecture
National Research Center “Kurchatov Institute”(库尔恰托夫国家研究中心);Space Research Institute of the Russian Academy of Sciences(俄罗斯科学院太空研究所);CIRES, University of Colorado(科罗拉多大学地球、大气与行星科学研究所)
本文针对多核架构下的滑动窗口通道相关算法进行优化,减少重叠区域运算量并开发GPU并行版本,实验表明在7x7窗口下图像处理速度提升60倍。
2018-07-17 cs.DS cs.NA math.NA
Fair Center Clustering in Sliding Windows
本文针对一般度量空间中的fair center问题,提出了滑动窗口模型下首个空间高效的流式算法,其解的质量近似最佳多项式顺序算法,且时空需求与窗口大小无关,并经实验验证了其实际可行性。
2025-03-07 cs.DS
Online Learning with Limited Information in the Sliding Window Model
Johns Hopkins University(约翰斯·霍普金斯大学);Rutgers University(罗格斯大学);Rensselaer Polytechnic Institute(伦斯勒理工学院);Carnegie Mellon University(卡内基梅隆大学);Texas A&M University(得克萨斯农工大学)
在滑动窗口模型中,通过2次查询和少量内存实现最优遗憾,改进了带宽问题的流模型性能。
2026-01-07 cs.DS cs.LG stat.ML
An exact and O(1) time heaviest and lightest hitters algorithm for sliding-window data streams
在这项工作中,我们专注于在滑动窗口数据流中找到最大k和最轻k的击球手的问题。最近的研究工作已经产生了一个ε近似算法更新操作在恒定的时间与高概率和O(1/1)查询时间的最重的打击者的情况下。我们提出了一种新的算法,第一次,据我们所知,提供准确的,而不是近似的结果,而在同一时间达到O(1)的时间与高概率的更新和查询操作的复杂性。此外,我们的算法能够同时提供最短的k和最轻的k击球手,而没有任何开销。在这项工作中,我们描述的算法和配套的数据结构,支持它和合成数据进行定量实验,以验证我们的理论预测。
2011-03-01 cs.DS cs.NI
Continuous Monitoring of Distributed Data Streams over a Time-based Sliding Window
在过去的十年里,我们见证了许多有趣的算法,用于维护数据流上的统计数据。本文提出了一种基于时间的滑动窗口(其中包含可变数量的项目和可能的无序项目)的分布式数据流监控算法的理论研究。问题是如何最小化各个流和根之间的通信,同时允许根在任何时候都能够报告给定错误范围内的所有流的全局统计信息。本文针对基本计数、频繁项和分位数这三种经典统计量提出了通信有效的算法。窗口上的最坏情况通信成本是用于基本计数的$O(\frac{k} ε \log \frac{εN}{k})$位和用于计数的$O(\frac{k}ε \log \frac{N}{k})$字,其中$k$是分布式数据流的数量,$N$是在窗口中到达或过期的流中的项目的总数,并且$ε< 1$是期望的错误界限。得到了匹配和近似匹配的下界。
2010-02-03 cs.DS
Flattened Exponential Histogram for Sliding Window Queries over Data Streams
基本计数问题[1]是数据流上滑动窗口查询中最基本、最关键的流问题之一。给定一个0和1的流,这个问题的目的是估计从流中看到的最后N个元素(或时间单位)中1的数量。它的解决方案可以用来作为积木,以解决许多更复杂的问题,如沉重的打击,频率估计,不同的计数,在本文中,我们提出了平坦的指数直方图(FEH)模型的基本计数问题。我们的模型改进了指数直方图[1],[2],这是一种用于基本计数问题的广受欢迎的确定性技术,在实践中大部分时间都是关于准确性和内存利用率。在真实世界数据集上的大量实验结果表明,在相同的内存占用情况下,我们的模型的准确性在4到15之间,平均比指数直方图高7倍,而速度大致相同。
2019-12-07 cs.DS
Sub-O(log n) Out-of-Order Sliding-Window Aggregation
滑动窗口聚合汇总数据流中的最新信息。用户指定如何计算汇总,通常作为关联二元运算符,因为这是最通用的已知形式,可以避免天真地扫描每个窗口。对于严格有序的到达,有算法与$O(1)$时间每窗口的变化假设关联运算符。同时,在实践中,流的数据到达稍微乱序是常见的,例如,由于时钟漂移或通信延迟。不幸的是,对于乱序流,不得不求助于容易延迟的缓冲或为每次插入或逐出支付$O(\log n)$时间,其中$n$是窗口大小。本文介绍了FiBA的设计、分析和实现,FiBA是一种新的滑动窗口聚合算法,其每次插入或逐出的摊销上界为$O(\log d)$时间,其中$d$是插入或逐出的值到窗口较近端的距离。这意味着有序到达的时间为$O(1)$,稍微乱序到达的时间接近$O(1)$,随着$d$接近$n$,平稳过渡到$O(\log n)$。我们还证明了一个匹配的运行时间的下限,表现出最优性。我们的算法是一般的现有技术:它需要结合性,但不可逆性,也不交换性。该算法的核心是手指搜索技术,惰性重新平衡和位置感知部分聚合的精心组合。我们进一步展示了如何回答范围查询,聚合子窗口的窗口共享。最后,我们的实验评估表明,FiBA在实践中表现良好,并支持理论研究结果。
2018-10-26 cs.DB cs.DS
Near Optimal Linear Algebra in the Online and Sliding Window Models
本文开创性地在滑动窗口模型中研究数值线性代数,提出基于行采样的统一框架实现近最优空间与时间的谱近似、低秩近似和$\ell_1$-子空间嵌入,并揭示了与在线模型的联系,解决了相关主成分分析的开放问题。
2023-04-11 cs.DS
Tight Bounds for Heavy-Hitters and Moment Estimation in the Sliding Window Model
本文研究了滑动窗口模型中的频繁项与 $F_p$ 矩估计问题,提出了达到紧致空间界的近似算法,并给出了相匹配的理论下界证明。
2025-04-29 cs.DS
Optimal Approximate Matrix Multiplication over Sliding Window
针对滑动窗口流式环境中的近似矩阵乘法,提出SO-COD算法,通过快照跟踪显著贡献并高效更新,在归一化和非归一化设置下分别达到最优空间复杂度,实验验证其有效平衡空间与误差。
2025-02-25 cs.DS
Guarded Epoch Bloom Filters for Sliding-Window Membership
Bahçeşehir University(巴切希尔大学)
提出受保护纪元布隆过滤器,通过划分比特预算、旋转纪元并引入保护纪元,实现滑动窗口内确定性存活覆盖和有限过期保留,在14比特/存活项下将假阳性率从0.191降至0.02225且零假阴性。
2026-06-18 cs.DS
Interval Selection in Sliding Windows
本文研究了滑动窗口模型下的区间选择问题,提出了单位长度和任意长度区间的近似算法及空间下界,并通过改进平滑直方图技术将任意长度区间的近似比从4提升至11/3。
2024-11-12 cs.DS
Dynamic Convex Hulls under Window-Sliding Updates
针对窗口滑动更新下的动态凸包维护问题,提出一种空间复杂度为 O(|S|)、更新摊销时间 O(1) 的数据结构,支持 O(log h) 查询和 O(h) 输出凸包。
2023-09-02 cs.CG cs.DS
Work-efficient Batch-incremental Minimum Spanning Trees with Applications to the Sliding Window Model
动态维护最小生成树(MST)的算法在并行和串行环境中都受到了广泛的关注。虽然以前的工作已经给出了密集图的最佳算法,所有现有的并行批动态算法执行多项式的工作,每次更新在最坏的情况下,稀疏图。在本文中,我们提出了第一个工作效率的并行批量动态算法的增量MST,它可以插入$\ell$边在$O(\ell \log(1+n/\ell))$工作的期望和$O(\text{polylog}(n))$跨度w.h. p。我们的算法的关键成分是一个算法,用于构建一个压缩路径树的边加权树,这是一个较小的树,包含所有成对最重的边之间的一组给定的标记顶点。使用我们的批量增量MST算法,我们证明了一系列的应用程序,成为有效地解决并行的滑动窗口模型,如图连接,近似MST,测试二分性,$k$ -证书,周期自由,并保持稀疏。
2020-02-13 cs.DC cs.DS
Sliding Window String Indexing in Streams
给定字母表$Σ$上的字符串$S$,“字符串索引问题”是预处理$S$以随后支持有效的模式匹配查询,即,给定模式字符串$P$,报告$S$中$P$的所有出现。本文研究了“流式滑动窗口字符串索引问题”。这里,字符串$S$作为流到达,每次一个字符,目标是为指定的参数$w$维护最后$w$字符的索引,称为“窗口”。在任何时间点,针对模式$P$的模式匹配查询都可能到达,也是一次一个字符地流式传输,并且必须返回当前窗口内所有出现的$P$。流滑动窗口字符串索引问题自然地捕获了我们想要索引流的最新数据(即窗口)同时支持有效模式匹配的场景。我们的主要结果是一个简单的$O(w)$空间数据结构,使用$O(\log w)$时间与高概率处理每个字符从输入字符串$S$和模式字符串$P$。从$P$报告每个事件使用每个报告事件的附加恒定时间。与以前在类似情况下的工作相比,这个结果是第一个从输入流中获得每个字符有效的最坏情况时间。我们还考虑了问题的延迟变体,其中查询可以在从任一流到达的下一个$δ$字符内的任何点被回答。我们提出了一个$O(w + δ)$空间数据结构,这个问题,提高了上述的时间界限$O(\log(w/δ))$。特别地,对于$δ= εw$的延迟,我们获得每个字符具有恒定时间处理的$O(w)$空间数据结构。实现我们的结果的关键思想是一个新颖的和简单的层次结构的后缀树的独立利益,灵感来自经典的日志结构的合并树。
2023-01-23 cs.DS
Sliding Window Temporal Graph Coloring
图着色是一个非常著名的计算问题,它在规划和调度、资源分配和模式匹配等领域有着广泛的应用。到目前为止,着色问题主要是在静态图上研究的,这通常与数据本质上是动态的并且随时间离散变化的实践形成鲜明对比。时间图是其边被分配一组整数时间标签的图,其指示边在哪些离散时间步处是活动的。在本文中,我们提出了一个自然的时间扩展的经典图着色问题。给定一个时间图和一个自然数$Δ$,我们要求每个顶点的着色序列,使得(i)在$Δ$连续时间步长的每个滑动时间窗口中,其中一条边是活动的,该边在该时间窗口期间至少被正确着色一次(即,其端点被分配两种不同的颜色),以及(ii)不同颜色的总数被最小化。这个滑动窗口的时间着色问题抽象地捕捉到许多现实的图着色的情况下,底层网络随着时间的推移而变化,如动态分配通信信道移动代理。我们提出了一个彻底的调查这个时间着色问题的计算复杂性。更具体地说,我们证明了强大的计算硬度的结果,辅以高效的精确和近似算法。我们的一些算法是线性时间固定参数易于处理的适当的参数,而另一些是渐近几乎最优的指数时间假设(ETH)。
2019-01-26 cs.CC cs.DM cs.DS
Pay for a Sliding Bloom Filter and Get Counting, Distinct Elements, and Entropy for Free
对于许多网络应用程序来说,最近的数据比旧数据更重要,因此需要滑动窗口解决方案。DDoS检测和负载均衡等各种功能需要了解多个指标,包括布隆过滤器、每流计数、计数区分和熵估计。在这项工作中,我们提出了一个统一的建设,解决了所有上述问题的滑动窗口模型。我们的单一解决方案提供了一个更好的空间,以准确性权衡比国家的最先进的每一个这些个别的问题!我们通过分析和运行多个真实的互联网骨干和数据中心数据包跟踪来证明这一点。
2017-12-05 cs.DS
Algorithm for an arbitrary-order cumulant tensor calculation in a sliding window of data streams
Institute of Theoretical and Applied Informatics, Polish Academy of Sciences(波兰科学院理论与应用信息研究所)
本文提出了一种高效的计算数据流滑动窗口中任意阶累积张量的算法,该算法在处理高频多变量数据时具有较高的效率,并可用于在线信号滤波和数据流分类。
2018-10-04 cs.DS cs.NA math.NA