An Optimal Algorithm for l1-Heavy Hitters in Insertion Streams and Related Problems
我们给出了第一个最优的边界返回的$\ell_1$ -沉重的击球手在数据流中的插入，连同他们的近似频率，关闭一个长的工作线上这个问题。对于$\{1, 2, \dots, n\}$中的$m$项流和参数$0 < ε< ϕ\leq 1$，令$f_i$表示项$i$的频率，即，项目$i$在流中出现的次数。对于任意大的恒定概率，我们的算法返回$f_i \geq ϕm$的所有项目$i$，不返回$f_j \leq (ϕ-ε)m$的项目$j$，并返回近似值$\tilde{f}_i$和它返回的每个项目$i$的$|\tilde{f}_i - f_i| \leq εm$。我们的算法使用$O(ε^{-1} \logϕ^{-1} + ϕ^{-1} \log n + \log \log m)$位的空间，处理每个流更新在$O(1)$最坏情况的时间，并可以报告其输出的时间线性的输出大小。我们还证明了一个下界，这意味着我们的算法是最佳的一个常数因子在其空间复杂度。我们的算法的一个修改可以用来估计最大频率高达一个附加的$εm$错误在上述量的空间，解决问题3在IITK 2006年研讨会上的算法数据流的情况下，$\ell_1$ -沉重的打击者。我们还介绍了几个变种的重量级选手和最大频率的问题，启发等级聚合和投票计划，并显示我们的技术可以应用在这样的设置。与传统的重打击者问题不同，这些变体中的一些变体查看项目之间的比较，而不是…
2016-03-01 cs.DB cs.DS
Approximate-Closed-Itemset Mining for Streaming Data Under Resource Constraint
在这里，我们提出了一种新的算法频繁项集挖掘流数据（FIM-SD）。在过去的十年中，各种FIM-SD方法在一遍近似设置已被开发来近似每个项目集的频率。这些方法可以分为两种近似类型：参数约束（PC）挖掘和资源约束（RC）挖掘。PC方法基于预定义的参数控制可以包括在频率中的最大误差。相比之下，RC方法基于资源约束限制最大内存消耗。然而，现有的PC方法可以指数地增加存储器消耗，而现有的RC方法可以快速地增加最大误差。在这项研究中，我们解决这个问题，通过引入一个压缩表示的概念，称为$Δ$覆盖集，RC近似。这个概念被认为是封闭性压缩的一个扩展，当$Δ= 0$时，解对应于一个普通的封闭项集。该算法在资源约束条件下，寻找能恢复频繁项集及其频率的近似闭项集，最大误差以整数$Δ$为界.我们首先提出了一个单程近似算法来寻找凝聚的解决方案。然后，我们通过引入统一的PC-RC近似方法改进了基本算法。最后，我们经验证明，该算法显着优于最先进的PC和RC方法FIM-SD。
2019-01-07 cs.DB cs.DS
Estimating Aggregate Properties on Probabilistic Streams
概率流模型由Jayram等人在\cite{JKV07}中引入。它是数据流模型的一般化，适用于处理“概率”数据，其中流的每个项表示一组可能事件的概率分布。因此，概率流确定潜在地在非常大数量的经典“确定性”流上的分布，其中每个项确定性地是域值之一。概率模型不仅适用于分析输入具有不确定性的流（例如测量物理过程的传感器数据流），而且适用于分析通过后处理（例如标记或协调不一致和质量差的数据）从输入数据导出的流。我们提出了流算法计算常用的聚合概率流。我们提出了第一个已知的，一个通过流算法估计的\AVG，改善结果在\cite{JKV07}。我们提出了第一个已知的流算法估计概率流上的\DISTINCT项目的数量。此外，我们提出了扩展到其他聚合，如重复率，分位数等。在所有情况下，我们的算法工作与可证明的准确性保证和数据流模型的空间约束内。
2006-12-05 cs.DB cs.DS
An Efficient Rigorous Approach for Identifying Statistically Significant Frequent Itemsets
随着技术的进步允许收集、存储和分析大量数据，筛选和评估所发现模式的重要性的任务正在成为数据采掘应用中的主要挑战。在这项工作中，我们解决的背景下，频繁项集挖掘的意义。具体来说，我们开发了一种新的方法来确定一个有意义的支持阈值s* 的数据集，这样的支持至少s* 的项目集的数量代表了一个实质性的偏差，从预期的随机数据集具有相同数量的事务和相同的个人项目频率。然后，这些项集可以被标记为具有统计学显著性，具有较小的错误发现率。我们提出了广泛的实验结果，以证实我们的方法的有效性。
2010-02-04 cs.DB cs.DS
Mining frequent items in the time fading model
提出了一种基于草图的数据流频繁项挖掘算法FDCMSS。该算法巧妙地结合了向前衰减，计数最小和节省空间算法的关键思想。它工作在时间衰落模型下，根据收银机模型挖掘数据流。我们正式证明了它的正确性，并通过大量的实验结果表明，我们的算法优于$λ$ -HCount，最近开发的算法，在速度，所用的空间，精度达到和错误的合成和真实的数据集。
2016-08-02 cs.DB cs.DS
Fast Algorithms for Mining Interesting Frequent Itemsets without Minimum Support
FAST-National University of Computer and Emerging Science（FAST-国家计算机与新兴科学大学）
真实世界的数据集是稀疏的，脏的，包含数百个项目。在这种情况下，发现有趣的规则（结果）使用传统的频繁项集挖掘方法，通过指定一个用户定义的输入支持度阈值是不合适的。由于没有任何领域知识，设置支持度阈值小或大可能会输出什么或大量冗余的不感兴趣的结果。最近提出了一种新的挖掘N-most/Top-K兴趣频繁项集的方法，该方法在不指定任何用户定义的支持度阈值的情况下发现前N个兴趣结果。然而，挖掘有趣的频繁项集没有最小支持度阈值是更昂贵的项集搜索空间探索和处理成本。因此，它们的挖掘效率在很大程度上取决于三个主要因素：（1）用于项集频率计数的数据库表示方法，（2）相关事务到搜索空间的较低级别节点的投影和（3）算法实现技术。因此，为了提高挖掘过程的效率，在本文中，我们提出了两个新的算法称为（N-MostMiner和Top-K-Miner）使用位向量表示的方法，这是非常有效的项集频率计数和事务投影。除此之外，我们还介绍了N-MostMiner和Top-K-Miner的几种有效实现技术。我们在基准数据集上的实验结果表明，与目前最好的算法BOMO和TFP相比，NMostMiner和Top-K-Miner在处理时间方面非常有效。
2009-04-21 cs.AI cs.DB cs.DS
The Frequent Items Problem in Online Streaming under Various Performance Measures
在本文中，我们加强了一个基本的在线流问题，频繁项目问题的竞争分析结果。此外，我们还对这个问题进行了更详细的分析，使用替代性能指标，补充了从竞争分析中获得的见解。研究结果也有助于在线算法的性能指标的一般性研究。人们早就知道，竞争分析在某些情况下会有缺陷，人们提出了许多替代措施。然而，更系统的性能指标的比较研究最近已经开始，我们继续这项工作，使用竞争分析，相对区间分析，相对最差顺序分析的频繁项目问题。
2013-06-04 cs.DS
Streaming Similarity Self-Join
我们介绍和研究的问题计算的相似性自连接在一个流的上下文中（SSSJ），输入是一个无界的项目流不断到达。目标是找到流中相似度大于给定阈值的所有项目对。这个问题的最简单的表述需要无限的内存，因此，它是棘手的。为了使问题可行，我们引入了时间相关相似性的概念：两个项目的相似性随着它们到达时间的差异而降低。借由利用这个时间相依的相似度函数的性质，我们设计了两个演算架构来解决sssj问题。第一个是MiniBatch（MB），它使用现有的基于索引的过滤技术来解决问题的静态版本，并将它们组合在一个管道中。第二个框架，流（STR），增加了时间过滤到现有的索引，并集成了新的基于时间的边界深入的算法的工作。我们还介绍了一种新的索引技术（L2），它是基于现有的国家的最先进的索引技术（L2AP），但优化的流的情况下。大量的实验表明，STR算法在使用L2索引实例化时，是跨各种数据集和参数的最具可扩展性的选项。
2016-03-08 cs.DB cs.DS
A High-Performance Algorithm for Identifying Frequent Items in Data Streams
估计数据流上项目的频率是流数据测量和分析中的常见构建块。Misra和Gries在1982年提出了他们对这个问题的开创性算法，由于其实用性和适用性，这个问题已经被重新讨论了很多次。我们描述了一个高度优化的版本Misra和Gries的算法，适合在工业环境中部署。我们的代码通过一个名为DataSketches的开源库公开，该库已经被多家公司和生产系统使用。我们的算法改进了两个理论和实践方面的先前工作。首先，它在摊销常数时间内处理加权更新，这是实践中的常见要求。其次，它使用了一种简单而快速的方法来合并摘要，即使对于未加权的流，也可以渐进地改进先前的工作。我们描述的实验证实，我们的算法比以前的建议更有效。
2017-05-22 cs.DS
A new Frequency Estimation Sketch for Data Streams
在数据流应用中，关键问题之一是估计每个项目在特定多集中的出现频率。多集意味着这个集合中的每个项目可以出现多次。许多应用中的数据流都是高速流，包含海量数据，如实时IP流量、图形流、Web点击和抓取、传感器数据库、自然语言处理（NLP）[2][6]等，在这些应用中，需要服务器实时的记录流信息。然而，由于这些应用中的数据流是高速的，准确记录和估计项目频率总是不切实际的。解决这个问题的另一种方法是基于概率数据结构估计项目频率，这种方法已广泛用于高速数据流估计[7][9]。Sketches是一种典型的概率数据结构，最初设计用于估计数据流中的项目频率[10][15]。目前，草图已用于许多不同的场景，例如压缩感知中的稀疏近似[16]，自然语言处理[17，18]，数据图[19，20]等等[21]。在本文中，我们主要集中在用于频率估计的草图。
2020-01-04 cs.DS
Efficient stream-based Max-Min diversification with minimal failure rate
本文针对流式最大最小多样化问题，提出基于秩的失败率最小化算法，显著降低选择失败概率，并通过模拟验证其性能优于现有策略。
2025-06-21 cs.DS
Frequent Elements with Witnesses in Data Streams
频繁元素检测是数据流领域中最古老和研究最多的问题之一。给定$\{1, 2, \dots, n\}$中的$m$数据项流，目标是输出对于某个阈值参数$d$至少出现$d$次的项，并且可证明的最优算法是已知的。然而，在许多应用中，仅知道频繁元素本身是不够的：例如，互联网路由器可能不仅需要知道转发的包的最频繁的目的地IP地址，而且还需要知道这些包出现的时间戳或与包一起“到达”的任何其他元数据，例如，源IP地址。在本文中，我们介绍了证人版本的频繁元素问题：给定一个期望的近似保证$α\ge 1$和期望的频率$d \le Δ$，其中$Δ$是最频繁的项目的频率，目标是报告一个项目连同至少$d / α$时间戳的项目出现在流中（或任何其他元数据与项目到达）。我们给可证明的最优算法的插入只和插入删除流设置：在插入只流，我们表明，空间$\tilde{O}(n + d \cdot n^{\frac{1}α})$是必要的和充分的每一个整数$1 \le α\le \log n$。在插入-删除流中，我们证明了空间$\tilde{O}(\frac{n \cdot d}{α^2})$是必要的和充分的，对于每个$α\le \sqrt{n}$。
2021-02-13 cs.DS
Weighted Reservoir Sampling from Distributed Streams
我们考虑从分布式流中进行消息有效的连续随机采样，其中样本中包含项目的概率与与该项目相关的权重成比例。未加权的版本，其中所有的权重是相等的，是很好的研究，并承认严格的上限和下限的消息复杂性。对于带替换的加权抽样，有一个简单的简化为带替换的未加权抽样。然而，在许多应用中，流只有几个重项，当选择替换时，这些重项可能主导随机样本。加权取样\textit{without replacement}（加权SWOR）避免了这个问题，因为这样重的项目最多只能取样一次。在这项工作中，我们提出了第一个消息优化算法加权SWOR从分布式流。我们的算法也有最佳的空间和时间复杂度。作为我们的算法加权SWOR的应用程序，我们推导出第一个分布式流跟踪算法\textit{heavy hitters with residual error}。这里的目标是识别流项目的贡献显着的剩余流，一旦最重的项目被删除。剩余重打击者概括了$\ell_1$重打击者的概念，并且在具有偏斜的权重分布的流中是重要的。除了上限，我们还提供了消息复杂度的下限，该下限几乎接近$\log(1/ε)$因子。最后，我们使用我们的加权抽样算法，以改善分布式$L_1$跟踪，也称为计数跟踪，这是一个广泛研究的问题，在分布式流消息的复杂性。我们还得到了一个紧密的消息下界，关闭这个基本问题的消息复杂性。
2019-04-08 cs.DS
Know When to Persist: Deriving Value from a Stream Buffer
我们考虑\textsc{Persistence}，一个新的在线优化加权观测数据流时，观察员的缓冲容量有限的问题。一批称重物品一次一个地到达具有两个存放位置的缓冲区的入口。处理器（或观察器）可以在它选择的缓冲区位置处理（观察）一个项目，以这种方式导出所观察项目的权重作为利润。主要约束是处理器只能与项目流同步地移动{ \em};结果，从缓冲器的端部移动到入口，它与已经在那里的物品交叉路径，并且将永远没有机会处理甚至识别它。\textsc{Persistence} \是调度处理器通过缓冲区的移动，使其总派生值在此约束下最大化的在线问题。我们研究了直接启发式{ \em Threshold}的性能，即，迫使处理器仅在项目的值高于阈值时才在整个缓冲区中“跟随”该项目。我们分析了最佳离线和阈值算法的情况下，输入流是一个随机排列，或其项目是iid值。我们表明，在这两种情况下，由阈值算法实现的竞争比至少是$2/3$时，唯一的统计知识的项目是所有可能的值的中位数。我们推广我们的结果表明，阈值，配备了一些最小的统计意见的输入，实现竞争比在整个频谱之间的$2/3$和$1$，一个新定义的密度样的输入措施的变化。这一结果是一个显着的改善的情况下，任意输入流，因为在这种情况下，我们表明，没有在线算法可以实现比$1/2$更好的竞争力。
2016-04-11 cs.DS
Continuous Monitoring of Distributed Data Streams over a Time-based Sliding Window
在过去的十年里，我们见证了许多有趣的算法，用于维护数据流上的统计数据。本文提出了一种基于时间的滑动窗口（其中包含可变数量的项目和可能的无序项目）的分布式数据流监控算法的理论研究。问题是如何最小化各个流和根之间的通信，同时允许根在任何时候都能够报告给定错误范围内的所有流的全局统计信息。本文针对基本计数、频繁项和分位数这三种经典统计量提出了通信有效的算法。窗口上的最坏情况通信成本是用于基本计数的$O(\frac{k} ε \log \frac{εN}{k})$位和用于计数的$O(\frac{k}ε \log \frac{N}{k})$字，其中$k$是分布式数据流的数量，$N$是在窗口中到达或过期的流中的项目的总数，并且$ε< 1$是期望的错误界限。得到了匹配和近似匹配的下界。
2010-02-03 cs.DS
Succinct Sampling on Streams
流模型是数据项在长时间段内到达的模型，一次一项或以突发方式到达。典型的任务包括在某个固定时间范围的滑动窗口上计算各种统计数据。流模型的有趣之处在于，随着时间的推移，旧的项目到期，新的项目到达。在这个模型中，最简单和最重要的任务之一就是采样。也就是说，当旧项目到期和新项目到达时，从当前时间窗口维护最多$k$均匀分布的项目的任务。如果采样算法使用可证明最优（直到常数因子）的{\bf worst-case}内存来维护$k$项（有或没有替换），我们称之为{ \bf简洁}。我们强调，在许多应用程序中，随着时间的推移，具有{ \em expected}简洁表示的结构是不够的，因为小概率事件最终以概率1发生。因此，在本文中，我们提出了以下问题：是流（或$S^3$ -算法）可能的简洁采样，如果是这样的模型？也许有点令人惊讶的是，我们表明，$S^3$算法是可能的{ \em所有}上述问题的变种，即既有和没有更换，都在一个时间和突发到达模型。最后，我们使用$S^3$算法来解决滑动窗口模型中的各种问题，包括频率矩、三角形计数、熵和密度估计。对于这些问题，我们提出了\emph{first}解决方案与可证明的最坏情况的内存保证。
2008-04-14 cs.DS
Edit Distance to Monotonicity in Sliding Windows
给定每个与数值相关联的项的流，其单调性的编辑距离是要移除的项的最小数量，使得剩余项相对于该数值不减。在过去的几年中，估计数据流的单调性的编辑距离的空间复杂度变得很好理解。受网络质量监控应用的启发，我们将研究扩展到估计覆盖任何$w \ge 1$流中$w$最新项的滑动窗口单调性的编辑距离。我们给出了一个确定性算法，它可以返回一个$(4+\eps)$的一个因素内使用$O(\frac{1}{\eps^2} \log^2(\eps w))$空间的估计。我们还在两个方向上扩展了研究。首先，我们考虑一个流，其中每个项目都与一个偏序集的值相关联。利用$O(\frac{1}{ε^2} \log ε^2 w \log w)$空间给出了一个随机$(4+ε)$ -近似算法.其次，我们考虑一个无序流，其中每个项目都与创建时间和数值相关联，并且项目可以相对于其创建时间无序。我们的目标是估计编辑距离单调性相对于创建时间的顺序排列的项目的数值。我们表明，任何随机常数近似算法需要线性空间。
2011-11-23 cs.DS
Finding the True Frequent Itemsets
Brown University（布朗大学）；University of Southern Denmark（南丹麦大学）
频繁项集（FI）挖掘是数据采掘中的一个基本问题。它需要识别出现在事务数据集$\mathcal{D}$的至少一部分$θ$中的所有项集。然而，通常，挖掘$\mathcal{D}$的最终目标不是分析数据集\emph{per se}，而是理解生成它的底层过程。具体地，在许多应用中，$\mathcal{D}$是从关于事务的未知概率分布$π$获得的样本的集合，并且通过提取$\mathcal{D}$中的FI，人们尝试推断频繁（即，概率至少为$π$），我们称之为真频繁项集（TFI）。由于生成过程的固有随机性，FI集合只是TFI集合的粗略近似，因为它通常包含大量的\emph{false positives}，即，不属于TFI的伪项集。在这项工作中，我们设计和分析一个算法来确定一个阈值$\hatθ$，这样的收集的项目集的频率至少$\hatθ$在$\mathcal{D}$只包含TFI的概率至少$1-δ$，对于一些用户指定的$δ$。我们的方法使用统计学习理论的结果，涉及手头的问题的（经验）VC维度。这使我们能够识别几乎所有的TFI，而不包括任何假阳性。我们还通过实验将我们的方法与在频率$θ$上直接挖掘$\mathcal{D}$以及基于广泛使用的标准界限（即，的二项分布，并表明我们的算法优于这些方法，并取得更好的结果比什么是保证的理论分析。
2014-01-22 cs.DB cs.DS cs.LG
Stream sampling for variance-optimal estimation of subset sums
从大量的加权项流中，我们希望维护一个具有特定有限大小$k$的通用样本，以便稍后用于估计任意子集的总权重。这是在线储层采样的经典背景，将通用样本视为储层。我们提出了一个有效的水库采样计划，$\varoptk$，占主导地位的所有以前的计划在估计质量。$\varoptk$提供{子集和的\em方差最优无偏估计}。更准确地说，如果我们已经看到流的$n$项，那么对于{ \em any}子集大小$m$，我们基于$k$样本的方案最小化了大小为$m$的所有子集的平均方差。事实上，最优性是反对任何离线方案，其中$k$样本是为所看到的具体项目集而定制的。除了最佳的平均方差，我们的计划提供了更严格的最坏情况下的界限的方差{ \em特定}子集比以前可能的。它是高效的，在$O(\log k)$时间内处理流的每个新项。最后，它特别适合于在分布式环境中组合来自不同流的样本。
2010-11-15 cs.DS
Fast and Accurate Graph Stream Summarization
图流是连续的数据项序列，其中每个项指示一条边，包括其两个端点和边权重。它形成一个动态图，随流中的每个项目而变化。图流在网络安全、社交网络、云故障排除系统等领域发挥着重要作用。由于图流的巨大容量和高更新速度，传统的图存储数据结构，如邻接矩阵和邻接表已经不能满足需要。然而，图流摘要的现有技术，如CM sketches、gSketches、TCM和gMatrix，要么支持有限种类的查询，要么遭受查询结果的不良准确性。本文提出了一种新的图流草图（Graph Stream Sketch，简称GSS）来概括图流，它具有线性空间代价（O（|E|），E为图的边集）和常数更新时间复杂度（O（1）），支持对图流的各种查询，且错误可控.理论分析和实验结果都证实了该方案在时间/空间复杂度和查询结果精度方面的优越性。
2018-09-04 cs.DS
Streaming algorithms for the missing item finding problem
许多问题的数据流已经研究了两个极端的困难：要么允许随机算法，在静态设置（在那里他们应该错误的最坏情况下流的有界概率）;或当只需要确定性和可靠的算法。最近的一些作品已经考虑了对抗性设置，其中随机流算法必须成功，即使在由可以看到算法的中间输出的自适应对手提供的数据流上。为了更好地理解这些模型之间的差异，我们研究了一个名为“缺失项查找”的流任务。在这个问题中，对于$r < n$，给定$[n]$中元素的数据流$a_1,\ldots,a_r$（可能具有重复），并且必须输出不等于任何$a_i$的某个$x \in [n]$。我们证明，$r = n^{Θ(1)}$和$δ= 1/\mathrm{poly}(n)$，随机算法，解决这个问题，在静态设置错误$δ$所需的空间是$Θ(\mathrm{polylog}(n))$ ;算法在对抗设置错误$δ$，$Θ((1 + r^2 / n) \mathrm{polylog}(n))$ ;和确定性算法，$Θ(r / \mathrm{polylog}(n))$。由于我们的adversarially强大的算法依赖于自由访问的一串$O(r \log n)$随机位，我们调查了一个“随机开始”模型的流媒体算法中使用的所有随机位都包括在空间成本。在这里，我们找到了一个有条件的下界的空间使用，这取决于空间，将需要一个伪确定性算法来解决这个问题。我们还证明了一个$Ω(r / \m…
2022-11-09 cs.DS
Streaming Algorithms for Support-Aware Histograms
直方图，即，分段常数近似是用于表示数据分布的流行工具。传统上，直方图和底层分布之间的差异（即，近似误差）是使用$L_p$范数来测量的，该范数对域中所有项上的两个函数之间的差求和。虽然在许多应用中有用，但这种误差测量的缺点是它以相同的方式处理所有项目的近似误差，而不管项目的质量对于使用近似的下游应用是否重要。因此，即使是相对简单的分布也不能用简洁的直方图来近似而不产生大的误差。在本文中，我们解决这个问题，通过调整近似的定义，以便只考虑属于分布的支持项的错误。在这个定义下，我们开发了有效的1-pass和2-pass流算法，在次线性空间中计算接近最优的直方图。我们还提出了这个问题的空间复杂度的下限。令人惊讶的是，在这种错误的概念下，在1遍和2遍流式算法的空间复杂度中存在指数差距。最后，我们证明了我们的算法的实用程序的真实和合成数据集的集合。
2022-07-18 cs.DS
The Expiration Streaming Model: Diameter, $k$-Center, Counting, Sampling, and Friends
University of Bonn（波恩大学）；University of Ljubljana（卢布尔雅那大学）；Institute of Mathematics, Physics and Mechanics（数学、物理和力学研究所）；University of Maryland, College Park（马里兰大学帕克分校）；Weizmann Institute of Science（魏茨曼科学研究所）；Microsoft Research（微软研究院）；Université Côte d’Azur（蔚蓝海岸大学）
研究针对项目有任意过期时间的过期流模型，通过新分解和协调技术等，给出近似计数、采样算法，以及直径和k - 中心问题算法，扩展了滑动窗口流特殊情况结果，在高维欧几里得度量下有更好直径近似因子。
2026-07-28 cs.DS
Efficient Similarity Search in Dynamic Data Streams
Jaccard指数是一个重要的项目集和布尔数据的相似性度量。在大型数据集上，由于时间和空间的限制，精确的相似性计算通常不适用于所有项目对，从而产生更快的近似方法。用于快速计算两个项目集$A$和$B$的Jaccard索引$\frac{\vert A \cap B \vert}{\vert A\cup B\vert}$的算法通常是最小散列的一种形式。大多数最小散列方案主要用于数据流处理添加，但没有一个已知的工作时，面对项目明智的删除。在本文中，我们研究可扩展的近似算法的合理集相似性，广泛的类相似性措施，包括Jaccard。受Chierichetti和Kumar [J. ACM 2015]的结果的启发，他们证明了任何有理集相似性$S$承认局部敏感哈希（LSH）方案，当且仅当相应的距离$1-S$是度量时，我们可以证明存在一个空间有效的摘要，在动态数据流中保持$(1\pm \varepsilon)$对$1-S$的乘法近似。这又产生相似性的$\varepsilon$加法近似。这些近似的存在暗示，但并不直接意味着动态数据流中的LSH方案。我们的第二个和主要的贡献，现在在于设计这样的LSH计划mainquilities在动态数据流。该方案是空间有效的，易于实现，并尽我们所知的第一种能够处理删除。
2021-03-08 cs.DS
Beating CountSketch for Heavy Hitters in Insertion Streams
给定来自全域$\mathcal{U}$的项的流$p_1, \ldots, p_m$，在不失一般性的情况下，我们将其识别为整数集合$\{1, 2, \ldots, n\}$，我们考虑返回所有$\ell_2$重命中者的问题，即，其中$f_j$是项$j$在流中出现的次数，以及$F_2 = \sum_{i \in [n]} f_i^2$。这样的保证比$\ell_1$ -保证强得多，后者会查找$f_j \geq εm$所属的$j$。在2002年，Charikar，Chen和Farach-Colton提出了{ \sf CountSketch}数据结构，它使用$Θ(\log^2 n)$位空间（对于常数$ε> 0$）找到所有这样的$j$。唯一已知的下界是$Ω(\log n)$位的空间，这来自于需要指定的身份的项目发现。在本文中，我们表明，它是可能的，以实现$O(\log n \log \log n)$位的空间，这个问题。我们的技术，基于高斯过程，导致了许多其他新的结果，数据流，包括（1）第一个算法估计$F_2$同时在所有点上的流，仅使用$O(\log n\log\log n)$位的空间，改进了自然联合界和算法的黄，泰，和易（2014）。(2)一种估计流的$\ell_{\infty}$范数的方法，直到具有$O(\log n\log\log n)$位空间的加性误差$ε\sqrt{F_2}$，解决IIT…
2015-11-02 cs.DS
Differentially Private Histograms under Continual Observation: Streaming Selection into the Unknown
我们通过允许流中的每个事件是某些（可能未知的）项目宇宙的子集来概括Dwork等人的连续观察隐私设置。我们在几种设置中为直方图设计了差分隐私（DP）算法，包括顶部$k$选择，隐私损失与polylog $(T)$成比例，其中$T$是输入流的最大长度。我们提出了一个元算法，可以使用现有的一杆顶- $k$ DP算法作为一个子程序，不断释放私人直方图从一个流。此外，我们提出了更实用的DP算法的两个设置：1）连续释放顶部$k$计数从直方图在一个已知的域时，一个事件可以由任意数量的项目，和2）连续释放直方图在一个未知的域时，一个事件具有有限数量的项目。
2022-01-04 cs.CR cs.DS
SQUAD: Combining Sketching and Sampling Is Better than Either for Per-item Quantile Estimation
流监控是许多数据流应用的基础，例如金融数据跟踪器、安全性、异常检测和负载均衡。在这方面，分位数是特别感兴趣的，因为它们经常捕获用户的效用。例如，如果视频连接具有高尾部延迟，则即使平均延迟和中值延迟较低，感知质量也会受到影响。在这项工作中，我们考虑的问题，近似每项分位数。我们流中的元素是（ID，延迟）元组，我们希望跟踪每个ID的延迟分位数。现有的分位数草图是为单个数字流设计的（例如，仅包含等待时间）。虽然可以为每个ID分配单独的草图实例，但这可能需要不可行的内存量。相反，我们考虑跟踪重命中（最频繁的项目）的分位数，这些分位数通常被认为特别重要，而事先不知道它们。我们首先提出了一个简单的采样算法，作为一个基准。然后，我们设计了一个算法，增加了一个分位数草图内的每个条目的重击算法，导致类似的空间复杂度，但具有确定性的错误保证。最后，我们提出了SQUAD，一种结合采样和草图，同时提高渐近空间复杂度的方法。直观地说，SQUAD使用一个背景采样过程来捕获一个项目的行为之前，它是分配一个草图，从而使我们能够使用更少的样本和草图。我们的解决方案进行了严格的分析，我们证明了我们的方法使用广泛的模拟的优越性。
2022-01-06 cs.DS
Finding missing items requires strong forms of randomness
本文研究流式 Missing Item Finding 中随机性使用方式对空间复杂度的影响，证明随机种子、随机带与随机预言机模型在不同流长度区间存在显著空间上下界分离。
2024-07-03 cs.DS
Relative Error Streaming Quantiles
针对流式数据秩估计的乘性误差需求，本文提出一种空间效率更优的随机化概要，其空间界接近最优，无需预知流长度且可完全合并，适用于并行分布式环境。
2023-08-24 cs.DS
New Algorithms for Heavy Hitters in Data Streams
数据库和数据流中一个古老而基本的问题是找到重要的查询，也称为顶级$k$、最流行的项、频繁项、大象或冰山查询。这个问题有几种变体，它们量化了一个频繁出现的项目意味着什么，包括所谓的$\ell_1$ -heavy hitters和$\ell_2$ -heavy hitters。这些问题有许多算法解决方案，首先是Misra和Gries的工作，以及CountMin和CountSketch数据结构等。在这篇调查论文中，伴随着ICDT邀请演讲，我们涵盖了这一领域的几个最新成果，这些成果改进了这些问题的经典解决方案。特别是，与合著者，我们开发了新的算法，寻找$\ell_1$ -沉重的打击者和$\ell_2$ -沉重的打击者，所需的内存显着减少比已知的，这是最佳的参数制度的数量。
2016-03-05 cs.DS
Are We Still Missing an Item?
本文研究缺失元素问题，在长流静态设置下证明了 polylog(n) 内存足以在流长接近 n 时识别缺失元素，并在流长超过 n 时给出 Θ(k) 紧界；在对抗鲁棒设置下为伪确定性零误差算法和随机启动零误差流式算法分别建立了 Ω(ℓ) 下界和 Θ(√ℓ) 紧界。
2024-01-21 cs.DS
Elastic Sketch under Random Stationary Streams: Limiting Behavior and Near-Optimal Configuration
University of Avignon（阿维尼翁大学）；IIT Bombay（印度理工学院孟买分校）；Meta
本文研究了弹性草图在随机稳定数据流中的性能，分析了其极限分布和内存分配优化，通过理论推导和数值模拟验证了其在实际应用中的有效性。
2026-03-26 cs.DS cs.PF
Computing Longest Increasing Subsequence Over Sequential Data Streams
本文提出了一种数据结构--四重邻居表（QN-list），用于支持序列数据流上所有最长递增子序列（LIS）和有约束LIS的实时的查询。由我们的算法构建的QN-List需要$O(w)$空间，其中$w$是时间窗口大小。构建初始QN列表的运行时间需要$O(w\log w)$时间。应用QN-列表时，插入新项目需要$O(\log w)$时间，删除第一个项目需要$O(w)$时间。据我们所知，这是第一个工作，支持LIS枚举和LIS的约束计算，通过使用一个统一的数据结构的实时的顺序数据流。我们的方法优于国家的最先进的方法在时间和空间成本，不仅在理论上，而且经验。
2016-10-11 cs.DS
Fair and Representative Subset Selection from Data Streams
University of Helsinki（赫尔辛基大学）；Pompeu Fabra University（庞培法布拉大学）；Eurecat（Eurecat技术中心）
我们研究的问题，从一个大的数据流中提取一个小的代表性项目的子集。在许多数据挖掘和机器学习应用中，例如社会网络分析和推荐系统，这个问题可以被公式化为最大化服从基数约束的单调子模函数$k$。在这项工作中，我们考虑设置在流中的数据项属于几个不相交的组之一，并调查的优化问题与一个额外的\emph{fairness}约束，限制选择到一个给定数量的项目从每个组。然后，我们提出了有效的算法的公平性感知的流子模块最大化问题的变体。特别是，我们首先给出了一个$ (\frac{1}{2}-\varepsilon) $近似算法，需要$ O(\frac{1}{\varepsilon} \log \frac{k}{\varepsilon}) $通过流的任何常数$ \varepsilon>0 $。此外，我们给出了一个单通流算法，具有相同的近似比的$(\frac{1}{2}-\varepsilon)$时，无限的缓冲区大小和后处理时间是允许的，并讨论如何适应更实际的设置，缓冲区大小是有界的。最后，我们证明了我们提出的算法的效率和有效性在两个现实世界的应用程序，即\emph{maximum coverage on large graphs}和\emph{personalized recommendation}。
2021-02-12 cs.DS cs.LG
Testing frequency distributions in a stream
本文研究数据流中频率分布验证问题，提出相对 Fréchet 距离和基于 Spacesaving 算法与采样的测试器，并给出均匀分布下的空间下界及快速衰减分布下的近对数空间上界。
2025-08-25 cs.DS
Finding Subcube Heavy Hitters in Analytics Data Streams
数据流通常具有大量维度的项。我们在这种情况下研究基本的重量级选手问题。形式上，数据流由$d$ -维项$x_1,\ldots,x_m \in [n]^d$组成。$k$维子立方体$T$是不同坐标$\{ T_1,\cdots,T_k \} \subseteq [d]$的子集.子立方体重命中查询${\rm Query}(T,v)$，$v \in [n]^k$，如果是$f_T(v) \geq γ$，则输出YES，如果是$f_T(v) < γ/4$，则输出NO，其中$f_T$是其坐标$T$具有联合值$v$的流项目的数目的比率。所有子立方体重命中者查询${\rm AllQuery}(T)$输出对${\rm Query}(T,v)$返回YES的所有关节值$v$。这个问题的一维版本$d=1$在数据流理论，数据库，网络和信号处理方面进行了大量研究。子立方体重打击者问题适用于所有这些情况。针对$\tilde{O}(kd/γ)$空间中的子立方体重打击者问题，提出了一种简单的基于水库采样的单程流算法。这是最佳的多对数因子给定的下限。在最坏的情况下，这是$Θ(d^2/γ)$，这是禁止大型$d$，我们的目标是绕过这个二次瓶颈。我们的主要贡献是一个基于模型的方法子立方体重打击者问题。特别地，我们假设维度通过朴素贝叶斯模型彼此相关，有或没有潜在维度。在这个假设下，我们提出了一个新的两遍，$\tilde{O}(d/γ…
2018-02-20 cs.DS
A Simple Proof of a New Set Disjointness with Applications to Data Streams
多层承诺集的不相交性是通信复杂性在应用中应用最广泛的问题之一。在这个问题中，有$k$参与者的子集$S^1, \ldots, S^k$，每个都从$\{1, 2, \ldots, n\}$中抽取，并且我们被保证要么这些集合是（1）成对不相交的，要么（2）在所有集合中存在唯一的元素$j$，否则它们是成对不相交的。在黑板模型中求解该问题的总通信量为$Ω(n/k)$。我们观察到，对于大多数应用程序来说，只要看看我们称之为“大多数”的集合不相交性问题就足够了，它改变了情况（2），即至少有一半的集合中出现了唯一的元素$j$，否则这些集合是不相交的。这种变化给了我们一个更简单的证明一个$Ω(n/k)$随机总通信下界，避免了Hellinger距离和庞加莱不等式。利用这一点，我们展示了数据流的几个新结果：\begin{itemize} \item for $\ell_2$-Heavy Hitters, any $O(1)$-pass streaming algorithm in the insertion-only model for detecting if an $\eps$-$\ell_2$-heavy hitter exists requires $\min(\frac{1}{\eps^2}\log \frac{\eps^2n}δ, \frac{1}{\eps}n^{1/2})$ bits o…
2021-05-24 cs.DS
CR-precis: A deterministic summary structure for update data streams
我们提出的\crprecis结构，这是一个通用的，确定性和次线性的数据结构，总结\emph{update}数据流。\crprecis结构产生用于回答各种基本流查询的\emph{first deterministic sub-linear space/time algorithms for update streams}，诸如（a）点查询，（b）范围查询，（c）找到近似频繁项，（d）找到近似分位数，（e）找到近似分层重命中者，（f）估计内积，（g）接近最优的$B$桶直方图等。
2006-10-10 cs.DS
Improved Sliding Window Algorithms for Clustering and Coverage via Bucketing-Based Sketches
流计算在大规模数据分析中起着重要的作用。滑动窗口模型是一种流计算模型，它还捕获数据的新近性。在此模型中，数据一次到达一个项目，但对于特定问题，只考虑最新的$W$数据项目。目标是通过在流期间维护一个小摘要，在流的结尾输出一个好的解决方案。在这项工作中，我们提出了一个新的算法框架，设计有效的滑动窗口算法，通过桶为基础的草图。基于这个新的框架，我们开发了空间有效的滑动窗口算法的$k$覆盖，$k$聚类和多样性最大化问题。对于上述每一个问题，我们的算法实现了$(1\pm \varepsilon)$ -近似。与以往的工作相比，它提高了逼近比和空间。
2021-10-29 cs.DS
