Sublinear-Space Streaming Algorithms for Estimating Graph Parameters on Sparse Graphs
本文针对稀疏图类设计了次线性空间流算法，用于估计最大独立集、最小支配集和最大匹配这三个可能具有线性规模的图参数，从而在严格空间限制下实现有效的参数估计。
2023-05-26 cs.DB cs.DS
A Memory-Efficient Sketch Method for Estimating High Similarities in Streaming Sets
估计集合相似性和检测高度相似集合是诸如数据库、机器学习和信息检索等领域中的基本问题。MinHash是一种用于近似集合的Jaccard相似性的众所周知的技术，并且已经成功地用于许多应用，例如相似性搜索和大规模学习。它的两个压缩版本，b-bit MinHash和Odd Sketch，可以显著减少原始MinHash方法的内存使用，特别是用于估计高相似性（即，相似点1）。虽然MinHash可以应用于静态集合以及流集合，其中元素以流方式给出并且基数未知甚至无限，但不幸的是，b位MinHash和Odd Sketch无法处理流数据。为了解决这个问题，我们设计了一个内存高效的草图方法，MaxLogHash，准确地估计流集中的Jaccard相似性。与MinHash相比，我们的方法使用较小的寄存器（每个寄存器由少于7位组成）来为每个集合构建紧凑的草图。我们还提供了一个简单而准确的估计器，用于从MaxLogHash草图中推断Jaccard相似性。此外，我们推导出用于限制估计误差的公式，并确定最小的必要内存使用（即，用于MaxLogHash草图的寄存器的数量）以获得所需的精度。我们在各种数据集上进行了实验，实验结果表明，我们的方法MaxLogHash比MinHash的内存效率高出约5倍，并且具有相同的精度和计算成本来估计高相似性。
2019-05-22 cs.DS
Estimating Graph Parameters from Random Order Streams
我们开发了一种新的算法技术，允许转移到随机顺序流算法的一般图的一些恒定时间的近似算法。我们通过证明在概率至少为$2/3$的随机顺序流中，$\bullet$，$G$的连通分量的数目可以使用$(\frac{1}{\varepsilon})^{O(1/\varepsilon^3)}$空间近似到$\varepsilon n$的加性误差，$\bullet$，具有来自$\{1,\dots,W\}$的整数边权重的连通输入图的最小生成树的权重可以使用$\big(\frac{1}{\varepsilon}\big)^{\tilde O(W^3/\varepsilon^3)}$空间在$1+\varepsilon$的乘法因子内近似，平面图中的最大独立集的大小可以使用空间$\bullet$在$1+\varepsilon$的乘法因子内近似。
2017-11-13 cs.DS
Estimating Entropy of Data Streams Using Compressed Counting
Shannon熵是一种广泛应用的概括统计量，例如，网络流量测量，异常检测，神经计算，尖峰序列等。已知Shannon熵可以用Reenyi熵或Tsallis熵来近似，它们都是p阶频率矩的函数，并且当p>1时接近Shannon熵。压缩计数是一种新的数据流p阶频率矩的近似计算方法。我们的贡献包括：1）证明了Renyi熵比Tsallis熵更好地逼近Shannon熵。2)我们提出了CC的最佳分位数估计，这大大改善了以前的估计。3)我们的实验表明，CC确实是非常有效的近似的时刻和熵。我们还证明了利用方差偏差权衡的至关重要性。
2009-10-08 cs.DB cs.DS
Estimating small moments of data stream in nearly optimal space-time
对于每个$p \in (0,2]$，我们提出了一个随机算法，返回一个$ε$近似的$p$次频率矩的数据流$F_p = \sum_{i = 1}^n \abs{f_i}^p$。该算法需要空间$O(ε^{-2} \log (mM)(\log n))$，并使用时间$O((\log n) (\log ε^{-1}))$处理每个流更新。它在空间（下限$O(ε^{-2} \log (mM))$以及时间）方面几乎是最优的，并且是具有这些性质的第一个算法。该技术使用适当的阈值从流中的剩余项目中分离出重打击者，并分别估计重打击者和轻元素对$F_p$的贡献。一个关键的组成部分是一个无偏估计$\abs{f_i}^p$的数据结构具有低更新时间和低方差的设计。
2010-06-18 cs.DS cs.LG
SimiSketch: Efficiently Estimating Similarity of streaming Multisets
针对流式多重集相似度估计问题，提出草图算法SimiSketch，利用SALSA提升准确性，实验证明其准确率和吞吐量最高分别提升42倍和360倍。
2024-05-30 cs.DS
Separations for Estimating Large Frequency Moments on Data Streams
我们研究了经典问题的矩估计的基础向量的$n$坐标是隐式定义通过一系列的更新数据流。我们表明，如果更新的向量到达随机顺序插入的唯一模型，那么存在空间有效的算法与改进的依赖近似参数$\varepsilon$。特别是，对于任何真正的$p > 2$，我们首先获得一个算法的$F_p$矩估计使用$\tilde{\mathcal{O}}\left(\frac{1}{\varepsilon^{4/p}}\cdot n^{1-2/p}\right)$位的内存。我们的技术还给出了算法$F_p$矩估计与$p>2$在任意阶插入只和旋转栅门流，使用$\tilde{\mathcal{O}}\left(\frac{1}{\varepsilon^{4/p}}\cdot n^{1-2/p}\right)$位的空间和两个通道，这是第一个最佳的多通道$F_p$估计算法高达$\log n$因素。最后，我们给出了一个改进的$Ω\left(\frac{1}{\varepsilon^2}\cdot n^{1-2/p}\right)$的一遍插入流的下界。我们的研究结果分离的复杂性，这个问题之间的随机和非随机的订单，以及单通和多通流。
2022-07-07 cs.DS
Matrix Norms in Data Streams: Faster, Multi-Pass and Row-Order
数据流中的一个中心问题是表征潜在频率向量的哪些函数可以有效地近似。最近，已经有相当大的努力，在扩展这个问题的估计函数的矩阵，作为一个数据流。这种设置将经典问题推广到矩阵的类似问题。例如，我们现在希望估计“频繁方向”计数，而不是估计频繁项计数。一个相关的例子是估计范数，现在对应于估计矩阵奇异值的向量范数。尽管最近的努力，目前的理解，这样的矩阵问题是相当弱的向量问题。我们研究了在流中估计矩阵范数的许多方面，这些方面以前没有被考虑过：（1）多遍算法，（2）一次一行地看到底层矩阵的算法，以及（3）时间有效的算法。我们的多通道和行顺序算法使用的内存比单通道和入口更新模型中可证明需要的内存少，因此可以在这些模型之间进行分离（就内存而言）。此外，我们所有的算法都比以前的算法快得多。我们还证明了一些下界，并获得例如，一个接近完整的表征所需的存储器的行顺序算法估计Schatten $p$ -规范的稀疏矩阵。
2018-10-24 cs.DS
A Very Efficient Scheme for Estimating Entropy of Data Streams Using Compressed Counting
最近提出了压缩计数（CC）来近似数据流的$α$阶频率矩，用于$0<α\leq 2$。在松弛的严格旋转栅门模型下，CC显著地改进了基于对称稳定随机投影的标准算法，特别是改进了$α\to 1$。CC的一个直接应用是估计熵，它是Web/网络测量中的一个重要的汇总统计量，通常是数据采掘的一个关键“特征”。Rényi熵和Tsallis熵是$α$ th频率矩的函数;并且两者都以$α\to 1$的形式接近香农熵。最近的理论工作建议使用$α$ th频率矩来用$α=1+δ$和非常小的$|δ|$（例如，$<10^{-4}$）。在这项研究中，我们实验使用CC估计频率矩，雷尼熵，Tsallis熵和香农熵，在真实的Web抓取数据。我们证明了方差偏置权衡估计香农熵，并提供实用的建议。（1）与$α\to 1$相比，CC显著地改进了{ \em symmetric stable random projects}对频率矩、Rényi熵、Tsallis熵和Shannon熵的估计。改进似乎接近“无限”。“（2）使用{ \em对称稳定随机投影}和具有非常小的$|δ|$的$α= 1+δ$不能提供实用的算法，因为所需的样本量是巨大的。
2008-08-21 cs.DS
Estimating small frequency moments of data stream: a characteristic function approach
数据流被视为形式为$(\text{index},i,v)$到$n$维整数频率向量$f$的$M$更新的序列，其中更新将$f_i$改变为$f_i + v$，并且$v$是整数并且被假定为在$\{-m, ..., m\}$中.第$p$频率矩$F_p$被定义为$\sum_{i=1}^n \abs{f_i}^p$。我们考虑的问题估计$F_p$的$1\pm ε$的乘法近似因子内，为$p \in [0,2]$。已经提出了几种估计量用于这个问题，包括Indyk的中值估计量\cite{indy:focs00}、Li的几何平均估计量\cite{pinglib:2006}、基于\Hss的估计量\cite{gc:random07}。前两个估计量需要空间$\tilde{O}(ε^{-2})$，其中$\tilde{O}$表示法隐藏了$ε^{-1}, m, n$和$M$中的多对数因子。最近，Kane，Nelson和Woodruff在\cite{knw:soda10}中提出了一种新的空间最优估计，称为对数余弦估计。在本文中，我们提出了一个初步分析的对数余弦估计在一个独立的设置。\cite{knw:soda10}中的分析更为复杂。
2010-05-29 cs.DS
Sublinear Estimation of Weighted Matchings in Dynamic Data Streams
本文提出了一种通过扩充任意一个未加权匹配大小的估计程序来估计最大加权匹配的权值的算法。该算法可在包括动态图流在内的任何流模型中实现。我们还给出了平面图（或任何有界荫度的图）的动态图流中的最大匹配大小的第一个常数估计使用$\tilde{O}(n^{4/5})$空间，也扩展到加权匹配。利用Kapralov，Khanna和Sudan（2014）的先前结果，我们分别获得了随机顺序流中使用$\mathrm{polylog}(n)$空间的一般图的$\mathrm{polylog}(n)$近似。此外，我们给出了一个空间下界的$Ω(n^{1-\varepsilon})$的任何随机算法估计的最大匹配的大小为一个$1+O(\varepsilon)$因素的对抗流。
2015-07-09 cs.DS
Estimating Weighted Matchings in $o(n)$ Space
我们考虑的问题估计的最大加权匹配的加权图$G(V,E)$的边缘显示在一个流的方式。我们开发了一个减少从最大加权匹配问题的最大基数匹配问题，只有一倍的近似因子的流算法开发的最大基数匹配问题。我们的研究结果适用于仅插入和动态（即插入和删除）边缘到达流模型。之前最著名的减少是由于Bury和Schwiegelshohn（ESA 2015）开发了一种算法，其近似保证按多项式因子缩放。作为一个应用，我们通过将Esfandiari等人（SODA 2015）和Chitnis等人（SODA 2016）的最新估计量输入到我们的约简中，获得了加权平面图的改进估计量，更一般地说，获得了加权有界荫度图的改进估计量。特别是，我们得到了一个$(48+ε)$近似估计的最大加权匹配的平面图的重量。
2016-09-05 cs.DS
Estimating Diffusion Degree on Graph Streams
针对图流中扩散度精确计算内存开销大的问题，本文提出扩散度估计草图并证明误差上界，基于此设计top-k影响力节点提取算法，实验效果与精确算法相当或更优。
2024-01-31 cs.DS
Streaming and Sublinear Approximation of Entropy and Information Distances
在数据采掘和机器学习的许多问题中，需要聚类或分类的数据项不是高维空间中的点，而是分布（高维单纯形上的点）。对于分布，距离的自然度量不是$\ell_p$范数和变体，而是信息论度量，如Kullback-Leibler距离、Hellinger距离等。这些距离的有效估计是操纵分布算法的关键组成部分。因此，次线性资源约束，无论是在时间（属性测试）或空间（流）是至关重要的。我们首先解决两个悬而未决的问题，关于属性测试的分布。首先，我们展示了一个紧界估计有界的，对称的f-分布之间的分歧在一般属性测试（次线性时间）框架（所谓的组合预言模型）。这就产生了用于估计诸如詹森-香农发散和海林格距离等众所周知的距离的最佳算法。其次，我们关闭了一个$(\log n)/H$的上限和下限之间的差距估计熵$H$在这个模型。在一个流设置（次线性空间），我们给出了第一个算法估计的熵的分布。我们的算法运行在多对数空间，并产生一个渐近常数因子近似计划。我们还提供了沿空间/时间/近似权衡曲线的其他结果。
2005-08-29 cs.DS cs.IT math.IT
Weighted Maximum Independent Set of Geometric Objects in Turnstile Streams
研究了数据流模型中几何对象的最大独立集问题。一组几何对象被称为是独立的，如果对象是成对不相交的。我们考虑一维和二维的几何对象，即，间隔和磁盘。设$α$为最大独立集的基数。我们的目标是在少量空间中估计$α$，假设输入是作为一个单程流接收的。我们还考虑了这个问题的泛化，通过分配权重给每个对象和估计$β$，加权独立集的最大值。我们初始化的旋转栅门流模型（插入和删除）的研究，并提供了第一个算法估计$α$和$β$。对于单位长度的区间，我们得到了多$(\frac{\log(n)}ε)$空间中$α$和$β$的$(2+ε)$ -逼近。我们还展示了一个匹配的下界。结合Cabello和Perez-Lanterno [CP 15]对仅插入流的$3/2$近似，我们的结果意味着仅插入模型和旋转门模型之间的分离。对于单位半径圆盘，我们得到了多$(\log(n), ε^{-1})$空间中$α$和$β$的$\left(\frac{8\sqrt{3}}π\right)$ -近似，它与六角圆的堆积常数密切相关.我们提供了算法估计$α$为任意长度的区间下有界相交的假设和研究的参数化空间复杂度估计$α$和$β$，其中的参数是最大与最小区间长度之比。
2020-03-24 cs.CG cs.DS
Tight Bounds for Single-Pass Streaming Complexity of the Set Cover Problem
我们解决了单通道流算法的空间复杂度近似经典的集合覆盖问题。为了找到一个$α$ -近似集覆盖（任何$α= o(\sqrt{n})$）使用单通道流算法，我们表明，$Θ(mn/α)$空间是充分和必要的（高达$O(\log{n})$的因素），这里$m$表示的集合数和$n$表示宇宙的大小。这为Indyk等人（2015）提出的关于使用次线性空间的小近似因子的单遍算法的可能性的开放问题提供了一个强有力的否定答案。我们进一步研究的问题，估计的最小集覆盖的大小（而不是找到实际的集），并建立一个额外的因素$α$节省的空间是可以实现的，在这种情况下，这是最好的可能。换句话说，我们表明，$Θ(mn/α^2)$空间是足够的和必要的（对数因子）估计的最小集覆盖范围内的一个因素$α$的大小。我们的算法实际上适用于估计覆盖整数规划的最优值的更一般的问题。另一方面，我们的下界甚至对于集合以随机顺序呈现的集合覆盖实例也成立。
2016-03-17 cs.DS
Better Bounds for Frequency Moments in Random-Order Streams
估计数据流的频率矩是一个非常好的研究问题，严格的界限是已知的空间量，这是必要的和足够的，当流是adversarially有序的。最近，出于各种实际考虑和应用在学习和统计，已经有越来越多的兴趣到研究流是随机排序的。在本文中，我们改进了以往的下界估计所需的空间随机有序流的频率矩。
2008-08-16 cs.DS
A Note on Logarithmic Space Stream Algorithms for Matchings in Low Arboricity Graphs
我们提出了一种用于估计低荫度图的最大匹配大小的数据流算法。回想一下，如果一个图的边最多可以被划分为$α$森林，则该图具有荫度$α$，并且平面图具有荫度$α=3$。估计最大匹配的大小在这样的图一直是最近的数据流研究的焦点。Cormode等人最近证明了这个问题的一个令人惊讶的结果。他们设计了一个巧妙的算法，该算法使用在图（任意排序）和$O(ε^{-2}α\cdot \log n \cdot \log_{1+ε} n)$空间的边缘上的单次遍历来返回$(22.5α+6)(1+ε)$近似。在这篇文章中，我们通过更严格的分析改进了$(α+2)(1+ε)$的近似因子，并表明，通过修改他们的算法，所需的空间可以减少到$O(ε^{-2} \log n)$。
2017-08-14 cs.DS
CR-precis: A deterministic summary structure for update data streams
我们提出的\crprecis结构，这是一个通用的，确定性和次线性的数据结构，总结\emph{update}数据流。\crprecis结构产生用于回答各种基本流查询的\emph{first deterministic sub-linear space/time algorithms for update streams}，诸如（a）点查询，（b）范围查询，（c）找到近似频繁项，（d）找到近似分位数，（e）找到近似分层重命中者，（f）估计内积，（g）接近最优的$B$桶直方图等。
2006-10-10 cs.DS
On Estimating Degree Distribution in Streaming and Query Models
Indian Statistical Institute（印度统计研究所）；Institute of Mathematical Sciences（数学科学研究所）
针对ccdh近似问题复杂度未知的开放问题，设计了不依赖亚线性模型的ccdh近似算法，证明流式与查询模型可高效获取所需样本，还首次建立两类模型的下界，几乎确定了问题复杂度。
2026-10-12 cs.DS cs.SI
FLEET: Butterfly Estimation from a Bipartite Graph Stream
我们认为空间有效的单通估计的蝴蝶，一个基本的二分图图案的数量，从一个大规模的二分图流，其中每个边缘代表在两个不同的分区实体之间的连接。我们提出了一个空间下界的任何流算法，可以准确地估计蝴蝶的数量，以及FLEET，一套算法，准确地估计蝴蝶的数量在图形流。算法返回的估计值在近似误差上有可证明的保证，实验表明在所用空间和近似精度之间有很好的权衡。我们还提出了空间效率的算法，用于估计流中最近的元素的滑动窗口内的蝴蝶的数量。虽然有一个显着的机构的工作计数子图，如三角形在一个unipartite图流，我们的工作似乎是少数几个解决的情况下，二分图流。
2019-08-28 cs.DS
On the Sample Complexity of Compressed Counting
压缩计数法是近年来提出的一种基于最大偏斜稳定随机投影的数据流p阶频率矩估计方法。p->1的情况对于估计数据流的Shannon熵是非常有用的。在这项研究中，我们提供了一个非常简单的算法的基础上的样本最小估计，并证明了一个大大改善的样本复杂性界，与以前的结果。
2009-10-08 cs.DS cs.IT math.IT
Stream quantiles via maximal entropy histograms
我们解决的问题，估计运行分位数的数据流时，存储观察的内存是有限的。我们（一）突出的限制，以前在文献中描述的方法，使他们不适合非平稳流，（二）描述了一种新的原则，利用可用的存储空间，和（iii）介绍两种新的算法，利用所提出的原则。在三个大型真实数据集上的实验表明，所提出的方法大大优于现有的替代方案。
2014-09-25 cs.DS
Fast Moment Estimation in Data Streams in Optimal Space
对于（1+eps）-逼近在数据流中更新的长度为n的向量的第p个频率矩，0 < p < 2，我们给出了一个更新时间为O（log^2（1/eps）loglog（1/eps））的空间最优算法.这使得更新时间复杂度比之前的空间最优算法[Kane-Nelson-Woodruff，SODA 2010]（更新时间为Ω（1/eps^2））有了近乎指数级的改进。
2010-07-23 cs.DS
Triangle counting in dynamic graph streams
在过去的十年中，使用有限的内存来估计图流中的三角形数量已经成为一个热门话题。不同的变化的问题进行了研究，这取决于是否提供的图形边缘以任意顺序或发病率列表。然而，除了少数例外，算法已经考虑了{ \em仅插入}流。我们提出了一个新的算法估计的三角形的数量{ \em动态}图流中的边缘可以插入和删除。我们表明，我们的算法实现了更好的时间和空间复杂度比以前的解决方案的各种图形类，例如稀疏图形与相对较少的三角形。此外，对于具有恒定传递系数的图，这是真实图中的常见情况，这是第一个实现每条边的恒定处理时间的算法。结果是通过一种新的方法相结合的顶点三元组的采样和稀疏化的输入图。在算法的分析过程中，我们提出了一个下界的两两独立的2-路在一般的图，这可能是独立的利益。在文章的最后，我们讨论了三角形计数算法的空间复杂度的下界，不对图的结构作任何假设。
2015-07-14 cs.DS
Estimating Size of the Union of Sets in Streaming Model
National University of Singapore（新加坡国立大学）；University of Nebraska, Lincoln（内布拉斯加大学林肯分校）；Indian Statistical Institute, Kolkata（印度统计学院加尔各答）
本文针对流模型下的集合并集大小估计问题，提出一种基于采样的高效算法，解决了流处理Klee测度问题的开放问题，相关算法已在Lean 4中形式化验证，且可应用于覆盖估计等问题。
2026-07-30 cs.CG cs.DS
Taylor Polynomial Estimator for Estimating Frequency Moments
我们提出了一个随机算法估计的$p$第四时刻$F_p$的数据流的频率矢量在一般更新（旋转栅门）模型内的$1 \pm ε$的乘法因子，$p > 2$，具有较高的恒定置信度。对于$0 < ε\le 1$，该算法使用空格$O( n^{1-2/p} ε^{-2} + n^{1-2/p} ε^{-4/p} \log (n))$字。这改善了Andoni等人的$O(n^{1-2/p} ε^{-2-4/p} \log (n))$词的当前范围。等人在\cite{ako:arxiv10}中。我们的空间上限匹配的下限李和伍德拉夫\cite{liwood:random13} $ε= (\log (n))^{-Ω(1)}$和Andoni等的下限。al. \cite{anpw:icalp13}用于$ε= Ω(1)$。
2015-06-04 cs.DS
Sublinear Algorithms and Lower Bounds for Estimating MST and TSP Cost in General Metrics
该研究针对一般度量下MST与TSP代价估计问题，在亚线性空间、半流及查询复杂度三种场景下分别给出近似算法及对应空间/查询下界，完善了相关问题的复杂度理论边界。
2023-05-03 cs.DS
Revisiting Frequency Moment Estimation in Random Order Streams
我们重新审视数据流文献中的经典问题之一，即，估计频率矩$F_p$为$0 < p < 2$的一个基本的$n$维向量作为一个序列的流中的添加剂更新。众所周知，使用$p$稳定分布，可以使用空间的$O(ε^{-2} \log n)$位将这些矩中的任何一个近似为乘法$(1+ε)$因子，并且该空间边界在旋转栅门流模型中最优为常数因子。令人惊讶的是，我们发现，如果人们考虑流行的随机顺序模型的插入流，其中的更新的基础向量到达一个随机的顺序，然后可以击败这个空间约束，并实现$\tilde{O}(ε^{-2} + \log n)$位的空间，其中的$\tilde{O}$隐藏聚$(\log(1/ε) + \log \log n)$因素。如果是$ε^{-2} \approx \log n$，则这表示在旋转栅门流中可实现的空间的大致二次改进。我们的算法实际上是确定性的，我们表明我们的空间界限是最佳的聚$(\log(1/ε) + \log \log n)$因素的随机顺序模型中的确定性算法。我们也得到了类似的改善空间$p = 2$每当$F_2 \gtrsim \log n\cdot F_1$。
2018-03-06 cs.DS
Statistics of Similarity Graphs in Node-Arrival Streams
Indiana University（印第安纳大学）
本文针对节点到达流模型中的相似图，开发常数次遍历、亚线性空间的流算法解决度矩等统计问题，建立的空间下界对流长度的依赖几乎匹配上界。
2026-09-07 cs.DS
No Repetition: Fast Streaming with Highly Concentrated Hashing
为了获得在一定误差范围内以高概率工作的估计器，一种常见的策略是设计一种以恒定概率工作的估计器，然后使用独立重复来提高概率。这种方法的重要例子是小空间算法，用于估计流中不同元素的数量，或估计大集合之间的集合相似性。使用标准的强通用散列来处理每个元素，我们得到了一个基于草图的估计器，其中太大错误的概率是1/4。通过执行$r$独立重复并取估计量的中值，错误概率在$r$中呈指数下降。但是，运行$r$独立实验会使处理时间增加$r$倍。在这里，我们指出，如果我们有一个具有强浓度边界的哈希函数，那么我们可以得到相同的高概率边界，而无需重复。与$r$独立的草图不同，我们有一个比$r$大一倍的草图，因此总空间是相同的。然而，我们只应用了一个哈希函数，所以我们及时地节省了一个因子$r$，整个算法变得更简单了。具有强浓度边界的快速实用哈希函数最近由Aamand em等人提出（将出现在STOC 2020中）。使用他们的散列方案，算法因此变得非常快速和实用，适合于在线处理大容量的数据流。
2020-04-02 cs.DS
Frequency Moments Beyond Equality: Streaming Cosine Density Moments
Indiana University（印第安纳大学）
本文针对向量流定义余弦密度矩，将其推广至余弦相似度场景，给出单遍流算法及紧下界，并提出等和矩隔离技术证明非负情形下界。
2026-09-09 cs.DS
Universal sketches for the frequency negative moments and other decreasing streaming sums
给定一个流的频率$f_d$，为$d\in[n]$，我们描述了必要的空间近似的频率负矩$F_p=\sum |f_d|^p$，其中$p<0$和总和是采取在所有项目$d\in[n]$与非零频率，在$n$，$ε$，和$m=\sum |f_d|$。为了实现这一点，我们实际上证明了一个更一般的结果。给定任何非负和非增函数$g$，我们描述了任何流算法所需的空间，该算法输出一个$(1\pmε)$ -近似$\sum g(|f_d|)$，其中再次总和是在非零频率的项目。所需的存储表示在一个相对简单的非线性优化问题的解决方案的形式，该算法是通用的$(1\pmε)$ -近似到任何这样的总和，其中所应用的功能是非负的，nonincreasing，并具有相同或更小的空间复杂度为$g$。这部分回答了Nelson的一个未决问题（IITK坎普尔研讨会，2009年）。
2015-02-16 cs.DS
Differentially Private Hierarchical Heavy Hitters
University of Warwick（华威大学）；University of Oxford（牛津大学）；AT&T Research（AT&T研究院）
研究差分隐私下层次重击者（HHH）的发布问题，在非流式设置中前缀残差计数的相对误差与层次高度和重击者数量无关；在流式设置中频率估计的绝对误差与可用空间无关。
2026-06-12 cs.CR cs.DS
Differentially Private Continual Releases of Streaming Frequency Moment Estimations
计算的流模型是处理大规模数据的流行方法。在这种设置中，有一个项目流，目标是计算所需的数量（通常是数据统计），同时通过流进行单次传递并使用尽可能少的空间。出于数据隐私的重要性，我们开发了差分隐私流媒体算法下的连续发布设置，在每个时间戳的算法的输出的联合必须是差分隐私。具体地说，我们研究了基本的$\ell_p$ $(p\in [0,+\infty))$频率矩估计问题在此设置下，并给出了一个$\varepsilon$算法，实现$(1+η)$ -相对近似$(\forall η\in(0,1))$与$\mathrm{poly}\log(Tn)$添加性误差和使用$\mathrm{poly}\log(Tn)\cdot \max(1, n^{1-2/p})$空间，其中$T$是流的长度和$n$是宇宙的元素的大小。我们的空间是接近最佳的多对数因子，即使在非私人设置。为了获得我们的结果，我们首先减少了几个原语下的差分私有连续发布模型，如计数不同的元素，重打击者和计数低频元素，在相同的设置更简单，计数/求和问题。基于这些原语，我们开发了一种差分私有连续释放水平集估计方法来解决$\ell_p$频率矩估计问题。我们还提供了一个简单的扩展，我们的结果更硬的滑动窗口模型，统计数据必须保持在过去的$W$数据项。
2023-01-13 cs.DS
QSketch: An Efficient Sketch for Weighted Cardinality Estimation in Streams
提出QSketch，一种用于流中加权基数估计的高效内存Sketch方法，通过量化技术将变量压缩至8位，并利用动态特性提升精度，实现O(1)更新复杂度，在仅用1/8内存下准确率提升约30%，速度快两个数量级。
2024-06-27 cs.DB cs.DS
A High-Performance Algorithm for Identifying Frequent Items in Data Streams
估计数据流上项目的频率是流数据测量和分析中的常见构建块。Misra和Gries在1982年提出了他们对这个问题的开创性算法，由于其实用性和适用性，这个问题已经被重新讨论了很多次。我们描述了一个高度优化的版本Misra和Gries的算法，适合在工业环境中部署。我们的代码通过一个名为DataSketches的开源库公开，该库已经被多家公司和生产系统使用。我们的算法改进了两个理论和实践方面的先前工作。首先，它在摊销常数时间内处理加权更新，这是实践中的常见要求。其次，它使用了一种简单而快速的方法来合并摘要，即使对于未加权的流，也可以渐进地改进先前的工作。我们描述的实验证实，我们的算法比以前的建议更有效。
2017-05-22 cs.DS
Testable Bounded Degree Graph Properties Are Random Order Streamable
我们研究的属性测试和次线性时间算法可以转化为图流算法的随机顺序流。我们的主要结果是，对于有界度图，任何属性，这是恒定的查询测试的邻接表模型可以测试与恒定的空间在一个单一的随机顺序流。我们的结果是通过使用常数空间估计随机序图流上的顶点的局部邻域的分布而得到的。然后，我们表明，我们的方法也可以适用于常数时间近似算法的邻接表模型中的有界度图：作为一个例子，我们得到了一个恒定的空间单程随机顺序流算法近似的最大匹配的大小与添加性误差$εn$（$n$是节点的数量）。我们的结果建立了第一次，一个大类的次线性算法可以在随机顺序流模拟，而$Ω(n)$空间是需要许多图流问题的对抗订单。
2017-07-23 cs.DS
Edit Distance to Monotonicity in Sliding Windows
给定每个与数值相关联的项的流，其单调性的编辑距离是要移除的项的最小数量，使得剩余项相对于该数值不减。在过去的几年中，估计数据流的单调性的编辑距离的空间复杂度变得很好理解。受网络质量监控应用的启发，我们将研究扩展到估计覆盖任何$w \ge 1$流中$w$最新项的滑动窗口单调性的编辑距离。我们给出了一个确定性算法，它可以返回一个$(4+\eps)$的一个因素内使用$O(\frac{1}{\eps^2} \log^2(\eps w))$空间的估计。我们还在两个方向上扩展了研究。首先，我们考虑一个流，其中每个项目都与一个偏序集的值相关联。利用$O(\frac{1}{ε^2} \log ε^2 w \log w)$空间给出了一个随机$(4+ε)$ -近似算法.其次，我们考虑一个无序流，其中每个项目都与创建时间和数值相关联，并且项目可以相对于其创建时间无序。我们的目标是估计编辑距离单调性相对于创建时间的顺序排列的项目的数值。我们表明，任何随机常数近似算法需要线性空间。
2011-11-23 cs.DS
Streaming Lower Bounds for Approximating MAX-CUT
本文研究了流计算模型中图的最大割值的估计问题。在一个极端情况下，对于该问题存在仅使用$O(\log n)$空间的平凡$2$ -近似，即，计算边缘的数量并输出该值的一半作为最大切割值的估计。在另一个极端，如果允许$\tilde{O}(n)$空间，则可以通过存储基本上保留最大割的$\tilde{O}(n)$大小的稀疏化器来获得最大割值的近最优解。一个有趣的问题是，多对数空间是否足以获得最大截值的非平凡近似（即，击败因子$2$）。最近的研究表明，估计图中最大匹配的大小的问题允许在多对数空间中的非平凡近似。我们的主要结果是，任何流算法，打破$2$近似障碍需要$\tildeΩ(\sqrt{n})$空间，即使输入图的边缘是随机顺序。我们的结果是通过展示分布图是二部或$\frac{1}{2}$ -远离二部，并建立$\tildeΩ(\sqrt{n})$空间是必要的，以区分这两种情况。因此，作为一个直接的推论，我们得到，$\tildeΩ(\sqrt{n})$空间也是必要的，以测试，如果一个图是二部或$\frac{1}{2}$ -远离是二部。我们还表明，对于任何$ε> 0$，任何流算法，获得一个$(1 + ε)$ -近似的最大切割值时，边缘到达敌对的顺序需要$n^{1 - O(ε)}$空间，这意味着$Ω(n)$空间是必要的，以获得一个任意好的近似的最大切割值。
2014-09-07 cs.DS
Towards Optimal Moment Estimation in Streaming and Distributed Models
数据流模型中最古老的问题之一是近似底层向量$\mathcal{X} \in \mathbb{R}^n$的$p$阶矩$\|\mathcal{X}\|_p^p = \sum_{i=1}^n |\mathcal{X}_i|^p$，其被呈现为对其坐标的多$(n)$更新的序列。特别感兴趣的是当$p \in (0,2]$。尽管当允许正更新和负更新时，$Θ(ε^{-2} \log n)$位的紧密空间界限对于该问题是已知的，但是令人惊讶的是，当所有更新都是正的时，空间复杂度中仍然存在差距。具体地，上限是$O(ε^{-2} \log n)$位，而下限仅是$Ω(ε^{-2} + \log n)$位。最近，假设更新以随机顺序到达，获得了$\tilde{O}(ε^{-2} + \log n)$位的上限。我们表明，$p \in (0, 1]$，随机顺序假设是不需要的。即，我们给出了用于估计$\|\mathcal{X}\|_p^p$的$\tilde{O}(ε^{-2} + \log n)$比特的最坏情况流的上界。我们的技术也给出了新的上界估计的经验熵流。另一方面，我们表明，$p \in (1,2]$，在自然协调和黑板通信拓扑结构，有一个$\tilde{O}(ε^{-2})$位最大通信上限的基础上随机舍入方案。我们的协议也产生了协议的重打击和近似矩阵产品。我们将我们的结果推广到任意的通信拓扑$G$，获得了一个$…
2019-07-12 cs.DS
Independent Set Size Approximation in Graph Streams
研究了由边流定义的图$G$中独立集的大小估计问题。我们的方法依赖于Caro-Wei界，该界表示所需的量，用节点的度的倒数的和表示，用$β(G)$表示。我们的研究结果表明，$β(G)$可以准确地近似，根据$β$提供的下限。更强的结果是可能的，当边缘承诺到达由一个事件节点分组。在这种情况下，我们得到的值最多是$β$的真实值的对数因子，并且不超过真实的独立集大小。为了证明这个界限的形式，我们还显示了一个$Ω(n/β)$下界的任何算法，近似$β$到一个常数因子。
2017-02-27 cs.DS
Sketching the order of events
我们介绍了海量数据流的功能。这些流特征可以被认为是“有序矩”，并将流草图从“一阶矩”推广到“任意阶的有序矩”。与经典矩类似，它们具有理论保证，例如对学习算法很重要的普适性。
2017-08-31 cs.DS math.ST stat.ML
Streaming Algorithms with Large Approximation Factors
我们启动了广泛的研究，在流模型中的经典问题与插入和删除的设置，我们允许的近似因子$α$要比$1$大得多。这样的算法可以使用比用于$ε\in (0,1)$的$α= 1+ε$的通常设置少得多的存储器。我们研究大近似的一些问题，在素描和流，下面是我们的一些结果。对于$\ell_p$范数/拟线性$\|x\|_p$的$n$维向量$x$，$0 < p \le 2$，我们表明，获得一个$\poly(n)$ -近似需要相同的内存量作为获得一个$O(1)$ -近似任何$M = n^{Θ(1)}$。为了估计的$\ell_p$规范，$p > 2$，我们显示了一个上限的$O(n^{1-2/p} (\log n \allowbreak \log M)/α^{2})$位的$α$近似，并给出了匹配的下限，几乎整个范围的$α\geq 1$的线性草图。对于$\ell_2$ -重击球手的问题，我们表明，已知的下限的$Ω(k \log n\log M)$位识别$(1/k)$ -重击球手持有，即使我们被允许输出项目是$1/(αk)$ -重，几乎整个范围的$α$，提供算法成功的概率$1-O(1/n)$。我们还获得了一个下界的线性草图，即使是紧的常数概率算法。为了估计不同元素的数目$\ell_0$，我们给出了一个$n^{1/t}$ -近似算法，使用空间的$O(t\log \log M)$位，以及$Ω(t)$位的下界，两者都不…
2022-07-17 cs.DS
Counting Simplices in Hypergraph Streams
我们考虑的问题，空间有效地估计超图流中的单形的数量。这是最自然的超图推广的高度研究的问题，估计三角形的数量在图流。我们的输入是一个$k$-一致超图$H$，它具有$n$顶点和$m$超边。$H$中的$k$-单纯形是$k+1$顶点$X$上的子超图，使得$X$中所有$k+1$可能的超边都存在于$H$中。目标是处理$H$的超边流并计算$T_k(H)$的良好估计，即$H$中$k$-单纯形的数量。我们设计了一套算法来解决这个问题。在$T_k(H) \ge T$的承诺下，我们的算法使用最多四个通道，并且对于每个固定的$k \ge 3$，一起暗示$O( ε^{-2} \logδ^{-1} \text{polylog} n \cdot \min\{ m^{1+1/k}/T, m/T^{2/(k+1)} \} )$的空间界限，以保证在$(1\pmε)T_k(H)$内的估计具有至少$1-δ$的概率。我们还给出了一个更简单的$1$-通过算法，实现了$O(ε^{-2} \logδ^{-1} \log n\cdot (m/T) ( Δ_E + Δ_V^{1-1/k} ))$空间，其中$Δ_E$（分别，$Δ_V$）表示共享一个超边（分别，一个顶点）的$k$-单纯形的最大数量。我们补充这些算法的结果与空间下界的形式$Ω(ε^{-2})$，$Ω(m^{1+1/k}/T)$，$Ω(m/T^{1-1/k})$和$Ω(mΔ…
2021-12-21 cs.DS
Approximating Large Frequency Moments with $O(n^{1-2/k})$ Bits
在本文中，我们考虑的问题，近似的频率矩的流模型。给定来自$\{1,\dots, n\}$的数字流$D = \{p_1,p_2,\dots,p_m\}$，$i$的频率被定义为$f_i = |\{j: p_j = i\}|$。$D$的$k$ -th \emph{frequency moment}定义为$F_k = \sum_{i=1}^n f_i^k$。在本文中，我们给出了一个上界的空间需要找到一个$k$ -th频率矩的$O(n^{1-2/k})$位匹配，直到一个常数的因素，下界的伍德拉夫和张（STOC 12）为常数$ε$和常数$k$。我们的算法使一个单一的通过流和工程的任何常数$k > 3$。
2014-01-27 cs.DS
Improved Pan-Private Stream Density Estimation
差分隐私是对隐私的严格定义，它保证对敏感数据集执行的任何分析都不会泄露有关其中包含数据的个人的信息。在这项工作中，我们开发了新的差分隐私算法来分析流数据。具体来说，我们考虑的问题，估计的密度流的用户（或，更一般地说，元素），这表示所有用户的比例，实际上出现在流中。我们专注于流媒体模型最强的隐私保证之一，即用户级泛隐私，它确保任何用户的隐私得到保护，即使对手在罕见的情况下观察算法的内部状态。我们提出的算法采用最佳的所有分配的隐私预算，是专门为流媒体模型，因此，在理论上和实验上优于传统的基于采样的方法。
2021-11-16 cs.CR cs.DB cs.DS
The Sparse Awakens: Streaming Algorithms for Matching Size Estimation in Sparse Graphs
估计最大匹配的大小是图算法中的一个典型问题，并且在一系列不同的计算模型上吸引了广泛的研究。我们提出了改进的流算法近似稀疏（有界荫度）图的最大匹配的大小。* 仅插入流：我们提出了一个单程算法，需要O（c log^2 n）的空间和近似的最大匹配的大小在一个因子O（c）荫度c的图。该算法比现有的O~（cn^{2/3}）空间流算法有了很大的改进。* 动态流：给定动态图形流（即，针对c-有界荫度图的边的插入和删除问题，我们提出了一个单遍算法，该算法使用空间O~（c^{10/3}n^{2/3}），并返回最大匹配大小的O（c）-估计。该算法改进了现有的O~（cn^{4/5}）空间算法，其中O~（.）符号在$n$依赖项中隐藏对数。与以前的作品相比，我们的结果更多地利用了对输入的流访问，并根据流中边的排序以及稀疏图的度分布和结构属性来表征匹配大小。
2016-11-14 cs.DS
Sketch \star-metric: Comparing Data Streams via Sketching
本文考虑了在小空间约束下任意两个大数据流之间的距离估计问题。这个问题在快速生成输入流的数据密集型监控应用中至关重要。这些数据流需要实时准确地处理，以快速确定与标称行为的任何偏差。我们提出了一个新的度量，草图\star度量，它允许定义可更新的摘要（或草图）的大型数据流之间的距离。草图\star -度量的一个重要特征是，给定对整个初始数据流的度量，草图\star -度量保留草图上的后一度量的公理（例如非负性、恒等式、对称性、三角不等式以及f-散度的特定性质）。在合成轨迹和真实数据上进行的大量实验使我们能够验证草图\star度量的鲁棒性和准确性。
2012-07-27 cs.DM cs.DS cs.IT
A Deterministic Streaming Sketch for Ridge Regression
University of Utah（犹他大学）
我们提供了一个确定性的空间有效算法估计岭回归。对于具有$d$特征和足够大的正则化参数的$n$数据点，我们仅使用$O(d/\varepsilon)$空间提供了$\varepsilon$ L $_2$误差内的解决方案。这是第一个$o(d^2)$空间确定性流算法，保证解决这个经典问题的错误和风险界。该算法通过频繁方向的变体来勾画协方差矩阵，这意味着它可以在仅插入流和各种分布式数据设置中操作。在合成和真实世界的数据集上的随机草图算法相比，我们的算法具有较少的经验误差，使用较少的空间和相似的时间。
2021-03-10 cs.DS cs.LG stat.ML
Learning-Based Heavy Hitters and Flow Frequency Estimation in Streams
Harvard University（哈佛大学）
针对现有基于学习的流频率估计方法仅聚焦哈希类算法、对重量级条目识别效果有限的问题，提出首个基于学习的竞争计数器算法LSS，从理论和实验验证其能提升Space Saving算法在相关任务中的准确率与效率。
2024-06-24 cs.DS cs.LG
On Approximating Frequency Moments of Data Streams with Skewed Projections
本文提出了一种用于逼近动态数据流（0<p<=2）的p阶频率矩的斜稳定随机投影方法，该方法在理论计算机科学和数据库领域得到了广泛的研究.我们的方法显着（或当p->1时甚至无限）改进了以前基于（对称）稳定随机投影的方法。我们提出的方法适用于数据流是（a）插入只（收银机模型）;或（b）总是非负的（严格的旋转栅门模型），或（c）最终非负的检查点。这只是实际应用中的一个小限制。我们的方法在p = 1+/- Δ且Δ很小时效果特别好，这是一个实际上很重要的场景。例如，Δ可以是衰减率或利率，它们通常很小。当然，当Δ= 0时，可以计算第1个频繁矩（即，和）使用简单的计数器基本上无误差。我们的方法可以被看作是一个“广义计数器”，因为它可以计算未来的总价值，考虑到衰减或利息应计的影响。总之，我们的贡献是双重的。(A)这是斜稳定随机投影的第一个建议。(B)基于第一性原理，我们开发了各种偏态稳定分布的统计估计，包括它们的方差和误差（尾）概率界，以及样本复杂性界。
2008-02-06 cs.DS cs.IT math.IT
Frequency Moments in Noisy Streaming and Distributed Data under Mismatch Ambiguity
Indiana University（印第安纳大学）
本文提出了一种在噪声数据流和分布式数据中近似频率矩的框架，通过引入F_p-不匹配模糊性参数，解决了噪声环境下频率矩估计的挑战。
2026-03-11 cs.DB cs.DS
Graphical Model Sketch
Adobe Research（Adobe研究院）；Rutgers（罗格斯大学）；TTI（丰田技术研究院）
结构化的高基数数据出现在许多领域，对建模和推理都提出了重大挑战。图形模型是一种流行的建模结构化数据的方法，但它们不适合高基数变量。count-min（CM）草图是一种在高基数数据中估计概率的流行方法，但它不能很好地扩展到几个变量之外。在这项工作中，我们汇集了图形模型和计数草图的想法，并提出和分析了几种方法来估计结构化的高基数数据流的概率。我们近似的关键思想是使用图形模型的结构，并通过“草图”近似估计其因子，该草图使用随机投影对高基数变量进行散列。我们的近似是计算效率和它们的空间复杂度是独立的变量的基数。我们的误差界是乘法和显着改善后的CM草图，一个国家的最先进的方法来估计流中的概率。我们评估我们的近似合成和现实世界的问题，并报告了一个数量级的改进CM草图。
2016-07-18 cs.DS cs.LG stat.ML
