Estimating Correlation Clustering Cost in Node-Arrival Stream
Indiana University（印第安纳大学）
本文研究了节点到达流模型中的相关聚类问题，提出C$^4$Approx算法，在子线性空间和常数遍历次数下近似计算相关聚类成本，并通过实验验证其在稀疏图上的性能。
2026-05-08 cs.DS
A Memory-Efficient Sketch Method for Estimating High Similarities in Streaming Sets
估计集合相似性和检测高度相似集合是诸如数据库、机器学习和信息检索等领域中的基本问题。MinHash是一种用于近似集合的Jaccard相似性的众所周知的技术，并且已经成功地用于许多应用，例如相似性搜索和大规模学习。它的两个压缩版本，b-bit MinHash和Odd Sketch，可以显著减少原始MinHash方法的内存使用，特别是用于估计高相似性（即，相似点1）。虽然MinHash可以应用于静态集合以及流集合，其中元素以流方式给出并且基数未知甚至无限，但不幸的是，b位MinHash和Odd Sketch无法处理流数据。为了解决这个问题，我们设计了一个内存高效的草图方法，MaxLogHash，准确地估计流集中的Jaccard相似性。与MinHash相比，我们的方法使用较小的寄存器（每个寄存器由少于7位组成）来为每个集合构建紧凑的草图。我们还提供了一个简单而准确的估计器，用于从MaxLogHash草图中推断Jaccard相似性。此外，我们推导出用于限制估计误差的公式，并确定最小的必要内存使用（即，用于MaxLogHash草图的寄存器的数量）以获得所需的精度。我们在各种数据集上进行了实验，实验结果表明，我们的方法MaxLogHash比MinHash的内存效率高出约5倍，并且具有相同的精度和计算成本来估计高相似性。
2019-05-22 cs.DS
Estimating Graph Parameters from Random Order Streams
我们开发了一种新的算法技术，允许转移到随机顺序流算法的一般图的一些恒定时间的近似算法。我们通过证明在概率至少为$2/3$的随机顺序流中，$\bullet$，$G$的连通分量的数目可以使用$(\frac{1}{\varepsilon})^{O(1/\varepsilon^3)}$空间近似到$\varepsilon n$的加性误差，$\bullet$，具有来自$\{1,\dots,W\}$的整数边权重的连通输入图的最小生成树的权重可以使用$\big(\frac{1}{\varepsilon}\big)^{\tilde O(W^3/\varepsilon^3)}$空间在$1+\varepsilon$的乘法因子内近似，平面图中的最大独立集的大小可以使用空间$\bullet$在$1+\varepsilon$的乘法因子内近似。
2017-11-13 cs.DS
Estimating small moments of data stream in nearly optimal space-time
对于每个$p \in (0,2]$，我们提出了一个随机算法，返回一个$ε$近似的$p$次频率矩的数据流$F_p = \sum_{i = 1}^n \abs{f_i}^p$。该算法需要空间$O(ε^{-2} \log (mM)(\log n))$，并使用时间$O((\log n) (\log ε^{-1}))$处理每个流更新。它在空间（下限$O(ε^{-2} \log (mM))$以及时间）方面几乎是最优的，并且是具有这些性质的第一个算法。该技术使用适当的阈值从流中的剩余项目中分离出重打击者，并分别估计重打击者和轻元素对$F_p$的贡献。一个关键的组成部分是一个无偏估计$\abs{f_i}^p$的数据结构具有低更新时间和低方差的设计。
2010-06-18 cs.DS cs.LG
SimiSketch: Efficiently Estimating Similarity of streaming Multisets
针对流式多重集相似度估计问题，提出草图算法SimiSketch，利用SALSA提升准确性，实验证明其准确率和吞吐量最高分别提升42倍和360倍。
2024-05-30 cs.DS
Separations for Estimating Large Frequency Moments on Data Streams
我们研究了经典问题的矩估计的基础向量的$n$坐标是隐式定义通过一系列的更新数据流。我们表明，如果更新的向量到达随机顺序插入的唯一模型，那么存在空间有效的算法与改进的依赖近似参数$\varepsilon$。特别是，对于任何真正的$p > 2$，我们首先获得一个算法的$F_p$矩估计使用$\tilde{\mathcal{O}}\left(\frac{1}{\varepsilon^{4/p}}\cdot n^{1-2/p}\right)$位的内存。我们的技术还给出了算法$F_p$矩估计与$p>2$在任意阶插入只和旋转栅门流，使用$\tilde{\mathcal{O}}\left(\frac{1}{\varepsilon^{4/p}}\cdot n^{1-2/p}\right)$位的空间和两个通道，这是第一个最佳的多通道$F_p$估计算法高达$\log n$因素。最后，我们给出了一个改进的$Ω\left(\frac{1}{\varepsilon^2}\cdot n^{1-2/p}\right)$的一遍插入流的下界。我们的研究结果分离的复杂性，这个问题之间的随机和非随机的订单，以及单通和多通流。
2022-07-07 cs.DS
Matrix Norms in Data Streams: Faster, Multi-Pass and Row-Order
数据流中的一个中心问题是表征潜在频率向量的哪些函数可以有效地近似。最近，已经有相当大的努力，在扩展这个问题的估计函数的矩阵，作为一个数据流。这种设置将经典问题推广到矩阵的类似问题。例如，我们现在希望估计“频繁方向”计数，而不是估计频繁项计数。一个相关的例子是估计范数，现在对应于估计矩阵奇异值的向量范数。尽管最近的努力，目前的理解，这样的矩阵问题是相当弱的向量问题。我们研究了在流中估计矩阵范数的许多方面，这些方面以前没有被考虑过：（1）多遍算法，（2）一次一行地看到底层矩阵的算法，以及（3）时间有效的算法。我们的多通道和行顺序算法使用的内存比单通道和入口更新模型中可证明需要的内存少，因此可以在这些模型之间进行分离（就内存而言）。此外，我们所有的算法都比以前的算法快得多。我们还证明了一些下界，并获得例如，一个接近完整的表征所需的存储器的行顺序算法估计Schatten $p$ -规范的稀疏矩阵。
2018-10-24 cs.DS
A Very Efficient Scheme for Estimating Entropy of Data Streams Using Compressed Counting
最近提出了压缩计数（CC）来近似数据流的$α$阶频率矩，用于$0<α\leq 2$。在松弛的严格旋转栅门模型下，CC显著地改进了基于对称稳定随机投影的标准算法，特别是改进了$α\to 1$。CC的一个直接应用是估计熵，它是Web/网络测量中的一个重要的汇总统计量，通常是数据采掘的一个关键“特征”。Rényi熵和Tsallis熵是$α$ th频率矩的函数;并且两者都以$α\to 1$的形式接近香农熵。最近的理论工作建议使用$α$ th频率矩来用$α=1+δ$和非常小的$|δ|$（例如，$<10^{-4}$）。在这项研究中，我们实验使用CC估计频率矩，雷尼熵，Tsallis熵和香农熵，在真实的Web抓取数据。我们证明了方差偏置权衡估计香农熵，并提供实用的建议。（1）与$α\to 1$相比，CC显著地改进了{ \em symmetric stable random projects}对频率矩、Rényi熵、Tsallis熵和Shannon熵的估计。改进似乎接近“无限”。“（2）使用{ \em对称稳定随机投影}和具有非常小的$|δ|$的$α= 1+δ$不能提供实用的算法，因为所需的样本量是巨大的。
2008-08-21 cs.DS
Estimating small frequency moments of data stream: a characteristic function approach
数据流被视为形式为$(\text{index},i,v)$到$n$维整数频率向量$f$的$M$更新的序列，其中更新将$f_i$改变为$f_i + v$，并且$v$是整数并且被假定为在$\{-m, ..., m\}$中.第$p$频率矩$F_p$被定义为$\sum_{i=1}^n \abs{f_i}^p$。我们考虑的问题估计$F_p$的$1\pm ε$的乘法近似因子内，为$p \in [0,2]$。已经提出了几种估计量用于这个问题，包括Indyk的中值估计量\cite{indy:focs00}、Li的几何平均估计量\cite{pinglib:2006}、基于\Hss的估计量\cite{gc:random07}。前两个估计量需要空间$\tilde{O}(ε^{-2})$，其中$\tilde{O}$表示法隐藏了$ε^{-1}, m, n$和$M$中的多对数因子。最近，Kane，Nelson和Woodruff在\cite{knw:soda10}中提出了一种新的空间最优估计，称为对数余弦估计。在本文中，我们提出了一个初步分析的对数余弦估计在一个独立的设置。\cite{knw:soda10}中的分析更为复杂。
2010-05-29 cs.DS
Efficient data streaming multiway aggregation through concurrent algorithmic designs and new abstract data types
数据流依赖于连续查询以实时方式处理无限的数据流。由于相关应用程序涉及非常大量的数据，因此通常需要计算能力。数据结构充当接合点并维护数据流操作符的状态，潜在地支持高并行性并平衡它们之间的工作。基于这一事实，在这项工作中，我们研究和分析这些关节点的并行化需求，重点是流多路聚合的问题，其中从多个输入流接收大量数据。并行化需求的分析，以及现有的聚合设计及其数据结构的使用和局限性，使我们确定需要适当的共享对象，可以实现低延迟和高吞吐量的多路聚合。我们提出的要求，这些对象作为抽象的数据类型，我们提供了高效的无锁线性化算法实现，以及新的多路聚合算法设计，利用它们，支持确定性的顺序敏感和顺序不敏感的聚合函数。此外，我们指出了通过这些贡献打开的未来方向。本文包括一个广泛的实验研究，基于各种聚合连续查询两个大型数据集提取SoundCloud，音乐社交网络，并从智能电网网络。在所有的实验中，所提出的数据结构和增强的聚合运算符的处理性能显着提高，高达一个数量级，在吞吐量和延迟方面，在常用的技术基于队列。
2016-06-15 cs.DC cs.DS
Stream Aggregation Through Order Sampling
本文提出了一种新的单通道水库加权采样流聚合算法--基于优先级的聚合（PBA）。虽然顺序采样是一种强大而有效的方法，用于从唯一键控项流中进行加权采样，但目前还没有算法实现顺序采样在非唯一键的流聚合上下文中的益处。一个简单的方法来排序样本而不考虑关键字，然后汇总结果是毫无希望的低效。与之不同的是，我们提出的算法在缓存中每个密钥的生命周期中使用单个持久随机变量，并保持对可以在流中任何点查询的密钥聚合的无偏估计。基本方法可以用具有由PBA控制的采样率自适应的采样和保持预采样阶段来补充。与使采样和保持适应于以固定高速缓存大小操作的现有技术相比，该方法表示计算复杂性的显著降低。关于统计特性，我们证明PBA提供了真实总量的无偏估计。我们分析了PBA及其变体的计算复杂性，并对其在合成和跟踪数据上的准确性进行了详细的评估。相对于Adaptive Sample and Hold，在采样率为5%至17%时，加权相对误差降低了40%至65%;对于排名查询也有很大改进
2017-11-01 cs.DS
A Lower Bound for Estimating High Moments of a Data Stream
我们显示了一个改进的下界的Fp估计问题的数据流设置为p>2。数据流是来自域[n]的具有可能重复的项的序列。频率向量x是n维非负整数向量x，使得x（i）是i在序列中出现的次数。给定精度参数Omega（n^{-1/p}）< ε< 1，估计Fp的问题是以在线方式并使用尽可能少的空间以高恒定概率正确地估计\norm{x}_p^p = \sum_{i \in [n]} \abs{x(i)}^p到1 \pm ε的相对精度内。该问题的当前空间下界为Ω（n^{1-2/p} ε^{-2/p}+ n^{1-2/p}ε^{-4/p}/ \log^{O(1)}（n）+（ε^{-2} + \log（n）。下界表达式中的第一项在\cite{B-YJKS:stoc02,cks:ccc03}中得到证明，第二项在\cite{wz:arxiv11}中得到证明，第三项在\cite{wood:soda04}中得到证明。在本说明中，我们展示了Omega（p^2 n^{1-2/p} ε^{-2}/ \log（n））位空间界限，其中Omega（pn^{-1/p}）\le ε \le 1/10。
2011-12-31 cs.CC cs.DS
Sublinear Estimation of Weighted Matchings in Dynamic Data Streams
本文提出了一种通过扩充任意一个未加权匹配大小的估计程序来估计最大加权匹配的权值的算法。该算法可在包括动态图流在内的任何流模型中实现。我们还给出了平面图（或任何有界荫度的图）的动态图流中的最大匹配大小的第一个常数估计使用$\tilde{O}(n^{4/5})$空间，也扩展到加权匹配。利用Kapralov，Khanna和Sudan（2014）的先前结果，我们分别获得了随机顺序流中使用$\mathrm{polylog}(n)$空间的一般图的$\mathrm{polylog}(n)$近似。此外，我们给出了一个空间下界的$Ω(n^{1-\varepsilon})$的任何随机算法估计的最大匹配的大小为一个$1+O(\varepsilon)$因素的对抗流。
2015-07-09 cs.DS
Estimating Weighted Matchings in $o(n)$ Space
我们考虑的问题估计的最大加权匹配的加权图$G(V,E)$的边缘显示在一个流的方式。我们开发了一个减少从最大加权匹配问题的最大基数匹配问题，只有一倍的近似因子的流算法开发的最大基数匹配问题。我们的研究结果适用于仅插入和动态（即插入和删除）边缘到达流模型。之前最著名的减少是由于Bury和Schwiegelshohn（ESA 2015）开发了一种算法，其近似保证按多项式因子缩放。作为一个应用，我们通过将Esfandiari等人（SODA 2015）和Chitnis等人（SODA 2016）的最新估计量输入到我们的约简中，获得了加权平面图的改进估计量，更一般地说，获得了加权有界荫度图的改进估计量。特别是，我们得到了一个$(48+ε)$近似估计的最大加权匹配的平面图的重量。
2016-09-05 cs.DS
Privately Estimating Monotone Statistics in Polynomial Time
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Boston University（波士顿大学）；MIT Mathematics（麻省理工学院数学系）；University of Copenhagen（哥本哈根大学）
针对单调统计量的差分隐私估计，提出一种改进的子采样-聚合算法，在样本复杂度上节省因子t，运行时间增加因子e^t，并证明其最优性。
2026-05-28 cs.CR cs.DS cs.LG
Estimating Diffusion Degree on Graph Streams
针对图流中扩散度精确计算内存开销大的问题，本文提出扩散度估计草图并证明误差上界，基于此设计top-k影响力节点提取算法，实验效果与精确算法相当或更优。
2024-01-31 cs.DS
QSketch: An Efficient Sketch for Weighted Cardinality Estimation in Streams
提出QSketch，一种用于流中加权基数估计的高效内存Sketch方法，通过量化技术将变量压缩至8位，并利用动态特性提升精度，实现O(1)更新复杂度，在仅用1/8内存下准确率提升约30%，速度快两个数量级。
2024-06-27 cs.DB cs.DS
On estimating the alphabet size of a discrete random source
我们关心的是从一个符号流中估计字母表大小$N$，该符号流是从该字母表中随机均匀抽取的。我们定义和分析了内存限制的算法，已提出了用于此目的的变体。通过该算法的内存受限变体，可以在$O(\sqrt{N})$时间和空间上估计字母表大小$N$。
2017-11-20 cs.DS
Streaming and Sublinear Approximation of Entropy and Information Distances
在数据采掘和机器学习的许多问题中，需要聚类或分类的数据项不是高维空间中的点，而是分布（高维单纯形上的点）。对于分布，距离的自然度量不是$\ell_p$范数和变体，而是信息论度量，如Kullback-Leibler距离、Hellinger距离等。这些距离的有效估计是操纵分布算法的关键组成部分。因此，次线性资源约束，无论是在时间（属性测试）或空间（流）是至关重要的。我们首先解决两个悬而未决的问题，关于属性测试的分布。首先，我们展示了一个紧界估计有界的，对称的f-分布之间的分歧在一般属性测试（次线性时间）框架（所谓的组合预言模型）。这就产生了用于估计诸如詹森-香农发散和海林格距离等众所周知的距离的最佳算法。其次，我们关闭了一个$(\log n)/H$的上限和下限之间的差距估计熵$H$在这个模型。在一个流设置（次线性空间），我们给出了第一个算法估计的熵的分布。我们的算法运行在多对数空间，并产生一个渐近常数因子近似计划。我们还提供了沿空间/时间/近似权衡曲线的其他结果。
2005-08-29 cs.DS cs.IT math.IT
Weighted Maximum Independent Set of Geometric Objects in Turnstile Streams
研究了数据流模型中几何对象的最大独立集问题。一组几何对象被称为是独立的，如果对象是成对不相交的。我们考虑一维和二维的几何对象，即，间隔和磁盘。设$α$为最大独立集的基数。我们的目标是在少量空间中估计$α$，假设输入是作为一个单程流接收的。我们还考虑了这个问题的泛化，通过分配权重给每个对象和估计$β$，加权独立集的最大值。我们初始化的旋转栅门流模型（插入和删除）的研究，并提供了第一个算法估计$α$和$β$。对于单位长度的区间，我们得到了多$(\frac{\log(n)}ε)$空间中$α$和$β$的$(2+ε)$ -逼近。我们还展示了一个匹配的下界。结合Cabello和Perez-Lanterno [CP 15]对仅插入流的$3/2$近似，我们的结果意味着仅插入模型和旋转门模型之间的分离。对于单位半径圆盘，我们得到了多$(\log(n), ε^{-1})$空间中$α$和$β$的$\left(\frac{8\sqrt{3}}π\right)$ -近似，它与六角圆的堆积常数密切相关.我们提供了算法估计$α$为任意长度的区间下有界相交的假设和研究的参数化空间复杂度估计$α$和$β$，其中的参数是最大与最小区间长度之比。
2020-03-24 cs.CG cs.DS
Tight Bounds for Single-Pass Streaming Complexity of the Set Cover Problem
我们解决了单通道流算法的空间复杂度近似经典的集合覆盖问题。为了找到一个$α$ -近似集覆盖（任何$α= o(\sqrt{n})$）使用单通道流算法，我们表明，$Θ(mn/α)$空间是充分和必要的（高达$O(\log{n})$的因素），这里$m$表示的集合数和$n$表示宇宙的大小。这为Indyk等人（2015）提出的关于使用次线性空间的小近似因子的单遍算法的可能性的开放问题提供了一个强有力的否定答案。我们进一步研究的问题，估计的最小集覆盖的大小（而不是找到实际的集），并建立一个额外的因素$α$节省的空间是可以实现的，在这种情况下，这是最好的可能。换句话说，我们表明，$Θ(mn/α^2)$空间是足够的和必要的（对数因子）估计的最小集覆盖范围内的一个因素$α$的大小。我们的算法实际上适用于估计覆盖整数规划的最优值的更一般的问题。另一方面，我们的下界甚至对于集合以随机顺序呈现的集合覆盖实例也成立。
2016-03-17 cs.DS
Better Bounds for Frequency Moments in Random-Order Streams
估计数据流的频率矩是一个非常好的研究问题，严格的界限是已知的空间量，这是必要的和足够的，当流是adversarially有序的。最近，出于各种实际考虑和应用在学习和统计，已经有越来越多的兴趣到研究流是随机排序的。在本文中，我们改进了以往的下界估计所需的空间随机有序流的频率矩。
2008-08-16 cs.DS
A Note on Logarithmic Space Stream Algorithms for Matchings in Low Arboricity Graphs
我们提出了一种用于估计低荫度图的最大匹配大小的数据流算法。回想一下，如果一个图的边最多可以被划分为$α$森林，则该图具有荫度$α$，并且平面图具有荫度$α=3$。估计最大匹配的大小在这样的图一直是最近的数据流研究的焦点。Cormode等人最近证明了这个问题的一个令人惊讶的结果。他们设计了一个巧妙的算法，该算法使用在图（任意排序）和$O(ε^{-2}α\cdot \log n \cdot \log_{1+ε} n)$空间的边缘上的单次遍历来返回$(22.5α+6)(1+ε)$近似。在这篇文章中，我们通过更严格的分析改进了$(α+2)(1+ε)$的近似因子，并表明，通过修改他们的算法，所需的空间可以减少到$O(ε^{-2} \log n)$。
2017-08-14 cs.DS
CR-precis: A deterministic summary structure for update data streams
我们提出的\crprecis结构，这是一个通用的，确定性和次线性的数据结构，总结\emph{update}数据流。\crprecis结构产生用于回答各种基本流查询的\emph{first deterministic sub-linear space/time algorithms for update streams}，诸如（a）点查询，（b）范围查询，（c）找到近似频繁项，（d）找到近似分位数，（e）找到近似分层重命中者，（f）估计内积，（g）接近最优的$B$桶直方图等。
2006-10-10 cs.DS
On Estimating Degree Distribution in Streaming and Query Models
Indian Statistical Institute（印度统计研究所）；Institute of Mathematical Sciences（数学科学研究所）
针对ccdh近似问题复杂度未知的开放问题，设计了不依赖亚线性模型的ccdh近似算法，证明流式与查询模型可高效获取所需样本，还首次建立两类模型的下界，几乎确定了问题复杂度。
2026-10-12 cs.DS cs.SI
FLEET: Butterfly Estimation from a Bipartite Graph Stream
我们认为空间有效的单通估计的蝴蝶，一个基本的二分图图案的数量，从一个大规模的二分图流，其中每个边缘代表在两个不同的分区实体之间的连接。我们提出了一个空间下界的任何流算法，可以准确地估计蝴蝶的数量，以及FLEET，一套算法，准确地估计蝴蝶的数量在图形流。算法返回的估计值在近似误差上有可证明的保证，实验表明在所用空间和近似精度之间有很好的权衡。我们还提出了空间效率的算法，用于估计流中最近的元素的滑动窗口内的蝴蝶的数量。虽然有一个显着的机构的工作计数子图，如三角形在一个unipartite图流，我们的工作似乎是少数几个解决的情况下，二分图流。
2019-08-28 cs.DS
On the Sample Complexity of Compressed Counting
压缩计数法是近年来提出的一种基于最大偏斜稳定随机投影的数据流p阶频率矩估计方法。p->1的情况对于估计数据流的Shannon熵是非常有用的。在这项研究中，我们提供了一个非常简单的算法的基础上的样本最小估计，并证明了一个大大改善的样本复杂性界，与以前的结果。
2009-10-08 cs.DS cs.IT math.IT
Stream quantiles via maximal entropy histograms
我们解决的问题，估计运行分位数的数据流时，存储观察的内存是有限的。我们（一）突出的限制，以前在文献中描述的方法，使他们不适合非平稳流，（二）描述了一种新的原则，利用可用的存储空间，和（iii）介绍两种新的算法，利用所提出的原则。在三个大型真实数据集上的实验表明，所提出的方法大大优于现有的替代方案。
2014-09-25 cs.DS
Improved Pan-Private Stream Density Estimation
差分隐私是对隐私的严格定义，它保证对敏感数据集执行的任何分析都不会泄露有关其中包含数据的个人的信息。在这项工作中，我们开发了新的差分隐私算法来分析流数据。具体来说，我们考虑的问题，估计的密度流的用户（或，更一般地说，元素），这表示所有用户的比例，实际上出现在流中。我们专注于流媒体模型最强的隐私保证之一，即用户级泛隐私，它确保任何用户的隐私得到保护，即使对手在罕见的情况下观察算法的内部状态。我们提出的算法采用最佳的所有分配的隐私预算，是专门为流媒体模型，因此，在理论上和实验上优于传统的基于采样的方法。
2021-11-16 cs.CR cs.DB cs.DS
Triangle counting in dynamic graph streams
在过去的十年中，使用有限的内存来估计图流中的三角形数量已经成为一个热门话题。不同的变化的问题进行了研究，这取决于是否提供的图形边缘以任意顺序或发病率列表。然而，除了少数例外，算法已经考虑了{ \em仅插入}流。我们提出了一个新的算法估计的三角形的数量{ \em动态}图流中的边缘可以插入和删除。我们表明，我们的算法实现了更好的时间和空间复杂度比以前的解决方案的各种图形类，例如稀疏图形与相对较少的三角形。此外，对于具有恒定传递系数的图，这是真实图中的常见情况，这是第一个实现每条边的恒定处理时间的算法。结果是通过一种新的方法相结合的顶点三元组的采样和稀疏化的输入图。在算法的分析过程中，我们提出了一个下界的两两独立的2-路在一般的图，这可能是独立的利益。在文章的最后，我们讨论了三角形计数算法的空间复杂度的下界，不对图的结构作任何假设。
2015-07-14 cs.DS
Streaming Algorithms from Precision Sampling
Indyk和Woodruff [STOC 2005]介绍的一种技术激发了数据流算法的一些最新进展。我们表明，这些结果很容易遵循一个单一的概率方法称为精密抽样的应用程序。使用这种方法，我们得到简单的数据流算法，保持一个随机草图的输入向量$x=(x_1,...x_n)$，这是有用的以下应用程序。1)估计$F_k$-$x$的矩，用于$k>2$。2)估计$x$的$\ell_p$ -范数，对于$p\in[1,2]$，具有小的更新时间。3)估计所有PDMATHAMT的级联范数$\ell_p(\ell_q)$。4)$\ell_1$采样，其中目标是产生具有概率（近似）$|x_i|/\|x\|_1$的元素$i$。它扩展到$p\in [1,2]$的类似定义的$\ell_p$采样。对于所有这些应用，算法本质上是相同的：通过精心选择的随机向量按条目方式缩放向量x，并对结果向量运行重量级估计算法。我们的草图是x的线性函数，因此允许对向量x进行一般更新。精确采样本身解决了从每个实数$a_i\in[0,1]$的弱估计值估计总和$\sum_{i=1}^n a_i$的问题。更准确地说，估计器首先为每个$i\in[n]$选择期望的精度$u_i\in(0,1]$，然后它接收加性$u_i$内的每个$a_i$的估计。它的目标是提供一个很好的$\sum a_i$近似，同时保持对“近似成本”$\sum_i (1/u_i)$的标…
2011-04-23 cs.CG cs.DS
Estimating Size of the Union of Sets in Streaming Model
National University of Singapore（新加坡国立大学）；University of Nebraska, Lincoln（内布拉斯加大学林肯分校）；Indian Statistical Institute, Kolkata（印度统计学院加尔各答）
本文针对流模型下的集合并集大小估计问题，提出一种基于采样的高效算法，解决了流处理Klee测度问题的开放问题，相关算法已在Lean 4中形式化验证，且可应用于覆盖估计等问题。
2026-07-30 cs.CG cs.DS
Sublinear Algorithms and Lower Bounds for Estimating MST and TSP Cost in General Metrics
该研究针对一般度量下MST与TSP代价估计问题，在亚线性空间、半流及查询复杂度三种场景下分别给出近似算法及对应空间/查询下界，完善了相关问题的复杂度理论边界。
2023-05-03 cs.DS
Adaptive Shrinkage Estimation for Streaming Graphs
Intel Labs（英特尔实验室）；Texas A&M University（得克萨斯农工大学）
网络是跨科学的复杂系统的自然表示，高阶依赖关系是理解和建模这些系统的核心。然而，在诸如在线社交网络之类的许多实际应用中，网络是大规模的、动态的并且是自然流式的，其中顶点之间的成对交互以某种任意顺序一次一个地变得可用。这些网络的巨大规模和流性质只允许部分观察，因为分析整个网络是不可行的。在这种情况下，研究流媒体网络的高阶结构和连接模式是具有挑战性的。在这项工作中，我们考虑使用自适应采样估计高阶依赖的基本问题。我们提出了一种新的自适应，单通采样框架和无偏估计高阶网络分析的大型流媒体网络。我们的算法利用自适应技术来识别边缘，这些边缘具有很高的信息量，可以有效地从小样本数据中估计流网络的高阶结构。我们还引入了一种新的James-Stein收缩估计，以减少估计误差。我们的方法是完全分析的，计算效率高，并且可以在流设置中增量更新。大型网络上的数值实验表明，我们的方法优于基线方法。
2020-10-26 cs.DS cs.LG cs.SI
Single-Pass Estimation of the Clustering Coefficient Distribution in Graph Streams
University of Padova（帕多瓦大学）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
针对图流中聚类系数分布估计问题，提出单遍流式算法BOLIDE，结合多种采样策略，在仅存储少量边的情况下，可证明近似分箱按度聚类系数，并在数十亿边和三角形的数据集上准确高效。
2026-09-22 cs.DS
Sketching and Streaming Entropy via Approximation Theory
我们总结了一系列的工作，给出了接近最佳的草图和流算法估计香农熵在最一般的流模型，任意插入和删除。这改善了先前的结果，获得次优的空间边界的一般模型，和接近最优的边界的插入只有模型没有草图。我们的高级方法很简单：我们给出了估计Renyi和Tsallis熵的算法，并使用它们来外推香农熵的估计。我们的估计的准确性证明了使用近似理论参数和切比雪夫多项式，一种技术，这可能是有用的其他问题的极值性质。我们的工作也产生了最著名的和接近最佳的添加剂近似熵，因此也为条件熵和互信息。
2008-04-25 cs.DS
Differentially Private Hierarchical Heavy Hitters
University of Warwick（华威大学）；University of Oxford（牛津大学）；AT&T Research（AT&T研究院）
研究差分隐私下层次重击者（HHH）的发布问题，在非流式设置中前缀残差计数的相对误差与层次高度和重击者数量无关；在流式设置中频率估计的绝对误差与可用空间无关。
2026-06-12 cs.CR cs.DS
Utilizing Network Structure to Bound the Convergence Rate in Markov Chain Monte Carlo Algorithms
我们考虑在非常大的网络中的子集的测量估计的问题。为此目的的主要工具是马尔可夫链蒙特卡罗（MCMC）算法。这种算法虽然在许多情况下非常有用，但仍然经常受到收敛速度非常慢的缺点的困扰。我们表明，在一个特殊的，但重要的情况下，它是可能的，以获得更好的收敛速度的界限。这种特殊情况是当巨大的状态空间可以被聚合成更少数量的集群时，其中状态的行为{ \em近似}相同（但它们的行为仍然可能不相同）。具有这种结构的马尔可夫链称为{ \em准集块}。此属性允许将状态（节点）{ \em聚合}到群集中。我们的主要贡献是一个严格证明的速度上的限制，在准集总状态分布接近其极限的马尔可夫链。我们还证明了数值，在某些情况下，这确实可以导致一个显着加速的方式来估计子集的措施。结果可以是复杂网络分析中的有用工具，只要它们具有聚集具有相似（但不一定相同）行为的节点的聚类。
2018-09-18 cs.DS math.PR
Learning-Augmented Streaming Algorithms for Approximating MAX-CUT
本文研究利用机器学习预言机突破 MAX-CUT 值估计的 1/2 近似障碍，提出仅用 poly(1/ε) 字空间的单遍流算法，并扩展到动态流。
2025-01-04 cs.DS
A High-Performance Algorithm for Identifying Frequent Items in Data Streams
估计数据流上项目的频率是流数据测量和分析中的常见构建块。Misra和Gries在1982年提出了他们对这个问题的开创性算法，由于其实用性和适用性，这个问题已经被重新讨论了很多次。我们描述了一个高度优化的版本Misra和Gries的算法，适合在工业环境中部署。我们的代码通过一个名为DataSketches的开源库公开，该库已经被多家公司和生产系统使用。我们的算法改进了两个理论和实践方面的先前工作。首先，它在摊销常数时间内处理加权更新，这是实践中的常见要求。其次，它使用了一种简单而快速的方法来合并摘要，即使对于未加权的流，也可以渐进地改进先前的工作。我们描述的实验证实，我们的算法比以前的建议更有效。
2017-05-22 cs.DS
Sketch \star-metric: Comparing Data Streams via Sketching
本文考虑了在小空间约束下任意两个大数据流之间的距离估计问题。这个问题在快速生成输入流的数据密集型监控应用中至关重要。这些数据流需要实时准确地处理，以快速确定与标称行为的任何偏差。我们提出了一个新的度量，草图\star度量，它允许定义可更新的摘要（或草图）的大型数据流之间的距离。草图\star -度量的一个重要特征是，给定对整个初始数据流的度量，草图\star -度量保留草图上的后一度量的公理（例如非负性、恒等式、对称性、三角不等式以及f-散度的特定性质）。在合成轨迹和真实数据上进行的大量实验使我们能够验证草图\star度量的鲁棒性和准确性。
2012-07-27 cs.DM cs.DS cs.IT
A Deterministic Streaming Sketch for Ridge Regression
University of Utah（犹他大学）
我们提供了一个确定性的空间有效算法估计岭回归。对于具有$d$特征和足够大的正则化参数的$n$数据点，我们仅使用$O(d/\varepsilon)$空间提供了$\varepsilon$ L $_2$误差内的解决方案。这是第一个$o(d^2)$空间确定性流算法，保证解决这个经典问题的错误和风险界。该算法通过频繁方向的变体来勾画协方差矩阵，这意味着它可以在仅插入流和各种分布式数据设置中操作。在合成和真实世界的数据集上的随机草图算法相比，我们的算法具有较少的经验误差，使用较少的空间和相似的时间。
2021-03-10 cs.DS cs.LG stat.ML
