Almost Optimal Relative Error Streaming Quantiles with Full Mergeability
Computer Science Institute of Charles University（查理大学计算机科学研究所）
该研究设计了一种具备完全合并性的新型相对误差流分位数摘要，其空间复杂度更接近下界，且比现有最优算法更简单，更适合实现。
2026-10-13 cs.DS
Relative Error Streaming Quantiles
针对流式数据秩估计的乘性误差需求，本文提出一种空间效率更优的随机化概要，其空间界接近最优，无需预知流长度且可完全合并，适用于并行分布式环境。
2023-08-24 cs.DS
Small Space Stream Summary for Matroid Center
在拟阵中心问题中，它推广了$k$ -中心问题，我们需要选择一组中心，这是一个秩为$r$的拟阵的独立集。我们研究这个问题的流，在地面设置的元素到达流。我们首先表明，任何随机的一次通过流算法，计算一个更好的$Δ$ -近似分区拟阵中心必须使用$Ω(r^2)$位的空间，其中$Δ$是纵横比的度量，可以是任意大。这显示了拟阵中心和$k$ -中心之间的二次分离，其中Doubling算法使用$O(k)$ -空间和一次通过给出$8$ -近似。为了补充这一点，我们给出了一个一遍算法的拟阵中心，存储最多$O(r^2\log(1/\varepsilon)/\varepsilon)$点（即，流摘要），其中存在$(7+\varepsilon)$近似解，其可以通过蛮力找到，或者可以用有效算法找到$(17+\varepsilon)$近似。如果我们允许第二次通过，我们可以有效地计算$(3+\varepsilon)$ -近似;这也几乎达到了已知的最佳近似比（$3+\varepsilon$）与总运行时间$O((nr + r^{3.5})\log(1/\varepsilon)/\varepsilon + r^2(\log Δ)/\varepsilon)$，其中$n$是输入点的数量。我们还考虑了问题的拟阵中心与$z$离群值，并给出了一个单程算法，输出一组$O((r^2+rz)\log(1/\varepsilon)/\var…
2020-07-20 cs.DS
CR-precis: A deterministic summary structure for update data streams
我们提出的\crprecis结构，这是一个通用的，确定性和次线性的数据结构，总结\emph{update}数据流。\crprecis结构产生用于回答各种基本流查询的\emph{first deterministic sub-linear space/time algorithms for update streams}，诸如（a）点查询，（b）范围查询，（c）找到近似频繁项，（d）找到近似分位数，（e）找到近似分层重命中者，（f）估计内积，（g）接近最优的$B$桶直方图等。
2006-10-10 cs.DS
Streaming Quantiles Algorithms with Small Space and Update Time
Amazon（亚马逊）；Yahoo Research（雅虎研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
流数据上的近似分位数和分布已经研究了大约二十年。最近，Karnin，Lang和Liberty提出了第一个渐进最优算法。这份手稿补充了他们的理论结果，提供了一个实用的变种，他们的算法与改进的常数。对于一个给定的草图大小，我们的技术证明减少了上界的草图误差的两个因素。实验验证了这些改进。我们修改后的分位数草图也通过将最差情况下的更新时间从$O(1/\varepsilon)$减少到$O(\log (1/\varepsilon))$来改善延迟。我们还提出了两个算法的加权项流提供改进的渐近更新时间相比，天真的扩展。最后，我们为这些草图提供了一个专门的数据结构，从而减少了它们的内存占用和更新时间。
2019-06-29 cs.DB cs.DS cs.LG
A Matrix Factorization Approach in Turnstile Streaming
Google（谷歌）；Google Research（谷歌研究）；UCLA（加州大学洛杉矶分校）；Anthropic
该研究针对数据流的M点查询问题，提出矩阵分解的流式算法，改进分位数问题的内存下界，证明二进CountSketch在分位数问题中接近最优。
2026-08-03 cs.DS
DDSketch: A fast and fully-mergeable quantile sketch with relative-error guarantees
对于大型分布式数据流，可以轻松地维护诸如均值和方差之类的汇总统计量，但是顺序统计量（即，样本分位数）只能近似地概括。有大量关于维护分位数草图的文献，其中重点是在使用很少内存的情况下限制草图的秩误差。不幸的是，秩误差保证并不排除任意大的相对误差，这在实践中经常发生在数据严重偏斜的情况下。考虑到当代大规模系统的分布式性质，分位数草图的另一个关键属性是可合并性，即，几个组合的草图必须与相同数据的单个草图一样精确。我们提出了第一个完全可合并的，相对错误的分位数草图算法与正式的保证。该草图非常快速和准确，目前正被Datadog广泛使用。
2019-08-28 cs.DB cs.DS
Learned Interpolation for Better Streaming Quantile Approximation with Worst-Case Guarantees
Massachusetts Institute of Technology（麻省理工学院）；Anthropic（Anthropic公司）；Amazon AWS（亚马逊云科技）；Microsoft Research（微软研究院）
本文提出将插值技术应用于流式分位数问题，在保持与 KLL 类似的最坏情况保证的同时，在真实数据上获得优于 KLL 的近似效果，以弥补 KLL 实际表现不佳而 t-digest 缺乏最坏情况保证的不足。
2023-04-15 cs.DB cs.DS cs.LG
Deletion Robust Non-Monotone Submodular Maximization over Matroids
Google Research（谷歌研究院）；Sapienza University of Rome（罗马大学）
本文针对拟阵约束下的删除鲁棒子模最大化问题，提出了集中式和流式场景下的常数因子近似算法，其空间复杂度依赖于拟阵秩和删除元素数，并分别实现了4.597和9.435等近似比，且在单调情形下得到改进。
2022-08-16 cs.DS cs.LG stat.ML
Sample-Based Matroid Prophet Inequalities
针对未知分布下的一般拟阵先知选择问题，提出基于分位数归约和可选 OCRS 的样本算法，以 polylog 样本达到 (1/4−ε) 竞争比。
2024-06-18 cs.DS
Data stream fusion for accurate quantile tracking and analysis
UDDSKETCH是一种用于精确跟踪数据流中分位数的最新算法，源自DDSKETCH算法。UDDSKETCH提供覆盖独立于输入分布的全部分位数范围的精度保证，并大大提高了DDSKETCH的精度。在本文中，我们展示了如何压缩和融合数据流（或数据集），通过使用UDDSKETCH数据摘要，融合到一个新的摘要相关的工会的流（或数据集）处理的输入摘要，同时保留错误和大小保证UDDSKETCH提供。草图的这种属性称为可合并性，它支持并行和分布式处理。我们证明了UDDSKETCH是完全可合并的，并介绍了一个并行版本的UDDSKETCH适合基于消息传递的架构。我们正式证明其正确性，并将其与DDSKETCH的并行版本进行比较，通过大量的实验结果表明，我们的并行算法几乎总是优于并行DDSKETCH算法在确定分位数的整体精度。
2021-01-17 cs.DB cs.DC cs.DS
Theory meets Practice at the Median: a worst case comparison of relative error quantile algorithms
估计数据的分布和分位数是数据采掘和数据科学中的一项基本任务。我们研究的算法，提供准确的结果，极端分位数查询使用少量的空间，从而有助于了解输入分布的尾部。也就是说，我们专注于两个最新的国家的最先进的解决方案：$t$ -digest和ReqSketch。虽然$t$ -digest是一种流行的紧凑摘要，在各种设置中都能很好地工作，但ReqSketch具有形式上的准确性保证，其代价是随着新观察的插入而增加。在这项工作中，我们提供了洞察哪些条件使一个比另一个更可取。也就是说，我们将展示如何构建输入$t$摘要，引起几乎任意大的错误，并证明它无法提供准确的结果，即使在i.i.d.。来自高度非均匀分布的样本。我们对ReqSketch提出了实际的改进，使其比$t$ -digest更快，而其错误在任何实例上都保持有界。尽管如此，我们的研究结果证实，$t$ -digest在实践中遇到的“非对抗性”数据上仍然更准确。
2021-06-10 cs.DS stat.CO
Deletion Robust Submodular Maximization over Matroids
Google Research（谷歌研究院）；Sapienza University of Rome（罗马第一大学）
本文研究了经典拟阵约束下的单调子模最大化删除鲁棒问题，提出了空间复杂度依赖于拟阵秩和删除元素数量的常数因子近似算法，并在集中式和流式设置下分别给出了近似比与摘要大小保证，实验验证了其有效性。
2022-01-31 cs.DS cs.LG stat.ML
Fully-Dynamic Coresets
随着输入的规模变得越来越大，核心集（coreset）--小而有代表性的输入摘要--比以往任何时候都更重要。如果任何可行解$S$相对于$C_w$的成本在$S$相对于原始输入的成本的$[1 {\pm} \varepsilon]$之内，则作为输入的子集的加权集合$C_w$是$\varepsilon$ -coreset。我们给出了一个非常一般的技术来计算coresets在全动态设置输入点可以添加或删除。给定一个静态的$\varepsilon$ -coreset算法，运行时间$t(n, \varepsilon, λ)$和计算的大小$s(n, \varepsilon, λ)$的coreset，其中$n$是输入点的数量和$1 {-}λ$是成功的概率，我们给出了一个完全动态的算法，计算的$\varepsilon$ -coreset与最坏情况下的更新时间$O((\log n) \cdot t(s(n, \varepsilon/\log n, λ/n), \varepsilon/\log n, λ/n) )$（这个界限是非正式的），其中成功的概率是$1{-}λ$。我们的技术是一个完全动态的模拟合并和减少技术，适用于插入只设置。虽然我们的空间使用是$O(n)$，我们的工作中存在的自适应对手，我们表明，$Ω(n)$空间是必要的，当对手是自适应的。因此，我们得到完全动态$\varepsilon$ -core…
2020-09-28 cs.DS
SplineSketch: Even More Accurate Quantiles with Error Guarantees
Computer Science Institute of Charles University（查理大学计算机研究所）；INSAIT, University of Sofia "St. Kliment Ohridski"（索菲亚大学INSAIT）
提出SplineSketch分位数摘要算法，通过单调三次样条插值动态划分子区间，在保证均匀有界秩误差的同时，性能比t-digest提升2-20倍。
2026-06-01 cs.DB cs.DS stat.CO
