Streaming k-Means Clustering with Fast Queries
我们提出了一个流上的k-均值聚类方法,重点是提供快速响应聚类查询。与当前最先进的方法相比,我们的方法在集群中心的查询时间上有了实质性的改进,同时保留了可证明的小近似误差和低空间使用率的理想特性。我们的算法依赖于一个新的想法“coreset缓存”,系统地重用coresets(数据摘要)计算最近的查询,回答当前的聚类查询。我们提出了理论分析和详细的实验证明其正确性和效率
2018-12-06 cs.DS cs.SE
Achieving Approximate Soft Clustering in Data Streams
AT&T Labs - Research(AT&T实验室 - 研究)
近年来,数据流由于技术的进步而变得突出,这些技术使许多应用程序能够生成连续的数据流。这增加了开发能够有效处理数据流的算法的需求。此外,数据流的实时性要求和不断变化的性质使得流挖掘问题,包括聚类,具有挑战性的研究问题。在本文中,我们提出了一个单通道流软聚类(一个点在集群中的成员是由分布描述)算法,它近似于“软”版本的k-均值目标函数。软聚类在数据库和机器学习的各个方面都有应用,包括密度估计和学习混合模型。我们首先实现一个简单的伪近似的“硬”k均值算法,该算法允许输出多个$k$中心。我们将此批处理算法转换为流处理算法(使用最近提出的k-means++算法的扩展)的“收银机”模型。我们还扩展了该算法的聚类时,在数据流中的移动窗口。
2012-07-26 cs.AI cs.DS
Clustering Co-occurrence of Maximal Frequent Patterns in Streams
Leiden Institute of Advanced Computer Science(莱顿高级计算机科学研究所);Leiden University(莱顿大学)
更好地查看数据的一种方法是使用频繁模式。在本文中,频繁模式是指在一个项集中出现次数最少的子集。然而,流中频繁模式的发现一直是有问题的。因为流可能是无止境的,所以原则上不可能说一个模式是否经常发生。此外,模式的数量可能是巨大的,并且流的结构的良好概述很快就会丢失。所提出的方法将使用聚类来促进流的结构的分析。对模式同现的聚类将为用户提供关于流结构的改进视图。有些模式可能会同时出现,因此它们应该形成一个组合模式。这样,聚类中的模式将是最大频繁模式:最大频繁模式。我们的方法来决定,如果模式经常出现在一起,将基于一种方法的聚类时,只有对之间的距离是已知的。最大频繁模式的数量要小得多,结合聚类方法,这些模式提供了一个很好的视图上的流的结构。
2007-05-04 cs.AI cs.DS
Maximum Matching in Semi-Streaming with Few Passes
在半流模型中,算法以任意顺序接收图的边流,并使用大小为$O(n \mbox{ polylog } n)$的存储器,其中$n$是图的顶点数。在这项工作中,我们提出了半流算法,执行一个或两个通过输入流的最大匹配没有限制的输入图,并为重要的特殊情况下,我们称为最大二分匹配(MBM)的二分图。贪婪匹配算法对输入执行一次遍历,并输出$1/2$近似值。自2005年关于匹配问题的流算法的第一篇论文出现以来,是否存在更好的一次通过算法一直是一个悬而未决的问题[Feigenbaum等人,SODA 2005]。我们在这个问题上取得了以下进展:在一次通过设置,我们表明,有一个确定性的半流算法MBM与预期的近似因子$1/2+0.005$,假设边到达一个接一个(均匀)随机顺序。我们将此算法推广到一般的图,我们得到了一个$1/2+0.003$近似。在两遍设置中,我们不需要随机到达顺序假设(边缘流是任意顺序的)。我们提出了一个简单的随机两遍半流算法MBM与预期的近似因子$1/2 + 0.019$。此外,我们讨论了一个更复杂的确定性的两遍半流算法MBM与近似因子$1/2 + 0.019$和一般的图与近似因子$1/2 + 0.0071$,该算法的推广。
2014-04-10 cs.DS
Fast, Space-Optimal Streaming Algorithms for Clustering and Subspace Embeddings
本文提出流式聚类和子空间嵌入算法,实现空间最优和时间最优,与离线设置效率相当。
2025-04-22 cs.DS
Streaming Balanced Clustering
度量空间中数据点的聚类是计算机科学中最基本的问题之一,在数据挖掘、信息检索和机器学习等领域有着广泛的应用。由于大型数据集的聚类的必要性,已经开发了几个流算法的聚类问题,如$k$ -中位数和$k$ -均值问题的不同变体。然而,尽管上下文的重要性,目前的理解平衡集群(或更一般的能力集群)在流设置是非常有限的。先前已知的用于容量限制聚类的唯一流近似算法需要三次通过并且仅处理插入。在这项工作中,我们开发了\emph{the first single pass streaming algorithm}的一般类的聚类问题,其中包括capacitated $k$ -中位数和capacitated $k$ -在欧几里得空间的手段,只使用多$( k d \log Δ)$空间,其中$k$是集群的数量,$d$是尺寸和$Δ$是坐标的最大相对范围。(Note $d\log Δ$是表示一个点所需的空间。)该算法仅通过$1+ε$因子违反容量约束。有趣的是,与以前的算法不同,我们的算法处理点的插入和删除。为了提供这个结果,我们定义了通过一些弯曲的半空间的空间的分解。我们使用这种分解来设计一个强大的核心集的大小多$( k d \log Δ)$平衡聚类。然后,我们表明,这种coreset是可实现的流和分布式设置。
2019-10-02 cs.DC cs.DS
Single pass sparsification in the streaming model with edge deletions
在本文中,我们给出了一个结构的削减稀疏的Benczur和Karger在{ \em动态}流设置在一个单一的通过数据流。以前的构造要么需要多次走刀,要么无法处理边删除。我们使用$\tilde{O}(1/\e^2)$时间为每个流更新和$\tilde{O}(n/\e^2)$时间来构建一个稀疏。我们的$\e$ -稀疏器有$O(n\log^3 n/\e^2)$边。我们的研究结果背后的主要工具是Ahn等人的草图技术的应用。[SODA 12]来估计边缘连通性,以及具有有限独立性和稀疏恢复的采样的新应用,以产生稀疏器的边缘。
2012-03-22 cs.DS
Improved Sliding Window Algorithms for Clustering and Coverage via Bucketing-Based Sketches
流计算在大规模数据分析中起着重要的作用。滑动窗口模型是一种流计算模型,它还捕获数据的新近性。在此模型中,数据一次到达一个项目,但对于特定问题,只考虑最新的$W$数据项目。目标是通过在流期间维护一个小摘要,在流的结尾输出一个好的解决方案。在这项工作中,我们提出了一个新的算法框架,设计有效的滑动窗口算法,通过桶为基础的草图。基于这个新的框架,我们开发了空间有效的滑动窗口算法的$k$覆盖,$k$聚类和多样性最大化问题。对于上述每一个问题,我们的算法实现了$(1\pm \varepsilon)$ -近似。与以往的工作相比,它提高了逼近比和空间。
2021-10-29 cs.DS
Lower Bounds for Multi-Pass Processing of Multiple Data Streams
本文简要介绍了数据流处理的计算模型,并介绍了一种新的多流多遍处理模型,即mp 2s-自动机。给出了用这类自动机求解集合不相交性问题的两个算法。本文的主要技术贡献是证明了用mp 2s-自动机求解集合不相交性问题所需的内存大小和头数的一个下界。
2009-02-10 cs.DS
Tight Space-Approximation Tradeoff for the Multi-Pass Streaming Set Cover Problem
我们研究了流模型中的经典集合覆盖问题:包含实例的集合在流中一个接一个地显示,目标是通过在流上进行一次或几次传递来解决问题,同时在输入大小中保持次线性空间$o(mn)$;这里$m$表示集合的数量,$n$是宇宙大小。注意,在这个模型中,我们主要关注算法的空间需求,因此不限制它们的计算时间。我们的主要结果是一个决议的空间近似权衡流集覆盖问题:我们表明,任何$α$ -近似算法的集覆盖问题需要$\widetildeΩ(mn^{1/α})$空间,即使它是允许polylog ${(n)}$通过流,即使集到达流中的随机顺序。这种空间近似权衡与Har-Peled等人(PODS 2016)的最新算法实现的最佳已知边界相匹配,该算法仅需要$O(α)$以对抗顺序通过流,因此以非常稳健的方式解决了近似数据流中的集合覆盖问题的空间复杂度。此外,我们的方法产生严格的空间复杂度的下限$(1- ε)$ -近似流的最大覆盖率的问题,在最近的几个作品中研究。
2017-03-06 cs.DS
Streaming PTAS for Binary $\ell_0$-Low Rank Approximation
我们给出了约束二进制$k$ -均值问题的3遍多对数空间流PTAS和二进制$\ell_0$ -低秩近似问题的4遍多对数空间流PTAS。最近人们研究了上述两个问题之间的联系。我们为前者设计了一个流PTAS,并使用此连接来获得后者的流PTAS。这是第一个常数通过,多对数空间流算法的两个问题之一。
2019-09-25 cs.DS
An Efficient Semi-Streaming PTAS for Tournament Feedback ArcSet with Few Passes
我们提出了第一个半流PTAS的最小反馈弧集问题的有向竞赛在少量的通行证。也就是说,我们得到了一个$(1 + \varepsilon)$ -近似多项式时间$O \left( \text{poly}(n) 2^{\text{poly}(1/\varepsilon)} \right)$,与$p$通过$n^{1+1/p} \cdot \text{poly}\left(\frac{\log n}{\varepsilon}\right)$空间。具有这种通道/空间权衡的唯一先前算法给出了$3$近似(SODA,2020),并且实现了$(1+\varepsilon)$近似的其他多项式时间算法使用二次存储器或线性通道数来实现。我们还提出了一个新的时间/空间权衡$1$ -通过算法,解决比赛反馈弧集问题。这个问题在机器学习中有几个应用,例如创建线性分类器和进行贝叶斯推理。我们还提供了几个额外的算法和有向图,这是一个主要是未开发的领域相关的流问题的下界。
2021-09-14 cs.DS
Streaming with Catalytic Memory
研究带催化和常规内存的流模型,利用特定内存位精确计算频率矩及多项式,给出相关应用算法,通过与催化通信模型关联及新方法得出单遍算法限制和多遍算法下界,并设计出突破三遍障碍的两遍算法计算第二矩。
2026-07-13 cs.DS
Improved Multi-Pass Streaming Algorithms for Submodular Maximization with Matroid Constraints
我们给出了改进的多通道流算法的问题,最大化的单调或任意非负的子模函数的一般$p$ -matchoid约束的模型中,在该模型中,地面集的元素到达一个在一个时间流。我们考虑的约束族推广了$p$任意拟阵约束的交集和$p$ -一致超图匹配。对于单调子模函数,我们的算法使用$O(p/\varepsilon)$ -通道保证$p+1+\varepsilon$,并且只需要存储$O(k)$元素,其中$k$是可行解的最大大小.这立即给出了一个$O(1/\varepsilon)$ -通过$(2+\varepsilon)$ -近似算法的单调子模极大化的拟阵和$(3+\varepsilon)$ -近似单调子模匹配。我们的算法不注意选择$\varepsilon$,并且可以在任何次数的通过后停止,从而提供适当的保证。我们扩展我们的技术,以获得第一个多通流算法的一般,非负的子模函数受到$p$ -matchoid约束,通过独立的地面集和$k$的大小。我们表明,一个随机的$O(p/\varepsilon)$ -通过算法存储$O(p^3k\log(k)/\varepsilon^3)$元素给出了一个$(p+1+\barγ+O(\varepsilon))$ -近似,其中$\bar{gamma}$是保证最知名的离线算法相同的问题。
2021-02-18 cs.DS
Streaming algorithms for computing coresets and $k$-median clustering in the Hamming space
CNRS & DIENS, École normale supérieure de Paris, PSL Research University(法国国家科学研究中心与信息与电子工程研究所,巴黎高等师范学院,巴黎文理研究大学);Department of Mathematics and Computer Science (IMADA), University of Southern Denmark(南丹麦大学数学与计算机科学系(IMADA))
针对Hamming空间中W[1]-困难的连续k-中位数聚类问题,提出首个带(1+ε)近似比的FPT流算法,空间复杂度低,还给出该问题首个ε-核心集的流算法。
2026-08-26 cs.DS
Single Pass Spectral Sparsification in Dynamic Streams
我们提出了第一个单遍算法计算谱稀疏的动态半流模型。给定一个包含插入和删除边的流到图G的单次遍历,我们的算法保持G的关联矩阵的随机线性草图为O((1/epsilon ^2)n polylog(n))。使用此草图,在任何点,该算法都可以以高概率输出G的(1 +/-π)谱稀疏因子。虽然O((1/epsilon^2)n polylog(n))空间算法已知用于计算动态流中的“切割稀疏器”[AGM 12 b,GKP 12]和“仅插入”流中的谱稀疏器[KL 11],但在我们的工作之前,用于在动态流中维护谱稀疏器的最著名的单遍算法需要尺寸Omega((1/epsilon^2)n^(5/3))的草图[AGM 14]。为了实现我们的结果,我们表明,使用粗稀疏的G和G的关联矩阵的线性草图,它是可能的采样边缘的有效电阻,获得一个频谱稀疏的任意精度。从草图中采样需要ell_2/ell_2稀疏恢复的新应用,这是[AGM 12 b]中用于切割稀疏器的ell_0方法的自然扩展。最近的工作[MP 12]行采样矩阵近似给出了一个递归的方法来获得所需的粗稀疏。在一定的限制下,我们的方法还扩展到保持一般矩阵A^T A的谱近似的问题,给定A中的行的更新流。
2015-04-16 cs.DS
Polynomial Pass Lower Bounds for Graph Streaming Algorithms
我们提出了新的下界,表明多项式数量的通行证是必要的,解决一些基本的图形问题的流模型的计算。例如,我们表明,任何流算法,找到一个加权最小$s$削减$t$顶点无向图需要$n^{2-o(1)}$空间,除非它使$n^{Ω(1)}$通过流。为了证明我们的下限,我们引入并分析了一个新的四人通信问题,我们称之为隐藏指针追逐问题。这是一个标准的指针追逐问题的精神与关键的区别,在这个问题中的指针是隐藏的球员,找到他们中的每一个需要解决另一个通信问题,即集合相交问题。我们的下界图的问题,然后获得减少隐藏指针追逐问题。我们的隐藏指针追踪问题看起来足够灵活,可以找到其他应用程序,因此本身就很有趣。为了展示这一点,我们进一步提出了一个有趣的应用程序,这个问题超出流算法。使用减少隐藏指针追逐,我们证明了任何算法的次模函数最小化需要使$n^{2-o(1)}$值查询的功能,除非它有一个多项式程度的自适应。
2019-04-09 cs.DS
Multi-Pass Streaming Algorithms for Monotone Submodular Function Maximization
我们考虑最大化一个单调的子模函数的基数约束或背包约束下的流设置。特别是,元素顺序到达,并且在任何时间点,算法只能访问存储在主存储器中的数据的一小部分。我们提出了以下流算法$O(\varepsilon^{-1})$通过:-一个$(1-e^{-1}-\varepsilon)$ -基数约束问题的近似算法-一个$(0.5-\varepsilon)$ -背包约束问题的近似算法。我们的两个算法都在$O^\ast(n)$时间内运行,使用$O^\ast(K)$空间,其中$n$是基集的大小,$K$是背包的大小。这里,术语$O^\ast$隐藏了$\log K$和$\varepsilon^{-1}$的多项式。我们的流算法也可以用作快速近似算法。特别地,对于基数约束问题,我们的算法需要$O(n\varepsilon^{-1} \log (\varepsilon^{-1}\log K) )$时间,改进了Badanidiyuru和Vondrák的算法需要$O(n \varepsilon^{-1} \log (\varepsilon^{-1} K) )$时间.
2018-02-17 cs.DS
Maximum Matching sans Maximal Matching: A New Approach for Finding Maximum Matchings in the Data Stream Model
图的最大匹配问题是计算机科学中最经典的问题之一。尽管大量的工作致力于研究这个问题的数据流模型,最先进的单通道半流算法,它仍然是一个简单的贪心算法,计算最大匹配,这种方式获得1/2近似。一些以前的作品描述了两个/三个通过算法,通过使用他们的第二和第三遍,以提高上述最大匹配,提高了这个近似比。本文的一个贡献继续这条线的工作,提出了新的三遍半流算法,沿着这些路线的工作,并获得改进的近似比为0.6111和0.5694的三角形和一般图形,分别。不幸的是,最近的一项工作(Konrad和Naidu,2021)表明,在第一遍中构建最大匹配,然后在进一步的遍中改进它的策略具有局限性。此外,这种技术不太可能让我们更接近单通道半流算法,获得比1/2近似更好的结果。因此,提出在第一次通过时做其他事情的算法是很有趣的(我们称这种算法为非最大匹配优先算法)。目前还没有这样的算法本文的主要贡献是描述了这样的算法,对于一般图,在两遍和三遍中分别获得0.5384和0.5555的近似比(三次通过的结果优于先前的现有技术,但比前一段中提到的本文对于一般图的结果更差)。
2021-09-13 cs.DS
Streaming Kernelization
核化是组合难题预处理的一种形式化。我们修改了内核化的标准定义,它允许任何多项式时间算法进行预处理,而要求预处理在流设置中运行,并使用实例$(x,k)$上的$\mathcal{O}(poly(k)\log|x|)$位内存。我们在这个新的设置中获得了几个结果,这取决于允许进行这种流式内核化的输入的传递次数。边缘支配集是一个有趣的例子,因为它没有单遍内核化,但在输入上的两遍足以匹配最佳标准内核化的边界。
2014-05-06 cs.DS
Streaming Approximation Scheme for Minimizing Total Completion Time on Parallel Machines Subject to Varying Processing Capacity
本文研究了在不同处理能力下的并行机上最小化总完工时间的问题。在本文中,我们开发了一个近似方案的数据流模型下的问题,输入数据是巨大的,不能装入内存,因此只能扫描几遍。我们的算法可以在一个过程中计算出最优总完工时间的近似值,并在两个过程中输出近似值的进度表。
2022-04-05 cs.DS
A Second Look at Counting Triangles in Graph Streams (revised)
在本文中,我们提出了改进的结果在边流图的三角形计数问题。对于具有$m$边和至少$T$三角形的图,我们表明,对流进行额外的查看会产生一个两遍流算法,该算法使用$O(\frac{m}{\eps^{2.5}\sqrt{T}}\polylog(m))$空间并输出图中三角形数量的$(1+\eps)$近似值。这改进了Braverman、Ostrovsky和Vilenchik在ICALP 2013中的双通道流测试器,其使用$O(\frac{m}{T^{1/3}})$空间区分无三角形图和至少具有$T$三角形的图。此外,在依赖于$T$,我们表明,更多的通行证不会导致更好的空间约束。换句话说,我们证明了没有恒定的通过流算法,区分三角形的图形与至少$T$三角形使用$O(\frac{m}{T^{1/2+ρ}})$空间的任何常数$ρ\ge 0$。
2016-03-09 cs.DS
Faster Deterministic Streaming Vertex Coloring
Tel Aviv University(特拉维夫大学);Nanjing University(南京大学)
本文提出一种确定性流算法,在O(√logΔ)次遍历中实现O(Δ)色着色,首次在亚对数次遍历内达到线性Δ色 palette 大小。
2026-05-08 cs.DS
Fair Clustering in the Sliding Window Model
研究滑动窗口模型中的比例公平聚类流式算法,证明严格公平下无法实现有限乘法比率,但放宽约束后存在空间高效的近似算法,并在真实数据集上验证了理论。
2025-03-07 cs.DS
Deterministic Graph Coloring in the Streaming Model
最近在图流中的突破已经导致设计用于各种图着色问题的单遍半流算法,例如$(Δ+1)$着色、退化着色、着色无三角形图等。这些算法都是随机的关键方式,是否有任何确定性的类似物,他们仍然是一个重要的悬而未决的问题,在这方面的工作。我们解决了这个基本问题,证明了没有确定性的单通道半流算法,给定一个图$G$与最大程度$Δ$,可以输出一个适当的着色$G$使用任何数量的颜色是次指数在$Δ$。我们的证明是基于分析多方通信复杂性的相关通信游戏,使用随机图论类型的参数,可能是独立的利益。我们补充我们的下限,表明只有一个额外的通过输入允许一个恢复$O(Δ^2)$着色通过一个确定性的半流算法。该结果进一步扩展到甚至在动态流中的$O(\logΔ)$通道中的$O(Δ)$着色。
2021-09-30 cs.DS
Separations for Estimating Large Frequency Moments on Data Streams
我们研究了经典问题的矩估计的基础向量的$n$坐标是隐式定义通过一系列的更新数据流。我们表明,如果更新的向量到达随机顺序插入的唯一模型,那么存在空间有效的算法与改进的依赖近似参数$\varepsilon$。特别是,对于任何真正的$p > 2$,我们首先获得一个算法的$F_p$矩估计使用$\tilde{\mathcal{O}}\left(\frac{1}{\varepsilon^{4/p}}\cdot n^{1-2/p}\right)$位的内存。我们的技术还给出了算法$F_p$矩估计与$p>2$在任意阶插入只和旋转栅门流,使用$\tilde{\mathcal{O}}\left(\frac{1}{\varepsilon^{4/p}}\cdot n^{1-2/p}\right)$位的空间和两个通道,这是第一个最佳的多通道$F_p$估计算法高达$\log n$因素。最后,我们给出了一个改进的$Ω\left(\frac{1}{\varepsilon^2}\cdot n^{1-2/p}\right)$的一遍插入流的下界。我们的研究结果分离的复杂性,这个问题之间的随机和非随机的订单,以及单通和多通流。
2022-07-07 cs.DS
Matrix Norms in Data Streams: Faster, Multi-Pass and Row-Order
数据流中的一个中心问题是表征潜在频率向量的哪些函数可以有效地近似。最近,已经有相当大的努力,在扩展这个问题的估计函数的矩阵,作为一个数据流。这种设置将经典问题推广到矩阵的类似问题。例如,我们现在希望估计“频繁方向”计数,而不是估计频繁项计数。一个相关的例子是估计范数,现在对应于估计矩阵奇异值的向量范数。尽管最近的努力,目前的理解,这样的矩阵问题是相当弱的向量问题。我们研究了在流中估计矩阵范数的许多方面,这些方面以前没有被考虑过:(1)多遍算法,(2)一次一行地看到底层矩阵的算法,以及(3)时间有效的算法。我们的多通道和行顺序算法使用的内存比单通道和入口更新模型中可证明需要的内存少,因此可以在这些模型之间进行分离(就内存而言)。此外,我们所有的算法都比以前的算法快得多。我们还证明了一些下界,并获得例如,一个接近完整的表征所需的存储器的行顺序算法估计Schatten $p$ -规范的稀疏矩阵。
2018-10-24 cs.DS
Optimal Multi-Pass Lower Bounds for MST in Dynamic Streams
本文证明动态流中 MST 的 AGM 多遍算法在整个遍数范围内最优:任何 $p$ 遍算法均需 $n^{1+Ω(1/p)}$ 空间,半流式需 $Ω(\log n/\log\log n)$ 遍。
2023-12-07 cs.DS
Depth First Search in the Semi-streaming Model
深度优先搜索(DFS)树是解决各种图问题的基本数据结构.经典的DFS算法对于具有$m$和$n$顶点的图需要$O(m+n)$时间。在流模型中,算法被允许在输入图上进行几次(优选地是单次),对所使用的局部空间的大小具有限制。简单地说,DFS树可以通过使用$O(m)$空间的单次遍历来计算。在允许$O(n)$空间的半流模型中,它可以在$O(n)$过程中计算,其中每个过程向DFS树添加一个顶点。然而,即使在任何宽松的流式传输环境中,使用$o(m)$空间使用$o(n)$遍数来计算DFS树仍然是一个开放的问题。我们提出了第一个半流算法,计算DFS树的无向图在$o(n)$通过使用$o(m)$空间。我们首先描述一个非常简单的算法,它最多需要使用$O(nk)$空间的$\lceil n/k\rceil$遍,其中$k$是任何正整数。然后,我们改进了这个算法,使用更多涉及的技术,以减少通过$\lceil h/k\rceil$类似的空间约束下,其中$h$是计算DFS树的高度的数量。特别地,该算法改进了计算的DFS树是浅的(具有$o(n)$高度)的情况下的边界。此外,该算法作为一个框架,允许使用任何算法的灵活性,以保持存储的稀疏子图的DFS树作为一个黑盒子,这可能是独立的利益。这两种算法基本上证明了存在的空间和计算DFS树所需的通道数之间的权衡。此外,我们评估这些算法的实验,揭示了他们的特殊性能在实践中。对于随…
2019-01-11 cs.DS
Near-optimal streaming approximation for Max-DICUT in sublinear space using two passes
University of Waterloo(滑铁卢大学);Toyota Technological Institute at Chicago(芝加哥丰田技术学院)
本文提出一个两次遍历算法,在子线性空间内实现Max-DICUT的(1/2-ε)近似,解决了单次遍历下任意图的子线性空间近似问题。
2026-04-12 cs.DS
Online $k$-means Clustering on Arbitrary Data Streams
我们考虑在线$k$ -均值聚类,其中每个新点被分配到最近的聚类中心,之后该算法可以更新其中心。所产生的损失是从新点到其分配的聚类中心的平方距离之和。数据流$X$上的目标是实现$L(X, OPT_k)$的恒定因子的损耗,即事后使用$k$固定点的最佳可能损耗。我们提出了一个数据参数,$Λ(X)$,这样,对于任何算法保持$O(k\text{poly}(\log n))$中心在时间$n$,存在一个数据流$X$的损失$Ω(Λ(X))$是不可避免的。然后,我们给出了一个随机算法,实现聚类损失$O(Λ(X) + L(X, OPT_k))$。我们的算法使用$O(k\text{poly}(\log n))$内存和维护$O(k\text{poly}(\log n))$集群中心。我们的算法也享有$O(k\text{poly}(\log n))$的运行时间,是第一个算法,实现多项式的空间和时间复杂度在此设置。它也是第一个在不对输入数据做任何假设的情况下拥有可证明保证的方法。
2022-07-31 cs.DS cs.LG
Approximately Counting Subgraphs in Data Streams
估计数据流中的子图的数量是一个基本的问题,在过去的十年中受到了极大的关注。在本文中,我们给出了改进的流算法近似计数的出现次数的任意子图$H$,表示为$\# H$,当输入图$G$表示为$m$边流。为了获得我们的算法,我们提供了一个通用的转换,恒定轮子线性时间图算法的查询访问模型中的恒定通过子线性空间图流算法。利用这种变换,我们得到了以下结果。1.在$\tilde{O}(\frac{m^{ρ(H)}}{ε^2\cdot \# H})$空间中给出了$(1\pm ε)$ -逼近$\# H$的$3$ -通过旋转栅门流算法,其中$ρ(H)$是$H$的分数边覆盖.这改进并推广了McGregor等人[PODS 2016]的结果,McGregor等人给出了$3$ -用于$(1\pm ε)$的仅插入流算法-如果该算法被赋予对度的额外oracle访问,则近似于$\tilde{O}(\frac{m^{3/2}}{ε^2\cdot \# T})$空间中三角形的数量$\# T$。2.我们提供了一个恒定的通过流算法$(1\pm ε)$ -近似$\# K_r$在$\tilde{O}(\frac{mλ^{r-2}}{ε^2\cdot \# K_r})$空间中的任何$r\geq 3$,在图$G$与退化$λ$,其中$K_r$是一个团的$r$顶点。这解决了Bera和Seshadhri的猜想[PODS 2020]。更一般地…
2022-03-27 cs.DS
Polylogarithmic Sketches for Clustering
给定$\ell_p^d$中的$n$点,我们考虑将点划分为具有关联中心的$k$簇的问题。聚类的成本是点到其聚类中心的距离的$p^{\text{th}}$幂的总和。对于$p \in [1,2]$,我们设计草图的大小聚$(\log(nd),k,1/ε)$,使成本的最佳聚类可以估计内的因素$1+ε$,尽管事实上,压缩表示不包含足够的信息来恢复集群中心或分区成集群。这导致了一个流算法估计聚类成本与空间聚$(\log(nd),k,1/ε)$。我们还获得了一个分布式内存算法,其中的$n$点之间任意分区的$m$机器,其中每个发送信息到一个中央党谁然后计算近似的聚类成本。在此工作之前,对于$p \in [1,2)$,不知道这种流或分布式存储器算法具有对$d$的次线性依赖性。
2022-04-26 cs.DS
Tight Bounds for Single-Pass Streaming Complexity of the Set Cover Problem
我们解决了单通道流算法的空间复杂度近似经典的集合覆盖问题。为了找到一个$α$ -近似集覆盖(任何$α= o(\sqrt{n})$)使用单通道流算法,我们表明,$Θ(mn/α)$空间是充分和必要的(高达$O(\log{n})$的因素),这里$m$表示的集合数和$n$表示宇宙的大小。这为Indyk等人(2015)提出的关于使用次线性空间的小近似因子的单遍算法的可能性的开放问题提供了一个强有力的否定答案。我们进一步研究的问题,估计的最小集覆盖的大小(而不是找到实际的集),并建立一个额外的因素$α$节省的空间是可以实现的,在这种情况下,这是最好的可能。换句话说,我们表明,$Θ(mn/α^2)$空间是足够的和必要的(对数因子)估计的最小集覆盖范围内的一个因素$α$的大小。我们的算法实际上适用于估计覆盖整数规划的最优值的更一般的问题。另一方面,我们的下界甚至对于集合以随机顺序呈现的集合覆盖实例也成立。
2016-03-17 cs.DS
Graph Spanners by Sketching in Dynamic Streams and the Simultaneous Communication Model
图素描是一个强大的技术介绍的开创性工作的Ahn,Guha和McGregor'12的连接在动态图形流,从那时起,在文献中享有相当大的关注,并导致了近最佳的动态流算法的许多基本问题,如连接,削减和频谱稀疏和匹配。然而,有趣的是,近似图的最短路径度量的草图和动态流的复杂性仍然远未得到很好的理解。除了经典构造的直接$k$ -通路实现(最近由Fernandez、Woodruff和Yasuda改进为$\lfloor\frac k2\rfloor+1$ -通路'20)之外,现有技术相当于Ahn、Guha和McGregor'12的$O(\log k)$ -通路算法,以及Kapralov和Woodruff'14的$2$ -通路算法.特别是,没有单遍算法是已知的,并且遍数、拉伸和空间复杂度之间的最佳折衷是开放的。在本文中,我们介绍了几个新的图形素描技术近似的最短路径度量的输入图。我们给出了第一个{ \em单遍}绘制算法,用于构建图空间:我们展示了如何使用$\widetilde{O}(n)$空间获得$\widetilde{O}(n^{\frac23})$ -图,以及在一般情况下,对于每个$α\in [0, 1]$,使用$\widetilde{O}(n^{1+α})$空间获得$\widetilde{O}(n^{\frac23(1-α)})$ -图,我们认为这种折衷可能接近最优。我们还给出了新的构造算法,任…
2020-11-12 cs.DS
Clustering Permutations: New Techniques with Streaming Applications
National University of Singapore(新加坡国立大学);Pennsylvania State University(宾夕法尼亚州立大学);Weizmann Institute of Science(魏茨曼科学研究所)
本文提出了一种新的算法框架,用于在Ulam度量下对排列进行聚类,实现了1.999近似算法,并适用于流式计算环境。
2022-12-04 cs.DS
Maximum Matching in Two, Three, and a Few More Passes Over Graph Streams
我们考虑Feigenbaum,Kannan,McGregor,Suri和Zhang的半流模型中的最大匹配问题,该模型受到当今巨型图的启发。作为我们的主要结果,我们给出了无三角形图的两遍$(1/2 + 1/16)$ -逼近算法和一般图的两遍$(1/2 + 1/32)$ -逼近算法,这改进了Konrad,Magniez和Mathieu的$1/2 + 1/52$对二分图和$1/2 + 1/140$对一般图的逼近率.在三个阶段中,我们分别得到了$1/2 + 1/10$对无三角形图的逼近比和$1/2 + 1/19.753$对一般图的逼近比。我们还给出了一个多遍算法,其中我们精确地限制了遍数-我们给出了一个$(2/3 -\varepsilon)$近似算法,该算法使用$2/(3\varepsilon)$遍用于无三角形图,使用$4/(3\varepsilon)$遍用于一般图。我们的算法是简单的和组合的,使用$O(n \log n)$空间,并有$O(1)$更新时间每边。对于一般的图,我们的多遍算法在遍数方面改进了最著名的确定性算法:Ahn和Guha给出了使用$O(\log(1/\varepsilon)/\varepsilon^2)$遍的$(2/3 - \varepsilon)$ -近似算法,而我们的$(2/3 - \varepsilon)$ -近似算法使用$4/(3\varepsilon)$遍;他们…
2017-04-21 cs.DS
On Two-Pass Streaming Algorithms for Maximum Bipartite Matching
研究了最大二分匹配(MBM)的两遍流算法。所有已知的用于MBM的两遍流算法以类似的方式操作:它们在第一遍中计算最大匹配,并在第二遍中找到3-增强路径,以便增强在第一遍中找到的匹配。我们的目的是探索这种方法的局限性,并确定当前的技术是否可以用来进一步提高国家的最先进的算法。我们给出如下结果:我们表明,每一个两遍流算法,只计算一个最大的匹配在第一遍,并输出一个$(2/3+ε)$ -近似需要$n^{1+Ω(\frac{1}{\log \log n})}$空间,对于每一个$ε> 0$,其中$n$是输入图的顶点数。这个结果是通过扩展[GKK,SODA'12]的Ruzsa-Szemerédi图构造而得到的,以确保所得到的图具有接近完美的匹配,这是我们构造所需的关键属性。这一结果可能是独立的利益。此外,我们结合了两种主要技术,即,子采样后的贪婪匹配算法[Konrad,MFCS'18],它给出了一个$2-\sqrt{2} \approx 0.5857$ -近似,和\emph{degree-bounded semi-matchings}的计算[EHM,ICDMW'16][KT,APPROX'17],它给出了一个$\frac{1}{2} + \frac{1}{12} \approx 0.5833$ -近似,并获得一个元算法,产生康拉德和Esfandiari等人。的算法作为特例。这将两个研究方向结合起来…
2021-09-17 cs.DS
Maximum Matching in Turnstile Streams
本文研究了单通道旋转栅门流模型中的无权二分最大匹配问题,其中输入流由边插入和删除组成。在仅插入模型中,可以容易地获得具有空间$O(n \log n)$的一遍$2$近似流算法,其中$n$表示输入图的顶点的数目。我们表明,没有这样的结果是可能的,如果边缘删除是允许的,即使空间$O(n^{3/2-δ})$被授予,为每个$δ> 0$。具体而言,对于每一个$0 \le ε\le 1$,我们表明,在一个通过旋转栅门流模型中,为了计算$O(n^ε)$近似,空间$Ω(n^{3/2 - 4ε})$是恒定误差随机算法所需的,并达到对数因子,空间$O( n^{2-2ε} )$是足够的。我们的下界结果证明在同时消息模型的通信,可能是独立的利益。
2015-05-06 cs.DS
Correlation Clustering and (De)Sparsification: Graph Sketches Can Match Classical Algorithms
针对相关性聚类经典算法进展难以移植到亚线性算法的问题,提出图去稀疏化范式,以黑盒方式成功将经典算法的收益移植到亚线性算法中。
2025-04-05 cs.DS
A Unified Approach for Clustering Problems on Sliding Windows
我们探讨了一般度量空间和欧氏空间中的流滑动窗口模型的聚类问题。我们提出了第一个多对数空间$O(1)$ -近似的度量$k$ -中位数和度量$k$ -意味着问题的滑动窗口模型,回答了主要的开放问题所提出的巴布科克,数据,Motwani和O 'Callaghan,这仍然没有回答了十多年。我们的算法使用$O(k^3 \log^6 n)$空间和$\operatorname{poly}(k, \log n)$更新时间。这是一个指数级的改进,由于Babcock等人的技术所需的空间。我们引入了一个数据结构,扩展了光滑的直方图介绍了Braverman和Ostrovsky操作更广泛的一类功能。特别是,我们表明,仅使用多对数空间,我们可以保持当前窗口的摘要,从该窗口中,我们可以构建一个$O(1)$近似聚类解决方案。合并归约是计算几何中的一种通用方法,用于使离线算法适应仅插入流模型。几个著名的coreset结构主要是在插入只流模型使用这种方法,包括著名的coreset技术的$k$ -中位数,$k$ -手段在低维和高维欧氏空间。之前的工作已经将这些技术应用于插入-删除模型,但将它们转化为滑动窗口模型仍然是一个挑战。我们给出的第一个算法,给定一个插入只流coreset建设的空间$s$,保持一个$(1\pmε)$ -近似coreset的滑动窗口模型使用$O(s^2ε^{-2}\log n)$空间。对于聚类问题,…
2015-04-21 cs.DS
Semi-Streaming Bipartite Matching in Fewer Passes and Optimal Space
我们提供了$\widetilde{O}(ε^{-1})$ -通过半流算法计算$(1-ε)$ -近似最大基数匹配的二分图。我们最有效的方法是确定性的,并使用最佳的,$O(n)$,空间,提高了空间复杂度,以前的国家的最先进的$\widetilde{O}(ε^{-1})$通过算法的Ahn和Guha。为了获得我们的结果,我们提供了更一般的连续优化工具的半流适应。此外,我们利用这些技术来获得改进的近似线性规划,最佳运输,精确匹配,转运和最短路径问题的流变量。
2021-08-03 cs.DS math.OC
Streaming Submodular Maximization under Matroid Constraints
最近的进展(半)流算法的单调子模函数最大化导致了一个简单的基数约束紧的结果。然而,目前的技术未能给出类似的理解自然的推广,包括拟阵约束。本文旨在缩小这一差距。对于秩为$k$的单个拟阵(即,任何解决方案具有至多$k$的基数),我们的主要结果是:1)使用$\widetilde{O}(k)$存储器并实现$0.3178$的近似保证的单遍流式算法,以及2)使用$\widetilde{O}(k)$存储器并通过在流上采取恒定(取决于$\varepsilon$)遍数来实现$(1-1/e - \varepsilon)$的近似保证的多遍流式算法。这改进了先前分别用于单通道和多通道流算法的$1/4$和$1/2$的最佳近似保证。事实上,我们的多通道流算法是严格的,因为任何具有比$1/2$更好的保证的算法都必须通过流进行多次传递,并且任何超过我们对$1-1/e$的保证的算法都必须进行线性多次传递(以及指数数量的值oracle查询)。此外,我们展示了如何使用的方法,多通道流可以进一步加强,如果流的元素到达均匀随机顺序,这意味着一个改进的结果为$p$ -matchoid约束。
2022-02-16 cs.DM cs.DS
Improved Streaming Algorithm for Fair $k$-Center Clustering
School of Mathematics and Statistics, Fuzhou University(福州大学数学与统计学院);School of Integrated Circuits, Guangdong University of Technology(广东工业大学集成电路学院);School of Accounting, Information Systems and Supply Chain, RMIT University(皇家墨尔本理工大学会计、信息系统和供应链学院)
本文提出改进的流算法,用于解决公平的$k$-中心聚类问题,实现5近似比并适应离线问题,同时扩展到半结构化数据流。
2026-01-16 cs.DM cs.DS
S-RASTER: Contraction Clustering for Evolving Data Streams
Fraunhofer-Chalmers Research Centre for Industrial Mathematics(弗劳恩霍夫-查尔姆斯工业数学研究中心);Fraunhofer Center for Machine Learning(弗劳恩霍夫机器学习中心)
压缩聚类(RASTER)是一种单遍算法,用于对2D数据进行基于密度的聚类。它可以在线性时间和恒定内存中处理任意数量的数据,快速识别近似聚类。它还表现出良好的可扩展性,在存在多个CPU核心。与标准聚类算法相比,RASTER具有非常有竞争力的性能,但代价是精度降低。然而,RASTER仅限于批处理,无法识别临时存在的簇。相比之下,S-RASTER是RASTER的流处理范式的适应,能够识别不断变化的数据流中的集群。该算法保留了其父算法的主要优点,即单次通过线性时间成本和滑动窗口内每个离散时间步长的恒定内存需求。滑动窗口被有效地修剪,并且聚类仍然在线性时间内执行。像RASTER一样,S-RASTER在速度上牺牲了通常可以忽略不计的精度。我们的评估表明,竞争算法至少慢50%。此外,S-RASTER显示出良好的定性结果,基于标准度量。它非常适合于真实世界的场景,其中集群不会持续发生,而是周期性发生。
2020-09-16 cs.DC cs.DS cs.LG
Online Differentially Private Consistent Clustering
Google Research(谷歌研究);Tel Aviv University(特拉维夫大学);Google(谷歌);Google Deepmind(谷歌DeepMind)
该研究针对在线流环境下的差分隐私聚类问题,提出通用归约方法,使算法在近似比、空间与时间性能上优于或匹配现有方法,且继承了非私有聚类算法的一致性属性。
2026-08-31 cs.CR cs.DS
Coresets for constrained k-median and k-means clustering in low dimensional Euclidean space
University of Cologne(科隆大学)
我们研究(欧几里德)$k$ -中位数和$k$ -意味着在流模型的约束。最近,人们努力设计统一的算法来解决约束$k$ -均值问题,而不使用手头的特定约束的知识,除了温和的假设,如约束下的可行性的多项式可计算性(计算聚类是否满足约束)或存在有效的赋值oracle(给定一组中心,产生满足约束的点到中心的最优分配)。这些算法在$k$中具有运行时间指数,但可以应用于广泛的约束。我们证明了2019年提出的一种用于解决特定约束流$k$ -均值问题的技术,即公平的$k$ -均值聚类,实际上意味着所有这些约束的流算法。这些工作低维欧氏空间。[Note有更多的算法用于流传输公平的$k$ -意味着今天,特别是它们现在也存在于高维空间。
2021-06-14 cs.DS cs.LG
Differentially Private Clustering in Data Streams
Google(谷歌);Columbia University(哥伦比亚大学);Purdue University(普渡大学)
本研究针对流式聚类的隐私保护需求,提出首个持续发布设置下的次线性空间差分隐私$k$-均值/$k$-中位数聚类框架,实现两种近似保证且仅需离线DP算法作为黑盒。
2025-10-02 cs.CR cs.DS cs.LG
A Two-Pass Lower Bound for Semi-Streaming Maximum Matching
我们证明了一个下界的空间复杂度的两遍半流算法,近似的最大匹配问题。下界由Ruzsa-Szemeredi图的密度参数化:* 任何用于最大匹配的两遍半流算法具有至少$(1- Ω(\frac{\log{RS(n)}}{\log{n}}))$的近似比,其中$RS(n)$表示任何$n$ -顶点图中大小为$Θ(n)$的诱导匹配的最大数量,即,图的最大密度目前,已知$n^{Ω(1/\!\log\log{n})} \leq RS(n) \leq \frac{n}{2^{O(\log^*{\!(n)})}}$和闭合上界和下界之间的这个(大的)差距在组合学中仍然是一个众所周知的难题。在合理的假设下,$RS(n) = n^{Ω(1)}$,我们的下限是第一个排除小常数近似两遍半流算法的最大匹配问题,取得进展的一个长期悬而未决的问题,在图流文学。
2021-08-16 cs.CC cs.DS
Settling the Pass Complexity of Approximate Matchings in Dynamic Graph Streams
本文通过提出基于sketching的 $O(\log\log{n})$ 遍历半流式 $O(1)$-近似最大匹配算法,并证明匹配的 $Ω(\log\log{n})$ 遍历下界,确定了动态图流中近似匹配的最优遍历复杂度。
2024-07-30 cs.CC cs.DS
Learning-Augmented Streaming Algorithms for Correlation Clustering
University of Science and Technology of China(中国科学技术大学);Nanjing University(南京大学);New Cornerstone Science Laboratory(新基石科学实验室)
本文针对相关性聚类问题提出了首批学习增强流式算法,利用预测器提供的顶点间成对距离预测,在完全图和一般图上分别实现了优于3和 $O(\log |E^-|)$ 的近似,改进了空间-近似权衡。
2025-10-12 cs.DS cs.LG
Near-Quadratic Lower Bounds for Two-Pass Graph Streaming Algorithms
本文证明两遍图流算法解决有向图 s-t 可达性需要 n^{2-o(1)} 比特近二次空间,并将下界推广到最大二分匹配和近似最短路径等问题,填补了此前两遍流算法上下界之间的巨大空白。
2023-04-14 cs.CC cs.DS
Multi-Pass Graph Streaming Lower Bounds for Cycle Counting, MAX-CUT, Matching Size, and Other Problems
考虑流模型中的以下间隙循环计数问题:$2$ -正则$n$ -顶点图$G$的边在流中逐个到达,并且我们保证$G$是$k$ -循环或$2k$ -循环的不相交并集,对于一些小的$k$ ;目标是区分这两种情况。Verbin和Yu [SODA 2011]介绍了这个问题,并表明解决这个问题的任何单通道流算法都需要$n^{1-Ω(\frac{1}{k})}$空间。这个结果及其背后的技术-布尔隐藏超匹配通信问题-已经被广泛用于证明各种问题的流下界。尽管它的意义和广泛的应用范围,Verbin和Yu的下界技术带有一个关键的弱点,这是继承了所有后续的结果:布尔隐藏超匹配问题是困难的,只有当正好有一轮的通信,可以解决对数通信在两轮。因此,从这个问题导出的所有流下界仅适用于单通道算法。我们证明了第一个多遍的间隙周期计数问题的下限:任何$p$通过流算法,可以区分不相交的联盟$k$ -周期与$2k$ -周期-甚至$k$ -周期与一个哈密尔顿周期-需要$n^{1-\frac{1}{k^{Ω(1/p)}}}$空间。作为这个结果的推论,我们可以将许多以前的下界扩展到多遍算法。例如,我们现在可以证明,$(1+ε)$近似于MAX-CUT的值、最大匹配大小或$n$ × $n$矩阵的秩的任何流算法需要$n^{Ω(1)}$空间或$Ω(\log{(\frac{1}ε)})$遍。对于所有这些问题,先前的工作甚至只在两个通道中打开了…
2021-04-17 cs.CC cs.DS
Sketching Algorithms for Sparse Dictionary Learning: PTAS and Turnstile Streaming
Purdue University(普渡大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出基于草图算法的新技术,首次为稀疏字典学习设计 PTAS,并给出字典学习与 k-均值聚类在十字转门流模型下的空间上界和下界。
2023-10-29 cs.DS cs.LG