Testable Properties in General Graphs and Random Order Streaming
我们提出了一个新的框架,紧密联系的属性测试和数据流算法的设置一般图的领域。最近已经证明(Monemizadeh et al. 2017),对于有界度图,任何恒定查询测试器都可以通过流算法在随机顺序流模型中进行仿真,该算法只使用存储恒定数量单词所需的空间。然而,在一个更自然的一般图的设置,没有限制的最大程度,没有这样的结果是已知的,因为我们缺乏了解的常量查询测试在一般的图和缺乏技术,适当地模仿流设置离线算法,允许许多高程度的顶点。在这项工作中,我们推进我们对这两个挑战的理解。首先,我们为一般图的所有常量查询测试器提供了规范测试器,包括单侧和双侧错误。这种规范化以前只在稠密图(Goldreich和Trevisan 2003)和有界度(di-)图(Goldreich和Ron 2011,Czumaj等人2016)的邻接矩阵模型中已知。使用规范测试的概念,然后,我们证明了每一个属性的一般图,这是恒定的查询可测试的单侧错误,也可以测试在恒定的空间中的随机顺序流模型的单侧错误。我们的研究结果意味着,除其他外,像$(s,t)$不连通性,$k$ -路径自由度等属性是恒定空间测试的随机顺序流。
2019-05-05 cs.DS
Streaming Balanced Graph Partitioning for Random Graphs
存储数据的规模最近出现了爆炸式增长,部分原因是存储技术的进步,部分原因是云计算的日益普及和生成的大量数据。这激发了对可以计算近似解而无需完全随机访问所有数据的流算法的需求。我们模型的问题加载到一个分布式集群的图计算一个近似平衡的$k$ -分区的一个图形在流的方式,只有一个通过的数据。我们给出了这个问题的下界,表明没有算法可以获得一个随机或对抗流排序的$o(n)$近似。我们分析了两个变种的随机贪心算法,一个是喜欢的$\arg\max$和一个是成比例的,随机图与嵌入式平衡$k$ -削减,并能够在理论上约束每个算法的性能-的$\arg\max$算法是能够恢复嵌入式$k$ -削减,而令人惊讶的是,比例的变体不能。这与[25]中的实验结果一致。
2012-12-05 cs.DS
Faster Streaming algorithms for graph spanners
给定一个无向图$G=(V,E)$,其顶点、边和整数$t\ge 1$为$n$,一个子图$(V,E_S)$,$E_S\subseteq E$称为$t$ -图,如果对于任意一对顶点$u,v \in V$,它们在子图中的距离至多是$t$乘以实际距离。我们提出了流算法计算的$t$ -基本上是最佳的大小拉伸权衡任何无向图。我们的第一个算法是经典的流模型和作品的未加权图。该算法对边缘流执行单次通过,并且需要$O(m)$时间来处理整个边缘流。这极大地改进了先前用于计算$t$的最佳单通道流算法,该算法需要$θ(mn^{\frac{2}{t}})$时间来处理流,并且计算大小略大于最佳值的$θ(mn^{\frac{2}{t}})$。我们的第二个算法是针对Aggarwal等人[FOCS 2004]引入的{ \em StreamSort}模型,该模型是用排序原语扩展的流模型。{ \em StreamSort}模型已被证明是一个更强大的,仍然是非常现实的模型比流模型的大规模数据集的应用程序。我们的算法也适用于加权图,仅使用工作内存的$O(\log n)$位执行$O(t)$通道。我们的两个算法都需要基本的数据结构。
2006-11-06 cs.DS
Even the Easiest(?) Graph Coloring Problem is not Easy in Streaming!
我们研究了一个图着色问题,否则很容易,但变得相当不平凡的单通流模型。在以前的图着色问题,试图找到一个分配的颜色顶点流,我们的主要工作是估计冲突或单色边的数量给定的着色函数,是流随着图形,我们称之为问题{ \sc t-Est}。只有当顶点在流中显示时,才能读取或访问顶点上的着色函数。如果我们需要一个顶点上的颜色,它已经流过去了,那么这个颜色,连同它的顶点,必须显式存储。我们提供了一个图的算法,是在不同的变体的一遍顶点到达流模型,即流的{ \sc顶点到达}({ \sc VA}),{顶点到达度Oracle}({ \sc VAdeg}),{ \sc顶点到达随机顺序}({ \sc VArand})模型,特别关注的随机顺序模型。我们还提供了匹配的下限的情况下,大多数。我们的工作的支柱是在显示的随机顺序流的属性可以利用设计流算法估计冲突边缘的数量。我们还得到了一个下界,虽然不匹配的上限,随机序模型。在所有三种模型中,我们可以看到一个明显的权力分离,有利于{ \sc VArand}模型。
2020-10-25 cs.DS
Semi-Streaming Algorithms for Annotated Graph Streams
大量的努力已经投入到流算法的发展,用于分析大量的图形。不幸的是,许多结果是负面的,建立了各种各样的问题需要$Ω(n^2)$空间来解决。为数不多的亮点之一是为少数图形问题开发了半流算法--这些算法使用空间$O(n\cdot\text{polylog}(n))$。在Chakrabarti等人的注释数据流模型中,计算受限的客户机想要计算大量输入的某个属性,但是缺乏存储甚至一小部分输入的资源,因此不能在本地执行期望的计算。因此,客户端访问一个强大但不受信任的服务提供者,该服务提供者不仅执行所请求的计算,而且还证明答案是正确的。我们提出了半流算法的概念,为带注释的图流(简称半流注释方案)。在这些协议中,客户端的空间使用和证明的长度都是$O(n \cdot \text{polylog}(n))$。我们给出的证据表明,半流注释方案代表了一个更强大的解决方案的概念比标准的半流模型。在积极的一面,我们给两个动态图的问题,是棘手的标准模型:(准确地)计数三角形,(准确地)计算最大匹配的半流注释计划。前一个方案回答了Cormode的一个问题。在消极的一面,我们确定了第一次两个自然图的问题(在一定的边缘更新模型的连通性和二分性),可以解决标准的半流模型,但不能解决的注释计划的“子半流”的成本。也就是说,这些问题在注释模型中和在标准模型中一样困难。
2015-08-10 cs.DS
Window-based Streaming Graph Partitioning Algorithm
近年来,图形数据集的规模已经增加到这样的程度,以至于单个机器不能有效地处理大型图形。因此,有效的图划分是必要的,这些大型图的应用。传统的图分区通常在执行分区之前将整个图数据加载到内存中;这不仅是一项耗时的任务,而且还会产生内存瓶颈。这些问题的内存限制和巨大的时间复杂度可以解决使用基于流的图形分区。流图分区算法读取顶点一次,并相应地将该顶点分配给分区。这也被称为一次通过算法。本文提出了一种高效的基于窗口的流图分割算法WStream。WStream算法是一种边切割分区算法,它将顶点分布在分区之间。我们的研究结果表明,WStream算法能够有效地划分大型图形数据,同时保持不同分区之间的负载平衡,并将通信降至最低。真实负载下的测试结果也证明了该算法的有效性,在不同的数据集范围内,该算法都能显著降低负载不平衡和边切割。
2019-02-05 cs.DS
New Verification Schemes for Frequency-Based Functions on Data Streams
我们研究计算基于频率的函数的一般问题,即,数据流频率的任何给定函数的和。特殊情况包括基本的数据流问题,例如计算不同元素的数量($F_0$)、频率矩($F_k$)和重打击。它也可以用于计算元素的最大频率($F_{\infty}$)。鉴于这些特殊情况中的大多数的精确计算可证明不允许任何次线性空间算法,一种自然的方法是在增强的数据流模型中考虑它们,其中我们有一个计算上无界但不可信的证明者发送证明或帮助消息来简化计算。想象一下,内存受限的客户端将计算委托给它不想盲目信任的更强大的云服务。利用其有限的内存,它希望验证云发送的证据。Chakrabarti等人(ICALP '09)将此设置引入为“带注释的数据流模型”,并表明包括基于频率的函数的精确计算在内的多个问题--在基本流中没有次线性算法--确实具有带注释的流算法,也称为“方案”,在输入大小中具有空间和证明长度次线性。我们给出了一个计算任何频率基函数的一般方案,该方案既利用了空间又利用了$O(n^{2/3}\log n)$位的证明大小,其中$n$是论域的大小。这改进了由Chakrabarti等人的开创性论文给出的$O(n^{2/3}\log^{4/3} n)$的最佳已知界限。并且作为结果,还改进了计算$F_0$和$F_{\infty}$的重要特殊情况的最佳已知界限。我们强调,虽然是定量更好,我们的计划也是更好的质量在这个意义上说,它比以前最…
2020-10-07 cs.DS
The Sparse Awakens: Streaming Algorithms for Matching Size Estimation in Sparse Graphs
估计最大匹配的大小是图算法中的一个典型问题,并且在一系列不同的计算模型上吸引了广泛的研究。我们提出了改进的流算法近似稀疏(有界荫度)图的最大匹配的大小。* 仅插入流:我们提出了一个单程算法,需要O(c log^2 n)的空间和近似的最大匹配的大小在一个因子O(c)荫度c的图。该算法比现有的O~(cn^{2/3})空间流算法有了很大的改进。* 动态流:给定动态图形流(即,针对c-有界荫度图的边的插入和删除问题,我们提出了一个单遍算法,该算法使用空间O~(c^{10/3}n^{2/3}),并返回最大匹配大小的O(c)-估计。该算法改进了现有的O~(cn^{4/5})空间算法,其中O~(.)符号在$n$依赖项中隐藏对数。与以前的作品相比,我们的结果更多地利用了对输入的流访问,并根据流中边的排序以及稀疏图的度分布和结构属性来表征匹配大小。
2016-11-14 cs.DS
Graph Sparsification in the Semi-streaming Model
分析海量数据集一直是研究流媒体算法的主要动机之一。近年来,在分析流环境中的分布方面取得了重大进展,但在图问题上的进展有限。一个主要的原因是存在的线性空间下界,即使是简单的问题,如确定连通图。然而,在社交及其他交互网络产生的许多新场景中,顶点的数量明显少于边的数量。这导致了半流模型的公式化,其中我们假设空间在顶点数(但不一定是边)上是(接近)线性的,并且边以任意(并且可能是对立的)顺序出现。在本文中,我们专注于图稀疏化,这是在各种图形算法的主要组成部分之一。提供稀疏图近似的(非流)采样算法已经有很长的历史,并且很自然地会问,是否可以使用小空间实现稀疏化,并且还使用单次通过数据?这个问题是有趣的,从理论和实践的角度来看,我们回答这个问题是肯定的,通过提供一个通过$\tilde{O}(n/ε^{2})$空间算法,产生一个稀疏化,近似每个削减一个$(1+ε)$因素。我们还表明,$Ω(n \log \frac1ε)$空间是必要的一个通过流算法来近似的最小切割,改善后的$Ω(n)$下界,所产生的下界测试连接。
2009-05-05 cs.DS
Buffered Streaming Graph Partitioning
在处理大型图形时,广泛使用将图形划分为大小大致相等的块。目前,在可用的分区算法的空间中存在差距。一方面,有一些流算法已经被采用来在小型机器上划分大量的图数据。在流模型中,顶点一次到达一个,包括它们的邻域,然后必须直接分配给一个块。这些算法可以用很少的内存快速划分大型图,但它们产生的分区的解决方案质量较低。另一方面,有离线(共享内存)多级算法,产生高质量的分区,但也需要有足够内存的机器。我们提出了一种算法,使用一台机器在流媒体设置中使用很少的内存来计算巨大图形的显着改进的分区,从而迈出了缩小这一差距的第一步。首先,我们采用了缓冲流模型,这是一个更合理的方法在实践中。在此模型中,处理元素可以在做出分配决策之前存储一个缓冲区或一批节点。当我们的算法接收到一批节点时,我们构建一个模型图,表示该批节点和已经存在的分区结构。这个模型使我们能够应用多级算法,并反过来计算出更高质量的解决方案,巨大的图形在廉价的机器上比以前可能的。为了划分模型,我们开发了一个多层次的算法,优化的目标函数,以前已被证明是有效的流设置。这也消除了依赖于块k的数量从运行时间相比,以前的国家的最先进的。总体而言,我们的算法计算,平均而言,75.9%更好的解决方案比茴香使用一个非常小的缓冲区大小。此外,对于k的大值,我们的算法变得比Fennel更快。
2021-12-22 cs.DS
Linear Programming in the Semi-streaming Model with Application to the Maximum Matching Problem
在本文中,我们研究了基于线性规划的方法来解决半流模型中的最大匹配问题。半流模型作为处理大量图的模型已经获得关注,因为这样的图的重要性已经增加。这是一个边以对抗顺序流入的模型,我们被允许与图中的顶点数量成比例的空间。近年来,这种半流模型又有了一些新的结果。然而,广泛的技术,如线性规划还没有适应这个模型。我们提出了几种技术,以适应和优化基于线性规划的方法在半流模型的应用程序的最大匹配问题。因此,我们改善(几乎)所有以前的结果在这个问题上,也证明了新的结果有趣的变种。
2011-12-13 cs.DS
Streaming Algorithms for Graph k-Matching with Optimal or Near-Optimal Update Time
针对图k匹配问题,提出仅插入和动态流模型下的单遍算法,空间复杂度最优,更新时间分别达到O(1)和O(polylog(n)),显著优于此前结果。
2023-10-16 cs.DS
Polynomial Pass Lower Bounds for Graph Streaming Algorithms
我们提出了新的下界,表明多项式数量的通行证是必要的,解决一些基本的图形问题的流模型的计算。例如,我们表明,任何流算法,找到一个加权最小$s$削减$t$顶点无向图需要$n^{2-o(1)}$空间,除非它使$n^{Ω(1)}$通过流。为了证明我们的下限,我们引入并分析了一个新的四人通信问题,我们称之为隐藏指针追逐问题。这是一个标准的指针追逐问题的精神与关键的区别,在这个问题中的指针是隐藏的球员,找到他们中的每一个需要解决另一个通信问题,即集合相交问题。我们的下界图的问题,然后获得减少隐藏指针追逐问题。我们的隐藏指针追踪问题看起来足够灵活,可以找到其他应用程序,因此本身就很有趣。为了展示这一点,我们进一步提出了一个有趣的应用程序,这个问题超出流算法。使用减少隐藏指针追逐,我们证明了任何算法的次模函数最小化需要使$n^{2-o(1)}$值查询的功能,除非它有一个多项式程度的自适应。
2019-04-09 cs.DS
Maximum Matching in Semi-Streaming with Few Passes
在半流模型中,算法以任意顺序接收图的边流,并使用大小为$O(n \mbox{ polylog } n)$的存储器,其中$n$是图的顶点数。在这项工作中,我们提出了半流算法,执行一个或两个通过输入流的最大匹配没有限制的输入图,并为重要的特殊情况下,我们称为最大二分匹配(MBM)的二分图。贪婪匹配算法对输入执行一次遍历,并输出$1/2$近似值。自2005年关于匹配问题的流算法的第一篇论文出现以来,是否存在更好的一次通过算法一直是一个悬而未决的问题[Feigenbaum等人,SODA 2005]。我们在这个问题上取得了以下进展:在一次通过设置,我们表明,有一个确定性的半流算法MBM与预期的近似因子$1/2+0.005$,假设边到达一个接一个(均匀)随机顺序。我们将此算法推广到一般的图,我们得到了一个$1/2+0.003$近似。在两遍设置中,我们不需要随机到达顺序假设(边缘流是任意顺序的)。我们提出了一个简单的随机两遍半流算法MBM与预期的近似因子$1/2 + 0.019$。此外,我们讨论了一个更复杂的确定性的两遍半流算法MBM与近似因子$1/2 + 0.019$和一般的图与近似因子$1/2 + 0.0071$,该算法的推广。
2014-04-10 cs.DS
Buffered Streaming Edge Partitioning
提出两种缓冲流式边划分算法HeiStreamE和FreightE,通过改进的图模型与超图表示,在保证划分质量的同时实现时间与内存的线性复杂度,优于现有流式及再流式算法。
2024-02-19 cs.DS
Simulating Random Walks on Graphs in the Streaming Model
我们研究的问题,近似模拟$t$步随机游动的输入边来自一个单一的通过流的图。使用储层采样的直接算法需要$O(nt)$存储器字。我们表明,这种空间复杂度是接近最优的有向图。对于无向图,我们证明了一个$Ω(n\sqrt{t})$ -位空间下界,并给出了一个接近最优的算法,使用$O(n\sqrt{t})$字的空间与$2^{-Ω(\sqrt{t})}$模拟误差(定义为$\ell_1$ -距离之间的模拟算法的输出分布和完美的随机游动的分布)。我们还讨论了扩展算法的旋转栅门模型,其中插入和删除的边缘可以出现在输入流中。
2018-11-20 cs.DS
Streaming, Local, and Multi-Level (Hyper)Graph Decomposition
本论文研究(超)图分解问题,提出流式、局部和多级算法,分别用于图/超图划分、局部社区检测及进程映射和符号图聚类,实验证明优于现有方法。
2023-08-29 cs.DS
Graph Coloring via Degeneracy in Streaming and Other Space-Conscious Models
我们研究了在几个成熟的大数据计算模型中使用少量颜色对给定图进行着色的问题。这些模型包括数据流模型、通用图查询模型、大规模并行计算(MPC)模型、CONGESTED-CLIQUE和分布式计算模型。一方面,我们给算法的次线性复杂性,在这些模型中的每一个适当的复杂性的概念。我们的算法使用大约$κ(G)$颜色对图$G$着色,其中$κ(G)$是$G$的退化度:该参数与荫度$α(G)$密切相关。作为单独的$κ(G)$的函数,我们的结果接近最佳可能,因为最佳颜色数是$κ(G)+1$。另一方面,我们建立了一定的下界,表明次线性算法可能不能走得更远。特别是,我们证明了任何随机着色算法,使用$κ(G)+1$许多颜色,将需要$Ω(n^2)$存储在一个通过流模型,和$Ω(n^2)$许多查询在一般的图形查询模型,其中$n$是在图中的顶点数。即使预先知道$κ(G)$的值,这些下界也成立;同时,我们的上界不需要预先给出$κ(G)$。
2019-05-02 cs.DS
On Regularity Lemma and Barriers in Streaming and Dynamic Matching
我们提出了一种新的方法,通过建立在Szemerédi著名的正则引理,在稠密图中找到匹配。这使我们能够获得非平凡的,虽然在流和动态图的匹配长期边界略有改善。特别是,我们建立了以下结果$n$ -顶点图:* 一个确定性的单通道流算法,找到一个$(1-o(1))$ -近似匹配的$o(n^2)$位的空间。这构成了第一个单通算法,这个问题在次线性空间,提高了$\frac{1}{2}$近似的贪心算法。* 一种随机化全动态算法,其以高概率在每次边插入或删除的$o(n)$最坏情况更新时间中保持$(1-o(1))$近似匹配。该算法的作品,甚至对适应性对手。这是第一个$o(n)$更新时动态算法,具有任意接近1的近似保证。由于正则性引理的使用,我们的算法在平凡界上得到的改进仅是一些$(\log^*{n})^{Θ(1)}$因子。然而,在每一种情况下,他们表明,问题的“正确”答案不是由以前的界限所决定的。最后,在流模型中,我们给出了一个随机的$(1-o(1))$ -近似算法,其空间可以由某些Ruzsa-Szemerédi(RS)图的密度上界.虽然RS图现在已被广泛用于证明流下界,我们是第一个使用它们作为设计改进的流算法的上限工具。
2022-07-19 cs.DS
Brooks' Theorem in Graph Streams: A Single-Pass Semi-Streaming Algorithm for $Δ$-Coloring
针对半流式模型下的$Δ$-着色问题,提出一种随机化单遍半流式算法,通过基于稀疏-稠密分解的稀疏恢复和受控重新着色技术,以高概率正确判定不可着色或输出$Δ$-着色方案。
2023-08-03 cs.DS
How Hard is Counting Triangles in the Streaming Model
图中三角形个数的(近似)计数问题是图论中的基本问题之一。在本文中,我们研究的问题中的流模型。我们研究了随机算法解决这个问题所需的内存量。在算法允许一次通过流的情况下,我们提出了一个最好的可能的下限$Ω(m)$的图$G$与$n$顶点上的$m$边。如果一个常数的通行证是允许的,我们显示了一个下界的$Ω(m/T)$,$T$的三角形的数量。我们匹配,在某种意义上说,这个下界与2-pass $O(m/T^{1/3})$ -memory算法,解决了区分图与至少$T$三角形的图形没有三角形的问题。提出了一个新的图参数$ρ(G)$ --三角形密度,并推测三角形问题的空间复杂性为$Ω(m/ρ(G))$ .我们通过第二个算法来匹配它,该算法使用$O(m/ρ(G))$ -存储器来解决区分问题。
2013-04-04 cs.DS
Streaming Graph Computations with a Helpful Advisor
出于将工作外包给商业云计算服务的趋势,我们考虑流模式的变化,其中流算法可以由可以向数据流提供注释的强大助手来辅助。我们扩展了以前的工作,这样的{ \em注释模型}考虑一些图流问题。没有注释,流算法的图形问题一般需要大量的内存,我们表明,对于许多标准的问题,包括所有的图形问题,可以表示与完全么模整数规划公式,只有一个恒定数量的散列值需要单通算法给定线性大小的注释。我们还获得了一个协议,实现\textit{optimal}之间的权衡注释长度和内存使用的矩阵向量乘法,这一结果有助于最近的研究趋势,在流模型的数值线性代数。
2010-06-22 cs.CC cs.DS
Approximate Maximum Matching in Random Streams
在本文中,我们研究的问题,找到一个最大匹配的半流模型时,边缘到达随机顺序。在半流模型中,算法接收边流,并且允许具有$\tilde{O}(n)$的存储器,其中$n$是图中的顶点数。Assadi等人最近的一项鼓舞人心的工作表明,存在一种使用$\tilde{O}(n^{1.5})$存储器的$\frac{2}{3}$近似比的流算法。然而,他们的算法的内存是远远大于半流算法的内存约束。在这项工作中,我们进一步研究这个问题的半流模型,我们提出了简单的算法近似最大匹配的半流模型。我们的主要结果如下。我们发现,存在一个单通确定性半流算法,发现一个$\frac{3}{5} (= 0.6)$近似的最大匹配的二分图使用$\tilde{O}(n)$内存。该结果显著优于Konrad的最新结果,Konrad使用$\tilde{O}(n)$存储器找到最大匹配的$0.539$近似。通过给出一个黑盒减少找到一个匹配的一般图中找到一个匹配的二分图,我们发现存在一个单通确定性半流算法,找到一个$\frac{6}{11} (\approx 0.545)$近似的最大匹配一般图,改进后的最先进的结果$0.506$近似Gamlath等。
2019-12-22 cs.DS
Counting Butterflies over Streaming Bipartite Graphs with Duplicate Edges
Antai College of Economics and Management, Shanghai Jiao Tong University(上海交通大学安泰经济与管理学院);Nanjing University of Science and Technology, School of Computer Science and Technology(南京理工大学计算机科学与技术学院);University of New South Wales(新南威尔士大学)
研究针对流式双图中重复边问题,提出DEABC方法,通过桶优先采样提高蝴蝶计数的准确性和效率,降低内存使用并提升吞吐量。
2026-04-26 cs.DS
Parameterized Streaming Algorithms for Vertex Cover
随着图表规模的不断增长,我们寻求有效处理此类数据的方法。流图处理的模型,其中一个紧凑的摘要保持为每个边插入/删除观察,是一个有吸引力的。然而,很少有结果是已知的优化问题,这样的动态图流。在本文中,我们介绍了一种新的方法来处理图流,而不是寻求解决方案的参数化版本的这些问题,我们给出了一个参数$k$和目标是决定是否有一个解决方案的$k$有界。通过将核化技术与随机草图结构相结合,我们获得了顶点覆盖问题的参数化版本的第一个流算法。我们考虑以下三个模型用于$n$节点上的图流:1.只能添加边的仅插入模型。2.可以插入和删除边的动态模型。3.在\emph{promised}动态模型中,我们保证在每个时间戳上都有一个大小最多为$k$的解。在这三个模型中,我们都能够为顶点覆盖问题设计参数化的流算法。我们还能够显示匹配的下限为我们的算法的空间复杂度。(Due arXiv限制为1920个字符的抽象字段,请参阅论文摘要中对我们结果的详细描述)
2014-07-23 cs.DS
Using Colors and Sketches to Count Subgraphs in a Streaming Graph
假设我们希望估计$\#H$,即大型流图$G$中某个小图$H$的副本数。当$H$是三角形时,有许多算法可用于此任务,但只有少数算法适用于任意$H$。在这里,我们专注于一个这样的算法,这是介绍了凯恩,梅尔霍恩,Sauerwald,和太阳。其算法的每条边的存储和更新时间都是$O(m^k/(\#H)^2)$,其中$m$是$G$中的边数,$k$是$H$中的边数。在这里,我们提出了三个修改他们的算法,可以大大减少存储和更新时间。假设$H$没有叶子,而$G$有最大度$\leq m^{1/2 - α}$,其中$α> 0$。定义$C = \min(m^{2α},m^{1/3})$。然后在我们的算法版本中,每条边的更新时间是$O(1)$,存储量大约减少了一个因子$C^{2k-t-2}$,其中$t$是$H$中的顶点数;特别地,存储量是$O(C^2 + m^k/(C^{2k-t-2} (\#H)^2))$。
2023-02-23 cs.DS
FREIGHT: Fast Streaming Hypergraph Partitioning
将一个超图的顶点划分成k个大致平衡的块,使得块之间的超边很少,这是大规模分布式处理的一个关键问题。使用低计算资源划分巨大(超)图的当前趋势是流式算法。在这项工作中,我们提出FREIGHT:一个快速stREamInG超图分割算法,这是一个适应的广为人知的基于图的算法茴香。通过使用一种高效的数据结构,使FREIGHT的整体运行与超图的管脚数成线性关系,内存消耗与网络和块的数量成线性关系。我们广泛的实验结果展示了FREIGHT作为一种高效和有效的流超图分割解决方案的良好性能。我们的算法演示了具有竞争力的运行时间与散列算法,与四分之三的实例上观察到的最大因子4的差异。值得注意的是,我们的研究结果突出了所有现有的(缓冲)流媒体算法,甚至内存中的算法HYPE的优势,无论是割网和连接措施的运费。这表明,我们提出的算法是一个很有前途的超图分割工具,以应对大规模和动态数据处理所带来的挑战。
2023-02-13 cs.DS
Streaming Graph Algorithms in the Massively Parallel Computation Model
本研究率先在MPC模型下研究流图算法,设计出常数轮、满足强次线性内存限制的演化图处理算法,改进了此前需正比于图规模总空间的工作,实现了MPC资源的渐近最优利用。
2025-01-17 cs.DS
sGrapp: Butterfly Approximation in Streaming Graphs
本文研究了二部流图中的蝶形(即(2,2)-bicliques)计数问题。与单部图中的三角形类似,枚举蝴蝶对于理解二部图的结构至关重要。这有利于许多应用程序,其中研究图形形状数据中的内聚性特别感兴趣。例子包括研究计算图或算法输入图的结构,以及复杂实图上的动态现象和分析任务。蝴蝶计数在计算上是昂贵的,并且已知的技术不能扩展到大型图;在流图中,问题甚至更难。在本文中,以下数据驱动的方法,我们首先进行实证分析,揭示时间组织原则的蝴蝶在真实的流图,然后我们介绍了一个近似的自适应窗口为基础的算法,sGrapp,计数蝴蝶,以及其优化版本sGrapp-x。sGrapp被设计为在具有任何时间行为的任何图形流上高效且有效地操作。sGrapp和sGrapp-x的实验研究在准确性和效率方面表现出优异的性能。
2021-02-03 cs.DB cs.DS
kMatrix: A Space Efficient Streaming Graph Summarization Technique
随着互联网的出现,数据存储库中收集的信息量大大增加。由于这些海量数据流的庞大数量和传入数据的吞吐量,处理这些海量数据流变得越来越复杂。这些数据流中的许多都被映射到图中,这有助于发现它们的一些属性。然而,由于处理大量流图的困难,它们被汇总,使得它们的属性可以使用汇总来近似评估。gSketch、TCM和gMatrix是一些主要的流图摘要技术。我们的主要贡献是设计kMatrix,这是更有效的内存比现有的流图摘要技术。我们通过使用原始图形流的样本对分配的内存进行分区来实现这一点。通过实验,我们表明,kMatrix可以实现一个显着减少错误的查询使用相同的空间,TCM和gMatrix。
2021-05-12 cs.DS cs.IR
Sublinear-Space Streaming Algorithms for Estimating Graph Parameters on Sparse Graphs
本文针对稀疏图类设计了次线性空间流算法,用于估计最大独立集、最小支配集和最大匹配这三个可能具有线性规模的图参数,从而在严格空间限制下实现有效的参数估计。
2023-05-26 cs.DB cs.DS
Laminar Families and Metric Embeddings: Non-bipartite Maximum Matching Problem in the Semi-Streaming Model
本文研究了半流模型下的非二部最大匹配问题。最近,半流模型中的最大匹配问题受到了极大的关注。虽然对于二分图已经稍微很好地解决了该问题,但是用于非二分图的已知算法使用$2^{\frac1ε}$遍或$n^{\frac1ε}$时间来计算$(1-ε)$近似。在本文中,我们提供了第一个FPTAS(多项式在$n,\frac1ε$)的问题,这是有效的运行时间和通过的数量。我们还表明,我们可以估计的大小匹配$O(\frac1ε)$通过使用轻微的超线性空间。为了实现这两个结果,我们使用的结构特性的匹配多面体,如层紧集和总的对偶积分。该算法是迭代的,并基于分数包装和覆盖框架。然而,本文的公式需要指数地多个变量或约束。我们使用分层,度量嵌入和图稀疏化,以减少所需的算法之间和整个迭代的空间。这是第一次使用这些想法在半流模型来解决一个组合优化问题。
2011-04-20 cs.DS
Semi-Streaming Algorithms for Graph Property Certification
本文研究受限输入访问下图问题解的流式认证,提出最大匹配、直径、退化性和着色等性质的半流式证明者–验证者方案,并给出空间复杂度上下界及不可认证性质。
2025-03-17 cs.CC cs.DS
On Streaming Algorithms for the Steiner Cycle and Path Cover Problem on Interval Graphs and Falling Platforms in Video Games
我们引入了一个简化的模型,平台游戏水平下降平台的基础上区间图,并表明,这种水平的可解性对应于找到施泰纳循环或施泰纳路径在相应的图形。线性时间算法得到这两个问题。我们还研究了这些算法作为流算法,并分析了所需的内存相对于包含在另一个间隔的最大数量的间隔。这相当于理解关卡的哪些部分必须在每个点可见,以允许玩家做出最佳确定性决策。
2018-02-23 cs.DS math.OC
Statistics of Similarity Graphs in Node-Arrival Streams
Indiana University(印第安纳大学)
本文针对节点到达流模型中的相似图,开发常数次遍历、亚线性空间的流算法解决度矩等统计问题,建立的空间下界对流长度的依赖几乎匹配上界。
2026-09-07 cs.DS
Depth First Search in the Semi-streaming Model
深度优先搜索(DFS)树是解决各种图问题的基本数据结构.经典的DFS算法对于具有$m$和$n$顶点的图需要$O(m+n)$时间。在流模型中,算法被允许在输入图上进行几次(优选地是单次),对所使用的局部空间的大小具有限制。简单地说,DFS树可以通过使用$O(m)$空间的单次遍历来计算。在允许$O(n)$空间的半流模型中,它可以在$O(n)$过程中计算,其中每个过程向DFS树添加一个顶点。然而,即使在任何宽松的流式传输环境中,使用$o(m)$空间使用$o(n)$遍数来计算DFS树仍然是一个开放的问题。我们提出了第一个半流算法,计算DFS树的无向图在$o(n)$通过使用$o(m)$空间。我们首先描述一个非常简单的算法,它最多需要使用$O(nk)$空间的$\lceil n/k\rceil$遍,其中$k$是任何正整数。然后,我们改进了这个算法,使用更多涉及的技术,以减少通过$\lceil h/k\rceil$类似的空间约束下,其中$h$是计算DFS树的高度的数量。特别地,该算法改进了计算的DFS树是浅的(具有$o(n)$高度)的情况下的边界。此外,该算法作为一个框架,允许使用任何算法的灵活性,以保持存储的稀疏子图的DFS树作为一个黑盒子,这可能是独立的利益。这两种算法基本上证明了存在的空间和计算DFS树所需的通道数之间的权衡。此外,我们评估这些算法的实验,揭示了他们的特殊性能在实践中。对于随…
2019-01-11 cs.DS
Streaming Lower Bounds for Approximating MAX-CUT
本文研究了流计算模型中图的最大割值的估计问题。在一个极端情况下,对于该问题存在仅使用$O(\log n)$空间的平凡$2$ -近似,即,计算边缘的数量并输出该值的一半作为最大切割值的估计。在另一个极端,如果允许$\tilde{O}(n)$空间,则可以通过存储基本上保留最大割的$\tilde{O}(n)$大小的稀疏化器来获得最大割值的近最优解。一个有趣的问题是,多对数空间是否足以获得最大截值的非平凡近似(即,击败因子$2$)。最近的研究表明,估计图中最大匹配的大小的问题允许在多对数空间中的非平凡近似。我们的主要结果是,任何流算法,打破$2$近似障碍需要$\tildeΩ(\sqrt{n})$空间,即使输入图的边缘是随机顺序。我们的结果是通过展示分布图是二部或$\frac{1}{2}$ -远离二部,并建立$\tildeΩ(\sqrt{n})$空间是必要的,以区分这两种情况。因此,作为一个直接的推论,我们得到,$\tildeΩ(\sqrt{n})$空间也是必要的,以测试,如果一个图是二部或$\frac{1}{2}$ -远离是二部。我们还表明,对于任何$ε> 0$,任何流算法,获得一个$(1 + ε)$ -近似的最大切割值时,边缘到达敌对的顺序需要$n^{1 - O(ε)}$空间,这意味着$Ω(n)$空间是必要的,以获得一个任意好的近似的最大切割值。
2014-09-07 cs.DS
Near-Quadratic Lower Bounds for Two-Pass Graph Streaming Algorithms
本文证明两遍图流算法解决有向图 s-t 可达性需要 n^{2-o(1)} 比特近二次空间,并将下界推广到最大二分匹配和近似最短路径等问题,填补了此前两遍流算法上下界之间的巨大空白。
2023-04-14 cs.CC cs.DS
Dynamic Streaming Spectral Sparsification in Nearly Linear Time and Space
在本文中,我们考虑的问题,计算谱逼近图的单通道动态流模型。我们提供了一个基于线性草图的解决方案,给定一个流的边缘插入和删除的$n$ -节点无向图,使用$\tilde O(n)$空间,处理每个更新的$\tilde O(1)$时间,并以高概率恢复频谱稀疏在$\tilde O(n)$时间。在我们的工作之前,现有技术的结果要么使用接近最佳的$\tilde O(n)$空间复杂度,要么使用强力$Ω(n^2)$恢复时间[Kapralov et al. '14],或具有次二次运行时间,但多项式次优空间复杂度[Ahn et al. '14,Kapralov等人。'19]。我们的主要技术贡献是一种新的方法“桶”的输入图形的顶点成集群,允许快速恢复足够大的有效电阻的边缘。我们的算法首先通过使用(近似)其有效电阻度量执行球雕刻来对图的顶点进行桶化,然后从桶中顶点之间的电流的草图版本中恢复高效电阻边缘,总体上在顶点数量上花费几乎线性的时间。该过程在不同的几何尺度下执行,以恢复具有与有效电阻成比例的概率的边缘的样本,并获得输入图的实际稀疏因子。这项工作提供了第一个有效的$\ell_2$ -稀疏恢复算法的图形和新的原语操作的有效电阻嵌入的图,这两个我们希望有进一步的应用。
2019-03-28 cs.DS
k-Connectivity in the Semi-Streaming Model
我们提出了第一个半流算法,以确定k是任何常数的无向图的k-连通性。图算法的半流模型是由Muthukrishnan在2003年提出的,在处理从外部存储设备流入的大量图时非常有用。我们的两个半流算法每个计算一个输入图G的稀疏子图,并可以在后处理步骤中使用这个子图来决定G的k-连通性。因此,第一个算法只读取输入流一次,并使用时间O(k^2*n)来处理每个输入边。第二个算法读取输入k+1次,每个输入边需要时间O(k+alpha(n))。第二个算法也可以使用它构造的子图生成输入图的所有l-分隔符,对于所有l<k。
2006-08-16 cs.DM cs.DS
Recursive Multi-Section on the Fly: Shared-Memory Streaming Algorithms for Hierarchical Graph Partitioning and Process Mapping
如何将图划分为平衡的块,使得块之间的边较少,是大规模分布式处理的关键问题。目前的趋势是分割巨大的图流算法,它使用低计算资源。在这项工作中,我们提出了一个共享内存流多递归分区方案,执行递归多节的飞行,而不知道整体输入图。我们的方法有一个相当低的运行时间复杂度相比,国家的最先进的非缓冲的一遍分割算法的标准图分割的情况下。此外,如果分布式系统的拓扑是已知的,则可以通过将分区映射到处理元件上来进一步优化通信成本。我们的实验表明,我们的算法是速度更快,产生更好的进程映射比竞争工具。在图分区的情况下,与Fennel相比,我们的框架以多5%的切割边缘为代价快了两个数量级。
2022-02-01 cs.DC cs.DS
Catching the head, tail, and everything in between: a streaming algorithm for the degree distribution
度分布是真实世界图中最基本的图形属性之一。在许多领域中已经广泛观察到,图通常具有尾部或无标度分布。虽然平均度通常很小,但方差很高,并且在所有尺度下都有具有度的顶点。我们专注于一个大的流图的度分布的近似问题,与小存储。我们设计了一个算法headtail,其主要的新颖性是一个新的估计罕见度截断几何随机变量。我们给出了一个数学分析的头尾,并表明它具有良好的性能在实践中。我们可以处理数百万条边的流,存储量不到1%,并对度分布中的所有尺度获得非常准确的近似。我们还引入了一个新的概念之间的相对Hausdorff距离尾直方图。现有的分布之间的距离的概念是不合适的,因为它们忽略了尾部的罕见度。相对豪斯多夫距离测量所有尺度的偏差,是比较度分布的更合适的距离。通过跟踪这一新的措施,我们能够给出强有力的实证证据的收敛头尾。
2015-11-26 cs.DS
Constructing Large Matchings via Query Access to a Maximal Matching Oracle
用于最大匹配的多通道流算法已经被研究了超过15年,并且今天已知各种算法结果,包括打破$1/2$ -近似障碍的$2$ -通道流算法,以及在二分图中的$O(\text{poly} \frac{1}ε)$通道和在一般图中的$O( (\frac{1}ε)^{\frac{1}ε})$或$O(\text{poly} (\frac{1}ε) \cdot \log n)$通道中运行的$(1-ε)$ -近似流算法,其中$n$是输入图的顶点数。然而,证明这种算法的不可能性结果迄今为止是难以捉摸的,并且例如,甚至还没有排除具有近似因子$0.999$的$2$通过小空间流算法的存在。最大匹配的所有多通道流算法的关键构建块是贪婪匹配算法。我们的目标是了解这种方法的局限性:如果算法只依赖于贪婪算法的调用,需要多少遍?在本文中,我们开始研究的最大匹配的多通道流算法的限制家庭的下限。我们专注于简单而强大的类算法,在每一个通过运行贪婪的顶点诱导的输入图的子图。在二分图中,我们表明,$3$通过是必要的和充分的,以提高平凡的近似因子的$1/2$:我们给了一个下界的$0.6$的近似比这样的算法,这是最佳的。我们进一步表明,$Ω( \frac{1}ε)$通过计算$(1-ε)$ -近似,即使在二分图。最后,考虑类的算法是不适合一般的图形:我们表明,$Ω(n)$通过,以改善平凡的近似因子的$1/2$。
2020-10-01 cs.DS
Near-optimal streaming approximation for Max-DICUT in sublinear space using two passes
University of Waterloo(滑铁卢大学);Toyota Technological Institute at Chicago(芝加哥丰田技术学院)
本文提出一个两次遍历算法,在子线性空间内实现Max-DICUT的(1/2-ε)近似,解决了单次遍历下任意图的子线性空间近似问题。
2026-04-12 cs.DS
Approximately Counting Subgraphs in Data Streams
估计数据流中的子图的数量是一个基本的问题,在过去的十年中受到了极大的关注。在本文中,我们给出了改进的流算法近似计数的出现次数的任意子图$H$,表示为$\# H$,当输入图$G$表示为$m$边流。为了获得我们的算法,我们提供了一个通用的转换,恒定轮子线性时间图算法的查询访问模型中的恒定通过子线性空间图流算法。利用这种变换,我们得到了以下结果。1.在$\tilde{O}(\frac{m^{ρ(H)}}{ε^2\cdot \# H})$空间中给出了$(1\pm ε)$ -逼近$\# H$的$3$ -通过旋转栅门流算法,其中$ρ(H)$是$H$的分数边覆盖.这改进并推广了McGregor等人[PODS 2016]的结果,McGregor等人给出了$3$ -用于$(1\pm ε)$的仅插入流算法-如果该算法被赋予对度的额外oracle访问,则近似于$\tilde{O}(\frac{m^{3/2}}{ε^2\cdot \# T})$空间中三角形的数量$\# T$。2.我们提供了一个恒定的通过流算法$(1\pm ε)$ -近似$\# K_r$在$\tilde{O}(\frac{mλ^{r-2}}{ε^2\cdot \# K_r})$空间中的任何$r\geq 3$,在图$G$与退化$λ$,其中$K_r$是一个团的$r$顶点。这解决了Bera和Seshadhri的猜想[PODS 2020]。更一般地…
2022-03-27 cs.DS
Coloring in Graph Streams
本文研究了半流模型下图的顶点着色问题。在该模型中,输入图由以对抗顺序到达的边缘流定义,并且任何算法必须使用图的顶点数的空间线性(直到多对数因子)来处理以到达顺序到达的边缘。在离线条件下,对最大度图$Δ$的$(Δ+1)$ -顶点着色有一个简单的贪婪算法.针对$(1+\varepsilon)Δ$ -顶点着色问题,我们设计了一个基于$\varepsilon >0$空间的随机流算法,其中$n$是图中的顶点数.对于离线环境下有界荫度的图,有更多的颜色有效算法。具体地说,有一个简单的$2α$顶点着色算法的荫度$α$图。我们提出了一个$O(\varepsilon^{-1}\log n)$通过随机顶点着色算法,需要最多$(2+\varepsilon)α$许多颜色的任何常数$\varepsilon>0$的图荫度$α$在半流模型。
2018-07-25 cs.DS
Streaming Graph Partitioning in the Planted Partition Model
图数据规模的急剧增加已经引起了人们对开发高效的分布式图处理框架的极大兴趣。流行的现有框架,如Graphlab和Pregel依赖于平衡图分区,以最大限度地减少通信并实现工作平衡。在这项工作中,我们有助于流图分区\cite{stantonstreaming,stanton,fennel}计算一个近似平衡的$k$ -分区的顶点集的图形流使用度为基础的标准,使用一个单一的通过最近的研究线。这个图划分框架非常适合处理大规模和动态图。在这项工作中,我们介绍了使用更长的步行流图分区,并表明,它们的使用会产生一个小的计算成本,可以显着提高图形分区的质量。我们使用种植分区模型\cite{condon2001algorithms,mcsherry2001spectral}对我们的算法进行平均情况分析。我们补充斯坦顿\cite{stantonstreaming}的最近结果表明,我们提出的方法恢复真正的分区具有很高的概率,即使当差距的模型趋于零的大小的图形的增长。此外,在众多的选择中,我们发现建议的长度是最佳的。最后,我们进行了实验,验证了所提出的方法的价值。
2014-08-20 cs.DC cs.DS
Optimal Streaming Algorithms for Graph Matching
我们提出了参数化流算法的动态和插入只模型中的图匹配问题。对于动态流模型,我们提出了一个一次通过算法,以高概率,计算一个最大权重$k$ -匹配的加权图在$\tilde{O}(Wk^2)$空间,并有$\tilde{O}(1)$更新时间,其中$W$是不同的边缘权重的数量和符号$\tilde{O}()$隐藏在输入大小的多对数因子。对于只插入流模型,我们提出了一个一次通过的算法,运行在$O(k^2)$空间,并有$O(1)$更新时间,并以高概率,计算最大权重$k$匹配的加权图。在动态模型中,我们的算法对于未加权的$k$ -匹配和在只插入模型中,我们的算法对于加权的$k$ -匹配的空间复杂度和更新时间复杂度都是最优的。本文的一个显著贡献是,所提出的算法{ \it不}依赖于先验知识/承诺,即输入图的\emph{every}最大权匹配的基数是由参数$k$上界的。这一承诺在以前的工作中一直是一个关键条件,要解除它需要开发新的工具和技术。
2021-02-25 cs.CC cs.DS
Graph Streaming Lower Bounds for Parameter Estimation and Property Testing via a Streaming XOR Lemma
Cheriton School of Computer Science, University of Waterloo(滑铁卢大学 Cheriton 计算机科学学院);Department of Computer Science, Rutgers University(罗格斯大学计算机科学系)
该研究开发新下界技术,通过流式异或引理证明图流式参数估计与性质测试问题的空间-遍历次数权衡下界,其结果渐近最优且可强化现有下界,还可用于其他流式下界研究。
2026-08-18 cs.CC cs.DS
A Two-Pass Lower Bound for Semi-Streaming Maximum Matching
我们证明了一个下界的空间复杂度的两遍半流算法,近似的最大匹配问题。下界由Ruzsa-Szemeredi图的密度参数化:* 任何用于最大匹配的两遍半流算法具有至少$(1- Ω(\frac{\log{RS(n)}}{\log{n}}))$的近似比,其中$RS(n)$表示任何$n$ -顶点图中大小为$Θ(n)$的诱导匹配的最大数量,即,图的最大密度目前,已知$n^{Ω(1/\!\log\log{n})} \leq RS(n) \leq \frac{n}{2^{O(\log^*{\!(n)})}}$和闭合上界和下界之间的这个(大的)差距在组合学中仍然是一个众所周知的难题。在合理的假设下,$RS(n) = n^{Ω(1)}$,我们的下限是第一个排除小常数近似两遍半流算法的最大匹配问题,取得进展的一个长期悬而未决的问题,在图流文学。
2021-08-16 cs.CC cs.DS
Practice of Streaming Processing of Dynamic Graphs: Concepts, Models, and Systems
本文首次对动态与流式图处理领域进行系统分析与分类,明确了相关核心概念,探讨了系统设计、并发性及工作负载支持,并搭建了图流式理论与实际框架之间的桥梁,指出了未来的研究挑战。
2021-10-27 cs.DB cs.DC cs.DS
Analysis of Kelner and Levin graph sparsification algorithm for a streaming setting
INRIA Lille - Nord Europe(法国国家信息与自动化研究所里尔-诺尔欧洲中心)
我们推导了一个新的证明,表明Kelner和Levin(2013)提出的增量再稀疏算法以高概率产生谱稀疏器。我们严格考虑到后续的重新解析使用鞅不等式的依赖关系,修复了原始分析中的一个缺陷。
2016-09-13 cs.DS cs.LG stat.ML
Weighted Matching in the Semi-Streaming Model
我们减少了最好的已知的近似比找到一个加权匹配的图使用一个一遍半流算法从5.828到5.585。半流模型禁止对输入的随机访问,并将内存限制为O(n*polylog(n))位。它是由Muthukrishnan在2003年提出的,适用于处理大规模图。
2007-09-21 cs.DM cs.DS
Low-Latency Graph Streaming Using Compressed Purely-Functional Trees
由于现实世界的图形的动态性质,已经有越来越多的兴趣,在图形流设置中,连续流的图形更新与任意图形查询混合。原则上,纯函数树是此设置的理想选择,因为它们支持安全并行、轻量级快照和严格的查询可串行化性。然而,直接将它们用于图形处理将导致显著的空间开销和较差的缓存局部性。本文提出了C-树,压缩纯功能的搜索树数据结构,显着提高了纯功能树的空间使用和局部性。关键思想是在树上使用分块技术,以便在每个树节点上存储多个条目。我们设计了理论上有效的和实用的算法进行批量更新的C-树,也表明,我们可以存储大量的动态现实世界的图形,每边只使用几个字节,从而实现接近最好的静态图形处理框架的空间使用。为了研究我们的数据结构的效率和适用性,我们设计了Aspen,一个图形流框架,它扩展了Ligra的接口,具有更新图形的操作。我们表明,Aspen比两个最先进的图形流系统Stinger和LLAMA更快,同时需要更少的内存,并且与最先进的静态图形框架Galois,GAP和Ligra+在性能上具有竞争力。使用Aspen,我们能够使用具有1 TB内存的单个商品多核服务器,在图形流设置中有效地处理最大的公开可用图形,其中包含超过2000亿条边。
2019-04-17 cs.DC cs.DS cs.PL