Counting Hypergraphs in Data Streams
我们提出了第一个流算法计数的任意超图$H$的恒定大小的大型超图$G$。我们的算法可以处理边插入和边删除,并适用于分布式设置。此外,我们的方法提供了第一个家庭的图多项式的超图计数问题。由于超图与集合系统之间的密切关系,我们的方法可能在研究类似问题中有应用。
2013-04-28 cs.DS math.CO
Flattened Exponential Histogram for Sliding Window Queries over Data Streams
基本计数问题[1]是数据流上滑动窗口查询中最基本、最关键的流问题之一。给定一个0和1的流,这个问题的目的是估计从流中看到的最后N个元素(或时间单位)中1的数量。它的解决方案可以用来作为积木,以解决许多更复杂的问题,如沉重的打击,频率估计,不同的计数,在本文中,我们提出了平坦的指数直方图(FEH)模型的基本计数问题。我们的模型改进了指数直方图[1],[2],这是一种用于基本计数问题的广受欢迎的确定性技术,在实践中大部分时间都是关于准确性和内存利用率。在真实世界数据集上的大量实验结果表明,在相同的内存占用情况下,我们的模型的准确性在4到15之间,平均比指数直方图高7倍,而速度大致相同。
2019-12-07 cs.DS
An Optimal Algorithm for Triangle Counting in the Stream
我们提出了一个新的算法来近似的三角形的数量在图$G$的边缘到达作为一个任意顺序流。如果$m$是$G$中的边数,$T$是三角形数,$Δ_E$是共享一条边的三角形的最大数,$Δ_V$是共享一个顶点的三角形的最大数,那么我们的算法需要空间:\[ \widetilde{O}\left(\frac{m}{T}\cdot \left(Δ_E + \sqrt{Δ_V}\right)\right) \]采用Braverman、Ostrovsky和Vilenchik的$Ω\left(\frac{m Δ_E}{T}\right)$下限(ICALP 2013),以及Kallaugher和Price的$Ω\left( \frac{m \sqrt{Δ_V}}{T}\right)$下界(SODA 2017),我们的算法在对数因子上是最优的,解决了图流中经典问题的复杂性。
2021-07-14 cs.DS
How Hard is Counting Triangles in the Streaming Model
图中三角形个数的(近似)计数问题是图论中的基本问题之一。在本文中,我们研究的问题中的流模型。我们研究了随机算法解决这个问题所需的内存量。在算法允许一次通过流的情况下,我们提出了一个最好的可能的下限$Ω(m)$的图$G$与$n$顶点上的$m$边。如果一个常数的通行证是允许的,我们显示了一个下界的$Ω(m/T)$,$T$的三角形的数量。我们匹配,在某种意义上说,这个下界与2-pass $O(m/T^{1/3})$ -memory算法,解决了区分图与至少$T$三角形的图形没有三角形的问题。提出了一个新的图参数$ρ(G)$ --三角形密度,并推测三角形问题的空间复杂性为$Ω(m/ρ(G))$ .我们通过第二个算法来匹配它,该算法使用$O(m/ρ(G))$ -存储器来解决区分问题。
2013-04-04 cs.DS
Counting Triangles in Graph Streams with Repeatable and Forgettable Edges
Indian Statistical Institute(印度统计研究所);Iowa State University(爱荷华州立大学);Reykjavik University(雷克雅未克大学);University of Nebraska–Lincoln(内布拉斯加大学林肯分校)
针对图流中边可重复到达的现实场景,提出具有最优空间复杂度的三角形计数算法,并扩展至可遗忘边模型,实现单遍及常数遍近似计算。
2026-09-18 cs.DS
How the Degeneracy Helps for Triangle Counting in Graph Streams
我们重新研究了图流中三角形计数估计的问题。给定一个表示为$m$边流的图,我们的目标是使用小空间算法计算三角形计数$T$的$(1\pm\varepsilon)$ -近似。对于任意阶和恒定的遍数,已知空间复杂度基本上为$Θ(\min(m^{3/2}/T, m/\sqrt{T}))$(McGregor等人,PODS 2016,Bera等人,STACS 2017)。我们给出了一个(恒定通过,任意顺序)流算法,可以绕过这个下限为\emph{low degeneracy graphs}。退化度$κ$是密度的一个微妙的度量,并且常数退化图的类别非常丰富(包含平面图,小闭族和偏好连接图)。我们设计了一个具有空间复杂度的流算法$\widetilde{O}(mκ/T)$。对于常数退化图,此界是$\widetilde{O}(m/T)$,它显著小于$m^{3/2}/T$和$m/\sqrt{T}$。我们补充我们的算法结果与几乎匹配的下限$Ω(mκ/T)$。
2020-03-29 cs.DS
Approximately Counting Subgraphs in Data Streams
估计数据流中的子图的数量是一个基本的问题,在过去的十年中受到了极大的关注。在本文中,我们给出了改进的流算法近似计数的出现次数的任意子图$H$,表示为$\# H$,当输入图$G$表示为$m$边流。为了获得我们的算法,我们提供了一个通用的转换,恒定轮子线性时间图算法的查询访问模型中的恒定通过子线性空间图流算法。利用这种变换,我们得到了以下结果。1.在$\tilde{O}(\frac{m^{ρ(H)}}{ε^2\cdot \# H})$空间中给出了$(1\pm ε)$ -逼近$\# H$的$3$ -通过旋转栅门流算法,其中$ρ(H)$是$H$的分数边覆盖.这改进并推广了McGregor等人[PODS 2016]的结果,McGregor等人给出了$3$ -用于$(1\pm ε)$的仅插入流算法-如果该算法被赋予对度的额外oracle访问,则近似于$\tilde{O}(\frac{m^{3/2}}{ε^2\cdot \# T})$空间中三角形的数量$\# T$。2.我们提供了一个恒定的通过流算法$(1\pm ε)$ -近似$\# K_r$在$\tilde{O}(\frac{mλ^{r-2}}{ε^2\cdot \# K_r})$空间中的任何$r\geq 3$,在图$G$与退化$λ$,其中$K_r$是一个团的$r$顶点。这解决了Bera和Seshadhri的猜想[PODS 2020]。更一般地…
2022-03-27 cs.DS
Tiered Sampling: An Efficient Method for Approximate Counting Sparse Motifs in Massive Graph Streams
我们介绍了分层采样,一种新的技术,用于近似计数稀疏图案在大规模的图形,其边缘观察到的流。我们的技术只需要一个单一的数据通过,并使用固定大小的内存$M$,这可以是幅度小于边缘的数量。我们的方法解决了具有挑战性的任务,计数稀疏图案-子图模式,有低概率出现在一个样本的$M$边缘的图形,这是最大量的数据可用于算法在每一步。为了获得计数的无偏和低方差估计,我们将可用存储器划分为储层样本的层(层)。虽然基础层是边缘的标准储集层样本,但其他层是所需基序的子结构的储集层样本。通过存储主题的更频繁的子结构,我们增加了检测到我们正在计数的稀疏主题的出现的概率,从而降低了估计的方差和误差。我们证明了我们的方法的优势,在具体的应用程序中计数稀疏4和5团在大量的图形。我们提出了一个完整的分析和广泛的实验结果,使用合成和真实世界的数据。我们的研究结果表明,我们的方法在获得高质量的近似的4和5团的大型图形使用非常有限的内存量,显着优于单边样本方法计数稀疏图案在大规模的图形。
2017-10-05 cs.DS
Triangle counting in dynamic graph streams
在过去的十年中,使用有限的内存来估计图流中的三角形数量已经成为一个热门话题。不同的变化的问题进行了研究,这取决于是否提供的图形边缘以任意顺序或发病率列表。然而,除了少数例外,算法已经考虑了{ \em仅插入}流。我们提出了一个新的算法估计的三角形的数量{ \em动态}图流中的边缘可以插入和删除。我们表明,我们的算法实现了更好的时间和空间复杂度比以前的解决方案的各种图形类,例如稀疏图形与相对较少的三角形。此外,对于具有恒定传递系数的图,这是真实图中的常见情况,这是第一个实现每条边的恒定处理时间的算法。结果是通过一种新的方法相结合的顶点三元组的采样和稀疏化的输入图。在算法的分析过程中,我们提出了一个下界的两两独立的2-路在一般的图,这可能是独立的利益。在文章的最后,我们讨论了三角形计数算法的空间复杂度的下界,不对图的结构作任何假设。
2015-07-14 cs.DS
Near Uniform Triangle Sampling Over Adjacency List Graph Streams
针对邻接表图流模型下的近似均匀三角形采样问题,设计空间复杂度与计数类算法相当的高效流算法,同时补充顶点、边到达模型的相关结果,丰富图流采样研究。
2024-05-16 cs.DS
Counting Cycles on Planar Graphs in Subexponential Time
本文研究了平面三角图上所有圈或自避免行走的计数问题。我们提出了一个次指数$2^{O(\sqrt{n})}$时间算法这个计数问题。在这个算法中使用的技术成分是平面分离定理和一个微妙的分析使用对Motzkin路径和Motzkin数。然后,我们可以适应这种算法均匀采样SAW,在次指数时间。我们的工作是由gerrymandered选区地图的问题。
2022-08-21 cs.DS math.CO
Computing Permanents and Counting Hamiltonian Cycles Faster
本文通过支持快速 r 阶求值的数据结构并结合多变量多点评估方法,将积和式计算与哈密顿回路计数的时间复杂度改进至 2^{n-Ω(√n)}。
2023-09-27 cs.DS
The Expiration Streaming Model: Diameter, $k$-Center, Counting, Sampling, and Friends
University of Bonn(波恩大学);University of Ljubljana(卢布尔雅那大学);Institute of Mathematics, Physics and Mechanics(数学、物理和力学研究所);University of Maryland, College Park(马里兰大学帕克分校);Weizmann Institute of Science(魏茨曼科学研究所);Microsoft Research(微软研究院);Université Côte d’Azur(蔚蓝海岸大学)
研究针对项目有任意过期时间的过期流模型,通过新分解和协调技术等,给出近似计数、采样算法,以及直径和k - 中心问题算法,扩展了滑动窗口流特殊情况结果,在高维欧几里得度量下有更好直径近似因子。
2026-07-28 cs.DS
Counting Butterflies over Streaming Bipartite Graphs with Duplicate Edges
Antai College of Economics and Management, Shanghai Jiao Tong University(上海交通大学安泰经济与管理学院);Nanjing University of Science and Technology, School of Computer Science and Technology(南京理工大学计算机科学与技术学院);University of New South Wales(新南威尔士大学)
研究针对流式双图中重复边问题,提出DEABC方法,通过桶优先采样提高蝴蝶计数的准确性和效率,降低内存使用并提升吞吐量。
2026-04-26 cs.DS
Computing Quartet Distance is Equivalent to Counting 4-Cycles
四重距离是用于比较同一组$n$叶上的两个无根系统发生树的相似性的度量,定义为两个树中由不同拓扑结构相关的四个叶的子集的数量。在一系列先前结果之后,Brodal等人[SODA 2013]提出了一种在$\mathcal{O}(nd\log n)$时间内计算该数的算法,其中$d$是节点的最大度。我们的主要贡献是一个双向的减少,建立计算$n$叶上的两棵树之间的四重距离的复杂性是相同的,多对数因子,作为计数的复杂性,在一个无向简单的图与$m$边缘4-循环。后一个问题已被广泛研究,Vassilevska Williams [SODA 2015]的已知最快算法在$\mathcal{O}(m^{1.48})$时间内工作。事实上,即使对于检测4周期的看似简单的问题,最知名的算法也在$\mathcal{O}(m^{4/3})$时间内工作,并且Yuster和Zwick的猜想暗示这可能是最优的。特别地,用于计算四重距离的几乎线性时间将意味着用于计数4个循环的令人惊讶的高效算法。在另一个方向上,通过插入最先进的算法来计数4个周期,我们的减少使我们能够显着降低计算四重距离的复杂性。对于度为无界的树,我们得到了一个$\mathcal{O}(n^{1.48})$时间算法,它是对以前的$\mathcal{O}(n^{2}\log n)$界的一个实质性改进。对于度由$d$限定的树,通过更仔细地分析约简,我们能够得到一…
2020-12-02 cs.DS
The Sketching Complexity of Graph and Hypergraph Counting
子图计数是图处理中的基本原语,其应用于社会网络分析(例如,估计图的聚类系数)、数据库处理等领域。子图计数的空间复杂度已经在文献中得到了广泛的研究,但许多自然设置仍然没有得到很好的理解。在本文中,我们重新审视子图(和超图)计数问题的草图模型,算法的状态,因为它处理流的更新图是一个线性函数的流。该模型最近在文献中得到了很多关注,并已成为解决动态图流问题的标准模型。在本文中,我们给出了一个严格的界限计数的出现次数的一个小子图$H$在有界度图$G$的边缘更新流的草图复杂度。具体来说,我们表明,问题的空间复杂度是由图$H$的分数顶点覆盖数。我们的子图计数算法实现了一个自然的顶点采样方法,采样概率由$H$的顶点覆盖。我们的主要技术贡献在于我们开发了一套新的傅立叶分析工具,用于分析同时通信模型中的多人通信协议,使我们能够证明一个严格的下限。我们相信,我们的技术很可能在其他环境中找到应用。除了给出所有图$H$的紧边界外,我们的算法和下界都扩展到超图设置,尽管在空间复杂度上有一些损失。
2018-08-15 cs.DS
Estimating Entropy of Data Streams Using Compressed Counting
Shannon熵是一种广泛应用的概括统计量,例如,网络流量测量,异常检测,神经计算,尖峰序列等。已知Shannon熵可以用Reenyi熵或Tsallis熵来近似,它们都是p阶频率矩的函数,并且当p>1时接近Shannon熵。压缩计数是一种新的数据流p阶频率矩的近似计算方法。我们的贡献包括:1)证明了Renyi熵比Tsallis熵更好地逼近Shannon熵。2)我们提出了CC的最佳分位数估计,这大大改善了以前的估计。3)我们的实验表明,CC确实是非常有效的近似的时刻和熵。我们还证明了利用方差偏差权衡的至关重要性。
2009-10-08 cs.DB cs.DS
A Very Efficient Scheme for Estimating Entropy of Data Streams Using Compressed Counting
最近提出了压缩计数(CC)来近似数据流的$α$阶频率矩,用于$0<α\leq 2$。在松弛的严格旋转栅门模型下,CC显著地改进了基于对称稳定随机投影的标准算法,特别是改进了$α\to 1$。CC的一个直接应用是估计熵,它是Web/网络测量中的一个重要的汇总统计量,通常是数据采掘的一个关键“特征”。Rényi熵和Tsallis熵是$α$ th频率矩的函数;并且两者都以$α\to 1$的形式接近香农熵。最近的理论工作建议使用$α$ th频率矩来用$α=1+δ$和非常小的$|δ|$(例如,$<10^{-4}$)。在这项研究中,我们实验使用CC估计频率矩,雷尼熵,Tsallis熵和香农熵,在真实的Web抓取数据。我们证明了方差偏置权衡估计香农熵,并提供实用的建议。(1)与$α\to 1$相比,CC显著地改进了{ \em symmetric stable random projects}对频率矩、Rényi熵、Tsallis熵和Shannon熵的估计。改进似乎接近“无限”。“(2)使用{ \em对称稳定随机投影}和具有非常小的$|δ|$的$α= 1+δ$不能提供实用的算法,因为所需的样本量是巨大的。
2008-08-21 cs.DS
Simple and efficient four-cycle counting on sparse graphs
本文提出一种稀疏图上计数4-环的确定性精简算法,仅需O(mδ̄)时间和n个字空间,无需哈希表或排序,且实验显示比哈希表实现平均快4至7倍。
2024-09-27 cs.DS
The Optimal Quantile Estimator for Compressed Counting
压缩计数(Compressed Counting,CC)是近年来提出的一种非常有效的计算数据流的(近似)$α$阶频率矩的方法,其中$0<α<= 2$ .几个估计,包括几何平均估计,调和平均估计,最佳功率估计等几何平均估计是特别有趣的理论目的。例如,当$α-> 1$时,CC的复杂度(使用几何平均估计量)是$O(1/ε)$,打破了众所周知的大偏差界限$O(1/ε^2)$。实例$α\approx 1$具有重要的应用,例如计算数据流的熵。为了实用的目的,本研究提出了最佳分位数估计。与以前的估计相比,该估计是计算更有效,也更准确时,$α> 1$。
2008-08-13 cs.DS
Local Differentially Private Fuzzy Counting in Stream Data using Probabilistic Data Structure
流数据中的项的计数的隐私保护估计在包括单词自动校正和流量管理应用的若干真实世界场景中找到应用。RAPPOR和Apple的计数平均草图(CMS)算法的最新工作提出了隐私保护机制,用于使用概率数据结构(如计数布隆过滤器和CMS)在大量数据中进行计数估计。然而,这些现有的方法不足以为实时流数据应用提供合理的解决方案。在这项工作中,我们提出了一种新的(本地)差分私有机制,提供了高效用的流数据计数估计问题与类似或甚至更低的隐私预算,同时提供:a)模糊计数报告计数相关或类似的项目(例如,以占打字错误和数据变化),和b)提高查询效率,以减少实时查询计数的响应时间。我们提供了正式的证据,隐私和效用的保证,并提出了广泛的实验评估我们的算法,使用真实和合成的英语单词数据集的精确和模糊计数的情况。我们的隐私保护机制大大优于以前的工作,在查询时间较低,显着更高的效用(计数估计的准确性)类似或较低的隐私保证,在通信开销的成本。
2022-11-30 cs.CR cs.DS
Model Counting meets F0 Estimation
约束满足问题(CSP)和数据流模型是两个强大的抽象,用于捕获在计算机科学的不同领域中出现的各种各样的问题。两个社区的事态发展大多是独立发生的,彼此之间几乎没有互动。在这项工作中,我们试图调查弥合两个社区之间看似沟通的差距是否可能为更丰富的基本见解铺平道路。为此,我们专注于两个基本问题:CSP的模型计数和零频矩($F_0$)的数据流的计算。我们的调查使我们观察到惊人的相似性,在算法框架中采用的核心技术,已经分别演变为模型计数和$F_0$计算。我们设计了一个食谱翻译的算法开发的$F_0$估计模型计数,从而在新的算法模型计数。然后,我们观察到,在分布式流的上下文中的算法可以转换为分布式算法的模型计数。接下来,我们把我们的注意力从计数的镜头观看流,并表明,框架$F_0$估计作为一个特殊的情况下,#DNF计数允许我们获得一个通用的配方,丰富的流问题,这已经受到特定情况下的分析,在以前的作品。特别是,我们的观点产生一个国家的最先进的算法,多维范围有效的$F_0$估计与一个简单的分析。
2021-05-03 cs.DB cs.DS
Counting Simplices in Hypergraph Streams
我们考虑的问题,空间有效地估计超图流中的单形的数量。这是最自然的超图推广的高度研究的问题,估计三角形的数量在图流。我们的输入是一个$k$-一致超图$H$,它具有$n$顶点和$m$超边。$H$中的$k$-单纯形是$k+1$顶点$X$上的子超图,使得$X$中所有$k+1$可能的超边都存在于$H$中。目标是处理$H$的超边流并计算$T_k(H)$的良好估计,即$H$中$k$-单纯形的数量。我们设计了一套算法来解决这个问题。在$T_k(H) \ge T$的承诺下,我们的算法使用最多四个通道,并且对于每个固定的$k \ge 3$,一起暗示$O( ε^{-2} \logδ^{-1} \text{polylog} n \cdot \min\{ m^{1+1/k}/T, m/T^{2/(k+1)} \} )$的空间界限,以保证在$(1\pmε)T_k(H)$内的估计具有至少$1-δ$的概率。我们还给出了一个更简单的$1$-通过算法,实现了$O(ε^{-2} \logδ^{-1} \log n\cdot (m/T) ( Δ_E + Δ_V^{1-1/k} ))$空间,其中$Δ_E$(分别,$Δ_V$)表示共享一个超边(分别,一个顶点)的$k$-单纯形的最大数量。我们补充这些算法的结果与空间下界的形式$Ω(ε^{-2})$,$Ω(m^{1+1/k}/T)$,$Ω(m/T^{1-1/k})$和$Ω(mΔ…
2021-12-21 cs.DS
Efficient Sampling Algorithms for Approximate Motif Counting in Temporal Graph Streams
从通信网络中的用户交互到金融市场中的交易,各种各样的复杂系统都可以建模为由一组顶点和一系列带时间戳的有向边组成的时态图。时态基序是从静态图中的子图模式中概括出来的,除了拓扑结构外,静态图还考虑了边的排序和持续时间。时间模体出现次数的计算是时间网络分析的一个基本问题。然而,现有的方法要么不能支持时间图案或遭受性能问题。此外,它们不能在流模型中工作,其中边缘随着时间的推移而逐渐观察。在本文中,我们专注于通过随机抽样近似时间模体计数。首先,我们提出了两个采样算法的时间模体计数在离线设置。第一种是边缘采样(ES)算法,用于估计任何时间主题的实例数。第二种是一种改进的边缘-楔形采样(EWS)算法,该算法将边缘采样和楔形采样相结合,用于计算具有$3$顶点和$3$边缘的时间模体。此外,我们提出了两个算法来计算时间图案增量时间图流扩展ES和EWS算法称为SES和SEWS。我们提供了全面的分析,我们提出的算法的理论界限和复杂性。最后,我们对我们提出的算法在几个真实世界的时间图进行了广泛的实验评估。结果表明,ES和EWS具有更高的效率,更好的准确性,和更大的可扩展性比国家的最先进的采样方法在离线设置的时间模体计数。此外,SES和SEWS实现了三个数量级的加速ES和EWS,同时具有可比的估计误差的时间基序计数在流设置。
2022-11-22 cs.DS cs.SI
Four-Cycle Counting in Low-Degeneracy Graph Streams
TU Wien(维也纳工业大学);University of Science and Technology of China(中国科学技术大学)
提出两种基于子图采样的算法,分别使用两遍和一遍流式扫描,在低退化度图上实现四环数量的(1+ε)近似,空间复杂度达到理论最优或接近最优。
2026-06-17 cs.DS
WRS: Waiting Room Sampling for Accurate Triangle Counting in Real Graph Streams
如果我们不能存储图流中的所有边,我们应该存储哪些边来准确估计三角形计数?计数三角形(即,长度为3的循环)是在社会网络分析、web挖掘、异常检测等中具有许多应用的基本图问题。最近,已经做出了很多努力来在具有有限空间的流设置中准确地估计全局和局部三角形计数。虽然现有的方法使用采样技术,而不考虑时间依赖性的边缘,我们观察到时间的局部性,在真正的动态图。也就是说,未来的边更可能与最近的边形成三角形,而不是与较旧的边形成三角形。在这项工作中,我们提出了一个单通流算法称为等候室采样(WRS)的全球和当地的三角形计数。WRS利用时间局部性,总是存储最近的边缘,未来的边缘更有可能形成三角形,在等待室,而它使用水库采样的其余边缘。我们的理论和实证分析表明,WRS是:(a)快速和“任何时间”:在线性时间内运行,总是保持和更新估计,而新的边缘到达,(b)有效的:产生高达47%的估计误差小于其最好的竞争对手,和(c)理论上的声音:给出无偏估计的时间局部性下的小方差。
2017-09-19 cs.DB cs.DS
An Improved Fully Dynamic Algorithm for Counting 4-Cycles in General Graphs using Fast Matrix Multiplication
针对完全动态图中4-环计数问题,提出利用快速矩阵乘法的改进算法,将最坏更新时间优化至O(m^{2/3-eps}),证明原O(m^{2/3})并非正确复杂度。
2025-04-14 cs.DS
Parameter-Free Triangle Counting
Yale University(耶鲁大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出无参数流式三角形计数算法,无需先验知识即可近似三角形数,使用O(p)遍和期望次线性空间,并证明任何无参数乘法近似算法需线性空间的下界。
2026-09-22 cs.DS
Lower Bounds for Pseudo-Deterministic Counting in a Stream
本研究证明流中伪确定性近似计数需要 $\Omega(\sqrt{\log n / \log\log n})$ 比特空间,否定了其匹配 Morris 计数器 $O(\log\log n)$ 空间复杂度的可能性,并引入“移位查找”问题作为关键技术工具。
2023-05-15 cs.DS
Fast Approximate Counting of Cycles
本文提出有向图中三角形及任意固定长度环的快速近似计数算法,将三角形计数时间改进为与矩形矩阵乘法相当,并证明在细粒度假设下该时间最优。
2024-09-28 cs.DS
Counting Triangles in Real-World Graph Streams: Dealing with Repeated Edges and Time Windows
真实世界的图形通常表现为大量的边的时间流。实时分析这种大型图形流的需求导致了低内存、单通道流式图形算法的进展。这些算法是为简单图设计的,假设边在流中不重复。然而,真实的图流几乎总是多重图,即,它们包含许多重复的边。没有重复边缘的假设需要一个额外的通道 * 存储所有边缘 *,仅用于重复数据删除,这违背了小内存算法的目的。我们描述了一个算法,用于估计三角形计数的多重图流的边缘。我们表明,所有以前的流算法三角形计数失败的多重图流,尽管他们令人印象深刻的精度为简单的图形。重复边产生的偏差是一个主要问题,并导致这些算法误入歧途。我们的算法通过仔细的去偏策略避免了这些偏差,并具有可证明的理论保证和出色的经验性能。我们的算法建立在前面介绍的楔形抽样方法。分析时间图的另一个挑战是找到正确的时间窗口大小。我们的算法无缝地处理多个时间窗口,并且不需要先验地承诺任何窗口大小。我们应用我们的算法,发现迷人的传递性和三角形的趋势,在现实世界的图形流。
2014-10-14 cs.DM cs.DS cs.SI
Triangle and Four Cycle Counting with Predictions in Graph Streams
Massachusetts Institute of Technology(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院);Boston University(波士顿大学)
我们提出了数据驱动的一次通过流算法,用于估计三角形和四个周期的数量,这是图分析中的两个基本问题,在图数据流文献中被广泛研究。最近,(Hsu 2018)和(Jiang 2020)在其他数据流问题中应用了机器学习技术,使用经过训练的预言机,可以预测流元素的某些属性,以改进先前不使用预言机的“经典”算法。在本文中,我们探讨了一个“重边”的神谕在多个图边流模型的权力。在邻接表模型中,我们提出了一个一遍三角形计数算法,改进了以前的空间上界没有这样的预言。在任意阶模型中,我们提出了三角形和四个周期估计的算法,具有较少的通过和相同的空间复杂度在以前的算法,我们表明这些界限是最佳的。我们分析了我们的算法在几个噪声模型下,即使在预言机出错的情况下,该算法也表现良好。我们的方法扩展了以前的工作“经典”流算法,以前的多通道和随机顺序流算法可以被看作是我们的算法的特殊情况下,第一次通过或随机顺序被用来实现重边预言。最后,我们的实验表明,所提出的方法相比,国家的最先进的流媒体算法的优势。
2022-03-17 cs.DS cs.LG
TRIÈST: Counting Local and Global Triangles in Fully-dynamic Streams with Fixed Memory Size
我们提出了TRIBUST,一套单通道流算法来计算全局和局部(即,关联到每个顶点)的三角形的数量表示为边插入和删除的对抗流的全动态图。我们的算法使用水库采样及其变种,以利用用户指定的内存空间在任何时候。这与使用难以选择的参数(例如,固定的采样概率),并且不保证它们将使用的存储器量。我们展示了这些数量的估计和新的浓度范围的方差的全面分析。我们在非常大的图上的实验结果表明,TRIBUIST在准确性上优于最先进的方法,并且具有较小的更新时间。
2016-06-28 cs.DB cs.DS
ONCE and ONCE+: Counting the Frequency of Time-constrained Serial Episodes in a Streaming Sequence
作为一个典型的序列模式挖掘问题,从流媒体序列中统计连续情节的频率由于其在实践中的广泛应用而引起学术界的持续关注,例如,电信报警,股票市场,交易日志,生物信息学等。尽管最近已经开发了许多串行事件挖掘算法,但它们中的大多数既不是面向流的,因为它们需要数据集的多次传递,也不是时间感知的,因为它们没有考虑到串行事件的时间约束。在本文中,我们提出了两个新的一遍算法,ONCE和ONCE+,其中每一个可以分别计算两个流行的频率给定的情节满足预定义的时间约束,在流中的信号到达一个接一个。ONCE仅用于非重叠频率,其中序列中连续发作的发生不重叠。ONCE+设计用于不同的频率,其中连续发作的发生不共享任何事件。理论研究表明,该算法可以正确地挖掘给定流中目标时间约束序列的频率。在真实世界和合成数据集上的实验研究表明,该算法可以在很小的时间和空间内工作,在信号密集型流中,数百万个信号在一秒钟内到达。并将该算法应用于一个实际的流处理系统中,验证了该算法的有效性和高效性。
2018-01-29 cs.DB cs.DS
Near-Linear Time Homomorphism Counting in Bounded Degeneracy Graphs: The Barrier of Long Induced Cycles
在输入图$G$中计算恒定大小模式图$H$的同态是一个基本的计算问题。在对输入$G$和模式$H$的各种约束下,研究这个问题的复杂性有着丰富的历史。考虑到这个问题的重要性和现代输入的大尺寸,我们研究了近线性时间算法的可能性。我们专注于输入图有界退化的情况下,一个普遍研究和实际相关类同态计数。从以前的工作中得知,对于某些类的$H$,$H$ -同态可以在近线性时间内精确计数有界退化图。我们能否精确地描述模式$H$的特征,从而使近线性时间算法成为可能?我们完全解决了这个问题,发现了一个干净的二分法使用细粒度的复杂性。令$m$表示$G$中的边的数目。我们证明如下:如果$H$中的最大诱导圈的长度不超过$5$,则存在一个计算有界退化图中$H$ -同态的$O(m\log m)$算法.如果$H$中最大的诱导循环的长度至少为$6$,那么(假设标准的细粒度复杂度模型)存在一个常数$γ> 0$,这样就不存在计算$H$ -同态的$o(m^{1+γ})$时间算法。
2020-11-19 cs.CC cs.DS
Differentially Private Continual Releases of Streaming Frequency Moment Estimations
计算的流模型是处理大规模数据的流行方法。在这种设置中,有一个项目流,目标是计算所需的数量(通常是数据统计),同时通过流进行单次传递并使用尽可能少的空间。出于数据隐私的重要性,我们开发了差分隐私流媒体算法下的连续发布设置,在每个时间戳的算法的输出的联合必须是差分隐私。具体地说,我们研究了基本的$\ell_p$ $(p\in [0,+\infty))$频率矩估计问题在此设置下,并给出了一个$\varepsilon$算法,实现$(1+η)$ -相对近似$(\forall η\in(0,1))$与$\mathrm{poly}\log(Tn)$添加性误差和使用$\mathrm{poly}\log(Tn)\cdot \max(1, n^{1-2/p})$空间,其中$T$是流的长度和$n$是宇宙的元素的大小。我们的空间是接近最佳的多对数因子,即使在非私人设置。为了获得我们的结果,我们首先减少了几个原语下的差分私有连续发布模型,如计数不同的元素,重打击者和计数低频元素,在相同的设置更简单,计数/求和问题。基于这些原语,我们开发了一种差分私有连续释放水平集估计方法来解决$\ell_p$频率矩估计问题。我们还提供了一个简单的扩展,我们的结果更硬的滑动窗口模型,统计数据必须保持在过去的$W$数据项。
2023-01-13 cs.DS
On the Sample Complexity of Compressed Counting
压缩计数法是近年来提出的一种基于最大偏斜稳定随机投影的数据流p阶频率矩估计方法。p->1的情况对于估计数据流的Shannon熵是非常有用的。在这项研究中,我们提供了一个非常简单的算法的基础上的样本最小估计,并证明了一个大大改善的样本复杂性界,与以前的结果。
2009-10-08 cs.DS cs.IT math.IT
Multi-Pass Graph Streaming Lower Bounds for Cycle Counting, MAX-CUT, Matching Size, and Other Problems
考虑流模型中的以下间隙循环计数问题:$2$ -正则$n$ -顶点图$G$的边在流中逐个到达,并且我们保证$G$是$k$ -循环或$2k$ -循环的不相交并集,对于一些小的$k$ ;目标是区分这两种情况。Verbin和Yu [SODA 2011]介绍了这个问题,并表明解决这个问题的任何单通道流算法都需要$n^{1-Ω(\frac{1}{k})}$空间。这个结果及其背后的技术-布尔隐藏超匹配通信问题-已经被广泛用于证明各种问题的流下界。尽管它的意义和广泛的应用范围,Verbin和Yu的下界技术带有一个关键的弱点,这是继承了所有后续的结果:布尔隐藏超匹配问题是困难的,只有当正好有一轮的通信,可以解决对数通信在两轮。因此,从这个问题导出的所有流下界仅适用于单通道算法。我们证明了第一个多遍的间隙周期计数问题的下限:任何$p$通过流算法,可以区分不相交的联盟$k$ -周期与$2k$ -周期-甚至$k$ -周期与一个哈密尔顿周期-需要$n^{1-\frac{1}{k^{Ω(1/p)}}}$空间。作为这个结果的推论,我们可以将许多以前的下界扩展到多遍算法。例如,我们现在可以证明,$(1+ε)$近似于MAX-CUT的值、最大匹配大小或$n$ × $n$矩阵的秩的任何流算法需要$n^{Ω(1)}$空间或$Ω(\log{(\frac{1}ε)})$遍。对于所有这些问题,先前的工作甚至只在两个通道中打开了…
2021-04-17 cs.CC cs.DS
CoCoS: Fast and Accurate Distributed Triangle Counting in Graph Streams
给定一个图流,我们如何使用多台机器和有限的存储来估计其中的三角形数量?具体来说,应该如何在机器上处理和采样边缘,以实现快速准确的估计?三角形的计数(即,大小为3的集团)已被证明在包括异常检测、社区发现和链接推荐的许多应用中是有用的。对于大型动态图中的三角形计数,最近的工作主要集中在流式算法和分布式算法上,但很少关注它们的组合,以实现“两全其美”。在这项工作中,我们提出了CoCoS,一种快速准确的分布式流算法,用于估计全局三角形的计数(即,所有三角形)和与每个节点关联的局部三角形。在输入流上进行一次传递,COCOS仔细地处理并存储多台机器上的边,以便最大限度地减少计算和存储资源的冗余使用。与基线相比,CoCoS(a)准确:估计误差最多小39倍,(b)快速:最多快10.4倍,随输入流的大小线性扩展,(c)理论上合理:产生无偏估计。
2021-02-27 cs.DB cs.DC cs.DS
Towards a Decomposition-Optimal Algorithm for Counting and Sampling Arbitrary Motifs in Sublinear Time
我们考虑的问题,采样和近似计数任意给定的图案$H$在图$G$,其中访问$G$通过查询:度,邻居,和对,以及均匀的边缘样本查询。这些任务的先前算法基于将$H$分解成奇数周期和星形的集合,表示为$\mathcal{D}^*(H)=\{O_{k_1}, \ldots, O_{k_q}, S_{p_1}, \ldots, S_{p_\ell}\}$。这些算法被证明是最佳的情况下,$H$是一个集团或奇数长度的循环,但没有其他的下限是已知的。我们提出了一个新的算法,采样和近似计数任意图案,高达$\textrm{poly}(\log n)$因素,总是至少和以前的结果一样好,并为大多数图$G$是严格更好。导致这一改进的主要成分是一个改进的均匀算法采样星,这可能是独立的利益,因为它允许采样顶点根据度分布的$p$ -th时刻。最后,我们证明了该算法是\emph{decomposition-optimal}分解,至少包含一个奇循环。这些是具有非平凡分解的基元$H$的第一下界,即,在其分解过程中有不止一个成分的图案。
2021-07-19 cs.DS
Continuous Monitoring of Distributed Data Streams over a Time-based Sliding Window
在过去的十年里,我们见证了许多有趣的算法,用于维护数据流上的统计数据。本文提出了一种基于时间的滑动窗口(其中包含可变数量的项目和可能的无序项目)的分布式数据流监控算法的理论研究。问题是如何最小化各个流和根之间的通信,同时允许根在任何时候都能够报告给定错误范围内的所有流的全局统计信息。本文针对基本计数、频繁项和分位数这三种经典统计量提出了通信有效的算法。窗口上的最坏情况通信成本是用于基本计数的$O(\frac{k} ε \log \frac{εN}{k})$位和用于计数的$O(\frac{k}ε \log \frac{N}{k})$字,其中$k$是分布式数据流的数量,$N$是在窗口中到达或过期的流中的项目的总数,并且$ε< 1$是期望的错误界限。得到了匹配和近似匹配的下界。
2010-02-03 cs.DS
Tight Space Lower Bound for Pseudo-Deterministic Approximate Counting
该研究针对流算法中的近似计数问题,分析其伪确定性复杂度,证明了紧的Ω(log N)空间下界,解决了Goldwasser等人提出的相关问题,补充了伪确定性流算法的空间复杂度理论。
2024-10-05 cs.CC cs.DS
Improved Accuracy for Private Continual Cardinality Estimation in Fully Dynamic Streams via Matrix Factorization
Institute of Science and Technology Austria(奥地利科学与技术研究所);Department of Computer Science, Boston University(波士顿大学计算机科学系)
本文通过矩阵分解改进了全动态流中私有连续基数估计的精度,提升了计数不同元素、度直方图和三角计数的误差界。
2026-01-05 cs.CR cs.DS cs.LG
sGrapp: Butterfly Approximation in Streaming Graphs
本文研究了二部流图中的蝶形(即(2,2)-bicliques)计数问题。与单部图中的三角形类似,枚举蝴蝶对于理解二部图的结构至关重要。这有利于许多应用程序,其中研究图形形状数据中的内聚性特别感兴趣。例子包括研究计算图或算法输入图的结构,以及复杂实图上的动态现象和分析任务。蝴蝶计数在计算上是昂贵的,并且已知的技术不能扩展到大型图;在流图中,问题甚至更难。在本文中,以下数据驱动的方法,我们首先进行实证分析,揭示时间组织原则的蝴蝶在真实的流图,然后我们介绍了一个近似的自适应窗口为基础的算法,sGrapp,计数蝴蝶,以及其优化版本sGrapp-x。sGrapp被设计为在具有任何时间行为的任何图形流上高效且有效地操作。sGrapp和sGrapp-x的实验研究在准确性和效率方面表现出优异的性能。
2021-02-03 cs.DB cs.DS
A space efficient streaming algorithm for triangle counting using the birthday paradox
我们设计了一个空间有效的算法,近似的传递性(全局聚类系数)和总三角形计数,只有一个单一的通过一个图形流的边缘。我们的过程是基于经典的概率结果,生日悖论。当传递性是常数,有更多的边缘比楔形(社交网络的共同属性),我们可以证明,我们的算法需要$O(\sqrt{n})$空间($n$是顶点的数量),以提供准确的估计。我们运行一组详细的实验上的各种真正的图形,并证明该算法的内存需求是一个很小的部分的图形。例如,即使对于一个有2亿条边的图,我们的算法也只存储了6万条边来给出准确的结果。作为一种单通道流算法,我们的过程还通过存储极小部分的边来维护图的传递性/三角形数量的实时估计。
2013-12-04 cs.DM cs.DS cs.SI
Parallel Triangle Counting in Massive Streaming Graphs
图中三角形的数量是一个基本的度量,用于社会网络分析、链接分类和推荐等。在这些应用程序和现代图形数据集都是大型和动态的趋势的驱动下,我们提出了一个快速和高速缓存高效的并行算法的设计和实现,用于估计三角形的数量在一个巨大的无向图的边缘到达流。它结合了流算法和并行算法的优点。通过构建流算法框架,该算法具有较小的内存占用。通过利用Cache-Oblivious框架,它可以有效地利用现代多核机器的存储层次结构,而无需知道其特定参数。我们证明了理论界的准确性,内存访问成本,并行运行时的复杂性,以及经验表明,该算法产生准确的结果和大幅加速相比,优化的顺序实现。(This是CIKM'13论文的扩展版本。
2013-08-09 cs.DB cs.DC cs.DS
Efficient Approximate Temporal Triangle Counting in Streaming with Predictions
University of Padova(帕多瓦大学);KTH Royal Institute of Technology(瑞典皇家理工学院)
针对现有算法难以处理大规模时间图三角形计数的问题,提出结合预测与采样的流式算法STEP,可亚线性内存下无偏准确估计全部八种时间三角形数量,效率优于现有最优方法。
2025-06-16 cs.DS cs.LG cs.SI
Fast and Accurate Triangle Counting in Graph Streams Using Predictions
University of Padova(帕多瓦大学)
本文提出首个使用预测的图流三角形计数估计算法,结合候车室采样、蓄水池采样与基于节点度数的边重度预测器,在给定内存预算下比现有方法更快更准确。
2024-09-23 cs.DS cs.LG
(Noisy) Gap Cycle Counting Strikes Back: Random Order Streaming Lower Bounds for Connected Components and Beyond
本文研究了带噪声间隙环计数问题在随机边划分下的鲁棒通信复杂性,证明了当 $k$ 大于 $\log{n}$ 的常数倍时通信复杂度为 $\Omega(n)$,由此导出随机顺序流中连通分量计数等问题的空间下界,解决了相关猜想。
2023-05-18 cs.CC cs.DS
On Streaming Algorithms for the Steiner Cycle and Path Cover Problem on Interval Graphs and Falling Platforms in Video Games
我们引入了一个简化的模型,平台游戏水平下降平台的基础上区间图,并表明,这种水平的可解性对应于找到施泰纳循环或施泰纳路径在相应的图形。线性时间算法得到这两个问题。我们还研究了这些算法作为流算法,并分析了所需的内存相对于包含在另一个间隔的最大数量的间隔。这相当于理解关卡的哪些部分必须在每个点可见,以允许玩家做出最佳确定性决策。
2018-02-23 cs.DS math.OC
A general purpose algorithm for counting simple cycles and simple paths of any length
我们描述了一个通用的算法计算简单的循环和简单的路径的任何长度$\ell$(加权di)图上的$N$顶点和$M$边,实现了$O\left(N+M+\big(\ell^ω+\ellΔ\big) |S_\ell|\right)$的时间复杂度。在这个表达式中,$|S_\ell|$是$G$在至多$\ell$顶点上的(弱)连通导出子图的数目,$Δ$是任何顶点的最大度,$ω$是矩阵乘法的指数。我们比较了算法的复杂性,理论和实验与大多数现有的算法相同的任务。这些比较表明,这里描述的算法是最好的通用算法的类图,其中$(\ell^{ω-1}Δ^{-1}+1) |S_\ell|\leq |\text{Cycle}_\ell|$,与$|\text{Cycle}_\ell|$的总数目的简单的循环的长度最多$\ell$,包括回溯和自循环。在Erdens-Rényi随机图上,我们经验地发现,当边概率大于约$4/N$时,会发生这种情况。此外,我们表明,一些现实世界的网络也属于这一类。最后,该算法允许枚举网络上的简单循环和简单路径,其中顶点从$n$字母上的字母表标记,时间复杂度为$O\left(N+M+\big(n^\ell\ell^ω+\ellΔ\big) |S_\ell|\right)$。这里提出的算法的Matlab实现可供下载。
2016-12-16 cs.DM cs.DS math.CO
Boosting the Basic Counting on Distributed Streams
我们重新审视了经典的基本计数问题的分布流模型,研究了吉本斯和Tirthapura(GT)。在用于维持$(ε,δ)$ -估计的解决方案中,如GT的方法所做的,我们做出以下新贡献:(1)对于大小为$n$的比特流,其中每个比特具有至少$γ$为1的概率,我们将平均总处理时间从GT的$Θ(n \log(1/δ))$指数地减少到$O((1/(γε^2))(\log^2 n) \log(1/δ))$,从而为该问题提供第一个子线性时间流算法。(2)除了总体上快得多的处理速度之外,我们的方法提供了一种新的折衷,即较低的精度要求($ε$的较大值)承诺更快的处理速度,而GT的处理速度在任何情况下和对于任何$ε$都是$Θ(n \log(1/δ))$。(3)我们的方法的最坏情况下的总时间成本匹配GT的$Θ(n\log(1/δ))$,这是必要的,但很少发生在我们的方法。(4)在我们的方法中的空间使用开销是一个低阶项相比,GT的空间使用,并只发生$O(\log n)$的时间在流处理过程中,是太微不足道的检测到的操作系统在实践中。我们进一步验证了这些坚实的理论结果与实验上的真实世界和合成数据,表明我们的方法是快于GT的一个因素的几个到几千取决于流的大小和准确性的要求,没有任何可检测的空间使用开销。我们的方法是基于一个更快的采样技术,我们设计的提升GT的方法,我们相信这种技术可以是其他利益。
2013-11-29 cs.DB cs.DC cs.DS
Counting Homomorphic Cycles in Degenerate Graphs
由于一般图中的子图计数是一个计算量很大的问题,因此很自然地会尝试为受限图族设计快速算法。一个这样的家庭,已被广泛研究的是,图的有界退化(例如,平面图)。这项工作始于80年代初,在Gishboliner等人最近的工作中达到高潮,其突出了对循环的同态副本进行计数的任务的重要性(即,循环行走)在有界退化的图中。我们在本文中的主要结果是一个令人惊讶的紧密关系,上述任务和检测(标准)副本一般有向图中的有向循环的研究问题。更准确地说,我们证明了以下几点:1。人们可以计算在时间上有界退化的$n$ -顶点图$\tilde{O}(n^{d_{k}})$中的$C_{2k}$和$C_{2k+1}$的同态副本的数目,其中用于检测一般$m$ -边有向图中的$C_k$的有向副本的已知最快算法在时间上运行$\tilde{O}(m^{d_{k}})$。2.相反,可以将用于计算有界退化的$n$顶点图中的$C_{2k}$或$C_{2k+1}$的同态副本的数目的任何$O(n^{b_{k}})$算法变换成用于检测一般$m$边有向图中的$C_k$的有向副本的$\tilde{O}(m^{b_{k}})$时间算法。我们强调,我们的第一个结果没有使用黑盒约简(与第二个结果相反)。相反,我们设计了一个算法来计算退化图中的$C_k$ -同态的数量,并表明其分析的一部分可以减少到分析已知的最快的算法,用于检测一般有向图中的有向循环,这…
2022-08-25 cs.DS math.CO
Triangle Counting in Hypergraph Streams: A Complete and Practical Approach
针对超图流三角形计数中结构分类不全和固定采样不适应严格内存的问题,提出完整三角形分类及 HTCount 与 HTCount-P,实现低误差、高吞吐估计。
2025-08-31 cs.DS cs.GR