A Simple and Efficient Algorithm for Finding Minimum Spanning Tree Replacement Edges
给定一个无向加权图,最小生成树(MST)是一棵连接图的所有顶点的树,具有最小的边权重和。在现实世界的应用中,网络设计人员经常寻求快速找到MST中每个边缘的替代边缘。例如,当交通事故关闭了运输网络中的道路,或者通信网络中的线路中断时,替换边缘可以以最低成本重新连接MST。在本文中,我们考虑的情况下,找到最低成本的替代边缘的每一个边缘的MST。Tarjan以前的算法需要$O(m α(m, n))$时间和空间,其中$α(m, n)$是逆阿克曼函数。给定MST和排序的非树边,我们的算法是第一个实用的算法,运行在$O(m+n)$时间和$O(m+n)$空间找到所有的替换边。此外,由于最重要的边缘是树的边缘,其删除导致最高的成本,我们的算法发现它在线性时间。
2022-12-27 cs.DS
Near Optimal Bounds for Replacement Paths and Related Problems in the CONGEST Model
本文研究 CONGEST 模型中 RPaths、MWC 与 ANSC 的轮复杂度,在多类图上给出近线性、近√n及Θ(D)等近优上下界,并提出改进的MWC与RPaths近似算法。
2024-05-21 cs.DC cs.DS
Succinct Sampling on Streams
流模型是数据项在长时间段内到达的模型,一次一项或以突发方式到达。典型的任务包括在某个固定时间范围的滑动窗口上计算各种统计数据。流模型的有趣之处在于,随着时间的推移,旧的项目到期,新的项目到达。在这个模型中,最简单和最重要的任务之一就是采样。也就是说,当旧项目到期和新项目到达时,从当前时间窗口维护最多$k$均匀分布的项目的任务。如果采样算法使用可证明最优(直到常数因子)的{\bf worst-case}内存来维护$k$项(有或没有替换),我们称之为{ \bf简洁}。我们强调,在许多应用程序中,随着时间的推移,具有{ \em expected}简洁表示的结构是不够的,因为小概率事件最终以概率1发生。因此,在本文中,我们提出了以下问题:是流(或$S^3$ -算法)可能的简洁采样,如果是这样的模型?也许有点令人惊讶的是,我们表明,$S^3$算法是可能的{ \em所有}上述问题的变种,即既有和没有更换,都在一个时间和突发到达模型。最后,我们使用$S^3$算法来解决滑动窗口模型中的各种问题,包括频率矩、三角形计数、熵和密度估计。对于这些问题,我们提出了\emph{first}解决方案与可证明的最坏情况的内存保证。
2008-04-14 cs.DS
Sketching, Streaming, and Fine-Grained Complexity of (Weighted) LCS
我们研究了小字母长度字符串的最长公共子序列问题(LCS)的草图和流算法$|Σ|$。对于判断字符串$x,y$的LCS长度是否至少为$L$的问题,我们得到了$\mathcal{O}(L^{|Σ| - 1} \log L)$的草图大小和流空间使用率。我们还证明了匹配的无条件下界。作为一个应用程序,我们研究了LCS的一个变体,其中每个字母符号都配备了一个权重,作为输入,任务是计算一个共同的子序列的最大总重量。使用我们的草图算法,我们得到了这个问题的$\mathcal{O}(\textrm{min}\{nm, n + m^{\lvert Σ\rvert}\})$时间算法,长度为$n,m$的字符串$x,y$,$n \ge m$。我们证明了最优的运行时间为低阶因素,假设强指数时间假设。
2018-10-02 cs.DS
Improved approximation guarantees for weighted matching in the semi-streaming model
我们研究了半流模型中的最大权重匹配问题,并通过设计一种性能保证为4.91+ k的确定性方法来改进Zelke(Proc. of STACS 2008,第669-680页)提出的当前最佳单遍算法。此外,我们研究抢占式在线算法,一个子类的一遍算法,我们只允许在内存中保持一个可行的匹配在任何时间点。所有已知的结果之前,泽尔克的属于这个子类。我们提供了一个下界4.967的竞争比任何这样的确定性算法,因此表明,未来的改进将不得不存储在内存中的一组边缘,这不一定是一个可行的匹配。
2009-07-02 cs.DS
Faster Algorithms for Dual-Failure Replacement Paths
针对双失效替换路径问题,本文提出了无权有向图的首个真正次立方组合算法,运行时间为 $\tilde{O}(n^{3-1/18})$,并改进了小整数边权有向图的代数算法运行时间。
2024-04-22 cs.DS
Communication-Efficient (Weighted) Reservoir Sampling from Fully Distributed Data Streams
我们认为通信效率的加权和不加权(均匀)随机抽样从分布式数据流呈现为一系列的小批量项目。这是分布式流计算的自然模型,我们的目标是展示其实用性。我们提出并分析了完全分布式,通信效率的算法,这两个版本的问题。在多达256个节点(5120个处理器)上进行加权水库采样的实验评估显示出良好的加速比,而理论分析则有望进一步扩展到更大的机器。
2020-02-25 cs.DC cs.DS
WOR and $p$'s: Sketches for $\ell_p$-Sampling Without Replacement
Google Research(谷歌研究院);Tel Aviv University(特拉维夫大学);IT University of Copenhagen(哥本哈根信息技术大学);BARC(哥本哈根基础算法研究中心);CMU(卡内基梅隆大学)
加权采样是数据分析和机器学习管道中的基本工具。样本用于统计的有效估计或作为数据的稀疏表示。当权重分布偏斜时,实际上经常出现这种情况,无替换(WOR)抽样比有替换(WR)抽样更有效:它为相同数量的样本提供了更广泛的代表性和更高的准确性。我们设计了新颖的可组合草图WOR $\ell_p$采样,加权采样的关键根据权力$p\in[0,2]$他们的频率(或签名数据,更新的总和)。我们的草图的大小仅随样本大小线性增长。我们的设计是简单实用的,尽管复杂的分析,并基于现成的使用广泛实现的重量级草图,如CountSketch。我们的方法是第一个提供WOR采样的重要制度的$p>1$和第一个处理签名更新$p>0$。
2020-08-15 cs.DS cs.LG stat.ML
Semi-Streaming Algorithms for Submodular Matroid Intersection
虽然基本的贪心算法给出了一个半流算法的近似保证$2$的\emph{unweighted}匹配问题,它只是最近的Paz和Schwartzman获得了类似的结果加权的情况下。他们的方法是基于通用的局部比率技术,也适用于一般化,如加权超图匹配。然而,该框架的分析失败的加权拟阵交的相关问题,作为结果的近似保证加权实例不匹配的因素$2$实现的贪心算法为未加权的实例。我们的主要结果关闭了这个差距,通过开发一个半流算法的近似保证$2+ε$的\emph{weighted}拟阵相交,改善了以前的最佳保证$4+ε$。我们的技术也使我们能够推广最近的结果Levin和Wajc的子模最大化的匹配约束的拟阵相交的约束。虽然我们的算法是在以前的作品中使用的局部比率技术的适应,分析偏离显着,并依赖于拟阵交集的结构特性,称为内核。最后,我们还推测,我们的算法给出了一个$(k+ε)$近似的$k$拟阵的交集,但证明了新的工具,需要在分析中使用的结构属性失败的$k\geq 3$。
2021-02-08 cs.DS
Near Optimal Algorithm for the Directed Single Source Replacement Paths Problem
在单源替换路径(SSRP)问题中,我们给出图$G = (V, E)$和以节点$s$为根的最短路径树$\widehat{K}$,并且目标是为$\widehat{K}$中的每个节点$t \in V$和每个边$e$输出从$s$到$t$的最短路径的长度,避免$e$。提出了一个求解无权有向图的$\tilde{O}(m\sqrt{n} + n^2)$时间随机组合算法。以前这样的界限是已知的有向的情况下,只有在似乎更容易的问题,其中的源和目标节点都是固定的替换路径。我们的新的上限为这个问题匹配现有的条件组合下界。因此,(假设这些条件下的下限)我们的结果基本上是最优的,并完成了组合设置中的SSRP问题的图片。我们的算法扩展到小,合理的边权重的情况下。在这种情况下,我们加强现有的条件下界显示,任何$O(mn^{1/2-ε})$时间(组合或代数)算法的一些固定的$ε>0$产生一个真正的次立方算法的加权所有对最短路径问题(以前这样的边界是已知的组合设置)。
2020-04-28 cs.DS
Weighted, Bipartite, or Directed Stream Graphs for the Modeling of Temporal Networks
我们最近介绍了一种用于时态网络建模的形式主义,我们称之为流图。它强调数据的流性质,并允许对许多重要概念的严格定义,从而概括了经典图。这特别包括大小、密度、集团、邻域、度、聚类系数和传递性。在这方面的贡献,我们表明,像图,流图可以扩展到应付二分结构,节点和链接的权重,或链接方向。我们回顾了文献中提出的主要的二分,加权或有向图的概念,我们将它们推广到二分,加权,或有向流图的情况下,我们表明,得到的概念是一致的图和流图。这为具有这些特征中的一个或多个的许多时间网络的准确建模提供了正式的基础。
2021-11-23 cs.DS cs.SI physics.soc-ph
Stream Aggregation Through Order Sampling
本文提出了一种新的单通道水库加权采样流聚合算法--基于优先级的聚合(PBA)。虽然顺序采样是一种强大而有效的方法,用于从唯一键控项流中进行加权采样,但目前还没有算法实现顺序采样在非唯一键的流聚合上下文中的益处。一个简单的方法来排序样本而不考虑关键字,然后汇总结果是毫无希望的低效。与之不同的是,我们提出的算法在缓存中每个密钥的生命周期中使用单个持久随机变量,并保持对可以在流中任何点查询的密钥聚合的无偏估计。基本方法可以用具有由PBA控制的采样率自适应的采样和保持预采样阶段来补充。与使采样和保持适应于以固定高速缓存大小操作的现有技术相比,该方法表示计算复杂性的显著降低。关于统计特性,我们证明PBA提供了真实总量的无偏估计。我们分析了PBA及其变体的计算复杂性,并对其在合成和跟踪数据上的准确性进行了详细的评估。相对于Adaptive Sample and Hold,在采样率为5%至17%时,加权相对误差降低了40%至65%;对于排名查询也有很大改进
2017-11-01 cs.DS
Weighted Matchings via Unweighted Augmentations
我们设计了一个通用的方法,找到加权匹配的任务,找到短增广路径在未加权图。这种方法使我们能够提供有效的实现近似加权匹配的流模型和大规模并行计算(MPC)模型。在流的背景下,随机边缘到达,我们的技术产生一个$(1/2+c)$近似算法,从而打破了$1/2$的天然屏障。对于多通道流和MPC模型,我们表明,任何算法计算$(1-δ)$ -近似不加权匹配的二分图可以被翻译成一个算法,计算一个$(1-\varepsilon(δ))$ -近似最大加权匹配。此外,这种转换在复杂度中仅引起恒定因子(其取决于$\varepsilon> 0$)开销。使用当前最佳的多通道流和MPC算法对未加权匹配进行实例化,对于最大加权匹配产生以下结果:* 使用$O_\varepsilon(1)$通道和$O_\varepsilon(n\, \text{poly} (\log n))$存储器的$(1-\varepsilon)$ -近似流算法。这是第一个用于加权匹配的$(1-\varepsilon)$近似流算法,它使用恒定的传递次数(仅取决于$\varepsilon$)。* MPC模型中的一种$(1 - \varepsilon)$近似算法,使用$O_\varepsilon(\log \log n)$轮、每轮$O(m/n)$机器和每机器$O_\varepsilon(n\, \text{poly}(\log n))$内存。这改进了以…
2018-11-07 cs.DC cs.DS
Parallel Weighted Random Sampling
用于从一组加权项进行有效采样的数据结构是许多应用的重要构建块。然而,很少有并行的解决方案是已知的。我们为共享内存和分布式内存机器填补了许多这些差距。我们给出了高效,快速,实用的并行算法,用于构建数据结构,支持采样单个项目(别名表,压缩数据结构)。这也产生了一个简化的和更节省空间的顺序算法别名表的建设。我们从有/无替换的$n$项目中抽取$k$的方法以及子集(泊松)抽样方法是输出敏感的,即,采样算法在不同样本的数量上使用线性工作。这在顺序的情况下也是有趣的。加权随机置换可以通过对适当的随机偏差进行排序来完成。我们表明,这是可能的线性工作,使用这些偏离的非线性变换。最后,我们给出了一个通信效率高,高度可扩展的方法(加权和未加权)水库采样。该算法是基于一个完全分布式模型的流算法,可能是独立的利益。实验别名表和采样与替换显示近线性加速的建设和查询使用多达158个线程的共享内存机器。在多达256个节点(5120个岩心)上进行分布式加权油藏采样的实验评估也显示出良好的加速比。
2021-07-19 cs.DC cs.DS
Deterministic Combinatorial Replacement Paths and Distance Sensitivity Oracles
在这项工作中,我们derandomize两个中心的结果图算法,替换路径和距离灵敏度预言机(DSO)匹配在这两种情况下的运行时间的随机算法。对于置换路问题,设G =(V,E)是一个n点m边的有向无权图,P是G中从s到t的最短路. { \sl替换路径}问题是为每条边e \in P找到从s到t的避开e的最短路径。Roditty和Zwick [ICALP 2005]得到了一个运行时间为~O(m \sqrt{n})的随机算法。在这里,我们提供了这个问题的第一个确定性算法,具有相同的~O(m \sqrt{n})时间。对于距离敏感预言机问题,设G =(V,E)是一个实边权的有向图。f-灵敏度距离Oracle(f-DSO)得到图G=(V,E)和参数f作为输入,将其预处理成数据结构,使得给定具有s,t \in V和F \subseteq E \cup V的查询(s,t,F),|F| \le f是至多f个边或顶点的集合(失败),查询算法有效地计算图G \setminus F({ \sl即})中从s到t的距离,在从图G中移除失败边和顶点F之后,图G中从s到t的距离)。对于实边权重的加权图,Weimann和Yuster [FOCS 2010]提出了一种组合随机f-DSO,对于每个值0 < α< 1,预处理时间为O(mn^{4-α}),查询时间为O(n^{2-2(1-α)/f})。我们去随机化这个结果,并提…
2019-05-17 cs.DS
Clustering High Dimensional Dynamic Data Streams
我们提出了数据流算法的$k$ -中位数问题的高维动态几何数据流,即流允许插入和删除的点从一个离散的欧几里德空间$\{1, 2, \ldots Δ\}^d$。我们的算法使用$k ε^{-2} poly(d \log Δ)$空间/时间,并保持高概率的一个小的加权点集(coreset),这样,对于每一组$k$中心的coreset $(1+ε)$的成本-近似的流点集的成本。我们还提供了算法,保证只有积极的权重在coreset与额外的对数因子的空间和时间复杂度。我们可以使用这个正加权的核心集来计算$(1+ε)$ -近似的$k$ -中位数问题的任何有效的离线$k$ -中位数算法。所有以前的算法计算$(1+ε)$ -近似的$k$ -中位数问题的动态数据流需要在$d$的空间和时间指数。我们的算法可以推广到有界双维的度量空间。
2017-06-13 cs.DS
Paging with Per-Replacement Maximum Delay
Southern University of Science and Technology(南方科技大学)
本文针对缺页可等待的每替换最大延迟分页模型,提出确定性(5k+3)-竞争阈值-LRU算法与随机5H_k-竞争算法,同时研究离线场景的动态规划与近似算法,发现最远未来使用的 victim 选择在3页时即可能次优。
2026-09-14 cs.DS
Weighted Min-Cut: Sequential, Cut-Query and Streaming Algorithms
考虑下面的2-尊重最小割问题。给定一个赋权图$G$及其生成树$T$,求$T$中最多包含两条边的割中的最小割。这个问题是Karger著名的随机近线性时间最小割算法[STOC'96]中的一个重要子程序。我们提出了一种新的方法,可以很容易地实现在许多设置,导致以下随机最小切割算法的加权图。* $O(m\frac{\log^2 n}{\log\log n} + n\log^6 n)$ -时间顺序算法:当输入图不是非常稀疏或密集时,这改进了Karger的$O(m \log^3 n)$和$O(m\frac{(\log^2 n)\log (n^2/m)}{\log\log n} + n\log^6 n)$边界。Karger边界的改进以前仅在输入图是简单的相当强的假设下才知道[Henzinger et al. SODA'17; Ghaffari et al. SODA'20]。对于具有平行边的无权图,我们的界可以改进为$O(m\frac{\log^{1.5} n}{\log\log n} + n\log^6 n)$。* 一个需要$\tilde O(n)$ cut查询来计算加权图的最小割的算法:这回答了Rubinstein等人ITCS'18的一个公开问题,他们获得了简单图的类似界限。* 需要$\tilde O(n)$空间和$O(\log n)$通道来计算最小割的流算法:在此设置中,唯一先前的非平凡精…
2021-02-18 cs.DS
A Simple $(1-ε)$-Approximation Semi-Streaming Algorithm for Maximum (Weighted) Matching
提出一种简单的半流算法,通过乘法权重更新和原始-对偶分析,在 $O(\log(n)/ε)$ 轮内实现二分及一般图加权匹配的 $(1-ε)$ 近似。
2025-07-31 cs.DC cs.DS
Semi-Streaming Algorithms for Weighted $k$-Disjoint Matchings
针对 NP 难的最大权 $k$-不相交匹配问题,提出两种单遍半流式算法,显著降低内存与运行时间,并在大规模图上保持接近离线最优的权重。
2024-07-06 cs.DS
QSketch: An Efficient Sketch for Weighted Cardinality Estimation in Streams
提出QSketch,一种用于流中加权基数估计的高效内存Sketch方法,通过量化技术将变量压缩至8位,并利用动态特性提升精度,实现O(1)更新复杂度,在仅用1/8内存下准确率提升约30%,速度快两个数量级。
2024-06-27 cs.DB cs.DS
Improved Weighted Matching in the Sliding Window Model
我们考虑的最大权重匹配(MWM)问题的流滑动窗口模型的计算。在该模型中,输入由大小为$n$的给定顶点集$V$上的加权边序列组成。我们的目标是保持一个近似的最大权重匹配的图中所跨越的$L$最近的边缘,为一些整数$L$,使用尽可能少的空间。在我们的工作之前,最先进的结果是Biabani等人[ISAAC'21]的MWM的$(3.5+\varepsilon)$近似算法和Crouch等人[ESA'13]的(未加权)最大匹配(MM)的$(3+\varepsilon)$近似。这两种算法都使用空间$\tilde{O}(n)$。我们得到以下结果:1.本文给出了在空间$\tilde{O}(\sqrt{nL})$上的MWM的$(2+\varepsilon)$ -近似算法.在每个滑动窗口中的边所跨越的图是简单的合理假设下,我们的算法使用空间$\tilde{O}(n \sqrt{n})$。2.在$\tilde{O}(n)$空间域中,我们给出了MWM的一个$(3+\varepsilon)$ -近似算法,从而缩小了MWM和MM的最佳近似比之间的差距。的MWM算法,我们的算法都执行多个实例的$(2+\varepsilon)$ -近似$\tilde{O}(n)$ -空间流算法的MWM的帕兹和施瓦茨曼[SODA'17]上的不同部分的流。我们的改进是通过不同地选择这些子流来获得的。此外,我们的$(2+\varepsil…
2023-01-10 cs.DS
Weighted Maximum Independent Set of Geometric Objects in Turnstile Streams
研究了数据流模型中几何对象的最大独立集问题。一组几何对象被称为是独立的,如果对象是成对不相交的。我们考虑一维和二维的几何对象,即,间隔和磁盘。设$α$为最大独立集的基数。我们的目标是在少量空间中估计$α$,假设输入是作为一个单程流接收的。我们还考虑了这个问题的泛化,通过分配权重给每个对象和估计$β$,加权独立集的最大值。我们初始化的旋转栅门流模型(插入和删除)的研究,并提供了第一个算法估计$α$和$β$。对于单位长度的区间,我们得到了多$(\frac{\log(n)}ε)$空间中$α$和$β$的$(2+ε)$ -逼近。我们还展示了一个匹配的下界。结合Cabello和Perez-Lanterno [CP 15]对仅插入流的$3/2$近似,我们的结果意味着仅插入模型和旋转门模型之间的分离。对于单位半径圆盘,我们得到了多$(\log(n), ε^{-1})$空间中$α$和$β$的$\left(\frac{8\sqrt{3}}π\right)$ -近似,它与六角圆的堆积常数密切相关.我们提供了算法估计$α$为任意长度的区间下有界相交的假设和研究的参数化空间复杂度估计$α$和$β$,其中的参数是最大与最小区间长度之比。
2020-03-24 cs.CG cs.DS
Algorithms and Lower Bounds for Replacement Paths under Multiple Edge Failures
本文考虑一个自然容错最短路问题:对于某个常数整数$f$,给定一个没有负圈且有两个固定顶点$s$和$t$的有向赋权图,对每个$f$边元组,计算(显式或隐式)当这些边失效时从$s$到$t$的距离.我们称这个问题为$f$ -故障替换路径($f$ FRP)。我们首先给出了在$n$ -顶点有向图中求解$2$ FRP的一个$\tilde{O}(n^3)$时间算法,该图具有任意边权且没有负圈。由于$2$ FRP是充分研究的替换路径问题(RP)的推广,该问题要求任何单边故障的$s$和$t$之间的距离,因此$2$ FRP至少与RP一样难。由于具有任意权重的图中的RP在细粒度意义上等价于所有对最短路径(APSP)[Vassilevska Williams and Williams FOCS'10,J.~ ACM'18],$2$ FRP至少与APSP一样难,因此$2$ FRP的顶点数的基本上亚立方时间算法将是一个突破。因此,我们的算法在$\tilde{O}(n^3)$时间内有条件地接近最优。我们的算法意味着一个$\tilde{O}(n^{f+1})$时间算法的$f$ FRP问题,给出了第一个改进的直接$O(n^{f+2})$时间算法。然后,我们重点讨论了$2$ FRP的限制,以$M$的绝对值为界的小整数重量的图。使用快速矩形矩阵乘法,我们得到了一个随机算法,运行在$\tilde{O}(M^{2/3}n^…
2022-09-15 cs.DS
Streaming Algorithms for Connectivity Augmentation
本文研究了单遍流式模型下的 $k$-连通性增强问题,提出了紧致的 $(2+ε)$-近似算法,并推广至完全流式模型,基于改进的加权 spanner 结果给出了最优近似,最后应用于 STAP、$k$-ECSS 和 SNDP 等网络设计问题。
2024-02-16 cs.DS
A High-Performance Algorithm for Identifying Frequent Items in Data Streams
估计数据流上项目的频率是流数据测量和分析中的常见构建块。Misra和Gries在1982年提出了他们对这个问题的开创性算法,由于其实用性和适用性,这个问题已经被重新讨论了很多次。我们描述了一个高度优化的版本Misra和Gries的算法,适合在工业环境中部署。我们的代码通过一个名为DataSketches的开源库公开,该库已经被多家公司和生产系统使用。我们的算法改进了两个理论和实践方面的先前工作。首先,它在摊销常数时间内处理加权更新,这是实践中的常见要求。其次,它使用了一种简单而快速的方法来合并摘要,即使对于未加权的流,也可以渐进地改进先前的工作。我们描述的实验证实,我们的算法比以前的建议更有效。
2017-05-22 cs.DS
Weighted Matching in a Poly-Streaming Model
本文提出多流计算模型,并设计单遍算法实现最大权重匹配的(2+ε)近似,在共享内存和分层架构下均保持高效的时间、空间与通信性能,实验验证其显著加速与内存节省。
2025-07-18 cs.DC cs.DS
Faster Streaming algorithms for graph spanners
给定一个无向图$G=(V,E)$,其顶点、边和整数$t\ge 1$为$n$,一个子图$(V,E_S)$,$E_S\subseteq E$称为$t$ -图,如果对于任意一对顶点$u,v \in V$,它们在子图中的距离至多是$t$乘以实际距离。我们提出了流算法计算的$t$ -基本上是最佳的大小拉伸权衡任何无向图。我们的第一个算法是经典的流模型和作品的未加权图。该算法对边缘流执行单次通过,并且需要$O(m)$时间来处理整个边缘流。这极大地改进了先前用于计算$t$的最佳单通道流算法,该算法需要$θ(mn^{\frac{2}{t}})$时间来处理流,并且计算大小略大于最佳值的$θ(mn^{\frac{2}{t}})$。我们的第二个算法是针对Aggarwal等人[FOCS 2004]引入的{ \em StreamSort}模型,该模型是用排序原语扩展的流模型。{ \em StreamSort}模型已被证明是一个更强大的,仍然是非常现实的模型比流模型的大规模数据集的应用程序。我们的算法也适用于加权图,仅使用工作内存的$O(\log n)$位执行$O(t)$通道。我们的两个算法都需要基本的数据结构。
2006-11-06 cs.DS
An Information-theoretic Framework for the Lossy Compression of Link Streams
Centre national de la recherche scientifique(法国国家科学研究中心);Laboratoire d’informatique de Paris 6(巴黎第六大学计算机实验室)
图压缩是一种数据分析技术,包括用更一般的结构模式替换图的部分,以减少其描述长度。它为研究真实的、大规模的和复杂的图形提供了有趣的探索工具,而这些图形是乍一看无法掌握的。本文提出了一个时间图压缩的框架,即压缩随时间演化的图。这个框架首先建立在一个简单的和有限的计划,利用结构等价的静态图的无损压缩,然后将其推广到有损压缩的链接流,最近的形式主义的时间图的研究。这种概括依赖于(二维)关系数据的自然扩展,通过添加第三个时间维度。此外,我们引入了一个信息理论的措施来量化和控制在压缩过程中丢失的信息,以及可能的压缩模式的空间的代数表征,以提高初始压缩方案的表现力。这些贡献导致定义的组合优化问题,即有损多流压缩问题,我们提供了一个精确的算法。
2018-07-18 cs.AI cs.DS cs.IT
Pattern Recognition and Event Detection on IoT Data-streams
University of Patras(帕特雷大学)
大数据流可能是最重要的基本概念之一。然而,由于数据流速度快,信息寿命有限,因此往往难以处理。在整个流甚至大部分流上存储、传输和计算函数时,很难收集和传输流样本。为了解决这个研究问题,开发了许多流特定的解决方案。流技术意味着一个或多个资源的有限容量,例如计算能力和存储器,以及时间或准确性限制。储层采样算法选择并存储概率显著的结果。一个加权随机抽样的方法,使用一个通用的抽样算法框架,以检测独特的事件是这项工作的主要研究目标。简而言之,跨所有可行分量的联合流分布的逐渐发展的估计保持k个流元素被判断为代表完整流。一旦估计置信度高,则均匀地选择k个样本。复杂度为O(min(k,n-k)),其中n是检查的项目数。由于事件通常被认为是离群值,因此提取元素模式并将其推送到这里提出的k-means的替代版本就足够了。建议的技术计算每个聚类的平方误差(SSE)的总和,这不仅是用来作为收敛的措施,但也作为一个量化和间接评估的元素分布的近似精度。这种聚类使得能够基于异常值与通常事件质心的距离来检测流中的异常值。研究结果表明,加权采样和res-均值优于流事件识别的典型方法。检测到的事件显示为知识图谱以及典型的事件集群。
2022-03-02 cs.DB cs.DS cs.IR
$(1-ε)$-Approximate Maximum Weighted Matching in Distributed, Parallel, and Semi-Streaming Settings
针对CONGEST模型中一般图的最大权匹配问题,本文提出确定性$\text{poly}(1/ε, \log n)$轮$(1-ε)$-近似算法,并扩展至CREW PRAM和半流式设置,解决了该领域的开放问题。
2023-05-17 cs.DC cs.DS
Streaming Quantiles Algorithms with Small Space and Update Time
Amazon(亚马逊);Yahoo Research(雅虎研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
流数据上的近似分位数和分布已经研究了大约二十年。最近,Karnin,Lang和Liberty提出了第一个渐进最优算法。这份手稿补充了他们的理论结果,提供了一个实用的变种,他们的算法与改进的常数。对于一个给定的草图大小,我们的技术证明减少了上界的草图误差的两个因素。实验验证了这些改进。我们修改后的分位数草图也通过将最差情况下的更新时间从$O(1/\varepsilon)$减少到$O(\log (1/\varepsilon))$来改善延迟。我们还提出了两个算法的加权项流提供改进的渐近更新时间相比,天真的扩展。最后,我们为这些草图提供了一个专门的数据结构,从而减少了它们的内存占用和更新时间。
2019-06-29 cs.DB cs.DS cs.LG
Sampling for Approximate Bipartite Network Projection
二分网络表现为表示事务的边流,例如,零售客户的购买。许多机器学习应用采用基于邻域的度量来表征节点之间的相似性,例如共同邻居(CN)的成对数量和相关度量。虽然共享邻居的节点对的数量可能是巨大的,但它们中只有相对较小的比例具有许多共同的邻居。这促使找到加权采样方法来优先对这些节点对进行采样。本文提出了一种新的抽样算法,提供了一个固定大小的无偏估计的相似性矩阵产生的二分图流投影。该算法有两个组成部分。首先,它保持了一个水库的采样二分边缘的采样权重,有利于选择高相似性节点。第二,到达边缘基于它们与当前样本的相邻性生成\textsl{similarity updates}流。这些更新在第二个基于储层样本的流聚合器中聚合,以产生最终的无偏估计。在真实世界图上的实验表明,在每个阶段的10%的样本产生的估计高相似性边缘的加权相对误差约为1%。
2018-05-08 cs.DS cs.IR cs.SI
Oblivious sketching for logistic regression
TU Dortmund University(多特蒙德工业大学);Carnegie Mellon University(卡内基梅隆大学)
在一个数据流上一次通过解决逻辑回归有什么保证?为了回答这个问题,我们提出了逻辑回归的第一个数据不经意草图。我们的草图可以计算在输入稀疏时间在一个旋转栅门数据流,并减少$d$维数据集的大小从$n$到只有$\operatorname{poly}(μd\log n)$加权点,其中$μ$是一个有用的参数,它捕获的复杂性压缩数据。在草图上求解(加权)逻辑回归给出了完整数据集上原始问题的$O(\log n)$近似。我们还展示了如何获得一个$O(1)$ -近似略有修改。我们的草图是快速,简单,易于实现,我们的实验证明其实用性。
2021-07-14 cs.DS cs.LG stat.ML