Massively Parallel Computation on Embedded Planar Graphs
许多经典的图问题不能在大规模并行计算(MPC)环境中解决,每个机器具有强次线性空间和$o(\log n)$轮,除非1-vs-2循环猜想是假的。即使在平面图上也是如此。这样的问题包括,例如,计数连接组件,bipartition,最小生成树问题,(近似)最短路径,和(近似)直径/半径。在本文中,我们展示了一种绕过这种限制的方法。具体来说,我们表明,如果我们有一个“好”(例如,直线)嵌入的输入图,所有提到的问题都可以解决与$O(n^{2/3+ε})$空间每台机器在$O(1)$轮。结合现有的算法计算的德洛内三角剖分剖分,我们的研究结果意味着MPC算法的精确欧几里德最小生成三(EMST),使用$O(n^{2/3 + ε})$空间每台机器和完成$O(1)$轮。这是对直接使用标准Borvka算法和Goolich的Dauleanay三角测量算法[SODA 1997]的首次改进,该算法会产生$Θ(\log n)$轮次。这也部分否定了Andoni,Nikolov,Onak和Yaroslavtsev [STOC 2014]的问题,要求精确EMST的下限。我们扩展了我们的算法工作与嵌入组成的曲线是不是“太弯曲”(正式的总绝对曲率)。我们这样做,通过一个新的引理,我们相信是独立的利益,并可用于参数化其他几何问题的总绝对曲率。我们还提出了几个开放的问题,大规模并行计算平面图。
2022-11-21 cs.DS
Dynamic Graph Algorithms with Batch Updates in the Massively Parallel Computation Model
我们研究了大规模并行计算模型下的动态图算法,这是受到实际数据处理系统的启发。我们的目标是提供算法,可以有效地处理大批量的边缘插入和删除。我们展示的算法,需要更少的回合来更新的解决方案,如最小生成森林,2-边连接组件,最大匹配比将需要由他们的静态同行从头开始计算。它们工作在最严格的内存制度,其中每台机器的本地内存是强次线性的图形顶点的数量。改进它们可以有效处理的批的大小将改进稀疏图上的已知静态算法的轮复杂度。我们的算法可以处理批量更新的大小$Θ(S)$,最小生成森林和2-边连接组件,和$Θ(S^{1-\varepsilon})$,最大匹配,在$O(1)$轮,其中$S$是一台机器的本地内存。
2021-01-11 cs.DC cs.DS
Massively Parallel Algorithms for High-Dimensional Euclidean Minimum Spanning Tree
本文在大规模并行计算(MPC)模型中,通过结合图分布式MST算法与几何空间划分,首次在高维欧几里得空间下于 $\tilde{O}(\log \log n)$ 轮内实现了常数因子近似的MST,并将其扩展至旅行商问题(TSP)。
2023-08-01 cs.DS
Massively Parallel Dynamic Programming on Trees
动态规划是一种功能强大的技术,但不幸的是,这种技术通常具有内在的顺序性。也就是说,没有统一的方法来并行化使用动态规划的算法。在本文中,我们试图解决这个问题的大规模并行计算(MPC)模型,这是一个流行的抽象MapReduce类范例。我们的主要结果是一个算法框架,以适应一个大家庭的动态程序定义在树上。我们介绍了两类图的问题,承认动态规划解决方案的树木。我们把它们称为“(polylog)-可表达”和“线性-可表达”问题。我们表明,这两个类可以并行化在$O(\log n)$轮使用次线性数量的机器和次线性内存每台机器。为了实现这一结果,我们引入了一系列可以组合在一起的技术。为了说明我们的框架的通用性,我们在MPC的$O(\log n)$轮中实现了图问题的动态规划解决方案,例如最小二分法,$k$ -生成树,最大独立集,最长路径等,当输入图是树时。
2018-09-14 cs.DS
Massively Parallel Minimum Spanning Tree in General Metric Spaces
针对一般度量空间中的最小生成树问题,提出首个$o(\log n)$轮MPC算法,实现$(1+\varepsilon)$近似,并证明匹配的下界。
2025-10-08 cs.DS
Improved Massively Parallel Computation Algorithms for MIS, Matching, and Vertex Cover
我们提出了$O(\log\log n)$轮算法的大规模并行计算(MPC)模型,与$\tilde{O}(n)$内存每台机器,计算一个最大的独立集,一个$1+ε$近似的最大匹配,和一个$2+ε$近似的最小顶点覆盖,任何$n$顶点图和任何常数$ε>0$。这些改进了现有技术如下:-我们的MIS算法导致一个简单的$O(\log\log Δ)$ -轮MIS算法在分布式计算的拥塞集团模型,它改进了$\tilde{O}(\sqrt{\log Δ})$轮算法的Ghaffari [PODC'17]。- 我们的$O(\log\log n)$ -圆形$(1+ε)$ -近似最大匹配算法简化或改进了以下先前的工作:$O(\log^2\log n)$ -圆形$(1+ε)$ -Czumaj等人的近似算法[STOC'18]和$O(\log\log n)$ -圆形$(1+ε)$ -Assadi等人的近似算法[SODA'19]。- 我们的$O(\log\log n)$ -圆形$(2+ε)$ -近似最小顶点覆盖算法改进了Assadi等人的$O(\log\log n)$ -圆形$O(1)$ -近似[arXiv'17]。
2022-03-17 cs.DC cs.DS
Improved Hierarchical Clustering on Massive Datasets with Broad Guarantees
层次聚类是当今最有影响力的无监督学习方法之一:聚类的更强扩展。该方法的目标是创建一个层次的集群,从而构建集群的进化历史,同时发现聚类在所有分辨率。我们提出了层次聚类算法的四个特性:(1)经验性能,(2)理论保证,(3)集群平衡,(4)可扩展性。虽然许多算法被设计成一次实现其中一到两个特征,但没有一个算法实现了所有四个特征。灵感来自Bateni et al.的可扩展和经验上成功的亲和聚类[NeurIPs 2017],我们介绍亲和聚类的继任者,匹配亲和聚类。与其前身一样,匹配亲和聚类保持了强大的经验性能,并使用大规模并行通信作为其分布式模型。旨在保持可证明平衡的集群,我们表明,我们的算法实现了良好的,恒定的因素近似Moseley和王的收入和科恩-Addad等人。的价值。我们表明亲和聚类不能近似任何一个函数。在此过程中,我们还引入了一个有效的$k$大小的最大匹配算法的MPC模型。
2021-01-13 cs.DS
Correlation Clustering and (De)Sparsification: Graph Sketches Can Match Classical Algorithms
针对相关性聚类经典算法进展难以移植到亚线性算法的问题,提出图去稀疏化范式,以黑盒方式成功将经典算法的收益移植到亚线性算法中。
2025-04-05 cs.DS
A PTAS for the Minimum Consensus Clustering Problem with a Fixed Number of Clusters
一致性聚类问题已被引入作为一种有效的方法来分析不同的微阵列实验的结果。该问题包括寻找一个分区,最好地总结了一组输入分区(每个对应于一个不同的微阵列实验)下一个简单而直观的成本函数。该问题承认多项式时间算法的两个输入分区,但在三个输入分区的APX困难。研究了一致性聚类算法在输出分区最多包含k个集合时的限制,给出了一个多项式时间近似方案(PTAS),并证明了该限制的NP-困难性.
2009-07-10 cs.DS
Streaming Graph Algorithms in the Massively Parallel Computation Model
本研究率先在MPC模型下研究流图算法,设计出常数轮、满足强次线性内存限制的演化图处理算法,改进了此前需正比于图规模总空间的工作,实现了MPC资源的渐近最优利用。
2025-01-17 cs.DS
Parameterized algorithms for the 2-clustering problem with minimum sum and minimum sum of squares objective functions
在{ \sc Min-Sum 2-Clustering}问题中,给定一个图和一个参数$k$,目标是确定是否存在顶点集的2-划分,使得冲突总数至多为$k$,其中顶点的冲突数是其在同一簇中的非邻居数和在不同簇中的邻居数.该问题等价于{ \sc 2-聚类编辑}和{ \sc 2-相关聚类},在成本函数中有一个附加的乘法因子2。在本文中,我们显示了一个算法{ \sc最小和2-聚类}的时间复杂度为$O(n\cdot 2.619^{r/(1-4r/n)}+n^3)$,其中$n$是顶点的数量和$r=k/n$。特别地,时间复杂度对于$k\in o(n^2)$是$O^*(2.619^{k/n})$,对于$k\in O(n\log n)$是多项式,这意味着对于$k\in o(n^2)$可以在亚指数时间内解决问题。我们还设计了一个参数化的算法的变体,其中的成本是平方冲突数的总和。对于$k\in o(n^3)$,算法在次指数$O(n^3\cdot 5.171^θ)$时间内运行,其中$θ=\sqrt{k/n}$。
2014-02-06 cs.DS
Adaptive Sampling for Minimum-Norm $k$-Clustering
Cornell University(康奈尔大学);University of Waterloo(滑铁卢大学)
研究最小范数k聚类问题,提出自适应采样算法,设计出首个基于此的双准则常数因子近似算法,对一般最小范数k聚类适用,对特殊的\(\text{Top}_\ell\)范数产生\(O(\log k)\)近似算法,扩展了自适应采样处理问题的范围。
2026-07-15 cs.DS
Dynamic Algorithms for the Massively Parallel Computation Model
大规模并行计算(MPC)模型在过去十年中越来越流行,现在被视为处理大规模数据的标准模型。该模型的一个显著缺点是,它假设在静态数据集上工作,而在实践中,真实世界的数据集不断演变。为了克服这个问题,在本文中,我们开始在MPC模型的动态算法的研究。我们首先讨论了一个动态的并行模型的主要要求,我们展示了如何适应经典的MPC模型来捕捉它们。然后分析了经典动态算法与MPC模型中动态算法之间的联系。最后,我们提供了新的高效的动态MPC算法的各种基本图的问题,包括连接,最小生成树和匹配。
2019-05-22 cs.DC cs.DS
Massively Parallel Computation via Remote Memory Access
我们介绍了自适应大规模并行计算(AMPC)模型,这是一个扩展的大规模并行计算(MPC)模型。在高层次上,AMPC模型通过将一轮内发送的所有消息存储在分布式数据存储中来增强MPC模型。在接下来的一轮中,所有机器都可以随机读取数据存储,并受到与MPC模型中相同的通信总量约束。我们的模型的灵感来自以前的经验研究的分布式图算法使用MapReduce和分布式哈希表服务。这种扩展使我们能够给出新的图形算法,与MPC模型中最知名的解决方案相比,具有更低的轮复杂度。特别是,在AMPC模型中,我们展示了如何解决$O(1)$轮中的最大独立集和$O(\log\log_{m/n} n)$轮中的连通性/最小生成树,这两个轮都使用$O(n^δ)$空间,每台机器为常数$δ< 1$。在MPC的相同存储器机制中,这些问题的最佳已知算法需要polylog $n$轮。我们的结果意味着,2-循环猜想,这是广泛认为,在MPC模型,不成立的AMPC模型。
2019-05-18 cs.DC cs.DS
Approximation Algorithms for Minimum Norm and Ordered Optimization Problems
$ $在许多优化问题中,可行解会导致多维成本向量。例如,在负载平衡中,调度在机器之间引入负载向量。在$k$ -集群中,打开$k$设施引起跨客户端的分配成本向量。在本文中,我们考虑以下最小范数优化问题:给定一个任意单调的,对称的范数,找到一个解决方案,最小化诱导成本向量的范数。这推广了许多基本的NP难问题。我们给出了一个一般的框架来解决最小范数问题,并说明其在无关的机器负载平衡和$k$ -集群设置的功效。我们的具体成果如下。$\bullet$我们给出了不相关机器上最小范数负载平衡问题和最小范数$k$ -聚类问题的常数因子近似算法。据我们所知,我们的研究结果构成了第一个常数因子近似这样一个一般套件的目标。$\bullet$在负载平衡与不相关的机器,我们给出了一个$2$ -近似的问题,找到一个分配最小化的总和最大的$\ell$负载,任何$\ell$。我们给出了一个$(2+\varepsilon)$ -近似所谓的有序负载平衡问题。对于$\bullet$-聚类,我们给出了有序$k$ -中值问题的$(5+\varepsilon)$ -近似,显着改进了Byrka,Sornat和Spoerhase(STOC 2018)以及Chakrabarty和Swamy(ICALP 2018)的常数因子近似。$\bullet$我们的技术也意味着$O(1)$近似的最佳同时优化因素的任何实例无关的机器负载平衡和$k…
2018-11-12 cs.DS
Approximation Algorithms for Clustering with Minimum Sum of Radii, Diameters, and Squared Radii
本文针对MSR、MSD和MSSR三个相关聚类问题提出了改进的近似算法,分别达到了3.389、6.546和11.078的近似比,突破了已有研究的近似保证。
2024-12-20 cs.DS
Clustering Algorithms for the Centralized and Local Models
我们重新审视了寻找具有差分隐私的最小封闭球的问题:给定欧几里得空间$\mathbb{R}^d$和整数$t\leq n$中的一组$n$点,目标是找到一个最小半径$r_{opt}$的球,该球至少包含$t$输入点。这个问题的动机是它的各种应用差分隐私,包括样本和聚合技术,私人数据探索,聚类。在没有隐私问题的情况下,最小封闭球具有多项式时间近似方案(PTAS),其计算半径几乎为$r_{opt}$的球(该问题是NP-难精确求解的)。相反,在差分隐私下,直到这项工作,只有$O(\sqrt{\log n})$ -近似算法是已知的。我们提供了新的构造差分隐私算法的最小封闭球实现恒定因子近似$r_{opt}$在集中式模型(其中一个可信的馆长收集的敏感信息,并分析它与差分隐私)和本地模型(其中每个受访者随机她的答案的数据馆长,以保护她的隐私)。我们演示了如何使用我们的算法作为一个积木近似$k$ -意味着在这两个模型。
2017-07-15 cs.DS
Correlation Clustering in Constant Many Parallel Rounds
Google Research(谷歌研究院);CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室);Microsoft Research(微软研究院)
相关聚类是无监督学习的一个中心话题,在ML和数据采掘中有许多应用。在相关聚类中,人们接收一个有符号的图作为输入,目标是将其划分以最小化不一致的数量。在这项工作中,我们提出了一个大规模并行计算(MPC)算法,这个问题是相当快的比以前的工作。特别是,我们的算法使用的机器与内存次线性的节点数在图中,并返回一个常数近似值,而只运行一个常数轮数。据我们所知,我们的算法是第一个,可以证明近似的聚类问题的图只使用一个常数的MPC轮在次线性记忆制度。我们补充我们的分析与我们的技术的实验分析。
2021-06-15 cs.DC cs.DS cs.LG
Optimization of Inter-group Criteria for Clustering with Minimum Size Constraints
PUC-Rio(里约热内卢天主教大学)
本文针对带最小规模约束的聚类问题,提出具有可证明保证的算法来最大化最小间距和最小生成树间距两个组间准则,并通过10个真实数据集验证了方法的实用性。
2024-01-13 cs.DS cs.LG
Massively Parallel Computation in a Heterogeneous Regime
大规模并行图算法在过去的十年中受到了广泛的关注,研究集中在三个内存区域:超线性区域,近线性区域和次线性区域。次线性制度是最可取的,在实践中,但条件硬度的结果指向其局限性。在这项工作中,我们研究了一个\emph{heterogeneous}模型,其中的机器的内存大小不同。我们主要关注的是通过在次线性MPC区域中添加单个近线性机器所产生的异质设置,并且表明即使是单个大机器也足以规避次线性区域的大多数条件硬度结果:对于具有$n$顶点和$m$边的图,我们给出了(a)在$O(\log\log(m/n))$轮中运行的MST算法;(b)在$O(1)$轮中构造大小为$O(n^{1+1/k})$的$O(k)$ -矩阵的算法;以及(c)在$O(\sqrt{\log(m/n)}\log\log(m/n))$轮中运行的最大匹配算法。我们还观察到,最有名的近线性MPC算法的其他几个图形问题,这是被证明是很难在次线性政权(最小割,最大独立集,顶点着色)可以很容易地转换到异构MPC模型与一个单一的近线性机器的工作,同时保留其原始轮的复杂性在近线性政权。如果允许大型机器具有\emph{superlinear}内存,则上述所有问题都可以在$O(1)$轮中解决。
2023-02-28 cs.DC cs.DS
Fast approximate $\ell$-center clustering in high dimensional spaces
University of Warsaw(华沙大学);Lund University(隆德大学)
本文提出了一种在高维空间中快速近似ℓ-中心聚类的算法,通过随机降维技术提升了效率,并改进了处理异常值的近似方法。
2025-12-02 cs.DS
On Parallel $k$-Center Clustering
University of Warwick(华威大学);The Institute of Mathematical Sciences, HBNI(数学科学研究所,HBNI)
本文在低本地空间MPC模型下,改进了Bateni等人的算法,提出一种在O(log log n)轮次内实现O(log*n)近似比的k-中心聚类算法。
2026-04-19 cs.DS
Deterministic Near-Linear Time Minimum Cut in Weighted Graphs
本文提出了首个针对加权图的确定性近线性时间最小割算法,通过构建具有 $o(1)$ 误差的稀疏聚类结构并解决多对数近似降至 $1+o(1/\log n)$ 近似的挑战,实现了对 Karger 随机算法的去随机化。
2024-01-11 cs.DS
Almost 3-Approximate Correlation Clustering in Constant Rounds
我们研究相关聚类的并行算法。$n$对象中的每一对都被标记为“相似”或“不相似”。目标是将对象划分为任意多个聚类,同时最小化与标签不一致的数量。我们的主要结果是一个算法,对于任何$ε> 0$获得$(3+ε)$ -近似在$O(1/ε)$轮(模型,如大规模并行计算,本地和半流)。这是平行相关聚类的丰富文献的一个顶点。一方面,近似(几乎)匹配组合算法的自然障碍3。另一方面,该算法的轮复杂度基本上是恒定的。为了实现这一结果,我们引入了一个简单的$O(1/ε)$轮并行算法。我们的主要结果是提供了一个分析该算法,表明它实现了$(3+ε)$ -近似。我们的分析借鉴了新的连接到次线性时间算法。具体来说,它建立在吉田,山本和伊藤[STOC'09]关于限制贪婪最大独立集的“查询复杂性”的工作上。据我们所知,这是该方法在分析任何算法的近似比中的第一个应用。
2022-05-07 cs.DC cs.DS
Clustering Uncertain Graphs
一个不确定图$\mathcal{G} = (V, E, p : E \rightarrow (0,1])$可以看作是一个概率空间,其结果(称为\emph{possible worlds})是$\mathcal{G}$的子图,其中任何边$e\in E$以概率$p(e)$出现,与其他边无关。这些图自然出现在许多应用领域,其中需要数据管理系统来处理相关数据中的不确定性,例如计算生物学、社会网络分析、网络可靠性和隐私实施等。因此,为不确定图设计基本的查询和挖掘原语是很重要的。本文有助于这一努力与发展的新战略聚类不确定图。具体来说,给定一个不确定图$\mathcal{G}$和一个整数$k$,我们的目标是将其节点划分成$k$集群,每个集群具有一个独特的中心节点,以最大化任何节点的最小/平均连接概率到其集群的中心,在一个随机的可能世界。我们评估的NP-硬度最大化的最小连接概率,即使在存在一个预言的连接概率,并制定有效的近似算法的问题和一些有用的变种。与文献中以前的作品不同,我们的算法具有可证明的近似保证,并能够保持控制下返回的聚类粒度。我们的理论研究结果补充了几个实验,比较我们的算法对一些相关的竞争对手,在运行时间和返回的聚类质量。
2017-10-16 cs.DS
Massively Parallel Symmetry Breaking on Sparse Graphs: MIS and Maximal Matching
在过去的几年里,MapReduce、Hadoop或Spark等现代并行范式的成功吸引了人们对大规模并行计算(MPC)模型的极大关注,特别是在图问题上。在这项工作中,我们认为对称性破缺问题的最大独立集(MIS)和最大匹配(MM),这是最深入研究的问题,在分布式/并行计算,在MPC。这些问题是已知的承认有效的MPC算法,如果每台机器的空间是近线性的$n$,在图中的顶点数。然而,正如在文献中所观察到的,这种空间需求通常比我们所能承受的要大得多;特别是当输入图稀疏时。与此形成鲜明对比的是,在每台机器的$n^{1-Ω(1)}$空间的真正次线性区域中,所有已知的算法都采用被认为是低效的$\log^{Ω(1)} n$轮。出于这个缺点,我们参数化我们的算法的荫度$α$的输入图,这是一个广受好评的措施,其稀疏性。我们表明,MIS和MM都承认$O(\sqrt{\log α}\cdot\log\log α+ \log^2\log n)$轮算法使用$O(n^ε)$空间每台机器的任何常数$ε\in (0, 1)$和使用$\widetilde{O}(m)$总空间。因此,对于稀疏图的荫度较小的情况-如无次图、有界亏格图或有界树宽图-,我们得到了一个$O(\log^2 \log n)$轮算法,该算法指数地改进了现有的算法。通过已知的约简,我们的结果也意味着一个$(1+ε)$ -近似的最大基数匹配,一个$(2+ε)…
2019-05-06 cs.DC cs.DS
Sparsifying Distributed Algorithms with Ramifications in Massively Parallel Computation and Centralized Local Computation
我们介绍了一种方法,稀疏化分布式算法,并展示它如何导致改进,过去已知的障碍,在两个算法设置的大规模图形处理:大规模并行计算(MPC),和本地计算算法(LCA)。- 具有强次线性存储器的MPC:最近,对于MIS、最大匹配、最小顶点覆盖的2-近似和最大匹配的$(1+ε)$ -近似等问题,获得比其经典$O(\log n)$轮并行对应物更快的MPC算法的兴趣越来越大。目前,所有这样的MPC算法需要每台机器的$\tildeΩ(n)$存储器。Czumaj等人[STOC'18]是第一个处理$\tildeΩ(n)$内存的人,在$O((\log\log n)^2)$轮中运行。我们得到$\tilde{O}(\sqrt{\log Δ})$轮MPC算法的所有这四个问题,即使每个机器有内存$n^α$任何常数$α\in (0, 1)$。这里,PDMATHAMT表示最大程度。这些是第一个亚临界时间算法,这些问题,打破了线性记忆障碍。- 查询复杂度低于Parnas-Ron范式的LCA:目前,最知名的MIS LCA具有查询复杂度$Δ^{O(\log Δ)} poly(\log n)$,由Ghaffari [SODA'16]提出。正如Rubinfeld所指出的,获得$poly(Δ\log n)$的查询复杂度仍然是一个中心的开放问题。Ghaffari的界限几乎达到了所有已知MIS LCA所共有的$Δ^{Ω\left(\…
2018-07-17 cs.DC cs.DS
Exponentially Faster Massively Parallel Maximal Matching
提出一种简单边采样与随机划分的贪心算法,实现MPC模型下极大匹配的指数级加速,达到$O(\log\log Δ)$轮和$O(n)$空间,并导出最优2近似最小顶点覆盖。
2023-08-17 cs.DC cs.DS
Diversity-aware $k$-median : Clustering with fair center representation
我们引入了一个新的问题多样性感知聚类。我们假设潜在的聚类中心属于一组受保护的属性,如种族,性别等定义的组,然后我们要求找到一个最小成本的数据聚类到$k$集群,使指定的最小数量的聚类中心从每个组中选择。因此,我们要求所有组都表示在集群解决方案中的集群中心,根据指定的要求。更准确地说,我们被给予一组客户端$C$、一组设施$\pazocal{F}$、设施组集合$\mathcal{F}=\{F_1,\dots,F_t\}$ $F_i \subseteq \pazocal{F}$、预算$k$和一组下限阈值$R=\{r_1,\dots,r_t\}$,一个下限阈值用于$\mathcal{F}$中的每个组。\emph{diversity-aware $k$-median problem}要求在$\pazocal{F}$中找到一组$k$设施的$S$,使得$|S \cap F_i| \geq r_i$,即$S$中至少有$r_i$中心来自$F_i$组,并且$k$ -中值成本$\sum_{c \in C} \min_{s \in S} d(c,s)$最小化。我们表明,在一般情况下,设施组可能会重叠,多样性意识的$k$ -中位数问题是\np -硬,固定参数棘手,和不可近似的任何乘法因子。另一方面,当设施组是不相交的,近似算法可以通过减少到\emph{matroid median}和\emph{red-blu…
2022-10-24 cs.DS
Parallel Batch-Dynamic Minimum Spanning Forest and the Efficiency of Dynamic Agglomerative Graph Clustering
层次凝聚聚类(HAC)是一种流行的聚类算法,但尽管它的重要性,没有一个动态的HAC算法有很好的理论保证存在。本文研究了边权图上的动态HAC。由于单链接HAC减少到计算最小生成森林(MSF),我们的第一个结果是一个并行批动态算法,用于维护MSF。在一批$k$边插入或删除时,我们的批动态MSF算法以高概率运行在$O(k\log^6 n)$预期的摊销工作和$O(\log^4 n)$跨度中。这是第一个完全动态的MSF算法处理批量的边缘更新与polylogarithmic工作每次更新和polylogarithmic跨度。使用我们的MSF算法,我们得到了一个并行批动态算法,可以回答查询单链接图HAC集群。我们的第二个结果是,动态图HAC是显着更难为其他常见的链接功能。例如,假设强指数时间假设,动态图HAC要求在具有$n$顶点的图上的每次更新或查询的$Ω(n^{1-o(1)})$工作用于完全链接、加权平均链接和平均链接。对于完全链接和加权平均链接,即使是增量或减量算法,即使我们允许$\operatorname{poly}(n)$ -近似的界限仍然成立。对于平均连接,对于增量和减量算法,界限减弱为$Ω(n^{1/2 - o(1)})$,并且当允许$n^{o(1)}$ -近似时,界限仍然保持。
2022-07-12 cs.CC cs.DC cs.DS
Fast Parallel Algorithms for Euclidean Minimum Spanning Tree and Hierarchical Spatial Clustering
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);UC Riverside(加州大学河滨分校)
本文提出了新的并行算法生成欧氏最小生成树和空间聚类层次(称为HDBSCAN $^*$)。我们的方法是基于生成一个良好分离的对分解,然后使用Kruskal的最小生成树算法和双色最近对计算。我们引入了一个新的概念,良好的分离,以减少工作和空间的HDBSCAN $^*$算法。我们还提出了一个并行近似算法的基础上,最近的顺序算法的GAN和陶。最后,我们给出了一个新的并行分治算法计算的树状图和可达性图,这是用于可视化集群的EMST和HDBSCAN $^*$出现的不同规模。我们表明,我们的算法在理论上是有效的:他们的工作(操作数)相匹配的顺序对应,和polylogarithmic深度(并行时间)。我们实现了我们的算法,并提出了一个内存优化,只需要一个子集的良好分离的对进行计算和物化,从而节省空间(高达10倍)和时间(高达8倍)。我们的实验上的大型现实世界和合成数据集使用48核机器表明,我们的最快的算法优于最好的串行算法的问题的11.13- 55.89倍,和现有的并行算法至少一个数量级。
2021-04-02 cs.DB cs.DC cs.DS
How fast can you update your MST? (Dynamic algorithms for cluster computing)
想象一个由计算机集群处理的大型图,例如,由$k$ -机器模型或大规模并行计算模型描述。然而,这个图不是静态的;相反,它正在接收不断的更新流。群集处理更新流的速度有多快?在本文中,我们想问的基本问题是,我们是否可以足够快地更新图,以跟上流。我们专注于维护一个最小生成树(MST)的问题,我们给出了一个算法的$k$ -机模型,可以处理$O(k)$图形更新每$O(1)$轮的高概率。(And这些结果延续到大规模并行计算(MPC)模型。我们还展示了一个下界,即,不可能在$O(1)$循环中处理$k^{1+ε}$更新。因此,我们提供了一个近乎严密的答案,一个集群可以多快地响应流的图形修改,同时保持MST的问题。
2020-02-17 cs.DC cs.DS
Locally Differentially Private Graph Clustering via the Power Iteration Method
针对现有局部差分隐私图聚类方法隐私预算要求高、适用场景受限的问题,提出基于幂迭代法的交互式算法,通过消除最大特征向量常数噪声,在常数隐私预算下实现更优的聚类效果。
2025-05-16 cs.DS cs.SI
FPT Approximation for Fair Minimum-Load Clustering
在本文中,我们考虑最小负载$k$ -集群/设施位置(MLkC)的问题,我们给出了一组$P$的$n$点在一个度量空间,我们必须集群和一个整数$k$,表示集群的数量。此外,我们给出了一个集$F$的聚类中心在同一度量空间。目标是选择一组$k$中心的$C\subseteq F$,并将$P$中的每个点分配给$C$中的一个中心,以便最小化所有中心上的最大负载。在这里,一个中心的负载是它和分配给它的点之间的距离的总和。虽然集群/设施选址问题有丰富的文献,最小负载的目标没有得到充分的研究,因此MLkC仍然是一个知之甚少的问题。更有趣的是,即使在一些特殊情况下,包括Ahmadian等人[ACM Trans. Algo. 2018年]。他们还显示了APX硬度的问题在飞机上。另一方面,MLkC的最著名的近似因子是$O(k)$,即使在平面中也是如此。在这项工作中,我们研究了受Chierichetti等人的工作启发的MLkC的公平版本。[NeurIPS,2017],它概括了MLkC。这里,输入点由表示它们所属的组的$\ell$颜色之一着色。MLkC是$\ell=1$的特例。考虑到这个问题,我们能够在$f(k,\ell)\cdot n^{O(1)}$时间内得到一个$3$ -近似。此外,我们的计划导致一个改进的$(1 + ε)$近似的情况下,欧几里德范数,在这种情况下,运行时间只依赖于多项式的尺寸$d$。我们的…
2021-07-20 cs.CG cs.DM cs.DS
Graph-based Clustering under Differential Privacy
CEA, LIST(法国原子能和替代能源委员会清单实验室);Université Paris-Dauphine, PSL Research University, CNRS, LAMSADE(巴黎第九大学(巴黎多芬纳大学)、巴黎文理研究大学、法国国家科学研究中心、拉撒路德实验室)
在本文中,我们提出了第一个差分私有聚类方法的任意形状的节点簇图。该算法只需要输入一个近似的最小生成树(MST)$\mathcal{T}$下发布的重量差分隐私约束从图。然后,底层的非凸聚类分区成功地恢复从切割$\mathcal{T}$上的最优切割。与现有的方法相反,我们的算法在理论上是动机良好的。实验支持我们的理论发现。
2018-03-10 cs.DS cs.LG
Density Adaptive Parallel Clustering
Scuola Superiore Sant’Anna(圣安娜高等研究学院)
在本文中,我们将介绍一种新的基于最近邻的聚类方法,并将其与以前的解决方案进行比较;由此产生的算法,它的灵感来自DBscan和最小生成树方法,是确定性的,但证明更简单,更快,不需要预先设置k值,集群的数量。
2014-07-11 cs.DS cs.LG stat.ML
Min-Max Correlation Clustering via Neighborhood Similarity
针对完全图上的最小-最大相关性聚类,提出基于邻域相似性与随机投影的纯组合 (3+ε)-近线性近似算法,并扩展至 MPC 与半流式模型。
2025-02-18 cs.DC cs.DS
Massively Parallel Algorithms for the Stochastic Block Model
本文研究MPC模型下SBM的精确社区恢复,提出基于r步邻域统计比较的并行算法,在更一般的低内存s-空间模型中改进轮数、空间及参数条件。
2023-08-14 cs.DC cs.DS
On Randomly Projected Hierarchical Clustering with Guarantees
层次聚类(HC)算法通常限于小数据实例,由于其运行时成本。在这里,我们减轻这一缺点,并探讨快速HC算法的基础上随机预测单(SLC)和平均(ALC)的链接聚类以及最小生成树问题(MST)。我们提出了一个彻底的自适应分析,我们的算法,提高以前的工作从$O(N^2)$的$N/(\log N)^2$的一个因素,为数据集的$N$点在欧几里得空间。该算法保持任意高概率,层次聚类的结果以及最坏情况下的运行时间保证。我们还提出了我们的算法的无参数实例。
2014-01-22 cs.DS cs.IR
Fully-Dynamic Parallel Algorithms for Single-Linkage Clustering
本文提出全动态森林上单链接树状图的更新算法,插入O(h)、删除O(h log(1+n/h)),并给出并行版本,优于静态重算。
2025-06-23 cs.DC cs.DS
Clustering to Maximize the Ratio of Split to Diameter
给定一个加权的完全图G =(V,E),V表示要聚类的n个对象的集合,与属于E的边(u,v)相关联的权重d(u,v)表示对象u和v之间的相异性。聚类的直径是聚类中对象对之间的最大相异性,并且聚类的分裂是聚类内的对象和聚类外的对象之间的最小相异度。本文提出了一个衡量团簇好坏的新标准:最小分裂与最大直径之比,目标是使该比最大化。对于k = 2,我们给出了一个精确算法。当k >= 3时,证明了该问题是NP-难的,并在E的权满足三角不等式的前提下,给出了一个因子为2的近似算法.这两个算法的最坏情况运行时间都是O(n^3)。我们比较了所提出的算法与归一化割应用于图像分割。在自然图像和合成图像上的实验结果证明了所提算法的有效性。
2012-06-18 cs.DM cs.DS
Fair Algorithms for Clustering
UC Santa Cruz(加州大学圣克鲁兹分校);Dartmouth College(达特茅斯学院)
我们研究了在数据中找到低成本的公平排序的问题,其中每个数据点可能属于许多受保护的组。我们的工作显著概括了Chierichetti等人的开创性工作(NIPS 2017)如下。- 我们允许用户指定定义公平表示的参数。更确切地说,这些参数定义了任何集群中任何组的最大过度代表性和最小代表性不足。- 我们的聚类算法适用于任何$\ell_p$ -范数目标(例如,$k$ -均值、$k$ -中位数和$k$ -中心)。事实上,我们的算法将任何香草聚类解决方案转化为一个公平的,只会产生轻微的质量损失。- 我们的算法还允许个人躺在多个保护组。换句话说,我们不需要保护组来划分数据,我们可以同时在不同的组之间保持公平性。我们的实验表明,在已建立的数据集上,我们的算法在实践中的表现比我们的理论结果表明的要好得多。
2019-06-17 cs.DS cs.LG
$k$-Center Clustering with Outliers in the MPC and Streaming Model
给定一个点集$P \subseteq X$,其大小为$n$,在一个具有双倍维数$d$和两个参数$k \in N$和$z \in N$的度量空间$(X,dist)$中,具有$z$离群值的$k$ -中心问题要求返回一个$k$中心集$C^\ast \subseteq X$,使得$P$中除了$z$点之外的所有点到它们在$C^\ast$中最近的中心的最大距离最小。这个问题的一个$(ε,k,z)$ -核心集是一个加权点集$P^*$,使得在$P^*$上具有$z$离群值的$k$ -中心问题的最优解给出了在$P$上具有$z$离群值的$k$ -中心问题的$(1\pmε)$ -近似.我们研究了大规模并行计算(MPC)模型中,以及在插入只有以及完全动态流模型的核心集的建设。对于任何给定的$0 < ε\le 1$,我们得到以下结果:在所有情况下,计算的coreset的大小是$O(k/ε^d+z)$。- 在MPC模型中,我们提出了一种确定性$2$轮和随机化$1$轮算法.此外,我们提供了一个确定性的算法,获得轮数,$R$和每台机器的存储之间的权衡。- 对于只插入流模型,我们提出了一个算法和一个紧的下界来支持它。-我们还讨论了动态流模型,它允许在数据流中插入和删除。在这个模型中,我们提出了第一个算法和一个下界。- 最后,我们考虑滑动窗口模型,其中我们有兴趣为流中的最后一个$W$点保持一个$(ε,k,z)$ -co…
2023-02-24 cs.CG cs.DS
Fully Scalable Massively Parallel Algorithms for Embedded Planar Graphs
本文针对嵌入平面图提出完全可扩展的 MPC 常数轮算法,将每台机器内存需求从 n^{2/3+Ω(1)} 降至 n^δ,并解决连通性、MST、SSSP、最小割及最大流等问题。
2023-10-27 cs.CG cs.DC cs.DS
Clustering Via Crowdsourcing
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
近年来,众包,也就是人类辅助计算,已经成为一个有效的平台,用于解决被认为是复杂的机器单独的问题。使用人力是费时和昂贵的,由于货币补偿。因此,基于人群的算法必须明智地使用通过自动化过程计算的任何信息,并自适应地向人群提出最少数量的问题。一个已经受到显著关注的这样的问题是{ \em实体解析}。形式上,我们给出了一个图$G=(V,E)$与未知的边缘集$E$,其中$G$是一个联盟的$k$(再次未知,但通常是大的$O(n^α)$,为$α>0$)不相交的集团$G_i(V_i, E_i)$,$i =1, \dots, k$。我们的目标是检索集$V_i$ s,使最小数量的成对查询$V \times V\to\{\pm1\}$的一个oracle(人群)。当每个查询的答案都是正确的时,例如通过重新搜索,这就简化为在图中找到连接的组件。另一方面,当人群答案可能不正确时,它对应于在最小数量的噪声输入上聚类。甚至,对于完美的答案,可以显示$Θ(nk)$关于查询复杂度的简单的下限和上限。本文的一个主要贡献是减少查询的复杂性,以线性或甚至次线性$n$时,温和的边信息是由机器提供的,甚至在存在的人群错误,这是无法纠正的通过重新排序。我们开发了新的信息理论的查询复杂性的下限与边信息和错误的聚类,我们的上限密切配合。我们的算法是自然的并行化,并给出了接近最优的边界上所需的自适应轮数匹配的查询复杂度。
2016-04-07 cs.DS cs.IT cs.LG
Near-Optimal Explainable $k$-Means for All Dimensions
Stanford University(斯坦福大学)
许多聚类算法由某些成本函数指导,例如广泛使用的$k$ -均值成本。这些算法将数据点划分为具有通常复杂边界的聚类,从而在解释聚类决策时造成困难。在最近的一项工作中,Dasgupta,Frost,Moshkovitz和Rashtchian(ICML 2020)介绍了可解释的聚类,其中聚类边界是轴平行超平面,并且通过将决策树应用于数据来获得聚类。这里的核心问题是:可解释性约束使成本函数的值增加了多少?给定$d$维数据点,我们展示了一个有效的算法,找到一个可解释的聚类,其$k$ -平均成本是最多$k^{1 - 2/d}\,\mathrm{poly}(d\log k)$倍的最小成本可实现的聚类没有可解释性约束,假设$k,d\ge 2$。取该界限和Makarychev-Shan(ICML 2021)、Gamlath-Jia-Polak-Svensson(2021)或Esfandiari-Mirrokni-Narayanan(2021)独立工作中的$k\,\mathrm{polylog} (k)$界限的最小值,我们得到了$k^{1 - 2/d}\,\mathrm{polylog}(k)$的改进界限,我们表明该界限对于$k,d\ge 2$的每个选择都是最佳的,直到$k$中的多对数因子。特别是对于$d = 2$,我们显示了一个$O(\log k\log\log k)$界,比Laber和Murtinh…
2021-11-04 cs.CG cs.DS cs.LG
Approximation Algorithms for Fair Range Clustering
African Institute for Mathematical Sciences–Rwanda(卢旺达非洲数学科学研究所);Microsoft Research–Redmond(微软研究院(雷德蒙德));Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
本文针对公平范围聚类问题,提出常数因子近似算法,适用于所有 $p\in[1,\infty)$,涵盖公平 $k$-中心、$k$-中位数和 $k$-均值。
2023-06-22 cs.AI cs.DS cs.LG