Many Sequential Iterative Algorithms Can Be Parallel and (Nearly) Work-efficient
为了设计高效的并行算法,最近的一些论文表明,许多顺序迭代算法可以直接并行化,但在实现工作效率和高并行性方面仍然存在挑战。对于依赖项的数量渐近地超过最优顺序工作界限的某些问题,工作效率可能是困难的。为了实现高并行性,我们希望并行处理尽可能多的对象。目标是为具有最深依赖长度$D$的问题实现$\tilde{O}(D)$跨度。我们把这种性质称为轮效率。在本文中,我们展示了各种经典问题的工作效率和轮效率的算法,并提出了一般的方法来做到这一点。为了有效地并行许多顺序迭代算法,我们提出了阶段并行框架。框架为每个对象分配一个等级,并相应地处理它们。具有相同秩的所有对象可以并行处理。为了实现工作效率和高并行性,我们使用两种类型的通用技术。类型1算法的目标是使用范围查询来提取具有相同秩的所有对象,这样我们就可以避免评估所有的依赖关系。我们讨论活动选择,无限背包,以及更多使用类型1框架。第二类算法的目标是在对象依赖的最后一个对象完成时唤醒对象。我们讨论活动选择,最长增加子序列(LIS),和许多其他算法使用类型2的框架。我们所有的算法(几乎)都是工作效率和轮效率的。其中许多算法改进了已有的最优界,有些算法是第一次以轮效率达到工作效率。我们也实施了其中的许多措施。在具有合理依赖深度的输入上,我们的算法是高度并行化的,并且显著优于顺序算法。
2022-05-25 cs.DC cs.DS
Basic Parallel and Distributed Computing Curriculum
随着多核处理器的出现及其快速扩展,很明显,{ \em并行计算}现在是计算机科学和工程(及相关)课程的真正要求。除了并行计算设备的普遍性之外,我们还应该考虑到这样一个事实,即有很多现有的软件是以顺序模式实现的,因此需要适应并行执行。因此,它要求程序员能够设计并行程序,也有一些技能,从一个给定的顺序代码移动到相应的并行代码。在本文中,我们提出了一个基本的教育方案,如何在并行计算的普通计算机科学家和工程师的一致和有效的背景。
2018-02-12 cs.DC
Framework for the hybrid parallelisation of simulation codes
编写高效的混合并行代码是乏味的,容易出错的,并且需要并行编程和多线程的良好知识,例如MPI和OpenMP。因此,我们提出了一个框架,它是基于作业模型,允许用户将他的顺序代码与可管理的努力和代码修改,以并行执行的集群或超级计算机从现代多核CPU。该框架的主要应用领域是工程学科的模拟代码,因为这些代码在许多情况下仍然是顺序的,并且由于它们的内存和运行时间要求,它们是并行化的突出候选者。
2018-07-01 cs.DC
Optimistic Parallel State-Machine Replication
状态机复制是实现容错的一种基本方法,它要求副本确定性地执行命令,这通常会导致命令的顺序执行。顺序执行限制了性能,并且未充分利用服务器,这些服务器越来越并行(即,多核)。为了缩小状态机复制需求与现代服务器特性之间的差距,研究人员最近提出了替代执行模型。本文调查现有的方法,并行状态机复制,并提出了一种新的乐观协议,继承了以前的技术的可扩展性。使用复制的B+树服务,我们证明了我们的协议优于最有效的技术的2.4倍的因素。
2014-04-27 cs.DC
Parallel Minimum Spanning Tree Algorithms and Evaluation
最小生成树(Minimum Spanning Tree,MST)是一种重要的图论算法,在计算机网络、超大规模集成电路(VLSI)路由、无线通信等领域有着广泛的应用。今天,几乎每台计算机都是由多核处理器构建的。因此,重要的是利用这种并行计算能力的并行化现有的算法和应用程序。大多数早期的并行化MST的工作集中在PRAM模型的算法。这些研究有两个局限性。首先,PRAM模型假设无限的内存带宽,这是不现实的。其次,基于PRAM模型的算法至少需要O(n)个处理器,其中n是顶点的总数。对于大型图,这是不可行的。很少有针对真实系统的实现。在本文中,我提出并评估了两个新的并行MST算法,是并行Boruvka算法的一个变种:i)第一算法使用锁变量没有自旋锁ii)第二算法只使用原子比较和交换(CAS)原语。我在一个六核、12线程的英特尔系统上评估了这些算法在大小高达100万个顶点的各种输入图上的性能。第一种算法比未优化的顺序算法有1.94的加速比,比优化的顺序算法有1.4的加速比。第二种算法比未优化的顺序算法的加速比高达2.03,比优化的顺序算法的加速比高达1.403。当使用CAS的第二算法与第一算法比较时,发现第二算法在四个线程处比第一算法好1.15倍。
2020-05-14 cs.DC
Hierarchical QR factorization algorithms for multi-core cluster systems
本文描述了一种新的QR分解算法,它是专门为大规模并行平台结合并行分布式多核节点设计的。这些平台造就了高性能计算的现在和可预见的未来。我们的新QR分解算法属于瓦片算法的类别,其自然地为由核心执行的顺序内核实现良好的数据局部性(高顺序性能),并行分布式设置中的消息数量少(小延迟期),以及细粒度(高并行性)。
2011-10-07 cs.DC
Using Sequential Runtime Distributions for the Parallel Speedup Prediction of SAT Local Search
University of Tokyo(东京大学);CNRS(法国国家科学研究中心);UPMC(巴黎第六大学(皮埃尔和玛丽·居里大学));University of Nantes(南特大学)
本研究提出一种基于序列运行时分布与次序统计量的框架,预测SAT局部搜索算法的并行加速性能,经两款求解器在384核硬件上的实验验证准确率较高,并发现其运行时分布可由指数或对数正态分布近似。
2024-01-30 cs.AI cs.DC
A Graph Computation based Sequential Power Flow Calculation for Large-Scale ACDC Systems
针对基于线路换流器(LCC)的大规模交直流系统,提出了一种基于图计算的序贯潮流计算方法。基于图论,首先将复杂的交直流系统转化为图模型,并存储在图数据库中。然后,通过交直流网络的解耦,利用图划分算法将混合系统划分为若干个孤立的区域。因此,可以针对具有新选择的松弛母线的每个独立区域并行地执行潮流分析。此外,对于每个区域,基于节点的并行计算(NPC)和层次并行计算(HPC)用于图形计算,以加快快速解耦潮流(FDPF)。通过对IEEE 300节点系统、南卡罗来纳州12,000节点系统和中国11,119节点系统的算例分析,验证了该方法的准确性和有效性
2019-02-26 cs.DC
Sequential and Shared-Memory Parallel Algorithms for Partitioned Local Depths
Wake Forest University(维克森林大学)
本文设计并优化了Partitioned Local Depths的顺序与共享内存并行算法,通过三元组比较进行社区结构分析,证明了顺序算法的通信最优性,并在多核CPU上实现了显著的加速效果。
2023-07-31 cs.DC cs.LG stat.ML
Monodromy Solver: Sequential and Parallel
我们描述,研究和实验的算法,用于找到所有解决方案的多项式方程组使用同伦连续和monodromy系统。该算法遵循在以前的工作中开发的框架,可以在同伦连续子程序的大量故障的存在下操作。我们特别注意并行化和概率分析的模型,适合并行化和故障。除了理论结果,我们开发了一个模拟器,使我们能够运行大量的实验,而无需重新计算连续子程序的结果。
2018-05-30 cs.DC cs.SC math.AG
Unifying Optimization and Dynamics to Parallelize Sequential Computation: A Guide to Parallel Newton Methods for Breaking Sequential Bottlenecks
STANFORD UNIVERSITY(斯坦福大学)
本文提出并行牛顿方法,通过统一固定点方法,解决动态系统并行化中的效率、稳定性及收敛性问题,基于Lyapunov指数确定并行加速条件。
2026-03-17 cs.AI cs.DC cs.NA
A GPU-based parallel algorithm for enumerating all chordless cycles in graphs
在有限无向简单图中,一个无弦圈是一个诱导子图,它是一个圈。我们提出了一个GPU并行算法来枚举所有的弦圈这样的图。该算法,在OpenCL中实现,是基于以前的顺序算法开发的当前作者为同一问题。它使用了一个更紧凑的数据结构的解决方案表示,这是适合的GPU的内存大小的限制。此外,对于具有足够大量的无弦周期的图,该算法在执行时间上有了显着的改进,优于顺序方法。
2015-06-25 cs.DC
Parallel and (Nearly) Work-Efficient Dynamic Programming
本文提出 Cordon Algorithm 通用框架,将高度优化的经典串行动态规划算法并行化,在多个经典问题上实现近乎工作高效和良好并行性。
2024-05-21 cs.DC cs.DS
Replicable Parallel Branch and Bound Search
组合分支定界搜索是解决全局优化和决策问题的常用技术。它们的性能通常取决于良好的搜索顺序算法,经过几十年的算法研究。并行搜索必然会偏离顺序搜索的顺序,有时是戏剧性的和不可预测的,例如通过随机分配工作。这可能会破坏有效的搜索顺序算法,并导致意外和高度可变的并行性能。可变性使得很难推理组合搜索的并行性能。本文提出了一个通用的并行分支和绑定框架,实现在Haskell中,具有可复制的并行性能。骨架的目的是通过以有序的方式分配工作来保持搜索顺序启发式,紧密遵循顺序搜索顺序。我们证明了该方法的一般性,通过应用骨架的40个实例的三个组合问题:最大集团,0/1背包和旅行推销员。我们的Haskell骨架的开销是合理的:与一流的、专用的和高度优化的C++最大团求解器相比,它的减速系数在1.9到6.2之间。我们展示了扩展到200个核心的Beowulf集群,实现了100倍的加速几个最大集团实例。我们证明了三个组合问题的所有实例的并行性能的低方差,并在所有规模高达200个核心,中位数相对标准偏差(RSD)低于2%。不遵循顺序搜索顺序的并行求解器表现出更高的方差,背包的中位RSD超过85%。
2017-10-23 cs.DC
In-place Parallel Super Scalar Samplesort (IPS$^4$o)
我们提出了一个排序算法,工作在原地,并行执行,是高速缓存效率,避免分支预测失误,并执行工作O(n log n)的任意输入的高概率。主要的算法贡献是新的方法,使基于分布的算法到位:在实践方面,通过使用粗粒度的基于块的排列,在理论方面,我们展示了如何消除递归堆栈。大量的实验表明,我们的算法IPS $^4$ o的规模以及各种多核机器。我们的表现超过我们最接近的竞争对手高达3倍。即使作为一个顺序算法,我们也比最接近的顺序竞争对手BlockQuicksort快1.5倍。
2017-06-29 cs.DC
The Impact of Sequential versus Parallel Clearing Mechanisms in Agent-Based Simulations of Artificial Limit Order Book Exchanges
本研究在人工股票市场框架下探究序贯与并行清算机制对多资产价格的影响,发现序贯清算会因资金优先分配给先处理资产而引入价格偏差,凸显了人工市场建模中验证清算机制的重要性。
2025-09-01 cs.DC q-fin.TR
Parallel Iterated Extended and Sigma-point Kalman Smoothers
加性噪声非线性模型的贝叶斯滤波和平滑问题是一个活跃的研究领域。经典的泰勒级数以及最近的sigma点为基础的方法是两个众所周知的策略来处理这些问题。然而,这些方法本质上是顺序的,并且在它们的标准公式中不允许时域中的并行化。在本文中,我们提出了一组并行公式,取代现有的顺序,以实现较低的时间(跨度)复杂度。我们的实验结果与图形处理单元(GPU)说明了所提出的方法的效率超过他们的顺序对应。
2021-01-31 cs.DC stat.CO
MCHA: A Memory-Centric Hierarchical Architecture for Parallel-Sequential Computing
Peking University(北京大学)
针对多智能体强化学习等并行-串行计算工作负载的内存瓶颈,提出以内存为中心的分层架构MCHA,通过分层通信策略和并行-串行编程模型实现大幅性能提升并开源。
2026-08-06 cs.AR cs.DC cs.MA
Leveraging Parallel Data Processing Frameworks with Verified Lifting
近年来,许多并行数据框架被提出,它们允许顺序程序访问并行处理。为了利用这些框架的优势,现有代码必须经常重写为每个框架支持的特定于域的语言。这种重写--单调乏味且容易出错--还要求开发人员在给定特定工作负载的情况下选择最优化性能的框架。本文介绍了Casper,一种新型的编译器,自动重定向顺序Java代码在Hadoop上执行,Hadoop是一个并行数据处理框架,实现了MapReduce范式。给定一个顺序代码片段,Casper使用验证提升来推断用我们的程序规约语言表达的高级摘要,然后编译该摘要以在Hadoop上执行。我们演示了Casper自动将Java基准转换为Hadoop。翻译结果的执行速度平均比顺序实现快3.3倍,并且可以更好地扩展到更大的数据集。
2016-11-23 cs.DB cs.DC cs.PL
An Executable Sequential Specification for Spark Aggregation
Spark是一种新型的可扩展数据并行计算平台。它提供了几个高级应用程序编程接口(API)来执行并行数据聚合。由于Spark中并行聚合的执行本质上是不确定的,因此Spark程序的一个自然要求是对同一数据集的任何执行都给出相同的结果。我们提出了PureSpark,一个可执行的正式Haskell规范的Spark聚合组合子。我们的规范允许我们从Spark聚合中推导出确定性结果的精确条件。我们报告的案例研究分析确定性的结果和正确性的火花程序。
2017-02-08 cs.DC cs.LO
Model Checking Race-freedom When "Sequential Consistency for Data-race-free Programs" is Guaranteed
针对无数据竞争程序的顺序一致性保证下如何验证所有SC执行无竞争的问题,提出对模型检测做少量修改即可有效验证无竞争特性,并在OpenMP并行化的C程序集上进行了探索。
2023-07-20 cs.DC cs.PL
Scalable Shared-Memory Hypergraph Partitioning
超图划分是高性能计算应用中优化数据布局和最小化通信量的重要预处理步骤。为了应对日益增长的问题规模,它已成为越来越重要的是开发快速并行分割算法的解决方案的质量是有竞争力的现有的顺序算法。为此,我们提出了Mt-KaHyPar,第一个共享内存多级超图分区器,并行实现了顺序,高质量分区系统所使用的许多技术:使用并行社区发现作为指导的并行粗化算法,通过具有工作窃取的并行递归二分区的初始分区,可缩放标签传播细化算法,以及经典FM算法的第一个完全并行的直接$k$路公式。在不同应用领域的大量基准测试实例集上进行的实验表明了该方法的可扩展性和有效性。在64个核心的情况下,我们观察到高达51的自相关加速比和23.5的谐波平均加速比。在解决方案质量方面,我们在95%的实例上优于分布式超图分区器Zoltan,同时也快了2.1倍。只有四个核心,Mt-KaHyPar也比最快的顺序多级分区器PaToH稍快,同时在所有实例的83%上产生更好的解决方案。顺序高质量分区器KaHyPar仍然比我们的并行方法找到更好的解决方案,特别是在使用基于最大流的细化时。然而,这是以相当长的运行时间为代价的。
2020-10-21 cs.DC cs.DS
Pruned Landmark Labeling Meets Vertex Centric Computation: A Surprisingly Happy Marriage!
在本文中,我们研究如何修剪地标标记(PPL)算法可以并行化的可扩展的方式,产生相同的结果作为顺序算法。更具体地说,我们并行化使用顶点为中心的(VC)计算模型上的现代SIMD供电的多核架构。我们设计了一种新的VC-PLL算法,解决了PLL算法固有的顺序依赖性和顶点中心(VC)计算模型之间的明显不匹配。此外,我们引入了一种新的VC计算的批处理执行模型和BVC-PLL算法,以减少在VC-PLL的计算效率低下。令人惊讶的是,理论分析表明,在合理的假设下,BVC-PLL具有较低的计算和存储器访问成本比PLL,并表明它可以运行速度比PLL作为一个顺序算法。我们还演示了如何BVC-PLL算法可以扩展到处理有向图和加权图,以及它如何利用现代并行计算架构上的层次并行性。在真实图形上的大量实验不仅表明顺序BVC-PLL的运行速度比原始PLL快两倍以上,而且还证明了其并行效率和可扩展性。
2019-06-28 cs.DB cs.DC
Profiling parallel Mercury programs with ThreadScope
并行程序的行为比顺序程序的行为更难理解。并行程序可能会受到影响顺序程序的任何性能问题的影响,也可能会受到并行系统特有的几个问题的影响。如果没有专业工具的帮助,这些问题中的许多都很难(甚至几乎不可能)诊断。我们提出了一个建议,一个工具,分析并行执行的水星计划,建议的实施,我们已经开始。这个工具是ThreadScope分析器的一个改编和扩展,ThreadScope分析器最初是用来帮助程序员可视化并行Haskell程序的执行的。
2011-09-07 cs.DC cs.PF cs.PL
Parallel Contraction Hierarchies Can Be Efficient and Scalable
本文提出SPoCH,一种高效可扩展的并行收缩层级构建算法,通过重新设计算法和利用并行数据结构,在多种图上实现11-68倍串行加速和3.8-41倍并行加速,同时保持查询性能。
2025-04-23 cs.DC cs.DS
Parallel Minimum Cuts in $O(m \log^2(n))$ Work and Low Depth
我们提出了一个随机的$O(m \log^2 n)$工作,$O(\text{polylog } n)$深度并行算法的最小割。该算法与Gawrychowski,Mozes和Weimann [ICALP'20]最近的顺序算法的工作范围相匹配,并改进了Geissmann和Gianinazzi [SPAA'18]以前最好的并行算法,该算法在$O(\text{polylog } n)$深度上执行$O(m \log^4 n)$工作。我们的算法使用了三个可能独立感兴趣的组件。首先,我们设计了一个并行数据结构,有效地支持批量混合查询和更新的树。它推广和改进了Geissmann和Gianinazzi以前的数据结构的工作范围,并且相对于最好的顺序算法是有效的。其次,我们设计了一个近似最小割的并行算法,改进了Karger和Motwani以前的结果。我们用这个算法给一个工作效率高的程序,以产生一个树包装,在Karger的顺序算法的最小切割。最后,我们设计了一个求解最小$2$相关割问题的高效并行算法。
2021-12-28 cs.DC cs.DS
Parallel Approximation Algorithms for Facility-Location Problems
本文介绍了设施选址问题的并行近似算法的设计和分析,包括(度量)设施选址的$\NC$和$\RNC$算法,$k$ -中心,$k$ -中位数,和$k$ -均值。这些问题在过去的几十年中得到了相当大的关注,从近似算法社区,主要集中在提高近似保证。在本文中,我们问,是否有可能并行一些美丽的结果从顺序设置?我们的出发点是一个小的,但多样的,子集的结果在近似算法的设施位置问题,与开发技术的主要目标,设计他们的高效并行对应。我们专注于提供低深度,接近工作效率(与顺序版本相比)和低缓存复杂度的算法。在我们提出的算法中,常见的想法是,我们通过允许一个小的松弛(例如,一个$(1+\vareps)$因素)-然后,我们使用清理步骤来确保行为不会偏离顺序步骤太多。我们开发的所有算法都是“高速缓存有效”的,因为高速缓存复杂性受$O(w/B)$的限制,其中$w$是EREW模型中的工作,$B$是块大小。
2010-06-09 cs.DC cs.DS
Õptimal Vertex Fault-Tolerant Spanners in Õptimal Time: Sequential, Distributed and Parallel
我们(几乎)解决的时间复杂度计算顶点容错(VFT)空间的最佳稀疏(多对数因子)。VFT空间是稀疏的子图,保留距离信息,直到一个小的乘法拉伸,在顶点故障的存在。这些结构是由[Escherhik et al.,2009年],从那时起就受到了广泛的关注。我们提供了用于计算任何$n$ -顶点$m$ -边图的接近最优的$f$-VFT空间的算法,在几个计算模型中具有接近最优的运行时间:-具有$\widetilde{O}(m)$的运行时间的随机顺序算法(即,与故障的数量无关($f$)。最先进的时间范围是[Bodwin,Dinitz and Robelle,SODA 2021]的$\widetilde{O}(f^{1-1/k}\cdot n^{2+1/k}+f^2 m)$。- 一种$\widetilde{O}(1)$轮的分布式拥塞算法。改进[Dinitz和Robelle,PODC 2020],在$\widetilde{O}(f^{2})$轮中获得具有接近最佳稀疏性的FT空间。- 具有$\widetilde{O}(m)$功和$\widetilde{O}(1)$深度的PRAM(CRCW)算法。由[Dinitz and Krauthgamer,PODC 2011]暗示的先验边界使用$\widetilde{O}(f^3m)$功和$\widetilde{O}(f^3)$深度获得次优FT空间。一个直接的推论提…
2022-09-07 cs.DC cs.DS
Comparative Analysis for Quick Sort Algorithm under four Different Modes of Execution
本文对顺序排序算法在四种不同的执行模式下的性能进行了比较,即顺序处理模式、传统的多线程实现、使用OpenMP库的多线程以及最后在超级计算机上的并行处理。快速排序算法被选择来运行由该努力执行的实验,并且该算法使用不同的数组大小和不同数量的处理器来运行。结果和调查结果进行了分析,揭示的局限性,以及使用并行顺序排序算法的增强潜力。
2021-09-03 cs.CC cs.DC
PaREM: A Novel Approach for Parallel Regular Expression Matching
正则表达式匹配对于许多应用程序都是必不可少的,例如查找文本中的模式,探索大型DNA序列中的子串或词法分析。然而,顺序正则表达式匹配对于大问题大小可能是时间限制性的。在本文中,我们描述了一个新的算法并行正则表达式匹配通过确定性有限自动机。此外,我们提出了我们的工具PaREM,接受正则表达式和有限自动机作为输入,并自动生成相应的代码,我们的算法是适合共享内存系统上的并行执行。我们评估我们的并行算法的经验,通过比较它与常用的算法顺序正则表达式匹配。在具有24个物理核的双插槽共享内存系统上的实验表明,对于48个线程,速度提升高达21倍。
2015-06-29 cs.DC cs.FL
Parallel Flow-Based Hypergraph Partitioning
我们提出了一个共享内存并行化的基于流的细化,这被认为是目前最强大的迭代改进超图分区技术。基于流的细化工作在二分区上,因此当前的顺序分区器将其调度在不同的块对上,以改进$k$路分区。我们调查两个不同的来源的并行性:并行调度方案和并行最大流算法的基础上著名的推重新标记算法。除了彻底的工程实现之外,我们还提出了几种优化方法,这些优化方法在实践中大大加速了算法,从而能够在非常大的超图(高达10亿个引脚)上使用。我们将我们的方法集成到最先进的并行多级框架Mt-KaHyPar中,并在500多个真实超图的基准集上进行了广泛的实验,以表明我们代码的分区质量与最高质量的顺序代码(KaHyPar)相当,而10个线程的速度要快一个数量级。
2022-01-05 cs.DC cs.DS
Exploring Parallel Execution Strategies for Constraint Handling Rules - Work-in-Progress Report
约束处理规则(英语:Constraint Handling Rules)是一种基于规则的声明性形式和语言。并发性是固有的,因为规则可以并行地应用于约束的子集。并行实现的可扩展性,无论是在软件中,它在硬件中,使用不同的执行策略,并行执行的可扩展性程序取决于实现语言。在这份报告中,我们的目标是从一个更一般的概念角度来分析并行执行的并行程序。我们想通过实验来看看,当并行程序自动并行化时,可能会发生什么。为了这个目的,一个顺序模拟的并行可执行系统编码不同的并行执行策略。在对文献中的一些典型示例的详尽实验中,可以将并行执行和顺序执行进行比较。处理器的数量可以是有界的或无界的,以便进行更多的理论分析。因此,对于不同的问题类别和一般情况,可以对执行策略的影响进行一些初步但具有指示性的观察。
2018-08-23 cs.DC cs.PL
Theoretically-Efficient and Practical Parallel DBSCAN
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);UC Riverside(加州大学河滨分校)
空间聚类的DBSCAN方法由于其在各种数据分析任务中的适用性而受到极大的关注。在欧几里得空间中,有快速的DBSCAN顺序算法,对于二维采用$O(n\log n)$工作,对于三维或更多维采用次二次工作,并且可以近似地在线性工作中计算任何常数数量的维度。然而,现有的并行DBSCAN算法在最坏的情况下需要二次工作,使得它们对于大型数据集效率低下。本文提出了新的并行算法,欧几里德精确DBSCAN和近似DBSCAN相匹配的顺序对应的工作范围,并高度并行(polylogarithmic深度)的并行DBSCAN的理论和实践之间的差距桥梁。我们提出了我们的算法的实现以及优化,提高其实际性能。我们在各种数据集和参数设置上对我们的算法进行了全面的实验评估。我们的36核机器上的超线程的实验表明,我们优于现有的并行DBSCAN实现高达几个数量级,并实现最高33倍的最佳顺序算法的加速比。
2021-01-27 cs.DB cs.DC cs.DS
Heterogeneous Federated Learning via Grouped Sequential-to-Parallel Training
Sch of Info & Comm Engin, University of Electronic Science and Technology of China(电子科技大学信息与通信工程学院);Sch of Comp Sci & Engin, Nanyang Technological University(南洋理工大学计算机科学与工程学院);Sch of Comp Sci & Tech, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)计算机科学与技术学院)
联邦学习(FL)是一种快速发展的隐私保护协作机器学习范式。在实际的FL应用中,来自每个数据筒仓的本地数据反映了本地使用模式。因此,在数据所有者之间存在数据分布的异质性(a.k.a. FL客户端)。如果处理不当,这可能会导致模型性能下降。这一挑战激发了异构联邦学习的研究领域,目前仍然开放。在本文中,我们提出了一个数据的异质性强大的FL方法,FedGSP,利用一个新的概念,动态顺序到并行(STP)协作训练,以解决这一挑战。FedGSP将FL客户端分配给同质组,以最大限度地减少组间的总体分布差异,并通过在每一轮中重新分配更多组来增加并行度。它还结合了一种新的簇间聚类(ICG)算法,以协助组分配,它使用的质心等价定理,以简化NP-难分组问题,使其可解。已经对非i.i.d.进行了广泛的实验。FEMNIST数据集。实验结果表明,与七种最先进的方法相比,FedGSP平均提高了3.7%的准确率,并减少了90%以上的训练时间和通信开销。
2022-01-31 cs.AI cs.DC cs.LG
Parallel Index-Based Structural Graph Clustering and Its Approximation
SCAN(Structural Clustering Algorithm for Networks)是一种研究得很好、应用广泛的图聚类算法。然而,对于大型图,顺序SCAN变体非常慢,并且并行SCAN变体不能在具有不同SCAN参数设置的查询之间有效地共享工作。由于SCAN的用户经常探索许多参数设置来找到好的聚类,因此值得预先计算一个索引来加速查询。本文在最近提出的一种顺序算法GS*-Index的基础上,提出了一种实用的、可证明有效的基于索引的并行SCAN算法。我们的并行算法通过使用整数排序改进了顺序算法的渐近工作。它也是高度并行的,实现了索引构建和聚类查询的对数跨度(并行时间)。此外,我们应用局部敏感哈希(LSH)设计一种新的近似SCAN算法,并证明其聚类行为的保证。我们提出了一个实验评估我们的算法在大型现实世界的图形。在具有双向超线程的48核机器上,我们的并行索引构造比GS*-Index构造实现了50- 151 $\times$的加速。事实上,即使在单线程上,我们的索引构造算法也比GS*-Index快。我们的并行索引查询实现实现了5- 32 $\times$加速GS*-索引查询在一系列的SCAN参数值,我们的实现总是比ppSCAN,一个国家的最先进的并行SCAN算法。此外,我们的实验表明,应用LSH的结果在更快的索引建设,同时保持良好的聚类质量。
2021-03-30 cs.DB cs.DC cs.DS