Distributed Semi-Speculative Parallel Anisotropic Mesh Adaptation
Center for Real-time Computing, Old Dominion University(实时计算中心,老道明大学)
本文提出一种分布式内存方法,通过分离网格生成与性能,实现高效各向异性网格自适应,生成高质量网格并保持性能优势。
2026-02-16 cs.DC
Scalable Recovery-based Adaptation on Quadtree Meshes for Advection-Diffusion-Reaction Problems
我们提出了一个笛卡尔四叉树网格自适应程序,离散标量对流扩散反应问题。自适应过程是由基于恢复的后验估计器驱动的离散化误差的$L^2(Ω)$ -范数,基于适当的高阶近似的解决方案和相关的梯度。特别是,基于度量的方法利用由估计器提供的信息来迭代地预测新的适应网格。新的网格自适应算法在不同的配置上成功地进行了评估,并且在处理数据中的不连续性以及存在与笛卡尔方向不对齐的内部层时也表现良好。交叉比较与标准的估计-标记-细化的方法,并与其他自适应策略,在文献中显示了显着的准确性和并行的可扩展性所提出的方法。
2022-12-12 cs.DC cs.DS cs.MS
Scalable overset computation between a forest-of-octrees- and an arbitrary distributed parallel mesh
Rheinische Friedrich-Wilhelms-Universität Bonn(波恩大学)
本文提出了一种可扩展的网格重叠算法,用于在森林-八叉树与任意分布式并行网格之间进行高效的数据查询与通信,适用于高并发计算场景。
2026-02-28 cs.DC
Towards Distributed Semi-speculative Adaptive Anisotropic Parallel Mesh Generation
本文提出一种分布式半推测自适应各向异性并行网格生成方法,通过CDT3D与PREMA分离功能与性能,实现高质量网格生成并避免全局同步,以支持大规模计算。
2023-12-20 cs.DC
MergeComp: A Compression Scheduler for Scalable Communication-Efficient Distributed Training
Rice University(莱斯大学)
大规模的分布式训练越来越受到通信的限制。许多梯度压缩算法已经被提出来减少通信开销和提高可扩展性。然而,已经观察到,在某些情况下,梯度压缩甚至可能损害分布式训练的性能。在本文中,我们提出了MergeComp,压缩调度器,以优化通信高效的分布式训练的可扩展性。它自动安排压缩操作,以优化压缩算法的性能,而无需了解模型架构或系统参数。我们已经将MergeComp应用于九种流行的压缩算法。我们的评估表明,MergeComp可以将压缩算法的性能提高高达3.83倍,而不会损失准确性。它甚至可以在高速网络上实现高达99%的分布式训练比例。
2021-03-28 cs.DC cs.LG
LH*TH: New fast Scalable Distributed Data Structures (SDDS)
1993年提出的可扩展分布式数据结构(SDDS)成为多机数据管理的基础。本文提出了一种基于Trie哈希的LH* 桶的组织方法,以提高不同访问请求的次数。
2014-12-14 cs.DC
Scalable and modular material point method for large-scale simulations
在本文中,我们描述了一个新的可扩展的和模块化的材料点法(MPM)的代码开发解决大规模的连续介质力学问题。MPM是一种混合欧拉-拉格朗日方法,它使用移动的材料点和计算节点的背景网格。MPM已成功地应用于解决大变形问题,如滑坡,边坡破坏,混凝土流动等。解决这些大变形问题的结果是材料点主动移动通过网格。为MPM代码开发一个有效的并行化方案需要材料点和背景网格的动态负载平衡技术。本文介绍了数据结构和算法,以提高性能和可移植性的MPM代码。一个面向对象的编程范式采用模块化的MPM代码。MPM代码结构的统一建模语言(UML)图如图1所示。
2019-09-29 cs.DC physics.geo-ph
MESH: A Flexible Distributed Hypergraph Processing System
随着大型在线社交网络的快速增长,分析大规模社会结构和行为的能力变得至关重要,这导致了一些可扩展的图处理系统的开发。然而,在现实中,社交互动不仅发生在图模型中的成对个体之间,而且发生在多用户组的上下文中。研究表明,这种群体动态可以通过更一般的超图模型更好地建模,从而需要构建可扩展的超图处理系统。在本文中,我们提出了MESH,一个灵活的分布式框架可扩展超图处理。MESH提供了一个易于使用和表达的应用程序编程接口,自然扩展了许多流行的图形处理系统中常见的顶点模型。我们的框架提供了一个灵活的实现基础上的底层图处理系统,并使不同的设计选择的关键实现问题的分区超图表示。我们在Apache Spark中流行的GraphX图形处理框架之上实现了MESH。使用各种真实的数据集和在本地8节点集群以及65节点Amazon AWS测试平台上进行的实验,我们证明了MESH提供了基于数据和应用程序特征的灵活性,以及集群大小的可扩展性。我们进一步表明,它在性能上与基于Spark的另一个超图处理系统HyperX具有竞争力,同时提供了一个更简单的实现(需要少5倍的代码行),从而表明简单性和灵活性不需要以性能为代价。
2019-05-10 cs.DC
Experience with Distributed Memory Delaunay-based Image-to-Mesh Conversion Implementation
本研究评估了基于共享内存实现构建的分布式内存Delaunay图像转网格算法的可扩展性与开发效率,发现分布式版本有一定加速比但单节点开销较高,对黑盒复用共享内存代码的思路提出质疑。
2023-08-24 cs.DC
ChainerMN: Scalable Distributed Deep Learning Framework
Preferred Networks, Inc.(Preferred Networks 公司)
深度学习之所以能够在各个领域取得突破,关键之一就是利用了以GPU为核心的高计算能力。通过分布式处理实现进一步的计算能力的使用不仅对于使深度学习更大更快,而且对于解决未解决的挑战至关重要。我们提出了ChainerMN的设计,实现和评估,我们开发的分布式深度学习框架。我们证明了ChainerMN可以将ResNet-50模型的学习过程扩展到ImageNet数据集,高达128个GPU,并行效率为90%。
2017-10-31 cs.DC cs.LG cs.NE
Efficient and Scalable Algorithms for Smoothed Particle Hydrodynamics on Hybrid Shared/Distributed-Memory Architectures
本文介绍了一种新的快速和隐式并行的方法来寻找邻居的多分辨率光滑粒子流体动力学(SPH)模拟。这种新方法是基于分层细胞分解和排序的相互作用,在一个基于任务的配方。它被证明是比传统的基于树的代码更快,并扩展比域分解为基础的方法在混合共享/分布式存储器并行架构,例如集群的多核,实现了$40\times$加速的小工具-2模拟代码。
2014-04-08 astro-ph.IM cs.DC physics.comp-ph
SHADHO: Massively Scalable Hardware-Aware Distributed Hyperparameter Optimization
University of Notre Dame(圣母大学)
计算机视觉正在经历人工智能的复兴,其中机器学习模型正在加速学术研究和商业应用的重要突破。然而,有效地训练这些模型并不容易,部分原因是超参数:用户配置的值控制模型从数据中学习的能力。现有的超参数优化方法是高度并行的,但没有努力平衡跨异构硬件的搜索或优先搜索高影响空间。在本文中,我们介绍了一个大规模可扩展的硬件感知分布式超参数优化(SHADHO)的框架。我们的框架计算每个搜索空间的相对复杂度,并在所有试验中监控学习任务的性能。然后,这些指标被用作算法,以基于其硬件将超参数分配给分布式工作者。我们首先证明,我们的框架实现了一倍的吞吐量的标准分布式超参数优化框架优化SVM MNIST使用150个分布式工人。然后,我们在一周的时间里使用两个计算集群中的74个GPU使用SHADHO进行模型搜索,以优化U-Net的细胞分割任务,发现515个模型实现了比标准U-Net更低的验证损失。
2018-01-22 cs.DC cs.LG
Extreme-Scale Block-Structured Adaptive Mesh Refinement
在这篇文章中,我们提出了一种新的方法,块结构的自适应网格细化(AMR),适用于极端规模的并行。所有的数据结构都被设计成使得每个分布式处理器存储器中的Meta数据的大小保持有界,而与处理器数量无关。在AMR过程的所有阶段,我们只使用分布式算法。不使用中央资源,如主进程或复制数据,因此可以实现无限的可扩展性。特别是对于动态负载均衡,我们建议通过创建核心数据结构的轻量级临时副本来利用块结构域分区的分层性质。此副本充当本地和完全分布式的代理数据结构。它不包含模拟数据,而只提供有关域划分为块的拓扑信息。最终,这种方法实现了一种廉价的、局部的、基于扩散的动态负载均衡方案。我们展示了我们的新AMR实现两个架构不同的千万亿次超级计算机的出色性能和全面的可扩展性。在IBM Blue Gene/Q系统上进行的基准测试表明,该系统的网格包含分布在458,752个进程中的3.7万亿个未知数,证实了其对未来极端规模并行机的适用性。本文提出的算法对域划分产生的块进行操作。这个概念及其实现支持任意数据的存储。因此,软件框架可以用于不同的模拟方法,包括基于网格和无网格的方法。在这篇文章中,我们演示了基于晶格玻尔兹曼方法的流体模拟。
2018-04-13 cs.DC
Breaking Boundaries: Distributed Domain Decomposition with Scalable Physics-Informed Neural PDE Solvers
University of California, Irvine(加州大学欧文分校)
该研究提出Mosaic Flow的端到端并行化方案,结合数据并行训练与域并行,大幅缩短拉普拉斯算子训练时间,实现大域可扩展推理且保持精度,为复杂物理建模与科学发现提供潜力工具。
2023-08-28 cs.DC cs.LG
Mesh-Attention: A New Communication-Efficient Distributed Attention with Improved Data Locality
Tsinghua University(清华大学);Purdue University(普渡大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);ByteDance Seed(字节跳动种子)
Mesh-Attention通过改进的数据本地性,提高了分布式注意力的通信效率和可扩展性,实验显示在大规模GPU上实现了显著的加速和通信量减少。
2026-08-11 cs.AI cs.DC
Gradient Diversity: a Key Ingredient for Scalable Distributed Learning
UC Berkeley(加州大学伯克利分校);UW Madison(威斯康星大学麦迪逊分校)
实验发现,小批量随机梯度下降(SGD)算法的分布式实现在超过特定批量时会出现加速饱和和泛化能力下降的现象.在这项工作中,我们提出了一个分析暗示,并行处理的梯度之间的高相似性可能是这种性能下降的原因。我们引入了梯度多样性的概念,衡量并发梯度更新之间的相异性,并显示其在小批量SGD的性能的关键作用。我们证明了高梯度多样性的问题,小批量SGD是适合更好的加速,同时保持串行(一个样本)SGD的泛化性能。我们进一步建立了收敛的下限,其中小批量SGD减慢超过特定的批量大小,仅仅是由于缺乏梯度多样性。我们提供的实验证据表明梯度多样性在分布式学习中的关键作用,并讨论了如何像dropout,Langevin动力学和量化可以改善它。
2018-01-07 cs.DC cs.LG
Mesh-TensorFlow: Deep Learning for Supercomputers
Google Brain(谷歌大脑)
批量拆分(数据并行)是主要的分布式深度神经网络(DNN)训练策略,由于其普遍适用性和对单程序多数据(SPMD)编程的适应性。然而,批量拆分存在一些问题,包括无法训练非常大的模型(由于内存限制),高延迟和小批量时的低效率。所有这些都可以通过更一般的分布策略(模型并行)来解决。不幸的是,有效的模型并行算法往往是复杂的发现,描述和实现,特别是在大型集群。我们介绍Mesh-TensorFlow,一种用于指定分布式张量计算的通用语言。数据并行性可以被视为沿着“批处理”维度拆分张量和操作,在Mesh-TensorFlow中,用户可以指定任何张量维度在处理器的多维网格的任何维度上拆分。Mesh-TensorFlow图编译成SPMD程序,该程序由并行操作和集合通信原语(如Allreduce)组成。我们使用Mesh-TensorFlow来实现Transformer序列到序列模型的高效数据并行、模型并行版本。使用多达512个核心的TPU网格,我们训练具有多达50亿个参数的Transformer模型,超越了WMT'14英法翻译任务和10亿字语言建模基准的最新成果。Mesh-Tensorflow可在https://github.com/tensorflow/mesh上获得。
2018-11-05 cs.DC cs.LG stat.ML
DSA: Scalable Distributed Sequence Alignment System Using SIMD Instructions
序列比对算法是许多生物信息学领域的基础和关键组成部分。随着测序技术的快速发展,参考数据库的数量迅速增长,查询序列的长度越来越长,这给序列比对带来了新的挑战。然而,该算法在时间和空间复杂度方面是过高的。本文提出了一种可扩展的分布式序列比对系统DSA,该系统采用Spark在水平可扩展的分布式环境中处理序列数据,并利用基于单指令多数据(SIMD)指令的数据并行策略,在工作节点的每个核中并行化算法。实验结果表明:1)DSA具有优异的性能,与SparkSW相比,其加速比高达201倍。2)DSA具有良好的可扩展性,当集群中的节点数量增加时,可以获得接近线性的加速比。
2017-01-06 cs.DC
Kudu: An Efficient and Scalable Distributed Graph Pattern Mining Engine
本文提出了Kudu,这是一个分布式执行引擎,具有定义良好的抽象,可以与现有的单机图形模式挖掘(GPM)系统集成,同时提供效率和可扩展性。关键的新颖性是可扩展的嵌入抽象,它可以表达模式枚举算法,允许细粒度的任务调度,并使低成本的特定于GPM的数据重用,以降低通信成本。有效的BFSDFS混合探索产生足够的通信计算重叠的并发任务与有限的内存消耗。通过在Kudu上移植Automine和GraphPi实现了两个可扩展的分布式GPM系统。我们的评估表明,基于Kudu的系统显著优于最先进的分布式GPM系统,分区图高达75.5倍(平均19.0倍),与最快的分布式GPM系统相比,复制图实现了类似甚至更好的性能,并可扩展到具有超过1000亿条边的大型图形。
2022-11-11 cs.DC
Fantom: A scalable framework for asynchronous distributed systems
我们描述了\emph{Fantom},异步分布式系统的框架。\emph{Fantom}基于Lachesis协议~ \cite{lachesis01},该协议使用异步事件传输来实现实用的拜占庭容错(pBFT),以创建无领导的、可扩展的、异步有向无环图(DAG)。我们进一步优化的\emph{Lachesis Protocol}通过引入一个无权限的网络动态参与。通过引入n行标志表进一步优化了根选择代价,并通过引入支配关系优化了路径选择。我们提出了一个分布式账本的替代框架,基于异步偏序集,具有逻辑时间排序,而不是区块链。本文建立在原来提出的家庭的\emph{Lachesis-class}共识协议。我们形式化我们的证明到一个模型,可以应用到抽象的异步分布式系统。
2018-10-22 cs.DC
Scalable and Secure Aggregation in Distributed Networks
我们考虑的问题,计算聚合函数的\emph{secure}和\emph{scalable}的方式。而以前的分布式解决方案具有类似的安全保证有$O(n^3)$的通信成本,我们提出了一个分布式协议,只需要一个$O(n\log^3 n)$,我们证明是接近最优的通信复杂性。我们的协议确保了完美的安全性,对计算有界的对手,容忍$(1/2-ε)n$恶意节点的任何常数$1/2 > ε> 0$(不依赖于$n$),并以高概率输出的聚合函数的确切值。
2011-11-23 cs.CC cs.CR cs.DC
Highly Scalable Multiplication for Distributed Sparse Multivariate Polynomials on Many-core Systems
我们提出了一个高度可扩展的算法乘以稀疏的多元多项式表示的分布式格式。该算法不仅针对共享存储器多核计算机,而且针对计算机集群或附接到主机计算机的专用硬件,诸如图形处理单元或众核协处理器。通过在主并行步骤期间缺乏同步、锁定和假共享来确保大量核上的可扩展性。
2013-03-29 astro-ph.IM cs.DC cs.MS
Skueue: A Scalable and Sequentially Consistent Distributed Queue
我们提出了一个分布式协议的队列,称为\textsc{Skueue},它的数据公平地传播到多个进程,避免在高吞吐量的情况下的瓶颈。\textsc{Skueue}可用于高度动态的环境,方法是将加入和离开请求添加到标准队列操作入队和出队。此外,\textsc{Skueue}满足异步消息传递模型中的顺序一致性。可伸缩性是通过将多个请求聚合到一个批处理中来实现的,然后可以以分布式方式处理这些批处理,而不会损害队列语义。\textsc{Skueue}中的操作需要对数轮数w.h.p.,直到它们被处理,即使在高速率的传入请求下也是如此。
2018-08-20 cs.DC
Scalable High-Dimensional Multivariate Linear Regression for Feature-Distributed Data
Booth School of Business(布斯商学院);University of Chicago(芝加哥大学)
针对特征分布式数据的高维多变量线性回归需求,提出通信复杂度不依赖特征维度的两阶段松弛贪心算法TSRGA,可生成低秩系数估计,经仿真验证收敛快,在金融10-K报告数据场景中有效。
2024-03-11 cs.DC cs.LG stat.ML
Skeap & Seap: Scalable Distributed Priority Queues for Constant and Arbitrary Priorities
我们提出了两个协议的分布式优先级队列(为简单起见表示为“堆”)称为SKEAP和SEAP。SKEAP为固定数量的优先级实现分布式堆,而SEAP为任意数量的优先级实现分布式堆。这两个协议都建立在一个覆盖层上,这会导致一个聚合树,在这个聚合树上,堆操作被批量聚合,确保我们的协议即使在高速率的传入请求下也能扩展。作为SEAP的一部分,我们提供了一个新的分布式协议的$k$ -选择问题,运行在$O(\log n)$轮w. h. p. SKEAP保证其堆操作的顺序一致性,而SEAP保证serializability。SKEAP和SEAP在其所有操作上提供对数运行时w. h. p.,而SEAP仅需使用$O(\log n)$位消息。
2019-04-01 cs.DC
Scalable Analytics over Distributed Time-series Graphs using GoFFish
图表是大数据的一种关键形式,对它们进行可扩展的分析对许多领域都是非常宝贵的。随着我们收集数据的能力的增长,出现了一类新兴的相互关联的数据,这些数据会随着时间的推移而积累或变化,并且需要对网络结构和时变属性值进行新的分析。我们引入了时间序列图分析的概念,并提出了Gopher,一个可扩展的编程抽象来开发算法和分析这些数据集。我们的抽象利用了以子图为中心的编程模型,并使用迭代BSP(批量同步并行)方法将其扩展到时间维度。Gopher是与GoFS共同设计的,GoFS是专门用于时间序列图的分布式存储,是GoFFish分布式分析平台的一部分。我们研究了GoFS的存储优化,在Gopher中设计模式以利用分布式数据布局,并使用商品集群上的时间序列图数据和应用程序评估GoFFish平台。
2014-06-23 cs.DC
Designing a scalable framework for declarative automation on distributed systems
随着分布式系统在规模和复杂性上的增长,对系统管理功能的灵活自动化的需求也在增长。我们概述了一个框架,用于构建工具,为分布式系统提供分布式,可扩展,声明式,模块化和连续自动化。我们集中在四个设计点:1)状态管理方法,规定配置和发现的系统状态的真实来源; 2)一种技术,以解决声明的统一问题的一类自动化问题,提供状态收敛和模块化; 3)一个最终一致性的方法,以状态同步,提供自动化规模; 4)事件驱动架构,提供始终在线的状态实施。我们描述的方法,软件架构的框架,这些技术的限制,适用于自动化问题。我们概述了基于此框架构建的参考应用程序,该框架提供了状态感知系统配置和节点生命周期管理,突出了关键优势。最后,我们讨论了当前和未来的应用。
2021-04-27 cs.DC
Graph3S: A Simple, Speedy and Scalable Distributed Graph Processing System
图是一种普遍存在于许多领域的结构。快速增长的数据量要求高效和可扩展的图形数据处理。近年来,设计分布式图处理系统已经成为一个越来越重要的领域,以满足在分布式环境中处理大型图的需求。虽然已经开发了各种分布式图形处理系统,但很少注意在使用简单性,效率和可扩展性方面实现良好的组合系统性能。为了对分布式图形处理系统的研究有所贡献,本文试图通过设计一个简单、快速和可扩展的系统来填补这一空白。我们的观察是,加强系统的通信灵活性,导致系统的效率和可扩展性以及简单的使用收益。我们在系统Graph3S中实现了我们的想法,并在来自不同领域的大图上使用各种算法进行了广泛的实验,以测试其性能。实验结果表明,该系统除了使用简单外,在各种图算法上都有很好的性能表现,在某些算法上的加速比甚至可以达到现有内存系统的两个数量级.此外,它的可扩展性与基于磁盘的系统相比具有竞争力,在使用较少的机器时甚至更好。
2020-03-02 cs.DC
Scalable Distributed Vector Search via Accuracy Preserving Index Construction
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院);Microsoft(微软);Shopify;Microsoft AI and Research(微软人工智能与研究部)
SPIRE通过平衡分区粒度和精度保持的递归构造,实现了可扩展的分布式向量搜索,显著提升了吞吐量。
2025-12-19 cs.DC
TH*:Scalable Distributed Trie Hashing
在当今的计算机世界中,处理大量数据并不罕见。现在比以往任何时候都更迫切需要分发这些数据,以提高其可用性和访问性能。由于这些原因,有必要开发可伸缩的分布式数据结构。在本文中,我们提出了一个TH * 分布式变体的Trie哈希数据结构。本文首先提出了一种新的数字树(trie)中不含Nil节点的TH算法,并使之适用于多机环境。仿真结果表明,TH * 是可扩展的,在这个意义上,它的增长优雅,一个桶的时间,大量的服务器,TH * 也提供了一个良好的存储空间利用率和高查询效率,特别是排序操作。
2012-05-02 cs.DB cs.DC cs.DS
System Description for a Scalable, Fault-Tolerant, Distributed Garbage Collector
我们描述了一个有效的和容错的分布式循环垃圾回收算法。该算法对本地机器的要求不高,可以灵活地选择本地收集器和分布式非循环垃圾收集器,并强调在不牺牲收集的准确性的前提下减少网络消息的数量和大小。我们提出的收集器是一个变种的回溯,以避免广泛的机器之间的同步。我们在标准回溯阶段中添加了一个显式的前向追踪阶段,并设计了一个优化的启发式算法来减少收集器所做的工作总量。特别值得注意的是容错跟踪之间的合作和一个启发式的,积极减少了一组可疑对象的发展。
2002-07-10 cs.DC
Distributed Graph Layout for Scalable Small-world Network Analysis
内存中的图形布局或组织对分布式内存图形计算的时间和能量效率具有相当大的影响。它影响内存局部性、任务间负载平衡、通信时间和整体内存利用率。图形布局可以指顶点和边数组的分区或复制、保存元数据的数据结构的选择性复制以及顶点和边标识符的重新排序。在这项工作中,我们提出了DGL,一个快速,并行和内存高效的分布式图形布局策略,是专门为小世界网络(低直径图与倾斜的顶点度分布)。基于标签传播的分区和可扩展的基于BFS的排序是布局策略中的主要步骤。我们表明,DGL布局可以显着提高五个具有挑战性的图分析工作负载的端到端性能:PageRank,一个并行子图枚举程序,调整实现的广度优先搜索和单源最短路径,和RDF 3X-MPI,一个分布式SPARQL查询处理引擎。使用这些基准测试,我们还提供了一个全面的分析,关于图布局如何影响具有可变计算和通信特性的图分析的性能。
2017-01-02 cs.DC
Building global and scalable systems with Atomic Multicast
全球互联网规模服务的兴起需要大型分布式系统。事实上,在处理数百万用户时,操作遍布全球的数千台服务器是很常见的。在这里,复制起着核心作用,因为它通过隐藏故障和提供可接受的延迟来改善用户体验。在本文中,我们声称,原子组播,具有强大的和定义良好的属性,是适当的抽象,有效地设计和实现全球可扩展的分布式系统。我们证实了我们的要求与原子多播之上的两个现代在线服务的设计,一个强一致的键值存储和分布式日志。除了介绍这些服务的设计,我们实验评估其性能在地理上分布的部署。
2014-06-29 cs.DC
A Hybrid Parallelization Approach for Distributed and Scalable Deep Learning
最近,深度神经网络(DNN)在处理医疗和其他复杂分类任务方面取得了巨大成功。然而,随着DNN模型和可用数据集的大小增加,训练过程变得更加复杂和计算密集,通常需要更长的时间才能完成。在这项工作中,我们提出了一个通用的完整的端到端的混合并行化方法,结合模型和数据并行有效地分布式和可扩展的DNN模型的训练。我们还提出了一个基于遗传算法的启发式资源分配机制(GABRA)的最佳分配分区的可用GPU的计算性能优化。我们已经将我们提出的方法应用于基于3D剩余注意力深度神经网络(3D-ResAttNet)的真实用例,用于在多个GPU上进行有效的阿尔茨海默病(AD)诊断。实验结果表明,该方法是有效的和可扩展的,它实现了几乎线性的加速比,与现有的非并行DNN模型相比,在精度性能上几乎没有差异。
2022-02-06 cs.DC
Scalable data abstractions for distributed parallel computations
将程序表示为部件的分层组合的能力是管理软件复杂性的重要工具,并且这提供的关键抽象是将数据的表示与计算分离。许多当前的并行编程模型使用共享存储器模型来提供数据抽象,但是由于非确定性和访问延迟,这不能很好地与大量核一起扩展。本文提出了一个简单的编程模型,允许可扩展的并行程序表示与分布式表示的数据,它提供了程序员的灵活性,采用共享或分布式风格的数据并行在适用的情况下。它能够有效地实现,并且在硬件中提供一小部分原始功能,它可以被编译为直接在硬件上操作,就像基于堆栈的分配在顺序机中的子程序中操作一样。
2012-10-03 cs.DC cs.PL
A Scalable Distributed Architecture for Network- and QoS-aware Service Composition
面向服务的计算(SOC)使松散耦合的服务代理组合起来,提供不同的服务质量(QoS)水平,有效地形成一个多智能体系统(MAS)。选择一个(近)最佳的服务组合的QoS方面是至关重要的,当许多功能等效的服务。随着分布式服务数量的快速增长,尤其是在云中,网络对QoS的影响也在不断增加。尽管如此,反对大多数MAS的方法,目前的服务方法依赖于一个集中式的架构,不能适应网络。因此,我们提出了一个可扩展的分布式体系结构组成的一个灵活的分布式控制节点的数量。我们的架构不需要改变现有的服务,并适应从集中到一个完全分布式的实现,根据需要添加控制节点。此外,我们提出了一个扩展的QoS聚合算法,允许准确地估计网络QoS。最后,我们评估我们的架构在分布式环境中的好处和最优性。
2013-01-21 cs.DC
SMURF: Efficient and Scalable Metadata Access for Distributed Applications
随着大数据处理和分析主导分布式和云基础设施的使用,对分布式元数据访问和传输的需求也在增加。在许多应用程序域中,生成的数据量超过PB,而相应的元数据量达到TB甚至更多。本文提出了一种新的解决方案,有效的和可扩展的元数据访问的分布式应用程序在广域网,称为SMURF。我们的解决方案结合了新颖的流水线和并发传输机制与可靠性,提供分布式连续缓存和预取策略,以回避获取延迟,并实现可扩展的和高性能的元数据获取/预取服务在云中。我们还研究了真实跟踪日志中的语义局部性现象,这在元数据访问预测中没有得到很好的利用。我们实现了一种新的预取预测器的基础上,这一观察,并比较它与现有的三个国家的最先进的预取计划雅虎!Hadoop审计跟踪。通过有效地缓存和预取元数据的访问模式的基础上,我们的连续体缓存和预取机制显着提高本地缓存命中率,降低了平均读取延迟。我们从真实的审计跟踪中重放了大约2000万次元数据访问操作,其中我们的系统在预取预测期间实现了90%的准确性,并且与最先进的机制相比,平均获取延迟减少了50%。
2021-05-29 cs.DC cs.NI
FanStore: Enabling Efficient and Scalable I/O for Distributed Deep Learning
新兴的深度学习(DL)应用在计算机集群上引入了繁重的I/O工作负载。固有的持久、重复和随机的文件访问模式很容易使元数据和数据服务饱和,并对其他用户产生负面影响。在本文中,我们提出了FanStore,一个短暂的运行时文件系统,优化现有的硬件/软件堆栈上的DL I/O。FanStore将数据集分发到计算节点的本地存储,并维护全局命名空间。通过系统调用拦截、分布式元数据管理和通用数据压缩等技术,FanStore以高效、可扩展的方式提供了一个符合POSIX标准的接口和本地硬件吞吐量。用户不必进行侵入性的代码更改即可使用FanStore并利用优化的I/O。我们的基准测试和实际应用的实验表明,FanStore可以扩展DL训练到512个计算节点,扩展效率超过90%。
2018-09-27 cs.DC
A new Dune grid for scalable dynamic adaptivity based on the p4est software library
本研究为 Dune 求解器库引入连接开源 p4est 软件的网格接口,以继承其 MPI 可扩展性与多块拓扑支持;数值实验表明新实现在可扩展性上优于 Dune-ALUGrid,并提出性能更优的 2:1 平衡替代策略。
2025-07-15 cs.DC
Scalable Distributed Subtrajectory Clustering
轨迹聚类是从移动数据中发现知识的重要操作。特别是在当今,以高效和可扩展的方式对大规模生产的数据(如移动轨迹)执行高级分析操作的需求势在必行。然而,发现完整轨迹的集群可能会忽略只存在于其生命周期的一小部分的重要模式。在本文中,我们解决了问题的分布式子轨迹聚类在一个有效的和高度可扩展的方式。这个问题是具有挑战性的,因为要聚类的子轨迹是事先不知道的,但他们需要动态地发现相邻的子轨迹在空间和时间。为了实现这一目标,我们将原问题分解为三个子问题,即子轨迹连接,轨迹分割和聚类以及离群点检测,并利用MapReduce编程模型以分布式方式处理每个问题。我们的解决方案的效率和有效性的实验证明了一个合成的和两个大的真实数据集从海洋和城市领域,并通过比较与两个国家的最先进的子轨迹聚类算法。
2019-06-18 cs.DB cs.DC
Social Hash Partitioner: A Scalable Distributed Hypergraph Partitioner
我们设计并实现了一个分布式算法平衡$k$ -路超图分区,最大限度地减少扇出,一个基本的超图数量也被称为通信量和($k-1$)切割度量,通过优化一个新的目标称为概率扇出。这种选择允许一个简单的局部搜索启发式算法实现与现有最佳超图划分器相当的解决方案质量。我们的算法是任意可扩展的,由于精心设计,控制计算复杂性,空间复杂度,和通信。在实践中,我们通常在几个小时内处理具有数十亿个顶点和超边的超图。我们解释了算法的可扩展性,无论是在超图的大小和桶数,是有限的,只有可用的机器的数量。我们进行了广泛的比较,现有的分布式超图分区,并发现我们的方法是能够优化超图大致$100$倍以上的同一组机器。我们称之为社会哈希分区工具(SHP),并伴随着这篇论文,我们开源的最可扩展的版本的基础上递归二分法。
2017-07-20 cs.DC cs.DS
Scalable and Cost-effective Data Flow Analysis for Distributed Software: Algorithms and Applications
越来越多的分布式软件系统正在开发和部署。与其他软件一样,分布式软件系统也需要非常强大的质量保证支持。分布式软件通常非常庞大/复杂,具有分布式组件,并且没有全局时钟。所有这些特点使得分析这些系统的信息流以支持软件质量保证变得非常具有挑战性。一个挑战是现有的动态分析技术很难扩展到现实世界中的大型分布式软件系统。开发具有成本效益的动态分析方法也具有挑战性。分布式软件的动态分析算法/应用程序也存在适用性和可移植性的挑战。我的论文通过三种新的方法来解决这些挑战,分布式软件的数据流分析。我的第一种方法是基于测量进程间通信来理解分布式软件行为和预测分布式软件质量。然后,我开发了一种特殊的方法,可以通过分布式软件的多阶段和基于精化的动态信息流分析来精确定位敏感信息。最后,我探索了分布式系统的动态依赖分析,利用强化学习自动调整分析配置,以实现可扩展性和更好的成本效益权衡。
2023-03-07 cs.CR cs.DC cs.SE
MetaFlow: a Scalable Metadata Lookup Service for Distributed File Systems in Data Centers
在大规模分布式文件系统中,有效的Meta数据操作是至关重要的,因为大多数文件操作必须首先与元数据服务器交互。在现有的基于分布式哈希表(DHT)的元数据管理系统中,查找服务由于其显著的CPU开销而成为性能瓶颈。我们的调查表明,查找服务可以减少高达70%的系统吞吐量,并增加系统延迟的一个因素,最多8相比,理想的情况。在本文中,我们提出了MetaFlow,一个可扩展的元数据查找服务,利用软件定义网络(SDN)技术,在网络组件上分配查找工作量。MetaFlow通过利用在物理拓扑上构建的B树来管理支持SDN的交换机的流表,从而解决了查找瓶颈问题。因此,可以仅使用交换机将元数据请求转发到适当的服务器。在模拟和测试平台中进行的广泛性能评估表明,与基于DHT的系统相比,MetaFlow将系统吞吐量提高了3.2倍,并将系统延迟降低了5倍。我们还在分布式文件系统中部署了MetaFlow,并展示了显著的性能改进。
2016-11-10 cs.DC
Asynchronous Parallel Stochastic Gradient Descent - A Numeric Core for Scalable Distributed Machine Learning Algorithms
绝大多数机器学习(ML)算法的实现归结为解决数值优化问题。在这种情况下,随机梯度下降(SGD)方法长期以来已被证明提供良好的结果,无论是在收敛性和准确性。最近,已经提出了几种并行化方法,以扩展SGD来解决非常大的ML问题。在其核心,这些方法中的大多数都遵循一个map-reduce方案。本文提出了一种新的并行更新算法的SGD,它利用异步单边通信范式。与现有的方法相比,异步并行随机梯度下降(ASGD)提供更快(或至少相等)的收敛,接近线性缩放和稳定的精度。
2015-10-05 cs.DC
Pilotfish: Distributed Execution for Scalable Blockchains
针对区块链因过度配置验证器处理峰值负载导致的资源低效等问题,提出首个横向扩展交易执行引擎Pilotfish,通过分布式执行实现验证器水平扩展,与惰性区块链架构无缝集成,线性扩展至8个工作机且保持低延迟,填补执行弹性缺失环节。
2025-02-13 cs.DC
An improved tile-based scalable distributed management model of massive high-resolution satellite images
随着对地观测的快速发展和卫星遥感及传感器技术的发展,遥感数据量以前所未有的速度增长。传统的关系数据库在满足高分辨率、大规模遥感大数据数据管理的需求时,已经出现了自身的局限性。因此,海量遥感数据管理是当前最迫切的课题之一。为了解决这个问题,本文描述了一个分布式架构的大RS数据存储的基础上,统一的元数据文件,金字塔模型和希尔伯特曲线的数据组合和索引使用NoSQL数据库(即Apache Hbase)。本文在AzureInsight云平台上设计了一个基于Hadoop的框架,以并行和分布式的方式管理海量RS数据。实验结果表明,该方法有潜力克服传统方法的弱点。该模型适用于海量高分辨率影像数据管理。
2021-05-11 cs.DC
Privacy-Preserving Federated Learning: Integrating Zero-Knowledge Proofs in Scalable Distributed Architectures
Independent Researcher(独立研究者)
本文提出一种新型分布式架构,通过高级加密验证和优化大数据处理框架增强联邦学习的安全性,利用零知识证明验证节点计算,有效抵御模型中毒攻击,实验表明在对抗条件下准确率保持94.2%且可扩展至1000个并行节点。
2026-05-04 cs.AI cs.DC
A Dense Tensor Accelerator with Data Exchange Mesh for DNN and Vision Workloads
我们提出了一种称为VectorMesh的密集张量加速器,这是一种可扩展的内存高效架构,可以支持各种DNN和计算机视觉工作负载。它的构造块是一个瓦片执行单元(TEU),它包括几十个处理单元(PE)和SRAM缓冲器,通过蝶形网络连接。TEU之间的FIFO网格有助于瓦片之间的数据交换,并将本地数据提升为全局可见性。与最先进的架构相比,我们的设计根据CNN,GEMM和空间匹配算法的屋顶模型表现更好。它可以将全局缓冲区和DRAM读取分别减少2-22倍和高达5倍。
2021-11-25 cs.DC
Bizur: A Key-value Consensus Algorithm for Scalable File-systems
Bizur是一个公开键值接口的共识算法。它由分布式文件系统使用,可扩展到数百台服务器,提供数百万IOPS,包括数据和元数据,并具有一致的低延迟。Bizur的目标是那些需要强一致性状态,但不需要分布式日志的服务;例如,分布式锁管理器或分布式服务定位器。通过避免分布式日志方案,Bizur优于基于分布式日志的共识算法,在正常操作期间,特别是在故障期间,产生更多的IOPS并保证较低的延迟。Paxos类算法(例如,Zab和Raft),由于它们依赖于分布式日志,因此可能具有人为争用点。在复制一般服务时需要分布式日志,但当所需服务是基于键值的时,可以避免分布式日志创建的争用点。Bizur正是这样做的,通过在独立的密钥上独立地达成共识。这种独立性使Bizur能够更有效地处理故障,并且比其他共识算法更好地扩展,允许使用Bizur的文件系统与之一起扩展。
2017-02-14 cs.DB cs.DC
Scalable Deep Learning on Distributed Infrastructures: Challenges, Techniques and Tools
Technical University of Munich(慕尼黑工业大学)
深度学习(DL)在最近取得了巨大的成功,在图像识别和自然语言处理等各个领域取得了最先进的成果。这种成功的原因之一是DL模型的规模不断增加,以及大量可用训练数据的激增。为了不断提高下行链路的性能,提高下行链路系统的可扩展性是必要的。在本调查中,我们对分布式基础设施上可扩展DL的挑战、技术和工具进行了广泛而彻底的调查。这包括DL的基础设施,并行DL训练的方法,多租户资源调度以及训练和模型数据的管理。此外,我们分析和比较了11个当前的开源DL框架和工具,并调查了哪些技术在实践中通常被实现。最后,我们强调未来的研究趋势,DL系统,值得进一步研究。
2019-09-25 cs.AI cs.DC
Scalable Distributed-Memory External Sorting
我们设计算法,在大规模并行机器上对庞大的数据集进行排序。该算法是基于多路合并范式。我们首先概述了一个算法,其I/O的要求是接近下限。因此,与多路合并的天真实现和我们已知的所有其他方法相比,即使对于最大的可想象的输入,该算法也只对数据进行两次传递。第二种算法减少了通信开销,并以略微增加I/O要求为代价使用更传统的结果规范。一个实现在几个类别中赢得了众所周知的排序基准,并在很大程度上超过了它的竞争对手。
2009-10-14 cs.DC cs.DS cs.PF
GeoFlink: A Distributed and Scalable Framework for the Real-time Processing of Spatial Streams
Apache Flink是一个开源系统,用于批量和流数据的可扩展处理。Flink本身并不支持空间数据流的高效处理,这是许多处理空间数据的应用程序的要求。除了Flink之外,其他可扩展的空间数据处理平台,包括GeoSpark、Spatial Hadoop等,都不支持流式工作负载,只能处理静态/批量工作负载。为了填补这一空白,我们提出了GeoFlink,它扩展了Apache Flink,以支持空间数据类型,索引和连续查询空间数据流。为了能够有效地处理空间连续查询,并在Flink集群节点之间进行有效的数据分布,引入了基于网格的索引。GeoFlink目前支持点数据类型上的空间范围、空间$k$ NN和空间连接查询。对真实空间数据流的广泛实验研究表明,GeoFlink实现了显着更高的查询吞吐量比普通Flink处理。
2020-08-03 cs.DB cs.DC
Scalable Multivariate Histograms
我们给出了一个分布式的自适应直方图估计程序以前开发的第一作者的变种。该程序是基于定期铺路,并被称为有许多吸引人的统计和算术属性。分布式版本使得处理比以前大得多的数据集成为可能。我们在许可证下提供原型实现。
2020-12-29 cs.DC math.OC stat.CO
Extremely Scalable Distributed Computation of Contour Trees via Pre-Simplification
针对大规模科学数据集中分布式层次等高线树分析任务内存开销大、阻碍可扩展性的问题,提出预简化策略显著降低内存开销,并在15分钟内构建了包含超5000亿节点的已知最大等高线树。
2025-08-11 cs.CG cs.DC cs.DS