knor: A NUMA-Optimized In-Memory, Distributed and Semi-External-Memory k-means Library
k-means是最有影响力和最常用的机器学习算法之一。它的计算限制了许多统计分析和机器学习任务的性能和可扩展性。我们重新思考和优化现代NUMA架构的k均值，开发一种新的并行化方案，延迟和最大限度地减少同步障碍。\textit{k-means NUMA Optimized Routine}（\textsf{knor}）库具有（i）内存中（\textsf{knori}）、（ii）分布式内存（\textsf{knord}）和（iii）半外部内存（\textsf{knors}）模块，这些模块可以针对不同的内存和硬件预算从根本上提高k均值算法的性能。\textsf{knori}可将单机数据集的性能提高一个数量级或更多。\textsf{knors}提高了k均值算法在使用SSD的内存预算上的可扩展性。\textsf{knors}可在一台机器上扩展到数十亿个点，只使用分布式内存系统所需资源的一小部分。\textsf{knord}保留了\textsf{knori}的性能特征，同时通过云中的分布式计算在内存中进行扩展。\textsf{knor}修改埃尔坎的三角不等式修剪算法，使我们利用它对十亿点的数据集没有显着的内存开销的原始算法。我们证明了\textsf{knor}优于分布式商业产品，如H $_2$ O，Turi（以前的Dato，GraphLab）和Spark的MLlib超过一个数量级的数据集的$1…
2017-06-24 cs.DC
MPI-Q: A Message Communication Library for Large-Scale Classical-Quantum Heterogeneous Hybrid Distributed Computing
Laboratory for Advanced Computing and Intelligence Engineering, Information Engineering University（信息工程大学先进计算与智能工程实验室）
针对经典-量子系统异构性问题，提出MPI-Q库，通过统一管理经典与量子进程、轻量通信路径和异构同步机制，实现高效混合分布式计算，实验显示其具有接近线性扩展性。
2026-04-02 cs.DC
Distributed Triangle Counting in the Graphulo Matrix Math Library
三角形计数是大型图分析的关键算法。Graphulo库为在Apache Accumulo分布式数据库上实现图形算法提供了一个框架。在这项工作中，我们将两种计算三角形的算法，一种使用邻接矩阵，另一种也使用关联矩阵，用于Accumulo内部的服务器端处理的Graphulo库。基于云的实验显示，这些不同的方法在幂律Graph500图形家族上具有相似的性能特征，其中数据偏斜越来越成为瓶颈。这些结果激发了我们为未来工作提出的偏斜感知混合算法的设计。
2017-09-05 cs.DC cs.MS
A Parallel and Distributed Rust Library for Core Decomposition on Large Graphs
University of Pisa（比萨大学）；University of Calabria（卡拉布里亚大学）
本文提出了一种基于Rust语言的并行和分布式库，用于高效计算大规模图的核心分解，通过优化算法和并发机制实现了显著的速度提升。
2025-11-28 cs.DC
DBCSR: A Library for Dense Matrix Multiplications on Distributed GPU-Accelerated Systems
大多数，如果不是所有的现代科学模拟软件包利用矩阵代数运算。在线性代数的运算中，最重要的核心之一就是矩阵的乘法运算，无论是稠密矩阵还是稀疏矩阵。这样的内核的应用示例是在电子结构计算、机器学习、数据采掘、图形处理和数字信号处理中。有几个优化的库可以在分布式系统上实现高性能。其中只有少数针对分布式GPU加速系统。在大多数情况下，这些库由系统供应商针对其特定计算机系统提供和优化。在本文中，我们提出了DBCSR库（分布式块压缩稀疏行）的分布式密集矩阵矩阵乘法。尽管该库是专门为块稀疏矩阵-矩阵乘法设计的，但我们针对GPU加速系统上的密集情况进行了优化。我们表明，DBCSR优于由供应商优化的GPU版本的ScaLAPACK库提供的不同大小和形状的矩阵的乘法高达2.5倍（平均1.4倍）。
2019-10-10 cs.DC cs.MS
Massively Parallel Open Modification Spectral Library Searching with Hyperdimensional Computing
通常用于蛋白质鉴定的质谱法产生大量光谱，需要与大型数据库进行匹配。事实上，由于意想不到的翻译后修饰，它们中的大多数仍然未被识别或错配。开放修正搜索（OMS）是一种通过考虑光谱中每一种可能的变化来提高识别率的策略，但它以指数方式扩展了搜索空间。在这项工作中，我们提出了HyperOMS，它重新设计了基于超维计算的OMS，以应对这些挑战。与用浮点数表示光谱数据的现有算法不同，HyperOMS用高维二进制向量编码光谱数据，并在高维空间中执行高效的OMS。HyperOMS具有大量的并行性和简单的布尔运算，可以在并行计算平台上高效地处理。实验结果表明，与最先进的基于GPU的OMS工具相比，基于GPU的HyperOMS的速度快于$17\times$，并且$6.4\times$的能效更高，同时提供与竞争搜索工具相当的搜索质量。
2022-12-31 cs.DC
PyParSVD: A streaming, distributed and randomized singular-value-decomposition library
我们介绍PyParSVD \footnote{https://github.com/Romit-Maulik/PyParSVD}，一个Python库，实现了一个流，分布式和随机算法的奇异值分解。为了证明其有效性，我们从科学数据中提取相干结构。此外，我们显示弱缩放评估高达256个节点的西塔机在阿贡领导计算设施，展示了潜在的大规模数据分析的实际数据集。
2021-08-19 cs.DC cs.MS physics.ao-ph
libhclooc: Software Library Facilitating Out-of-core Implementations of Accelerator Kernels on Hybrid Computing Platforms
图形处理单元（GPU）、英特尔至强融核协处理器（PHI）和现场可编程门阵列（FPGA）等硬件加速器现在普遍存在于超大规模高性能计算（HPC）、云和大数据平台中，以促进需要高能效的工作负载的执行。它们提供了独特的接口和编程模型，因此造成了一些限制，必须解决这些限制以促进大型工作负载的执行。没有一个库提供一个统一的接口，允许程序员编写可重用的数据并行内核的核外实现，这些内核可以在不同的主流加速器（如GPU、PHI和FPGA）上高效运行。我们在本文中解决了这一不足。我们提出了一个名为libhclooc的库，它提供了一个统一的接口，方便在三种不同的主流加速器（GPU，英特尔至强Phis，FPGA）上的数据并行内核的核外实现。我们使用libhclooc API实现了核外矩阵-矩阵乘法（MMOOC），并展示了其优于供应商实现的性能。我们发现，与Nvidia K40 c GPU，Nvidia P100 PCIe GPU和Intel Xeon Phi 3120 P的最新优化实现相比，它的最大开销分别为10%，4%和8%（由于抽象）。我们还表明，使用libhclooc API减少了75%的代码行数，从而大大提高了程序员的工作效率。
2018-08-15 cs.DC
Grove: a Separation-Logic Library for Verifying Distributed Systems (Extended Version)
Grove是一个用于验证分布式系统的并发分离逻辑库，首次支持基于时间的租约及其与重配置、崩溃恢复等的交互，并成功验证了高性能分布式键值存储GroveKV。
2023-09-14 cs.DC cs.LO
Distributed Multiscale Computing with MUSCLE 2, the Multiscale Coupling Library and Environment
我们提出了多尺度耦合库和环境：肌肉2。这个基于多尺度组件的执行环境具有简单易用的Java、C++、C、Python和Fortran API，与MPI、OpenMP和线程代码兼容。我们展示了它的本地和分布式计算的能力，并比较其性能的肌肉1，文件复制，MPI，MPWide，和GridFTP。MPI的本地吞吐量大约高出两倍，因此非常紧密耦合的代码应该使用MPI作为MUSCLE 2的单个子模型; GridFTP的分布式性能较低，特别是对于小消息。我们用MUSCLE 2测试了一个运河系统模型的性能，与MPI相比，它引入了小到5%的开销。
2013-11-22 cs.CE cs.DC cs.PF
BCL: A Cross-Platform Distributed Container Library
针对单边通信缺乏应用级库的问题，提出跨平台分布式容器库BCL，提供高性能数据结构，在隐藏底层细节的同时实现与手工优化代码媲美的性能。
2023-12-15 cs.DC
Advancing the distributed Multi-GPU ChASE library through algorithm optimization and NCCL library
本文通过重构内存布局、并行化、通信避免算法及 NCCL 替换 MPI 优化分布式多 GPU ChASE，使其可求解百万阶稠密 Hermitian 问题并扩展到 900 节点。
2023-09-27 cs.CE cs.DC
BLASX: A High Performance Level-3 BLAS Library for Heterogeneous Multi-GPU Computing
基本线性代数子程序（Basic Linear Algebra Subprograms，BLAS）是一组低级线性代数内核，广泛应用于深度学习和科学计算。新兴GPU架构带来的巨大而经济的计算能力推动了在多GPU系统上实现计算密集型3级BLAS的兴趣。在本文中，我们调查了现有的多GPU 3级BLAS，并提出1）问题，如不适当的负载均衡，低效的通信，GPU流级并发和数据缓存不足，阻碍了当前的实现充分利用异构计算资源; 2）和GPU间的对等（P2P）通信仍然没有探索。然后，我们提出BLASX：一个高度优化的多GPU 3级BLAS。我们采用了算法的概念，由瓦片处理矩阵瓦片作为基本的数据单元和瓦片上的操作作为基本任务。任务由一个动态异步运行时引导，它是缓存和位置感知的。BLASX下的通信成本变得微不足道，因为它完美地重叠了异步任务进程中跨多个流的通信和计算。它还通过提出一种创新的2级分层切片缓存，利用GPU间的P2P通信，将当前的切片缓存方案向前推进了一步。因此，BLASX在多GPU配置下可观察到线性加速;广泛的基准测试表明，BLASX始终优于相关的领先工业和学术项目，如cuBLAS-XT，SuperMatrix，MAGMA和PaRSEC。
2015-10-16 cs.DC
MPWide: a light-weight library for efficient message passing over wide area networks
我们提出了MPWide，一个轻量级的通信库，它允许有效的消息通过分布式网络。MPWide旨在连接在分布式（超级）计算资源上运行的应用程序，并为那些没有管理权限的人最大限度地提高广域网上的通信性能。它可用于在应用程序之间提供消息传递，移动文件，以及在客户端-服务器环境中建立非常快速的连接。MPWide已经被应用于在两个大陆上的多达四台超级计算机上进行分布式宇宙学模拟，并将两个不同的血流模拟耦合起来，形成一个多尺度模拟。
2013-12-03 cs.DC cs.NI
Distributed WWW Programming using (Ciao-)Prolog and the PiLLoW library
我们讨论了从实际的角度来看，一些问题涉及到分布式互联网和WWW应用程序使用LP/CLP系统。我们描述PiLLoW，一个公共领域的互联网和WWW编程库LP/CLP系统，我们设计，以简化编写此类应用程序的过程。PiLLoW提供了访问WWW上的文档和代码的工具;解析、操作和生成HTML和XML结构化文档和数据;生成HTML表单;编写表单处理程序和CGI脚本;以及处理HTML/XML模板。PiLLoW的一个重要贡献是将HTML/XML代码（以及WWW页面的内容）建模为术语。PiLLoW库是在Ciao Prolog系统的背景下开发的，但它已经适应了许多流行的LP/CLP系统，支持其大部分功能。我们还描述了使用并发性和客户端-服务器交互的高级模型，Ciao Prolog的活动模块，在WWW编程的背景下。我们提出了一个解决方案，客户端下载和执行的Prolog代码，使用通用浏览器。最后，我们还提供了一个概述的相关工作的主题。
2003-12-16 cs.DC cs.PL
A thread-safe Term Library
术语是计算中的基本数学概念之一。例如，每一个由上下文无关文法表征的表达式都是一个项。我们开发了一个线程安全的术语库。最大的挑战是实现超高效的多读/单写互斥，我们设计了新的繁忙禁止协议。模型检验用于证明协议和术语库的正确性。基准测试表明，与顺序版本相比，这个术语库的开销很小，并且在两个处理器上的性能已经超过了它们。在现有的状态空间生成工具中使用新的库，可以获得非常大的速度提升。
2022-08-12 cs.DC
iGateLink: A Gateway Library for Linking IoT, Edge, Fog and Cloud Computing Environments
近年来，物联网（IoT）越来越受欢迎，物联网网关扮演着越来越重要的角色，调解了大量异构物联网设备和云服务之间的交互。在本文中，我们介绍了iGateLink，这是一个开源的Android库，可以简化Android应用程序的开发，作为物联网设备和边缘/雾/云计算环境之间的网关。由于其可插拔的设计，提供与作为数据源或雾/云框架的许多设备的连接的模块可以很容易地重复用于不同的应用程序。在两个案例研究中使用iGateLink复制了医疗保健和图像处理领域的先前工作，与使用传统方法相比，该库被证明在适应不同场景和加速网关应用程序开发方面是有效的。
2019-11-16 cs.DC cs.SE eess.SP
Overcoming Latency-bound Limitations of Distributed Graph Algorithms using the HPX Runtime System
Louisiana State University（路易斯安那州立大学）；University of Washington（华盛顿大学）
本文利用HPX运行时系统开发了高效的分布式图算法原型，通过异步执行和细粒度并行性显著提升了性能，克服了传统框架的延迟限制。
2026-03-04 cs.DC
MXNet: A Flexible and Efficient Machine Learning Library for Heterogeneous Distributed Systems
U. Washington（华盛顿大学）；CMU（卡内基梅隆大学）；Stanford（斯坦福大学）；NUS（新加坡国立大学）；TuSimple（图森未来）；NYU（纽约大学）；Microsoft（微软）；U. Alberta（阿尔伯塔大学）；MIT（麻省理工学院）；NYU Shanghai（上海纽约大学）
MXNet是一个多语言机器学习（ML）库，用于简化ML算法的开发，特别是深度神经网络。嵌入在宿主语言中，它混合了声明性符号表达式和命令式张量计算。它提供自动微分来导出梯度。MXNet具有计算和内存效率，可在各种异构系统上运行，从移动设备到分布式GPU集群。本文描述了MXNet的API设计和系统实现，并解释了如何以统一的方式处理符号表达式和张量运算的嵌入。我们的初步实验表明，使用多个GPU机器的大规模深度神经网络应用程序的结果很有希望。
2015-12-03 cs.DC cs.LG cs.MS
Smart systems, the fourth industrial revolution and new challenges in distributed computing
智能系统和智能世界概念在第四次工业革命的框架内得到解决。分布式自主机器人和计算的新挑战。给出了一种新型的智能可重构分布式模块化机器人系统的实例。还提出了一个原型以及相关的分布式算法。
2019-04-08 cs.DC
LB4OMP: A Dynamic Load Balancing Library for Multithreaded Applications
本文提出开源动态负载均衡库 LB4OMP，集成文献中的循环调度算法，实验证明其优于 OpenMP 调度并能提升 MPI+OpenMP 百亿亿次应用性能。
2021-06-09 cs.DC
Survey of Distributed Decision
我们调查了最近的分布式计算文献检查是否一个给定的分布式系统配置满足一个给定的布尔谓词，即，无论配置是合法的还是非法的。这个谓词。我们考虑经典的分布式计算环境，包括大多数同步无故障网络计算（同步和CONGEST模型），但也有异步易崩溃的共享内存计算（WAIT-FREE模型），和移动计算（FSYNC模型）。
2017-09-20 cs.DC
A Primarily Survey on Energy Efficiency in Cloud and Distributed Computing Systems
降低硬件能耗的可行技术综述
2012-11-16 cs.DC
Enabling GPU Accelerated Computing in the SUNDIALS Time Integration Library
作为Exascale Computing Project（ECP）的一部分，非线性和差分/代数方程求解器套件（SUNDIALS）最近的开发重点是在极端尺度下的科学应用中实现GPU加速的时间积分。这一努力导致了几个新的GPU启用的实现核心SUNDIALS数据结构，支持编程范式，这是意识到异构体系结构，并引入实用程序，以提供新的灵活性点。在本文中，我们讨论了我们的考虑，内部和外部，当设计这些新功能，并提出自己的功能。我们还介绍了Summit超级计算机和Frontier超级计算机的抢先体验硬件上的几个功能的性能结果，这些结果表明，使用NVIDIA和AMD GPU时，额外的基础设施和显着的加速带来的性能开销可以忽略不计。
2021-12-08 cs.DC cs.MS
Prime Collective Communications Library -- Technical Report
本研究提出面向公网分布式ML的容错集合通信库PCCL，支持动态节点管理、高效广域网传输与低通信优化策略，兼容主流框架且开源。
2025-05-20 cs.DC
The Distributed Computing Paradigms: P2P, Grid, Cluster, Cloud, and Jungle
分布式计算是在多个系统上进行的，以解决大规模问题。发达国家和发展中国家高速宽带网络的发展、计算能力的不断提高以及互联网的迅速发展改变了这种方式。在信息技术中，社会管理信息和信息服务。从历史上看，计算的状态经历了一系列的平台和环境变化。分布式计算是有效利用计算机系统的重要保证。因此，超级计算机站点和数据中心已经从提供高性能浮点计算能力转变为同时服务来自数十亿用户的大量请求。分布式计算系统使用多台计算机通过互联网解决大规模问题。它变得数据密集型和以网络为中心。分布式计算的应用越来越广泛。在分布式计算中，大规模的资源共享是计算的重点，其目标总是追求最佳性能。在本文中，我们回顾了在分布式计算范例领域所做的工作。主要的重点是云计算的发展领域。
2013-11-13 cs.DC
Efficient HTTP based I/O on very large datasets for high performance computing with the libdavix library
在高性能计算中用于数据分析的远程数据访问通常使用专门的数据访问协议和存储系统来完成。这些协议针对超大数据集的高吞吐量、多数据流、高可用性、低延迟和高效并行I/O进行了高度优化。本文的目的是描述我们如何适应一个通用的协议，超文本传输协议（HTTP），使其成为一个有竞争力的替代高性能的I/O和数据分析应用程序在全球计算网格：全球大型强子对撞机计算网格。在这项工作中，我们首先分析了HTTP协议和最常见的高性能I/O协议之间的设计差异，指出HTTP的主要性能弱点。然后，我们详细描述了我们如何解决这些问题。我们的解决方案已经在一个名为davix的工具包中实现，该工具包可通过最近的几个Linux发行版获得。最后，我们描述了我们的基准测试的结果，我们比较了davix的性能与HPC特定协议的数据分析用例。
2014-10-15 cs.DC cs.PF
Task Scheduling in Geo-Distributed Computing: A Survey
本综述系统梳理了地理分布式计算中面向性能、公平与容错的任务调度方法，并指出关键挑战与未来方向。
2025-01-26 cs.DC
Analytical Study of Object Components for Distributed and Ubiquitous Computing Environment
分布式对象计算是一种范例，它允许对象分布在异构网络上，并允许每个组件作为一个统一的整体进行互操作。新一代的分布式应用，如远程医疗和电子商务应用，正在部署在异构和无处不在的计算环境。本文的目的是探讨一种基于构件的服务在普适计算环境中的适用性。虽然各种分布式对象组件的基本结构是相似的，但存在差异，这些差异可能会深刻影响应用程序开发人员或分布式仿真练习的管理员，并在普适计算环境中实现。
2011-02-17 cs.DC
RosneT: A Block Tensor Algebra Library for Out-of-Core Quantum Computing Simulation
随着更强大的量子计算机的出现，对更大的量子模拟的需求已经增加。随着资源量随着目标系统的规模呈指数级增长，张量网络作为一个最佳框架出现，我们用张量因子分解表示量子态。随着张量网络的范围增加，需要HPC工具进行操作的中间张量的大小也会增加。中型电路的模拟不能适合本地存储器，张量的分布式收缩的解决方案是稀缺的。在这项工作中，我们提出了RosnetT，一个分布式的，核心外块张量代数库。我们使用PyCOMPSs编程模型将张量操作转换为COMPSs运行时处理的任务集合，目标是在现有和即将推出的Exascale超级计算机中执行。我们报告的结果验证我们的方法显示良好的可扩展性，在高达53量子位的量子线路的模拟。
2022-01-17 cs.DC quant-ph
Stone Age Distributed Computing
传统的分布式计算模型主要集中在类似计算机的设备网络上，这些设备可以与它们的邻居交换大量消息并执行任意的本地计算。近来，存在将分布式计算方法应用于子微处理器设备的网络的趋势，例如，生物细胞网络或纳米器件网络。然而，传统的分布式计算模型对这些类型的网络的适用性是值得怀疑的：微小的生物/纳米节点“计算”和/或“通信”本质上与计算机相同吗？在本文中，我们介绍了一个新的模型，描述了一个网络的随机有限状态机在异步环境中运行。虽然在新的模型中的每个单独的设备的计算和通信能力，通过设计，比计算机弱得多，我们表明，一些最重要的和广泛研究的分布式计算问题仍然可以有效地解决。
2012-04-05 cs.DC
Agreement Functions for Distributed Computing Models
本文提出了一个令人惊讶的简单表征的一大类模型的分布式计算，通过一个协议功能：对于每一组的进程，功能确定的最佳水平的设置共识，这些进程可以达到。我们表明，任务的可计算性的一大类公平的对手，其中包括，特别是超集封闭和对称的，是精确捕获的协议功能。
2017-03-10 cs.DC
HTC Scientific Computing in a Distributed Cloud Environment
本文介绍了使用分布式云计算系统的高吞吐量计算（HTC）的科学应用。分布式云计算系统由在统一基础设施中使用的多个单独的云结构即服务（IaaS）云组成。分布式云已经在生产质量运行了两年，完成了大约500，000个作业，其中典型的工作负载有500个同时并行的作业，运行时间大约为12小时。我们审查的设计和实施的系统是基于预先存在的组件和一些自定义组件。我们讨论了该系统的操作，并描述了我们的计划扩展到更多的网站和增加计算能力。
2013-02-08 cs.DC
On Batch-Processing Based Coded Computing for Heterogeneous Distributed Computing Systems
近年来，编码分布式计算（CDC）由于能够有效地解决分布式计算系统中的延迟敏感计算问题而受到广泛关注。尽管有这样一个突出的特点，许多设计的挑战和机遇仍然存在。本文针对具有异构计算资源的实际计算系统，设计了一种新的基于批处理的编码计算（BPCC）方法。为此，我们首先描述了BPCC框架的主要思想，然后制定一个优化问题BPCC，以最大限度地减少任务完成时间，通过配置计算负载。通过正式的理论分析，广泛的仿真研究，并在亚马逊EC2计算集群上进行全面的真实实验，我们证明了所提出的BPCC方案在高计算效率和对不确定干扰的鲁棒性方面具有良好的性能。
2021-07-09 cs.DC
Distributed-Something: scripts to leverage AWS storage and computing for distributed workflows at scale
Distributed-Something 是一套开源脚本，利用 AWS 按需计算与存储协调任意 Docker 化工作流，突破本地资源限制实现大规模运行，并提供多个生物成像工具实现。
2023-01-24 cs.DC
An Initial Evaluation of Distributed Graph Algorithms using NWGraph and HPX
Louisiana State University（路易斯安那州立大学）
本文提出基于HPX的分布式图算法实现，评估BFS和PageRank性能，显示BFS优于BGL，但PageRank仍有优化空间。
2026-01-26 cs.DC
A Survey of Current Trends in Distributed, Grid and Cloud Computing
从20世纪90年代到2012年，互联网彻底改变了计算世界。在发展到分布式计算和进一步发展到网格计算之后，它开始了并行计算之旅。在目前的情况下，它创造了一个新的世界，被称为云计算[1]。这三个术语有不同的含义。云计算基于后向计算方案，如集群计算、分布式计算、网格计算和效用计算。云计算的基本概念是虚拟化。它为各种请求程序提供虚拟硬件和软件资源。本文对集群计算、网格计算和云计算进行了详细的介绍，并对它们的实现进行了分析。我们试图列出所有这些技术出现的灵感。我们还占一些目前的情况下的网格计算的故障，并讨论了新的云计算项目正在管理的印度政府的学习。本文还回顾了现有的工作，并涵盖（分析），在一定程度上，一些创新的想法，可以实施。
2013-08-08 cs.DC
A Survey of Coded Distributed Computing
分布式计算由于具有高可靠性、可扩展性、计算速度和成本效益等优点，已经成为大规模任务计算的常用方法。然而，分布式计算面临着与通信负载和离散效应相关的关键问题。特别地，计算节点需要彼此交换中间结果以便计算最终结果，并且这显著增加了通信开销。此外，分布式计算网络可以包括间歇性地运行得更慢的离散节点。这导致执行计算任务所需的总时间更长，从而限制了分布式计算的性能。为了解决这些问题，编码的分布式计算（CDC），即，编码理论技术和分布式计算的组合最近已被提出作为有希望的解决方案。编码理论技术已经证明在WiFi和蜂窝系统中有效地处理信道噪声。因此，CDC可以显著降低通信负载，减轻掉队者的影响，提供容错性、隐私性和安全性。在本调查中，我们首先介绍CDC的基本原理，然后是基本的CDC方案。然后，我们回顾和分析了一些CDC的方法，提出了减少通信成本，减轻掉队的影响，并保证隐私和安全。此外，我们提出并讨论了CDC在现代计算机网络中的应用。最后，我们强调了与疾病预防控制相关的重要挑战和有前途的研究方向
2020-08-20 cs.DC
Developing a High Performance Software Library with MPI and CUDA for Matrix Computations
如今，并行计算的范式正在发生变化。CUDA现在是GPU上通用计算的流行编程模型，大量应用程序被移植到CUDA，与优化的CPU实现相比，获得了数量级的加速。将消息传递模型与用于并行计算的共享内存模型相结合的混合方法是非常大型应用程序的解决方案。我们考虑了一个异构集群，它使用MPI和CUDA将CPU和GPU计算结合起来，以开发高性能线性代数库。我们的图书馆处理大型线性系统求解器，因为它们是科学和工程领域的常见问题。由于高存储器需求和计算成本，用于计算此类系统的解的直接方法可能非常昂贵。一种有效的替代方法是只计算解的近似值的迭代法。在本文中，我们提出了一个实现的库，使用MPI和CUDA实现直接和迭代线性系统求解器的混合计算模型。我们的库使用MPI/CUDA组合实现了基于LU和Cholesky分解的求解器和一些非平稳迭代法。我们比较了我们的MPI/CUDA实现的性能与经典的程序写在一个单一的CPU上运行。
2015-11-23 cs.DC cs.MS
FLUPS -- a flexible and performant massively parallel Fourier transform library
大规模并行傅立叶变换广泛应用于计算科学，特别是涉及无界泊松问题的计算流体动力学。在实践中，后者通常是最耗时的操作，因为其不可避免的所有对所有的通信模式。原始的flups库通过为无界泊松问题的连续解决方案量身定制的分布式傅立叶变换的实现来解决这个问题。然而，所提出的实现缺乏灵活性，因为它只支持以单元格为中心的数据布局，并具有一个普通的通信策略。这项工作沿着两个方向扩展了图书馆。首先，flups实现一般化，以支持以节点为中心的数据布局。其次，提供了三种不同的方法来处理通信：一种是所有对所有，两种是依赖于手动打包和MPI_Datatype通过网络进行通信的非阻塞实现。所提出的软件对无界，半无界和周期域的解析解进行了验证。的方法的性能进行比较，accFFT，另一个分布式FFT实现，使用周期性的情况下。最后，每个实现的性能指标进行了分析和详细的各种顶级欧洲设施高达49,152个核心。这项工作带来了一个完全生产就绪和高性能的分布式FFT库，具有所有可能类型的FFT和数据布局的灵活性。该代码可以在BSD-3许可证下在github.com/vortexlab-uclouvain/flups上获得。
2023-03-21 cs.DC physics.comp-ph
Akid: A Library for Neural Network Research and Production from a Dataism Approach
Chinese University of Hong Kong（香港中文大学）
神经网络是一种革命性但不成熟的技术，它正在快速发展，并严重依赖于数据。为了从最新的发展和新获得的数据中受益，我们希望研究和生产之间的差距尽可能小。另一方面，与传统的机器学习模型不同，神经网络不仅仅是另一种统计模型，而是一种自然处理引擎--大脑的模型。在这项工作中，我们描述了一个神经网络库命名为{ \texttt akid}。它在Tensorflow对信号（抽象为张量）进行抽象的基础上，为自然界中的实体（抽象为块）提供了更高层次的抽象，表征了自然界中所有实体以某种方式处理输入和发出的数据主义观察。它包括一个完整的软件栈，提供抽象，让研究人员专注于研究而不是实现，同时开发的程序也可以在分布式环境中无缝投入生产，并为生产做好准备。在应用程序堆栈的顶层，它为神经网络应用程序提供了开箱即用的工具。在底层，akid提供了一个编程范例，让用户可以轻松地构建自定义模型。分布式计算栈处理并发性和通信，因此允许模型被训练或部署到单个GPU、多个GPU或分布式环境，而不影响模型在编程范式栈中的指定方式。最后，分布式部署栈处理如何部署分布式计算，从而将研究原型环境与实际生产环境解耦，并且能够动态分配计算资源，从而可以分离开发（Devs）和操作（Ops）。有关文档，请参阅http://akid.readthedocs.io/en/latest/。
2017-01-03 cs.DC cs.LG
RapidOMS: FPGA-based Open Modification Spectral Library Searching with HD Computing
RapidOMS利用FPGA和超维计算实现开放修饰谱库搜索，相比CPU工具加速60倍，比GPU工具快2.72倍，能效提升11倍。
2024-09-20 cs.AR cs.DC
Graphyti: A Semi-External Memory Graph Library for FlashGraph
图形数据集超过了大多数独立机器的内存容量。传统上，图框架通过横向扩展、分布式计算克服了内存限制。新兴的框架避免了分布式数据的网络瓶颈，半外部存储器（SEM）使用单个多核节点并在大于内存的图形上操作。在SEM中，对于具有$n$顶点和$m$边的图，$\mathcal{O}(m)$数据驻留在磁盘上，而$\mathcal{O}(n)$数据驻留在内存中。对于开发人员来说，这增加了复杂性，因为他们必须在应用程序中显式编码I/O。我们提出的原则是至关重要的应用程序开发人员采用，以实现最先进的性能，同时最大限度地减少I/O和内存的算法在SEM。我们在Graphyti中展示了它们，Graphyti是一个构建在FlashGraph上的可扩展并行SEM图形库，可以通过pip在Python中使用。在SEM中，Graphyti实现了80%的内存执行性能，并保留了FlashGraph的性能，这优于分布式引擎，如PowerGraph和Galois。
2019-07-07 cs.DB cs.DC
From Distributed Quantum Computing to Quantum Internet Computing: an Overview
量子计算的可能性在几十年前就被提出了，至少可以追溯到20世纪80年代，分布式量子计算在大约20年前就被研究过。最近，量子计算机硬件和量子网络在实验上取得了成功和进步，导致了量子互联网。本文概述了二十多年前分布式量子计算的概念和思想，以及最近在该领域的努力，并考虑随着量子互联网的发展，分布式量子计算如何演变为量子互联网计算。
2022-08-24 cs.DC cs.ET
Orbax: Distributed Checkpointing with JAX
Google, Mountain View, USA（谷歌，美国山景城）；Google DeepMind, Mountain View, USA（谷歌深Mind，美国山景城）；Google DeepMind, London, UK（谷歌深Mind，英国伦敦）
本文提出Orbax，一个模块化的JAX原生检查点库，通过抽象分布式加速器系统的复杂性并提供灵活的用户友好检查点操作，在保存和加载性能上分别比PyTorch竞品快3.5倍和2倍。
2026-05-26 cs.DC cs.LG
Task-based, GPU-accelerated and Robust Library for Solving Dense Nonsymmetric Eigenvalue Problems
在本文中，我们提出了StarNEig库求解稠密非对称的标准和广义特征值问题。该库构建在StarPU运行时系统之上，面向共享和分布式内存机器。该库的某些组件支持GPU加速。该库目前处于早期beta状态，仅支持实数矩阵。计划在未来版本中支持复杂矩阵。这篇论文是针对图书馆的潜在用户的。我们描述了库的设计选择和功能，并将其与ScaLAPACK等现有软件进行对比。StarNEig实现了ScaLAPACK兼容层，可以帮助新用户过渡到StarNEig。我们展示了一个计算实验的样本库的性能。
2020-02-12 cs.DC cs.MS
JBotSim, a Tool for Fast Prototyping of Distributed Algorithms in Dynamic Networks
JBotSim是一个Java库，它为动态网络中的分布式算法的原型设计、运行和可视化提供了基本的原语。有了JBotSim，人们可以在几分钟内实现一个想法，并在它运行时与它进行交互（例如{ \it}，添加，移动或删除节点）。JBotSim非常适合为同事或学生准备算法的现场演示;它也可以用于评估算法级别的性能（消息数量，回合数等）。与大多数工具不同，JBotSim不是一个集成环境。它是一个轻量级的库，可以在你的程序中使用。在本文中，我们提出了一个概述其鲜明的特点和架构。
2019-09-25 cs.DC cs.MS cs.NI
SoK: Distributed Computing in ICN
本文系统综述了ICN中分布式计算的设计原则、框架、协议、使能技术与应用，分析传统分布式计算的痛点及ICN优势，并展望未来研究方向。
2023-09-16 cs.DC cs.NI
The Rise of Quantum Internet Computing
本文强调量子互联网计算是指量子互联网上的分布式量子计算，类似于（经典）互联网计算，涉及（经典）互联网上的（经典）分布式计算。与量子互联网计算相关的研究领域包括使用量子信息进行计算的分布式节点的量子协议、量子云计算、委托可验证的盲计算或私有计算、非本地门以及互联网规模距离上的分布式量子应用。
2022-08-01 cs.DC cs.ET
Distributed NLP
Firat University（菲拉特大学）
在本文中，我们提出了并行文本处理与地图减少云平台上的性能。土耳其语的科学论文使用Zemerek NLP库进行处理。在Hadoop集群上进行了实验，并与单机性能进行了比较。
2018-02-10 cs.CL cs.DC
The Distributed Computing Model Based on The Capabilities of The Internet
论文从理论和实践两个方面介绍了所提出的利用分布式计算进行全球网络互联网通信的模型。分布式计算被广泛应用于现代解决方案中，如研究，其中要求非常高的处理能力，这不能放在一个集中的点。提出的解决方案是基于开放的技术和计算机来执行主要由互联网用户谁是志愿者提供的计算。
2012-10-04 cs.DC cs.NI
Distributed Computing Economics
计算机经济正在发生变化。今天，（1）一次数据库访问，（2）10字节的网络流量，（3）100，000条指令，（4）10字节的磁盘存储，（5）一兆字节的磁盘带宽之间的价格大致相当。这对如何构建互联网规模的分布式计算有影响：为了避免昂贵的网络流量，计算尽可能接近数据。
2004-03-12 cs.DC cs.NI
On Distributed Quantum Computing with Distributed Fan-Out Operations
School of Information Technology, Deakin University（迪肯大学信息技术学院）
本文提出通过分布式扇出操作实现分布式量子计算，以减少电路深度和纠缠资源消耗。
2026-01-21 cs.DC quant-ph
Introduction to StarNEig -- A Task-based Library for Solving Nonsymmetric Eigenvalue Problems
在本文中，我们提出了StarNEig库求解稠密非对称（广义）特征值问题。该库构建在StarPU运行时系统之上，面向共享和分布式内存机器。库的某些组件支持GPU。该库目前处于早期beta状态，仅支持实数运算。计划在未来版本中支持复杂数据类型。这篇文章是针对图书馆的潜在用户的。我们描述了库的设计选择和功能，并将其与ScaLAPACK等现有软件进行对比。StarNEig实现了一个ScaLAPACK兼容层，可以让新用户轻松过渡到StarNEig。我们证明了一个小的计算实验的图书馆的性能。
2019-05-13 cs.DC cs.MS
