Scheduling Data-Intensive Workloads in Large-Scale Distributed Systems: Trends and Challenges
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
该研究针对大数据背景下数据密集型工作负载的调度挑战,提出了负载分类方法,梳理了大规模分布式系统中的常用调度策略与新型方案,并指明了开放挑战与未来方向。
2025-10-29 cs.DC
Data Intensive High Energy Physics Analysis in a Distributed Cloud
我们表明,分布式的云结构即服务(IaaS)计算云可以有效地用于高能物理数据的分析。我们设计了一个分布式云系统,它可以与任何使用大型输入数据集的应用程序一起工作,这些应用程序需要高吞吐量的计算环境。该系统使用加拿大和美国的基于IaaS的科学和商业集群。我们描述的过程中,用户准备的分析虚拟机(VM)和提交批处理作业的中央调度程序。系统在其中一个IaaS云上引导用户特定的VM,运行作业并将输出返回给用户。用户应用程序在执行应用程序期间访问中央数据库以获得校准数据。类似地,数据位于中央位置,并由正在运行的应用程序进行流式传输。该系统可以很容易地以有效的方式同时运行一百个作业,并且应该扩展到数百甚至数千个用户作业。
2011-01-01 cs.DC
A Primarily Survey on Energy Efficiency in Cloud and Distributed Computing Systems
降低硬件能耗的可行技术综述
2012-11-16 cs.DC
Survey of Distributed Decision
我们调查了最近的分布式计算文献检查是否一个给定的分布式系统配置满足一个给定的布尔谓词,即,无论配置是合法的还是非法的。这个谓词。我们考虑经典的分布式计算环境,包括大多数同步无故障网络计算(同步和CONGEST模型),但也有异步易崩溃的共享内存计算(WAIT-FREE模型),和移动计算(FSYNC模型)。
2017-09-20 cs.DC
A Survey on Geographically Distributed Big-Data Processing using MapReduce
Hadoop和Spark是广泛使用的分布式处理框架,用于在私有云或公共云上以高效和容错的方式进行大规模数据处理。这些大数据处理系统被许多行业广泛使用,例如,谷歌、Facebook和亚马逊,用于解决一大类问题,例如,搜索、聚类、日志分析、不同类型的连接操作、矩阵乘法、模式匹配和社会网络分析。然而,所有这些流行的系统在本地分布式计算方面都有一个主要缺点,这阻止了它们实现地理上分布式的数据处理。越来越多的地理分布的海量数据正在推动行业和学术界重新思考当前的大数据处理系统。这些新框架将超越当前系统所涉及的最先进的架构和技术,预计将在其位置处理地理上分布的数据,而无需将整个原始数据集移动到单个位置。在本文中,我们调查和讨论的挑战和要求,在设计地理分布的数据处理框架和协议。我们分类和研究批处理(基于MapReduce的系统),流处理(基于Spark的系统),SQL风格的处理地理分布的框架,模型和算法,其开销问题。
2017-07-06 cs.DB cs.DC
A Survey on Fault-tolerance in Distributed Optimization and Machine Learning
分布式优化的鲁棒性是一个新兴的研究领域,其动机是分布式优化的各种应用,包括分布式机器学习、分布式传感和群机器人。随着分布式系统规模的迅速扩大,需要有弹性的分布式优化算法,以缓解系统故障、通信问题甚至恶意攻击。本文综述了分布式优化中的容错研究现状,旨在对容错分布式优化理论和算法的研究现状进行综述。
2021-06-27 cs.DC
A Multi-Port Concurrent Communication Model for handling Compute Intensive Tasks on Distributed Satellite System Constellations
National University of Singapore(新加坡国立大学)
本文提出了一种多端口并发通信可分负载理论框架,用于处理分布式卫星系统中的计算密集型任务,通过优化负载分配和完成时间,实现任务调度与系统设计的理论分析。
2026-03-25 cs.DC cs.PF
FBase: A Replication Service for Data-Intensive Fog Applications
雾计算范式中边缘和云的结合实现了新一代数据密集型应用。然而,这些应用程序必须面对许多特定于雾的挑战,开发人员必须为每个应用程序重复解决这些挑战。在本文中,我们提出了一个复制服务,专门针对数据密集型雾应用程序的需求,旨在缓解或消除高度分布式和异构环境雾应用程序运行所带来的挑战。此外,我们提出了我们的原型概念验证实现FBase,我们已经作为开源。
2020-01-29 cs.DC
A Comparative Study of Association Rule Mining Algorithms on Grid and Cloud Platform
关联规则挖掘是一个耗时的过程,由于涉及到数据密集型和计算密集型的性质。为了挖掘大数据量的序列关联规则,并提高现有算法的可扩展性和性能,并行和分布式算法被开发出来。这些传统的并行和分布式算法都是基于同构平台的,对于网格和云等异构平台来说并不有利可图。这就需要设计新的算法来解决异构系统中数据集的划分和分布、负载均衡策略、处理器间通信和同步技术的优化等问题。网格和云计算是新兴的分布式数据处理平台,各种关联规则挖掘算法在这些平台上被提出。这篇综述文章将分布式系统的简要架构方面,基于网格和基于云的关联规则挖掘算法的各种最新方法与比较感知相结合。我们区分这些架构上开发的数据局部性,编程范式,容错,通信成本,分区和分布的数据集的基础上的关联规则挖掘算法的方法。虽然它不是完整的,以涵盖所有的算法,但它可以是非常有用的新的研究人员在分布式关联规则挖掘算法的方向工作。
2017-09-22 cs.DB cs.DC
Cache-based Multi-query Optimization for Data-intensive Scalable Computing Frameworks
在现代大规模分布式系统中,不同用户提交的分析作业通常共享类似的工作,例如扫描和处理相同的数据子集。多查询优化技术可以节省大量的集群资源,而不是单独优化作业,这可能会导致冗余和浪费的处理。在这项工作中,我们介绍了一种新的方法相结合的内存缓存原语和多查询优化,以提高数据密集型,可扩展的计算框架的效率。通过仔细选择和利用共同(子)表达式,同时满足内存限制,我们的方法将一批查询转换成一个新的,更有效的,避免不必要的重新计算。为了找到可行和有效的执行计划,我们的方法使用了基于成本的优化配方类似于多选择背包问题。在我们的系统的原型实现上进行的大量实验表明,工作共享对于TPC-DS工作负载和详细的微基准测试都有显着的好处。
2018-05-22 cs.DB cs.DC
Toward Real-time Analysis of Experimental Science Workloads on Geographically Distributed Supercomputers
科学基础设施的大规模升级正在推动数据速度的上升,同时刺激采用越来越多的数据密集型分析。虽然下一代百亿亿次超级计算机承诺为I/O密集型工作流提供强有力的支持,但HPC在很大程度上仍未被现场实验所利用,因为在面对稀缺的仪器时间时,数据传输和不同的批处理策略是禁止的。为了弥合这一鸿沟,我们引入了Balsam:一个分布式编排平台,使边缘工作流能够安全有效地触发用户管理的HPC执行站点联合会的分析任务。我们描述的香脂服务,它提供了一个工作流管理API的体系结构,和分布式站点,提供资源和调度可扩展的,容错的执行。我们展示了Balsam如何有效地将两个DOE光源的实时的【形】分析同时扩展到三台超级计算机(Theta,Summit和Cori)上,同时保持按需计算的低开销,并提供Python库与现有的数据分析工具生态系统无缝集成。
2021-07-02 cs.DC
Dynamic Coded Distributed Convolution for UAV-based Networked Airborne Computing
单个无人机(UAV)具有有限的计算资源和电池容量,使得难以处理计算密集型任务,例如许多深度学习应用中的卷积运算。基于无人机的网络化机载计算(NAC)是一种很有前途的技术,以解决这一挑战。它允许一定范围内的无人机通过无人机到无人机的通信链路相互共享资源,并以协作方式执行计算密集型任务。本文研究了NAC架构上的向量卷积问题。针对基于无人机的NAC的节点异构性、频繁变化的网络类型、时变的通信和计算资源等特点,提出了一种具有隐私感知的动态编码卷积策略。仿真结果表明了该算法的高效性和对不确定离散系统的适应能力。
2022-02-24 cs.DC
G-thinker: Big Graph Mining Made Easier and Faster
本文提出了一种用于计算密集型图挖掘任务的通用系统,该任务从大图中找到满足某些要求的所有子图(例如,图匹配和社区发现)。由于此类任务的广泛应用,许多单线程算法被提出。然而,诸如在线社交网络和知识图谱之类的图通常具有数十亿个顶点和边,其需要分布式处理以便缩放。不幸的是,现有的分布式图处理系统,如Pregel和GraphLab是为数据密集型分析设计的,并且对于计算密集型图挖掘任务是低效的,因为对任何数据的计算都与涉及网络传输的数据访问相耦合。我们提出了一个分布式图挖掘框架,称为G-thinker,这是专为计算密集型图挖掘工作负载。G-thinker提供了一个直观的图形探索API,用于方便地实现各种图形挖掘算法,运行时引擎提供了有限的内存消耗,轻网络通信以及计算和通信之间的并行性的高效执行。进行了大量的实验,结果表明,G-thinker比现有的解决方案快几个数量级,并且在相同的硬件资源下,可以扩展到两个数量级以上的图形。
2017-09-10 cs.DC
Learning to Schedule: A Supervised Learning Framework for Network-Aware Scheduling of Data-Intensive Workloads
Tennessee Technological University(田纳西理工大学)
本文提出了一种基于监督学习的网络感知任务调度框架,通过预测任务完成时间来提高数据密集型任务在多站点集群中的调度准确性。
2025-10-24 cs.DC
Reactive Liquid: Optimized Liquid Architecture for Elastic and Resilient Distributed Data Processing
当今最著名的IT公司都建立在从数据中提取洞察力的基础上,数据处理在数据密集型业务中变得至关重要。尽管如此,需要处理的数据量正在显着快速增长。数据增长的速度改变了数据处理的性质。今天,数据密集型行业需要高度可扩展和容错的数据处理架构,可以处理大量的数据。本文提出了一种基于Liquid的分布式弹性数据处理架构,该架构是一种近线和离线的大数据架构。我们使用响应式宣言来设计对工作负载变化和故障高度响应的架构。我们评估我们的架构,通过绘制我们的架构原型和液体原型之间的一些数值比较。所执行的评估表明,与Liquid架构相比,我们的架构可以更好地应对工作负载并更好地应对故障。
2019-02-15 cs.DC
A Survey of Distributed Message Broker Queues
本文综述了当今流行的分布式通信消息代理。其主要目标是促进无单点故障的分散式拓扑结构的构建,从而实现容错和高可用性。这些特性使它们最适合在分布式体系结构中使用。然而,有多个协议可以实现这一目标,并且在它们的功能和性能之间进行经验比较以确定它们在现实世界中的适用性将是有益的。本文重点介绍了两种流行的协议(Kafka和AMQP),并探讨了它们在不同测试工作负载下的特性和性能差异。
2017-04-03 cs.DC
Parallel and Distributed Collaborative Filtering: A Survey
协同过滤是实现推荐系统时最优选的技术之一。最近,极大的兴趣已经转向并行和分布式实现的协同过滤算法。这项工作是一个调查的并行和分布式协同过滤的实现,旨在不仅提供一个全面的介绍该领域的发展,但也提供了未来的研究方向,突出的问题,需要进一步发展。
2014-09-09 cs.DC cs.IR
The Problem of Distributed Consensus: A Survey
综述了分布式共识问题的解决方法,特别关注基于元胞自动机和相关系统的方法。各种新的结果,以及该领域的历史和广泛的参考书目。分布式共识在新一代区块链相关系统中具有现实意义。
2021-06-24 cs.DC cs.DM nlin.CG
Survey on the Event Orderings Semantics Used for Distributed System
分布式系统中的事件排序是一个备受争议的前沿课题,尤其是随着多媒体同步的出现。根据文献,不同类型的事件排序用于不同的DS模式,例如异步或同步。最近,有几个新的实现这些类型的介绍,以满足需求,建立一定的秩序,根据一个特定的标准,在DS具有较轻的复杂性。
2010-06-07 cs.DC
Distributed Least-Squares Iterative Methods in Networks: A Survey
许多科学和工程应用都涉及到求解由现场测量形成的线性最小二乘系统。在分布式信息物理系统(CPS)中,用于测量的每个传感器节点往往只知道最小二乘系统的部分独立行。为了计算最小二乘解,他们需要在一个集中的位置收集所有这些测量值,然后计算解。这些数据汇集和计算由于带宽和时间限制而效率低下,并且有时由于数据隐私问题而不可行。因此,分布式计算在许多现实世界的应用中是强烈优选或需要的,例如:智能电网、目标跟踪等。为了计算线性方程的大型稀疏系统的最小二乘,迭代法是自然的候选者,并且有很多关于这一点的研究,然而,它们中的大多数与集中式/并行计算的效率有关,而只有少数明确地与分布式计算有关,或者具有应用于分布式网络的潜力。本文综述了几个研究团体中有代表性的迭代法。其中一些最初并不是为这种需求而设计的,所以我们稍微修改了它们以适应我们的要求并保持一致性。在本文中,我们首先勾勒出算法的框架,然后分析其完成时间和通信成本。据我们所知,这是分布式网络中的分布式最小二乘的第一次调查。
2017-06-21 cs.DC
A Survey of Distributed Graph Algorithms on Massive Graphs
本文综述大规模图分布式处理的并行性、负载均衡、通信开销与带宽等挑战,梳理现有通用解决方案及最新论文策略,并展望研究趋势。
2024-10-28 cs.DC
A Survey of Distributed Ledger Technology for IoT Verticals
物联网(IoT)和分布式账本技术(DLT)显著改变了我们的日常生活。由于它们的分布式操作环境和自然分散的应用程序,这两种技术的融合表明未来会有更奢华的安排。本文开展了一项全面的调查,以调查和说明各种物联网用例的最新DLT,从灵巧家庭到自动驾驶汽车和智能城市。我们开发了一个新的框架,通过扩展知识图谱方法,对物联网上的DLT进行系统和全面的审查。通过此次审查的相关见解,我们提取了创新和实用的DLT设计技术,以实现高性能,可持续和高度可扩展的物联网系统。我们的研究结果支持为未来设计一个端到端的物联网原生DLT架构,以充分协调网络辅助功能。
2022-08-22 cs.CR cs.DB cs.DC
Task Scheduling in Geo-Distributed Computing: A Survey
本综述系统梳理了地理分布式计算中面向性能、公平与容错的任务调度方法,并指出关键挑战与未来方向。
2025-01-26 cs.DC
Survey of Major Load Balancing Algorithms in Distributed System
对分布式系统(包括云技术、集群系统、网格系统)中最常用的负载均衡算法进行了分类。按照分类对负载均衡算法的类型进行了比较分析,指出了每类算法的优点和缺点。每个算法的性能指标进行了说明。
2019-04-11 cs.DC cs.NI
Container Resource Allocation versus Performance of Data-intensive Applications on Different Cloud Servers
本研究通过实验比较Intel和AMD服务器上容器化数据密集型应用的性能,发现核心分配需避免缓存争用,多余内存无益,多容器引发争用,分布式缓存和高速总线利于多容器部署。
2023-11-14 cs.DC
Distributed Compilation System for High-Speed Software Build Processes
由于计算机使用的普遍化和云计算,个人计算机的空闲时间稳步增加。集群研究的目的是利用空闲的计算机资源来处理大量计算机上的可变工作负载。尽管各个计算机资源的状态不稳定,但仍会持续处理工作负载。本文提出了一个分布式编译系统,以提高CPU密集型软件编译的处理速度。这通过使用空闲资源显著减少了大量源的编译时间。与非分布式编译系统相比,我们预计收益高达65%。
2021-01-21 cs.DC
A Survey of Coded Distributed Computing
分布式计算由于具有高可靠性、可扩展性、计算速度和成本效益等优点,已经成为大规模任务计算的常用方法。然而,分布式计算面临着与通信负载和离散效应相关的关键问题。特别地,计算节点需要彼此交换中间结果以便计算最终结果,并且这显著增加了通信开销。此外,分布式计算网络可以包括间歇性地运行得更慢的离散节点。这导致执行计算任务所需的总时间更长,从而限制了分布式计算的性能。为了解决这些问题,编码的分布式计算(CDC),即,编码理论技术和分布式计算的组合最近已被提出作为有希望的解决方案。编码理论技术已经证明在WiFi和蜂窝系统中有效地处理信道噪声。因此,CDC可以显著降低通信负载,减轻掉队者的影响,提供容错性、隐私性和安全性。在本调查中,我们首先介绍CDC的基本原理,然后是基本的CDC方案。然后,我们回顾和分析了一些CDC的方法,提出了减少通信成本,减轻掉队的影响,并保证隐私和安全。此外,我们提出并讨论了CDC在现代计算机网络中的应用。最后,我们强调了与疾病预防控制相关的重要挑战和有前途的研究方向
2020-08-20 cs.DC
Consistency models in distributed systems: A survey on definitions, disciplines, challenges and applications
复制机制解决了大数据的一些挑战,如数据持久性,数据访问和容错。然而,复制本身产生了另一个挑战,即分布式系统中的一致性。可伸缩性和可用性是分布式系统中复制所依据的具有挑战性的标准,而分布式系统本身需要一致性。分布式计算系统中的一致性问题已经在三个不同的应用领域得到了应用,如系统体系结构、分布式数据库和分布式系统。一致性模型根据其适用性可从强到弱排序。我们的目标是提出一个新的观点,不同的一致性模型在分布式系统中使用。本研究提出两种不同类别的一致性模型。最初,一致性模型被分为三组:以数据为中心的模型、以客户端为中心的模型和混合模型。每一个,然后分为三个子类的传统,扩展,和新颖的一致性模型。因此,概念和过程用数学术语表示,引入这些术语是为了在没有实现的情况下呈现我们的模型的行为。此外,我们还调查了一致性方面的不同挑战,即,可用性、可伸缩性、安全性、容错、延迟、违规和陈旧,其中后两个,即违规和陈旧,在一致性和权衡平衡方面起着最关键的作用。最后,研究了每种一致性模型的贡献程度以及分布式系统中对它们的需求。
2019-02-08 cs.DC
No Peek: A Survey of private distributed deep learning
Massachusetts Institute of Technology(麻省理工学院)
我们调查分布式深度学习模型,以进行训练或推理,而无需访问来自客户端的原始数据。这些方法旨在保护数据中的机密模式,同时仍然允许服务器训练模型。比较了联邦学习、分裂学习和大批量随机梯度下降的分布式深度学习方法,以及神经网络背景下的差分隐私、同态加密、不经意传输和乱码电路的隐私和安全方法。我们研究了它们在计算资源、数据泄漏和通信效率方面的优势、局限性和权衡,并分享了我们预期的未来趋势。
2018-12-08 cs.DC cs.LG stat.ML
How to Evaluate Distributed Coordination Systems? -- A Survey and Analysis
IBM Research(IBM研究院);University at Buffalo(布法罗大学);University of New Hampshire(新罕布什尔大学);Microsoft(微软)
本文综述并分析分布式协调系统的评估机制,指出现有基准的不足,并提出评估性能、可扩展性、可用性和一致性的关键指标与参数需求。
2025-10-27 cs.DC
Efficient Training of Large Language Models on Distributed Infrastructures: A Survey
本综述探讨了分布式基础设施上大型语言模型(LLMs)训练的最新进展,涵盖AI加速器、并行策略、计算通信内存优化及系统可靠性,并指出光计算等创新方案的需求。
2024-07-29 cs.DC
From Distributed Machine Learning to Federated Learning: A Survey
Baidu Inc.(百度公司);Auburn University(奥本大学);University of Oregon(俄勒冈大学)
近年来,数据和计算资源通常分布在终端用户、各个区域或组织的设备中。由于法律或法规的限制,分布式数据和计算资源不能在不同地区或组织之间直接共享,以执行机器学习任务。联邦学习是一种利用分布式数据和计算资源的有效方法,可以协同训练机器学习模型,同时遵守法律法规,确保数据安全和数据隐私。在本文中,我们提供了一个全面的调查现有的工作联邦学习。我们提出了一个功能架构的联邦学习系统和相关技术的分类。此外,我们提出了分布式训练,数据通信,FL系统的安全性。最后,我们分析了它们的局限性,并提出了未来的研究方向。
2022-03-25 cs.AI cs.DC cs.LG
Triangular Dynamic Architecture for Distributed Computing in a LAN Environment
一个计算密集型的大型作业,粒度并发件和在动态环境中运行,应该减少总的处理时间。然而,在网络环境中分配作业是一项繁琐而困难的任务。基于三角动态体系结构的局域网作业分配是一种建立动态环境的机制,它以最少的用户交互为作业分配、负载均衡和分布式处理提供一个动态环境。本文介绍了TDA,讨论了它的体系结构,并显示了在分布式计算环境中利用这种体系结构所获得的好处。
2011-03-29 cs.DC
ScaleAcross: Designing Multi-Data-Center Infrastructure for Geo-Distributed AI Training
Indian Institute of Technology Indore(印度印多尔理工学院);Indian Institute of Technology Jodhpur(印度焦特布尔理工学院)
本文提出一个基于EVPN-VXLAN的可扩展仿真框架,用于研究地理分布式AI训练中的同步密集型通信和跨站点数据交换问题,通过ECMP、BFD和队列对感知流量分配机制提升性能。
2026-06-12 cs.DC cs.ET cs.NI
Communication optimization strategies for distributed deep neural network training: A survey
National University of Defense Technology(国防科技大学)
高性能计算和深度学习的最新趋势导致了大规模深度神经网络训练研究的激增。然而,计算节点之间频繁的通信需求大大降低了整体训练速度,这导致了分布式训练的瓶颈,特别是在网络带宽有限的集群中。为了减轻分布式通信的缺点,研究人员提出了各种优化策略。在本文中,我们提供了一个全面的调查,从算法的观点和计算机网络的角度来看,通信策略。算法优化侧重于减少分布式训练中使用的通信量,而网络优化则侧重于加速分布式设备之间的通信。在算法层面,我们描述了如何减少通信轮数和每轮传输的比特数。此外,我们阐明了如何重叠计算和通信。在网络层次,我们讨论了网络基础设施,包括逻辑通信方案和网络协议所造成的影响。最后,我们推断了未来潜在的挑战和新的研究方向,以加速分布式深度神经网络训练的通信。
2020-11-23 cs.DC cs.LG
Thinking Like a Vertex: a Survey of Vertex-Centric Frameworks for Distributed Graph Processing
顶点为中心的编程模型是一种已建立的计算范例,最近被纳入分布式处理框架,以解决大规模图形处理中的挑战。超过标准机器内存容量的十亿节点图并不能很好地得到流行的大数据工具(如MapReduce)的支持,这些工具对于PageRank等迭代图算法来说性能很差。作为回应,一种新型的框架向像顶点一样思考(TLAV)提出了挑战,并从顶点而不是图的角度实现了用户定义的程序。这种方法提高了局部性,证明了线性可伸缩性,并提供了一种自然的方式来表达和计算许多迭代图算法。这些框架易于编程,适用范围广泛,但与操作系统一样,由几个复杂的、相互依赖的组件组成,为了在规模上获得最佳性能,有必要对这些组件进行透彻的理解。为此,TLAV框架的第一次全面调查。本文综述了以顶点为中心的图处理方法,将TLAV框架分解为四个主要组成部分并分别进行了分析,对TLAV实现进行了回顾和分类。
2015-07-15 cs.DC
A Survey of ADMM Variants for Distributed Optimization: Problems, Algorithms and Features
通过协调终端智能设备或微处理器参与协同计算以实现系统级目标,分布式优化越来越受到工程和计算机科学的青睐。乘子交替方向法(ADMM)具有模块化结构、收敛性好、易于实现和灵活性高等优点,已成为分布式优化中最受欢迎的工具之一。在过去的十年中,ADMM经历了广泛的发展。这些发展既表现在处理了更普遍的问题,也表现在使执行工作更加有效。具体地,该方法已经被推广到广泛的问题类别(即,多块、耦合目标、非凸等)。此外,它已被广泛加强更有效的实施,如提高收敛速度,更容易的子问题,更高的计算效率,灵活的通信,与不准确的信息兼容,强大的通信延迟等,这些发展导致了大量的ADMM的变种庆祝广泛的领域,从智能电网,智能建筑,无线通信,机器学习和超越。然而,缺乏一项调查来记录这些事态发展并查明结果。为了实现这一目标,本文提供了一个全面的调查ADMM变种。特别是,我们识别的五个主要类别的问题,一直最关心的和讨论相关的ADMM变体的主要思想,主要假设,收敛行为和主要特征。此外,我们指出了几个重要的未来研究方向要解决。这项调查预计将作为一个教程,在广泛的领域开发分布式优化,并确定现有的理论研究差距。
2022-08-23 cs.DC
A Survey of End-to-End Modeling for Distributed DNN Training: Workloads, Simulators, and TCO
本文综述分布式 DNN 训练模拟器,从工作负载表示、仿真基础设施和含碳排放的 TCO 模型三维度比较现有工具,并指出趋势、局限与研究挑战。
2025-06-10 cs.DC
Distributed Data Stream Processing and Edge Computing: A Survey on Resource Elasticity and Future Directions
在一些新兴的应用场景下,例如在智慧城市、大型基础设施的运营监控、可穿戴辅助和物联网中,必须在非常短的延迟下处理连续的数据流。已经开发了包括多个软件引擎的若干解决方案,用于以可扩展且高效的方式处理无界数据流。最近,已经提出了使用边缘计算进行数据流处理的架构。本文综述了流处理引擎和流处理机制的最新发展,以利用流处理中云计算的资源弹性特性。资源弹性允许应用程序或服务根据波动的需求向外扩展/向内扩展。虽然这些功能已被广泛研究的企业应用程序,流处理提出了挑战,实现弹性系统,可以根据当前的负载,有效的资源管理决策。在包含边缘和云计算资源的高度分布式环境中,弹性变得更具挑战性。这项工作探讨了其中一些挑战,并讨论了文献中提出的解决方案,以解决这些问题。
2017-12-02 cs.DC
Methods and Experiences for Developing Abstractions for Data-intensive, Scientific Applications
为需要集成各种类型的计算、仪器和数据的科学应用开发软件提出了与商业软件不同的挑战。这些应用程序需要规模,并需要将各种编程和计算模型与不断发展的异构基础设施集成在一起。因此,分布式基础设施的普遍和有效的抽象是至关重要的,然而,科学应用和基础设施的抽象开发过程并没有得到很好的理解。虽然基于理论的系统开发方法适用于定义良好的封闭环境,但它们在为科学系统和应用程序设计抽象方面有严重的局限性。设计科学研究(DSR)方法为设计能够在各个层面处理现实世界复杂性的实用系统提供了基础。与以理论为中心的方法相比,DSR通过构建和严格评估所有工件来强调实践相关性和知识创造。我们展示了DSR如何提供一个定义良好的框架,为分布式系统开发抽象和中间件系统。具体来说,我们解决的关键问题,分布式资源管理异构基础设施的动态范围内的规模,目前限制了许多科学应用的挑战。我们使用的试点抽象,广泛使用的资源管理抽象的高性能,高吞吐量,大数据和流应用程序,作为一个案例研究评估DSR活动。为此,我们分析了研究过程中产生的文物的设计和评估的试点抽象。我们发现DSR为迭代设计和评估系统提供了一个简洁的框架。最后,我们总结经验,总结不同的教训。
2020-03-25 cs.DC cs.SE
Distributed computing of Seismic Imaging Algorithms
技术计算在石油和天然气行业中的主要用途是地球地下的地震成像,这是由在石油勘探和生产期间做出明智的钻井决策的业务需求驱动的。由于勘探区的每口石油/天然气井都要花费数千万美元,因此在合理的时间内制作高质量的地震图像可以大大降低钻“干井”的风险。同样,这些图像也很重要,因为它们可以改善价值数十亿美元的油田中油井的位置。然而,地震成像是非常数据和计算密集型的,其需要处理TB级的数据并且需要Gflop年的计算(使用“flop”来表示每秒的浮点运算)。由于地震成像的数据/计算密集的性质,并行计算用于处理数据以减少编译时间。随着云计算的引入,MapReduce编程模型在并行和分布式系统中[1,2]执行大量处理算法(如生物信息学[3],天文学[4],地质学[5]等)引起了很多关注。在本报告中,我们将调查和讨论当前将地震算法适配到MapReduce编程模型的方法。
2012-04-05 cs.DC physics.geo-ph
Spark-MPI: Approaching the Fifth Paradigm of Cognitive Applications
在过去的十年中,数据密集型科学的第四范式迅速成为多个应用领域的主要驱动概念,包括并产生大型设备,如光源和尖端望远镜。数据密集型项目的成功随后引发了下一代机器学习方法。这些新的人工智能系统清楚地代表了从数据处理管道到复合认知应用的第五范式的范式转变,需要集成大数据处理平台和HPC技术。针对数据密集型生态系统和计算密集型生态系统之间存在的阻抗不匹配问题,提出了基于MPI Exascale Process Management Interface(PMIx)的Spark-MPI方法。该方法在混合MPI/GPU重叠关联图像重建管道和分布式深度学习应用程序的背景下进行了演示。
2018-05-16 cs.DC
Survey on Token-Based Distributed MutualExclusion Algorithms
本文综述了基于令牌的分布式互斥算法,涵盖多种网络模型、性能指标、容错策略及k-互斥等变体,并展望了机器学习预测路由和区块链抗对抗等未来方向。
2025-02-07 cs.DC
From Tensor Buffer to Distributed Memory Hierarchy: A Survey of KV Cache Management for LLM Serving
Texas Tech University Department of Computer Science(德克萨斯理工大学计算机科学系)
综述通过四个轴对三十多个键值管理系统和框架分类,揭示五种架构原型,还审计当前评估,找出七个缺失测量,关联容错等开放问题。
2026-07-07 cs.AI cs.DC cs.LG
Distributed Graph Neural Network Training: A Survey
Beijing University of Posts and Telecommunications(北京邮电大学);Carnegie Mellon University(卡内基梅隆大学);Mila - Québec AI Institute(米拉-魁北克人工智能研究所);HEC Montréal(蒙特利尔高等商学院);Peking University(北京大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本综述针对分布式图神经网络训练的三大挑战,提出优化技术新分类体系并梳理各类技术,总结了适配不同硬件的现有系统,指明了未来研究方向。
2023-08-25 cs.AI cs.DB cs.DC
A Comprehensive Survey on Distributed Training of Graph Neural Networks
University of Chinese Academy of Sciences(中国科学院大学);Griffith University(格里菲斯大学);Tsinghua University(清华大学);The Hong Kong University of Science and Technology(香港科技大学)
本文系统综述了图神经网络分布式训练的研究进展,按工作流程对其分类,梳理了计算与通信模式及优化技术,介绍了软硬件平台,并与深度神经网络分布式训练进行对比,指出了该领域的独特性和未来研究方向。
2023-11-29 cs.DC cs.LG
Byzantine Fault Tolerance in Distributed Machine Learning : a Survey
拜占庭容错(Byzantine Fault Tolerance,BFT)是分布式机器学习(Distributed Machine Learning,DML)中最具挑战性的问题之一,其定义为容错系统在恶意组件存在的情况下的恢复能力。拜占庭故障仍然很难处理,因为它们的不受限制的性质,这导致生成任意数据的可能性。在DML中实现BFT的研究工作一直在进行。最近的一些研究考虑了DML中的各种BFT方法。然而,有些方面是有限的,如少数的方法分析,并没有分类的技术中使用的研究方法。在本文中,我们提出了一个调查的最新工作围绕BFT在DML,主要是在一阶优化方法,特别是随机梯度下降(SGD)。我们强调关键技术以及基本方法。我们提供了一个说明性的描述中使用的技术在DML的BFT,BFT方法的基本技术的背景下,提出了一个分类。这种分类是建立在特定的标准,如通信过程,优化方法和拓扑结构设置,这些标准表征了未来应对开放挑战的工作方法
2022-12-04 cs.DC
Resource Allocation and Workload Scheduling for Large-Scale Distributed Deep Learning: A Survey
Artificial Intelligence Research Institute, Shenzhen MSU-BIT University(深圳北理莫斯科大学人工智能研究院);Guangdong-Hong Kong-Macao Joint Laboratory for Emotional Intelligence and Pervasive Computing, Shenzhen MSU-BIT University(深圳北理莫斯科大学粤港澳情感智能与普适计算联合实验室);School of Information Science and Engineering, Lanzhou University(兰州大学信息科学与工程学院);Department of Electrical and Computer Engineering, The University of British Columbia(不列颠哥伦比亚大学电气与计算机工程系)
该综述系统梳理2019–2024年大规模分布式深度学习在训练与推理中的资源分配和工作负载调度研究,分析资源类型、调度粒度、性能目标、异构性与容错等挑战,并以大语言模型训练为例展望未来方向。
2024-06-12 cs.AI cs.DC
Cloud4IoT: a heterogeneous, distributed and autonomic cloud platform for the IoT
我们推出了Cloud4IoT,这是一个为物联网支持软件组件和数据密集型应用程序提供自动部署、编排和动态配置的平台,用于数据处理和分析,从而实现新传感器对象的即插即用集成和动态工作负载可扩展性。Cloud4IoT在物联网环境中实现了基础设施即代码的概念:它为物联网运营提供了云服务的灵活性和弹性。此外,它将传统的集中式云架构转变为物联网技术所要求的更加分布式和分散式的计算模式,弥合了云计算和物联网生态系统之间的差距。因此,Cloud4IoT扮演的角色类似于Fog Computing,Cloudlets或Mobile Edge Cloud等解决方案所涵盖的角色。Cloud4IoThs的分层架构托管一个中央云平台和多个远程边缘云模块,支持专用设备,即物联网网关,通过这些网关,新的传感器对象可以访问平台。总体而言,该平台旨在支持基于物联网和数据密集型应用程序可能对低延迟,有限的可用带宽或数据本地性提出特定要求的系统。Cloud4IoT基于多种开源技术构建,用于物联网标准、协议和服务的容器化和实现。我们提出了该平台的实现,并在两个不同的用例中演示。
2018-10-03 cs.DC
A Survey From Distributed Machine Learning to Distributed Deep Learning
School of Electrical and Computer Engineering, University of Tehran(德黑兰大学电气与计算机工程学院);School of Electrical and Computer Engineering, Tarbiat Modares University(塔比亚特·莫达雷斯大学电气与计算机工程学院)
本文综述了分布式机器学习到分布式深度学习的发展,将相关算法分为传统机器学习、深度学习和深度强化学习,并重点聚焦分布式深度学习,指出了未来研究需解决的局限性。
2023-09-09 cs.DC cs.LG
Data Diffusion: Dynamic Resource Provision and Data-Aware Scheduling for Data Intensive Applications
数据密集型应用程序通常涉及需要大量计算和存储资源的大型数据集的分析。虽然专用计算和/或存储场提供良好的任务/数据吞吐量,但它们在不同的工作负载条件下存在资源利用率低的问题。如果我们转而将这些数据移动到分布式计算资源,那么我们会招致昂贵的数据传输成本。在本文中,我们提出了一种数据扩散的方法,结合动态资源配置,按需数据复制和缓存,数据本地感知调度,以实现不同的工作负载下提高资源效率。我们定义了一个抽象的“数据扩散模型“,考虑到工作负载的特点,数据访问成本,应用程序的吞吐量和资源利用率,我们验证模型使用真实世界的大规模天文应用。我们的研究结果表明,数据扩散可以提高性能指数高达34倍,并提高应用程序的响应时间超过506倍,同时实现接近最佳的吞吐量和执行时间。
2008-08-26 cs.DC
Drawing the boundaries between Blockchain and Blockchain-like systems: A Comprehensive Survey on Distributed Ledger Technologies
本综述提出包含数据、共识、执行和应用四层的参考模型及新分类法,通过分析44种DLT方案与26种共识机制,厘清了区块链与类区块链系统的差异并指明未来研究方向。
2024-09-26 cs.CR cs.DC
A Survey of Current Trends in Distributed, Grid and Cloud Computing
从20世纪90年代到2012年,互联网彻底改变了计算世界。在发展到分布式计算和进一步发展到网格计算之后,它开始了并行计算之旅。在目前的情况下,它创造了一个新的世界,被称为云计算[1]。这三个术语有不同的含义。云计算基于后向计算方案,如集群计算、分布式计算、网格计算和效用计算。云计算的基本概念是虚拟化。它为各种请求程序提供虚拟硬件和软件资源。本文对集群计算、网格计算和云计算进行了详细的介绍,并对它们的实现进行了分析。我们试图列出所有这些技术出现的灵感。我们还占一些目前的情况下的网格计算的故障,并讨论了新的云计算项目正在管理的印度政府的学习。本文还回顾了现有的工作,并涵盖(分析),在一定程度上,一些创新的想法,可以实施。
2013-08-08 cs.DC
Scheduling of Distributed Applications on the Computing Continuum: A Survey
本文综述了计算连续体中分布式应用调度研究,系统梳理了面向云、雾、边缘异构环境的目标、方法与评估工具,为NP难资源分配与调度问题提供参考。
2024-01-20 cs.DC